CN111178189A - 一种网络学习辅助方法和系统 - Google Patents

一种网络学习辅助方法和系统 Download PDF

Info

Publication number
CN111178189A
CN111178189A CN201911301849.1A CN201911301849A CN111178189A CN 111178189 A CN111178189 A CN 111178189A CN 201911301849 A CN201911301849 A CN 201911301849A CN 111178189 A CN111178189 A CN 111178189A
Authority
CN
China
Prior art keywords
iris
eye movement
eye
characteristic
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911301849.1A
Other languages
English (en)
Other versions
CN111178189B (zh
Inventor
王超楠
郭慧杰
李雨龙
杨帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Radio Metrology and Measurement
Original Assignee
Beijing Institute of Radio Metrology and Measurement
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Radio Metrology and Measurement filed Critical Beijing Institute of Radio Metrology and Measurement
Priority to CN201911301849.1A priority Critical patent/CN111178189B/zh
Publication of CN111178189A publication Critical patent/CN111178189A/zh
Application granted granted Critical
Publication of CN111178189B publication Critical patent/CN111178189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Technology (AREA)
  • Computer Security & Cryptography (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • Educational Administration (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本申请公开了一种网络学习辅助方法和系统，所述方法包括以下步骤：用红外辅助光源照射下，在用户注视至少一个标定点时，采集眼部图像；虹膜内边界通过搜索内部包含光源像点的黑色连通域结合径向梯度检测法定位，虹膜外边界通过径向梯度检测法定位；在虹膜内边界和虹膜外边界范围内提取虹膜特征信息；根据虹膜内边界确定瞳孔中心点位置；在瞳孔中心点附近搜索角点，提取内眼角点位置作为眼动初始化特征参数；建立注视点计算模型。进一步优化的实施例还包含注册的步骤、认证的步骤、视线追踪的步骤等。本申请还包含实施所述方法的网络学习辅助系统。本申请为有效统计学生在线自主学习情况，提供一种高性价比的解决方案。

Description

一种网络学习辅助方法和系统
技术领域
本申请涉及计算机技术领域，尤其涉及一种网络学习的辅助方法和网络学习的辅助系统。
背景技术
网络自主学习系统是利用现代化互联网技术手段进行课程学习的一种学习平台，可以实现快速、便捷、高效、远距离自主学习。但也正是由于其开放性和自主性，在使用时存在一定弊端，不利于教师统计学生出勤情况和掌握学生学习情况，使得自主学习效果得不到保障。因此，辅助网络自主学习系统有效统计学生在线自主学习情况是十分必要的。
发明内容
本申请提出一种网络学习辅助方法和系统，旨在辅助网络自主学习系统有效统计学生在线自主学习情况，提供一种高性价比的解决方案。
一方面，本申请实施例提出一种网络学习辅助方法，包括以下步骤：
用红外辅助光源照射下，在用户注视至少一个标定点时，采集眼部图像；
虹膜内边界通过搜索内部包含光源像点的黑色连通域结合径向梯度检测法定位，虹膜外边界通过径向梯度检测法定位；
在虹膜内边界和虹膜外边界范围内提取虹膜特征信息。
使用虹膜内边界确定双眼瞳孔中心点位置，作为眼动初始化特征参数；进一步地，还包含：在瞳孔中心点周围搜索内眼角点，提取内眼角点位置，作为另一眼动初始化特征参数；
利用眼动初始化特征参数建立注视点计算模型。
优选地，所述虹膜特征信息和或所述眼动初始化特征参数用作网络学习系统注册信息。
进一步优选地，所述虹膜特征信息用作网络学习系统登录认证信息，例如，实时采集用户眼部图像，检测左眼和/或右眼虹膜区域，提取左眼和/或右眼虹膜特征信息，用作网络学习系统登录的身份认证信息。
在本申请任意一个方法实施例中，最优地，所述标定点为位于计算机屏幕上的9个位置点。
在本申请任意一个方法实施例中，进一步还包含以下步骤：实时采集用户眼部图像，检测双眼瞳孔中心位置坐标和或内眼角点位置坐标作为实时眼动特征数据，代入注视点计算模型，计算注视点。
另一方面，本申请实施例还提出一种网络学习辅助系统，专用于本申请任意一项实施例的方法，所述系统包含红外辅助光源、摄像头、虹膜定位单元、虹膜特征提取单元、眼动特征提取单元。
所述摄像头用于在用户注视至少一个标定点时，采集眼部图像。所述虹膜定位单元，用于在眼部图像中确定虹膜内边界和虹膜外边界：虹膜内边界通过搜索内部包含光源像点的黑色连通域结合径向梯度检测法定位；虹膜外边界通过径向梯度检测法定位。所述虹膜特征提取单元，用于在左眼和或右眼的虹膜内边界和虹膜外边界范围内提取虹膜特征信息。所述眼动特征提取单元，用于在眼部图像中确定双眼瞳孔中心位置和内眼角点位置坐标作为眼动初始化特征参数：双眼瞳孔中心位置使用虹膜内边界确定；内眼角点位置通过在瞳孔中心点周围进行角点提取定位。
优选的，所述系统还包含特征注册模块。所述特征注册模块包含虹膜特征注册单元和眼动初始化特征参数注册单元。所述虹膜特征注册模块，用于建立所述虹膜特征信息和用户信息的对应关系，并存储在数据库中。所述眼动初始化特征参数注册单元，用于记录所述眼动初始化特征参数和用户信息的对应关系，并存储在数据库中。
优选的，所述系统还包含身份认证模块。所述身份认证模块包含虹膜特征提取单元和虹膜特征比对单元。所述虹膜特征提取单元，用于在当前采集图像的虹膜内边界和虹膜外边界范围内提取虹膜特征信息；所述虹膜特征比对单元，用于比对当前采集的虹膜特征信息和已经存储在数据库中的虹膜特征信息，对用户进行认证。
优选的，所述系统还包含视线追踪模块。所述视线追踪模块包含眼动特征提取单元和注视点计算单元。所述眼动特征提取单元，用于实时确定瞳孔中心点和或内眼角位置，作为实时眼动特征数据。所述注视点计算单元，用于将实时眼动特征数据代入注视点计算模型，计算注视点。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
本发明提供一种基于虹膜识别和视线追踪技术的网络学习辅助方法和辅助系统，虹膜特征采集和眼动特征采集均采用单相机单光源系统，且共用相机和红外辅助光源，基于相同的标定点，比现有技术更为高效和便捷。通过虹膜识别技术对用户进行身份认证同时通过眼动监控技术对用户进行视线追踪，从而掌握对学生在线自主学习情况的，适合计算机网络系统在线实施远程教育。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请方法的实施例流程图；
图2为本申请系统应用状态示意图；
图3为本申请系统组成模块的实施例示意图；
图4为本申请系统工作过程的实施例流程图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
图1为本申请方法的实施例流程图。
本申请实施例提出一种网络学习辅助方法，包括以下步骤：
步骤11、用红外辅助光源照射下，在用户注视至少一个标定点时，采集眼部图像。
所述标定点是预先设定的视线目标位置，例如屏幕上方的摄像头、以屏幕为中心的其它位置。优选地，所述标定点为位于计算机屏幕上将屏幕平分为四宫格的9个角点。
步骤12、在眼部图像中识别虹膜范围，即虹膜内边界和虹膜外边界。
虹膜内边界通过搜索内部包含光源像点的黑色连通域结合径向梯度检测法定位，虹膜外边界通过径向梯度检测法定位。
步骤13、在虹膜内边界和虹膜外边界范围内提取虹膜特征信息。
步骤14、通过虹膜内边界确定瞳孔中心点位置，作为眼动初始化特征参数。
也就是说，瞳孔中心通过搜索内部包含光源像点的黑色连通域结合径向梯度检测法定位。
步骤15、在瞳孔中心点周围搜索内眼角点，提取内眼角点位置，作为另一眼动初始化特征参数，建立注视点计算模型。
例如，内眼角点通过以瞳孔中心为基准按照先验知识截取包含内眼角点的窗口后利用SUSAN算子和内眼角检测算子定位。
再例如，通过初始化特征参数，能够得到视线计算模型中用户照片与屏幕间的单应矩阵。
优选地，本申请方法还包含以下步骤16。
步骤16、所述虹膜特征信息和或所述眼动初始化特征参数用作网络学习系统注册信息。
当用作注册信息时，经步骤11～15获得所述虹膜特征信息和或所述眼动初始化特征参数，被计算机系统存储。
当作为注册信息使用时，还要向计算机系统输入用户信息。
在使用虹膜特征信息作为计算机系统注册信息时，将所述虹膜特征信息与所述用户信息绑定，即所述虹膜特征信息与所述用户信息存在对应关系。
在使用眼动初始化特征参数为计算机系统注册信息时，将所述眼动初始化特征参数与所述用户信息绑定，即所述眼动初始化特征参数与所述用户信息存在对应关系。
可以使用虹膜特征信息或所述眼动初始化特征参数二者之一作为计算机系统注册信息，也可以既使用虹膜特征信息又使用所述眼动初始化特征参数同时作为计算机系统的注册信息。
进一步优选地，本申请方法还包含以下步骤17。
步骤17、所述虹膜特征信息和或所述眼动初始化特征参数用作计算机系统登录认证信息。
当用作认证信息时，经步骤11～15获得当前采集的虹膜特征信息。
在使用虹膜特征信息作为网络学习系统登录认证信息时，实时采集用户眼部图像，检测左眼和/或右眼虹膜区域，提取左眼和/或右眼虹膜特征信息，用作网络学习系统登录的身份认证信息。将当前采集的虹膜特征信息与计算机系统预先存储的虹膜特征信息进行比对，当当前采集的虹膜特征信息与计算机系统预先存储的虹膜特征信息匹配成功时，允许用户登录系统。
在使用眼动初始化特征参数作为计算机系统登录认证信息时，实时采集用户眼部图像，检测左眼和右眼虹膜区域，提取双眼的眼动初始化特征参数，用作网络学习系统登录的身份认证信息。将当前采集的眼动初始化特征参数与计算机系统预先存储的眼动初始化特征参数进行比对，当当前采集的眼动初始化特征参数与计算机系统预先存储的眼动初始化特征参数相同或差异小于容限时，进一步对比所述预先存储的眼动初始化特征参数所对应的用户信息与当前用户信息是否一致。
可以使用虹膜特征信息或所述眼动初始化特征参数二者之一作为计算机系统认证信息，也可以既使用虹膜特征信息又使用所述眼动初始化特征参数作为计算机系统的认证信息。
需要说明的是，此处的登录认证，可以是长期认证，例如1天以上，也可以是短时认证，例如1天以内；可以是网络系统、计算机的初始认证，也可以是访问网络地址时的认证，还可以是启动具体学习软件模块时的认证；还可在软件模块运行过程中实施周期性重复认证，例如以30分钟为周期。认证通过时，则登录系统成功或系统持续运行，认证不通过时，登录系统失败或者系统中止运行。
步骤18、实时采集人眼图像，检测双眼瞳孔中心位置坐标和或内眼角点位置坐标作为实时眼动特征数据，代入注视点计算模型，计算注视点。
当用作视线跟踪时，经步骤11～12、14～15获得实时检测的眼动初始化特征参数。也就是说，同前述步骤一样，视线追踪时瞳孔及瞳孔中心通过搜索内部包含光源像点的黑色连通域结合径向梯度检测法定位；内眼角点通过以瞳孔中心为基准按照先验知识截取包含内眼角点的窗口后利用SUSAN算子和内眼角检测算子定位。需要说明的是，实时视线跟踪的周期较短，例如以10秒或更短的时长为周期进行检测。
例如，当已登录用户进行网络学习时，连续采集用户眼部图片，检测双眼瞳孔中心位置坐标及内眼角点位置坐标作为实时眼动特征数据，根据视线计算模型估算用户注视点。视线计算模型基于用户照片与屏幕之间的二维映射关系进行注视点估计，并利用用户内眼角坐标与初始化特征参数中的内眼角坐标平均值差异对头部位置偏移进行误差补偿，最终得到用户在屏幕上的注视点。
再例如，当屏幕前检测到多人时，只对最靠近屏幕中心的人员进行视线追踪；当屏幕前未检测到人时，认定当前无用户。
进一步地，本申请方法还可包含步骤19：
步骤19、专注度统计分析
根据步骤18中获得的用户注视点数据进行统计及学习专注度分析，并通过文字、语音等形式给与用户反馈。
需要说明的是，本申请方法的最小实施例包含步骤11～15，即包含运用相同的技术手段实施虹膜采集(步骤11)和虹膜范围识别(步骤12)过程，采集虹膜特征信息和眼动初始化特征参数。
进一步地，本申请方法的实施例包含步骤11～16，进一步使用虹膜特征信息和眼动初始化特征参数实施用户注册。
进一步地，本申请方法的实施例包含步骤11～17，进一步使用虹膜特征信息和或眼动初始化特征参数实施用户登录身份认证。
最佳地，本申请方法的实施例包含步骤11～18，进一步使用实时眼动特征数据计算注视点，实现视线跟踪。
本申请的技术方案，还可包含循环实时以上各步骤，例如步骤17～18循环执行时，定期地确认正在学习的用户是否是注册用户。
当本申请的方案包含步骤19(及下文的步骤49)时，本申请不限定专注度分析的具体算法。需要说明的是，视线跟踪能够用于统计视线集中于计算机屏幕上任意区域的时间，表示视线集中区域的范围和时间的参数及以此参数为基础的统计数值、加权数值，均可以作为专注度分析的结果。
另一方面，本申请实施例还提出一种网络学习辅助系统，专用于本申请实施例的方法，如图2～3所示，所述系统至少包含红外辅助光源、摄像头、虹膜定位单元、眼动特征提取单元、虹膜特征提取单元。
图2为本申请系统应用状态示意图。
其中，眼动特征参数采集使用的红外辅助光源和摄像头可以与虹膜特征注册/认证所使用的红外辅助光源进行硬件复用。
所述摄像头用于在用户注视至少一个标定点时，采集眼部图像。所述虹膜定位单元(图中未示出)，用于确定虹膜内边界和虹膜外边界：虹膜内边界通过搜索内部包含光源像点的黑色连通域结合径向梯度检测法定位；虹膜外边界通过径向梯度检测法定位。
例如，使用屏幕上方的摄像头和红外辅助光源采集用户注视摄像头时的双眼虹膜图片；再例如，通过提示用户先后注视屏幕上不同位置的多个标定点，使用屏幕上方的摄像头和红外辅助光源采集用户眼部图片。所述多个标定点，例如可以是将屏幕平均划分为四宫格时的9个角点，作为9个标定点。
需要说明的是，此处当用户注视摄像头时，摄像头的位置也作为标定点之一。
图3为本申请系统组成模块的实施例示意图。
本发明系统的核心功能单元是所述虹膜特征提取单元和所述眼动特征提取单元。所述虹膜特征提取单元，用于在左眼和或右眼的虹膜内边界和虹膜外边界范围内提取虹膜特征信息。所述眼动特征提取单元，用于确定双眼瞳孔中心位置和内眼角点位置坐标作为眼动初始化特征参数。
优选的，所述系统还包含特征注册模块。用于对用户进行虹膜特征注册和眼动特征参数初始化。虹膜特征注册使用系统配备的虹膜采集设备(例如包含摄像头、红外辅助光源、虹膜定位单元、虹膜特征提取单元)采集用户注视摄像头时的眼部图像，定位双眼虹膜区域，提取虹膜特征信息，并存入虹膜特征数据库；眼动特征参数初始化使用系统配备的眼动采集设备(例如包含摄像头、红外辅助光源、虹膜定位单元、眼动特征提取单元)采集用户注视屏幕标定点时的眼部图像，提取眼动初始化特征参数，并存入眼动特征数据库，用于生成视线计算模型(即注视点计算模型)。虹膜采集设备和眼动采集设备，共同的部分是摄像有、红外辅助光源、虹膜定位单元。
进一步地，所述特征注册模块包含虹膜特征注册单元和眼动初始化特征参数注册单元。所述虹膜特征注册单元，用于建立所述虹膜特征信息和用户信息的对应关系，并存储在数据库中。所述眼动初始化特征参数注册单元，用于记录所述眼动初始化特征参数和用户信息的对应关系，并存储在数据库中。
优选的，所述系统还包含身份认证模块。身份认证模块用于系统登录时使用系统配备的虹膜采集设备实时采集用户虹膜特征信息，并与注册数据库中的虹膜特征数据进行比对，实现用户身份认证。
所述身份认证模块包含虹膜特征提取单元；在实施认证时，所述虹膜特征提取单元，用于在当前采集图像的虹膜内边界和虹膜外边界范围内提取虹膜特征信息。
所述身份认证模块还包含虹膜特征比对单元和或所述眼动初始化特征比对单元。
所述虹膜特征比对单元，用于比对当前采集的虹膜特征信息和已经存储在数据库中的注册虹膜特征信息，对用户进行身份认证。
所述眼动初始化特征比对单元，用于比对当前采集的眼动初始化特征参数和已经存储在数据库中的眼动初始化特征信息，对用户进行认证。
优选的，所述系统还包含视线追踪模块。视线追踪模块用于在用户进行网络学习时使用系统配备的眼动采集设备实时采集用户眼动特征数据，并使用视线计算模型计算用户注视点。
进一步地，所述视线追踪模块包含眼动特征提取单元和注视点计算单元。所述眼动特征提取单元，用于实时确定瞳孔中心点和或内眼角位置，作为实时眼动特征数据。所述注视点计算单元，用于将实时眼动特征数据代入视线计算模型，计算用户实时注视点。
作为本发明进一步优化的技术方案，本申请的系统还包含以下至少一个模块的组合：用户管理模块、授权管理模块、数据管理模块、用户反馈模块。
所述用户管理模块，用于用户管理、用户属性管理、用户权限管理。
所述授权管理模块，用于角色管理、资源管理、任务管理、操作管理等用户权限相关的管理。
所述数据管理模块，用于进行学习专注度数据管理及用户日志管理，其中学习专注度数据管理包括保存、统计、查询、导出等，日志管理包括日志保存、查询、导出、共享等。
所述用户反馈模块，用于根据视线追踪模块得到的用户视线方向数据进行学习专注度分析，并通过文字、语音等方式向用户做出反馈。
本申请系统所述各模块、单元与数据库连接，共享用户信息、眼动特征数据、虹膜特征信息。
图4为本申请系统工作过程的实施例示流程图。
作为本申请系统的使用方法的实施例，包含以下步骤41～48。需要说明的是，应用本方法时，应首先对用户、用户属性、用户权限等进行设置，例如，用所述用户权限管理模块对用户权限进行设置，并保存至用户资料数据库。
以下包含虹膜认证和视线追踪是这种网络学习辅助系统基于虹膜识别技术开发的两个主要功能，其一般工作流程如下：
步骤41、在红外辅助光源照射下，用户注视至少一个标定点时，用摄像头采集眼部图像；
所述摄像头可用于虹膜特征采集和或眼动特征采集。例如，如图2所示，所述特征注册模块使用屏幕上方的摄像头和红外辅助光源采集用户注视摄像头时的眼部图片用于虹膜特征采集，和或，所述特征注册模块通过提示用户先后注视屏幕上不同位置的多个标定点(例如，将屏幕平均划分为四宫格时的9个角点)，使用屏幕上方的摄像头和辅助红外光源采集用户眼部图片用于眼动特征采集。
步骤42、虹膜定位单元根据眼部图像，确定虹膜内边界和虹膜外边界。
虹膜内边界通过搜索内部包含光源像点的黑色连通域结合径向梯度检测法定位，虹膜外边界通过径向梯度检测法定位。
步骤43、虹膜特征提取单元在虹膜内边界和虹膜外边界范围内提取虹膜特征信息。
步骤43中，虹膜特征提取单元提取虹膜特征信息并存入虹膜特征数据库。
步骤44、眼动特征提取单元根据虹膜内边界确定瞳孔中心点，作为眼动初始化特征参数。
例如，双眼瞳孔中心通过搜索内部包含光源像点的黑色连通域结合径向梯度检测法确定的虹膜内边界确定。
步骤45：眼动特征提取单元在瞳孔中心点周围搜索内眼角点，提取内眼角点位置，作为另一眼动初始化特征参数。
内眼角点位置通过在瞳孔中心点周围进行角点提取定位。例如，内眼角点通过以瞳孔中心为基准按照先验知识截取包含内眼角点的窗口后利用SUSAN算子和内眼角检测算子定位。
通过步骤44～45，提取双眼瞳孔中心和内眼角点位置坐标作为眼动初始化特征参数，得到视线计算模型中用户照片与屏幕间的单应矩阵，并存入眼动特征数据库。
步骤46、特征注册模块用所述虹膜特征信息和或所述眼动初始化特征参数作为网络学习系统注册信息，实施用户注册。
在步骤46中，例如所述特征注册模块包含虹膜特征注册单元和眼动初始化特征参数注册单元。所述虹膜特征注册单元建立所述虹膜特征信息和用户信息的对应关系，并将所述虹膜特征信息和用户信息存储在数据库中。所述眼动初始化特征参数注册单元记录所述眼动初始化特征参数和用户信息的对应关系，并将所述眼动初始化特征参数和用户信息存储在数据库中。
步骤47、所述身份认证模块使用所述虹膜特征信息作为计算机系统认证信息，实施用户登录认证。
步骤47中，当用户登录网络学习系统时，所述身份认证模块使用虹膜采集设备现场采集用户虹膜特征信息，并与数据库进行比对，若比对成功，则根据该用户权限登陆系统，并记录日志。
认证时，与步骤45～46相同，虹膜内边界通过搜索内部包含光源像点的黑色连通域结合径向梯度检测法定位，虹膜外边界通过镜像梯度检测法定位。
步骤47中，例如所述身份认证模块包含虹膜特征比对单元和或眼动初始化特征比对单元。所述虹膜特征比对单元比对当前采集的虹膜特征信息和已经存储在数据库中的虹膜特征信息，对用户进行认证。所述眼动初始化特征比对单元比对当前采集的眼动初始化特征参数和已经存储在数据库中的眼动初始化特征信息，对用户进行认证。
步骤48、所述视线追踪模块进行注视点实时追踪。
当已登录用户进行网络学习时，所述视线追踪模块使用眼动采集设备连续采集用户眼部图片，检测双眼瞳孔中心位置坐标及内眼角点位置坐标作为实时眼动特征数据，并将数据代入视线计算模型估算用户注视点。
步骤48中，例如所述视线追踪模块包含眼动特征提取单元和注视点计算单元。
所述眼动特征提取单元实时确定瞳孔中心点和内眼角位置坐标，作为实时眼动特征数据。视线追踪时，与步骤45～46相同，瞳孔及瞳孔中心通过搜索内部包含光源像点的黑色连通域结合径向梯度检测法定位；内眼角点通过以瞳孔中心为基准按照先验知识截取包含内眼角点的窗口后利用SUSAN算子和内眼角检测算子定位。
注视点计算单元结合实时眼动特征数据、眼动初始化特征参数和标定点位置，计算注视点。例如，视线计算模型基于用户照片与屏幕之间的二维映射关系进行注视点估计，并利用用户内眼角坐标与初始化特征参数中的内眼角坐标平均值差异对头部位置偏移进行误差补偿，最终得到用户在屏幕上的注视点。
需要说明的是，当屏幕前检测到多人时，只对最靠近屏幕中心的人员进行视线追踪；当屏幕前未检测到人时，认定当前无用户。
步骤49、用户反馈模块提供专注度统计分析结果。
所述用户反馈模块根据所述视线追踪模块采集到的用户注视点数据进行统计及学习专注度分析，并通过文字、语音等形式给与用户反馈。以及所述数据管理模块对学习反馈模块得到的学习专注度数据及用户日志进行保存、统计、查询等管理操作。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种网络学习辅助方法，其特征在于，包括以下步骤：
用红外辅助光源照射下，在用户注视至少一个标定点时，采集眼部图像；
虹膜内边界通过搜索内部包含光源像点的黑色连通域结合径向梯度检测法定位，虹膜外边界通过径向梯度检测法定位；
在虹膜内边界和虹膜外边界范围内提取虹膜特征信息；
使用虹膜内边界确定双眼瞳孔中心点位置，作为眼动初始化特征参数；
利用眼动初始化特征参数建立注视点计算模型。
2.如权利要求1所述方法，其特征在于，还包含以下步骤：
在瞳孔中心点周围搜索内眼角点，提取内眼角点位置，作为另一眼动初始化特征参数。
3.如权利要求1所述方法，其特征在于，还包含以下步骤：
所述虹膜特征信息和或所述眼动初始化特征参数用作网络学习系统注册信息。
4.如权利要求3所述的方法，其特征在于，还包含以下步骤：
实时采集用户眼部图像，检测左眼和/或右眼虹膜区域，提取左眼和/或右眼虹膜特征信息，用作网络学习系统登录的身份认证信息。
5.如权利要求1～4任意一项所述方法，其特征在于，所述标定点为位于计算机屏幕上的9个位置点。
6.如权利要求1～4任意一项所述的方法，其特征在于，还包含以下步骤：
实时采集用户眼部图像，检测双眼瞳孔中心位置坐标和或内眼角点位置坐标作为实时眼动特征数据，代入注视点计算模型计算注视点。
7.一种网络学习辅助系统，用权利要求1～6任意一项所述方法，其特征在于，包含红外辅助光源、摄像头、虹膜定位单元、虹膜特征提取单元、眼动特征提取单元；
所述摄像头用于在人眼注视至少一个标定点时，拍摄眼部图像；
所述虹膜定位单元，用于在眼部图像中确定虹膜内边界和虹膜外边界；
虹膜内边界通过搜索内部包含光源像点的黑色连通域结合径向梯度检测发定位；
虹膜外边界通过径向梯度检测法定位；
所述虹膜特征提取单元，用于在虹膜内边界和虹膜外边界范围内提取虹膜特征信息；
所述眼动特征提取单元，用于在眼部图像中确定双眼瞳孔中心位置和内眼角点位置坐标作为眼动初始化特征参数；
双眼瞳孔中心位置使用虹膜内边界确定；
内眼角点位置通过在瞳孔中心点周围进行角点提取定位。
8.如权利要求7所述系统，其特征在于，还包含特征注册模块；
所述特征注册模块包含虹膜特征注册单元和眼动初始化特征参数注册单元；
所述虹膜特征注册模块，用于建立所述虹膜特征信息和用户信息的对应关系，并存储在数据库中；
所述眼动初始化特征参数注册单元，用于记录所述眼动初始化特征参数和用户信息的对应关系，并存储在数据库中。
9.如权利要求7所述系统，其特征在于，还包含身份认证模块；
所述身份认证模块包含虹膜特征提取单元和虹膜特征比对单元；
所述虹膜特征比对单元，用于比对当前采集的虹膜特征信息和已经存储在数据库中的注册虹膜特征信息，对用户进行身份认证。
10.如权利要求7所述系统，其特征在于，还包含视线追踪模块；
所述视线追踪模块包含眼动特征提取单元和注视点计算单元；
所述眼动特征提取单元，用于在实时眼部图像中确定双眼瞳孔中心点和内眼角点位置，作为实时眼动特征数据；
所述注视点计算单元，用于将所述实时眼动特征数据代入注视点计算模型，计算注视点。
CN201911301849.1A 2019-12-17 2019-12-17 一种网络学习辅助方法和系统 Active CN111178189B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911301849.1A CN111178189B (zh) 2019-12-17 2019-12-17 一种网络学习辅助方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911301849.1A CN111178189B (zh) 2019-12-17 2019-12-17 一种网络学习辅助方法和系统

Publications (2)

Publication Number Publication Date
CN111178189A true CN111178189A (zh) 2020-05-19
CN111178189B CN111178189B (zh) 2024-04-09

Family

ID=70656616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911301849.1A Active CN111178189B (zh) 2019-12-17 2019-12-17 一种网络学习辅助方法和系统

Country Status (1)

Country Link
CN (1) CN111178189B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114967128A (zh) * 2022-06-20 2022-08-30 深圳市新联优品科技有限公司 一种应用于vr眼镜的视线追踪系统及方法
CN115601825A (zh) * 2022-10-25 2023-01-13 扬州市职业大学(扬州开放大学)（Cn） 一种基于视觉定位技术评价阅读能力的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1543908A (zh) * 2003-11-18 2004-11-10 清华大学 一种虹膜图像的采集方法
CN104268527A (zh) * 2014-09-26 2015-01-07 北京无线电计量测试研究所 一种基于径向梯度检测的虹膜定位方法
CN105868731A (zh) * 2016-04-15 2016-08-17 山西天地科技有限公司 双目虹膜特征获取方法及装置、身份验证方法及系统
CN106056092A (zh) * 2016-06-08 2016-10-26 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
CN106803829A (zh) * 2017-03-30 2017-06-06 北京七鑫易维信息技术有限公司 一种认证方法、装置及系统
CN108427503A (zh) * 2018-03-26 2018-08-21 京东方科技集团股份有限公司 人眼追踪方法及人眼追踪装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1543908A (zh) * 2003-11-18 2004-11-10 清华大学 一种虹膜图像的采集方法
CN104268527A (zh) * 2014-09-26 2015-01-07 北京无线电计量测试研究所 一种基于径向梯度检测的虹膜定位方法
CN105868731A (zh) * 2016-04-15 2016-08-17 山西天地科技有限公司 双目虹膜特征获取方法及装置、身份验证方法及系统
CN106056092A (zh) * 2016-06-08 2016-10-26 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
CN106803829A (zh) * 2017-03-30 2017-06-06 北京七鑫易维信息技术有限公司 一种认证方法、装置及系统
CN108427503A (zh) * 2018-03-26 2018-08-21 京东方科技集团股份有限公司 人眼追踪方法及人眼追踪装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114967128A (zh) * 2022-06-20 2022-08-30 深圳市新联优品科技有限公司 一种应用于vr眼镜的视线追踪系统及方法
CN115601825A (zh) * 2022-10-25 2023-01-13 扬州市职业大学(扬州开放大学)（Cn） 一种基于视觉定位技术评价阅读能力的方法
CN115601825B (zh) * 2022-10-25 2023-09-19 扬州市职业大学(扬州开放大学) 一种基于视觉定位技术评价阅读能力的方法

Also Published As

Publication number Publication date
CN111178189B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
Khatun et al. Design and implementation of iris recognition based attendance management system
CN105184277B (zh) 活体人脸识别方法以及装置
US20180308107A1 (en) Living-body detection based anti-cheating online research method, device and system
EP3862897A1 (en) Facial recognition for user authentication
JP6762380B2 (ja) 身分認証方法および装置
WO2016112630A1 (zh) 一种影像识别系统及方法
WO2021036436A1 (zh) 一种人脸识别方法及装置
CN111540105B (zh) 一种控制门禁的方法、系统、设备及存储介质
KR101291899B1 (ko) 속눈썹 분석에 의한 신원확인방법 및 그를 이용한 신원확인용 정보 취득 장치
US20190392145A1 (en) Detection of print-based spoofing attacks
WO2018075011A1 (en) Generating authentication assertions including an assurance score
CN105426827A (zh) 活体验证方法、装置和系统
CN103384234A (zh) 人脸身份认证方法和系统
JPH11175246A (ja) 視線検出装置及びその方法
CN111178189B (zh) 一种网络学习辅助方法和系统
CN107403488B (zh) 一种虹膜识别系统及其应用方法以及虹膜识别过程中针对不完整图像的特征值提取方法
CN101276421A (zh) 人脸部件特征和Gabor人脸特征融合的人脸识别方法及其装置
CN107742101A (zh) 一种现场施工人员验证方法
CA2905395A1 (en) System and method of enhanced identity recognition incorporating random actions
CN104243163A (zh) 自助式用户注册和登录的方法及系统
CN109620266A (zh) 个体焦虑水平的检测方法和系统
CN106255109A (zh) 路由器权限认证方法和系统
Bal et al. Biometric authentication and tracking system for online examination system
Shashikala et al. Attendance monitoring system using face recognition
KR20190095141A (ko) 얼굴 인식 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant