CN113158879A - 基于匹配特征的三维注视点估计及三维眼动模型建立方法 - Google Patents
基于匹配特征的三维注视点估计及三维眼动模型建立方法 Download PDFInfo
- Publication number
- CN113158879A CN113158879A CN202110417364.XA CN202110417364A CN113158879A CN 113158879 A CN113158879 A CN 113158879A CN 202110417364 A CN202110417364 A CN 202110417364A CN 113158879 A CN113158879 A CN 113158879A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- eye
- eye movement
- data
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种基于匹配特征的三维注视点估计及三维眼动模型建立方法,以眼动数据和立体视频刺激数据作为输入,首先同步提取眼动特征集;训练一个高斯过程回归模型来估计观察者的注视视线向量;将视线与刺激显示面相交来获得二维屏幕注视点位置;用观察者眼动特征数据、视线向量数据和立体视图的视差数据的匹配特征集来训练梯度提升回归模型,进一步获取注视深度;最终通过组合二维屏幕注视点及其相应的注视深度来获得观察者三维注视点的坐标,构建被测者观看立体视频刺激时的三维眼动感知模型。本发明具有高采样精度,深度学习和智能数据处理强大的数据处理能力对眼动数据和三维立体视频数据进行同步处理,因而算法精度也得到了提高。
Description
技术领域
本发明涉及深度学习和智能数据分析等技术领域,特别是涉及一种基于匹配特征的三维注视点估计及三维眼动模型建立方法。
背景技术
传统的基于特征和基于模型的视线估计方法,由于其局部特征(例如轮廓,眼角和眼睛图像的反射)易于提取并且与视线相关,已经被证明在通用环境下表现良好,成为视线估计的主流算法。然而,在不受约束的真实环境中,由于光照变化和其他视觉工件等建模因素的困难,这些方法的应用受到了限制。
发明内容
本发明旨在提出了一种基于匹配特征的三维注视点估计及三维眼动模型建立方法,基于深度学习的方法进行眼部地标定位及基于眼部特征的算法进行视线向量的估计,并结合基于视线匹配视差的注视深度估计方法,完成三维眼动感知模型的特征提取及表达。
本发明的一种基于匹配特征的三维注视点估计及三维眼动模型建立方法,该方法体包括以下步骤:
步骤1、播放三维立体视频,在观察者观看立体视频的同时收到视频刺激产生眼动,采集眼动数据;
步骤2、在所收集的观察者观看三维立体视频过程中利用霍夫变换算法来实现对应红外补光灯的虹膜反射点定位;
步骤3、进行(m,n,p,q)四个虹膜反射点的最小外接圆圆心o1的位置估计;
步骤4、利用GAZEML深度学习算法进行眼睛区域特征点定位,所述特征点至少包括上下眼睑、虹膜、瞳孔和眼球中心区域;具体包括以下处理:
利用瞳孔中心特征点o相较于眼睛部区域特征点至少包括上、下眼睑,眼球中心的相对位置,进行眼睛区域特征点定位及特征提取;
步骤6、基于眼动数据特征集O1,采用高斯回归算法GPR完成左、右眼注视向量(vxl,vyl)与(vxr,vyr)的回归估计;
步骤7、利用空间平面与直线交点的几何知识,求解左、右眼注视向量(vxl,vyl)、(vxr,vyr)与左、右刺激平面PL、PR的各自交叉点(xl,yl),(xr,yr),即为左右眼注视点坐标;
步骤8、以左、右两屏幕注视点的位置(xl,yl),(xr,yr)为输入,采用人工网络参数化的自组织映射PSOM,求解出三维注视点的位置(X,Y);
步骤9、基于眼动特征与立体视频特征构建匹配特征集O2,以用于注视深度的回归估计;此匹配特征集O2至少包括左右眼注视向量(vxl,vyl)与(vxr,vyr)、Δx=xl-xr左右眼瞳孔半径Rl和Rr、左右眼瞳孔中心坐标Cl和Cr、左右眼瞳距a在内的眼部的视线特征以及三维立体刺激视频刺激左右视图的视差值vdis;
步骤10、基于匹配数据集O2,采用高斯回归算法(GPR)完成注视深度Z的回归估计;
步骤11、通过组合(X,Y)及相应的注视深度Z来获得观察者三维注视点的坐标X,Y,Z,构建三维眼动感知模型。
与现有技术相比,本发明具有以下积极效果:
1)用深度学习和智能数据处理强大的数据处理能力对眼动数据和三维立体视频数据进行同步处理;
2)为单只眼睛配备了4个红外补光灯,因此可以充分利用多个反射点特征来提高算法精度;
3)采集到的单眼图像的分辨率可以达到1920×1080,可以为算法提供更精确的特征数据。
附图说明
图1为本发明的一种基于匹配特征的三维注视点估计及三维眼动模型建立方法整体流程图;
图2为眼睛区域特征点定位及特征提取示例图;
图3为利用PSOM映射3D注视点的位置(X,Y)求解示例图;
图4为被测者观看立体视频刺激时的三维眼动感知模型示例图。
具体实施方式
本发明提出的一种基于匹配特征的三维注视点估计及三维眼动模型建立方法,以眼动数据和立体视频刺激数据作为输入,首先同步提取眼动特征集;训练一个高斯过程回归模型(Gaussian Processes Regression,GPR)来估计观察者的注视视线向量;通过将视线与刺激显示面相交来获得二维屏幕注视点位置;使用包括观察者眼动特征数据,视线向量数据和立体视图的视差数据的匹配特征集来训练梯度提升回归模型(Gradientboosting regression,GBR),进一步获取注视深度;最终,通过组合二维屏幕注视点及其相应的注视深度来获得观察者三维注视点的坐标,构建被测者观看立体视频刺激时的三维眼动感知模型。
下面结合附图和具体实施例对本发明技术方案作进一步详细描述。
如图1所示,为本发明的一种基于匹配特征的三维注视点估计及三维眼动模型建立方法整体流程,该方法具体包括以下步骤:
步骤1、通过眼动仪设备播放三维立体视频,在观察者观看立体视频的同时收到视频刺激产生眼动,采集眼动数据;
步骤2、眼动仪设备为单只眼睛配备了四个红外补光灯,在所收集的观察者观看三维立体视频过程中利用霍夫变换算法来实现对应红外补光灯的虹膜反射点定位;
步骤3、如图2所示,为眼睛区域特征点定位及特征提取示例图;进行(m,n,p,q)四个虹膜反射点的最小外接圆圆心o1的位置估计;
步骤4、利用现有的GAZEML深度学习算法进行眼睛区域特征点定位,包括上下眼睑、虹膜、瞳孔和眼球中心等区域特征;具体包括以下处理:
利用瞳孔中心特征点o相较于眼睛部区域特征点(上、下眼睑,眼球中心等)的相对位置,进行眼睛区域特征点定位及特征提取;
步骤6、基于眼动数据特征集O1,采用高斯回归算法GPR完成左、右眼注视向量(vxl,vyl)与(vxr,vyr)的回归估计;使用包括观察者眼动特征、注视视线向量和立体视图的视差的匹配特征集在内的数据来训练梯度提升回归模型(Gradientboostingregression,GBR),进一步获取注视深度;
步骤7、利用空间平面与直线交点的几何知识,求解左、右眼注视向量(vxl,vyl)、(vxr,vyr)与左、右刺激平面PL、PR的各自交叉点(xl,yl),(xr,yr),即为左右眼注视点坐标;
步骤8、以左、右两屏幕注视点的位置(xl,yl),(xr,yr)为输入,采用人工网络参数化的自组织映射(parametrized self-organizingmap,PSOM),求解出三维注视点的位置(X,Y),如图3所示,为利用PSOM映射三维注视点的位置(X,Y)求解示例图;
步骤9、基于眼动特征与立体视频特征构建匹配特征集O2,以用于注视深度的回归估计;此匹配特征集O2包括左右眼注视向量(vxl,vyl)与(vxr,vyr)、Δx=xl-xr左右眼瞳孔半径Rl和Rr、左右眼瞳孔中心坐标Cl和Cr、左右眼瞳距a等眼部的视线特征以及三维立体刺激视频刺激左右视图的视差值vdis,如图3所示;
步骤10、基于匹配数据集O2,采用高斯回归算法(GaussianProcessesRegression,GPR)完成注视深度Z的回归估计;
步骤11、通过组合(X,Y)及相应的注视深度Z来获得观察者三维注视点的坐标(X,Y,Z),构建被测者观看立体视频刺激时的三维眼动感知模型,如图4所示,为被测者观看立体视频刺激时的三维眼动感知模型示例图。
Claims (1)
1.一种基于匹配特征的三维注视点估计及三维眼动模型建立方法,其特征在于,该方法具体包括以下步骤:
步骤1、播放三维立体视频,在观察者观看立体视频的同时收到视频刺激产生眼动,采集眼动数据;
步骤2、在所收集的观察者观看三维立体视频过程中利用霍夫变换算法来实现对应红外补光灯的虹膜反射点定位;
步骤3、进行(m,n,p,q)四个虹膜反射点的最小外接圆圆心o1的位置估计;
步骤4、利用GAZEML深度学习算法进行眼睛区域特征点定位,所述特征点至少包括上下眼睑、虹膜、瞳孔和眼球中心区域;具体包括以下处理:
利用瞳孔中心特征点o相较于眼睛部区域特征点至少包括上、下眼睑,眼球中心的相对位置,进行眼睛区域特征点定位及特征提取;
步骤6、基于眼动数据特征集O1,采用高斯回归算法GPR完成左、右眼注视向量(vxl,vyl)与(vxr,vyr)的回归估计;
步骤7、利用空间平面与直线交点的几何知识,求解左、右眼注视向量(vxl,vyl)、(vxr,vyr)与左、右刺激平面PL、PR的各自交叉点(xl,yl),(xr,yr),即为左右眼注视点坐标;
步骤8、以左、右两屏幕注视点的位置(xl,yl),(xr,yr)为输入,采用人工网络参数化的自组织映射PSOM,求解出三维注视点的位置(X,Y);
步骤9、基于眼动特征与立体视频特征构建匹配特征集O2,以用于注视深度的回归估计;此匹配特征集O2至少包括左右眼注视向量(vxl,vyl)与(vxr,vyr)、Δx=xl-xr左右眼瞳孔半径Rl和Rr、左右眼瞳孔中心坐标Cl和Cr、左右眼瞳距a在内的眼部的视线特征以及三维立体刺激视频刺激左右视图的视差值vdis;
步骤10、基于匹配数据集O2,采用高斯回归算法GPR完成注视深度Z的回归估计;
步骤11、通过组合X,Y及相应的注视深度Z来获得观察者三维注视点的坐标X,Y,Z,构建三维眼动感知模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110417364.XA CN113158879B (zh) | 2021-04-19 | 2021-04-19 | 基于匹配特征的三维注视点估计及三维眼动模型建立方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110417364.XA CN113158879B (zh) | 2021-04-19 | 2021-04-19 | 基于匹配特征的三维注视点估计及三维眼动模型建立方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113158879A true CN113158879A (zh) | 2021-07-23 |
CN113158879B CN113158879B (zh) | 2022-06-10 |
Family
ID=76868450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110417364.XA Active CN113158879B (zh) | 2021-04-19 | 2021-04-19 | 基于匹配特征的三维注视点估计及三维眼动模型建立方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113158879B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114440885A (zh) * | 2021-12-24 | 2022-05-06 | 中国人民解放军战略支援部队信息工程大学 | 一种静止轨道遥感卫星定位方法及装置 |
CN115562490A (zh) * | 2022-10-12 | 2023-01-03 | 西北工业大学太仓长三角研究院 | 一种基于深度学习的飞机驾驶舱跨屏眼动交互方法及系统 |
CN118509569A (zh) * | 2024-07-16 | 2024-08-16 | 广东方天软件科技股份有限公司 | 一种基于智慧屏的裸眼三维立体显示方法及系统 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106056092A (zh) * | 2016-06-08 | 2016-10-26 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
CN106066696A (zh) * | 2016-06-08 | 2016-11-02 | 华南理工大学 | 自然光下基于投影映射校正和注视点补偿的视线跟踪方法 |
CN108415955A (zh) * | 2018-02-06 | 2018-08-17 | 杭州电子科技大学 | 一种基于眼动注视点移动轨迹的感兴趣点数据库建立方法 |
CN108985210A (zh) * | 2018-07-06 | 2018-12-11 | 常州大学 | 一种基于人眼几何特征的视线追踪方法及系统 |
CN109308472A (zh) * | 2018-09-30 | 2019-02-05 | 华南理工大学 | 一种基于虹膜投影匹配函数的三维视线估计方法 |
CN109325396A (zh) * | 2017-08-01 | 2019-02-12 | 欧姆龙株式会社 | 信息处理装置及估计方法、以及学习装置及学习方法 |
CN109690553A (zh) * | 2016-06-29 | 2019-04-26 | 醒眸行有限公司 | 执行眼睛注视跟踪的系统和方法 |
CN109684969A (zh) * | 2018-12-18 | 2019-04-26 | 上海科技大学 | 凝视位置估计方法、计算机设备及存储介质 |
CN110764613A (zh) * | 2019-10-15 | 2020-02-07 | 北京航空航天大学青岛研究院 | 基于头戴式眼动模组的眼动追踪校准方法 |
CN111427451A (zh) * | 2020-03-25 | 2020-07-17 | 中国人民解放军海军特色医学中心 | 采用扫描仪与眼动仪确定注视点在三维场景中位置的方法 |
CN111443804A (zh) * | 2019-12-27 | 2020-07-24 | 安徽大学 | 基于视频分析的注视点轨迹描述方法及其系统 |
CN111627526A (zh) * | 2020-05-13 | 2020-09-04 | 湖州维智信息技术有限公司 | 用于儿童adhd筛查评估系统的眼动注意力特征向量确定方法 |
-
2021
- 2021-04-19 CN CN202110417364.XA patent/CN113158879B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106056092A (zh) * | 2016-06-08 | 2016-10-26 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
CN106066696A (zh) * | 2016-06-08 | 2016-11-02 | 华南理工大学 | 自然光下基于投影映射校正和注视点补偿的视线跟踪方法 |
CN109690553A (zh) * | 2016-06-29 | 2019-04-26 | 醒眸行有限公司 | 执行眼睛注视跟踪的系统和方法 |
CN109325396A (zh) * | 2017-08-01 | 2019-02-12 | 欧姆龙株式会社 | 信息处理装置及估计方法、以及学习装置及学习方法 |
CN108415955A (zh) * | 2018-02-06 | 2018-08-17 | 杭州电子科技大学 | 一种基于眼动注视点移动轨迹的感兴趣点数据库建立方法 |
CN108985210A (zh) * | 2018-07-06 | 2018-12-11 | 常州大学 | 一种基于人眼几何特征的视线追踪方法及系统 |
CN109308472A (zh) * | 2018-09-30 | 2019-02-05 | 华南理工大学 | 一种基于虹膜投影匹配函数的三维视线估计方法 |
CN109684969A (zh) * | 2018-12-18 | 2019-04-26 | 上海科技大学 | 凝视位置估计方法、计算机设备及存储介质 |
CN110764613A (zh) * | 2019-10-15 | 2020-02-07 | 北京航空航天大学青岛研究院 | 基于头戴式眼动模组的眼动追踪校准方法 |
CN111443804A (zh) * | 2019-12-27 | 2020-07-24 | 安徽大学 | 基于视频分析的注视点轨迹描述方法及其系统 |
CN111427451A (zh) * | 2020-03-25 | 2020-07-17 | 中国人民解放军海军特色医学中心 | 采用扫描仪与眼动仪确定注视点在三维场景中位置的方法 |
CN111627526A (zh) * | 2020-05-13 | 2020-09-04 | 湖州维智信息技术有限公司 | 用于儿童adhd筛查评估系统的眼动注意力特征向量确定方法 |
Non-Patent Citations (4)
Title |
---|
CARLOS ELMADJIAN 等: ""3D gaze estimation in the scene volume with a head-mounted eye tracker"", 《RESEARCHGATE》 * |
KAI ESSIG 等: ""A neural network for 3D gaze recording with binocular eye trackers"", 《RESEARCHGATE》 * |
刘佳惠: ""基于简化硬件系统的三维视线估计方法研究"", 《中国博士学位论文全文数据库 信息科技辑》 * |
金纯 等: ""视线追踪系统中注视点估计方法研究"", 《自动化仪表》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114440885A (zh) * | 2021-12-24 | 2022-05-06 | 中国人民解放军战略支援部队信息工程大学 | 一种静止轨道遥感卫星定位方法及装置 |
CN114440885B (zh) * | 2021-12-24 | 2023-10-13 | 中国人民解放军战略支援部队信息工程大学 | 一种静止轨道遥感卫星定位方法及装置 |
CN115562490A (zh) * | 2022-10-12 | 2023-01-03 | 西北工业大学太仓长三角研究院 | 一种基于深度学习的飞机驾驶舱跨屏眼动交互方法及系统 |
CN115562490B (zh) * | 2022-10-12 | 2024-01-09 | 西北工业大学太仓长三角研究院 | 一种基于深度学习的飞机驾驶舱跨屏眼动交互方法及系统 |
CN118509569A (zh) * | 2024-07-16 | 2024-08-16 | 广东方天软件科技股份有限公司 | 一种基于智慧屏的裸眼三维立体显示方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113158879B (zh) | 2022-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017211066A1 (zh) | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 | |
CN106774863B (zh) | 一种基于瞳孔特征实现视线追踪的方法 | |
CN113158879B (zh) | 基于匹配特征的三维注视点估计及三维眼动模型建立方法 | |
CN112308932B (zh) | 一种注视检测方法、装置、设备及存储介质 | |
WO2020042970A1 (zh) | 一种三维建模的方法及其装置 | |
CN106796449A (zh) | 视线追踪方法及装置 | |
CN110930374A (zh) | 一种基于双深度相机的腧穴定位方法 | |
CN113366491B (zh) | 眼球追踪方法、装置及存储介质 | |
CN112102389A (zh) | 确定实物至少一部分的3d重构件的空间坐标的方法和系统 | |
CN110363867A (zh) | 虚拟装扮系统、方法、设备及介质 | |
CN103366157A (zh) | 一种人眼视线距离的判断方法 | |
CN109559332B (zh) | 一种结合双向LSTM和Itracker的视线跟踪方法 | |
CN113227878A (zh) | 用于视线估计的方法和系统 | |
CN112183160B (zh) | 视线估计方法及装置 | |
CN109091380A (zh) | 以ar技术实现穴道视觉化的中医系统及其方法 | |
JP2023521593A (ja) | 視線追跡のための方法 | |
CN114120432A (zh) | 基于视线估计的在线学习注意力跟踪方法及其应用 | |
JP2023547888A (ja) | 三次元再構成方法、装置、システム、媒体及びコンピュータデバイス | |
Perez-Yus et al. | Depth and motion cues with phosphene patterns for prosthetic vision | |
CN111339982A (zh) | 一种基于特征的多级瞳孔中心定位技术实现方法 | |
CN110585592A (zh) | 一种个性化电子针灸装置及其生成方法与生成装置 | |
Bastias et al. | A method for 3D iris reconstruction from multiple 2D near-infrared images | |
Li et al. | A tutorial explaining a machine vision model that emulates human performance when it recovers natural 3D scenes from 2D images | |
CN113610018A (zh) | 结合5g、表情跟踪与美颜的vr实时通讯交互系统及方法 | |
Xia et al. | IR image based eye gaze estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 300452 Binhai Industrial Research Institute Campus of Tianjin University, No. 48 Jialingjiang Road, Binhai New Area, Tianjin Applicant after: Tianjin University Address before: 300072 Tianjin City, Nankai District Wei Jin Road No. 92 Applicant before: Tianjin University |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |