CN110456904A - 一种无需标定的增强现实眼镜眼动交互方法及系统 - Google Patents
一种无需标定的增强现实眼镜眼动交互方法及系统 Download PDFInfo
- Publication number
- CN110456904A CN110456904A CN201910524904.7A CN201910524904A CN110456904A CN 110456904 A CN110456904 A CN 110456904A CN 201910524904 A CN201910524904 A CN 201910524904A CN 110456904 A CN110456904 A CN 110456904A
- Authority
- CN
- China
- Prior art keywords
- eye
- eyeball
- augmented reality
- contour
- reality glasses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011521 glass Substances 0.000 title claims abstract description 46
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000004424 eye movement Effects 0.000 title claims abstract description 35
- 210000001508 eye Anatomy 0.000 claims abstract description 91
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 56
- 238000013507 mapping Methods 0.000 claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000005516 engineering process Methods 0.000 claims abstract description 14
- 230000002452 interceptive effect Effects 0.000 claims abstract description 11
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 10
- 238000003062 neural network model Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000013461 design Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 15
- 230000008569 process Effects 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000002239 glasses by type Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000017260 vegetative to reproductive phase transition of meristem Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开一种无需标定的增强现实眼镜眼动交互方法及系统，能够在不标定的情况下使用眼动技术，同增强现实眼镜进行人机交互，能够应对人员随时调整眼镜等情况。首先左右眼相机拍摄各自眼睛图像；通过轮廓检测技术，对眼睛轮廓和眼球轮廓进行检测；利用深度卷积神经网络映射模型，将轮廓信息映射到增强现实眼镜视场内的局部3D观测区域；最后，结合显著性检测模型，在局部3D区域内部检测人员观测的最大概率3D注视点。利用上述方法，不需要繁琐的标定步骤，可以鲁棒精确地预测人员眼动注视3D点信息，并且支持人员随时调整眼镜佩戴方式，使用方便快捷，能够为增强现实眼镜提供鲁棒的眼动交互方式。
Description
技术领域
本发明涉及人机交互、增强现实、计算机视觉领域，尤其涉及到一种无需 标定的增强现实眼镜眼动交互方法及系统。
背景技术
增强现实眼镜是下一代智能终端的代表，相对于个人计算机、智能手机等 终端，增强现实眼镜展示的信息更丰富更立体更便捷。人机交互是智能终端的 核心组成元素，相对于计算机的鼠标键盘、智能手机的触屏等交互方式，增强 现实眼镜需要开发符合自身应用特性的交互方式。眼动作为人员最直接、最自 然的行为交互模式，是增强现实眼镜交互中的核心指向交互方式；但当前眼动 交互方式需要复杂的标定程序，指向精度较低，并且在人员调整眼镜后需要重 新标定，使用效率低；因此，高精度便捷使用的眼动交互方式是目前增强现实 交互领域的热点研究问题。
眼动的便捷高精度测量是眼动人机交互的核心问题，但当前眼动测量主要 面临以下几个困难：需要繁琐的标定步骤，用户在使用眼动交互时，必须先进 行眼动参数标定，以确定眼睛相机的外参数，以及视场相对于眼睛的参数；标 定结束后，人员无法再进行眼镜佩戴方式调整，如调整需重新标定；眼动指向 测量精度较低，这是因为当前眼动测量方法是通过二维黑白图像预测三维眼球 的朝向，再结合标定获得的映射矩阵将三维眼球方向映射到视场空间，如此方 式非常依赖映射矩阵的精确性，其次映射矩阵只是眼珠方向到视场的映射关系 的理论近似，并不能完全描述精确的映射转换关系。
发明内容
本发明的目的是通过以下技术方案实现的。
本发明从无需标定的眼动交互方法入手，开发基于眼睛轮廓和眼球轮廓的 映射输入，设计基于大数据深度神经网络学习的映射模型，并且开发基于局部 显著性检测的精确注视点预测方法，为无需标定的增强现实眼镜眼动交互问题 提供鲁棒精确的解决方案。
根据本发明的第一个方面，提供了一种无需标定的增强现实眼镜眼动交互方 法，包括如下步骤：获取人员左右眼睛图像；通过眼睛、眼球轮廓检测技术，对 眼睛轮廓和眼球轮廓进行提取；利用深度卷积神经网络映射模型，将眼睛轮廓和 眼球轮廓信息映射到增强现实眼镜视场内的局部三维观测区域；结合显著性检测 模型，在所述局部三维观测区域内部，预测人员观测的最大概率三维注视点。
优选的，采用相机拍摄并结合补光技术，获取所述人员左右眼睛图像。
优选的，所述通过眼睛、眼球轮廓检测技术，对眼睛轮廓和眼球轮廓进行提 取，包括：收集多张人眼图片，并人工标注图片中的眼睛轮廓和眼球轮廓信息； 设计区域分割神经网络模型，以人眼图片作为输入，以人工标注的眼睛轮廓和眼 球轮廓为输出，结合收集标注的大数据样本进行神经网络模型参数训练；将训练 好的神经网络模型作为眼睛轮廓和眼球轮廓检测算子，进行眼睛、眼球轮廓检测。
优选的，所述多张人眼图片来自不同的人。
优选的，所述神经网络模型采用Mask-RCNN神经网络模型。
优选的，所述利用深度卷积神经网络映射模型，将眼睛轮廓和眼球轮廓信息 映射到增强现实眼镜视场内的局部三维观测区域，包括：收集多张人眼图片，及 对应的增强现实眼镜三维注视点；设计基于神经网络的图像映射模型，以左右眼 睛图片及相应的眼睛、眼球轮廓信息作为输入，以增强现实眼镜的三维注视点作 为输出，结合收集标注关联的大数据样本进行模型参数训练；使用训练好的图像 映射模型，进行眼睛图像到三维注视区域的映射。
优选的，所述基于神经网络的图像映射模型采用双通道网络模型，双通道分 别对左右眼睛图像进行特征处理，再利用特征融合处理网络层进行双通道特征融 合，最后利用全连接层映射到三维注视区域。
优选的，所述结合显著性检测模型，在所述局部三维观测区域内部，预测人 员观测的最大概率三维注视点，包括：在所述局部三维观测区域内部进行显著性 检测；判断该局部三维观测区域内是否存在唯一的显著性观测点，如果有，则进 行显著性检测模型修正；如果无显著性点，或者显著性点不唯一，则预估最大化 观测点。
优选的，所述显著性检测模型采用神经网络模型。
根据本发明的第一个方面，提供了一种无需标定的增强现实眼镜眼动交互系 统，包括：摄像模块，用于获取人员左右眼睛图像；轮廓提取模块，用于通过眼 睛、眼球轮廓检测技术，对眼睛轮廓和眼球轮廓进行提取；映射模块，用于利用 深度卷积神经网络映射模型，将眼睛轮廓和眼球轮廓信息映射到增强现实眼镜视 场内的局部三维观测区域；注视点检测模块，用于结合显著性检测模型，在所述 局部三维观测区域内部，预测人员观测的最大概率三维注视点。
本发明的优点在于：(1)不需要标定，即可同增强现实眼镜进行眼动交互； (2)人员在使用过程中，可以随时调整增强现实眼镜的佩戴方式，使用方便； (3)结合显著性检测技术，可以精确预测人员3D观测点。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领 域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并 不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的 部件。在附图中：
图1为本发明实施例中公开的整体眼动处理流程图。
图2为本发明实施例中公开的眼睛轮廓和眼球轮廓检测处理流程图。
图3为本发明实施例中公开的眼睛图像和轮廓信息映射到增强现实眼镜3D 注视区域的处理流程图。
图4为本发明实施例中公开的基于局部图像显著性检测的精确3D注视点修 正处理流程图。
图5为本发明一种无需标定的增强现实眼镜眼动交互系统结构图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了 本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被 这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解 本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
鉴于增强现实眼镜眼动交互实际应用问题，本发明的目的在于提供一种无需 标定的眼动增强现实交互技术，能够在不标定的情况下，进行眼动交互；能够让 人员在交互过程中，可以随时调整增强现实眼镜的佩戴方式；并且能够精确地预 测人员注视点。
图1给出了本发明的总体流程图，其中包含4个关键步骤，分别是眼睛图像 拍摄、眼睛眼球轮廓提取、图像轮廓映射到注视区域、注视区域内的注视点精确 预测，本实施例将对上述4个关键步骤进行详细描述。本发明提供一种无需标定 的增强现实眼镜眼动交互方法，处理流程如图1所示，关键步骤如下：
S1、获取人员左右眼睛图像；
S2、通过眼睛、眼球轮廓检测技术，对眼睛轮廓和眼球轮廓进行提取；
S3、利用深度卷积神经网络映射模型，将轮廓信息映射到增强现实眼镜视场 内的局部3D观测区域；
S4、结合显著性检测模型，在所述局部3D观测区域内部，预测人员观测的 最大概率3D注视点。
步骤S1中，在眼睛图像的基础上，同时处理获得精确的眼睛轮廓和眼球轮 廓，同常规的眼动交互方法不一样，传统的眼动交互方法只处理获取眼球中心点 的信息。本发明拍摄眼睛的相机可以是灰度相机、彩色相机、红外相机，可以采 用特定的补光技术进行补光，以及其他的图像增强拍摄技术，本实施例采用近红 外相机进行眼睛拍摄，采用近红外光进行补光，使得人眼能够被清晰拍摄，同时 又不会影响人员的视线；其次相机可根据特定的增强现实眼镜进行特定位置拍 摄，本实施例选择Hololens眼镜作为增强现实交互的目标。
其中，本发明在步骤S2中需要通过图像检测技术，分析获得图像中的眼睛 轮廓和眼球轮廓，检测处理流程如图2所示，关键步骤如下：
S2.1收集大量人眼图片，并人工标注图片中的眼睛轮廓和眼球轮廓信息；
S2.2设计区域分割神经网络模型，以人眼图片作为输入，以人工标注的眼 睛轮廓和眼球轮廓为输出，结合收集标注的大数据样本进行神经网络模型参数训 练；此步骤中，从人眼图像中提取眼睛轮廓和眼球轮廓，可采用Mask-RCNN神 经网络进行实施，即可获得图像中眼睛区域分割，及眼球区域分割；在区域分割 的基础上，提取区域边界，即可获得眼睛轮廓和眼球轮廓。
S2.3将训练好的神经网络参数模型作为眼睛轮廓和眼球轮廓检测算子，进 行眼睛、眼球轮廓检测。
步骤S2中，眼睛图像可通过多人佩戴进行图像采集，再结合人工标定技术 进行轮廓标定；轮廓检测模型，本实施例中采用Mask-RCNN神经网络模型进行 建模：Mask-RCNN采用全卷积神经网络模型，能够进行特定局域分割，网络结 构简单，分割精度较高，本实施例在Mask-RCNN特定局域分割的基础上，结合 图像边缘处理技术，处理获得眼睛眼球的轮廓信息，进而同人工标注的信息进行 比对，形成反馈误差信息，即可对网络模型进行训练。
进一步的，本发明在获得眼睛轮廓和眼球轮廓的基础上，利用神经网络映射 模型，将轮廓信息映射到增强现实眼镜的注视区域，映射处理流程如图3所示， 关键步骤如下：
S3.1收集大量人眼图片，及对应的增强现实眼镜3D注视点；
S3.2设计基于神经网络的图像映射模型，以左右眼睛图片及相应的眼睛、 眼球轮廓信息作为输入，以增强现实眼镜的3D注视点作为输出，结合收集标注 关联的大数据样本进行模型参数训练；
此步骤中，眼睛轮廓和眼球轮廓映射到3D注射点，可采用如下神经网络模 型：3个卷积层+2个全连接层实现，最终可获得n维的图像轮廓特征向量 [x1,x2,…,xn]，再结合线性预测准则进行注视点预测，获得注视点信息[y1,y2,y3]， 及观测区域半径r，计算公式如下：
其中aji表示图像轮廓特征xi到注视点坐标yj的映射权重参数，bi表示图像轮 廓特征xi到观测区域半径的映射权重参数，aji和bi可通过大数据训练获得。
S3.3将训练好的图像映射模型嵌入到整个眼动分析流程中，进行眼睛图像 到3D注视区域的映射。
步骤S3中，眼睛图像和视线方向关联数据，可以通过Hololens和相机进行 同步采集获取；基于神经网络的图像映射模型采用双通道网络模型进行设计，双 通道分别对左右眼睛图像进行特征处理；再利用特征融合处理网络层进行双通道 特征融合，最后利用全连接层映射到3D注视区域。
通过步骤1、2、3，即可获得眼动在增强现实眼镜内部的局部3D注视区域。 因为人员每次佩戴增强现实眼镜的位置会略有差异，因此通过前3步骤无法获得 人员在增强现实眼镜内部的精确注视点，需要结合特定的操作进行注视方向微 调，本发明设计基于图像显著性检测技术的注视方向微调操作，在步骤S3获得 的局部注视区域内进行图像显著性检测，获得最大概率的注视点信息，并结合该 显著性观测点信息进行注视方向修正，用于不存在显著性观测区域的注视点修 正。基于显著性检测的精确注视点处理流程如图4所示，关键步骤如下：
S4.1在步骤3获得的局部观测区域内部进行显著性检测；所述显著性检测 基于显著性检测模型，可以采用现有的常规图像检测模型，也可以采用神经网络 模型完成显著性检测。
显著性检测可通过神经网络实现，即将观测区域(以点[y1,y2,y3]，半径为r 圆的外接矩形)作为神经网络输入，进行显著点[z1,z2,z3]检测；显著性检测神经 网络可采用如下结构：3卷积层+2全连接层实现局部区域特征提取，获得观测预 期的图像特征[t1,t2,…,tT]，结合线性叠加检测算子，可获得显著点[z1,z2,z3]，及 唯一性观测点概率p，计算公式如下：
其中cji表示局部图像特征ti到显著性点坐标zj的影响权重，di表示局部图像 特征ti到观测点唯一性概率的影响权重，cji和di可通过大数据训练获得。
S4.2判断该区域内是否存在唯一的显著性观测点，如果有，则进行显著性 检测模型修正；如果无显著性点，或者显著性点不唯一，则预估最大化观测点。
步骤S4中，人员每次调整Hololens眼镜配搭方式时，眼镜相对于眼睛的相 对位置会发生一定变化，因此步骤S4只能预测获得人员的3D注视区域；获得 人员精确的3D注视点，需要结合一定的辅助信息进行参数微调，本发明设计基 于显著性检测模型的精确3D注视点预测方式，即利用基于图像的显著性检测模 型，在局部3D注视区域内检测显著性点。
如图5所示，本发明还提供一种无需标定的增强现实眼镜眼动交互系统100， 包括：
摄像模块101，用于获取人员左右眼睛图像；
轮廓提取模块102，用于通过眼睛、眼球轮廓检测技术，对眼睛轮廓和眼球 轮廓进行提取；
映射模块103，用于利用深度卷积神经网络映射模型，将眼睛轮廓和眼球轮 廓信息映射到增强现实眼镜视场内的局部3D观测区域；
注视点检测模块104，用于结合显著性检测模型，在所述局部3D观测区域 内部，预测人员观测的最大概率3D注视点。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局 限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易 想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护 范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种无需标定的增强现实眼镜眼动交互方法，包括如下步骤：
获取人员左右眼睛图像；
通过眼睛、眼球轮廓检测技术，对眼睛轮廓和眼球轮廓进行提取；
利用深度卷积神经网络映射模型，将眼睛轮廓和眼球轮廓信息映射到增强现实眼镜视场内的局部三维观测区域；
结合显著性检测模型，在所述局部三维观测区域内部，预测人员观测的最大概率三维注视点。
2.根据权利要求1所述的方法，其特征在于：
采用相机拍摄并结合补光技术，获取所述人员左右眼睛图像。
3.根据权利要求1所述的方法，其特征在于：
所述通过眼睛、眼球轮廓检测技术，对眼睛轮廓和眼球轮廓进行提取，包括：
收集多张人眼图片，并人工标注图片中的眼睛轮廓和眼球轮廓信息；
设计区域分割神经网络模型，以人眼图片作为输入，以人工标注的眼睛轮廓和眼球轮廓为输出，结合收集标注的大数据样本进行神经网络模型参数训练；
将训练好的神经网络模型作为眼睛轮廓和眼球轮廓检测算子，进行眼睛、眼球轮廓检测。
4.根据权利要求3所述的方法，其特征在于：
所述多张人眼图片来自不同的人。
5.根据权利要求3所述的方法，其特征在于：
所述神经网络模型采用Mask-RCNN神经网络模型。
6.根据权利要求1所述的方法，其特征在于：
所述利用深度卷积神经网络映射模型，将眼睛轮廓和眼球轮廓信息映射到增强现实眼镜视场内的局部三维观测区域，包括：
收集多张人眼图片，及对应的增强现实眼镜三维注视点；
设计基于神经网络的图像映射模型，以左右眼睛图片及相应的眼睛、眼球轮廓信息作为输入，以增强现实眼镜的三维注视点作为输出，结合收集标注关联的大数据样本进行模型参数训练；
使用训练好的图像映射模型，进行眼睛图像到三维注视区域的映射。
7.根据权利要求6所述的方法，其特征在于：
所述基于神经网络的图像映射模型采用双通道网络模型，双通道分别对左右眼睛图像进行特征处理，再利用特征融合处理网络层进行双通道特征融合，最后利用全连接层映射到三维注视区域。
8.根据权利要求1所述的方法，其特征在于：
所述结合显著性检测模型，在所述局部三维观测区域内部，预测人员观测的最大概率三维注视点，包括：
在所述局部三维观测区域内部进行显著性检测；
判断该局部三维观测区域内是否存在唯一的显著性观测点，如果有，则进行显著性检测模型修正；如果无显著性点，或者显著性点不唯一，则预估最大化观测点。
9.根据权利要求8所述的方法，其特征在于：
所述显著性检测模型采用神经网络模型。
10.一种无需标定的增强现实眼镜眼动交互系统，包括：
摄像模块，用于获取人员左右眼睛图像；
轮廓提取模块，用于通过眼睛、眼球轮廓检测技术，对眼睛轮廓和眼球轮廓进行提取；
映射模块，用于利用深度卷积神经网络映射模型，将眼睛轮廓和眼球轮廓信息映射到增强现实眼镜视场内的局部三维观测区域；
注视点检测模块，用于结合显著性检测模型，在所述局部三维观测区域内部，预测人员观测的最大概率三维注视点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910524904.7A CN110456904B (zh) | 2019-06-18 | 2019-06-18 | 一种无需标定的增强现实眼镜眼动交互方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910524904.7A CN110456904B (zh) | 2019-06-18 | 2019-06-18 | 一种无需标定的增强现实眼镜眼动交互方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110456904A true CN110456904A (zh) | 2019-11-15 |
| CN110456904B CN110456904B (zh) | 2024-06-11 |
Family
ID=68480712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910524904.7A Active CN110456904B (zh) | 2019-06-18 | 2019-06-18 | 一种无需标定的增强现实眼镜眼动交互方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110456904B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111176447A (zh) * | 2019-12-25 | 2020-05-19 | 中国人民解放军军事科学院国防科技创新研究院 | 一种融合深度网络和几何模型的增强现实眼动交互方法 |
| CN111966223A (zh) * | 2020-08-17 | 2020-11-20 | 陈涛 | 非感知的mr眼镜人机识别方法、系统、设备及存储介质 |
| CN112732071A (zh) * | 2020-12-11 | 2021-04-30 | 浙江大学 | 一种免校准眼动追踪系统及应用 |
| CN113419623A (zh) * | 2021-05-27 | 2021-09-21 | 中国人民解放军军事科学院国防科技创新研究院 | 一种非标定眼动交互方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102749991A (zh) * | 2012-04-12 | 2012-10-24 | 广东百泰科技有限公司 | 一种适用于人机交互的非接触式自由空间视线跟踪方法 |
| US20150092983A1 (en) * | 2012-04-02 | 2015-04-02 | Thomson Licensing | Method for calibration free gaze tracking using low cost camera |
| CN107422844A (zh) * | 2017-03-27 | 2017-12-01 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN107656613A (zh) * | 2017-09-08 | 2018-02-02 | 国网山东省电力公司电力科学研究院 | 一种基于眼动追踪的人机交互系统及其工作方法 |
| CN108985210A (zh) * | 2018-07-06 | 2018-12-11 | 常州大学 | 一种基于人眼几何特征的视线追踪方法及系统 |
-
2019
- 2019-06-18 CN CN201910524904.7A patent/CN110456904B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150092983A1 (en) * | 2012-04-02 | 2015-04-02 | Thomson Licensing | Method for calibration free gaze tracking using low cost camera |
| CN102749991A (zh) * | 2012-04-12 | 2012-10-24 | 广东百泰科技有限公司 | 一种适用于人机交互的非接触式自由空间视线跟踪方法 |
| CN107422844A (zh) * | 2017-03-27 | 2017-12-01 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN107656613A (zh) * | 2017-09-08 | 2018-02-02 | 国网山东省电力公司电力科学研究院 | 一种基于眼动追踪的人机交互系统及其工作方法 |
| CN108985210A (zh) * | 2018-07-06 | 2018-12-11 | 常州大学 | 一种基于人眼几何特征的视线追踪方法及系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111176447A (zh) * | 2019-12-25 | 2020-05-19 | 中国人民解放军军事科学院国防科技创新研究院 | 一种融合深度网络和几何模型的增强现实眼动交互方法 |
| CN111966223A (zh) * | 2020-08-17 | 2020-11-20 | 陈涛 | 非感知的mr眼镜人机识别方法、系统、设备及存储介质 |
| CN111966223B (zh) * | 2020-08-17 | 2022-06-28 | 陈涛 | 非感知的mr眼镜人机识别方法、系统、设备及存储介质 |
| CN112732071A (zh) * | 2020-12-11 | 2021-04-30 | 浙江大学 | 一种免校准眼动追踪系统及应用 |
| CN112732071B (zh) * | 2020-12-11 | 2023-04-07 | 浙江大学 | 一种免校准眼动追踪系统及应用 |
| CN113419623A (zh) * | 2021-05-27 | 2021-09-21 | 中国人民解放军军事科学院国防科技创新研究院 | 一种非标定眼动交互方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110456904B (zh) | 2024-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110456904A (zh) | 一种无需标定的增强现实眼镜眼动交互方法及系统 | |
| CN102812416B (zh) | 指示输入装置、指示输入方法、程序、记录介质以及集成电路 | |
| CN101443817B (zh) | 用于确定场景的三维重建时的对应关系的方法和装置 | |
| CN103106401B (zh) | 一种具有人机交互机制的移动终端虹膜识别装置 | |
| CN109983501A (zh) | 一种隐藏图像或视频中的对象的方法和相关的增强现实方法 | |
| CN105538345A (zh) | 一种基于多镜头的智能机械手及定位装配方法 | |
| KR20190088524A (ko) | 안경 렌즈 에지의 표시를 설정하기 위한 방법 및 장치 및 컴퓨터 프로그램 | |
| CN104978548A (zh) | 一种基于三维主动形状模型的视线估计方法与装置 | |
| CN113692527B (zh) | 用于测量眼镜片的局部屈光力和/或屈光力分布的方法和装置 | |
| CN110428470B (zh) | 一种基于脑电辅助的增强现实眼镜眼动交互自标定方法 | |
| CN111829661A (zh) | 一种基于人脸解析的额温测量方法及系统 | |
| CN114894337B (zh) | 一种用于室外人脸识别测温方法及装置 | |
| EP4088095A1 (en) | A method and system for retrieving an optical parameter of an ophthalmic lens | |
| CN116030519A (zh) | 一种直播教学平台的学习注意力检测与评估方法 | |
| CN205466320U (zh) | 一种基于多镜头的智能机械手 | |
| CN113711003B (zh) | 用于测量眼镜片的局部屈光力和/或屈光力分布的方法和设备 | |
| CN113111743A (zh) | 人员距离探测方法及装置 | |
| CN116453198B (zh) | 一种基于头部姿态差异的视线校准方法和装置 | |
| CN116052264B (zh) | 一种基于非线性偏差校准的视线估计方法及装置 | |
| CN112651270A (zh) | 一种注视信息确定方法、装置、终端设备及展示对象 | |
| US20220395176A1 (en) | System and method for digital optician measurements | |
| CN112561952A (zh) | 用于为目标设置可呈现的虚拟对象的方法和系统 | |
| CN109770845A (zh) | 测量瞳距的装置和方法 | |
| CN110069131A (zh) | 一种基于近红外光圆斑检测的多指尖定位方法 | |
| CN110473246A (zh) | 一种基于双目视觉的多重遮挡目标的测距方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: 100071 No. 53 East Main Street, Beijing, Fengtai District Applicant after: NATIONAL DEFENSE SCIENCE AND TECHNOLOGY INNOVATION INSTITUTE OF THE CHINESE ACADEMY OF MILITARY SCIENCES Applicant after: Tianjin (Binhai) Artificial Intelligence Innovation Center Address before: 100071 No. 53 East Main Street, Beijing, Fengtai District Applicant before: NATIONAL DEFENSE SCIENCE AND TECHNOLOGY INNOVATION INSTITUTE OF THE CHINESE ACADEMY OF MILITARY SCIENCES Country or region before: China Applicant before: Tianjin (Binhai) Intelligence Military-Civil Integration Innovation Center |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |