CN111176447A - 一种融合深度网络和几何模型的增强现实眼动交互方法 - Google Patents
一种融合深度网络和几何模型的增强现实眼动交互方法 Download PDFInfo
- Publication number
- CN111176447A CN111176447A CN201911360074.5A CN201911360074A CN111176447A CN 111176447 A CN111176447 A CN 111176447A CN 201911360074 A CN201911360074 A CN 201911360074A CN 111176447 A CN111176447 A CN 111176447A
- Authority
- CN
- China
- Prior art keywords
- geometric model
- augmented reality
- model
- point
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000003993 interaction Effects 0.000 title claims abstract description 24
- 230000004424 eye movement Effects 0.000 title claims abstract description 21
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 19
- 238000013507 mapping Methods 0.000 claims abstract description 34
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000003062 neural network model Methods 0.000 claims abstract description 3
- 238000011176 pooling Methods 0.000 claims description 9
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 210000001747 pupil Anatomy 0.000 claims description 2
- 241000282414 Homo sapiens Species 0.000 abstract description 4
- 230000008569 process Effects 0.000 abstract description 3
- 238000013459 approach Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种融合深度网络和几何模型的增强现实眼动交互方法，包括：采集大量人员双眼图像和注视点，对采集到的眼睛图像进行预处理；使用大数据训练深度卷积神经网络模型，获得从眼睛图像到注视点的映射关系；使用深度卷积神经网络模型预测的注视点结果作为几何模型的部分输入，结合当前人员少量真实数据求解几何模型参数，得到当前人员准确的映射关系。本发明相比于传统的基于几何模型的眼动跟踪方法简化了标定过程，增加了交互的鲁棒性；相比于传统的基于外观的方法提高了注视估计精度，更具普适性。
Description
技术领域
本发明涉及人机交互、增强现实、计算机视觉领域，尤其涉及到一种融合深度网络和几何模型的增强现实眼动交互方法。
背景技术
眼动交互是人类最自然的交互方式之一，准确的注视估计一直是重要的研究课题。尤其是在增强现实领域，传统的人机交互方式，如键盘、鼠标、触摸屏等显然无法满足需求，眼动交互正在成为主流的交互方式之一。注视估计方法课分为两类：基于几何的方法和基于外观的方法。基于几何的方法是使用某些眼睛特征来构建几何眼睛模型，来估计注视方向。最典型的方法是瞳孔中心角膜反射法(PCCR)，其基本思想是使用光源照亮眼睛产生明显的反射，并通过识别光源在角膜上的反射和图像中的瞳孔中心来计算注视方向。另一种常用的方法是通过眼睛形状来推断注视方向，如瞳孔中心和虹膜边缘。基于外观的方法通常需要相机捕获用户的眼睛图像，然后从大量眼睛图像中学习凝视方向的映射函数。到目前为止，研究者们已经探索了各种映射函数，如神经网络，局部线性插值，自适应线性回归，高斯过程回归和降维等。
目前注视估计主要面临以下问题：在基于几何的方法中，为了确定几何模型的参数，需要复杂的标定校准过程，并且标定之后用户与相机的相对位置不能有太大变化，否则需要重新标定；在基于外观的方法中，需要大量的训练样本来训练从眼睛图像到注视方向的映射函数，由于受到样本采集和标记的成本限制，从训练样本中往往不足以学习到精确的映射函数。
为了解决以上问题，本文提出了一种融合深度网络和几何模型的增强现实眼动交互方法，通过深度网络和几何模型的结合，无需复杂的标定即可达到鲁棒、精准的眼动交互。
发明内容
本发明提出一种融合深度网络和几何模型的增强现实眼动交互方法，包括如下步骤：
采集多人双眼图像和注视点，对采集到的眼睛图像进行预处理；
使用大数据训练深度卷积神经网络模型，获得从所述眼睛图像到所述注视点的映射关系；
使用所述深度卷积神经网络模型预测的注视点结果作为几何模型的输入，结合当前人员少量真实数据求解几何模型参数，得到准确的映射关系。
其中，使用相机采集双眼图像，同时采集时结合补光技术。
其中，所述双眼图像和注视点来自多个不同人员。
其中，所述使用大数据训练深度卷积神经网络模型，获得从眼睛图像到注视点的映射关系，包括：
收集多人多张双眼图像以及对应的注视点；
构建基于深度卷积神经网络的映射模型；
将收集到的双眼图像作为网络输入，对应的注视点为目标，通过梯度下降法最小化损失函数，训练出合适的映射模型。
其中，所述深度卷积神经网络模型为双输入模型。
其中，所述将收集到的双眼图像作为网络输入，对应的注视点为目标，通过梯度下降法最小化损失函数，训练出合适的映射模型具体包括：
对左右眼图像分别进行多层卷积提取特征；
将所述特征使用全连接层进行融合；
使用多个全连接层来估计注视点；
使用梯度下降算法进行训练，得到从眼睛图像到注视点的映射关系。
其中，所述当前人员少量真实数据是通过当前人员注视少量目标点采集的瞳孔中心和注视点数据。
其中，使用深度卷积神经网络模型预测的注视点结果作为几何模型的输入，结合当前人员少量真实数据求解几何模型参数，得到当前人员准确的映射关系具体包括：
获取所述当前人员的当前注视方向的瞳孔中心和注视点；
获取所述人员的与当前注视方向不同的多个其他方向的瞳孔中心和预测注视点；
使用获得的真实瞳孔中心、注视点以及预测注视点数据求解几何模型参数，得到当前人员准确的映射关系。
其中，通过深度卷积神经网络模型预测注视点。
其中，所述对左右眼图像分别进行多层卷积提取特征包括：
使用卷积层和池化层进行特征提取。
本发明的优点有：(1)减少了标定点，节约标定时间，人员可以快速进行眼动交互。(2)通过大数据训练的深度卷积神经网络模型对周围环境不敏感，鲁棒性强，结合几何模型，注视估计精度高。
附图说明
通过阅读优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选事实方案的目的，而并不认为是对本申请的限制。在附图中：
图1是本申请的步骤示意图；
图2是本申请中采集眼睛图像的微型相机位置示意图；
图3是本申请中深度网络模型结构图；
图4是本申请提出的融合深度网络和几何模型求解几何模型参数的步骤示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施方式。虽然附图中显示了本发明的示例性实施方式，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
针对增强现实中眼动交互存在的问题，本发明提出了一种融合深度网络和几何模型的增强现实眼动交互方法，可以进行快速标定，并且能够精确的预测人员的注视点。图1是本发明的步骤示意图，其主要包括以下步骤：
S1、采集大量人员双眼图像和注视点，对采集到的眼睛图像进行预处理；
S2、使用大数据训练深度卷积神经网络模型，获得从眼睛图像到注视点的映射关系；
S3、使用深度卷积神经网络模型预测的注视点结果作为几何模型的输入，结合当前人员少量真实数据求解几何模型参数，得到当前人员准确的映射关系；
在步骤S1中，获取眼睛图像的相机可以是灰度相机、彩色相机、红外相机，可以采用补光技术以及其他的增强拍摄技术。本实施例使用带补光的近红外相机近距离进行眼睛图像采集，拍摄的眼睛图像足够清晰。如图2所示，本实施例将相机安装在增强现实眼镜HoloLens下方，不破坏眼镜的结构，同时不影响眼镜的正常使用，不遮挡人员视线。双眼图像和注视点数据由多人分别佩戴眼镜采集得到。所述对采集到的眼睛图像进行预处理可以是灰度处理、二值化处理、裁剪处理等。
在步骤S2中，使用S1中获取的大量双眼图像和注视点训练深度卷积神经网络模型，获得从眼睛图像到注视点的映射关系。对深度卷积神经网络模型结构进行设计，输入双眼图像，输出注视点，通过梯度下降法训练合适的模型参数。本实施例中的深度卷积神经网络模型采用多个卷积层与多个全连接层叠加，图3展示了一种可能的深度卷积神经网络模型结构。训练网络模型的具体步骤如下：
S2.1网络的输入需要进行归一化处理，先将RGB图像转化为灰度图像，再将图像像素值由[0，255]归一化至[0，1]；
S2.2使用卷积层和池化层进行特征提取；
此步骤中，卷积层内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量(bias vector)，类似于一个前馈神经网络的神经元，卷积层内每个神经元都与前一层中位置接近的区域的多个神经元相连，区域的大小取决于卷积核的大小，卷积核在工作时，会有规律地扫过输入特征，在感受野内对输入特征做矩阵元素乘法求和并叠加偏差量，计算公式为：
其中b为偏差量，Zl和Zl+1表示第l+1层的卷积输入和输出，也被称为特征图(feature map)，Ll+1为Zl+1的尺寸，这里假设特征图长宽相同。Z(i，j)对应特征图的像素，K为特征图的通道数，f、s0和p是卷积层参数，对应卷积核大小、卷积步长(stride)和填充(padding)层数。
此步骤中，池化层的表示形式为：
其中步长s0、像素(i，j)的含义与卷积层相同，p是预指定参数。当p＝1时，被称为均值池化(average pooling)；当p→∞时，被称为极大池化(max pooling)。本实施例中使用极大池化。
S2.3连接双眼图像特征图并展平，使用多个全连接层输出注视点；
S2.4使用梯度下降算法进行训练，得到从眼睛图像到注视点的映射关系。
在步骤S3中，结合深度网络模型与几何模型提高当前人员注视点估计精度，如图4所示，使用步骤S2中训练好的网络模型预测注视点和真实的注视点以及瞳孔中心计算几何模型参数。本实例使用的几何模型为多项式映射模型，一种表示形式如下：
其中(x，y)表示人眼注视点的二维坐标，(xeye，yeye)表示瞳孔中心的二维坐标，αi和bi表示映射函数的系数。该映射函数中有12个未知参数，通常需要采集9个校准点的瞳孔中心数据，可以得到18个方程，建立如下方程组：
其中X1和X2是需求解的映射函数的系数向量，Y1和Y2是校准点坐标的x，y分量，Axy表示瞳孔中心坐标矩阵，具体表示为：
以求解X1为例，使用最小二乘法进行计算，表示形式如下：
由上述方程可求出映射函数系数向量X1，同理可求得X2。
与上述方法不同，本发明提出的方法只需要采集当前人员少量校准点数据，以下采用2个校准点为例进行说明。此时其他的7个校准点被步骤S2中训练好的网络模型预测值替换，记为(xpi，ypi)，对应的瞳孔中心坐标记为(xeyepi，yeyepi)，其中i＝{1，2，...，7}，则Y1和Y2表示为：
最终求解X1的方程表示为：
通过上述步骤S1、S2、S3，即可获得准确的从眼睛图像到注视点的映射关系。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种融合深度网络和几何模型的增强现实眼动交互方法，其包括：
采集双眼图像和注视点，对采集到的眼睛图像进行预处理；
使用大数据训练深度卷积神经网络模型，获得从所述眼睛图像到所述注视点的映射关系；
使用所述深度卷积神经网络模型预测的注视点结果作为几何模型的部分输入，结合当前人员少量真实数据求解几何模型参数，得到当前人员准确的映射关系。
2.如权利要求1所述融合深度网络和几何模型的增强现实眼动交互方法，其中使用相机采集双眼图像，同时采集时结合补光技术。
3.如权利要求1所述融合深度网络和几何模型的增强现实眼动交互方法，其中所述双眼图像和注视点来自多个不同人员。
4.如权利要求1所述融合深度网络和几何模型的增强现实眼动交互方法，所述使用大数据训练深度卷积神经网络模型，获得从眼睛图像到注视点的映射关系，包括：
收集多人多张双眼图像以及对应的注视点；
构建基于深度卷积神经网络的映射模型；
将收集到的双眼图像作为网络输入，对应的注视点为目标，通过梯度下降法最小化损失函数，训练出合适的映射模型。
5.如权利要求4所述融合深度网络和几何模型的增强现实眼动交互方法，其中所述深度卷积神经网络模型为双输入模型。
6.如权利要求5所述融合深度网络和几何模型的增强现实眼动交互方法，其中所述将收集到的双眼图像作为网络输入，对应的注视点为目标，通过梯度下降法最小化损失函数，训练出合适的映射模型具体包括：
对左右眼图像分别进行多层卷积提取特征；
将所述特征使用全连接层进行融合；
使用多个全连接层来估计注视点；
使用梯度下降算法进行训练，得到从眼睛图像到注视点的映射关系。
7.如权利要求1所述融合深度网络和几何模型的增强现实眼动交互方法，其中所述当前人员少量真实数据是通过当前人员注视少量目标点采集的瞳孔中心和注视点数据。
8.如权利要求7所述融合深度网络和几何模型的增强现实眼动交互方法，其中使用深度卷积神经网络模型预测的注视点结果作为几何模型的部分输入，结合当前人员少量真实数据求解几何模型参数，得到当前人员准确的映射关系具体包括：
获取所述当前人员的当前注视方向的瞳孔中心和注视点；
获取所述人员的与当前注视方向不同的多个其他方向的瞳孔中心和预测注视点；
使用获得的真实瞳孔中心、注视点以及预测注视点数据求解几何模型参数，得到当前人员准确的映射关系。
9.如权利要求8所述融合深度网络和几何模型的增强现实眼动交互方法，其中通过深度卷积神经网络模型预测注视点。
10.如权利要求6所述融合深度网络和几何模型的增强现实眼动交互方法，其中所述对左右眼图像分别进行多层卷积提取特征包括：
使用卷积层和池化层进行特征提取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911360074.5A CN111176447A (zh) | 2019-12-25 | 2019-12-25 | 一种融合深度网络和几何模型的增强现实眼动交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911360074.5A CN111176447A (zh) | 2019-12-25 | 2019-12-25 | 一种融合深度网络和几何模型的增强现实眼动交互方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111176447A true CN111176447A (zh) | 2020-05-19 |
Family
ID=70657463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911360074.5A Pending CN111176447A (zh) | 2019-12-25 | 2019-12-25 | 一种融合深度网络和几何模型的增强现实眼动交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111176447A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112183200A (zh) * | 2020-08-25 | 2021-01-05 | 中电海康集团有限公司 | 一种基于视频图像的眼动追踪方法和系统 |
| CN112732071A (zh) * | 2020-12-11 | 2021-04-30 | 浙江大学 | 一种免校准眼动追踪系统及应用 |
| CN113419624A (zh) * | 2021-05-27 | 2021-09-21 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于头部时序信号校正的眼动交互方法及装置 |
| CN113419623A (zh) * | 2021-05-27 | 2021-09-21 | 中国人民解放军军事科学院国防科技创新研究院 | 一种非标定眼动交互方法和装置 |
| CN113900519A (zh) * | 2021-09-30 | 2022-01-07 | Oppo广东移动通信有限公司 | 注视点获取方法、装置以及电子设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080048931A1 (en) * | 2003-11-26 | 2008-02-28 | Rafael - Armament Development Authority Ltd. | Helmet System for Information or Weapon Systems |
| CN109407828A (zh) * | 2018-09-11 | 2019-03-01 | 上海科技大学 | 一种凝视点估计方法及系统、存储介质及终端 |
| US20190121427A1 (en) * | 2016-06-08 | 2019-04-25 | South China University Of Technology | Iris and pupil-based gaze estimation method for head-mounted device |
| CN110147163A (zh) * | 2019-05-20 | 2019-08-20 | 浙江工业大学 | 面向移动设备的多模型融合驱动的眼动跟踪方法和系统 |
| US20190303724A1 (en) * | 2018-03-30 | 2019-10-03 | Tobii Ab | Neural Network Training For Three Dimensional (3D) Gaze Prediction With Calibration Parameters |
| CN110428470A (zh) * | 2019-06-18 | 2019-11-08 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于脑电辅助的增强现实眼镜眼动交互自标定方法 |
| CN110442232A (zh) * | 2019-06-18 | 2019-11-12 | 中国人民解放军军事科学院国防科技创新研究院 | 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统 |
| CN110456904A (zh) * | 2019-06-18 | 2019-11-15 | 中国人民解放军军事科学院国防科技创新研究院 | 一种无需标定的增强现实眼镜眼动交互方法及系统 |
| CN110460837A (zh) * | 2018-05-07 | 2019-11-15 | 苹果公司 | 具有中央凹显示器和注视预测的电子设备 |
-
2019
- 2019-12-25 CN CN201911360074.5A patent/CN111176447A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080048931A1 (en) * | 2003-11-26 | 2008-02-28 | Rafael - Armament Development Authority Ltd. | Helmet System for Information or Weapon Systems |
| US20190121427A1 (en) * | 2016-06-08 | 2019-04-25 | South China University Of Technology | Iris and pupil-based gaze estimation method for head-mounted device |
| US20190303724A1 (en) * | 2018-03-30 | 2019-10-03 | Tobii Ab | Neural Network Training For Three Dimensional (3D) Gaze Prediction With Calibration Parameters |
| CN110321773A (zh) * | 2018-03-30 | 2019-10-11 | 托比股份公司 | 使用校准参数的用于三维（3d）注视预测的神经网络训练 |
| CN110460837A (zh) * | 2018-05-07 | 2019-11-15 | 苹果公司 | 具有中央凹显示器和注视预测的电子设备 |
| CN109407828A (zh) * | 2018-09-11 | 2019-03-01 | 上海科技大学 | 一种凝视点估计方法及系统、存储介质及终端 |
| CN110147163A (zh) * | 2019-05-20 | 2019-08-20 | 浙江工业大学 | 面向移动设备的多模型融合驱动的眼动跟踪方法和系统 |
| CN110428470A (zh) * | 2019-06-18 | 2019-11-08 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于脑电辅助的增强现实眼镜眼动交互自标定方法 |
| CN110442232A (zh) * | 2019-06-18 | 2019-11-12 | 中国人民解放军军事科学院国防科技创新研究院 | 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统 |
| CN110456904A (zh) * | 2019-06-18 | 2019-11-15 | 中国人民解放军军事科学院国防科技创新研究院 | 一种无需标定的增强现实眼镜眼动交互方法及系统 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112183200A (zh) * | 2020-08-25 | 2021-01-05 | 中电海康集团有限公司 | 一种基于视频图像的眼动追踪方法和系统 |
| CN112183200B (zh) * | 2020-08-25 | 2023-10-17 | 中电海康集团有限公司 | 一种基于视频图像的眼动追踪方法和系统 |
| CN112732071A (zh) * | 2020-12-11 | 2021-04-30 | 浙江大学 | 一种免校准眼动追踪系统及应用 |
| CN113419624A (zh) * | 2021-05-27 | 2021-09-21 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于头部时序信号校正的眼动交互方法及装置 |
| CN113419623A (zh) * | 2021-05-27 | 2021-09-21 | 中国人民解放军军事科学院国防科技创新研究院 | 一种非标定眼动交互方法和装置 |
| CN113419624B (zh) * | 2021-05-27 | 2022-05-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于头部时序信号校正的眼动交互方法及装置 |
| CN113900519A (zh) * | 2021-09-30 | 2022-01-07 | Oppo广东移动通信有限公司 | 注视点获取方法、装置以及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111176447A (zh) | 一种融合深度网络和几何模型的增强现实眼动交互方法 | |
| CN106774863B (zh) | 一种基于瞳孔特征实现视线追踪的方法 | |
| CN104850825B (zh) | 一种基于卷积神经网络的人脸图像颜值计算方法 | |
| CN105913487B (zh) | 一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法 | |
| CN107545302B (zh) | 一种人眼左右眼图像联合的视线方向计算方法 | |
| CN102830793B (zh) | 视线跟踪方法和设备 | |
| CN103366157B (zh) | 一种人眼视线距离的判断方法 | |
| CN107280118B (zh) | 一种人体身高信息获取方法以及采用该方法的试衣柜系统 | |
| CN111819568A (zh) | 人脸旋转图像的生成方法及装置 | |
| CN106909220A (zh) | 一种适用于触控的视线交互方法 | |
| de San Roman et al. | Saliency driven object recognition in egocentric videos with deep CNN: toward application in assistance to neuroprostheses | |
| CN110991268B (zh) | 一种基于深度图像的帕金森手部运动量化分析方法和系统 | |
| Loureiro et al. | Using a skeleton gait energy image for pathological gait classification | |
| CN115482574B (zh) | 基于深度学习的屏幕注视点估计方法、装置、介质及设备 | |
| CN109359514A (zh) | 一种面向deskVR的手势跟踪识别联合策略方法 | |
| CN112733772B (zh) | 仓储拣选任务中的实时认知负荷与疲劳度检测方法与系统 | |
| CN116051631A (zh) | 光斑标注方法及系统 | |
| Yin et al. | Accurate estimation of body height from a single depth image via a four-stage developing network | |
| CN107194364B (zh) | 一种基于分治策略的Huffman-LBP多姿态人脸识别方法 | |
| Amrutha et al. | Human Body Pose Estimation and Applications | |
| CN115205933A (zh) | 面部表情识别方法、装置、设备及可读存储介质 | |
| US12033432B2 (en) | Determining digital markers indicative of a neurological condition | |
| CN117056786A (zh) | 非接触式应激状态识别方法与系统 | |
| CN114943924B (zh) | 基于人脸表情视频的疼痛评估方法、系统、设备及介质 | |
| Besari et al. | Finger joint angle estimation with visual attention for rehabilitation support: A case study of the chopsticks manipulation test |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200519 |
|
| RJ01 | Rejection of invention patent application after publication |