CN111325736B - 一种基于人眼差分图像的视线角度估计方法 - Google Patents

一种基于人眼差分图像的视线角度估计方法 Download PDF

Info

Publication number
CN111325736B
CN111325736B CN202010124652.1A CN202010124652A CN111325736B CN 111325736 B CN111325736 B CN 111325736B CN 202010124652 A CN202010124652 A CN 202010124652A CN 111325736 B CN111325736 B CN 111325736B
Authority
CN
China
Prior art keywords
human eye
sight angle
eye image
line
estimation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010124652.1A
Other languages
English (en)
Other versions
CN111325736A (zh
Inventor
顾菘
何龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Aeronautic Polytechnic
Original Assignee
Chengdu Aeronautic Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Aeronautic Polytechnic filed Critical Chengdu Aeronautic Polytechnic
Priority to CN202010124652.1A priority Critical patent/CN111325736B/zh
Publication of CN111325736A publication Critical patent/CN111325736A/zh
Application granted granted Critical
Publication of CN111325736B publication Critical patent/CN111325736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人眼差分图像的视线角度估计方法，将被测试人眼图像和参考人眼图像这两个不同的人眼图像输入到孪生神经网络中，通过网络回归得到相应的视线角度的差分值。当参考人眼图像的视线角度已知时，就可以得到被测试人眼图像的视线角度。所述方法解决了现有视线角度估计方法中从图像直接估计视线角度，由于个人的表观差异会带来较大的估计误差的问题；同时解决了针对某一个体进行数据标定的工作量相当大的问题。本发明利用孪生神经网络技术估计两个图像中视线角度的差分值，从而得到被测试人眼图像的视线角度，其角度估计精度高，鲁棒性好。

Description

一种基于人眼差分图像的视线角度估计方法
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于人眼差分图像的视线角度估计方法的设计。
背景技术
视线角度估计是通过图像处理技术将人眼部的视线角度计算出来，一般分为基于几何模型和基于表观模型两种估计方法。基于几何模型的估计方法是通过计算眼部的几何参数从而得到视线角度；基于表观模型的估计方法是将此问题看作回归问题，利用机器学习技术直接从输入图像中学习回归子，从而得到视线角度。由于前者较多的依赖于眼部图像的分辨率，因此后者成为主流的研究方向。但在目前基于表观模型的研究中，大多算法都是利用深度神经网络技术训练人眼图像，直接得到视线角度。一方面，由于网络训练与测试时所用到的人眼图像往往是不同的主体，所以个人表观特征的差异往往使得这种利用图像直接得到视线角度的方法存在较大的误差。虽然这种方法的平均误差可能较小，但针对某一个体时，通常存在较为固定的估计误差，影响了整个系统的估计精度。另一方面，如果针对某一个体进行网络学习时需要大量的数据标定工作，使得系统的应用范围受到极大的限制。
孪生网络技术的特征是其输入为两路，利用此两路输入，可以得到所对应输入的差分特征值。虽然网络训练集与测试集的数据来源不同，但在对训练好的网络进行测试时，网络输入可以选择相同主体的人眼图像分别作为参考图像和被测试图像。由于参考图像的视线角度可以提前标定，那么系统最终得到的被测试图像的视线角度即为参考图像视线角度与孪生网络输出的和。这样避免了由于个体原因带来的误差，提高了估计精度；并且，由于只需要选择几个有限的参考图像进行标定，这样大大减少了针对某一个体进行标定的工作量。
发明内容
本发明的目的是针对现有技术中的上述不足，提出了一种基于人眼差分图像的视线角度估计方法，解决现有人眼视线角度估计结果不精确，标定工作量大的问题。
本发明的技术方案为：一种基于人眼差分图像的视线角度估计方法，包括以下步骤：
S1、向孪生神经网络的两个输入端分别输入被测试人眼图像和参考人眼图像。
S2、在孪生神经网络中将被测试人眼图像和参考人眼图像分别依次经过VGG16网络、第一全连接层以及ReLU激活函数，得到第一特征向量和第二特征向量。
S3、将第一特征向量和第二特征向量拼接为第三特征向量。
S4、将第三特征向量依次经过第二全连接层和ReLU激活函数，得到第四特征向量。
S5、将第四特征向量经过第三全连接层，在孪生神经网络的输出端得到被测试人眼图像和参考人眼图像对应的视线角度差分值Gd。
S6、对参考人眼图像进行标定，得到参考人眼图像的视线角度向量Gf。
S7、根据参考人眼图像的视线角度向量Gf以及视线角度差分值Gd，得到被测试人眼图像的视线角度向量Gt。
本发明的有益效果是：本发明通过两个不同的人眼图像得到所对应视线角度的差分值，并通过标定的参考人眼图像所对应的视线角度得到被测试图像的视线角度，这种方法避免了网络训练集与测试集中由于主体个体差异带来的估计误差，并且大大减少了针对某一个体进行数据标定的工作量，提高了系统的可操作性，其角度估计精度高，鲁棒性好。
进一步地，步骤S1中被测试人眼图像和参考人眼图像均为左眼图像或均为右眼图像。
上述进一步方案的有益效果是：本发明将被测试人眼图像和参考人眼图像统一为左眼图像或右眼图像，能够有效提高方法的通用性。
进一步地，步骤S1中被测试人眼图像和参考人眼图像均为图像大小为36行，60列的彩色图像。
上述进一步方案的有益效果是：本发明统一了被测试人眼图像和参考人眼图像的格式和大小，规范了对输入数据的要求。
进一步地，步骤S2中第一全连接层的输入参数长度为512，输出参数长度为512。
上述进一步方案的有益效果是：通过对第一全连接层输入输出参数的具体设置，能够提取人眼图像的特征信息，有效进行后续计算。
进一步地，步骤S4中第二全连接层的输入参数长度为1024，输出参数长度为256。
上述进一步方案的有益效果是：通过对第二全连接层输入输出参数的具体设置，能够提高网络训练速度，增加网络的非线性性能。
进一步地，步骤S5中第三全连接层的输入参数长度为256，输出参数长度为3。
上述进一步方案的有益效果是：通过对第三全连接层输入输出参数的具体设置，使孪生神经网络的输出与整个视线角度估计方法的输出形式一致。
进一步地，步骤S7中被测试人眼图像的视线角度向量Gt的计算公式为：Gt＝Gf+Gd。
上述进一步方案的有益效果是：有效避免了网络训练集与测试集中由于主体个体差异带来的估计误差。
进一步地，视线角度差分值Gd、参考人眼图像的视线角度向量Gf和被测试人眼图像的视线角度向量Gt均为采用欧拉角表示的长度为3的向量。
上述进一步方案的有益效果是：方便标识视线在三维空间中的方向。
进一步地，对孪生神经网络进行网络参数学习时，损失函数采用视线角度差分值Gd与标注的视线角度差值的L2范数。
上述进一步方案的有益效果是：有效优化了神经网络中的各层参数。
进一步地，对孪生神经网络进行网络参数学习时，采用标注好的MPIIFaceGaze数据集对孪生神经网络进行网络参数学习。
上述进一步方案的有益效果是：减小了数据标定的工作量。
附图说明
图1所示为本发明实施例提供的一种基于人眼差分图像的视线角度估计方法流程图。
具体实施方式
现在将参考附图来详细描述本发明的示例性实施方式。应当理解，附图中示出和描述的实施方式仅仅是示例性的，意在阐释本发明的原理和精神，而并非限制本发明的范围。
本发明实施例提供了一种基于人眼差分图像的视线角度估计方法，如图1所示，包括以下步骤S1～S7：
S1、向孪生神经网络的两个输入端分别输入被测试人眼图像和参考人眼图像。
本发明实施例中，被测试人眼图像和参考人眼图像均为左眼图像或均为右眼图像。被测试人眼图像和参考人眼图像均为图像大小为36行，60列的彩色图像。
S2、在孪生神经网络中将被测试人眼图像和参考人眼图像分别依次经过VGG16网络、第一全连接层以及ReLU激活函数，得到第一特征向量和第二特征向量。
本发明实施例中，第一全连接层的输入参数长度为512，输出参数长度为512。
S3、将第一特征向量和第二特征向量拼接为第三特征向量。
S4、将第三特征向量依次经过第二全连接层和ReLU激活函数，得到第四特征向量。
本发明实施例中，第二全连接层的输入参数长度为1024，输出参数长度为256。
S5、将第四特征向量经过第三全连接层，在孪生神经网络的输出端得到被测试人眼图像和参考人眼图像对应的视线角度差分值Gd。
本发明实施例中，第三全连接层的输入参数长度为256，输出参数长度为3。
S6、对参考人眼图像进行标定，得到参考人眼图像的视线角度向量Gf。
S7、根据参考人眼图像的视线角度向量Gf以及视线角度差分值Gd，得到被测试人眼图像的视线角度向量Gt，计算公式为：Gt＝Gf+Gd。
本发明实施例中，视线角度差分值Gd、参考人眼图像的视线角度向量Gf和被测试人眼图像的视线角度向量Gt均为采用欧拉角(Yaw、Pitch和Roll)表示的长度为3的向量。
本发明实施例中，对孪生神经网络进行网络参数学习时，损失函数采用视线角度差分值Gd与标注的视线角度差值的L2范数。
本发明实施例中，对孪生神经网络进行网络参数学习时，采用标注好的MPIIFaceGaze数据集对孪生神经网络进行网络参数学习。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (8)

1.一种基于人眼差分图像的视线角度估计方法，其特征在于，包括以下步骤：
S1、向孪生神经网络的两个输入端分别输入被测试人眼图像和参考人眼图像；
S2、在孪生神经网络中将被测试人眼图像和参考人眼图像分别依次经过VGG16网络、第一全连接层以及ReLU激活函数，得到第一特征向量和第二特征向量；
S3、将第一特征向量和第二特征向量拼接为第三特征向量；
S4、将第三特征向量依次经过第二全连接层和ReLU激活函数，得到第四特征向量；
S5、将第四特征向量经过第三全连接层，在孪生神经网络的输出端得到被测试人眼图像和参考人眼图像对应的视线角度差分值Gd；
S6、对参考人眼图像进行标定，得到参考人眼图像的视线角度向量Gf；
S7、根据参考人眼图像的视线角度向量Gf以及视线角度差分值Gd，得到被测试人眼图像的视线角度向量Gt；
所述步骤S2中第一全连接层的输入参数长度为512，输出参数长度为512；
所述步骤S7中被测试人眼图像的视线角度向量Gt的计算公式为：Gt＝Gf+Gd。
2.根据权利要求1所述的视线角度估计方法，其特征在于，所述步骤S1中被测试人眼图像和参考人眼图像均为左眼图像或均为右眼图像。
3.根据权利要求1所述的视线角度估计方法，其特征在于，所述步骤S1中被测试人眼图像和参考人眼图像均为图像大小为36行，60列的彩色图像。
4.根据权利要求1所述的视线角度估计方法，其特征在于，所述步骤S4中第二全连接层的输入参数长度为1024，输出参数长度为256。
5.根据权利要求1所述的视线角度估计方法，其特征在于，所述步骤S5中第三全连接层的输入参数长度为256，输出参数长度为3。
6.根据权利要求1所述的视线角度估计方法，其特征在于，所述视线角度差分值Gd、参考人眼图像的视线角度向量Gf和被测试人眼图像的视线角度向量Gt均为采用欧拉角表示的长度为3的向量。
7.根据权利要求1所述的视线角度估计方法，其特征在于，对所述孪生神经网络进行网络参数学习时，损失函数采用视线角度差分值Gd与标注的视线角度差值的L2范数。
8.根据权利要求7所述的视线角度估计方法，其特征在于，对所述孪生神经网络进行网络参数学习时，采用标注好的MPIIFaceGaze数据集对孪生神经网络进行网络参数学习。
CN202010124652.1A 2020-02-27 2020-02-27 一种基于人眼差分图像的视线角度估计方法 Active CN111325736B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010124652.1A CN111325736B (zh) 2020-02-27 2020-02-27 一种基于人眼差分图像的视线角度估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010124652.1A CN111325736B (zh) 2020-02-27 2020-02-27 一种基于人眼差分图像的视线角度估计方法

Publications (2)

Publication Number Publication Date
CN111325736A CN111325736A (zh) 2020-06-23
CN111325736B true CN111325736B (zh) 2024-02-27

Family

ID=71167360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010124652.1A Active CN111325736B (zh) 2020-02-27 2020-02-27 一种基于人眼差分图像的视线角度估计方法

Country Status (1)

Country Link
CN (1) CN111325736B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11113842B2 (en) * 2018-12-24 2021-09-07 Samsung Electronics Co., Ltd. Method and apparatus with gaze estimation
WO2022141114A1 (zh) * 2020-12-29 2022-07-07 深圳市大疆创新科技有限公司 视线估计方法、装置、车辆及计算机可读存储介质
CN113238652B (zh) * 2021-05-11 2023-07-14 北京字跳网络技术有限公司 视线估计方法、装置、设备及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545302A (zh) * 2017-08-02 2018-01-05 北京航空航天大学 一种人眼左右眼图像联合的视线方向计算方法
CN108171209A (zh) * 2018-01-18 2018-06-15 中科视拓（北京）科技有限公司 一种基于卷积神经网络进行度量学习的人脸年龄估计方法
CN108830157A (zh) * 2018-05-15 2018-11-16 华北电力大学（保定） 基于注意力机制和3d卷积神经网络的人体行为识别方法
CN109117744A (zh) * 2018-07-20 2019-01-01 杭州电子科技大学 一种用于人脸验证的孪生神经网络训练方法
CN109344759A (zh) * 2018-06-12 2019-02-15 北京理工大学 一种基于角度损失神经网络的亲属识别方法
CN109859166A (zh) * 2018-12-26 2019-06-07 上海大学 一种基于多列卷积神经网络的无参3d图像质量评估方法
CN110060236A (zh) * 2019-03-27 2019-07-26 天津大学 基于深度卷积神经网络的立体图像质量评价方法
CN110264526A (zh) * 2019-06-19 2019-09-20 华东师范大学 一种基于深度学习的场景深度和摄像机位置姿势求解方法
CN110320999A (zh) * 2018-03-30 2019-10-11 托比股份公司 用于三维(3d)注视预测的深度学习
CN110324613A (zh) * 2019-07-30 2019-10-11 华南理工大学 一种面向视频传输质量的深度学习图像评价方法
CN110378315A (zh) * 2019-07-29 2019-10-25 成都航空职业技术学院 一种基于脸部图像的视线角度估计方法
WO2019209131A1 (ru) * 2018-04-23 2019-10-31 Общество с ограниченной ответственностью "ЦРТ-инновации" Способ обучения нейронной сети распознаванию лиц людей
US10467526B1 (en) * 2018-01-17 2019-11-05 Amaon Technologies, Inc. Artificial intelligence system for image similarity analysis using optimized image pair selection and multi-scale convolutional neural networks
CN110570406A (zh) * 2019-08-27 2019-12-13 天津大学 从局部到全局特征回归无参考立体图像质量评价方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10552709B2 (en) * 2016-10-05 2020-02-04 Ecole Polytechnique Federale De Lausanne (Epfl) Method, system, and device for learned invariant feature transform for computer images
US11132543B2 (en) * 2016-12-28 2021-09-28 Nvidia Corporation Unconstrained appearance-based gaze estimation
KR20190082688A (ko) * 2019-06-20 2019-07-10 엘지전자 주식회사 시선 추적을 이용한 디스플레이 제어방법 및 디스플레이 제어장치

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545302A (zh) * 2017-08-02 2018-01-05 北京航空航天大学 一种人眼左右眼图像联合的视线方向计算方法
US10467526B1 (en) * 2018-01-17 2019-11-05 Amaon Technologies, Inc. Artificial intelligence system for image similarity analysis using optimized image pair selection and multi-scale convolutional neural networks
CN108171209A (zh) * 2018-01-18 2018-06-15 中科视拓（北京）科技有限公司 一种基于卷积神经网络进行度量学习的人脸年龄估计方法
CN110320999A (zh) * 2018-03-30 2019-10-11 托比股份公司 用于三维(3d)注视预测的深度学习
WO2019209131A1 (ru) * 2018-04-23 2019-10-31 Общество с ограниченной ответственностью "ЦРТ-инновации" Способ обучения нейронной сети распознаванию лиц людей
CN108830157A (zh) * 2018-05-15 2018-11-16 华北电力大学（保定） 基于注意力机制和3d卷积神经网络的人体行为识别方法
CN109344759A (zh) * 2018-06-12 2019-02-15 北京理工大学 一种基于角度损失神经网络的亲属识别方法
CN109117744A (zh) * 2018-07-20 2019-01-01 杭州电子科技大学 一种用于人脸验证的孪生神经网络训练方法
CN109859166A (zh) * 2018-12-26 2019-06-07 上海大学 一种基于多列卷积神经网络的无参3d图像质量评估方法
CN110060236A (zh) * 2019-03-27 2019-07-26 天津大学 基于深度卷积神经网络的立体图像质量评价方法
CN110264526A (zh) * 2019-06-19 2019-09-20 华东师范大学 一种基于深度学习的场景深度和摄像机位置姿势求解方法
CN110378315A (zh) * 2019-07-29 2019-10-25 成都航空职业技术学院 一种基于脸部图像的视线角度估计方法
CN110324613A (zh) * 2019-07-30 2019-10-11 华南理工大学 一种面向视频传输质量的深度学习图像评价方法
CN110570406A (zh) * 2019-08-27 2019-12-13 天津大学 从局部到全局特征回归无参考立体图像质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于监控视频的行人再识别算法研究;何华门;中国优秀硕士学位论文全文数据库 (信息科技辑)(第1期);全文 *
杨春雨等.面向视线预测的双通道残差网络.自动化与信息工程.2020,第41卷(第1期),第10-15、21页. *

Also Published As

Publication number Publication date
CN111325736A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN111325736B (zh) 一种基于人眼差分图像的视线角度估计方法
CN107341814B (zh) 基于稀疏直接法的四旋翼无人机单目视觉测程方法
CN107545302B (zh) 一种人眼左右眼图像联合的视线方向计算方法
CN1871622B (zh) 图像比较系统和图像比较方法
CN111723691B (zh) 一种三维人脸识别方法、装置、电子设备及存储介质
CN109859266B (zh) 一种基于预变换的大视角变化下视觉同时定位与绘图方法
CN110009674A (zh) 基于无监督深度学习的单目图像景深实时计算方法
US11900622B2 (en) Depth superresolution device, depth superresolution method, and program
CN107941217A (zh) 一种机器人定位方法、电子设备、存储介质、装置
CN110119768B (zh) 用于车辆定位的视觉信息融合系统及方法
CN114565655A (zh) 一种基于金字塔分割注意力的深度估计方法及装置
CN110986968A (zh) 三维重建中实时全局优化和错误回环判断的方法及装置
CN115830094A (zh) 一种基于无监督的立体匹配方法
CN110414101B (zh) 一种仿真场景测量方法、准确性测定方法及系统
CN114120013A (zh) 一种红外与rgb跨模态特征点匹配方法
CN107330934B (zh) 低维度的集束调整计算方法与系统
US20230326251A1 (en) Work estimation device, work estimation method, and non-transitory computer readable medium
CN116319378B (zh) 基于深度学习的网络流量矩阵估计、模型训练方法和系统
US20240087155A1 (en) Prior informed pose and scale estimation
CN111836072B (zh) 视频处理方法、装置、设备和存储介质
CN114608558A (zh) 基于特征匹配网络的slam方法、系统、设备及存储介质
CN114155406A (zh) 一种基于区域级特征融合的位姿估计方法
CN113822174A (zh) 视线估计的方法、电子设备及存储介质
CN109643369B (zh) 用于辅助载具导航的方法和装置
CN110473258A (zh) 基于点线统一框架的单目slam系统初始化算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant