CN114022946A - 一种基于双目摄像头的视线测量方法和装置 - Google Patents

一种基于双目摄像头的视线测量方法和装置 Download PDF

Info

Publication number
CN114022946A
CN114022946A CN202210007556.8A CN202210007556A CN114022946A CN 114022946 A CN114022946 A CN 114022946A CN 202210007556 A CN202210007556 A CN 202210007556A CN 114022946 A CN114022946 A CN 114022946A
Authority
CN
China
Prior art keywords
face
pupil
camera
vector
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210007556.8A
Other languages
English (en)
Other versions
CN114022946B (zh
Inventor
郭锡
刘国清
王启程
杨广
徐涵
全丹辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ruijian Zhixing Technology Co ltd
Original Assignee
Shenzhen Minieye Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Minieye Innovation Technology Co Ltd filed Critical Shenzhen Minieye Innovation Technology Co Ltd
Priority to CN202210007556.8A priority Critical patent/CN114022946B/zh
Publication of CN114022946A publication Critical patent/CN114022946A/zh
Application granted granted Critical
Publication of CN114022946B publication Critical patent/CN114022946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供了一种基于双目摄像头的视线测量方法和装置，所述方法包括：通过双目摄像头拍摄第一照片和第二照片；照片均包括观测点和标定板；检测第一照片中第一人脸和第二照片中第二人脸，根据第一人脸和第二人脸，获得瞳孔信息；通过第三摄像头得到观测点标定板坐标系中的第三坐标；根据第三坐标，结合第一信息和第二信息，获得视线的向量。本发明相对于现有技术，基于双目摄像头获取瞳孔在标定板坐标系中的坐标，结合观测点的坐标，实现了实时地对多种姿态视线进行测量，同时能实时地跟踪到受试者的瞳孔移动，对场景的布置较为简单，节约了大量的布置成本。

Description

一种基于双目摄像头的视线测量方法和装置
技术领域
本发明涉及视线追踪领域，尤其涉及一种基于双目摄像头的视线测量方法和装置。
背景技术
目前视线追踪技术主要利用电子、光学、机械以及计算机算法等方法以获取受试者的当前观察方向。视线追踪技术被广泛应用于虚拟现实，疲劳检测、人机交互等多个领域。现有技术主要通过机器学习算法进行视线追踪，但是现有技术普遍需要收集大量的视线数据并且前提是测量过程中受试者不能移动，因此局限性大，场景的布置也极为繁琐。
发明内容
本发明提供了一种基于双目摄像头的视线测量方法和装置，以解决获取受试者视线观察方向的同时能追踪受试者的技术问题。
为了解决上述技术问题，本发明实施例提供了一种基于双目摄像头的视线测量方法，包括：
通过第一摄像头拍摄第一照片，通过第二摄像头拍摄第二照片；所述第一照片和所述第二照片中均包括受试者的人脸和标定板；其中，所述双目摄像头为所述第一摄像头和所述第二摄像头；
检测所述第一照片中第一人脸和所述第二照片中第二人脸，根据所述第一人脸和所述第二人脸，获得所述第一人脸的第一瞳孔的第一信息和所述第二人脸的第二瞳孔的第二信息；
通过第三摄像头拍摄所述标定板，获取所述标定板相对于所述第三摄像头的旋转矩阵和平移向量，得到所述观测点在所述标定板的坐标系中的第三坐标；
根据所述第三坐标，结合所述第一信息和所述第二信息，获得视线的向量。
作为优选方案，所述通过第三摄像头拍摄所述标定板，获取所述标定板相对于所述第三摄像头的旋转矩阵和平移向量，具体为：
通过第三摄像头拍摄所述标定板，识别所述标定板中的阿鲁科标记；根据所述阿鲁科标记，得到所述标定板的坐标系原点相对于所述第三摄像头的坐标系原点的旋转矩阵和平移向量。
作为优选方案，所述根据所述第一人脸和所述第二人脸，获得所述第一人脸的第一瞳孔的第一信息和所述第二人脸的第二瞳孔的第二信息，具体为：
根据所述第一人脸和所述第二人脸，获得所述第一瞳孔在所述第一人脸中的第一像素坐标和第一向量，并获得所述第二瞳孔在所述第二人脸中的第二像素坐标和第二向量；其中，所述第一向量为所述第一摄像头的坐标系内所述第一摄像头与所述第一瞳孔相对位置向量；所述第二向量为所述第二摄像头的坐标系内所述第二摄像头与所述第二瞳孔相对位置向量。
作为优选方案，所述根据所述第三坐标，结合所述第一信息和所述第二信息，获得视线的向量,具体为：
根据第一像素坐标和第一向量，获得第一瞳孔在所述标定板的坐标系中的第一瞳孔坐标；
根据第二像素坐标和第二向量，获得第二瞳孔在所述标定板的坐标系中的第二瞳孔坐标；
根据所述第三坐标，结合所述第一瞳孔坐标和所述第二瞳孔坐标的中值，获得视线的向量。
作为优选方案，所述根据所述第一人脸和所述第二人脸，获得所述第一瞳孔在所述第一人脸中的第一像素坐标和第一向量，并获得所述第二瞳孔在所述第二人脸中的第二像素坐标和第二向量，具体为：
根据所述第一人脸，通过机器学习提取所述第一人脸中的所有的第一特征点，计算获得所述第一瞳孔在所述第一人脸中的第一像素坐标和第一向量；其中，所述第一特征点包括所述第一瞳孔；
根据所述第二人脸，通过机器学习提取所述第二人脸中的所有的第二特征点，计算获得所述第二瞳孔在所述第二人脸中的第二像素坐标和第二向量；其中，所述第二特征点包括所述第二瞳孔。
本发明还提供了一种基于双目摄像头的视线测量装置，包括拍摄模块、检测模块、获取模块和视线向量模块；其中，
所述拍摄模块用于通过第一摄像头拍摄第一照片，通过第二摄像头拍摄第二照片；所述第一照片和所述第二照片中均包括受试者的人脸和标定板；其中，所述拍摄模块包括所述第一摄像头和所述第二摄像头；其中，所述双目摄像头为所述第一摄像头和所述第二摄像头；
所述检测模块用于检测所述第一照片中第一人脸和所述第二照片中第二人脸，根据所述第一人脸和所述第二人脸，获得所述第一人脸的第一瞳孔的第一信息和所述第二人脸的第二瞳孔的第二信息；
所述获取模块用于通过第三摄像头拍摄所述标定板，获取所述标定板相对于所述第三摄像头的旋转矩阵和平移向量，得到观测点在所述标定板的坐标系中的第三坐标；
所述视线向量模块用于根据所述第三坐标，结合所述第一信息和所述第二信息，获得视线的向量。
作为优选方案，所述获取模块通过第三摄像头拍摄所述标定板，获取所述标定板相对于所述第三摄像头的旋转矩阵和平移向量，具体为：
所述获取模块通过第三摄像头拍摄所述标定板，识别所述标定板中的阿鲁科标记；根据所述阿鲁科标记，得到所述标定板的坐标系原点相对于所述第三摄像头的坐标系原点的旋转矩阵和平移向量。
作为优选方案，所述检测模块根据所述第一人脸和所述第二人脸，获得所述第一人脸的第一瞳孔的第一信息和所述第二人脸的第二瞳孔的第二信息，具体为：
所述检测模块根据所述第一人脸和所述第二人脸，获得所述第一瞳孔在所述第一人脸中的第一像素坐标和第一向量，并获得所述第二瞳孔在所述第二人脸中的第二像素坐标和第二向量；其中，所述第一向量为所述第一摄像头的坐标系内所述第一摄像头与所述第一瞳孔相对位置向量；所述第二向量为所述第二摄像头的坐标系内所述第二摄像头与所述第二瞳孔相对位置向量。
作为优选方案，所述视线向量模块根据所述第三坐标，结合所述第一信息和所述第二信息，获得视线的向量，具体为：
所述视线向量模块根据第一像素坐标和第一向量，获得第一瞳孔在所述标定板的坐标系中的第一瞳孔坐标；
根据第二像素坐标和第二向量，获得第二瞳孔在所述标定板的坐标系中的第二瞳孔坐标；
根据所述第三坐标，结合所述第一瞳孔坐标和所述第二瞳孔坐标的中值，获得视线的向量。
作为优选方案，所述检测模块根据所述第一人脸和所述第二人脸，获得所述第一瞳孔在所述第一人脸中的第一像素坐标和第一向量，并获得所述第二瞳孔在所述第二人脸中的第二像素坐标和第二向量，具体为：
所述检测模块根据所述第一人脸，通过机器学习提取所述第一人脸中的所有的第一特征点，计算获得所述第一瞳孔在所述第一人脸中的第一像素坐标和第一向量；其中，所述第一特征点包括所述第一瞳孔；
根据所述第二人脸，通过机器学习提取所述第二人脸中的所有的第二特征点，计算获得所述第二瞳孔在所述第二人脸中的第二像素坐标和第二向量；其中，所述第二特征点包括所述第二瞳孔。
相比于现有技术，本发明实施例具有如下有益效果：
本发明实施例提供了一种基于双目摄像头的视线测量方法和装置，所述方法包括：通过第一摄像头拍摄第一照片，通过第二摄像头拍摄第二照片；所述第一照片和所述第二照片中均包括受试者的人脸和标定板；其中，所述双目摄像头为所述第一摄像头和所述第二摄像头；检测所述第一照片中第一人脸和所述第二照片中第二人脸，根据所述第一人脸和所述第二人脸，获得所述第一人脸的第一瞳孔的第一信息和所述第二人脸的第二瞳孔的第二信息；通过第三摄像头拍摄所述标定板，获取所述标定板相对于所述第三摄像头的旋转矩阵和平移向量，得到观测点在所述标定板的坐标系中的第三坐标；根据所述第三坐标，结合所述第一信息和所述第二信息，获得视线的向量。本发明相对于现有技术，基于双目摄像头获取瞳孔在标定板坐标系中的坐标，结合观测点的坐标，实现了实时地对多种姿态视线进行测量，同时能实时地跟踪到受试者的瞳孔移动，对场景的布置较为简单，节约了大量的布置成本。
附图说明
图1：为本发明基于双目摄像头的视线测量方法提供的一种实施例的流程示意图。
图2：为本发明基于双目摄像头的视线测量方法提供的一种实施例的原理示意图。
图3：为本发明基于双目摄像头的视线测量方法提供的一种实施例的标定板的示意图。
图4：为本发明基于双目摄像头的视线测量方法提供的一种实施例的阿鲁科标记的示意图。
图5：为本发明基于双目摄像头的视线测量装置提供的一种实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一:
请参照图1，图1为本发明实施例提供的一种基于双目摄像头的视线测量方法，包括步骤S1至步骤S4；其中，
步骤S1，通过第一摄像头拍摄第一照片，通过第二摄像头拍摄第二照片；所述第一照片和所述第二照片中均包括受试者的人脸和标定板；其中，所述双目摄像头为所述第一摄像头和所述第二摄像头。
在本实施例中，设置标定板与观测区域之间为1.1米的距离，观测区域为一张表格，表格横框线和竖框线的交点即为观测点，也是测量视线过程中受试者注视的点。受试者背对标定板，面向观测区域，所述第一摄像头B和所述第二摄像头C（B和C即双目摄像头）设置于观测区域和受试者之间，朝向受试者，可同时拍摄到标定板和人脸，并且所述第一摄像头B和所述第二摄像头C之间相距一定距离，产生视差。
步骤S2，检测所述第一照片中第一人脸和所述第二照片中第二人脸，根据所述第一人脸和所述第二人脸，获得所述第一人脸的第一瞳孔的第一信息和所述第二人脸的第二瞳孔的第二信息。
在本实施例中，参照图2，所述第一摄像头B和所述第二摄像头C同时拍摄受试者一张照片。第一摄像头B获取的人脸为第一人脸，第二摄像头C获取的人脸为第二人脸。
根据所述第一人脸和所述第二人脸，通过机器学习提取所述第一人脸中的所有第一特征点和所述第二人脸中的所有特征点（特征点包括眼睛、鼻尖、嘴、眉毛以及人脸各部件轮廓点）。在所有特征点中，瞳孔为点E，所述第一摄像头B拍摄到的瞳孔为Eb，所述第二摄像头C拍摄到的瞳孔为Ec，点Eb和点Ec为点E的近似，直线ObEb与OcEc近似相交于点E，Eb与Ec为直线ObEb与OcEc两直线上最近的两点。获得所述第一瞳孔Eb在所述第一人脸中的第一像素坐标（xb,yb）和第一向量
Figure 499273DEST_PATH_IMAGE001
=（xb,yb,1）（第一摄像头B坐标系内与向量
Figure 934933DEST_PATH_IMAGE002
同方向），以及所述第二瞳孔Ec在所述第二人脸中的第二像素坐标（xc，yc）和第二向量
Figure 893531DEST_PATH_IMAGE003
=(xc,yc,1)（第二摄像头C坐标内与向量
Figure 781852DEST_PATH_IMAGE004
同方向）。也即，所述第一向量为所述第一摄像头的坐标系内所述第一摄像头与所述第一瞳孔相对位置向量；所述第二向量为所述第二摄像头的坐标系内所述第二摄像头与所述第二瞳孔相对位置向量。
由此，进一步地，可得
Figure 851308DEST_PATH_IMAGE005
，
Figure 203792DEST_PATH_IMAGE005
为
Figure 84024DEST_PATH_IMAGE001
在标定板坐标系中的表示，具体为：
Figure 708909DEST_PATH_IMAGE006
；
同时可得
Figure 67209DEST_PATH_IMAGE007
，
Figure 726729DEST_PATH_IMAGE007
为
Figure 840179DEST_PATH_IMAGE003
在标定板坐标系中的表示，具体地：
Figure 703093DEST_PATH_IMAGE008
；
由于
Figure 927401DEST_PATH_IMAGE009
分别与
Figure 175848DEST_PATH_IMAGE005
和
Figure 397882DEST_PATH_IMAGE007
垂直，由此可得：
Figure 810409DEST_PATH_IMAGE010
；
解得：
Figure 25358DEST_PATH_IMAGE011
；
由此可以得到第一瞳孔坐标Eb和第二瞳孔坐标Ec：
Figure 206941DEST_PATH_IMAGE012
；
瞳孔为Eb和Ec的中点，即
Figure 334297DEST_PATH_IMAGE013
；
步骤S3，通过第三摄像头拍摄所述标定板，获取所述标定板相对于所述第三摄像头的旋转矩阵和平移向量，得到观测点在所述标定板的坐标系中的第三坐标。
在本实施例中，对于单个观测点：通过第三摄像头A拍摄所述标定板（参照图3），识别所述标定板中的阿鲁科标记（参照图4，阿鲁科标记为黑色正方形边框与内部二进制编码组成的图案。内部的矩阵决定了阿鲁科标记的标识，黑色的边框有利于快速检测到阿鲁科标记，而二进制编码可以验证标识。标识与阿鲁科标记的图案一一对应）；根据所述阿鲁科标记，得到所述标定板的坐标系原点相对于所述第三摄像头的坐标系原点的旋转矩阵R和平移向量
Figure 234120DEST_PATH_IMAGE014
。则第三摄像头A在所述标定板的坐标系中的坐标为：
Figure 987181DEST_PATH_IMAGE015
；
由于观测区域在同一平面，因此取观测区域上三个不共线的观测点计算出所有观测点的坐标。取P0（0,0），P1（1,0）和P2（0,1）三个点在标定板的坐标系中的坐标分别为T0，T1和T2。则观测区域在第r行c列的观测点在标定板坐标系中的坐标Trc可由下式得出：
Trc=T0+r(T1-T0)+c(T2-T0);
步骤S4，根据所述第三坐标，结合所述第一信息和所述第二信息，获得视线的向量。
具体地，根据第三坐标T，结合根据所述第一信息和所述第二信息计算获得的瞳孔E的坐标，可得视线向量
Figure 226533DEST_PATH_IMAGE016
：
Figure 587107DEST_PATH_IMAGE016
=T-E。
相应的，参照图5，本发明还提供了一种基于双目摄像头的视线测量装置，包括拍摄模块101、检测模块102、获取模块103和视线向量模块104；其中，
所述拍摄模块101用于通过第一摄像头拍摄第一照片，通过第二摄像头拍摄第二照片；所述第一照片和所述第二照片中均包括受试者的人脸和标定板；其中，所述拍摄模块包括所述第一摄像头和所述第二摄像头；其中，所述双目摄像头为所述第一摄像头和所述第二摄像头；
所述检测模块102用于检测所述第一照片中第一人脸和所述第二照片中第二人脸，根据所述第一人脸和所述第二人脸，获得所述第一人脸的第一瞳孔的第一信息和所述第二人脸的第二瞳孔的第二信息；
所述获取模块103用于通过第三摄像头拍摄所述标定板，获取所述标定板相对于所述第三摄像头的旋转矩阵和平移向量，得到观测点在所述标定板的坐标系中的第三坐标；
所述视线向量模块104用于根据所述第三坐标，结合所述第一信息和所述第二信息，获得视线的向量。
在本实施例中，所述获取模块103通过第三摄像头拍摄所述标定板，获取所述标定板相对于所述第三摄像头的旋转矩阵和平移向量，具体为：
所述获取模块103通过第三摄像头拍摄所述标定板，识别所述标定板中的阿鲁科标记；根据所述阿鲁科标记，得到所述标定板的坐标系原点相对于所述第三摄像头的坐标系原点的旋转矩阵和平移向量。
在本实施例中，所述检测模块102根据所述第一人脸和所述第二人脸，获得所述第一人脸的第一瞳孔的第一信息和所述第二人脸的第二瞳孔的第二信息，具体为：
所述检测模块102根据所述第一人脸和所述第二人脸，获得所述第一瞳孔在所述第一人脸中的第一像素坐标和第一向量，并获得所述第二瞳孔在所述第二人脸中的第二像素坐标和第二向量；其中，所述第一向量为所述第一摄像头的坐标系内所述第一摄像头与所述第一瞳孔相对位置向量；所述第二向量为所述第二摄像头的坐标系内所述第二摄像头与所述第二瞳孔相对位置向量。
在本实施例中，所述视线向量模块104根据所述第三坐标，结合所述第一信息和所述第二信息，获得视线的向量，具体为：
所述视线向量模块104根据第一像素坐标和第一向量，获得第一瞳孔在所述标定板的坐标系中的第一瞳孔坐标；
根据第二像素坐标和第二向量，获得第二瞳孔在所述标定板的坐标系中的第二瞳孔坐标；
根据所述第三坐标，结合所述第一瞳孔坐标和所述第二瞳孔坐标的中值，获得视线的向量。
在本实施例中，所述检测模块102根据所述第一人脸和所述第二人脸，获得所述第一瞳孔在所述第一人脸中的第一像素坐标和第一向量，并获得所述第二瞳孔在所述第二人脸中的第二像素坐标和第二向量，具体为：
所述检测模块102根据所述第一人脸，通过机器学习提取所述第一人脸中的所有的第一特征点，计算获得所述第一瞳孔在所述第一人脸中的第一像素坐标和第一向量；其中，所述第一特征点包括所述第一瞳孔；
根据所述第二人脸，通过机器学习提取所述第二人脸中的所有的第二特征点，计算获得所述第二瞳孔在所述第二人脸中的第二像素坐标和第二向量；其中，所述第二特征点包括所述第二瞳孔。
相比于现有技术，本发明实施例具有如下有益效果：
本发明实施例提供了一种基于双目摄像头的视线测量方法和装置，所述方法包括：通过第一摄像头拍摄第一照片，通过第二摄像头拍摄第二照片；所述第一照片和所述第二照片中均包括受试者的人脸和标定板；其中，所述双目摄像头为所述第一摄像头和所述第二摄像头；检测所述第一照片中第一人脸和所述第二照片中第二人脸，根据所述第一人脸和所述第二人脸，获得所述第一人脸的第一瞳孔的第一信息和所述第二人脸的第二瞳孔的第二信息；通过第三摄像头拍摄所述标定板，获取所述标定板相对于所述第三摄像头的旋转矩阵和平移向量，得到观测点在所述标定板的坐标系中的第三坐标；根据所述第三坐标，结合所述第一信息和所述第二信息，获得视线的向量。本发明相对于现有技术，基于双目摄像头获取瞳孔在标定板坐标系中的坐标，结合观测点的坐标，实现了实时地对多种姿态视线进行测量，同时能实时地跟踪到受试者的瞳孔移动，对场景的布置较为简单，节约了大量的布置成本。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于双目摄像头的视线测量方法，其特征在于，包括：
通过第一摄像头拍摄第一照片，通过第二摄像头拍摄第二照片；所述第一照片和所述第二照片中均包括受试者的人脸和标定板；其中，所述双目摄像头为所述第一摄像头和所述第二摄像头；
检测所述第一照片中第一人脸和所述第二照片中第二人脸，根据所述第一人脸和所述第二人脸，获得所述第一人脸的第一瞳孔的第一信息和所述第二人脸的第二瞳孔的第二信息；
通过第三摄像头拍摄所述标定板，获取所述标定板相对于所述第三摄像头的旋转矩阵和平移向量，得到观测点在所述标定板的坐标系中的第三坐标；
根据所述第三坐标，结合所述第一信息和所述第二信息，获得视线的向量。
2.如权利要求1所述的一种基于双目摄像头的视线测量方法，其特征在于，所述通过第三摄像头拍摄所述标定板，获取所述标定板相对于所述第三摄像头的旋转矩阵和平移向量，具体为：
通过第三摄像头拍摄所述标定板，识别所述标定板中的阿鲁科标记；根据所述阿鲁科标记，得到所述标定板的坐标系原点相对于所述第三摄像头的坐标系原点的旋转矩阵和平移向量。
3.如权利要求1至2任意一项所述的一种基于双目摄像头的视线测量方法，其特征在于，所述根据所述第一人脸和所述第二人脸，获得所述第一人脸的第一瞳孔的第一信息和所述第二人脸的第二瞳孔的第二信息，具体为：
根据所述第一人脸和所述第二人脸，获得所述第一瞳孔在所述第一人脸中的第一像素坐标和第一向量，并获得所述第二瞳孔在所述第二人脸中的第二像素坐标和第二向量；其中，所述第一向量为所述第一摄像头的坐标系内所述第一摄像头与所述第一瞳孔相对位置向量；所述第二向量为所述第二摄像头的坐标系内所述第二摄像头与所述第二瞳孔相对位置向量。
4.如权利要求3所述的一种基于双目摄像头的视线测量方法，其特征在于，所述根据所述第三坐标，结合所述第一信息和所述第二信息，获得视线的向量,具体为：
根据第一像素坐标和第一向量，获得第一瞳孔在所述标定板的坐标系中的第一瞳孔坐标；
根据第二像素坐标和第二向量，获得第二瞳孔在所述标定板的坐标系中的第二瞳孔坐标；
根据所述第三坐标，结合所述第一瞳孔坐标和所述第二瞳孔坐标的中值，获得视线的向量。
5.如权利要求3所述的一种基于双目摄像头的视线测量方法，其特征在于，所述根据所述第一人脸和所述第二人脸，获得所述第一瞳孔在所述第一人脸中的第一像素坐标和第一向量，并获得所述第二瞳孔在所述第二人脸中的第二像素坐标和第二向量，具体为：
根据所述第一人脸，通过机器学习提取所述第一人脸中的所有的第一特征点，计算获得所述第一瞳孔在所述第一人脸中的第一像素坐标和第一向量；其中，所述第一特征点包括所述第一瞳孔；
根据所述第二人脸，通过机器学习提取所述第二人脸中的所有的第二特征点，计算获得所述第二瞳孔在所述第二人脸中的第二像素坐标和第二向量；其中，所述第二特征点包括所述第二瞳孔。
6.一种基于双目摄像头的视线测量装置，其特征在于，包括拍摄模块、检测模块、获取模块和视线向量模块；其中，
所述拍摄模块用于通过第一摄像头拍摄第一照片，通过第二摄像头拍摄第二照片；所述第一照片和所述第二照片中均包括受试者的人脸和标定板；其中，所述拍摄模块包括所述第一摄像头和所述第二摄像头；其中，所述双目摄像头为所述第一摄像头和所述第二摄像头；
所述检测模块用于检测所述第一照片中第一人脸和所述第二照片中第二人脸，根据所述第一人脸和所述第二人脸，获得所述第一人脸的第一瞳孔的第一信息和所述第二人脸的第二瞳孔的第二信息；
所述获取模块用于通过第三摄像头拍摄所述标定板，获取所述标定板相对于所述第三摄像头的旋转矩阵和平移向量，得到观测点在所述标定板的坐标系中的第三坐标；
所述视线向量模块用于根据所述第三坐标，结合所述第一信息和所述第二信息，获得视线的向量。
7.如权利要求6所述的一种基于双目摄像头的视线测量装置，其特征在于，所述获取模块通过第三摄像头拍摄所述标定板，获取所述标定板相对于所述第三摄像头的旋转矩阵和平移向量，具体为：
所述获取模块通过第三摄像头拍摄所述标定板，识别所述标定板中的阿鲁科标记；根据所述阿鲁科标记，得到所述标定板的坐标系原点相对于所述第三摄像头的坐标系原点的旋转矩阵和平移向量。
8.如权利要求6至7任意一项所述的一种基于双目摄像头的视线测量装置，其特征在于，所述检测模块根据所述第一人脸和所述第二人脸，获得所述第一人脸的第一瞳孔的第一信息和所述第二人脸的第二瞳孔的第二信息，具体为：
所述检测模块根据所述第一人脸和所述第二人脸，获得所述第一瞳孔在所述第一人脸中的第一像素坐标和第一向量，并获得所述第二瞳孔在所述第二人脸中的第二像素坐标和第二向量；其中，所述第一向量为所述第一摄像头的坐标系内所述第一摄像头与所述第一瞳孔相对位置向量；所述第二向量为所述第二摄像头的坐标系内所述第二摄像头与所述第二瞳孔相对位置向量。
9.如权利要求8所述的一种基于双目摄像头的视线测量装置，其特征在于，所述视线向量模块根据所述第三坐标，结合所述第一信息和所述第二信息，获得视线的向量，具体为：
所述视线向量模块根据第一像素坐标和第一向量，获得第一瞳孔在所述标定板的坐标系中的第一瞳孔坐标；
根据第二像素坐标和第二向量，获得第二瞳孔在所述标定板的坐标系中的第二瞳孔坐标；
根据所述第三坐标，结合所述第一瞳孔坐标和所述第二瞳孔坐标的中值，获得视线的向量。
10.如权利要求8所述的一种基于双目摄像头的视线测量装置，其特征在于，所述检测模块根据所述第一人脸和所述第二人脸，获得所述第一瞳孔在所述第一人脸中的第一像素坐标和第一向量，并获得所述第二瞳孔在所述第二人脸中的第二像素坐标和第二向量，具体为：
所述检测模块根据所述第一人脸，通过机器学习提取所述第一人脸中的所有的第一特征点，计算获得所述第一瞳孔在所述第一人脸中的第一像素坐标和第一向量；其中，所述第一特征点包括所述第一瞳孔；
根据所述第二人脸，通过机器学习提取所述第二人脸中的所有的第二特征点，计算获得所述第二瞳孔在所述第二人脸中的第二像素坐标和第二向量；其中，所述第二特征点包括所述第二瞳孔。
CN202210007556.8A 2022-01-06 2022-01-06 一种基于双目摄像头的视线测量方法和装置 Active CN114022946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210007556.8A CN114022946B (zh) 2022-01-06 2022-01-06 一种基于双目摄像头的视线测量方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210007556.8A CN114022946B (zh) 2022-01-06 2022-01-06 一种基于双目摄像头的视线测量方法和装置

Publications (2)

Publication Number Publication Date
CN114022946A true CN114022946A (zh) 2022-02-08
CN114022946B CN114022946B (zh) 2022-05-03

Family

ID=80069777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210007556.8A Active CN114022946B (zh) 2022-01-06 2022-01-06 一种基于双目摄像头的视线测量方法和装置

Country Status (1)

Country Link
CN (1) CN114022946B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
CN107193383A (zh) * 2017-06-13 2017-09-22 华南师范大学 一种基于人脸朝向约束的二级视线追踪方法
CN107729871A (zh) * 2017-11-02 2018-02-23 北方工业大学 基于红外光的人眼活动轨迹追踪方法及装置
CN107765840A (zh) * 2016-08-22 2018-03-06 深圳纬目信息技术有限公司 一种基于双目测量的泛头戴式设备的视线追踪方法设备
CN110537897A (zh) * 2019-09-10 2019-12-06 北京未动科技有限公司 视线追踪方法和装置、计算机可读存储介质、电子设备
CN112380935A (zh) * 2020-11-03 2021-02-19 深圳技术大学 面向自动驾驶的人机协同感知方法及系统
CN113723293A (zh) * 2021-08-30 2021-11-30 中国科学院上海微系统与信息技术研究所 一种视线方向的确定方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
CN107765840A (zh) * 2016-08-22 2018-03-06 深圳纬目信息技术有限公司 一种基于双目测量的泛头戴式设备的视线追踪方法设备
CN107193383A (zh) * 2017-06-13 2017-09-22 华南师范大学 一种基于人脸朝向约束的二级视线追踪方法
CN107729871A (zh) * 2017-11-02 2018-02-23 北方工业大学 基于红外光的人眼活动轨迹追踪方法及装置
CN110537897A (zh) * 2019-09-10 2019-12-06 北京未动科技有限公司 视线追踪方法和装置、计算机可读存储介质、电子设备
CN112380935A (zh) * 2020-11-03 2021-02-19 深圳技术大学 面向自动驾驶的人机协同感知方法及系统
CN113723293A (zh) * 2021-08-30 2021-11-30 中国科学院上海微系统与信息技术研究所 一种视线方向的确定方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘国华: "《HALCON编程及工程应用》", 30 September 2019, 西安电子科技大学出版社 *

Also Published As

Publication number Publication date
CN114022946B (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
EP3067861B1 (en) Determination of a coordinate conversion parameter
CN109416744B (zh) 改进的相机校准系统、目标和过程
CN106503671B (zh) 确定人脸姿态的方法和装置
CN105894499B (zh) 一种基于双目视觉的空间物体三维信息快速检测方法
US8897502B2 (en) Calibration for stereoscopic capture system
Kim et al. A camera calibration method using concentric circles for vision applications
KR20160121798A (ko) 직접적인 기하학적 모델링이 행해지는 hmd 보정
CN113808160B (zh) 视线方向追踪方法和装置
CN109656033B (zh) 一种区分液晶显示屏灰尘和缺陷的方法及装置
CN111488775B (zh) 注视度判断装置及方法
JP2016173313A (ja) 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム
KR101818984B1 (ko) 깊이정보를 이용한 안면인식시스템
CN114119739A (zh) 一种基于双目视觉的手部关键点空间坐标获取方法
JP2017123087A (ja) 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法
CN115035546A (zh) 三维人体姿态检测方法、装置及电子设备
CN108282650B (zh) 一种裸眼立体显示方法、装置、系统及存储介质
CN110909571A (zh) 一种高精度面部识别空间定位方法
CN114022946B (zh) 一种基于双目摄像头的视线测量方法和装置
CN111915739A (zh) 一种实时三维全景信息互动影息系统
CN109963143A (zh) 一种ar眼镜的图像获取方法及系统
CN110363818A (zh) 双目视觉系统的异常检测方法及装置
Thangarajah et al. Vision-based registration for augmented reality-a short survey
Jiménez et al. Face tracking and pose estimation with automatic three-dimensional model construction
Sabzevari et al. Structure from motion and photometric stereo for dense 3d shape recovery
CN113781573A (zh) 一种基于双目折反射全景相机的视觉里程计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Floor 25, Block A, Zhongzhou Binhai Commercial Center Phase II, No. 9285, Binhe Boulevard, Shangsha Community, Shatou Street, Futian District, Shenzhen, Guangdong 518000

Patentee after: Shenzhen Youjia Innovation Technology Co.,Ltd.

Address before: 518051 401, building 1, Shenzhen new generation industrial park, No. 136, Zhongkang Road, Meidu community, Meilin street, Futian District, Shenzhen, Guangdong Province

Patentee before: SHENZHEN MINIEYE INNOVATION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230901

Address after: No. 602-165, Complex Building, No. 1099, Qingxi Second Road, Hezhuang Street, Qiantang District, Hangzhou, Zhejiang, 310000

Patentee after: Hangzhou Ruijian Zhixing Technology Co.,Ltd.

Address before: Floor 25, Block A, Zhongzhou Binhai Commercial Center Phase II, No. 9285, Binhe Boulevard, Shangsha Community, Shatou Street, Futian District, Shenzhen, Guangdong 518000

Patentee before: Shenzhen Youjia Innovation Technology Co.,Ltd.