CN116309412A - 一种人眼视线检测方法、装置及电子设备 - Google Patents

一种人眼视线检测方法、装置及电子设备 Download PDF

Info

Publication number
CN116309412A
CN116309412A CN202310215350.9A CN202310215350A CN116309412A CN 116309412 A CN116309412 A CN 116309412A CN 202310215350 A CN202310215350 A CN 202310215350A CN 116309412 A CN116309412 A CN 116309412A
Authority
CN
China
Prior art keywords
observation point
target observation
image acquisition
calibration result
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310215350.9A
Other languages
English (en)
Inventor
冉成荣
霍百林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hozon New Energy Automobile Co Ltd
Original Assignee
Hozon New Energy Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hozon New Energy Automobile Co Ltd filed Critical Hozon New Energy Automobile Co Ltd
Priority to CN202310215350.9A priority Critical patent/CN116309412A/zh
Publication of CN116309412A publication Critical patent/CN116309412A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Position Input By Displaying (AREA)

Abstract

本申请涉及一种人眼视线检测方法、装置及电子设备，该方法包括：通过第二图像采集设备获取包含投影仪投射的目标观测点的图像；根据第一标定结果和第二标定结果，得到目标观测点在第一图像采集设备下的第一目标观测点三维坐标；对第一图像采集设备采集到的观测人的人脸图像进行人脸检测，得到在第一图像采集设备下的人脸图像对应的眼点三维坐标；基于第一目标观测点三维坐标以及眼点三维坐标，计算出观测人的人眼视线向量及夹角。基于上述方法，可以实现人眼视线的检测以及人眼视线检测的精度评价，解决目前人眼视线检测系统拓展性成本高，操作不方便的问题，节约了资源，且有效提高了人眼视线检测的精确度。

Description

一种人眼视线检测方法、装置及电子设备
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种人眼视线检测方法、装置及电子设备。
背景技术
人眼视线检测是计算机视觉领域的重要问题，在智能驾驶、智能家居等场景中有丰富的应用。例如，在判断车辆的驾驶员是否分心，是否需要点亮中控屏幕来实现驾驶员与车机的交互时，可以根据驾驶员的面部图像检测其视线落点，从而进行安全检测和车内智能控制。
现有计算人眼视线的方法采用在固定多块屏幕上显示特定圆形，在屏幕端通过多相机系统来采集人眼注视特定圆形的注视图片，从而根据注视图片的信息来计算人眼视线。该方法如需拓展注视区域需要更多的屏幕，拓展性成本高，且实验时，移动设备不方便。
发明内容
本申请的目的在于提供一种人眼视线检测方法、装置及电子设备，以实现人眼视线的检测以及人眼视线检测的精度评价，解决目前人眼视线检测系统拓展性成本高，操作不方便的问题，且有效提高了人眼视线检测的精确度，节约了资源。
第一方面，本申请提供了一种人眼视线检测方法，所述方法包括：
通过所述第二图像采集设备获取包含所述投影仪投射的目标观测点的图像；
根据第一标定结果和第二标定结果，得到所述目标观测点在所述第一图像采集设备下的第一目标观测点三维坐标，其中，所述第一标定结果为所述投影仪和所述第二图像采集设备之间的坐标系转换关系，所述第二标定结果为所述第一图像采集设备和所述投射设备之间的坐标系转换关系；
对所述第一图像采集设备采集到的观测人的人脸图像进行人脸检测，得到在所述第一图像采集设备下的所述人脸图像对应的眼点三维坐标；
基于所述第一目标观测点三维坐标以及所述眼点三维坐标，计算出所述观测人的人眼视线向量及夹角。
上述通过投射设备标定以及第一图像采集设备和投射设备标定，得到精度较高的第一标定结果和第二标定结果，根据第一标定结果和第二标定结果得到的第一目标观测点三维坐标的精确度较高，从而使得后续根据第一目标观测点三维坐标和眼点三维坐标计算出的人眼视线向量和角度精准度更高，提高了人眼视线检测的准确性。
在一种可能的设计中，在所述通过所述第二图像采集设备获取包含所述投影仪投射的目标观测点的图像之前，还包括：对所述投射设备进行标定，得到所述第一标定结果；对所述第一图像采集设备和所述投射设备进行标定，得到所述第二标定结果。
通过投射设备标定工作以及第一图像采集设备和投射设备的标定工作，可以得到精度较高的第一标定结果和第二标定结果，从而使得后续对人眼视线的检测更准确。
在一种可能的设计中，所述根据第一标定结果和第二标定结果，得到所述目标观测点在所述第一图像采集设备下的第一目标观测点三维坐标，包括：根据所述第一标定结果，将所述目标观测点在所述投影仪下的二维坐标转换为在所述第二图像采集设备下的第一三维坐标；根据所述第二标定结果，将所述第一三维坐标转换为在所述第一图像采集设备下的第二三维坐标，将所述第二三维坐标作为所述第一目标观测点三维坐标。
根据第一标定结果和第二标定结果得到的第一目标观测点三维坐标的精确度较高，从而使得后续根据第一目标观测点三维坐标和眼点三维坐标计算出的人眼视线向量和角度精准度更高，提高了人眼视线检测的准确性。
在一种可能的设计中，在所述基于所述第一目标观测点三维坐标以及所述眼点三维坐标，计算出所述观测人的人眼视线向量及夹角之后，还包括：确定所述观测人的眼点以所述第一图像采集设备光心为原点的三维坐标以及所述目标观测点的第二目标观测点三维坐标，其中，所述第二目标观测点三维坐标为所述目标观测点的理论坐标；基于所述第一目标观测点三维坐标、第二目标观测点三维坐标以及所述三维坐标，计算出所述第一目标观测点三维坐标与所述第二目标观测点坐标之间的误差值。
在一种可能的设计中，所述确定所述观测人的眼点以所述第一图像采集设备光心为原点的三维坐标以及所述目标观测点的第二目标观测点三维坐标，包括：对所述第一图像采集设备采集到的观测人的人脸图像进行人脸检测，得到所述人脸图像对应的人脸特征点二维坐标；根据所述人脸特征点二维坐标确定所述人脸图像对应的人脸三维模型；基于所述人脸特征点二维坐标以及所述人脸三维模型，计算出所述观测人的头部姿态以及所述三维坐标；基于所述头部姿态、所述三维坐标、所述人眼视线向量以及注视点平面，计算出所述第二目标观测点三维坐标，其中，所述注视点平面为所述投影仪投射的所述目标观测点所在的平面。
上述通过第一目标观测点三维坐标、第二目标观测点三维坐标以及三维坐标，进行人眼视线检测的精度评价，计算出第一目标观测点三维坐标与第二目标观测点三维坐标之间的误差值，根据该误差值可判断该人眼视线检测系统的精确度，便于后续对人眼检测系统进行调整。
第二方面，本申请提供了一种人眼视线检测装置，所述装置包括：
采集模块，通过所述第二图像采集设备获取包含所述投影仪投射的目标观测点的图像；
获取模块，根据第一标定结果和第二标定结果，得到所述目标观测点在所述第一图像采集设备下的第一目标观测点三维坐标，其中，所述第一标定结果为所述投影仪和所述第二图像采集设备之间的坐标系转换关系，所述第二标定结果为所述第一图像采集设备和所述投射设备之间的坐标系转换关系；
检测模块，对所述第一图像采集设备采集到的观测人的人脸图像进行人脸检测，得到在所述第一图像采集设备下的所述人脸图像对应的眼点三维坐标；
计算模块，基于所述第一目标观测点三维坐标以及所述眼点三维坐标，计算出所述观测人的人眼视线向量及夹角。
在一种可能的设计中，所述装置还包括：
第一标定模块，对所述投射设备进行标定，得到所述第一标定结果；
第二标定模块，对所述第一图像采集设备和所述投射设备进行标定，得到所述第二标定结果。
在一种可能的设计中，所述获取模块，具体用于：根据所述第一标定结果，将所述目标观测点在所述投影仪下的二维坐标转换为在所述第二图像采集设备下的第一三维坐标；根据所述第二标定结果，将所述第一三维坐标转换为在所述第一图像采集设备下的第二三维坐标，将所述第二三维坐标作为所述第一目标观测点三维坐标。
在一种可能的设计中，所述装置还用于：确定所述观测人的眼点以所述第一图像采集设备光心为原点的三维坐标以及所述目标观测点的第二目标观测点三维坐标，其中，所述第二目标观测点三维坐标为所述目标观测点的理论坐标；基于所述第一目标观测点三维坐标、第二目标观测点三维坐标以及所述三维坐标，计算出所述第一目标观测点三维坐标与所述第二目标观测点坐标之间的误差值。
在一种可能的设计中，所述装置还用于：对所述第一图像采集设备采集到的观测人的人脸图像进行人脸检测，得到所述人脸图像对应的人脸特征点二维坐标；根据所述人脸特征点二维坐标确定所述人脸图像对应的人脸三维模型；基于所述人脸特征点二维坐标以及所述人脸三维模型，计算出所述观测人的头部姿态以及所述三维坐标；基于所述头部姿态、所述三维坐标、所述人眼视线向量以及注视点平面，计算出所述第二目标观测点三维坐标，其中，所述注视点平面为所述投影仪投射的所述目标观测点所在的平面。
第三方面，本申请提供了一种电子设备，所述电子设备包括：
存储器，用于存放计算机程序；
处理器，用于执行所述存储器上所存放的计算机程序时，实现上述的一种人眼视线检测的方法步骤。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种人眼视线检测的方法步骤。
上述第二方面至第四方面中的各个方面以及各个方面可能达到的技术效果请参照上述针对第一方面或第一方面中的各种可能方案可以达到的技术效果说明，这里不再重复赘述。
附图说明
图1为本申请提供的一种人眼视线检测方法的流程图；
图2为本申请提供的一种人眼视线检测系统的示意图；
图3为本申请提供的一种可能的投影图案的示意图；
图4为本申请提供的一种可能的人眼视线向量和夹角的示意图；
图5为本申请提供的一种人眼视线检测装置的示意图；
图6为本申请提供的一种电子设备的结构的示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。
在本申请的描述中“多个”理解为“至少两个”。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。A与B连接，可以表示：A与B直接连接和A与B通过C连接这两种情况。另外，在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
为了便于本领域技术人员更好理解本申请实施例所提供的技术方案，下面对涉及的专业术语作如下简要说明：
单应矩阵(Homography)H，描述的是两个平面之间的映射关系。若特征点都落于场景中的某一平面上，则可以用单应矩阵计算相机位姿。
下面结合参考附图来描述本申请示例性实施方式提供的方法。
参见图1所示，为本申请实施例提供的人眼视线检测方法的流程示意图，该方法的具体实施流程如下：
步骤101：通过第二图像采集设备获取包含投影仪投射的目标观测点的图像；
步骤102：根据第一标定结果和第二标定结果，得到目标观测点在第一图像采集设备下的第一目标观测点三维坐标；
步骤103：对第一图像采集设备采集到的观测人的人脸图像进行人脸检测，得到在第一图像采集设备下的人脸图像对应的眼点三维坐标；
步骤104：基于第一目标观测点三维坐标以及眼点三维坐标，计算出观测人的人眼视线向量及夹角。
在本申请实施例中，人眼视线检测方法应用于人眼视线检测系统，该系统如图2所示，包括：投射设备、第一图像采集设备以及固定标板，投射设备又包括：投影仪和第二图像采集设备。第一图像采集设备可以是3D相机，第二图像采集设备可以是工业相机，相比于普通相机(摄像机)，工业相机具有高的图像稳定性、高传输能力和高抗干扰能力等。
需要说明的是，第一图像采集设备可以是具有和3D相机相同功能的其他采集设备，不限定为3D相机，同样的，第二图像采集设备可以是具有和工业相机相同功能的其他采集设备，不限定为工业相机。下面以第一图像采集设备为3D相机，第二图像采集设备为工业相机为例，对本申请实施例进行详细阐述。
在本申请实施例中，在通过工业相机获取包含投影仪投射的目标观测点的图像之前，还需要先进行投射设备标定以及3D相机和投射设备标定。通过对投射设备进行标定得到第一标定结果；通过对3D相机和投射设备进行标定得到第二标定结果。第一标定结果为投影仪和工业相机之间的坐标转换关系，第二标定结果为3D相机和投射设备之间的坐标转换关系。
具体来说，首先进行投射设备标定，投射设备标定的具体工作流程如下：
1)通过投影仪生成投影图案，投影图案可以是棋盘格、圆形、正方形等其他图案，投影图案中的每个角点坐标p1(x，y)都是确定的坐标，比如投影图案是棋盘格时，如图3所示，棋盘格上每个格点的角点坐标都是确定的坐标。角点坐标p1(x，y)是投影仪坐标系下的像素坐标；
2)当投射设备中投影仪和工业相机的相对位置固定时(相对位置为工业相机能够同时采集固定标板图像与投影图案图像的位置)，通过工业相机采集包含固定标板与投影图案的图像，且获取至少4个固定标板的角点坐标p2(x，y)和相对应的4个像素坐标C2(u，v)，角点坐标p2(x，y)为固定标板在世界坐标系下的二维坐标，像素坐标C2(u，v)为固定标板在工业相机坐标系下的像素坐标。根据角点坐标p2(x，y)和对应的像素坐标C2(u，v)，计算出固定标板与工业相机之间的单应矩阵H；
3)根据单应矩阵H、固定标板的每个角点坐标p2(x，y)以及工业相机的内参计算出固定标板所在的标定平面的平面方程(即注视点平面方程)；
需要说明的是，该注视点平面方程是在工业相机坐标系下的平面方程，该平面上的点都满足这个注视点平面方程，如果投影仪把图案投影到该平面上，那么投影图案上的点都满足这个注视点平面方程。
4)提取工业相机坐标系下投影图案的角点坐标C1(u，v)，根据工业相机内参、角点坐标C1(u，v)以及注视点平面方程，解析出投影图案在工业相机坐标系下的3D坐标Cwi；
5)移动投射设备，改变投射角度，通过工业相机拍摄多张不同角度包含投影图案以及固定标板的图像，此时，p1(x，y)、C1(u，v)、Cwi均已知，进行双目标定，确定出投影仪和工业相机的位姿(外参R、T)，从而得到精度更高的第一标定结果，即投影仪和工业相机之间的坐标转换关系。
通过移动投射设备，获取不同角度的投影图案和固定标板的图像，根据不同角度下的p1(x，y)、C1(u，v)、Cwi进行双目标定，使得计算出的第一标定结果精确度更高，投影仪和工业相机之间的坐标转换关系更准确。
在完成投射设备标定之后，进行3D相机与投射设备标定，得到第二标定结果，即3D相机和投射设备之间的坐标转换关系，通过第二标定结果，可以将某点在工业相机坐标系下的3D坐标转换为某点在3D相机坐标系下的3D坐标。在本申请实施例中，3D相机与投射设备标定方法可以采用张氏标定法，也可以采用更高精度的格雷码、正弘光栅方法。
通过上述的投射设备标定工作以及3D相机和投射设备的标定工作，可以得到精度较高的第一标定结果和第二标定结果，从而使得后续对人眼视线的检测更准确。
在完成标定工作之后，便可以开始进行人眼视线的检测。人眼视线检测的具体工作流程如下：
1)确定目标观测点3D坐标
首先，根据需求调整投射设备位置，通过投影仪投射出目标观测点，目标观测点可以是圆形、正方形、三角形等。
通过工业相机采集包含投影仪投射的目标观测点的图像，提取目标观测点在投影仪下的2D坐标，此时，投影仪2D坐标已知，根据目标观测点在投影仪下的2D坐标、投影仪2D坐标以及第一标定结果，将目标观测点在投影仪下的2D坐标转换为目标观测点在工业相机下的第一3D坐标。
根据第二标定结果，将目标观测点在工业相机下的第一3D坐标转换为在3D相机坐标系下的第二3D坐标，将第二3D坐标作为目标观测点3D坐标gt(x，y，z)。
2)确定观测人的眼点3D坐标
具体来说，通过3D相机采集观测人注视目标观测点时的人脸图像，对采集到的人脸图像进行人脸检测，得到该人脸图像对应的人脸特征点2D坐标，再基于人脸特征点2D坐标得到在3D相机坐标系下该观测人的眼点3D坐标。
3)计算人眼视线向量及夹角
具体来说，根据确定的目标观测点3D坐标以及观测人的眼点3D坐标，计算出观测人的人眼视线向量Vr和夹角，参阅图4所示，人眼视线向量Vr为目标观测点3D坐标与观测人的眼点3D坐标之间的连线的向量，夹角为人眼视线向量Vr与xoy平面之间的夹角a1(上下角度，比如视线向上45°)以及人眼视线向量Vr与zoy平面之间的夹角a2(左右角度，比如视线往右15°)。
通过上述方法以及系统，提高了第一标定结果和第二标定结果的准确性，从而使得根据第一标定结果和第二标定结果得到的目标观测点3D坐标的精确度较高，根据目标观测点3D坐标和眼点3D坐标计算出的人眼视线向量和角度精准度更高，提高了人眼视线检测的准确性。
进一步，在基于目标观测点3D坐标以及观测人的眼点3D坐标计算出观测人的人眼视线向量及夹角之后，还可以基于该系统进行人眼视线检测的精度的计算，计算人眼视线检测的精度的具体过程如下：
1)确定观测人的眼点以3D相机光心为原点的三维坐标t，以及目标观测点的第二目标观测点3D坐标gc(x，y，z)；
在本申请实施例中，目标观测点的第二目标观测点3D坐标为目标观测点的理论坐标，可以理解为观测人的视线与投影仪投射图案的平面之间的交点的三维坐标。
具体来说，基于上述中对采集到的观测人的人脸图像进行人脸检测，得到该人脸图像对应的人脸特征点2D坐标，根据该人脸特征点2D坐标确定出人脸3D模型。根据人脸特征点2D坐标和人脸3D模型，确定出观测人的头部姿态R、观测人的眼点以3D相机光心为原点的三维坐标t。
根据前述计算出的人眼视线向量Vr、头部姿态R、三维坐标t以及注视点平面方程，计算出目标观测点的第二目标观测点3D坐标gc(x，y，z)。
通过上述方法确定出目标观测点的第二目标观测点3D坐标，即目标观测点的理论坐标，便于后续跟第一目标观测点3D坐标进行比较，得到两者之间的误差值。
2)基于第一目标观测点3D坐标gt(x，y，z)、第二目标观测点3D坐标gc(x，y，z)以及三维坐标t，计算出第一目标观测点3D坐标与第二目标观测点3D坐标之间的误差值。
在本申请实施例中，人眼视线检测的精度评价指标即为第一目标观测点3D坐标与第二目标观测点3D坐标之间的误差，该误差可以包括：相对距离误差和角度误差。
具体来说，相对距离误差的计算公式如下：
Figure BDA0004114967050000101
角度误差的计算公式如下：
Figure BDA0004114967050000102
在本申请实施例中，a＝|t-gt|，b＝|t-gc|，c＝|gt-gc|。
上述通过第一目标观测点3D坐标gt、第二目标观测点3D坐标gc以及三维坐标t，进行人眼视线检测的精度评价，计算出第一目标观测点3D坐标与第二目标观测点3D坐标之间的误差值，根据该误差值可判断该人眼视线检测系统的精确度，便于后续对人眼检测系统进行调整。
综合上述，本申请实施例提供的人眼视线检测方法以及人眼视线检测系统精度较高，目标观测点采用结构光3D重建，能够精确到毫米级别；使用简单，拓展灵活，可根据需求移动投影设备，采集不同视场，也可根据目标观测点密集程度需求，灵活修改投射图案，并且集采集系统与精度评价系统于一体，节约资源。
基于同一发明构思，本申请还提供了一种人眼视线检测装置，用以实现人眼视线的检测以及人眼视线检测的精度评价，解决目前人眼视线检测系统拓展性成本高，操作不方便的问题，有效提高了人眼视线检测的精确度，节约了资源，参见图5，该装置包括：
采集模块501，通过所述第二图像采集设备获取包含所述投影仪投射的目标观测点的图像；
获取模块502，根据第一标定结果和第二标定结果，得到所述目标观测点在所述第一图像采集设备下的第一目标观测点三维坐标，其中，所述第一标定结果为所述投影仪和所述第二图像采集设备之间的坐标系转换关系，所述第二标定结果为所述第一图像采集设备和所述投射设备之间的坐标系转换关系；
检测模块503，对所述第一图像采集设备采集到的观测人的人脸图像进行人脸检测，得到在所述第一图像采集设备下的所述人脸图像对应的眼点三维坐标；
计算模块504，基于所述第一目标观测点三维坐标以及所述眼点三维坐标，计算出所述观测人的人眼视线向量及夹角。
在一种可能的设计中，所述装置还包括：
第一标定模块，对所述投射设备进行标定，得到所述第一标定结果；
第二标定模块，对所述第一图像采集设备和所述投射设备进行标定，得到所述第二标定结果。
在一种可能的设计中，所述获取模块502，具体用于：根据所述第一标定结果，将所述目标观测点在所述投影仪下的二维坐标转换为在所述第二图像采集设备下的第一三维坐标；根据所述第二标定结果，将所述第一三维坐标转换为在所述第一图像采集设备下的第二三维坐标，将所述第二三维坐标作为所述第一目标观测点三维坐标。
在一种可能的设计中，所述装置还用于：确定所述观测人的眼点以所述第一图像采集设备光心为原点的三维坐标以及所述目标观测点的第二目标观测点三维坐标，其中，所述第二目标观测点三维坐标为所述目标观测点的理论坐标；基于所述第一目标观测点三维坐标、第二目标观测点三维坐标以及所述三维坐标，计算出所述第一目标观测点三维坐标与所述第二目标观测点坐标之间的误差值。
在一种可能的设计中，所述装置还用于：对所述第一图像采集设备采集到的观测人的人脸图像进行人脸检测，得到所述人脸图像对应的人脸特征点二维坐标；根据所述人脸特征点二维坐标确定所述人脸图像对应的人脸三维模型；基于所述人脸特征点二维坐标以及所述人脸三维模型，计算出所述观测人的头部姿态以及所述三维坐标；基于所述头部姿态、所述三维坐标、所述人眼视线向量以及注视点平面，计算出所述第二目标观测点三维坐标，其中，所述注视点平面为所述投影仪投射的所述目标观测点所在的平面。
基于上述系统，实现了人眼视线的检测以及人眼视线检测的精度评价，解决目前人眼视线检测系统拓展性成本高，操作不方便的问题，且有效提高了人眼视线检测的精确度，节约了资源。
基于同一发明构思，本申请实施例中还提供了一种电子设备，所述电子设备可以实现前述一种人眼视线检测的装置的功能，参考图6，所述电子设备包括：
至少一个处理器601，以及与至少一个处理器601连接的存储器602，本申请实施例中不限定处理器601与存储器602之间的具体连接介质，图6中是以处理器601和存储器602之间通过总线600连接为例。总线600在图6中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线600可以分为地址总线、数据总线、控制总线等，为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。或者，处理器601也可以称为控制器，对于名称不做限制。
在本申请实施例中，存储器602存储有可被至少一个处理器601执行的指令，至少一个处理器601通过执行存储器602存储的指令，可以执行前文论述的人眼视线检测的方法。处理器601可以实现图5所示的装置中各个模块的功能。
其中，处理器601是该装置的控制中心，可以利用各种接口和线路连接整个该控制设备的各个部分，通过运行或执行存储在存储器602内的指令以及调用存储在存储器602内的数据，该装置的各种功能和处理数据，从而对该装置进行整体监控。
在一种可能的设计中，处理器601可包括一个或多个处理单元，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。在一些实施例中，处理器601和存储器602可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器601可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的人眼视线检测的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器602作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器602可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器602是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器602还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
通过对处理器601进行设计编程，可以将前述实施例中介绍的人眼视线检测的方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行图1所示的实施例的人眼视线检测的方法的步骤。如何对处理器601进行设计编程为本领域技术人员所公知的技术，这里不再赘述。
基于同一发明构思，本申请实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行前文论述人眼视线检测的方法。
在一些可能的实施方式中，本申请提供的人眼视线检测的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在装置上运行时，程序代码用于使该控制设备执行本说明书上述描述的根据本申请各种示例性实施方式的人眼视线检测的方法中的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种人眼视线检测方法，其特征在于，所述方法应用于人眼视线检测系统，所述系统包括：投射设备、第一图像采集设备、固定标板，所述投射设备包括投影仪和第二图像采集设备，所述方法包括：
通过所述第二图像采集设备获取包含所述投影仪投射的目标观测点的图像；
根据第一标定结果和第二标定结果，得到所述目标观测点在所述第一图像采集设备下的第一目标观测点三维坐标，其中，所述第一标定结果为所述投影仪和所述第二图像采集设备之间的坐标系转换关系，所述第二标定结果为所述第一图像采集设备和所述投射设备之间的坐标系转换关系；
对所述第一图像采集设备采集到的观测人的人脸图像进行人脸检测，得到在所述第一图像采集设备下的所述人脸图像对应的眼点三维坐标；
基于所述第一目标观测点三维坐标以及所述眼点三维坐标，计算出所述观测人的人眼视线向量及夹角。
2.如权利要求1所述的方法，其特征在于，在所述通过所述第二图像采集设备获取包含所述投影仪投射的目标观测点的图像之前，还包括：
对所述投射设备进行标定，得到所述第一标定结果；
对所述第一图像采集设备和所述投射设备进行标定，得到所述第二标定结果。
3.如权利要求1所述的方法，其特征在于，所述根据第一标定结果和第二标定结果，得到所述目标观测点在所述第一图像采集设备下的第一目标观测点三维坐标，包括：
根据所述第一标定结果，将所述目标观测点在所述投影仪下的二维坐标转换为在所述第二图像采集设备下的第一三维坐标；
根据所述第二标定结果，将所述第一三维坐标转换为在所述第一图像采集设备下的第二三维坐标，将所述第二三维坐标作为所述第一目标观测点三维坐标。
4.如权利要求1所述的方法，其特征在于，在所述基于所述第一目标观测点三维坐标以及所述眼点三维坐标，计算出所述观测人的人眼视线向量及夹角之后，还包括：
确定所述观测人的眼点以所述第一图像采集设备光心为原点的三维坐标以及所述目标观测点的第二目标观测点三维坐标，其中，所述第二目标观测点三维坐标为所述目标观测点的理论坐标；
基于所述第一目标观测点三维坐标、第二目标观测点三维坐标以及所述三维坐标，计算出所述第一目标观测点三维坐标与所述第二目标观测点坐标之间的误差值。
5.如权利要求4所述的方法，其特征在于，所述确定所述观测人的眼点以所述第一图像采集设备光心为原点的三维坐标以及所述目标观测点的第二目标观测点三维坐标，包括：
对所述第一图像采集设备采集到的观测人的人脸图像进行人脸检测，得到所述人脸图像对应的人脸特征点二维坐标；
根据所述人脸特征点二维坐标确定所述人脸图像对应的人脸三维模型；
基于所述人脸特征点二维坐标以及所述人脸三维模型，计算出所述观测人的头部姿态以及所述三维坐标；
基于所述头部姿态、所述三维坐标、所述人眼视线向量以及注视点平面，计算出所述第二目标观测点三维坐标，其中，所述注视点平面为所述投影仪投射的所述目标观测点所在的平面。
6.一种人眼视线检测装置，其特征在于，所述装置，包括：
采集模块，通过所述第二图像采集设备获取包含所述投影仪投射的目标观测点的图像；
获取模块，根据第一标定结果和第二标定结果，得到所述目标观测点在所述第一图像采集设备下的第一目标观测点三维坐标，其中，所述第一标定结果为所述投影仪和所述第二图像采集设备之间的坐标系转换关系，所述第二标定结果为所述第一图像采集设备和所述投射设备之间的坐标系转换关系；
检测模块，对所述第一图像采集设备采集到的观测人的人脸图像进行人脸检测，得到在所述第一图像采集设备下的所述人脸图像对应的眼点三维坐标；
计算模块，基于所述第一目标观测点三维坐标以及所述眼点三维坐标，计算出所述观测人的人眼视线向量及夹角。
7.如权利要求6所述的装置，其特征在于，所述装置还包括：
第一标定模块，对所述投射设备进行标定，得到所述第一标定结果；
第二标定模块，对所述第一图像采集设备和所述投射设备进行标定，得到所述第二标定结果。
8.如权利要求6所述的装置，其特征在于，所述获取模块，具体用于：
根据所述第一标定结果，将所述目标观测点在所述投影仪下的二维坐标转换为在所述第二图像采集设备下的第一三维坐标；
根据所述第二标定结果，将所述第一三维坐标转换为在所述第一图像采集设备下的第二三维坐标，将所述第二三维坐标作为所述第一目标观测点三维坐标。
9.一种电子设备，其特征在于，包括：
存储器，用于存放计算机程序；
处理器，用于执行所述存储器上所存放的计算机程序时，实现权利要求1-5中任一项所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一项所述的方法步骤。
CN202310215350.9A 2023-03-01 2023-03-01 一种人眼视线检测方法、装置及电子设备 Pending CN116309412A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310215350.9A CN116309412A (zh) 2023-03-01 2023-03-01 一种人眼视线检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310215350.9A CN116309412A (zh) 2023-03-01 2023-03-01 一种人眼视线检测方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN116309412A true CN116309412A (zh) 2023-06-23

Family

ID=86818027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310215350.9A Pending CN116309412A (zh) 2023-03-01 2023-03-01 一种人眼视线检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN116309412A (zh)

Similar Documents

Publication Publication Date Title
CN111667582B (zh) 电子装置及增强现实的三维对象的尺寸调整方法
CN111783820B (zh) 图像标注方法和装置
JP6573419B1 (ja) 位置決め方法、ロボット及びコンピューター記憶媒体
US10277889B2 (en) Method and system for depth estimation based upon object magnification
CN111750820A (zh) 影像定位方法及其系统
US20140168367A1 (en) Calibrating visual sensors using homography operators
CN108805934A (zh) 一种车载摄像机的外部参数标定方法及装置
KR102436730B1 (ko) 가상 스크린의 파라미터 추정 방법 및 장치
CN109918977A (zh) 确定空闲车位的方法、装置及设备
US10719975B2 (en) Information processing apparatus and method of generating three-dimensional model
CN112258574A (zh) 标注位姿信息的方法、装置及计算机可读存储介质
CN106570907B (zh) 一种相机标定方法及装置
CN109931906B (zh) 摄像机测距方法、装置以及电子设备
CN108629799B (zh) 一种实现增强现实的方法及设备
CN114119992A (zh) 基于图像与点云融合的多模态三维目标检测方法及装置
CN116309412A (zh) 一种人眼视线检测方法、装置及电子设备
CN116824077A (zh) 一种高精度地图图像生成方法、装置及设备
JP2007315777A (ja) 三次元形状計測システム
CN116017129A (zh) 一种补光灯角度调整方法、装置、系统、设备和介质
CN115546314A (zh) 传感器外参校准方法和装置、设备及存储介质
CN113628284B (zh) 位姿标定数据集生成方法、装置、系统、电子设备及介质
CN115439552A (zh) 一种多相机外参标定方法、装置及电子设备
WO2019080257A1 (zh) 电子装置、车祸现场全景图像展示方法和存储介质
CN114564014A (zh) 物体信息确定方法、移动机器人系统及电子设备
CN113177975A (zh) 基于球幕相机及激光雷达的深度计算方法及三维建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination