CN111854620A - 基于单目相机的实际瞳距测定方法、装置以及设备 - Google Patents

Abstract

本发明公开了一种基于单目相机的实际瞳距测定方法、装置以及设备。本发明的构思在于，通过预设多个参考点以及单目相机，从驾驶员凝视各参考点时的多张图像中提取特定的成像参数，再结合相机参数及参考点位置参数，获取驾驶员两瞳孔中点与相机的实际距离，并基于该实际距离以及前述各参数求取出对应于每一张图像的瞳距值，以此方式获得基于多个参考点及多张图像的所有瞳距值，最后通过预设瞳距标准以及所有瞳距值，标定并保存该驾驶员个体的刚体参数，即驾驶员真实的瞳距特征信息。本发明能够基于低成本的单目相机获得高精度的驾驶员个体的瞳距信息，为后续人眼定位操作提供可靠、准确的数据基础。

Description

基于单目相机的实际瞳距测定方法、装置以及设备

技术领域

本发明涉及驾驶员状态监控技术领域，尤其涉及一种基于单目相机的实际瞳距测定方法、装置以及设备。

背景技术

在驾驶员状态监控(Driver State Monitor，DSM)领域，其中涉及到对驾驶员凝视目标点或目标区域的监控技术。

具体来说，驾驶员在驾驶过程中的凝视目标可由目标位置或区域以及驾驶员凝视射线确定。其中，目标位置或区域可以通过预先对相机标定并对座舱进行三维建模来确定；驾驶员凝视射线则可以由驾驶员凝视方向和凝视原点构成，其中驾驶员凝视方向可通过对单目相机采集到的驾驶员人脸图像分析得到。

然而由于单目相机的2D成像特性，较难获取物体的深度信息，例如凝视原点信息(即人眼的空间位置)便无法精确测得，而获得人眼定位信息与驾驶员的眼部特征具有强相关性，尤其是眼部特征中的瞳距参数，因而如何通过单目相机精确获取到驾驶员的实际瞳距，则直接关系到后续人眼定位的精度。

发明内容

鉴于上述，本发明旨在提供一种基于单目相机的实际瞳距测定方法、装置以及设备，并对应地提出一种计算机可读存储介质以及计算机程序产品，通过这些方面能够在较低成本条件下标定出准确的实际瞳距参数。

本发明采用的技术方案如下：

第一方面，本发明提供了一种针基于单目相机的实际瞳距测定方法，包括：

利用单目相机采集驾驶员凝视预先设定的多个参考点中的一个参考点时的多张图像；

分别对每一张图像进行处理并获得预设参数；

根据预设参数以及对应的参考点的位置，求取驾驶员的两瞳孔中点与相机的实际距离；

根据预设参数、单目相机焦距以及所述实际距离，确定对应于一张图像的驾驶员的瞳距值；并以此类推，获得对应于各所述参考点的多张图像的瞳距值；

基于预设瞳距标准以及获得的所有瞳距值，确定当前驾驶员的实际瞳距参数，并进行存储。

在其中至少一种可能的实现方式中，所述预设参数包括：

图像中驾驶员的左右瞳孔及两瞳孔中点的位置、头部偏转角以及视线方向。

在其中至少一种可能的实现方式中，所述根据预设参数以及对应的参考点的位置，求取驾驶员的两瞳孔中点与相机的实际距离包括：

将所述参考点、相机坐标系原点和真实的驾驶员瞳孔中点构建为三角形；

根据参考点的位置、图像中两瞳孔中点的位置以及所述视线方向，确定所述三角形三个内角；

基于所述参考点至所述相机坐标系原点的距离以及三个内角，求取驾驶员的两瞳孔中点与相机的实际距离。

在其中至少一种可能的实现方式中，所述根据预设参数、单目相机焦距以及所述实际距离，确定对应于一张图像的驾驶员的瞳距值包括：

根据图像中驾驶员的左右瞳孔的位置，确定图像中的瞳距；

基于图像中的瞳距、所述实际距离以及单目相机焦距，预估瞳孔距离；

根据所述头部偏转角，将所述预估瞳孔距离投影到世界坐标系下，得到对应于当前图像的驾驶员的瞳距值。

在其中至少一种可能的实现方式中，存储当前驾驶员的实际瞳距参数包括：

记录当前驾驶员的身份识别信息；

基于所述身份识别信息，建立当前驾驶员与对应的实际瞳距参数的关联关系。

在其中至少一种可能的实现方式中，所述利用单目相机采集驾驶员凝视预先设定的多个参考点中的一个参考点时的多张图像包括：

以语音和/或文字的形式提示驾驶员以正常坐姿注视多个所述参考点中的一个参考点，并保持预设的注视时间；

在所述注视时间内通过所述单目相机获取驾驶员凝视当前参考点时的多张图像。

第二方面，本发明提供了一种基于单目相机的实际瞳距测定装置，包括：

图像采集模块，用于利用单目相机采集驾驶员凝视预先设定的多个参考点中的一个参考点时的多张图像；

图像处理模块，用于分别对每一张图像进行处理并获得预设参数；

测距模块，用于根据预设参数以及对应的参考点的位置，求取驾驶员的两瞳孔中点与相机的实际距离；

瞳距计算模块，用于根据预设参数、单目相机焦距以及所述实际距离，确定对应于一张图像的驾驶员的瞳距值；并以此类推，获得对应于各所述参考点的多张图像的瞳距值；

瞳距确定模块，基于预设瞳距标准以及获得的所有瞳距值，确定当前驾驶员的实际瞳距参数，并进行存储。

在其中至少一种可能的实现方式中，所述预设参数包括：

图像中驾驶员的左右瞳孔及两瞳孔中点的位置、头部偏转角以及视线方向。

在其中至少一种可能的实现方式中，所述测距模块包括：

几何构图单元，用于将所述参考点、相机坐标系原点和真实的驾驶员瞳孔中点构建为三角形；

角度计算单元，用于根据参考点的位置、图像中两瞳孔中点的位置以及视线方向，确定所述三角形三个内角；

距离计算单元，用于基于所述参考点至所述相机坐标系原点的距离以及三个内角，求取驾驶员的两瞳孔中点与相机的实际距离。

在其中至少一种可能的实现方式中，所述瞳距计算模块包括：

图像瞳距确定单元，用于根据图像中驾驶员的左右瞳孔的位置，确定图像中的瞳距；

瞳距预估单元，用于基于图像中的瞳距、所述实际距离以及单目相机焦距，预估瞳孔距离；

实际瞳距确定单元，用于根据头部偏转角，将所述预估瞳孔距离投影到世界坐标系下，得到对应于当前图像的驾驶员的瞳距值。

在其中至少一种可能的实现方式中，所述瞳距确定模块包括：

身份信息记录单元，用于记录当前驾驶员的身份识别信息；

参数映射单元，用于基于所述身份识别信息，建立当前驾驶员与对应的实际瞳距参数的关联关系。

在其中至少一种可能的实现方式中，所述图像采集模块包括：

提示单元，用于以语音和/或文字的形式提示驾驶员以正常坐姿注视多个所述参考点中的一个参考点，并保持预设的注视时间；

图像采集单元，用于在所述注视时间内通过所述单目相机获取驾驶员凝视当前参考点时的多张图像。

第三方面，本发明提供了一种基于单目相机的实际瞳距测定设备，包括：

一个或多个处理器、存储器以及一个或多个计算机程序，所述存储器可以采用非易失性存储介质，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备(可以是处理器)执行时，使得所述设备执行如第一方面或者第一方面的任一可能实现方式中的所述方法。

第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如第一方面或者第一方面的任一可能实现方式中的所述方法。

第五方面，本发明还提供了一种用于驾驶员状态监控系统的计算机程序产品，当所述计算机程序产品被计算机设备执行时，用于使所述驾驶员状态监控系统执行第一方面或者第一方面的任一可能实现方式中的所述方法。

在第五方面的一种可能的设计中，该产品涉及到的相关程序可以全部或者部分存储在与处理器封装在一起的存储器上，也可以部分或者全部存储在不与处理器封装在一起的存储介质上。

本发明的构思在于，通过预设多个参考点以及单目相机，从驾驶员凝视各参考点时的多张图像中提取特定的成像参数，再结合相机参数及参考点位置参数，获取驾驶员两瞳孔中点与相机的实际距离，并基于该实际距离以及前述各参数求取出对应于每一张图像的瞳距值，以此方式获得基于多个参考点及多张图像的所有瞳距值，最后通过预设瞳距标准以及所有瞳距值，标定并保存该驾驶员个体的刚体参数，即驾驶员真实的瞳距特征信息。本发明能够基于低成本的单目相机获得高精度的驾驶员个体的瞳距信息，为后续人眼定位操作提供可靠、准确的数据基础。

附图说明

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：

图1为本发明提供的基于单目相机的实际瞳距测定方法的实施例的流程图；

图2为本发明提供的求取实际瞳距的实施例的参考图；

图3为本发明提供的测量实际瞳距参数的实施例的流程图；

图4为本发明提供的基于单目相机的实际瞳距测定装置的实施例的方框图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明结合基于单目2D相机的人眼定位技术所需，提出了一种适用于单目相机的实际瞳距测定方法的实施例，具体来说，可以参考图1示出的流程图，其可以包括如下步骤：

步骤S1、利用单目相机采集驾驶员凝视预先设定的多个参考点中的一个参考点时的多张图像。

这里所述单目相机可以但不限于固定安装在车辆驾驶室的可见光或近红外相机，为了便于拍摄驾驶员的状态，其安装位置一般为车辆仪表盘上方或车内后视镜等处。这里所述参考点可以但不限于设置在相机附近且相对相机位置确定的某个物体，例如可以是汽车中控显示屏上所显示的点，也可以是汽车中控系统的某个按钮等，在本发明中为了提升瞳距标定精度，强调出需设置多个参考点。这里所述实际瞳距是指驾驶员左右瞳孔中心之间的绝对距离，由于个体间的瞳距存在差异，而且性别不同瞳距也会具有较大差异，例如我国成年男性和女性的瞳距平均分别在62mm和58mm，因此对于成年个体而言，个人的瞳距可以认为是相对保持不变的、且与他人存在差异的自身固有特征。

具体来说，在实际应用中，事先通过对参考点、单目相机进行标定，并可以对车辆座舱进行三维建模，从而可以建立出相机坐标系、世界坐标系等，并可获得相机的内参、外参和畸变参数以及前述参考点的坐标(在不同的实施方案中，可以相对相机坐标系或相对世界坐标系)。而为了便于协助驾驶员进行瞳距标定，可以但不限于通过车机系统的文字和/或语音进行提示指引，即提示驾驶员以正常的标准坐姿注视参考点且保持静止不动一定的预设时间，此时，可以调用前述设置好的单目2D相机在该预设的注视间内采集驾驶员凝视该参考点时的视频片段，接着可以采用抖动检测等算法选取多帧相对稳定的驾驶员图像，这里所述抖动检测算法可采用灰度投影法、Lucas－Kanade光流法等，具体过程可参照本领域相关技术，此处不做赘述。但需要指出的是，为了进一步提升瞳距标定精度，本发明强调出针对每一个参考点，需要采集多张驾驶员的凝视图像，对于具体图像张数可以不做限定。

步骤S2、分别对每一张图像进行处理并获得预设参数。

这里的预设参数包括但不限于成像参数，并且在实际应用中并不限定具体所选参数，例如在本发明的至少一种可能的实现方式中，选用了图像中驾驶员的左右瞳孔及两瞳孔中点的位置、头部偏转角以及视线方向这些参数，本领域技术人员可以理解的是，结合不同的场景和实际所需，也可以在其他实施方式中选择其他成像参数，这里不做限定。

针对该实施例而言，单目相机成像中驾驶员的瞳孔的位置信息可以基于图像坐标系(像素坐标系uov)获得；两瞳孔中点，即是图像中驾驶员左右瞳孔中心连线的中点；头部偏转角可以是通过相机参数，将图像中基于驾驶员头部关键特征点的成像特点，转化到相机坐标系下予以表征头部的偏航角(Yaw)、俯仰角(Pitch)和翻滚角(Roll)等；视线方向可以基于头部偏转角获得在相机坐标系下的真实视线分别与垂直方向(Pitch)和水平方向(Yaw)的夹角。前述各参数的获取和换算，可以通过对单目相机所拍图像进行处理后得到，这里对主要的图像处理环节进行说明，诸如人脸检测、人脸特征点定位、瞳孔定位、头部姿态估计、视线方向估计，具体而言：

(1)人脸检测

人脸检测的目的是识别出驾驶员人脸在图像中的位置。具体地，可以通过MTCNN、FaceBoxes、Mask-RCNN等现有技术，具体过程可参照相关技术实现，此处不做详述。

(2)人脸特征点定位

人脸特征点定位的目的是定位眼睛、眉毛、鼻子、嘴巴和脸部外轮廓等面部特征点的精确位置。具体定位时，其建立在上述人脸检测的基础上，截取人脸感兴趣区域，输入到预先训练好的神经网络中回归所有特征点的坐标。可采用SDM、MDM、PFLD等现有技术，具体过程可参照相关技术实现，此处不做详述。关键特征点定位后，可以得到图像中驾驶员面部特征点像素坐标系下的坐标位置，再结合相机内参可以转换到图像坐标系下。

(3)瞳孔定位

瞳孔定位的目的是进一步定位驾驶员瞳孔中心的精确位置，进而确定两瞳孔中点位置。根据前述人脸特征点定位结果可以确定出眼部特征点的位置，进而可以计算眼睛中心点的位置，然而多数情况下瞳孔中心与眼睛中心点并不重合，因此，需要进一步进行瞳孔定位。具体瞳孔定位时：可根据眼部特征点的位置截取眼部感兴趣区域，并将改区域图像进行二值化处理；将处理后的图像进行边缘检测，并过滤直线边缘；通过最小二乘法椭圆拟合瞳孔边缘，获得瞳孔中心的位置。也可直接将兴趣区域输入到预先训练好的神经网络模型中直接回归瞳孔中心的坐标。在由上述方式得到瞳孔中心坐标后，可以直接计算得到左右瞳孔中心以及两瞳孔中点在像素坐标系下的坐标，再结合相机内参便可以将所述图像中驾驶员的左右瞳孔及两瞳孔中点的位置转换到图像坐标系和/或相机坐标系下。

(4)头部姿态估计

头部姿态估计的目的是通过相机成像估计出驾驶员头部在环境空间中的偏转角。具体实施时，一方面，可以建立在前述人脸特征点定位基础上，构建相机坐标系下的标准三维人脸特征点模型，该标准三维人脸特征点模型在相机坐标系下的偏航角、俯仰角和翻滚角均为0；接着，基于将前述定位的二维人脸关键特征点的坐标映射到标准三维人脸特征点模型，即可获得对应的平移向量和旋转矩阵，进而便可以得到驾驶员头部的偏转角。另一方面，可以建立在前述人脸检测的基础上，通过截取头部感兴趣区域，并将区域图像输入预先训练好的神经网络模型中，直接估计出驾驶员头部的偏转角。具体可采用HopeNet、FSA-Net等现有技术，该实现过程可参照相关技术实现，此处不做详述。经过上述头部姿态估计后，可以得到图像中驾驶员头部相对于相机坐标系的偏转角，再结合相机外参便可以将头部偏转角转换到世界坐标系下。

(5)视线方向估计

视线方向估计的目的是估计出驾驶员在标定阶段所凝视的方向，可以理解为在相机坐标系下真实凝视方向分别与垂直方向和水平方向的夹角。具体实施时，可根据前述人脸特征点定位结果、前述头部姿态估计结果和前文提及的标准三维人脸特征点模型，对驾驶员图像进行畸变矫正、平移和旋转等处理，并截取面部和眼部感兴趣区域，使得面部和眼部图像转换到预先定义好的模式下，在该预设模式下面部和眼部图像距离相机的距离固定、偏转角度固定；将面部和眼部图像输入到预先训练的神经网络模型中，便可估计出驾驶员的凝视方向；再将凝视方向根据处理过程中的旋转反向变换为实际相机坐标系下的方向，即可以获得相机坐标系下凝视方向分别与垂直方向和水平方向的夹角，同时可将所得的视线方向转换为三维空间中的视线方向向量。

对于上述各环节本身，可以结合本领域相关手段及工具予以实现，本发明所要强调的是，针对本发明关注的技术问题以及设计出的个体瞳距特征标定环节，在一些实施例中需要采用上述图像处理中涉及的参数，也即是提出针对本发明目标，优选何种参数进行后续的瞳距计算。

步骤S3、根据预设参数以及对应的参考点的位置，求取驾驶员的两瞳孔中点与相机的实际距离。

同理地，当在不同的实施方式中选用不同的参数后，求取驾驶员的两瞳孔中点与相机的实际距离会有所差异。此处通过前述实施例中提及的图像中两瞳孔中点的位置以及视线方向，并结合预先设定的参考点及相机的参数进行示意性说明。

例如，一些求取实际距离的实施例总体构思是，由参考点、相机坐标系原点和真实的驾驶员瞳孔中点构建为三角形，再根据参考点的位置、图像中两瞳孔中点的位置以及所述视线方向，确定所述三角形三个内角，最后基于参考点至所述相机坐标系原点的距离以及三个内角，求取驾驶员的两瞳孔中点与相机的实际距离。

为便于理解，结合对前述步骤的说明以及图2示出的瞳距测量示意图，具体来说可以利用前述参考点、相机坐标系原点和真实的驾驶员瞳孔中点构建为三角形ROE。即图2示出的点R、O、E，其分别代表参考点、相机坐标系原点、真实的驾驶员瞳孔中点，E_l和E_r分别为真实的驾驶员左右瞳孔中心，e为所拍图像上驾驶员瞳孔中点，e_l和e_r分别为图像上驾驶员左右瞳孔中心。

参考点的坐标可以是在设置参考点的阶段，预先标定的，这里以相机坐标系为准，参考点R的位置可以表示R＝(X_R,Y_R,Z_R)；此外，由前述步骤可以得到在相机坐标系下的驾驶员瞳孔中点的位置，可以表示为e＝(X_e,Y_e,f)，这里的f是指相机焦距；由R及e的位置信息，那么Oe边与OR边的夹角∠eOR，便可以通过Oe边长、OR边长以及反余弦函数求得，而∠eOR＝∠EOR，因此便可以获得三角形ROE中的一个夹角；按同理方式，再根据前文提及的测得的驾驶员的视线方向向量，便可以计算得到三角形ROE中的的另一个夹角∠OER，从而便可以确定出三角形ROE所有内角的值。同时，基于预先设定的参考点位置和相机原点位置，便可以计算出二者的空间距离，此处记为D_OR，那么已知三角形三个内角以及一条边长，就可以通过三角函数求出其他边长，这里，本发明所需的是相机原点与实际瞳孔中点的距离，此处记为D_OE，也即是所述实际距离。

接续前文，步骤S4、根据预设参数、单目相机焦距以及所述实际距离，确定对应于一张图像的驾驶员的瞳距值；并以此类推，获得对应于各所述参考点的多张图像的瞳距值。

同理地，当在不同的实施方式中选用不同的参数后，确定对应于每一张图像的驾驶员的瞳距值会有所差异。此处通过前述实施例中提及的图像中驾驶员的左右瞳孔的位置以及头部偏转角，并结合相机参数以及前述步骤获得的所述实际距离进行示意性说明。如图3所示，可以包括如下步骤：

步骤S41、根据图像中驾驶员的左右瞳孔的位置，确定图像中的瞳距；

步骤S42、基于图像中的瞳距、所述实际距离以及单目相机焦距，预估瞳孔距离；

步骤S43、根据所述头部偏转角，将所述预估瞳孔距离投影到世界坐标系下，得到对应于当前图像的驾驶员的瞳距值。

为便于理解，再次结合对前述步骤的说明以及图2示出的瞳距测量示意图，具体来说，可由前文提及的步骤得到图像坐标系xoy下的左右瞳孔中心坐标(即左右瞳孔的位置)，由此便可以计算得到图像中驾驶员的左右瞳孔中心之间的距离，即图像中的瞳距记为d_e，再结合第二距离D_OE和相机焦距f，利用三角形相似法则便可以计算出实际的瞳孔中心之间的“预估瞳孔距离”为(D_OE×d_e)/f。考虑到驾驶员的头部相对相机坐标系存在一定的偏转，上述“预估瞳孔距离”实际上为左右瞳孔在相机坐标系XOY平面上的投影距离(面部非正对DSM单目相机时，“预估瞳孔距离”小于实际瞳距值)。因此，可再根据前述步骤得到的头部偏转角，将其逆投影到世界坐标系下，得到在真实空间中的驾驶员的瞳距值，此处记为D_E。按此方式可以获取到基于一个参考点的多张图像的多个瞳距值，并且每一个参考点均可按上述步骤循环处理，最终便得到基于所有参考点的所有图像的瞳距值集合。

步骤S5、基于预设瞳距标准以及获得的所有瞳距值，确定当前驾驶员的实际瞳距参数，并进行存储。

具体地，可以预先设定瞳距标准值范围，并从前述步骤求取的瞳距值集合中筛选出符合该标准范围的若干瞳距值，进而求取符合标准的所有瞳距值的均值，或者从符合标准的所有瞳距值中任意选取一个瞳距值，或者选择与标准范围的中值更为接近的瞳距值等等，作为当前参与标定的驾驶员的瞳距特征参数，并予以保存，从而可以降低测定误差。

最后还需说明的是，在测定出实际瞳距参数并进行存储时，可以与当前的驾驶员身份建立对应关系。由于本发明不限定参与标定的驾驶员的数量(这也是考虑到在实际使用车辆过程中，有可能会有不同驾驶员对车辆进行操控)，因此可以通过声纹、指纹、人脸等身份识别技术记录当前驾驶员的身份识别信息，并基于该身份识别信息，建立当前驾驶员与对应的实际瞳距参数的关联关系。这样，当一位驾驶员初次使用车辆时，由DSM系统完成本发明提供的瞳距标定操作，这样仅需通过该一次标定，便可以使系统获得不同驾驶员的瞳距信息，当之后由不同驾驶员使用车辆时，通过前述驾驶员身份识别技术便可以调用针对当前驾驶员的瞳距信息以便进行后续的人眼定位操作。

综上所述，本发明的构思在于通过预设多个参考点以及单目相机，从驾驶员凝视各参考点时的多张图像中提取特定的成像参数，再结合相机参数及参考点位置参数，获取驾驶员两瞳孔中点与相机的实际距离，并基于该实际距离以及前述各参数求取出对应于每一张图像的瞳距值，以此方式获得基于多个参考点及多张图像的所有瞳距值，最后通过预设瞳距标准以及经前述步骤获得的所有瞳距值，标定并保存该驾驶员个体的刚体参数，即驾驶员真实的瞳距特征信息。本发明能够基于低成本的单目相机获得高精度的驾驶员个体的瞳距信息，为后续人眼定位操作提供可靠、准确的数据基础。

对应于上述各实施例及优选方案，本发明还提供了一种基于单目相机的实际瞳距测定装置的实施例，如图4所示，具体可以包括如下部件：

图像采集模块1，用于利用单目相机采集驾驶员凝视预先设定的多个参考点中的一个参考点时的多张图像；

图像处理模块2，用于分别对每一张图像进行处理并获得预设参数；

测距模块3，用于根据预设参数以及对应参考点的位置，求取驾驶员的两瞳孔中点与相机的实际距离；

瞳距计算模块4，用于根据预设参数、单目相机焦距以及所述实际距离，确定对应于一张图像的驾驶员的瞳距值；并以此类推，获得对应于各所述参考点的多张图像的瞳距值；

瞳距确定模块5，基于预设瞳距标准以及获得的所有瞳距值，确定当前驾驶员的实际瞳距参数，并进行存储。

在其中至少一种可能的实现方式中，所述预设参数包括：

图像中驾驶员的左右瞳孔及两瞳孔中点的位置、头部偏转角以及视线方向。

在其中至少一种可能的实现方式中，所述测距模块包括：

几何构图单元，用于将所述参考点、相机坐标系原点和真实的驾驶员瞳孔中点构建为三角形；

角度计算单元，用于根据参考点的位置、图像中两瞳孔中点的位置以及视线方向，确定所述三角形三个内角；

距离计算单元，用于基于所述参考点至所述相机坐标系原点的距离以及三个内角，求取驾驶员的两瞳孔中点与相机的实际距离。

在其中至少一种可能的实现方式中，所述瞳距计算模块包括：

图像瞳距确定单元，用于根据图像中驾驶员的左右瞳孔的位置，确定图像中的瞳距；

瞳距预估单元，用于基于图像中的瞳距、所述实际距离以及单目相机焦距，预估瞳孔距离；

实际瞳距确定单元，用于根据头部偏转角，将所述预估瞳孔距离投影到世界坐标系下，得到对应于当前图像的驾驶员的瞳距值。

在其中至少一种可能的实现方式中，所述瞳距确定模块包括：

身份信息记录单元，用于记录当前驾驶员的身份识别信息；

参数映射单元，用于基于所述身份识别信息，建立当前驾驶员与对应的实际瞳距参数的关联关系。

在其中至少一种可能的实现方式中，所述图像采集模块包括：

提示单元，用于以语音和/或文字的形式提示驾驶员以正常坐姿注视多个所述参考点中的一个参考点，并保持预设的注视时间；

图像采集单元，用于在所述注视时间内通过所述单目相机获取驾驶员凝视当前参考点时的多张图像。

应理解以上图4所示的基于单目相机的实际瞳距测定装置的各个部件的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些部件可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分部件以软件通过处理元件调用的形式实现，部分部件通过硬件的形式实现。例如，某个上述模块可以为单独设立的处理元件，也可以集成在电子设备的某一个芯片中实现。其它部件的实现与之类似。此外这些部件全部或部分可以集成在一起，也可以独立实现。在实现过程中，上述方法的各步骤或以上各个部件可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些部件可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit；以下简称：ASIC)，或，一个或多个微处理器(Digital Singnal Processor；以下简称：DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array；以下简称：FPGA)等。再如，这些部件可以集成在一起，以片上系统(System-On-a-Chip；以下简称：SOC)的形式实现。

综合上述各实施例及其优选方案，本领域技术人员可以理解的是，在实际操作中，本发明适用于多种实施方式，本发明以下述载体作为示意性说明：

(1)一种基于单目相机的实际瞳距测定设备，其可以包括：

一个或多个处理器、存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备(处理器)执行时，使得所述设备执行前述实施例或等效实施方式的步骤/功能。

(2)一种可读存储介质，在可读存储介质上存储有计算机程序或上述装置，当计算机程序或上述装置被执行时，使得计算机执行前述实施例或等效实施方式的步骤/功能。

在本发明所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的某些技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以如下所述软件产品的形式体现出来。

(3)一种计算机程序产品(该产品可以包括上述装置，并且可以是指应用于DSM系统的计算机程序产品)，该计算机程序产品在计算机设备(车载设备和/或后台服务器等)上运行时，使DSM系统(也可以是前述计算机设备)执行前述实施例或等效实施方式的基于单目相机的实际瞳距测定方法。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述计算机程序产品可以包括但不限于是指APP；接续前文，上述设备/终端可以是一台计算机设备(例如手机、PC终端、云平台、服务器、服务器集群或者诸如媒体网关等网络通信设备等)。并且，该计算机设备的硬件结构还可以具体包括：至少一个处理器，至少一个通信接口，至少一个存储器和至少一个通信总线；处理器、通信接口、存储器均可以通过通信总线完成相互间的通信。其中，处理器可能是一个中央处理器CPU、DSP、微控制器或数字信号处理器，还可包括GPU、嵌入式神经网络处理器(Neural-network Process Units；以下简称：NPU)和图像信号处理器(Image Signal Processing；以下简称：ISP)，该处理器还可包括特定集成电路ASIC，或者是被配置成实施本发明实施例的一个或多个集成电路等，此外，处理器可以具有操作一个或多个软件程序的功能，软件程序可以存储在存储器等存储介质中；而前述的存储器/存储介质可以包括：非易失性存储器(non-volatile memory)，例如非可移动磁盘、U盘、移动硬盘、光盘等，以及只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)等。

本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。

本领域技术人员可以意识到，本说明书中公开的实施例中描述的各模块、单元及方法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方式来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以及，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可。尤其，对于装置、设备等实施例而言，由于其基本相似于方法实施例，所以相关之处可参见方法实施例的部分说明即可。以上所描述的装置、设备等实施例仅仅是示意性的，其中作为分离部件说明的模块、单元等可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个地方，例如系统网络的节点上。具体可根据实际的需要选择其中的部分或者全部模块、单元来实现上述实施例方案的目的。本领域技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims (10)

1.一种基于单目相机的实际瞳距测定方法，其特征在于，包括：

利用单目相机采集驾驶员凝视预先设定的多个参考点中的一个参考点时的多张图像；

分别对每一张图像进行处理并获得预设参数；

根据预设参数以及对应的参考点的位置，求取驾驶员的两瞳孔中点与相机的实际距离；

根据预设参数、单目相机焦距以及所述实际距离，确定对应于一张图像的驾驶员的瞳距值；并以此类推，获得对应于各所述参考点的多张图像的瞳距值；

基于预设瞳距标准以及获得的所有瞳距值，确定当前驾驶员的实际瞳距参数，并进行存储。

2.根据权利要求1所述的基于单目相机的实际瞳距测定方法，其特征在于，所述预设参数包括：

图像中驾驶员的左右瞳孔及两瞳孔中点的位置、头部偏转角以及视线方向。

3.根据权利要求2所述的基于单目相机的实际瞳距测定方法，其特征在于，所述根据预设参数以及对应的参考点的位置，求取驾驶员的两瞳孔中点与相机的实际距离包括：

将所述参考点、相机坐标系原点和真实的驾驶员瞳孔中点构建为三角形；

根据参考点的位置、图像中两瞳孔中点的位置以及所述视线方向，确定所述三角形三个内角；

基于所述参考点至所述相机坐标系原点的距离以及三个内角，求取驾驶员的两瞳孔中点与相机的实际距离。

4.根据权利要求2所述的基于单目相机的实际瞳距测定方法，其特征在于，所述根据预设参数、单目相机焦距以及所述实际距离，确定对应于一张图像的驾驶员的瞳距值包括：

根据图像中驾驶员的左右瞳孔的位置，确定图像中的瞳距；

基于图像中的瞳距、所述实际距离以及单目相机焦距，预估瞳孔距离；

根据所述头部偏转角，将所述预估瞳孔距离投影到世界坐标系下，得到对应于当前图像的驾驶员的瞳距值。

5.根据权利要求1所述的基于单目相机的实际瞳距测定方法，其特征在于，存储当前驾驶员的实际瞳距参数包括：

记录当前驾驶员的身份识别信息；

基于所述身份识别信息，建立当前驾驶员与对应的实际瞳距参数的关联关系。

6.根据权利要求1～5任一项所述的基于单目相机的实际瞳距测定方法，其特征在于，所述利用单目相机采集驾驶员凝视预先设定的多个参考点中的一个参考点时的多张图像包括：

以语音和/或文字的形式提示驾驶员以正常坐姿注视多个所述参考点中的一个参考点，并保持预设的注视时间；

在所述注视时间内通过所述单目相机获取驾驶员凝视当前参考点时的多张图像。

7.一种基于单目相机的实际瞳距测定装置，其特征在于，包括：

图像采集模块，用于利用单目相机采集驾驶员凝视预先设定的多个参考点中的一个参考点时的多张图像；

图像处理模块，用于分别对每一张图像进行处理并获得预设参数；

测距模块，用于根据预设参数以及对应的参考点的位置，求取驾驶员的两瞳孔中点与相机的实际距离；

瞳距计算模块，用于根据预设参数、单目相机焦距以及所述实际距离，确定对应于一张图像的驾驶员的瞳距值；并以此类推，获得对应于各所述参考点的多张图像的瞳距值；

瞳距确定模块，基于预设瞳距标准以及获得的所有瞳距值，确定当前驾驶员的实际瞳距参数，并进行存储。

8.根据权利要求7所述的基于单目相机的实际瞳距测定装置，其特征在于，所述测距模块包括：

几何构图单元，用于将所述参考点、相机坐标系原点和真实的驾驶员瞳孔中点构建为三角形；

角度计算单元，用于根据参考点的位置、图像中两瞳孔中点的位置以及视线方向，确定所述三角形三个内角；

距离计算单元，用于基于所述参考点至所述相机坐标系原点的距离以及三个内角，求取驾驶员的两瞳孔中点与相机的实际距离。

9.根据权利要求7所述的基于单目相机的实际瞳距测定装置，其特征在于，所述瞳距计算模块包括：

图像瞳距确定单元，用于根据图像中驾驶员的左右瞳孔的位置，确定图像中的瞳距；

瞳距预估单元，用于基于图像中的瞳距、所述实际距离以及单目相机焦距，预估瞳孔距离；

实际瞳距确定单元，用于根据头部偏转角，将所述预估瞳孔距离投影到世界坐标系下，得到对应于当前图像的驾驶员的瞳距值。

10.一种基于单目相机的实际瞳距测定设备，其特征在于，包括：

一个或多个处理器、存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述处理器执行时，使得所述人眼定位设备执行如权利要求1～6任一项所述的基于单目相机的实际瞳距测定方法。

Images