CN113627355A - 用于偏航旋转的人脸的测距方法、设备和计算机可读介质 - Google Patents
用于偏航旋转的人脸的测距方法、设备和计算机可读介质 Download PDFInfo
- Publication number
- CN113627355A CN113627355A CN202110929514.5A CN202110929514A CN113627355A CN 113627355 A CN113627355 A CN 113627355A CN 202110929514 A CN202110929514 A CN 202110929514A CN 113627355 A CN113627355 A CN 113627355A
- Authority
- CN
- China
- Prior art keywords
- face
- yaw
- eye
- distance
- human face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000691 measurement method Methods 0.000 title abstract description 5
- 238000000034 method Methods 0.000 claims abstract description 40
- 239000011159 matrix material Substances 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 6
- 210000001508 eye Anatomy 0.000 claims description 124
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 abstract description 9
- 230000003287 optical effect Effects 0.000 description 10
- 230000036544 posture Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种用于偏航旋转的人脸的测距方法、设备和计算机可读介质。该方法包括:获取预设的人脸眼距参数、相机的内参矩阵和相机拍摄的人脸图片;根据预设的人脸检测算法识别出人脸图片中人脸的特征点;基于特征点计算人脸姿态信息,人脸姿态信息包括人脸偏航角度;以及基于人脸眼距参数、内参矩阵、人脸图片和人脸姿态信息计算人脸与相机的实际距离。该方法基于包含人脸偏航角度的人脸姿态信息来计算人脸与相机的距离,并且所需算力和成本较低,可应用与单摄像头等简单的设备,实现较高精度的带偏航角度的人脸距离计算。
Description
技术领域
本申请主要涉及人脸检测技术领域,尤其涉及一种用于偏航旋转的人脸的测距方法、设备和计算机可读介质。
背景技术
在车载或人脸检测等众多场合需要精确检测人脸关键点(如眉心、眼球等)距离检测设备的精确位置。例如,车载视线跟踪技术需要知道眼球或眉心相对摄像头的精确位置。
现有技术中,为了获取人脸关键点的坐标,一般采用双摄像头立体重建,根据人脸检测算法识别出2D的人脸特征点,结合立体3D图像,可以求出人脸关键点的位置。现有技术需要使用双摄像头,对摄像头结构的稳定性和产品的一致性要求比较高,并且成本比较高,量产化难度大。
目前的车载双摄像头的人脸检测方案存在如下缺陷:(1)双摄像头成本高,目前阶段很难普及使用。(2)双摄像头安装后需要进行标定,但在剧烈震动的环境下,结构可能发生位移或旋转,需要重新进行标定,而在线标定代价比较高,这些原因导致目前车载双摄像头方案的量产化较少。
此外,目前的人脸检测算法以正脸检测为主,人脸的不同姿态会影响人脸距离计算的准确度。通常来说,人脸姿态可包括俯仰(Pitch)、翻滚(Roll)和偏航(Yaw)这三种姿态。
因此,如何用较低的算力、较低的成本和简单的摄像设备进行较高精度的带偏航角度的人脸距离计算是本领域技术人员亟需解决的问题。
发明内容
本申请要解决的技术问题是提供一种用于偏航旋转的人脸的测距方法、设备和计算机可读介质,能够用较低的算力、较低的成本和简单的摄像设备进行较高精度的带偏航角度的人脸距离计算。
为解决上述技术问题,本申请提供了一种用于偏航旋转的人脸的测距方法,包括:获取预设的人脸眼距参数、相机的内参矩阵和所述相机拍摄的人脸图片;根据预设的人脸检测算法识别出所述人脸图片中人脸的特征点;基于所述特征点计算人脸姿态信息,所述人脸姿态信息包括人脸偏航角度;以及基于所述人脸眼距参数、所述内参矩阵、所述人脸图片和所述人脸姿态信息计算所述人脸与所述相机的实际距离。
在本申请的一实施例中,当所述人脸姿态为偏航旋转姿态时,所述人脸的双眼中距离所述相机较远的眼睛为偏航眼;所述根据所述人脸眼距参数、所述内参矩阵、所述人脸图片和所述人脸姿态信息计算所述人脸与所述相机的距离包括:获取所述相机的焦距长度;根据所述人脸图片识别出所述人脸的双眼,并确定所述双眼的像素坐标;基于所述双眼的像素坐标和所述内参矩阵确定所述双眼的图像坐标;基于所述双眼的图像坐标计算像平面上的双眼距离;基于所述人脸眼距参数、所述焦距长度和所述像平面上的双眼距离确定所述双眼与所述相机的无偏航旋转距离;基于所述人脸眼距参数、所述人脸姿态信息、所述双眼的图像坐标、所述内参矩阵确定所述偏航眼的偏航旋转距离;以及基于所述偏航眼的偏航旋转距离和所述双眼与所述相机的无偏航旋转距离确定所述偏航眼与所述相机的实际距离。
在本申请的一实施例中,所述根据基于所述人脸眼距参数、所述人脸姿态信息、所述双眼的图像坐标、所述内参矩阵确定所述偏航眼的偏航旋转距离包括:基于所述双眼的图像坐标和所述内参矩阵确定第一夹角,其中所述偏航眼与所述相机的连线为第一直线,所述第一夹角为像平面和所述第一直线之间的夹角;以及基于所述第一夹角、所述人脸眼距参数和所述人脸偏航角度确定所述偏航眼的偏航旋转距离。
在本申请的一实施例中,所述基于所述特征点计算人脸姿态信息,所述人脸姿态信息包括人脸偏航角度是根据以下方式计算:将预设的人脸3D模型透射在相机平面上,根据所述内参矩阵,确定所述人脸偏航角度。
在本申请的一实施例中,基于所述双眼的像素坐标和所述内参矩阵确定所述双眼的图像坐标是根据以下方式计算:
Lamda*[u,v,1]’=A*[x,y,z]
其中,A为所述内参矩阵,Lamda为预设常数,[u,v,1]为所述双眼的像素坐标,[x,y,z]为所述双眼的图像坐标。
在本申请的一实施例中,所述基于所述第一夹角、所述人脸眼距参数和所述人脸偏航角度确定所述偏航眼的偏航旋转距离是根据以下方式计算:
d/(sin(β))=RR’/sin(180-α-β)
其中,RR’为所述偏航眼的偏航旋转距离,d为所述人脸眼距参数,α为所述人脸偏航角度,β为所述第一夹角。
在本申请的一实施例中,所述内参矩阵是通过标定板标定方式得到的。
在本申请的一实施例中,所述人脸姿态信息还包括人脸俯仰角度和/或人脸翻滚角度。
为解决上述技术问题,本申请还提供了一种用于偏航旋转的人脸的测距设备,包括:存储器,用于存储可由处理器执行的指令;以及处理器,用于执行所述指令以实现如上所述的用于偏航旋转的人脸的测距方法。
为解决上述技术问题,本申请还提供了一种存储有计算机程序代码的计算机可读介质,所述计算机程序代码在由处理器执行时实现如上所述的用于偏航旋转的人脸的测距方法。
与现有技术相比,本申请的用于偏航旋转的人脸的测距方法、设备和计算机可读介质,基于包含人脸偏航角度的人脸姿态信息来计算人脸与相机的距离,并且所需算力和成本较低,可应用与单摄像头等简单的设备,实现较高精度的带偏航角度的人脸距离计算。
附图说明
包括附图是为提供对本申请进一步的理解,它们被收录并构成本申请的一部分,附图示出了本申请的实施例,并与本说明书一起起到解释本申请原理的作用。附图中:
图1是根据本申请一实施例示出的用于偏航旋转的人脸的测距方法的流程示意图。
图2是根据本申请一实施例示出的步骤104的具体流程示意图。
图3是根据本申请一实施例示出的用于偏航旋转的人脸的测距方法的原理示意图。
图4是根据本申请一实施例示出的用于偏航旋转的人脸的测距设备的架构图。
具体实施方式
为了更清楚地说明本申请的实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含有其他的步骤或元素。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各种步骤。同时,或将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
本申请提供了一种用于偏航旋转的人脸的测距方法。图1是根据本申请一实施例示出的用于偏航旋转的人脸的测距方法的流程示意图。如图1所示,本实施例的用于偏航旋转的人脸的测距方法包括以下步骤101-104:
步骤101,获取预设的人脸眼距参数、相机的内参矩阵和相机拍摄的人脸图片。人脸眼距参数是由用户预先设定的参数,是指人脸的双眼之间的平均距离。在一个示例中,用户可以根据统计产品适用区域,选择该地区的双眼平均距离作为人脸眼距参数。在一个示例中,根据统计人脸统计信息,人眼的平均距离可以为6.5cm。在本申请的一实施例中,相机的内参矩阵可以是通过标定板标定方式得到的。
步骤102,根据预设的人脸检测算法识别出人脸图片中人脸的特征点。在一个示例中,特征点可以为双眼或眉心。
步骤103,基于特征点计算人脸姿态信息,人脸姿态信息包括人脸偏航(Yaw)角度。在本申请的一实施例中,人脸姿态信息还可以包括人脸俯仰(Pitch)角度和/或人脸翻滚(Roll)角度。
在本申请的一实施例中,步骤103是根据以下方式计算人脸姿态信息:
将预设的3D模型透射在相机平面上,根据相机内参,确定人脸偏航角度。具体可通过以下公式计算:
Lamda*[u,v,1]’=A*[R,T][X,Y,Z]’
其中,A为内参矩阵,Lamda为预设常数,[u,v,1]为双眼的像素坐标,[X,Y,Z]为双眼的3D坐标。通过上述公式求解出坐标旋转矩阵R,以及相机坐标原点和人脸坐标原点之间的向量T后,可以知道人脸特征点在相机坐标下的坐标。用户可以统计产品适用区域,比如亚太区域,然后根据3D人脸库拟合出亚太区域人脸的平均3D模型,构建参考的3D模型,从而提高人脸姿态信息的准确性。此外,也可以根据人脸识别区分欧美、东亚、非洲等人种,启用不同的人种的平均3D模型,从而进一步提高人脸姿态信息的准确性。
步骤104,基于人脸眼距参数、内参矩阵、人脸图片和人脸姿态信息计算人脸与相机的实际距离。
相机坐标系(观察坐标系)的原点为相机的光心,x轴与y轴与图像的X、Y轴平行,z轴为相机光轴,它与图形平面垂直。光轴与图像平面的交点,即为图像坐标系的原点。为了求出人脸在相机坐标下Z轴方向的距,可以先定义人脸的局部坐标,人脸坐标原点为鼻尖,构建两眼瞳孔中心和下巴中心三点组成的平面,平面的法线方向为Z线,左右连线方向为X轴方向,由右手法则定义Y轴方向。在理想情况下,不考虑坐标的方向,相机坐标XYZ和人脸坐标XYZ完全平行时,两眼瞳孔中心连线平行于它们在像平面上的透射点的连线。
但在实际场景中,情况会更为复杂。如图3所示,点L和点R分别是左眼和右眼在空间中的位置,点l和点r分别是左眼和右眼在像平面中的投影点,过L点画平行于线段lr的线段,相交于R透射线于点R’。O为光心,α为透射角度。β为线段LR’与R透射线的夹角,它等于线段lr与R点的投射线的夹角。
在本申请的一实施例中,当人脸姿态为偏航旋转姿态时,人脸的双眼中距离相机较远的眼睛可以为偏航眼,在本说明书中均以右眼为偏航眼作为例子进行说明。图2是根据本申请一实施例示出的步骤104的具体流程示意图。如图2所示,步骤104的根据人脸眼距参数、内参矩阵、人脸图片和人脸姿态信息计算人脸与相机的距离可以包括以下步骤201-207:
步骤201,获取相机的焦距长度。
步骤202,根据人脸图片识别出人脸的双眼,并确定双眼的像素坐标。
像素坐标系是指以相机所拍摄的图像左上角为原点建立以像素为单位的直接坐标系u-v。像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数。
步骤203,基于双眼的像素坐标和内参矩阵确定双眼的图像坐标。
图像坐标系是指以图像中心为坐标原点,X,Y轴平行于图像两边的坐标系,可以用(x,y)表示物体的坐标值。
步骤204,基于双眼的图像坐标计算像平面上的双眼距离。
步骤205,基于人脸眼距参数、焦距长度和像平面上的双眼距离确定双眼与相机的无偏航旋转距离。双眼与相机的无偏航旋转距离是指未偏航的单眼(即与相机距离更近的单眼)与相机的距离。在图3中,双眼与相机的双眼与相机的无偏航旋转距离为光心O与点L之间的距离,并且与光心O与点R’之间的距离相等。
步骤206,基于人脸眼距参数、人脸姿态信息、双眼的图像坐标、内参矩阵确定偏航眼的偏航旋转距离。偏航眼的偏航旋转距离是指偏航眼的实际位置与假设未偏航时的位置之间的距离。在图3中,偏航眼的偏航旋转距离是指线段RR’的长度。
在本申请的一实施例中,步骤206可以包括以下步骤2061-2062:
步骤2061,基于双眼的图像坐标和内参矩阵确定第一夹角,其中偏航眼与相机的连线为第一直线,第一夹角为像平面和第一直线之间的夹角。在图3中,第一夹角为β。
在本申请的一实施例中,步骤2061的基于双眼的像素坐标和内参矩阵确定双眼的图像坐标是根据以下方式计算:
Lamda*[u,v,1]’=A*[x,y,z]
其中,A为内参矩阵,Lamda为预设常数,[u,v,1]为双眼的像素坐标,[x,y,z]为双眼的图像坐标。
步骤2062,基于第一夹角、人脸眼距参数和人脸姿态信息中的人脸偏航角度确定偏航眼的偏航旋转距离。
在本申请的一实施例中,步骤2062的基于第一夹角、人脸眼距参数和人脸偏航角度确定偏航眼的偏航旋转距离是根据以下方式计算:
d/(sin(β))=RR’/sin(180-α-β)
其中,RR’为偏航眼的偏航旋转距离,d为人脸眼距参数,α为人脸偏航角度,β为第一夹角。在图3中,人脸偏航角度为α,第一夹角为β,偏航眼的偏航旋转距离为RR’,人脸眼距参数等于线段LR的长度。
步骤207,基于偏航眼的偏航旋转距离和双眼与相机的无偏航旋转距离确定偏航眼与相机的实际距离。在图3中,偏航眼与相机的实际距离为光心O与右眼R的距离,即线段OR的长度。
综上所述,本申请的用于偏航旋转的人脸的测距方法基于包含人脸偏航角度的人脸姿态信息来计算人脸与相机的距离,并且所需算力和成本较低,可应用与单摄像头等简单的设备,实现较高精度的带偏航角度的人脸距离计算。
本申请还提供了一种用于偏航旋转的人脸的测距设备,包括:存储器,用于存储可由处理器执行的指令;以及处理器,用于执行所述指令以实现如上所述的方法。
图4示出了根据本申请一实施例的用于偏航旋转的人脸的测距设备的架构图。参考图4所示,该用于偏航旋转的人脸的测距设备400可包括内部通信总线401、处理器(Processor)402、只读存储器(ROM)403、随机存取存储器(RAM)404、以及通信端口405。当应用在个人计算机上时,用于偏航旋转的人脸的测距设备400还可以包括硬盘407。内部通信总线401可以实现用于偏航旋转的人脸的测距设备400组件间的数据通信。处理器402可以进行判断和发出提示。在一些实施例中,处理器402可以由一个或多个处理器组成。通信端口405可以实现用于偏航旋转的人脸的测距设备400与外部的数据通信。在一些实施例中,用于偏航旋转的人脸的测距设备400可以通过通信端口405从网络发送和接受信息及数据。用于偏航旋转的人脸的测距设备400还可以包括不同形式的程序储存单元以及数据储存单元,例如硬盘407,只读存储器(ROM)403和随机存取存储器(RAM)404,能够存储计算机处理和/或通信使用的各种数据文件,以及处理器402所执行的可能的程序指令。处理器执行这些指令以实现方法的主要部分。处理器处理的结果通过通信端口传给用户设备,在用户界面上显示。
可以理解,本申请的用于偏航旋转的人脸的测距方法并不限于由一个用于偏航旋转的人脸的测距设备实施,而是可以由多个联机的用于偏航旋转的人脸的测距设备协同实施。联机的用于偏航旋转的人脸的测距设备可以通过局域网或者广域网连接和通信。
本实施例的用于偏航旋转的人脸的测距设备的其他实施细节可参考图1至图3所描述的实施例,在此不再展开描述。
本申请还提供了一种存储有计算机程序代码的计算机可读介质,所述计算机程序代码在由处理器执行时实现如上所述的用于偏航旋转的人脸的测距方法。
举例来说,本申请的用于偏航旋转的人脸的测距方法可以实施为一种用于偏航旋转的人脸的测距方法的程序,保存在存储器中,并可加载到处理器中执行,以实施本申请的用于偏航旋转的人脸的测距方法。
用于偏航旋转的人脸的测距方法实施为计算机程序时,也可以存储在计算机可读存储介质中作为制品。例如,计算机可读存储介质可以包括但不限于磁存储设备(例如,硬盘、软盘、磁条)、光盘(例如,压缩盘(CD)、数字多功能盘(DVD))、智能卡和闪存设备(例如,电可擦除可编程只读存储器(EPROM)、卡、棒、键驱动)。此外,本文描述的各种存储介质能代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可以包括但不限于能存储、包含和/或承载代码和/或指令和/或数据的无线信道和各种其它介质(和/或存储介质)。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述申请披露仅仅作为示例,而并不构成对本申请的限定。虽然此处并没有明确说明,本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时,本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外,本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
本申请的方法和系统的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。处理器可以是一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DAPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器或者其组合。此外,本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。例如,计算机可读介质可包括,但不限于,磁性存储设备(例如,硬盘、软盘、磁带……)、光盘(例如,压缩盘(CD)、数字多功能盘(DVD)……)、智能卡以及闪存设备(例如,卡、棒、键驱动器……)。
计算机可读信号介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等等、或合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读信号介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。
本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写,包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP,动态编程语言如Python、Ruby和Groovy,或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(LAN),或广域网(WAN),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
此外,除非权利要求中明确说明,本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的申请实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或多个申请实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
虽然本申请已参照当前的具体实施例来描述,但是本技术领域中的普通技术人员应当认识到,以上的实施例仅是用来说明本申请,在没有脱离本申请精神的情况下还可做出各种等效的变化或替换,因此,只要在本申请的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。
Claims (10)
1.一种用于偏航旋转的人脸的测距方法,包括:
获取预设的人脸眼距参数、相机的内参矩阵和所述相机拍摄的人脸图片;
根据预设的人脸检测算法识别出所述人脸图片中人脸的特征点;
基于所述特征点计算人脸姿态信息,所述人脸姿态信息包括人脸偏航角度;以及
基于所述人脸眼距参数、所述内参矩阵、所述人脸图片和所述人脸姿态信息计算所述人脸与所述相机的实际距离。
2.如权利要求1所述的方法,其特征在于,当所述人脸姿态为偏航旋转姿态时,所述人脸的双眼中距离所述相机较远的眼睛为偏航眼;所述根据所述人脸眼距参数、所述内参矩阵、所述人脸图片和所述人脸姿态信息计算所述人脸与所述相机的距离包括:
获取所述相机的焦距长度;
根据所述人脸图片识别出所述人脸的双眼,并确定所述双眼的像素坐标;
基于所述双眼的像素坐标和所述内参矩阵确定所述双眼的图像坐标;
基于所述双眼的图像坐标计算像平面上的双眼距离;
基于所述人脸眼距参数、所述焦距长度和所述像平面上的双眼距离确定所述双眼与所述相机的无偏航旋转距离;
基于所述人脸眼距参数、所述人脸姿态信息、所述双眼的图像坐标、所述内参矩阵确定所述偏航眼的偏航旋转距离;以及
基于所述偏航眼的偏航旋转距离和所述双眼与所述相机的无偏航旋转距离确定所述偏航眼与所述相机的实际距离。
3.如权利要求2所述的方法,其特征在于,所述根据基于所述人脸眼距参数、所述人脸姿态信息、所述双眼的图像坐标、所述内参矩阵确定所述偏航眼的偏航旋转距离包括:
基于所述双眼的图像坐标和所述内参矩阵确定第一夹角,其中所述偏航眼与所述相机的连线为第一直线,所述第一夹角为像平面和所述第一直线之间的夹角;以及
基于所述第一夹角、所述人脸眼距参数和所述人脸偏航角度确定所述偏航眼的偏航旋转距离。
4.如权利要求1所述的方法,其特征在于,所述基于所述特征点计算人脸姿态信息,所述人脸姿态信息包括人脸偏航角度是根据以下方式计算:
将预设的人脸3D模型透射在相机平面上,根据所述内参矩阵,确定所述人脸偏航角度。
5.如权利要求2所述的方法,其特征在于,基于所述双眼的像素坐标和所述内参矩阵确定所述双眼的图像坐标是根据以下方式计算:
Lamda*[u,v,1]’=A*[x,y,z]
其中,A为所述内参矩阵,Lamda为预设常数,[u,v,1]为所述双眼的像素坐标,[x,y,z]为所述双眼的图像坐标。
6.如权利要求3所述的方法,其特征在于,所述基于所述第一夹角、所述人脸眼距参数和所述人脸偏航角度确定所述偏航眼的偏航旋转距离是根据以下方式计算:
d/(sin(β))=RR’/sin(180-α-β)
其中,RR’为所述偏航眼的偏航旋转距离,d为所述人脸眼距参数,α为所述人脸偏航角度,β为所述第一夹角。
7.如权利要求1所述的方法,其特征在于,所述内参矩阵是通过标定板标定方式得到的。
8.如权利要求1所述的方法,其特征在于,所述人脸姿态信息还包括人脸俯仰角度和/或人脸翻滚角度。
9.一种用于偏航旋转的人脸的测距设备,包括:存储器,用于存储可由处理器执行的指令;以及处理器,用于执行所述指令以实现如权利要求1-8任一项所述的方法。
10.一种存储有计算机程序代码的计算机可读介质,所述计算机程序代码在由处理器执行时实现如权利要求1-8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110929514.5A CN113627355A (zh) | 2021-08-13 | 2021-08-13 | 用于偏航旋转的人脸的测距方法、设备和计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110929514.5A CN113627355A (zh) | 2021-08-13 | 2021-08-13 | 用于偏航旋转的人脸的测距方法、设备和计算机可读介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113627355A true CN113627355A (zh) | 2021-11-09 |
Family
ID=78385269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110929514.5A Pending CN113627355A (zh) | 2021-08-13 | 2021-08-13 | 用于偏航旋转的人脸的测距方法、设备和计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113627355A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106355147A (zh) * | 2016-08-26 | 2017-01-25 | 张艳 | 一种活体人脸检测头部姿态回归器的获取方法及检测方法 |
CN109271923A (zh) * | 2018-09-14 | 2019-01-25 | 曜科智能科技(上海)有限公司 | 人脸姿态检测方法、系统、电子终端及存储介质 |
CN110647811A (zh) * | 2019-08-15 | 2020-01-03 | 中国平安人寿保险股份有限公司 | 人脸姿态检测方法、装置及计算机可读存储介质 |
CN111780673A (zh) * | 2020-06-17 | 2020-10-16 | 杭州海康威视数字技术股份有限公司 | 一种测距方法、装置及设备 |
CN111860292A (zh) * | 2020-07-16 | 2020-10-30 | 科大讯飞股份有限公司 | 基于单目相机的人眼定位方法、装置以及设备 |
CN112101247A (zh) * | 2020-09-18 | 2020-12-18 | 济南博观智能科技有限公司 | 一种人脸姿态估计方法、装置、设备及存储介质 |
CN112258581A (zh) * | 2020-09-25 | 2021-01-22 | 湖北久之洋红外系统股份有限公司 | 一种多鱼眼镜头全景相机的现场标定方法 |
WO2021147392A1 (zh) * | 2020-01-21 | 2021-07-29 | 初速度(苏州)科技有限公司 | 一种眼睑曲线的构建方法及装置 |
-
2021
- 2021-08-13 CN CN202110929514.5A patent/CN113627355A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106355147A (zh) * | 2016-08-26 | 2017-01-25 | 张艳 | 一种活体人脸检测头部姿态回归器的获取方法及检测方法 |
CN109271923A (zh) * | 2018-09-14 | 2019-01-25 | 曜科智能科技(上海)有限公司 | 人脸姿态检测方法、系统、电子终端及存储介质 |
CN110647811A (zh) * | 2019-08-15 | 2020-01-03 | 中国平安人寿保险股份有限公司 | 人脸姿态检测方法、装置及计算机可读存储介质 |
WO2021147392A1 (zh) * | 2020-01-21 | 2021-07-29 | 初速度(苏州)科技有限公司 | 一种眼睑曲线的构建方法及装置 |
CN111780673A (zh) * | 2020-06-17 | 2020-10-16 | 杭州海康威视数字技术股份有限公司 | 一种测距方法、装置及设备 |
CN111860292A (zh) * | 2020-07-16 | 2020-10-30 | 科大讯飞股份有限公司 | 基于单目相机的人眼定位方法、装置以及设备 |
CN112101247A (zh) * | 2020-09-18 | 2020-12-18 | 济南博观智能科技有限公司 | 一种人脸姿态估计方法、装置、设备及存储介质 |
CN112258581A (zh) * | 2020-09-25 | 2021-01-22 | 湖北久之洋红外系统股份有限公司 | 一种多鱼眼镜头全景相机的现场标定方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111783820B (zh) | 图像标注方法和装置 | |
AU2019432052B2 (en) | Three-dimensional image measurement method, electronic device, storage medium, and program product | |
CN110458122A (zh) | 一种视线标校方法、显示装置的播放方法和视线标校系统 | |
CN110842901A (zh) | 基于一种新型三维标定块的机器人手眼标定方法与装置 | |
US11490062B2 (en) | Information processing apparatus, information processing method, and storage medium | |
CN112308932B (zh) | 一种注视检测方法、装置、设备及存储介质 | |
US20230037922A1 (en) | Image display method and apparatus, computer device, and storage medium | |
US20210026445A1 (en) | Systems and methods for gaze tracking | |
CN111161398B (zh) | 一种图像生成方法、装置、设备及存储介质 | |
CN112927363A (zh) | 体素地图构建方法及装置、计算机可读介质和电子设备 | |
CN112738496A (zh) | 图像处理方法、设备、系统和计算机可读介质 | |
CN108182663A (zh) | 一种毫米波图像效果增强方法、设备和可读存储介质 | |
Zhou et al. | 3D eye model-based gaze estimation from a depth sensor | |
CN114187589A (zh) | 一种目标检测方法、装置、设备和存储介质 | |
CN112101247A (zh) | 一种人脸姿态估计方法、装置、设备及存储介质 | |
CN110032941B (zh) | 人脸图像检测方法、人脸图像检测装置及终端设备 | |
US20220375164A1 (en) | Method and apparatus for three dimensional reconstruction, electronic device and storage medium | |
CN113112553B (zh) | 双目相机的参数标定方法、装置、电子设备及存储介质 | |
US11248911B2 (en) | Method and device for aligning coordinate of position device with coordinate of IMU | |
CN109033957A (zh) | 一种基于二次多项式的视线估计方法 | |
KR20220026423A (ko) | 지면에 수직인 평면들의 3차원 재구성을 위한 방법 및 장치 | |
CN113627355A (zh) | 用于偏航旋转的人脸的测距方法、设备和计算机可读介质 | |
CN110020577B (zh) | 人脸关键点扩展计算方法、存储介质、电子设备及系统 | |
CN109284002B (zh) | 一种用户距离估算方法、装置、设备及存储介质 | |
CN113610051B (zh) | 基于人脸注册的人脸测距方法、设备和计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang Applicant after: United New Energy Automobile Co.,Ltd. Address before: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang Applicant before: Hezhong New Energy Vehicle Co.,Ltd. |