CN110956066B - 一种人脸部位测距方法、装置及车载终端 - Google Patents

一种人脸部位测距方法、装置及车载终端 Download PDF

Info

Publication number
CN110956066B
CN110956066B CN201910390974.8A CN201910390974A CN110956066B CN 110956066 B CN110956066 B CN 110956066B CN 201910390974 A CN201910390974 A CN 201910390974A CN 110956066 B CN110956066 B CN 110956066B
Authority
CN
China
Prior art keywords
point cloud
cloud model
coordinate system
face point
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910390974.8A
Other languages
English (en)
Other versions
CN110956066A (zh
Inventor
侯喆
王晋玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN201910390974.8A priority Critical patent/CN110956066B/zh
Priority to PCT/CN2019/108070 priority patent/WO2020228224A1/zh
Publication of CN110956066A publication Critical patent/CN110956066A/zh
Application granted granted Critical
Publication of CN110956066B publication Critical patent/CN110956066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开一种人脸部位测距方法、装置及车载终端。该方法包括：获取相机采集得到的待测距的人脸图像；根据预先构建的多个基础人脸点云模型，以及图像坐标系与相机坐标系之间的转换矩阵，确定能拟合得到真实人脸点云模型的各个基础人脸点云模型的目标权重，以及头部坐标系与相机坐标系之间的目标转换矩阵；根据各个目标权重，对各个基础人脸点云模型进行拟合，得到真实人脸点云模型；根据目标转换矩阵，将真实人脸点云模型转换至相机坐标系下，得到目标人脸点云模型；根据目标人脸点云模型，确定人脸图像中指定部位与相机之间的距离信息。应用本发明实施例提供的方案，能够实现对单目相机拍摄的人脸图像进行人脸部位测距。

Description

一种人脸部位测距方法、装置及车载终端
技术领域
本发明涉及智能驾驶技术领域，具体而言，涉及一种人脸部位测距方法、装置及车载终端。
背景技术
当相机采集到人脸图像时，对人脸图像进行分析，可以确定人脸图像中人脸部位与相机之间的距离信息，即进行了人脸部位测距。人脸部位测距可以理解为确定人脸图像中人脸部位与采集该人脸图像的相机之间的距离。该距离信息可以用于视线追踪、对象行为分析等领域。例如，根据人脸中的鼻尖点、眼角点与相机之间的距离，可以确定人眼的注视点，进而得到人的关注方向等。
相关技术中，为了能够确定人脸图像中人脸部位与相机之间的距离，通常设置至少两个相机来采集同一人脸的人脸图像，并根据已知的相机之间的距离，利用三角定位，对人脸图像中的人脸部位进行测距。但是这种方式对相机硬件设备要求较高，针对由单目相机采集的人脸图像，则无法进行人脸部位的测距。
发明内容
本发明提供了一种人脸部位测距方法、装置及车载终端，以实现对单目相机拍摄的人脸图像进行人脸部位测距。具体的技术方案如下。
第一方面，本发明实施例公开了一种人脸部位测距方法，包括：
获取相机采集得到的待测距的人脸图像；其中，所述人脸图像所在的二维坐标系为图像坐标系，所述人脸图像对应的真实人脸点云模型所在的三维坐标系为头部坐标系，所述相机所在的三维坐标系为相机坐标系；
根据预先构建的多个基础人脸点云模型，以及所述图像坐标系与所述相机坐标系之间的转换矩阵，确定能拟合得到所述真实人脸点云模型的各个基础人脸点云模型的目标权重，以及所述头部坐标系与所述相机坐标系之间的目标转换矩阵；
根据各个目标权重，对各个基础人脸点云模型进行拟合，得到所述真实人脸点云模型；
根据所述目标转换矩阵，将所述真实人脸点云模型转换至所述相机坐标系下，得到目标人脸点云模型；
根据所述目标人脸点云模型，确定所述人脸图像中指定部位与所述相机之间的距离信息。
可选的，所述根据预先构建的多个基础人脸点云模型，以及所述图像坐标系与所述相机坐标系之间的转换矩阵，确定能拟合得到所述真实人脸点云模型的各个基础人脸点云模型的目标权重，以及所述头部坐标系与所述相机坐标系之间的真实转换矩阵的步骤，包括：
将设置的多个基础人脸点云模型的初始权重，作为各个基础人脸点云模型的参考权重；将设置的初始转换矩阵作为所述头部坐标系与所述相机坐标系之间的参考转换矩阵；
根据各个参考权重，对各个基础人脸点云模型进行拟合，得到参考人脸点云模型；
根据所述参考转换矩阵以及所述图像坐标系与所述相机坐标系之间的转换矩阵，将所述参考人脸点云模型中的点转换成参考人脸图像中的点；
确定所述参考人脸图像与所述人脸图像之间的差异，判断所述差异是否小于预设差异阈值；
如果不小于，则根据所述差异更新所述参考权重和所述参考转换矩阵，返回执行所述根据各个参考权重，对各个基础人脸点云模型进行拟合，得到参考人脸点云模型的步骤；
如果小于，则将所述参考权重确定为能拟合得到所述真实人脸点云模型的各个目标权重，将所述参考转换矩阵确定为目标转换矩阵。
可选的，所述根据所述参考转换矩阵以及所述图像坐标系与所述相机坐标系之间的转换矩阵，将所述参考人脸点云模型对应的数据转换成参考人脸图像的步骤，包括：
根据以下公式，将所述参考人脸点云模型中的点转换成参考人脸图像中的点：
(U，V)＝FRT[f(x，y，z)]
Figure BDA0002056478830000031
其中，所述(U，V)为所述参考人脸图像中的点，所述F为所述图像坐标系与所述相机坐标系之间的转换矩阵，所述RT为所述参考转换矩阵，所述f(x，y，z)为所述参考人脸点云模型，所述ai和bi为第i个基础人脸点云模型对应的参考权重，所述shape_i为所述第i个基础人脸点云模型中的形状参量，所述express_i为所述第i个基础人脸点云模型中的表情参量，所述N为所述基础人脸点云模型的总数量，所述regularization为正则项。
可选的，所述根据各个目标权重，对各个基础人脸点云模型进行拟合，得到所述真实人脸点云模型的步骤，包括：
根据以下公式，对各个基础人脸点云模型进行拟合，得到所述真实人脸点云模型f真(x，y，z)：
Figure BDA0002056478830000032
其中，所述Ai和Bi为第i个基础人脸点云模型对应的目标权重。
可选的，所述根据所述目标转换矩阵，将所述真实人脸点云模型转换至所述相机坐标系下，得到目标人脸点云模型的步骤，包括：
根据以下公式，将所述真实人脸点云模型转换至所述相机坐标系下，得到目标人脸点云模型F真(X，Y，Z)：
F真(X，Y，Z)＝R0T0[f真(x，y，z)]
其中，所述R0T0为所述目标转换矩阵，所述f真(x，y，z)为所述真实人脸点云模型。
可选的，所述根据各个目标权重，对各个基础人脸点云模型进行拟合，得到所述真实人脸点云模型的步骤，包括：
对各个基础人脸点云模型与对应的目标权重的乘积求和，得到所述真实人脸点云模型。
可选的，所述根据所述目标人脸点云模型，确定所述人脸图像中指定部位与所述相机之间的距离信息的步骤，包括：
根据预设的人脸图像中各个点与该人脸图像对应的人脸点云模型中各个点之间的对应关系，确定所述人脸图像中指定部位对应的所述目标人脸点云模型中的点，根据确定的点的坐标，确定所述人脸图像中指定部位与所述相机之间的距离信息。
第二方面，本发明实施例提供了一种人脸部位测距装置，包括：
获取模块，被配置为获取相机采集得到的待测距的人脸图像；其中，所述人脸图像所在的二维坐标系为图像坐标系，所述人脸图像对应的真实人脸点云模型所在的三维坐标系为头部坐标系，所述相机所在的三维坐标系为相机坐标系；
第一确定模块，被配置为根据预先构建的多个基础人脸点云模型，以及所述图像坐标系与所述相机坐标系之间的转换矩阵，确定能拟合得到所述真实人脸点云模型的各个基础人脸点云模型的目标权重，以及所述头部坐标系与所述相机坐标系之间的目标转换矩阵；
拟合模块，被配置为根据各个目标权重，对各个基础人脸点云模型进行拟合，得到所述真实人脸点云模型；
转换模块，被配置为根据所述目标转换矩阵，将所述真实人脸点云模型转换至所述相机坐标系下，得到目标人脸点云模型；
第二确定模块，被配置为根据所述目标人脸点云模型，确定所述人脸图像中指定部位与所述相机之间的距离信息。
可选的，所述第一确定模块，具体被配置为：
将设置的多个基础人脸点云模型的初始权重，作为各个基础人脸点云模型的参考权重；将设置的初始转换矩阵作为所述头部坐标系与所述相机坐标系之间的参考转换矩阵；
根据各个参考权重，对各个基础人脸点云模型进行拟合，得到参考人脸点云模型；
根据所述参考转换矩阵以及所述图像坐标系与所述相机坐标系之间的转换矩阵，将所述参考人脸点云模型中的点转换成参考人脸图像中的点；
确定所述参考人脸图像与所述人脸图像之间的差异，判断所述差异是否小于预设差异阈值；
如果不小于，则根据所述差异更新所述参考权重和所述参考转换矩阵，返回执行根据各个参考权重，对各个基础人脸点云模型进行拟合，得到参考人脸点云模型的操作；
如果小于，则将所述参考权重确定为能拟合得到所述真实人脸点云模型的各个目标权重，将所述参考转换矩阵确定为目标转换矩阵。
可选的，所述第一确定模块，根据所述参考转换矩阵以及所述图像坐标系与所述相机坐标系之间的转换矩阵，将所述参考人脸点云模型对应的数据转换成参考人脸图像时，包括：
根据以下公式，将所述参考人脸点云模型中的点转换成参考人脸图像中的点：
(U，V)＝FRT[f(x，y，z)]
Figure BDA0002056478830000051
其中，所述(U，V)为所述参考人脸图像中的点，所述F为所述图像坐标系与所述相机坐标系之间的转换矩阵，所述RT为所述参考转换矩阵，所述f(x，y，z)为所述参考人脸点云模型，所述ai和bi为第i个基础人脸点云模型对应的参考权重，所述shape_i为所述第i个基础人脸点云模型中的形状参量，所述express_i为所述第i个基础人脸点云模型中的表情参量，所述N为所述基础人脸点云模型的总数量，所述regularization为正则项。
可选的，所述拟合模块，具体被配置为：
根据以下公式，对各个基础人脸点云模型进行拟合，得到所述真实人脸点云模型f真(x，y，z)：
Figure BDA0002056478830000052
其中，所述Ai和Bi为第i个基础人脸点云模型对应的目标权重。
可选的，所述转换模块具体被配置为：
根据以下公式，将所述真实人脸点云模型转换至所述相机坐标系下，得到目标人脸点云模型F真(X，Y，Z)：
F真(X，Y，Z)＝R0T0[f真(x，y，z)]
其中，所述R0T0为所述目标转换矩阵，所述f真(x，y，z)为所述真实人脸点云模型。
可选的，所述拟合模块，根据各个目标权重，对各个基础人脸点云模型进行拟合，得到所述真实人脸点云模型时，包括：
对各个基础人脸点云模型与对应的目标权重的乘积求和，得到所述真实人脸点云模型。
可选的，所述第二确定模块，具体被配置为：
根据预设的人脸图像中各个点与该人脸图像对应的人脸点云模型中各个点之间的对应关系，确定所述人脸图像中指定部位对应的所述目标人脸点云模型中的点，根据确定的点的坐标，确定所述人脸图像中指定部位与所述相机之间的距离信息。
第三方面，本发明实施例提供了一种车载终端，包括：处理器和相机；所述处理器包括获取模块、第一确定模块、拟合模块、转换模块和第二确定模块；
所述获取模块，被配置为获取相机采集得到的待测距的人脸图像；其中，所述人脸图像所在的二维坐标系为图像坐标系，所述人脸图像对应的真实人脸点云模型所在的三维坐标系为头部坐标系，所述相机所在的三维坐标系为相机坐标系；
所述第一确定模块，被配置为根据预先构建的多个基础人脸点云模型，以及所述图像坐标系与所述相机坐标系之间的转换矩阵，确定能拟合得到所述真实人脸点云模型的各个基础人脸点云模型的目标权重，以及所述头部坐标系与所述相机坐标系之间的目标转换矩阵；
所述拟合模块，被配置为根据各个目标权重，对各个基础人脸点云模型进行拟合，得到所述真实人脸点云模型；
所述转换模块，被配置为根据所述目标转换矩阵，将所述真实人脸点云模型转换至所述相机坐标系下，得到目标人脸点云模型；
所述第二确定模块，被配置为根据所述目标人脸点云模型，确定所述人脸图像中指定部位与所述相机之间的距离信息。
可选的，所述第一确定模块，具体被配置为：
将设置的多个基础人脸点云模型的初始权重，作为各个基础人脸点云模型的参考权重；将设置的初始转换矩阵作为所述头部坐标系与所述相机坐标系之间的参考转换矩阵；
根据各个参考权重，对各个基础人脸点云模型进行拟合，得到参考人脸点云模型；
根据所述参考转换矩阵以及所述图像坐标系与所述相机坐标系之间的转换矩阵，将所述参考人脸点云模型中的点转换成参考人脸图像中的点；
确定所述参考人脸图像与所述人脸图像之间的差异，判断所述差异是否小于预设差异阈值；
如果不小于，则根据所述差异更新所述参考权重和所述参考转换矩阵，返回执行根据各个参考权重，对各个基础人脸点云模型进行拟合，得到参考人脸点云模型的操作；
如果小于，则将所述参考权重确定为能拟合得到所述真实人脸点云模型的各个目标权重，将所述参考转换矩阵确定为目标转换矩阵。
可选的，所述第一确定模块，根据所述参考转换矩阵以及所述图像坐标系与所述相机坐标系之间的转换矩阵，将所述参考人脸点云模型对应的数据转换成参考人脸图像时，包括：
根据以下公式，将所述参考人脸点云模型中的点转换成参考人脸图像中的点：
(U，V)＝FRT[f(x，y，z)]
Figure BDA0002056478830000071
其中，所述(U，V)为所述参考人脸图像中的点，所述F为所述图像坐标系与所述相机坐标系之间的转换矩阵，所述RT为所述参考转换矩阵，所述f(x，y，z)为所述参考人脸点云模型，所述ai和bi为第i个基础人脸点云模型对应的参考权重，所述shape_i为所述第i个基础人脸点云模型中的形状参量，所述express_i为所述第i个基础人脸点云模型中的表情参量，所述N为所述基础人脸点云模型的总数量，所述regularization为正则项。
可选的，所述拟合模块，具体被配置为：
根据以下公式，对各个基础人脸点云模型进行拟合，得到所述真实人脸点云模型f真(x，y，z)：
Figure BDA0002056478830000081
其中，所述Ai和Bi为第i个基础人脸点云模型对应的目标权重。
可选的，所述转换模块具体被配置为：
根据以下公式，将所述真实人脸点云模型转换至所述相机坐标系下，得到目标人脸点云模型F真(X，Y，Z)：
F真(X，Y，Z)＝R0T0[f真(x，y，z)]
其中，所述R0T0为所述目标转换矩阵，所述f真(x，y，z)为所述真实人脸点云模型。
可选的，所述拟合模块，根据各个目标权重，对各个基础人脸点云模型进行拟合，得到所述真实人脸点云模型时，包括：
对各个基础人脸点云模型与对应的目标权重的乘积求和，得到所述真实人脸点云模型。
可选的，所述第二确定模块，具体被配置为：
根据预设的人脸图像中各个点与该人脸图像对应的人脸点云模型中各个点之间的对应关系，确定所述人脸图像中指定部位对应的所述目标人脸点云模型中的点，根据确定的点的坐标，确定所述人脸图像中指定部位与所述相机之间的距离信息。
由上述内容可知，本发明实施例提供的人脸部位测距方法、装置及车载终端，当人脸图像为单目相机拍摄时，根据确定的各个目标权重，对各个基础人脸点云模型进行拟合，可以得到三维的头部坐标系下的真实人脸点云模型，根据头部坐标系与相机坐标系之间的目标转换矩阵，将真实人脸点云模型转换至相机坐标系下，得到相机坐标系下的目标人脸点云模型，从该目标人脸点云模型对应的点的坐标即可确定指定部位与相机之间的距离信息。因此，本发明实施例能够实现对单目相机拍摄的人脸图像进行人脸部位测距。
本发明实施例的创新点包括：
1、针对单目相机采集的人脸图像，根据各个基础人脸点云模型的目标权重，基于对各个基础人脸点云模型的拟合，能够得到真实人脸点云模型，再将真实人脸点云模型转换至相机坐标系下，这样即能够从转换后得到的目标人脸点云模型中得到指定部位与相机之间的距离信息，能够实现针对单目相机拍摄的人脸图像的人脸部位测距。
2、根据参考权重和参考转换矩阵，拟合参考人脸点云模型，再将参考人脸点云模型转换成参考人脸图像，根据参考人脸图像与该人脸图像的差异不断修正参考权重和参考转换矩阵，采用迭代的方式，逐渐使得参考权重和参考转换矩阵接近真值，能够更准确地确定目标权重和目标转换矩阵，进而更准确地确定人脸部位与相机之间的距离信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种人脸部位测距方法的流程示意图；
图2为人脸部位与相机之间的距离的一种原理示意图；
图3为本发明实施例提供的一种人脸部位测距装置的结构示意图；
图4为本发明实施例提供的一种车载终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明实施例公开了一种人脸部位测距方法、装置及车载终端，能够实现对单目相机拍摄的人脸图像进行人脸部位测距。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的一种人脸部位测距方法的流程示意图。该方法应用于电子设备。该电子设备可以为普通计算机、服务器或者智能移动终端等设备。该电子设备也可以为安装在车辆中的用于计算处理的设备。该方法具体包括以下步骤。
S110：获取相机采集得到的待测距的人脸图像。
其中，人脸图像所在的二维坐标系为图像坐标系，人脸图像对应的真实人脸点云模型所在的三维坐标系为头部坐标系，相机所在的三维坐标系为相机坐标系。头部坐标系的原点可以为两耳上对应点连线的中点。相机坐标系的原点可以为相机光心，Z轴可以沿光轴方向。
人脸点云模型包含了人脸形状参量和人脸表情参量，人脸点云模型为大量点组成的点云数据的和，其中部分点为人脸图像中的人脸关键点。人脸关键点可以包括：鼻尖点、眼角点、下巴点、人中点等等。人脸图像中的二维点与该真实人脸点云模型中的三维点存在对应关系。例如，一个人脸点云模型包含的点数量可以为53215个，其中每个点分布在以原点为中心的不同半径的球面上，这些点中的68个点即为常用的68个人脸关键点。
相机可以为具体图像采集功能的设备，例如监控摄像头、行车记录仪等。人脸图像可以为只包含人脸区域的图像，也可以为包含人脸区域和背景区域的图像。
在另一实施方式中，在获取相机采集得到的待测距的人脸图像时，可以包括：获取相机采集得到的初始人脸图像，对初始人脸图像进行预处理，得到待测距的人脸图像。其中，预处理可以包括：对初始人脸图像进行缩放、去畸变、改变成灰度图像等处理。
S120：根据预先构建的多个基础人脸点云模型，以及图像坐标系与相机坐标系之间的转换矩阵，确定能拟合得到真实人脸点云模型的各个基础人脸点云模型的目标权重，以及头部坐标系与相机坐标系之间的目标转换矩阵。
其中，可以根据预先获取多个不同样本人脸图像，建立多个基础人脸点云模型。例如，可以建立200个不同的基础人脸点云模型。每个基础人脸点云模型，可以理解为在头部坐标系下的模型。
根据各个基础人脸点云模型对应的目标权重对基础人脸点云模型进行拟合，能够得到在头部坐标系下的真实人脸点云模型，根据头部坐标系与相机坐标系之间的目标转换矩阵，可以将真实人脸点云模型转换至相机坐标系下，再根据图像坐标系与相机坐标系之间的转换矩阵，从相机坐标系下的真实人脸点云模型可以得到人脸图像。因此，根据上述过程的逆过程，可以确定目标权重和目标转换矩阵。
头部坐标系与相机坐标系之间的目标转换矩阵，可以包括头部坐标系与相机坐标系之间的旋转矩阵R和平移矩阵T的共同作用。
S130：根据各个目标权重，对各个基础人脸点云模型进行拟合，得到真实人脸点云模型。
本步骤具体可以包括：对各个基础人脸点云模型与对应的目标权重的乘积求和，得到真实人脸点云模型。
对各个基础人脸点云模型与对应的目标权重的乘积求和时，具体可以为，将各个基础人脸点云模型中的人脸形状参量与对应的目标权重的乘积之和，确定为真实人脸点云模型中的人脸形状参量，将各个基础人脸点云模型中的人脸表情参量与对应的目标权重的乘积之和，确定为真实人脸点云模型中的人脸表情参量。
S140：根据目标转换矩阵，将真实人脸点云模型转换至相机坐标系下，得到目标人脸点云模型。
通过将目标转换矩阵乘以真实人脸点云模型，即可以得到目标人脸点云模型。
S150：根据目标人脸点云模型，确定人脸图像中指定部位与相机之间的距离信息。
其中，指定部位可以为人脸关键点中的点，例如，指定部位可以为眼角点、鼻尖点、眉心点等。本步骤具体可以包括以下实施方式：
根据预设的人脸图像中各个点与该人脸图像对应的人脸点云模型中各个点之间的对应关系，确定人脸图像中指定部位对应的目标人脸点云模型中的点，根据确定的点的坐标，确定所述人脸图像中指定部位与所述相机之间的距离信息。
具体的，每个人脸图像与该人脸图像对应的人脸点云模型中的点之间存在对应关系，例如，人脸点云模型中的三维人脸关键点对应人脸图像中的二维人脸关键点。因此，可以根据人脸图像中的二维点与目标人脸点云模型中的三维点之间的对应关系，确定人脸图像中指定部位对应的目标人脸点云模型中的点。根据确定的点的坐标，即可以确定人脸图像中指定部位与相机之间的距离信息。指定部位与相机之间的距离信息，可以理解为，指定部位与相机光心之间的距离信息。该距离信息可以包括直线距离和/或某坐标轴方向上的距离。
在确定人脸图像中指定部位与相机之间的距离信息之后，可以根据该距离信息，确定人脸图像的头部向量与相机之间的角度信息。
参见图2，该图2为人脸部位与相机之间的距离的一种原理示意图。其中，圆圈为从人脸图像中选取的多个人脸关键点，线1和线2为人眼注视的方向，线3为头部向量所在的直线。圆圈A为头部坐标系的原点，即头部中心点，A点上标注的x、y、z的值为头部中心点到相机的物理距离。框1为相机，线4为相机光心轴，即相机坐标系中的Z轴，线5和线6与Z构成相机坐标系。
由上述内容可知，本实施例中，当人脸图像为单目相机拍摄时，根据确定的各个目标权重，对各个基础人脸点云模型进行拟合，可以得到三维的头部坐标系下的真实人脸点云模型，根据头部坐标系与相机坐标系之间的目标转换矩阵，将真实人脸点云模型转换至相机坐标系下，得到相机坐标系下的目标人脸点云模型，从该目标人脸点云模型对应的点的坐标即可确定指定部位与相机之间的距离信息。因此，本实施例能够实现对单目相机拍摄的人脸图像进行人脸部位测距。
同时，本实施例无需采用双目相机检测人脸图像与相机之间的距离，能够使用单目相机取代双目相机，进而节省硬件成本。
在本发明的另一实施例中，基于图1所示实施例，为了更快速、更准确地确定目标权重和目标转换矩阵，步骤S120，根据预先构建的多个基础人脸点云模型，以及图像坐标系与相机坐标系之间的转换矩阵，确定能拟合得到真实人脸点云模型的各个基础人脸点云模型的目标权重，以及头部坐标系与相机坐标系之间的真实转换矩阵的步骤，具体可以包括：
步骤1：将设置的多个基础人脸点云模型的初始权重，作为各个基础人脸点云模型的参考权重，将设置的初始转换矩阵作为头部坐标系与相机坐标系之间的参考转换矩阵。
初始权重可以根据经验值进行设置，也可以随机设置。参考权重可能不是真实值，因此后续可以逐渐修正参考权重，使其不断接近真实值。
初始转换矩阵可以根据经验值进行设置，也可以随机设置。参考转换矩阵可能并不是真实值，因此后续可以逐渐修正参考转换矩阵，使其不断接近真实值。
步骤2：根据各个参考权重，对各个基础人脸点云模型进行拟合，得到参考人脸点云模型。
本步骤具体可以包括：对各个基础人脸点云模型与对应的参考权重的乘积求和，得到参考人脸点云模型。
对各个基础人脸点云模型与对应的参考权重的乘积求和时，具体可以为，将各个基础人脸点云模型中的人脸形状参量与对应的参考权重的乘积之和，确定为参考人脸点云模型中的人脸形状参量，将各个基础人脸点云模型中的人脸表情参量与对应的参考权重的乘积之和，确定为参考人脸点云模型中的人脸表情参量。
步骤3：根据参考转换矩阵以及图像坐标系与相机坐标系之间的转换矩阵，将参考人脸点云模型中的点转换成参考人脸图像中的点。
本步骤中，可以根据以下公式，将参考人脸点云模型中的点转换成参考人脸图像中的点：
(U，V)＝FRT[f(x，y，z)]
Figure BDA0002056478830000141
其中，(U，V)为参考人脸图像中的点，F为图像坐标系与相机坐标系之间的转换矩阵，RT为参考转换矩阵，f(x，y，z)为参考人脸点云模型，ai和bi为第i个基础人脸点云模型对应的参考权重，shape_i为所述第i个基础人脸点云模型中的形状参量，express_i为第i个基础人脸点云模型中的表情参量，N为基础人脸点云模型的总数量，regularization为正则项，用于防止过拟合。f(x，y，z)为拟合后的头部坐标系下的参考人脸点云模型。
其中，regularization的具体形式可以为
Figure BDA0002056478830000142
将参考人脸点云模型中的点转换成参考人脸图像中的点，具体可以包括：将头部坐标系下的参考人脸点云模型f(x，y，z)转换为相机坐标系下的参考人脸点云模型，得到RT[f(x，y，z)]。将相机坐标系下的参考人脸点云模型中的点转换为图像坐标系下的参考人脸图像中的点，得到的参考人脸图像为FRT[f(x，y，z)]。
F与RT均为矩阵，[f(x，y，z)]为矩阵数据。FRT[f(x，y，z)]为矩阵之间的乘积。
步骤4：确定参考人脸图像与人脸图像之间的差异，判断该差异是否小于预设差异阈值，如果不小于，则执行步骤5；如果小于，则执行步骤6。
确定参考人脸图像与人脸图像之间的差异时，可以采用相关的残差公式，确定参考人脸图像与人脸图像之间的残差值，作为参考人脸图像与人脸图像之间差异。
当参考人脸图像由人脸关键点组成时，可以确定人脸图像中对应的人脸关键点，确定参考人脸图像中各个人脸关键点与人脸图像中对应的人脸关键点之间的差异。例如，参考人脸图像由鼻尖点、眼角点等人脸关键点组成，在确定差异时，可以确定人脸图像中的鼻尖点、眼角点等人脸关键点，并确定参考人脸图像中的鼻尖点与人脸图像中的鼻尖点之间的差异，确定参考人脸图像中的眼角点与人脸图像中的眼角点之间的差异等，将各个差异进行融合可以得到参考人脸图像与人脸图像之间的差异。融合可以包括求平均或者求加权平均等。
当该差异是否小于预设差异阈值时，认为参考人脸图像与人脸图像之间的差异足够小，即此时的参考权重近似等于真实值，参考转换矩阵近似等于真实值。
步骤5：根据上述差异更新参考权重和参考转换矩阵，返回执行步骤2。
具体的，在更新参考权重和参考转换矩阵时，可以根据上述差异相对于上一次迭代中的差异的变化方向进行更新。
步骤6：将参考权重确定为能拟合得到真实人脸点云模型的各个目标权重，将参考转换矩阵确定为目标转换矩阵。
综上，本实施例根据参考权重和参考转换矩阵，拟合参考人脸点云模型，再将参考人脸点云模型转换成参考人脸图像，根据参考人脸图像与该人脸图像的差异不断修正参考权重和参考转换矩阵，采用迭代的方式，逐渐使得参考权重和参考转换矩阵接近真值，能够更准确地确定目标权重和目标转换矩阵，进而更准确地确定人脸部位与相机之间的距离信息。
在本发明的另一实施例中，基于上述实施例，步骤S130，根据各个目标权重，对各个基础人脸点云模型进行拟合，得到真实人脸点云模型的步骤，包括：
根据以下公式，对各个基础人脸点云模型进行拟合，得到真实人脸点云模型f真(x，y，z)：
Figure BDA0002056478830000151
其中，Ai和Bi为第i个基础人脸点云模型对应的目标权重。shape_i为第i个基础人脸点云模型中的形状参量，express_i为第i个基础人脸点云模型中的表情参量，N为基础人脸点云模型的总数量，regularization为正则项，用于防止过拟合。其中，正则项的具体形式可以为
Figure BDA0002056478830000152
综上，本实施例提供了对基础人脸点云模型进行拟合的具体实施方式。
在本发明的另一实施例中，基于上述实施例，步骤S140，根据目标转换矩阵，将真实人脸点云模型转换至相机坐标系下，得到目标人脸点云模型的步骤，包括：
根据以下公式，将真实人脸点云模型转换至相机坐标系下，得到目标人脸点云模型F真(X，Y，Z)：
F真(X，Y，Z)＝R0T0[f真(x，y，z)]
其中，R0T0为目标转换矩阵，f真(x，y，z)为真实人脸点云模型。R0T0[f真(x，y，z)]为矩阵之间的乘积。
综上，本实施例提供了将真实人脸点云模型转换至相机坐标系下的具体实施方式。
图3为本发明实施例提供的一种人脸部位测距装置的结构示意图。该装置应用于电子设备。该电子设备可以为普通计算机、服务器或者智能移动终端等设备。该电子设备也可以为安装在车辆中的用于计算处理的设备。该装置实施例与图1所示方法实施例相对应。该装置包括：
获取模块310，被配置为获取相机采集得到的待测距的人脸图像；其中，所述人脸图像所在的二维坐标系为图像坐标系，所述人脸图像对应的真实人脸点云模型所在的三维坐标系为头部坐标系，所述相机所在的三维坐标系为相机坐标系；
第一确定模块320，被配置为根据预先构建的多个基础人脸点云模型，以及所述图像坐标系与所述相机坐标系之间的转换矩阵，确定能拟合得到所述真实人脸点云模型的各个基础人脸点云模型的目标权重，以及所述头部坐标系与所述相机坐标系之间的目标转换矩阵；
拟合模块330，被配置为根据各个目标权重，对各个基础人脸点云模型进行拟合，得到所述真实人脸点云模型；
转换模块340，被配置为根据所述目标转换矩阵，将所述真实人脸点云模型转换至所述相机坐标系下，得到目标人脸点云模型；
第二确定模块350，被配置为根据所述目标人脸点云模型，确定所述人脸图像中指定部位与所述相机之间的距离信息。
在本发明的另一实施例中，基于图3所示实施例，第一确定模块320具体被配置为：
将设置的多个基础人脸点云模型的初始权重，作为各个基础人脸点云模型的参考权重；将设置的初始转换矩阵作为所述头部坐标系与所述相机坐标系之间的参考转换矩阵；
根据各个参考权重，对各个基础人脸点云模型进行拟合，得到参考人脸点云模型；
根据所述参考转换矩阵以及所述图像坐标系与所述相机坐标系之间的转换矩阵，将所述参考人脸点云模型中的点转换成参考人脸图像中的点；
确定所述参考人脸图像与所述人脸图像之间的差异，判断所述差异是否小于预设差异阈值；
如果不小于，则根据所述差异更新所述参考权重和所述参考转换矩阵，返回执行根据各个参考权重，对各个基础人脸点云模型进行拟合，得到参考人脸点云模型的操作；
如果小于，则将所述参考权重确定为能拟合得到所述真实人脸点云模型的各个目标权重，将所述参考转换矩阵确定为目标转换矩阵。
在本发明的另一实施例中，基于图3所示实施例，第一确定模块320，根据所述参考转换矩阵以及所述图像坐标系与所述相机坐标系之间的转换矩阵，将所述参考人脸点云模型对应的数据转换成参考人脸图像时，包括：
根据以下公式，将所述参考人脸点云模型中的点转换成参考人脸图像中的点：
(U，V)＝FRT[f(x，y，z)]
Figure BDA0002056478830000171
其中，所述(U，V)为所述参考人脸图像中的点，所述F为所述图像坐标系与所述相机坐标系之间的转换矩阵，所述RT为所述参考转换矩阵，所述f(x，y，z)为所述参考人脸点云模型，所述ai和bi为第i个基础人脸点云模型对应的参考权重，所述shape_i为所述第i个基础人脸点云模型中的形状参量，所述express_i为所述第i个基础人脸点云模型中的表情参量，所述N为所述基础人脸点云模型的总数量，所述regularization为正则项。
在本发明的另一实施例中，基于图3所示实施例，拟合模块330具体被配置为：
根据以下公式，对各个基础人脸点云模型进行拟合，得到所述真实人脸点云模型f真(x，y，z)：
Figure BDA0002056478830000181
其中，所述Ai和Bi为第i个基础人脸点云模型对应的目标权重。
在本发明的另一实施例中，基于图3所示实施例，转换模块340具体被配置为：
根据以下公式，将所述真实人脸点云模型转换至所述相机坐标系下，得到目标人脸点云模型F真(X，Y，Z)：
F真(X，Y，Z)＝R0T0[f真(x，y，z)]
其中，所述R0T0为所述目标转换矩阵，所述f真(x，y，z)为所述真实人脸点云模型。
在本发明的另一实施例中，基于图3所示实施例，拟合模块330，根据各个目标权重，对各个基础人脸点云模型进行拟合，得到所述真实人脸点云模型时，包括：
对各个基础人脸点云模型与对应的目标权重的乘积求和，得到所述真实人脸点云模型。
在本发明的另一实施例中，基于图3所示实施例，第二确定模块350，具体被配置为：
根据预设的人脸图像中各个点与该人脸图像对应的人脸点云模型中各个点之间的对应关系，确定所述人脸图像中指定部位对应的所述目标人脸点云模型中的点，根据确定的点的坐标，确定所述人脸图像中指定部位与所述相机之间的距离信息。
上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。
图4为本发明实施例提供的一种车载终端的结构示意图。该装置包括：处理器410和相机420；处理器410包括获取模块11、第一确定模块12、拟合模块13、转换模块14和第二确定模块15；
获取模块11，被配置为获取相机采集得到的待测距的人脸图像；其中，所述人脸图像所在的二维坐标系为图像坐标系，所述人脸图像对应的真实人脸点云模型所在的三维坐标系为头部坐标系，所述相机所在的三维坐标系为相机坐标系；
第一确定模块12，被配置为根据预先构建的多个基础人脸点云模型，以及所述图像坐标系与所述相机坐标系之间的转换矩阵，确定能拟合得到所述真实人脸点云模型的各个基础人脸点云模型的目标权重，以及所述头部坐标系与所述相机坐标系之间的目标转换矩阵；
拟合模块13，被配置为根据各个目标权重，对各个基础人脸点云模型进行拟合，得到所述真实人脸点云模型；
转换模块14，被配置为根据所述目标转换矩阵，将所述真实人脸点云模型转换至所述相机坐标系下，得到目标人脸点云模型；
第二确定模块15，被配置为根据所述目标人脸点云模型，确定所述人脸图像中指定部位与所述相机之间的距离信息。
在本发明的另一实施例中，基于图4所示实施例，第一确定模块12，具体被配置为：
将设置的多个基础人脸点云模型的初始权重，作为各个基础人脸点云模型的参考权重；将设置的初始转换矩阵作为所述头部坐标系与所述相机坐标系之间的参考转换矩阵；
根据各个参考权重，对各个基础人脸点云模型进行拟合，得到参考人脸点云模型；
根据所述参考转换矩阵以及所述图像坐标系与所述相机坐标系之间的转换矩阵，将所述参考人脸点云模型中的点转换成参考人脸图像中的点；
确定所述参考人脸图像与所述人脸图像之间的差异，判断所述差异是否小于预设差异阈值；
如果不小于，则根据所述差异更新所述参考权重和所述参考转换矩阵，返回执行根据各个参考权重，对各个基础人脸点云模型进行拟合，得到参考人脸点云模型的操作；
如果小于，则将所述参考权重确定为能拟合得到所述真实人脸点云模型的各个目标权重，将所述参考转换矩阵确定为目标转换矩阵。
在本发明的另一实施例中，基于图4所示实施例，第一确定模块12，根据所述参考转换矩阵以及所述图像坐标系与所述相机坐标系之间的转换矩阵，将所述参考人脸点云模型对应的数据转换成参考人脸图像时，包括：
根据以下公式，将所述参考人脸点云模型中的点转换成参考人脸图像中的点：
(U，V)＝FRT[f(x，y，z)]
Figure BDA0002056478830000201
其中，所述(U，V)为所述参考人脸图像中的点，所述F为所述图像坐标系与所述相机坐标系之间的转换矩阵，所述RT为所述参考转换矩阵，所述f(x，y，z)为所述参考人脸点云模型，所述ai和bi为第i个基础人脸点云模型对应的参考权重，所述shape_i为所述第i个基础人脸点云模型中的形状参量，所述express_i为所述第i个基础人脸点云模型中的表情参量，所述N为所述基础人脸点云模型的总数量，所述regularization为正则项。
在本发明的另一实施例中，基于图4所示实施例，拟合模块13，具体被配置为：
根据以下公式，对各个基础人脸点云模型进行拟合，得到所述真实人脸点云模型f真(x，y，z)：
Figure BDA0002056478830000202
其中，所述Ai和Bi为第i个基础人脸点云模型对应的目标权重。
在本发明的另一实施例中，基于图4所示实施例，转换模块14具体被配置为：
根据以下公式，将所述真实人脸点云模型转换至所述相机坐标系下，得到目标人脸点云模型F真(X，Y，Z)：
F真(X，Y，Z)＝R0T0[f真(x，y，z)]
其中，所述R0T0为所述目标转换矩阵，所述f真(x，y，z)为所述真实人脸点云模型。
在本发明的另一实施例中，基于图4所示实施例，拟合模块13，根据各个目标权重，对各个基础人脸点云模型进行拟合，得到所述真实人脸点云模型时，包括：
对各个基础人脸点云模型与对应的目标权重的乘积求和，得到所述真实人脸点云模型。
在本发明的另一实施例中，基于图4所示实施例，第二确定模块15，具体被配置为：
根据预设的人脸图像中各个点与该人脸图像对应的人脸点云模型中各个点之间的对应关系，确定所述人脸图像中指定部位对应的所述目标人脸点云模型中的点，根据确定的点的坐标，确定所述人脸图像中指定部位与所述相机之间的距离信息。
该终端实施例与图1所示方法实施例是基于同一发明构思得到的实施例，相关之处可以相互参照。上述终端实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (7)

1.一种人脸部位测距方法，其特征在于，包括：
获取相机采集得到的待测距的人脸图像；其中，所述人脸图像所在的二维坐标系为图像坐标系，所述人脸图像对应的真实人脸点云模型所在的三维坐标系为头部坐标系，所述相机所在的三维坐标系为相机坐标系；
根据预先构建的多个基础人脸点云模型，以及所述图像坐标系与所述相机坐标系之间的转换矩阵，确定能拟合得到所述真实人脸点云模型的各个基础人脸点云模型的目标权重，以及所述头部坐标系与所述相机坐标系之间的目标转换矩阵；
根据各个目标权重，对各个基础人脸点云模型进行拟合，得到所述真实人脸点云模型；
根据所述目标转换矩阵，将所述真实人脸点云模型转换至所述相机坐标系下，得到目标人脸点云模型；
根据所述目标人脸点云模型，确定所述人脸图像中指定部位与所述相机之间的距离信息；
所述根据预先构建的多个基础人脸点云模型，以及所述图像坐标系与所述相机坐标系之间的转换矩阵，确定能拟合得到所述真实人脸点云模型的各个基础人脸点云模型的目标权重，以及所述头部坐标系与所述相机坐标系之间的真实转换矩阵的步骤，包括：
将设置的多个基础人脸点云模型的初始权重，作为各个基础人脸点云模型的参考权重；将设置的初始转换矩阵作为所述头部坐标系与所述相机坐标系之间的参考转换矩阵；
根据各个参考权重，对各个基础人脸点云模型进行拟合，得到参考人脸点云模型；
根据所述参考转换矩阵以及所述图像坐标系与所述相机坐标系之间的转换矩阵，将所述参考人脸点云模型中的点转换成参考人脸图像中的点；
确定所述参考人脸图像与所述人脸图像之间的差异，判断所述差异是否小于预设差异阈值；
如果不小于，则根据所述差异更新所述参考权重和所述参考转换矩阵，返回执行所述根据各个参考权重，对各个基础人脸点云模型进行拟合，得到参考人脸点云模型的步骤；
如果小于，则将所述参考权重确定为能拟合得到所述真实人脸点云模型的各个目标权重，将所述参考转换矩阵确定为目标转换矩阵；
所述根据所述参考转换矩阵以及所述图像坐标系与所述相机坐标系之间的转换矩阵，将所述参考人脸点云模型对应的数据转换成参考人脸图像的步骤，包括：
根据以下公式，将所述参考人脸点云模型中的点转换成参考人脸图像中的点：
(U,V)＝FRT[f(x，y，z)]
Figure FDA0003622865650000021
其中，所述(U,V)为所述参考人脸图像中的点，所述F为所述图像坐标系与所述相机坐标系之间的转换矩阵，所述RT为所述参考转换矩阵，所述f(x，y，z)为所述参考人脸点云模型，所述ai和bi为第i个基础人脸点云模型对应的参考权重，所述shape_i为所述第i个基础人脸点云模型中的形状参量，所述express_i为所述第i个基础人脸点云模型中的表情参量，所述N为所述基础人脸点云模型的总数量，所述regularization为正则项。
2.如权利要求1所述的方法，其特征在于，所述根据各个目标权重，对各个基础人脸点云模型进行拟合，得到所述真实人脸点云模型的步骤，包括：
根据以下公式，对各个基础人脸点云模型进行拟合，得到所述真实人脸点云模型f真(x，y，z)：
Figure FDA0003622865650000022
其中，所述Ai和Bi为第i个基础人脸点云模型对应的目标权重。
3.如权利要求2所述的方法，其特征在于，所述根据所述目标转换矩阵，将所述真实人脸点云模型转换至所述相机坐标系下，得到目标人脸点云模型的步骤，包括：
根据以下公式，将所述真实人脸点云模型转换至所述相机坐标系下，得到目标人脸点云模型F真(X，Y，Z)：
F真(X，Y，Z)＝R0T0[f真(x，y，z)]
其中，所述R0T0为所述目标转换矩阵，所述f真(x，y，z)为所述真实人脸点云模型。
4.如权利要求1所述的方法，其特征在于，所述根据各个目标权重，对各个基础人脸点云模型进行拟合，得到所述真实人脸点云模型的步骤，包括：
对各个基础人脸点云模型与对应的目标权重的乘积求和，得到所述真实人脸点云模型。
5.如权利要求1所述的方法，其特征在于，所述根据所述目标人脸点云模型，确定所述人脸图像中指定部位与所述相机之间的距离信息的步骤，包括：
根据预设的人脸图像中各个点与该人脸图像对应的人脸点云模型中各个点之间的对应关系，确定所述人脸图像中指定部位对应的所述目标人脸点云模型中的点，根据确定的点的坐标，确定所述人脸图像中指定部位与所述相机之间的距离信息。
6.一种人脸部位测距装置，其特征在于，包括：
获取模块，被配置为获取相机采集得到的待测距的人脸图像；其中，所述人脸图像所在的二维坐标系为图像坐标系，所述人脸图像对应的真实人脸点云模型所在的三维坐标系为头部坐标系，所述相机所在的三维坐标系为相机坐标系；
第一确定模块，被配置为根据预先构建的多个基础人脸点云模型，以及所述图像坐标系与所述相机坐标系之间的转换矩阵，确定能拟合得到所述真实人脸点云模型的各个基础人脸点云模型的目标权重，以及所述头部坐标系与所述相机坐标系之间的目标转换矩阵；
拟合模块，被配置为根据各个目标权重，对各个基础人脸点云模型进行拟合，得到所述真实人脸点云模型；
转换模块，被配置为根据所述目标转换矩阵，将所述真实人脸点云模型转换至所述相机坐标系下，得到目标人脸点云模型；
第二确定模块，被配置为根据所述目标人脸点云模型，确定所述人脸图像中指定部位与所述相机之间的距离信息；
所述第一确定模块，具体被配置为：
将设置的多个基础人脸点云模型的初始权重，作为各个基础人脸点云模型的参考权重；将设置的初始转换矩阵作为所述头部坐标系与所述相机坐标系之间的参考转换矩阵；
根据各个参考权重，对各个基础人脸点云模型进行拟合，得到参考人脸点云模型；
根据所述参考转换矩阵以及所述图像坐标系与所述相机坐标系之间的转换矩阵，将所述参考人脸点云模型中的点转换成参考人脸图像中的点；
确定所述参考人脸图像与所述人脸图像之间的差异，判断所述差异是否小于预设差异阈值；
如果不小于，则根据所述差异更新所述参考权重和所述参考转换矩阵，返回执行根据各个参考权重，对各个基础人脸点云模型进行拟合，得到参考人脸点云模型的操作；
如果小于，则将所述参考权重确定为能拟合得到所述真实人脸点云模型的各个目标权重，将所述参考转换矩阵确定为目标转换矩阵；
所述根据所述参考转换矩阵以及所述图像坐标系与所述相机坐标系之间的转换矩阵，将所述参考人脸点云模型对应的数据转换成参考人脸图像，包括：
根据以下公式，将所述参考人脸点云模型中的点转换成参考人脸图像中的点：
(U,V)＝FRT[f(x，y，z)]
Figure FDA0003622865650000041
其中，所述(U,V)为所述参考人脸图像中的点，所述F为所述图像坐标系与所述相机坐标系之间的转换矩阵，所述RT为所述参考转换矩阵，所述f(x，y，z)为所述参考人脸点云模型，所述ai和bi为第i个基础人脸点云模型对应的参考权重，所述shape_i为所述第i个基础人脸点云模型中的形状参量，所述express_i为所述第i个基础人脸点云模型中的表情参量，所述N为所述基础人脸点云模型的总数量，所述regularization为正则项。
7.一种车载终端，其特征在于，包括：处理器和相机；所述处理器包括获取模块、第一确定模块、拟合模块、转换模块和第二确定模块；
所述获取模块，被配置为获取相机采集得到的待测距的人脸图像；其中，所述人脸图像所在的二维坐标系为图像坐标系，所述人脸图像对应的真实人脸点云模型所在的三维坐标系为头部坐标系，所述相机所在的三维坐标系为相机坐标系；
所述第一确定模块，被配置为根据预先构建的多个基础人脸点云模型，以及所述图像坐标系与所述相机坐标系之间的转换矩阵，确定能拟合得到所述真实人脸点云模型的各个基础人脸点云模型的目标权重，以及所述头部坐标系与所述相机坐标系之间的目标转换矩阵；
所述拟合模块，被配置为根据各个目标权重，对各个基础人脸点云模型进行拟合，得到所述真实人脸点云模型；
所述转换模块，被配置为根据所述目标转换矩阵，将所述真实人脸点云模型转换至所述相机坐标系下，得到目标人脸点云模型；
所述第二确定模块，被配置为根据所述目标人脸点云模型，确定所述人脸图像中指定部位与所述相机之间的距离信息；
所述第一确定模块，具体被配置为：
将设置的多个基础人脸点云模型的初始权重，作为各个基础人脸点云模型的参考权重；将设置的初始转换矩阵作为所述头部坐标系与所述相机坐标系之间的参考转换矩阵；
根据各个参考权重，对各个基础人脸点云模型进行拟合，得到参考人脸点云模型；
根据所述参考转换矩阵以及所述图像坐标系与所述相机坐标系之间的转换矩阵，将所述参考人脸点云模型中的点转换成参考人脸图像中的点；
确定所述参考人脸图像与所述人脸图像之间的差异，判断所述差异是否小于预设差异阈值；
如果不小于，则根据所述差异更新所述参考权重和所述参考转换矩阵，返回执行根据各个参考权重，对各个基础人脸点云模型进行拟合，得到参考人脸点云模型的操作；
如果小于，则将所述参考权重确定为能拟合得到所述真实人脸点云模型的各个目标权重，将所述参考转换矩阵确定为目标转换矩阵；
所述根据所述参考转换矩阵以及所述图像坐标系与所述相机坐标系之间的转换矩阵，将所述参考人脸点云模型对应的数据转换成参考人脸图像，包括：
根据以下公式，将所述参考人脸点云模型中的点转换成参考人脸图像中的点：
(U,V)＝FRT[f(x，y，z)]
Figure FDA0003622865650000061
其中，所述(U,V)为所述参考人脸图像中的点，所述F为所述图像坐标系与所述相机坐标系之间的转换矩阵，所述RT为所述参考转换矩阵，所述f(x，y，z)为所述参考人脸点云模型，所述ai和bi为第i个基础人脸点云模型对应的参考权重，所述shape_i为所述第i个基础人脸点云模型中的形状参量，所述express_i为所述第i个基础人脸点云模型中的表情参量，所述N为所述基础人脸点云模型的总数量，所述regularization为正则项。
CN201910390974.8A 2019-05-11 2019-05-11 一种人脸部位测距方法、装置及车载终端 Active CN110956066B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910390974.8A CN110956066B (zh) 2019-05-11 2019-05-11 一种人脸部位测距方法、装置及车载终端
PCT/CN2019/108070 WO2020228224A1 (zh) 2019-05-11 2019-09-26 一种人脸部位测距方法、装置及车载终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910390974.8A CN110956066B (zh) 2019-05-11 2019-05-11 一种人脸部位测距方法、装置及车载终端

Publications (2)

Publication Number Publication Date
CN110956066A CN110956066A (zh) 2020-04-03
CN110956066B true CN110956066B (zh) 2022-06-14

Family

ID=69976179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910390974.8A Active CN110956066B (zh) 2019-05-11 2019-05-11 一种人脸部位测距方法、装置及车载终端

Country Status (2)

Country Link
CN (1) CN110956066B (zh)
WO (1) WO2020228224A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111780673B (zh) * 2020-06-17 2022-05-31 杭州海康威视数字技术股份有限公司 一种测距方法、装置及设备
CN113095274B (zh) * 2021-04-26 2024-02-09 中山大学 一种视线估计方法、系统、装置及存储介质
CN113610051B (zh) * 2021-08-26 2023-11-17 合众新能源汽车股份有限公司 基于人脸注册的人脸测距方法、设备和计算机可读介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107230225A (zh) * 2017-04-25 2017-10-03 华为技术有限公司 三维重建的方法和装置
CN108615016A (zh) * 2018-04-28 2018-10-02 北京华捷艾米科技有限公司 人脸关键点检测方法和人脸关键点检测装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101236475B1 (ko) * 2009-04-14 2013-02-22 한국전자통신연구원 얼굴 검출 장치 및 이를 이용한 거리 측정 방법
CN103793719A (zh) * 2014-01-26 2014-05-14 深圳大学 一种基于人眼定位的单目测距方法和系统
CN106910102A (zh) * 2016-07-25 2017-06-30 湖南拓视觉信息技术有限公司 眼镜虚拟试戴方法及装置
CN107292921B (zh) * 2017-06-19 2020-02-04 电子科技大学 一种基于kinect相机的快速三维重建方法
CN109443303A (zh) * 2018-09-14 2019-03-08 杭州宇泛智能科技有限公司 基于图像采集的检测人脸与摄像头距离的方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107230225A (zh) * 2017-04-25 2017-10-03 华为技术有限公司 三维重建的方法和装置
CN108615016A (zh) * 2018-04-28 2018-10-02 北京华捷艾米科技有限公司 人脸关键点检测方法和人脸关键点检测装置

Also Published As

Publication number Publication date
WO2020228224A1 (zh) 2020-11-19
CN110956066A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
CN110956066B (zh) 一种人脸部位测距方法、装置及车载终端
JP5812599B2 (ja) 情報処理方法及びその装置
CN110956065B (zh) 一种用于模型训练的人脸图像处理方法及装置
CN109523595B (zh) 一种建筑工程直线棱角间距视觉测量方法
CN110456330B (zh) 一种相机与激光雷达之间外参无目标自动标定方法及系统
EP4383193A1 (en) Line-of-sight direction tracking method and apparatus
CN111445531B (zh) 一种多目相机导航方法、装置、设备及存储介质
CN113366491B (zh) 眼球追踪方法、装置及存储介质
JP2016173313A (ja) 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム
US11181978B2 (en) System and method for gaze estimation
JP2021531601A (ja) ニューラルネットワーク訓練、視線検出方法及び装置並びに電子機器
CN114862973A (zh) 基于固定点位的空间定位方法、装置、设备及存储介质
CN111854620A (zh) 基于单目相机的实际瞳距测定方法、装置以及设备
CN113034605B (zh) 目标对象的位置确定方法、装置、电子设备及存储介质
CN115563732A (zh) 基于虚拟现实的喷涂轨迹仿真优化方法及装置
CN113344796A (zh) 一种图像处理方法、装置、设备及存储介质
EP4004488A1 (en) Improvements in or relating to photogrammetry
CN110992291A (zh) 基于三目视觉的测距方法、系统及存储介质
CN112800966B (zh) 一种视线的追踪方法及电子设备
EP4054187A1 (en) Calibration method of a portable electronic device
CN115131433A (zh) 一种非合作目标位姿的处理方法、装置及电子设备
CN114399800A (zh) 人脸姿态估计方法及装置
CN116503387B (zh) 图像检测方法、装置、设备、系统及可读存储介质
CN111223139A (zh) 目标定位方法及终端设备
CN110530336B (zh) 对称高度差测量方法、装置、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211129

Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province

Applicant after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province

Applicant before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant