CN109146962A - 检测脸部角度的方法、装置、存储介质和终端设备 - Google Patents

检测脸部角度的方法、装置、存储介质和终端设备 Download PDF

Info

Publication number
CN109146962A
CN109146962A CN201811044585.1A CN201811044585A CN109146962A CN 109146962 A CN109146962 A CN 109146962A CN 201811044585 A CN201811044585 A CN 201811044585A CN 109146962 A CN109146962 A CN 109146962A
Authority
CN
China
Prior art keywords
angle
face
pixel
submodel
dimensional geometry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811044585.1A
Other languages
English (en)
Other versions
CN109146962B (zh
Inventor
赵彤彤
燕飞龙
王亮
马彧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811044585.1A priority Critical patent/CN109146962B/zh
Publication of CN109146962A publication Critical patent/CN109146962A/zh
Application granted granted Critical
Publication of CN109146962B publication Critical patent/CN109146962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness

Abstract

本发明提出一种检测脸部角度的方法、装置、存储介质和终端设备，其中，所述方法包括：获取检测对象的脸部图像；利用二维几何图形圈住所述脸部图像的脸部，获取所述脸部的像素点的像素信息以及各像素点的位置；根据各所述像素点在所述二维几何图形的位置，以及所述二维几何图形与三维几何模型的几何映射关系，确定各所述像素点在所述三维几何模型的位置；根据各所述像素点的像素信息、各所述像素点在所述二维几何图形的位置以及在所述三维几何模型的位置，确定所述检测对象的脸部角度。采用本发明，提高检测脸部角度的准确程度。

Description

检测脸部角度的方法、装置、存储介质和终端设备
技术领域
本发明涉及计算机技术领域，尤其涉及一种检测脸部角度的方法、装置、存储介质和终端设备。
背景技术
近几年来，随着车辆的普及，交通安全越来越成为大家关注的安全问题之一。如何避免交通事故，除了遵守交通秩序等客观要求外，人为的主观因素也是非常重要的。在人为的主观因素中，较为重要的就是驾驶员的注意力和驾驶姿势。因此，如何避免因为驾驶员注意力不集中而导致车祸发生就显得尤为关键。
在驾驶过程，可以通过检测驾驶员的视线区域的变化来研究驾驶员的注意力变化。传统方案是利用深度学习的方法，从二维图像中获取脸部的检测框，通过检测框来获取脸部的特征。即，采用一个矩形框将二维图像中的脸部圈出来。但是，此矩形框是一种二维的矩形框，难以有效地从脸部图像中获取脸部角度的转向信息(特征)。进而，难以准确地确定驾驶员的注意变化。
发明内容
本发明实施例提供一种检测脸部角度的方法、装置、存储介质和终端设备，以解决或缓解现有技术中的以上一个或多个技术问题。
第一方面，本发明实施例提供了一种检测脸部角度的方法，包括：
获取检测对象的脸部图像；
利用二维几何图形圈住所述脸部图像的脸部，获取所述脸部的像素点的像素信息以及各像素点的位置；
根据各所述像素点在所述二维几何图形的位置，以及所述二维几何图形与三维几何模型的几何映射关系，确定各所述像素点在所述三维几何模型的位置；
根据各所述像素点的像素信息、各所述像素点在所述二维几何图形的位置以及在所述三维几何模型的位置，确定所述检测对象的脸部角度。
结合第一方面，在第一方面的第一种实施方式中，根据各所述像素点的数值、各所述像素点在所述二维几何图形的位置以及在所述三维几何模型的位置，确定所述检测对象的脸部角度，包括：
根据所述二维向何图形的中心像素的像素信息、所述二维几何图形的中心点相对于所述脸部图像的位置以及拍摄所述脸部图像的相机拍摄参数，确定所述相机到脸部中心的辐射角；
根据各所述像素点的数值和各所述像素点在所述三维几何模型的位置，确定所述脸部的航向角；
对所述辐射角和所述航向角求和，获得所述检测对象的脸部角度。
结合第一方面的第一种实施方式，在第一方面的第二种实施方式中，根据各所述像素点的数值和各所述像素点在所述三维几何模型的位置，确定所述脸部的航向角，包括：
将所述三维几何模型划分成多个三维几何子模型；其中，相邻的三维几何子模型具有重叠的区域；
根据各所述三维几何子模型的各像素点的数据，预测各所述三维几何子模型对应的置信度和角度差；其中，所述置信度用于描述脸部的航向角方向落在所述三维几何子模型的可信程度，所述角度差用于描述所述航向角的方向到所述三维几何子模型的中心方向的偏差；以及
根据各所述三维几何子模型对应的置信度和角度差，计算所述航向角。
结合第一方面的二种实施方式，在第一方面的第三种实施方式中，在所述预测过程采用损失函数确定预测结果，所述损失函数包括：
L＝α*Ldims+Lθ；
Lθ＝Lconf+ω*Llocal；
其中，L表示预测过程的总损失，Ldims表示各所述三维几何子模型的尺寸回归损失，Lθ表示预测各所述三维几何子模型的角度差的方向预测损失，Lconf表示各所述三维几何子模型的置信度的分类损失，Llocal表示预测各所述三维几何子模型的角度差的的损失；α和ω均表示预设系数；n表示所述三维几何子模型的总数量，D*表示各所述三维几何子模型的真实尺寸，表示各所述三维几何模型所包含的脸部的平均尺寸，δ表示残差；θ*表示各所述三维几何子模型相对于地面坐标的角度，ci表示第i个三维几何子模型的中心角度，Δθi表示各所述三维几何子模型的角度差。
结合第一方面的三种实施方式，在第一方面的第四种实施方式中，在所述预测过程采用损失函数确定预测结果，包括：
当所述总损失的损失误差值低于预设的误差阈值时，输出当前预测的各所述三维几何子模型对应的置信度和角度差。
结合第一方面或其任一种实施方式，在第一方面的第五种实施方式中，所述二维几何图形包括矩形，所述三维几何模型包括平行六面体，所述平行六面体的六个平面为矩形。
结合第一方面的第五种实施方式，在第一方面的第六种实施方式中，所述方法还包括：
根据所述矩形的尺寸、所述平行六面体的尺寸、所述矩形中的脸部相对相机的位姿以及拍摄所述脸部图像的相机拍摄参数，建立所述矩形与所述平行六面体的映射关系；其中，所述矩形的中心映射在所述平行六面体的中心；所述平行六面体的每一个棱角至少能映射在所述所述矩形的一个边上。
第二方面，本发明实施例提供一种检测脸部角度的装置，包括：
脸部图像获取模块，用于获取检测对象的脸部图像；
二维数据获取模块，用于利用二维几何图形圈住所述脸部图像的脸部，获取所述脸部的像素点的像素信息以及各像素点的位置；
三维数据映射模块，用于根据各所述像素点在所述二维几何图形的位置，以及所述二维几何图形与三维几何模型的几何映射关系，确定各所述像素点在所述三维几何模型的位置；以及
脸部角度确定模块，用于根据各所述像素点的像素信息、各所述像素点在所述二维几何图形的位置以及在所述三维几何模型的位置，确定所述检测对象的脸部角度。
结合第二方面，在第二方面的第一种实施方式中，所述脸部角度确定模块包括：
辐射角确定单元，用于根据所述二维向何图形的中心像素的像素信息、所述二维几何图形的中心点相对于所述脸部图像的位置以及拍摄所述脸部图像的相机拍摄参数，确定所述相机到脸部中心的辐射角；
航向角确定单元，用于根据各所述像素点的数值和各所述像素点在所述三维几何模型的位置，确定所述脸部的航向角；
脸部角度计算单元，用于对所述辐射角和所述航向角求和，获得所述检测对象的脸部角度。
结合第二方面的第一种实施方式，在第二方面的第二种实施方式中，所述航向角确定单元，包括：
模型划分单元，用于将所述三维几何模型划分成多个三维几何子模型；其中，相邻的三维几何子模型具有重叠的区域；
预测单元，用于根据各所述三维几何子模型的各像素点的数据，预测各所述三维几何子模型对应的置信度和角度差；其中，所述置信度用于描述脸部的航向角方向落在所述三维几何子模型的可信程度，所述角度差用于描述所述航向角的方向到所述三维几何子模型的中心方向的偏差；
航向角计算单元，用于根据各所述三维几何子模型对应的置信度和角度差，计算所述航向角。
所述装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中，检测脸部角度的结构中包括处理器和存储器，所述存储器用于检测脸部角度的装置执行上述检测脸部角度的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述检测脸部角度的装置还可以包括通信接口，用于检测脸部角度的装置与其他设备或通信网络通信。
第三方面，本发明实施例还提供一种计算机可读存储介质，用于检测脸部角度的装置所用的计算机软件指令，其中包括用于执行上述检测脸部角度的方法所涉及的程序。
上述技术方案中的任意一个技术方案具有如下优点或有益效果：
本发明实施例采用二维几何图形圈脸部图像中的脸部，从中获取脸部的像素点以及各像素点的位置，然后，基于二维几何图像与三维几何模型的几何映射关系，可以得到三维脸部数据，不需要建立三维脸部模型来获取三维脸部数据，可以提高三维脸部数据的获取效率。另一方面，利用三维脸部数据确定脸部图像的脸部角度，相比基于二维脸部数据来获取脸部角度，更为准确。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。
图1是本发明提供的检测脸部角度的方法的一个实施例的流程示意图；
图2是本发明提供的确认脸部角度的过程的一个实施例的流程示意图；
图3是本发明提供的预测航向角的神经网络的一个示意图；
图4是本发明提供的确定脸部航向角的过程的一个实施例的流程示意图；
图5是本发明提供的检测脸部角度的装置的一个实施例的结构示意图；
图6是本发明提供的终端设备的一个实施例的结构示意图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
请参阅图1，本发明实施例提供了一种检测脸部角度的方法。本实施例可以应用在人机交互的领域中：例如，在用户浏览电子书、视频、网上商店等情况下获取用户的兴趣。本实施例也可以应用于在汽车、轮船、飞机等交通工具中驾驶员在驾驶时的注意力检测场景中。本实施例并不限于上述举例的应用场景，只要涉及头部姿态均可应用本实施例。此外，本实施例还可以将检测对象为人替换为具体的物体，用于检测物体的朝向角度。本实施例包括步骤S100至步骤S400，具体如下：
S100，获取检测对象的脸部图像。
在本实施例中，检测对象可以包括真实人物、动物、人物模型、动物模型等，甚至还可以包括物体，例如卡通公仔、自行车、汽车、建筑物等。脸部图像可以包括检测对象的上半身图像或者仅仅是包含脸部的图像。图像可以包括彩色图像、黑白图像等。
S200，利用二维几何图形圈住脸部图像的脸部，获取脸部的像素点的像素信息以及各像素点的位置。
在本实施例中，二维几何图形可以包括圆形、矩形、六边形等。例如，可以采用矩形圈住脸部图像的脸部整体。
示例性地，可以采用卷积神经网络(Convolutional Neural Network,CNN)对脸部图像进行卷积，从中获取到矩形框内的脸部的各像素点的数据，包括各像素点的像素信息和位置。脸部图像可以是位图图像。将图像分割成若干个小方格，每个小方格称为一个像素点。则由这些像素点排列组成的栅格，被称为“光栅”。计算机根据这些像素点的颜色、亮度等像素信息以及位置信息，可以将图像呈现于显示器。
S300，根据各像素点在二维几何图形的位置，以及二维几何图形与三维几何模型的几何映射关系，确定各像素点在三维几何模型的位置。
三维几何模型可以包括球体、立体矩形框等。例如，在二维几何图形为矩形(二维矩形框)时，可以选择三维矩形框作为三维几何模型。
示例性地，以下将描述建立二维矩形框(矩形)和三维矩形框(平行六面体，每个面相互垂直，均为矩形)的映射关系的具体过程：
根据二维矩形框的尺寸、三维矩形框的尺寸、二维矩形框中的脸部相对相机的位姿以及拍摄脸部图像的相机拍摄参数，建立二维矩形框与三维矩形框的映射关系；其中，二维矩形框的中心映射在三维矩形框的中心；三维矩形框的每一个棱角至少能映射在二维矩形框的一个边上。可以通过函数的方式进行示意：
其中，f(a)表示基于二维矩形框的二维坐标系各像素点a的坐标位置；表示基于三维矩形框的立体坐标系各像素点a的坐标位置。K表示拍摄脸部图像的相机拍摄参数；R表示旋转矩阵；T表示平移向量。至于如何确定K、R、T三者的具体参数，本实施施可以通过跟踪二维脸部图像与三维脸部图像的变化来确定。
需要说明的是，旋转矩阵R包括方位角θ、俯仰角λ和翻滚角μ上的转换。平移向量T包括x、y、z轴三个方向的平移。需要确定的长宽高的具体尺寸。
示例性地，如果三维矩形框的中心点位置为T＝[tx,ty,tz]T，长宽高尺寸为：[dx,dy,dz]。并且由于在人脸检测时脸部运动的过程一般没有涉及俯仰角λ和翻滚角μ，因此可以仅提供方位角θ来表示旋转矩阵R。
假设二维的脸部图像中的脸部中心位置为三维矩形框的中心，则三维矩形框的8个棱角可以表示为： 为了使二维矩形框能够与三维矩形框形成约束，需要三维矩形框的每一个棱角至少能映射到二维矩形框上的一个边上。
例如：和二维矩形框左边的最小点amin互相映射，则依据映射关系的约束，可以得到：amin＝(K[R/T][dx/2,dy/2,dz/2]T)f。其中，(.)f表示相对于二维坐标系。
S400，根据各像素点的像素信息、各像素点在二维几何图形的位置以及在三维几何模型的位置，确定检测对象的脸部角度。
在本实施例中，脸部角度可以包括方位角θ、俯仰角λ和翻滚角μ三者中的至少一者。例如，在检测对象为驾驶员时，驾驶过程一般没有涉及俯仰角λ和翻滚角μ的运动，因此可以仅考虑方位角θ的计算。如果涉及到俯仰角λ和翻滚角μ的确定，那么可以类似方位角θ的计算原理，从中确定这两个角。
在本实施例中，步骤S400需要考虑的信息包括：
1、二维几何图像和二维几何图形在脸部图像中的位置。
2、假设仅考虑方位角θ。因为全局方位角θ存在模糊的情况(即脸部的航向角θlocal和相机到脸部中心的辐射角θray都变化时，它们和θ之间不发生变化)，所以考虑回归物体航向角θlocal。
因此，在一种可能的实现方式中，上述步骤S400，如图2所示，在确认脸部角度的过程中，可以包括：
S410，根据二维向何图形的中心像素的像素信息、二维几何图形的中心点相对于脸部图像的位置以及拍摄脸部图像的相机拍摄参数，确定相机到脸部中心的辐射角。其中，此辐射角的计算过程较为常见，在此不再一一赘述。
S420，根据各像素点的数值和各像素点在三维几何模型的位置，确定脸部的航向角。
S430，对所述辐射角和所述航向角求和，获得所述检测对象的脸部角度。其中，脸部角度即为全局方位角。
在一种可能的实现方式中，对于全局方位角θ的计算，可以采用MultiBin的方式进行预测。如图3所示，MultiBin是卷积神经网络的一种变形。可以将方向角划分成由n个互相有重叠区域的三维几何子模型进行预测，例如三维矩形框。卷积神经网络可以用于估计航向角的方向落在各三维几何子模型的可信程度和航向角的方向到三维几何子模型的中心方向的偏差。例如，对于第i个三维几何子模型，估计到的偏差值可以表示为：cos(Δθi),sin(Δθi)。
因此，上述步骤S420，如图4所示，在确定脸部航向角的过程中，可以包括：
S422，将三维几何模型划分成多个三维几何子模型；其中，相邻的三维几何子模型具有重叠的区域。如此设置可以使得神经网络在预测时，可以考虑相邻三维几何子模型之间的角度关系，可以预测过程中进行相互校准。
S424，根据各三维几何子模型的脸部数据，预测各三维几何子模型对应的置信度和角度差；其中，置信度用于描述脸部的航向角方向落在三维几何子模型的可信程度，角度差用于描述航向角的方向到三维几何子模型的中心方向的偏差。
具体地，在预测过程采用损失函数确定预测结果，损失函数包括：
L＝α*Ldims+Lθ；
Lθ＝Lconf+ω*Llocal；
其中，L表示预测过程的总损失，Ldims表示各三维几何子模型的尺寸回归损失，Lθ表示预测各三维几何子模型的角度差的方向预测损失，Lconf表示各三维几何子模型的置信度的分类损失，Llocal表示预测各三维几何子模型的角度差的的损失；α和ω均表示预设系数；n表示三维几何子模型的总数量，D*表示各三维几何子模型的真实尺寸，表示各三维几何模型所包含的脸部的平均尺寸，δ表示残差；θ*表示各三维几何子模型相对于地面坐标的角度，ci表示第i个三维几何子模型的中心角度，Δθi表示各三维几何子模型的角度差。
需要说明的是，Llocal可以试图最小化覆盖航向角在每个三维几何子模型的估计角度和航向角之间的差异的损失，其中，相邻的三维几何子模型具有重叠的覆盖范围。在定位损失Llocal的过程中，所有覆盖了航向角的区间(三维几何子模型)都被迫计算出正确的角度。Llocal试图最化小航向角的方向和覆盖该值的所有三维几何子模型之间的差异，这相当于最大化余弦距离。
S426，根据各三维几何子模型对应的置信度和角度差，计算航向角。
在本实施例中，可以将置信度和角度差进行加权求和，可以获得航向角。
在本实施例中，卷积神经网络在不断地迭代预测，直到损失函数的计算结果稳定下来的时候，即可以输出预测结果。因此，本实施例可以为损失函数的计算结果设置一个误差阈值，来决定卷积神经网络的卷积截止条件。
具体地，在预测过程采用损失函数确定预测结果的预测过程，包括：当总损失的损失误差值低于预设的误差阈值时，输出当前预测的各三维几何子模型对应的置信度和角度差。
卷积神经网络在不断地迭代预测，直到损失函数的数值稳定下来的时候，即可以输出预测结果。
参见图5，本发明实施例提供一种检测脸部角度的装置，包括：
脸部图像获取模块100，用于获取检测对象的脸部图像；
二维数据获取模块200，用于利用二维几何图形圈住所述脸部图像的脸部，获取所述脸部的像素点以及各像素点的位置；
三维数据映射模块300，用于根据各所述像素点在所述二维几何图形的位置，以及所述二维几何图形与三维几何模型的几何映射关系，确定各所述像素点在所述三维几何模型的位置；以及
脸部角度确定模块400，用于根据各所述像素点的数值、各所述像素点在所述二维几何图形的位置以及在所述三维几何模型的位置，确定所述检测对象的脸部角度。
结合第二方面，在第二方面的第一种实施方式中，所述脸部角度确定模块包括：
辐射角确定单元，用于根据所述二维向何图形的中心像素的像素信息、所述二维几何图形的中心点相对于所述脸部图像的位置以及拍摄所述脸部图像的相机拍摄参数，确定所述相机到脸部中心的辐射角；以及
航向角确定单元，用于根据各所述像素点的数值和各所述像素点在所述三维几何模型的位置，确定所述脸部的航向角。
结合第二方面的第一种实施方式，在第二方面的第二种实施方式中，所述航向角确定单元，包括：
模型划分单元，用于将所述三维几何模型划分成多个三维几何子模型；其中，相邻的三维几何子模型具有重叠的区域；
预测单元，用于根据各所述三维几何子模型的脸部数据，预测各所述三维几何子模型对应的置信度和角度差；其中，所述置信度用于描述脸部的航向角方向落在所述三维几何子模型的可信程度，所述角度差用于描述所述航向角的方向到所述三维几何子模型的中心方向的偏差；
航向角计算单元，用于根据各所述三维几何子模型对应的置信度和角度差，计算所述航向角。
所述装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中，检测脸部角度的结构中包括处理器和存储器，所述存储器用于检测脸部角度的装置执行上述第一方面中检测脸部角度的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述检测脸部角度的装置还可以包括通信接口，用于检测脸部角度的装置与其他设备或通信网络通信。
本发明实施例还提供一种检测脸部角度的终端设备，如图6所示，该设备包括：存储器21和处理器22，存储器21内存储有可在处理器22上的计算机程序。处理器22执行计算机程序时实现上述实施例中的检测脸部角度的方法。存储器21和处理器22的数量可以为一个或多个。
该设备还包括：
通信接口23，用于处理器22与外部设备之间的通信。
存储器21可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
如果存储器21、处理器22和通信接口23独立实现，则存储器21、处理器22和通信接口23可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，Peripheral Component)总线或扩展工业标准体系结构(EISA，Extended Industry Standard Component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器21、处理器22及通信接口23集成在一块芯片上，则存储器21、处理器22及通信接口23可以通过内部接口完成相互间的通信。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
本发明实施例的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质的更具体的示例至少(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
在本发明实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于指令执行系统、输入法或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成的程序，该程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。存储介质可以是只读存储器，磁盘或光盘等。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种检测脸部角度的方法，其特征在于，包括：
获取检测对象的脸部图像；
利用二维几何图形圈住所述脸部图像的脸部，获取所述脸部的像素点的像素信息以及各像素点的位置；
根据各所述像素点在所述二维几何图形的位置，以及所述二维几何图形与三维几何模型的几何映射关系，确定各所述像素点在所述三维几何模型的位置；
根据各所述像素点的像素信息、各所述像素点在所述二维几何图形的位置以及在所述三维几何模型的位置，确定所述检测对象的脸部角度。
2.如权利要求1所述的检测脸部角度的方法，其特征在于，根据各所述像素点的数值、各所述像素点在所述二维几何图形的位置以及在所述三维几何模型的位置，确定所述检测对象的脸部角度，包括：
根据所述二维向何图形的中心像素的像素信息、所述二维几何图形的中心点相对于所述脸部图像的位置以及拍摄所述脸部图像的相机拍摄参数，确定所述相机到脸部中心的辐射角；
根据各所述像素点的数值和各所述像素点在所述三维几何模型的位置，确定所述脸部的航向角；以及
对所述辐射角和所述航向角求和，获得所述检测对象的脸部角度。
3.如权利要求2所述的检测脸部角度的方法，其特征在于，根据各所述像素点的数值和各所述像素点在所述三维几何模型的位置，确定所述脸部的航向角，包括：
将所述三维几何模型划分成多个三维几何子模型；其中，相邻的三维几何子模型具有重叠的区域；
根据各所述三维几何子模型的各像素点的数据，预测各所述三维几何子模型对应的置信度和角度差；其中，所述置信度用于描述脸部的航向角方向落在所述三维几何子模型的可信程度，所述角度差用于描述所述航向角的方向到所述三维几何子模型的中心方向的偏差；
根据各所述三维几何子模型对应的置信度和角度差，计算所述航向角。
4.如权利要求3所述的检测脸部角度的方法，其特征在于，在所述预测过程采用损失函数确定预测结果，所述损失函数包括：
L＝α*Ldims+Lθ；
Lθ＝Lconf+ω*Llocal；
其中，L表示预测过程的总损失，Ldims表示各所述三维几何子模型的尺寸回归损失，Lθ表示预测各所述三维几何子模型的角度差的方向预测损失，Lconf表示各所述三维几何子模型的置信度的分类损失，Llocal表示预测各所述三维几何子模型的角度差的的损失；α和ω均表示预设系数；n表示所述三维几何子模型的总数量，D*表示各所述三维几何子模型的真实尺寸，表示各所述三维几何模型所包含的脸部的平均尺寸，δ表示残差；θ*表示各所述三维几何子模型相对于地面坐标的角度，ci表示第i个三维几何子模型的中心角度，Δθi表示各所述三维几何子模型的角度差。
5.如权利要求4所述的检测脸部角度的方法，其特征在于，在所述预测过程采用损失函数确定预测结果，包括：
当所述总损失的损失误差值低于预设的误差阈值时，输出当前预测的各所述三维几何子模型对应的置信度和角度差。
6.如权利要求1至5任一项所述的检测脸部角度的方法，其特征在于，所述二维几何图形包括矩形，所述三维几何模型包括平行六面体，所述平行六面体的六个平面为矩形。
7.如权利要求6所述的检测脸部角度的方法，其特征在于，所述方法还包括：
根据所述矩形的尺寸、所述平行六面体的尺寸、所述矩形中的脸部相对相机的位姿以及拍摄所述脸部图像的相机拍摄参数，建立所述矩形与所述平行六面体的映射关系；其中，所述矩形的中心映射在所述平行六面体的中心；所述平行六面体的每一个棱角至少能映射在所述所述矩形的一个边上。
8.一种检测脸部角度的装置，其特征在于，包括：
脸部图像获取模块，用于获取检测对象的脸部图像；
二维数据获取模块，用于利用二维几何图形圈住所述脸部图像的脸部，获取所述脸部的像素点的像素信息以及各像素点的位置；
三维数据映射模块，用于根据各所述像素点在所述二维几何图形的位置，以及所述二维几何图形与三维几何模型的几何映射关系，确定各所述像素点在所述三维几何模型的位置；以及
脸部角度确定模块，用于根据各所述像素点的像素信息、各所述像素点在所述二维几何图形的位置以及在所述三维几何模型的位置，确定所述检测对象的脸部角度。
9.如权利要求8所述的检测脸部角度的装置，其特征在于，所述脸部角度确定模块包括：
辐射角确定单元，用于根据所述二维向何图形的中心像素的像素信息、所述二维几何图形的中心点相对于所述脸部图像的位置以及拍摄所述脸部图像的相机拍摄参数，确定所述相机到脸部中心的辐射角；
航向角确定单元，用于根据各所述像素点的数值和各所述像素点在所述三维几何模型的位置，确定所述脸部的航向角；以及
脸部角度计算单元，用于对所述辐射角和所述航向角求和，获得所述检测对象的脸部角度。
10.如权利要求9所述的检测脸部角度的装置，其特征在于，所述航向角确定单元，包括：
模型划分单元，用于将所述三维几何模型划分成多个三维几何子模型；其中，相邻的三维几何子模型具有重叠的区域；
预测单元，用于根据各所述三维几何子模型的各像素点的数据，预测各所述三维几何子模型对应的置信度和角度差；其中，所述置信度用于描述脸部的航向角方向落在所述三维几何子模型的可信程度，所述角度差用于描述所述航向角的方向到所述三维几何子模型的中心方向的偏差；
航向角计算单元，用于根据各所述三维几何子模型对应的置信度和角度差，计算所述航向角。
11.一种实现检测脸部角度的终端设备，其特征在于，所述终端设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7中任一所述的检测脸部角度的方法。
12.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的检测脸部角度的方法。
CN201811044585.1A 2018-09-07 2018-09-07 检测脸部角度的方法、装置、存储介质和终端设备 Active CN109146962B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811044585.1A CN109146962B (zh) 2018-09-07 2018-09-07 检测脸部角度的方法、装置、存储介质和终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811044585.1A CN109146962B (zh) 2018-09-07 2018-09-07 检测脸部角度的方法、装置、存储介质和终端设备

Publications (2)

Publication Number Publication Date
CN109146962A true CN109146962A (zh) 2019-01-04
CN109146962B CN109146962B (zh) 2020-06-09

Family

ID=64823867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811044585.1A Active CN109146962B (zh) 2018-09-07 2018-09-07 检测脸部角度的方法、装置、存储介质和终端设备

Country Status (1)

Country Link
CN (1) CN109146962B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754622A (zh) * 2020-07-13 2020-10-09 腾讯科技（深圳）有限公司 脸部三维图像生成方法及相关设备
CN112562001A (zh) * 2020-12-28 2021-03-26 中山大学 一种物体6d位姿估计方法、装置、设备及介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101320484A (zh) * 2008-07-17 2008-12-10 清华大学 一种基于人脸全自动定位的三维人脸识别方法
CN101388114A (zh) * 2008-09-03 2009-03-18 北京中星微电子有限公司 一种人体姿态估计的方法和系统
CN101815174A (zh) * 2010-01-11 2010-08-25 北京中星微电子有限公司 摄像控制方法及控制装置
US20120183238A1 (en) * 2010-07-19 2012-07-19 Carnegie Mellon University Rapid 3D Face Reconstruction From a 2D Image and Methods Using Such Rapid 3D Face Reconstruction
CN103562934A (zh) * 2011-04-28 2014-02-05 皇家飞利浦有限公司 脸部位置检测
CN104299250A (zh) * 2014-10-15 2015-01-21 南京航空航天大学 基于先验模型的正面人脸图像合成方法及系统
CN104978548A (zh) * 2014-04-02 2015-10-14 汉王科技股份有限公司 一种基于三维主动形状模型的视线估计方法与装置
CN105389570A (zh) * 2015-11-19 2016-03-09 吴建忠 一种人脸角度判定方法及其系统
US20160086304A1 (en) * 2014-09-22 2016-03-24 Ming Chuan University Method for estimating a 3d vector angle from a 2d face image, method for creating face replacement database, and method for replacing face image
CN105678779A (zh) * 2016-01-15 2016-06-15 上海交通大学 基于椭圆匹配的人体朝向角度实时检测方法
US20160335774A1 (en) * 2015-02-06 2016-11-17 Ming Chuan University Method for automatic video face replacement by using a 2d face image to estimate a 3d vector angle of the face image
CN106503671A (zh) * 2016-11-03 2017-03-15 厦门中控生物识别信息技术有限公司 确定人脸姿态的方法和装置
CN107038422A (zh) * 2017-04-20 2017-08-11 杭州电子科技大学 基于空间几何约束深度学习的疲劳状态识别方法
CN107729875A (zh) * 2017-11-09 2018-02-23 上海快视信息技术有限公司 三维人脸识别方法和装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101320484A (zh) * 2008-07-17 2008-12-10 清华大学 一种基于人脸全自动定位的三维人脸识别方法
CN101388114A (zh) * 2008-09-03 2009-03-18 北京中星微电子有限公司 一种人体姿态估计的方法和系统
CN101815174A (zh) * 2010-01-11 2010-08-25 北京中星微电子有限公司 摄像控制方法及控制装置
US20120183238A1 (en) * 2010-07-19 2012-07-19 Carnegie Mellon University Rapid 3D Face Reconstruction From a 2D Image and Methods Using Such Rapid 3D Face Reconstruction
CN103562934A (zh) * 2011-04-28 2014-02-05 皇家飞利浦有限公司 脸部位置检测
CN104978548A (zh) * 2014-04-02 2015-10-14 汉王科技股份有限公司 一种基于三维主动形状模型的视线估计方法与装置
US20160086304A1 (en) * 2014-09-22 2016-03-24 Ming Chuan University Method for estimating a 3d vector angle from a 2d face image, method for creating face replacement database, and method for replacing face image
CN104299250A (zh) * 2014-10-15 2015-01-21 南京航空航天大学 基于先验模型的正面人脸图像合成方法及系统
US20160335774A1 (en) * 2015-02-06 2016-11-17 Ming Chuan University Method for automatic video face replacement by using a 2d face image to estimate a 3d vector angle of the face image
CN105389570A (zh) * 2015-11-19 2016-03-09 吴建忠 一种人脸角度判定方法及其系统
CN105678779A (zh) * 2016-01-15 2016-06-15 上海交通大学 基于椭圆匹配的人体朝向角度实时检测方法
CN106503671A (zh) * 2016-11-03 2017-03-15 厦门中控生物识别信息技术有限公司 确定人脸姿态的方法和装置
CN107038422A (zh) * 2017-04-20 2017-08-11 杭州电子科技大学 基于空间几何约束深度学习的疲劳状态识别方法
CN107729875A (zh) * 2017-11-09 2018-02-23 上海快视信息技术有限公司 三维人脸识别方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754622A (zh) * 2020-07-13 2020-10-09 腾讯科技（深圳）有限公司 脸部三维图像生成方法及相关设备
CN111754622B (zh) * 2020-07-13 2023-10-13 腾讯科技（深圳）有限公司 脸部三维图像生成方法及相关设备
CN112562001A (zh) * 2020-12-28 2021-03-26 中山大学 一种物体6d位姿估计方法、装置、设备及介质
CN112562001B (zh) * 2020-12-28 2023-07-21 中山大学 一种物体6d位姿估计方法、装置、设备及介质

Also Published As

Publication number Publication date
CN109146962B (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
JP6529463B2 (ja) 道路構造化装置、道路構造化方法、及び道路構造化プログラム
CN110415342A (zh) 一种基于多融合传感器的三维点云重建装置与方法
CN113819890B (zh) 测距方法、装置、电子设备及存储介质
CN109345596A (zh) 多传感器标定方法、装置、计算机设备、介质和车辆
CN109816704A (zh) 物体的三维信息获取方法和装置
CN110246183B (zh) 车轮接地点检测方法、装置及存储介质
KR20200021626A (ko) 객체 검출 모델 트레이닝 장치 및 방법
US11204249B2 (en) Positioning method and robot with the same
US10237493B2 (en) Camera configuration method and apparatus
CN111488812B (zh) 障碍物位置识别方法、装置、计算机设备和存储介质
CN104424630A (zh) 三维重建方法及装置、移动终端
CN113657224A (zh) 车路协同中用于确定对象状态的方法、装置、设备
CN113696188B (zh) 手眼标定数据采集方法、装置、电子设备及存储介质
CN103065323A (zh) 一种基于单应性变换矩阵的分段空间对准方法
US20230080133A1 (en) 6d pose and shape estimation method
CN109872366A (zh) 基于深度拟合程度评估网络的物体三维位置检测方法和装置
CN110920824A (zh) 一种基于双目立体视觉的船舶模型姿态测量系统及方法
CN109146962A (zh) 检测脸部角度的方法、装置、存储介质和终端设备
US20210055739A1 (en) Robot recharging localization method and robot using the same
CN113643380A (zh) 一种基于单目相机视觉标靶定位的机械臂引导方法
CN108286946A (zh) 传感器位置标定和数据拼接的方法及系统
CN104471436A (zh) 用于计算对象的成像比例的变化的方法和设备
CN111598911B (zh) 一种机器人平台的自主巡线方法、装置及存储介质
WO2021167189A1 (ko) 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치
CN114972492A (zh) 一种基于鸟瞰图的位姿确定方法、设备和计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant