CN106503684A - 一种人脸图像处理方法和装置 - Google Patents

一种人脸图像处理方法和装置 Download PDF

Info

Publication number
CN106503684A
CN106503684A CN201610969927.5A CN201610969927A CN106503684A CN 106503684 A CN106503684 A CN 106503684A CN 201610969927 A CN201610969927 A CN 201610969927A CN 106503684 A CN106503684 A CN 106503684A
Authority
CN
China
Prior art keywords
dimensional
face
face image
solution
dimension human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610969927.5A
Other languages
English (en)
Other versions
CN106503684B (zh
Inventor
陈书楷
杨奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Entropy Technology Co., Ltd
Original Assignee
Xiamen Zhongkong Biological Recognition Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Zhongkong Biological Recognition Information Technology Co Ltd filed Critical Xiamen Zhongkong Biological Recognition Information Technology Co Ltd
Priority to CN201610969927.5A priority Critical patent/CN106503684B/zh
Publication of CN106503684A publication Critical patent/CN106503684A/zh
Application granted granted Critical
Publication of CN106503684B publication Critical patent/CN106503684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开一种人脸图像处理方法和装置。本发明实施例方法包括：确定从待处理的二维人脸图像提取的二维关键点在成像平面坐标系中的二维坐标数值；提取三维人脸模型的三维关键点；确定三维关键点在世界坐标系中的三维坐标数值；获取摄像机摄取二维人脸图像时的焦距；根据二维坐标数值和三维坐标数值及焦距求出旋转矩阵R的解和平移向量T的解；获取摄像机内参矩阵A的解；将旋转矩阵R的解、平移向量T的解和摄像机内参矩阵A的解代入公式C＝A·[R T]中，求出投影矩阵C的解；根据投影矩阵的解和三维人脸模型表面常数对二维人脸图像进行人脸旋转，得到人脸旋转后的二维人脸图像。实现将二维人脸图像的人脸进行预定角度旋转。

Description

一种人脸图像处理方法和装置
技术领域
本发明涉及图像处理领域，尤其涉及一种人脸图像处理方法和装置。
背景技术
在人脸图像识别或人脸图像分析领域，常会对人脸图像进行预处理，以使得后续的人脸图像处理达到更好的效果，例如提高处理效率等。
有时获取到的二维人脸图像中的人脸在二维人脸图像中的偏转角度不利于后续的图像处理，需要预先对该二维人脸图像的人脸进行旋转，现有技术中，缺乏对二维人脸图像的人脸进行旋转的方法。
发明内容
本发明实施例提供了一种人脸图像处理方法和装置，旨在实现将二维人脸图像的人脸进行预定角度的旋转。
为了解决上述技术问题，本发明实施例提供以下技术方案：
一种人脸图像处理方法，所述方法包括：
获取待处理的二维人脸图像；
提取所述待处理的二维人脸图像的二维关键点；
确定所述二维关键点在成像平面坐标系中的二维坐标数值；
提取预先建立的三维人脸模型的三维关键点，其中所述三维关键点与所述二维关键点在人脸上的位置对应，所述三维人脸模型包括三维人脸模型表面常数Dm；
确定所述三维关键点在世界坐标系中的三维坐标数值；
获取摄像机摄取所述二维人脸图像时的焦距；
根据所述二维坐标数值和所述三维坐标数值以及所述焦距求出旋转矩阵R的解和平移向量T的解；
获取摄像机内参矩阵A的解；
将所述旋转矩阵R的解、所述平移向量T的解、和所述摄像机内参矩阵A的解代入第一预设公式中，求出投影矩阵C的解，其中，所述第一预设公式为C＝A·[R T]；
根据所述投影矩阵C的解和所述三维人脸模型表面常数Dm对所述待处理的二维人脸图像进行人脸旋转，得到人脸旋转后的二维人脸图像。
为了解决上述技术问题，本发明实施例还提供以下技术方案：
一种人脸图像处理方法，所述方法包括：
对待识别的二维人脸图像进行人脸旋转处理，得到人脸旋转后的二维人脸图像；
对所述人脸旋转后的二维人脸图像进行人脸识别；
其中，所述对待识别的二维人脸图像进行人脸旋转处理的步骤，包括如上所述的一种人脸图像处理方法。
为了解决上述技术问题，本发明实施例还提供以下技术方案：
一种人脸图像处理装置，所述装置包括：
二维图像获取单元，用于获取待处理的二维人脸图像；
二维提取单元，用于提取所述待处理的二维人脸图像的二维关键点；
二维确定单元，用于确定所述二维关键点在成像平面坐标系中的二维坐标数值；
三维提取单元，用于提取预先建立的三维人脸模型的三维关键点，其中所述三维关键点与所述二维关键点在人脸上的位置对应，所述三维人脸模型包括三维人脸模型表面常数Dm；
三维确定单元，用于确定所述三维关键点在世界坐标系中的三维坐标数值；
焦距获取单元，用于获取摄像机摄取所述二维人脸图像时的焦距；
求解单元，用于根据所述二维坐标数值和所述三维坐标数值以及所述焦距求出旋转矩阵R的解和平移向量T的解；
内参获取单元，用于获取摄像机内参矩阵A的解；
投影矩阵求取单元，用于将所述旋转矩阵R的解、所述平移向量T的解、和所述摄像机内参矩阵A的解代入第一预设公式中，求出投影矩阵C的解，其中，所述第一预设公式为C＝A·[R T]；
旋转单元，用于根据所述投影矩阵C的解和所述三维人脸模型表面常数Dm对所述待处理的二维人脸图像进行人脸旋转，得到人脸旋转后的二维人脸图像。
为了解决上述技术问题，本发明实施例还提供以下技术方案：
一种人脸图像处理装置，所述装置包括：
处理单元，用于对待识别的二维人脸图像进行人脸旋转处理，得到人脸旋转后的二维人脸图像；
识别单元，用于对所述人脸旋转后的二维人脸图像进行人脸识别；
其中，所述处理单元，包括上述的一种人脸图像处理装置。
从以上技术方案可以看出，本发明实施例具有以下优点：
获取待处理的二维人脸图像后，提取待处理的二维人脸图像的二维关键点，确定二维关键点在成像平面坐标系中的二维坐标数值。跟着，提取预先建立的三维人脸模型的三维关键点，其中三维关键点与二维关键点在人脸上的位置对应，三维人脸模型包括三维人脸模型表面常数Dm。然后，确定三维关键点在世界坐标系中的三维坐标数值，获取摄像机摄取二维人脸图像时的焦距，即可根据二维坐标数值和三维坐标数值以及焦距求出旋转矩阵R的解和平移向量T的解。然后，获取摄像机内参矩阵A的解，从而可以将旋转矩阵R的解、平移向量T的解、和摄像机内参矩阵A的解代入第一预设公式中，求出投影矩阵C的解，其中，第一预设公式为C＝A·[R T]。该投影矩阵的解是根据二维坐标数值和三维坐标数值得到的，通过第一预设公式的计算，该投影矩阵反映了二维人脸图像中的二维人脸在三维人脸模型上的映射。从而根据投影矩阵C的解和三维人脸模型表面常数Dm对待处理的二维人脸图像进行人脸旋转，得到人脸旋转后的二维人脸图像。该二维人脸图像的人脸在该二维人脸图像中进行了旋转，且旋转后，二维人脸图像的人脸在二维人脸图像中的偏转角度与三维人脸模型在世界坐标系中的偏转角度相同，若三维人脸模型在世界坐标系中的偏转角度已预先确定，则实现将二维人脸图像的人脸进行预定角度的旋转。
附图说明
图1为本发明一实施例提供的一种人脸图像处理方法的流程图；
图2为本发明另一实施例提供的一种人脸图像处理方法的流程图；
图3为图2所涉及的实施例提供的二维人脸图像的示例；
图4为对图3的二维人脸图像进行二维关键点提取的示意图；
图5为图2所涉及的实施例提供的三维人脸模型的示例；
图6为对图5的三维人脸模型进行三维关键点提取的示意图；
图7为图2所涉及的实施例提供的一种人脸正面化后的二维人脸图像；
图8为对图7所示的人脸正面化后的二维人脸图像进行裁剪的结果；
图9为本发明实施例提供的三维人脸模型表面常数Dm的显示效果图；
图10为本发明另一实施例提供的一种人脸图像处理装置的结构示意图；
图11为本发明另一实施例提供的一种人脸图像处理装置的结构示意图。
具体实施方式
本发明实施例提供了一种人脸图像处理方法和装置，用于实现将二维人脸图像的人脸进行预定角度的旋转。
图1是根据一示例性实施例示出的一种人脸图像处理方法的流程图，参见图1，本发明实施例提供的方法流程包括：
步骤101：获取待处理的二维人脸图像；
步骤102：提取待处理的二维人脸图像的二维关键点；
步骤103：确定二维关键点在成像平面坐标系中的二维坐标数值；
步骤104：提取预先建立的三维人脸模型的三维关键点，其中三维关键点与二维关键点在人脸上的位置对应，三维人脸模型包括三维人脸模型表面常数Dm；
步骤105：确定三维关键点在世界坐标系中的三维坐标数值；
步骤106：获取摄像机摄取二维人脸图像时的焦距；
步骤107：根据二维坐标数值和三维坐标数值以及焦距求出旋转矩阵R的解和平移向量T的解；
步骤108：获取摄像机内参矩阵A的解；
步骤109：将旋转矩阵R的解、平移向量T的解、和摄像机内参矩阵A的解代入第一预设公式中，求出投影矩阵C的解，其中，第一预设公式为C＝A·[R T]；
步骤110：根据投影矩阵C的解和三维人脸模型表面常数Dm对待处理的二维人脸图像进行人脸旋转，得到人脸旋转后的二维人脸图像。
可选地，根据投影矩阵C的解和三维人脸模型表面常数Dm对待处理的二维人脸图像进行人脸旋转，得到人脸旋转后的二维人脸图像，包括：
根据投影矩阵C的解和三维人脸模型表面常数Dm求出待处理的二维人脸图像的人脸拟校正位置；
对待处理的二维人脸图像，在人脸拟校正位置处使用插值方法处理，得到人脸旋转后的二维人脸图像。
可选地，对待处理的二维人脸图像，在人脸拟校正位置处使用插值方法处理，得到人脸旋转后的二维人脸图像，包括：
对待处理的二维人脸图像，在人脸拟校正位置处使用双线性插值方法处理，得到人脸旋转后的二维人脸图像。
可选地，获取摄像机内参矩阵A的解，包括：
根据相机标定方法获取摄像机内参矩阵A的解。
可选地，三维人脸模型在世界坐标系的三个坐标轴的方向上的偏转角度分别为零。
可选地，根据二维坐标数值和三维坐标数值以及焦距求出旋转矩阵R的解和平移向量T的解，包括：
将二维坐标数值、三维坐标数值和焦距带入第二预设公式，得到旋转矩阵R的解和平移向量T的解，第二预设公式为:
其中，为平移向量；
为旋转矩阵；
(x,y)为二维坐标数值，(Xw，Yw，Zw)为三维坐标数值，(Xc,Yc,Zc)为摄像机坐标数值，f为焦距。
综上所述，获取待处理的二维人脸图像后，提取待处理的二维人脸图像的二维关键点，确定二维关键点在成像平面坐标系中的二维坐标数值。跟着，提取预先建立的三维人脸模型的三维关键点，其中三维关键点与二维关键点在人脸上的位置对应，三维人脸模型包括三维人脸模型表面常数Dm。然后，确定三维关键点在世界坐标系中的三维坐标数值，获取摄像机摄取二维人脸图像时的焦距，即可根据二维坐标数值和三维坐标数值以及焦距求出旋转矩阵R的解和平移向量T的解。然后，获取摄像机内参矩阵A的解，从而可以将旋转矩阵R的解、平移向量T的解、和摄像机内参矩阵A的解代入第一预设公式中，求出投影矩阵C的解，其中，第一预设公式为C＝A·[R T]。该投影矩阵的解是根据二维坐标数值和三维坐标数值得到的，通过第一预设公式的计算，该投影矩阵反映了二维人脸图像中的二维人脸在三维人脸模型上的映射。从而根据投影矩阵C的解和三维人脸模型表面常数Dm对待处理的二维人脸图像进行人脸旋转，得到人脸旋转后的二维人脸图像。该二维人脸图像的人脸在该二维人脸图像中进行了旋转，且旋转后，二维人脸图像的人脸在二维人脸图像中的偏转角度与三维人脸模型在世界坐标系中的偏转角度相同，若三维人脸模型在世界坐标系中的偏转角度已预先确定，则实现将二维人脸图像的人脸进行预定角度的旋转。
图2是根据一示例性实施例示出的一种人脸图像处理方法的流程图，参见图2，本发明实施例提供的方法流程包括：
步骤201：获取待处理的二维人脸图像。
人脸图像处理装置获取待处理的二维人脸图像，该二维人脸图像上包括人脸。如图3所示，其示出了获取到的一二维人脸图像。
步骤202：提取待处理的二维人脸图像的二维关键点；
根据人脸对齐算法，可对该二维人脸图像进行关键点检测，检测结果为提取出二维人脸图像的二维关键点。本发明实施例中，称二维人脸图像的关键点为二维关键点。关键点为人脸上的能表示人脸特征的特征点。
其中，使用的人脸对齐算法包括但不限于SDM、LBF、CFSS等。而二维关键点在二维人脸图像的数目例如可以是9点、49点、68点等多个数目，本发明实施例对二维关键点的数目不作具体限定。如图4所示，其示出了在二维人脸图像上提取二维人脸关键点的示例，其中图4示出了提取出49点的二维人脸关键点，在有的实施例中还可以提取出68点的二维人脸关键点。
步骤203：确定二维关键点在成像平面坐标系中的二维坐标数值；
提取出二维人脸图像上的二维关键点后，确定这些二维关键点在成像平面坐标系中的数值，记为二维坐标数值(x,y)，因二维关键点为多个，得出的二维坐标数值也包括多个，可记为(x1，y1；x2，y2；x3，y3；……；xn，yn)。
其中，成像平面坐标系是以摄像机拍摄的二维图像为基准建立的坐标系。用于指定物体在照片中的位置。在本发明实施例中，以该成像平面坐标系的单位为像素的个数为例进行说明，如单位为个。此时，以个为单位的二维坐标(x,y)的坐标系的原点在图片的左上角，该原点即该二维人脸图像在存储器存储时二维人脸图像的首地址。
可以理解，在有的实施例中，成像平面坐标系的单位也可以是物理长度单位，例如为毫米。此时，以物理长度为单位的二维坐标(u,v)的坐标系的原点位于摄像机光轴与成像平面的焦点O上。
步骤204：提取预先建立的三维人脸模型的三维关键点。
其中三维关键点与二维关键点在人脸上的位置对应，三维人脸模型包括三维人脸模型表面常数Dm；
在本发明实施例中，预先建立有一三维人脸模型，图5即示出了一三维人脸模型的示例。根据人脸对此算法，例如SDM、LBF、CFSS等，可提取出该三维人脸模型的三维关键点，该三维关键点可表示该三维人脸模型的人脸特征信息，对三维关键点的数目本发明实施例不做具体限定，可以是9点、49点、68点等多个数目。其中，三维关键点与二维关键点在人脸上的位置对应，即三维关键点在三维人脸模型上的人脸位置与二维关键点在二维人脸图像上的人脸位置相互对应。
步骤205：确定三维关键点在世界坐标系中的三维坐标数值；
将三维人脸模型设于世界坐标系中，确定出这些三维关键点在世界坐标系中的坐标数值，即得出三维坐标数值(Xw，Yw，Zw)。可对三维关键点的三维坐标数值记为(X1，Y1，Z1；X2，Y2，Z2；……Xn，Yn，Zn)。
如图6所示，其示出了在三维人脸模型上提取49点三维人脸关键点的图示。其中图6的三维关键点和图3的二维关键点都为49点，且二维关键点在二维人脸图像上的位置和三维关键点在三维人脸模型上的位置相同。
类似地，在三维人脸模型上还可以提取出其它数目的三维关键点，例如提取68点的三维人脸关键点。
在世界坐标系中，三维人脸模型相对该世界坐标系的三个坐标轴的方向的偏转角度可以是大于等于零。执行本发明实施例的方法，在对二维人脸图像进行人脸旋转后，人脸旋转的角度即为三维人脸模型相对该世界坐标系的三个坐标轴的方向的偏转角度。
在本发明实施例中，三维人脸模型在世界坐标系的三个坐标轴的方向上的偏转角度分别为零。即，世界坐标系包括三个坐标轴：第一坐标轴、第二坐标轴和第三坐标轴，三维人脸模型在该第一坐标轴、该第二坐标轴和该第三坐标轴的方向上的偏转角度分别为零。在对二维人脸图像进行人脸旋转后，得出的二维人脸图像的人脸在成像平面坐标系中的角度即为三维人脸模型在世界坐标系的三个坐标轴的方向上的偏转角度，当三维人脸模型在世界坐标系的三个坐标轴的方向上的偏转角度为零时，即可实现对二维人脸图像上的人脸进行正面化。
当然，在有的实施例中，三维人脸模型在世界坐标系的三个坐标轴的方向上的偏转角度可以不为零，这样，二维人脸图像的人脸旋转后的角度即与三维人脸模型在世界坐标系的三个坐标轴的方向上的偏转角度相同，从而在确定三维人脸模型在世界坐标系的三个坐标轴的方向上的偏转角度后，可对二维人脸图像上的人脸进行预设角度的旋转。
其中，世界坐标系是物体位置的参考系。除了无穷远，世界坐标系可以根据运算方便与否自由放置。
步骤206：获取摄像机摄取二维人脸图像时的焦距；
本发明实施例中，还要获取二维人脸图像对应的焦距，即摄像机在摄取该二维人脸图像时的焦距f。
可以理解，本发明实施例对获取二维人脸图像、获取焦距和提取三维人脸模型的三维关键点等步骤的执行顺序不作具体限定。例如，可以是先执行步骤204和步骤205，也可以是先执行步骤206。
步骤207：根据二维坐标数值和三维坐标数值以及焦距求出旋转矩阵R的解和平移向量T的解。
本发明实施例，在获取到二维坐标数值(x1，y1；x2，y2；x3，y3；……；xn，yn)和三维坐标数值(X1，Y1，Z1；X2，Y2，Z2；……Xn，Yn，Zn)以及焦距f后，可根据这些数值求取旋转矩阵R的解和平移向量T的解，具体的求取方法例如可以是：
将二维坐标数值(x1，y1；x2，y2；x3，y3；……；xn，yn)、三维坐标数值(X1，Y1，Z1；X2，Y2，Z2；……Xn，Yn，Zn)和焦距f带入第二预设公式，得到旋转矩阵R的解和平移向量T的解，第二预设公式为:
其中，为平移向量；
为旋转矩阵；
(x,y)为二维坐标数值，(Xw，Yw，Zw)为三维坐标数值，(Xc,Yc,Zc)为摄像机坐标数值，f为焦距。
旋转矩阵R的第i行表示摄像机坐标系中的第i个坐标轴方向的单位向量在世界坐标系里的坐标；它的第i列表示世界坐标系中的第i个坐标轴方向的单位向量在摄像机坐标系里的坐标。旋转矩阵R为3行3列。
平移向量T表示从世界坐标系到相机坐标系的平移向量，有3行1列
其中，该第二预设公式的得出，是利用了摄像机坐标系和世界坐标系的关系，以及摄像机坐标系和成像平面坐标系的关系得出的。
即，摄像机坐标系和世界坐标系的关系如坐标系公式一所示：
其中，(Xc，Yc，Zc)是摄像机坐标系中的点，(Xw，Yw，Zw)是世界坐标系中的点，R是旋转矩阵，T是平移向量，
摄像机坐标系和成像平面坐标系的关系如坐标系公式二所示：
x＝(f/Zc)Xc，y＝(f/Zc)Yc。
将坐标系公式二带入坐标系公式一即可得出第二预设公式：
其中，本发明实施主要使用的是第二预设公式的如下等式部分：
其中，可利用多个关键点，通过公式x＝(f/Zc)Xc，y＝(f/Zc)Yc，计算出Zc。
可以理解，本发明实施例的成像平面坐标系是以像素个数为单位进行说明的，但是本发明实施例的成像平面坐标系也可以是以物理长度为单位的坐标系，例如，成像平面坐标系以毫米为单位。此时，可以将成像平面坐标系的以毫米为单位的数值根据转换公式转换成以像素个数为单位的数值，然后再根据上述的第二预设公式进行相应的计算。
步骤208：获取摄像机内参矩阵A的解。
本发明实施例还要获取摄像机内参矩阵A的解，该摄像机内参矩阵A的解可预先建立好后，再向该图像处理装置输入；或者在本发明实施例的方法中可以对该摄像机内参矩阵A的解进行求取，例如根据相机标定方法获取摄像机内参矩阵A的解。具体的相机标定方法比如可以是张正友标定算法等。
其中，摄像机内参矩阵A的形式可以是：
其中，(u0,v0)是主点坐标，表示摄像机光轴与图像平面的交点，即图像中心。fu和fv是焦距，描述摄像机光心与主点之间的距离。s表示两个坐标系的畸变系数。
步骤209：将旋转矩阵R的解、平移向量T的解、和摄像机内参矩阵A的解代入第一预设公式中，求出投影矩阵C的解。
其中，第一预设公式为C＝A·[R T]；
在上述步骤中，求出了旋转矩阵R的解、平移向量T的解，[R T]即表示摄像机的外参数，通过第一预设公式，即可根据摄像机的外参数和内参矩阵求出二维人脸图像的二维关键点和三维人脸模型的三维关键点之间的投影矩阵C。
步骤210：根据投影矩阵C的解和三维人脸模型表面常数Dm求出待处理的二维人脸图像的人脸拟校正位置。
待处理的二维人脸图像的人脸拟校正位置Iq可根据投影矩阵C的解和三维人脸模型表面常数Dm求出，例如根据公式Iq～C·Dm进行计算。
Iq是待处理的二维人脸图像的人脸拟校正位置，即人脸旋转前的二维人脸图像中的人脸拟校正位置，Dm是三维人脸模型表面常数，其为N×M×3的矩阵，其中，N和M分别是三维人脸模型表面的宽和高，3表示通道数。Dm的显示效果可如图9所示。
步骤211：对待处理的二维人脸图像，在人脸拟校正位置处使用插值方法处理，得到人脸旋转后的二维人脸图像。
求取出人脸拟校正位置Iq后，对待处理的二维人脸图像，在该人脸拟校正位置Iq处，使用插值方法处理，即可得到图像上的人脸旋转后的二维人脸图像。在三维人脸模型在世界坐标系的三个坐标轴的方向上的偏转角度为零时，得到的人脸旋转后的二维人脸图像是人脸正面化的人脸图像。如图7所示，其示出了对图3所示的二维人脸图像使用本发明实施例的方法后，得到的正面化的二维人脸图像。
图像旋转之后，会出现许多的空白点，对这些空白点须进行填充处理，否则画面效果不好，称这种操作为插值处理。使用插值方法，能使得校正图像平滑。
其中，具体的插值方法可以是双线性插值方法和最邻近插值法等，例如，图7所示的人脸旋转后的二维人脸图像，即是对待处理的二维人脸图像，在人脸拟校正位置处使用双线性插值方法处理得到的。
可以理解，在有的实施例中，可以直接根据投影矩阵C的解和三维人脸模型表面常数Dm对待处理的二维人脸图像进行人脸旋转，得到人脸旋转后的二维人脸图像。这样得到的二维人脸图像，人脸也经过了旋转处理，但是，在人脸拟校正位置处不使用插值方法，图像没经过平滑处理，成像效果较差。
为了验证使用本发明实施例的人脸图像处理方法进行的人脸化是否有效，本发明实施例还提供了验证试验。
其中，在人脸正面化后，即在三维人脸模型在世界坐标系的三个坐标轴的方向上的偏转角度分别为零时使用本发明实施例的方法，得到人脸正面化的二维人脸图像。
在LFW数据库上，按照世界坐标系的三个坐标轴yaw、pitch和roll的3个方向上偏转角度在(-45゜，-15゜)与(15゜，45゜)之间的要求，选取1000张图像组成数据库Pose_test。在该库上使用DCP特征，进行人脸识别测试，人脸未进行正面化处理得到的FAR和FRR评价结果为：
ERR＝8.137％，1/10000：FRR＝28.55％，1/100000：FRR＝34.87％，
NONE：FRR＝43.47％
其中，
1/10000：FRR＝28.55％表示FAR＝1/10000时FRR为28.55％；
1/100000：FRR＝34.87％表示FAR＝1/100000时FRR＝34.87％；
NONE：FRR＝43.47％表示FAR＝0时，FRR＝43.47％。
FAR是错误接受率，FRR是错误拒绝率。
ERR(英文全称：Equal Error Rate；中文名称：相等错误率)，它主要用于评价算法整体效能的指标，其值越小的时候，表示算法的整体性能越高。
使用上述方法对二维人脸图像的人脸正面化处理后，再进行人脸识别，得到的FAR和FRR评价结果为：
ERR＝8.955％，1/10000：FRR＝21.90％，1/100000：FRR＝25.50％，
NONE：FRR＝25.50％
其中，
1/10000：FRR＝21.90％表示FAR＝1/10000时FRR＝21.90％；
1/100000：FRR＝25.50％表示FAR＝1/100000时FRR＝25.50％；
NONE：FRR＝25.50％表示FAR＝0时，FRR＝25.50％。
可见，FAR和FRR的值降低了，说明识别准确率提高，即验证了人脸正面化方法是有效的。
综上所述，获取待处理的二维人脸图像后，提取待处理的二维人脸图像的二维关键点，确定二维关键点在成像平面坐标系中的二维坐标数值。跟着，提取预先建立的三维人脸模型的三维关键点，其中三维关键点与二维关键点在人脸上的位置对应，三维人脸模型包括三维人脸模型表面常数Dm。然后，确定三维关键点在世界坐标系中的三维坐标数值，获取摄像机摄取二维人脸图像时的焦距，即可根据二维坐标数值和三维坐标数值以及焦距求出旋转矩阵R的解和平移向量T的解。然后，获取摄像机内参矩阵A的解，从而可以将旋转矩阵R的解、平移向量T的解、和摄像机内参矩阵A的解代入第一预设公式中，求出投影矩阵C的解，其中，第一预设公式为C＝A·[R T]。该投影矩阵的解是根据二维坐标数值和三维坐标数值得到的，通过第一预设公式的计算，该投影矩阵反映了二维人脸图像中的二维人脸在三维人脸模型上的映射。从而根据投影矩阵C的解和三维人脸模型表面常数Dm对待处理的二维人脸图像进行人脸旋转，得到人脸旋转后的二维人脸图像。该二维人脸图像的人脸在该二维人脸图像中进行了旋转，且旋转后，二维人脸图像的人脸在二维人脸图像中的偏转角度与三维人脸模型在世界坐标系中的偏转角度相同，若三维人脸模型在世界坐标系中的偏转角度已预先确定，则实现将二维人脸图像的人脸进行预定角度的旋转。
本发明实施例还提供了一种人脸图像处理方法，该方法用于人脸识别，该方法包括：
对待识别的二维人脸图像进行人脸旋转处理，得到人脸旋转后的二维人脸图像，然后，对人脸旋转后的二维人脸图像进行人脸识别。
其中，对待识别的二维人脸图像进行人脸旋转处理的步骤，包括图1和图2所涉及的实施例的一种人脸图像处理方法的各步骤及其扩展方案。
一般地，用于人脸识别的图像是裁剪后的人脸图像，如图8所示，图8为对图7所示的正面化后的二维人脸图像进行识别前的裁剪后的结果。
这样，通过图1和图2所涉及的实施例的一种人脸图像处理方法，即可在人脸识别前，对待识别的人脸图像的人脸进行旋转，尤其是对待识别的人脸图像进行人脸正面化后，将能使得识别准确率提高，这在上述的验证方法中得到了试验验证。
图10是根据一示例性实施例示出的一种人脸图像处理装置的结构示意图，该装置用于执行上述图1或图2对应的实施例中任一实施中的方法。参见图10，该装置包括：
二维图像获取单元1001，用于获取待处理的二维人脸图像；
二维提取单元1002，用于提取待处理的二维人脸图像的二维关键点；
二维确定单元1003，用于确定二维关键点在成像平面坐标系中的二维坐标数值；
三维提取单元1004，用于提取预先建立的三维人脸模型的三维关键点，其中三维关键点与二维关键点在人脸上的位置对应，三维人脸模型包括三维人脸模型表面常数Dm；
三维确定单元1005，用于确定三维关键点在世界坐标系中的三维坐标数值；
焦距获取单元1006，用于获取摄像机摄取二维人脸图像时的焦距；
求解单元1007，用于根据二维坐标数值和三维坐标数值以及焦距求出旋转矩阵R的解和平移向量T的解；
内参获取单元1008，用于获取摄像机内参矩阵A的解；
投影矩阵求取单元1009，用于将旋转矩阵R的解、平移向量T的解、和摄像机内参矩阵A的解代入第一预设公式中，求出投影矩阵C的解，其中，第一预设公式为C＝A·[R T]；
旋转单元1010，用于根据投影矩阵C的解和三维人脸模型表面常数Dm对待处理的二维人脸图像进行人脸旋转，得到人脸旋转后的二维人脸图像。
可选地，旋转单元1010，包括：
位置求取模块1011，用于根据投影矩阵C的解和三维人脸模型表面常数Dm求出待处理的二维人脸图像的人脸拟校正位置；
旋转模块1012，用于对待处理的二维人脸图像，在人脸拟校正位置处使用插值方法处理，得到人脸旋转后的二维人脸图像。
可选地，旋转模块1010，还用于对待处理的二维人脸图像，在人脸拟校正位置处使用双线性插值方法处理，得到人脸旋转后的二维人脸图像。
可选地，内参获取单元1008，还用于根据相机标定方法获取摄像机内参矩阵A的解。
可选地，三维人脸模型在世界坐标系的三个坐标轴的方向上的偏转角度分别为零。
可选地，求解单元1007，还用于将二维坐标数值、三维坐标数值和焦距带入第二预设公式，得到旋转矩阵R的解和平移向量T的解，第二预设公式为:
其中，为平移向量；
为旋转矩阵；
(x,y)为二维坐标数值，(Xw，Yw，Zw)为三维坐标数值，(Xc,Yc,Zc)为摄像机坐标数值，f为焦距。
综上所述，获取待处理的二维人脸图像后，提取待处理的二维人脸图像的二维关键点，确定二维关键点在成像平面坐标系中的二维坐标数值。跟着，提取预先建立的三维人脸模型的三维关键点，其中三维关键点与二维关键点在人脸上的位置对应，三维人脸模型包括三维人脸模型表面常数Dm。然后，确定三维关键点在世界坐标系中的三维坐标数值，获取摄像机摄取二维人脸图像时的焦距，即可根据二维坐标数值和三维坐标数值以及焦距求出旋转矩阵R的解和平移向量T的解。然后，获取摄像机内参矩阵A的解，从而可以将旋转矩阵R的解、平移向量T的解、和摄像机内参矩阵A的解代入第一预设公式中，求出投影矩阵C的解，其中，第一预设公式为C＝A·[R T]。该投影矩阵的解是根据二维坐标数值和三维坐标数值得到的，通过第一预设公式的计算，该投影矩阵反映了二维人脸图像中的二维人脸在三维人脸模型上的映射。从而根据投影矩阵C的解和三维人脸模型表面常数Dm对待处理的二维人脸图像进行人脸旋转，得到人脸旋转后的二维人脸图像。该二维人脸图像的人脸在该二维人脸图像中进行了旋转，且旋转后，二维人脸图像的人脸在二维人脸图像中的偏转角度与三维人脸模型在世界坐标系中的偏转角度相同，若三维人脸模型在世界坐标系中的偏转角度已预先确定，则实现将二维人脸图像的人脸进行预定角度的旋转。
图11是根据一示例性实施例示出的一种人脸图像处理装置的结构示意图，该装置用于执行上述用于人脸识别实施例的方法。参见图11，该装置包括：
处理单元1101，用于对待识别的二维人脸图像进行人脸旋转处理，得到人脸旋转后的二维人脸图像；
识别单元1102，用于对人脸旋转后的二维人脸图像进行人脸识别；
其中，处理单元1101，包括图10所涉及的一种人脸图像处理装置。
这样，通过图10所涉及的实施例的一种人脸图像处理装置，即可在人脸识别前，对待识别的人脸图像的人脸进行旋转，尤其是对待识别的人脸图像进行人脸正面化后，将能使得识别准确率提高，这在上述的验证方法中得到了试验验证。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种人脸图像处理方法，其特征在于，所述方法包括：
获取待处理的二维人脸图像；
提取所述待处理的二维人脸图像的二维关键点；
确定所述二维关键点在成像平面坐标系中的二维坐标数值；
提取预先建立的三维人脸模型的三维关键点，其中所述三维关键点与所述二维关键点在人脸上的位置对应，所述三维人脸模型包括三维人脸模型表面常数Dm；
确定所述三维关键点在世界坐标系中的三维坐标数值；
获取摄像机摄取所述二维人脸图像时的焦距；
根据所述二维坐标数值和所述三维坐标数值以及所述焦距求出旋转矩阵R的解和平移向量T的解；
获取摄像机内参矩阵A的解；
将所述旋转矩阵R的解、所述平移向量T的解、和所述摄像机内参矩阵A的解代入第一预设公式中，求出投影矩阵C的解，其中，所述第一预设公式为C＝A·[R T]；
根据所述投影矩阵C的解和所述三维人脸模型表面常数Dm对所述待处理的二维人脸图像进行人脸旋转，得到人脸旋转后的二维人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述投影矩阵C的解和所述三维人脸模型表面常数Dm对所述待处理的二维人脸图像进行人脸旋转，得到人脸旋转后的二维人脸图像，包括：
根据所述投影矩阵C的解和所述三维人脸模型表面常数Dm求出所述待处理的二维人脸图像的人脸拟校正位置；
对所述待处理的二维人脸图像，在所述人脸拟校正位置处使用插值方法处理，得到人脸旋转后的二维人脸图像。
3.根据权利要求2所述的方法，其特征在于，所述对所述待处理的二维人脸图像，在所述人脸拟校正位置处使用插值方法处理，得到人脸旋转后的二维人脸图像，包括：
对所述待处理的二维人脸图像，在所述人脸拟校正位置处使用双线性插值方法处理，得到人脸旋转后的二维人脸图像。
4.根据权利要求1所述的方法，其特征在于，所述获取摄像机内参矩阵A的解，包括：
根据相机标定方法获取摄像机内参矩阵A的解。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述三维人脸模型在所述世界坐标系的三个坐标轴的方向上的偏转角度分别为零。
6.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述二维坐标数值和所述三维坐标数值以及所述焦距求出旋转矩阵R的解和平移向量T的解，包括：
将所述二维坐标数值、所述三维坐标数值和所述焦距带入第二预设公式，得到旋转矩阵R的解和平移向量T的解，所述第二预设公式为:
Z c x Z c y Z c = f X c f Y c Z c = fR 1 T fT x fR 2 T fT y R 3 T T z X w Y w Z w 1
其中，为平移向量；
为旋转矩阵；
(x,y)为二维坐标数值，(Xw，Yw，Zw)为三维坐标数值，(Xc,Yc,Zc)为摄像机坐标数值，f为焦距。
7.一种人脸图像处理方法，其特征在于，所述方法包括：
对待识别的二维人脸图像进行人脸旋转处理，得到人脸旋转后的二维人脸图像；
对所述人脸旋转后的二维人脸图像进行人脸识别；
其中，所述对待识别的二维人脸图像进行人脸旋转处理的步骤，包括权利要求1至6任一项所述的一种人脸图像处理方法。
8.一种人脸图像处理装置，其特征在于，所述装置包括：
二维图像获取单元，用于获取待处理的二维人脸图像；
二维提取单元，用于提取所述待处理的二维人脸图像的二维关键点；
二维确定单元，用于确定所述二维关键点在成像平面坐标系中的二维坐标数值；
三维提取单元，用于提取预先建立的三维人脸模型的三维关键点，其中所述三维关键点与所述二维关键点在人脸上的位置对应，所述三维人脸模型包括三维人脸模型表面常数Dm；
三维确定单元，用于确定所述三维关键点在世界坐标系中的三维坐标数值；
焦距获取单元，用于获取摄像机摄取所述二维人脸图像时的焦距；
求解单元，用于根据所述二维坐标数值和所述三维坐标数值以及所述焦距求出旋转矩阵R的解和平移向量T的解；
内参获取单元，用于获取摄像机内参矩阵A的解；
投影矩阵求取单元，用于将所述旋转矩阵R的解、所述平移向量T的解、和所述摄像机内参矩阵A的解代入第一预设公式中，求出投影矩阵C的解，其中，所述第一预设公式为C＝A·[R T]；
旋转单元，用于根据所述投影矩阵C的解和所述三维人脸模型表面常数Dm对所述待处理的二维人脸图像进行人脸旋转，得到人脸旋转后的二维人脸图像。
9.根据权利要求8所述的装置，其特征在于，所述旋转单元，包括：
位置求取模块，用于根据所述投影矩阵C的解和所述三维人脸模型表面常数Dm求出所述待处理的二维人脸图像的人脸拟校正位置；
旋转模块，用于对所述待处理的二维人脸图像，在所述人脸拟校正位置处使用插值方法处理，得到人脸旋转后的二维人脸图像。
10.根据权利要求8或9所述的装置，其特征在于，所述三维人脸模型在所述世界坐标系的三个坐标轴的方向上的偏转角度分别为零。
11.一种人脸图像处理装置，其特征在于，所述装置包括：
处理单元，用于对待识别的二维人脸图像进行人脸旋转处理，得到人脸旋转后的二维人脸图像；
识别单元，用于对所述人脸旋转后的二维人脸图像进行人脸识别；
其中，所述处理单元，包括权利要求8至10任一项所述的一种人脸图像处理装置。
CN201610969927.5A 2016-10-28 2016-10-28 一种人脸图像处理方法和装置 Active CN106503684B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610969927.5A CN106503684B (zh) 2016-10-28 2016-10-28 一种人脸图像处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610969927.5A CN106503684B (zh) 2016-10-28 2016-10-28 一种人脸图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN106503684A true CN106503684A (zh) 2017-03-15
CN106503684B CN106503684B (zh) 2019-10-18

Family

ID=58321022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610969927.5A Active CN106503684B (zh) 2016-10-28 2016-10-28 一种人脸图像处理方法和装置

Country Status (1)

Country Link
CN (1) CN106503684B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921000A (zh) * 2018-04-16 2018-11-30 深圳市深网视界科技有限公司 头部角度标注、预测模型训练、预测方法、设备和介质
CN108932459A (zh) * 2017-05-26 2018-12-04 富士通株式会社 脸部识别模型训练方法和装置及脸部识别方法
CN109146769A (zh) * 2018-07-24 2019-01-04 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质
CN109543576A (zh) * 2018-11-09 2019-03-29 石家庄铁道大学 基于骨骼检测和三维重建的列车驾驶员检测方法
CN109697688A (zh) * 2017-10-20 2019-04-30 虹软科技股份有限公司 一种用于图像处理的方法和装置
CN110020600A (zh) * 2019-03-05 2019-07-16 厦门美图之家科技有限公司 生成用于训练人脸对齐模型的数据集的方法
CN110516643A (zh) * 2019-08-30 2019-11-29 电子科技大学 一种基于联合热力图的人脸3d关键点检测方法及系统
CN110555815A (zh) * 2019-08-30 2019-12-10 维沃移动通信有限公司 一种图像处理方法和电子设备
CN110826395A (zh) * 2019-09-18 2020-02-21 平安科技（深圳）有限公司 人脸旋转模型的生成方法、装置、计算机设备及存储介质
CN110942007A (zh) * 2019-11-21 2020-03-31 北京达佳互联信息技术有限公司 手部骨骼参数确定方法、装置、电子设备和存储介质
CN110956065A (zh) * 2019-05-11 2020-04-03 初速度（苏州）科技有限公司 一种用于模型训练的人脸图像处理方法及装置
CN111985384A (zh) * 2020-08-14 2020-11-24 深圳地平线机器人科技有限公司 获取脸部关键点的3d坐标及3d脸部模型的方法和装置
CN112070681A (zh) * 2019-05-24 2020-12-11 北京小米移动软件有限公司 图像处理方法及装置
CN113139892A (zh) * 2020-01-19 2021-07-20 株式会社理光 一种视线轨迹的计算方法、装置及计算机可读存储介质
CN113301242A (zh) * 2020-02-21 2021-08-24 中兴通讯股份有限公司 拍摄方法、终端以及计算机可读存储介质
CN114429653A (zh) * 2020-10-29 2022-05-03 中车株洲电力机车研究所有限公司 一种人脸识别优化方法及其装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710932A (zh) * 2009-12-21 2010-05-19 深圳华为通信技术有限公司 图像拼接方法及装置
CN102592124A (zh) * 2011-01-13 2012-07-18 汉王科技股份有限公司 文本图像的几何校正方法、装置和双目立体视觉系统
CN103020579A (zh) * 2011-09-22 2013-04-03 上海银晨智能识别科技有限公司 人脸识别方法及系统、人脸图像的眼镜框去除方法与装置
US20130129159A1 (en) * 2011-11-22 2013-05-23 Ronald Huijgens Face recognition method and apparatus
CN103279949A (zh) * 2013-05-09 2013-09-04 浙江大学 基于自定位机器人的多相机参数自动标定系统运行方法
CN103759670A (zh) * 2014-01-06 2014-04-30 四川虹微技术有限公司 一种基于数字近景摄影的物体三维信息获取方法
CN105447462A (zh) * 2015-11-20 2016-03-30 小米科技有限责任公司 人脸姿态估计方法及装置
CN105678308A (zh) * 2016-01-12 2016-06-15 中国科学院自动化研究所 一种基于光照方向不一致性的图像拼接检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710932A (zh) * 2009-12-21 2010-05-19 深圳华为通信技术有限公司 图像拼接方法及装置
CN102592124A (zh) * 2011-01-13 2012-07-18 汉王科技股份有限公司 文本图像的几何校正方法、装置和双目立体视觉系统
CN103020579A (zh) * 2011-09-22 2013-04-03 上海银晨智能识别科技有限公司 人脸识别方法及系统、人脸图像的眼镜框去除方法与装置
US20130129159A1 (en) * 2011-11-22 2013-05-23 Ronald Huijgens Face recognition method and apparatus
CN103279949A (zh) * 2013-05-09 2013-09-04 浙江大学 基于自定位机器人的多相机参数自动标定系统运行方法
CN103759670A (zh) * 2014-01-06 2014-04-30 四川虹微技术有限公司 一种基于数字近景摄影的物体三维信息获取方法
CN105447462A (zh) * 2015-11-20 2016-03-30 小米科技有限责任公司 人脸姿态估计方法及装置
CN105678308A (zh) * 2016-01-12 2016-06-15 中国科学院自动化研究所 一种基于光照方向不一致性的图像拼接检测方法

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932459A (zh) * 2017-05-26 2018-12-04 富士通株式会社 脸部识别模型训练方法和装置及脸部识别方法
CN108932459B (zh) * 2017-05-26 2021-12-10 富士通株式会社 脸部识别模型训练方法和装置及脸部识别方法
CN109697688A (zh) * 2017-10-20 2019-04-30 虹软科技股份有限公司 一种用于图像处理的方法和装置
CN109697688B (zh) * 2017-10-20 2023-08-04 虹软科技股份有限公司 一种用于图像处理的方法和装置
CN108921000A (zh) * 2018-04-16 2018-11-30 深圳市深网视界科技有限公司 头部角度标注、预测模型训练、预测方法、设备和介质
CN108921000B (zh) * 2018-04-16 2024-02-06 深圳市深网视界科技有限公司 头部角度标注、预测模型训练、预测方法、设备和介质
CN109146769A (zh) * 2018-07-24 2019-01-04 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质
CN109543576A (zh) * 2018-11-09 2019-03-29 石家庄铁道大学 基于骨骼检测和三维重建的列车驾驶员检测方法
CN110020600A (zh) * 2019-03-05 2019-07-16 厦门美图之家科技有限公司 生成用于训练人脸对齐模型的数据集的方法
CN110020600B (zh) * 2019-03-05 2021-04-16 厦门美图之家科技有限公司 生成用于训练人脸对齐模型的数据集的方法
CN110956065B (zh) * 2019-05-11 2022-06-10 魔门塔(苏州)科技有限公司 一种用于模型训练的人脸图像处理方法及装置
CN110956065A (zh) * 2019-05-11 2020-04-03 初速度（苏州）科技有限公司 一种用于模型训练的人脸图像处理方法及装置
WO2020228223A1 (zh) * 2019-05-11 2020-11-19 初速度（苏州）科技有限公司 一种用于模型训练的人脸图像处理方法及装置
CN112070681A (zh) * 2019-05-24 2020-12-11 北京小米移动软件有限公司 图像处理方法及装置
CN112070681B (zh) * 2019-05-24 2024-02-13 北京小米移动软件有限公司 图像处理方法及装置
CN110516643A (zh) * 2019-08-30 2019-11-29 电子科技大学 一种基于联合热力图的人脸3d关键点检测方法及系统
CN110555815B (zh) * 2019-08-30 2022-05-20 维沃移动通信有限公司 一种图像处理方法和电子设备
CN110555815A (zh) * 2019-08-30 2019-12-10 维沃移动通信有限公司 一种图像处理方法和电子设备
CN110826395A (zh) * 2019-09-18 2020-02-21 平安科技（深圳）有限公司 人脸旋转模型的生成方法、装置、计算机设备及存储介质
CN110826395B (zh) * 2019-09-18 2023-10-31 平安科技（深圳）有限公司 人脸旋转模型的生成方法、装置、计算机设备及存储介质
CN110942007A (zh) * 2019-11-21 2020-03-31 北京达佳互联信息技术有限公司 手部骨骼参数确定方法、装置、电子设备和存储介质
CN110942007B (zh) * 2019-11-21 2024-03-05 北京达佳互联信息技术有限公司 手部骨骼参数确定方法、装置、电子设备和存储介质
CN113139892A (zh) * 2020-01-19 2021-07-20 株式会社理光 一种视线轨迹的计算方法、装置及计算机可读存储介质
CN113301242A (zh) * 2020-02-21 2021-08-24 中兴通讯股份有限公司 拍摄方法、终端以及计算机可读存储介质
CN111985384A (zh) * 2020-08-14 2020-11-24 深圳地平线机器人科技有限公司 获取脸部关键点的3d坐标及3d脸部模型的方法和装置
CN114429653A (zh) * 2020-10-29 2022-05-03 中车株洲电力机车研究所有限公司 一种人脸识别优化方法及其装置

Also Published As

Publication number Publication date
CN106503684B (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN106503684A (zh) 一种人脸图像处理方法和装置
CN106503671B (zh) 确定人脸姿态的方法和装置
Krull et al. Learning analysis-by-synthesis for 6D pose estimation in RGB-D images
Huang et al. A coarse-to-fine algorithm for matching and registration in 3D cross-source point clouds
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
JP2016161569A (ja) オブジェクトの３ｄ姿勢およびオブジェクトのランドマーク点の３ｄロケーションを求める方法、およびオブジェクトの３ｄ姿勢およびオブジェクトのランドマークの３ｄロケーションを求めるシステム
CN106447725B (zh) 基于轮廓点混合特征匹配的空间目标姿态估计方法
WO2017199141A1 (en) Point cloud matching method
CN108182397B (zh) 一种多姿态多尺度的人脸验证方法
US20220319146A1 (en) Object detection method, object detection device, terminal device, and medium
Xia et al. Head pose estimation in the wild assisted by facial landmarks based on convolutional neural networks
CN110532979A (zh) 一种三维图像人脸识别方法及系统
CN103077509A (zh) 利用离散立方体全景图实时合成连续平滑全景视频的方法
WO2019169884A1 (zh) 基于深度信息的图像显著性检测方法和装置
JPWO2018189795A1 (ja) 認識装置、認識方法および認識プログラム
Zhou et al. MonoEF: Extrinsic parameter free monocular 3D object detection
WO2023016182A1 (zh) 位姿确定方法、装置、电子设备和可读存储介质
CN111415420A (zh) 空间信息确定方法、装置及电子设备
Saval-Calvo et al. Three-dimensional planar model estimation using multi-constraint knowledge based on k-means and RANSAC
CN113034581A (zh) 基于深度学习的空间目标相对位姿估计方法
CN116097307A (zh) 图像的处理方法及相关设备
Itu et al. Automatic extrinsic camera parameters calibration using Convolutional Neural Networks
CN110046554B (zh) 一种人脸对齐方法和相机
CN116630423A (zh) 一种基于orb特征的微小型机器人多目标双目定位方法及系统
JP4876742B2 (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20170824

Address after: 361008, Xiamen three software park, Fujian Province, 8 North Street, room 2001

Applicant after: Xiamen Central Intelligent Information Technology Co., Ltd.

Address before: 361000 Fujian province Xiamen software park two sunrise Road No. 32 403 unit 02 District

Applicant before: XIAMEN ZHONGKONG BIOLOGICAL RECOGNITION INFORMATION TECHNOLOGY CO., LTD.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 1301, No.132, Fengqi Road, phase III, software park, Xiamen City, Fujian Province

Patentee after: Xiamen Entropy Technology Co., Ltd

Address before: 361008 room 8, 2001 North Avenue, Xiamen Software Park, Fujian, three

Patentee before: XIAMEN ZKTECO BIOMETRIC IDENTIFICATION TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address