CN111160232B - 正面人脸重建方法、装置及系统 - Google Patents

正面人脸重建方法、装置及系统 Download PDF

Info

Publication number
CN111160232B
CN111160232B CN201911374555.1A CN201911374555A CN111160232B CN 111160232 B CN111160232 B CN 111160232B CN 201911374555 A CN201911374555 A CN 201911374555A CN 111160232 B CN111160232 B CN 111160232B
Authority
CN
China
Prior art keywords
face
feature points
dimensional coordinates
target
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911374555.1A
Other languages
English (en)
Other versions
CN111160232A (zh
Inventor
马玉
白雪松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Junyu Digital Technology Co ltd
Original Assignee
Shanghai Junyu Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Junyu Digital Technology Co ltd filed Critical Shanghai Junyu Digital Technology Co ltd
Priority to CN201911374555.1A priority Critical patent/CN111160232B/zh
Publication of CN111160232A publication Critical patent/CN111160232A/zh
Application granted granted Critical
Publication of CN111160232B publication Critical patent/CN111160232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Abstract

本发明提供了一种正面人脸重建方法、装置及系统,涉及图像处理技术领域,包括获取目标人脸的不同偏转角度的人脸图像;检测各个人脸图像的特征点,并确定不同人脸图像之间的特征点匹配组;其中,特征点匹配组包括至少两个匹配度达到预设匹配度阈值的特征点;获取特征点匹配组中特征点的二维坐标,并基于特征点的二维坐标确定特征点的原始三维坐标和目标人脸相对于相机的旋转角度;其中,相机为拍摄人脸图像的相机;根据特征点的原始三维坐标和目标人脸相对于相机的旋转角度,确定目标人脸的正面化后的特征点的目标三维坐标;基于特征点的目标三维坐标构建正面人脸模型。本发明能够有效提高转正后人脸的面部信息的准确性和真实性。

Description

正面人脸重建方法、装置及系统
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种正面人脸重建方法、装置及系统。
背景技术
人脸识别是利用分析比较人脸的面部特征信息进行身份识别的计算机技术。人脸的姿态角度是人脸识别准确性的关键因素,通常可以先将非正面角度的人脸进行旋转,然后再对旋转后的正面人脸进行识别。现有的人脸旋转技术主要是利用单张图像进行旋转,该方式能够生产人脸大的结构,也即能够得到完整的模糊的正脸图像。然而,旋转后的人脸存在真实性不高、面部信息偏差较大等问题,影响人脸识别算法的精度。
发明内容
本发明的目的在于提供正面人脸重建方法、装置及系统,以提高转正后人脸的面部信息的准确性和真实性。
本发明提供的一种正面人脸重建方法,包括:获取目标人脸的不同偏转角度的人脸图像;检测各个所述人脸图像的特征点,并确定不同所述人脸图像之间的特征点匹配组;其中,所述特征点匹配组包括至少两个匹配度达到预设匹配度阈值的特征点;获取所述特征点匹配组中特征点的二维坐标,并基于所述特征点的二维坐标确定所述特征点的原始三维坐标和所述目标人脸相对于相机的旋转角度;其中,所述相机为拍摄所述人脸图像的相机;根据所述特征点的原始三维坐标和所述目标人脸相对于相机的旋转角度,确定所述目标人脸的正面化后的特征点的目标三维坐标;基于所述特征点的目标三维坐标构建正面人脸模型。
进一步的,所述确定不同所述人脸图像之间的特征点匹配组的步骤,包括:根据预设的匹配度算法计算至少两张不同所述人脸图像中特征点之间的匹配度;其中,所述匹配度算法包括:欧式距离算法、皮尔逊相关系数算法和余弦相似度算法;将计算的匹配度高于预设匹配度阈值的特征点确定为候选特征点组;根据RANSAC算法对所述候选特征点组进行优化,得到最终的特征点组。
进一步的,所述方法还包括:采用对极几何约束算法对基于所述RANSAC算法优化后的特征点组进行误匹配特征点的过滤。
进一步的,所述基于所述特征点的二维坐标确定所述特征点的原始三维坐标的步骤,包括:基于对极几何约束算法和所述特征点的二维坐标确定所述目标人脸相对于相机的位姿参数;其中,所述目标人脸相对于相机的位姿参数包括旋转角度和平移变量;根据三角化算法和所述目标人脸相对于相机的位姿参数确定所述特征点的深度信息;将所述二维坐标和所述深度信息确定为所述特征点的原始三维坐标。
进一步的,所述获取目标人脸的不同偏转角度的人脸图像的步骤,包括:通过固定的相机获取目标人脸在不同偏转角度下的人脸图像;或者,通过安装于不同角度的相机分别获取目标人脸的人脸图像。
进一步的,所述检测各个所述人脸图像的特征点的步骤,包括:根据预设的特征点检测算法对所述人脸图像进行检测,得到所述人脸图像的特征点;其中,所述特征点检测算法包括:SURF算法和FAST算法。
进一步的,所述基于所述特征点的目标三维坐标构建正面人脸模型的步骤,包括:基于所述特征点的目标三维坐标生成三维空间的点云矩阵;对所述点云矩阵进行拼接和降噪处理,并对处理后的点云矩阵进行渲染,得到目标人脸的正面人脸模型。
本发明提供的一种正面人脸重建装置,包括:图像获取模块,用于获取目标人脸的不同偏转角度的人脸图像;特征点匹配模块,用于检测各个所述人脸图像的特征点,并确定不同所述人脸图像之间的特征点匹配组;其中,所述特征点匹配组包括至少两个匹配度达到预设匹配度阈值的特征点;坐标确定模块,用于获取所述特征点匹配组中特征点的二维坐标,并基于所述特征点的二维坐标确定所述特征点的原始三维坐标和所述目标人脸相对于相机的旋转角度;其中,所述相机为拍摄所述人脸图像的相机;坐标转正模块,用于根据所述特征点的原始三维坐标和所述目标人脸相对于相机的旋转角度,确定所述目标人脸的正面化后的特征点的目标三维坐标;正面人脸构建模块,用于基于所述特征点的目标三维坐标构建正面人脸模型。
本发明提供的一种正面人脸重建系统,所述系统包括:处理器和存储装置;所述存储装置上存储有计算机程序,所述计算机程序在被所述处理器运行时执行上述的方法。
本发明提供的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述方法的步骤。
本发明实施例提供了一种正面人脸重建方法、装置及系统,包括:首先检测获取到的不同偏转角度的人脸图像的特征点,并确定不同人脸图像之间的特征点匹配组;然后获取特征点匹配组中特征点的二维坐标,并基于此确定特征点的原始三维坐标和目标人脸相对于相机的旋转角度;其次根据特征点的原始三维坐标和目标人脸相对于相机的旋转角度,确定目标人脸的正面化后的特征点的目标三维坐标;最后基于特征点的目标三维坐标构建正面人脸模型。相对于现有技术中利用单张图像进行旋转的方式,本实施例通过针对不同人脸图像之间的特征点匹配组中的特征点坐标进行转正,能够有效降低转正后特征点坐标的偏差,基于该准确性更高的特征点坐标所构建的正面人脸模型能够较完整的保留面部信息,从而提高了转正后面部信息的准确性和真实性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的正面人脸重建方法流程图;
图2为本发明实施例提供的不同偏转角度的人脸图像的示意图;
图3为本发明实施例提供的构建正面人脸模型的示意图;
图4为本发明实施例提供的正面人脸重建装置的结构框图;
图5为本发明实施例提供的正面人脸重建系统的结构示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在人脸识别技术中,现有利用单张图像的人脸转正方式存在旋转后的人脸真实性不高、面部信息偏差较大等问题。
基于此,本发明实施例提供的一种正面人脸重建方法、装置及系统,以提高转正后人脸的面部信息的准确性和真实性。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种正面人脸重建方法进行详细介绍。
实施例一:
参照图1所示的正面人脸重建方法流程图,该方法包括如下步骤S102至步骤S110:
步骤S102,获取目标人脸的不同偏转角度的人脸图像。
在实际生产应用中,如果利用多张(三张以上)人脸图像进行人脸转正的话,计算量大且计算过程复杂,由此一般利用同一个人的两张不同偏转角度的人脸图像,诸如图2所示意的右偏转角度的第一人脸图像和左偏转角度的第二人脸图像。在此情况下,既能够降低计算复杂度,又能够满足构建正面人脸模型的信息真实性、准确性的要求。
人脸图像的获取方式可以有多种,例如:通过固定的相机获取目标人脸在不同偏转角度下的人脸图像;或者;通过安装于不同角度的相机分别获取目标人脸的人脸图像。以上仅为示例,不应理解为限制。
步骤S104,检测各个人脸图像的特征点,并确定不同人脸图像之间的特征点匹配组;其中,特征点匹配组包括至少两个匹配度达到预设匹配度阈值的特征点。
在本实施例中,可以根据预设的特征点检测算法对人脸图像进行检测,得到人脸图像的特征点。其中,特征点检测算法包括但不限于:SURF算法和FAST算法。先根据特征点检测算法检测到每张人脸图像中的多个(如106个)特征点及特征点的位置、名称等相关描述子信息后,对不同人脸图片的特征点进行特征匹配,以得到多组特征点匹配组。例如,从第一人脸图像和第二人脸图像种可以得到如图3中间图所示出的特征点匹配组的示例:第一人脸图像中鼻尖位置的特征点和第二人脸图像中鼻尖位置的特征点组成的特征点匹配组,第一人脸图像中左眼中心位置的特征点和第二人脸图像中右眼中心位置的特征点组成的特征点匹配组,第一人脸图像中左嘴角位置的特征点和第二人脸图像中右嘴角位置的特征点组成的特征点匹配组等等。
步骤S106,获取特征点匹配组中特征点的二维坐标,并基于特征点的二维坐标确定特征点的原始三维坐标和目标人脸相对于相机的旋转角度;其中,相机为拍摄人脸图像的相机。其中,特征点的二维坐标可以在人脸图像中直接获取。
步骤S108,根据特征点的原始三维坐标和目标人脸相对于相机的旋转角度,确定目标人脸的正面化后的特征点的目标三维坐标。在具体实现时,可以将特征点的原始三维坐标乘以目标人脸相对于相机的旋转角度的相反数,以确定目标人脸的正面化后的特征点的目标三维坐标。
步骤S110,基于特征点的目标三维坐标构建正面人脸模型。
在一种实现方式中,可以基于特征点的目标三维坐标生成三维空间的点云矩阵;对点云矩阵进行拼接和降噪处理,并对处理后的点云矩阵进行渲染,得到目标人脸的正面人脸模型。
可以理解的是,在实际场景中,很容易得到同一人的多张不同偏转角度的2D人脸图像,利用2D人脸图像重建3D人脸模型(也即正面人脸模型),可以得到更多的人脸数据,且得到的人脸数据具有更好的鲁棒性和更高的精度;特别是在人脸角度大、环境光变化、化妆以及表情变化等复杂的情况下,所得到的人脸数据仍然具有较高的识别精度。原因在于:相对于2D人脸图像而言,正面人脸模型包含了人脸的空间信息,这不仅能够为人脸识别提供帮助,也能够为活体检测提供有效的数据。
相对于现有技术中利用单张图像进行旋转的方式,本实施例通过针对不同人脸图像之间的特征点匹配组中的特征点坐标进行转正,能够有效降低转正后特征点坐标的偏差,基于该准确性更高的特征点坐标所构建的正面人脸模型能够较完整的保留面部信息,从而提高了转正后面部信息的准确性和真实性。
本实施例提供一种上述步骤S104中特征点匹配组的具体确定方式,可参照如下三个步骤:
步骤一、根据预设的匹配度算法计算至少两张不同人脸图像中特征点之间的匹配度;其中,匹配度算法诸如:欧式距离算法、皮尔逊相关系数算法和余弦相似度算法等。
步骤二、将计算的匹配度高于预设匹配度阈值的特征点确定为候选特征点组。
步骤三、根据RANSAC算法(Random Sample Consensus,随机抽样一致算法)对候选特征点组进行优化,得到最终的特征点组。利用RANSAC算法能够删除一些因特征点检测算法误差带来的误匹配,从而提高特征点组的质量,也即保留匹配度更高的特征点组。
考虑到经RANSAC算法优化后的特征点组可能还存在匹配度较低的特征点组,由此本实施例还可以采用对极几何约束算法对基于RANSAC算法优化后的特征点组进行误匹配特征点的过滤,以进一步删除一些误匹配的特征点。
通过上述方式得到精确匹配的特征点组之后,可以利用这些特征点组确定每个特征点的原始三维坐标,在一种实现方式中,针对每个特征点的原始三维坐标,均可参照如下步骤(1)至(3)确定:
(1)基于对极几何约束算法和特征点的二维坐标确定目标人脸相对于相机的位姿参数;其中,目标人脸相对于相机的位姿参数包括旋转角度R和平移变量T。对极几何约束算法是运动结构(Structure from Motion,sfm)问题中,在两个相机位置产生的两张图像的之间存在的一种特殊几何关系,是sfm问题中2D-2D求解两帧间相机姿态的基本模型。
本步骤在具体实现时,可以先根据特征点匹配组中特征点的二维坐标求出本质矩阵E或者基础矩阵F;然后根据本质矩阵E或者基础矩阵F计算目标人脸相对于相机的旋转角度R和平移变量T。
(2)根据三角化算法和目标人脸相对于相机的位姿参数确定特征点的深度信息。在实际生产中,可以通过调用OpenCV提供的triangulation函数进行三角化,以得到特征点的深度信息。可以理解的是,本实施例能够得到两张人脸图像中每个特征点的深度信息。
(3)将二维坐标和深度信息确定为特征点的原始三维坐标。特征点的原始三维坐标可以表示为P(x,y,z),其中(x,y)为特征点在人脸图像中的二维坐标,z为上述深度信息。
通过上述方法可以获取2D的人脸图像,以及人脸图像中106个特征点的原始三维坐标后,可以将原始三维坐标乘以目标人脸相对于相机的旋转角度的相反数,以确定目标人脸的正面化后的特征点的目标三维坐标,再基于此构建正面人脸模型。为了便于理解,本实施例提供如下构建正面人脸模型的实际应用示例。
在计算机视觉中,可以通过相对于相机移动对象(如人、人脸或其他对象),或者相对于对象移动相机来更改姿势。对象对照相机包括平移和旋转两种运动。平移是指将相机从当前的3D位置(X,Y,Z)移动到新的3D位置(X',Y',Z'),旋转是指绕X,Y和Z轴旋转相机。
根据相机成像原理,通过平移和旋转将3D的世界坐标点转换为3D的相机坐标系下,然后再通过相机的小孔成像模型将相机坐标转换为2D的像素坐标。这其中的转换公式为:
Figure BDA0002336204660000081
其中所有点坐标用齐次坐标表示,M为相机的内参矩阵,T为旋转和平移矩阵,s为缩放因子。
接下来通过最下二乘法对数据进行拟合,主要是通过获取到的106个特征点的二维坐标和三维坐标以及相机的内参数建立上述转换公式;其中,相机的内参数一般可以通过阅读相机的产品说明获得,或者使用张正友相机标定算法获得。基于建立的转换公式求解出旋转角度T。接下来通过将特征点的原始三维坐标乘以旋转角度T的相反数就可以获得该目标人脸相对于相机的正脸的三维坐标信息,该目标人脸相对于相机的正脸的三维坐标信息也就是前述的目标人脸的正面化后的特征点的目标三维坐标。最后基于特征点的目标三维坐标构建正面人脸模型。
综上,本实施例通过针对不同人脸图像之间的特征点匹配组中的特征点坐标进行转正,能够有效降低转正后特征点坐标的偏差,基于该准确性更高的特征点坐标所构建的正面人脸模型能够较完整的保留面部信息,从而提高了转正后面部信息的准确性和真实性。
实施例二:
基于上述实施例所提供的正面人脸重建方法,本实施例提供一种正面人脸重建装置。参照如图4所示的正面人脸重建装置得结构框图,该装置包括:
图像获取模块402,用于获取目标人脸的不同偏转角度的人脸图像;
特征点匹配模块404,用于检测各个人脸图像的特征点,并确定不同人脸图像之间的特征点匹配组;其中,特征点匹配组包括至少两个匹配度达到预设匹配度阈值的特征点;
坐标确定模块406,用于获取特征点匹配组中特征点的二维坐标,并基于特征点的二维坐标确定特征点的原始三维坐标和目标人脸相对于相机的旋转角度;其中,相机为拍摄人脸图像的相机;
坐标转正模块408,用于根据特征点的原始三维坐标和目标人脸相对于相机的旋转角度,确定目标人脸的正面化后的特征点的目标三维坐标;
正面人脸构建模块410,用于基于特征点的目标三维坐标构建正面人脸模型。
相对于现有技术中利用单张图像进行旋转的方式,本实施例提供的正面人脸重建装置,通过针对不同人脸图像之间的特征点匹配组中的特征点坐标进行转正,能够有效降低转正后特征点坐标的偏差,基于该准确性更高的特征点坐标所构建的正面人脸模型能够较完整的保留面部信息,从而提高了转正后面部信息的准确性和真实性。
在一种实施例中,上述特征点匹配模块404还用于:根据预设的匹配度算法计算至少两张不同人脸图像中特征点之间的匹配度;其中,匹配度算法包括:欧式距离算法、皮尔逊相关系数算法和余弦相似度算法;将计算的匹配度高于预设匹配度阈值的特征点确定为候选特征点组;根据RANSAC算法对候选特征点组进行优化,得到最终的特征点组。
在一种实施例中,上述特征点匹配模块404还用于:采用对极几何约束算法对基于RANSAC算法优化后的特征点组进行误匹配特征点的过滤。
在一种实施例中,上述坐标确定模块406还用于:基于对极几何约束算法和特征点的二维坐标确定目标人脸相对于相机的位姿参数;其中,目标人脸相对于相机的位姿参数包括旋转角度和平移变量;根据三角化算法和目标人脸相对于相机的位姿参数确定特征点的深度信息;将二维坐标和深度信息确定为特征点的原始三维坐标。
在一种实施例中,上述图像获取模块402还用于:通过固定的相机获取目标人脸在不同偏转角度下的人脸图像;或者,通过安装于不同角度的相机分别获取目标人脸的人脸图像。
在一种实施例中,上述特征点匹配模块404还用于:根据预设的特征点检测算法对人脸图像进行检测,得到人脸图像的特征点;其中,特征点检测算法包括:SURF算法和FAST算法。
在一种实施例中,上述正面人脸构建模块410还用于:基于特征点的目标三维坐标生成三维空间的点云矩阵;对点云矩阵进行拼接和降噪处理,并对处理后的点云矩阵进行渲染,得到目标人脸的正面人脸模型。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例还提供一种正面人脸重建系统,该系统包括存储器、处理器,存储器中存储有可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例提供的正面人脸重建方法。
具体的,参见如图5所示的正面人脸重建系统的结构示意图,该系统还包括总线503和通信接口504,处理器502、通信接口504和存储器501通过总线503连接。
其中,存储器501可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口504(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。总线503可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
处理器502可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器502中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器502可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DigitalSignal Processing,简称DSP)、专用集成电路(Application Specific IntegratedCircuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器501,处理器502读取存储器501中的信息,结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述实施例的正面人脸重建方法的步骤。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种正面人脸重建方法,其特征在于,包括:
获取目标人脸的不同偏转角度的人脸图像;
检测各个所述人脸图像的特征点,并确定不同所述人脸图像之间的特征点匹配组;其中,所述特征点匹配组包括至少两个匹配度达到预设匹配度阈值的特征点;所述特征点匹配组包括不同所述人脸图像中至少两个不同的特征点;
获取所述特征点匹配组中特征点的二维坐标,并基于所述特征点的二维坐标确定所述特征点的原始三维坐标和所述目标人脸相对于相机的旋转角度;其中,所述相机为拍摄所述人脸图像的相机;
根据所述特征点的原始三维坐标和所述目标人脸相对于相机的旋转角度,确定所述目标人脸的正面化后的特征点的目标三维坐标;
基于所述特征点的目标三维坐标构建正面人脸模型;
所述基于所述特征点的目标三维坐标构建正面人脸模型的步骤,包括:基于所述特征点的目标三维坐标生成三维空间的点云矩阵;对所述点云矩阵进行拼接和降噪处理,并对处理后的点云矩阵进行渲染,得到目标人脸的正面人脸模型。
2.根据权利要求1所述的方法,其特征在于,所述确定不同所述人脸图像之间的特征点匹配组的步骤,包括:
根据预设的匹配度算法计算至少两张不同所述人脸图像中特征点之间的匹配度;其中,所述匹配度算法包括:欧式距离算法、皮尔逊相关系数算法和余弦相似度算法;
将计算的匹配度高于预设匹配度阈值的特征点确定为候选特征点组;
根据RANSAC算法对所述候选特征点组进行优化,得到最终的特征点组。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
采用对极几何约束算法对基于所述RANSAC算法优化后的特征点组进行误匹配特征点的过滤。
4.根据权利要求1所述的方法,其特征在于,所述基于所述特征点的二维坐标确定所述特征点的原始三维坐标的步骤,包括:
基于对极几何约束算法和所述特征点的二维坐标确定所述目标人脸相对于相机的位姿参数;其中,所述目标人脸相对于相机的位姿参数包括旋转角度和平移变量;
根据三角化算法和所述目标人脸相对于相机的位姿参数确定所述特征点的深度信息;
将所述二维坐标和所述深度信息确定为所述特征点的原始三维坐标。
5.根据权利要求1所述的方法,其特征在于,所述获取目标人脸的不同偏转角度的人脸图像的步骤,包括:
通过固定的相机获取目标人脸在不同偏转角度下的人脸图像;
或者,
通过安装于不同角度的相机分别获取目标人脸的人脸图像。
6.根据权利要求1所述的方法,其特征在于,所述检测各个所述人脸图像的特征点的步骤,包括:
根据预设的特征点检测算法对所述人脸图像进行检测,得到所述人脸图像的特征点;其中,所述特征点检测算法包括:SURF算法和FAST算法。
7.一种正面人脸重建装置,其特征在于,包括:
图像获取模块,用于获取目标人脸的不同偏转角度的人脸图像;
特征点匹配模块,用于检测各个所述人脸图像的特征点,并确定不同所述人脸图像之间的特征点匹配组;其中,所述特征点匹配组包括至少两个匹配度达到预设匹配度阈值的特征点;所述特征点匹配组包括不同所述人脸图像中至少两个不同的特征点;
坐标确定模块,用于获取所述特征点匹配组中特征点的二维坐标,并基于所述特征点的二维坐标确定所述特征点的原始三维坐标和所述目标人脸相对于相机的旋转角度;其中,所述相机为拍摄所述人脸图像的相机;
坐标转正模块,用于根据所述特征点的原始三维坐标和所述目标人脸相对于相机的旋转角度,确定所述目标人脸的正面化后的特征点的目标三维坐标;
正面人脸构建模块,用于基于所述特征点的目标三维坐标构建正面人脸模型;
所述正面人脸构建模块还用于:基于特征点的目标三维坐标生成三维空间的点云矩阵;对点云矩阵进行拼接和降噪处理,并对处理后的点云矩阵进行渲染,得到目标人脸的正面人脸模型。
8.一种正面人脸重建系统,其特征在于,所述系统包括:处理器和存储装置;
所述存储装置上存储有计算机程序,所述计算机程序在被所述处理器运行时执行如权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行上述权利要求1至6任一项所述的方法的步骤。
CN201911374555.1A 2019-12-25 2019-12-25 正面人脸重建方法、装置及系统 Active CN111160232B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911374555.1A CN111160232B (zh) 2019-12-25 2019-12-25 正面人脸重建方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911374555.1A CN111160232B (zh) 2019-12-25 2019-12-25 正面人脸重建方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111160232A CN111160232A (zh) 2020-05-15
CN111160232B true CN111160232B (zh) 2021-03-12

Family

ID=70556957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911374555.1A Active CN111160232B (zh) 2019-12-25 2019-12-25 正面人脸重建方法、装置及系统

Country Status (1)

Country Link
CN (1) CN111160232B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199579B (zh) * 2020-01-02 2023-01-24 腾讯科技(深圳)有限公司 一种目标物的三维模型构建方法、装置、设备及介质
CN111833441A (zh) * 2020-07-30 2020-10-27 华中师范大学 一种基于多相机系统的人脸三维重建方法和装置
CN112562060A (zh) * 2020-11-24 2021-03-26 深兰科技(上海)有限公司 三维人脸建模方法、装置、电子设备及存储介质
CN112883925B (zh) * 2021-03-23 2023-08-29 杭州海康威视数字技术股份有限公司 一种人脸图像处理方法、装置及设备
CN113610051B (zh) * 2021-08-26 2023-11-17 合众新能源汽车股份有限公司 基于人脸注册的人脸测距方法、设备和计算机可读介质
CN115797185B (zh) * 2023-02-08 2023-05-02 四川精伍轨道交通科技有限公司 一种基于图像处理、复球面的坐标转换的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065289A (zh) * 2013-01-22 2013-04-24 清华大学 基于双目立体视觉的四目摄像机正面人脸重建方法
CN108898665A (zh) * 2018-06-15 2018-11-27 上饶市中科院云计算中心大数据研究院 三维人脸重建方法、装置、设备及计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404091B (zh) * 2008-11-07 2011-08-31 重庆邮电大学 基于两步形状建模的三维人脸重建方法和系统
CN106934759A (zh) * 2015-12-30 2017-07-07 掌赢信息科技(上海)有限公司 一种人脸特征点的正面化方法及电子设备
CN105894574B (zh) * 2016-03-30 2018-09-25 清华大学深圳研究生院 一种双目三维重建方法
CN107274483A (zh) * 2017-06-14 2017-10-20 广东工业大学 一种物体三维模型构建方法
CN108764024B (zh) * 2018-04-09 2020-03-24 平安科技(深圳)有限公司 人脸识别模型的生成装置、方法及计算机可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065289A (zh) * 2013-01-22 2013-04-24 清华大学 基于双目立体视觉的四目摄像机正面人脸重建方法
CN108898665A (zh) * 2018-06-15 2018-11-27 上饶市中科院云计算中心大数据研究院 三维人脸重建方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN111160232A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN111160232B (zh) 正面人脸重建方法、装置及系统
US20220254105A1 (en) Systems and Methods for 3D Facial Modeling
CN111145238B (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
CN111652086A (zh) 人脸活体检测方法、装置、电子设备及存储介质
WO2012049098A1 (en) Range image pixel matching method
CN113822942B (zh) 一种基于二维码的单目摄像头测量物体尺寸的方法
CN112184811B (zh) 单目空间结构光系统结构校准方法及装置
TWI721786B (zh) 人臉校驗方法、裝置、伺服器及可讀儲存媒介
CN112257713A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN116029996A (zh) 立体匹配的方法、装置和电子设备
CN111046845A (zh) 活体检测方法、装置及系统
KR20150053438A (ko) 스테레오 매칭 시스템과 이를 이용한 시차 맵 생성 방법
CN111882655A (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
CN111325828A (zh) 一种基于三目相机的三维人脸采集方法及装置
CN113140002B (zh) 基于双目立体相机的道路状况检测方法、系统和智能终端
CN110800020B (zh) 一种图像信息获取方法、图像处理设备及计算机存储介质
CN111160233B (zh) 基于三维成像辅助的人脸活体检测方法、介质及系统
CN109902695B (zh) 一种面向像对直线特征匹配的线特征矫正与提纯方法
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
WO2020134229A1 (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111383255B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113723380B (zh) 基于雷达技术的人脸识别方法、装置、设备和存储介质
CN115661258A (zh) 标定方法及装置、畸变校正方法及装置、存储介质、终端
CN112712536B (zh) 图像处理方法、芯片及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant