CN109063678A - 脸部图像识别的方法、装置及存储介质 - Google Patents

脸部图像识别的方法、装置及存储介质 Download PDF

Info

Publication number
CN109063678A
CN109063678A CN201810975866.2A CN201810975866A CN109063678A CN 109063678 A CN109063678 A CN 109063678A CN 201810975866 A CN201810975866 A CN 201810975866A CN 109063678 A CN109063678 A CN 109063678A
Authority
CN
China
Prior art keywords
face image
stereo
group
normal
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810975866.2A
Other languages
English (en)
Other versions
CN109063678B (zh
Inventor
陈日伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201810975866.2A priority Critical patent/CN109063678B/zh
Publication of CN109063678A publication Critical patent/CN109063678A/zh
Priority to PCT/CN2019/075931 priority patent/WO2020037963A1/zh
Application granted granted Critical
Publication of CN109063678B publication Critical patent/CN109063678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种脸部图像识别的方法、装置及存储介质,包括获取同组待识别对象的一组脸部图像,其中,脸部图像为三维立体脸部图像;将一组脸部图像的坐标投射至二维平面;通过基于二维平面中已训练好的深度卷积神经网络模型,提取待识别对象的一组脸部图像在各个坐标轴上的法向分量图的特征;根据法向分量图的特征完成同组其余两部图像的校正。本公开实现了即便无法采集到不固定姿态的特定对象的正面头像,也能实现精准脸部识别,并为其脸部增加特效的技术效果。

Description

脸部图像识别的方法、装置及存储介质
技术领域
本公开涉及人工智能技术领域,具体而言,涉及一种脸部图像识别的方法、装置及存储介质。
背景技术
本公开对于背景技术的描述属于与本公开相关的相关技术,仅仅是用于说明和便于理解本公开的发明内容,不应理解为申请人明确认为或推定申请人认为是本公开在首次提出申请的申请日的现有技术。
随着科学技术的快速发展,越来越多的电子多媒体技术应用到人们的日常生活中,人们的娱乐休闲方式的也来越多,其中,拍短视频的音乐创意短视频社交软件就是其中一种,在拍摄或者编辑短视频时,可对人的脸部增加特效,增加娱乐效果。但是目前短视频社交软件无法准确识别摄像头所采集的不固定姿态的特定对象,如动物、婴儿的脸部图像,因而无法满足用户更多的需求。
发明内容
本公开的第一个方面涉及一种脸部图像识别方法,具体包括:脸部图像获取步骤,获取同组待识别对象的一组脸部图像,其中,所述脸部图像为三维立体脸部图像;投射步骤,将所述一组脸部图像的坐标投射至二维平面;提取法向分量图的特征步骤,通过基于二维平面中已训练好的深度卷积神经网络模型,提取待识别对象的所述一组脸部图像在各个坐标轴上的法向分量的特征;校正步骤,根据所述法向分量图的特征完成所述同组其余所述脸部图像的校正操作。
本公开可以实现快速针对多个生物同时采集动态和静态的脸部图像,尤其针对不固定姿态的特定对象,如动物、婴儿,即便无法采集到正面的姿态头像,也能实现精准脸部识别,进行后续所需图像处理。
根据本公开,优选的实施方式中,还包括:预处理步骤,其中,所述预处理步骤包括:滤波步骤,对所述三维立体脸部图像进行高斯滤波和中值滤波;确定鼻尖点位置步骤,计算高斯曲率和中值曲率,结合通过多样本预先训练好生成的三维模型来确定鼻尖点;定义多个脸部区域步骤,以鼻尖点为球心,90度球面与所述三维立体脸部图像交集部分进行脸部区域的定义;姿态配准步骤,用ICP算法对定义后的所述脸部区域进行姿态配准。
根据本公开,优选的实施方式中,所述投射步骤包括:生成深度图步骤,将所述三维立体脸部图像投影为二维平面上生成深度图;估计点法向量步骤,用所述深度图上任一点的局部领域点拟合平面的法向量来估计该点的法向量;生成三维法向量图步骤,识别脸部特征点并生成XYZ三维法向分量图。
根据本公开,优选的实施方式中,校正步骤包括:其余脸部图像获取步骤,获取其余所述三维立体脸部图像;依次提取多个法向分量图的特征步骤,依次使用多个所述三维立体脸部图像经过二维投影,提取法向分量图的特征;多次校正步骤,通过每个所述三维立体脸部图像上识别到的脸部特征点对所述法向分量图进行校正;输出识别步骤,输出经校正后的其余所述三维立体脸部图像。
本公开的第二个方面涉及一种脸部图像识别装置,包括:脸部图像获取模块,获取同组待识别对象的一组脸部图像,其中,所述脸部图像为三维立体脸部图像;投射模块,将所述一组脸部图像的坐标投射至二维平面;提取法向分量图的特征模块,通过基于二维平面中已训练好的深度卷积神经网络模型,提取待识别对象的所述一组脸部图像在各个坐标轴上的法向分量图的特征;校正模块,根据所述法向分量的特征完成所述同组其余所述脸部图像的校正操作。
本公开的第三个方面涉及一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述任一种脸部图像识别的方法的步骤。
本公开的第四个方面涉及一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行所述程序时实现上述任一种脸部图像识别的方法的步骤。
本公开的附加方面和优点将在下面的描述部分中变得明显,或通过本公开的实践了解到。
附图说明
本公开的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是本公开一种脸部图像识别的方法的实施例流程示意图;
图2是本公开一种脸部图像识别的方法的预处理步骤的流程示意图;
图3是本公开一种脸部图像识别的方法的三维脸部图像坐标投影至二维平面的步骤的流程示意图;
图4是本公开一种脸部图像识别的方法的校正步骤的流程示意图;
图5是本公开一种脸部图像识别的装置的实施例框图示意图;
图6是本公开一种脸部图像识别的装置的预处理模块的框图示意图;
图7是本公开一种脸部图像识别的装置的三维脸部图像坐标投影至二维平面的模块的框图示意图;
图8是本公开一种脸部图像识别的装置的校正模块的框图示意图;
图9为本公开实施例的终端设备的硬件结构示意图;
图10是本公开实施例的人机交互装置的硬件结构示意图;
图11是本公开实施例的计算机可读存储介质的示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点,下面结合附图和具体实施方式对本公开进行进一步的详细描述。虽然每个实施例代表了发明的单一组合,但是本公开不同实施例可以替换,或者合并组合,因此本公开也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而,如果一个实施例包含A、B、C,另一个实施例包含B和D的组合,那么本公开也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例,尽管该实施例可能并未在以下内容中有明确的文字记载。
在下面的描述中阐述了很多具体细节以便于充分理解本公开,但是,本公开还可以采用其他不同于在此描述的其他方式来实施,因此,本公开的保护范围并不受下面公开的具体实施例的限制。
如图1所示,本公开的第一个方面,涉及一种脸部图像识别的方法100,包括:
步骤101,脸部图像获取步骤,获取同组待识别对象的一组脸部图像。
获取同组待识别对象的多个脸部图像,获取的具体方式,可以是,从摄像头实时采集,也可以是从图片库输入。需要说明的是,这里,可以是例如固定间隔时间(如每隔1s)拍摄的多副脸部图片,所述待识别对象也可以同时是多个生物ID,例如,两只狗,或者人与猫等。
如图2,需要说明的是,本公开涉及的脸部图像识别的方法还包括:
步骤102,预处理步骤,即将获取的同组待识别对象的一组脸部图像通过三维立体图像软件调整为三维立体脸部图像。此外,预处理步骤还包括:
步骤1021,滤波步骤,对三维立体脸部图像进行高斯滤波和中值滤波。
步骤1022,确定鼻尖点位置步骤,计算高斯曲率和中值曲率,结合通过多样本预先训练好生成的三维立体脸部图像来确定鼻尖点。
在滤波后的人脸曲面上计算高斯曲率和中值曲率,根据曲率信息结合一个三维模型来确定鼻尖点的位置。
步骤1023,定义多个脸部区域步骤,以鼻尖点为球心,90度球面与三维立体脸部图像交集部分进行脸部区域的定义。脸部区域定义为以鼻尖点为球心,90度球面与三维人脸曲面的交集部分。
步骤1024,姿态配准步骤,用ICP(Iterative Closet Point,最近点搜索)算法对定义后的脸部区域进行姿态配准。
步骤103,投射步骤,将通过预处理步骤处理后的三维立体脸部图像的坐标投射至二维平面。
如图3,优选地,投射步骤103包括:
步骤1031,生成深度图步骤,将通过预处理步骤处理后的三维立体脸部图像投影为二维平面上生成深度图。
将预处理后的三维立体脸部图像投影到二维平面上生成对应的深度图。可以理解的是,该深度图可用一个m×n×3的矩阵表示:
P=[pij(x,y,z)]m×n=[pijk]m×n×{x,y,z}
其中,pij(x,y,z)=(pijx,pijy,pijk)T表示大小为m×n的深度图像P上ij位置处的三维坐标,与此类似,可将深度图像P的单位法向量表示成如下矩阵形式:
N(P)=[n(pij(x,y,z))]m×n=[nijk]m×n×{x,y,z}
其中,N(P)为单位法向量矩阵,n(pij(x,y,z))=(nijx,nijy,nijz)T表示点pij的单位法向量。
步骤1032,估计点法向量步骤,用深度图上任一点的局部邻域点拟合平面的法向量来估计该点的法向量。
深度图像P上点pij的法向量可以用该点的局部邻域点拟合平面的法向量来估计:
nijxqijx+nijyqijy+nijzqijz=nijxpijx+nijypijy+nijzpijz
其中,(nijx,nijy,nijz)T是pij的法向量,(qijx,qijy,qijz)T是qij邻域内的任意一点的坐标,(pijx,pijy,pijz)T是pij邻域内的任意一点的坐标。
步骤1033,生成三维法向量图步骤,识别脸部特征点并生成XYZ三维法向分量图。
将单位法向量矩阵N(P)中的元素n(pij(x,y,z))表示为点pij(x,y,z)的三个法向分量(nijx,nijy,nijz),把单位法向量矩阵N(P)分解成三个单位法向分量矩阵:
其中,N(X)、N(Y)和N(Z)分别是单位法向量矩阵N(P)在X、Y和Z方向上的法向分量矩阵,其矩阵元素分别是点pij的法向量在X、Y和Z方向上的分量。
步骤104,提取法向分量图的特征步骤,通过基于二维平面中已训练好的深度卷积神经网络模型,提取三维立体脸部图像在各个坐标轴上的法向分量图的特征。
需要说明的是,将投射步骤处理的正面的三维立体脸部图像的三维坐标投影到二维平面上,其投影过程采取最近邻插值法。利用投影后的坐标信息估计逐点的法向量,以此生成X、Y和Z三个方向的法向分量图。
此外,还需要说明的是,本公开中利用在二维面部识别中训练好的深度卷积神经网络提取三维立体脸部图像各个法向分量图的特征,以便提取更有鉴别力的三维立体脸部的特征。特别地,采用vgg-net。具体的,对于脸部图像分类来说,都是使用人工提取特征的方式来提取脸部图像的特征。为了提高识别的准确率,首先需要收集大量的数据,然后利用更强大的模型提取特征,并使用更优质的预设算法来防止过拟合。其次,利用卷积神经网络(CNN)构成的模型,通过深度学习较强的学习能力来表达一张脸部图像可以很好的对获取的所有图像进行分类。
可以理解的是,三维立体脸部图像由基本的edge构成。该深度卷积神经网络由16个可学习的权重层组成:13个卷积层加3个全连接层(FC层)。这个深层网络的输入是一个大小为214×214×3的图像,前两个FC层的输出是4096维,而最后一个FC层的输出是2622维或1024维,分别取决于面部识别和面部验证任务。
此外,在三维立体面部图像的坐标投射到二维平面上的深度图像上提取的特征表示为DDP(Deep Depth Patterns)。
步骤105,校正步骤,根据法向分量图的特征完成同组其余脸部图像的校正操作。
如图4,优选地,校正步骤105的具体实现过程可以是:
步骤1051,其余脸部图像获取步骤,获取其余三维立体脸部图像。
其余脸部图像获取原理同脸部图像获取步骤101。
步骤1052,依次提取多个法向分量图的特征步骤,依次使用多个通过预处理步骤处理后的三维立体脸部图像经过二维投影,提取法向分量图的特征。
处理过程参照上述法向分量图的特征步骤103和步骤104。
步骤1053,多次校正步骤,通过每个三维立体脸部图像上识别到的脸部特征点对法向分量图进行校正。
根据步骤1053基于获取的多个法向分量,将每个三维立体脸部图像上识别的脸部特征点利用加权方式进行特征点的校正。例如,采用多个三维立体面部图像的脸部特征点权值平均计算的方式作为最终经校正的各法向分量图,即可理解为当眉毛位置符合通过多样本预先训练好生成的三维立体脸部图像时,则记为0.5;当眉毛位置在第一预设范围时,则通过与多样本预先训练好生成的三维立体脸部图像做匹配时,则记为0.3,需要说明的是,第一预范围为偏离通过多样本预先训练好生成的三维立体脸部图像中的眉毛圆周范围不超过0.1mm;当眉毛位置在第二预设范围时,则通过与多样本预先训练好生成的三维立体脸部图像做匹配时,则记为0.1,需要说明的是,第一预范围为偏离通过多样本预先训练好生成的三维立体脸部图像中的眉毛圆周范围不超过0.3mm。同理,鼻子、嘴、耳朵的特征点标记原理同眉毛。对获取同组待识别对象的一组脸部图像的眉毛、鼻子、最、耳朵的脸部特征点提取并进行求和与平均计算。
需要说明的是,眉毛在三维立体脸部图像上所有的脸部特征点中的权值为30,鼻子在三维立体脸部图像的上所有的脸部特征点中的权值为40,嘴在三维立体脸部图像上所有的脸部特征点中的权值为20,耳朵在三维立体脸部图像上所有的脸部特征点中的权值为10。上述数据中的最终结果为经校正后的最终结果,经过二维投影,提取法向量图。。
步骤1054,输出识别步骤,输出经校正后的其余三维立体脸部图像。
需要说明的是,如上文所述,若待识别对象包括多个生物,那么多个生物的识别是同时进行的。
本公开实施方式针对不固定姿态的特定对象,如动物、婴儿,即便无法采集到正面的姿态头像,也能实现精准脸部识别,进行后续所需图像处理,例如使用各种功能的渲染工具对识别出的脸部图像进行各种特效渲染,例如,带花环,带眼镜,染发,美颜、换装等等。
本公开实施例第二个方面涉及一种脸部图像识别的装置,下面参考附图5描述本发明实施例的脸部图像识别的装置200。首先需要说明的是,前述对方法实施例的解释说明也适用于该实施例的装置,此处不再赘述其细节。
脸部图像识别的装置200包括:
脸部图像获取模块201,获取同组待识别对象的一组脸部图像;投射203,将一组脸部图像的坐标投射至二维平面:提取法向分量图的特征模块204,通过基于二维平面中已训练好的深度卷积神经网络模型,提取待识别对象的一组脸部图像在各个坐标轴上的法向分量图的特征;校正模块205,根据法向分量的特征完成同组其余脸部图像的校正操作。
如图6,优选地,本公开涉及的脸部图像识别的装置还包括,预处理模块202包括:滤波单元2021,对三维立体脸部图像进行高斯滤波和中值滤波;确定鼻尖点位置单元2022,计算高斯曲率和中值曲率,结合通过多样本预先训练好生成的三维立体脸部图像来确定鼻尖点;定义多个脸部区域单元2023,以鼻尖点为球心,90度球面与三维立体脸部图像交集部分进行脸部区域的定义;姿态配准单元2034,用ICP算法对定义后的脸部区域进行姿态配准。
如图7,优选地,投影模块203包括:生成深度图单元2031,将通过预处理步骤处理后的三维立体脸部图像投影为二维平面上生成深度图;估计点法向量单元2032,用深度图上任一点的局部邻域点拟合平面的法向量来估计该点的法向量;生成三维法向量图单元2033,识别脸部特征点并生成XYZ三维法向分量图。
如图8,优选地,校正模块205包括:其余脸部图像获取单元2051:获取其余三维立体脸部图像;依次提取多个法向分量图的特征单元2052,依次使用多个通过预处理步骤处理后的三维立体脸部图像经过二维投影,提取法向分量图的特征;多次校正单元2053,通过每个三维立体脸部图像上识别到的脸部特征点对法向分量图进行校正;输出识别单元2054,输出经校正后的其余三维立体脸部图像。
此外,如图9所示,本公开的脸部图像识别的方法和装置可以在终端设备上实现。终端设备可以以各种形式来实施,本公开中的终端设备可以包括但不限于诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置、车载终端设备、车载显示终端、车载电子后视镜等等的移动终端设备以及诸如数字TV、台式计算机等等的固定终端设备。
在本公开的一个实施例中,终端设备可以包括无线通信单元1、A/V(音频/视频)输入单元2、用户输入单元3、感测单元4、输出单元5、存储器6、接口单元7、控制器8和电源单元9等等。其中,A/V(音频/视频)输入单元2包括但不限于,摄像头、前置摄像头,后置摄像头,各类音视频输入设备。本领域的技术人员应该理解,上述实施例列出的终端设备所包括的组件,不止上述所述的种类,可以包括更少或者更多的组件。
本领域的技术人员应该理解,这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施,这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施,在一些情况下,这样的实施方式可以在控制器中实施。对于软件实施,诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施,软件代码可以存储在存储器中并且由控制器执行。
本公开第三方面的实施例提供的脸部图像识别的装置80,如图10所示,包括存储器801、处理器802及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现上述任一项为特定对象的脸部增加特效的方法的步骤。
在本公开的一个实施例中,存储器用于存储非暂时性计算机可读指令。具体地,存储器可以包括一个或多个计算机程序产品,计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在本公开的一个实施例中,处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制脸部图像识别的装置中的其它组件以执行期望的功能。在本公开的一个实施例中,处理器用于运行存储器中存储的计算机可读指令,使得脸部图像识别的装置执行上述脸部图像识别的方法。
在本公开的一个实施例中,如图10所示,脸部图像识别的装置80包括存储器801和处理器802。脸部图像识别的装置80中的各组件通过总线系统和/或其它形式的连接机构(未示出)互连。
存储器801用于存储非暂时性计算机可读指令。具体地,存储器801可以包括一个或多个计算机程序产品,计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
处理器802可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制脸部图像识别的装置80中的其它组件以执行期望的功能。在本公开的一个实施例中,处理器802用于运行存储器801中存储的计算机可读指令,使得脸部图像识别的装置80执行上述为特定对象的脸部增加特效的方法。脸部图像识别的装置与上述为特定对象的脸部增加特效的方法描述的实施例相同,在此将省略其重复描述。
本公开第四方面的实施例提供的计算机可读存储介质900,如图11所示,其上存储有计算机程序,该程序被处理器执行时实现上述任一项为特定对象的脸部增加特效的方法的步骤。其中,计算机可读存储介质可以包括但不限于任何类型的盘,包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等等)、静态随机访问存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器IC),或适合于存储指令和/或数据的任何类型的媒介或设备。在本公开的一个实施例中,计算机可读存储介质900其上存储有非暂时性计算机可读指令901。当非暂时性计算机可读指令901由处理器运行时,执行参照上述描述的根据本公开实施例的为特定对象的脸部增加特效的方法。
在本公开中,术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;“相连”可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本公开中的具体含义。
在本说明书的描述中,术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本公开的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或实例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本公开的优选实施例而已,并不用于限制本公开,对于本领域的技术人员来说,本公开可以有各种更改和变化。凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。

Claims (10)

1.一种脸部图像识别的方法,其特征在于,包括:
脸部图像获取步骤,获取同组待识别对象的一组脸部图像,其中,所述脸部图像为三维立体脸部图像;
投射步骤,将所述一组脸部图像的坐标投射至二维平面;
提取法向分量图的特征步骤,通过基于二维平面中已训练好的深度卷积神经网络模型,提取待识别对象的所述一组脸部图像在各个坐标轴上的法向分量图的特征;
校正步骤,根据所述法向分量图的特征完成所述同组其余所述脸部图像的校正操作。
2.根据权利要求1所述的脸部图像识别的方法,其特征在于,还包括:预处理步骤,其中所述预处理步骤包括:
滤波步骤,对所述三维立体脸部图像进行高斯滤波和中值滤波;
确定鼻尖点位置步骤,计算高斯曲率和中值曲率,结合通过多样本预先训练好生成的三维模型来确定鼻尖点;
定义多个脸部区域步骤,以鼻尖点为球心,90度球面与所述三维立体脸部图像交集部分进行脸部区域的定义;
姿态配准步骤,用ICP算法对定义后的所述脸部区域进行姿态配准。
3.根据权利要求1所述的脸部图像识别的方法,其特征在于,所述投射步骤包括:
生成深度图步骤,将所述三维立体脸部图像投影为二维平面上生成深度图;
估计点法向量步骤,用所述深度图上任一点的局部领域点拟合平面的法向量来估计该点的法向量;
生成三维法向量图步骤,识别脸部特征点并生成XYZ三维法向分量图。
4.根据权利要求1所述的脸部图像识别的方法,其特征在于,该方法的校正步骤包括:
其余脸部图像获取步骤获取其余所述三维立体脸部图像;
依次提取多个法向分量图的特征步骤,依次使用多个其余所述三维立体脸部图像经过二维投影,提取法向分量图的特征;
多次校正步骤,通过每个其余所述三维立体脸部图像上识别到的脸部特征点对所述法向分量图进行校正;
输出识别步骤,输出经校正后的其余所述三维立体脸部图像。
5.一种脸部图像识别的装置,其特征在于,包括:
脸部图像获取模块,获取同组待识别对象的一组脸部图像,其中,所述脸部图像为三维立体脸部图像;
投射模块,将所述一组脸部图像的坐标投射至二维平面;
提取法向分量图的特征模块,通过基于二维平面中已训练好的深度卷积神经网络模型,提取待识别对象的所述一组脸部图像在各个坐标轴上的法向分量图的特征;
校正模块,根据所述法向分量的特征完成所述同组其余所述脸部图像的校正操作。
6.根据权利要求5所述的脸部图像识别的装置,其特征在于,还包括:预处理模块,其中,所述预处理模块包括:
滤波单元,对所述三维立体脸部图像进行高斯滤波和中值滤波;
确定鼻尖点位置单元,计算高斯曲率和中值曲率,结合通过多样本预先训练好生成的三维模型来确定鼻尖点;
定义多个脸部区域单元,以鼻尖点为球心,90度球面与所述三维立体脸部图像交集部分进行脸部区域的定义
姿态配准单元,用ICP算法对定义后的所述脸部区域进行姿态配准。
7.根据权利要求5所述的脸部图像识别的装置,其特征在于,所述投射模块包括:
生成深度图单元,将所述三维立体脸部图像投影为二维平面上生成深度图;
估计点法向量单元,用所述深度图上任一点的局部领域点拟合平面的法向量来估计该点的法向量;
生成三维法向量图单元,识别脸部特征点并生成XYZ三维法向分量图。
8.根据权利要求5所述的脸部图像识别的装置,其特征在于,所述校正模块包括:
其余脸部图像获取单元:获取其余所述三维立体脸部图像;
依次提取多个法向分量图的特征单元,依次使用多个所述三维立体脸部图像经过二维投影,提取法向分量图的特征;
多次校正单元,通过每个所述三维立体脸部图像上识别到的脸部特征点对所述法向分量图进行校正;
输出识别单元,输出经校正后的其余所述三维立体脸部图像。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现所述权利要求1-4中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如所述权利要求1-4中任一项所述的方法的步骤。
CN201810975866.2A 2018-08-24 2018-08-24 脸部图像识别的方法、装置及存储介质 Active CN109063678B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810975866.2A CN109063678B (zh) 2018-08-24 2018-08-24 脸部图像识别的方法、装置及存储介质
PCT/CN2019/075931 WO2020037963A1 (zh) 2018-08-24 2019-02-22 脸部图像识别的方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810975866.2A CN109063678B (zh) 2018-08-24 2018-08-24 脸部图像识别的方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN109063678A true CN109063678A (zh) 2018-12-21
CN109063678B CN109063678B (zh) 2020-09-29

Family

ID=64756104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810975866.2A Active CN109063678B (zh) 2018-08-24 2018-08-24 脸部图像识别的方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN109063678B (zh)
WO (1) WO2020037963A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688950A (zh) * 2019-09-26 2020-01-14 杭州艾芯智能科技有限公司 基于深度信息的人脸活体检测方法、装置
WO2020037963A1 (zh) * 2018-08-24 2020-02-27 北京字节跳动网络技术有限公司 脸部图像识别的方法、装置及存储介质
CN112163552A (zh) * 2020-10-14 2021-01-01 北京达佳互联信息技术有限公司 鼻部关键点的标注方法、装置、电子设备及存储介质
CN112966670A (zh) * 2021-04-08 2021-06-15 北京的卢深视科技有限公司 人脸识别方法、电子设备及存储介质
CN113628322A (zh) * 2021-07-26 2021-11-09 阿里巴巴(中国)有限公司 图像处理、ar显示与直播方法、设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052730B (zh) * 2020-07-30 2024-03-29 广州市标准化研究院 一种3d动态人像识别监控设备及方法
CN112733705A (zh) * 2021-01-07 2021-04-30 中科魔镜(深圳)科技发展有限公司 一种基于人体面部的3d智能分析系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09161055A (ja) * 1995-12-04 1997-06-20 Hitachi Ltd 3次元物体認識方法
CN105844276A (zh) * 2015-01-15 2016-08-10 北京三星通信技术研究有限公司 人脸姿态校正方法和装置
CN106778660A (zh) * 2016-12-28 2017-05-31 浙江大华技术股份有限公司 一种人脸姿态校正方法及装置
CN106874861A (zh) * 2017-01-22 2017-06-20 北京飞搜科技有限公司 一种人脸矫正方法及系统
CN107358207A (zh) * 2017-07-14 2017-11-17 重庆大学 一种矫正人脸图像的方法
CN107844760A (zh) * 2017-10-24 2018-03-27 西安交通大学 基于曲面法向分量图神经网络表示的三维人脸识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112115A (zh) * 2014-05-14 2014-10-22 南京国安光电科技有限公司 一种三维人脸检测与识别技术
US9609238B2 (en) * 2015-02-09 2017-03-28 The United States Of America As Represented By The Secretary Of The Army Method for modeling a three-dimensional topological surface of an object from long-wave-infrared radiation emitted from the object
CN109063678B (zh) * 2018-08-24 2020-09-29 北京字节跳动网络技术有限公司 脸部图像识别的方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09161055A (ja) * 1995-12-04 1997-06-20 Hitachi Ltd 3次元物体認識方法
CN105844276A (zh) * 2015-01-15 2016-08-10 北京三星通信技术研究有限公司 人脸姿态校正方法和装置
CN106778660A (zh) * 2016-12-28 2017-05-31 浙江大华技术股份有限公司 一种人脸姿态校正方法及装置
CN106874861A (zh) * 2017-01-22 2017-06-20 北京飞搜科技有限公司 一种人脸矫正方法及系统
CN107358207A (zh) * 2017-07-14 2017-11-17 重庆大学 一种矫正人脸图像的方法
CN107844760A (zh) * 2017-10-24 2018-03-27 西安交通大学 基于曲面法向分量图神经网络表示的三维人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宋顶利: "关键点匹配三维人脸识别方法", 《计算机应用研究》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020037963A1 (zh) * 2018-08-24 2020-02-27 北京字节跳动网络技术有限公司 脸部图像识别的方法、装置及存储介质
CN110688950A (zh) * 2019-09-26 2020-01-14 杭州艾芯智能科技有限公司 基于深度信息的人脸活体检测方法、装置
CN110688950B (zh) * 2019-09-26 2022-02-11 杭州艾芯智能科技有限公司 基于深度信息的人脸活体检测方法、装置
CN112163552A (zh) * 2020-10-14 2021-01-01 北京达佳互联信息技术有限公司 鼻部关键点的标注方法、装置、电子设备及存储介质
CN112966670A (zh) * 2021-04-08 2021-06-15 北京的卢深视科技有限公司 人脸识别方法、电子设备及存储介质
CN113628322A (zh) * 2021-07-26 2021-11-09 阿里巴巴(中国)有限公司 图像处理、ar显示与直播方法、设备及存储介质
CN113628322B (zh) * 2021-07-26 2023-12-05 阿里巴巴(中国)有限公司 图像处理、ar显示与直播方法、设备及存储介质

Also Published As

Publication number Publication date
WO2020037963A1 (zh) 2020-02-27
CN109063678B (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
CN109063678A (zh) 脸部图像识别的方法、装置及存储介质
JP7191213B2 (ja) 顔モデルの生成方法、装置、電子機器及びコンピュータ可読記憶媒体
CN106803055B (zh) 人脸识别方法和装置
Roth et al. Survey of appearance-based methods for object recognition
Li et al. Online adaptation for consistent mesh reconstruction in the wild
WO2019213459A1 (en) System and method for generating image landmarks
CN111354079A (zh) 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
WO2012126135A1 (en) Method of augmented makeover with 3d face modeling and landmark alignment
CN105005777A (zh) 一种基于人脸的音视频推荐方法及系统
CN110506274B (zh) 图像中的对象检测和表示
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
CN103745206B (zh) 一种人脸识别方法及系统
CN109241890A (zh) 面部图像校正方法、装置及存储介质
Li et al. Face sketch synthesis using regularized broad learning system
Shu et al. Age progression: Current technologies and applications
CN110023989A (zh) 一种素描图像的生成方法及装置
Zhang et al. Classroom student posture recognition based on an improved high-resolution network
Linda et al. Color-mapped contour gait image for cross-view gait recognition using deep convolutional neural network
Kim et al. Robust facial landmark extraction scheme using multiple convolutional neural networks
Neverova Deep learning for human motion analysis
Wu et al. Privacy leakage of sift features via deep generative model based image reconstruction
Xu et al. Multi-view face synthesis via progressive face flow
CN108268863A (zh) 一种图像处理方法、装置和计算机存储介质
Cai et al. Beyond photo-domain object recognition: Benchmarks for the cross-depiction problem
Jang et al. Robust deep age estimation method using artificially generated image set

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant