CN107945219B - 脸部图像对齐方法、计算机程序、存储介质及电子设备 - Google Patents
脸部图像对齐方法、计算机程序、存储介质及电子设备 Download PDFInfo
- Publication number
- CN107945219B CN107945219B CN201711181297.6A CN201711181297A CN107945219B CN 107945219 B CN107945219 B CN 107945219B CN 201711181297 A CN201711181297 A CN 201711181297A CN 107945219 B CN107945219 B CN 107945219B
- Authority
- CN
- China
- Prior art keywords
- key point
- face image
- location information
- face
- convergence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004590 computer program Methods 0.000 title abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000003062 neural network model Methods 0.000 claims abstract description 22
- 230000006854 communication Effects 0.000 claims description 30
- 238000004891 communication Methods 0.000 claims description 29
- 230000001815 facial effect Effects 0.000 claims description 8
- 244000144972 livestock Species 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 241000272525 Anas platyrhynchos Species 0.000 claims description 3
- 241000272814 Anser sp. Species 0.000 claims description 3
- 241000283073 Equus caballus Species 0.000 claims description 3
- 241000287828 Gallus gallus Species 0.000 claims description 3
- 241001494479 Pecora Species 0.000 claims description 3
- 241000009328 Perro Species 0.000 claims description 3
- 241000282898 Sus scrofa Species 0.000 claims description 3
- 238000012804 iterative process Methods 0.000 abstract description 8
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000005457 optimization Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 210000004218 nerve net Anatomy 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001373 regressive effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012946 outsourcing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种脸部图像对齐方法、计算机程序、存储介质及电子设备，其中，所述方法包括：获取脸部图像；根据用于预测脸部关键点的神经网络模型对所述脸部图像进行关键点预测，得到所述脸部图像的关键点位置信息；若所述关键点位置信息满足收敛条件或者执行关键点预测的步骤的迭代次数达到预设次数，则根据满足所述收敛条件的关键点位置信息或者达到预设次数时的关键点位置信息进行脸部图像对齐。本发明实施例不需要分别训练脸部检测模型和关键点预测模型，降低了脸部图像对齐的复杂度，减少了脸部图像对齐的时间成本和存储空间；通过对用于预测脸部关键点的神经网络模型的迭代过程，逐步优化关键点的预测结果。
Description
技术领域
本发明实施例涉及计算机视觉技术领域，尤其涉及一种脸部图像对齐方法、计算机程序、存储介质及电子设备。
背景技术
脸部对齐是将图像中的脸部与标准脸部对齐。脸部对齐的应用非常广泛，例如，脸部对齐是人脸识别、人脸表情分析、人脸动画等应用的关键预处理过程。
以人脸对齐为例，一般人脸对齐包含如下三个过程：
A.人脸检测：得到图像中的人脸包围矩形框；
B.人脸关键点定位：在人脸检测基础上，回归输出人脸关键点(例如，嘴角，鼻尖，眼睛等)的平面坐标；
C.根据人脸关键点的平面坐标，将人脸对齐到标准人脸。
但是，现有的对齐过程存在如下缺点：需要训练人脸检测和人脸关键点定位两个模型，训练复杂度高，而且，夹在上述两个模型需要消耗较多的时间和存储空间。
发明内容
本发明实施例提供了一种脸部图像对齐的技术方案。
根据本发明实施例的第一方面，提供了一种脸部图像对齐方法，包括：
获取脸部图像；
根据用于预测脸部关键点的神经网络模型对所述脸部图像进行关键点预测，得到所述脸部图像的关键点位置信息；
若所述关键点位置信息满足收敛条件或者执行关键点预测的步骤的迭代次数达到预设次数，则根据满足所述收敛条件的关键点位置信息或者达到预设次数时的关键点位置信息进行脸部图像对齐。
可选地，所述方法还包括：
若所述关键点位置信息不满足所述收敛条件，且执行关键点预测的步骤的迭代次数达到所述预设次数，则获取所述脸部图像的关键点包围矩形框内的图像；
根据所述神经网络模型对所述关键点包围矩形框内的图像进行关键点预测，得到所述关键点包围矩形框内的图像的关键点位置信息；
判断所述关键点包围矩形框内的图像的关键点位置信息是否满足所述收敛条件，或者执行关键点预测的步骤的迭代次数是否达到所述预设次数。
可选地，所述根据满足所述收敛条件的关键点位置信息或者达到预设次数时的关键点位置信息进行脸部图像对齐，包括：
根据满足所述收敛条件的关键点位置信息或者达到预设次数时的关键点位置信息，利用几何变换方式进行脸部图像对齐。
可选地，所述收敛条件包括所述关键点位置信息的误差值小于收敛阈值。
可选地，所述脸部图像包括人脸图像和/或牲畜脸图像。
可选地，所述牲畜为牛、羊、马、猪、狗、鸡、鸭或者鹅。
可选地，所述关键点位置信息包括关键点坐标信息。
根据本发明实施例的第二方面，提供了一种计算机程序，包括有计算机程序指令，其中，所述程序指令被处理器执行时用于实现如第一方面所述的脸部图像对齐方法对应的步骤。
根据本发明实施例的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，其中，所述程序指令被处理器执行时用于实现如第一方面所述的脸部图像对齐方法对应的步骤。
根据本发明实施例的第四方面，提供了一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述的脸部图像对齐方法对应的步骤。
根据本发明实施例的脸部图像对齐方案，获取脸部图像；根据用于预测脸部关键点的神经网络模型对脸部图像进行关键点预测，得到脸部图像的关键点位置信息；若关键点位置信息满足收敛条件或者执行关键点预测的步骤的迭代次数达到预设次数，则根据满足收敛条件的关键点位置信息或者达到预设次数时的关键点位置信息进行脸部图像对齐。本发明实施例不需要分别训练脸部检测模型和关键点预测模型，降低了脸部图像对齐的复杂度，减少了脸部图像对齐的时间成本和存储空间；通过对用于预测脸部关键点的神经网络模型的迭代过程，逐步优化关键点的预测结果。
附图说明
图1是根据本发明实施例一的一种脸部图像对齐方法的步骤流程图；
图2是根据本发明实施例二的一种脸部图像对齐方法的步骤流程图；
图3是根据本发明实施例二的一种脸部对齐算法的流程示意图；
图4是根据本发明实施例四的一种电子设备的结构示意图。
具体实施方式
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本发明实施例的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。
本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
实施例一
参照图1，示出了根据本发明实施例一的一种脸部图像对齐方法的步骤流程图。
本实施例的脸部图像对齐方法包括以下步骤：
步骤S100：获取脸部图像。
本发明实施例中，可以采用任意具有摄像功能的装置对目标对象进行拍照，获取包括目标对象脸部的脸部图像。
步骤S102：根据用于预测脸部关键点的神经网络模型对脸部图像进行关键点预测，得到脸部图像的关键点位置信息。
本发明实施例中，用于预测脸部关键点的神经网络模型可以为卷积神经网络模型。
一种可选的实施方式中，在神经网络模型的训练过程中，可以在图像平面空间中进行随机采样得到任意状态下的脸部图像和对应的关键点坐标，其中，任意状态包括正脸、侧脸、斜侧脸、低头、抬头等不同角度、方向。
本发明实施例中，关键点可以包括眼睛、鼻子、嘴巴、下巴等。
步骤S104：若关键点位置信息满足收敛条件或者执行关键点预测的步骤的迭代次数达到预设次数，则根据满足收敛条件的关键点位置信息或者达到预设次数时的关键点位置信息进行脸部图像对齐。
在得到关键点位置信息之后，若关键点位置信息满足收敛条件，则表示神经网络模型对脸部图像的关键点预测结果准确或达到预期目标；若关键点位置信息不满足收敛条件，则表示神经网络模型对脸部图像的关键点预测不准确或未达到预期目标。
若关键点位置信息满足收敛条件，或者执行关键点预测的步骤的迭代次数达到预设次数，则结束迭代过程。此时得到的关键点位置信息可以用于进行脸部图像对齐。
根据本发明实施例的脸部图像对齐方法，获取脸部图像；根据用于预测脸部关键点的神经网络模型对脸部图像进行关键点预测，得到脸部图像的关键点位置信息；若关键点位置信息满足收敛条件或者执行关键点预测的步骤的迭代次数达到预设次数，则根据满足收敛条件的关键点位置信息或者达到预设次数时的关键点位置信息进行脸部图像对齐。本发明实施例不需要分别训练脸部检测模型和关键点预测模型，降低了脸部图像对齐的复杂度，减少了脸部图像对齐的时间成本和存储空间；通过对用于预测脸部关键点的神经网络模型的迭代过程，逐步优化关键点的预测结果。
本发明实施例的脸部图像对齐方法可以由任意适当的具有相应的图像或数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本发明实施例提供的任一种脸部图像对齐方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本发明实施例提及的任一种脸部图像对齐方法。下文不再赘述。
实施例二
参照图2，示出了根据本发明实施例二的一种脸部图像对齐方法的步骤流程图。
本实施例的脸部图像对齐方法包括以下步骤：
步骤S200：获取脸部图像。
本发明实施例中，可以采用任意具有摄像功能的装置对目标对象进行拍照，获取包括目标对象脸部的脸部图像。
可选地，本实施例中的脸部图像可以为人脸图像和/或牲畜脸图像。其中，牲畜可以包括但不限于牛、羊、马、猪、狗、鸡、鸭或者鹅等。
例如，通过手机或者相机对目标人物进行拍照，获取目标人物的人脸图像。
步骤S202：根据用于预测脸部关键点的神经网络模型对脸部图像进行关键点预测，得到脸部图像的关键点位置信息。
本发明实施例中，用于预测脸部关键点的神经网络模型可以为卷积神经网络模型。
一种可选的实施方式中，在神经网络模型的训练过程中，可以在图像平面空间中进行随机采样得到任意状态下的脸部图像和对应的关键点坐标，其中，任意状态包括正脸、侧脸、斜侧脸、低头、抬头等不同角度、方向。
本发明实施例中，关键点可以包括眼睛、鼻子、嘴巴、下巴等。
一种可选的实施方式中，将人脸图像输入至人脸关键点的回归预测模型M中，利用人脸关键点的回归预测模型M预测人脸图像中的关键点位置信息，如关键点坐标信息。
步骤S204：若关键点位置信息满足收敛条件或者执行关键点预测的步骤的迭代次数达到预设次数，则根据满足收敛条件的关键点位置信息或者达到预设次数时的关键点位置信息进行脸部图像对齐。
在得到关键点位置信息之后，若关键点位置信息满足收敛条件，则表示神经网络模型对脸部图像的关键点预测结果准确或达到预期目标；若关键点位置信息不满足收敛条件，则表示神经网络模型对脸部图像的关键点预测不准确或未达到预期目标。
若关键点位置信息满足收敛条件，或者执行关键点预测的步骤的迭代次数达到预设次数，则结束迭代过程。此时得到的关键点位置信息可以用于进行脸部图像对齐。
可选地，根据满足收敛条件的关键点位置信息或者达到预设次数时的关键点位置信息，利用几何变换方式进行脸部图像对齐。其中，几何变换方式可以包括但不限于仿射变换(如基于三点的人脸对齐、基于两点的人脸对齐)。仿射变换是对人脸图像按比例缩放、旋转、平移或剪切的组合。
可选地，收敛条件包括关键点位置信息的误差值小于收敛阈值。
步骤S206：若关键点位置信息不满足收敛条件，且执行关键点预测的步骤的迭代次数达到预设次数，则获取脸部图像的关键点包围矩形框内的图像；根据神经网络模型对关键点包围矩形框内的图像进行关键点预测，得到关键点包围矩形框内的图像的关键点位置信息；判断关键点包围矩形框内的图像的关键点位置信息是否满足收敛条件，或者执行关键点预测的步骤的迭代次数是否达到预设次数。
例如，预先设置收敛阈值为0.01，预设次数为10000次。如果在执行关键点预测的步骤的迭代次数在10000次内，且关键点位置信息的误差值小于0.01，则结束迭代过程。如果关键点位置信息的误差值始终大于0.01，或者执行关键点预测的步骤的迭代次数大于10000次，也结束迭代过程。
可选地，关键点包围矩形框可以为人脸的全部关键点的最小外包矩形。
需要说明的是，在执行步骤S206之后，可以重新执行步骤S204，最终实现脸部图像对齐。
基于上述对脸部图像对齐方法的介绍，本发明实施例还提供了一种脸部对齐算法，如图3所示。将待对齐的图像输入至卷积神经网络，该卷积神经网络用于预测图像中人脸的关键点坐标，当关键点坐标满足收敛条件或者关键点坐标的预测次数达到预设次数时，输出人脸的关键点坐标，进而进行人脸图像对齐。当关键点坐标不满足收敛条件，且关键点坐标的预测次数达到预设次数时，获取待对齐的图像中人脸关键点的包围框，将人脸关键点的包围框内的图像输入至卷积神经网络。
根据本发明实施例的脸部图像对齐方法，获取脸部图像；根据用于预测脸部关键点的神经网络模型对脸部图像进行关键点预测，得到脸部图像的关键点位置信息；若关键点位置信息满足收敛条件或者执行关键点预测的步骤的迭代次数达到预设次数，则根据满足收敛条件的关键点位置信息或者达到预设次数时的关键点位置信息进行脸部图像对齐。本发明实施例不需要分别训练脸部检测模型和关键点预测模型，降低了脸部图像对齐的复杂度，减少了脸部图像对齐的时间成本和存储空间；通过对用于预测脸部关键点的神经网络模型的迭代过程，逐步优化关键点的预测结果。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本发明实施例提供的任一脸部图像对齐方法的步骤。
本实施例还提供了一种计算机程序，其包括有计算机程序指令，所述程序指令被处理器执行时用于实现本发明实施例提供的任一脸部图像对齐方法的步骤。
本实施例的计算机可读存储介质和计算机程序用于实现前述方法实施例中相应的脸部图像对齐方法，并具有相应的方法实施例的有益效果，在此不再赘述。
实施例四
本发明实施例四提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图4，其示出了适于用来实现本发明实施例的终端设备或服务器的电子设备400的结构示意图：如图4所示，电子设备400包括一个或多个处理器、通信元件等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)401，和/或一个或多个图像处理器(GPU)413等，处理器可以根据存储在只读存储器(ROM)402中的可执行指令或者从存储部分408加载到随机访问存储器(RAM)403中的可执行指令而执行各种适当的动作和处理。通信元件包括通信组件412和/或通信接口409。其中，通信组件412可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，通信接口409包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，通信接口409经由诸如因特网的网络执行通信处理。
处理器可与只读存储器402和/或随机访问存储器403中通信以执行可执行指令，通过通信总线404与通信组件412相连、并经通信组件412与其他目标设备通信，从而完成本发明实施例提供的任一脸部图像对齐方法对应的操作，例如，获取脸部图像；根据用于预测脸部关键点的神经网络模型对所述脸部图像进行关键点预测，得到所述脸部图像的关键点位置信息；若所述关键点位置信息满足收敛条件或者执行关键点预测的步骤的迭代次数达到预设次数，则根据满足所述收敛条件的关键点位置信息或者达到预设次数时的关键点位置信息进行脸部图像对齐。
此外，在RAM 403中，还可存储有装置操作所需的各种程序和数据。CPU401或GPU413、ROM402以及RAM403通过通信总线404彼此相连。在有RAM403的情况下，ROM402为可选模块。RAM403存储可执行指令，或在运行时向ROM402中写入可执行指令，可执行指令使处理器执行上述通信方法对应的操作。输入/输出(I/O)接口405也连接至通信总线404。通信组件412可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在通信总线链接上。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口409。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
需要说明的，如图4所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图4的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信元件可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。
特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法步骤对应的指令，例如，获取脸部图像；根据用于预测脸部关键点的神经网络模型对所述脸部图像进行关键点预测，得到所述脸部图像的关键点位置信息；若所述关键点位置信息满足收敛条件或者执行关键点预测的步骤的迭代次数达到预设次数，则根据满足所述收敛条件的关键点位置信息或者达到预设次数时的关键点位置信息进行脸部图像对齐。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被处理器执行时，执行本发明实施例的方法中限定的上述功能。
需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。
Claims (8)
1.一种脸部图像对齐方法，其特征在于，包括：
获取脸部图像；
根据用于预测脸部关键点的神经网络模型对所述脸部图像进行关键点预测，得到所述脸部图像的关键点位置信息；
若所述关键点位置信息满足收敛条件或者执行关键点预测的步骤的迭代次数达到预设次数，则根据满足所述收敛条件的关键点位置信息或者达到预设次数时的关键点位置信息进行脸部图像对齐，
其中，所述方法还包括：
若所述关键点位置信息不满足所述收敛条件，且执行关键点预测的步骤的迭代次数达到所述预设次数，则获取所述脸部图像的关键点包围矩形框内的图像；
根据所述神经网络模型对所述关键点包围矩形框内的图像进行关键点预测，得到所述关键点包围矩形框内的图像的关键点位置信息；
判断所述关键点包围矩形框内的图像的关键点位置信息是否满足所述收敛条件，或者执行关键点预测的步骤的迭代次数是否达到所述预设次数。
2.根据权利要求1所述的方法，其特征在于，所述根据满足所述收敛条件的关键点位置信息或者达到预设次数时的关键点位置信息进行脸部图像对齐，包括：
根据满足所述收敛条件的关键点位置信息或者达到预设次数时的关键点位置信息，利用几何变换方式进行脸部图像对齐。
3.根据权利要求1所述的方法，其特征在于，所述收敛条件包括所述关键点位置信息的误差值小于收敛阈值。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述脸部图像包括人脸图像和/或牲畜脸图像。
5.根据权利要求4所述的方法，其特征在于，所述牲畜为牛、羊、马、猪、狗、鸡、鸭或者鹅。
6.根据权利要求1-3中任一项所述的方法，其特征在于，所述关键点位置信息包括关键点坐标信息。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，其中，所述程序指令被处理器执行时用于实现权利要求1-6中任一项所述的脸部图像对齐方法对应的步骤。
8.一种电子设备，其特征在于，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-6中任一项所述的脸部图像对齐方法对应的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711181297.6A CN107945219B (zh) | 2017-11-23 | 2017-11-23 | 脸部图像对齐方法、计算机程序、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711181297.6A CN107945219B (zh) | 2017-11-23 | 2017-11-23 | 脸部图像对齐方法、计算机程序、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107945219A CN107945219A (zh) | 2018-04-20 |
| CN107945219B true CN107945219B (zh) | 2019-12-03 |
Family
ID=61930916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711181297.6A Active CN107945219B (zh) | 2017-11-23 | 2017-11-23 | 脸部图像对齐方法、计算机程序、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107945219B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108711180B (zh) * | 2018-05-02 | 2021-08-06 | 北京市商汤科技开发有限公司 | 美妆和/或换脸特效程序文件包的生成及美妆和/或换脸特效生成方法与装置 |
| CN109002769A (zh) * | 2018-06-22 | 2018-12-14 | 深源恒际科技有限公司 | 一种基于深度神经网络的牛脸对齐方法及系统 |
| CN109657583B (zh) | 2018-12-10 | 2021-10-22 | 腾讯科技（深圳）有限公司 | 脸部关键点检测方法、装置、计算机设备和存储介质 |
| CN110414369B (zh) * | 2019-07-05 | 2023-04-18 | 安徽省农业科学院畜牧兽医研究所 | 一种牛脸的训练方法及装置 |
| CN112395929A (zh) * | 2019-08-19 | 2021-02-23 | 扬州盛世云信息科技有限公司 | 一种基于红外图像lbp直方图特征的人脸活体检测方法 |
| CN111652918B (zh) * | 2020-06-04 | 2023-08-18 | 深圳地平线机器人科技有限公司 | 确定3d脸部模型的方法、装置、介质以及电子设备 |
| CN111667518B (zh) * | 2020-06-24 | 2023-10-31 | 北京百度网讯科技有限公司 | 人脸图像的显示方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1945595A (zh) * | 2006-10-30 | 2007-04-11 | 邹采荣 | 一种基于加权主动形状建模的人脸特征定位方法 |
| CN101315661A (zh) * | 2008-07-18 | 2008-12-03 | 东南大学 | 一种减小表情影响的快速三维人脸识别方法 |
| CN104408462A (zh) * | 2014-09-22 | 2015-03-11 | 广东工业大学 | 面部特征点快速定位方法 |
| CN104504376A (zh) * | 2014-12-22 | 2015-04-08 | 厦门美图之家科技有限公司 | 一种人脸图像的年龄分类方法和系统 |
| CN105550657A (zh) * | 2015-12-23 | 2016-05-04 | 北京化工大学 | 基于关键点的改进sift人脸特征提取方法 |
-
2017
- 2017-11-23 CN CN201711181297.6A patent/CN107945219B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1945595A (zh) * | 2006-10-30 | 2007-04-11 | 邹采荣 | 一种基于加权主动形状建模的人脸特征定位方法 |
| CN101315661A (zh) * | 2008-07-18 | 2008-12-03 | 东南大学 | 一种减小表情影响的快速三维人脸识别方法 |
| CN104408462A (zh) * | 2014-09-22 | 2015-03-11 | 广东工业大学 | 面部特征点快速定位方法 |
| CN104504376A (zh) * | 2014-12-22 | 2015-04-08 | 厦门美图之家科技有限公司 | 一种人脸图像的年龄分类方法和系统 |
| CN105550657A (zh) * | 2015-12-23 | 2016-05-04 | 北京化工大学 | 基于关键点的改进sift人脸特征提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107945219A (zh) | 2018-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107945219B (zh) | 脸部图像对齐方法、计算机程序、存储介质及电子设备 | |
| US11734851B2 (en) | Face key point detection method and apparatus, storage medium, and electronic device | |
| CN109255830B (zh) | 三维人脸重建方法和装置 | |
| CN109214343B (zh) | 用于生成人脸关键点检测模型的方法和装置 | |
| US10565442B2 (en) | Picture recognition method and apparatus, computer device and computer- readable medium | |
| CN109871800B (zh) | 一种人体姿态估计方法、装置和存储介质 | |
| US20190102605A1 (en) | Method and apparatus for generating information | |
| US9349076B1 (en) | Template-based target object detection in an image | |
| CN111832468A (zh) | 基于生物识别的手势识别方法、装置、计算机设备及介质 | |
| CN109712234B (zh) | 三维人体模型的生成方法、装置、设备和存储介质 | |
| CN108229268A (zh) | 表情识别及卷积神经网络模型训练方法、装置和电子设备 | |
| CN114140603A (zh) | 虚拟形象生成模型的训练方法和虚拟形象生成方法 | |
| CN109063587A (zh) | 数据处理方法、存储介质和电子设备 | |
| WO2021223738A1 (zh) | 模型参数的更新方法、装置、设备及存储介质 | |
| CN111783626B (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN107622252A (zh) | 信息生成方法和装置 | |
| CN110610125A (zh) | 基于神经网络的牛脸识别方法、装置、设备及存储介质 | |
| WO2020047261A1 (en) | Active image depth prediction | |
| CN107729928A (zh) | 信息获取方法和装置 | |
| CN109241934A (zh) | 用于生成信息的方法和装置 | |
| CN112101490A (zh) | 热力图转换模型训练方法以及装置 | |
| CN111931628B (zh) | 人脸识别模型的训练方法、装置及相关设备 | |
| CN113743362A (zh) | 基于深度学习的实时矫正训练动作的方法及其相关设备 | |
| CN113705534A (zh) | 基于深度视觉的行为预测方法、装置、设备及存储介质 | |
| CN113343898A (zh) | 基于知识蒸馏网络的口罩遮挡人脸识别方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Face image alignment method, computer program, storage medium and electronic device Effective date of registration: 20200330 Granted publication date: 20191203 Pledgee: Beijing agricultural financing Company limited by guarantee Pledgor: XIANGCHUANG TECHNOLOGY (BEIJING) Co.,Ltd. Registration number: Y2020990000240 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20220803 Granted publication date: 20191203 Pledgee: Beijing agricultural financing Company limited by guarantee Pledgor: XIANGCHUANG TECHNOLOGY (BEIJING) Co.,Ltd. Registration number: Y2020990000240 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Facial image alignment method, computer program, storage medium and electronic device Effective date of registration: 20220822 Granted publication date: 20191203 Pledgee: Beijing finance Company limited by guarantee Pledgor: XIANGCHUANG TECHNOLOGY (BEIJING) Co.,Ltd. Registration number: Y2022990000548 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20230911 Granted publication date: 20191203 Pledgee: Beijing finance Company limited by guarantee Pledgor: XIANGCHUANG TECHNOLOGY (BEIJING) Co.,Ltd. Registration number: Y2022990000548 |