CN111444775A - 人脸关键点修正方法、装置以及计算机设备 - Google Patents
人脸关键点修正方法、装置以及计算机设备 Download PDFInfo
- Publication number
- CN111444775A CN111444775A CN202010138384.9A CN202010138384A CN111444775A CN 111444775 A CN111444775 A CN 111444775A CN 202010138384 A CN202010138384 A CN 202010138384A CN 111444775 A CN111444775 A CN 111444775A
- Authority
- CN
- China
- Prior art keywords
- sample image
- face
- key point
- keypoint
- basic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012937 correction Methods 0.000 title claims abstract description 23
- 230000006870 function Effects 0.000 claims description 40
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012986 modification Methods 0.000 claims description 10
- 230000004048 modification Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000002715 modification method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人脸关键点修正方法，该方法包括：接收第一点位标准的第一样本图像；通过初始第二人脸关键点识别模型对所述第一样本图像进行关键点预测，得到第二点位标准的第二样本图像；获取所述第一样本图像的第一基础关键点和所述第二样本图像中的第二基础关键点，计算位置偏移函数；根据所述位置偏移函数对所述第二样本图像中的所有关键点进行修正，得到第三样本图像。本发明还提供一种人脸关键点修正装置、计算机设备以及计算机可读存储介质，本发明能够根据第一点位标准的人脸关键点图像对初始第二人脸关键点识别模型预测的第二人脸关键点图像的关键点坐标进行修正，从而提高第二人脸关键点图像的精确性。
Description
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种人脸关键点修正方法、装置、计算机设备及计算机可读存储介质。
背景技术
目前人脸识别技术中，一般过程包括：先基于一个点位标准去标注出图像中的人脸关键点图像，然后通过人脸识别模型对标注出的人脸关键点图像进行训练或者识别。其中，人脸关键点图像大多是采用人脸关键点识别模型进行标注，比如一个深度学习神经网络网络。现有技术中存在有不同点位标准的人脸关键点识别模型，而且第一点位标准的人脸关键点图像并不能直接用于第二点位标准的人脸识别模型进行训练。因此，需要通过第二点位标准对应的第二人脸关键点识别模型对所述第一点位标准的人脸关键点图像重新进行关键点标注，得到第二点位标准的人脸关键点图像才能用于所述第二人脸识别模型进行训练或者识别。
实际应用中，由于采样数据的缺乏，通常会使用第一点位标准的人脸关键点图像去训练第二人脸识别模型。而初始第二人脸关键点识别模型本身不完善，直接使用来标注人脸图像的人脸关键点图像，容易导致精确性并不是很高，导致最终训练所述第二人脸识别模型的效果很差。
发明内容
有鉴于此，本发明提出一种人脸关键点修正方法、装置、计算机设备及计算机可读存储介质，能够解决上述直接采用初始第二人脸关键点识别模型预测出来的第二人脸关键点图像的精确性不高的问题。
首先，为实现上述目的，本发明提供一种人脸关键点修正方法，所述方法包括：
接收第一点位标准的第一样本图像；通过初始第二人脸关键点识别模型对所述第一样本图像进行关键点预测，得到第二点位标准的第二样本图像；获取所述第一样本图像的第一基础关键点和所述第二样本图像中的第二基础关键点；根据所述第一基础关键点和所述第二基础关键点计算位置偏移函数；根据所述位置偏移函数对所述第二样本图像中的所有关键点进行修正，得到第三样本图像。
优选地，所述通过初始第二人脸关键点识别模型对所述第一样本图像进行关键点预测之前，还包括：通过人脸框识别模型对所述第一样本图像进行人脸框识别，并标注出人脸框。
优选地，所述位置偏移函数包括一个仿射矩阵，所述仿射矩阵的计算表达式包括：M＝cv2.getAffineTransform(pts1,pts2)，其中，M为仿射矩阵，cv2为python库，pts1为第一基础关键点的坐标，pts2为第二基础关键点的坐标。
优选地，所述方法还包括：将所述第三样本图像输入到所述初始第二人脸关键点识别模型进行训练，从而得到第二人脸关键点识别模型。
优选地，所述初始第二人脸关键点识别模型对应的神经网络模型中采用的卷积层连接多组全连接层的结构。
此外，为实现上述目的，本发明还提供一种人脸关键点修正装置，所述装置包括：
接收模块，用于接收第一点位标准的第一样本图像；预测模块，用于通过初始第二人脸关键点识别模型对所述第一样本图像进行关键点预测，得到第二点位标准的第二样本图像；获取模块，用于获取所述第一样本图像的第一基础关键点和所述第二样本图像中的第二基础关键点；计算模块，用于根据所述第一基础关键点和所述第二基础关键点计算位置偏移函数；修正模块，用于根据所述位置偏移函数对所述第二样本图像中的所有关键点进行修正，得到第三样本图像。
优选地，所述预测模块还用于：通过人脸框识别模型对所述第一样本图像进行人脸框识别，并标注出人脸框。
优选地，所述位置偏移函数包括一个仿射矩阵，所述仿射矩阵的计算表达式包括：M＝cv2.getAffineTransform(pts1,pts2)，其中，M为仿射矩阵，cv2为python库，pts1为第一基础关键点的坐标，pts2为第二基础关键点的坐标。
进一步地，本发明还提出一种计算机设备，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述的人脸关键点修正方法的步骤。
进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的人脸关键点修正方法的步骤。
相较于现有技术，本发明所提出的人脸关键点修正方法、装置、计算机设备及计算机可读存储介质，能够在接收第一点位标准的第一样本图像之后，通过初始第二人脸关键点识别模型对所述第一样本图像进行关键点预测，得到第二点位标准的第二样本图像；然后获取所述第一样本图像的第一基础关键点和所述第二样本图像中的第二基础关键点，根据所述第一基础关键点和所述第二基础关键点计算位置偏移函数；最后再根据所述位置偏移函数对所述第二样本图像中的所有关键点进行修正，得到第三样本图像。通过以上方式，能够根据第一点位标准的人脸关键点图像对初始第二人脸关键点识别模型预测的第二人脸关键点图像的关键点坐标进行修正，提高第二人脸关键点图像的精确性。
附图说明
图1是本发明一实施例的应用环境示意图；
图2是本发明人脸关键点修正方法一实施例的流程示意图；
图3是本发明计算机设备一可选的硬件架构的示意图；
图4是本发明人脸关键点修正装置一实施例的程序模块示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
图1是本发明一实施例的应用环境示意图。参阅图1所示，所述计算机设备1与数据服务器2连接，从所述数据服务器2获取图像数据。所述计算机设备1还提供一个用户界面，用户可以通过对所述用户界面与所述计算机设备1进行交互。
当然，在其他实施例中，如果所述计算机设备1存储有图像数据，那么，图1所示的数据服务器2则可以省略。所述计算机设备1可以直接从自身或者附加的存储单元中获取图像数据。
图2是本发明人脸关键点修正方法一实施例的流程示意图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备为执行主体进行示例性描述。
如图2所示，所述人脸关键点修正方法可以包括步骤S200～S208，其中：
步骤S200，接收第一点位标准的第一样本图像。
目前的人脸关键点图像有许多点位标准，如3点、5点、68点、72点、83点、98点、106点、150点、1000点等，由于人脸识别模型中的神经网络回归人脸关键点位置时需要一套统一的标准即关键点数量和相对位置固定，而不同点位标准的数据很难同时用来训练同一个关键点模型。因此，在训练第二点位标准的人脸识别模型，不能直接使用现有的第一点位标准的人脸关键点图像，但是可以通过第一点位标准的人脸关键点图像进行处理，转换成第二点位标准的人脸关键点图像。因此，当用户需要通过第一点位标准的人脸关键点图像训练出基于第二点位标准的人脸识别模型时，所述计算机设备1可以接收由数据服务器2或者其他用户终端发送的所述第一样本图像。
步骤S202，通过初始第二人脸关键点识别模型对所述第一样本图像进行关键点预测，得到第二点位标准的第二样本图像。
具体地，所述初始第二人脸关键点识别模型是根据已有的第二点位标准的人脸关键点图像预先训练得到的，因此能够识别出人脸图像中基于第二点位标准的人脸关键点图像。在本实施例中，已有的第二点位标准的人脸关键点图像是通过人工对人脸图像进行第二点位标准的关键点标记得到，这种方式获得的训练数据数量有限，因此，所述初始第二人脸关键点识别模型识别精确度并不高。当所述计算机设备1接收到所述第一样本图像之后，先根据预设的初始第二人脸关键点识别模型对所述第一样本图像进行关键点预测，从而得的第二点位标准的第二样本图像。在本实施例中，所述初始第二人脸关键点识别模型对应的神经网络模型中采用的卷积层连接多组全连接层的结构。其中，所述初始第二人脸关键点识别模型对应的神经网络模型结构中最后一层卷积层后面连接多组全连接层，用于根据所述人脸关键点识别模型识别出的人脸关键点进行反馈训练，以优化所述卷积层。
当然，在本实施例中，所述计算机设备1执行所述通过初始第二人脸关键点识别模型对所述第一样本图像进行关键点预测的步骤之前，还会通过人脸框识别模型对所述第一样本图像进行人脸框识别，并标注出人脸框。人脸框标注之后，所述初始第二人脸关键点识别模型才能在所述第一样本图像的人脸框中进行预测，从而预测出人脸框中所包括的第二点位标准的人脸关键点，从而得到第二点位标准的第二样本图像。
步骤S204，获取所述第一样本图像的第一基础关键点和所述第二样本图像中的第二基础关键点。
步骤S206，根据所述第一基础关键点和所述第二基础关键点计算位置偏移函数。
具体地，所述计算机设备1通过所述初始第二人脸关键点识别模型对所述第一样本图像进行预测，得到第二样本图像之后，则进一步获取所述第一样本图像中的第一基础关键点和所述第二样本图像中的第二基础关键点。通常地，不管什么样的点位标准的人脸关键点图像，一般都会包括基础关键点和非基础关键点，其中，基础关键点设置为人脸图像中对应的左眼、右眼和嘴巴的位置；而非基础关键点则是人脸关键点图像中除了基础关键点之外的所有人脸关键点。例如，72点位标准的人脸关键点图像中，左眼、右眼、嘴巴中心为基础关键点，其他69个关键点为非基础关键点；106点位标准的人脸关键点图像中，左眼、右眼、嘴巴中心为基础关键点，其他103个关键点为非基础关键点。也就是说，基础关键点是所有点位标准的人脸关键点图像中所共有的人脸关键点。
在本实施例中，当所述计算机设备1获取到所述第一样本图像之后，则可以直接记录所述第一样本图像中的基础关键点，比如左眼、右眼、嘴巴中心位置对应的关键点，记录为第一基础关键点；然后，在通过所述初始第二人脸关键点识别模型预测出所述第一样本图像对应的第二点位标准的第二样本图像，也就是基于第二点位标准的人脸图像，因此，所述计算机设备1则可以将所述第二样本图像的基础关键点，比如左眼、右眼、嘴巴中心位置对应的关键点标注出来，记录为第二基础关键点。
接着，所述计算机设备1根据所述第一基础关键点和第二基础关键点计算出一个位置偏移函数。在本实施例中，所述计算机设备1预先设置一个初始位置偏移函数，然后将所述第一基础关键点和所述第二基础关键点输入到所述初始位置偏移函数，调整所述初始位置偏移函数的相关系数，从而得到一个位置偏移函数。例如，所述位置偏移函数包括一个仿射矩阵，所述仿射矩阵的计算表达式包括：M＝cv2.getAffineTransform(pts1,pts2)，其中，M为仿射矩阵，cv2为python库，cv2.getAffineTransform表示引用python库中包括的getAffineTransform功能函数，pts1为第一基础关键点的坐标，pts2为第二基础关键点的坐标；cv2用于描述所述仿射矩阵中pts1和pts2的位置偏移关系的系数。因此，所述计算机设备1可以计算出一个描述所述第一基础关键点和所述第二基础关键点的仿射矩阵。
步骤S208，根据所述位置偏移函数对所述第二样本图像中的所有关键点进行修正，得到第三样本图像。
具体地，当所述计算机设备1计算出所述仿射矩阵之后，则进一步根据所述仿射矩阵对所述第二样本图像中的所有关键点进行修正，从而得到第三样本图像。在本实施例中，所述第二样本图像中的关键点是所述初始第二关键点识别模型预测出来的，实际上精确度并不高。因此所述计算机设备1根据计算出的仿射矩阵对所述第二样本图像中的所有关键点进行修正，得到第三样本图像。在本实施例中，因为所述仿射矩阵是根据所述第一样本图像中的第一基础关键点与预测出的第二样本图像中的第二基础关键点的位置偏移关系计算得到的，也就是说，所述仿射矩阵描述了所述第二基础关键点相对于第一基础关键点的偏移量。然后，所述计算机设备1则可以根据所述仿射矩阵对所述第二样本图像中的所有关键点进行反运算，得到校正后第二点位标准的人脸关键点，也就是第三样本图像。因此，所述第三样本图像中的关键点相对于所述第二样本图像中的关键点，能够较为真实地反应出所述第一样本图像中的特征。也就是说，更加精确。
最后，所述计算机设备1将所述第三样本图像输入到所述初始第二人脸关键点识别模型进行训练，从而得到第二人脸关键点识别模型。从而提高所述第二人脸关键点识别模型的预测精度。
在另一实施例中，所述计算机设备1还可以将获得的所述第三样本图像输出到用户终端，然后用户通过用户终端对所述第三样本图像的关键点进行校正，得到第四样本图像，然后用于对所述第二人脸关键点识别模型进行训练，从而提升所述第二人脸关键点识别模型的识别精度。
从上文可知，本实施例所提出的人脸关键点修正方法能够在接收第一点位标准的第一样本图像之后，通过初始第二人脸关键点识别模型对所述第一样本图像进行关键点预测，得到第二点位标准的第二样本图像；然后获取所述第一样本图像的第一基础关键点和所述第二样本图像中的第二基础关键点，根据所述第一基础关键点和所述第二基础关键点计算位置偏移函数；最后再根据所述位置偏移函数对所述第二样本图像中的所有关键点进行修正，得到第三样本图像。通过以上方式，能够根据第一点位标准的人脸关键点图像对初始第二人脸关键点识别模型预测的第二人脸关键点图像的关键点坐标进行修正，提高第二人脸关键点图像的精确性。
此外，本发明还提供一种计算机设备，参阅图3所示，是本发明计算机设备一可选的硬件架构的示意图。
本实施例中，所述计算机设备1可包括，但不仅限于，可通过系统总线相互通信连接存储器11、处理器12、网络接口13。所述计算机设备1通过网络接口13连接网络(图3未标出)，通过网络连接到数据服务器或者用户终端如移动终端(Mobile Terminal)、用户设备(User Equipment，UE)、手机(handset)及便携设备(portable equipment)，PC端等(图3未标出)进行数据交互。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(WidebandCode Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi、通话网络等无线或有线网络。
需要指出的是，图3仅示出了具有组件11-13的计算机设备1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器11可以是所述计算机设备1的内部存储单元，例如该计算机设备1的硬盘或内存。在另一些实施例中，所述存储器11也可以是所述计算机设备1的外部存储设备，例如该计算机设备1配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器11还可以既包括所述计算机设备1的内部存储单元也包括其外部存储设备。本实施例中，所述存储器11通常用于存储安装于所述计算机设备1的操作系统和各类应用软件以及人脸关键点修正装置200的程序代码等。此外，所述存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述计算机设备1的总体操作，例如执行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行所述人脸关键点修正装置200的应用程序，这里不做限制。
所述网络接口13可包括无线网络接口或有线网络接口，该网络接口13通常用于在所述计算机设备1与用户终端如移动终端、用户设备、手机及便携设备，PC端，以及数据服务器等之间建立通信连接。
本实施例中，所述计算机设备1内安装并运行有人脸关键点修正装置200时，当所述人脸关键点修正装置200运行时，能够在接收第一点位标准的第一样本图像之后，通过初始第二人脸关键点识别模型对所述第一样本图像进行关键点预测，得到第二点位标准的第二样本图像；然后获取所述第一样本图像的第一基础关键点和所述第二样本图像中的第二基础关键点，根据所述第一基础关键点和所述第二基础关键点计算位置偏移函数；最后再根据所述位置偏移函数对所述第二样本图像中的所有关键点进行修正，得到第三样本图像。通过以上方式，能够根据第一点位标准的人脸关键点图像对初始第二人脸关键点识别模型预测的第二人脸关键点图像的关键点坐标进行修正，提高第二人脸关键点图像的精确性。
至此，己经详细介绍了本发明计算机设备的硬件结构和功能。下面，将基于上述计算机设备，提出本发明的各个实施例。
参阅图4所示，是本发明人脸关键点修正装置200一实施例的程序模块图。
本实施例中，所述人脸关键点修正装置200包括一系列的存储于存储器11上的计算机程序指令，当该计算机程序指令被处理器12执行时，可以实现本发明实施例的人脸关键点修正功能。在一些实施例中，基于该计算机程序指令各部分所实现的特定的操作，人脸关键点修正装置200可以被划分为一个或多个模块。例如，在图4中，所述人脸关键点修正装置200可以被分割成接收模块201、预测模块202、获取模块203、计算模块204、修正模块205和训练模块206。其中：
所述接收模块201，用于接收第一点位标准的第一样本图像。
目前的人脸关键点图像有许多点位标准，如3点、5点、68点、72点、83点、98点、106点、150点、1000点等，由于人脸识别模型中的神经网络回归人脸关键点位置时需要一套统一的标准即关键点数量和相对位置固定，而不同点位标准的数据很难同时用来训练同一个关键点模型。因此，在训练第二点位标准的人脸识别模型，不能直接使用现有的第一点位标准的人脸关键点图像，但是可以通过第一点位标准的人脸关键点图像进行处理，转换成第二点位标准的人脸关键点图像。因此，当用户需要通过第一点位标准的人脸关键点图像训练出基于第二点位标准的人脸识别模型时，所述接收模块201可以接收由数据服务器2或者其他用户终端发送的所述第一样本图像。
所述预测模块202，用于通过初始第二人脸关键点识别模型对所述第一样本图像进行关键点预测，得到第二点位标准的第二样本图像。
具体地，所述初始第二人脸关键点识别模型是根据已有的第二点位标准的人脸关键点图像预先训练得到的，因此能够识别出人脸图像中基于第二点位标准的人脸关键点图像。在本实施例中，已有的第二点位标准的人脸关键点图像是通过人工对人脸图像进行第二点位标准的关键点标记得到，这种方式获得的训练数据数量有限，因此，所述初始第二人脸关键点识别模型识别精确度并不高。当所述接收模块201接收到所述第一样本图像之后，所述预测模块202先根据预设的初始第二人脸关键点识别模型对所述第一样本图像进行关键点预测，从而得的第二点位标准的第二样本图像。在本实施例中，所述初始第二人脸关键点识别模型对应的神经网络模型中采用的卷积层连接多组全连接层的结构。其中，所述初始第二人脸关键点识别模型对应的神经网络模型结构中最后一层卷积层后面连接多组全连接层，用于根据所述人脸关键点识别模型识别出的人脸关键点进行反馈训练，以优化所述卷积层。
当然，在本实施例中，所述预测模块202执行所述通过初始第二人脸关键点识别模型对所述第一样本图像进行关键点预测的步骤之前，还会通过人脸框识别模型对所述第一样本图像进行人脸框识别，并标注出人脸框。人脸框标注之后，所述初始第二人脸关键点识别模型才能在所述第一样本图像的人脸框中进行预测，从而预测出人脸框中所包括的第二点位标准的人脸关键点，从而得到第二点位标准的第二样本图像。
所述获取模块203，用于获取所述第一样本图像的第一基础关键点和所述第二样本图像中的第二基础关键点。
所述计算模块204，用于根据所述第一基础关键点和所述第二基础关键点计算位置偏移函数。
具体地，所述预测模块202通过所述初始第二人脸关键点识别模型对所述第一样本图像进行预测，得到第二样本图像之后，所述获取模块203则进一步获取所述第一样本图像中的第一基础关键点和所述第二样本图像中的第二基础关键点。通常地，不管什么样的点位标准的人脸关键点图像，一般都会包括基础关键点和非基础关键点，其中，基础关键点设置为人脸图像中对应的左眼、右眼和嘴巴的位置；而非基础关键点则是人脸关键点图像中除了基础关键点之外的所有人脸关键点。例如，72点位标准的人脸关键点图像中，左眼、右眼、嘴巴中心为基础关键点，其他69个关键点为非基础关键点；106点位标准的人脸关键点图像中，左眼、右眼、嘴巴中心为基础关键点，其他103个关键点为非基础关键点。也就是说，基础关键点是所有点位标准的人脸关键点图像中所共有的人脸关键点。
在本实施例中，当所述获取模块203获取到所述第一样本图像之后，则可以直接记录所述第一样本图像中的基础关键点，比如左眼、右眼、嘴巴中心位置对应的关键点，记录为第一基础关键点；然后，所述预测模块202在通过所述初始第二人脸关键点识别模型预测出所述第一样本图像对应的第二点位标准的第二样本图像，也就是基于第二点位标准的人脸图像，因此，所述获取模块203则可以将所述第二样本图像的基础关键点，比如左眼、右眼、嘴巴中心位置对应的关键点标注出来，记录为第二基础关键点。
接着，所述计算模块204根据所述第一基础关键点和第二基础关键点计算出一个位置偏移函数。在本实施例中，所述计算模块204预先设置一个初始位置偏移函数，然后将所述第一基础关键点和所述第二基础关键点输入到所述初始位置偏移函数，调整所述初始位置偏移函数的相关系数，从而得到一个位置偏移函数。例如，所述位置偏移函数包括一个仿射矩阵，所述仿射矩阵的计算表达式包括：M＝cv2.getAffineTransform(pts1,pts2)，其中，M为仿射矩阵，cv2为python库，cv2.getAffineTransform表示引用python库中包括的getAffineTransform功能函数，pts1为第一基础关键点的坐标，pts2为第二基础关键点的坐标；cv2用于描述所述仿射矩阵中pts1和pts2的位置偏移关系的系数。因此，所述计算模块204可以计算出一个描述所述第一基础关键点和所述第二基础关键点的仿射矩阵。
所述修正模块205，用于根据所述位置偏移函数对所述第二样本图像中的所有关键点进行修正，得到第三样本图像。
具体地，当所述计算模块204计算出所述仿射矩阵之后，所述修正模块205则进一步根据所述仿射矩阵对所述第二样本图像中的所有关键点进行修正，从而得到第三样本图像。在本实施例中，所述第二样本图像中的关键点是所述初始第二关键点识别模型预测出来的，实际上精确度并不高。因此所述修正模块205根据计算出的仿射矩阵对所述第二样本图像中的所有关键点进行修正，得到第三样本图像。在本实施例中，因为所述仿射矩阵是根据所述第一样本图像中的第一基础关键点与预测出的第二样本图像中的第二基础关键点的位置偏移关系得到的，也就是说，所述仿射矩阵描述了所述第二基础关键点相对于第一基础关键点的偏移量。然后，所述计算机设备1则可以根据所述仿射矩阵对所述第二样本图像中的所有关键点进行反运算，得到校正后第二点位标准的人脸关键点，也就是第三样本图像。因此，所述第三样本图像中的关键点相对于所述第二样本图像中的关键点，能够较为真实地反应出所述第一样本图像中的特征。也就是说，更加精确。
所述训练模块206，用于将所述第三样本图像输入到所述初始第二人脸关键点识别模型进行训练，从而得到第二人脸关键点识别模型。
从上文可知，所述计算机设备1能够在接收第一点位标准的第一样本图像之后，通过初始第二人脸关键点识别模型对所述第一样本图像进行关键点预测，得到第二点位标准的第二样本图像；然后获取所述第一样本图像的第一基础关键点和所述第二样本图像中的第二基础关键点，根据所述第一基础关键点和所述第二基础关键点计算位置偏移函数；最后再根据所述位置偏移函数对所述第二样本图像中的所有关键点进行修正，得到第三样本图像。通过以上方式，能够根据第一点位标准的人脸关键点图像对初始第二人脸关键点识别模型预测的第二人脸关键点图像的关键点坐标进行修正，提高第二人脸关键点图像的精确性。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种人脸关键点修正方法，其特征在于，所述方法包括：
接收第一点位标准的第一样本图像；
通过初始第二人脸关键点识别模型对所述第一样本图像进行关键点预测，得到第二点位标准的第二样本图像；
获取所述第一样本图像的第一基础关键点和所述第二样本图像中的第二基础关键点；
根据所述第一基础关键点和所述第二基础关键点计算位置偏移函数；
根据所述位置偏移函数对所述第二样本图像中的所有关键点进行修正，得到第三样本图像。
2.如权利要求1所述的人脸关键点修正方法，其特征在于，所述通过初始第二人脸关键点识别模型对所述第一样本图像进行关键点预测之前，还包括：
通过人脸框识别模型对所述第一样本图像进行人脸框识别，并标注出人脸框。
3.如权利要求1所述的人脸关键点修正方法，其特征在于，所述位置偏移函数包括一个仿射矩阵，所述仿射矩阵的计算表达式包括：
M＝cv2.getAffineTransform(pts1,pts2)，其中，M为仿射矩阵，cv2为python库，pts1为第一基础关键点的坐标，pts2为第二基础关键点的坐标。
4.如权利要求3所述的人脸关键点修正方法，其特征在于，所述方法还包括：
将所述第三样本图像输入到所述初始第二人脸关键点识别模型进行训练，从而得到第二人脸关键点识别模型。
5.如权利要求1所述的方法，其特征在于，所述初始第二人脸关键点识别模型对应的神经网络模型中采用的卷积层连接多组全连接层的结构。
6.一种人脸关键点修正装置，其特征在于，所述装置包括：
接收模块，用于接收第一点位标准的第一样本图像；
预测模块，用于通过初始第二人脸关键点识别模型对所述第一样本图像进行关键点预测，得到第二点位标准的第二样本图像；
获取模块，用于获取所述第一样本图像的第一基础关键点和所述第二样本图像中的第二基础关键点；
计算模块，用于根据所述第一基础关键点和所述第二基础关键点计算位置偏移函数；
修正模块，用于根据所述位置偏移函数对所述第二样本图像中的所有关键点进行修正，得到第三样本图像。
7.如权利要求6所述的人脸关键点修正装置，其特征在于，所述预测模块还用于:
通过人脸框识别模型对所述第一样本图像进行人脸框识别，并标注出人脸框。
8.如权利要求6所述的人脸关键点修正装置，其特征在于，所述位置偏移函数包括一个仿射矩阵，所述仿射矩阵的计算表达式包括：
M＝cv2.getAffineTransform(pts1,pts2)，其中，M为仿射矩阵，cv2为python库，pts1为第一基础关键点的坐标，pts2为第二基础关键点的坐标。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-5任一项所述的人脸关键点修正方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-5中任一项所述的人脸关键点修正方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010138384.9A CN111444775B (zh) | 2020-03-03 | 2020-03-03 | 人脸关键点修正方法、装置以及计算机设备 |
| PCT/CN2020/118655 WO2021174833A1 (zh) | 2020-03-03 | 2020-09-29 | 人脸关键点修正方法、装置以及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010138384.9A CN111444775B (zh) | 2020-03-03 | 2020-03-03 | 人脸关键点修正方法、装置以及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111444775A true CN111444775A (zh) | 2020-07-24 |
| CN111444775B CN111444775B (zh) | 2023-10-27 |
Family
ID=71627224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010138384.9A Active CN111444775B (zh) | 2020-03-03 | 2020-03-03 | 人脸关键点修正方法、装置以及计算机设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111444775B (zh) |
| WO (1) | WO2021174833A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112084992A (zh) * | 2020-09-18 | 2020-12-15 | 北京中电兴发科技有限公司 | 一种人脸关键点检测模块中人脸框选取方法 |
| CN113298098A (zh) * | 2021-05-20 | 2021-08-24 | Oppo广东移动通信有限公司 | 基础矩阵估计方法及相关产品 |
| WO2021174833A1 (zh) * | 2020-03-03 | 2021-09-10 | 平安科技（深圳）有限公司 | 人脸关键点修正方法、装置以及计算机设备 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112101063A (zh) * | 2019-06-17 | 2020-12-18 | 福建天晴数码有限公司 | 歪斜人脸检测方法及计算机可读存储介质 |
| CN114332321B (zh) * | 2021-11-19 | 2024-06-07 | 清华大学 | 一种基于神经纹理的动态人脸重建方法和装置 |
| CN113870102B (zh) * | 2021-12-06 | 2022-03-08 | 深圳市大头兄弟科技有限公司 | 图像的动漫化方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120301014A1 (en) * | 2011-05-27 | 2012-11-29 | Microsoft Corporation | Learning to rank local interest points |
| CN105868769A (zh) * | 2015-01-23 | 2016-08-17 | 阿里巴巴集团控股有限公司 | 图像中的人脸关键点定位方法及装置 |
| CN106991367A (zh) * | 2016-01-21 | 2017-07-28 | 腾讯科技（深圳）有限公司 | 确定人脸转动角度的方法和装置 |
| CN107506693A (zh) * | 2017-07-24 | 2017-12-22 | 深圳市智美达科技股份有限公司 | 畸变人脸图像校正方法、装置、计算机设备和存储介质 |
| CN110175558A (zh) * | 2019-05-24 | 2019-08-27 | 北京达佳互联信息技术有限公司 | 一种人脸关键点的检测方法、装置、计算设备及存储介质 |
| CN110309706A (zh) * | 2019-05-06 | 2019-10-08 | 深圳市华付信息技术有限公司 | 人脸关键点检测方法、装置、计算机设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106980845B (zh) * | 2017-04-24 | 2020-02-21 | 西安电子科技大学 | 基于结构化建模的人脸关键点定位方法 |
| CN108764048B (zh) * | 2018-04-28 | 2021-03-16 | 中国科学院自动化研究所 | 人脸关键点检测方法及装置 |
| CN110807448B (zh) * | 2020-01-07 | 2020-04-14 | 南京甄视智能科技有限公司 | 人脸关键点数据增强方法 |
| CN111444775B (zh) * | 2020-03-03 | 2023-10-27 | 平安科技（深圳）有限公司 | 人脸关键点修正方法、装置以及计算机设备 |
-
2020
- 2020-03-03 CN CN202010138384.9A patent/CN111444775B/zh active Active
- 2020-09-29 WO PCT/CN2020/118655 patent/WO2021174833A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120301014A1 (en) * | 2011-05-27 | 2012-11-29 | Microsoft Corporation | Learning to rank local interest points |
| CN105868769A (zh) * | 2015-01-23 | 2016-08-17 | 阿里巴巴集团控股有限公司 | 图像中的人脸关键点定位方法及装置 |
| CN106991367A (zh) * | 2016-01-21 | 2017-07-28 | 腾讯科技（深圳）有限公司 | 确定人脸转动角度的方法和装置 |
| CN107506693A (zh) * | 2017-07-24 | 2017-12-22 | 深圳市智美达科技股份有限公司 | 畸变人脸图像校正方法、装置、计算机设备和存储介质 |
| CN110309706A (zh) * | 2019-05-06 | 2019-10-08 | 深圳市华付信息技术有限公司 | 人脸关键点检测方法、装置、计算机设备及存储介质 |
| CN110175558A (zh) * | 2019-05-24 | 2019-08-27 | 北京达佳互联信息技术有限公司 | 一种人脸关键点的检测方法、装置、计算设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 丁宾等: "从多张非标定图像重建三维人脸", 计算机辅助设计与图形学学报, vol. 22, no. 02, pages 210 - 215 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021174833A1 (zh) * | 2020-03-03 | 2021-09-10 | 平安科技（深圳）有限公司 | 人脸关键点修正方法、装置以及计算机设备 |
| CN112084992A (zh) * | 2020-09-18 | 2020-12-15 | 北京中电兴发科技有限公司 | 一种人脸关键点检测模块中人脸框选取方法 |
| CN112084992B (zh) * | 2020-09-18 | 2021-04-13 | 北京中电兴发科技有限公司 | 一种人脸关键点检测模块中人脸框选取方法 |
| CN113298098A (zh) * | 2021-05-20 | 2021-08-24 | Oppo广东移动通信有限公司 | 基础矩阵估计方法及相关产品 |
| CN113298098B (zh) * | 2021-05-20 | 2022-06-24 | Oppo广东移动通信有限公司 | 基础矩阵估计方法及相关产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111444775B (zh) | 2023-10-27 |
| WO2021174833A1 (zh) | 2021-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111444775B (zh) | 人脸关键点修正方法、装置以及计算机设备 | |
| CN110502608B (zh) | 基于知识图谱的人机对话方法及人机对话装置 | |
| CN109389030B (zh) | 人脸特征点检测方法、装置、计算机设备及存储介质 | |
| CN109858445B (zh) | 用于生成模型的方法和装置 | |
| CN111950638B (zh) | 基于模型蒸馏的图像分类方法、装置和电子设备 | |
| CN112100431B (zh) | Ocr系统的评估方法、装置、设备及可读存储介质 | |
| CN110008997B (zh) | 图像纹理相似度识别方法、装置及计算机可读存储介质 | |
| CN108427941B (zh) | 用于生成人脸检测模型的方法、人脸检测方法和装置 | |
| CN111898682B (zh) | 基于多个源模型修正新模型的方法、装置以及计算机设备 | |
| CN110751149A (zh) | 目标对象标注方法、装置、计算机设备和存储介质 | |
| CN112395390B (zh) | 意图识别模型的训练语料生成方法及其相关设备 | |
| CN112699871B (zh) | 字段内容识别方法、系统、设备及计算机可读存储介质 | |
| CN112836521A (zh) | 问答匹配方法、装置、计算机设备及存储介质 | |
| CN111680480A (zh) | 基于模板的作业批改方法、装置、计算机设备及存储介质 | |
| KR102170930B1 (ko) | 자동차 파손 그림 각도 보정 방법, 전자장치 및 판독 가능한 저장매체 | |
| CN112183542A (zh) | 基于文本图像的识别方法、装置、设备和介质 | |
| CN115205736A (zh) | 视频数据的识别方法和装置、电子设备和存储介质 | |
| CN114780701A (zh) | 自动问答匹配方法、装置、计算机设备及存储介质 | |
| CN110750637B (zh) | 文本摘要提取方法、装置、计算机设备及存储介质 | |
| CN113128168A (zh) | 一种焊盘参数校验校正方法、装置、计算机设备及存储介质 | |
| CN114241411A (zh) | 基于目标检测的计数模型处理方法、装置及计算机设备 | |
| CN113382283A (zh) | 视频片头识别方法及系统 | |
| CN114187545A (zh) | 渐变镜头的识别方法和装置、电子设备和存储介质 | |
| WO2021022712A1 (zh) | 图像识别模型训练方法、装置以及计算机设备 | |
| CN108415814B (zh) | 自动记录字段变化方法、应用服务器及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |