CN111754391A - 人脸转正方法、设备及计算机可读存储介质 - Google Patents
人脸转正方法、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111754391A CN111754391A CN202010448575.5A CN202010448575A CN111754391A CN 111754391 A CN111754391 A CN 111754391A CN 202010448575 A CN202010448575 A CN 202010448575A CN 111754391 A CN111754391 A CN 111754391A
- Authority
- CN
- China
- Prior art keywords
- face image
- key points
- image
- key
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013508 migration Methods 0.000 claims description 59
- 230000005012 migration Effects 0.000 claims description 59
- 238000001514 detection method Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012546 transfer Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 abstract description 8
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000000750 progressive effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Abstract
本发明提供人脸转正方法、设备、芯片及计算机可读存储介质，人脸转正方法，包括：检测待识别图片，从待识别图片中获取人脸图像；判断人脸图像是正脸图像还是侧脸图像；若人脸图像是侧脸图像，检测侧脸图像的关键点，并根据检测到的关键点形成侧脸图像的关键点图片；根据侧脸图像的关键点图片形成正脸图像关键点图片；根据正脸图像关键点图片形成正脸人脸图像。本实施例人脸转正方法通过将侧面人脸关键点形成正脸图像关键点，从而最终形成正脸人脸图像，通过和现有技术不同的方式实现侧面人脸到正面人脸的转变，从而能在实际应用时提高人脸识别效率。
Description
技术领域
本发明涉及人脸识别领域，特别涉及一种摄像系统以及人脸转正方法、设备、芯片及计算机可读存储介质。
背景技术
人脸识别技术是人工智能机器视觉领域的重要研究方向之一，近年来由于人工智能技术与能源相关技术的飞速发展和不断突破，人脸识别技术得到了高度发展，因此广泛应用于工业领域例如安全保护，交通，金融，医疗等领域，具有广阔的市场前景。
人脸识别技术可分为两部分：人脸检测和人脸识别。人脸检测技术是使用目标检测技术对图像或视频进行人脸检测，以将检测到的人脸剪裁以进行识别。人脸识别技术是通过深度学习算法提取人脸图片特征，用特征向量表示人脸的特征，两个人脸的特征向量的相似度确定将两个人脸的相似度。
由于人脸图像的清晰度和完整度会直接影响人脸识别的效果，大在许多无法控制的环境下，采集的人脸多为侧面图像。相对于正面人脸图像来说，侧面图像的脸部特征会有严重的丧失，并且脸部特征不完整，因此导致人们在实际应用中人脸识别的效果很差。现有技术的检测方法无法基于人脸的侧面图像实现较为准确的人脸识别。
发明内容
为了解决现有技术存在的问题，本发明的至少一个实施例提供了人脸转正方法、设备、芯片及计算机可读存储介质，能够将人脸侧脸转为人脸正脸，解决以上背景技术部分提到的各种问题。
第一方面，本发明实施例提出一种人脸转正方法，包括：检测待识别图片，从所述待识别图片中获取人脸图像；判断所述人脸图像是正脸图像还是侧脸图像；若所述人脸图像是侧脸图像，检测所述侧脸图像的关键点，并根据检测到的所述关键点形成所述侧脸图像的关键点图片；根据所述侧脸图像的关键点图片形成正脸图像关键点图片；根据所述正脸图像关键点图片形成正脸人脸图像。
在一些实施例中，所述根据所述侧脸图像的关键点图片形成正脸图像关键点图片，包括：对所述侧脸图像的关键点图片中的关键点进行位置迁移，得到正脸图像关键点；根据所述正脸图像关键点得到所述正脸图像关键点图片。
在一些实施例中，所述关键点位置迁移包括多次关键点位置迁移，所述根据侧脸图像的关键点图片形成正脸图像关键点图片，包括：对所述侧脸图像的关键点图片中的关键点进行位置迁移，得到中间姿态的人脸图像关键点，并形成所述中间姿态的人脸图像关键点图片，所述中间姿态对应的人脸角度介于所述侧脸人脸和正脸之间；对所述中间姿态人脸图像关键点图片中的关键点进行位置迁移，得到正脸图像关键点，并形成正脸人脸图像关键点图片。
在一些实施例中，所述对关键点图片中的关键点进行位置迁移，具体包括：根据预设规则确定所述关键点附近区域；对关键点及其附近区域进行位置迁移。
在一些实施例中，所述对关键点图片中的关键点进行位置迁移，具体包括：采用姿态转移网络对关键点进行位置迁移。
在一些实施例中，所述方法还包括：根据所述形成的正脸人脸图像进行人脸识别。
第二方面，本发明实施例还提供一种人脸转正设备，包括：检测模块，用于检测待识别图片，从所述待识别图片中获取人脸图像；侧脸识别模块，用于判断所述人脸图像是正脸图像还是侧脸图像；关键点检测模块，用于当所述侧脸识别模块识别出所述人脸图像为侧脸图像时，检测所述侧脸图像的关键点；关键点位置迁移模块，用于对所述侧脸图像的关键点进行位置迁移，得到正脸图像关键点；正脸人脸图像生成模块，用于根据所述正脸图像关键点形成正脸图像关键点图片，并根据所述正脸图像关键点图片形成正脸人脸图像。
在一些实施例中，所述关键点位置迁移模块为姿态转移网络。
在一些实施例中，所述姿态转移网络为渐进的姿态注意力迁移网络，所述渐进的姿态注意力迁移网络包括多个级联的姿态注意力迁移子网络。
在一些实施例中，所述多个级联的姿态注意力迁移子网络包括第一姿态注意力迁移子网络和第二姿态注意力迁移子网络，其中，所述第一姿态注意力迁移子网络，用于对所述侧脸图像的关键点图片中的关键点进行位置迁移，得到中间姿态的人脸图像关键点，所述中间姿态对应的人脸角度介于所述侧脸人脸和正脸之间；所述第二姿态注意力迁移子网络，用于对所述中间姿态人脸图像关键点图片中的关键点进行位置迁移，得到正脸图像关键点。
在一些实施例中，还包括第一确定模块，用于根据预设规则确定所述关键点附近区域；所述关键点位置迁移模块，用于对关键点及其附近区域进行位置迁移。
在一些实施例中，还包括人脸识别模块，用于对所述正脸人脸图像生成模块生成的正脸人脸图像进行人脸识别。
第三方面，本发明实施例还提供一种计算机设备，包括：至少一个处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；与所述至少一个处理器耦合的存储器，所述存储器存储有可执行指令，其中，所述可执行指令在被所述至少一个处理器执行时使得实现上述第一方面中的方法。
第四方面，本本发明实施例还提供一种芯片，用于执行上述第一方面中的方法。具体地，该芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有该芯片的设备用于执行上述第一方面中的方法。
第五方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面的任一项所述的方法。
第六方面，本发明实施例还提供一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行上述第一方面中的方法。
可见，本发明实施例的人脸转正方法和设备在检测到侧脸人脸时，首先检测测量图像的关键点，通过侧脸图像关键点图片形成正脸图像关键点图片，从而获得姿态转正后的正脸人脸图像，完善人脸的脸部特征，将侧脸转为人脸正脸从而提高实际应用中人脸识别的准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的人脸转正方法的一具体实施例的流程图；
图2为本发明的人脸转正方法的另一具体实施例的流程图；
图3为本发明人脸转正设备一具体实施例的结构框图；
图4为本发明人脸转正设备另一具体实施例的结构框图；
图5为本实施例计算机设备基本结构框图。
具体实施方案
以下结合附图和具体实施例对本申请作详细描述，以便更清楚理解本申请的目的、特点和优点。应理解的是，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本申请的保护范围进行任何限制。除非上下文明确地另外指明，否则单数形式“一”和“所述”包括复数指代物。如本申请中所使用的，用语“第一” 和“第二”可互换使用，以将一个或一类构件分别与另一个或另一类区分开，且不旨在表示独立构件的位置或重要性。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
由于人脸分布的不均衡性，人脸识别系统对侧脸的识别性能会比正脸的识别下降很多。将人脸转正后做识别是最普遍的解决方案。现有技术中人脸转正方法主要分为基于3D 映射和基于深度学习两种。前者是将2D侧脸映射到3D，然后渲染到正脸。后者是基于GAN（Generative adversarial networks，生成对抗网络）方法从侧脸生成正脸。本申请发明人提出一种不同于现有技术的人脸转正方法，将识别出的人脸侧脸转化为正脸。
第一方面，图1为本发明的人脸转正方法的一具体实施例的流程图，根据图1所示，本实施例的人脸转正方法包括：
步骤110，检测待识别图片，从所述待识别图片中获取人脸图像。具体的，可以采用现有技术方法，例如通过人脸识别算法检测待识别图片，从中提取人脸图像。具体的，可以通过SSD（single shot multibox detector）算法，S3FD（Single Shot Scale-invariant FaceDetector）算法或MTCNN（Multi-task convolutional neural network，多任务卷积神经网络）算法等检测算法，准确地在不可控环境下采集待识别图片中的人脸图像。
步骤120，判断所述人脸图像是正脸图像还是侧脸图像。例如，可以通过例如卷积神经网络构造人脸的正侧面分类器，判断所获取的人脸图像是正面人脸图像还是侧面人脸图像。
步骤130，若所述人脸图像是侧脸图像，检测所述侧脸图像的关键点，并根据检测到的所述关键点形成所述侧脸图像的关键点图片。
在步骤120判断出人脸图像是侧脸图像之后，本步骤根据该侧脸人脸图像，定位检测出侧脸图像的面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等，作为侧脸的人脸关键特征点，并根据检测到的人脸关键特征点形成侧脸图像的关键点图片。其中，具体的人脸关键点检测方法可以是：例如，ASM(Active Shape Model，活动形状模型)或AAM (Active Appearnce Model，活动表观模型)的传统方法，也可以是基于级联形状回归的方法，也可以是基于深度学习的方法。本申请对此不进行限定。
步骤140，根据所述侧脸图像的关键点图片形成正脸图像关键点图片。可以理解的是，侧脸图像和正脸图像对应的人脸侧脸姿态和正脸姿态之间存角度差，在本步骤中，通过迁移的方式根据侧脸图像形成正脸图像。为叙述方便，称人脸侧脸姿态为原始姿态，正脸姿态为目标姿态，通过关键点迁移的方式将原始姿态的人脸图像，转换成目标姿态的人脸图像。例如，当检测到的关键点为15个关键点时，则将侧脸图像中的15个关键点，通过迁移一定的角度，形成15个正脸关键点。本实施例中关于关键点的数量只是举例，也可以是更多的或者更少的关键点数目。可以理解的是，当关键点稀疏时包含的信息则相对减少，但数据处理速度更快，反之，人脸图像包含的信息更多，可能影响数据处理速度。关键点数目的选择可以根据需要确定，本申请不对此进行限定。
步骤150，根据所述正脸图像关键点图片形成正脸人脸图像。在本步骤中可以通过现有技术将步骤140中得到的15个正脸关键点形成人脸图像，所得到的人脸图像即为正脸人脸图像。
本实施例人脸转正方法通过将侧面人脸关键点形成正脸图像关键点，从而最终形成正脸人脸图像，通过和现有技术不同的方式实现侧面人脸到正面人脸的转变，从而能在实际应用时提高人脸识别效率。
图2为本发明的人脸转正方法的另一具体实施例的流程图，根据图2所示，本申请实施例人脸转正方法包括以下步骤：
步骤210，检测待识别图片，从所述待识别图片中获取人脸图像，其具体实施方式可以参照图1对应的实施例的相应步骤。
步骤220，判断所述人脸图像是正脸图像还是侧脸图像，其具体实施方式可以参照图1对应的实施例的相应步骤。
步骤230，若所述人脸图像是侧脸图像，检测所述侧脸图像的关键点，并根据检测到的所述关键点形成所述侧脸图像的关键点图片，其具体实施方式可以参照图1对应的实施例的相应步骤。
步骤240，根据预设规则确定所述关键点附近区域，为每个关键点构建一个包括该关键点在内的区域，可以是预设尺寸的矩形区域、预设半径的圆形区域，或者按照预设的方向延伸的预设区域。这样在后续步骤中，除了提取关键点信息，还可以提取关键点附近区域的信息，增加更多的局部信息。
步骤250，对所述侧脸图像的关键点图片中的关键点及其附近区域进行位置迁移，得到中间姿态的人脸图像关键点。提取侧脸图片中15个关键点特征信息，对包括关键点在内的关键点附近区域进行位置迁移，得到一个预设中间姿态的人脸图像关键点和关键点附近区域的特征信息。具体的，可以采用姿态转移网络进行姿势迁移。
该中间姿态可以是介于原始姿态和目标姿态之间的任意姿态，具体的，可以是计算原始姿态和目标姿态的角度，根据将原始姿态逐步迁移为目标姿态所需要的次数，确定中间姿态的角度。例如，侧脸人像相对正脸人像的角度为60度，如果通过10次迁移逐渐将侧脸人像转为正脸人像，则每次迁移的角度为6度。所有迁移过程中的人脸姿态，都可以称之为中间姿态。可以理解的是，在相同条件下，迁移的次数越多、每次迁移的角度越小，最终得到的正脸人像精确度越高。
步骤260，对所述中间姿态人脸图像关键点及其附近区域进行位置迁移，得到正脸图像关键点，并形成正脸人脸图像关键点图片。此步骤延续步骤250并与之类似，并最终迁移得到正脸人脸图像关键点图片。
步骤270，根据所述正脸图像关键点图片形成正脸人脸图像。
此外，还可以对依据上述步骤所形成的正脸人脸图像进行人脸识别。
在本实施例中，可以通过多次关键点的位置迁移，逐步将侧脸人脸图像转化为正脸人脸图像，不是把一个侧脸一次性转换为正脸，而是采用渐进式的方式，提高转换的精确度。此外，对每个关键点进行迁移时，将关键点及其附近区域一并迁移，可以进一步保留该点附近的局部信息，进一步提高人脸转正的精确度。
第二方面，图3为本发明人脸转正设备一具体实施例的结构框图，根据图3所示，一种人脸转正设备，包括检测模块301，侧脸识别模块302，关键点检测模块303，关键点位置迁移模块304和正脸人脸图像生成模块305，其中，
检测模块301，用于检测待识别图片，从所述待识别图片中获取人脸图像；
侧脸识别模块302，用于判断侧脸识别模块302所检测出的所述人脸图像是正脸图像还是侧脸图像；
关键点检测模块303，用于当所述侧脸识别模块识别出所述人脸图像为侧脸图像时，检测所述侧脸图像的关键点；
关键点位置迁移模块304，用于对所述侧脸图像的关键点进行位置迁移，得到正脸图像关键点；
正脸人脸图像生成模块305，用于根据所述正脸图像关键点形成正脸图像关键点图片，并根据所述正脸图像关键点图片形成正脸人脸图像。
本实施例中脸转正设备各模块所执行的操作具体可以参见图1所对应的方法，达到相同的技术效果。本发明实施例的人脸转正设备在检测到侧脸人脸时，首先检测测量图像的关键点，通过侧脸图像关键点图片形成正脸图像关键点图片，从而获得姿态转正后的正脸人脸图像，完善人脸的脸部特征，将侧脸转为人脸正脸从而提高实际应用中人脸识别的准确率。
图4为本发明人脸转正设备另一具体实施例的结构框图，根据图4所示，一种人脸转正设备，包括检测模块301，侧脸识别模块302，关键点检测模块303，关键点位置迁移模块304，正脸人脸图像生成模块305和人脸识别模块306，
检测模块301，用于检测待识别图片，从所述待识别图片中获取人脸图像；
侧脸识别模块302，用于判断侧脸识别模块302所检测出的所述人脸图像是正脸图像还是侧脸图像；
关键点检测模块303，用于当所述侧脸识别模块识别出所述人脸图像为侧脸图像时，检测所述侧脸图像的关键点；
关键点位置迁移模块304，用于对所述侧脸图像的关键点进行位置迁移，得到正脸图像关键点。具体的，关键点位置迁移模块304可以是姿态转移网络，该姿态转移网络还可以为渐进的姿态注意力迁移网络（Progressive Pose Attention Transfer），该渐进的姿态注意力迁移网络可以包括多个级联的姿态注意力迁移子网络，例如多个级联的姿态注意力迁移模块（Pose-Attention Transfer Block）。
例如，该姿态转移网络，可以包括：第一姿态注意力迁移子网络3041和第二姿态注意力迁移子网络3042，其中，
第一姿态注意力迁移子网络3041，用于对所述侧脸图像的关键点图片中的关键点进行位置迁移，得到中间姿态的人脸图像关键点，所述中间姿态对应的人脸角度介于所述侧脸人脸和正脸之间。
第二姿态注意力迁移子网络3042，所述第二姿态注意力迁移子网络，用于对所述中间姿态人脸图像关键点行位置迁移，得到正脸图像关键点。
进一步的，还可以包括第一确定模块，用于根据预设规则确定所述关键点附近区域，当通过第一确定模块确定关键点附近区域时，关键点位置迁移模块进行关键点迁移时，可以对关键点及其附近区域进行位置迁移。
正脸人脸图像生成模块305，用于根据所述正脸图像关键点形成正脸图像关键点图片，并根据所述正脸图像关键点图片形成正脸人脸图像。
人脸识别模块306，用于对所述正脸人脸图像生成模块生成的正脸人脸图像进行人脸识别。
上述的涉及到的人脸转正设备具体技术细节和人脸转正装置方法中类似，在人脸转正装置的实施方式中所能达到的技术效果在人脸转正装置方法的实施方式中也同样可以实现，为了减少重复，这里不再赘述。相应地，在人脸转正方法实施方式中提到的相关技术细节也可应用在人脸转正设备的实施方式中。
第三方面，本申请实施例还提供一种计算机设备，所述计算机设备可以为神经网络服务器，具体请参阅图5，图5为本实施例计算机设备基本结构框图。
所述计算机设备5包括通过系统总线相互通信连接存储器51、处理器52、网络接口53。需要指出的是，图中仅示出了具有组件51-53的计算机设备5，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的所述计算机设备5是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器 (Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备5可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器51至少包括一种类型的可读存储介质，存储器可以存储可执行指令控制器、微控制器、微处理器、或其他数据处理芯片，至少包括一种类型的可读存储介质。所述可读存储介质包括非易失性存储器（non-volatile memory）或易失性存储器，例如，闪存（flash memory）、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、随机访问存储器（random access memory，RAM）、只读存储器（read-only memory，ROM）、可擦写可编程只读存储器（erasable programmable read-only memory，EPROM）、电可擦写可编程只读存储器（electrically erasable programmable read-only memory，EEPROM）、可编程只读存储器（programmable read-only memory，PROM）、磁性存储器、磁盘、光盘等，所述RAM可以包括静态RAM或动态RAM。在一些实施例中，所述存储器51可以是所述计算机设备5的内部存储单元，例如，该所述计算机设备5的硬盘或内存。在另一些实施例中，所述存储器51也可以是所述计算机设备5的外部存储设备，例如该所述计算机设备5上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。当然，所述存储器51还可以既包括所述计算机设备5的内部存储单元也包括其外部存储设备。本实施例中，所述存储器51通常用于存储安装于所述计算机设备5的操作系统和各类应用软件，例如用于执行人脸转正的程序代码等。此外，所述存储器51还可以用于暂时地存储已经输出或者将要输出的各类数据。
在本申请实施例中，该处理器52可以是中央处理单元（Central ProcessingUnit， CPU）、或者是图像处理器(Graphic Processing Unit,GPU)。该处理器52还可以是其他通用处理器、数字信号处理器（Digital Signal Processing，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器，例如单片机等。
该处理器52通常用于控制所述计算机设备5的总体操作。本实施例中，所述存储器51用于存储程序代码或指令，所述程序代码包括计算机操作指令，所述处理器52用于执行所述存储器51存储的程序代码或指令或者处理数据，例如执行人脸转正的程序代码。
本文描述的总线可以是工业标准体系结构（Industry Standard Architecture，ISA）总线、外设部件互连标准（Peripheral Component Interconnect，PCI）总线或扩展工业标准结构（Extended Industry Standard Architecture，EISA）总线等。该总线系统可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
第四方面，本发明实施例还提供一种芯片，用于执行上述第一方面中的方法。具体地，该芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有该芯片的设备用于执行上述人脸转正的方法。
此外，在第五方面，本发明实施例还提供一种计算机可读存储介质，计算机可读介质可以是计算机可读信号介质或者计算机可读介质。计算机中的处理器读取存储在计算机可读介质中的计算机可读程序代码，使得处理器能够执行在流程图1对应的人脸转正方法中每个步骤、或各步骤的组合中规定的功能动作；生成实施在框图的每一块、或各块的组合中规定的功能动作的装置。
计算机可读介质包含但不限于电子、磁性、光学、电磁、红外的存储器或半导体系统、设备或者装置，或者前述的任意适当组合，所述存储器用于存储程序代码或指令，所述程序代码包括计算机操作指令，所述处理器用于执行所述存储器存储的程序代码或指令。
所述存储器和所述处理器的定义，可以参考前述计算机设备实施例的描述，在此不再赘述。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面的任一项所述的方法。
第六方面，本发明实施例还提供一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行上述第一方面中的方法
本领域技术人员可以明白的是，结合本文中所公开的实施例描述的各示例的单元及算法步骤能够以电子硬件、或者软件和电子硬件的结合来实现。这些功能是以硬件还是软件方式来实现，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以针对每个特定的应用，使用不同的方式来实现所描述的功能，但是这种实现并不应认为超出本申请的范围。
在本申请实施例中，所公开的系统、装置和方法可以通过其它方式来实现。例如，单元的划分仅仅为一种逻辑功能划分，在实际实现时还可以有另外的划分方式。例如，多个单元或组件可以进行组合或者可以集成到另一个系统中。另外，各个单元之间的耦合可以是直接耦合或间接耦合。另外，在本申请实施例中的各功能单元可以集成在一个处理单元中，也可以是单独的物理存在等等。
应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在机器可读存储介质中。因此，本申请的技术方案可以以软件产品的形式来体现，该软件产品可以存储在机器可读存储介质中，其可以包括若干指令用以使得电子设备执行本申请实施例所描述的技术方案的全部或部分过程。上述存储介质可以包括ROM、RAM、可移动盘、硬盘、磁盘或者光盘等各种可以存储程序代码的介质。
以上内容仅为本申请的具体实施方式，本申请的保护范围并不局限于此。本领域技术人员在本申请所公开的技术范围内可以进行变化或替换，这些变化或替换都应当在本申请的保护范围之内。
Claims (10)
1.一种人脸转正方法，其特征在于，包括：
检测待识别图片，从所述待识别图片中获取人脸图像；
判断所述人脸图像是正脸图像还是侧脸图像；
若所述人脸图像是侧脸图像，检测所述侧脸图像的关键点，并根据检测到的所述关键点形成所述侧脸图像的关键点图片；
根据所述侧脸图像的关键点图片形成正脸图像关键点图片；
根据所述正脸图像关键点图片形成正脸人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述侧脸图像的关键点图片形成正脸图像关键点图片，包括：
对所述侧脸图像的关键点图片中的关键点进行位置迁移，得到正脸图像关键点；
根据所述正脸图像关键点得到所述正脸图像关键点图片。
3.根据权利要求2所述的方法，其特征在于，所述关键点位置迁移包括多次关键点位置迁移，所述根据侧脸图像的关键点图片形成正脸图像关键点图片，包括：
对所述侧脸图像的关键点图片中的关键点进行位置迁移，得到中间姿态的人脸图像关键点，所述中间姿态对应的人脸角度介于所述侧脸人脸和正脸之间；
对所述中间姿态人脸图像关键点进行位置迁移，得到正脸图像关键点，并形成正脸人脸图像关键点图片。
4.根据权利要求2或3所述的方法，其特征在于，所述对关键点图片中的关键点进行位置迁移，具体包括：
根据预设规则确定所述关键点附近区域；
对关键点及其附近区域进行位置迁移。
5.根据权利要求4所述的方法，其特征在于，所述对关键点图片中的关键点进行位置迁移，具体包括：采用姿态转移网络对关键点进行位置迁移。
6.根据权利要求1-5中任一项所述的方法，其特征在于，还包括：
根据所述形成的正脸人脸图像进行人脸识别。
7.一种人脸转正设备，其特征在于，包括：
检测模块，用于检测待识别图片，从所述待识别图片中获取人脸图像；
侧脸识别模块，用于判断所述人脸图像是正脸图像还是侧脸图像；
关键点检测模块，用于当所述侧脸识别模块识别出所述人脸图像为侧脸图像时，检测所述侧脸图像的关键点；
关键点位置迁移模块，用于对所述侧脸图像的关键点进行位置迁移，得到正脸图像关键点；
正脸人脸图像生成模块，用于根据所述正脸图像关键点形成正脸图像关键点图片，并根据所述正脸图像关键点图片形成正脸人脸图像。
8.一种计算机设备，包括：至少一个处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；与所述至少一个处理器耦合的存储器，所述存储器存储有可执行指令，其中，所述可执行指令在被所述至少一个处理器执行时使得实现根据权利要求1至6中任一项所述的方法。
9.一种芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行：如权利要求1至6中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上权利要求1至6中任一项所述的方法的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| SG10202004550UA SG10202004550UA (en) | 2020-05-15 | 2020-05-15 | A method, a device and a computer-readable storage medium for face frontalization |
| SG10202004550U | 2020-05-15 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111754391A true CN111754391A (zh) | 2020-10-09 |
Family
ID=72674300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010448575.5A Pending CN111754391A (zh) | 2020-05-15 | 2020-05-25 | 人脸转正方法、设备及计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111754391A (zh) |
| SG (1) | SG10202004550UA (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113033278A (zh) * | 2020-12-09 | 2021-06-25 | 中国联合网络通信集团有限公司 | 口罩佩戴的检测方法及装置 |
| CN113191322A (zh) * | 2021-05-24 | 2021-07-30 | 口碑(上海)信息技术有限公司 | 人脸皮肤肤质的检测方法、装置、存储介质及计算机设备 |
| CN113343927A (zh) * | 2021-07-03 | 2021-09-03 | 郑州铁路职业技术学院 | 一种适用于面瘫患者的智能化人脸识别方法和系统 |
| CN113674139A (zh) * | 2021-08-17 | 2021-11-19 | 北京京东尚科信息技术有限公司 | 人脸图像的处理方法、装置、电子设备及存储介质 |
| CN113705393A (zh) * | 2021-08-16 | 2021-11-26 | 武汉大学 | 一种基于3d人脸模型的俯角人脸识别方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376684A (zh) * | 2018-11-13 | 2019-02-22 | 广州市百果园信息技术有限公司 | 一种人脸关键点检测方法、装置、计算机设备和存储介质 |
| CN109859097A (zh) * | 2019-01-08 | 2019-06-07 | 北京奇艺世纪科技有限公司 | 脸部图像处理方法、设备、图像处理设备、介质 |
| CN110060348A (zh) * | 2019-04-26 | 2019-07-26 | 北京迈格威科技有限公司 | 人脸图像整形方法及装置 |
| CN110427813A (zh) * | 2019-06-24 | 2019-11-08 | 中国矿业大学 | 基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法 |
| CN110599395A (zh) * | 2019-09-17 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 目标图像生成方法、装置、服务器及存储介质 |
| CN110751009A (zh) * | 2018-12-20 | 2020-02-04 | 北京嘀嘀无限科技发展有限公司 | 人脸识别方法、目标识别方法、装置和电子设备 |
-
2020
- 2020-05-15 SG SG10202004550UA patent/SG10202004550UA/en unknown
- 2020-05-25 CN CN202010448575.5A patent/CN111754391A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376684A (zh) * | 2018-11-13 | 2019-02-22 | 广州市百果园信息技术有限公司 | 一种人脸关键点检测方法、装置、计算机设备和存储介质 |
| CN110751009A (zh) * | 2018-12-20 | 2020-02-04 | 北京嘀嘀无限科技发展有限公司 | 人脸识别方法、目标识别方法、装置和电子设备 |
| CN109859097A (zh) * | 2019-01-08 | 2019-06-07 | 北京奇艺世纪科技有限公司 | 脸部图像处理方法、设备、图像处理设备、介质 |
| CN110060348A (zh) * | 2019-04-26 | 2019-07-26 | 北京迈格威科技有限公司 | 人脸图像整形方法及装置 |
| CN110427813A (zh) * | 2019-06-24 | 2019-11-08 | 中国矿业大学 | 基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法 |
| CN110599395A (zh) * | 2019-09-17 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 目标图像生成方法、装置、服务器及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| ZHEN ZHU 等: "Progressive Pose Attention Transfer for Person Image Generation", 2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 20 June 2019 (2019-06-20), pages 1 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113033278A (zh) * | 2020-12-09 | 2021-06-25 | 中国联合网络通信集团有限公司 | 口罩佩戴的检测方法及装置 |
| CN113191322A (zh) * | 2021-05-24 | 2021-07-30 | 口碑(上海)信息技术有限公司 | 人脸皮肤肤质的检测方法、装置、存储介质及计算机设备 |
| CN113343927A (zh) * | 2021-07-03 | 2021-09-03 | 郑州铁路职业技术学院 | 一种适用于面瘫患者的智能化人脸识别方法和系统 |
| CN113343927B (zh) * | 2021-07-03 | 2023-06-23 | 郑州铁路职业技术学院 | 一种适用于面瘫患者的智能化人脸识别方法和系统 |
| CN113705393A (zh) * | 2021-08-16 | 2021-11-26 | 武汉大学 | 一种基于3d人脸模型的俯角人脸识别方法及系统 |
| CN113674139A (zh) * | 2021-08-17 | 2021-11-19 | 北京京东尚科信息技术有限公司 | 人脸图像的处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| SG10202004550UA (en) | 2021-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111754391A (zh) | 人脸转正方法、设备及计算机可读存储介质 | |
| CN108875723B (zh) | 对象检测方法、装置和系统及存储介质 | |
| CN108960163B (zh) | 手势识别方法、装置、设备和存储介质 | |
| JP6815707B2 (ja) | 顔姿勢検出方法、装置及び記憶媒体 | |
| WO2015172679A1 (zh) | 一种图像处理方法和装置 | |
| CN107818290B (zh) | 基于深度图的启发式手指检测方法 | |
| CN110363817B (zh) | 目标位姿估计方法、电子设备和介质 | |
| CN109063678B (zh) | 脸部图像识别的方法、装置及存储介质 | |
| WO2020253304A1 (zh) | 人脸识别装置及图像处理方法、特征提取模型、存储介质 | |
| CN108052912A (zh) | 一种基于矩傅里叶描述子的立体面像识别方法 | |
| KR20220004009A (ko) | 키 포인트 검출 방법, 장치, 전자 기기 및 저장 매체 | |
| JPWO2014112346A1 (ja) | 特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム | |
| CN109948624A (zh) | 特征提取的方法、装置、电子设备和计算机存储介质 | |
| WO2021056450A1 (zh) | 图像模板的更新方法、设备及存储介质 | |
| TWI779815B (zh) | 基於知識蒸餾實現的具備臉部校正效果的臉部辨識網路模型 | |
| CN110598647B (zh) | 一种基于图像识别的头部姿态识别方法 | |
| CN104850820B (zh) | 一种脸部识别方法及装置 | |
| CN110728172B (zh) | 基于点云的人脸关键点检测方法、装置、系统及存储介质 | |
| CN114402370A (zh) | 基于面部-肩部特征坐标变换的自适应手部跟踪和手势识别 | |
| CN108288023B (zh) | 人脸识别的方法和装置 | |
| CN116309643A (zh) | 人脸遮挡分确定方法、电子设备及介质 | |
| JP6393495B2 (ja) | 画像処理装置および物体認識方法 | |
| CN115661493A (zh) | 一种对象位姿的确定方法及装置、设备及存储介质 | |
| Bagchi et al. | Reg3DFacePtCd: registration of 3D point clouds using a common set of landmarks for alignment of human face images | |
| CN112348069B (zh) | 数据增强方法、装置、计算机可读存储介质及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |