CN112149598A - 一种侧脸评估方法、装置、电子设备及存储介质 - Google Patents
一种侧脸评估方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112149598A CN112149598A CN202011050996.9A CN202011050996A CN112149598A CN 112149598 A CN112149598 A CN 112149598A CN 202011050996 A CN202011050996 A CN 202011050996A CN 112149598 A CN112149598 A CN 112149598A
- Authority
- CN
- China
- Prior art keywords
- face
- point
- offset
- feature points
- side face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims description 35
- 238000001514 detection method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035790 physiological processes and functions Effects 0.000 description 2
- 230000000391 smoking effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008560 physiological behavior Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种侧脸评估方法，属于图像识别技术领域。通过已经训练的人脸识别模型截取人脸区域框，用人脸五个特征点来评估人脸的侧脸朝向和侧脸分数，依据该侧脸分数，来判断人脸的侧脸程度，从而提升相关人脸场景应用的性能，无需用样本长时间训练和构建深度学习人脸模型，也无需通过人脸模型进行复杂的运算，进而降低了侧脸识别的运算难度，提高了识别速度，而且可以识别左侧脸、右侧脸侧等多个角度的侧脸侧图像，提高侧脸识别的准确率。此外本发明还提供了一种侧脸评估装置、电子设备及存储介质。
Description
技术领域
本发明属于图像识别技术领域，具体地说，涉及一种侧脸评估方法、装置、电子设备及存储介质。
背景技术
随着人工智能技术的兴起，人脸图像的特征和属性开始发挥着越来越多的作用。如智能监控、人脸支付和人脸美颜等应用环境。在这些应用环境中，人脸图像处理时，不可避免的要对人脸的侧脸程度进行评估，以达到剔除严重侧脸或针对侧脸进行优化的目的，从而提升系统的使用体验。
如中国专利公开号为CN110598521A，公开了一种基于人脸图像智能分析的行为与生理状态识别方法，包括以下步骤：(1)建立人脸检测与跟踪模型；(2)获取当前人类目标的人脸图像，并对该人脸图像进行预处理；(3)在人脸图像中精确定位双眼、口部、耳部区域位置；(4)利用人脸分割、肤色检测和图像边缘提取方法对人脸图像进行处理；(5)判断当前人类目标是否困乏以及是否存在吸烟和打电话行为。本发明是一种高效的、可以满足在低功耗嵌入式设备场景下，对当前人类目标生理状态及行为进行检测的方法，检测生理类型包括是否疲劳，检测一的行为包括是否在吸烟及打电话。该发明可应用于智能辅助驾驶、军/警模拟训练人员行为分析、3军/警单兵智能穿戴设备等行业应用领域。
上述或者现存的检测方法中，均存在着一定的问题和不足：
1)基于特征提取匹配的方法，准确率低，且要设计特征，实现较为复杂。
2)基于人侧脸数据，构建深度学习模型的方法，搜集数据需要消耗大量的时间和资源，且暂时缺少侧脸数据，效果欠佳。
3)基于3D人脸模型判别侧脸的方法，碍于3D人脸检测设备昂贵，3D数据较少的原因，效果不太理想。
4)仅基于人脸关键点信息的方法，受人脸的角度变化较大，稳定性较差。
发明内容
1、要解决的问题
针对目前在侧脸识别中，通过特征匹配提取的方法，复杂且识别的准确率低的问题，本发明提供了一种侧脸评估方法，通过已经训练的人脸识别模型截取人脸图像，用人脸五个特征点来评估人脸的侧脸朝向和侧脸分数，依据该侧脸分数，来判断人脸的侧脸程度，从而提升相关人脸场景应用的性能，无需用样本长时间训练和构建深度学习人脸模型，也无需通过人脸模型进行复杂的运算，进而降低了侧脸识别的运算难度，提高了识别速度，而且可以识别左侧脸、右侧脸侧等多个角度的侧脸图像，提高侧脸识别的准确率。此外本发明还提供了一种侧脸评估装置、电子设备及存储介质。
2、技术方案
为解决上述问题，本发明采用如下的技术方案。
本发明第一方面提供一种侧脸评估方法，所述方法包括：
S102：获取人脸图像，并对人脸图像进行人脸检测，获得评估特征点；所述评估特征点包括左眼特征点、右眼特征点、左嘴角特征点、右嘴角特征点以及鼻子特征点；
S104：在所述人脸图像上构建平面坐标系，获取所述左眼特征点、右眼特征点、左嘴角特征点、右嘴角特征点以及鼻子特征点的平面坐标；
S106：在所述平面坐标上选取第一参考点和第二参考点，计算左眼特征点、左嘴角特征点以及鼻子特征点分别与第一参考点的横坐标的差值，获取第一偏移量；计算右眼特征点、右嘴角特征点以及鼻子特征点分别与第二参考点的横坐标的差值，获取第二偏移量；
S108：根据所述第一偏移量与第二偏移量确定侧脸方向以及侧脸分数。
在一些实施例中，获取包含人类脸部信息的图像，并将所述图像转换成RGB格式；
将所述图像输入已训练的人脸识别模型中，截取人脸图像。
在一些实施例中，还包括对所述人脸图像进行预处理，所述预处理步骤包括：对所述人脸图像进行降噪，亮度增强，对比度增强以及直方图均衡化操作。
在一些实施例中，所述确定侧脸方向步骤包括：
将人脸图像截取为矩形照片，在所述人脸图像的第一边缘选取第一参考点，在所述人脸图像的第二边缘选取第二参考点，其中所述第一边缘与第二边缘平行；
将所述左眼特征点、左嘴角特征点以及鼻子特征点的横坐标分别与第一参考点的横坐标的差值累加，作为第一偏移量；
将所述右眼特征点、右嘴角特征点以及鼻子特征点的横坐标分别与第二参考点的横坐标的差值累加，作为第二偏移量；
当所述第一偏移量大于所述第二偏移量时，确定所述人脸照片中脸部向第二边缘偏移；
当所述第二偏移量大于所述第一偏移量时，确定所述人脸照片中脸部向第一边缘偏移。
在一些实施例中，所述计算侧脸分数公式为：
其中，S为侧脸分数；dmin表示第一偏移量与第二偏移量中的最小值；w表示第一边缘到第二边缘的距离。
在一些实施例中，将人脸图像通过面部五特征点识别算法，获得评估特征点；
当所述评估特征点未全部包括左眼特征点、右眼特征点、左嘴角特征点、右嘴角特征点以及鼻子特征点时，重新截取该人脸图像。
本发明第二方面提供一种侧脸评估方法装置，包括：
特征获取模块，其用于获取人脸图像，并对人脸图像进行人脸检测，获得评估特征点；所述评估特征点包括左眼特征点、右眼特征点、左嘴角特征点、右嘴角特征点以及鼻子特征点；
坐标构建模块，其用于在所述人脸图像上构建平面坐标系，获取所述左眼特征点、右眼特征点、左嘴角特征点、右嘴角特征点以及鼻子特征点的平面坐标；
计算模块，其用于在所述平面坐标上选取第一参考点和第二参考点，计算左眼特征点、左嘴角特征点以及鼻子特征点分别与第一参考点的横坐标的差值，获取第一偏移量；计算右眼特征点、右嘴角特征点以及鼻子特征点分别与第二参考点的横坐标的差值，获取第二偏移量；及
检测模块，其用于根据所述第一偏移量与第二偏移量确定侧脸方向以及侧脸分数。
本发明第三方面提供一种电子设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述的方法。
本发明第四方面提供一种可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述的方法。
3、有益效果
相比于现有技术，本发明的有益效果为：
(1)本发明通过已经训练的人脸识别模型截取人脸区域框，用人脸五个特征点来评估人脸的侧脸朝向和侧脸分数，依据该侧脸分数，来判断人脸的侧脸程度，从而提升相关人脸场景应用的性能，无需用样本长时间训练和构建深度学习人脸模型，也无需通过人脸模型进行复杂的运算，进而降低了侧脸识别的运算难度，提高了识别速度，而且可以识别左侧脸、右侧脸、等多个角度的侧脸图像，提高侧脸识别的准确率；
(2)本发明使用人脸区域框和人脸特征点共同评估人脸侧脸分值，其检测结果具有尺度不变的特性；且所依赖的人脸区域框检测和人脸特征点检测算法，目前较为成熟，易于实现，且能适用于各种复杂环境；
(3)本发明评估人脸侧脸分值的方式，实现步骤清晰简洁，计算速度快，且具有较强的可解释性；确定评估侧脸分数的方法，得到的分数与正脸程度成正比，分数值越大，人的正脸质量越高。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。附图中：
图1是本发明实施例提供的一种侧脸评估方法流程图；
图2是本发明实施例提供的一种侧脸评估装置框图；
图3是本发明实施例提供的人脸照片示意图；
图4是本发明实施例提供的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的实施例的限制。
示例性方法
如图1和3所示，一种侧脸评估方法，包括以下步骤：
S102：获取人脸图像，并对人脸图像进行人脸检测，获得评估特征点；所述评估特征点包括左眼特征点、右眼特征点、左嘴角特征点、右嘴角特征点以及鼻子特征点；
具体的，可以在照片或者视频中获取包含人类脸部信息的原始图像，例如，通过摄像头读取图像，使用摄像头读取Api直接读取当前图像流的帧；也可以在本地磁盘加载图像以及通风网络协议接收包含人类脸部信息的原始图像。然后，通过预先的算法或者训练好的模型提取包含人类脸部信息的原始图像中人脸目标，对其截取，例如SSD和YOLO等深度学习检测器等，获取人脸图像框图。本示例中，所截取的图像为矩形。但是本领域技术人员应当理解，此处截取的人脸照片还可以是圆形、椭圆形等，不以此为限。
本示例中获取到的人脸图像应为包含RGB三通道信息的光学图像，包含RGB通道相同的灰度图，或仅含有一个通道信息的图像。为便于人脸检测和关键点检测得到更好的效果，可进行对图像的降噪，亮度增强，对比度增强和直方图均衡化等一系列预处理步骤。
S104：在所述人脸图像上构建平面坐标系，获取所述左眼特征点、右眼特征点、左嘴角特征点、右嘴角特征点以及鼻子特征点的平面坐标。
具体的，在所述人脸图像上一图像所在矩形的中点构建平面坐标系，据此平面坐标获取获取所述左眼特征点、右眼特征点、左嘴角特征点、右嘴角特征点以及鼻子特征点的平面坐标。获取特征点的模型不限于面部五特征点识别算法，只要其中包含需要的五个特征点信息即可，如64人脸特征提取算法，也包括其它传感器或人工提供的特征点信息。
本示例将人脸图像通过面部五特征点识别算法，获得评估特征点；当所述评估特征点不包括左眼特征点、右眼特征点、左嘴角特征点、右嘴角特征点以及鼻子特征点时，重新截取该人脸图像。如图3所示，在一种可能的实施方式中，评估特征点分别为左眼特征点p1，右眼特征点p2，鼻子特征点p3，左嘴角特征点p4，右嘴角特征点p5。此处所指的人脸特征点检测方法不限实现方式，包括人为提供标注信息，最终得出的结果为人脸的五个特征点的坐标。
本领域技术人员应当理解，此处人脸图像评估特征点的获取，还可以通过手工特征信息分类器，如haar特征或LBP特征与级联检测器结合识别人脸，并对特征点进行信息标注。如图3所示，为本实例的一种实现方式，人脸区域框B由左上角顶点b1和右下角顶点b2表示，宽为w，高为h。若人脸区域框的宽或高等于0，作为检测失败来处理。
S106：在所述平面坐标上选取第一参考点和第二参考点，计算左眼特征点、左嘴角特征点以及鼻子特征点的横坐标分别与第一参考点的横坐标的差值，获取第一偏移量；计算右眼特征点、右嘴角特征点以及鼻子特征点的横坐标分别与第二参考点的横坐标的差值，获取第二偏移量。
如图3所示，具体的，当所述人脸图像为矩形照片时，在所述人脸图像的第一边缘L1选取第一参考点b1，在所述人脸图像的第二边缘L2选取第二参考点b2，其中所述第一边缘L1与第二边缘L2平行；将左眼特征点、左嘴角特征点以及鼻子特征点的横坐标分别与第一参考点的横坐标的差值累加，作为第一偏移量；将所述右眼特征点、右嘴角特征点以及鼻子特征点的横坐标分别与第二参考点的横坐标的差值累加，作为第二偏移量。
在具体计算过程中：
1)计算左眼特征点p1横坐标和人脸图像区域框左上角顶点b1的横坐标之差的绝对值d1；
2)计算鼻子特征点p3横坐标和人脸图像区域框左上角顶点b1的横坐标之差的绝对值d2；
3)计算左嘴角特征点p4横坐标和人脸图像区域框左上角顶点b1的横坐标之差的绝对值d3；
4)计算右眼特征点p2横坐标和人脸图像区域框右下角顶点b2的横坐标之差的绝对值d4；
5)计算鼻子特征点p3横坐标和人脸图像区域框右下角顶点b2的横坐标之差的绝对值d5；
6)计算右嘴角特征点p5横坐标和人脸图像区域框右下角顶点b2的横坐标之差的绝对值d6；
7)计算第一偏移量d7＝d1+d2+d3；计算第二偏移量d8＝d4+d5+d6。
S108：根据所述第一偏移量与第二偏移量确定侧脸方向以及侧脸分数。
具体的，确定侧脸方向步骤包括：
当所述第一偏移量大于所述第二偏移量时(即d7>d8)，确定所述人脸照片中脸部向第二边缘偏移；
当所述第二偏移量大于所述第一偏移量时(即d7<d8)，确定所述人脸照片中脸部向第一边缘偏移。
比较d7和d8，值较小的为dmin，所述计算侧脸分数公式为：
其中，S为侧脸分数；dmin表示第一偏移量与第二偏移量中的最小值；w表示第一边缘到第二边缘的距离。
对于人脸分数值S，值越小，说明侧脸程度越大。因此，根据人脸侧脸分数值S的大小，可以判定侧脸程度的不同。在实际的人脸应用场景中，可以根据场景要求的不同，通过不同的规则来选取具有不同侧脸分值的人脸图像,从而达到优化系统性能的目的。由于人脸图像框的宽度w和dmin都会正比于人脸区域面积的变化，因此侧脸分数值不会因为人脸的区域面积的变化而发生变化，也即具有尺度不变性。
示例性装置
如图2所示，一种侧脸评估装置，包括：
特征获取模块20，其用于获取人脸图像，并对人脸图像进行人脸检测，获得评估特征点；所述评估特征点包括左眼特征点、右眼特征点、左嘴角特征点、右嘴角特征点以及鼻子特征点；
特征获取模块20还包括格式转换单元，格式转换单元用于获取包含人类脸部信息的图像，并将所述图像转换成RGB格式；将所述图像输入已训练的人脸识别模型中，截取人脸图像；
特征获取模块20还包括图像预处理单元，其用于对所述人脸图像进行降噪，亮度增强，对比度增强以及直方图均衡化操作。
坐标构建模块30，其用于在所述人脸图像上构建平面坐标系，获取所述左眼特征点、右眼特征点、左嘴角特征点、右嘴角特征点以及鼻子特征点的平面坐标；
计算模块40，其用于在所述平面坐标上选取第一参考点和第二参考点，计算左眼特征点、左嘴角特征点以及鼻子特征点的横坐标分别与第一参考点的横坐标的差值，获取第一偏移量；计算右眼特征点、右嘴角特征点的横坐标以及鼻子特征点分别与第二参考点的横坐标的差值，获取第二偏移量；及
检测模块50，其用于根据所述第一偏移量与第二偏移量确定侧脸方向以及侧脸分数。
检测模块50还包括侧脸方向模块，当所述人脸图像为矩形照片，在所述人脸图像的第一边缘选取第一参考点，在所述人脸图像的第二边缘选取第二参考点，其中所述第一边缘与第二边缘平行；
将所述左眼特征点、左嘴角特征点以及鼻子特征点的横坐标分别与第一参考点的横坐标的差值累加，作为第一偏移量；
将所述右眼特征点、右嘴角特征点以及鼻子特征点的横坐标分别与第二参考点的横坐标的差值累加，作为第二偏移量；
当所述第一偏移量大于所述第二偏移量时，确定所述人脸照片中脸部向第二边缘偏移；
当所述第二偏移量大于所述第一偏移量时，确定所述人脸照片中脸部向第一边缘偏移。
示例性电子设备
下面，参考图4来描述根据本申请实施例的电子设备。该电子设备可以是可移动设备本身，或与其独立的单机设备，该单机设备可以与可移动设备进行通信，以从它们接收所采集到的输入信号，并向其发送组合图像信息。
图4图示了根据本申请实施例的电子设备的框图。
如图4所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的决策方法以及/或者其他期望的功能。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。例如，该输入设备13可以包括例如摄像头、视频播放器等各种设备。该输入设备13还可以包括例如键盘、鼠标等等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图4中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的决策方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的决策方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (9)
1.一种侧脸评估方法，其特征在于，所述方法包括：
S102：获取人脸图像，并对人脸图像进行人脸检测，获得评估特征点；所述评估特征点包括左眼特征点、右眼特征点、左嘴角特征点、右嘴角特征点以及鼻子特征点；
S104：在所述人脸图像上构建平面坐标系，获取所述左眼特征点、右眼特征点、左嘴角特征点、右嘴角特征点以及鼻子特征点的坐标；
S106：在所述平面坐标系中选取第一参考点和第二参考点，计算左眼特征点、左嘴角特征点以及鼻子特征点的横坐标分别与第一参考点的横坐标的差值，获取第一偏移量；计算右眼特征点、右嘴角特征点以及鼻子特征点的横坐标分别与第二参考点的横坐标的差值，获取第二偏移量；
S108：根据所述第一偏移量与第二偏移量确定侧脸方向以及侧脸分数。
2.根据权利要求1所述的侧脸评估方法，其特征在于，所述人脸图像通过下列步骤获取：
获取包含人类脸部信息的图像，并将所述图像转换成RGB格式；
将所述图像输入已训练的人脸识别模型中，截取人脸图像。
3.根据权利要求2所述的侧脸评估方法，其特征在于，还包括对所述人脸图像进行预处理，所述预处理步骤包括：对所述人脸图像进行降噪，亮度增强，对比度增强以及直方图均衡化操作。
4.根据权利要求1所述的侧脸评估方法，其特征在于，所述确定侧脸方向步骤包括：
将人脸图像截取为矩形照片，在所述人脸图像的第一边缘选取第一参考点，在所述人脸图像的第二边缘选取第二参考点，其中所述第一边缘与第二边缘平行；
将所述左眼特征点、左嘴角特征点以及鼻子特征点的横坐标分别与第一参考点的横坐标的差值累加，作为第一偏移量；
将所述右眼特征点、右嘴角特征点以及鼻子特征点的横坐标分别与第二参考点的横坐标的差值累加，作为第二偏移量；
当所述第一偏移量大于所述第二偏移量时，确定所述人脸照片中脸部向第二边缘偏移；
当所述第二偏移量大于所述第一偏移量时，确定所述人脸照片中脸部向第一边缘偏移。
5.根据权利要求4所述的侧脸评估方法，其特征在于，所述计算侧脸分数公式为：
其中，S为侧脸分数；dmin表示第一偏移量与第二偏移量中的最小值；w表示第一边缘到第二边缘的距离。
6.根据权利要求2所述的侧脸评估方法，其特征在于，将人脸图像通过面部五特征点识别算法，获得评估特征点；
当所述评估特征点未全部包括左眼特征点、右眼特征点、左嘴角特征点、右嘴角特征点以及鼻子特征点时，重新截取该人脸图像。
7.一种侧脸评估装置，其特征在于，包括：
特征获取模块，其用于获取人脸图像，并对人脸图像进行人脸检测，获得评估特征点；所述评估特征点包括左眼特征点、右眼特征点、左嘴角特征点、右嘴角特征点以及鼻子特征点；
坐标构建模块，其用于在所述人脸图像上构建平面坐标系，获取所述左眼特征点、右眼特征点、左嘴角特征点、右嘴角特征点以及鼻子特征点的坐标；
计算模块，其用于在所述平面坐标上选取第一参考点和第二参考点，计算左眼特征点、左嘴角特征点以及鼻子特征点分别与第一参考点的横坐标的差值，获取第一偏移量；计算右眼特征点、右嘴角特征点以及鼻子特征点分别与第二参考点的横坐标的差值，获取第二偏移量；及
检测模块，其用于根据所述第一偏移量与第二偏移量确定侧脸方向以及侧脸分数。
8.一种电子设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-6任一项所述的方法。
9.一种可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011050996.9A CN112149598A (zh) | 2020-09-29 | 2020-09-29 | 一种侧脸评估方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011050996.9A CN112149598A (zh) | 2020-09-29 | 2020-09-29 | 一种侧脸评估方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112149598A true CN112149598A (zh) | 2020-12-29 |
Family
ID=73896059
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011050996.9A Pending CN112149598A (zh) | 2020-09-29 | 2020-09-29 | 一种侧脸评估方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112149598A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113239888A (zh) * | 2021-06-07 | 2021-08-10 | 中国联合网络通信集团有限公司 | 人脸表情的识别方法、装置、设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109657587A (zh) * | 2018-12-10 | 2019-04-19 | 南京甄视智能科技有限公司 | 用于人脸识别的侧脸质量评估方法和系统 |
| CN110619303A (zh) * | 2019-09-16 | 2019-12-27 | Oppo广东移动通信有限公司 | 注视点追踪方法、装置、终端及计算机可读存储介质 |
| CN110751009A (zh) * | 2018-12-20 | 2020-02-04 | 北京嘀嘀无限科技发展有限公司 | 人脸识别方法、目标识别方法、装置和电子设备 |
| CN110909596A (zh) * | 2019-10-14 | 2020-03-24 | 广州视源电子科技股份有限公司 | 侧脸识别方法、装置、设备以及存储介质 |
-
2020
- 2020-09-29 CN CN202011050996.9A patent/CN112149598A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109657587A (zh) * | 2018-12-10 | 2019-04-19 | 南京甄视智能科技有限公司 | 用于人脸识别的侧脸质量评估方法和系统 |
| CN110751009A (zh) * | 2018-12-20 | 2020-02-04 | 北京嘀嘀无限科技发展有限公司 | 人脸识别方法、目标识别方法、装置和电子设备 |
| CN110619303A (zh) * | 2019-09-16 | 2019-12-27 | Oppo广东移动通信有限公司 | 注视点追踪方法、装置、终端及计算机可读存储介质 |
| CN110909596A (zh) * | 2019-10-14 | 2020-03-24 | 广州视源电子科技股份有限公司 | 侧脸识别方法、装置、设备以及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113239888A (zh) * | 2021-06-07 | 2021-08-10 | 中国联合网络通信集团有限公司 | 人脸表情的识别方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3916627A1 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| WO2020000908A1 (zh) | 一种人脸活体检测方法及装置 | |
| WO2022156640A1 (zh) | 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
| CN109740572B (zh) | 一种基于局部彩色纹理特征的人脸活体检测方法 | |
| CN111144366A (zh) | 一种基于联合人脸质量评估的陌生人脸聚类方法 | |
| KR20170006355A (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
| CN109670430A (zh) | 一种基于深度学习的多分类器融合的人脸活体识别方法 | |
| CN103902958A (zh) | 人脸识别的方法 | |
| CN111652082B (zh) | 人脸活体检测方法和装置 | |
| CN105335719A (zh) | 活体检测方法及装置 | |
| CN111241975A (zh) | 一种基于移动端边缘计算的人脸识别检测方法及系统 | |
| CN105912126B (zh) | 一种手势运动映射到界面的增益自适应调整方法 | |
| US11315360B2 (en) | Live facial recognition system and method | |
| CN112541422A (zh) | 光照和头部姿态鲁棒的表情识别方法、设备及存储介质 | |
| CN106881716A (zh) | 基于3d摄像头机器人的人体跟随方法及系统 | |
| CN113449704B (zh) | 人脸识别模型训练方法、装置、电子设备及存储介质 | |
| Hebbale et al. | Real time COVID-19 facemask detection using deep learning | |
| CN111832405A (zh) | 一种基于hog和深度残差网络的人脸识别方法 | |
| CN112633221A (zh) | 一种人脸方向的检测方法及相关装置 | |
| CN111967319A (zh) | 基于红外和可见光的活体检测方法、装置、设备和存储介质 | |
| CN110472567A (zh) | 一种适用于非配合场景下的人脸识别方法和系统 | |
| CN106980818B (zh) | 一种用于人脸图像的个性化预处理方法、系统及其终端 | |
| CN112149598A (zh) | 一种侧脸评估方法、装置、电子设备及存储介质 | |
| US20230018589A1 (en) | Information processing apparatus, control method, and non-transitory storage medium | |
| CN111881732B (zh) | 一种基于svm的人脸质量评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |