CN111444856A - 图像的分析方法、模型的训练方法、装置、设备及存储介质 - Google Patents
图像的分析方法、模型的训练方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111444856A CN111444856A CN202010233994.7A CN202010233994A CN111444856A CN 111444856 A CN111444856 A CN 111444856A CN 202010233994 A CN202010233994 A CN 202010233994A CN 111444856 A CN111444856 A CN 111444856A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- determining
- preset
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 117
- 238000012549 training Methods 0.000 title abstract description 35
- 238000003703 image analysis method Methods 0.000 title abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 75
- 210000001508 eye Anatomy 0.000 claims description 171
- 210000000697 sensory organ Anatomy 0.000 claims description 51
- 238000004891 communication Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 62
- 210000001061 forehead Anatomy 0.000 description 44
- 230000001815 facial effect Effects 0.000 description 20
- 210000004709 eyebrow Anatomy 0.000 description 17
- 210000004209 hair Anatomy 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 208000029152 Small face Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像的分析方法、模型的训练方法、装置、设备及存储介质。方法包括:获取脸部图像;确定出所述脸部图像中脸部的轮廓;通过分析所述轮廓的特征,以确定所述脸部是否完整。通过对图像中人脸的轮廓进行分析可以有效确定人脸是否完整,可以避免将脸部不完整的低质量图像用于后续处理,以确保良好的处理效果。
Description
技术领域
本申请涉及图像处理领域,具体而言,涉及一种图像的分析方法、模型的训练方法、装置、设备及存储介质。
背景技术
目前,在一些场景下比如图像识别、图像分类等,可以预先建立图片库,再利用图片库中海量的脸部图片进行图像识别、图像分类。
由于图片库中需要数量庞大的脸部图片,目前一般通过网络批量下载的方式来获取。然而网络批量下载的脸部图片的质量参差不齐,直接将这些质量参差不齐的脸部图片用于后续处理,虽然能够实现一定的效果,但不够好,进而影响其在实际应用的实用性。
发明内容
本申请实施例的目的在于提供一种图像的分析方法、模型的训练方法、装置、设备及存储介质,用以实现分析脸部图像的质量,以避免将低质量的人脸图片用于后续处理。
第一方面,本申请实施例提供了一种图像的分析方法,所述方法包括:获取脸部图像;确定出所述脸部图像中脸部的轮廓;通过分析所述轮廓的特征,以确定所述脸部是否完整。
在本申请实施例中,通过对图像中人脸的轮廓进行分析可以有效确定人脸是否完整,可以避免将脸部不完整的低质量图像用于后续处理,以确保良好的处理效果。
结合第一方面,在第一种可能的实现方式中,通过分析所述轮廓的特征,以确定所述脸部是否完整,包括:判断构成所述轮廓的弧线是否连续,以及判断所述轮廓是否有内凹部分,其中,若所述弧线连续且所述轮廓没有内凹部分则表示所述脸部完整,否则,表示所述脸部不完整。
在本申请实施例中,弧线不连续和弧线内凹都可能是因脸部被遮挡,因此,通过分析弧线是否连续以及弧线是否内凹同时分析可以更准确的确定脸部是否完整。
结合第一方面的第一种可能的实现方式,在第二种可能的实现方式中,判断所述轮廓是否有内凹部分,包括:将所述轮廓分割成多个弧线段;判断所述多个弧线段中是否有相邻两个弧线段的朝向相反,其中,有相邻两个弧线段的朝向相反表示所述轮廓有内凹部分。
在本申请实施例中,由于弧线出现内凹的特点即是会有两个朝向相反的弧度,因此通过分析多个弧线段中是否有相邻两个弧线段的朝向相反可以快速便捷的确定轮廓是否有内凹部分。
结合第一方面的第一种可能的实现方式,在第三种可能的实现方式中,判断构成所述轮廓的弧线是否连续,包括:若构成所述轮廓的弧线是多条,判断多条所述弧线中是否有相邻两条所述弧线之间的距离大于预设的距离阈值,其中,若所述相邻两条所述弧线之间的距离大于所述距离阈值表示所述弧线不连续。
正常情况下,就算脸部没有被遮挡,但由于轮廓的某些部分与背景的区分不是很明显,其也会导致轮廓的弧线出现不连续,但这种不连续的间距比较短。因此,在本申请实施例中,通过分析相邻两条所述弧线之间的距离是否大于预设的距离阈值,可以避免将轮廓与背景的区分不是很明显所导致的不连续误识别为被遮挡。
结合第一方面,在第四种可能的实现方式中,在确定所述脸部完整之后,所述方法还包括:通过分析所述脸部图像中五官的特征,确定出所述脸部的尺寸;判断所述脸部的尺寸是否与预设尺寸匹配。
在本申请实施例中,通过分析脸部的尺寸是否与预设尺寸匹配可避免将脸部在图像中很小的脸部图像用于训练,故可以将模型训练所使用的脸部图像的质量进一步提高。
结合第一方面的第四种可能的实现方式,在第五种可能的实现方式中,通过分析所述脸部图像中五官的特征,确定出所述脸部的尺寸,包括:确定出所述脸部图像中左眼的中心点和右眼的中心点;确定出所述左眼的中心点和所述右眼的中心点之间的眼间距,其中,所述眼间距用于表示所述脸部的尺寸。
在本申请实施例中,由于脸部的大小的直观反映就是图像中两眼的距离,故通过确定眼间距可以更直观准确的反映出脸部尺寸的大小。
结合第一方面的第五种可能的实现方式,在第六种可能的实现方式中,确定出所述脸部图像中左眼的中心点和右眼的中心点,包括:确定出所述脸部图像中左眼的轮廓和右眼的轮廓;确定出所述左眼的轮廓的第一外接椭圆,以及确定出所述右眼的轮廓的第二外接椭圆;确定出所述第一外接椭圆的中心点和所述第二外接椭圆的中心点,其中,所述第一外接椭圆的中心点为所述左眼的中心点,所述第二外接椭圆的中心点为所述右眼的中心点。
在本申请实施例中,由于眼睛的形状近似椭圆,故通过确定眼睛轮廓的外接椭圆以及再确定外接椭圆的中心,可以快速确定出眼睛的中心。
结合第一方面,在第七种可能的实现方式中,在确定所述脸部完整之后,所述方法还包括:判断所述脸部的形变程度及偏转程度是否满足预设要求,以及判断所述五官的形状是否满足预设要求。
在本申请实施例中,通过分析形变程度、偏转程度以及五官的形状是否满足预设要求,可避免将脸部形变以及偏转严重在图像用于训练,故可以将模型训练所使用的脸部图像的质量进一步提高。
结合第一方面的第七种可能的实现方式,在第八种可能的实现方式中,判断所述脸部的形变程度及偏转程度是否满足预设要求,包括:根据所述脸部图像中左眼、右眼以及嘴唇的位置关系,确定出所述形变程度以及所述偏转程度;判断所述形变程度是否满足预设要求,以及判断所述偏转程度是否也满足预设要求。
在本申请实施例中,由于在形变及偏转的情况下,左眼、右眼以及嘴唇的位置关系也会发生变化,故通过分析左眼、右眼以及嘴唇的位置关系可以便捷准确的确定出脸部的形变及偏转。
结合第一方面的第八种可能的实现方式,在第九种可能的实现方式中,根据所述脸部图像中所述左眼、所述右眼以及嘴唇的位置关系,确定出所述形变程度,包括:确定出所述脸部图像中嘴唇的中心点;确定出所述嘴唇的中心点到所述左眼的中心点和所述右眼的中心点连线的垂直距离;确定眼间距与所述垂直距离的比例,其中,所述比例用于表示所述形变程度;对应的,判断所述形变程度是否满足预设要求,包括:判断所述比例是否与预设比例匹配,若所述比例与所述预设比例匹配表示所述形变程度满足预设要求,否则,表示所述形变程度不满足预设要求。
由于脸部图像中脸部畸变所导致的拉伸或者压缩都会导致眼间距与垂直距离的比例对应发生变化,所以在本申请实施例中,通过确定眼间距与垂直距离的比例可以准确的分析出脸部的形变程度。
结合第一方面的第九种可能的实现方式,在第十种可能的实现方式中,确定出所述脸部图像中嘴唇的中心点,包括:确定出所述脸部图像中所述嘴唇的轮廓;确定出所述嘴唇的轮廓的外接椭圆;确定出所述外接椭圆的中心点,其中,所述外接椭圆的中心点为所述嘴唇的中心点。
在本申请实施例中,由于嘴唇的形状近似椭圆,故通过确定眼睛轮廓的外接椭圆以及再确定外接椭圆的中心,则可以快速确定出嘴唇的中心。
结合第一方面的第八种可能的实现方式,在第十一种可能的实现方式中,所述偏转程度包括:所述脸部的倾斜程度和所述脸部的侧脸程度,根据所述左眼、所述右眼以及所述嘴唇的位置关系,确定出所述偏转程度,包括:确定出所述左眼的中心点和所述右眼的中心点的连线与参考水平线之间的夹角,其中,所述夹角用于表示所述倾斜程度;确定出所述嘴唇的中心点到所述连线的垂直线与所述连线的交点,以及确定出所述交点到所述连线的中心点的距离,并确定出所述交点到所述连线的中心点的距离与所述眼间距的距离比,其中,所述距离比用于表示所述侧脸程度;对应的,判断所述偏转程度是否也满足预设要求,包括:判断所述夹角是否小于预设角度,以及判断所述距离比是否大于预设比例,其中,若所述夹角小于所述预设角度且所述距离比大于所述预设比例,则表示所述偏转程度满足预设要求。
由于采用外接椭圆的方式可以便捷的确定出左眼的中心点、右眼的中心点和嘴唇的中心点,因此也可以实现便捷快速的确定出脸部是否偏转或侧脸。
结合第一方面的第七种可能的实现方,在第十二种可能的实现方式中,判断所述五官的形状是否满足预设要求,包括:确定出所述脸部图像中所述左眼的睁开程度、所述右眼的睁开程度以及所述嘴唇的张开程度;判断所述左眼的睁开程度,所述右眼的睁开程度以及所述嘴唇的张开程度是否均满足预设要求。
由于图像中闭眼以及嘴巴过于张开都会影响训练,因此,将分析眼睛的睁开程度以及嘴唇的张开程度以将闭眼以及嘴巴过于张开的图像筛除可以进一步提高用于训练的图像的质量。
结合第一方面的第十二种可能的实现方式,在第十三种可能的实现方式中,确定出所述脸部图像中所述左眼的睁开程度、所述右眼的睁开程度以及所述嘴唇的张开程度,包括:确定出所述脸部图像中第一外接椭圆的长轴和短轴的第一比例、第二外接椭圆的长轴和短轴的第二比例以及第三外接椭圆的长轴和短轴的第三比例,其中,所述第一外接椭圆为所述左眼的轮廓的外接椭圆,所述第一比例用于表示所述左眼的睁开程度,所述第二外接椭圆为所述右眼的轮廓的外接椭圆,所述第二比例用于表示所述右眼的睁开程度,所述第三外接椭圆为所述嘴唇的轮廓的外接椭圆,所述第三比例用于表示所述张开程度;
对应的,判断所述左眼的睁开程度,所述右眼的睁开程度以及所述嘴唇的张开程度是否均满足预设要求,包括:判断所述第一比例和所述第二比例是否均与针对眼睛预设的比例匹配,以及判断所述第三比例是否与针对嘴唇预设的比例匹配,其中,所述第一比例和所述第二比例均与针对眼睛预设的比例匹配,且所述第三比例与针对嘴唇预设的比例匹配,则表示所述左眼的睁开程度,所述右眼的睁开程度以及所述张开程度均满足预设要求。
在本申请实施例中,通过外接椭圆的方式能够便捷的确定出长轴和短轴的比例,因而也实现了便捷的确定眼睛的睁开程度以及嘴唇的张开程度是否满足要求。
结合第一方面的第四种可能的实现方式,在第十四种可能的实现方式中,在确定所述脸部的尺寸与所述预设尺寸匹配之后,所述方法还包括:判断所述脸部的形变程度及偏转程度是否满足预设要求,以及判断所述五官的形状是否满足预设要求。
结合第一方面,在第十五种可能的实现方式中,在确定所述脸部完整之后,所述方法还包括:确定出所述脸部图像中所述脸部的亮度以及颜色;判断所述亮度以及颜色是否满足预设要求。
在本申请实施例中,通过脸部的亮度以及颜色是否满足预设要求可避免将过曝、欠曝以及装束过浓的脸部图像用于训练,故可以将模型训练所使用的脸部图像的质量进一步提高。
结合第一方面的第十五种可能的实现方式,在第十六种可能的实现方式中,确定出所述脸部图像中所述脸部的亮度以及颜色,包括:确定出所述脸部中左脸区域的亮度以及颜色、右脸区域的亮度以及颜色以及额头区域的亮度以及颜色。
由于脸部的几何特性很强,过曝、欠曝可能只在脸部的部分区域,故在本申请实施例中,通过将脸部划分成左脸区域、右脸区域以及额头区域能够更好判断是否过曝、欠曝。
结合第一方面的第十六种可能的实现方式,在第十七种可能的实现方式中,判断所述亮度以及颜色是否满足预设要求,包括:判断所述左脸区域的亮度、所述右脸区域的亮度以及所述额头区域的亮度是否均与预设的亮度匹配,判断所述左脸区域的亮度、所述右脸区域的亮度以及所述额头区域的亮度相互之间的亮度差是否均小于预设亮度差,其中,所述左脸区域的亮度、所述右脸区域的亮度以及所述额头区域的亮度均与所述预设的亮度匹配,且所述相互之间的亮度差均小于与所述预设亮度差,则表示所述脸部的亮度满足预设要求;判断所述左脸区域的颜色、所述右脸区域的颜色以及所述额头区域的颜色是否均在预设的颜色域内,判断所述左脸区域的颜色、所述右脸区域的颜色以及所述额头区域的颜色相互之间的颜色差是否均小于与预设颜色差,其中,所述左脸区域的颜色、所述右脸区域的颜色以及所述额头区域的颜色均在所述颜色域内,且所述相互之间的颜色差均小于与所述预设颜色差,则表示所述脸部的颜色满足预设要求。
单独分析某个像素点的像素值不仅计算量大,且难以代表整个区域的情况,故在本申请实施例中,通过计算区域的平均颜色以及亮度不仅简单,还能够准确的反映出区域亮度是否出现过曝、欠曝以及装束过浓等情况。
结合第一方面的第十五种可能的实现方式,在第十八种可能的实现方式中,在确定出所述额头区域的亮度以及颜色之前,所述方法还包括:判断是否能够在所述脸部图像中确定出眉毛的轮廓;若能,则确定出所述脸部图像中位于所述眉毛的轮廓上方的区域,其中,位于所述眉毛的轮廓上方的区域为所述额头区域,若不能,则将所述脸部图像删除。
在头发没有遮挡的情况下,眉毛的轮廓在脸部图像是比较明显的,故在本申请实施例中,通过判断是否能够确定出眉毛的轮廓则可以准确的确定出眉毛是否被头发遮挡,进而能够准确的确定出额头区域是否也被遮挡。
结合第一方面的第四种可能的实现方式,在第十九种可能的实现方式中,在确定所述脸部完整之后,所述方法还包括:确定出所述脸部图像中所述脸部的亮度以及颜色;判断所述亮度以及颜色是否满足预设要求。
结合第一方面的第七种可能的实现方式,在第二十种可能的实现方式中,在确定所述脸部的尺寸与所述预设尺寸匹配之后,所述方法还包括:确定出所述脸部图像中所述脸部的亮度以及颜色;判断所述亮度以及颜色是否满足预设要求。
结合第一方面,在第二十一种可能的实现方式中,在确定所述脸部完整之后,所述方法还包括:通过分析所述脸部图像中五官轮廓处像素点的像素值,确定出所述脸部的清晰度;判断所述清晰度是否与预设的清晰度匹配。
在本申请实施例中,通过分析脸部图像是否够清晰可避免将模糊不清的脸部图像用于训练,故可以将模型训练所使用的脸部图像的质量进一步提高。
结合第一方面的第二十一种可能的实现方式,在第二十二种可能的实现方式中,通过分析所述脸部图像中五官轮廓处像素点的像素值,确定出所述脸部的清晰度,包括:确定出所述脸部图像中眼睛的轮廓边缘附近各像素点的像素值;确定所述各像素点的像素值之间的最大差值,其中,所述最大差值用于表示所述脸部的清晰度。
在本申请实施例中,由于图像模糊的重要特征即是五官边缘处各像素点之间的差值不够,因此通过确定眼睛的轮廓边缘附近各像素点的像素值之间的最大差值可以准确的确定出图像是否模糊不清。
结合第一方面的第四种可能的实现方式,在第二十三种可能的实现方式中,在所述脸部的尺寸与所述预设尺寸匹配之后,所述方法还包括:通过分析所述脸部图像中五官轮廓处像素点的像素值,确定出所述脸部的清晰度;判断所述清晰度是否与预设的清晰度匹配。
结合第一方面的第七种可能的实现方式,在第二十四种可能的实现方式中,在确定所述形变程度、所述偏转程度以及所述五官的形状均满足所述预设要求之后,所述方法还包括:通过分析所述脸部图像中五官轮廓处像素点的像素值,确定出所述脸部的清晰度;判断所述清晰度是否与预设的清晰度匹配。
结合第一方面的第十五种可能的实现方式,在第二十五种可能的实现方式中,在确定所述亮度以及颜色满足所述预设要求之后,所述方法还包括:通过分析所述脸部图像中五官轮廓处像素点的像素值,确定出所述脸部的清晰度;判断所述清晰度是否与预设的清晰度匹配。
第二方面,本申请实施例提供了一种图像的分析方法,所述方法包括:获取脸部图像;通过分析所述脸部图像中五官的特征,确定出所述脸部的尺寸;判断所述脸部的尺寸是否与预设尺寸匹配,其中,所述脸部的尺寸与所述预设尺寸匹配表示所述脸部图像的质量合格,反之,则表示不合格。
第三方面,本申请实施例提供了一种图像的分析方法,所述方法包括:获取脸部图像;判断所述脸部图像中脸部的形变程度及偏转程度是否满足预设要求,以及判断所述五官的形状是否满足预设要求,其中,所述形变程度、所述偏转程度以及所述五官的形状均满足预设要求表示所述脸部图像的质量合格,反之,则表示不合格。
第四方面,本申请实施例提供了一种图像的分析方法,所述方法包括:获取脸部图像;确定出所述脸部图像中所述脸部的亮度以及颜色;判断所述亮度以及颜色是否满足预设要求,其中,所述亮度以及颜色满足所述预设要求表示所述脸部图像的质量合格,反之,则表示不合格。
第五方面,本申请实施例提供了一种图像的分析方法,所述方法包括:获取脸部图像;通过分析所述脸部图像中五官轮廓处像素点的像素值,确定出所述脸部的清晰度;判断所述清晰度是否与预设的清晰度匹配,其中,所述清晰度与所述预设的清晰度匹配表示所述脸部图像的质量合格,反之,则表示不合格。
第六方面,本申请实施例提供了一种模型的训练方法,所述方法包括:获得基于如前述任一方面的任一种可能的实现方式所述的图像的分析方法分析后的脸部图像;利用所述脸部图像对预设的网络模型进行训练。
第七方面,本申请实施例提供了一种图像的分析装置,所述装置包括:图像接收模块,用于获取脸部图像;图像处理模块,用于确定出所述脸部图像中脸部的轮廓;通过分析所述轮廓的特征,以确定所述脸部是否完整。
结合第七方面,在第一种可能的实现方式中,通过分析所述轮廓的特征,以确定所述脸部是否完整,包括:所述图像处理模块,用于判断构成所述轮廓的弧线是否连续,以及判断所述轮廓是否有内凹部分,其中,若所述弧线连续且所述轮廓没有内凹部分则表示所述脸部完整,否则,表示所述脸部不完整。
结合第七方面的第一种可能的实现方式,在第二种可能的实现方式中,所述图像处理模块,用于将所述轮廓分割成多个弧线段;判断所述多个弧线段中是否有相邻两个弧线段的朝向相反,其中,有相邻两个弧线段的朝向相反表示所述轮廓有内凹部分。
结合第七方面的第一种可能的实现方式,在第三种可能的实现方式中,所述图像处理模块,用于若构成所述轮廓的弧线是多条,判断多条所述弧线中是否有相邻两条所述弧线之间的距离大于预设的距离阈值,其中,若所述相邻两条所述弧线之间的距离大于所述距离阈值表示所述弧线不连续。
结合第七方面,在第四种可能的实现方式中,在所述图像处理模块确定所述脸部完整之后,所述图像处理模块,还用于通过分析所述脸部图像中五官的特征,确定出所述脸部的尺寸;判断所述脸部的尺寸是否与预设尺寸匹配。
结合第七方面的第四种可能的实现方式,在第五种可能的实现方式中,所述图像处理模块,用于确定出所述脸部图像中左眼的中心点和右眼的中心点;确定出所述左眼的中心点和所述右眼的中心点之间的眼间距,其中,所述眼间距用于表示所述脸部的尺寸。
结合第七方面的第五种可能的实现方式,在第六种可能的实现方式中,所述图像处理模块,用于确定出所述脸部图像中左眼的轮廓和右眼的轮廓;确定出所述左眼的轮廓的第一外接椭圆,以及确定出所述右眼的轮廓的第二外接椭圆;确定出所述第一外接椭圆的中心点和所述第二外接椭圆的中心点,其中,所述第一外接椭圆的中心点为所述左眼的中心点,所述第二外接椭圆的中心点为所述右眼的中心点。
结合第七方面,在第七种可能的实现方式中,在所述图像处理模块确定所述脸部完整之后,所述图像处理模块,还用于判断所述脸部的形变程度及偏转程度是否满足预设要求,以及判断所述五官的形状是否满足预设要求。
结合第七方面的第七种可能的实现方式,在第八种可能的实现方式中,所述图像处理模块,用于根据所述脸部图像中左眼、右眼以及嘴唇的位置关系,确定出所述形变程度以及所述偏转程度;判断所述形变程度是否满足预设要求,以及判断所述偏转程度是否也满足预设要求。
结合第七方面的第八种可能的实现方式,在第九种可能的实现方式中,所述图像处理模块,用于确定出所述脸部图像中嘴唇的中心点;确定出所述嘴唇的中心点到所述左眼的中心点和所述右眼的中心点连线的垂直距离;确定眼间距与所述垂直距离的比例,其中,所述比例用于表示所述形变程度;
对应的,所述图像处理模块,用于判断所述比例是否与预设比例匹配,若所述比例与所述预设比例匹配表示所述形变程度满足预设要求,否则,表示所述形变程度不满足预设要求。
结合第七方面的第九种可能的实现方式,在第十种可能的实现方式中,所述图像处理模块,用于确定出所述脸部图像中所述嘴唇的轮廓;确定出所述嘴唇的轮廓的外接椭圆;确定出所述外接椭圆的中心点,其中,所述外接椭圆的中心点为所述嘴唇的中心点。
结合第七方面的第八种可能的实现方式,在第十一种可能的实现方式中,所述偏转程度包括:所述脸部的倾斜程度和所述脸部的侧脸程度,根据所述左眼、所述右眼以及所述嘴唇的位置关系,所述图像处理模块,用于确定出所述左眼的中心点和所述右眼的中心点的连线与参考水平线之间的夹角,其中,所述夹角用于表示所述倾斜程度;确定出所述嘴唇的中心点到所述连线的垂直线与所述连线的交点,以及确定出所述交点到所述连线的中心点的距离,并确定出所述交点到所述连线的中心点的距离与所述眼间距的距离比,其中,所述距离比用于表示所述侧脸程度;
对应的,所述图像处理模块,用于判断所述夹角是否小于预设角度,以及判断所述距离比是否大于预设比例,其中,若所述夹角小于所述预设角度且所述距离比大于所述预设比例,则表示所述偏转程度满足预设要求。
结合第七方面的第七种可能的实现方,在第十二种可能的实现方式中,所述图像处理模块,用于确定出所述脸部图像中所述左眼的睁开程度、所述右眼的睁开程度以及所述嘴唇的张开程度;判断所述左眼的睁开程度,所述右眼的睁开程度以及所述嘴唇的张开程度是否均满足预设要求。
结合第七方面的第十二种可能的实现方式,在第十三种可能的实现方式中,所述图像处理模块,用于确定出所述脸部图像中第一外接椭圆的长轴和短轴的第一比例、第二外接椭圆的长轴和短轴的第二比例以及第三外接椭圆的长轴和短轴的第三比例,其中,所述第一外接椭圆为所述左眼的轮廓的外接椭圆,所述第一比例用于表示所述左眼的睁开程度,所述第二外接椭圆为所述右眼的轮廓的外接椭圆,所述第二比例用于表示所述右眼的睁开程度,所述第三外接椭圆为所述嘴唇的轮廓的外接椭圆,所述第三比例用于表示所述张开程度;
对应的,所述图像处理模块,用于判断所述第一比例和所述第二比例是否均与针对眼睛预设的比例匹配,以及判断所述第三比例是否与针对嘴唇预设的比例匹配,其中,所述第一比例和所述第二比例均与针对眼睛预设的比例匹配,且所述第三比例与针对嘴唇预设的比例匹配,则表示所述左眼的睁开程度,所述右眼的睁开程度以及所述张开程度均满足预设要求。
结合第七方面的第四种可能的实现方式,在第十四种可能的实现方式中,在所述图像处理模块确定所述脸部的尺寸与所述预设尺寸匹配之后,所述图像处理模块,还用于判断所述脸部的形变程度及偏转程度是否满足预设要求,以及判断所述五官的形状是否满足预设要求。
结合第七方面,在第十五种可能的实现方式中,在所述图像处理模块确定所述脸部完整之后,所述图像处理模块,还用于确定出所述脸部图像中所述脸部的亮度以及颜色;判断所述亮度以及颜色是否满足预设要求。
结合第七方面的第十五种可能的实现方式,在第十六种可能的实现方式中,所述图像处理模块,用于确定出所述脸部中左脸区域的亮度以及颜色、右脸区域的亮度以及颜色以及额头区域的亮度以及颜色。
结合第七方面的第十六种可能的实现方式,在第十七种可能的实现方式中,所述图像处理模块,用于判断所述左脸区域的亮度、所述右脸区域的亮度以及所述额头区域的亮度是否均与预设的亮度匹配,判断所述左脸区域的亮度、所述右脸区域的亮度以及所述额头区域的亮度相互之间的亮度差是否均小于预设亮度差,其中,所述左脸区域的亮度、所述右脸区域的亮度以及所述额头区域的亮度均与所述预设的亮度匹配,且所述相互之间的亮度差均小于与所述预设亮度差,则表示所述脸部的亮度满足预设要求;判断所述左脸区域的颜色、所述右脸区域的颜色以及所述额头区域的颜色是否均在预设的颜色域内,判断所述左脸区域的颜色、所述右脸区域的颜色以及所述额头区域的颜色相互之间的颜色差是否均小于与预设颜色差,其中,所述左脸区域的颜色、所述右脸区域的颜色以及所述额头区域的颜色均在所述颜色域内,且所述相互之间的颜色差均小于与所述预设颜色差,则表示所述脸部的颜色满足预设要求。
结合第七方面的第十五种可能的实现方式,在第十八种可能的实现方式中,在所述图像处理模块确定出所述额头区域的亮度以及颜色之前,所述图像处理模块,还用于判断是否能够在所述脸部图像中确定出眉毛的轮廓;若能,则确定出所述脸部图像中位于所述眉毛的轮廓上方的区域,其中,位于所述眉毛的轮廓上方的区域为所述额头区域,若不能,则将所述脸部图像删除。
结合第七方面的第四种可能的实现方式,在第十九种可能的实现方式中,在所述图像处理模块确定所述脸部完整之后,所述图像处理模块,还用于确定出所述脸部图像中所述脸部的亮度以及颜色;判断所述亮度以及颜色是否满足预设要求。
结合第七方面的第七种可能的实现方式,在第二十种可能的实现方式中,在所述图像处理模块确定所述脸部的尺寸与所述预设尺寸匹配之后,所述图像处理模块,还用于确定出所述脸部图像中所述脸部的亮度以及颜色;判断所述亮度以及颜色是否满足预设要求。
结合第七方面,在第二十一种可能的实现方式中,在所述图像处理模块确定所述脸部完整之后,所述图像处理模块,还用于通过分析所述脸部图像中五官轮廓处像素点的像素值,确定出所述脸部的清晰度;判断所述清晰度是否与预设的清晰度匹配。
结合第七方面的第二十一种可能的实现方式,在第二十二种可能的实现方式中,所述图像处理模块,用于确定出所述脸部图像中眼睛的轮廓边缘附近各像素点的像素值;确定所述各像素点的像素值之间的最大差值,其中,所述最大差值用于表示所述脸部的清晰度。
结合第七方面的第四种可能的实现方式,在第二十三种可能的实现方式中,在所述图像处理模块所述脸部的尺寸与所述预设尺寸匹配之后,所述图像处理模块,还用于通过分析所述脸部图像中五官轮廓处像素点的像素值,确定出所述脸部的清晰度;判断所述清晰度是否与预设的清晰度匹配。
结合第七方面的第七种可能的实现方式,在第二十四种可能的实现方式中,在所述图像处理模块确定所述形变程度、所述偏转程度以及所述五官的形状均满足所述预设要求之后,所述图像处理模块,还用于通过分析所述脸部图像中五官轮廓处像素点的像素值,确定出所述脸部的清晰度;判断所述清晰度是否与预设的清晰度匹配。
结合第七方面的第十五种可能的实现方式,在第二十五种可能的实现方式中,在所述图像处理模块确定所述亮度以及颜色满足所述预设要求之后,所述图像处理模块,还用于通过分析所述脸部图像中五官轮廓处像素点的像素值,确定出所述脸部的清晰度;判断所述清晰度是否与预设的清晰度匹配。
第八方面,本申请实施例提供了一种图像的分析装置,所述装置包括:图像接收模块,用于获取脸部图像;图像处理模块,用于通过分析所述脸部图像中五官的特征,确定出所述脸部的尺寸;判断所述脸部的尺寸是否与预设尺寸匹配,其中,所述脸部的尺寸与所述预设尺寸匹配表示所述脸部图像的质量合格,反之,则表示不合格。
第九方面,本申请实施例提供了一种图像的分析装置,所述装置包括:图像接收模块,用于获取脸部图像;图像处理模块,用于判断所述脸部图像中脸部的形变程度及偏转程度是否满足预设要求,以及判断所述五官的形状是否满足预设要求,其中,所述形变程度、所述偏转程度以及所述五官的形状均满足预设要求表示所述脸部图像的质量合格,反之,则表示不合格。
第八方面,本申请实施例提供了一种图像的分析装置,所述装置包括:图像接收模块,用于获取脸部图像;图像处理模块,用于确定出所述脸部图像中所述脸部的亮度以及颜色;判断所述亮度以及颜色是否满足预设要求,其中,所述亮度以及颜色满足所述预设要求表示所述脸部图像的质量合格,反之,则表示不合格。
第九方面,本申请实施例提供了一种图像的分析装置,所述装置包括:图像接收模块,用于获取脸部图像;图像处理模块,用于通过分析所述脸部图像中五官轮廓处像素点的像素值,确定出所述脸部的清晰度;判断所述清晰度是否与预设的清晰度匹配,其中,所述清晰度与所述预设的清晰度匹配表示所述脸部图像的质量合格,反之,则表示不合格。
第十方面,本申请实施例提供了一种模型的训练装置,所述装置包括:图像接收模块,用于通过如上述任一方面的任一种可能的实现方式所述的图像的分析方法分析图像,得到分析后的脸部图像;模型训练模块,用于利用所述分析后的脸部图像对预设的网络模型进行训练。
第十一方面,本申请实施例提供了一种电子设备,包括:通信接口;存储器,用于存储程序;处理器,用于调用并运行所述程序,以通过所述通信接口,执行如上述任一方面的任一种可能的实现方式所述的图像的分析方法或者执行上述的模型的训练方法。
第十二方面,本申请实施例提供了一种具有计算机可执行的非易失程序代码的计算机可读存储介质,所述程序代码使所述计算机行如上述任一方面的任一种可能的实现方式所述的图像的分析方法或者执行上述的模型的训练方法。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供了一种图像的分析方法的第一流程图;
图2A为本申请实施例提供了一种图像的分析方法的第一应用场景;
图2B为本申请实施例提供了一种图像的分析方法的第二应用场景;
图3为本申请实施例提供了一种图像的分析方法的第三应用场景;
图4为本申请实施例提供了一种图像的分析方法的第二流程图;
图5为本申请实施例提供了一种图像的分析方法的第四应用场景;
图6为本申请实施例提供了一种图像的分析方法的第三流程图;
图7为本申请实施例提供了一种图像的分析方法的第四流程图;
图8为本申请实施例提供了一种图像的分析方法的第五应用场景;
图9为本申请实施例提供了一种图像的分析方法的第六应用场景;
图10为本申请实施例提供了一种图像的分析方法的第五流程图;
图11为本申请实施例提供了一种图像的分析装置的结构框图;
图12为本申请实施例提供了一种模型的训练装置的结构框图;
图13为本申请实施例提供了一种电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
请参阅图1,本申请实施例提供了一种图像的分析方法,该图像的分析方法可以由电子设备执行,该电子设备可以是终端或者服务器,该图像的分析方法的方法流程可以包括:
步骤S100:获取脸部图像;
步骤S200:确定出该脸部图像中脸部的轮廓;
步骤S300:通过分析该轮廓的特征,以确定该脸部是否完整。
下面将结合示例对上述步骤S100-步骤S300进行详细说明。
步骤S100:获取脸部图像。
电子设备可以从网上批量的下载脸部图像,并针对每张脸部图像进行分析。当然,脸部图像可以是人脸的图像,也可以是动物脸部的图像,其可以根据实际应用场景进行选择,本实施例对此并不限定。
批量下载脸部图像后,电子设备后续对每张脸部图像的处理逻辑都大致相同,为便于理解,本实施例以电子设备对某一张脸部图像处理为例来进行说明。
步骤S200:确定出该脸部图像中脸部的轮廓。
作为确定出脸部图像中脸部轮廓示例方式,电子设备可以采用图像算法来确定出脸部轮廓,即用户可以结合自身的应用场景,在OPENCV开源库中选择适合应用场景图像的处理算法,再将该处理算法配置到电子设备。
具体的,电子设备可以将脸部图像做二值化处理,以便脸部图像中脸部的轮廓和背景能够更明显的区分开,然后,电子设备再利用处理算法处理该二值化的脸部图像,便可以获得脸部轮廓。
当然,并不是每种处理算法处理后都获得脸部轮廓,比如,某些处理算法处理后可以直接获得用于表示脸部轮廓是否连续的处理结果。而采用获得脸部轮廓的方式比较适用于需要对脸部轮廓自定义分析的应用场景。
此外,除了进行几何特征分析外,电子设备也可以利用深度神经网络处理该脸部图像,以确定出脸部轮廓。
步骤S300:通过分析该轮廓的特征,以确定该脸部是否完整。
电子设备可以对该脸部轮廓的特征进行几何分析,以确定脸部图像中的脸部是否完整。
作为进行几何分析的示例性方式,电子设备通过分析脸部轮廓的几何特征,能够判断构成该脸部轮廓的弧线是否连续,以及判断该脸部轮廓是否有内凹部分。
针对判断构成该脸部轮廓的弧线是否连续,在获得脸部轮廓后,电子设备可以分析构成该脸部轮廓的弧线的数量,以确定构成该脸部轮廓的弧线的数量是一条还是多条。
若确定该脸部轮廓的弧线的数量是一条,电子设备可以确定出该弧线的长度,比如计算出构成该弧线的像素点的数量,构成该弧线的像素点的数量可以表示该弧线的长度。电子设备再判断该弧线的长度是否大于预设的长度阈值。若电子设备确定该弧线的长度大于预设的长度阈值,说明确定出的脸部轮廓基本就是实际的轮廓,并说明脸部图像中脸部未受到遮挡。而若电子设备确定该弧线的长度小于等于预设的长度阈值,说明确定出的脸部轮廓只是实际轮廓的一部分,并说明脸部图像中脸部受到遮挡。
若确定该脸部轮廓的弧线的数量是多条,电子设备可以计算出相邻的每两条弧线之间的距离,比如计算出相邻的每两条弧线之间间隔的像素点的数量,该间隔的像素点的数量则可以表示相邻两条弧线之间的距离。然后,电子设备再判断多条弧线中是否有相邻两条弧线之间的距离大于预设的距离阈值。若电子设备确定没有相邻两条弧线之间的距离大于预设的距离阈值,说明造成弧线为多条的原因很可能是因为轮廓与背景的区别不明显而导致,并不是因为脸部图像中脸部受到遮挡,因此,电子设备可以确定多条弧线是连续的。而若电子设备确定有相邻两条弧线之间的距离大于预设的距离阈值,说明造成弧线为多条的原因很可能是因为脸部图像中脸部受到遮挡,因此,电子设备可以确定多条弧线是不连续的。
下面通过一个示例来说明。
假设1,若电子设备确定出的脸部轮廓如图2A所示,该脸部轮廓由4条弧线构成,其分别是弧线A、弧线B、弧线C和弧线D。显然,这4条弧线中任意两条相邻弧线之间的距离都很短(弧线A和弧线D不相邻),且其都小于距离阈值,说明脸部图像中脸部未受到遮挡。
假设2,若电子设备确定出的脸部轮廓如图2B所示,该脸部轮廓由3条弧线构成,其分别是弧线a、弧线b和弧线c。显然,这3条弧线中相邻的弧线a和b之间的距离很长(弧线a和弧线c不相邻),且其大于距离阈值,说明脸部图像中弧线a和b之间的部分可能被遮挡。
针对判断构成该脸部轮廓是否内凹部分,电子设备可以按照预设的长度将轮廓分割成多个弧线段,即以预设的像素点数量将轮廓分割成多个弧线段,该预设的像素点数量则可以表示预设的长度。需要说明的是,预设的长度需要小一些,这样才能够确保分割出的每个弧线段都只包括一个弧度。此外,在轮廓本身就是由多条弧线构成时,电子设备将长度大于预设的长度的弧线按照预设的长度分割,而针对长度小于等于预设的长度的弧线则不作分割。
分割后,电子设备可以计算出每个弧线段的朝向,比如电子设备可以确定出垂直于弧线段两端连线的中点的垂线,并确定出该垂线朝远离该弧线段的中点延伸的方向,该方向即为该弧线段的朝向。然后,电子设备则可以判断多个弧线段中是否有相邻两个弧线段的朝向相反,比如,电子设备可以判断是否有相邻两个弧线段的朝向之间的夹角大于90°,夹角大于90°则表示朝向相反。若电子设备确定没有相邻两个弧线段的朝向相反,说明脸部轮廓并没有内凹的部分,并说明脸部图像中脸部未受到遮挡。而若电子设备确定有相邻两个弧线段的朝向相反,说明脸部轮廓有内凹的部分,并说明脸部图像中脸部受到遮挡。
下面也通过一个示例来说明。
假设3,若电子设备确定出的脸部轮廓如图3所示,该脸部轮廓由1条弧线构成,那么电子设备可以将该弧线分割成A-K这10个弧线段,并确出10个弧线段中每个弧线段的朝向(弧线段的朝向即为如图3中箭头的指向)。显然,这10个朝向中,相邻的弧线段F和G的朝向是相反的,且相邻的弧线段H和G的朝向也是相反的。说明脸部轮廓在弧线段G处出现了内凹,进而说明脸部在弧线段G处受到遮挡。
进一步的,若电子设备即确定弧线是连续的且确定脸部轮廓没有内凹部分,其则表示脸部图像中脸部是完整的,那么电子设备可以将该脸部图像存储到图像库中,以便后续训练网络模型时使用。否则,表示脸部图像中脸部是不完整的,那么电子设备可以将该脸部图像删除。
本实施例中,电子设备还可以确定脸部图像中脸部的尺寸是否大到满足预设尺寸的要求。其中,电子设备可以在执行完步骤S200-步骤S300的流程后,再执行确定脸部图像中脸部的尺寸是否满足预设尺寸要求的流程,即通过步骤S200-步骤S300的流程,若确定脸部是完整的,则继续执行确定脸部图像中脸部的尺寸是否满足预设尺寸要求的流程;或者,执行确定该脸部的尺寸是否满足预设尺寸要求的流程也可以与步骤S200-步骤S300的流程并行执行,甚至电子设备也可以仅执行确定该脸部的尺寸是否满足预设尺寸要求的流程。
如图4所示,示例性的,该确定脸部的尺寸是否满足预设尺寸要求的流程可以包括:
步骤S400:通过分析该脸部图像中五官的特征,确定出该脸部的尺寸;
步骤S500:判断该脸部的尺寸是否与预设尺寸匹配。
下面将结合示例对上述步骤S400-步骤S500进行详细说明。
步骤S400:通过分析该脸部图像中五官的特征,确定出该脸部的尺寸。
本实施例中,若电子设备执行步骤S400-步骤S500的流程是在执行完成确定脸部是否完整的流程即步骤S200-步骤S300的流程之后执行,那么电子设备可以对脸部轮廓以内的部分进行五官特征的分析,以降低电子设备的数据处理量。而若执行步骤S400-步骤S500的流程是与执行步骤S200-步骤S300的流程并列执行,或者若电子设备在获得脸部图像后仅执行步骤S400-步骤S500的流程,那么电子设备则需要基于整个脸部图像进行五官特征的分析。
作为分析五官的特征的示例性方式,由双眼的眼间距可以反映出脸部图像中脸部尺寸的大小,因此,电子设备分析五官的特征即可以是确定脸部图像中双眼的眼间距,以通过确定眼间距来表示脸部尺寸大小。
具体的,电子设备可以从脸部图像中确定出脸部图像中左眼的轮廓和右眼的轮廓,比如电子设备也可以利用处理算法对二值化的脸部图像进行处理,以确定出脸部图像中左眼的轮廓和右眼的轮廓。
由于左眼的轮廓和右眼的轮廓都是趋于椭圆,电子设备可以基于左眼的轮廓,确定出外接左眼的轮廓的第一外接椭圆,以及电子设备还可以基于右眼的轮廓,确定出外接右眼的轮廓的第二外接椭圆。
需要说明的是,确定外接椭圆仅为本实施例的一种示例性方式,其并不作为本实施例的限定,比如,电子设备也可以确定出眼睛轮廓的外接多边形比如矩形。
然后,电子设备可以确定出第一外接椭圆的中心点,以及确定出第二外接椭圆的中心点,其中,该第一外接椭圆的中心点可以表示左眼的中心点,而该第二外接椭圆的中心点可以表示右眼的中心点。最后,电子设备再确定出第一外接椭圆的中心点和第二外接椭圆的中心点之间的距离,即确定出脸部图像中第一外接椭圆的中心点和第二外接椭圆的中心点之间间隔的像素点的数量,该距离则可以表示左眼的中心点和右眼的中心点之间的眼间距。
下面也通过一个示例来说明。
假设4,若电子设备确定出的脸部轮廓如图5所示,电子设备基于左眼的轮廓可以确定出第一外接椭圆A1,以及右眼的轮廓可以确定出第二外接椭圆A2。电子设备可以确定出第一外接椭圆A1的长轴和短轴的交点,该交点即是第一外接椭圆A1的中心点W1;以及电子设备也确定出第二外接椭圆A2的长轴和短轴的交点,该交点即是第二外接椭圆A2的中心点W2。进而,电子设备可以确定出中心点W1与中心点W2之间的距离L1,该距离L1即为眼间距。
该脸部轮廓由1条弧线构成,那么电子设备可以将该弧线分割成A-K这10个弧线段,并确出10个弧线段中每个弧线段的朝向(弧线段的朝向即为如图3中箭头的指向)。显然,这10个朝向中,相邻的弧线段F和G的朝向是相反的,且相邻的弧线段H和G的朝向也是相反的。故说明脸部轮廓在弧线段G处出现了内凹,因而说明脸部在弧线段G处受到遮挡。
步骤S500:判断该脸部的尺寸是否与预设尺寸匹配。
进一步的,基于确定出的眼间距,电子设备将脸部的尺寸是否与预设尺寸匹配,即可以是将确定出的眼间距与预设的眼间距阈值匹配,以判断确定出的眼间距与预设的眼间距阈值匹配。若该确定出的眼间距小于眼间距阈值,则说明该脸部的尺寸过小而不与预设尺寸匹配;而若该确定出的眼间距大于等于眼间距阈值,则说明该脸部的尺寸比较大从而与预设尺寸匹配。
需要说明的是,若电子设备执行步骤S400-步骤S500的流程是在执行步骤S200-步骤S300的流程之后执行,或者执行步骤S400-步骤S500的流程是与执行步骤S200-步骤S300的流程并列执行,那么电子设备在确定脸部完整后,电子设备还需要基于步骤S500的执行结果才能够确定将脸部图像存储还是删除,即若确定脸部完整且脸部的尺寸与预设尺寸匹配,电子设备则将脸部图像存储到图像库,否则,则将脸部图像删除。而若电子设备在获得脸部图像后仅执行步骤S400-步骤S500的流程,那么电子设备可以仅根据步骤S500的执行结果而确定将脸部图像存储还是删除,即若确定脸部的尺寸与预设尺寸匹配,电子设备则将脸部图像存储到图像库,否则,则将脸部图像删除。
本实施例中,电子设备还可以确定脸部图像中脸部的形变及偏转是否满足预设要求,以及确定五官的形状是否满足预设要求。其中,电子设备可以在执行完步骤S200-步骤S300的流程后,和/或在执行完步骤S400-步骤S500的流程后,再执行确定脸部图像中脸部的形变及偏转是否满足预设要求,以及确定五官的形状是否满足预设要求的流程,即电子设备在确定脸部完整和/或确定脸部的尺寸满足预设尺寸的要求后,执行确定脸部图像中脸部的形变及偏转是否满足预设要求,以及确定五官的形状是否满足预设要求的流程。或者,电子设备执行确定脸部图像中脸部的形变及偏转是否满足预设要求,以及确定五官的形状是否满足预设要求的流程也可以与步骤S200-步骤S300的流程和步骤S400-步骤S500的流程并行执行,甚至电子设备也可以仅执行确定脸部图像中脸部的形变及偏转是否满足预设要求,以及确定五官的形状是否满足预设要求的流程。
如图6和图7所示,示例性的,该确定脸部图像中脸部的形变及偏转是否满足预设要求的流程可以包括:
步骤S600:根据该脸部图像中左眼、右眼以及嘴唇的位置关系,确定出该脸部图像中脸部的形变程度以及偏转程度;
步骤S700:判断该形变程度是否满足预设要求,以及判断该偏转程度是否也满足预设要求。
而该确定五官的形状是否满足预设要求的流程则可以包括:
步骤S800:确定出脸部图像中左眼的睁开程度、右眼的睁开程度以及嘴唇的张开程度;
步骤S900:判断左眼的睁开程度,右眼的睁开程度以及嘴唇的张开程度是否均满足预设要求。
下面将结合示例分别对上述步骤S600-步骤S700的流程以及步骤S800-步骤S900的流程进行详细说明。
关于步骤S600-步骤S700的流程:
步骤S600:根据该脸部图像中左眼、右眼以及嘴唇的位置关系,确定出该脸部图像中脸部的形变程度以及偏转程度。
本实施例中,若电子设备对步骤S600-步骤S700这一流程的执行方式是在执行完步骤S200-步骤S300的流程后执行,由于通过执行步骤S200-步骤S300的流程,电子设备已经确定出了脸部轮廓,那么电子设备可以直接在脸部图像中位于脸部轮廓以内的部分进行脸部形变以及偏转的分析,以降低电子设备的数据处理量。而在其它的执行方式下,那么电子设备则需要基于整个脸部图像进行脸部形变以及偏转的分析。
本实施例中,作为确定脸部的偏转程度的示例性方式,由于脸部的偏转程度可以包括:脸部的倾斜程度和脸部的侧脸程度,那么电子设备可以基于双眼的连线与水平线的夹角来确定脸部的倾斜程度,以及基于嘴唇的中心点与双眼的连线的中心点位置关系来确定脸部的侧脸程度。
具体的,若电子设备执行完步骤S200-步骤S300的流程后再执行步骤S600-步骤S700的流程,那么左眼的中心点和右眼的中心点在执行步骤S600时已经确定出,因此电子设备则可以直接确定出左眼的中心点和右眼的中心点的连线(为便于简述,后文将“左眼的中心点和右眼的中心点的连线”统称为“双眼连线”)。若电子设备执行步骤S600-步骤S700的流程是和其它流程并行执行或者只执行步骤S600-步骤S700的流程,那么电子设备在执行步骤S600时,需要先基于外接椭圆的方式确定出左眼的中心点和右眼的中心点,再确定出双眼连线。
确定出连线后,电子设备可以计算出该连线与脸部图片上的水平线之间的夹角,该夹角则可以表示脸部的倾斜程度。
需要说明的是,通过确定连线与脸部图片上的水平线之间的夹角来反映脸部的倾斜程度的方式仅为本实施例的一种示例性方式,其并不作为本实施例的限定。比如,电子设备也可以基于嘴角的连线与脸部图片上的水平线之间的夹角来反映脸部的倾斜程度。
结合图5,请参阅图8,下面继续通过示例来进行说明。
假设4:基于图5和图8可知,中心点W1和中心点W2之间的连线即为双眼连线L1,该双眼连线L1与水平线L2之间的夹角α即用于表示脸部的倾斜程度。
本实施例中,电子设备还可以确定出脸部图像上嘴唇的中心点。比如,电子设备可以利用处理算法处理该脸部图像,以从脸部图像中确定出嘴唇的轮廓。然后,电子设备可以确定出外接该嘴唇的轮廓的第三外接椭圆。最后,确定出该第三外接椭圆的长轴和短轴的交点,该交点即为该外接椭圆的中心点,也为该嘴唇的中心点。
当然,电子设备确定外接该第三外接椭圆仅为本实施例的一种示例性方式,并不作为本实施例的限定。其也可以确定出外接该嘴唇的轮廓的多边形比如矩形。
基于确定出的嘴唇的中心点和双眼连线,电子设备可以进一步确定出该嘴唇的双眼连线的垂直线与该双眼连线的交点,以及再确定出该交点到该双眼连线的中心点的距离,其中,电子设备也可以通过计算像素点数量的方式来确定该交点到该双眼连线的中心点的距离,即计算出该交点到该双眼连线的中心点之间像素点的数量,该像素点的数量则表示该交点到该双眼连线的中心点的距离。最后,电子设备确定出该交点到双眼连线的中心点的距离与该眼间距的距离比,该距离比则用于表示脸部的侧脸程度,而该距离比越小,则脸部的侧脸程度的也越小。
结合图5,请参阅图9,下面继续通过示例来进行说明。
假设4:基于图5和图9可知,中心点W1和中心点W2之间的连线即为双眼连线L1,以及电子设备可以确定出眼连线L1的中点为W3。而电子设备确定出外接嘴唇的轮廓的第三外接椭圆A3后,电子设备可以确定出外接椭圆A3的中心点W4。那么,该中心点W4到双眼连线L1上的垂线L3与该双眼连线L1的交点为W5。显然,交点W5与中点W3之间的距离很短,因此交点W5到中点W3的距离与双眼连线L1的距离比很小,说明该脸部的侧脸程度也很小。
需要说明的是,若电子设备执行完步骤S200-步骤S300的流程后再执行步骤S600-步骤S700的流程,那么眼间距在计算距离比之前已经确定出,因此电子设备则可以直接利用该眼间距确定出距离比。若电子设备执行步骤S600-步骤S700的流程是和其它流程并行执行或者只执行步骤S600-步骤S700的流程,那么电子设备在执行步骤S600时,需要先确定出左眼的中心点到右眼的中心点的眼间距,再确定出距离比。
此外,通过确定距离比来反映脸部的侧脸程度的方式仅为本实施例的一种示例性方式,其并不作为本实施例的限定。比如,电子设备也可以基于双眼连线的中点在脸部轮廓中的位置来确定脸部的侧脸程度。
本实施例中,作为确定脸部的形变程度的示例性方式,由于脸部的形变比较直观的反映是五官的相对位置会产生变化,故电子设备可以基于双眼连线与嘴唇的中心点比例关系来确定出脸部的形变程度。
具体的,电子设备可以确定出嘴唇的中心点到双眼连线的中心点的垂直距离,即计算出该嘴唇的中心点到双眼连线的中心点之间像素点的数量,该像素点的数量则表示该嘴唇的中心点到双眼连线的中心点的垂直距离。然后,电子设备可以确定出前述的眼间距与该垂直距离的比例,该比例则用于表示脸部的形变程度。
结合图5,请参阅图9,下面继续通过示例来进行说明。
假设4:基于图5和图9可知,中心点W1和中心点W2之间的连线即为双眼连线L1,外接嘴唇的轮廓的第三外接椭圆A3的中心点W4到双眼连线L1上的垂线即为L3。因此,将垂线L3与双眼连线L1相比,则可以确定出脸部的形变程度。
需要说明的是,在确定脸部的形变程度之前,若前述流程已经确定出双眼连线与嘴唇的中心点,电子设备可以直接根据双眼连线与嘴唇的中心点的位置关系确定出脸部的形变程度;而若双眼连线与嘴唇的中心点中的至少一种在前述流程还未被确定出,那么在确定脸部的形变程度之前,电子设备则需要先基于外接椭圆的方式确定出对应的中心点,然后再利用双眼连线与嘴唇的中心点的位置关系确定出脸部的形变程度。
此外,通过确定眼间距与该垂直距离的比例来反映脸部的形变程度也仅为本实施例的一种示例性方式,其并不作为本实施例的限定。比如,电子设备也可以基于脸部轮廓的长宽比来反映脸部的形变程度。
步骤S700:判断该形变程度是否满足预设要求,以及判断该偏转程度是否也满足预设要求。
由于前述流程已经确定出表示脸部的倾斜程度的夹角,以及确定出了表示脸部的侧脸程度的距离比。
那么,电子设备则可以将该夹角与预设角度比如为30°比较,以判断夹角是否小于预设角度,以及将该距离比与预设比例比较,以判断该距离比是否大于预设比例。若该夹角小于预设角度且该离比大于预设比例,则表示脸部的倾斜程度和脸部的侧脸程度都满足预设要求,即确定该脸部的偏转程度也满足预设要求;否则,则确定该脸部的偏转程度不满足预设要求。
此外,也由于前述流程已经确定出双眼连线与嘴唇的中心点的比例来表示脸部的形变程度,那么电子设备可以将该比例与预设比例匹配,其中,预设比例可以是一个比例范围,以判断该比例是否与预设比例匹配。若确定匹配,则表示该脸部的形变程度满足预设要求,否则,则表示该脸部的形变程度不满足预设要求。
关于步骤S800-步骤S900的流程:
步骤S800:确定出脸部图像中左眼的睁开程度、右眼的睁开程度以及嘴唇的张开程度。
由于眼睛、嘴唇张闭的变化都会导致其外接椭圆的形状比例发生变化,因此,电子设备可以通过外接椭圆的形状比例来确定左眼的睁开程度、右眼的睁开程度以及嘴唇的张开程度。
具体的,电子设备可以确定出脸部图像中第一外接椭圆、第二外接椭圆和第三外接椭圆各自的长短轴,再确定出第一外接椭圆的长轴和短轴的第一比例、第二外接椭圆的长轴和短轴的第二比例以及第三外接椭圆的长轴和短轴的第三比例。其中,第一比例用于表示左眼的睁开程度,第二比例用于表示右眼的睁开程度,而第三比例则用于表示嘴唇的张开程度。此外,长轴和短轴均通过计算像素点的数量来确定,具体原理可以参考前述,在此不再累述。
还需要说明的是,在确定第一外接椭圆、第二外接椭圆和第三外接椭圆各自的长短轴之前,第一外接椭圆、第二外接椭圆和第三外接椭圆,电子设备可以直接确定出第一外接椭圆、第二外接椭圆和第三外接椭圆各自的长短轴;而若第一外接椭圆、第二外接椭圆和第三外接椭圆中的至少一种在前述流程还未被确定出,那么在确定第一外接椭圆、第二外接椭圆和第三外接椭圆各自的长短轴之前,电子设备则需要先确定出对应的外接椭圆,然后再确定第一外接椭圆、第二外接椭圆和第三外接椭圆各自的长短轴。
步骤S900:判断左眼的睁开程度,右眼的睁开程度以及嘴唇的张开程度是否均满足预设要求。
本实施例中,电子设备可以将第一比例和第二比例均与针对眼睛预设的比例匹配,其中,该针对眼睛预设的比例匹配可以是一个比例范围,以判断第一比例和第二比例是否均与该预设的比例匹配,即判断第一比例和第二比例是均在该预设的比例的比例范围内。若匹配,则说明左眼的睁开程度和右眼的睁开程度满足预设要求,否则,说明其不满足预设要求。
此外,电子设备也可以将第三比例与针对嘴唇预设的比例匹配,其中,针对嘴唇预设的比例可以是一个比例范围,以判断该第三比例是否与针对嘴唇预设的比例匹配,即判断该第三比例是否在该预设的比例的比例范围内。若匹配,则说明嘴唇的张开程度满足预设要求,否则,说明其不满足预设要求。
需要说明的是,若电子设备执行步骤S600-步骤S700以及步骤S800-步骤S900的流程是在前述流程后或者与前述流程并列执行,那么电子设备执行完步骤S600-步骤S700以及步骤S800-步骤S900的流程后,电子设备判断是否将脸部图像存储不仅需要依赖于步骤S600-步骤S700以及步骤S800-步骤S900的执行结果,还需要依赖于前述流程的执行结果。比如,前述流程的执行表示该脸部图像中脸部完整,且脸部的尺寸也满足预设尺寸,那么若步骤S600-步骤S700以及步骤S800-步骤S900的执行表示脸部的形变程度及偏转程度均满足预设要求,则电子设备将脸部图像存储到图像库中,否则将脸部图像删除。而若电子设备仅执行步骤S600-步骤S700以及步骤S800-步骤S900的流程,那么电子设备仅通过脸部的形变程度、偏转程度以及五官的形状均满足预设要求,则将脸部图像存储到图像库中,而仅通过脸部的形变程度、偏转程度以及五官的形状中有至少一个不满足预设要求,则将脸部图像删除。
本实施例中,电子设备还可以确定脸部图像中脸部的亮度以及颜色是否满足要求。其中,电子设备可以在执行步骤S200-步骤S300的流程、步骤S400-步骤S500的流程、步骤S600-步骤S700的流程、以及步骤S800-步骤S900的流程中至少部分的基础上,再执行确定脸部图像中脸部的亮度以及颜色是否满足要求的流程,且这些流程的执行顺序可以任意组合。或者,电子设备也可以仅执行确定脸部图像中脸部的亮度以及颜色是否满足要求的流程。
如图10所示,示例性的,该确定脸部图像中脸部的亮度以及颜色是否满足要求的流程可以包括:
步骤S101:确定出该脸部图像中脸部的亮度以及颜色;
步骤S201:判断该亮度以及颜色是否满足预设要求。
下面对步骤S101-步骤S201进行详细说明。
步骤S101:确定出该脸部图像中脸部的亮度以及颜色。
由于亮度以及颜色的差异通常是局部的,比如额头处的亮度很高,但眼睛处的亮度却很低。因此,电子设备可以分区域的计算脸部的亮度以及颜色。
示例的,电子设备可以根据脸部图像中五官的位置,将脸部所在的区域划分成额头区域、左脸区域以及右脸区域。
具体的,在额头区域被头发遮挡的情况下,该区域的亮度和颜色则没有参考性,因此也无法评估整个脸部的亮度和颜色是否满足要求。因此,为确保方法执行的高效性,需要先确定额头区域是否被头发遮挡,若未遮挡,再确定出左脸区域以及右脸区域。
作为确定额头区域是否被头发遮挡的示例性方式,电子设备可以利用处理算法处理该脸部图像,以判断是否能够从脸部图像中确定出眉毛的轮廓。
若不能确定出眉毛的轮廓,说明该眉毛被头发遮挡处,进而说明额头区域也被头发遮挡。由于头发的遮挡,其导致该脸部图像的不质量合格,因此,该电子设备可以直接将脸部图像删除。
若能够确定出眉毛的轮廓,说明该眉毛没有被头发遮挡处,进而说明额头区域也没有被头发遮挡。因此,电子设备可以基于眉毛的轮廓在脸部图像中的所在位置,确定出脸部图像中位于该眉毛的轮廓上方的区域,该区域即为额头区域。
而确定出额头区域后,电子设备可以进一步确定出左脸区域以及右脸区域。
示例性的,电子设备可以利用处理算法处理该脸部图像,以从脸部图像中确定出鼻子的轮廓。电子设备基于鼻子的轮廓在脸部图像中的所在位置,确定出脸部图像中位于该鼻子的轮廓左方的区域,该左方的区域即为左脸区域;以及还确定出脸部图像中位于该鼻子的轮廓右方的区域,该右方的区域即为右脸区域。
需要说明的是,基于鼻子的轮廓确定左脸区域以及右脸区域仅为本实施例的一种示例性方式,其并不作为限定。比如,电子设备可以将脸部图像中位于眉毛的轮廓下方的区域等分成左右两部分,左边的部分即为左脸区域,右边的部分即为右脸区域。
还需要说明的是,若电子设备执行步骤S101的流程是在执行完成确定脸部是否完整的流程即步骤S200-步骤S300的流程之后执行,那么电子设备进行区域的划分可仅对脸部轮廓的所在区域进行分析,以降低电子设备的数据处理量;否则,电子设备进行区域的划分则需要对整个脸部图像进行分析。
本实施例中,在确定出额头区域、左脸区域以及右脸区域后,电子设备可以计算该额头区域内所有像素点的平均颜色以及平均亮度,该平均颜色即为该额头区域的颜色,该平均亮度即为该额头区域的亮度。以及,电子设备也计算该左脸区域内所有像素点的平均颜色以及平均亮度,该平均颜色即为该左脸区域的颜色,该平均亮度即为该左脸区域的亮度。最后,电子设备还计算该右脸区域内所有像素点的平均颜色以及平均亮度,该平均颜色即为该右脸区域的颜色,该平均亮度即为该右脸区域的亮度。这样,便实现了确定出左脸区域的亮度以及颜色、右脸区域的亮度以及颜色以及额头区域的亮度以及颜色。
步骤S201:判断该亮度以及颜色是否满足预设要求。
电子设备预设有亮度,该预设的亮度可以是一个图像即不过曝也不欠曝的亮度范围。那么,电子设备判断左脸区域的亮度、右脸区域的亮度以及额头区域的亮度是否均与预设的亮度匹配,即判断左脸区域的亮度、右脸区域的亮度以及额头区域的亮度是否均与在该亮度范围内。并且,电子设备还可以判断左脸区域的亮度、右脸区域的亮度以及额头区域的亮度相互之间的亮度差是否均与预设亮度差匹配。
通过判断,若电子设备确定左脸区域的亮度、右脸区域的亮度以及额头区域的亮度均与预设的亮度匹配,且相互之间的亮度差均与所述预设亮度差匹配,则表示各区域的亮度都没有出现过曝或者欠曝且各区域的亮度很均匀,因此表示该脸部的亮度满足预设要求;否则,有任意一个不满足,则表示该脸部的亮度不满足预设要求。
而针对颜色,电子设备可以判断左脸区域的颜色、右脸区域的颜色以及额头区域的颜色是否均在预设的颜色域内。以及,电子设备还判断左脸区域的颜色、右脸区域的颜色以及额头区域的颜色相互之间的颜色差是否均小于与预设颜色差。
通过判断,若电子设备确定左脸区域的颜色、右脸区域的颜色以及额头区域的颜色均在预设的颜色域内,且相互之间的颜色差均小于与预设颜色差,则表示各区域的颜色都不浓艳且颜色均匀,脸部没有出现浓妆艳抹的情况,因此表示该脸部的颜色满足预设要求。否则,有任意一个不满足,则说明脸部出现浓妆艳抹的情况,并表示该脸部的颜色不满足预设要求。
需要说明的是,若电子设备执行步骤S101-步骤S201的流程是在前述流程后或者与前述流程并列执行,那么电子设备执行完步骤S101-步骤S201的流程后,电子设备判断是否将脸部图像存储不仅需要依赖于步骤S101-步骤S201的流程的执行结果,还需要依赖于前述流程的执行结果。比如,前述流程的执行表示该脸部图像中脸部完整,脸部的尺寸也满足预设尺寸,脸部的形变程度及偏转程度满足预设要求,且五官的形状也满足预设要求,那么若步骤S101-步骤S201的执行表示脸部的颜色及亮度均满足预设要求,则电子设备将脸部图像存储到图像库中,否则将脸部图像删除。而若电子设备仅执行步骤S101-步骤S201的流程,那么电子设备仅通过确定脸部的颜色及亮度均满足预设要求,则将脸部图像存储到图像库中,而仅通过确定脸部的颜色及亮度有至少一个不满足预设要求,则将脸部图像删除。
本实施例中,电子设备还可以确定脸部的清晰度是否与预设的清晰度匹配。其中,电子设备可以在执行步骤S200-步骤S300的流程、步骤S400-步骤S500的流程、步骤S600-步骤S700的流程、步骤S800-步骤S900的流程、以及步骤S101-步骤S201的流程中至少部分的基础上,再执行确定脸部的清晰度是否与预设的清晰度匹配的流程,且这些流程的执行顺序可以任意组合。或者,电子设备也可以仅执行确定脸部的清晰度与预设的清晰度匹配的流程。
针对确定脸部的清晰度是否与预设的清晰度匹配,电子设备可以通过分析脸部图像中五官轮廓处像素点的像素值来确定脸部的清晰度。比如,电子设备确定出脸部图像中眼睛的轮廓后,电子设备可以分析眼睛的轮廓边缘附近各像素点的像素值,然后确定各像素点的像素值之间的最大差值,其中,该最大差值则可以用于表示脸部的清晰度,脸部的清晰度越清晰,那么该最大差值则越大。最后,电子设备可以将该最大差值与预设的阈值比较,以判断该最大差值是否大于预设的阈值,其中,该预设的阈值即用于表示预设的清晰度。若该最大差值大于预设的阈值,表示该脸部的清晰度比较高,从而与预设的清晰度匹配,否则,则表示该脸部的清晰度比较低,从而与预设的清晰度不匹配。
需要说明的是,若电子设备确定脸部的清晰度是否与预设的清晰度匹配是在前述流程后或者与前述流程并列执行,那么电子设备确定脸部的清晰度是否与预设的清晰度匹配后,电子设备判断是否将脸部图像存储不仅需要依赖于脸部的清晰度是否与预设的清晰度匹配,还需要依赖于前述流程的执行结果。比如,前述流程的执行表示该脸部图像中脸部完整,脸部的尺寸也满足预设尺寸,脸部的形变程度及偏转程度满足预设要求,五官的形状也满足预设要求,且脸部的颜色及亮度均满足预设要求,那么,在确定清晰度与预设的清晰度匹配后,则电子设备将脸部图像存储到图像库中,否则将脸部图像删除。而若电子设备仅确定脸部的清晰度是否与预设的清晰度匹配,那么电子设备仅通过确定脸部的清晰度与预设的清晰度匹配,则将脸部图像存储到图像库中,而仅通过确定脸部的清晰度与预设的清晰度不匹配,则将脸部图像删除。
本实施例中,电子设备还可以执行模型的训练方法,即电子设备将这些脸部图像存储到图像库后,在需要对预设的网络模型进行训练时,则可以直接利用图像库中的脸部图像对预设的网络模型进行高质量的训练。
请参阅图11,基于同一发明构思,本申请实施例提供了一种图像的分析装置100,该图像的分析装置100可以应用于电子设备,该图像的分析装置100可以包括:
图像接收模块110,用于获取脸部图像;
图像处理模块120,用于确定出所述脸部图像中脸部的轮廓;通过分析所述轮廓的特征,以确定所述脸部是否完整。
可选的,图像接收模块110,用于获取脸部图像;
图像处理模块120,用于通过分析所述脸部图像中五官的特征,确定出所述脸部的尺寸;判断所述脸部的尺寸是否与预设尺寸匹配,其中,所述脸部的尺寸与所述预设尺寸匹配表示所述脸部图像的质量合格,反之,则表示不合格。
可选的,图像接收模块110,用于获取脸部图像;
图像处理模块120,用于判断所述脸部图像中脸部的形变程度及偏转程度是否满足预设要求,以及判断所述五官的形状是否满足预设要求,其中,所述形变程度、所述偏转程度以及所述五官的形状均满足预设要求表示所述脸部图像的质量合格,反之,则表示不合格。
可选的,图像接收模块110,用于获取脸部图像;
图像处理模块120,用于确定出所述脸部图像中所述脸部的亮度以及颜色;判断所述亮度以及颜色是否满足预设要求,其中,所述亮度以及颜色满足所述预设要求表示所述脸部图像的质量合格,反之,则表示不合格。
可选的,图像接收模块110,用于获取脸部图像;
图像处理模块120,用于通过分析所述脸部图像中五官轮廓处像素点的像素值,确定出所述脸部的清晰度;判断所述清晰度是否与预设的清晰度匹配,其中,所述清晰度与所述预设的清晰度匹配表示所述脸部图像的质量合格,反之,则表示不合格。
请参阅图12,基于同一发明构思,本申请实施例提供了一种模型的训练装置200,该模型的训练装置200可以应用于电子设备,该模型的训练装置200可以包括:
图像接收模块210,用于获得利用前述实施例所述的图像的分析方法分析后的脸部图像;
模型训练模块220,用于利用所述脸部图像对预设的网络模型进行训练。
需要说明的是,由于所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
请参阅图13,基于同一发明构思,本申请实施例提供了一种电子设备10,该电子设备10可以包括连接到网络的通信接口11、用于执行程序指令的一个或多个处理器12、总线13、和不同形式的存储器14,例如,磁盘、ROM、或RAM,或其任意组合。示例性地,计算机平台还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质、或其任意组合中的程序指令。
存储器14用于存储程序,处理器12用于调用并运行存储器14中的程序以执行前述的图像的分析方法或者模型的训练方法。
本申请一些实施例还提供了一种计算机可执行的非易失的程序代码的计算机可读储存介质,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该计算机可读存储介质上存储有程序代码,该程序代码被计算机运行时执行上述任一实施方式的图像的分析方法或者模型的训练方法的步骤。
本申请实施例所提供的图像的分析方法或者模型的训练方法的程序代码产品,包括存储了程序代码的计算机可读存储介质,程序代码包括的指令可用于执行前面方法实施例中的方法,具体实现可参见方法实施例,在此不再赘述。
综上所述,本申请实施例提供了一种图像的分析方法、模型的训练方法、装置、设备及存储介质。通过对图像中人脸的轮廓进行分析可以有效确定人脸是否完整,可以避免将脸部不完整的低质量图像用于后续处理,以确保良好的处理效果。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种图像的分析方法,其特征在于,所述方法包括:
获取脸部图像;
确定出所述脸部图像中脸部的轮廓;
通过分析所述轮廓的特征,以确定所述脸部是否完整。
2.根据权利要求1所述的图像的分析方法,其特征在于,通过分析所述轮廓的特征,以确定所述脸部是否完整,包括:
判断构成所述轮廓的弧线是否连续,以及判断所述轮廓是否有内凹部分,其中,若所述弧线连续且所述轮廓没有内凹部分则表示所述脸部完整,否则,表示所述脸部不完整。
3.根据权利要求2所述的图像的分析方法,其特征在于,判断所述轮廓是否有内凹部分,包括:
将所述轮廓分割成多个弧线段;
判断所述多个弧线段中是否有相邻两个弧线段的朝向相反,其中,有相邻两个弧线段的朝向相反表示所述轮廓有内凹部分。
4.根据权利要求1所述的图像的分析方法,其特征在于,在确定所述脸部完整之后,所述方法还包括:
判断所述脸部的形变程度及偏转程度是否满足预设要求。
5.根据权利要求4所述的图像的分析方法,其特征在于,确定所述形变程度及所述偏转程度的步骤,包括:
根据所述脸部图像中左眼、右眼以及嘴唇的位置关系,确定出所述形变程度以及所述偏转程度。
6.根据权利要求5所述的图像的分析方法,其特征在于,所述偏转程度包括:倾斜程度和侧脸程度,根据所述脸部图像中左眼、右眼以及嘴唇的位置关系,确定出所述形变程度以及所述偏转程度,包括:
确定出所述脸部图像中嘴唇的中心点;确定出所述嘴唇的中心点到所述左眼的中心点和所述右眼的中心点连线的垂直距离;确定眼间距与所述垂直距离的比例,其中,所述比例用于表示所述形变程度;
确定出所述左眼的中心点和所述右眼的中心点的连线与参考水平线之间的夹角,其中,所述夹角用于表示所述倾斜程度;确定出所述嘴唇的中心点到所述连线的垂直线与所述连线的交点,以及确定出所述交点到所述连线的中心点的距离,并确定出所述交点到所述连线的中心点的距离与所述眼间距的距离比,其中,所述距离比用于表示所述侧脸程度。
7.根据权利要求1所述的图像的分析方法,其特征在于,在确定所述脸部完整之后,所述方法还包括:
通过分析所述脸部图像中五官轮廓处像素点的像素值,确定出所述脸部的清晰度;
判断所述清晰度是否与预设的清晰度匹配。
8.一种图像的分析装置,其特征在于,所述装置包括:
图像接收模块,用于获取脸部图像;
图像处理模块,用于确定出所述脸部图像中脸部的轮廓;通过分析所述轮廓的特征,以确定所述脸部是否完整。
9.一种电子设备,其特征在于,包括:
通信接口;
存储器,用于存储程序;
处理器,用于调用并运行所述程序,以通过所述通信接口,执行如权利要求1-7中任一权项所述的图像的分析方法。
10.一种具有计算机可执行的非易失程序代码的计算机可读存储介质,其特征在于,所述程序代码使所述计算机行如权利要求1-7中任一权项所述的图像的分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010233994.7A CN111444856A (zh) | 2020-03-27 | 2020-03-27 | 图像的分析方法、模型的训练方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010233994.7A CN111444856A (zh) | 2020-03-27 | 2020-03-27 | 图像的分析方法、模型的训练方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111444856A true CN111444856A (zh) | 2020-07-24 |
Family
ID=71654129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010233994.7A Pending CN111444856A (zh) | 2020-03-27 | 2020-03-27 | 图像的分析方法、模型的训练方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111444856A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107368806A (zh) * | 2017-07-18 | 2017-11-21 | 广东欧珀移动通信有限公司 | 图像矫正方法、装置、计算机可读存储介质和计算机设备 |
CN109598196A (zh) * | 2018-10-29 | 2019-04-09 | 华中科技大学 | 一种多形变多姿态人脸序列的特征点定位方法 |
CN110298310A (zh) * | 2019-06-28 | 2019-10-01 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110909568A (zh) * | 2018-09-17 | 2020-03-24 | 北京京东尚科信息技术有限公司 | 用于面部识别的图像检测方法、装置、电子设备及介质 |
-
2020
- 2020-03-27 CN CN202010233994.7A patent/CN111444856A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107368806A (zh) * | 2017-07-18 | 2017-11-21 | 广东欧珀移动通信有限公司 | 图像矫正方法、装置、计算机可读存储介质和计算机设备 |
CN110909568A (zh) * | 2018-09-17 | 2020-03-24 | 北京京东尚科信息技术有限公司 | 用于面部识别的图像检测方法、装置、电子设备及介质 |
CN109598196A (zh) * | 2018-10-29 | 2019-04-09 | 华中科技大学 | 一种多形变多姿态人脸序列的特征点定位方法 |
CN110298310A (zh) * | 2019-06-28 | 2019-10-01 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107771336B (zh) | 基于颜色分布的图像中的特征检测和掩模 | |
CN107784301B (zh) | 用于识别图像中文字区域的方法和装置 | |
US7835568B2 (en) | Method and apparatus for image-based photorealistic 3D face modeling | |
US6389155B2 (en) | Image processing apparatus | |
CN111428581A (zh) | 人脸遮挡检测方法及系统 | |
WO2020125631A1 (zh) | 视频压缩方法、装置和计算机可读存储介质 | |
WO2019019828A1 (zh) | 目标对象的遮挡检测方法及装置、电子设备及存储介质 | |
EP1510973A2 (en) | Method and apparatus for image-based photorealistic 3D face modeling | |
CN111754528A (zh) | 人像分割方法、装置、电子设备和计算机可读存储介质 | |
WO2015070723A1 (zh) | 眼部图像处理方法和装置 | |
CN114520894B (zh) | 投影区域确定方法、装置、投影设备及可读存储介质 | |
CN112819702A (zh) | 图像增强方法、装置、电子设备及计算机可读存储介质 | |
JP2007272435A (ja) | 顔特徴抽出装置及び顔特徴抽出方法 | |
CN111540021B (zh) | 毛发数据的处理方法、装置和电子设备 | |
KR20160115663A (ko) | 화상 처리 장치 및 화상 처리 방법 | |
CN111080542B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
US11704807B2 (en) | Image processing apparatus and non-transitory computer readable medium storing program | |
CN107133932B (zh) | 视网膜图像预处理方法、装置和计算设备 | |
CN111105368A (zh) | 图像处理方法及其装置、电子设备和计算机可读存储介质 | |
CN111444856A (zh) | 图像的分析方法、模型的训练方法、装置、设备及存储介质 | |
CN109726613B (zh) | 一种用于检测的方法和装置 | |
CN111476735A (zh) | 人脸图像处理方法、装置、计算机设备及可读存储介质 | |
CN110458012B (zh) | 多角度人脸识别方法及装置、存储介质和终端 | |
CN110766631A (zh) | 人脸图像的修饰方法、装置、电子设备和计算机可读介质 | |
CN115937311A (zh) | 摄像头偏移检测方法及其相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200724 |