CN109543567A - 一种数量确定方法及装置 - Google Patents

一种数量确定方法及装置 Download PDF

Info

Publication number
CN109543567A
CN109543567A CN201811308182.3A CN201811308182A CN109543567A CN 109543567 A CN109543567 A CN 109543567A CN 201811308182 A CN201811308182 A CN 201811308182A CN 109543567 A CN109543567 A CN 109543567A
Authority
CN
China
Prior art keywords
flaw
facial image
retroreflective regions
probability
high retroreflective
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811308182.3A
Other languages
English (en)
Other versions
CN109543567B (zh
Inventor
鞠汶奇
刘子威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hetai Intelligent Home Appliance Controller Co ltd
Original Assignee
Shenzhen Het Data Resources and Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Het Data Resources and Cloud Technology Co Ltd filed Critical Shenzhen Het Data Resources and Cloud Technology Co Ltd
Priority to CN201811308182.3A priority Critical patent/CN109543567B/zh
Publication of CN109543567A publication Critical patent/CN109543567A/zh
Application granted granted Critical
Publication of CN109543567B publication Critical patent/CN109543567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明实施例提供一种数量确定方法及装置，包括：通过摄像头采集第一人脸图像，将第一人脸图像输入深度神经网络，获得第一人脸图像中人脸上高反光区域的位置和第一非高反光区域的瑕疵数量；通过摄像头采集第二人脸图像，第一人脸图像与第二人脸图像为采用不同拍摄角度采集的同一人的人脸图像；根据第二人脸图像、深度神经网络、高反光区域的位置和跟踪算法，确定高反光区域的瑕疵数量；使用高反光区域的瑕疵数量和第一非高反光区域的瑕疵数量计算人脸上的瑕疵数量。本发明实施例，可以提高准确性。

Description

一种数量确定方法及装置
技术领域
本发明涉及计算机技术领域，具体涉及一种数量确定方法及装置。
背景技术
人脸的皮肤好坏直接影响一个人的美丑，因此，爱美人士，尤其是年轻女性特别注重脸部皮肤的情况，以便通过脸部皮肤的情况能够对脸部皮肤进行更好地护理。目前，一种常用的瑕疵识别方法为：对待测皮肤图像A进行灰度化处理得到图像B，图像B通过双边滤波和高斯模糊算法进行增强处理得到图像C，将获得的图像C与图像B进行差分运算得到图像D，图像D中灰度差值较大的区域即为瑕疵区域。由于上述方法中未考虑自然环境下脸部受到各种强度的光照射的影响，以致降低了准确性。
发明内容
本发明实施例提供一种数量确定方法及装置，用于提高准确性。
第一方面提供一种数量确定方法，包括：
通过摄像头采集第一人脸图像；
将所述第一人脸图像输入深度神经网络，获得所述第一人脸图像中人脸上高反光区域的位置和第一非高反光区域的瑕疵数量；
通过所述摄像头采集第二人脸图像，所述第一人脸图像与所述第二人脸图像为采用不同拍摄角度采集的同一人的人脸图像；
根据所述第二人脸图像、所述深度神经网络、所述高反光区域的位置和跟踪算法，确定所述高反光区域的瑕疵数量；
使用所述高反光区域的瑕疵数量和所述第一非高反光区域的瑕疵数量计算所述人脸上的瑕疵数量。
在一个实施例中，所述将所述第一人脸图像输入深度神经网络，获得所述第一人脸图像中人脸上高反光区域的位置和第一非高反光区域的瑕疵数量包括：
将所述第一人脸图像输入深度神经网络，获得所述第一人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率；
在待确定瑕疵的瑕疵概率大于所述待确定瑕疵的区域概率，且所述待确定瑕疵的瑕疵概率大于第一阈值的情况下，确定所述待确定瑕疵为瑕疵，所述待确定瑕疵为所述所有待确定瑕疵中的任一待确定瑕疵；
在所述待确定瑕疵的区域概率大于所述待确定瑕疵的瑕疵概率，且所述待确定瑕疵的区域概率大于第二阈值的情况下，确定所述待确定瑕疵为高反光区域；
统计确定的瑕疵的数量为所述第一人脸图像中人脸上第一非高反光区域的瑕疵数量；
将确定的所述高反光区域的坐标确定为所述第一人脸图像中人脸上高反光区域的位置。
在一个实施例中，所述根据所述第二人脸图像、所述深度神经网络、所述高反光区域的位置和跟踪算法，确定所述高反光区域的瑕疵数量包括：
将所述第二人脸图像输入所述深度神经网络，获得所述第二人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率；
根据跟踪算法和所述高反光区域的位置确定所述高反光区域在所述第二人脸图像中的坐标；
根据所述第二人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率以及所述高反光区域在所述第二人脸图像中的坐标，确定第二非高反光区域的坐标，所述第二非高反光区域为所述高反光区域在所述第二人脸图像中变为非高反光区域的区域；
根据所述第二非高反光区域的坐标和所述高反光区域在所述第二人脸图像中的坐标，计算所述高反光区域中所述第二非高反光区域的比例；
在所述比例大于第三阈值时，统计所述第二非高反光区域在所述第二人脸图像中瑕疵的数量，获得所述高反光区域的瑕疵数量。
在一个实施例中，所述将所述第一人脸图像输入深度神经网络，获得所述第一人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率包括：
将所述第一人脸图像输入深度神经网络，获得所述第一人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率、区域概率和部位概率；
所述方法还包括：
将所述待确定瑕疵归类至所述部位概率最大的瑕疵部位；
统计所述人脸上所有瑕疵部位中每个瑕疵部位的瑕疵数量。
在一个实施例中，所述方法还包括：
根据瑕疵数量大于第四阈值的瑕疵部位和/或所述人脸上所有瑕疵部位中每个瑕疵部位的瑕疵数量确定推荐信息。
在一个实施例中，所述将所述第一人脸图像输入深度神经网络，获得所述第一人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率包括：
将所述第一人脸图像输入深度神经网络，获得所述第一人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率、区域概率和类别概率；
所述方法还包括：
将所述待确定瑕疵归类至所述类别概率最大的瑕疵类别；
统计所述人脸上不同瑕疵类别的瑕疵数量。
在一个实施例中，所述方法还包括：
根据所述人脸上不同瑕疵类别的瑕疵数量确定推荐信息。
第二方面提供一种数量确定装置，包括：
采集单元，用于通过摄像头采集第一人脸图像；
输入单元，用于将所述采集单元采集的第一人脸图像输入深度神经网络，获得所述第一人脸图像中人脸上高反光区域的位置和第一非高反光区域的瑕疵数量；
所述采集单元，还用于通过所述摄像头采集第二人脸图像，所述第一人脸图像与所述第二人脸图像为采用不同拍摄角度采集的同一人的人脸图像；
确定单元，用于根据所述采集单元采集的第二人脸图像、所述深度神经网络、所述输入单元获得的高反光区域的位置和跟踪算法，确定所述高反光区域的瑕疵数量；
计算单元，用于使用所述确定单元确定的高反光区域的瑕疵数量和所述输入单元获得的第一非高反光区域的瑕疵数量计算所述人脸上的瑕疵数量。
在一个实施例中，输入单元包括：
第一输入子单元，用于将所述采集单元采集的第一人脸图像输入深度神经网络，获得所述第一人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率；
第一确定子单元，用于在待确定瑕疵的瑕疵概率大于所述待确定瑕疵的区域概率，且所述待确定瑕疵的瑕疵概率大于第一阈值的情况下，确定所述待确定瑕疵为瑕疵，所述待确定瑕疵为所述第一输入子单元获得的所有待确定瑕疵中的任一待确定瑕疵；
所述第一确定子单元，还用于在所述待确定瑕疵的区域概率大于所述待确定瑕疵的瑕疵概率，且所述待确定瑕疵的区域概率大于第二阈值的情况下，确定所述待确定瑕疵为高反光区域；
第一统计子单元，用于统计所述第一确定子单元确定的瑕疵的数量为所述第一人脸图像中人脸上第一非高反光区域的瑕疵数量；
所述第一确定子单元，还用于将确定的所述高反光区域的坐标确定为所述第一人脸图像中人脸上高反光区域的位置。
在一个实施例中，所述确定单元包括：
第二输入子单元，用于将所述采集单元采集的第二人脸图像输入所述深度神经网络，获得所述第二人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率；
第二确定子单元，用于根据跟踪算法和所述第一确定子单元确定的高反光区域的位置确定所述高反光区域在所述第二人脸图像中的坐标；
所述第二确定子单元，还用于根据所述第二输入子单元获得的第二人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率以及所述高反光区域在所述第二人脸图像中的坐标，确定第二非高反光区域的坐标，所述第二非高反光区域为所述高反光区域在所述第二人脸图像中变为非高反光区域的区域；
计算子单元，用于根据所述第二确定子单元确定的第二非高反光区域的坐标和所述高反光区域在所述第二人脸图像中的坐标，计算所述高反光区域中变为所述第二非高反光区域的比例；
第二统计子单元，用于在所述计算子单元计算的比例大于第三阈值时，统计所述第二非高反光区域在所述第二人脸图像中瑕疵的数量，获得所述高反光区域的瑕疵数量。
在一个实施例中，所述第一输入子单元，具体用于将所述第一人脸图像输入深度神经网络，获得所述第一人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率、区域概率和部位概率；
所述装置还包括：
第一归类单元，用于将瑕疵归类至所述部位概率最大的瑕疵部位；
第一统计单元，用于统计所述人脸上所有瑕疵部位中每个瑕疵部位的瑕疵数量。
在一个实施例中，所述确定单元，还用于根据瑕疵数量大于第四阈值的瑕疵部位和/或所述人脸上所有瑕疵部位中每个瑕疵部位的瑕疵数量确定推荐信息。
在一个实施例中，所述第一输入子单元，具体用于将所述第一人脸图像输入深度神经网络，获得所述第一人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率、区域概率和类别概率；
所述装置还包括：
第二归类单元，用于将瑕疵归类至所述类别概率最大的瑕疵类别；
第二统计单元，用于统计所述人脸上不同瑕疵类别的瑕疵数量。
在一个实施例中，所述确定单元，还用于根据所述人脸上不同瑕疵类别的瑕疵数量确定推荐信息。
第三方面提供一种数量确定装置，包括处理器、存储器和摄像头，所述处理器、所述存储器和所述摄像头相互连接，所述摄像头用于采集图像，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于调用所述程序指令执行第一方面或第一方面的任一实施例提供的数量确定方法。
第四方面提供了一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行第一方面或第一方面的任一实施例提供的数量确定方法。
第五方面提供了一种应用程序，该应用程序用于在运行时执行第一方面或第一方面的任一实施例提供的数量确定方法。
本发明实施例中，通过摄像头采用第一拍摄角度采集第一人脸图像，将第一人脸图像输入深度神经网络获得第一人脸图像中人脸上高反光区域的位置和第一非高反光区域的瑕疵数量，通过摄像头采用第二拍摄角度采集第二人脸图像，根据第二人脸图像、深度神经网络、高反光区域的位置和跟踪算法确定高反光区域的瑕疵数量，使用高反光区域的瑕疵数量和第一非高反光区域的瑕疵数量计算人脸上的瑕疵数量，可见，在确定瑕疵数量时考虑了光照引起的反光的影响，因此，可以提高准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数量确定方法的流程示意图；
图2是本发明实施例提供的另一种数量确定方法的流程示意图；
图3是本发明实施例提供的一种数量确定装置的结构示意图；
图4是本发明实施例提供的另一种数量确定装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种数量确定方法及装置，用于提高准确性。以下分别进行详细说明。
请参阅图1，图1是本发明实施例提供的一种数量确定方法的流程示意图。其中，该数量确定方法适用于安装有摄像头的手机、平板电脑等电子设备。如图1所示，该数量确定方法可以包括以下步骤。
101、通过摄像头采集第一人脸图像。
本实施例中，在用户需要通过电子设备或电子设备上的应用观察脸部皮肤的瑕疵数量的情况下，用户可以通过操作电子设备向电子设备或电子设备中的应用输入用于分析的分析指令，电子设备检测到分析指令时，启动摄像头，并通过摄像头采集第一人脸图像。启动的摄像头可以是前置摄像头，也可以是后置摄像头，即显示摄像头拍摄界面。在启动的摄像头不是用户需要的摄像头的情况下，用户可以通过点击摄像头拍摄界面的预设图标、预设区域等输入用于切换摄像头的切换指令，电子设备检测到该切换指令之后，将切换摄像头，在启动的摄像头为前置摄像头的情况下，可以切换为后置摄像头，在启动的摄像头为后置摄像头的情况下，可以切换为前置摄像头。
102、将第一人脸图像输入深度神经网络，获得第一人脸图像中人脸上高反光区域的位置和第一非高反光区域的瑕疵数量。
本实施例中，通过摄像头采集到第一人脸图像之后，将第一人脸图像输入深度神经网络得到第一人脸图像中人脸上高反光区域的位置和非高反光区域的瑕疵数量，可以是将第一人脸图像输入深度神经网络，输出第一人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率，在一个待确定瑕疵的瑕疵概率大于这个待确定瑕疵的区域概率，且这个待确定瑕疵的瑕疵概率大于第一阈值的情况下，确定这个待确定瑕疵为瑕疵，在这个待确定瑕疵的区域概率大于这个待确定瑕疵的瑕疵概率，且这个待确定瑕疵的区域概率大于第二阈值的情况下，确定这个待确定瑕疵为高反光区域，之后统计确定的瑕疵的数量为第一人脸图像中人脸上第一非高反光区域的瑕疵数量，将确定的高反光区域的坐标确定第一人脸图像中人脸上高反光区域的位置。在这个待确定瑕疵的瑕疵概率大于这个待确定瑕疵的区域概率，且这个待确定瑕疵的瑕疵概率小于或等于第一阈值的情况下，以及在这个待确定瑕疵的区域概率大于这个待确定瑕疵的瑕疵概率，且这个待确定瑕疵的区域概率小于或等于第二阈值的情况下，确定这个待确定瑕疵既不是瑕疵也不是高反光区域。其中，这个待确定瑕疵为上述所有待确定瑕疵中的任一待确定瑕疵。第一阈值与第二阈值可以相同，也可以不同。瑕疵概率为属于瑕疵的概率，区域概率为属于高反光区域的概率。
本实施例中，将第一人脸图像输入深度神经网络，也可以输出第一人脸图像中人脸上所有待确定瑕疵的部位概率和/或类别概率，在确定待确定瑕疵为瑕疵之后，可以将瑕疵归类至部位概率最大的瑕疵部位和类别概率最大的瑕疵类别。因此，也可以统计出第一非高反光区域中人脸上每个瑕疵部位的瑕疵数量，也可以统计出第一非高反光区域中不同瑕疵类别的瑕疵数量，也可以统计出此意非高反光区域中每个瑕疵部位上不同瑕疵类别的瑕疵数量。瑕疵部位为存在瑕疵的部位，可以包括鼻子、额头等，瑕疵类别可以包括黑头、痘痘等。部位概率为待确定瑕疵属于人脸上那个部位的概率，类别概率为待确定瑕疵属于那种瑕疵的概率。人脸上有多少个部位每个待确定瑕疵将输出多少个部位概率，在确定待确定瑕疵为瑕疵之后，这些部位概率中那个部位概率最大，这个瑕疵将属于这个部位概率最大的部位。同理，有多少种瑕疵类别每个待确定瑕疵将输出多少个类别概率，在确定待确定瑕疵为瑕疵之后，这些类别概率中那个类别概率最大，这个瑕疵将属于这个类别概率最大的瑕疵类别。
103、通过摄像头采集第二人脸图像。
本实施例中，通过摄像头采集到第一人脸图像之后，通过摄像头采集第二人脸图像，第一人脸图像与第二人脸图像为采用不同拍摄角度采集的同一人的人脸图像。其中，步骤102和步骤103可以串行执行，也可以并行执行。
104、根据第二人脸图像、深度神经网络、高反光区域的位置和跟踪算法，确定高反光区域的瑕疵数量。
本实施例中，通过摄像头采集到第二人脸图像之后，根据第二人脸图像、深度神经网络、高反光区域的位置和跟踪算法，确定高反光区域的瑕疵数量。可以先将第二人脸图像输入深度神经网络输出第二人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率，根据跟踪算法和高反光区域的位置确定高反光区域在第二人脸图像中的坐标，根据第二人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率以及高反光区域在第二人脸图像中的坐标，确定第二非高反光区域的坐标，根据第二非高反光区域的坐标和高反光区域在第二人脸图像中的坐标，计算高反光区域中变为第二非高反光区域的比例，在该比例大于第三阈值时(即高反光区域中变为非高反光区域的比例大于第三阈值)，统计第二非高反光区域在第二人脸图像中瑕疵的数量，获得高反光区域的瑕疵数量。在该比例小于或等于第三阈值时，表明采集的这张第二人脸图像不符合要求，可以提示用户重新采集第二人脸图像，并重新执行上述操作。第二非高反光区域为高反光区域在第二人脸图像中变为非高反光区域的区域。其中，高反光区域中变为非高反光区域的比例，可以是面积的比例，也可以是高反光区域包括的待确定瑕疵中确定的不是瑕疵的数量与高反光区域中所有待确定瑕疵的比例，还可以像素点的比例，还可以是其它比例。同理，也可以统计出高反光区域中人脸上每个瑕疵部位的瑕疵数量，也可以统计出高反光区域中不同瑕疵类别的瑕疵数量，也可以统计出高反光区域中每个瑕疵部位上不同瑕疵类别的瑕疵数量。
105、使用高反光区域的瑕疵数量和第一非高反光区域的瑕疵数量计算人脸上的瑕疵数量。
本实施例中，得到第一非高反光区域的瑕疵数量，以及确定出高反光区域的瑕疵数量之后，计算人脸上的瑕疵数量，可以是第一非高反光区域的瑕疵数量与高反光区域的瑕疵数量的和或者加权和。同理，也可以统计人脸上每个瑕疵部位的瑕疵数量，也可以统计出人脸上不同瑕疵类别的瑕疵数量，也可以统计出人脸上每个瑕疵部位上不同瑕疵类别的瑕疵数量。
在图1所描述的数量确定方法中，在确定瑕疵数量时考虑了光照引起的反光的影响，因此，可以提高准确性。
请参阅图2，图2是本发明实施例提供的另一种数量确定方法的流程示意图。其中，该数量确定方法适用于安装有摄像头的手机、平板电脑等电子设备。如图2所示，该数量确定方法可以包括以下步骤。
201、通过摄像头采集第一人脸图像。
其中，步骤201与步骤101相同，详细描述请参考步骤101，在此不再详细赘述。
202、将第一人脸图像输入深度神经网络，获得第一人脸图像中人脸上高反光区域的位置和第一非高反光区域的瑕疵数量。
其中，步骤202与步骤102相同，详细描述请参考步骤102，在此不再详细赘述。
203、通过摄像头采集第二人脸图像。
其中，步骤203与步骤103相同，详细描述请参考步骤103，在此不再详细赘述。
204、根据第二人脸图像、深度神经网络、高反光区域的位置和跟踪算法，确定高反光区域的瑕疵数量。
其中，步骤204与步骤104相同，详细描述请参考步骤104，在此不再详细赘述。
205、使用高反光区域的瑕疵数量和第一非高反光区域的瑕疵数量计算人脸上的瑕疵数量。
其中，步骤205与步骤105相同，详细描述请参考步骤105，在此不再详细赘述。
206、确定推荐信息。
本实施例中，可以根据人脸上的瑕疵数量确定推荐信息；也可以根据人脸上每个瑕疵部位的瑕疵数量为每个瑕疵部位推荐信息；也可以根据人脸上不同瑕疵类别的瑕疵数量确定推荐信息，例如：人脸上的痘痘数量最多时可以给用户推荐祛痘产品的信息；也可以根据人脸上每个瑕疵部位上不同瑕疵类别的瑕疵数量确定推荐信息，例如：鼻子上的黑头最严重，可以为鼻子部位推荐去黑头产品的信息。确定出推荐信息之后，可以将推荐信息直接显示在电子设备上，也可以将推荐信息发送给用户的手机等。
在图2所描述的数量确定方法中，在确定瑕疵数量时考虑了光照引起的反光的影响，因此，可以提高准确性。
请参阅图3，图3是本发明实施例提供的一种数量确定装置的结构示意图。该数量确定装置可以为安装有摄像头的手机、平板电脑等电子设备。如图3所示，该数量确定装置可以包括：
采集单元301，用于通过摄像头采集第一人脸图像；
输入单元302，用于将采集单元301采集的第一人脸图像输入深度神经网络，获得第一人脸图像中人脸上高反光区域的位置和第一非高反光区域的瑕疵数量；
采集单元301，还用于通过摄像头采集第二人脸图像，第一人脸图像与第二人脸图像为采用不同拍摄角度采集的同一人的人脸图像；
确定单元303，用于根据采集单元301采集的第二人脸图像、深度神经网络、输入单元302获得的高反光区域的位置和跟踪算法，确定高反光区域的瑕疵数量；
计算单元304，用于使用确定单元303确定的高反光区域的瑕疵数量和输入单元302获得的第一非高反光区域的瑕疵数量计算人脸上的瑕疵数量。
作为一种可能的实施方式，输入单元302可以包括：
第一输入子单元3021，用于将采集单元301采集的第一人脸图像输入深度神经网络，获得第一人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率；
第一确定子单元3022，用于在待确定瑕疵的瑕疵概率大于该待确定瑕疵的区域概率，且该待确定瑕疵的瑕疵概率大于第一阈值的情况下，确定该待确定瑕疵为瑕疵，该待确定瑕疵为第一输入子单元3021获得的所有待确定瑕疵中的任一待确定瑕疵；
第一确定子单元3022，还用于在该待确定瑕疵的区域概率大于该待确定瑕疵的瑕疵概率，且该待确定瑕疵的区域概率大于第二阈值的情况下，确定该待确定瑕疵为高反光区域；
第一统计子单元3023，用于统计第一确定子单元3022确定的瑕疵的数量为第一人脸图像中人脸上第一非高反光区域的瑕疵数量；
第一确定子单元3022，还用于将确定的高反光区域的坐标确定为第一人脸图像中人脸上高反光区域的位置。
作为一种可能的实施方式，确定单元303可以包括：
第二输入子单元3031，用于将采集单元301采集的第二人脸图像输入深度神经网络，获得第二人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率；
第二确定子单元3032，用于根据跟踪算法和第一确定子单元3022确定的高反光区域的位置确定高反光区域在第二人脸图像中的坐标；
第二确定子单元3032，还用于根据第二输入子单元3031获得的第二人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率以及高反光区域在第二人脸图像中的坐标，确定第二非高反光区域的坐标，第二非高反光区域为高反光区域在第二人脸图像中变为非高反光区域的区域；
计算子单元3033，用于根据第二确定子单元3032确定的第二非高反光区域的坐标和高反光区域在第二人脸图像中的坐标，计算高反光区域中第二非高反光区域的比例；
第二统计子单元3034，用于在计算子单元3033计算的比例大于第三阈值时，统计第二非高反光区域在第二人脸图像中瑕疵的数量，获得高反光区域的瑕疵数量。
作为一种可能的实施方式，该装置还可以包括归类单元305和统计单元306，其中：
第一输入子单元3021，具体用于将第一人脸图像输入深度神经网络，获得第一人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率、区域概率和部位概率；归类单元305，用于将瑕疵归类至部位概率最大的瑕疵部位；统计单元306，用于统计人脸上所有瑕疵部位中每个瑕疵部位的瑕疵数量；确定单元303，还用于根据瑕疵数量大于第四阈值的瑕疵部位和/或人脸上所有瑕疵部位中每个瑕疵部位的瑕疵数量确定推荐信息；或者
第一输入子单元3021，具体用于将第一人脸图像输入深度神经网络，获得第一人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率、区域概率和类别概率；归类单元305，用于将瑕疵归类至类别概率最大的瑕疵类别；统计单元306，用于统计人脸上不同瑕疵类别的瑕疵数量；确定单元303，还用于根据人脸上不同瑕疵类别的瑕疵数量确定推荐信息。
在图3所描述的数量确定装置中，在确定瑕疵数量时考虑了光照引起的反光的影响，因此，可以提高准确性。
可以理解的是，本实施例的数量确实装置的单元的功能可根据上述数量确定方法实施例中的方法具体实现，其具体实现过程可以参照上述数量确定方法实施例的相关描述，此处不再赘述。
请参阅图4，图4是本发明实施例提供的另一种数量确实装置的结构示意图。该数量确定装置可以为安装有摄像头的手机、平板电脑等电子设备。如图4所示，该数量确实装置可以包括至少一个处理器401、存储器402、摄像头403和总线404，处理器401、存储器402和摄像头403之间通过总线404连接，其中：
摄像头403，用于采集第一人脸图像；
存储器402用于存储计算机程序，计算机程序包括程序指令，处理器401用于调用存储器402存储的程序指令执行以下步骤：
将第一人脸图像输入深度神经网络，获得第一人脸图像中人脸上高反光区域的位置和第一非高反光区域的瑕疵数量；
摄像头403，还用于采集第二人脸图像，第一人脸图像与第二人脸图像为采用不同拍摄角度采集的同一人的人脸图像；
处理器401还用于调用存储器402存储的程序指令执行以下步骤：
根据第二人脸图像、深度神经网络、高反光区域的位置和跟踪算法，确定高反光区域的瑕疵数量；
使用高反光区域的瑕疵数量和第一非高反光区域的瑕疵数量计算人脸上的瑕疵数量。
作为一种可能的实施方式，处理器401将第一人脸图像输入深度神经网络，获得第一人脸图像中人脸上高反光区域的位置和第一非高反光区域的瑕疵数量包括：
将第一人脸图像输入深度神经网络，获得第一人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率；
在待确定瑕疵的瑕疵概率大于该待确定瑕疵的区域概率，且该待确定瑕疵的瑕疵概率大于第一阈值的情况下，确定该待确定瑕疵为瑕疵，该待确定瑕疵为所有待确定瑕疵中的任一待确定瑕疵；
在该待确定瑕疵的区域概率大于该待确定瑕疵的瑕疵概率，且该待确定瑕疵的区域概率大于第二阈值的情况下，确定该待确定瑕疵为高反光区域；
统计确定的瑕疵的数量为第一人脸图像中人脸上第一非高反光区域的瑕疵数量；
将确定的高反光区域的坐标确定为第一人脸图像中人脸上高反光区域的位置。
作为一种可能的实施方式，处理器401根据第二人脸图像、深度神经网络、高反光区域的位置和跟踪算法，确定高反光区域的瑕疵数量包括：
将第二人脸图像输入深度神经网络，获得第二人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率；
根据跟踪算法和高反光区域的位置确定高反光区域在第二人脸图像中的坐标；
根据第二人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率以及高反光区域在第二人脸图像中的坐标，确定第二非高反光区域的坐标，第二非高反光区域为高反光区域在第二人脸图像中变为非高反光区域的区域；
根据第二非高反光区域的坐标和高反光区域在第二人脸图像中的坐标，计算高反光区域中第二非高反光区域的比例；
在该比例大于第三阈值时，统计第二非高反光区域在第二人脸图像中瑕疵的数量，获得高反光区域的瑕疵数量。
作为一种可能的实施方式，处理器401将第一人脸图像输入深度神经网络，获得第一人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率包括：
将第一人脸图像输入深度神经网络，获得第一人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率、区域概率和部位概率；
处理器401还用于调用存储器402存储的程序代码执行以下操作：
将瑕疵归类至部位概率最大的瑕疵部位；
统计人脸上所有瑕疵部位中每个瑕疵部位的瑕疵数量。
作为一种可能的实施方式，处理器401还用于调用存储器402存储的程序代码执行以下操作：
根据瑕疵数量大于第四阈值的瑕疵部位和/或人脸上所有瑕疵部位中每个瑕疵部位的瑕疵数量确定推荐信息。
作为一种可能的实施方式，处理器401将第一人脸图像输入深度神经网络，获得第一人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率包括：
将第一人脸图像输入深度神经网络，获得第一人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率、区域概率和类别概率；
处理器401还用于调用存储器402存储的程序代码执行以下操作：
将瑕疵归类至类别概率最大的瑕疵类别；
统计人脸上不同瑕疵类别的瑕疵数量。
作为一种可能的实施方式，处理器401还用于调用存储器402存储的程序代码执行以下操作：
根据人脸上不同瑕疵类别的瑕疵数量确定推荐信息。
在图4所描述的数量确定装置中，在确定瑕疵数量时考虑了光照引起的反光的影响，因此，可以提高准确性。
其中，步骤101、步骤103、步骤201和步骤203可以由数量确实装置中的摄像头403来执行，步骤102、步骤104-步骤105、步骤202和步骤204-步骤206可以由数量确实装置中的处理器401和存储器402来执行。
其中，采集单元301可以由数量确实装置中的摄像头403来实现，输入单元302、确定单元303、计算单元304、归类单元305和统计单元306可以由数量确实装置中的处理器401和存储器402来实现。
在一个实施例中提供了一种可读存储介质，该可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时使处理器执行图1-图2的数量确定方法。
在一个实施例中提供了一种应用程序，该应用程序用于在运行时执行图1-图2的数量确定方法
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。
以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数量确定方法，其特征在于，包括：
通过摄像头采集第一人脸图像；
将所述第一人脸图像输入深度神经网络，获得所述第一人脸图像中人脸上高反光区域的位置和第一非高反光区域的瑕疵数量；
通过所述摄像头采集第二人脸图像，所述第一人脸图像与所述第二人脸图像为采用不同拍摄角度采集的同一人的人脸图像；
根据所述第二人脸图像、所述深度神经网络、所述高反光区域的位置和跟踪算法，确定所述高反光区域的瑕疵数量；
使用所述高反光区域的瑕疵数量和所述第一非高反光区域的瑕疵数量计算所述人脸上的瑕疵数量。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一人脸图像输入深度神经网络，获得所述第一人脸图像中人脸上高反光区域的位置和第一非高反光区域的瑕疵数量包括：
将所述第一人脸图像输入深度神经网络，获得所述第一人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率；
在待确定瑕疵的瑕疵概率大于所述待确定瑕疵的区域概率，且所述待确定瑕疵的瑕疵概率大于第一阈值的情况下，确定所述待确定瑕疵为瑕疵，所述待确定瑕疵为所述所有待确定瑕疵中的任一待确定瑕疵；
在所述待确定瑕疵的区域概率大于所述待确定瑕疵的瑕疵概率，且所述待确定瑕疵的区域概率大于第二阈值的情况下，确定所述待确定瑕疵为高反光区域；
统计确定的瑕疵的数量为所述第一人脸图像中人脸上第一非高反光区域的瑕疵数量；
将确定的所述高反光区域的坐标确定为所述第一人脸图像中人脸上高反光区域的位置。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第二人脸图像、所述深度神经网络、所述高反光区域的位置和跟踪算法，确定所述高反光区域的瑕疵数量包括：
将所述第二人脸图像输入所述深度神经网络，获得所述第二人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率；
根据跟踪算法和所述高反光区域的位置确定所述高反光区域在所述第二人脸图像中的坐标；
根据所述第二人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率以及所述高反光区域在所述第二人脸图像中的坐标，确定第二非高反光区域的坐标，所述第二非高反光区域为所述高反光区域在所述第二人脸图像中变为非高反光区域的区域；
根据所述第二非高反光区域的坐标和所述高反光区域在所述第二人脸图像中的坐标，计算所述高反光区域中所述第二非高反光区域的比例；
在所述比例大于第三阈值时，统计所述第二非高反光区域在所述第二人脸图像中瑕疵的数量，获得所述高反光区域的瑕疵数量。
4.根据权利要求3所述的方法，其特征在于，所述将所述第一人脸图像输入深度神经网络，获得所述第一人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率包括：
将所述第一人脸图像输入深度神经网络，获得所述第一人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率、区域概率和部位概率；
所述方法还包括：
将瑕疵归类至所述部位概率最大的瑕疵部位；
统计所述人脸上所有瑕疵部位中每个瑕疵部位的瑕疵数量。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据瑕疵数量大于第四阈值的瑕疵部位和/或所述人脸上所有瑕疵部位中每个瑕疵部位的瑕疵数量确定推荐信息。
6.根据权利要求3所述的方法，其特征在于，所述将所述第一人脸图像输入深度神经网络，获得所述第一人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率和区域概率包括：
将所述第一人脸图像输入深度神经网络，获得所述第一人脸图像中人脸上所有待确定瑕疵的坐标、瑕疵概率、区域概率和类别概率；
所述方法还包括：
将瑕疵归类至所述类别概率最大的瑕疵类别；
统计所述人脸上不同瑕疵类别的瑕疵数量。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
根据所述人脸上不同瑕疵类别的瑕疵数量确定推荐信息。
8.一种数量确定装置，其特征在于，包括：
采集单元，用于通过摄像头采集第一人脸图像；
输入单元，用于将所述采集单元采集的第一人脸图像输入深度神经网络，获得所述第一人脸图像中人脸上高反光区域的位置和第一非高反光区域的瑕疵数量；
所述采集单元，还用于通过所述摄像头采集第二人脸图像，所述第一人脸图像与所述第二人脸图像为采用不同拍摄角度采集的同一人的人脸图像；
确定单元，用于根据所述采集单元采集的第二人脸图像、所述深度神经网络、所述高反光区域的位置和跟踪算法，确定所述输入单元获得的高反光区域的瑕疵数量；
计算单元，用于使用所述确定单元确定的高反光区域的瑕疵数量和所述输入单元获得的第一非高反光区域的瑕疵数量计算所述人脸上的瑕疵数量。
9.一种数量确定装置，其特征在于，包括处理器、存储器和摄像头，所述处理器、所述存储器和所述摄像头互相连接，所述摄像头用于采集图像，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于调用所述程序指令执行如权利要求1-7任一项所述的数量确定方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的数量确定方法。
CN201811308182.3A 2018-11-05 2018-11-05 一种数量确定方法及装置 Active CN109543567B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811308182.3A CN109543567B (zh) 2018-11-05 2018-11-05 一种数量确定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811308182.3A CN109543567B (zh) 2018-11-05 2018-11-05 一种数量确定方法及装置

Publications (2)

Publication Number Publication Date
CN109543567A true CN109543567A (zh) 2019-03-29
CN109543567B CN109543567B (zh) 2020-11-13

Family

ID=65846541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811308182.3A Active CN109543567B (zh) 2018-11-05 2018-11-05 一种数量确定方法及装置

Country Status (1)

Country Link
CN (1) CN109543567B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101329728A (zh) * 2008-07-03 2008-12-24 深圳市康贝尔智能技术有限公司 一种基于汉明距离约束的lbp人脸光照预处理方法
WO2010095120A1 (en) * 2009-02-23 2010-08-26 L'oreal A method of making up using an addressable matrix light source
CN107862663A (zh) * 2017-11-09 2018-03-30 广东欧珀移动通信有限公司 图像处理方法、装置、可读存储介质和计算机设备
CN108038454A (zh) * 2017-12-15 2018-05-15 北京正通亿和文化艺术交流有限公司 一种全息灯光脸部采集系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101329728A (zh) * 2008-07-03 2008-12-24 深圳市康贝尔智能技术有限公司 一种基于汉明距离约束的lbp人脸光照预处理方法
WO2010095120A1 (en) * 2009-02-23 2010-08-26 L'oreal A method of making up using an addressable matrix light source
CN107862663A (zh) * 2017-11-09 2018-03-30 广东欧珀移动通信有限公司 图像处理方法、装置、可读存储介质和计算机设备
CN108038454A (zh) * 2017-12-15 2018-05-15 北京正通亿和文化艺术交流有限公司 一种全息灯光脸部采集系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARONI GABRIELE 等: "Automated Detection, Extraction and Counting of Acne Lesions for Automatic Evaluation and Tracking of Acne Severity", 《2017 IEEE SYMPOSIUM SERIES ON COMPUTATIONAL INTELLIGENCE》 *
邱佳梁 等: "结合肤色分割与平滑的人脸图像快速美化", 《中国图象图形学》 *

Also Published As

Publication number Publication date
CN109543567B (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN110826519B (zh) 人脸遮挡检测方法、装置、计算机设备及存储介质
CN109255352B (zh) 目标检测方法、装置及系统
CN110532984B (zh) 关键点检测方法、手势识别方法、装置及系统
US11055516B2 (en) Behavior prediction method, behavior prediction system, and non-transitory recording medium
US11403874B2 (en) Virtual avatar generation method and apparatus for generating virtual avatar including user selected face property, and storage medium
CN108764133A (zh) 图像识别方法、装置及系统
CN109583449A (zh) 字符识别方法及相关产品
US20130342636A1 (en) Image-Based Real-Time Gesture Recognition
CN109389129A (zh) 一种图像处理方法、电子设备及存储介质
CN108986075A (zh) 一种优选图像的判断方法及装置
CN109598234A (zh) 关键点检测方法和装置
CN109934065A (zh) 一种用于手势识别的方法和装置
CN111401318B (zh) 动作识别方法及装置
CN107272899B (zh) 一种基于动态手势的vr交互方法、装置及电子设备
CN110378301A (zh) 行人重识别方法及系统
CN109583364A (zh) 图像识别方法及设备
CN109447006A (zh) 图像处理方法、装置、设备及存储介质
CN111797773A (zh) 一种人脸关键部位遮挡检测方法、装置和设备
CN112287802A (zh) 人脸图像检测方法、系统、存储介质及设备
CN115601811A (zh) 面部痤疮的检测方法和装置
CN117392404A (zh) 一种提高图像检测速度的方法及系统
CN109543567A (zh) 一种数量确定方法及装置
CN105323920B (zh) 一种基于人体及其位置检测的照明控制系统及方法
CN109543565A (zh) 一种数量确定方法及装置
Durga et al. Face Mask Detection using MobileNetV2

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 518000 Guangdong science and technology innovation and Research Institute, Shenzhen, Shenzhen, Nanshan District No. 6, science and technology innovation and Research Institute, Shenzhen, D 10, 1004, 10

Patentee after: Shenzhen Hetai intelligent home appliance controller Co.,Ltd.

Address before: 518000 Guangdong science and technology innovation and Research Institute, Shenzhen, Shenzhen, Nanshan District No. 6, science and technology innovation and Research Institute, Shenzhen, D 10, 1004, 10

Patentee before: SHENZHEN H&T DATA RESOURCES AND CLOUD TECHNOLOGY Ltd.

CP01 Change in the name or title of a patent holder