CN108875471A - 人脸图像底库注册的方法、装置及计算机存储介质 - Google Patents
人脸图像底库注册的方法、装置及计算机存储介质 Download PDFInfo
- Publication number
- CN108875471A CN108875471A CN201710465626.3A CN201710465626A CN108875471A CN 108875471 A CN108875471 A CN 108875471A CN 201710465626 A CN201710465626 A CN 201710465626A CN 108875471 A CN108875471 A CN 108875471A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- threshold
- angle
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种人脸图像底库注册的方法、装置及计算机存储介质，该方法包括：获取图像并通过人脸检测判断该图像中是否存在人脸；如果该图像中存在人脸，通过质量判断方法，判断该人脸是否满足底库注册质量要求；如果满足，则将该图像加入到底库中；如果不满足，则：若该人脸的角度大于第一角度阈值或该人脸的遮挡程度大于第一遮挡阈值，则将该图像丢弃；否则对该图像进行人脸矫正，并将矫正后的图像加入到底库中。本发明实施例中对不满足质量要求的人脸图像进行人脸矫正，并将矫正后的图像加入到底库中完成底库注册，能够在无法获取清晰正面照的情况下进行人脸底库注册，从而保证入库图像的质量，并提供了后续对人脸识别的精度。
Description
技术领域
本发明涉及图像识别领域，更具体地涉及一种人脸图像底库注册的方法、装置及计算机存储介质。
背景技术
随着人脸识别算法精度和速度不断提升，越来越多的工业场景、商业场景和生活场景中出现了人脸识别的应用。一般来说，在进行人脸识别之前，都需要进行人脸特征的注册，即录入一张包含清晰人脸的正面照片。人脸识别程序用于对该人脸照片进行特征提取，以将该特征与后续收到的人脸照片进行比对。除此之外，还可以通过现存的照片库获得用于注册的照片，例如公安系统的身份证信息库，在逃嫌疑犯信息库等等，这些人脸照片通常也是包含清晰正面人脸图像的。然而，随着人脸识别应用的不断发展，有一些场景无法得到清晰的正面人脸图像，或者说，需要在无感知的情况下进行人脸的抓拍和底库注册，在这样的情况下，由于光照和姿态的问题，有时无法得到能够满足用于人脸识别底库注册的照片。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种人脸图像底库注册的方法、装置及计算机存储介质，对人脸图像进行人脸矫正，从而能够保证入库图像的质量。
根据本发明的第一方面，提供了一种人脸图像底库注册的方法，包括：
获取图像，并通过人脸检测判断所述图像中是否存在人脸；
如果所述图像中存在人脸，通过质量判断方法，判断所述图像中的所述人脸是否满足底库注册质量要求；
如果所述人脸满足所述质量要求，则将所述图像加入到底库中；
如果所述人脸不满足所述质量要求，则进行如下处理：若所述人脸的角度大于第一角度阈值或所述人脸的遮挡程度大于第一遮挡阈值，则将所述图像丢弃；否则对所述图像进行人脸矫正，并将所述人脸矫正后的图像加入到所述底库中。
示例性地，所述质量要求包括以下至少一项：
所述人脸的角度小于第二角度阈值，其中，所述第二角度阈值小于所述第一角度阈值；
所述人脸的遮挡程度小于第二遮挡阈值，其中，所述第二遮挡阈值小于所述第一遮挡阈值；
所述人脸的大小大于大小阈值；
所述人脸的模糊程度小于模糊阈值；
所述人脸的表情属于中性表情；
所述人脸的亮度满足预设的光照条件。
示例性地，所述人脸矫正包括以下中的至少一项：
若所述人脸的角度大于或等于所述第二角度阈值且小于或等于所述第一角度阈值，则对所述人脸进行特征点分析，采用人脸对称性以及局部图像特征对所述人脸进行修补，得到修补后的人脸图像；
若所述人脸的遮挡程度大于或等于所述第二遮挡阈值且小于或等于所述第一遮挡阈值，则根据多张不同遮挡条件下的人脸的特征点定位以及人脸的对称性对所述人脸进行修补；
若所述人脸的大小小于或等于所述大小阈值，则采用上采样或超分辨重建方式进行处理；
若所述人脸的模糊程度大于或等于所述模糊阈值，则使用频域或空域图像处理方法进行去模糊处理；
若所述人脸的表情属于非中性表情，则使用三维人脸模型进行表情变换，得到中性表情状态下的人脸图像；
若所述人脸的亮度不满足所述光照条件，则通过频域或空域图像处理方法进行处理。
示例性地，所述人脸的亮度不满足所述光照条件，包括：
所述人脸的亮度大于第一亮度阈值，或者，所述人脸的亮度小于第二亮度阈值，或者，所述人脸中的最大亮度与最小亮度之差大于差值阈值，
其中，所述第二亮度阈值小于所述第一亮度阈值。
示例性地，所述人脸的角度是指所述人脸相对于图像采集装置所在平面的角度。
示例性地，所述质量判断方法是通过对卷积神经网络进行预先训练得到的。
示例性地，所述获取图像，包括：使用图像获取装置进行抓拍，得到所述图像。
第二方面，提供了一种人脸图像底库注册的装置，包括：
获取模块，用于获取图像；
人脸判断模块，用于通过人脸检测判断所述图像中是否存在人脸；
质量判断模块，用于在所述图像中存在人脸时，通过质量判断方法，判断所述图像中的所述人脸是否满足底库注册质量要求；
处理模块，用于：
如果所述人脸满足所述质量要求，则将所述图像加入到底库中；
如果所述人脸不满足所述质量要求，则进行如下处理：若所述人脸的角度大于第一角度阈值或所述人脸的遮挡程度大于第一遮挡阈值，则将所述图像丢弃；否则对所述图像进行人脸矫正，并将所述人脸矫正后的图像加入到所述底库中。
示例性地，所述质量要求包括以下至少一项：
所述人脸的角度小于第二角度阈值，其中，所述第二角度阈值小于所述第一角度阈值；
所述人脸的遮挡程度小于第二遮挡阈值，其中，所述第二遮挡阈值小于所述第一遮挡阈值；
所述人脸的大小大于大小阈值；
所述人脸的模糊程度小于模糊阈值；
所述人脸的表情属于中性表情；
所述人脸的亮度满足预设的光照条件。
示例性地，所述处理模块具体用于：
若所述人脸的角度大于或等于所述第二角度阈值且小于或等于所述第一角度阈值，则对所述人脸进行特征点分析，采用人脸对称性以及局部图像特征对所述人脸进行修补，得到修补后的人脸图像；
若所述人脸的遮挡程度大于或等于所述第二遮挡阈值且小于或等于所述第一遮挡阈值，则根据多张不同遮挡条件下的人脸的特征点定位以及人脸的对称性对所述人脸进行修补；
若所述人脸的大小小于或等于所述大小阈值，则采用上采样或超分辨重建方式进行处理；
若所述人脸的模糊程度大于或等于所述模糊阈值，则使用频域或空域图像处理方法进行去模糊处理；
若所述人脸的表情属于非中性表情，则使用三维人脸模型进行表情变换，得到中性表情状态下的人脸图像；
若所述人脸的亮度不满足所述光照条件，则通过频域或空域图像处理方法进行处理。
示例性地，所述人脸的亮度不满足所述光照条件，包括：
所述人脸的亮度大于第一亮度阈值，或者，所述人脸的亮度小于第二亮度阈值，或者，所述人脸中的最大亮度与最小亮度之差大于差值阈值，
其中，所述第二亮度阈值小于所述第一亮度阈值。
示例性地，所述人脸的角度是指所述人脸相对于图像采集装置所在平面的角度。
示例性地，所述质量判断方法是通过对卷积神经网络进行预先训练得到的。
示例性地，所述获取模块，具体用于：使用图像获取装置进行抓拍，得到所述图像。
该装置能够用于实现前述第一方面及其各种示例的人脸图像底库注册的方法。
第三方面，提供了一种人脸图像底库注册的装置，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面及各个示例所述方法的步骤。
第四方面，提供了一种计算机存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面及各个示例所述方法的步骤。
由此可见，本发明实施例中对不满足质量要求的人脸图像进行人脸矫正，并将矫正后的图像加入到底库中完成底库注册，能够在无法获取清晰正面照的情况下进行人脸底库注册，从而能够保证入库图像的质量，并提供了后续对人脸识别的精度。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本发明实施例的电子设备的一个示意性框图；
图2是本发明实施例的人脸图像底库注册的方法的一个示意性流程图；
图3是本发明实施例的人脸图像底库注册的方法的另一个示意性流程图；
图4是本发明实施例的人脸图像底库注册的装置的一个示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
本发明实施例可以应用于电子设备，图1所示为本发明实施例的电子设备的一个示意性框图。图1所示的电子设备10包括一个或更多个处理器102、一个或更多个存储装置104、输入装置106、输出装置108、图像传感器110以及一个或更多个非图像传感器114，这些组件通过总线系统112和/或其它形式互连。应当注意，图1所示的电子设备10的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以包括CPU 1021和GPU 1022或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，例如现场可编程门阵列(Field－Programmable GateArray，FPGA)或进阶精简指令集机器(Advanced RISC(Reduced Instruction SetComputer)Machine，ARM)等，并且处理器102可以控制所述电子设备10中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或更多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器1041和/或非易失性存储器1042。所述易失性存储器1041例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器1042例如可以包括只读存储器(Read-Only Memory，ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或更多个计算机程序指令，处理器102可以运行所述程序指令，以实现各种期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或更多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或更多个。
所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
当注意，图1所示的电子设备10的组件和结构只是示例性的，尽管图1示出的电子设备10包括多个不同的装置，但是根据需要，其中的一些装置可以不是必须的，其中的一些装置的数量可以更多等等，本发明对此不限定。
图2是本发明实施例的人脸图像底库注册的方法的一个示意性流程图。图2所示的方法包括：
S101，获取图像，并通过人脸检测判断所述图像中是否存在人脸。
示例性地，可以在用户无感知的情况下进行抓拍，以获取该图像。示例性地，可以获取多张候选图像，并从多张候选图像中筛选出该图像。该获取的图像可以是抓拍的多张(例如100张)候选图像中的一张，例如可以是多张候选图像中质量最好的一张。
示例性地，可以由图像采集装置获取图像。其中，图像采集装置可以为照相机、摄像头等等。
示例性地，可以对该图像进行人脸检测，以判断该图像中是否存在人脸。
可理解，如果通过判断确定该图像中不存在人脸，则重新获取图像。如果通过判断确定该图像中存在人脸，则执行以下的S102。
S102，如果所述图像中存在人脸，通过质量判断方法，判断所述图像中的所述人脸是否满足底库注册质量要求。
其中，质量判断方法可以是通过对卷积神经网络进行预先训练得到的。在本发明实施例的方法之前，可以通过卷积神经网络进行训练，从而获得该质量判断方法。
可理解，S102中，也可以采用质量判断方法之外的其他机器学习的方法对所述图像中的人脸进行判断，这里不再一一罗列。
S103，如果所述人脸满足所述质量要求，则将所述图像加入到底库中。如果所述人脸不满足所述质量要求，则进行如下处理：若所述人脸的角度大于第一角度阈值或所述人脸的遮挡程度大于第一遮挡阈值，则将所述图像丢弃；否则对所述图像进行人脸矫正，并将所述人脸矫正后的图像加入到所述底库中。
示例性地，该过程也可以如图3所示，其中，A1表示第一角度阈值，B1表示第一遮挡阈值。
作为一种实现方式，本发明实施例中的质量要求可以包括对以下中的至少一项的要求：人脸的角度、人脸的遮挡程度、人脸的大小、人脸的模糊程度、人脸的表情、人脸的亮度。
具体地，所述质量要求可以包括以下至少一项：
所述人脸的角度小于第二角度阈值，其中，所述第二角度阈值小于所述第一角度阈值；
所述人脸的遮挡程度小于第二遮挡阈值，其中，所述第二遮挡阈值小于所述第一遮挡阈值；
所述人脸的大小大于大小阈值；
所述人脸的模糊程度小于模糊阈值；
所述人脸的表情属于中性表情；
所述人脸的亮度满足预设的光照条件。
其中，人脸的角度可以是指人脸相对于图像采集装置的平面的角度。例如，人脸所在的平面与摄像头所在的平面两者之间的夹角。作为一个示例，第一角度阈值可以等于50°，第二角度阈值可以等于15°。
其中，人脸的遮挡程度可以是指人脸被其他的物体等遮挡的比例。作为一个示例，第一遮挡阈值可以等于60％，第二遮挡阈值可以等于20％。
其中，大小阈值可以为人脸图像中人脸区域的像素点与整个图像中所有像素点的数量的比值，或者，大小阈值可以为人脸图像中人脸区域的矩形框的宽度和高度，或者，大小阈值可以为人脸图像中人脸区域的矩形框的面积大小，等等，本发明对此不限定。作为一个示例，假设大小阈值表示人脸区域的像素点与整个图像中所有像素点的数量的比值，且该大小阈值为P1。那么，可以在S102中，计算出S101所获取的图像中的人脸区域中的像素点的数量(假设为N1)，计算出S101所获取的图像中的像素点的数量(假设为N2)，并比较N1/N2与P1的大小关系。如果N1/N2>P1，则满足人脸大小大于大小阈值，反之不满足。
其中，模糊阈值可以为预先存储的数值，假设为M1。举例来说，可以通过深度学习的方法得到图像中人脸的模糊程度，如果得到的模糊程度为M2，那么可以比较M1与M2的大小关系，若M2<M1，则满足人脸的模糊程度小于模糊阈值，反之不满足。
其中，可以通过神经网络的方法对人脸中的特征点进行分析，以确定人脸表情。示例性地，也可以进一步地结合人脸纹理等确定人脸表情。作为一个示例，如果确定的人脸表情为大笑、大张嘴、鬼脸等，则确定其属于非中性表情。如果确定的人脸表情为微笑、面无表情等，则确定其属于中性表情。
其中，预设的光照条件可以是指：人脸的亮度小于或等于第一亮度阈值且大于或等于第二亮度阈值；和/或，人脸中的最大亮度与最小亮度之差小于或等于差值阈值。其中，人脸的亮度可以通过深度学习、颜色空间转换(将RGB空间转换到HSV、Lab等带有亮度分量的空间)等得到。作为一个示例，第一亮度阈值可以为数值L1，第二亮度阈值可以为数值L2。那么，人脸的亮度可以为人脸区域中的每个像素的亮度的平均值，假设为L3。则可以比较L3与L1、L2的大小关系，若L2≤L3≤L1，则人脸的亮度满足预设的光照条件，反之不满足。作为另一个示例，差值阈值可以为数值ΔL0。那么，可以计算人脸区域中每个像素的亮度，并计算最大亮度与最小亮度之差，假设为L4。则可以比较L4与ΔL0的大小关系，若L4≤ΔL0，则人脸的亮度满足预设的光照条件，反之不满足。可理解，满足该光照条件可以是指：人脸的亮度不至于过亮(亮度大于第一亮度阈值)或过暗(亮度小于第二亮度阈值)，且不存在严重的阴阳脸情形。
可以根据底库的要求设定该质量要求，例如，如果对底库的要求较低，可以设定质量要求包括上述中的一项或几项。如果对底库的要求较高，可以设定质量要求包括上述中的所有项。
本发明下述的实施例假设质量要求包括对以下六项的要求：人脸的角度、人脸的遮挡程度、人脸的大小、人脸的模糊程度、人脸的表情、人脸的亮度。可理解，若质量要求包括对其中的一项或几项的要求，本领域技术人员可以类似地确定矫正的过程，这里不再一一罗列。
S103可以包括S1031和S1032。
S1031：如果所述人脸满足所述质量要求，则将所述图像加入到底库中。
具体地，若图像中的人脸同时满足：(1)所述人脸的角度小于第二角度阈值；(2)所述人脸的遮挡程度小于第二遮挡阈值；(3)所述人脸的大小大于大小阈值；(4)所述人脸的模糊程度小于模糊阈值；(5)所述人脸的表情属于中性表情；(6)所述人脸的亮度满足预设的光照条件。则说明该人脸满足质量要求，可以将该图像加入到底库中以进行图像注册。
S1032：如果所述人脸不满足所述质量要求，则进行如下处理：若所述人脸的角度大于第一角度阈值或所述人脸的遮挡程度大于第一遮挡阈值，则将所述图像丢弃；否则对所述图像进行人脸矫正，并将所述人脸矫正后的图像加入到所述底库中。
具体地，若图像中的人脸不满足上述(1)至(6)中的任意一项，则说明该人脸不满足质量要求。
进一步地，如果图像中的人脸不满足(1)，且进一步地该人脸的角度大于第一角度阈值，则可以将该图像直接丢弃，即不对该图像进行注册。如果图像中的人脸不满足(2)，且进一步地该人脸的遮挡程度大于第一遮挡阈值，则可以将该图像直接丢弃，即不对该图像进行注册。可理解，人脸的角度大于第一角度阈值或人脸的遮挡程度大于第一遮挡阈值时，该图像中的人脸的信息过少，无法基于此完成底库注册。
如果(a)人脸的角度小于或等于第一角度阈值且大于或等于第二角度阈值，且人脸的遮挡程度小于或等于第一遮挡阈值且大于或等于第二遮挡阈值，或(b)人脸的角度小于或等于第一角度阈值且大于或等于第二角度阈值，且人脸的遮挡程度小于第二遮挡阈值，或(c)人脸的角度小于第二角度阈值，且人脸的遮挡程度小于或等于第一遮挡阈值且大于或等于第二遮挡阈值，则说明该人脸可以被用于注册，具体地，可以对该图像中的人脸进行人脸矫正后再加入到底库中。
其中，S1031中的人脸矫正可以包括：
若所述人脸的角度大于或等于所述第二角度阈值且小于或等于所述第一角度阈值，则对所述人脸进行特征点分析，采用人脸对称性以及局部图像特征对所述人脸进行修补，得到修补后的人脸图像。具体地，对于缺失的人脸特征，可以对图像中已有的人脸特征进行特征点分析，并对其进行修补，得到该缺失的人脸特征，从而能够将图像中的人脸矫正为正脸图像。
若所述人脸的遮挡程度大于或等于所述第二遮挡阈值且小于或等于所述第一遮挡阈值，则根据多张不同遮挡条件下的人脸的特征点定位以及人脸的对称性对所述人脸进行修补。例如，若该图像中人脸的左半边被遮挡，可以根据人脸的对称性，基于未被遮挡的右半边完成对左半边的修补。例如，若该图像中人脸的眼部(或嘴部)等部分区域被遮挡，可以根据其他的眼部(或嘴部)未被遮挡的图像完成对该图像中眼部(或嘴部)的修补。
若所述人脸的大小小于或等于所述大小阈值，则采用上采样或超分辨重建方式进行处理。具体地，若该图像中的人脸过小，可以将其放大后采用上采样或超分辨重建方式等进行处理。
若所述人脸的模糊程度大于或等于所述模糊阈值，则使用频域或空域图像处理方法进行去模糊处理。
若所述人脸的表情属于非中性表情，则使用三维人脸模型进行表情变换，得到中性表情状态下的人脸图像。
若所述人脸的亮度不满足所述光照条件，则通过频域或空域图像处理方法进行处理。具体地，人脸的亮度不满足所述光照条件，可以包括：所述人脸的亮度大于第一亮度阈值(即过亮)，或者，所述人脸的亮度小于第二亮度阈值(即过暗)，或者，所述人脸中的最大亮度与最小亮度之差大于差值阈值(即阴阳脸)。其中，所述第二亮度阈值小于所述第一亮度阈值。其中，人脸的亮度大于第一亮度阈值可以是指人脸区域中所有的像素的亮度的平均值大于第一亮度阈值。人脸的亮度小于第二亮度阈值可以是指人脸区域中所有的像素的亮度的平均值小于第二亮度阈值。人脸中的最大亮度与最小亮度之差大于差值阈值可以是指人脸区域中的所有像素的亮度中的最大亮度与最小亮度之差大于差值阈值。
由此可见，本发明实施例中对不满足质量要求的人脸图像进行人脸矫正，并将矫正后的图像加入到底库中完成底库注册，能够在无法获取清晰正面照的情况下进行人脸底库注册，从而能够保证入库图像的质量，并提供了后续对人脸识别的精度。
图4是本发明实施例的人脸图像底库注册的装置的一个示意性框图。图4所示的装置40包括获取模块401、人脸判断模块402、质量判断模块403和处理模块404。
获取模块401，用于获取图像；
人脸判断模块402，用于通过人脸检测判断所述图像中是否存在人脸；
质量判断模块403，用于如果人脸判断模块402确定所述图像中存在人脸，通过质量判断方法，判断所述图像中的所述人脸是否满足底库注册质量要求；
处理模块404，用于：如果质量判断模块403确定所述人脸满足所述质量要求，则将所述图像加入到底库中；
如果质量判断模块403确定所述人脸不满足所述质量要求，则进行如下处理：若所述人脸的角度大于第一角度阈值或所述人脸的遮挡程度大于第一遮挡阈值，则将所述图像丢弃；否则对所述图像进行人脸矫正，并将所述人脸矫正后的图像加入到所述底库中。
示例性地，所述质量要求包括以下至少一项：
所述人脸的角度小于第二角度阈值，其中，所述第二角度阈值小于所述第一角度阈值；
所述人脸的遮挡程度小于第二遮挡阈值，其中，所述第二遮挡阈值小于所述第一遮挡阈值；
所述人脸的大小大于大小阈值；
所述人脸的模糊程度小于模糊阈值；
所述人脸的表情属于中性表情；
所述人脸的亮度满足预设的光照条件。
示例性地，处理模块404可以具体用于：
若所述人脸的角度大于或等于所述第二角度阈值且小于或等于所述第一角度阈值，则对所述人脸进行特征点分析，采用人脸对称性以及局部图像特征对所述人脸进行修补，得到修补后的人脸图像；
若所述人脸的遮挡程度大于或等于所述第二遮挡阈值且小于或等于所述第一遮挡阈值，则根据多张不同遮挡条件下的人脸的特征点定位以及人脸的对称性对所述人脸进行修补；
若所述人脸的大小小于或等于所述大小阈值，则采用上采样或超分辨重建方式进行处理；
若所述人脸的模糊程度大于或等于所述模糊阈值，则使用频域或空域图像处理方法进行去模糊处理；
若所述人脸的表情属于非中性表情，则使用三维人脸模型进行表情变换，得到中性表情状态下的人脸图像；
若所述人脸的亮度不满足所述光照条件，则通过频域或空域图像处理方法进行处理。
示例性地，所述人脸的亮度不满足所述光照条件，包括：所述人脸的亮度大于第一亮度阈值，或者，所述人脸的亮度小于第二亮度阈值，或者，所述人脸中的最大亮度与最小亮度之差大于差值阈值。其中，所述第二亮度阈值小于所述第一亮度阈值。
示例性地，所述人脸的角度是指所述人脸相对于图像采集装置所在平面的角度。
示例性地，所述质量判断方法是通过对卷积神经网络进行预先训练得到的。
示例性地，获取模块401可以具体用于：使用图像获取装置进行抓拍，得到所述图像。
图4所示的装置40能够实现前述图2或图3所示的人脸图像底库注册的方法，为避免重复，这里不再赘述。
另外，本发明实施例还提供了另一种人脸图像底库注册的装置，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，处理器执行所述程序时实现前述图2或图3所示方法的步骤。
另外，本发明实施例还提供了一种电子设备，该电子设备可以包括图4所示的装置40。该电子设备可以实现前述图2或图3所示的方法。
另外，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序。当所述计算机程序由处理器执行时，可以实现前述图2或图3所示方法的步骤。例如，该计算机存储介质为计算机可读存储介质。
由此可见，本发明实施例中对不满足质量要求的人脸图像进行人脸矫正，并将矫正后的图像加入到底库中完成底库注册，能够在无法获取清晰正面照的情况下进行人脸底库注册，从而能够保证入库图像的质量，并提供了后续对人脸识别的精度。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。
Claims (16)
1.一种人脸图像底库注册的方法，其特征在于，包括：
获取图像，并通过人脸检测判断所述图像中是否存在人脸；
如果所述图像中存在人脸，通过质量判断方法，判断所述图像中的所述人脸是否满足底库注册质量要求；
如果所述人脸满足所述质量要求，则将所述图像加入到底库中；
如果所述人脸不满足所述质量要求，则进行如下处理：若所述人脸的角度大于第一角度阈值或所述人脸的遮挡程度大于第一遮挡阈值，则将所述图像丢弃；否则对所述图像进行人脸矫正，并将所述人脸矫正后的图像加入到所述底库中。
2.如权利要求1所述的方法，其特征在于，所述质量要求包括以下至少一项：
所述人脸的角度小于第二角度阈值，其中，所述第二角度阈值小于所述第一角度阈值；
所述人脸的遮挡程度小于第二遮挡阈值，其中，所述第二遮挡阈值小于所述第一遮挡阈值；
所述人脸的大小大于大小阈值；
所述人脸的模糊程度小于模糊阈值；
所述人脸的表情属于中性表情；
所述人脸的亮度满足预设的光照条件。
3.如权利要求2所述的方法，其特征在于，所述人脸矫正包括以下中的至少一项：
若所述人脸的角度大于或等于所述第二角度阈值且小于或等于所述第一角度阈值，则对所述人脸进行特征点分析，采用人脸对称性以及局部图像特征对所述人脸进行修补，得到修补后的人脸图像；
若所述人脸的遮挡程度大于或等于所述第二遮挡阈值且小于或等于所述第一遮挡阈值，则根据多张不同遮挡条件下的人脸的特征点定位以及人脸的对称性对所述人脸进行修补；
若所述人脸的大小小于或等于所述大小阈值，则采用上采样或超分辨重建方式进行处理；
若所述人脸的模糊程度大于或等于所述模糊阈值，则使用频域或空域图像处理方法进行去模糊处理；
若所述人脸的表情属于非中性表情，则使用三维人脸模型进行表情变换，得到中性表情状态下的人脸图像；
若所述人脸的亮度不满足所述光照条件，则通过频域或空域图像处理方法进行处理。
4.根据权利要求3所述的方法，其特征在于，所述人脸的亮度不满足所述光照条件，包括：
所述人脸的亮度大于第一亮度阈值，或者，所述人脸的亮度小于第二亮度阈值，或者，所述人脸中的最大亮度与最小亮度之差大于差值阈值，
其中，所述第二亮度阈值小于所述第一亮度阈值。
5.根据权利要求1所述的方法，其特征在于，所述人脸的角度是指所述人脸相对于图像采集装置所在平面的角度。
6.根据权利要求1所述的方法，其特征在于，所述质量判断方法是通过对卷积神经网络进行预先训练得到的。
7.根据权利要求1所述的方法，其特征在于，所述获取图像，包括：使用图像获取装置进行抓拍，得到所述图像。
8.一种人脸图像底库注册的装置，其特征在于，包括：
获取模块，用于获取图像；
人脸判断模块，用于通过人脸检测判断所述图像中是否存在人脸；
质量判断模块，用于在所述图像中存在人脸时，通过质量判断方法，判断所述图像中的所述人脸是否满足底库注册质量要求；
处理模块，用于：
如果所述人脸满足所述质量要求，则将所述图像加入到底库中；
如果所述人脸不满足所述质量要求，则进行如下处理：若所述人脸的角度大于第一角度阈值或所述人脸的遮挡程度大于第一遮挡阈值，则将所述图像丢弃；否则对所述图像进行人脸矫正，并将所述人脸矫正后的图像加入到所述底库中。
9.如权利要求8所述的装置，其特征在于，所述质量要求包括以下至少一项：
所述人脸的角度小于第二角度阈值，其中，所述第二角度阈值小于所述第一角度阈值；
所述人脸的遮挡程度小于第二遮挡阈值，其中，所述第二遮挡阈值小于所述第一遮挡阈值；
所述人脸的大小大于大小阈值；
所述人脸的模糊程度小于模糊阈值；
所述人脸的表情属于中性表情；
所述人脸的亮度满足预设的光照条件。
10.如权利要求9所述的装置，其特征在于，所述处理模块具体用于：
若所述人脸的角度大于或等于所述第二角度阈值且小于或等于所述第一角度阈值，则对所述人脸进行特征点分析，采用人脸对称性以及局部图像特征对所述人脸进行修补，得到修补后的人脸图像；
若所述人脸的遮挡程度大于或等于所述第二遮挡阈值且小于或等于所述第一遮挡阈值，则根据多张不同遮挡条件下的人脸的特征点定位以及人脸的对称性对所述人脸进行修补；
若所述人脸的大小小于或等于所述大小阈值，则采用上采样或超分辨重建方式进行处理；
若所述人脸的模糊程度大于或等于所述模糊阈值，则使用频域或空域图像处理方法进行去模糊处理；
若所述人脸的表情属于非中性表情，则使用三维人脸模型进行表情变换，得到中性表情状态下的人脸图像；
若所述人脸的亮度不满足所述光照条件，则通过频域或空域图像处理方法进行处理。
11.根据权利要求10所述的装置，其特征在于，所述人脸的亮度不满足所述光照条件，包括：
所述人脸的亮度大于第一亮度阈值，或者，所述人脸的亮度小于第二亮度阈值，或者，所述人脸中的最大亮度与最小亮度之差大于差值阈值，
其中，所述第二亮度阈值小于所述第一亮度阈值。
12.根据权利要求8所述的装置，其特征在于，所述人脸的角度是指所述人脸相对于图像采集装置所在平面的角度。
13.根据权利要求8所述的装置，其特征在于，所述质量判断方法是通过对卷积神经网络进行预先训练得到的。
14.根据权利要求8所述的装置，其特征在于，所述获取模块，具体用于：使用图像获取装置进行抓拍，得到所述图像。
15.一种人脸图像底库注册的装置，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7中任一项所述方法的步骤。
16.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710465626.3A CN108875471A (zh) | 2017-06-19 | 2017-06-19 | 人脸图像底库注册的方法、装置及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710465626.3A CN108875471A (zh) | 2017-06-19 | 2017-06-19 | 人脸图像底库注册的方法、装置及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108875471A true CN108875471A (zh) | 2018-11-23 |
Family
ID=64319383
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710465626.3A Pending CN108875471A (zh) | 2017-06-19 | 2017-06-19 | 人脸图像底库注册的方法、装置及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108875471A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109727212A (zh) * | 2018-12-24 | 2019-05-07 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| CN110263772A (zh) * | 2019-07-30 | 2019-09-20 | 天津艾思科尔科技有限公司 | 一种基于人脸关键点的人脸特征识别系统 |
| CN110378277A (zh) * | 2019-07-16 | 2019-10-25 | 北京锐安科技有限公司 | 人脸图像识别的方法、装置、设备和存储介质 |
| CN110781473A (zh) * | 2019-10-10 | 2020-02-11 | 浙江大华技术股份有限公司 | 一种人脸图片识别预处理的方法 |
| CN111126147A (zh) * | 2019-11-22 | 2020-05-08 | 北京迈格威科技有限公司 | 图像处理方法、装置和电子系统 |
| CN111353336A (zh) * | 2018-12-21 | 2020-06-30 | 华为技术有限公司 | 图像处理方法、装置及设备 |
| CN111382681A (zh) * | 2020-02-28 | 2020-07-07 | 浙江大华技术股份有限公司 | 一种人脸注册方法、装置及存储介质 |
| CN112446849A (zh) * | 2019-08-13 | 2021-03-05 | 杭州海康威视数字技术股份有限公司 | 一种处理图片的方法及装置 |
| CN112651321A (zh) * | 2020-12-21 | 2021-04-13 | 浙江商汤科技开发有限公司 | 档案处理方法、装置及服务器 |
| CN113435248A (zh) * | 2021-05-18 | 2021-09-24 | 武汉天喻信息产业股份有限公司 | 口罩人脸识别底库增强方法、装置、设备及可读存储介质 |
| CN113628376A (zh) * | 2021-07-19 | 2021-11-09 | 杭州奥声物业有限公司 | 一种基于无接触识别的物业管理系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105389566A (zh) * | 2015-11-13 | 2016-03-09 | 广东欧珀移动通信有限公司 | 指纹识别方法、指纹模板的更新方法、装置和移动终端 |
| CN105631439A (zh) * | 2016-02-18 | 2016-06-01 | 北京旷视科技有限公司 | 人脸图像处理方法和装置 |
| CN105938552A (zh) * | 2016-06-29 | 2016-09-14 | 北京旷视科技有限公司 | 底图自动更新的人脸识别方法及装置 |
| EP3098755A1 (en) * | 2015-05-29 | 2016-11-30 | Accenture Global Services Limited | Local caching for object recognition |
| CN106570436A (zh) * | 2016-11-14 | 2017-04-19 | 三峡大学 | 一种基于二维码的变电站设备抄表系统及其抄表方法 |
-
2017
- 2017-06-19 CN CN201710465626.3A patent/CN108875471A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3098755A1 (en) * | 2015-05-29 | 2016-11-30 | Accenture Global Services Limited | Local caching for object recognition |
| CN105389566A (zh) * | 2015-11-13 | 2016-03-09 | 广东欧珀移动通信有限公司 | 指纹识别方法、指纹模板的更新方法、装置和移动终端 |
| CN105631439A (zh) * | 2016-02-18 | 2016-06-01 | 北京旷视科技有限公司 | 人脸图像处理方法和装置 |
| CN105938552A (zh) * | 2016-06-29 | 2016-09-14 | 北京旷视科技有限公司 | 底图自动更新的人脸识别方法及装置 |
| CN106570436A (zh) * | 2016-11-14 | 2017-04-19 | 三峡大学 | 一种基于二维码的变电站设备抄表系统及其抄表方法 |
Non-Patent Citations (1)
| Title |
|---|
| 徐广辉: "《建立手掌网络数据库相关算法研究》", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111353336A (zh) * | 2018-12-21 | 2020-06-30 | 华为技术有限公司 | 图像处理方法、装置及设备 |
| CN111353336B (zh) * | 2018-12-21 | 2024-04-12 | 华为技术有限公司 | 图像处理方法、装置及设备 |
| CN109727212A (zh) * | 2018-12-24 | 2019-05-07 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| CN110378277A (zh) * | 2019-07-16 | 2019-10-25 | 北京锐安科技有限公司 | 人脸图像识别的方法、装置、设备和存储介质 |
| CN110263772A (zh) * | 2019-07-30 | 2019-09-20 | 天津艾思科尔科技有限公司 | 一种基于人脸关键点的人脸特征识别系统 |
| CN110263772B (zh) * | 2019-07-30 | 2024-05-10 | 天津艾思科尔科技有限公司 | 一种基于人脸关键点的人脸特征识别系统 |
| CN112446849A (zh) * | 2019-08-13 | 2021-03-05 | 杭州海康威视数字技术股份有限公司 | 一种处理图片的方法及装置 |
| CN110781473A (zh) * | 2019-10-10 | 2020-02-11 | 浙江大华技术股份有限公司 | 一种人脸图片识别预处理的方法 |
| CN111126147B (zh) * | 2019-11-22 | 2023-10-24 | 天津极豪科技有限公司 | 图像处理方法、装置和电子系统 |
| CN111126147A (zh) * | 2019-11-22 | 2020-05-08 | 北京迈格威科技有限公司 | 图像处理方法、装置和电子系统 |
| CN111382681A (zh) * | 2020-02-28 | 2020-07-07 | 浙江大华技术股份有限公司 | 一种人脸注册方法、装置及存储介质 |
| CN111382681B (zh) * | 2020-02-28 | 2023-11-14 | 浙江大华技术股份有限公司 | 一种人脸注册方法、装置及存储介质 |
| CN112651321A (zh) * | 2020-12-21 | 2021-04-13 | 浙江商汤科技开发有限公司 | 档案处理方法、装置及服务器 |
| CN113435248A (zh) * | 2021-05-18 | 2021-09-24 | 武汉天喻信息产业股份有限公司 | 口罩人脸识别底库增强方法、装置、设备及可读存储介质 |
| CN113628376A (zh) * | 2021-07-19 | 2021-11-09 | 杭州奥声物业有限公司 | 一种基于无接触识别的物业管理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108875471A (zh) | 人脸图像底库注册的方法、装置及计算机存储介质 | |
| Fernandes et al. | Predicting heart rate variations of deepfake videos using neural ode | |
| CN108038456B (zh) | 一种人脸识别系统中的防欺骗方法 | |
| CN108319953B (zh) | 目标对象的遮挡检测方法及装置、电子设备及存储介质 | |
| US10963676B2 (en) | Image processing method and apparatus | |
| JP6159298B2 (ja) | 複数スケールの規格化された相互相関を用いた、ｈｄｒ画像処理におけるゴーストアーティファクトの検出および除去方法 | |
| CN106251338B (zh) | 目标完整性检测方法及装置 | |
| CN104052905B (zh) | 用于处理图像的方法和设备 | |
| JP5389903B2 (ja) | 最適映像選択 | |
| CN108229331A (zh) | 人脸防伪检测方法和系统、电子设备、程序和介质 | |
| CN108549886A (zh) | 一种人脸活体检测方法及装置 | |
| CN110675336A (zh) | 一种低照度图像增强方法及装置 | |
| CN108351961A (zh) | 图像及特征质量、用于眼部血管及面部识别的图像增强及特征提取及针对生物识别系统融合眼部血管与面部及/或子面部信息 | |
| Aslam | Removal of the Noise & Blurriness using Global & Local Image Enhancement Equalization Techniques | |
| CN110163899A (zh) | 图像匹配方法和图像匹配装置 | |
| CN108875493A (zh) | 人脸识别中相似度阈值的确定方法以及确定装置 | |
| CN109522790A (zh) | 人体属性识别方法、装置、存储介质及电子设备 | |
| CN111008935B (zh) | 一种人脸图像增强方法、装置、系统及存储介质 | |
| CN108875535A (zh) | 图像检测方法、装置和系统及存储介质 | |
| CN107633237A (zh) | 图像背景分割方法、装置、设备及介质 | |
| CN107977650A (zh) | 人脸检测方法及装置 | |
| CN110059666A (zh) | 一种注意力检测方法及装置 | |
| CN108875469A (zh) | 活体检测与身份认证的方法、装置及计算机存储介质 | |
| WO2021180131A1 (zh) | 一种图像处理方法及电子设备 | |
| CN108875470A (zh) | 对访客进行登记的方法、装置及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181123 |