CN108875545B - 确定人脸图像的光线状态的方法、装置、系统和存储介质 - Google Patents

确定人脸图像的光线状态的方法、装置、系统和存储介质 Download PDF

Info

Publication number
CN108875545B
CN108875545B CN201810326164.1A CN201810326164A CN108875545B CN 108875545 B CN108875545 B CN 108875545B CN 201810326164 A CN201810326164 A CN 201810326164A CN 108875545 B CN108875545 B CN 108875545B
Authority
CN
China
Prior art keywords
image
face
image block
determining
light state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810326164.1A
Other languages
English (en)
Other versions
CN108875545A (zh
Inventor
张华翼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN201810326164.1A priority Critical patent/CN108875545B/zh
Publication of CN108875545A publication Critical patent/CN108875545A/zh
Application granted granted Critical
Publication of CN108875545B publication Critical patent/CN108875545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种用于确定人脸图像的光线状态的方法、装置、系统和存储介质,该方法包括:获取人脸图像并将所述人脸图像灰度化得到灰度图像;以及从所述灰度图像截取不同区域的图像块,并基于所述不同区域的图像块的亮度情况确定所述人脸图像的光线状态。根据本发明实施例的用于确定人脸图像的光线状态的方法、装置、系统和存储介质综合人脸图像中不同区域的图像块的亮度情况确定人脸图像的光线状态,可以适应不同肤色、不同光照条件下人脸图像光线状态的判断,提高人脸图像光线状态判断的准确率。

Description

确定人脸图像的光线状态的方法、装置、系统和存储介质
技术领域
本发明涉及人脸识别技术领域,更具体地涉及一种确定人脸图像的光线状态的方法、装置、系统和存储介质。
背景技术
人脸识别被越来越多应用到手机上,例如手机解锁、领养老金、支付认证等。而这一般都需要事先录入一张正面清晰光照正常的底库照片,之后在各个场景都与此照片进行比对来判断是否是同一人。
底库的质量影响了认证的效果,例如如果是在光线很差的情况下录入底库会对未来的识别产生问题,现有的判断底库照片的光线状态的方法一般是将图片转为灰度后取脸上一块区域的平均值,这样无法适用于印度人或黑人等肤色较暗的人种。
发明内容
本发明提出了一种关于用于确定人脸图像的光线状态的方案,其综合人脸图像(例如录入底库的人脸图像)中不同区域的图像块的亮度情况确定人脸图像的光线状态,可以适应不同肤色、不同光照条件下人脸图像光线状态的判断。下面简要描述本发明提出的关于用于确定人脸图像的光线状态的方案,更多细节将在后续结合附图在具体实施方式中加以描述。
根据本发明一方面,提供了一种用于确定人脸图像的光线状态的方法,所述方法包括:获取人脸图像并将所述人脸图像灰度化得到灰度图像;以及从所述灰度图像截取不同区域的图像块,并基于所述不同区域的图像块的亮度情况确定所述人脸图像的光线状态。
在一个实施例中,所述从所述灰度图像截取不同区域的图像块包括:从所述灰度图像截取前景图像块和背景图像块;并且所述基于所述不同区域的图像块的亮度情况确定所述人脸图像的光线状态包括:当所述前景图像块或所述背景图像块的亮度均值在预定亮度范围时,确定所述人脸图像的光线状态为正常状态,否则,基于所述前景图像块的亮度均值确定所述人脸图像的光线状态。
在一个实施例中,所述基于所述前景图像块的亮度均值确定所述人脸图像的光线状态包括:当所述前景图像块的亮度均值小于所述预定亮度范围的最小值时,确定所述人脸图像的光线状态为过暗状态;以及当所述前景图像块的亮度均值大于所述预定亮度范围的最大值时,确定所述人脸图像的光线状态为过曝状态。
在一个实施例中,所述前景图像块包括人脸区域的部分或全部,所述背景图像块包括背景区域的一个或更多个部分。
在一个实施例中,所述方法还包括:在对所述人脸图像进行灰度化之前,对所述人脸图像进行人脸关键点检测以得到人脸关键点;以及基于所述人脸关键点从所述灰度图像截取所述前景图像块和所述背景图像块。
在一个实施例中,所述基于人脸关键点从所述灰度图像截取所述前景图像块和所述背景图像块包括:截取鼻梁及两侧的一块区域作为所述前景图像块;以及截取左耳往外以及右耳往外的两块区域作为所述背景图像块。
在一个实施例中,所述从所述灰度图像截取不同区域的图像块包括:从所述灰度图像的人脸区域内截取第一图像块和第二图像块;并且所述基于所述不同区域的图像块的亮度情况确定所述人脸图像的光线状态包括:计算所述第一图像块和所述第二图像块的直方图的面积的交并比作为第一分数,计算所述第一图像块和所述第二图像块的直方图的平均值之差的归一化值,计算所述归一化值被1相减得到的结果作为第二分数,并计算所述第一分数和所述第二分数的加权平均值作为最终分数以确定所述人脸图像的光线状态。
在一个实施例中,所述方法还包括:将所述最终分数归一化,当经归一化的所述最终分数小于预定阈值时,确定所述人脸图像的光线状态为人脸光照不均匀状态,反之则确定所述人脸图像的光线状态不为人脸光照不均匀状态。
在一个实施例中,所述第一图像块和第二图像块为人脸区域内两个处于对称区域的图像块。
在一个实施例中,所述方法还包括:在对所述人脸图像进行灰度化之前,对所述人脸图像进行人脸关键点检测以得到人脸关键点;以及基于所述人脸关键点从所述灰度图像的人脸区域内截取左眼图像块和右眼图像块以分别作为眼部区域的所述第一图像块和所述第二图像块,截取左鼻侧图像块和右鼻侧图像块以分别作为鼻部区域的所述第一图像块和所述第二图像块,并截取左嘴角图像块和右嘴角图像块以分别作为嘴部区域的所述第一图像块和所述第二图像块,关于各个区域的所述第一图像块和所述第二图像块的所述最终分数的均值用于确定所述人脸图像的光线状态。
根据本发明另一方面,提供了一种用于确定人脸图像的光线状态的装置,所述装置包括:灰度图像转换模块,用于获取人脸图像并将所述人脸图像灰度化得到灰度图像;以及光线状态确定模块,用于从所述灰度转换模块得到的所述灰度图像截取不同区域的图像块,并基于所述不同区域的图像块的亮度情况确定所述人脸图像的光线状态。
在一个实施例中,所述光线状态确定模块进一步包括截取模块、计算模块和判断模块,其中,所述截取模块从所述灰度图像转换模块得到的所述灰度图像截取前景图像块和背景图像块;所述计算模块计算所述截取模块截取的所述前景图像块和所述背景图像块各自的亮度均值;所述判断模块基于所述计算模块计算的所述前景图像块的亮度均值和所述背景图像块的亮度均值判断所述灰度图像转换模块获取的人脸图像的光线状态:当所述前景图像块或所述背景图像块的亮度均值在预定亮度范围时,确定所述人脸图像的光线状态为正常状态,否则,基于所述前景图像块的亮度均值确定所述人脸图像的光线状态。
在一个实施例中,当所述前景图像块的亮度均值小于所述预定亮度范围的最小值时,所述判断模块确定所述人脸图像的光线状态为过暗状态;以及当所述前景图像块的亮度均值大于所述预定亮度范围的最大值时,所述判断模块确定所述人脸图像的光线状态为过曝状态。
在一个实施例中,所述前景图像块包括人脸区域的部分或全部,所述背景图像块包括背景区域的一个或更多个部分。
在一个实施例中,所述装置还包括关键点预测模块,用于在所述灰度图像转换模块对所述人脸图像进行灰度化之前,对所述人脸图像进行人脸关键点检测以得到人脸关键点,并且所述截取模块基于所述关键点预测模块所预测的人脸关键点从所述灰度图像截取所述前景图像块和所述背景图像块。
在一个实施例中,所述截取模块基于所述关键点预测模块所预测的人脸关键点从所述灰度图像截取所述前景图像块和所述背景图像块包括:截取鼻梁及两侧的一块区域作为所述前景图像块;以及截取左耳往外以及右耳往外的两块区域作为所述背景图像块。
在一个实施例中,所述光线状态确定模块进一步包括截取模块、计算模块和判断模块,其中,所述截取模块从所述灰度图像转换模块得到的所述灰度图像的人脸区域内截取第一图像块和第二图像块;所述计算模块计算所述第一图像块和所述第二图像块的直方图的面积的交并比作为第一分数,计算所述第一图像块和所述第二图像块的直方图的平均值之差的归一化值,计算所述归一化值被1相减得到的结果作为第二分数,并计算所述第一分数和所述第二分数的加权平均值作为最终分数;所述判断模块基于所述计算模块所得到的最终分数确定所述人脸图像的光线状态。
在一个实施例中,所述计算模块还用于将所述最终分数归一化,所述判断模块的判断还包括:当经归一化的所述最终分数小于预定阈值时,确定所述人脸图像的光线状态为人脸光照不均匀状态,反之则确定所述人脸图像的光线状态不为人脸光照不均匀状态。
在一个实施例中,所述第一图像块和第二图像块为人脸区域内两个处于对称区域的图像块。
在一个实施例中,所述装置还包括关键点预测模块,用于在所述灰度图像转换模块对所述人脸图像进行灰度化之前,对所述人脸图像进行人脸关键点检测以得到人脸关键点,并且所述截取模块基于所述关键点预测模块所预测的人脸关键点从所述灰度图像的人脸区域内截取左眼图像块和右眼图像块以分别作为眼部区域的所述第一图像块和所述第二图像块,截取左鼻侧图像块和右鼻侧图像块以分别作为鼻部区域的所述第一图像块和所述第二图像块,并截取左嘴角图像块和右嘴角图像块以分别作为嘴部区域的所述第一图像块和所述第二图像块,关于各个区域的所述第一图像块和所述第二图像块的所述最终分数的均值用于确定所述人脸图像的光线状态。
根据本发明又一方面,提供了一种用于确定人脸图像的光线状态的系统,所述系统包括存储装置和处理器,所述存储装置上存储有由所述处理器运行的计算机程序,所述计算机程序在被所述处理器运行时执行上述任一项所述的用于确定人脸图像的光线状态的方法。
根据本发明再一方面,提供了一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序在运行时执行上述任一项所述的用于确定人脸图像的光线状态的方法。
根据本发明实施例的用于确定人脸图像的光线状态的方法、装置、系统和存储介质综合人脸图像中不同区域的图像块的亮度情况确定人脸图像的光线状态,可以适应不同肤色、不同光照条件下人脸图像光线状态的判断,提高人脸图像光线状态判断的准确率。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1示出用于实现根据本发明实施例的用于确定人脸图像的光线状态的方法、装置、系统和存储介质的示例电子设备的示意性框图;
图2示出根据本发明实施例的用于确定人脸图像的光线状态的方法的示意性流程图;
图3示出根据本发明实施例的用于确定人脸图像的光线状态的装置的示意性框图;以及
图4示出根据本发明实施例的用于确定人脸图像的光线状态的系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
首先,参照图1来描述用于实现本发明实施例的用于确定人脸图像的光线状态的方法、装置、系统和存储介质的示例电子设备100。
如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106以及输出装置108,这些组件通过总线系统110和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
示例性地,用于实现根据本发明实施例的用于确定人脸图像的光线状态的方法和装置的示例电子设备可以被实现诸如智能手机、平板电脑等等移动终端。
下面,将参考图2描述根据本发明实施例的用于确定人脸图像的光线状态的方法200。如图2所示,用于确定人脸图像的光线状态的方法200可以包括如下步骤:
在步骤S210,获取人脸图像并将所述人脸图像灰度化得到灰度图像。
在一个实施例中,所获取的人脸图像可以为用户针对某个应用自主拍摄的待上传入底库的人脸图像。在其他实施例中,所获取的人脸图像可以为来自任何源的需要判定其光线状态的人脸图像。示例性地,所获取的人脸图像可以为图片数据、视频数据或其他任何可以获得人脸图像的数据形式。
在一个实施例中,可以将所获取的人脸图像进行灰度化,即将所获取的人脸图像从RGB三通道转换为单通道,从而得到灰度图像,以更好地表现该图像的亮度情况用于对该图像的光线状态(例如正常、过暗、过曝、光照分布不均匀等)的判断。
在步骤S220,从所述灰度图像截取不同区域的图像块,并基于所述不同区域的图像块的亮度情况确定所述人脸图像的光线状态。
在本发明的实施例中,从灰度化的人脸图像中截取不同区域的图像块,该不同区域例如可以是人脸上的多个不同的区域,或者是人脸上以及人脸外的多个不同的区域,总之,相对于仅基于人脸上一块区域的平均亮度值确定人脸图像的光线状态,基于人脸图像中不同区域的图像块的亮度情况确定人脸图像的光线状态具有更高的可靠性和准确度,其能适应于不同肤色人脸图像光线状态的判断,也能检测到其他不当光照条件(例如不均匀光照)下的人脸图像。
例如,对于黑人肤色的人脸图像,如果仅基于人脸上一块区域的平均亮度值,会直接将该人脸图像的光线状态确定为是过暗状态,但实际上其可能是正常光照的状态。相比之下,基于本发明的实施例,从该黑人图像从截取不同区域的图像块,例如脸上某区域的图像块以及背景部分某区域的图像块,如果截取的背景部分的图像块的亮度正常,则可以表示该黑人图像的光线状态是正常而非过暗的。
此外,在某些场景下,人脸图像可能不是简单的过暗或过曝,而是光照不均匀,例如因为光照角度的问题,人脸图像中人脸的不同区域可能处于不同的光照情况,从而导致人脸的一部分过暗、另一个部分过亮(俗称的阴阳脸)而无法用于后续的识别。在这种情况下,基于人脸图像中不同区域(例如截取人脸区域内的不同区域)的图像块的亮度情况确定人脸图像的光线状态可判断人脸图像中人脸上的光照分布不均匀的情况。
下面结合具体实施例详细描述步骤S220的操作。
在一个实施例中,在步骤S220可以进一步包括:从所述灰度图像截取前景图像块和背景图像块;当所述前景图像块或所述背景图像块的亮度均值在预定亮度范围时,确定所述人脸图像的光线状态为正常状态,否则,基于所述前景图像块的亮度均值确定所述人脸图像的光线状态。
在该实施例中,从灰度图像中所截取的不同区域包括前景图像块和背景图像块。示例地,前景图像块可以包括人脸区域的部分或全部。例如,前景图像块可以为整个人脸区域部分,此时从灰度图像中将人脸区域定位并截取出即可。再如,前景图像块可以仅包括人脸某部位(例如眼睛、鼻子、嘴巴等)的区域,此时可以对所获取的人脸图像进行人脸关键点预测(例如采用深度学习模型),然后基于所预测的人脸关键点(例如眼睛、鼻子、嘴巴等)从灰度化后得到的灰度图像中截取前景图像块。示例性地,在截取人脸某部分的区域作为前景图像块时,可以截取不易出现遮挡的区域(例如鼻梁及两侧的一块区域)以提高后续运算的可靠性。示例地,背景图像块可以包括背景区域(即人脸区域以外的区域)的一个或更多个部分。截取包括背景区域的多个部分的背景图像块可以避免出现单一部分背景区域相对于其他背景区域较为异常从而不具代表性的问题,提高后续运算的可靠性。在一个示例中,可以基于所预测的人脸关键点截取图像中人脸的左耳往外以及右耳往外的两块区域作为背景图像块。
继续描述该实施例,可以分别计算所截取的前景图像块和背景图像块的亮度均值,例如可以分别计算前景图像块和背景图像块各自区域内像素值的平均值分别作为前景图像块的亮度均值和背景图像块的亮度均值。然后,可以将前景图像块的亮度均值和背景图像块的亮度均值分别与根据需要预先设定的预定亮度范围进行比较,如果前景图像块的亮度均值处于该预定亮度范围内,或者背景图像块的亮度均值处于该预定亮度范围内,则可以确定步骤S210所获取的人脸图像的光线状态为正常状态(即光照正常);反之,如果前景图像块的亮度均值和背景图像块的亮度均值均不在预定亮度范围内,则可以基于前景图像块的亮度均值确定步骤S210所获取的人脸图像的光线状态。
具体地,如果前景图像块的亮度均值小于所述预定亮度范围的最小值(即前景亮度块过暗),则可以确定步骤S210所获取的人脸图像的光线状态为过暗状态;如果前景图像块的亮度均值大于所述预定亮度范围的最大值(即前景亮度块过亮),则可以确定步骤S210所获取的人脸图像的光线状态为过曝状态。示例性地,所述预定亮度范围的最小值的范围可以为50~70,所述预定亮度范围的最大值的范围可以为210~230。示例性地,所述预定亮度范围为60~220。
在该实施例中,基于图像的前景和背景部分的光照情况确定图像的整体光线状态,可以适应不同肤色人脸图像光线状态的判断。
在另一个实施例中,在步骤S220可以进一步包括:从所述灰度图像的人脸区域内截取第一图像块和第二图像块;计算所述第一图像块和所述第二图像块的直方图的面积的交并比作为第一分数,计算所述第一图像块和所述第二图像块的直方图的平均值之差的归一化值,计算所述归一化值被1相减得到的结果作为第二分数,并计算所述第一分数和所述第二分数的加权平均值作为最终分数以确定所述人脸图像的光线状态。该实施例可以作为上一实施例的附加功能实现。上一实施例也可以作为该实施例的附加功能实现。
在该实施例中,从灰度图像中所截取的不同区域包括人脸区域内的不同区域,分别称为第一图像块和第二图像块。示例性地,第一图像块和第二图像块可以为人脸区域内两个处于对称区域的图像块。例如,可以在对所获取的人脸图像进行灰度化之前,对该人脸图像进行人脸关键点检测以得到人脸关键点,并基于人脸关键点从灰度图像中截取人脸关键点部位的图像块。例如,截取眼部、鼻部、嘴部图像块等。示例性地,可以截取左眼图像块作为所述第一图像块,相应地,可以截取右眼图像块作为所述第二图像块,左眼图像块和右眼图像块可分别称为眼部区域的第一图像块和第二图像块。再如,可以截取左鼻侧图像块作为所述第一图像块,相应地,可以截取右鼻侧图像块作为所述第二图像块,左鼻侧图像块和右鼻侧图像块可分别称为鼻部区域的第一图像块和第二图像块。又如,可以截取左嘴角图像块作为所述第一图像块,相应地,可以截取右嘴角图像块作为所述第二图像块,左嘴角图像块和右嘴角图像块可分别称为嘴部区域的第一图像块和第二图像块。进一步地,可计算不同区域(即上述眼部区域、鼻部区域以及嘴部区域)中每一区域的第一图像块和第二图像块的直方图情况,以计算每一区域的最终分数,然后各个区域的最终分数的均值可用于确定人脸图像的光线状态。在其他示例中,所述第一图像块可以为包括眼睛、鼻子的上侧图像块,所述第二图像块可以为包括嘴巴、下巴的下侧图像块。在其他示例中,第一图像块和第二图像块也可以为任何其他的处于人脸区域中不同位置处的图像块。
继续描述该实施例,可以分别计算所截取的第一图像块和第二图像块的直方图(例如灰度直方图)。例如,直方图的横轴可以表示不同的亮度值,直方图的纵轴可以表示每个亮度值下像素的个数。基于所得到的直方图,可以计算第一图像块的直方图和第二图像块的直方图这两者的面积的交并比(IOU)作为第一分数,以用于衡量第一图像块和第二图像块这两者各自的亮度分布的方差的差异。此外,可以计算第一图像块的直方图和第二图像块的直方图这两者的平均值之差(即第一图像块的直方图的波峰与第二图像块的直方图的波峰的差值),以用于衡量第一图像块和第二图像块这两者各自的亮度分布的均值的差异。接着,为了保证前述的交并比和前述的平均值之差这两者具有一致的单调性,可对第一图像块的直方图和第二图像块的直方图的平均值之差做归一化处理得到归一化值,并将1减去该归一化值得到的结果作为第二分数。最后,可以通过将所得到的第一分数和第二分数进行加权平均得到最终分数,进一步地,可将该最终分数进行归一化以判断步骤S210所获取的人脸图像的光线状态。
此处,可以根据实际需要分别为第一分数和第二分数分配适当的权重,例如当第一图像块的直方图和第二图像块的直方图这两者的面积的交并比很小时,可以适当对第一分数分配较大的权重。示例性地,第一分数的权重的取值范围可以为1~10,第二分数的权重的取值范围可以为0~1。示例性地,第一分数的权重可以为4,第二分数的权重可以为0.9。最后,可以将经归一化的最终分数与根据需要预先设定的预定阈值进行比较,如果将经归一化的最终分数小于预定阈值,可以确定步骤S210所获取的人脸图像的光线状态为人脸光照不均匀状态,反之则可以确定步骤S210所获取的人脸图像的光线状态不为人脸光照不均匀状态。示例性地,该预定阈值可以为0.5。
在该实施例中,基于图像的人脸区域的不同部分的光照情况确定图像的整体光线状态,可以检测到不均匀光照下的人脸图像。此外,基于不同区域图像块的直方图面积的交并比及直方图平均值之差判断图像的光线状态使得处理非常速度且准确。
在其他实施例中,还可以截取图像的其他的不同区域的图像块,并基于它们的光照情况确定图像的整体光线状态。
基于上面的描述,根据本发明实施例的用于确定人脸图像的光线状态的方法综合人脸图像中不同区域的图像块的亮度情况确定人脸图像的光线状态,可以适应不同肤色、不同光照条件下人脸图像光线状态的判断,提高人脸图像光线状态判断的准确率。
基于对人脸图像(例如用户自行拍摄的待传入底库的人脸图像)的光线状态的准确判断,可以在该人脸图像光线状态不合格(例如过暗、过曝、阴阳脸等)时向用户发出合适的提示,提醒用户重新拍摄合格的人脸图像上传到底库,从而提高后续应用的准确和安全性。
以上示例性地描述了根据本发明实施例的用于确定人脸图像的光线状态的方法。示例性地,根据本发明实施例的用于确定人脸图像的光线状态的方法可以在具有存储器和处理器的设备、装置或者系统中实现。
此外,根据本发明实施例的用于确定人脸图像的光线状态的方法可以方便地部署到智能手机、平板电脑、个人计算机等移动设备上。替代地,根据本发明实施例的用于确定人脸图像的光线状态的方法还可以部署在服务器端(或云端)。替代地,根据本发明实施例的用于确定人脸图像的光线状态的方法还可以分布地部署在服务器端(或云端)和个人终端处。
下面结合图3描述本发明另一方面提供的用于确定人脸图像的光线状态的装置。图3示出了根据本发明实施例的用于确定人脸图像的光线状态的装置300的示意性框图。
如图3所示,根据本发明实施例的用于确定人脸图像的光线状态的装置300包括灰度图像转换模块310和光线状态确定模块320。所述各个模块可分别执行上文中结合图2描述的用于确定人脸图像的光线状态的方法的各个步骤/功能。以下仅对用于确定人脸图像的光线状态的装置300的各模块的主要功能进行描述,而省略以上已经描述过的细节内容。
灰度图像转换模块310用于获取人脸图像并将所述人脸图像灰度化得到灰度图像。光线状态确定模块320用于从所述灰度转换模块得到的所述灰度图像截取不同区域的图像块,并基于所述不同区域的图像块的亮度情况确定所述人脸图像的光线状态。灰度图像转换模块310和光线状态确定模块320均可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
在一个实施例中,灰度图像转换模块310所获取的人脸图像可以为用户针对某个应用自主拍摄的待上传入底库的人脸图像。在其他实施例中,灰度图像转换模块310所获取的人脸图像可以为来自任何源的需要判定其光线状态的人脸图像。示例性地,灰度图像转换模块310所获取的人脸图像可以为图片数据、视频数据或其他任何可以获得人脸图像的数据形式。
在一个实施例中,灰度图像转换模块310可以将所获取的人脸图像进行灰度化,即将所获取的人脸图像从RGB三通道转换为单通道,从而得到灰度图像,以更好地表现该图像的亮度情况用于对该图像的光线状态(例如正常、过暗、过曝、光照分布不均匀等)的判断。
在本发明的实施例中,光线状态确定模块320从灰度图像转换模块310得到的灰度化的人脸图像中截取不同区域的图像块,该不同区域例如可以是人脸上的多个不同的区域,或者是人脸上以及人脸外的多个不同的区域,总之,相对于仅基于人脸上一块区域的平均亮度值确定人脸图像的光线状态,基于人脸图像中不同区域的图像块的亮度情况确定人脸图像的光线状态具有更高的可靠性和准确度,其能适应于不同肤色人脸图像光线状态的判断,也能检测到其他不当光照条件(例如不均匀光照)下的人脸图像。
例如,对于黑人肤色的人脸图像,如果仅基于人脸上一块区域的平均亮度值,会直接将该人脸图像的光线状态确定为是过暗状态,但实际上其可能是正常光照的状态。相比之下,基于本发明的实施例,光线状态确定模块320从该黑人图像从截取不同区域的图像块,例如脸上某区域的图像块以及背景部分某区域的图像块,如果截取的背景部分的图像块的亮度正常,则可以表示该黑人图像的光线状态是正常而非过暗的。
此外,在某些场景下,人脸图像可能不是简单的过暗或过曝,而是光照不均匀,例如因为光照角度的问题,人脸图像中人脸的不同区域可能处于不同的光照情况,从而导致人脸的一部分过暗、另一个部分过亮(俗称的阴阳脸)而无法用于后续的识别。在这种情况下,光线状态确定模块320基于人脸图像中不同区域(例如截取人脸区域内的不同区域)的图像块的亮度情况确定人脸图像的光线状态可判断人脸图像中人脸上的光照分布不均匀的情况。
下面结合具体实施例详细描述光线状态确定模块320的操作。
在一个实施例中,光线状态确定模块320可以进一步包括截取模块(未在图3中示出)、计算模块(未在图3中示出)以及判断模块(未在图3中示出)。其中,截取模块从灰度图像转换模块310得到的灰度图像截取前景图像块和背景图像块;计算模块计算截取模块截取的前景图像块和背景图像块各自的亮度均值;判断模块基于计算模块的计算结果判断灰度图像转换模块310获取的人脸图像的光线状态:当所述前景图像块或所述背景图像块的亮度均值在预定亮度范围时,确定所述人脸图像的光线状态为正常状态,否则,基于所述前景图像块的亮度均值确定所述人脸图像的光线状态。
在该实施例中,截取模块从灰度图像中所截取的不同区域包括前景图像块和背景图像块。示例地,前景图像块可以包括人脸区域的部分或全部。例如,前景图像块可以为整个人脸区域部分,此时从灰度图像中将人脸区域定位并截取出即可。再如,前景图像块可以仅包括人脸某部位(例如眼睛、鼻子、嘴巴等)的区域,此时装置300可以进一步包括关键点预测模块(未在图3中示出),其例如可以采用深度学习模型在灰度图像转换模块310对获取的人脸图像进行灰度化之前对该人脸图像进行人脸关键点预测,然后截取模块基于关键点预测模块所预测的人脸关键点(例如眼睛、鼻子、嘴巴等)从灰度图像转换模块310进行灰度化后得到的灰度图像中截取前景图像块。示例性地,在截取人脸某部分的区域作为前景图像块时,截取模块可以截取不易出现遮挡的区域(例如鼻梁及两侧的一块区域)以提高后续运算的可靠性。示例地,背景图像块可以包括背景区域(即人脸区域以外的区域)的一个或更多个部分。截取包括背景区域的多个部分的背景图像块可以避免出现单一部分背景区域相对于其他背景区域较为异常从而不具代表性的问题,提高后续运算的可靠性。在一个示例中,截取模块可以基于关键点预测模块所预测的人脸关键点截取图像中人脸的左耳往外以及右耳往外的两块区域作为背景图像块。
继续描述该实施例,计算模块可以分别计算所截取的前景图像块和背景图像块的亮度均值,例如可以分别计算前景图像块和背景图像块各自区域内像素值的平均值分别作为前景图像块的亮度均值和背景图像块的亮度均值。然后,判断模块可以将前景图像块的亮度均值和背景图像块的亮度均值分别与根据需要预先设定的预定亮度范围进行比较,如果前景图像块的亮度均值处于该预定亮度范围内,或者背景图像块的亮度均值处于该预定亮度范围内,则可以确定灰度图像转换模块310所获取的人脸图像的光线状态为正常状态(即光照正常);反之,如果前景图像块的亮度均值和背景图像块的亮度均值均不在预定亮度范围内,则判断模块可以基于前景图像块的亮度均值确定灰度图像转换模块310所获取的人脸图像的光线状态。
具体地,如果前景图像块的亮度均值小于所述预定亮度范围的最小值(即前景亮度块过暗),则判断模块可以确定灰度图像转换模块310所获取的人脸图像的光线状态为过暗状态;如果前景图像块的亮度均值大于所述预定亮度范围的最大值(即前景亮度块过亮),则判断模块可以确定灰度图像转换模块310所获取的人脸图像的光线状态为过曝状态。示例性地,所述预定亮度范围的最小值的范围可以为50~70,所述预定亮度范围的最大值的范围可以为210~230。示例性地,所述预定亮度范围为60~220。
在该实施例中,光线状态确定模块320基于图像的前景和背景部分的光照情况确定图像的整体光线状态,可以适应不同肤色人脸图像光线状态的判断。
在另一个实施例中,光线状态确定模块320可以进一步包括截取模块(未在图3中示出)、计算模块(未在图3中示出)以及判断模块(未在图3中示出)。其中,截取模块从灰度图像转换模块310得到的灰度图像的人脸区域内截取第一图像块和第二图像块;计算模块计算所述第一图像块和所述第二图像块的直方图的面积的交并比作为第一分数,计算所述第一图像块和所述第二图像块的直方图的平均值之差的归一化值,计算所述归一化值被1相减得到的结果作为第二分数,并计算所述第一分数和所述第二分数的加权平均值作为最终分数;判断模块基于所述计算模块得到的最终分数确定所述人脸图像的光线状态。该实施例可以作为上一实施例的附加功能实现。上一实施例也可以作为该实施例的附加功能实现。
在该实施例中,截取模块从灰度图像转换模块310得到的灰度图像中所截取的不同区域包括人脸区域内的不同区域,分别称为第一图像块和第二图像块。示例性地,第一图像块和第二图像块可以为人脸区域内两个处于对称区域的图像块。例如,装置300还可以包括关键点预测模块(未在图3中示出),其例如可以采用深度学习模型在灰度图像转换模块310对获取的人脸图像进行灰度化之前对该人脸图像进行人脸关键点预测,然后截取模块基于关键点预测模块所预测的人脸关键点(例如眼睛、鼻子、嘴巴等)从灰度图像转换模块310进行灰度化后得到的灰度图像中截取人脸关键点部位的图像块。例如,截取眼部、鼻部、嘴部图像块等。示例性地,截取模块可以截取左眼图像块作为所述第一图像块,相应地,截取模块可以截取右眼图像块作为所述第二图像块,左眼图像块和右眼图像块可分别称为眼部区域的第一图像块和第二图像块。再如,截取模块可以截取左鼻侧图像块作为所述第一图像块,相应地,截取模块可以截取右鼻侧图像块作为所述第二图像块,左鼻侧图像块和右鼻侧图像块可分别称为鼻部区域的第一图像块和第二图像块。又如,截取模块可以截取左嘴角图像块作为所述第一图像块,相应地,截取模块可以截取右嘴角图像块作为所述第二图像块,左嘴角图像块和右嘴角图像块可分别称为嘴部区域的第一图像块和第二图像块。进一步地,计算模块可计算不同区域(即上述眼部区域、鼻部区域以及嘴部区域)中每一区域的第一图像块和第二图像块的直方图情况,以计算每一区域的最终分数,然后各个区域的最终分数的均值可用于由判断模块确定人脸图像的光线状态。在其他示例中,所述第一图像块可以为包括眼睛、鼻子的上侧图像块,所述第二图像块可以为包括嘴巴、下巴的下侧图像块。在其他示例中,第一图像块和第二图像块也可以为任何其他的处于人脸区域中不同位置处的图像块。
继续描述该实施例,计算模块可以分别计算所截取的第一图像块和第二图像块的直方图(例如灰度直方图)。例如,直方图的横轴可以表示不同的亮度值,直方图的纵轴可以表示每个亮度值下像素的个数。基于所得到的直方图,计算模块可以计算第一图像块的直方图和第二图像块的直方图这两者的面积的交并比(IOU)作为第一分数,以用于衡量第一图像块和第二图像块这两者各自的亮度分布的方差的差异。此外,计算模块可以计算第一图像块的直方图和第二图像块的直方图这两者的平均值之差(即第一图像块的直方图的波峰与第二图像块的直方图的波峰的差值),以用于衡量第一图像块和第二图像块这两者各自的亮度分布的均值的差异。接着,为了保证前述的交并比和前述的平均值之差这两者具有一致的单调性,计算模块可对第一图像块的直方图和第二图像块的直方图的平均值之差做归一化处理得到归一化值,并将1减去该归一化值得到的结果作为第二分数。最后,计算模块可以通过将所得到的第一分数和第二分数进行加权平均得到最终分数,进一步地,计算模块可将该最终分数进行归一化以由判断模块判断灰度图像转换模块310所获取的人脸图像的光线状态。
此处,可以根据实际需要分别为第一分数和第二分数分配适当的权重,例如当第一图像块的直方图和第二图像块的直方图这两者的面积的交并比很小时,可以适当对第一分数分配较大的权重。示例性地,第一分数的权重的取值范围可以为1~10,第二分数的权重的取值范围可以为0~1。示例性地,第一分数的权重可以为4,第二分数的权重可以为0.9。最后,判断模块可以将经归一化的最终分数与根据需要预先设定的预定阈值进行比较,如果将经归一化的最终分数小于预定阈值,可以确定灰度图像转换模块310所获取的人脸图像的光线状态为人脸光照不均匀状态,反之则可以确定灰度图像转换模块310所获取的人脸图像的光线状态不为人脸光照不均匀状态。示例性地,该预定阈值可以为0.5。
在该实施例中,光线状态确定模块320基于图像的人脸区域的不同部分的光照情况确定图像的整体光线状态,可以检测到不均匀光照下的人脸图像。此外,光线状态确定模块320基于不同区域图像块的直方图面积的交并比及直方图平均值之差判断图像的光线状态使得处理非常速度且准确。
在其他实施例中,光线状态确定模块320还可以截取图像的其他的不同区域的图像块,并基于它们的光照情况确定图像的整体光线状态。
基于上面的描述,根据本发明实施例的用于确定人脸图像的光线状态的装置综合人脸图像中不同区域的图像块的亮度情况确定人脸图像的光线状态,可以适应不同肤色、不同光照条件下人脸图像光线状态的判断,提高人脸图像光线状态判断的准确率。
图4示出了根据本发明实施例的用于确定人脸图像的光线状态的系统400的示意性框图。用于确定人脸图像的光线状态的系统400包括存储装置410以及处理器420。
其中,存储装置410存储用于实现根据本发明实施例的用于确定人脸图像的光线状态的方法中的相应步骤的程序代码。处理器420用于运行存储装置410中存储的程序代码,以执行根据本发明实施例的用于确定人脸图像的光线状态的方法的相应步骤,并且用于实现根据本发明实施例的用于确定人脸图像的光线状态的装置中的相应模块。
在一个实施例中,在所述程序代码被处理器420运行时使得用于确定人脸图像的光线状态的系统400执行以下步骤:获取人脸图像并将所述人脸图像灰度化得到灰度图像;以及从所述灰度图像截取不同区域的图像块,并基于所述不同区域的图像块的亮度情况确定所述人脸图像的光线状态。
在一个实施例中,在所述程序代码被处理器420运行时使得用于确定人脸图像的光线状态的系统400执行的所述从所述灰度图像截取不同区域的图像块包括:从所述灰度图像截取前景图像块和背景图像块;并且在所述程序代码被处理器420运行时使得用于确定人脸图像的光线状态的系统400执行的所述基于所述不同区域的图像块的亮度情况确定所述人脸图像的光线状态包括:当所述前景图像块或所述背景图像块的亮度均值在预定亮度范围时,确定所述人脸图像的光线状态为正常状态,否则,基于所述前景图像块的亮度均值确定所述人脸图像的光线状态。
在一个实施例中,在所述程序代码被处理器420运行时使得用于确定人脸图像的光线状态的系统400执行的所述基于所述前景图像块的亮度均值确定所述人脸图像的光线状态包括:当所述前景图像块的亮度均值小于所述预定亮度范围的最小值时,确定所述人脸图像的光线状态为过暗状态;以及当所述前景图像块的亮度均值大于所述预定亮度范围的最大值时,确定所述人脸图像的光线状态为过曝状态。
在一个实施例中,所述前景图像块包括人脸区域的部分或全部,所述背景图像块包括背景区域的一个或更多个部分。
在一个实施例中,在所述程序代码被处理器420运行时还使得用于确定人脸图像的光线状态的系统400执行以下步骤:在对所述人脸图像进行灰度化之前,对所述人脸图像进行人脸关键点检测以得到人脸关键点;以及基于所述人脸关键点从所述灰度图像截取所述前景图像块和所述背景图像块。
在一个实施例中,在所述程序代码被处理器420运行时使得用于确定人脸图像的光线状态的系统400执行的所述基于人脸关键点从所述灰度图像截取所述前景图像块和所述背景图像块包括:截取鼻梁及两侧的一块区域作为所述前景图像块;以及截取左耳往外以及右耳往外的两块区域作为所述背景图像块。
在一个实施例中,在所述程序代码被处理器420运行时使得用于确定人脸图像的光线状态的系统400执行的所述从所述灰度图像截取不同区域的图像块包括:从所述灰度图像的人脸区域内截取第一图像块和第二图像块;并且在所述程序代码被处理器420运行时使得用于确定人脸图像的光线状态的系统400执行的所述基于所述不同区域的图像块的亮度情况确定所述人脸图像的光线状态包括:计算所述第一图像块和所述第二图像块的直方图的面积的交并比作为第一分数,计算所述第一图像块和所述第二图像块的直方图的平均值之差的归一化值,计算所述归一化值被1相减得到的结果作为第二分数,并计算所述第一分数和所述第二分数的加权平均值作为最终分数以确定所述人脸图像的光线状态。
在一个实施例中,在所述程序代码被处理器420运行时还使得用于确定人脸图像的光线状态的系统400执行以下步骤:将所述最终分数归一化,当经归一化的所述最终分数小于预定阈值时,确定所述人脸图像的光线状态为人脸光照不均匀状态,反之则确定所述人脸图像的光线状态不为人脸光照不均匀状态。
在一个实施例中,所述第一图像块和第二图像块为人脸区域内两个处于对称区域的图像块。
在一个实施例中,在所述程序代码被处理器420运行时还使得用于确定人脸图像的光线状态的系统400执行以下步骤:在对所述人脸图像进行灰度化之前,对所述人脸图像进行人脸关键点检测以得到人脸关键点;以及基于所述人脸关键点从所述灰度图像的人脸区域内截取左眼图像块和右眼图像块以分别作为眼部区域的所述第一图像块和所述第二图像块,截取左鼻侧图像块和右鼻侧图像块以分别作为鼻部区域的所述第一图像块和所述第二图像块,并截取左嘴角图像块和右嘴角图像块以分别作为嘴部区域的所述第一图像块和所述第二图像块,关于各个区域的所述第一图像块和所述第二图像块的所述最终分数的均值用于确定所述人脸图像的光线状态。
此外,根据本发明实施例,还提供了一种存储介质,在所述存储介质上存储了程序指令,在所述程序指令被计算机或处理器运行时用于执行本发明实施例的用于确定人脸图像的光线状态的方法的相应步骤,并且用于实现根据本发明实施例的用于确定人脸图像的光线状态的装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
在一个实施例中,所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的用于确定人脸图像的光线状态的装置的各个功能模块,并且/或者可以执行根据本发明实施例的用于确定人脸图像的光线状态的方法。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行以下步骤:获取人脸图像并将所述人脸图像灰度化得到灰度图像;以及从所述灰度图像截取不同区域的图像块,并基于所述不同区域的图像块的亮度情况确定所述人脸图像的光线状态。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述从所述灰度图像截取不同区域的图像块包括:从所述灰度图像截取前景图像块和背景图像块;并且所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述基于所述不同区域的图像块的亮度情况确定所述人脸图像的光线状态包括:当所述前景图像块或所述背景图像块的亮度均值在预定亮度范围时,确定所述人脸图像的光线状态为正常状态,否则,基于所述前景图像块的亮度均值确定所述人脸图像的光线状态。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述基于所述前景图像块的亮度均值确定所述人脸图像的光线状态包括:当所述前景图像块的亮度均值小于所述预定亮度范围的最小值时,确定所述人脸图像的光线状态为过暗状态;以及当所述前景图像块的亮度均值大于所述预定亮度范围的最大值时,确定所述人脸图像的光线状态为过曝状态。
在一个实施例中,所述前景图像块包括人脸区域的部分或全部,所述背景图像块包括背景区域的一个或更多个部分。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时还使计算机或处理器执行以下步骤:在对所述人脸图像进行灰度化之前,对所述人脸图像进行人脸关键点检测以得到人脸关键点;以及基于所述人脸关键点从所述灰度图像截取所述前景图像块和所述背景图像块。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述基于人脸关键点从所述灰度图像截取所述前景图像块和所述背景图像块包括:截取鼻梁及两侧的一块区域作为所述前景图像块;以及截取左耳往外以及右耳往外的两块区域作为所述背景图像块。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述从所述灰度图像截取不同区域的图像块包括:从所述灰度图像的人脸区域内截取第一图像块和第二图像块;并且所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述基于所述不同区域的图像块的亮度情况确定所述人脸图像的光线状态包括:计算所述第一图像块和所述第二图像块的直方图的面积的交并比作为第一分数,计算所述第一图像块和所述第二图像块的直方图的平均值之差的归一化值,计算所述归一化值被1相减得到的结果作为第二分数,并计算所述第一分数和所述第二分数的加权平均值作为最终分数以确定所述人脸图像的光线状态。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时还使计算机或处理器执行以下步骤:将所述最终分数归一化,当经归一化的所述最终分数小于预定阈值时,确定所述人脸图像的光线状态为人脸光照不均匀状态,反之则确定所述人脸图像的光线状态不为人脸光照不均匀状态。
在一个实施例中,所述第一图像块和第二图像块为人脸区域内两个处于对称区域的图像块。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时还使计算机或处理器执行以下步骤:在对所述人脸图像进行灰度化之前,对所述人脸图像进行人脸关键点检测以得到人脸关键点;以及基于所述人脸关键点从所述灰度图像的人脸区域内截取左眼图像块和右眼图像块以分别作为眼部区域的所述第一图像块和所述第二图像块,截取左鼻侧图像块和右鼻侧图像块以分别作为鼻部区域的所述第一图像块和所述第二图像块,并截取左嘴角图像块和右嘴角图像块以分别作为嘴部区域的所述第一图像块和所述第二图像块,关于各个区域的所述第一图像块和所述第二图像块的所述最终分数的均值用于确定所述人脸图像的光线状态。
根据本发明实施例的用于确定人脸图像的光线状态的装置中的各模块可以通过根据本发明实施例的用于确定人脸图像的光线状态的电子设备的处理器运行在存储器中存储的计算机程序指令来实现,或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
根据本发明实施例的用于确定人脸图像的光线状态的方法、装置、系统和存储介质综合人脸图像中不同区域的图像块的亮度情况确定人脸图像的光线状态,可以适应不同肤色、不同光照条件下人脸图像光线状态的判断,提高人脸图像光线状态判断的准确率。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种用于确定人脸图像的光线状态的方法,其特征在于,所述方法包括:
获取人脸图像并将所述人脸图像灰度化得到灰度图像;以及
从所述灰度图像截取不同区域的图像块,并基于所述不同区域的图像块的亮度情况确定所述人脸图像的光线状态;
其中,所述从所述灰度图像截取不同区域的图像块包括:从所述灰度图像截取前景图像块和背景图像块;并且
所述基于所述不同区域的图像块的亮度情况确定所述人脸图像的光线状态包括:当所述前景图像块或所述背景图像块的亮度均值在预定亮度范围时,确定所述人脸图像的光线状态为正常状态;当所述前景图像块的亮度均值和所述背景图像块的亮度均值均不在所述预定亮度范围内时,基于所述前景图像块的亮度均值确定所述人脸图像的光线状态。
2.根据权利要求1所述的方法,其特征在于,所述基于所述前景图像块的亮度均值确定所述人脸图像的光线状态包括:
当所述前景图像块的亮度均值小于所述预定亮度范围的最小值时,确定所述人脸图像的光线状态为过暗状态;以及
当所述前景图像块的亮度均值大于所述预定亮度范围的最大值时,确定所述人脸图像的光线状态为过曝状态。
3.根据权利要求1所述的方法,其特征在于,所述前景图像块包括人脸区域的部分或全部,所述背景图像块包括背景区域的一个或多个部分。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在对所述人脸图像进行灰度化之前,对所述人脸图像进行人脸关键点检测以得到人脸关键点;以及
基于所述人脸关键点从所述灰度图像截取所述前景图像块和所述背景图像块。
5.根据权利要求4所述的方法,其特征在于,所述基于人脸关键点从所述灰度图像截取所述前景图像块和所述背景图像块包括:
截取鼻梁及两侧的一块区域作为所述前景图像块;以及
截取左耳往外以及右耳往外的两块区域作为所述背景图像块。
6.根据权利要求1所述的方法,其特征在于,
所述从所述灰度图像截取不同区域的图像块还包括:从所述灰度图像的人脸区域内截取第一图像块和第二图像块;并且
所述基于所述不同区域的图像块的亮度情况确定所述人脸图像的光线状态还包括:计算所述第一图像块和所述第二图像块的直方图的面积的交并比作为第一分数,计算所述第一图像块和所述第二图像块的直方图的平均值之差的归一化值,计算所述归一化值被1相减得到的结果作为第二分数,并计算所述第一分数和所述第二分数的加权平均值作为最终分数以确定所述人脸图像的光线状态。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
将所述最终分数归一化,当经归一化的所述最终分数小于预定阈值时,确定所述人脸图像的光线状态为人脸光照不均匀状态,反之则确定所述人脸图像的光线状态不为人脸光照不均匀状态。
8.根据权利要求6所述的方法,其特征在于,所述第一图像块和第二图像块为人脸区域内两个处于对称区域的图像块。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
在对所述人脸图像进行灰度化之前,对所述人脸图像进行人脸关键点检测以得到人脸关键点;以及
基于所述人脸关键点从所述灰度图像的人脸区域内截取左眼图像块和右眼图像块以分别作为眼部区域的所述第一图像块和所述第二图像块,截取左鼻侧图像块和右鼻侧图像块以分别作为鼻部区域的所述第一图像块和所述第二图像块,并截取左嘴角图像块和右嘴角图像块以分别作为嘴部区域的所述第一图像块和所述第二图像块,关于各个区域的所述第一图像块和所述第二图像块的所述最终分数的均值用于确定所述人脸图像的光线状态。
10.一种用于确定人脸图像的光线状态的装置,其特征在于,所述装置包括:
灰度图像转换模块,用于获取人脸图像并将所述人脸图像灰度化得到灰度图像;以及
光线状态确定模块,用于从所述灰度转换模块得到的所述灰度图像截取不同区域的图像块,并基于所述不同区域的图像块的亮度情况确定所述人脸图像的光线状态;
其中,所述光线状态确定模块从所述灰度图像截取不同区域的图像块包括:从所述灰度图像截取前景图像块和背景图像块;并且
所述基于所述不同区域的图像块的亮度情况确定所述人脸图像的光线状态包括:当所述前景图像块或所述背景图像块的亮度均值在预定亮度范围时,确定所述人脸图像的光线状态为正常状态;当所述前景图像块的亮度均值和所述背景图像块的亮度均值均不在所述预定亮度范围内时,基于所述前景图像块的亮度均值确定所述人脸图像的光线状态。
11.一种用于确定人脸图像的光线状态的系统,其特征在于,所述系统包括存储装置和处理器,所述存储装置上存储有由所述处理器运行的计算机程序,所述计算机程序在被所述处理器运行时执行如权利要求1-9中的任一项所述的用于确定人脸图像的光线状态的方法。
12.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序在运行时执行如权利要求1-9中的任一项所述的用于确定人脸图像的光线状态的方法。
CN201810326164.1A 2018-04-12 2018-04-12 确定人脸图像的光线状态的方法、装置、系统和存储介质 Active CN108875545B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810326164.1A CN108875545B (zh) 2018-04-12 2018-04-12 确定人脸图像的光线状态的方法、装置、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810326164.1A CN108875545B (zh) 2018-04-12 2018-04-12 确定人脸图像的光线状态的方法、装置、系统和存储介质

Publications (2)

Publication Number Publication Date
CN108875545A CN108875545A (zh) 2018-11-23
CN108875545B true CN108875545B (zh) 2022-02-08

Family

ID=64326332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810326164.1A Active CN108875545B (zh) 2018-04-12 2018-04-12 确定人脸图像的光线状态的方法、装置、系统和存储介质

Country Status (1)

Country Link
CN (1) CN108875545B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766832A (zh) * 2019-01-09 2019-05-17 深圳市三宝创新智能有限公司 一种图像预处理方法、装置、系统、设备和存储介质
CN110572906B (zh) * 2019-09-06 2022-04-29 渲美美健(深圳)科技股份有限公司 镜子的亮度调节方法、镜子及存储介质
CN113505674B (zh) * 2021-06-30 2023-04-18 上海商汤临港智能科技有限公司 人脸图像处理方法及装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104299011A (zh) * 2014-10-13 2015-01-21 吴亮 一种基于人脸图像识别的肤质与皮肤问题识别检测方法
CN107633485A (zh) * 2017-08-07 2018-01-26 百度在线网络技术(北京)有限公司 脸部亮度调整方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1169372A (ja) * 1997-08-14 1999-03-09 Fuji Photo Film Co Ltd 画像の明度調整方法およびその方法に使用するデジタルカメラ並びに画像処理装置
CN101304488B (zh) * 2008-06-20 2010-12-15 北京中星微电子有限公司 一种图象采集的方法和装置
CN102006421A (zh) * 2009-09-01 2011-04-06 华晶科技股份有限公司 具有人脸的影像的处理方法
CN104994306B (zh) * 2015-06-29 2019-05-03 厦门美图之家科技有限公司 一种基于脸部亮度自动调整曝光度的摄像方法和摄像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104299011A (zh) * 2014-10-13 2015-01-21 吴亮 一种基于人脸图像识别的肤质与皮肤问题识别检测方法
CN107633485A (zh) * 2017-08-07 2018-01-26 百度在线网络技术(北京)有限公司 脸部亮度调整方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN108875545A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
CN107451510B (zh) 活体检测方法和活体检测系统
CN108764091B (zh) 活体检测方法及装置、电子设备和存储介质
CN106203305B (zh) 人脸活体检测方法和装置
US9280702B2 (en) Image processing device and image processing method
KR102566998B1 (ko) 이미지 선명도를 결정하기 위한 장치 및 방법
CN108734676B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
TWI701605B (zh) 活體檢測方法、裝置和電腦可讀取儲存媒體
CN108846807B (zh) 光效处理方法、装置、终端及计算机可读存储介质
US20150310259A1 (en) Using facial data for device authentication or subject identification
CN108875545B (zh) 确定人脸图像的光线状态的方法、装置、系统和存储介质
US11694475B2 (en) Spoofing detection apparatus, spoofing detection method, and computer-readable recording medium
WO2018228310A1 (zh) 图像处理方法、装置及终端
US20220092323A1 (en) Spoofing detection apparatus, spoofing detection method, and computer-readable recording medium
US20210117708A1 (en) Method for obtaining face data and electronic device therefor
CN111598065A (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
CN112102207A (zh) 一种确定温度的方法、装置、电子设备及可读存储介质
US20200184197A1 (en) Facial recognition method
CN109040033A (zh) 基于拍摄的身份认证方法、电子设备及存储介质
CN108805883B (zh) 一种图像分割方法、图像分割装置及电子设备
CN111510622B (zh) 图像处理方法、装置、终端及存储介质
CN112752031A (zh) 图像采集检测方法、装置、电子设备及存储介质
JP7207506B2 (ja) なりすまし検知装置、なりすまし検知方法、及びプログラム
KR20200034018A (ko) 적외선 영상 기반 얼굴 인식 방법 및 이를 위한 학습 방법
CN116843683B (zh) 设备成像清晰度评估方法、系统和装置
CN108965700B (zh) 一种拍摄控制方法、终端及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant