CN109670389B - 评价人脸图像中的光照条件的方法和设备 - Google Patents

评价人脸图像中的光照条件的方法和设备 Download PDF

Info

Publication number
CN109670389B
CN109670389B CN201710970321.8A CN201710970321A CN109670389B CN 109670389 B CN109670389 B CN 109670389B CN 201710970321 A CN201710970321 A CN 201710970321A CN 109670389 B CN109670389 B CN 109670389B
Authority
CN
China
Prior art keywords
characteristic
illumination
face
component
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710970321.8A
Other languages
English (en)
Other versions
CN109670389A (zh
Inventor
陆萍萍
刘汝杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201710970321.8A priority Critical patent/CN109670389B/zh
Priority to US16/159,031 priority patent/US10885308B2/en
Priority to EP18200090.1A priority patent/EP3471018B1/en
Priority to JP2018193664A priority patent/JP7196519B2/ja
Publication of CN109670389A publication Critical patent/CN109670389A/zh
Application granted granted Critical
Publication of CN109670389B publication Critical patent/CN109670389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种评价人脸图像中的光照条件的方法和设备。该方法包括：将人脸图像分解为光照特征分量和人脸特征分量；提取人脸图像中的预定区域；根据预定区域内的光照特征分量，计算最大亮度特征、最小亮度特征、光照方向特征；以及根据最大亮度特征、最小亮度特征、光照方向特征，评价人脸图像中的光照条件。

Description

评价人脸图像中的光照条件的方法和设备
技术领域
本发明一般地涉及图像处理技术领域。具体而言，本发明涉及一种能够高效地评价人脸图像的光照条件的方法和设备。
背景技术
近年来，随着信息技术的发展，基于人脸识别的应用越来越多。对于人脸识别系统而言，光照因素对人脸的检测、对齐、验证等模块具有显著的影响。例如，不同的光照条件，如光源、光照方向、光照亮度的不同，对人脸识别具有不同程度的影响。尤其是低亮度、高亮度、侧向光条件会严重地损害人脸识别系统的性能。
为了解决上述问题，一种传统技术增大样本数量，例如对于同一人获取不同光照条件下的许多人脸图像，从而提高不同光照环境中人脸识别的鲁棒性，但是这样的方式显著地增加了数据量，不仅提高了数据收集的难度而且增加了训练验证模块的难度，因为验证模块会难以收敛。另一种传统技术开发新的光照归一化方法，以去除不感兴趣的光照分量，使得人脸图像更加规则。然而，这样的方式需要更大的计算量，因此降低了系统的及时性，此外相关模型需要重新训练以适应新的光照归一化方法导致的人脸图像的新特性。
为了解决上述问题，同时能够避免传统技术的不足，简便有效地避免光照条件不好的人脸图像对人脸识别系统的干扰，可以评价人脸图像中的光照条件，将评价结果反馈给用户或直接去除光照条件不理想的人脸图像。这样可以提高人脸识别系统的识别率，通过与用户的交互提高了人脸识别系统的用户友好性。
因此，本发明旨在高效地评价人脸图像的光照条件以便于进行人脸识别。
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
本发明的目的是提出一种能够高效地评价人脸图像的光照条件的方法和设备。
为了实现上述目的，根据本发明的一个方面，提供了一种评价人脸图像中的光照条件的方法，该方法包括：将人脸图像分解为光照特征分量和人脸特征分量；提取人脸图像中的预定区域；根据预定区域内的光照特征分量，计算最大亮度特征、最小亮度特征、光照方向特征；以及根据最大亮度特征、最小亮度特征、光照方向特征，评价人脸图像中的光照条件。
根据本发明的另一个方面，提供了一种评价人脸图像中的光照条件的设备，该设备包括：分解装置，被配置为：将人脸图像分解为光照特征分量和人脸特征分量；提取装置，被配置为：提取人脸图像中的预定区域；计算装置，被配置为：根据预定区域内的光照特征分量，计算最大亮度特征、最小亮度特征、光照方向特征；以及评价装置，被配置为：根据最大亮度特征、最小亮度特征、光照方向特征，评价人脸图像中的光照条件。
另外，根据本发明的另一方面，还提供了一种存储介质。所述存储介质包括机器可读的程序代码，当在信息处理设备上执行所述程序代码时，所述程序代码使得所述信息处理设备执行根据本发明的上述方法。
此外，根据本发明的再一方面，还提供了一种程序产品。所述程序产品包括机器可执行的指令，当在信息处理设备上执行所述指令时，所述指令使得所述信息处理设备执行根据本发明的上述方法。
附图说明
参照下面结合附图对本发明的实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。附图中：
图1示出了根据本发明的实施例的评价人脸图像中的光照条件的方法的流程图；
图2示出了灰度人脸图像的示例；
图3示出了从图2分解出的光照特征分量；
图4示出了从图2分解出的人脸特征分量；
图5示出了区域的示例；
图6示出了步骤S3的计算细节；
图7示出了根据本发明的实施例的评价人脸图像中的光照条件的设备的结构方框图；以及
图8示出了可用于实施根据本发明的实施例的方法和设备的计算机的示意性框图。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行详细描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施方式的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。另外，还需要指出的是，在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。
在本发明中，作为评价目标的光照条件主要包括光照量和光照方向两个方面。
下面将参照图1描述根据本发明的实施例的评价人脸图像中的光照条件的方法的流程。
图1示出了根据本发明的实施例的评价人脸图像中的光照条件的方法的流程图。如图1所示，该方法包括如下步骤：将人脸图像分解为光照特征分量和人脸特征分量(步骤S1)；提取人脸图像中的预定区域(步骤S2)；根据预定区域内的光照特征分量，计算最大亮度特征、最小亮度特征、光照方向特征(步骤S3)；根据最大亮度特征、最小亮度特征、光照方向特征，评价人脸图像中的光照条件(步骤S4)。
在步骤S1中，将人脸图像分解为光照特征分量和人脸特征分量。
如果输入图像是灰度图像，则可以直接作为人脸图像。如果输入图像是彩色图像，则需转换为灰度图像后再作为人脸图像，如RGB图像转换为灰度图像、HSV图像提取V通道分量等。
人脸图像中的每个像素点的光照特征分量表明该像素点的光照强度。每个像素点的光照特征分量乘以反射率等于该像素点的灰度值。光照特征分量反映外部光照和物体的遮挡阴影。
人脸特征分量表明的是人脸图像中关于人脸的特征，其中不包含任何与光照有关的特征。
人脸图像仅分解为光照特征分量和人脸特征分量两个分量。也就是说，两个分量构成完整的人脸图像。
可以利用现有的总变分(TV)模型、对数总变分(LTV)模型、自熵(Self QuotientImage,SQI)模型中的一个模型来实现步骤S1的分解。
具体地，可以直接利用上述模型之一，将人脸图像分解为初始光照特征分量和初始人脸特征分量，作为光照特征分量和人脸特征分量。
在另一个实施例中，可以利用TV模型、LTV模型、自熵模型之一，将人脸图像分解为初始光照特征分量和初始人脸特征分量。然后，将初始光照特征分量乘以初始人脸特征分量的均值，得到光照特征分量；并且将初始人脸特征分量除以初始人脸特征分量的均值，得到人脸特征分量。
将初始人脸特征分量除以初始人脸特征分量的均值本质上是归一化人脸特征分量。前文提到，将人脸图像仅分解为两个分量，两个分量构成完整的人脸图像。因此，人脸特征分量归一化后，相应地，将初始光照特征分量乘以初始人脸特征分量的均值，得到光照特征分量。这样，不同的人脸图像进行比较时，作为一个分量的人脸特征分量都归一化，使得作为另一分量的光照特征分量更具有可比性，容易进行光照特征分量的比较。
图2示出了灰度人脸图像的示例。图3示出了从图2分解出的光照特征分量。图4示出了从图2分解出的人脸特征分量。
在步骤S2中，提取人脸图像中的预定区域。
由于人脸识别系统的关注区域并不是整个人脸图像，而是以眼睛、鼻子、嘴为核心的中心区域，所以作为前级的光照条件评价也会专注于上述中心区域。
步骤S2中的预定区域包括覆盖眼睛、鼻子、嘴的四个区域。图5示出了区域的示例。应注意，图5所示的4个区域仅是示例。只要预定区域能够覆盖眼睛、鼻子、嘴即可。区域的个数为4仅为示例。当存在上下左右共4个区域时，便于后续检测光照方向特征。因为假设人脸是平的，所以可以利用相邻区域的差异判断光照方向。
传统的图像处理方法和基于CNN的技术均可以检测出上述预定区域。例如，先检测出两个眼睛的两个中心点、代表嘴角的两个特征点，利用这四个点勾画出图5所示的4个区域。以下，将根据预定区域内的光照特征分量，评价人脸图像的光照条件。以图5所示的4个预定区域为例进行说明。
在步骤S3中，根据预定区域内的光照特征分量，计算最大亮度特征、最小亮度特征、光照方向特征。
图6示出了步骤S3的计算细节。
如图6所示，在步骤S61中，计算预定区域中的每个区域中的平均光照特征分量l1-l4。
在步骤S62中，计算上述平均光照特征分量l1-l4中的最大值lmax、最小值lmin、平均值
Figure BDA0001434951050000061
作为最大亮度特征、最小亮度特征、整体均值。
在步骤S63中，根据上述平均光照特征分量l1-l4、整体均值，计算预定区域中临近区域的灰度偏差l’1-l’4。
可以构建矩阵A：
Figure BDA0001434951050000062
其中，
Figure BDA0001434951050000063
i＝1，2，3，4。
在步骤S64中，根据灰度偏差l’1-l’4，计算光照方向特征la、le。
平面方程Ax＝0，其中x＝[a,b,c]，需满足||x||＝1。
求得x，也就得到了a、b、c的值。
设
Figure BDA0001434951050000064
如果d＜0，则la＝a且le＝-b。
如果d＞0，则la＝-a且le＝b。
在步骤S4中，根据最大亮度特征、最小亮度特征、光照方向特征，评价人脸图像中的光照条件。
评价准则是：
如果最大亮度特征lmax小于低亮度阈值THl，则评价为低亮度条件；
如果最小亮度特征lmin大于高亮度阈值THh，则评价为高亮度条件；
如果光照方向特征la的绝对值和le的绝对值中的至少一个大于相应的方向阈值THa和THe，则评价为侧向光条件。
阈值的示例为THl＝0.2，THh＝0.8，THa＝0.2，THe＝0.2。
如果假设人脸为圆柱形，也可以采用别的方法根据灰度偏差计算光照方向特征。相应的计算是本领域技术人员所熟知的。
在一个实施例中，将评价结果反馈给用户。用户可以例如重新拍摄人脸图像。
在一个实施例中，去除光照条件不满足预定条件的人脸图像。预定条件包括亮度均匀、直射光或漫反射。评价为高亮度条件、低亮度条件、侧向光条件的人脸图像都是不满足预定条件的人脸图像。
下面，将参照图7描述根据本发明的实施例的评价人脸图像中的光照条件的设备。
图7示出了根据本发明的实施例的评价人脸图像中的光照条件的设备的结构方框图。如图7所示，根据本发明的评价人脸图像中的光照条件的设备700包括：分解装置71，被配置为：将人脸图像分解为光照特征分量和人脸特征分量；提取装置72，被配置为：提取人脸图像中的预定区域；计算装置73，被配置为：根据预定区域内的光照特征分量，计算最大亮度特征、最小亮度特征、光照方向特征；以及评价装置74，被配置为：根据最大亮度特征、最小亮度特征、光照方向特征，评价人脸图像中的光照条件。
在一个实施例中，分解装置71被进一步配置为：利用总变分TV模型、对数总变分LTV模型、自熵模型之一，将人脸图像分解为初始光照特征分量和初始人脸特征分量，作为所述光照特征分量和人脸特征分量。
在一个实施例中，分解装置71被进一步配置为：利用TV模型、LTV模型、自熵模型之一，将人脸图像分解为初始光照特征分量和初始人脸特征分量；将初始光照特征分量乘以初始人脸特征分量的均值，得到所述光照特征分量；将初始人脸特征分量除以初始人脸特征分量的均值，得到所述人脸特征分量。
在一个实施例中，预定区域包括覆盖眼睛、鼻子、嘴的四个区域。
在一个实施例中，计算装置73被进一步配置为：计算预定区域中的每个区域中的平均光照特征分量；计算上述平均光照特征分量中的最大值、最小值、平均值，作为所述最大亮度特征、所述最小亮度特征、整体均值；根据上述平均光照特征分量、整体均值，计算预定区域中临近区域的灰度偏差；根据灰度偏差，计算光照方向特征。
在一个实施例中，评价装置74被进一步配置为：如果最大亮度特征小于低亮度阈值，则评价为低亮度条件；如果最小亮度特征大于高亮度阈值，则评价为高亮度条件；如果光照方向特征的绝对值大于方向阈值，则评价为侧向光条件。
在一个实施例中，设备700还包括：反馈装置，被配置为将评价结果反馈给用户。
在一个实施例中，设备700还包括：去除装置，被配置为去除光照条件不满足预定条件的人脸图像。
在一个实施例中，预定条件包括亮度均匀、直射光或漫反射。
由于在根据本发明的设备700中所包括的处理与上面描述的方法中所包括的各个步骤中的处理类似，因此为了简洁起见，在此省略这些处理的详细描述。
此外，这里尚需指出的是，上述设备中各个组成装置、单元可以通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。在通过软件或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机(例如图8所示的通用计算机800)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。
图8示出了可用于实施根据本发明的实施例的方法和设备的计算机的示意性框图。
在图8中，中央处理单元(CPU)801根据只读存储器(ROM)802中存储的程序或从存储部分808加载到随机存取存储器(RAM)803的程序执行各种处理。在RAM 803中，还根据需要存储当CPU 801执行各种处理等等时所需的数据。CPU 801、ROM 802和RAM 803经由总线804彼此连接。输入/输出接口805也连接到总线804。
下述部件连接到输入/输出接口805：输入部分806(包括键盘、鼠标等等)、输出部分807(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分808(包括硬盘等)、通信部分809(包括网络接口卡比如LAN卡、调制解调器等)。通信部分809经由网络比如因特网执行通信处理。根据需要，驱动器810也可连接到输入/输出接口805。可拆卸介质811比如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器810上，使得从中读出的计算机程序根据需要被安装到存储部分808中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质811安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图8所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质811。可拆卸介质811的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 802、存储部分808中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
本发明还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明的实施例的方法。
相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。
附记
1.一种评价人脸图像中的光照条件的方法，包括：
将人脸图像分解为光照特征分量和人脸特征分量；
提取人脸图像中的预定区域；
根据预定区域内的光照特征分量，计算最大亮度特征、最小亮度特征、光照方向特征；以及
根据最大亮度特征、最小亮度特征、光照方向特征，评价人脸图像中的光照条件。
2.如附记1所述的方法，其中，所述分解步骤包括：
利用总变分TV模型、对数总变分LTV模型、自熵模型之一，将人脸图像分解为初始光照特征分量和初始人脸特征分量，作为所述光照特征分量和人脸特征分量。
3.如附记1所述的方法，其中，所述分解步骤包括：
利用总变分TV模型、对数总变分LTV模型、自熵模型之一，将人脸图像分解为初始光照特征分量和初始人脸特征分量；
将初始光照特征分量乘以初始人脸特征分量的均值，得到所述光照特征分量；
将初始人脸特征分量除以初始人脸特征分量的均值，得到所述人脸特征分量。
4.如附记1所述的方法，其中，所述预定区域包括覆盖眼睛、鼻子、嘴的四个区域。
5.如附记1所述的方法，其中，所述计算步骤包括：
计算预定区域中的每个区域中的平均光照特征分量；
计算上述平均光照特征分量中的最大值、最小值、平均值，作为所述最大亮度特征、所述最小亮度特征、整体均值；
根据上述平均光照特征分量、整体均值，计算预定区域中临近区域的灰度偏差；
根据灰度偏差，计算光照方向特征。
6.如附记1所述的方法，其中，所述评价步骤包括：
如果最大亮度特征小于低亮度阈值，则评价为低亮度条件；
如果最小亮度特征大于高亮度阈值，则评价为高亮度条件；
如果光照方向特征的绝对值大于方向阈值，则评价为侧向光条件。
7.如附记1所述的方法，还包括：将评价结果反馈给用户。
8.如附记1所述的方法，还包括：去除光照条件不满足预定条件的人脸图像。
9.如附记8所述的方法，其中预定条件包括亮度均匀、直射光或漫反射。
10.一种评价人脸图像中的光照条件的设备，包括：
分解装置，被配置为：将人脸图像分解为光照特征分量和人脸特征分量；
提取装置，被配置为：提取人脸图像中的预定区域；
计算装置，被配置为：根据预定区域内的光照特征分量，计算最大亮度特征、最小亮度特征、光照方向特征；以及
评价装置，被配置为：根据最大亮度特征、最小亮度特征、光照方向特征，评价人脸图像中的光照条件。
11.如附记10所述的设备，其中，所述分解装置被进一步配置为：
利用总变分TV模型、对数总变分LTV模型、自熵模型之一，将人脸图像分解为初始光照特征分量和初始人脸特征分量，作为所述光照特征分量和人脸特征分量。
12.如附记10所述的设备，其中，所述分解装置被进一步配置为：
利用TV模型、LTV模型、自熵模型之一，将人脸图像分解为初始光照特征分量和初始人脸特征分量；
将初始光照特征分量乘以初始人脸特征分量的均值，得到所述光照特征分量；
将初始人脸特征分量除以初始人脸特征分量的均值，得到所述人脸特征分量。
13.如附记10所述的设备，其中，所述预定区域包括覆盖眼睛、鼻子、嘴的四个区域。
14.如附记10所述的设备，其中，所述计算装置被进一步配置为：
计算预定区域中的每个区域中的平均光照特征分量；
计算上述平均光照特征分量中的最大值、最小值、平均值，作为所述最大亮度特征、所述最小亮度特征、整体均值；
根据上述平均光照特征分量、整体均值，计算预定区域中临近区域的灰度偏差；
根据灰度偏差，计算光照方向特征。
15.如附记10所述的设备，其中，所述评价装置被进一步配置为：
如果最大亮度特征小于低亮度阈值，则评价为低亮度条件；
如果最小亮度特征大于高亮度阈值，则评价为高亮度条件；
如果光照方向特征的绝对值大于方向阈值，则评价为侧向光条件。
16.如附记10所述的设备，还包括：反馈装置，被配置为将评价结果反馈给用户。
17.如附记10所述的设备，还包括：去除装置，被配置为去除光照条件不满足预定条件的人脸图像。
18.如附记17所述的设备，其中预定条件包括亮度均匀、直射光或漫反射。

Claims (8)

1.一种评价人脸图像中的光照条件的方法，包括：
将多个人脸图像之中的人脸图像分解为光照特征分量和人脸特征分量，所述分解包括：
将人脸图像分解为初始光照特征分量和初始人脸特征分量，
将初始光照特征分量乘以初始人脸特征分量的均值，得到所述光照特征分量，和
将初始人脸特征分量除以初始人脸特征分量的均值，得到所述人脸特征分量；
提取人脸图像中的预定区域；
根据预定区域内的光照特征分量，计算最大亮度特征、最小亮度特征、光照方向特征；以及
评价人脸图像中的光照条件，所述评价包括：
如果最大亮度特征小于低亮度阈值，则评价为低亮度条件；
如果最小亮度特征大于高亮度阈值，则评价为高亮度条件；和
如果所述光照方向特征的绝对值大于方向阈值，则评价为侧向光条件。
2.如权利要求1所述的方法，其中，利用总变分模型、对数总变分模型、自熵模型中之一或其组合，将人脸图像分解为初始光照特征分量和初始人脸特征分量。
3.如权利要求1所述的方法，其中，所述预定区域包括覆盖眼睛、鼻子、嘴的四个区域。
4.如权利要求1所述的方法，其中，所述计算步骤包括：
计算预定区域中的每个区域中的平均光照特征分量；
计算上述平均光照特征分量中的最大值、最小值、平均值，作为所述最大亮度特征、所述最小亮度特征、整体均值；
根据上述平均光照特征分量、整体均值，计算预定区域中临近区域的灰度偏差；
根据灰度偏差，计算光照方向特征。
5.如权利要求1所述的方法，还包括：将与所评价的光照条件相对应的评价结果反馈给用户。
6.如权利要求1所述的方法，还包括：从所述多个人脸图像中去除所评价的光照条件不满足预定条件的人脸图像。
7.如权利要求6所述的方法，其中预定条件包括亮度均匀、直射光或漫反射。
8.一种评价人脸图像中的光照条件的设备，包括：
分解装置，被配置为：将多个人脸图像之中的人脸图像分解为光照特征分量和人脸特征分量，所述分解包括：
将人脸图像分解为初始光照特征分量和初始人脸特征分量，
将初始光照特征分量乘以初始人脸特征分量的均值，得到所述光照特征分量，和
将初始人脸特征分量除以初始人脸特征分量的均值，得到所述人脸特征分量；
提取装置，被配置为：提取人脸图像中的预定区域；
计算装置，被配置为：根据预定区域内的光照特征分量，计算最大亮度特征、最小亮度特征、光照方向特征；以及
评价装置，被配置为：评价人脸图像中的光照条件，所述评价包括：
如果最大亮度特征小于低亮度阈值，则评价为低亮度条件；
如果最小亮度特征大于高亮度阈值，则评价为高亮度条件；和
如果所述光照方向特征的绝对值大于方向阈值，则评价为侧向光条件。
CN201710970321.8A 2017-10-16 2017-10-16 评价人脸图像中的光照条件的方法和设备 Active CN109670389B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710970321.8A CN109670389B (zh) 2017-10-16 2017-10-16 评价人脸图像中的光照条件的方法和设备
US16/159,031 US10885308B2 (en) 2017-10-16 2018-10-12 Method and apparatus for evaluating illumination condition in face image
EP18200090.1A EP3471018B1 (en) 2017-10-16 2018-10-12 Method and apparatus for evaluating illumination condition in face image
JP2018193664A JP7196519B2 (ja) 2017-10-16 2018-10-12 顔画像中の照明条件を評価する方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710970321.8A CN109670389B (zh) 2017-10-16 2017-10-16 评价人脸图像中的光照条件的方法和设备

Publications (2)

Publication Number Publication Date
CN109670389A CN109670389A (zh) 2019-04-23
CN109670389B true CN109670389B (zh) 2023-04-07

Family

ID=63840689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710970321.8A Active CN109670389B (zh) 2017-10-16 2017-10-16 评价人脸图像中的光照条件的方法和设备

Country Status (4)

Country Link
US (1) US10885308B2 (zh)
EP (1) EP3471018B1 (zh)
JP (1) JP7196519B2 (zh)
CN (1) CN109670389B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210395234A1 (en) 2018-10-26 2021-12-23 Taiho Pharmaceutical Co., Ltd. Novel indazole compound or salt thereof
CN112700396A (zh) * 2019-10-17 2021-04-23 中国移动通信集团浙江有限公司 一种人脸图片光照评价方法、装置、计算设备和存储介质
CN111274952B (zh) * 2020-01-20 2021-02-05 新疆爱华盈通信息技术有限公司 背光人脸图像处理方法、人脸识别方法
CN116071807B (zh) * 2023-03-06 2023-06-16 深圳市网联天下科技有限公司 基于视频监控的校园一卡通智能预警方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006285064A (ja) * 2005-04-04 2006-10-19 Matsushita Electric Ind Co Ltd 画像表示装置
CN102385753A (zh) * 2011-11-17 2012-03-21 江苏大学 一种基于光照分类的自适应图像分割方法
JP2015080647A (ja) * 2013-10-23 2015-04-27 パナソニックＩｐマネジメント株式会社 撮影画像表示装置
WO2017036160A1 (zh) * 2015-09-06 2017-03-09 广州广电运通金融电子股份有限公司 人脸识别的眼镜消除方法
JP2017162030A (ja) * 2016-03-07 2017-09-14 パナソニック株式会社 画像評価方法、画像評価プログラム、及び画像評価装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3928704B2 (ja) * 2002-02-26 2007-06-13 セイコーエプソン株式会社 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体および画像処理プログラム
JP2004021373A (ja) * 2002-06-13 2004-01-22 Matsushita Electric Ind Co Ltd 物体及び光源情報推定方法並びに物体及び光源情報推定装置
JP2006325015A (ja) * 2005-05-19 2006-11-30 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム
US8090160B2 (en) * 2007-10-12 2012-01-03 The University Of Houston System Automated method for human face modeling and relighting with application to face recognition
JP5390943B2 (ja) 2008-07-16 2014-01-15 キヤノン株式会社 画像処理装置及び画像処理方法
EP2473834B1 (en) * 2009-09-03 2021-09-08 National ICT Australia Limited Illumination spectrum recovery
US8483480B2 (en) * 2009-12-18 2013-07-09 Tandent Vision Science, Inc. Method and system for factoring an illumination image
WO2011158463A1 (ja) * 2010-06-17 2011-12-22 パナソニック株式会社 外光映り込み判定装置、視線検出装置及び外光映り込み判定方法
JP2015115041A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法
JP6442209B2 (ja) * 2014-09-26 2018-12-19 キヤノン株式会社 画像処理装置およびその制御方法
JP6641181B2 (ja) * 2016-01-06 2020-02-05 キヤノン株式会社 画像処理装置および撮像装置、それらの制御方法ならびにプログラム
JP6700840B2 (ja) * 2016-02-18 2020-05-27 キヤノン株式会社 画像処理装置、撮像装置、制御方法及びプログラム
JP6571266B2 (ja) * 2016-03-02 2019-09-04 株式会社日立製作所 撮像装置
JP6662745B2 (ja) * 2016-10-04 2020-03-11 株式会社ソニー・インタラクティブエンタテインメント 撮影装置、情報処理システム、および偏光画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006285064A (ja) * 2005-04-04 2006-10-19 Matsushita Electric Ind Co Ltd 画像表示装置
CN102385753A (zh) * 2011-11-17 2012-03-21 江苏大学 一种基于光照分类的自适应图像分割方法
JP2015080647A (ja) * 2013-10-23 2015-04-27 パナソニックＩｐマネジメント株式会社 撮影画像表示装置
WO2017036160A1 (zh) * 2015-09-06 2017-03-09 广州广电运通金融电子股份有限公司 人脸识别的眼镜消除方法
JP2017162030A (ja) * 2016-03-07 2017-09-14 パナソニック株式会社 画像評価方法、画像評価プログラム、及び画像評価装置

Also Published As

Publication number Publication date
CN109670389A (zh) 2019-04-23
US20190114468A1 (en) 2019-04-18
US10885308B2 (en) 2021-01-05
JP2019075118A (ja) 2019-05-16
EP3471018A1 (en) 2019-04-17
JP7196519B2 (ja) 2022-12-27
EP3471018B1 (en) 2023-10-11

Similar Documents

Publication Publication Date Title
CN109670389B (zh) 评价人脸图像中的光照条件的方法和设备
US20190050641A1 (en) Methods and apparatus for capturing, processing, training, and detecting patterns using pattern recognition classifiers
CN110210560B (zh) 分类网络的增量训练方法、分类方法及装置、设备及介质
JP5552519B2 (ja) 顔特徴ベクトルの構築
AU2014218444B2 (en) Dynamic feature selection for joint probabilistic recognition
US8244044B2 (en) Feature selection and extraction
CN107679466B (zh) 信息输出方法和装置
CN107633485B (zh) 脸部亮度调整方法、装置、设备及存储介质
WO2020253508A1 (zh) 异常细胞检测方法、装置及计算机可读存储介质
JP2015215876A (ja) ライブネス検査方法と装置、及び映像処理方法と装置
Faraji et al. Face recognition under varying illumination with logarithmic fractal analysis
JP6550723B2 (ja) 画像処理装置、文字認識装置、画像処理方法、およびプログラム
WO2022247005A1 (zh) 图像中目标物识别方法、装置、电子设备及存储介质
Li et al. Insulator defect detection for power grid based on light correction enhancement and YOLOv5 model
US20180357212A1 (en) Detecting occlusion of digital ink
WO2022100510A1 (zh) 一种图像失真评测的方法、装置及计算机设备
WO2020248848A1 (zh) 智能化异常细胞判断方法、装置及计算机可读存储介质
Zhao et al. Efficient image decolorization with a multimodal contrast-preserving measure
US20100226578A1 (en) Object detecting apparatus, and object detecting method
US20120170861A1 (en) Image processing apparatus, image processing method and image processing program
US7609885B2 (en) System and method for effectively implementing a texture feature detector
US8428348B2 (en) Image analysis through neural network using image average color
WO2022267327A1 (zh) 一种色斑预测方法、装置、设备及存储介质
CN114418848B (zh) 视频处理方法、装置、存储介质及电子设备
US20220222967A1 (en) Retrieval device, control method, and non-transitory storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant