CN109670389A - 评价人脸图像中的光照条件的方法和设备 - Google Patents
评价人脸图像中的光照条件的方法和设备 Download PDFInfo
- Publication number
- CN109670389A CN109670389A CN201710970321.8A CN201710970321A CN109670389A CN 109670389 A CN109670389 A CN 109670389A CN 201710970321 A CN201710970321 A CN 201710970321A CN 109670389 A CN109670389 A CN 109670389A
- Authority
- CN
- China
- Prior art keywords
- illumination
- characteristic component
- feature
- facial image
- condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Abstract
本发明公开了一种评价人脸图像中的光照条件的方法和设备。该方法包括:将人脸图像分解为光照特征分量和人脸特征分量;提取人脸图像中的预定区域;根据预定区域内的光照特征分量,计算最大亮度特征、最小亮度特征、光照方向特征;以及根据最大亮度特征、最小亮度特征、光照方向特征,评价人脸图像中的光照条件。
Description
技术领域
本发明一般地涉及图像处理技术领域。具体而言,本发明涉及一种能够高效地评价人脸图像的光照条件的方法和设备。
背景技术
近年来,随着信息技术的发展,基于人脸识别的应用越来越多。对于人脸识别系统而言,光照因素对人脸的检测、对齐、验证等模块具有显著的影响。例如,不同的光照条件,如光源、光照方向、光照亮度的不同,对人脸识别具有不同程度的影响。尤其是低亮度、高亮度、侧向光条件会严重地损害人脸识别系统的性能。
为了解决上述问题,一种传统技术增大样本数量,例如对于同一人获取不同光照条件下的许多人脸图像,从而提高不同光照环境中人脸识别的鲁棒性,但是这样的方式显著地增加了数据量,不仅提高了数据收集的难度而且增加了训练验证模块的难度,因为验证模块会难以收敛。另一种传统技术开发新的光照归一化方法,以去除不感兴趣的光照分量,使得人脸图像更加规则。然而,这样的方式需要更大的计算量,因此降低了系统的及时性,此外相关模型需要重新训练以适应新的光照归一化方法导致的人脸图像的新特性。
为了解决上述问题,同时能够避免传统技术的不足,简便有效地避免光照条件不好的人脸图像对人脸识别系统的干扰,可以评价人脸图像中的光照条件,将评价结果反馈给用户或直接去除光照条件不理想的人脸图像。这样可以提高人脸识别系统的识别率,通过与用户的交互提高了人脸识别系统的用户友好性。
因此,本发明旨在高效地评价人脸图像的光照条件以便于进行人脸识别。
发明内容
在下文中给出了关于本发明的简要概述,以便提供关于本发明的某些方面的基本理解。应当理解,这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分,也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
本发明的目的是提出一种能够高效地评价人脸图像的光照条件的方法和设备。
为了实现上述目的,根据本发明的一个方面,提供了一种评价人脸图像中的光照条件的方法,该方法包括:将人脸图像分解为光照特征分量和人脸特征分量;提取人脸图像中的预定区域;根据预定区域内的光照特征分量,计算最大亮度特征、最小亮度特征、光照方向特征;以及根据最大亮度特征、最小亮度特征、光照方向特征,评价人脸图像中的光照条件。
根据本发明的另一个方面,提供了一种评价人脸图像中的光照条件的设备,该设备包括:分解装置,被配置为:将人脸图像分解为光照特征分量和人脸特征分量;提取装置,被配置为:提取人脸图像中的预定区域;计算装置,被配置为:根据预定区域内的光照特征分量,计算最大亮度特征、最小亮度特征、光照方向特征;以及评价装置,被配置为:根据最大亮度特征、最小亮度特征、光照方向特征,评价人脸图像中的光照条件。
另外,根据本发明的另一方面,还提供了一种存储介质。所述存储介质包括机器可读的程序代码,当在信息处理设备上执行所述程序代码时,所述程序代码使得所述信息处理设备执行根据本发明的上述方法。
此外,根据本发明的再一方面,还提供了一种程序产品。所述程序产品包括机器可执行的指令,当在信息处理设备上执行所述指令时,所述指令使得所述信息处理设备执行根据本发明的上述方法。
附图说明
参照下面结合附图对本发明的实施例的说明,会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中,相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。附图中:
图1示出了根据本发明的实施例的评价人脸图像中的光照条件的方法的流程图;
图2示出了灰度人脸图像的示例;
图3示出了从图2分解出的光照特征分量;
图4示出了从图2分解出的人脸特征分量;
图5示出了区域的示例;
图6示出了步骤S3的计算细节;
图7示出了根据本发明的实施例的评价人脸图像中的光照条件的设备的结构方框图;以及
图8示出了可用于实施根据本发明的实施例的方法和设备的计算机的示意性框图。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行详细描述。为了清楚和简明起见,在说明书中并未描述实际实施方式的所有特征。然而,应该了解,在开发任何这种实际实施方式的过程中必须做出很多特定于实施方式的决定,以便实现开发人员的具体目标,例如,符合与系统及业务相关的那些限制条件,并且这些限制条件可能会随着实施方式的不同而有所改变。此外,还应该了解,虽然开发工作有可能是非常复杂和费时的,但对得益于本公开内容的本领域技术人员来说,这种开发工作仅仅是例行的任务。
在此,还需要说明的一点是,为了避免因不必要的细节而模糊了本发明,在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤,而省略了与本发明关系不大的其他细节。另外,还需要指出的是,在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。
在本发明中,作为评价目标的光照条件主要包括光照量和光照方向两个方面。
下面将参照图1描述根据本发明的实施例的评价人脸图像中的光照条件的方法的流程。
图1示出了根据本发明的实施例的评价人脸图像中的光照条件的方法的流程图。如图1所示,该方法包括如下步骤:将人脸图像分解为光照特征分量和人脸特征分量(步骤S1);提取人脸图像中的预定区域(步骤S2);根据预定区域内的光照特征分量,计算最大亮度特征、最小亮度特征、光照方向特征(步骤S3);根据最大亮度特征、最小亮度特征、光照方向特征,评价人脸图像中的光照条件(步骤S4)。
在步骤S1中,将人脸图像分解为光照特征分量和人脸特征分量。
如果输入图像是灰度图像,则可以直接作为人脸图像。如果输入图像是彩色图像,则需转换为灰度图像后再作为人脸图像,如RGB图像转换为灰度图像、HSV图像提取V通道分量等。
人脸图像中的每个像素点的光照特征分量表明该像素点的光照强度。每个像素点的光照特征分量乘以反射率等于该像素点的灰度值。光照特征分量反映外部光照和物体的遮挡阴影。
人脸特征分量表明的是人脸图像中关于人脸的特征,其中不包含任何与光照有关的特征。
人脸图像仅分解为光照特征分量和人脸特征分量两个分量。也就是说,两个分量构成完整的人脸图像。
可以利用现有的总变分(TV)模型、对数总变分(LTV)模型、自熵(Self QuotientImage,SQI)模型中的一个模型来实现步骤S1的分解。
具体地,可以直接利用上述模型之一,将人脸图像分解为初始光照特征分量和初始人脸特征分量,作为光照特征分量和人脸特征分量。
在另一个实施例中,可以利用TV模型、LTV模型、自熵模型之一,将人脸图像分解为初始光照特征分量和初始人脸特征分量。然后,将初始光照特征分量乘以初始人脸特征分量的均值,得到光照特征分量;并且将初始人脸特征分量除以初始人脸特征分量的均值,得到人脸特征分量。
将初始人脸特征分量除以初始人脸特征分量的均值本质上是归一化人脸特征分量。前文提到,将人脸图像仅分解为两个分量,两个分量构成完整的人脸图像。因此,人脸特征分量归一化后,相应地,将初始光照特征分量乘以初始人脸特征分量的均值,得到光照特征分量。这样,不同的人脸图像进行比较时,作为一个分量的人脸特征分量都归一化,使得作为另一分量的光照特征分量更具有可比性,容易进行光照特征分量的比较。
图2示出了灰度人脸图像的示例。图3示出了从图2分解出的光照特征分量。图4示出了从图2分解出的人脸特征分量。
在步骤S2中,提取人脸图像中的预定区域。
由于人脸识别系统的关注区域并不是整个人脸图像,而是以眼睛、鼻子、嘴为核心的中心区域,所以作为前级的光照条件评价也会专注于上述中心区域。
步骤S2中的预定区域包括覆盖眼睛、鼻子、嘴的四个区域。图5示出了区域的示例。应注意,图5所示的4个区域仅是示例。只要预定区域能够覆盖眼睛、鼻子、嘴即可。区域的个数为4仅为示例。当存在上下左右共4个区域时,便于后续检测光照方向特征。因为假设人脸是平的,所以可以利用相邻区域的差异判断光照方向。
传统的图像处理方法和基于CNN的技术均可以检测出上述预定区域。例如,先检测出两个眼睛的两个中心点、代表嘴角的两个特征点,利用这四个点勾画出图5所示的4个区域。以下,将根据预定区域内的光照特征分量,评价人脸图像的光照条件。以图5所示的4个预定区域为例进行说明。
在步骤S3中,根据预定区域内的光照特征分量,计算最大亮度特征、最小亮度特征、光照方向特征。
图6示出了步骤S3的计算细节。
如图6所示,在步骤S61中,计算预定区域中的每个区域中的平均光照特征分量l1-l4。
在步骤S62中,计算上述平均光照特征分量l1-l4中的最大值lmax、最小值lmin、平均值作为最大亮度特征、最小亮度特征、整体均值。
在步骤S63中,根据上述平均光照特征分量l1-l4、整体均值,计算预定区域中临近区域的灰度偏差l’1-l’4。
可以构建矩阵A:
其中,i=1,2,3,4。
在步骤S64中,根据灰度偏差l’1-l’4,计算光照方向特征la、le。
平面方程Ax=0,其中x=[a,b,c],需满足||x||=1。
求得x,也就得到了a、b、c的值。
设
如果d<0,则la=a且le=-b。
如果d>0,则la=-a且le=b。
在步骤S4中,根据最大亮度特征、最小亮度特征、光照方向特征,评价人脸图像中的光照条件。
评价准则是:
如果最大亮度特征lmax小于低亮度阈值THl,则评价为低亮度条件;
如果最小亮度特征lmin大于高亮度阈值THh,则评价为高亮度条件;
如果光照方向特征la的绝对值和le的绝对值中的至少一个大于相应的方向阈值THa和THe,则评价为侧向光条件。
阈值的示例为THl=0.2,THh=0.8,THa=0.2,THe=0.2。
如果假设人脸为圆柱形,也可以采用别的方法根据灰度偏差计算光照方向特征。相应的计算是本领域技术人员所熟知的。
在一个实施例中,将评价结果反馈给用户。用户可以例如重新拍摄人脸图像。
在一个实施例中,去除光照条件不满足预定条件的人脸图像。预定条件包括亮度均匀、直射光或漫反射。评价为高亮度条件、低亮度条件、侧向光条件的人脸图像都是不满足预定条件的人脸图像。
下面,将参照图7描述根据本发明的实施例的评价人脸图像中的光照条件的设备。
图7示出了根据本发明的实施例的评价人脸图像中的光照条件的设备的结构方框图。如图7所示,根据本发明的评价人脸图像中的光照条件的设备700包括:分解装置71,被配置为:将人脸图像分解为光照特征分量和人脸特征分量;提取装置72,被配置为:提取人脸图像中的预定区域;计算装置73,被配置为:根据预定区域内的光照特征分量,计算最大亮度特征、最小亮度特征、光照方向特征;以及评价装置74,被配置为:根据最大亮度特征、最小亮度特征、光照方向特征,评价人脸图像中的光照条件。
在一个实施例中,分解装置71被进一步配置为:利用总变分TV模型、对数总变分LTV模型、自熵模型之一,将人脸图像分解为初始光照特征分量和初始人脸特征分量,作为所述光照特征分量和人脸特征分量。
在一个实施例中,分解装置71被进一步配置为:利用TV模型、LTV模型、自熵模型之一,将人脸图像分解为初始光照特征分量和初始人脸特征分量;将初始光照特征分量乘以初始人脸特征分量的均值,得到所述光照特征分量;将初始人脸特征分量除以初始人脸特征分量的均值,得到所述人脸特征分量。
在一个实施例中,预定区域包括覆盖眼睛、鼻子、嘴的四个区域。
在一个实施例中,计算装置73被进一步配置为:计算预定区域中的每个区域中的平均光照特征分量;计算上述平均光照特征分量中的最大值、最小值、平均值,作为所述最大亮度特征、所述最小亮度特征、整体均值;根据上述平均光照特征分量、整体均值,计算预定区域中临近区域的灰度偏差;根据灰度偏差,计算光照方向特征。
在一个实施例中,评价装置74被进一步配置为:如果最大亮度特征小于低亮度阈值,则评价为低亮度条件;如果最小亮度特征大于高亮度阈值,则评价为高亮度条件;如果光照方向特征的绝对值大于方向阈值,则评价为侧向光条件。
在一个实施例中,设备700还包括:反馈装置,被配置为将评价结果反馈给用户。
在一个实施例中,设备700还包括:去除装置,被配置为去除光照条件不满足预定条件的人脸图像。
在一个实施例中,预定条件包括亮度均匀、直射光或漫反射。
由于在根据本发明的设备700中所包括的处理与上面描述的方法中所包括的各个步骤中的处理类似,因此为了简洁起见,在此省略这些处理的详细描述。
此外,这里尚需指出的是,上述设备中各个组成装置、单元可以通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知,在此不再赘述。在通过软件或固件实现的情况下,从存储介质或网络向具有专用硬件结构的计算机(例如图8所示的通用计算机800)安装构成该软件的程序,该计算机在安装有各种程序时,能够执行各种功能等。
图8示出了可用于实施根据本发明的实施例的方法和设备的计算机的示意性框图。
在图8中,中央处理单元(CPU)801根据只读存储器(ROM)802中存储的程序或从存储部分808加载到随机存取存储器(RAM)803的程序执行各种处理。在RAM 803中,还根据需要存储当CPU 801执行各种处理等等时所需的数据。CPU 801、ROM 802和RAM 803经由总线804彼此连接。输入/输出接口805也连接到总线804。
下述部件连接到输入/输出接口805:输入部分806(包括键盘、鼠标等等)、输出部分807(包括显示器,比如阴极射线管(CRT)、液晶显示器(LCD)等,和扬声器等)、存储部分808(包括硬盘等)、通信部分809(包括网络接口卡比如LAN卡、调制解调器等)。通信部分809经由网络比如因特网执行通信处理。根据需要,驱动器810也可连接到输入/输出接口805。可拆卸介质811比如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器810上,使得从中读出的计算机程序根据需要被安装到存储部分808中。
在通过软件实现上述系列处理的情况下,从网络比如因特网或存储介质比如可拆卸介质811安装构成软件的程序。
本领域的技术人员应当理解,这种存储介质不局限于图8所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质811。可拆卸介质811的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者,存储介质可以是ROM 802、存储部分808中包含的硬盘等等,其中存有程序,并且与包含它们的设备一起被分发给用户。
本发明还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时,可执行上述根据本发明的实施例的方法。
相应地,用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
在上面对本发明具体实施例的描述中,针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
此外,本发明的方法不限于按照说明书中描述的时间顺序来执行,也可以按照其他的时间顺序地、并行地或独立地执行。因此,本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露,但是,应该理解,上述的所有实施例和示例均是示例性的,而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。
附记
1.一种评价人脸图像中的光照条件的方法,包括:
将人脸图像分解为光照特征分量和人脸特征分量;
提取人脸图像中的预定区域;
根据预定区域内的光照特征分量,计算最大亮度特征、最小亮度特征、光照方向特征;以及
根据最大亮度特征、最小亮度特征、光照方向特征,评价人脸图像中的光照条件。
2.如附记1所述的方法,其中,所述分解步骤包括:
利用总变分TV模型、对数总变分LTV模型、自熵模型之一,将人脸图像分解为初始光照特征分量和初始人脸特征分量,作为所述光照特征分量和人脸特征分量。
3.如附记1所述的方法,其中,所述分解步骤包括:
利用总变分TV模型、对数总变分LTV模型、自熵模型之一,将人脸图像分解为初始光照特征分量和初始人脸特征分量;
将初始光照特征分量乘以初始人脸特征分量的均值,得到所述光照特征分量;
将初始人脸特征分量除以初始人脸特征分量的均值,得到所述人脸特征分量。
4.如附记1所述的方法,其中,所述预定区域包括覆盖眼睛、鼻子、嘴的四个区域。
5.如附记1所述的方法,其中,所述计算步骤包括:
计算预定区域中的每个区域中的平均光照特征分量;
计算上述平均光照特征分量中的最大值、最小值、平均值,作为所述最大亮度特征、所述最小亮度特征、整体均值;
根据上述平均光照特征分量、整体均值,计算预定区域中临近区域的灰度偏差;
根据灰度偏差,计算光照方向特征。
6.如附记1所述的方法,其中,所述评价步骤包括:
如果最大亮度特征小于低亮度阈值,则评价为低亮度条件;
如果最小亮度特征大于高亮度阈值,则评价为高亮度条件;
如果光照方向特征的绝对值大于方向阈值,则评价为侧向光条件。
7.如附记1所述的方法,还包括:将评价结果反馈给用户。
8.如附记1所述的方法,还包括:去除光照条件不满足预定条件的人脸图像。
9.如附记8所述的方法,其中预定条件包括亮度均匀、直射光或漫反射。
10.一种评价人脸图像中的光照条件的设备,包括:
分解装置,被配置为:将人脸图像分解为光照特征分量和人脸特征分量;
提取装置,被配置为:提取人脸图像中的预定区域;
计算装置,被配置为:根据预定区域内的光照特征分量,计算最大亮度特征、最小亮度特征、光照方向特征;以及
评价装置,被配置为:根据最大亮度特征、最小亮度特征、光照方向特征,评价人脸图像中的光照条件。
11.如附记10所述的设备,其中,所述分解装置被进一步配置为:
利用总变分TV模型、对数总变分LTV模型、自熵模型之一,将人脸图像分解为初始光照特征分量和初始人脸特征分量,作为所述光照特征分量和人脸特征分量。
12.如附记10所述的设备,其中,所述分解装置被进一步配置为:
利用TV模型、LTV模型、自熵模型之一,将人脸图像分解为初始光照特征分量和初始人脸特征分量;
将初始光照特征分量乘以初始人脸特征分量的均值,得到所述光照特征分量;
将初始人脸特征分量除以初始人脸特征分量的均值,得到所述人脸特征分量。
13.如附记10所述的设备,其中,所述预定区域包括覆盖眼睛、鼻子、嘴的四个区域。
14.如附记10所述的设备,其中,所述计算装置被进一步配置为:
计算预定区域中的每个区域中的平均光照特征分量;
计算上述平均光照特征分量中的最大值、最小值、平均值,作为所述最大亮度特征、所述最小亮度特征、整体均值;
根据上述平均光照特征分量、整体均值,计算预定区域中临近区域的灰度偏差;
根据灰度偏差,计算光照方向特征。
15.如附记10所述的设备,其中,所述评价装置被进一步配置为:
如果最大亮度特征小于低亮度阈值,则评价为低亮度条件;
如果最小亮度特征大于高亮度阈值,则评价为高亮度条件;
如果光照方向特征的绝对值大于方向阈值,则评价为侧向光条件。
16.如附记10所述的设备,还包括:反馈装置,被配置为将评价结果反馈给用户。
17.如附记10所述的设备,还包括:去除装置,被配置为去除光照条件不满足预定条件的人脸图像。
18.如附记17所述的设备,其中预定条件包括亮度均匀、直射光或漫反射。
Claims (10)
1.一种评价人脸图像中的光照条件的方法,包括:
将人脸图像分解为光照特征分量和人脸特征分量;
提取人脸图像中的预定区域;
根据预定区域内的光照特征分量,计算最大亮度特征、最小亮度特征、光照方向特征;以及
根据最大亮度特征、最小亮度特征、光照方向特征,评价人脸图像中的光照条件。
2.如权利要求1所述的方法,其中,所述分解步骤包括:
利用总变分模型、对数总变分模型、自熵模型之一,将人脸图像分解为初始光照特征分量和初始人脸特征分量,作为所述光照特征分量和人脸特征分量。
3.如权利要求1所述的方法,其中,所述分解步骤包括:
利用总变分模型、对数总变分模型、自熵模型之一,将人脸图像分解为初始光照特征分量和初始人脸特征分量;
将初始光照特征分量乘以初始人脸特征分量的均值,得到所述光照特征分量;
将初始人脸特征分量除以初始人脸特征分量的均值,得到所述人脸特征分量。
4.如权利要求1所述的方法,其中,所述预定区域包括覆盖眼睛、鼻子、嘴的四个区域。
5.如权利要求1所述的方法,其中,所述计算步骤包括:
计算预定区域中的每个区域中的平均光照特征分量;
计算上述平均光照特征分量中的最大值、最小值、平均值,作为所述最大亮度特征、所述最小亮度特征、整体均值;
根据上述平均光照特征分量、整体均值,计算预定区域中临近区域的灰度偏差;
根据灰度偏差,计算光照方向特征。
6.如权利要求1所述的方法,其中,所述评价步骤包括:
如果最大亮度特征小于低亮度阈值,则评价为低亮度条件;
如果最小亮度特征大于高亮度阈值,则评价为高亮度条件;
如果光照方向特征的绝对值大于方向阈值,则评价为侧向光条件。
7.如权利要求1所述的方法,还包括:将评价结果反馈给用户。
8.如权利要求1所述的方法,还包括:去除光照条件不满足预定条件的人脸图像。
9.如权利要求8所述的方法,其中预定条件包括亮度均匀、直射光或漫反射。
10.一种评价人脸图像中的光照条件的设备,包括:
分解装置,被配置为:将人脸图像分解为光照特征分量和人脸特征分量;
提取装置,被配置为:提取人脸图像中的预定区域;
计算装置,被配置为:根据预定区域内的光照特征分量,计算最大亮度特征、最小亮度特征、光照方向特征;以及
评价装置,被配置为:根据最大亮度特征、最小亮度特征、光照方向特征,评价人脸图像中的光照条件。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710970321.8A CN109670389B (zh) | 2017-10-16 | 2017-10-16 | 评价人脸图像中的光照条件的方法和设备 |
US16/159,031 US10885308B2 (en) | 2017-10-16 | 2018-10-12 | Method and apparatus for evaluating illumination condition in face image |
JP2018193664A JP7196519B2 (ja) | 2017-10-16 | 2018-10-12 | 顔画像中の照明条件を評価する方法及び装置 |
EP18200090.1A EP3471018B1 (en) | 2017-10-16 | 2018-10-12 | Method and apparatus for evaluating illumination condition in face image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710970321.8A CN109670389B (zh) | 2017-10-16 | 2017-10-16 | 评价人脸图像中的光照条件的方法和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109670389A true CN109670389A (zh) | 2019-04-23 |
CN109670389B CN109670389B (zh) | 2023-04-07 |
Family
ID=63840689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710970321.8A Active CN109670389B (zh) | 2017-10-16 | 2017-10-16 | 评价人脸图像中的光照条件的方法和设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10885308B2 (zh) |
EP (1) | EP3471018B1 (zh) |
JP (1) | JP7196519B2 (zh) |
CN (1) | CN109670389B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111274952A (zh) * | 2020-01-20 | 2020-06-12 | 新疆爱华盈通信息技术有限公司 | 背光人脸图像处理方法、人脸识别方法 |
CN116071807A (zh) * | 2023-03-06 | 2023-05-05 | 深圳市网联天下科技有限公司 | 基于视频监控的校园一卡通智能预警方法及系统 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020085493A1 (ja) | 2018-10-26 | 2020-04-30 | 大鵬薬品工業株式会社 | 新規なインダゾール化合物又はその塩 |
CN112700396A (zh) * | 2019-10-17 | 2021-04-23 | 中国移动通信集团浙江有限公司 | 一种人脸图片光照评价方法、装置、计算设备和存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030231347A1 (en) * | 2002-02-26 | 2003-12-18 | Toshie Imai | Image processing apparatus, image processing method, image processing program, and medium recording the image processing program |
JP2006285064A (ja) * | 2005-04-04 | 2006-10-19 | Matsushita Electric Ind Co Ltd | 画像表示装置 |
US20090310828A1 (en) * | 2007-10-12 | 2009-12-17 | The University Of Houston System | An automated method for human face modeling and relighting with application to face recognition |
US20100265356A1 (en) * | 2005-05-19 | 2010-10-21 | Hiroaki Takano | Image processing method, image processing apparatus, image capturing appartus and image processing program |
US20110150358A1 (en) * | 2009-12-18 | 2011-06-23 | Tandent Vision Science, Inc. | Method and system for factoring an illumination image |
CN102385753A (zh) * | 2011-11-17 | 2012-03-21 | 江苏大学 | 一种基于光照分类的自适应图像分割方法 |
US20120170027A1 (en) * | 2010-06-17 | 2012-07-05 | Panasonic Corporation | External light glare assessment device, line of sight detection device and external light glare assessment method |
US20120183213A1 (en) * | 2009-09-03 | 2012-07-19 | National Ict Australia Limited | Illumination spectrum recovery |
JP2015080647A (ja) * | 2013-10-23 | 2015-04-27 | パナソニックIpマネジメント株式会社 | 撮影画像表示装置 |
WO2017036160A1 (zh) * | 2015-09-06 | 2017-03-09 | 广州广电运通金融电子股份有限公司 | 人脸识别的眼镜消除方法 |
US20170186222A1 (en) * | 2014-09-26 | 2017-06-29 | Canon Kabushiki Kaisha | Image processing apparatus and control method thereof |
US20170244882A1 (en) * | 2016-02-18 | 2017-08-24 | Canon Kabushiki Kaisha | Image processing apparatus, image capture apparatus, and control method |
JP2017162030A (ja) * | 2016-03-07 | 2017-09-14 | パナソニック株式会社 | 画像評価方法、画像評価プログラム、及び画像評価装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004021373A (ja) | 2002-06-13 | 2004-01-22 | Matsushita Electric Ind Co Ltd | 物体及び光源情報推定方法並びに物体及び光源情報推定装置 |
JP5390943B2 (ja) | 2008-07-16 | 2014-01-15 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP2015115041A (ja) * | 2013-12-16 | 2015-06-22 | ソニー株式会社 | 画像処理装置と画像処理方法 |
JP6641181B2 (ja) * | 2016-01-06 | 2020-02-05 | キヤノン株式会社 | 画像処理装置および撮像装置、それらの制御方法ならびにプログラム |
WO2017149687A1 (ja) * | 2016-03-02 | 2017-09-08 | 株式会社日立製作所 | 撮像装置 |
JP6662745B2 (ja) * | 2016-10-04 | 2020-03-11 | 株式会社ソニー・インタラクティブエンタテインメント | 撮影装置、情報処理システム、および偏光画像処理方法 |
-
2017
- 2017-10-16 CN CN201710970321.8A patent/CN109670389B/zh active Active
-
2018
- 2018-10-12 JP JP2018193664A patent/JP7196519B2/ja active Active
- 2018-10-12 US US16/159,031 patent/US10885308B2/en active Active
- 2018-10-12 EP EP18200090.1A patent/EP3471018B1/en active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030231347A1 (en) * | 2002-02-26 | 2003-12-18 | Toshie Imai | Image processing apparatus, image processing method, image processing program, and medium recording the image processing program |
JP2006285064A (ja) * | 2005-04-04 | 2006-10-19 | Matsushita Electric Ind Co Ltd | 画像表示装置 |
US20100265356A1 (en) * | 2005-05-19 | 2010-10-21 | Hiroaki Takano | Image processing method, image processing apparatus, image capturing appartus and image processing program |
US20090310828A1 (en) * | 2007-10-12 | 2009-12-17 | The University Of Houston System | An automated method for human face modeling and relighting with application to face recognition |
US20120183213A1 (en) * | 2009-09-03 | 2012-07-19 | National Ict Australia Limited | Illumination spectrum recovery |
US20110150358A1 (en) * | 2009-12-18 | 2011-06-23 | Tandent Vision Science, Inc. | Method and system for factoring an illumination image |
US20120170027A1 (en) * | 2010-06-17 | 2012-07-05 | Panasonic Corporation | External light glare assessment device, line of sight detection device and external light glare assessment method |
CN102385753A (zh) * | 2011-11-17 | 2012-03-21 | 江苏大学 | 一种基于光照分类的自适应图像分割方法 |
JP2015080647A (ja) * | 2013-10-23 | 2015-04-27 | パナソニックIpマネジメント株式会社 | 撮影画像表示装置 |
US20170186222A1 (en) * | 2014-09-26 | 2017-06-29 | Canon Kabushiki Kaisha | Image processing apparatus and control method thereof |
WO2017036160A1 (zh) * | 2015-09-06 | 2017-03-09 | 广州广电运通金融电子股份有限公司 | 人脸识别的眼镜消除方法 |
US20170244882A1 (en) * | 2016-02-18 | 2017-08-24 | Canon Kabushiki Kaisha | Image processing apparatus, image capture apparatus, and control method |
JP2017162030A (ja) * | 2016-03-07 | 2017-09-14 | パナソニック株式会社 | 画像評価方法、画像評価プログラム、及び画像評価装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111274952A (zh) * | 2020-01-20 | 2020-06-12 | 新疆爱华盈通信息技术有限公司 | 背光人脸图像处理方法、人脸识别方法 |
CN116071807A (zh) * | 2023-03-06 | 2023-05-05 | 深圳市网联天下科技有限公司 | 基于视频监控的校园一卡通智能预警方法及系统 |
CN116071807B (zh) * | 2023-03-06 | 2023-06-16 | 深圳市网联天下科技有限公司 | 基于视频监控的校园一卡通智能预警方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
US20190114468A1 (en) | 2019-04-18 |
CN109670389B (zh) | 2023-04-07 |
EP3471018B1 (en) | 2023-10-11 |
EP3471018A1 (en) | 2019-04-17 |
US10885308B2 (en) | 2021-01-05 |
JP2019075118A (ja) | 2019-05-16 |
JP7196519B2 (ja) | 2022-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11151397B2 (en) | Liveness testing methods and apparatuses and image processing methods and apparatuses | |
US10133921B2 (en) | Methods and apparatus for capturing, processing, training, and detecting patterns using pattern recognition classifiers | |
CN109670389A (zh) | 评价人脸图像中的光照条件的方法和设备 | |
US11222222B2 (en) | Methods and apparatuses for liveness detection, electronic devices, and computer readable storage media | |
Baggio | Mastering OpenCV with practical computer vision projects | |
AU2011253980B2 (en) | Method, apparatus and system for identifying distracting elements in an image | |
US9092668B2 (en) | Identifying picture areas based on gradient image analysis | |
WO2016070354A1 (en) | Avatar video apparatus and method | |
US20230030267A1 (en) | Method and apparatus for selecting face image, device, and storage medium | |
CN102890780B (zh) | 图像处理装置和方法 | |
AbuNaser et al. | Underwater image enhancement using particle swarm optimization | |
CN109086747A (zh) | 使用肤色检测的视频流的姿势预处理 | |
CN108764352A (zh) | 重复页面内容检测方法和装置 | |
US20190362226A1 (en) | Facilitate Transfer Learning Through Image Transformation | |
Xu et al. | Fabric image recolorization based on intrinsic image decomposition | |
US8428348B2 (en) | Image analysis through neural network using image average color | |
van Werkhoven et al. | A Jungle Computing approach to common image source identification in large collections of images | |
CN108334602B (zh) | 数据标注方法和装置、电子设备、计算机存储介质 | |
CN110263741A (zh) | 视频帧提取方法、装置及终端设备 | |
Escrivá et al. | Learn OpenCV 4 by Building Projects: Build real-world computer vision and image processing applications with OpenCV and C++ | |
Jain et al. | Parallel edge detection by SOBEL algorithm using CUDA C | |
Ramakrishnan et al. | Fast GPU-Enabled Color Normalization for Digital Pathology | |
Kim et al. | Personness estimation for real-time human detection on mobile devices | |
CN110427891A (zh) | 用于识别合同的方法、装置、系统及介质 | |
AU2014277851A1 (en) | Detecting a gap between text columns from text line fragments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |