CN112541859A - 一种光照自适应的人脸图像增强方法 - Google Patents

一种光照自适应的人脸图像增强方法 Download PDF

Info

Publication number
CN112541859A
CN112541859A CN201910899396.0A CN201910899396A CN112541859A CN 112541859 A CN112541859 A CN 112541859A CN 201910899396 A CN201910899396 A CN 201910899396A CN 112541859 A CN112541859 A CN 112541859A
Authority
CN
China
Prior art keywords
illumination
image
face image
enhancement
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910899396.0A
Other languages
English (en)
Other versions
CN112541859B (zh
Inventor
徐望明
靳晓缘
伍世虔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN201910899396.0A priority Critical patent/CN112541859B/zh
Publication of CN112541859A publication Critical patent/CN112541859A/zh
Application granted granted Critical
Publication of CN112541859B publication Critical patent/CN112541859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了属于图像处理和人脸识别领域的一种光照自适应的人脸图像增强方法。包括以下步骤：1）计算输入人脸图像的平均亮度；2）将其与经统计学习得到的正常光照人脸图像的亮度区间进行比较，判定其光照水平，分为低光照、高光照或正常光照；3）对判定为低光照或高光照的人脸图像，基于相机响应模型和曝光融合的方法进行光照增强处理，对于判定为正常光照的人脸图像，则不进行处理，直接输出；4）对上一步增强后的人脸图像再次计算平均亮度并判定光照水平，迭代执行以上图像增强操作，直到最终输出正常光照水平的人脸图像为止。本发明增强后的人脸图像可无缝接入现有人脸识别算法作为输入，改善现有人脸识别系统在复杂光照条件下的性能。

Description

一种光照自适应的人脸图像增强方法
技术领域
本发明属于图像处理和人脸识别领域，具体涉及一种光照自适应的人脸图像增强方法。
背景技术
人脸识别技术近年来在可控条件下取得了不错的效果，出现了许多成熟的人脸识别算法和系统。但是，实际应用中由于受光照、表情、姿态等不可控因素的影响，导致同一人脸的图像在不同环境下变化很大，其中光照变化对人脸识别性能的影响最为明显，大大制约了人脸识别的应用场合。研究提高复杂光照条件下人脸识别性能的方法是一项具有挑战性的任务。近年来，国内外学者做了大量的研究工作，提出了不同的方法来实现光照鲁棒的人脸识别，主要分为三类：一是光照预处理，通过基本的图像处理技术对人脸图像进行光照调整或补偿来减小光照影响，如采用伽玛校正（Gamma Correction，GC）或直方图均衡化（Histogram Equalization，HE）的方法；二是对人脸图像进行光照归一化处理，有基于Lambert光照模型估计人脸图像中与光照无关的反射分量的方法，如基于Retinex的算法、自商图（Self-Quotient Image, SQI）算法等，还有基于滤波原理的方法，如基于高斯差分（Difference of Gaussian, DoG）滤波原理提出的可增强局部纹理的光照归一化算法(Tanand Triggs Normalization, TT)， 基于高斯滤波原理提出的韦伯脸计算方法 (Weber-faces，WEB)，基于微分滤波原理提出的梯度脸计算方法(Gradient-faces)；三是提取对于光照具有不变性的人脸特征，如基于局部二值模式（LBP）、局部三值模式（LTP）、Gabor特征以及其变种算法等构建稳定的人脸特征表示。这三类方法是从不同的角度去改善光照变化对人脸识别的影响，近年来也有一些研究通过组合这三类方法来达到更好的人脸识别效果。光照归一化方法或光照不变特征提取方法使得人脸图像的表示在大部分光照下显现出稳定性，但在人脸图像过暗、过亮、不均匀等极端情况下，仍难以获得较理想的人脸特征表示和识别效果，这说明人脸识别方法的输入图像质量也很重要，因而通过特定光照预处理增强算法改善人脸光照水平和图像质量，再与光照归一化方法以及合适的人脸特征提取算法相结合，对提高复杂光照条件下的人脸识别效果具有积极意义。
发明内容
本发明针对人脸识别场合中可能存在的光照过暗、过亮和光照不均匀的情形，旨在解决复杂光照条件下人脸图像成像质量差、影响人脸识别性能的问题，提出一种光照自适应的人脸图像增强方法。其主要特点在于：通过估计输入人脸图像以及增强后的人脸图像的光照水平进行自适应迭代式的分类处理，利用相机响应模型和虚拟曝光图像融合方案，使得实际中处于不同程度的低光照、高光照和不均匀光照条件下的人脸图像均能取得较好的增强效果，且这种光照自适应增强后的人脸图像可无缝接入现有的人脸识别算法作为输入图像，改善现有人脸识别系统的性能。
具体而言，本发明提供的一种光照自适应的人脸图像增强方法，包括以下步骤：
步骤一：对于在不同光照条件下获取的人脸图像，计算其平均亮度；步骤二：将输入人脸图像的平均亮度与经由统计学习得到的正常光照人脸图像的亮度区间进行比较，判定其光照水平，分为低光照、高光照或正常光照三种情况；步骤三：对判定为低光照或高光照人脸图像基于相机响应模型的原理产生相应虚拟的曝光良好的图像，再进行图像融合达到有针对性地光照增强的目的，对于正常光照图像，则不进行处理，直接输出；步骤四：每一次光照增强处理后，再一次计算其平均亮度并衡量光照水平，通过自适应地迭代以上图像增强处理过程，直到最终输出正常光照水平的人脸图像为止。
在上述技术方案中，所述步骤一包括以下步骤：
对于任意输入的人脸图像，若为灰度图像，则直接计算其平均灰度值作为平均亮度；若为彩色图像，则先转换为灰度图像或直接计算其亮度分量通道图像，再求平均亮度。
在上述技术方案中，所述步骤二包括以下步骤：
对人脸识别系统中正常光照条件下采集到的注册的训练集样本进行统计，计算每个样本的平均亮度
Figure 931027DEST_PATH_IMAGE001
，
Figure 910484DEST_PATH_IMAGE002
，
Figure 752538DEST_PATH_IMAGE003
表示样本的总数，然后求所有样本的平均值
Figure 147747DEST_PATH_IMAGE004
和标准差
Figure 24436DEST_PATH_IMAGE005
，则正常光照亮度区间可以表示为：
Figure 846899DEST_PATH_IMAGE006
，其中，
Figure 113932DEST_PATH_IMAGE007
表示可调系数；设输入人脸图像的平均亮度为
Figure 375149DEST_PATH_IMAGE008
，则通过与正常光照亮度区间的上下限进行比较，可将其分为3类：（1）当
Figure 44028DEST_PATH_IMAGE009
时，该图像属于低光照图像；（2）当
Figure 102638DEST_PATH_IMAGE010
时，该图像属于高光照图像；（3）当
Figure 856968DEST_PATH_IMAGE011
时，该图像属于正常光照图像；
可调系数
Figure 656296DEST_PATH_IMAGE012
决定了正常光照亮度区间的长度，设图像的灰度值均归一化到区间
Figure 179682DEST_PATH_IMAGE013
，确定合适的系数
Figure 671843DEST_PATH_IMAGE012
需要同时满足3个条件使最终确定的正常光照亮度区间处于中等照度范围且尽量紧凑且：（1）正常光照亮度区间要包含0.5，即
Figure 913468DEST_PATH_IMAGE014
；（2）正常光照亮度区间长度要至少包含10%的值域空间，即
Figure 250909DEST_PATH_IMAGE015
；（3）考虑用于统计分析的部分样本可能含有噪声，定义样本包含率
Figure 894380DEST_PATH_IMAGE016
，其中N为训练集的样本总数，M表示平均亮度落在区间
Figure 291863DEST_PATH_IMAGE017
上的训练集样本数，当设定
Figure 20785DEST_PATH_IMAGE018
至少满足某个比率时，要使得正常光照亮度区间长度
Figure 161916DEST_PATH_IMAGE019
最小。
在上述技术方案中，所述步骤三包括以下步骤：
对于平均亮度处于所确定的正常光照范围之内的人脸图像，即正常光照图像，则不进行处理，直接输出；对于平均亮度处于所确定的正常光照范围之外的人脸图像，即低光照或高光照人脸图像，分别使用对应的图像增强技术对其进行光照增强，使其平均亮度向正常光照水平靠拢；
（1）针对低光照图像增强，首先利用能反映相机响应的亮度映射函数（BrightnessMapping Function, BMF）
Figure 659893DEST_PATH_IMAGE020
对原始低光照图像
Figure 493857DEST_PATH_IMAGE021
进行曝光增强，选择合适的曝光率
Figure 444496DEST_PATH_IMAGE022
生成一张虚拟曝光图像
Figure 389318DEST_PATH_IMAGE023
，即
Figure 741802DEST_PATH_IMAGE024
，然后设计合适的权重矩阵
Figure 684350DEST_PATH_IMAGE025
，将这两幅不同曝光的图像进行融合，融合公式为
Figure 187531DEST_PATH_IMAGE026
；一旦BMF函数给定，通过设置不同的
Figure 670465DEST_PATH_IMAGE022
值，可生成不同曝光率的虚拟图像
Figure 143035DEST_PATH_IMAGE023
，为了找到最佳曝光率
Figure 318801DEST_PATH_IMAGE022
，以使得虚拟曝光图像
Figure 244032DEST_PATH_IMAGE023
在原始图像
Figure 468340DEST_PATH_IMAGE021
曝光不足的位置变得曝光良好，先通过公式
Figure 654471DEST_PATH_IMAGE027
排除
Figure 938821DEST_PATH_IMAGE021
中曝光良好的像素，获得曝光不足的像素点，其中
Figure 351348DEST_PATH_IMAGE028
为图像
Figure 379347DEST_PATH_IMAGE021
的光照图（Illumination Map），可基于Retinex模型的方法进行计算得到, 故Q只包含曝光不足的像素点；使用集合Q中所有像素的亮度矩阵B来估计曝光率，设矩阵B的信息熵为
Figure 623247DEST_PATH_IMAGE029
，
Figure 812919DEST_PATH_IMAGE030
代表在矩阵B中每个灰度等级
Figure 837376DEST_PATH_IMAGE031
出现的概率，使用图像熵最大化原则来求解最佳曝光率
Figure 403487DEST_PATH_IMAGE032
；对于图像融合公式中权重矩阵W的计算公式为
Figure 770402DEST_PATH_IMAGE033
，其中，T是前述能反映场景照明程度的光照图，
Figure 130976DEST_PATH_IMAGE034
是控制增强度的参数，即为曝光良好的像素分配较大的权重值；
（2）对于高光照图像增强，先将输入的高光照人脸图像
Figure 580412DEST_PATH_IMAGE021
的灰度值进行反转：
Figure 950213DEST_PATH_IMAGE035
，这样
Figure 903126DEST_PATH_IMAGE036
就是低光照图像，同样可用上述低光照图像增强方法对其进行虚拟曝光图像融合处理，得到融合图像
Figure 700180DEST_PATH_IMAGE037
，最后再通过一次灰度值反转操作
Figure 371333DEST_PATH_IMAGE038
得到增强结果。
在上述技术方案中，所述步骤四包括以下步骤：
对步骤三增强过后的图像，重新按步骤一计算其平均亮度，并按步骤二与所确定的正常光照强度区间再次进行比较，从而进一步按步骤三分类处理来达到光照自适应增强的目的，直到最终输出正常光照水平的人脸图像为止；实际实现时，会设置一个最大增强处理的迭代次数N，在保证大多数图像的光照水平在迭代次数内能达到区间上的同时，为了提高计算效率，N也要尽量的小，一般取3~4比较合适。
本发明提供的一种光照自适应的人脸图像增强方法，具有以下有益效果：（1）通过统计学习的方式估计正常光照条件下人脸图像的平均亮度分布区间，有助于根据输入人脸图像的平均亮度确定其光照水平，从而分类进行相应的有针对性的图像增强处理，由于在实际部署的人脸识别系统中，注册的人脸样本一般是在正常光照条件下采集的，作为人脸识别时比对的对象，这种方法易于在实际系统中推广；（2）利用相机响应模型和图像熵最大化方法自适应地求得生成虚拟曝光图像的最优曝光率，再进行虚拟曝光图像融合，有助于更快地收敛图像增强的过程，减少迭代次数，提高计算效率，以满足复杂光照条件下人脸识别实时性的要求。
附图说明
图1是本发明光照自适应的人脸图像增强方法流程图。
具体实施方式
下面结合附图和实施例对本发明的实施方式进行详细阐述，但该实施例不应理解为对本发明的限制。
参见图1，本发明所描述的一种光照自适应的人脸图像增强方法，包括以下步骤：
步骤一：对于在不同光照条件下获取的人脸图像，计算其平均亮度；步骤二：将输入人脸图像的平均亮度与经由统计学习得到的正常光照人脸图像的亮度区间进行比较，判定其光照水平，分为低光照、高光照或正常光照三种情况；步骤三：对判定为低光照或高光照人脸图像基于相机响应模型的原理产生相应虚拟的曝光良好的图像，再进行图像融合达到有针对性地光照增强的目的，对于正常光照图像，则不进行处理，直接输出；步骤四：每一次光照增强处理后，再一次计算其平均亮度并衡量光照水平，通过自适应地迭代以上图像增强处理过程，直到最终输出正常光照水平的人脸图像为止。
在上述技术方案中，所述步骤一包括以下步骤：
对于任意输入的人脸图像，若为灰度图像，则直接计算其平均灰度值作为平均亮度；若为彩色图像，则先转换为灰度图像或直接计算其亮度分量通道图像，再求平均亮度；
在上述技术方案中，所述步骤二包括以下步骤：
对人脸识别系统中正常光照条件下采集到的注册的训练集样本进行统计，计算每个样本的平均亮度
Figure 544826DEST_PATH_IMAGE001
，
Figure 617824DEST_PATH_IMAGE002
，
Figure 585780DEST_PATH_IMAGE003
表示样本的总数，然后求所有样本的平均值
Figure 744229DEST_PATH_IMAGE004
和标准差
Figure 455833DEST_PATH_IMAGE005
，则正常光照亮度区间可以表示为：
Figure 321021DEST_PATH_IMAGE006
，其中，
Figure 522195DEST_PATH_IMAGE007
表示可调系数；设输入人脸图像的平均亮度为
Figure 105623DEST_PATH_IMAGE008
，则通过与正常光照亮度区间的上下限进行比较，可将其分为3类：（1）当
Figure 417655DEST_PATH_IMAGE009
时，该图像属于低光照图像；（2）当
Figure 402929DEST_PATH_IMAGE010
时，该图像属于高光照图像；（3）当
Figure 766215DEST_PATH_IMAGE011
时，该图像属于正常光照图像；
可调系数
Figure 899257DEST_PATH_IMAGE012
决定了正常光照亮度区间的长度，设图像的灰度值均归一化到区间
Figure 14980DEST_PATH_IMAGE013
，确定合适的系数
Figure 854760DEST_PATH_IMAGE012
需要同时满足3个条件使最终确定的正常光照亮度区间处于中等照度范围且尽量紧凑且：（1）正常光照亮度区间要包含0.5，即
Figure 397737DEST_PATH_IMAGE014
；（2）正常光照亮度区间长度要至少包含10%的值域空间，即
Figure 690178DEST_PATH_IMAGE015
；（3）考虑用于统计分析的部分样本可能含有噪声，定义样本包含率
Figure 609592DEST_PATH_IMAGE016
，其中N为训练集的样本总数，M表示平均亮度落在区间
Figure 366196DEST_PATH_IMAGE017
上的训练集样本数，当设定
Figure 17757DEST_PATH_IMAGE018
至少满足某个比率时，要使得正常光照亮度区间长度
Figure 125390DEST_PATH_IMAGE019
最小。
在上述技术方案中，所述步骤三包括以下步骤：
对于平均亮度处于所确定的正常光照范围之内的人脸图像，即正常光照图像，则不进行处理，直接输出；对于平均亮度处于所确定的正常光照范围之外的人脸图像，即低光照或高光照人脸图像，分别使用对应的图像增强技术对其进行光照增强，使其平均亮度向正常光照水平靠拢；
（1）针对低光照图像增强，首先利用能反映相机响应的亮度映射函数
Figure 520600DEST_PATH_IMAGE020
对原始低光照图像
Figure 131710DEST_PATH_IMAGE021
进行曝光增强，选择合适的曝光率
Figure 284998DEST_PATH_IMAGE022
生成一张虚拟曝光图像
Figure 552031DEST_PATH_IMAGE023
，即
Figure 813248DEST_PATH_IMAGE024
，然后设计合适的权重矩阵
Figure 278865DEST_PATH_IMAGE025
，将这两幅不同曝光的图像进行融合，融合公式为
Figure 600124DEST_PATH_IMAGE026
；一旦BMF函数给定，通过设置不同的
Figure 354454DEST_PATH_IMAGE022
值，可生成不同曝光率的虚拟图像
Figure 153783DEST_PATH_IMAGE023
，为了找到最佳曝光率
Figure 677168DEST_PATH_IMAGE022
，以使得虚拟曝光图像
Figure 169329DEST_PATH_IMAGE023
在原始图像
Figure 207692DEST_PATH_IMAGE021
曝光不足的位置变得曝光良好，先通过公式
Figure 810712DEST_PATH_IMAGE027
排除
Figure 454183DEST_PATH_IMAGE021
中曝光良好的像素，获得曝光不足的像素点，其中
Figure 854596DEST_PATH_IMAGE028
为图像
Figure 645834DEST_PATH_IMAGE021
的光照图，可基于Retinex模型的方法进行计算得到, 故Q只包含曝光不足的像素点；使用集合Q中所有像素的亮度矩阵B来估计曝光率，设矩阵B的信息熵为
Figure 786966DEST_PATH_IMAGE029
，
Figure 284943DEST_PATH_IMAGE030
代表在矩阵B中每个灰度等级
Figure 853328DEST_PATH_IMAGE031
出现的概率，使用图像熵最大化原则来求解最佳曝光率
Figure 131862DEST_PATH_IMAGE032
；对于图像融合公式中权重矩阵W的计算公式为
Figure 14368DEST_PATH_IMAGE033
，其中，T是前述能反映场景照明程度的光照图，
Figure 429168DEST_PATH_IMAGE034
是控制增强度的参数，即为曝光良好的像素分配较大的权重值；
（2）对于高光照图像增强，先将输入的高光照人脸图像
Figure 371717DEST_PATH_IMAGE021
的灰度值进行反转：
Figure 871968DEST_PATH_IMAGE035
，这样
Figure 354902DEST_PATH_IMAGE036
就是低光照图像，同样可用上述低光照图像增强方法对其进行虚拟曝光图像融合处理，得到融合图像
Figure 827472DEST_PATH_IMAGE037
，最后再通过一次灰度值反转操作
Figure 740589DEST_PATH_IMAGE038
得到增强结果；
在上述技术方案中，所述步骤四包括以下步骤：
对步骤三增强过后的图像，重新按步骤一计算其平均亮度，并按步骤二与所确定的正常光照强度区间再次进行比较，从而进一步按步骤三分类处理来达到光照自适应增强的目的，直到最终输出正常光照水平的人脸图像为止；实际实现时，会设置一个最大增强处理的迭代次数N，在保证大多数图像的光照水平在迭代次数内能达到区间上的同时，为了提高计算效率，N也要尽量的小，一般取3~4比较合适。
本专利提供的人脸图像光照增强算法可以无缝接入现有的人脸识别方法。为了验证其有效性，采用Extended Yale B人脸数据库进行人脸识别实验，在采用相同的人脸特征提取方法和分类器的前提下，与伽玛校正（GC）方法进行了对比实验研究，也在与光照归一化算法TT、WEB相结合的情况下进行了对比实验研究。Extended Yale B人脸数据库中包含38个人每个人64幅在不同光照条件下的正面人脸图像，共2432幅图像。其中，每个人又因光照方向的不同分为5个子集：子集1（0°~12°）、子集2（13°~25°）、子集3（26°~50°），子集4（51°~77°）和子集5（>77°），每个人在每个子集中对应的人脸图像数依次分别为7、12、12、14 和19。假设所有图像灰度值已归一化到取值区间
Figure 728136DEST_PATH_IMAGE039
，子集1可以作为正常光照条件下采集的图像样本，因此选取子集1作为训练集，其它4个子集分别作为测试集。按步骤一和步骤二最终确定的正常光照强度区间为[0.42,0.54]；步骤三中所使用的亮度映射函数根据选取的相机响应模型不同也有多种选择，这里取为
Figure 952444DEST_PATH_IMAGE040
，其中，相机参数
Figure 341837DEST_PATH_IMAGE041
和
Figure 626188DEST_PATH_IMAGE042
，
Figure 101032DEST_PATH_IMAGE043
，
Figure 925768DEST_PATH_IMAGE044
（参考文献Ying Z, Li G, Ren Y, et al：ANew Low-Light Image Enhancement Algorithm Using Camera Response Model, 2017IEEE International Conference on Computer Vision Workshops；Ying Z, Li G, RenY, et al：A New Image Contrast Enhancement Algorithm Using Exposure FusionFramework, 2017 International Conference on Computer Analysis of Images andPatterns）；步骤四中迭代次数N设为3。实验中，首先，采用不同光照预处理算法对人脸图像进行预处理，然后提取人脸Gabor特征并进行PCA降维，再用最近邻分类器进行人脸识别，并统计人脸识别率。实验结果表明，应用本专利方法对不同光照条件下的人脸图像进行增强处理后，人脸识别率较所比较的算法都有着不同程度的提升，体现了本方法对于增强人脸光照质量的有效性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (5)

1.一种光照自适应的人脸图像增强方法，其特征在于，包括以下步骤：
步骤一：对于在不同光照条件下获取的人脸图像，计算其平均亮度；
步骤二：将输入人脸图像的平均亮度与经由统计学习得到的正常光照人脸图像的亮度区间进行比较，判定其光照水平，分为低光照、高光照或正常光照三种情况；
步骤三：对判定为低光照或高光照人脸图像基于相机响应模型的原理产生相应虚拟的曝光良好的图像，再进行图像融合达到有针对性地光照增强的目的，对于正常光照图像，则不进行处理，直接输出；
步骤四：每一次光照增强处理后，再一次计算其平均亮度并衡量光照水平，通过自适应地迭代以上图像增强处理过程，直到最终输出正常光照水平的人脸图像为止。
2.根据权利要求1所述的一种光照自适应的人脸图像增强方法，其特征在于，所述步骤一的实现过程为：
对于任意输入的人脸图像，若为灰度图像，则直接计算其平均灰度值作为平均亮度，若为彩色图像，则先转换为灰度图像或直接计算其亮度分量通道图像，再求平均亮度。
3.根据权利要求1所述的一种光照自适应的人脸图像增强方法，其特征在于，所述步骤二的实现过程为：
对人脸识别系统中正常光照条件下采集到的注册的训练集样本进行统计，计算每个样本的平均亮度
Figure DEST_PATH_IMAGE001
，
Figure DEST_PATH_IMAGE002
，
Figure DEST_PATH_IMAGE003
表示样本的总数，然后求所有样本的平均值
Figure DEST_PATH_IMAGE004
和标准差
Figure DEST_PATH_IMAGE005
，则正常光照亮度区间可以表示为：
Figure DEST_PATH_IMAGE006
，其中，
Figure DEST_PATH_IMAGE007
表示可调系数；设输入人脸图像的平均亮度为
Figure DEST_PATH_IMAGE008
，则通过与正常光照亮度区间的上下限进行比较，可将其分为3类：（1）当
Figure DEST_PATH_IMAGE009
时，该图像属于低光照图像；（2）当
Figure DEST_PATH_IMAGE010
时，该图像属于高光照图像；（3）当
Figure DEST_PATH_IMAGE011
时，该图像属于正常光照图像；
可调系数
Figure DEST_PATH_IMAGE012
决定了正常光照亮度区间的长度，设图像的灰度值均归一化到区间
Figure DEST_PATH_IMAGE013
，确定合适的系数
Figure 98012DEST_PATH_IMAGE012
需要同时满足3个条件使最终确定的正常光照亮度区间处于中等照度范围且尽量紧凑且：（1）正常光照亮度区间要包含0.5，即
Figure DEST_PATH_IMAGE014
；（2）正常光照亮度区间长度要至少包含10%的值域空间，即
Figure DEST_PATH_IMAGE015
；（3）考虑用于统计分析的部分样本可能含有噪声，定义样本包含率
Figure DEST_PATH_IMAGE016
，其中N为训练集的样本总数，M表示平均亮度落在区间
Figure DEST_PATH_IMAGE017
上的训练集样本数，当设定
Figure DEST_PATH_IMAGE018
至少满足某个比率时，要使得正常光照亮度区间长度
Figure DEST_PATH_IMAGE019
最小。
4.根据权利要求1所述的一种光照自适应的人脸图像增强方法，其特征在于，所述步骤三的实现过程为：
对于平均亮度处于所确定的正常光照范围之内的人脸图像，即正常光照图像，则不进行处理，直接输出；对于平均亮度处于所确定的正常光照范围之外的人脸图像，即低光照或高光照人脸图像，分别使用对应的图像增强技术对其进行光照增强，使其平均亮度向正常光照水平靠拢；
（1）针对低光照图像增强，首先利用能反映相机响应的亮度映射函数
Figure DEST_PATH_IMAGE020
对原始低光照图像
Figure DEST_PATH_IMAGE021
进行曝光增强，选择合适的曝光率
Figure DEST_PATH_IMAGE022
生成一张虚拟曝光图像
Figure DEST_PATH_IMAGE023
，即
Figure DEST_PATH_IMAGE024
，然后设计合适的权重矩阵
Figure DEST_PATH_IMAGE025
，将这两幅不同曝光的图像进行融合，融合公式为
Figure DEST_PATH_IMAGE026
；一旦BMF函数给定，通过设置不同的
Figure 992412DEST_PATH_IMAGE022
值，可生成不同曝光率的虚拟图像
Figure 892235DEST_PATH_IMAGE023
，为了找到最佳曝光率
Figure 520663DEST_PATH_IMAGE022
，以使得虚拟曝光图像
Figure 556752DEST_PATH_IMAGE023
在原始图像
Figure 248152DEST_PATH_IMAGE021
曝光不足的位置变得曝光良好，先通过公式
Figure DEST_PATH_IMAGE027
排除
Figure 697588DEST_PATH_IMAGE021
中曝光良好的像素，获得曝光不足的像素点，其中
Figure DEST_PATH_IMAGE028
为图像
Figure 864127DEST_PATH_IMAGE021
的光照图，可基于Retinex模型的方法进行计算得到, 故Q只包含曝光不足的像素点；使用集合Q中所有像素的亮度矩阵B来估计曝光率，设矩阵B的信息熵为
Figure DEST_PATH_IMAGE029
，
Figure DEST_PATH_IMAGE030
代表在矩阵B中每个灰度等级
Figure DEST_PATH_IMAGE031
出现的概率，使用图像熵最大化原则来求解最佳曝光率
Figure DEST_PATH_IMAGE032
；对于图像融合公式中权重矩阵W的计算公式为
Figure DEST_PATH_IMAGE033
，其中，T是前述能反映场景照明程度的光照图，
Figure DEST_PATH_IMAGE034
是控制增强度的参数，即为曝光良好的像素分配较大的权重值；
（2）对于高光照图像增强，先将输入的高光照人脸图像
Figure 331886DEST_PATH_IMAGE021
的灰度值进行反转：
Figure DEST_PATH_IMAGE035
，这样
Figure DEST_PATH_IMAGE036
就是低光照图像，同样可用上述低光照图像增强方法对其进行虚拟曝光图像融合处理，得到融合图像
Figure DEST_PATH_IMAGE037
，最后再通过一次灰度值反转操作
Figure DEST_PATH_IMAGE038
得到增强结果。
5.根据权利要求1所述的一种光照自适应的人脸图像增强方法，其特征在于，所述步骤四的实现过程为：
对步骤三中增强后的图像，重新按步骤一计算其平均亮度，并按步骤二与所确定的正常光照强度区间再次进行比较，从而进一步按步骤三分类处理来达到光照自适应增强的目的，直到最终输出正常光照水平的人脸图像为止；实际实现时，会设置一个最大增强处理的迭代次数N，在保证大多数图像的光照水平在迭代次数内能达到区间上的同时，为了提高计算效率，N也要尽量的小，一般取3~4比较合适。
CN201910899396.0A 2019-09-23 2019-09-23 一种光照自适应的人脸图像增强方法 Active CN112541859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910899396.0A CN112541859B (zh) 2019-09-23 2019-09-23 一种光照自适应的人脸图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910899396.0A CN112541859B (zh) 2019-09-23 2019-09-23 一种光照自适应的人脸图像增强方法

Publications (2)

Publication Number Publication Date
CN112541859A true CN112541859A (zh) 2021-03-23
CN112541859B CN112541859B (zh) 2022-11-25

Family

ID=75013243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910899396.0A Active CN112541859B (zh) 2019-09-23 2019-09-23 一种光照自适应的人脸图像增强方法

Country Status (1)

Country Link
CN (1) CN112541859B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664463A (zh) * 2023-05-29 2023-08-29 中兴协力(山东)数字科技集团有限公司 两阶段的低照度图像增强方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050013501A1 (en) * 2003-07-18 2005-01-20 Kang Sing Bing System and process for generating high dynamic range images from multiple exposures of a moving scene
CN105122784A (zh) * 2012-10-24 2015-12-02 本田技研工业株式会社 在低光照和高光照状况下的对象识别
WO2018133379A1 (zh) * 2017-01-17 2018-07-26 北京大学深圳研究生院 一种低照度图像增强方法
CN110930341A (zh) * 2019-10-17 2020-03-27 杭州电子科技大学 一种基于图像融合的低光照图像增强方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050013501A1 (en) * 2003-07-18 2005-01-20 Kang Sing Bing System and process for generating high dynamic range images from multiple exposures of a moving scene
CN105122784A (zh) * 2012-10-24 2015-12-02 本田技研工业株式会社 在低光照和高光照状况下的对象识别
WO2018133379A1 (zh) * 2017-01-17 2018-07-26 北京大学深圳研究生院 一种低照度图像增强方法
US20190333200A1 (en) * 2017-01-17 2019-10-31 Peking University Shenzhen Graduate School Method for enhancing low-illumination image
CN110930341A (zh) * 2019-10-17 2020-03-27 杭州电子科技大学 一种基于图像融合的低光照图像增强方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664463A (zh) * 2023-05-29 2023-08-29 中兴协力(山东)数字科技集团有限公司 两阶段的低照度图像增强方法
CN116664463B (zh) * 2023-05-29 2024-01-30 中兴协力(山东)数字科技集团有限公司 两阶段的低照度图像增强方法

Also Published As

Publication number Publication date
CN112541859B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
CN108615226B (zh) 一种基于生成式对抗网络的图像去雾方法
WO2021007744A1 (zh) 一种集成空间约束的核模糊c均值快速聚类算法
CN108564549B (zh) 一种基于多尺度稠密连接网络的图像去雾方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN109872285A (zh) 一种基于变分约束的Retinex低照度彩色图像增强方法
CN110807742B (zh) 一种基于一体式网络的微光图像增强方法
CN111915525A (zh) 基于改进深度可分离生成对抗网络的低照度图像增强方法
CN103080979A (zh) 从照片合成肖像素描的系统和方法
CN113129236B (zh) 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统
CN105046202B (zh) 自适应的人脸识别光照处理方法
CN113313702A (zh) 基于边界约束与颜色校正的航拍图像去雾方法
CN111199245A (zh) 油菜害虫识别方法
Feng et al. Low-light image enhancement algorithm based on an atmospheric physical model
Han et al. Low contrast image enhancement using convolutional neural network with simple reflection model
CN106485226A (zh) 一种基于神经网络的视频行人检测方法
CN112288726B (zh) 一种井下带式输送机带面异物检测方法
CN112541859B (zh) 一种光照自适应的人脸图像增强方法
Hua et al. Low-light image enhancement based on joint generative adversarial network and image quality assessment
CN115526811B (zh) 一种适应于多变光照环境的自适应视觉slam方法
CN115797205A (zh) 基于Retinex分数阶变分网络的无监督单张图像增强方法及系统
CN114155590A (zh) 一种人脸识别方法
Ganesan et al. A Hybrid Face Image Contrast Enhancement Technique for Improved Face Recognition Accuracy.
CN104732503B (zh) 图像去雾增强方法和装置
Lee et al. Efficient Low Light Video Enhancement Based on Improved Retinex Algorithms
Anitha et al. GEVE: A generative adversarial network for extremely dark image/video enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant