CN112541859B - 一种光照自适应的人脸图像增强方法 - Google Patents
一种光照自适应的人脸图像增强方法 Download PDFInfo
- Publication number
- CN112541859B CN112541859B CN201910899396.0A CN201910899396A CN112541859B CN 112541859 B CN112541859 B CN 112541859B CN 201910899396 A CN201910899396 A CN 201910899396A CN 112541859 B CN112541859 B CN 112541859B
- Authority
- CN
- China
- Prior art keywords
- illumination
- image
- face image
- face
- enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 182
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000004044 response Effects 0.000 claims abstract description 11
- 230000002708 enhancing effect Effects 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 13
- 238000007500 overflow downdraw method Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了属于图像处理和人脸识别领域的一种光照自适应的人脸图像增强方法。包括以下步骤：1）计算输入人脸图像的平均亮度；2）将其与经统计学习得到的正常光照人脸图像的亮度区间进行比较，判定其光照水平，分为低光照、高光照或正常光照；3）对判定为低光照或高光照的人脸图像，基于相机响应模型和曝光融合的方法进行光照增强处理，对于判定为正常光照的人脸图像，则不进行处理，直接输出；4）对上一步增强后的人脸图像再次计算平均亮度并判定光照水平，迭代执行以上图像增强操作，直到最终输出正常光照水平的人脸图像为止。本发明增强后的人脸图像可无缝接入现有人脸识别算法作为输入，改善现有人脸识别系统在复杂光照条件下的性能。
Description
技术领域
本发明属于图像处理和人脸识别领域，具体涉及一种光照自适应的人脸图像增强方法。
背景技术
人脸识别技术近年来在可控条件下取得了不错的效果，出现了许多成熟的人脸识别算法和系统。但是，实际应用中由于受光照、表情、姿态等不可控因素的影响，导致同一人脸的图像在不同环境下变化很大，其中光照变化对人脸识别性能的影响最为明显，大大制约了人脸识别的应用场合。研究提高复杂光照条件下人脸识别性能的方法是一项具有挑战性的任务。近年来，国内外学者做了大量的研究工作，提出了不同的方法来实现光照鲁棒的人脸识别，主要分为三类：一是光照预处理，通过基本的图像处理技术对人脸图像进行光照调整或补偿来减小光照影响，如采用伽玛校正(Gamma Correction，GC)或直方图均衡化(Histogram Equalization，HE)的方法；二是对人脸图像进行光照归一化处理，有基于Lambert光照模型估计人脸图像中与光照无关的反射分量的方法，如基于Retinex的算法、自商图(Self-Quotient Image,SQI)算法等，还有基于滤波原理的方法，如基于高斯差分(Difference of Gaussian,DoG)滤波原理提出的可增强局部纹理的光照归一化算法(Tanand Triggs Normalization,TT)，基于高斯滤波原理提出的韦伯脸计算方法(Weber-faces，WEB)，基于微分滤波原理提出的梯度脸计算方法(Gradient-faces)；三是提取对于光照具有不变性的人脸特征，如基于局部二值模式(LBP)、局部三值模式(LTP)、Gabor特征以及其变种算法等构建稳定的人脸特征表示。这三类方法是从不同的角度去改善光照变化对人脸识别的影响，近年来也有一些研究通过组合这三类方法来达到更好的人脸识别效果。光照归一化方法或光照不变特征提取方法使得人脸图像的表示在大部分光照下显现出稳定性，但在人脸图像过暗、过亮、不均匀等极端情况下，仍难以获得较理想的人脸特征表示和识别效果，这说明人脸识别方法的输入图像质量也很重要，因而通过特定光照预处理增强算法改善人脸光照水平和图像质量，再与光照归一化方法以及合适的人脸特征提取算法相结合，对提高复杂光照条件下的人脸识别效果具有积极意义。
发明内容
本发明针对人脸识别场合中可能存在的光照过暗、过亮和光照不均匀的情形，旨在解决复杂光照条件下人脸图像成像质量差、影响人脸识别性能的问题，提出一种光照自适应的人脸图像增强方法。其主要特点在于：通过估计输入人脸图像以及增强后的人脸图像的光照水平进行自适应迭代式的分类处理，利用相机响应模型和虚拟曝光图像融合方案，使得实际中处于不同程度的低光照、高光照和不均匀光照条件下的人脸图像均能取得较好的增强效果，且这种光照自适应增强后的人脸图像可无缝接入现有的人脸识别算法作为输入图像，改善现有人脸识别系统的性能。
具体而言，本发明提供的一种光照自适应的人脸图像增强方法，包括以下步骤：
步骤一：对于在不同光照条件下获取的人脸图像，计算其平均亮度；步骤二：将输入人脸图像的平均亮度与经由统计学习得到的正常光照人脸图像的亮度区间进行比较，判定其光照水平，分为低光照、高光照或正常光照三种情况，所述正常光照人脸图像的亮度区间由人脸识别系统中正常光照条件下注册的所有人脸图像平均亮度的平均值和标准差确定；步骤三：对判定为低光照或高光照人脸图像基于相机响应模型的原理产生相应虚拟的曝光良好的图像，再进行图像融合达到有针对性地光照增强的目的，对于正常光照图像，则不进行处理，直接输出；步骤四：每一次光照增强处理后，再一次计算其平均亮度并衡量光照水平，通过自适应地迭代以上图像增强处理过程，直到最终输出正常光照水平的人脸图像为止。
在上述技术方案中，所述步骤一包括以下步骤：
对于任意输入的人脸图像，若为灰度图像，则直接计算其平均灰度值作为平均亮度；若为彩色图像，则先转换为灰度图像或直接计算其亮度分量通道图像，再求平均亮度。
在上述技术方案中，所述步骤二包括以下步骤：
对人脸识别系统中正常光照条件下采集到的注册的训练集样本进行统计，计算每个样本的平均亮度mi，i＝1,2,…,n，n表示样本的总数，然后求所有样本的平均值
和标准差
则正常光照人脸图像的亮度区间可以表示为：[μ-λ1σ,μ+λ2σ]，其中，λ1、λ2表示可调系数；设输入人脸图像的平均亮度为m，则通过与正常光照人脸图像的亮度区间的上下限进行比较，可将其分为3类：(1)当m<μ-λ1σ时，该图像属于低光照图像；(2)当m>μ+λ2σ时，该图像属于高光照图像；(3)当m∈[μ-λ1σ,μ+λ2σ]时，该图像属于正常光照图像；
可调系数λ1、λ2决定了正常光照人脸图像的亮度区间的长度，设图像的灰度值均归一化到区间[0,1]，确定合适的系数λ1、λ2需要同时满足3个条件使最终确定的正常光照人脸图像的亮度区间处于中等照度范围且尽量紧凑且：(1)正常光照人脸图像的亮度区间要包含0.5，即μ-λ1σ<0.5<μ+λ2σ；(2)正常光照人脸图像的亮度区间长度要至少包含10％的值域空间，即(λ2-λ1)σ≥0.1；(3)考虑用于统计分析的部分样本可能含有噪声，定义样本包含率
其中N为训练集的样本总数，M表示平均亮度落在区间[μ-λ1σ,μ+λ2σ]上的训练集样本数，当设定η至少满足某个比率时，要使得正常光照人脸图像的亮度区间长度(λ2-λ1)σ最小。
在上述技术方案中，所述步骤三包括以下步骤：
对于平均亮度处于所确定的正常光照范围之内的人脸图像，即正常光照图像，则不进行处理，直接输出；对于平均亮度处于所确定的正常光照范围之外的人脸图像，即低光照或高光照人脸图像，分别使用对应的图像增强技术对其进行光照增强，使其平均亮度向正常光照水平靠拢；
(1)针对低光照图像增强，首先利用能反映相机响应的亮度映射函数(BrightnessMapping Function,BMF)g(·,k)对原始低光照图像P0进行曝光增强，选择合适的曝光率k生成一张虚拟曝光图像P1，即P1＝g(P0,k)，然后设计合适的权重矩阵W，将这两幅不同曝光的图像进行融合，融合公式为R＝W°P0+(1-W)°P1；一旦BMF函数给定，通过设置不同的k值，可生成不同曝光率的虚拟图像P1，为了找到最佳曝光率k，以使得虚拟曝光图像P1在原始图像P0曝光不足的位置变得曝光良好，先通过公式Q＝{P0(x)|T(x)<τ}排除P0中曝光良好的像素，获得曝光不足的像素点，其中T为图像P0的光照图(Illumination Map)，可基于Retinex模型的方法进行计算得到,故Q只包含曝光不足的像素点；使用集合Q中所有像素的亮度矩阵B来估计曝光率，设矩阵B的信息熵为
pi代表在矩阵B中每个灰度等级i出现的概率，使用图像熵最大化原则来求解最佳曝光率
对于图像融合公式中权重矩阵W的计算公式为W＝Tβ，其中，T是前述能反映场景照明程度的光照图，β是控制增强度的参数，即为曝光良好的像素分配较大的权重值；
(2)对于高光照图像增强，先将输入的高光照人脸图像P0的灰度值进行反转：P0′＝1-P0，这样P0′就是低光照图像，同样可用上述低光照图像增强方法对其进行虚拟曝光图像融合处理，得到融合图像R，最后再通过一次灰度值反转操作R′＝1-R得到增强结果。
在上述技术方案中，所述步骤四包括以下步骤：
对步骤三增强过后的图像，重新按步骤一计算其平均亮度，并按步骤二与所确定的正常光照人脸图像的亮度区间再次进行比较，从而进一步按步骤三分类处理来达到光照自适应增强的目的，直到最终输出正常光照水平的人脸图像为止；实际实现时，会设置一个最大增强处理的迭代次数N，在保证大多数图像的光照水平在迭代次数内能达到区间上的同时，为了提高计算效率，N优选为3或4。
本发明提供的一种光照自适应的人脸图像增强方法，具有以下有益效果：(1)通过统计学习的方式估计正常光照条件下人脸图像的平均亮度分布区间，有助于根据输入人脸图像的平均亮度确定其光照水平，从而分类进行相应的有针对性的图像增强处理，由于在实际部署的人脸识别系统中，注册的人脸样本一般是在正常光照条件下采集的，作为人脸识别时比对的对象，这种方法易于在实际系统中推广；(2)利用相机响应模型和图像熵最大化方法自适应地求得生成虚拟曝光图像的最优曝光率，再进行虚拟曝光图像融合，有助于更快地收敛图像增强的过程，减少迭代次数，提高计算效率，以满足复杂光照条件下人脸识别实时性的要求。
附图说明
图1是本发明光照自适应的人脸图像增强方法流程图
具体实施方式
下面结合附图和实施例对本发明的实施方式进行详细阐述，但该实施例不应理解为对本发明的限制。
参见图1，本发明所描述的一种光照自适应的人脸图像增强方法，包括以下步骤：
步骤一：对于在不同光照条件下获取的人脸图像，计算其平均亮度；步骤二：将输入人脸图像的平均亮度与经由统计学习得到的正常光照人脸图像的亮度区间进行比较，判定其光照水平，分为低光照、高光照或正常光照三种情况，所述正常光照人脸图像的亮度区间由人脸识别系统中正常光照条件下注册的所有人脸图像平均亮度的平均值和标准差确定；步骤三：对判定为低光照或高光照人脸图像基于相机响应模型的原理产生相应虚拟的曝光良好的图像，再进行图像融合达到有针对性地光照增强的目的，对于正常光照图像，则不进行处理，直接输出；步骤四：每一次光照增强处理后，再一次计算其平均亮度并衡量光照水平，通过自适应地迭代以上图像增强处理过程，直到最终输出正常光照水平的人脸图像为止。
在上述技术方案中，所述步骤一包括以下步骤：
对于任意输入的人脸图像，若为灰度图像，则直接计算其平均灰度值作为平均亮度；若为彩色图像，则先转换为灰度图像或直接计算其亮度分量通道图像，再求平均亮度；
在上述技术方案中，所述步骤二包括以下步骤：
对人脸识别系统中正常光照条件下采集到的注册的训练集样本进行统计，计算每个样本的平均亮度mi，i＝1,2,…,n，n表示样本的总数，然后求所有样本的平均值
和标准差
则正常光照人脸图像的亮度区间可以表示为：[μ-λ1σ,μ+λ2σ]，其中，λ1、λ2表示可调系数；设输入人脸图像的平均亮度为m，则通过与正常光照人脸图像的亮度区间的上下限进行比较，可将其分为3类：(1)当m<μ-λ1σ时，该图像属于低光照图像；(2)当m>μ+λ2σ时，该图像属于高光照图像；(3)当m∈[μ-λ1σ,μ+λ2σ]时，该图像属于正常光照图像；
可调系数λ1、λ2决定了正常光照人脸图像的亮度区间的长度，设图像的灰度值均归一化到区间[0,1]，确定合适的系数λ1、λ2需要同时满足3个条件使最终确定的正常光照人脸图像的亮度区间处于中等照度范围且尽量紧凑且：(1)正常光照人脸图像的亮度区间要包含0.5，即μ-λ1σ<0.5<μ+λ2σ；(2)正常光照人脸图像的亮度区间长度要至少包含10％的值域空间，即(λ2-λ1)σ≥0.1；(3)考虑用于统计分析的部分样本可能含有噪声，定义样本包含率
其中N为训练集的样本总数，M表示平均亮度落在区间[μ-λ1σ,μ+λ2σ]上的训练集样本数，当设定η至少满足某个比率时，要使得正常光照人脸图像的亮度区间长度(λ2-λ1)σ最小。
在上述技术方案中，所述步骤三包括以下步骤：
对于平均亮度处于所确定的正常光照范围之内的人脸图像，即正常光照图像，则不进行处理，直接输出；对于平均亮度处于所确定的正常光照范围之外的人脸图像，即低光照或高光照人脸图像，分别使用对应的图像增强技术对其进行光照增强，使其平均亮度向正常光照水平靠拢；
(1)针对低光照图像增强，首先利用能反映相机响应的亮度映射函数g(·,k)对原始低光照图像P0进行曝光增强，选择合适的曝光率k生成一张虚拟曝光图像P1，即P1＝g(P0,k)，然后设计合适的权重矩阵W，将这两幅不同曝光的图像进行融合，融合公式为R＝W°P0+(1-W)°P1；一旦BMF函数给定，通过设置不同的k值，可生成不同曝光率的虚拟图像P1，为了找到最佳曝光率k，以使得虚拟曝光图像P1在原始图像P0曝光不足的位置变得曝光良好，先通过公式Q＝{P0(x)|T(x)<τ}排除P0中曝光良好的像素，获得曝光不足的像素点，其中T为图像P0的光照图，可基于Retinex模型的方法进行计算得到,故Q只包含曝光不足的像素点；使用集合Q中所有像素的亮度矩阵B来估计曝光率，设矩阵B的信息熵为
pi代表在矩阵B中每个灰度等级i出现的概率，使用图像熵最大化原则来求解最佳曝光率
对于图像融合公式中权重矩阵W的计算公式为W＝Tβ，其中，T是前述能反映场景照明程度的光照图，β是控制增强度的参数，即为曝光良好的像素分配较大的权重值；
(2)对于高光照图像增强，先将输入的高光照人脸图像P0的灰度值进行反转：P0′＝1-P0，这样P0′就是低光照图像，同样可用上述低光照图像增强方法对其进行虚拟曝光图像融合处理，得到融合图像R，最后再通过一次灰度值反转操作R′＝1-R得到增强结果；
在上述技术方案中，所述步骤四包括以下步骤：
对步骤三增强过后的图像，重新按步骤一计算其平均亮度，并按步骤二与所确定的正常光照人脸图像的亮度区间再次进行比较，从而进一步按步骤三分类处理来达到光照自适应增强的目的，直到最终输出正常光照水平的人脸图像为止；实际实现时，会设置一个最大增强处理的迭代次数N，在保证大多数图像的光照水平在迭代次数内能达到区间上的同时，为了提高计算效率，N优选为3或4。
本专利提供的人脸图像光照增强算法可以无缝接入现有的人脸识别方法。为了验证其有效性，采用Extended Yale B人脸数据库进行人脸识别实验，在采用相同的人脸特征提取方法和分类器的前提下，与伽玛校正(GC)方法进行了对比实验研究，也在与光照归一化算法TT、WEB相结合的情况下进行了对比实验研究。Extended Yale B人脸数据库中包含38个人每个人64幅在不同光照条件下的正面人脸图像，共2432幅图像。其中，每个人又因光照方向的不同分为5个子集：子集1(0°～12°)、子集2(13°～25°)、子集3(26°～50°)，子集4(51°～77°)和子集5(>77°)，每个人在每个子集中对应的人脸图像数依次分别为7、12、12、14和19。假设所有图像灰度值已归一化到取值区间[0,1]，子集1可以作为正常光照条件下采集的图像样本，因此选取子集1作为训练集，其它4个子集分别作为测试集。按步骤一和步骤二最终确定的正常光照人脸图像的亮度区间为[0.42,0.54]；步骤三中所使用的亮度映射函数根据选取的相机响应模型不同也有多种选择，这里取为
其中，相机参数a＝-0.3293和b＝1.1258，τ＝0.5，β＝0.5(参考文献Ying Z,Li G,Ren Y,etal：A New Low-Light Image Enhancement Algorithm Using Camera Response Model,2017IEEE International Conference on Computer Vision Workshops；Ying Z,Li G,Ren Y,et al：A New Image Contrast Enhancement Algorithm Using Exposure FusionFramework,2017International Conference on Computer Analysis of Images andPatterns)；步骤四中迭代次数N设为3。实验中，首先，采用不同光照预处理算法对人脸图像进行预处理，然后提取人脸Gabor特征并进行PCA降维，再用最近邻分类器进行人脸识别，并统计人脸识别率。实验结果表明，应用本专利方法对不同光照条件下的人脸图像进行增强处理后，人脸识别率较所比较的算法都有着不同程度的提升，体现了本方法对于增强人脸光照质量的有效性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (6)
1.一种光照自适应的人脸图像增强方法，其特征在于，包括以下步骤：
步骤一：对于在不同光照条件下获取的人脸图像，计算其平均亮度；
步骤二：将输入人脸图像的平均亮度与经由统计学习得到的正常光照人脸图像的亮度区间进行比较，判定其光照水平，分为低光照、高光照或正常光照三种情况，所述正常光照人脸图像的亮度区间由人脸识别系统中正常光照条件下注册的所有人脸图像平均亮度的平均值μ和标准差σ确定，表示为[μ-λ1σ，μ+λ2σ]，其中λ1、λ2是可调系数；
步骤三：对判定为低光照或高光照人脸图像基于相机响应模型的原理产生相应虚拟的曝光良好的图像，再进行图像融合达到有针对性地光照增强的目的，对于正常光照图像，则不进行处理，直接输出；
步骤四：每一次光照增强处理后，再一次计算其平均亮度并衡量光照水平，通过自适应地迭代以上图像增强处理过程，直到最终输出正常光照水平的人脸图像为止。
2.根据权利要求1所述的一种光照自适应的人脸图像增强方法，其特征在于，所述步骤一的实现过程为：
对于任意输入的人脸图像，若为灰度图像，则直接计算其平均灰度值作为平均亮度，若为彩色图像，则先转换为灰度图像或直接计算其亮度分量通道图像，再求平均亮度。
3.根据权利要求1所述的一种光照自适应的人脸图像增强方法，其特征在于，所述步骤二的实现过程为：
对人脸识别系统中正常光照条件下采集到的注册的训练集样本进行统计，计算每个样本的平均亮度mi，i＝1，2，...，n，n表示样本的总数，然后求所有样本的平均值
和标准差
则正常光照人脸图像的亮度区间表示为[μ-λ1σ，μ+λ2σ]，其中λ1、λ2是可调系数；设输入人脸图像的平均亮度为m，则通过与正常光照人脸图像的亮度区间的上下限进行比较，可将其分为3类：(1)当m＜μ-λ1σ时，该图像属于低光照图像；(2)当m＞μ+λ2σ时，该图像属于高光照图像；(3)当m∈[μ-λ1σ，μ+λ2σ]时，该图像属于正常光照图像；
可调系数λ1、λ2决定了正常光照人脸图像的亮度区间的长度，设图像的灰度值均归一化到区间[0，1]，确定合适的系数λ1、λ2需要同时满足3个条件使最终确定的正常光照人脸图像的亮度区间处于中等照度范围且尽量紧凑且：(1)正常光照人脸图像的亮度区间要包含0.5，即μ-λ1σ＜0.5＜μ+λ2σ；(2)正常光照人脸图像的亮度区间长度要至少包含10％的值域空间，即(λ2-λ1)σ≥0.1；(3)考虑用于统计分析的部分样本可能含有噪声，定义样本包含率
其中N为训练集的样本总数，M表示平均亮度落在区间[μ-λ1σ，μ+λ2σ]上的训练集样本数，当设定η至少满足某个比率时，要使得正常光照人脸图像的亮度区间长度(λ2-λ1)σ最小。
4.根据权利要求1所述的一种光照自适应的人脸图像增强方法，其特征在于，所述步骤三的实现过程为：
对于平均亮度处于所确定的正常光照范围之内的人脸图像，即正常光照图像，则不进行处理，直接输出；对于平均亮度处于所确定的正常光照范围之外的人脸图像，即低光照或高光照人脸图像，分别使用对应的图像增强技术对其进行光照增强，使其平均亮度向正常光照水平靠拢；
(1)针对低光照图像增强，首先利用能反映相机响应的亮度映射函数g(·，k)对原始低光照图像P0进行曝光增强，选择合适的曝光率k生成一张虚拟曝光图像P1，即P1＝g(P0，k)，然后设计合适的权重矩阵W，将这两幅不同曝光的图像进行融合，融合公式为
一旦BMF函数给定，通过设置不同的k值，可生成不同曝光率的虚拟图像P1，为了找到最佳曝光率k，以使得虚拟曝光图像P1在原始图像P0曝光不足的位置变得曝光良好，先通过公式Q＝{P0(x)|T(x)＜τ}排除P0中曝光良好的像素，获得曝光不足的像素点，其中T为图像P0的光照图，可基于Retinex模型的方法进行计算得到，故Q只包含曝光不足的像素点；使用集合Q中所有像素的亮度矩阵B来估计曝光率，设矩阵B的信息熵为
pi代表在矩阵B中每个灰度等级i出现的概率，使用图像熵最大化原则来求解最佳曝光率
对于图像融合公式中权重矩阵W的计算公式为W＝Tβ，其中，T是前述能反映场景照明程度的光照图，β是控制增强度的参数，即为曝光良好的像素分配较大的权重值；
(2)对于高光照图像增强，先将输入的高光照人脸图像P0的灰度值进行反转：P0′＝1-P0，这样P0′就是低光照图像，同样可用上述低光照图像增强方法对其进行虚拟曝光图像融合处理，得到融合图像R，最后再通过一次灰度值反转操作R′＝1-R得到增强结果。
5.根据权利要求1所述的一种光照自适应的人脸图像增强方法，其特征在于，所述步骤四的实现过程为：
对步骤三中增强后的图像，重新按步骤一计算其平均亮度，并按步骤二与所确定的正常光照人脸图像的亮度区间再次进行比较，从而进一步按步骤三分类处理来达到光照自适应增强的目的，直到最终输出正常光照水平的人脸图像为止；实际实现时，要设置最大增强处理的迭代次数N。
6.根据权利要求5所述的一种光照自适应的人脸图像增强方法， 步骤四的实现过程，其特征在于，所述要设置的最大增强处理的迭代次数N取为3或4，以提高计算效率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910899396.0A CN112541859B (zh) | 2019-09-23 | 2019-09-23 | 一种光照自适应的人脸图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910899396.0A CN112541859B (zh) | 2019-09-23 | 2019-09-23 | 一种光照自适应的人脸图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112541859A CN112541859A (zh) | 2021-03-23 |
| CN112541859B true CN112541859B (zh) | 2022-11-25 |
Family
ID=75013243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910899396.0A Active CN112541859B (zh) | 2019-09-23 | 2019-09-23 | 一种光照自适应的人脸图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112541859B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116664463B (zh) * | 2023-05-29 | 2024-01-30 | 中兴协力(山东)数字科技集团有限公司 | 两阶段的低照度图像增强方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105122784A (zh) * | 2012-10-24 | 2015-12-02 | 本田技研工业株式会社 | 在低光照和高光照状况下的对象识别 |
| WO2018133379A1 (zh) * | 2017-01-17 | 2018-07-26 | 北京大学深圳研究生院 | 一种低照度图像增强方法 |
| CN110930341A (zh) * | 2019-10-17 | 2020-03-27 | 杭州电子科技大学 | 一种基于图像融合的低光照图像增强方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7142723B2 (en) * | 2003-07-18 | 2006-11-28 | Microsoft Corporation | System and process for generating high dynamic range images from multiple exposures of a moving scene |
-
2019
- 2019-09-23 CN CN201910899396.0A patent/CN112541859B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105122784A (zh) * | 2012-10-24 | 2015-12-02 | 本田技研工业株式会社 | 在低光照和高光照状况下的对象识别 |
| WO2018133379A1 (zh) * | 2017-01-17 | 2018-07-26 | 北京大学深圳研究生院 | 一种低照度图像增强方法 |
| CN110930341A (zh) * | 2019-10-17 | 2020-03-27 | 杭州电子科技大学 | 一种基于图像融合的低光照图像增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112541859A (zh) | 2021-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113313657B (zh) | 一种用于低光照图像增强的非监督学习方法和系统 | |
| CN109684922B (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
| WO2019233297A1 (zh) | 数据集的构建方法、移动终端、可读存储介质 | |
| CN110211126B (zh) | 基于直觉模糊c均值聚类的图像分割方法 | |
| CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| Ghanta et al. | Wavelet domain detection of rust in steel bridge images | |
| CN110322445B (zh) | 基于最大化预测和标签间相关性损失函数的语义分割方法 | |
| CN110084149B (zh) | 一种基于难样本四元组动态边界损失函数的人脸验证方法 | |
| CN102625030B (zh) | 视频增强方法和系统 | |
| CN111814821B (zh) | 深度学习模型的建立方法、样本处理方法及装置 | |
| CN111915525A (zh) | 基于改进深度可分离生成对抗网络的低照度图像增强方法 | |
| CN103080979A (zh) | 从照片合成肖像素描的系统和方法 | |
| CN113420794B (zh) | 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法 | |
| Wang et al. | Weak‐Light Image Enhancement Method Based on Adaptive Local Gamma Transform and Color Compensation | |
| CN110807742A (zh) | 一种基于一体式网络的微光图像增强方法 | |
| CN111507416B (zh) | 一种基于深度学习的吸烟行为实时检测方法 | |
| CN111126155B (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
| Feng et al. | Low-light image enhancement algorithm based on an atmospheric physical model | |
| CN112541859B (zh) | 一种光照自适应的人脸图像增强方法 | |
| TWI696958B (zh) | 影像適應性特徵提取法及其應用 | |
| CN106485226A (zh) | 一种基于神经网络的视频行人检测方法 | |
| LU500063B1 (en) | Garbage identification and classification system based on improved efficient net | |
| CN112990340B (zh) | 一种基于特征共享的自学习迁移方法 | |
| CN108921872B (zh) | 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法 | |
| CN110490053B (zh) | 一种基于三目摄像头深度估计的人脸属性识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |