CN111311509A - 一种非正常曝光图像自适应校正方法 - Google Patents

Abstract

本发明提供一种非正常曝光图像自适应校正方法，将计算获得的非正常曝光图像的亮度中位数与根据正常曝光图像计算获得的亮度阈值进行比对分析，判断该非正常曝光图像的曝光类型为过曝光图像、正常图像或欠曝光图像，再根据判断的曝光类型对该非正常曝光图像进行过曝光校正或欠曝光校正并输出。本发明方法能自适应的进行图像校正处理，增强了非正常曝光图像中的细节，最终校正图像与原图像相比清晰度更高，细节更多。

Description

一种非正常曝光图像自适应校正方法

技术领域

本发明属于摄影摄像领域，涉及一种图像校正方法，具体涉及一种非正常曝光图像自适应校正方法

背景技术

在现实照片拍摄过程中，可能会出现非正常照明度的外部拍摄环境。背景亮度过高可能会导致照片处于过度曝光的状态，拍摄时光圈过大、底片的感光度太高或曝光时间过长容易造成照片非正常曝光。这些非正常曝光图像，画面主体不清晰，其中大量的信息和细节无法显示。为了还原这些非正常曝光图像中的信息和细节，人们后期会对照片进行处理校正，把图像中非正常曝光的部分还原为正常曝光的状态，同时避免图像失真或颜色偏移。

目前校正图像的方法包括照片合成法、MPSO算法、工蜂群算法、图像归一化方法以及一种使用相机响应特性的新型增强框架法。

传统的校正方法，需要使用同一位置的若干张不同曝光照片进行合成。如果拍摄主体处于移动状态，或没有足够的照片进行合成，则无法进行照片的合成。MPSO算法对红外图像通过增强对比度的方法来进行校正，具有很好的自适应性。但该算法仅能用于处理红外图像，通用性不强。工蜂群算法提出了一种新的客观适应度函数，在传统的人工蜂群算法中结合图像的空间领域信息和图像边缘信息，使用转换函数来处理空间域中的图像。该转换函数为原始图像的每个像素产生新的强度以生成增强的图像，使得运算效率下降。图像归一化方法，基于强度分布变换并使用一个正面平均面作为参考图像，独立地对每列执行强度分布的变换，有效地克服了光照效果。但这种算法主要针对于低分辨率的人脸图像，在处理正常大小的照片时采用分列处理计算量巨大，不可避免的降低运算效率。一种使用相机响应特性的新型增强框架，能获得较好的增强结果。但对部分图像会出现过度校正的情况，导致图像颜色的失真。该模型通过对欠曝光的图像进行识别，对欠曝光图片有较好的处理效果，对过曝光图像的处理却并不理想。

发明内容

本发明是针对上述问题而进行的，目的在于提供一种非正常曝光图像自适应校正方法，用于对输入的非正常曝光图像进行校正。

为实现上述目的，本发明采用如下技术方案：

一种非正常曝光图像自适应校正方法，其特征在于，包括如下步骤：

输入图像预处理，计算非正常曝光图像的亮度T、亮度中位数T_m以及最终权重矩阵W；

数据集预处理，收集正常曝光图像，并计算正常曝光图像的亮度阈值I；

自适应曝光状态判断，将计算获得的非正常曝光图像的亮度与亮度阈值进行比对，判断非正常曝光图像为过曝光图像、正常曝光图像或欠曝光图像；

非正常曝光图像校正，若非正常曝光图像属于过曝光图像，则对非正常曝光图像的过曝光部分进行校正后输出，若非正常曝光图像属于正常曝光图像，则直接输出，若非正常曝光图像属于欠曝光图像，则对非正常曝光图像的欠曝光部分进行校正后输出。

进一步地，本发明提供的非正常曝光图像自适应校正方法，输入图像预处理具体包括如下步骤：

设输入的非正常曝光图像的亮度为T，x为非正常曝光图像每一位置的像素，计算非正常曝光图像P^C的初始亮度分量L(x)：

式中，C是RGB颜色通道的索引。

通过公式计算初步权重矩阵M_d(x)：

式中，

为导数过滤器，ω(x)是以x为中心的窗口，ε为常数，d为指代量，h表示水平，v表示竖直，

然后根据亮度的矢量形式t，解得到所述非正常曝光图像的亮度T，计算公式为：

式中，l、m_d、t、

分别是L、M_d、T、

的矢量形式，

为矩阵按元素除，E为单位矩阵，

为托普利兹矩阵的转置形式，Diag(v)为用向量v构造对角矩阵。

用T(x)表示非正常曝光图像x位置的亮度，并将T(x)从小到大排列：

T(x)₍₁₎,T(x)₍₂₎,...,T(x)_(n)

式中，n为非正常曝光图像的亮度矩阵T的行数与列数的乘积，

计算正常曝光图像的亮度矩阵T的中位数T_m：

当n为奇数时：

T_m＝T(x)_(n+1)/2

当n为偶数时：

通过公式计算最终权重矩阵W：

W＝T^μ

式中，μ为常数。

进一步地，本发明提供的非正常曝光图像自适应校正方法，输入数据集预处理具体包括如下步骤：

收集正常曝光图像，并分别计算正常曝光图像的亮度从而获得亮度矩阵T，用T(x)表示正常曝光图像x位置的亮度，并将T(x)从小到大排列：

T(x)₍₁₎,T(x)₍₂₎,...,T(x)_(n)

式中，n为正常曝光图像的亮度矩阵T的行数与列数的乘积。

计算正常曝光图像的亮度矩阵T的中位数I，作为亮度阈值：

当n为奇数时：

I＝T(x)_(n+1)/2

当n为偶数时：

进一步地，本发明提供的非正常曝光图像自适应校正方法，输入自适应曝光状态判断具体包括如下步骤：

若非正常曝光图像的亮度的中位数T_m大于亮度阈值I，则判断非正常曝光图像为过曝光图像。

若非正常曝光图像的亮度的中位数T_m等于亮度阈值I，则判断非正常曝光图像为正常曝光图像。

若非正常曝光图像的亮度的中位数T_m小于亮度阈值I，则判断非正常曝光图像为欠曝光图像。

进一步地，本发明提供的非正常曝光图像自适应校正方法，输入对过曝光图像进行校正后输出具体包括如下步骤：

提取过曝光图像中的过曝光区域Q(x)：

Q(x)＝{I(x)|T(x)＞0.5}

利用过曝光区域Q(x)计算获得亮度分量B(x)：

式中，Q(x)_r、Q(x)_g、Q(x)_b分别为RGB通道的亮度。

利用信息熵H(B)计算获得过曝光图像的系数k：

k＝argmax(H(g(B,k)))

式中，信息熵

其中P为过曝光图像像素位置出现信息的概率，argmax表示信息熵取最大值时求k的值。

将过曝光图像的系数k代入相机的模型获得增强图像g(p,k)：

式中，a、b为常数。

利用最终权重矩阵W，根据增强图像计算获得校正后的图像R^C：

输出校正后的图像R^C。

进一步地，本发明提供的非正常曝光图像自适应校正方法，输入对欠曝光图像进行校正后输出具体包括如下步骤：

提取欠曝光图像中的欠曝光区域Q(x)：

Q(x)＝{I(x)|T(x)＜0.5}

利用欠曝光区域Q(x)计算获得亮度分量B(x)：

式中，Q(x)_r、Q(x)_g、Q(x)_b分别为RGB三通道的亮度。

利用信息熵计算获得欠曝光图像的系数k：

k＝argmax(H(g(B,k)))

式中，信息熵

其中P为欠曝光图像像素位置出现信息的概率，argmax表示信息熵取最大值时求k的值。

将欠曝光图像的系数k代入相机的相应模型获得增强图像g(p,k)：

式中，a、b为常数。

利用最终权重矩阵W根据增强图像计算获得校正后的图像R^C：

输出校正后的图像R^C。

发明作用与效果

根据本发明的非正常曝光图像自适应校正方法，对不同的曝光状态的图像进行过曝光或欠曝光校正，增强图像中的细节，最终校正图像与原图相比清晰度更高，细节更多。利用计算非正常曝光图像的亮度来判断图像的曝光状态，使得无论对于过曝光图像还是欠曝光图像，本发明方法都能自适应的进行图像校正处理，减少了人工判断的失误。

附图说明

图1是本发明实施例的非正常曝光图像自适应校正方法流程图；

图2是本发明实施例的收集的正常曝光图像的亮度散点图；

图3是本发明实施例的原始过曝光图像；

图4是本发明实施例的原始过曝光图像经过校正后的图像；

图5是本发明实施例的原始过曝光图像的直方图；

图6是本发明实施例的原始过曝光图像经过校正后的图像的直方图；

图7是本发明实施例的原始欠曝光图像；

图8是本发明实施例的原始欠曝光图像经过校正后的图像；

图9是本发明实施例的原始欠曝光图像的直方图；

图10是本发明实施例的原始欠曝光图像经过校正后的图像的直方图。

具体实施方式

以下结合附图以及实施例来说明本发明的具体实施方式。

图1是本发明实施例的非正常曝光图像自适应校正方法流程图。

<实施例一>

本实施例提供一种非正常曝光图像自适应校正方法，用于对输入的过曝光图像进行校正。

图3是本发明实施例的原始过曝光图像。

如图3所示，图像中左上方机翼部分与画面中央部分都过于明亮，图像右下角的建筑群也无法看清楚，整体细节不清晰。因此，我们从视觉上判断这是一张过度曝光图像。

输入图像预处理，计算非正常曝光图像的亮度T、亮度中位数T_m以及最终权重矩阵W。

设输入的非正常曝光图像的亮度为T，x为非正常曝光图像每一位置的像素，计算非正常曝光图像P^C的初始亮度分量L(x)：

式中，C是RGB颜色通道的索引。

通过公式计算初步权重矩阵M_d(x)：

式中，

为导数过滤器，ω(x)是以x为中心的窗口，ε为常数，d为指代量，h表示水平，v表示竖直，

然后根据亮度的矢量形式t，求解得到所述非正常曝光图像的亮度T，计算公式为：

式中，l、m_d、t、

分别是L、M_d、T、

的矢量形式，

为矩阵按元素除，E为单位矩阵，

为托普利兹矩阵的转置形式，Diag(v)为用向量v构造对角矩阵。

用T(x)表示非正常曝光图像x位置的亮度，并将T(x)从小到大排列：

T(x)₍₁₎,T(x)₍₂₎,...,T(x)_(n)

式中，n为非正常曝光图像的亮度矩阵T的行数与列数的乘积，

计算正常曝光图像的亮度矩阵T的中位数T_m：

当n为奇数时：

T_m＝T(x)_(n+1)/2

当n为偶数时：

计算得到图3的亮度中位数T_m＝0.821。

通过公式计算最终权重矩阵W：

W＝T^μ

式中，μ为常数。

收集正常曝光图像，并分别计算正常曝光图像的亮度从而获得亮度矩阵T，用T(x)表示正常曝光图像x位置的亮度，并将T(x)从小到大排列：

T(x)₍₁₎,T(x)₍₂₎,...,T(x)_(n)

式中，n为正常曝光图像的亮度矩阵T的行数与列数的乘积。

计算正常曝光图像的亮度矩阵T的中位数I：

当n为奇数时：

I＝T(x)_(n+1)/2

当n为偶数时：

图2是本发明实施例的收集的正常曝光图像的亮度散点图。

如图2所示，经过统计计算得到数据集中正常曝光照片的中位数I为0.524，各个数据的离散程度较小，无错误数据和明显异常数据产生。把这个I值作为正常曝光图片的亮度阈值。

本实施例中T_m＝0.821>0.524，因此判断非正常曝光图像为过曝光图像，对非正常曝光图像的过曝光部分进行校正后输出：

提取过曝光图像中的过曝光区域Q(x)：

Q(x)＝{I(x)|T(x)＞0.5}

利用过曝光区域Q(x)计算获得亮度分量B(x)：

式中，Q(x)_r、Q(x)_g、Q(x)_b分别为RGB通道的亮度。

利用信息熵H(B)计算获得过曝光图像的系数k：

k＝argmax(H(g(B,k)))

式中，信息熵

其中P为过曝光图像像素位置出现信息的概率，argmax表示信息熵取最大值时求k的值。

将过曝光图像的系数k代入相机的模型获得增强图像g(p,k)：

式中，a、b为常数。

利用最终权重矩阵W，根据增强图像计算获得校正后的图像R^C：

输出校正后的图像R^C。

图4是本发明实施例的原始过曝光图像经过校正后的图像。

如图4所示，校正后图4相对于图3，在图像右下方的建筑群，与正上方的云朵与机翼部分颜色更深，更接近物体的颜色。同时图4也凸显出更多的图像细节，且没有引起明显的色调偏离。

图5是本发明实施例的原始过曝光图像的直方图。图6是本发明实施例的原始过曝光图像经过校正后的图像的直方图。

如图5、图6所示，为了取得更清楚、量化的比较结果，我们选择对通过校正前后图像的三色直方图进行比较。图5的色彩区间在75-255之间，最高峰值达到了0.08，且整体柱形多位于225-250区间，符合过度曝光图像直方图的特征。图6直方图右侧区域的过曝部分柱形分布有明显减少，峰值也从0.08降至0.06，左侧长尾从75被拉伸至25，整体柱形区域更均匀分布于直方图中。因此校正后的图像直方图更接近正常曝光图像直方图。

<实施例二>

本实施例提供一种非正常曝光图像自适应校正方法，用于对输入的欠曝光图像进行校正。

图7是本发明实施例的原始欠曝光图像。

如图7所示，图像中上方与中央部分整体呈现黑色，无法看清屋檐的内部结构。因此，我们从视觉上判断这是一张欠曝光图像。

输入图像预处理，计算非正常曝光图像的亮度T、亮度中位数T_m以及最终权重矩阵W。

设输入的非正常曝光图像的亮度为T，x为非正常曝光图像每一位置的像素，计算非正常曝光图像P^C的初始亮度分量L(x)：

式中，C是RGB颜色通道的索引。

通过公式计算初步权重矩阵M_d(x)：

式中，

为导数过滤器，ω(x)是以x为中心的窗口，ε为常数，d为指代量，h表示水平，v表示竖直，

然后根据亮度的矢量形式t t，求解得到所述非正常曝光图像的亮度T，计算公式为：

式中，l、m_d、t、

分别是L、M_d、T、

的矢量形式，

为矩阵按元素除，E为单位矩阵，

为托普利兹矩阵的转置形式，Diag(v)为用向量v构造对角矩阵。

用T(x)表示非正常曝光图像x位置的亮度，并将T(x)从小到大排列：

T(x)₍₁₎,T(x)₍₂₎,...,T(x)_(n)

式中，n为非正常曝光图像的亮度矩阵T的行数与列数的乘积，

计算正常曝光图像的亮度矩阵T的中位数T_m：

当n为奇数时：

T_m＝T(x)_(n+1)/2

当n为偶数时：

计算得到图3的亮度中位数T_m＝0.273。

通过公式计算最终权重矩阵W：

W＝T^μ

式中，μ为常数。

收集正常曝光图像，并分别计算正常曝光图像的亮度从而获得亮度矩阵T，用T(x)表示正常曝光图像x位置的亮度，并将T(x)从小到大排列：

T(x)₍₁₎,T(x)₍₂₎,...,T(x)_(n)

式中，n为正常曝光图像的亮度矩阵T的行数与列数的乘积。

计算正常曝光图像的亮度矩阵T的中位数I：

当n为奇数时：

I＝T(x)_(n+1)/2

当n为偶数时：

图2是本发明实施例的收集的正常曝光图像的亮度散点图。

如图2所示，经过统计计算得到数据集中正常曝光照片的中位数I为0.524，各个数据的离散程度较小，无错误数据和明显异常数据产生。把这个I值作为正常曝光图片的亮度阈值。

本实施例中T_m＝0.273<0.524，因此判断非正常曝光图像为过曝光图像，对非正常曝光图像的过曝光部分进行校正后输出：

提取欠曝光图像中的欠曝光区域Q(x)：

Q(x)＝{I(x)|T(x)＜0.5}

利用欠曝光区域Q(x)计算获得亮度分量B(x)：

式中，Q(x)_r、Q(x)_g、Q(x)_b分别为RGB三通道的亮度。

利用信息熵计算获得欠曝光图像的系数k：

k＝argmax(H(g(B,k)))

式中，信息熵

其中P为欠曝光图像像素位置出现信息的概率，argmax表示信息熵取最大值时求k的值。

将过曝光图像的系数k代入相机的相应模型获得增强图像g(p,k)：

式中，a、b为常数。

利用最终权重矩阵W根据增强图像计算获得校正后的图像R^C：

输出校正后的图像R^C。

图8是本发明实施例的原始欠曝光图像经过校正后的图像.

如图8所示，校正后图8相对于图7，图像中央建筑物屋檐下方的卯榫部分结构更为清晰。校正后的图像凸显出更多的图像细节，同时没有引起明显的色调偏离。

图9是本发明实施例的原始欠曝光图像的直方图。图10是本发明实施例的原始欠曝光图像经过校正后的图像的直方图。

如图9、图10所示，为了取得更清楚、量化的比较结果，我们选择对通过校正前后图像的三色直方图进行比较。图9的整体柱形分布呈4个区间，且多分布于直方图左侧，符合欠曝光图像直方图的特征。图10左侧区域欠曝部分柱形分布有明显减少，原本0-25区间的密集柱形被拉伸至0-75区间，且区间中的峰值从0.06降至0.03，整体柱形区域更均匀分布于直方图中。因此，校正后的图像直方图更接近正常曝光图像直方图。

实施例作用与效果

根据本实施例的非正常曝光图像自适应校正方法，对不同的曝光状态的图像进行过曝光或欠曝光校正，增强图像中的细节，最终校正图像与原图相比清晰度更高，细节更多。

根据本实施例的非正常曝光图像自适应校正方法，利用计算非正常曝光图像的亮度来判断图像的曝光状态，使得无论对于过曝光图像还是欠曝光图像，本发明方法都能自适应的进行图像校正处理，减少了人工判断的失误。

以上实施例仅用于说明本发明提供的非正常曝光图像自适应校正方法的实施方式及运行结果，但本发明并不仅仅限定于在上述实施例中进行，对于其他类型的非正常曝光图像，本发明提供的方法也同样有效。

Claims (6)

1.一种非正常曝光图像自适应校正方法，用于对输入的非正常曝光图像进行校正，其特征在于，包括如下步骤：

输入图像预处理，计算所述非正常曝光图像的亮度T、亮度中位数T_m以及最终权重矩阵W；

数据集预处理，收集正常曝光图像，并根据所述正常曝光图像的亮度获得亮度阈值I；

自适应曝光状态判断，将计算获得的所述非正常曝光图像的亮度与所述亮度阈值进行比对，判断所述非正常曝光图像为过曝光图像、正常曝光图像或欠曝光图像；

非正常曝光图像校正，若所述非正常曝光图像属于所述过曝光图像，则对所述非正常曝光图像的过曝光部分进行校正后输出，若所述非正常曝光图像属于正常曝光图像，则直接输出，若所述非正常曝光图像属于所述欠曝光图像，则对所述非正常曝光图像的欠曝光部分进行校正后输出。

2.根据权利要求1所述的非正常曝光图像自适应校正方法，其特征在于，输入图像预处理的具体步骤如下：

设输入的所述非正常曝光图像的亮度为T，x为所述非正常曝光图像每一位置的像素，计算所述非正常曝光图像P^C的初始亮度分量L(x)：

式中，C是RGB颜色通道的索引，

通过公式计算初步权重矩阵M_d(x)：

式中，

为导数过滤器，ω(x)是以x为中心的窗口，ε为常数，d为指代量，h表示水平，v表示竖直，

然后根据亮度的矢量形式t，求解得到所述非正常曝光图像的亮度T，计算公式为：

式中，l、m_d、t、

分别是L、M_d、T、

的矢量形式，

为矩阵按元素除，E为单位矩阵，

为托普利兹矩阵的转置形式，Diag(v)为用向量v构造对角矩阵，

用T(x)表示所述非正常曝光图像x位置的亮度，并将T(x)从小到大排列：

T(x)₍₁₎,T(x)₍₂₎,...,T(x)_(n)

式中，n为所述非正常曝光图像的亮度矩阵T的行数与列数的乘积，

计算所述正常曝光图像的亮度矩阵T的中位数T_m：

当n为奇数时：

T_m＝T(x)_(n+1)/2

当n为偶数时：

通过公式计算最终权重矩阵W：

W＝T^μ

式中，μ为常数。

3.根据权利要求1所述的非正常曝光图像自适应校正方法，其特征在于，数据集预处理的具体步骤如下：

收集所述正常曝光图像，并计算所述正常曝光图像的亮度从而获得亮度矩阵T，用T(x)表示所述正常曝光图像x位置的亮度，并将T(x)从小到大排列：

T(x)₍₁₎,T(x)₍₂₎,...,T(x)_(n)

式中，n为所述正常曝光图像的亮度矩阵T的行数与列数的乘积，

计算所述正常曝光图像的亮度矩阵T的中位数I，作为所述亮度阈值：

当n为奇数时：

I＝T(x)_(n+1)/2

当n为偶数时：

4.根据权利要求1所述的非正常曝光图像自适应校正方法，其特征在于，自适应曝光状态判断的具体步骤如下：

若所述非正常曝光图像的亮度的中位数T_m大于所述亮度阈值I，则判断所述非正常曝光图像为所述过曝光图像，

若所述非正常曝光图像的亮度的中位数T_m等于所述亮度阈值I，则判断所述非正常曝光图像为所述正常曝光图像，

若所述非正常曝光图像的亮度的中位数T_m小于所述亮度阈值I，则判断所述非正常曝光图像为所述欠曝光图像。

5.根据权利要求1所述的非正常曝光图像自适应校正方法，其特征在于，对所述过曝光图像进行校正后输出的具体步骤如下：

提取所述过曝光图像中的过曝光区域Q(x)：

Q(x)＝{I(x)|T(x)＞0.5}

利用所述过曝光区域Q(x)计算获得亮度分量B(x)：

式中，Q(x)_r、Q(x)_g、Q(x)_b分别为RGB通道的亮度，

利用信息熵H(B)计算获得所述过曝光图像的系数k：

k＝argmax(H(g(B,k)))

式中，信息熵

其中P为所述过曝光图像像素位置出现信息的概率，argmax表示信息熵取最大值时求k的值，

将所述过曝光图像的系数k代入相机的模型获得增强图像g(p,k)：

式中，a、b为常数，

利用所述最终权重矩阵W，根据所述增强图像计算获得校正后的图像R^C：

输出所述校正后的图像R^C。

6.根据权利要求1所述的非正常曝光图像自适应校正方法，其特征在于，对所述欠曝光图像进行校正后输出的具体步骤如下：

提取所述欠曝光图像中的欠曝光区域Q(x)：

Q(x)＝{I(x)|T(x)＜0.5}

利用所述过曝光区域Q(x)计算获得亮度分量B(x)：

式中，Q(x)_r、Q(x)_g、Q(x)_b分别为RGB三通道的亮度，

利用信息熵计算获得所述欠曝光图像的系数k：

k＝argmax(H(g(B,k)))

式中，信息熵

其中P为所述欠曝光图像像素位置出现信息的概率，argmax表示信息熵取最大值时求k的值，

将所述欠曝光图像的系数k代入相机的相应模型获得增强图像g(p,k)：

式中，a、b为常数，

利用所述最终权重矩阵W根据所述增强图像计算获得校正后的图像R^C：

输出所述校正后的图像R^C。

Images