CN117197001B - 一种沙尘图像清晰化方法、系统、设备及介质 - Google Patents

Abstract

本发明公开一种沙尘图像清晰化方法、系统、设备及介质，涉及图像处理技术领域，包括：对待处理沙尘图像提取大气光值和景深图，构建大气散射模型，对待处理沙尘图像进行复原，得到复原图像；考虑清晰化处理后的增强图像与复原图像的灰度一致性和原图一致性以及增强图像的对比度，引入灰度保持项、原图保持项、图像空间的细节自适应锐化项和通道间的细节自适应锐化项，构建细节锐化能量方程；根据对细节锐化能量方程的求解，得到对复原图像经清晰化处理后的增强图像。实现图像细节的自适应增强，使输出的增强图像与原图像的灰度保持一致，不产生严重失真，又能自适应提高空间与通道间的对比度，提高沙尘图像的清晰度。

Description

一种沙尘图像清晰化方法、系统、设备及介质

技术领域

本发明涉及图像处理技术领域，特别是涉及一种沙尘图像清晰化方法、系统、设备及介质。

背景技术

受悬浮颗粒的散射和吸收作用，沙尘条件拍摄的图像存在色彩失真、模糊、清晰度低等缺陷，带缺陷的沙尘图像将负面地影响光视觉成像设备的成像效果，同时也会降低目标识别、自动驾驶等后续图像分析系统的性能。

传统的沙尘图像增强方法通常采用先验信息或计算机图形学方法对图像进行增强，但增强后的图像对比度较低，且细节较为模糊；而通过传统大气散射模型直接计算增强图像的方式，虽然能达到去除雾化效果，但直接计算出的增强图像的对比度同样较低，没有考虑图像中细节上的自适应处理。

发明内容

为了解决上述问题，本发明提出了一种沙尘图像清晰化方法、系统、设备及介质，实现图像细节的自适应增强，使输出的增强图像与原图像的灰度保持一致，不产生严重失真，又能自适应提高空间与通道间的对比度，提高沙尘图像的清晰度。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种沙尘图像清晰化方法，包括：

对待处理沙尘图像提取大气光值和景深图，并以此构建大气散射模型，根据大气散射模型对待处理沙尘图像进行复原，得到复原图像；

考虑清晰化处理后的增强图像与复原图像的灰度一致性和原图一致性以及增强图像的对比度，引入灰度保持项、原图保持项、图像空间的细节自适应锐化项和通道间的细节自适应锐化项，构建细节锐化能量方程；

根据对细节锐化能量方程的求解，得到对复原图像经清晰化处理后的增强图像。

作为可选择的实施方式，所述景深图为：

式中，max_c∈{r,g,b}[.]为红、绿、蓝通道中的最大值；A^c为大气光值，S_min为像素最小值，S_max为像素最大值；J(x)为景深图；S^c(x)为待处理沙尘图像。

作为可选择的实施方式，所述细节锐化能量方程为：

；式中，α、β、γ和λ为权重调节因子；x和y表示两个不同的像素坐标；w(x,y)为权重方程；为原图数据保持项；w(x,y)|K^c(x)-K^c(y)|₁为图像空间的细节自适应锐化项，w(x,y)|K^c(x)-K^c+1(y)|₁和w(x,y)|K^c(x)-K^c+2(y)|₁为通道间的细节自适应锐化项；为总体灰度保持项；/>为复原图像；K^c(x)为增强图像；K^c(y)、K^c+1(y)和K^c+2(y)表示通道c的增强图像、通道c+1的增强图像和通道c+2的增强图像，像素坐标与K^c(x)相异；u^c表示根据大气散射模型推导出的图像均值。

作为可选择的实施方式，根据大气散射模型推导得到的u^c为：u^c＝2mean{S^c(x)}-A^c；其中，mean{.}为图像均值函数；A^c为大气光值，S^c(x)为待处理沙尘图像。

作为可选择的实施方式，通过计算细节锐化能量方程的欧拉-拉格朗日方程，采用梯度下降法求解细节锐化能量方程，且在求解过程中先将待处理沙尘图像进行下采样，求解完成后再上采样至原尺寸。

作为可选择的实施方式，采用梯度下降法求解时，增强图像的迭代求解公式为：

；其中，i为迭代次数，为第i+1次迭代得到的增强图像，/>为第i次迭代得到的增强图像，t为时间步长，α、β、γ和λ为权重调节因子，/>为复原图像；u^c表示根据大气散射模型推导出的图像均值；/>和/>分别表示第i次迭代得到的不同通道的增强图像；R[.]为中间临时函数。

作为可选择的实施方式，对待处理沙尘图像的红绿蓝三通道分别经大气散射模型和迭代求解公式处理后，将求解的处理后的红绿蓝三通道图像融合为输出的增强图像。

第二方面，本发明提供一种沙尘图像清晰化系统，包括：

第一处理模块，被配置为对待处理沙尘图像提取大气光值和景深图，并以此构建大气散射模型，根据大气散射模型对待处理沙尘图像进行复原，得到复原图像；

第二处理模块，被配置为考虑清晰化处理后的增强图像与复原图像的灰度一致性和原图一致性以及增强图像的对比度，引入灰度保持项、原图保持项、图像空间的细节自适应锐化项和通道间的细节自适应锐化项，构建细节锐化能量方程；

求解模块，被配置为根据对细节锐化能量方程的求解，得到对复原图像经清晰化处理后的增强图像。

第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。

第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

与现有技术相比，本发明的有益效果为：

本发明提出一种沙尘图像清晰化方法、系统、设备及介质，考虑到光在沙尘中的衰减情况，即随着场景深度增加，蓝绿光衰减量较大，红光衰减量较小，采用最小信息丢失原理计算景深图，并基于此构建大气散射模型；又考虑到通过直接计算大气散射模型得到增强图像的方式，对比度较低的问题，引入灰度保持项、原图保持项、图像空间的细节自适应锐化项以及通道间的细节自适应锐化项，即结合大气散射模型与局部空间细节自适应锐化原理，构建细节锐化能量方程，实现图像细节自适应增强，使输出的增强图像与原图像的灰度保持一致，不产生严重失真，又能自适应提高空间与通道间的对比度，提高沙尘图像的清晰度。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例1提供的沙尘图像清晰化方法流程图；

图2为本发明实施例1提供的沙尘图像；

图3为本发明实施例1提供的清晰化处理后的增强图像。

具体实施方式

下面结合附图与实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“包含”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例1

本实施例提供一种沙尘图像清晰化方法，如图1所示，包括：

对待处理沙尘图像提取大气光值和景深图，并以此构建大气散射模型，根据大气散射模型对待处理沙尘图像进行复原，得到复原图像；

考虑清晰化处理后的增强图像与复原图像的灰度一致性和原图一致性以及增强图像的对比度，引入灰度保持项、原图保持项、图像空间的细节自适应锐化项和通道间的细节自适应锐化项，构建细节锐化能量方程；

根据对细节锐化能量方程的求解，得到对复原图像经清晰化处理后的增强图像。

在本实施例中，对待处理沙尘图像提取大气光值的过程包括：

(1)根据暗通道先验理论，大气光位于沙尘图像中较亮的区域。为了准确定位大气光区域，先计算待处理沙尘图像的暗通道，再选取暗通道中最亮的N个像素对应的沙尘图像区域作为大气光区域；具体为：

(2)最后计算大气光区域的像素均值作为大气光值；具体为：

A^c＝mean[S^c(I)](2)。

式(1)和式(2)中，S^c(x)为待处理沙尘图像，c∈{r,g,b}表示红、绿、蓝三通道，x表示图像坐标；min_c∈{r,g,b}[.]表示计算红、绿、蓝三通道中的最小值；med_3×3[.]表示滤波模板为3×3的中值滤波函数；find_≥N{.}表示提取最亮的N个像素的图像坐标，本实施例取5‰；I表示在暗通道中获取的大气光区域坐标；mean{.}表示图像均值函数；A^c表示大气光值，是一个三维矢量。

在本实施例中，对待处理沙尘图像提取景深图的过程包括：

在沙尘暴环境中，随着场景深度增加，蓝绿光衰减量较大，红光衰减量较小，考虑到光在沙尘中的衰减情况，本实施例采用最小信息丢失原理计算景深图；具体为：

式(3)中，max_c∈{r,g,b}[.]表示计算红、绿、蓝三通道中的最大值；A^c为大气光值；S_min和S_max分别表示像素最小值和像素最大值，由于归一化的像素值取值范围在[0,1]区间，因此S_min和S_max分别设置为0和1；J(x)为景深图；S^c(x)为待处理沙尘图像。

在本实施例中，根据大气光值和景深图构建大气散射模型，去除雾化效果；具体为：

式(4)中，表示通过大气散射模型直接复原的复原图像；S^c(x)为待处理沙尘图像；A^c、J(x)、S^c(x)均为已知量，将其带入式(4)后，可直接计算出/>但直接计算出的对比度较低。

因此，本实施例根据大气散射模型和局部空间细节自适应锐化原理，创新性地设计细节锐化能量方程，进一步增强的对比度。

细节锐化能量方程表示为：

式(5)中，K^c(x)表示对比度进一步增强的增强图像；表示计算出对比度进一步增强的增强图像K^c(x)，使得目标函数取得最小值；α、β、γ和λ为权重调节因子，用于调整各项在细节锐化能量方程中的比重；x和y表示像素坐标，但x不等于y；u^c表示由大气散射模型推导出的图像均值；K^c(y)、K^c+1(y)和K^c+2(y)表示三个不同通道的增强图像，即通道c的增强图像、通道c+1的增强图像和通道c+2的增强图像，像素坐标与K^c(x)相异；w(x,y)为权重方程，其值随x与y的距离增大而减小，定义为高斯函数：/>

式(5)中即为式(4)计算出的复原图像，根据式(4)，/>表示为：

式(5)中为原图数据保持项，用于确保计算出的K^c(x)与复原图像尽可能接近；w(x,y)|K^c(x)-K^c(y)|₁、w(x,y)|K^c(x)-K^c+1(y)|₁、w(x,y)|K^c(x)-K^c+2(y)|₁三项均为局部细节自适应锐化项，三项越大，则输出图像的对比度越大，越清晰；其中w(x,y)|K^c(x)-K^c(y)|₁为图像空间的细节自适应锐化项，w(x,y)|K^c(x)-K^c+1(y)|₁和w(x,y)|K^c(x)-K^c+2(y)|₁为通道间的细节自适应锐化项；/>为总体灰度保持项，用于确保计算出的K^c(x)的整体灰度值与u^c接近。

u^c推导过程包括：(1)对式(4)进行移项，并对两边取平均值，得：

(2)在沙尘图像中，景深图J(x)与K^c(x)不相关，有：

(3)根据统计先验，景深图J(x)服从均值为0.5的高斯分布，有：mean{J(x)}＝0.5(10)。

(4)将式(9)和式(10)带入式(8)，得：

(5)令可得：u^c＝2mean{S^c(x)}-A^c (12)。

式(5)中存在数据总体灰度保持项、原图数据保持项和局部细节自适应锐化项。因此，经过三项的正则化作用即可使输出图像与原图像的灰度保持一致，不产生严重失真，又能自适应提高空间与通道间的对比度。

在本实施例中，采用梯度下降法求解细节锐化能量方程，增强图像局部空间的对比度，实现沙尘图像的清晰化处理；具体包括：

计算细节锐化能量方程的欧拉-拉格朗日方程：

R[K^c(x)]为：

R[K^c+1(x)]为：

R[K^c+2(x)]为：

其中，R[.]为中间临时函数，表示导数计算操作；sign[.]为符号函数，定义为：

根据梯度下降算法，t表示时间步长，则更新过程表示为：

用i表示迭代次数，将式(18)展开得：

将式(19)进行变换得：

将式(13)带入式(20)，得到K^c(x)的迭代求解公式为：

式(21)中，为第i+1次迭代得到的增强图像，/>为第i次迭代得到的增强图像，t为时间步长，α、β、γ和λ为权重调节因子，/>为复原图像；u^c表示根据大气散射模型推导出的图像均值；/>和/>分别表示第i次迭代得到的不同通道的增强图像。

在迭代求解过程中，令初值Δt＝0.01，迭代次数为10时停止迭代，并输出求解结果。

在求解过程中，R[K^c(x)]、R[K^c+1(x)]、R[K^c+2(x)]计算时间较长，因此本实施例将输入的沙尘图像下采样至原图像尺寸的1/8，计算出R[K^c(x)]、R[K^c+1(x)]、R[K^c+2(x)]后，再上采样至原尺寸，以提高处理速度。

在本实施例中，因为沙暴图像为彩色图像，故将沙尘图像的红、绿、蓝三个通道分别经大气散射模型和式(21)求解处理后，最后将求解处理后的红、绿、蓝三通道图像融合为输出的增强图像。

如图2所示为对沙尘图像，存在失真、雾化、对比度低等特点，经上述方法的清晰化处理后，得到如图3所示的增强图像，图像清晰度和对比度大幅提高，本实施例方法对沙尘图像的增强效果显著。

实施例2

本实施例提供一种沙尘图像清晰化系统，包括：

第一处理模块，被配置为对待处理沙尘图像提取大气光值和景深图，并以此构建大气散射模型，根据大气散射模型对待处理沙尘图像进行复原，得到复原图像；

第二处理模块，被配置为考虑清晰化处理后的增强图像与复原图像的灰度一致性和原图一致性以及增强图像的对比度，引入灰度保持项、原图保持项、图像空间的细节自适应锐化项和通道间的细节自适应锐化项，构建细节锐化能量方程；

求解模块，被配置为根据对细节锐化能量方程的求解，得到对复原图像经清晰化处理后的增强图像。

此处需要说明的是，上述模块对应于实施例1中所述的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

在更多实施例中，还提供：

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。

实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种沙尘图像清晰化方法，其特征在于，包括：

对待处理沙尘图像提取大气光值和景深图，并以此构建大气散射模型，根据大气散射模型对待处理沙尘图像进行复原，得到复原图像；

考虑清晰化处理后的增强图像与复原图像的灰度一致性和原图一致性以及增强图像的对比度，引入灰度保持项、原图保持项、图像空间的细节自适应锐化项和通道间的细节自适应锐化项，构建细节锐化能量方程；

所述细节锐化能量方程为：

式中，α、β、γ和λ为权重调节因子；x和y表示两个不同的像素坐标；w(x,y)为权重方程；为原图数据保持项；w(x,y)|K^c(x)-K^c(y)|₁为图像空间的细节自适应锐化项，w(x,y)|K^c(x)-K^c+1(y)|₁和w(x,y)|K^c(x)-K^c+2(y)|₁为通道间的细节自适应锐化项；为总体灰度保持项；/>为复原图像；K^c(x)为增强图像；K^c(y)、K^c+1(y)和K^c+2(y)表示通道c的增强图像、通道c+1的增强图像和通道c+2的增强图像，像素坐标与K^c(x)相异；u^c表示根据大气散射模型推导出的图像均值；

根据对细节锐化能量方程的求解，得到对复原图像经清晰化处理后的增强图像。

2.如权利要求1所述的一种沙尘图像清晰化方法，其特征在于，所述景深图为：

式中，max_c∈{r,g,b}[.]为红、绿、蓝通道中的最大值；A^c为大气光值，S_min为像素最小值，S_max为像素最大值；J(x)为景深图；S^c(x)为待处理沙尘图像。

3.如权利要求1所述的一种沙尘图像清晰化方法，其特征在于，根据大气散射模型推导得到的u^c为：u^c＝2mean{S^c(x)}-A^c；其中，mean{.}为图像均值函数；A^c为大气光值，S^c(x)为待处理沙尘图像。

4.如权利要求1所述的一种沙尘图像清晰化方法，其特征在于，通过计算细节锐化能量方程的欧拉-拉格朗日方程，采用梯度下降法求解细节锐化能量方程，且在求解过程中先将待处理沙尘图像进行下采样，求解完成后再上采样至原尺寸。

5.如权利要求4所述的一种沙尘图像清晰化方法，其特征在于，采用梯度下降法求解时，增强图像的迭代求解公式为：

其中，i为迭代次数，为第i+1次迭代得到的增强图像，/>为第i次迭代得到的增强图像，t为时间步长，α、β、γ和λ为权重调节因子，/>为复原图像；u^c表示根据大气散射模型推导出的图像均值；/>和/>分别表示第i次迭代得到的不同通道的增强图像；R[.]为中间临时函数。

6.如权利要求5所述的一种沙尘图像清晰化方法，其特征在于，对待处理沙尘图像的红绿蓝三通道分别经大气散射模型和迭代求解公式处理后，将求解的处理后的红绿蓝三通道图像融合为输出的增强图像。

7.一种沙尘图像清晰化系统，其特征在于，包括：

第一处理模块，被配置为对待处理沙尘图像提取大气光值和景深图，并以此构建大气散射模型，根据大气散射模型对待处理沙尘图像进行复原，得到复原图像；

第二处理模块，被配置为考虑清晰化处理后的增强图像与复原图像的灰度一致性和原图一致性以及增强图像的对比度，引入灰度保持项、原图保持项、图像空间的细节自适应锐化项和通道间的细节自适应锐化项，构建细节锐化能量方程；

所述细节锐化能量方程为：

式中，α、β、γ和λ为权重调节因子；x和y表示两个不同的像素坐标；w(x,y)为权重方程；为原图数据保持项；w(x,y)|K^c(x)-K^c(y)|₁为图像空间的细节自适应锐化项，w(x,y)|K^c(x)-K^c+1(y)|₁和w(x,y)|K^c(x)-K^c+2(y)|₁为通道间的细节自适应锐化项；为总体灰度保持项；/>为复原图像；K^c(x)为增强图像；K^c(y)、K^c+1(y)和K^c+2(y)表示通道c的增强图像、通道c+1的增强图像和通道c+2的增强图像，像素坐标与K^c(x)相异；u^c表示根据大气散射模型推导出的图像均值；

求解模块，被配置为根据对细节锐化能量方程的求解，得到对复原图像经清晰化处理后的增强图像。

8.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-6任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-6任一项所述的方法。