CN109934781A - 图像处理方法、装置、终端设备及计算机可读存储介质 - Google Patents

Abstract

本申请适用于图像处理技术领域，提供了图像处理方法、装置、终端设备计算机可读存储介质，包括：获取目标图像和与目标图像对应的第一灰度图像；将目标图像转换为灰度图后，得到第二灰度图像；分别对第一灰度图像和第二灰度图像进行边缘滤波后，得到第一滤波图像和第二滤波图像；将目标图像划分为至少两个以上的第一子区域，并分别确定第一子区域的雾浓度值；若第一子区域的雾浓度值小于或等于预设的雾浓度阈值，采用第一预设去雾策略对第一子区域执行去雾处理；若第一子区域的雾浓度值大于预设的雾浓度阈值，采用第二预设去雾策略对第一子区域执行去雾处理，第二预设去雾策略与第一预设去雾策略不同。通过上述方法能够提高去雾效果。

Description

图像处理方法、装置、终端设备及计算机可读存储介质

技术领域

本申请属于图像处理技术领域，尤其涉及图像处理方法、装置、终端设备以及计算机可读存储介质。

背景技术

大气中漂浮的水滴或者尾气会使得现实生活中经常出现雾天天气，而雾天天气会导致摄像机拍摄出来的图片偏灰白，且清晰度也会降低。清晰的图像在安防监控，自动驾驶等都十分重要，为了获取清晰的图像，则需要采用图像去雾方法去除图像中的雾气。

传统的图像去雾方法，如运用深度学习方法，虽然能够得到较好的效果，但由于要做大量的卷积运算，因此导致实时性不高，且对计算设备要求较高，在实际运用时比较困难，若采用暗通道去雾等方法，则难以得到较好的去雾效果。

故，需要提供一种新的方法，以解决上述技术问题。

发明内容

有鉴于此，本申请实施例提供了图像处理方法、装置、终端设备以及计算机可读存储介质，以解决现有技术中在执行去雾处理时难以得到较好的去雾效果的问题。

本申请实施例的第一方面提供了一种图像处理方法，包括：

通过可见光摄像头获取存在雾化区域的目标图像，通过红外摄像头获取与所述目标图像对应的第一灰度图像；

将所述目标图像转换为灰度图后，得到第二灰度图像；

分别对所述第一灰度图像和所述第二灰度图像进行边缘滤波后，得到第一滤波图像和第二滤波图像；

将所述目标图像划分为至少两个以上的第一子区域，并分别确定所述第一子区域的雾浓度值，所述第一子区域的雾浓度值根据以下方式确定：分别计算所述第一滤波图像和所述第二滤波图像中与所述第一子区域对应的区域之间的第一相似度，以及，分别计算所述第一灰度图像和所述第二灰度图像中与所述第一子区域对应的区域之间的第二相似度，将所述第一相似度和所述第二相似度进行加权相加，得到用于表征所述第一子区域的雾浓度值的第一总相似度，所述第一总相似度与所述第一子区域的雾浓度值负相关；

若所述第一子区域的雾浓度值小于或等于预设的雾浓度阈值，采用第一预设去雾策略对所述第一子区域执行去雾处理；

若所述第一子区域的雾浓度值大于预设的雾浓度阈值，采用第二预设去雾策略对所述第一子区域执行去雾处理，所述第二预设去雾策略与所述第一预设去雾策略不同。

本申请实施例的第二方面提供了一种图像处理装置，包括：

目标图像获取单元，用于通过可见光摄像头获取存在雾化区域的目标图像，通过红外摄像头获取与所述目标图像对应的第一灰度图像；

第二灰度图像获取单元，用于将所述目标图像转换为灰度图后，得到第二灰度图像；

滤波图像获取单元，用户分别对所述第一灰度图像和所述第二灰度图像进行边缘滤波后，得到第一滤波图像和第二滤波图像；

第一子区域的雾浓度值确定单元，用于将所述目标图像划分为至少两个以上的第一子区域，并分别确定所述第一子区域的雾浓度值，所述第一子区域的雾浓度值根据以下方式确定：分别计算所述第一滤波图像和所述第二滤波图像中与所述第一子区域对应的区域之间的第一相似度，以及，分别计算所述第一灰度图像和所述第二灰度图像中与所述第一子区域对应的区域之间的第二相似度，将所述第一相似度和所述第二相似度进行加权相加得到用于表征所述第一子区域的雾浓度值的第一总相似度，所述第一总相似度与所述第一子区域的雾浓度值负相关；

第一去雾处理单元，用于若所述第一子区域的雾浓度值小于或等于预设的雾浓度阈值，采用第一预设去雾策略对所述第一子区域执行去雾处理；

第二去雾处理单元，用于若所述第一子区域的雾浓度值大于预设的雾浓度阈值，采用第二预设去雾策略对所述第一子区域执行去雾处理，所述第二预设去雾策略与所述第一预设去雾策略不同。

本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如所述图像处理方法的步骤。

本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如所述图像处理方法的步骤。

本申请实施例与现有技术相比存在的有益效果是：

由于在第一子区域的雾浓度值小于或等于预设的雾浓度阈值时，采用第一预设去雾策略对所述第一子区域执行去雾处理，在所述第一子区域的雾浓度值大于预设的雾浓度阈值，采用第二预设去雾策略对所述第一子区域执行去雾处理，且第二预设去雾策略与第一预设去雾策略不同，因此，考虑了图像中雾浓区域和雾淡区域，并对雾浓区域和雾淡区域执行不同的去雾处理，从而使得整个图像的去雾效果更理想。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像处理方法的流程示意图；

图2是本申请实施例提供的一种可见光摄像头和红外摄像头的结构示意图；

图3是本申请实施例提供的一种图像处理装置的结构示意图；

图4是本申请实施例提供的终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例一：

图1示出了本申请实施例提供的一种图像处理方法的流程图，详述如下：

步骤S11通过可见光摄像头获取存在雾化区域的目标图像，通过红外摄像头获取与所述目标图像对应的第一灰度图像。

该步骤中，目标图像和第一灰度图像为同一时间获得的图像。参见图2，本申请的可见光摄像头和红外摄像头采用图2的结构能够获取雾化区域在同一时间对应的目标图像和第一灰度图像。

当然，在实际情况中，若红外摄像头和RGB摄像头分别位于独立的红外摄像机和RGB相机(普通摄像机)上，则在该红外摄像头和RGB摄像头的拍摄时间差小于预设的时间差阈值时，将这两个摄像头的拍摄时间判定为同一拍摄时间。

其中，近红外摄像头拍摄得到的第一灰度图像为清晰的，没有带雾的黑白、灰度图像。

步骤S12，将所述目标图像转换为灰度图后，得到第二灰度图像。

步骤S13，分别对所述第一灰度图像和所述第二灰度图像进行边缘滤波后，得到第一滤波图像和第二滤波图像。

其中，可通过canny算法(或者)sobel算法对第一灰度图像、第二灰度图像进行边缘滤波。

该步骤中，将第一灰度图像进行边缘滤波后，得到第一滤波图像，将第二灰度图像进行边缘滤波后，得到第二滤波图像。

步骤S14，将所述目标图像划分为至少两个以上的第一子区域，并分别确定所述第一子区域的雾浓度值，所述第一子区域的雾浓度值根据以下方式确定：分别计算所述第一滤波图像和所述第二滤波图像中与所述第一子区域对应的区域之间的第一相似度，以及，分别计算所述第一灰度图像和所述第二灰度图像中与所述第一子区域对应的区域之间的第二相似度，将所述第一相似度和所述第二相似度进行加权相加得到用于表征所述第一子区域的雾浓度值的第一总相似度，所述第一总相似度与所述第一子区域的雾浓度值负相关。

该步骤中，在目标图像划分的多个第一子区域的大小可以相同，也可以不同，为了计算的方便，通常设置划分的多个第一子区域的大小都是相同的。例如，其中，第一子区域的大小可以为64*64。需要指出的是，在划分第一子区域的过程中，若剩余区域的大小不足以均分，则对所述剩余区域进行补齐，使得补齐后的区域大小等于均分大小，从而保证划分的多个第一子区域的大小都相同。

在计算目标图像的第一子区域的雾浓度值时，需要结合第一滤波图像和第二滤波图像，第一灰度图像、第二灰度图像。具体地，首先将第一灰度图像、第二灰度图像，第一滤波图像和第二滤波图像都划分为至少两个以上的第一子区域，划分的方式与对目标图像的划分方式相同。再分别计算第一滤波图像和第二滤波图像中与第一子区域对应的区域之间的第一相似度，以及，分别计算所述第一灰度图像和所述第二灰度图像中与所述第一子区域对应的区域之间的第二相似度，例如，若第一子区域位于目标图像的左下方，则计算位于第一滤波图像的左下方的区域与位于第二滤波图像的左下方的区域之间的相似度，以及，计算位于第一灰度图像的左下方的区域与位于第二灰度图像的左下方的区域之间的相似度。最后将所述第一相似度和所述第二相似度进行加权相加得到第一总相似度，也即，第一总相似度为S，Smse为第一相似度，Sedge为第二相似度，则S＝α*Smse+(1-α)*Sedge，所述第一总相似度用于表征所述第一子区域的雾浓度值，所述第一总相似度与所述第一子区域的雾浓度值负相关，实际运算时，可以采用所述第一总相似度的倒数来计量所述第一子区域的雾浓度值。

步骤S15，若所述第一子区域的雾浓度值小于或等于预设的雾浓度阈值，采用第一预设去雾策略对所述第一子区域执行去雾处理。

当某个第一子区域的雾浓度值小于或等于预设的雾浓度阈值，表明该某个第一子区域的雾较淡，此时，第一预设去雾策略包括：暗通道去雾策略、颜色衰减先验去雾策略、雾线理论去雾策略等。

步骤S16，若所述第一子区域的雾浓度值大于预设的雾浓度阈值，采用第二预设去雾策略对所述第一子区域执行去雾处理，所述第二预设去雾策略与所述第一预设去雾策略不同。

当某个第一子区域的雾浓度值大于预设的雾浓度阈值，表明该某个第一子区域的雾较浓，此时，第二预设去雾策略包括：图像融合去雾策略、深度学习去雾策略等。

本申请实施例中，由于在第一子区域的雾浓度值小于或等于预设的雾浓度阈值时，采用第一预设去雾策略对所述第一子区域执行去雾处理，在所述第一子区域的雾浓度值大于预设的雾浓度阈值，采用第二预设去雾策略对所述第一子区域执行去雾处理，且第二预设去雾策略与第一预设去雾策略不同，因此，考虑了图像中雾浓区域和雾淡区域，并对雾浓区域和雾淡区域执行不同的去雾处理，从而使得整个图像的去雾效果更理想。

在一些实施例中，若第一预设去雾策略为暗通道去雾策略，则所述步骤S15包括：

A1、计算所述第一子区域的暗通道；

A2、根据所述暗通道计算所述第一子区域的透射率；

A3、根据获取的大气光照数据、所述第一子区域的透射率以及预设的散射模型对所述第一子区域执行去雾处理。

本实施例中，由于暗通道及透射率等计算量较少，因此，能够实现对雾淡区域的快速去雾，并且，由于雾较淡，因此，通过上述方法也能保证执行去雾处理后的效果满足要求。

在一些实施例中，为了提高对雾的浓度的判断的准确性，在所述步骤S16之前，包括：

分别将所述第一子区域划分为至少两个以上的第二子区域，并分别确定所述第二子区域的的雾浓度值，所述第二子区域的的雾浓度值根据以下方式确定：分别计算所述第一滤波图像和所述第二滤波图像中与所述第二子区域对应的区域之间的第三相似度，以及，分别计算所述第一灰度图像和所述第二灰度图像中与所述第二子区域对应的区域之间的第四相似度，将所述第三相似度和所述第四相似度进行加权相加得到用于表征所述第二子区域的雾浓度值的第二总相似度，所述第二总相似度与所述第二子区域的雾浓度值负相关；

对应地，所述步骤S16包括：

若所述第二子区域的的雾浓度值大于预设的雾浓度阈值，采用第二预设去雾策略对所述第二子区域执行去雾处理。

其中，第二子区域的面积小于第一子区域的大小，比如，若第一子区域的大小为64*64，则第二子区域的大小可以设置为32*32。

本实施例中，若判断出某个第一子区域的雾较浓，则对该某个第一子区域继续细分，这样，能够提高雾浓还是雾淡的判断结果的准确性。

在一些实施例中，若所述第二子区域的的雾浓度值小于或等于预设的雾浓度阈值，采用第一预设去雾策略对所述第二子区域执行去雾处理。

在一些实施例中，若令所述第一子区域为M区域，在第一灰度图像中与所述M区域对应的区域为N区域，则所述步骤S16包括：

B1、若所述第一子区域的雾浓度值大于预设的雾浓度阈值，将所述M区域对应的图像转化为YUV图像；

B2、根据所述YUV图像中的Y通道建立预设层数的第一最小二乘滤波器金字塔，以及，根据所述N区域对应的图像建立预设层数的第二最小二乘滤波器金字塔；

其中，预设层数大于或等于2。在第一最小二乘滤波器金字塔(或第二最小二乘滤波器金字塔)的每一层都有一个参数用来调节滤波后的模糊程度，通过该参数保证金字塔中的每一层有不同的模糊程度。

B3、确定所述Y通道的数据经过所述第一最小二乘滤波器金字塔滤波后得到的预设个数的第一灰度图像数据，以及，确定所述第一灰度图像经过所述第二最小二乘滤波器金字塔滤波后得到的预设个数的目标图像数据；

其中，预设个数与预设层数相等。

B4、根据所述预设个数的第一灰度图像数据计算所述Y通道的数据滤波后得到的第一金字塔差分值，以及，根据所述预设个数的目标图像数据计算所述N区域对应的图像滤波后得到的第二金字塔差分值；

B5、根据所述第一金字塔差分值和所述第二金字塔差分值确定新的Y通道的数据，将所述新的Y通道的数据、原有的U通道的数据以及原有的V通道的数据转回RGB图像，得到所述M区域去雾后的RGB图像。

例如，假设V0是YUV图像中的Y通道，N为所述N区域对应的图像，则分别对V0、N建立7层的WLS(加权最小二乘)金字塔PV、PN。再分别对PV、PN两个金字塔求对应金字塔差分值：

假设V1、V2为V0对应的金字塔中的第二层的第一灰度图像数据和第三层的第一灰度图像数据，则这两层对应的金字塔差分值的求法为：

VD_1＝(V1–V2)/V2；

假设V1’、V2’为N对应的金字塔中的第二层的目标图像数据和第三层目标图像数据，则这两层对应的金字塔差分值的求法为：

ND_K＝(V1’–V2’)/V2’；其他层的金字塔差分值的求法与上述类似，此处不再赘述。

其中，F0为新的Y通道，V₆为V0对应的金字塔中的第二层的第一灰度图像数据，“Π”为求乘积符号。

用F0代替V中的Y通道，然后将V转回RGB空间，得到去雾之后的图片。

当然，第二预设去雾策略也可以为基于pcnn的小波融合的图像融合去雾策略。此处不再赘述。

在一些实施例中，若第二预设去雾策略为深度学习去雾策略，则所述步骤S16包括：

C1、若所述第一子区域的雾浓度值小于预设的雾浓度阈值，以预设个数的降采样率分别对所述第一灰度图像和所述目标图像进行降采样；

C2、将同一降采样率的第一灰度图像和目标图像输入构建的一个的卷积神经网络，并且，将以第一降采样率的第一灰度图像和目标图像作为输入的卷积神经网络层的输出进行上采样后，也作为另一个卷积神经网络层的一个输入，其中，所述另一个卷积神经网络层的另一个输入的第一灰度图像和目标图像的第二降采样率小于所述第一降采样率，构建的卷积神经网络的个数与所述预设个数相等；

C3、以最小降采样率的第一灰度图像和目标图像作为输入的卷积神经网络的输出作为执行去雾处理后的目标图像。

本实施例中，假设降采样率的预设个数为3：第一降采样率、第二降采样率、第三降采样率，且第一降采样率大于第二降采样率，第二降采样率大于第三降采样率；构建的卷积神经网络的个数也为3：第一网络、第二网络、第三网络。则第一降采样率的第一灰度图像和第一降采样率的目标图像输入第一网络；第二降采样率的第一灰度图像和第二降采样率的目标图像输入第二网络，并且，第一网络的输出上采样后也作为该第二网络的另一个输入；第三降采样率的第一灰度图像和第三降采样率的目标图像输入第三网络，并且，第二网络的输出上采样后也作为该第三网络的另一个输入，该第三网络的输出作为执行去雾处理后的目标图像。

本实施例中，由于将不同降采样率的第一灰度图像和目标图像输入构建的卷积神经网络，因此，能够有效消除光圈效应。

在一些实施例中，对每一个网络独立做反向传播训练：

以所述第一灰度图像作为导向图对所述执行去雾处理后的目标图像进行导向滤波。

该步骤中，通过对去雾处理后的目标图像进行导向滤波，使得滤波后的图像更平滑。

实施例二：

与上述实施例一提供的图像处理方法对应，图3示出了本申请实施例提供的一种图像处理装置的结构图，为了便于说明，仅示出了与本申请实施例相关的部分，该图像处理装置的结构图可应用于终端设备中。

该图像处理装置3包括：目标图像获取单元31、第二灰度图像获取单元32、滤波图像获取单元33、第一子区域的雾浓度值确定单元34、第一去雾处理单元35、第二去雾处理单元36。其中：

目标图像获取单元31，用于通过可见光摄像头获取存在雾化区域的目标图像，通过红外摄像头获取与所述目标图像对应的第一灰度图像；

其中，目标图像和第一灰度图像为同一时间获得的图像。

第二灰度图像获取单元32，用于将所述目标图像转换为灰度图后，得到第二灰度图像；

滤波图像获取单元33，用户分别对所述第一灰度图像和所述第二灰度图像进行边缘滤波后，得到第一滤波图像和第二滤波图像；

第一子区域的雾浓度值确定单元34，用于将所述目标图像划分为至少两个以上的第一子区域，并分别确定所述第一子区域的雾浓度值，所述第一子区域的雾浓度值根据以下方式确定：分别计算所述第一滤波图像和所述第二滤波图像中与所述第一子区域对应的区域之间的第一相似度，以及，分别计算所述第一灰度图像和所述第二灰度图像中与所述第一子区域对应的区域之间的第二相似度，将所述第一相似度和所述第二相似度进行加权相加得到用于表征所述第一子区域的雾浓度值的第一总相似度，所述第一总相似度与所述第一子区域的雾浓度值负相关；

其中，在目标图像划分的多个第一子区域的大小可以相同，也可以不同，为了计算的方便，通常设置划分的多个第一子区域的大小都是相同的。

第一去雾处理单元35，用于若所述第一子区域的雾浓度值小于或等于预设的雾浓度阈值，采用第一预设去雾策略对所述第一子区域执行去雾处理；

第二去雾处理单元36，用于若所述第一子区域的雾浓度值大于预设的雾浓度阈值，采用第二预设去雾策略对所述第一子区域执行去雾处理，所述第二预设去雾策略与所述第一预设去雾策略不同。

本申请实施例中，由于在第一子区域的雾浓度值小于或等于预设的雾浓度阈值时，采用第一预设去雾策略对所述第一子区域执行去雾处理，在所述第一子区域的雾浓度值大于预设的雾浓度阈值，采用第二预设去雾策略对所述第一子区域执行去雾处理，且第二预设去雾策略与第一预设去雾策略不同，因此，考虑了图像中雾浓区域和雾淡区域，并对雾浓区域和雾淡区域执行不同的去雾处理，从而使得整个图像的去雾效果更理想。

在一些实施例中，若第一预设去雾策略为暗通道去雾策略，则第一去雾处理单元35具体用于：

计算所述第一子区域的暗通道，根据所述暗通道计算所述第一子区域的透射率，根据获取的大气光照数据、所述第一子区域的透射率以及预设的散射模型对所述第一子区域执行去雾处理。

在一些实施例中，为了提高对雾的浓度的判断的准确性，该图像处理装置3包括：

第二子区域划分单元，用于分别将所述第一子区域划分为至少两个以上的第二子区域，并分别确定所述第二子区域的的雾浓度值，所述第二子区域的的雾浓度值根据以下方式确定：分别计算所述第一滤波图像和所述第二滤波图像中与所述第二子区域对应的区域之间的第三相似度，以及，分别计算所述第一灰度图像和所述第二灰度图像中与所述第二子区域对应的区域之间的第四相似度，将所述第三相似度和所述第四相似度进行加权相加得到用于表征所述第二子区域的雾浓度值的第二总相似度，所述第二总相似度与所述第二子区域的雾浓度值负相关；

此时，所述第二去雾处理单元36具体用于：若所述第二子区域的的雾浓度值大于预设的雾浓度阈值，采用第二预设去雾策略对所述第二子区域执行去雾处理。

其中，第二子区域的面积小于第一子区域的大小，比如，若第一子区域的大小为64*64，则第二子区域的大小可以设置为32*32。

在一些实施例中，该图像处理装置3还包括：

第二子区域的去雾处理单元，用于若所述第二子区域的的雾浓度值小于或等于预设的雾浓度阈值，采用第一预设去雾策略对所述第二子区域执行去雾处理。

在一些实施例中，若令所述第一子区域为M区域，在第一灰度图像中与所述M区域对应的区域为N区域，则所述第二去雾处理单元36具体用于：

若所述第一子区域的雾浓度值大于预设的雾浓度阈值，将所述M区域对应的图像转化为YUV图像，根据所述YUV图像中的Y通道建立预设层数的第一最小二乘滤波器金字塔，以及，根据所述N区域对应的图像建立预设层数的第二最小二乘滤波器金字塔，确定所述Y通道的数据经过所述第一最小二乘滤波器金字塔滤波后得到的预设个数的第一灰度图像数据，以及，确定所述第一灰度图像经过所述第二最小二乘滤波器金字塔滤波后得到的预设个数的目标图像数据，根据所述预设个数的第一灰度图像数据计算所述Y通道的数据滤波后得到的第一金字塔差分值，以及，根据所述预设个数的目标图像数据计算所述N区域对应的图像滤波后得到的第二金字塔差分值，根据所述第一金字塔差分值和所述第二金字塔差分值确定新的Y通道的数据，将所述新的Y通道的数据、原有的U通道的数据以及原有的V通道的数据转回RGB图像，得到所述M区域去雾后的RGB图像。

在一些实施例中，若第二预设去雾策略为深度学习去雾策略，则所述第二去雾处理单元36具体用于：

若所述第一子区域的雾浓度值大于预设的雾浓度阈值，以预设个数的降采样率分别对所述第一灰度图像和所述目标图像进行降采样，将同一降采样率的第一灰度图像和目标图像输入构建的一个的卷积神经网络，并且，将以第一降采样率的第一灰度图像和目标图像作为输入的卷积神经网络层的输出进行上采样后，也作为另一个卷积神经网络层的一个输入，其中，所述另一个卷积神经网络层的另一个输入的第一灰度图像和目标图像的第二降采样率小于所述第一降采样率，构建的卷积神经网络的个数与所述预设个数相等，以最小降采样率的第一灰度图像和目标图像作为输入的卷积神经网络的输出作为执行去雾处理后的目标图像。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

实施例三：

图4是本申请一实施例提供的终端设备的示意图。如图4所示，该实施例的终端设备4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42。所述处理器40执行所述计算机程序42时实现上述各个方法实施例中的步骤，例如图1所示的步骤S11至S16。或者，所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能，例如图3所示模块31至36的功能。

示例性的，所述计算机程序42可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序42在所述终端设备4中的执行过程。例如，所述计算机程序42可以被分割成目标图像获取单元、第二灰度图像获取单元、滤波图像获取单元、第一子区域的雾浓度值确定单元、第一去雾处理单元、第二去雾处理单元，各单元具体功能如下：

目标图像获取单元，用于通过可见光摄像头获取存在雾化区域的目标图像，通过红外摄像头获取与所述目标图像对应的第一灰度图像；

第二灰度图像获取单元，用于将所述目标图像转换为灰度图后，得到第二灰度图像；

滤波图像获取单元，用户分别对所述第一灰度图像和所述第二灰度图像进行边缘滤波后，得到第一滤波图像和第二滤波图像；

第一子区域的雾浓度值确定单元，用于将所述目标图像划分为至少两个以上的第一子区域，并分别确定所述第一子区域的雾浓度值，所述第一子区域的雾浓度值根据以下方式确定：分别计算所述第一滤波图像和所述第二滤波图像中与所述第一子区域对应的区域之间的第一相似度，以及，分别计算所述第一灰度图像和所述第二灰度图像中与所述第一子区域对应的区域之间的第二相似度，将所述第一相似度和所述第二相似度进行加权相加得到用于表征所述第一子区域的雾浓度值的第一总相似度，所述第一总相似度与所述第一子区域的雾浓度值负相关；

第一去雾处理单元，用于若所述第一子区域的雾浓度值小于或等于预设的雾浓度阈值，采用第一预设去雾策略对所述第一子区域执行去雾处理；

第二去雾处理单元，用于若所述第一子区域的雾浓度值大于预设的雾浓度阈值，采用第二预设去雾策略对所述第一子区域执行去雾处理，所述第二预设去雾策略与所述第一预设去雾策略不同。

所述终端设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是终端设备4的示例，并不构成对终端设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器41可以是所述终端设备4的内部存储单元，例如终端设备4的硬盘或内存。所述存储器41也可以是所述终端设备4的外部存储设备，例如所述终端设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

通过可见光摄像头获取存在雾化区域的目标图像，通过红外摄像头获取与所述目标图像对应的第一灰度图像；

将所述目标图像转换为灰度图后，得到第二灰度图像；

分别对所述第一灰度图像和所述第二灰度图像进行边缘滤波后，得到第一滤波图像和第二滤波图像；

将所述目标图像划分为至少两个以上的第一子区域，并分别确定所述第一子区域的雾浓度值，所述第一子区域的雾浓度值根据以下方式确定：分别计算所述第一滤波图像和所述第二滤波图像中与所述第一子区域对应的区域之间的第一相似度，以及，分别计算所述第一灰度图像和所述第二灰度图像中与所述第一子区域对应的区域之间的第二相似度，将所述第一相似度和所述第二相似度进行加权相加，得到用于表征所述第一子区域的雾浓度值的第一总相似度，所述第一总相似度与所述第一子区域的雾浓度值负相关；

若所述第一子区域的雾浓度值小于或等于预设的雾浓度阈值，采用第一预设去雾策略对所述第一子区域执行去雾处理；

若所述第一子区域的雾浓度值大于预设的雾浓度阈值，采用第二预设去雾策略对所述第一子区域执行去雾处理，所述第二预设去雾策略与所述第一预设去雾策略不同。

2.如权利要求1所述的图像处理方法，其特征在于，在所述采用第二预设去雾策略对所述第一子区域执行去雾处理之前，包括：

分别将所述第一子区域划分为至少两个以上的第二子区域，并分别确定所述第二子区域的的雾浓度值，所述第二子区域的的雾浓度值根据以下方式确定：分别计算所述第一滤波图像和所述第二滤波图像中与所述第二子区域对应的区域之间的第三相似度，以及，分别计算所述第一灰度图像和所述第二灰度图像中与所述第二子区域对应的区域之间的第四相似度，将所述第三相似度和所述第四相似度进行加权相加得到用于表征所述第二子区域的雾浓度值的第二总相似度，所述第二总相似度与所述第二子区域的雾浓度值负相关；

对应地，所述采用第二预设去雾策略对所述第一子区域执行去雾处理包括：

若所述第二子区域的的雾浓度值大于预设的雾浓度阈值，采用第二预设去雾策略对所述第二子区域执行去雾处理。

3.如权利要求2所述的图像处理方法，其特征在于，所述图像处理方法还包括：

若所述第二子区域的的雾浓度值小于或等于预设的雾浓度阈值，采用第一预设去雾策略对所述第二子区域执行去雾处理。

4.如权利要求1所述的图像处理方法，其特征在于，采用第一预设去雾策略对所述第一子区域执行去雾处理，包括：

计算所述第一子区域的暗通道；

根据所述暗通道计算所述第一子区域的透射率；

根据获取的大气光照数据、所述第一子区域的透射率以及预设的散射模型对所述第一子区域执行去雾处理。

5.如权利要求1所述的图像处理方法，其特征在于，若令所述第一子区域为M区域，在第一灰度图像中与所述M区域对应的区域为N区域，则所述若所述第一子区域的雾浓度值大于预设的雾浓度阈值，采用第二预设去雾策略对所述第一子区域执行去雾处理，包括：

若所述第一子区域的雾浓度值大于预设的雾浓度阈值，将所述M区域对应的图像转化为YUV图像；

根据所述YUV图像中的Y通道建立预设层数的第一最小二乘滤波器金字塔，以及，根据所述N区域对应的图像建立预设层数的第二最小二乘滤波器金字塔；

确定所述Y通道的数据经过所述第一最小二乘滤波器金字塔滤波后得到的预设个数的第一灰度图像数据，以及，确定所述第一灰度图像经过所述第二最小二乘滤波器金字塔滤波后得到的预设个数的目标图像数据；

根据所述预设个数的第一灰度图像数据计算所述Y通道的数据滤波后得到的第一金字塔差分值，以及，根据所述预设个数的目标图像数据计算所述N区域对应的图像滤波后得到的第二金字塔差分值；

根据所述第一差分值和所述第二差分值确定新的Y通道的数据，将所述新的Y通道的数据、原有的U通道的数据以及原有的V通道的数据转回RGB图像，得到所述M区域去雾后的RGB图像。

6.如权利要求1所述的图像处理方法，其特征在于，所述采用第二预设去雾策略对所述第一子区域执行去雾处理，包括：

以预设个数的降采样率分别对所述第一灰度图像和所述目标图像进行降采样；

将同一降采样率的第一灰度图像和目标图像输入构建的一个的卷积神经网络，并且，将以第一降采样率的第一灰度图像和目标图像作为输入的卷积神经网络的输出进行上采样后，作为另一个卷积神经网络的一个输入，其中，所述另一个卷积神经网络的另一个输入的第一灰度图像和目标图像的第二降采样率小于所述第一降采样率，构建的卷积神经网络的个数与所述预设个数相等；

以最小降采样率的第一灰度图像和目标图像作为输入的卷积神经网络层的输出作为执行去雾处理后的目标图像。

7.如权利要求6所述的图像处理方法，其特征在于，在所述以最小降采样率的第一灰度图像和目标图像作为输入的卷积神经网络的输出作为执行去雾处理后的目标图像之后，包括：

以所述第一灰度图像作为导向图对所述执行去雾处理后的目标图像进行导向滤波。

8.一种图像处理装置，其特征在于，包括：

目标图像获取单元，用于通过可见光摄像头获取存在雾化区域的目标图像，通过红外摄像头获取与所述目标图像对应的第一灰度图像；

第二灰度图像获取单元，用于将所述目标图像转换为灰度图后，得到第二灰度图像；

滤波图像获取单元，用户分别对所述第一灰度图像和所述第二灰度图像进行边缘滤波后，得到第一滤波图像和第二滤波图像；

第一子区域的雾浓度值确定单元，用于将所述目标图像划分为至少两个以上的第一子区域，并分别确定所述第一子区域的雾浓度值，所述第一子区域的雾浓度值根据以下方式确定：分别计算所述第一滤波图像和所述第二滤波图像中与所述第一子区域对应的区域之间的第一相似度，以及，分别计算所述第一灰度图像和所述第二灰度图像中与所述第一子区域对应的区域之间的第二相似度，将所述第一相似度和所述第二相似度进行加权相加，得到用于表征所述第一子区域的雾浓度值的第一相似度，所述第一总相似度与所述第一子区域的雾浓度值负相关；

第一去雾处理单元，用于若所述第一子区域的雾浓度值小于或等于预设的雾浓度阈值，采用第一预设去雾策略对所述第一子区域执行去雾处理；

第二去雾处理单元，用于若所述第一子区域的雾浓度值大于预设的雾浓度阈值，采用第二预设去雾策略对所述第一子区域执行去雾处理，所述第二预设去雾策略与所述第一预设去雾策略不同。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。