CN112991218A - 图像处理的方法、装置、设备以及存储介质 - Google Patents

Abstract

本公开提供了一种图像处理的方法、装置、设备以及存储介质，涉及图像处理、云计算等人工智能领域。具体实现方案为：包括：获取监测区域的可见光图像和红外图像；对可见光图像进行去雾化处理，得到无雾图像；对无雾图像和红外图像进行图像融合处理，得到目标图像。根据本公开实施例的方法，可以提高成像效果以及清晰度，有利于降低对目标图像的分析难度。

Description

图像处理的方法、装置、设备以及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及图像处理、云计算等人工智能领域。

背景技术

无人机具有体积小、不受人为限制、运动灵活以及能耗低等优点，因而具有较广的应用范围，例如可以应用于航拍、侦查、搜救等领域。

但是，无人机拍摄的可见光图像极易受到气象条件的影响，例如在雾霾天气下，由于悬浮物质对于光线的散射作用，会导致无人机拍摄的图像模糊不清；又例如，在夜晚或者阴天等光线不足的情况下，无人机拍摄的图像成像效果较差，从而影响对目标物的检测以及追踪。

发明内容

本公开提供了一种图像处理的方法、装置、设备以及存储介质。

根据本公开的一方面，提供了一种图像处理的方法，包括：

获取监测区域的可见光图像和红外图像；

对可见光图像进行去雾化处理，得到无雾图像；

对无雾图像和红外图像进行图像融合处理，得到目标图像。

根据本公开的另一方面，提供了一种图像处理的装置，包括：

图像获取模块，用于获取监测区域的可见光图像和红外图像；

去雾化处理模块，用于对可见光图像进行去雾化处理，得到无雾图像；

图像融合处理模块，用于对无雾图像和红外图像进行图像融合处理，得到目标图像。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的方法。

根据本公开的技术，解决了在可以在雾天或光线不足的环境下，成像效果差的技术问题，提高了成像效果以及清晰度，有利于降低对目标图像的分析难度。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示出根据本公开实施例的图像处理的方法的流程图；

图2示出根据本公开实施例的对无雾图像和红外图像进行图像融合处理的具体流程图；

图3示出根据本公开实施例的对配准图像和无雾图像进行图像融合处理的具体流程图；

图4示出根据本公开实施例的得到亮度融合分量的具体流程图；

图5示出根据本公开实施例的进行去雾化处理的具体流程图；

图6示出根据本公开实施例的检测监测对象的具体流程图；

图7示出根据本公开实施例的对监测对象进行追踪的具体流程图；

图8示出根据本公开实施例的对监测对象进行定位的具体流程图；

图9示出根据本公开实施例的进行图像拼接处理的具体流程图；

图10示出无人机拍摄图像的智能分析系统的结构示意图；

图11示出无人机拍摄图像的智能分析系统进行图像处理的流程图；

图12示出根据本公开实施例的图像处理的装置的示意图；

图13是用来实现本公开实施例的图像处理的方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1示出根据本公开实施例的图像处理的方法的流程图。

根据本公开实施例的方法可以应用于图像处理技术领域，具体地，可以用于对无人机等其他成像设备所拍摄的图像进行图像处理。

如图1所示，该方法包括：

步骤S101：获取监测区域的可见光图像和红外图像；

步骤S102：对可见光图像进行去雾化处理，得到无雾图像；

步骤S103：对无雾图像和红外图像进行图像融合处理，得到目标图像。

示例性地，在步骤S101中，监测区域可以为自然环境，例如可以为城市区域、野外区域、水域等。

可见光图像可以通过可见光成像装置进行获取，红外图像可以通过红外成像装置获取。以无人机为例，可见光图像和红外图像可以通过无人机上装配的可见光摄像头和红外摄像头分别获取。

需要说明的是，可见光成像装置或红外成像装置通常需要拍摄多帧画面，步骤S101中所获取的可见光图像和红外图像可以为同一时刻的可见光图像和红外图像，即可见光成像装置和红外成像装置在同一时刻分别拍摄的单帧图像。

可以理解的是，可见光图像可以展示监测区域的中各个目标的颜色、纹理等信息。其中，可见光是电磁波谱中人眼可以感知的部分，可见光谱的电磁波的频率在380～750THz。红外图像可以根据红外传感器所接收的热辐射进行成像。其中，红外光即指比0.78微米长的电磁波，且位于可见光光谱红色以外，又称为红外线或红外辐射。需要说明的是，通过红外成像技术获取到的红外图像，在光线不足或照明较暗的环境下，可以较好地还原被拍摄物体的热成像。

示例性地，在步骤S102中，可以通过训练好的去雾化模型，对可见光图像进行去雾处理，以得到无雾图像。由此，针对在雾天环境下所拍摄的可见光图像，可以消除雾气对可见光图像的影响，提高可见光图像的清晰度。

示例性地，在步骤S103中，可以通过图像融合算法对无雾图像和红外图像进行融合处理。其中，经过图像融合处理后得到的目标图像，可以为采用RGB(Red Greem Blue，红绿蓝)彩色空间的图像。

基于图像融合处理后得到目标图像，在保留了可见光图像中的色彩信息的基础上，还可以结合红外图像中较为精准的亮度信息，从而弥补可见光图像受光照条件影响下成像效果的不足，提高目标图像的成像效果。

基于以上步骤得到的目标图像，可以作为对监测区域进行图像分析的输入。例如，可以通过目标检测算法和/或图像分割模型、以及目标追踪算法，对目标图像中的监测对象进行识别和追踪。其中，监测对象可以为人、车辆、动物等根据实际需求所设定的目标。

根据本公开实施例的图像处理的方法，通过获取监测对象在同一时刻的可见光图像和红外图像，并对可见光图像进行去雾化处理得到无雾图像，可以在雾天或雾霾环境下，对可见光图像进行去雾处理，以减轻雾气或雾霾对成像效果的影响，提高可见光图像的清晰度。其次，通过对无雾图像和红外图像进行图像融合处理以得到目标图像，可以在例如阴天或夜晚等光线不足的环境下，进一步提高目标图像的成像效果，从而有利于对目标图像中的监测对象进行检测和追踪，降低图像的分析难度。

如图2所示，在一种实施方式中，步骤S103包括：

步骤S201：将无雾图像作为参考图像，对红外图像进行配准处理，得到配准图像；

步骤S202：对配准图像和无雾图像进行图像融合处理，得到目标图像。

需要说明的是，图像融合处理需要去雾图像和红外图像在同一坐标下严格对齐，也就是说要把两幅图像进行严格配准，才能保证融合效果在实际应用中的有效性。由于无雾图像和红外图像可能存在平移或拉伸缩放等空间变换关系，没有在同一坐标下严格对齐，因而需要在融合前对红外图像进行图像配准处理。

示例性地，步骤S201可以包括如下具体步骤：

(1)选取去雾图像作为参考图像、以及选取红外图像作为浮动图像，基于仿射变换构建空间变换模型；

(2)基于红外图像的初始参数，通过空间变换模型将红外图像进行空间几何变换；

(3)对空间几何变换后的红外图像进行灰度插值，并计算可见光图像和插值后红外图像的互信息值(Mutual Information，MI)，在互信息值未达到最大的情况下，利用遗传算法进行对配准参数进行优化，直至获取到互信息值最大的配准参数，作为最佳配准参数；

(4)基于最佳配准参数，对红外图像进行空间变换和插值处理，以得到配准图像。

基于以上步骤，可以实现对红外图像的精确配准。

根据上述实施方式，通过在图像融合处理前，对红外图像进行配准处理，可以确保去雾图像和红外图像的顺利融合，从而确保图像融合处理得到的目标图像在实际应用中的有效性。

如图3所示，在一种实施方式中，步骤S202包括：

步骤S301：利用彩色空间变换和提升小波变换处理所述配准图像和所述无雾图像，得到配准图像的亮度融合分量；

步骤S302：对亮度融合分量与无雾图像的色调分量和饱和度分量进行彩色空间逆变换，得到目标图像。

示例性地，在步骤S301中，彩色空间变换可以理解为，IHS(Intensity HueSaturation，亮度、色调和饱和度)彩色空间变换至RGB彩色空间的彩色变换方法。

提升小波变换为在时域中采用提升方法(lifting scheme)构造小波的第二代小波(second generation wavelet)方法，第二代小波方法是一种更为快速有效的小波变换实现方法，具体包括分裂、预测和更新三个步骤。提升小波变换具有如下优势：(1)不依赖于Fourier变换，完全在时域中完成对双正交小波的构造，具有结构化设计和自适应构造方面的突出优点；(2)构造方法灵活，可以从一些简单的小波函数，通过提升改善小波函数的特性，从而构造出具有期望特性的小波；(3)不再是某一给定小波函数的伸缩和平移，它适合于不等间隔采样问题的小波构造；(4)算法简单，运算速度快、占用内存少，执行效率高，可以分析任意长度的信号。

根据上述实施方式，可以在保留去雾图像的色调信息和饱和度信息的基础上，融合配准图像的亮度信息，从而使目标图像既包括去雾图像的颜色细节又包括配准图像的亮度细节，避免了在光照不足的环境条件可见光图像的成像效果不佳的情况，进而确保最终得到的目标图像的成像质量。并且，通过采用提升小波变换，相比传统的小波融合变换，可以显著提升图像融合处理的效率。

如图4所示，在一种实施方式中，步骤S301包括：

步骤S401：对配准图像的亮度分量和无雾图像的亮度分量分别进行提升小波变换，得到配准图像的低频分量和高频分量、以及无雾图像的低频分量和高频分量；

步骤S402：对配准图像的低频分量和无雾图像的低频分量进行融合，得到低频融合分量；

步骤S403：对配准图像的高频分量和无雾图像的高频分量进行融合，得到高频融合分量；

步骤S404：对低频融合分量和高频融合分量进行提升小波逆变换，得到亮度融合分量。

根据上述实施方式，通过利用彩色空间变换和提升小波变换得到配准图像的亮度融合分量，可以提高对亮度融合分量的提取效率，从而提高度图像融合处理的效率，且具有较高的易用性。

如图5所示，在一种实施方式中，步骤S102包括：

步骤S501：对可见光图像进行特征提取处理，得到去雾化特征；

步骤S502：对去雾化特征进行特征映射处理，得到多尺度特征；

步骤S503：对多尺度特征进行非线性回归处理，得到无雾图像。

在公开实施例中，步骤S102可以采用各种去雾化处理方式对可见光图像进行去雾化处理。

例如，可以通过DehazeNet(一种深度卷积网络)模型对可见光图像进行去雾化处理。其中，DehazeNet模型采用端对端的模型，具有处理速度快、性能稳定、去雾化效果佳的优点。DehazeNet模型可以将可见光图像作为输入，输出中间透射图，并通过大气散射模型恢复无雾图像。DehazeNet模型采用基于卷积神经网络的深层架构，其层专门设计用于体现图像去雾中已建立的假设或先验。

具体而言，DehazeNet模型采用“卷积+Maxout(激活函数)”的结构作为网络第一层，用于对可见光图像进行特征提取处理。并且，DehazeNet模型通过多尺度平行卷积操作对去雾化特征进行特征映射处理，以得到多尺度特征。其中，多尺度特征可以提高在不同分辨率下特征提取的鲁棒性。最后，利用双边纠正激励函数对多尺度特征进行非线性回归处理，可以在满足双边约束的同时，保证局部的线性。需要说明的是，双边约束引入先验信息缩小参数搜索空间，使得DehazeNet模型更加容易训练，并且，通过局部线性可以避免Sigmoid函数梯度不一致带来的收敛困难。

根据上述实施方式，可以提高对可见光图像的去雾化性能，以确保在光照较暗环境下的图像清晰度，并且具有较高的处理效率和易用性。

如图6所示，在一种实施方式中，该方法还包括：

步骤S601：通过目标检测算法或图像分割模型，从目标图像中检测出监测对象。其中，监测对象可以为人、车辆、动物等根据实际需求所设定的目标。

需要说明的是，目标检测技术在对监测区域进行实时监控的过程中极为重要。为了尽早的确认监测对象，用户希望在较远的距离第一时间发现监测对象，例如在无人机航拍过程中，目标所在像素通常很小，只有快速的、准确的检测出监测区域中的监测对象，才能为后续操作留出足够多的时间。

目标检测算法可以采用各种检测算法。例如，目标检测算法可以采用Yolo目标检测算法。Yolo目标检测算法采用多种尺度的卷积核，多尺度卷积可以提取多种尺度下的图像特征。基于特征图分辨率从大到小的规律，卷积核的尺寸变化规律为由小到大。在浅层卷积的情况下，特征图的尺寸大、分辨率高，包含更多的小目标信息，此时采用小卷积核，其感受视野小，有利于提取小目标信息。通过采用Yolo目标检测算法，可以使监测对象的检测过程更符合图像理解的过程，并且可以对尺寸较小的监测对象实现快速以及准确的检测。

需要说明的是，由于可见光图像或红外图像中通常就有非常多的背景信息。目标检测算法能够把一些重要的监测对象检测出来，但是许多背景或者其他重要性较低的监测对象，不具备相应的类别信息和边界信息。为了让计算机或用户更好地理解目标图像中的信息，有效地判别出目标图像中监测对象的类别，进而明确监测对象的位置，需要对目标图像进行图像语义分割或者实例分割。

图像分割模型的目的是将目标图像根据图像中的不同内容分割成不同的区域。相比于目标检测技术，图像分割技术是一项更精细的工作，需要对每个像素点进行分类，并将其中的物体的轮廓精准勾勒。

示例性地，图像分割模型可以采用Deeplabv3和MobilenetV2相结合的模型。图像分割模型的整体结构可以分为两部分，前半部分是用于提取特征的主干网络，后半部分将提取的特征恢复成和输入图像同尺寸的分割结果。其中，MobileNNetv2可以作为前半部分的主干网络，MobileNetv2最大的特点是使用可逆残差块和线性结构块，可以缓解特征退化以及提高网络运行效率。后半部分可以是deeplabv3的分割头结构，该结构可以很好的捕捉不同感受野(Receptive Field)的目标，它的主要组成是多个不同空洞率的卷积核平行方式组合，处理主干网络最顶端输出的特征图。

此外，在本公开实施例中，可以通过目标检测算法和图像分割模型中的任一种方式对监测对象进行检测。也可以结合目标检测算法和图像分割模型两种方式对监测对象进行检测。

优选地，可以结合目标检测算法和图像分割模型两种方式对监测对象进行检测。其中，目标检测算法用于对监测对象中的关键对象(或尺寸较大的对象)进行检测，图像分割模型用于对监测对象中的背景对象(或尺寸较小的对象)进行检测，从而实现对目标图像中的各种监测对象的全面检测。

根据上述实施方式，可以实现对监测区域的监测对象的检测，以达到对监测区域进行实时监测的目的。

如图7所示，在一种实施方式中，该方法还包括：

步骤S701：从目标图像和其他时刻的目标图像中检测出监测对象；

步骤S702：关联目标图像和其他时刻的目标图像，确定出监测对象的运行轨迹。

示例性地，在步骤S701中，目标图像和其他时刻的目标图像可以理解为，多个时刻下对应的多帧可见光图像和多帧红外图像，通过对多帧可见光图像进行去雾化处理以得到多帧去雾图像，然后通过将多帧去雾图像和多帧红外图像进行图像融合处理，以得到与多个时刻相对应的多帧目标图像。对各目标图像中的监测对象进行检测，可以采用与步骤S801相同或相似的方法，此处不再赘述。其中，检测出的监测对象可以为一个或多个。

示例性地，在步骤S702中，可以通过目标追踪算法对监测对象进行追踪。目标追踪算法是通过追踪监测对象在各个时刻所对应的每帧目标图像中的位置，通过多帧关联的方式形成监测对象的运行轨迹，并且在具有多个监测对象时，还要保证各个监测对象的运行轨迹的连续性与正确性。

针对多帧的目标图像，由于监测对象的运动具有连续性，很少存在突变的情况，且监测对象在相邻帧的目标图像中的位置必然在一定的邻域内，基于监测对象在每一帧目标图像中的，可通过多帧关联的方式输出监测对象的运行轨迹。具体过程如下：

(1)针对监测对象在各帧目标图像中所处位置的检测结果，以第一帧目标图像的检测结果初始化运行轨迹，然后读取下一帧目标图像的检测结果，并且与运行轨迹的末端信息进行关联；

(2)对于关联成功的运行轨迹，更新运行轨迹的末端信息；对于未关联的检测结果，则建立新的运行轨迹，并为每条运行轨迹分配不同的轨迹编号，即轨迹ID。不同的轨迹ID表明为不同的监测对象，以此来区分追踪过程中的存在多个监测对象的情况；

(3)将包含有监测对象的多帧目标图像进行融合，以得到监测对象的运行轨迹。

根据上述实施方式，可以实现对目标图像中监测对象的检测及追踪，并且可以得到监测对象较为精准的运行轨迹，从而有利于对监测区域进行实时监控。

如图8所示，在一种实施方式中，该方法还包括：

步骤S801：根据监测对象在目标图像中的坐标，通过空间坐标变换算法得到监测对象的地理位置信息。

示例性地，空间坐标变换算法用于将监测对象在图像中的坐标信息转换为在地理坐标系统中的坐标信息，即最终得到的监测对象的地理位置信息可以为，监测对象在地理坐标系统中的经度和纬度信息。

通过上述实施方式，可以实现对监测对象的实时定位。

如图9所示，在一种实施方式中，该方法还包括：

步骤S901：对目标图像和其他拍摄角度或拍摄条件下的目标图像进行图像拼接处理。

可以理解的是，由于在不同的拍摄角度或拍摄条件下，所形成的目标图像具有差异性，例如对监测区域的拍摄范围或者成像效果均存在差异。在某一种拍摄角度或拍摄条件下，获取到的可见光图像以及红外图像并不一定能够展现监测对象的全部区域。因此，需要对多种拍摄角度或拍摄条件下所对应的多个目标图像进行图像拼接处理，以得到可以表征监测区域全部范围的全景图。

示例性地，图像拼接处理具体可以包括如下步骤：

(1)图像预处理，包括数字图像处理的基本操作(如去噪、边缘提取、直方图处理等)、建立图像的匹配模板以及对图像进行某种变换(如傅里叶变换、小波变换等)等操作；

(2)图像配准，即采用一定的匹配策略，找出任意两个目标图像中的模板或特征点在参考图像中对应的位置，进而确定两个目标图像之间的变换关系；

(3)建立变换模型，根据模板或图像特征之间的对应关系，计算出数学模型中的各参数值，从而建立两个目标图像之间的数学变换模型；统一坐标变换，根据建立的数学转换模型，将待拼接图像转换到参考图像的坐标系中，完成统一坐标变换；

(4)融合重构，将两个目标图像的重合区域进行融合，得到拼接重构后的平滑无缝全景图像，作为目标图像。

(5)无人机拍摄图像镶嵌是将多幅图像(特别是不同拍摄角度或者不同拍摄条件下拍摄的图像)拼接在一起，构成一幅更大范围的无人机拍摄图像。利用更大范围的无人机拍摄图像有利于宏观把控整个地域的情况。

根据上述实施方式，通过将不同拍摄角度或拍摄条件下的目标图像进行图像拼接处理，可以得到监测区域的全景图，从而有利于宏观把控监测区域整个区域的情况。

下面参照图10和图11描述根据本公开实施例的一个具体应用示例。

图10示出应用本公开实施例的方法的无人机拍摄图像的智能分析系统的结构示意图。如图10所示，该系统可以包括：

图像收集模块，包括高清可见光摄像头和红外摄像头，用于分别获取监测区域的可见光图像和红外图像；

图像去雾化模块，用于对可见光图像进行去雾化处理，其中，图像去雾化模块可以采用DehazeNet模型；

图像融合模块，用于对红外图像和可见光图像进行图像融合处理、以及对融合后的不同角度的图像进行图像拼接处理；其中，图像融合模块可以通过结合彩色空间变换以及提升小波变换的方式进行图像融合处理。

目标追踪模块，包括目标检测子模块和图像分割子模块，其中，目标检测子模块可以采用Yolo目标检测算法对目标图像中的监测对象进行检测，图像分割子模块用于对目标图像进行像素级别的图像分割，以确定目标图像中包括的小目标以及相应的类别；

定位模块，用于确定目标图像中的监测对象的地理位置信息；

数据存储模块，用于记录监测过程中的拍摄数据及分析结果，记录的拍摄数据即分析结果后续经过标注处理后存储至数据库，可以作为目标检测模型和图像分割模型等其他模型的训练样本；

人机交互模块，包括显示模块和报警模块，其中，显示模块用于向用户展示无人机当前拍摄到的画面情况，并且用户可以点击图像中的物体即可获取该物体的类别信息、轨迹信息和经纬度信息；此外，用户还可以选择是否追踪此物体；报警模块用于在监测过程中检测到可疑的监测对象时，发出报警提示。

图11示出无人机拍摄图像的智能分析系统的图像处理方法的流程图。

如图11所示，该方法可以包括以下步骤：

(1)通过图像收集模块调用红外摄像头和高清摄像头分别获取可见光图像和红外图像；

(2)通过图像去雾化模块对可见光图像进行去雾化处理；

(3)通过图像融合模块将可见光图像和红外图像进行图像融合处理，并将不同角度拍摄的目标图像进行拼接处理；

(4)通过目标检测模块对监测对象进行检测；

(5)通过图像分割模块对目标图像进行图像分割处理，并对得到的多个监测对象配置相应的类别标签；

(6)通过目标追踪模块对监测对象进行追踪；

(7)通过目标定位模块获取监测对象的地理位置信息；

(8)通过人机交互模块向用户展示当前的拍摄画面，并展示其中的监测对象的相关信息；

(9)通过数据存储模块将拍摄数据保存至存储模块。

根据本公开的实施例，本公开还提供了一种图像处理的装置。

如图12所示，该装置包括：

图像获取模块1201，用于获取监测区域的可见光图像和红外图像；

去雾化处理模块1202，用于对可见光图像进行去雾化处理，得到无雾图像；

图像融合处理模块1203，用于对无雾图像和红外图像进行图像融合处理，得到目标图像。

在一种实施方式中，图像融合处理模块1203包括：

配准子模块，用于将无雾图像作为参考图像，并对红外图像进行配准处理，得到配准图像；

融合处理子模块，用于对配准图像和无雾图像进行图像融合处理，得到目标图像。

在一种实施方式中，融合处理子模块包括：

亮度融合分量计算单元，用于利用彩色空间变换和提升小波变换处理配准图像和无雾图像，得到配准图像的亮度融合分量；

目标图像生成单元，用于对亮度融合分量与无雾图像的色调分量和饱和度分量进行彩色空间逆变换，得到目标图像。

在一种实施方式中，亮度融合分量计算单元包括：

亮度分量提取子单元，用于提取配准图像的亮度分量以及无雾图像的亮度分量；

提升小波变换子单元，用于对配准图像亮度分量和无雾图像的亮度分量分别进行提升小波变换，得到配准图像的低频分量和高频分量、以及无雾图像的低频分量和高频分量；

分量融合子单元，用于对配准图像的低频分量和无雾图像的低频分量、以及配准图像的高频分量和无雾图像的高频分量分别进行融合，得到低频融合分量和高频融合分量；

提升小波逆变换子单元，用于对低频融合分量和高频融合分量进行提升小波逆变换，得到亮度融合分量。

在一种实施方式中，去雾化处理模块1202包括：

特征提取处理子模块，用于对可见光图像进行特征提取处理，得到去雾化特征；

特征映射处理子模块，用于对去雾化特征进行特征映射处理，得到多尺度特征；

非线性回归处理子模块，用于对多尺度特征进行非线性回归处理，得到无雾图像。

在一种实施方式中，该装置还包括；

监测对象检测模块，用于通过目标检测算法或图像分割模型，从目标图像中检测出监测对象。

在一种实施方式中，该装置还包括：

监测对象检测模块，用于从目标图像和其他时刻的目标图像中检测出监测对象；

关联目标图像和其他时刻的目标图像，确定出监测对象的运行轨迹。

在一种实施方式中，该装置还包括：

定位模块，用于根据监测对象在目标图像中的坐标，通过空间坐标变换算法得到监测对象的地理位置信息。

在一种实施方式中，该装置还包括：

图像拼接处理模块，用于对目标图像和其他拍摄角度或拍摄条件下的目标图像进行图像拼接处理。

本公开实施例各装置中的各单元、模块或子模块的功能可以参见上述方法实施例中的对应描述，在此不再赘述。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图13示出了可以用来实施本公开的实施例的示例电子设备1300的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或要求的本公开的实现。

如图13所示，电子设备1300包括计算单元1301，其可以根据存储在只读存储器(ROM)1302中的计算机程序或者从存储单元1308加载到随机访问存储器(RAM)1303中的计算机程序来执行各种适当的动作和处理。在RAM 1303中，还可存储电子设备1300操作所需的各种程序和数据。计算单元1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入输出(I/O)接口1305也连接至总线1304。

电子设备1300中的多个部件连接至I/O接口1305，包括：输入单元1306，例如键盘、鼠标等；输出单元1307，例如各种类型的显示器、扬声器等；存储单元1308，例如磁盘、光盘等；以及通信单元1309，例如网卡、调制解调器、无线通信收发机等。通信单元1309允许电子设备1300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1301的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1301执行上文所描述的各个方法和处理，例如图像处理的方法。例如，在一些实施例中，图像处理的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1308。在一些实施例中，计算机程序的部分或者全部可以经由ROM1302和/或通信单元1309而被载入和/或安装到电子设备1300上。当计算机程序加载到RAM 1303并由计算单元1301执行时，可以执行上文描述的图像处理的方法的一个或多个步骤。备选地，在其他实施例中，计算单元1301可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理的方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种图像处理的方法，包括：

获取监测区域的可见光图像和红外图像；

对所述可见光图像进行去雾化处理，得到无雾图像；

对所述无雾图像和所述红外图像进行图像融合处理，得到目标图像。

2.根据权利要求1所述的方法，其中，对所述无雾图像和所述红外图像进行图像融合处理，得到目标图像，包括：

将所述无雾图像作为参考图像，对所述红外图像进行配准处理，得到配准图像；

对所述配准图像和所述无雾图像进行图像融合处理，得到目标图像。

3.根据权利要求2所述的方法，其中，对所述配准图像和所述无雾图像进行图像融合处理，得到目标图像，包括：

利用彩色空间变换和提升小波变换处理所述配准图像和所述无雾图像，得到所述配准图像的亮度融合分量；

对所述亮度融合分量与所述无雾图像的色调分量和饱和度分量进行彩色空间逆变换，得到目标图像。

4.根据权利要求3所述的方法，其中，利用彩色空间变换和提升小波变换处理所述配准图像和所述无雾图像，得到所述配准图像的亮度融合分量，包括：

对所述配准图像的亮度分量和所述无雾图像的亮度分量分别进行提升小波变换，得到所述配准图像的低频分量和高频分量、以及所述无雾图像的低频分量和高频分量；

对所述配准图像的低频分量和所述无雾图像的低频分量进行融合，得到低频融合分量；

对所述配准图像的高频分量和所述无雾图像的高频分量进行融合，得到高频融合分量；

对所述低频融合分量和所述高频融合分量进行提升小波逆变换，得到亮度融合分量。

5.根据权利要求1所述的方法，其中，对所述可见光图像进行去雾化处理，得到无雾图像，包括：

对所述可见光图像进行特征提取处理，得到去雾化特征；

对所述去雾化特征进行特征映射处理，得到多尺度特征；

对所述多尺度特征进行非线性回归处理，得到无雾图像。

6.根据权利要求1所述的方法，还包括：

通过目标检测算法或图像分割模型，从所述目标图像中检测出监测对象。

7.根据权利要求1所述的方法，还包括：

从所述目标图像和其他时刻的目标图像中检测出监测对象；

关联所述目标图像和其他时刻的目标图像，确定出所述监测对象的运行轨迹。

8.根据权利要求6或7所述的方法，还包括：

根据所述监测对象在所述目标图像中的坐标，通过空间坐标变换算法得到所述监测对象的地理位置信息。

9.根据权利要求1-7所述的方法，还包括：

对所述目标图像和其他拍摄角度或拍摄条件下的目标图像进行图像拼接处理。

10.一种图像处理的装置，包括：

图像获取模块，用于获取监测区域的可见光图像和红外图像；

去雾化处理模块，用于对所述可见光图像进行去雾化处理，得到无雾图像；

图像融合处理模块，用于对所述无雾图像和所述红外图像进行图像融合处理，得到目标图像。

11.根据权利要求10所述的装置，其中，所述图像融合处理模块包括：

配准子模块，用于将所述无雾图像作为参考图像，并对所述红外图像进行配准处理，得到配准图像；

融合处理子模块，用于对所述配准图像和所述无雾图像进行图像融合处理，得到目标图像。

12.根据权利要求11所述的装置，其中，所述融合处理子模块包括：

亮度融合分量计算单元，用于利用彩色空间变换和提升小波变换处理所述配准图像和所述无雾图像，得到所述配准图像的亮度融合分量；

目标图像生成单元，用于对所述亮度融合分量与所述无雾图像的色调分量和饱和度分量进行彩色空间逆变换，得到目标图像。

13.根据权利要求12所述的装置，其中，所述亮度融合分量计算单元包括：

亮度分量提取子单元，用于提取所述配准图像的亮度分量以及所述无雾图像的亮度分量；

提升小波变换子单元，用于对所述配准图像亮度分量和所述无雾图像的亮度分量分别进行提升小波变换，得到所述配准图像的低频分量和高频分量、以及所述无雾图像的低频分量和高频分量；

分量融合子单元，用于对所述配准图像的低频分量和所述无雾图像的低频分量、以及所述配准图像的高频分量和所述无雾图像的高频分量分别进行融合，得到低频融合分量和高频融合分量；

提升小波逆变换子单元，用于对所述低频融合分量和所述高频融合分量进行提升小波逆变换，得到亮度融合分量。

14.根据权利要求10所述的装置，其中，所述去雾化处理模块包括：

特征提取处理子模块，用于对所述可见光图像进行特征提取处理，得到去雾化特征；

特征映射处理子模块，用于对所述去雾化特征进行特征映射处理，得到多尺度特征；

非线性回归处理子模块，用于对所述多尺度特征进行非线性回归处理，得到无雾图像。

15.根据权利要求10所述的装置，还包括；

监测对象检测模块，用于通过目标检测算法或图像分割模型，从所述目标图像中检测出监测对象。

16.根据权利要求10所述的装置，还包括：

监测对象检测模块，用于从所述目标图像和其他时刻的目标图像中检测出监测对象；

关联所述目标图像和其他时刻的目标图像，确定出所述监测对象的运行轨迹。

17.根据权利要求15或16所述的装置，还包括：

定位模块，用于根据所述监测对象在所述目标图像中的坐标，通过空间坐标变换算法得到所述监测对象的地理位置信息。

18.根据权利要求10-16任一项所述的装置，还包括：

图像拼接处理模块，用于对所述目标图像和其他拍摄角度或拍摄条件下的目标图像进行图像拼接处理。

19.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行权利要求1-9中任一项所述的方法。

21.一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。

Images