CN113240602A - 图像去雾方法及装置、计算机可读介质和电子设备 - Google Patents

Abstract

本公开提供一种图像去雾方法、图像去雾装置、计算机可读介质和电子设备，涉及图像处理技术领域。该方法包括：获取同一场景在同一时刻的可见光图像和红外图像；提取可见光图像对应的第一特征点集合和红外图像对应的第二特征点集合，基于第一特征点集合和第二特征点集合在可见光图像中确定第一区域，并在红外图像中确定第一区域对应的第二区域；基于第一区域和第二区域确定雾浓度分布，并根据雾浓度分布将第一区域和第二区域融合，以获取对第一区域进行去雾后的可见光图像。本公开针对图像中特定的第一区域进行去雾，不仅可以减少去雾处理的计算量，提高去雾处理的速度，还可以保留可见光图像中第一区域以外部分的细节信息。

Description

图像去雾方法及装置、计算机可读介质和电子设备

技术领域

本公开涉及图像处理技术领域，具体涉及一种图像去雾方法、图像去雾装置、计算机可读介质和电子设备。

背景技术

在计算机发展迅速的时代，依托手机、数码相机等电子设备记录生活已经成为人类生活中不可或缺的一部分。然而，由于数字图像的特性，采集的数字图像很容易受摄像头本身的图像采集性能、被拍摄对象本身的图像质量、拍摄环境的光照等原因的影响。例如，遇到恶劣大雾天气或者雾霾天气时，远处的山和天空受到大雾的影响，无法拍摄画质清晰的图像。

基于此，人们往往会对图像进行一些处理，以去除图像中雾。例如，可以基于深度学习算法训练去雾模型，然后将有雾图像输入进行处理得到去雾的图像。

发明内容

本公开的目的在于提供一种图像去雾方法、图像去雾装置、计算机可读介质和电子设备，进而至少在一定程度上提高去雾处理的速度。

根据本公开的第一方面，提供一种图像去雾方法，包括：获取同一场景在同一时刻的可见光图像和红外图像；提取可见光图像对应的第一特征点集合和红外图像对应的第二特征点集合，基于第一特征点集合和第二特征点集合在可见光图像中确定第一区域，并在红外图像中确定第一区域对应的第二区域；基于第一区域和第二区域确定雾浓度分布，并根据雾浓度分布将第一区域和第二区域融合，以获取对第一区域进行去雾后的可见光图像。

根据本公开的第二方面，提供一种图像去雾装置，包括：图像获取模块，用于获取同一场景在同一时刻的可见光图像和红外图像；区域确定模块，用于提取可见光图像对应的第一特征点集合和红外图像对应的第二特征点集合，基于第一特征点集合和第二特征点集合在可见光图像中确定第一区域，并在红外图像中确定第一区域对应的第二区域；区域去雾模块，用于基于第一区域和第二区域确定雾浓度分布，并根据雾浓度分布将第一区域和第二区域融合，以获取对第一区域进行去雾后的可见光图像。

根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。

根据本公开的第四方面，提供一种电子设备，其特征在于，包括：处理器；以及存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。

本公开的一种实施例所提供的图像去雾方法，通过可见光图像和红外图像对应的第一特征点集合和第二特征点集合在可见光图像中确定第一区域，并在红外图像中确定第一区域对应的第二区域，然后基于第一区域和第二区域确定浓雾分布，并根据浓雾分布将第一区域和第二区域进行融合，以获取对第一区域去雾后的可见光图像。通过第一特征点集合和第二特征点集合可以在可见光图像中确定需要去雾的第一区域，然后通过红外图像中第一区域对应的第二区域对第一区域进行去雾处理，可以针对图像中特定的第一区域进行去雾，与相关技术对整张图像进行去雾处理，不仅可以减少去雾处理的计算量，提高去雾处理的速度，还可以保留可见光图像中第一区域以外部分的细节信息。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；

图2示出了可以应用本公开实施例的一种电子设备的示意图；

图3示出了一种可见光图像；

图4示出了对图3所示的可见光图像进行单帧去雾得到的去雾图像；

图5示出了对图3所示的可见光图像和对应的红外图像进行整体去雾后得到的去雾图像；

图6示意性示出本公开示例性实施例中一种图像去雾方法的流程图；

图7示意性示出本公开示例性实施例中一种确定第一区域和第二区域的方法的流程图；

图8示意性示出本公开示例性实施例中一种对可见光图像和红外图像进行校正的流程图；

图9示意性示出本公开示例性实施例中图像去雾装置的组成示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出了可以应用本公开实施例的一种图像去雾方法及装置的示例性应用环境的系统架构的示意图。

如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有图像处理功能的电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

本公开实施例所提供的图像去雾方法一般由终端设备101、102、103中执行，相应地，图像去雾装置一般设置于终端设备101、102、103中。但本领域技术人员容易理解的是，本公开实施例所提供的图像去雾方法也可以由服务器105执行，相应的，图像去雾装置也可以设置于服务器105中，本示例性实施例中对此不做特殊限定。举例而言，在一种示例性实施例中，可以是用户通过终端设备101、102、103包括的摄像模组采集同一场景在同一时刻的可见光图像和红外图像，然后将采集到的可见光图像和红外图像通过网络104发送至服务器105，服务器105在获取到同一场景在同一时刻的可见光图像和红外图像之后，进行特征提取、区域确定及区域融合等过程，以得到去雾处理后的可见光图像，最后再通过网络104将去雾处理后的可见光图像传输给终端设备101、102、103等。

本公开的示例性实施方式提供一种用于实现图像去雾方法的电子设备，其可以是图1中的终端设备101、102、103或服务器105。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行图像去雾方法。

下面以图2中的移动终端200为例，对电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。在另一些实施方式中，移动终端200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对移动终端200的结构限定。在另一些实施方式中，移动终端200也可以采用与图2不同的接口连接方式，或多种接口连接方式的组合。

如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(subscriber identification module，SIM)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803等。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

NPU为神经网络(Neural-Network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现移动终端200的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。在一些实施例中，NPU可以用于进行图像特征提取等过程。

处理器210中设置有存储器。存储器可以存储用于实现六个模块化功能的指令：检测指令、连接指令、信息管理指令、分析指令、数据传输指令和通知指令，并由处理器210来控制执行。

移动终端200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏290和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。在一些实施例中，可以通过GPU对融合后图像进行渲染得到对第一区域进行去雾后的可见光图像。

移动终端200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。其中，摄像模组291用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(Charge Coupled Device，CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，可以直接通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现获取可见光图像的目的。此外，还可以直接在摄像模组291设置红外传感器，用于基于红外传感器采集可见光光谱红色之外的红外线进行成像，得到红外图像。

深度传感器2801用于获取景物的深度信息。在一些实施例中，深度传感器可以设置于摄像模组291。

压力传感器2802用于感受压力信号，可以将压力信号转换成电信号。陀螺仪传感器2803可以用于确定移动终端200的运动姿态。

此外，还可以根据实际需要在传感器模块280中设置其他功能的传感器，例如气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器等。

在相关技术，通常有两种方式进行去雾处理。一是通过训练好的模型直接对单帧的可见光图像进行去雾处理。例如，针对如图3所示的可见光图像，经过单帧去雾可以得到如图4所示的去雾图像；另一种则是通过可见光图像和红外图像进行去雾。在这种方法中，通常会直接根据可见光图像和红外图像的亮度差异确定整个图像的雾浓度分布，然后基于雾浓度分布对可见光图像和红外图像进行融合得到去雾图像。例如，如图5所示即为经过可见光图像和红外图像进行去雾得到的去雾图像。对比图4和图5可以发现，图5中的远山轮廓更加清晰，天空的运动细节也增加丰富，并且图像暗处动态范围更大。

然而，在上述直接根据可见光图像和红外图像的亮度差异确定整个图像的雾浓度分布，然后基于雾浓度分布对可见光图像和红外图像进行融合得到去雾图像，由于可见光图像包含的细节信息较红外图像更加丰富，因此融合后的去雾图像很可能出现细节信息丢失的问题。例如，对比如图3所示的原始图像和如图5所示的去雾图像，由于远景区域的雾较为明显，而近景区域基本不受雾的影响，因此在经过图像融合后，红外图像的融合可能会导致近景区域细节丢失等问题。

基于上述一个或多个问题，本示例实施方式提供了一种图像去雾方法。该图像去雾方法可以应用于上述服务器105，也可以应用于上述终端设备101、102、103中的一个或多个，本示例性实施例中对此不做特殊限定。参考图6所示，该图像去雾方法可以包括以下步骤S610至S630：

在步骤S610中，获取同一场景在同一时刻的可见光图像和红外图像。

在一示例性实施例中，为了获取同一场景在同一时刻的可见光图像和红外图像，可以在采集同一场景对应的图像时，针对采集的可见光图像和红外图像进行时间戳标记。在进行处理时，只有时间戳相同的可见光图像和红外图像才可以进行同步作为同一时刻的可见光图像和红外图像。

此外，为了便于确定可见光图像和红外图像是否为相同场景，在采集图像时，还可以针对可见光图像和红外图像进行场景标记，即相同场景下的可见光图像或红外图像做相同的场景标记。此时，在获取到可见光图像和红外图像时，同样可以采用场景标记确定可见光图像和红外图像是否为同一场景下的图像。需要说明的，除了上述做标记的方式，还可以通过其他方式保存可见光图像和红外图像是否为同一场景的信息，以便于接收到图像时确定可见光图像和红外图像是否为同一场景，本公开对此不做特殊限定。

在步骤S620中，提取可见光图像对应的第一特征点集合和红外图像对应的第二特征点集合，基于第一特征点集合和第二特征点集合在可见光图像中确定第一区域，并在红外图像中确定第一区域对应的第二区域。

在一示例性实施例中，在获取到同一场景在同一时刻的可见光图像和红外图像之后，可以同时对可见光图像和红外图像进行特征提取，得到可见光图像对应的第一特征点集合，以及红外图像对应的第二特征点集合。然后基于第一特征点集合和第二特征点集合在可见光图像中确定第一区域，并在红外图像中确定第一区域对应的第二区域。

在一示例性实施例中，参照图7所示，基于第一特征点集合和第二特征点集合在可见光图像中确定第一区域，并在红外图像中确定第一区域对应的第二区域，可以包括以下步骤S710至S730：

在步骤S710中，对第一特征点集合和第二特征点集合进行特征匹配，以生成特征匹配对集合。

在一示例性实施例中，可以先将第一特征点集合中的各个第一特征点和第二特征点结合中的各个第二特征点进行特征匹配，以生成特征匹配对集合。其中，特征匹配对集合包括至少一对特征匹配对，每一对特征匹配对都包括一对相互匹配的第一特征点和第二特征点。

在一示例性实施例中，在生成特征匹配对集合时，可以分别获取第一特征点集合中各个特征点对应的第一描述子，以生成第一描述子集合，同时分别获取第二特征点集合中各个特征点对应的第二描述子，生成第二描述子集合，然后计算第一描述子集合中各个第一描述子和第二描述子集合中各个第二描述子之间的汉明距离。然后通过汉明距离确定相似的第一描述子和第二描述子，进而确定匹配的特征匹配对。由于汉明距离越小，描述子之间越相似，因此可以通过设定汉明距离阈值，确定相似的第一描述子和第二描述子，进而根据相似的第一描述子和第二描述子确定可见光图像和红外图像中相互匹配第一特征点和第二特征点，并将相互匹配的第一特征点和第二特征点作为一对特征匹配对，进而生成特征匹配对集合。

其中，上述的特征点和对应的描述子可以是FAST角点+Brief描述子的组合，也可以是FAST角点+SURF描述子、Harris角点+Brief描述子、Harris角点+SURF描述子等组合，本公开对此不做特殊限定。

在步骤S720中，基于预设条件对特征匹配对集合中的特征匹配对进行分类，以获取满足预设条件的目标匹配对集合。

在一示例性实施例中，在得到特征匹配对集合后，可以基于预设条件对特征匹配对集合中的特征匹配对进行分类，得到其中满足预设条件的目标匹配对集合。

在一示例性实施例中，为了避免错误匹配对对在基于预设条件对特征匹配对集合中的特征匹配对进行分类之前，可以提前对特征匹配对集合中的特征匹配对进行筛选，以获取去除错误特征匹配对之后的特征匹配对集合。在进行筛选时，可以根据需求选择错误特征匹配对的筛选算法进行筛选。例如，可以选择随机抽样一致性(RANdom SAmpleConsensus，RANSAC)算法对特征匹配对集合中的特征匹配对进行筛选。

在步骤S730中，基于目标匹配对集合在可见光图像中确定第一区域，并在红外图像中确定第一区域对应的第二区域。

在得到目标匹配对集合后，直接基于目标匹配对集合在可见光区域中确定第二区域，并在红外图像中确定第一区域对应的第二区域。

在一示例性实施例中，在基于目标匹配对集合在可见光图像中确定第一区域，并在红外图像中的确定第一区域对应的第二图像时，由于目标匹配对集合是基于第一特征点集合和第二特征点集合进行特征匹配得到的，因此，目标匹配对集合中包括一对相互匹配的第一特征点和第二特征点。此时，可以直接基于目标匹配对集合中的第一特征点在可见光图像中的位置确定第一区域，对应的，可以基于目标匹配对集合中与第一特征点匹配的第二特征点在红外图像中的位置确定第一区域对应的第二区域。

需要说明的是，在确定第一区域和第二区域时，可以分别基于目标匹配对集合中的第一特征点和第二特征点，根据Delaunay三角剖分算法，将目标匹配对集合中所有的第一特征点连接成三角形后，得到的可见光图像中的区域确定为第一区域，然后将目标匹配对结合中的包含的所有与第一特征点匹配的第二特征点连接成三角形后，得到的红外图像中的区域确定为第二区域。

此外，由于采集的可见光图像和红外图像不在一个坐标系上，因此需要在提取可见光图像对应的第一特征点集合和红外图像对应的第二特征点集合之前，需要对可见光图像和红外图像进行校正。具体的，可以先获取可见光图像对应的第一相机参数和红外图像对应的第二相机参数，然后基于第一相机参数和第二相机参数对可见光图像和红外图像进行校正。其中，第一相机参数是指获取可见光图像的传感器对应的标定内参和畸变参数；第二相机参数是指获取红外图像的红外传感器对应的标定内参、标定外参和畸变参数。

在一示例性实施例中，在获取第一相机参数和第二相机参数时，可以先获取标定板图像对，对标定板的角点进行检测，然后采用张正友标定法得到相机对应的参数。需要说明的是，若注意标定板图像是在室内拍摄时，由于光照强度较弱，拍摄过程需要全程补光。

在一示例性实施例中，在得到第一相机参数和第二相机参数后，可以对可见光图像进行畸变校正得到校正后的可见光图像，同时基于第二相机参数对红外图像进行畸变校正和立体校正，可以得校正后的红外图像。以实现图像行对齐。具体的，参照图8所示，步骤S810，分别采集可见光图像和红外图像；步骤S820，对采集到的可见光图像和红外图像进行同步，获取同一场景在相同时刻的可见光图像和红外图像；步骤S830，基于第一相机参数对可见光图像进行畸变校正得到校正后的可见光图像，并基于第二相机参数对红外图像进行畸变矫正；步骤S840，通过第二相机参数对畸变校正后的红外图像进行立体校正，得到校正后的红外图像。

通过对可见光图像和红外图像进行校正，可以将非共面的区域进行共面行对准，以在后续确定第一区域和第二区域时，缩小特征匹配时对应的搜索范围，同时减少图像对齐时的搜索范围。

在一示例性实施例中，在拍摄风景等图像时，图像中的近景区域通常受雾的影响很小，甚至没有影响；而远景区域则受雾的影响较大。因此，可以将需要进行去雾的区域确定为远景区域，即第一区域和第二区域为同一场景的远景部分在可见光图像和红外图像中的投影区域。此时，可以将预设条件设置为预设距离阈值，对应的，得到的目标匹配对集合可以包括远景匹配对集合。其中，远景区域是指与拍摄点距离较远的空间在图像中的投影区域。例如，如图3所示的可见光图像，其中的房屋树木等距离拍摄点较近，而海面、远山、云等则距离拍摄点较远。

具体的，在预设条件包括预设距离阈值，基于预设条件对特征匹配对集合中的特征匹配对进行分类，以获取满足预设条件的目标匹配对集合时，可以直接计算特征匹配对集合中各个特征匹配对包含的第一特征点和第二特征点之间的欧式距离，然后根据欧式距离与预设距离阈值之间的关系确定特征匹配对是否为属于目标匹配对集合，即远景匹配对集合中。其中，在基于一对特征匹配对包括的第一特征点和第二特征点计算得到的欧式距离小于预设距离阈值时，将该特征匹配对加入远景匹配对集合中；反之，在欧式距离大于等于预设距离阈值时，则该匹配特征对不属于远景匹配对集合。

需要说明的是，在对可见光图像和红外图像进行校正，将非共面的区域进行共面行对准之后，可见光图像和红外图像中远景区域对应的特征点存在欧式距离较小的特性，因此可以基于预先设定的预设距离阈值在特征匹配对集合中筛选出远景匹配对，然后基于远景匹配对集合在可见光图像和红外图像中确定远景区域，进而对远景区域进行去雾处理。

在步骤S630中，基于第一区域和第二区域确定雾浓度分布，并根据雾浓度分布将第一区域和第二区域融合，以获取对第一区域进行去雾后的可见光图像。

在一示例性实施例中，在得到第一区域和第二区域后，可以基于第一区域和第二区域确定雾浓度分布。具体的，可以先从第一区域提取各颜色通道的亮度值，再从提取到的亮度值中提取蓝光通道的亮度值，同时从红外图像中提取红外亮度值，之后提取在第一区域和第二区域中位置相同的相对应像素的蓝光通道亮度值和红外亮度值。随后，第一区域和第二区域分别为可见光图像和红外图像中的区域，由于可见光图像和红外图像采集的信息不同，因此第一区域中相对应像素的蓝光通道亮度值和第二区域中相对应像素的红外亮度值存在差异，可以基于该差异确定雾浓度分布。

在一示例性实施例中，雾浓度分布包括红外图像和可见光图像中相对应像素的雾浓度。在根据相对应像素的亮度值之间的差异确定雾浓度分布时，先获取可见光图像中各像素的暗通道值，然后根据提取的相对应像素的亮度值间的差异，结合所对应的暗通道值，确定相对应像素的雾浓度。

其中，暗通道值是指各颜色通道中亮度值中的最小亮度值，各颜色通道包括红光通道、蓝光通道和绿光通道。

具体地，在提取到可见光图像和红外图像中相对应像素的亮度值之间的差异后，从可见光图像中提取相对应像素的各颜色通道的亮度值，从提取到的相对应像素的各颜色通道的亮度值提取最小亮度值，以提取的最小亮度值作为相对应像素的暗通道值。然后将相对应像素的亮度值之间的差异进行归一化处理，得到相对应像素的归一化差异值，在相对应像素的归一化差异值和暗通道值中选取最小值，以选取的最小值作为相对应像素的雾浓度。

在一示例性实施例中，在得到雾浓度分布后，可以根据雾浓度分布将第一区域和第二区域融合。具体的，可以根据雾浓度分布确定相应的融合加权因子，然后根据融合加权因子分别确定第一区域对应的第一权重和第二区域对应的第二权重，之后以第一权重和第二权重为基础对第一区域和第二区域进行加权融合。

其中，融合加权因子为根据相对应像素的亮度值，确定去雾图像中像素的去雾亮度值时所需的权重。具体的，相机遍历雾浓度分布中每对相对应像素对应的雾浓度，以遍历到的雾浓度的数值作为红外图像和可见光图像中相对应融合加权因子。

在一示例性实施例中，可以在雾浓度分布中查询最大雾浓度，然后遍历雾浓度分布中每对相对应像素所对应的雾浓度，遍历到的雾浓度除以最大雾浓度得到相对应像素归一化雾浓度，以得到的归一化雾浓度作为相对应像素的融合加权因子。

进一步地，在得到相对应像素的融合加权因子后，可以对融合加权因子进行平滑处理。例如，可以通过导向滤波对融合加权因子进行平滑处理，得到平滑处理后的融合加权因子。

在一示例性实施例中，在根据第一权重和第二权重对第一区域和第二区域进行加权融合时，可以利用拉普拉斯金字塔融合方法，以第一权重和第二权重对第一区域和第二区域的每一层特征进行融和重构，得到第一区域和第二区域融合后该区域部分的图像。

需要说明的是，为了进一步提高可见光图像的第一区域和红外图像的第二区域中相对应像素的对应性，可以在基于第一区域和第二区域确定雾浓度分布之前，先根据第一区域包含的第一特征点和第二区域包含的第二特征点对第一区域和第二区域进行区域对齐。

在一示例性实施例中，可以在之前提取的第一特征点集合和第二特征点集合中抽取第一区域包含的第一特征点和第二区域包含的第二特征点，然后通过第一区域包含的第一特征点和第二区域包含的第二特征点进行单应性矩阵计算，最后通过透视变换得到对齐后的第一区域和第二区域。通过对第一区域和第二区域进行对其，可以使得第一区域和第二区域中对应于空间同一位置的点一一对应起来，有利于后续对第一区域和第二区域进行融合，避免融合时出现融合错误的问题。

在一示例性实施例中，为了得到完整的去雾图像，在对第一区域和第二区域进行融合后，可以直接通过融合后得到的区域图像替换可见光图像中的第一区域对应的图像，进而得到完整的去雾图像。

综上，本示例性实施方式基于可见光图像和红外图像对可见光图像中的第一区域进行去雾处理，与单张可见光图像相比，去雾效果更真实，也可以补充红外图像对应的细节纹理；同时，基于第一特征点集合和第二特征点集合可以在可见光图像中确定特定的第一区域进行去雾，与针对全图去雾相比，可以减少去雾过程的计算量，提高处理速度，还可以保留可见光图像中第一区域以外部分的细节信息，避免细节丢失。此外，在特定的第一区域为远景区域时，可以直接根据特征点的欧式距离快速定位远景区域，进一步提高了图像去雾的速度。

需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

进一步的，参考图9所示，本示例的实施方式中还提供一种图像去雾装置900，包括图像获取模块910、区域确定模块920和区域去雾模块930。其中：

图像获取模块910可以用于获取同一场景在同一时刻的可见光图像和红外图像。

区域确定模块920可以用于提取可见光图像对应的第一特征点集合和红外图像对应的第二特征点集合，基于第一特征点集合和第二特征点集合在可见光图像中确定第一区域，并在红外图像中确定第一区域对应的第二区域。

区域去雾模块930可以用于基于第一区域和第二区域确定雾浓度分布，并根据雾浓度分布将第一区域和第二区域融合，以获取对第一区域进行去雾后的可见光图像。

在一示例性实施例中，区域确定模块920可以用于对第一特征点集合和第二特征点集合进行特征匹配，以生成特征匹配对集合；基于预设条件对特征匹配对集合中的特征匹配对进行分类，以获取满足预设条件的目标匹配对集合；基于目标匹配对集合在可见光图像中确定第一区域，并在红外图像中确定第一区域对应的第二区域。

在一示例性实施例中，图像获取模块910可以用于获取可见光图像对应的第一相机参数和红外图像对应的第二相机参数；基于第一相机参数和第二相机参数对可见光图像和红外图像进行校正。

在一示例性实施例中，区域确定模块920可以用于计算特征匹配对集合中各特征匹配对包含的第一特征点和第二特征点之间的欧式距离；在欧式距离小于预设距离阈值时，将特征匹配对加入远景匹配对集合中。

在一示例性实施例中，区域确定模块920可以用于根据目标匹配对集合中包含的第一特征点在可见光图像中的位置确定第一区域；根据目标匹配对集合中包含的第一特征点匹配的第二特征点在红外图像中的位置确定第一区域对应的第二区域。

在一示例性实施例中，区域确定模块920可以用于对特征匹配对集合中的特征匹配对进行筛选，以获取去除错误特征匹配对之后的特征匹配对集合。

在一示例性实施例中，区域确定模块920可以用于获取第一特征点集合对应的第一描述子集合，以及第二特征点集合对应的第二描述子集合；根据第一描述子集合中各第一描述子和第二描述子集合中各第二描述子之间的汉明距离确定特征匹配对，并根据特征匹配对生成特征匹配对集合。

在一示例性实施例中，区域去雾模块930可以用于基于雾浓度分布确定相应的融合加权因子，根据融合加权因子确定第一区域对应的第一权重和第二区域对应的第二权重；根据第一权重和第二权重对第一区域和第二区域进行加权融合。

在一示例性实施例中，区域去雾模块930可以用于利用拉普拉斯金字塔融合方法，根据第一权重和第二权重对第一区域和第二区域进行加权融合。

在一示例性实施例中，区域去雾模块930可以用于根据第一区域包含的第一特征点和第二区域包含的第二特征点对第一区域和第二区域进行区域对齐。

在一示例性实施例中，区域去雾模块930可以用于分别从第一区域的蓝光通道和第二区域提取相对应像素的亮度值；根据相对应像素的亮度值之间的差异确定雾浓度分布。

在一示例性实施例中，区域去雾模块930可以用于获取第一区域中各像素的暗通道值；根据提取的各相对应像素的亮度值之间的差异，结合暗通道值确定各相对像素的雾浓度。

上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图6至图8中任意一个或多个步骤。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (15)

1.一种图像去雾方法，其特征在于，包括：

获取同一场景在同一时刻的可见光图像和红外图像；

提取所述可见光图像对应的第一特征点集合和所述红外图像对应的第二特征点集合，基于所述第一特征点集合和所述第二特征点集合在所述可见光图像中确定第一区域，并在所述红外图像中确定所述第一区域对应的第二区域；

基于所述第一区域和所述第二区域确定雾浓度分布，并根据所述雾浓度分布将所述第一区域和所述第二区域融合，以获取对所述第一区域进行去雾后的可见光图像。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一特征点集合和所述第二特征点集合在所述可见光图像中确定第一区域，并在所述红外图像中确定所述第一区域对应的第二区域，包括：

对所述第一特征点集合和所述第二特征点集合进行特征匹配，以生成特征匹配对集合；

基于预设条件对所述特征匹配对集合中的特征匹配对进行分类，以获取满足预设条件的目标匹配对集合；

基于所述目标匹配对集合在所述可见光图像中确定所述第一区域，并在所述红外图像中确定所述第一区域对应的第二区域。

3.根据权利要求2所述的方法，其特征在于，在所述提取所述可见光图像对应的第一特征点集合和所述红外图像对应的第二特征点集合之前，所述方法还包括：

获取所述可见光图像对应的第一相机参数和所述红外图像对应的第二相机参数；

基于所述第一相机参数和所述第二相机参数对所述可见光图像和所述红外图像进行校正。

4.根据权利要求3所述的方法，其特征在于，所述预设条件包括预设距离阈值；所述目标匹配对集合包括远景匹配对集合；

所述基于预设条件对所述特征匹配对集合中的特征匹配对进行分类，以获取满足预设条件的目标匹配对集合，包括：

计算所述特征匹配对集合中各所述特征匹配对包含的第一特征点和第二特征点之间的欧式距离；

在所述欧式距离小于所述预设距离阈值时，将所述特征匹配对加入所述远景匹配对集合中。

5.根据权利要求2所述的方法，其特征在于，所述基于所述目标匹配对集合在所述可见光图像中确定所述第一区域，并在所述红外图像中确定所述第一区域对应的第二区域，包括：

根据所述目标匹配对集合中包含的第一特征点在所述可见光图像中的位置确定所述第一区域；

根据所述目标匹配对集合中包含的所述第一特征点匹配的第二特征点在所述红外图像中的位置确定所述第一区域对应的第二区域。

6.根据权利要求2所述的方法，其特征在于，在所述基于预设条件对所述特征匹配对集合中的特征匹配对进行分类之前，所述方法还包括：

对所述特征匹配对集合中的所述特征匹配对进行筛选，以获取去除错误特征匹配对之后的特征匹配对集合。

7.根据权利要求2所述的方法，其特征在于，所述对所述第一特征点集合和所述第二特征点集合进行特征匹配，以生成特征匹配对集合，包括：

获取所述第一特征点集合对应的第一描述子集合，以及所述第二特征点集合对应的第二描述子集合；

根据所述第一描述子集合中各第一描述子和所述第二描述子集合中各第二描述子之间的汉明距离确定特征匹配对，并根据所述特征匹配对生成所述特征匹配对集合。

8.根据权利要求1所述的方法，其特征在于，所述根据所述雾浓度分布将所述第一区域和所述第二区域融合，包括：

基于所述雾浓度分布确定相应的融合加权因子，根据所述融合加权因子确定所述第一区域对应的第一权重和所述第二区域对应的第二权重；

根据所述第一权重和所述第二权重对所述第一区域和所述第二区域进行加权融合。

9.根据权利要求8所述的方法，其特征在于，所述根据所述第一权重和所述第二权重对所述第一区域和所述第二区域进行加权融合，包括：

利用拉普拉斯金字塔融合方法，根据所述第一权重和所述第二权重对所述第一区域和所述第二区域进行加权融合。

10.根据权利要求1所述的方法，其特征在于，在所述基于所述第一区域和所述第二区域确定雾浓度分布之前，所述方法还包括：

根据所述第一区域包含的第一特征点和所述第二区域包含的第二特征点对所述第一区域和所述第二区域进行区域对齐。

11.根据权利要求1所述的方法，其特征在于，所述基于所述第一区域和所述第二区域确定雾浓度分布，包括：

分别从所述第一区域的蓝光通道和所述第二区域提取相对应像素的亮度值；

根据所述相对应像素的亮度值之间的差异确定雾浓度分布。

12.根据权利要求11所述的方法，其特征在于，所述雾浓度分布包括所述第一区域和所述第二区域中相对应像素的雾浓度；

所述根据所述相对应像素的亮度值之间的差异确定雾浓度分布，包括：

获取所述第一区域中各像素的暗通道值；

根据提取的各所述相对应像素的亮度值之间的差异，结合所述暗通道值确定各所述相对像素的雾浓度。

13.一种图像去雾装置，其特征在于，包括：

图像获取模块，用于获取同一场景在同一时刻的可见光图像和红外图像；

区域确定模块，用于提取所述可见光图像对应的第一特征点集合和所述红外图像对应的第二特征点集合，基于所述第一特征点集合和所述第二特征点集合在所述可见光图像中确定第一区域，并在所述红外图像中确定所述第一区域对应的第二区域；

区域去雾模块，用于基于所述第一区域和所述第二区域确定雾浓度分布，并根据所述雾浓度分布将所述第一区域和所述第二区域融合，以获取对所述第一区域进行去雾后的可见光图像。

14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的方法。

15.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至12任一项所述的方法。

Images