CN110163804A - 图像去雾方法、装置、计算机设备和存储介质 - Google Patents

图像去雾方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110163804A
CN110163804A CN201810569120.1A CN201810569120A CN110163804A CN 110163804 A CN110163804 A CN 110163804A CN 201810569120 A CN201810569120 A CN 201810569120A CN 110163804 A CN110163804 A CN 110163804A
Authority
CN
China
Prior art keywords
pixel
image
brightness value
visible images
mist
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810569120.1A
Other languages
English (en)
Inventor
张菁芸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810569120.1A priority Critical patent/CN110163804A/zh
Publication of CN110163804A publication Critical patent/CN110163804A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种图像去雾方法、装置、计算机设备和存储介质，该方法包括：获取同一场景对应的红外图像和可见光图像；分别从所述可见光图像的蓝光通道和所述红外图像，提取相对应像素的亮度值；根据提取的相对应像素的亮度值间的差异，确定雾浓度分布；按照所述雾浓度分布，将所述红外图像和所述可见光图像中相对应像素的亮度值分别融合，得到去雾亮度值；根据各去雾亮度值和在所述可见光图像中对应的色彩值，生成去雾图像。本申请方案根据雾浓度分布中相对应像素的雾浓度确定相对应像素的亮度值融合后的去雾亮度值，得到了准确率较高的去雾亮度值，从而根据去雾亮度值生成去雾图像，提高了减少了去雾图像的去雾失真，提高了去雾图像的成像质量。

Description

图像去雾方法、装置、计算机设备和存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像去雾方法、装置、计算机设备和存储介质。
背景技术
随着计算技术的飞速发展，图像处理技术也加快了发展的步伐。在图像处理技术领域中，对图像质量也越来越高。在图像采集过程中，图像质量会受到雾的影响，导致图像质量较低，从而产生了对图像进行去雾的技术需求。
然而，在传统图像去雾技术，在获取到图像后，需要对采集到的图像进行直方图均衡化处理，然而经过直方图均衡化处理的图像会导致一定程度的图像失真，从而导致得到去雾图像的图像质量较低。
发明内容
基于此，有必要针对传统方法会造成导致图像采集质量较低的问题，提供一种图像去雾方法、装置、计算机设备和存储介质。
一种图像去雾方法，所述方法包括：
获取同一场景对应的红外图像和可见光图像；
分别从所述可见光图像的蓝光通道和所述红外图像，提取相对应像素的亮度值；
根据提取的相对应像素的亮度值间的差异，确定雾浓度分布；
按照所述雾浓度分布，将所述红外图像和所述可见光图像中相对应像素的亮度值分别融合，得到去雾亮度值；
根据各去雾亮度值和在所述可见光图像中对应的色彩值，生成去雾图像。
一种图像去雾装置，所述装置包括：
图像获取模块，用于获取同一场景对应的红外图像和可见光图像；
亮度提取模块，用于分别从所述可见光图像的蓝光通道和所述红外图像，提取相对应像素的亮度值；
雾浓度确定模块，用于根据提取的相对应像素的亮度值间的差异，确定雾浓度分布；
像素融合模块，用于按照所述雾浓度分布，将所述红外图像和所述可见光图像中相对应像素的亮度值分别融合，得到去雾亮度值；
图像生成模块，用于根据各去雾亮度值和在所述可见光图像中对应的色彩值，生成去雾图像。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
获取同一场景对应的红外图像和可见光图像；
分别从所述可见光图像的蓝光通道和所述红外图像，提取相对应像素的亮度值；
根据提取的相对应像素的亮度值间的差异，确定雾浓度分布；
按照所述雾浓度分布，将所述红外图像和所述可见光图像中相对应像素的亮度值分别融合，得到去雾亮度值；
根据各去雾亮度值和在所述可见光图像中对应的色彩值，生成去雾图像。
一种存储有计算机程序的存储介质，所述计算机程序被处理器执行时，使得处理器执行如下步骤：
获取同一场景对应的红外图像和可见光图像；
分别从所述可见光图像的蓝光通道和所述红外图像，提取相对应像素的亮度值；
根据提取的相对应像素的亮度值间的差异，确定雾浓度分布；
按照所述雾浓度分布，将所述红外图像和所述可见光图像中相对应像素的亮度值分别融合，得到去雾亮度值；
根据各去雾亮度值和在所述可见光图像中对应的色彩值，生成去雾图像。
上述图像去雾方法、装置、计算机设备和存储介质，从相匹配的红外图像和可见光图像中，提取相对应像素的亮度值，根据提取的相对应像素的亮度值间的差异确定雾浓度分布，根据雾浓度分布中相对应像素的雾浓度确定相对应像素的亮度值融合后的去雾亮度值，得到了准确率较高的去雾亮度值，再根据各去雾亮度值和在可见光图像中对应的色彩值生成去雾图像，在去雾图像中保留了可见光图像中的色彩值，使得去雾图像中包括准确的亮度值和色彩值，减少了去雾图像的去雾失真，提高了去雾图像的成像质量。
附图说明
图1为一个实施例中图像去雾方法的应用场景图；
图2为一个实施例中图像去雾方法的流程示意图；
图3为一个实施例中图像采集步骤的流程示意图；
图4为另一个实施例中图像去雾方法的流程示意图；
图5为一个实施例中确定去雾亮度值的步骤的流程示意图；
图6为一个实施例中对融合加权因子进行平滑处理的去雾图像对比示意图；
图7为一个实施例中确定融合加权因子的步骤的流程示意图；
图8为又一个实施例中图像去雾方法的流程示意图；
图9为再一实施例中图像去雾方法的流程示意图；
图10为一个实施例中可见光图像的雾浓度分布示意图；
图11为一个实施例中图像去雾装置的框图；
图12为一个实施例中计算机设备的内部结构示意图；
图13为一个实施例中相机的内部结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1为一个实施例中图像去雾方法的应用场景图。参照图1，该应用场景中包括相机110和终端120。相机110与终端120通过网络连接。相机110具有获取红外图像和可见光图像的能力。终端120具体可以台式终端或移动终端，移动终端具体可以是手机、平板电脑、笔记本电脑等中的至少一种。
如图2所示，在一个实施例中，提供一种图像去雾方法。图像去雾方法可以应用于上述图1中的机器人110，也可以应用于上述图1中的终端120。本实施例主要以该方法应用于上述图1中的相机110来举例说明。参照图2，该图像去雾方法，具体包括以下步骤：
S202，获取同一场景对应的红外图像和可见光图像。
其中，红外图像利用红外成像技术获取到的图像。红外成像技术为利用可见光光谱红色意外的红外线进行成像的技术，红外线包括近红外线和热红外线。红外图像只包括亮度数据。可见光图像包括亮度数据和色彩数据的彩色图像。
在一个实施例中，相机在获取到图像采集指令时，根据图像采集指令分别采集红外图像和可见光图像，红外图像与可见光图像相匹配。在一个实施例中，相机对同一场景分别进行红外成像和可见光成像，得到相匹的红外图形和可见光图像。
在一个实施例中，红外图像与可见光图像中的场景大部分重合，或者红外图像与可见光图像对应的场景为同一场景。
S204，分别从可见光图像的蓝光通道和红外图像，提取相对应像素的亮度值。
其中，亮度值为表示像素的明亮程度的值。对于可见光图像中的每个像素，在红外图像中都存在相对应的像素。可见光图像中的每个像素在红外图像中都存在像素坐标相同的像素。相对应像素为可见光图像与红外图像中的坐标相同的两个像素。
具体地，相机从可见光图像中提取蓝光通道的亮度值蓝光通道；相机从红外图像中的红外通道提取红外亮度值，从蓝光通道的亮度值和红外亮度值中，提取坐标相同的相对应像素的蓝光通道的亮度值和红外亮度值。相机从可见光图像中也可以提取红光通道或绿光通道的亮度值。
在一个实施例中，相机遍历可见光图像中的像素，从可见光图像中提取遍历到的像素对应的蓝光通道的亮度值，获取遍历到的像素的坐标，根据获取到的坐标在红外图像中查询与遍历到的像素对应的像素，从红外图像中的红外通道提取查询到的像素的红外亮度值，以提取到的蓝光通道的亮度值和红外亮度值作为相对应像素的亮度值。
在另一个实施例中，相机遍历红外图像中的像素，从红外图像中的红外通道提取遍历到的像素对应的红外亮度值，根据遍历到的像素的坐标在可见光图像查询与遍历到的像素对应的像素，从可见光图像中提取查询到的像素对应的蓝光通道的亮度值，以提取到的蓝光通道的亮度值和红外亮度值作为相对应像素的亮度值。
S206，根据提取的相对应像素的亮度值间的差异，确定雾浓度分布。
其中，相对应像素的亮度值间的差异为相对应像素的红外亮度值与蓝光通道的亮度值间的差异。雾浓度分布中为可见光图像中每个像素对应的雾浓度的分布。
具体地，相机在提取到相对应像素的亮度值后，从相对应像素的亮度值中提取红外亮度值和蓝光通道的亮度值，计算提取的红外亮度值和蓝光通道的亮度值的亮度差值，得到相对应像素的亮度差值，以计算得到的亮度差值表示提取的相对应像素的亮度值间的差异。相机根据相对应像素的亮度间的差异，确定可见光图像中每个像素对应的雾浓度，从而得到可见光图像中像素对应的雾浓度分布。
在一个实施例中，相机在计算得到相对应像素的亮度差值后，在得到的亮度差值中选取最大亮度差值，根据最大亮度差值对相对应像素的亮度差值进行归一化处理，得到相对应像素的归一化亮度值，根据得到的归一化亮度值确定可见光图像中每个像素对应的雾浓度，根据每个像素对应的雾浓度确定可见光图像的雾浓度分布。
S208，按照雾浓度分布，将红外图像和可见光图像中相对应像素的亮度值分别融合，得到去雾亮度值。
其中，去雾亮度值表示去雾图像中像素的亮度值。
具体地，相机遍历雾浓度分布中每个像素对应的雾浓度，在提取的亮度值中获取遍历到的雾浓度对应的像素的红外亮度值和蓝光通道的亮度值，根据遍历到的雾浓度分别确定获取的红外亮度值和蓝光通道的亮度值的权重，对获取到的红外亮度值和蓝光通道的亮度值，分别按照相应的权重进行加权求和，得到相对应像素的去雾亮度值。
S210，根据各去雾亮度值和在可见光图像中对应的色彩值，生成去雾图像。
其中，色彩值为表示可见光图像中像素的颜色信息的值，色彩值具体可以包括色度值和饱和度值。
具体地，相机从去雾亮度值中读取每个像素对应的去雾亮度值，从可见光图像中获取读取到的去雾亮度值所对应像素的色彩值，根据每个像素的去雾亮度值和色彩值融合生成去雾像素，根据融合生成的去雾像素生成去雾图像。
本实施例中，从相匹配的红外图像和可见光图像中，提取相对应像素的亮度值，根据提取的相对应像素的亮度值间的差异确定雾浓度分布，根据雾浓度分布中相对应像素的雾浓度确定相对应像素的亮度值融合后的去雾亮度值，得到了准确率较高的去雾亮度值，再根据各去雾亮度值和在可见光图像中对应的色彩值生成去雾图像，在去雾图像中保留了可见光图像中的色彩值，使得去雾图像中包括准确的亮度值和色彩值，减少了去雾图像的去雾失真，提高了去雾图像的成像质量。
如图3所示，在一个实施例中，S202具体包括图像采集步骤，该步骤具体包括以下内容：
S302，获取图像采集指令。
其中，图像采集指令用于指示相机通过红外模式和可见光模式对场景进行成像，以红外图像和可见光图像的指令。
具体地，相机中设置有图像采集按钮和相机开启按钮。相机在检测到相机开启按钮被点击时，触发相机开启指令，相机根据相机开启指令使相机处于开启状态。在开启状态下，相机检测到图像采集按钮被点击时，触发图像采集指令。
S304，根据图像采集指令，在第一模式下采集第一图像。
其中，第一模式可以是红外模式或可见光模式。第一图像可以是红外图像后可见光图像。
具体地，若第一模式为红外模式，则第一图像为红外图像。相机根据图像采集指令，在红外模式下对当前场景采集红外图像。
在一个实施例中，若第一模式为可见光模式，则第一图像为可见光图像。相机根据图像采集指令，在可见光模式下对当前场景采集可见光图像。
S306，从第一模式切换至第二模式；第一模式和第二模式分别是红外模式和可见光模式中的一种。
其中，若第一模式为红外模式，则第二模式为可见光模式，第二图像为可见光图像；若第一模式为可见光模式，则第二模式为红外模式，第二图像为红外图像。
具体地，若第一模式为红外模式，则相机从红外模式切换到可见光模式；或者，若第一模式为可见光模式，则相机从可见光模式采集切换到红外模式。
S308，在第二模式下采集第二图像；第一图像和第二图像分别是红外图像和可见光图像中的一种。
具体地，若第二模式为红外模式，则相机在红外模式下对当前场景采集红外图像，采集到的红外图像为第二图像，从而得到当前场景对应的红外图像和可见光图像；若第二模式为可见光模式，则相机在可见光模式下对当前场景采集可见光图像，采集的可见光图像为第二图像，从而得到当前场景对应的红外图像和可见光图像。
在一个实施例中，第一图像和第二图像分别是同一场景对应的红外图像和可见光图像中的一种。
本实施例中，根据图像采集指令，通过在红外模式和可见光模式之间切换采集红外图像和可见光图像，确保采集的红外图像好可见光图像相匹配，从而提高了将红外图像和可见光图像融合得到的去雾图像的质量。
如图4所示，在一个实施例中，图像去雾方法，具体包括以下步骤：
S402，获取同一场景对应的红外图像和可见光图像。
S404，分别将红外图像和可见光图像进行下采样处理。
具体地，相机在获取到同一场景的红外图像和可见光图像后，按照相同预设像素间隔，分别对红外图像和可见光图像进行下采样处理，得到下采样后的可见光图像和下采样后的红外图像。
S406，从下采样后的可见光图像的蓝光通道和下采样后的红外图像中，提取相对应像素的亮度值。
具体地，相机从下采样后的可见光图像中提取各颜色通道的亮度值，再从提取到的亮度值中提取蓝光通道的亮度值；相机从下采样后的红外图像中提取红外亮度值，从蓝光通道的亮度值和红外亮度值中，提取坐标相同的相对应像素的蓝光通道的亮度值和红外亮度值。
在一个实施例中，相机遍历下采样后的可见光图像中的像素，从下采样后的可见光图像中提取遍历到的像素对应的蓝光通道的亮度值，获取遍历到的像素的坐标，根据获取到的坐标在红外图像中查询与遍历到的像素对应的像素，从下采样后的红外图像中提取查询到的像素的红外亮度值，以提取到的蓝光通道的亮度值和红外亮度值作为相对应像素的亮度值。
在另一个实施例中，相机遍历下采样后的红外图像中的像素，从下采样后的红外图像中提取遍历到的像素对应的红外亮度值，根据遍历到的像素的坐标在下采样后的可见光图像查询与遍历到的像素对应的像素，从下采样后的可见光图像中提取查询到的像素对应的蓝光通道的亮度值，以提取到的蓝光通道的亮度值和红外亮度值作为相对应像素的亮度值。
S408，根据提取的相对应像素的亮度值间的差异，确定雾浓度分布。
其中，相对应像素的亮度值间的差异为相对应像素的红外亮度值与蓝光通道的亮度值间的差异。雾浓度分布中为下采样后的可见光图像中每个像素对应的雾浓度的分布。
具体地，相机在提取到相对应像素的亮度值后，从相对应像素的亮度值中提取红外亮度值和蓝光通道的亮度值，计算提取的红外亮度值和蓝光通道的亮度值的亮度差值，得到相对应像素的亮度差值，以计算得到的亮度差值表示提取的相对应像素的亮度值间的差异。相机根据相对应像素的亮度间的差异，确定下采样后的可见光图像中每个像素对应的雾浓度，从而得到下采样后的可见光图像中像素对应的雾浓度分布。
S410，按照雾浓度分布，将下采样后的红外图像和下采样后的可见光图像中相对应像素的亮度值融合，得到各相对应像素的去雾亮度值。
具体地，相机遍历雾浓度分布中每个像素对应的雾浓度，在提取的亮度值中获取遍历到的雾浓度对应的像素的红外亮度值和蓝光通道的亮度值，根据遍历到的雾浓度分别确定获取的红外亮度值和蓝光通道的亮度值的权重，对获取到的红外亮度值和蓝光通道的亮度值，分别按照相应的权重进行加权求和，得到相对应像素的去雾亮度值，从而将下采样后的红外图像和下采样后的可见光图像中相对应像素的亮度值融合。
S412，根据各去雾亮度值和在可见光图像中对应的色彩值，生成去雾图像。
S414，将生成的去雾图像进行上采样处理。
具体地，相机生成去雾图像后，对去雾图像中像素确定待插入像素，将插入像素插入到去雾图像后，得到上采样处理后的去雾图像。
在一个实施例中，相机读取在去雾图像中相邻两个像素的像素值，根据读取到的像素值计算相邻两个像素对应的像素平均值，根据像素平均值在相邻两个像素之间插值，得到上采样处理后的去雾图像。
本实施例中，通过对采集到的红外图像和可见光图像进行下采样，对下采样后的红外图像和可见光图像中进行融合得到去雾图像，在通过对去雾图像进行上采样以完成图像去雾过程，减少了在图像去雾过程中需要计算的数据量，提高了图像去雾的效率。
在一个实施例中，雾浓度分布包括红外图像和可见光图像中相对应像素的雾浓度；S206包括：获取可见光图像中各像素的暗通道值；根据提取的相对应像素的亮度值间的差异，结合所对应的暗通道值，确定相对应像素的雾浓度。
其中，暗通道值是指各颜色通道中亮度值中的最小亮度值，各颜色通道包括红光通道、蓝光通道和绿光通道。
具体地，相机在提取到红外图像和可见光图像中相对应像素的亮度值间的差异后，从可见光图像中提取相对应像素的各颜色通道的亮度值，从提取到的相对应像素的各颜色通道的亮度值提取最小亮度值，以提取的最小亮度值作为相对应像素的暗通道值。相机将相对应像素的亮度值间的差异进行归一化处理，得到相对应像素的归一化差异值，在相对应像素的归一化差异值和暗通道值中选取最小值，以选取的最小值作为相对应像素的雾浓度。
在一个实施例中，获取可见光图像中各像素的暗通道值包括：在可见光图像中确定以各像素为中心像素的图像区域；从确定的图像区域内像素对应的各颜色通道的亮度值中，选取亮度值；以最小亮度值作为确定的图像区域的中心像素对应的暗通道值。
具体地，相机在可见光图像中根据预设区域大小确定以各像素为中心像素的图像区域，获取确定的图像区域内每个像素对应的各颜色通道的亮度值，对获取到的亮度值进行比较，通过比较从获取的亮度值提取最小亮度值，以最小亮度值作为确定的图像区域的中心像素对应的暗通道值。
在一个实施例中，暗通道值可以通过以下公式计算获取：
其中，Jdark(x,y)表示以像素(x,y)的暗通道值；A(x,y)表示可见光图像中以像素(x,y)为中心的区域；i表示A(x,y)中任一像素；JC(i)表示像素i各颜色通道的亮度值；表示各颜色通道中的最小值，各颜色通道中的最小值包括蓝光通道的最小亮度值、绿光通道的最小亮度值和红光通道的最小亮度值；表示在蓝光通道的最小亮度值、绿光通道的最小亮度值和红光通道的最小亮度值中选取最小亮度值。
在一个实施例中，根据提取的相对应像素的亮度值间的差异，结合所对应的暗通道值，确定相对应像素的雾浓度包括：遍历每对相对应像素，在相应亮度值间的归一化差异值和所对应的暗通道值中，选取最小值；将选取的最小值确定为遍历的相对应像素的雾浓度。
具体地，相机在得到每对相对应像素的亮度值间的差异后，在没对相对应的亮度值间的差值中查询最大差异，将相对应像素的亮度值间的差异除以最大差异，得到相对应像素在相应亮度间的归一化差异值。相机遍历每对相对应像素在相应亮度间的归一化差异值和相对应像素在可见光图像中所对应的暗通道值，在遍历到的归一化差异值和暗通道值中选取最小值，以选取的最小值确定为遍历的相对应像素的雾浓度。
在一个实施例中，归一化差异值通过以下公式计算获得：
其中，(x,y)表示像素点坐标，d(x,y)表示像素点(x,y)的归一化差异值，Icha(x,y)表示在可见光图像中像素点(x,y)的蓝光通道的亮度值，Inir(x,y)表示在红外图像中像素点(x,y)的亮度值，|Icha(x,y)-Inir(x,y)|表示像素(x,y)对应的亮度值间的差异，S表示可见光图像或红外图像中的整个图像区域，表示可见光图像和红外图像中相对应像素的亮度值间的最大差异。
在一个实施例中，相对应的雾浓度可以通过以下公式计算获得：
其中，Dhaze(x,y)表示可见光图像中像素(x,y)的雾浓度，S表示可见光图像的整个图像区域，d(x,y)表示像素点(x,y)的归一化差异值，Jdark(x,y)表示以像素(x,y)的暗通道值，表示选取d(x,y)和Jdark(x,y)中的最小值。
本实施例中，在获取到红外图像和可见光图像中相对应像素对应的亮度值间的差异和暗通道值，根据亮度值间的差异和对应的暗通道值确定相对应像素的雾浓度，使得确定的雾浓度更加准确。
如图5所示，在一个实施例中，雾浓度分布，包括红外图像和可见光图像中相对应像素的雾浓度；S208具体包括确定去雾亮度值的步骤，该步骤具体包括以下内容：
S502，根据雾浓度确定相应的融合加权因子。
其中，融合加权因子为根据相对应像素的亮度值，确定去雾图像中像素的去雾亮度值时所需的权重。
具体地，相机遍历雾浓度分布中每对相对应像素对应的雾浓度，以遍历到的雾浓度的数值作为红外图像和可见光图像中相对应融合加权因子。
在一个实施例中，相机在雾浓度分布中查询最大雾浓度，遍历雾浓度分布中每对相对应像素所对应的雾浓度，遍历到的雾浓度除以最大雾浓度得到相对应像素归一化雾浓度，以得到的归一化雾浓度作为相对应像素的融合加权因子。
在一个实施例中，在得到相应限速的融合加权因子后，相机可以对融合加权因子进行平滑处理。其中，相机可以通过导向滤波对融合加权因子进行平滑处理，得到平滑处理后的融合加权因子。
举例说明，图6为一个实施例中对融合加权因子进行平滑处理的去雾图像对比示意图。处理前的去雾图像为未对融合加权因子进行平滑处理得到的去雾图像，处理后的去雾图像为对融合加权因子进行平滑处理得到的去雾图像。请参照图6，处理前的去雾图像中白色方框区域中存在一些重影，处理后的去雾图像中白色方框区域中不存在重影。
在一个实施例中，相机遍历融合加权因子，检测到与遍历的融合加权因子的相邻融合加权因子的差值超过预设阈值时，根据相邻融合加权因子计算平均融合加权因子，以平均融合加权因子更新遍历到的融合加权因子。
在一个实施例中，融合加权因子根据以下公式计算获得：
其中，(x,y)表示像素的坐标，w(x,y)表示像素(x,y)的融合加权因子，Dhaze(x,y)表示可见光图像中像素(x,y)的雾浓度，S表示可见光图像的整个图像区域，表示在可见光图像中雾浓度的最大值。
S504，将融合加权因子作为红外图像中相对应像素的亮度值的权重。
具体地，相机在得到融合加权因子后，将融合加权因子作为红外图像中相对应像素的亮度值的权重。红外图像中相对应像素的亮度值为相对应像素的红外亮度值。
在一个实施例中，相机在平滑处理后的融合加权因子中，遍历每对相对应像素对应的融合加权因子，以遍历到的融合加权因子作为相对应像素的红外亮度值的权重。
S506，根据融合加权因子确定可见光图像中相对应像素的亮度值的权重。
具体地，相机在融合加权因子中查找最大融合加权因子，以最大融合加权因子减去相对应像素的融合加权因子，得到可见光图像中相对应像素的亮度值的权重。可见光图像中相对应像素的亮度值为可见光亮度值。
在一个实施例中，相机以1减去相对应像素的融合加权因子，得到相对应像素的可见光亮度值的权重。
S508，对红外图像和可见光图像中相对应像素的亮度值，分别按照相应的权重进行加权求和，得到去雾亮度值。
具体地，相机将红外图像中相对应像素的红外亮度值与权重相乘，将可见光图像中相对应像素的可见光亮度值与权重相乘，对得到的乘积进行求和得到去雾亮度值。
在一个实施例中，去雾亮度值可以通过以下公式计算获得：
I(x,y)＝w(x,y)·Inir(x,y)+(1-w(x,y))·Ivis(x,y)
其中，(x,y)表示像素的坐标，I(x,y)表示去雾图像中像素(x,y)的去雾亮度值，Inir(x,y)表示像素(x,y)的红外亮度值，Ivis(x,y)表示像素(x,y)的可见光亮度值。
本实施例中，根据雾浓度确定相应的融合加权因子，通过融合加权因子分别确定红外图像和可见光图像中相对应像素各自对应的亮度值的权重，对红外图像和可见光图像中相对应像素的亮度值，分别按照各自权重进行加权求和，得到去雾亮度值，根据不同雾浓度对相对应像素的亮度值进行融合，使得得到的去雾亮度值更加准确，从而提高图像去雾效果。
如图7所示，在一个实施例中，S502包括确定融合加权因子的步骤，该步骤具体包括以下内容：
S702，根据雾浓度确定相应的初始融合加权因子。
具体地，相机在雾浓度分布中查询最大雾浓度，遍历相对应像素对应的雾浓度，将遍历到的雾浓度除以最大雾浓度得到初始融合加权因子。
S704，确定各初始融合加权因子相应的调整系数，调整系数与相应的初始融合加权因子正相关。
其中，调整系数与相应的初始融合加权因子正相关，即初始融合加权因子越大，调整系数越大；初始融合加权因子越小，调整系数越小，不同的初始融合加权因子对应的调整系数也不相同。
具体的，相机获取调整系数对应的预设参数，根据预设参数、最大雾浓度和遍历到的雾浓度确定每个初始融合加权因子相应的调整系数。
在一个实施例中，与初始融合加权因子和相应的调整系数通过以下公式计算得到：
其中，(x,y)表示像素的坐标，w′(x,y)表示像素(x,y)的初始融合加权因子,α表示与w′(x,y)相应的调整系数；Dhaze(x,y)表示可见光图像中像素(x,y)的雾浓度，S表示可见光图像的整个图像区域，表示在可见光图像中雾浓度的最大值；m、n、a和b为预设参数，m＞0、m＞n、a＞0和0≤b≤1，e为自然底数。
在一个实施例中，m＝0.8,n＝0.4、a＝10和b＝0.5。
S706，将初始融合加权因子和相应的调整系数的乘积确定为融合加权因子。
具体地，相机遍历相对应像素对应的初始融合加权因子，获取与遍历到的初始融合加权因子相应的调整系数，将遍历到的初始融合加权因子与相应的调整系数相乘，以相乘得到的乘积确定为相对应像素的融合加权因子。
在一个实施例中，融合加权因子通过以下公式计算获得：
w(x,y)＝α·w′(x,y)
其中，w(x,y)表示像素(x,y)的融合加权因子，w′(x,y)表示像素(x,y)的初始融合加权因子,α表示与w′(x,y)相应的调整系数。
本实施例中，在获取相对应像素的初始融合加权因子后，根据雾浓度分布确定调整系数，通过调整系数对初始融合加权因子进行调整得到融合加权因子，根据调整后得到的融合加权因子对相对应像素进行融合，使得得到的去雾图像具有景深效果，提高了去雾图像的图像质量。
在一个实施例中，指定通道是RGB格式的可见光图像中的蓝光通道；红外图像是近红外图像；可见光图像中进行融合的亮度值，是YUV格式的可见光图像中的可见光亮度值。
图8为一个实施例中图像去雾方法的流程示意图。请参照图8，相机分别通过红外成像和可见光成像获取当前场景的近红外图像和可见光图像，将获取到的近红外图像和可见光图像输入到去雾系统，去雾系统对输入的近红外图像和可见光图像进行去雾处理，得到去雾图像。去雾系统可以运行在相机上、终端上或服务器上。
图9为一个实施例中图像去雾方法的流程示意图。本实施例以去雾系统运行在相机上来举例说明。
相机获取当前场景近红外图像和RGB格式的可见光图像，相机分别从近红外图像和可见光图像中，提取相对应像素的红外亮度值和蓝光通道亮度值，根据提取到的红外亮度值和蓝光通道亮度值确定相对应像素的红外-蓝光通道亮度值间差异。相机从可见光图像中提取各像素对应的暗通道值，根据相对应性像素的红外-蓝光通道亮度值间差异和暗通道值，确定可见光图像中各像素的雾浓度，得到可见光图像中像素的雾浓度分布。相机根据得到的雾浓度分布确定相对应像素的融合加权因子。
举例说明，图10为一个实施例中可见光图像的雾浓度分布示意图。请参照图9,0-0.5的坐标轴标识雾浓度坐标轴，0-1500的坐标轴和0-400的坐标轴为像素坐标轴。物浓度分别可通过分布图表示。
参照图9中，相机将RGB格式的可见光图像从RGB色彩空间转换至YUV色彩空间，得到YUV格式的可见光图像，从YUV格式的可见光图像中提取各像素的可见光亮度值和色彩值。相机从可见光图像的各像素的可见光亮度值和近红外图像中提取相对应像素的红外亮度值和可见光亮度值，根据红外亮度值、可见光亮度值和融合加权因子计算得到相对应的去雾亮度值，以通过去雾亮度值实现近红外图像和可见光图像的亮度融合，得到亮度融合图像。相加将相应的色彩值添加到亮度融合图像中，得到YUV格式的去雾图像。相机将YUV格式的去雾图像从YUV色彩空间转换至RGB色彩空间，得到RGB格式的去雾图像。
在一个实施例中，如图11所示，提供一种图像去雾装置1100，该装置包括：图像获取模块1102、亮度提取模块1104、雾浓度确定模块1106、像素融合模块1108和图像生成模块1110。
图像获取模块1102，用于获取同一场景对应的红外图像和可见光图像。
亮度提取模块1104，用于分别从可见光图像的蓝光通道和红外图像，提取相对应像素的亮度值。
雾浓度确定模块1106，用于根据提取的相对应像素的亮度值间的差异，确定雾浓度分布。
像素融合模块1108，用于按照雾浓度分布，将红外图像和可见光图像中相对应像素的亮度值分别融合，得到去雾亮度值。
图像生成模块1110，用于根据各去雾亮度值和在可见光图像中对应的色彩值，生成去雾图像。
在一个实施例中，图像获取模块1102还用于获取图像采集指令；根据图像采集指令，在第一模式下采集第一图像；从第一模式切换至第二模式；第一模式和第二模式分别是红外模式和可见光模式中的一种；在第二模式下采集第二图像；第一图像和第二图像分别是红外图像和可见光图像中的一种。
在一个实施例中，亮度提取模块1104还用于分别将红外图像和可见光图像进行下采样处理；从下采样后的可见光图像的蓝光通道和下采样后的红外图像中，提取相对应像素的亮度值。
像素融合模块1108还用于按照雾浓度分布，将下采样后的红外图像和下采样后的可见光图像中相对应像素的亮度值融合，得到各相对应像素的去雾亮度值。
图像生成模块1110还用于将生成的去雾图像进行上采样处理。
在一个实施例中，雾浓度分布，包括红外图像和可见光图像中相对应像素的雾浓度。
雾浓度确定模块1106还用于获取可见光图像中各像素的暗通道值；根据提取的相对应像素的亮度值间的差异，结合所对应的暗通道值，确定相对应像素的雾浓度。
在一个实施例中，雾浓度确定模块1106还用于在可见光图像中确定以各像素为中心像素的图像区域；从确定的图像区域内像素对应的各颜色通道的亮度值中，选取最小亮度值；以最小亮度值作为确定的图像区域的中心像素对应的暗通道值。
在一个实施例中，雾浓度确定模块1106还用于遍历每对相对应像素，在相应亮度值间的归一化差异值和所对应的暗通道值中，选取最小值；将选取的最小值确定为遍历的相对应像素的雾浓度。
在一个实施例中，归一化差异值通过以下公式计算获得：
其中，(x,y)表示像素点坐标，d(x,y)表示像素点(x,y)的归一化差异值，Icha(x,y)表示在可见光图像中像素点(x,y)的蓝光通道的亮度值，Inir(x,y)表示在红外图像中像素点(x,y)的亮度值，|Icha(x,y)-Inir(x,y)|表示像素(x,y)对应的亮度值间的差异，S表示可见光图像或红外图像中的整个图像区域，表示可见光图像和红外图像中相对应像素的亮度值间的最大差异。
在一个实施例中，雾浓度分布，包括红外图像和可见光图像中相对应像素的雾浓度。
像素融合模块1108还用于根据雾浓度确定相应的融合加权因子；将融合加权因子作为红外图像中相对应像素的亮度值的权重；根据融合加权因子确定可见光图像中相对应像素的亮度值的权重；对红外图像和可见光图像中相对应像素的亮度值，分别按照相应的权重进行加权求和，得到去雾亮度值。
在一个实施例中，融合加权因子根据以下公式计算获得：
其中，(x,y)表示像素的坐标，w(x,y)表示像素(x,y)的融合加权因子，Dhaze(x,y)表示可见光图像中像素(x,y)的雾浓度，S表示可见光图像的整个图像区域，表示在可见光图像中雾浓度的最大值。
在一个实施例中，像素融合模块1108还用于根据雾浓度确定相应的初始融合加权因子；确定各初始融合加权因子相应的调整系数，调整系数与相应的初始融合加权因子正相关；将初始融合加权因子和相应的调整系数的乘积确定为融合加权因子。
在一个实施例中，调整系数根据以下公式计算获得：
其中，α表示调整系数，m、n、a和b为预设参数，m＞0、m＞n、a＞0和0≤b≤1，e为自然底数，(x,y)表示像素的坐标，w(x,y)表示像素(x,y)的融合加权因子，Dhaze(x,y)表示可见光图像中像素(x,y)的雾浓度，S表示可见光图像的整个图像区域，表示在可见光图像中雾浓度的最大值。
在一个实施例中，指定通道是RGB格式的可见光图像中的蓝光通道；红外图像是近红外图像；可见光图像中进行融合的亮度值，是YUV格式的可见光图像中的可见光亮度值。
本实施例中，从相匹配的红外图像和可见光图像中，提取相对应像素的亮度值，根据提取的相对应像素的亮度值间的差异确定雾浓度分布，根据雾浓度分布中相对应像素的雾浓度确定相对应像素的亮度值融合后的去雾亮度值，得到了准确率较高的去雾亮度值，再根据各去雾亮度值和在可见光图像中对应的色彩值生成去雾图像，在去雾图像中保留了可见光图像中的色彩值，使得去雾图像中包括准确的亮度值和色彩值，减少了去雾图像的去雾失真，提高了去雾图像的成像质量。
图12为一个实施例中计算机设备的内部结构示意图。参照图12，该计算机设备可以是图1中所示的相机110，也可以是图1中所示的终端120，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质可存储操作系统和计算机程序。该计算机程序被执行时，可使得处理器执行一种图像去雾方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该内存储器中可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行一种图像去雾方法。计算机设备的网络接口用于进行网络通信。
图13为一个实施例中相机的内部结构示意图。参照图13，该相机包括通过系统总线连接的处理器、存储器、摄像头和网络接口。其中，存储器包括非易失性存储介质和内存储器。摄像头具有红外成像能力和可见光成像能力。该相机的非易失性存储介质可存储操作系统和计算机程序。该计算机程序被执行时，可使得处理器执行一种图像去雾方法。该相机的处理器用于提供计算和控制能力，支撑整个相机的运行。该内存储器中可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行一种图像去雾方法。相机的网络接口用于进行网络通信。
本领域技术人员可以理解，图12和图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备或机器人的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的图像去雾装置1100可以实现为一种计算机程序的形式，计算机程序可在如图11所示的计算机设备或如图12所示的相机上运行。计算机设备或相机的存储器中可存储组成该图像去雾装置的各个程序模块，比如，图11所示的数据获取模块1102、数据同步模块1104、位姿确定模块1106、场景创建模块1108和场景融合模块1110。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像去雾方法中的步骤。
例如，图11所示的计算机设备或图12所示的机器人可以通过如图11所示的图像去雾装置1100中的图像获取模块1102获取同一场景对应的红外图像和可见光图像。计算机设备或机器人可通过亮度提取模块1104分别从可见光图像的蓝光通道和红外图像，提取相对应像素的亮度值。计算机设备或机器人可通过雾浓度确定模块1106根据提取的相对应像素的亮度值间的差异，确定雾浓度分布。计算机设备或机器人可通过像素融合模块1108按照雾浓度分布，将红外图像和可见光图像中相对应像素的亮度值分别融合，得到去雾亮度值。计算机设备或机器人可通过图像生成模块1110根据各去雾亮度值和在可见光图像中对应的色彩值，生成去雾图像。
一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如下步骤：获取同一场景对应的红外图像和可见光图像；分别从可见光图像的蓝光通道和红外图像，提取相对应像素的亮度值；根据提取的相对应像素的亮度值间的差异，确定雾浓度分布；按照雾浓度分布，将红外图像和可见光图像中相对应像素的亮度值分别融合，得到去雾亮度值；根据各去雾亮度值和在可见光图像中对应的色彩值，生成去雾图像。
在一个实施例中，获取同一场景对应的红外图像和可见光图像包括：获取图像采集指令；根据图像采集指令，在第一模式下采集第一图像；从第一模式切换至第二模式；第一模式和第二模式分别是红外模式和可见光模式中的一种；在第二模式下采集第二图像；第一图像和第二图像分别是红外图像和可见光图像中的一种。
在一个实施例中，分别从可见光图像的蓝光通道和红外图像，提取相对应像素的亮度值包括：分别将红外图像和可见光图像进行下采样处理；从下采样后的可见光图像的蓝光通道和下采样后的红外图像中，提取相对应像素的亮度值。
按照雾浓度分布，将红外图像和可见光图像中相对应像素的亮度值融合，得到各相对应像素的去雾亮度值包括：按照雾浓度分布，将下采样后的红外图像和下采样后的可见光图像中相对应像素的亮度值融合，得到各相对应像素的去雾亮度值。
计算机程序被处理器执行时，使得处理器还执行如下步骤：将生成的去雾图像进行上采样处理。
在一个实施例中，雾浓度分布，包括红外图像和可见光图像中相对应像素的雾浓度；根据提取的相对应像素的亮度值间的差异，确定雾浓度分布包括：获取可见光图像中各像素的暗通道值；根据提取的相对应像素的亮度值间的差异，结合所对应的暗通道值，确定相对应像素的雾浓度。
在一个实施例中，获取可见光图像中各像素的暗通道值包括：在可见光图像中确定以各像素为中心像素的图像区域；从确定的图像区域内像素对应的各颜色通道的亮度值中，选取最小亮度值；以最小亮度值作为确定的图像区域的中心像素对应的暗通道值。
在一个实施例中，根据提取的相对应像素的亮度值间的差异，结合所对应的暗通道值，确定相对应像素的雾浓度包括：遍历每对相对应像素，在相应亮度值间的归一化差异值和所对应的暗通道值中，选取最小值；将选取的最小值确定为遍历的相对应像素的雾浓度。
在一个实施例中，归一化差异值通过以下公式计算获得：
其中，(x,y)表示像素点坐标，d(x,y)表示像素点(x,y)的归一化差异值，Icha(x,y)表示在可见光图像中像素点(x,y)的蓝光通道的亮度值，Inir(x,y)表示在红外图像中像素点(x,y)的亮度值，|Icha(x,y)-Inir(x,y)|表示像素(x,y)对应的亮度值间的差异，S表示可见光图像或红外图像中的整个图像区域，表示可见光图像和红外图像中相对应像素的亮度值间的最大差异。
在一个实施例中，雾浓度分布，包括红外图像和可见光图像中相对应像素的雾浓度；按照雾浓度分布，将红外图像和可见光图像中相对应像素的亮度值分别融合，得到去雾亮度值包括：根据雾浓度确定相应的融合加权因子；将融合加权因子作为红外图像中相对应像素的亮度值的权重；根据融合加权因子确定可见光图像中相对应像素的亮度值的权重；对红外图像和可见光图像中相对应像素的亮度值，分别按照相应的权重进行加权求和，得到去雾亮度值。
在一个实施例中，融合加权因子根据以下公式计算获得：
其中，(x,y)表示像素的坐标，w(x,y)表示像素(x,y)的融合加权因子，Dhaze(x,y)表示可见光图像中像素(x,y)的雾浓度，S表示可见光图像的整个图像区域，表示在可见光图像中雾浓度的最大值。
在一个实施例中，根据雾浓度确定相应的融合加权因子包括：根据雾浓度确定相应的初始融合加权因子；确定各初始融合加权因子相应的调整系数，调整系数与相应的初始融合加权因子正相关；将初始融合加权因子和相应的调整系数的乘积确定为融合加权因子。
在一个实施例中，调整系数根据以下公式计算获得：
其中，α表示调整系数，m、n、a和b为预设参数，m＞0、m＞n、a＞0和0≤b≤1，e为自然底数，(x,y)表示像素的坐标，w(x,y)表示像素(x,y)的融合加权因子，Dhaze(x,y)表示可见光图像中像素(x,y)的雾浓度，S表示可见光图像的整个图像区域，表示在可见光图像中雾浓度的最大值。
在一个实施例中，指定通道是RGB格式的可见光图像中的蓝光通道；红外图像是近红外图像；可见光图像中进行融合的亮度值，是YUV格式的可见光图像中的可见光亮度值。
本实施例中，从相匹配的红外图像和可见光图像中，提取相对应像素的亮度值，根据提取的相对应像素的亮度值间的差异确定雾浓度分布，根据雾浓度分布中相对应像素的雾浓度确定相对应像素的亮度值融合后的去雾亮度值，得到了准确率较高的去雾亮度值，再根据各去雾亮度值和在可见光图像中对应的色彩值生成去雾图像，在去雾图像中保留了可见光图像中的色彩值，使得去雾图像中包括准确的亮度值和色彩值，减少了去雾图像的去雾失真，提高了去雾图像的成像质量。
一种存储有计算机程序的存储介质，所述计算机程序被处理器执行时，使得处理器执行如下步骤：获取同一场景对应的红外图像和可见光图像；分别从可见光图像的蓝光通道和红外图像，提取相对应像素的亮度值；根据提取的相对应像素的亮度值间的差异，确定雾浓度分布；按照雾浓度分布，将红外图像和可见光图像中相对应像素的亮度值分别融合，得到去雾亮度值；根据各去雾亮度值和在可见光图像中对应的色彩值，生成去雾图像。
在一个实施例中，获取同一场景对应的红外图像和可见光图像包括：获取图像采集指令；根据图像采集指令，在第一模式下采集第一图像；从第一模式切换至第二模式；第一模式和第二模式分别是红外模式和可见光模式中的一种；在第二模式下采集第二图像；第一图像和第二图像分别是红外图像和可见光图像中的一种。
在一个实施例中，分别从可见光图像的蓝光通道和红外图像，提取相对应像素的亮度值包括：分别将红外图像和可见光图像进行下采样处理；从下采样后的可见光图像的蓝光通道和下采样后的红外图像中，提取相对应像素的亮度值。
按照雾浓度分布，将红外图像和可见光图像中相对应像素的亮度值融合，得到各相对应像素的去雾亮度值包括：按照雾浓度分布，将下采样后的红外图像和下采样后的可见光图像中相对应像素的亮度值融合，得到各相对应像素的去雾亮度值。
所述计算机程序被处理器执行时，使得处理器执行如下步骤：将生成的去雾图像进行上采样处理。
在一个实施例中，雾浓度分布，包括红外图像和可见光图像中相对应像素的雾浓度；根据提取的相对应像素的亮度值间的差异，确定雾浓度分布包括：获取可见光图像中各像素的暗通道值；根据提取的相对应像素的亮度值间的差异，结合所对应的暗通道值，确定相对应像素的雾浓度。
在一个实施例中，获取可见光图像中各像素的暗通道值包括：在可见光图像中确定以各像素为中心像素的图像区域；从确定的图像区域内像素对应的各颜色通道的亮度值中，选取最小亮度值；以最小亮度值作为确定的图像区域的中心像素对应的暗通道值。
在一个实施例中，根据提取的相对应像素的亮度值间的差异，结合所对应的暗通道值，确定相对应像素的雾浓度包括：遍历每对相对应像素，在相应亮度值间的归一化差异值和所对应的暗通道值中，选取最小值；将选取的最小值确定为遍历的相对应像素的雾浓度。
在一个实施例中，归一化差异值通过以下公式计算获得：
其中，(x,y)表示像素点坐标，d(x,y)表示像素点(x,y)的归一化差异值，Icha(x,y)表示在可见光图像中像素点(x,y)的蓝光通道的亮度值，Inir(x,y)表示在红外图像中像素点(x,y)的亮度值，|Icha(x,y)-Inir(x,y)|表示像素(x,y)对应的亮度值间的差异，S表示可见光图像或红外图像中的整个图像区域，表示可见光图像和红外图像中相对应像素的亮度值间的最大差异。
在一个实施例中，雾浓度分布，包括红外图像和可见光图像中相对应像素的雾浓度；按照雾浓度分布，将红外图像和可见光图像中相对应像素的亮度值分别融合，得到去雾亮度值包括：根据雾浓度确定相应的融合加权因子；将融合加权因子作为红外图像中相对应像素的亮度值的权重；根据融合加权因子确定可见光图像中相对应像素的亮度值的权重；对红外图像和可见光图像中相对应像素的亮度值，分别按照相应的权重进行加权求和，得到去雾亮度值。
在一个实施例中，融合加权因子根据以下公式计算获得：
其中，(x,y)表示像素的坐标，w(x,y)表示像素(x,y)的融合加权因子，Dhaze(x,y)表示可见光图像中像素(x,y)的雾浓度，S表示可见光图像的整个图像区域，表示在可见光图像中雾浓度的最大值。
在一个实施例中，根据雾浓度确定相应的融合加权因子包括：根据雾浓度确定相应的初始融合加权因子；确定各初始融合加权因子相应的调整系数，调整系数与相应的初始融合加权因子正相关；将初始融合加权因子和相应的调整系数的乘积确定为融合加权因子。
在一个实施例中，调整系数根据以下公式计算获得：
其中，α表示调整系数，m、n、a和b为预设参数，m＞0、m＞n、a＞0和0≤b≤1，e为自然底数，(x,y)表示像素的坐标，w(x,y)表示像素(x,y)的融合加权因子，Dhaze(x,y)表示可见光图像中像素(x,y)的雾浓度，S表示可见光图像的整个图像区域，表示在可见光图像中雾浓度的最大值。
在一个实施例中，指定通道是RGB格式的可见光图像中的蓝光通道；红外图像是近红外图像；可见光图像中进行融合的亮度值，是YUV格式的可见光图像中的可见光亮度值。
本实施例中，从相匹配的红外图像和可见光图像中，提取相对应像素的亮度值，根据提取的相对应像素的亮度值间的差异确定雾浓度分布，根据雾浓度分布中相对应像素的雾浓度确定相对应像素的亮度值融合后的去雾亮度值，得到了准确率较高的去雾亮度值，再根据各去雾亮度值和在可见光图像中对应的色彩值生成去雾图像，在去雾图像中保留了可见光图像中的色彩值，使得去雾图像中包括准确的亮度值和色彩值，减少了去雾图像的去雾失真，提高了去雾图像的成像质量。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchl ink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像去雾方法，所述方法包括：
获取同一场景对应的红外图像和可见光图像；
分别从所述可见光图像的蓝光通道和所述红外图像，提取相对应像素的亮度值；
根据提取的相对应像素的亮度值间的差异，确定雾浓度分布；
按照所述雾浓度分布，将所述红外图像和所述可见光图像中相对应像素的亮度值分别融合，得到去雾亮度值；
根据各去雾亮度值和在所述可见光图像中对应的色彩值，生成去雾图像。
2.根据权利要求1所述的方法，其特征在于，所述获取同一场景对应的红外图像和可见光图像包括：
获取图像采集指令；
根据所述图像采集指令，在第一模式下采集第一图像；
从所述第一模式切换至第二模式；所述第一模式和所述第二模式分别是红外模式和可见光模式中的一种；
在所述第二模式下采集第二图像；所述第一图像和所述第二图像分别是红外图像和可见光图像中的一种。
3.根据权利要求1所述的方法，其特征在于，所述分别从所述可见光图像的蓝光通道和所述红外图像，提取相对应像素的亮度值包括：
分别将所述红外图像和所述可见光图像进行下采样处理；
从下采样后的可见光图像的蓝光通道和下采样后的红外图像中，提取相对应像素的亮度值；
所述按照所述雾浓度分布，将所述红外图像和所述可见光图像中相对应像素的亮度值融合，得到各相对应像素的去雾亮度值包括：
按照所述雾浓度分布，将下采样后的红外图像和下采样后的可见光图像中相对应像素的亮度值融合，得到各相对应像素的去雾亮度值；
所述方法还包括：
将生成的所述去雾图像进行上采样处理。
4.根据权利要求1所述的方法，其特征在于，所述雾浓度分布，包括所述红外图像和所述可见光图像中相对应像素的雾浓度；
所述根据提取的相对应像素的亮度值间的差异，确定雾浓度分布包括：
获取所述可见光图像中各像素的暗通道值；
根据提取的相对应像素的亮度值间的差异，结合所对应的暗通道值，确定相对应像素的雾浓度。
5.根据权利要求4所述的方法，其特征在于，所述获取所述可见光图像中各像素的暗通道值包括：
在所述可见光图像中确定以各像素为中心像素的图像区域；
从确定的图像区域内像素对应的各颜色通道的亮度值中，选取最小亮度值；
以最小亮度值作为所述确定的图像区域的中心像素对应的暗通道值。
6.根据权利要求4所述的方法，其特征在于，所述根据提取的相对应像素的亮度值间的差异，结合所对应的暗通道值，确定相对应像素的雾浓度包括：
遍历每对相对应像素，在相应亮度值间的归一化差异值和所对应的暗通道值中，选取最小值；
将选取的最小值确定为遍历的相对应像素的雾浓度。
7.根据权利要求6所述的方法，其特征在于，所述归一化差异值通过以下公式计算获得：
其中，(x,y)表示像素点坐标，d(x,y)表示像素点(x,y)的归一化差异值，Icha(x,y)表示在可见光图像中像素点(x,y)的蓝光通道的亮度值，Inir(x,y)表示在红外图像中像素点(x,y)的亮度值，|Icha(x,y)-Inir(x,y)|表示像素(x,y)对应的亮度值间的差异，S表示可见光图像或红外图像中的整个图像区域，表示可见光图像和红外图像中相对应像素的亮度值间的最大差异。
8.根据权利要求1所述的方法，其特征在于，所述雾浓度分布，包括所述红外图像和所述可见光图像中相对应像素的雾浓度；
所述按照所述雾浓度分布，将所述红外图像和所述可见光图像中相对应像素的亮度值分别融合，得到去雾亮度值包括：
根据所述雾浓度确定相应的融合加权因子；
将所述融合加权因子作为红外图像中相对应像素的亮度值的权重；
根据所述融合加权因子确定所述可见光图像中相对应像素的亮度值的权重；
对所述红外图像和所述可见光图像中相对应像素的亮度值，分别按照相应的权重进行加权求和，得到去雾亮度值。
9.根据权利要求8所述的方法，其特征在于，所述融合加权因子根据以下公式计算获得：
其中，(x,y)表示像素的坐标，w(x,y)表示像素(x,y)的融合加权因子，Dhaze(x,y)表示可见光图像中像素(x,y)的雾浓度，S表示可见光图像的整个图像区域，表示在可见光图像中雾浓度的最大值。
10.根据权利要求8所述的方法，其特征在于，所述根据所述雾浓度确定相应的融合加权因子包括：
根据所述雾浓度确定相应的初始融合加权因子；
确定各初始融合加权因子相应的调整系数，所述调整系数与相应的初始融合加权因子正相关；
将所述初始融合加权因子和相应的调整系数的乘积确定为融合加权因子。
11.根据权利要求10所述的方法，其特征在于，所述调整系数根据以下公式计算获得：
其中，α表示调整系数，m、n、a和b为预设参数，m＞0、m＞n、a＞0和0≤b≤1，e为自然底数，(x,y)表示像素的坐标，w(x,y)表示像素(x,y)的融合加权因子，Dhaze(x,y)表示可见光图像中像素(x,y)的雾浓度，S表示可见光图像的整个图像区域，表示在可见光图像中雾浓度的最大值。
12.根据权利要求1至11任一项所述的方法，其特征在于，所述蓝光通道是RGB格式的所述可见光图像中的蓝光通道；所述红外图像是近红外图像；所述可见光图像中进行融合的亮度值，是YUV格式的所述可见光图像中的可见光亮度值。
13.一种图像去雾装置，其特征在于，所述装置包括：
图像获取模块，用于获取同一场景对应的红外图像和可见光图像；
亮度提取模块，用于分别从所述可见光图像的蓝光通道和所述红外图像，提取相对应像素的亮度值；
雾浓度确定模块，用于根据提取的相对应像素的亮度值间的差异，确定雾浓度分布；
像素融合模块，用于按照所述雾浓度分布，将所述红外图像和所述可见光图像中相对应像素的亮度值分别融合，得到去雾亮度值；
图像生成模块，用于根据各去雾亮度值和在所述可见光图像中对应的色彩值，生成去雾图像。
14.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述方法的步骤。
15.一种存储有计算机程序的存储介质，所述计算机程序被处理器执行时，使得处理器执行如权利要求1至12中任一项所述方法的步骤。
CN201810569120.1A 2018-06-05 2018-06-05 图像去雾方法、装置、计算机设备和存储介质 Pending CN110163804A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810569120.1A CN110163804A (zh) 2018-06-05 2018-06-05 图像去雾方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810569120.1A CN110163804A (zh) 2018-06-05 2018-06-05 图像去雾方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN110163804A true CN110163804A (zh) 2019-08-23

Family

ID=67644874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810569120.1A Pending CN110163804A (zh) 2018-06-05 2018-06-05 图像去雾方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110163804A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275645A (zh) * 2020-01-20 2020-06-12 腾讯科技（深圳）有限公司 基于人工智能的图像去雾方法、装置、设备及存储介质
CN111369486A (zh) * 2020-04-01 2020-07-03 浙江大华技术股份有限公司 一种图像融合处理方法及装置
CN111383242A (zh) * 2020-05-29 2020-07-07 浙江大华技术股份有限公司 一种图像透雾处理方法及装置
CN112966721A (zh) * 2021-02-06 2021-06-15 北京优彩科技有限公司 一种蓝光检测方法及装置
CN112991246A (zh) * 2021-02-05 2021-06-18 中国科学院信息工程研究所 一种可见光与红外视频图像融合方法及装置
CN113240602A (zh) * 2021-05-17 2021-08-10 Oppo广东移动通信有限公司 图像去雾方法及装置、计算机可读介质和电子设备
CN113421195A (zh) * 2021-06-08 2021-09-21 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
CN114663311A (zh) * 2022-03-24 2022-06-24 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194901A (zh) * 2017-07-27 2017-09-22 广东欧珀移动通信有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质
CN107341782A (zh) * 2017-07-27 2017-11-10 广东欧珀移动通信有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194901A (zh) * 2017-07-27 2017-09-22 广东欧珀移动通信有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质
CN107341782A (zh) * 2017-07-27 2017-11-10 广东欧珀移动通信有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHANG JINGYUN等: "Real-time defog model based on visible and near-infrared information", 《2016 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA & EXPO WORKSHOPS (ICMEW)》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021147418A1 (zh) * 2020-01-20 2021-07-29 腾讯科技（深圳）有限公司 一种图像去雾方法、装置、设备及计算机存储介质
US11861810B2 (en) 2020-01-20 2024-01-02 Tencent Technology (Shenzhen) Company Limited Image dehazing method, apparatus, and device, and computer storage medium
CN111275645A (zh) * 2020-01-20 2020-06-12 腾讯科技（深圳）有限公司 基于人工智能的图像去雾方法、装置、设备及存储介质
CN111369486A (zh) * 2020-04-01 2020-07-03 浙江大华技术股份有限公司 一种图像融合处理方法及装置
CN111369486B (zh) * 2020-04-01 2023-06-13 浙江大华技术股份有限公司 一种图像融合处理方法及装置
CN111383242B (zh) * 2020-05-29 2020-09-29 浙江大华技术股份有限公司 一种图像透雾处理方法及装置
CN111383242A (zh) * 2020-05-29 2020-07-07 浙江大华技术股份有限公司 一种图像透雾处理方法及装置
CN112991246A (zh) * 2021-02-05 2021-06-18 中国科学院信息工程研究所 一种可见光与红外视频图像融合方法及装置
CN112966721B (zh) * 2021-02-06 2021-11-09 北京优彩科技有限公司 一种蓝光检测方法及装置
CN112966721A (zh) * 2021-02-06 2021-06-15 北京优彩科技有限公司 一种蓝光检测方法及装置
CN113240602A (zh) * 2021-05-17 2021-08-10 Oppo广东移动通信有限公司 图像去雾方法及装置、计算机可读介质和电子设备
CN113421195A (zh) * 2021-06-08 2021-09-21 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
CN114663311A (zh) * 2022-03-24 2022-06-24 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110163804A (zh) 图像去雾方法、装置、计算机设备和存储介质
CN111402135B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110473185B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US8965121B2 (en) Image color matching and equalization devices and related methods
EP3598736B1 (en) Method and apparatus for processing image
US20170359534A1 (en) Mismatched Foreign Light Detection And Mitigation In The Image Fusion Of A Two-Camera System
CN106899781B (zh) 一种图像处理方法及电子设备
CN110149482A (zh) 对焦方法、装置、电子设备和计算机可读存储介质
CN107862663A (zh) 图像处理方法、装置、可读存储介质和计算机设备
CN107766831A (zh) 图像处理方法、装置、移动终端和计算机可读存储介质
CN108833785A (zh) 多视角图像的融合方法、装置、计算机设备和存储介质
CN106027851A (zh) 基于图像梯度的图像滤波
CN113888437A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP2009506688A (ja) 画像分割方法および画像分割システム
CN103314572A (zh) 用于图像处理的方法和设备
CN112767291B (zh) 可见光图像和红外图像融合方法、设备及可读存储介质
CN110569927A (zh) 移动端全景图像扫描提取的方法、终端和计算机设备
CN109493283A (zh) 一种高动态范围图像鬼影消除的方法
WO2022160895A1 (zh) 图像处理方法、图像处理装置、电子系统及可读存储介质
CN107358593A (zh) 成像方法和装置
CN113902657A (zh) 图像拼接方法、装置和电子设备
CN107395991A (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN112261292B (zh) 图像获取方法、终端、芯片及存储介质
CN112634183A (zh) 图像处理方法及装置
CN110490196A (zh) 主体检测方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190823