CN111275645A - 基于人工智能的图像去雾方法、装置、设备及存储介质 - Google Patents

基于人工智能的图像去雾方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111275645A
CN111275645A CN202010065664.1A CN202010065664A CN111275645A CN 111275645 A CN111275645 A CN 111275645A CN 202010065664 A CN202010065664 A CN 202010065664A CN 111275645 A CN111275645 A CN 111275645A
Authority
CN
China
Prior art keywords
image
pixel point
pixel
infrared
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010065664.1A
Other languages
English (en)
Inventor
张菁芸
郭润增
王少鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010065664.1A priority Critical patent/CN111275645A/zh
Publication of CN111275645A publication Critical patent/CN111275645A/zh
Priority to PCT/CN2020/124026 priority patent/WO2021147418A1/zh
Priority to US17/577,857 priority patent/US11861810B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于人工智能的图像去雾方法、装置、设备及存储介质；该方法包括：当获取到图像去雾指令时，响应于图像去雾指令，采集同一时刻的目标场景对应的彩色图像和红外图像；其中，图像去雾指令是在目标场景具有雾霾的情况下触发的；基于彩色图像的每个像素点的像素值，和红外图像的每个像素点的像素值，计算出每个像素点的雾浓度信息；雾浓度信息描述了目标场景的雾浓度的分布情况；根据雾浓度信息，生成每个像素点的图像融合因子；图像融合因子用于控制彩色图像和红外图像的融合程度；按照图像融合因子，将彩色图像和红外图像进行融合，得到去雾图像。通过本发明，能够提供去雾图像的质量。

Description

基于人工智能的图像去雾方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术，尤其涉及一种基于人工智能的图像去雾方法、装置、设备及存储介质。
背景技术
目前，图像采集设备在人们的生活中扮演着重要的角色，例如，利用摄像器对监控区域进行拍摄，确保监控区域的安全，利用照相机采集人脸的图像，以基于人脸进行身份识别等。然而，在雾霾天气时，利用摄像器或是照相机所采集到的图像会存在严重的噪声，为后续的图像处理带来影响。
图像去雾是指利用图像处理技术，将图像中由于雾霾所带来的噪声去除，恢复出无雾的清晰图像。相关技术中，常见的图像去雾技术大多是对彩色图像进行处理，然而，雾霾对于红光、蓝光和绿光的影响并不相同，使得去雾图像中信息存在缺失，从而导致去雾图像的质量较差。
发明内容
本发明实施例提供一种基于人工智能的图像去雾方法、装置、设备及存储介质，能够提升去雾图像的质量。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种基于人工智能的图像去雾方法，包括：
当获取到图像去雾指令时，响应于所述图像去雾指令，采集同一时刻的目标场景对应的彩色图像和红外图像；其中，所述图像去雾指令是在所述目标场景具有雾霾的情况下触发的；
基于所述彩色图像的每个像素点的像素值，和所述红外图像的每个像素点的像素值，计算出所述每个像素点的雾浓度信息；所述雾浓度信息描述了所述目标场景的雾浓度的分布情况；
根据所述雾浓度信息，生成所述每个像素点的图像融合因子；所述图像融合因子用于控制所述彩色图像和所述红外图像的融合程度；
按照图像融合因子，将所述彩色图像和所述红外图像进行融合，得到去雾图像。
本发明实施例提供一种图像去雾装置，包括：
采集模块，用于当获取到图像去雾指令时，响应于所述图像去雾指令，采集同一时刻的目标场景对应的彩色图像和红外图像；其中，所述图像去雾指令是在所述目标场景具有雾霾的情况下触发的；
雾浓度确定模块，用于基于所述彩色图像的每个像素点的像素值，和所述红外图像的每个像素点的像素值，计算出所述每个像素点的雾浓度信息；所述雾浓度信息描述了所述目标场景的雾浓度的分布情况；
生成模块，用于根据所述雾浓度信息，生成所述每个像素点的图像融合因子；所述图像融合因子用于控制所述彩色图像和所述红外图像的融合程度；
融合模块，用于按照图像融合因子，将所述彩色图像和所述红外图像进行融合，得到去雾图像。
本发明实施例提供一种图像去雾设备，包括：
存储器，用于存储可执行图像去雾指令；
处理器，用于执行所述存储器中存储的可执行图像去雾指令时，实现本发明实施例提供的基于人工智能的图像去雾方法。
本发明实施例提供一种存储介质，存储有可执行图像去雾指令，用于引起处理器执行时，实现本发明实施例提供的基于人工智能的图像去雾方法。
本发明实施例具有以下有益效果：
本发明实施例中，终端当接收到图像去雾指令时，响应于图像去雾指令，采集同一时刻的目标场景对应的彩色图像和红外图像，之后基于彩色图像的每个像素点的像素值，和红外图像每个像素点的像素值，计算出每个像素点的雾浓度信息，接着，终端根据雾浓度信息生成每个像素点的图像融合因子，最后按照图像融合因子，将彩色图像和红外图像进行融合，得到去雾图像。如此，终端能够利用图像融合因子，控制彩色图像和红外图像的融合程度，使得在雾霾浓度较高时，更多的利用红外图像中的信息，来补全彩色图像中由于雾霾而缺失的信息，提高去雾图像的质量，进而提高了图像去雾的效果。
附图说明
图1是本发明实施例提供的图像去雾系统100的一个可选的结构示意图；
图2是本发明实施例提供的图像去雾设备400的一个可选的结构示意图；
图3是本发明实施例提供的基于人工智能的图像去雾方法的一个可选的流程示意图一；
图4(a)是本发明实施例提供的去雾前的彩色图像的示意图；
图4(b)是本发明实施例提供的去雾图像的示意图；
图5是本发明实施例提供的基于人工智能的图像去雾方法的一个可选的流程示意图二；
图6是本发明实施例提供的基于人工智能的图像去雾方法的一个可选的流程示意图三；
图7是本发明实施例提供的基于人工智能的图像去雾方法的一个可选的流程示意图四；
图8是本发明实施例提供的摄像系统的示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)人工智能，是利用计算机或者计算机控制值的机器模拟、延伸和扩展的人的智能、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。也就是说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的能力。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机时间技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
2)计算机视觉技术，计算机视觉技术(Computer Vision，CV)是研究如何使机器“看”的科学，就是指利用摄像机和电脑待提人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
3)图像去雾，由于在图像采集设备在运行时，难免会碰上雾霾天气，使得图像采集设备所采集的到图像呈现出“灰蒙蒙”的状态，图像质量不好，给后续的例如基于图像的生物特征识别技术等带来影响。图像去雾是属于计算机视觉技术范畴中的，即利用计算机视觉技术将图像中的雾霾效果去除，提高图像的质量。
4)雾浓度信息，是利用不同波长的光线的透雾情况，所生成的用来表征图像中的雾霾浓度的参数。例如，红外线波长大于可见光，可以透雾成像，而波长较短的光，例如，蓝光等，其透射度会随着雾霾浓度变化，因而，可以利用红外线和可见光的成像，得到图像中雾霾浓度的信息。
5)图像去雾指令，是指在判断出有雾霾时，用来触发图像去雾功能的指令。由于在实际情况中，雾霾不是时时刻刻都存在的，因此，需要设置一个指令，在判断出有雾霾时对图像进行去雾处理。
本发明实施例提供一种基于人工智能的图像去雾方法、装置、设备和存储介质，能够提升去雾图像的质量。下面说明本发明实施例提供的图像去雾设备的示例性应用，本发明实施例提供的图像去雾设备可以实施为智能手机、平板电脑、笔记本电脑等各种类型的用户终端，也可以实施为服务器。下面，将说明图像去雾设备实施为终端时示例性应用。
参见图1，图1是本发明实施例提供的图像去雾系统100的一个可选的架构示意图，为实现支撑一个基于人工智能的图像去雾应用，图像去雾设备400上设置有红外摄像器410和彩色摄像器420，以分别获取目标场景500的红外图像和彩色图像。
图像去雾设备400当获取到图像去雾指令时，响应于所获取的图像去雾指令，采集同一时刻的目标场景对应的彩色图像和红外图像，其中，图像去雾指令时在目标场景具有雾霾的情形下所触发的。图像去雾设备400基于彩色图像的每个像素点的像素值，和红外图像的每个图像的像素值，计算出每个像素点的雾浓度信息，从而利用每个像素点的雾浓度信息，描述出整个目标场景的雾浓度的分布情况。接着，图像去雾设备400根据雾浓度信息，生成每个像素点的图像融合因子，以控制彩色图像和红外图像在每个像素点上的融合程度。最后，图像去雾设备400按照图像融合因子，将彩色图像和红外图像逐像素进行融合，得到去雾图像，如此，图像去雾设备400就完成了基于人工智能的图像去雾过程。
参见图2，图2是本发明实施例提供的图像去雾设备400的一个可选的结构示意图，图2所示的图像去雾设备400包括：至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。图像去雾设备400中的各个组件通过总线系统440耦合在一起。可理解，总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统440。
处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Onl y Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access M emory)。本发明实施例描述的存储器450旨在包括任意适合类型的存储器。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。
在一些实施例中，存储器450能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统451，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块452，用于经由一个或多个(有线或无线)网络接口420到达其他计算设备，示例性的网络接口420包括：蓝牙、无线相容性认证(Wi-Fi)、和通用串行总线(USB，Universal Serial Bus)等；
显示模块453，用于经由一个或多个与用户接口430相关联的输出装置431(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块454，用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本发明实施例提供的图像去雾装置可以采用软件方式实现，图2示出了存储在存储器450中的图像去雾装置455，其可以是程序和插件等形式的软件，包括以下软件模块：采集模块4551、雾浓度确定模块4552、生成模块4553和融合模块4554，将在下文中说明各个模块的功能。
在另一些实施例中，本发明实施例提供的图像去雾装置可以采用硬件方式实现，作为示例，本发明实施例提供的图像去雾装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的基于人工智能的图像去雾方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Comp lex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programm able Gate Array)或其他电子元件。
示例性的，本发明实施例提供一种图像去雾设备，包括：
存储器，用于存储可执行图像去雾指令；
处理器，用于执行所述存储器中存储的可执行图像去雾指令时，实现本发明实施例提供的基于人工智能的图像去雾方法。
下面，将结合本发明实施例提供的图像去雾设备的示例性应用和实施，说明本发明实施例提供的基于人工智能的图像去雾方法。
参见图3，图3是本发明实施例提供的基于人工智能的图像去雾方法的一个可选的流程示意图一，将结合图3示出的步骤进行说明。
S101、当获取到图像去雾指令时，响应于图像去雾指令，采集同一时刻的目标场景对应的彩色图像和红外图像；其中，图像去雾指令是在目标场景具有雾霾的情况下触发的。
本发明实施例是要对图像中雾霾效果进行去除的场景下实现的。当图像去雾设备获取到图像去雾指令时，就会响应于该图像去雾指令，在同一时刻分别利用彩色摄像器和红外摄像器，采集目标场景的彩色图像和红外图像，以使得彩色图像和红外图像中的像素点严格对应。
需要说明的是，本发明实施例中，图像去雾指令是由图像去雾设备判断出当前时刻具有雾霾时所触发的，也就是说，图像去雾设备只有在目标场景具有雾霾的情况下才会开始图像去雾，在目标场景没有雾霾的情况下则不会开始进行图像去雾处理过程，以便于图像去雾设备的去雾功能对不同的场景具有一定的适应能力。
在本发明的一些实施例中，图像去雾设备可以根据天气预警等判断出目标场景具有雾霾，例如，图像去雾设备可以从网络拉取目标场景在当前时间的天气信息，当拉取到的天气信息表征目标场景在当前时间具有雾霾时，触发图像去雾指令，以使得图像去雾设备开始图像去雾。在本发明的另一些实施例中，图像去雾设备可以先采集若干张目标场景的临时图像，然后判断这些临时图像中是否具有雾霾，在具有雾霾时触发图像去雾指令，以使图像去雾设备开始图像去雾。当然，图像去雾设备还能以其他能够达到相同目的的方式触发图像去雾指令，本发明实施例在此不作限定。
可以理解的是，目标场景可以是实际应用中的任意一个场景，例如，包含有用户的人脸的场景，以使图像去雾设备可以利用人脸验证用户的身份，又例如，包含有特定建筑物或者特定场地的场景，以使图像去雾设备可以对该场景进行安全监控等，当然，目标场景还可以是其他场景，本发明实施例在此不作限定。
本发明实施例中，彩色图像的分辨率和红外图像的分辨率应当是相同的。此时，红外摄像器的分辨率和彩色摄像器的分辨率可以相同，即直接利用红外摄像器和彩色摄像器，采集到相同分辨率的彩色图像和红外图像；红外摄像器的分辨率和彩色摄像器的分辨率也可以不同，即通过图像缩放的方式，得到分辨率相同的彩色图像和红外图像。当然，图像去雾设备还可以利用其他方式来获得相同分辨率的彩色图像和红外图像，本发明实施例在此不作限定。
S102、基于彩色图像的每个像素点的像素值，和红外图像的每个像素点的像素值，计算出每个像素点的雾浓度信息；雾浓度信息描述了目标场景的雾浓度的分布情况。
图像去雾设备在得到彩色图像和红外图像之后，会先提取彩色图像的每个像素点的像素值，以及提取红外图像的每个像素点的像素值，然后根据每个像素点的彩色像素值和红外像素值，计算出每个像素点的雾浓度信息，这种，图像去雾设备就可以知晓目标场景的雾浓度的分布情况。
本发明实施例中，图像去雾设备在计算雾浓度信息时，是根据红外光和可见光在透雾情况上的差异来计算的，当雾霾的浓度较小甚至于没有雾霾时，红外光和可见光的透雾程度都比较好，而当雾霾的浓度较大时，红外光的透雾程度较好，红外摄像器所捕获的红外图像的亮度较高，可见光的透雾程度较差，特别是波长较短的蓝光，使得彩色摄像器获得的图像在蓝光通道上的亮度必然较低。而红外图像的像素值中包含着红外通道的亮度信息，彩色图像的像素值中包含中蓝光通道的像素信息，基于此，图像去雾设备只要在得到彩色图像的每个像素点的像素值，和红外图像的每个像素点的像素值，就可以分析出每个像素点的雾浓度信息了。
更进一步的，在本发明的一些实施例中，图像去雾设备可以从彩色图像的每个像素点的像素值中，获取到每个像素点的蓝光通道的亮度信息，从红外图像的每个像素的像素值中，得到每个像素点的红外通道的亮度信息，然后基于蓝光通道的亮度信息和红外通道的亮度信息，得到每个像素点的雾浓度的分布情况。
可以理解的是，在目标场景中，雾霾的分布可能是不均匀的，因而，为了能够准确的对目标场景的中的雾霾的分布进行描述，本发明实施例中所计算出的雾浓度信息，不是针对目标场景全局的，而是与所获取到的目标场景的图像的每个像素点一一对应的。换句话说，在目标场景的图像中具有多少个像素点，就会有多少个雾浓度信息。
S103、根据雾浓度信息，生成每个像素点的图像融合因子；图像融合因子用于控制彩色图像和红外图像的融合程度。
图像去雾设备根据计算出的每个像素点的雾浓度信息，生成每个像素点的图像融合因子，以用图像融合因子来控制彩色图像和红外图像的融合，实现用红外图像中的信息来补全彩色图像中因为雾霾而丢失的信息。由于雾霾的分布是不均匀的，在彩色图像中，每个像素点丢失信息的程度并不相同，因而，图像去雾设备为每个像素点生成图像融合因子，以实现在雾霾浓度较低的区域更多的使用彩色图像的信息，在浓雾区域更多的使用红外图像的信息。
在本发明的一些实施例中，图像去雾设备可以直接生成图像融合因子，也可以在生成图像融合因子之后，对图像融合因子进行优化，得到优化后的图像融合因子，本发明实施例在此不作限定。
S104、按照图像融合因子，将彩色图像和红外图像进行融合，得到去雾图像。
图像去雾设备在生成图像融合因子之后，就可以结合每个像素点的图像融合因子，为彩色图像每个像素值和红外图像的每个像素值分配融合权重，之后，图像去雾设备将彩色图像的每个像素点的像素值，和红外图像的每个像素点的像素值融合在一起，最终所得到的图像就是去雾图像，如此，图像去雾设备就完成了基于人工智能的图像去雾过程。
需要说明的是，本发明实施例中，图像去雾设备是将彩色图像映射到亮度色度空间之后，再与红外图像进行融合，并将融合完成的图像再反向映射回三基色空间，即RGB空间，得到去雾图像。
示例性的，本发明实施例提供了图像去雾的过程示意，参见图4(a)，为本发明实施例提供的去雾前的彩色图像的示意图，从中可以看出，由于图像中的雾霾效果，使得该图像的整体较为朦胧，图像质量不高。图像去雾设备根据该彩色图像的每个像素点的像素值，以及与该彩色图像在同一时刻被获取到的红外图像的每个像素点的像素值，计算出每个像素点的雾浓度信息，然后基于雾浓度信息生成每个像素点的图像融合因子，最后再按照图像融合因子，将彩色图像和红外图像融合，得到去雾图像。图4(b)是本发明实施例提供的去雾图像的示意图，对比图4(a)和图4(b)，可以看出去雾图像的图像效果更清晰，质量更高。
本发明实施例中，图像去雾设备当接收到图像去雾指令时，响应于图像去雾指令，采集同一时刻的目标场景对应的彩色图像和红外图像，之后基于彩色图像的每个像素点的像素值，和红外图像每个像素点的像素值，计算出每个像素点的雾浓度信息，接着，图像去雾设备根据雾浓度信息生成每个像素点的图像融合因子，最后按照图像融合因子，将彩色图像和红外图像进行融合，得到去雾图像。如此，图像去雾设备能够利用图像融合因子，控制彩色图像和红外图像的融合程度，使得在雾霾浓度较高时，更多的利用红外图像中的信息，来补全彩色图像中由于雾霾而缺失的信息，提高去雾图像的质量，进而提高了图像去雾的效果。
在本发明的一些实施例中，基于彩色图像的每个像素点的像素值，和红外图像的每个像素点的像素值，计算出每个像素点的雾浓度信息，即S102的具体实现过程，可以包括：S1021-S1022，如下：
S1021、从彩色图像的每个像素点的像素值中，提取出每个像素点的蓝光亮度值，并将红外图像的每个像素点的像素值，作为每个像素点的红外亮度值。
由于在可见光中，蓝光的波长是最短的，最容易受到雾霾的影响，即蓝光的透射度会随着雾霾浓度剧烈变化，因此，为了能够将红外光和可见光在透雾情况上的差异更为显著，图像去雾设备可以只对可见光中的蓝光通道的亮度进行提取。此时，图像去雾设备会逐个读取彩色图像的每个像素点的像素值，并从中提取出每个像素点的蓝光通道的像素值，作为蓝光亮度值，同时，图像去雾设备将红外图像的每个像素点的像素值，直接作为每个像素点的红外亮度值，以便于后续根据蓝光亮度之和红外亮度值计算雾浓度信息。
示例性的，若彩色图像的某个像素点的像素值为(0，125，255)，此时，图像去雾设备会将蓝光通道的像素值255提取出来，作为该像素点的蓝光亮度值。
S1022、基于蓝光亮度值和红外亮度值之间的差异，计算出每个像素点的雾浓度信息。
图像去雾设备在得到每个像素点的蓝光亮度值和红外亮度值之后，会先针对每个像素点，计算出蓝光亮度值和红外亮度值之间的差异，然后再根据所计算出的差异，计算出每个像素的雾浓度信息。
在本发明的一些实施例中，图像去雾设备可以直接将每个像素点的蓝光亮度值和红外亮度值做差，将差值结果直接作为每个像素点的差异，还可以继续对差值结果进行其他处理，例如比例运算等，将最终的运算结果作为每个像素点的差异。具体的计算蓝光亮度值和红外亮度值的差异的方式，可以根据实际情况进行设定，本发明实施例在此不作限定。
本发明实施例中，图像去雾设备能够先从彩色图像的像素值中，提取出蓝光亮度值，并将红外图像的像素值直接作为红外亮度值，以得到每个像素点的蓝光亮度值和红外亮度值，接着，图像去雾设备基于每个像素点蓝光亮度值和红外亮度值的差异，计算出每个像素点的雾浓度信息。如此，图像去雾设备就可以得到每个像素点的物浓度信息，进而了解目标场景的雾浓度的分布情况。
参见图5，图5是本发明实施例提供的基于人工智能的图像去雾方法的一个可选的流程示意图二。在本发明的一些实施例中，基于蓝光亮度值和红外亮度值之间的差异，计算出每个像素点的雾浓度信息，即S1022的具体实现过程，可以包括：S1022a-S1022c，如下：
S1022a、对蓝光亮度值和红外亮度值进行差值计算，得到每个像素点的差值结果。
图像去雾设备在计算雾浓度信息时，是先用蓝光亮度值减去红外亮度值，得到每个像素点的临时差值，再对该临时差值求绝对值，得到非负的差值结果，以便于能够更直观的通过数值大小，就可以清楚的了解可见光与红外光在透雾情况下的差异。
示例性的，假如每个像素点的蓝光亮度值用Iblue(x,y)表示，每个像素点的红外亮度值用Inir(x,y)表示，此时，每个像素点的非负的差值结果就可以表示为|Iblue(x,y)-Inir(x,y)|，其中，(x,y)为像素点的坐标。
S1022b、从每个像素点的差值结果中，提取出最大的差值结果作为雾浓度信息计算因子。
图像去雾设备在得到每个像素点的差值结果之后，还会将所有像素点的差值结果进行比较，从中确定出最大的一个差值结果，并将这个最大的差值结果提取出来，作为雾浓度信息计算因子。
示例性的，当每个像素点的差值结果为|Iblue(x,y)-Inir(x,y)|时，雾浓度信息计算因子则可以表示为
Figure BDA0002375898260000131
(x,y)为像素点的坐标，S为所有像素点所组成的集合。
S1022c、用每个像素点的差值结果，与雾浓度信息计算因子相比，得到每个像素点的雾浓度信息。
图像去雾设备将每个像素点的非负的差值结果作为被除数，将雾浓度信息计算因子作为除数，针对每个像素点计算出差值结果与雾浓度信息计算因子的比值，该比值即是雾浓度信息。
示例性的，本发明实施例提供了一种计算每个像素点的雾浓度信息的公式，参见式(1)：
Figure BDA0002375898260000141
其中，Iblue(x,y)为蓝光亮度值，Inir(x,y)为红外亮度值，(x,y)为像素点的坐标，S为所有像素点所组成的集合，dN-B(x,y)为雾浓度信息。图像去雾设备在得知蓝光亮度值Iblue(x,y)、红外亮度值Inir(x,y)的具体数值之后，就可以针对每个像素点计算出雾浓度信息dN-B(x,y)的具体数值。
本发明实施例中，图像去雾设备能够先计算每个像素点的蓝光亮度值和红外亮度值的差值结果，然后从每个像素点的差值结果中，提取出最大的差值结果作为雾浓度信息计算因子，最后用每个像素点的差值结果与雾浓度信息计算因子相比，最终得到的比值即是雾浓度信息。如此，图像去雾设备就可以计算得到雾浓度信息，进而了解目标场景的雾浓度的分布情况。
在本发明的一些实施例中，在基于彩色图像每个像素点的像素值，和红外图像每个像素点的像素值，计算出每个像素点的雾浓度信息之后，根据雾浓度信息，生成每个像素点的图像融合因子之前，即在S102之后，S103之前，该方法还可以包括：S105-S106，如下：
S105、根据彩色图像的每个像素点的像素值，计算出每个像素点的暗通道值。
图像去雾设备在计算出每个像素点的雾浓度信息之后，还可以针对每个像素点计算出暗通道值，用计算出的暗通道值来对雾浓度信息进行优化。暗通道值是指在非天空的区域里，某些像素会有至少一个颜色通道具有很低的值，而当场景中具有雾霾时，会使得可见光的透射率减小，进而使得彩色图像所捕获的图像的整体亮度增大，暗通道值会增大。因此，图像去雾设备可以根据暗通道值，来辅助判断目标场景中的雾霾的浓度情况。
S106、将雾浓度信息和暗通道值进行比较，得到比较结果，并根据比较结果为每个像素点生成优化后的雾浓度信息。
图像去雾设备将雾浓度信息和暗通道值进行比较，得到针对每个像素点的比结果。当比较结果表征暗通道值比雾浓度信息更小时，图像去雾设备选用暗通道值作为优化后的雾浓度信息，当比较结果表征暗通道值比雾浓度信息大时，图像去雾设备会继续将雾浓度信息作为优化后的物浓度信息，换句话说，图像去雾设备可以从暗通道值和雾浓度信息中选择出较小的一个作为优化后的雾浓度信息，以实现利用暗通道值对雾浓度信息进行纠正、优化。
示例性的，本发明实施例提供计算优化后的雾浓度信息的公式，如式(2)所示：
Dhaze(x,y)＝min(dN-B(x,y),Jdark(x,y)) (2)
其中，dN-B(x,y)为雾浓度信息，Jdark(x,y)为暗通道值，Dhaze(x,y)为优化后的雾浓度信息，(x,y)为像素点的坐标。图像去雾设备在知晓了雾浓度信息dN-B(x,y)、暗通道值Jdark(x,y)的具体数值之后，就可以将上述参数的数值代入式(2)中，得到优化后的雾浓度信息Dhaze(x,y)的具体数值。
可以理解的是，在得到优化后的雾浓度信息之后，图像去雾设备根据雾浓度信息，生成每个像素点的图像融合因子的过程，就会相应的变为：根据优化后的雾浓度信息，生成每个像素点的图像融合因子。
本发明实施例中，图像去雾设备还可以针对每个像素点计算暗通道值，然后将雾浓度信息和暗通道值进行比较，选出较小的一个作为优化后的雾浓度信息。如此，图像去雾设备能够利用暗通道值对雾浓度信息进行纠正、优化，使所得到的优化后的物浓度信息能够更准确的描述目标场景中的雾霾浓度的分布情况，进而使得后续计算出的图像融合因子更加准确。
在本发明的一些实施例中，根据彩色图像的每个像素点的像素值，计算出每个像素点的暗通道值，即S105的具体实现过程，可以包括：S1051-S1054，如下：
S1051、从彩色图像的每个像素点的像素值中，分别获取到蓝光亮度值、红光亮度值和绿光亮度值。
图像去雾设备针对彩色图像的每个像素点的像素值，读取出蓝光通道的像素值，作为蓝光亮度值，读取出红光通道的像素值，作为红光亮度值，读取出绿光通道的像素值，作为绿光亮度值，以便于后续图像去雾设备根据蓝光亮度值、滤光亮度值和红光亮度值计算出暗通道值。
S1052、从蓝光亮度值、红光亮度值和绿光亮度值中，选择出最小的亮度值作为每个像素点的候选亮度值。
图像去雾设备将每个像素点的蓝光亮度值、红光亮度值和绿光亮度值进行大小比较，从这三个通道的亮度值中选择出最小的一个亮度值，作为每个像素点的候选亮度值，以便于后续从候选亮度值中确定出暗通道值。
示例性的，当每个像素点的每个通道的亮度值用JC(x,y)来表示时，则每个像素点的候选亮度值可以表示为
Figure BDA0002375898260000161
S1053、针对每个像素点，将处于预设像素范围内的所有像素点确定为邻域像素点。
图像去雾设备以某个像素点作为中心，将预设像素范围内的所有像素点，都确定为该像素点的邻域像素点。图像去雾设备为每个像素点都进行这种操作，就可以得到每个像素点所对应的邻域像素点。
需要说明的是，本发明实施例中，预设像素范围是可以根据实际情况进行设定的，例如，可以将预设像素范围设置为2×2，表示将每个像素点的上下左右4个像素点作为邻域像素点，还可以将预设像素范围设置为3×3，表示每个像素点的周围8个作为邻域像素点，本发明实施例在此不作限定。
S1054、从邻域像素点的候选亮度值中，选择出最小的候选亮度值，作为每个像素点的暗通道值。
由于每个邻域像素点都会具有其对应的候选亮度值，因而，图像去雾设备针对每个像素点，从所对应的邻域像素点的候选亮度值中，将最小的一个候选亮度值选择出来，作为每个像素点的暗通道值。
示例性的，本发明实施例提供了计算暗通道值的公式，如式(3)所示：
Figure BDA0002375898260000162
其中，JC(x,y)为每个像素点的每个通道的亮度值，
Figure BDA0002375898260000171
每个像素点的候选亮度值，W为以每个像素点和预设像素范围所确定出的窗口，Jdark(x,y)为暗通道值。图像去雾设备在得知上述参数的具体数值之后，就可以将上述参数的具体数值代入至式(3)中，计算出每个像素点的暗通道值。
本发明实施例中，图像去雾设备能够先获取彩色图像每个像素点的蓝光亮度值、红光亮度值和绿光亮度值，并从这三个通道的亮度值中选择出最小的一个亮度值作为候选亮度值，之后，再为每个像素点确定出邻域像素点，并从邻域像素点对应的候选亮度值中，选择出最小的一个候选亮度值，作为每个像素点的暗通道值。如此，图像去雾设备就能够完成针对每个像素点计算出暗通道值的过程，以便于后续利用暗通道值对雾浓度信息进行优化。
在本发明的一些实施例中，根据雾浓度信息，生成每个像素点的图像融合因子，即S103的具体实现过程，可以包括：S1031-S1032，如下：
S1031、从雾浓度信息中，选择出最大雾浓度信息。
S1032、将雾浓度信息与最大雾浓度信息相比，得到每个像素点的图像融合因子。
图像去雾设备先对每个像素点的雾浓度信息进行大小比较，从中选择出最大的一个雾浓度信息，记为最大雾浓度信息。之后，图像去雾设备将每个像素点的雾浓度信息，都和所选择出的最大雾浓度信息相比，所得到的比值结果即是每个像素点的图像融合因子。
需要说明的是，图像去雾设备将红外图像和彩色图像进行融合时，是利用红外图像中的信息将彩色图像中的亮度信息补足，而不是将红外图像的亮度和彩色图像简单叠加，因而，图像融合因子应当是小于等于1的，利用雾浓度信息与最大雾浓度信息相比，即可达到这个目的。
示例性的，本发明实施例提供了计算图像融合因子的计算公式，参见式(4)：
Figure BDA0002375898260000172
其中，dN-B(x,y)为雾浓度信息，
Figure BDA0002375898260000181
为最大雾浓度信息，w(x,y)为图像融合因子，S为所有像素点所组成的集合。图像去雾设备在获知了雾浓度信息和最大雾浓度信息的具体数值之后，就可以将这些具体数值代入到式(4)中，计算出图像融合因子的具体数值。
本发明实施例中，图像去雾设备可以先从雾浓度信息中，选择出最大雾浓度信息，然后将雾浓度信息与最大雾浓度信息相比，将比值结果作为图像融合因子。如此，图像去雾设备就能够得到图像融合因子，进而在后续利用图像融合因子控制红外图像和彩色图像的融合。
参见图6，图6是本发明实施例提供的基于人工智能的图像去雾方法的一个可选的流程示意图三。在本发明的一些实施例中，按照图像融合因子，将彩色图像和红外图像进行融合，得到去雾图像，即S104的具体实现过程，可以包括：S1041-S1044，如下：
S1041、将彩色图像从三基色空间映射到亮度色度空间，得到每个像素点的映射亮度信息和映射色度信息。
图像去雾设备在对红外图像和彩色图像进行融合时，先要将彩色图像从三基色空间映射到亮度色度空间，即将彩色图像从RGB空间映射到YUV空间，得到每个像素点的映射亮度信息，即Y通道的信息，和映射色度信息，即U通道、V通道的信息。
可以理解的是，图像去雾设备将彩色图像映射到亮度色度空间时，可以依据Y＝0.3R+0.59G+0.11B，U＝0.493(B-Y)和V＝0.877(R-Y)，来分别计算出每个像素的映射亮度信息和映射色度信息。
S1042、利用图像融合因子和红外亮度值，计算出每个像素点的第一亮度结果，以及利用图像融合因子和映射亮度信息，计算出每个像素点的第二亮度结果。
图像去雾设备在得到映射亮度信息和映射色度信息之后，主要是利用映射亮度信息来进行红外图像和彩色图像的融合过程。具体的，图像去雾设备先用图像融合因子和红外亮度值，计算出每个像素点的第一亮度结果，即需要从红外图像中所弥补的亮度信息，然后在利用图像融合因子和映射亮度信息，计算出每个像素点的第二亮度结果，即需要从彩色图像中提供的亮度信息。
S1043、将第一亮度结果和第二亮度结果进行叠加，得到每个像素点的融合亮度信息。
S1044、将融合亮度信息和映射色度信息反向映射至三基色空间，得到去雾图像。
图像去雾设备在得到第一亮度结果和第二亮度结果之后，就会将第一亮度结果和第二亮度结果叠加在一起，并将最终的叠加结果作为每个像素点的融合亮度信息。之后，图像去雾设备将融合亮度信息与原本的映射色度信息结合，再利用YUV到RGB的反向映射，得到最终的去雾图像。
本发明实施例中，图像去雾设备可以先将彩色图像映射到亮度色度空间，得到每个像素点的映射亮度信息和映射色度信息，然后结合图像融合因子，将红外亮度值和映射亮度信息进行融合，得到每个像素点的融合亮度信息，最后，再用融合亮度信息结合映射色度信息反向映射到彩色空间，得到去雾图像。如此，图像去雾设备可以用红外图像的亮度信息来补全彩色图像的亮度信息，得到质量较好的去雾图像。
基于图3，参见图7，图7是本发明实施例提供的基于人工智能的图像去雾方法的一个可选的流程示意图四。在本发明的一些实施例中，当获取到图像去雾指令时，响应于图像去雾指令，采集同一时刻的目标场景对应的彩色图像和红外图像之前，即S101之前，该方法还可以包括：S107-S109，如下：
S107、当接收到图像采集指令时，采集目标场景的初始彩色图像。
S108、对初始彩色图像进行雾霾检测，得到检测结果。
图像去雾设备在获取到图像去雾指令之前，需要先生成图像去雾指令。图像去雾设备接收到图像采集指令时，会先采集目标场景的初始彩色图像，然后检测初始彩色图像中是否有雾霾，得到检测结果。
可以理解的是，图像采集指令是由用户所触发的指令，表征用户需要开始采集目标场景的图像。示例性的，针对利用包含人脸的目标场景进行身份验证时，图像采集指令可以是用户打开身份验证功能之后所触发的，针对利用包含特定建筑物或特定区域的目标场景以进行安全监控时，图像采集指令可以是用户打开摄像器所触发的。
需要说明的是，图像去雾设备可以利用机器学习，或是深度学习方法来自动检测初始彩色图像中是否有雾霾。例如，图像去雾设备可以用具有雾霾的训练图片训练出一个深度学习模型，在得到初始彩色图像之后，利用该深度学习模型对初始彩色图像进行雾霾检测，深度学习模型所输出的结果即是检测结果。
S109、当检测结果表征初始彩色图像中存在雾霾时，生成图像去雾指令。
当图像去雾设备所得到的检测结果表征彩色图像中存在雾霾时，图像去雾设备就会生成图像去雾指令，以便于后续根据图像去雾指令触发图像去雾功能，得到目标场景的去雾图像。当图像去雾设备所得到的检测结果表征彩色图像中不存在雾霾时，图像去雾设备就不会生成图像去雾指令，此时，图像去雾设备不会进行图像去雾过程之中，而是直接基于初始彩色图像，完成后续例如身份识别、安全监控等功能。
本发明实施例中，当图像去雾设备接收到图像采集指令时，采集目标场景的初始彩色图像，并对初始彩色图像进行雾霾检测，得到检测结果，只有当检测结果表征初始彩色图像中存在雾霾时，图像去雾设备才会生成图像去雾指令，以触发图像去雾功能。如此，图像去雾设备能够根据目标场景的实际情况，来决定是否要进入图像去雾流程中，以使得目标场景在没有雾霾时，不进行图像去雾，节约处理时间。
在本发明的一些实施例中，利用图像融合因子和红外亮度值，计算出每个像素点的第一亮度结果，以及利用图像融合因子和映射亮度信息，计算出每个像素点的第二亮度结果，即S1042的具体实现过程，可以包括：S1042a-S1042b，如下：
S1042a、将图像融合因子和红外亮度值相乘，得到第一亮度结果。
图像去雾设备直接用图像融合因子和红外亮度值相乘，将所得到的乘积作为第一亮度结果。
示例性的，当图像融合因子用w(x,y)表示，红外亮度值用Inir(x,y)表示时，所得到的第一亮度结果可以表示为w(x,y)×Inir(x,y)。
S1042b、将映射亮度信息和图像融合因子相乘，得到乘积结果，并用映射亮度信息与乘积结果做差，得到第二亮度结果。
图像去雾设备先将映射亮度信息和图像融合因子相乘，得到乘积结果，之后，再用映射亮度信息减去乘积结果，所得到的差值即为第二亮度结果。
示例性的，当图像融合因子用w(x,y)表示，映射亮度信息用Ivis(x,y)表示时，第二亮度结果则可以表示为(1-w(x,y))×Ivis(x,y)。
本发明实施例中，图像去雾设备先将图像融合因子与红外亮度值相乘，得到第一亮度结果，然后将以上亮度信息和图像融合因子相乘，得到乘积结果，最后用映射亮度信息与乘积结果做差，得到第二亮度结果。如此，图像去雾设备就能够计算出第一亮度结果和第二亮度结果，以便于后续根据第一亮度结果和第二亮度结果计算出融合亮度信息。
在本发明的一些实施例中，在将雾浓度信息与最大雾浓度信息相比，得到每个像素点的图像融合因子之后，即S1032之后，该方法还可以包括：S1033，如下：
S1033、对图像融合因子进行滤波优化，得到优化后的图像融合因子。
由于在直接利用雾浓度信息与最大雾浓度信息相比，所得到的图像融合因子来进行红外图像和彩色图像的融合时，可能会使得去雾图像中出现光晕、重影等效应，会影响去雾图像的质量。因而，在本发明实施例中，图像去雾设备在得到图像融合因子之后，还可以利用滤波器来对图像融合因子进行滤波优化，得到优化后的图像融合因子，并在后续按照优化后的图像融合因子，将彩色图像和红外图像进行融合，得到去雾图像，完成基于人工智能的图像去雾，以进一步提升去雾图像的质量。
需要说明的是，本发明实施例中，图像去雾设备可以选择导向滤波器来平滑图像融合因子，也可以选择均值滤波器来平滑图像融合因子，还可以选择其他类型的滤波器来平滑图像融合因子，本发明实施例在此不作具体限定。
本发明实施例中，图像去雾设备能够在得到图像融合因子之后，对图像融合因子进行滤波优化，得到优化后的图像融合因子，以使得图像去雾设备后续可以基于优化后的图像融合因子来控制红外图像和彩色图像的融合，得到质量更高的去雾图像。
下面，将说明本发明实施例在一个实际的应用场景中的示例性应用。
本发明实施例是在利用利用人脸进行身份识别的场景下实现的。参见图8，为本发明实施例提供的摄像系统的示意图，该摄像系统(图像去雾设备)中包括红外光成像系统8-1和可见光成像系统8-2。具体的，红外光成像系统8-1采集人脸的红外光人脸图片8-3(红外图像)，与此同时，可见光成像系统8-2采集人脸的可见光人脸图片8-4(彩色图像)，然后将红外光人脸图片8-3和可见光人脸图片8-4共同送入去雾系统8-5中，得到人脸的无雾图片8-6(去雾图像)。
由于红外线波长大于所有可见光，可以透雾成像，当景深、雾浓度改变时，透射度变化不大，而可见光的蓝光、红光、绿光中，蓝光的波长是最短的，蓝光的透射度会随着景深和雾浓度的变化而剧烈改变。因此，分析红外通道和蓝光通道的亮度差异，可以得到雾浓度信息。具体的，摄像系统可以根据式(1)来计算红外通道和蓝光通道的亮度差异，在本发明实施例中，将式(1)所得到的结果即为亮度差异因子(雾浓度信息)。
进一步的，由于在非天空的局部区域里，某些像素点总会有至少一个颜色通道具有很低的值，因而，摄像系统还可以计算暗通道的值(暗通道值)，来表征雾的浓度。在本发明实施例中，摄像系统可以根据式(3)来计算暗通道的值。
之后，摄像系统从某一个像素点的亮度差异因子和暗通道的值中，选择出较小的一个作为该像素点的大气雾颗粒分布(优化后的雾浓度信息)，即通过式(2)得到每个像素点的大气雾颗粒分布，进而得到大气雾颗粒分布图。
由于红外光人脸图片8-3能清晰反映雾区景物信息，但也存在噪声多、对比度低、细节不丰富等问题，摄像系统利用不恰当的降噪方法，会让这些固有缺陷去降低最终的图像质量。相比于红外光人脸图片8-3，可见光人脸图片8-4拥有更好的清晰度，降噪时不应因加入红外信息使的可见光信息退化。基于此，摄像系统可以将红外光人脸图片8-3和可见光人脸图片8-4进行融合，在雾浓度较大的区域更多使用红外信息，在雾浓度较小的区域更多考虑可见光信息，即由雾的浓度决定红外信息和可见光信息的利用程度。
此时，摄像系统可以根据式(5)来计算出融合加权因子(图像融合因子)，如下：
Figure BDA0002375898260000231
其中，Dhaze(x,y)为大气雾颗粒分布，w(x,y)为融合加权因子。
进一步的，直接利用融合加权因子到导致光晕、重影等人工效应，此时，摄像系统利用导向滤波来平滑融合加权因子(滤波优化图像融合因子)，以抑制人工效应，提高图像质量。
摄像系统在求得融合加权因子，并对其进行滤波优化之后，就可以根据式(6)来建立融合规则，以得到无雾图片8-6：
I(x,y)＝w(x,y)×Inir(x,y)+(1-w(x,y))×Ivis(x,y) (6)
其中，w(x,y)为融合加权因子，Inir(x,y)为红外光人脸图片8-3的亮度(红外亮度值)，Ivis(x,y)为可见光人脸图片8-4的亮度(映射亮度信息)，I(x,y)为无雾图片8-6。
由于可见光人脸图片8-4包含有亮度、色度(映射色度信息)信息，而红外光人脸图片8-3无色度信息，摄像系统在图像融合之前应分离可见光人脸图片8-4的亮度、色度信息，提取亮度信息，即摄像系统将可见光人脸图片8-4从RGB空间投影到YUV空间，将亮度信息与红外光人脸图片8-3的亮度叠加，得到新的亮度分量(融合亮度信息)，再结合之前的色度信息映射回RGB空间，得到人脸的去雾图片8-6。
通过上述方式，摄像系统能够利用融合加权因子来控制红外光人脸图片8-3和可见光人脸图片8-4的融合，使得在雾浓度大时用红外光的亮度信息补全可见光的亮度信息，提高了去雾图片8-6的质量。
下面继续说明本发明实施例提供的图像去雾装置455的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器450的图像去雾装置455中的软件模块可以包括：
采集模块4551，用于当获取到图像去雾指令时，响应于所述图像去雾指令，采集同一时刻目标场景对应的彩色图像和红外图像；其中，所述图像去雾指令是在所述目标场景具有雾霾的情况下触发的；
雾浓度确定模块4552，用于基于所述彩色图像的每个像素点的像素值，和所述红外图像的每个像素点的像素值，计算出所述每个像素点的雾浓度信息；所述雾浓度信息描述了所述目标场景的雾浓度的分布情况；
生成模块4553，用于根据所述雾浓度信息，生成所述每个像素点的图像融合因子；所述图像融合因子用于控制所述彩色图像和所述红外图像的融合程度；
融合模块4554，用于按照图像融合因子，将所述彩色图像和所述红外图像进行融合，得到去雾图像。
在本发明的一些实施例中，所述雾浓度确定模块4552，具体用于从所述彩色图像的每个像素点的像素值中，提取出所述每个像素点的蓝光亮度值，并将所述红外图像的所述每个像素点的像素值，作为所述每个像素点的红外亮度值；基于所述蓝光亮度值和所述红外亮度值之间的差异，计算出所述每个像素点的雾浓度信息。
在本发明的一些实施例中，所述雾浓度确定模块4552，具体用于对所述蓝光亮度值和所述红外亮度值进行差值计算，得到所述每个像素点的差值结果；从所述每个像素点的差值结果中，提取出最大的差值结果作为雾浓度信息计算因子；用所述每个像素点的差值结果，与所述雾浓度信息计算因子相比，得到所述每个像素点的雾浓度信息。
在本发明的一些实施例中，所述雾浓度确定模块4552，还用于根据所述彩色图像的每个像素点的像素值，计算出所述每个像素点的暗通道值；将所述雾浓度信息和所述暗通道值进行比较，得到比较结果，并根据所述比较结果为所述每个像素点生成优化后的雾浓度信息；
相应的，所述生成模块4553，还用于根据所述优化后的雾浓度信息，生成所述每个像素点的所述图像融合因子。
在本发明的一些实施例中，所述雾浓度确定模块4552，具体还用于从所述彩色图像的每个像素点的像素值中，分别获取到蓝光亮度值、红光亮度值和绿光亮度值；从所述蓝光亮度值、所述红光亮度值和所述绿光亮度值中，选择出最小的亮度值作为所述每个像素点的候选亮度值；针对所述每个像素点，将处于预设像素范围内的所有像素点确定为邻域像素点；从所述邻域像素点的候选亮度值中，选择出最小的候选亮度值，作为所述每个像素点的所述暗通道值。
在本发明的一些实施例中，所述生成模块4553，具体用于从所述雾浓度信息中，选择出最大雾浓度信息；将所述雾浓度信息与所述最大雾浓度信息相比，得到所述每个像素点的图像融合因子。
在本发明的一些实施例中，所述融合模块4554，具体用于将所述彩色图像从三基色空间映射到亮度色度空间，得到所述每个像素点的映射亮度信息和映射色度信息；利用所述图像融合因子和红外亮度值，计算出所述每个像素点的第一亮度结果，以及利用所述图像融合因子和所述映射亮度信息，计算出所述每个像素点的第二亮度结果；将所述第一亮度结果和所述第二亮度结果进行叠加，得到所述每个像素点的融合亮度信息；将所述融合亮度信息和所述映射色度信息反向映射至所述三基色空间，得到所述去雾图像。
在本发明的一些实施例中，所述图像去雾装置455还包括：指令生成模块4555；
所述指令生成模块4555，用于当接收到图像采集指令时，采集所述目标场景的初始彩色图像；对所述初始彩色图像进行雾霾检测，得到检测结果；当所述检测结果表征所述初始彩色图像中存在雾霾时，生成所述图像去雾指令。
在本发明的一些实施例中，所述融合模块4554，具体用于将所述图像融合因子和所述红外亮度值相乘，得到所述第一亮度结果；将所述映射亮度信息和所述图像融合因子相乘，得到乘积结果，并用所述映射亮度信息与所述乘积结果做差，得到所述第二亮度结果。
在本发明的一些实施例中，所述生成模块4553，还用于对所述图像融合因子进行滤波优化，得到优化后的图像融合因子；
相应的，所述融合模块4554，还用于按照所述优化后的图像融合因子，将所述彩色图像和所述红外图像进行融合，得到去雾图像，完成基于人工智能的图像去雾。
本发明实施例提供一种存储有可执行指令的存储介质，其中存储有可执行图像去雾指令，当可执行图像去雾指令被处理器执行时，将引起处理器执行本发明实施例提供的基于人工智能的图像去雾方法，例如，如图3、图5、图6和图7示出的方法。
在一些实施例中，存储介质可以是FRAM、ROM、PROM、EPROM、EE PROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行图像去雾指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(H TML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。

Claims (13)

1.一种基于人工智能的图像去雾方法，其特征在于，包括：
当获取到图像去雾指令时，响应于所述图像去雾指令，采集同一时刻的目标场景对应的彩色图像和红外图像；其中，所述图像去雾指令是在所述目标场景具有雾霾的情况下触发的；
基于所述彩色图像的每个像素点的像素值，和所述红外图像的每个像素点的像素值，计算出所述每个像素点的雾浓度信息；所述雾浓度信息描述了所述目标场景的雾浓度的分布情况；
根据所述雾浓度信息，生成所述每个像素点的图像融合因子；所述图像融合因子用于控制所述彩色图像和所述红外图像的融合程度；
按照所述图像融合因子，将所述彩色图像和所述红外图像进行融合，得到去雾图像。
2.根据权利要求1所述的方法，其特征在于，所述基于所述彩色图像的每个像素点的像素值，和所述红外图像的每个像素点的像素值，计算出所述每个像素点的雾浓度信息，包括：
从所述彩色图像的每个像素点的像素值中，提取出所述每个像素点的蓝光亮度值，并将所述红外图像的所述每个像素点的像素值，作为所述每个像素点的红外亮度值；
基于所述蓝光亮度值和所述红外亮度值之间的差异，计算出所述每个像素点的雾浓度信息。
3.根据权利要求2所述的方法，其特征在于，所述基于所述蓝光亮度值和所述红外亮度值之间的差异，计算出所述每个像素点的雾浓度信息，包括：
对所述蓝光亮度值和所述红外亮度值进行差值计算，得到所述每个像素点的差值结果；
从所述每个像素点的差值结果中，提取出最大的差值结果作为雾浓度信息计算因子；
用所述每个像素点的差值结果，与所述雾浓度信息计算因子相比，得到所述每个像素点的雾浓度信息。
4.根据权利要求1所述的方法，其特征在于，在所述基于所述彩色图像每个像素点的像素值，和所述红外图像每个像素点的像素值，计算出所述每个像素点的雾浓度信息之后，所述根据所述雾浓度信息，生成所述每个像素点的图像融合因子之前，所述方法还包括：
根据所述彩色图像的每个像素点的像素值，计算出所述每个像素点的暗通道值；
将所述雾浓度信息和所述暗通道值进行比较，得到比较结果，并根据所述比较结果为所述每个像素点生成优化后的雾浓度信息；
相应的，所述根据所述雾浓度信息，生成所述每个像素点的图像融合因子，包括：
根据所述优化后的雾浓度信息，生成所述每个像素点的所述图像融合因子。
5.根据权利要求4所述的方法，其特征在于，所述根据所述彩色图像的每个像素点的像素值，计算出所述每个像素点的暗通道值，包括：
从所述彩色图像的每个像素点的像素值中，分别获取到蓝光亮度值、红光亮度值和绿光亮度值；
从所述蓝光亮度值、所述红光亮度值和所述绿光亮度值中，选择出最小的亮度值作为所述每个像素点的候选亮度值；
针对所述每个像素点，将处于预设像素范围内的所有像素点确定为邻域像素点；
从所述邻域像素点的候选亮度值中，选择出最小的候选亮度值，作为所述每个像素点的所述暗通道值。
6.根据权利要求1所述的方法，其特征在于，所述根据所述雾浓度信息，生成所述每个像素点的图像融合因子，包括：
从所述雾浓度信息中，选择出最大雾浓度信息；
将所述雾浓度信息与所述最大雾浓度信息相比，得到所述每个像素点的图像融合因子。
7.根据权利要求1所述的方法，其特征在于，所述按照图像融合因子，将所述彩色图像和所述红外图像进行融合，得到去雾图像，包括：
将所述彩色图像从三基色空间映射到亮度色度空间，得到所述每个像素点的映射亮度信息和映射色度信息；
利用所述图像融合因子和红外亮度值，计算出所述每个像素点的第一亮度结果，以及利用所述图像融合因子和所述映射亮度信息，计算出所述每个像素点的第二亮度结果；
将所述第一亮度结果和所述第二亮度结果进行叠加，得到所述每个像素点的融合亮度信息；
将所述融合亮度信息和所述映射色度信息反向映射至所述三基色空间，得到所述去雾图像。
8.根据权利要求1至7任一项所述的方法，其特征在于，在所述当获取到图像去雾指令时，响应于所述图像去雾指令，采集同一时刻的目标场景对应的彩色图像和红外图像之前，所述方法还包括：
当接收到图像采集指令时，采集所述目标场景的初始彩色图像；
对所述初始彩色图像进行雾霾检测，得到检测结果；
当所述检测结果表征所述初始彩色图像中存在雾霾时，生成所述图像去雾指令。
9.根据权利要求7所述的方法，其特征在于，所述利用所述图像融合因子和红外亮度值，计算出所述每个像素点的第一亮度结果，以及利用所述图像融合因子和所述映射亮度信息，计算出所述每个像素点的第二亮度结果，包括：
将所述图像融合因子和所述红外亮度值相乘，得到所述第一亮度结果；
将所述映射亮度信息和所述图像融合因子相乘，得到乘积结果，并用所述映射亮度信息与所述乘积结果做差，得到所述第二亮度结果。
10.根据权利要求6所述的方法，其特征在于，在所述将所述雾浓度信息与所述最大雾浓度信息相比，得到所述每个像素点的图像融合因子之后，所述方法还包括：
对所述图像融合因子进行滤波优化，得到优化后的图像融合因子；
相应的，所述按照图像融合因子，将所述彩色图像和所述红外图像进行融合，得到去雾图像，完成基于人工智能的图像去雾，包括：
按照所述优化后的图像融合因子，将所述彩色图像和所述红外图像进行融合，得到去雾图像，完成基于人工智能的图像去雾。
11.一种图像去雾装置，其特征在于，包括：
采集模块，用于当获取到图像去雾指令时，响应于所述图像去雾指令，采集同一时刻的目标场景对应的彩色图像和红外图像；其中，所述图像去雾指令是在所述目标场景具有雾霾的情况下触发的；
雾浓度确定模块，用于基于所述彩色图像的每个像素点的像素值，和所述红外图像的每个像素点的像素值，计算出所述每个像素点的雾浓度信息；所述雾浓度信息描述了所述目标场景的雾浓度的分布情况；
生成模块，用于根据所述雾浓度信息，生成所述每个像素点的图像融合因子；所述图像融合因子用于控制所述彩色图像和所述红外图像的融合程度；
融合模块，用于按照图像融合因子，将所述彩色图像和所述红外图像进行融合，得到去雾图像。
12.一种图像去雾设备，其特征在于，包括：
存储器，用于存储可执行图像去雾指令；
处理器，用于执行所述存储器中存储的可执行图像去雾指令时，实现权利要求1-10任一项所述的方法。
13.一种存储介质，其特征在于，存储有可执行图像去雾指令，用于引起处理器执行时，实现权利要求1-10任一项所述的方法。
CN202010065664.1A 2020-01-20 2020-01-20 基于人工智能的图像去雾方法、装置、设备及存储介质 Pending CN111275645A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010065664.1A CN111275645A (zh) 2020-01-20 2020-01-20 基于人工智能的图像去雾方法、装置、设备及存储介质
PCT/CN2020/124026 WO2021147418A1 (zh) 2020-01-20 2020-10-27 一种图像去雾方法、装置、设备及计算机存储介质
US17/577,857 US11861810B2 (en) 2020-01-20 2022-01-18 Image dehazing method, apparatus, and device, and computer storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010065664.1A CN111275645A (zh) 2020-01-20 2020-01-20 基于人工智能的图像去雾方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111275645A true CN111275645A (zh) 2020-06-12

Family

ID=71001129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010065664.1A Pending CN111275645A (zh) 2020-01-20 2020-01-20 基于人工智能的图像去雾方法、装置、设备及存储介质

Country Status (3)

Country Link
US (1) US11861810B2 (zh)
CN (1) CN111275645A (zh)
WO (1) WO2021147418A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991246A (zh) * 2021-02-05 2021-06-18 中国科学院信息工程研究所 一种可见光与红外视频图像融合方法及装置
WO2021147418A1 (zh) * 2020-01-20 2021-07-29 腾讯科技（深圳）有限公司 一种图像去雾方法、装置、设备及计算机存储介质
CN113340777A (zh) * 2021-05-31 2021-09-03 西安电子科技大学 一种监测电磁环境下雾霾演变的模拟系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902660A (zh) * 2021-09-23 2022-01-07 Oppo广东移动通信有限公司 图像处理方法及装置、电子设备、存储介质
CN115147675A (zh) * 2022-06-16 2022-10-04 中国第一汽车股份有限公司 显示方法、装置及电子后视镜系统
CN117350919A (zh) * 2022-06-28 2024-01-05 中兴通讯股份有限公司 图像融合方法、装置及存储介质
CN116612043B (zh) * 2023-06-02 2024-04-02 萱闱(北京)生物科技有限公司 一种图像处理方法、装置、设备和存储介质
CN116630220B (zh) * 2023-07-25 2023-11-21 江苏美克医学技术有限公司 一种荧光图像景深融合成像方法、装置及存储介质
CN118657673A (zh) * 2024-08-21 2024-09-17 中国人民解放军国防科技大学 基于多曝光融合的极端环境烟雾抑制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107895357A (zh) * 2017-12-25 2018-04-10 北京航空航天大学 一种基于fpga的实时水面浓雾场景图像增强方法
CN108921803A (zh) * 2018-06-29 2018-11-30 华中科技大学 一种基于毫米波与可见光图像融合的去雾方法
EP3440627A1 (en) * 2016-04-07 2019-02-13 Carmel Haifa University Economic Corporation Ltd. Image dehazing and restoration
CN110163804A (zh) * 2018-06-05 2019-08-23 腾讯科技（深圳）有限公司 图像去雾方法、装置、计算机设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065282A (zh) 2012-12-27 2013-04-24 浙江大学 一种基于稀疏线性系统的图像融合方法
CN106488201B (zh) * 2015-08-28 2020-05-01 杭州海康威视数字技术股份有限公司 一种图像信号的处理方法和系统
CN109308691A (zh) * 2017-07-28 2019-02-05 南京理工大学 基于图像增强与nsct的红外和可见光图像融合方法
CN107680054B (zh) * 2017-09-26 2021-05-18 长春理工大学 雾霾环境下多源图像融合方法
CN108109129A (zh) * 2017-12-15 2018-06-01 四川大学 一种基于近红外的快速图像去雾方法
CN109934781B (zh) * 2019-02-27 2020-10-23 合刃科技（深圳）有限公司 图像处理方法、装置、终端设备及计算机可读存储介质
CN111275645A (zh) * 2020-01-20 2020-06-12 腾讯科技（深圳）有限公司 基于人工智能的图像去雾方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3440627A1 (en) * 2016-04-07 2019-02-13 Carmel Haifa University Economic Corporation Ltd. Image dehazing and restoration
CN107895357A (zh) * 2017-12-25 2018-04-10 北京航空航天大学 一种基于fpga的实时水面浓雾场景图像增强方法
CN110163804A (zh) * 2018-06-05 2019-08-23 腾讯科技（深圳）有限公司 图像去雾方法、装置、计算机设备和存储介质
CN108921803A (zh) * 2018-06-29 2018-11-30 华中科技大学 一种基于毫米波与可见光图像融合的去雾方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHANGJINGYUN等: "real-time defog model based on visible and near-infrared information", 《ICMEW》 *
程鹏;兰时勇;李晓峰;李新胜;: "基于近红外的图像去雾方法", 四川大学学报(工程科学版), no. 2 *
韩松臣;黄畅昕;李炜;程鹏;: "一种改进的基于近红外图像的去雾方法", 工程科学与技术, no. 02 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021147418A1 (zh) * 2020-01-20 2021-07-29 腾讯科技（深圳）有限公司 一种图像去雾方法、装置、设备及计算机存储介质
US11861810B2 (en) 2020-01-20 2024-01-02 Tencent Technology (Shenzhen) Company Limited Image dehazing method, apparatus, and device, and computer storage medium
CN112991246A (zh) * 2021-02-05 2021-06-18 中国科学院信息工程研究所 一种可见光与红外视频图像融合方法及装置
CN113340777A (zh) * 2021-05-31 2021-09-03 西安电子科技大学 一种监测电磁环境下雾霾演变的模拟系统

Also Published As

Publication number Publication date
US20220138912A1 (en) 2022-05-05
WO2021147418A1 (zh) 2021-07-29
US11861810B2 (en) 2024-01-02

Similar Documents

Publication Publication Date Title
CN111275645A (zh) 基于人工智能的图像去雾方法、装置、设备及存储介质
CN111161205B (zh) 一种图像处理和人脸图像识别方法、装置及设备
EP3598736B1 (en) Method and apparatus for processing image
WO2020078229A1 (zh) 目标对象的识别方法和装置、存储介质、电子装置
WO2021143739A1 (zh) 图像处理方法及装置、电子设备、计算机可读存储介质
EP2797051B1 (en) Image processing device, image processing method, program, and recording medium
CN113012081B (zh) 图像处理方法、装置和电子系统
CN112329851B (zh) 一种图标检测方法、装置及计算机可读存储介质
CN103024354B (zh) 颜色匹配方法及装置
CN103063314A (zh) 热像装置和热像拍摄方法
CN112257729B (zh) 图像识别方法、装置、设备及存储介质
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
CN113298753A (zh) 敏感肌的检测方法、图像处理方法、装置及设备
CN111898525B (zh) 烟雾识别模型的构建方法、进行烟雾检测的方法及装置
CN103942523A (zh) 一种日照场景识别方法及装置
CN113158963A (zh) 一种高空抛物的检测方法及装置
EP2904546B1 (en) Method and apparatus for ambient lighting color determination
CN106402717B (zh) 一种ar播放控制方法及智能台灯
KR20110136028A (ko) 가상 점을 통해 객체를 인식하는 증강현실 장치
CN112468794B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN114625456B (zh) 目标图像显示方法、装置及设备
US12051226B2 (en) Feature detection methods and systems using deconstructed color image data
WO2021109458A1 (zh) 对象识别方法、装置、电子设备和可读存储介质
Musale et al. Automatic Process with Real Time Fire Detection in Close Surrounding Environment
CN114782309A (zh) 一种皮肤检测方法、电子设备、存储介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40023555

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination