CN107918929B - 一种图像融合方法、装置及系统 - Google Patents

一种图像融合方法、装置及系统 Download PDF

Info

Publication number
CN107918929B
CN107918929B CN201610874997.2A CN201610874997A CN107918929B CN 107918929 B CN107918929 B CN 107918929B CN 201610874997 A CN201610874997 A CN 201610874997A CN 107918929 B CN107918929 B CN 107918929B
Authority
CN
China
Prior art keywords
noise reduction
composograph
visible images
image
visible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610874997.2A
Other languages
English (en)
Other versions
CN107918929A (zh
Inventor
聂鑫鑫
罗丽红
范蒙
俞海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201610874997.2A priority Critical patent/CN107918929B/zh
Priority to US16/331,009 priority patent/US10977781B2/en
Priority to EP17857775.5A priority patent/EP3525130B1/en
Priority to PCT/CN2017/086559 priority patent/WO2018064894A1/zh
Publication of CN107918929A publication Critical patent/CN107918929A/zh
Application granted granted Critical
Publication of CN107918929B publication Critical patent/CN107918929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例公开了一种图像融合方法、装置及系统，该方法包括：获得可见光传感器生成的可见光图像以及非可见光传感器生成的非可见光图像，其中，该可见光图像与该非可见光图像存在对应关系；根据所述可见光图像和所述非可见光图像，合成第一合成图像；对所述可见光图像和所述第一合成图像进行降噪；融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像。应用本发明实施例，在最终图像融合之前，分别对可见光图像以及融合有非可见光图像的第一合成图像进行降噪，以降低融合图像中的噪声。

Description

一种图像融合方法、装置及系统
技术领域
本发明涉及图像处理技术领域，特别涉及一种图像融合方法、装置及系统。
背景技术
在一些实际场景中，如低照度场景下，为了保证所采集的图像涵盖较多的图像信息，通常需要分光融合的图像采集设备来采集图像。具体的，分光融合的图像采集设备采集图像的基本原理为：采集可见光信号对应形成的可见光图像以及采集非可见光信号对应形成的非可见光图像，并将可见光图像和非可见光图像进行融合处理，得到融合后的图像。其中，融合后的图像为双波段图像，相对于属于单波段的由可见光图像和非可见光图像中的任一种图像而言，体现出的图像信息更多。其中，非可见光图像包括近红外图像和红外图像。
现有的成像过程为：获得包括可见光图像和非可见光图像的成像信息；根据可见光图像和非可见光图像之间的相对量值，对该可见光图像进行降噪处理，然后将非可见光图像和降噪后的可见光图像按照预定权重系数进行合成处理，生成图像。
然而，现有的成像过程中仅针对可见光图像进行降噪处理，忽略了非可见光图像存在的噪声，降噪处理不彻底，所得所生成的图像仍存在噪声。
发明内容
本发明实施例公开了一种图像融合方法、装置及系统，以降低融合图像中的噪声。具体方案如下：
一方面，本发明实施例提供了一种图像融合方法，所述方法包括：
获得可见光传感器生成的可见光图像以及非可见光传感器生成的非可见光图像，其中，所述可见光图像与所述非可见光图像存在对应关系；
根据所述可见光图像和所述非可见光图像，合成第一合成图像；
对所述可见光图像和所述第一合成图像进行降噪；
融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像。
可选地，所述对所述可见光图像和所述第一合成图像分别进行降噪之后，所述方法还包括：
分别对降噪后的可见光图像以及降噪后的第一合成图像进行滤波；
所述融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像，包括：
融合滤波后的可见光图像以及滤波后的第一合成图像，生成第二合成图像。
可选地，所述分别对降噪后的可见光图像以及降噪后的第一合成图像进行滤波，包括：
对所述降噪后的可见光图像进行低通滤波，得到低频信息对应的图像；
对所述降噪后的第一合成图像进行高通滤波，得到高频信息对应的图像；
所述融合滤波后的可见光图像以及滤波后的第一合成图像，生成第二合成图像，包括：
融合所述低频信息对应的图像和所述高频信息对应的图像，生成所述第二合成图像。
可选地，所述根据所述可见光图像和所述非可见光图像，合成第一合成图像，包括：
根据所述非可见光图像以及对应的第一权重系数和所述可见光图像以及对应的第二权重系数，合成所述第一合成图像。
可选地，所述对所述可见光图像和所述第一合成图像进行降噪，包括：
利用所述可见光图像和所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；
根据所确定出的降噪控制强度值，分别对所述可见光图像和所述第一合成图像进行降噪。
可选地，所述对所述可见光图像和所述第一合成图像进行降噪，包括：
利用所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；
根据所确定出的降噪控制强度值，分别对所述可见光图像和所述第一合成图像进行降噪。
可选地，所述利用所述可见光图像和所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值，包括：
根据所述可见光图像以及预设降噪公式，确定第一降噪权重值；
根据所述第一合成图像以及所述预设降噪公式，确定第二降噪权重值；
根据所述第一降噪权重值以及所述第二降噪权重值，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值。
可选地，所述利用所述可见光图像和所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值，包括：
获得所述可见光图像的第一增益值以及所述第一合成图像的第二增益值；
判断所述第一增益值与所述第二增益值的差值是否大于预定阈值；
当判断结果为否时，根据所述可见光图像以及预设降噪公式，确定第一降噪权重值；根据所述第一合成图像以及所述预设降噪公式，确定第二降噪权重值；根据所述第一降噪权重值以及所述第二降噪权重值，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；
当判断结果为是时，根据所述第一合成图像以及所述预设降噪公式，确定所述第二降噪权重值，将所述第二降噪权重值确定为所述可见光图像和所述第一合成图像所对应的降噪控制强度值。
可选地，所述利用所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值，包括：
根据所述第一合成图像以及预设降噪公式，确定第三降噪权重值，将所述第三降噪权重值确定为所述可见光图像和所述第一合成图像所对应的降噪控制强度值。
可选地，所述预设降噪公式为：
其中，所述fxy表示待降噪的所述可见光图像或所述第一合成图像的当前像素点的像素值，所述x和y表示当前像素点的坐标；所述fij表示当前像素点的预设邻域内的像素点的像素值，所述i和j表示当前像素点的坐标；所述δ1和δ2表示高斯分布标准差。
可选地，所述对所述可见光图像和所述第一合成图像进行降噪所利用公式为：
其中，所述r表示所述预设邻域的半径；所述W(x,y)表示降噪后的第一合成图像，所述VIS(x,y)表示降噪后的可见光图像；所述x和y表示待降噪的所述可见光图像或所述第一合成图像的当前像素点的坐标，所述W(x+i,y+j)表示所述第一合成图像的当前像素点的预设邻域内的像素点的像素值；所述VIS(x+i,y+j)表示所述可见光图像的当前像素点的预设邻域内的像素点的像素值；所述weight(x+i,y+j)表示所述可见光图像或所述第一合成图像的当前像素点对应的降噪控制强度值。
另一方面，本发明实施例提供了一种图像融合装置，所述装置包括：获得模块、合成模块、降噪模块和融合模块；
获得模块，用于获得可见光传感器生成的可见光图像以及非可见光传感器生成的非可见光图像，其中，所述可见光图像与所述非可见光图像存在对应关系；
合成模块，用于根据所述可见光图像和所述非可见光图像，合成第一合成图像；
降噪模块，用于对所述可见光图像和所述第一合成图像进行降噪；
融合模块，用于融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像。
可选地，所述装置还包括滤波模块；
所述滤波模块，用于所述对所述可见光图像和所述第一合成图像分别进行降噪之后，分别对降噪后的可见光图像以及降噪后的第一合成图像进行滤波；
所述融合模块，具体用于融合滤波后的可见光图像以及滤波后的第一合成图像，生成第二合成图像。
可选地，所述滤波模块包括第一滤波单元和第二滤波单元；
所述第一滤波单元，用于对所述降噪后的可见光图像进行低通滤波，得到低频信息对应的图像；
所述第二滤波单元，用于对所述降噪后的第一合成图像进行高通滤波，得到高频信息对应的图像；
所述融合模块，具体用于融合所述低频信息对应的图像和所述高频信息对应的图像，生成所述第二合成图像。
可选地，所述合成模块，具体用于根据所述非可见光图像以及对应的第一权重系数和所述可见光图像以及对应的第二权重系数，合成所述第一合成图像。
可选地，所述降噪模块包括第一确定单元和第一降噪单元；
所述第一确定单元，用于利用所述可见光图像和所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；
所述第一降噪单元，用于根据所确定出的降噪控制强度值，分别对所述可见光图像和所述第一合成图像进行降噪。
可选地，所述降噪模块包括第二确定单元和第二降噪单元；
所述第二确定单元，用于利用所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；
所述第二降噪单元，用于根据所确定出的降噪控制强度值，分别对所述可见光图像和所述第一合成图像进行降噪。
可选地，所述第一确定单元包括第一确定子单元、第二确定子单元和第三确定子单元；
所述第一确定子单元，用于根据所述可见光图像以及预设降噪公式，确定第一降噪权重值；
所述第二确定子单元，用于根据所述第一合成图像以及所述预设降噪公式，确定第二降噪权重值；
所述第三确定子单元，用于根据所述第一降噪权重值以及所述第二降噪权重值，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值。
可选地，所述第一确定单元包括获得子单元、判断子单元、第四确定子单元和第五确定子单元；
所述获得子单元，用于获得所述可见光图像的第一增益值以及所述第一合成图像的第二增益值；
所述判断子单元，用于判断所述第一增益值与所述第二增益值的差值是否大于预定阈值；
当判断结果为否时，触发所述第四确定子单元；当判断结果为是时，触发所述第五确定子单元；
所述第四确定子单元，用于根据所述可见光图像以及预设降噪公式，确定第一降噪权重值；根据所述第一合成图像以及所述预设降噪公式，确定第二降噪权重值；根据所述第一降噪权重值以及所述第二降噪权重值，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；
所述第五确定子单元，用于根据所述第一合成图像以及所述预设降噪公式，确定所述第二降噪权重值，将所述第二降噪权重值确定为所述可见光图像和所述第一合成图像所对应的降噪控制强度值。
可选地，所述第二确定单元，具体用于根据所述第一合成图像以及预设降噪公式，确定第三降噪权重值，将所述第三降噪权重值确定为所述可见光图像和所述第一合成图像所对应的降噪控制强度值。
可选地，所述预设降噪公式为：
其中，所述fxy表示待降噪的所述可见光图像或所述第一合成图像的像素点的像素值，所述x和y表示当前像素点的坐标；所述fij表示当前像素点的预设邻域内的像素点的像素值，所述i和j表示当前像素点的预设邻域内的像素点的坐标；所述δ1和δ2表示高斯分布标准差。
可选地，所述对所述可见光图像和所述第一合成图像进行降噪所利用公式为：
其中，所述r表示所述预设邻域的半径；所述W(x,y)表示降噪后的第一合成图像，所述VIS(x,y)表示降噪后的可见光图像；所述x和y表示待降噪的所述可见光图像或所述第一合成图像的当前像素点的坐标，所述W(x+i,y+j)表示所述第一合成图像的当前像素点的预设邻域内的像素点的像素值；所述VIS(x+i,y+j)表示所述可见光图像的当前像素点的预设邻域内的像素点的像素值；所述weight(x+i,y+j)表示所述可见光图像或所述第一合成图像的当前像素点对应的降噪控制强度值。
另一方面，本发明实施例提供了一种图像融合系统，所述系统包括可见光传感器、非可见光传感器以及处理器；
所述可见光传感器，用于采集可见光信号，并根据所述可见光信号生成可见光图像；
所述非可见光传感器，用于采集非可见光信号，并根据所述非可见光信号生成非可见光图像；
所述处理器，用于获得所述可见光传感器生成的可见光图像以及所述非可见光传感器生成的非可见光图像，其中，所述可见光图像与所述非可见光图像存在对应关系；根据所述可见光图像和所述非可见光图像，合成第一合成图像；对所述可见光图像和所述第一合成图像进行降噪；融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像。
在本方案中，获得可见光传感器生成的可见光图像以及非可见光传感器生成的非可见光图像，其中，该可见光图像与该非可见光图像存在对应关系；根据所述可见光图像和所述非可见光图像，合成第一合成图像；对所述可见光图像和所述第一合成图像进行降噪；融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像。可见，在最终图像融合之前，分别对可见光图像以及融合有非可见光图像的第一合成图像进行降噪，以降低融合图像中的噪声。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种图像融合方法的流程示意图；
图2为本发明实施例所提供的一种图像融合方法的另一流程示意图；
图3为本发明实施例所提供的一种图像融合装置的结构示意图；
图4为本发明实施例所提供的一种图像融合装置的另一结构示意图；
图5为应用本发明实施例所提供的图像融合方法进行图像融合的信息流向图；
图6为本发明实施例提供的一种图像融合系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种图像融合方法、装置及系统，以降低融合图像中的噪声。
下面首先对本发明实施例所提供的一种图像融合方法进行介绍。
可以理解的是，本发明实施例所提供的图像融合方法可以应用于摄像机、照相机或其他任何可以进行图像采集及图像处理的设备。
如图1所示，本发明实施例所提供的一种图像融合方法，可以包括步骤：
S101：获得可见光传感器生成的可见光图像以及非可见光传感器生成的非可见光图像，其中，该可见光图像与该非可见光图像存在对应关系；
可以通过分光融合的图像采集设备将采集的光信号分离出可见光信号以及非可见光信号，并将分离出的可见光信号通过可见光传感器进行感光成像，生成可见光图像，以及并将分离出的非可见光信号通过可见光传感器进行感光成像，生成非可见光图像。另外，也可以是通过图像采集设备的可见光传感器从光信号中采集到可见光信号，并对可见光信号进行感光成像，生成可见光图像，通过图像采集设备的非可见光传感器从光信号中采集到非可见光信号，并对非可见光信号进行感光成像，生成非可见光图像。其中，该非可见光图像包括近红外图像和红外图像，近红外通常指波长在780～1100nm范围内的红外短波。该非可见光图像可以用NIR表示。
其中，可见光信号、非可见光信号的采集方式，以及可见光图像和对应的非可见光图像的生成方式，在此不做限定。
S102：根据该可见光图像和该非可见光图像，合成第一合成图像；
此步骤中，根据可见光图像和非可见光图像，合成的第一合成图像，相较于单独的可见光图像和非可见光图像，该第一合成图像的图像能量得到了增强，并且第一合成图像中的纹理信息也相应增加。由于图像能量的增强，噪声对第一合成图像所形成的干扰也相对应的减弱。
作为本发明实施例的一种实现方式，可以对可见光图像和非可见光图像进行线性合成，其中，所述根据所述可见光图像和所述非可见光图像，合成第一合成图像，可以包括：
根据所述非可见光图像以及对应的第一权重系数和所述可见光图像以及对应的第二权重系数，合成所述第一合成图像。
可选地，合成所述第一合成图像所利用公式可以为：
W＝NIR*K1+VIR*K2；
其中，所述W表示所述第一合成图像；所述NIR表示所述非可见光图像；所述VIR表示所述可见光图像；所述K1和K2分别表示预先为所述非可见光图像设置的第一权重系数和预先为所述可见光图像设置的第二权重系数。
该第一权重系数K1和第二权重系数K2可以根据非可见光图像和可见光图像的质量进行调整。可以理解的是，利用现有技术，确定非可见光图像以及可见光图像的质量，当可见光图像的质量相对较好时，可以适当调整增大权重系数K2的取值，当非可见光图像的质量相对较好时，可以适当适当调整增大权重系数K1的取值。
其中，对图像进行合成时，可以对非可见光图像和可见光图像进行逐像素的合成。需要强调的是，上述的根据该可见光图像和该非可见光图像以合成第一合成图像的具体实现方式，仅仅作为示例，并不应该构成对本发明实施例的限定。
S103：对该可见光图像和该第一合成图像进行降噪；
可以理解的，由于物体在不同光谱下所形成的纹理信息不同，并且，对于单独的可见光图像以及非可见光图像，噪声分别对上述两者的干扰要比对上述两者合成后的第一合成图像的干扰大，如果分别单独对可见光图像以及非可见光图像进行降噪，会滤除掉较多的纹理信息，后续融合生成的图像会丢失较多的纹理信息。
此步骤中，可以联合可见光图像以及融合有非可见光图像的第一合成图像，分别对可见光图像以及第一合成图像进行降噪，在一定程度上可以相应的减少图像降噪时纹理信息的丢失。
作为本发明实施例的一种实现方式，所述对所述可见光图像和所述第一合成图像进行降噪，可以包括：
利用所述可见光图像和所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；
根据所确定出的降噪控制强度值，分别对所述可见光图像和所述第一合成图像进行降噪。
其中，所确定的降噪控制强度值，既考虑到了可见光图像中所存在的纹理信息，又考虑到了非可见光图像中所存在的纹理信息，可以实现对可见光图像和第一合成图像更好的降噪。
作为本发明实施例的一种实现方式，所述利用所述可见光图像和所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值，可以包括：
根据所述可见光图像以及预设降噪公式，确定第一降噪权重值；
根据所述第一合成图像以及所述预设降噪公式，确定第二降噪权重值；
根据所述第一降噪权重值以及所述第二降噪权重值，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值。
需要说明的是，分别根据可见光图像、预设降噪公式以及第一合成图像、预设降噪公式，确定可见光图像和第一合成图像所对应的降噪控制强度值；然后，根据所确定的降噪控制强度值，分别对可见光图像和第一合成图像进行降噪。其中，根据该第一降噪权重值和第二降噪权重值，确定降噪控制强度值时，可以直接将第一降噪权重值和第二降噪权重值的平均值确定为降噪控制强度值，也可以利用其他方式来计算降噪控制强度值，在此不做限定。
另外，需要强调的是，本发明实施例中的“第一降噪权重值”中的“第一”、“第二降噪权重值”中的“第二”以及后续提到的“第三降噪权重值”中的“第三”仅仅用于从命名上区分不同的降噪权重值，并不具有任何限定意义。
作为本发明实施例的另一种实现方式，与现有技术相同，图像融合装置获得可见光图像及第一合成图像输入后，该装置会分别对应可见光图像及第一合成图像反馈两个增益值，其中，可见光图像对应第一增益值，第一合成图像对应第二增益值。该两个增益值分别体现了所对应图像的图像质量，增益值越小，所对应图像的图像质量越好。当可见光图像以及第一合成图像的质量相差不大时，可以联合该可见光图像以及第一合成图像，确定可见光图像和第一合成图像对应的降噪控制强度值，根据所确定出的降噪控制强度值进行降噪。或者，当第一合成图像的质量明显好于可见光图像时，可以仅利用第一合成图像，确定可见光图像和第一合成图像对应的降噪控制强度值，进而根据所确定出的降噪控制强度值进行降噪。
所述利用所述可见光图像和所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值，包括：
获得所述可见光图像的第一增益值以及所述第一合成图像的第二增益值；
判断所述第一增益值与所述第二增益值的差值是否大于预定阈值；
当判断结果为否时，根据所述可见光图像以及预设降噪公式，确定第一降噪权重值；根据所述第一合成图像以及所述预设降噪公式，确定第二降噪权重值；根据所述第一降噪权重值以及所述第二降噪权重值，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；
当判断结果为是时，根据所述第一合成图像以及所述预设降噪公式，确定所述第二降噪权重值，将所述第二降噪权重值确定为所述可见光图像和所述第一合成图像所对应的降噪控制强度值。
其中，当第一增益值与第二增益值的差值小于预定阈值时，可以表明该可见光图像与第一合成图像的质量相差不大，此时，可以联合该可见光图像以及第一合成图像，确定可见光图像和第一合成图像所对应的降噪控制强度值，根据所确定的降噪控制强度值进行降噪。
当第一增益值与第二增益值的差值大于或等于预定阈值时，可以表明该第一合成图像的质量明显好于可见光图像的质量。对于第一合成图像来说，其融合有可见光图像以及非可见光图像，若第一合成图像的质量明显好于可见光图像的质量，此时可以仅利用第一合成图像确定可见光图像和第一合成图像所对应的降噪控制强度值，可以避免质量相对较差的可见光图像对降噪处理的影响。
并且，可以理解的是，物体在不同光谱下所形成的纹理信息不同，当可见光图像质量明显好于第一合成图像时，为了保证第一合成图像中非可见光图像中的所形成的纹理信息的体现，此时也需要联合该可见光图像以及第一合成图像，确定可见光图像和第一合成图像所对应的降噪控制强度值，根据所确定的降噪控制强度值进行降噪。
另外，由于该第一合成图像中既包含可见光图像又包含非可见光图像，即该第一合成图像中同时包含物体在可见光下所形成的纹理信息，也包含物体在非可见光下所形成的纹理信息。可以仅利用第一合成图像，对可见光图像和第一合成图像进行降噪。
作为本发明实施例的一种实现方式，所述对所述可见光图像和所述第一合成图像进行降噪，可以包括：
利用所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；
根据所确定出的降噪控制强度值，分别对所述可见光图像和所述第一合成图像进行降噪。
根据第一合成图像所确定的降噪控制强度值中，既考虑到了可见光图像中所存在的纹理信息，又考虑到了非可见光图像中所存在的纹理信息，也可以实现对可见光图像和第一合成图像更好的降噪。
作为本发明实施例的另一种实现方式，所述利用所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值，包括：
根据所述第一合成图像以及预设降噪公式，确定第三降噪权重值，将所述第三降噪权重值确定为所述可见光图像和所述第一合成图像所对应的降噪控制强度值。
其中，可以理解的是，该第三降噪权重值可以和上述提到的第二降噪权重值相同。
作为本发明实施例的一种实现方式，所述预设降噪公式可以为：
其中，所述fxy表示待降噪的所述可见光图像或所述第一合成图像的像素点的像素值，所述x和y表示当前像素点的坐标；所述fij表示当前像素点的预设邻域内的像素点的像素值，所述i和j表示当前像素点的预设邻域内的像素点的坐标；所述δ1和δ2表示高斯分布标准差。
其中，上述公式对应于待降噪的可见光图像或第一合成图像的所有像素点。假设当前待降噪的图像为可见光图像，该可见光图像的像素组成为9*9的像素矩阵，预设邻域半径为1(后续提到的r)，与现有技术相同，会根据预设邻域的半径1，生成一个3*3的滑动窗口，其中，邻域半径与生成的滑动窗口的对应关系为2r+1＝3，3即为邻域的滑动窗口的边长值。从9*9的像素矩阵的最左上角开始从左至右，从上到下滑动该3*3的滑动窗口。滑动窗口所执行动作与现有技术相同。
与现有技术相同，对于该3*3的滑动窗口所包含的9个像素点来说，处于中心位置的像素点即为当前像素点fxy，周围8个像素点即为当前像素点的预设邻域内的像素点fij，利用上述公式对当前像素点的像素值进行处理。其中，可以理解的是，利用上述公式不能对像素矩阵最外层的像素点进行处理，对于最外层的像素点可以利用现有技术进行处理，确定对应像素值。
其中，对于预设邻域的边长值的取值，一般取奇数，当取偶数时，会预先设定一个像素点作为预设邻域内的当前像素点。
可以理解的是，与现有技术相同，根据该预设降噪公式，分别对可见光图像和第一合成图像进行处理，可以得到两个相同大小的矩阵，分别对应第一降噪权重值和第二降噪权重值，根据该第一降噪权重值和第二降噪权重值，确定可见光图像和第一合成图像所对应的降噪控制强度值时，可以直接将第一降噪权重值和第二降噪权重值的平均值，确定为可见光图像和第一合成图像所对应的降噪控制强度值，具体的，可以将所得到的两个相同大小的矩阵进行相乘，所得结果即为可见光图像和第一合成图像所对应的降噪控制强度值。
作为本发明实施例的一种实现方式，在根据上述的预设降噪公式，确定出可见光图像和第一合成图像所对应的降噪控制强度值之后，根据所确定的降噪控制强度值，分别对可见光图像以及第一合成图像进行降噪。其中，所述对所述可见光图像和所述第一合成图像进行降噪所利用公式可以为：
其中，所述r表示所述预设邻域的半径；所述W(x,y)表示降噪后的第一合成图像，所述VIS(x,y)表示降噪后的可见光图像；所述x和y表示待降噪的所述可见光图像或所述第一合成图像的当前像素点的坐标，所述W(x+i,y+j)表示所述第一合成图像的当前像素点的预设邻域内的像素点的像素值；所述VIS(x+i,y+j)表示所述可见光图像的当前像素点的预设邻域内的像素点的像素值；所述weight(x+i,y+j)表示所述可见光图像或所述第一合成图像的当前像素点对应的降噪控制强度值。
其中，weight(x+i,y+j)可以为由根据可见光图像和预设降噪公式所确定的第一降噪权重值及根据第一合成图像和预设降噪公式所确定的第二降噪权重值，所确定的降噪控制强度值；也可以直接为该第三降噪系数所确定的降噪控制强度值。
与现有技术相同，该r表示预设邻域的半径，当r＝1时，预设邻域为一个3*3的滑动窗口，对应的，i和j的取值范围均为-1、0和1；当r＝2时，预设邻域为一个5*5的滑动窗口，对应的，i和j的取值范围均为-2、-1、0、1和2。
S104：融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像。
可以采用现有技术，对降噪后的可见光图像和降噪后的第一合成图像进行融合，生成第二合成图像，形成最终的融合后的图像。
应用本发明实施例，获得所述可见光传感器生成的可见光图像以及所述非可见光传感器生成的非可见光图像，其中，该可见光图像与该非可见光图像存在对应关系；根据所述可见光图像和所述非可见光图像，合成第一合成图像；对所述可见光图像和所述第一合成图像进行降噪；融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像。可见，在最终图像融合之前，分别对可见光图像以及融合有非可见光图像的第一合成图像进行降噪，以降低融合图像中的噪声。
作为本发明实施例的一种实现方式，为了融合生成效果更好的图像，在对降噪后的可见光图像和降噪后的第一合成图像进行融合之前，可以先分别对可见光图像和第一合成图像进行滤波，基于图1所示流程，如图2所示，所述对所述可见光图像和所述第一合成图像分别进行降噪之后，本发明实施例所提供的一种图像融合方法还可以包括：
S201：分别对降噪后的可见光图像以及降噪后的第一合成图像进行滤波；
所述融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像(S104)，可以包括：
S202：融合滤波后的可见光图像以及滤波后的第一合成图像，生成第二合成图像。
其中，作为本发明实施例的一种实现方式，对于可见光图像，其所呈现的内容是可以为人眼所感知的，主要体现图像的亮度信息以及色彩饱和度，可以对可见光图像进行低通滤波，获得低频信息，所获得的低频信息能够使得融合后的图像的亮度明显，色彩鲜艳。对于第一合成图像，其边缘部分的像素的能量要相较于单独的可见光图像的像素的能量强，可以对第一合成图像进行高通滤波，获得高频信息，所获得的高频信息可以使得融合后的图像的边缘部分更清晰。具体的，所述分别对降噪后的可见光图像以及降噪后的第一合成图像进行滤波，包括：
对所述降噪后的可见光图像进行低通滤波，得到低频信息对应的图像；
对所述降噪后的第一合成图像进行高通滤波，得到高频信息对应的图像；
所述融合滤波后的可见光图像以及滤波后的第一合成图像，生成第二合成图像，包括：
融合所述低频信息对应的图像和所述高频信息对应的图像，生成所述第二合成图像。
可以理解的，低频信息主要是对图像的强度的综合度量，高频信息主要是对图像边缘和轮廓的度量。可见光图像主要是图像的亮度信息以及色彩饱和度的体现，并且亮度信息以及色彩饱和度未受到非可见光信号的影响，因此可以滤波得到可见光图像的低频信息；而第一合成图像的边缘部分的像素的能量要相较于单独的可见光图像的像素的能量强，对于边缘和轮廓的体现相较于可见光图像会更加明显，因此可以滤波得到第一合成图像中高频信息对应的图像。进而融合得到的低频信息对应的图像和高频信息对应的图像，生成第二合成图像。
相应于上述方法实施例，本发明实施例还提供了一种图像融合装置，如图3所示，所述装置可以包括：获得模块301、合成模块302、降噪模块303和融合模块304；
获得模块301，用于获得所述可见光传感器生成的可见光图像以及所述非可见光传感器生成的非可见光图像，其中，所述可见光图像与所述非可见光图像存在对应关系；
合成模块302，用于根据所述可见光图像和所述非可见光图像，合成第一合成图像；
降噪模块303，用于对所述可见光图像和所述第一合成图像进行降噪；
融合模块304，用于融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像。
应用本发明实施例，获得所述可见光传感器生成的可见光图像以及所述非可见光传感器生成的非可见光图像，其中，该可见光图像与该非可见光图像存在对应关系；根据所述可见光图像和所述非可见光图像，生成合成第一合成图像；对所述可见光图像和所述第一合成图像进行降噪；融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像。可见，在最终图像融合之前，分别对可见光图像以及融合有非可见光图像的第一合成图像进行降噪，以降低融合图像中的噪声。
在一种具体实现方式中，基于图3所示结构，如图4所示，本发明实施例所提供的一种图像融合装置还可以包括滤波模块401；
所述滤波模块401，用于所述对所述可见光图像和所述第一合成图像分别进行降噪之后，分别对降噪后的可见光图像以及降噪后的第一合成图像进行滤波；
所述融合模块304，具体用于融合滤波后的可见光图像以及滤波后的第一合成图像，生成第二合成图像。
在一种具体实现方式中，所述滤波模块401包括第一滤波单元和第二滤波单元；
所述第一滤波单元，用于对所述降噪后的可见光图像进行低通滤波，得到低频信息对应的图像；
所述第二滤波单元，用于对所述降噪后的第一合成图像进行高通滤波，得到高频信息对应的图像；
所述融合模块304，具体用于融合所述低频信息对应的图像和所述高频信息对应的图像，生成所述第二合成图像。
在一种具体实现方式中，所述合成模块302，具体用于根据所述非可见光图像以及对应的第一权重系数和所述可见光图像以及对应的第二权重系数，合成所述第一合成图像。
在一种具体实现方式中，所述降噪模块303包括第一确定单元和第一降噪单元；
所述第一确定单元，用于利用所述可见光图像和所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；
所述第一降噪单元，用于根据所确定出的降噪控制强度值，分别对所述可见光图像和所述第一合成图像进行降噪。
在一种具体实现方式中，所述降噪模块303包括第二确定单元和第二降噪单元；
所述第二确定单元，用于利用所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；
所述第二降噪单元，用于根据所确定出的降噪控制强度值，分别对所述可见光图像和所述第一合成图像进行降噪。
在一种具体实现方式中，所述第一确定单元包括第一确定子单元、第二确定子单元和第三确定子单元；
所述第一确定子单元，用于根据所述可见光图像以及预设降噪公式，确定第一降噪权重值；
所述第二确定子单元，用于根据所述第一合成图像以及所述预设降噪公式，确定第二降噪权重值；
所述第三确定子单元，用于根据所述第一降噪权重值以及所述第二降噪权重值，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值。
在一种具体实现方式中，所述第一确定单元包括获得子单元、判断子单元、第四确定子单元和第五确定子单元；
所述获得子单元，用于获得所述可见光图像的第一增益值以及所述第一合成图像的第二增益值；
所述判断子单元，用于判断所述第一增益值与所述第二增益值的差值是否大于预定阈值；
当判断结果为否时，触发所述第四确定子单元；当判断结果为是时，触发所述第五确定子单元；
所述第四确定子单元，用于根据所述可见光图像以及预设降噪公式，确定第一降噪权重值；根据所述第一合成图像以及所述预设降噪公式，确定第二降噪权重值；根据所述第一降噪权重值以及所述第二降噪权重值，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；
所述第五确定子单元，用于根据所述第一合成图像以及所述预设降噪公式，确定所述第二降噪权重值，将所述第二降噪权重值确定为所述可见光图像和所述第一合成图像所对应的降噪控制强度值。
在一种具体实现方式中，所述第二确定单元，具体用于根据所述第一合成图像以及预设降噪公式，确定第三降噪权重值，将所述第三降噪权重值确定为所述可见光图像和所述第一合成图像所对应的降噪控制强度值。
在一种具体实现方式中，所述预设降噪公式为：
其中，所述fxy表示待降噪的所述可见光图像或所述第一合成图像的像素点的像素值，所述x和y表示当前像素点的坐标；所述fij表示当前像素点的预设邻域内的像素点的像素值，所述i和j表示当前像素点的预设邻域内的像素点的坐标；所述δ1和δ2表示高斯分布标准差。
在一种具体实现方式中，所述对所述可见光图像和所述第一合成图像进行降噪所利用公式为：
其中，所述r表示所述预设邻域的半径；所述W(x,y)表示降噪后的第一合成图像，所述VIS(x,y)表示降噪后的可见光图像；所述x和y表示待降噪的所述可见光图像或所述第一合成图像的当前像素点的坐标，所述W(x+i,y+j)表示所述第一合成图像的当前像素点的预设邻域内的像素点的像素值；所述VIS(x+i,y+j)表示所述可见光图像的当前像素点的预设邻域内的像素点的像素值；所述weight(x+i,y+j)表示所述可见光图像或所述第一合成图像的当前像素点对应的降噪控制强度值。
如图5所示，为应用本发明实施例所提供的图像融合方法进行图像融合的信息流向图。获得的可见光图像与非可见光图像分别输入合成模块；合成模块将可见光图像与非可见光图像合成为合成图像并输出；分别将可见光图像及合成图像输入降噪模块，降噪模块分别对可见光图像及合成图像进行降噪，分别生成降噪后的可见光图像和降噪后的合成图像，并输出；将降噪后的可见光图像输入第一滤波单元，其中，第一滤波单元可以利用低通滤波设备实现对降噪后的可见光图像的低通滤波，低通滤波设备对可见光图像进行低通滤波，输出低频信息；将降噪后的合成图像输入第二滤波单元，其中，第二滤波单元可以利用高通滤波设备实现对降噪后的非可见光图像的高通滤波，高通滤波设备对合成图像进行高通滤波，输出高频信息；将低频信息和高频信息输入融合模块，进行融合，生成融合图像并输出。
相应于上述方法实施例，本发明实施例还提供了一种图像融合系统，如图6所示，所述系统可以包括可见光传感器601、非可见光传感器602以及处理器603；
所述可见光传感器601，用于采集可见光信号，并根据所述可见光信号生成可见光图像；
所述非可见光传感器602，用于采集非可见光信号，并根据所述非可见光信号生成非可见光图像；
所述处理器603，用于获得所述可见光传感器生成的可见光图像以及所述非可见光传感器生成的非可见光图像，其中，所述可见光图像与所述非可见光图像存在对应关系；根据所述可见光图像和所述非可见光图像，合成第一合成图像；对所述可见光图像和所述第一合成图像进行降噪；融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像。
应用本发明实施例，获得所述可见光传感器生成的可见光图像以及所述非可见光传感器生成的非可见光图像，其中，该可见光图像与该非可见光图像存在对应关系；根据所述可见光图像和所述非可见光图像，合成第一合成图像；对所述可见光图像和所述第一合成图像进行降噪；融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像。可见，在最终图像融合之前，分别对可见光图像以及融合有非可见光图像的第一合成图像进行降噪，以降低融合图像中的噪声。
可选地，在一种具体实现方式中，所述处理器603还用于：对所述可见光图像和所述第一合成图像分别进行降噪之后，分别对降噪后的可见光图像以及降噪后的第一合成图像进行滤波；相应地，所述处理器603融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像的过程包括：融合滤波后的可见光图像以及滤波后的第一合成图像，生成第二合成图像。
可选地，在一种具体实现方式中，所述处理器603分别对降噪后的可见光图像以及降噪后的第一合成图像进行滤波的过程包括：对所述降噪后的可见光图像进行低通滤波，得到低频信息对应的图像；对所述降噪后的第一合成图像进行高通滤波，得到高频信息对应的图像；
所述处理器603融合滤波后的可见光图像以及滤波后的第一合成图像，生成第二合成图像的过程包括：融合所述低频信息对应的图像和所述高频信息对应的图像，生成所述第二合成图像。
可选地，在一种具体实现方式中，所述处理器603具体用于：根据所述非可见光图像以及对应的第一权重系数和所述可见光图像以及对应的第二权重系数，合成所述第一合成图像。
可选地，在一种具体实现方式中，所述处理器603具体用于：利用所述可见光图像和所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；根据所确定出的降噪控制强度值，分别对所述可见光图像和所述第一合成图像进行降噪。
可选地，在一种具体实现方式中，所述处理器603具体用于：利用所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；根据所确定出的降噪控制强度值，分别对所述可见光图像和所述第一合成图像进行降噪。
可选地，在一种具体实现方式中，所述处理器603利用所述可见光图像和所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值的过程包括：
根据所述可见光图像以及预设降噪公式，确定第一降噪权重值；
根据所述第一合成图像以及所述预设降噪公式，确定第二降噪权重值；
根据所述第一降噪权重值以及所述第二降噪权重值，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值。
可选地，在一种具体实现方式中，所述处理器603利用所述可见光图像和所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值的过程包括：
获得所述可见光图像的第一增益值以及所述第一合成图像的第二增益值；
判断所述第一增益值与所述第二增益值的差值是否大于预定阈值；
当判断结果为否时，根据所述可见光图像以及预设降噪公式，确定第一降噪权重值；根据所述第一合成图像以及所述预设降噪公式，确定第二降噪权重值；根据所述第一降噪权重值以及所述第二降噪权重值，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；
当判断结果为是时，根据所述第一合成图像以及所述预设降噪公式，确定所述第二降噪权重值，将所述第二降噪权重值确定为所述可见光图像和所述第一合成图像所对应的降噪控制强度值。
可选地，在一种具体实现方式中，所述处理器603利用所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值的过程包括：
根据所述第一合成图像以及预设降噪公式，确定第三降噪权重值，将所述第三降噪权重值确定为所述可见光图像和所述第一合成图像所对应的降噪控制强度值。
可选地，在一种实现方式中，所述预设降噪公式为：
其中，所述fxy表示待降噪的所述可见光图像或所述第一合成图像的当前像素点的像素值，所述x和y表示当前像素点的坐标；所述fij表示当前像素点的预设邻域内的像素点的像素值，所述i和j表示当前像素点的坐标；所述δ1和δ2表示高斯分布标准差。
可选地，在一种具体实现方式中，所述对所述可见光图像和所述第一合成图像进行降噪所利用公式为：
其中，所述r表示所述预设邻域的半径；所述W(x,y)表示降噪后的第一合成图像，所述VIS(x,y)表示降噪后的可见光图像；所述x和y表示待降噪的所述可见光图像或所述第一合成图像的当前像素点的坐标，所述W(x+i,y+j)表示所述第一合成图像的当前像素点的预设邻域内的像素点的像素值；所述VIS(x+i,y+j)表示所述可见光图像的当前像素点的预设邻域内的像素点的像素值；所述weight(x+i,y+j)表示所述可见光图像或所述第一合成图像的当前像素点对应的降噪控制强度值。
对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (23)

1.一种图像融合方法，其特征在于，所述方法包括：
获得可见光传感器生成的可见光图像以及非可见光传感器生成的非可见光图像，其中，所述可见光图像与所述非可见光图像存在对应关系；
根据所述可见光图像和所述非可见光图像，合成第一合成图像；
对所述可见光图像和所述第一合成图像进行降噪；
融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述可见光图像和所述第一合成图像分别进行降噪之后，所述方法还包括：
分别对降噪后的可见光图像以及降噪后的第一合成图像进行滤波；
所述融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像，包括：
融合滤波后的可见光图像以及滤波后的第一合成图像，生成第二合成图像。
3.根据权利要求2所述的方法，其特征在于，所述分别对降噪后的可见光图像以及降噪后的第一合成图像进行滤波，包括：
对所述降噪后的可见光图像进行低通滤波，得到低频信息对应的图像；
对所述降噪后的第一合成图像进行高通滤波，得到高频信息对应的图像；
所述融合滤波后的可见光图像以及滤波后的第一合成图像，生成第二合成图像，包括：
融合所述低频信息对应的图像和所述高频信息对应的图像，生成所述第二合成图像。
4.根据权利要求1所述的方法，其特征在于，所述根据所述可见光图像和所述非可见光图像，合成第一合成图像，包括：
根据所述非可见光图像以及对应的第一权重系数和所述可见光图像以及对应的第二权重系数，合成所述第一合成图像。
5.根据权利要求1所述的方法，其特征在于，所述对所述可见光图像和所述第一合成图像进行降噪，包括：
利用所述可见光图像和所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；
根据所确定出的降噪控制强度值，分别对所述可见光图像和所述第一合成图像进行降噪。
6.根据权利要求1所述的方法，其特征在于，所述对所述可见光图像和所述第一合成图像进行降噪，包括：
利用所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；
根据所确定出的降噪控制强度值，分别对所述可见光图像和所述第一合成图像进行降噪。
7.根据权利要求5所述的方法，其特征在于，所述利用所述可见光图像和所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值，包括：
根据所述可见光图像以及预设降噪公式，确定第一降噪权重值；
根据所述第一合成图像以及所述预设降噪公式，确定第二降噪权重值；
根据所述第一降噪权重值以及所述第二降噪权重值，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值。
8.根据权利要求5所述的方法，其特征在于，所述利用所述可见光图像和所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值，包括：
获得所述可见光图像的第一增益值以及所述第一合成图像的第二增益值；
判断所述第一增益值与所述第二增益值的差值是否大于预定阈值；
当判断结果为否时，根据所述可见光图像以及预设降噪公式，确定第一降噪权重值；根据所述第一合成图像以及所述预设降噪公式，确定第二降噪权重值；根据所述第一降噪权重值以及所述第二降噪权重值，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；
当判断结果为是时，根据所述第一合成图像以及所述预设降噪公式，确定所述第二降噪权重值，将所述第二降噪权重值确定为所述可见光图像和所述第一合成图像所对应的降噪控制强度值。
9.根据权利要求6所述的方法，其特征在于，所述利用所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值，包括：
根据所述第一合成图像以及预设降噪公式，确定第三降噪权重值，将所述第三降噪权重值确定为所述可见光图像和所述第一合成图像所对应的降噪控制强度值。
10.根据权利要求7-9任一项所述的方法，其特征在于，所述预设降噪公式为：
其中，所述fxy表示待降噪的所述可见光图像或所述第一合成图像的当前像素点的像素值，所述x和y表示当前像素点的坐标；所述fij表示当前像素点的预设邻域内的像素点的像素值，所述i和j表示当前像素点的坐标；所述δ1和δ2表示高斯分布标准差。
11.根据权利要求10所述的方法，其特征在于，所述对所述可见光图像和所述第一合成图像进行降噪所利用公式为：
其中，所述r表示所述预设邻域的半径；所述W(x,y)表示降噪后的第一合成图像，所述VIS(x,y)表示降噪后的可见光图像；所述x和y表示待降噪的所述可见光图像或所述第一合成图像的当前像素点的坐标，所述W(x+i,y+j)表示所述第一合成图像的当前像素点的预设邻域内的像素点的像素值；所述VIS(x+i,y+j)表示所述可见光图像的当前像素点的预设邻域内的像素点的像素值；所述weight(x+i,y+j)表示所述可见光图像或所述第一合成图像的当前像素点对应的降噪控制强度值。
12.一种图像融合装置，其特征在于，所述装置包括：获得模块、合成模块、降噪模块和融合模块；
获得模块，用于获得可见光传感器生成的可见光图像以及非可见光传感器生成的非可见光图像，其中，所述可见光图像与所述非可见光图像存在对应关系；
合成模块，用于根据所述可见光图像和所述非可见光图像，合成第一合成图像；
降噪模块，用于对所述可见光图像和所述第一合成图像进行降噪；
融合模块，用于融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像。
13.根据权利要求12所述的装置，其特征在于，所述装置还包括滤波模块；
所述滤波模块，用于所述对所述可见光图像和所述第一合成图像分别进行降噪之后，分别对降噪后的可见光图像以及降噪后的第一合成图像进行滤波；
所述融合模块，具体用于融合滤波后的可见光图像以及滤波后的第一合成图像，生成第二合成图像。
14.根据权利要求13所述的装置，其特征在于，所述滤波模块包括第一滤波单元和第二滤波单元；
所述第一滤波单元，用于对所述降噪后的可见光图像进行低通滤波，得到低频信息对应的图像；
所述第二滤波单元，用于对所述降噪后的第一合成图像进行高通滤波，得到高频信息对应的图像；
所述融合模块，具体用于融合所述低频信息对应的图像和所述高频信息对应的图像，生成所述第二合成图像。
15.根据权利要求12所述的装置，其特征在于，所述合成模块，具体用于根据所述非可见光图像以及对应的第一权重系数和所述可见光图像以及对应的第二权重系数，合成所述第一合成图像。
16.根据权利要求12所述的装置，其特征在于，所述降噪模块包括第一确定单元和第一降噪单元；
所述第一确定单元，用于利用所述可见光图像和所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；
所述第一降噪单元，用于根据所确定出的降噪控制强度值，分别对所述可见光图像和所述第一合成图像进行降噪。
17.根据权利要求12所述的装置，其特征在于，所述降噪模块包括第二确定单元和第二降噪单元；
所述第二确定单元，用于利用所述第一合成图像，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；
所述第二降噪单元，用于根据所确定出的降噪控制强度值，分别对所述可见光图像和所述第一合成图像进行降噪。
18.根据权利要求16所述的装置，其特征在于，所述第一确定单元包括第一确定子单元、第二确定子单元和第三确定子单元；
所述第一确定子单元，用于根据所述可见光图像以及预设降噪公式，确定第一降噪权重值；
所述第二确定子单元，用于根据所述第一合成图像以及所述预设降噪公式，确定第二降噪权重值；
所述第三确定子单元，用于根据所述第一降噪权重值以及所述第二降噪权重值，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值。
19.根据权利要求16所述的装置，其特征在于，所述第一确定单元包括获得子单元、判断子单元、第四确定子单元和第五确定子单元；
所述获得子单元，用于获得所述可见光图像的第一增益值以及所述第一合成图像的第二增益值；
所述判断子单元，用于判断所述第一增益值与所述第二增益值的差值是否大于预定阈值；
当判断结果为否时，触发所述第四确定子单元；当判断结果为是时，触发所述第五确定子单元；
所述第四确定子单元，用于根据所述可见光图像以及预设降噪公式，确定第一降噪权重值；根据所述第一合成图像以及所述预设降噪公式，确定第二降噪权重值；根据所述第一降噪权重值以及所述第二降噪权重值，确定所述可见光图像和所述第一合成图像所对应的降噪控制强度值；
所述第五确定子单元，用于根据所述第一合成图像以及所述预设降噪公式，确定所述第二降噪权重值，将所述第二降噪权重值确定为所述可见光图像和所述第一合成图像所对应的降噪控制强度值。
20.根据权利要求17所述的装置，其特征在于，所述第二确定单元，具体用于根据所述第一合成图像以及预设降噪公式，确定第三降噪权重值，将所述第三降噪权重值确定为所述可见光图像和所述第一合成图像所对应的降噪控制强度值。
21.根据权利要求18-20任一项所述的装置，其特征在于，所述预设降噪公式为：
其中，所述fxy表示待降噪的所述可见光图像或所述第一合成图像的像素点的像素值，所述x和y表示当前像素点的坐标；所述fij表示当前像素点的预设邻域内的像素点的像素值，所述i和j表示当前像素点的预设邻域内的像素点的坐标；所述δ1和δ2表示高斯分布标准差。
22.根据权利要求21所述的装置，其特征在于，所述对所述可见光图像和所述第一合成图像进行降噪所利用公式为：
其中，所述r表示所述预设邻域的半径；所述W(x,y)表示降噪后的第一合成图像，所述VIS(x,y)表示降噪后的可见光图像；所述x和y表示待降噪的所述可见光图像或所述第一合成图像的当前像素点的坐标，所述W(x+i,y+j)表示所述第一合成图像的当前像素点的预设邻域内的像素点的像素值；所述VIS(x+i,y+j)表示所述可见光图像的当前像素点的预设邻域内的像素点的像素值；所述weight(x+i,y+j)表示所述可见光图像或所述第一合成图像的当前像素点对应的降噪控制强度值。
23.一种图像融合系统，其特征在于，所述系统包括可见光传感器、非可见光传感器以及处理器；
所述可见光传感器，用于采集可见光信号，并根据所述可见光信号生成可见光图像；
所述非可见光传感器，用于采集非可见光信号，并根据所述非可见光信号生成非可见光图像；
所述处理器，用于获得所述可见光传感器生成的可见光图像以及所述非可见光传感器生成的非可见光图像，其中，所述可见光图像与所述非可见光图像存在对应关系；根据所述可见光图像和所述非可见光图像，合成第一合成图像；对所述可见光图像和所述第一合成图像进行降噪；融合降噪后的可见光图像以及降噪后的第一合成图像，生成第二合成图像。
CN201610874997.2A 2016-10-08 2016-10-08 一种图像融合方法、装置及系统 Active CN107918929B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610874997.2A CN107918929B (zh) 2016-10-08 2016-10-08 一种图像融合方法、装置及系统
US16/331,009 US10977781B2 (en) 2016-10-08 2017-05-31 Method, device and system for image fusion
EP17857775.5A EP3525130B1 (en) 2016-10-08 2017-05-31 Method, device and system for image fusion
PCT/CN2017/086559 WO2018064894A1 (zh) 2016-10-08 2017-05-31 一种图像融合方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610874997.2A CN107918929B (zh) 2016-10-08 2016-10-08 一种图像融合方法、装置及系统

Publications (2)

Publication Number Publication Date
CN107918929A CN107918929A (zh) 2018-04-17
CN107918929B true CN107918929B (zh) 2019-06-21

Family

ID=61831308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610874997.2A Active CN107918929B (zh) 2016-10-08 2016-10-08 一种图像融合方法、装置及系统

Country Status (4)

Country Link
US (1) US10977781B2 (zh)
EP (1) EP3525130B1 (zh)
CN (1) CN107918929B (zh)
WO (1) WO2018064894A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110830675B (zh) * 2018-08-10 2022-05-03 株式会社理光 读取装置、图像形成装置及读取方法
CN110490811B (zh) * 2019-05-31 2022-09-09 杭州海康威视数字技术股份有限公司 图像降噪装置及图像降噪方法
GB201908517D0 (en) * 2019-06-13 2019-07-31 Spectral Edge Ltd 3D digital imagenoise reduction system and method
CN110213501A (zh) 2019-06-25 2019-09-06 浙江大华技术股份有限公司 一种抓拍方法、装置、电子设备及存储介质
CN110458787B (zh) * 2019-08-09 2022-03-08 武汉高德智感科技有限公司 一种图像融合方法、装置及计算机存储介质
CN111462031A (zh) * 2020-03-27 2020-07-28 Oppo广东移动通信有限公司 一种多帧hdr图像处理方法、装置、存储介质及电子设备
CN112819739B (zh) * 2021-01-28 2024-03-01 浙江祺跃科技有限公司 一种扫描电子显微镜图像处理方法和系统
CN112950502B (zh) * 2021-02-26 2024-02-13 Oppo广东移动通信有限公司 图像处理方法及装置、电子设备、存储介质
CN113724164B (zh) * 2021-08-31 2024-05-14 南京邮电大学 一种基于融合重构制导滤波的可见光图像噪声去除方法
CN114549570B (zh) * 2022-03-10 2022-10-18 中国科学院空天信息创新研究院 光学影像与sar影像的融合方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075683A (zh) * 2009-11-20 2011-05-25 三星电子株式会社 数字图像处理设备和数字图像处理设备的拍摄方法
US8345936B2 (en) * 2008-05-09 2013-01-01 Noblis, Inc. Multispectral iris fusion for enhancement and interoperability
CN103116741A (zh) * 2013-01-28 2013-05-22 天津理工大学 手掌静脉与手掌纹融合图像的采集识别系统
CN103390281A (zh) * 2013-07-29 2013-11-13 西安科技大学 一种双光谱夜视仪车载系统及双光谱融合设计方法
CN104683767A (zh) * 2015-02-10 2015-06-03 浙江宇视科技有限公司 透雾图像生成方法及装置
WO2015157058A1 (en) * 2014-04-07 2015-10-15 Bae Systems Information & Electronic Systems Integration Inc. Contrast based image fusion
CN105069768A (zh) * 2015-08-05 2015-11-18 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
CN105321172A (zh) * 2015-08-31 2016-02-10 哈尔滨工业大学 一种sar、红外、可见光图像融合方法
CN105989585A (zh) * 2015-03-05 2016-10-05 深圳市朗驰欣创科技有限公司 一种红外图像与可见光图像融合的方法及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4534756B2 (ja) * 2004-12-22 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
JP4466569B2 (ja) * 2006-01-10 2010-05-26 株式会社豊田中央研究所 カラー画像再生装置
JP4341695B2 (ja) * 2007-05-17 2009-10-07 ソニー株式会社 画像入力処理装置、撮像信号処理回路、および、撮像信号のノイズ低減方法
US8723958B2 (en) * 2008-04-30 2014-05-13 Konica Minolta Opto, Inc. Image pickup apparatus and image pickup element
JP2010103740A (ja) * 2008-10-23 2010-05-06 Panasonic Corp デジタルカメラ
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9692991B2 (en) * 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
JP6300782B2 (ja) * 2013-02-28 2018-03-28 株式会社日立製作所 画像処理装置、磁気共鳴イメージング装置および画像処理方法
US20140321739A1 (en) * 2013-04-26 2014-10-30 Sony Corporation Image processing method and apparatus and electronic device
KR101580585B1 (ko) * 2014-12-02 2015-12-28 서울시립대학교 산학협력단 전정색영상과 적외선영상의 융합 방법 및 장치
JP6597636B2 (ja) * 2014-12-10 2019-10-30 ソニー株式会社 撮像装置、撮像方法、およびプログラム、並びに画像処理装置
CN110830779B (zh) * 2015-08-28 2022-06-03 杭州海康威视数字技术股份有限公司 一种图像信号的处理方法和系统
JP2017168925A (ja) * 2016-03-14 2017-09-21 ソニー株式会社 信号処理装置、撮像装置および信号処理方法
WO2018017904A1 (en) * 2016-07-21 2018-01-25 Flir Systems Ab Fused image optimization systems and methods
US10699395B2 (en) * 2016-10-14 2020-06-30 Mitsubishi Electric Corporation Image processing device, image processing method, and image capturing device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345936B2 (en) * 2008-05-09 2013-01-01 Noblis, Inc. Multispectral iris fusion for enhancement and interoperability
CN102075683A (zh) * 2009-11-20 2011-05-25 三星电子株式会社 数字图像处理设备和数字图像处理设备的拍摄方法
CN103116741A (zh) * 2013-01-28 2013-05-22 天津理工大学 手掌静脉与手掌纹融合图像的采集识别系统
CN103390281A (zh) * 2013-07-29 2013-11-13 西安科技大学 一种双光谱夜视仪车载系统及双光谱融合设计方法
WO2015157058A1 (en) * 2014-04-07 2015-10-15 Bae Systems Information & Electronic Systems Integration Inc. Contrast based image fusion
CN104683767A (zh) * 2015-02-10 2015-06-03 浙江宇视科技有限公司 透雾图像生成方法及装置
CN105989585A (zh) * 2015-03-05 2016-10-05 深圳市朗驰欣创科技有限公司 一种红外图像与可见光图像融合的方法及系统
CN105069768A (zh) * 2015-08-05 2015-11-18 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
CN105321172A (zh) * 2015-08-31 2016-02-10 哈尔滨工业大学 一种sar、红外、可见光图像融合方法

Also Published As

Publication number Publication date
EP3525130B1 (en) 2021-03-17
EP3525130A1 (en) 2019-08-14
CN107918929A (zh) 2018-04-17
WO2018064894A1 (zh) 2018-04-12
EP3525130A4 (en) 2019-09-11
US10977781B2 (en) 2021-04-13
US20190188838A1 (en) 2019-06-20

Similar Documents

Publication Publication Date Title
CN107918929B (zh) 一种图像融合方法、装置及系统
JP5460173B2 (ja) 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
CN107534735B (zh) 终端的图像处理方法、装置和终端
CN110378859B (zh) 一种新的高动态范围图像生成方法
CN105144233B (zh) 用于运动重影滤波的参考图像选择
CN109951646A (zh) 图像融合方法、装置、电子设备及计算机可读存储介质
CN108055452A (zh) 图像处理方法、装置及设备
CN104995912B (zh) 摄像装置、图像处理装置及图像处理方法
CN108154514B (zh) 图像处理方法、装置及设备
CN107566747A (zh) 一种图像亮度增强方法及装置
DE102019106252A1 (de) Verfahren und System für Lichtquellenschätzung zur Bildverarbeitung
CN107292860A (zh) 一种图像处理的方法及装置
TW201029443A (en) Method and device for generating a depth map
DE112010006012B4 (de) Anzeigesystem
CN110490811A (zh) 图像降噪装置及图像降噪方法
CN110493506A (zh) 一种图像处理方法和系统
EP2709056B1 (en) Image processing device, image processing method, and recording medium that has recorded program
US20170154437A1 (en) Image processing apparatus for performing smoothing on human face area
CN110493532A (zh) 一种图像处理方法和系统
CN105354801B (zh) 一种基于hsv色彩空间的图像增强方法
DE112013006596T5 (de) Bildverarbeitungsvorrichtung, Bildaufnahmevorrichtung, Bildverarbeitungsverfahren und Programm
CN109996002A (zh) 一种方法以及电子设备
CN110533709A (zh) 深度图像获取方法、装置及系统、图像采集设备
CN110493531A (zh) 一种图像处理方法和系统
US9294685B2 (en) Image processing apparatus, electronic camera, and medium storing image processing program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant