CN109951646B - 图像融合方法、装置、电子设备及计算机可读存储介质 - Google Patents

图像融合方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN109951646B
CN109951646B CN201711381018.0A CN201711381018A CN109951646B CN 109951646 B CN109951646 B CN 109951646B CN 201711381018 A CN201711381018 A CN 201711381018A CN 109951646 B CN109951646 B CN 109951646B
Authority
CN
China
Prior art keywords
image
exposure
images
pixel
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711381018.0A
Other languages
English (en)
Other versions
CN109951646A (zh
Inventor
范蒙
俞海
浦世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202110076502.2A priority Critical patent/CN112788249B/zh
Priority to CN201711381018.0A priority patent/CN109951646B/zh
Priority to PCT/CN2018/101859 priority patent/WO2019119842A1/zh
Publication of CN109951646A publication Critical patent/CN109951646A/zh
Application granted granted Critical
Publication of CN109951646B publication Critical patent/CN109951646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/14—Optical objectives specially designed for the purposes specified below for use with infrared or ultraviolet radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了图像融合方法、装置、电子设备及计算机可读存储介质，该方法首先获得在一个图像采集周期内通过至少两次曝光得到的各帧图像；再基于所采集的各帧图像中的其中一帧，确定感红外亮度图像；并基于所采集的各帧图像中的其余图像，确定可见光色彩图像；最后将所确定的感红外亮度图像与可见光色彩图像融合，获得融合图像。本发明实施例提供的方案中，上述在一个图像采集周期内通过至少两次曝光得到的各帧图像可以是由一个图像传感器进行采集的，所以只要设备中存在一个图像传感器，就可以完成图像的采集与融合，以提升低照度情况下的图像质量，故本发明实施例所提供方案的设备适应性好，便于应用。

Description

图像融合方法、装置、电子设备及计算机可读存储介质
技术领域
本发明涉及图像采集技术领域，特别是涉及图像融合方法、装置、电子设备及计算机可读存储介质。
背景技术
图像融合技术中的融合可以理解为：将可见光图像与红外图像等非可见光图像进行融合，得到融合后的图像；其中，融合后的图像为双波段图像，相对于属于单波段的可见光图像和非可见光图像中的任一种图像而言，融合后的图像可体现出的图像信息更多。
现有技术中，图像融合技术主要指分光融合技术，该技术进行图像融合的基本流程为：通过分光棱镜等分光装置将入射光分为可见光信号和非可见光信号，然后由两个传感器分别基于可见光信号和非可见光信号分别生成可见光图像以及非可见光图像，最后将可见光图像和非可见光图像进行融合，得到融合图像。
可以理解，上述分光融合技术必须适配在具有两个图像传感器的设备中，如果设备中只有一个图像传感器，则无法完成上述分光融合的过程，故现有技术中分光融合技术的设备适应性差。
发明内容
本发明实施例的目的在于提供一种图像融合方法、装置、电子设备及计算机可读存储介质，以提高图像融合技术的设备适应性。具体技术方案如下：
为达上述目的，第一方面，本发明实施例提供了一种图像融合方法，所述方法包括：
获得在一个图像采集周期内通过至少两次曝光得到的各帧图像；
基于所述各帧图像中的其中一帧，确定感红外亮度图像；
基于所述各帧图像中的其余图像，确定可见光色彩图像；
将所述感红外亮度图像与所述可见光色彩图像融合，获得融合图像。
可选的，所述方法应用于图像融合设备，所述各帧图像由所述图像融合设备采集；
所述方法还包括：
在所述图像采集周期内的第预设次曝光所对应曝光时间内进行红外补光；
所述基于所述各帧图像中的其中一帧，确定感红外亮度图像的步骤，包括：
基于所述第预设次曝光所得到的图像，确定感红外亮度图像。
可选的，所述第预设次曝光所对应的曝光参数不大于目标最大值，
其中，所述曝光参数为曝光时长和/或增益，所述目标最大值为除所述第预设次曝光外其余各次曝光所对应曝光参数中的最大值。
可选的，所述在所述图像采集周期内的第预设次曝光所对应曝光时间内进行红外补光的步骤，包括：
按照如下控制方式，在所述图像采集周期内的第预设次曝光所对应曝光时间内进行红外补光：
红外补光的开始时刻不早于所述第预设次曝光的曝光开始时刻，红外补光的结束时刻不晚于所述第预设次曝光的曝光结束时刻。
可选的，在所述图像采集周期内的曝光次数大于两次时，所述第预设次曝光为所述至少两次曝光中的第一次曝光或最后一次曝光。
可选的，所述基于所述各帧图像中的其中一帧，确定感红外亮度图像的步骤，包括：
对所述各帧图像中的其中一帧进行去马赛克处理，并用去马赛克处理后的该帧图像生成感红外亮度图像。
可选的，所述各帧图像中的其余图像的数量为1，
所述基于所述各帧图像中的其余图像，确定可见光色彩图像的步骤，包括：
对所述各帧图像中的其余图像进行去红外处理，获得可见光色彩图像。
可选的，所述对所述各帧图像中的其余图像进行去红外处理，获得可见光色彩图像的步骤，包括：
在目标图像包含有IR通道的情况下，对所述目标图像的IR通道进行插值，生成插值处理后的所述目标图像，其中，所述目标图像为所述各帧图像中的其余图像；
针对插值处理后所述目标图像中的每一像素，按照如下方式进行更新，得到可见光色彩图像：
如果该像素存在R值，更新该像素的R值为：该像素的R值与该像素的IR参数值的差值；如果该像素存在G值，更新该像素的G值为：该像素的G值与该像素的IR参数值的差值；如果该像素存在B值，更新该像素的B值为：该像素的B值与该像素的IR参数值的差值；其中，像素的IR参数值为该像素的IR值与预设修正值的乘积。
可选的，所述各帧图像中的其余图像的数量至少为2，且所述各帧图像中的其余图像所分别对应的曝光时长不同；
所述基于所述各帧图像中的其余图像，确定可见光色彩图像的步骤，包括：
将所述各帧图像中的其余图像进行宽动态合成处理，得到宽动态图像；
对所述宽动态图像进行去红外处理，获得可见光色彩图像。
可选的，所述方法应用于图像融合设备，所述各帧图像由所述图像融合设备采集；
所述图像融合设备的光学镜头上设置有滤光片，所述滤光片滤除的光谱区域包括[T1，T2]；其中，600nm≤T1≤800nm，750nm≤T2≤1100nm，T1＜T2。
第二方面，本发明实施例提供了一种图像融合装置，所述装置包括：
获得模块，用于获得在一个图像采集周期内通过至少两次曝光得到的各帧图像；
第一确定模块，用于基于所述各帧图像中的其中一帧，确定感红外亮度图像；
第二确定模块，用于基于所述各帧图像中的其余图像，确定可见光色彩图像；
融合模块，用于将所述感红外亮度图像与所述可见光色彩图像融合，获得融合图像。
可选的，所述装置应用于图像融合设备，所述各帧图像由所述图像融合设备采集；
所述装置还包括：
红外补光模块，用于在所述图像采集周期内的第预设次曝光所对应曝光时间内进行红外补光；
所述第一确定模块，具体用于：
基于所述第预设次曝光所得到的图像，确定感红外亮度图像。
可选的，所述第预设次曝光所对应的曝光参数不大于目标最大值，
其中，所述曝光参数为曝光时长和/或增益，所述目标最大值为除所述第预设次曝光外其余各次曝光所对应曝光参数中的最大值。
可选的，所述红外补光模块，具体用于：
按照如下控制方式，在所述图像采集周期内的第预设次曝光所对应曝光时间内进行红外补光：
红外补光的开始时刻不早于所述第预设次曝光的曝光开始时刻，红外补光的结束时刻不晚于所述第预设次曝光的曝光结束时刻。
可选的，在所述图像采集周期内的曝光次数大于两次时，所述第预设次曝光为所述至少两次曝光中的第一次曝光或最后一次曝光。
可选的，所述第一确定模块，具体用于：
对所述各帧图像中的其中一帧进行去马赛克处理，并用去马赛克处理后的该帧图像生成感红外亮度图像。
可选的，所述各帧图像中的其余图像的数量为1，
所述第二确定模块，具体用于：
对所述各帧图像中的其余图像进行去红外处理，获得可见光色彩图像。
可选的，所述第二确定模块，包括：
插值子模块，用于在目标图像包含有IR通道的情况下，对所述目标图像的IR通道进行插值，生成插值处理后的所述目标图像，其中，所述目标图像为所述各帧图像中的其余图像；
更新子模块，用于针对插值处理后所述目标图像中的每一像素，按照如下方式进行更新，得到可见光色彩图像：
如果该像素存在R值，更新该像素的R值为：该像素的R值与该像素的IR参数值的差值；如果该像素存在G值，更新该像素的G值为：该像素的G值与该像素的IR参数值的差值；如果该像素存在B值，更新该像素的B值为：该像素的B值与该像素的IR参数值的差值；其中，像素的IR参数值为该像素的IR值与预设修正值的乘积。
可选的，所述各帧图像中的其余图像的数量至少为2，且所述各帧图像中的其余图像所分别对应的曝光时长不同；
所述第二确定模块，包括：
第一处理子模块，用于将所述各帧图像中的其余图像进行宽动态合成处理，得到宽动态图像；
第二处理子模块，用于对所述宽动态图像进行去红外处理，获得可见光色彩图像。
可选的，所述装置应用于图像融合设备，所述各帧图像由所述图像融合设备采集；
所述图像融合设备的光学镜头上设置有滤光片，所述滤光片滤除的光谱区域包括[T1，T2]；其中，600nm≤T1≤800nm，750nm≤T2≤1100nm，T1＜T2。
第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，
其中，存储器，用于存放程序代码；
处理器，用于执行存储器上所存放的程序代码时，实现上述任一图像融合方法所述的方法步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像融合方法所述的方法步骤。
由上可知，本发明实施例提供的方案中，首先获得在一个图像采集周期内通过至少两次曝光得到的各帧图像；再基于所采集的各帧图像中的其中一帧，确定感红外亮度图像；并基于所采集的各帧图像中的其余图像，确定可见光色彩图像；最后将所确定的感红外亮度图像与可见光色彩图像融合，获得融合图像。与现有技术相比，本发明实施例提供的方案中，上述在一个图像采集周期内通过至少两次曝光得到的各帧图像可以由一个图像传感器所采集，所以只要设备中存在一个图像传感器，就可以完成图像的采集与融合，以提升低照度情况下的图像质量，故本发明实施例所提供方案的设备适应性好，便于应用；从另一角度来说，对于图像采集与融合一体的、并应用本发明实施例所提供方案的设备而言，该设备中可以只设置一个传感器，不必设置分光装置，结构简单，设备成本低。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种图像融合方法的流程示意图；
图2为本发明实施例涉及的RGBIR图像传感器的格式示意图；
图3为本发明另一实施例提供的图像融合方法的流程示意图；
图4为本发明实施例涉及的光谱响应示意图；
图5为本发明实施例涉及的一种体现曝光与红外补光关系的示意图；
图6为本发明实施例涉及的另一种体现曝光与红外补光关系的示意图；
图7为本发明实施例涉及的图像融合设备的一种结构示意图；
图8为本发明一实施例提供的一种图像融合装置的结构示意图；
图9为本发明另一实施例提供的一种图像融合装置的结构示意图；
图10为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面首先对本申请文件涉及的技术术语进行简单介绍。
图像采集周期，在本申请文件中，是指连续多次曝光得到的各帧图像所对应的时间段，该图像采集周期的时间通常不会太长，例如，一个图像采集周期为40ms(毫秒)；以一个图像传感器为例，图像传感器可以利用每一次曝光得到的入射光信号生成图像，多次曝光后则可以得到多帧图像，若以此多帧图像获得一帧融合图像，则该多帧图像分别对应的曝光时间总和可以为上述图像采集周期。
另外，对于视频的拍摄过程，视频中的每帧视频图像均可以看做是本申请文件中的融合图像，即每一帧视频图像都是基于图像传感器成像获得的多帧原始图像融合获得的，所以对于视频技术领域而言，上述图像采集周期可以为：上一帧视频图像所对应第一帧原始图像的开始曝光时刻，至下一帧视频图像所对应第一帧原始图像的开始曝光时刻所经过的时间。
可见光，是人眼可以感知的电磁波，可见光谱没有精确的范围，一般人的眼睛可以感知的电磁波的波长在400～760nm(纳米)之间。红外光为一种波长介于760nm～1mm(毫米)电磁波，其不为人眼所见。
可见光色彩图像，可以是指仅感知了可见光信号的色彩图像，该色彩图像仅对可见光波段感光。
感红外亮度图像，可以是指感知了红外光信号的亮度图像，需要注意的是，感红外亮度图像并不限于其为仅感知了红外光信号的亮度图像，其还可以是感知了红外光信号以及其他波段光信号的亮度图像。
为了解决上述背景技术所提及的问题，本发明实施例提供了提供一种图像融合方法、装置、电子设备及计算机可读存储介质，以提高图像融合技术的设备适应性。
下面首先对本发明实施例提供的一种图像融合方法进行详细介绍。
本发明实施例提供的一种图像融合方法可以应用于一图像融合设备，该图像融合设备可以为具有图像采集功能的设备，例如摄像机；另外，该图像融合设备还可以是不具备图像采集功能，但与图像采集设备相通信的设备，其可以接收图像采集设备所采集并发送的图像，这都是合理的，本发明实施例并不限定该图像融合设备的具体形式。
本发明实施例提供的一种图像融合方法，如图1所示，上述方法包括：
S101：获得在一个图像采集周期内通过至少两次曝光得到的各帧图像。
关于步骤S101中各帧图像的获得形式，如前所述，一种情况下，该图像融合设备可以为具有图像采集功能的设备，则步骤S101可以为：在一个图像采集周期内，通过至少两次曝光采集得到各帧图像，即步骤S101所得到的各帧图像为图像融合设备自身所采集的。例如，图像融合设备为一摄像机，该摄像机在一个图像采集周期内进行了3次曝光，则摄像机采集了3帧图像。
需要说明的是，本发明实施例中图像融合设备在一个图像采集周期内所采集的各帧图像可以不是由图像融合设备中的一个图像传感器所成像获得的，例如，具有双摄像头的摄像机。另外，此情况下，步骤S101也可以为：接收其他设备在一个图像采集周期内通过至少两次曝光采集得到的各帧图像。
如前所述的另一种情况，该图像融合设备为不具备图像采集功能、但与其他图像采集设备相通信的设备，则步骤S101可以为：接收图像采集设备发送的在一个图像采集周期内通过至少两次曝光采集得到的各帧图像。例如，监控前端摄像机在一个图像采集周期内采集了3帧图像，并将该3帧图像发送给监控后端的图像融合设备，即监控后端的图像融合设备获得上述3帧图像。
上述所得到的各帧图像中的图像数量是与上述一个图像采集周期内的曝光次数相同的，每一次曝光都仅可以得到一帧曝光图像。一个图像采集周期对应的曝光次数可以是预设的，例如预设曝光次数为2，则上述步骤S101可以具体为获得在一个图像采集周期内通过两次曝光得到的两帧图像。
需要说明的是，本发明实施例中，上述所得到的各帧图像是由图像传感器所成像获得的，该图像传感器可以是普通常见的图像传感器，但是为了保证上述所得到的各帧图像中包含有尽可能多的红外成分，上述图像传感器可以为RGBIR图像传感器，如美商半导体公司Ominivision所生产的型号为OV4682的RGBIR图像传感器。
示例性的，假设图像融合设备自身设置有一个图像采集部件，以采集上述所得到的各帧图像，则该图像采集部件中所采用的图像传感器为RGBIR图像传感器。
S102：基于所得到的各帧图像中的其中一帧，确定感红外亮度图像。
作为本发明实施例的一种可选实现方式，可以在所得到的各帧图像中随机选择一帧图像，并用所选择的图像来确定感红外亮度图像，例如，一个图像采集周期内采集3帧图像，图像融合设备随机选择第二帧图像来生成感红外亮度图像；作为本发明实施例的另一种可选实现方式，还可以预设某一帧图像来确定感红外亮度图像，例如，一个图像采集周期内采集3帧图像，预设所采集的最后一帧图像为用于确定感红外亮度图像的图像。
另外，上述基于所得到的各帧图像中的其中一帧，确定感红外亮度图像(S102)的步骤，可以是直接利用所得到的各帧图像中的其中一帧生成感红外亮度图像，但是图像传感器所采集的图像质量通常较差，可能会导致直接生成的感红外亮度图像的质量较差；所以，为了保证感红外亮度图像的图像质量，可以对所得到的各帧图像中的其中一帧进行图像处理，得到图像处理后的图像，然后用图像处理后的图像生成感红外亮度图像，当然，对该帧图像进行图像处理所采用的具体处理方法本发明实施例并不限定，只要是可以提高图像质量的图像处理方法都是合理的。
作为本发明实施例的一种可选方式，为了得到清晰且具有真实图像细节的感红外亮度图像，上述的图像处理方式可以是去马赛克处理，即可以对上述所得到的各帧图像中的其中一帧进行去马赛克处理，然后用去马赛克处理后的该帧图像生成感红外亮度图像。即，上述基于所得到的各帧图像中的其中一帧，确定感红外亮度图像(S102)的步骤，可以包括：
步骤X：对所得到的各帧图像中的其中一帧进行去马赛克处理，并用去马赛克处理后的该帧图像生成感红外亮度图像。
本领域技术人员可以理解的是，在图像传感器直接成像得到的图像中，各通道信号交错分布，以RGBIR图像传感器为例，如图2所示，R(red)、G(green)、B(blue)以及IR(Infrared Spectroscopy，红外)通道信号交错分布，直接放大观看图像传感器成像得到的图像时，会发现图像中具有马赛克现象，清晰度不佳，因此需要进行去马赛克处理，生成真实细节的图像。
为了便于说明，将此处所得到的各帧图像中的其中一帧称为待处理图像，则上述对所得到的各帧图像中的其中一帧进行去马赛克处理，并用去马赛克处理后的该帧图像生成感红外亮度图像的步骤，可以包括对待处理图像进行去马赛克处理的步骤1和用去马赛克处理后的待处理图像生成感红外亮度图像的步骤2：
步骤1：对待处理图像的R、G、B以及IR通道分别进行插值，获得待处理图像中每个像素分别对应的R值、G值、B值以及IR值。
具体的，步骤1中进行插值所采用的插值方法可以为双线性插值算法、双三次插值算法等，本发明实施例并不对此所采用的插值算法进行限定。
步骤2：对插值后得到的待处理图像中的R通道值、G通道值、B通道值以及IR(Infrared Spectroscopy，红外)通道值求取平均值，得到去马赛克处理后的感红外亮度图像。
即步骤2可以得到一个与输入分辨率相同的、仅包括亮度信号的感红外亮度图像，该感红外亮度图像中，每个像素的亮度值为：待处理图像中对应的各通道值的平均值。以RGBIR图像传感器所对应的图像为例，图像中每个像素的亮度值为：像素的R通道值、G通道值、B通道值以及IR通道值的平均值；例如，感红外亮度图像中像素坐标为(x，y)的亮度值等于待处理图像中像素坐标为(x，y)的R通道值、G通道值、B通道值以及IR通道值的平均值。
当然，上述步骤1和步骤2仅是对去步骤X的示例性说明，并不构成对本发明实施例的具体限定，本领域技术人员可以基于其他具体技术手段完成步骤X。
S103：基于所得到的各帧图像中的其余图像，确定可见光色彩图像。
首先需要说明的是，此处所说的其余图像为上述所得到的各帧图像中去除步骤S102中用以确定感红外亮度图像的一帧图像后所剩余的图像。例如，上述所得到的各帧图像包括图像a～c，其中，图像a被用于确定感红外亮度图像，则图像b和c即为步骤S103所述的其余图像；再如，上述所得到的各帧图像包括图像d和e，其中，图像d被用于确定感红外亮度图像，则图像e即为步骤S103所述的其余图像。
步骤S103中所确定的可见光色彩图像为不包含红外成分的图像，所以需要对所得到的各帧图像中的其余图像进行去红外处理，以得到具有真实色彩还原度的可见光色彩图像。可以理解，步骤S103中所涉及的其余图像的数量可以为1个，也可以为至少两个，故本发明实施例中，一种情况下，当上述所得到的各帧图像中的其余图像的数量为1时，上述基于所得到的各帧图像中的其余图像，确定可见光色彩图像(S103)的步骤，可以包括：
对所得到的各帧图像中的其余图像进行去红外处理，获得可见光色彩图像。
对上述所得到的各帧图像中的其余图像进行去红外处理后，图像中的红外成分被去除，即可得到可见光色彩图像。当然，对图像进行去红外处理的方式可以参照现有技术，本发明实施例可以不限定该去红外处理的具体实现方式。
作为此情况下的一种可选实现方式，如图3所示，在图1所示方法实施例的基础上，上述对所得到的各帧图像中的其余图像进行去红外处理，获得可见光色彩图像的步骤，可以包括：
S1031：在目标图像包含有IR通道的情况下，对目标图像的IR通道进行插值，生成插值处理后的目标图像，其中，目标图像为各帧图像中的其余图像。
例如，用以成像获得目标图像的图像传感器为RGBIR图像传感器，则目标图像包含有IR通道；可以理解，对目标图像的IR通道分别进行插值后，插值处理后的目标图像中每个像素都对应有R值、G值和B值。同理的是，步骤S1031中进行插值所采用的插值方法可以为双线性插值算法、双三次插值算法等，本发明实施例并不对此所采用的插值算法进行限定。
S1032：针对插值处理后目标图像中的每一像素，按照如下方式进行更新，得到可见光色彩图像：
如果该像素存在R值，更新该像素的R值为：该像素的R值与该像素的IR参数值的差值；如果该像素存在G值，更新该像素的G值为：该像素的G值与该像素的IR参数值的差值；如果该像素存在B值，更新该像素的B值为：该像素的B值与该像素的IR参数值的差值；其中，像素的IR参数值为该像素的IR值与预设修正值的乘积。
上述预设修正值可以为0至1024中的任一整数或小数，预设修正值的具体数值可以根据实际情况进行设定，本发明实施例并不限定该预设修正值的取值大小。通常情况下，该预设修正值可以设置为1，则步骤S1032可以具体为：针对插值处理后目标图像中的每一像素，按照如下方式进行更新，得到可见光色彩图像：如果该像素存在R值，更新该像素的R值为：该像素的R值与该像素的IR值的差值；如果该像素存在G值，更新该像素的G值为：该像素的G值与该像素的IR值的差值；如果该像素存在B值，更新该像素的B值为：该像素的B值与该像素的IR值的差值。当然，本领域技术人员可以理解的是，预设修正值的取值并不局限于此。
具体的，步骤S1031执行后，目标图像的每个像素上都对应有一个IR值，但图像融合设备还没有对目标图像的R通道、G通道和B通道分别进行插值，所以目标图像中的像素可能对应仅有IR值，或者除具有IR值外，还具有R值、G值或B值。
示例性的，假设上述预设修正值为1，此时像素的IR参数值即为像素的IR值，则步骤S1032可以理解为：
针对插值处理后目标图像中的每一像素，按照如下方式进行更新：
如果该像素存在R值，更新该像素的R值为：该像素的R值与该像素的IR值的差值；如果该像素存在G值，更新该像素的G值为：该像素的G值与该像素的IR值的差值；如果该像素存在B值，更新该像素的B值为：该像素的B值与该像素的I值的差值；当然，如果该像素仅存在IR值，则对该像素不做任何更新处理。
此时，可以得到一个仅具有RGB三通道的色彩图像，可以将该色彩图像作为可见光色彩图像。
需要说明的是，在对所得到的各帧图像中的其余图像进行去红外处理后，去红外处理后的图像中，并不是每一个像素上都具有R值、G值以及B值，所以为了提高图像质量，还可以在去红外处理后，针对上述各帧图像中的其余图像的R通道、G通道和B通道分别进行插值，进而得到可见光色彩图像。
同理的是，针对上述各帧图像中的其余图像的R通道、G通道和B通道分别进行插值所采用的插值方法可以为双线性插值算法、双三次插值算法等，本发明实施例并不对此所采用的插值算法进行限定。
另外，除了上述图3所示实现方式外，对此处所述的其余图像进行去红外处理还可以采用现有技术中所提供的其他实现方式，本发明实施例在此不做限定。
另一种情况下，当上述所得到的各帧图像中的其余图像的数量至少为2时，上述所得到的各帧图像中的其余图像所分别对应的曝光时长不同。
可以理解，为了能够进行宽动态合成处理，得到宽动态图像，上述其余图像所分别对应的曝光时长不同，具体的，可以在图像融合设备中设置控制单元，以控制所得到的各帧图像对应的曝光时长。例如，上述其余图像的数量为2，则可以预先设置图像融合设备所采集的3帧图像中，除第一帧图像用以确定感红外亮度图像外，第二帧图像的曝光时长为32ms，第三帧图像对应的曝光是时长为2ms。
在此情况下，上述基于所得到的各帧图像中的其余图像，确定可见光色彩图像(S103)的步骤，可以包括下述步骤a和步骤b：
步骤a：将上述所得到的各帧图像中的其余图像进行宽动态合成处理，得到宽动态图像。
宽动态(High Dynamic Range，HDR)图像，亦成为宽动态范围图像，其相比与低动态范围图像，不存在局部过曝的现象，可以体现更多的图像细节，所以本发明实施例中为了能够获得体现有更多图像细节的可见光色彩图像，可以对上述多帧其余图像进行宽动态合成处理，得到宽动态图像。当然，对多帧图像进行宽动态合成处理的具体实现方式属于现有技术，本发明实施例在此不做详细介绍。
步骤b：对该宽动态图像进行去红外处理，获得可见光色彩图像。
同理，此处对该宽动态图像进行去红外处理的具体实现方式，可以参照前述图3所示方法实施例中对一帧其余图像进行去红外处理的具体实现方式，本发明实施例在此不做赘述。
S104：将所确定的感红外亮度图像与可见光色彩图像融合，获得融合图像。
本发明实施例中，将感红外亮度图像与可见光色彩图像进行融合所采用的实现方式可以是多种多样的，作为本发明实施例的一种实现方式，上述将所确定的感红外亮度图像与可见光色彩图像融合，获得融合图像的步骤，可以包括下述步骤a1～a4：
步骤a1：通过以下公式计算可见光色彩图像中每个像素的亮度信号：
Y＝(R+G+B)/3；
式中，Y表示可见光色彩图像中的像素的亮度信号值，R表示Y对应的像素的R通道值，G表示Y对应的像素的G通道值，B表示Y对应的像素的B通道值。
步骤a2：针对可见光色彩图像中每个像素，计算该像素的R通道值、G通道值、B通道值分别与该像素对应的亮度信号值Y的比例，即K1＝R/Y，K2＝G/Y，K3＝B/Y。
步骤a3：对可见光色彩图像中所有像素对应的K1、K2、K3进行色彩降噪处理，例如采用高斯滤波处理，得到每个像素对应的色彩降噪处理后的K1’、K2’、K3’。
步骤a4：采用以下公式，将感红外亮度图像中每个像素的亮度信号值Y’与可见光色彩图像中对应像素的K1’、K2’、K3’进行融合处理，得到融合图像：
R’＝K1’*Y’；
G’＝K2’*Y’；
B’＝K3’*Y’；
式中，R’、G’以及B’分别表示融合图像中的像素的R通道值、G通道值、B通道值；K1’、K2’以及K3’分别表示色彩降噪处理后，可见光色彩图像中对应像素的K1、K2、K3；Y’表示感红外亮度图像中对应像素的亮度信号值。
作为本发明实施例的另一种实现方式，上述将所确定的感红外亮度图像与可见光色彩图像融合，获得融合图像的步骤，可以包括下述步骤b1～b4：
步骤b1：将可见光色彩图像中的RGB色彩信号转换为YUV(一种颜色编码标准)信号。
当然，RGB色彩信号转换为YUV信号的具体实现方式属于现有技术，本发明实施例在此不做详细介绍。
步骤b2：提取该Y UV信号中的UV分量，即色彩分量。
步骤b3：对所提取的UV分量进行去除色彩噪声处理，例如进行高斯滤波降噪，得到处理后的UV分量；
步骤b4：将处理后的UV分量与感红外亮度图像的亮度信号组合，形成新的YUV信号，此时可以将该新的YUV信号对应的图像作为最终的融合图像；也可以将该将新的YUV信号再转化为新的RGB信号，将该新的RGB信号对应的图像作为最终的融合图像。
另外，与此实现方式类似的，还可以将可见光色彩图像中的RGB色彩信号转换为HSV(一种颜色编码标准)信号进行图像融合，本发明实施例在此不做限定。
另外需要说明的是，为了保证去除红外成分后颜色的准确还原，从而提高图像融合质量，在上述方法应用于图像融合设备，且上述所得到的各帧图像由该图像融合设备采集的情况下；
图像融合设备的光学镜头上可以设置有滤光片，该滤光片滤除的光谱区域可以包括[T1，T2]；其中，600nm≤T1≤800nm，750nm≤T2≤1100nm，T1＜T2。
参照图4，可以理解，R、G、B以及IR通道在近红外波段(650nm～1100nm)上响应差别较大，为了避免上述各通道在某些光谱区域响应差别大导致红外成分去除效果差的问题，图像融合设备的光学镜头上设置有滤光片，以滤除上述响应差别大的光谱区域。
具体的，上述图像融合设备中可以设置有图像采集单元，图像采集单元包含光学镜头、设置在该光学镜头上的滤光片以及图像传感器。该滤光片可以通过镀膜技术集成在上述光学镜头上；另外，该滤光片可以是带阻滤光片，也可以是成本更低的双峰滤光片，需要说明的是，该滤光片是双峰滤光片时，滤光片滤除的光谱区域还可以包括[T3，+∞)的光谱区域，850nm≤T3≤1100nm，T2＜T3。
与现有技术相比，本实施例提供的方案中，上述在一个图像采集周期内通过至少两次曝光得到的各帧图像可以是由一个图像传感器进行采集的，所以只要设备中存在一个图像传感器，就可以完成图像的采集与融合，以提升低照度情况下的图像质量，本实施例所提供方案的设备适应性好，便于应用；从另一角度来说，对于图像采集与融合一体的、并应用本实施例所提供方案的设备而言，该设备中可以只设置一个传感器，不必设置分光装置，结构简单，设备成本低。
为了得到信噪比高、质量更高的融合图像，作为本发明实施例的一种可选实现方式，在上述方法应用于图像融合设备，且上述所得到的各帧图像由该图像融合设备采集的情况下，在上述任一方法实施例的基础上，上述方法还可以包括：
在上述图像采集周期内的第预设次曝光所对应曝光时间内进行红外补光。
图像融合设备在一次曝光的过程中，利用光学镜头捕捉的入射光信号生成图像，如果未进行红外补光，则光学镜头所捕捉的入射光信号仅包括环境入射光信号，而在进行了红外补光的情况下，则光学镜头所捕捉的入射光信号包括环境入射光信号以及红外补光信号。
图像融合设备在第预设次曝光时间内进行红外补光，具体的，可以在图像融合设备中设置控制单元，以控制红外补光灯以及图像采集单元，使得红外补光灯的补光时间段处于图像采集单元中预设的某次曝光时间内。
需要说明的是，图像融合设备在第预设次曝光时间内进行红外补光，可以增加前述感红外亮度图像的质量，但是如果图像采集周期内除该第预设次曝光外的其他曝光时间内进行了红外补光，则增加了获得到上述可见光色彩图像的难度。
故，为在提高感红外亮度图像的质量的同时，不增加获得可见光色彩图像的难度，作为本发明实施例的一种可选实现方式，上述在图像采集周期内的第预设次曝光所对应曝光时间内进行红外补光的步骤，可以包括：
按照如下控制方式，在图像采集周期内的第预设次曝光所对应曝光时间内进行红外补光：
红外补光的开始时刻不早于该第预设次曝光的曝光开始时刻，红外补光的结束时刻不晚于该第预设次曝光的曝光结束时刻。
示例性的，图像融合设备内设置有控制单元，控制单元在图像采集周期内的第预设次曝光的开始时刻控制启动红外补光，并在第预设次曝光的结束时刻控制关闭红外补光，红外补光与该第预设次曝光完全同步，即该第预设次曝光开始时红外补光开始，第预设次曝光结束时红外补光结束。
本发明实施例中，红外补光的补光强度可以根据实际情况设定，本发明实施例并不限定红外补光的补光强度。另外，上述进行了红外补光的一次曝光所对应的曝光时长可以根据实际的补光参数所确定，本发明实施例同样并不限定上述进行了红外补光的一次曝光所对应的曝光时长。
另外，红外补光所使用红外光的波段可以不限定，但为了图像传感器可以得到最大的响应，本发明实施例可以使用波长为850nm～900nm波段的红外光进行红外补光。
在此情况下，上述基于所得到的各帧图像中的其中一帧，确定感红外亮度图像(S102)的步骤，可以包括：
基于上述第预设次曝光所得到的图像，确定感红外亮度图像。
可以理解，在本发明实施例中，用以确定感红外亮度图像的图像是在存在红外补光的条件下曝光获得的，而上述所得到的各帧图像中的其余图像则是在不存在红外补光的条件下曝光获得的。
引申到视频的拍摄过程，如前所述，视频中的每一帧图像即为本发明实施例中的融合图像，由于视频中的视频帧是连续采集的，所以上述红外补光的补光方式为一种频闪补光，并且，频闪补光的周期与每帧图像的采集周期是相同的。
可以理解，上述第预设次曝光的曝光过程中进行的红外补光会增强该第预设次曝光所得到图像的亮度，所以为了保证该第预设次曝光所得到图像的亮度保持在合适的亮度的范围内，在本发明实施例中，第预设次曝光所对应的曝光参数可以不大于目标最大值，其中，该曝光参数为曝光时长和/或增益，目标最大值为除第预设次曝光外其余各次曝光所对应曝光参数中的最大值。
以该曝光参数为曝光时长为例，假设一个图像采集周期内进行了三次曝光，预设图像采集周期内的第三次曝光所得到的图像用于生成感红外亮度图像，图像采集周期内的三次曝光的曝光时长分别为：x毫秒、y毫秒和z毫秒，假设第x＞y，则必然存在x≥z；例如，图像采集周期内的三次曝光的曝光时长分别为：25毫秒、5毫秒以及10毫秒。
再假设一个图像采集周期内进行了两次曝光，预设图像采集周期内的第一次曝光所得到的图像用于生成感红外亮度图像，图像采集周期内的两次曝光的曝光时长分别为：m毫秒和n毫秒，则必然存在n≥m；例如，图像采集周期内的两次曝光的曝光时长分别为：10毫秒以及30毫秒。
另外，在上述图像采集周期内的曝光次数大于两次时，上述第预设次曝光可以为上述至少两次曝光中的第一次曝光或最后一次曝光。
可以理解，上述图像采集周期内的曝光次数大于两次时，可以获得至少3帧图像，在这至少3帧图像中，其中一帧用以生成感红外亮度图像，其余帧图像用于生成可见光色彩图像，所以此处的其余帧图像需要为图像传感器连续采集的图像，为达到此需求，则上述第预设次曝光可以为上述至少两次曝光中的第一次曝光或最后一次曝光。
例如，可以首先利用上述其余帧图像生成宽动态范围图像，然后用所生成的宽动态范围图像生成可见光色彩图像。由于生成宽动态范围图像需要连续采集的多帧图像，所以此处的其余帧图像需要为图像传感器连续采集的图像。
针对本实施例，示例性的，如图5所示，一个图像采集周期内包含两次曝光，即图5中的双快门曝光，图5中的一次奇次曝光和相邻的一次偶次曝光对应为一个图像采集周期，并且偶次曝光对应获得的图像用以确定感红外亮度图像，从图中的红外灯亮度变化曲线可以看到：红外补光的上升沿可以比偶次曝光开始时刻晚，但不能早；同理，下降沿可以比偶次曝光结束时刻早，但不能晚；即红外补光不应提早或迟滞于该偶次曝光。可以理解，在视频帧的连续采集过程中，红外灯仅对偶次曝光时进行红外补光，形成一种频闪补光。
再如图6所示，一个图像采集周期内包含3次曝光，即图6中的A曝光、以及相邻B曝光和及C曝光，并且C曝光对应获得的图像用以确定感红外亮度图像，从图中的红外灯亮度变化曲线可以看到：红外补光的上升沿可以比C曝光开始时刻晚，但不能早；同理，下降沿可以比C曝光结束时刻早，但不能晚；即红外补光不应提早或迟滞于该C曝光。可以理解，在视频帧的连续采集过程中，红外灯仅对偶次曝光时进行红外补光，形成一种频闪补光。
可以理解，本实施例中，用以确定感红外亮度图像的图像是在存在红外补光的条件下曝光获得的，感红外亮度图像得到了红外补光的加强，具有较好的信噪比，使得感红外亮度图像与可见光色彩图像融合后，能够得到质量较理想的融合图像。
下面通过一个具体实例来对本发明实施例进行简单介绍。
为了更加清楚的展示图像融合设备获得融合图像的过程，本实例中将图像采集设备划分为多个单元，由各个单元共同完成图像融合过程；当然，本实例中对于图像融合设备的划分方式并不构成对本发明的限定，仅是示例性的说明。
如图7所示，图像融合设备可以包括红外补光单元(如补光灯)、控制单元、图像采集单元、预处理单元以及融合处理单元，其中，该预处理单元以及融合处理单元可以看做是一个图像合成单元。
需要说明的是，控制单元可以向图像采集单元发送曝光控制信号，以控制图像采集单元在一个图像采集周期内采集多帧图像，并可以通过曝光控制信号控制每次曝光的曝光时长；另外控制单元可以向红外补光单元发送补光控制信号，以是的红外补光单元保证在预设的一次曝光时间内进行红外补光。
具体的，图像融合设备获得融合图像的过程如下：
图像采集单元中的RGBIR图像传感器在一个图像采集周期内，通过连续三次曝光获得图像a、b和c，并且，在第三次曝光获得图像c的过程中，红外补光单元进行红外补光，使得图像c为基于环境入射光和红外补光所成像获得的。
然后，预处理单元对图像a和b进行宽动态合成处理，得到宽动态图像，并对该宽动态图像进行去红外处理，得到可见光色彩图像。同时，预处理单元还对图像c进行去马赛克处理，并用去马赛克处理后的图像c生成感红外亮度图像。
最后，融合处理单元从预处理单元中获得可见光色彩图像以及感红外亮度图像，并将可见光色彩图像以及感红外亮度图像进行融合，得到融合图像。
相应于图1所示方法实施例，本发明实施例还提供了一种图像融合装置，如图8所示，所述装置包括：
获得模块110，用于获得在一个图像采集周期内通过至少两次曝光得到的各帧图像；
第一确定模块120，用于基于所述各帧图像中的其中一帧，确定感红外亮度图像；
第二确定模块130，用于基于所述各帧图像中的其余图像，确定可见光色彩图像；
融合模块140，用于将所述感红外亮度图像与所述可见光色彩图像融合，获得融合图像。
作为本发明实施例的可选实现方式，所述装置应用于图像融合设备，所述各帧图像由所述图像融合设备采集；
所述装置还可以包括：
红外补光模块，用于在所述图像采集周期内的第预设次曝光所对应曝光时间内进行红外补光；
所述第一确定模块120，可以具体用于：
基于所述第预设次曝光所得到的图像，确定感红外亮度图像。
具体的，所述第预设次曝光所对应的曝光参数可以不大于目标最大值，
其中，所述曝光参数为曝光时长和/或增益，所述目标最大值为除所述第预设次曝光外其余各次曝光所对应曝光参数中的最大值。
作为本发明实施例的一种可选实现方式，所述红外补光模块，可以具体用于：
按照如下控制方式，在所述图像采集周期内的第预设次曝光所对应曝光时间内进行红外补光：
红外补光的开始时刻不早于所述第预设次曝光的曝光开始时刻，红外补光的结束时刻不晚于所述第预设次曝光的曝光结束时刻。
具体的，在所述图像采集周期内的曝光次数大于两次时，所述第预设次曝光可以为所述至少两次曝光中的第一次曝光或最后一次曝光。
具体的，所述第一确定模块120，可以具体用于：
对所述各帧图像中的其中一帧进行去马赛克处理，并用去马赛克处理后的该帧图像生成感红外亮度图像。
作为本发明实施例的一种可选实现方式，在所述各帧图像中的其余图像的数量为1时，所述第二确定模块130，可以具体用于：
对所述各帧图像中的其余图像进行去红外处理，获得可见光色彩图像。
在此实现方式下，相应于图3所示方法实施例，具体的，如图9所示，所述第二确定模块130，可以包括：
插值子模块1301，用于在目标图像包含有IR通道的情况下，对所述目标图像的IR通道进行插值，生成插值处理后的所述目标图像，其中，所述目标图像为所述各帧图像中的其余图像；
更新子模块1302，用于针对插值处理后所述目标图像中的每一像素，按照如下方式进行更新，得到可见光色彩图像：
如果该像素存在R值，更新该像素的R值为：该像素的R值与该像素的IR参数值的差值；如果该像素存在G值，更新该像素的G值为：该像素的G值与该像素的IR参数值的差值；如果该像素存在B值，更新该像素的B值为：该像素的B值与该像素的IR参数值的差值；其中，像素的IR参数值为该像素的IR值与预设修正值的乘积。
作为本发明实施例的另一种可选实现方式，在所述各帧图像中的其余图像的数量至少为2，且所述各帧图像中的其余图像所分别对应的曝光时长不同时；
所述第二确定模块130，可以包括：
第一处理子模块，用于将所述各帧图像中的其余图像进行宽动态合成处理，得到宽动态图像；
第二处理子模块，用于对所述宽动态图像进行去红外处理，获得可见光色彩图像。
具体的，所述装置可以应用于图像融合设备，所述各帧图像由所述图像融合设备采集；
所述图像融合设备的光学镜头上可以设置有滤光片，所述滤光片滤除的光谱区域包括[T1，T2]；其中，600nm≤T1≤800nm，750nm≤T2≤1100nm，T1＜T2。
由以上可知，与现有技术相比，本实施例提供的方案中，上述在一个图像采集周期内通过至少两次曝光得到的各帧图像可以是由一个图像传感器进行采集的，所以只要设备中存在一个图像传感器，就可以完成图像的采集与融合，以提升低照度情况下的图像质量，本实施例所提供方案的设备适应性好，便于应用；从另一角度来说，对于图像采集与融合一体的、并应用本实施例所提供方案的设备而言，该设备中可以只设置一个传感器，不必设置分光装置，结构简单，设备成本低。
相应于图1或3所示方法实施例，本发明实施例还提供了一种电子设备，如图10所示，该电子设备包括存储器210和处理器220。
其中，存储器210，用于存放程序代码；
处理器220，用于执行存储器210上所存放的程序代码时，实现如下步骤：
获得在一个图像采集周期内通过至少两次曝光得到的各帧图像；
基于所得到的各帧图像中的其中一帧，确定感红外亮度图像；
基于所得到的各帧图像中的其余图像，确定可见光色彩图像；
将所确定的感红外亮度图像与可见光色彩图像融合，获得融合图像。
关于该方法各个步骤的具体实现以及相关解释内容可以参见上述图1、图3所示的方法实施例以及其它方法实施例，在此不做赘述。
上述存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Ne twork Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Applica tion SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
由以上可知，与现有技术相比，本实施例提供的方案中，上述在一个图像采集周期内通过至少两次曝光得到的各帧图像可以是由一个图像传感器进行采集的，所以只要设备中存在一个图像传感器，就可以完成图像的采集与融合，以提升低照度情况下的图像质量，本实施例所提供方案的设备适应性好，便于应用；从另一角度来说，对于图像采集与融合一体的、并应用本实施例所提供方案的设备而言，该设备中可以只设置一个传感器，不必设置分光装置，结构简单，设备成本低。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的图像融合方法。
由以上可知，与现有技术相比，本实施例提供的方案中，上述在一个图像采集周期内通过至少两次曝光得到的各帧图像可以是由一个图像传感器进行采集的，所以只要设备中存在一个图像传感器，就可以完成图像的采集与融合，以提升低照度情况下的图像质量，本实施例所提供方案的设备适应性好，便于应用；从另一角度来说，对于图像采集与融合一体的、并应用本实施例所提供方案的设备而言，该设备中可以只设置一个传感器，不必设置分光装置，结构简单，设备成本低。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备以及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (18)

1.一种图像融合方法，其特征在于，应用于图像融合设备，所述方法包括：
获得在一个图像采集周期内通过至少两次曝光得到的各帧图像；所述各帧图像由所述图像融合设备采集；
基于所述各帧图像中的其中一帧，确定感红外亮度图像；
基于所述各帧图像中的其余图像，确定可见光色彩图像；
将所述感红外亮度图像与所述可见光色彩图像融合，获得融合图像；
其中，所述图像融合设备包括红外补光单元、控制单元、图像采集单元和融合处理单元；所述图像采集单元包含光学镜头、设置在该光学镜头上的滤光片以及图像传感器，该滤光片是带阻滤光片或双峰滤光片，该滤光片用于滤除所述图像传感器各通道的光谱响应差别大的光谱区域；
通过所述控制单元向所述图像采集单元发送曝光控制信号，以使所述图像采集单元的图像传感器根据所述曝光控制信号在一个图像采集周期内采集多帧图像，并可以通过曝光控制信号控制每次曝光的曝光时长；通过所述控制单元向所述红外补光单元发送补光控制信号，以使红外补光单元在所述图像采集周期内的第预设次曝光所对应曝光时间内进行红外补光，红外补光的开始时刻不早于所述第预设次曝光的曝光开始时刻，红外补光的结束时刻不晚于所述第预设次曝光的曝光结束时刻；其中，用于确定所述感红外亮度图像的所述其中一帧图像是在存在红外补光的条件下曝光获得的，用于确定所述可见光色彩图像的所述其余图像是在不存在红外补光的条件下曝光获得的；通过所述融合处理单元将可见光色彩图像以及感红外亮度图像进行融合，得到融合图像。
2.根据权利要求1所述的方法，其特征在于，所述第预设次曝光所对应的曝光参数不大于目标最大值，
其中，所述曝光参数为曝光时长和/或增益，所述目标最大值为除所述第预设次曝光外其余各次曝光所对应曝光参数中的最大值。
3.根据权利要求1所述的方法，其特征在于，在所述图像采集周期内的曝光次数大于两次时，所述第预设次曝光为所述至少两次曝光中的第一次曝光或最后一次曝光。
4.根据权利要求1所述的方法，其特征在于，所述基于所述各帧图像中的其中一帧，确定感红外亮度图像的步骤，包括：
对所述各帧图像中的其中一帧进行去马赛克处理，并用去马赛克处理后的该帧图像生成感红外亮度图像。
5.根据权利要求1~4任一所述的方法，其特征在于，所述各帧图像中的其余图像的数量为1，
所述基于所述各帧图像中的其余图像，确定可见光色彩图像的步骤，包括：
对所述各帧图像中的其余图像进行去红外处理，获得可见光色彩图像。
6.根据权利要求5所述的方法，其特征在于，所述对所述各帧图像中的其余图像进行去红外处理，获得可见光色彩图像的步骤，包括：
在目标图像包含有IR通道的情况下，对所述目标图像的IR通道进行插值，生成插值处理后的所述目标图像，其中，所述目标图像为所述各帧图像中的其余图像；
针对插值处理后所述目标图像中的每一像素，按照如下方式进行更新，得到可见光色彩图像：
如果该像素存在R值，更新该像素的R值为：该像素的R值与该像素的IR参数值的差值；如果该像素存在G值，更新该像素的G值为：该像素的G值与该像素的IR参数值的差值；如果该像素存在B值，更新该像素的B值为：该像素的B值与该像素的IR参数值的差值；其中，像素的IR参数值为该像素的IR值与预设修正值的乘积。
7.根据权利要求1~4任一所述的方法，其特征在于，所述各帧图像中的其余图像的数量至少为2，且所述各帧图像中的其余图像所分别对应的曝光时长不同；
所述基于所述各帧图像中的其余图像，确定可见光色彩图像的步骤，包括：
将所述各帧图像中的其余图像进行宽动态合成处理，得到宽动态图像；
对所述宽动态图像进行去红外处理，获得可见光色彩图像。
8.根据权利要求1~4任一所述的方法，其特征在于，
所述滤光片滤除的光谱区域包括[T1，T2]；其中，600nm≤T1≤800nm，750nm≤T2≤1100nm，T1＜T2。
9.一种图像融合装置，其特征在于，应用于图像融合设备，所述装置包括：
获得模块，用于获得在一个图像采集周期内通过至少两次曝光得到的各帧图像；所述各帧图像由所述图像融合设备采集；
第一确定模块，用于基于所述各帧图像中的其中一帧，确定感红外亮度图像；
第二确定模块，用于基于所述各帧图像中的其余图像，确定可见光色彩图像；
融合模块，用于将所述感红外亮度图像与所述可见光色彩图像融合，获得融合图像；
其中，所述图像融合设备包括红外补光单元、控制单元、图像采集单元和融合处理单元；所述图像采集单元包含光学镜头、设置在该光学镜头上的滤光片以及图像传感器，该滤光片是带阻滤光片或双峰滤光片，该滤光片用于滤除所述图像传感器各通道的光谱响应差别大的光谱区域；
所述获得模块具体用于：通过所述控制单元向所述图像采集单元发送曝光控制信号，以使所述图像采集单元的图像传感器根据所述曝光控制信号在一个图像采集周期内采集多帧图像，并可以通过曝光控制信号控制每次曝光的曝光时长；通过所述控制单元向所述红外补光单元发送补光控制信号，以使红外补光单元在所述图像采集周期内的第预设次曝光所对应曝光时间内进行红外补光，红外补光的开始时刻不早于所述第预设次曝光的曝光开始时刻，红外补光的结束时刻不晚于所述第预设次曝光的曝光结束时刻；其中，用于确定所述感红外亮度图像的所述其中一帧图像是在存在红外补光的条件下曝光获得的，用于确定所述可见光色彩图像的所述其余图像是在不存在红外补光的条件下曝光获得的；
融合模块具体用于：通过所述融合处理单元将可见光色彩图像以及感红外亮度图像进行融合，得到融合图像。
10.根据权利要求9所述的装置，其特征在于，所述第预设次曝光所对应的曝光参数不大于目标最大值，
其中，所述曝光参数为曝光时长和/或增益，所述目标最大值为除所述第预设次曝光外其余各次曝光所对应曝光参数中的最大值。
11.根据权利要求9所述的装置，其特征在于，在所述图像采集周期内的曝光次数大于两次时，所述第预设次曝光为所述至少两次曝光中的第一次曝光或最后一次曝光。
12.根据权利要求9所述的装置，其特征在于，所述第一确定模块，具体用于：
对所述各帧图像中的其中一帧进行去马赛克处理，并用去马赛克处理后的该帧图像生成感红外亮度图像。
13.根据权利要求9~12任一所述的装置，其特征在于，所述各帧图像中的其余图像的数量为1，
所述第二确定模块，具体用于：
对所述各帧图像中的其余图像进行去红外处理，获得可见光色彩图像。
14.根据权利要求13所述的装置，其特征在于，所述第二确定模块，包括：
插值子模块，用于在目标图像包含有IR通道的情况下，对所述目标图像的IR通道进行插值，生成插值处理后的所述目标图像，其中，所述目标图像为所述各帧图像中的其余图像；
更新子模块，用于针对插值处理后所述目标图像中的每一像素，按照如下方式进行更新，得到可见光色彩图像：
如果该像素存在R值，更新该像素的R值为：该像素的R值与该像素的IR参数值的差值；如果该像素存在G值，更新该像素的G值为：该像素的G值与该像素的IR参数值的差值；如果该像素存在B值，更新该像素的B值为：该像素的B值与该像素的IR参数值的差值；其中，像素的IR参数值为该像素的IR值与预设修正值的乘积。
15.根据权利要求9~12任一所述的装置，其特征在于，所述各帧图像中的其余图像的数量至少为2，且所述各帧图像中的其余图像所分别对应的曝光时长不同；
所述第二确定模块，包括：
第一处理子模块，用于将所述各帧图像中的其余图像进行宽动态合成处理，得到宽动态图像；
第二处理子模块，用于对所述宽动态图像进行去红外处理，获得可见光色彩图像。
16.根据权利要求9~12任一所述的装置，其特征在于，所述滤光片滤除的光谱区域包括[T1，T2]；其中，600nm≤T1≤800nm，750nm≤T2≤1100nm，T1＜T2。
17.一种电子设备，其特征在于，包括处理器和存储器，
其中，存储器，用于存放程序代码；
处理器，用于执行存储器上所存放的程序代码时，实现权利要求1~8任一所述的方法步骤。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1~8任一所述的方法步骤。
CN201711381018.0A 2017-12-20 2017-12-20 图像融合方法、装置、电子设备及计算机可读存储介质 Active CN109951646B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110076502.2A CN112788249B (zh) 2017-12-20 2017-12-20 图像融合方法、装置、电子设备及计算机可读存储介质
CN201711381018.0A CN109951646B (zh) 2017-12-20 2017-12-20 图像融合方法、装置、电子设备及计算机可读存储介质
PCT/CN2018/101859 WO2019119842A1 (zh) 2017-12-20 2018-08-23 图像融合方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711381018.0A CN109951646B (zh) 2017-12-20 2017-12-20 图像融合方法、装置、电子设备及计算机可读存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110076502.2A Division CN112788249B (zh) 2017-12-20 2017-12-20 图像融合方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109951646A CN109951646A (zh) 2019-06-28
CN109951646B true CN109951646B (zh) 2021-01-15

Family

ID=66992522

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201711381018.0A Active CN109951646B (zh) 2017-12-20 2017-12-20 图像融合方法、装置、电子设备及计算机可读存储介质
CN202110076502.2A Active CN112788249B (zh) 2017-12-20 2017-12-20 图像融合方法、装置、电子设备及计算机可读存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110076502.2A Active CN112788249B (zh) 2017-12-20 2017-12-20 图像融合方法、装置、电子设备及计算机可读存储介质

Country Status (2)

Country Link
CN (2) CN109951646B (zh)
WO (1) WO2019119842A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110574367A (zh) * 2019-07-31 2019-12-13 华为技术有限公司 一种图像传感器和图像感光的方法
CN112399064B (zh) * 2019-08-12 2023-05-23 浙江宇视科技有限公司 双光融合抓拍方法和相机
CN110602415B (zh) * 2019-09-30 2021-09-07 杭州海康威视数字技术股份有限公司 曝光控制装置、方法及摄像机
CN113259546B (zh) * 2020-02-11 2023-05-12 华为技术有限公司 图像获取装置和图像获取方法
CN113271414B (zh) * 2020-02-14 2022-11-18 上海海思技术有限公司 图像获取方法和装置
EP4131916A4 (en) * 2020-04-29 2023-05-17 Huawei Technologies Co., Ltd. CAMERA AND IMAGE ACQUISITION METHOD
CN111383206B (zh) * 2020-06-01 2020-09-29 浙江大华技术股份有限公司 一种图像处理方法、装置、电子设备及存储介质
TWI767468B (zh) * 2020-09-04 2022-06-11 聚晶半導體股份有限公司 雙感測器攝像系統及其攝像方法
CN114374776B (zh) * 2020-10-15 2023-06-23 华为技术有限公司 摄像机以及摄像机的控制方法
CN113114926B (zh) * 2021-03-10 2022-11-25 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及摄像机
CN113112495B (zh) * 2021-04-30 2024-02-23 浙江华感科技有限公司 一种异常图像处理方法、装置、热成像设备及存储介质
CN115314629B (zh) * 2021-05-08 2024-03-01 杭州海康威视数字技术股份有限公司 一种成像方法、系统及摄像机
CN115314628B (zh) * 2021-05-08 2024-03-01 杭州海康威视数字技术股份有限公司 一种成像方法、系统及摄像机
CN113489865A (zh) * 2021-06-11 2021-10-08 浙江大华技术股份有限公司 一种单目摄像机和图像处理系统
CN113596357B (zh) * 2021-07-29 2023-04-18 北京紫光展锐通信技术有限公司 图像信号处理器、图像信号处理装置及方法、芯片、终端设备
US20230123736A1 (en) * 2021-10-14 2023-04-20 Redzone Robotics, Inc. Data translation and interoperability
CN113905185B (zh) * 2021-10-27 2023-10-31 锐芯微电子股份有限公司 图像处理方法和装置
CN114157382B (zh) * 2021-12-28 2024-02-09 中电海康集团有限公司 一种光视一体机时间同步控制系统
CN114500850B (zh) * 2022-02-22 2024-01-19 锐芯微电子股份有限公司 图像处理方法及装置、系统、可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447826A (zh) * 2010-10-12 2012-05-09 全视科技有限公司 可见及红外双重模式成像系统
CN104052938A (zh) * 2013-03-15 2014-09-17 红外线综合系统有限公司 用于利用三维叠加的多光谱成像的设备和方法
CN105243726A (zh) * 2014-07-11 2016-01-13 威海新北洋荣鑫科技股份有限公司 数字图像数据的获取方法及装置
CN105611136A (zh) * 2016-02-26 2016-05-25 联想(北京)有限公司 一种图像传感器以及电子设备
CN106572289A (zh) * 2016-10-21 2017-04-19 维沃移动通信有限公司 一种摄像头模组的图像处理方法和移动终端
WO2017090928A1 (ko) * 2015-11-27 2017-06-01 엘지이노텍 주식회사 일반 촬영 및 적외선 촬영 겸용 카메라 모듈

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040256561A1 (en) * 2003-06-17 2004-12-23 Allyson Beuhler Wide band light sensing pixel array
WO2010081010A2 (en) * 2009-01-09 2010-07-15 New York University Methods, computer-accessible medium and systems for facilitating dark flash photography
US9143704B2 (en) * 2012-01-20 2015-09-22 Htc Corporation Image capturing device and method thereof
CN102982518A (zh) * 2012-11-06 2013-03-20 扬州万方电子技术有限责任公司 红外与可见光动态图像的融合方法及装置
JP2014216734A (ja) * 2013-04-24 2014-11-17 日立マクセル株式会社 撮像装置及び撮像システム
KR20150021353A (ko) * 2013-08-20 2015-03-02 삼성테크윈 주식회사 영상 융합 시스템 및 그 방법
CN104661008B (zh) * 2013-11-18 2017-10-31 深圳中兴力维技术有限公司 低照度条件下彩色图像质量提升的处理方法和装置
US9723224B2 (en) * 2014-03-31 2017-08-01 Google Technology Holdings LLC Adaptive low-light identification
CN105263008B (zh) * 2014-06-19 2018-03-16 深圳中兴力维技术有限公司 低环境照度下的彩色图像质量提升方法及其装置
JP6264233B2 (ja) * 2014-09-02 2018-01-24 株式会社Ｊｖｃケンウッド 撮像装置、撮像装置の制御方法及び制御プログラム
WO2016042892A1 (ja) * 2014-09-18 2016-03-24 株式会社島津製作所 イメージング装置
CN107438170B (zh) * 2016-05-25 2020-01-17 杭州海康威视数字技术股份有限公司 一种图像透雾方法及实现图像透雾的图像采集设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447826A (zh) * 2010-10-12 2012-05-09 全视科技有限公司 可见及红外双重模式成像系统
CN104052938A (zh) * 2013-03-15 2014-09-17 红外线综合系统有限公司 用于利用三维叠加的多光谱成像的设备和方法
CN105243726A (zh) * 2014-07-11 2016-01-13 威海新北洋荣鑫科技股份有限公司 数字图像数据的获取方法及装置
WO2017090928A1 (ko) * 2015-11-27 2017-06-01 엘지이노텍 주식회사 일반 촬영 및 적외선 촬영 겸용 카메라 모듈
CN105611136A (zh) * 2016-02-26 2016-05-25 联想(北京)有限公司 一种图像传感器以及电子设备
CN106572289A (zh) * 2016-10-21 2017-04-19 维沃移动通信有限公司 一种摄像头模组的图像处理方法和移动终端

Also Published As

Publication number Publication date
CN112788249B (zh) 2022-12-06
WO2019119842A1 (zh) 2019-06-27
CN109951646A (zh) 2019-06-28
CN112788249A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN109951646B (zh) 图像融合方法、装置、电子设备及计算机可读存储介质
EP3582494B1 (en) Multi-spectrum-based image fusion apparatus and method, and image sensor
CN110493506B (zh) 一种图像处理方法和系统
CN110493532B (zh) 一种图像处理方法和系统
JP5460173B2 (ja) 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
EP3582490A1 (en) Image fusion apparatus and image fusion method
US9581436B2 (en) Image processing device, image capturing apparatus, and image processing method
KR102266649B1 (ko) 이미지 처리 방법 및 장치
WO2017202061A1 (zh) 一种图像透雾方法及实现图像透雾的图像采集设备
JP6918485B2 (ja) 画像処理装置および画像処理方法、プログラム、記憶媒体
CN103546730A (zh) 基于多摄像头的图像感光度增强方法
CN102783135A (zh) 利用低分辨率图像提供高分辨率图像的方法和装置
US9071737B2 (en) Image processing based on moving lens with chromatic aberration and an image sensor having a color filter mosaic
US9148552B2 (en) Image processing apparatus, image pickup apparatus, non-transitory storage medium storing image processing program and image processing method
JP4250506B2 (ja) 画像処理方法、画像処理装置、画像処理プログラムおよび撮像システム
JP2020187409A (ja) 画像認識装置、固体撮像装置、および画像認識方法
JP2017092898A (ja) 撮像装置、撮像方法、およびプログラム
CN110493531B (zh) 一种图像处理方法和系统
JP2012199774A (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
JP7297406B2 (ja) 制御装置、撮像装置、制御方法およびプログラム
JP4523629B2 (ja) 撮像装置
JP6857006B2 (ja) 撮像装置
JP6827782B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体
US8736722B2 (en) Enhanced image capture sharpening
JP2009258284A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant