CN110706178B - 图像融合装置、方法、设备及存储介质 - Google Patents

图像融合装置、方法、设备及存储介质 Download PDF

Info

Publication number
CN110706178B
CN110706178B CN201910945178.6A CN201910945178A CN110706178B CN 110706178 B CN110706178 B CN 110706178B CN 201910945178 A CN201910945178 A CN 201910945178A CN 110706178 B CN110706178 B CN 110706178B
Authority
CN
China
Prior art keywords
image
fusion
image signal
preprocessed
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910945178.6A
Other languages
English (en)
Other versions
CN110706178A (zh
Inventor
於敏杰
聂鑫鑫
罗丽红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910945178.6A priority Critical patent/CN110706178B/zh
Publication of CN110706178A publication Critical patent/CN110706178A/zh
Application granted granted Critical
Publication of CN110706178B publication Critical patent/CN110706178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本申请公开了一种图像融合装置、方法、设备及存储介质，属于图像处理技术领域。图像融合装置包括图像采集单元和第一图像处理单元，图像采集单元包括图像传感器，该图像传感器用于在不同曝光条件下输出第一图像信号和第二图像信号，且第一图像信号经过近红外补光，第二图像信号未经过近红外补光，第一图像处理单元包括第一神经网络单元，该第一神经网络单元用于对第一图像信号和第二图像信号进行图像匹配处理，得到匹配图像，图像处理单元还用于基于匹配图像进行图像融合，输出融合图像。如此，先对第一图像信号和第二图像信号进行图像匹配，再基于匹配图像进行图像融合，可以避免在融合图像中出现重影的问题，提高了图像质量。

Description

图像融合装置、方法、设备及存储介质
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像融合装置、方法、设备及存储介质。
背景技术
随着图像在各个领域的应用越来越广泛，用户对图像的质量要求也越来越高。但在低光照环境下，图像的成像质量通常较差，为此，目前提供了一种图像融合装置，该图像融合装置可以在不同拍摄时刻进行间歇式补光，从而通过时分复用来生成不同类型的图像信号，譬如，在近红外补光的情况下生成第一图像信号，在没有近红外补光的情况下生成第二图像信号。然后，可以将第一图像信号和第二图像信号均进行色彩和亮度分离，将第一图像信号的亮度图像与第二图像信号的色彩图像进行叠加，进而得到彩色图像。
但由于第一图像信号和第二图像信号是在不同时刻采集到的，当图像中存在运动物体时，该运动物体在第一图像信号和第二图像信号中的位置不同，如此将第一图像信号和第二图像信号进行叠加后，可能导致彩色图像中出现重影问题，降低了图像质量。
发明内容
本申请提供了一种图像融合装置、方法、设备及存储介质，可以解决相关技术将第一图像信号和第二图像信号进行叠加后，导致彩色图像中出现重影，降低图像质量的问题。所述技术方案如下：
一方面，提供了一种图像融合装置，所述图像融合装置包括：图像采集单元和第一图像处理单元；
所述图像采集单元包括图像传感器，所述图像传感器用于输出第一图像信号和第二图像信号，所述第一图像信号与所述第二图像信号在不同曝光条件下输出，且所述第一图像信号经过近红外补光，所述第二图像信号未经过近红外补光；
所述第一图像处理单元包括第一神经网络单元，所述第一神经网络单元用于对所述第一图像信号和所述第二图像信号进行图像匹配处理，得到匹配图像；
所述第一图像处理单元，还用于基于所述匹配图像进行图像融合，输出融合图像。
另一方面，提供了一种图像融合装置，所述图像融合装置包括：图像采集单元和第二图像处理单元；
所述图像采集单元包括图像传感器，所述图像传感器用于输出第一图像信号和第二图像信号，所述第一图像信号与所述第二图像信号在不同曝光条件下输出，且所述第一图像信号经过近红外补光，所述第二图像信号未经过近红外补光；
所述第二图像处理单元包括第二神经网络单元，所述第二神经网络单元用于对所述第一图像信号和所述第二图像信号进行图像匹配和图像融合处理，输出融合图像。
另一方面，提供了一种图像融合方法，应用于图像融合装置，所述图像融合装置包括图像采集单元和第一图像处理单元，所述图像采集单元包括图像传感器，所述第一图像处理单元包括第一神经网络单元，其特征在于，所述方法包括：
通过所述图像传感器，在不同曝光条件下输出第一图像信号和第二图像信号，且所述第一图像信号经过近红外补光，所述第二图像信号未经过近红外补光；
通过所述第一神经网络单元对所述第一图像信号和所述第二图像信号进行图像匹配处理，得到匹配图像；
通过所述第一图像处理单元，基于所述匹配图像进行图像融合，输出融合图像。
另一方面，提供了一种图像融合方法，应用于图像融合装置，所述图像融合装置包括图像采集单元和第二图像处理单元，所述图像采集单元包括图像传感器，所述第二图像处理单元包括第二神经网络单元，所述方法包括：
通过所述图像传感器，在不同曝光条件下输出第一图像信号和第二图像信号，且所述第一图像信号经过近红外补光，所述第二图像信号未经过近红外补光；
通过所述第二神经网络单元对所述第一图像信号和所述第二图像信号进行图像匹配和图像融合处理，输出融合图像。
另一方面，提供了一种设备，所述设备包括处理器、通信接口、存储器和通信总线，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信，所述存储器用于存放计算机程序，所述处理器用于执行所述存储器上所存放的程序，以实现上述所述图像融合方法的步骤。
另一方面，提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述所述图像融合方法的步骤。
另一方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的图像融合方法的步骤。
本申请提供的技术方案至少可以带来以下有益效果：
图像采集单元的图像传感器可以在不同曝光条件下输出第一图像信号和第二图像信号，第一图像信号经过近红外补光，第二图像信号未经过近红外补光，然后通过第一图像处理单元的第一神经网络单元对第一图像信号和第二图像信号进行图像匹配处理，可以使得运动物体在第一图像信号和第二图像信号中的位置相同，得到匹配图像，第一图像处理单元基于该匹配图像进行图像融合，输出融合图像。由于进行图像融合时是基于匹配图像进行，因此可以避免运动目标的位置不匹配，导致在融合图像中出现重影的问题，提高了融合图像的图像质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种图像融合装置的结构示意图；
图2是根据一示例性实施例示出的一种图像采集单元产生第一图像信号的原理示意图；
图3是根据一示例性实施例示出的一种图像采集单元产生第二图像信号的原理示意图；
图4是根据一示例性实施例示出的一种第一补光装置进行近红外补光的波长和相对强度之间的关系示意图；
图5是根据一示例性实施例示出的一种第一滤光片通过的光的波长与通过率之间的关系的示意图；
图6是根据另一示例性实施例示出的一种图像融合装置的结构示意图；
图7是根据一示例性实施例示出的一种RGBW传感器的示意图；
图8是根据一示例性实施例示出的一种以Bayer方式排列的传感器的示意图；
图9是根据一示例性实施例示出的一种RGB-IR传感器的示意图；
图10是根据一示例性实施例示出的一种图像传感器的感应曲线示意图；
图11是根据一示例性实施例示出的一种卷帘曝光方式的示意图；
图12是根据一示例性实施例示出的第一种近红外补光与全局曝光方式中的第一预设曝光和第二预设曝光之间的时序关系示意图；
图13是根据一示例性实施例示出的第二种近红外补光与全局曝光方式中的第一预设曝光和第二预设曝光之间的时序关系示意图；
图14是根据一示例性实施例示出的第三种近红外补光与全局曝光方式中的第一预设曝光和第二预设曝光之间的时序关系示意图；
图15是根据一示例性实施例示出的第一种近红外补光与卷帘曝光方式中第一预设曝光和第二预设曝光之间的时序关系示意图；
图16是根据一示例性实施例示出的第二种近红外补光与卷帘曝光方式中第一预设曝光和第二预设曝光之间的时序关系示意图；
图17是根据一示例性实施例示出的第三种近红外补光与卷帘曝光方式中第一预设曝光和第二预设曝光之间的时序关系示意图；
图18是根据一示例性实施例示出的一种第一图像处理单元的结构示意图；
图19是根据一示例性实施例示出的一种对齐网络模型的结构示意图；
图20是根据一示例性实施例示出的另一种第一图像处理单元的结构示意图；
图21是根据一示例性实施例示出的另一种第一图像处理单元的结构示意图；
图22是根据另一示例性实施例示出的一种第一图像处理单元的结构示意图；
图23是根据另一示例性实施例示出的另一种第一图像处理单元的结构示意图；
图24是根据另一示例性实施例示出的一种图像插帧网络模型的结构示意图；
图25是根据另一示例性实施例示出的一种图像融合装置的结构示意图；
图26是根据另一示例性实施例示出的一种第一图像处理单元的结构示意图；
图27是根据另一示例性实施例示出的另一种第一图像处理单元的结构示意图；
图28是根据另一示例性实施例示出的另一种图像融合装置的结构示意图；
图29是根据另一示例性实施例示出的另一种图像融合装置的结构示意图；
图30是根据又一示例性实施例示出的一种图像融合装置的结构示意图；
图31是根据又一示例性实施例示出的一种第二图像处理单元的结构示意图；
图32是根据又一示例性实施例示出的一种第二神经网络单元的结构示意图；
图33是根据一示例性实施例示出的一种图像融合方法的流程图；
图34是根据又一示例性实施例示出的一种图像融合方法的流程图；
图35是根据一示例性实施例示出的一种设备的结构示意图。
附图标记：
1：图像采集单元；2：第一图像处理单元；3：第一后处理处理单元；4：存储器；5：第二图像处理单元；
01：图像传感器；02：补光器；03：滤光组件：04：镜头；
031：第一滤光片：032：第二滤光片：033：切换部件；
021：第一补光装置；022：第二补光装置；
21：第一神经网络单元；22：第一融合网络模型；23：第二融合网络模型；24：第二后处理单元；25：预处理单元；
211：对齐网络模型；212：图像插帧网络模型；
51：第二神经网络单元。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
图1是根据一示例性实施例示出的一种图像融合装置的结构示意图。如图1所示，该图像融合装置可以包括图像采集单元1和第一图像处理单元2。
图像采集单元1可以包括图像采集传感器01，该图像传感器01用于在不同曝光条件下输出第一图像信号和第二图像信号，且第一图像信号经过近红外补光，第二图像信号未经过近红外补光，第一图像处理单元2包括第一神经网络单元21，该第一神经网络单元21用于对第一图像信号和第二图像信号进行图像匹配处理，得到匹配图像，第一图像处理单元2还用于基于匹配图像进行图像融合，得到融合图像。
作为一种示例，图像传感器01用于在第一预设曝光下输出第一图像信号，在第二预设曝光下输出第二图像信号，且在第一预设曝光下进行近红外补光，在第二预设曝光下未进行近红外补光。
在本申请实施例中，图像采集单元的图像传感器可以在不同曝光条件下输出第一图像信号和第二图像信号，第一图像信号经过近红外补光，第二图像信号未经过近红外补光，然后通过第一图像处理单元的第一神经网络单元对第一图像信号和第二图像信号进行图像匹配处理，可以使得运动物体在第一图像信号和第二图像信号中的位置相同，得到匹配图像，第一图像处理单元基于该匹配图像进行图像融合，输出融合图像。由于进行图像融合时是基于匹配图像进行，因此可以避免运动目标的位置不匹配，导致在融合图像中出现重影的问题，提高了融合图像的图像质量。
下面对该图像融合装置中包括的图像采集单元1和第一图像处理单元2分别进行说明。
1、图像采集单元
如图1所示，该图像采集单元可以包括图像传感器01、补光器02、滤光组件03和镜头04。滤光组件03可以位于镜头04和图像传感器01之间，且图像传感器01位于滤光组件03的出光侧；或者，镜头04可以位于滤光组件03与图像传感器01之间，且图像传感器01位于镜头04的出光侧。
作为一种示例，滤光组件03可以包括第一滤光片031、第二滤光片032和切换部件033，且第一滤光片031和第二滤光片032均与切换部件033连接。第一滤光片031用于使可见光和部分近红外光通过，第二滤光片032用于仅使可见光通过，切换部件033用于使滤光组件03在第一状态和第二状态之间切换，滤光组件03处于第一状态时，可以使可见光和部分近红外光通过，滤光组件03在第二状态时仅使可见光通过。也就是说，第一滤光片031与滤光片03的第一状态对应，可以使可见光和部分近红外光通过，第二滤光片032与滤光片03的第二状态对应，仅使可见光通过。
需要说明的是，滤光组件03的状态可以随着曝光条件的变化而切换，如在第一预设曝光时，滤光组件03处于第一状态，在第二预设曝光时，滤光组件03处于第二状态。
示例性地，第一滤光片031和第二滤光片032均可以是滤光薄膜。当切换部件033使滤光组件03处于第一状态时，若滤光组件03位于镜头04和图像传感器01之间，第一滤光片031可以贴在镜头04的出光侧的表面，或者，若镜头04位于滤光组件03与图像传感器01之间，第一滤光片031可以贴在镜头04的入光侧的表面；当切换部件033使滤光组件03处于第二状态时，若滤光组件03位于镜头04和图像传感器01之间，第二滤光片032可以贴在镜头04的出光侧的表面，或者，若镜头04位于滤光组件03与图像传感器01之间，第二滤光片032可以贴在镜头04的入光侧的表面。
需要说明的是，补光器02可以位于图像采集单元内，也可以位于图像采集单元的外部。补光器02可以为图像采集单元的一部分，也可以为独立于图像采集单元的一个器件。当补光器02位于图像采集的外部时，补光器02可以与图像采集单元进行通信连接，从而可以保证图像采集单元中的图像传感器01的曝光时序与补光器02包括的第一补光装置021的近红外补光时序存在一定的关系，如至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光。
作为一种示例，补光器02可以包括第一补光装置021，第一补光装置021用于进行近红外补光。其中，第一补光装置021为可以发出近红外光的装置，例如近红外补光灯等，第一补光装置021可以以频闪方式进行近红外补光，也可以以类似频闪的其他方式进行近红外补光，本申请实施例对此不做限定。在一些示例中，当第一补光装置021以频闪方式进行近红外补光时，可以通过手动方式来控制第一补光装置021以频闪方式进行近红外补光，也可以通过软件程序或特定设备来控制第一补光装置021以频闪方式进行近红外补光，本申请实施例对此不做限定。其中，第一补光装置021进行近红外补光的时间段可以与第一预设曝光的曝光时间段重合，也可以大于第一预设曝光的曝光时间段或者小于第一预设曝光的曝光时间段，只要在第一预设曝光的整个曝光时间段或者部分曝光时间段内进行近红外补光，而在第二预设曝光的曝光时间段内不进行近红外补光即可。
需要说明的是，第二预设曝光的曝光时间段内不进行近红外补光，对于全局曝光方式来说，第二预设曝光的曝光时间段可以是开始曝光时刻和结束曝光时刻之间的时间段，对于卷帘曝光方式来说，第二预设曝光的曝光时间段可以是第二图像信号第一行有效图像的开始曝光时刻与最后一行有效图像的结束曝光时刻之间的时间段，但并不局限于此。例如，第二预设曝光的曝光时间段也可以是第二图像信号中目标图像对应的曝光时间段，目标图像为第二图像信号中与目标对象或目标区域所对应的若干行有效图像，这若干行有效图像的开始曝光时刻与结束曝光时刻之间的时间段可以看作第二预设曝光的曝光时间段。
需要说明的另一点是，由于第一补光装置021在对外部场景进行近红外补光时，入射到物体表面的近红外光可能会被物体反射，从而进入到第一滤光片031中。并且由于通常情况下，环境光可以包括可见光和近红外光，且环境光中的近红外光入射到物体表面时也会被物体反射，从而进入到第一滤光片031中。因此，在进行近红外补光时通过第一滤光片031的近红外光可以包括第一补光装置021进行近红外补光时经物体反射进入第一滤光片031的近红外光，在不进行近红外补光时通过第一滤光片031的近红外光可以包括第一补光装置021未进行近红外补光时经物体反射进入第一滤光片031的近红外光。也即是，在进行近红外补光时通过第一滤光片031的近红外光包括第一补光装置021发出的且经物体反射后的近红外光，以及环境光中经物体反射后的近红外光，在不进行近红外补光时通过第一滤光片031的近红外光包括环境光中经物体反射后的近红外光。
以图像采集单元中滤光组件03位于镜头04和图像传感器01之间，且图像传感器01位于滤光组件03的出光侧的结构特征为例，图像采集单元采集第一图像信号和第二图像信号的过程为：参见图2，在图像传感器01进行第一预设曝光时，第一补光装置021进行近红外补光，此时拍摄场景中的环境光和第一补光装置进行近红外补光时被场景中物体反射的近红外光经由镜头04、第一滤光片031之后，由图像传感器01通过第一预设曝光产生第一图像信号；参见图3，在图像传感器01进行第二预设曝光时，第一补光装置021不进行近红外补光，此时拍摄场景中的环境光经由镜头04、第一滤光片031之后，由图像传感器01通过第二预设曝光产生第二图像信号，在图像采集的一个帧周期内可以有M个第一预设曝光和N个第二预设曝光，第一预设曝光和第二预设曝光之间可以有多种组合的排序，在图像采集的一个帧周期中，M和N的取值以及M和N的大小关系可以根据实际需求设置，例如，M和N的取值可相等，也可不相同。
需要说明的是，第一滤光片031可以使部分近红外光波段的光通过，换句话说，通过第一滤光片031的近红外光波段可以为部分近红外光波段，也可以为全部近红外光波段，本申请实施例对此不做限定。
另外，由于环境光中的近红外光的强度低于第一补光装置021发出的近红外光的强度，因此，第一补光装置021进行近红外补光时通过第一滤光片031的近红外光的强度高于第一补光装置021未进行近红外补光时通过第一滤光片031的近红外光的强度。
其中，第一补光装置021进行近红外补光的波段范围可以为第一参考波段范围，第一参考波段范围可以为700纳米～800纳米，或者900纳米～1000纳米，这样，可以减轻常见的850纳米的近红灯造成的干扰。另外，入射到第一滤光片031的近红外光的波段范围可以为第二参考波段范围，第二参考波段范围为650纳米～1100纳米。
由于在进行近红外补光时，通过第一滤光片031的近红外光可以包括第一补光装置021进行近红外光补光时经物体反射进入第一滤光片031的近红外光，以及环境光中的经物体反射后的近红外光。所以此时进入滤光组件03的近红外光的强度较强。但是，在不进行近红外补光时，通过第一滤光片031的近红外光包括环境光中经物体反射进入滤光组件03的近红外光。由于没有第一补光装置021进行补光的近红外光，所以此时通过第一滤光片031的近红外光的强度较弱。因此，根据第一预设曝光产生并输出的第一图像信号包括的近红外光的强度，要高于根据第二预设曝光产生并输出的第二图像信号包括的近红外光的强度。
第一补光装置021进行近红外补光的中心波长和/或波段范围可以有多种选择，本申请实施例中，为了使第一补光装置021和第一滤光片031有更好的配合，可以对第一补光装置021进行近红外补光的中心波长进行设计，以及对第一滤光片031的特性进行选择，从而使得在第一补光装置021进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过第一滤光片031的近红外光的中心波长和/或波段宽度可以达到约束条件。该约束条件主要是用来约束通过第一滤光片031的近红外光的中心波长尽可能准确，以及通过第一滤光片031的近红外光的波段宽度尽可能窄，从而避免出现因近红外光波段宽度过宽而引入波长干扰。
其中，第一补光装置021进行近红外补光的中心波长可以为第一补光装置021发出的近红外光的光谱中能量最大的波长范围内的平均值，也可以理解为第一补光装置021发出的近红外光的光谱中能量超过一定阈值的波长范围内的中间位置处的波长。
其中，设定特征波长或者设定特征波长范围可以预先设置。作为一种示例，第一补光装置021进行近红外补光的中心波长可以为750±10纳米的波长范围内的任一波长；或者，第一补光装置021进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者，第一补光装置021进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。也即是，设定特征波长范围可以为750±10纳米的波长范围、或者780±10纳米的波长范围、或者940±10纳米的波长范围。示例性地，第一补光装置021进行近红外补光的中心波长为940纳米，第一补光装置021进行近红外补光的波长和相对强度之间的关系如图4所示。从图4可以看出，第一补光装置021进行近红外补光的波段范围为900纳米～1000纳米，其中，在940纳米处，近红外光的相对强度最高。
由于在进行近红外补光时，通过第一滤光片031的近红外光大部分为第一补光装置021进行近红外补光时经物体反射进入第一滤光片031的近红外光，因此，在一些实施例中，上述约束条件可以包括：通过第一滤光片031的近红外光的中心波长与第一补光装置021进行近红外补光的中心波长之间的差值位于波长波动范围内，作为一种示例，波长波动范围可以为0～20纳米。
其中，通过第一滤光片031的近红外补光的中心波长可以为第一滤光片031的近红外光通过率曲线中的近红外波段范围内波峰位置处的波长，也可以理解为第一滤光片031的近红外光通过率曲线中通过率超过一定阈值的近红外波段范围内的中间位置处的波长。
为了避免通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第一波段宽度可以小于第二波段宽度。其中，第一波段宽度是指通过第一滤光片031的近红外光的波段宽度，第二波段宽度是指被第一滤光片031阻挡的近红外光的波段宽度。应当理解的是，波段宽度是指光线的波长所处的波长范围的宽度。例如，通过第一滤光片031的近红外光的波长所处的波长范围为700纳米～800纳米，那么第一波段宽度为800纳米减去700纳米，即100纳米。换句话说，通过第一滤光片031的近红外光的波段宽度小于第一滤光片031阻挡的近红外光的波段宽度。
例如，参见图5，图5为第一滤光片031可以通过的光的波长与通过率之间的关系的一种示意图。入射到第一滤光片031的近红外光的波段为650纳米～1100纳米，第一滤光片031可以使波长位于380纳米～650纳米的可见光通过，以及波长位于900纳米～1100纳米的近红外光通过，阻挡波长位于650纳米～900纳米的近红外光。也即是，第一波段宽度为1000纳米减去900纳米，即100纳米。第二波段宽度为900纳米减去650纳米，加上1100纳米减去1000纳米，即350纳米。100纳米小于350纳米，即通过第一滤光片031的近红外光的波段宽度小于第一滤光片031阻挡的近红外光的波段宽度。以上关系曲线仅是一种示例，对于不同的滤光片，能够通过滤光片的近红光波段的波段范围可以有所不同，被滤光片阻挡的近红外光的波段范围也可以有所不同。
为了避免在非近红外补光的时间段内，通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：通过第一滤光片031的近红外光的半带宽小于或等于50纳米。其中，半带宽是指通过率大于50％的近红外光的波段宽度。
为了避免通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第三波段宽度可以小于参考波段宽度。其中，第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，作为一种示例，参考波段宽度可以为50纳米～100纳米的波段范围内的任一波段宽度。设定比例可以为30％～50％中的任一比例，当然设定比例还可以根据使用需求设置为其他比例，本申请实施例对此不做限定。换句话说，通过率大于设定比例的近红外光的波段宽度可以小于参考波段宽度。
例如，参见图5，入射到第一滤光片031的近红外光的波段为650纳米～1100纳米，设定比例为30％，参考波段宽度为100纳米。从图5可以看出，在650纳米～1100纳米的近红外光的波段中，通过率大于30％的近红外光的波段宽度明显小于100纳米。
由于第一补光装置021至少在第一预设曝光的部分曝光时间段内提供近红外补光，在第二预设曝光的整个曝光时间段内不提供近红外补光，而第一预设曝光和第二预设曝光为图像传感器01的多次曝光中的其中两次曝光，也即是，第一补光装置021在图像传感器01的部分曝光的曝光时间段内提供近红外补光，在图像传感器01的另外一部分曝光的曝光时间段内不提供近红外补光。所以，第一补光装置021在单位时间长度内的补光次数可以低于图像传感器01在该单位时间长度内的曝光次数，其中，每相邻两次补光的间隔时间段内，间隔一次或多次曝光。
在一种可能的实现方式中，由于人眼容易将第一补光装置021进行近红外光补光的颜色与交通灯中的红灯的颜色混淆，所以，参见图6，补光器02还可以包括第二补光装置022，第二补光装置022用于进行可见光补光。这样，如果第二补光装置022至少在第一预设曝光的部分曝光时间提供可见光补光，也即是，至少在第一预设曝光的部分曝光时间段内进行近红外补光和可见光补光，这两种光的混合颜色可以区别于交通灯中的红灯的颜色，从而避免了人眼将补光器02进行近红外补光的颜色与交通灯中的红灯的颜色混淆。另外，如果第二补光装置022在第二预设曝光的曝光时间段内提供可见光补光，由于第二预设曝光的曝光时间段内可见光的强度不是特别高，因此，在第二预设曝光的曝光时间段内进行可见光补光时，还可以提高第二图像信号中的可见光的亮度，进而保证图像采集的质量。
在一些实施例中，第二补光装置022可以用于以常亮方式进行可见光补光；或者，第二补光装置022可以用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的部分曝光时间段内存在可见光补光，在第二预设曝光的整个曝光时间段内不存在可见光补光；或者，第二补光装置022可以用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的整个曝光时间段内不存在可见光补光，在第二预设曝光的部分曝光时间段内存在可见光补光。当第二补光装置022常亮方式进行可见光补光时，不仅可以避免人眼将第一补光装置021进行近红外补光的颜色与交通灯中的红灯的颜色混淆，还可以提高第二图像信号中的可见光的亮度，进而保证图像采集的质量。当第二补光装置022以频闪方式进行可见光补光时，可以避免人眼将第一补光装置021进行近红外补光的颜色与交通灯中的红灯的颜色混淆，或者，可以提高第二图像信号中的可见光的亮度，进而保证图像采集的质量，而且还可以减少第二补光装置022的补光次数，从而延长第二补光装置022的使用寿命。
在一些实施例中，上述多次曝光是指一个帧周期内的多次曝光，也即是，图像传感器01在一个帧周期内进行多次曝光，从而产生并输出至少一帧第一图像信号和至少一帧第二图像信号。例如，1秒内包括25个帧周期，图像传感器01在每个帧周期内进行多次曝光，从而产生至少一帧第一图像信号和至少一帧第二图像信号，将一个帧周期内产生的第一图像信号和第二图像信号称为一组图像，这样，25个帧周期内就会产生25组图像。其中，第一预设曝光和第二预设曝光可以是一个帧周期内多次曝光中相邻的两次曝光，也可以是一个帧周期内多次曝光中不相邻的两次曝光，本申请实施例对此不做限定。
第一图像信号是第一预设曝光产生并输出的，第二图像信号是第二预设曝光产生并输出的，在产生并输出第一图像信号和第二图像信号之后，可以对第一图像信号和第二图像信号进行处理。在某些情况下，第一图像信号和第二图像信号的用途可能不同，所以在一些实施例中，第一预设曝光与第二预设曝光的至少一个曝光参数可以不同。作为一种示例，该至少一个曝光参数可以包括但不限于曝光时间、模拟增益、数字增益、光圈大小中的一种或多种。其中，曝光增益包括模拟增益和/或数字增益。
可以理解的是，与第二预设曝光相比，在进行近红外补光时，图像传感器01感应到的近红外光的强度较强，相应地产生并输出的第一图像信号包括的近红外光的亮度也会较高。但是较高亮度的近红外光不利于外部场景信息的获取。而且在一些实施例中，曝光增益越大，图像传感器01输出的图像的亮度越高，曝光增益越小，图像传感器01输出的图像的亮度越低，因此，为了保证第一图像信号包含的近红外光的亮度在合适的范围内，在第一预设曝光和第二预设曝光的至少一个曝光参数不同的情况下，作为一种示例，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益。这样，在第一补光装置021进行近红外补光时，图像传感器01产生并输出的第一图像信号包含的近红外光的亮度，不会因第一补光装置021进行近红外补光而过高。
在另一些实施例中，曝光时间越长，图像传感器01得到的图像包括的亮度越高，并且外部场景中的运动的对象在图像中的运动拖尾越长；曝光时间越短，图像传感器01得到的图像包括的亮度越低，并且外部场景中的运动的对象在图像中的运动拖尾越短。因此，为了保证第一图像信号包含的近红外光的亮度在合适的范围内，且外部场景中的运动的对象在第一图像信号中的运动拖尾较短。在第一预设曝光和第二预设曝光的至少一个曝光参数不同的情况下，作为一种示例，第一预设曝光的曝光时间可以小于第二预设曝光的曝光时间。这样，在第一补光装置021进行近红外补光时，图像传感器01产生并输出的第一图像信号包含的近红外光的亮度，不会因第一补光装置021进行近红外补光而过高。并且较短的曝光时间使外部场景中的运动的对象在第一图像信号中出现的运动拖尾较短，从而有利于对运动对象的识别。示例性地，第一预设曝光的曝光时间为40毫秒，第二预设曝光的曝光时间为60毫秒等。
值得注意的是，在一些实施例中，当第一预设曝光的曝光增益小于第二预设曝光的曝光增益时，第一预设曝光的曝光时间不仅可以小于第二预设曝光的曝光时间，还可以等于第二预设曝光的曝光时间。同理，当第一预设曝光的曝光时间小于第二预设曝光的曝光时间时，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益，也可以等于第二预设曝光的曝光增益。
在另一些实施例中，第一图像信号和第二图像信号的用途可以相同，例如第一图像信号和第二图像信号都用于智能分析时，为了能使进行智能分析的人脸或目标在运动时能够有同样的清晰度，第一预设曝光与第二预设曝光的至少一个曝光参数可以相同。作为一种示例，第一预设曝光的曝光时间可以等于第二预设曝光的曝光时间，如果第一预设曝光的曝光时间和第二预设曝光的曝光时间不同，会出现曝光时间较长的一路图像存在运动拖尾，导致两路图像的清晰度不同。同理，作为另一种示例，第一预设曝光的曝光增益可以等于第二预设曝光的曝光增益。
值得注意的是，在一些实施例中，当第一预设曝光的曝光时间等于第二预设曝光的曝光时间时，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益，也可以等于第二预设曝光的曝光增益。同理，当第一预设曝光的曝光增益等于第二预设曝光的曝光增益时，第一预设曝光的曝光时间可以小于第二预设曝光的曝光时间，也可以等于第二预设曝光的曝光时间。
其中，图像传感器01可以包括多个感光通道，每个感光通道可以用于感应至少一种可见光波段的光，以及感应近红外波段的光。也即是，每个感光通道既能感应至少一种可见光波段的光，又能感应近红外波段的光，这样，可以保证第一图像信号和第二图像信号中具有完整的分辨率，不缺失像素值。在一种可能的实现方式中，该多个感光通道可以用于感应至少两种不同的可见光波段的光。
在一些实施例中，该多个感光通道可以包括R感光通道、G感光通道、B感光通道和W感光通道中的至少两种。其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光。由于在一些实施例中，可以用W来表示用于感应全波段的光的感光通道，所以当该多个感光通道包括用于感应全波段的光的感光通道时，这个感光通道可以是W感光通道。也即是，在实际应用中，可以根据使用需求来选择用于感应全波段的光的感光通道。示例性地，图像传感器01可以为RGBW传感器或以Bayer方式排列的传感器。其中，RGBW传感器中的R感光通道、G感光通道、B感光通道和W感光通道的分布方式可以参见图7，以Bayer方式排列的传感器中的R感光通道、G感光通道和B感光通道分布方式可以参见图8。
在另一些实施例中，有些感光通道也可以仅感应近红外波段的光，而不感应可见光波段的光，这样，可以保证第一图像信号中具有完整的分辨率，不缺失像素值。作为一种示例，该多个感光通道可以包括R感光通道、G感光通道、B感光通道、IR感光通道中的至少两种。其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，IR感光通道用于感应近红外波段的光。
示例地，图像传感器01可以为RGB-IR传感器，其中，RGBIR传感器中的每个IR感光通道都可以感应近红外波段的光，而不感应可见光波段的光。RGB-IR传感器中的R感光通道、G感光通道、B感光通道和IR感光通道分布方式可以参见图9。
值得注意的是，图像传感器01包括的多个感光通道可以对应多条感应曲线。示例性地，参见图10，图10中的R曲线代表图像传感器01对红光波段的光的感应曲线，G曲线代表图像传感器01对绿光波段的光的感应曲线，B曲线代表图像传感器01对蓝光波段的光的感应曲线，W曲线代表图像传感器01感应全波段的光的感应曲线。
作为一种示例，图像传感器01可以采用全局曝光方式，也可以采用卷帘曝光方式。其中，全局曝光方式是指每一行有效图像的曝光开始时刻均相同，且每一行有效图像的曝光结束时刻均相同。换句话说，全局曝光方式是所有行有效图像同时进行曝光并且同时结束曝光的一种曝光方式。卷帘曝光方式是指不同行有效图像的曝光时间不完全重合，也即是，一行有效图像的曝光开始时刻都晚于上一行有效图像的曝光开始时刻，且一行有效图像的曝光结束时刻都晚于上一行有效图像的曝光结束时刻。另外，卷帘曝光方式中每一行有效图像结束曝光后可以进行数据输出，因此，从第一行有效图像的数据开始输出时刻到最后一行有效图像的数据结束输出时刻之间的时间可以表示为读出时间。
示例性地，参见图11，图11为一种卷帘曝光方式的示意图。从图11可以看出，第1行有效图像在T1时刻开始曝光，在T3时刻结束曝光，第2行有效图像在T2时刻开始曝光，在T4时刻结束曝光，T2时刻相比于T1时刻向后推移了一个时间段，T4时刻相比于T3时刻向后推移了一个时间段。另外，第1行有效图像在T3时刻结束曝光并开始输出数据，在T5时刻结束数据的输出，第n行有效图像在T6时刻结束曝光并开始输出数据，在T7时刻结束数据的输出，则T3～T7时刻之间的时间即为读出时间。
在一些实施例中，当图像传感器01采用全局曝光方式进行多次曝光时，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是第一预设曝光的曝光时间段的子集，或者，近红外补光的时间段与第一预设曝光的曝光时间段存在交集，或者第一预设曝光的曝光时间段是近红外补光的子集。这样，即可实现至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的整个曝光时间段内不进行近红外补光，从而不会对第二预设曝光造成影响。
例如，参见图12，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是第一预设曝光的曝光时间段的子集。参见图13，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段与第一预设曝光的曝光时间段存在交集。参见图14，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，第一预设曝光的曝光时间段是近红外补光的子集。图12至图14仅是一种示例，第一预设曝光和第二预设曝光的排序可以不限于这些示例。
在另一些实施例中，当图像传感器01采用卷帘曝光方式进行多次曝光时，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集。并且，近红外补光的开始时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于第一预设曝光中第一行有效图像的曝光结束时刻。或者，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。或者，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。
例如，参见图15，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于第一预设曝光中第一行有效图像的曝光结束时刻。参见图16，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。参见图17，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。图15至图17仅是一种示例，第一预设曝光和第二预设曝光的排序可以不限于这些示例。
其中，多次曝光可以包括奇数次曝光和偶数次曝光，这样，第一预设曝光和第二预设曝光可以包括但不限于如下几种方式：
第一种可能的实现方式，第一预设曝光为奇数次曝光中的一次曝光，第二预设曝光为偶数次曝光中的一次曝光。这样，多次曝光可以包括按照奇偶次序排列的第一预设曝光和第二预设曝光。例如，多次曝光中的第1次曝光、第3个曝光、第5次曝光等奇数次曝光均为第一预设曝光，第2次曝光、第4次曝光、第6次曝光等偶数次曝光均为第二预设曝光。
第二种可能的实现方式，第一预设曝光为偶数次曝光中的一次曝光，第二预设曝光为奇数次曝光中的一次曝光，这样，多次曝光可以包括按照奇偶次序排列的第一预设曝光和第二预设曝光。例如，多次曝光中的第1次曝光、第3个曝光、第5次曝光等奇数次曝光均为第二预设曝光，第2次曝光、第4次曝光、第6次曝光等偶数次曝光均为第一预设曝光。
第三种可能的实现方式，第一预设曝光为指定的奇数次曝光中的一次曝光，第二预设曝光为除指定的奇数次曝光之外的其他曝光中的一次曝光，也即是，第二预设曝光可以为多次曝光中的奇数次曝光，也可以为多次曝光中的偶数次曝光。
第四种可能的实现方式，第一预设曝光为指定的偶数次曝光中的一次曝光，第二预设曝光为除指定的偶数次曝光之外的其他曝光中的一次曝光，也即是，第二预设曝光可以为多次曝光中的奇数次曝光，也可以为多次曝光中的偶数次曝光。
第五种可能的实现方式，第一预设曝光为第一曝光序列中的一次曝光，第二预设曝光为第二曝光序列中的一次曝光。
第六种可能的实现方式，第一预设曝光为第二曝光序列中的一次曝光，第二预设曝光为第一曝光序列中的一次曝光。
其中，上述多次曝光包括多个曝光序列，第一曝光序列和第二曝光序列为该多个曝光序列中的同一个曝光序列或者两个不同的曝光序列，每个曝光序列包括N次曝光，该N次曝光包括1次第一预设曝光和N-1次第二预设曝光，或者，该N次曝光包括1次第二预设曝光和N-1次第二预设曝光，N为大于2的正整数。
例如，每个曝光序列包括3次曝光，这3次曝光可以包括1次第一预设曝光和2次第二预设曝光，这样，每个曝光序列的第1次曝光可以为第一预设曝光，第2次和第3次曝光为第二预设曝光。也即是，每个曝光序列可以表示为：第一预设曝光、第二预设曝光、第二预设曝光。或者，这3次曝光可以包括1次第二预设曝光和2次第一预设曝光，这样，每个曝光序列的第1次曝光可以为第二预设曝光，第2次和第3次曝光为第一预设曝光。也即是，每个曝光序列可以表示为：第二预设曝光、第一预设曝光、第一预设曝光。
上述仅提供了六种第一预设曝光和第二预设曝光的可能的实现方式，实际应用中，不限于上述六种可能的实现方式，本申请实施例对此不做限定。
综上，当环境中光强度不理想时，可以根据实际需要，通过补光器02和滤光组件03对外部场景进行可见光补光或近红外补光，生成经过近红外补光的第一图像信号和未经过近红外补光的第二图像信号，这样无论光强度如何，都可以简单、高效地采集到外部场景的真实色彩信息，提高了图像采集单元的使用灵活性，并且还可以方便地与其他图像采集单元进行兼容。
本申请实施例利用图像传感器的曝光时序来控制补光装置的近红外补光时序，以便在第一预设曝光的过程中进行近红外补光并产生第一图像信号，在第二预设曝光的过程中不进行近红外补光并产生第二图像信号，这样的数据采集方式，可以在结构简单、降低成本的同时直接采集到亮度信息不同的第一图像信号和第二图像信号，也即通过一个图像传感器就可以获取两种不同的图像，使得该图像采集单元更加简便，进而使得获取第一图像信号和第二图像信号也更加高效。
2、第一图像处理单元
图像采集单元1输出第一图像信号和第二图像信号后，第一图像处理单元2可以通过第一神经网络单元21对第一图像信号和第二图像信号进行图像匹配处理，得到匹配图像，再通过第一图像处理单元2，基于匹配图像进行图像融合，输出融合图像。
第一图像处理单元2可以是一个包含信号处理算法或程序的逻辑平台。例如，第一图像处理单元2可以是基于X86或ARM(Advanced RISC Machines，第一款RISC(ReducedInstruction Set Computing，精简指令集运算)微处理器)架构的计算机，也可以是FPGA(Field-Programmable Gate Array，现场可编程门阵列)逻辑电路。
在一些实施例中，如图18所示，该第一神经网络单元21包括对齐网络模型211，该第一图像处理单元2还包括第一融合网络模型22，对齐网络模型211可以用于将第一图像信号和第二图像信号进行图像对齐处理，得到匹配图像，第一融合网络模型22可以用于将第一图像信号或第二图像信号，以及匹配图像进行图像融合，得到融合图像。
作为一种示例，第一融合网络模型22用于将第一图像信号与匹配图像进行图像融合，得到融合图像，或者，第一融合网络模型22用于将第二图像信号与匹配图像进行图像融合，得到融合图像。
由于第一图像信号和第二图像信号并非同一时刻采集的图像，当图像中存在运动物体时，运动物体在第一图像信号和第二图像信号中的位置可能是不同的，因此需要通过对齐网络模型211对第一图像信号和第二图像信号进行对齐，使得运动物体在第一图像信号和第二图像信号中的位置相同，即第一图像信号和第二图像信号的运动区域达到匹配，得到匹配图像，然后再通过第一融合网络模型22对匹配图像和第二图像信号或对匹配图像和第一图像信号进行图像融合，输出融合图像。
作为一种示例，对齐网络模型211可以是经过训练的神经网络模型。也就是说，在将第一图像信号和第二图像信号输入对齐网络模型211进行图像匹配之前，需要对神经网络模型进行训练，以便得到对齐网络模型211。
作为一种示例，可以采集多个第一图像信号、多个第二图像信号、多个实际匹配图像，实际匹配图像可以是对第一图像信号进行运动补偿，使其与第二图像信号匹配得到的。将一个第一图像信号、一个与该第一图像信号对应的第二图像信号、一个与该第一图像信号对应的实际匹配图像作为一组训练数据，进而得到多组训练数据，将多组训练数据输入神经网络模型中进行训练。当输入第一图像信号和第二图像信号时，神经网络模型可以基于初始配置参数输出匹配图像，将匹配图像与实际匹配图像进行对比，当匹配图像与实际匹配图像不同时，可以对神经网络模型的配置参数进行调整，直到匹配图像与实际匹配图像相同，说明神经网络模型已经训练完成，将此时的神经网络模型确定为对齐网络模型211，将此时神经网络模型的配置参数确定为对齐网络模型211的模型配置参数。
需要说明的是，作为另一种示例，实际匹配图像可以是对第二图像信号进行运动补偿，使其与第一图像信号匹配得到的。
作为一种示例，对齐网络模型211用于确定第一图像信号和第二图像信号中相对运动区域的运动矢量信息，基于该运动矢量信息对第一图像信号进行运动补偿处理，或者，基于该运动矢量信息对第二图像信号进行运动补偿处理，得到匹配图像。
在一种可能的实现方式中，将第一图像信号和第二图像信号输入对齐网络模型211，对齐网络模型211可以确定两个图像信号中相对运动区域从第一图像信号转换为第二图像信号时，或者，相对运动区域从第二图像信号转换为第一图像信号时，相对运动区域中每个像素点的移动方向和移动位移，将每个像素点的移动方向和移动位移确定为运动矢量信息。
在一些实施例中，如图19所示，该对齐网络模型211可以包括合并层Concat、卷积层Conv、池化层Pool、上采样层UpSample和Warp层，第一图像信号和第二图像信号输入对齐网络模型211后，通过合并层、卷积层、池化层、上采样层的多次处理后，可以从卷积层输出运动矢量信息，然后根据对齐网络模型211的预先设定，将第一图像信号和运动矢量信息输入Warp层，对第一图像信号进行运动补偿处理，或者，将第二图像信号和运动矢量信息输入Warp层，对第二图像信号进行运动补偿处理，可以得到匹配图像。
其中，合并层用于将第一图像信号和第二图像信号进行叠加，以供卷积层使用，卷积层用于对图像进行滤波处理，池化层用于进行对图像进行下采样处理，实现压缩、聚合的目的，上采样层用于对图像进行上采样处理，将图像的尺寸调整为与第一图像信号或第二图像信号的尺寸相同，Warp层用于对图像进行运动补偿处理，得到匹配图像。
作为一种示例，第一图像信号和第二图像信号先输入合并层中，合并层将第一图像信号和第二图像信号叠在一起，得到一个包含多个图层的图像。
作为一种示例，将一个包含多个图层的图像输入卷积层中，卷积层对每个图层进行滤波处理，得到处理后的图像。示例性地，可以通过如下公式(1)对图像进行滤波处理：
Fi(I)＝g(Wi*Fi-1(I)+Bi)(1)
其中，Fi(I)为当前卷积层的输出，Fi-1(I)为当前卷积层的输入，*表示卷积处理，Wi和Bi分别表示当前卷积层的卷积滤波核的权重系数和偏移系数，g()表示激活函数。当激活函数为ReLU时，g(x)＝max(x,0)。
其中，当前卷积层的卷积滤波核的权重系数和偏移系数，以及激活函数均为对齐网络模型211的模型配置参数。
作为一种示例，将处理后的图像输入池化层中，池化层可以对图像中的每个图层进行下采样。示例性地，以最大池化为例，若池化窗口为N*N，则取N*N窗口内的最大值作为结果进行输出，具体可根据下述公式(2)进行计算：
Fi(I)＝maxpoolN*N(Fi-1(I)) (2)
其中，N的取值可以根据实际需要进行设置，也可以由对齐网络模型211进行默认设置，本申请实施例对此不做限定。
例如，假设一个图层的像素点的个数为20×20，池化窗口的大小为2×2，可以将该图层分为100个池化窗口，将每个池化窗口中像素点的亮度的最大值作为池化后的图层中一个像素点的亮度值，可以得到100个像素点的亮度值，将该100个像素点进行排列，可以得到一个10×10的图层，进而可以得到池化后的图像，将该池化后的图像作为池化层的输出。
作为一种示例，由于池化后图像的尺寸发生了变化，因此需要对图像的尺寸进行调整，可以将图像输入上采样层中，对图像进行上采样处理，以便调整图像的尺寸。
在一种可能的实现方式中，可以对合并层输出的图像依次进行卷积、池化、卷积、池化、卷积、上采样、卷积、上采样、卷积、池化......卷积的过程，最后从卷积层输出运动矢量信息。
作为一种示例，得到运动矢量信息后，可以根据运动矢量信息对第一图像信号进行运动补偿，或者可以根据运动矢量信息对第二图像信号进行运动补偿。示例性地，可以通过如下公式(3)确定运动补偿后的图像：
Img'(x,y)＝Img(x+u,y+v) (3)
其中，(u,v)为运动矢量信息，(x,y)为图像中像素点的坐标，Img'(x,y)为运动补偿后的图像像素点的亮度，Img(x+u,y+v)为运动补偿前的图像像素点的亮度。
需要说明的是，上述是以通过运动估计补偿法对第一图像信号和第二图像信号进行图像匹配为例进行说明，在实际实现中，还可以通过滤波核对齐方法、可变性卷积方法等实现对第一图像信号和第二图像信号的图像匹配，本申请实施例对此不作限定。
作为一种示例，对第一图像信号进行运动补偿，得到匹配图像后，如图20所示，可以通过第一融合网络模型22对匹配图像和第二图像信号进行图像融合，得到融合图像；或者，对第二图像信号进行运动补偿，得到匹配图像后，如图21所示，可以通过第一融合网络模型22对匹配图像和第一图像信号进行图像融合，得到融合图像。
作为一种示例，该第一融合网络模型22可以是经过训练的神经网络模型。也就是说，在将匹配图像和第二图像信号输入第一融合网络模型22进行图像融合处理之前，或者，将匹配图像和第一图像信号输入第一融合网络模型22进行图像融合处理之前，需要对神经网络模型进行训练，以便得到第一融合网络模型22。
作为一种示例，可以采集多个第一图像、多个第二图像和多个实际融合图像，第一图像是经过近红外补光的图像，第二图像是未经过近红外补光的图像，实际融合图像是第一图像和对应的第二图像进行图像融合得到的，且第一图像和对应的第二图像的运动区域相匹配。将一个第一图像、一个对应的第二图像和一个对应的实际融合图像作为一组训练数据，进而得到多组训练数据，将多组训练数据输入神经网络模型中进行训练。当输入第一图像和对应的第二图像时，神经网络模型可以基于初始配置参数输出融合图像，将融合图像与实际融合图像进行对比，当融合图像与实际融合图像的相似度小于相似度阈值时，可以对神经网络模型的配置参数进行调整，直到融合图像与实际融合图像的相似度大于或等于相似度阈值，说明神经网络模型已经训练完成，将此时的神经网络模型确定为第一融合网络模型22，将此时神经网络模型的配置参数确定为第一融合网络模型22的模型配置参数。
作为一种示例，该第一融合网络模型22可以包括合并层Concat、卷积层Conv、池化层Pool和上采样层UpSample，匹配图像和第二图像信号输入第一融合网络模型22后，通过合并层、卷积层、池化层和上采样层的处理，可以输出融合图像，或者，匹配图像和第一图像信号输入第一融合网络模型22后，通过合并层、卷积层、池化层和上采样层的处理，可以输出融合图像。
需要说明的是，上述通过第一融合网络模型22确定融合图像的过程与上述实施例通过对齐网络模型211的合并层、卷积层、池化层和上采样层确定运动矢量信息的过程相同，只是第一融合网络模型22与对齐网络模型211的模型参数不同，使得第一融合网络模型22可以输出匹配图像。具体可参见上述实施例，本申请实施例在此不再赘述。
进一步地，为了使融合图像的图像质量更高，该图像融合装置还可以包括第一后处理单元3，该第一后处理单元3的输入端与第一图像处理单元2的输出端连接，用于对融合图像至少进行降噪和增强处理，使得融合图像的图像质量更高，图像显示效果更好。
进一步地，为了满足不同的需求，除了输出融合图像外，第一图像处理单元2还可以直接输出第一图像信号，或者，直接输出第二图像信号。
在本申请实施例中，图像采集单元通过图像传感器在第一预设曝光下输出第一图像信号，在第二预设曝光下生成第二图像信号，然后通过对齐网络模型对第一图像信号和第二图像信号进行图像对齐处理，得到匹配图像，再通过第一融合网络模型将匹配图像和第二图像信号进行图像融合，或者，将匹配图像和第一图像信号进行融合，得到融合图像，避免了融合图像出现重影的问题，提高了融合图像的图像质量。
在另一些实施例中，第一神经网络单元21包括图像插帧网络模型212，第一图像处理单元2还包括第二融合网络模型23，图像插帧网络模型212用于将第二图像信号和前一帧的第二图像信号进行插帧处理，得到匹配图像，第二图像信号的产生时间晚于第一图像信号的产生时间，第二融合网络模型23用于将匹配图像和第一图像信号进行图像融合，得到融合图像。
或者，第一神经网络单元21包括图像插帧网络模型212，第一图像处理单元2还包括第二融合网络模型23，图像插帧网络模型212用于将第一图像信号和前一帧的第一图像信号进行插帧处理，得到匹配图像，第一图像信号的产生时间晚于第二图像信号的产生时间，第二融合网络模型23用于将匹配图像和第二图像信号进行图像融合，得到融合图像。
作为一种示例，该第一图像处理单元2可以存储有前一帧的第一图像信号和/或前一帧的第二图像信号，譬如，该第一图像处理单元2中还可以包括存储器，该存储器用于存储前一帧的第一图像信号和/或前一帧的第二图像信号。在该种情况下，在一种可能的实现方式中，如图22所示，当第二图像信号的产生时间早于第一图像信号时，图像插帧网络模型212可以对第一图像信号和前一帧的第一图像信号进行插帧处理，得到匹配图像，然后第二融合网络23模型可以将匹配图像和第二图像信号进行图像融合处理，得到融合图像。
在另一种可能的实现方式中，如图23所示，当第一图像信号的产生时间早于第二图像信号时，图像插帧网络模型212可以对第二图像信号和前一帧的第二图像信号进行插帧处理，得到匹配图像，然后第二融合网络模型23可以将匹配图像和第一图像信号进行图像融合处理，得到融合图像。
作为一种示例，该图像插帧网络模型212可以是经过训练的神经网络模型。也就是说，在将当前帧图像信号和前一帧的图像信号输入图像插帧网络模型212进行插帧处理之前，需要对神经网络模型进行训练，以便得到图像插帧网络模型212。
作为一种示例，可以采集多个当前帧图像信号、多个前一帧的图像信号和多个实际匹配图像，实际匹配图像可以认为是在生成时间上位于当前帧图像信号和前一帧的图像信号之间的图像。将一个当前帧图像信号、一个与该当前帧图像对应的前一帧的图像信号和一个与该当前帧图像信号对应的实际匹配图像作为一组训练数据，进而得到多组训练数据，将多组训练数据输入神经网络模型中进行训练。当输入当前帧图像信号和对应的前一帧的图像信号时，神经网络模型可以基于初始配置参数输出匹配图像，将匹配图像与实际匹配图像进行对比，当匹配图像与实际匹配图像的相似度小于相似度阈值时，可以对神经网络模型的配置参数进行调整，直到匹配图像与实际匹配图像的相似度大于或等于相似度阈值，说明神经网络模型已经训练完成，将此时的神经网络模型确定为图像插帧网络模型212，将此时神经网络模型的配置参数确定为图像插帧网络模型212的模型配置参数。
在一些实施例中，图像插帧网络模型212可以用于确定第二图像信号和前一帧第二图像信号中相对运动区域的运动矢量信息，基于运动矢量信息，在前一帧的第二图像信号中进行运动补偿处理，或者，在第二图像信号中进行运动补偿处理，得到匹配图像；或者，获取第一补偿图像和第二补偿图像，将第一补偿图像和第二补偿图像进行加权处理，得到匹配图像，其中，第一补偿图像是基于运动矢量信息对前一帧的第二图像信号进行运动补偿处理得到，第二补偿图像是基于运动矢量信息对第二图像信号进行运动补偿处理得到。
作为一种示例，将第二图像信号和前一帧的第二像信号输入图像插帧网络模型212中，图像插帧网络模型212可以确定两个图像信号中相对运动区域从前一帧的第二图像信号转换为第二图像信号时，相对运动区域中每个像素点的移动方向和移动位移，将每个像素点的移动方向和移动位移确定为运动矢量。
作为一种示例，可以基于1/2的运动矢量信息，对前一帧的第二图像信号进行运动补偿，得到匹配图像，或者，可以基于1/2的运动矢量信息，对第二图像信号进行运动补偿，得到匹配图像；或者，基于1/2的运动矢量信息，对前一帧的第二图像信号进行运动补偿，得到第一补偿图像，基于1/2的运动矢量信息，对第二图像信号进行运动补偿，得到第二补偿图像，将第一补偿图像和第二补偿图像进行加权取平均值，得到匹配图像。
示例性地，以基于1/2的运动矢量信息，对第二图像信号进行运动补偿，得到匹配图像为例，可以通过如下公式(4)确定对第二图像信号进行运动补偿后得到的匹配图像。
Figure BDA0002223953740000261
其中，(u,v)为运动矢量信息，(x,y)为图像中像素点的坐标，Img'(x,y)为对第二图像信号进行运动补偿后得到的匹配图像像素点的亮度，
Figure BDA0002223953740000262
为第二图像信号像素点的亮度。
上述仅是以对第二图像信号进行运动补偿得到匹配图像为例进行说明，上述得到匹配图像的其他方式也可以用上述公式确定匹配图像，在此不在赘述。
作为一种示例，图像插帧网络模型212还可以确定第一图像信号和前一帧的第一图像信号中相对运动区域的运动矢量信息，并基于运动矢量信息，在前一帧的第一图像信号中进行运动补偿处理，或者，在第二图像信号中进行运动补偿处理；或者，获取第三补偿图像和第四补偿图像，将第三补偿图像和第四补偿图像进行加权处理，得到匹配图像，其中，第三补偿图像是基于运动矢量信息对前一帧的第一图像信号进行运动补偿处理得到，第四补偿图像是基于运动矢量信息对第一图像信号进行运动补偿处理得到。具体实现与上述过程相同，本申请在此不在赘述。
在一种可能的实现方式中，如图24所示，该图像插帧网络模型212可以包括合并层Concat、卷积层Conv、池化层Pool、上采样层UpSample和Warp层。以第二图像信号的产生时间早于第一图像信号为例，将当前的第一图像信号和前一帧的第一图像信号输入图像插帧网络模型212后，通过合并层、卷积层、池化层和上采样层的处理，可以得到运动矢量信息。
作为一种示例，得到运动矢量信息后，可以根据运动矢量信息确定匹配图像。示例性地，可以通过上述公式(4)确定匹配图像。
需要说明的是，上述通过图像插帧网络模型212确定匹配图像的过程与上述实施例通过对齐网络模型211确定匹配图像的过程相同，具体可参见上述实施例，本实施例在此不再赘述。
需要说明的是，输出匹配图像后，可以将第一图像信号和/或第二图像信号存入第一图像处理单元21中，以供下一帧图像使用。
作为一种示例，该第二融合网络模型23可以是经过训练的神经网络模型。也就是说，在将匹配图像和第一图像信号或将匹配图像和第二图像信号输入第二融合网络模型23进行图像融合处理之前，需要对神经网络模型进行训练，以便得到第二融合网络模型23。
作为一种示例，可以采集多个匹配图像、多个图像信号和多个实际融合图像，匹配图像和图像信号是不同类型的图像，若匹配图像经过近红外补光，则图像信号未经过近红外补光，若匹配图像未经过近红外补光，则图像信号经过近红外补光，实际融合图像为对匹配图像和图像信号进行图像融合得到的。将一个匹配图像、一个对应的图像信号和一个对应的实际融合图像作为一组训练数据，进而得到多组训练数据，将多组训练数据输入神经网络模型中进行训练。当输入匹配图像和对应的图像信号时，神经网络模型可以基于初始配置参数输出融合图像，将融合图像与实际融合图像进行对比，当融合图像与实际融合图像的相似度小于相似度阈值时，可以对神经网络模型的配置参数进行调整，直到融合图像与实际融合图像的相似度大于或等于相似度阈值，说明神经网络模型已经训练完成，将此时的神经网络模型确定为第二融合网络模型23，将此时神经网络模型的配置参数确定为第二融合网络模型23的模型配置参数。
作为一种示例，该第二融合网络模型23可以包括合并层Concat、卷积层Conv、池化层Pool和上采样层UpSample，当第二图像信号的产生时间早于第一图像信号时，匹配图像和第二图像信号输入第二融合网络模型23后，通过合并层、卷积层、池化层和上采样层的处理，可以输出融合图像，或者，当第一图像信号的产生时间早于第二图像信号时，匹配图像和第一图像信号输入第二融合网络模型23后，通过合并层、卷积层、池化层和上采样层的处理，可以输出融合图像。
需要说明的是，上述通过第二融合网络模型23确定融合图像的过程与上述实施例通过第一融合网络模型22确定融合图像的过程相同，具体可参见上述实施例，本实施例在此不再赘述。
进一步地，如图25所示，为了使融合图像的图像质量更高，该图像融合装置还可以包括第一后处理单元3，该第一后处理单元3的输入端与第一图像处理单元2的输出端连接，用于对融合图像至少进行降噪和增强处理，使得融合图像的图像质量更高，图像显示效果更好。
进一步地，为了满足使用红外图像或自然光图像的不同需求，第一图像处理单元2还可以直接输出第一图像信号，或者，可以直接输出第二图像信号。
在本申请实施例中，图像采集单元通过图像传感器在第一预设曝光下输出第一图像信号，在第二预设曝光下生成第二图像信号，然后通过图像插帧网络模型对第一图像信号和前一帧的第一图像信号进行图像插帧处理，或者，对第二图像信号和前一帧的第二图像信号进行图像插帧处理，得到匹配图像，再通过第二融合网络模型对匹配图像和第二图像信号，或者对匹配图像和第一图像信号进行图像融合，得到融合图像，避免了融合图像出现重影的问题，提高了融合图像的图像质量。
在另一些实施例中，如图26所示，第一图像处理单元2还包括第二后处理单元24，该第二后处理单元24用于将匹配图像和第一图像信号进行图像融合，或者，用于将匹配图像与第二图像信号进行图像融合，输出融合图像。
作为一种示例，如图26所示，该第二后处理单元24包括第三融合网络单元241。
在一种可能的实现方式中，该第三融合网络单元241用于当匹配图像是对第二图像信号进行区域运动补偿处理后得到时，将匹配图像进行色彩和亮度分离，得到色彩图像和亮度图像，基于预设加权系数对亮度图像和第一图像信号进行加权处理，将色彩图像和加权处理后得到的图像进行叠加，输出融合图像。
在另一种可能的实现方式中，该第三融合网络单元241用于当匹配图像是对第一图像信号进行区域运动补偿处理后得到时，将第二图像信号进行色彩和亮度分离，得到色彩图像和亮度图像，基于预设加权系数对亮度图像和匹配图像进行加权处理，将色彩图像和加权处理后得到的图像进行叠加，输出融合图像。
由于第二图像信号是未进行近红外补光得到的，因此，第二图像信号是彩色的，若匹配图像是对第二图像信号进行区域运动补偿处理后得到时，可以将匹配图像进行色彩和亮度分离。第一图像信号是进行近红外补光得到的，因此，第一图像信号是黑白图像，若匹配图像是对第一图像信号进行区域运动补偿处理后得到时，该匹配图像也是黑白的，无法进行色彩和亮度分离，需要对第二图像信号进行色彩和亮度分离。
示例性地，在对图像进行图像融合处理的过程中，可以根据实际需要调整预设加权系数，针对不同的像素点的情况进行调整。例如，以匹配图像为黑白图像为例，若匹配图像中某个像素点的亮度较低，可以将与其融合的亮度图像中对应该像素点的预设加权系数调低，以得到加权处理后的图像。
需要说明的是，预设加权系数可以根据实际需要进行设置，也可以由图像融合装置默认设置，本申请实施例对此不作限定。
进一步地，为了使融合图像的图像质量更高，该第二后处理单元24还可以用于对融合图像至少进行降噪和增强处理，使得融合图像的图像质量更高，图像显示效果更好。
需要说明的是，当图像采集单元1中的图像传感器01为以Bayer方式排列的传感器时，该图像传感器01的每一个像素只能捕获一种色彩值，而缺失另外两种色彩值，在这种情况下，该图像传感器01生成并输出的将是一幅马赛克图像。并且，由于图像传感器01输出的图像通常均存在噪声信号，因此，当第一图像处理单元2接收到图像传感器01输出的第一图像信号和第二图像信号时，可以先对第一图像信号和第二图像信号进行预处理，然后再将预处理后的图像进行图像匹配。
在一些实施例中，如图27所示，该第一图像处理单元2还可以包括预处理单元25，该预处理单元25的输出端与第一神经网络单元21的输入端连接，该预处理单元25用于分别对第一图像信号和第二图像信号进行预处理，并输出第一预处理图像和第二预处理图像。相应地，第一神经网络单元21用于分别对第一预处理图像和第二预处理图像进行图像匹配处理，输出匹配图像。
作为一种示例，预处理可以包括黑白电平校正、白平衡、数字增益、图像插值、色彩校正、曲线映射、图像降噪中的至少一种，可以通过传统方法或深度学习技术实现对第一图像信号和第二图形信号的预处理。
需要说明的是，由于第一图像信号和第二图像信号是在不同的时刻生成的，且第一图像信号和第二图像信号生成后直接输入至第一图像处理单元2，因此，第一图像信号和第二图像信号是异步输入第一图像处理单元2的，而要对第一图像信号和第二图像信号进行图像处理，需要第一图像信号和第二图像信号是同步的，因此，可以对第一图像信号和第二图像信号进行时间同步，使得第一图像信号和第二图像信号可以同步输入至第一神经网络单元中。
在一种可能的实现方式中，该图像融合装置还可以包括存储器4，如图28所示，该存储器4的输出端可以与预处理单元25的输入端连接，用于将第一图像信号和第二图像信号同步后输出给预处理单元25；该存储器4可以位于预处理单元25中，或，如图29所示，该存储器4的输入端可以与预处理单元25的输出端连接，用于将第一预处理图像和第二预处理图像同步后输出给第一神经网络单元21。
也就是说，该存储器4可以和预处理单元25一体设置，也可以分开设置。该存储器4用于存储第一图像信号和第二图像信号中的至少一个，并且用于将第一图像信号和第二图像信号同步输入至预处理单元25中，实现两个图像信号的时间同步。或者，该存储器4用于存储第一图像信号和第二图像信号中的至少一个，用于将第一图像信号和第二图像信号同步输入至第一神经网络单元21中，实现两个预处理图像的时间同步。
例如，假设第一图像信号早于第二图像信号进入第一图像处理单元2，当存储器4设置在预处理单元25之前时，可以将第一图像信号先输入至存储器4中进行存储，等到第二图像信号也输入第一图像处理单元2后，将第二图像信号输入至存储器4中，再在同一时刻将第一图像信号和第二图像信号输出，并同时输入至预处理单元25中；当存储器4设置在预处理单元25之中或之后时，可以先对第一图像信号进行预处理，得到第一预处理图像，并将第一预处理图像输入至存储器4中进行存储，然后对第二图像信号进行预处理，得到第二预处理图像，并将第二预处理图像输入存储器4中，再在同一时刻将第一预处理图像和第二预处理图像输出，并同时输入至第一神经网络单元21中。
又例如，假设第二图像信号早于第一图像信号进入第一图像处理单元2，当存储器4设置在预处理单元25之前时，可以将第二图像信号先输入至存储器中进行存储，等到第一图像信号也输入第一图像处理单元2后，将第一图像信号输入至存储器4中，再在同一时刻将第一图像信号和第二图像信号输出，并同时输入至预处理单元25中；当存储器4设置在预处理单元25之中或之后时，可以先对第二图像信号进行预处理，得到第二预处理图像，并将第二图像信号信号输入至存储器4中进行存储，等到第一图像信号也输入第一图像处理单元2后，对第一图像信号进行预处理，得到第一预处理图像，并将第一图像信号输入存储器4中，再在同一时刻将第一预处理图像和第二预处理图像输出，并同时输入至第一神经网络单元21中。
值得注意的是，在进行图像预处理的情况下，上述各个实施例中的实现过程可以基于预处理图像来进行。例如，可以通过对齐网络模型211对第一预处理图像和第二预处理图像进行图像对齐处理，得到匹配图像，通过第一融合网络模型22，基于第一预处理图像或第二预处理图像，以及匹配图像进行图像融合，得到融合图像。
需要说明的是，为了满足显示和智能应用等不同的需求，可以灵活处理第一图像信号和第二图像信号，除了输出融合图像外，还可以输出另一种处理图像。例如，第一图像处理单元2还可以直接输出第一预处理图像，或者，可以直接输出第二预处理图像。
作为一种示例，由于第一图像信号包含有近红外光信息，所以对第一图像信号进行预处理后得到的灰度图像信息的图像质量较好，比较适合用于进行人脸分析，可以提高人脸识别准确率。由于第二图像信号包含有可见光信息，所以对第二图像信号进行预处理得到的彩色图像信息的色彩还原较为准确，比较适合用于进行显示，可以提高图像显示效果。因此，可以直接将第一预处理图像或第二预处理图像作为融合图像输出，以满足不同的需求。
在本申请实施例中，图像采集单元通过图像传感器在第一预设曝光下输出第一图像信号，在第二预设曝光下生成第二图像信号，由第一图像处理单元的第一神经网络单元对第一图像信号和第二图像信号进行图像匹配处理，得到匹配图像，再通过第二后处理单元的第三图像融合单元对匹配图像和第一图像信号进行图像融合，或者，对匹配图像和第二图像信号进行图像融合，输出融合图像，可以避免进行图像融合处理时运动目标的位置不匹配，导致在融合处理图像中出现重影的问题，提高了融合图像的图像质量。
在又一些实施例中，如图30所示，图像融合装置包括图像采集单元1和第二图像处理单元5。
其中，图像采集单元1包括图像传感器01，图像传感器01用于在第一预设曝光下输出第一图像信号，在第二预设曝光下输出第二图像信号，且第一图像信号经过近红外补光，第二图像信号未经过近红外补光，如图31所示，第二图像处理单元5包括第二神经网络单元51，该第二神经网络单元51用于对第一图像信号和第二图像信号进行图像匹配和图像融合处理，输出融合图像。
需要说明的是，关于图像采集单元1的结构和作用与上述实施例中图像采集单元1的结构和作用均相同，具体可参见上述实施例，本实施例在此不再赘述。
在一些实施例中，该第二神经网络单元51用于将第一图像信号和第二图像信号进行图像匹配和图像融合处理，输出融合图像。
作为一种示例，该第二神经网络单元51可以是经过训练的神经网络模型。也就是说，在将第一图像信号和第二图像信号输入第二神经网络单元51进行图像匹配和图像融合处理之前，需要对神经网络模型进行训练，以便得到第二神经网络单元51。
作为一种示例，可以采集多个第一图像信号、多个第二图像信号和多个实际融合图像，实际融合图像可以是对第一图像信号和对应的第二图像信号进行图像匹配和图像融合得到的，将一个第一图像信号、一个与该第一图像信号对应的第二图像信号和一个与该第一图像信号对应的实际融合图像作为一组训练数据，进而得到多组训练数据，将多组训练数据输入神经网络模型中进行训练。当输入第一图像信号和对应的第二图像信号时，神经网络模型可以基于初始配置参数输出融合图像，将融合图像与实际融合图像进行对比，当融合图像与实际融合图像的相似度小于相似度阈值时，可以对神经网络模型的配置参数进行调整，直到融合图像与实际融合图像的相似度大于或等于相似度阈值，说明神经网络模型已经训练完成，将此时的神经网络模型确定为第二神经网络单元51，将此时神经网络模型的配置参数确定为第二神经网络单元51的模型配置参数。其中，该相似度阈值可以根据实际需求进行设置。
作为一种示例，如图32所示，该第二神经网络单元51可以包括合并层Concat、卷积层Conv、池化层Pool和上采样层UpSample，第一图像信号和第二图像信号输入第二神经网络单元51后，通过合并层、卷积层、池化层和上采样层进行图像匹配和图像融合处理，可以输出融合图像。
需要说明的是，通过第二神经网络单元51对第一图像信号和第二图像信号进行图像匹配和图像融合处理的过程与上述实施例通过对齐网络模型211对第一图像信号和第二图像信号进行图像匹配的过程相同，只是第二神经网络单元51的模型配置参数与对齐网络模型211的模型配置参数不同，使得通过第二神经网络单元51可以得到融合图像。具体可参见上述实施例，本实施例对此不做限定。
进一步地，该第二图像处理单元5还可以包括预处理单元，用于对第一图像信号和第二图像信号进行预处理，得到第一预处理图像和第二预处理图像。
需要说明的是，为了使融合图像的图像质量更高，该图像融合装置还可以包括第一后处理单元，该第一后处理单元用于对融合图像至少进行降噪和增强处理，使得融合图像的图像质量更高，图像显示效果更好。
在本申请实施例中，图像采集单元通过图像传感器在不同的曝光条件下输出第一图像信号和第二图像信号，第一图像信号经过近红外补光，第二图像信号未经过近红外补光，然后通过第二神经网络单元对第一图像信号和第二图像信号进行图像匹配处理和图像融合处理，得到融合图像。如此，可以使得运动物体在第一图像信号和第二图像信号中的位置相同，进而可以避免对第一图像信号和第二图像信号进行图像融合处理时运动目标的位置不匹配，导致在融合图像中出现重影的问题，提高了融合图像的图像质量。
基于上述图1-29所示的实施例示出的图像融合装置的描述，该图像融合装置可以通过图像采集单元输出第一图像信号和第二图像信号，将第一图像信号和第二图像信号输入第一图像处理单元，通过第一神经网络单元对第一图像信号和第二图像信号进行图像匹配处理，得到匹配图像，再通过第一图像处理单元，基于匹配图像进行图像融合，输出融合图像。以基于上述图1-29所示的实施例提供的图像融合装置来对图像融合方法进行说明，该图像融合装置包括图像采集单元和第一图像处理单元，图像采集单元包括图像传感器，第一图像处理单元包括第一神经网络单元。参见图33，该方法包括：
步骤3301：通过图像传感器，在不同曝光条件下输出第一图像信号和第二图像信号，且第一图像信号经过近红外补光，第二图像信号未经过近红外补光。
步骤3302：通过第一神经网络单元对第一图像信号和第二图像信号进行图像匹配处理，得到匹配图像。
步骤3303：通过第一图像处理单元，基于匹配图像进行图像融合，输出融合图像。
在本申请一种可能的实现方式中，第一神经网络单元包括对齐网络模型，第一图像处理单元还包括第一融合网络模型；
通过对齐网络模型，将第一图像信号和第二图像信号进行图像对齐处理，得到匹配图像；
通过第一融合网络模型，基于第一图像信号或第二图像信号，以及匹配图像进行图像融合，得到融合图像。
在本申请一种可能的实现方式中，通过对齐网络模型，确定第一图像信号和第二图像信号中相对运动区域的运动矢量信息；基于运动矢量信息对第一图像信号进行运动补偿处理，或者，基于运动矢量信息对第二图像信号进行运动补偿处理，得到匹配图像。
在本申请一种可能的实现方式中，
通过第一融合网络模型，将匹配图像与第一图像信号进行图像融合，得到融合图像；或者，
通过第一融合网络模型，将匹配图像与第二图像信号进行图像融合，得到融合图像。
在本申请一种可能的实现方式中，第一神经网络单元包括图像插帧网络模型，第一图像处理单元还包括第二融合网络模型；
通过图像插帧网络模型，将第二图像信号和前一帧的第二图像信号进行插帧处理，得到匹配图像，第二图像信号的产生时间晚于第一图像信号的产生时间；
通过第二融合网络模型，将匹配图像和第一图像信号进行图像融合，得到融合图像。
在本申请一种可能的实现方式中，通过图像插帧网络模型，确定第二图像信号和前一帧的第二图像信号中相对运动区域的运动矢量信息；
基于运动矢量信息，在前一帧的第二图像信号中进行运动补偿处理，或者，在第二图像信号中进行运动补偿处理，得到匹配图像；或者，获取第一补偿图像和第二补偿图像，将第一补偿图像和第二补偿图像进行加权处理，得到匹配图像，其中，第一补偿图像是基于运动矢量信息对前一帧的第二图像信号进行运动补偿处理得到，第二补偿图像是基于运动矢量信息对第二图像信号进行运动补偿处理得到。
在本申请一种可能的实现方式中，第一神经网络单元包括图像插帧网络模型，第一图像处理单元还包括第二融合网络模型；
通过图像插帧网络模型，将第一图像信号和前一帧的第一图像信号进行插帧处理，得到匹配图像，第一图像信号的产生时间晚于第二图像信号的产生时间；
通过第二融合网络模型，将匹配图像和第二图像信号进行图像融合，得到融合图像。
在本申请一种可能的实现方式中，通过图像插帧网络模型，确定第一图像信号和前一帧第一图像信号中相对运动区域的运动矢量信息；
基于运动矢量信息，在前一帧的第一图像信号中进行运动补偿处理，或者，在第一图像信号中进行运动补偿处理，得到匹配图像；或者，获取第三补偿图像和第四补偿图像，将第三补偿图像和第四补偿图像进行加权处理，得到匹配图像，其中，第三补偿图像是基于运动矢量信息对前一帧的第一图像信号进行运动补偿处理得到，第四补偿图像是基于运动矢量信息对第一图像信号进行运动补偿处理得到。
在本申请一种可能的实现方式中，图像融合装置还包括第一后处理单元，第一后处理单元的输入端与第一图像处理单元的输出端连接，通过第一后处理单元对融合图像至少进行降噪和增强处理。
在本申请一种可能的实现方式中，第一图像处理单元还包括第二后处理单元，通过第二后处理单元将匹配图像与第一图像信号进行图像融合，或者，将匹配图像与第二图像信号进行图像融合，输出融合图像。
在本申请一种可能的实现方式中，第二后处理单元包括第三图像融合单元，通过第三图像融合单元，当匹配图像是对第二图像信号进行区域运动补偿处理后得到时，将匹配图像进行色彩和亮度分离，得到色彩图像和亮度图像，基于预设加权系数对亮度图像和第一图像信号进行加权处理，将色彩图像和加权处理后得到的图像进行叠加，输出融合图像。
在本申请一种可能的实现方式中，第二后处理单元包括第三图像融合单元，通过第三图像融合单元，当匹配图像是对第一图像信号进行区域运动补偿处理后得到时，将第二图像信号进行色彩和亮度分离，得到色彩图像和亮度图像，基于预设加权系数对亮度图像和匹配图像进行加权处理，将色彩图像和加权处理后得到的图像进行叠加，输出融合图像。
在本申请一种可能的实现方式中，第一图像处理单元还包括预处理单元，预处理单元的输出端与第一神经网络单元的输入端连接；
通过预处理单元，分别对第一图像信号和第二图像信号进行预处理，输出第一预处理图像和第二预处理图像；
相应地，通过第一神经网络单元，将第一预处理图像和第二预处理图像进行图像匹配处理。
在本申请一种可能的实现方式中，图像融合装置还包括存储器；
存储器的输出端与预处理单元的输入端连接，通过存储器将第一图像信号和第二图像信号同步后输出给预处理单元；或者，
存储器位于预处理单元中，或者，存储器的输入端与预处理单元的输出端连接，将第一预处理图像和第二预处理图像同步后输出给第一神经网络单元。
在本申请实施例中，图像采集单元的图像传感器可以在不同曝光条件下输出第一图像信号和第二图像信号，第一图像信号经过近红外补光，第二图像信号未经过近红外补光，然后通过第一图像处理单元的第一神经网络单元对第一图像信号和第二图像信号进行图像匹配处理，可以使得运动物体在第一图像信号和第二图像信号中的位置相同，得到匹配图像，第一图像处理单元基于该匹配图像进行图像融合，输出融合图像。由于进行图像融合时是基于匹配图像进行，因此可以避免运动目标的位置不匹配，导致在融合图像中出现重影的问题，提高了融合图像的图像质量。
基于上述图1-32所示的实施例示出的图像融合装置的描述，该图像融合装置可以通过图像采集单元输出第一图像信号和第二图像信号，将第一图像信号和第二图像信号输入第二图像处理单元，通过第二神经网络单元对第一图像信号和第二图像信号进行图像匹配和图像融合处理，输出融合图像。以基于上述图1-32所示的实施例提供的图像融合装置来对图像融合方法进行说明，该图像融合装置包括图像采集单元和第二图像处理单元，图像采集单元包括图像传感器，第二图像处理单元包括第二神经网络单元。参见图34，该方法包括：
步骤3401：通过图像传感器，在不同曝光条件下输出第一图像信号和第二图像信号，且第一图像信号经过近红外补光，第二图像信号未经过近红外补光。
步骤3402：通过第二神经网络单元对第一图像信号和第二图像信号进行图像匹配和图像融合处理，输出融合图像。
在本申请实施例中，图像采集单元的图像传感器可以在不同曝光条件下输出第一图像信号和第二图像信号，第一图像信号经过近红外补光，第二图像信号未经过近红外补光，然后通过第二图像处理单元的第二神经网络单元对第一图像信号和第二图像信号进行图像匹配和图像融合处理，输出融合图像。如此，可以使得运动物体在第一图像信号和第二图像信号中的位置相同，进而可以避免对第一图像信号和第二图像信号进行图像融合处理时运动目标的位置不匹配，导致在融合图像中出现重影的问题，提高了融合图像的图像质量。
图35是本申请实施例提供的一种设备的结构示意图。该设备可以包括上述各个实施例所述的图像融合装置，该设备3500包括中央处理单元(CPU)3501、包括随机存取存储器(RAM)3502和只读存储器(ROM)3503的系统存储器3504，以及连接系统存储器3504和中央处理单元3501的系统总线3505。设备3500还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)3506，和用于存储操作系统3513、应用程序3514和其他程序模块3515的大容量存储设备3507。
基本输入/输出系统3506包括有用于显示信息的显示器3508和用于用户输入信息的诸如鼠标、键盘之类的输入设备3509。其中显示器3508和输入设备3509都通过连接到系统总线3505的输入输出控制器3510连接到中央处理单元3501。基本输入/输出系统3506还可以包括输入输出控制器3510以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器3510还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备3507通过连接到系统总线3505的大容量存储控制器(未示出)连接到中央处理单元3501。大容量存储设备3507及其相关联的计算机可读介质为设备3500提供非易失性存储。也就是说，大容量存储设备3507可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器3504和大容量存储设备3507可以统称为存储器。
根据本申请的各种实施例，设备3500还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即设备3500可以通过连接在系统总线3505上的网络接口单元3511连接到网络3512，或者说，也可以使用网络接口单元3511来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。
在一些实施例中，还提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中图像融合方法的步骤。例如，所述计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。
值得注意的是，本申请提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。
应当理解的是，实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。
也即是，在一些实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的图像融合方法的步骤。
以上所述为本申请提供的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (17)

1.一种图像融合装置，其特征在于，所述图像融合装置包括：图像采集单元（1）、第一图像处理单元（2）和存储器（4），所述图像采集单元（1）包括图像传感器（01）、滤光组件（03）和镜头（04）；所述滤光组件（03）位于所述镜头（04）和所述图像传感器（01）之间，且所述图像传感器（01）位于所述滤光组件（03）的出光侧；或者，所述镜头（04）位于所述滤光组件（03）与所述图像传感器（01）之间，且所述图像传感器位于所述镜头（04）的出光侧；
所述滤光组件包括第一滤光片（031）、第二滤光片（032）和切换部件（033），所述第一滤光片（031）和所述第二滤光片（032）均与所述切换部件（033）连接，所述切换部件（033）用于使所述滤光组件（03）在第一状态和第二状态之间切换；所述第一滤光片（031）与所述滤光组件（03）的第一状态对应，使可见光和部分近红外光通过，所述第二滤光片（032）与所述滤光组件（03）的第二状态对应，仅使可见光通过；
所述第一图像处理单元（2）包括第一神经网络单元（21）和预处理单元（25），所述预处理单元（25）的输出端与所述第一神经网络单元（21）的输入端连接；
所述图像传感器（01）用于在第一预设曝光下输出第一图像信号，在第二预设曝光下输出第二图像信号，所述第一图像信号是在所述第一预设曝光的部分曝光时间段或曝光时间段内进行红外补光得到的，所述第二图像信号是在所述第二预设曝光的曝光时间段内不进行红外补光得到的；
所述预处理单元（25）用于分别对所述第一图像信号和所述第二图像信号进行预处理，输出第一预处理图像和第二预处理图像；所述存储器（4）的输出端与所述预处理单元（25）的输入端连接，将所述第一图像信号和所述第二图像信号同步后输出给所述预处理单元（25）；或者，所述存储器（4）位于所述预处理单元（25）中，或者，所述存储器（4）的输入端与所述预处理单元（25）的输出端连接，用于将所述第一预处理图像和所述第二预处理图像同步后输出给所述第一神经网络单元（21）；
所述第一神经网络单元（21）用于对所述第一预处理图像和所述第二预处理图像进行图像匹配处理，得到匹配图像；
所述第一图像处理单元（2），还用于基于所述匹配图像进行图像融合，输出融合图像；
所述第一神经网络单元（21）包括对齐网络模型（211）或图像插帧网络模型（212）；
所述对齐网络模型（211），用于将所述第一预处理图像和所述第二预处理图像进行图像对齐处理，得到所述匹配图像；
所述图像插帧网络模型（212），用于将所述第二预处理图像和前一帧的第二预处理图像进行插帧处理，得到所述匹配图像，所述第二预处理图像的产生时间晚于所述第一预处理图像的产生时间；
或者，所述图像插帧网络模型（212），用于将所述第一预处理图像和前一帧的第一预处理图像进行插帧处理，得到所述匹配图像，所述第一预处理图像的产生时间晚于所述第二预处理图像的产生时间。
2.如权利要求1所述的图像融合装置，其特征在于，在所述第一神经网络单元（21）包括对齐网络模型（211）的情况下，所述第一图像处理单元（2）还包括第一融合网络模型（22）；
所述第一融合网络模型（22），用于基于所述第一预处理图像或所述第二预处理图像，以及所述匹配图像进行图像融合，得到所述融合图像。
3.如权利要求2所述的图像融合装置，其特征在于，所述对齐网络模型（211），用于确定所述第一预处理图像和所述第二预处理图像中相对运动区域的运动矢量信息；基于所述运动矢量信息对所述第一预处理图像进行运动补偿处理，或者，基于所述运动矢量信息对所述第二预处理图像进行运动补偿处理，得到所述匹配图像。
4.如权利要求2所述的图像融合装置，其特征在于，
所述第一融合网络模型（22），用于将所述匹配图像与所述第一预处理图像进行图像融合，得到所述融合图像；或者，
所述第一融合网络模型（22），用于将所述匹配图像与所述第二预处理图像进行图像融合，得到所述融合图像。
5.如权利要求1所述的图像融合装置，其特征在于，所述第一图像处理单元（2）还包括第二融合网络模型（23）；
在所述图像插帧网络模型（212）将所述第二预处理图像和前一帧的第二预处理图像进行插帧处理，得到所述匹配图像的情况下，所述第二融合网络模型（23），用于将所述匹配图像和所述第一预处理图像进行图像融合，得到所述融合图像。
6.如权利要求5所述的图像融合装置，其特征在于，所述图像插帧网络模型（212），用于：
确定所述第二预处理图像和所述前一帧的第二预处理图像中相对运动区域的运动矢量信息；
基于所述运动矢量信息，在所述前一帧的第二预处理图像中进行运动补偿处理，或者，在所述第二预处理图像中进行运动补偿处理，得到所述匹配图像；或者，获取第一补偿图像和第二补偿图像，将所述第一补偿图像和所述第二补偿图像进行加权处理，得到所述匹配图像，其中，所述第一补偿图像是基于所述运动矢量信息对所述前一帧的第二预处理图像进行运动补偿处理得到，所述第二补偿图像是基于所述运动矢量信息对所述第二预处理图像进行运动补偿处理得到。
7.如权利要求1所述的图像融合装置，其特征在于，所述第一图像处理单元（2）还包括第二融合网络模型（23）；
在所述图像插帧网络模型（212）将所述第一预处理图像和前一帧的第一预处理图像进行插帧处理，得到所述匹配图像的情况下，所述第二融合网络模型（23），用于将所述匹配图像和所述第二预处理图像进行图像融合，得到所述融合图像。
8.如权利要求7所述的图像融合装置，其特征在于，所述图像插帧网络模型（212），用于：
确定所述第一预处理图像和所述前一帧的第一预处理图像中相对运动区域的运动矢量信息；
基于所述运动矢量信息，在所述前一帧的第一预处理图像中进行运动补偿处理，或者，在所述第一预处理图像中进行运动补偿处理，得到所述匹配图像；或者，获取第三补偿图像和第四补偿图像，将所述第三补偿图像和所述第四补偿图像进行加权处理，得到所述匹配图像，其中，所述第三补偿图像是基于所述运动矢量信息对所述前一帧的第一预处理图像进行运动补偿处理得到，所述第四补偿图像是基于所述运动矢量信息对所述第一预处理图像进行运动补偿处理得到。
9.如权利要求1所述的图像融合装置，其特征在于，所述图像融合装置还包括第一后处理单元（3），所述第一后处理单元（3）的输入端与所述第一图像处理单元（2）的输出端连接，用于对所述融合图像至少进行降噪和增强处理。
10.如权利要求1所述的图像融合装置，其特征在于，所述第一图像处理单元（2）还包括第二后处理单元（24），所述第二后处理单元（24）用于将所述匹配图像与所述第一预处理图像进行图像融合，或者，用于将所述匹配图像与所述第二预处理图像进行图像融合，输出所述融合图像。
11.如权利要求10所述的图像融合装置，其特征在于，所述第二后处理单元（24）包括第三图像融合单元（241），所述第三图像融合单元（241）用于当所述匹配图像是对所述第二预处理图像进行区域运动补偿处理后得到时，将所述匹配图像进行色彩和亮度分离，得到色彩图像和亮度图像，基于预设加权系数对所述亮度图像和所述第一预处理图像进行加权处理，将所述色彩图像和加权处理后得到的图像进行叠加，输出所述融合图像。
12.如权利要求10所述的图像融合装置，其特征在于，所述第二后处理单元（24）包括第三图像融合单元（241），所述第三图像融合单元（241）用于当所述匹配图像是对所述第一预处理图像进行区域运动补偿处理后得到时，将所述第二预处理图像进行色彩和亮度分离，得到色彩图像和亮度图像，基于预设加权系数对所述亮度图像和所述匹配图像进行加权处理，将所述色彩图像和加权处理后得到的图像进行叠加，输出所述融合图像。
13.一种图像融合装置，其特征在于，所述图像融合装置包括：图像采集单元（1）、第二图像处理单元（5）和存储器（4），所述图像采集单元（1）包括图像传感器（01）、滤光组件（03）和镜头（04）；所述滤光组件（03）位于所述镜头（04）和所述图像传感器（01）之间，且所述图像传感器（01）位于所述滤光组件（03）的出光侧；或者，所述镜头（04）位于所述滤光组件（03）与所述图像传感器（01）之间，且所述图像传感器位于所述镜头（04）的出光侧；
所述滤光组件包括第一滤光片（031）、第二滤光片（032）和切换部件（033），所述第一滤光片（031）和所述第二滤光片（032）均与所述切换部件（033）连接，所述切换部件（033）用于使所述滤光组件（03）在第一状态和第二状态之间切换；所述第一滤光片（031）与所述滤光组件（03）的第一状态对应，使可见光和部分近红外光通过，所述第二滤光片（032）与所述滤光组件（03）的第二状态对应，仅使可见光通过；
所述第二图像处理单元（5）包括第二神经网络单元（51）和预处理单元（25），所述预处理单元（25）的输出端与所述第二神经网络单元（51）的输入端连接；
所述图像传感器（01）用于在第一预设曝光下输出第一图像信号，在第二预设曝光下输出第二图像信号，所述第一图像信号是在所述第一预设曝光的部分曝光时间段或曝光时间段内进行红外补光得到的，所述第二图像信号是在所述第二预设曝光的曝光时间段内不进行红外补光得到的；
所述预处理单元（25）用于分别对所述第一图像信号和所述第二图像信号进行预处理，输出第一预处理图像和第二预处理图像；所述存储器（4）的输出端与所述预处理单元（25）的输入端连接，将所述第一图像信号和所述第二图像信号同步后输出给所述预处理单元（25）；或者，所述存储器（4）位于所述预处理单元（25）中，或者，所述存储器（4）的输入端与所述预处理单元（25）的输出端连接，用于将所述第一预处理图像和所述第二预处理图像同步后输出给所述第二神经网络单元（51）；
所述第二神经网络单元（51）用于对所述第一预处理图像和所述第二预处理图像进行图像匹配和图像融合处理，输出融合图像，所述第二神经网络单元（51）对所述第一预处理图像和所述第二预处理图像进行图像匹配和图像融合处理的过程包括：将所述第一预处理图像和所述第二预处理图像进行图像对齐处理，得到匹配图像，或者，将所述第二预处理图像和前一帧的第二预处理图像进行插帧处理，得到匹配图像，所述第二预处理图像的产生时间晚于所述第一预处理图像的产生时间，或者，将所述第一预处理图像和前一帧的第一预处理图像进行插帧处理，得到匹配图像，所述第一预处理图像的产生时间晚于所述第二预处理图像的产生时间。
14.一种图像融合方法，应用于图像融合装置，所述图像融合装置包括图像采集单元、第一图像处理单元和存储器，所述图像采集单元包括图像传感器、滤光组件和镜头；所述滤光组件位于所述镜头和所述图像传感器之间，且所述图像传感器位于所述滤光组件的出光侧；或者，所述镜头位于所述滤光组件与所述图像传感器之间，且所述图像传感器位于所述镜头的出光侧；
所述滤光组件包括第一滤光片、第二滤光片和切换部件，所述第一滤光片和所述第二滤光片均与所述切换部件连接，所述切换部件用于使所述滤光组件在第一状态和第二状态之间切换；所述第一滤光片与所述滤光组件的第一状态对应，使可见光和部分近红外光通过，所述第二滤光片与所述滤光组件的第二状态对应，仅使可见光通过；
所述第一图像处理单元包括第一神经网络单元和预处理单元，所述预处理单元的输出端与所述第一神经网络单元的输入端连接；所述第一神经网络单元包括对齐网络模型或图像插帧网络模型，其特征在于，所述方法包括：
通过所述图像传感器，在第一预设曝光下输出第一图像信号，在第二预设曝光下输出第二图像信号，所述第一图像信号是在所述第一预设曝光的部分曝光时间段或曝光时间段内进行红外补光得到的，所述第二图像信号是在所述第二预设曝光的曝光时间段内不进行红外补光得到的；
通过所述预处理单元分别对所述第一图像信号和所述第二图像信号进行预处理，输出第一预处理图像和第二预处理图像；所述存储器的输出端与所述预处理单元的输入端连接，将所述第一图像信号和所述第二图像信号同步后输出给所述预处理单元；或者，所述存储器位于所述预处理单元中，或者，所述存储器的输入端与所述预处理单元的输出端连接，用于将所述第一预处理图像和所述第二预处理图像同步后输出给所述第一神经网络单元；
通过第二神经网络单元对所述第一预处理图像和所述第二预处理图像进行图像匹配和图像融合处理，输出融合图像；
其中，通过所述第二神经网络单元对所述第一预处理图像和所述第二预处理图像进行图像匹配和图像融合处理的过程包括：
通过所述第一神经网络单元中的对齐网络模型将所述第一预处理图像和所述第二预处理图像进行图像对齐处理，得到匹配图像；或者，
通过所述第一神经网络单元中的图像插帧网络模型将所述第二预处理图像和前一帧的第二预处理图像进行插帧处理，得到匹配图像，所述第二预处理图像的产生时间晚于所述第一预处理图像的产生时间；或者，通过所述图像插帧网络模型将所述第一预处理图像和前一帧的第一预处理图像进行插帧处理，得到匹配图像，所述第一预处理图像的产生时间晚于所述第二预处理图像的产生时间；
通过所述第一图像处理单元，基于所述匹配图像进行图像融合，输出融合图像。
15.一种图像融合方法，应用于图像融合装置，所述图像融合装置包括图像采集单元、第二图像处理单元和存储器，所述图像采集单元包括图像传感器、滤光组件和镜头；所述滤光组件位于所述镜头和所述图像传感器之间，且所述图像传感器位于所述滤光组件的出光侧；或者，所述镜头位于所述滤光组件与所述图像传感器之间，且所述图像传感器位于所述镜头的出光侧；
所述滤光组件包括第一滤光片、第二滤光片和切换部件，所述第一滤光片和所述第二滤光片均与所述切换部件连接，所述切换部件用于使所述滤光组件在第一状态和第二状态之间切换；所述第一滤光片与所述滤光组件的第一状态对应，使可见光和部分近红外光通过，所述第二滤光片与所述滤光组件的第二状态对应，仅使可见光通过；
所述第二图像处理单元包括第二神经网络单元和预处理单元，所述预处理单元的输出端与所述第二神经网络单元的输入端连接；其特征在于，所述方法包括：
通过所述图像传感器，在第一预设曝光下输出第一图像信号，在第二预设曝光下输出第二图像信号，所述第一图像信号是在所述第一预设曝光的部分曝光时间段或曝光时间段内进行红外补光得到的，所述第二图像信号是在所述第二预设曝光的曝光时间段内不进行红外补光得到的；
通过所述预处理单元分别对所述第一图像信号和所述第二图像信号进行预处理，输出第一预处理图像和第二预处理图像；所述存储器的输出端与所述预处理单元的输入端连接，将所述第一图像信号和所述第二图像信号同步后输出给所述预处理单元；或者，所述存储器位于所述预处理单元中，或者，所述存储器的输入端与所述预处理单元的输出端连接，用于将所述第一预处理图像和所述第二预处理图像同步后输出给所述第二神经网络单元；
通过所述第二神经网络单元对所述第一预处理图像和所述第二预处理图像进行图像匹配和图像融合处理，输出融合图像；
其中，通过所述第二神经网络单元对所述第一预处理图像和所述第二预处理图像进行图像匹配和图像融合处理的过程包括：将所述第一预处理图像和所述第二预处理图像进行图像对齐处理，得到匹配图像，或者，将所述第二预处理图像信号和前一帧的第二预处理图像信号进行插帧处理，得到匹配图像，所述第二预处理图像的产生时间晚于所述第一预处理图像的产生时间，或者，将所述第一预处理图像和前一帧的第一预处理图像进行插帧处理，得到匹配图像，所述第一预处理图像的产生时间晚于所述第二预处理图像的产生时间。
16.一种设备，其特征在于，所述设备包括处理器、通信接口、存储器和通信总线，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信，所述存储器用于存放计算机程序，所述处理器用于执行所述存储器上所存放的程序，以实现权利要求14或15所述方法的步骤。
17.一种计算机可读存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求14或15所述方法的步骤。
CN201910945178.6A 2019-09-30 2019-09-30 图像融合装置、方法、设备及存储介质 Active CN110706178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910945178.6A CN110706178B (zh) 2019-09-30 2019-09-30 图像融合装置、方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910945178.6A CN110706178B (zh) 2019-09-30 2019-09-30 图像融合装置、方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110706178A CN110706178A (zh) 2020-01-17
CN110706178B true CN110706178B (zh) 2023-01-06

Family

ID=69196904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910945178.6A Active CN110706178B (zh) 2019-09-30 2019-09-30 图像融合装置、方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110706178B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113572968B (zh) * 2020-04-24 2023-07-18 杭州萤石软件有限公司 图像融合方法、装置、摄像设备及存储介质
US11496694B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11568526B2 (en) 2020-09-04 2023-01-31 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
CN114143443B (zh) * 2020-09-04 2024-04-05 聚晶半导体股份有限公司 双传感器摄像系统及其摄像方法
US11689822B2 (en) 2020-09-04 2023-06-27 Altek Semiconductor Corp. Dual sensor imaging system and privacy protection imaging method thereof
US11496660B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and depth map calculation method thereof
US11418719B2 (en) 2020-09-04 2022-08-16 Altek Semiconductor Corp. Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching
CN114830627A (zh) * 2020-11-09 2022-07-29 谷歌有限责任公司 红外光引导的肖像重照明
WO2022135359A1 (zh) * 2020-12-21 2022-06-30 北京灵汐科技有限公司 双模态图像信号处理器和双模态图像信号处理系统
CN114666458A (zh) * 2020-12-22 2022-06-24 富泰华工业（深圳）有限公司 图像融合方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111613B (zh) * 2009-12-28 2012-11-28 中国移动通信集团公司 图像处理方法和装置
CN107977924A (zh) * 2016-10-21 2018-05-01 杭州海康威视数字技术股份有限公司 一种基于双传感器成像的图像处理方法、系统
CN107566747B (zh) * 2017-09-22 2020-02-14 浙江大华技术股份有限公司 一种图像亮度增强方法及装置
CN109446953A (zh) * 2018-10-17 2019-03-08 福州大学 一种基于轻量化卷积神经网络的行人重识别方法
CN109410252A (zh) * 2018-12-20 2019-03-01 合肥英睿系统技术有限公司 一种热像设备

Also Published As

Publication number Publication date
CN110706178A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
CN110706178B (zh) 图像融合装置、方法、设备及存储介质
CN110493494B (zh) 图像融合装置及图像融合方法
CN110519489B (zh) 图像采集方法及装置
CN110505377B (zh) 图像融合设备和方法
CN110490811B (zh) 图像降噪装置及图像降噪方法
CN110490041B (zh) 人脸图像采集装置及方法
CN110490187B (zh) 车牌识别设备和方法
CN110493491B (zh) 一种图像采集装置及摄像方法
CN110490042B (zh) 人脸识别装置和门禁设备
KR102287944B1 (ko) 영상 출력 장치 및 영상 출력 방법
CN110493506B (zh) 一种图像处理方法和系统
TWI737979B (zh) 圖像去馬賽克裝置及方法
CN110490044B (zh) 人脸建模设备和人脸建模方法
CN107924572A (zh) 使用阵列相机执行高速视频捕获和深度估计的系统和方法
CN108024054A (zh) 图像处理方法、装置及设备
CN108712608A (zh) 终端设备拍摄方法和装置
CN110493536B (zh) 图像采集装置和图像采集的方法
CN110493535B (zh) 图像采集装置和图像采集的方法
CN110493537B (zh) 图像采集装置及图像采集方法
CN110493496B (zh) 图像采集装置及方法
CN110493495B (zh) 图像采集装置和图像采集的方法
US11694308B2 (en) Images for perception modules of autonomous vehicles
CN110493493B (zh) 全景细节摄像机及获取图像信号的方法
WO2020238804A1 (zh) 图像采集装置及图像采集方法
CN110493533B (zh) 图像采集装置及图像采集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant