CN111951200B - 摄像设备、图像融合方法、装置和存储介质 - Google Patents

摄像设备、图像融合方法、装置和存储介质 Download PDF

Info

Publication number
CN111951200B
CN111951200B CN201910408080.7A CN201910408080A CN111951200B CN 111951200 B CN111951200 B CN 111951200B CN 201910408080 A CN201910408080 A CN 201910408080A CN 111951200 B CN111951200 B CN 111951200B
Authority
CN
China
Prior art keywords
image
original image
preprocessed
original
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910408080.7A
Other languages
English (en)
Other versions
CN111951200A (zh
Inventor
唐超影
谢建磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910408080.7A priority Critical patent/CN111951200B/zh
Publication of CN111951200A publication Critical patent/CN111951200A/zh
Application granted granted Critical
Publication of CN111951200B publication Critical patent/CN111951200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本公开提供了一种摄像设备、图像融合方法、装置和存储介质，涉及计算机视觉技术领域。包括：通过采集模块获取第一原始图像和第二原始图像，第一原始图像为当前场景下的可见光图像，第二原始图像为当前场景下的红外光图像；通过第一图像处理模块将第一原始图像和第二原始图像中的图像信息进行融合，得到第一预处理图像和第二预处理图像；通过双光融合网络模块将第一预处理图像和第二预处理图像整合到同一图像中，得到融合图像。由于该摄像设备通过双光融合网络对图像进行融合时，可以将输入的两张图像整合为一张图像，将图像的色彩融合也通过双光融合网络实现，图像融合时可以突破通过权重融合产生的局部对比问题，防止了融合图像的色彩偏差。

Description

摄像设备、图像融合方法、装置和存储介质
技术领域
本公开涉及计算机视觉技术领域，特别涉及一种摄像设备、图像融合方法、装置和存储介质。
背景技术
随着计算机视觉技术的发展，用户对摄像机在低亮度场景下拍摄图像的需求越来越高。摄像机在夜晚或者光照不足的环境下，捕获的可见光图像噪声大，导致图像不清晰，拍摄画面效果不佳。因此，出现了通过红外灯来解决拍摄光线不足的情况。在光线不足时，开启红外灯，通过捕获红外光图像来降低拍摄画面的噪声，但这样捕获的图像为黑白图像，丢失了原本的色彩信息。为了同时捕获图像的色彩信息，并提高图像的信噪比，需要对红外光图像和可见光图像进行图像融合。
相关技术中，对红外光图像和可见光图像进行融合时，一般通过图像处理方法对图像进行融合，该过程中通过分解红外光图像，得到红外光图像中的低频成分和高频成分，以及分解可见光图像，得到可见光图像中的低频成分和高频成分；将红外光图像中的低频成分和可见光图像中的低频成分按照融合权重进行融合，以及将红外图像中的高频成分和可见光图像中的高频成分按照融合权重进行融合，得到融合之后的图像。
上述相关技术中，进行图像融合时，由于可见光图像中的低频成分较少，因此，融合之后的图像的低频成分过度依赖红外光图像，导致融合之后的图像产生严重的色彩偏差。
发明内容
为了克服相关技术中存在的致融合后的图像视觉色彩偏差大的问题，本公开提供了一种摄像设备、图像融合方法、装置和存储介质。
根据本公开实施例的第一方面，提供了一种摄像设备，所述摄像设备包括：图像采集模块、第一图像处理模块和双光融合网络模块；
所述图像采集模块的输出端与所述第一图像处理模块的输入端连接，所述第一图像处理模块的输出端与所述双光融合网络模块的输入端连接；
所述图像采集模块，用于采集第一原始图像和第二原始图像，将所述第一原始图像和所述第二原始图像传输给所述第一图像处理模块；
所述第一图像处理模块，用于接收所述第一原始图像和所述第二原始图像，对所述第一原始图像和所述第二原始图像进行预处理，得到第一预处理图像和第二预处理图像，将所述第一预处理图像和所述第二预处理图像输入至所述双光融合网络模块；
所述双光融合网络模块，用于接收所述第一图像处理模块输出的所述第一预处理图像和所述第二预处理图像，对所述第一预处理图像和所述第二预处理图像进行双光融合，得到融合图像。
根据本公开实施例的第二方面，提供了一种图像融合方法，所述方法包括：
获取第一原始图像和第二原始图像，所述第一原始图像是一路可见光进入图像传感器时采集的图像，所述第二原始图像是一路红外光进入图像传感器时采集的图像；或者，所述第一原始图像是一路红外光进入图像传感器时采集的图像，所述第二原始图像是一路可见光进入图像传感器时采集的图像；
对所述第一原始图像和所述第二原始图像进行预处理，得到第一预处理图像和第二预处理图像；
通过双光融合网络，将所述第一预处理图像和所述第二预处理图像整合到同一图像中，得到融合图像。
根据本公开实施例的第三方面，提供了一种图像融合装置，所述装置包括：
获取模块，用于获取第一原始图像和第二原始图像，所述第一原始图像是一路可见光进入图像传感器时采集的图像，所述第二原始图像是一路红外光进入图像传感器时采集的图像；或者，所述第一原始图像是一路红外光进入图像传感器时采集的图像，所述第二原始图像是一路可见光进入图像传感器时采集的图像；
预处理模块，用于对所述第一原始图像和所述第二原始图像进行预处理，得到第一预处理图像和第二预处理图像；
整合模块，用于通过双光融合网络，将所述第一预处理图像和所述第二预处理图像整合到同一图像中，得到融合图像。
根据本公开实施例的第四方面，提供了一种摄像设备，所述摄像设备包括：
至少一个处理器；和
至少一个存储器；
所述至少一个存储器存储有一个或多个程序，所述一个或多个程序被配置成由所述至少一个处理器执行，所述一个或多个程序包含用于进行如本公开实施例第二方面所述图像融合方法的指令。
根据本公开实施例的第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质应用于摄像设备，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由处理器加载并执行以实现本公开实施例第二方面所述图像融合方法中的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
在本公开实施例中，公开了一种摄像设备，通过采集模块对当前场景的入射光进行采集，得到当前场景下的第一原始图像和第二原始图像，通过第一图像处理模块对第一原始图像和第二原始图像进行图像信息融合，得到第一预处理图像和第二预处理图像，通过双光融合网络模块将第一预处理图像和第二预处理图像整合成为一张图像，得到融合图像。由于该摄像设备通过双光融合网络对图像进行融合时，可以将输入的两张图像整合为一张图像，将图像的色彩融合也通过双光融合网络实现，图像融合时可以突破通过权重融合产生的局部对比问题，防止了融合图像的色彩偏差。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并于说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种摄像设备的框图；
图2是根据一示例性实施例示出的一种摄像设备的框图；
图3是根据一示例性实施例示出的一种摄像设备的框图；
图4是根据一示例性实施例示出的一种摄像设备的框图；
图5是根据一示例性实施例示出的一种图像融合方法流程图；
图6是根据一示例性实施例示出的一种图像融合方法流程图；
图7是根据一示例性实施例示出的一种图像融合方法示意图；
图8是根据一示例性实施例示出的一种图像融合方法示意图；
图9是根据一示例性实施例示出的一种图像融合方法流程图；
图10是根据一示例性实施例示出的一种图像融合方法流程图；
图11是根据一示例性实施例示出的一种图像融合方法流程图；
图12是根据一示例性实施例示出的一种图像融合方法流程图；
图13是根据一示例性实施例示出的一种图像融合方法流程图；
图14是根据一示例性实施例示出的一种图像融合方法流程图；
图15是根据一示例性实施例示出的一种图像融合方法流程图；
图16是根据一示例性实施例示出的一种图像融合方法流程图；
图17是根据一示例性实施例示出的一种图像融合装置框图；
图18是根据一示例性实施例示出的一种拍摄设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开提供了一种图像融合方法，在该图像融合方法中将可见光图像中的图像信息和红外光图像中的图像信息进行融合。获取待图像融合的第一原始图像和第二原始图像，将第一原始图像和第二原始图像进行融合，得到第一预处理图像和第二预处理图像，再将第一预处理图像和第二预处理图像整合为同一图像。需要说明的一点是，该第一预处理图像和第二预处理图像可以都为图像融合后的图像，相应的，该第一预处理图像可以为将该第一原始图像中的第一原始图像信息融合到第二原始图像中得到的图像，该第二预处理图像可以为将该第二原始图像中的第二原始图像信息融合到第一原始图像中得到的图像；该第一预处理图像和第二预处理图像中也可以仅有一张图像为信息融合后的图像，相应的，在一种可能的实现方式中，该第一预处理图像为将第一原始图像中的第一原始图像信息融合到第二原始图像中得到的图像，并将第一原始图像作为第二预处理图像；在另一种可能的实现方式中，该第二预处理图像为将该第二原始图像中的第二原始图像信息融合到第一原始图像中得到的图像，将第二原始图像作为第一预处理图像。
并且，在本公开实施例中，以该第一原始图像为当前场景下的可见光图像，该第二原始图像为该当前场景下的红外光图像为例进行说明。
图1是根据一示例性实施例示出的一种摄像设备的框图。如图1所示，该摄像设备包括：图像采集模块101、第一图像处理模块102和双光融合网络模块103。并且，图像采集模块101的输出端与第一图像处理模块102的输入端连接，第一图像处理模块102的输出端与双光融合网络模块103的输入端连接。其中，图像采集模块101用于采集第一原始图像和第二原始图像，并将该第一原始图像和第二原始图像传输给第一图像处理模块102。该第一图像处理模块用于接收图像采集模块101发送的第一原始图像和第二原始图像，对该第一原始图像和第二原始图像进行预处理，得到第一预处理图像和第二预处理图像，并将该第一预处理图像和第二预处理图像输入至双光融合网络模块103。该双光融合网络模块103用于接收第一图像处理模块102输出的第一预处理图像和第二预处理图像，对该第一预处理图像和第二预处理图像进行双光融合，得到融合图像，将该第二预处理图像输出。
其中，该图像采集模块101用于采集第一原始图像和第二原始图像，第一原始图像为可见光图像，第二原始图像为红外光图像。
在一种可能的实现方式中，如图2所示，该图像采集模块101包括分光单元1011、第一传感器1012和第二传感器1013，分光单元1011的输出端分别与第一传感器1012和第二传感器1013的输入端连接，第一传感器1012的输出端和第二传感器1013的输出端分别与第一图像处理模块102的输入端连接。该分光单元1011用于采集当前场景的入射光，将采集到的入射光分为红外光和可见光两路，将分光后的一路光输入至该第一传感器1012，将另一路光输入至第二传感器1013；该第一传感器1012，用于接收分光单元1011输出的一路光，根据该一路光生成第一原始图像，将该第一原始图像传输给第一图像处理模块102；第二传感器1013，用于接收分光单元1011输出的另一路光，根据该另一路光生成第二原始图像，将该第二原始图像传输给第一图像处理模块102。其中，该分光后的两路入射光分别为可见光和入射光。并且，分光单元1011可以将该可见光输入第一传感器1012，将该红外光输入第二传感器1013。或者，将该可见光输入第一传感器1013，将该红外光输入第二传感器1012。在本公开实施例中，对此不作具体限定。
需要说明的一点是，在本公开实施例中，对第一传感器1012、第二传感器1013的类型不作具体限定。例如，该第一传感器1012和第二传感器1013可以为相同类型的传感器，此时，第一传感器1012和第二传感器1013都为既可以处理可见光又可以处理红外光的传感器；该第一传感器1012和第二传感器1013也可以为不同类型的传感器，此时，第一传感器1012为处理红外光的传感器，第二传感器1013为处理可见光的传感器。
在另一种可能的实现方式中，图像采集模块101的图像传感器不限于双传感器，也可以是能够对可见光和红外光都能感知的单传感器，例如，该单传感器可以为RGBIR(RedGreen Blue Infrared Radiation)色彩红外传感器，第一原始图像和第二原始图像可以是单传感器按照相同的传感器参数采集的两帧原始图像，也可以是按照不同参数采集的两帧原始图像。
例如，该传感器可以是第三传感器，第三传感器可以与第一传感器1012或第二传感器1013相同，该第三传感器也可以与该第一传感器1012或第二传感器1013不同，在本公开实施例中，对此不作具体限定。
第一图像处理模块102用于对第二原始图像和第一原始图像进行预处理。如图3所示，该第一图像处理模块102包括配准单元1021和预处理单元1022。其中，该配准单元1021的输入端与图像采集模块101的输出端连接，当该图像采集模块101包括入射光采集单元和第一传感器时，该配准单元1021的输入端与该第一传感器的输出端连接；当该图像采集模块101包括分光单元1011、第一传感器1012和第二传感器1013时，该配准单元1021的输入端与该第一传感器1101和第二传感器1012的输出端连接。该配准单元1021的输出端与预处理单元1022的输入端连接，该预处理单元1022的输出端与双光融合网络模块103的输入端连接。该配准单元1021用于将第二原始图像与第一原始图像中的像素点的位置进行配准，将配准后的第一原始图像和第二原始图像传输给该预处理单元1022。该预处理单元1022用于接收该配准单元1021传输的配准后的第一原始图像和第二原始图像，该预处理单元1022，还用于以配准后的第二原始图像作为参考，将该第一原始图像的图像信息融合到该第二原始图像中，得到该第一预处理图像，将该第一原始图像作为第二预处理图像；或者，以配准后的第一原始图像作为参考，将该第二原始图像的图像信息融合到该第一原始图像中，得到该第二预处理图像，将该第二原始图像作为第一预处理图像；或者，以配准后的第二原始图像作为参考，将该第一原始图像的图像信息融合到该第二原始图像中，得到该第一预处理图像，以配准后的第一原始图像作为参考，将该第二原始图像的图像信息融合到该第一原始图像中，得到该第二预处理图像；将该第一预处理图像和该第二预处理图像发送给双光融合网络模块103。
该第一图像处理模块102还用于对第一原始图像和第二原始图像进行预处理，得带第一预处理图像和第二预处理图像，相应的，该第一图像处理模块102，还用于根据融合权重对该第一原始图像和该第二原始图像的像素点进行预处理，得到该第一预处理图像和该第二预处理图像；或者，该第一图像处理模块102，还用于确定该第一原始图像和该第二原始图像中的系数最高的高频成分，根据该系数最高的高频成分对该第一原始图像和该第二原始图像进行预处理，得到该第一预处理图像和该第二预处理图像；或者，该第一图像处理模块102，还用于分别确定该第一原始图像和该第二原始图像的高频成分，根据该第一原始图像的高频成分和该第二原始图像的高频成分对该第一原始图像和该第二原始图像进行预处理，得到该第一预处理图像和该第二预处理图像。
该图像采集模块101还可以包括补光控制单元1014和补光单元1015。如图4所示，其中补光控制单元1014分别与第一传感器1012、第二传感器1013和补光单元1015连接；补光控制单元1014，用于向第一传感器1012和第二传感器1013发送第一控制指令，向补光单元1015发送第二控制指令，第一控制指令用于控制第一传感器1012和第二传感器1013进行图像采集，第二控制指令用于控制补光单元1015进行补光；补光单元1015，用于接收第二控制指令，根据第二控制指令对当前场景进行补光；第一传感器1012，还用于接收第一控制指令，根据第一控制指令生成第一原始图像；第二传感器1013，用于接收第一控制指令，根据第一控制指令生成第二原始图像。在一种可能的实现方式中，该补光控制单元1014每次发送曝光信号时，都向补光单元1015发送第二控制指令，补光单元1015接收到第一控制指令后，对当前场景进行补光。在另一种可能的实现方式中，该补光控制单元1014检测当前场景的亮度，当前亮度小于预设亮度时，补光控制单元1014同时向第一传感器1012和第二传感器1013发送第一控制指令，向补光单元1015发送第二控制指令。其中，该第一控制指令用于指示第一传感器1012和第二传感器1013开始采集图像；该第二控制指令用于指示该补光单元1015对当前场景进行补光。需要说明的一点是，该补光单元1015对当前场景进行补光时，补充的是红外光。
双光融合网络模块103用于将第一预处理图像和第二预处理图像和进行整合，得到双光融合后的融合图像。其中，该双光融合网络模块103的输入端与预处理单元1022的输出端连接。接收预处理单元1022输出的第一预处理图像和第二预处理图像，将该第一预处理图像和第二预处理图像整合为一张图像，实现图像的双光融合。该双光融合网络模块103中的双光融合网络可以为任一可以进行图像处理的神经网络模型，例如，该双光融合网络可以为CNN(Convolutional Neural Networks，卷积神经网络)模型、RNN(RecursiveNeural Network，递归神经网络)模型等神经网络模型。其中，该双光融合网络模块103包括输入层、下采样层、残差层、上采样层和输出层；该输入层的输出与该下采样层的输入连接，该下采样层的输出与该残差层的输入连接，该残差层的输出与该输出层的输入连接；该输入层，用于接收该第一图像处理模块输出的第一预处理图像和第二预处理图像，对该第一预处理图像和该第二预处理图像进行整合，得到第一待处理图像；该下采样层，用于对该第一待处理图像进行第一指定步长的卷积，得到第一卷积结果，对该第一卷积结果进行归一化处理，得到第二待处理图像，该第一指定步长大于1；该残差层，用于对该第二待处理图像进行残差运算，得到第三待处理图像；该上采样层，用于对该第三待处理图像进行第二指定步长的卷积，得到第二卷积结果，对该第二卷积结果进行归一化处理，得到第四待处理图像，该第二指定步长大于0，且小于1；该输出层，对该第四待处理图像进行卷积，得到第三卷积结果，对该第三卷积结果进行归一化处理，输出该融合图像。
该双光融合网络模块103中的网络层中包括可以包括卷积层和BN(BatchNormalization，批量标准化)层，其中，该卷积层用于进行卷积运算，该BN层用于将卷积运算结果进行归一化处理，例如，该输入层可以包括第一数量的第一卷积层和该第一数量的第一BN层，该第一BN层设置在该输入层之后，该输入层用于接收该图像处理模块输出的第一预处理图像和第二预处理图像，通过该第一数量的第一卷积层对该第一预处理图像和该第二预处理图像进行卷积，通过该第一BN层，对该第一预处理图像和该第二预处理图像的卷积结果进行归一化处理，得到第一待处理图像；该下采样层可以包括第二数量的第二卷积层和第二数量的第二BN层，通过该第二数量的第二卷积层对该第一待处理图像进行第一指定步长的卷积，得到第一卷积结果，通过该第二BN层，对该第一卷积结果进行归一化处理，得到第二待处理图像；该残差层包括第三数量的子残差层，每一个子残差层包括两层卷积层和一层BN层，该BN层在该两层卷积层之间，通过该残差层对该第二待处理图像进行残差运算，得到第三待处理图像；该上采样层可以包括亚像素层、第四数量的第三卷积层和第四数量的第三BN层，通过该亚像素层对该残差层输出的第三待处理图像进行图像上采样处理，通过该第三数量的第三卷积层对该待处理图像进行第二指定步长的卷积，得到第二卷积结果，通过该第三BN层，对第二卷积结果进行归一化处理，得到第四待处理图像；该输出层，包括第五数量的第四卷积层和第五数量的第四BN层，通过该第四数量的第四卷积层对该第四待处理图像进行卷积，得到第三卷积结果，通过该第四BN层，对该第三卷积结果进行归一化处理，输出该融合图像。
该摄像设备还可以包括第二图像处理模块，该第二图像处理模块的输入端与该双光融合网络模块103的输出端连接。用于接收融合图像，对融合图像进行后处理，该后处理可以包括颜色增强、亮度增强和图像锐化中的至少一项。
需要说明的一点是，在一种可能的实现方式中，该图像采集模块、该第一图像处理模块、该双光融合网络模块和该第二图像处理模块可以分别采用不同的芯片，相应的，该不同的芯片相互连接，进行数据交互。在另一种可能的实现方式中，该图像采集模块、该第一图像处理模块、所示双光融合网络模块和该第二图像处理模块还可以采用同一芯片；相应的，该图像采集模块、该第一图像处理模块、该双光融合网络模块和该第二图像处理模块之间通过数据接口进行数据传输。
图5是根据一示例性实施例示出的一种图像融合方法流程图，如图5所示，该方法包括如下步骤。
步骤501：获取第一原始图像和第二原始图像，该第一原始图像是一路可见光进入图像传感器时采集的图像，该第二原始图像是一路红外光进入图像传感器时采集的图像；或者，该第一原始图像是一路红外光进入图像传感器时采集的图像，该第二原始图像是一路可见光进入图像传感器时采集的图像。
步骤502：对该第一原始图像和该第二原始图像进行预处理，得到第一预处理图像和第二预处理图像。
步骤503：通过双光融合网络，将该第一预处理图像和该第二预处理图像整合到同一图像中，得到融合图像。
在一种可能的实现方式中，该对该第一原始图像和该第二原始图像进行预处理，得到第一预处理图像和第二预处理图像，包括如下方式中的一种：
根据融合权重对该第一原始图像和该第二原始图像的像素点进行预处理，得到该第一预处理图像和该第二预处理图像；或者，
确定该第一原始图像和该第二原始图像中的系数最高的高频成分，根据该系数最高的高频成分对该第一原始图像和该第二原始图像进行预处理，得到该第一预处理图像和该第二预处理图像；或者，
分别确定该第一原始图像和该第二原始图像的高频成分，根据该第一原始图像的高频成分和该第二原始图像的高频成分对该第一原始图像和该第二原始图像进行预处理，得到该第一预处理图像和该第二预处理图像。
在另一种可能的实现方式中，该根据融合权重对该第一原始图像和该第二原始图像的像素点进行预处理，得到该第一预处理图像和所示第二预处理图像，包括：
确定该第一原始图像的第一融合权重和该第二原始图像的第二融合权重；
根据该第一融合权重和该第二融合权重，将该第一原始图像中的图像信息融合到该第二原始图像中，得到第一预处理图像，将该第一原始图像作为该第二预处理图像；或者，根据该第一融合权重和该第二融合权重，将该第二原始图像中的图像信息融合到该第一原始图像中，得到第二预处理图像，将该第二原始图像作为该第一预处理图像；或者，根据该第一融合权重和该第二融合权重，将该第一原始图像中的图像信息融合到该第二原始图像中，得到第一预处理图像，根据该第一融合权重和该第二融合权重，将该第二原始图像中的图像信息融合到该第一原始图像中，得到第二预处理图像。
在另一种可能的实现方式中，该确定该第一原始图像和该第二原始图像中的系数最高的高频成分，根据该系数最高的高频成分对该第一原始图像和该第二原始图像进行预处理，得到该第一预处理图像和该第二预处理图像，包括：
对该第一原始图像进行小波变换，得到该第一原始图像的第一高频成分、第一低频成分以及该第一高频成分的第一系数，以及，对该第二原始图像进行小波变换，得到该第二原始图像的第二高频成分、第二低频成分和该第二高频成分的第二系数；从该第一系数和该第二系数中选择最大系数，以及从该第一高频成分和该第二高频成分中选择该最大系数对应的高频成分；
对该第二低频成分、该最大系数和选择的高频成分进行小波反变换，得到该第一预处理图像，将该第一原始图像作为该第二预处理图像；或者对该第一低频成分、该最大系数和选择的高频成分进行小波反变换，得到该第二预处理图像，将该第二原始图像作为该第一预处理图像；或者，对该第二低频成分、该最大系数和选择的高频成分进行小波反变换，得到该第一预处理图像，对该第一低频成分、该最大系数和选择的高频成分进行小波反变换，得到该第二预处理图像。
在另一种可能的实现方式中，该分别确定该第一原始图像和该第二原始图像的高频成分，根据该第一原始图像的高频成分和该第二原始图像的高频成分对该第一原始图像和该第二原始图像进行预处理，得到该第一预处理图像和该第二预处理图像，包括：
通过高通滤波器提取该第一原始图像中的第三高频成分和第二原始图像中的第四高频成分；对该第三高频成分进行加权，得到第五高频成分，对该第四高频成分进行加权，得到第六高频成分；
将该第五高频成分叠加到该第二原始图像中，得到该第一预处理图像，将该第一原始图像作为该第二预处理图像；或者，将该第六高频成分叠加到该第一原始图像中，得到该第二预处理图像，将该第二原始图像作为该第一预处理图像；或者，将该第五高频成分叠加到该第二原始图像中，得到该第一预处理图像，将该第六高频成分叠加到该第一原始图像中，得到该第二预处理图像。
在另一种可能的实现方式中，该通过双光融合网络，将该第一预处理图像和该第二预处理图像整合到同一图像中，得到融合图像，包括：
通过该双光融合网络，提取该第二预处理图像中的三个通道，以及提取该第一预处理图像中的亮度通道；
基于该三个通道和该亮度通道，生成第一待处理图像；
基于该第一待处理图像，生成该融合图像。
在另一种可能的实现方式中，该通过双光融合网络，将该第一预处理图像和该第二预处理图像整合到同一图像中，得到融合图像，包括：
通过该双光融合网络，将该第一预处理图像和该第二预处理图像分别拆分为第一多通道图像和第二多通道图像；
将该第一多通道图像和该第二多通道图像进行整合，得到第一待处理图像，该第一待处理图像的通道数为该第一多通道图像的通道数和第二多通道图像的通道数之和；
基于该第一待处理图像，生成该融合图像。
在另一种可能的实现方式中，该通过双光融合网络，将该第一预处理图像和该第二预处理图像整合到同一图像中，得到融合图像，包括：
通过该双光融合网络，提取该第一预处理图像的特征，得到第一特征层，以及提取该第二预处理图像的特征，得到第二特征层；
将该第一特征层和该第二特征层进行整合，得到第一待处理图像；
基于该第一待处理图像，生成该融合图像。
在另一种可能的实现方式中，该基于该第一待处理图像，生成该融合图像，包括：
通过该双光融合网络模块的多尺度结构，对该第一待处理图像的特征进行融合，得到该融合图像。
在另一种可能的实现方式中，该通过该双光融合网络模块的多尺度结构，对该第一待处理图像的特征进行融合，得到该融合图像，包括：
对该第一待处理图像进行第一指定步长的卷积，得到第二卷积结果，对该第二卷积结果进行归一化处理，得到第二待处理图像，该第一指定步长大于1；
对该第二待处理图像进行残差运算，得到第三待处理图像；
对该第三待处理图像进行第二指定步长的卷积，得到第三卷积结果，对该第三卷积结果进行归一化处理，得到第四待处理图像，该第二指定步长大于0，且小于1；
对该第四待处理图像进行卷积，得到第四卷积结果，对该第四卷积结果进行归一化处理，输出该融合图像。
在另一种可能的实现方式中，该对该第一原始图像和该第二原始图像进行预处理，得到第一预处理图像和第二预处理图像之前，该方法还包括：
对该第一原始图像和该第二原始图像中的像素点进行配准；
该对该第一原始图像和该第二原始图像进行预处理，得到第一预处理图像和第二预处理图像，包括：
以配准后的第二原始图像作为参考，将该第一原始图像的图像信息融合到该第二原始图像中，得到该第一预处理图像，将该第一原始图像作为第二预处理图像；或者，以配准后的第一原始图像作为参考，将该第二原始图像的图像信息融合到该第一原始图像中，得到该第二预处理图像，将该第二原始图像作为第一预处理图像；或者，以配准后的第二原始图像作为参考，将该第一原始图像的图像信息融合到该第二原始图像中，得到该第一预处理图像，以配准后的第一原始图像作为参考，将该第二原始图像的图像信息融合到该第一原始图像中，得到该第二预处理图像。
在另一种可能的实现方式中，该对该第一原始图像和该第二原始图像中的像素点进行配准，包括：
确定该第一原始图像对应的第一特征点集合和第一描述子集合，以及确定该第二原始图像的第二特征点集合和第二描述子集合；
根据该第一描述子集合和该第二描述子集合，确定匹配度最高的第一目标描述子和第二目标描述子；
确定该第一目标描述子对应的第一目标特征点和该第二目标描述子对应的第二目标特征点；
根据该第一目标特征点和该第二目标特征点，确定该第一原始图像与该第二原始图像之间的变换矩阵；
根据该变换矩阵，对该第一原始图像和该第二原始图像中的像素点进行配准。
在另一种可能的实现方式中，该获取第一原始图像和第二原始图像之前，该方法还包括：
检测该当前场景的亮度；
当该当前场景的亮度小于预设亮度时，对该当前场景补红外光，进入红外环境；
当进入红外环境时，执行该获取第一原始图像和第二原始图像的步骤。
在另一种可能的实现方式中，该方法还包括：
对该融合图像进行后处理，该后处理包括色彩增强、亮度增强和图像锐化中的至少一项。
在另一种可能的实现方式中，该对该当前场景补红外光，进入红外环境，包括：
对该当前场景持续补光；
相应的，该获取第一原始图像和第二原始图像，包括：
当收到曝光信号时，对该当前场景进行采集，得到该当前场景对应的入射光；对该入射光进行分光处理，得到可见光和红外光；
对该可见光进行曝光处理，得到该第一原始图像，以及对该红外光进行曝光处理，得到该第二原始图像；或者，对该可见光进行曝光处理，得到该第二原始图像，以及对该红外光进行曝光处理，得到该第一原始图像。
在另一种可能的实现方式中，该对该当前场景补红外光，进入红外环境，还包括：
确定曝光时序，根据该曝光时序确定补光时序；
根据该补光时序对该当前场景进行补光；
相应的，该获取第一原始图像和第二原始图像，包括：
根据该曝光时序和该补光时序，对该当前场景进行采集，得到该第一原始图像和该第二原始图像。
在本公开实施例中，公开了一种摄像设备，通过采集模块对当前场景的入射光进行采集，得到当前场景下的第一原始图像和第二原始图像，通过第一图像处理模块对第一原始图像和第二原始图像进行图像信息融合，得到第一预处理图像和第二预处理图像，通过双光融合网络模块将第一预处理图像和第二预处理图像整合成为一张图像，得到融合图像。由于该摄像设备通过双光融合网络对图像进行融合时，可以将输入的两张图像整合为一张图像，将图像的色彩融合也通过双光融合网络实现，图像融合时可以突破通过权重融合产生的局部对比问题，防止了融合图像的色彩偏差。
其中，该第一原始图像是进行近红外补光时由图像传感器采集的图像，该第一原始图像是一路可见光进入图像传感器时采集的图像，该第二原始图像是一路红外光进入图像传感器时采集的图像；或者，该第一原始图像是一路红外光进入图像传感器时采集的图像，该第二原始图像是一路可见光进入图像传感器时采集的图像。在本公开实施例中，以该第一原始图像是一路红外光进入图像传感器时采集的图像，该第二原始图像是一路可见光进入图像传感器时采集的图像为例进行说明。
在本公开实施例中，摄像设备可以仅将第一原始图像的图像信息融合到第二原始图像中，得到第一预处理图像，将第一原始图像作为第二预处理图像；摄像设备也可以仅将第二原始图像的图像信息融合到第一原始图像中，得到第二预处理图像，将第二原始图像作为第一预处理图像；摄像设备还可以同时将第一原始图像的图像信息融合到第二原始图像中，得到第一预处理图像，将第二原始图像的图像信息融合到第一原始图像中，得到第二预处理图像。
图6是根据一示例性实施例示出的一种图像融合方法的流程图，本公开实施例中，以将第一原始图像的图像信息融合到第二原始图像中，得到第一预处理图像，将第一原始图像作为第二预处理图像为例进行说明。如图6所示，该图像融合方法包括如下步骤。
步骤601：摄像设备获取第一原始图像和第二原始图像。
摄像设备的应用越来越广泛，使得摄像设备可以应用在多种场景下，并应用在多种时间段内，造成随着时间的变化和环境发生的变化，摄像机所在的场景亮度也有不同。因此，在环境亮度较高时，摄像设备可以正常拍摄画面，当环境亮度较低时，拍摄设备可以同时拍摄第一原始图像和第二原始图像，并对第一原始图像和第二原始图像进行图像信息融合。
在一种可能的实现方式中，摄像设备在任何亮度的场景下，都采集第一原始图像和第二原始图像。在另一种可能的实现方式中，在获取第一原始图像和第二原始图像之前，摄像设备先检测当前场景的亮度，当前场景亮度不小于预设亮度时，摄像设备只获取第一原始图像，且不对该第一原始图像进行信息融合，直接将该第一原始图像作为最终输出的图像；当前场景亮度小于预设亮度时，摄像设备对当前场景补红外光，再对补光后的场景采集图像。该过程可以为：拍摄设备检测当前场景的亮度；当前场景的亮度小于预设亮度时，对当前场景补红外光，进入红外环境；当进入红外环境时，拍摄设备执行获取第一原始图像和第二原始图像的步骤。该预设亮度可以根据用户需要进行设置并更改，在本公开实施例中，对预设亮度的值不作具体限定。
在拍摄图像的过程中，摄像设备采集入射光，根据该入射光生成第一原始图像和第二原始图像。在一种可能的实现方式中，摄像设备可以对当前场景持续补光，摄像设备将入射光进行分光处理，得到可见光和红外光，再分别对该可见光和红外光进行处理，得到第一原始图像和第二原始图像，该过程可以通过以下步骤(A1)-(A2)实现，包括：
(A1)当收到曝光信号时，摄像设备对当前场景进行采集，得到当前场景对应的入射光；对入射光进行分光处理，得到可见光和红外光。
拍摄设备将采集到的入射光，输入分光模块，该分光模块根据光线的波长对该可见光进行分光处理，得到可见光进而红外光。
(A2)摄像设备对可见光进行曝光处理，得到第一原始图像，以及对红外光进行曝光处理，得到第二原始图像。
拍摄设备分别对步骤(A1)中得到的可见光和红外光输入对可见光进行曝光处理的传感器和对红外光进行曝光处理的传感器，得到第一原始图像和第二原始图像。
在另一种可能的实现方式中，摄像设备确定曝光时序，根据该曝光时序确定补光时序；摄像设备根据该补光时序对该当前场景进行补光。相应的，该获取第一原始图像和第二原始图像的过程可以为：根据该曝光时序和该补光时序，对该当前场景进行采集，得到该第一原始图像和该第二原始图像。
需要说明的一点是，当该第一原始图像为当前场景在红外光环境下的图像，第二原始图像为当前场景在可见光环境下的图像时，本步骤可以为：摄像设备对红外光进行曝光处理，得到第一原始图像，以及对可见光进行曝光处理，得到第二原始图像。
需要说明的另一点是，摄像设备可以获取其他设备拍摄的第一原始图像和第二原始图像，摄像设备也可以获取由摄像设备自身拍摄第一原始图像和第二原始图像，在本公开实施例中，对此不作具体限定。
相应的，当摄像设备获取其他设备拍摄的第一原始图像和第二原始图像，该其他设备可以为具有拍摄功能的设备，例如摄像机、具有摄像功能的手机等。在一种可能的实现方式中，该其他设备将该第一原始图像和第二原始图像存储在本地，当摄像设备需要获取该第一原始图像和第二原始图像时，将该第一原始图像和第二原始图像通过数据接口传输给摄像设备，摄像设备通过该数据接口获取该第一原始图像和第二原始图像；在另一种可能的实现方式中，该其他设备将拍摄到的第一原始图像和第二原始图像上传至服务器中，当摄像设备获取第一原始图像和第二原始图像时，向该服务器发送获取请求，该获取请求中携带该摄像设备的第一设备标识、该其他设备的第二设备标识以及第一原始图像和第二原始图像的图像标识；服务器根据该获取请求，向该摄像设备发送该第一原始图像和第二原始图像，摄像设备接收该服务器发送的第一原始图像和第二原始图像。
当摄像设备获取自身拍摄的第一原始图像和第二原始图像时，在一种可能的实现方式中，摄像设备将拍摄的第一原始图像和第二原始图像存储在本地，当摄像设备对该第一原始图像和第二原始图像进行处理时，通过数据接口，调用本地存储的第一原始图像和第二原始图像；在另一种可能的实现方式中，该摄像设备将拍摄的第一原始图像和第二原始图像发送至服务器，摄像设备通过服务器获取该第一原始图像和第二原始图像，摄像设备通过服务器获取第一原始图像和第二原始图像的过程与摄像设备通过服务器获取其他设备拍摄的第一原始图像和第二原始图像的过程相似，在此不再赘述。
拍摄设备在获取第一原始图像和第二原始图像后，可以直接执行步骤602，也可以先对该第一原始图像和第二原始图像中的像素点进行配准，完成配准后，再执行步骤602。在一种可能的实现方式中，摄像设备通过将第一原始图像和第二原始图像中的像素点都投影到相同的坐标系中，通过该投影映射关系将该第一原始图像和第二原始图像中的像素点配准。在另一种可能的实现方式中，摄像设备通过对比第一原始图像和第二原始图像中的特征点，确定第一原始图像和第二原始图像中匹配度最高的特征点，根据该匹配度最高的特征点确定将该第一原始图像和第二原始图像中的像素点进行配准。该过程可以通过以下步骤(1)-(5)实现，包括：
(1)摄像设备确定第一原始图像对应的第一特征点集合和第一描述子集合，以及确定第二原始图像的第二特征点集合和第二描述子集合。
摄像设备分别提取该第一原始图像中的第一特征点和第二原始图像中的第二特征点，根据该第一特征点制作该第一特征点的第一描述子，根据该第二特征点制作该第二特征点的第二描述子。
摄像设备可以通过任一算法提取第一原始图像和第二原始图像中的特征点，在本公开实施例中，对提取特征点的方法不作具体限定。例如，摄像设备可以通过SIFT(ScaleInvariant Feature Transform,尺度不变特征变换)算法提取第一原始图像和第二原始图像中的特征点。首先，分别获取第一原始图像和第二原始图像的不同尺度的差分高斯，得到第一原始图像的第一差分高斯金字塔和第二原始图像的第二差分高斯金字塔；然后，比较第一差分高斯金字塔和第二差分高斯金字塔中每一层上的每个像素和周围像素，找出每一层中最大像素点或最小像素点作为候选特征点；在候选特征点中，选出第一原始图像的第一特征点集合和第二原始图像的第二特征点集合；对于第一特征点合集和第二特征点集合中的每一个特征点，根据该特征点的方向制作该特征点的描述子，得到第一描述子集合和第二描述子集合。
例如，以该特征点的中心16*16的采样点划分为4*4的区域，确定每一个区域的采样点的梯度方向和幅值，得到8方向直方图，最后得到4*4*8＝128维的描述子。
(2)摄像设备根据第一描述子集合和第二描述子集合，确定匹配度最高的第一目标描述子和第二目标描述子。
摄像设备根据步骤(1)中得到的第一描述子集合和第二描述子集合，对第一原始图像和第二原始图像中对应位置区域的描述子进行比较，通过向量表示描述子的特点，将两个描述子对应的向量中，向量的距离最近的一对描述子作为最匹配的描述子，确定第一目标描述子和第二目标描述子。
(3)摄像设备确定第一目标描述子对应的第一目标特征点和第二目标描述子对应的第二目标特征点。
摄像设备分别确定步骤(1)中最佳匹配的描述子中第一目标描述子对应的第一目标特征点和第二目标描述子对应的第二目标特征点。
(4)摄像设备根据第一目标特征点和第二目标特征点，确定第一原始图像与第二原始图像之间的变换矩阵。
摄像设备根据该第一目标特征点和第二目标特征点的对应关系，确定该第一原始图像和第二原始图像的变换矩阵，该变换矩阵可以为放射变换矩阵，例如，给第一原始图像和第二原始图像的放射变换矩阵可以为：
其中，为仿射变换矩阵，[xv,yv,1]'表示[xv,yv,1]的转置矩阵，[xryr,1]'表示[xryr,1]的转置矩阵，[xv,yv,1]和[xryr,1]分别为第一特征点和第二特征点。
(5)摄像设备根据变换矩阵，对第一原始图像和第二原始图像中的像素点进行配准。
摄像设备由步骤(4)中获取的变换矩阵确定出第二原始图像中所有像素点的新位置，根据该第二原始图像中像素点的新位置，重新生成第二原始图像。或根据步骤(4)中获取的变换矩阵确定出第一原始图像中所有像素点的新位置，根据该第一原始图像中像素点的新位置，重新生成第一像素点。在本公开实施例中，对此不作具体限定。
需要说明的一点是，摄像设备完成第一原始图像和第二原始图像的配准后，可以根据该配准后的第一原始图像和第二原始图像，进行信息融合，该过程中，可以以任一配准后的图像作为参考。摄像设备以配准后的第二原始图像作为参考，将该第一原始图像的图像信息融合到该第二原始图像中，得到该第一预处理图像，将该第一原始图像作为第二预处理图像；或者，摄像设备以配准后的第一原始图像作为参考，将该第二原始图像的图像信息融合到该第一原始图像中，得到该第二预处理图像，将该第二原始图像作为第一预处理图像；或者，摄像设备以配准后的第二原始图像作为参考，将该第一原始图像的图像信息融合到该第二原始图像中，得到该第一预处理图像，以配准后的第一原始图像作为参考，将该第二原始图像的图像信息融合到该第一原始图像中，得到该第二预处理图像。
在本公开实施例中，以摄像设备以配准后的第二原始图像作为参考，将该第一原始图像的图像信息融合到该第二原始图像中，得到该第一预处理图像，将该第一原始图像作为第二预处理图像为例进行说明。
步骤602：摄像设备确定第一原始图像的第一融合权重和第二原始图像的第二融合权重。
其中，该第一融合权重和第二融合权重可以为整个第一原始图像与第二原始图像的融合权重。该第一融合权重和第二融合权重还可以为第一原始图像中的像素点与第二原始图像中的像素点的融合权重，在本公开实施例中，对此不作具体限定。当该第一融合权重和第二融合权重为整个第一原始图像和第二原始图像的融合权重时，该第一原始图像和第二原始图像在融合过程中，每一组对应像素的融合权重相同；当该第一融合权重和第二融合权重为第一原始图像中的像素点与第二原始图像中的像素点的融合权重第，该第一原始图像中的像素点和第二原始图像中的像素点中每组像素点对应的融合权重可以相同也可以不同。例如，该第一原始图像和第二原始图像中每一对像素点对应的第一融合权重和第二融合权重相同，该第一融合权重都为0.4，第二融合权重都为0.6。
该第一融合权重和第二融合权重都不小于0。在本公开实施例中，对第一融合权重的获取方式不作具体限定。在一种可能的实现方式中，该第一融合权重和第二融合权重可以为用户输入的融合权重，该第一融合权重和第二融合权重可以根据需要进行设置并更改。在另一种可能的实现方式中，该第一融合权重和第二融合权重为经过双光融合网络确定的第一融合权重和第二融合权重。
步骤603：摄像设备根据该第一融合权重和该第二融合权重，将该第一原始图像中的图像信息融合到该第二原始图像中，得到第一预处理图像，将该第一原始图像作为该第二预处理图像。
摄像设备分别将对应位置上的第一像素点的第一像素值和第二像素点的第二像素值，根据该第一融合权重和第二融合权重进行加权求和，得到第三像素值。例如，该第一像素点的第一融合权重为α，第二像素点对应的第二融合权重为β，根据公式一可以计算融合后的第三像素值I_fus
公式一：
其中，I_fus为融合后的第三像素值，I_vis为第一原始图像的第一像素值，I_nir为第二原始图像的第二像素值，α为第一融合权重，β为第二融合权重。
需要说明的一点是，由于第二原始图像为红外光环境下的图像，该第二原始图像为灰度图像。因此本步骤中，提取第一原始图像中第一像素点对应的像素值时，可以先对第一原始图像进行灰度处理，再提取该灰度处理后的第一原始图像中第一像素点的第一像素值；或者，直接提取该第一原始图像中，第一像素点的亮度值作为该第一像素点的第一像素值。
摄像设备将第二原始图像中每一个第二像素点的像素值修改为该第二像素点对应的第三像素值，将修改过像素值的第二原始图像作为第一预处理图像，将第一原始图像作为第二预处理图像。
例如，第二原始图像中有3个像素点，这三个像素点对应的第二像素值分别为1,1,1.5。摄像设备将这三个像素点的像素值分别修改为第三像素值为2,2.5,2.5。根据修改后的三个像素点的像素值生成第一预处理图像。
步骤604：摄像设备通过双光融合网络，将第一预处理图像和第二预处理图像整合到同一图像中，得到融合图像。
摄像设备通过双光融合网络将该第一预处理图像和第二预处理图像整合为一张图像。其中，该双光融合网络可以为任一具有图像连接功能的神经网络模型，该神经网络模型中添加有concat(连接)层，该concat层可以将该图像连接为一张图像。例如，该神经网络模型可以为CNN(Convolutional Neural Networks，卷积神经网络)模型、RNN(RecursiveNeural Network，递归神经网络)模型等神经网络模型。
通过该双光融合网络可以将该第一预处理图像和第二预处理图像中的图像特征融合为一张图像，得到融合图像，该融合图像可以为4通道图像、8通道图像或3通道图像，在本公开实施例中，对该融合图像的通道数量不作具体限定。
在一种可能的实现方式中，通过摄像设备获取该第一原始图像的颜色通道以及该第一预处理图像的亮度通道，生成4通道图像，该生成4通道图像的过程可以通过以下步骤(A1)-(A3)实现，包括：
(A1)摄像设备通过双光融合网络，提取第二预处理图像中的三个通道，以及提取第一预处理图像中的亮度通道。
摄像设备将该第一原始图像和第一预处理图像分别输入该双光融合网络中，该双光融合网络包括输入层、残差层和输出层，该输入层用于接收输入的第一预处理图像和第二预处理图像，分别提取第二预处理图像中的三个色彩通道对应的数值，以及提取第一预处理图像中的亮度值。
(A2)摄像设备基于三个通道和亮度通道，生成第一待处理图像。
摄像设备根据该第二预处理图像中的三个色彩通道中的颜色值和第一预处理图像中的亮度值，得到第一待处理图像。
(A3)摄像设备基于该第一待处理图像，生成该融合图像。
该摄像设备可以通过双光融合网络对该待处理图像进行融合，相应的，该摄像设备的双光融合网络可以为多尺度神经网络。该步骤可以通过以下步骤实现：摄像设备通过该双光融合网络模块的多尺度结构，对该第一待处理图像的特征进行融合，得到该融合图像。
在一种可能的实现方式中，该双光融合网络可以包括输入层、残差层和输出层，输入层将第一预处理图像和第二预处理图像初步整合，将整合后的第一待处理图像输入至残差层中，通过残差层对该第一待处理图像进行处理，将处理后的图像输出给输出层，由输出层进行卷积和归一化后，输出融合图像。在另一种可能的实现方式中，该双光融合网络可以包括输入层、下采样层、残差层、上采样层和输出层，摄像设备先对该第一待处理图像进行下采样，再对采样得到的图像进行融合，得到融合图像，该过程可以通过以下步骤(A3-1)-(A3-4)实现，包括：
(A3-1)摄像设备对该第一待处理图像进行第一指定步长的卷积，得到第二卷积结果，对该第二卷积结果进行归一化处理，得到第二待处理图像，该第一指定步长大于1；
(A3-2)摄像设备对该第二待处理图像进行残差运算，得到第三待处理图像；
(A3-3)摄像设备对该第三待处理图像进行第二指定步长的卷积，得到第三卷积结果，对该第三卷积结果进行归一化处理，得到第四待处理图像，该第二指定步长大于0，且小于1；
该双光融合网络可以包括输入层、残差层和输出层，输入层将第一预处理图像和第二预处理图像初步整合后，将整合后的第一原始图像输入至残差层，该残差层包括多层残差网络，每层残差网络的组成为一个卷积层、BN层、卷积层，在本公开实施例中，对残差网络的层数不作具体限定，例如，该残差网络的层数可以为32层。并且，对该残差网络中卷积层中卷积和的大小个特征图的数量也不作具体限定，例如，还卷积和大小可以为3*3，特征图的数量可以为128.该残差网络的激活函数也可以为ReLu函数，在本公开实施例中，对此不作具体限定。将最底层的特征图进行卷积，将卷积得到的多个残差特征图乘以叠加系数后，叠加到该层的输入中，得到第四待处理图像，该叠加系数为不小于0不大于1的数。
(A3-4)摄像设备对该第四待处理图像进行卷积，得到第四卷积结果，对该第四卷积结果进行归一化处理，输出该融合图像。
在另一种可能的实现方式中，如图7所示，通过摄像设备，分别将该第一预处理图像和第二预处理图像拆分为多通道图像，将每一个通道对应整合，得到第二预处理图像。该过程可以通过以下步骤(B1)-(B3)实现，包括：
(B1)摄像设备通过双光融合网络，将第一预处理图像和第二预处理图像分别拆分为第一多通道图像和第二多通道图像。
摄像设备将该第一预处理图像和第二预处理图像分别输入该双光融合网络中，该双光融合网络包括输入层、残差层和输出层，该输入层用于接收输入的第一预处理图像和第二预处理图像，分别将该第一预处理图像和该第二预处理图像拆分为第一多通道图像和第二多通道图像。其中，第一多通道图像和第二多通道图像中的通道数量相同，且每一个通道对相互对应。例如，继续参见图7，可以通过拜耳(bayer)阵列将该第一预处理图像和第二预处理图像拆分为多通道图像，根据拜耳阵列将该第二预处理图像拆分为1个红色通道、2个绿色通道和1个蓝色通道。相应的，将第一预处理图像拆分为对应的1个红色的亮度通道、2个绿色的亮度通道和1个蓝色的亮度通道。
(B2)摄像设备将第一多通道图像和第二多通道图像进行整合，得到第一待处理图像，第一待处理图像的通道数为第一多通道图像的通道数和第二多通道图像的通道数之和。
摄像设备将第一多通道图像和第二多通道图像中每一个对应的通道分别进行连接，得到第一待处理图像。例如，继续参见图7，将通过拜耳阵列拆分得到的4个颜色通道和对应的4个亮度通道对应连接，得到8通道的第一待处理图像。
(B3)摄像设备基于该第一待处理图像，生成该融合图像。
本步骤与步骤(A3)相似，在此不再赘述。
在另一种可能的实现方式中，如图8所示，通过该摄像设备，获取第一预处理图像和第二预处理图像的特征层，将每一层特征层进行连接，得到整合后的融合图像，该过程可以通过以下步骤实现(C1)-(C4)实现，包括：
(C1)摄像设备通过双光融合网络，提取第一预处理图像的特征，得到第一特征图，以及提取第二预处理图像的特征，得到第二特征图。
摄像设备将该第一预处理图像和第二预处理图像分别输入该双光融合网络中，该双光融合网络包括输入层、残差层和输出层，该输入层用于接收输入的第一预处理图像和第二预处理图像，分别将第一预处理图像和第二预处理图像进行卷积，得到多个特征层。其中，第二预处理图像可以通过两次卷积得到第二特征层，第一预处理图像经过一次卷积得到第一特征层。继续参见图8，该输入层包括一个卷积层和一个BN(batch normalization，批量标准化)层，使用ReLu函数作为激活函数，该卷积核为5*5，卷积完成后第一特征层和第二特征层的数量都为128。
(C2)摄像设备将第一特征层和第二特征层进行整合，得到第一待处理图像。
摄像设备将步骤(1)中得到的第一特征层和第二特征层进行连接，得到第一待处理图像。
(C3)摄像设备基于该第一待处理图像，生成该融合图像。
本步骤与步骤(A3)相似，在此不再赘述。
需要说明的另一点是，摄像设备通过该双光融合网络模块输出融合图像后，还可以对该融合图像进行后处理，该后处理包括色彩增强、亮度增强和图像锐化中的至少一项。
其中，该色彩增强过程中，摄像设备可以通过HSV(HueSaturationValue，色调，饱和度，明度)色彩空间中的S(Saturation，饱和度)分量进行非线性映射，摄像设备再将映射完成的图像转换到RGB(Red Green Blue，红绿蓝)空间中，其中，该映射公式可以为以下公式二。
公式二：Img_S'＝Img_S-a*Img_S2+b*Img_S-c
其中，Img_S'为增强后的S分量，Img_S为增强前的S分量，a为Img_S2的系数、b为Img_S的系数和c为常数项，在本公开实施例中，对a、b和c的值不作具体限定，例如，a＝0.4025，b＝0.6238，c＝0.0006。
该亮度增强过程中，摄像设备可以将输入的图像的亮度进行增强。需要说明的一点是，该亮度增强过程可以在色彩增强过程之后执行，也可以直接对该双光融合网络模块输出的第二预处理图像进行亮度增强，在本公开实施例中，对此不作具体限定。通过该亮度增强过程可以提升图像暗区域的亮度，同时减少图像亮区域的信息损失。首先，将每个像素位置x处的RGB三通道最大值作为初始亮度分布。
公式三：
其中，表示初始亮度分布，max Im g_S'c(x)表示像素位置x处的RGB三通道最大值，由公式三可知，c为不同的通道。
然后摄像设备计算权重W，其中，权重W为归一化局部梯度，W可以由以下公式四得到。
公式四：
其中，Wh(i)表示水平梯度权重，G为高斯核函数，可以由以下公式五表示，σ为高斯核，ε为防止分母为零的小量，由于表示水平方向上的梯度值，/>表示初始亮度，则表示水平初始亮度分布的梯度值，由公知常识可知，/>表示求和过程中，求和范围满足j与i为Ω函数关系。
公式五：
其中，dist(i,j)表示像素i和j的欧氏距离，σ为高斯核，exp标识期望值。
摄像设备通过目标函数对亮度分布进行优化，该目标函数可以由公式六表示。
公式六：
其中，T为亮度分布，W为权重，表示初始亮度分布，λ为系数，/>表示亮度分布的梯度。
根据公式六可以计算出亮度增强后的亮度分布T，根据公式
R＝Img_S′/(T+ε)
摄像设备确定图像增强后的图像，Img_S'为增强后的S分量，其中R表示亮度增强后的图像，T表示亮度增强后的亮度分布，ε为防止分母为零的小量。
该图像锐化过程中，摄像设备对图像进行锐化，使图像中边缘更加清晰。在本公开实施例中，对摄像设备在图像锐化过程中所使用的算法不作具体限定。该锐化算法可以为USM(Unsharp Mask，非锋利锐化)算法等。通过该USM算法进行锐化的过程可以为：
(1)摄像设备提取待锐化图像中每个通道的高频成分，该过程可以通过以下公式七实现。
公式七：
其中，I_hc表示图像中的每一个通道中的高频成分，由公式可知，c为不同的通道，由于I表示像素值，则Ic表示图像中每个通道的像素值，kernel为二维高斯核，在本公开实施例中，对该二维高斯核的高斯核半径和标准差不作具体限定。例如，该高斯核半径可以为3，标准差可以为1。
(2)摄像设备获取小于预设阈值的高频成分。
摄像设备将高频成分中大于预设阈值的高频成分重置为0。在本公开实施例中对该预设阈值的大小不作具体限定，例如该预设阈值可以为10、15等。该过程可以由公式八表示。
公式八：
I_h'c(i,j)表示图像中的每一个通道中的高频成分阈值处理后的值，表示小于预设阈值的高频成分，I_hc(i,j)表示图像中的每一个通道中的高频成分。
(3)摄像设备将小于预设阈值的高频成分乘以权重后叠加到待锐化图像上，得到锐化后的图像。
公式九：I_enhc＝I+A·I_hc′
其中，I表示待锐化图像的像素值，A表示权重，I_hc'表示小于预设阈值的高频成分，I_enhc表示锐化后的图像的像素值。
需要说明的一点是，在本公开实施例中，对三种图像增强方法的执行顺序不作具体限定。例如，当三种图像增强方法都执行时，可以先对该融合图像进行色彩增强再进行亮度增强，最后再对该融合图像进行锐化，可以先对该融合图像进行亮度增强再对图像进行锐化，最后再对该融合图像进行色彩增强。
在本公开实施例中，公开了一种摄像设备，通过采集模块对当前场景的入射光进行采集，得到当前场景下的第一原始图像和第二原始图像，通过第一图像处理模块对第一原始图像和第二原始图像进行图像信息融合，得到第一预处理图像和第二预处理图像，通过双光融合网络模块将第一预处理图像和第二预处理图像整合成为一张图像，得到融合图像。由于该摄像设备通过双光融合网络对图像进行融合时，可以将输入的两张图像整合为一张图像，将图像的色彩融合也通过双光融合网络实现，图像融合时可以突破通过权重融合产生的局部对比问题，防止了融合图像的色彩偏差。
图9是根据一示例性实施例示出的一种图像融合方法的流程图，本公开实施例中，以将第二原始图像的图像信息融合到第一原始图像中，得到第二预处理图像，将第二原始图像作为第一预处理图像为例进行说明。如图9所示，该图像融合方法包括如下步骤。
步骤901：摄像设备获取第一原始图像和第二原始图像。
本步骤与步骤601相同，在此不再赘述。
步骤902：摄像设备确定第一原始图像的第一融合权重和第二原始图像的第二融合权重。
本步骤与步骤602相同，在此不再赘述。
在本公开实施例中，以摄像设备以配准后的第一原始图像作为参考，将该第二原始图像的图像信息融合到该第一原始图像中，得到该第二预处理图像，将该第二原始图像作为第一预处理图像为例进行说明。
步骤903：摄像设备根据该第一融合权重和该第二融合权重，将该第二原始图像中的图像信息融合到该第一原始图像中，得到第二预处理图像，将该第二原始图像作为该第一预处理图像。
摄像设备分别将对应位置上的第一像素点的第一像素值和第二像素点的第二像素值，根据该第一融合权重和第二融合权重进行加权求和，得到第三像素值，该过程与步骤603中，确定第三像素值的步骤相似，在此不再赘述。
摄像设备将第一原始图像中的每一个第一像素点的像素值修改为该第一像素点对应的第三像素值，并将修改过像素值的第一原始图像作为第二预处理图像，将第二原始图像作为第一预处理图像。
例如，第一原始图像中有3个像素点，这三个像素点对应的第一像素值分别为1,1,1.5。摄像设备将这三个像素点的像素值分别修改为第三像素值为2,2.5,2.5。根据修改后的三个像素点的像素值生成第二预处理图像。
步骤904：摄像设备通过双光融合网络，将第一预处理图像和第二预处理图像整合到同一图像中，得到融合图像。
本步骤与步骤604相同，在此不再赘述。
在本公开实施例中，公开了一种摄像设备，通过采集模块对当前场景的入射光进行采集，得到当前场景下的第一原始图像和第二原始图像，通过第一图像处理模块对第一原始图像和第二原始图像进行图像信息融合，得到第一预处理图像和第二预处理图像，通过双光融合网络模块将第一预处理图像和第二预处理图像整合成为一张图像，得到融合图像。由于该摄像设备通过双光融合网络对图像进行融合时，可以将输入的两张图像整合为一张图像，将图像的色彩融合也通过双光融合网络实现，图像融合时可以突破通过权重融合产生的局部对比问题，防止了融合图像的色彩偏差。
图10是根据一示例性实施例示出的一种图像融合方法的流程图，本公开实施例中，以将将第一原始图像的图像信息融合到第二原始图像中，得到第一预处理图像，将第二原始图像的图像信息融合到第一原始图像中，得到第二预处理图像为例进行说明。如图10所示，该图像融合方法包括如下步骤。
步骤1001：摄像设备获取第一原始图像和第二原始图像。
本步骤与步骤601相同，在此不再赘述。
步骤1002：摄像设备确定第一原始图像的第一融合权重和第二原始图像的第二融合权重。
本步骤与步骤602相同，在此不再赘述。
在本公开实施例中，以摄像设备以配准后的第二原始图像作为参考，将该第一原始图像的图像信息融合到该第二原始图像中，得到该第一预处理图像，以配准后的第一原始图像作为参考，将该第二原始图像的图像信息融合到该第一原始图像中，得到该第二预处理图像为例进行说明。
步骤1003：摄像设备根据该第一融合权重和该第二融合权重，将该第一原始图像中的图像信息融合到第二原始图像中，得到第一预处理图像，将该第二原始图像中的图像信息融合到第一原始图像中，得到第二预处理图像。
摄像设备分别将对应位置上的第一像素点的第一像素值和第二像素点的第二像素值，根据该第一融合权重和第二融合权重进行加权求和，得到第三像素值，该过程与步骤603中，确定第三像素值的步骤相似，在此不再赘述。
摄像设备将第二原始图像中的每一个第二像素点的像素值修改为该第二像素点对应的第三像素值，并将修改过像素值的第二原始图像作为第一预处理图像，将第一原始图像中的每一个第一像素点的像素值修改为该第一像素点对应的第三像素值，并将修改过像素值的第一原始图像作为第二预处理图像。
步骤1004：摄像设备通过双光融合网络，将第一预处理图像和第二预处理图像整合到同一图像中，得到融合图像。
本步骤与步骤604相同，在此不再赘述。
在本公开实施例中，公开了一种摄像设备，通过采集模块对当前场景的入射光进行采集，得到当前场景下的第一原始图像和第二原始图像，通过第一图像处理模块对第一原始图像和第二原始图像进行图像信息融合，得到第一预处理图像和第二预处理图像，通过双光融合网络模块将第一预处理图像和第二预处理图像整合成为一张图像，得到融合图像。由于该摄像设备通过双光融合网络对图像进行融合时，可以将输入的两张图像整合为一张图像，将图像的色彩融合也通过双光融合网络实现，图像融合时可以突破通过权重融合产生的局部对比问题，防止了融合图像的色彩偏差。
图11是根据一示例性实施例示出的一种图像融合方法的流程图，本公开实施例中，以通过提取图像中不同频率的信号进行融合，且将第一原始图像的图像信息融合到第二原始图像中，得到第一预处理图像，将第一原始图像作为第二预处理图像为例进行说明。并且，本公开实施例中，第一原始图像为当前场景在可见光环境下的图像，第二原始图像为当前场景在红外光环境下的图像。如图11所示，该图像融合方法包括如下步骤。
步骤1101：摄像设备获取第一原始图像和第二原始图像。
本步骤与步骤601相同，在此不再赘述。
步骤1102：摄像设备对该第一原始图像进行小波变换，得到该第一原始图像的第一高频成分、第一低频成分以及该第一高频成分的第一系数，以及，对该第二原始图像进行小波变换，得到该第二原始图像的第二高频成分、第二低频成分和该第二高频成分的第二系数；从该第一系数和该第二系数中选择最大系数，以及从该第一高频成分和该第二高频成分中选择该最大系数对应的高频成分。
摄像设备通过小波变换函数对该第一原始图像和第二原始图像进行小波变换，提取该第一原始图像和第二原始图像中的高频成分和低频成分。其中该高频成分包括该图像中竖直高频成分、对角高频成分和水平高频成分。例如，第二原始图像第i级小波变换可以表示为：
以及竖直、对角和水平高频成分，dwt()为二维小波变换函数，I_nir表示第二原始图像中的像素值。需要说明的一点是，在本公开实施例中，对小波函数的类型不作具体限定，例如，该小波函数可以为哈尔(Haar)小波、dbN(Daubechies)小波等。
在本公开实施例中，以摄像设备以配准后的第二原始图像作为参考，将该第一原始图像的图像信息融合到该第二原始图像中，得到该第一预处理图像，将该第一原始图像作为第二预处理图像为例进行说明。
步骤1103：摄像设备对该第二低频成分、该最大系数和选择的高频成分进行小波反变换，得到该第一预处理图像，将该第一原始图像作为该第二预处理图像。
对于小波变换后，分解出的图像的高频成分，摄像设备保留两张图像中每一部分高频成分中系数最高的高频成分，将该部分高频成分作为第一预处理图像的高频成分，该过程可以通过以下公式表示。
公式十一：
其中，分别表示第i级小波变换后第一预处理图像中竖直高频成分、对角高频成分和水平高频成分，/>分别表示第i级小波变换后第二原始图像中竖直高频成分、对角高频成分和水平高频成分，/>分别表示第i级小波变换后第一原始图像中竖直高频成分、对角高频成分和水平高频成分，并且，/>分别为和/>中对应的系数较高的高频成分。
其中，该低频成分为，第二原始图像小波变换后得到的第二低频成分，高频成分为第一原始图像和第二原始图像中系数较大的高频成分。摄像设备对该低频成分和高频成分进行小波反变换，得到第一预处理图像。
步骤1104：摄像设备通过双光融合网络，将第一预处理图像和第二预处理图像整合到同一图像中，得到融合图像。
本步骤与步骤604相同，在此不再赘述。
在本公开实施例中，公开了一种摄像设备，通过采集模块对当前场景的入射光进行采集，得到当前场景下的第一原始图像和第二原始图像，通过第一图像处理模块对第一原始图像和第二原始图像进行图像信息融合，得到第一预处理图像和第二预处理图像，通过双光融合网络模块将第一预处理图像和第二预处理图像整合成为一张图像，得到融合图像。由于该摄像设备通过双光融合网络对图像进行融合时，可以将输入的两张图像整合为一张图像，将图像的色彩融合也通过双光融合网络实现，图像融合时可以突破通过权重融合产生的局部对比问题，防止了融合图像的色彩偏差。
图12是根据一示例性实施例示出的一种图像融合方法的流程图，本公开实施例中，以通过提取图像中不同频率的信号进行融合，且将第二原始图像的图像信息融合到第一原始图像中，得到第二预处理图像，将第二原始图像作为第一预处理图像为例进行说明。并且，本公开实施例中，第一原始图像为当前场景在可见光环境下的图像，第二原始图像为当前场景在红外光环境下的图像。如图12所示，该图像融合方法包括如下步骤。
步骤1201：摄像设备获取第一原始图像和第二原始图像。
本步骤与步骤601相同，在此不再赘述。
步骤1202：摄像设备对该第一原始图像进行小波变换，得到该第一原始图像的第一高频成分、第一低频成分以及该第一高频成分的第一系数，以及，对该第二原始图像进行小波变换，得到该第二原始图像的第二高频成分、第二低频成分和该第二高频成分的第二系数；从该第一系数和该第二系数中选择最大系数，以及从该第一高频成分和该第二高频成分中选择该最大系数对应的高频成分。
本步骤与步骤1102相同，在此不再赘述。
在本公开实施例中，以摄像设备以配准后的第一原始图像作为参考，将该第二原始图像的图像信息融合到该第一原始图像中，得到该第二预处理图像，将该第二原始图像作为第一预处理图像为例进行说明。
步骤1203：摄像设备对该第一低频成分、该最大系数和选择的高频成分进行小波反变换，得到该第二预处理图像，将该第二原始图像作为该第一预处理图像。
本步骤与步骤1103相似，对于小波变换后，分解出的图像的高频成分，摄像设备保留两张图像中每一部分高频成分中系数最高的高频成分，将该部分高频成分作为第二预处理图像的高频成分，该过程也可以通过公式十一表示。此时，公式十一中
分别表示第i级小波变换后第二预处理图像中竖直高频成分、对角高频成分和水平高频成分，/>分别表示第i级小波变换后第二原始图像中竖直高频成分、对角高频成分和水平高频成分，/>分别表示第i级小波变换后第一原始图像中竖直高频成分、对角高频成分和水平高频成分，并且，/>分别为和/>中对应的系数较高的高频成分。
其中，该低频成分为，第一原始图像小波变换后得到的第一低频成分，高频成分为第一原始图像和第二原始图像中系数较大的高频成分。摄像设备对该低频成分和高频成分进行小波反变换，得到第二预处理图像。
步骤1204：摄像设备通过双光融合网络，将第一预处理图像和第二预处理图像整合到同一图像中，得到融合图像。
本步骤与步骤604相同，在此不再赘述。
在本公开实施例中，公开了一种摄像设备，通过采集模块对当前场景的入射光进行采集，得到当前场景下的第一原始图像和第二原始图像，通过第一图像处理模块对第一原始图像和第二原始图像进行图像信息融合，得到第一预处理图像和第二预处理图像，通过双光融合网络模块将第一预处理图像和第二预处理图像整合成为一张图像，得到融合图像。由于该摄像设备通过双光融合网络对图像进行融合时，可以将输入的两张图像整合为一张图像，将图像的色彩融合也通过双光融合网络实现，图像融合时可以突破通过权重融合产生的局部对比问题，防止了融合图像的色彩偏差。
图13是根据一示例性实施例示出的一种图像融合方法的流程图，本公开实施例中，以通过提取图像中不同频率的信号进行融合，且将第一原始图像的图像信息融合到第二原始图像中，得到第一预处理图像，将第二原始图像的图像信息融合到第一原始图像中，得到第二预处理图像为例进行说明。并且，本公开实施例中，第一原始图像为当前场景在可见光环境下的图像，第二原始图像为当前场景在红外光环境下的图像。如图13所示，该图像融合方法包括如下步骤。
步骤1301：摄像设备获取第一原始图像和第二原始图像。
本步骤与步骤601相同，在此不再赘述。
步骤1302：摄像设备对该第一原始图像进行小波变换，得到该第一原始图像的第一高频成分、第一低频成分以及该第一高频成分的第一系数，以及，对该第二原始图像进行小波变换，得到该第二原始图像的第二高频成分、第二低频成分和该第二高频成分的第二系数；从该第一系数和该第二系数中选择最大系数，以及从该第一高频成分和该第二高频成分中选择该最大系数对应的高频成分。
本步骤与步骤1102相同，在此不再赘述。
在本公开实施例中，以摄像设备以配准后的第二原始图像作为参考，将该第一原始图像的图像信息融合到该第二原始图像中，得到该第一预处理图像，以配准后的第一原始图像作为参考，将该第二原始图像的图像信息融合到该第一原始图像中，得到该第二预处理图像为例进行说明。
步骤1303：摄像设备对该第二低频成分、该最大系数和选择的高频成分进行小波反变换，得到该第一预处理图像，对该第一低频成分、该最大系数和选择的高频成分进行小波反变换，得到该第二预处理图像。
本步骤与步骤1103相似，对于小波变换后，分解出的图像的高频成分，摄像设备保留两张图像中每一部分高频成分中系数最高的高频成分，分别将该部分高频成分作为第一预处理图像和第二预处理图像的高频成分，该过程也可以通过公式十一表示。此时，公式十一中
分别表示第i级小波变换后第一预处理图像和第二预处理图像中竖直高频成分、对角高频成分和水平高频成分，/>分别表示第i级小波变换后第二原始图像中竖直高频成分、对角高频成分和水平高频成分，/>分别表示第i级小波变换后第一原始图像中竖直高频成分、对角高频成分和水平高频成分，并且，/>分别为/>和/>中对应的系数较高的高频成分。
其中，第一预处理图像的低频成分为第二原始图像小波变换后得到的第二低频成分，第二预处理图像的低频成分为第一原始图像小波变换后得到的第一低频成分，高频成分为第一原始图像和第二原始图像中系数较大的高频成分。摄像设备对该低频成分和高频成分进行小波反变换，得到第一预处理图像和第二预处理图像。
步骤1304：摄像设备通过双光融合网络，将第一预处理图像和第二预处理图像整合到同一图像中，得到融合图像。
本步骤与步骤604相同，在此不再赘述。
在本公开实施例中，公开了一种摄像设备，通过采集模块对当前场景的入射光进行采集，得到当前场景下的第一原始图像和第二原始图像，通过第一图像处理模块对第一原始图像和第二原始图像进行图像信息融合，得到第一预处理图像和第二预处理图像，通过双光融合网络模块将第一预处理图像和第二预处理图像整合成为一张图像，得到融合图像。由于该摄像设备通过双光融合网络对图像进行融合时，可以将输入的两张图像整合为一张图像，将图像的色彩融合也通过双光融合网络实现，图像融合时可以突破通过权重融合产生的局部对比问题，防止了融合图像的色彩偏差。
图14是根据一示例性实施例示出的一种图像融合方法的流程图，本公开实施例中，以提取第一原始图像中的高频成分融合到第二原始图像中，得到第一预处理图像，将第一原始图像作为第二预处理图像为例进行说明。并且，本公开实施例中，第一原始图像为当前场景在可见光环境下的图像，第二原始图像为当前场景在红外光环境下的图像。如图14所示，该图像融合方法包括如下步骤。
步骤1401：摄像设备获取第一原始图像和第二原始图像。
本步骤与步骤601相同，在此不再赘述。
步骤1402：摄像设备通过高通滤波算法提取第一原始图像中的第三高频成分。
摄像设备对该第一原始图像进行高通滤波，提取该第一原始图像中的第三高频成分，该过程可以通过以下公式表示。
公式十二：
其中，K为高斯核，该高斯核的数值可以根据需要进行设置并更改，在本公开实施例中，对高斯核的数值不作具体限定。例如，该高斯核大小可以为7*7，均值为0，方差为1。H_freq表示第一原始图像的高频成分，I_vis表示该第一原始图像的像素值。
步骤1403：摄像设备对第三高频成分进行加权，得到第五高频成分。
摄像设备将通过高通滤波的第三高频成分按照第三融合权重进行加权，得到第五高频成分，该第三融合权重可以根据需要进行设置并更改，在本公开实施例中，对该第三融合权重的数值不作具体限定。例如，该第三融合权重可以为0.8、1或1.5等。
在本公开实施例中，以摄像设备以配准后的第二原始图像作为参考，将该第一原始图像的图像信息融合到该第二原始图像中，得到该第一预处理图像，将该第一原始图像作为第二预处理图像为例进行说明。
步骤1404：摄像设备将该第五高频成分叠加到该第二原始图像中，得到该第一预处理图像，将该第一原始图像作为该第二预处理图像。
摄像设备在该第二原始图像的对应像素位置处叠加该第五高频成分，得到第一预处理图像。该第一预处理图像上的像素值可以由以下公式获取。
公式十三：I_fus＝I_nir+γ·H_freq
其中，I_fus表示第一预处理图像中像素值，γ表示第三融合权重，相应的γH_freq表示第四高频成分，I_nir表示第二原始图像中的像素值。
步骤1405：摄像设备通过双光融合网络，将第一预处理图像和第二预处理图像整合到同一图像中，得到融合图像。
本步骤与步骤604相同，在此不再赘述。
在本公开实施例中，公开了一种摄像设备，通过采集模块对当前场景的入射光进行采集，得到当前场景下的第一原始图像和第二原始图像，通过第一图像处理模块对第一原始图像和第二原始图像进行图像信息融合，得到第一预处理图像和第二预处理图像，通过双光融合网络模块将第一预处理图像和第二预处理图像整合成为一张图像，得到融合图像。由于该摄像设备通过双光融合网络对图像进行融合时，可以将输入的两张图像整合为一张图像，将图像的色彩融合也通过双光融合网络实现，图像融合时可以突破通过权重融合产生的局部对比问题，防止了融合图像的色彩偏差。
图15是根据一示例性实施例示出的一种图像融合方法的流程图，本公开实施例中，以提取第二原始图像中的高频成分融合到第一原始图像中，得到第二预处理图像，将第二原始图像作为第一预处理图像为例进行说明。并且，本公开实施例中，第一原始图像为当前场景在可见光环境下的图像，第二原始图像为当前场景在红外光环境下的图像。如图15所示，该图像融合方法包括如下步骤。
步骤1501：摄像设备获取第一原始图像和第二原始图像。
本步骤与步骤601相同，在此不再赘述。
步骤1502：摄像设备通过高通滤波算法提取第二原始图像中的第四高频成分。
该过程与步骤1302中的步骤中提取第一原始图像的高频成分相似，也可以通过公式十二提取该第二原始图像中的高频成分。
此时，公式十二中的H_freq表示第二原始图像的高频成分，I_vis表示该第二原始图像的像素值。
步骤1503：摄像设备对第四高频成分进行加权，得到第六高频成分。
摄像设备将通过高通滤波的第四高频成分按照第四融合权重进行加权，得到第六高频成分，该第四融合权重和第三融合权重可以相同也可以不同，并且，该第四融合权重也可以根据需要进行设置并更改，在本公开实施例中，对该第四融合权重的数值不作具体限定。例如，该第四融合权重可以为0.8、1或1.5等。
在本公开实施例中，以摄像设备以配准后的第一原始图像作为参考，将该第二原始图像的图像信息融合到该第一原始图像中，得到该第二预处理图像，将该第二原始图像作为第一预处理图像为例进行说明。
步骤1504：摄像设备将该第五高频成分叠加到该第二原始图像中，得到该第一预处理图像，将该第一原始图像作为该第二预处理图像。
摄像设备在该第二原始图像的对应像素位置处叠加该第五高频成分，得到第一预处理图像。该第一预处理图像上的像素值可以由以下公式获取。
公式十三：I_fus＝I_nir+γ·H_freq
其中，I_fus表示第一预处理图像中像素值，γ表示第三融合权重，相应的γH_freq表示第四高频成分，I_nir表示第二原始图像中的像素值。
步骤1505：摄像设备通过双光融合网络，将第一预处理图像和第二预处理图像整合到同一图像中，得到融合图像。
本步骤与步骤604相同，在此不再赘述。
在本公开实施例中，公开了一种摄像设备，通过采集模块对当前场景的入射光进行采集，得到当前场景下的第一原始图像和第二原始图像，通过第一图像处理模块对第一原始图像和第二原始图像进行图像信息融合，得到第一预处理图像和第二预处理图像，通过双光融合网络模块将第一预处理图像和第二预处理图像整合成为一张图像，得到融合图像。由于该摄像设备通过双光融合网络对图像进行融合时，可以将输入的两张图像整合为一张图像，将图像的色彩融合也通过双光融合网络实现，图像融合时可以突破通过权重融合产生的局部对比问题，防止了融合图像的色彩偏差。
图16是根据一示例性实施例示出的一种图像融合方法的流程图，本公开实施例中，以提取第一原始图像中的高频成分融合到第二原始图像中，得到第一预处理图像，提取第二原始图像中的高频成分融合到第一原始图像中，得到第二预处理图像为例进行说明。并且，本公开实施例中，第一原始图像为当前场景在可见光环境下的图像，第二原始图像为当前场景在红外光环境下的图像。如图16所示，该图像融合方法包括如下步骤。
步骤1601：摄像设备获取第一原始图像和第二原始图像。
本步骤与步骤601相同，在此不再赘述。
步骤1602：摄像设备通过高通滤波算法提取第一原始图像中的第三高频成分和第二原始图像中的第四高频成分。
通过摄像设备提取该第一原始图像中的第三高频成分和第二原始图像中的第四高频成分的过程与步骤1402和步骤1502中，摄像设备提取该第一原始图像中的第三高频成分和第二原始图像的第四高频成分的过程相似，在此不再赘述。
步骤1603：摄像设备对第三高频成分进行加权，得到第五高频成分，对该第四高频成分进行加权，得到第六高频成分。
该过程与步骤1403和步骤1503中摄像设备对第三高频成分和第四高频成分进行加权的过程相似，在此不再赘述。
在本公开实施例中，以摄像设备以配准后的第二原始图像作为参考，将该第一原始图像的图像信息融合到该第二原始图像中，得到该第一预处理图像，以配准后的第一原始图像作为参考，将该第二原始图像的图像信息融合到该第一原始图像中，得到该第二预处理图像为例进行说明。
步骤1604：摄像设备将该第五高频成分叠加到该第二原始图像中，得到该第一预处理图像，将该第六高频成分叠加到该第一原始图像中，得到该第二预处理图像。
该过程与步骤1404和步骤1504中摄像设备得到第一预处理图像和第二预处理图像的过程相似，在此不再赘述。
步骤1605：摄像设备通过双光融合网络，将第一预处理图像和第二预处理图像整合到同一图像中，得到融合图像。
本步骤与步骤604相同，在此不再赘述。
在本公开实施例中，公开了一种摄像设备，通过采集模块对当前场景的入射光进行采集，得到当前场景下的第一原始图像和第二原始图像，通过第一图像处理模块对第一原始图像和第二原始图像进行图像信息融合，得到第一预处理图像和第二预处理图像，通过双光融合网络模块将第一预处理图像和第二预处理图像整合成为一张图像，得到融合图像。由于该摄像设备通过双光融合网络对图像进行融合时，可以将输入的两张图像整合为一张图像，将图像的色彩融合也通过双光融合网络实现，图像融合时可以突破通过权重融合产生的局部对比问题，防止了融合图像的色彩偏差。
图17是根据一示例性实施例示出的一种图像融合装置的框图。该装置用于执行上述图像融合方法时执行的步骤，参见图17，装置包括：
获取模块1701，用于获取第一原始图像和第二原始图像，该第一原始图像是一路可见光进入图像传感器时采集的图像，该第二原始图像是一路红外光进入图像传感器时采集的图像；或者，该第一原始图像是一路红外光进入图像传感器时采集的图像，该第二原始图像是一路可见光进入图像传感器时采集的图像；
预处理模块1702，用于对该第一原始图像和该第二原始图像进行预处理，得到第一预处理图像和第二预处理图像；
整合模块1703，用于通过双光融合网络，将该第一预处理图像和该第二预处理图像整合到同一图像中，得到融合图像。
在一种可能的实现方式中，该预处理模块1702，还用于根据融合权重对该第一原始图像和该第二原始图像的像素点进行预处理，得到该第一预处理图像和该第二预处理图像；或者，确定该第一原始图像和该第二原始图像中的系数最高的高频成分，根据该系数最高的高频成分对该第一原始图像和该第二原始图像进行预处理，得到该第一预处理图像和该第二预处理图像；或者，分别确定该第一原始图像和该第二原始图像的高频成分，根据该第一原始图像的高频成分和该第二原始图像的高频成分对该第一原始图像和该第二原始图像进行预处理，得到该第一预处理图像和该第二预处理图像。
在另一种可能的实现方式中，该预处理模块1702，还用于确定该第一原始图像的第一融合权重和该第二原始图像的第二融合权重；根据该第一融合权重和该第二融合权重，将该第一原始图像中的图像信息融合到该第二原始图像中，得到第一预处理图像，将该第一原始图像作为该第二预处理图像；或者，根据该第一融合权重和该第二融合权重，将该第二原始图像中的图像信息融合到该第一原始图像中，得到第二预处理图像，将该第二原始图像作为该第一预处理图像；或者，根据该第一融合权重和该第二融合权重，将该第一原始图像中的图像信息融合到该第二原始图像中，得到第一预处理图像，根据该第一融合权重和该第二融合权重，将该第二原始图像中的图像信息融合到该第一原始图像中，得到第二预处理图像。
在另一种可能的实现方式中，该预处理模块1702，还用于对该第一原始图像进行小波变换，得到该第一原始图像的第一高频成分、第一低频成分以及该第一高频成分的第一系数，以及，对该第二原始图像进行小波变换，得到该第二原始图像的第二高频成分、第二低频成分和该第二高频成分的第二系数；从该第一系数和该第二系数中选择最大系数，以及从该第一高频成分和该第二高频成分中选择该最大系数对应的高频成分；对该第二低频成分、该最大系数和选择的高频成分进行小波反变换，得到该第一预处理图像，将该第一原始图像作为该第二预处理图像；或者对该第一低频成分、该最大系数和选择的高频成分进行小波反变换，得到该第二预处理图像，将该第二原始图像作为该第一预处理图像；或者，对该第二低频成分、该最大系数和选择的高频成分进行小波反变换，得到该第一预处理图像，对该第一低频成分、该最大系数和选择的高频成分进行小波反变换，得到该第二预处理图像。
在另一种可能的实现方式中，该预处理模块1702，还用于通过高通滤波器提取该第一原始图像中的第三高频成分和第二原始图像中的第四高频成分；对该第三高频成分进行加权，得到第五高频成分，对该第四高频成分进行加权，得到第六高频成分；将该第五高频成分叠加到该第二原始图像中，得到该第一预处理图像，将该第一原始图像作为该第二预处理图像；或者，将该第六高频成分叠加到该第一原始图像中，得到该第二预处理图像，将该第二原始图像作为该第一预处理图像；或者，将该第五高频成分叠加到该第二原始图像中，得到该第一预处理图像，将该第六高频成分叠加到该第一原始图像中，得到该第二预处理图像。
在另一种可能的实现方式中，该整合模块1703，还用于通过该双光融合网络，提取该第二预处理图像中的三个通道，以及提取该第一预处理图像中的亮度通道；基于该三个通道和该亮度通道，生成第一待处理图像；基于该第一待处理图像，生成该融合图像。
在另一种可能的实现方式中，该整合模块1703，还用于通过该双光融合网络，将该第一预处理图像和该第二预处理图像分别拆分为第一多通道图像和第二多通道图像；将该第一多通道图像和该第二多通道图像进行整合，得到第一待处理图像，该第一待处理图像的通道数为该第一多通道图像的通道数和第二多通道图像的通道数之和；基于该第一待处理图像，生成该融合图像。
在另一种可能的实现方式中，该整合模块1703，还用于通过该双光融合网络，提取该第一预处理图像的特征，得到第一特征层，以及提取该第二预处理图像的特征，得到第二特征层；将该第一特征层和该第二特征层进行整合，得到第一待处理图像；基于该第一待处理图像，生成该融合图像。
在另一种可能的实现方式中，该整合模块1703，还用于通过该双光融合网络模块的多尺度结构，对该第一待处理图像的特征进行融合，得到该融合图像。
在另一种可能的实现方式中，该整合模块1703，还用于对该第一待处理图像进行第一指定步长的卷积，得到第二卷积结果，对该第二卷积结果进行归一化处理，得到第二待处理图像，该第一指定步长大于1；对该第二待处理图像进行残差运算，得到第三待处理图像；对该第三待处理图像进行第二指定步长的卷积，得到第三卷积结果，对该第三卷积结果进行归一化处理，得到第四待处理图像，该第二指定步长大于0，且小于1；对该第四待处理图像进行卷积，得到第四卷积结果，对该第四卷积结果进行归一化处理，输出该融合图像。
在另一种可能的实现方式中，该装置还包括：
配准模块，用于对该第一原始图像和该第二原始图像中的像素点进行配准；
相应的，该预处理模块1702，还用于以配准后的第二原始图像作为参考，将该第一原始图像的图像信息融合到该第二原始图像中，得到该第一预处理图像，将该第一原始图像作为第二预处理图像；或者，以配准后的第一原始图像作为参考，将该第二原始图像的图像信息融合到该第一原始图像中，得到该第二预处理图像，将该第二原始图像作为第一预处理图像；或者，以配准后的第二原始图像作为参考，将该第一原始图像的图像信息融合到该第二原始图像中，得到该第一预处理图像，以配准后的第一原始图像作为参考，将该第二原始图像的图像信息融合到该第一原始图像中，得到该第二预处理图像。
在另一种可能的实现方式中，该配准模块，还用于确定该第一原始图像对应的第一特征点集合和第一描述子集合，以及确定该第二原始图像的第二特征点集合和第二描述子集合；根据该第一描述子集合和该第二描述子集合，确定匹配度最高的第一目标描述子和第二目标描述子；确定该第一目标描述子对应的第一目标特征点和该第二目标描述子对应的第二目标特征点；根据该第一目标特征点和该第二目标特征点，确定该第一原始图像与该第二原始图像之间的变换矩阵；根据该变换矩阵，对该第一原始图像和该第二原始图像中的像素点进行配准。
在另一种可能的实现方式中，该装置还包括：
检测模块，用于检测该当前场景的亮度；
补光模块，用于当该当前场景的亮度小于预设亮度时，对该当前场景补红外光，进入红外环境；
该获取模块1701，还用于当进入红外环境时，获取第一原始图像和第二原始图像。
在另一种可能的实现方式中，该装置还包括：
后处理模块，用于对该融合图像进行后处理，该后处理包括色彩增强、亮度增强和图像锐化中的至少一项。
在另一种可能的实现方式中，该补光模块，还用于对该当前场景持续补光；
相应的，该获取模块1701，还用于当收到曝光信号时，对该当前场景进行采集，得到该当前场景对应的入射光；对该入射光进行分光处理，得到可见光和红外光；对该可见光进行曝光处理，得到该第一原始图像，以及对该红外光进行曝光处理，得到该第二原始图像；或者，对该可见光进行曝光处理，得到该第二原始图像，以及对该红外光进行曝光处理，得到该第一原始图像。
在另一种可能的实现方式中，该补光模块，还用于确定曝光时序，根据该曝光时序确定补光时序；根据该补光时序对该当前场景进行补光；
相应的，该获取模块1701，还用于根据该曝光时序和该补光时序，对该当前场景进行采集，得到该第一原始图像和该第二原始图像。
在本公开实施例中，公开了一种摄像设备，通过采集模块对当前场景的入射光进行采集，得到当前场景下的第一原始图像和第二原始图像，通过第一图像处理模块对第一原始图像和第二原始图像进行图像信息融合，得到第一预处理图像和第二预处理图像，通过双光融合网络模块将第一预处理图像和第二预处理图像整合成为一张图像，得到融合图像。由于该摄像设备通过双光融合网络对图像进行融合时，可以将输入的两张图像整合为一张图像，将图像的色彩融合也通过双光融合网络实现，图像融合时可以突破通过权重融合产生的局部对比问题，防止了融合图像的色彩偏差。
需要说明的是：上述实施例提供的图像融合装置在图像融合时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像融合装置与图像融合方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图18是根据一示例性实施例示出的一种摄像设备1800的结构框图。该摄像设备1800可以是：智能手机、平板电脑、笔记本电脑或台式电脑等具有拍摄功能的设备。摄像设备1800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，摄像设备1800包括有：处理器1801和存储器1802。
处理器1801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1801可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1801可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1801还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1801所执行以实现本申请中方法实施例提供的图像融合方法。
在一些实施例中，摄像设备1800还可选包括有：外围设备接口1803和至少一个外围设备。处理器1801、存储器1802和外围设备接口1803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1803相连。具体地，外围设备包括：射频电路1804、触摸显示屏1805、摄像头1806、音频电路1807、定位组件1808和电源1809中的至少一种。
外围设备接口1803可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1801和存储器1802。在一些实施例中，处理器1801、存储器1802和外围设备接口1803被集成在同一芯片或电路板上；在一些其他实施例中，处理器1801、存储器1802和外围设备接口1803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1804用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1804包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1804可以通过至少一种无线通信协议来与其它控制设备进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1804还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
触摸显示屏1805用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当触摸显示屏1805是触摸显示屏时，触摸显示屏1805还具有采集在触摸显示屏1805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1801进行处理。此时，触摸显示屏1805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，触摸显示屏1805可以为一个，设置摄像设备1800的前面板；在另一些实施例中，触摸显示屏1805可以为至少两个，分别设置在摄像设备1800的不同表面或呈折叠设计；在再一些实施例中，触摸显示屏1805可以是柔性显示屏，设置在摄像设备1800的弯曲表面上或折叠面上。甚至，触摸显示屏1805还可以设置成非矩形的不规则图形，也即异形屏。触摸显示屏1805可以采用LCD(Liquid CrystalDisplay，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1806用于采集图像或视频。可选地，摄像头组件1806包括前置摄像头和后置摄像头。通常，前置摄像头设置在控制设备的前面板，后置摄像头设置在控制设备的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1801进行处理，或者输入至射频电路1804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在摄像设备1800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1801或射频电路1804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1807还可以包括耳机插孔。
定位组件1808用于定位摄像设备1800的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。定位组件1808可以是基于美国的GPS(Global Positioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1809用于为摄像设备1800中的各个组件进行供电。电源1809可以是交流电、直流电、一次性电池或可充电电池。当电源1809包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，摄像设备1800还包括有一个或多个传感器1810。该一个或多个传感器1810包括但不限于：加速度传感器1811、陀螺仪传感器1812、压力传感器1813、指纹传感器1814、光学传感器1815以及接近传感器1816。
加速度传感器1811可以检测以摄像设备1800建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1811可以用于检测重力加速度在三个坐标轴上的分量。处理器1801可以根据加速度传感器1811采集的重力加速度信号，控制触摸显示屏1805以横向视图或纵向视图进行用户界面的显示。加速度传感器1811还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1812可以检测摄像设备1800的机体方向及转动角度，陀螺仪传感器1812可以与加速度传感器1811协同采集用户对摄像设备1800的3D动作。处理器1801根据陀螺仪传感器1812采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1813可以设置在摄像设备1800的侧边框和/或触摸显示屏1805的下层。当压力传感器1813设置在摄像设备1800的侧边框时，可以检测用户对摄像设备1800的握持信号，由处理器1801根据压力传感器1813采集的握持信号进行左右手识别或快捷操作。当压力传感器1813设置在触摸显示屏1805的下层时，由处理器1801根据用户对触摸显示屏1805的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1814用于采集用户的指纹，由处理器1801根据指纹传感器1814采集到的指纹识别用户的身份，或者，由指纹传感器1814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1801授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1814可以被设置摄像设备1800的正面、背面或侧面。当摄像设备1800上设置有物理按键或厂商Logo时，指纹传感器1814可以与物理按键或厂商Logo集成在一起。
光学传感器1815用于采集环境光强度。在一个实施例中，处理器1801可以根据光学传感器1815采集的环境光强度，控制触摸显示屏1805的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1805的显示亮度；当环境光强度较低时，调低触摸显示屏1805的显示亮度。在另一个实施例中，处理器1801还可以根据光学传感器1815采集的环境光强度，动态调整摄像头组件1806的拍摄参数。
接近传感器1816，也称距离传感器，通常设置在摄像设备1800的前面板。接近传感器1816用于采集用户与摄像设备1800的正面之间的距离。在一个实施例中，当接近传感器1816检测到用户与摄像设备1800的正面之间的距离逐渐变小时，由处理器1801控制触摸显示屏1805从亮屏状态切换为息屏状态；当接近传感器1816检测到用户与摄像设备1800的正面之间的距离逐渐变大时，由处理器1801控制触摸显示屏1805从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图18中示出的结构并不构成对摄像设备1800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质应用于终端，该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该指令、该程序、该代码集或该指令集由处理器加载并执行以实现上述实施例图像融合方法中摄像设备所执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中执行了详细描述，此处将不做详细阐述说明。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (20)

1.一种摄像设备，其特征在于，所述摄像设备包括：图像采集模块、第一图像处理模块和双光融合网络模块；
所述图像采集模块的输出端与所述第一图像处理模块的输入端连接，所述第一图像处理模块的输出端与所述双光融合网络模块的输入端连接；
所述图像采集模块，用于采集第一原始图像和第二原始图像，将所述第一原始图像和所述第二原始图像传输给所述第一图像处理模块；
所述第一图像处理模块包括预处理单元，所述预处理单元用于以配准后的第二原始图像作为参考，将所述第一原始图像的图像信息融合到所述第二原始图像中，得到第一预处理图像，将所述第一原始图像作为第二预处理图像，或者，以配准后的第一原始图像作为参考，将所述第二原始图像的图像信息融合到所述第一原始图像中，得到第二预处理图像，将所述第二原始图像作为第一预处理图像，或者，以配准后的第二原始图像作为参考，将所述第一原始图像的图像信息融合到所述第二原始图像中，得到第一预处理图像，以配准后的第一原始图像作为参考，将所述第二原始图像的图像信息融合到所述第一原始图像中，得到第二预处理图像，将所述第一预处理图像和所述第二预处理图像输入至所述双光融合网络模块；
所述双光融合网络模块，用于接收所述第一图像处理模块输出的所述第一预处理图像和所述第二预处理图像，对所述第一预处理图像和所述第二预处理图像进行双光融合，得到融合图像。
2.根据权利要求1所述的摄像设备，其特征在于，所述图像采集模块包括：分光单元、第一传感器和第二传感器；
所述分光单元的输出端分别与所述第一传感器和所述第二传感器的输入端连接，所述第一传感器和所述第二传感器的输出端分别与所述第一图像处理模块的输入端连接；
所述分光单元，用于采集当前场景的入射光，将采集到的入射光分为红外光和可见光两路，将分光后的一路光输入至所述第一传感器，将另一路光输入至第二传感器；
所述第一传感器，用于接收所述分光单元输出的一路光，根据所述一路光生成第一原始图像，将所述第一原始图像传输给所述第一图像处理模块；
所述第二传感器，用于接收所述分光单元输出的另一路光，根据所述另一路光生成第二原始图像，将所述第二原始图像传输给所述第一图像处理模块。
3.根据权利要求1所述的摄像设备，其特征在于，所述第一图像处理模块还包括：配准单元；
所述配准单元的输入端与所述图像采集模块的输出端连接，所述配准单元的输出端与所述预处理单元的输入端连接，所述预处理单元的输出端与所述双光融合网络模块连接；
所述配准单元，用于将所述第一原始图像和所述第二原始图像的像素点进行配准，将配准后的第一原始图像和第二原始图像传输给所述预处理单元；
所述预处理单元，还用于接收所述配准单元传输的配准后的第一原始图像和第二原始图像。
4.根据权利要求1所述的摄像设备，其特征在于，
所述第一图像处理模块，还用于根据融合权重对所述第一原始图像和所述第二原始图像的像素点进行预处理，得到所述第一预处理图像和所述第二预处理图像；或者，
所述第一图像处理模块，还用于确定所述第一原始图像和所述第二原始图像中的系数最高的高频成分，根据所述系数最高的高频成分对所述第一原始图像和所述第二原始图像进行预处理，得到所述第一预处理图像和所述第二预处理图像；或者，
所述第一图像处理模块，还用于分别确定所述第一原始图像和所述第二原始图像的高频成分，根据所述第一原始图像的高频成分和所述第二原始图像的高频成分对所述第一原始图像和所述第二原始图像进行预处理，得到所述第一预处理图像和所述第二预处理图像。
5.根据权利要求1-4任一项所述的摄像设备，其特征在于，所述双光融合网络模块包括输入层、下采样层、残差层、上采样层和输出层；
所述输入层的输出与所述下采样层的输入连接，所述下采样层的输出与所述残差层的输入连接，所述残差层的输出与所述输出层的输入连接；
所述输入层，用于接收所述第一图像处理模块输出的第一预处理图像和第二预处理图像，所述输入层，还用于通过所述双光融合网络，提取所述第二预处理图像中的三个通道，以及提取所述第一预处理图像中的亮度通道，基于所述三个通道和所述亮度通道，生成第一待处理图像，或者，通过所述双光融合网络，将所述第一预处理图像和所述第二预处理图像分别拆分为第一多通道图像和第二多通道图像，将所述第一多通道图像和所述第二多通道图像进行整合，得到第一待处理图像，所述第一待处理图像的通道数为所述第一多通道图像的通道数和第二多通道图像的通道数之和，或者，通过所述双光融合网络，提取所述第一预处理图像的特征，得到第一特征层，以及提取所述第二预处理图像的特征，得到第二特征层，将所述第一特征层和所述第二特征层进行整合，得到第一待处理图像；
所述下采样层，用于对所述第一待处理图像进行第一指定步长的卷积，得到第一卷积结果，对所述第一卷积结果进行归一化处理，得到第二待处理图像，所述第一指定步长大于1；
所述残差层，用于对所述第二待处理图像进行残差运算，得到第三待处理图像；
所述上采样层，用于对所述第三待处理图像进行第二指定步长的卷积，得到第二卷积结果，对所述第二卷积结果进行归一化处理，得到第四待处理图像，所述第二指定步长大于0，且小于1；
所述输出层，对所述第四待处理图像进行卷积，得到第三卷积结果，对所述第三卷积结果进行归一化处理，输出所述融合图像。
6.根据权利要求1所述的摄像设备，其特征在于，所述摄像设备还包括：第二图像处理模块；
所述第二图像处理模块的输入端与所述双光融合网络模块的输出端连接；
所述双光融合网络模块还用于将所述融合图像传输给所述第二图像处理模块；
所述第二图像处理模块，用于接收所述融合图像，对所述融合图像进行后处理，所述后处理包括颜色增强、亮度增强和图像锐化中的至少一项。
7.根据权利要求6所述的摄像设备，其特征在于，所述图像采集模块、所述第一图像处理模块、所示双光融合网络模块和所述第二图像处理模块位于一个处理芯片中；所述图像采集模块、所述第一图像处理模块、所述双光融合网络模块和所述第二图像处理模块之间通过数据接口进行数据传输。
8.一种图像融合方法，其特征在于，所述方法包括：
获取第一原始图像和第二原始图像，所述第一原始图像是一路可见光进入图像传感器时采集的图像，所述第二原始图像是一路红外光进入图像传感器时采集的图像；或者，所述第一原始图像是一路红外光进入图像传感器时采集的图像，所述第二原始图像是一路可见光进入图像传感器时采集的图像；
以配准后的第二原始图像作为参考，将所述第一原始图像的图像信息融合到所述第二原始图像中，得到第一预处理图像，将所述第一原始图像作为第二预处理图像，或者，以配准后的第一原始图像作为参考，将所述第二原始图像的图像信息融合到所述第一原始图像中，得到第二预处理图像，将所述第二原始图像作为第一预处理图像，或者，以配准后的第二原始图像作为参考，将所述第一原始图像的图像信息融合到所述第二原始图像中，得到第一预处理图像，以配准后的第一原始图像作为参考，将所述第二原始图像的图像信息融合到所述第一原始图像中，得到第二预处理图像；
通过双光融合网络，将所述第一预处理图像和所述第二预处理图像整合到同一图像中，得到融合图像。
9.根据权利要求8所述的方法，其特征在于，对所述第一原始图像和所述第二原始图像进行预处理，得到第一预处理图像和第二预处理图像，包括如下方式中的一种：
根据融合权重对所述第一原始图像和所述第二原始图像的像素点进行预处理，得到所述第一预处理图像和所述第二预处理图像；或者，
确定所述第一原始图像和所述第二原始图像中的系数最高的高频成分，根据所述系数最高的高频成分对所述第一原始图像和所述第二原始图像进行预处理，得到所述第一预处理图像和所述第二预处理图像；或者，
分别确定所述第一原始图像和所述第二原始图像的高频成分，根据所述第一原始图像的高频成分和所述第二原始图像的高频成分对所述第一原始图像和所述第二原始图像进行预处理，得到所述第一预处理图像和所述第二预处理图像。
10.根据权利要求8所述的方法，其特征在于，所述通过双光融合网络，将所述第一预处理图像和所述第二预处理图像整合到同一图像中，得到融合图像，包括：
通过所述双光融合网络，提取所述第二预处理图像中的三个通道，以及提取所述第一预处理图像中的亮度通道；
基于所述三个通道和所述亮度通道，生成第一待处理图像；
基于所述第一待处理图像，生成所述融合图像。
11.根据权利要求8所述的方法，其特征在于，所述通过双光融合网络，将所述第一预处理图像和所述第二预处理图像整合到同一图像中，得到融合图像，包括：
通过所述双光融合网络，将所述第一预处理图像和所述第二预处理图像分别拆分为第一多通道图像和第二多通道图像；
将所述第一多通道图像和所述第二多通道图像进行整合，得到第一待处理图像，所述第一待处理图像的通道数为所述第一多通道图像的通道数和第二多通道图像的通道数之和；
基于所述第一待处理图像，生成所述融合图像。
12.根据权利要求8所述的方法，其特征在于，所述通过双光融合网络，将所述第一预处理图像和所述第二预处理图像整合到同一图像中，得到融合图像，包括：
通过所述双光融合网络，提取所述第一预处理图像的特征，得到第一特征层，以及提取所述第二预处理图像的特征，得到第二特征层；
将所述第一特征层和所述第二特征层进行整合，得到第一待处理图像；
基于所述第一待处理图像，生成所述融合图像。
13.根据权利要求10-12任一项权利要求所述的方法，其特征在于，所述基于所述第一待处理图像，生成所述融合图像，包括：
通过所述双光融合网络模块的多尺度结构，对所述第一待处理图像的特征进行融合，得到所述融合图像。
14.根据权利要求13所述的方法，其特征在于，所述通过所述双光融合网络模块的多尺度结构，对所述第一待处理图像的特征进行融合，得到所述融合图像，包括：
对所述第一待处理图像进行第一指定步长的卷积，得到第二卷积结果，对所述第二卷积结果进行归一化处理，得到第二待处理图像，所述第一指定步长大于1；
对所述第二待处理图像进行残差运算，得到第三待处理图像；
对所述第三待处理图像进行第二指定步长的卷积，得到第三卷积结果，对所述第三卷积结果进行归一化处理，得到第四待处理图像，所述第二指定步长大于0，且小于1；
对所述第四待处理图像进行卷积，得到第四卷积结果，对所述第四卷积结果进行归一化处理，输出所述融合图像。
15.根据权利要求8所述的方法，其特征在于，对所述第一原始图像和所述第二原始图像进行预处理，得到第一预处理图像和第二预处理图像之前，所述方法还包括：
对所述第一原始图像和所述第二原始图像中的像素点进行配准。
16.根据权利要求8所述的方法，其特征在于，所述获取第一原始图像和第二原始图像之前，所述方法还包括：
检测当前场景的亮度；
当所述当前场景的亮度小于预设亮度时，对所述当前场景补红外光，进入红外环境；
当进入红外环境时，执行所述获取第一原始图像和第二原始图像的步骤。
17.根据权利要求8所述的方法，其特征在于，所述方法还包括：
对所述融合图像进行后处理，所述后处理包括色彩增强、亮度增强和图像锐化中的至少一项。
18.一种图像融合装置，其特征在于，所述装置包括：
获取模块，用于获取第一原始图像和第二原始图像，所述第一原始图像是一路可见光进入图像传感器时采集的图像，所述第二原始图像是一路红外光进入图像传感器时采集的图像；或者，所述第一原始图像是一路红外光进入图像传感器时采集的图像，所述第二原始图像是一路可见光进入图像传感器时采集的图像；
预处理模块，用于以配准后的第二原始图像作为参考，将所述第一原始图像的图像信息融合到所述第二原始图像中，得到第一预处理图像，将所述第一原始图像作为第二预处理图像，或者，以配准后的第一原始图像作为参考，将所述第二原始图像的图像信息融合到所述第一原始图像中，得到第二预处理图像，将所述第二原始图像作为第一预处理图像，或者，以配准后的第二原始图像作为参考，将所述第一原始图像的图像信息融合到所述第二原始图像中，得到第一预处理图像，以配准后的第一原始图像作为参考，将所述第二原始图像的图像信息融合到所述第一原始图像中，得到第二预处理图像；
整合模块，用于通过双光融合网络，将所述第一预处理图像和所述第二预处理图像整合到同一图像中，得到融合图像。
19.一种摄像设备，其特征在于，所述摄像设备包括：
至少一个处理器；和
至少一个存储器；
所述至少一个存储器存储有一个或多个程序，所述一个或多个程序被配置成由所述至少一个处理器执行，所述一个或多个程序包含用于进行如权利要求8-17任一项权利要求所述图像融合方法的指令。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质应用于摄像设备，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由处理器加载并执行以实现8-17任一项权利要求所述图像融合方法中的步骤。
CN201910408080.7A 2019-05-15 2019-05-15 摄像设备、图像融合方法、装置和存储介质 Active CN111951200B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910408080.7A CN111951200B (zh) 2019-05-15 2019-05-15 摄像设备、图像融合方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910408080.7A CN111951200B (zh) 2019-05-15 2019-05-15 摄像设备、图像融合方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN111951200A CN111951200A (zh) 2020-11-17
CN111951200B true CN111951200B (zh) 2023-11-14

Family

ID=73335786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910408080.7A Active CN111951200B (zh) 2019-05-15 2019-05-15 摄像设备、图像融合方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN111951200B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780392A (zh) * 2016-12-27 2017-05-31 浙江大华技术股份有限公司 一种图像融合方法及装置
CN106960428A (zh) * 2016-01-12 2017-07-18 浙江大立科技股份有限公司 可见光和红外双波段图像融合增强方法
CN107194904A (zh) * 2017-05-09 2017-09-22 西北工业大学 基于增补机制和pcnn的nsct域图像融合方法
CN108419062A (zh) * 2017-02-10 2018-08-17 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法
CN108449555A (zh) * 2018-05-04 2018-08-24 北京化工大学 图像融合方法及系统
CN108846822A (zh) * 2018-06-01 2018-11-20 桂林电子科技大学 基于混合神经网络的可见光图像和红外光图像的融合方法
CN108965654A (zh) * 2018-02-11 2018-12-07 浙江宇视科技有限公司 基于单传感器的双光谱摄像机系统和图像处理方法
CN109410252A (zh) * 2018-12-20 2019-03-01 合肥英睿系统技术有限公司 一种热像设备
CN109429001A (zh) * 2017-08-25 2019-03-05 杭州海康威视数字技术股份有限公司 图像采集方法、装置、电子设备以及计算机可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960428A (zh) * 2016-01-12 2017-07-18 浙江大立科技股份有限公司 可见光和红外双波段图像融合增强方法
CN106780392A (zh) * 2016-12-27 2017-05-31 浙江大华技术股份有限公司 一种图像融合方法及装置
CN108419062A (zh) * 2017-02-10 2018-08-17 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法
CN107194904A (zh) * 2017-05-09 2017-09-22 西北工业大学 基于增补机制和pcnn的nsct域图像融合方法
CN109429001A (zh) * 2017-08-25 2019-03-05 杭州海康威视数字技术股份有限公司 图像采集方法、装置、电子设备以及计算机可读存储介质
CN108965654A (zh) * 2018-02-11 2018-12-07 浙江宇视科技有限公司 基于单传感器的双光谱摄像机系统和图像处理方法
CN108449555A (zh) * 2018-05-04 2018-08-24 北京化工大学 图像融合方法及系统
CN108846822A (zh) * 2018-06-01 2018-11-20 桂林电子科技大学 基于混合神经网络的可见光图像和红外光图像的融合方法
CN109410252A (zh) * 2018-12-20 2019-03-01 合肥英睿系统技术有限公司 一种热像设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Infrared and Visible Image Fusion using a Deep Learning Framework;Hui Li et al.;2018 24th International Conference on Pattern Recognition (ICPR);第1-6页 *
多源图像的融合方法研究;余大彦;《中国优秀硕士学位论文全文数据库 信息科技辑》(第2018年08期);全文 *

Also Published As

Publication number Publication date
CN111951200A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN109034102B (zh) 人脸活体检测方法、装置、设备及存储介质
CN108594997B (zh) 手势骨架构建方法、装置、设备及存储介质
CN109410220B (zh) 图像分割方法、装置、计算机设备及存储介质
CN111079576B (zh) 活体检测方法、装置、设备及存储介质
CN109829456B (zh) 图像识别方法、装置及终端
CN108305236B (zh) 图像增强处理方法及装置
CN107945163B (zh) 图像增强方法及装置
CN113205568B (zh) 图像处理方法、装置、电子设备及存储介质
CN110059652B (zh) 人脸图像处理方法、装置及存储介质
CN110110787A (zh) 目标的位置获取方法、装置、计算机设备及存储介质
CN112633306B (zh) 对抗图像的生成方法及装置
CN112712470B (zh) 一种图像增强方法及装置
CN110807361A (zh) 人体识别方法、装置、计算机设备及存储介质
CN111461097A (zh) 识别图像信息的方法、装置、电子设备及介质
CN110991457B (zh) 二维码处理方法、装置、电子设备及存储介质
CN110570460A (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN112884666B (zh) 图像处理方法、装置及计算机存储介质
CN112749613A (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN111062248A (zh) 图像检测的方法、装置、电子设备及介质
CN111428551B (zh) 密度检测方法、密度检测模型训练方法和装置
CN112116530B (zh) 鱼眼图像畸变矫正方法、装置和虚拟显示系统
CN110163192B (zh) 字符识别方法、装置及可读介质
CN111951200B (zh) 摄像设备、图像融合方法、装置和存储介质
CN114390195B (zh) 一种自动对焦的方法、装置、设备及存储介质
CN112243117A (zh) 图像处理装置、方法及摄像机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant