CN112257664A - 图像融合方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种图像融合方法、装置、计算机设备和存储介质。所述方法通过将待融合的可见光图像和待融合的近红外图像进行立体匹配，得到深度图像，并根据深度图像确定可见光图像是否满足预设条件，在可见光图像满足预设条件的情况下，根据所述深度图像，对近红外图像进行弱化处理，得到弱化后的近红外图像，并将可见光图像和弱化后的近红外图像进行融合，得到融合图像，其中，预设条件表征可见光图像属于近距离拍摄图像和/或包含目标主体。上述方法在可见光图像属于近距离图像或包含目标主体时，对近红外图像进行弱化处理，以弱化近红外图像的透视效果。因此本申请提出的图像融合方法可以避免融合图像存在的透视问题。

Description

图像融合方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像融合方法、装置、计算机设备和存储介质。

背景技术

随着相机、iPad、手机等具有摄像功能设备的普及应用，用户对于拍摄图像的质量要求越来越高。

为了提高拍摄图像的质量，目前出现了将多种不同类型的拍摄图像进行融合，以提高拍摄图像质量的方法。例如，业界提出了可以充分利用可见光图像亮度高和近红外图像包含更多细节信息的特点，同时使用可见光图像采集装置拍摄得到的RGB图像和近红外图像采集装置拍摄得到的NIR图像进行融合，能够得到拍摄质量较好的融合图像。

但是，由于近红外光具有穿透力强的特点，导致融合图像存在极大的透视风险。

发明内容

基于此，有必要针对上述技术问题，提供一种能够降低透视风险的图像融合方法、装置、计算机设备和存储介质。

第一方面，一种图像融合方法，所述方法包括：

将待融合的可见光图像和待融合的近红外图像进行立体匹配，得到深度图像；

根据所述深度图像确定所述可见光图像是否满足预设条件；所述预设条件表征所述可见光图像属于近距离拍摄图像和/或包含目标主体；

若满足，则根据所述深度图像，对所述近红外图像进行弱化处理，得到弱化后的近红外图像，并将所述可见光图像和所述弱化后的近红外图像进行融合，得到融合图像。

第二方面，一种图像融合装置，所述装置包括：

匹配模块，用于将待融合的可见光图像和待融合的近红外图像进行立体匹配，得到深度图像；

确定模块，用于根据所述深度图像确定所述可见光图像是否满足预设条件；所述预设条件表征所述可见光图像属于近距离拍摄图像和/或包含目标主体；

第一融合模块，用于在所述可见光图像满足预设条件的情况下，根据所述深度图像，对所述近红外图像进行弱化处理，得到弱化后的近红外图像，并将所述可见光图像和所述弱化后的近红外图像进行融合，得到融合图像。

第三方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

将待融合的可见光图像和待融合的近红外图像进行立体匹配，得到深度图像；

根据所述深度图像确定所述可见光图像是否满足预设条件；所述预设条件表征所述可见光图像属于近距离拍摄图像和/或包含目标主体；

若满足，则根据所述深度图像，对所述近红外图像进行弱化处理，得到弱化后的近红外图像，并将所述可见光图像和所述弱化后的近红外图像进行融合，得到融合图像。

第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

将待融合的可见光图像和待融合的近红外图像进行立体匹配，得到深度图像；

根据所述深度图像确定所述可见光图像是否满足预设条件；所述预设条件表征所述可见光图像属于近距离拍摄图像和/或包含目标主体；

若满足，则根据所述深度图像，对所述近红外图像进行弱化处理，得到弱化后的近红外图像，并将所述可见光图像和所述弱化后的近红外图像进行融合，得到融合图像。

上述图像融合方法、装置、计算机设备和存储介质，通过将待融合的可见光图像和待融合的近红外图像进行立体匹配，得到深度图像，并根据深度图像确定可见光图像是否满足预设条件，在可见光图像满足预设条件的情况下，根据深度图像，对近红外图像进行弱化处理，得到弱化后的近红外图像，并将可见光图像和弱化后的近红外图像进行融合，得到融合图像，其中，预设条件表征可见光图像属于近距离拍摄图像和/或包含目标主体。上述方法在可见光图像属于近距离图像或包含目标主体的情况下，对近红外图像进行弱化处理，以弱化近红外图像的透视效果，再基于弱化后的近红外图像和可见光图像进行融合，得到融合图像，相比于直接融合近红外图像和可见光图像的方法，本申请提出的图像融合方法极大的降低了融合图像的透视风险。

附图说明

图1为一个实施例中计算机设备的内部结构图；

图2为一个实施例中图像融合方法的流程示意图；

图3为图2实施例中S102的一种实现方式的流程示意图；

图4为图3实施例中S201的一种实现方式的流程示意图；

图5为图3实施例中S201的另一种实现方式的流程示意图；

图6为图5实施例中S403的一种实现方式的流程示意图；

图7为图2实施例中S102的另一种实现方式的流程示意图；

图8为图2实施例中S103的一种实现方式的流程示意图；

图9为图2实施例中S101的一种实现方式的流程示意图；

图10为一个实施例中图像融合方法的流程示意图；

图11为图2实施例中S103的一种实现方式的流程示意图；

图12为一个实施例中图像融合方法的流程示意图；

图13为一个实施例中图像融合装置的结构框图；

图14为一个实施例中图像融合装置的结构框图；

图15为一个实施例中图像融合装置的结构框图；

图16为一个实施例中图像融合装置的结构框图；

图17为一个实施例中图像融合装置的结构框图；

图18为一个实施例中图像融合装置的结构框图；

图19为一个实施例中图像融合装置的结构框图；

图20为一个实施例中图像融合装置的结构框图；

图21为一个实施例中图像融合装置的结构框图；

图22为一个实施例中图像融合装置的结构框图；

图23为一个实施例中图像融合装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的图像融合方法，可以应用于如图1所示的计算机设备中，该计算机设备可以是服务器，该计算机设备也可以是终端，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像融合方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，如图2所示，提供了一种图像融合方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：

S101，将待融合的可见光图像和待融合的近红外图像进行立体匹配，得到深度图像。

其中，可见光图像也称RGB图像，近红外图像也称(Near Infrared)NIR图像。本实施例中，可见光图像的采集设备和近红外图像的采集设备可以同时拍摄同一目标物体，并将拍摄后得到的可见光图像和近红外图像分别传输至计算机设备。当计算机设备获取到可见光图像和近红外图像时，可以进一步的采用相应的立体匹配算法对可见光图像和近红外图像进行立体匹配，得到深度图像。

S102，根据深度图像确定可见光图像是否满足预设条件；预设条件表征可见光图像属于近距离拍摄图像和/或包含目标主体。

其中，近距离拍摄图像是指拍摄对象与采集图像的设备之间的距离在预设范围内，而预设范围由计算机设备预先设定，即由计算机设备预先定义距离范围内的图像属于近距离拍摄图像，距离范围外的图像不属于近距离拍摄图像。目标主体可以是人物、动物等具有生命体征的主体对象，也可以是其他不需要透视效果的主体，本实施例并不以此为限。

本实施例中，当计算机设备基于前述步骤得到深度图像时，可以对该深度图像进行分析，并通过该深度图像确定可见光图像是否属于近距离拍摄图像，或者，确定可见光图像是否包含目标主体，或者，确定可见光图像是否同时属于近距离拍摄图像和包含目标主体。需要说明的是，若可见光图像为近距离拍摄图像，则说明该图像可能存在透视风险，若可见光图像包含目标主体，则说明该图像也可能存在透视风险。

S103，若满足，则根据深度图像，对近红外图像进行弱化处理，得到弱化后的近红外图像，并将可见光图像和弱化后的近红外图像进行融合，得到融合图像。

在实际应用中，由于近红外图像具有透视强的特点，如果将近红外图像和可见光图像进行融合时会给融合后的图像带来一定透视风险，特别是当可见光图像属于近距离拍摄图像或包括目标主体时，会给融合后的图像带来更大的透视风险。基于此，本实施例中，当计算机设备确定可见光图像满足预设条件后，即说明可见光图像和近红外图像进行融合后可能存在极大的透视风险，此时，计算机设备可以根据深度图像对近红外图像进行弱化处理，以弱化近红外图像的透视效果，或者弱化近红外图像在后期融合时的融合力度，来降低融合后近红外图像带来的透视风险，再采用相应的图像融合方法，将弱化后的近红外图像和可见光图像进行融合，得到融合图像。具体融合方法可以采用拉普拉斯融合方法、基于机器学习的融合方法等，此处不做限定。

上述实施例所述的图像融合方法，通过将待融合的可见光图像和待融合的近红外图像进行立体匹配，得到深度图像，并根据深度图像确定可见光图像是否满足预设条件，在可见光图像满足预设条件的情况下，根据所述深度图像，对近红外图像进行弱化处理，得到弱化后的近红外图像，并将可见光图像和弱化后的近红外图像进行融合，得到融合图像。上述方法在可见光图像属于近距离图像或包含目标主体的情况下，对近红外图像进行弱化处理，以弱化近红外图像的透视效果，再基于弱化后的近红外图像和可见光图像进行融合，得到融合图像，相比于直接融合近红外图像和可见光图像的方法，本申请提出的图像融合方法极大的降低了融合图像的透视风险。

在实际应用中，还存在一种应用场景，即，当深度图像确定可见光图像不满足预设条件时，说明可见光图像属于远距离拍摄图像，或者可见光图像中未包含目标主体，也说明此场景下可见光图像和近红外图像进行融合后的图像存在透视风险的可能性很小。因此，在此应用场景下，计算机设备可以直接采用相应的图像融合方法，对可见光图像和近红外图像进行融合，不需要对近红外图像进行弱化处理。

在一个实施例中，在预设条件表征可见光图像属于近距离拍摄图像的情况下，本申请提供了上述S102的一种具体实现方式，如图3所示，上述S102中的“根据深度图像确定可见光图像是否满足预设条件”，包括：

S201，提取深度图像的第一距离值；第一距离值表示被拍摄对象与可见光图像的采集设备之间的距离；若第一距离值小于预设距离值，则执行步骤S202，若第一距离值不小于预设距离值，则执行步骤S203。

其中，预设距离值由计算机设备预先根据实际应用需求确定。当深度图像的第一距离值小于预设距离值时，说明与该深度图像对应的可见光图像属于近距离拍摄图像；当深度图像的第一距离值不小于预设距离值，说明与该深度图像对应的可见光图像不属于近距离拍摄图像。本实施例中，当计算机设备获取到深度图像时，可以进一步的根据深度图像上各像素点的深度值计算得到第一距离值，以便之后根据第一距离值判断与深度图像对应的可见光图像是否属于近距离拍摄图像。

S202，确定可见光图像满足预设条件。

本实施例涉及计算机设备确定可见光图像属于近距离拍摄图像的场景，在此场景下，计算机设备则直接确定可见光图像满足预设条件，也即，当第一距离值小于预设距离值时，说明被拍摄对象与可见光图像的采集设备之间的距离很近，属于近距离拍摄。

S203，确定可见光图像不满足预设条件。

本实施例涉及计算机设备确定可见光图像不属于近距离拍摄图像的场景，在此场景下，计算机设备则直接确定可见光图像不满足预设条件，也即，当第一距离值大于或等于预设距离值时，说明被拍摄对象与可见光图像的采集设备之间的距离很远，属于远距离拍摄。

上述实施例中，由于深度图像可以反映被拍摄对象与可见光图像的采集设备之间的距离，因此本方法提供了一种使用深度图像确定近距离拍摄图像的方式，该方法仅需要预先对可见光图像和近红外图像进行立体匹配，得到深度图像，即可确定出可见光图像是否属于近距离拍摄图像，所以该方法简单实用，可以提高图像的融合速度。

可选的，上述步骤S201“提取深度图像的第一距离值”，如图4所示，具体包括：

S301，提取深度图像中每个像素点的深度值。

其中，深度图像中像素点的深度值表示该像素点对应被拍摄位置与采集设备之间的距离，深度值越大说明像素点对应被拍摄位置与采集设备之间的距离越远，深度值越小说明像素点对应被拍摄位置与采集设备之间的距离越近。

本实施例中，当计算机设备获取到深度图像时，可以进一步的提取深度图像中每个像素点的深度值，以便之后根据每个像素点的深度值确定该深度图像对应的可见光图像是否属于近距离拍摄图像。

S302，根据每个像素点的深度值，获取深度图像中像素点的平均深度值。

当计算机设备提取到深度图像中每个像素点的深度值时，可以进一步的计算这些深度值的平均值，得到深度图像中像素点的平均深度值，以便之后根据平均深度值确定该深度图像对应的可见光图像是否属于近距离拍摄图像。

S303，将平均深度值确定为深度图像的第一距离值。

当计算机设备得到平均深度值时，相当于得到了被拍摄设备与采集设备之间的距离，即第一距离值，之后计算机设备便可基于该第一距离值确定可见光图像是否属于近距离拍摄图像。本实施例中，由于深度图像上每个像素点的深度值可以反映每个像素点对应拍摄位置与采集设备之间的距离，且每个像素点的深度值是不同的，因此，平均深度值可以反映可见光图像中包含的每个物体对象与采集设备之间的距离，而不仅是反映采集设备聚焦拍摄的目标物体与采集设备之间的距离，因此，上述方法通过计算深度图像的平均深度值判断可见光图像是否属于近距离拍摄图像，可以提高判断的准确性，方便后期可以准确的对近红外图像进行弱化处理。

上述图3-图4实施例是确定可见光图像是否满足预设条件的一种实现方式，本申请还提供了确定可见光图像是否满足预设条件的另一种实现方式，如图5所示，该方式包括：

S401，提取深度图像的第二距离值。

其中，第二距离值表示被拍摄对象与可见光图像的采集设备之间的距离。本实施例中，当计算机设备获取到深度图像时，可以进一步的根据深度图像上各像素点的深度值计算得到第二距离值，以便之后根据第二距离值判断与深度图像对应的可见光图像是否属于近距离拍摄图像。需要说明的是，第二距离值与前述图3实施例中的第一距离值表达的意义相同，获取方法也一致，详细内容请参见前述说明，此处不赘述。

S402，获取可见光图像的采集设备的聚焦参数，并根据聚焦参数确定可见光图像的第三距离值。

在实际应用中，计算机设备可以通过分析采集设备的聚焦参数，确定可见光图像与采集设备之间的距离，因此，本实施例中，计算机设备可以先从可见光图像的采集设备上读取聚焦参数，再进一步的对聚焦参数进行分析，得到可见光图像与采集设备之间的距离，即第三距离值。

S403，根据第二距离值和第三距离值，确定可见光图像是否满足预设条件。

当计算机设备基于S401和S402的步骤得到第二距离值和第三距离值时，可以判断第二距离值是否属于近距离范围，以及第三距离值是否属于近距离范围，当第二距离值和第三距离值都属于近距离范围时，说明可见光图像是在距离采集设备很近的情况下拍摄的，此时，计算机设备即可确定可见光图像满足预设条件。

可选的，基于上述实施例所述的方法，上述步骤S403“根据第二距离值和第三距离值，确定可见光图像是否满足预设条件”，如图6所示，包括：

S501，若第二距离值小于预设距离值，则执行步骤S502，若第二距离值不小于预设距离值，则执行步骤S503。

本实施例中，计算机设备先根据第二距离值判断可见光图像与采集设备之间的距离，即当第二距离值小于预设距离阈值时，可以初步判断出可见光图像是在距离采集设备比较近的情况下进行拍摄的；而第二距离值不小于预设距离阈值时，说明可见光图像是在距离采集设备比较远的情况下进行拍摄的。

S502，确定第三距离值是否小于预设距离值，若第三距离值小于预设距离值，则执行步骤S504，若第三距离值不小于预设距离值，则执行步骤S503。

在实际应用中，为了提高确定可见光图像是否属于近距离拍摄图像的准确性，本实施例在计算机设备确定第二距离值小于预设距离值的情况下，进一步的确定第三距离值是否小于预设距离值，若第三距离值也小于预设距离值，即可说明可见光图像属于近距离拍摄图像的可能性比较大；若第三距离值不小于预设距离值，说明可见光图像属于近距离拍摄图像的可能性比较小。

S503，确定可见光图像不满足预设条件。

本实施例涉及计算机设备确定可见光图像不属于近距离拍摄图像的场景，在此场景下，计算机设备则确定可见光图像不满足预设条件。

S504，确定可见光图像满足预设条件。

本实施例涉及计算机设备确定可见光图像属于近距离拍摄图像的场景，在此场景下，计算机设备则确定可见光图像满足预设条件。

上述实施例中，由于深度图像可以反映被拍摄对象与可见光图像的采集设备之间的距离，采集设备的聚焦参数可以反映聚焦的被拍摄对象与可见光图像的采集设备之间的距离，因此本方法提供了一种同时使用深度图像和聚焦参数确定近距离拍摄图像的方式，可以准确的确定可见光图像是否属于近距离拍摄图像，进而后期可以有效的降低融合图像的透视风险。

在一个实施例中，在预设条件表征可见光图像包含目标主体的情况下，本申请提供了上述S102的一种具体实现方式，如图7所示，上述S102中的“根据深度图像确定可见光图像是否满足预设条件”，包括：

S601，对深度图像进行图像识别，得到可见光图像中各拍摄主体的类型，若拍摄主体的类型与目标主体的类型一致，则执行步骤S602，若拍摄主体的类型与目标主体的类型不一致，则执行步骤S603。

其中，拍摄主体可以是诸如人物、动物、山体、建筑物等各种类型的拍摄主体。目标主体可以由计算机设备预先根据识别需求确定，在实际应用中，由于不希望包含人物、动物等具有生命体征类型的拍摄主体的图像具有透视效果，因此，目标主体为人物、动物等具有生命体征类型的拍摄主体。

本实施例中，当计算机设备获取到深度图像时，可以采用相应的图像识别方法或分类方法识别深度图像中包含的拍摄主体的类型。由于深度图像是由可见光图像和近红外图像进行立体匹配后得到的图像，因此深度图像中包含的拍摄主体与可见光图像中包含的拍摄主体是相同的，因此在计算机设备识别出深度图像中包含的拍摄主体的类型时，相当于计算机设备识别出可见光图像中包含的拍摄主体的类型。

当计算机设备识别出可见光图像中各拍摄主体的类型时，可以进一步的确定拍摄主体的类型与目标主体的类型是否一致，若拍摄主体的类型与目标主体的类型一致，则说明可见光图像中包含人物或动物等具有生命特征的拍摄主体；若拍摄主体的类型与目标主体的类型不一致，则说明可见光图像中未包含人物或动物等具有生命特征的拍摄主体。

S602，确定可见光图像满足预设条件。

本实施例涉及计算机设备确定可见光图像包含目标主体的场景，在此场景下，计算机设备则确定可见光图像满足预设条件。

S603，确定可见光图像不满足预设条件。

本实施例涉及计算机设备确定可见光图像未包含目标主体的场景，在此场景下，计算机设备则确定可见光图像不满足预设条件。

上述方法中，由于目标主体为人物、动物等具有生命体征的拍摄主体，因此上述确定可见光图像中是否包含目标主体的步骤，相当于确定可见光图像中是否包含人物、动物等。因为在实际应用中对于包含人物、动物等具有生命体征的拍摄主体的图像，透视效果越小越好，因此本实施例将包含人物、动物等具有生命体征的拍摄主体的图像作为预设条件，可以方便后期针对性的对这类图像进行透视效果弱化的处理。

在一个实施例中，提供了图2实施例中S103的一种实现方式，如图8所示，上述S103中的“根据深度图像，对近红外图像进行弱化处理，得到弱化后的近红外图像”包括：

S701，根据深度图像中各像素点的深度值确定各像素点的权重，得到权重分布图。

本实施例中，当计算机设备获取到深度图像后，即可根据各像素点的深度值设定各像素点的权重，具体的，若像素点的深度值越大，设置对应的像素点的权重越大，表示该像素点对应被拍摄位置与采集设备之间的距离越远；若像素点的深度值越小，设置对应的像素点的权重越小，表示该像素点对应被拍摄位置与采集设备之间的距离越近。在计算机设备确定了深度图像上各像素点的权重后，即可得到一个Map图，即权重分布图。

S702，将近红外图像进行频域空间转换，得到频域图像。

其中，频域图像由于包含原始图像中更多的高频信息，故也称细节图像。本实施例中，当计算机设备获取到近红外图像时，可以将近红外图像进行频域空间转换，提取近红外图像中的细节信息得到频域图像。

S703，根据权重分布图对频域图像中各像素点的像素值进行弱化处理，得到弱化后的近红外图像。

本实施例中，当计算机设备获取到权重分布图和频域图像时，可以进一步的根据权重分布图上各像素点对应的权重，对频域图像中各像素点的灰度值进行弱化处理，得到弱化后的近红外图像。可选的，上述在弱化处理过程中，计算机设备可以直接将权重分布图上各像素点的权重与频域图像上各像素点的灰度值进行乘积运算，运算后得到的图像即为弱化后的近红外图像。显然，像素点的权重越小，对应近红外图像中弱化后的像素点的灰度值越小，说明该像素点上的弱化力度越强，有效实现了对近距离被拍摄位置上像素点的灰度值(相当于细节信息)的弱化处理。上述方法提供了一种依据权重分布图弱化近红外图像上细节信息的方法，从而减少具透视特点的近红外图像在后期与可见光图像融合中的融合力度，进而降低融合图像的透视风险。

在实际应用中，当计算机设备对可见光图像和近红外图像进行立体匹配前，计算机设备还需要获取可见光图像的采集设备和近红外图像的采集设备的标定参数，以便之后利用该标定参数实现对可见光图像和近红外图像的立体匹配，以及将可见光图像和近红外图像进行对齐时使用。因此，在一个实施例中，本申请还提供了一种基于标定参数的立体匹配方法，如图9所示，上述S101“将待融合的可见光图像和待融合的近红外图像进行立体匹配，得到深度图像”，包括：

S801，采用预设的立体匹配算法，根据标定参数对可见光图像和近红外图像进行立体匹配，得到视差图。

其中，标定参数包括：畸变系数、内参和外参。计算机设备在求取畸变系数时，可以先假定理想情况下可见光图像的像素点坐标，然后根据采集设备拍摄的位置，计算得到真实的像素点坐标，根据真实的像素点坐标与理想像素点坐标的对应关系用泰勒级数展开就可以求出对应的畸变系数。计算机设备在求取内参和外参时，可以先找到可见光图像物理坐标系和图像像素坐标系的转换关系作为关系1，再找到采集设备坐标系和图像物理坐标系的转换关系作为关系2，然后再找到世界坐标系和采集设备坐标系的转换关系作为关系3，在世界坐标系中找到空间点投影到像素点的关系作为关系4。根据上述四个关系即可求出采集设备的内参和外参，具体实现方式可参考张氏标定法，该标定方法属于现有技术，此处不做详细介绍。

本实施例中，当计算机设备获取到可见光图像的采集设备和近红外图像的采集设备的标定参数后，即可采用预设的立体匹配算法，根据标定参数对可见光图像和近红外图像进行立体匹配，得到视差图。

S802，将视差图转换成深度图。

当计算机设备得到视差图后，即可采用相应的图像转换方法，将视差图转换成深度图，以便之后使用。上述方法提供了一种通过立体匹配的方法获取可见光图像对应深度图像的方法，由于立体匹配算法比较成熟，所以该方法简单实用。

相应的，当计算机设备执行图2实施例中S103中的“将可见光图像和弱化后的近红外图像进行融合”步骤之前，计算机设备还需要对齐可见光图像和弱化后的近红外图像，在此基础上，本申请还提供了一种基于标定参数对可见光图像和弱化后的近红外图像进行对齐的方法，如图10所示，该方法包括：

S901，根据标定参数，将可见光图像和弱化后的近红外图像转换至同一平面内。

本实施例中，当计算机设备获取到可见光图像和弱化后的近红外图像时，可以通过左右平移、上下平移、旋转等操作将可见光图像和弱化后的近红外图像转换至同一平面内，以便之后能够准确的融合可见光图像和弱化后的近红外图像。

S902，根据特征点匹配方式，将同一平面内的可见光图像和弱化后的近红外图像进行对齐，得到对齐后的可见光图像和对齐后的近红外图像。

本实施例中，当计算机设备将可见光图像和弱化后的近红外图像转换至同一平面内时，可以进一步的采用特征点匹配方式，对齐可见光图像和弱化后的近红外图像，以便之后能够准确的融合可见光图像和弱化后的近红外图像，可以避免融合图像时产生重影的现象。

在实际应用中，当计算机设备基于上述步骤对齐可见光图像和弱化后的近红外图像后，即可将对齐后的可见光图像和对齐后的近红外图像进行融合，得到融合图像。

在一个实施例中，本申请提供了一种融合图像的具体实现方式，即，上述S103中的“将可见光图像和弱化后的近红外图像进行融合，得到融合图像”，如图11所示，包括：

S1001，对可见光图像进行下采样和卷积操作，得到可见光图像的拉普拉斯金字塔图像。

本实施例中，当计算机设备获取到可见光图像时，计算机设备可以先将该可见光图像作为0层图像，再对可见光图像进行预设分辨率的下采样，得到1层下采样图像，再针对该1层下采样图像进行卷积操作，得到1层卷积图像，然后再使用0层图像减去1层卷积图像，得到变换后的1层图像；采用相同的方法，计算机设备对上述1层下采样图像进行预设分辨率的下采样，得到2层下采样图像，再针对该2层下采样图像进行卷积操作，得到2层卷积图像，然后再使用1层下采样图像减去1层卷积图像，得到变换后的2层图像；采用相同的方法，还可以对再对2层下采样图像进行类似操作。最后，由0层图像、变换后的1层图像、变换后的2层图像…组成的图像即为可见光图像的拉普拉斯金字塔图像。

S1002，对弱化后的近红外图像进行下采样和卷积操作，得到近红外图像的拉普拉斯金字塔图像。

本实施例涉及得到近红外图像的拉普拉斯金字塔图像的方法，该方法可以参考上述求取可见光图像的拉普拉斯金字塔图像的方法，具体方法可参见前述S1001的说明，此处不赘述。

S1003，将可见光图像的拉普拉斯金字塔图像和近红外图像的拉普拉斯金字塔图像进行融合，得到融合图像。

本实施例中，当计算机设备获取到可见光图像的拉普拉斯金字塔图像和近红外图像的拉普拉斯金字塔图像时，即可将可见光图像的拉普拉斯金字塔图像中的每一层图像与近红外图像的拉普拉斯金字塔图像中的每一层图像进行融合，得到融合后的拉普拉斯金字塔图像，然后将融合后的拉普拉斯金字塔图像中的各层融合图像从顶层到底层的顺序进行融合，最后得到融合图像。上述实施例所述的拉普拉斯金字塔图像融合方法，可以消除因可见光图像和近红外图像没有对齐而产生的重影问题。

综合上述所有实施例，本申请还提供了一种图像融合的方法，如图12所示，该方法包括：

S2001，获取待融合的可见光图像和待融合的近红外图像。

S2002，获取可见光图像的采集设备和近红外图像的采集设备的标定参数。

S2003，采用预设的立体匹配算法，根据标定参数对可见光图像和近红外图像进行立体匹配，得到视差图，将视差图转换成深度图。

S2004，根据深度图像确定可见光图像是否满足预设条件，若可见光图像满足预设条件，则执行步骤S2005-S2009，若可见光图像不满足预设条件，则执行步骤S2010-S2011。

S2005，根据深度图像中各像素点的深度值确定各像素点的权重，得到权重分布图。

S2006，将近红外图像进行频域空间转换，得到频域图像。

S2007，根据权重分布图对频域图像中各像素点的像素值进行弱化处理，得到弱化后的近红外图像。

S2008，根据标定参数，将可见光图像和弱化后的近红外图像对齐，得到对齐后的可见光图像和对齐后的近红外图像。

S2009，将对齐后的可见光图像和对齐后的近红外图像进行融合，得到融合图像。

S2010，根据标定参数，将可见光图像和近红外图像对齐，得到对齐后的可见光图像和对齐后的近红外图像。

S2011，将对齐后的可见光图像和对齐后的近红外图像进行融合，得到融合图像。

上述方法中各步骤的说明与上述实施例中各步骤的说明一致，详细内容请参见前述说明，此处不赘述。

应该理解的是，虽然图2-12的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-12中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图13所示，提供了一种图像融合装置，包括：匹配模块11、确定模块12和第一融合模块13，其中：

匹配模块11，用于将待融合的可见光图像和待融合的近红外图像进行立体匹配，得到深度图像；

确定模块12，用于根据所述深度图像确定所述可见光图像是否满足预设条件；所述预设条件表征所述可见光图像属于近距离拍摄图像和/或包含目标主体；

第一融合模块13，用于在所述可见光图像满足预设条件的情况下，根据所述深度图像，对所述近红外图像进行弱化处理，得到弱化后的近红外图像，并将所述可见光图像和所述弱化后的近红外图像进行融合，得到融合图像。

在一个实施例中，如图14所示，上述确定模块12，包括：

第一提取单元121，用于在预设条件表征所述可见光图像属于近距离拍摄图像的情况下，提取所述深度图像的第一距离值；所述第一距离值表示被拍摄对象与所述可见光图像的采集设备之间的距离；

第一确定单元122，用于在所述第一距离值小于预设距离值的情况下，确定所述可见光图像满足所述预设条件；

第二确定单元123，用于在所述第一距离值不小于所述预设距离值的情况下，确定所述可见光图像不满足所述预设条件。

在一个实施例中，如图15所示，上述第一提取单元121，包括：

提取子单元1211，用于提取所述深度图像中每个像素点的深度值；

获取子单元1212，用于根据所述每个像素点的深度值，获取所述深度图像中像素点的平均深度值；

确定子单元1213，用于将所述平均深度值确定为所述深度图像的第一距离值。

在一个实施例中，如图16所示，上述确定模块12，包括：

第二提取单元124，用于提取所述深度图像的第二距离值；

第三确定单元125，用于获取所述可见光图像的采集设备的聚焦参数，并根据所述聚焦参数确定所述可见光图像的第三距离值；

第四确定单元126，用于根据所述第二距离值和所述第三距离值，确定所述可见光图像是否满足预设条件。

在一个实施例中，上述第四确定单元126具体用于在所述第二距离值小于预设距离值的情况下，确定所述第三距离值是否小于所述预设距离值；若所述第三距离值小于所述预设距离值，则确定所述可见光图像满足预设条件；若所述第三距离值不小于所述预设距离值，则确定所述可见光图像不满足预设条件；在所述第二距离值不小于预设距离值的情况下，确定所述可见光图像不满足预设条件。

在一个实施例中，如图17所示，上述确定模块12，包括：

识别单元127，用于在所述预设条件表征所述可见光图像包含目标主体的情况下，对所述深度图像进行图像识别，得到所述可见光图像中各拍摄主体的类型；

第五确定单元128，用于在所述拍摄主体的类型与所述目标主体的类型一致的情况下，确定所述可见光图像满足所述预设条件；

第六确定单元129，用于在所述拍摄主体的类型与所述目标主体的类型不一致的情况下，确定所述可见光图像不满足所述预设条件。

在一个实施例中，如图18所示，上述第一融合模块13，包括：

第七确定单元131，用于根据所述深度图像中各像素点的深度值确定各所述像素点的权重，得到权重分布图；

空间转换单元132，用于将所述近红外图像进行频域空间转换，得到频域图像；

弱化处理单元133，用于根据所述权重分布图对所述频域图像中各像素点的像素值进行弱化处理，得到所述弱化后的近红外图像。

在一个实施例中，如图19所示，上述装置还包括，包括：

标定模块14，用于获取所述可见光图像的采集设备和所述近红外图像的采集设备的标定参数；

上述匹配模块11具体用于采用预设的立体匹配算法，根据所述标定参数对所述可见光图像和所述近红外图像进行立体匹配，得到视差图；将所述视差图转换成所述深度图。

在一个实施例中，如图20所示，上述装置还包括，包括：

对齐模块15，用于根据所述标定参数，将所述可见光图像和所述弱化后的近红外图像对齐，得到对齐后的可见光图像和对齐后的近红外图像；

上述融合模块13具体用于将所述对齐后的可见光图像和所述对齐后的近红外图像进行融合，得到融合图像。

在一个实施例中，如图21所示，上述对齐模块15，包括：

转换单元151，用于根据所述标定参数，将所述可见光图像和所述弱化后的近红外图像转换至同一平面内；

对齐单元152，用于根据特征点匹配方式，将所述同一平面内的可见光图像和弱化后的近红外图像进行对齐，得到所述对齐后的可见光图像和所述对齐后的近红外图像。

在一个实施例中，如图22所示，上述第一融合模块13，包括：

第一获取单元134，用于对所述可见光图像进行下采样和卷积操作，得到所述可见光图像的拉普拉斯金字塔图像；

第二获取单元135，用于对所述弱化后的近红外图像进行下采样和卷积操作，得到所述近红外图像的拉普拉斯金字塔图像；

融合单元136，用于将所述可见光图像的拉普拉斯金字塔图像和所述近红外图像的拉普拉斯金字塔图像进行融合，得到所述融合图像。

在一个实施例中，如图23所示，上述装置还包括，包括：

第二融合模块16，用于在所述可见光图像不满足所述预设条件的情况下，将所述可见光图像和近红外图像进行融合，得到融合图像。

关于图像融合装置的具体限定可以参见上文中对于图像融合方法的限定，在此不再赘述。上述图像融合装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

将待融合的可见光图像和待融合的近红外图像进行立体匹配，得到深度图像；

根据所述深度图像确定所述可见光图像是否满足预设条件；所述预设条件表征所述可见光图像属于近距离拍摄图像和/或包含目标主体；

若满足，则根据所述深度图像，对所述近红外图像进行弱化处理，得到弱化后的近红外图像，并将所述可见光图像和所述弱化后的近红外图像进行融合，得到融合图像。

上述实施例提供的一种计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

将待融合的可见光图像和待融合的近红外图像进行立体匹配，得到深度图像；

根据所述深度图像确定所述可见光图像是否满足预设条件；所述预设条件表征所述可见光图像属于近距离拍摄图像和/或包含目标主体；

若满足，则根据所述深度图像，对所述近红外图像进行弱化处理，得到弱化后的近红外图像，并将所述可见光图像和所述弱化后的近红外图像进行融合，得到融合图像。

上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像融合方法，其特征在于，所述方法包括：

将待融合的可见光图像和待融合的近红外图像进行立体匹配，得到深度图像；

根据所述深度图像确定所述可见光图像是否满足预设条件；所述预设条件表征所述可见光图像属于近距离拍摄图像和/或包含目标主体；

若满足，则根据所述深度图像，对所述近红外图像进行弱化处理，得到弱化后的近红外图像，并将所述可见光图像和所述弱化后的近红外图像进行融合，得到融合图像。

2.根据权利要求1所述的方法，其特征在于，若所述预设条件表征所述可见光图像属于近距离拍摄图像，所述根据所述深度图像确定所述可见光图像是否满足预设条件，包括：

提取所述深度图像的第一距离值；所述第一距离值表示被拍摄对象与所述可见光图像的采集设备之间的距离；

若所述第一距离值小于预设距离值，则确定所述可见光图像满足所述预设条件；

若所述第一距离值不小于所述预设距离值，则确定所述可见光图像不满足所述预设条件。

3.根据权利要求2所述的方法，其特征在于，所述提取所述深度图像的第一距离值，包括：

提取所述深度图像中每个像素点的深度值；

根据所述每个像素点的深度值，获取所述深度图像中像素点的平均深度值；

将所述平均深度值确定为所述深度图像的第一距离值。

4.根据权利要求1所述的方法，其特征在于，若所述预设条件表征所述可见光图像属于近距离拍摄图像，所述根据所述深度图像确定所述可见光图像是否满足预设条件，包括：

提取所述深度图像的第二距离值；所述第二距离值表示被拍摄对象与所述可见光图像的采集设备之间的距离；

获取所述可见光图像的采集设备的聚焦参数，并根据所述聚焦参数确定所述可见光图像的第三距离值；所述第三距离值表示被拍摄对象与所述可见光图像的采集设备之间的距离；

根据所述第二距离值和所述第三距离值，确定所述可见光图像是否满足预设条件。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第二距离值和所述第三距离值，确定所述可见光图像是否满足预设条件，包括：

若所述第二距离值小于预设距离值，则确定所述第三距离值是否小于所述预设距离值；若所述第三距离值小于所述预设距离值，则确定所述可见光图像满足预设条件；若所述第三距离值不小于所述预设距离值，则确定所述可见光图像不满足预设条件；

若所述第二距离值不小于预设距离值，则确定所述可见光图像不满足预设条件。

6.根据权利要求1所述的方法，其特征在于，所述预设条件表征所述可见光图像包含目标主体；所述根据所述深度图像确定所述可见光图像是否满足预设条件，包括：

对所述深度图像进行图像识别，得到所述可见光图像中各拍摄主体的类型；

若所述拍摄主体的类型与所述目标主体的类型一致，则确定所述可见光图像满足所述预设条件；

若所述拍摄主体的类型与所述目标主体的类型不一致，则确定所述可见光图像不满足所述预设条件。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述深度图像，对所述近红外图像进行弱化处理，得到弱化后的近红外图像，包括：

根据所述深度图像中各像素点的深度值确定各所述像素点的权重，得到权重分布图；

将所述近红外图像进行频域空间转换，得到频域图像；

根据所述权重分布图对所述频域图像中各像素点的像素值进行弱化处理，得到所述弱化后的近红外图像。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述可见光图像的采集设备和所述近红外图像的采集设备的标定参数；

所述将待融合的可见光图像和待融合的近红外图像进行立体匹配，得到深度图像，包括：

采用预设的立体匹配算法，根据所述标定参数对所述可见光图像和所述近红外图像进行立体匹配，得到视差图；

将所述视差图转换成所述深度图。

9.根据权利要求6或7所述的方法，其特征在于，所述方法还包括：

根据所述标定参数，将所述可见光图像和所述弱化后的近红外图像对齐，得到对齐后的可见光图像和对齐后的近红外图像；

所述将所述可见光图像和所述弱化后的近红外图像进行融合，得到融合图像，包括：

将所述对齐后的可见光图像和所述对齐后的近红外图像进行融合，得到融合图像。

10.根据权利要求9所述的方法，其特征在于，所述根据所述标定参数，将所述可见光图像和所述弱化后的近红外图像对齐，得到对齐后的可见光图像和对齐后的近红外图像，包括：

根据所述标定参数，将所述可见光图像和所述弱化后的近红外图像转换至同一平面内；

根据特征点匹配方式，将所述同一平面内的可见光图像和弱化后的近红外图像进行对齐，得到所述对齐后的可见光图像和所述对齐后的近红外图像。

11.根据权利要求1-6任一项所述的方法，其特征在于，所述将所述可见光图像和所述弱化后的近红外图像进行融合，得到融合图像，包括：

对所述可见光图像进行下采样和卷积操作，得到所述可见光图像的拉普拉斯金字塔图像；

对所述弱化后的近红外图像进行下采样和卷积操作，得到所述近红外图像的拉普拉斯金字塔图像；

将所述可见光图像的拉普拉斯金字塔图像和所述近红外图像的拉普拉斯金字塔图像进行融合，得到所述融合图像。

12.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述可见光图像不满足所述预设条件，则将所述可见光图像和近红外图像进行融合，得到融合图像。

13.一种图像融合装置，其特征在于，所述装置包括：

匹配模块，用于将待融合的可见光图像和待融合的近红外图像进行立体匹配，得到深度图像；

确定模块，用于根据所述深度图像确定所述可见光图像是否满足预设条件；所述预设条件表征所述可见光图像属于近距离拍摄图像和/或包含目标主体；

第一融合模块，用于在所述可见光图像满足预设条件的情况下，根据所述深度图像，对所述近红外图像进行弱化处理，得到弱化后的近红外图像，并将所述可见光图像和所述弱化后的近红外图像进行融合，得到融合图像。

14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述方法的步骤。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。

Images