CN117710224A - 图像融合方法、装置、终端及存储介质 - Google Patents

Abstract

本公开提供一种图像融合方法、装置、终端及存储介质，其中，图像融合方法包括：获取参考图像和待融合图像；根据参考图像和待融合图像的颜色差异，对参考图像和待融合图像进行融合处理，确定融合图像。本公开中，可基于参考图像和待融合图像的颜色差异，进行参考图像与待融合图像的融合处理，可以避免进行运动区域的检测，简化了图像融合的操作，提升了图像融合的效果。

Description

图像融合方法、装置、终端及存储介质

技术领域

本公开涉及终端技术领域，尤其涉及一种图像融合方法、装置、终端及存储介质。

背景技术

图像融合需要检测到图像中的运动区域，并为其分配合适的融合权重。现有的运动区域检测方法主要有帧差法、光流法。一般实时性要求较高的应用中多使用帧差法。帧差法，即两帧或多帧图像做差，差值较大的位置认为是运动区域。通常运动目标中间会出现空洞，导致帧差法进行运动区域检测时存在困难，影响图像融合的效果。

发明内容

为克服相关技术中存在的问题，本公开提供一种图像融合方法、装置、终端及存储介质。

根据本公开实施例的第一方面，提供一种图像融合方法，应用于终端，所述图像融合方法包括：

获取参考图像和待融合图像；

根据所述参考图像和所述待融合图像的颜色差异，对所述参考图像和所述待融合图像进行融合处理，确定融合图像。

可选地，所述根据所述参考图像和所述待融合图像的颜色差异，确定所述参考图像对应的参考融合权重以及所述待融合图像对应的目标融合权重，包括：

确定所述参考图像的第一颜色均值和方差均值，以及确定所述待融合图像的第二颜色均值；

根据所述第一颜色均值和所述第二颜色均值，确定所述参考图像与所述待融合图像的颜色差值；

根据所述方差均值和所述颜色差值，确定所述参考图像对应的参考融合权重以及所述待融合图像对应的目标融合权重。

可选地，所述根据所述方差均值和所述颜色差值，确定所述参考融合权重以及所述目标融合权重，包括：

根据所述方差均值和所述颜色差值，确定所述待融合图像对应的初步融合权重；

对所述初步融合权重进行腐蚀操作和膨胀操作，确定所述目标融合权重；

根据所述目标融合权重，确定所述参考融合权重。

可选地，所述根据所述方差均值和所述颜色差值，确定所述待融合图像对应的初步融合权重，包括：

根据以下公式计算得到所述初步融合权重：

其中，p为所述初步融合权重，d为所述颜色差值，σ²为所述方差均值。

可选地，所述腐蚀操作的卷积核的尺寸大于或等于所述膨胀操作的卷积核的尺寸；

所述腐蚀操作的卷积核的尺寸和/或所述膨胀操作的卷积核的尺寸，包括以下中的至少一种：

11*11，7*7，5*5，3*3；

其中，尺寸的单位包括像素。

可选地，所述确定所述参考图像的第一颜色均值和方差均值，以及确定所述待融合图像的第二颜色均值，包括：

根据设定尺寸窗口对所述参考图像进行滑窗处理，确定所述参考图像中颜色通道的参考通道均值以及标准差；

根据所述参考通道均值确定所述第一颜色均值；

根据所述标准差，确定所述方差均值；

根据所述设定尺寸窗口对所述待融合图像进行滑窗处理，确定所述待融合图像中颜色通道的目标通道均值；

根据所述目标通道均值确定所述第二颜色均值。

可选地，所述设定尺寸窗口包括以下中的至少一种：

3*3的窗口，5*5的窗口，7*7的窗口；

其中，尺寸单位包括像素。

可选地，所述参考图像和所述待融合图像均为设定类型图像；所述设定类型图像包括以下中的至少一种：

灰度图像，RGB图像，RAW图像。

根据本公开实施例的第二方面，提供一种图像融合装置，应用于终端，所述图像融合装置包括：

获取模块，用于获取参考图像和待融合图像；

融合模块，用于根据所述参考图像和所述待融合图像的颜色差异，对所述参考图像和所述待融合图像进行融合处理，确定融合图像。

可选地，所述融合模块用于：

确定所述参考图像的第一颜色均值和方差均值，以及确定所述待融合图像的第二颜色均值；

根据所述第一颜色均值和所述第二颜色均值，确定所述参考图像与所述待融合图像的颜色差值；

根据所述方差均值和所述颜色差值，确定所述参考图像对应的参考融合权重以及所述待融合图像对应的目标融合权重。

可选地，所述融合模块用于：

根据所述方差均值和所述颜色差值，确定所述待融合图像对应的初步融合权重；

对所述初步融合权重进行腐蚀操作和膨胀操作，确定所述目标融合权重；

根据所述目标融合权重，确定所述参考融合权重。

可选地，所述融合模块用于：

根据以下公式计算得到所述初步融合权重：

其中，p为所述初步融合权重，d为所述颜色差值，σ²为所述方差均值。

可选地，所述腐蚀操作的卷积核的尺寸大于或等于所述膨胀操作的卷积核的尺寸；

所述腐蚀操作的卷积核的尺寸和/或所述膨胀操作的卷积核的尺寸，包括以下中的至少一种：

11*11，7*7，5*5，3*3；

其中，尺寸的单位包括像素。

可选地，所述融合模块用于：

根据设定尺寸窗口对所述参考图像进行滑窗处理，确定所述参考图像中颜色通道的参考通道均值以及标准差；

根据所述参考通道均值确定所述第一颜色均值；

根据所述标准差，确定所述方差均值；

根据所述设定尺寸窗口对所述待融合图像进行滑窗处理，确定所述待融合图像中颜色通道的目标通道均值；

根据所述目标通道均值确定所述第二颜色均值。

可选地，所述设定尺寸窗口包括以下中的至少一种：

3*3的窗口，5*5的窗口，7*7的窗口；

其中，尺寸单位包括像素。

可选地，所述参考图像和所述待融合图像均为设定类型图像；所述设定类型图像包括以下中的至少一种：

灰度图像，RGB图像，RAW图像。

根据本公开实施例的第三方面，提供一种终端，所述终端包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行如第一方面所述的图像融合方法。

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得所述终端能够执行如第一方面所述的图像融合方法。

本公开的实施例提供的技术方案可以包括以下有益效果：本公开中，可基于参考图像和待融合图像的颜色差异，进行参考图像与待融合图像的融合处理，可以避免进行运动区域的检测，简化了图像融合的操作，提升了图像融合的效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的图像融合方法的流程图。

图2是根据一示例性实施例示出的图像融合方法的流程图。

图3是根据一示例性实施例示出的图像融合方法的流程图。

图4是根据一示例性实施例示出的图像融合方法的流程图。

图5是根据一示例性实施例示出的图像融合装置的框图。

图6是根据一示例性实施例示出的终端的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是本公开的一些实施方式的装置和方法的例子。

本公开实施例提供了一种图像融合方法，应用于终端。该方法中，可基于参考图像和待融合图像的颜色差异，进行参考图像与待融合图像的融合处理，可以避免进行运动区域的检测，简化了图像融合的操作，提升了图像融合的效果。

在一个示例性实施例中，提供了一种图像融合方法，应用于终端。参考图1所示，该方法可包括：

S110、获取参考图像和待融合图像；

S120、根据参考图像和待融合图像的颜色差异，对参考图像和待融合图像进行融合处理，确定融合图像。

在步骤S110中，参考图像和待融合图像可以由终端从其他设备获取，也可以由终端本身的摄像组件或相机组件拍摄得到后，传输至终端的处理器，对此不作限定。

需要说明的是，参考图像和待融合图像除了上述获取方式外，也可通过其他方式获取，对此不作限定。

其中，一般情况下，参考图像和待融合图像可以是同一摄像组件拍摄的相邻的两帧图像，也可以是其他类型的两个图像，对此不作限定。

在一些实施方式中，终端可以是手机，手机的相机组件拍摄得到相邻的两帧图像后，可将其分别记为参考图像和待融合图像，然后将上述两帧图像传输至手机的处理器，以使得处理器获取到上述参考图像和待融合图像。

其中，参考图像和待融合图像的图像类型一般相同。参考图像和待融合图像可以是设定类型图像。设定类型图像可以是灰度图像，也可以是RGB图像，也可以是RAW图像，也可以是其他类型的图像，对此不作限定。

在步骤S120中，需要说明的是，相关技术中，提供了一个鲁棒的局部统计模型用于超分辨率的融合模型——统计鲁棒模型。即其中d为两帧图像对应滑窗内的均值差值，σ为其中一帧图片在该滑窗内的标准差，s和t是可调参数，一般根据是否为运动区域进行调整，R为待融合图像的融合权重。

由此可知，相关技术中，待融合图像的融合权重与s和t有关，即，待融合图像的融合权重与运动区域的检测有关，而在实时性要求较高的应用中，运动目标中间会出现的空洞，导致帧差法进行运动区域检测时存在困难，影响最终图像融合的效果。

而该步骤中，可分别对参考图像和待融合图像的颜色进行分析，然后基于二者的颜色差异，确定参考图像和待融合图像各自的融合权重，然后基于所确定的融合权重，对参考图像和带融合图像进行融合处理，以得到最终的融合图像。该步骤无需前置运动区域的分割，节省计算资源，且无需根据运动区域和非运动区域进行参数调整，从而可以避免通过帧差法进行运动区域的检测，提升整个图像融合的简易程度，提高图像融合效果。

该方法中，可基于参考图像和待融合图像的颜色差异，进行参考图像与待融合图像的融合处理，可以避免进行运动区域的检测，简化了图像融合的操作，提升了图像融合的效果，进一步提升用户的使用体验。

在一个示例性实施例中，提供了一种图像融合方法，应用于终端。参考图2所示，该方法中，根据参考图像和待融合图像的颜色差异，确定参考图像对应的参考融合权重以及待融合图像对应的目标融合权重，可包括：

S210、确定参考图像的第一颜色均值和方差均值，以及确定待融合图像的第二颜色均值；

S220、根据第一颜色均值和第二颜色均值，确定参考图像与待融合图像的颜色差值；

S230、根据方差均值和颜色差值，确定参考图像对应的参考融合权重以及待融合图像对应的目标融合权重。

在步骤S210中，第一颜色均值可表征，参考图像中各单位图像各颜色通道的整体颜色均值。方差均值可表征，参考图像中各单位图像的各颜色通道的通道均值的方差的均值。第二颜色均值可表征，待融合图像中各位置各颜色通道的整体颜色均值。其中，单位图像可以是像素点，也可以是其他尺寸的图像，对此不作限定。其他尺寸的图像例如可以是边长为2两个像素的方形图像。

需要说明的是，颜色通道可以包括红色(R)通道、绿色(G)通道和蓝色(B)通道，也可以包括灰度图像的灰度通道，对此不作限定。例如，RGB图像的颜色通道包括红色(R)通道、绿色(G)通道和蓝色(B)通道。灰度图像的颜色通道则包括灰度通道。

在一些实施方式中，

参考图像可以是RGB图像，其颜色通道可包括红色(R)通道、绿色(G)通道和蓝色(B)通道。

关于第一颜色均值，该实施方式中，可先确定参考图像中全部像素点的红色通道的通道均值、绿色通道的通道均值以及蓝色通道的通道均值，然后将上述三个颜色通道的通道均值的平均值，确定为此参考图像的第一颜色均值。

关于方差均值，该实施方式中，可先确定参考图像中全部像素点的红色通道的通道值的方差、绿色通道的通道值的方差以及蓝色通道的通道值的方差，然后将上述三个颜色通道的方差的平均值，确定为此参考图像的方差均值。

需要说明的是，第一颜色均值和方差均值除了上述实施方式的确定外，也可通过其他方式确定，对此不作限定。另外，第二颜色均值的确定方式可参考第一颜色均值，对此不作赘述。

在步骤S220中，可将第一颜色均值与第二颜色均值作差，然后将作差得到的值的绝对值，作为参考图像与待融合图像的颜色差值。

例如，第一颜色均值可记为μ₁，第二颜色均值可记为μ₂，颜色差值可通过以下公式计算得到：

d＝|μ₁-μ₂|；

其中，d为颜色差值。

在步骤S230中，可以对颜色差值和方差均值进行处理，从而确定待融合图像的目标融合权重，然后根据目标融合权重，确定参考图像的参考融合权重，由此，便可确定了参考融合权重和目标融合权重。然后，便可根据上述参考融合权重和目标融合权重，对参考图像和待融合图像进行图像融合处理，以得到融合后的融合图像，提升图像质量。

该方法中，根据参考图像的第一颜色均值以及方差均值，以及待融合图像的第二颜色均值，确定最终的参考融合权重和目标融合权重，从而更加可靠地对参考图像和待融合图像进行图像融合处理，得到效果更好的融合图像，可以更好地提升用户的使用体验。

在一个示例性实施例中，提供了一种图像融合方法，应用于终端。参考图3所示，该方法中，根据方差均值和颜色差值，确定参考融合权重以及目标融合权重，可包括：

S310、根据方差均值和颜色差值，确定待融合图像对应的初步融合权重；

S320、对初步融合权重进行腐蚀操作和膨胀操作，确定目标融合权重；

S330、根据目标融合权重，确定参考融合权重。

在步骤S310中，可根据以下公式计算得到初步融合权重；

其中，p为初步融合权重，d为颜色差值，σ²为方差均值。

需要说明的是，除了上述方式确定初步融合权重外，也可通过其他方式确定初步融合权重，对此不作限定。

在步骤S320中，腐蚀操作一般是将图像的边缘加以腐蚀，用于去掉细节。膨胀操作与腐蚀操作相反，一般是将图像的轮廓加以膨胀，用于突出轮廓。

该步骤中，可对初步融合权重进行形态学的腐蚀操作和膨胀操作，以得到目标融合权重。一般情况下，腐蚀操作和膨胀操作按顺序进行。其中，腐蚀操作的卷积核可记为第一腐蚀核。膨胀操作的卷积核可记为膨胀核。腐蚀核的尺寸可大于或等于膨胀核的尺寸，基于此得到的目标融合权重，最终进行图像融合后，融合图像的效果更好。

其中，腐蚀核的尺寸可以是11*11、7*7、5*5或者3*3，对此不作限定。需要说明的是，腐蚀核的尺寸的单位可以是像素。膨胀核尺寸可参考上述腐蚀核的尺寸，也可是11*11、7*7、5*5或者3*3，对此不作限定。

在一些实施方式中，

腐蚀核的尺寸可以是9*9，膨胀核的尺寸可以是7*7，单位可以是像素。该实施方式中，在确定了初步融合权重后，可先基于上述腐蚀核对初步融合权重进行腐蚀操作，然后再基于上述膨胀核进行膨胀操作，以得到最终的目标融合权重。

在步骤S330中，可以理解的，一般情况下，参考融合权重与腐蚀融合权重之和可以是1，也就是说，该步骤中，可以由1减去目标融合权重，从而得到参考融合权重。

在一些实施方式中，

参考图像可记为I_ref，待融合图像可记为I_src，初步融合权重记为P₀。腐蚀核的尺寸可以是9*9，膨胀核的尺寸可以是7*7，单位可以是像素。

该实施方式中，在确定了初步融合权重后，可先基于上述腐蚀核对初步融合权重P₀进行腐蚀操作，然后再基于上述膨胀核进行膨胀操作，从而得到最终的目标融合权重P。然后，由1减去上述目标融合权重P，从而得到参考融合权重P’。最后，基于上述参考融合权重P’以及目标融合权重P，对参考图像I_ref和待融合图像I_src进行融合处理，从而确定最终的融合图像。

融合处理的方式如下：

I_out＝p′*I_ref+p*I_src；

其中，I_out为最终得到的融合图像。

经过试验确定，当使用上述目标融合权重进行图像融合处理时，最终得到的融合图像的效果较好。

该方法中，先根据颜色差值和方差均值得到初步融合权重，然后再对初步融合权重进行腐蚀操作和膨胀操作，从而得待融合图像的目标融合权重，然后再根据目标融合权重确定参考图像的参考融合权重。该方法可以确定更加合适的目标融合权重和参考融合权重，从而进行更加合适的图像融合处理，得到效果更好地融合图像，进一步提升用户的使用体验。

在一个示例性实施例中，提供了一种图像融合方法，应用于终端。参考图4所示，该方法中，确定参考图像的第一颜色均值和方差均值，以及确定待融合图像的第二颜色均值，可包括：

S410、根据设定尺寸窗口对参考图像进行滑窗处理，确定参考图像中颜色通道的参考通道均值以及标准差；

S420、根据参考通道均值确定第一颜色均值；

S430、根据标准差，确定方差均值；

S440、根据设定尺寸窗口对待融合图像进行滑窗处理，确定待融合图像中颜色通道的目标通道均值；

S450、根据目标通道均值确定第二颜色均值。

在步骤S410中，设定尺寸窗口可以根据实际需求设置，对此不作限定。例如，设定尺寸窗口可以是3*3的窗口、5*5的窗口或者7*7的窗口，尺寸的单位可以是像素。也就是说，设定尺寸窗口可以是边长为3个像素的方形窗口，也可以是边长为5个像素的方形窗口，也可以是边长为7个像素的方形窗口。

其中，滑窗处理一般指使用滑窗算法进行处理。滑窗算法指，根据滑动窗口的大小，确定滑动窗口中所有数据的平均值。滑动窗口指上述设定尺寸窗口。

该方法中，可对参考图像的各颜色通道，采取滑窗方式，从左到右、从上到下遍历参考图像，从而确定参考图像的各颜色通道的参考通道均值以及标准差。

在一些实施方式中，

参考图像可以是RGB图像，其包括红色通道、绿色通道和蓝色通道。滑动窗口可以是边长为3个像素的方形窗口，即，滑动窗口的尺寸可以是3*3，单位是像素。

该实施方式中，可使用上述3*3的滑动窗口对参考图像进行滑窗处理，从而确定参考图像的红色通道的参考通道均值，此参考通道均值可记为第一红色通道均值μ_1r；同理，可确定参考图像的第一绿色通道均值μ_1g和第一蓝色通道均值μ_1b。由此，便可得到参考图像的各颜色通道的参考通道均值。

在一些实施方式中，

参考图像可以是灰度图像，其有一个通道，可记为灰度通道。滑动窗口可以是边长为3个像素的方形窗口，即，滑动窗口的尺寸可以是3*3，单位是像素。

该实施方式中，可使用上述3*3的滑动窗口对参考图像进行滑窗处理，从而确定参考图像的灰度通道的参考通道均值，此参考通道均值可记为灰度通道均值。由此，便可得到参考图像的各颜色通道的参考通道均值。

在步骤S420中，可先确定参考图像中颜色通道的数量，然后将全部颜色通道的参考通道均值之和除以上述数量，以得到第一颜色均值。

在一些实施方式中，

参考图像可以是RGB图像，其包括红色通道、绿色通道和蓝色通道。红色通道的参考通道均值可记为第一红色通道均值μ_1r，绿色通道的参考通道均值可记为第一绿色通道均值μ_1g，蓝色通道的参考通道均值可记为第一蓝色通道均值μ_1b。

该实施方式中，第一颜色均值μ₁可通过以下颜色均值公式确定：

μ₁＝(μ_1r+μ_1g+μ_1b)/3。

需要说明的是，除了可通过上述方式确定第一颜色均值外，也可通过其他方式确定第一颜色均值，对此不作限定。

在步骤S430中，可先确定参考图像中颜色通道的数量，然后将全部颜色通道的标准差以及上述数量，以得到方差均值。

在一些实施方式中，

参考图像可以是RGB图像，其包括红色通道、绿色通道和蓝色通道。红色通道的标准差可记为σ_r，绿色通道的标准差可记为σ_g，蓝色通道的标准差可记为σ_b。

该实施方式中，参考图像对应的方差均值σ²可通过以下方差均值公式计算得到：

需要说明的是，除了可通过上述方式确定方差均值外，也可通过其他方式确定方差均值，对此不作限定。

在步骤S440中，目标通道均值的确定方式可参考上述参考通道均值的确定方式，对此不作赘述。

在一些实施方式中，

待融合图像可以是RGB图像，其包括红色通道、绿色通道和蓝色通道。滑动窗口可以是边长为3个像素的方形窗口，即，滑动窗口的尺寸可以是3*3，单位是像素。

该实施方式中，可使用上述3*3的滑动窗口对待融合图像进行滑窗处理，从而确定待融合图像的红色通道的目标通道均值，此目标通道均值可记为第二红色通道均值μ_2r；同理，可确定待融合图像的第二绿色通道均值μ_2g和第二蓝色通道均值μ_2b。由此，便可得到待融合图像的各颜色通道的目标通道均值。

在步骤S450中，第二颜色均值的确定方式可参考上述第一颜色均值，对此不作赘述。

在一些实施方式中，

待融合图像可以是RGB图像，其包括红色通道、绿色通道和蓝色通道。红色通道的目标通道均值可记为第二红色通道均值μ_2r，绿色通道的目标通道均值可记为第二绿色通道均值μ_2g，蓝色通道的目标通道均值可记为第二蓝色通道均值μ_2b。

该实施方式中，第二颜色均值μ₂可通过以下颜色均值公式确定：

μ₂＝(μ_2r+μ_2g+μ_2b)/3。

需要说明的是，除了可通过上述方式确定第二颜色均值外，也可通过其他方式确定第二颜色均值，对此不作限定。

该方法中，通过颜色均值的确定公式以及方差均值的确定公式，可以更加准确地确定参考图像的第一颜色均值、参考图像的方差均值以及待融合图像的第二颜色均值，从而可以进一步提升后续融合图像的图像质量，进一步提升用户的使用体验。

在一个示例性实施例中，提供了一种图像融合装置，应用于终端。该装置用于实施上述的图像融合方法。示例地，参考图5所示，该装置可包括获取模块101和融合模块102。该装置在实施上述方法的过程中，

获取模块101，用于获取参考图像和待融合图像；

融合模块102，用于根据参考图像和待融合图像的颜色差异，对参考图像和待融合图像进行融合处理，确定融合图像。

在一个示例性实施例中，提供了一种图像融合装置，应用于终端。参考图5所示，该装置中，融合模块102用于：

确定参考图像的第一颜色均值和方差均值，以及确定待融合图像的第二颜色均值；

根据第一颜色均值和第二颜色均值，确定参考图像与待融合图像的颜色差值；

根据方差均值和颜色差值，确定参考图像对应的参考融合权重以及待融合图像对应的目标融合权重。

在一个示例性实施例中，提供了一种图像融合装置，应用于终端。参考图5所示，该装置中，融合模块102用于：

根据方差均值和颜色差值，确定待融合图像对应的初步融合权重；

对初步融合权重进行腐蚀操作和膨胀操作，确定目标融合权重；

根据目标融合权重，确定参考融合权重。

在一个示例性实施例中，提供了一种图像融合装置，应用于终端。参考图5所示，该装置中，融合模块102用于：

根据以下公式计算得到初步融合权重：

其中，p为初步融合权重，d为颜色差值，σ²为方差均值。

在一个示例性实施例中，提供了一种图像融合装置，应用于终端。该装置中，腐蚀操作的卷积核的尺寸大于或等于膨胀操作的卷积核的尺寸；

腐蚀操作的卷积核的尺寸和/或膨胀操作的卷积核的尺寸，包括以下中的至少一种：

11*11，7*7，5*5，3*3；

其中，尺寸的单位包括像素。

在一个示例性实施例中，提供了一种图像融合装置，应用于终端。参考图5所示，该装置中，融合模块102用于：

根据设定尺寸窗口对参考图像进行滑窗处理，确定参考图像中颜色通道的参考通道均值以及标准差；

根据参考通道均值确定第一颜色均值；

根据标准差，确定方差均值；

根据设定尺寸窗口对待融合图像进行滑窗处理，确定待融合图像中颜色通道的目标通道均值；

根据目标通道均值确定第二颜色均值。

在一个示例性实施例中，提供了一种图像融合装置，应用于终端。该装置中，设定尺寸窗口包括以下中的至少一种：

3*3的窗口，5*5的窗口，7*7的窗口；

其中，尺寸单位包括像素。

在一个示例性实施例中，提供了一种图像融合装置，应用于终端。该装置中，参考图像和所述待融合图像均为设定类型图像；设定类型图像包括以下中的至少一种：

灰度图像，RGB图像，RAW图像。

在一个示例性实施例中，提供了一种终端，例如，摄像机、手机、电脑以及可穿戴设备等等，对此不作限定。

参考图6所示，终端400可以包括以下一个或多个组件：处理组件402，存储器404，电力组件406，多媒体组件408，音频组件410，输入/输出(I/O)的接口412，传感器组件414，以及通信组件416。

处理组件402通常控制设备400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理组件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。

存储器404被配置为存储各种类型的数据以支持在设备400的操作。这些数据的示例包括用于在设备400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件406为设备400的各种组件提供电力。电力组件406可以包括电源管理系统，一个或多个电源，及其他与为设备400生成、管理和分配电力相关联的组件。

多媒体组件408包括在设备400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入指令。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当终端400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件410被配置为输出和/或输入音频指令。例如，音频组件410包括一个麦克风(MIC)，当设备400处于操作模式，如呼叫模式、记录模式和语音理解模式时，麦克风被配置为接收外部音频指令。所接收的音频指令可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频指令。

I/O接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件414包括一个或多个传感器，用于为终端400提供各个方面的状态评估。例如，传感器组件414可以检测到终端400的打开/关闭状态，组件的相对定位，例如组件为终端400的显示器和小键盘，传感器组件414还可以检测设备400或终端400一个组件的位置改变，用户与设备400接触的存在或不存在，设备400方位或加速/减速和设备400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件416被配置为便于设备400和其他设备之间有线或无线方式的通信。设备700可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件416经由广播信道接收来自外部广播管理系统的广播指令或广播相关信息。在一个示例性实施例中，通信组件416还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备400可以被一个或多个应用专用集成电路(ASIC)、数字指令处理器(DSP)、数字指令处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在一个示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由设备400的处理器420执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。当存储介质中的指令由终端的处理器执行时，使得终端能够执行上述实施例中的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (18)

1.一种图像融合方法，应用于终端，其特征在于，所述图像融合方法包括：

获取参考图像和待融合图像；

根据所述参考图像和所述待融合图像的颜色差异，对所述参考图像和所述待融合图像进行融合处理，确定融合图像。

2.根据权利要求1所述的图像融合方法，其特征在于，所述根据所述参考图像和所述待融合图像的颜色差异，确定所述参考图像对应的参考融合权重以及所述待融合图像对应的目标融合权重，包括：

确定所述参考图像的第一颜色均值和方差均值，以及确定所述待融合图像的第二颜色均值；

根据所述第一颜色均值和所述第二颜色均值，确定所述参考图像与所述待融合图像的颜色差值；

根据所述方差均值和所述颜色差值，确定所述参考图像对应的参考融合权重以及所述待融合图像对应的目标融合权重。

3.根据权利要求2所述的图像融合方法，其特征在于，所述根据所述方差均值和所述颜色差值，确定所述参考融合权重以及所述目标融合权重，包括：

根据所述方差均值和所述颜色差值，确定所述待融合图像对应的初步融合权重；

对所述初步融合权重进行腐蚀操作和膨胀操作，确定所述目标融合权重；

根据所述目标融合权重，确定所述参考融合权重。

4.根据权利要求3所述的图像融合方法，其特征在于，所述根据所述方差均值和所述颜色差值，确定所述待融合图像对应的初步融合权重，包括：

根据以下公式计算得到所述初步融合权重：

其中，p为所述初步融合权重，d为所述颜色差值，σ²为所述方差均值。

5.根据权利要求3所述的图像融合方法，其特征在于，所述腐蚀操作的卷积核的尺寸大于或等于所述膨胀操作的卷积核的尺寸；

所述腐蚀操作的卷积核的尺寸和/或所述膨胀操作的卷积核的尺寸，包括以下中的至少一种：

11*11，7*7，5*5，3*3；

其中，尺寸的单位包括像素。

6.根据权利要求2所述的图像融合方法，其特征在于，所述确定所述参考图像的第一颜色均值和方差均值，以及确定所述待融合图像的第二颜色均值，包括：

根据设定尺寸窗口对所述参考图像进行滑窗处理，确定所述参考图像中颜色通道的参考通道均值以及标准差；

根据所述参考通道均值确定所述第一颜色均值；

根据所述标准差，确定所述方差均值；

根据所述设定尺寸窗口对所述待融合图像进行滑窗处理，确定所述待融合图像中颜色通道的目标通道均值；

根据所述目标通道均值确定所述第二颜色均值。

7.根据权利要求6所述的图像融合方法，其特征在于，所述设定尺寸窗口包括以下中的至少一种：

3*3的窗口，5*5的窗口，7*7的窗口；

其中，尺寸单位包括像素。

8.根据权利要求1-7任一项所述的图像融合方法，其特征在于，所述参考图像和所述待融合图像均为设定类型图像；所述设定类型图像包括以下中的至少一种：

灰度图像，RGB图像，RAW图像。

9.一种图像融合装置，应用于终端，其特征在于，所述图像融合装置包括：

获取模块，用于获取参考图像和待融合图像；

融合模块，用于根据所述参考图像和所述待融合图像的颜色差异，对所述参考图像和所述待融合图像进行融合处理，确定融合图像。

10.根据权利要求9所述的图像融合装置，其特征在于，所述融合模块用于：

确定所述参考图像的第一颜色均值和方差均值，以及确定所述待融合图像的第二颜色均值；

根据所述第一颜色均值和所述第二颜色均值，确定所述参考图像与所述待融合图像的颜色差值；

根据所述方差均值和所述颜色差值，确定所述参考图像对应的参考融合权重以及所述待融合图像对应的目标融合权重。

11.根据权利要求10所述的图像融合装置，其特征在于，所述融合模块用于：

根据所述方差均值和所述颜色差值，确定所述待融合图像对应的初步融合权重；

对所述初步融合权重进行腐蚀操作和膨胀操作，确定所述目标融合权重；

根据所述目标融合权重，确定所述参考融合权重。

12.根据权利要求11所述的图像融合装置，其特征在于，所述融合模块用于：

根据以下公式计算得到所述初步融合权重：

其中，p为所述初步融合权重，d为所述颜色差值，σ²为所述方差均值。

13.根据权利要求11所述的图像融合装置，其特征在于，所述腐蚀操作的卷积核的尺寸大于或等于所述膨胀操作的卷积核的尺寸；

所述腐蚀操作的卷积核的尺寸和/或所述膨胀操作的卷积核的尺寸，包括以下中的至少一种：

11*11，7*7，5*5，3*3；

其中，尺寸的单位包括像素。

14.根据权利要求10所述的图像融合装置，其特征在于，所述融合模块用于：

根据设定尺寸窗口对所述参考图像进行滑窗处理，确定所述参考图像中颜色通道的参考通道均值以及标准差；

根据所述参考通道均值确定所述第一颜色均值；

根据所述标准差，确定所述方差均值；

根据所述设定尺寸窗口对所述待融合图像进行滑窗处理，确定所述待融合图像中颜色通道的目标通道均值；

根据所述目标通道均值确定所述第二颜色均值。

15.根据权利要求14所述的图像融合装置，其特征在于，所述设定尺寸窗口包括以下中的至少一种：

3*3的窗口，5*5的窗口，7*7的窗口；

其中，尺寸单位包括像素。

16.根据权利要求9-15任一项所述的图像融合装置，其特征在于，所述参考图像和所述待融合图像均为设定类型图像；所述设定类型图像包括以下中的至少一种：

灰度图像，RGB图像，RAW图像。

17.一种终端，其特征在于，所述终端包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行如权利要求1-8任一项所述的图像融合方法。

18.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由终端的处理器执行时，使得所述终端能够执行如权利要求1-8任一项所述的图像融合方法。