CN110782424B - 图像融合方法、装置、电子设备及计算机可读存储介质 - Google Patents

图像融合方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110782424B
CN110782424B CN201911084850.3A CN201911084850A CN110782424B CN 110782424 B CN110782424 B CN 110782424B CN 201911084850 A CN201911084850 A CN 201911084850A CN 110782424 B CN110782424 B CN 110782424B
Authority
CN
China
Prior art keywords
image
weight
pixel points
area
vertical direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911084850.3A
Other languages
English (en)
Other versions
CN110782424A (zh
Inventor
王腾锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN201911084850.3A priority Critical patent/CN110782424B/zh
Publication of CN110782424A publication Critical patent/CN110782424A/zh
Application granted granted Critical
Publication of CN110782424B publication Critical patent/CN110782424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供的图像融合方法、装置、电子设备及计算机可读存储介质，涉及图像处理领域，该方法获取待融合的第一图像和第二图像；第一图像和第二图像中包含运动物体；通过图像配准获取第一图像和第二图像的重叠区域；重叠区域包含运动物体；重叠区域包括N×N个像素点；计算每一行像素点中任意相邻两个像素点之间的边权值；根据每一行中的最小边权值所对应边确定目标拼接线；目标拼接线用于划分重叠区域中的保留区域和剔除区域；剔除区域中包含运动物体；依据目标拼接线将第一图像和所述第二图像进行融合，得到第三图像；第三图像包括所述保留区域。与现有技术相比，本方法得到的图像中不会出现运动物体的残影，提高了融合图像的质量。

Description

图像融合方法、装置、电子设备及计算机可读存储介质
技术领域
本发明涉图像处理技术领域，具体而言，涉及一种图像融合方法、装置、电子设备及计算机可读存储介质。
背景技术
图像拼接及融合技术是图像处理中一个重要的研究方向，图像融合指的是综合多幅输入图像的信息，以获得更高质量的输出图像的过程。在进行图像采集的过程中，由于拍摄的场景的光照，角度等的不同，待融合的图像之间的重叠区域会存在比较大的差异。
现有技术中，当有运动物体出现在重叠区域时，对图像直接进行融合时在拼接图中会出现运动物体的重叠、错位、“鬼影”等现象，影响图像融合质量。可见，如何在保证原有的分辨率的同时，去除融合图像中存在的伪影或鬼影，并使得原图中的物体保留原有的完整性，是本领域技术人员亟待解决的问题。
发明内容
本发明实施例的目的在于提供一种图像融合方法、装置、电子设备及计算机可读存储介质，用以去除了重叠区域中存在的伪影或鬼影，使得原图中的物体保留原有的完整性，提高图像融合质量。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供一种图像融合方法，所述方法包括：获取待融合的第一图像和第二图像；所述第一图像和所述第二图像中包含运动物体；通过图像配准获取所述第一图像和所述第二图像的重叠区域；所述重叠区域包含所述运动物体；所述重叠区域包括N×N个像素点；计算每一行像素点中任意相邻两个像素点之间的边权值；根据每一行中的最小边权值所对应边确定目标拼接线；所述目标拼接线用于划分所述重叠区域中的保留区域和剔除区域；所述剔除区域中包含所述运动物体。依据所述目标拼接线将所述第一图像和所述第二图像进行融合，得到第三图像；所述第三图像包括所述保留区域。
第二方面，本发明实施例还提供一种图像融合装置，包括：图像获取模块、确定模块、权值计算模块和图像融合模块；所述图像获取模块，用于获取待融合的第一图像和第二图像；所述第一图像和所述第二图像中包含运动物体；还用于获取所述第一图像和所述第二图像的重叠区域；所述重叠区域包含所述运动物体；所述重叠区域包括N×N个像素点；所述权值计算模块，用于计算每一行像素点中任意相邻两个像素点之间的边权值；所述确定模块，用于根据每一行中的最小边权值所对应边确定目标拼接线；所述目标拼接线用于划分所述重叠区域中的保留区域和剔除区域；所述剔除区域包含所述运动物体。所述图像融合模块，用于依据所述目标拼接线将所述第一图像和所述第二图像进行融合，得到第三图像；所述第三图像包括所述保留区域。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述的图像融合方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述的图像融合方法。
相对现有技术，本发明实施例提供的图像融合方法、装置、电子设备及计算机可读存储介质，首先获取待融合的第一图像和第二图像；第一图像和第二图像中包含运动物体；然后通过图像配准获取第一图像和第二图像的重叠区域；重叠区域包含运动物体；重叠区域包括N×N个像素点；再计算每一行像素点中任意相邻两个像素点之间的边权值；根据每一行中的最小边权值所对应边确定目标拼接线；目标拼接线用于划分重叠区域中的保留区域和剔除区域；剔除区域中包含运动物体，最后依据目标拼接线将第一图像和第二图像进行融合，得到第三图像；第三图像包括所述保留区域。与现有技术相比，本方法在在进行图像融合之前先获得用于进行的融合的目标拼接线，该拼接线可以将待融合的图像的重叠区域进行划分，获得保留区域和剔除区域，且运动物体留在剔除区域，然后将待融合图像的保留区域进行融合，这样一来，融合后得到的图像中就不会出现运动物体的残影，提高了融合图像的质量。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的待融合图像；
图2为利用传统方法直接进行图像融合的结果图；
图3为一种简化的重叠区域示意图；
图4为本发明实施例提供的图像融合方法的示意性流程图；
图5为本发明实施例提供的重叠区域与拼接线位置示意图；
图6为本发明实施例提供的另一种图像融合方法的示意性流程图；
图7为本发明实施例提供的另一种图像融合方法的示意性流程图；
图8为本发明实施利提供的待融合图像的二值权值图；
图9为待融合图像实际保留区域与剔除区域；
图10为高斯金字塔降采样分解图；
图11为拉普拉斯金字塔分解图；
图12为本发明实施例提供的图像融合方法的图像融合结果图；
图13为本发明实施例提供的一种图像融合装置的方框示意图；
图14为本发明实施例提供的一种电子设备的方框示意图。
图标：10-运动物体；40-图像融合装置；401-图像获取模块；402-权值计算模块；403-确定模块；404-图像融合模块；50-电子设备；501-通信接口；502-处理器；503-存储器。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
目前，在进行图像融合时，需要先对多幅序列图像进行配准以获得多副图像的重叠区域，该重叠区域中具有多副图像中的共同特征，通过对重叠区域进行融合就可以获得一副宽视角、高分辨率的无缝拼接图像。
但当图像的重合区域包含运动物体时，如果在进行图像配准之后直接将这两幅图像融合的话，会在融合后的图像中出现鬼影或残影，严重影响融合后的图像的质量。
例如，参见图1，图1为本发明实施例提供的待融合图像，图1(a)和(b)分别为两张需要进行融合的第一图像和第二图像，在图1(a)和(b)中包含运动物体10，利用传统方法将图1(a)和(b)中的图像直接进行融合后，得到的融合图像如图2所示，图2为利用传统方法直接进行图像融合的结果图，其中，图2(a)为图像融合后的全景图，图2(b)的为图2(a)中的局部图，从图2(b)中可以看出，传统方法将两张图像直接融合后，会出现运动物体的残影。
为了解决上述问题，本发明实施例提出一种图像融合方法，其核心在于进行图像配准后针对待融合图像的重叠区域，计算出一条最佳拼接线，该最佳拼接线可以将图像重叠区域划分为保留区域和剔除区域，并使得运动物体位于剔除区域之中，并将待融合图像中的保留区域进行融合，这样一来，就实现了去除运动物体的鬼影或残影的目的，提高了融合图像的质量。
需要说明的是，由于每个图像包含的像素点数量较多，为了方便描述本发明实施例提供的技术方案，本发明实施例中将图像的重叠区域简化成包含少量像素点的图，参见图3，图3为一种简化的重叠区域示意图，简化的方式可以是将重叠区域简化成包含N×N个素的区域，例如，N的取值可以为4、6等，图中的数值1～16用以表示普通像素点1～16，L点和R点为重叠区域中左边界和右边界上的像素点，也可以称之为终端点或者边界点。
可以理解地，图3中的普通像素点和终端点可以将所有像素点之间的边分成两类，为了方便区分，将普通像素点之间连接的边分配标识“e”和例如，像素点1和像素点2之间连接的边；将普通像素点和终端点之间连接的边分配标识“t”，例如像素点L与像素点1、5、9、13或者是像素点R与像素点4、8、12、16之间连接的边。需要说明的是，简化的重叠区域中的像素点和边的表示方式仅仅是为了区分，在其他一些实施例中，像素点和边的区分方式可以按照实际场景需要进行表示，本发明实施例在此不予限定。
可以理解地，图3重叠区域中的虚线即为最佳拼接线，本发明实施例的目的就是计算出这条拼接线，然后依据该拼接线将图像进行拼接，这样拼接出来的图像中就不会出现运动物体的残影。
通过上述描述可知，本发明实施的提供的图像融合方法可以去除融合图像中运动物体的残影，下面将结合图1和图3详细介绍本发明提供的图像融合方法，首先请参照图4，图4为本发明实施例提供的图像融合方法的示意性流程图。该图像融合方法包括以下步骤：
步骤201、获取待融合的第一图像和第二图像。
上述的第一图像和第二图像中包含运动物体。
可以理解的，该运动物体可以是人、动物等物体，该物体分布在第一图像和第二图像中的不同位置。
步骤202、通过图像配准获取第一图像和第二图像的重叠区域。
上述的重叠区域指得是第一图像和第二图像中具有多个对应的图像特征的区域，在本发明实施例中，重叠区域中具有的对应特征可以是运动物体。同时，该重叠区域简化成由N×N个像素点组成。
步骤203、计算每一行像素点中任意相邻两个像素点之间的边权值。
步骤204、根据每一行中的最小边权值所对应边确定目标拼接线。
上述的目标拼接线用于划分重叠区域中的保留区域和剔除区域，且该剔除区域中包含运动物体。
步骤205、依据目标拼接线将第一图像和第二图像进行融合，得到第三图像。
上述的第三图像包括保留区域。
例如，假设本发明实施例中的第一图像和第二图像分别为图1(a)和(b)中的两张待融合图像，通过获取这两张图像的重叠区域后，假设该重叠区域的可以简化成如图3所示示意图，那么通过计算图3中每一行上相邻像素点的边权值之后，就能将每一行中最小边权值对应的边确定出来，例如，假设像素点1和2、像素点5和6、像素点10和11、像素点15和16之间的边对应的边权值是其所在行中的最小边权值，那么就可以将像素点1和2、像素点5和6、像素点10和11、像素点15和16之间的边作为最佳拼接线的连接位置，将这些连接位置连接在一起就构成了一条最佳拼接线，该最佳拼接线将该重叠区域分割成两个区域，在本发明实施例中，将拼接线左侧的区域确定为保留区域，拼接线右侧的区域确定为剔除区域，且运动物体位于所属剔除区域，将得到的保留区域进行融合后，就可以得到没有运动物体残影的融合图像。
本发明实施例提供的图像融合方法，首先获取待融合的第一图像和第二图像；第一图像和第二图像中包含运动物体；然后通过图像配准获取第一图像和第二图像的重叠区域；重叠区域具有运动物体；重叠区域包括N×N个像素点；再计算每一行像素点中任意相邻两个像素点之间的边权值；根据每一行中的最小边权值所对应边确定目标拼接线；目标拼接线用于划分重叠区域中的保留区域和剔除区域；剔除区域中包含运动物体，最后依据目标拼接线将第一图像和第二图像进行融合，得到第三图像；第三图像包括保留区域。与现有技术相比，本方法在在进行图像融合之前先获得用于进行的融合的目标拼接线，该拼接线可以将待融合的图像的重叠区域进行划分，获得保留区域和剔除区域，且运动物体留在剔除区域，然后将待融合图像的保留区域进行融合，这样一来，融合后得到的图像中就不会出现运动物体的残影，提高了融合图像的质量。
可选地，从上述实施例可以得出，计算最佳拼接线的关键是计算像素点之间的边权值，从图3可以看出，重叠区域中有两类边，一类是具有“e”标识的边，一类是具有“t”标识的边。由于最佳拼接线是用于将重叠区域进行划分，所以最佳拼接线需要在重叠区域内计算，为了保证最终的得到的最佳拼接线在重叠区域内，可以将具有“t”标识的边的权值设为+∞，这样一来，通过找最小边权值的方法所确定最佳拼接线只会在重叠区域内出现，从而能够实现划分重叠区域的目的。
例如，参见图5，图5为本发明实施例提供的重叠区域与拼接线位置示意图，其中图5的(a)为掩模图，图4的(b)为拼接后的图像，其中，掩模图像就是二值权值图像，是将原图像中的像素点分配不同的权值后，将权值与像素灰度值进行与运算后得到的图像，例如，某一像素点的灰度值为43，若分配的权值为1，将像素值与权值做与运算后，该像素点的灰度值就变成1，若分配的权值为0，则做与运算后像素的灰度值变成0，则图5(a)中白色区域为权值为1的区域，黑色区域为权值为0的区域。图5(a)中的实线框区域表示重叠区域，虚线框表示最佳拼接线的运动区域，也就是说，最佳拼接线只有出现在重叠区域内，才能实现划分重叠区域的目的，当计算的拼接线位于重叠区域后，依据该拼接线进行图像拼接后的图像就能去除残影，如图5(b)所示，该图是依据拼接线进行融合的图像，从图中可以看出，该融合后的图像中无残影，且物体边缘完整。
通过上述描述可知，只需要通过计算重叠区域中普通像素点之间的边权值，也就是图3中具有“e”标识的边的权值，就可以确定出最佳拼接线，因此，为了详细描述计算权值的过程，在图3的基础上，给出一种可能的实现方式，参见图6，图6为本发明实施例提供的另一种图像融合方法的示意性流程图，该图像融合方法包括以下步骤：
步骤203-1、基于像素点的灰度值计算任意相邻两个像素点之间的第一权值。
上述的第一权值包括水平方向上和垂直方向上的第一权值，计算水平方向和垂直方向上的第一权值的目的是为了考虑相邻像素点之间像素灰度值差异对边权值的影响。在本发明实施实施例中，水平方向上和垂直方向上的第一权值分别满足如下关系式：
Figure GDA0002744197300000071
Figure GDA0002744197300000072
其中，wx和wy分别表征相邻两个像素点在水平方向上和垂直方向上的第一权值；Pl(x,y)与Pl(x+1,y)分别表征第一图像在重叠区域水平方向上的相邻两个像素点的像素灰度值；Pr(x,y)与Pr(x+1,y)分别表征第二图像在重叠区域水平方向上的相邻两个像素点的像素灰度值；Pl(x,y)与Pl(x,y+1)分别表征第一图像在重叠区域垂直方向上的相邻两个像素点的像素灰度值；Pr(x,y)与Pr(x,y+1)分别表征第二图像在重叠区域垂直方向上的相邻两个像素点的像素灰度值。
例如，参见图3，当需要计算像素点5和像素点6之间的边权值时，那么针对像素点5，其相邻的像素点有水平方向上的像素6和垂直方向上的像素点9，假设像素点5、像素点6和像素点9的在第一图像上的像素灰度值为11，13，15，在第二图像中的像素灰度值为14，10，6，那么根据关系式(1)可以得到像素点5和像素点6之间的边在水平方向上的第一权值为1，根据关系式(2)可以得到在垂直方向上的第一权值为0.5。通过关系式(1)和关系式(2)就可以计算出重叠区域中任意相邻像素点之间的第一权值。
步骤203-2、依据高斯卷积模板计算任意相邻两个像素点之间的第二权值。
可选地，上述的高斯卷积模板可以用于计算重叠区域中各个像素点经过卷积计算之后的像素灰度值，其目的是为了检测像素点在垂直与水平方向上的梯度信息，从而在计算边权值的时候将物体的完整性因素考虑进去，避免在进行图像分割时出现物体边缘不完整现象。在本发明实施例中，高斯卷积模板可以满足如下关系式：
Figure GDA0002744197300000073
其中，Gx和Gy为像素点在X轴方向和Y轴方向偏微分的一阶近似，通过关系式(3)即可以得到像素点经过卷积计算之后的像素灰度值。
上述的第二权值包括水平方向上和垂直方向上的第二权值，第二权值可以是相邻像素点之间的梯度域权值，表征相邻像素点之间的梯度信息，当有物体在拼接线上，考虑像素点梯度域上的信息可以保证要保证物体边缘的完整性。在本发明实施例中，水平方向上和垂直方向上的第二权值分别满足如下关系式：
Figure GDA0002744197300000081
Figure GDA0002744197300000082
其中，we和wg分别表征相邻两个像素点在水平方向上和垂直方向上的第二权值；
Figure GDA0002744197300000083
分别表征第一图像在重叠区域中的像素灰度值经过高斯卷积模板计算后的像素灰度值；
Figure GDA0002744197300000084
分别表征第二图像在重叠区域中的像素灰度值经过高斯卷积模板计算后的像素灰度值。
例如，继续以计算图3中的像素点5和像素点6之间的边权值为例，假设通过关系式(3)计算的像素点5、像素点6和像素点9的灰度值在第一图像上中经过卷积之后的梯度值为5,6,3，在第二图像在第一图像上中经过卷积之后的梯度值为9,7,6，那么根据关系式(4)可以得到像素点5和像素点6之间的梯度域权值we＝5+6+9+7＝27，根据关系式(5)可以得到像素点5和像素点9之间的梯度域权值wg＝5+3+9+6＝23，这样一来，就可以根据关系式(4)和(5)得到任意相邻像素点之间的第二权值，也就是梯度域权值。
步骤203-3、根据第一权值和第二权值计算第三边权值，作为任意相邻两个像素点之间的边权值。
在本发明实施例中，第三边权值满足如下关系式：
Figure GDA0002744197300000085
其中，w′e表征任意相邻两个像素点之间的边权值；wx和wy分别表征相邻两个像素点在水平方向上和垂直方向上的第一权值；we和wg分别表征相邻两个像素点在水平方向上和垂直方向上的第二权值。
例如，继续参见图3，假设经过计算得到像素点5和像素点6之间的第一权值在水平方向上的值为1，在垂直方向上的值为0.5，像素点5和像素点9之间的第二权值在水平方向上的值为2，在垂直方向上的值为1，那么根据关系式(6)可以得到像素点5和像素点6之间的边权值为2。
可选地，通过上述实施例的描述可以获得重叠区域中任意相邻像素点之间的边权值，然后将每一行中边权值最小的边标记为连接位置，最终将这些连接位置进行连接就可以得到最终的目标拼接线。
例如，参见图3，假设通过计算得到第一行中的像素点1和像素点2、像素点2和像素点3、像素点3和像素点4之间的边权值分别为1，2，3，那么像素点1和像素点2之间的边权值最小，所以可以将像素点1和像素点2之间的边标记为目标拼接线的连接位置，以此类推，第二行中的像素点5和像素点6、第三行中的像素点10和像素点11、第四行中的像素点15和像素点16之间的边被标记为目标拼接线的连接位置，最后将这些具有标记的连接位置进行连接，就可以得到最终的目标连接线。
可选地，为了详细描述依据最佳拼接线进行图像融合的过程，在图3的基础上，给出一种可能的实现方式，参见图7，图7为本发明实施例提供的另一种图像融合方法的示意性流程图，该方法还包括：
步骤205-1、将目标拼接线一侧的像素点标记为第一像素点，另一侧的像素点标记为第二像素点。
可选地，上述的第一像素点和第二像素点具有不同的权值，例如，在本发明实施例中，第一像素点的权值可以为1，第二像素点的权值可以为0，这样一来就可以根据该像素点获得待融合图像的二值权值图，通过该二值全图可以直观的看到划分的保留区域和剔除区域。
例如，结合图1和图3，假设图1(a)和(b)为本发明实施例中的第一图像和第二图像，图3为图1(a)和(b)中两张图像的重叠区域简化图，在计算出最佳拼接线后，可以将拼接线左侧的像素点的权值设为1，即像素点1、5、9、10，13、14、15以及L点的权值设为1，拼接线右侧的像素点的权值设为0，即像素点2、3、4、7、8、11、12、16以及R的权值设为0，这样一来，就能得到关于图1(a)和(b)中两张图像的二值权值图，参见图8，图8为本发明实施例提供的待融合图像的二值权值图，其中，图8(a)为图1(a)对应的二值权值图，图8(b)为图1(b)对应的二值权值图。
步骤205-2、将具有第一像素点的区域作为第一图像和第二图像的所保留区域。
在本发明实施例中，二值权值图像中权值为1的区域为保留区域，权值为0的区域为剔除区域，根据二值权值图就可以得到原待融合图像的保留区域和剔除区域，参见图9，图9为待融合图像实际保留区域与剔除区域，其中图9(a)对应图1(a)中的图像，图9(b)对应图1(b)中的图像，结合图1和图9可以看出，原图像中的运动物体10位于剔除区域中，因此基于该保留区域得到的融合图像中就不会出现运动物体残影了。
步骤205-3、将第一图像和第二图像的保留区域进行融合得到第三图像。
可选地，针对步骤205-3中的融合方式，可以是包括基于图像金字塔的多分辨率融合方法，也可以是基于小波变换的多分辨率融合方法，其中在基于金字塔的多分辨率融合方法中，基于金字塔的拉普拉斯(Laplacian)多分辨率融合方法最具有代表性，该方法在进行图像融合时，首先对输入的图像G0进行降采样得到高斯金字塔图像序列G0，G1…Gl，参见图10，图10为高斯金字塔降采样分解图，降采样的计算方法满足如下关系式：
Gl＝Reduce(Gl-1) (7)
其中，Gl表示高斯金字塔图像序列第l层图像，Gl-1高斯金字塔图像序列第l-1层图像。
可选地，将得到的高斯金字塔图像Gl进行升采样得到放大后的图像
Figure GDA0002744197300000101
利用高斯金字塔图像Gl进行升采样得到放大后的图像
Figure GDA0002744197300000102
得到拉普拉斯分解图像，其计算关系满足如下关系式：
Figure GDA0002744197300000103
其中，N为普拉斯金字塔的顶层编号，LPl为拉普拉斯金字塔分解图像的l层，LP0，LP1，LP3,…,LPN就构成了拉普拉斯金字塔图像，参见图11，图11为拉普拉斯金字塔分解图。
可选地，用每个拉普拉斯金字塔图像与高斯掩模做卷积进行图像重构融合就能得到最终的图像融合结果，图像重构的计算方法满足如下关系式：
Figure GDA0002744197300000104
其中，Gl表示高斯金字塔图像序列第l层图像，GN为重构后的原图像。
在本发明实施例中，经过图像配准后的两幅图像，在重叠区域形成二值掩模图后，采用拉普拉斯(Laplacian)多分辨率融合方法最终融合图像结果如12所示，图12示出了本发明实施例提供的图像融合方法的图像融合结果图，其中图12(a)为全景图，图12(b)为图2(a)中的局部图，结合图12(b)和图2(b)可以看出，本发明实施例提供的图像融合方法得到的融合图像实现了去除了运动物体残影的目的。
为了实现上述的步骤201～步骤205，本发明实施例提供一种图像融合装置，如图13，图13为本发明实施例提供的一种图像融合装置的方框示意图，该图像融合装置40包括：图像获取模块401、权值计算模块402、确定模块403、图像融合模块404。
图像获取模块401，用于获取待融合的第一图像和第二图像；第一图像和所述第二图像中包含运动物体；还用于获取第一图像和第二图像的重叠区域；重叠区域包含运动物体；重叠区域包括N×N个像素点。
权值计算模块402，用于计算每一行像素点中任意相邻两个像素点之间的边权值。
确定模块403，用于根据每一行中的最小边权值所对应边确定目标拼接线；目标拼接线用于划分重叠区域中的保留区域和剔除区域；剔除区域包含运动物体。
图像融合模块404，用于依据目标拼接线将第一图像和第二图像进行融合，得到第三图像；第三图像包括保留区域。
可以理解的，图像获取模块401、权值计算模块402、确定模块403、图像融合模块404可以用来协同的执行步骤201～步骤205以实现相应的技术效果。
本发明实施例提供的图像融合装置，包括图像获取模块、权值计算模块、确定模块、图像融合模块。图像获取模块用于获取待融合的第一图像和第二图像；第一图像和第二图像中包含运动物体，然后通过图像配准获取第一图像和第二图像的重叠区域；重叠区域包含运动物体；重叠区域包括N×N个像素点；权值计算模块用于计算每一行像素点中任意相邻两个像素点之间的边权值；确定模块用于根据每一行中的最小边权值所对应边确定目标拼接线；目标拼接线用于划分重叠区域中的保留区域和剔除区域；剔除区域中包含运动物体，图像融合模块用于依据目标拼接线将第一图像和第二图像进行融合，得到第三图像；第三图像包括保留区域。本装置在进行图像融合之前先获得用于进行的融合的目标拼接线，该拼接线可以将待融合的图像的重叠区域进行划分，获得保留区域和剔除区域，且运动物体留在剔除区域，然后将待融合图像的保留区域进行融合，这样一来，融合后得到的图像中就不会出现运动物体的残影，提高了融合图像的质量。
可选地，权值计算模块402还用于基于像素点的灰度值计算任意相邻两个像素点之间的第一权值；第一权值包括水平方向上和垂直方向上的第一权值；还用于依据高斯卷积模板计算任意相邻两个像素点之间的第二权值；第二权值包括水平方向上和垂直方向上的第二权值；还用于根据第一权值和第二权值计算第三边权值，作为任意相邻两个像素点之间的边权值。其中，第一权值和第二权值的计算关系式如上述图像融合方法中描述的关系式(1)～关系式(6)，在此不再赘述。
可以理解的，权值计算模块402还可以用来执行步骤203-1～步骤203-3以实现相应的技术效果。
可选地，权值计算模块402还可以用于将所目标拼接线一侧的像素点标记为第一像素点，另一侧的像素点标记为第二像素点；第一像素点和第二像素点具有不同的权值。确定模块403还用于将具有第一像素点的区域作为第一图像和第二图像的保留区域。图像融合模块404将第一图像和第二图像的保留区域进行融合得到第三图像。
可以理解的，权值计算模块402可以用来执行步骤205-1、确定模块403可以用来执行步骤205-2、图像融合模块404可以用来执行步骤205-3以实现相应的技术效果。
本发明实施例还提供一种电子设备，如图14，图14为本发明实施例提供的一种电子设备的方框示意图。该电子设备50包括通信接口501、处理器502和存储器503。该处理器502、存储器503和通信接口501相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器503可用于存储软件程序及模块，如本发明实施例所提供的图像融合方法对应的程序指令/模块，处理器502通过执行存储在存储器503内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口501可用于与其他节点设备进行信令或数据的通信。在本发明中该电子设备50可以具有多个通信接口501。
其中，存储器503可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器502可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
电子设备50可以实现本发明提供的任一种图像融合方法，该电子设备50可以是，但不限于，手机、平板电脑、笔记本电脑、个人电脑、服务器或其它具有处理能力的电子设备。
本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前述实施方式中任一项的图像融合方法。该计算机可读存储介质可以是，但不限于，U盘、移动硬盘、ROM、RAM、PROM、EPROM、EEPROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的各种实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种图像融合方法，其特征在于，所述方法包括：
获取待融合的第一图像和第二图像；所述第一图像和所述第二图像中包含运动物体；
通过图像配准获取所述第一图像和所述第二图像的重叠区域；所述重叠区域包含所述运动物体；所述重叠区域包括N×N个像素点；
计算每一行所述像素点中任意相邻两个像素点之间的边权值，包括：基于所述像素点的灰度值计算任意相邻两个像素点之间的第一权值；所述第一权值包括水平方向上和垂直方向上的第一权值；依据高斯卷积模板计算所述任意相邻两个像素点之间的第二权值；所述第二权值包括水平方向上和垂直方向上的第二权值；根据所述第一权值和所述第二权值计算第三权值，作为所述任意相邻两个像素点之间的所述边权值；其中，所述水平方向上和垂直方向上的第一权值分别满足以下公式：
Figure FDA0002744197290000011
Figure FDA0002744197290000012
其中，wx和wy分别表征所述相邻两个像素点在水平方向上和垂直方向上的第一权值；Pl(x，y)与Pl(x+1，y)分别表征所述第一图像在所述重叠区域的水平方向上的相邻两个像素点的像素灰度值；Pr(x，y)与Pr(x+1，y)分别表征所述第二图像在所述重叠区域的水平方向上的相邻两个像素点的像素灰度值；Pl(x，y)与Pl(x，y+1)分别表征所述第一图像在所述重叠区域的垂直方向上的相邻两个像素点的像素灰度值；Pr(x，y)与Pr(x，y+1)分别表征所述第二图像在所述重叠区域的垂直方向上的相邻两个像素点的像素灰度值；
根据每一行中的最小边权值所对应边确定目标拼接线；所述目标拼接线用于划分所述重叠区域中的保留区域和剔除区域；所述剔除区域中包含所述运动物体；
依据所述目标拼接线将所述第一图像和所述第二图像进行融合，得到第三图像；所述第三图像包括所述保留区域。
2.根据权利要求1所述的方法，其特征在于，所述水平方向上和垂直方向上的第二权值分别满足以下公式：
Figure FDA0002744197290000013
Figure FDA0002744197290000021
其中，we和wg分别表征所述相邻两个像素点在水平方向上和垂直方向上的第二权值；lx和lx+1分别表征所述第一图像在所述重叠区域的水平方向上的相邻两个像素点；ly和lx+1分别表征所述第一图像在所述重叠区域中竖直方向上的相邻两个像素点；rx和rx+1分别表征所述第二图像在所述重叠区域的水平方向上的相邻两个像素点；ry和ry+1分别表征所述第二图像在所述重叠区域中竖直方向上的像素点；
Figure FDA0002744197290000022
分别表征所述第一图像在所述重叠区域中的像素灰度值经过所述高斯卷积模板计算后的像素灰度值；
Figure FDA0002744197290000023
分别表征所述第二图像在所述重叠区域中的像素灰度值经过高斯卷积模板计算后的像素灰度值。
3.根据权利要求1所述的图像融合方法，其特征在于，所述第三权值满足以下公式：
Figure FDA0002744197290000024
其中，w′e表征所述任意相邻两个像素点之间的边权值；wx和wy分别表征所述相邻两个像素点在水平方向上和垂直方向上的第一权值；we和wg分别表征所述相邻两个像素点在水平方向上和垂直方向上的第二权值。
4.根据权利要求1所述的方法，其特征在于，依据所述目标拼接线将所述第一图像和所述第二图像进行融合得到第三图像的步骤，包括：
将所述目标拼接线一侧的像素点标记为第一像素点，另一侧的像素点标记为第二像素点；所述第一像素点和所述第二像素点具有不同的权值；
将具有所述第一像素点的区域作为所述第一图像和所述第二图像的所述保留区域；
将所述第一图像和所述第二图像的所述保留区域进行融合得到所述第三图像。
5.一种图像融合装置，其特征在于，包括：图像获取模块、确定模块、权值计算模块和图像融合模块；
所述图像获取模块，用于获取待融合的第一图像和第二图像；所述第一图像和所述第二图像中包含运动物体；还用于获取所述第一图像和所述第二图像的重叠区域；所述重叠区域包含所述运动物体；所述重叠区域包括N×N个像素点；
所述权值计算模块，用于计算每一行像素点中任意相邻两个像素点之间的边权值；所述权值计算模块，具体用于：基于所述像素点的灰度值计算任意相邻两个像素点之间的第一权值；所述第一权值包括水平方向上和垂直方向上的第一权值；依据高斯卷积模板计算所述任意相邻两个像素点之间的第二权值；所述第二权值包括水平方向上和垂直方向上的第二权值；根据所述第一权值和所述第二权值计算第三权值，作为所述任意相邻两个像素点之间的所述边权值；其中，所述水平方向上和垂直方向上的第一权值分别满足以下公式：
Figure FDA0002744197290000031
Figure FDA0002744197290000032
其中，wx和wy分别表征所述相邻两个像素点在水平方向上和垂直方向上的第一权值；Pl(x，y)与Pl(x+1，y)分别表征所述第一图像在所述重叠区域的水平方向上的相邻两个像素点的像素灰度值；Pr(x，y)与Pr(x+1，y)分别表征所述第二图像在所述重叠区域的水平方向上的相邻两个像素点的像素灰度值；Pl(x，y)与Pl(x，y+1)分别表征所述第一图像在所述重叠区域的垂直方向上的相邻两个像素点的像素灰度值；Pr(x，y)与Pr(x，y+1)分别表征所述第二图像在所述重叠区域的垂直方向上的相邻两个像素点的像素灰度值；
所述确定模块，用于根据每一行中的最小边权值所对应边确定目标拼接线；所述目标拼接线用于划分所述重叠区域中的保留区域和剔除区域；所述剔除区域包含所述运动物体；
所述图像融合模块，用于依据所述目标拼接线将所述第一图像和所述第二图像进行融合，得到第三图像；所述第三图像包括所述保留区域。
6.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-4中任一项所述的方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-4中任一项所述的方法。
CN201911084850.3A 2019-11-08 2019-11-08 图像融合方法、装置、电子设备及计算机可读存储介质 Active CN110782424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911084850.3A CN110782424B (zh) 2019-11-08 2019-11-08 图像融合方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911084850.3A CN110782424B (zh) 2019-11-08 2019-11-08 图像融合方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110782424A CN110782424A (zh) 2020-02-11
CN110782424B true CN110782424B (zh) 2021-02-09

Family

ID=69390166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911084850.3A Active CN110782424B (zh) 2019-11-08 2019-11-08 图像融合方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110782424B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200727B (zh) * 2020-11-06 2023-11-21 星宸科技股份有限公司 图像缝合装置、图像处理芯片、及图像缝合方法
CN112862685B (zh) * 2021-02-09 2024-02-23 北京迈格威科技有限公司 图像拼接的处理方法、装置和电子系统
CN113077387B (zh) * 2021-04-14 2023-06-27 杭州海康威视数字技术股份有限公司 一种图像处理方法及装置
CN113962867B (zh) * 2021-12-22 2022-03-15 深圳思谋信息科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN114998175B (zh) * 2022-06-16 2023-09-05 洛阳热感科技有限公司 基于区域边缘强度的图像融合方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869113A (zh) * 2016-03-25 2016-08-17 华为技术有限公司 全景图像的生成方法和装置
CN105957007A (zh) * 2016-05-05 2016-09-21 电子科技大学 基于特征点平面相似度的图像拼接方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7778491B2 (en) * 2006-04-10 2010-08-17 Microsoft Corporation Oblique image stitching
CN103985133B (zh) * 2014-05-30 2017-01-18 武汉大学 基于图割能量优化的影像间最优拼接线寻找方法及系统
CN107203986A (zh) * 2017-05-26 2017-09-26 努比亚技术有限公司 一种图像融合方法、装置及计算机可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869113A (zh) * 2016-03-25 2016-08-17 华为技术有限公司 全景图像的生成方法和装置
CN105957007A (zh) * 2016-05-05 2016-09-21 电子科技大学 基于特征点平面相似度的图像拼接方法

Also Published As

Publication number Publication date
CN110782424A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN110782424B (zh) 图像融合方法、装置、电子设备及计算机可读存储介质
CN110135455B (zh) 影像匹配方法、装置及计算机可读存储介质
US20180225527A1 (en) Method, apparatus, storage medium and device for modeling lane line identification, and method, apparatus, storage medium and device for identifying lane line
CN109698944B (zh) 投影区域校正方法、投影设备及计算机可读存储介质
CN108765343A (zh) 图像处理的方法、装置、终端及计算机可读存储介质
CN108986197B (zh) 3d骨架线构建方法及装置
CN108711144B (zh) 增强现实方法及装置
CN112418195B (zh) 一种人脸关键点检测方法、装置、电子设备及存储介质
CN111163265A (zh) 图像处理方法、装置、移动终端及计算机存储介质
CN110825900A (zh) 特征重构层的训练方法、图像特征的重构方法及相关装置
CN111131688B (zh) 一种图像处理方法、装置及移动终端
CN114331951A (zh) 图像检测方法、装置、计算机、可读存储介质及程序产品
CN108234826B (zh) 图像处理方法及装置
CN112348819A (zh) 模型训练方法、图像处理及配准方法以及相关装置、设备
CN116012432A (zh) 立体全景图像的生成方法、装置和计算机设备
CN113744142B (zh) 图像修复方法、电子设备及存储介质
CN113592720B (zh) 图像的缩放处理方法、装置、设备、存储介质
CN114202457A (zh) 低分辨率图像的处理方法、电子设备及计算机程序产品
CN113570725A (zh) 基于聚类的三维表面重建方法、装置、服务器及存储介质
CN116721516A (zh) 一种基于视频监控的预警方法、装置及存储介质
CN114972030A (zh) 一种图像拼接方法、装置、存储介质与电子设备
CN114913105A (zh) 激光点云融合方法、装置、服务器及计算机可读存储介质
CN113628148A (zh) 红外图像降噪方法和装置
CN114004839A (zh) 全景图像的图像分割方法、装置、计算机设备和存储介质
Sun et al. Fractal pyramid low-light image enhancement network with illumination information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant