CN111798540B - 图像融合方法和系统 - Google Patents

图像融合方法和系统 Download PDF

Info

Publication number
CN111798540B
CN111798540B CN202010451433.4A CN202010451433A CN111798540B CN 111798540 B CN111798540 B CN 111798540B CN 202010451433 A CN202010451433 A CN 202010451433A CN 111798540 B CN111798540 B CN 111798540B
Authority
CN
China
Prior art keywords
boundary
image
weight
pixel
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010451433.4A
Other languages
English (en)
Other versions
CN111798540A (zh
Inventor
杨培
刘晓静
任洋甫
潘倩
杨爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dragon Totem Technology Hefei Co ltd
Fitow Tianjin Detection Technology Co Ltd
Original Assignee
Qinghai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qinghai University filed Critical Qinghai University
Priority to CN202010451433.4A priority Critical patent/CN111798540B/zh
Publication of CN111798540A publication Critical patent/CN111798540A/zh
Application granted granted Critical
Publication of CN111798540B publication Critical patent/CN111798540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像融合方法和系统，涉及图像处理技术领域。现有加权融合方法产生拼接线的主要原因是未能考虑重叠区域的所有边界，当待拼接图像相对于参考图像发生水平方向之外的变化后在上下边界处得到的融合像素值与参考图或待拼接图像素发生跳变，存在较为明显的拼接痕迹。本发明在进行图像融合时，考虑了全部边界，使得在边界处融合像素的像素值过渡更平滑，减轻拼接痕迹。同时，本发明考虑了顶点和边界上权重不连续点，融合区域像素变化更加平缓，进一步解决了现有的图像融合方法在图像的重叠区域边界会存在拼接痕迹这一技术问题。

Description

图像融合方法和系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种图像融合方法和系统。
背景技术
图像拼接是一种重要的图像处理技术，可将两张或多张存在重合区域的图像整合为一幅新的图像。图像融合指将两幅或两幅以上原图像进行融合处理，生成包含源图像有效特征信息的新图像。图像融合被广泛应用于图像、视频编辑，虚拟现实等领域。图像融合作为图像拼接的关键步骤，得到国内外学者的广泛关注。
加权融合是图像一类重要的图像融合算法，典型的加权图像融合方法包括均值融合、渐入渐出图像融合及三角函数加权图像融合等。
然而，现有的加权图像融合方法在图像的重叠区域边界会存在拼接痕迹。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种图像融合方法和系统，解决了现有的加权图像融合方法在图像的重叠区域边界会存在拼接痕迹的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
本发明提供一种图像融合方法，包括：
获取待融合图像的重叠区域，所述待融合图像包括参考图像和待拼接图像；
获取重叠区域的上下左右四个边界和边界顶点，所述边界顶点为同时位于两个边界上的点；
获取重叠区域上下左右四个边界和边界顶点处像素点的参考图像权重；
获取边界上的参考图权重的不连续点，通过所述不连续点做垂直方向的分割线，所述分割线将重叠区域划分为多个子区域；
获取重叠区域上分割线上的各个像素点的参考图像权重和各个子区域的所有像素点的参考图像权重；
基于重叠区域上各个像素点的参考图像权重，获取重叠区域上各个像素点待拼接图像权重；
基于所述重叠区域上各个像素点的参考图像权重和待拼接图像权重对重叠区域对应参考图像和待拼接图像进行融合，得到融合图像。
优选的，所述获取重叠区域上下左右四个边界和边界顶点处像素点的参考图像权重，包括：
当像素点(x，y)位于左边界，且不为边界顶点时，像素点(x，y)的权重计算公式如下：
Figure GDA0004044492800000021
当像素点(x，y)位于右边界，且不为边界顶点时，像素点(x，y)的权重计算公式如下：
Figure GDA0004044492800000031
当像素点(x，y)位于上边界，且不为边界顶点时，像素点(x，y)的权重计算公式如下：
Figure GDA0004044492800000032
当像素点(x，y)位于下边界，且不为边界顶点时，像素点(x，y)的权重计算公式如下：
Figure GDA0004044492800000033
当像素点(x，y)为边界顶点时，像素点(x，y)的权重计算公式如下：
Figure GDA0004044492800000034
其中：
S1表示仅属于参考图像的像素构成区域，不包括重叠区域；
S2表示仅属于待拼接图像的像素构成区域，不包括重叠区域；
ω1-e1和ω1-e2分别为边界顶点所在两条边界计算得到的权重值。
优选的，所述通过不连续点做垂直方向的分割线包括：
对于边界上的权重不连续点，通过每个权重不连续点做平行于纵坐标轴的分割线。
优选的，所述获取分割线上的各个像素点的参考图像权重，包括：
分割线上像素点参考图像权重的计算公式如下：
ω1(x,y)＝ω1(x-1,y)。
优选的，所述获取重叠区域上各个子区域的所有像素点的参考图像权重，包括：
从重叠区域上各个子区域的最左列开始，从上到下依次计算每列所有像素点的参考图像权重值。
优选的，计算每列所有像素点的参考图像权重值，包括：
使用分割线将重叠区域划分后，各子区域都以整个重叠区域的右边界作为本区域的右边界，像素点(x，y)处参考图像权重ω1(x,y)的计算公式如下：
Figure GDA0004044492800000041
其中：
xl,xr分别表示过点(x,y)所做平行于横坐标轴的平行线与(x,y)所在重叠子区域左右边界交点的横坐标；yt，yb分别表示过点(x,y)所做平行于纵轴的平行线与(x,y)所在重叠子区域的上下边界交点的纵坐标；α为常数；
s(·)表示二值函数，定义为：
Figure GDA0004044492800000042
ωs为点(x，y)到左右边界的距离倒数的和，定义为：
Figure GDA0004044492800000051
本发明还提供一种图像融合系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
(三)有益效果
本发明提供了一种图像融合方法和系统。与现有技术相比，具备以下有益效果：
本发明通过获取待融合图像的重叠区域，待融合图像包括参考图像和待拼接图像，获取重叠区域的上下左右四个边界和边界顶点，获取四个边界和边界顶点处像素点的参考图像权重；获取边界上的不连续点，通过不连续点做垂直分割线，通过分割线将重叠区域划分为多个子区域；然后从左到右获取各个子区域的所有像素点的参考图像权重；获取分割线上的各个像素点的参考图像权重；基于重叠区域上各个像素点的参考图像权重，得到重叠区域上各个像素点待拼接图像权重；基于重叠区域上各个像素点的参考图像权重和待拼接图像权重融合待融合图像，得到融合图像。现有加权融合方法产生拼接线的主要原因是未能考虑重叠区域的所有边界，当待拼接图像相对于参考图像发生水平方向之外的变化后在上下边界处得到的融合像素值与参考图或待拼接图像素发生跳变，存在较为明显的拼接痕迹。本发明在进行图像融合时，考虑了全部边界，使得在边界处融合像素的像素值过渡更平滑，减轻拼接痕迹。同时，本发明考虑了顶点和边界上权重不连续点，融合区域像素变化更加平缓，进一步解决了现有的图像融合方法在图像的重叠区域边界会存在拼接痕迹这一技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为不同算法的融合效果图的拼接痕迹示意图，其中(a)均值融合，(b)渐入渐出，(c)三角函数，(d)本发明实施例中的方法；
图2为本发明实施例中一种图像融合方法的框图；
图3为本发明实施例中融合示意图；
图4为四种方法在第1组测试图像上的融合效果。(a)参考图像，(b)待拼接图像，(c)均值融合，(d)渐入渐出，(e)三角函数，(f)本发明实施例的方法；
图5为四种方法在第2组测试图像上的融合效果。(a)参考图像，(b)待拼接图像，(c)均值融合，(d)渐入渐出，(e)三角函数，(f)本发明实施例的方法；
图6为四种方法在第3组测试图像上的融合效果。(a)参考图像，(b)待拼接图像，(c)均值融合，(d)渐入渐出，(e)三角函数，(f)本发明实施例的方法；
图7为四种方法在第4组测试图像上的融合效果。(a)参考图像，(b)待拼接图像，(c)均值融合，(d)渐入渐出，(e)三角函数，(f)本发明实施例的方法。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种图像融合方法，解决了现有的图像融合方法在图像的重叠区域边界会存在拼接痕迹的技术问题，实现在边界处融合像素的像素值过渡更平滑，减轻拼接痕迹。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
现有的加权融合方法大多基于重合区域的左右边界计算权重，对于待拼接图像仅相对于参考图像做水平移动的情况，大部分方法融合效果较好。对于其他拼接场景，则会出现明显的拼接痕迹。如图1所示，待拼接图像相对于参考图像产生了水平和垂直两个方向的移动，均值融合、渐入渐出和三角函数三种加权融合方法的融合结果中都出现了明显的拼接痕迹，如图1(a)，(b)，(c)所示。本发明实施例针对均值融合、渐入渐出、三角函数等典型加权方法存在的拼接线明显的问题，提出了一种图像融合方法。现有加权融合方法产生拼接线的主要原因是未能考虑重叠区域的所有边界，当待拼接图像相对于参考图像发生水平方向之外的变化后在上下边界处得到的融合像素值与参考图或待拼接图像素发生跳变。本发明实施例基于全部边界进行建模，保证在边界处融合像素的像素值过渡更平滑。图1(d)为本发明实施例的融合效果，相较于其它三种加权融合方法，融合区域像素变化更加平缓，有效的解决了拼接痕迹的问题。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本发明实施例提供了一种图像融合方法，该方法由计算机执行，如图2所述，该方法包括步骤S1～S7：
S1、获取待融合图像的重叠区域，上述待融合图像包括参考图像和待拼接图像；
S2、获取重叠区域的上下左右四个边界和边界顶点，上述边界顶点为同时位于两个边界上的点；
S3、获取重叠区域上下左右四个边界和边界顶点处像素点的参考图像权重；
S4、获取边界上的不连续点，通过不连续点做垂直方向分割线，上述分割线将重叠区域划分为多个子区域；
S5、获取重叠区域上分割线上的各个像素点的参考图像权重和各个子区域的所有像素点的参考图像权重；
S6、基于重叠区域上各个像素点的参考图像权重，获重叠区域上各个像素点的待拼接图像权重；
S7、基于重叠区域上各个像素点的参考图像权重和重叠区域上各个像素点的待拼接图像权重融合所述待融合图像，得到融合图像。
本发明实施例在进行图像融合时，考虑了全部边界，保证在边界处融合像素的像素值过渡更平滑，减轻拼接痕迹。同时，本发明实施例考虑了边界顶点和边界上权重不连续点，融合区域像素变化更加平缓，进一步解决了现有的图像融合方法在图像的重叠区域边界会存在拼接痕迹这一技术问题。
下面对各个步骤进行详细描述。
在步骤S1中，获取待融合图像的重叠区域，上述待融合图像包括参考图像和待拼接图像。具体实施过程如下：
将参考图像和待拼接图像输入到计算机中，指定参考图像和待拼接图像的需要融合的区域，需要融合的区域即重叠区域。以图3所示情况进行说明。图3中左图为参考图像，右图为待拼接图像。其中，S1表示仅属于参考图像的像素构成区域，不包括重叠区域；S2表示仅属于待拼接图像的像素构成区域，不包括重叠区域；重叠区域S12＝S12-1∪S12-2∪S12-3为多边形P1P2P3P4P5P6表示的区域。在具体实施过程中，获取重叠区域的步骤一般包括：特征点提取(如sift、ord等)、特征点匹配、单应性矩阵计算、变换待拼接图像并得到重叠区域。这一过程为本领域技术人员的公知常识，此处不再赘述。
在步骤S2中，获取重叠区域的上下左右四个边界和边界顶点，上述边界顶点为同时位于两个边界上的点。具体实施过程如下：
通过计算机得到重叠区域的上下左右四个边界和边界顶点，以图3所示情况进行说明。其中左、右边界分别为P1P2，P5P6，上、下边界为P1P3P5，P2P4P6。边界顶点包括P1、P2、P3、P4、P5和P6。
在步骤S3中，获取重叠区域上下左右四个边界和边界顶点处像素点的参考图像权重。具体实施过程如下：
当像素点(x，y)位于左边界，且不为边界顶点时，像素点(x，y)的权重计算公式如下：
Figure GDA0004044492800000101
/>
当像素点(x，y)位于右边界，且不为边界顶点时，像素点(x，y)的权重计算公式如下：
Figure GDA0004044492800000102
当像素点(x，y)位于上边界，且不为边界顶点时，像素点(x，y)的权重计算公式如下：
Figure GDA0004044492800000103
当像素点(x，y)位于下边界，且不为边界顶点时，像素点(x，y)的权重计算公式如下：
Figure GDA0004044492800000104
当像素点(x，y)为边界顶点时，像素点(x，y)的权重计算公式如下：
Figure GDA0004044492800000105
其中：
S1表示仅属于参考图像的像素构成区域，不包括重叠区域；
S2表示仅属于待拼接图像的像素构成区域，不包括重叠区域；
ω1-e1和ω1-e2分别为边界顶点所在两条边界计算得到的权重值。
在步骤S4中，获取边界上的参考图权重的不连续点，通过所述不连续点做垂直方向的分割线，所述分割线将重叠区域划分为多个子区域。具体实施过程如下：
边界像素点权重确定后，在边界上可能存在一些权值为-1的点，这些点为不连续点。
对于上下边界的不连续点，通过不连续点做平行于纵坐标轴的分割线对重叠区域进行分割。
如图3中的点P3和P4。其中P3将上边界分为两部分P1P3和P3P5，根据公式(3)可知P1P3上点的权重为1，P3P5上权重为0，即P3点是权重的一个非连续点。同理可知P4也是一个权重非连续点。本发明实施例中为解决因权重不连续导致的拼接痕迹问题，通过不连续点做平行于纵坐标轴的分割线，如图3所示经过P3或P4的两条虚线，将重叠区域划分为多个子区域，虚线作为划分子区域的虚拟左边界(如图3，经过P3的虚线是S12-2的左边界，经过P4的虚线是S12-3的左边界)。
在步骤S5中，获取重叠区域上分割线上的各个像素点的参考图像权重和各个子区域的所有像素点的参考图像权重。具体实施过程如下：
如图3所示，计算分割线上的权重需完成分割线左侧子区域的权重计算，计算公式如下：
ω1(x,y)＝ω1(x-1,y) (6)
从左向右依次获取各个子区域的所有像素点的参考图像权重，具体包括：
从各个子区域的最左列开始，从上到下依次计算每列所有像素点的权值，计算出参考图像上各个区域的所有像素点的权重。使用分割线将重叠区域划分后，各子区域都以整个重叠区域的右边界作为本区域的右边界，即如图3所示，P5P6是重叠子区域S12-1,S12-2,S12-3的右边界。对于任意一点(x,y)∈S12-i(i＝1,2,3)，像素点(x，y)权重ω1(x,y)的计算公式如下：
Figure GDA0004044492800000121
其中：
xl,xr分别表示过点(x,y)所做平行于横坐标轴的平行线与(x,y)所在重叠子区域左右边界交点的横坐标；yt，yb分别表示过点(x,y)所做平行于纵轴的平行线与(x,y)所在重叠子区域的上下边界交点的纵坐标；α为常数；
s(·)表示二值函数，定义为：
Figure GDA0004044492800000122
ωs为点(x，y)到左右边界的距离倒数的和，定义为：
Figure GDA0004044492800000131
在步骤S6中，基于重叠区域上各个像素点的参考图像权重，获取重叠区域上各个像素点的待拼接图像权重。具体实施过程如下：
在本发明实施例中，当重叠区域上各个像素点的参考图像权重为ω1，重叠区域上各个像素点的待拼接图像权重为ω2＝1-ω1。
在步骤S7中，基于重叠区域上各个像素点的参考图像权重和待拼接图像权重融合所述待融合图像，得到融合图像。具体实施过程如下：
通过公式(8)的计算结果，进行图像融合。
Figure GDA0004044492800000132
需要说明的是，在本发明实施例中，如图3所示，重叠区域上各个像素点的参考图像权重在计算机中的计算过程如下：
输入：统一坐标系的参考图像、待拼接图像；
输出：参考图像上的重叠区域上各个像素点的权重。
1.使用公式(1)-(5)计算重叠区域S12边界像素的权重ω1(x,y)；
2.设上下边界中存在不连续点
Figure GDA0004044492800000133
过/>
Figure GDA0004044492800000134
平行于纵坐标做直线，将重叠区域S12划分为n+1个子区域，即S12＝∪S12-i,i＝1,…,n+1；
3.循环i＝1:n+1
a.从S12-i最左列开始，从上到下使用公式(7)依次计算该列所有像素点的权值ω1(x,y)；
b.使用公式(6)更新S12-i,S12-i+1分割线上点的权值，该分割线为S12-i+1的左边界；
循环结束
为了验证本发明实施例提供的一种图像融合方法的有效性，在四种典型拼接场景上进行了实验分析。实验环境为：Windows 7操作系统，四种方法使用Python 3.7.2进行实现，其中本发明实施例中的α在整个实验中取值为1。使用Opencv 3.4.2.16中SIFT特征描述子进行特征提取，并使用相同的特征匹配和单应性矩阵进行重合区域的计算。为更好的对本发明实施例的性能进行评价，采取了定性评价和定量评价两种评价方式。定性评价对四种典型融合场景的融合结果的视觉效果进行比较分析，定量评价使用了包括峰值信噪比(Peak Signal to Noise Ratio,PSNR)和结构相似性指标(Structural SimilarityIndex,SSIM)的两种评价指标。PSNR通常用来评价一幅图像压缩后与参考图之间的差异，其值越大表示失真率越低。PSNR作为一种客观评价指标，与人的视觉评价机制存在一定的差异，因此，该指标有时会出现与人的视觉感受不一致的情况。SSIM由亮度、对比度、结构三方面要素构成，考虑了人眼在观察自然图像时临近像素之间的强相关性，是基于感知的计算模型。SSIM的取值范围为[0，1]，值越大表示图像融合结果的视觉效果越好。
表1测试图像组场景属性
Figure GDA0004044492800000141
Figure GDA0004044492800000151
实验中选用了四组图片进行方法性能测试，四组图片覆盖了四种典型的拼接场景，本实验中使用的四组图片均为使用智能手机采集的真实场景图。表1为四组测试图组相关场景属性说明，测试图组覆盖了水平移动、水平垂直移动、不同程度旋转等典型测试场景，所有四组测试图片均包含了不同程度的曝光差异。
1、融合效果的定性评价：
图4为四种方法在第1组测试图像上的融合效果图。其中， 图4(a)和(b)分别为待拼接的两张实景图像。图4(c)、 (d)、 (e)、(f)分别为均值融合、渐入渐出、三角函数融合和本发明实施例的融合结果。从四种方法的融合结果可知： 对于存在曝光差异的两张拼接图像， 除均值融合方法存在明显的拼接痕迹外，渐入渐出、基于三角函数加权及发明实施例三种加权融合方法都可实现融合区域的平滑过渡。 由前述可知， 当待拼接图像相对于参考图像仅发生水平方向移动时，本发明实施例退化为渐入渐出方法， 因此， 图4(d)与图4(f)为完全相同的两张融合图像。
图5为四种方法在第2组测试图像上的融合效果图。第2组测试图的待拼接图(图5(a))相对于参考图(图5(b))在竖直方向产生移动。 图5(c)为均值融合结果，均值融合在水平和竖直方向均产生了明显的拼接痕迹。渐入渐出(图5(d))和三角函数(图5(e))两种融合方法可以较好实现水平方向的像素过渡，但因权重设计未考虑竖直方向，因此有明显横向拼接痕迹。图5(f)为本发明实施例融合结果，在水平和竖直方向均可实现像素的平滑过渡。
图6为四种方法在第3组测试图像上的融合效果图。第三组测试图片中待拼接图(图6(b))相对于参考图(图6(a))发生了旋转，重合区域不是规则的矩形且重合区域完全嵌入在参考图像中。从四种方法的融合结果可看到，均值融合(图6(c))在融合区的四个边界都有一定程度的拼接痕迹。渐入渐出融合(图6(d))在左边界有轻微的拼接痕迹，在上边界拼接痕迹较明显。三角函数融合(图6(e))相对于渐入渐出在左边界处基本看不出拼接痕迹。图6(f)为本发明实施例的融合结果，在整个融合区域边界基本看不出拼接痕迹，且相对于三角函数融合(图6(e))结果，重合区域像素值过渡更平滑。
图7是四种方法在第4组测试图片上的融合结果。第4组测试图的重合区边界存在权重不连续点，用来测试本发明实施例中重合区域划分策略的有效性。从融合结果中不难看出，三角函数融合方法(图7(e))相较于均值融合(图7(c))和渐入渐出融合(图7(d))在边界处效果较好。本发明实施例融合结果(图7(f))与三角函数融合结果(图7(e))相比，在图像下部的木围栏处基本看不出拼接痕迹，且重合区亮度过渡较平缓。
2、融合效果的定量评价：
为对本发明实施例性能进行更客观的评价，实验基于PSNR和SSI M两种图像质量评价指标对四种方法在前述四种典型拼接场景下的融合效果进行定量评价。
表2为四种方法在四组测试图像上融合图像的PSNR值。从表2可看出本发明实施例在#3和#4测试场景中取得最高的PSNR值。在#1测试场景中，本发明实施例的PSNR值与渐入渐出方法的PSNR值相同，且高于基于三角函数加权方法。在#2测试场景中，本发明实施例的PS NR高于渐入渐出融合方法和三角函数融合方法，但低于均值融合方法。从第1节融合效果的定性评价中四种方法的融合结果可知，虽然均值融合在#1和#2场景上取得最高的PSNR值，但均值融合的拼接痕迹是四种方法中最严重的，这也反映了PSNR指标不能很好的符合人的视觉感受。
表2四种方法的PSNR值
Figure GDA0004044492800000171
表3为四种方法在四组测试图像上融合图像的SSIM值，与PSNR相比，SSIM更贴合人的视觉体验。从表3可知，本发明实施例在#2、#3以及#4测试场景中都取得了比其他三种方法更高的SSIM值。在#1测试图组，如第3节所述，本发明实施例与渐入渐出方法取得同样的融合结果，且SSIM值高于其他两种方法。综合四组测试场景中本发明实施例的SSIM值可知，本发明实施例的性能优于对比的其他三种融合方法。
表3四种方法的SSIM值
Figure GDA0004044492800000181
3、结论：
实验结果表明，本发明实施例相较于其它其他三种对比方法可有效的消除融合区域边界上的拼接痕迹，且在边界及融合区像素的像素值过渡更平缓。此外，本发明实施例在四组测试场景上的PSNR和SSIM值均优于渐入渐出和三角函数两种加权融合方法。融合结果的视觉评价及基于PSNR和SSIM的定量评价结果验证了本发明实施例的有效性。
本发明实施例还提供一种图像融合系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
可理解的是，本发明实施例提供的上述图像融合系统与上述图像融合方法方法相对应，其有关内容的解释、举例、有益效果等部分可以参考图像融合方法中的相应内容，此处不再赘述。
综上所述，与现有技术相比，具备以下有益效果：
1、本发明实施例在进行图像融合时，考虑了全部边界，保证在边界处融合像素的像素值过渡更平滑，减轻拼接痕迹。
2、本发明实施例考虑了顶点和不连续点，融合区域像素变化更加平缓，进一步解决了现有的图像融合方法在图像的重叠区域边界会存在拼接痕迹这一技术问题。
需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (3)

1.一种图像融合方法，其特征在于，包括：
获取待融合图像的重叠区域，所述待融合图像包括参考图像和待拼接图像；
获取重叠区域的上下左右四个边界和边界顶点，所述边界顶点为同时位于两个边界上的点；
获取重叠区域上下左右四个边界和边界顶点处像素点的参考图像权重；
获取边界上的参考图权重的不连续点，通过所述不连续点做垂直方向的分割线，所述分割线将重叠区域划分为多个子区域；其中，所述不连续点为边界像素点权重为-1的点，对于上下边界的不连续点，通过不连续点做平行于纵坐标轴的分割线对重叠区域进行分割；
获取重叠区域上分割线上的各个像素点的参考图像权重和各个子区域的所有像素点的参考图像权重，包括：
计算分割线上的权重的计算公式如下：
ω1(x,y)＝ω1(x-1,y) (6)
从左向右依次获取各个子区域的所有像素点的参考图像权重，具体包括：
从各个子区域的最左列开始，从上到下依次计算每列所有像素点的权值，计算出参考图像上各个区域的所有像素点的权重；使用分割线将重叠区域划分后，各子区域都以整个重叠区域的右边界作为本区域的右边界；对于任意一点(x，y)，像素点(x，y)权重ω1(x,y)的计算公式如下：
Figure FDA0004044492790000021
其中：
xl,xr分别表示过点(x,y)所做平行于横坐标轴的平行线与(x,y)所在重叠子区域左右边界交点的横坐标；yt，yb分别表示过点(x,y)所做平行于纵轴的平行线与(x,y)所在重叠子区域的上下边界交点的纵坐标；α为常数；
s(·)表示二值函数，定义为：
Figure FDA0004044492790000022
ωs为点(x，y)到左右边界的距离倒数的和，定义为：
Figure FDA0004044492790000023
基于重叠区域上各个像素点的参考图像权重，获取重叠区域上各个像素点待拼接图像权重；
基于所述重叠区域上各个像素点的参考图像权重和待拼接图像权重对重叠区域对应参考图像和待拼接图像进行融合，得到融合图像。
2.如权利要求1所述图像融合方法，其特征在于，所述获取重叠区域上下左右四个边界和边界顶点处像素点的参考图像权重，包括：
当像素点(x，y)为位于左边界，且不为边界顶点时，像素点(x，y)的权重计算公式如下：
Figure FDA0004044492790000031
当像素点(x，y)位于右边界，且不为边界顶点时，像素点(x，y)的权重计算公式如下：
Figure FDA0004044492790000032
当像素点(x，y)位于上边界，且不为边界顶点时，像素点(x，y)的权重计算公式如下：
Figure FDA0004044492790000033
当像素点(x，y)位于下边界，且不为边界顶点时，像素点(x，y)的权重计算公式如下：
Figure FDA0004044492790000034
当像素点(x，y)边界顶点时，像素点(x，y)的权重计算公式如下：
Figure FDA0004044492790000035
其中：
S1表示仅属于参考图像的像素构成区域，不包括重叠区域；
S2表示仅属于待拼接图像的像素构成区域，不包括重叠区域；
ω1-e1和ω1-e2分别为边界顶点所在两条边界计算得到的权重值。
3.一种图像融合系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至2任一所述方法的步骤。
CN202010451433.4A 2020-05-25 2020-05-25 图像融合方法和系统 Active CN111798540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010451433.4A CN111798540B (zh) 2020-05-25 2020-05-25 图像融合方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010451433.4A CN111798540B (zh) 2020-05-25 2020-05-25 图像融合方法和系统

Publications (2)

Publication Number Publication Date
CN111798540A CN111798540A (zh) 2020-10-20
CN111798540B true CN111798540B (zh) 2023-03-31

Family

ID=72805952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010451433.4A Active CN111798540B (zh) 2020-05-25 2020-05-25 图像融合方法和系统

Country Status (1)

Country Link
CN (1) CN111798540B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967183A (zh) * 2021-01-30 2021-06-15 惠州华阳通用电子有限公司 一种全景画面拼接方法及存储介质
CN113808059A (zh) * 2021-09-16 2021-12-17 北京拙河科技有限公司 阵列图像融合方法、装置、介质及设备
CN116993591B (zh) * 2023-09-26 2024-01-02 中汽智联技术有限公司 用于全景汽车的图像拼接融合方法、电子设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102342092A (zh) * 2009-03-05 2012-02-01 韩国科亚电子股份有限公司 生成全景图像的装置、方法及由记录有运行该方法的程序的计算机可读取的记录介质
JP2012100360A (ja) * 2012-02-21 2012-05-24 Morpho Inc 画像処理装置、画像処理方法及び画像処理プログラム
CN102521817A (zh) * 2011-11-22 2012-06-27 广州致远电子有限公司 一种用于全景泊车系统的图像融合方法
CN106627373A (zh) * 2017-01-13 2017-05-10 广东工业大学 一种用于智能泊车的图像处理方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5347890B2 (ja) * 2009-10-09 2013-11-20 ソニー株式会社 画像処理装置および方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102342092A (zh) * 2009-03-05 2012-02-01 韩国科亚电子股份有限公司 生成全景图像的装置、方法及由记录有运行该方法的程序的计算机可读取的记录介质
CN102521817A (zh) * 2011-11-22 2012-06-27 广州致远电子有限公司 一种用于全景泊车系统的图像融合方法
JP2012100360A (ja) * 2012-02-21 2012-05-24 Morpho Inc 画像処理装置、画像処理方法及び画像処理プログラム
CN106627373A (zh) * 2017-01-13 2017-05-10 广东工业大学 一种用于智能泊车的图像处理方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
图像拼接中权重的改进设计研究;谢晶梅等;《广东工业大学学报》;20171130(第06期);第49-53+67页 *

Also Published As

Publication number Publication date
CN111798540A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN111798540B (zh) 图像融合方法和系统
JP6655737B2 (ja) マルチビューシーンのセグメンテーションおよび伝播
Yuan et al. Superpixel-based seamless image stitching for UAV images
CN110390640B (zh) 基于模板的泊松融合图像拼接方法、系统、设备及介质
Liang et al. Objective quality prediction of image retargeting algorithms
JP6561216B2 (ja) 光学フローを使用した中間ビューの生成
Shih et al. Exemplar-based video inpainting without ghost shadow artifacts by maintaining temporal continuity
JP4512584B2 (ja) イメージマッチング速度とブレンディング方法を改善したパノラマ映像提供方法および装置
Johnston et al. A review of digital video tampering: From simple editing to full synthesis
CN109934772A (zh) 一种图像融合方法、装置及便携式终端
CN113793382A (zh) 视频图像的拼缝搜索方法、视频图像的拼接方法和装置
CN109525786A (zh) 视频处理方法、装置、终端设备及存储介质
CN105719250A (zh) 基于简单背景的图像修复方法、系统及拍摄终端
Tatzgern Situated visualization in augmented reality
CN112365518A (zh) 基于最佳缝合线自选区域渐入渐出算法的图像拼接方法
CN109600667B (zh) 一种基于网格与帧分组的视频重定向的方法
CN110321452A (zh) 一种基于方向选择机制的图像检索方法
CN114359030A (zh) 一种人脸逆光图片的合成方法
Xiong et al. Fast and high-quality image blending on mobile phones
Tous Pictonaut: movie cartoonization using 3D human pose estimation and GANs
Ye et al. Hybrid scheme of image’s regional colorization using mask r-cnn and Poisson editing
Mahalingam Digital inpainting algorithms and evaluation
Psarras et al. Visual saliency in navigation: Modelling navigational behaviour using saliency and depth analysis
Tang et al. Image stitching with efficient brightness fusion and automatic content awareness
Chen et al. Screen image segmentation and correction for a computer display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230808

Address after: 300300 Building 95-1, Lingshang Jiayuan, West Side of Central Avenue and North Side of Xiqi Road, Airport Logistics Processing Zone, Tianjin Pilot Free Trade Zone (Airport Economic Zone), Dongli District, Tianjin City

Patentee after: FITOW (TIANJIN) DETECTION TECHNOLOGY CO.,LTD.

Address before: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee before: Dragon totem Technology (Hefei) Co.,Ltd.

Effective date of registration: 20230808

Address after: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee after: Dragon totem Technology (Hefei) Co.,Ltd.

Address before: 810000 Qinghai University, 251 Ningda Road, Chengbei District, Xining City, Qinghai Province

Patentee before: Qinghai University