CN110838086B - 一种基于相关性模板匹配的室外图像拼接方法 - Google Patents

一种基于相关性模板匹配的室外图像拼接方法 Download PDF

Info

Publication number
CN110838086B
CN110838086B CN201911082845.9A CN201911082845A CN110838086B CN 110838086 B CN110838086 B CN 110838086B CN 201911082845 A CN201911082845 A CN 201911082845A CN 110838086 B CN110838086 B CN 110838086B
Authority
CN
China
Prior art keywords
image
spliced
spliced image
template
stitched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911082845.9A
Other languages
English (en)
Other versions
CN110838086A (zh
Inventor
谢少荣
徐海彬
李小毛
彭艳
蒲华燕
罗均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201911082845.9A priority Critical patent/CN110838086B/zh
Publication of CN110838086A publication Critical patent/CN110838086A/zh
Application granted granted Critical
Publication of CN110838086B publication Critical patent/CN110838086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于计算机视觉技术领域，公开了一种基于相关性模板匹配的室外图像拼接方法，其步骤为：1）选取待拼接图像；（2）将待拼接图像排序，以排序后第一张图像作为被拼接图像；（3）以紧邻被拼接图像的图像作为拼接图像，在拼接图像中选取模板区域，以模板区域为模板找到模板区域在被拼接图像中的最佳匹配位置；（4）根据最佳匹配位置计算拼接图像相对于被拼接图像在x、y方向上偏移量；（5）根据偏移量对拼接图像和被拼接图像进行拼接融合；（6）对拼接后图像其余的空白部分进行置黑；（7）以拼接后图像作为新的被拼接图像，重复步骤（3）～（6），直至所有待拼接图像全部拼接完成，得到全景图像。该方法拼接速度快、效率高、效果好。

Description

一种基于相关性模板匹配的室外图像拼接方法
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于相关性模板匹配的室外图像拼接方法。
背景技术
图像拼接技术指将含有重叠部分的一系列不同时间、不同传感器或者不同视角下拍摄的多张图片拼接成一张完整的全景图像的技术，是数字图像处理领域的重要部分。图像拼接技术在军事、医学、航天、农业等领域都有着广泛的运用，是进一步进行图像理解的基础。图像配准和图像融合是图像拼接的两个关键技术。图像配准是图像融合的基础，而且图像配准算法的计算量一般非常大，因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。
相邻图像的配准及拼接是全景图生成技术的关键，有关图像配准技术的研究至今已有很长的历史，其主要的方法有以下两种：基于两幅图像的亮度差最小的方法和基于特征的方法。其中使用较多的是基于特征模板匹配特征点的拼接方法(关键点匹配方法)。该方法允许待拼接的图像有一定的倾斜和变形，克服了获取图像时轴心必须一致的问题，同时允许相邻图像之间有一定色差。
云台相机拍摄的图像往往带有时间和相机标签等干扰区域，对于这类图像的拼接，使用传统的基于特征的关键点匹配方法进行图像拼接时会因为干扰区域的存在而使得生成的全景图像存在大量的重影，无法准确配准相邻的两帧图像，拼接效果差。
发明内容
针对现有技术中存在的问题和不足，本发明的目的是一种基于相关性模板匹配的室外图像拼接方法。
为实现发明目的，本发明采用的技术方案如下：
一种基于相关性模板匹配的室外图像拼接方法，包括以下步骤：
(1)从拍摄的视频中抽取待拼接图像；
(2)对待拼接图像进行预处理，然后将预处理后的待拼接图像进行排序，以排序后的第一张图像作为被拼接图像；
(3)以紧邻被拼接图像的图像作为拼接图像，在拼接图像中选取模板区域，以拼接图像中的模板区域为模板，采用归一化相关性匹配算法找到模板区域在被拼接图像中的最佳匹配位置(maxLocx,maxLocy)；
(4)根据模板区域在拼接图像中的最佳匹配位置计算拼接图像相对于被拼接图像在x方向和y方向上的偏移量dx、dy；
(5)根据步骤(4)计算得到偏移量对拼接图像和被拼接图像进行拼接融合，得到拼接后图像；其中，拼接图像与被拼接图像的非重叠区域保持和原图像相同，采用渐入渐出法对拼接图像与被拼接图像的重叠区域进行融合；
(6)对拼接后图像其余的空白部分进行置黑处理；
(7)以步骤(6)处理后的拼接后图像作为新的被拼接图像，重复上述步骤(3)～(6)，直至所有待拼接图像全部拼接完成，得到全景图像。
根据上述的基于相关性模板匹配的室外图像拼接方法，优选地，步骤(3)中采用归一化相关性匹配算法找到模板区域在被拼接图像中的最佳匹配位置(maxLocx,maxLocy)的具体操作为：以拼接图像中的模板区域为模板，采用归一化相关性匹配算法在被拼接图像中进行匹配计算，得到响应图像，响应图像中响应值最大的位置即为模板区域在被拼接图像中的最佳匹配位置(maxLocx,maxLocy)。
根据上述的基于相关性模板匹配的室外图像拼接方法，优选地，所述归一化相关性匹配算法的计算公式为：
Figure BDA0002264495800000021
其中，T表示模板，F表示被拼接图像，R表示响应图像，T(x',y')表示模板T中位置为(x’,y’)处的像素值，F(x+x',y+y')表示被拼接图像F中位置为(x+x',y+y')处的像素值，R(x,y)表示响应图像在(x,y)处的响应值，响应值越大说明匹配程度越高。
根据上述的基于相关性模板匹配的室外图像拼接方法，优选地，步骤(3)中在拼接图像中选取模板区域的具体操作为：步骤(3)中在拼接图像中选取模板区域的具体操作为：以拼接图像中的(0，0.15h)为左上角点，选取宽为0.3w像素，高度为0.6h像素的矩形区域作为模板区域，其中，h表示预处理后的拼接图像的高，w表示预处理后的拼接图像的宽。
根据上述的基于相关性模板匹配的室外图像拼接方法，优选地，步骤(4)中偏移量dx、dy的计算公式如下：
dx＝maxLocx
dy＝maxLocy–0.15h；
其中，h表示预处理后的拼接图像的高。
根据上述的基于相关性模板匹配的室外图像拼接方法，优选地，步骤(5)中采用渐入渐出法对拼接图像与被拼接图像的重叠区域进行融合的具体操作过程为：
a、拼接图像相对于被拼接图像在y方向上向上偏移：
对于重叠区域每个像素点的像素值，首先找到每个像素点在拼接图像和被拼接图像中对应位置的像素值f(x-dx,y-dy)、F(x,y)，然后依据重叠区域像素点到被拼接图像右边界的距离相对于重叠区域宽度的比例
Figure BDA0002264495800000031
重叠区域像素点到拼接图像左边界的距离相对于重叠区域宽度的比例
Figure BDA0002264495800000032
对F(x,y)和f(x-dx,y-dy)合理分配权重，得到重叠区域(x,y)处的像素值大小，其计算公式为：
Figure BDA0002264495800000033
d＝W-dx
其中，F表示被拼接图像，f表示拼接图像，W表示被拼接图像的宽，d表示重叠部分的宽度，P(x,y)表示拼接后重叠区域部分的像素值，F(x,y)表示被拼接图像中对应坐标位置的像素值，f(x-dx,y-dy)、表示拼接图像中对应坐标位置的像素值，dy≥0表示拼接图像相对于被拼接图像在y方向上向上偏移；
b、拼接图像相对于被拼接图像在y方向上向下偏移：
对于重叠区域每个像素点的像素值，首先找到每个像素点在拼接图像和被拼接图像中对应位置的像素值f(x-dx，y)、F(y+dy，x)，然后依据重叠区域像素点到被拼接图像右边界的距离相对于重叠区域宽度的比例
Figure BDA0002264495800000034
重叠区域像素点到拼接图像左边界的距离相对于重叠区域宽度的比例
Figure BDA0002264495800000041
对F(y+dy，x)和f(x-dx，y)合理分配权重，得到重叠区域(x,y)处的像素值大小，其计算公式为：
Figure BDA0002264495800000042
d＝W-dx
其中，F表示被拼接图像，f表示拼接图像，W表示被拼接图像的宽，d表示重叠部分的宽度，P(x,y)表示拼接后重叠区域部分的像素值，F(y+dy,x)表示被拼接图像中对应坐标位置的像素值，f(x-dx,y)表示拼接图像中对应坐标位置的像素值，dy<0表示拼接图像相对于被拼接图像在y方向上向下偏移。
根据上述的基于相关性模板匹配的室外图像拼接方法，优选地，步骤(2)中对待拼接图像进行预处理的具体操作为：将待拼接图像由1920*1080的bmp格式图像转换为800*480的大小的jpg格式图像，然后将jpg格式图像转化为单通道灰度图像。
根据上述的基于相关性模板匹配的室外图像拼接方法，优选地，将jpg格式图像转化为单通道灰度图像的转换公式为：
Gray(x,y)＝0.114×R(x,y)+0.587×G(x,y)+0.2989×B(x,y)
其中，R(x,y)代表在图像中坐标为(x,y)的位置的红色分量值，G(x,y)代表在图像中坐标为(x,y)的位置的绿色分量值，B(x,y)代表在图像中坐标为(x,y)的位置的蓝色分量值，Gray(x,y)代表在图像中最终保留的坐标为(x,y)的位置的灰度值。
根据上述的基于相关性模板匹配的室外图像拼接方法，优选地，步骤(1)中从拍摄的视频中抽取待拼接图像的具体操作为：从拍摄的视频中抽取若干张待拼接图像，保证相邻两张图像之间在垂直方向上的位移不超过图像高度的1/5，水平方向重叠区域长度不小于图像宽度的1/4。
与现有技术相比，本发明取得的积极有益效果为：
(1)本发明提出了一种基于相关性模板匹配的室外图像拼接方法，该方法不再使用传统的基于特征的关键点匹配方法拼接，而是使用了基于区域的相关性匹配方法进行拼接；使用基于相关性模板匹配的拼接方法可以综合前后拼接图像的重叠区域大小、干扰区域位置等因素，对模板区域大小进行手动设置，进而完成匹配和拼接，有效避免了图像内因干扰区域的存在而导致的重影和无法配准问题。
(2)本发明以拼接图像中的(0，0.15h)为左上角点，选取宽为0.3w像素，高度为0.6h像素的矩形区域作为模板区域，该模板区域左上角点和模板高度的设置避开了拼接图像中干扰区域的存在，模板的宽度设置占拼接图像宽度的30％，小于等于重叠区域大小，确保拼接图像中的模板区域能够与被拼接图像匹配成功。
(3)本发明在进行图像拼接前，首先对待拼接图像进行预处理，将大小为1920*1080的bmp格式图转换为大小为800*480的jpg格式图像，图像格式及大小的转换能够极大地提高后续模板匹配的速度和拼接的效率。
(4)经过多个实际场景测试，本发明基于相关性模板匹配的室外图像拼接方法操作简单，拼接速度快，拼接效率高，拼接9张图片仅耗时0.231s，拼接16张图像拼接完成的耗时为0.792s，拼接47张图片仅耗时3.462s，拼接61张图片仅耗时4.98s；而且，拼接后形成的全景图像效果好。
附图说明
图1为本发明基于相关性模板匹配的室外图像拼接方法的流程图；
图2为待拼接图像中干扰区域的示意图；
图3为拼接图像中模板区域的示意图；
图4为拼接位置偏移示意图；
图5为重叠区域示意图；
图6为从场景1拍摄的视频图像中抽取的9张待拼接图像；
图7为场景1下9张待拼接图像的拼接效果图；
图8为从场景2拍摄的视频图像中抽取的16张待拼接图像；
图9为场景2下16张待拼接图像的拼接效果图。
具体实施方式
以下结合附图对本发明作进一步详细说明，但并不限制本发明的范围。
实施例1：
一种基于相关性模板匹配的室外图像拼接方法，如图1所示，包括以下步骤：
(1)从云台相机拍摄的视频抽取一系列图像作为待拼接图像。由于云台相机架设位置存在一定的倾角，为了确保后续的模板匹配精度和拼接的效率，从拍摄的视频中抽取若干张待拼接图像，保证相邻两张图像之间在垂直方向上的位移不超过图像高度的1/5，水平方向重叠区域长度不小于图像宽度的1/4。
(2)对待拼接图像进行预处理，然后将预处理后的待拼接图像进行排序，以排序后的第一张图像作为被拼接图像。其中，对待拼接图像进行预处理的具体操作为：将待拼接图像由1920*1080的bmp格式图像调整为800*480的大小的jpg格式图像，然后将jpg格式图像转化为单通道灰度图像。
将jpg格式图像转化为单通道灰度图像的转换公式为：
Gray(x,y)＝0.114×R(x,y)+0.587×G(x,y)+0.2989×B(x,y)
其中，R(x,y)代表在图像中坐标为(x,y)的位置的红色分量值，G(x,y)代表在图像中坐标为(x,y)的位置的绿色分量值，B(x,y)代表在图像中坐标为(x,y)的位置的蓝色分量值，Gray(x,y)代表在图像中最终保留的坐标为(x,y)的位置的灰度值。
(3)以紧邻被拼接图像的图像作为拼接图像，由于被拼接图像和拼接图像的左上角和右下角位置都存在干扰区域(相机自带的时间、型号等标签，如图2所示，图2中方框框出的区域即为干扰区域)，因此，选择以拼接图像中的(0，72)为左上角点，选取宽为240像素，高为288像素的矩形区域作为匹配的模板区域(图如3所示，图3中方框框出的区域即为模板区域)。选定模板区域后，以拼接图像中的模板区域为模板，采用归一化相关性匹配算法在被拼接图像中进行匹配计算，得到响应图像，响应图像中响应值最大的位置即为模板区域在被拼接图像中的最佳匹配位置(maxLocx,maxLocy)。
其中，所述归一化相关性匹配算法的计算公式为：
Figure BDA0002264495800000061
其中，T表示模板，F表示被拼接图像，R表示响应图像，T(x',y')表示模板T中位置为(x’,y’)处的像素值，F(x+x',y+y')表示被拼接图像F中位置为(x+x',y+y')处的像素值，R(x,y)表示响应图像在(x,y)处的响应值，响应值越大说明匹配程度越高。
(4)根据模板区域在拼接图像中的最佳匹配位置计算拼接图像相对于被拼接图像在x方向和y方向上的偏移量dx、dy，具体偏移量如图4所示。
偏移量dx、dy的计算公式如下：
dx＝maxLocx
dy＝maxLocy–0.15h；
其中，h表示预处理后的拼接图像的高。
(5)根据步骤(4)计算得到偏移量对拼接图像和被拼接图像进行拼接融合，得到拼接后图像。拼接过程中，拼接图像f和被拼接图像F之间会存在一定的重叠区域(重叠区域如图5中方框框出的区域所示)和非重叠区域，其中，对拼接图像与被拼接图像的非重叠区域保持和原图像相同，对拼接图像与被拼接图像的重叠区域采用渐入渐出法进行融合。
其中，对拼接图像与被拼接图像的重叠区域采用渐入渐出法进行融合的具体操作过程为：
a、拼接图像相对于被拼接图像在y方向上向上偏移：
对于重叠区域每个像素点的像素值，首先找到每个像素点在拼接图像和被拼接图像中对应位置的像素值f(x-dx,y-dy)、F(x,y)，然后依据重叠区域像素点到被拼接图像右边界的距离相对于重叠区域宽度的比例
Figure BDA0002264495800000071
重叠区域像素点到拼接图像左边界的距离相对于重叠区域宽度的比例
Figure BDA0002264495800000072
对F(x,y)和f(x-dx,y-dy)合理分配权重，得到重叠区域(x,y)处的像素值大小，其计算公式为：
Figure BDA0002264495800000073
d＝W-dx
其中，F表示被拼接图像，f表示拼接图像，W表示被拼接图像的宽，d表示重叠部分的宽度，P(x,y)表示拼接后重叠区域部分的像素值，F(x,y)表示被拼接图像中对应坐标位置的像素值，f(x-dx,y-dy)、表示拼接图像中对应坐标位置的像素值，dy≥0表示拼接图像相对于被拼接图像在y方向上向上偏移；
b、拼接图像相对于被拼接图像在y方向上向下偏移：
对于重叠区域每个像素点的像素值，首先找到每个像素点在拼接图像和被拼接图像中对应位置的像素值f(x-dx，y)、F(y+dy，x)，然后依据重叠区域像素点到被拼接图像右边界的距离相对于重叠区域宽度的比例
Figure BDA0002264495800000074
重叠区域像素点到拼接图像左边界的距离相对于重叠区域宽度的比例
Figure BDA0002264495800000081
对F(y+dy，x)和f(x-dx，y)合理分配权重，得到重叠区域(x,y)处的像素值大小，其计算公式为：
Figure BDA0002264495800000082
d＝W-dx
其中，F表示被拼接图像，f表示拼接图像，W表示被拼接图像的宽，d表示重叠部分的宽度，P(x,y)表示拼接后重叠区域部分的像素值，F(y+dy,x)表示被拼接图像中对应坐标位置的像素值，f(x-dx,y)表示拼接图像中对应坐标位置的像素值，dy<0表示拼接图像相对于被拼接图像在y方向上向下偏移。
(6)对拼接后图像其余的空白部分进行置黑处理；
(7)以步骤(6)处理后的拼接后图像作为新的被拼接图像，重复上述步骤(3)～(6)，直至所有待拼接图像全部拼接完成，得到全景图像。
本发明基于相关性模板匹配的室外图像拼接方法拼接效果验证：
示例1：
采用云台相机对场景1进行拍摄，然后从拍摄的视频图像中抽取9张待拼接图像(如图6所示)，采用本发明实施例1所述的基于相关性模板匹配的室外图像拼接方法对9张待拼接图像进行拼接，其拼接后得到的全景图像如图7所示，9张图像拼接完成的耗时为0.231s。
示例2：
采用云台相机对场景2进行拍摄，然后从拍摄的视频图像中抽取16张待拼接图像(如图8所示)，采用本发明实施例1所述的基于相关性模板匹配的室外图像拼接方法对16张待拼接图像进行拼接，其拼接后得到的全景图像如图9所示，16张图像拼接完成的耗时为0.792s。
由示例1和示例2两个场景图像拼接效果可以看出，本发明基于相关性模板匹配的室外图像拼接方法操作简单，拼接速度快，拼接效率高，耗时短，而且，拼接后形成的全景图像效果好。
以上所述仅为本发明的较佳实施例而已，但不仅限于上述实例，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于相关性模板匹配的室外图像拼接方法，其特征在于，包括以下步骤：
(1)从拍摄的视频中抽取待拼接图像；
(2)对待拼接图像进行预处理，然后将预处理后的待拼接图像进行排序，以排序后的第一张图像作为被拼接图像；
(3)以紧邻被拼接图像的图像作为拼接图像，在拼接图像中选取模板区域，以拼接图像中的模板区域为模板，采用归一化相关性匹配算法找到模板区域在被拼接图像中的最佳匹配位置(maxLocx,maxLocy)；其中，在拼接图像中选取模板区域的具体操作为：以拼接图像中的(0，0.15h)为左上角点，选取宽为0.3w像素，高度为0.6h像素的矩形区域作为模板区域，其中，h表示预处理后的拼接图像的高，w表示预处理后的拼接图像的宽；
(4)根据模板区域在拼接图像中的最佳匹配位置计算拼接图像相对于被拼接图像在x方向和y方向上的偏移量dx、dy；偏移量dx、dy的计算公式如下：
dx＝maxLocx
dy＝maxLocy–0.15h；
(5)根据步骤(4)计算得到偏移量对拼接图像和被拼接图像进行拼接融合，得到拼接后图像；其中，拼接图像与被拼接图像的非重叠区域保持和原图像相同，采用渐入渐出法对拼接图像与被拼接图像的重叠区域进行融合；
(6)对拼接后图像其余的空白部分进行置黑处理；
(7)以步骤(6)处理后的拼接后图像作为新的被拼接图像，重复上述步骤(3)～(6)，直至所有待拼接图像全部拼接完成，得到全景图像；
步骤(5)中采用渐入渐出法对拼接图像与被拼接图像的重叠区域进行融合的具体操作过程为：
a、拼接图像相对于被拼接图像在y方向上向上偏移：
对于重叠区域每个像素点的像素值，首先找到每个像素点在拼接图像和被拼接图像中对应位置的像素值f(x-dx,y-dy)、F(x,y)，然后依据重叠区域像素点到被拼接图像右边界的距离相对于重叠区域宽度的比例
Figure FDA0003045638980000011
重叠区域像素点到拼接图像左边界的距离相对于重叠区域宽度的比例
Figure FDA0003045638980000012
对F(x,y)和f(x-dx,y-dy)合理分配权重，得到重叠区域(x,y)处的像素值大小，其计算公式为：
Figure FDA0003045638980000021
d＝W-dx
其中，F表示被拼接图像，f表示拼接图像，W表示被拼接图像的宽，d表示重叠部分的宽度，P(x,y)表示拼接后重叠区域部分的像素值，F(x,y)表示被拼接图像中对应坐标位置的像素值，f(x-dx,y-dy)表示拼接图像中对应坐标位置的像素值，dy≥0表示拼接图像相对于被拼接图像在y方向上向上偏移；
b、拼接图像相对于被拼接图像在y方向上向下偏移：
对于重叠区域每个像素点的像素值，首先找到每个像素点在拼接图像和被拼接图像中对应位置的像素值f(x-dx，y)、F(y+dy，x)，然后依据重叠区域像素点到被拼接图像右边界的距离相对于重叠区域宽度的比例
Figure FDA0003045638980000022
重叠区域像素点到拼接图像左边界的距离相对于重叠区域宽度的比例
Figure FDA0003045638980000023
对F(y+dy，x)和f(x-dx，y)合理分配权重，得到重叠区域(x,y)处的像素值大小，其计算公式为：
Figure FDA0003045638980000024
d＝W-dx
其中，F表示被拼接图像，f表示拼接图像，W表示被拼接图像的宽，d表示重叠部分的宽度，P(x,y)表示拼接后重叠区域部分的像素值，F(y+dy,x)表示被拼接图像中对应坐标位置的像素值，f(x-dx,y)表示拼接图像中对应坐标位置的像素值，dy<0表示拼接图像相对于被拼接图像在y方向上向下偏移。
2.根据权利要求1所述的基于相关性模板匹配的室外图像拼接方法，其特征在于，步骤(3)中采用归一化相关性匹配算法找到模板区域在被拼接图像中的最佳匹配位置(maxLocx,maxLocy)的具体操作为：以拼接图像中的模板区域为模板，采用归一化相关性匹配算法在被拼接图像中进行匹配计算，得到响应图像，响应图像中响应值最大的位置即为模板区域在被拼接图像中的最佳匹配位置(maxLocx,maxLocy)。
3.根据权利要求2所述的基于相关性模板匹配的室外图像拼接方法，其特征在于，所述归一化相关性匹配算法的计算公式为：
Figure FDA0003045638980000031
其中，T表示模板，F表示被拼接图像，R表示响应图像，T(x',y')表示模板T中位置为(x’,y’)处的像素值，F(x+x',y+y')表示被拼接图像F中位置为(x+x',y+y')处的像素值，R(x,y)表示响应图像在(x,y)处的响应值，响应值越大说明匹配程度越高。
4.根据权利要求1所述的基于相关性模板匹配的室外图像拼接方法，其特征在于，步骤(2)中对待拼接图像进行预处理的具体操作为：将待拼接图像由1920*1080的bmp格式图像转换为800*480的大小的jpg格式图像，然后将jpg格式图像转化为单通道灰度图像。
5.根据权利要求4所述的基于相关性模板匹配的室外图像拼接方法，其特征在于，将jpg格式图像转化为单通道灰度图像的转换公式为：
Gray(x,y)＝0.114×R(x,y)+0.587×G(x,y)+0.2989×B(x,y)
其中，R(x,y)代表在图像中坐标为(x,y)的位置的红色分量值，G(x,y)代表在图像中坐标为(x,y)的位置的绿色分量值，B(x,y)代表在图像中坐标为(x,y)的位置的蓝色分量值，Gray(x,y)代表在图像中最终保留的坐标为(x,y)的位置的灰度值。
6.根据权利要求1所述的基于相关性模板匹配的室外图像拼接方法，其特征在于，步骤(1)从拍摄的视频中抽取待拼接图像时，抽取的相邻两张图像之间在垂直方向上的位移不超过图像高度的1/5，水平方向重叠区域长度不小于图像宽度的1/4。
CN201911082845.9A 2019-11-07 2019-11-07 一种基于相关性模板匹配的室外图像拼接方法 Active CN110838086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911082845.9A CN110838086B (zh) 2019-11-07 2019-11-07 一种基于相关性模板匹配的室外图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911082845.9A CN110838086B (zh) 2019-11-07 2019-11-07 一种基于相关性模板匹配的室外图像拼接方法

Publications (2)

Publication Number Publication Date
CN110838086A CN110838086A (zh) 2020-02-25
CN110838086B true CN110838086B (zh) 2021-07-16

Family

ID=69576307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911082845.9A Active CN110838086B (zh) 2019-11-07 2019-11-07 一种基于相关性模板匹配的室外图像拼接方法

Country Status (1)

Country Link
CN (1) CN110838086B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369481B (zh) * 2020-02-28 2020-11-20 当家移动绿色互联网技术集团有限公司 图像融合方法、装置、存储介质和电子设备
CN111738925B (zh) * 2020-08-04 2020-12-08 四川智盛芯源科技有限公司 一种阵列相机中田字形全景图像拼接方法
CN113744133A (zh) * 2021-09-13 2021-12-03 烟台艾睿光电科技有限公司 一种图像拼接方法、装置、设备及计算机可读存储介质
CN115272077B (zh) * 2022-07-29 2023-06-06 西安羚控电子科技有限公司 一种基于视域融合的图像拼接方法及系统
CN116306764B (zh) * 2023-03-22 2023-11-14 北京京瀚禹电子工程技术有限公司 一种基于机器视觉的电子元器件计数系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761079A (zh) * 2013-12-12 2014-04-30 北京奇虎科技有限公司 页面自动变灰的方法和装置
CN103856727B (zh) * 2014-03-24 2017-01-25 北京工业大学 一种多路实时视频拼接处理系统
CN106485250A (zh) * 2016-09-09 2017-03-08 华东理工大学 一种纸芯片灰度值识别方法及其应用

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620909B2 (en) * 1999-05-12 2009-11-17 Imove Inc. Interactive image seamer for panoramic images
CN102903085B (zh) * 2012-09-25 2015-09-09 福州大学 基于角点匹配的快速图像拼接方法
US8917951B1 (en) * 2013-07-19 2014-12-23 Hong Kong Applied Science and Technology Research Institute Company Limited Method of on-the-fly image stitching
CN104268846B (zh) * 2014-09-22 2017-08-22 上海联影医疗科技有限公司 图像拼接方法及装置
CN105957007B (zh) * 2016-05-05 2018-12-18 电子科技大学 基于特征点平面相似度的图像拼接方法
CN106952311B (zh) * 2017-03-02 2020-04-07 山东省科学院自动化研究所 基于全景拼接数据映射表的辅助泊车系统及方法
CN110223226B (zh) * 2019-05-07 2021-01-15 中国农业大学 全景图像拼接方法及系统
CN110288533B (zh) * 2019-07-02 2022-12-06 河北农业大学 一种非旋转图像的快速拼接方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761079A (zh) * 2013-12-12 2014-04-30 北京奇虎科技有限公司 页面自动变灰的方法和装置
CN103856727B (zh) * 2014-03-24 2017-01-25 北京工业大学 一种多路实时视频拼接处理系统
CN106485250A (zh) * 2016-09-09 2017-03-08 华东理工大学 一种纸芯片灰度值识别方法及其应用

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"[OpenCV]模板匹配和图像拼接";seflimper1991;《百度》;20141204;第1-4页 *
"基于全自动显微镜的图像拼接技术研究";张传友;《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》;20140415;第1-82页 *
张传友."基于全自动显微镜的图像拼接技术研究".《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》.2014, *

Also Published As

Publication number Publication date
CN110838086A (zh) 2020-02-25

Similar Documents

Publication Publication Date Title
CN110838086B (zh) 一种基于相关性模板匹配的室外图像拼接方法
CN110782394A (zh) 全景视频快速拼接方法及系统
JP4630936B1 (ja) 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体
CN109685913B (zh) 基于计算机视觉定位的增强现实实现方法
CN106469444B (zh) 消除拼接缝隙的快速图像融合方法
CN111583116A (zh) 基于多摄像机交叉摄影的视频全景拼接融合方法及系统
CN110400278B (zh) 一种图像颜色和几何畸变的全自动校正方法、装置及设备
JP2007201948A (ja) 撮像装置、画像処理方法及びプログラム
CN105608671A (zh) 一种基于surf算法的图像拼接方法
CN104683634A (zh) 判定装置和便携式终端装置
JP4662258B2 (ja) 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体
CN102074001A (zh) 一种文本图像的拼接方法及系统
CN112085659A (zh) 一种基于球幕相机的全景拼接融合方法、系统及存储介质
CN106886976B (zh) 一种基于内参数修正鱼眼像机的图像生成方法
CN113112404B (zh) 一种基于滑动窗口的图像拼接方法及装置
CN107330856B (zh) 一种基于投影变换和薄板样条的全景成像方法
CN116152121B (zh) 基于畸变参数的曲面屏生成方法、矫正方法
CN113096016A (zh) 一种低空航拍图像拼接方法和系统
CN111210384B (zh) 一种适用于机场跑道场景的图像拼接方法
CN112365399B (zh) 基于深度学习的风机叶片图像全景拼接方法和系统
CN111028290B (zh) 一种用于绘本阅读机器人的图形处理方法及装置
CN112950466A (zh) 一种基于语义对象匹配的图像拼接方法
Yaohui et al. Visual alignment system for PCB production based on yolov5
CN110310374B (zh) 全景照片中三脚架自动消除方法及装置
CN113992902B (zh) 一种基于贝塞尔体的投影图像颜色校正方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant