CN108717684B - 基于阵列相机的高速水平运动物体图像序列拼接方法及系统 - Google Patents

基于阵列相机的高速水平运动物体图像序列拼接方法及系统 Download PDF

Info

Publication number
CN108717684B
CN108717684B CN201810361947.3A CN201810361947A CN108717684B CN 108717684 B CN108717684 B CN 108717684B CN 201810361947 A CN201810361947 A CN 201810361947A CN 108717684 B CN108717684 B CN 108717684B
Authority
CN
China
Prior art keywords
image
template image
matching
similarity coefficient
overlapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810361947.3A
Other languages
English (en)
Other versions
CN108717684A (zh
Inventor
高广军
吴永军
关维元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201810361947.3A priority Critical patent/CN108717684B/zh
Publication of CN108717684A publication Critical patent/CN108717684A/zh
Application granted granted Critical
Publication of CN108717684B publication Critical patent/CN108717684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了图像处理领域的一种基于阵列相机的高速水平运动物体图像序列拼接方法及系统，包括：提取阵列相机获取的线性图像序列的第N帧作为模版图像，提取第N+1帧作为匹配图像；将所述模版图像和所述匹配图像重合后计算两者重叠部分的相似度系数与重叠阀值；比较所述相似度系数与重叠阀值，当所述相似度系数不大于重叠阀值时，将所述匹配图像向右平移直至所述相似度系数大于重叠阀值；否则，将所述模版图像和所述匹配图像的未重叠部分拼接到重叠部分右边作为新的模版图像重复上述步骤直至所有帧完成拼接融合。

Description

基于阵列相机的高速水平运动物体图像序列拼接方法及系统
技术领域
本发明涉及图像处理技术领域，特别是涉及基于阵列相机的高速水平运动物体图像序列拼接方法及系统
背景技术
为实现对动车组裙板丢失情况的在线视觉检测，需要在轨道两旁安装高速相机，实现图像的高速采集和拼接，并根据采集图像进行诊断。基于面阵相机单帧图像能够采集较多的信息，但是其帧率一般较低，不能满足实际高速采集的需求。线阵相机具有高帧率和高分辨率等优点，可以满足实际的图像采集需求，但是每次只能采集一条线，实际的线阵相机是通过连续采集一定数量的线组合成一张长条状的图像。对于线阵相机拍摄的运动动车组，其运动速度不是匀速的，且线阵相机的帧率和运动速度不匹配，因此可能会出来相连两次采集的图像存在部分重叠，因此在拼接出整列列车图像的过程中，需要去除掉相邻两次采集图像中的重叠部分。
基于特征点的匹配方法能够较准确地找到两张图像之间的变换关系，但是计算量较大，且有可能出现特征点提取失败的情况，不满足实际需求；对于长条状的图像，图像形状特征也较少，且图像边缘信息等受环境因素影响较大，不能准确提取。
发明内容
本发明目的在提供于一种基于阵列相机的高速水平运动物体图像序列拼接方法及系统，以解决现有技术中存在的技术缺陷。
为实现上述目的，本发明提供了一种基于阵列相机的高速水平运动物体图像序列拼接方法，包括以下步骤：
S1：提取阵列相机获取的线性图像序列的第N帧作为模版图像，提取第N+1帧作为匹配图像；
S2：将模版图像和匹配图像重合后计算两者重叠部分的相似度系数与重叠阈值；
S3：比较相似度系数与重叠阈值，当相似度系数不大于重叠阈值时，将匹配图像向右平移直至相似度系数大于重叠阈值；否则，将模版图像和匹配图像的未重叠部分拼接到重叠部分右边作为新的模版图像重复上述步骤直至所有帧完成拼接融合。
优选地，相似度系数计算方法为：
Figure GDA0003509012940000021
其中IT表示模版图像的重叠区域；IM表示匹配图像的重叠区域；R表示两张图像重叠区域的相似度系数。
优选地，重叠阈值计算方法为：
Figure GDA0003509012940000022
其中K和c为常数，分别取为0.98和1；m和n分别为模版图像与匹配图像重叠区域的高度和宽度。
优选地，将所述匹配图像拼接到所述模版图像右侧作为新的模版图像的方式为利用高斯平滑法对图像进行融合。
依托上述方法，本发明还提供了一种基于阵列相机的高速水平运动物体图像序列拼接系统，包括：
第一模块：用于提取阵列相机获取的线性图像序列的第N帧作为模版图像，提取第N+1帧作为匹配图像；
第二模块：用于将模版图像和匹配图像重合后计算两者重叠部分的相似度系数与重叠阈值；
第三模块：用于比较相似度系数与重叠阈值，当相似度系数不大于重叠阈值时，将匹配图像向右平移直至相似度系数大于重叠阈值；否则，将模版图像和匹配图像的未重叠部分拼接到重叠部分右边作为新的模版图像重复上述步骤直至所有帧完成拼接融合。
优选地，第二模块中相似度系数计算方法为：
Figure GDA0003509012940000023
其中IT表示模版图像的重叠区域；IM表示匹配图像的重叠区域；R表示两张图像重叠区域的相似度系数。
优选地，第二模块中重叠阈值计算方法为：
Figure GDA0003509012940000024
其中K和c为常数，分别取为0.98和1；m和n分别为模版图像与匹配图像重叠区域的高度和宽度。
优选地，第三模块中将所述匹配图像拼接到所述模版图像右侧作为新的模版图像的方式为利用高斯平滑法对图像进行融合。
本发明具有以下有益效果：
本发明的图像序列拼接方法，不需要提取图像的特征，针对高速水平运动的情况，在水平方向上进行模版匹配，相对效率较高，且算法更可靠。
下面将参照附图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明优选实施例的基于阵列相机的高速水平运动物体图像序列拼接方法流程图；
图2是本发明优选实施例模版图像和匹配图像重叠区域平移变化示意图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
为实现上述目的，本发明提供了基于阵列相机的高速水平运动物体图像序列拼接方法，参见图1，包括以下步骤：
S1：提取阵列相机获取的线性图像序列的第N帧作为模版图像，提取第N+1帧作为匹配图像。
本实施例的线阵相机运用于水平高速运动物体的检测，为了完整记录高速水平运动物体的整个视觉检测过程，往往会在提前开始记录。因此线阵图像序列的开头和结尾都包含若干帧无用的图像。在图像序列拼接时可以去除掉无用的图像帧，仅保留检测过程所需帧，此时N为线阵图像序列的获取的第一张有效信息图片。不过为了方便操作，可以对全部线阵图像序列进行融合后再进行去噪，此时N为线阵图像序列的第一帧，即阵列相机获取的第一张图。
S2：将模版图像和匹配图像重合后计算两者重叠部分的相似度系数与重叠阈值。
以图像的宽度方向为横坐标，高度方向为纵坐标，图像左上角为原点。由于每一帧图像的大小相同，因此每一帧的图像都能完全重叠。将匹配图像和模版图像的原点重合，计算两张图像之间重叠部分的相似度系数以及对应的重叠阈值。
S3：比较相似度系数与重叠阈值，当相似度系数不大于重叠阈值时，将匹配图像向右平移直至相似度系数大于重叠阈值；否则，将模版图像和匹配图像的未重叠部分拼接到重叠部分右边作为新的模版图像重复上述步骤直至所有帧完成拼接融合。
参见图2，图2左边为未重叠的2幅图片，当开始融合时，先将两幅图片重合，分别计算重叠部分的相似度系数与重叠阈值，当相似度系数不大于重叠阈值时，将匹配图像向右平移，直到重叠部分的相似度系数大于重叠阈值，此时，进行图片拼接得到新的模版图像。平移幅度为每次平移一像素。
优选地，相似度系数计算方法为：
Figure GDA0003509012940000041
其中IT表示模版图像的重叠区域；IM表示匹配图像的重叠区域；R表示两张图像重叠区域的相似度系数。
比如
Figure GDA0003509012940000042
则
Figure GDA0003509012940000043
优选地，重叠阈值计算方法为：
Figure GDA0003509012940000044
其中K和c为常数，分别取为0.98和1；m和n分别为模版图像与匹配图像重叠区域的高度和宽度。
优选地，将所述匹配图像拼接到所述模版图像右侧作为新的模版图像的方式为利用高斯平滑法对图像进行融合。先分别利用模版图像和匹配图像与3x3的高斯内核进行卷积，生成3层的高斯金字塔。，然后利用高斯金子塔生成拉普拉斯金字塔并分别在每层上每个拉普拉斯金字塔图像乘以相应的高斯掩膜。再在每层上将模版图像和匹配图像的拉普拉斯图像拼起来。最后在每一层进行插值，重构拼接图像
依托上述方法，本发明还提供了一种基于阵列相机的高速水平运动物体图像序列拼接系统，包括：
第一模块：用于提取阵列相机获取的线性图像序列的第N帧作为模版图像，提取第N+1帧作为匹配图像；
第二模块：用于将模版图像和匹配图像重合后计算两者重叠部分的相似度系数与重叠阈值；
第三模块：用于比较相似度系数与重叠阈值，当相似度系数不大于重叠阈值时，将匹配图像向右平移直至相似度系数大于重叠阈值；否则，将模版图像和匹配图像的未重叠部分拼接到重叠部分右边作为新的模版图像重复上述步骤直至所有帧完成拼接融合。
优选地，第二模块中相似度系数计算方法为：
Figure GDA0003509012940000051
其中IT表示模版图像的重叠区域；IM表示匹配图像的重叠区域；R表示两张图像重叠区域的相似度系数。
优选地，第二模块中重叠阈值计算方法为：
Figure GDA0003509012940000052
其中K和c为常数，分别取为0.98和1；m和n分别为模版图像与匹配图像重叠区域的高度和宽度。
优选地，第三模块中将所述匹配图像拼接到所述模版图像右侧作为新的模版图像的方式为利用高斯平滑法对图像进行融合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.基于阵列相机的高速水平运动物体图像序列拼接方法，其特征在于，包括以下步骤：
S1：提取阵列相机获取的线性图像序列的第N帧作为模版图像，提取第N+1帧作为匹配图像；
S2：将所述模版图像和所述匹配图像重合后计算两者重叠部分的相似度系数与重叠阈值；
S3：比较所述相似度系数与重叠阈值，当所述相似度系数不大于重叠阈值时，将所述匹配图像向右平移直至所述相似度系数大于重叠阈值并以当前匹配图像作为新的模版图像；否则，将所述匹配图像的未重叠部分拼接到原模版图像的重叠部分右边作为新的模版图像；
所述相似度系数计算方法为：
Figure FDA0003524333400000011
其中IT表示模版图像的重叠区域；IM表示匹配图像的重叠区域；R表示两张图像重叠区域的相似度系数，x、y分别为重叠区域的横纵坐标位置；
所述重叠阈值计算方法为：
Figure FDA0003524333400000012
其中K和c为常数，分别取为0.98和1；m和n分别为模版图像与匹配图像重叠区域的高度和宽度。
2.根据权利要求1所述的基于阵列相机的高速水平运动物体图像序列拼接方法，其特征在于，将所述匹配图像的未重叠部分拼接到原模版图像的重叠部分右边作为新的模版图像的方式为利用高斯平滑法对图像进行融合。
3.基于阵列相机的高速水平运动物体图像序列拼接系统，其特征在于，包括：
第一模块：用于提取阵列相机获取的线性图像序列的第N帧作为模版图像，提取第N+1帧作为匹配图像；
第二模块：用于将所述模版图像和所述匹配图像重合后计算两者重叠部分的相似度系数与重叠阈值；
第三模块：用于比较所述相似度系数与重叠阈值，当所述相似度系数不大于重叠阈值时，将所述匹配图像向右平移直至所述相似度系数大于重叠阈值；否则，将所述匹配图像的未重叠部分拼接到原模版图像的重叠部分右边作为新的模版图像重复上述步骤直至所有帧完成拼接融合；
所述第二模块中所述相似度系数计算方法为：
Figure FDA0003524333400000021
其中IT表示模版图像的重叠区域；IM表示匹配图像的重叠区域；R表示两张图像重叠区域的相似度系数，x、y分别为重叠区域的横纵坐标位置；
所述第二模块中所述重叠阈值计算方法为：
Figure FDA0003524333400000022
其中K和c为常数，分别取为0.98和1；m和n分别为模版图像与匹配图像重叠区域的高度和宽度。
4.根据权利要求3所述的基于阵列相机的高速水平运动物体图像序列拼接系统，其特征在于，所述第三模块中将所述匹配图像的未重叠部分拼接到原模版图像的重叠部分右边作为新的模版图像的方式为利用高斯平滑法对图像进行融合。
CN201810361947.3A 2018-04-20 2018-04-20 基于阵列相机的高速水平运动物体图像序列拼接方法及系统 Active CN108717684B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810361947.3A CN108717684B (zh) 2018-04-20 2018-04-20 基于阵列相机的高速水平运动物体图像序列拼接方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810361947.3A CN108717684B (zh) 2018-04-20 2018-04-20 基于阵列相机的高速水平运动物体图像序列拼接方法及系统

Publications (2)

Publication Number Publication Date
CN108717684A CN108717684A (zh) 2018-10-30
CN108717684B true CN108717684B (zh) 2022-05-27

Family

ID=63899267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810361947.3A Active CN108717684B (zh) 2018-04-20 2018-04-20 基于阵列相机的高速水平运动物体图像序列拼接方法及系统

Country Status (1)

Country Link
CN (1) CN108717684B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115868933B (zh) * 2022-12-12 2024-01-05 四川互慧软件有限公司 一种采集监护仪波形的方法和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102393953A (zh) * 2011-07-15 2012-03-28 汉王科技股份有限公司 图像帧拼接方法和装置
CN102800075A (zh) * 2012-07-16 2012-11-28 宁波江丰生物信息技术有限公司 基于线阵相机拍摄的图像拼接方法和装置
CN103279939A (zh) * 2013-04-27 2013-09-04 北京工业大学 一种图像拼接处理系统
CN104463886A (zh) * 2014-12-18 2015-03-25 西南交通大学 一种线阵相机拍摄图像的处理方法及装置
CN105631811A (zh) * 2016-02-25 2016-06-01 科盾科技股份有限公司 一种用于图像拼接的方法及装置
CN105761233A (zh) * 2014-12-15 2016-07-13 南京理工大学 一种基于fpga的实时全景图像拼接方法
CN105869120A (zh) * 2016-06-16 2016-08-17 哈尔滨工程大学 一种图像拼接的实时性优化方法
CN106683040A (zh) * 2016-11-21 2017-05-17 云南电网有限责任公司电力科学研究院 一种基于ncc算法的红外全景图像拼接方法
CN107038683A (zh) * 2017-03-27 2017-08-11 中国科学院自动化研究所 运动目标的全景成像方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4068485B2 (ja) * 2002-09-30 2008-03-26 株式会社東芝 画像合成方法、画像合成装置、画像合成プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102393953A (zh) * 2011-07-15 2012-03-28 汉王科技股份有限公司 图像帧拼接方法和装置
CN102800075A (zh) * 2012-07-16 2012-11-28 宁波江丰生物信息技术有限公司 基于线阵相机拍摄的图像拼接方法和装置
CN103279939A (zh) * 2013-04-27 2013-09-04 北京工业大学 一种图像拼接处理系统
CN105761233A (zh) * 2014-12-15 2016-07-13 南京理工大学 一种基于fpga的实时全景图像拼接方法
CN104463886A (zh) * 2014-12-18 2015-03-25 西南交通大学 一种线阵相机拍摄图像的处理方法及装置
CN105631811A (zh) * 2016-02-25 2016-06-01 科盾科技股份有限公司 一种用于图像拼接的方法及装置
CN105869120A (zh) * 2016-06-16 2016-08-17 哈尔滨工程大学 一种图像拼接的实时性优化方法
CN106683040A (zh) * 2016-11-21 2017-05-17 云南电网有限责任公司电力科学研究院 一种基于ncc算法的红外全景图像拼接方法
CN107038683A (zh) * 2017-03-27 2017-08-11 中国科学院自动化研究所 运动目标的全景成像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于运动目标的图像拼接方法研究;张平;《万方数据知识服务平台》;20160129;第1~55页 *

Also Published As

Publication number Publication date
CN108717684A (zh) 2018-10-30

Similar Documents

Publication Publication Date Title
Ebdelli et al. Video inpainting with short-term windows: application to object removal and error concealment
EP1901228B1 (en) Apparatus, method and program for image matching
US10958854B2 (en) Computer-implemented method for generating an output video from multiple video sources
Dong et al. Video stabilization for strict real-time applications
US9542735B2 (en) Method and device to compose an image by eliminating one or more moving objects
Strehl et al. Detecting moving objects in airborne forward looking infra-red sequences
US20180068451A1 (en) Systems and methods for creating a cinemagraph
CN111553841B (zh) 一种基于最佳缝合线更新的实时视频拼接方法
Ilan et al. A Survey on Data‐Driven Video Completion
Kim et al. High-quality depth map up-sampling robust to edge noise of range sensors
Korah et al. Spatiotemporal inpainting for recovering texture maps of occluded building facades
CN108234826B (zh) 图像处理方法及装置
CN108717684B (zh) 基于阵列相机的高速水平运动物体图像序列拼接方法及系统
Khasare et al. Seeing through the fence: Image de-fencing using a video sequence
RU2669470C1 (ru) Устройство для удаления логотипов и субтитров с видеопоследовательностей
CN111179281A (zh) 人体图像提取方法及人体动作视频提取方法
CN111160340A (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN116403226A (zh) 无约束褶皱文档图像矫正方法、系统、设备及存储介质
Koochari et al. Exemplar-based video inpainting with large patches
Ding et al. Localization of deep video inpainting based on spatiotemporal convolution and refinement network
CN116168233A (zh) 一种基于网格图像patch分类的黑板板书还原方法
Senarathne et al. A faster image registration and stitching algorithm
Tran et al. Variational disparity estimation framework for plenoptic images
Voronin et al. Video inpainting of complex scenes based on local statistical model
CN112581365A (zh) 一种跨尺度自适应信息映射成像方法及装置、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant