CN108717684A - 基于阵列相机的高速水平运动物体图像序列拼接方法及系统 - Google Patents
基于阵列相机的高速水平运动物体图像序列拼接方法及系统 Download PDFInfo
- Publication number
- CN108717684A CN108717684A CN201810361947.3A CN201810361947A CN108717684A CN 108717684 A CN108717684 A CN 108717684A CN 201810361947 A CN201810361947 A CN 201810361947A CN 108717684 A CN108717684 A CN 108717684A
- Authority
- CN
- China
- Prior art keywords
- image
- similarity
- coefficient
- template image
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims abstract description 3
- 238000004364 calculation method Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 238000000205 computational method Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了图像处理领域的一种基于阵列相机的高速水平运动物体图像序列拼接方法及系统,包括:提取阵列相机获取的线性图像序列的第N帧作为模版图像,提取第N+1帧作为匹配图像;将所述模版图像和所述匹配图像重合后计算两者重叠部分的相似度系数与重叠阀值;比较所述相似度系数与重叠阀值,当所述相似度系数不大于重叠阀值时,将所述匹配图像向右平移直至所述相似度系数大于重叠阀值;否则,将所述模版图像和所述匹配图像的未重叠部分拼接到重叠部分右边作为新的模版图像重复上述步骤直至所有帧完成拼接融合。
Description
技术领域
本发明涉及图像处理技术领域,特别是涉及基于阵列相机的高速水平运动物体图像序列拼接方法及系统
背景技术
为实现对动车组裙板丢失情况的在线视觉检测,需要在轨道两旁安装高速相机,实现图像的高速采集和拼接,并根据采集图像进行诊断。基于面阵相机单帧图像能够采集较多的信息,但是其帧率一般较低,不能满足实际高速采集的需求。线阵相机具有高帧率和高分辨率等优点,可以满足实际的图像采集需求,但是每次只能采集一条线,实际的线阵相机是通过连续采集一定数量的线组合成一张长条状的图像。对于线阵相机拍摄的运动动车组,其运动速度不是匀速的,且线阵相机的帧率和运动速度不匹配,因此可能会出来相连两次采集的图像存在部分重叠,因此在拼接出整列列车图像的过程中,需要去除掉相邻两次采集图像中的重叠部分。
基于特征点的匹配方法能够较准确地找到两张图像之间的变换关系,但是计算量较大,且有可能出现特征点提取失败的情况,不满足实际需求;对于长条状的图像,图像形状特征也较少,且图像边缘信息等受环境因素影响较大,不能准确提取。
发明内容
本发明目的在提供于一种基于阵列相机的高速水平运动物体图像序列拼接方法及系统,以解决现有技术中存在的技术缺陷。
为实现上述目的,本发明提供了一种基于阵列相机的高速水平运动物体图像序列拼接方法,包括以下步骤:
S1:提取阵列相机获取的线性图像序列的第N帧作为模版图像,提取第N+1帧作为匹配图像;
S2:将模版图像和匹配图像重合后计算两者重叠部分的相似度系数与重叠阀值;
S3:比较相似度系数与重叠阀值,当相似度系数不大于重叠阀值时,将匹配图像向右平移直至相似度系数大于重叠阀值;否则,将模版图像和匹配图像的未重叠部分拼接到重叠部分右边作为新的模版图像重复上述步骤直至所有帧完成拼接融合。
优选地,相似度系数计算方法为:
其中IT表示模板图像的重叠区域;IM表示匹配图像的重叠区域;R表示两张图像重叠区域的相似度系数。
优选地,重叠阀值计算方法为:
其中K和c为常数,分别取为0.98和1;m和n分别为模板图像与匹配图像重叠区域的高度和宽度。
优选地,将所述匹配图像拼接到所述模版图像右侧作为新的模版图像的方式为利用高斯平滑法对图像进行融合。
依托上述方法,本发明还提供了一种基于阵列相机的高速水平运动物体图像序列拼接系统,包括:
第一模块:用于提取阵列相机获取的线性图像序列的第N帧作为模版图像,提取第N+1帧作为匹配图像;
第二模块:用于将模版图像和匹配图像重合后计算两者重叠部分的相似度系数与重叠阀值;
第三模块:用于比较相似度系数与重叠阀值,当相似度系数不大于重叠阀值时,将匹配图像向右平移直至相似度系数大于重叠阀值;否则,将模版图像和匹配图像的未重叠部分拼接到重叠部分右边作为新的模版图像重复上述步骤直至所有帧完成拼接融合。
优选地,第二模块中相似度系数计算方法为:
其中IT表示模板图像的重叠区域;IM表示匹配图像的重叠区域;R表示两张图像重叠区域的相似度系数。
优选地,第二模块中重叠阀值计算方法为:
其中K和c为常数,分别取为0.98和1;m和n分别为模板图像与匹配图像重叠区域的高度和宽度。
优选地,第三模块中将所述匹配图像拼接到所述模版图像右侧作为新的模版图像的方式为利用高斯平滑法对图像进行融合。
本发明具有以下有益效果:
本发明的图像序列拼接方法,不需要提取图像的特征,针对高速水平运动的情况,在水平方向上进行模板匹配,相对效率较高,且算法更可靠。
下面将参照附图,对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明优选实施例的基于阵列相机的高速水平运动物体图像序列拼接方法流程图;
图2是本发明优选实施例模版图像和匹配图像重叠区域平移变化示意图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明,但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
为实现上述目的,本发明提供了基于阵列相机的高速水平运动物体图像序列拼接方法,参见图1,包括以下步骤:
S1:提取阵列相机获取的线性图像序列的第N帧作为模版图像,提取第N+1帧作为匹配图像。
本实施例的线阵相机运用于水平高速运动物体的检测,为了完整记录高速水平运动物体的整个视觉检测过程,往往会在提前开始记录。因此线阵图像序列的开头和结尾都包含若干帧无用的图像。在图像序列拼接时可以去除掉无用的图像帧,仅保留检测过程所需帧,此时N为线阵图像序列的获取的第一张有效信息图片。不过为了方便操作,可以对全部线阵图像序列进行融合后再进行去噪,此时N为线阵图像序列的第一帧,即阵列相机获取的第一张图。
S2:将模版图像和匹配图像重合后计算两者重叠部分的相似度系数与重叠阀值。
以图像的宽度方向为横坐标,高度方向为纵坐标,图像左上角为原点。由于每一帧图像的大小相同,因此每一帧的图像都能完全重叠。将匹配图像和模板图像的原点重合,计算两张图像之间重叠部分的相似度系数以及对应的重叠阈值。
S3:比较相似度系数与重叠阀值,当相似度系数不大于重叠阀值时,将匹配图像向右平移直至相似度系数大于重叠阀值;否则,将模版图像和匹配图像的未重叠部分拼接到重叠部分右边作为新的模版图像重复上述步骤直至所有帧完成拼接融合。
参见图2,图2左边为未重叠的2幅图片,当开始融合时,先将两幅图片重合,分别计算重叠部分的相似度系数与重叠阀值,当相似度系数不大于重叠阀值时,将匹配图像向右平移,直到重叠部分的相似度系数大于重叠阀值,此时,进行图片拼接得到新的模版图像。平移幅度为每次平移一像素。
优选地,相似度系数计算方法为:
其中IT表示模板图像的重叠区域;IM表示匹配图像的重叠区域;R表示两张图像重叠区域的相似度系数。
比如则
优选地,重叠阀值计算方法为:
其中K和c为常数,分别取为0.98和1;m和n分别为模板图像与匹配图像重叠区域的高度和宽度。
优选地,将所述匹配图像拼接到所述模版图像右侧作为新的模版图像的方式为利用高斯平滑法对图像进行融合。先分别利用模板图像和匹配图像与3x3的高斯内核进行卷积,生成3层的高斯金字塔。,然后利用高斯金子塔生成拉普拉斯金字塔并分别在每层上每个拉普拉斯金字塔图像乘以相应的高斯掩膜。再在每层上将模板图像和匹配图像的拉普拉斯图像拼起来。最后在每一层进行插值,重构拼接图像
依托上述方法,本发明还提供了一种基于阵列相机的高速水平运动物体图像序列拼接系统,包括:
第一模块:用于提取阵列相机获取的线性图像序列的第N帧作为模版图像,提取第N+1帧作为匹配图像;
第二模块:用于将模版图像和匹配图像重合后计算两者重叠部分的相似度系数与重叠阀值;
第三模块:用于比较相似度系数与重叠阀值,当相似度系数不大于重叠阀值时,将匹配图像向右平移直至相似度系数大于重叠阀值;否则,将模版图像和匹配图像的未重叠部分拼接到重叠部分右边作为新的模版图像重复上述步骤直至所有帧完成拼接融合。
优选地,第二模块中相似度系数计算方法为:
其中IT表示模板图像的重叠区域;IM表示匹配图像的重叠区域;R表示两张图像重叠区域的相似度系数。
优选地,第二模块中重叠阀值计算方法为:
其中K和c为常数,分别取为0.98和1;m和n分别为模板图像与匹配图像重叠区域的高度和宽度。
优选地,第三模块中将所述匹配图像拼接到所述模版图像右侧作为新的模版图像的方式为利用高斯平滑法对图像进行融合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.基于阵列相机的高速水平运动物体图像序列拼接方法,其特征在于,包括以下步骤:
S1:提取阵列相机获取的线性图像序列的第N帧作为模版图像,提取第N+1帧作为匹配图像;
S2:将所述模版图像和所述匹配图像重合后计算两者重叠部分的相似度系数与重叠阀值;
S3:比较所述相似度系数与重叠阀值,当所述相似度系数不大于重叠阀值时,将所述匹配图像向右平移直至所述相似度系数大于重叠阀值并以当前图像作为新的模版图像;否则,将所述匹配图像拼接到所述模版图像右侧作为新的模版图像。
2.根据权利要求1所述的基于阵列相机的高速水平运动物体图像序列拼接方法,其特征在于,所述相似度系数计算方法为:
其中IT表示模板图像的重叠区域;IM表示匹配图像的重叠区域;R表示两张图像重叠区域的相似度系数。
3.根据权利要求1所述的基于阵列相机的高速水平运动物体图像序列拼接方法,其特征在于,所述重叠阀值计算方法为:
其中K和c为常数,分别取为0.98和1;m和n分别为模板图像与匹配图像重叠区域的高度和宽度。
4.根据权利要求1所述的基于阵列相机的高速水平运动物体图像序列拼接方法,其特征在于,将所述匹配图像拼接到所述模版图像右侧作为新的模版图像的方式为利用高斯平滑法对图像进行融合。
5.基于阵列相机的高速水平运动物体图像序列拼接系统,其特征在于,包括:
第一模块:用于提取阵列相机获取的线性图像序列的第N帧作为模版图像,提取第N+1帧作为匹配图像;
第二模块:用于将所述模版图像和所述匹配图像重合后计算两者重叠部分的相似度系数与重叠阀值;
第三模块:用于比较所述相似度系数与重叠阀值,当所述相似度系数不大于重叠阀值时,将所述匹配图像向右平移直至所述相似度系数大于重叠阀值;否则,将所述模版图像和所述匹配图像的未重叠部分拼接到重叠部分右边作为新的模版图像重复上述步骤直至所有帧完成拼接融合。
6.根据权利要求5所述的基于阵列相机的高速水平运动物体图像序列拼接系统,其特征在于,所述第二模块中所述相似度系数计算方法为:
其中IT表示模板图像的重叠区域;IM表示匹配图像的重叠区域;R表示两张图像重叠区域的相似度系数。
7.根据权利要求5所述的基于阵列相机的高速水平运动物体图像序列拼接系统,其特征在于,所述第二模块中所述重叠阀值计算方法为:
其中K和c为常数,分别取为0.98和1;m和n分别为模板图像与匹配图像重叠区域的高度和宽度。
8.根据权利要求5所述的基于阵列相机的高速水平运动物体图像序列拼接系统,其特征在于,所述第三模块中将所述匹配图像拼接到所述模版图像右侧作为新的模版图像的方式为利用高斯平滑法对图像进行融合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810361947.3A CN108717684B (zh) | 2018-04-20 | 2018-04-20 | 基于阵列相机的高速水平运动物体图像序列拼接方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810361947.3A CN108717684B (zh) | 2018-04-20 | 2018-04-20 | 基于阵列相机的高速水平运动物体图像序列拼接方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108717684A true CN108717684A (zh) | 2018-10-30 |
CN108717684B CN108717684B (zh) | 2022-05-27 |
Family
ID=63899267
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810361947.3A Active CN108717684B (zh) | 2018-04-20 | 2018-04-20 | 基于阵列相机的高速水平运动物体图像序列拼接方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108717684B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115868933A (zh) * | 2022-12-12 | 2023-03-31 | 四川互慧软件有限公司 | 一种采集监护仪波形的方法和系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040125115A1 (en) * | 2002-09-30 | 2004-07-01 | Hidenori Takeshima | Strobe image composition method, apparatus, computer, and program product |
CN102393953A (zh) * | 2011-07-15 | 2012-03-28 | 汉王科技股份有限公司 | 图像帧拼接方法和装置 |
CN102800075A (zh) * | 2012-07-16 | 2012-11-28 | 宁波江丰生物信息技术有限公司 | 基于线阵相机拍摄的图像拼接方法和装置 |
CN103279939A (zh) * | 2013-04-27 | 2013-09-04 | 北京工业大学 | 一种图像拼接处理系统 |
CN104463886A (zh) * | 2014-12-18 | 2015-03-25 | 西南交通大学 | 一种线阵相机拍摄图像的处理方法及装置 |
CN105631811A (zh) * | 2016-02-25 | 2016-06-01 | 科盾科技股份有限公司 | 一种用于图像拼接的方法及装置 |
CN105761233A (zh) * | 2014-12-15 | 2016-07-13 | 南京理工大学 | 一种基于fpga的实时全景图像拼接方法 |
CN105869120A (zh) * | 2016-06-16 | 2016-08-17 | 哈尔滨工程大学 | 一种图像拼接的实时性优化方法 |
CN106683040A (zh) * | 2016-11-21 | 2017-05-17 | 云南电网有限责任公司电力科学研究院 | 一种基于ncc算法的红外全景图像拼接方法 |
CN107038683A (zh) * | 2017-03-27 | 2017-08-11 | 中国科学院自动化研究所 | 运动目标的全景成像方法 |
-
2018
- 2018-04-20 CN CN201810361947.3A patent/CN108717684B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040125115A1 (en) * | 2002-09-30 | 2004-07-01 | Hidenori Takeshima | Strobe image composition method, apparatus, computer, and program product |
CN102393953A (zh) * | 2011-07-15 | 2012-03-28 | 汉王科技股份有限公司 | 图像帧拼接方法和装置 |
CN102800075A (zh) * | 2012-07-16 | 2012-11-28 | 宁波江丰生物信息技术有限公司 | 基于线阵相机拍摄的图像拼接方法和装置 |
CN103279939A (zh) * | 2013-04-27 | 2013-09-04 | 北京工业大学 | 一种图像拼接处理系统 |
CN105761233A (zh) * | 2014-12-15 | 2016-07-13 | 南京理工大学 | 一种基于fpga的实时全景图像拼接方法 |
CN104463886A (zh) * | 2014-12-18 | 2015-03-25 | 西南交通大学 | 一种线阵相机拍摄图像的处理方法及装置 |
CN105631811A (zh) * | 2016-02-25 | 2016-06-01 | 科盾科技股份有限公司 | 一种用于图像拼接的方法及装置 |
CN105869120A (zh) * | 2016-06-16 | 2016-08-17 | 哈尔滨工程大学 | 一种图像拼接的实时性优化方法 |
CN106683040A (zh) * | 2016-11-21 | 2017-05-17 | 云南电网有限责任公司电力科学研究院 | 一种基于ncc算法的红外全景图像拼接方法 |
CN107038683A (zh) * | 2017-03-27 | 2017-08-11 | 中国科学院自动化研究所 | 运动目标的全景成像方法 |
Non-Patent Citations (1)
Title |
---|
张平: "基于运动目标的图像拼接方法研究", 《万方数据知识服务平台》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115868933A (zh) * | 2022-12-12 | 2023-03-31 | 四川互慧软件有限公司 | 一种采集监护仪波形的方法和系统 |
CN115868933B (zh) * | 2022-12-12 | 2024-01-05 | 四川互慧软件有限公司 | 一种采集监护仪波形的方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108717684B (zh) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gao et al. | Seam-driven image stitching. | |
EP1901228B1 (en) | Apparatus, method and program for image matching | |
CN103679749B (zh) | 一种基于运动目标跟踪的图像处理方法及装置 | |
CN103679636B (zh) | 基于点、线双重特征的快速图像拼接方法 | |
Jia et al. | Video repairing: Inference of foreground and background under severe occlusion | |
CN104794683B (zh) | 基于围绕渐变拼缝区域平面扫描的视频拼接方法 | |
US8009899B2 (en) | Image filling methods | |
CN101840570A (zh) | 一种快速图像拼接方法 | |
CN111127318A (zh) | 一种机场环境下的全景图像拼接方法 | |
CN105701770B (zh) | 一种基于上下文线性模型的人脸超分辨率处理方法及系统 | |
CN103593663B (zh) | 一种钞券印版的图像定位方法 | |
CN103679672B (zh) | 基于边缘垂直距离匹配的全景图像拼接方法 | |
CN107610164A (zh) | 一种基于多特征混合的高分四号影像配准方法 | |
CN103247038B (zh) | 一种视觉认知模型驱动的全局图像信息合成方法 | |
CN101794439A (zh) | 基于边缘分类信息的图像拼接方法 | |
CN110232693B (zh) | 一种结合热力图通道及改进U-Net的图像分割方法 | |
He et al. | Panoramic video stitching in multi-camera surveillance system | |
CN106447608A (zh) | 一种视频图像拼接方法及装置 | |
CN105550981A (zh) | 一种基于Lucas-Kanade算法的图像配准和拼接方法 | |
US11087486B2 (en) | Lane specification method and lane specification device | |
CN116152068A (zh) | 一种可用于太阳能板图像的拼接方法 | |
CN105335930B (zh) | 边缘数据驱动的鲁棒性人脸超分辨率处理方法及系统 | |
Pan et al. | Depth map completion by jointly exploiting blurry color images and sparse depth maps | |
CN103729834A (zh) | 一种x射线影像的自适应拼接方法及其拼接系统 | |
CN111914596B (zh) | 车道线检测方法、装置、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |