CN110276722B - 一种视频图像拼接方法 - Google Patents

一种视频图像拼接方法 Download PDF

Info

Publication number
CN110276722B
CN110276722B CN201910534856.XA CN201910534856A CN110276722B CN 110276722 B CN110276722 B CN 110276722B CN 201910534856 A CN201910534856 A CN 201910534856A CN 110276722 B CN110276722 B CN 110276722B
Authority
CN
China
Prior art keywords
image
images
path
frame
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910534856.XA
Other languages
English (en)
Other versions
CN110276722A (zh
Inventor
杨俊年
吴烈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Luoding Photoelectric Tech Co ltd
Original Assignee
Shenzhen Luoding Photoelectric Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Luoding Photoelectric Tech Co ltd filed Critical Shenzhen Luoding Photoelectric Tech Co ltd
Priority to CN201910534856.XA priority Critical patent/CN110276722B/zh
Publication of CN110276722A publication Critical patent/CN110276722A/zh
Application granted granted Critical
Publication of CN110276722B publication Critical patent/CN110276722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种视频图像拼接方法，包括：获取两路视频图像信号；分别计算第一路视频图像的第一帧图像与第二路视频图像的所有帧图像的相关性；当相关性最大的一组帧图像大于设定阈值时，将第一路视频图像的第一帧图像与对应的第二路视频图像的帧图像进行帧图像匹配；根据帧图像间变换矩阵，对第二路视频图像的帧图像进行变换形成拼接图；将待拼接第二路视频图像的帧图像依次映射到到第一路视频图像完成拼接。本发明显著的提高了视频图像拼接的实时性，实现无缝连接，提高了视频图像拼接的准确性，该方法在实时显示、图像显示效果方面大大增强，增强用户观感。

Description

一种视频图像拼接方法
技术领域
本发明涉及视频图像处理技术领域，具体地涉及一种视频图像拼接方法。
背景技术
图像拼接在实际的应用场景很广，比如无人机航拍，遥感图像等等，图像拼接是进一步做图像理解基础步骤，拼接效果的好坏直接影响接下来的工作，所以一个好的图像拼接方法非常重要。图像的拼接技术包括三大部分：特征点提取与匹配、图像配准、图像融合。
但是现有的图像拼接方法速度慢，尤其是视频图像的拼接实时性交叉，不能够达到工业应用的程度，或者只针对特定视频图像进行拼接，例如发明专利CN106454152A提供了一种视频图像拼接方法、装置和系统，该发明通过提取至少两个图像特征数据，基于特征数据进行拼接，速度非常慢。专利CN108495060A中，要对视频图像解码，然后通过对运动物体检测，对视频图像进行区域划分，查找缝合线，并通过运动物体查找最佳缝合线，该方法准确率较差且该专利的计算方法冗余度较高。因此需要一个实时性强、计算量少、冗余度低的方法，并提供视频图像拼接效果和效率。
发明内容
为解决上述技术问题，本发明提供一种视频图像拼接方法，通过对两路视频图像的帧图像的选取以及拼接图像的匹配实现视频图像拼接，本发明的一种视频图像拼接方法显著的提高了视频图像拼接的实时性，实现无缝连接，提高了视频图像拼接的准确性，该方法在实时显示、图像显示效果方面大大增强，增强用户观感。本发明是这样实现的：
一种视频图像拼接方法，包括：获取两路视频图像信号；分别计算第一路视频图像的第一帧图像与第二路视频图像的所有帧图像的相关性；当相关性最大的一组帧图像大于设定阈值时，将第一路视频图像的第一帧图像与对应的第二路视频图像的帧图像进行帧图像匹配；根据帧图像间变换矩阵，对第二路视频图像的帧图像进行变换形成拼接图；将待拼接第二路视频图像的帧图像依次映射到到第一路视频图像完成拼接；
其中，计算相关性过程如下：
Figure GDA0002888143880000021
X是n×p的第一路视频图像的第一帧图像矩阵，Y是n×q的第二路视频图像的帧图像矩阵，两路帧图像数据集中分别包含h和w个像素点Xt是矩阵的转置，tr(·)是图像矩阵的迹，RV系数的值在0到1之间，如果RV为0，则表示两个帧图像是独立的不相关的，如果RV为1，则帧图像X与帧图像Y等同；
帧图像匹配过程为：首先，图像序列之间进行投影变换，将第二路视频图像的帧图像的第一列像素投影至第一路视频图像的帧图像的第二列，依次类推，对投影变换后的图像进行相似性度量，当相似性度量J最小时，即完成匹配，相似性度量：
Figure GDA0002888143880000022
其中i，j分别表示投影后的图像像素的位置信息中的横坐标与纵坐标，l是连接位置信息自适应系数，Ri表示拼接区域的横坐标均值信息，Rj表示拼接区域的纵坐标均值信息，xj是投影后图像空间中的一个数据点，mi是投影后图像区域ci的均值，所述投影后图像区域ci为帧图像拼接初始列的前后N列，且N〉2。
优选地，当相关性最大的一组帧图像小于设定阈值时，则计算第一路视频图像的第二帧图像与第二路视频图像的所有帧图像的相关性。
优选地，计算帧图像的相关性之前还包括帧图像预处理，通过自适应维纳滤波器进行去噪，根据图象的局部方差来调整滤波器的输出,局部方差越大,滤波器的平滑作用越强，使恢复帧图像f'(i,j)与原始帧图像f(i,j)的均方误差e2＝E[(f(i,j)-f'(i,j))2]最小。
优选地，所述图像序列之间进行投影变换，将第二路视频图像的帧图像的第一列像素投影至第一路视频图像的帧图像的第二列后，将第一路视频图像的帧图像的第二列像素删除，依次类推，将第二路视频图像的帧图像的第二列像素投影至第一路视频图像的帧图像的第三列，将第一路视频图像的帧图像的第三列像素删除。
优选地，所述图像序列之间进行投影变换，还包括将第二路视频图像的帧图像的第max列像素投影至第一路视频图像的帧图像的第max+1列，其中，max为第二路视频图像的帧图像的最后一列。
优选地，所述图像序列之间进行投影变换，还包括将第二路视频图像的帧图像的第max列像素投影至第一路视频图像的帧图像的第max+1列，其中，max+1列大于第一路视频图像的帧图像的最后一列时，则扩展第一路视频图像的帧图像。
优选地，包括现场可编程门阵列FPGA或数字信号处理器DSP用于对获取的视频帧图像拼接。
与现有技术相比，本发明的技术方案具有以下有益效果：
解决了传统技术中不能够完全实现实时显示、且图像算法计算复杂时间过长的问题；本发明的基于视频拼接方法显著的提高了视频图像拼接的实时性，实现无缝连接，提高了视频图像拼接的准确性，该方法在实时显示、图像显示效果方面大大增强，增强用户观感。
附图说明
图1是本发明的一种视频图像拼接方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本领域技术人员理解，如背景技术所言，传统的视频拼接技术中不能够完全实时显示、且图像算法计算复杂时间过长的问题，用户观感较差，因此，本发明提供一种视频图像拼接方法，本发明提供一种视频图像拼接方法，通过对两路视频图像的帧图像的选取以及拼接图像的匹配实现视频图像拼接，显著的提高了视频图像拼接的实时性，实现无缝连接，提高了视频图像拼接的准确性，该方法在实时显示、图像显示效果方面大大增强，增强用户观感。为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1示出了本申请的视频图像拼接流程图，一种视频图像拼接方法，包括：获取两路视频图像信号；分别计算第一路视频图像的第一帧图像与第二路视频图像的所有帧图像的相关性；当相关性最大的一组帧图像大于设定阈值时，将第一路视频图像的第一帧图像与对应的第二路视频图像的帧图像进行帧图像匹配；根据帧图像间变换矩阵，对第二路视频图像的帧图像进行变换形成拼接图；将待拼接第二路视频图像的帧图像依次映射到到第一路视频图像完成拼接；
其中，计算相关性过程如下：
Figure GDA0002888143880000041
X是n×p的第一路视频图像的第一帧图像矩阵，Y是n×q的第二路视频图像的帧图像矩阵，两路帧图像数据集中分别包含h和w个像素点Xt是矩阵的转置，tr(·)是图像矩阵的迹，RV系数的值在0到1之间，如果RV为0，则表示两个帧图像是独立的不相关的，如果RV为1，则帧图像X与帧图像Y等同；
帧图像匹配过程为：首先，图像序列之间进行投影变换，将第二路视频图像的帧图像的第一列像素投影至第一路视频图像的帧图像的第二列，依次类推，对投影变换后的图像进行相似性度量，当相似性度量J最小时，即完成匹配，相似性度量：
Figure GDA0002888143880000051
其中i，j分别表示投影后的图像像素的位置信息中的横坐标与纵坐标，l是连接位置信息自适应系数，Ri表示拼接区域的横坐标均值信息，Rj表示拼接区域的纵坐标均值信息，xj是投影后图像空间中的一个数据点，mi是投影后图像区域ci的均值，所述投影后图像区域ci为帧图像拼接初始列的前后N列，且N〉2。
在一些实施例中，当相关性最大的一组帧图像小于设定阈值时，则计算第一路视频图像的第二帧图像与第二路视频图像的所有帧图像的相关性。
在一些实施例中，计算帧图像的相关性之前还包括帧图像预处理，通过自适应维纳滤波器进行去噪，根据图象的局部方差来调整滤波器的输出,局部方差越大,滤波器的平滑作用越强，使恢复帧图像f'(i,j)与原始帧图像f(i,j)的均方误差e2＝E[(f(i,j)-f'(i,j))2]最小。
优选地，所述图像序列之间进行投影变换，将第二路视频图像的帧图像的第一列像素投影至第一路视频图像的帧图像的第二列后，将第一路视频图像的帧图像的第二列像素删除，依次类推，将第二路视频图像的帧图像的第二列像素投影至第一路视频图像的帧图像的第三列，将第一路视频图像的帧图像的第三列像素删除。
在一些实施例中，所述图像序列之间进行投影变换，还包括将第二路视频图像的帧图像的第max列像素投影至第一路视频图像的帧图像的第max+1列，其中，max为第二路视频图像的帧图像的最后一列。
在一些实施例中，所述图像序列之间进行投影变换，还包括将第二路视频图像的帧图像的第max列像素投影至第一路视频图像的帧图像的第max+1列，其中，max+1列大于第一路视频图像的帧图像的最后一列时，则扩展第一路视频图像的帧图像。
在一些实施例中，包括现场可编程门阵列FPGA或数字信号处理器DSP用于对获取的视频帧图像拼接。
本发明提供一种视频图像拼接方法，通过对两路视频图像的帧图像的选取以及拼接图像的匹配实现视频图像拼接，提高了视频图像拼接的实时性，实现无缝连接，提高了视频图像拼接的准确性，该方法在实时显示、图像显示效果方面大大增强，增强用户观感。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (7)

1.一种视频图像拼接方法，其特征在于，包括：获取两路视频图像信号；分别计算第一路视频图像的第一帧图像与第二路视频图像的所有帧图像的相关性；当相关性最大的一组帧图像大于设定阈值时，将第一路视频图像的第一帧图像与对应的第二路视频图像的帧图像进行帧图像匹配；根据帧图像间变换矩阵，对第二路视频图像的帧图像进行变换形成拼接图；将待拼接第二路视频图像的帧图像依次映射到到第一路视频图像完成拼接；
其中，计算相关性过程如下：
Figure FDA0002888143870000011
X是n×p的第一路视频图像的第一帧图像矩阵，Y是n×q的第二路视频图像的帧图像矩阵，两路帧图像数据集中分别包含h和w个像素点Xt是矩阵的转置，tr(·)是图像矩阵的迹，RV系数的值在0到1之间，如果RV为0，则表示两个帧图像是独立的不相关的，如果RV为1，则帧图像X与帧图像Y等同；
帧图像匹配过程为：首先，图像序列之间进行投影变换，将第二路视频图像的帧图像的第一列像素投影至第一路视频图像的帧图像的第二列，依次类推，对投影变换后的图像进行相似性度量，当相似性度量J最小时，即完成匹配，相似性度量：
Figure FDA0002888143870000012
其中i，j分别表示投影后的图像像素的位置信息中的横坐标与纵坐标，l是连接位置信息自适应系数，Ri表示拼接区域的横坐标均值信息，Rj表示拼接区域的纵坐标均值信息，xj是投影后图像空间中的一个数据点，mi是投影后图像区域ci的均值，所述投影后图像区域ci为帧图像拼接初始列的前后N列，且N〉2。
2.根据权利要求1所述的一种视频图像拼接方法，其特征在于，当相关性最大的一组帧图像小于设定阈值时，则计算第一路视频图像的第二帧图像与第二路视频图像的所有帧图像的相关性。
3.根据权利要求1所述的一种视频图像拼接方法，其特征在于，计算帧图像的相关性之前还包括帧图像预处理，通过自适应维纳滤波器进行去噪，根据图象的局部方差来调整滤波器的输出，局部方差越大，滤波器的平滑作用越强，使恢复帧图像f'(i,j)与原始帧图像f(i,j)的均方误差e2＝E[(f(i,j)-f'(i,j))2]最小。
4.根据权利要求1所述的一种视频图像拼接方法，其特征在于，所述图像序列之间进行投影变换，将第二路视频图像的帧图像的第一列像素投影至第一路视频图像的帧图像的第二列后，将第一路视频图像的帧图像的第二列像素删除，依次类推，将第二路视频图像的帧图像的第二列像素投影至第一路视频图像的帧图像的第三列，将第一路视频图像的帧图像的第三列像素删除。
5.根据权利要求4所述的一种视频图像拼接方法，其特征在于，所述图像序列之间进行投影变换，还包括将第二路视频图像的帧图像的第max列像素投影至第一路视频图像的帧图像的第max+1列，其中，max为第二路视频图像的帧图像的最后一列。
6.根据权利要求5所述的一种视频图像拼接方法，其特征在于，所述图像序列之间进行投影变换，还包括将第二路视频图像的帧图像的第max列像素投影至第一路视频图像的帧图像的第max+1列，其中，max+1列大于第一路视频图像的帧图像的最后一列时，则扩展第一路视频图像的帧图像。
7.根据权利要求1所述的一种视频图像拼接方法，其特征在于，包括现场可编程门阵列FPGA或数字信号处理器DSP用于对获取的视频帧图像拼接。
CN201910534856.XA 2019-06-20 2019-06-20 一种视频图像拼接方法 Active CN110276722B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910534856.XA CN110276722B (zh) 2019-06-20 2019-06-20 一种视频图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910534856.XA CN110276722B (zh) 2019-06-20 2019-06-20 一种视频图像拼接方法

Publications (2)

Publication Number Publication Date
CN110276722A CN110276722A (zh) 2019-09-24
CN110276722B true CN110276722B (zh) 2021-03-30

Family

ID=67961497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910534856.XA Active CN110276722B (zh) 2019-06-20 2019-06-20 一种视频图像拼接方法

Country Status (1)

Country Link
CN (1) CN110276722B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681170B (zh) * 2020-06-10 2023-05-02 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540046A (zh) * 2009-04-10 2009-09-23 凌阳电通科技股份有限公司 基于图像特征的全景图拼接方法和装置
CN101621634A (zh) * 2009-07-24 2010-01-06 北京工业大学 动态前景分离的大幅面视频拼接方法
CN102903085A (zh) * 2012-09-25 2013-01-30 福州大学 基于角点匹配的快速图像拼接方法
CN105096606A (zh) * 2015-08-31 2015-11-25 成都众孚理想科技有限公司 汽车鸣笛闯红灯抓拍系统
CN108737743A (zh) * 2017-04-14 2018-11-02 中国科学院苏州纳米技术与纳米仿生研究所 基于图像拼接的视频拼接装置及视频拼接方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7460730B2 (en) * 2005-08-04 2008-12-02 Microsoft Corporation Video registration and image sequence stitching
CN104580933A (zh) * 2015-02-09 2015-04-29 上海安威士科技股份有限公司 基于特征点的多尺度实时监控视频拼接装置及拼接方法
CN108520496B (zh) * 2018-04-12 2020-07-10 电子科技大学 一种基于光流法的海空背景监控视频图像拼接方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540046A (zh) * 2009-04-10 2009-09-23 凌阳电通科技股份有限公司 基于图像特征的全景图拼接方法和装置
CN101621634A (zh) * 2009-07-24 2010-01-06 北京工业大学 动态前景分离的大幅面视频拼接方法
CN102903085A (zh) * 2012-09-25 2013-01-30 福州大学 基于角点匹配的快速图像拼接方法
CN105096606A (zh) * 2015-08-31 2015-11-25 成都众孚理想科技有限公司 汽车鸣笛闯红灯抓拍系统
CN108737743A (zh) * 2017-04-14 2018-11-02 中国科学院苏州纳米技术与纳米仿生研究所 基于图像拼接的视频拼接装置及视频拼接方法

Also Published As

Publication number Publication date
CN110276722A (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
CN108062525B (zh) 一种基于手部区域预测的深度学习手部检测方法
CN111445389A (zh) 一种高分辨率图像的宽视角快速拼接方法
CN110706269B (zh) 一种基于双目视觉slam的动态场景密集建模方法
CN108234966A (zh) 一种基于嵌入式平台的实时全景视频拼接系统
CN110310305B (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN111382647B (zh) 一种图片处理方法、装置、设备及存储介质
CN102457724B (zh) 一种图像运动检测系统及方法
CN105894443A (zh) 一种基于改进的surf算法的实时视频拼接方法
CN113344820B (zh) 图像处理方法及装置、计算机可读介质、电子设备
CN116486250A (zh) 一种基于嵌入式的多路图像采集与处理方法及系统
CN116012817A (zh) 基于双网络深度学习的实时全景车位检测方法、装置
CN110276722B (zh) 一种视频图像拼接方法
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
Liang et al. Multi-scale and multi-patch transformer for sandstorm image enhancement
CN111881914B (zh) 一种基于自学习阈值的车牌字符分割方法及系统
WO2024082602A1 (zh) 一种端到端视觉里程计方法及装置
CN112949423A (zh) 物体识别方法、物体识别装置及机器人
CN115861891B (zh) 视频目标检测方法、装置、设备及介质
CN116664694A (zh) 图像亮度获取模型的训练方法、图像获取方法及移动终端
CN112288817B (zh) 基于图像的三维重建处理方法及装置
CN115631534A (zh) 用于人体姿态估计的特征和语义细化网络的方法
CN111754412A (zh) 构建数据对的方法、装置及终端设备
CN112950481B (zh) 一种基于图像拼接网络的水花遮挡图像数据集采集方法
CN115830064A (zh) 一种基于红外脉冲信号的弱小目标跟踪方法及装置
CN112241670B (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant