CN107038683B - 运动目标的全景成像方法 - Google Patents

运动目标的全景成像方法 Download PDF

Info

Publication number
CN107038683B
CN107038683B CN201710190407.9A CN201710190407A CN107038683B CN 107038683 B CN107038683 B CN 107038683B CN 201710190407 A CN201710190407 A CN 201710190407A CN 107038683 B CN107038683 B CN 107038683B
Authority
CN
China
Prior art keywords
displacement
video sequence
moving object
frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710190407.9A
Other languages
English (en)
Other versions
CN107038683A (zh
Inventor
胡锦高
王彦情
张吉祥
杨一平
刘子坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201710190407.9A priority Critical patent/CN107038683B/zh
Publication of CN107038683A publication Critical patent/CN107038683A/zh
Application granted granted Critical
Publication of CN107038683B publication Critical patent/CN107038683B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种运动目标的全景成像方法,对运动目标采集高清视频,运用图像拼接技术从而生成运动目标的高清全景图像。本方法主要包括特征点提取、特征点光流计算与分析、前景帧和背景帧分离以及图像融合等步骤。本发明可以克服火车等狭长目标运动时,全景成像和高清成像难以兼顾的问题,通过在运行中的火车一侧采集高清视频序列,应用本发明中的方法即可拼接出火车车身的高清全景图像,为后续的基于视觉的火车车型分析、车号识别、车速测量等提供了基础条件。

Description

运动目标的全景成像方法
技术领域
本发明涉及图像拼接技术领域,尤其涉及一种运动目标的全景成像方法。
背景技术
通过计算机视觉技术来测量火车的运行速度,识别火车车型和车号等为铁道交通管理提供了极大的便利。而这些技术的前提是获取火车车身的高清全景图像。在对行驶中的火车目标成像时,由于目标尺寸较大,且形状狭长(火车车身的长度通常为高度的百倍级),而普通相机成像视野有限,难以一次性获取目标的高清全貌信息。因此,如果能通过采集连续的包含火车局部的高清视频序列,然后利用图像拼接技术还原目标的高清全貌,就可以为火车等大尺寸狭长目标高清成像提供一种十分有效的途径。
图像拼接具有广泛的应用场景,是计算机视觉领域的重要研究方向之一。图像拼接的主要任务是将两幅及以上的具有部分重叠的图像进行无缝拼接从而得到大尺寸或者宽视角的图像。图像拼接技术包含图像配准和图像融合到两个主要环节。图像融合部分常用的算法包括直接平均法,加权求和法和距离权重法,由于其实现较为简单,且算法时间复杂度不高,现有的几种方法已经能达到较为理想的效果,所以总体来讲算法是较为成熟的。图像配准部分是整个图像拼接技术的核心部分,它直接关系到图像拼接算法的成功率和运行速度。目前,常用的图像配准算法包括基于灰度的块模板匹配和基于局部特征点(SURF、ORB等)的特征点匹配。基于灰度的块模板匹配本质上是一种暴力匹配的算法,其计算开销巨大,同时极容易受角度、光照、遮挡等外界条件的影响,鲁棒性较差。基于图像金字塔结构的块模板匹配采用了由粗到细的配准思想,首先在较低分辨率的图像上匹配,然后将该匹配结果作为起点在较高分辨率尺度上继续匹配,提高了匹配效率,但仍然存在对角度、光照以及遮挡等敏感的缺陷。基于局部特征点的匹配方法分别在待配准的两幅图像中提取局部特征点,然后对这些特征点进行匹配。基于局部特征点的匹配在常规的图像配准中应用较多,是一种效率较高,鲁棒性较好的图像配准方法。然而,火车车身光滑,纹理较少,且各部分相似度很大,这些特性使得基于局部特征点的匹配成功率并不高。
发明内容
(一)要解决的技术问题
本发明的目的在于提供一种运动目标的全景成像方法,从而解决上述的至少一项技术问题。
(二)技术方案
本发明提供了一种运动目标的全景成像方法,包括步骤:
S1、采集运动目标的视频序列,在所述视频序列的各帧中设置感兴趣区,并在所述感兴趣区中提取特征点;
S2、计算各相邻帧间特征点的位移;
S3、对所述特征点的位移进行方向约束和合成,得到各相邻帧间运动目标的位移;
S4、基于运动目标的位移,去除所述视频序列中的背景帧,并对去除了背景帧的视频序列进行图像融合,得到全景图。
优选地,步骤S3中的方向约束可以指特征点光流的方向与先验方向的角度的范围满足-arctan(1/10)~arctan(1/10),所述先验方向为采集装置采集所述视频序列时的摆放方向。
优选地,步骤S3中的合成可以指:采用mean-shift算法对方向约束后的特征点进行密度分析,以密度峰值位置为中心取邻域,该邻域包含K个特征点的位移数据,求算术平均,得到运动目标在各相邻帧间的位移:
Figure BDA0001255501140000021
其中,i的范围为1~K,K为正整数。
优选地,所述运动目标的视频序列可以为经过灰度化处理的视频序列。
优选地,所述感兴趣区可以为包含运动目标部分的矩形区域。
优选地,所述特征点包括Harris角点。
优选地,步骤S2中采用稀疏光流法进行所述特征点的位移的计算。
优选地,所述稀疏光流法包括图像金字塔结构的稀疏光流法。
优选地,步骤S4中去除背景帧的方法为聚类法,所述聚类法包括K-Means二类聚类。
优选地,图像融合的公式为
Figure BDA0001255501140000031
其中D为各相邻帧间重叠区域的宽度,d为(x1,y1)到各相邻帧间重叠区域的边界的距离,0≤d≤D,(x,y)为像素的坐标。
(三)有益效果
本发明相较于现有技术的优点为:
1、利用相机采集到的高清视频序列,运用图像拼接技术对其中运动目标进行高清全景成像,算法成功率高,时间复杂度较低。
2、本发明基于稀疏光流法,主要分为特征点提取、光流计算与分析、前景帧和背景帧分离、图像融合等步骤。本发明可以克服运动目标等狭长目标全景成像和高清成像难以兼顾的问题,通过在运动目标的一侧采集视频序列,应用本发明中的方法即可拼接出运动目标的高清全景图像,为基于视觉的运动目标智能分析、识别、速度测量等提供了基础条件。
附图说明
图1为本发明实施例的步骤流程示意图;
图2A为本发明实施例的在视频帧中设置感兴趣区的示意图;
图2B为本发明实施例在感兴趣区中选取特征点的示意图;
图2C为本发明实施例对特征点进行光流分析的示意图;
图3为本发明实施例对特征点的位移进行方向约束以及基于mean-shift的密度峰值邻域发现的示意图;
图4为本发明实施例的图像融合示意图。
具体实施方式
本发明提供了一种运动目标的全景成像方法,运动目标包括行驶的火车、行驶的汽车或者其他处于运动状态的物体。采集装置包括相机、摄影机或者其他可以拍照摄像的装置。在本发明中,采集装置采集运动目标的连续的包含其各局部信息的视频序列,无缝拼接出高清的包含运动目标整体信息的全景图像,同时达到了较高的图像拼接成功率,提升了算法的运行效率。
又因为各相邻帧之间的时间间隔一致,且时间间隔很短,因此可以将运动目标的运动速度近似为运动目标的位移。
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明作进一步的详细说明。
图1为本发明实施例的步骤流程示意图,如图1所示,本发明实施例提供了一种运动目标的全景成像方法,包括步骤:
S1、采集运动目标的视频序列,在所述视频序列的各帧中设置感兴趣区,并在所述感兴趣区中提取特征点;
S2、计算各相邻帧间特征点的位移;
S3、对所述特征点的位移进行方向约束和合成,得到各相邻帧间运动目标的位移;
S4、基于运动目标的位移,去除所述视频序列中的背景帧,并对去除了背景帧的视频序列进行图像融合,得到全景图。
下面实施例以输入大小为1920*1080,帧数为631的可见光三通道火车视频序列为例,进行火车全景图生成,主要流程包括:
首先,进行步骤S1、采集火车的视频序列,在所述视频序列的各帧中设置感兴趣区,并在所述感兴趣区中提取特征点。其中,S1具体包括以下子步骤:
S11、采集火车视频序列,将采集装置(例如相机)安装在铁轨一侧的固定位置,同时,相机经过水平仪的调节,光轴处于水平位置且与火车的行驶方向垂直,相机成像面矩形的底边保持水平。
S12、设置感兴趣区,图2A为本发明实施例在视频帧中设置感兴趣区的示意图,如图2A所示,为避免背景对火车目标的运动分析产生干扰,影响结果的正确性,须设置一个感兴趣区(ROI),该区域仅仅包含前景车身部分。由于之前对相机位姿的约束,同时普通铁轨的坡度不超过千分之十,故火车在图像中基本处于水平位置,所以我们在视频帧的特定位置选取与坐标轴平行的矩形框作为ROI,以确保刚好包含车身部分即可。
S13、从视频序列中依次抽取相邻帧frameA、frameB(这里以第207、208帧为例),对frameA和frameB进行灰度化处理,本实施例采用的灰度化方法为:
I=0.299R+0.587G+0.114B
其中RGB三个分量的系数来源于RGB颜色空间转YUV颜色空间的转换方程。
S14、提取特征点,在frameA的感兴趣区ROI中自动提取一些便于什么跟踪的特征点,在frameA的ROI中提取一些便于跟踪的特征点,这里采用Harris角点。提取Harris角点的方法为:计算每一个像素的邻域的一阶导数自相关矩阵的特征值,特征值大的像素点优先被选取为角点。图2B为本发明实施例在感兴趣区中选取特征点的示意图,如图2B所示,计算Harris角点采用的邻域的尺度为3*3,特征点的数量不宜过少或者过多,对于1920*1080的图像,一般为50~500比较合适。
其次,进行步骤S2、计算各相邻帧间特征点的位移,具体可以为:
稀疏光流法计算相邻帧间特征点的位移,基于上述特征点,运用稀疏光流法(Optical Flow)分析这些特征点在frameB中相对于frameA中位置的位移。这里采用了Lucas-Kanade稀疏光流法。光流法的假设之一是目标的运动是连续的“小”运动,而火车的运动速度较快,因此在相邻帧间,这一点并不能完全满足。本发明不限于某种特定的光流法,同时,为了提高特征点跟踪的正确率以及计算速度,以及克服帧间运动的不连续性,可以使用基于图像金字塔结构的光流法,金字塔的类型不做限制,金字塔的层数不做限制。本发明实施例中,首先在图像金字塔的最高层计算光流,用得到的结果作为下一层金字塔的起始点,重复这个过程直到到达金字塔的最底层。这样可以克服光流法假设中运动连贯性假设不满足的影响,从而实现对帧间较大位移的准确跟踪。这里的图像金字塔采用高斯金字塔,金字塔层数为5。图2C为本发明实施例对特征点进行光流分析的示意图,如图2C所示,运用金字塔层数为5的高斯金字塔的稀疏光流法对选择的特征点分析,特征点从frameA运动到frameB,光流方向不一,大致偏向水平方向或者与水平方向之间存在夹角。
然后进行步骤S3、对所述特征点的位移进行方向约束和合成,得到各相邻帧间运动目标的位移,具体可以为:
对所述特征点的位移进行方向约束和合成,得到相邻帧间,运动目标的位移。对上述位移进行方向约束,过滤掉光流方向与先验方向偏离较大的位移数据,然后对剩下的位移数据进行筛选与合成,得到运动目标的位移,即为火车在frameA和frameB间的位移。首先过滤掉与先验方向偏离较大的位移,由前所述,相机在采集视频序列时摆放的方向是水平的,而火车也近似水平,故光流的先验方向为水平方向,运动方向明显偏离这一先验方向的位移数据可被认为是对最终结果有误的错误结果而首先过滤掉。由先验方向对速度方向进行约束,约束范围不限于某个特定的范围。速度筛选不限于某种特定方法,筛选的目的在于进一步剔除不合适的数据,挑选出最能代表火车目标运动速度的数据。合成即将前面挑选出的速度合成为一个速度,作为最终火车在相邻帧间的运动速度。速度合成方法不限于特定方法。
这里过滤的范围为-arctan(1/10)~arctan(1/10),即对于(u,v)其位移约束结果为:
Figure BDA0001255501140000061
其中,(u,v)为位移的二维矢量,u为水平方向,v为垂直方向。
然后对剩下的位移数据进行筛选与合成。基于样本数据在真值处具有最大密度这一假设,这里我们采用mean-shift算法对数据进行密度分析,图3为本发明实施例对特征点的位移进行方向约束以及基于mean-shift的密度峰值邻域发现的示意图,如图3所示,通过不断的迭代计算,我们可以得到一个稳定收敛的密度峰值,以该密度峰值位置为中心取邻域,该邻域包含K个特征点的位移数据,将这些位移求算术平均,得到一个位移值,即为最终的火车目标在frameA和frameB间的位移:
Figure BDA0001255501140000071
其中,i的范围为1~K,K为正整数。
此外,重复前述的步骤,直到计算出视频中所有相邻帧间火车的位移。
最后进行步骤S4、基于运动目标的位移,去除所述视频序列中的背景帧,并对去除了背景帧的视频序列进行图像融合,得到全景图,可以包括以下步骤:
S41、基于所有相邻帧间的位移,对其进行2类聚类,聚类的目的在于区分视频序列开头和结尾部分的不包含车体信息的背景帧与中间的包含车体信息的前景帧,便于后续的图像融合。聚类方法不限于某种特定方法,这里采用K-Means二类聚类。
S42、对火车进行图像融合,对前景帧部分进行图像融合生成最终的火车全景图即可。图4为本发明实施例的图像融合示意图,如图4所示,图像融合方法不限于某种特定方法,这里采用的图像融合方法为距离权重法:
Figure BDA0001255501140000072
其中D为ROI1与ROI2重叠区域的宽度,d为(x1,y1)到ROI1构成重叠区域的边界的距离,0≤d≤D,(x,y)为像素的坐标。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.运动目标的全景成像方法,其特征在于,包括步骤:
S1、采集运动目标的视频序列,在所述视频序列的各帧中设置感兴趣区,并在所述感兴趣区中提取特征点;
S2、计算各相邻帧间特征点的位移;
S3、对所述特征点的位移进行方向约束和位移合成,得到各相邻帧间运动目标的位移;
S4、基于运动目标的位移,去除所述视频序列中的背景帧,并对去除了背景帧的视频序列的前景帧部分进行图像融合,得到全景图;
步骤S3中的方向约束指特征点光流的方向与先验方向的角度的范围满足-arctan(1/10)~arctan(1/10),所述先验方向为采集装置采集所述视频序列时的摆放方向;
步骤S3中的位移合成指:采用mean-shift算法对方向约束后的特征点进行密度分析,以密度峰值位置为中心取邻域,该邻域包含K个特征点的位移数据,求算术平均,得到运动目标在各相邻帧间的位移:
Figure FDA0002459001300000011
其中,i的范围为1~K,K为正整数。
2.根据权利要求1所述的方法,其特征在于,所述运动目标的视频序列为经过灰度化处理的视频序列。
3.根据权利要求1所述的方法,其特征在于,所述感兴趣区为包含运动目标部分的矩形区域。
4.根据权利要求1所述的方法,其特征在于,所述特征点包括Harris角点。
5.根据权利要求1所述的方法,其特征在于,步骤S2中采用稀疏光流法进行所述特征点的位移的计算。
6.根据权利要求5所述的方法,其特征在于,所述稀疏光流法包括图像金字塔结构的稀疏光流法。
7.根据权利要求1所述的方法,其特征在于,步骤S4中去除背景帧的方法为聚类法,所述聚类法包括K-Means二类聚类。
CN201710190407.9A 2017-03-27 2017-03-27 运动目标的全景成像方法 Active CN107038683B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710190407.9A CN107038683B (zh) 2017-03-27 2017-03-27 运动目标的全景成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710190407.9A CN107038683B (zh) 2017-03-27 2017-03-27 运动目标的全景成像方法

Publications (2)

Publication Number Publication Date
CN107038683A CN107038683A (zh) 2017-08-11
CN107038683B true CN107038683B (zh) 2020-09-15

Family

ID=59533755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710190407.9A Active CN107038683B (zh) 2017-03-27 2017-03-27 运动目标的全景成像方法

Country Status (1)

Country Link
CN (1) CN107038683B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109937434B (zh) * 2017-10-18 2021-06-11 腾讯科技(深圳)有限公司 图像处理方法、装置、终端和存储介质
CN108307200B (zh) * 2018-01-31 2020-06-09 深圳积木易搭科技技术有限公司 一种在线视频拼接方法系统
CN108717684B (zh) * 2018-04-20 2022-05-27 中南大学 基于阵列相机的高速水平运动物体图像序列拼接方法及系统
CN108989751B (zh) * 2018-07-17 2020-07-14 上海交通大学 一种基于光流的视频拼接方法
CN109842761B (zh) * 2019-02-01 2021-03-19 中国社会科学院大学 前向运动视频的快速高清全景成像方法及装置
CN110460813A (zh) * 2019-08-12 2019-11-15 兰州交通大学 一种基于视频流的集装箱图像采集装置及采集方法
CN110675420B (zh) * 2019-08-22 2023-03-24 华为技术有限公司 一种图像处理方法和电子设备
CN112257505B (zh) * 2020-09-17 2023-07-04 昆明物理研究所 一种应用于红外全景系统的虚假目标识别方法及存储介质
CN114550141A (zh) * 2022-03-07 2022-05-27 上海闪马智能科技有限公司 一种车辆识别系统及方法
CN115272085B (zh) * 2022-09-28 2023-09-22 北京闪马智建科技有限公司 全景图像的确定方法、装置、存储介质及电子装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101345843A (zh) * 2008-08-28 2009-01-14 中兴通讯股份有限公司 可视移动终端全景视频的实现方法及系统
CN101901481A (zh) * 2010-08-11 2010-12-01 深圳市蓝韵实业有限公司 一种图像拼接方法
CN105100640A (zh) * 2015-01-23 2015-11-25 武汉智源泉信息科技有限公司 一种局部配准并行视频拼接方法及系统
CN106204484A (zh) * 2016-07-11 2016-12-07 徐州工程学院 一种基于光流和局部不变特征的交通目标跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102342099A (zh) * 2009-05-29 2012-02-01 (株)荣国电子 智能型监控摄像装置及采用该装置的影像监控系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101345843A (zh) * 2008-08-28 2009-01-14 中兴通讯股份有限公司 可视移动终端全景视频的实现方法及系统
CN101901481A (zh) * 2010-08-11 2010-12-01 深圳市蓝韵实业有限公司 一种图像拼接方法
CN105100640A (zh) * 2015-01-23 2015-11-25 武汉智源泉信息科技有限公司 一种局部配准并行视频拼接方法及系统
CN106204484A (zh) * 2016-07-11 2016-12-07 徐州工程学院 一种基于光流和局部不变特征的交通目标跟踪方法

Also Published As

Publication number Publication date
CN107038683A (zh) 2017-08-11

Similar Documents

Publication Publication Date Title
CN107038683B (zh) 运动目标的全景成像方法
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN109544456B (zh) 基于二维图像和三维点云数据融合的全景环境感知方法
CN109166077B (zh) 图像对齐方法、装置、可读存储介质及计算机设备
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
US20200226413A1 (en) Fast and robust multimodal remote sensing images matching method and system
KR101175097B1 (ko) 파노라마 영상 생성 방법
CN101383899A (zh) 一种空基平台悬停视频稳像方法
CN109544635B (zh) 一种基于枚举试探的相机自动标定方法
Shen et al. A fast algorithm for rain detection and removal from videos
CN108416798B (zh) 一种基于光流的车辆距离估计方法
CN107341815B (zh) 基于多目立体视觉场景流的剧烈运动检测方法
CN112215925A (zh) 自适应采煤机随动跟踪多摄像头视频拼接方法
CN111046843A (zh) 一种智能驾驶环境下的单目测距方法
CN103955888A (zh) 一种基于sift的高清视频图像拼接方法及装置
CN113223050B (zh) 一种基于ArUco码的机器人运动轨迹实时采集方法
Li et al. Panoramic image mosaic technology based on sift algorithm in power monitoring
CN115063477A (zh) 红外可见光双通道同步成像实时配准融合采集方法及装置
CN104966283A (zh) 图像分层配准方法
CN104104911A (zh) 全景图像生成过程中的时间戳消除和重置方法及系统
CN111833384B (zh) 一种可见光和红外图像快速配准方法及装置
Gandhi et al. Application of planar motion segmentation for scene text extraction
van de Wouw et al. Hierarchical 2.5-d scene alignment for change detection with large viewpoint differences
CN112868049B (zh) 使用基于贴片的投影相关性进行高效自运动估计
Zhang et al. An IR and visible image sequence automatic registration method based on optical flow

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant