CN104301630B - 一种视频图像拼接方法及装置 - Google Patents

一种视频图像拼接方法及装置 Download PDF

Info

Publication number
CN104301630B
CN104301630B CN201410458065.0A CN201410458065A CN104301630B CN 104301630 B CN104301630 B CN 104301630B CN 201410458065 A CN201410458065 A CN 201410458065A CN 104301630 B CN104301630 B CN 104301630B
Authority
CN
China
Prior art keywords
feature extraction
relation
relative motion
video frames
adjacent video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410458065.0A
Other languages
English (en)
Other versions
CN104301630A (zh
Inventor
赵恩伟
王诗奎
伍小洁
杨鹤猛
李成龙
张增
王森
张娟
刘金玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Original Assignee
Tianjin Aerospace Zhongwei Date Systems Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Aerospace Zhongwei Date Systems Technology Co Ltd filed Critical Tianjin Aerospace Zhongwei Date Systems Technology Co Ltd
Priority to CN201410458065.0A priority Critical patent/CN104301630B/zh
Publication of CN104301630A publication Critical patent/CN104301630A/zh
Application granted granted Critical
Publication of CN104301630B publication Critical patent/CN104301630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例公开了一种视频图像拼接方法及装置，方法包括：获取摄像机拍摄相邻两个视频帧时的相对运动关系；根据所述相对运动关系对所述相邻两个视频帧进行特征提取；根据所提取的特征对所述相邻两个视频帧进行特征匹配；根据匹配结果对所述相邻两个视频帧进行拼接与融合，能够使视频图像拼接的效率更高。

Description

一种视频图像拼接方法及装置
技术领域
本发明涉及图像处理技术领域，具体涉及视频图像处理技术，尤其涉及一种视频图像拼接方法及装置。
背景技术
现有技术中，目前常用的视频图像拼接方法主要有基于区域的图像拼接方法和基于特征的图像拼接方法。基于区域的图像拼接方法又可分为基于空间像素匹配的拼接算法和基于频域的拼接算法；基于特征的拼接方法主要根据采取采集特征的不同进行区分，比如早期的轮廓特征以及后来出现的SIFT特征、SURF特征、ORB特征等。
基于区域的图像拼接方法中，基于像素匹配的拼接算法，主要通过两幅图像像素间的灰度关系来确定图像间的变化参数。早期的匹配方法是通过在相邻重叠部分进行平移，然后比较两幅图像的匹配度，需要测试所有的平移情况。这种方法运算量极大，而且不能解决旋转和尺度变换问题。还有采用基于金字塔结构的多分辨率匹配进行最优匹配搜索，可以在一定程度上解决尺度变换问题，但是对于旋转问题解决的不理想。基于频域的拼接方法，是通过对两幅图像做二维离散傅里叶变换，通过频域内的相关关系反变换得到空间域的相关关系。
基于特征的图像拼接方法，这种方法不是利用图像的全部信息，而是首先在图像中提取特征，通过比较两幅图像的特征得到图像间的变化关系。采用轮廓提取的方法，首先对图像进行卷积增强，检测图像中像素符号变化的点(过零点)作为边界点，提取轮廓后进行特征描述。采用SIFT(Scale Invariant and Feature Transform)，这种方法首先通过建立拉普拉斯金字塔来消除尺度变化的影响，然后在尺度空间内进行特征检测，并根据关键点邻域的梯度方向确定特征点的方向，进而解决尺度及旋转问题。对于基于特征点的图像拼接算法，对拼接质量及速度影响最大的主要在与特征选取，随后出现的SURF特征、ORB特征等都在保证一定质量的情况下更加侧重速度的提升。
目前视频图像拼接普遍依赖于无人机遥测数据的解析，例如经纬度、高度、速度、俯仰、横滚等信息，需要参考这些数据来执行图像匹配操作，而实际飞行中遥测数据可能与视频不同步，或出现某些无人机遥测数据无法获取的情况，导致传统的视频图像拼接方法无法实现真正的实时拼接。因此，现有技术在追求拼接精度时很难达到实时的效果，而在追求实时的情况下对于上述复杂情况考虑不周全，难以兼顾精度和速度。
以无人机领域为例，我国目前无人机应用发展迅速，无论是军用还是民用领域，无人机的行业应用日益扩展和深入发展，比如军事目标搜寻、石油管道监测、电力巡线、林业防火预警、农业调查等。在这些行业应用中，无人机作为一种遥感应用的延伸平台，视频数据采集及视频数据处理是遥感数据分析的基础，而能够得到实时拼接的视频信息将非常有助于数据实时分析。
虽然技术人员已经从多种不同的方向对视频图像拼接技术进行了不同程度的改进与优化，但是，目前的视频图像拼接方法仍然普遍存在如下问题：
无人机在飞行过程中由于自身运动导致所拍摄的视频图像可能会出现平移、旋转、尺度变化等多种运动，所拍摄的视频图像的背景可能是海洋、草地、沙漠等特征非常不明显的区域，现有方法没有充分考虑无人机获取视频数据过程中这种复杂状况对后续拼接所造成的影响，而且现有方法大多利用一种特征对无人机获取的视频图像进行拼接，导致在上述复杂条件下的拼接结果不够理想。
发明内容
有鉴于此，本发明实施例提供一种视频图像拼接方法及装置，以实现对视频帧进行实时、准确、高效地拼接。
本发明实施例采用以下技术方案：
第一方面，本发明实施例提供了一种视频图像拼接方法，包括：
获取摄像机拍摄相邻两个视频帧时的相对运动关系；
根据所述相对运动关系对所述相邻两个视频帧进行特征提取；
根据所提取的特征对所述相邻两个视频帧进行特征匹配；
根据匹配结果对所述相邻两个视频帧进行拼接与融合。
第二方面，本发明实施例还提供了一种视频图像拼接装置，包括：
运动关系获取单元，用于获取摄像机拍摄相邻两个视频帧时的相对运动关系；
特征提取单元，用于根据所述相对运动关系对所述相邻两个视频帧进行特征提取；
特征匹配单元，用于根据所提取的特征对所述相邻两个视频帧进行特征匹配；
视频帧拼接单元，用于根据匹配结果对所述相邻两个视频帧进行拼接与融合。
本发明实施例提出的技术方案的有益技术效果是：
本发明实施例的技术方案通过获取摄像机拍摄相邻两个视频帧时的相对运动关系，根据所述相对运动关系对所述相邻两个视频帧进行特征提取和特征匹配，根据所述视频图像特征匹配装置获取的匹配结果对所述相邻两个视频帧进行拼接与融合能达到实时、准确、高效。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明实施例的内容和这些附图获得其他的附图。
图1是本发明具体实施例一所述的视频图像拼接方法流程图；
图2是本发明具体实施例二所述的视频图像拼接方法流程图；
图3是本发明具体实施例三所述的视频图像拼接方法流程图；
图4是本发明具体实施例三中采用的FREAK算子的采样结构示意图；
图5是本发明具体实施例四所述的视频图像拼接装置的结构框图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
实施例一
图1是本实施例所述的视频图像拼接方法流程图，本实施例可适用于对摄像机拍摄相邻两个视频帧进行图像拼接的情况，该方法可以由视频图像拼接装置来执行，如图1所示，本实施例所述的视频图像拼接方法包括：
步骤S101、获取摄像机拍摄相邻两个视频帧时的相对运动关系。
本实施例所称的运动关系用于表征所述摄像机在拍摄所述相邻两个视频帧的过程中是否发生了较大的偏转，简而言之即所述摄像机在拍摄所述相邻两个视频帧的过程中是否进行了旋转。
获取摄像机拍摄相邻两个视频帧时的相对运动关系的方法包括多种，例如对所述相邻两个视频帧进行分析获取摄像机拍摄所述相邻两个视频帧时的相对运动关系，又如在摄像机或摄像机所在的运动载体上安装传感器，根据所述传感器获取摄像机拍摄所述相邻两个视频帧时的相对运动关系。
其中，对所述相邻两个视频帧进行分析获取摄像机拍摄所述相邻两个视频帧时的相对运动关系，还可进一步包括对所述相邻两个视频帧进行运动估计分析获取摄像机拍摄所述相邻两个视频帧时的相对运动关系。
作为优选，所述运动估计的具体方法优选光流法，即，对所述相邻两个视频帧进行基于光流算法的运动估计分析，从而获取摄像机拍摄所述相邻两个视频帧时的相对运动关系。
当然，此处所使用的光流法仅仅是示例性的一种优选方法，本领域技术人员需要明确的是，还可以采用其他运动估计方法来实现这一目的。
步骤S102、根据所述相对运动关系对所述相邻两个视频帧进行特征提取。
获取摄像机拍摄相邻两个视频帧时的相对运动关系之后，可根据所述相对运动关系选择合适的特征提取方式(例如特征提取算法)。例如可预先对不同运动关系采用的特征提取方式进行预先设定，以针对不同的运动关系选择不同的特征提取方式，能增加视频图像拼接的灵活性。
进一步地，根据所述相对运动关系可以选择对所述相邻两个视频帧进行特征提取的具体算法。
例如，如果所述相对运动关系为旋转关系，则使用SIFT特征提取算法对所述相邻两个视频帧进行特征提取；
如果所述相对运动关系为平移关系，则使用FREAK特征提取算法对所述相邻两个视频帧进行特征提取。
如果所述相对运动关系为旋转关系，说明摄像机存在较大的偏转，而SIFT特征提取算法对于这种情况下所拍摄的图像能够提取到更好的特征，此时采用SIFT算法来处理旋转运动下的图像具有较佳的特征提取效果。
如果所述相对运动关系为平移关系，说明摄像机平稳运动而未发生较大的偏转，可以选择例如SURF、ORB或FREAK等特征提取算法。需要说明的是，SURF、ORB和FREAK这些特征提取算法处理速度较高，而根据实际应用的情况得知，相比于SURF、ORB算法，FREAK算法具有更高的处理速度。因此，如果所述相对运动关系为平移关系，优选使用FREAK算法来对所述相邻两个视频帧进行特征提取。
但是，本领域的技术人员需要明确的是，由于FREAK算法仍然存在一定的不足，例如，FREAK算法必须提取出较大数目的特征才能保证后续特征匹配的准确性，也就是说，FREAK算法更加适用于处理特征数量比较大的情况，只有这样才能在提高处理速度的同时保证所提取特征具有较高的质量。而SIFT特征提取算法则比较适合特征数量比较少的情况，如果特征数量较大，则SIFT算法的性能会急速下降。这两种方法存在一种互补效应。
因此，本实施例的技术方案还可设定一个阈值(以下称为第一阈值)，用于当相对运动关系为平移关系时，首先使用FREAK特征提取算法对所述相邻两个视频帧进行特征提取，如果提取的特征数量小于预设第一阈值，再重新使用SIFT特征提取算法对所述相邻两个视频帧进行特征提取，使用这种方式能对FREAK特征提取算法和SIFT特征提取算法进行自适应选择，能够兼顾特征提取速度和特征提取效果两个方面。
步骤S103、根据所提取的特征对所述相邻两个视频帧进行特征匹配。
步骤S104、根据所述视频图像特征匹配装置获取的匹配结果对所述相邻两个视频帧进行拼接与融合。
本实施例的技术方案通过获取摄像机拍摄相邻两个视频帧时的相对运动关系，根据所述相对运动关系对所述相邻两个视频帧进行特征提取和特征匹配，能够使视频图像拼接的效率更高。
实施例二
图2是本实施例所述的视频图像拼接方法流程图，如图2所示，本实施例所述的视频图像拼接方法包括：
步骤S201、读取当前视频帧。
步骤S202、获取当前视频帧与上一帧之间的相对运动关系。
作为优选，可将摄像机在拍摄两帧视频帧之间的相对运动关系主要划分为旋转关系和平移关系。旋转和平移是最基本的两种运动方式，其他复杂的复合运动方式大都可分解成这两种运动。由于摄像机不同的运动方式会导致所拍摄的视频帧相应地具有不同的特点，为了从所拍摄到的视频帧中提取到能更好地表示其特点的特征，本实施例优选为，根据前视频帧与上一帧之间的相对运动关系针对性地采用不同的特征提取算法，以从摄像机所拍摄到的视频帧中高效地提取更有代表性的特征。
步骤S203、判断相对运动关系是否是平移关系，若是则执行操作S204，否则执行操作S207。
步骤S204、进行匹配区域计算。
本实施例中，本操作为非必要操作，用于去除掉一些没用的区域对。例如通过BRISK描述子中引进的空间距离策略去除一些没用的区域。
步骤S205、进行FREAK特征提取。
通过FREAK算法提取所述当前视频帧与所述当前视频帧的上一视频帧(邻两个视频帧)进行特征提取。
步骤S206、判断特征量是否小于预设第一阈值，若是则执行操作S207，否则执行操作S208。
所述预设第一阈值可基于所述摄像机的分辨率来确定，所述预设第一阈值优选为不小于90且不大于110。
例如，在摄像机所拍摄的图像为标清图像(即分辨率为768*576)的情况下，可以将所述第一阈值的取值范围设为不小于90且不大于110，例如取值100。可通过实验来确定比较合适的实际取值。
步骤S207、进行SIFT特征提取。
通过SIFT特征提取算法提取所述当前视频帧与所述当前视频帧的上一视频帧(邻两个视频帧)进行特征提取。
步骤S208、进行特征匹配。
步骤S209、进行视频帧拼接与融合，结束。
本实施例的技术方案通过设定预设第一阈值，用于当相对运动关系为平移关系时，首先使用FREAK特征提取算法进行特征提取，如果提取的特征数量小于所述预设第一阈值，则重新使用SIFT特征提取算法对所述相邻两个视频帧进行特征提取。通过对FREAK特征提取算法和SIFT特征提取算法进行自适应选择，能够兼顾特征提取速度和特征提取效果两个方面。
实施例三
本实施例以无人机对地观测数据经过链路传至地面控制站，经过基于视频内容的运动估计与图像特征提取，根据匹配策略对当前帧与保存帧进行特征匹配为例，公开了一种无人机对地观测数据视频图像拼接方法，图3是本实施例的述的方法的流程图，过程如下：
步骤S301、将无人机视频信息通过通信链路传输到地面控制站。
本操作中，所述视频信息即为包括多个视频帧的视频流。目前一般民用无人机本地的计算能力有限，可在地面控制站进行实时处理。
步骤S302、对第一个视频帧进行定位和初始化。
视频的第一个视频帧到来时，可定义为初始帧，将该视频帧初始化到地理信息基准的原点上，作为缓存帧。
步骤S303、获取摄像机拍摄相邻两个视频帧时的相对运动关系。
根据相邻两个视频帧对摄像机进行运动估计。需要说明的是，此时摄像机与无人机同步运动，对摄像机进行运动估计亦即是对无人机进行运动估计。如果不是传输得到的第一帧视频帧，那么以该视频帧之前的视频帧为基准视频帧，根据该视频帧之前的视频帧以及该视频帧的图像信息，运用基于局部-全局混合的光流算法来获取摄像机(亦即无人机)在由拍摄当前视频帧之前到拍摄该当前视频帧时的运动状态是否存在较大的偏转，即拍摄这两个视频帧时的相对运动关系，例如获取拍摄这两帧之间的偏转角度。
将该视频帧的图像信息作为待匹配缓存图像。
步骤S304、进行特征点提取。
若相对运动关系的结果表明无人机存在较大的偏转则对基准视频帧以及当前帧的图像进行SIFT特征点的提取，若运动估计结果表明无人机不存在较大的偏转，则对当前帧的图像提取进行FREAK特征点的提取和描述子的提取。可设定一个阈值(以下称为第一阈值)，获取的特征数目为N，若N小于所述第一阈值则对基准视频帧以及当前视频帧的图像进行SIFT特征点的提取。
FREAK特征点及描述子提取方法：
(1)关键点检测子：
这里采用BRISK中提出的多尺度AGAST检测子。
本发明中采用的是BRISK检测算法中提出的多尺度AGAST检测子,具体过程如下；
1)进行尺度空间金字塔结构的构造。
和SIFT算法类似，尺度空间金字塔是由不同的尺度构成，相互连续的两个尺度之间由OCTAVE(Operationally Critical Treat，Asset，and Vulnerability Evaluation，可操作的关键威胁、资产和薄弱点评估)构成。
2)通过阈值选取合适的关键点。
3)去除不符合条件的关键点。
(2)二进制描述子的构建：
图4是采用的FREAK算子的采样结构示意图，FREAK特征采样模式类似视网膜神经细胞接受区域的分布，每个圆圈代表一个可接受区域，通过如图4所示的几十个可接受区域，得到上千对区域对就可以构建一个高维描述子。通过BRISK描述子中引进的空间距离策略去除一些没用的区域对。通过这种方法得到的区域对可能高相关缺少区分度。这里采用ORB中描述的方法，通过训练数据去获取最好的区域对，具体方法如下所示：
a.将提取的关键点用来建立矩阵。每行对应一个关键点，描述子是通过在图2中的视网膜的采样模式中选取所有可能的采样对。
b.计算每列的均值。变化程度较大的特征被认为是有区分度的特征，变化最大的二进制分布均值为0.5。
c.根据变化量对列进行排序。
d.保留最好的列(例如均值0.5)，将选择的列反复的加在剩下的低相关的列上。
在得到的最佳接收区域对的基础上，通过阈值化接收区域对应的高斯核得到二进制描述子F：
F＝∑0≤α＜N2αT(Pα)
其中，Pα是一对可接受字段，N为目标描述子的长度。
这里为第一个对可接受字段对Pα的平滑程度。
步骤S305、进行特征点匹配。
本实施例中采用的具体算法如下所示。
由于描述子的构成是由粗到精，因此匹配过程也采用这种方式，首先通过前16bytes代表描述子的粗信息。如果匹配中距离小于阈值，继续对描述子的精细特征进行比较。这种比较方式的结果，通过粗匹配的过滤能够加快匹配的速度。超过90％的候选点都被前16bytes过滤掉了。这里选择16bytes同时考虑到了处理器的指令周期问题。
对于当前帧进行特征提取和特征匹配时，视频序列正常向前播放。为了避免延时累积现象(在特征提取和特征匹配的时间内)，采用拼接结束再抽取帧作为当前帧，而上一次拼接的当前帧作为缓存帧。
步骤S306：进行图像变换。
根据特征匹配的结果进行图像变换计算；经过图像拼接后，采用线性融合方法，拼接后重叠区域进行处理，使拼接区域能够有自然的过度。
步骤S307、进行视频帧融合以及更新，返回步骤S303。
将视频帧进行融合后更新拼接图，重复步骤S303、S304、S305、S306。与此同时需要根据极其的内存情况设定拼接图的大小，对于将要超过设定分辨率的图像进行保存。同时初始化新的一帧图像作为第一帧。
通过上述方法对飞行器(例如无人机)机载摄像机所拍摄的视频图像进行图像拼接，能够达到以下技术效果：
(1)考虑了飞行器飞行过程中图像数据获取的动态性和复杂性，例如无人机转向时带来的图像旋转，利用不同特征的优势保证旋转时能够得到较好的匹配效果。
(2)采用SIFT特征与速度更快的FREAK特征进行联合能够在保证实时拼接的情况下得到更好的拼接效果。
(3)无需依赖飞行器的遥测信息，即使在无法获取飞行器的实时遥测信息的情况下也能实现视频的实时拼接。
实施例四
图5是本实施例所述的视频图像拼接装置的结构框图，如图5所示，本实施例所述的视频图像拼接装置包括：
运动关系获取单元501，用于获取摄像机拍摄相邻两个视频帧时的相对运动关系；
特征提取单元502，用于根据所述相对运动关系对所述相邻两个视频帧进行特征提取；
特征匹配单元503，用于根据所提取的特征对所述相邻两个视频帧进行特征匹配；
视频帧拼接单元504，用于根据匹配结果对所述相邻两个视频帧进行拼接与融合。
进一步地，所述运动关系获取单元501具体用于：对所述相邻两个视频帧进行运动估计分析获取摄像机拍摄所述相邻两个视频帧时的相对运动关系。
进一步地，所述运动关系获取单元501具体用于：对所述相邻两个视频帧进行基于光流算法的运动估计分析获取摄像机拍摄所述相邻两个视频帧时的相对运动关系。
进一步地，所述运动关系包括旋转关系和平移关系。
进一步地，所述特征提取单元502具体用于：
如果所述相对运动关系为旋转关系，则使用SIFT特征提取算法对所述相邻两个视频帧进行特征提取；和/或
如果所述相对运动关系为平移关系，则使用FREAK特征提取算法对所述相邻两个视频帧进行特征提取。
进一步地，所述特征提取单元502具体用于：
如果所述相对运动关系为平移关系，则使用FREAK特征提取算法对所述相邻两个视频帧进行特征提取，如果提取的特征数量小于预设第一阈值，则重新使用SIFT特征提取算法对所述相邻两个视频帧进行特征提取。
进一步地，所述预设第一阈值基于所述摄像机的分辨率来确定；或
所述预设第一阈值不小于90且不大于110。
本实施例提供的视频图像拼接装置可执行本发明实施例一和实施例二所提供的视频图像拼接方法，具备执行方法相应的功能模块和有益效果。
以上实施例提供的技术方案中的全部或部分内容可以通过软件编程实现，其软件程序存储在可读取的存储介质中，存储介质例如：计算机中的硬盘、光盘或软盘。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (13)

1.一种视频图像拼接方法，其特征在于，包括：
获取摄像机拍摄相邻两个视频帧时的相对运动关系；
根据所述相对运动关系对所述相邻两个视频帧进行特征提取；
根据所提取的特征对所述相邻两个视频帧进行特征匹配；
根据匹配结果对所述相邻两个视频帧进行拼接与融合；
根据所述相对运动关系对所述相邻两个视频帧进行特征提取的操作具体包括：
如果所述相对运动关系为旋转关系，则使用SIFT特征提取算法对所述相邻两个视频帧进行特征提取；和/或
如果所述相对运动关系为平移关系，则使用FREAK特征提取算法对所述相邻两个视频帧进行特征提取。
2.如权利要求1所述的方法，其特征在于，获取摄像机拍摄相邻两个视频帧时的相对运动关系的操作包括：对所述相邻两个视频帧进行运动估计分析获取摄像机拍摄所述相邻两个视频帧时的相对运动关系。
3.如权利要求2所述的方法，其特征在于，对所述相邻两个视频帧进行运动估计分析获取摄像机拍摄所述相邻两个视频帧时的相对运动关系的操作包括：对所述相邻两个视频帧进行基于光流算法的运动估计分析获取摄像机拍摄所述相邻两个视频帧时的相对运动关系。
4.如权利要求1所述的方法，其特征在于，所述相对运动关系包括旋转关系和平移关系。
5.如权利要求4所述的方法，其特征在于，根据所述相对运动关系对所述相邻两个视频帧进行特征提取的操作具体包括：
如果所述相对运动关系为平移关系，则使用FREAK特征提取算法对所述相邻两个视频帧进行特征提取，如果提取的特征数量小于预设第一阈值，则重新使用SIFT特征提取算法对所述相邻两个视频帧进行特征提取。
6.如权利要求5所述的方法，其特征在于，所述预设第一阈值基于所述摄像机的分辨率来确定。
7.如权利要求6所述的方法，其特征在于，所述预设第一阈值不小于90且不大于110。
8.一种视频图像拼接装置，其特征在于，包括：
运动关系获取单元，用于获取摄像机拍摄相邻两个视频帧时的相对运动关系；
特征提取单元，用于根据所述相对运动关系对所述相邻两个视频帧进行特征提取；
特征匹配单元，用于根据所提取的特征对所述相邻两个视频帧进行特征匹配；
视频帧拼接单元，用于根据匹配结果对所述相邻两个视频帧进行拼接与融合；
所述特征提取单元用于：
如果所述相对运动关系为旋转关系，则使用SIFT特征提取算法对所述相邻两个视频帧进行特征提取；和/或
如果所述相对运动关系为平移关系，则使用FREAK特征提取算法对所述相邻两个视频帧进行特征提取。
9.如权利要求8所述的装置，其特征在于，所述运动关系获取单元用于：对所述相邻两个视频帧进行运动估计分析获取摄像机拍摄所述相邻两个视频帧时的相对运动关系。
10.如权利要求9所述的装置，其特征在于，所述运动关系获取单元用于：对所述相邻两个视频帧进行基于光流算法的运动估计分析获取摄像机拍摄所述相邻两个视频帧时的相对运动关系。
11.如权利要求8所述的装置，其特征在于，所述相对运动关系包括旋转关系和平移关系。
12.如权利要求11所述的装置，其特征在于，所述特征提取单元用于：
如果所述相对运动关系为平移关系，则使用FREAK特征提取算法对所述相邻两个视频帧进行特征提取，如果提取的特征数量小于预设第一阈值，则重新使用SIFT特征提取算法对所述相邻两个视频帧进行特征提取。
13.如权利要求12所述的装置，其特征在于，所述预设第一阈值基于所述摄像机的分辨率来确定；或
所述预设第一阈值不小于90且不大于110。
CN201410458065.0A 2014-09-10 2014-09-10 一种视频图像拼接方法及装置 Active CN104301630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410458065.0A CN104301630B (zh) 2014-09-10 2014-09-10 一种视频图像拼接方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410458065.0A CN104301630B (zh) 2014-09-10 2014-09-10 一种视频图像拼接方法及装置

Publications (2)

Publication Number Publication Date
CN104301630A CN104301630A (zh) 2015-01-21
CN104301630B true CN104301630B (zh) 2017-10-10

Family

ID=52321174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410458065.0A Active CN104301630B (zh) 2014-09-10 2014-09-10 一种视频图像拼接方法及装置

Country Status (1)

Country Link
CN (1) CN104301630B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899831B (zh) * 2015-06-09 2019-05-24 天津航天中为数据系统科技有限公司 一种无人机影像数据实时处理方法及系统
CN105046909A (zh) * 2015-06-17 2015-11-11 中国计量学院 一种基于小型无人机的农业辅助定损方法
CN106803899B (zh) * 2015-11-26 2019-10-01 华为技术有限公司 合并图像的方法和装置
CN106056567A (zh) * 2016-07-22 2016-10-26 珠海医凯电子科技有限公司 一种超声波空间复合成像方法
CN106357994B (zh) * 2016-08-28 2019-09-24 国家海洋技术中心 遥测数据和视频图像数据的同步方法及装置
TWI622018B (zh) * 2017-09-13 2018-04-21 緯創資通股份有限公司 影片編輯方法、裝置及系統
CN109146833A (zh) * 2018-08-02 2019-01-04 广州市鑫广飞信息科技有限公司 一种视频图像的拼接方法、装置、终端设备及存储介质
CN111754544B (zh) * 2019-03-29 2023-09-05 杭州海康威视数字技术股份有限公司 一种视频帧融合方法、装置、电子设备
CN114070954A (zh) * 2021-11-18 2022-02-18 中电科特种飞机系统工程有限公司 视频数据与遥测数据同步方法、装置、电子设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982515A (zh) * 2012-10-23 2013-03-20 中国电子科技集团公司第二十七研究所 一种无人机图像实时拼接的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710932B (zh) * 2009-12-21 2011-06-22 华为终端有限公司 图像拼接方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982515A (zh) * 2012-10-23 2013-03-20 中国电子科技集团公司第二十七研究所 一种无人机图像实时拼接的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FREAK: Fast Retina Keypoint;Alexandre Alahi等;《IEEE》;20121231;全文 *

Also Published As

Publication number Publication date
CN104301630A (zh) 2015-01-21

Similar Documents

Publication Publication Date Title
CN104301630B (zh) 一种视频图像拼接方法及装置
Song et al. Automated pavement crack damage detection using deep multiscale convolutional features
Ma et al. Feature split–merge–enhancement network for remote sensing object detection
Liu et al. Key target and defect detection of high-voltage power transmission lines with deep learning
CN113378763B (zh) 一种面向sar图像的目标自动检测方法及系统
CN109146832B (zh) 一种视频图像的拼接方法、装置、终端设备及存储介质
CN104282005A (zh) 一种视频图像拼接方法及装置
Sun et al. Global Mask R-CNN for marine ship instance segmentation
Zhang et al. Visual tracking using Siamese convolutional neural network with region proposal and domain specific updating
Guo et al. Soft exemplar highlighting for cross-view image-based geo-localization
Zhu et al. Spatial hierarchy perception and hard samples metric learning for high-resolution remote sensing image object detection
Sun et al. IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes
Ji et al. An evaluation of conventional and deep learning‐based image‐matching methods on diverse datasets
Su et al. Object detection in aerial images using a multiscale keypoint detection network
CN106469293A (zh) 快速检测目标的方法及系统
Yildirim et al. Ship detection in optical remote sensing images using YOLOv4 and Tiny YOLOv4
Wang et al. Aerial infrared object tracking via an improved long-term correlation filter with optical flow estimation and SURF matching
Wang et al. Adaptive sampling for UAV tracking
Yao et al. An accurate box localization method based on rotated-RPN with weighted edge attention for bin picking
CN112381024B (zh) 一种融合多模态的无监督行人再识别重排方法
CN112651351B (zh) 一种数据处理的方法和装置
Marine et al. Pothole Detection on Urban Roads Using YOLOv8
Zhou et al. LEDet: localization estimation detector with data augmentation for ship detection based on unmanned surface vehicle
Xu et al. A-RetinaNet: A novel RetinaNet with an asymmetric attention fusion mechanism for dim and small drone detection in infrared images
Zhao et al. OASL: Orientation-aware adaptive sampling learning for arbitrary oriented object detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Zhao Enwei

Inventor after: Wang Sen

Inventor after: Zhang Juan

Inventor after: Liu Jinyu

Inventor after: Wang Shikui

Inventor after: Yu Hong

Inventor after: Wu Xiaojie

Inventor after: Ma Yi

Inventor after: Yang Hemeng

Inventor after: Shen Zhi

Inventor after: Li Chenglong

Inventor after: Zhang Zeng

Inventor before: Zhao Enwei

Inventor before: Wang Shikui

Inventor before: Wu Xiaojie

Inventor before: Yang Hemeng

Inventor before: Li Chenglong

Inventor before: Zhang Zeng

Inventor before: Wang Sen

Inventor before: Zhang Juan

Inventor before: Liu Jinyu

CB03 Change of inventor or designer information
TR01 Transfer of patent right

Effective date of registration: 20190110

Address after: No. 99 Shenzhou Avenue, Binhai Science Park, Tianjin Binhai New Area, 300450

Co-patentee after: ELECTRIC POWER RESEARCH INSTITUTE, YUNNAN POWER GRID Co.,Ltd.

Patentee after: TIANJIN ZHONG WEI AEROSPACE DATA SYSTEM TECHNOLOGY Co.,Ltd.

Address before: 300301 No. 99 Shenzhou Avenue, Binhai Science Park, Tianjin Binhai New Area

Patentee before: TIANJIN ZHONG WEI AEROSPACE DATA SYSTEM TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231007

Address after: No.105, Yunda West Road, Kunming Economic and Technological Development Zone, Yunnan 650000

Patentee after: ELECTRIC POWER RESEARCH INSTITUTE, YUNNAN POWER GRID Co.,Ltd.

Address before: No. 99 Shenzhou Avenue, Binhai Science Park, Tianjin Binhai New Area, 300450

Patentee before: TIANJIN ZHONG WEI AEROSPACE DATA SYSTEM TECHNOLOGY Co.,Ltd.

Patentee before: ELECTRIC POWER RESEARCH INSTITUTE, YUNNAN POWER GRID Co.,Ltd.

TR01 Transfer of patent right