CN111369592A - 一种基于牛顿插值的快速全局运动估计方法 - Google Patents

一种基于牛顿插值的快速全局运动估计方法 Download PDF

Info

Publication number
CN111369592A
CN111369592A CN202010173931.7A CN202010173931A CN111369592A CN 111369592 A CN111369592 A CN 111369592A CN 202010173931 A CN202010173931 A CN 202010173931A CN 111369592 A CN111369592 A CN 111369592A
Authority
CN
China
Prior art keywords
global motion
motion estimation
frame
reference frame
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010173931.7A
Other languages
English (en)
Other versions
CN111369592B (zh
Inventor
朱威
朱浩琪
王立凯
郑雅羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010173931.7A priority Critical patent/CN111369592B/zh
Publication of CN111369592A publication Critical patent/CN111369592A/zh
Application granted granted Critical
Publication of CN111369592B publication Critical patent/CN111369592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于牛顿插值的快速全局运动估计方法，从视频序列中取初始参考帧，提取特征点、保存至集合L 1中，取视频序列中除初始参考帧外的任一帧、预测其与参考帧的重叠区域，在重叠区域中设置感兴趣区域并提取特征点、保存至集合L 2中，对集合L 1和L 2中的特征点进行特征匹配，基于特征匹配结果进行全局运动模型估计，计算相机偏移，得到全局运动矢量，更新全局运动估计数据直至当前视频序列处理结束。本发明利用SURF特征检测算子提取特征点，运用牛顿插值法预测重叠区域，并对重叠区域进行分块预处理获取感兴趣区域，能有效减小特征提取的区域，加快算法速度，保证了全局运动估计的实时性和准确性。

Description

一种基于牛顿插值的快速全局运动估计方法
技术领域
本发明涉及数字视频处理领域，具体涉及一种基于牛顿插值的快速全局运动估计方法。
背景技术
随着多媒体技术的飞速发展，视频作为最重要的媒体介质，已经融入到我们工作和生活的各个方面。视频由图像传感器采集获得，图像传感器性能和采集过程中的干扰都会影响视频质量。摄像机在拍摄过程中若相机载体平台的随机抖动，就会导致图像画面的晃动，当抖动程度比较剧烈时，会造成图像画面模糊，视频质量大幅下降。特别对于航空机载平台，在航拍过程中由于飞机的运动和云台的转动，拍摄视频晃动比较剧烈，造成图像质量的下降，为后期处理带来不便。另外，在车载监控场景中，由于受车辆震动等因素的影响，也会造成相机的小幅抖动，拍摄到的视频图像不完全静止，同样会给后期的视频分析带来干扰。视频抖动严重影响视频的可视化质量，极易引起视觉疲劳，而且视频抖动不利于视频压缩，会导致压缩码流急剧升高，严重影响视频存储和传输性能。近年来，随着无人机、无人驾驶、虚拟现实等技术的兴起，视频处理领域中的视频稳像技术己经成为研究热点。
视频稳像按原理可以分为机械稳像、光学稳像和数字稳像，其中数字稳像方法灵活、成本低、适用性广。数字稳像的典型处理过程分3个环节：运动估计、运动补偿和图像修复。全局运动估计是数字稳像技术中的核心技术。获取全局运动矢量估计是通过估计视频顺序帧之间的物体运动，得到相关的运动矢量，它是数字稳像算法的关键环节。
常见的视频序列运动估计方法主要分为两类：频域运动估计和空域运动估计。频域运动估计主要有傅里叶变换、小波变换、离散余弦变换等方法；空域运动估计主要有块匹配法、灰度投影法、光流法、特征匹配法等。根据运动估计方法的不同，其应用领域也有所不同，其中，频域运动估计方法主要用于数字视频压缩编码，通过频域转换，去除视频在时间域上的数据冗余；空域运动估计主要用于数字稳像、目标跟踪等领域。
目前已有一些关于全局运动估计的研究成果。王朋月等人提出了一种基于ORB特征匹配的全局运动估计方法(见“基于ORB特征匹配的全局运动估计”，兵工自动化，2017，36(12):43-47+51)。该方法首先对差分图像进行分块，通过设定阈值来筛选出有效的背景运动模块，然后经ORB特征匹配后，代入六参数运动模型，通过最小二乘法求解出估计参数，最后对当前帧做补偿，比较补偿前后的差分图像中的目标轮廓的清晰度。申请号为CN200810105897.9的专利公开了一种用于视频稳定的快速全局运动估计方法。该方法首先利用下采样图像进行全局运动矢量的初步估计，然后利用重叠区域对应局部块实现全局运动矢量的精确校正，最后对获得的全局运动矢量进行检验，从而获得当前帧的全局运动矢量。申请号为CN201210048089.X的专利公开了一种基于自适应SIFT算法的人员室内定位方法。该方法首先对全局运动的图像序列进行特征提取，然后将正确的匹配点作为样本集估计摄像机的运动模型，得到摄像机的偏移量；使用了拉格朗日抛物线插值法，预测参考帧和当前帧图像的重叠区域，在此区域进行提取特征点和特征匹配，用于室内人员定位系统。上述方法虽然已经能够进行有效的全局运动估计，但尚不能做到估计精度和计算速度的兼顾，特别是处理速度还可以进行一步提升。
发明内容
为了在保证全局运动估计准确度的条件下减小计算复杂度，本发明提供了一种基于牛顿插值的快速全局运动估计方法，所述方法包括以下步骤：
(1)从视频序列中取初始参考帧，提取初始参考帧的特征点、保存至集合L1中；
从当前视频序列中获取第一帧作为初始参考帧，对初始参考帧使用SURF算子提取特征点并保存到集合L1中。SURF是SIFT算子的改进加速版本，它采用更为高效的方式完成特征点的提取和描述。该算子首先构建黑塞矩阵(Hessian)，生成所有的边缘点，用于特征的提取，然后构造尺度空间，定位特征点并计算主方向，最后生成特征描述。
(2)取所述视频序列中除初始参考帧外的任一帧作为当前帧，预测当前帧与参考帧的重叠区域；
从当前视频序列中获取新的一帧图像作为当前帧。本发明根据视频序列已进行全局运动估计的总次数N，判断是否使用牛顿插值公式来预测当前帧与参考帧的重叠区域。若N小于阈值THN，则不进行重叠区域预测，将整帧设为感兴趣区域，跳至步骤(4)；若N大于等于THN，则根据N次全局运动估计获得的横坐标偏移量及对应的差商使用式(1)所示的牛顿插值法获得当前帧横坐标偏移量的预测值；阈值THN的取值范围为[3,10]。N的初值为0，表示尚未进行全局运动估计。
Figure BDA0002410157560000031
在式(1)中，PH(x)为当前帧横坐标偏移量的预测值，x为当前帧与初始参考帧之间的时间间隔，x0、x1、x2…xn分别是前N次全局运动估计时对应的当前帧与初始参考帧之间的时间间隔，它们可以根据相机的帧率和两帧之间序号差值来计算而得，n值为全局运动估计次数N减1；H(x0)、H(x1)、H(x2)…H(xn)分别表示N次全局运动估计的横坐标偏移量，其中H[x0,x1…xn]为差商，由式(2)递归计算得到：
Figure BDA0002410157560000041
以N次全局运动估计的纵坐标偏移量及对应的差商使用式(3)所示的牛顿插值法获得当前帧纵坐标偏移量的预测值；
Figure BDA0002410157560000042
式中，PV(x)为当前帧纵坐标偏移量的预测值，x为当前帧与初始参考帧之间的时间间隔；x0、x1、x2…xn分别是前N次全局运动估计时对应的当前帧与初始参考帧之间的时间间隔，根据相机的帧率和两帧之间序号差值来计算而得，n值为全局运动估计次数N减1；V(x0)、V(x1)、V(x2)…V(xn)分别表示N次全局运动估计的纵坐标偏移量，其中V[x0,x1…xn]为差商，由式(4)递归计算得到；
Figure BDA0002410157560000043
另外，由于相机运动不是一直保持某种规律的，为了防止牛顿插值法累计误差过大，本发明每以牛顿插值法计算一次横坐标偏移量的预测值和纵坐标偏移量的预测值，则给计数器M加1，当M大于等于阈值THM时，将全局运动估计次数N值设为THN，并将M值清零，以便重新开始计数；THM的取值范围为[5,20]。这样做的目的是每使用THM次牛顿插值法，就使用最近THN次的全局运动估计结果根据牛顿插值公式重新计算偏移量，减少预测误差累计。以参考帧中任一像素点的坐标减去对应的横坐标偏移量预测值及纵坐标偏移量预测值，得到预测的当前帧与参考帧的重叠区域。
(3)在重叠区域中设置感兴趣区域；
若上述预测的重叠区域面积与当前帧面积的比值小于THS，则直接将重叠区域作为感兴趣区域执行下一步，阈值THS的取值范围为[0.5,0.9]，否则本发明先对重叠区域按照宽高进行W×H分块，W是图像块的水平像素尺寸，H是图像块的竖直像素尺寸，W和H的取值范围都是[8,24]；然后对每一小块根据式(5)计算平均梯度G，剔除平均梯度小于阈值THG的图像块，阈值THG的取值范围为[0.5,3.5]，若出现所有图像块平均梯度都小于THG的特殊情况，则将THG减小一半，重新进行剔除操作，直到剩下的图像块个数不为零；最后将剩下的重叠区域作为感兴趣区域。
Figure BDA0002410157560000051
式(5)中，
Figure BDA0002410157560000052
表示水平方向的梯度，
Figure BDA0002410157560000053
表示垂直方向的梯度。
(4)提取感兴趣区域的特征点，保存至集合L2中；
对上一步得到的感兴趣区域使用SURF算子提取特征点，并将其保存到集合L2中。
(5)对集合L1和集合L2中的特征点进行特征匹配；
对于前面获取到的两组特征点集合L1和L2，本发明利用点集间特征向量的欧氏距离来确定匹配度，欧式距离越短，代表两个特征点的匹配度越好。THP为最小距离阈值，取值范围为[100,1000]，距离小于等于THP的特征点作为匹配初结果，然后使用随机样本一致性方法RANSAC剔除误匹配点得到最终匹配结果。
(6)基于特征匹配结果，进行全局运动模型估计；
因为摄像机具有平移、旋转、缩放的特点，所以本发明选用六参数模型来描述全局运动矢量。六参数模型如式(6)所示：
Figure BDA0002410157560000061
式中，(x,y)是参考帧的坐标，(x’,y’)是当前帧的坐标；a1、a2、a3、a4表示摄像机的旋转和缩放，a5、a6表示摄像机的上下左右平移。根据步骤(5)得到的匹配结果，使用最小二乘法求出六个参数的最优估计。
(7)计算相机偏移，得到全局运动矢量；
根据步骤(6)得到的六参数模型，代入参考帧的坐标，可以得到参考帧在当前帧上的对应坐标，即重叠区域。利用参考帧坐标点和重叠区域对应点的坐标相减取平均值，可以得到横坐标和纵坐标的偏移量，分别作为当前帧全局运动矢量的水平分量和竖直分量。
(8)更新全局运动估计数据，返回步骤2直至当前视频序列处理结束；
更新全局运动估计数据包括全局运动估计总次数N加1，并将L2中的特征点覆盖掉L1中的特征点，当前帧作为下一次处理时的参考帧，返回步骤(2)直到当前视频序列处理结束。
与现有技术相比，本发明具有以下有益效果：
本发明使用SURF特征检测算子，作为SIFT算子的高效变种，在保证效果的前提下，速度更加快；使用牛顿插值法进行预测，作为拉格朗日插值法的改进，增加节点时，计算只增加一项，计算相对简单，加快了速度。本发明先预测了重叠区域，然后分块后利用平均梯度剔除其中边缘信息较少的图像块，对感兴趣区域进行特征检测，大幅减小了特征检测的区域，加快算法速度；特征匹配使用了随机样本一致性方法剔除误匹配点，提高匹配精度。本发明在保证全局运动估计准确度的情况下，减小计算量，提高了实时性。
附图说明
图1为本发明流程框图。
图2为牛顿插值法预测重叠区域的流程框图。
具体实施方式
下面结合实施例和附图来详细描述本发明，但本发明并不仅限于此。
如图1所示，一种基于牛顿插值的快速全局运动估计方法，包括以下步骤：
(1)从视频序列中取初始参考帧，提取初始参考帧的特征点、保存至集合L1中；
(2)取所述视频序列中除初始参考帧外的任一帧作为当前帧，预测当前帧与参考帧的重叠区域；
(3)在重叠区域中设置感兴趣区域；
(4)提取感兴趣区域的特征点，保存至集合L2中；
(5)对集合L1和集合L2中的特征点进行特征匹配；
(6)基于特征匹配结果，进行全局运动模型估计；
(7)计算相机偏移，得到全局运动矢量；
(8)更新全局运动估计数据，返回步骤(2)直至当前视频序列处理结束。
步骤(1)具体包括：
本实施例选取了分辨率为1920×1080的视频序列，从中获取第一帧作为初始参考帧，对初始参考帧使用SURF算子提取特征点并保存到集合L1中。本例具体使用OpenCV提供的SURF算子函数。
步骤(2)具体包括：
从当前视频序列中获取新的一帧图像作为当前帧，根据视频序列已进行全局运动估计的总次数N，判断是否使用牛顿插值公式来预测当前帧与参考帧的重叠区域。若N小于阈值THN，则不进行重叠区域预测，将整帧设为感兴趣区域，跳至步骤(4)；若N大于等于THN，则根据N次全局运动估计获得的横坐标偏移量及对应的差商使用式(1)所示的牛顿插值法获得当前帧横坐标偏移量的预测值；阈值THN的取值范围为[3,10]，此处THN取值为4。
Figure BDA0002410157560000081
在式(1)中，PH(x)为当前帧横坐标偏移量的预测值，x为当前帧与初始参考帧之间的时间间隔，x0、x1、x2…xn分别是前N次全局运动估计时对应的当前帧与初始参考帧之间的时间间隔，它们可以根据相机的帧率和两帧之间序号差值来计算而得，此处相机的帧率为30fps，n值为全局运动估计次数N减1；H(x0)、H(x1)、H(x2)…H(xn)分别表示N次全局运动估计的横坐标偏移量，其中H[x0,x1…xn]为差商，由式(2)递归计算得到：
Figure BDA0002410157560000082
根据N次全局运动估计的纵坐标偏移量及对应的差商使用式(3)所示的牛顿插值法获得当前帧纵坐标偏移量的预测值；
Figure BDA0002410157560000091
式中，PV(x)为当前帧纵坐标偏移量的预测值，x为当前帧与初始参考帧之间的时间间隔；x0、x1、x2…xn分别是前N次全局运动估计时对应的当前帧与初始参考帧之间的时间间隔，根据相机的帧率和两帧之间序号差值来计算而得，n值为全局运动估计次数N减1；V(x0)、V(x1)、V(x2)…V(xn)分别表示N次全局运动估计的纵坐标偏移量，其中V[x0,x1…xn]为差商，由式(4)递归计算得到；
Figure BDA0002410157560000092
如图2所示，每以牛顿插值法计算一次横坐标偏移量的预测值和纵坐标偏移量的预测值，计数器M加1，当M大于等于阈值THM时，将全局运动估计次数N值设为THN，并将M值清零，以便重新开始计数，THM的取值范围为[5,20]，此处取值为8，即每使用8次牛顿插值法，使用最近4次的全局运动估计结果根据牛顿插值公式重新计算偏移量。以参考帧中任一像素点的坐标减去对应的横坐标偏移量预测值及纵坐标偏移量预测值，得到预测的当前帧与参考帧的重叠区域。
步骤(3)具体包括：
若上述预测的重叠区域面积与当前帧面积的比值小于THS，则直接将重叠区域作为感兴趣区域执行下一步，阈值THS的取值范围为[0.5,0.9]，此处取值为0.6，否则本发明先对重叠区域按照宽高进行W×H分块，W是图像块的水平像素尺寸，H是图像块的竖直像素尺寸，W和H的取值范围都是[8,24]，此处取值为16；然后对每一小块根据式(5)计算平均梯度G，剔除平均梯度小于阈值THG的图像块，阈值THG的取值范围为[0.5,3.5]，此处取值为2。若出现所有图像块平均梯度都小于THG的特殊情况，则将THG减小一半，重新进行剔除操作，直到剩下的图像块个数不为零；最后将剩下的重叠区域作为感兴趣区域。
Figure BDA0002410157560000101
式(5)中，
Figure BDA0002410157560000102
表示水平方向的梯度，
Figure BDA0002410157560000103
表示垂直方向的梯度。
步骤(4)具体包括：
对上一步得到的感兴趣区域使用SURF算子提取特征点，并将其保存到集合L2中。
步骤(5)具体包括：
对于前面获取到的两组特征点集合L1和L2，利用点集间特征向量的欧氏距离来确定匹配度，欧式距离越短，代表两个特征点的匹配度越好。THP为最小距离阈值，取值范围为[100,1000]，此处取值为200，距离小于等于200的特征点作为匹配初结果，然后使用随机样本一致性方法RANSAC剔除误匹配点得到匹配结果。
步骤(6)具体包括：
运用六参数模型来描述全局运动矢量。六参数模型如式(6)所示：
Figure BDA0002410157560000104
式中，(x,y)是参考帧的坐标；(x`,y`)是当前帧的坐标；a1、a2、a3、a4表示摄像机的旋转和缩放；a5、a6表示摄像机的上下左右平移。根据步骤(5)得到的匹配结果，使用最小二乘法求出六个参数的最优估计。
步骤(7)具体包括：
根据步骤(6)得到的六参数模型，代入参考帧的坐标，可以得到参考帧在当前帧上的对应坐标，即重叠区域。利用参考帧坐标点和重叠区域对应点的坐标相减取平均值，可以得到横坐标和纵坐标的偏移量，分别作为当前帧全局运动矢量的水平分量和竖直分量。
步骤(8)具体包括：
全局运动估计总次数N加1，并将L2中的特征点覆盖掉L1中的特征点，当前帧作为下一次处理时的参考帧，返回步骤(2)直到当前视频序列处理结束。

Claims (10)

1.一种基于牛顿插值的快速全局运动估计方法，其特征在于：所述方法包括以下步骤：
步骤1：从视频序列中取初始参考帧，提取初始参考帧的特征点、保存至集合L1中；
步骤2：取所述视频序列中除初始参考帧外的任一帧作为当前帧，预测当前帧与参考帧的重叠区域；
步骤3：在重叠区域中设置感兴趣区域；
步骤4：提取感兴趣区域的特征点，保存至集合L2中；
步骤5：对集合L1和集合L2中的特征点进行特征匹配；
步骤6：基于特征匹配结果，进行全局运动模型估计；
步骤7：计算相机偏移，得到全局运动矢量；
步骤8：更新全局运动估计数据，返回步骤2直至当前视频序列处理结束。
2.根据权利要求1所述的一种基于牛顿插值的快速全局运动估计方法，其特征在于：所述的步骤1中，初始参考帧为从当前的视频序列中获取的第一帧；对初始参考帧使用SURF算子提取特征点。
3.根据权利要求1所述的一种基于牛顿插值的快速全局运动估计方法，其特征在于：所述步骤2包括以下步骤：
步骤2.1：从当前视频序列中获取新的一帧图像作为当前帧；
步骤2.2：根据视频序列已进行全局运动估计的总次数N，若N小于阈值THN，则不进行重叠区域预测，将整帧设为感兴趣区域，跳至步骤4，否则根据N次全局运动估计获得的横坐标偏移量及对应的差商按式(1)所示的牛顿插值法获得当前帧的横坐标偏移量的预测值，
Figure FDA0002410157550000021
式中，PH(x)为当前帧横坐标偏移量的预测值，x为当前帧与初始参考帧之间的时间间隔；x0、x1、x2…xn分别是前N次全局运动估计时对应的当前帧与初始参考帧之间的时间间隔，根据相机的帧率和两帧之间序号差值来计算而得，n值为全局运动估计次数N减1；H(x0)、H(x1)、H(x2)…H(xn)分别表示N次全局运动估计的横坐标偏移量，其中H[x0,x1…xn]为差商，由式(2)递归计算得到：
Figure FDA0002410157550000022
阈值THN的取值范围为[3,10]，N≥0；
步骤2.3：根据N次全局运动估计的纵坐标偏移量及对应的差商按式(3)所示的牛顿插值法获得当前帧的纵坐标偏移量的预测值，
Figure FDA0002410157550000023
式中，PV(x)为当前帧纵坐标偏移量的预测值，x为当前帧与初始参考帧之间的时间间隔；x0、x1、x2…xn分别是前N次全局运动估计时对应的当前帧与初始参考帧之间的时间间隔，根据相机的帧率和两帧之间序号差值来计算而得，n值为全局运动估计次数N减1；V(x0)、V(x1)、V(x2)…V(xn)分别表示N次全局运动估计的纵坐标偏移量，其中V[x0,x1…xn]为差商，由式(4)递归计算得到，
Figure FDA0002410157550000024
步骤2.4：以参考帧中任一像素点的坐标减去对应的横坐标偏移量预测值及纵坐标偏移量预测值，得到预测的当前帧与参考帧的重叠区域。
4.根据权利要求3所述的一种基于牛顿插值的快速全局运动估计方法，其特征在于：每以牛顿插值法计算一次横坐标偏移量的预测值和纵坐标偏移量的预测值，计数器M加1，当M大于等于阈值THM时，将全局运动估计次数N值设为THN，并将M值清零；THM的取值范围为[5,20]。
5.根据权利要求1所述的一种基于牛顿插值的快速全局运动估计方法，其特征在于：所述的步骤3中，
若上述预测的重叠区域面积与当前帧面积的比值小于THS，则直接将重叠区域作为感兴趣区域执行下一步，阈值THS的取值范围为[0.5,0.9]；
否则，对重叠区域按照宽高进行W×H分块，W是图像块的水平像素尺寸，H是图像块的竖直像素尺寸，W和H的取值范围都是[8,24]；对每一小块根据式(5)计算平均梯度G，
Figure FDA0002410157550000031
式(5)中，
Figure FDA0002410157550000032
表示水平方向的梯度，
Figure FDA0002410157550000033
表示垂直方向的梯度；
剔除平均梯度小于阈值THG的图像块，阈值THG的取值范围为[0.5,3.5]；若所有图像块平均梯度都小于THG，则将THG减小一半，重新进行剔除操作，直到剩下的图像块个数不为零；
将剩下的重叠区域作为感兴趣区域。
6.根据权利要求1所述的一种基于牛顿插值的快速全局运动估计方法，其特征在于：所述步骤4中，对上一步得到的感兴趣区域使用SURF算子提取特征点。
7.根据权利要求1所述的一种基于牛顿插值的快速全局运动估计方法，其特征在于：所述步骤5中，对于前面获取到的两组特征点集合L1和L2，利用点集间特征向量的欧氏距离来确定匹配度；THP为最小距离阈值，取值范围为[100,1000]，距离小于等于THP的特征点作为匹配初结果，然后使用随机样本一致性方法RANSAC剔除误匹配点得到最终匹配结果。
8.根据权利要求1所述的一种基于牛顿插值的快速全局运动估计方法，其特征在于：所述步骤6中，使用六参数模型
Figure FDA0002410157550000041
描述全局运动矢量，式中，(x,y)是参考帧的坐标，(x’,y’)是当前帧的坐标；a1、a2、a3、a4表示摄像机的旋转和缩放，a5、a6表示摄像机的上下左右平移；
基于特征匹配结果，使用最小二乘法求出六个参数的最优估计。
9.根据权利要求1所述的一种基于牛顿插值的快速全局运动估计方法，其特征在于：所述步骤7中，基于全局运动模型，代入参考帧的坐标，得到参考帧在当前帧上的对应坐标，即重叠区域；利用参考帧坐标点和重叠区域对应点的坐标相减取平均值，可以得到横坐标和纵坐标的偏移量，分别作为当前帧全局运动矢量的水平分量和竖直分量。
10.根据权利要求1所述的一种基于牛顿插值的快速全局运动估计方法，其特征在于：所述步骤8中，更新全局运动估计数据包括全局运动估计总次数N加1，并将L2中的特征点覆盖掉L1中的特征点，当前帧作为下一次处理时的参考帧。
CN202010173931.7A 2020-03-13 2020-03-13 一种基于牛顿插值的快速全局运动估计方法 Active CN111369592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010173931.7A CN111369592B (zh) 2020-03-13 2020-03-13 一种基于牛顿插值的快速全局运动估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010173931.7A CN111369592B (zh) 2020-03-13 2020-03-13 一种基于牛顿插值的快速全局运动估计方法

Publications (2)

Publication Number Publication Date
CN111369592A true CN111369592A (zh) 2020-07-03
CN111369592B CN111369592B (zh) 2023-07-25

Family

ID=71210488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010173931.7A Active CN111369592B (zh) 2020-03-13 2020-03-13 一种基于牛顿插值的快速全局运动估计方法

Country Status (1)

Country Link
CN (1) CN111369592B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116540272A (zh) * 2023-07-03 2023-08-04 数字太空(北京)科技股份公司 基于牛顿插值公式及霍纳法则的大规模卫星轨道计算方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060072663A1 (en) * 2002-11-26 2006-04-06 British Telecommunications Public Limited Company Method and system for estimating global motion in video sequences
US20070297513A1 (en) * 2006-06-27 2007-12-27 Marvell International Ltd. Systems and methods for a motion compensated picture rate converter
CN101478678A (zh) * 2008-12-30 2009-07-08 西安交通大学 基于感兴趣区域运动补偿时域滤波方法
WO2011156948A1 (en) * 2010-06-13 2011-12-22 Nanjing University Reconstruction of overlapped objects in image
CN102917223A (zh) * 2012-10-18 2013-02-06 北京航空航天大学 基于增强型菱形搜索及三帧背景对齐的动背景视频对象提取
CN104023228A (zh) * 2014-06-12 2014-09-03 北京工业大学 一种基于全局运动估计的自适应室内视觉定位方法
CN104155006A (zh) * 2014-08-27 2014-11-19 湖北久之洋红外系统股份有限公司 一种手持红外热像仪及其对小目标快速锁定测距的方法
CN106416244A (zh) * 2014-04-02 2017-02-15 汤姆逊许可公司 运动场估计
CN108337639A (zh) * 2018-05-02 2018-07-27 鹿建银 一种基于牛顿插值的蒙特卡罗移动节点定位算法
US20180218477A1 (en) * 2017-01-27 2018-08-02 Canon Kabushiki Kaisha Data interpolation device, method therefor, and image processing apparatus
CN108805908A (zh) * 2018-06-08 2018-11-13 浙江大学 一种基于时序网格流叠加的实时视频稳像方法
CN109005409A (zh) * 2018-07-27 2018-12-14 浙江工业大学 一种基于目标检测与跟踪的智能视频编码方法
CN110782477A (zh) * 2019-10-10 2020-02-11 重庆第二师范学院 基于序列图像的运动目标快速检测方法、计算机视觉系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060072663A1 (en) * 2002-11-26 2006-04-06 British Telecommunications Public Limited Company Method and system for estimating global motion in video sequences
US20070297513A1 (en) * 2006-06-27 2007-12-27 Marvell International Ltd. Systems and methods for a motion compensated picture rate converter
CN101478678A (zh) * 2008-12-30 2009-07-08 西安交通大学 基于感兴趣区域运动补偿时域滤波方法
WO2011156948A1 (en) * 2010-06-13 2011-12-22 Nanjing University Reconstruction of overlapped objects in image
CN102917223A (zh) * 2012-10-18 2013-02-06 北京航空航天大学 基于增强型菱形搜索及三帧背景对齐的动背景视频对象提取
CN106416244A (zh) * 2014-04-02 2017-02-15 汤姆逊许可公司 运动场估计
CN104023228A (zh) * 2014-06-12 2014-09-03 北京工业大学 一种基于全局运动估计的自适应室内视觉定位方法
CN104155006A (zh) * 2014-08-27 2014-11-19 湖北久之洋红外系统股份有限公司 一种手持红外热像仪及其对小目标快速锁定测距的方法
US20180218477A1 (en) * 2017-01-27 2018-08-02 Canon Kabushiki Kaisha Data interpolation device, method therefor, and image processing apparatus
CN108337639A (zh) * 2018-05-02 2018-07-27 鹿建银 一种基于牛顿插值的蒙特卡罗移动节点定位算法
CN108805908A (zh) * 2018-06-08 2018-11-13 浙江大学 一种基于时序网格流叠加的实时视频稳像方法
CN109005409A (zh) * 2018-07-27 2018-12-14 浙江工业大学 一种基于目标检测与跟踪的智能视频编码方法
CN110782477A (zh) * 2019-10-10 2020-02-11 重庆第二师范学院 基于序列图像的运动目标快速检测方法、计算机视觉系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
亢鹏鹏: "一种改进Mean shift算法的视频监控系统", vol. 30, no. 30, pages 153 - 156 *
张建龙;吴成柯;石迎波;宋锐;: "一种基于混合域牛顿插值的视频错误隐藏方法", vol. 33, no. 05, pages 21 - 24 *
朱威，郑雅羽: "基于智能目标检测的HEVC感兴趣区域编码方法", vol. 40, no. 40, pages 2691 - 2697 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116540272A (zh) * 2023-07-03 2023-08-04 数字太空(北京)科技股份公司 基于牛顿插值公式及霍纳法则的大规模卫星轨道计算方法
CN116540272B (zh) * 2023-07-03 2023-09-15 数字太空(北京)科技股份公司 基于牛顿插值公式及霍纳法则的大规模卫星轨道计算方法

Also Published As

Publication number Publication date
CN111369592B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN109242884B (zh) 基于JCFNet网络的遥感视频目标跟踪方法
CN106991650B (zh) 一种图像去模糊的方法和装置
KR100985805B1 (ko) 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법
CN103139568B (zh) 基于稀疏度和保真度约束的视频稳像方法
US9589328B2 (en) Globally dominant point spread function estimation
CN106851046A (zh) 视频动态超分辨率处理方法及系统
JPH11355778A (ja) 動きフィ―ルド推定方法
CN109743495B (zh) 视频图像电子增稳方法及装置
Khaloo et al. Pixel‐wise structural motion tracking from rectified repurposed videos
CN108805832B (zh) 适于隧道环境特性的改进灰度投影稳像方法
CN105374049B (zh) 一种基于稀疏光流法的多角点跟踪方法及装置
CN111652790A (zh) 一种亚像素图像配准方法
CN112805989A (zh) 基于全局运动估计的时域滤波方法、装置及存储介质
CN107360377B (zh) 一种车载视频稳像方法
CN113177901B (zh) 一种机器人视觉的多帧运动图像融合方法及系统
CN108876807B (zh) 一种实时星载卫星图像运动对象检测跟踪方法
CN111369592A (zh) 一种基于牛顿插值的快速全局运动估计方法
CN110335308A (zh) 基于视差约束与双向环形检验的双目视觉里程计计算方法
EP4174770B1 (en) Monocular-vision-based detection of moving objects
CN104616320A (zh) 低空航拍视频中基于梯度抑制和极线约束的车辆检测方法
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
CN111385583B (zh) 图像运动估计方法、装置及计算机可读存储介质
WO2012028480A1 (en) Global motion vector estimation
KR20220023046A (ko) 다중 정합 기반 실시간 영상항법 수행 방법, 장치 및 컴퓨터 프로그램
IL274103A (en) Portrait restoration method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant