CN111598918A - 一种基于参考帧优选和前后景分离的视频稳像运动估计方法 - Google Patents

一种基于参考帧优选和前后景分离的视频稳像运动估计方法 Download PDF

Info

Publication number
CN111598918A
CN111598918A CN202010353488.1A CN202010353488A CN111598918A CN 111598918 A CN111598918 A CN 111598918A CN 202010353488 A CN202010353488 A CN 202010353488A CN 111598918 A CN111598918 A CN 111598918A
Authority
CN
China
Prior art keywords
reference frame
grid
foreground
image stabilization
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010353488.1A
Other languages
English (en)
Other versions
CN111598918B (zh
Inventor
成科扬
李世超
祖广豹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202010353488.1A priority Critical patent/CN111598918B/zh
Publication of CN111598918A publication Critical patent/CN111598918A/zh
Application granted granted Critical
Publication of CN111598918B publication Critical patent/CN111598918B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于参考帧优选和前后景分离的视频稳像运动估计方法，用于解决运动矢量估计不准确影响稳像处理后的效果问题。首先以相邻帧优先为原则进行参考帧选取优化，而后通过网格聚类和密度聚类算法融合的方式对视频帧中的特征点进行聚类和初步的筛选。然后利用随机抽样一致性算法求取最优单应矩阵，结合透视投影变换求出特征点对之间的距离。根据距离准则剔除不满足预设条件的特征点对得到提纯后的特征点对。最后将获得准确的背景特征点对用于计算全局运动矢量。本发明公开的视频稳像运动估计方法有效去除前景对于运动估计的影响并提高了估计出的全局运动矢量精度，达到提升稳像修复效果，能广泛应用于不同拍摄设备所摄视频的稳像修复。

Description

一种基于参考帧优选和前后景分离的视频稳像运动估计方法
技术领域
本发明属于视频图像处理技术领域，涉及一种视频稳像运动估计方法，可广泛应用于移动拍摄设备中。
背景技术
随着拍摄设备的日益广泛以及拍摄平台的多样化，生活中已经随处可见各种摄影摄像设备。这些设备采集的视频不可避免的会存在一些抖动，不利于人工观测也不利于后续视频图像处理。视频稳像的主要目的是对视频中的由于外部因素干扰或自身移动性带来的抖动、模糊等进行矫正和消除，改善视频质量和观赏感受。稳像技术可用于科研测绘、执法记录仪、手机相机等领域，其灵活性高、成本低、易维护等优势使得视频稳像技术具有乐观的商业价值和广泛的应用前景。
视频稳像技术包含运动估计、运动滤波和运动补偿三部分，运动估计作为核心部分需要从有前景等因素干扰下估算出摄像载体的全局运动矢量。近年来研究人员已经提出了不少运动估计算法，主要分为基于特征和基于强度这两大类的方法。基于特征的算法的精度依赖于视频的质量，诸如噪声、模糊等视频质量不佳的条件可能导致运动矢量估计失败。基于强度的方法不依赖于点或边等特征，通常通过以块为单位或全区域考虑整个图像的灰度来估计全局运动。基于特征的方法通常比基于强度的方法更精确，但也更容易产生局部效应。因此，需要一种能准确去除前景影响、能准确计算出全局运动矢量的运动估计算法，以获得较好的视频稳像修复效果。
发明内容
本发明的目的是为了解决现有的技术方案中存在的参考帧选择随意、无法有效去除前景点影响导致运动估计环节计算出的全局运动矢量不准确等问题，提出了一种基于参考帧优选和前后景特征点分离的运动估计方法，该方法包括：
(1)在相邻参考帧选取基础上，结合清晰度、相似度以及特征点匹配有效对数自适应选取合适的参考帧；
(2)对视频帧网格状划分，以网格为单元利用密度聚类算法对当前帧的特征点进行聚类并剔除部分噪声点；
(3)通过随机抽样一致性算法计算出当前帧和参考帧对应的最优单应矩阵，去除部分误匹配；
(4)将计算出的最优单应矩阵带入透视投影变换计算对应特征点之间的距离，并依据距离准则进行最终筛选和剔除；
(5)最终留下的特征点对用于计算全局运动矢量。
较佳地，所述的步骤(1)具体为：
(1-1)计算出相邻帧pt-1的清晰度值Ft-1；
(1-2)将计算出的清晰度值Ft-1与清晰度阈值C进行比较，若清晰度值Ft-1大于阈值C则更新当前相邻帧pt-1为参考帧并跳出步骤结束流程，否则继续进行步骤(1-3)；
(1-3)计算当前帧pt与参考帧pi背景特征点对有效匹配对数值Lt及有效匹配点数与当前帧所有特征点数的比值τ；
(1-4)若有效对数值Lt大于匹配阈值Q且比值τ大于相似度阈值S则维持当前参考帧pi为参考帧不变并结束流程，否则进行步骤(1-5)；
(1-5)强制更新参考帧为当前相邻帧pt-1。
较佳地，所述步骤(2)具体为：
将视频图像帧用网格划分形成网状结构。通过自适应步长滑动窗口检测并聚类，获得特征点分布区域。算法中涉及到的划分后的网格单元dj被表示为di＝d(Sti,Hni)。其中St表示该网格对于区域簇的属于状态，Hn表示该网格的特征点包含状态。而自适应步长滑动窗口是以3×3网格单元作为滑动窗口，以L为长度的自适应步长滑动。最后簇表示的是包含了当前聚集的特征点群区域。密度聚类算法具体使用的是DBSCAN(Density-BasedSpatial Clustering of Applications with Noise)，具有不需要预设簇数量、能发现不同大小任意形状的簇群、能识别噪声点以及算法速度快等特点。所述结合网格的DBSCAN密度聚类算法步骤具体如下：
(2-1)输入视频图像帧，网格化分割成互不相交的网格单元，可表示为D＝{di|i＝1,2,...,n}，网格单元表示为di＝d(Sti,Hni)；
(2-2)遍历所有的网格单元，若单个单元中包含特征点，则将该单元对应d(Hni)的值置为true，否则置为false。d(Hni)的值只可设置一次，设置后不可更改；
(2-3)将滑动窗口b从左往右，从上往下扫描。若滑动窗口b内包含特征点的网格，即d(Hni)为true的网格数量超过阈值T，则判定当前窗口b中包含特征点的网格单元都属于簇，并将那些网格单元的对应属性d(Sti)置为true，其余空白网格单元对应d(Sti)置为false。若滑动窗口b内包含特征点的网格数量小于阈值T，则当前窗口b中的网格单元的d(Sti)属性都置为false，同时将下一次的滑动步长设置为3个网格单元；
(2-4)扫描过程按照步骤(2-3)中的规则进行，直至所有网格单元的属性都被赋值true或者false。所有d(Sti)的值为true的网格单元中包含的特征点即为聚类出的结果。
较佳地，所述步骤(3)具体为：
将不少于4组的特征点对带入随机抽样一致性数学模型中，并通过代价函数是否极小循环判别，直至得到代价函数极小值时对应的最优参数单应矩阵。
较佳地，所述步骤(4)具体为：
(4-1)将随机抽样一致性算法计算得出的最优单应矩阵应用于透视投影变换，得到透视投影变换模型下的距离计算模型。
(4-2)对初步提纯后的特征点对集合计算每一对特征点对之间的距离。
(4-3)依据对应背景特征点对之间距离为0，而前景特征点对的距离非0为判断条件，筛选出准确的背景特征点对。
较佳地，所述步骤(5)具体为：
通过筛选后的特征点对即为不包含前景特征点干扰的背景特征点对，带入对应运动变换模型中即可计算出全局运动矢量。得到的全局运动矢量即为本发明方案流程的最终数值结果。
本发明的有益效果：
(1)本发明所述方法步骤1中，提出根据清晰度、相似度以及特征点匹配有效对数结合的自适应参考帧选取方式，解决单一参考帧选取模式中参考帧质量不佳的问题。
(2)本发明所述方法步骤2中，通过网格划分改进DBSCAN密度聚类方式，进一步提高算法计算速度并减少算法后续计算量。
(3)本发明所述方法步骤4中，提出一种基于RANSAC的前后景特征点分离方法，融合透视投影变换与距离准则，解决无法完全去除前景影响的问题。
附图说明
图1是本发明所述一种基于参考帧优选和前后景特征点分离的运动估计方法流程示意图。
图2是本发明参考帧自适应更新流程示意图。
图3是本发明聚类与前后景分离流程示意图。
具体实施方式
本发明提出了一种基于参考帧优选和前后景分离的视频稳像运动估计方法，用于解决运动矢量估计不准确影响稳像处理后的效果问题。首先以相邻帧优先为原则进行参考帧选取优化，而后通过网格聚类和密度聚类算法融合的方式对视频帧中的特征点进行聚类和初步的筛选。然后利用随机抽样一致性算法求取最优单应矩阵，结合透视投影变换求出特征点对之间的距离。根据距离准则剔除不满足预设条件的特征点对得到提纯后的特征点对。最后将获得准确的背景特征点对用于计算全局运动矢量。本发明公开的视频稳像运动估计方法有效去除前景对于运动估计的影响并提高了估计出的全局运动矢量精度，达到提升稳像修复效果，能广泛应用于不同拍摄设备所摄视频的稳像修复中。
下面结合附图和具体的实施例对本发明技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
如图1所示，本发明所述一种基于参考帧优选和前后景特征点分离的运动估计方法主要包括基于相邻帧的自适应参考帧更新、基于聚类与RANSAC的前后景特征点分离和估算全局运动矢量三个主要部分。其中基于相邻帧的自适应参考帧更新对应发明方法步骤(1)，基于聚类与RANSAC的前后景特征点分离对应发明方法步骤(2)～(4)，估算全局运动矢量对应发明方法步骤(5)。下面是本发明的所涉及三个部分的具体实现步骤。
基于相邻帧的自适应参考帧更新部分可简要描述为优先选用相邻帧作为参考帧。在相邻帧的图像质量等条件不满足要求时，则会结合清晰度、相似度以及特征点匹配有效对数自适应选取合适的参考帧替代。该部分流程如图2所示。
在一种较佳的实施方式中，所述基于相邻帧的自适应参考帧更新具体为：
(1)计算出相邻帧pt-1的清晰度值Ft-1；
(2)将计算出的清晰度值Ft-1与清晰度阈值C进行比较，若清晰度值Ft-1大于阈值C则更新当前相邻帧pt-1为参考帧并跳出步骤结束流程，否则继续进行步骤(3)；
(3)计算当前帧pt与参考帧pi背景特征点对有效匹配对数值Lt及有效匹配点数与当前帧所有特征点数的比值τ；
(4)若有效对数值Lt大于匹配阈值Q且比值τ大于相似度阈值S则维持当前参考帧pi为参考帧不变并结束流程，否则进行步骤(5)；
(5)强制更新参考帧为当前相邻帧pt-1。
基于聚类与RANSAC的前后景特征点分离部分包括结合网格的DBSCAN算法和基于RANSAC和距离准则的误匹配剔除算法两个部分。该部分流程如图3所示。其中结合网格的密度算法对应发明方法步骤(2)，基于RANSAC和距离准则的误匹配剔除算法对应发明方法步骤(3)和步骤(4)。
结合网格的DBSCAN算法部分是对视频帧网格状划分，以网格为单元利用密度聚类算法对当前帧的特征点进行聚类并剔除部分噪声点。
在一种较佳的实施方式中，所述结合网格的DBSCAN算法具体为：
将视频图像帧用网格划分形成网状结构。通过自适应步长滑动窗口检测并聚类，获得特征点分布区域。算法中涉及到的划分后的网格单元dj被表示为di＝d(Sti,Hni)。其中St表示该网格对于区域簇的属于状态，Hn表示该网格的特征点包含状态。而自适应步长滑动窗口是以3×3网格单元作为滑动窗口，以L为长度的自适应步长滑动。最后簇表示的是包含了当前聚集的特征点群区域。具体步骤如下：
(1)输入视频图像帧，网格化分割成互不相交的网格单元，可表示为D＝{di|i＝1,2,....,n}，网格单元表示为di＝d(Sti,Hni)；
(2)遍历所有的网格单元，若单个单元中包含特征点，则将该单元对应d(Hni)的值置为true，否则置为false。d(Hni)的值只可设置一次，设置后不可更改；
(3)将滑动窗口b从左往右，从上往下扫描。若滑动窗口b内包含特征点的网格，即d(Hni)为true的网格数量超过阈值T，则判定当前窗口b中包含特征点的网格单元都属于簇，并将那些网格单元的对应属性d(Sti)置为true，其余空白网格单元对应d(Sti)置为false。若滑动窗口b内包含特征点的网格数量小于阈值T，则当前窗口b中的网格单元的d(Sti)属性都置为false，同时将下一次的滑动步长设置为3个网格单元；
(4)扫描过程按照步骤(3)中的规则进行，直至所有网格单元的属性都被赋值true或者false。所有d(Sti)的值为true的网格单元中包含的特征点即为聚类出的结果。
基于RANSAC和距离准则的误匹配剔除算法部分通过随机抽样一致性、透视投影变换以及距离准则对特征点对集合进行误匹配剔除以及提纯，保留较为准确的背景特征点对。
在一种较佳的实施方式中，所述基于RANSAC和距离准则的误匹配剔除算法具体为：
将不少于4组的特征点对带入随机抽样一致性数学模型中，并通过代价函数是否极小循环判别，直至得到代价函数极小值时对应的最优参数单应矩阵。随后对当前帧和对应参考帧进行透视投影变换，计算出每个特征点对之间的距离。最后依据距离准则对特征点对进行最终提纯。其中所述透视投影变换和距离准则筛选具体为：
(1)将不少于4组的特征点对带入RANSAC的数学模型中求解：
Figure BDA0002472676760000061
其中(x,y)表示当前帧中特征点位置，(x′,y′)表示为参考帧中对应点的位置，s为尺度参数，h11～h32为8个待求解的单应参数矩阵的约束项，h33＝1。然后通过代价函数是否极小循环判别是否为局部最优参数单应矩阵。代价函数如下：
Figure BDA0002472676760000062
(2)通过随机抽样一致性算法计算得出的最优单应矩阵应用于透视投影变换，得到透视投影变换模型下的距离计算模型，如下所示。
Figure BDA0002472676760000063
其中h11～h32为前置步骤中得到的最优参数单应矩阵的约束项，用于作为透视投影变换的参数。(X,Y)和(x,y)分别对应参考帧和当前帧中的特征点，Z表示三维坐标下(X,Y)和(x,y)之间的距离。
(3)对初步提纯后的特征点对集合计算每一对特征点对之间的距离。
(4)依据对应背景特征点对之间距离为0，而前景特征点对的距离非0为判断条件，筛选出准确的背景特征点对。
估算全局运动矢量部分通过筛选后的特征点对带入对应运动变换模型计算全局运动矢量。从计算效率和实用性综合考虑，运动变换模型选择仿射变换模型，可由公式B＝TA得出。其中A为背景特征点在当前帧的点集合，B为背景特征点在参考帧的点集合，T为待求解的仿射变换参数矩阵，表示为：
Figure BDA0002472676760000071
其中t11、t12、t21和t22表示旋转、缩放和尺度变换，t13和t23表示帧间的水平和垂直运动矢量。上述公式通过最小二乘法求解出具体参数即可得到的全局运动矢量，即为本发明方案流程的最终数值结果。
采用了本发明中的基于参考帧优选和前后景特征点分离的运动估计方法，提高了参考帧质量，在不降低速度的情况下去除了前景对于运动矢量估计的干扰，从而优化了视频稳像修复效果，具有较强的实用性。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于参考帧优选和前后景分离的视频稳像运动估计方法，其特征在于，包括如下步骤：
S1在相邻参考帧选取基础上，结合清晰度、相似度以及特征点匹配有效对数自适应选取合适的参考帧；
S2对视频帧网格状划分，以网格为单元利用密度聚类算法对当前帧的特征点进行聚类并剔除部分噪声点；
S3通过随机抽样一致性算法计算出当前帧和参考帧对应的最优单应矩阵，去除部分误匹配；
S4将计算出的最优单应矩阵带入透视投影变换计算对应特征点之间的距离，并依据距离准则进行最终筛选和剔除；
S5最终留下的特征点对用于计算全局运动矢量。
2.根据权利要求1所述的一种基于参考帧优选和前后景分离的视频稳像运动估计方法，其特征在于，所述步骤S1具体包括如下：
S1.1计算出相邻帧pt-1的清晰度值Ft-1；
S1.2将计算出的清晰度值Ft-1与清晰度阈值C进行比较，若清晰度值Ft-1大于阈值C则更新当前相邻帧pt-1为参考帧并跳出步骤结束流程，否则继续进行步骤S1.3；
S1.3计算当前帧pt与参考帧pi背景特征点对有效匹配对数值Lt及有效匹配点数与当前帧所有特征点数的比值τ；
S1.4若有效对数值Lt大于匹配阈值Q且比值τ大于相似度阈值S则维持当前参考帧pi为参考帧不变并结束流程，否则进行步骤S1.5；
S1.5强制更新参考帧为当前相邻帧pt-1。
3.根据权利要求1所述的一种基于参考帧优选和前后景分离的视频稳像运动估计方法，其特征在于，所述步骤S2中对视频帧网格状划分的方法包括如下：
通过自适应步长滑动窗口检测并聚类，获得特征点分布区域；将划分后的网格单元dj表示为di＝d(Sti,Hni)，其中St表示该网格对于区域簇的属于状态，Hn表示该网格的特征点包含状态；自适应步长滑动窗口是以3×3网格单元作为滑动窗口，以L为长度的自适应步长滑动，最后簇表示的是包含了当前聚集的特征点群区域。
4.根据权利要求1所述的一种基于参考帧优选和前后景分离的视频稳像运动估计方法，其特征在于，所述步骤S2中的密度聚类算法采用DBSCAN密度聚类算法，具体包括如下步骤：
S2.1输入视频图像帧，网格化分割成互不相交的网格单元，可表示为D＝{di|i＝1,2,...,n}，网格单元表示为di＝d(Sti,Hni)；
S2.2遍历所有的网格单元，若单个单元中包含特征点，则将该单元对应d(Hni)的值置为true，否则置为false，且d(Hni)的值只可设置一次，设置后不可更改；
S2.3将滑动窗口b从左往右，从上往下扫描；若滑动窗口b内包含特征点的网格，即d(Hni)为true的网格数量超过阈值T，则判定当前窗口b中包含特征点的网格单元都属于簇，并将那些网格单元的对应属性d(Sti)置为true，其余空白网格单元对应d(Sti)置为false。若滑动窗口b内包含特征点的网格数量小于阈值T，则当前窗口b中的网格单元的d(Sti)属性都置为false，同时将下一次的滑动步长设置为3个网格单元；
S2.4扫描过程按照步骤S2.3中的规则进行，直至所有网格单元的属性都被赋值true或者false，所有d(Sti)的值为true的网格单元中包含的特征点即为聚类出的结果。
5.根据权利要求1所述的一种基于参考帧优选和前后景分离的视频稳像运动估计方法，其特征在于，所述步骤S3的具体包括如下：
将不少于4组的特征点对带入随机抽样一致性数学模型中，并通过代价函数是否极小循环判别，直至得到代价函数极小值时对应的最优参数单应矩阵；具体如下：
将不少于4组的特征点对带入RANSAC的数学模型中求解h11～h328个未知数，其中h33＝1：
Figure FDA0002472676750000021
其中(x,y)表示当前帧中特征点位置，(x′,y′)表示为参考帧中对应点的位置，s为尺度参数；
然后通过代价函数是否极小循环判别是否为局部最优参数单应矩阵，判别代价函数如下：
Figure FDA0002472676750000031
6.根据权利要求1所述的一种基于参考帧优选和前后景分离的视频稳像运动估计方法，其特征在于，所述步骤S4的具体包括如下：
S4.1将随机抽样一致性算法计算得出的最优单应矩阵应用于透视投影变换，得到透视投影变换模型下的距离计算模型；所述距离计算模型如下：
Figure FDA0002472676750000032
其中h11～h32共8个参数为最优单应矩阵结合透视投影变换后的参数，(X,Y)和(x,y)分别对应参考帧和当前帧中的特征点；
S4.2对初步提纯后的特征点对集合计算每一对特征点对之间的距离；
S4.3依据对应背景特征点对之间距离为0，而前景特征点对的距离非0为判断条件，筛选出准确的背景特征点对。
7.根据权利要求1所述的一种基于参考帧优选和前后景分离的视频稳像运动估计方法，其特征在于，所述步骤S5的具体包括如下：
通过筛选后的特征点对即为不包含前景特征点干扰的背景特征点对，带入运动变换模型中，通过最小二乘法求解出具体参数即可得到的全局运动矢量，该全局运动矢量即为最终的估计结果。
8.根据权利要求7所述的一种基于参考帧优选和前后景分离的视频稳像运动估计方法，其特征在于，所述运动变换模型选择仿射变换模型，可由公式B＝TA得出，其中A为背景特征点在当前帧的点集合，B为背景特征点在参考帧的点集合，T为待求解的仿射变换参数矩阵，表示为：
Figure FDA0002472676750000033
其中t11、t12、t21和t22表示旋转、缩放和尺度变换，t13和t23表示帧间的水平和垂直运动矢量。
CN202010353488.1A 2020-04-29 2020-04-29 一种基于参考帧优选和前后景分离的视频稳像运动估计方法 Active CN111598918B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010353488.1A CN111598918B (zh) 2020-04-29 2020-04-29 一种基于参考帧优选和前后景分离的视频稳像运动估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010353488.1A CN111598918B (zh) 2020-04-29 2020-04-29 一种基于参考帧优选和前后景分离的视频稳像运动估计方法

Publications (2)

Publication Number Publication Date
CN111598918A true CN111598918A (zh) 2020-08-28
CN111598918B CN111598918B (zh) 2023-05-09

Family

ID=72190915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010353488.1A Active CN111598918B (zh) 2020-04-29 2020-04-29 一种基于参考帧优选和前后景分离的视频稳像运动估计方法

Country Status (1)

Country Link
CN (1) CN111598918B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112749888A (zh) * 2020-12-31 2021-05-04 浙江省方大标准信息有限公司 基于ransac算法的多元随机抽查方法、系统、装置
CN113489896A (zh) * 2021-06-25 2021-10-08 中国科学院光电技术研究所 一种能够鲁棒预测全局运动估计的视频稳像方法
CN113592756A (zh) * 2021-07-29 2021-11-02 华中科技大学鄂州工业技术研究院 一种消化道共聚焦图像拼接方法
US11212444B1 (en) 2020-06-15 2021-12-28 Hanwha Techwin Co., Ltd. Image processing device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101202642B1 (ko) * 2011-09-30 2012-11-19 고려대학교 산학협력단 배경의 특징점을 이용한 전역 움직임 추정 방법 및 장치
CN103761737A (zh) * 2014-01-22 2014-04-30 北京工业大学 基于稠密光流的机器人运动估计方法
CN108710879A (zh) * 2018-04-20 2018-10-26 江苏大学 一种基于网格聚类算法的行人候选区域生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101202642B1 (ko) * 2011-09-30 2012-11-19 고려대학교 산학협력단 배경의 특징점을 이용한 전역 움직임 추정 방법 및 장치
CN103761737A (zh) * 2014-01-22 2014-04-30 北京工业大学 基于稠密光流的机器人运动估计方法
CN108710879A (zh) * 2018-04-20 2018-10-26 江苏大学 一种基于网格聚类算法的行人候选区域生成方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11212444B1 (en) 2020-06-15 2021-12-28 Hanwha Techwin Co., Ltd. Image processing device
CN112749888A (zh) * 2020-12-31 2021-05-04 浙江省方大标准信息有限公司 基于ransac算法的多元随机抽查方法、系统、装置
CN112749888B (zh) * 2020-12-31 2023-10-03 浙江省标准化研究院(金砖国家标准化(浙江)研究中心、浙江省物品编码中心) 基于ransac算法的多元随机抽查方法、系统、装置
CN113489896A (zh) * 2021-06-25 2021-10-08 中国科学院光电技术研究所 一种能够鲁棒预测全局运动估计的视频稳像方法
CN113592756A (zh) * 2021-07-29 2021-11-02 华中科技大学鄂州工业技术研究院 一种消化道共聚焦图像拼接方法
CN113592756B (zh) * 2021-07-29 2023-05-23 华中科技大学鄂州工业技术研究院 一种消化道共聚焦图像拼接方法

Also Published As

Publication number Publication date
CN111598918B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN111598918B (zh) 一种基于参考帧优选和前后景分离的视频稳像运动估计方法
CN104899845B (zh) 一种基于lαβ空间场景迁移的多曝光图像融合方法
CN111861925B (zh) 一种基于注意力机制与门控循环单元的图像去雨方法
CN109064418B (zh) 一种基于非局部均值的非均匀噪声图像去噪方法
CN102903085B (zh) 基于角点匹配的快速图像拼接方法
CN110532946B (zh) 一种基于卷积神经网络识别绿通车车辆轴型的方法
CN110910421B (zh) 基于分块表征和可变邻域聚类的弱小运动目标检测方法
CN110782477A (zh) 基于序列图像的运动目标快速检测方法、计算机视觉系统
CN104143186B (zh) 一种slic超像素分块优化方法
CN108257165B (zh) 图像立体匹配方法、双目视觉设备
CN112001407A (zh) 一种基于自动化标注的模型迭代训练方法及系统
CN110992263A (zh) 一种图像拼接方法及系统
CN113327206A (zh) 基于人工智能的输电线智能巡检系统的图像模糊处理方法
CN116071415B (zh) 一种基于改进Census算法的立体匹配方法
CN105405152B (zh) 基于结构化支持向量机的自适应尺度目标跟踪方法
CN113516713A (zh) 一种基于伪孪生网络的无人机自适应目标跟踪方法
CN103578121B (zh) 干扰运动环境下基于共享高斯模型的运动检测方法
CN111369477A (zh) 一种针对视频恢复任务的预分析和工具自适应的方法
CN109308709B (zh) 基于图像分割的Vibe运动目标检测算法
CN104952071A (zh) 一种基于灰度空间相关的最大类间方差图像分割算法
CN105263026B (zh) 基于概率统计与图像梯度信息的全局矢量获取方法
CN108596985B (zh) 一种Grey Edge参数主动优化的稀土溶液颜色矫正方法
CN109671044A (zh) 一种基于可变图像分解的多曝光图像融合方法
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法
CN110796181B (zh) 基于纹理的文物病害高精度自动提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant