CN113489896A - 一种能够鲁棒预测全局运动估计的视频稳像方法 - Google Patents

一种能够鲁棒预测全局运动估计的视频稳像方法 Download PDF

Info

Publication number
CN113489896A
CN113489896A CN202110713933.5A CN202110713933A CN113489896A CN 113489896 A CN113489896 A CN 113489896A CN 202110713933 A CN202110713933 A CN 202110713933A CN 113489896 A CN113489896 A CN 113489896A
Authority
CN
China
Prior art keywords
motion
points
clustering
video
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110713933.5A
Other languages
English (en)
Other versions
CN113489896B (zh
Inventor
吴柔莞
徐智勇
张利红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Optics and Electronics of CAS
Original Assignee
Institute of Optics and Electronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Optics and Electronics of CAS filed Critical Institute of Optics and Electronics of CAS
Priority to CN202110713933.5A priority Critical patent/CN113489896B/zh
Publication of CN113489896A publication Critical patent/CN113489896A/zh
Application granted granted Critical
Publication of CN113489896B publication Critical patent/CN113489896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种能够鲁棒预测全局运动估计的视频稳像方法，该方法首先对视频帧做自适应超像素分割，根据相邻两帧对应超像素质心运动建立二维运动空间，并进行k＝2的聚类操作，剔除聚类中心值大的类别的点，即完成局部运动块剔除。接着对保留超像素块进行特征点提取，并对匹配特征点对进行运动矢量计算，建立特征点运动空间，通过初始化聚类中心和对类间距离与类内距离的比值得到鲁棒k‑means结果，保留包含点最多的类别，完成局部特征点的剔除。该方法可以解决前景遮挡和多目标运动对全局运动估计的影响，稳像视频的峰值信噪比较原视频有显著提高。

Description

一种能够鲁棒预测全局运动估计的视频稳像方法
技术领域
本发明属于电子稳像领域，是一种能够鲁棒预测全局运动估计的视频稳像方法。
背景技术
固定摄像设备受恶劣天气影响，便携式设备受拍摄者不规律的运动影响，这些都会导致拍摄的视频出现抖动。抖动的视频不仅没有良好的观看体验，还会对后续的识别、跟踪、压缩等操作引入不必要的噪声，因此对抖动视频进行稳像处理是具有实际应用价值的。
传统基于特征点进行运动估计的方法，仅采用RANSAC(Random SampleConsensus)对局部运动进行剔除，但是其只能剔除误匹配点，并不能对落在前景中的特征点进行剔除，这些会影响全局单应性矩阵估计的准确性，影响稳像的效果。
发明内容
(一)本发明要解决的技术问题
鉴于此，本发明的主要目的是针对前景遮挡和多目标运动的抖动视频，提供一种能够鲁棒预测全局运动估计的视频稳像方法，该方法为基于超像素和改进的k-means相结合的方法，通过对得到的全局运动矢量进行补偿，最终实现视频稳像的目的。
(二)本发明采用的技术方案
为了达到上述目的，本发明提供如下技术方案：
一种鲁棒预测全局运动估计的视频稳像方法，该方法包括以下步骤：
步骤1：根据视频帧大小进行自适应超像素分割；
步骤2：建立超像素质心运动空间；
步骤3：对得到的超像素质心运动空间点进行K-means聚类后剔除局部运动块；
步骤4：对剔除局部运动块后的视频帧进行特征点提取，计算相邻两帧特征点的矢量运动，再根据欧氏距离建立特征点运动空间；
步骤5：基于所述特征点运动空间剔除局部特征点；
步骤6：对保留的特征点进行单应性变换，得到全局运动估计；
其中，步骤5中，采用改进k-means聚类方法剔除局部特征点：首先，基于特征点运动空间，对k-means聚类初始点进行均匀分布优化，然后，根据类间聚类与类内距离的比值对匹配特征点进行最优k值聚类，得到k个类别，并对每个类别中所包含的特征点进行统计，保留特征点个数最多的类别，实现鲁棒局部特征点剔除。
其中，步骤1中，采用简单线性迭代聚类的方法进行所述分割。
其中，步骤2中，通过对相邻两帧坐标接近的超像素质心进行运动矢量计算，建立超像素质心运动空间。
其中，步骤3中，对得到的超像素质心运动空间点进行K＝2的K-means聚类，并根据聚类中心数值对局部运动块进行剔除，保留聚类中心数值最小的运动块。
进一步的，所述方法还包括步骤7：对得到的全局运动矢量进行固定帧补偿，以消除或减轻抖动。
(三)本发明的有益效果
从上述技术方案可以看出，本发明具有以下有益效果：
(1)本发明将超像素引入视频稳像领域中，通过对超像素质心的运动进行聚类，可以粗略剔除局部运动块；
(2)本发明对传统k-means聚类方法进行改进，再对匹配特征点的运动矢量进行聚类剔除，得到准确全局特征点；
(3)本发明采用由粗到精的局部运动剔除策略，提高了计算精度。
附图说明
图1是采用超像素和改进k-means相结合得到准确运动估计的方法流程；
图2(a)是超像素对大前景视频某一帧分割结果；
图2(b)是超像素对多目标运动视频某一帧分割结果；
图3(a)是本发明实验选取的一帧图像；
图3(b)是图3(a)实施自适应简单线性迭代分割后的结果；
图3(c)是图3(a)对超像素质心运动矢量进行聚类保留后的结果；
图3(d)是图3(a)超像素运动矢量聚类图；
图4(a)是只采用RANSAC对匹配特征点进行误匹配处理的结果；
图4(b)是采用超像素和改进k-means相结合对匹配特征点进行误匹配处理的结果；
图5是补偿前后的峰值信噪比图。
具体实施方式
本发明主要针对前景遮挡和多目标运动的抖动视频，提供一种能够鲁棒预测全局运动估计的视频稳像方法，该方法为基于超像素和改进的k-means相结合的方法，通过对得到的全局运动矢量进行补偿，最终实现视频稳像的目的。
为使本发明的目的、技术方案和优点更加清楚明白，以下参考附图，结合具体实施方式对本发明进行详细说明。
图1所示为采用超像素和改进k-means相结合得到准确运动估计的方法流程的具体实施方式，该方法流程包括：
步骤1：根据视频帧大小进行自适应超像素分割，即：
Figure BDA0003134046870000031
其中Ks代表超像素个数，w和h分别代表视频帧的宽和高。
其中，为了提高分割的效率和准确度，采用简单线性迭代聚类的方法，即：
Figure BDA0003134046870000032
Figure BDA0003134046870000033
Figure BDA0003134046870000034
其中l表示LAB空间中的亮度，a表示LAB空间中从绿色到红色的分量，b表示LAB空间从蓝色到黄色的分量；i代表第i个像素点，j代表第j类的聚类中心点，dc代表颜色距离，ds代表空间距离，Ns代表同一类中的最大空间距离，Nc则代表最大颜色距离。
因为Nc无法确定，故对公式(2)的距离度量公式进行改写：
Figure BDA0003134046870000035
m表示空间和颜色的重要程度的比值，一般设置在10～40之间，
Figure BDA0003134046870000036
表示超像素所包含的像素个数，N表示视频帧所包含的总像素；根据公式(2)和(3)对像素进行聚类迭代，直到两次聚类中心的聚类小于设定阈值。
步骤2：建立超像素质心运动空间：通过对相邻两帧坐标接近的超像素质心进行运动矢量计算，建立超像素质心运动空间；
Figure BDA0003134046870000041
Figure BDA0003134046870000042
Figure BDA0003134046870000043
表示相邻两帧第i个超像素质心的x坐标，
Figure BDA0003134046870000044
表示相邻两帧第i个超像素质心的y坐标，超像素质心运动空间为
Figure BDA0003134046870000045
步骤3：对得到的超像素质心运动空间点进行K-means聚类后剔除局部运动块：对得到的空间点进行K＝2的K-means，并根据聚类中心数值对局部运动块进行剔除，其中，对聚类中心数值大的一类进行剔除；
步骤4：对剔除局部运动块后的视频帧，即保留的视频帧进行特征点提取，计算相邻两帧特征点的矢量运动，再根据欧氏距离建立特征点运动空间；
在相邻两帧中提取SURF(Speeded Up Robust Features)算子进行特征点检测，根据匹配特征点的欧式距离建立运动空间，即：
Figure BDA0003134046870000046
Figure BDA0003134046870000047
特征运动空间为
Figure BDA0003134046870000048
步骤5：基于所述特征点运动空间采用改进的k-means聚类方法剔除局部特征点；
具体的，对k-means算法初始聚类点进行改进，即：
Figure BDA0003134046870000049
dx，dy分别表示在特征运动空间中x和y方向上的最大距离。
Figure BDA00031340468700000410
g表示匹配点对最接近特征运动空间原点的索引值，根据该点的坐标和最大距离建立初始聚类中心{C1，C2，...，Ck}，即：
Figure BDA00031340468700000411
找到最优聚类k，定义判断因子a和距离因子d，即：
Figure BDA0003134046870000051
d(Ck，Cl)表示属于第k类聚类中心的点到第l类的平均聚类，
Figure BDA0003134046870000052
代表属于第k类聚类点的坐标，Cl代表第l类的聚类中心坐标，|Ck|代表属于第k类的个数。
再对类内距离和类间距离进行计算，即：
Figure BDA0003134046870000053
通过计算找到最小判断因子a，就可得到最优聚类值k，即：
Figure BDA0003134046870000054
保留包含最多个数特征点的类别。
步骤6：对保留的特征点进行单应性变换，得到准确的全局运动估计。
最后，利用步骤6得到的全局运动矢量进行固定帧补偿，以消除或减轻抖动，最终实现视频稳像。
具体实施上述方法时，首先对视频帧做自适应超像素分割，假设视频只包含背景和前景运动，且前景的矢量运动大于背景的矢量运动。然后对相邻两帧坐标点接近的超像素质心计算运动矢量，建立运动空间，执行k＝2的聚类运算，根据上述步骤3剔除局部运动块。
而后，对保留下的超像素块进行特征点提取，相邻两帧配对特征点进行运动矢量计算，建立特征点运动空间。为了使得到的聚类更加准确和分布均匀，首先计算运动空间相隔最远两点的距离，寻找离原点对接近的坐标点，接着根据聚类的类别，初始聚类中心点坐标。计算每次聚类的类间距离和类内距离，通过最小化类内距离与类间距离的比值，寻找最优聚类k。在最后一次剔除中，假设所保留的超像素中背景块大于前景块，通过保留类别中个数最多的点来保留全局特征点。
最后，根据全局特征点计算单应性矩阵，并对全局运动矢量进行累加，采用固定帧补偿的方式对抖动的视频进行处理。
图2(a)所示为带有的抖动大前景视频某一帧的超像素分割结果，图2(b)为带有抖动多目标运动视频某一帧的超像素分割结果。图3(a)为抖动视频某一帧的原图，图3(b)为超像素分割后的结果，图3(c)为剔除局部运动块后的结果，与图3(a)比较可以发现，部分带有前景的超像素块已经被剔除，图3(d)为超像素质心运动聚类结果图。图4(a)为抖动视频中采用RANSAC对相邻两帧图像特征点进行误匹配剔除后的结果，图4(b)为抖动视频中采用我们提出的发明所匹配的结果，通过对比两幅结果可以发现，图4(b)的匹配特征点对都落在背景上，通过后续单应性的求解，可以得到一个准确的全局运动估计。从图5的峰值信噪比对比图中可以发现，补偿后的峰值信噪比比较原始峰值信噪比有显著的提高，表明本发明应用于抖动视频，具有很好的效果。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，这些实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。本发明的范围由所附权利要求及其等价物限定。不脱离本发明的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本发明的范围之内。

Claims (5)

1.一种能够鲁棒预测全局运动估计的视频稳像方法，其特征在于，该方法包括以下步骤：
步骤1：根据视频帧大小进行自适应超像素分割；
步骤2：建立超像素质心运动空间；
步骤3：对得到的超像素质心运动空间点进行K-means聚类后剔除局部运动块；
步骤4：对剔除局部运动块后的视频帧进行特征点提取，计算相邻两帧特征点的矢量运动，再根据欧氏距离建立特征点运动空间；
步骤5：基于所述特征点运动空间剔除局部特征点；
步骤6：对保留的特征点进行单应性变换，得到全局运动估计；
其中，步骤5中，采用改进的k-means聚类方法剔除局部特征点：首先，基于特征点运动空间，对k-means聚类初始点进行均匀分布优化，然后，根据类间聚类与类内距离的比值对匹配特征点进行最优k值聚类，得到k个类别，并对每个类别所包含特征点进行统计，保留特征点个数最多的类别，实现鲁棒局部特征点剔除。
2.根据权利要求1所述的一种能够鲁棒预测全局运动估计的视频稳像方法，其特征在于，
步骤1中，采用简单线性迭代聚类的方法进行所述分割。
3.根据权利要求1所述的一种能够鲁棒预测全局运动估计的视频稳像方法，其特征在于，
步骤2中，通过对相邻两帧坐标接近的超像素质心进行运动矢量计算，建立超像素质心运动空间。
4.根据权利要求1所述的一种能够鲁棒预测全局运动估计的视频稳像方法，其特征在于，
步骤3中，对得到的超像素质心运动空间点进行K＝2的K-means聚类，并根据聚类中心数值对局部运动块进行剔除，保留聚类中心数值最小的运动块。
5.根据权利要求1所述的一种能够鲁棒预测全局运动估计的视频稳像方法，其特征在于，所述方法还包括：
步骤7：对得到的全局运动矢量进行固定帧补偿，以消除或减轻抖动。
CN202110713933.5A 2021-06-25 2021-06-25 一种能够鲁棒预测全局运动估计的视频稳像方法 Active CN113489896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110713933.5A CN113489896B (zh) 2021-06-25 2021-06-25 一种能够鲁棒预测全局运动估计的视频稳像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110713933.5A CN113489896B (zh) 2021-06-25 2021-06-25 一种能够鲁棒预测全局运动估计的视频稳像方法

Publications (2)

Publication Number Publication Date
CN113489896A true CN113489896A (zh) 2021-10-08
CN113489896B CN113489896B (zh) 2023-06-20

Family

ID=77936337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110713933.5A Active CN113489896B (zh) 2021-06-25 2021-06-25 一种能够鲁棒预测全局运动估计的视频稳像方法

Country Status (1)

Country Link
CN (1) CN113489896B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009060413A (ja) * 2007-08-31 2009-03-19 Kddi Corp 動画特徴抽出方法およびシステムならびに動画検索方法およびシステム
CN102088544A (zh) * 2011-02-16 2011-06-08 天津大学 具有前景目标的动态场景视频快速稳像方法
CN102254326A (zh) * 2011-07-22 2011-11-23 西安电子科技大学 利用核传递进行图像分割的方法
US20140153829A1 (en) * 2012-11-30 2014-06-05 Canon Kabushiki Kaisha Superpixel-based refinement of low-resolution foreground segmentation
CN107657625A (zh) * 2017-09-11 2018-02-02 南京信息工程大学 融合时空多特征表示的无监督视频分割方法
CN108347549A (zh) * 2018-02-26 2018-07-31 华东理工大学 一种基于视频帧的时间一致性来改善视频抖动的方法
CN109949348A (zh) * 2019-01-22 2019-06-28 天津大学 一种基于超像素运动统计的误匹配去除方法
CN111598918A (zh) * 2020-04-29 2020-08-28 江苏大学 一种基于参考帧优选和前后景分离的视频稳像运动估计方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009060413A (ja) * 2007-08-31 2009-03-19 Kddi Corp 動画特徴抽出方法およびシステムならびに動画検索方法およびシステム
CN102088544A (zh) * 2011-02-16 2011-06-08 天津大学 具有前景目标的动态场景视频快速稳像方法
CN102254326A (zh) * 2011-07-22 2011-11-23 西安电子科技大学 利用核传递进行图像分割的方法
US20140153829A1 (en) * 2012-11-30 2014-06-05 Canon Kabushiki Kaisha Superpixel-based refinement of low-resolution foreground segmentation
CN107657625A (zh) * 2017-09-11 2018-02-02 南京信息工程大学 融合时空多特征表示的无监督视频分割方法
CN108347549A (zh) * 2018-02-26 2018-07-31 华东理工大学 一种基于视频帧的时间一致性来改善视频抖动的方法
CN109949348A (zh) * 2019-01-22 2019-06-28 天津大学 一种基于超像素运动统计的误匹配去除方法
CN111598918A (zh) * 2020-04-29 2020-08-28 江苏大学 一种基于参考帧优选和前后景分离的视频稳像运动估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
涂拥军等: "一种改进的基于模糊聚类分析的数据关联算法", 《雷达与对抗》 *

Also Published As

Publication number Publication date
CN113489896B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
WO2016034059A1 (zh) 基于颜色-结构特征的目标对象跟踪方法
Bleiweiss et al. Fusing time-of-flight depth and color for real-time segmentation and tracking
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
CN112184759A (zh) 一种基于视频的运动目标检测与跟踪方法及系统
CN106331723B (zh) 一种基于运动区域分割的视频帧率上变换方法及系统
CN107968946B (zh) 视频帧率提升方法及装置
CN107527370B (zh) 一种基于camshift的目标跟踪方法
CN110753181A (zh) 一种基于特征跟踪和网格路径运动的视频稳像方法
CN106157329B (zh) 一种自适应目标跟踪方法及装置
CN111583279A (zh) 一种基于pcba的超像素图像分割方法
CN108460792B (zh) 一种基于图像分割的高效聚焦立体匹配方法
Khalid et al. Bhattacharyya Coefficient in Correlation of Gray-Scale Objects.
CN111310768B (zh) 基于鲁棒性背景先验和全局信息的显著性目标检测方法
CN106412441A (zh) 一种视频防抖控制方法以及终端
CN110930411A (zh) 一种基于深度相机的人体分割方法及系统
CN112364865A (zh) 一种复杂场景中运动小目标的检测方法
CN107360377B (zh) 一种车载视频稳像方法
CN108647605B (zh) 一种结合全局颜色与局部结构特征的人眼凝视点提取方法
CN106651918B (zh) 抖动背景下的前景提取方法
CN101272450A (zh) Sprite编码中的全局运动估计外点去除及运动参数细化方法
CN112614161A (zh) 一种基于边缘置信度的三维物体跟踪方法
CN109472794B (zh) 一种对图像进行超像素分割的方法及系统
CN113489896B (zh) 一种能够鲁棒预测全局运动估计的视频稳像方法
Yang et al. Contrast limited adaptive histogram equalization for an advanced stereo visual slam system
CN108573217B (zh) 一种结合局部结构化信息的压缩跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant