CN107749987B - 一种基于块运动估计的数字视频稳像方法 - Google Patents

一种基于块运动估计的数字视频稳像方法 Download PDF

Info

Publication number
CN107749987B
CN107749987B CN201710920094.8A CN201710920094A CN107749987B CN 107749987 B CN107749987 B CN 107749987B CN 201710920094 A CN201710920094 A CN 201710920094A CN 107749987 B CN107749987 B CN 107749987B
Authority
CN
China
Prior art keywords
motion
frame
parameters
parameter
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710920094.8A
Other languages
English (en)
Other versions
CN107749987A (zh
Inventor
黄倩
王一鸣
黄媛
李燕平
叶枫
张迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201710920094.8A priority Critical patent/CN107749987B/zh
Publication of CN107749987A publication Critical patent/CN107749987A/zh
Application granted granted Critical
Publication of CN107749987B publication Critical patent/CN107749987B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Abstract

本发明公开了一种基于块运动估计的数字视频稳像方法步骤为：首先把视频序列的第一帧作为参考帧，存储在参考缓冲区1，从视频序列的第二帧开始进行向下采样，生成对应图像的缩略图，存储在参考缓冲区0，然后通过边缘检测获得局部运动参数，同时选择具有足够纹理信息的块用于块匹配，进行模块运动搜索,利用运动搜索结果以及采用的相似运动模型来建立一个线性参数系统,采用迭代最小二乘法求解该线性参数系统。最后本发明借助运动向上缩放和运动迭代的方法得到全局运动参数。对全局运动参数进行运动补偿最终得到稳定序列。本发明处理速度快，校正效果明显。

Description

一种基于块运动估计的数字视频稳像方法
技术领域：
本发明属于视频处理技术领域，特别涉及一种基于块运动估计的数字视频稳像方法。
背景技术：
视频稳像技术已经研究几十年了，对拍摄的视频进行抖动矫正处理，来消除相邻帧之间的不规则的全局运动，从而提高有视频拍摄功能的手持式终端的图像序列的视觉质量。
现有的视频稳像算法主要可以分为两大类：(1)二维视频抖动校正算法；(2)多维视频抖动校正算法。二维视频抖动校正算法比较简单，计算复杂度小，易于实时处理实现。但是只能对平移运动进行处理，对于处理多维运动比如旋转，缩放等运动时，得到的视频效果较差。多维视频抖动校正算法，一方面能处理拍摄视频相邻帧之间可能存在较大的缩放和旋转运动，但是另一方面要求对运动参数估计精度非常高，达到非常稳定的效果。在实际拍摄中，相邻帧之间只有平移运动的情况比较小，要想获得更稳定的校正视频，需要采用多维视频抖动校正技术。
发明内容
发明目的：针对现有技术存在的问题，本发明提出一种处理速度快，校正效果明显的基于块运动估计的数字视频稳像方法。
技术方案：本发明提出一种基于块运动估计的数字视频稳像方法，包括如下步骤：
(1)先将视频序列的第一帧作为参考帧，存储在参考缓冲区1，从视频序列的第二帧开始进行向下采样，然后进入步骤(2)和步骤(3)；
(2)生成对应图像的缩略图，存储在参考缓冲区0；
(3)通过边缘检测或者模块选择获取局部运动参数；
(4)通过步骤(2)中参考缓冲区0的内容以及步骤(3)中获取的局部运动参数，进行模块运动搜索；
(5)利用步骤(4)中得到的运送搜索结果和相似运动模型，建立线性参数系统，然后采用迭代最小二乘法求解该线性参数系统；
(6)通过步骤(5)运用的迭代最小二乘法可以得到运动向上缩放；
(7)通过步骤(6)中得到的运动向上缩放和步骤(1)中参考缓冲区1存储的内容进行迭代运动细化，最后得到全局运动参数；
(8)对全局运动参数进行运动补偿最终得到稳定序列。
进一步的，所述步骤(8)中对全局运动参数进行运动补偿的具体步骤如下：
(8.1)根据视频序列中相邻两帧之间的全局运动参数，即与第一帧之间的相对运动参数，计算各帧的运动校正参数；
(8.2)根据运动校正参数进行图像变形，最后输出稳定序列。
进一步的，所述步骤(3)中所述的边缘检测或者模块选择获取局部运动参数具体步骤如下：
边缘检测的算法主要是基于图像强度的一阶和二阶导数，先采用离散化的高斯函数产生一组归一化的高斯核，然后基于高斯核函数对图像灰度矩阵的每一点进行加权求和，其中二维高斯平滑滤波器表示为：
Figure BDA0001426445110000021
其中，(x,y)为图像坐标，σ为高斯分布的方差；
然后选择具有足够纹理信息的块用于块匹配。
进一步的，所述步骤步骤(8.2)中，根据运动校正参数进行图像变形时，采用双线性插值的方法计算非整数的坐标位置的像素值。
有益效果：本发明与现有的数字视频稳像技术相比，包括以下优点和有益效果。
1.在基于块估计的过程中,边缘检测可以很好的适应亮度突变的情况,不会影响块运动搜索的准确性。
2.在运动补偿中采用双向插值能够解决锯齿效应问题。
3.基于运动估计之后得到的全局运动参数更加准确，最后得到的视频序列去抖动效果更好。
附图说明
图1是本发明的整体流程图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示，是本发明基于块运动估计的视频稳像方法的执行流程图。该方法包括以下步骤：
块运动估计：在执行运动估计过程中,首先把视频序列的第一帧作为参考帧，存储在参考缓冲区1，从视频序列的第二帧开始进行向下采样，生成对应图像的缩略图，存储在参考缓冲区0，然后通过边缘检测获得局部运动参数，同时选择具有足够纹理信息的块用于块匹配，进行模块运动搜索,利用运动搜索结果以及采用的相似运动模型来建立一个线性参数系统,采用迭代最小二乘法求解该线性参数系统。最后本发明借助运动向上缩放和运动迭代的方法使得估计的全局运动参数更加精确。
运动补偿：基于块运动估计得到的是视频序列中相邻两帧之间的全局运动参数，即与第一帧之间的相对运动参数，来计算各帧的运动校正参数。然后，根据运动校正参数进行图像变形，最后输出稳定序列。
所述的块运动估计阶段的实施过程为：在执行运动估计过程中,首先把视频序列的第一帧作为参考帧，存储在参考缓冲区1，每估计完一帧的全局运动参数，就清空参考缓冲区1，然后将该帧的图像存储在参考缓冲区1里面，从视频序列的第二帧开始进行向下采样，生成对应图像的缩略图，存储在参考缓冲区0，然后进行边缘检测,在边缘检测中首先要进行的工作是滤波,用高斯滤波计算canny梯度的图像。同时,为了提高运动矢量的可信度,只有纹理信息较丰富的模块才被选取进行运动搜索。模块的特征反映了块内的纹理信息的丰富程度，因此只有该特征大于一个阈值才进行运动搜索。在运动搜索过程中,即使是内部纹理信息较丰富的圆形块,当其包含前景运动目标或者其周围有相似的纹理时,运动搜索也会产生错误的运动矢量,最小二乘法对这些错误的运动矢量非常敏感。利用运动搜索结果以及采用的相似运动模型来建立一个线性参数系统,采用迭代最小二乘法可以降低错误的运动矢量的影响。最后我们采用运动向上缩放和运动迭代算法可以进一步细化全局运动参数,减小参数的估计误差。得到更加精确的全局运动参数。
所述的运动补偿阶段的实施过程为：基于块运动估计得到的是视频序列中相邻两帧之间的全局运动参数，即与第一帧之间的相对运动参数，来计算各帧的运动校正参数。然后，根据运动校正参数进行图像变形，采用双向插值的方式进行运动补偿插值，最后输出稳定序列。
在具体的实施方案中，可按下面方式操作。
运动估计阶段：本文在运动估计阶段，首先把视频序列的第一帧作为参考帧，存储在参考缓冲区1，每估计完一帧的全局运动参数，就清空参考缓冲区1，然后将该帧的图像存储在参考缓冲区1里面，从视频序列的第二帧开始进行向下采样，减少采样点，生成对应图像的缩略图，存储在参考缓冲区0，然后采用边缘检测的方法，边缘检测的算法主要是基于图像强度的一阶和二阶导数，但导数通常对噪声很敏感，因此必须采用滤波器来改善与噪声有关的边缘检测器的性能。先采用离散化的高斯函数产生一组归一化的高斯核，然后基于高斯核函数对图像灰度矩阵的每一点进行加权求和。二维高斯平滑滤波器表示为：
Figure BDA0001426445110000041
其中，(x,y)为图像坐标，σ为高斯分布的方差，它决定了高斯滤波器的窗口宽度，即采用多大领域内的像素参数参与滤波计算，离滤波器中心距离大于3σ的像素不用参与滤波操作。σ越大，滤波器的窗口宽度越大，滤波效果越平滑。
然后选择具有足够纹理信息的块用于块匹配。为了提高运动矢量的可信度,只有纹理信息较丰富的模块才被选取进行运动搜索。模块的特征反映了块内的纹理信息的丰富程度，因此只有特征大于一个阈值才进行运动搜索。
在运动搜索过程中,即使是内部纹理信息较丰富的圆形块,当其包含前景运动目标或者其周围有相似的纹理时,运动搜索也会产生错误的运动矢量,最小二乘法对这些错误的运动矢量非常敏感。利用运动搜索结果以及采用的相似运动模型来建立一个线性参数系统,采用迭代最小二乘法可以降低错误的运动矢量的影响,即用最小二乘法求解得到运动参数后,计算块中心坐标的估计误差,剔除估计误差较大的模块,利用余下的模块及其局部运动矢量重新构造线性方程,并用最小二乘法求解得到新的全局运动参数。重复以上步骤,直到剔除所有模板坐标的估计误差较大模块为止,此时得到的全局运动参数即为迭代最小二乘法的最终输出结果。
运动矢量的误差决定了迭代最小二乘法的输出虽然接近实际的运动参数,但不是很精确。采用运动向上缩放，将之前向下采样生成的缩略图放大为原来的尺寸，接着采用基于梯度下降的运动迭代算法可以进一步细化全局运动参数,运动迭代的初值为迭代最小二乘法的输出。由于初值已经很接近全局最优解,所以运动迭代过程能很快地收敛，减小参数的估计误差，得到更加精确的全局运动参数。
运动补偿阶段：基于块运动估计得到的是视频序列中相邻两帧之间的全局运动参数，即与第一帧之间的相对运动参数，来计算各帧的运动校正参数。
在利用运动校正参数进行图像变形时，根据相似模型进行计算很可能会得到非整数的像素坐标。在这种情况下，如果对坐标采用取整的方式，得到的校正视频容易出现锯齿效应，因此我们采用双线性插值的方法计算非整数的坐标位置的像素值。双线性插值能够解决锯齿效应问题，最后输出稳定序列。

Claims (2)

1.一种基于块运动估计的数字视频稳像方法，其特征在于，包括如下步骤：
(1)先将视频序列的第一帧作为参考帧，存储在参考缓冲区1，从视频序列的第二帧开始进行向下采样，然后进入步骤(2)和步骤(3)；
(2)生成对应图像的缩略图，存储在参考缓冲区0；
(3)通过边缘检测进行模块选择获取局部运动参数；
(4)通过步骤(2)中参考缓冲区0的内容以及步骤(3)中获取的局部运动参数，进行模块运动搜索；
(5)利用步骤(4)中得到的运送搜索结果和相似运动模型，建立线性参数系统，然后采用迭代最小二乘法求解该线性参数系统；
(6)通过步骤(5)运用的迭代最小二乘法可以得到运动向上缩放；
(7)通过步骤(6)中得到的运动向上缩放和步骤(1)中参考缓冲区1存储的内容进行迭代运动细化，最后得到全局运动参数；
(8)对全局运动参数进行运动补偿最终得到稳定序列；
所述步骤(8)中对全局运动参数进行运动补偿的具体步骤如下：
(8.1)根据视频序列中相邻两帧之间的全局运动参数，即与第一帧之间的相对运动参数，计算各帧的运动校正参数；
(8.2)根据运动校正参数进行图像变形，最后输出稳定序列；
所述步骤(3)中所述的边缘检测进行模块选择获取局部运动参数具体步骤如下：
边缘检测的算法主要是基于图像强度的一阶和二阶导数，先采用离散化的高斯函数产生一组归一化的高斯核，然后基于高斯核函数对图像灰度矩阵的每一点进行加权求和，其中二维高斯平滑滤波器表示为：
Figure FDA0002576571270000011
其中，(x,y)为图像坐标，σ为高斯分布的方差；
然后选择具有足够纹理信息的块用于块匹配。
2.根据权利要求1所述的一种基于块运动估计的数字视频稳像方法，其特征在于，所述步骤(8.2)中，根据运动校正参数进行图像变形时，采用双线性插值的方法计算非整数的坐标位置的像素值。
CN201710920094.8A 2017-09-30 2017-09-30 一种基于块运动估计的数字视频稳像方法 Active CN107749987B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710920094.8A CN107749987B (zh) 2017-09-30 2017-09-30 一种基于块运动估计的数字视频稳像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710920094.8A CN107749987B (zh) 2017-09-30 2017-09-30 一种基于块运动估计的数字视频稳像方法

Publications (2)

Publication Number Publication Date
CN107749987A CN107749987A (zh) 2018-03-02
CN107749987B true CN107749987B (zh) 2020-09-18

Family

ID=61255213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710920094.8A Active CN107749987B (zh) 2017-09-30 2017-09-30 一种基于块运动估计的数字视频稳像方法

Country Status (1)

Country Link
CN (1) CN107749987B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109756778B (zh) * 2018-12-06 2021-09-14 中国人民解放军陆军工程大学 一种基于自适应运动补偿的帧率转换方法
CN109547789B (zh) * 2019-01-11 2022-11-04 重庆理工大学 一种全局运动补偿算法
WO2020207492A1 (en) 2019-04-12 2020-10-15 Beijing Bytedance Network Technology Co., Ltd. Interaction between matrix-based intra prediction and other coding tools
JP2022535726A (ja) 2019-05-31 2022-08-10 北京字節跳動網絡技術有限公司 行列ベースイントラ予測における制約されたアップサンプリングプロセス
CN113950836B (zh) 2019-06-05 2024-01-12 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文确定
CN110415186B (zh) * 2019-07-05 2021-07-20 浙江大华技术股份有限公司 一种图像去抖动的方法和设备
CN112572462B (zh) 2019-09-30 2022-09-20 阿波罗智能技术(北京)有限公司 自动驾驶的控制方法、装置、电子设备及存储介质
CN111596310B (zh) * 2020-05-27 2022-10-28 北京邮电大学 一种基于点探测的运动目标鬼成像系统与方法
CN113920028B (zh) * 2021-10-15 2023-05-30 中国科学院光电技术研究所 一种基于变宽滤波的渐晕图像校正方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6594397B1 (en) * 2000-03-03 2003-07-15 Tektronix, Inc. Adaptive multi-modal motion estimation for video compression
CN101521740A (zh) * 2009-04-01 2009-09-02 北京航空航天大学 基于多尺度不变特征的实时运动估计方法
CN102231792A (zh) * 2011-06-29 2011-11-02 南京大学 基于特征匹配的电子稳像方法
CN105611116A (zh) * 2015-12-23 2016-05-25 苏州科达科技股份有限公司 一种全局运动矢量估计方法及监控视频稳像方法及装置
CN106534616A (zh) * 2016-10-17 2017-03-22 北京理工大学珠海学院 一种基于特征匹配与运动补偿的视频稳像方法及系统
CN106559605A (zh) * 2016-11-17 2017-04-05 天津大学 基于改进的块匹配算法的数字视频稳像方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101951463A (zh) * 2010-05-19 2011-01-19 上海稳像信息技术有限公司 基于简易快速全局运动参数估计的实时视频稳像方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6594397B1 (en) * 2000-03-03 2003-07-15 Tektronix, Inc. Adaptive multi-modal motion estimation for video compression
CN101521740A (zh) * 2009-04-01 2009-09-02 北京航空航天大学 基于多尺度不变特征的实时运动估计方法
CN102231792A (zh) * 2011-06-29 2011-11-02 南京大学 基于特征匹配的电子稳像方法
CN105611116A (zh) * 2015-12-23 2016-05-25 苏州科达科技股份有限公司 一种全局运动矢量估计方法及监控视频稳像方法及装置
CN106534616A (zh) * 2016-10-17 2017-03-22 北京理工大学珠海学院 一种基于特征匹配与运动补偿的视频稳像方法及系统
CN106559605A (zh) * 2016-11-17 2017-04-05 天津大学 基于改进的块匹配算法的数字视频稳像方法

Also Published As

Publication number Publication date
CN107749987A (zh) 2018-03-02

Similar Documents

Publication Publication Date Title
CN107749987B (zh) 一种基于块运动估计的数字视频稳像方法
US9615039B2 (en) Systems and methods for reducing noise in video streams
US9692939B2 (en) Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
US9405960B2 (en) Face hallucination using convolutional neural networks
US9965832B2 (en) Method for performing super-resolution on single images and apparatus for performing super-resolution on single images
CN106331723B (zh) 一种基于运动区域分割的视频帧率上变换方法及系统
CN105976328B (zh) 图像噪声降低
Pickup Machine learning in multi-frame image super-resolution
CN111127347A (zh) 降噪方法、终端及存储介质
Wang et al. Multi-direction dictionary learning based depth map super-resolution with autoregressive modeling
GB2536430A (en) Image noise reduction
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
Zhang et al. Convolutional neural network-based video super-resolution for action recognition
CN113643217B (zh) 视频去运动模糊方法、装置、终端设备及可读存储介质
CN113421186A (zh) 使用生成对抗网络的非监督视频超分辨率的设备和方法
Li et al. Guided iterative back-projection scheme for single-image super-resolution
CN106897975B (zh) 一种超立方体粒计算的图像去噪方法
CN106570911B (zh) 一种基于daisy描述子的脸部卡通画合成方法
Bareja et al. An improved iterative back projection based single image super resolution approach
WO2023138764A1 (en) Device and method for super resolution kernel estimation
Wang et al. Digital video stabilization based on block motion estimation
CN116266356A (zh) 全景视频转场渲染方法、装置和计算机设备
CN112464948A (zh) 一种基于仿生学的自然场景目标轮廓提取方法及系统
Ito et al. Deep homography-based video stabilization
Balure Guidance-based improved depth upsampling with better initial estimate

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant