CN109068083A - 一种基于正方形的自适应运动矢量场平滑技术 - Google Patents

一种基于正方形的自适应运动矢量场平滑技术 Download PDF

Info

Publication number
CN109068083A
CN109068083A CN201811048527.6A CN201811048527A CN109068083A CN 109068083 A CN109068083 A CN 109068083A CN 201811048527 A CN201811048527 A CN 201811048527A CN 109068083 A CN109068083 A CN 109068083A
Authority
CN
China
Prior art keywords
motion vector
square
vector field
window
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811048527.6A
Other languages
English (en)
Other versions
CN109068083B (zh
Inventor
黄倩
李燕平
张迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201811048527.6A priority Critical patent/CN109068083B/zh
Publication of CN109068083A publication Critical patent/CN109068083A/zh
Application granted granted Critical
Publication of CN109068083B publication Critical patent/CN109068083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H04N7/0152—High-definition television systems using spatial or temporal subsampling
    • H04N7/0155—High-definition television systems using spatial or temporal subsampling using pixel blocks
    • H04N7/0157—High-definition television systems using spatial or temporal subsampling using pixel blocks with motion estimation, e.g. involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于正方形的自适应运动矢量场平滑技术，针对经过运动估计得到的运动矢量并非都是正确的，对于偏离较大的运动矢量需要对其进行纠正以此来获得较平滑的运动矢量场。通过设置运动矢量纠正参数对运动矢量场窗口各窗角点的运动矢量进行纠正，使得到的运动矢量场更加平滑，减小运动补偿阶段的误差。

Description

一种基于正方形的自适应运动矢量场平滑技术
技术领域
本发明涉及一种基于正方形的自适应运动矢量场平滑技术，属于视频处理领域。
背景技术
现今，随着互联网技术的发展、多媒体技术的普及以及诸多智能设备功能的提高，视频数据信息爆炸性增长。为了使视频数据能够更加清晰生动地传送信息，达到视觉交互，视频帧率转换技术一直是视频处理与分析技术中的一个研究热点。
现有的视频帧率转换技术主要包括两个步骤：(1)运动估计；(2)运动补偿。在运动估计阶段，主要是根据一定的匹配准则得到当前块与匹配块之间的最佳运动矢量，但是在运动估计阶段仅仅依靠匹配准则找到的最佳运动矢量可能与物体的真实运动有所偏差，也就是说，在某个匹配准则下最优的运动矢量，并不一定就是物体真正的运动，特别是当图像中的亮度信息呈周期性变化或者图像中噪声较大。这主要是由于在进行运动估计时，没有考虑到物体真实运动的一致性，也就是运动矢量场的平滑性，当用不准确的运动矢量进行运动补偿插值时，重构出的图像就会出现模糊或块伪影。
发明内容
为了解决由于运动矢量的不准确性给运动补偿阶段带来的影响，本发明提供一种基于正方形的自适应运动矢量场平滑技术。针对经过运动估计得到的运动矢量并非都是正确的，对于偏离较大的运动矢量需要对其进行纠正以此来获得较平滑的运动矢量场。通过设置运动矢量纠正参数对运动矢量场窗口各窗角点的运动矢量进行纠正，使得到的运动矢量场更加平滑，减小运动补偿阶段的误差。
本发明为解决上述技术问题采用以下技术方案：
本发明提供一种基于正方形的自适应运动矢量场平滑技术，具体步骤如下：
步骤1，对待处理视频图像进行规则的块划分，并运用双向块匹配运动估计方法得到每个图像块的前向运动矢量和后向运动矢量；
步骤2，根据匹配误差和运动矢量的空间相关性，在运动矢量场中对不准确的前向运动矢量和后向运动矢量进行标记；
步骤3，对步骤2中标记的不准确的前向运动矢量，分别将其作为(2n+1)*(2n+1)运动矢量场窗口的一个角点，逐一进行以下处理：
3.1，以(2n+1)*(2n+1)运动矢量场窗口四边中点为正方形角点构成的正方形，其中心点处的运动矢量为(2n+1)*(2n+1)运动矢量场窗口四边中点处的四个运动矢量的平均值，其中，n为正整数；
3.2，分别计算(2n+1)*(2n+1)运动矢量场窗口各角点处的运动矢量到正方形中心处的运动矢量的距离，并对得到的距离取平均值；
3.3，根据步骤3.2中的平均值与(2n+1)*(2n+1)运动矢量场窗口各角点处的运动矢量到正方形中心处的运动矢量的距离之间的比值，对(2n+1)*(2n+1)运动矢量场窗口各角点处的运动矢量进行修正；
步骤4，按照步骤3的方法，对步骤2中标记的不准确的后向运动矢量逐一进行处理，完成运动矢量场的平滑。
作为本发明的进一步技术方案，若待处理视频图像经过压缩，则从解码重构出的视频图像中直接提取每个图像块的前向运动矢量和后向运动矢量；或者先进行解码重构，再对解码重构出的视频图像进行规则的块划分，并运用双向块匹配运动估计方法得到每个图像块的前向运动矢量和后向运动矢量。
作为本发明的进一步技术方案，n的取值根据不准确运动矢量的密度确认。
作为本发明的进一步技术方案，步骤3.3中对(2n+1)*(2n+1)运动矢量场窗口各角点处的运动矢量进行修正，(2n+1)*(2n+1)运动矢量场窗口第i个角点修正后的运动矢量其中，vi为修正前的(2n+1)*(2n+1)运动矢量场窗口第i个角点处的运动矢量，Dm为步骤3.2中的平均值，Di为修正前的(2n+1)*(2n+1)运动矢量场窗口第i个角点处的运动矢量到正方形中心处的运动矢量的距离。
作为本发明的进一步技术方案，其中，V为正方形中心处的运动矢量，||·||表示求取距离。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1.在双向运动估计的过程中，可以对之后得到的运动矢量场进行较好的处理，能够纠正偏离较大的运动矢量；
2.基于正方形的自适应运动矢量场平滑技术能够使得到的运动矢量场更加平滑，减小运动补偿阶段的误差。
附图说明
图1是5*5运动矢量场窗口；
图2是本发明的方法流程图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
下面结合附图对本发明的技术方案做进一步的详细说明：
本发明基于正方形的自适应运动矢量场平滑技术，具体如下：
(1)运动矢量获取：输入的数据可以是未经压缩的视频，也可以是经过压缩的视频。一般情况下，对未经压缩的视频图像或者从压缩视频中解码重构出的视频图像进行规则的块划分，然后采用双向块匹配运动估计方法得到每个图像块的前向运动矢量和后向运动矢量。如果从压缩视频中解码得到的运动矢量足够可靠，可以省略运动搜索的步骤，直接保留视频中的前向运动矢量和后向运动矢量。
传统的运动估计一般是前向运动估计或者后向运动估计。单向块匹配运动估计方法虽然具有较高的准确性和灵活性，但由于它是从参考帧平面的角度出发，在对中间待插帧进行块运动补偿插值的过程中，并不能够保证中间帧平面内的每一个像素位置运动补偿值的存在性和唯一性，即会导致空洞和重叠问题。因此，为了避免空洞和重叠问题的产生，在本专利中，我们运用双向块匹配运动估计方法，对待处理图像进行规则图像块划分和双向运动搜索的方法，，得视频中的前向运动矢量和后向运动矢量。
(2)运动矢量准确性判断：根据匹配误差和运动矢量的空间相关性，在运动矢量场中对不准确的前向运动矢量和后向运动矢量进行标记。
(3)修正不准确的前向运动矢量和后向运动矢量：
(3.1)逐一将每个不准确的前向运动矢量作为(2n+1)*(2n+1)运动矢量场窗口的一个角点，修正所有不准确的前向运动矢量：
以(2n+1)*(2n+1)运动矢量场窗口四边中点为正方形角点构成的正方形，其中心点处的运动矢量为(2n+1)*(2n+1)运动矢量场窗口四边中点处的四个运动矢量的平均值，其中，n为正整数；
分别计算(2n+1)*(2n+1)运动矢量场窗口各角点处的运动矢量到正方形中心处的运动矢量的距离，并对得到的距离取平均值；
根据上述的平均值与(2n+1)*(2n+1)运动矢量场窗口各角点处的运动矢量到正方形中心处的运动矢量的距离之间的比值，对(2n+1)*(2n+1)运动矢量场窗口各角点处的运动矢量进行修正；
(3.2)逐一将每个不准确的后向运动矢量作为(2n+1)*(2n+1)运动矢量场窗口的一个角点，根据(3.1)中的步骤修正所有不准确的后向运动矢量
如图2所示，本发明基于正方形的自适应运动矢量场平滑技术的具体步骤如下：
S1:运动矢量获取：输入的数据可以是未经压缩的视频，也可以是经过压缩的视频。一般情况下，对未经压缩的视频图像或者从压缩视频中解码重构出的视频图像进行规则的块划分，然后采用双向块匹配运动估计方法得到每个图像块的前向运动矢量和后向运动矢量。如果从压缩视频中解码得到的运动矢量足够可靠，可以省略运动搜索的步骤，直接保留视频中的前向运动矢量和后向运动矢量。
S2:运动矢量准确性判断：根据匹配误差和运动矢量的空间相关性，在运动矢量场中对不准确的前向运动矢量和后向运动矢量进行标记。
S3:以5*5的运动矢量场窗口为模板，如图1所示。
其中，对于窗口中心处的运动矢量V′，它是由以5*5的运动矢量场窗口四边中心点处V1,V2,V3,V4为正方形角点构成的正方形的中心点处的运动矢量，是V1,V2,V3,V4这4个运动矢量的平均值。
S4:对于5*5的运动矢量场窗口的各角点处的运动矢量，也即图中的v1,v2,v3,v4分别计算这些运动矢量到窗口中心处运动矢量V′的距离，Di＝||vi-V||，平均值
S4:对5*5的运动矢量场窗口各角点处的运动矢量v1,v2,v3,v4进行自适应修正，设α为运动矢量纠正参数，对α的定义：修正后的各角点处的运动矢量为：v′i＝αi*vi。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种基于正方形的自适应运动矢量场平滑技术，其特征在于，具体步骤如下：
步骤1，对待处理视频图像进行规则的块划分，并运用双向块匹配运动估计方法得到每个图像块的前向运动矢量和后向运动矢量；
步骤2，根据匹配误差和运动矢量的空间相关性，在运动矢量场中对不准确的前向运动矢量和后向运动矢量进行标记；
步骤3，对步骤2中标记的不准确的前向运动矢量，分别将其作为(2n+1)*(2n+1)运动矢量场窗口的一个角点，逐一进行以下处理：
3.1，以(2n+1)*(2n+1)运动矢量场窗口四边中点为正方形角点构成的正方形，其中心点处的运动矢量为(2n+1)*(2n+1)运动矢量场窗口四边中点处的四个运动矢量的平均值，其中，n为正整数；
3.2，分别计算(2n+1)*(2n+1)运动矢量场窗口各角点处的运动矢量到正方形中心处的运动矢量的距离，并对得到的距离取平均值；
3.3，根据步骤3.2中的平均值与(2n+1)*(2n+1)运动矢量场窗口各角点处的运动矢量到正方形中心处的运动矢量的距离之间的比值，对(2n+1)*(2n+1)运动矢量场窗口各角点处的运动矢量进行修正；
步骤4，按照步骤3的方法，对步骤2中标记的不准确的后向运动矢量逐一进行处理，完成运动矢量场的平滑。
2.根据如权利要求1所述的一种基于正方形的自适应运动矢量场平滑技术，其特征在于，若待处理视频图像经过压缩，则从解码重构出的视频图像中直接提取每个图像块的前向运动矢量和后向运动矢量；或者先进行解码重构，再对解码重构出的视频图像进行规则的块划分，并运用双向块匹配运动估计方法得到每个图像块的前向运动矢量和后向运动矢量。
3.根据如权利要求1所述的一种基于正方形的自适应运动矢量场平滑技术，其特征在于，n的取值根据不准确运动矢量的密度确认。
4.根据如权利要求1所述的一种基于正方形的自适应运动矢量场平滑技术，其特征在于，步骤3.3中对(2n+1)*(2n+1)运动矢量场窗口各角点处的运动矢量进行修正，(2n+1)*(2n+1)运动矢量场窗口第i个角点修正后的运动矢量其中，vi为修正前的(2n+1)*(2n+1)运动矢量场窗口第i个角点处的运动矢量，Dm为步骤3.2中的平均值，Di为修正前的(2n+1)*(2n+1)运动矢量场窗口第i个角点处的运动矢量到正方形中心处的运动矢量的距离。
5.根据如权利要求4所述的一种基于正方形的自适应运动矢量场平滑技术，其特征在于，其中，V为正方形中心处的运动矢量，||·||表示求取距离。
CN201811048527.6A 2018-09-10 2018-09-10 一种基于正方形的自适应运动矢量场平滑方法 Active CN109068083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811048527.6A CN109068083B (zh) 2018-09-10 2018-09-10 一种基于正方形的自适应运动矢量场平滑方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811048527.6A CN109068083B (zh) 2018-09-10 2018-09-10 一种基于正方形的自适应运动矢量场平滑方法

Publications (2)

Publication Number Publication Date
CN109068083A true CN109068083A (zh) 2018-12-21
CN109068083B CN109068083B (zh) 2021-06-01

Family

ID=64760907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811048527.6A Active CN109068083B (zh) 2018-09-10 2018-09-10 一种基于正方形的自适应运动矢量场平滑方法

Country Status (1)

Country Link
CN (1) CN109068083B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114697704A (zh) * 2020-12-25 2022-07-01 北京华录新媒信息技术有限公司 一种超高清视频帧率提升方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020036705A1 (en) * 2000-06-13 2002-03-28 Samsung Electronics Co., Ltd. Format converter using bi-directional motion vector and method thereof
CN101860748A (zh) * 2010-04-02 2010-10-13 西安电子科技大学 基于分布式视频编码的边信息生成系统及方法
CN104159119A (zh) * 2014-07-07 2014-11-19 大连民族学院 一种视频图像实时共享播放的超分辨率重构方法和系统
US20150264385A1 (en) * 2014-03-14 2015-09-17 Kabushiki Kaisha Toshiba Frame interpolation device, frame interpolation method, and recording medium
CN105100807A (zh) * 2015-08-28 2015-11-25 山东大学 一种基于运动矢量后处理的帧率提升方法
CN105847804A (zh) * 2016-05-18 2016-08-10 信阳师范学院 一种基于稀疏冗余表示模型的视频帧率上转换方法
CN105939475A (zh) * 2016-06-06 2016-09-14 中国矿业大学 一种高质量边信息生成方法
CN107613299A (zh) * 2017-09-29 2018-01-19 杭州电子科技大学 一种利用生成网络提高帧速率上转换效果的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020036705A1 (en) * 2000-06-13 2002-03-28 Samsung Electronics Co., Ltd. Format converter using bi-directional motion vector and method thereof
CN101860748A (zh) * 2010-04-02 2010-10-13 西安电子科技大学 基于分布式视频编码的边信息生成系统及方法
US20150264385A1 (en) * 2014-03-14 2015-09-17 Kabushiki Kaisha Toshiba Frame interpolation device, frame interpolation method, and recording medium
CN104159119A (zh) * 2014-07-07 2014-11-19 大连民族学院 一种视频图像实时共享播放的超分辨率重构方法和系统
CN105100807A (zh) * 2015-08-28 2015-11-25 山东大学 一种基于运动矢量后处理的帧率提升方法
CN105847804A (zh) * 2016-05-18 2016-08-10 信阳师范学院 一种基于稀疏冗余表示模型的视频帧率上转换方法
CN105939475A (zh) * 2016-06-06 2016-09-14 中国矿业大学 一种高质量边信息生成方法
CN107613299A (zh) * 2017-09-29 2018-01-19 杭州电子科技大学 一种利用生成网络提高帧速率上转换效果的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114697704A (zh) * 2020-12-25 2022-07-01 北京华录新媒信息技术有限公司 一种超高清视频帧率提升方法

Also Published As

Publication number Publication date
CN109068083B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN100563343C (zh) 用于运动估计的方法和装置
CN1864406B (zh) 用于运动估计的方法和设备
JP2576771B2 (ja) 動き補償予測装置
US7596243B2 (en) Extracting a moving object boundary
US10453207B2 (en) Method and system for global motion estimation and compensation
CN100556153C (zh) 一种多视点图像的预处理方法
CN107578430B (zh) 一种基于自适应权值和局部熵的立体匹配方法
US8810633B2 (en) Robust image alignment for distributed multi-view imaging systems
EP1978737A2 (en) Frame interpolation apparatus and method
CN102918846A (zh) 多视点视频编码方法、多视点视频解码方法、多视点视频编码装置、多视点视频解码装置及程序
CN105100807A (zh) 一种基于运动矢量后处理的帧率提升方法
CN106210449A (zh) 一种多信息融合的帧率上变换运动估计方法及系统
WO2013031424A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN103210645A (zh) 使用运动补偿的基于实例的超分辨率的视频解码
JPH02239376A (ja) 動画像の動き検出方法及びその装置
US20130083162A1 (en) Depth fusion method and apparatus using the same
CN112085717B (zh) 一种用于腹腔镜手术的视频预测方法及其系统
EP3338249B1 (en) Video image alignment for video stabilization
CN112233012A (zh) 一种人脸生成系统及方法
CN102823243A (zh) 通过面片移动减小矢量量化误差的方法和装置
Veselov et al. Iterative hierarchical true motion estimation for temporal frame interpolation
CN106204456A (zh) 全景视频序列运动估计越界折叠搜索方法
CN109068083A (zh) 一种基于正方形的自适应运动矢量场平滑技术
CN108076341B (zh) 一种视频卫星成像在轨实时稳像方法及系统
RU2747965C1 (ru) Обработка окклюзий для frc c помощью глубокого обучения

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant