CN109068083B - 一种基于正方形的自适应运动矢量场平滑方法 - Google Patents

一种基于正方形的自适应运动矢量场平滑方法 Download PDF

Info

Publication number
CN109068083B
CN109068083B CN201811048527.6A CN201811048527A CN109068083B CN 109068083 B CN109068083 B CN 109068083B CN 201811048527 A CN201811048527 A CN 201811048527A CN 109068083 B CN109068083 B CN 109068083B
Authority
CN
China
Prior art keywords
motion vector
motion
vector field
square
field window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811048527.6A
Other languages
English (en)
Other versions
CN109068083A (zh
Inventor
黄倩
李燕平
张迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201811048527.6A priority Critical patent/CN109068083B/zh
Publication of CN109068083A publication Critical patent/CN109068083A/zh
Application granted granted Critical
Publication of CN109068083B publication Critical patent/CN109068083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H04N7/0152—High-definition television systems using spatial or temporal subsampling
    • H04N7/0155—High-definition television systems using spatial or temporal subsampling using pixel blocks
    • H04N7/0157—High-definition television systems using spatial or temporal subsampling using pixel blocks with motion estimation, e.g. involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于正方形的自适应运动矢量场平滑技术，针对经过运动估计得到的运动矢量并非都是正确的，对于偏离较大的运动矢量需要对其进行纠正以此来获得较平滑的运动矢量场。通过设置运动矢量纠正参数对运动矢量场窗口各窗角点的运动矢量进行纠正，使得到的运动矢量场更加平滑，减小运动补偿阶段的误差。

Description

一种基于正方形的自适应运动矢量场平滑方法
技术领域
本发明涉及一种基于正方形的自适应运动矢量场平滑方法，属于视频处理领域。
背景技术
现今，随着互联网技术的发展、多媒体技术的普及以及诸多智能设备功能的提高，视频数据信息爆炸性增长。为了使视频数据能够更加清晰生动地传送信息，达到视觉交互，视频帧率转换技术一直是视频处理与分析技术中的一个研究热点。
现有的视频帧率转换技术主要包括两个步骤：(1)运动估计；(2)运动补偿。在运动估计阶段，主要是根据一定的匹配准则得到当前块与匹配块之间的最佳运动矢量，但是在运动估计阶段仅仅依靠匹配准则找到的最佳运动矢量可能与物体的真实运动有所偏差，也就是说，在某个匹配准则下最优的运动矢量，并不一定就是物体真正的运动，特别是当图像中的亮度信息呈周期性变化或者图像中噪声较大。这主要是由于在进行运动估计时，没有考虑到物体真实运动的一致性，也就是运动矢量场的平滑性，当用不准确的运动矢量进行运动补偿插值时，重构出的图像就会出现模糊或块伪影。
发明内容
为了解决由于运动矢量的不准确性给运动补偿阶段带来的影响，本发明提供一种基于正方形的自适应运动矢量场平滑方法。针对经过运动估计得到的运动矢量并非都是正确的，对于偏离较大的运动矢量需要对其进行纠正以此来获得较平滑的运动矢量场。通过设置运动矢量纠正参数对运动矢量场窗口各窗角点的运动矢量进行纠正，使得到的运动矢量场更加平滑，减小运动补偿阶段的误差。
本发明为解决上述技术问题采用以下技术方案：
本发明提供一种基于正方形的自适应运动矢量场平滑方法，具体步骤如下：
步骤1，对待处理视频图像进行规则的块划分，并运用双向块匹配运动估计方法得到每个图像块的前向运动矢量和后向运动矢量；
步骤2，根据匹配误差和运动矢量的空间相关性，在运动矢量场中对不准确的前向运动矢量和后向运动矢量进行标记；
步骤3，对步骤2中标记的不准确的前向运动矢量，分别将其作为(2n+1)*(2n+1)运动矢量场窗口的一个角点，逐一进行以下处理：
3.1，以(2n+1)*(2n+1)运动矢量场窗口四边中点为正方形角点构成的正方形，其中心点处的运动矢量为(2n+1)*(2n+1)运动矢量场窗口四边中点处的四个运动矢量的平均值，其中，n为正整数；
3.2，分别计算(2n+1)*(2n+1)运动矢量场窗口各角点处的运动矢量到正方形中心处的运动矢量的距离，并对得到的距离取平均值；
3.3，根据步骤3.2中的平均值与(2n+1)*(2n+1)运动矢量场窗口各角点处的运动矢量到正方形中心处的运动矢量的距离之间的比值，对(2n+1)*(2n+1)运动矢量场窗口各角点处的运动矢量进行修正；
步骤4，按照步骤3的方法，对步骤2中标记的不准确的后向运动矢量逐一进行处理，完成运动矢量场的平滑。
作为本发明的进一步技术方案，若待处理视频图像经过压缩，则从解码重构出的视频图像中直接提取每个图像块的前向运动矢量和后向运动矢量；或者先进行解码重构，再对解码重构出的视频图像进行规则的块划分，并运用双向块匹配运动估计方法得到每个图像块的前向运动矢量和后向运动矢量。
作为本发明的进一步技术方案，n的取值根据不准确运动矢量的密度确认。
作为本发明的进一步技术方案，步骤3.3中对(2n+1)*(2n+1)运动矢量场窗口各角点处的运动矢量进行修正，(2n+1)*(2n+1)运动矢量场窗口第i个角点修正后的运动矢量
Figure GDA0003005535370000021
其中，vi为修正前的(2n+1)*(2n+1)运动矢量场窗口第i个角点处的运动矢量，Dm为步骤3.2中的平均值，Di为修正前的(2n+1)*(2n+1)运动矢量场窗口第i个角点处的运动矢量到正方形中心处的运动矢量的距离。
作为本发明的进一步技术方案，
Figure GDA0003005535370000022
其中，V为正方形中心处的运动矢量，||·||表示求取距离。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1.在双向运动估计的过程中，可以对之后得到的运动矢量场进行较好的处理，能够纠正偏离较大的运动矢量；
2.基于正方形的自适应运动矢量场平滑方法能够使得到的运动矢量场更加平滑，减小运动补偿阶段的误差。
附图说明
图1是5*5运动矢量场窗口；
图2是本发明的方法流程图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
下面结合附图对本发明的技术方案做进一步的详细说明：
本发明基于正方形的自适应运动矢量场平滑方法，具体如下：
(1)运动矢量获取：输入的数据可以是未经压缩的视频，也可以是经过压缩的视频。一般情况下，对未经压缩的视频图像或者从压缩视频中解码重构出的视频图像进行规则的块划分，然后采用双向块匹配运动估计方法得到每个图像块的前向运动矢量和后向运动矢量。如果从压缩视频中解码得到的运动矢量足够可靠，可以省略运动搜索的步骤，直接保留视频中的前向运动矢量和后向运动矢量。
传统的运动估计一般是前向运动估计或者后向运动估计。单向块匹配运动估计方法虽然具有较高的准确性和灵活性，但由于它是从参考帧平面的角度出发，在对中间待插帧进行块运动补偿插值的过程中，并不能够保证中间帧平面内的每一个像素位置运动补偿值的存在性和唯一性，即会导致空洞和重叠问题。因此，为了避免空洞和重叠问题的产生，在本专利中，我们运用双向块匹配运动估计方法，对待处理图像进行规则图像块划分和双向运动搜索的方法，，得视频中的前向运动矢量和后向运动矢量。
(2)运动矢量准确性判断：根据匹配误差和运动矢量的空间相关性，在运动矢量场中对不准确的前向运动矢量和后向运动矢量进行标记。
(3)修正不准确的前向运动矢量和后向运动矢量：
(3.1)逐一将每个不准确的前向运动矢量作为(2n+1)*(2n+1)运动矢量场窗口的一个角点，修正所有不准确的前向运动矢量：
以(2n+1)*(2n+1)运动矢量场窗口四边中点为正方形角点构成的正方形，其中心点处的运动矢量为(2n+1)*(2n+1)运动矢量场窗口四边中点处的四个运动矢量的平均值，其中，n为正整数；
分别计算(2n+1)*(2n+1)运动矢量场窗口各角点处的运动矢量到正方形中心处的运动矢量的距离，并对得到的距离取平均值；
根据上述的平均值与(2n+1)*(2n+1)运动矢量场窗口各角点处的运动矢量到正方形中心处的运动矢量的距离之间的比值，对(2n+1)*(2n+1)运动矢量场窗口各角点处的运动矢量进行修正；
(3.2)逐一将每个不准确的后向运动矢量作为(2n+1)*(2n+1)运动矢量场窗口的一个角点，根据(3.1)中的步骤修正所有不准确的后向运动矢量
如图2所示，本发明基于正方形的自适应运动矢量场平滑方法的具体步骤如下：
S1:运动矢量获取：输入的数据可以是未经压缩的视频，也可以是经过压缩的视频。一般情况下，对未经压缩的视频图像或者从压缩视频中解码重构出的视频图像进行规则的块划分，然后采用双向块匹配运动估计方法得到每个图像块的前向运动矢量和后向运动矢量。如果从压缩视频中解码得到的运动矢量足够可靠，可以省略运动搜索的步骤，直接保留视频中的前向运动矢量和后向运动矢量。
S2:运动矢量准确性判断：根据匹配误差和运动矢量的空间相关性，在运动矢量场中对不准确的前向运动矢量和后向运动矢量进行标记。
S3:以5*5的运动矢量场窗口为模板，如图1所示。
其中，对于窗口中心处的运动矢量V′，它是由以5*5的运动矢量场窗口四边中心点处V1,V2,V3,V4为正方形角点构成的正方形的中心点处的运动矢量，是V1,V2,V3,V4这4个运动矢量的平均值。
S4:对于5*5的运动矢量场窗口的各角点处的运动矢量，也即图中的v1,v2,v3,v4分别计算这些运动矢量到窗口中心处运动矢量V′的距离，Di＝||vi-V||，平均值
Figure GDA0003005535370000041
S4:对5*5的运动矢量场窗口各角点处的运动矢量v1,v2,v3,v4进行自适应修正，设α为运动矢量纠正参数，对α的定义：
Figure GDA0003005535370000042
修正后的各角点处的运动矢量为：v′i＝αi*vi。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (3)

1.一种基于正方形的自适应运动矢量场平滑方法，其特征在于，具体步骤如下：
步骤1，对待处理视频图像进行规则的块划分，并运用双向块匹配运动估计方法得到每个图像块的前向运动矢量和后向运动矢量；
步骤2，根据匹配误差和运动矢量的空间相关性，在运动矢量场中对不准确的前向运动矢量和后向运动矢量进行标记；
步骤3，对步骤2中标记的不准确的前向运动矢量，分别将其作为(2n+1)*(2n+1)运动矢量场窗口的一个角点，逐一进行以下处理：
3.1，以(2n+1)*(2n+1)运动矢量场窗口四边中点为正方形角点构成的正方形，其中心点处的运动矢量为(2n+1)*(2n+1)运动矢量场窗口四边中点处的四个运动矢量的平均值，其中，n为正整数；
3.2，分别计算(2n+1)*(2n+1)运动矢量场窗口各角点处的运动矢量到正方形中心处的运动矢量的距离，并对得到的距离取平均值；
3.3，根据步骤3.2中的平均值与(2n+1)*(2n+1)运动矢量场窗口各角点处的运动矢量到正方形中心处的运动矢量的距离之间的比值，对(2n+1)*(2n+1)运动矢量场窗口各角点处的运动矢量进行修正：(2n+1)*(2n+1)运动矢量场窗口第i个角点修正后的运动矢量
Figure FDA0003005535360000011
其中，vi为修正前的(2n+1)*(2n+1)运动矢量场窗口第i个角点处的运动矢量，Dm为步骤3.2中的平均值，
Figure FDA0003005535360000012
V为正方形中心处的运动矢量，||·||表示求取距离，Di为修正前的(2n+1)*(2n+1)运动矢量场窗口第i个角点处的运动矢量到正方形中心处的运动矢量的距离；
步骤4，按照步骤3的方法，对步骤2中标记的不准确的后向运动矢量逐一进行处理，完成运动矢量场的平滑。
2.根据如权利要求1所述的一种基于正方形的自适应运动矢量场平滑方法，其特征在于，若待处理视频图像经过压缩，则从解码重构出的视频图像中直接提取每个图像块的前向运动矢量和后向运动矢量；或者先进行解码重构，再对解码重构出的视频图像进行规则的块划分，并运用双向块匹配运动估计方法得到每个图像块的前向运动矢量和后向运动矢量。
3.根据如权利要求1所述的一种基于正方形的自适应运动矢量场平滑方法，其特征在于，n的取值根据不准确运动矢量的密度确认。
CN201811048527.6A 2018-09-10 2018-09-10 一种基于正方形的自适应运动矢量场平滑方法 Active CN109068083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811048527.6A CN109068083B (zh) 2018-09-10 2018-09-10 一种基于正方形的自适应运动矢量场平滑方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811048527.6A CN109068083B (zh) 2018-09-10 2018-09-10 一种基于正方形的自适应运动矢量场平滑方法

Publications (2)

Publication Number Publication Date
CN109068083A CN109068083A (zh) 2018-12-21
CN109068083B true CN109068083B (zh) 2021-06-01

Family

ID=64760907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811048527.6A Active CN109068083B (zh) 2018-09-10 2018-09-10 一种基于正方形的自适应运动矢量场平滑方法

Country Status (1)

Country Link
CN (1) CN109068083B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114697704A (zh) * 2020-12-25 2022-07-01 北京华录新媒信息技术有限公司 一种超高清视频帧率提升方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860748A (zh) * 2010-04-02 2010-10-13 西安电子科技大学 基于分布式视频编码的边信息生成系统及方法
CN104159119A (zh) * 2014-07-07 2014-11-19 大连民族学院 一种视频图像实时共享播放的超分辨率重构方法和系统
CN107613299A (zh) * 2017-09-29 2018-01-19 杭州电子科技大学 一种利用生成网络提高帧速率上转换效果的方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100708091B1 (ko) * 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
JP2015177341A (ja) * 2014-03-14 2015-10-05 株式会社東芝 フレーム補間装置、及びフレーム補間方法
CN105100807B (zh) * 2015-08-28 2018-11-13 山东大学 一种基于运动矢量后处理的帧率提升方法
CN105847804B (zh) * 2016-05-18 2017-12-15 信阳师范学院 一种基于稀疏冗余表示模型的视频帧率上转换方法
CN105939475A (zh) * 2016-06-06 2016-09-14 中国矿业大学 一种高质量边信息生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860748A (zh) * 2010-04-02 2010-10-13 西安电子科技大学 基于分布式视频编码的边信息生成系统及方法
CN104159119A (zh) * 2014-07-07 2014-11-19 大连民族学院 一种视频图像实时共享播放的超分辨率重构方法和系统
CN107613299A (zh) * 2017-09-29 2018-01-19 杭州电子科技大学 一种利用生成网络提高帧速率上转换效果的方法

Also Published As

Publication number Publication date
CN109068083A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
Kang et al. Motion compensated frame rate up-conversion using extended bilateral motion estimation
CN102308584B (zh) 多视点图像编码方法、多视点图像译码方法、多视点图像编码装置以及多视点图像译码装置
US8548228B2 (en) Multi-view image coding method, multi-view image decoding method, multi-view image coding device, multi-view image decoding device, multi-view image coding program, and multi-view image decoding program
US7778328B2 (en) Semantics-based motion estimation for multi-view video coding
US9177386B2 (en) Image processing apparatus, image processing method, and program
US20050265451A1 (en) Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video
US8254439B2 (en) Apparatus and methods for motion vector correction
US20100123792A1 (en) Image processing device, image processing method and program
US20070171981A1 (en) Projection based techniques and apparatus that generate motion vectors used for video stabilization and encoding
US20070009038A1 (en) Motion estimator and motion estimating method thereof
US20120314776A1 (en) Multiview video encoding method, multiview video decoding method, multiview video encoding apparatus, multiview video decoding apparatus, and program
CN102868879B (zh) 一种视频帧速率上转换方法及系统
JP2011010304A (ja) 動きベクトル推定器
CN105578082A (zh) 一种自适应黑电平校正方法
CN101489031A (zh) 基于运动分类的自适应帧速率上转换方法
US20070133686A1 (en) Apparatus and method for frame interpolation based on motion estimation
CN108574844B (zh) 一种时空显著感知的多策略视频帧率提升方法
US6930728B2 (en) Scan conversion apparatus
US20100142620A1 (en) Method of generating side information by correcting motion field error in distributed video coding and dvc decoder using the same
CN109068083B (zh) 一种基于正方形的自适应运动矢量场平滑方法
CN113824961B (zh) 一种可适用于vvc编码标准的帧间图像编码方法与系统
KR101544158B1 (ko) 다중 프레임을 이용한 양방향 움직임 탐색 방법 및 이러한 양방향 움직임 탐색 기능이 탑재된 영상 장치
WO2022111208A1 (zh) 一种视频帧频提升方法、装置、设备及介质
US20120026402A1 (en) Method and system for video noise filtering
Guo et al. Frame rate up-conversion using linear quadratic motion estimation and trilateral filtering motion smoothing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant