CN107124572A - 运动估计运动补偿中局部效果修正的方法及系统 - Google Patents

运动估计运动补偿中局部效果修正的方法及系统 Download PDF

Info

Publication number
CN107124572A
CN107124572A CN201710133844.7A CN201710133844A CN107124572A CN 107124572 A CN107124572 A CN 107124572A CN 201710133844 A CN201710133844 A CN 201710133844A CN 107124572 A CN107124572 A CN 107124572A
Authority
CN
China
Prior art keywords
motion vector
new
interpolation
data
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710133844.7A
Other languages
English (en)
Inventor
姜建德
余横
查林
马琰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xinxin Microelectronics Technology Co Ltd
Original Assignee
HONGYOU IMAGE TECHNOLOGY (SHANGHAI) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HONGYOU IMAGE TECHNOLOGY (SHANGHAI) Co Ltd filed Critical HONGYOU IMAGE TECHNOLOGY (SHANGHAI) Co Ltd
Priority to CN201710133844.7A priority Critical patent/CN107124572A/zh
Publication of CN107124572A publication Critical patent/CN107124572A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

本发明提供了一种运动估计运动补偿中局部效果修正的方法及系统，包括获取运动矢量可信度指标变换系数步骤：用运动矢量的cost经过线性变换或非线性变换得到一个或多个alpha系数；运动矢量混合步骤：用alpha系数把运动估计得到的运动矢量和零矢量进行混合，计算出新的运动矢量；插值位置找寻步骤：根据新的运动矢量找到iw和pw，iw为待插值位置根据新的运动矢量指向的前一帧的数据，pw为后一帧的数据；插值系数和数据计算步骤：计算新的插值系数和最终的插值数据。本发明中的方法可以在运动不够准确时用于改善运动矢量，以及在运动补偿效果不够好时，改善运动补偿出的插值图像效果，避免产生过多的插值错误。

Description

运动估计运动补偿中局部效果修正的方法及系统
技术领域
本发明涉及视频图像处理技术领域，具体地，涉及运动估计运动补偿中局部效果修正的方法及系统。
背景技术
运动估计运动补偿(Motion Estimation and Motion Compensation,MEMC)是目前广泛用于帧率转换中的一种技术，通过估算连续运动图像中物体的运动轨迹，再结合图像数据和得到的运动矢量，插值出中间图像，从而提高视频帧率，改善视频播放时的抖动拖尾等问题。然而由于运动图像的复杂性，运动矢量并不一定总是准确的，如果使用错误的矢量插值出的图像，则会照成不良的影响。
目前的解决方法是如果错误矢量比较少，就忽略插值图像中错误部分带来的观感不适，仍旧用运动估计运动补偿技术插值出新图像提升帧率；如果错误矢量比较多，就用原始帧代替插值出的新图像，通过重复原始帧来提升帧率。在第一种情况下，插值图像的质量比较差，画面会局部破碎等，视频体验效果并不好。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种运动估计运动补偿中局部效果修正的方法及系统。
根据本发明提供的运动估计运动补偿中局部效果修正的方法，包括如下步骤：
获取运动矢量可信度指标变换系数步骤：用运动矢量的cost经过线性变换或非线性变换得到一个或多个alpha系数；
运动矢量混合步骤：用alpha系数把运动估计得到的运动矢量和零矢量进行混合，计算出新的运动矢量；
插值位置找寻步骤：根据运动矢量混合步骤中所得的新的运动矢量找到iw和pw，iw为待插值位置根据新的运动矢量指向的前一帧的数据，pw为新的运动矢量对应的后一帧的数据；
插值系数和数据计算步骤：计算新的插值系数phasenew和最终的插值数据data。
优选地，所述获取运动矢量可信度指标变换系数步骤包括：将运动矢量cost经过线性或者非线性变换得到一个或者多个alpha系数，所述alpha系数分别记为：ahpha0,alpha1,alpha2,...,alphaN，系数的值越小，则对应的运动矢量的可信度越高，其中cost包括：采用SAD，或者MAD、SAD与惩罚因子之和的评价标准获得，其中：alpha0表示正向关系式中的第一个系数，alpha1表示正向关系式中的第二个系数，alphaN表示正向关系式中的第N+1个系数，N为自然数。
优选地，所述运动矢量混合步骤中新的运动矢量的计算公式如下：
MVnew＝MVold×(1-alpha0)+MVzero×alpha0
式中：MVnew表示新的运动矢量，MVold表示原先的运动矢量，MVzero表示零矢量。
优选地，所述插值系数和数据计算步骤的具体计算过程如下：
插值系数为：
如果phase<th0,phasenew＝phase×(1-alpha1)；
如果phase>th1,phasenew＝1-(1-phase)×(1-alpha1).
式中：phase表示待插值帧在前后帧之间的位置，th0,th1表示0-1之间的数；alpha1表示正向关系式中的第二个系数；
最终插值数据为：
data＝(iz×(1-phasenew)+pz×phasenew)×alpha2+(iw×(1-phasenew)+pw×phasenew)×(1-alpha2)
式中：data表示最终插值时的像素值，iz表示零矢量指向的前一帧数据，pz表示零矢量指向的后一帧数据，alpha2表示正向关系式中的第三个系数。
根据本发明提供的运动估计运动补偿中局部效果修正的系统，包括如下模块：
获取运动矢量可信度指标变换系数模块：用运动矢量的cost经过线性变换或非线性变换得到一个或多个系数，其中cost是判断运动矢量可信度的一个指标；
运动矢量混合模块：用alpha系数把运动估计得到的运动矢量和零矢量进行混合，计算出新的运动矢量；
插值位置找寻模块：根据新的运动矢量和待插值位置找到iw和pw，iw指待插值位置根据新的运动矢量指向的前一帧的数据，pw指新的运动矢量对应的后一帧的数据；
插值系数和数据计算模块：用于计算新的插值系数phasenew和最终的插值数据data。
与现有技术相比，本发明具有如下的有益效果：
本发明中提供的运动估计运动补偿中局部效果修正的方法可以在运动不够准确时用于改善运动矢量，以及在运动补偿效果不够好时，改善运动补偿出的插值图像效果，避免产生过多的插值错误。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明提供的方法流程示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的运动估计运动补偿中局部效果修正的方法，包括如下步骤：
步骤1：用运动矢量的cost经过线性变换或非线性变换得到一个或多个系数，其中cost是判断运动矢量可信度的一个指标，所述指标包括：SAD；
步骤2：使用线性正向关系式，得到一系列的alpha系数，分别记为：alpha0,alpha1,...,alphaN，系数越小，则对应的运动矢量越可信；alpha0表示正向关系式中的第一个系数，alpha1表示正向关系式中的第二个系数，alphaN表示正向关系式中的第N+1个系数，N为自然数；
步骤3：用alpha系数把运动估计得到的运动矢量和零矢量进行混合，计算出新的运动矢量；新的运动矢量的计算公式如下：
MVnew＝MVold×(1-alpha0)+MVzero×alpha0
式中：MVnew表示新的运动矢量，MVold表示原先的运动矢量，MVzero表示零矢量；
步骤4：根据MVnew和待插值位置找到iw和pw，iw指待插值位置根据MVnew指向的前一帧的数据，pw指新的运动矢量对应的后一帧的数据；
步骤5：计算新的插值系数phasenew和最终的插值数据data，具体计算过程如下：
插值系数为：
如果phase<th0,phasenew＝phase×(1-alpha1)；
如果phase>th1,phasenew＝1-(1-phase)×(1-alpha1).
式中：phase表示待插值帧在前后帧之间的位置，th0,th1表示0-1之间的数；alpha1表示线性正向关系式中的第二个系数；
最终插值数据为：
data＝(iz×(1-phasenew)+pz×phasenew)×alpha2+(iw×(1-phasenew)+pw×phasenew)×(1-alpha2)
式中：data表示最终插值时的像素值，iz表示零矢量指向的前一帧数据，pz表示零矢量指向的后一帧数据，alpha2表示正向关系式中的第三个系数；cost越小，alpha2越小。
所述步骤1包括：采用SAD(sum of absolute difference)或其他常用的评价标准获得运动估计的运动矢量的cost。
所述步骤2包括：将运动矢量的SAD(或MAD,SAD与惩罚因子之和)经过线性或者非线性变换得到一个或者多个系数，所述系数分别记为：ahpha0,alpha1,alpha2,...,alphaN，系数的值越小，则对应的运动矢量的可信度越高。具体地，N＝3,alpha若是经过正向变换，即cost越小，alpha越小。
根据本发明提供的运动估计运动补偿中局部效果修正的系统，包括如下模块：
获取运动矢量可信度指标变换系数模块：用运动矢量的cost经过线性变换或非线性变换得到一个或多个系数，其中cost是判断运动矢量可信度的一个指标；
所述指标包括：SAD；具体地，将使用线性正向关系式，得到一系列的alpha系数，分别记为：alpha0,alpha1,...,alphaN，系数越小，则对应的运动矢量越可信；alpha0表示正向关系式中的第一个系数，alpha1表示正向关系式中的第二个系数，alphaN表示正向关系式中的第N+1个系数，N为自然数；
运动矢量混合模块：用alpha系数把运动估计得到的运动矢量和零矢量进行混合，计算出新的运动矢量；
新的运动矢量的计算公式如下：
MVnew＝MVold×(1-alpha0)+MVzero×alpha0
式中：MVnew表示新的运动矢量，MVold表示原先的运动矢量，MVzero表示零矢量；
插值位置找寻模块：根据MVnew和待插值位置找到iw和pw，iw指待插值位置根据MVnew指向的前一帧的数据，pw指对应的后一帧的数据；
插值系数和数据计算模块：用于计算新的插值系数phasenew和最终的插值数据data。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (5)

1.一种运动估计运动补偿中局部效果修正的方法，其特征在于，包括如下步骤：
获取运动矢量可信度指标变换系数步骤：用运动矢量的cost经过线性变换或非线性变换得到一个或多个alpha系数；
运动矢量混合步骤：用alpha系数把运动估计得到的运动矢量和零矢量进行混合，计算出新的运动矢量；
插值位置找寻步骤：根据运动矢量混合步骤中所得的新的运动矢量找到iw和pw，iw为待插值位置根据新的运动矢量指向的前一帧的数据，pw为新的运动矢量对应的后一帧的数据；
插值系数和数据计算步骤：计算新的插值系数phasenew和最终的插值数据data。
2.根据权利要求1所述的运动估计运动补偿中局部效果修正的方法，其特征在于，所述获取运动矢量可信度指标变换系数步骤包括：将运动矢量cost经过线性或者非线性变换得到一个或者多个alpha系数，所述alpha系数分别记为：ahpha0,alpha1,alpha2,...,alphaN，系数的值越小，则对应的运动矢量的可信度越高，其中cost包括：采用SAD，或者MAD、SAD与惩罚因子之和的评价标准获得，其中：alpha0表示正向关系式中的第一个系数，alpha1表示正向关系式中的第二个系数，alphaN表示正向关系式中的第N+1个系数，N为自然数。
3.根据权利要求1所述的运动估计运动补偿中局部效果修正的方法，其特征在于，所述运动矢量混合步骤中新的运动矢量的计算公式如下：
MVnew＝MVold×(1-alpha0)+MVzero×alpha0
式中：MVnew表示新的运动矢量，MVold表示原先的运动矢量，MVzero表示零矢量。
4.根据权利要求1所述的运动估计运动补偿中局部效果修正的方法，其特征在于，所述插值系数和数据计算步骤的具体计算过程如下：
插值系数为：
如果phase<th0,phasenew＝phase×(1-alpha1)；
如果phase>th1,phasenew＝1-(1-phase)×(1-alpha1).
式中：phase表示待插值帧在前后帧之间的位置，th0,th1表示0-1之间的数；alpha1表示正向关系式中的第二个系数；
最终插值数据为：
data＝(iz×(1-phasenew)+pz×phasenew)×alpha2+(iw×(1-phasenew)+pw×phasenew)×(1-alpha2)
式中：data表示最终插值时的像素值，iz表示零矢量指向的前一帧数据，pz表示零矢量指向的后一帧数据，alpha2表示正向关系式中的第三个系数。
5.一种运动估计运动补偿中局部效果修正的系统，其特征在于，包括如下模块：
获取运动矢量可信度指标变换系数模块：用运动矢量的cost经过线性变换或非线性变换得到一个或多个系数，其中cost是判断运动矢量可信度的一个指标；
运动矢量混合模块：用alpha系数把运动估计得到的运动矢量和零矢量进行混合，计算出新的运动矢量；
插值位置找寻模块：根据新的运动矢量和待插值位置找到iw和pw，iw指待插值位置根据新的运动矢量指向的前一帧的数据，pw指新的运动矢量对应的后一帧的数据；
插值系数和数据计算模块：用于计算新的插值系数phasenew和最终的插值数据data。
CN201710133844.7A 2017-03-08 2017-03-08 运动估计运动补偿中局部效果修正的方法及系统 Pending CN107124572A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710133844.7A CN107124572A (zh) 2017-03-08 2017-03-08 运动估计运动补偿中局部效果修正的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710133844.7A CN107124572A (zh) 2017-03-08 2017-03-08 运动估计运动补偿中局部效果修正的方法及系统

Publications (1)

Publication Number Publication Date
CN107124572A true CN107124572A (zh) 2017-09-01

Family

ID=59717410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710133844.7A Pending CN107124572A (zh) 2017-03-08 2017-03-08 运动估计运动补偿中局部效果修正的方法及系统

Country Status (1)

Country Link
CN (1) CN107124572A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109727524A (zh) * 2018-11-30 2019-05-07 武汉烽火众智智慧之星科技有限公司 一种电子地图中播放历史轨迹的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447870A (zh) * 2010-09-30 2012-05-09 宝利微电子系统控股公司 静止物体检测方法和运动补偿装置
US20150195573A1 (en) * 2014-01-07 2015-07-09 Nokia Corporation Apparatus, a method and a computer program for video coding and decoding
CN104796721A (zh) * 2015-04-24 2015-07-22 宏祐图像科技(上海)有限公司 应用memc技术对图像光线变化场景进行运动估计的方法
CN104811723A (zh) * 2015-04-24 2015-07-29 宏祐图像科技(上海)有限公司 Memc技术中局部运动矢量修正方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447870A (zh) * 2010-09-30 2012-05-09 宝利微电子系统控股公司 静止物体检测方法和运动补偿装置
US20150195573A1 (en) * 2014-01-07 2015-07-09 Nokia Corporation Apparatus, a method and a computer program for video coding and decoding
CN104796721A (zh) * 2015-04-24 2015-07-22 宏祐图像科技(上海)有限公司 应用memc技术对图像光线变化场景进行运动估计的方法
CN104811723A (zh) * 2015-04-24 2015-07-29 宏祐图像科技(上海)有限公司 Memc技术中局部运动矢量修正方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109727524A (zh) * 2018-11-30 2019-05-07 武汉烽火众智智慧之星科技有限公司 一种电子地图中播放历史轨迹的方法及装置

Similar Documents

Publication Publication Date Title
CN103942758B (zh) 基于多尺度融合的暗通道先验图像去雾方法
CN105100807B (zh) 一种基于运动矢量后处理的帧率提升方法
US20180176574A1 (en) Method and system for video frame interpolation based on optical flow method
US8773595B2 (en) Image processing
US8254439B2 (en) Apparatus and methods for motion vector correction
CN110634147B (zh) 基于双边引导上采样的图像抠图方法
EP1855474A1 (en) Method for generating an interpolated image between two images of an input image sequence
CN102722875B (zh) 一种基于视觉注意和质量可变的图像超分辨率重建方法
Xue et al. Joint luminance and chrominance learning for underwater image enhancement
EP2629531A1 (en) Method for converting 2d into 3d based on image motion information
Tan et al. Multipoint filtering with local polynomial approximation and range guidance
WO2023160426A1 (zh) 视频插帧方法、训练方法、装置和电子设备
CN108681753B (zh) 一种基于语义分割及神经网络的图像立体匹配方法及系统
Kang et al. Error compensation framework for flow-guided video inpainting
Luo et al. A virtual-real occlusion method based on gpu acceleration for mr
CN107124572A (zh) 运动估计运动补偿中局部效果修正的方法及系统
Qiao et al. A novel segmentation based depth map up-sampling
Liu et al. Underwater optical image enhancement based on super-resolution convolutional neural network and perceptual fusion
CN105915881A (zh) 一种基于显著性检测的立体视频帧率提升方法
CN103903239B (zh) 一种视频超分辨率重建方法及其系统
CN101345887B (zh) 改良的rgb影像缩放方法
CN110211065B (zh) 一种食材图像的颜色校正方法和装置
CN103440637B (zh) 用于图像序列增强的方法和装置
Stefanoski et al. Depth estimation and depth enhancement by diffusion of depth features
CN114240785A (zh) 一种光线追踪渲染连续帧的去噪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190712

Address after: 266000 Shandong Province, Qingdao city Laoshan District Songling Road No. 399

Applicant after: Qingdao Xinxin Microelectronics Technology Co., Ltd.

Address before: Room 316, Building 88 Chenhui Road, China (Shanghai) Free Trade Pilot Area, Pudong New Area, Shanghai, 201203

Applicant before: HONGYOU IMAGE TECHNOLOGY (SHANGHAI) CO., LTD.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20170901

RJ01 Rejection of invention patent application after publication