CN102170567A - 一种基于预测运动矢量搜索的自适应运动估计算法 - Google Patents

一种基于预测运动矢量搜索的自适应运动估计算法 Download PDF

Info

Publication number
CN102170567A
CN102170567A CN 201010206831 CN201010206831A CN102170567A CN 102170567 A CN102170567 A CN 102170567A CN 201010206831 CN201010206831 CN 201010206831 CN 201010206831 A CN201010206831 A CN 201010206831A CN 102170567 A CN102170567 A CN 102170567A
Authority
CN
China
Prior art keywords
search
motion
algorithm
current block
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 201010206831
Other languages
English (en)
Inventor
杨平中
李兴仁
林锦麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI INFOTM MICROELECTRONICS CO Ltd
Original Assignee
SHANGHAI INFOTM MICROELECTRONICS CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI INFOTM MICROELECTRONICS CO Ltd filed Critical SHANGHAI INFOTM MICROELECTRONICS CO Ltd
Priority to CN 201010206831 priority Critical patent/CN102170567A/zh
Publication of CN102170567A publication Critical patent/CN102170567A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于预测运动矢量搜索的自适应运动估计算法,首先对当前块进行判断,是静止块还是运动块,如是静止块则立即停止搜索,如是运动块则对其运动复杂度进行分析并判断其属于何种运动类型,然后根据不同的运动类型采用菱形或菱形-六边形搜索模板,并对运动较大的块采用预测运动矢量作为搜索的起始点来加快搜索速度。搜索停止准则使用一个自适应的阈值来提高搜索的精度,并对运动估计的结果进行矢量校正以确保运动估计的准确度。

Description

一种基于预测运动矢量搜索的自适应运动估计算法
技术领域:
本发明涉及一种视频帧频转换器,更具体的是,涉及一种视频帧频转换器在插值新的图像帧时所用的运动估计算法。
背景技术:
视频信号源的时域分辨率(即帧频)由于拍摄器材的不同往往各不相同(具有不同的速度),比如电影具有24帧/秒的帧频,而显示设备如LCD显示器则需要更高的播放速度才不会出现画面迟滞现象,因此在进行LCD显示前进行帧频转换成为视频输出前的重要处理技术。
帧频转换类似于图像分辨率的缩放,图像缩放是一种空间域的重新采样,而帧速转换则是对视频时间域的重新采样。对于帧频降低,若降低整数倍则可以直接进行采样得到,否则需要舍弃原视频帧,利用原视频帧进行插值重建新的图像帧,才能减轻视频播放时的闪烁感。对于帧频提升,可以直接复制前一帧作为插值后的新图像帧,以24帧/秒转到30帧/秒为例,有3-2、2-2-2-4重复等手段,若转换频率变化较小,如24帧/秒到25帧/秒,则可以直接对帧频提速而不需要插入新的图像帧。这些通过帧复制使帧速提升的方法虽然简单但也存在问题,对于帧间有物体运动的情况,使用这种简单的帧复制则会出现闪烁现象,尤其是对于高清晰度的视频,这种闪烁现象会更明显。为了解决这个问题,可以通过帧间插值的方法得到新的图像帧而非复制帧。常规的线性插值方法可在一定程度上避免帧复制引起的闪烁,但对于具有复杂运动的物体则会出现方块效应,因此需要对帧间运动进行运动估计,在插值时利用运动矢量进行运动补偿以获得较好的插帧结果。
帧频转换时的运动估计并不等同于编解码时的运动估计,后者以获得最小残差,得到最少的码字为目的,而帧频转换补偿插值则要求得到的运动矢量精确度更高,从而减少错误运动估计造成的方块效应。全搜索的运动估计方法精确度最高但计算量最大,一些如三步搜索法、四步搜索法、菱形搜索法等搜索算法在不同程度上降低了搜索的计算量,考虑到相邻块之间的运动一致性,可以采用相邻块的运动矢量作为当前块的搜索初始值,进一步加快搜索的速度。
发明内容:
本发明的目的在于提供一种视频帧速转换时插值新的图像帧所使用的运动估计算法。更具体的说,该方法是在视频帧速转换插值新的图像帧时,对视频图像的运动复杂度进行分析,针对不同的运动类型使用不同的运动搜索算法,并设置自适应的搜索停止准则,最后对运动矢量进行矢量校正。
下面详细介绍本发明的具体技术方案:
一种视频帧速转换时插值新的图像帧所使用的运动估计算法。
该方法包括:
运动估计算法对当前块和下一帧对应块进行绝对误差和计算,与自适应停止搜索阈值进行比较;
运动估计算法对当前块进行运动复杂度计算,不同的运动类型赋予不同的搜索算法;
运动估计算法对小运动类型进行菱形搜索,对中运动类型进行菱形-六边形搜索,对大运动类型进行预测运动矢量的菱形-六边形搜索;
运动估计算法搜索停止准则采用自适应的阈值,阈值跟当前块有空间关系的相邻块和及其停止搜索阈值有关;
运动估计算法对运动估计矢量进行矢量校正,对估计错误的运动矢量校正。
其特征在于:
本发明所述方法在进行运动估计时首先对当前块与对应块的绝对误差和进行计算,以判断当前块属于运动块还是静止块,对静止块立即停止搜索,减少计算量。
本发明所述方法在进行运动估计时,对当前块的运动复杂度进行计算,对不同复杂度的运动类型运用不同的搜索算法和搜索模板,满足预测精度要求的同时降低计算量。
本发明所述方法在进行运动估计时,对属于小运动类型的当前块采用菱形搜索算法,快速找到运动矢量;对中运动类型的当前块采用菱形-六边形搜索算法,具有搜索方向性的特点;对大运动类型的当前块采用基于预测运动矢量搜索的菱形-六边形搜索算法,预测运动矢量有加速大运动块的搜索速度的特点,菱形-六边形的搜索算法具有搜索方向性的特点。
本发明所述方法在进行运动估计时,采用自适应搜索停止准则,根据具有空间相关性的相邻块及其搜索停止阈值,来确定停止的绝对误差和阈值,保证了运动估计的精度。
本发明所述方法在进行运动估计时,对运动矢量进行矢量校正,避免有可能出现的错误运动估计,保证了运动估计的正确性。
附图说明:
以下结合附图和具体实施方式来进一步说明本发明。
图1为本发明所述算法的步骤流程图。
图2为当前块与相邻块运动矢量位置关系图。
图3为搜索模型图。
具体实施方式:
下面将结合附图进一步阐述本发明。
如图1所示为整个运动估计算法的步骤流程图,首先计算当前块与对应块的绝对误差和,并将这个绝对误差和与一个自适应的停止搜索阈值Ts_adaptive进行比较,若小于Ts_adaptive则为静止块,立即停止搜索,运动矢量为(0,0)。否则进行运动复杂度T的计算,T与具有空间相关性的相邻块有关,与当前块位置关系如图2所示的上方块运动矢量MV1、右上方块运动矢量MV2、左方块运动矢量MV3,运动矢量的距离定义为城市街区距离,计算公式为:
d=|xi|+|yi|
公式一
定义两个阈值T1、T2,取值分别为2和4,对MV1、MV2、MV3进行城市街区距离计算,取其最大值定义为T,若T≤T1,则为小运动类型,若T1<T<T2则为中运动类型,若T2≤T则为大运动类型。
如图3所示为搜索模板,(a)为菱形搜索模板,(b)为水平方向搜索菱形-六边形模板,(c)为垂直方向菱形-六边形模板。对小运动类型搜索起点为(0,0),采用菱形搜索模板;对中运动类型搜索起点为(0,0),采用菱形-六边形搜索模板;对于大运动类型则进行起始点的运动矢量预测,采用菱形-六边形搜索模板,预测运动矢量MVp与当前块具有空间相关性的相关块有关,由MV1、MV2、MV3中值确定,公式如下:
MVp=median{MV1,MV2,MV3}
公式二
搜索的停止准则定义一个自适应的停止阈值Ts_adaptive,Ts_adaptive与与当前块具有空间相关性的相关块有关,定义为:
Ts_adaptive=min(min(SAD1,SAD2,SAD3),2WH)
公式三
其中SAD1、SAD2、SAD3分别对计算MV1、MV2、MV3时的停止阈值,WH为搜索块大小的长宽积。
对于有可能出现的错误估计运动矢量,进行矢量校正。矢量校正采用的是一个矢量中值滤波器,对有可能错误的运动估计,运动矢量用相邻块的运动矢量中值来替换。
至此完成了整个运动估计的流程。
上述计算和操作过程是本发明所述方法的一种典型的实施方式,对于本领域的技术人员,在上述实施例的基础上可以做多种搜索算法的变化,同样能够实现本发明的目的。但是,这种变化显然应该在本发明的权利要求书的保护范围内。

Claims (6)

1.一种基于预测运动矢量搜索的自适应运动估计算法,其特征在于包括以下步骤:
第一步骤:对当前块和下一帧对应块进行绝对误差和计算,与自适应停止搜索阈值进行比较;
第二步骤:对当前块进行运动复杂度计算,不同的运动类型赋予不同的搜索算法;
第三步骤:对小运动类型进行菱形搜索,对中运动类型进行菱形-六边形搜索,对大运动类型进行预测运动矢量的菱形-六边形搜索;
第四步骤:搜索停止准则采用自适应的阈值,阈值跟当前块有空间关系的相邻块和及其停止搜索阈值有关;
第五步骤:对运动估计矢量进行矢量校正,对估计错误的运动矢量校正。
2.根据权利要求1所述一种基于预测运动矢量搜索的自适应运动估计算法,其特征在于:
第一步骤中对当前块与对应块的绝对误差和进行计算,以判断当前块属于运动块还是静止块,对静止块立即停止搜索,减少计算量。
3.根据权利要求1所述一种基于预测运动矢量搜索的自适应运动估计算法,其特征在于:
第二步骤中对当前块的运动复杂度进行计算,对不同复杂度的运动类型运用不同的搜索算法和搜索模板,满足预测精度要求的同时降低计算量。
4.根据权利要求1所述一种基于预测运动矢量搜索的自适应运动估计算法,其特征在于:
第三步骤中对属于小运动类型的当前块采用菱形搜索算法,快速找到运动矢量;对中运动类型的当前块采用菱形-六边形搜索算法,具有搜索方向性的特点;对大运动类型的当前块采用基于预测运动矢量搜索的菱形-六边形搜索算法,预测运动矢量有加速大运动块的搜索速度的特点,菱形-六边形的搜索算法具有搜索方向性的特点。
5.根据权利要求1所述一种基于预测运动矢量搜索的自适应运动估计算法,其特征在于:
第四步骤中自适应搜索停止准则,根据具有空间相关性的相邻块及其搜索停止阈值,来确定停止的绝对误差和阈值,保证了运动估计的精度。
6.根据权利要求1所述一种视频帧速转换时插值新的图像帧所使用的运动估计算法,其特征在于:
第五步骤中对运动矢量进行矢量校正,避免有可能出现的错误运动估计,保证了运动估计的正确性。
CN 201010206831 2010-06-22 2010-06-22 一种基于预测运动矢量搜索的自适应运动估计算法 Pending CN102170567A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010206831 CN102170567A (zh) 2010-06-22 2010-06-22 一种基于预测运动矢量搜索的自适应运动估计算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010206831 CN102170567A (zh) 2010-06-22 2010-06-22 一种基于预测运动矢量搜索的自适应运动估计算法

Publications (1)

Publication Number Publication Date
CN102170567A true CN102170567A (zh) 2011-08-31

Family

ID=44491521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010206831 Pending CN102170567A (zh) 2010-06-22 2010-06-22 一种基于预测运动矢量搜索的自适应运动估计算法

Country Status (1)

Country Link
CN (1) CN102170567A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469381A (zh) * 2014-12-30 2015-03-25 合肥工业大学 一种h.264运动估计搜索窗口自适应调整算法的vlsi实现系统
CN104704832A (zh) * 2012-09-28 2015-06-10 三星电子株式会社 用于预测运动矢量和视差矢量的图像处理方法和设备
CN104995917A (zh) * 2015-05-07 2015-10-21 北京大学深圳研究生院 一种自适应运动估计方法和模块
CN106659450A (zh) * 2014-09-09 2017-05-10 通用电气公司 用于x射线医学成像中的暴露控制的多帧获取
CN107645663A (zh) * 2016-07-20 2018-01-30 阿里巴巴集团控股有限公司 一种运动估计搜索范围的确定方法以及装置
CN109348234A (zh) * 2018-11-12 2019-02-15 北京佳讯飞鸿电气股份有限公司 一种高效亚像素运动估计方法及系统
WO2019169997A1 (zh) * 2018-03-07 2019-09-12 腾讯科技(深圳)有限公司 视频运动估计方法、装置、终端及存储介质

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104704832A (zh) * 2012-09-28 2015-06-10 三星电子株式会社 用于预测运动矢量和视差矢量的图像处理方法和设备
CN104704832B (zh) * 2012-09-28 2018-07-20 三星电子株式会社 用于预测运动矢量和视差矢量的图像处理方法和设备
CN106659450A (zh) * 2014-09-09 2017-05-10 通用电气公司 用于x射线医学成像中的暴露控制的多帧获取
CN104469381B (zh) * 2014-12-30 2017-06-30 合肥工业大学 一种h.264运动估计搜索窗口自适应调整算法的vlsi实现系统
CN104469381A (zh) * 2014-12-30 2015-03-25 合肥工业大学 一种h.264运动估计搜索窗口自适应调整算法的vlsi实现系统
CN104995917B (zh) * 2015-05-07 2019-03-15 北京大学深圳研究生院 一种自适应运动估计方法和模块
WO2016176849A1 (zh) * 2015-05-07 2016-11-10 北京大学深圳研究生院 一种自适应运动估计方法和模块
CN104995917A (zh) * 2015-05-07 2015-10-21 北京大学深圳研究生院 一种自适应运动估计方法和模块
CN107645663A (zh) * 2016-07-20 2018-01-30 阿里巴巴集团控股有限公司 一种运动估计搜索范围的确定方法以及装置
CN107645663B (zh) * 2016-07-20 2021-01-08 阿里巴巴集团控股有限公司 一种运动估计搜索范围的确定方法以及装置
WO2019169997A1 (zh) * 2018-03-07 2019-09-12 腾讯科技(深圳)有限公司 视频运动估计方法、装置、终端及存储介质
US11375227B2 (en) 2018-03-07 2022-06-28 Tencent Technology (Shenzhen) Company Limited Video motion estimation method and apparatus, and storage medium
CN109348234A (zh) * 2018-11-12 2019-02-15 北京佳讯飞鸿电气股份有限公司 一种高效亚像素运动估计方法及系统
CN109348234B (zh) * 2018-11-12 2021-11-19 北京佳讯飞鸿电气股份有限公司 一种高效亚像素运动估计方法及系统

Similar Documents

Publication Publication Date Title
CN102170567A (zh) 一种基于预测运动矢量搜索的自适应运动估计算法
RU2009147448A (ru) Способ кодирования и декодирования масштабируемого видео, устройства для их осуществления, программы для их осуществления и машиночитаемые носители, которые хранят эти программы
CN105100807A (zh) 一种基于运动矢量后处理的帧率提升方法
JP4869049B2 (ja) 補間フレーム画像作成方法および補間フレーム画像作成装置
CN103402098B (zh) 一种基于图像插值的视频插帧方法
JP2004297719A (ja) フレーム補間方法及びこれを用いた画像表示システム
TWI452909B (zh) 移動向量校正電路、影像產生裝置及相關方法
BR122020015442B1 (pt) Método realizado por um aparelho de codificação de vídeo
CN103220488A (zh) 一种视频帧率上转换装置及方法
CN102868879B (zh) 一种视频帧速率上转换方法及系统
TWI408620B (zh) 用以決定插補畫面之移動向量的影像處理方法及其相關裝置
CN102123283B (zh) 视频帧率转换中的插值帧获取方法及其装置
US20120093231A1 (en) Image processing apparatus and image processing method
CN104219533A (zh) 一种双向运动估计方法和视频帧率上转换方法及系统
CN105578082A (zh) 一种自适应黑电平校正方法
KR100734314B1 (ko) 움직임 보상 기반의 영상 압축 시스템에서의 영상 신호의공간 해상도 변환 방법
US20230042575A1 (en) Methods and systems for estimating motion in multimedia pictures
CN102685438A (zh) 一种基于时域演变的视频帧率上转换方法
CN103152566B (zh) 一种视频帧率提升方法
CN104581180A (zh) 一种视频编码方法及装置
CN103313059B (zh) 一种帧率提升中闭塞区域的判定方法
US20120274845A1 (en) Image processing device and method, and program
JP2011510560A (ja) フリッカー測定方法
CN103096083B (zh) 一种运动图像补偿方法及装置
JP4670085B2 (ja) 直接符号化モードでの参照画像ブロックの確定方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent for invention or patent application
CB02 Change of applicant information

Address after: 201203, 11, Lane 572, Lane 115, blue wave road, Zhangjiang hi tech park, Shanghai

Applicant after: Shanghai InfoTM Microelectronics Co., Ltd.

Address before: 201203, 11, Lane 572, Lane 115, blue wave road, Zhangjiang hi tech park, Shanghai

Applicant before: Shanghai InfoTM Microelectronics Co., Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: SHANGHAI INFOT MICROELECTRONICS CO., LTD. TO: SHANGHAI INFOTM MICROELECTRONICS CO., LTD.

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110831