CN104811726A - 帧率转换中运动估计的候选运动矢量选择方法 - Google Patents
帧率转换中运动估计的候选运动矢量选择方法 Download PDFInfo
- Publication number
- CN104811726A CN104811726A CN201510203616.3A CN201510203616A CN104811726A CN 104811726 A CN104811726 A CN 104811726A CN 201510203616 A CN201510203616 A CN 201510203616A CN 104811726 A CN104811726 A CN 104811726A
- Authority
- CN
- China
- Prior art keywords
- motion vector
- block
- candidate motion
- vector
- estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
Abstract
本发明提供一种帧率转换中运动估计的候选运动矢量选择方法，包括步骤如下：1)获取当前block所在某个指定区域中所有block的运动矢量；2)比较这些运动矢量，选取出大小或方向不同，即具有差异性的运动矢量，将这些具有差异性的运动矢量作为当前block的候选运动矢量；3)从这些候选运动矢量中根据指定的比较指标选择出最优运动矢量作为当前block的运动矢量。本发明方法能够将尽可能多的MV加入到候选运动矢量中，为当前block提供更多的候选运动矢量可能性，便于运动估计的收敛。
Description
技术领域
本发明涉及图像处理技术，更具体的，涉及一种帧率转换中运动估计的候选运动矢量选择方法。
背景技术
帧率转换(Frame Rate Conversion,FRC)用于实现视频源不同帧速率之间的变换，可以有效解决和改善视频内容播放时的抖动和高清电视观看时的液晶拖尾现象。基于运动估计运动补偿的帧率转换算法是目前帧率转换技术的主流实现方式，运动估计(Motion Estimation，ME)是该技术的关键之一，通过计算两帧之间物体的运动矢量为补偿插值提供运动信息，三维递归搜索法是目前硬件实现中通用的运动估计实现方法。
已有技术实现是，通过指定若干块(block)，将他们的运动估计矢量(MotionVector，MV)作为当前需要计算block的候选运动矢量，比较他们的块匹配程度，选出最优运动矢量作为当前block的MV,完成该block的运动估计。但是这种算法得到的候选运动矢量，由于指定block的局限性，通常有很多是重复的，与当前块运动一致的MV未必能进入候选运动矢量中，影响运动估计效果。
发明内容
本发明针对上述现有技术中存在的技术问题，提供一种帧率转换中运动估计的候选运动矢量选择方法，可以将尽可能多的MV加入到候选运动矢量中，为当前block提供更多的可能性，便于运动估计的收敛。
为达到上述目的，本发明所采用的技术方案如下：
一种帧率转换中运动估计的候选运动矢量选择方法，包括步骤如下：
1)获取当前块所在某个指定区域中所有块的运动矢量；
2)比较这些运动矢量，选取出大小或方向不同，即具有差异性的运动矢量，将这些具有差异性的运动矢量作为当前块的候选运动矢量；
3)从这些候选运动矢量中根据设定的比较指标选择出最优运动矢量作为当前块的运动矢量。
所述步骤1)的具体方法是：
将图像按块进行分割，采用三维递归搜索法计算每个块的运动矢量，认为物体运动在时间和空间上存在连续性，故每个块的运动矢量能利用时空相关矢量传递更新；指定包含当前块的一个含有N×M个块的区域，获取该N×M个块已有的运动矢量。
该N×M个块已有的运动矢量中有些是当前第N帧的计算结果，为时间相关矢量，有些是上一次第N-1帧的计算结果，为空间相关矢量。
所述步骤2)的具体方法是：
对N×M个块的运动矢量进行筛选，去除多余重复的矢量，选择出大小或方向有差异的运动矢量，作为计算块的时空候选运动矢量；同时，在N×M个块中挑选若干个运动矢量加上随机矢量作为更新矢量加快运动收敛，将时空候选运动矢量、更新矢量、零矢量一起作为当前计算块的候选运动矢量。
所述步骤3)的具体方法是：每个候选运动矢量都对应一个原始块和匹配块，用同一设定的比较指标计算所有候选运动矢量对应两个块的相似程度，每个运动矢量便得到一个误差指标，用来表示该矢量的匹配块相似程度；比较候选运动矢量的误差指标，根据该指标选择匹配块相似程度最高的运动矢量，其被选为最优运动矢量。
所述比较指标是指任何能够用来衡量块的相似性的准则。
所述比较指标包括绝对差值之和准则(SAD)、均方误差准则或者根据位置、候选运动矢量类型，给误差准则计算结果加上一个惩罚系数，得到的判断依据指标。
所述绝对差值之和准则，即SAD的计算方式如下：
SAD＝∑(|pa(i)-pb(i)|)
Pa(i)和Pb(i)指进行比较的块a和块b中的第i个像素点。
本发明采用上述技术方案，所带来的有益效果如下：
传统三维递归搜索法中，当前块的运动会参考其周围块的运动，一般用指定位置块的运动矢量作为其时空域上的候选运动矢量；然而被挑选的块，因为位置是固定的，它们的运动矢量在很多时候可能都是一样的，并不能完整地反映当前块周围的运动，因此当前块的候选运动矢量很可能是一些重复的矢量，而其真正的矢量却没有被选为候选矢量，因此运动收敛速度不够快。本发明技术方案引入一种新的候选运动矢量选择的机制，通过筛选比较当前块周围块的运动矢量，可以把大小方向不同的运动矢量都列入候选运动矢量，避免大量候选矢量的重复而有效运动矢量却被遗漏这一问题，可以有效加快运动估计的收敛。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明所提供的方法的流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明所提供的帧率转换中运动估计的候选运动矢量选择方法，包括步骤如下：
1)获取当前block所在某个指定区域中所有block的运动矢量；
2)比较这些运动矢量，选取出大小或方向不同，即具有差异性的运动矢量，将这些具有差异性的运动矢量作为当前block的候选运动矢量；
3)从这些候选运动矢量中根据设定的比较指标选择出最优运动矢量作为当前block的运动矢量。
本发明所提供的方法流程如图1所示，具体内容如下：
1)将图像按块进行分割，指定包含当前块的一个含有N×M个块的区域，获取这N×M个块已有的运动矢量(这些矢量有些是当前第N帧的计算结果——时间相关矢量，有些是上一次第N-1帧的计算结果——空间相关矢量)；
2)对步骤1)中的N×M个运动矢量进行筛选，这些矢量中可能有些是一样的，去除多余重复的矢量，选择出大小或方向有差异的运动矢量，作为计算块的时空候选运动矢量；在这些块中挑选(可根据算法经验进行挑选)若干个矢量加上随机矢量(随机数构成，硬件实现中可用查表完成)作为更新矢量加快运动收敛；最终，时空候选运动矢量，更新矢量，零矢量等一起作为当前计算块的候选运动矢量；
3)每个候选运动矢量都对应一个原始块和匹配块，用同一准则计算所有候选运动矢量对应块的相似程度，每个运动矢量便得到一个指标，用来表示该矢量的匹配块相似程度；
4)上述准则可以是，先利用绝对差和计算两个块像素值的匹配程度，公式为：
SAD＝∑(|pa(i)-pb(i)|)
其中Pa(i)和Pb(i)指进行比较的块a和块b中的像素点；再根据运动矢量的类型(时间候选矢量、空间候选矢量、更新矢量、零矢量等)以及其他因素在SAD值上增加一个惩罚因子，得到最终的评价依据；
5)比较候选运动矢量的误差指标，根据该指标选择匹配块相似程度最高的运动矢量作为其最终的运动矢量。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (8)
1.一种帧率转换中运动估计的候选运动矢量选择方法，其特征在于，包括步骤如下：
1)获取当前块所在某个指定区域中所有块的运动矢量；
2)比较这些运动矢量，选取出大小或方向不同，即具有差异性的运动矢量，将这些具有差异性的运动矢量作为当前块的候选运动矢量；
3)从这些候选运动矢量中根据设定的比较指标选择出最优运动矢量作为当前块的运动矢量。
2.根据权利要求1所述的帧率转换中运动估计的候选运动矢量选择方法，其特征在于，所述步骤1)的具体方法是：
将图像按块进行分割，采用三维递归搜索法计算每个块的运动矢量，认为物体运动在时间和空间上存在连续性，故每个块的运动矢量能利用时空相关矢量传递更新；指定包含当前块的一个含有N×M个块的区域，获取该N×M个块已有的运动矢量，M,N为大于2的整数。
3.根据权利要求2所述的帧率转换中运动估计的候选运动矢量选择方法，其特征在于，该N×M个块已有的运动矢量中有些是当前第N帧的计算结果，为空间相关矢量，有些是上一次第N-1帧的计算结果，为时间相关矢量。
4.根据权利要求2所述的帧率转换中运动估计的候选运动矢量选择方法，其特征在于，所述步骤2)的具体方法是：
对N×M个块的运动矢量进行筛选，去除多余重复的矢量，选择出大小或方向有差异的运动矢量，作为计算块的时空候选运动矢量；同时，在N×M个块中挑选若干个运动矢量加上随机矢量作为更新矢量加快运动收敛，将时空候选运动矢量、更新矢量、零矢量一起作为当前计算块的候选运动矢量。
5.根据权利要求4所述的帧率转换中运动估计的候选运动矢量选择方法，其特征在于，所述步骤3)的具体方法是：每个候选运动矢量都对应一个原始块和匹配块，用同一设定的比较指标计算所有候选运动矢量对应两个块的相似程度，每个运动矢量便得到一个误差指标，用来表示该矢量的匹配块相似程度；比较候选运动矢量的误差指标，根据该指标选择匹配块相似程度最高的运动矢量，其被选为最优运动矢量。
6.根据权利要求5所述的帧率转换中运动估计的候选运动矢量选择方法，其特征在于，所述比较指标是指任何能够用来衡量块的相似性的准则。
7.根据权利要求6所述的帧率转换中运动估计的候选运动矢量选择方法，其特征在于，所述比较指标包括绝对差值之和准则、均方误差准则或者根据位置、候选运动矢量类型，给绝对差值之和准则或均方误差准则的计算结果加上一个惩罚系数，得到的判断依据指标。
8.根据权利要求7所述的帧率转换中运动估计的候选运动矢量选择方法，其特征在于，所述绝对差值之和准则，即SAD的计算方式如下：
SAD＝Σ(|pa(i)-pb(i)|)
Pa(i)和Pb(i)指进行比较的块a和块b中的第i个像素点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510203616.3A CN104811726B (zh) | 2015-04-24 | 2015-04-24 | 帧率转换中运动估计的候选运动矢量选择方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510203616.3A CN104811726B (zh) | 2015-04-24 | 2015-04-24 | 帧率转换中运动估计的候选运动矢量选择方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104811726A true CN104811726A (zh) | 2015-07-29 |
| CN104811726B CN104811726B (zh) | 2018-12-18 |
Family
ID=53696153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510203616.3A Active CN104811726B (zh) | 2015-04-24 | 2015-04-24 | 帧率转换中运动估计的候选运动矢量选择方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104811726B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105681806A (zh) * | 2016-03-09 | 2016-06-15 | 宏祐图像科技(上海)有限公司 | ME中基于logo检测结果控制零矢量SAD的方法及系统 |
| CN106534858A (zh) * | 2015-09-10 | 2017-03-22 | 展讯通信（上海）有限公司 | 真实运动估计方法及装置 |
| CN106993108A (zh) * | 2017-04-07 | 2017-07-28 | 上海顺久电子科技有限公司 | 一种确定视频图像在运动估计中的随机量的方法和装置 |
| CN107124611A (zh) * | 2017-04-07 | 2017-09-01 | 上海顺久电子科技有限公司 | 一种视频帧率的转换方法和装置 |
| WO2020244425A1 (zh) * | 2019-06-05 | 2020-12-10 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
| CN113949869A (zh) * | 2020-07-16 | 2022-01-18 | 晶晨半导体(上海)股份有限公司 | 估计像素块运动矢量的方法和视频处理装置及设备和介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050008240A1 (en) * | 2003-05-02 | 2005-01-13 | Ashish Banerji | Stitching of video for continuous presence multipoint video conferencing |
| CN1582579A (zh) * | 2001-04-20 | 2005-02-16 | 皇家菲利浦电子有限公司 | 用于运动矢量估算的方法和设备 |
| WO2005098752A1 (ja) * | 2004-04-09 | 2005-10-20 | Sony Corporation | 画像処理装置および方法、記録媒体、並びにプログラム |
| CN1992789A (zh) * | 2005-12-28 | 2007-07-04 | 三星电子株式会社 | 运动估计器和运动估计方法 |
| CN101061722A (zh) * | 2004-10-14 | 2007-10-24 | 英特尔公司 | 采用自适应搜索策略的快速多帧运动估计 |
| CN102273206A (zh) * | 2008-10-31 | 2011-12-07 | Sk电信有限公司 | 对运动矢量进行编码的方法和装置以及用它对图像进行编码/解码的方法和装置 |
| CN102447892A (zh) * | 2010-09-30 | 2012-05-09 | 宝利微电子系统控股公司 | 运动估计方法与装置 |
| CN102917197A (zh) * | 2011-08-04 | 2013-02-06 | 想象技术有限公司 | 运动估计系统中的外部矢量 |
| CN103118256A (zh) * | 2013-01-29 | 2013-05-22 | 北京大学深圳研究生院 | 基于方向和距离判别的运动矢量预测方法 |
-
2015
- 2015-04-24 CN CN201510203616.3A patent/CN104811726B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1582579A (zh) * | 2001-04-20 | 2005-02-16 | 皇家菲利浦电子有限公司 | 用于运动矢量估算的方法和设备 |
| US20050008240A1 (en) * | 2003-05-02 | 2005-01-13 | Ashish Banerji | Stitching of video for continuous presence multipoint video conferencing |
| WO2005098752A1 (ja) * | 2004-04-09 | 2005-10-20 | Sony Corporation | 画像処理装置および方法、記録媒体、並びにプログラム |
| CN101061722A (zh) * | 2004-10-14 | 2007-10-24 | 英特尔公司 | 采用自适应搜索策略的快速多帧运动估计 |
| CN1992789A (zh) * | 2005-12-28 | 2007-07-04 | 三星电子株式会社 | 运动估计器和运动估计方法 |
| CN102273206A (zh) * | 2008-10-31 | 2011-12-07 | Sk电信有限公司 | 对运动矢量进行编码的方法和装置以及用它对图像进行编码/解码的方法和装置 |
| CN102447892A (zh) * | 2010-09-30 | 2012-05-09 | 宝利微电子系统控股公司 | 运动估计方法与装置 |
| CN102917197A (zh) * | 2011-08-04 | 2013-02-06 | 想象技术有限公司 | 运动估计系统中的外部矢量 |
| CN103118256A (zh) * | 2013-01-29 | 2013-05-22 | 北京大学深圳研究生院 | 基于方向和距离判别的运动矢量预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 马琰: "帧率转换中的运动补偿插值算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106534858A (zh) * | 2015-09-10 | 2017-03-22 | 展讯通信（上海）有限公司 | 真实运动估计方法及装置 |
| CN106534858B (zh) * | 2015-09-10 | 2019-09-06 | 展讯通信（上海）有限公司 | 真实运动估计方法及装置 |
| CN105681806A (zh) * | 2016-03-09 | 2016-06-15 | 宏祐图像科技(上海)有限公司 | ME中基于logo检测结果控制零矢量SAD的方法及系统 |
| CN105681806B (zh) * | 2016-03-09 | 2018-12-18 | 宏祐图像科技(上海)有限公司 | ME中基于logo检测结果控制零矢量SAD的方法及系统 |
| CN106993108A (zh) * | 2017-04-07 | 2017-07-28 | 上海顺久电子科技有限公司 | 一种确定视频图像在运动估计中的随机量的方法和装置 |
| CN107124611A (zh) * | 2017-04-07 | 2017-09-01 | 上海顺久电子科技有限公司 | 一种视频帧率的转换方法和装置 |
| CN107124611B (zh) * | 2017-04-07 | 2020-06-05 | 上海顺久电子科技有限公司 | 一种视频帧率的转换方法和装置 |
| WO2020244425A1 (zh) * | 2019-06-05 | 2020-12-10 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
| CN113949869A (zh) * | 2020-07-16 | 2022-01-18 | 晶晨半导体(上海)股份有限公司 | 估计像素块运动矢量的方法和视频处理装置及设备和介质 |
| CN113949869B (zh) * | 2020-07-16 | 2024-04-26 | 晶晨半导体(上海)股份有限公司 | 估计像素块运动矢量的方法和视频处理装置及设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104811726B (zh) | 2018-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104811726A (zh) | 帧率转换中运动估计的候选运动矢量选择方法 | |
| KR100809354B1 (ko) | 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법 | |
| US20090129688A1 (en) | Interpolation image generating method and apparatus | |
| US20230007240A1 (en) | Techniques for deep neural network based inter-frame prediction in video coding | |
| TW201146011A (en) | Bi-directional, local and global motion estimation based frame rate conversion | |
| US20100328538A1 (en) | Parallel three-dimensional recursive search (3drs) meandering algorithm | |
| KR20100114499A (ko) | 후광현상이 줄어든 영상보간 장치 및 방법 | |
| JP2016514378A (ja) | 高効率次世代ビデオコーディングのためのコンテンツ適応双方向性又は機能性予測マルチパスピクチャ | |
| KR101519941B1 (ko) | 다중레벨 양방향 움직임 추정 방법 및 장치 | |
| GB2495179A (en) | Motion estimation using weighted candidate vectors from an external source | |
| KR100226684B1 (ko) | 반화소 움직임 추정장치 | |
| TWI408620B (zh) | 用以決定插補畫面之移動向量的影像處理方法及其相關裝置 | |
| Tai et al. | A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications | |
| US20150110190A1 (en) | Method and apparatus for motion estimation | |
| TWI490819B (zh) | 影像處理方法及其裝置 | |
| KR100584597B1 (ko) | 적응적 가중치를 적용한 움직임 추정 방법 및 그를 적용한프레임 레이트 변환 장치 | |
| Akin et al. | An adaptive bilateral motion estimation algorithm and its hardware architecture | |
| US8305500B2 (en) | Method of block-based motion estimation | |
| Han et al. | Frame rate up-conversion for high-definition video applications | |
| CN108282653B (zh) | 基于双极性场的运动估计的运动补偿去隔行方法及系统 | |
| US8279931B2 (en) | Motion vector estimator for reducing film judder | |
| CN107124617B (zh) | 运动估计运动补偿中随机矢量的生成方法及系统 | |
| JP2007510213A (ja) | 小さな高速移動物体を追跡するための動きベクトル場の改良 | |
| CN1981536A (zh) | 运动补偿帧速率上调方法和设备 | |
| WO2011001364A1 (en) | Parallel three-dimensional recursive search (3drs) meandering algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200117 Address after: 266101 No. 399, Laoshan District Pine Ridge Road, Qingdao of Shandong province Patentee after: Qingdao Xinxin Microelectronics Technology Co., Ltd. Address before: 201203 Shanghai City Chenhui Road, Zhangjiang High Tech Park of Pudong New Area No. 88 Building 1, 312, 316, 318. Patentee before: Hongyou Image Technology (Shanghai) Co., Ltd. |