JP2008141249A - 動きベクトル検出装置およびその方法 - Google Patents

Abstract

【課題】画素精度の異なる複数の画素補間処理において、より演算量、回路規模の削減を図り、またメモリの削減をも図ることができる動きベクトル検出装置を提供する。
【解決手段】動きベクトル検出装置１００は、画素精度に応じて、画素補間のためのフィルタ演算の補間係数を切り替えて共通化画素補間手段１１５に出力する補間係数切替部１１７、補間係数切替部１１７から入力された補間係数に基づいて、整数画素精度動き検出部１１１で算出した整数画素精度動きベクトル候補位置に基づき、１／２画素精度および１／４画素精度の補間画素を生成する共通化画素補間部１１５等を備える。
【選択図】図１

Description

本発明は、動画像符号化における複数のサブ画素精度に対応した動きベクトル検出・動き補償を実行する際に、演算量およびハードウェア規模を低減し、最適なコストで実現可能な動きベクトル検出装置およびその方法に関するものである。

新たに規格化されたＨ．２６４（ＭＰＥＧ４−ＡＶＣ）規格（以下、Ｈ．２６４規格と呼ぶ）においては、ＭＰＥＧ２規格等で採用されていた１／２画素精度動き補償に加えて、１／４画素精度動き補償が採用され、整数画素精度、１／２画素精度、１／４画素精度の３種類の画素精度で動き補償を実行する必要があり、Ｈ．２６４規格に対応した動画像符号化においては、整数画素精度、１／２画素精度、１／４画素精度の３種類の画素精度で動きベクトルを検出して、最適な動きベクトルを選択する必要がある。さらに、次世代の規格に向けて、１／８画素精度といった更なる精細な精度での動き補償方式が検討されている。

このように、複数のサブ画素精度に対応した動き検出、動き補償を実行するためには、複数の精度の補間画素を生成する必要がある。補間画素の生成にあたり、Ｈ．２６４規格においては、１／２画素精度については、６タップフィルタを用いて補間画素を生成し、１／４画素精度については、１／２画素精度および整数画素精度の画素間の線形補間（２タップフィルタ）により算出されるよう規定されている。したがって、Ｈ．２６４規格に対応した動画像符号化においても、前記の内容に対応した補間方式でサブ画素精度の補間画素を生成した上で、動きベクトル検出を実行することが一般的である。従来例として、例えば特許文献１がある。

従来例の概略ブロック図を図５に示す。図中で、従来例の動きベクトル検出装置５００は、整数画素精度動き検出部５０１、１／２画素精度動き検出部５０２、１／４画素精度動き検出部５０３、符号化対象画像メモリ１０４、及び参照用画像メモリ１０５を備えている。

次に、本概略ブロック図と特許文献１との対応について説明する。

特許文献１では、整数画素精度動き検出部５０１が、整数探索部および最良整数位置判定部および周囲整数位置評価部より構成され、符号化対象画像メモリ１０４および参照用画像メモリ１０５からのデータに基づいて整数画素精度動きベクトル探索を実施し、候補となる整数位置を検出し、１／２画素精度動き検出部５０２へ整数画素精度での動きベクトル候補位置を出力する。

特許文献１では、１／２画素精度動き検出部５０２が、１／２ｐｅｌ演算部と探索中心判定部で構成され、整数画素精度での動きベクトル候補位置に基づいて、１／２画素精度の画素補間処理を実行し、符号化対象画像メモリ１０４からの符号化対象画素と補間画素とを用いて１／２画素精度動きベクトル探索を実施し、候補となる１／２画素精度位置を検出し、１／４画素精度動き検出部５０３へ１／２画素精度での動きベクトル候補位置を出力する。Ｈ．２６４規格に対応する場合は、通常、１／２画素精度の画素補間処理には６タップフィルタを用いる。

特許文献１では、１／４画素精度動き検出部５０３が、１／４ｐｅｌ演算部とベクトル算出部で構成され、１／２画素精度での動きベクトル候補位置に基づいて、１／４画素精度の画素補間処理を実行し、符号化対象画像メモリ１０４からの符号化対象画素と補間画素とを用いて１／４画素精度動きベクトル探索を実施し、候補となる１／２画素精度位置を検出し、動き補償部５０６へ最終的に決定した動きベクトル情報を出力する。

Ｈ．２６４規格に対応する場合は、通常、１／４画素精度の画素補間処理には線形補間（２タップフィルタ）を用いる。

図６に前記１／４画素精度補間処理を詳細化して記述したブロック図を示す。

図中で、動きベクトル検出装置５００は、整数画素精度動き検出部５１１、１／２画素精度動き検出部５１２、１／４画素精度動き検出部５１３、１／２画素精度探索メモリ５１４、１／２画素精度画素補間部５１５、１／４画素精度探索メモリ５１６、１／４画素精度画素補間部５１７、１／２画素精度中間メモリ５１８、及び１／２画素精度画素補間部５１９を備えている。
特開２００６−３３１１２号公報

しかしながら、従来例においては、以下のような課題がある。

（課題１）Ｈ．２６４規格で定義されている１／２画素補間の６タップフィルタの演算量／回路規模が大きいこと。

（課題２）画素補間用に６タップフィルタと２タップフィルタの２種類の処理／回路が必要になること。

（課題３）１／４画素補間処理には、前段の１／２画素精度画素を保持する中間メモリが必要になること。

上記（課題１）について、従来のＭＰＥＧ２規格に対応する場合は、１／２画素精度補間には、線形補間（２タップフィルタ）が採用されていたため、Ｈ．２６４の６タップフィルタに比べると、演算量、回路規模が少なく済んだ。６タップフィルタの導入により、動きベクトルによる予測精度が向上する反面、ＬＳＩとして実装する場合に、演算量、回路規模が課題となる。

上記（課題２）について、２種類のフィルタを用意する必要があるために、回路の共用化等が図りづらく、ＬＳＩとして実装する場合に、回路規模削減をしにくいという課題がある。

上記（課題３）について、例えば、従来例である特許文献１では、１／２画素精度動き検出で求められた候補位置の周囲８点を、１／４画素精度動き検出の候補として探索するため、動きベクトル探索処理単位を上下、左右におのおの１画素づつ広げた分の画素データを中間メモリに保持する必要がある。Ｈ．２６４規格では、動きベクトル探索処理単位は、水平４、８、１６画素、垂直４、８、１６画素の組み合わせが想定されている。例えば、水平１６画素、垂直１６画素を動きベクトル探索処理単位とした場合、中間メモリに保持するのは、水平１８画素、垂直１８画素のデータとなる。

Ｈ．２６４規格の場合、多様な動きベクトル探索単位、双方向予測、マルチフレーム参照等のしくみが用意されており、これらに対応する場合は、動きベクトルの探索候補数が増大し、従来例での中間メモリは探索候補数分増加するため、ＬＳＩに実装する場合には、メモリ容量が課題となる。

本発明は以上の課題に鑑みてなされたものであり、画素補間処理において、より演算量、回路規模の削減を図り、またメモリの削減をも図ることができる動きベクトル検出装置を提供することを目的とする。

上記課題を解決するために、本発明の動きベクトル検出装置は、整数画素精度に加えて、少なくとも２種類以上の補間されたサブ画素精度を用いて動きベクトルを検出する動きベクトル検出装置であって、サブ画素精度の動き探索に用いる補間画素を生成するために、同じタップ数で補間係数が異なるフィルタ演算を施すことによって、異なる画素精度の補間画素を生成する共通化画素補間手段を備えることを特徴とする。

また、本発明に係る動きベクトル検出装置の前記共通化画素補間手段は、整数精度画素データのみを用いて直接、少なくとも２種類以上の異なる画素精度に対応した画素補間を実行することを特徴とする。

これらの構成により、共通化画素補間手段において線形補間を単一のタップ数のフィルタで共通化すると共に、共通化画素補間手段における異なる画素精度の画素補間を、整数精度画素データのみを用いて直接算出でき、画素精度補間のためのフィルタ処理の演算量・回路規模を削減することができる。

さらに、本発明に係る動きベクトル検出装置は、さらに、種類の異なる画素精度に応じて、１つの式に対する整数精度画素データを重み付けする画素補間係数を切り替えて、当該画素補間係数を前記共通化画素補間手段に出力する補間係数切替手段を備えることを特徴とする。

この構成により、補間処理を共通化したため、補間係数切替手段において、共通化した式の補間係数の切替のみで、異なる画素精度の補間処理を共用化し、回路規模を削減することが可能となる。

なお、本発明は、このような動きベクトル検出装置として実現することができるだけでなく、このような動きベクトル検出装置が備える特徴的な手段をステップとする動きベクトル検出方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したり、集積回路として実現することができる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

本発明の動きベクトル検出装置およびその方法では、１／２画素精度画素補間処理と１／４画素精度画素補間処理を、線形補間（２タップフィルタ）で共通化し、１／４画素精度の画素を、整数精度画素から直接算出することで、１／２画素精度補間のためのフィルタ処理の演算量・回路規模を削減することができる。また、１／４画素補間のための１／２画素精度の画素を保持する中間メモリを削減することが可能となる。さらに、補間処理を共通化したため、共通化した式の補間係数の切替のみで、１／２画素精度の補間処理と１／４画素精度の補間処理を共用化し、回路規模を削減することが可能となる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

（実施の形態１）
図１に本発明の実施の形態１に係る動きベクトル検出装置１００の機能ブロック図を示す。

本発明に係る動きベクトル検出装置１００は、整数画素精度動き検出部１１１、１／２画素精度動き検出部１１２、１／４画素精度動き検出部１１３、１／２画素精度探索メモリ１１４、共通化画素補間部１１５、１／４画素精度探索メモリ１１６、及び補間係数切替部１１７を備えている。

次に、本実施の形態１の動きベクトル検出装置１００の動作について説明する。

整数画素精度動き検出部１１１では、符号化対象画像メモリ１０４および参照用画像メモリ１０５から読み出した画像データに基づいて、整数画素精度の動き探索を実行し、整数画素精度動きベクトル候補を決定し、整数画素精度動きベクトル候補位置と候補位置に対応した動き探索コスト値を、共通化画素補間部１１５および１／２画素精度動き検出部１１２に出力する。なお、動き探索におけるコスト値として、差分絶対値和を用いることが多いが、差分二乗和やその他のコスト値でも適用可能である。

次に、図２の補間係数切替部１１７の動作手順のフローチャートに示すように、補間係数切替部１１７では、１／２画素精度又は１／４画素精度の画素精度を判定し（Ｓ２０１）、画素精度に応じて、画素補間のためのフィルタ演算の補間係数を切り替えて、１／２画素精度の場合は１／２画素用の補間係数（Ｓ２０２）、１／４画素精度の場合は１／４画素用の補間係数を共通化画素補間部１１５へ出力する（Ｓ２０３）。なお、本実施の形態１においては、１／２画素精度補間の場合の共通化された補間係数は、（２Ａ＋２Ｂ＋２）／４、１／４画素精度補間の場合の共通化された補間係数を（３Ａ＋Ｂ＋２）／４として出力する。また、ここで分子に２を足して４で割るのは小数第一位を四捨五入して整数値を出すためである。

そして、共通化画素補間部１１５では、補間係数切替部１１７から入力された補間係数に基づいて、整数画素精度動き検出部１１１から入力された整数画素精度動きベクトル候補位置に基づき、１／２画素精度および１／４画素精度の補間画素を生成し（Ｓ２０４）、１／２画素精度の補間画素は１／２画素精度探索メモリ１１４へ、１／４画素精度の補間画素は１／４画素精度探索メモリ１１６へ出力する。

そして、本実施の形態１においては、フィルタ演算を削減するため、線形補間（２タップフィルタ）を想定する。例えば、１／２画素精度、１／４画素精度のために、以下の補間係数を用いる。

図３に整数精度画素と補間画素の位置関係に関する説明図を示す。図中の四角形で表された画素が整数精度画素、丸で表された画素が１／２画素精度画素、六角形で表された画素が１／４画素精度画素である。通常、補間画素は、周囲の整数精度画素との水平、垂直位置の距離の比に応じて重み付け係数を用いて補間される。

例えば、１／２画素精度の画素Ｅは、整数画素精度の画素Ａおよび画素Ｂから等間隔のため、画素Ａと画素Ｂの平均値として算出される。画素Ｇは画素Ｅと画素Ｉもしくは、画素Ｆと画素Ｈとの平均値として算出される。

例えば、１／４画素精度の画素ａは、整数画素精度の画素Ａおよび画素ＢからＡａ間の距離比とａＢ間の距離の比が１：３なので、画素ａ＝（画素Ａ＊３＋画素Ｂ＊１＋２）＞＞２で算出される。さらに、画素ｄは、画素ｄ＝（画素Ａ＊２＋画素Ｂ＋画素Ｃ＋２）＞＞２、画素ｈは、画素ｈ＝（（画素Ａ＋画素Ｃ）＊３＋（画素Ｂ＋画素Ｄ）＋４）＞＞３で算出される。

本実施の形態１では、２タップフィルタで距離比で重み付けの補間係数を決定する方法について記載したが、補間係数については距離比に限らず、１／２画素精度および１／４画素精度の画素位置の補間に対応できればよい。

１／２画素精度動き検出部１１２では、１／２画素精度探索メモリ１１４および符号化対象画像メモリ１０４から読み出した画像データに基づいて、整数画素精度動き検出部１１１から入力された整数画素精度動きベクトル候補位置を中心に、１／２画素精度で動き探索を実行し、１／２画素精度動きベクトル候補位置を決定して、候補位置に対応した動き探索コスト値とともに１／４画素精度動き検出部１１３に出力する。

１／４画素精度動き検出部１１３では、１／４画素精度探索メモリ１１６および符号化対象画像メモリ１０４から読み出した画像データに基づいて、１／２画素精度動き検出部１１２から入力された１／２画素精度動きベクトル候補位置を中心に、１／４画素精度で動き探索を実行し、１／４画素精度動きベクトル候補位置を算出し、最終的な動きベクトルを決定して、動き補償部１０６へ出力する。

図４は、本発明に係る共通化画素補間部１１５を備える他の形態の動きベクトル検出装置４００の機能ブロック図を示し、本図に示す動きベクトル検出装置４００は、図１の構成に加えて動きベクトル選択部１１８を備え、この動きベクトル選択部１１８は、動きベクトルの探索に関して、１／２画素精度動き検出部１１２又は１／４画素精度動き検出部１１３のどちらの検出部から動きベクトルを出力するかの選択する処理を行う。

このため、図１に示すような１／２画素精度動き検出部１１２から１／４画素精度動き検出部１１３といった逐次的処理（パイプライン処理）を行う代わりに、動きベクトル選択部１１８において１／２画素精度動き検出部１１２及び１／４画素精度動き検出部１１３の動き検出の結果を並列的（パラレル処理）に同時に得て選択することが可能となり、従って、処理時間の異なる１／２画素精度動き検出部１１２又は１／４画素精度動き検出部１１３の検出結果を選択して、処理時間の短縮を図ることが可能となる。

以上のように、本発明の動きベクトル検出装置１００は、符号化対象画像メモリおよび参照用画像メモリから読み出した画像データに基づいて、整数画素精度の動き探索を実行し、整数画素精度動きベクトル候補を決定する整数画素精度動き検出部１１１と、画素精度に応じて、画素補間のためのフィルタ演算の補間係数を切り替えて出力する補間係数切替部１１７と、補間係数切替部１１７から入力された補間係数に基づいて、整数画素精度動き検出部１１１で算出した整数画素精度動きベクトル候補位置に基づき、１／２画素精度および１／４画素精度の補間画素を生成する共通化画素補間部１１５と、１／２画素精度の補間画素を保持する１／２画素精度探索メモリ１１４と、１／２画素精度探索メモリ１１４および符号化対象画像メモリから読み出した画像データに基づいて１／２画素精度で動き探索を実行し、１／２画素精度での動きベクトル探索候補を決定する１／２画素精度動き検出部１１２と、１／４画素精度の補間画素を保持する１／４画素精度探索メモリ１１６と、１／４画素精度探索メモリ１１６および符号化対象画像メモリから読み出した画像データに基づいて１／４画素精度で動き探索を実行し、１／４画素精度での動きベクトル探索候補を決定する１／４画素精度動き検出部１１３とから構成される。

このため、１／２画素精度画素補間処理と１／４画素精度画素補間処理を、線形補間（２タップフィルタ）で共通化し、１／４画素精度の画素を、整数精度画素から直接算出することで、１／２画素精度補間のためのフィルタ処理の演算量・回路規模を削減し、１／４画素補間のための１／２画素精度の画素を保持する中間メモリを削減することが可能となる。さらに、補間処理を共通化したため、補間係数の切替のみで、１／２画素精度の補間処理と１／４画素精度の補間処理を共用化し、回路規模を削減することが可能となる。

なお、上記実施の形態１では、Ｈ．２６４規格対応を想定して、１／２画素精度および１／４画素精度の場合の共通化について説明したが、次世代の動画像符号化規格にて、サブ画素精度の種類が増加した場合にも適用可能である。例えば、１／８画素精度が導入された場合も、画素補間処理を共用化して、本発明の効果を得ることが可能となる。

また、Ｈ．２６４規格では、水平垂直各１６画素のブロックだけでなく、水平および垂直について、１６画素、８画素、４画素を選択して組み合わせることが可能であり、さらに、単方向だけでなく複数方向の動きベクトルや複数枚数の参照フレームを適用可能であるが、その場合にも、各ブロックサイズ、各方向、各参照フレームにおける動きベクトル検出に適用可能である。

また、本実施の形態に係る動きベクトル検出装置において、画素補間処理を行う処理部を共通化画素補間部１１５の１つとして説明を行ったが、種類の異なる画素精度に応じて、整数精度画素データを重み付けする画素補間係数を切り替えた式を複数の画素補間部が保持して画素補間処理を並列的に行うことも考え得る。

本発明の動きベクトル検出装置およびその方法は、デジタルビデオカメラ等で動画像符号化を用いて、映像を記録する際に、最適なコストで実現する用途として有用である。

実施の形態１に係る動きベクトル検出装置の機能ブロック図 補間係数切替部の動作手順を示すフローチャート 整数精度画素と補間画素の位置関係に関する説明図 他の形態に係る動きベクトル検出装置の機能ブロック図 従来の動きベクトル検出装置の機能ブロック図 従来の動きベクトル検出装置の機能ブロック図

符号の説明

１００ 動きベクトル検出装置
１０４ 符号化対象画像メモリ
１０５ 参照用画像メモリ
１０６ 動き補償部
１１１ 整数画素精度動き検出部
１１２ １／２画素精度動き検出部
１１３ １／４画素精度動き検出部
１１４ １／２画素精度探索メモリ
１１５ 共通化画素補間部
１１６ １／４画素精度探索メモリ
１１７ 補間係数切替部
１１８ 動きベクトル選択部
５００ 動きベクトル検出装置
５０１ 整数画素精度動き検出部
５０２ １／２画素精度動き検出部
５０３ １／４画素精度動き検出部
５１１ 整数画素精度動き検出部
５１２ １／２画素精度動き検出部
５１３ １／４画素精度動き検出部
５１４ １／２画素精度探索メモリ
５１５ １／２画素精度画素補間部
５１６ １／４画素精度探索メモリ
５１７ １／４画素精度画素補間部
５１８ １／２画素精度中間メモリ
５１９ １／２画素精度画素補間部

Claims (10)

1. 整数画素精度に加えて、少なくとも２種類以上の補間されたサブ画素精度を用いて動きベクトルを検出する動きベクトル検出装置であって、
   サブ画素精度の動き探索に用いる補間画素を生成するために、同じタップ数で補間係数が異なるフィルタ演算を施すことによって、異なる画素精度の補間画素を生成する共通化画素補間手段を備える
   ことを特徴とする動きベクトル検出装置。
2. 前記共通化画素補間手段は、整数精度画素データのみを用いて直接、少なくとも２種類以上の異なる画素精度に対応した画素補間を実行する
   ことを特徴とする請求項１記載の動きベクトル検出装置。
3. 前記動きベクトル検出装置は、さらに、
   種類の異なる画素精度に応じて、１つの式に対する整数精度画素データを重み付けする画素補間係数を切り替えて、当該画素補間係数を前記共通化画素補間手段に出力する補間係数切替手段を備える
   ことを特徴とする請求項１または請求項２記載の動きベクトル検出装置。
4. 前記共通化画素補間手段において、前記単一化したフィルタ演算の補間係数のタップ数は２タップの線形補間である
   ことを特徴とする請求項１記載の動きベクトル検出装置。
5. 前記動きベクトル検出装置は、さらに、
   符号化対象画像メモリおよび参照用画像メモリから読み出した画像データに基づいて、整数画素精度の動き探索を実行し、整数画素精度動きベクトル候補を決定する整数画素精度動き検出手段を備え、
   前記共通化画素補間手段は、前記補間係数切替手段から入力された補間係数を用いて前記整数画素精度動き検出手段で算出した整数画素精度動きベクトル候補位置に基づき、第１の画素精度および第２の画素精度の補間画素を生成する
   ことを特徴とする請求項３記載の動きベクトル検出装置。
6. 前記動きベクトル検出装置は、さらに、
   第１の画素精度の補間画素を保持する第１の画素精度探索メモリと、
   前記第１の画素精度探索メモリおよび符号化対象画像メモリから読み出した画像データに基づいて第１の画素精度で動き探索を実行し、第１の画素精度での動きベクトル探索候補を決定する第１の画素精度動きベクトル検出手段と、
   第２の画素精度の補間画素を保持する第２の画素精度探索メモリと、
   前記第２の画素精度探索メモリおよび符号化対象画像メモリから読み出した画像データに基づいて第２の画素精度で動き探索を実行し、第２の画素精度での動きベクトル探索候補を決定する第２の画素精度動きベクトル検出手段とを備える
   ことを特徴とする請求項５記載の動きベクトル検出装置。
7. 前記動きベクトル検出装置は、さらに、
   異なる画素精度を用いた動きベクトル検出手段で並列的に検出される動きベクトルの結果を選択して動き補償手段へ出力する動きベクトル選択手段を備える
   ことを特徴とする請求項１記載の動きベクトル検出装置。
8. 整数画素精度に加えて、少なくとも２種類以上のサブ画素精度で動きベクトルを検出する動きベクトル検出ステップにおいて、
   サブ画素精度の動き探索に用いる補間画素を生成するために、同じタップ数で補間係数が異なるフィルタ演算を施すことによって、異なる画素精度の補間画素を生成する共通化画素補間ステップを含む
   ことを特徴とする動きベクトル検出方法。
9. 整数画素精度に加えて、少なくとも２種類以上のサブ画素精度で動きベクトルを検出する動きベクトル検出装置に用いるプログラムであって、
   サブ画素精度の動き探索に用いる補間画素を生成するために、同じタップ数で補間係数が異なるフィルタ演算を施すことによって、異なる画素精度の補間画素を生成する共通化画素補間ステップをコンピュータに実行させる
   ことを特徴とするプログラム。
10. 整数画素精度に加えて、少なくとも２種類以上のサブ画素精度で動きベクトルを検出するための動きベクトル検出集積回路において、
    サブ画素精度の動き探索に用いる補間画素を生成するために、同じタップ数で補間係数が異なるフィルタ演算を施すことによって、異なる画素精度の補間画素を生成する共通化画素補間手段を備える
    ことを特徴とする動きベクトル検出集積回路。

Images