JP2007129335A - 画面動き検出装置 - Google Patents

Abstract

【課題】少ない演算量で高い精度の画面の動き検出を行う。
【解決手段】復号部１０１は符号化ビットストリームを復号し符号化パラメータと復号画像を出力し、統計対象ブロック決定部１０２は、復号画像を所定のサイズに分割した統計ブロック毎にブロック複雑度を算出し、算出したブロック複雑度と符号化パラメータに基づき、各統計ブロックが画面動き検出のための動き統計処理の対象となる統計対象ブロックを決定し、動き統計処理部１０３は、決定された統計対象ブロックにおける符号化パラメータに含まれる動きベクトルに基づき、画面全体の動きを算出して画面動きベクトルとして出力する。
【選択図】図１

Description

この発明はデジタル動画像の画面動き検出装置に関するものである。

携帯電話を用いたテレビ電話サービスが普及するようになっているが、一般に携帯電話のような小型のカメラを用いて手持ちで動画像を撮影する場合、手の振動がカメラに伝わることによって、出力される映像信号は手ぶれを含んで見づらいものとなってしまい、また、手ぶれを含んだ映像信号を符号化して送信した場合には、受信側では手ぶれを含んだ見づらい映像が再生されてしまうという課題がある。

この課題を解決するためには、画面の動きを検出して動きを補正する必要がある。このような画面の動きを検出する画面動き検出装置として、例えば特許文献１では、現フィールドの入力信号の画面上の各代表点における画像データを記憶すると共に前フィールドの各代表点の画像データを出力する代表点信号メモリ回路と、現フィールドの映像信号と１フィールド前の代表点位置における映像信号である代表点信号メモリ回路の出力信号の差分をとる減算回路と、差分絶対値の累積加算を行い相関演算を行う演算信号累積メモリ回路と、領域内の全ての代表点周りの累積加算が終了したとき、演算信号累積メモリ回路に保持された累積加算値のなかで最も相関の高い値を有する場所を判定する相関性検出回路を備え、代表点の位置を基準としたときの、この最も相関の高い値を動きベクトルとすることが記載されている。

特開平５−０７５９１３号公報（段落００１７）

従来の画面動き検出装置は以上のように構成され、現フレームと過去フレームとの間で画像信号の画素同士のマッチングを行うことによって画面の動きを検出するため、演算量が大きくなるという課題があった。また、復号画像の画面にはブロック歪が生じることが多く、ブロック歪のある低画質の画像に対して、従来のように画素同士のマッチングによる画面の動き検出を行っても、高い精度の動きが検出できないという課題があった。

この発明は上記のような課題を解決するためになされたもので、少ない演算量で高い精度の画面の動き検出が可能な画面動き検出装置を得ることを目的とする。

この発明に係る画面動き検出装置は、入力される符号化ビットストリームを復号し、符号化パラメータと復号画像を出力する復号部と、該復号部から出力される復号画像を所定のサイズの統計ブロックに分割し、分割した統計ブロック毎にブロック複雑度を算出し、算出したブロック複雑度と上記復号部から出力される符号化パラメータに基づき、各統計ブロックが画面動き検出のための動き統計処理の対象となるかを判定し統計対象ブロックを決定する統計対象ブロック決定部と、該統計対象ブロック決定部により決定された統計対象ブロックにおける上記復号部から出力される符号化パラメータに含まれる動きベクトルに基づき画面全体の動きを算出し、画面動きベクトルとして出力する動き統計処理部とを備えたものである。

この発明によれば、ビットストリームより復号された動きベクトルを利用して画面の動き検出を行うため、受信側でも少ない演算量で高い精度の画面の動き検出が可能となるという効果が得られる。

実施の形態１．
図１はこの発明の実施の形態１による画面動き検出装置の構成を示すブロック図である。図１に示す画面動き検出装置１００は、入力される符号化ビットストリームを復号し、画面全体の動きを検出して画面動きベクトルを出力する装置であり、復号部１０１と、統計対象ブロック決定部１０２と、動き統計処理部１０３とを備えている。

図１において、復号部１０１は入力される動画像の符号化ビットストリームを復号し、符号化パラメータと復号画像を出力する。統計対象ブロック決定部１０２は、復号部１０１から出力される復号画像を所定のサイズの統計ブロックに分割し、分割した統計ブロック毎にブロック複雑度を算出し、算出したブロック複雑度と復号部１０１から出力される符号化パラメータに基づき、各統計ブロックが画面動き検出のための動き統計処理の対象となるかを判定し統計対象ブロックを検出する。このとき、統計対象ブロック決定部１０２は、動き統計処理の対象となる統計対象ブロックを有効統計ブロックとして特定するための有効統計ブロック特定情報を出力する。

動き統計処理部１０３は、統計対象ブロック決定部１０２により決定された統計対象ブロックにおける復号部１０１から出力される符号化パラメータに含まれる動きベクトルに基づき画面全体の動きを算出し、画面動きベクトルとして出力する。

次に動作について説明する。
図２はこの発明の実施の形態１による画面動き検出装置の処理を示すフローチャートである。まず、ステップＳＴ１１において、復号部１０１は入力される符号化ビットストリームを所定の符号化方式の手順に従って復号処理を行う。該符号化方式としては、例えば動画像の国際標準規格であるＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、あるいは、国際標準規格に準拠していない動画像符号化方式であっても本発明を適用することができる。ここでは、現時点で最新の符号化方式であるＨ．２６４を例として説明する。Ｈ．２６４では、画面を縦１６画素×横１６画素のマクロブロックに分割し、マクロブロック単位に復号処理が行われる。

マクロブロックの符号化情報として、まず、マクロブロックの符号化形式を示すマクロブロックタイプが含まれる。Ｈ．２６４において、マクロブロックタイプは大きく分類すると、スキップマクロブロック、イントラマクロブロック及びインターマクロブロックの３種類のマクロブロックに分類される。

スキップマクロブロックは当該マクロブロックの周囲マクロブロックにおける動きベクトルに基づいて当該マクロブロック全体の動きベクトルを予測した予測動きベクトルを当該マクロブロックの動きベクトルとするマクロブロックであり、さらに、該動きベクトルに基づいて動き補償予測を行って生成される動き補償予測画像を、当該マクロブロックにおける復号画像とするマクロブロックである。

イントラマクロブロックは、他のフレームとの相関を用いずに、画面内予測を行うイントラ予測画像と、量子化変換係数を逆量子化・逆変換したイントラ差分データとを加算することにより復号画像を生成するマクロブロックである。このインターマクロブロックにおいて、動き予測のために参照されるフレームとして、この実施の形態１では簡単化するために１つ前のフレームのみを用いるものとする。

インターマクロブロックは、他のフレームからの動きを予測する動きベクトルに基づいて動き補償予測を行って生成される動き補償予測画像と、量子化変換係数を逆量子化・逆変換したイントラ差分データとを加算することにより復号画像を生成するマクロブロックである。また、インターマクロブロックにおいては、マクロブロックをさらに小さいブロックに分割することができ、最小で縦４画素×横４画素のブロックまで分割して、ブロック単位に動きベクトルが割り当てられる。なお、インターマクロブロックでは、各８×８画素のブロック内に量子化変換係数が存在するか否かを示す符号化ブロックフラグが復号され、符号化ブロックフラグが「１」を示す８×８画素ブロックにおいてのみ量子化変換係数が復号される。

つまり、ステップＳＴ１１において、復号部１０１は、符号化ビットストリームを入力し、各マクロブロックにおけるマクロブロックタイプ、符号化ブロックフラグ、量子化変換係数及び動きベクトルを復号して復号画像を生成して出力すると共に、マクロブロックタイプ、符号化ブロックフラグ、量子化変換係数及び動きベクトルを符号化パラメータとして出力する。

次に、ステップＳＴ１２において、統計対象ブロック決定部１０２は、復号部１０１から出力される復号画像を所定のサイズの統計ブロックに分割し、分割した統計ブロック毎にブロック複雑度を算出し、算出したブロック複雑度と復号部１０１から出力される符号化パラメータに基づき、各統計ブロックが画面動き検出のための動き統計処理の対象となるかを判定して統計対象ブロックを決定し、動き統計処理の対象となる統計対象ブロックを有効統計ブロックとして特定するための有効統計ブロック特定情報を出力する。ここでは、統計ブロックの一例として、縦８画素×横８画素のブロックを用いて説明するが、このブロックは正方形である必要はなく、どのような形状であっても本発明を適用することができる。

統計対象ブロック決定部１０２による統計ブロックにおけるブロック複雑度の算出手段としては、例えば、統計ブロック内の全ての画素値の分散値をブロック複雑度として構成することができる。また、他の例では、統計ブロック内の画素値の平均値に対する統計ブロック内の全ての画素値との差分絶対値和をブロック複雑度としても良い。さらに、統計ブロック内の４角の画素値の平均値を算出し、統計ブロック内の所定の縦一列及び横一行の画素値との差分絶対値和をブロック複雑度としても良い。その他、どのような算出手段でも、統計ブロック内の画素値が平坦であるか、そうでないかを判別することができる統計手段であれば本発明を適用することができる。

さて、統計対象ブロック決定部１０２により算出されたブロック複雑度は統計ブロック毎の値として生成される。各統計ブロックが画面の動きを示すに値するか否かを判定するには、ブロック形状がある程度複雑であり、かつ、符号化パラメータに量子化変換係数がない場合には、動きベクトルが正確に動きそのものを捕らえている可能性が高いことが利用できる。従って、統計対象ブロック決定部１０２は、ブロック複雑度が予め設定した閾値より大きく（平坦でなく）、かつ、符号化パラメータに量子化変換係数が存在せず、かつ、符号化パラメータに含まれるマクロブロックタイプが動きベクトルが存在しないイントラマクロブロックタイプでない場合には、当該統計ブロックを統計対象ブロックとして決定し、その他の統計ブロックを統計非対象ブロックとして決定する。

また、例えば１つの統計ブロック内に複数の動きベクトルが存在する場合には、統計対象ブロック決定部１０２は、該複数の動きベクトルが全て同じであれば統計対象ブロックとして決定し、そうでなければ統計非対象ブロックとして決定する。そして、統計対象ブロック決定部１０２は、このようにして決定した各統計対象ブロックを有効統計ブロックとして特定するための有効統計ブロック特定情報を出力する。具体的には、例えばラスタスキャン順に統計ブロックが統計対象ブロックである場合に１を出力し、統計非対象ブロックである場合に０を出力するよう構成できる。

次に、ステップＳＴ１３において、動き統計処理部１０３は、統計対象ブロック決定部１０２により決定された統計対象ブロックにおける復号部１０１から出力される符号化パラメータに含まれる動きベクトルに基づき画面全体の動きを算出し、画面動きベクトルとして出力する。
ここでは、まず、動き統計処理部１０３は、統計対象ブロック決定部１０２から出力される有効統計ブロック特定情報により特定される各統計対象ブロックにおける動きベクトルの垂直成分及び水平成分の出現数をカウントする。

図３は各統計対象ブロックにおける動きベクトルの垂直成分及び水平成分の一例を示す図であり、図４は各統計対象ブロックにおける動きベクトルの垂直成分及び水平成分が図３に示す場合の動き統計処理部１０３による動きベクトルの垂直成分及び水平成分の出現数のカウントの一例を示す図である。
すなわち、動き統計処理部１０３は、入力した有効統計ブロック特定情報により特定される各統計対象ブロックにおける動きベクトルの垂直成分及び水平成分が図３に示すようになっている場合には、動きベクトルの垂直成分及び水平成分の出現数をカウントして図４に示す結果を得る。

そして、動き統計処理部１０３は、動きベクトルの垂直成分及び水平成分の出現数が最大となる垂直成分及び水平成分を、画面動きベクトルの垂直成分及び水平成分として出力する。なお、出現数が最大となる成分が複数存在する場合には、出現数が最大となる成分の平均値を画面動きベクトルの成分として出力する。すなわち、上記の図４の例の場合、画面動きベクトルの垂直成分は出現数が最大値４である−１、画面動きベクトルの水平成分は出現数が最大値２である４と５と６の平均値、すなわち５となる。

また、別の統計手段としては、精度をさらに上げるために、例えば、動き統計処理部１０３が出現数のカウントの際に、動きベクトルの垂直成分及び水平成分に重み付けを行うよう構成することもできる。すなわち、各動きベクトルの垂直成分及び水平成分に対して、その近傍の±２の成分に１、±１の成分に２、±０の成分（各動きベクトルの垂直成分及び水平成分自身）に４等の重み付けをして出現数をカウントする。

図３に示す各統計対象ブロックにおける動きベクトルの垂直成分及び水平成分の各成分は、それぞれその近傍の成分である可能性がある。例えば、図３における統計対象ブロック番号１の動きベクトルの垂直成分「−１」は、その近傍の「０」，「−２」，「１」，「−３」である可能性がある。そして、ベクトルの垂直成分の成分「−１」が１回出現する毎に、成分「−１」の出現数を４とカウントし、成分「０」及び「−２」の出現数を２とカウントし、成分「１」及び「−３」の出現数を１とカウントする。

同様に、図３における統計対象ブロック番号２の動きベクトルの垂直成分の成分「−２」は、その近傍の「−１」，「−３」，「０」，「−４」である可能性がある。そして、ベクトルの垂直成分「−２」が１回出現する毎に、成分「−２」の出現数を４とカウントし、成分「−１」及び「−３」の出現数を２とカウントし、成分「０」及び「−４」の出現数を１とカウントする。このようにして、全ての統計対象ブロックにおける動きベクトルの垂直成分及び水平成分について出現数を重み付けしてカウントし、動きベクトルの垂直成分及び水平成分について、それぞれの出現数を累積加算する。

図５は各統計対象ブロックにおける動きベクトルの垂直成分及び水平成分が図３に示す場合の動き統計処理部１０３による動きベクトルの垂直成分及び水平成分の出現数の重み付けしたカウントの一例を示す図であり、上記のように、重み付けした出現数を各成分について累積加算したものである。

この場合、動き統計処理部１０３は、動きベクトルの垂直成分及び水平成分の重み付けした出現数の累積加算値が最大となる垂直成分及び水平成分を、画面動きベクトルの垂直成分及び水平成分として出力する。なお、重み付けした出現数の累積加算値が最大となる成分が複数存在する場合には、重み付けした出現数の累積加算値が最大となる成分の平均値を画面動きベクトルの成分として出力する。

すなわち、図５に示す例の場合、画面動きベクトルの垂直成分は重み付けした出現数の累積加算値が最大値２２である−１、画面動きベクトルの水平成分は重み付けした出現数の累積加算値が最大値１７である５となる。もし、図５において、動きベクトルの水平成分４，５，６の重み付けした出現数の累積加算値が同じ最大値１７である場合には、動きベクトルの水平成分４，５，６の平均値５を画面動きベクトルの成分として出力する。
なお、ここで用いた重み付けの係数や重み付けの対象となる値の範囲は一例を示しただけであり、他の値であっても構わない。

以上のように、この実施の形態１によれば、符号化ビットストリームより復号された動きベクトルを利用して画面の動き検出を行うことにより、受信側でも少ない演算量で高い精度の画面の動き検出が可能となるという効果が得られる。

実施の形態２．
図６はこの発明の実施の形態２による画面動き検出装置の構成を示すブロック図である。図６に示す画面動き検出装置２００は、入力されるイントラピクチャを含む符号化ビットストリームを復号し、画面全体の動きを検出して画面動きベクトルを出力するイントラピクチャ対応の装置であり、復号部２０１と、統計対象ブロック決定部２０２と、動き統計処理部２０３と、スイッチ２０４と、イントラピクチャ動き算出部２０５と、画面動きベクトルバッファ２０６とを備えている。

復号部２０１、統計対象ブロック決定部２０２及び動き統計処理部２０３は、機能的には上記実施の形態１における画面動き検出装置１００の復号部１０１、統計対象ブロック決定部１０２及び動き統計処理部１０３と同様である。ただし、復号部２０１は復号部１０１に加えて復号されるピクチャのタイプを示すピクチャタイプを復号して符号化パラメータとして出力する機能をも備える。

スイッチ２０４は復号部２０１から出力される符号化パラメータに含まれるピクチャタイプに従って動作し、ピクチャタイプがフレーム内符号化フレームを意味するイントラピクチャタイプである場合にはイントラピクチャ動き算出部２０５を出力側に接続し、イントラピクチャタイプでない場合には動き統計処理部２０３を出力側に接続する。イントラピクチャ動き算出部２０５は、過去の画面動きベクトルを格納している後述する画面動きベクトルバッファ２０６から出力される過去の画面動きベクトルを用いて、現在の画面動きベクトルを算出して出力する。画面動きベクトルバッファ２０６は、画面動きベクトルが出力される際に、イントラピクチャの動きベクトルを算出するために、画面動きベクトルを一時的に格納するためのバッファである。

次に動作について説明する。
図７はこの発明の実施の形態２による画面動き検出装置２００の処理を示すフローチャートである。まず、ステップＳＴ２１において、復号部２０１は、上記実施の形態１の復号部１０１と同様に、入力される符号化ビットストリームを所定の符号化方式の手順に従って復号処理を行う。この復号処理においては、復号されるピクチャタイプが符号化パラメータの１つとして復号画像と共に出力される。

ステップＳＴ２２において、図示しない制御部が、復号部２０１より出力されるピクチャタイプがイントラピクチャタイプであるか否かを判定し、イントラピクチャタイプである場合には、スイッチ２０４によりイントラピクチャ動き算出部２０５を出力側に接続し、イントラピクチャタイプでない場合には、スイッチ２０４により動き統計処理部２０３を出力側に接続する。すなわち、復号部２０１より出力されるピクチャタイプがイントラピクチャタイプである場合には、スイッチ２０４によって処理がイントラピクチャ動き算出部２０５に移され、逆にピクチャタイプがイントラピクチャタイプでない場合には、上記実施の形態１に示したインターピクチャにおける画面動きベクトル検出手法に基づいた処理が行われる。

ピクチャタイプがイントラピクチャタイプである場合には、ステップＳＴ２３において、イントラピクチャ動き算出部２０５は、画面動きベクトルバッファ２０６に格納されている過去の画面動きベクトルから、現ピクチャの画面動きベクトルを算出し、スイッチ２０４を介して画面動きベクトルとして出力し、ステップＳＴ２６において、画面動きベクトルバッファ２０６は出力された画面動きベクトルを格納する。

ここで、イントラピクチャ動き算出部２０５が算出する画面動きベクトルとして、具体的には、前ピクチャの画面動きベクトルと同じベクトルを現ピクチャの画面動きベクトルとするよう構成できる。また、別の例では、前ピクチャの画面動きベクトルをＭＶ１、前々ピクチャの画面動きベクトルをＭＶ２とした場合、２×ＭＶ１−ＭＶ２を現ピクチャの画面動きベクトルとしても良い。さらに、過去の複数ピクチャの画面動きベクトルから最小２乗法やその他の最小誤差推定法等によって現ピクチャの画面動きベクトルを算出しても良い。

ピクチャタイプがイントラピクチャタイプでない場合には、ステップＳＴ２４及びステップＳＴ２５の処理が、上記実施の形態１の図２のステップＳＴ１２及びステップＳＴ１３の処理と同様に行われて画面動きベクトルを出力し、ステップＳＴ２６において、画面動きベクトルバッファ２０６は出力された画面動きベクトルを格納する。

以上のように、この実施の形態２によれば、符号化ビットストリームより復号された動きベクトルを利用して画面の動き検出を行うことにより、受信側でも少ない演算量で高い精度の画面の動き検出が可能となると共に、イントラピクチャが含まれる符号化ビットストリームを受信した場合においても、画面の動き検出を行うことが可能となるという効果が得られる。

この発明の実施の形態１による画面動き検出装置の構成を示すブロック図である。 この発明の実施の形態１による画面動き検出装置の処理を示すフローチャートである。 この発明の実施の形態１による画面動き検出装置において各統計対象ブロックにおける動きベクトルの垂直成分及び水平成分の一例を示す図である。 この発明の実施の形態１による画面動き検出装置の動き統計処理部による動きベクトルの垂直成分及び水平成分の出現数のカウントの一例を示す図である。 この発明の実施の形態１による画面動き検出装置の動き統計処理部による動きベクトルの垂直成分及び水平成分の出現数の重み付けしたカウントの一例を示す図である。 この発明の実施の形態２による画面動き検出装置の構成を示すブロック図である。 この発明の実施の形態２による画面動き検出装置の処理を示すフローチャートである。

符号の説明

１００ 画面動き検出装置、１０１ 復号部、１０２ 統計対象ブロック決定部、１０３ 動き統計処理部、２００ 画面動き検出装置、２０１ 復号部、２０２ 統計対象ブロック決定部、２０３ 動き統計処理部、２０４ スイッチ、２０５ イントラピクチャ動き算出部、２０６ 画面動きベクトルバッファ。

Claims (8)

1. 入力される符号化ビットストリームを復号し、符号化パラメータと復号画像を出力する復号部と、
   該復号部から出力される復号画像を所定のサイズの統計ブロックに分割し、分割した統計ブロック毎にブロック複雑度を算出し、算出したブロック複雑度と上記復号部から出力される符号化パラメータに基づき、各統計ブロックが画面動き検出のための動き統計処理の対象となるかを判定し統計対象ブロックを決定する統計対象ブロック決定部と、
   該統計対象ブロック決定部により決定された統計対象ブロックにおける上記復号部から出力される符号化パラメータに含まれる動きベクトルに基づき画面全体の動きを算出し、画面動きベクトルとして出力する動き統計処理部とを備えた画面動き検出装置。
2. 上記統計対象ブロック決定部は、統計ブロック内の全ての画素値の分散値、統計ブロック内の画素値の平均値に対する統計ブロック内の全ての画素値との差分絶対値和、又は統計ブロック内の４角の画素値の平均値を算出し統計ブロック内の所定の縦一列及び横一行の画素値との差分絶対値和を、ブロック複雑度として算出することを特徴とする請求項１記載の画面動き検出装置。
3. 上記統計対象ブロック決定部は、算出したブロック複雑度が予め設定された閾値よりも大きく、かつ、符号化パラメータに量子化変換係数が存在せず、かつ、符号化パラメータに含まれるマクロブロックタイプがイントラマクロブロックでない統計ブロックを、統計対象ブロックとして決定することを特徴とする請求項１記載の画面動き検出装置。
4. 上記統計対象ブロック決定部は、統計ブロック内に動きベクトルが複数存在し、複数の動きベクトルが全て同じである場合に、その統計ブロックを統計対象ブロックとして決定することを特徴とする請求項１記載の画面動き検出装置。
5. 上記動き統計処理部は、統計対象ブロックにおける動きベクトルの各成分のうち、最も出現数の多い成分を画面動きベクトルの各成分とすることを特徴とする請求項１記載の画面動き検出装置。
6. 上記動き統計処理部は、統計対象ブロックにおける動きベクトルの各成分とその近傍の成分に重み付けをして出現数をカウントし、重み付けした出現数の累積加算値が最大の各成分を画面動きベクトルの各成分とすることを特徴とする請求項１記載の画面動き検出装置。
7. 画面動きベクトルを一時的に格納するための画面動きベクトルバッファと、
   該画面動きベクトルバッファから出力される過去の画面動きベクトルを用いて、現在の画面動きベクトルを算出して出力するイントラピクチャ動き算出部と、
   上記復号部より出力される符号化パラメータに含まれるピクチャタイプに従って動作し、ピクチャタイプがイントラピクチャタイプである場合には、上記イントラピクチャ動き算出部により算出された画面動きベクトルを出力し、ピクチャタイプがイントラピクチャでない場合には、上記動き統計処理部により算出された画面動きベクトルを出力するスイッチとを備えたことを特徴とする請求項１記載の画面動き検出装置。
8. 上記イントラピクチャ動き算出部は、前ピクチャの画面動きベクトルと同じベクトルを現ピクチャの画面動きベクトルとして算出するか、前ピクチャの画面動きベクトルと前々ピクチャの画面動きベクトルを用いて現ピクチャの画面動きベクトルを算出するか、又は過去の複数ピクチャの画面動きベクトルから最小２乗法やその他の最小誤差推定法等によって現ピクチャの画面動きベクトルを算出することを特徴とする請求項７記載の画面動き検出装置。
   

Images