JP2003087795A

JP2003087795A - 映像符号化方法および動き検出方法

Info

Publication number: JP2003087795A
Application number: JP2001273123A
Authority: JP
Inventors: Hiroki Kobayashi; 裕樹小林; Kenji Taniguchi; 憲司谷口
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2001-09-10
Filing date: 2001-09-10
Publication date: 2003-03-20

Abstract

(57)【要約】【課題】従来の動き検出方法では、フェードのように
映像の直流成分が変動する場合に誤検出を行うことが多
く、画質劣化を引き起こしていた。【解決手段】予測ブロックと符号化対象ブロックの引
き算で与えられる差分ブロックにおける、水平および垂
直の隣接画素差分の絶対値総和を、動き検出判定に用い
る評価値とする。これにより、映像の直流成分の変動の
影響を受けない動き検出を実現可能である。また、符号
化対象ブロックに対する評価値も同様の方法で求め、差
分ブロックの評価値と比較し、符号化モードを決定する
ことによって、符号化画質を向上できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はデジタル映像の符号
化方法、特にＭＰＥＧ２符号化方法に関するものであ
る。

【０００２】

【従来の技術】従来、ＭＰＥＧ２符号化方法において符
号化画質の改善を行う方法としては、動き検出手段にお
いて、特開２０００−１０６６７５号公報に記載のよう
に、予測ブロックと符号化対象ブロックの間の直流成分
を補正してからブロックマッチング演算を行う方法が知
られている。

【０００３】

【発明が解決しようとする課題】しかしながら、フェー
ドやフラッシュのように輝度レベルが大きく変化する映
像は、各画素における画素値の変動幅はその画素に依存
して異なる。そのため、直流成分を補正する映像符号化
方法は、各画素に一様にオフセットを与えるため、評価
値が大きな値となってしまい、誤検出を発生する可能性
がある。さらに、ブロックマッチング演算のための制御
の他に、映像の直流成分を補正するための制御が必要に
なり、制御が複雑になるという問題があった。

【０００４】本発明は、上記課題を解決するもので、評
価値を求めるための演算量は増加するが、制御が単純で
あり、かつ直流成分の変動に強い動き検出方法および映
像符号化方法を提供することを目的とする。

【０００５】

【課題を解決するための手段】この課題を解決するため
に本発明の動き検出方法は、絵の複雑さを示す空間的な
周波数情報を含んだ値を評価値とし、差分ブロック内の
隣接画素間の差分の絶対値総和を、動き検出判定のため
の評価値とする。また、本発明の映像符号化方法は、動
き検出方法が算出する差分ブロックの評価値と、動き検
出方法と同様のアルゴリズムで算出した符号化対象ブロ
ックの評価値とから、符号化モードを決定する。

【０００６】

【発明の実施の形態】本発明の第１の発明は、符号化対
象フレームを符号化対象ブロック毎に予測フレームに基
づいて動き予測する動き検出方法であって、絵の複雑度
を示す空間的な周波数情報を含んだ値を評価値として動
き検出判定することを特徴とする動き検出方法であり、
評価値は符号化対象ブロックと予測フレーム内の予測ブ
ロックとの差として与えられる差分ブロックに対して、
水平垂直方向の隣接画素間の差分の絶対値総和であるこ
とを特徴とする動き検出方法である。このように、予測
ブロックと符号化対象ブロックとの差として与えられる
差分ブロックの、隣接画素間の差分の絶対総和を評価値
とすることにより、直流成分の変動の影響を排除した動
き検出を行うことができる。本発明の動き検出方法は、
直流成分の変動が少ない一般的な映像だけでなく、映像
の直流成分が大きく変化するフェードまたはフラッシュ
のような映像に対しても、誤検出を発生することなく良
好な動き検出を行うことが可能となる。

【０００７】本発明の第２の発明は、符号化対象フレー
ムを符号化対象ブロック毎に予測フレームに基づいて予
測符号化する映像符号化方法であって、前記符号化対象
ブロックより第１の評価値を算出する第１の評価値算出
ステップと、前記符号化対象ブロックと前記予測フレー
ム内の予測ブロックの差として与えられる差分ブロック
より第２の評価値を算出する第２の評価値算出ステップ
と、前記第１の評価値と前記第２の評価値とから符号化
モードを決定する符号化モード決定ステップを有し、前
記符号化モード決定ステップにより決定された符号化モ
ードで符号化を行うことを特徴とする映像符号化方法で
ある。このように、差分ブロックの評価値と符号化対象
ブロックの評価値とから、符号化モードを決定する映像
符号化方法であることから、符号化対象ブロックの評価
値の方が小さいときはイントラ符号化モードを選択し、
差分ブロックの評価値が符号化対象ブロックの評価値以
下の場合はインター符号化モードを選択することによ
り、より符号化画質を向上することが可能となる。

【０００８】以下、本発明の実施の形態について、図面
を用いて説明する。

【０００９】（実施の形態１）本実施の形態では、動き
検出方法について図面を用いて説明する。

【００１０】図１は本実施の形態の動き検出方法を示す
フローチャート、図２は図１のフローチャートに対応し
た幾何的な図面である。

【００１１】まず、予測フレーム内において、符号化フ
レーム内の符号化対象ブロックが動き検出される予測領
域（以下、サーチレンジと称す）における予測ブロック
と符号化対象ブロックから差分ブロックを求める（図１
のステップ１０）。次に、差分ブロックにおいて、水平
方向の隣接画素間の差分の絶対値を累積加算して水平方
向の評価値を計算する（ステップ２０）。さらに、差分
ブロックにおいて、垂直方向の評価値を計算する。水平
方向の評価値に垂直方向の隣接画素間の差分の絶対値を
累積加算し、最終的な評価値を算出する（ステップ３
０）。評価値を算出すると、算出された評価値と現在ま
でに求められた評価値を比較し、算出された評価値が現
在までに求められた評価値より小さい場合は評価値を算
出された評価値に更新し、動きベクトルを求められた動
きベクトルに更新する（ステップ４０，５０）。また、
算出された評価値と現在までに求められた評価値が一致
する場合、現在の動きベクトルと、現在までに求められ
た動きベクトルを比較し、現在の動きベクトルの方が小
さい場合は、評価値を算出された評価値に更新し、動き
ベクトルを現在の動きベクトルに更新する（ステップ６
０からステップ８０）。以上のような処理をサーチレン
ジ内の全ての検出位置で行う（ステップ９０）。

【００１２】図３は本発明の動き検出方法を実施したプ
ログラム例であり、図２を参照して説明する。

【００１３】図３において、ｅｖａｌは評価値、ｖｘお
よびｖｙは、それぞれ水平および垂直の動きベクトルを
格納する変数であり、１００は符号化対象ブロックの動
き検出を実行する前に、ｅｖａｌ、ｖｘ、ｖｙへ初期値
を設定するステップである。１１０は符号化対象ブロッ
クが動き検出されるサーチレンジを示すループステップ
であり、図２に示すように、ｓｒｙはサーチレンジ内の
垂直の位置を示す変数であり、ＳＲＹはサーチレンジの
垂直方向の広さを表わす定数である。同様に、ｓｒｘは
サーチレンジ内の水平の位置を示す変数であり、ＳＲＸ
はサーチレンジの水平方向の広さを表わす定数である。
１１１は符号化対象ブロックと予測ブロックとから差分
ブロックを求めるステップであり、図２に示すように、
ｘ、ｙはそれぞれブロック内の水平・垂直の画素位置を
示す変数であり、ｄ（ｘ，ｙ）は差分ブロックの画素
値、ｃ（ｘ，ｙ）は符号化対象ブロックの画素値、ｒ
（ｘ，ｙ）はサーチレンジ内の予測ブロックの画素値を
示す変数である。１１２はサーチレンジ内の検出位置毎
に評価値を保持する変数ｔｅｖａｌを初期化するステッ
プである。１１３はブロック内の全水平ラインにおい
て、水平方向の隣接画素間の差分の絶対値を求め、変数
ｔｅｖａｌに累積加算するステップである。ここで、Ａ
ＢＳ（）は絶対値を求める演算である。１１４は垂直方
向の評価値を求めること以外は、１１３と同じであるた
め説明を省略する。１１５は現在の検出位置の評価値を
現在までに求めた評価値と比較し、現在の評価値の方が
小さい場合、または現在の評価値が現在までに求められ
た評価値と同じ値でかつ現在までに求められた動きベク
トルの大きさよりも現在の動きベクトルの大きさの方が
小さい場合に、評価値を保持する変数ｅｖａｌと動きベ
クトルを保持する変数ｖｘおよびｖｙを更新するステッ
プである。このような演算ステップをサーチレンジ内の
全ての検出位置で繰り返すことにより、動きベクトルを
求める。

【００１４】以上のような動き検出アルゴリズムを図面
を参照しながら説明する。

【００１５】図４はフェードのように映像の直流成分が
減衰もしくは増幅する例である。説明の簡略化のため
に、２次元の画像から１ラインを切り出して１次元で説
明するが、原理は２次元でも全く同じである。図４にお
いて、垂直方向は画素値、水平方向はブロックにおける
水平または垂直方向の空間座標を示し、時刻ｔ１の映像
の予測ブロックパターンをｒ（ｘ）、時刻ｔ２の映像の
符号化対象ブロックパターンをｃ（ｘ）とする。ここ
で、双方向の予測を使用する符号化方式であれば、時刻
ｔ１とｔ２の前後関係はどちらでもかまわない。このよ
うな場合、図５に示すような直流成分を補正する方式で
はΣＡＢＳ（ｄ（ｘ））で評価値が与えられるため、評
価値が大きくなってしまう。詳しく説明すると、図５に
おいて、垂直方向は画素値、水平方向はブロックにおけ
る水平または垂直方向の空間座標を示し、ｃ（ｘ）には
直流成分補正ｏｆｆｓｅｔがなされ、斜線部のｒ（ｘ）
とｃ（ｘ）＋ｏｆｆｓｅｔの差分の絶対値が評価値とな
る。図５に示すように、評価値は大きくなってしまうの
で、誤検出が発生する。これに対して、本発明では、ま
ず、図４に示すように、ｒ（ｘ）とｃ（ｘ）の差分を取
り、図６に示すように、差分ブロックの隣接画素の絶対
値総和を評価値とすることによって、直流成分の変動の
影響を排除することが可能となる。すなわち、隣接画素
の差分を用いることにより、空間的な絵柄を示す空間的
な周波数情報考慮した検出を行い、相関の小さなシーン
においても良好な動き検出を行うことができる。

【００１６】次に、水平垂直両方向の隣接画素間の差分
の絶対値総和を評価値とする場合を例にとって、図３の
プログラムを用いて本発明の動き検出方法を詳細に説明
する。

【００１７】まず、ステップ１００で評価値の初期値を
設定する。初期値はブロックサイズと映像の画素値のビ
ット幅で決定される最大値となる。例えば、８ビット画
素かつブロックサイズが縦８ライン、横８画素の場合、
５１０×７×８×２＝５７１２０がｅｖａｌの初期値と
なる。ここで、５１０は最大差分値の絶対値を示す。８
ビット画像の場合、値域は０〜２５５であり、差分画素
の値域は−２５５〜２５５となる。よって、差分がその
隣接画素差分の値域は−５１０〜５１０となり、初期値
は最大値をとるので、５１０となる。また、上記式にお
ける７は縦または横の隣接画素の差分演算回数、８は水
平行数または垂直列数、２は水平・垂直に２回演算を行
うことを示している。また、例えばサーチレンジが水平
±６４、垂直±３２の場合は、ＭＡＸＶＸ＝６４、ある
いは、−６４、ＭＡＸＶＹ＝３２、あるいは、−３２と
なる。ステップ１１０は矩形サーチレンジ内を、領域の
左上から右下へと１画素ずつ移動しながら、全画素位置
で動き検出を行うことを示す。ステップ１１１は予測ブ
ロックと符号化対象ブロックとを対応する画素毎に引き
算により差分ブロックを求めるステップである。ステッ
プ１１２は評価値の初期値を設定するステップであり、
最小となる評価値を求めるため、初期値は最小値である
０を設定する。ステップ１１３は、差分ブロック内の水
平方向の隣接画素間の差分の絶対値総和を求めるステッ
プである。ステップ１１４は、差分ブロック内の垂直方
向の隣接画素間の差分の絶対値総和を求めるステップで
ある。ステップ１１５は、現在の検出位置で求められた
評価値と、現在までに求められた最小の評価値とを比較
し、現在の評価値の方が小さい場合、または現在の評価
値が現在までに求められた評価値と同じ値でかつ現在ま
でに求められた動きベクトルの大きさよりも現在の動き
ベクトルの大きさの方が小さい場合に、評価値を保持す
る変数ｅｖａｌと動きベクトルを保持する変数ｖｘおよ
びｖｙを更新するステップである。ステップ１１１から
１１５をサーチレンジ内の全てのマッチング位置で実行
することによって、サーチレンジ内で最小の評価値が求
められた位置を検出する。これによって、ＤＣＴ変換に
より算出されるＤＣＴ係数の高周波成分のエネルギーが
小さくなる動きベクトルが検出可能である。

【００１８】なお、本実施の形態では、図３では動きベ
クトルと評価値の更新の判定に、動きベクトルの２乗長
を用いたがこれに限定するものではなく、絶対長を用い
てもかまわない。

【００１９】また、本実施の形態では、サーチレンジの
領域形状は符号化対象ブロックの位置を中心とした矩形
領域を使用したが、必ずしも符号化対象ブロックの位置
を中心としなくともよく、矩形以外の領域形状を用いて
もよい。

【００２０】また、本実施の形態では、評価値を水平垂
直方向の隣接画素間の差分の絶対値総和としたが、これ
に限定するものではなく、水平方向の隣接画素間の差分
の絶対値総和、または垂直方向の隣接画素間の差分の絶
対値総和を評価値としてもよい。

【００２１】また、本実施の形態では、ブロックサイズ
を８として例を示したが、これに限定するものではな
く、例えば１６などのように他のサイズでもかまわな
い。

【００２２】また、画素ビット数を８、サーチレンジを
水平±６４、垂直±３２としたが、これに限定するもの
ではない。

【００２３】（実施の形態２）本実施の形態では、符号
化モード決定ステップが決定した符号化モードに基づい
て符号化を行う映像符号化方法について図面を用いて説
明する。

【００２４】図７は本実施の形態の映像符号化方法を実
現する装置の構成を示すブロック図の一例、図８は本発
明の映像符号化方法を説明するフローチャートである。

【００２５】図７において、２００は入力される映像信
号に対して符号化対象ブロック毎に評価値を算出する原
画評価値算出部、２０１は入力される映像信号に対して
動き検出を行う動き検出動き検出部、２０２は原画評価
値算出部２００より出力される評価値ＥＶ２と動き検出
部２０１より出力される評価値ＥＶ１を比較して符号化
モードを決定し、符号化ブロックを出力する符号化モー
ド決定部、２０３は入力される符号化モードに基づい
て、符号化ブロックを離散コサイン変換、量子化、可変
長符号化などのＭＰＥＧ２圧縮を施す圧縮部である。

【００２６】以下、図８のフローチャートを用いて、動
作を説明する。

【００２７】原画評価値算出部２００は入力される映像
信号の符号化対象ブロック毎に、実施の形態１で説明し
た動き検出方法と同様のアルゴリズムで第１の評価値を
求め、算出した第１の評価値ＥＶ２と原画ブロックを出
力する（ステップ８００）。原画評価値算出部２００は
原画にどれぐらい高周波成分がのっているかを算出す
る。一方、動き検出部２０１は、実施の形態１で説明し
た動き検出方法に基づいて入力される映像信号と圧縮部
２０３より出力される予測画像より動き検出を実行し、
算出した第２の評価値ＥＶ１と差分ブロックを出力する
（ステップ８１０）。符号化モード決定部２０２は、原
画評価値算出部２００から入力される第１の評価値ＥＶ
２と、第２の動き検出部２０１から入力される評価値Ｅ
Ｖ１とを比較し、ＥＶ１がＥＶ２以下のときは動き検出
部２０１から入力される差分ブロックの符号化（インタ
ー符号化）を選択し、ＥＶ２がＥＶ１よりも小さい場合
は符号化対象ブロックの符号化（イントラ符号化）を選
択する（ステップ８２０）。符号化モード決定部２０２
は、決定した符号化モードに基づいて、符号化対象ブロ
ックまたは差分ブロックのいずれか一方を符号化ブロッ
クとして選択し、符号化ブロックと符号化モードとを圧
縮部２０３へ出力する。圧縮部２０３は、符号化モード
決定部２０３から入力される符号化モードと動き検出部
２０１から出力される動きベクトルに基づいて、符号化
ブロックを離散コサイン変換、量子化、可変長符号化な
どのＭＰＥＧ２圧縮を施す。圧縮部２０３は符号化映像
を予測映像として動き検出部２０１に出力する。

【００２８】なお、本発明では各実施の形態を独立に説
明したが、それぞれを任意に組み合わせて使用すること
も可能である。

【００２９】

【発明の効果】以上のように、本発明によれば、予測ブ
ロックと符号化対象ブロックより差分ブロックを生成
し、差分ブロック内の隣接画素間の差分の絶対値の総和
を評価値とすることにより、直流成分の変動の影響を排
除した動き検出を提供できる。

【００３０】また、差分ブロックの評価値と符号化対象
ブロックの評価値とから、符号化モードを決定するた
め、符号化画質を向上させることができる。

【図面の簡単な説明】

【図１】本発明の動き検出方法を示すフローチャート

【図２】ブロックマッチングの説明図

【図３】本発明の動き検出方法アルゴリズムの一例を示
す図

【図４】フェードの画素レベル変化の一例を示す図

【図５】直流補正方式の説明図

【図６】本発明の動き検出方法の評価値の説明図

【図７】本発明の映像符号化方法を実現する装置構成の
一例を示すブロック図

【図８】本発明の映像符号化方法を示すフローチャート

【符号の説明】

１０差分ブロックを計算するステップ２０水平方向の評価値計算ステップ３０垂直方向の評価値計算ステップ４０、６０、７０評価値の判定ステップ５０、８０評価値と動きベクトルの更新ステップ９０サーチレンジを示すループステップ８００第１の評価値算出ステップ８１０第２の評価値算出ステップ８２０符号化モード決定ステップ

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C059 KK01 KK19 MA00 MA05 MA23 MC11 MC38 ME02 NN03 NN08 NN11 NN28 PP05 PP06 TA25 TB07 TB08 TC02 TC03 TC10 TC12 TC41 TC42 TD05 TD06 UA39

Claims

【特許請求の範囲】

【請求項１】符号化対象フレームを符号化対象ブロッ
ク毎に予測フレームに基づいて動き予測する動き検出方
法であって、絵の複雑度を示す空間的な周波数情報を含
んだ値を評価値として動き検出判定することを特徴とす
る動き検出方法。
【請求項２】評価値は符号化対象ブロックと予測フレ
ーム内の予測ブロックとの差として与えられる差分ブロ
ックに対して、水平方向の隣接画素間の差分の絶対値総
和であることを特徴とする請求項１記載の動き検出方
法。
【請求項３】評価値は符号化対象ブロックと予測フレ
ーム内の予測ブロックとの差として与えられる差分ブロ
ックに対して、垂直方向の隣接画素間の差分の絶対値総
和であることを特徴とする請求項１記載の動き検出方
法。
【請求項４】評価値は符号化対象ブロックと予測フレ
ーム内の予測ブロックとの差として与えられる差分ブロ
ックに対して、水平垂直方向の隣接画素間の差分の絶対
値総和であることを特徴とする動き検出方法。
【請求項５】符号化対象フレームを符号化対象ブロッ
ク毎に予測フレームに基づいて予測符号化する映像符号
化方法であって、前記符号化対象ブロックより第１の評価値を算出する第
１の評価値算出ステップと、前記符号化対象ブロックと
前記予測フレーム内の予測ブロックの差として与えられ
る差分ブロックより第２の評価値を算出する第２の評価
値算出ステップと、前記第１の評価値と前記第２の評価
値とから符号化モードを決定する符号化モード決定ステ
ップを有し、前記符号化モード決定ステップにより決定
された符号化モードで符号化を行うことを特徴とする映
像符号化方法。
【請求項６】第１の評価値算出ステップおよび第２の
評価値算出ステップは請求項１または請求項２または請
求項３または請求項４記載の動き検出方法に基づいて符
号化対象ブロックの評価値を算出することを特徴とする
請求項５記載の映像符号化方法。
【請求項７】符号化モード決定ステップは、第１の評
価値と、第２の評価値とを比較し、前記第１の評価値が
前記第２の評価値以下の場合は予測を用いる符号化（イ
ンター符号化）を選択し、前記第１の評価値が前記第２
の評価値よりも大きい場合は、予測を用いない符号化
（イントラ符号化）を選択することを特徴とする請求項
６記載の映像符号化方法。