JP2003284091A

JP2003284091A - 動画像符号化方法及び動画像符号化装置

Info

Publication number: JP2003284091A
Application number: JP2002082406A
Authority: JP
Inventors: Wataru Asano; 渉浅野; Shinichiro Koto; 晋一郎古藤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2002-03-25
Filing date: 2002-03-25
Publication date: 2003-10-03

Abstract

(57)【要約】【課題】ハード規模や演算量の増加を最小限に抑えつ
つ、符号化効率を向上させる。【解決手段】マクロブロック毎にフレーム内符号化とフ
レーム間符号化とに切り替えて符号化する動画像符号化
方法において、入力画像の輝度信号を参照して動きベク
トルを検出するステップＳ１と、動きベクトルにより参
照される参照画像と入力画像の輝度信号及び色差信号の
相違を評価して、符号化モードを決定するステップＳ２
を有することを特徴とする動画像符号化方法。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マクロブロック毎
にフレーム内符号化とフレーム間符号化を切り替えて符
号化する動画像符号化方法及び装置に関する。

【０００２】

【従来の技術】MPEG等の動画像符号化では、マクロブロ
ック単位の動き補償予測フレーム間予測符号化が用いら
れている。ハードウエア規模の削減や演算量の削減のた
め、色差信号は用いず、輝度信号のみを用いて動きベク
トルの探索や符号化モードの判定を行うことが一般的で
ある。

【０００３】しかし、輝度信号のみで動きベクトルを求
めた場合、色は異なるが輝度の差が小さいブロックを誤
って参照画像として検出する場合があり、符号化効率の
低下と画質劣化を招く場合があるという問題がある。一
方、輝度信号および色差信号の両方を用いて動きベクト
ル探索及びモード判定を行うと、ハード規模や演算量が
膨大になるという問題がある。

【０００４】

【発明が解決しようとする課題】ここで特開平１１−２
３９３５４号には、輝度信号のみを利用するモード、色
差信号のみを利用するモード、輝度信号と色差信号の双
方を利用するモードの３種類のモードを選択して動きベ
クトルを検出する動きベクトル検出装置が開示されてい
る。

【０００５】しかしこの検出方法によると、画像情報を
事前に調べることにより動きベクトル検出に色を用いる
か否かを選択するような前処理が必要となるため、演算
処理量が増加するという問題がある。

【０００６】また、前述のとおり、輝度信号のみで動き
ベクトルを求めると符号化効率の低下と画質劣化を招く
場合があり、逆に、動きベクトルを輝度信号及び色差信
号の両方を用いて求めると、動きベクトルの検索に必要
な演算量が膨大になるという問題があった。

【０００７】本発明では、ハード規模や演算量の増加を
最小限に抑えつつ、符号化効率を向上させることが可能
な符号化方法を提供することを目的とする。

【０００８】

【課題を解決するための手段】上記課題を解決するた
め、本願の第一発明においては、複数のフレーム画像か
らなる動画像信号をマクロブロック毎にフレーム内符号
化とフレーム間符号化とに切り替えて符号化する動画像
符号化方法において、参照フレーム画像とこれから符号
化すべきフレーム画像の少なくとも輝度信号を参照して
動きベクトルを検出するステップと、前記検出された動
きベクトルの示す位置の参照フレーム画像と前記符号化
すべきフレーム画像との輝度信号及び色差信号の相違を
評価して、マクロブロックの符号化モードをフレーム内
符号化かフレーム間符号化に決定するステップと、決定
された符号化ステップに従って前記符号化すべきフレー
ム画像を符号化するステップとを有することを特徴とす
る。

【０００９】また本願の第一発明において、より解像度
の低い前記符号化すべきフレーム画像、前記参照フレー
ム画像を生成するステップを有し、前記動きベクトルを
検出するステップは、前記解像度の低い符号化すべきフ
レーム画像、参照フレーム画像を用いて、輝度信号に基
づいて粗い動きベクトルを求める第１ステップと、この
第１ステップによって求められた粗い動きベクトルで指
示される前記参照フレーム画像の近傍を輝度信号と色差
信号の両方に基づいて探索し、細かい動きベクトルを求
める第２ステップとを有することを特徴とする。

【００１０】本願の第二発明においては、複数のフレー
ム画像からなる動画像信号をマクロブロック毎にフレー
ム内符号化とフレーム間符号化とに切り替えて符号化す
る動画像符号化方法において、前記マクロブロックを複
数の小規模ブロックに分割するステップと、前記マクロ
ブロック単位で参照フレーム画像とこれから符号化すべ
きフレーム画像の少なくとも輝度信号を参照して動きベ
クトルを検出するステップと、前記小規模ブロック単位
で参照フレーム画像の輝度信号とこれから符号化すべき
フレーム画像の少なくとも輝度信号を参照して第二の動
きベクトルを検出するステップと、前記検出された第
一、第二の動きベクトルの示す位置の参照フレーム画像
と前記符号化すべきフレーム画像との輝度信号及び色差
信号の相違を評価して、マクロブロックの符号化モード
をフレーム内符号化か第一または第二の動きベクトルを
参照するフレーム間符号化に決定するステップと、決定
された符号化ステップに従って前記符号化すべきフレー
ム画像を符号化するステップとを有することを特徴とす
る。

【００１１】また本願の第二発明においては、より解像
度の低い前記符号化すべきフレーム画像、前記参照フレ
ーム画像を生成するステップを有し、前記第一、第二の
動きベクトルを検出するステップは、前記解像度の低い
符号化すべきフレーム画像、参照フレーム画像を用い
て、輝度信号に基づいて粗い第一、第二の動きベクトル
を求める第１ステップと、この第１ステップによって求
められた粗い第一、第二の動きベクトルで指示される前
記参照フレーム画像の近傍を輝度信号と色差信号の両方
に基づいて探索し、細かい第一、第二の動きベクトルを
求める第２ステップとを有することを特徴とする。

【００１２】本願の第三発明においては、複数のフレー
ム画像からなる動画像信号を可変サイズのブロックを含
むマクロブロック毎にフレーム間符号化する動画像符号
化方法において、より解像度の低い前記符号化すべきフ
レーム画像、前記参照フレーム画像を生成するステップ
と、前記解像度の低い符号化すべきフレーム画像、参照
フレーム画像を用いて前記可変サイズのブロック毎に粗
い動きベクトルを求める第一の動きベクトル検出ステッ
プと、前記粗い動きベクトルの示す位置の参照フレーム
画像と前記符号化すべきフレーム画像との相違を評価し
ていずれかの可変サイズのブロックを選択するステップ
と、選択された可変サイズのブロックについて、前記粗
い動きベクトルで指示される位置の近傍の前記参照フレ
ーム画像を探索し、細かい動きベクトルを求める第二の
動きベクトル検出ステップと、この細かい動きベクトル
を用いて前記符号化すべきフレーム画像をフレーム間符
号化するステップとを有することを特徴とする。

【００１３】また本願の第三発明においては、前記第一
の動きベクトル検出ステップは、前記解像度の低い符号
化すべきフレーム画像、参照フレーム画像の少なくとも
輝度信号に基づいて粗い動きベクトルを求め、前記第二
の動きベクトル検出ステップは、この第一の動きベクト
ル検出ステップで検出された粗い動きベクトルで指示さ
れる位置の近傍の前記参照フレーム画像の画素を輝度信
号と色差信号の両方に基づいて探索し、細かい動きベク
トルを求めることを特徴とする。

【００１４】本願の第四発明においては、複数のフレー
ム画像からなる動画像信号をマクロブロック毎にフレー
ム間符号化する動画像符号化方法において、より解像度
の低い前記符号化すべきフレーム画像、参照フレーム画
像を生成するステップと、前記解像度の低い複数の参照
フレーム画像、符号化すべきフレーム画像を用いてそれ
ぞれの参照フレームに対応した粗い動きベクトルを検出
する第一の動きベクトル検出ステップと、この粗い動き
ベクトルの示す位置の参照フレーム画像と前記符号化す
べきフレーム画像との相違を評価して、いずれかの参照
フレームを選択するステップと、前記粗い動きベクトル
で指示される位置の近傍の前記選択された参照フレーム
画像を探索し、細かい動きベクトルを求める第二の動き
ベクトル検出ステップと、この細かい動きベクトルを用
いて前記符号化すべきフレーム画像をフレーム間符号化
するステップとを有することを特徴とする。

【００１５】また本願の第四発明においては、前記第一
の動きベクトル検出ステップは、前記複数の参照フレー
ム画像とこれから符号化すべきフレーム画像の少なくと
も輝度信号に基づいて粗い動きベクトルを検出し、前記
第二の動きベクトル検出ステップは、前記第一の動きベ
クトル検出ステップで検出された粗い動きベクトルの示
す位置の近傍の参照フレーム画像の画素の輝度信号及び
色差信号の両方に基づいて探索し、細かい動きベクトル
を求めることを特徴とする。

【００１６】また本願の第一発明乃至第四発明において
は、マクロブロック毎に複数の画像情報間の輝度信号及
び色差信号の相違に基づいて符号化するか、符号化する
ことなくスキップするか決定するステップと、このスキ
ップ決定により符号化することなくスキップすると決定
されたマクロブロックについて、スキップする旨の識別
信号を付与するステップ有することを特徴とする。

【００１７】また本願の第五発明においては、複数のフ
レーム画像からなる動画像信号をマクロブロック毎にフ
レーム内符号化とフレーム間符号化とに切り替える手段
と、前記切り替えられた符号化方法に従って前記マクロ
ブロック毎のフレーム画像を符号化する手段と、符号化
されたフレーム画像を局部復号する手段とを備えた動画
像符号化装置において、前記局部復号手段により復号さ
れたフレーム画像とこれから符号化すべきフレーム画像
の少なくとも輝度信号を参照して、前記フレーム間画像
符号化に用いる動きベクトルを検出する手段を具備し、
前記符号化方法切り替え手段は、前記検出された動きベ
クトルの示す位置の参照フレーム画像と前記符号化すべ
きフレーム画像との輝度信号及び色差信号の相違を評価
して、マクロブロックの符号化モードをフレーム内符号
化かフレーム間符号化に切り替えることを特徴とする。

【００１８】

【発明の実施の形態】以下に本発明の実施例を図面を参
照して説明する。

【００１９】図１に本発明の動画像符号化装置の全体構
成及び符号化処理の大まかな流れを示す。入力端子を介
して符号化される画像の一部であるマクロブロックの輝
度信号と色差信号が入力される。入力信号は、後述の予
測信号との間で差分を取り、予測誤差信号となる。符号
化モード判定器１０１はこの予測誤差信号を評価し、フ
レーム内符号化かフレーム間符号化を選択し、フレーム
内符号化の場合は入力信号を、フレーム間符号化の場合
は予測誤差信号を後段に出す。そして、離散コサイン変
換（ＤＣＴ）器１０２で変換される。変換されたＤＣＴ
係数は、量子化器１０３で量子化される。可変長符号化
器１０４は、この量子化係数や符号化モード、後述の動
きベクトルなどを可変長符号化する。こうして得られた
信号は出力バッファ１０５に蓄積され、その後伝送路や
記録メディアに出力される。

【００２０】一方、量子化係数は逆量子化器１０６で逆
量子化されてＤＣＴ係数に復号される。更に逆離散コサ
イン変換器１０７を通り、復号予測誤差信号となる。こ
れと予測信号を加算した復号画像信号がフレームメモリ
１０８に記憶される。動き検出器１１０は、入力画像と
フレームメモリに記憶されている参照画像との間でブロ
ックマッチングなどの手法を用いて動きベクトルを求め
る。動き補償器１０９は、前述の動き検出で得られた動
きベクトルに基づいて、予測信号を出力する。

【００２１】ここでＭＰＥＧなどの符号化方法で扱われ
る動画像信号は、一画素を輝度Ｙ、色差Ｃｂ、Ｃｒとい
う３つの８ビットの情報で表現され、例えば４：２：０
の画像信号の場合には、輝度信号Ｙに対して２種類の色
差信号Ｃｂ、Ｃｒは縦方向にも横方向にも１／２に削減
することにより、主観的に画質に影響を与えないように
色情報が削減されている。

【００２２】すなわち図９に示すように、画像信号は、
縦（２ｎ）、横（２ｍ）の画面サイズの輝度信号Ｙ１
と、縦と横の画面サイズが輝度信号の半分、すなわち縦
ｎ、横ｍである二つの色差信号Ｃｂ２及びＣｒ３からな
るものとする。

【００２３】次に本発明の第一の実施形態（動きベクト
ル検出方法）の流れを示すフローチャートを図２に示
す。ステップＳ１で、入力された画像を符号化するにあ
たり、符号化すべき画像信号及び参照信号の輝度信号に
基づいて動きベクトルを決定する。ステップ２で、輝度
信号と色差信号を利用して入力画像の符号化モードを決
定する。

【００２４】ＭＰＥＧなどの動画像符号化方法では動画
像信号を構成するフレーム画像を複数のマクロブロック
に分割して処理するので、それぞれのマクロブロックが
参照画面上のどの位置の画像と類似するかを評価し、現
画像のマクロブロックと参照画面上の類似画像との相対
位置を表わす情報として、動きベクトルが用いられてい
る。

【００２５】動きベクトルは、ある時刻の画像（対象画
像）と、それとは別の時刻の画像（参照画像）で物体が
どのように動いたかを表すベクトルである。ここで図１
０に動きベクトルの探索方法を示す。４は参照画面、５
は参照画面上に予め設定された動きベクトルの探索範
囲、６は、符号化すべき画面７上の符号化すべきマクロ
ブロックの画像信号８を比較・評価する（ブロックマッ
チング）ことにより得られる類似度の最も高い参照画像
の画像信号の候補を示す。

【００２６】動きベクトルの決定方法は幾つかあるが、
ここでは代表的な手法であるブロックマッチング法を例
に説明する。ブロックマッチング法では、図１０の符号
化対象画像７の対象マクロブロック８と参照画像４の空
間的に同位置周辺のサーチエリア５内を参照マクロブロ
ックを移動させながら、輝度信号Ｙの差分絶対値和

【００２７】

【数１】

【００２８】を計算する。ここで、ｗｉｄｔｈ、ｈｅｉ
ｇｈｔはそれぞれマクロブロックの横サイズと縦サイ
ズ、ｕ、ｖは参照マクロブロックの相対位置であり、サ
ーチエリア内で変動する。例えば

【００２９】

【数２】

【００３０】である。そして、この値が最小になる参照
マクロブロックの位置６を示すのが、動きベクトルとし
て求められる。

【００３１】

【数３】

【００３２】は動きベクトルの座標を表わす。

【００３３】次に図２のステップＳ２で符号化モードを
決定する手続の詳細について、フローチャートを図４に
示す。

【００３４】まず、ステップＳ６において、符号化対象
であるマクロブロックの画像信号の輝度信号の平均値を
求める。すなわち、

【００３５】

【数４】

【００３６】を求める。次に、ステップＳ７において、
その輝度信号の平均値と各画素の輝度信号との差分絶対
値和

【００３７】

【数５】

【００３８】を計算する。そしてステップＳ８におい
て、既に求まっている差分絶対値和ＳＡＤ＿ＩＮＴＥＲ
と比較して、ＳＡＤ＿ＩＮＴＲＡの方がＳＡＤ＿ＩＮＴ
ＲＡ−αより小さければ、符号化モードをフレーム内符
号化に決定し（ステップＳ１１）、終了する。ここで、
αは符号化モード判定を調整するパラメータである。

【００３９】そうでなければ、ステップＳ９において、
色差信号を用いて、対象マクロブロックと動きベクトル
が指し示す参照マクロブロックの差分絶対値和

【００４０】

【数６】

【００４１】を計算する。そして、ここで計算されたＳ
ＡＤ＿Ｃの値と閾値Ｔｈｒの大きさとを比較し（ステッ
プＳ１０）、ＳＡＤ＿Ｃが閾値Ｔｈｒより大きければ符
号化モードをフレーム内符号化に決定し（ステップＳ１
１）、そうでなければフレーム間符号化に決定する（ス
テップＳ１２）。以上で、符号化すべきマクロブロック
の画像の符号化モードが決定され、そのモードに従って
そのマクロブロックの画像を符号化する。

【００４２】ところで、上述した実施例の如く、動きベ
クトルをブロックマッチング法で求める場合には、動き
ベクトルの探索範囲（サーチエリア）内の全候補に対し
て、フレーム間差分絶対値和：ＳＡＤ＿ＩＮＴＥＲを求
めるのは、処理計算量が多く時間がかかるという欠点が
ある。したがって、これらの処理を数段階に分けて階層
的なフレーム画像に対して、解像度の異なる複数の参照
画面に対してブロックマッチングを施すことにより、動
きベクトル探索に要する処理計算量を削減することがで
きる。

【００４３】この処理を図１１を参照して説明する。参
照画面９上において、符号化すべきマクロブロックの画
像１２とのブロックマッチングにより、動きベクトル探
索を行なう場合に、例えば、第一段階では２画素毎に検
索し、符号化マクロブロック１２と参照画像９を１画素
おきに間引いてサブサンプリングされた粗い画像として
ブロックマッチングを行なうことにより、１回目の動き
ベクトル１３の探索を行なう。次に、第二段階では第一
段階で求められた動きベクトル１３で指示される参照マ
クロブロック１１の画像の周囲の１画素を含めた参照画
像を探索することにより、より詳細な動きベクトル探索
を行なうことができる。

【００４４】次に、本発明の第２の実施形態を、図３の
フローチャートを参照しながら説明する。第２の実施形
態は、解像度の異なる複数の参照画面に対して、解像度
の低い参照画像について輝度信号を用いて第一段階の動
きベクトル探索を実施し、次に解像度の高い参照画像に
ついて輝度信号と色差信号の双方を用いて第二段階の動
きベクトル探索を行なうものである。すなわち、第一段
階では輝度信号のみで動きベクトルを探索し（ステップ
Ｓ３）、第二段階では輝度信号と色差信号の両方の差分
絶対値和の大きさを評価して、より詳細な動きベクトル
探索を実現する（ステップＳ４）。そして、これらの結
果に基づき、各マクロブロック毎に最適な符号化モード
を決定する（ステップＳ５）。これにより、動きベクト
ル探索の計算量の増加を抑えつつより、正確な動きベク
トルを求めることが可能となる。

【００４５】ここで、本発明では、２画素精度及び１画
素精度の２段階の処理に限定されず、例えば第１段階で
2画素精度、第２段階で１画素精度、第3段階で０．５画
素精度とし、第１段階は輝度のみ、第２段階および第3
段階では輝度と色差の両方を使うといった構成でもよ
い。この後の符号化モード判定（ステップＳ５）は、第
一の実施形態の図２のステップＳ２の説明及び図４の各
ステップの説明と同様であるため、再度の記述を省略す
る。ただし、第二の実施形態においては、「ＳＡＤ＿
Ｃ」は既に求められているのでステップＳ９の処理を省
略することができる。

【００４６】本発明の第三の実施形態においては、ＭＰ
ＥＧ４など１マクロブロック中に複数の動きベクトルを
持つことの出来る場合、上記のフレーム内符号化とフレ
ーム間符号化の選択に、フレーム間符号化の場合には、
一つの動きベクトルを利用して動き補償予測符号化を行
なう場合と複数の動きベクトルを利用して動き補償予測
符号化を行なう場合のどちらかを選択する必要がある。
第三の実施形態はこれに対応したものである。

【００４７】まず、第一の実施形態と同様に符号化すべ
きマクロブロックにふくまれる画素の輝度信号を用いて
動きベクトルを探索し、一つの動きベクトルを決定す
る。次に、マクロブロックを更に細かい複数のブロック
に分割し、それぞれに対して動きベクトルを求める。

【００４８】例えば図１２に示す如く、符号化すべきフ
レーム画像１４に含まれるの一つのマクロブロック１６
の画像サイズを縦、横半分にした４つの小規模ブロック
に分割し、それぞれの小規模ブロックについて参照画像
と比較することにより動きベクトル探索を行なう。小規
模ブロック毎に動きベクトルを探索するので、マクロブ
ロック１６について４つの動きベクトルが定義される。

【００４９】続いてマクロブロックの符号化モード決定
する手続について、図５を参照しながら説明する。ステ
ップＳ１３において、マクロブロックに対して定義され
る一つの動きベクトルにより指示される参照画像とのフ
レーム間差分の絶対値和を求める。またステップＳ１４
において、マクロブロックが分割された複数の小規模ブ
ロックに対してそれぞれ定義されるマクロブロックによ
り指示される参照画像とのフレーム間差分の絶対値和を
求める。次に本発明の第一の実施形態と同様に、ステッ
プＳ１５において、フレーム内差分の絶対値和：ＳＡＤ
＿ＩＮＴＲＡを求める。ステップＳ１６において、

【００５０】

【数７】

【００５１】を計算する。ここで、β、γは符号化モー
ド判定を調整するパラメータである。ステップＳ１６の
結果のうち、ＳＡＤ＿ＩＮＴＲＡ−βが最小であれば
（ステップＳ１７）、符号化モードをフレーム内符号化
に決定する（ステップＳ２１）。そうでなければ、ステ
ップＳ１８、それぞれの動きベクトルモードでのＳＡＤ
＿Ｃを計算し（Ｓ１８、Ｓ１９）、

【００５２】

【数８】

【００５３】であれば（ステップＳ２０）符号化モード
をフレーム内符号化に決定する（ステップＳ２１）。こ
こで、δは符号化モード判定を調整するパラメータであ
る。そうでなければステップＳ２２において、

【００５４】

【数９】

【００５５】と

【００５６】

【数１０】

【００５７】を比較して（ステップＳ２２）、

【００５８】

【数１１】

【００５９】の方が値が小さければ、符号化モードを複
数の動きベクトルを持つフレーム間符号化に決定し（ス
テップＳ２４）、そうでなければ一つの動きベクトルを
持つフレーム間符号化に決定する（ステップＳ２３）。
ここで、ｋ、εは符号化モード判定を調整するパラメー
タである。

【００６０】この第三の実施形態においては、先にフレ
ーム内符号化かフレーム間符号化かを決定し、フレーム
間符号化だった場合には、後に動きベクトルの本数を先
に決定しているが、先に動きベクトルの本数を決めてか
ら、フレーム内符号化との比較を行ってもよいし、３つ
のモード全てを同時に比較してもよい。

【００６１】本発明の第四の実施形態は、第二の実施形
態と第三の実施形態を組み合わせたものである。すなわ
ち、マクロブロックの符号化モードとして、フレーム内
符号化モード、一つの動きベクトルを利用したフレーム
間符号化モード及びマクロブロックを複数の小規模ブロ
ックに分割した場合の複数の動きベクトルを利用したフ
レーム間符号化モードを用いる動画像符号化装置、方法
において、入力画像の輝度信号を参照して動きベクトル
を検出した後、輝度信号と色差信号の双方に基づいて入
力画像と参照画像との誤差信号を評価し、そのマクロブ
ロックの符号化モードを決定する。

【００６２】実施形態においては、動きベクトル検索の
途中から色差信号も使って符号化モードを決定するので
あるが、それは輝度信号を用いて動きベクトル探索を行
なうのは、マクロブロックに対する一つの動きベクトル
を求める途中からでも良いし、マクロブロックに含まれ
る小規模ブロックに対する複数動きベクトルを求める段
階からでもよい。

【００６３】また第四の実施形態において、先にフレー
ム内符号化かフレーム間符号化かを決定し、フレーム間
符号化だった場合には、後に動きベクトルの本数を先に
決定しているが、先に動きベクトルの本数を決めてか
ら、フレーム内符号化との比較を行ってもよいし、３つ
のモード全てを同時に比較してもよい。つまり、輝度信
号と色差信号の両方があれば本発明を適用できる。

【００６４】Ｈ．２６Ｌなど、マクロブロック内に可変
サイズのブロックを持つことができる場合、どのブロッ
クサイズを選択するかを決定してから、それぞれのブロ
ックに対して動きベクトルを決定する必要がある。第五
の実施形態（図６にフローチャートを示す）はこれに対
応したものである。

【００６５】すなわちマクロブロックの符号化モードと
して、一つの動きベクトルを利用したフレーム間符号化
モード及び可変ブロックの動きベクトルを利用したフレ
ーム間符号化モードを用いる動画像符号化装置、方法に
おいて、入力画像が、例えば１画素おきに、画素間引き
された解像度の低い画像により第一段階の動きベクトル
検出をした後、参照画像と符号化すべき画像との誤差を
評価することにより、もっとも誤差の小さい参照画像を
与える動きベクトル、可変ブロックサイズを選択し、選
択された可変ブロックについて検出された動きベクトル
によって指示される位置の周囲の参照画像を、画素間引
きする前の入力画像を利用して詳細に動きベクトル検出
して最終的な動きベクトルを決定する。この最終的な動
きベクトルを用いて符号化すべき画像をフレーム間符号
化する。

【００６６】マクロブロックが分割された可変ブロック
の構成例を図１３に示す。（ａ）は分割される基本とな
るサイズのマクロブロック、（ｂ）は縦（垂直方向）に
１／２に分割された２つの可変ブロック、（ｃ）は横
（水平方向）に１／２に分割された２つの可変ブロッ
ク、（ｄ）は縦横にそれぞれ１／２に分割された４つの
可変ブロック、（ｅ）は縦に１／４、横に１／２にそれ
ぞれ分割された８つの可変ブロック、（ｆ）は縦に１／
２、横に１／４にそれぞれ分割された８つの可変ブロッ
ク、（ｇ）は縦横にそれぞれ１／４に分割された１６個
の可変ブロックの構成例を示す。

【００６７】これらの可変ブロックにおいては、分割さ
れた可変ブロック毎に動きベクトルが定義されるので、
例えば（ｂ）、（ｃ）では２つの可変ブロック毎にそれ
ぞれ１本ずつ、計２本の動きベクトルが定義される。同
様に（ｄ）では計４本、（ｅ）、（ｆ）では計８本、
（ｇ）では計１６本の動きベクトルが定義されることと
なる。

【００６８】具体的には、図６に示すように、まずステ
ップＳ２５において、それぞれのブロックサイズに対し
て、画素間引きされた粗い画像で動きベクトルを、例え
ば第一の実施形態と同様に輝度信号のみを参照して求め
る。次にステップＳ２６で、上記で求められたそれぞれ
の動きベクトルが指示する参照マクロブロックとの差分
絶対値和ＳＡＤ＿ＩＮＴＥＲを求め、それが最小である
ものを用いるブロックサイズとして決定する。そしてス
テップＳ２７で、決定されたブロックサイズでの粗い画
像で検出された動きベクトルの近傍を、画素間引きして
いない原画像において細かく探索することにより、ステ
ップＳ２８にて、ＳＡＤ＿ＩＮＴＥＲが最小となる動き
ベクトルを決定することができる。

【００６９】例えば図１３（ｂ）〜（ｇ）の如く、一つ
のマクロブロックに対して複数の可変サイズのブロック
に分割された場合を想定すると、分割された可変ブロッ
クのそれぞれに対して、例えば１／２画素間引きされた
（１画素おきにサブサンプリングされた）画像を用いて
動きベクトル検出する。そして入力画像と参照画像との
誤差を評価して、誤差が最小となるブロックサイズを決
定する。決定されたブロックサイズに基づいて検出され
た動きベクトルに指示される参照画像の周囲を画素間引
きされる前の原画像を用いて動きベクトル探索を行なう
ことにより、最終的な動きベクトルを決定する。

【００７０】本実施形態において、ブロックサイズを決
定するに際し、入力画像の輝度信号を参照して動きベク
トルを検出した後、輝度信号と色差信号の双方に基づい
て入力画像と参照画像との誤差信号を評価し、そのマク
ロブロックの符号化モードを決定することも可能であ
る。

【００７１】また本実施形態を利用した可変ブロックの
フレーム間符号化モードを含めた、フレーム内符号化モ
ード、フレーム間符号化モードを選択する処理を含め
て、動画像符号化方法を構成することも可能である。

【００７２】Ｈ．２６Ｌなど、マクロブロック毎にフレ
ーム間符号化の際に複数の参照フレームの中から一つの
参照フレームを選ぶことができる場合（図１４）、どの
参照フレームを用いるかを選択する必要がある。例えば
図１４の如く、符号化すべきフレーム画像２１に対し
て、直前の過去の参照フレーム２０のみならず、それ以
前の過去の参照フレーム１７〜１９などを選択すること
ができる場合が想定される。本発明の第六の実施形態は
これに対応したものである。

【００７３】図７に、第六の実施形態を説明するための
フローチャートを示す。まずステップＳ２９で、複数の
参照フレームそれぞれに対して粗い動きベクトルを第一
の実施形態と同様に輝度信号のみで求める。次にステッ
プＳ３０で、上記で求められたそれぞれの動きベクトル
が指示する参照マクロブロックとの差分絶対値和ＳＡＤ
＿ＩＮＴＥＲを求め、それが最小であるものを参照フレ
ームと決定する。そして、ステップＳ３１で、決定され
た参照フレーム画像の粗い動きベクトルで指示される画
像ブロックの近傍をより解像度の高い画像でより細かく
動きベクトル探索を行ない、ステップＳ３２で、ＳＡＤ
＿ＩＮＴＥＲが最小となる動きベクトルを求める。

【００７４】第六の実施形態においては、より正確な動
きベクトルを求めるために、第二の実施形態と同様に動
きベクトル探索の第二段階で色差信号も用いている。

【００７５】また本実施形態を利用した複数の参照フレ
ームのフレーム間符号化モードを含めた、フレーム内符
号化モード、フレーム間符号化モードを選択する処理を
含めて、動画像符号化方法を構成することも可能であ
る。

【００７６】以上のように、符号化すべきマクロブロッ
クの符号化モードをフレーム内符号化かフレーム間符号
化に選択する以外にもＭＰＥＧなどでは、マクロブロッ
クの符号化をスキップして以前のフレームをそのまま用
いる（符号化しない）モードが存在する。第七の実施形
態は、符号化するかスキップして以前のフレーム画像を
そのまま用いる（符号化しない）か、を判定する動画像
符号化方法を示している（図８にフローチャートを示
す）。

【００７７】まずステップＳ３３において、対象マクロ
ブロックと参照フレームの画面内の同じ位置の画素の輝
度信号及び色差信号の差分絶対値和ＳＡＤ＝ＳＡＤ＿ＩＮＴＥＲ＋η×ＳＡＤ＿Ｃを求める。ここで、ηは符号化モード判定を調整するパ
ラメータである。そしてステップＳ３４において、ＳＡ
Ｄと閾値Ｔｈｒとを比較し、ＳＡＤが閾値Ｔｈｒより小
さければマクロブロックを符号化せずにスキップし（ス
テップＳ３５）、そうでなければ符号化する（ステップ
Ｓ３６）。

【００７８】以上の実施形態においては、動きベクトル
の探索、検出、決定を、符号化マクロブロックと参照マ
クロブロックとのブロックマッチング法で行っていた
が、これは移動点検出法など別の方法を用いても実現す
ることができる。

【００７９】また、色差情報としてＣｂ，Ｃｒの両方を
用いているが、どちらか片方のみでもよいし、別の色差
情報のＵ，Ｖなどを用いてもよい。

【００８０】さらに、以上の実施形態においては、符号
化モードの判定をまず輝度信号で行ってから、色差信号
で判定しているが、色差信号での判定を先に行ってもよ
い。

【００８１】また第五から第七の実施形態の後には、第
一の実施形態のように輝度信号と色差信号に基づいて符
号化モードを決定することも可能である。

【００８２】

【発明の効果】以上説明したように、本発明によれば、
動きベクトル探索に伴う計算量の増加を最小限に抑えつ
つ色差信号の差が大きいマクロブロックでも最適なモー
ド判定をすることが可能となる。

【００８３】特に第一の実施形態、第三の実施形態にお
いては、輝度信号のみで動きベクトルと符号化モードを
決定する場合と比べてほとんど同じ計算量で色差信号の
差が大きいマクロブロックでも画質の優れた符号化が可
能となる。これは、輝度信号の差が小さく色差信号の差
が大きいなど、動きベクトルが正確でない場合には、フ
レーム間符号化ではなくフレーム内符号化を選択するよ
うになっているためである。

【００８４】また第二の実施形態、第四の実施形態にお
いては、輝度信号のみで動きベクトルを決定する場合と
比べ、途中からは色差信号も用いて検索をするためより
正確な動きベクトルが求められる上に、はじめから輝度
信号と色差信号の両方で動きベクトルを決定する場合よ
り計算量を大幅に減らすことが可能となる。また、符号
化モード判定にも色差信号を用いているため、より最適
なモードを選択することができる。

【図面の簡単な説明】

【図１】本発明の動画像符号化装置の全体構成を示す
図。

【図２】本発明の第一の実施形態を説明するフローチ
ャート。

【図３】本発明の第二の実施形態を説明するフローチ
ャート。

【図４】本発明の第一の実施形態の詳細なステップを
説明するためのフローチャート。

【図５】本発明の第三及び第四の実施形態を説明する
フローチャート。

【図６】本発明の第五の実施形態を説明するフローチ
ャート。

【図７】本発明の第六の実施形態を説明するフローチ
ャート。

【図８】本発明の第七の実施形態を説明するフローチ
ャート。

【図９】輝度信号と色差信号からなる画像空間の構成
例を説明する図。

【図１０】ブロックマッチング法による動きベクトル
の検索方法を説明する図。

【図１１】二段階に分かれた動きベクトルの検索方法
を説明する図。

【図１２】複数の動きベクトルの動き検索方法を説明
する図。

【図１３】複数の可変サイズブロックの構成例を説明
する図。

【図１４】複数の参照フレームを参照可能な動き検索
方法を説明する図。

【符号の説明】

１０１…符号化モード判定器１０２…離散コサイン変換（ＤＣＴ）器１０３…量子化器１０４…可変長符号化器１０５…出力バッファ１０６…逆量子化器１０７…逆離散コサイン変換器１０８…フレームメモリ１０９…動き補償器１１０…動き検出器Ｓ１、Ｓ３、Ｓ４、Ｓ２５、Ｓ２７、Ｓ２９、Ｓ３１…
動きベクトル検索ステップＳ２、Ｓ５…符号化モード決定ステップＳ６、Ｓ１５…ＳＡＤ＿ＩＮＴＥＲ計算ステップＳ７、Ｓ１３、Ｓ１４…ＳＡＤ＿ＩＮＴＲＡ計算ステッ
プＳ８、Ｓ１０、Ｓ１７、Ｓ２０、Ｓ２２…符号化モード
決定ステップＳ９、Ｓ１８、Ｓ１９…ＳＡＤ＿Ｃ計算ステップＳ１１、Ｓ２１…フレーム内符号化ステップＳ１２、Ｓ２３、Ｓ２４…フレーム間符号化ステップＳ１６…最小輝度差分値計算ステップＳ２６…ブロックサイズ決定ステップＳ２８、Ｓ３２…動きベクトル決定ステップＳ３０…参照フレーム決定ステップ１…輝度信号画像２、３…色差信号画像４、１７、１８、１９、２０…参照画像５、１４…探索範囲６…移動元マクロブロック７、２１…対象画像８…対象マクロブロック９…全探索範囲１０…近傍探索範囲１１…移動先マクロブロック１２…対象マクロブロック１３…粗い動きベクトル１５…複数の動きベクトル１６…複数に分割されたマクロブロック

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C057 EA02 EA07 ED09 EG06 EG08 EM09 EM13 EM16 GH03 GH05 GJ09 5C059 KK19 MA00 MA04 MA05 MA23 MC11 MC38 ME01 NN03 NN28 PP04 PP16 PP26 RC16 TA18 TB07 TC12 TD05 TD12 UA02 UA05 UA33

Claims

【特許請求の範囲】

【請求項１】複数のフレーム画像からなる動画像信号を
マクロブロック毎にフレーム内符号化とフレーム間符号
化とに切り替えて符号化する動画像符号化方法におい
て、参照フレーム画像とこれから符号化すべきフレーム
画像の少なくとも輝度信号を参照して動きベクトルを検
出するステップと、前記検出された動きベクトルの示す
位置の参照フレーム画像と前記符号化すべきフレーム画
像との輝度信号及び色差信号の相違を評価して、マクロ
ブロックの符号化モードをフレーム内符号化かフレーム
間符号化に決定するステップと、決定された符号化ステ
ップに従って前記符号化すべきフレーム画像を符号化す
るステップとを有することを特徴とする動画像符号化方
法。
【請求項２】より解像度の低い前記符号化すべきフレー
ム画像、前記参照フレーム画像を生成するステップを有
し、前記動きベクトルを検出するステップは、前記解像
度の低い符号化すべきフレーム画像、参照フレーム画像
を用いて、輝度信号に基づいて粗い動きベクトルを求め
る第１ステップと、この第１ステップによって求められ
た粗い動きベクトルで指示される前記参照フレーム画像
の近傍を輝度信号と色差信号の両方に基づいて探索し、
細かい動きベクトルを求める第２ステップとを有するこ
とを特徴とする請求項１記載の動画像符号化方法。
【請求項３】複数のフレーム画像からなる動画像信号を
マクロブロック毎にフレーム内符号化とフレーム間符号
化とに切り替えて符号化する動画像符号化方法におい
て、前記マクロブロックを複数の小規模ブロックに分割
するステップと、前記マクロブロック単位で参照フレー
ム画像とこれから符号化すべきフレーム画像の少なくと
も輝度信号を参照して動きベクトルを検出するステップ
と、前記小規模ブロック単位で参照フレーム画像の輝度
信号とこれから符号化すべきフレーム画像の少なくとも
輝度信号を参照して第二の動きベクトルを検出するステ
ップと、前記検出された第一、第二の動きベクトルの示
す位置の参照フレーム画像と前記符号化すべきフレーム
画像との輝度信号及び色差信号の相違を評価して、マク
ロブロックの符号化モードをフレーム内符号化か第一ま
たは第二の動きベクトルを参照するフレーム間符号化に
決定するステップと、決定された符号化ステップに従っ
て前記符号化すべきフレーム画像を符号化するステップ
とを有することを特徴とする動画像符号化方法。
【請求項４】より解像度の低い前記符号化すべきフレー
ム画像、前記参照フレーム画像を生成するステップを有
し、前記第一、第二の動きベクトルを検出するステップ
は、前記解像度の低い符号化すべきフレーム画像、参照
フレーム画像を用いて、輝度信号に基づいて粗い第一、
第二の動きベクトルを求める第１ステップと、この第１
ステップによって求められた粗い第一、第二の動きベク
トルで指示される前記参照フレーム画像の近傍を輝度信
号と色差信号の両方に基づいて探索し、細かい第一、第
二の動きベクトルを求める第２ステップとを有すること
を特徴とする請求項３記載の動画像符号化方法。
【請求項５】複数のフレーム画像からなる動画像信号を
可変サイズのブロックを含むマクロブロック毎にフレー
ム間符号化する動画像符号化方法において、より解像度
の低い前記符号化すべきフレーム画像、前記参照フレー
ム画像を生成するステップと、前記解像度の低い符号化
すべきフレーム画像、参照フレーム画像を用いて前記可
変サイズのブロック毎に粗い動きベクトルを求める第一
の動きベクトル検出ステップと、前記粗い動きベクトル
の示す位置の参照フレーム画像と前記符号化すべきフレ
ーム画像との相違を評価していずれかの可変サイズのブ
ロックを選択するステップと、選択された可変サイズの
ブロックについて、前記粗い動きベクトルで指示される
位置の近傍の前記参照フレーム画像を探索し、細かい動
きベクトルを求める第二の動きベクトル検出ステップ
と、この細かい動きベクトルを用いて前記符号化すべき
フレーム画像をフレーム間符号化するステップとを有す
ることを特徴とする動画像符号化方法。
【請求項６】前記第一の動きベクトル検出ステップは、
前記解像度の低い符号化すべきフレーム画像、参照フレ
ーム画像の少なくとも輝度信号に基づいて粗い動きベク
トルを求め、前記第二の動きベクトル検出ステップは、
この第一の動きベクトル検出ステップで検出された粗い
動きベクトルで指示される位置の近傍の前記参照フレー
ム画像の画素を輝度信号と色差信号の両方に基づいて探
索し、細かい動きベクトルを求めることを特徴とする請
求項５記載の動画像符号化方法。
【請求項７】複数のフレーム画像からなる動画像信号を
マクロブロック毎にフレーム間符号化する動画像符号化
方法において、より解像度の低い前記符号化すべきフレ
ーム画像、参照フレーム画像を生成するステップと、前
記解像度の低い複数の参照フレーム画像、符号化すべき
フレーム画像を用いてそれぞれの参照フレームに対応し
た粗い動きベクトルを検出する第一の動きベクトル検出
ステップと、この粗い動きベクトルの示す位置の参照フ
レーム画像と前記符号化すべきフレーム画像との相違を
評価して、いずれかの参照フレームを選択するステップ
と、前記粗い動きベクトルで指示される位置の近傍の前
記選択された参照フレーム画像を探索し、細かい動きベ
クトルを求める第二の動きベクトル検出ステップと、こ
の細かい動きベクトルを用いて前記符号化すべきフレー
ム画像をフレーム間符号化するステップとを有すること
を特徴とする動画像符号化方法。
【請求項８】前記第一の動きベクトル検出ステップは、
前記複数の参照フレーム画像とこれから符号化すべきフ
レーム画像の少なくとも輝度信号に基づいて粗い動きベ
クトルを検出し、前記第二の動きベクトル検出ステップ
は、前記第一の動きベクトル検出ステップで検出された
粗い動きベクトルの示す位置の近傍の参照フレーム画像
の画素の輝度信号及び色差信号の両方に基づいて探索
し、細かい動きベクトルを求めることを特徴とする請求
項７記載の動画像符号化方法。
【請求項９】マクロブロック毎に複数の画像情報間の輝
度信号及び色差信号の相違に基づいて符号化するか、符
号化することなくスキップするか決定するステップと、
このスキップ決定により符号化することなくスキップす
ると決定されたマクロブロックについて、スキップする
旨の識別信号を付与するステップ有することを特徴とす
る請求項１〜８記載の動画像符号化方法。
【請求項１０】複数のフレーム画像からなる動画像信号
をマクロブロック毎にフレーム内符号化とフレーム間符
号化とに切り替える手段と、前記切り替えられた符号化
方法に従って前記マクロブロック毎のフレーム画像を符
号化する手段と、符号化されたフレーム画像を局部復号
する手段とを備えた動画像符号化装置において、前記局
部復号手段により復号されたフレーム画像とこれから符
号化すべきフレーム画像の少なくとも輝度信号を参照し
て、前記フレーム間画像符号化に用いる動きベクトルを
検出する手段を具備し、前記符号化方法切り替え手段
は、前記検出された動きベクトルの示す位置の参照フレ
ーム画像と前記符号化すべきフレーム画像との輝度信号
及び色差信号の相違を評価して、マクロブロックの符号
化モードをフレーム内符号化かフレーム間符号化に切り
替えることを特徴とする動画像符号化装置。