JP2001061153A - 動画像符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】発生符号量の多い動画像に対して、視覚的品質
を保ちながら滑らかな動画像の符号化を実現する。 【解決手段】入力画像について動きベクトルを持つブロ
ックを１、持たないブロックを０とする（領域Ａでの判
定）。また、動きベクトルを持つブロックが参照画像に
マッチングした領域が属するブロックを１、属さないブ
ロックを０とする（領域Ｂでの判定）。そして、領域Ａ
での判定結果が１であれば、領域Ｂにおける判定結果を
問わず Level値１とし、領域Ａにおける判定結果が０且
つ領域Ｂにおける判定結果が１であれば Level値２と
し、これら領域Ａ，Ｂにおける判定結果がいずれも０で
あれば Level値０とする。そして、 Level値０のブロッ
クは全ＤＣＴ係数を０に変換し、 Level値１のブロック
は色差信号の全ＤＣＴ係数を０とし、輝度信号のみを伝
送し、 Level値２のブロックは輝度信号および色差信号
全てを伝送する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル処理によ
り動画像信号を符号化する動画像符号化装置に関し、特
に動き補償予測フレーム間符号化装置に関する。

【０００２】

【従来の技術及び発明が解決しようとする課題】動画像
を伝送したり蓄積するシステムにおいて、伝送又は蓄積
のために画像の情報を減らす圧縮符号化する技術として
動き補償や離散コサイン変換（ＤＣＴ）など様々な方式
が開発されている。

【０００３】図９は、従来の動画像符号化装置の例とし
て、動き補償予測とＤＣＴを用いた符号化装置の基本構
成を示したものである。入力画像信号Ｓ１は前処理部４
０１で予め決められた複数領域に分割される。図１０に
示すように、ＭＰＥＧ（Moving Picture Experts Grou
p）では、１マクロブロック単位に予測が行われる。８
画素×８画素を１ブロックとして、輝度信号４ブロッ
ク、色差信号各１ブロック、計６ブロックで１マクロブ
ロックが形成される。そして、この分割されたブロック
単位で動き予測が行われる。つまり、１６×１６のマク
ロブロック（輝度信号及び色差信号がセットとなる）が
分割する対象領域の単位となる。

【０００４】そして、動き補償器４０９においては、前
処理部４０１から出力されたマクロブロック単位の入力
画像信号Ｓ２とフレームメモリ４０８に貯えられている
既に符号化及び局部復号化された前フレームの参照画像
信号Ｓ１２とに基づいて動きベクトルＳ４が検出され、
その動きベクトルＳ４と参照画像信号Ｓ１２を用いて予
測画像信号Ｓ３が生成される。ただし、動き補償器４０
９では、動き予測信号と入力画像信号をそのまま符号化
に用いるフレーム内符号化（予測画像信号＝０）のう
ち、好適な方の予測モードが選択され、予測画像信号Ｓ
３として出力される。

【０００５】次に、減算器４０２において入力画像信号
Ｓ２から予測画像信号Ｓ３が減算され、予測残差信号Ｓ
５として出力される。この出力された予測残差信号Ｓ５
は、離散コサイン変換（ＤＣＴ）器４０３において一定
の大きさのブロック単位でＤＣＴされる。ＤＣＴにより
得られたＤＣＴ係数Ｓ６は、量子化（Ｑ）器４０４にお
いて量子化される。

【０００６】この量子化されたＤＣＴ係数Ｓ７は二分岐
され、その一方は第１の可変長符号化（ＶＬＣ）器４１
３で符号化される。符号化されたＤＣＴ係数情報Ｓ１３
は、多重化器４１５において、第２の可変長符号化器４
１４で符号化された動きベクトル情報Ｓ１４と多重化さ
れる。

【０００７】また、量子化されたＤＣＴ係数Ｓ７の内の
他方は、逆量子化（ＩＱ）器４０５で逆量子化され、そ
の逆量子化信号Ｓ９はさらに逆離散コサイン変換（ＩＤ
ＣＴ）器４０６で逆離散コサイン変換される。逆離散コ
サイン変換信号Ｓ１０は加算器４０７で予測画像信号Ｓ
３と加算され、フレームメモリ４０８に参照画像信号Ｓ
１１として記憶される。以後この動作を繰り返す。

【０００８】図９に示した動画像符号化装置において、
発生符号量を制御するために量子化器４０４において量
子化幅を制御する方法が知られている。量子化幅は前画
面または前ブロックの発生符号量を参照し、画面全体ま
たはブロック単位に制御される。この際、許容される符
号量が不足する場合がある。

【０００９】この対策として、例えば特開平９−２３４
２７号公報に開示されているように、出力バッファのデ
ータ量の割合によりＤＣＴ係数の高周波成分をカットす
る割合を変える手法がある。しかし、この場合は符号化
対象画像の性質を考慮していないため、フレームごとの
画質にばらつきが生じる。

【００１０】そこで本発明は、発生符号量の多い動画像
に対して、視覚的品質を保ちながら滑らかな動画像を符
号化することを目的とする。

【００１１】

【課題を解決するための手段】上記目的を達成するため
になされた請求項１記載の発明は、所定サイズのブロッ
クに分割されたそのブロック単位の入力画像に対して変
換符号化及び可変長符号化を順次施すと共に、前記変換
符号化された画像に対して逆変換符号化を施すことで再
生した参照画像と入力画像とに基づいて動きベクトルを
検出し、動き補償が可能な動画像符号化装置を前提とし
て、次のような領域分割手段と、信号カット手段を備え
ることを特徴とする。

【００１２】まず、領域分割手段は、検出した動きベク
トルに基づき、入力画像全体を、動きベクトルを持つ
マクロブロックの集合、動きベクトルは持たず且つ動
きベクトルが参照画像にマッチングするマクロブロック
の集合、それらのいずれにも相当しないマクロブロッ
クの集合の３種類に分割する。ここで、領域分割手段に
よる領域分割の仕組みを図２を参照して説明する。

【００１３】図２（ａ）に示す入力画像と同（ｂ）に示
す参照画像とから動きベクトルが検出されるのである
が、その動きベクトルを持つブロックであるか持たない
ブロックであるかを判定し、動きベクトルを持つブロッ
クを１、持たないブロックを０とする（図２（ｃ）参
照）。この動きベクトルの有無を判定した領域全体を領
域Ａとする。また、動きベクトルを持つブロックが参照
画像にマッチングした領域を図２（ｄ）に示した。そし
て、このマッチングした領域が属するブロックであるか
属さないブロックであるかを判定し、属するブロックを
１、属さないブロックを０とする（図２（ｅ）参照）。
このマッチング領域であるか否かを判定した領域全体を
領域Ｂとする。

【００１４】この図２（ｃ），（ｅ）に示す領域Ａ，Ｂ
での判定結果（０か１か）の組み合わせによってＬｅｖ
ｅｌ値が決定される。具体的には、図３に示すように、
領域Ａにおける判定結果が１、すなわち動きベクトルを
持つブロックであれば、領域Ｂにおける判定結果を問わ
ず、すなわち動きベクトルを持つブロックが参照画像に
マッチングしているか否かに関わりなく、Ｌｅｖｅｌ値
「１」とする。また、領域Ａにおける判定結果が０、す
なわち動きベクトルを持たないブロックであるが、領域
Ｂにおける判定結果が１、すなわち動きベクトルを持つ
ブロックが参照画像にマッチングしているブロックであ
れば、Ｌｅｖｅｌ値「２」とする。そして、これら領域
Ａ，Ｂにおける判定結果がいずれも０、すなわち動きベ
クトルを持たないブロックであり、且つ動きベクトルを
持つブロックが参照画像にマッチングしていないブロッ
クであれば、Ｌｅｖｅｌ値「０」とする。

【００１５】このように領域分割手段によって分割され
た集合の種類に応じ、信号カット手段は、変換符号化後
の信号をカットする。このカット手法としては、基本的
には上記Ｌｅｖｅｌ値が低いほどカット度合いを高くす
る。これは次の理由からである。つまり、Ｌｅｖｅｌ値
「０」の場合は、動きベクトルを持たず、且つ動きベク
トルを持つブロックが参照画像にマッチングしていない
ため、このマクロブロックは静止領域と考えられる。し
たがって、相対的にカット度合いを高めても実質的に問
題はない。また、Ｌｅｖｅｌ値「１」の場合は、動きベ
クトルを持つため、上述した図９を用いて説明すれば、
マクロブロックの予測画像信号Ｓ３と入力画像信号Ｓ２
との誤差が小さいこととなり、一方、Ｌｅｖｅｌ値
「２」の場合は、動きベクトルは持たないが、動きベク
トルを持つブロックが参照画像にマッチングしているた
め、マクロブロックの予測画像信号Ｓ３に参照画像信号
Ｓ１２の情報が残り、入力画像信号Ｓ２との誤差が大き
いと考えられる。したがって、これらの検証に基づき、
Ｌｅｖｅｌ値が０→１→２と高くなるにつれて、カット
度合いを低くすることが好ましいと言える。

【００１６】なお、「カット度合いを低くする」の一例
には、カットしない場合も含まれる。したがって、Ｌｅ
ｖｅｌ値「２」の場合には、変換符号化後の信号を全く
カットせずに後段の可変長符号化の対象とすることも考
えられる。本発明の動画像符号化装置によれば、このよ
うな領域判定及び領域に応じた信号カットを施すことに
よって、発生符号量の多い動画像に対して、視覚的品質
を保ちながら滑らかな動画像を符号化することができ
る。

【００１７】なお、領域分割手段による領域分割に際し
ては、請求項２に示すように、入力画像全体を、輝度信
号と色差信号のそれぞれに関して３種類のマクロブロッ
クの集合に分割するようにしてもよい。このように、輝
度信号と色差信号のそれぞれに関して所定サイズのブロ
ック単位で分割すれば、そのブロック単位で信号カット
ができるので、より精緻なカットが可能である。

【００１８】また、請求項３に示すように、さらに、入
力画像の複雑度を検出する画像複雑度検出手段を備え、
上述の分割された集合の種類に加え、画像複雑度検出手
段によって検出された複雑度も加味して信号カットを行
うようにしてもよい。このように画像複雑度も加味する
ことによって、次のような効果がある。つまり、画像に
おいて、信号をカットすることにより画質は劣化する
が、その画像が複雑なほど主観的な劣化が低いため（換
言すると、人が複雑な部分の劣化に気付きにくいた
め）、入力画像の複雑なところほど、信号をカットでき
る。したがって、領域に分けるだけでなく、複雑度を加
味することによって、より主観的な画像の劣化を抑える
効果がある。

【００１９】ところで、上述した変換符号化としては、
例えば直交変換と量子化とを順次施すことが考えられる
が、例えば直交変換のみでも構わない。そして、その直
交変換の手法としては一般的にＤＣＴ（離散コサイン変
換）が採用されることが多いが、その他の直交変換、例
えば離散フーリエ変換（ＤＦＴ）等を採用してもよい。
また、可変長符号化としては、変換符号化データを例え
ばランレングス符号化によって圧縮し、さらに可変長コ
ードに変換するものとすることが考えられる。

【００２０】そして、変換符号化を直交変換と量子化と
で行う場合には、請求項４に示すように、ブロック単位
の画像に対して直交変換を施した後、その直交変換によ
って得られた直交変換係数を所定の量子化幅で割って量
子化することが考えられる。その場合には、信号カット
手段は、その量子化された直交変換係数をカットする。
また、逆変換符号化としては、信号カット手段によって
カットされた後の直交変換係数に対して量子化幅を掛け
て逆量子化した後、その逆量子化された直交変換データ
に対して逆直交変換を施すことが考えられる。

【００２１】また、信号カット手段は変換符号化後の信
号をカットするのであるが、その際には、請求項５に示
すように、輝度信号または色差信号の少なくともいずれ
か一方のみのカットも可能であるようにしておくことも
できる。つまり、輝度信号及び色差信号の両方ともカッ
トすることもでき、いずれか一方のみカットすることも
できるようにするのである。このようにすれば、特に量
子化幅が小さい場合における符号量削減に有効である。
これは次の理由による。つまり、量子化幅が大きい場合
には色差信号は元々小さくなるため、符号量増大に関し
て実質的に問題となりにくいが、量子化幅が小さい場合
には色差信号も残ってしまうため、符号量増大の実質的
な要因となる。したがって、色差信号のみをカットする
こと自体も符号量低減の有効な手段となるからである。

【００２２】また、請求項６に示すように、信号カット
手段が、領域分割手段によって分割された集合の種類に
応じ、変換符号化後の信号の高周波成分をカットする割
合を変えるようにしてもよい。この際、基本的には、上
記図３を参照して示したＬｅｖｅｌ値が低いほど高周波
成分をカットする割合を高くする。Ｌｅｖｅｌ値「０」
の場合は、動きベクトルを持たず、且つ動きベクトルを
持つブロックが参照画像にマッチングしていないため静
止領域と考えられ、相対的にカット割合が高くても何ら
問題ない。そして、Ｌｅｖｅｌ値が１のときよりもＬｅ
ｖｅｌ値が２のときにカットする割合は小さくすること
が考えられる。Ｌｅｖｅｌ値が１または２の領域は動領
域であると判断できるため、高周波成分をカットするこ
とによってエッジ部がぼやけても視覚的劣化は抑えられ
る。但し、Ｌｅｖｅｌ値「１」の場合は動きベクトルを
持つのに対して、Ｌｅｖｅｌ値「２」の場合は動きベク
トルは持たない。つまり、動きベクトルを持つブロック
が参照画像にマッチングしているため、図９を参照して
説明すれば、マクロブロックの予測画像信号Ｓ３に参照
画像信号Ｓ１２の情報が残り、入力画像信号Ｓ２との誤
差が大きいと考えられる。したがって、Ｌｅｖｅｌ値
「１」の場合よりもＬｅｖｅｌ値「２」の場合のカット
割合を小さくすることが好ましいと言える。

【００２３】また、請求項７に示すように、領域分割手
段が、動きベクトルの大きさを所定の閾値と比較し、所
定の閾値以上の動きベクトルのみ有効として、３種類の
マクロブロックの集合に分割することもできる。このよ
うに静止領域の判定基準を緩くすれば静止領域が相対的
に多くなり、信号カットによって、さらに符号量を削減
することが可能である。

【００２４】また、通常、画像中央部に視線は集中する
ため、請求項８に示すように、領域分割手段が、動きベ
クトルが参照画像にマッチングするマクロブロックの集
合に分割する際、画像中央部と端部とにおける領域判断
基準を、対象ブロックのマッチング割合によって変える
ようにしてもよい。動きベクトルを持つマクロブロック
の位置に、複数のマクロブロックにおいてマッチングさ
れたとき、中央部と端部でマッチングされた画素の割合
によりＬｅｖｅｌ値決定の閾値を変える。図４に示すよ
うに、例えば、中央部では対象マクロブロックにマッチ
ングされたブロックの属する領域が少しでも入っていれ
ばＬｅｖｅｌ値を２とし、端部では２／３以上であれば
Ｌｅｖｅｌ値を２とする。これにより、画像中央部に対
して画質をよくすることが可能である。

【００２５】また、請求項９に示すように、信号カット
手段が、入力画像の枠から所定範囲のマクロブロックに
対しては、領域分割手段による分類にかかわらず信号を
カットしないようにしてもよい。これは、画像の枠付近
では、動きベクトルの探索範囲が狭いため、実際には動
きがあっても動きベクトルを検出することができない場
合があることを考慮したものである。したがって、例え
ば画像の枠からｎブロック分の情報は輝度信号および色
差信号をカットしないことが考えられる。これによっ
て、画面外からの情報も正しく符号化することができ
る。

【００２６】また、請求項３においては画像複雑度も加
味する点について述べたが、その場合には、請求項１０
に示すように、画像複雑度検出手段が、入力画像の画素
値を複数段階に分割し、水平方向及び垂直方向に段階の
変化する回数を検出して、その変化回数を複雑度とする
ことが考えられる。

【００２７】

【発明の実施の形態】以下、本発明が適用された実施例
について図面を用いて説明する。なお、本発明の実施の
形態は、下記の実施例に何ら限定されることなく、本発
明の技術的範囲に属する限り、種々の形態を採り得るこ
とは言うまでもない。

【００２８】［第１実施例］図１は、第１実施例の動画
像符号化装置１の概略構成を示すブロック図である。ま
ず、動画像符号化装置１の構成要素について、要素間の
信号のやりとりも含めて概説する。

【００２９】動画像符号化装置１は、入力画像信号Ｓ１
を所定サイズのブロックに分割する前処理部１０１と、
その分割されたブロック単位の入力画像信号Ｓ２から後
述する動き補償器１０９からの予測画像信号Ｓ３を減算
し、予測残差信号Ｓ５として出力する減算器１０２と、
その予測残差信号Ｓ５にＤＣＴ変換を施してＤＣＴ係数
Ｓ６を得るＤＣＴ器１０３と、得られたＤＣＴ係数Ｓ６
を量子化する量子化器１０４と、後述するフレームメモ
リ１０８からの参照画像信号Ｓ１２と前処理部１０１か
らの入力画像信号Ｓ２から動きベクトルＳ４を検出し、
さらに予測画像信号Ｓ３も生成する動き補償器１０９
と、動き補償器１０９にて検出された動きベクトルＳ４
を持つマクロブロックの集合とその動きベクトルＳ４が
マッチングする集合から画像全体をマクロブロック単位
で複数の領域に分割する領域分割部１１０と、その領域
分割部１１０から出力される信号Ｓ１５（後述するＬｅ
ｖｅｌ値が該当する）に基づいて、量子化器１０４にて
量子化されたＤＣＴ係数Ｓ７の信号カットを行う信号カ
ット部１１２と、その信号カット後の信号Ｓ８に対して
逆量子化を行う逆量子化器１０５と、逆量子化器１０５
にて逆量子化された信号Ｓ９に対して逆離散コサイン変
換を施すＩＤＣＴ器１０６と、そのＩＤＣＴ器１０６に
て逆離散コサイン変換された信号Ｓ１０と動き補償器１
０９からの予測画像信号Ｓ３とを加算して参照画像信号
Ｓ１１を作成する加算器１０７と、その加算器１０７か
らの参照画像信号Ｓ１１を記憶しておくフレームメモリ
１０８と、上述した信号カット部１１２から出力される
信号カット後の信号Ｓ８に対して可変長符号化を施して
ＤＣＴ係数情報Ｓ１３を作成する第１の可変長符号化
（ＶＬＣ）器１１３と、動き補償器１０９からの動きベ
クトルＳ４に対して可変長符号化を施して動きベクトル
情報Ｓ１４を作成する第２のＶＬＣ器１１４と、第１の
ＶＬＣ器１１３からのＤＣＴ係数情報Ｓ１３及び第２の
ＶＬＣ器１１４からの動きベクトル情報Ｓ１４を多重化
して外部へ出力する多重化器１１５とを備えている。

【００３０】入力画像信号Ｓ１は、前処理部１０１にお
いて８画素×８画素の大きさのブロックに分割され、図
１０を参照して既に説明したように、輝度信号（Ｙ0〜
Ｙ1）４ブロック、色差信号（Ｃb，Ｃr）各１ブロック
の計６ブロックを１マクロブロックとして減算器１０２
へ送られる。つまり、マクロブロック単位で扱うことと
なり、１６×１６のマクロブロック（輝度信号及び色差
信号がセットとなる）が分割する対象領域の単位とな
る。

【００３１】なお、本実施例では前処理部１０１にて入
力画像を所定サイズ（８×８）のブロックに分割してい
るが、所定サイズのブロックに分割された状態の画像が
入力されることを前提とすれば、前処理部１０１は不要
となる。また、ＤＣＴ器１０３、量子化器１０４、逆量
子化器１０５、ＩＤＣＴ器１０６及び動き補償器１０９
などについては、図９を参照して説明した従来技術と同
様の働きをするものであるため、説明は繰り返さない。

【００３２】次に、領域分割部１１０と信号カット部１
１２について説明する。まず、領域分割部１１０におい
ては、動き補償器１０９から出力される動きベクトルＳ
４を用いて動きベクトルの有無を判定し、動きベクトル
を持つブロックを１、持たないブロックを０とする（図
２（ｃ）参照）。この判定対象の領域全体を領域Ａとす
る。また、動きベクトルを持つマクロブロックが参照画
像にマッチングした領域が属するブロックであるか属さ
ないブロックであるかを判定し、属するブロックを１、
属さないブロックを０とする（図２（ｅ）参照）。この
マッチング領域であるか否かを判定した領域全体を領域
Ｂとする。

【００３３】そして、この図２（ｃ），（ｅ）に示す領
域Ａ，Ｂでの判定結果（０か１か）の組み合わせによっ
て符号化における重要度（Ｌｅｖｅｌ値）を決定し、領
域を分割する。具体的には、図３に示すように、領域Ａ
における判定結果が１であれば、領域Ｂにおける判定結
果を問わずＬｅｖｅｌ値「１」とする。また、領域Ａに
おける判定結果が０であるが、領域Ｂにおける判定結果
が１であればＬｅｖｅｌ値「２」とする。そして、これ
ら領域Ａ，Ｂにおける判定結果がいずれも０であればＬ
ｅｖｅｌ値「０」とする。

【００３４】このような領域分割は、次のような観点か
らなされたものである。すなわち、動きベクトルを持つ
マクロブロックは、そのマクロブロックの予測画像信号
Ｓ３と入力画像信号Ｓ２との誤差が小さく、一方、動き
ベクトルを持たないブロックで、動き補償器によりマッ
チングされたマクロブロックは、そのマクロブロックの
予測画像信号Ｓ３に参照画像信号Ｓ１２の情報が残り入
力画像信号との誤差が大きいと考えられる。また、動き
ベクトルを持たず、動き補償器でマッチングされなかっ
たマクロブロックは静止領域と考えられる。したがっ
て、各マクロブロックに割り振られるＬｅｖｅｌ値が低
いほどＤＣＴ係数を削除することができる（削除しても
視覚的品質に影響が少ない）からである。このＬｅｖｅ
ｌ値Ｓ１５は信号カット部１１２へ送られる。

【００３５】一方、信号カット部１１２においては、領
域分割部１１０から出力されるＬｅｖｅｌ値Ｓ１５に基
づいて、量子化後のＤＣＴ係数Ｓ７をカットする。ま
ず、Ｌｅｖｅｌ値Ｓ１５が「０」のマクロブロックは静
止領域と判定され符号化しない。すなわち該当するマク
ロブロックの全ＤＣＴ係数を０に変換する。また、Ｌｅ
ｖｅｌ値Ｓ１５が「１」のマクロブロックについては色
差信号の全ＤＣＴ係数を０とし、輝度信号のみを伝送す
る。さらに、Ｌｅｖｅｌ値Ｓ１５が「２」のマクロブロ
ックは予測画像信号Ｓ３に参照画像信号Ｓ１２が残って
いるため輝度信号および色差信号全てを伝送する。これ
により量子化幅が小さい場合における符号量を削減する
ことができる。

【００３６】なお、ここで「量子化幅が小さい場合」と
条件を付したのは次の理由による。つまり、量子化幅が
大きい場合には色差信号は元々小さくなるため、符号量
増大に関して実質的に問題となりにくいが、量子化幅が
小さい場合には色差信号も残ってしまうため、符号量増
大の実質的な要因となる。したがって、上述したＬｅｖ
ｅｌ値Ｓ１５が「１」のマクロブロックについては色差
信号の全ＤＣＴ係数を０とし、輝度信号のみを伝送する
ことは、符号量低減の有効な手段となる。

【００３７】このように、本実施例の動画像符号化装置
１によれば、領域分割部１１０による領域分割と信号カ
ット部１１２による信号カットによって、発生符号量の
多い動画像に対して、視覚的品質を保ちながら滑らかな
動画像を符号化することができる。

【００３８】（第１実施例の別態様） （１）信号カット部１１２における信号カット手法につ
いては、例えば輝度信号および色差信号のＤＣＴ係数の
高周波成分のみカットすることとし、そのカット割合
を、Ｌｅｖｅｌ値が１のときよりＬｅｖｅｌ値が２のと
きに小さくすることにより符号量を削減することも可能
である。高周波成分をカットすることにより、一般的に
はエッジ部がぼやけたものなるが、Ｌｅｖｅｌ値が１お
よび２のマクロブロックは動領域と判断できるので視覚
的劣化は抑えられる。

【００３９】（２）また、動きベクトルに閾値を設定
し、閾値より小さい動きベクトルは０とし、静止領域と
判定してもよい。動きベクトルが０ではないが０に近い
場合には、実際には動領域として扱うよりも静止領域と
して扱った方が好ましい場合もある。したがって、静止
領域の判定基準をゆるくし、動きベクトルが０でなくて
も、実質的に静止領域として扱ってよい領域については
静止領域と判定することで、さらに符号量を削減するこ
とができる。

【００４０】（３）また、一般的に画像中央部に視線は
集中する。したがって、画像フレームにおいて、画像中
央部に対して画像端部のＬｅｖｅｌ値の判断を変えても
よい。動きベクトルを持つマクロブロックの位置に、複
数のマクロブロックにおいてマッチングされたとき、中
央部と端部でマッチングされた画素の割合によりＬｅｖ
ｅｌ値決定の閾値を変える。図４に示すように、例え
ば、中央部では対象マクロブロックにマッチングされた
ブロックの属する領域が少しでも入っていればＬｅｖｅ
ｌ値を２とし、端部では２／３以上であればＬｅｖｅｌ
値を２とする。これにより、画像中央部に対して画質を
よくすることができる。

【００４１】（４）また、画像の枠付近では、動きベク
トルの探索範囲が狭いため、実際には動きがあっても動
きベクトルを検出することができない場合がある。した
がって、画像の枠からｎブロック分の情報は輝度信号お
よび色差信号全てを伝送する。これにより、画面外から
の情報も正しく符号化することが可能である。図５に例
を示す。

【００４２】［第２実施例］第２実施例の動画像符号化
装置１の構成は、図１を参照して説明した第１実施例の
構成と同様である。異なる点は、領域分割部１１０にお
ける領域の分割手法のみであるため、その点について詳
しく説明する。

【００４３】図１０に示すように、色差信号（８×８）
は輝度信号（１６×１６）に比べて画像サイズが縦およ
び横が半分に削減されている。そのため、輝度信号と色
差信号とを別々に領域分割するのである。輝度信号に対
する領域分割の手法は、上記第１実施例のマクロブロッ
ク単位で行った分割手法と同様である。それに対して色
差信号の場合には、まず、動き補償器１０９から出力さ
れる動きベクトルを半分にした後、輝度信号と同様にし
て領域分割するのである。輝度信号および色差信号のそ
れぞれについて、８画素×８画素のブロック単位で、上
記第１実施例の場合と同様に図３に示す関係にしたがっ
てＬｅｖｅｌ値を判定し、それぞれ領域分割する。輝度
信号及び色差信号それぞれについてのＬｅｖｅｌ値Ｓ１
５が信号カット部１１２へ出力される。

【００４４】信号カット部１１２においては、輝度信号
及び色差信号それぞれのＤＣＴ係数（を量子化したも
の）に対して次のような信号カットを施す。すなわち、
Ｌｅｖｅｌ値が０のブロックはＤＣＴ係数を全て０に変
換し、Ｌｅｖｅｌ値が２のブロックに対してはＤＣＴ係
数を全てそのまま出力し、Ｌｅｖｅｌ値が１のブロック
に対してはＤＣＴ係数の高周波成分を０に変換する。

【００４５】このように、輝度信号と色差信号のそれぞ
れに関して領域分割及び信号カットを行えば、より精緻
なカットが可能である。つまり、より小さいブロックご
とにＬｅｖｅｌ値を割り当てることにより、画質の劣化
を抑えながら符号量を削減する点に関して有効な措置と
なる。

【００４６】なお、第１実施例の場合と同様に、Ｌｅｖ
ｅｌ値が１および２の場合に、ＤＣＴ係数の高周波成分
を０に変換する割合を変えてもよい。 ［第３実施例］図６は、第３実施例の動画像符号化装置
３の概略構成を示すブロック図である。図１に示した第
１実施例と同様の構成要素については、同じ符号を付し
て説明は省略することとする。具体的には、図６に示す
構成は、図１に示す構成要素に画像複雑度測定部３１１
を付加したものとなっている。したがって、この画像複
雑度測定部３１１及びその画像複雑度測定部３１１から
出力される複雑度信号Ｓ１６に基づいて信号カットを行
う信号カット部１１２でのカット手法について詳しく説
明する。

【００４７】画像複雑度測定部３１１は、前処理部１０
１からの入力画像信号Ｓ２と領域分割部１１０からの信
号であるＬｅｖｅｌ値Ｓ１５に基づいて、符号化対象ブ
ロックの複雑度を測定するためのものである。具体的に
は、領域分割部１１０からＬｅｖｅｌ値Ｓ１５として
「非０」の値が入力されると、マクロブロックまたは８
画素×８画素のブロック化後の入力画像信号Ｓ２につい
ての複雑度を測定し、複雑度信号Ｓ１６を信号カット部
１１２へ出力する。

【００４８】この画像複雑度はマクロブロックまたはブ
ロック単位で測定する。８画素×８画素のブロックの場
合には、その矩形領域の水平および垂直方向の画素値の
変化をカウントすることにより測定する。まず、対象ブ
ロック内の画素値をｎ段階にわける。次に、水平方向に
階層の変化する回数をカウントする。その後、垂直方向
についても同様にカウントし、そのカウント数（積算
数）を、そのブロックの複雑度とする。この複雑度測定
の具体例を示す。

【００４９】図７は、８画素×８画素のブロックを３段
階に分割した場合の複雑度測定の概要を示している。図
７（ａ）に示す入力画像は、８画素×８画素のブロック
において左上から右下へグラデーション的な明暗変化を
している。複雑度測定の第１ステップとしては、図７
（ｂ）に示すように、このブロックの各画素値を３段階
に分ける。第２ステップとしては、図７（ｃ）に示すよ
うに、水平方向に対して段階が変化する数をカウントす
る。図７（ｃ）においてはブロックの左側に示す数がカ
ウント数である。第３ステップとしては、図７（ｄ）に
示すように、垂直方向に対して同様に段階が変化する数
をカウントする。図７（ｄ）においてはブロックの上側
に示す数がカウント数である。これら水平および垂直方
向のカウント数を合計したものを複雑度（この場合は１
８）とする。

【００５０】一方、信号カット部１１２では、画像複雑
度測定部３１１からの複雑度信号Ｓ１６と、領域分割部
１１０からのＬｅｖｅｌ値Ｓ１５に基づき、量子化後に
いわゆるジグザグスキャンされたＤＣＴ係数の全て、あ
るいは高周波成分をカットする。８画素×８画素のブロ
ックにおいてｎ段階で分割した場合の複雑度は、図８に
示すように隣り合う階層がすべて異なるときに最大とな
る。つまり、水平および垂直方向の各ラインにおいて変
化数がそれぞれ７となり、ライン数（２×８＝１６）を
掛けると、複雑度の最大値は１１２となる。したがっ
て、０から１１２の間に閾値を設定し、カウント数と閾
値を比較することによって、そのブロックの複雑度合い
を判定する。

【００５１】そして、領域分割部１１０からのＬｅｖｅ
ｌ値が「１」、すなわちＤＣＴ係数をカットしても影響
の小さいブロックについては、複雑度合い判定のための
閾値を低く設定し、Ｌｅｖｅｌ値が「２」、すなわちＤ
ＣＴ係数をカットしたときの影響が大きいブロックにつ
いては閾値を高く設定する。これにより、Ｌｅｖｅｌ値
が「１」の領域における単純な領域の信号を符号化し、
Ｌｅｖｅｌ値が「２」の領域における複雑な領域の信号
をカットすることができる。したがって、画質劣化を抑
え、符号量を削減することができる。

【００５２】なお、画像の複雑度の測定手法としては、
このような矩形領域の水平および垂直方向の画素値の変
化数に基づくだけではなく、他の手法でもよい。 ［その他］ （１）上記各実施例においては、ＤＣＴ器１０３と量子
化器１０４によって変換符号化手段を構成したが、例え
ばＤＣＴ器１０３のみでも構わない。但し量子化器１０
４で量子化することによって符号量の削減効果は高まる
ので、ＤＣＴ器１０３と量子化器１０４とをセットで用
いる方が好ましい。

【００５３】また、ＤＣＴ器１０３は、直交変換手段の
一例であるが、直交変換としてはＤＣＴ（離散コサイン
変換）の他の直交変換、例えば離散フーリエ変換（ＤＦ
Ｔ）等を採用してもよい。 （２）また、量子化幅については固定でなくてもよく、
例えば第１のＶＬＣ器１１３から出力された符号量に応
じて可変としてもよい。

【図面の簡単な説明】

【図１】第１，第２実施例に係る動画像符号化装置の概
略構成を示すブロック図である。

【図２】領域分割の説明図である。

【図３】領域分割のためのＬｅｖｅｌ値を設定するため
の関係を示す説明図である。

【図４】画像中央部と端部におけるＬｅｖｅｌ値決定の
相違を示す説明図である。

【図５】１フレーム中の画像端部については全信号を符
号化することを示す説明図である。

【図６】第３実施例に係る動画像符号化装置の概略構成
を示すブロック図である。

【図７】複雑度測定の具体例を示す説明図である。

【図８】複雑度が最大の場合の具体例を示す説明図であ
る。

【図９】従来の動画像符号化装置の概略構成を示すブロ
ック図である。

【図１０】マクロブロックの構成を示す説明図である。

【符号の説明】

１，２，３…動画像符号化装置 １０１，４０１…
前処理部 １０２，４０２…減算器 １０３，４０３…
ＤＣＴ器 １０４，４０４…量子化器 １０５，４０５…
逆量子化器 １０６，４０６…ＩＤＣＴ器 １０７，４０７…
加算器 １０８，４０８…フレームメモリ １０９，４０９…
動き補償器 １１０…領域分割部 １１２…信号カッ
ト部 １１３，４１３…第１のＶＬＣ器 １１４，４１４…
第２のＶＬＣ器 １１５，４１５…多重化器 ３１１…画像複雑
度測定部 Ｓ１…入力画像信号 Ｓ２…（ブロック
化後の）入力画像信号 Ｓ３…予測画像信号 Ｓ４…動きベクト
ル Ｓ５…予測残差信号 Ｓ６…ＤＣＴ係数 Ｓ７…（量子化後の）ＤＣＴ係数 Ｓ８…信号カット
後の信号 Ｓ９…逆量子化信号 Ｓ１０…逆離散コ
サイン変換信号 Ｓ１１…参照画像信号 Ｓ１２…参照画像
信号 Ｓ１３…ＤＣＴ係数情報 Ｓ１４…動きベク
トル情報 Ｓ１５…Ｌｅｖｅｌ値 Ｓ１６…複雑度信
号

───────────────────────────────────────────────────── フロントページの続き (72)発明者 上杉 浩 愛知県刈谷市昭和町１丁目１番地 株式会 社デンソー内 Ｆターム(参考） 5C059 KK02 MA05 MA23 MC11 MC22 MC32 MC34 MC38 ME01 NN01 NN21 NN34 PP16 PP26 PP30 RB01 TA43 TB07 TC10 TD12 UA02 UA33 UA38 5L096 AA02 EA24 GA19 HA04 9A001 EE05 HH27 HH30

Claims (10)

【特許請求の範囲】
1. 【請求項１】所定サイズのブロックに分割されたそのブ
   ロック単位の入力画像に対して変換符号化及び可変長符
   号化を順次施すと共に、前記変換符号化された画像に対
   して逆変換符号化を施すことで再生した参照画像と入力
   画像とに基づいて動きベクトルを検出し、動き補償が可
   能な動画像符号化装置であって、 前記検出した動きベクトルに基づき、入力画像全体を、
   前記動きベクトルを持つマクロブロックの集合、前記動
   きベクトルは持たず且つ前記動きベクトルが前記参照画
   像にマッチングするマクロブロックの集合、及びそれら
   のいずれにも相当しないマクロブロックの集合の３種類
   に分割する領域分割手段と、 該領域分割手段によって分割された集合の種類に応じ、
   前記変換符号化後の信号をカットする信号カット手段と
   を備えることを特徴とする動画像符号化装置。
2. 【請求項２】所定サイズのブロックに分割されたそのブ
   ロック単位の入力画像に対して変換符号化及び可変長符
   号化を順次施すと共に、前記変換符号化された画像に対
   して逆変換符号化を施すことで再生した参照画像と入力
   画像とに基づいて動きベクトルを検出し、動き補償が可
   能な動画像符号化装置であって、 前記検出した動きベクトルに基づき、入力画像全体を、
   輝度信号と色差信号のそれぞれに関し、前記動きベクト
   ルを持つ前記所定サイズのブロックの集合、前記動きベ
   クトルは持たず且つ前記動きベクトルが前記参照画像に
   マッチングする前記所定サイズのブロックの集合、及び
   それらのいずれにも相当しない前記所定サイズのブロッ
   クの集合の３種類に分割する領域分割手段と、 該領域分割手段によって分割された集合の種類に応じ、
   前記変換符号化後の信号をカットする信号カット手段と
   を備えることを特徴とする動画像符号化装置。
3. 【請求項３】請求項１又は２記載の動画像符号化装置に
   おいて、 さらに、前記入力画像の複雑度を検出する画像複雑度検
   出手段を備え、 前記信号カット手段は、前記領域分割手段によって分割
   された集合の種類と前記画像複雑度検出手段によって検
   出された複雑度に応じ、前記変換符号化後の信号をカッ
   トすることを特徴とする動画像符号化装置。
4. 【請求項４】請求項１〜３のいずれか記載の動画像符号
   化装置において、 前記変換符号化は、前記ブロック単位の画像に対して直
   交変換を施した後、その直交変換によって得られた直交
   変換係数を所定の量子化幅で割って量子化するものであ
   り、 前記信号カット手段は、前記量子化された直交変換係数
   をカットし、 前記逆変換符号化は、前記信号カット手段によってカッ
   トされた後の直交変換係数に対して前記量子化幅を掛け
   て逆量子化した後、その逆量子化された直交変換データ
   に対して逆直交変換を施すことを特徴とする動画像符号
   化装置。
5. 【請求項５】請求項１〜４のいずれか記載の動画像符号
   化装置において、 前記信号カット手段は、輝度信号または色差信号の少な
   くともいずれか一方のみのカットも可能であることを特
   徴とする動画像符号化装置。
6. 【請求項６】請求項１〜５のいずれか記載の動画像符号
   化装置において、 前記信号カット手段は、前記領域分割手段によって分割
   された集合の種類に応じ、前記変換符号化後の信号の高
   周波成分をカットする割合を変えることを特徴とする動
   画像符号化装置。
7. 【請求項７】請求項１〜５のいずれか記載の動画像符号
   化装置において、 前記領域分割手段は、前記領域分割のために基づく動き
   ベクトルとして、所定の閾値以上の動きベクトルのみ採
   用することを特徴とする動画像符号化装置。
8. 【請求項８】請求項１〜５のいずれか記載の動画像符号
   化装置において、 前記領域分割手段は、前記動きベクトルが前記参照画像
   にマッチングするマクロブロック又は所定サイズのブロ
   ックの集合に分割する際、画像中央部と端部とにおける
   領域判断基準を、対象ブロックのマッチング割合によっ
   て変えることを特徴とする動画像符号化装置。
9. 【請求項９】請求項１〜４のいずれか記載の動画像符号
   化装置において、 前記信号カット手段は、前記入力画像の枠から所定範囲
   のブロックに対しては、前記領域分割手段による分類に
   かかわらず信号をカットしないことを特徴とする動画像
   符号化装置。
10. 【請求項１０】請求項３記載の動画像符号化装置におい
    て、 前記画像複雑度検出手段は、前記入力画像の画素値を複
    数段階に分割し、水平方向及び垂直方向に前記段階の変
    化する回数を検出し、その変化回数を複雑度とすること
    を特徴とする動画像符号化装置。