JP2001359102A - 画像符号化方法及び画像符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 いったんリフレッシュ対象となってから実際
にリフレッシュされるまでの時間増大を抑え、通信路に
おいてデータ誤りがあった場合における復号画像の画質
劣化を抑制する。 【解決手段】 リフレッシュ制御回路113は、リフレッ
シュを行うマクロブロックを決定する。リフレッシュ対
象となったマクロブロックが多いときは１フレーム内に
リフレッシュするマクロブロック数を増やす。また、リ
フレッシュ対象となってから最も時間の経過しているマ
クロブロックからリフレッシュを行う。一旦リフレッシ
ュ対象となってから実際にリフレッシュされるまでの時
間増大を抑制する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、イントラ符号化モ
ードで符号化された領域を画面内に挿入して画面リフレ
ッシュを行う画像符号化方法及び画像符号化装置に関
し、特に、通信路でデータ誤りやデータ欠落が生じた場
合のエラーの回復を迅速に実施できるようにしたもので
ある。

【０００２】

【従来の技術】画像符号化復号化装置では、通信路や蓄
積系でビットストリーム誤りやデータ欠落が生じた場
合、正しく復号することができず、画質が劣化するとい
う問題がある。特に、無線画像通信システムでは、低ビ
ットレートでのデータ通信が行われるため、データ誤り
やデータ欠落が復号画質に与える影響は大きい。

【０００３】こうしたデータ誤りやデータ欠落の対策の
１つとして、画像符号化装置内で、フレーム内符号化
（以下、イントラ符号化と云う）を行う画像領域を挿入
して画面をリフレッシュする方法がある。イントラ符号
化された画像領域は、他のフレームと独立に復号できる
ので、他のフレームのビットストリームに誤りが混入し
たり、データが欠落したりしてもその影響を受けない。

【０００４】このイントラ符号化を用いたリフレッシュ
方法は、例えば、特開平１１−２２０７３３号公報に開
示されている。

【０００５】図８は、このイントラ符号化によりリフレ
ッシュを行う従来の画像符号化装置のブロック構成図を
示している。この装置は、入力画像信号を符号化する符
号化部818と、符号化された画像信号を符号化音声デー
タや他の符号化データと多重化する多重化回路816と、
符号化データを一時蓄積して送信レートを平滑化して伝
送路に送出する出力バッファ817と、符号化部818の符号
化情報と出力バッファ817のバッファ量とを基に、符号
化部818での符号化レート等を制御する符号化制御回路8
14とを備えている。

【０００６】符号化部818は、入力画像信号をマクロブ
ロックと呼ばれる１６画素×１６画素の単位に分割する
ブロック回路801と、入力画像信号と後述する予測画像
信号との差分を取り、予測差分信号を生成する減算器80
2と、この予測差分信号とブロック化回路101からの入力
画像信号のいずれか一方を選択するモード選択スイッチ
803と、選択された信号に対して離散コサイン変換を行
うＤＣＴ（離散コサイン変換）回路804と、ＤＣＴ回路8
05から出力されるＤＣＴ係数データを量子化する量子化
回路805と、量子化された信号を可変長符号化して多重
化回路816に出力する可変長符号化回路815と、量子化さ
れた信号を元に戻すために逆量子化を施す逆量子化回路
806と、さらに逆離散コサイン変換を行うＩＤＣＴ（逆
離散コサイン変換）回路807と、ＩＤＣＴ回路807の出力
に、スイッチ811を介して入力する予測画像信号を加算
して局部復号信号を生成する加算器808と、この局部復
号信号を蓄積するフレームメモリ809と、入力画像信号
とフレームメモリ809に蓄えられた前フレームとの相関
から動きベクトルを検出し、動きベクトルに基づく動き
補償処理を行い、予測画像信号を生成する動き補償回路
810と、マクロブロックごとに符号化のモードを選択し
てモード選択スイッチ803及びスイッチ811を切り換える
モード選択回路812と、各マクロブロックについてリフ
レッシュ対象とするかどうかを判定するリフレッシュ判
定回路813とを具備している。

【０００７】この装置では、リフレッシュの制御がリフ
レッシュ判定回路813によって行われる。

【０００８】リフレッシュ判定回路813は、動きがある
マクロブロックをリフレッシュ対象として選択する。リ
フレッシュ判定回路813には、モード選択回路812から現
マクロブロックの符号化モード（ＭＯＤＥ）が入力され
る。ＭＯＤＥには、フレーム内符号化を行うイントラ符
号化モード、フレーム間符号化を行うインター符号化モ
ード、及び、符号化を行わず前フレームの対応するマク
ロブロックの情報をそのまま表示に使用する非符号化モ
ードがあり、通常、フレーム相関がない場合にはイント
ラ符号化、フレーム相関を利用した予測が可能な場合は
インター符号化、インター符号化が選択されても画像が
変化しておらず符号化不要の場合には非符号化モードが
選択される。

【０００９】リフレッシュ判定回路813では、インター
符号化モードのマクロブロックについては動きがあるも
のとしてリフレッシュ対象とする。また、イントラ符号
化モードのマクロブロックは、そのマクロブロックが静
止しているかどうかを判定するため、動き補償回路810
から与えられる動きベクトル（０，０）の場合のマクロ
ブロックの予測誤差の絶対値和（ＳＡＤ）を閾値ＴＨと
比較する。つまり、イントラモードで符号化されたマク
ロブロックとそれと同一アドレスの前フレーム上のマク
ロブロックとの間にどの程度の差があるかを調べ、も
し、ＳＡＤの値が閾値ＴＨより大きい場合には動いてい
ると判断してリフレッシュ対象とし、ＳＡＤの値が閾値
ＴＨ以下の場合には静止していると判断し、リフレッシ
ュ対象に含めない。非符号化マクロブロックについて
は、前回のリフレッシュ対象判定結果が維持される。

【００１０】実際のリフレッシュは、１フレームで１マ
クロブロックラインに含まれるリフレッシュ対象のマク
ロブロックに対して実行され、このリフレッシュを実行
するマクロブロックラインが、フレームが変わるごと
に、１マクロブロックラインずつ上から下に移動する。
このように１フレームにおいてリフレッシュを行うマク
ロブロックを制限するのは、リフレッシュが行われるイ
ントラ符号化モードでの発生符号量が、通常、同一の量
子化パラメータを用いた場合のインター符号化モードで
の発生符号量の２倍以上になるからであり、ビットスト
リームの伝送レートを一定値以下に抑えるためには、量
子化パラメータを大きくして発生符号量を低下させるこ
とが必要になるが、これは画質を悪くする要因になる。

【００１１】図９には、リフレッシュ対象マクロブロッ
クと、実際にリフレッシュが実行されるリフレッシュ位
置との関係を示している。斜線で示すリフレッシュ対象
マクロブロックは、動いていると判断されたマクロブロ
ックである。前々フレームでは、１番目のマクロブロッ
クラインがリフレッシュ位置であり、１番目のマクロブ
ロックラインを対象にリフレッシュが実行され、このリ
フレッシュ位置のマクロブロックラインに含まれるリフ
レッシュ対象マクロブロック（黒色）がリフレッシュさ
れる。リフレッシュ位置は１フレームの符号化が終了す
るたびに１マクロブロックラインずつ上から下へ移動す
る。

【００１２】このように、従来の画像符号化装置では、
イントラ符号化されたマクロブロックが動領域と判定さ
れた場合や、マクロブロックがインター符号化された場
合には、次画面以降においてリフレッシュ対象とされ、
後のフレームで同一位置のマクロブロックが再びイント
ラ符号化され、それが静止領域に属すると判定されるま
で、リフレッシュ対象として選択され続ける。そして、
このリフレッシュ対象マクロブロックがリフレッシュ位
置（マクロブロックライン）と一致した場合には、モー
ド選択回路812がモード選択スイッチ803及びスイッチ81
1をイントラ符号化の側に切り換えて、マクロブロック
のリフレッシュが行われる。

【００１３】

【発明が解決しようとする課題】ところが、従来の画像
符号化装置には、以下に示す問題点がある。

【００１４】従来の画像符号化装置では、リフレッシュ
位置が１フレーム符号化あたり１マクロブロックライン
と固定されている。この場合、図１０に示すようにリフ
レッシュ位置がフレームの先頭マクロブロックラインに
あり、リフレッシュ対象がフレームの最終マクロブロッ
クラインにあると、これらのマクロブロックのリフレッ
シュは、リフレッシュ位置が最終マクロブロックライン
に移動するまで（図１０では５フレーム）待たなければ
ならない。一方、リフレッシュ対象に選択された時点の
マクロブロックデータが通信路上で欠落した場合、動領
域であるにも関わらず、画像復号装置側では前フレーム
の同じ位置のマクロブロックデータが当てはめられ、こ
のことにより、復号画像は劣化する。この復号画像の画
質劣化は、そのマクロブロック位置がフレーム相関によ
りイントラ符号化されない限り、リフレッシュ位置が最
終マクロブロックラインに移動するまで改善されない。
リフレッシュ対象に選択されてから実際リフレッシュさ
れるまでに復号画像の劣化は周囲のマクロブロックの復
号データに波及していく。このように、従来の画像符号
化装置は、リフレッシュ対象になってから実際にリフレ
ッシュされるまで、最大Ｎフレーム時間（Ｎはマクロブ
ロックライン数−１）掛かってしまい、その間に復号画
像が劣化していくという問題があった。

【００１５】この問題を解決する手段として、リフレッ
シュ位置をマクロブロックラインで決定せず、１フレー
ム期間にリフレッシュを実行する対象マクロブロック数
を予め設定し、このリフレッシュを実行する対象マクロ
ブロックを、フレームの左上から右下の方向へ、フレー
ムごとに移動させる方式がある。図１１に１フレーム期
間にリフレッシュする対象マクロブロック数を“３”と
した場合のリフレッシュマクロブロックの移動の様子を
示す。

【００１６】ところが、この方式の場合も、１フレーム
期間にリフレッシュするマクロブロック数を固定してい
るため、図１２に示すようにリフレッシュ対象数が多い
場合には、最後の３つのマクロブロックはリフレッシュ
対象となってから実際にリフレッシュされるまでに９フ
レームかかってしまう。これは前述したのと同様にリフ
レッシュに時間が掛かることによる復号画像の劣化を引
き起こす。

【００１７】また、図１３に示すように、現フレーム符
号化時に第１マクロブロックラインにおいてリフレッシ
ュ対象マクロブロックとなったＭＢ２は、前フレーム符
号化時に第２マクロブロックラインにおいてリフレッシ
ュ対象マクロブロックとなったＭＢ１より先に次フレー
ムにおいてリフレッシュマクロブロックとなる。しかも
図１３では、次フレームにおいて、リフレッシュ対象が
増えたためＭＢ１がリフレッシュマクロブロックとなる
のは更にその３フレーム後であり、リフレッシュ対象と
なってから実際にリフレッシュされるまでに５フレーム
掛かることになる。つまり、リフレッシュマクロブロッ
クの位置の移動がフレームの左上から右下へラスタース
キャン順に行われているため、時間的に先にリフレッシ
ュ対象となったマクロブロックでも、ラスタースキャン
の順番が後であれば、実際にリフレッシュされるまでに
時間が掛かってしまう。このことも同様に復号画像の画
質劣化を引き起こす。

【００１８】本発明は、こうした従来の問題点を解決す
るものであり、リフレッシュ対象のマクロブロックが、
実際にリフレッシュされるまでに長い時間が掛かること
を防止できる画像符号化方法を提供し、その方法を実施
する画像符号化装置を提供することを目的としている。

【００１９】

【課題を解決するための手段】そこで、本発明では、入
力動画像を、フレーム内符号化するイントラ符号化モー
ド、フレーム間符号化するインター符号化モード、また
は、新たな符号化を行わずに前画面を表示に使用する非
符号化モードで符号化し、前記入力動画像の動領域を検
出して、その動領域をイントラ符号化によるリフレッシ
ュの対象候補として記憶し、この対象候補に対して順番
にリフレッシュ制御を行う画像符号化方法において、前
記対象候補の中で、ある一定期間内にリフレッシュする
対象候補のリフレッシュ数を、前記対象候補の総数に基
づいて決定している。

【００２０】従って、例えば、リフレッシュ対象マクロ
ブロック数が多いときは１フレーム期間にリフレッシュ
するマクロブロック数を多く、リフレッシュ対象マクロ
ブロック数が少ないときは１フレーム期間にリフレッシ
ュするマクロブロック数を少なくする。そのため、リフ
レッシュ対象マクロブロック数が多くなっても、あるマ
クロブロックがリフレッシュ対象となってから実際にリ
フレッシュされるまでの時間が長くならないように制御
することができ、復号画像の画質劣化を抑制することが
できる。

【００２１】また、本発明では、前記対象候補の中で、
リフレッシュの対象候補になってからの経過時間が長い
対象候補を順にリフレッシュの対象として決定するよう
にしている。

【００２２】従って、あるマクロブロックがリフレッシ
ュ対象マクロブロックとなってから実際にリフレッシュ
されるまでの時間が長くならないように制御することが
でき、復号画像の画質劣化を抑制することができる。

【００２３】また、入力動画像を、フレーム内符号化す
るイントラ符号化モード、フレーム間符号化するインタ
ー符号化モード、または、新たな符号化を行わずに前画
面を表示に使用する非符号化モードで符号化する符号化
手段と、前記入力動画像の動領域を検出して、その動領
域をイントラ符号化によるリフレッシュの対象候補とし
て記憶し、前記対象候補に対して順番にリフレッシュ制
御を行うリフレッシュ制御手段とを設けた画像符号化装
置では、前記リフレッシュ制御手段が、前記対象候補の
中で、ある一定期間内にリフレッシュする対象候補のリ
フレッシュ数を、前記対象候補の総数に基づいて決定す
るようにしている。

【００２４】従って、例えば、リフレッシュ対象マクロ
ブロック数が多いときは１フレーム期間にリフレッシュ
するマクロブロック数を多く、リフレッシュ対象マクロ
ブロック数が少ないときは１フレーム期間にリフレッシ
ュするマクロブロック数を少なくする。そのため、リフ
レッシュ対象のマクロブロック数が多くなってもあるマ
クロブロックがリフレッシュ対象となってから実際にリ
フレッシュされるまでの時間が長くならないように制御
することができ、復号画像の画質劣化を抑制することが
できる。

【００２５】

【発明の実施の形態】（第１の実施形態）本発明の第１
の実施形態に係る画像符号化装置は、図１に示すよう
に、符号化部118に、モード選択回路112から入力する符
号化モードや動き補償回路110から入力するＳＡＤ、さ
らには、可変長符号化回路115から入力する発生符号量
のデータに基づいて、マクロブロックのリフレッシュを
制御するリフレッシュ制御回路113を備えている。その
他の構成は従来の装置（図８）と変わりがない。

【００２６】このリフレッシュ制御回路113は、図２に
示すように、入力する符号化モード及びＳＡＤから対象
マクロブロックがリフレッシュ対象かどうかの判定を行
うリフレッシュ対象判定部201と、各マクロブロックに
ついてリフレッシュ対象か否かと、リフレッシュ対象マ
クロブロックについてはリフレッシュ対象となってから
の経過フレーム数とを記憶するリフレッシュ・マップ生
成部202と、リフレッシュ対象判定が１フレーム分終了
した時点での、次フレームのリフレッシュ対象数を計数
するリフレッシュ対象計数部203と、次フレームでのリ
フレッシュマクロブロック数を求めるための係数を生成
するリフレッシュ係数生成部204と、実際に次フレーム
でリフレッシュするマクロブロック数を決定するリフレ
ッシュ・マクロブロック数生成部205と、次フレームの
リフレッシュ・マクロブロックを選択してリフレッシュ
制御信号を出力するリフレッシュ位置生成部206とを備
えている。

【００２７】この装置の動作について説明する。図１に
おいて入力画像信号は、ブロック回路101でマクロブロ
ックに分割される。マクロブロックに分割された入力画
像信号は減算器102に入力され、ここで後述する予測画
像信号との差分がとられ、予測差分信号が生成される。
この予測差分信号とブロック化回路101からの入力画像
信号のいずれか一方を、モード選択スイッチ103によっ
て選択し、ＤＣＴ（離散コサイン変換）回路104により
離散コサイン変換される。ＤＣＴ回路104で得られたＤ
ＣＴ係数データは、量子化回路105で量子化される。量
子化回路105で量子化された信号の一方は可変長符号化
回路115で可変長符号化され、リフレッシュ制御回路112
に１フレームの発生符号量を送る。量子化回路105で量
子化された信号の他方は、逆量子化回路106及びＩＤＣ
Ｔ（逆離散コサイン変換）回路107により量子化回路105
及びＤＣＴ回路104の処理と逆の処理を受けた後、加算
器108でスイッチ111を介して入力される予測画像信号と
加算されることにより、局部復号信号が生成される。こ
の局部復号信号は、フレームメモリ109に蓄えられ、動
き補償回路110に入力される。動き補償回路110では、入
力画像信号とフレームメモリ109に蓄えられた前フレー
ムとの相関から動きベクトル検出、動きベクトルにもと
づいた動き補償処理が行なわれて、予測画像信号が生成
されるとともに、モード選択回路112とリフレッシュ制
御回路113に必要な情報を送る。

【００２８】符号化制御回路114は、レート制御などを
行うためのものであり、符号化部118の符号化情報と出
力バッファ117のバッファ量をもとに符号化を制御す
る。また、可変長符号化回路115は、量子化されたＤＣ
Ｔ係数だけでなく、動きベクトルや符号化モードなども
画像データとして符号化し、多重化回路116にて符号化
音声データや他の符号化データと多重化された後、出力
バッファ117で送信レートが平滑化されて符号化データ
として伝送路に送られる。

【００２９】モード選択回路112では、マクロブロック
単位の相関の度合いを示す情報信号を動き補償回路110
から受け取り、マクロブロックごとにイントラ符号化を
行うか、インター符号化を行うかを適応的に選択する。
イントラ符号化を行う場合はモード選択スイッチ103、1
11をＡ側とし、インター符号化を行う場合はモード選択
スイッチ103、111をＢ側とする。

【００３０】ここで、符号化モードとしてはフレーム内
符号化を行うイントラ符号化モード、フレーム間符号化
を行うインター符号化モード、符号化を行わず前フレー
ムの対応するマクロブロックの情報をそのまま表示に使
用する非符号化モード（Not_Coded）があり、各マクロ
ブロックごとにモード選択回路112により適応的に選択
される。通常、フレーム相関がない場合にはイントラ符
号化、フレーム相関を利用した予測が可能な場合にはイ
ンター符号化、インター符号化が選択されても画像が変
化しておらず、符号化不要の場合にはNot_Codedモード
となる。

【００３１】図２に示すように、リフレッシュ制御回路
113には、モード選択回路112で生成される符号化モード
と動き補償回路110で生成されるＳＡＤとが入力する。
符号化モード信号はマクロブロックの符号化モード、即
ち、イントラ符号化、インター符号化、Not_Codedのい
ずれかを示す信号である。また、ＳＡＤは対象マクロブ
ロックと、同一アドレス上の前フレームのマクロブロッ
クとの差分の絶対値和である。

【００３２】リフレッシュ対象判定部201では、符号化
モードとＳＡＤとにより対象マクロブロックがリフレッ
シュ対象かどうかの判定を行う。図３にリフレッシュ判
定方法を示す。イントラ符号化時は対象マクロブロック
の動領域判定を行う。動領域判定はＳＡＤとある閾値Ｔ
Ｈとの比較により行い、ＳＡＤがＴＨより大きければ動
領域、そうでなければ静止領域とする。イントラ符号化
でかつ動領域である場合、リフレッシュ対象と判定され
る。インター符号化時は全てリフレッシュ対象と判定さ
れる。Not_Coded時は前フレームの判定結果を維持す
る。つまり、イントラ符号化されたマクロブロックが静
止領域と判定された場合のみ、リフレッシュ対象から除
外される。

【００３３】リフレッシュ・マップ生成部202では、各
マクロブロックについてリフレッシュ対象か否かと、リ
フレッシュ対象マクロブロックについてはリフレッシュ
対象となってからの経過フレーム数とを記憶する。図４
に、図１３におけるマクロブロックの状態をリフレッシ
ュ・マップ上に示す。リフレッシュマップの初期値は
“０”であり、初めてリフレッシュ対象となったとき
“１”となる。その後、実際にリフレッシュされるま
で、フレーム時間単位に１ずつ加算される。実際にリフ
レッシュされるマクロブロックでも、動領域と判定され
れば“１”がセットされ、静止領域と判定されれば
“０”にリセットされる。

【００３４】リフレッシュ対象計数部203では、リフレ
ッシュ対象判定が１フレーム分終了した時点での、次フ
レームのリフレッシュ対象数を計数する。

【００３５】リフレッシュ係数生成部204では、リフレ
ッシュマクロブロック数を求めるための係数を生成す
る。１フレームの符号化終了時点の発生符号量を入力と
し、次フレームのリフレッシュマクロブロック数を決定
するための係数ｋを求める。発生符号量と係数ｋとの関
係は、例えば、図５のようになっており、発生符号量が
ある閾値Ｓ１より少ない場合は係数ｋは１であり、発生
符号量が閾値Ｓ１とＳ２との間に存在する場合は係数ｋ
は０と１の間にある。発生符号量が閾値Ｓ２より多い場
合は係数ｋは０となる。

【００３６】リフレッシュ・マクロブロック数生成部20
5では、実際に次フレームでリフレッシュするマクロブ
ロック数を決定する。リフレッシュ対象計数部203で求
めたリフレッシュ対象数から値ｎを求める。ｎは１フレ
ームのリフレッシュ対象数が多い場合は大きな値、リフ
レッシュ対象数が少ない場合は小さな値となる。このｎ
にリフレッシュ係数生成部204で求めた係数ｋを乗算す
ることにより、実際のリフレッシュマクロブロック数Ｎ
を求める。 Ｎ＝ｎ×ｋ

【００３７】リフレッシュ位置生成部206では、リフレ
ッシュ・マップを参照し、一旦リフレッシュ対象になっ
てから最も時間の経過しているマクロブロックからＮ個
のマクロブロックをリフレッシュ・マクロブロックとし
て選択し、次フレームのリフレッシュ・マクロブロック
としてリフレッシュ制御信号を出力する。

【００３８】本実施形態では１フレーム内にリフレッシ
ュするマクロブロック数を固定せず、２つのパラメータ
から決定するようにしている。１つは１フレーム内のリ
フレッシュ対象数であり、リフレッシュ対象数が多けれ
ば、リフレッシュ・マクロブロック数も多くし、リフレ
ッシュ対象数が少なければ、リフレッシュ・マクロブロ
ック数も少なくする。従って、リフレッシュ対象数が増
えたことによってリフレッシュ対象となってから実際に
リフレッシュされるまでの時間が長くなるのを防ぎ、通
信路においてデータ誤りやデータ欠落があった場合にお
ける復号画像の画質劣化を抑制することができる。

【００３９】もう１つのパラメータは、１フレームの発
生符号量から求めたリフレッシュ係数であり、発生符号
量が十分少ない場合はリフレッシュ・マクロブロック数
をリフレッシュ対象数のみから求める。発生符号量があ
る閾値を越えると、リフレッシュ対象数から求めたリフ
レッシュ・マクロブロック数を減少させるべく制御を行
う。発生符号量が十分多い場合はリフレッシュ・マクロ
ブロック数を“０”とする。発生符号量が増加している
場合に更にリフレッシュ・マクロブロック数を多くする
と符号化制御回路の制御により量子化パラメータが大き
くなり、画質が粗くなってしまう。リフレッシュ係数に
よるリフレッシュ・マクロブロック数の抑制により、量
子化パラメータの上昇を抑え、画質バラツキを抑制する
ことができる。

【００４０】また、このとき直前の１フレームでの発生
符号量が閾値を超えていた場合に、次の１フレームの符
号化時にリフレッシュ数が少なくなるように制御するよ
うにしても良い。

【００４１】また、本実施形態では、リフレッシュ・マ
ップにより、あるマクロブロックがリフレッシュ対象と
なってから経過したフレーム時間を管理している。この
リフレッシュ・マップにより、リフレッシュ・マクロブ
ロックをリフレッシュ対象となってから最も時間の経過
しているマクロブロックから選択することができ、通信
路においてデータ誤りやデータ欠落があった場合、リフ
レッシュ対象となってからの時間の経過による復号画像
の画質劣化を抑制することができる。

【００４２】本実施形態は画像符号化装置であるが、本
実施形態と同様の処理プログラムをコンピュータが読み
取り可能な記憶媒体に記録し、コンピュータにより画像
符号化処理を行なうことも可能である。

【００４３】（第２の実施形態）第２の実施形態では、
本発明の画像符号化装置を適用した無線画像通信端末
と、この端末を使用する無線画像通信システムについて
説明する。

【００４４】本発明の画像符号化装置を備える無線画像
通信端末は、外形的には、図６に示すように、受信部60
1と、カメラ部602と、モニタ部603と、スピーカ604と、
操作部605と、送話口606とを有している。このカメラ部
602で撮像された画像は、第１の実施形態で説明した画
像符号化装置により符号化される。また、送話口606よ
り送信者の音声を取り込み、符号化し、画像データと多
重して送信する。また、対局からの無線信号は受信部60
1で受信し、画像データと音声データとに分離する。画
像データは内部の復号装置で復号されモニタ部603に表
示される。対局からの音声データも同様に復号され、ス
ピーカ604から出力される。

【００４５】図７は、こうした無線画像通信端末が使用
される無線画像通信システムの構成をブロック図で示し
ている。各無線画像通信端末は、ネットワーク707に繋
がる無線基地局706を介して接続する。送信側の端末
は、カメラで撮像された画像信号が入力する画像信号入
力部701と、送話口から取り込まれた音声信号が入力す
る音声信号入力部702と、データを圧縮符号化する情報
源符号化部703と、送信データに対して誤り訂正符号化
やパケット化を行う伝送路符号化部704と、送信データ
を搬送波に乗せて送出する無線部705とを備えている。
また、受信側の端末は、電波を受信して受信データを復
調する無線部708と、パケット化されたデータを元に戻
し、誤り訂正を実施する伝送路復号化部709と、圧縮さ
れているデータを伸長する情報源復号化部710と、画像
信号をモニタに出力する画像信号出力部711と、音声信
号をスピーカに出力する音声信号出力部712とを備えて
いる。

【００４６】このシステムでは、送信側において画像信
号入力部701から入力された画像信号は、第１の実施形
態で説明した画像符号化装置を含む情報源符号化部703
で情報量圧縮符号化される。また、音声信号入力部702
から入力された音声信号も情報源符号化部703で情報量
圧縮符号化され、画像データと多重化される。多重化さ
れたデータは、伝送路符号化部704で誤り訂正符号化や
パケット化が行われ、無線部705から通信路へ送出され
る。

【００４７】無線部705から送出された通信データは、
無線基地局706、通信ネットワーク707を経由して受信側
に送られる。無線部708で受信した通信データは、送信
側と逆の処理で符号化データの復号処理が行われ、モニ
タなどの画像信号出力部711に画像が表示され、スピー
カなどの音声信号出力部712から音声が出力される。

【００４８】この無線画像通信端末では、第１の実施形
態で説明した画像符号化装置を持つことにより、通信路
においてデータ誤りやデータ欠落が発生した場合でも、
リフレッシュによりエラー回復を図ることができ、デー
タ誤りやデータ欠落が発生しやすい無線画像通信におい
て、復号画像の画質劣化や画質のバラツキを抑制するこ
とが可能となる。

【００４９】

【発明の効果】以上の説明から明らかなように、本発明
の画像符号化方法及び画像符号化装置では、１フレーム
内でのリフレッシュするマクロブロック数を固定せず
に、リフレッシュ対象数が多い場合はリフレッシュ・マ
クロブロック数も多くし、リフレッシュ対象数が少ない
場合はリフレッシュ・マクロブロック数も少なくしてい
るため、リフレッシュ対象となってから実際にリフレッ
シュされるまでの時間が長くなるのを防ぐことができ、
通信路においてデータ誤りやデータ欠落があった場合の
復号画像の画質劣化を抑制することができる。

【００５０】また、発生符号量が多い場合にリフレッシ
ュ・マクロブロック数の増加を抑制しているため、量子
化パラメータの上昇による画質バラツキの発生を抑える
ことができる。

【００５１】また、リフレッシュ・マップにより、リフ
レッシュ対象となってからの時間経過を管理し、リフレ
ッシュ対象となってから最も時間の経過しているマクロ
ブロックから順にリフレッシュしているため、通信路に
おいてデータ誤りやデータ欠落があった場合の復号画像
の画質劣化を抑制することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態における画像符号化装
置の構成を示すブロック図、

【図２】第１の実施形態のリフレッシュ制御手段の構成
を示すブロック、

【図３】リフレッシュ判定方法を示す図、

【図４】リフレッシュ・マップを示す図、

【図５】発生符号量と係数ｋの関係を示す図、

【図６】本発明の第２の実施形態の無線画像通信端末を
示す図、

【図７】本発明の第２の実施形態の無線画像通信システ
ムを示す図、

【図８】従来の画像符号化装置の構成を示すブロック
図、

【図９】リフレッシュ位置とリフレッシュ対象マクロブ
ロックとの関係を示す図、

【図１０】リフレッシュ位置とリフレッシュ対象とが離
れている例を示した図、

【図１１】リフレッシュ・マクロブロックの位置が移動
する様子を示した図、

【図１２】リフレッシュ対象が多い状態の例を示した
図、

【図１３】後からリフレッシュ対象となったマクロブロ
ックが先にリフレッシュされることを説明した図であ
る。

【符号の説明】

101、801 ブロック化回路 102、802 減算器 103、803 モード選択スイッチ 104、804 ＤＣＴ回路 105、805 量子化回路 106、806 逆量子化回路 107、807 ＩＤＣＴ回路 108、808 加算器 109、809 フレームメモリ 110、810 動き補償回路 111、811 スイッチ 112、812 モード選択回路 113 リフレッシュ制御回路 114、814 符号化制御回路 115、815 可変長符号化回路 116、816 多重化回路 117、817 出力バッファ 118、818 符号化部 201 リフレッシュ対象判定部 202 リフレッシュ・マップ生成部 203 フレッシュ対象計数部 204 リフレッシュ係数生成部 205 リフレッシュ・マクロブロック数生成部 206 リフレッシュ位置生成部 601 受信部 602 カメラ部 603 モニタ部 604 スピーカ部 605 操作部 606 送話口 701 画像信号入力部 702 音声信号入力部 703 情報源符号化部 704 伝送路符号化部 705 無線部 706 無線基地局 707 通信ネットワーク 708 無線部 709 伝送路復号化部 710 情報源復号化部 711 画像信号出力部 712 音声信号出力部 813 リフレッシュ判定回路

Claims (12)

【特許請求の範囲】
1. 【請求項１】 入力動画像を、フレーム内符号化するイ
   ントラ符号化モード、フレーム間符号化するインター符
   号化モード、または、新たな符号化を行わずに前画面を
   表示に使用する非符号化モードで符号化し、前記入力動
   画像の動領域を検出して、その動領域をイントラ符号化
   によるリフレッシュの対象候補として記憶し、前記対象
   候補に対して順番にリフレッシュ制御を行う画像符号化
   方法において、 前記対象候補の中で、ある一定期間内にリフレッシュす
   る対象候補のリフレッシュ数を、前記対象候補の総数に
   基づいて決定することを特徴とする画像符号化方法。
2. 【請求項２】 前記リフレッシュ数を、前記一定期間内
   の発生符号量に応じて制御することを特徴とする請求項
   １に記載の画像符号化方法。
3. 【請求項３】 直前の１フレームでの発生符号量が閾値
   を超えていた場合に、次の１フレームの符号化時に前記
   リフレッシュ数が少なくなるように制御することを特徴
   とする請求項１に記載の画像符号化方法。
4. 【請求項４】 入力動画像を、フレーム内符号化するイ
   ントラ符号化モード、フレーム間符号化するインター符
   号化モード、または、新たな符号化を行わずに前画面を
   表示に使用する非符号化モードで符号化し、前記入力動
   画像の動領域を検出して、その動領域をイントラ符号化
   によるリフレッシュの対象候補として記憶し、前記対象
   候補に対して順番にリフレッシュ制御を行う画像符号化
   方法において、 前記対象候補の中で、リフレッシュの対象候補になって
   からの経過時間が長い対象候補を順にリフレッシュの対
   象として決定することを特徴とする画像符号化方法。
5. 【請求項５】 前記対象候補ごとに、リフレッシュの対
   象候補になってからの経過フレーム数を計数して記憶
   し、１フレームの符号化処理開始時に、前記経過フレー
   ム数が最も多い対象候補から順にリフレッシュの対象と
   して決定することを特徴とする請求項４に記載の画像符
   号化方法。
6. 【請求項６】 入力動画像を、フレーム内符号化するイ
   ントラ符号化モード、フレーム間符号化するインター符
   号化モード、または、新たな符号化を行わずに前画面を
   表示に使用する非符号化モードで符号化する符号化手段
   と、前記入力動画像の動領域を検出して、その動領域を
   イントラ符号化によるリフレッシュの対象候補として記
   憶し、前記対象候補に対して順番にリフレッシュ制御を
   行うリフレッシュ制御手段とを具備し、 前記リフレッシュ制御手段は、前記対象候補の中で、あ
   る一定期間内にリフレッシュする対象候補のリフレッシ
   ュ数を、前記対象候補の総数に基づいて決定することを
   特徴とする画像符号化装置。
7. 【請求項７】 前記リフレッシュ制御手段は、前記リフ
   レッシュ数を、前記一定期間内の発生符号量に応じて制
   御することを特徴とする請求項６に記載の画像符号化装
   置。
8. 【請求項８】 前記リフレッシュ制御手段は、前記対象
   候補の中で、リフレッシュの対象候補になってからの経
   過時間が長い対象候補を順にリフレッシュの対象として
   決定することを特徴とする請求項６に記載の画像符号化
   装置。
9. 【請求項９】 前記リフレッシュ制御手段は、前記対象
   候補ごとに、リフレッシュの対象候補になってからの経
   過フレーム数を計数してリフレッシュ・マップに記録
   し、１フレームの符号化処理開始時に、前記リフレッシ
   ュ・マップに記録されている対象候補の内、前記経過フ
   レーム数が最も多い対象候補から順にリフレッシュの対
   象として決定することを特徴とする請求項８に記載の画
   像符号化装置。
10. 【請求項１０】 前記請求項６から９のいずれかに記載
    された画像符号化装置で符号化されたデータを受信して
    前記データを復号する画像復号装置。
11. 【請求項１１】 前記請求項６から９のいずれかに記載
    された画像符号化装置を内蔵する無線画像通信端末。
12. 【請求項１２】 前記請求項１から５のいずれかに記載
    された画像符号化方法による処理手順を規定するプログ
    ラムが記録された記憶媒体。