JP2003009159A - 映像情報復号装置 - Google Patents

Abstract

(57)【要約】 【課題】 低伝送レートの通信回線を用いた映像通信で
は、１フレーム文の符号化情報をすべて受信しないと復
号を開始できないという伝送遅延が無視できない。ま
た、駒落としによる時間解像度の低下も大きな問題とな
っている。 【解決手段】 １フレーム単位の動きベクトルと、各帯
域毎に独立して符号化され、低解像度成分から高解像度
成分の順で各帯域毎に１フレーム分ずつ伝送された予測
誤差信号の符号化情報とを受けて、復号映像を出力す
る。動きベクトルを用いて、既に復号された復号映像に
対して動き補償を行い、予測値を出力し、各帯域ごとの
予測誤差信号を、各帯域毎に独立して復号し、復号され
た各帯域の１フレーム分の予測誤差信号を全て用いて帯
域合成して、全帯域に対する予測誤差信号を復号する。
前記動き補償により出力される予測値に、前記復号より
得られた全帯域に対する予測誤差信号を加算して、復号
映像を出力する。

Description

【発明の詳細な説明】 【０００１】 【発明の属する技術分野】本発明は、通信回線を用いて
映像伝送できるように映像信号に含まれる冗長量を削減
して圧縮符号化された映像信号を復号する映像情報復号
装置に関する。 【０００２】 【従来の技術】近年、ディジタル伝送網の整備・普及
と、映像処理技術の進歩、および高速ディジタル信号技
術の発展により、新しい通信サービスとして映像通信サ
ービスの実現に対する要求が非常に高まっている。映像
通信サービスの代表的なものとしては、テレビ電話サー
ビス、テレビ会議サービス等があり、これらのサービス
は統合ディジタル網（ＩＳＤＮ）や広帯域統合ディジタ
ル網（Ｂ−ＩＳＤＮ）のような高機能なネットワークの
実現により現実のものとなりつつある。現在、アナログ
電話網や移動体通信網などの低伝送レートのネットワー
クに対してもこれらのサービスの実現が要求されてお
り、活発な研究が行われている。一般に、映像情報に含
まれる情報量は非常に多く、たとえば、映像信号をその
まま通信回線を使って伝送しようとすると、大変に広帯
域の伝送容量が必要となるため、現実的ではない。しか
しながら、映像信号には、その情報量に冗長性が含まれ
ており、この冗長性を利用して情報量の削減を行うこと
が可能である。そこで、映像信号を効率よく扱うことを
目的として映像の圧縮符号化（以下符号化と称する）技
術が広く用いられている。 【０００３】図９はフレーム間予測直交変換符号化方法
を用いた従来の映像情報符号化装置の構成を示す。図９
に示すように、入力映像信号は、映像フレームごとに動
き補償フレーム間予測部９０１によって動き補償フレー
ム間予測符号化される。すなわち、動き補償フレーム間
予測部９０１は、フレームメモリ部９０２に格納された
１つ前に符号化された映像フレームを予測値として読み
出し、差分演算部９０３で入力映像フレームとフレーム
メモリ部９０２から読み出した予測値との差を求めてフ
レーム間予測符号化を行う。差分演算部９０３から出力
される予測誤差信号は、離散コサイン変換（以下ＤＣＴ
と称する）部９０４に送られて直交変換の一種であるＤ
ＣＴ演算が施され、ＤＣＴ係数に変換されて出力され
る。ＤＣＴ部９０４から出力されたＤＣＴ係数は、量子
化部９０５で符号化制御部９０６により指示された適当
なレベル（量子化ステップサイズ）で量子化されて情報
量が圧縮される。量子化部９０５からの量子化出力は、
符号化結果として外部に出力されるとともに逆量子化部
９０７へも送られる。逆量子化部９０７では量子化部９
０５とは逆の処理が行われてＤＣＴ係数が出力され、逆
ＤＣＴ部９０８で逆ＤＣＴ演算が施される。逆ＤＣＴ部
９０８からの出力は、加算部９０９でフレームメモリ部
９０２から読み出された予測値と加算された後、フレー
ムメモリ部９０２に格納されて、次の入力映像フレーム
のフレーム間予測に使用される。入力映像信号は、この
ようにループ状の構成（符号化ループ）に従って符号化
される。 【０００４】次に、従来の映像階層符号化方式について
述べる。図１０に従来の階層映像符号化装置の構成を示
す。図１０において、００１は映像を階層化する階層化
部、００２〜００８は一つ前に符号化および復号化を行
なった映像を記憶しておくフレームメモリ部、０１０〜
０１６はフレームメモリ部００２〜００８に記憶されて
いる一つ前に符号化および復号化された映像を利用し
て、入力映像を符号化する符号化部、０１７〜０２３は
符号化部０１０〜０１６から出力された符号化結果を復
号化する復号化部を表している。次に、図１０の従来の
階層映像符号化装置の動作を説明する。まず、入力映像
を階層化部００１で階層化する。次に、それぞれの階層
の映像に対して符号化部０１０〜０１６がフレームメモ
リ部００２〜００８に記憶されている一つ前に符号化お
よび復号化された映像を利用して、入力映像を符号化
し、各階層の符号化結果を外部に出力する。一方、符号
化部０１０〜０１６から出力された符号化結果は、復号
化部０１７〜０２３にも送られて復号化を施され、その
出力がフレームメモリ００２〜００８に格納され、次の
符号化に利用される。 【０００５】上述したように従来の映像情報符号化装置
では動き補償予測によって時間的冗長度を取り除き、Ｄ
ＣＴによって空間的冗長度を取り除いた後に量子化を行
うため、かなりの情報量削減が期待できるが、伝送レー
トの低い通信回線を用いて符号化情報を送信する場合な
どでは、情報量をさらに削減する必要がある。そこで、
適当に選択されたフレーム以外のフレームについては符
号化を行わない駒落としなどを行うことが一般的であ
る。これは、符号化対象フレーム数を削減することによ
り、１フレームに割り当てられる情報量を増加させ、符
号化映像品質を向上させるためである。 【０００６】 【発明が解決しようとする課題】しかしながら、従来の
映像情報符号化装置及び映像情報復号化装置では、１フ
レーム分の符号化情報の伝送が終了するまで映像の復号
化を開始できないため、通信回線の伝送レートが低い場
合には、多くのフレームが駒落としされることに伴い、
多大な伝送遅延が生じる。また、駒落としを行うことに
よって、符号化及び復号化された映像の時間的な解像度
が低下するといった問題点があった。本発明は上記の問
題点に鑑み、低い伝送レートの通信回線を用いた場合の
伝送遅延の低減、および時間解像度の低下の抑制を図れ
る映像情報符号化装置および映像情報復号装置を提供す
るものである。 【０００７】 【課題を解決するための手段】本発明は、１フレーム単
位の動きベクトルと、各帯域毎に独立して符号化され、
低解像度成分から高解像度成分の順で各帯域毎に１フレ
ーム分ずつ伝送された予測誤差信号の符号化情報とを受
けて、復号映像を出力する映像復号装置において、前記
動きベクトルを用いて、既に復号された復号映像に対し
て動き補償を行い、予測値を出力する動き補償部と、前
記各帯域ごとの予測誤差信号を、各帯域毎に独立して復
号し、復号された各帯域の１フレーム分の予測誤差信号
を全て用いて帯域合成して、全帯域に対する予測誤差信
号を復号する復号部と、前記動き補償部より出力される
予測値に、前記復号部より得られた全帯域に対する予測
誤差信号を加算することにより、復号映像を出力する加
算部とを備えたことを特徴としたものである。 【０００８】 【発明の実施の形態】以下、図面を参照して、本発明が
適用される例としての映像情報符号化装置および本発明
による映像情報復号装置を詳述する。図１に本発明が適
用される一例としての映像情報符号化装置における階層
化符号化情報伝送手段のの構成例を示す。図１におい
て、１０１は動き補償予測を行なう動き補償予測部、１
０２は予測誤差信号を帯域分割する帯域分割部、１０３
〜１０９は予測誤差信号を符号化する符号化部、１１０
〜１１６はバッファ部、１１７は選択部、１１８は符号
化情報選択部、１１９は復号部、１２０はフレームメモ
リ部である。 【０００９】以下に各構成部の詳細を示す。動き補償予
測部１０１は、後述するフレームメモリ部１０７に記憶
されている１つ前に符号化および復号された映像を参照
して、入力映像の動き補償予測を行い、予測誤差信号、
および動きベクトルを出力する。帯域分割部１０２は、
動き補償予測部１０１から出力された予測誤差信号に、
帯域分割を施す。図２は、帯域分割部１０２が映像信号
の帯域分割を行なう様子を表している。まず、原映像に
対し、１次元の周波数分割フィルタを水平方向、垂直方
向それぞれに施して、各帯域成分よりなる４つの映像に
帯域分割する。さらに、この４つの映像のうちもっとも
低周波成分の映像、すなわちベースバンド映像に対して
同じように４つの映像に帯域分割し、最終的に解像度の
異なる７つの帯域の映像に帯域分割する。 【００１０】符号化部１０３〜１０９は、帯域分割部１
０２から出力された予測誤差信号に直交変換や量子化な
どを行って、情報量の圧縮を行い、符号化結果を出力す
る。バッファ部１１０〜１１６は、符号化部１０３〜１
０９からの符号化結果を格納しておく。選択部１１７
は、符号化情報の伝送を行う階層を決定する。伝送する
階層の順序は、解像度の低い順、すなわち、図２におい
て、ＬＬＬＬ、ＬＬＬＨ、ＬＬＨＬ、ＬＬＨＨ、ＬＨ、
ＨＬ、ＨＨの順である。そして、その解像度に対応する
バッファ１１０〜１１６から符号化結果を読み出し、後
述する符号化情報伝送部１１８に出力する。符号化情報
伝送部１１８は、選択部１１７から出力された符号化情
報を、階層毎に１フレーム単位で伝送する。また、動き
ベクトルやフレーム開始・終了信号、解像度番号の送信
も行う。復号部１１９はバッファ部１１０〜１１６から
の符号化結果を復号し、その出力をフレームメモリ部１
２０へ格納する。フレームメモリ部１２０は、符号化お
よび復号された映像を、次のフレーム間符号化の予測に
利用するために記憶しておく。 【００１１】図１の階層化符号化情報伝送手段の処理の
流れを図３のフローチャートを用いて説明する。まず、
符号化情報伝送部１１８がフレーム開始信号を送信する
（ステップＳ１）。次に、入力映像に対して動き補償予
測部１０１が動き補償予測を行ない、予測誤差信号と動
きベクトルを出力する（ステップＳ２）。ステップＳ２
で出力された予測誤差信号は帯域分割部１０２において
帯域分割される（ステップＳ３）。次に、符号化部１０
４〜１１０が、ステップＳ３での帯域分割された予測誤
差信号を、各帯域ごとに符号化し、その符号化結果をバ
ッファ部１１１〜１１６に蓄える（ステップＳ４）。次
に、選択部１１７がＬＬＬＬの映像の符号化結果を選択
し、バッファ部１１１から符号化結果を読み出し、符号
化情報伝送部１１８に送る（ステップＳ５）。符号化情
報伝送部１１８はステップＳ３で選択された帯域番号Ｌ
ＬＬＬを送信し（ステップＳ６）、続いてステップＳ５
で得られた符号化情報を送信する（ステップＳ７）。一
方、ステップＳ５で出力された符号化情報は復号部１１
９にも送られて復号され（ステップＳ８）、フレームメ
モリ部１２０に格納され（ステップＳ９）、次のフレー
ムの動き補償予測に利用される。この後、ステップＳ４
からステップＳ９までの処理を前述した階層の順に従っ
て繰り返し（ステップＳ１０）、すべての階層について
終了したら符号化情報伝送部１１９がフレーム終了信号
を送信して（ステップＳ１１）、１枚のフレームの符号
化を完了する。そして、すべてのフレームについて符号
化を終えると、処理を終了する（ステップＳ１２）。 【００１２】図４は符号化情報伝送部１１９の出力を表
している。始めに、フレーム開始信号が送信される（４
０１）。次に、１フレーム分の動きベクトルすべてが送
信される（４０２）。次に、どの帯域の符号化情報かを
表す帯域番号が送信され（４０３）、続いてその帯域の
符号化情報が送信される（４０４）。この４０３、４０
４は低解像度成分の帯域から高解像度成分の帯域まで順
に繰り返され、すべての帯域について送信された後、フ
レーム終了信号が送信される（４０５）。 【００１３】次に、本発明による映像情報復号装置を図
面を参照して詳述する。図５に本発明における映像情報
復号装置の実施の形態例を示す。図５において、５０１
は復号する階層を決定する第一選択部、５０２〜５０８
は各階層毎に復号を行なう復号部、５０９〜５１４は加
算部、５１５は表示する復号映像を選択する第二選択
部、５１６はフレームメモリ部５１７に格納する映像の
制御を行う第三選択部、５１７はフレームメモリ部、５
１８は動き補償部である、５１９は加算部である。 【００１４】以下に各構成部について説明する。第一選
択部５０１は符号化情報中に含まれる帯域番号を読み出
し、それに対応する復号部（５０２〜５０８のいずれ
か：後述する）へ符号化情報を送信する。復号部５０２
〜５０８は第一選択部５０１からの符号化情報を復号
し、予測誤差信号を出力する。加算部５０９〜５１４は
その帯域の予測誤差信号と１つ前までの帯域の予測誤差
信号と加算する。第二選択部５１５は、加算部５０９〜
５１４から出力された復号映像のうち、どの映像を表示
するか選択する。この第二選択部５１５は第一選択部５
０１と同期している。第三選択部５１６は、第一選択部
５０１と同期して動作し、すべての帯域について復号が
終わった時点でフレームメモリ部５１７に復号映像を格
納する。 【００１５】フレームメモリ部５１７は、一つ前に復号
された映像を記憶する。動き補償部５１８は、動きベク
トルとフレームメモリ部５１７に記憶された一つ前に復
号された映像を用いて動き補償処理を行う。このとき、
復号する帯域の映像の時間に比例して動きベクトルのス
ケーリングを行う。加算部５１９は第二選択部５１５か
らの予測誤差信号と、フレームメモリ部５１７からの予
測値を加算して、復号映像を合成する。 【００１６】次に、図５の映像復号装置の処理の流れを
図６のフローチャートを用いて説明する。入力される映
像符号化情報は図４の形式をとるものとする。まず、フ
レーム開始信号４０１が検出されると（ステップＴ
１）、続いてくる動きベクトル５０２を動き補償部５１
８に送る（ステップＴ２）。次に、第一選択部５０１は
続いてくる帯域番号５０３から復号を行なう帯域をもっ
とも低い帯域ＬＬＬＬと判定し、その後に続いてくる符
号化情報５０４を帯域ＬＬＬＬの復号部４０２へ送る
（ステップＴ３）。復号部４０２は、ステップＴ３で送
られてきた符号化情報４０４と予測信号の帯域ＬＬＬＬ
成分を出力し、第二選択部５１５に送られるとともに加
算部５０９へも送られる（ステップＴ４）。第二選択部
５１５は、第一選択部５０１と同期して動作し、符号化
情報の受信および復号が終わった帯域ＬＬＬＬの予測誤
差信号を加算部５１９に出力する（ステップＴ５）。一
方、動き補償部５１８はステップＴ２で送られてきた動
きベクトルをスケーリングして用いて動き補償処理を行
い、フレームメモリ部５１７から予測値を読み出す（ス
テップＴ６）。ステップＴ５、Ｔ６で出力された予測誤
差信号と予測値は加算部５１９において加算され、復号
映像が出力される（ステップＴ７）。以上でもっとも低
い帯域ＬＬＬＬの映像の復号を終了する。次に、第一選
択部は帯域番号５０３から帯域ＬＬＬＨを復号の対象と
判定し、その後に続いてくる符号化情報５０４を帯域Ｌ
ＬＬＨの復号部４０３へ送る（ステップＴ８）。復号部
４０３はステップＴ８で得られた符号化情報を用いて復
号を行い、帯域ＬＬＬＨの予測誤差信号を出力し、加算
部５０９へ送られる（ステップＴ９）。加算部５０９で
は、ステップＴ５で得られた帯域ＬＬＬＬの予測誤差信
号と、ステップＴ９で得られた帯域ＬＬＬＨの予測誤差
信号を加算し、結果を第二選択部５１５へ送るととも
に、加算部５１０にも出力する（ステップＴ１０）。第
二選択部５１５は第一選択部と同期して動作するため、
ステップＴ１０で得られた帯域ＬＬＬＬと帯域ＬＬＬＨ
を加算した予測誤差信号を加算部５１９に出力する（ス
テップＴ１１）。一方、ステップＴ６と同様に、動き補
償部５１８はステップＴ２で送られてきた動きベクトル
をスケーリングして用いて動き補償処理を行い、フレー
ムメモリ部５１７から予測値を読み出す（ステップＴ１
２）。ステップＴ１１、Ｔ１２で出力された予測誤差信
号と予測値は加算部５１９において加算され、復号映像
が出力される（ステップＴ１３）。以上で帯域ＬＬＬＬ
と帯域ＬＬＬＨの復号を終了する。以降帯域ＬＬＨＬ、
ＬＬＨＨ、ＬＨ、ＨＬ、ＨＨについては帯域ＬＬＬＨと
同様にステップＴ８〜ステップＴ１３を繰り返す（ステ
ップＴ１４）。すべての帯域について復号が終了する
と、第一選択部と同期して動作する第三選択部５１６が
復号映像をフレームメモリ部５１７に出力し、格納する
（ステップＴ１５）。そして、すべてのフレームについ
て復号が終わると（ステップＴ１０）、処理を終了す
る。 【００１７】この映像情報復号装置を用いて図４の形式
の符号化情報を受信および復号した場合の復号映像の様
子と従来技術を用いて映像の符号化および復号を行った
場合の復号映像の様子を図８に示す。図のように、本発
明による映像情報復号装置では、受信の初期の段階でも
っとも低解像度の帯域ＬＬＬＬの映像を復号でき、その
後受信および復号が完了した階層の映像を合成していく
ため、伝送遅延はもっとも低解像度の帯域ＬＬＬＬの映
像の符号化情報の受信にかかる時間だけを考慮すればよ
く、伝送遅延の大幅な低減が実現できる。このとき、出
力される映像信号は、予測値に予測誤差信号の各帯域成
分が、低周波から高周波へ段階的に加算されたものとな
るため、駒落としされたフレームの補間フレームとして
利用することができる。また、最初に受信した動きベク
トルを、その後順次受信していく帯域の符号化情報の受
信・復号の時間に合わせてスケーリングを行うため、滑
らかな動きの補間フレームを構成でき、出力される映像
信号の時間解像度及び品質を著しく向上することができ
る。また、補間のための特別な処理が不要であるため、
復号装置の規模も小さくすることができる。 【００１８】 【発明の効果】以上述べた通り、本発明によれば、映像
を帯域分割して各帯域毎に符号化し、各帯域の符号化情
報を１フレーム単位で低解像度の帯域のものから順次送
信し、それを復号装置で順次復号することにより、低い
伝送レートの通信回線を利用した映像通信においても符
号化対象映像の全体の情報を受信するまで待つ必要がな
くなり、大幅な伝送遅延の低減が実現できる。このと
き、出力される映像信号は、予測値に予測誤差信号の各
帯域成分が、低周波から高周波へ段階的に加算されたも
のとなるため、駒落としされたフレームの補間フレーム
として利用することができる。また、最初に受信した動
きベクトルを、その後順次受信していく帯域の符号化情
報の受信および復号の時間に合わせてスケーリングを行
うため、滑らかな動きの補間フレームを構成でき、出力
される映像信号の時間解像度及び品質を著しく向上する
ことができる。また、補間のための特別な処理が不要で
あるため、復号装置の規模も小さくすることができる。

【図面の簡単な説明】 【図１】本発明が適用される一例としての映像情報符号
化装置の一実施形態を表す図である。 【図２】本発明が適用される一例としての映像情報符号
化装置における帯域分割部１０２による、映像信号の帯
域分割の様子を表す図である。 【図３】図１の映像符号化装置の動作を説明するための
フローチャート図である。 【図４】符号化情報の伝送方式を表す図である。 【図５】本発明における、映像情報復号装置の一実施例
を示す図である。 【図６】図６の映像情報復号装置の動作を説明するため
のフローチャート図である。 【図７】動きベクトルのスケーリングの方法を表す図で
ある。 【図８】従来方式と、本発明による復号装置の復号映像
の様子を表した図である。 【図９】従来の映像符号化装置の構成を表す図である。 【図１０】従来の階層映像符号化装置の構成を表す図で
ある。 【符号の説明】 １０１…動き補償予測部、１０２…帯域分割部、１０３
〜１０９…符号化部、１１０〜１１６…バッファ部、１
１７…選択部、１１８…符号化情報伝送部、１１９…復
号部、１２０…フレームメモリ部、５０１…第一選択
部、５０２〜５０８…復号部、５０９〜５１４…加算
部、５１５…第二選択部、５１６…第三選択部、５１７
…フレームメモリ部、５１８…動き補償部、５１９…加
算部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 日比 慶一 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 Ｆターム(参考） 5C059 KK01 MA05 MA32 MA41 MC11 NN21 PP04 RC02 RC11 RC16 SS07 TA61 TB04 TC12 UA02 UA05 UA15 UA32 UA33 5J064 AA03 BB01 BB03 BC08 BC18 BC25 BD01

Claims (1)

1. 【特許請求の範囲】 【請求項１】 １フレーム単位の動きベクトルと、各帯
   域毎に独立して符号化され、低解像度成分から高解像度
   成分の順で各帯域毎に１フレーム分ずつ伝送された予測
   誤差信号の符号化情報とを受けて、復号映像を出力する
   映像復号装置において、前記動きベクトルを用いて、既
   に復号された復号映像に対して動き補償を行い、予測値
   を出力する動き補償部と、 前記各帯域ごとの予測誤差信号を、各帯域毎に独立して
   復号し、復号された各帯域の１フレーム分の予測誤差信
   号を全て用いて帯域合成して、全帯域に対する予測誤差
   信号を復号する復号部と、 前記動き補償部より出力される予測値に、前記復号部よ
   り得られた全帯域に対する予測誤差信号を加算すること
   により、復号映像を出力する加算部とを備えたことを特
   徴とする映像情報復号装置。