JP2000115780A - 動画像符号化／復号装置および動画像伝送方法 - Google Patents

Abstract

(57)【要約】 【課題】非圧縮に近い高画質の動画像の伝送を行うこと
ができる動画像符号化装置・復号装置を提供する。 【解決手段】所定時間長、たとえば１０秒から１０分程
度の動画像信号を原画像蓄積部１０３から複数回繰り返
し入力し、第１回目に入力される所定時間長の動画像信
号に対しては通常の圧縮符号化を行う。第２回目以降に
入力される所定時間長の動画像信号に対しては所定時間
前の復号画像、すなわちローカル復号画像蓄積部１１６
に蓄積された同一の入力画像に対応する前回の復号画像
を、予測参照画像として予測符号化を行う。符号化の回
数を重ねるにつれて符号化誤差が減少していく。これに
より、簡単な構成により、非圧縮に近い高画質の動画像
の伝送が行える。また、通常画質から非圧縮に近い高画
質まで複数段階の画質を供給することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像符号化／復
号装置および動画像伝送方法に関し、特にディジタルビ
デオディスクやディジタル放送などにおける動画像の符
号化および復号に適した動画像符号化／復号装置および
動画像伝送方法に関する。

【０００２】

【従来の技術】より大量の映像信号を少ないデータ量で
伝送・蓄積するための動画像符号化技術は、たとえばＭ
ＰＥＧ２ビデオ規格（ＩＳＯ／ＩＥＣ１３８１８−２）
に代表されるように実用化が進んでいる。

【０００３】ＭＰＥＧ２ビデオ規格では、１枚の画面を
複数の８画素×８画素のブロックに分割し、各ブロック
にＤＣＴ（離散コサイン変換）を施して、得られたＤＣ
Ｔ係数を量子化して可変長符号化することを基本として
いる。また、動き補償画面間予測を併用することによっ
て、時間方向の画像の相関も利用して符号化効率を高め
ている。

【０００４】図１２は従来のＭＰＥＧ２方式における動
き補償画面間予測の予測構造を示す図である。動画像を
構成する各画面はピクチャと呼ばれ、ピクチャはここで
はフレームに等しいものとする。ピクチャの種類（ピク
チャタイプ）には、画面内で完結した符号化を行うＩピ
クチャの他に、過去（直前）のＩまたはＰピクチャから
の順方向予測符号化を行うＰピクチャ、過去（直前）ま
たは未来（直後）のＩまたはＰピクチャからの順方向予
測・逆方向予測・双方向予測（平均による内挿予測）を
行うＢピクチャの３種類がある。符号化対象画像に対し
て、予測の生成に用いられるＩまたはＰピクチャは参照
画像と呼ばれる。図１２では、参照画像から符号化対象
画像への予測を矢印で示している。また、ここではＩま
たはＰピクチャの間隔を示すパラメータであるＭは、３
ピクチャとしている。

【０００５】図１３は従来のＭＰＥＧ２方式におけるピ
クチャの処理順序を示す図である。入力された原画像
は、図１３に示すように入力順から符号化順への並べ替
え（リオーダー）が行われる。これは、Ｂピクチャの符
号化において未来のＩまたはＰピクチャも予測に使用す
るためであり、Ｉ・Ｐピクチャはすぐに符号化され、Ｂ
ピクチャは逆方向予測で参照するＩ・Ｐピクチャの符号
化が終わった後で符号化される。復号時には、符号化順
のままで伝送された圧縮データが復号された後、図１３
に示すように再度リオーダーが行われ、復号順から元の
入力順と同じ出力順に戻されて復号画像が出力される。
すなわち、Ｂピクチャは復号と同時に出力され、Ｉ・Ｐ
ピクチャは次のＩ・Ｐピクチャの復号と同時に出力され
る。

【０００６】図１４は従来のＭＰＥＧ２方式による動画
像符号化装置の概略構成図である。図１４の動画像符号
化装置は、原画像入力端子１０１、リオーダー部１０
２、予測誤差生成部１０４、ＤＣＴ部１０５、量子化部
１０６、可変長符号化部１０７、多重部１０８、送信バ
ッファ１０９、ビットストリーム出力端子１１０、逆量
子化部１１１、ＩＤＣＴ部１１２、ローカル復号画像生
成部１１３、ローカル復号画像メモリ１１４、予測生成
部１１５、動き検出部１１８、量子化制御部１１９から
構成されている。

【０００７】原画像入力端子１０１は、図示しないＶＴ
Ｒなどの動画像再生装置に接続されており、ここから入
力された動画像は、リオーダー部１０２においてピクチ
ャタイプに基づいて入力順から符号化順への順序の入れ
替えが行われる。予測誤差生成部１０４では、リオーダ
ーされた原画像と予測生成部１１５から供給される予測
信号との差が予測誤差として計算される。得られた予測
誤差信号から、ＤＣＴ部１０５においてＤＣＴ係数が求
められ、さらに量子化部１０６で量子化が行われる。可
変長符号化部１０７では、生起頻度の高いデータに短い
符号長を割り当てるエントロピー符号化により、情報量
が削減される。可変長符号化部１０７の出力は、多重部
１０８で動きベクトル１３３、モード情報１３４、量子
化制御情報１３２などと多重され、送信バッファ１０９
でいったんバッファリングされた後、ビットストリーム
出力端子１１０からビデオビットストリームとして出力
される。

【０００８】量子化部１０６の出力は逆量子化部１１１
にも供給されて、ここで逆量子化が行われ、ＩＤＣＴ部
１１２でＩＤＣＴ（逆離散コサイン変換）演算が行われ
る。ＩＤＣＴ部１１２の出力は、ローカル復号画像生成
部１１３において予測生成部１１５からの予測信号と加
算されてローカル復号画像が生成され、Ｉ・Ｐピクチャ
の場合はローカル復号画像メモリ１１４に記憶される。
ローカル復号画像メモリ１１４は２ピクチャ分の容量を
有し、それぞれ順方向および逆方向の予測のために用い
られる。予測生成部１１５では、ローカル復号画像メモ
リ１１４に記憶されているローカル復号画像（Ｉ・Ｐピ
クチャ）を参照画像として、動き検出部１１８から供給
される動きベクトル１３３およびモード情報１３４に基
づいて予測信号が生成される。

【０００９】動き検出部１１８では、符号化対象画像と
参照画像との間のブロックマッチングに基づいて動きベ
クトル１３３が求められるとともにモード情報１３４が
生成され、これらが予測生成部１１５と多重部１０８に
供給される。動きベクトル１３３やモード情報１３４は
マクロブロックと呼ばれる１６画素×１６画素の矩形領
域を単位として生成される。モード情報１３４には、画
面内符号化を行うのか、あるいは順方向・逆方向・双方
向のいずれの予測を行うのか、フレーム予測・フィール
ド予測などのいずれの予測モードであるか、などの情報
が含まれる。なお、画面内符号化を行うマクロブロック
では、予測生成部１１５から出力する予測信号は０とさ
れる。

【００１０】量子化制御部１１９は、量子化部１０６に
量子化制御情報１３２を与えて量子化スケールと量子化
マトリクスを制御し、発生符号量を調節する。すなわ
ち、値の小さな量子化スケールおよび量子化マトリクス
を用いれば、高品質の符号化ができるが発生符号量が多
くなり、逆に値の大きな量子化スケールと量子化マトリ
クスを用いれば、符号化誤差は大きくなるが発生符号量
は少なくなる。量子化制御部１１９には、送信バッファ
占有率情報１３１が供給されており、送信バッファ１０
９の占有率が高い場合には量子化が粗くなるような制御
が行われる。もちろん、送信バッファ占有率１３１以外
の情報を用いて量子化制御を行ってもよい。

【００１１】なお、ＭＰＥＧ２の符号化ビットストリー
ムは、ＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅ
ｒｉｆｉｅｒ）と呼ばれるモデルに準拠することが義務
づけられており、これにより復号装置のバッファがオー
バーフロー・アンダーフローしないようにしている。

【００１２】図１５は従来のＭＰＥＧ２方式による動画
像復号装置の概略構成図である。図１５の動画像復号装
置は、ビットストリーム入力端子２０１、受信バッファ
２０２、分離部２０３、可変長復号部２０４、逆量子化
部２０５、ＩＤＣＴ部２０６、復号画像生成部２０７、
リオーダー部２０９、復号画像出力端子２１０、復号画
像メモリ２１１、予測生成部２１２から構成されてい
る。

【００１３】ビットストリーム入力端子２０１から入力
されたビデオビットストリームは、受信バッファ２０２
でいったんバッファリングされた後、多重されていた動
きベクトル２２２、モード情報２２３、量子化制御情報
２２１などが分離部２０３において分離される。続い
て、可変長復号部２０４、逆量子化部２０５、ＩＤＣＴ
部２０６において、それぞれ可変長復号、逆量子化、Ｉ
ＤＣＴ演算が行われる。この時、逆量子化部２０５にお
いては、分離部２０３から供給される量子化制御情報２
２１が用いられる。復号画像生成部２０７では、ＩＤＣ
Ｔ部２０６の出力と予測生成部２１２から供給される予
測信号との加算が行われて復号画像が生成される。さら
に、リオーダー部２０９においてピクチャタイプに基づ
いて符号化順から表示順への順序の入れ替えが行われた
後に、復号画像出力端子２１０から出力される。また、
復号画像生成部２０７の出力はＩ・Ｐピクチャの場合に
は復号画像メモリ２１１に記憶される。復号画像メモリ
２１１は２ピクチャ分の容量を有し、それぞれ順方向お
よび逆方向の予測のために用いられる。予測生成部２１
２では、復号画像メモリ２１１に記憶されている復号画
像（Ｉ・Ｐピクチャ）を参照画像として、分離部２０３
から供給される動きべクトル２２２、モード情報２２３
に基づいて予測信号が生成される。

【００１４】なお、図１４および図１５は機能上の構成
を示したものであり、実際の実現形態がこのとおりであ
る必要はない。たとえば、図１４において、リオーダー
部１０２とローカル復号画像メモリ１１４は同じメモリ
上の別の領域を使用してもよいし、動き検出部１１８に
おいては原画像だけでなく原画像とローカル復号画像の
両方を用いて動きベクトル１３３を求めてもよい。また
図１５において、リオーダー部２０９には特別にメモリ
を設ける必要はなく、復号されたＢピクチャはそのまま
出力し、Ｉ・Ｐピクチャの復号時は、復号画像メモリ２
１１に記憶されている（以前に復号された）ＩまたはＰ
ピクチャを出力することによりリオーダーが実現でき
る。

【００１５】以上説明したように、ＭＰＥＧ２では、Ｄ
ＣＴ、量子化、可変長符号化、動き補償予測符号化、な
どの技術を複合して用いることにより圧縮効率を高めて
いる。

【００１６】このＭＰＥＧ２のような動画像符号化技術
を用いることにより、元々のビットレートが大きい動画
像であっても、ビットレートを充分小さくして、限られ
た伝送速度の伝送路を経由して伝送することが可能とな
った。また、限られた容量の記憶媒体に長時間の動画像
データを記憶することも可能となった。こうしたことか
ら、ＭＰＥＧ２はディジタルビデオディスクやディジタ
ル放送などにすでに応用されており、またＨＤＴＶのよ
うなさらに高速・高解像度の動画像の伝送・記憶も実用
化されようとしている。

【００１７】一般に、ＭＰＥＧ２では圧縮率を自由に選
ぶことができ、得られる画質も圧縮率に依存して変わ
る。通常のディジタルビデオディスクやディジタル放送
で用いられる数十分の１程度の圧縮率でＭＰＥＧ２圧縮
符号化された映像は、多くの場合については、充分満足
のできる画質を有している。

【００１８】しかし、動画像信号の中には圧縮符号化が
易しいものもあれば難しいものもある。ＭＰＥＧ２など
の圧縮符号化方式で、比較的低い符号化レートで符号化
を行うと、一部の画像については、必ずしも画質が充分
ではないことがある。また、画質劣化とまでは言えなく
とも、元々の圧縮していないディジタル映像の有する質
感が充分再現できない場合もある。特に、ＨＤＴＶの非
圧縮動画像は最高レベルのクオリティを有しているが、
それが圧縮符号化により失われてしまうことがある。も
ちろん、常に最高レベルの画質を供給する必要はない
が、応用や場面によっては、ぜひとも非圧縮に近い高画
質の映像が必要な場合がある。

【００１９】しかし、こうした最高画質の動画像を供給
するには、再生側には、非圧縮映像、またはきわめて圧
縮率の小さい映像を記録・再生できる装置が必更になる
が、こうした装置は非常に高価である。また、非圧縮の
テスト動画像信号の発生などにも、やはり高価な専用の
テスト信号発生器が使われている。また、これらの装置
では、数十分の１の圧縮率で符号化した通常品質の動画
像との関連がなく、高画質再生専用の装置として使うし
かなかった。

【００２０】

【発明が解決しようとする課題】上述したように、従来
のＭＰＥＧ２などの圧縮符号化方式により動画像を符号
化すると一部の画像については充分な画質または質感が
得られない場合がある、という問題点があった。一方、
非圧縮またはきわめて圧縮率の小さい高画質の映像を再
生するには専用の高価な装置が必要である、という問題
点があった。

【００２１】本発明は上記問題点を解決するためになさ
れたもので、簡単な構成により、非圧縮に近い高画質の
動画像の伝送が行えるとともに、通常画質から非圧縮に
近い高画質まで複数段階の画質を供給することができる
動画像符号化／復号装置および動画像伝送方法を提供す
ることを目的とする。

【００２２】

【課題を解決するための手段】本発明は上述の課題を解
決するために、動画像信号を符号化する動画像符号化装
置において、動画像信号を符号化する符号化手段と、前
記動画像信号を構成するそれぞれの画面を前記符号化手
段に複数回入力する入力手段と、前記符号化手段から出
力される復号画像を記憶する記憶手段と、前記符号化手
段から出力されるそれぞれの画面に対する複数回の符号
化データを時間軸上で１つに多重して送信する送信手段
とを具備し、前記符号化手段は、前記入力手段から第１
回目に入力されるそれぞれの画面に対しては所定の圧縮
符号化を行い、第Ｊ回目（Ｊは２以上の整数）に入力さ
れるそれぞれの画面に対しては前記記憶手段から読み出
される第（Ｊ−１）回目の入力に対応する復号画像を予
測参照画像として予測符号化を行うようにしたものであ
る。

【００２３】これにより、同一の入力画像が複数回符号
化手段に入力され、第２回目以降の符号化では同一の入
力画像に対応する前回の復号画像に対する予測誤差だけ
を符号化することになるため、符号化の回数を重ねるに
つれて予測誤差が減少し、最終的には非圧縮に近い高画
質の動画像データとして符号化することができる。

【００２４】また、符号化の回数を重ねる度に符号化手
段による量子化を細かくしていくことが好ましい。これ
により、さらなる画質の向上を図ることが可能となる。
また、本発明は、所定時間長の動画像信号を符号化する
動画像符号化装置において、動画像信号を符号化する符
号化手段と、前記動画像信号を前記所定時間を単位とし
て前記符号化手段に複数回繰り返し入力する入力手段
と、前記符号化手段から出力される前記所定時間長の復
号画像を記憶する記憶手段と、前記符号化手段によって
前記所定時間長の動画像信号毎に得られた複数回分の符
号化データを時間軸上で１つに多重して送信する送信手
段とを具備し、前記符号化手段は、前記入力手段から第
１回目に入力される前記所定時間長の動画像信号に対し
ては所定の圧縮符号化を行い、第Ｊ回目（Ｊは２以上の
整数）に入力される前記所定時間長の動画像信号に対し
ては前記記憶手段から読み出される第（Ｊ−１）回目の
入力に対応する前記所定時間前の復号画像を予測参照画
像として予測符号化を行うようにしたものである。

【００２５】これにより、所定時間、たとえば１０秒あ
るいは１０分というような長さの同一の入力画像が複数
回繰り返し符号化手段に入力され、第２回目以降の符号
化では同一の入力画像に対応する前回の復号画像に対す
る予測誤差だけを符号化することになるため、符号化の
回数を重ねるにつれて予測誤差が減少し、最終的には非
圧縮に近い高画質の動画像データとして符号化すること
ができる。

【００２６】また、本発明は、動画像信号を符号化する
動画像符号化装置において、動画像信号を符号化する符
号化手段と、前記動画像信号を構成するそれぞれの画面
が前記符号化手段に複数回入力されるように、前記動画
像信号の各画面毎にその画面をＫ回（Ｋは２以上の整
数）連続して前記符号化手段に入力する入力手段と、前
記符号化手段から出力される復号画像を記憶する記憶手
段と、前記符号化手段によって前記動画像信号を構成す
るそれぞれの画面毎に得られたＫ回分の符号化データが
画面毎に時間軸上で連続するように、それぞれの画面の
Ｋ回分の符号化データを時間軸上で１つに多重して送信
する手段とを具備し、前記符号化手段は、前記入力手段
から第１回目に入力されるそれぞれの画面に対しては所
定の圧縮符号化を行い、第Ｊ回目（Ｊは２以上でＫ以下
の整数）に入力されるそれぞれの画面に対しては前記記
憶手段から読み出される第（Ｊ−１）回目の入力に対応
する直前の復号画像を予測参照画像として予測符号化す
るようにしたものである。

【００２７】この動画像符号化装置においては、所定時
間長単位ではなく、入力画面単位で同一画面が繰り返し
符号化手段に入力される。このように、同一の入力画像
がＫ回、たとえば４回連続して符号化手段に入力される
ことにより、第２回目以降の符号化では同一の入力画像
に対応する前回の復号画像に対する予測誤差だけを符号
化することになるため、符号化の回数を重ねるにつれて
予測誤差が減少し、高画質の動画像データとして符号化
することができる。

【００２８】また本発明は、符号化動画像データを復号
して動画像信号を出力する動画像復号装置において、前
記動画像信号を構成するそれぞれの画面に対する複数回
の符号化データが時間軸上で１つに多重された符号化デ
ータを受信する受信手段と、符号化データを復号する復
号手段と、前記復号手段から出力される復号画像を記憶
する記憶手段とを具備し、前記復号手段は、前記受信手
段から供給されるそれぞれの画面の第１回目の符号化デ
ータの復号では所定の圧縮復号を行い、それぞれの画面
の第Ｊ回目（Ｊは２以上の整数）の符号化データの復号
では前記記憶手段から読み出される第（Ｊ−１）回目の
復号画像を予測参照画像として予測復号を行うようにし
たものである。

【００２９】これにより、同一の入力画像に対する複数
回の符号化データが受信され、第２回目以降の符号化デ
ータの復号では同一の入力画像に対応する前回の復号画
像に対する予測誤差だけを符号化したデータを復号する
ため、復号の回数を重ねるにつれて予測誤差が減少し、
通常の画質から非圧縮に近い高画質まで複数段階の画質
の動画像を得ることができる。

【００３０】また、本発明は、符号化動画像データを復
号して所定時間長の動画像信号を出力する動画像復号装
置において、前記所定時間長の動画像信号に対する複数
回の符号化データが繰り返し時間軸上で多重された符号
化データを受信する受信手段と、符号化データを復号す
る復号手段と、前記復号手段から出力される前記所定時
間長の復号画像を記憶する記憶手段とを具備し、前記復
号手段は、前記受信手段から供給される第１回目の前記
所定時間長の符号化データの復号では所定の圧縮復号を
行い、第Ｊ回目（Ｊは２以上の整数）の前記所定時間長
の符号化データの復号では前記記憶手段から読み出され
る第（Ｊ−１）回目に対応する前記所定時間前の復号画
像を予測参照画像として予測復号を行うようにしたもの
である。

【００３１】これにより、所定時間、たとえば１０秒あ
るいは１０分というような長さの同一の入力画像に対す
る複数回の符号化データが受信され、第２回目以降の符
号化データの復号では同一の入力画像に対応する前回の
復号画像に対する予測誤差だけを符号化したデータを復
号するため、復号の回数を重ねるにつれて予測誤差が減
少し、通常の画質から非圧縮に近い高画質まで複数段階
の画質の動画像を得ることができる。

【００３２】また、本発明は、符号化動画像データを復
号して動画像信号を出力する動画像復号装置において、
前記動画像信号を構成するそれぞれの画面毎に連続して
得られたＫ回分の符号化データが画面毎に時間軸上で連
続するように１つに多重された符号化データを受信する
受信手段と、符号化データを復号する復号手段と、前記
復号手段から出力される復号画像を記憶する記憶手段
と、前記復号手段において前記受信手段から供給される
それぞれの画面の第Ｌ回目（Ｌは１以上Ｋ以下の整数）
の符号化データの復号により得られた復号画像を出力す
る出力手段とを具備し、前記復号手段は、前記受信手段
から供給されるそれぞれの画面の第１回目の符号化デー
タの復号では所定の圧縮復号を行い、それぞれの画面の
第Ｊ回目（Ｊは２以上Ｌ以下の整数）の符号化データの
復号では前記記憶手段から読み出される第（Ｊ−１）回
目に対応する直前の復号画像を予測参照画像として予測
復号を行うようにしたものである。

【００３３】これにより、同一の入力画像に対するＫ
回、たとえば４回の符号化データが連続して受信され、
第２回目以降の符号化データの復号では同一の入力画像
に対応する前回の復号画像に対する予測誤差だけを符号
化したデータを復号するため、復号の回数を重ねるにつ
れて予測誤差が減少し、通常の画質から非圧縮に近い高
画質まで複数段階の画質の動画像を得ることができる。
前記Ｌは復号を打ち切る回数を示しており、１以上Ｋ以
下の値をとりうる。

【００３４】

【発明の実施の形態】以下、図面を用いて本発明の実施
形態を説明する。 （第１の実施形態）まず、本発明の第１の実施形態につ
いて述べる。本実施形態の要点は、以下のとおりであ
る。

【００３５】符号化装置側では、 （１） 符号化の対象となる所定時間Ｔ（たとえば１０
秒間あるいは１０分間など）の動画像をＴを周期として
何度も繰り返し入力する。

【００３６】（２） 時間長Ｔの動画像の第１回目の入
力時には、通常どおりの圧縮符号化を行う。この際、Ｉ
・Ｐ・Ｂピクチャの選択や、符号化レートの設定などは
従来のとおりとする。

【００３７】（３） 時間長Ｔの同一の動画像の第２回
目以降の入力時には、ＦＩＦＯ（ファーストイン・ファ
ーストアウト）動作する蓄積部で時間Ｔだけ遅延させた
ローカル復号画像に予測参照画像を切り替え、常に時間
Ｔだけ前の復号画像を参照してあたかもＰピクチャ（動
き補償なし）のようにして予測誤差を符号化する。

【００３８】（４） その際、符号化の回数を重ねるた
びに徐々に量子化を細かくしていく。これに伴って、符
号化誤差は徐々に小さくなっていく。 （５） 復号側で必要になる、予測参照画像の切り替え
タイミングなどの情報は、ビットストリームに多重して
おく。

【００３９】一方、復号装置側では、 （１） 時間長Ｔの動画像の第１回目の符号化に対応す
る符号化データの復号では、通常どおりの圧縮復号を行
う。この際、Ｉ・Ｐ・Ｂピクチャの選択や、符号化レー
トの選択などは従来のとおりであり、多重されている制
御信号に従う。

【００４０】（２） 時間長Ｔの同一の動画像の第２回
目以降の符号化データの復号では、ＦＩＦＯ動作する蓄
積部で時間Ｔだけ遅延させた復号画像に予測参照画像を
切り替え、常に時間Ｔだけ前の復号画像を参照してあた
かもＰピクチャ（動き補償なし）のようにして復号す
る。

【００４１】（３） 上記蓄積部を備えた復号装置であ
れば、時間をかけて複数回の復号を繰り返すことによ
り、徐々に符号化誤差が小さくなり、最終的には非圧縮
に近い時間長Ｔの動画像が再生できる。もし復号装置に
上記蓄積部がない場合でも、第１回目の復号だけはでき
るので、通常画質の動画像は再生できる。

【００４２】図１は本発明の第１の実施形態における動
画像符号化装置の概略構成図である。図１の動画像符号
化装置は、原画像入力端子１０１、リオーダー部１０
２、原画像蓄積部１０３、予測誤差生成部１０４、ＤＣ
Ｔ部１０５、量子化部１０６、可変長符号化部１０７、
多重部１０８、送信バッファ１０９、ビットストリーム
出力端子１１０、逆量子化部１１１、ＩＤＣＴ部１１
２、ローカル復号画像生成部１１３、ローカル復号画像
メモリ１１４、予測生成部１１５、ローカル復号画像蓄
積部１１６、予測切り替え部１１７、動き検出部１１
８、量子化制御部１１９、予測切り替え制御部１２０か
ら構成されている。

【００４３】図１の動画像符号化装置は、図１４の従来
の動画像符号化装置に対して、原画像蓄積部１０３、ロ
ーカル復号画像蓄積部１１６、予測切り替え部１１７、
予測切り替え制御部１２０が追加された構成となってい
る。以下では、図１４と異なる部分について説明する。

【００４４】原画像蓄積部１０３は、リオーダー部１０
２と予測誤差生成部１０４の間に位置し、時間長Ｔに相
当するピクチャ分の容量を有し、リオーダーされた時間
長Ｔの入力画像をＦＩＦＯ動作的に蓄積する。そして、
予測切り替え制御部１０３からの予測切り替え制御情報
１３５に基づいて、第１回目の入力では入力画像をその
まま出力しながら同時に蓄積し、第２回目以降の入力で
は第１回目の入力時に蓄積した時間Ｔの動画像を繰り返
し出力する。

【００４５】ローカル復号画像蓄積部１１６は、時間長
Ｔに相当するピクチャ分の容量を有し、第１回目、第２
回目、…の各符号化の際に、ローカル復号画像生成部１
１３から出力されるローカル復号画像の全てを符号化順
にＦＩＦＯ動作的に記憶する。

【００４６】第１回目の符号化の際は、ローカル復号画
像メモリ１１４、予測生成部１１５、動き検出部１１８
も図１４の従来の動画像符号化装置の場合と同様に動作
しているが、第２回目以降の符号化の際はこれらは動作
を停止する。

【００４７】予測切り替え部１１７は、予測切り替え制
御信号１３５に基づいて、第１回目の符号化においては
予測生成部１１５から出力される通常の予測信号を選択
し、第２回目以降の符号化においてはローカル復号画像
蓄積部１１６から出力される時間長Ｔだけ前に復号され
たローカル復号画像を選択して、予測誤差生成部１０４
に予測信号として供給する。

【００４８】予測切り替え制御部１２０は、時間長Ｔの
動画像の第１回目の符号化の終了タイミングに基づいて
予測切り替え制御信号１３５を発生し、原画像蓄積部１
０３および予測切り替え部１１７を制御する。また、発
生された予測切り替え制御信号１３５は、多重部１０８
にも供給され、ビットストリームに多重される。

【００４９】多重部１０８では、時間長Ｔの動画像信号
毎に得られた複数回分の符号化データが時間軸上で１つ
に多重されて伝送路または蓄積媒体に送られる。なお、
図示していないが、多重部１０８では符号化の終了（繰
り返し符号化の打ち切り）を示す情報もビットストリー
ムに多重される。

【００５０】図２は本発明の第１の実施形態における動
画像復号装置の概略構成図である。図２の動画像復号装
置は、ビットストリーム入力端子２０１、受信バッファ
２０２、分離部２０３、可変長復号部２０４、逆量子化
部２０５、ＩＤＣＴ部２０６、復号画像生成部２０７、
出力画像切り替え部２０８、リオーダー部２０９、復号
画像出力端子２１０、復号画像メモリ２１１、予測生成
部２１２、復号画像蓄積部２１３、予測切り替え部２１
４から構成されている。

【００５１】図２の動画像復号装置は、図１５の従来の
動画像復号装置に対して、出力画像切り替え部２０８、
復号画像蓄積部２１３、予測切り替え部２１４が追加さ
れた構成となっている。以下では、図１５と異なる部分
について説明する。

【００５２】復号画像蓄積部２１３は、時間長Ｔに相当
するピクチャ分の容量を有し、第１回目、第２回目、…
の各符号化データの復号の際に、復号画像生成部２０７
から出力される復号画像の全てを復号順にＦＩＦＯ動作
的に記憶する。ビットストリームから符号化終了を示す
情報が検出されると、その時点でこの復号画像蓄積部２
１３に蓄積されている時間長Ｔの復号画像がそのまま保
持される。あるいは、図示しない制御部から復号打ち切
りが指示されると、やはりその時点で復号画像蓄積部２
１３に蓄積されている時間長Ｔの復号画像がそのまま保
持される。

【００５３】第１回目の符号化データの復号の際は、復
号画像メモリ２１１、予測生成部２１２も図１５の従来
の動画像復号装置の場合と同様に動作しているが、第２
回目以降の符号化データの復号の際はこれらは動作を停
止する。

【００５４】予測切り替え部２１４は、予測切り替え制
御信号２２４に基づいて、第１回目の復号においては予
測生成部２１２から出力される通常の予測信号を選択
し、第２回目以降の復号においては復号画像蓄積部２１
３から出力される時間長Ｔだけ前に復号された復号画像
を選択して、復号画像生成部２０７に予測信号として供
給する。

【００５５】予測切り替え制御信号２２４は、分離部２
０３においてビットストリームから分離されて予測切り
替え部２１４に供給される。出力画像切り替え部２０８
は、復号画像生成部２０７からの復号画像と復号画像蓄
積部２１３からの復号画像を切り替えてリオーダー部２
０９に供給する。符号化中は復号画像生成部２０７から
の復号画像が選択されているが、ビットストリームから
符号化終了を示す情報が検出されると、あるいは図示し
ない制御部から復号打ち切りが指示されると、その時点
で復号画像蓄積部２１３からの復号画像が選択される。
その後、復号画像蓄積部２１３に最終的に保持された時
間長Ｔの復号画像は、１回だけ、または繰り返し読み出
され、リオーダー部２０９におけるリオーダーの後、復
号画像出力端子２１０から出力される。このような出力
画像切り替え部２０８による画像切り替えにより、第１
回目の符号化データを用いたリアルタイム再生と、復号
画像蓄積部２１３に最終的に保持された復号画像を用い
た高品質再生とを選択的に利用することが可能となる。
また、復号画像蓄積部２１３を有しない通常の復号装置
においても、第１回目の符号化データに対応する復号画
像を出力することにより、その再生が可能となる。

【００５６】なお、リオーダー部２０９に特別にメモリ
を設けなくても、復号画像メモリ２１１をリオーダー用
メモリとして兼用してもよい。図３は本実施形態におけ
る動画像入力の様子を示す図である。原画像は有限の長
さＴであるとし、これをＴを単位として１回目、２回
目、…という具合に繰り返し符号化部に入力する。繰り
返しの回数には特に制約はない。なお、実際にはリオー
ダー部１０２でリオーダーされた後に原画像蓄積部１０
３により後段の符号化部に繰り返し供給されるが、基本
的な考え方は図３のとおりである。

【００５７】図４、図５は本実施形態における予測構造
を示す図である。図４は時間長Ｔの動画像の第１回目の
入力における予測構造を、図５は第２回目以降の入力に
おける予測構造を、それぞれ入力順で示している。

【００５８】図４で示した第１回目の符号化における予
測構造は、図１２で示した従来のＭＰＥＧ２の予測構造
と全く同じであり、ピクチャタイプに応じて順方向・逆
方向・双方向の予測が行われる。図４ではＭ＝３の符号
化を行う場合を示している。この第１回目の符号化で
は、ＭＰＥＧ２で用いうる任意の予測構造を自由に選ぶ
ことができ、たとえば全ての画面をＩピクチャとした
り、あるいはＢピクチャを全く使わないようにしたりし
てもよい。

【００５９】図５で示した第２回目以降の符号化におけ
る予測構造は、所定時間Ｔだけ前の画面、すなわち現在
符号化しようとしている画面と全く同一の入力画面に対
する前回の復号画像を参照画像として予測符号化を行
う。図５において、ピクチャタイプＰ_Tは、時間Ｔだけ
前の画面からあたかもＰピクチャのように予測するピク
チャタイプを示すものとする。第２回目以降の符号化で
は、符号化を繰り返すにつれて、予測画像（時間Ｔだけ
前の復号画像）と原画像の誤差は徐々に小さくなり、き
わめて高画質の符号化ができる。

【００６０】この第２回目以降の符号化で用いられるピ
クチャタイプＰ_Tについては、動き補償なしの予測符号
化を行う。なぜならば、複数回の入力において、原画像
は全く同一であるから、動き補償を行う必要がないため
である。よって、図１の動画像符号化装置では、ローカ
ル復号画像蓄積部１１６の後段には予測生成部がない。
第２回目以降の符号化では、動き検出部１１８での動き
検出を行う必要もないので、装置を低電力化することが
でき、あるいはソフトウェアで符号化する場合には処理
時間が短くて済む。もちろん、第２回目以降の符号化に
おいても動き検出・動き補償を行っても差し支えない
が、その場合でもたいていは動き補償なしの予測が選択
されるはずである。同様に、図２の動画像復号装置で
は、復号画像蓄積部２１３の後段には予測生成部がな
い。

【００６１】図６は本実施形態におけるピクチャの処理
順序を示す図である。第１回目の入力に対しては、図１
３に示した従来の処理順序と同様に、ピクチャタイプに
基づいたリオーダーが符号化前および復号後に行われ
る。第２回目以降の入力に対しては、第１回目の入力に
対して行ったのと全く同じリオーダー処理を行う。すな
わち、第２回目以降のリオーダー方法は、第１回目の予
測構造によって一義的に決まる。図１の動画像符号化装
置では、リオーダーした後に原画像蓄積部１０３に時間
長Ｔの原画像を蓄積するようにしているので、第２回目
以降のリオーダーは特に意識して制御する必要はない。
図２の動画像復号装置では、複数回の復号を繰り返した
後で最後に復号画像蓄積部２１３に保持された復号画像
について、第１回目の符号化デーダのピクチャタイプに
基づいたリオーダーをして出力する。

【００６２】以下では、本実施形態のさらに詳細な説明
を行う。上述の所定時間長を表すパラメータであるＴ
は、原画像蓄積部１０３およびローカル復号画像蓄積部
１１６、復号画像蓄積部２１３の容量が確保できる限
り、特に制約はない。上記各蓄積部は、現時点ではハー
ドディスクで構成するのが最もコストパフォーマンスが
よいと考えられるが、もちろん半導体メモリや書き換え
型光ディスク等の記憶素子・記憶装置を使用することも
できる。現在のハードディスクの容量では、Ｔは１０秒
から１０分くらいが現実的であるが、将来、あるいは現
在でもコストを許容すれば、１時間以上の高画質の動画
像の伝送・蓄積も可能である。また、ＨＤＴＶの場合で
も上記各蓄積部の容量の絶対値が大きくなるだけであ
り、基本的な原理は変わらない。

【００６３】また以上の説明では、各蓄積部の動作はＦ
ＩＦＯ動作としたが、必ずしも蓄積部自体がＦＩＦＯで
なくても、ランダムアクセスが可能な記憶メディアを使
用してもよい。また、説明の都合上、各蓄積部を別々の
ブロックとして説明したが、実際には単一の大容量の記
憶装置を分割してこれらの複数の蓄積機能を持たせても
よい。

【００６４】なお、図１では原画像蓄積部１０３の位置
はリオーダー部１０２の直後としたが、これをリオーダ
ー部１０２の直前に変えることも可能である。また、図
示していない原画像再生装置自体がハードディスクのよ
うなランダムアクセス可能な装置であれば、特に原画像
蓄積部１０３を新たに設ける必要もなく、原画像再生装
置から直接複数回繰り返して読み出しを行って符号化装
置に入力するようにすればよい。また、原画像再生装置
がＶＴＲのように巻き戻し操作等に時間がかかる場合で
あっても、複数回の読み出しのために必要な巻き戻しの
間は符号化装置全体を一時停止させておくようにしても
よく、この場合も原画像蓄積部１０３は必要ない。

【００６５】次に、量子化制御部１１９における量子化
の制御について説明する。量子化制御は基本的には、送
信バッファ１０９からの送信バッファ占有率情報１３１
に基づいて行われる。第１回目の符号化の際は、これは
通常の量子化制御に相当する。第２回目以降の符号化の
際には量子化が徐々に細かくなっていく。そして、時間
長Ｔの全てのピクチャの全てのマクロブロックについて
量子化ステップが最小になった時点で、繰り返し符号化
を打ち切るようにする。量子化は、量子化スケールと量
子化マトリクスの両方を使ってＤＣＴ係数を割り算して
丸めることによって行われるが、この両方が最小値にな
った時点で符号化を打ち切るようにすれば、無駄な符号
化の繰り返しを避けることができる。前述のように、こ
の符号化打ち切りの情報も符号化終了情報としてビット
ストリームに多重しておき、復号側で用いる。なお、送
信バッファ占有率情報１３１によらず、符号化のたびに
量子化を強制的に細かくしていってもよい。

【００６６】また、上述の複数回の符号化データが多重
された状態で、１本の系列としてＶＢＶ（Video Buffer
ing Verifier）モデルの制約を満足するように符号量を
制御するのが望ましい。そうすれば、復号側では従来の
ＭＰＥＧ２と同様のバッファ管理を行えばよく、特別な
バッファ管理制御を行う必要がない。

【００６７】次に、演算誤差の累積とその対策について
述べる。一般に、任意の符号化装置と復号装置の組み合
わせを考えれば、符号化装置のＩＤＣＴ部１１２と復号
装置のＩＤＣＴ部２０６においてＩＤＣＴ演算方式（手
順・丸めの方法）が異なっている。これにより符号化装
置でのローカル復号画像（ローカル復号画像生成部１１
３の出力）と復号装置での復号画像（復号画像生成部２
０７の出力）の間に誤差が発生する可能性がある。これ
は、ＩＤＣＴミスマッチと呼ばれている。この誤差が累
積することを避けるために、元々ＭＰＥＧ２などでは、
各マクロブロックについて、画面内符号化を行わずに予
測符号化を行う回数を１３２回未満に制限している。

【００６８】本発明においても、ピクチャタイプＰ_Tで
示されるピクチャについては、複数回の画面間予測符号
化（および画面間予測復号）を繰り返すのであるから、
この繰り返し回数が多くなると、ＩＤＣＴミスマッチの
影響が累積して、復号画質に悪影響を与える恐れがあ
る。

【００６９】これを避ける第１の方法は、ＭＰＥＧ２な
どで行われているように、予測符号化の回数、すなわち
符号化の繰り返し回数に上限（たとえば１３２回未満）
を設けることである。同一の入力画像に対する予測誤差
のみを符号化していくのであるから、よほどビットレー
トを低くしない限りは、１３２回という符号化繰り返し
回数があればほとんどの場合は充分に高画質の動画像を
伝送することができる。もちろん、このように符号化繰
り返し回数に上限を設けることは必須ではない。

【００７０】もう一つの方法として、符号化装置を識別
するための制御データ（符号化装置ＩＤ）をビットスト
リームに多重するなどの方法で伝送し、これをもとに復
号装置側で復号打ち切り回数を決めてもよい。すなわ
ち、復号装置側で受信した符号化装置ＩＤから、符号化
側のＩＤＣＴ演算方式と復号側のＩＤＣＴ演算方式が完
全に同じものであることがわかっていれば、ＩＤＣＴミ
スマッチを理由にした復号打ち切りを行う必要はない。
また、ＩＤＣＴ演算方式が完全に同じものでなくても、
既知のものであれば、ＩＤＣＴミスマッチの発生確率が
あらかじめある程度わかるので、それに応じて復号打ち
切り回数を決めればよい。符号化装置ＩＤが未知のもの
であれば、ＩＤＣＴミスマッチの程度がわからないた
め、復号打ち切り回数を早めに設定する。

【００７１】本実施形態では、所定時間Ｔの動画像信号
に対する複数回の符号化データが繰り返し時間軸上で多
重された形になっている。半永久的に符号化・復号を反
復することもでき、きわめて高画質の動画像を伝送する
ことができる。また、本実施形態では、符号化処理・復
号処理の速度は従来のままでよく、同一の符号化部を繰
り返し複数回使用して符号化を行い、同一の復号部を繰
り返し複数回使用して復号を行っている。従って、従来
の符号化装置・復号装置の大部分をそのまま使用するこ
とができる。

【００７２】次に、本実施形態の具体的な応用例につい
て述べる。まず、第１の応用として、ディジタルビデオ
ディスクによる高画質の動画像の供給を考える。通常の
ディジタルビデオディスクでは、最大符号化レートの制
約やＭＰＥＧ２のＶＢＶバッファ容量の制約があるため
に、伝送できる動画像の画質には上限があった。しか
し、本実施形態を応用して、時間長Ｔに対応する複数回
の符号化データをディジタルビデオディスクに記録して
おき、通常のディジタルビデオディスクプレーヤに復号
画像蓄積部２１３（外付けハードディスク）を追加し、
複数回の復号を繰り返すことにより、非圧縮に近い動画
像の供給を行うことができる。これは、たとえば安価な
テスト信号発生器としても使うことができる。カラーバ
ーやゾーンプレートなどの静止画テスト信号のみなら
ず、動画テスト信号を、ディジタルビデオディスクの本
編以外の固定した領域に記録しておくようにすることも
できる。

【００７３】また、第２の応用として、ディジタル放送
による高画質動画像の供給を考える。図７はこのような
応用を実現する動画像受信装置の構成を示す図である。
図７の受信装置はビットストリーム入力端子７０１、復
号部７０２、復号画像蓄積部７０３、出力画像切り替え
部７０４、画像出力端子７０５から構成されている。ビ
ットストリーム入力端子７０１から入力される受信ビッ
トストリームは、復号部７０２と復号画像蓄積部７０３
を用いて、本実施形態で説明したのと同様に複数回の復
号が繰り返され、最終的に復号画像蓄積部７０３には時
間長Ｔの高画質の復号画像が蓄積される。ビットストリ
ームに多重されている出力画像切り替え制御信号７１１
は出力画像切り替え部７０４に供給され、復号部７０２
から直接供給される復号画像と、復号画像蓄積部７０３
から供給される高画質の復号画像のいずれか一方を選択
して画像出力端子７０５に供給する。

【００７４】この図７の受信装置の実際の使用例につい
て説明する。本実施形態の方法により所定時間Ｔの動画
像信号が複数回符号化された符号化データが、たとえば
夜間に放送されるものとする。図７の受信装置では、充
分な画質が得られるまで復号を複数回繰り返して復号画
像蓄積部７０３に時間長Ｔの非圧縮に近い復号画像を夜
間に蓄積しておく。翌日の放送では、該当する時間長Ｔ
の部分には第１回目の符号化データと同じ符号化データ
のみがリアルタイムで放送され、同時に出力画像切り替
え制御信号７１１も多重して放送される。復号画像蓄積
部７０３を備えた受信装置では、出力画像切り替え制御
信号７１１に基づいて、現在の放送データを復号した復
号画像か、前夜に蓄積した高画質の復号画像を出力画像
切り替え部７０４で切り替えて出力する。すなわち、該
当する時間長Ｔの部分でのみ、復号画像蓄積部７０３の
復号画像が選択される。これにより、時間長Ｔの部分に
ついては非常に高画質の映像を供給することができる。
しかも、視聴者はリアルタイムに復号していないことを
意識する必要はなく、連続して視聴を続けることができ
る。復号画像蓄積部７０３のない受信装置では、出力画
像切り替え制御信号７１１は無視されて、現在放送され
ている第１回目の符号化データを復号した画像、すなわ
ち通常画質の放送を見る。なお、復号画像蓄積部７０３
は、いわゆる大容量のホームサーバと兼用してもよい。
ホームサーバは、通常は圧縮したままの動画像を蓄積す
るためのものであるが、ここでは復号済みの動画像を蓄
積する。

【００７５】また本実施形態は、たとえばネットワーク
系での高画質の動画像の伝送に適している。符号化動画
像データを時間をかけてダウンロードするような場合
に、まずは第１回目の符号化データのみを受信して復号
画像を表示し、その後複数回の符号化データを受信・復
号するたびに徐々に画質が上がっていくような応用が可
能である。

【００７６】また、書き換え型記憶装置に符号化データ
を記憶する場合、１つの動画像当たりたとえば２０回の
符号化を繰り返した符号化データを最初は記憶してお
き、記憶装置の容量が不足してきた時点で、それぞれの
符号化データの後半１０回分を記憶していた領域を新し
いデータの記憶領域に割り当てて上書きするようにして
もよい。すなわち、容量に余裕があるうちは最大２０回
の復号が繰り返せるのでより高画質の再生ができ、容量
が足りなくなってきたら最大復号回数（画質）を若干犠
牲にして容量をかせぐ、といった使い方ができる。

【００７７】以上説明してきたように、本実施形態によ
れば、１０秒から１０分程度の所定時間の動画像信号を
繰り返し入力し、２回目以降は所定時間前のピクチャを
参照画像として予測符号化するようにしたので、 （１） 通常の単一のＭＰＥＧ２符号化装置・復号装置
にわずかな変更を加えた簡単な構成により、非圧縮に近
い高画質の動画像を伝送することができる。

【００７８】（２） 符号化・復号の回数に応じて通常
画質から最高画質まで複数段階の画質を得ることができ
る。特に、本実施形態では、半永久的に符号化・復号を
繰り返すことができるため、非常に画質の高い復号画像
を得ることができる。

【００７９】（３） 限られた伝送レートの伝送路を用
いて伝送することができる。 （第２の実施形態）次に、本発明の第２の実施形態につ
いて述べる。本実施形態の要点は、以下のとおりであ
る。

【００８０】符号化装置側では、 （１） 符号化の対象となる動画像の同一ピクチャをＫ
倍速（Ｋ≧２）、たとえば４倍速で動作する符号化部に
Ｋ回連続して入力する。

【００８１】（２） 元の動画像を構成する各ピクチャ
どうし、すなわちＫ回連続して入力される同一ピクチャ
の第１回目の入力時には、中間の（Ｋ−１）枚のピクチ
ャがないものとして通常どおりの圧縮符号化を行う。こ
の際、Ｉ・Ｐ・Ｂピクチャの選択などは従来のとおりと
する。

【００８２】（３） Ｋ回連続して入力される同一ピク
チャのうちの第２回目以降の（Ｋ−１）枚の入力時に
は、蓄積しておいた直前のローカル復号画像に予測参照
画像を切り替え、あたかもＰピクチャ（動き補償なし）
のようにして予測誤差を符号化する。

【００８３】（４） その際、符号化の回数を重ねる度
に徐々に量子化を細かくしていく。これに伴って符号化
誤差は徐々に小さくなっていく。 （５） 復号側で必要になる、予測参照画像の切り替え
タイミングなどの情報は、ビットストリームに多重して
おく。

【００８４】一方、復号装置側では、 （１） 復号部全体をＬ倍速（Ｌ≦Ｋ）、たとえば３倍
速で動作させる。 （２） 同一ピクチャの第１回目の符号化に対応する符
号化データの復号では、中間の（Ｋ−１）枚のピクチャ
がないものとして通常どおりの圧縮復号を行う。この
際、Ｉ・Ｐ・Ｂピクチャの選択などは従来のとおりであ
り、多重されている制御信号に従う。

【００８５】（３） 同一ピクチャの第２回目以降の符
号化データの復号では、蓄積部に記憶された復号画像に
予測参照画像を切り替え、同一ピクチャの直前の復号画
像を参照してあたかもＰピクチャ（動き補償なし）のよ
うにして復号する。

【００８６】（４） 上記蓄積部を備えてかつＬ倍速で
動作する復号装置であれば、同一ピクチャに対する第１
回目〜第Ｌ回目までの符号化データの復号をＬ倍速で行
うことにより、徐々に符号化誤差が小さくなり、リアル
タイムで高画質の動画像が再生できる。もし復号装置が
上記蓄積部を持たず、１倍速でしか動作しない場合で
も、第１回目の復号だけはできるので、通常画質の動画
像は再生できる。

【００８７】本実施形態における動画像符号化装置の概
略構成図は図１と同じである。ただし、図１の原画像蓄
積部１０３の読み出し以降の部分がＫ倍速で動作するこ
とと、原画像蓄積部１０３、ローカル復号画像蓄積部１
１６の容量がそれぞれ１画面分でよいことなどが異な
る。以下では、図１と異なる点を中心に説明する。

【００８８】原画像蓄積部１０３は、１ピクチャ分の容
量を有し、リオーダーされた各ピクチャを１回書き込ん
でＫ回連続して読み出す動作を行う。この時、書き込み
は通常速度で、読み出しはＫ倍速で行う。本実施形態の
場合には、この原画像蓄積部１０３がリオーダー部１０
２よりも後段に位置している方が、記憶容量の節約とい
う点で望ましい。

【００８９】ローカル復号画像蓄積部１１６は、１ピク
チャ分の容量を有し、同一ピクチャのＫ回の符号化に対
するローカル復号画像を符号化のたびに記憶する。各ピ
クチャの第１回目の符号化の際は、Ｉ・Ｐピクチャの場
合はローカル復号画像メモリ１１４とローカル復号画像
蓄積部１１６の両方にローカル復号画像の書き込みが行
われ、Ｂピクチャの場合はローカル復号画像蓄積部１１
６のみに書き込みが行われる。第２回目以降の符号化の
際には、ローカル復号画像メモリ１１４の内容は更新せ
ず、ローカル復号画像蓄積部１１６の内容のみを更新す
る。

【００９０】予測切り替え制御部１２０は、各ピクチャ
の第１回目の符号化と第２回目〜第Ｋ回目までの符号化
のタイミングに応じて、予測切り替え制御信号１３５を
発生し、予測切り替え部１１７を制御する。予測切り替
え部１１７では、予測切り替え制御信号１３５に基づい
て、第１回目の符号化においては予測生成部１１５から
出力される通常の予測信号を選択し、第２回目〜第Ｋ回
目の符号化においてはローカル復号画像蓄積部１１６か
ら出力される直前のローカル復号画像を選択して、予測
誤差生成部１０４に予測信号として供給する。

【００９１】多重部１０８では、動画像信号の画面毎に
連続して得られた複数回分の符号化データが時間軸上で
１つに多重されて伝送路または蓄積媒体に送られる。本
実施形態における動画像復号装置の概略構成図は図２と
同じである。ただし、リオーダー部２０９以前の部分が
Ｌ倍速で動作することと、復号画像蓄積部２１３の容量
が１画面分でよいことなどが異なる。以下では、図２と
異なる点を中心に説明する。

【００９２】まず、復号装置はＬ倍速で動作する。装置
に応じて、Ｌは１からＫのどの値をとってもよい。Ｌ＝
１であれば通常画質の復号画像しか得られず、Ｌ＝Ｋで
あれば符号化ビットストリームに含まれる全ての情報が
復号でき、高画質の復号画像が得られる。

【００９３】復号画像蓄積部２１３は、１ピクチャ分の
容量を有し、同一ピクチャのＫ回の符号化データのうち
Ｌ回の符号化データに対する復号画像を復号のたびに記
憶する。

【００９４】予測切り替え部２１４では、予測切り替え
制御信号２２４に基づいて、第１回目の復号においては
予測生成部２１２から出力される通常の予測信号を選択
し、第２回目以降の復号においては復号画像蓄積部２１
３から出力される直前の復号画像を選択して、復号画像
生成部２０７に予測信号として供給する。

【００９５】各ピクチャの第１回目の復号の際は、Ｉ・
Ｐピクチャの場合は復号画像メモリ２１１と復号画像蓄
積部２１３の両方に復号画像の書き込みが行われ、Ｂピ
クチャの場合は復号画像蓄積部２１３のみに書き込みが
行われる。第２回目以降の復号の際には、復号画像メモ
リ２１１の内容は更新せず、復号画像蓄積部２１３の内
容のみを更新する。

【００９６】出力画像切り替え部２０８は、本実施形態
では省略可能であり、常に復号画像蓄積部２１３からの
復号画像を選択して、リオーダー部２０９に供給する。
図８は本実施形態における動画像入力の様子を入力順で
示す図である。原画像の各ピクチャの時間間隔はｔであ
るとし、これを時間間隔ｔ／Ｋで１回目、２回目、…、
Ｋ回目と言う具合にＫ回繰り返して連続的に符号化部に
入力する。なお、実際にはリオーダー後にこのような繰
り返しが行われるが、基本的な考え方は図８のとおりで
ある。

【００９７】図９、図１０は本実施形態における予測構
造を示す図である。図９は各ピクチャの第１回目の入力
における予測構造を、図１０は各ピクチャの第２回目以
降の入力における予測構造を、それぞれ入力順で示して
いる。

【００９８】図９で示した第１回目の符号化における予
測構造は、図１２で示した従来のＭＰＥＧ２の予測構造
と全く同じであり、時間間隔ｔを最小単位として、ピク
チャタイプに応じて順方向・逆方向・双方向の予測が行
われる。図９ではＭ＝３の符号化を行う場合を示してい
る。この第１回目の符号化では、ＭＰＥＧ２で用いうる
任意の予測構造を自由に選ぶことができる。

【００９９】図１０で示した第２回目以降の符号化にお
ける予測構造は、直前の復号画像、すなわち現在符号化
しようとしている画面と全く同一の入力画面に対する前
回の復号画像を参照画像として予測符号化を行う。図１
０において、ピクチャタイプＰｔは時間ｔ／Ｋだけ前の
画面から予測するピクチャタイプを示すものとする。第
２回目以降の符号化では、符号化を繰り返すにつれ、予
測画像（直前の復号画像）と原画像の誤差は徐々に小さ
くなり、高画質の符号化ができる。なお、このピクチャ
タイプＰｔについても、原則的には動き補償なしの予測
符号化を行う。

【０１００】図１１は本実施形態におけるピクチャの処
理順序を示す図である。本実施形態では、まず時間間隔
ｔの原画像についてピクチャタイプに基づくリオーダー
をしてから、Ｋ回（この図ではＫ＝４としている）の連
続入力を行って符号化する。復号側では、第Ｌ回目（こ
の図ではＬ＝４としている）の復号、すなわち最後の復
号で復号画像蓄積部２１３に保持された復号画像につい
て、第１回目の符号化のピクチャタイプに基づいたリオ
ーダーをして時間間隔ｔで出力する。

【０１０１】この第２の実施形態での複数回の符号化デ
ータは、１画面に対応する１回毎の符号化データを単位
として、時間軸上で多重された形になっている。また、
同一の符号化部を繰り返し複数回使用して符号化を行
い、同一の復号部を繰り返し複数回使用して復号を行っ
ている。動作速度自体は高速になっているが、装置の構
成自体は簡単な構成でよい。

【０１０２】このように、本実施形態によれば、同一の
ピクチャについてＫ倍速でＫ回の符号化を行い、Ｌ倍速
でＬ回の復号化を行うようにしたので、高画質の伝送を
行うことができ、符号化装置の倍速数および復号装置の
倍速数によって画質の上限が決まる。特に、復号側の能
力（復号速度）に応じた画質を得ることができる。

【０１０３】この第２の実施形態においては、符号化レ
ートが通常の符号化よりも上昇するため、高速の伝送路
が必要である。そのかわり、リアルタイムで再生・表示
を行うことができ、また第１の実施形態にあった所定時
間Ｔの制約は本実施形態にはない。よって本実施形態
は、十分な伝送路の転送レートが確保できて、かつ復号
側の復号能力が不足する可能性がある場合に適してい
る。また、前述の第１実施形態の場合と同様に、画面毎
の複数回の符号化で得られた符号化データを多重化した
ものをディジタルビデオディスクに蓄積して供給するこ
とにより、高画質の動画像供給が可能となる。

【０１０４】第１の実施形態と第２の実施形態のそれぞ
れの特徴の違いをまとめると、まず、第１の実施形態の
特徴は、 （１） 符号化装置・復号装置の動作速度は通常速度で
よく、低いレートの伝送路により高画質の動画像の伝送
ができる。

【０１０５】（２） 半永久的に符号化や復号を繰り返
すこともでき、ほぼ非圧縮に近い画質まで提供できる。 （３） 復号を反復する回数によって得られる画質が決
まる。

【０１０６】一方、第２の実施形態の特徴は、 （１） リアルタイムで処理を行うことができ、動画像
の長さの制約がない。 （２） 復号画像を記憶するための追加の蓄積部（記憶
部）の容量が小さくてよい。

【０１０７】（３） 復号する速度（回数）によって得
られる画質が決まる。 （変形例）本発明は上記第１・第２の実施形態にとどま
ることなく、たとえば下記（１）〜（５）に例示したよ
うに種々の変形・応用が可能である。

【０１０８】（１） 上記の各実施形態では、基本とな
る圧縮符号化方式としてＭＰＥＧ２を想定したが、これ
以外の圧縮方式でもよい。また、ディジタルビデオディ
スクやディジタル放送以外にも種々の応用が可能であ
る。

【０１０９】（２） 伝送する原画像は、通常解像度で
もＨＤＴＶでもよい。ＨＤＴＶであれば最高画質が伝送
できるという本発明の意義はさらに大きくなる。また、
原画像の色信号の形式は、４２０形式でも４２２形式で
もその他の形式でもよい。本発明が実現する高画質とい
う趣旨から言えば、４２２形式またはそれ以上の方が望
ましいが、必ずしもそれに限るものではない。

【０１１０】（３） 毎秒２４コマのフィルム映像を毎
秒６０フィールドの映像に変換する３：２プルダウンを
行った映像のように、入出力画像の１フレームと符号化
画像の１ピクチャが一致していなくてもよい。ただし、
複数回の原画像の入力時に、３：２プルダウンのパター
ンも毎回同一とする。

【０１１１】（４） また、第１の実施形態において、
符号化装置・復号装置の全体を通常速度よりも速い速度
で動作させるようにしてもよい。これにより短時間で高
画質の動画像の伝送が可能となる。

【０１１２】（５） また、第２の実施形態の変形とし
て、図８のように同一画面をＫ倍速でＫ回連続して入力
する点は第２の実施形態と同じとし、原画像の各ピクチ
ャの第１回目の符号化ではＢピクチャを禁止して前ピク
チャの第Ｋ回目の復号画像からＰピクチャのようにして
動き補償予測符号化を行うようにしてもよい。第２〜第
Ｋ回目の符号化では、第２の実施形態と同様に、前回
（直前）の復号画像から動き補償なしで予測符号化を行
い、徐々に量子化を細かくする制御を行う。すなわち、
図８のような配列で入力された画像を（シーケンスの一
番最初を除いて）全てＰピクチャのように時間ｔ／Ｋだ
け前の画像から予測符号化を行うこととする。この場
合、第２の実施形態に比べて、符号化装置のローカル復
号画像蓄積部１１６、予測切り替え部１１７、および復
号装置の復号画像蓄積部２１３、予測切り替え部２１４
などが不必要となる。ただしこの変形例の場合は、復号
装置においても、必ず符号化装置側での符号化繰り返し
回数と同じＫ回の復号を行って、全ての符号化データを
復号する必要がある。

【０１１３】（６） また、本発明は動画像信号を構成
するそれぞれの画面を複数回符号化かることが肝要であ
り、そのための符号化装置への動画像信号の入力方法は
第１および第２実施形態の例に限定されるものではな
い。

【０１１４】（７） 第１および第２実施形態で説明し
た動画像の符号化・復号処理の手順はソフトウェアによ
って実現することもでき、この場合には、その手順を有
するコンピュータプログラムをコンピュータ読み取り可
能な記録媒体を通じてコンピュータに導入するだけで本
実施形態と同様の効果を得ることが可能となる。

【０１１５】

【発明の効果】以上説明したように、本発明によれば、
簡単な構成により、非圧縮に近い高画質の動画像の伝送
が行えるとともに、通常画質から非圧縮に近い高画質ま
で複数段階の画質を供給することができる動画像符号化
装置・復号装置を提供することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態における動画像符号化
装置の構成を示すブロック図。

【図２】同第１実施形態における動画像復号装置の構成
を示すブロック図。

【図３】同第１実施形態における動画像の入力の様子を
示す図。

【図４】同第１実施形態における１回目の符号化での予
測構造を説明するための図。

【図５】同第１実施形態における２回目以降の符号化で
の予測構造を説明するための図。

【図６】同第１実施形態における処理順序を説明するた
めの図。

【図７】同第１実施形態を応用した動画像受信装置の構
成を示す図。

【図８】本発明の第２の実施形態における動画像の入力
の様子を示す図。

【図９】同第２実施形態における１回目の符号化での予
測構造を説明するための図。

【図１０】同第２実施形態における２回目以降の符号化
での予測構造を説明するための図。

【図１１】同第２実施形態における処理順序を説明する
ための図。

【図１２】従来の動画像符号化方法における予測構造を
説明するための図。

【図１３】従来の動画像符号化方法における処理順序を
説明するための図。

【図１４】従来の動画像符号化装置の構成を示すブロッ
ク図。

【図１５】従来の動画像復号装置の構成を示すブロック
図。

【符号の説明】

１０１ 原画像入力端子 １０２ リオーダー部 １０３ 原画像蓄積部 １０４ 予測誤差生成部 １０５ ＤＣＴ部 １０６ 量子化部 １０７ 可変長符号化部 １０８ 多重部 １０９ 送信バッファ １１０ ビットストリーム出力端子 １１１ 逆量子化部 １１２ ＩＤＣＴ部 １１３ ローカル復号画像生成部 １１４ ローカル復号画像メモリ １１５ 予測生成部 １１６ ローカル復号画像蓄積部 １１７ 予測切り替え部 １１８ 動き検出部 １１９ 量子化制御部 １２０ 予測切り替え制御部 １３１ 送信バッファ占有率情報 １３２ 量子化制御情報 １３３ 動きベクトル １３４ モード情報 １３５ 予測切り替え制御情報 ２０１ ビットストリーム入力端子 ２０２ 受信バッファ ２０３ 分離部 ２０４ 可変長復号部 ２０５ 逆量子化部 ２０６ ＩＤＣＴ部 ２０７ 復号画像生成部 ２０８ 出力画像切り替え部 ２０９ リオーダー部 ２１０ 復号画像出力端子 ２１１ 復号画像メモリ ２１２ 予測生成部 ２１３ 復号画像蓄積部 ２１４ 予測切り替え部 ２２１ 量子化制御情報 ２２２ 動きベクトル ２２３ モード情報 ２２４ 予測切り替え制御情報 ７０１ ビットストリーム入力端子 ７０２ 復号部 ７０３ 復号画像蓄積部 ７０４ 出力画像切り替え部 ７０５ 画像出力端子 ７１１ 出力画像切り替え制御信号

フロントページの続き Ｆターム(参考） 5C053 FA27 GB05 GB06 GB21 GB28 GB29 GB37 KA01 KA04 KA24 LA06 5C059 KK01 KK22 KK35 MA04 MA05 MA23 MC11 NN01 PP04 RB01 RB15 RC02 RC11 RC24 RC26 TA21 TA45 TA46 TB01 TC18 TC20 TC39 TD11 UA02 UA05 UA06 UA33

Claims (10)

【特許請求の範囲】
1. 【請求項１】 動画像信号を符号化する動画像符号化装
   置であって、 動画像信号を符号化する符号化手段と、 前記動画像信号を構成するそれぞれの画面を前記符号化
   手段に複数回入力する入力手段と、 前記符号化手段から出力される復号画像を記憶する記憶
   手段と、 前記符号化手段から出力されるそれぞれの画面に対する
   複数回の符号化データを時間軸上で１つに多重して送信
   する送信手段とを具備し、 前記符号化手段は、前記入力手段から第１回目に入力さ
   れるそれぞれの画面に対しては所定の圧縮符号化を行
   い、第Ｊ回目（Ｊは２以上の整数）に入力されるそれぞ
   れの画面に対しては前記記憶手段から読み出される第
   （Ｊ−１）回目の入力に対応する復号画像を予測参照画
   像として予測符号化を行うことを特徴とする動面像符号
   化装置。
2. 【請求項２】 所定時間長の動画像信号を符号化する動
   画像符号化装置であって、 動画像信号を符号化する符号化手段と、 前記動画像信号を前記所定時間を単位として前記符号化
   手段に複数回繰り返し入力する入力手段と、 前記符号化手段から出力される前記所定時間長の復号画
   像を記憶する記憶手段と、 前記符号化手段によって前記所定時間長の動画像信号毎
   に得られた複数回分の符号化データを時間軸上で１つに
   多重して送信する送信手段とを具備し、 前記符号化手段は、前記入力手段から第１回目に入力さ
   れる前記所定時間長の動画像信号に対しては所定の圧縮
   符号化を行い、第Ｊ回目（Ｊは２以上の整数）に入力さ
   れる前記所定時間長の動画像信号に対しては前記記憶手
   段から読み出される第（Ｊ−１）回目の入力に対応する
   前記所定時間前の復号画像を予測参照画像として予測符
   号化を行うことを特徴とする動画像符号化装置。
3. 【請求項３】 動画像信号を符号化する動画像符号化装
   置であって、 動画像信号を符号化する符号化手段と、 前記動画像信号を構成するそれぞれの画面が前記符号化
   手段に複数回入力されるように、前記動画像信号の各画
   面毎にその画面をＫ回（Ｋは２以上の整数）連続して前
   記符号化手段に入力する入力手段と、 前記符号化手段から出力される復号画像を記憶する記憶
   手段と、 前記符号化手段によって前記動画像信号を構成するそれ
   ぞれの画面毎に得られたＫ回分の符号化データが画面毎
   に時間軸上で連続するように、それぞれの画面のＫ回分
   の符号化データを時間軸上で１つに多重して送信する手
   段とを具備し、 前記符号化手段は、前記入力手段から第１回目に入力さ
   れるそれぞれの画面に対しては所定の圧縮符号化を行
   い、第Ｊ回目（Ｊは２以上でＫ以下の整数）に入力され
   るそれぞれの画面に対しては前記記憶手段から読み出さ
   れる第（Ｊ−１）回目の入力に対応する直前の復号画像
   を予測参照画像として予測符号化を行うことを特徴とす
   る動画像符号化装置。
4. 【請求項４】 符号化動画像データを復号して動画像信
   号を出力する動画像復号装置であって、 前記動画像信号を構成するそれぞれの画面に対する複数
   回の符号化データが時間軸上で１つに多重された符号化
   データを受信する受信手段と、 符号化データを復号する復号手段と、 前記復号手段から出力される復号画像を記憶する記憶手
   段とを具備し、 前記復号手段は、前記受信手段から供給されるそれぞれ
   の画面の第１回目の符号化データの復号では所定の圧縮
   復号を行い、それぞれの画面の第Ｊ回目（Ｊは２以上の
   整数）の符号化データの復号では前記記憶手段から読み
   出される第（Ｊ−１）回目の復号画像を予測参照画像と
   して予測復号を行うことを特徴とする動画像復号装置。
5. 【請求項５】 符号化動画像データを復号して所定時間
   長の動画像信号を出力する動画像復号装置であって、 前記所定時間長の動画像信号に対する複数回の符号化デ
   ータが繰り返し時間軸上で多重された符号化データを受
   信する受信手段と、 符号化データを復号する復号手段と、 前記復号手段から出力される前記所定時間長の復号画像
   を記憶する記憶手段とを具備し、 前記復号手段は、前記受信手段から供給される第１回目
   の前記所定時間長の符号化データの復号では所定の圧縮
   復号を行い、第Ｊ回目（Ｊは２以上の整数）の前記所定
   時間長の符号化データの復号では前記記憶手段から読み
   出される第（Ｊ−１）回目に対応する前記所定時間前の
   復号画像を予測参照画像として予測復号を行うことを特
   徴とする動画像復号装置。
6. 【請求項６】 符号化動面像データを復号して動画像信
   号を出力する動画像復号装置であって、 前記動画像信号を構成するそれぞれの画面毎に連続して
   得られたＫ回分の符号化データが画面毎に時間軸上で連
   続するように１つに多重された符号化データを受信する
   受信手段と、 符号化データを復号する復号手段と、 前記復号手段から出力される復号画像を記憶する記憶手
   段と、 前記復号手段において前記受信手段から供給されるそれ
   ぞれの画面の第Ｌ回目（Ｌは１以上Ｋ以下の整数）の符
   号化データの復号により得られた復号画像を出力する出
   力手段とを具備し、 前記復号手段は、前記受信手段から供給されるそれぞれ
   の画面の第１回目の符号化データの復号では所定の圧縮
   復号を行い、それぞれの画面の第Ｊ回目（Ｊは２以上Ｌ
   以下の整数）の符号化データの復号では前記記憶手段か
   ら読み出される第（Ｊ−１）回目に対応する直前の復号
   画像を予測参照画像として予測復号を行うことを特徴と
   する動画像復号装置。
7. 【請求項７】 動画像信号を符号化した符号化動画像デ
   ータを伝送する動画像伝送方法であって、 前記動画像信号を構成するそれぞれの画面に対する複数
   回の符号化データが時間軸上で１つに多重された符号化
   データを伝送するとともに、それぞれの画面の第１回目
   の符号化データは所定の圧縮符号化により生成された符
   号化データでありそれぞれの画面の第Ｊ回目（Ｊは２以
   上の整数）の符号化データは第（Ｊ−１）回目の復号画
   像を予測参照画像とする予測符号化により生成された符
   号化データであることを特徴とする動画像伝送方法。
8. 【請求項８】 所定時間長の動画像信号を符号化した符
   号化動画像データを伝送する動画像伝送方法であって、 前記所定時間長の動画像信号に対する複数回の符号化デ
   ータが繰り返し時間軸上で多重された符号化データを伝
   送するとともに、前記所定時間長の動画像信号に対する
   第１回目の符号化データは所定の圧縮符号化により生成
   された符号化データであり前記所定時間長の動画像信号
   に対する第Ｊ回目（Ｊは２以上の整数）の符号化データ
   は第（Ｊ−１）回目に対応する前記所定時間前の復号画
   像を予測参照画像とする予測符号化により生成された符
   号化データであることを特徴とする動画像伝送方法。
9. 【請求項９】 動画像信号を符号化した符号化動画像デ
   ータを伝送する動画像伝送方法であって、 前記動画像信号を構成するそれぞれの画面毎に連続して
   得られたＫ回分の符号化データが画面毎に時間軸上で連
   続するように１つに多重された符号化データを伝送する
   とともに、それぞれの画面の第１回目の符号化データは
   所定の圧縮符号化により生成された符号化データであり
   それぞれの画面の第Ｊ回目（Ｊは２以上Ｋ以下の整数）
   の符号化データは第（Ｊ−１）回目に対応する直前の復
   号画像を予測参照画像とする予測符号化により生成され
   た符号化データであることを特徴とする動画像伝送方
   法。
10. 【請求項１０】 動画像信号を符号化した符号化動画像
    データが蓄積された記録媒体であって、 前記符号化動画像データは、前記動画像信号を構成する
    それぞれの画面に対する複数回の符号化データが時間軸
    上で１つに多重された符号化データを含むと共に、それ
    ぞれの画面の第１回目の符号化データは所定の圧縮符号
    化により生成された符号化データであり、それぞれの画
    面の第Ｊ回目（Ｊは２以上の整数）の符号化データは第
    （Ｊ−１）回目の復号画像を予測参照画像とする予測符
    号化により生成された符号化データであることを特徴と
    する記録媒体。