JP2010220267A - 符号化装置、符号化方法、復号化装置及び復号化方法 - Google Patents

Abstract

【課題】連続再生できるようにする。
【解決手段】符号化処理を実行してから符号化情報を出力するまでのエンコードディレイの最大値を基準にして、エンコードディレイの最大値からエンコードディレイを減算することにより、符号化情報を復号処理してから復号処理により生成される復号画像情報を出力するまでのデコードディレイを算出し、算出されるデコードディレイをデコードディレイ情報として、符号化手段により生成される符号化情報とともに伝送する。
【選択図】図３

Description

本発明は符号化装置、符号化方法、復号化装置及び復号化方法に関し、例えば複数の単位画像情報が連続してなる画像情報（以下、これを連続画像情報と呼ぶ）を、衛星放送、ケーブルＴＶ若しくはインターネット等のネットワークメディアを介して伝送する際に、又は光ディスク、磁気ディスク若しくはフラッシュメモリ等の記憶メディア上で処理する際に好適なものである。

近年、連続画像をデジタル情報として取り扱い、その際、効率の高い情報の伝送又は蓄積等を目的とし、当該連続画像情報特有の冗長性を利用して離散コサイン変換等の直交変換や動き補償を用いて符号化（圧縮）するＭＰＥＧ（Moving Picture Experts Group）などの符号化方式に準拠した装置が、放送局や一般家庭等において普及しつつある。

特に、ＭＰＥＧ２（ISO/IEC 13818-2）符号化方式は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅するようになされており、プロフェッショナル用及びコンシューマー用途の広範なアプリケーションとして現在広く用いられている。このＭＰＥＧ２符号化方式では、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８〔Ｍｂｐｓ〕、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２〔Ｍｂｐｓ〕の符号量（ビットレート）を割り当てることで、高い符号化効率（圧縮率）と良好な画質の実現が可能である。

かかるＭＰＥＧ２符号化方式は、主として放送用に適合する高画質符号化を対象として用いられていたが、ＭＰＥＧ１符号化方式より低い符号量（ビットレート）、つまりより高い符号化効率の符号化方式には対応していなかった。今後このような符号化方式のニーズは、例えば携帯端末の普及等に伴って高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。そして画像に関するＭＰＥＧ４符号化方式については、１９９８年１２月にISO/IEC 14496-2 としてその規格が国際標準に承認された。

さらに、近年、ＶＣＥＧ団体とＭＰＥＧ団体とのジョイントビデオチームによってＭＰＥＧ４ＡＶＣあるいはＨ．２６４と呼ばれる符号化方式（以下、これをＪＶＴ符号化方式と呼ぶ）が規格化された。このＪＶＴ符号化方式では、ＭＰＥＧ２やＭＰＥＧ４等といった従来の符号化方式に比べ、その符号化又は復号化により多くの演算量が要求されるが、より高い符号化効率が実現されることが知られている。

ここで、上述した各種符号化方式のいずれかに従って符号化処理を実行する符号化装置の概略構成を図８に示す。図８において、符号化装置１００は、画像並べ替えバッファ１０２と、加算器１０３と、直交変換部１０４と、量子化部１０５と、可逆符号化部１０６と、蓄積バッファ１０７と、逆量子化部１０８と、逆直交変換部１０９と、フレームメモリ１１０と、動き予測・補償部１１１と、レート制御部１１２とによって構成される。

この場合、符号化装置１００は、連続画像情報を画像並べ替えバッファ１０２に蓄積し、当該連続画像情報をＧＯＰ（Group of Pictures ）構造に応じて単位画像情報（フレーム又はフィールドのデータ）ごとに並べ替えを行う。

ここで、画像並べ替えバッファ１０２は、連続画像情報のうちイントラ予測符号化を行うべき単位画像情報については、直交変換部１０４に供給する。直交変換部１０４は、この単位画像情報に対して離散コサイン変換又はカルーネン・レーベ変換等の直交変換処理を施し、得られた直交変換係数を量子化部１０５に供給する。

量子化部１０５は、直交変換部１０４から供給された直交変換係数に対して、レート制御部１１２の制御に応じた量子化処理を施し、得られた量子化情報（量子化された直交変換係数）を可逆符号化部１０６及び逆量子化部１０８に供給する。可逆符号化部１０６は、量子化情報に対して可変長符号化あるいは算術符号化等の可逆符号化処理を施し、得られた符号化情報（符号化された量子化情報）を蓄積バッファ１０７に蓄積する。

逆量子化部１０８は、量子化情報に対して逆量子化処理を施し、得られた直交変換係数を逆直交変換部１０９に供給する。逆直交変換部１０９は、直交変換係数に対して逆直交変換処理を施し、得られた単位画像情報を参照画像情報として必要に応じてフレームメモリ１１０に蓄積する。

一方、画像並べ替えバッファ１０２は、連続画像情報のうちインター予測符号化を行うべき単位画像情報については、動き予測・補償部１１１に供給する。動き予測・補償部１１１は、この単位画像情報と、フレームメモリ１１０より取り出した参照画像情報とを用いて動き予測・補償処理を施し、得られた予測画像情報を加算器１０３に供給する。加算器１０３は、予測画像情報と対応する単位画像情報との差分を差分情報として直交変換部１０４に供給する。

この差分情報は、イントラ符号化の場合と同様にして各種処理が施され、この結果、符号化情報として蓄積バッファ１０７に蓄積されると共に、参照画像情報としてフレームメモリ１１０に必要に応じて蓄積される。

また、動き補償・予測部１１１は、動き予測・補償処理を施すことにより予測画像情報と共に得られる動きベクトル情報を可逆符号化部１０６に供給する。可逆符号化部１０６は、動きベクトル情報に対して可逆符号化処理を施し、得られた符号化動きベクトル情報を対応する符号化情報のヘッダ部として生成する。

このようにして符号化装置１００は、連続画像情報に対して符号化処理を実行することにより単位画像情報ごとに符号化情報を順次生成し、この後、当該符号化情報を蓄積バッファ１０７を介して順次出力するようになされている。

次に、かかる符号化装置１００に対応する符号化方式に従って復号化処理を実行する復号化装置の概略構成を図９に示す。図９おいて、復号化装置１２０は、蓄積バッファ１２１と、可逆復号部１２２と、逆量子化部１２３と、逆直交変換部１２４と、加算器１２５と、画像並べ替えバッファ１２６と、動き予測・補償部１２７と、フレームメモリ１２８とによって構成される。

この場合、復号化装置１２０は、順次入力される符号化情報を蓄積バッファ１２１に一時的に格納した後に可逆復号部１２２に供給する。可逆復号部１２２は、イントラ予測符号化が行われた符号化情報である場合には、当該符号化情報に対して可変長復号又は算術復号等の復号化処理を施し、得られた量子化情報を逆量子化部１２３に供給する。

逆量子化部１２３は、可逆復号部１２２から供給された量子化情報に対して逆量子化処理を施し、得られた直交変換係数を逆直交変換部１２４に供給する。逆直交変換部１２４は、直交変換係数に対して逆直交変換処理を施して、符号化処理前の元の画像情報（以下、これを復元画像情報と呼ぶ）を生成し、これを画像並べ替えバッファ１２６に格納する。

一方、可逆復号部１２２は、インター予測符号化が行われた符号化情報である場合には、この符号化情報及び当該符号化情報のヘッダ部に挿入された符号化動きベクトル情報に対してそれぞれ復号化処理を施し、得られた量子化情報を逆量子化部１２３に供給すると共に、動きベクトル情報を動き予測・補償部１２７に供給する。この量子化情報は、イントラ符号化された符号化情報を復号化する場合と同様にして各種処理が施され、この結果、差分情報として加算器１２５に供給される。

また、動き予測・補償部１２７は、動きベクトル情報とフレームメモリ１２８に格納された参照画像情報とに基づいて予測画像情報を生成し、これを加算器１２５に供給する。加算器１２５は、この参照画像情報と差分情報とを合成し、得られた復元画像情報を画像並べ替えバッファ１２６に格納する。

このようにして復号化装置１２０は、順次入力される符号化情報に対して復号化処理を実行することにより復元画像情報を順次生成し、この後、当該復元画像情報を画像並べ替えバッファ１２６を介して例えば表示部（図示せず）に順次出力するようにして連続再生する。

ところでＭＰＥＧ２符号化方式では、インター予測符号化対象として、Ｉ(Intra) ピクチャ及びＰ(Predictive)ピクチャのみを用いるよう規定されているため、復号化処理の際における復号化順が一義的に決まってくる。

従って、復号化装置１２０においては、かかるＭＰＥＧ２符号化方式に準拠した各符号化情報に対して復号化処理を実行して生成した復元画像情報を連続再生する場合には、当該復元画像情報の出力時期を画像並べ替えバッファ１２６を介してあえて調整しなくても、当該各復元画像情報に基づく画像を適切に表示部に表示することができる。

これに対してＪＶＴ符号化方式では、インター予測符号化対象として、Ｉ及びＰピクチャに加えてＢ(Bidirectional) ピクチャをも用いることができる等、ＭＰＥＧ２符号化方式に比して予測符号化対象として選択できるピクチャの選択自由度が多く規定されている。

しかしながらＪＶＴ符号化方式では、このような規定に伴って復号化処理の際における復号化順が一義的に決まらないにも係わらず、復元画像情報の出力時期については明確に規定していない。

従って、復号化装置１２０は、かかるＪＶＴ符号化方式に準拠した各符号化情報に対して復号化処理を実行して生成した復元画像情報を連続再生すると、画像並べ替えバッファ１２６のリソースに制限があるので、ある符号化情報に対応する復元画像情報の出力時期であるにも係わらず当該符号化情報を未だ復号化中であるといった事態が発生し、この結果、当該連続性が途切れてしまうという問題があった。

本発明は、このような実状に鑑みてなされたものであり、復号化装置に連続再生させ得る符号化装置、符号化方法、復号化装置及び復号化方法を提供することを目的とする。

かかる課題を解決するため本発明は、符号化装置であって、画像情報を符号化処理して符号化情報を生成する符号化手段と、符号化処理を実行してから符号化情報を出力するまでのエンコードディレイの最大値を基準にして、エンコードディレイの最大値からエンコードディレイを減算することにより、符号化情報を復号処理してから復号処理により生成される復号画像情報を出力するまでのデコードディレイを算出する算出手段と、算出手段により算出されるデコードディレイをデコードディレイ情報として、符号化手段により生成される符号化情報とともに伝送する伝送手段とを有する。

また本発明は、符号化方法であって、画像情報を符号化処理して符号化情報を生成する符号化ステップと、符号化処理を実行してから符号化情報を出力するまでのエンコードディレイの最大値を基準にして、エンコードディレイの最大値からエンコードディレイを減算することにより、符号化情報を復号処理してから復号処理により生成される復号画像情報を出力するまでのデコードディレイを算出する算出ステップと、算出ステップで算出されるデコードディレイをデコードディレイ情報として、符号化手段により生成される符号化情報とともに伝送する伝送ステップとを有する。

また本発明は、復号化装置であって、画像情報が符号化処理された符号化情報と、符号化処理を実行してから符号化情報を出力するまでのエンコードディレイの最大値を基準にしてエンコードディレイの最大値からエンコードディレイを減算することによって得られる、符号化情報を復号処理してから復号処理により生成される復号画像情報を出力するまでのデコードディレイを示すデコードディレイ情報とを受け取る受取手段と、受取手段により受け取られるデコードディレイ情報を用いて、符号化情報を復号処理して復号画像情報を生成する復号手段とを有する。

また本発明は、復号化方法であって、画像情報が符号化処理された符号化情報と、符号化処理を実行してから符号化情報を出力するまでのエンコードディレイの最大値を基準にしてエンコードディレイの最大値からエンコードディレイを減算することによって得られる、符号化情報を復号処理してから復号処理により生成される復号画像情報を出力するまでのデコードディレイを示すデコードディレイ情報とを受け取る受取ステップと、受取ステップで受け取られるデコードディレイ情報を用いて、符号化情報を復号処理して復号画像情報を生成する復号ステップとを有する。

本発明によれば、復号化側での復号化処理に最も時間を費やす画像情報を基準に、符号化処理結果として生成される符号化情報が復号化側で順次復号化されることを見越して、復号化処理の開始時期から出力時期までに要すべき期間が算出されるため、ほぼ確実にアンダーフローを発生することなく、各画像情報を連続再生させることができる。

第１の実施の形態による画像再生システムを示すブロック図である。 符号制御部の処理内容を示す機能ブロック図である。 出力時期の算出の説明に供する図表である。 出力時期通知処理手順を示すフローチャートである。 第２の実施の形態による画像再生システムを示すブロック図である。 再出力の制御の説明に供する図表である。 再出力制御処理手順を示すフローチャートである。 符号化装置の構成を示すブロック図である。 復号化装置の構成を示すブロック図である。

以下図面について、本発明の一実施の形態を詳述する。

＜実施例１＞
（１）画像再生システム１の構成
図１において、１は全体として第１の実施の形態による画像再生システムを示し、ＪＶＴ符号化方式に準拠した符号化装置２及び復号化装置３を所定の伝送路を介して互いに接続することにより構成される。

符号化装置２は、図８で上述した符号化装置１００と同一構成でなる符号化部１０と、この符号化部１０の制御を司る符号制御部１１とを有しており、外部から供給された又は内部のＨＤＤ(Hard Disk Drive) 等の記録媒体（図示せず）から読み出した連続画像情報Ｄ１に対して、当該符号制御部１１に制御される符号化部１０を介して、図８で上述した場合と同様にして符号化処理を実行することにより単位画像情報（フレーム又はフィールドのデータ）Ｄ１ａ〜Ｄ１ｎごとに符号化情報Ｄ２（Ｄ２ａ、Ｄ２ｂ、……又はＤ２ｎ）を順次生成し、この後、当該符号化情報Ｄ２を順次出力する。

一方、復号化装置３は、図９で上述した復号化装置１２０と同一構成でなる復号化部２０と、この復号化部２０の制御を司る復号制御部２１とを有しており、伝送路を介して順次入力される符号化情報Ｄ２に対して、当該復号制御部２１に制御される復号化部２０を介して、図９で上述した場合と同様にして復号化処理を実行することにより復元画像情報Ｄ３（Ｄ３ａ、Ｄ３ｂ、……又はＤ３ｎ）を順次生成し、この後、当該復元画像情報Ｄ３を表示部（図示せず）に順次出力するようにして連続再生する。

（２）符号制御部１１の構成
この符号化装置２の符号制御部１１は、予め内部に格納されたＪＶＴ符号化方式に準拠したプログラムやテーブル情報等に基づいて、符号化部１０に入力された連続画像情報Ｄ１に対するＧＯＰ構造や、符号化順等の符号化処理に関する条件（以下、これを符号化条件と呼ぶ）を決定し、この符号化条件に従って符号化部１０を制御する。

かかる構成に加えて、この符号制御部１１においては、符号化情報Ｄ２が復号化側（復号化装置３）で順次復号化されることを見越して、当該符号化情報Ｄ２の復号結果である復元画像情報Ｄ３の出力時期を算出し、この出力時期を、当該復元画像情報Ｄ３を生成する前の復号化装置３に通知する出力時期通知処理を実行するようになされている。

ここで、符号制御部１１における出力時期通知処理の処理内容を機能的に分類すると、例えば図２に示すように、符号化情報Ｄ２に対する復号化処理を実行し始めてから、当該処理により生成された復号画像情報Ｄ３を出力するまでの期間（以下、これをデコードディレイと呼ぶ）を算出するディレイ算出部１１ａと、当該デコードディレイを対応する符号化情報Ｄ２のヘッダとして付加するヘッダ付加部１１ｂとに分類することができる。これらディレイ算出部１１ａ及びヘッダ付加部の処理について、図３に示す例を用いて具体的に説明する。

この図３において、「ＥＩ(Encoder Input) 」の欄は、符号化部１０に入力される各単位画像情報Ｄ１ａ〜Ｄ１ｎを、ＧＯＰ構造に応じて割り当てられたピクチャタイプで表しており、即ち符号化処理前のピクチャタイプの順序を示している。「ＥＯ(Encoder Output)」の欄は、符号化部１０に入力された各単位画像情報Ｄ１ａ〜Ｄ１ｎに対して所定の符号化順に従って符号化処理を実行した結果生成される符号化情報Ｄ２ａ〜Ｄ２ｎのピクチャタイプ表しており、即ち符号化処理後のピクチャタイプの順序を示している。

「Ｅｄ(Encoder Delay) 」の欄は、単位画像情報Ｄ１ａ、Ｄ１ｂ、……又はＤ１ｎに対して符号化処理を実行し始めてから、当該処理により生成された符号化情報Ｄ２を出力するまでの期間（以下、これをエンコードディレイと呼ぶ）をそれぞれ示しており、符号化条件に基づいて算出される。このエンコードディレイ（「Ｅｄ」の欄）に基づいて、符号化情報Ｄ２ａ〜Ｄ２ｎ（「ＥＯ」の欄）の出力時期が必要に応じて調整される。具体的に例えば、Ｉピクチャタイプである最初の単位画像情報Ｄ１ａ（「ＥＩ」欄における「I00」）については、入力されたとき（ｔ＝０）から、符号化情報Ｄ２ａ（「ＥＯ」欄における「I00」）として生成されたときまでの期間が対応するエンコードディレイ（「Ｅｄ」欄における「６」[秒]）に満たない場合には、符号化部１０の蓄積バッファ１０７（図８）への蓄積により調整され、当該エンコードディレイの経過（ｔ＝６）と同時期に出力される。

ディレイ算出部１１ａは、かかるエンコードディレイに基づいて、各符号化情報Ｄ２に対するデコードディレイ（「Ｄｄ(Decoder Delay) 」の欄）を算出するようになされており、当該エンコードディレイ（「Ｅｄ」の欄）のうち、最大のエンコードディレイ（１０[ 秒] ）となる符号化情報Ｄ２（「B13 」）に対するデコードディレイが最小（０[ 秒] ）となるように、各符号化情報Ｄ２ａ〜Ｄ２ｎのデコードディレイを算出する。

具体的にはディレイ算出部１１ａは、エンコードディレイの最大値が１０[ 秒] であるため、この１０[ 秒] から各々の符号化情報Ｄ２ａ〜Ｄ２ｎに対応するエンコードディレイの値を減算することにより、当該符号化情報Ｄ２ａ〜Ｄ２ｎに対するデコードディレイの値（「Ｄｄ」の欄の各項の値）を算出する。

そしてディレイ算出部１１ａは、このようにして算出した各デコードディレイをデコードディレイ情報Ｄ１０として生成し、これをヘッダ付加部１１ｂに送出するようになされている。

ヘッダ付加部１１ｂは、ディレイ算出部１１ａから供給されるデコードディレイ情報Ｄ１０に基づいて、符号化部１０において順次符号化情報Ｄ２が生成されるごとに、対応するデコードディレイをヘッダとして置換することにより当該符号化情報Ｄ２に付加する。

この場合、かかるデコードディレイがヘッダとして付加された例えば符号化情報Ｄ２ａ（「ＥＯ」欄における「I00 」）は、エンコードディレイの経過と同時期に出力され、伝送路を介して復号化装置３に入力される。なお、図３では、説明の便宜上、符号化装置２と復号化装置３との間における伝送路の伝送時間等については考慮せず、復号化装置３における符号化情報Ｄ２の入力時期は、符号化部１０からの符号化情報Ｄ２の出力時期（「ＥＯ」の欄）と同等とみなしている。

そして復号化装置３では、この符号化情報Ｄ２のデコードディレイに基づいて、当該符号化情報Ｄ２の復号結果である復元画像情報Ｄ３の出力時期が調整される。即ち、例えば最初の符号化情報Ｄ２ａのデコードディレイ（「Ｄｄ」欄における４ [秒] ）は、復号化装置３において、当該符号化情報Ｄ２ａに付加されたヘッダに基づいて当該符号化情報Ｄ２ａの復号化処理前に復号制御部２１により認識される。この後、符号化情報Ｄ２ａは、復号化部２０において復元画像情報Ｄ３ａとして生成され、このとき入力時（ｔ＝６）からの経過期間が対応するエンコードディレイ（４[ 秒] ）に満たない場合には、画像並べ替えバッファ１２６（図９）への蓄積により必要に応じて調整され、当該デコードディレイの経過（４ [秒]（ｔ＝１０））と同時期に出力するようにして表示部に表示される。

また残りの符号化情報Ｄ２ｂ〜Ｄ２ｎについても、符号化情報Ｄ２ａと同様にして、復号化部２０において復元画像情報Ｄ３ｂ〜Ｄ３ｎとして生成され、これら復元画像情報Ｄ３ｂ〜Ｄ３ｎは、必要に応じて、画像並べ替えバッファ１２６（図９）において符号化処理前と同じピクチャタイプの順序（「ＤＯ(Decoder Output)」の欄）に並び替えられると共に、対応するエンコードディレイに基づいて出力時期が調整された後に出力され、この結果、連続再生されることとなる。

このようにして符号制御部１１は、出力時期通知処理を実行することにより、符号化情報Ｄ２が復号化装置３で復号化されたことを想定したデコードディレイをヘッダを介して復号化装置３に事前に認識させることができるようになされている。

ここで、上述したような出力時期通知処理は、図４に示す出力時期通知処理手順ＲＴ１に従って順次実行される。

すなわち、符号制御部１１は、例えば符号化処理を実行するための所定の操作が入力部（図示せず）を介して行われると、この出力時期通知処理手順ＲＴ１をステップＳＰ０から開始し、続くステップＳＰ１において符号化条件に基づいて算出されたエンコードディレイのなかから最大のエンコードディレイを認識する（図３において「Ｅｄ」欄の１０ [秒] に相当）。

そして符号制御部１１は、ステップＳＰ２において符号化部１０内の可逆符号化部１０６（図８）に存在する例えば符号化情報Ｄ２ａを蓄積バッファ１０７（図８）に取り込み、ステップＳＰ３において当該取り込みが成功したか否かを判定し、否定結果が得られた場合には、ステップＳＰ２に戻って再度符号化情報Ｄ２ａを取り込む。

これに対して符号制御部１１は、ステップＳＰ２で肯定結果が得られた場合には、続くステップＳＰ３において、ステップＳＰ１で認識したエンコードディレイから、ステップＳＰ２で取り込んだ符号化情報Ｄ２ａに対するエンコードディレイ（図３において「Ｅｄ」欄の６ [秒] に相当）を減算することにより、当該符号化情報Ｄ２ａに対するデコードディレイ（「Ｄｄ」欄の４ [秒] に相当）を算出し、ステップＳＰ４において当該算出したデコードディレイを当該符号化情報Ｄ２ａにヘッダとして付加する。

そして符号制御部１１は、ステップＳＰ５において全ての符号化情報Ｄ２を蓄積バッファ１０７（図８）に取り込んだか否かを判定し、否定結果が得られた場合には、ステップＳＰ２に戻って上述の処理を繰り返し、これに対して肯定結果が得られた場合には、続くステップＳＰ６に移って、この出力時期通知処理手順ＲＴ１を終了する。

このようにして符号制御部１１は、出力時期通知処理手順ＲＴ１に従って出力時期通知処理を実行することができるようになされている。

以上の構成において、この符号化装置２においては、ＪＶＴ符号化方式に従って符号化処理された結果得られる符号化情報Ｄ２が復号化装置３側で復号化されることを見越して、当該符号化情報Ｄ２の復号結果（各復元画像情報Ｄ３）に対する出力時期（デコードディレイ）を算出し、当該算出した出力時期をヘッダとして付加するようにした。

従って、この符号化装置２では、符号化情報Ｄ２が復号化装置３で復号化されたことを想定したデコードディレイをヘッダを介して復号化処理前の復号化装置３に認識させることができるため、復号化順が一義的に決まらないＪＶＴ符号化方式に従って符号化された符号化情報Ｄ２であっても、復元画像情報Ｄ３における出力の連続性を確保することができる。

この場合、符号化装置２においては、符号化処理を実行し始めてから、符号化情報Ｄ２を出力するまでの期間（エンコードディレイ）のうち、最大の期間となる符号化情報Ｄ２（図３中「Ｂ１３」）の復号結果が直ちに出力されるように、各復元画像情報Ｄ３に対する出力時期（デコードディレイ）を算出するようにした。

従って、この符号化装置２では、復号化側での復号化処理に最も時間を費やす符号化情報Ｄ２に対する復号化側での出力時期（エンコードディレイ）を基準に、各符号化情報Ｄ２の復号結果（各復元画像情報Ｄ３）に対する出力時期（デコードディレイ）を算出することができるため、復号化装置３での復号化中のを出力時期を振り分ける（相殺する）ようにしてほぼ確実にアンダーフローを発生することなく調整することができる。

以上の構成によれば、ＪＶＴ符号化方式に従って符号化処理された結果得られる符号化情報Ｄ２が復号化装置３側で復号化されることを見越して、当該符号化情報Ｄ２が復号化された際の各復元画像情報Ｄ３に対する出力時期（デコードディレイ）を算出し、当該算出した出力時期をヘッダとして付加するようにしたことにより、復号化順が一義的に決まらないＪＶＴ符号化方式に従って符号化された符号化情報Ｄ２であっても復元画像情報Ｄ３における出力の連続性を確保することができ、かくして、復号化装置３に連続再生させることができる。

（３）他の実施の形態
なお上述の第１の実施の形態においては、ＪＶＴ符号化方式を適用するようにした場合について述べたが、本発明はこれに限らず、少なくともＢピクチャを予測符号化対象として用いることができるよう規定されたこの他種々の符号化方式を適用することができる。

また上述の第１の実施の形態においては、符号化処理を実行した結果生成される複数の符号化情報Ｄ２が復号化側で順次復号化されることを見越して、当該符号化情報の復号結果に対する出力時期を算出する時期算出手段として、エンコードディレイのうち、最大のエンコードディレイとなる符号化情報Ｄ２の復号結果が直ちに出力されるように、符号化情報の復号結果に対するデコードディレイを算出するようにした場合について述べたが、本発明はこれに限らず、当該デコードディレイに代えて当該符号化情報の復号結果を生成してから出力時期までの期間を算出したり、あるいは復号化側のバッファに蓄積される情報量の占有率を想定した計算結果に基づいて当該符号化情報の復号結果に対するディコードディレイを算出するようにしても良い。かかる計算結果に基づいて出力時期を算出すれば、復号化側に連続再生を確実にさせるような出力時期を算出することができる。

さらに上述の第１の実施の形態においては、対応する符号化情報の復号結果が得られる前に復号化側に出力時期を通知する時期通知手段として、ディレイ算出部１１ａから供給されるデコードディレイ情報Ｄ１０に基づいて、当該出力時期（デコードディレイ）をヘッダとして対応する符号化情報Ｄ２に付加するようにした場合について述べたが、本発明はこれに限らず、例えばヘッダとして付加することなくデコードディレイ情報Ｄ１０を符号化処理前に直接復号化側に出力するようにしても良い。

＜実施例２＞
（１）画像再生システム５１の構成
図１との対応部分に同一符号を付して示す図５において、５１は全体として第２の実施の形態による画像再生システムを示し、ＪＶＴ符号化方式に準拠した符号化装置５２及び復号化装置５３を所定の伝送路を介して互いに接続することにより構成される。

符号化装置５２は、符号化部１０と、この符号化部１０の制御を司る符号制御部６１とを有しており、当該符号制御部６１は、上述した出力時期通知処理を実行しないが、その他については上述の第１の実施の形態の場合と同様である。この場合、符号化装置５２は、連続画像情報Ｄ１に対して、符号制御部６１に制御される符号化部１０を介して符号化処理を実行することにより、デコードディレイがヘッダとして付加されていない符号化情報Ｄ２を順次生成し、この後、当該符号化情報Ｄ２を順次出力する。

一方、復号化装置５３は、復号化部２０と、この復号化部２０の制御を司る復号制御部７１とを有しており、伝送路を介して順次入力される符号化情報Ｄ２に対して、当該復号制御部７１に制御される復号化部２０を介して復号化処理を実行することにより復元画像情報Ｄ３を順次生成し、この後、当該復元画像情報Ｄ３を表示部（図示せず）に順次出力するようにして連続再生する。

（２）復号制御部７１の構成
実際上、この復号化装置５３の復号制御部７１は、順次入力される符号化情報Ｄ２を復号化部２０内の蓄積バッファ１２１（図９）に一時的に蓄積し、当該符号化情報Ｄ２に含まれるヘッダ等に基づいて、当該符号化情報Ｄ２の復号化処理順や、復号化処理の開始時期あるいは等の復号化に関する条件（以下、これを復号化条件と呼ぶ）を把握し、この復号化条件に従って復号化部２０を制御する。

かかる構成に加えて復号制御部７１は、復号化処理された後に画像並べ替えバッファ１２６（図９）に蓄積される復元画像情報Ｄ３の蓄積状態を監視し、当該蓄積状態として破綻（アンダーフロー）を検出したとき、当該検出（破綻）時の直前に出力した復元画像情報Ｄ３を再出力する再出力制御処理を実行するようになされている。この再出力制御処理について、図６に示す例を用いて具体的に説明する。

この図６では、図３と同様に、「ＥＩ」の欄は符号化処理前のピクチャタイプの順序、「ＥＯ」の欄は符号化処理後のピクチャタイプの順序、「ＤＯ」は復号化後のピクチャタイプの順序、「Ｅｄ」の欄はエンコードディレイ、「Ｄｄ」の欄はデコードディレイをそれぞれ示している。またこの図６では、図３と同様に、符号化装置５２と復号化装置５３との間における伝送路の伝送時間等については考慮せず、復号化装置５３における符号化情報Ｄ２の入力時期は、符号化部１０からの符号化情報Ｄ２の出力時期（「ＥＯ」の欄）と同等とみなしている。

そして「Ｓｕｄ(Start-up delay)」の欄は、各符号化情報Ｄ２を入力してから復号化処理を開始し始めるまでの期間（以下、これをスタートアップディレイと呼ぶ）を示しており、このスタートアップディレイは、符号化装置５２において、符号化条件に基づいて符号制御部６１により算出され、ヘッダとして付加されるようになされている。

復号制御部７１は、まず最初の符号化情報Ｄ２ａを入力すると（「ＥＯ」の欄における「I00 」）、当該符号化情報Ｄ２ａに対するスタートアップディレイ（「Ｓｕｄ」の欄における「６」[ 秒] ）に従わず、当該符号化情報Ｄ２ａを直ちに可逆符号化部１２２に送出して復号化処理を開始するように制御する（「Ｄｄ」の欄における「０」[ 秒] ）。この結果、復号制御部７１は、連続再生する際の準備期間（起動時間）を短縮するできるようになされている。

この場合、復号制御部７１においては、かかる制御により生じた本来開始すべき復号処理開始時期との間のずれ期間（調整しなければならない遅延量であり、具体的に図６では６[ 秒] である。以下、当該期間を調整分遅延量と呼ぶ）が発生するので、この調整分遅延量について、符号化情報Ｄ２ａの復号化処理結果である復元画像情報Ｄ３ａを画像並べ替えバッファ１２６を介して出力した後に再出力（「ＤＯ」欄における「ｔ＝８」の項に相当）することにより、当該調整分遅延量の一部（「Ｄｄ」欄における「ｔ＝８」の「２」[ 秒」に相当）を相殺する。

そして復号制御部７１は、符号化情報Ｄ２ａに続いて順次入力される符号化情報Ｄ２ｂ、Ｄ２ｃ……（「ＥＯ」欄における「P01 」、「P02 」……）をスタートアップディレイに従って復号化処理を実行させ、当該復号化処理後に画像並べ替えバッファ１２６（図９）に蓄積される復元画像情報Ｄ３ｂ、Ｄ３ｃ……（「ＤＯ」欄における「P01 」、「P02 」……）の蓄積状態を監視する。

この状態において復号制御部７１は、画像並べ替えバッファ１２６に蓄積される復元画像情報Ｄ３が破綻（アンダーフロー）するごとに（図６では「ｔ＝１８」及び「ｔ＝３０」）、当該破綻時直前に出力した復元画像情報Ｄ３（「ＤＯ」欄における「P05 」及び「P10 」）を再出力することにより、残りの調整分遅延量を定期的に相殺する。

このようにして復号制御部７１は、再出力制御処理を実行することにより、復元画像情報Ｄ３における出力の連続性を確保することができるようになされている。

ここで、上述したような出力時期通知処理は、図７に示す再出力制御処理手順ＲＴ２に従って順次実行される。

すなわち、復号制御部７１は、例えば復号化処理を実行するための所定の操作が入力部（図示せず）を介して行われると、この再出力制御処理手順ＲＴ２をステップＳＰ１０から開始し、続くステップＳＰ１１において最初の符号化情報Ｄ２ａの入力を待ち受け、当該符号化情報Ｄ２ａが入力された場合には、ステップＳＰ１２に移る。

そして復号制御部７１は、このステップＳＰ１２において符号化情報Ｄ２ａに対するスタートアップディレイに従わず直ちに復号化処理を開始させ、続くステップＳＰ１３において当該復号化処理結果である復元画像情報Ｄ３ａを出力させた後に、ステップＳＰ１４において当該復元画像情報Ｄ３ａを再出力させて調整分遅延量の一部を相殺する。

続いて復号制御部７１は、ステップＳＰ１５において次の復元画像情報Ｄ２（Ｄ２ｂ、Ｄ２ｃ、……Ｄ２ｎ）の復号化処理を開始させて当該処理により得られる復元画像情報Ｄ３（Ｄ３ｂ、Ｄ３ｃ、……Ｄ３ｎ）を出力させ、続くステップＳＰ１６において画像並べ替えバッファ１２６（図９）に蓄積される復元画像情報Ｄ３が破綻したか否かを判定し、否定結果が得られた場合、ステップＳＰ１５に戻って上述の処理を繰り返す。

これに対して肯定結果が得られた場合、復号制御部７１は、続くステップＳＰ１７において、ステップＳＰ１５で出力した復元画像情報Ｄ３（「ＤＯ」欄における「P05 」及び「P10 」）を再出力することにより、残りの調整分遅延量の一部（又は全部）を相殺し、続くステップＳＰ１８に移る。

そして復号制御部７１は、このステップＳＰ１８において調整分遅延量が全て相殺されたか否かを判定し、否定結果が得られた場合には、ステップＳＰ１５に戻って上述の処理を繰り返し、これに対して肯定結果が得られた場合には、続くステップＳＰ１９に移って、この再出力制御処理手順ＲＴ２を終了する。

このようにして符号制御部１１は、再出力制御処理手順ＲＴ２に従って再出力制御処理を実行することができるようになされている。

以上の構成において、この復号化装置５３は、ＪＶＴ符号化方式に従って符号化された符号化情報Ｄ２に対して復号化処理を実行した結果順次生成される復元画像情報Ｄ３を画像並べ替えバッファ１２６（図９）に一時的に蓄積し、当該画像並べ替えバッファ１２６（図９）に蓄積される復元画像情報Ｄ３が破綻した場合に、当該破綻時の直前に出力した復元画像情報Ｄ３を再出力するようにした。

従って、この復号化装置５３では、復号化順が一義的に決まらないＪＶＴ符号化方式に従って符号化された符号化情報Ｄ２であっても、復元画像情報Ｄ３における出力の連続性を確保することができる。

この場合、復号化装置５３は、蓄積バッファ１２１（図９）に蓄積した最初の符号化情報Ｄ２ａに定められた復号化開始時期（スタートアップディレイ）に従わず、当該符号化情報Ｄ２ａを直ちに復号化を開始させ、これにより生じた復号化開始時期とのずれ期間（調整分遅延量）を、画像並べ替えバッファ１２６（図９）に蓄積される復元画像情報Ｄ３が破綻した場合に、当該破綻時の直前に出力した復元画像情報を再出力することにより相殺するようにした。

従って、この復号化装置５３では、連続再生する際の準備期間（起動時間）を短縮できると共に、当該短縮により生じたずれ期間（調整分遅延量）を、定期的に分散するようにして緩和しながら復元画像情報における出力の連続性を確保することができる。

以上の構成によれば、ＪＶＴ符号化方式に従って符号化された符号化情報Ｄ２に対して復号化処理を実行した結果順次生成される復元画像情報Ｄ３を画像並べ替えバッファ１２６（図９）に一時的に蓄積し、当該画像並べ替えバッファ１２６（図９）に蓄積される復元画像情報Ｄ３が破綻した場合に、当該破綻時の直前に出力した復元画像情報Ｄ３を再出力するようにしたことにより、復号化順が一義的に決まらないＪＶＴ符号化方式に従って符号化された符号化情報Ｄ２であっても、復元画像情報Ｄ３における出力の連続性を確保することができ、かくして、連続再生することができる。

（３）他の実施の形態
なお上述の第２の実施の形態においては、ＪＶＴ符号化方式を適用するようにした場合について述べたが、本発明はこれに限らず、少なくともＢピクチャを予測符号化対象として用いることができるよう規定されたこの他種々の符号化方式を適用することができる。

また上述の第２の実施の形態においては、各符号化情報と、当該符号化情報に対する復号化処理の結果順次生成される復元画像情報とを一時的に蓄積する蓄積手段として、蓄積バッファ１２１と、並べ替えバッファ１２６とを別々に用いるようにした場合について述べたが、本発明はこれに限らず、当該蓄積バッファ１２１及び並べ替えバッファ１２６共用するようにしても良い。この場合、バッファの数や蓄積の態様については適宜変更することができる。

また上述の第２の実施の形態においては、出力制御手段としての復号制御部７１により、蓄積バッファ１２１（図９）に蓄積した最初の上記符号化情報Ｄ２ａに定められた復号化開始時期（スタートアップディレイ）に従わず、当該符号化情報Ｄ２ａを直ちに復号化を開始させ、これにより生じた上記復号化開始時期のずれ期間（調整分遅延量）を、画像並べ替えバッファ１２６（図９）に蓄積される復元画像情報Ｄ３が破綻した場合に、当該破綻時の直前に出力した上記復元画像情報を再出力することにより相殺するようにした場合について述べたが、これに加えて、当該蓄積バッファ１２１に蓄積された各符号化情報Ｄ２ａ〜Ｄ２ｂの蓄積順序（すなわち「ＥＯ」の欄に相当）が当該符号化される前の順序（すなわち「ＥＩ」の欄に相当）と異なっていた場合（例えば図６中「ｔ＝３２」の項に相当）には、その異なっていた符号化情報Ｄ２に対応する復元画像情報Ｄ３を再出力するようにしても良い。このようにすれば、かかる順序が異なる場合に最も増大するデコードディレイを、再出力により補完でき、復元画像情報Ｄ３における出力の連続性を一段と確保することができる。

本発明は、連続画像情報を、衛星放送、ケーブルＴＶ若しくはインターネット等のネットワークメディアを介して伝送する際に、又は光ディスク、磁気ディスク若しくはフラッシュメモリ等の記憶メディア上で処理する際に利用可能である。

１、５１……画像再生システム、２、５２……符号化装置、３、５３……復号化装置、１０……符号化部、１１、６１……符号制御部、１１ａ……ディレイ算出部、１１ｂ……ヘッダ付加部、２０……復号化部、２１、７１……復号制御部。

Claims (7)

1. 画像情報を符号化処理して符号化情報を生成する符号化手段と、
   上記符号化処理を実行してから上記符号化情報を出力するまでのエンコードディレイの最大値を基準にして、上記エンコードディレイの最大値から上記エンコードディレイを減算することにより、上記符号化情報を復号処理してから復号処理により生成される復号画像情報を出力するまでのデコードディレイを算出する算出手段と、
   上記算出手段により算出されるデコードディレイをデコードディレイ情報として、上記符号化手段により生成される符号化情報とともに伝送する伝送手段と
   を有する符号化装置。
2. 上記算出手段は、
   上記エンコードディレイの最大値から単位画像情報に対応するエンコードディレイを減算することにより、単位画像情報を符号化した各符号化情報のデコードディレイを算出する
   請求項１に記載の符号化装置。
3. 上記伝送手段は、
   上記デコードディレイ情報をヘッダとして上記符号化情報に付加する
   請求項１に記載の符号化装置。
4. 画像情報を符号化処理して符号化情報を生成する符号化ステップと、
   上記符号化処理を実行してから上記符号化情報を出力するまでのエンコードディレイの最大値を基準にして、上記エンコードディレイの最大値から上記エンコードディレイを減算することにより、上記符号化情報を復号処理してから復号処理により生成される復号画像情報を出力するまでのデコードディレイを算出する算出ステップと、
   上記算出ステップで算出されるデコードディレイをデコードディレイ情報として、上記符号化手段により生成される符号化情報とともに伝送する伝送ステップと
   を有する符号化方法。
5. 画像情報が符号化処理された符号化情報と、上記符号化処理を実行してから上記符号化情報を出力するまでのエンコードディレイの最大値を基準にして上記エンコードディレイの最大値から上記エンコードディレイを減算することによって得られる、上記符号化情報を復号処理してから復号処理により生成される復号画像情報を出力するまでのデコードディレイを示すデコードディレイ情報とを受け取る受取手段と、
   上記受取手段により受け取られるデコードディレイ情報を用いて、上記符号化情報を復号処理して復号画像情報を生成する復号手段と
   を有する復号化装置。
6. 上記復号手段は、
   上記デコードディレイ情報に示されるデコードディレイに基づいて、上記復号画像情報の出力時期を調整する
   請求項５に記載の復号化装置。
7. 画像情報が符号化処理された符号化情報と、上記符号化処理を実行してから上記符号化情報を出力するまでのエンコードディレイの最大値を基準にして上記エンコードディレイの最大値から上記エンコードディレイを減算することによって得られる、上記符号化情報を復号処理してから復号処理により生成される復号画像情報を出力するまでのデコードディレイを示すデコードディレイ情報とを受け取る受取ステップと、
   上記受取ステップで受け取られるデコードディレイ情報を用いて、上記符号化情報を復号処理して復号画像情報を生成する復号ステップと
   を有する復号化方法。

Images