JP2005303480A - 動画像復号化方法および動画像復号化装置 - Google Patents

Abstract

【課題】 複数参照を行う画像復号化においてエラーが発生したときに的確にピクチャのコンシールメントを行い、より少ない画像劣化で復号化を継続することを可能とする。
【解決手段】 復号化の際にエラーが検出されたとき、ストリームのどの領域で検出されたかを判定するエラー発生箇所判定ステップと、復号化済みのピクチャの画像データに加えてピクチャの情報を格納して管理するピクチャ情報管理ステップとを有し、エラー発生箇所に応じてピクチャ管理情報と画像データとを個別に更新及びコンシールメントすることによって、画像データがコンシールメントされる場合でもピクチャ管理情報が正しく復号化されていればそれを使用し、以降の処理においても正しい参照関係を維持することを可能とする。
【選択図】 図５

Description

本発明は、既に復号済みのピクチャを参照することによって入力された画像の復号化を行う動画像復号化方法および動画像復号化装置に関するものであり、特にエラーが発生した場合の処理方法を特徴とする。

近年、音声，画像，その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２byteであるのに対し、音声の場合１秒当たり６４kbits（電話品質）、さらに動画については１秒当たり１００Mbits（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４kbps〜１．５Mbpsの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ:Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ（国際電気通信連合 電気通信標準化部門）で国際標準化されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、ＭＰＥＧ（Moving Picture Experts Group）とは、動画面信号のディジタル圧縮の国際規格であり、ＭＰＥＧ−１は、動画面信号を１．５Mbpsまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格を対象とする伝送速度が主として約１．５Mbpsに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号が２〜１５Mbpsに圧縮される。

さらに現状では、ＭＰＥＧ−１，ＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１） によって、より圧縮率が高いＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートで効率の高い符号化が可能になるだけでなく、伝送路誤りが発生しても主観的な画質劣化を小さくできる強力な誤り耐性技術も導入されている。また、現在は、ＩＳＯ／ＩＥＣとＩＴＵの共同で次世代画面符号化方式として、Ｈ．２６４の標準化活動が進んでいる。

一般に動画像の符号化・復号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化・復号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と対象ブロックとの差分値に対して符号化・復号化を行う。また空間的な冗長性の削減を目的とする画面内予測符号化・復号化では、空間的に周辺に位置するブロックの画素情報をから予測画像の生成を行い、得られた予測画像と対象ブロックとの差分値に対して符号化・復号化を行う。

ここで、ピクチャとは、１枚の画面を表す用語であり、フレーム構造として符号化・復号化する場合は１枚のフレームを意味し、フィールド構造として符号化・復号化する場合は１枚のフィールドを意味する。

符号化装置によって符号化されたストリームは無線通信もしくは有線通信もしくは記録媒体等を用いて復号化装置に伝送され復号化が行われる。符号化が行われる際もしくは伝送が行われる際にストリーム中にエラーが発生してしまう可能性があることから、復号化装置ではエラー検出を行いながら復号化を行い、エラーが検出された場合は通常状態に復帰するための特別な処理を行う。

図１は従来の動画像復号化方法を説明するためのブロック図である。この動画像復号化方法は、符号列解析部１０１、エラー検出部１０２、復号化処理制御部１０３、ピクチャ情報復号部１０４、予測残差復号部１０５、動き補償復号部１０６、ピクチャメモリ１０７から構成されている。

まず入力された符号列から符号列解析部１０１によって各種の情報が抽出され、復号化処理制御に関する信号は復号化処理制御部１０３に、ピクチャ管理情報に関する信号はピクチャ情報復号部１０４に、残差符号化信号は予測残差復号部１０５にそれぞれ出力される。

予測残差復号部１０５では入力された残差符号化信号に対して、逆量子化、逆周波数変換等の画像復号化処理を施し残差復号化信号を出力する。動き補償復号部１０６では、ピクチャメモリ１０７に格納されている復号化済みのピクチャから予測画像を生成し、予測残差復号部１０５から入力された残差復号化信号と加算することによって、復号化画像信号を生成しピクチャメモリ１０７に格納する。一連の処理によって生成された復号化済みピクチャはピクチャメモリ１０７から表示されるタイミングに従って表示用画像信号として出力される。

エラー検出部１０２では復号化処理を行いながら常にエラーの発生を検出し、エラーが検出された場合はそのエラー情報を復号化処理制御部１０３に伝達する。
復号化処理制御部１０３では、符号列解析部１０１から入力された復号化処理制御に関する信号、およびピクチャ情報復号部１０４から入力されたピクチャ管理情報、およびエラー検出部１０２から入力されたエラー情報に基づいて復号化処理全体の制御を行う。

次に動き補償復号部１０６において予測画像を生成するためのピクチャの参照関係について図２を用いて説明する。（ａ）は表示順、（ｂ）は復号化順にピクチャを並べた様子を示している。各ピクチャの数字は復号化順情報を示し、（ｂ）のように復号化順で並べたときに全ての値が昇順になるように割り当てられている。

Ｉは他のピクチャを参照せずに復号化を行うピクチャでありＩピクチャと呼ばれている。また、Ｐは既に復号化されているピクチャを１枚のみ参照して予測画像を生成するピクチャでありＰピクチャと呼ばれている。図２の例では、Ｐ１はＩ０を、Ｐ４はＰ１を参照しているのが分かる。また、Ｂは既に復号化されているピクチャを２枚同時に参照して予測画像を生成するピクチャでありＢピクチャと呼ばれている。図２の例では、Ｂ５はＰ１とＰ４とを同時に参照しているのが分かる。このときＢ５は表示時間が後であるＰ４を参照しているが、（ｂ）のように復号化順に並び替えると、全ての参照ピクチャは既に復号化済みのピクチャでありピクチャメモリに格納されているピクチャとなっている。

ただし、このときＰピクチャは表示順が直前の１枚のＩピクチャもしくはＰピクチャのみを参照し、Ｂピクチャは表示順が直前の１枚と直後の１枚のＩピクチャもしくはＰピクチャを参照する。つまり最大でも２枚のピクチャを格納しておけば参照を行うことが可能である。例えばＰ４を復号化しているときはＩ０とＰ１を、Ｂ５を復号化しているときはＰ１とＰ４が格納されていればよい。

復号化処理の途中でエラーが検出されたとき、対象としているピクチャの復号化を中断して次のピクチャから処理を再開するという方法を用いると、エラーの発生したピクチャは復号化が完了しないため生成することができない。そのため、図２で説明したように参照を行うとすると参照されるピクチャがピクチャメモリに格納されていない状況が発生する。

そこで復号化に失敗したピクチャを既に復号化されているピクチャをそのままコピーして代用することによって、参照に使用することや表示を行うことを可能とするようなエラー処理が行われる。このような処理を以下ではコンシールメントと呼ぶことにする。

図４（ａ）は従来の復号化処理におけるコンシールメントの方法を示した図である。Ｐ４は復号化対象のピクチャであり、このときピクチャメモリにはＩ０とＰ１の２枚の復号化済みピクチャが格納されている。本来であれば、復号化が完了した後に、Ｐ４の表示を行い、さらにピクチャメモリにおける復号化順が古い方の領域に上書きすることによって、Ｐ４以降のピクチャによって参照することが可能となる。ところが、Ｐ４の復号化の途中でエラーが検出され画像データが生成されなかった場合、Ｐ４を使用することができないので、代わりにピクチャメモリに格納されている復号化順が新しい方のピクチャを表示および参照に使用する。図４（ａ）の例では、Ｉ０よりもＰ１の方が復号化順が新しいため、Ｐ４の代わりにＰ１が使用され、本体Ｐ４が格納されるべき領域であった場所にＰ１をそのままコピーしたＰ１ｃが格納される。以降の処理ではＰ１ｃをＰ４として使用することが可能となる。（特許文献１参照）
特開平１０−２３４３１号公報

しかしながら、最新の動画像符号化方法であるＨ．２６４では、予測画像を生成するためのピクチャの参照関係が従来の動画像符号化方法とは全く異なるものとなっている。Ｈ．２６４における参照関係を図３を用いて説明する。（ａ）は表示順、（ｂ）は復号化順にピクチャを並べた様子を示している。各ピクチャの数字は復号化順情報を示し、（ｂ）のように復号化順で並べたときに全ての値が昇順になるように割り当てられている。

Ｉは従来の方法と同様に他のピクチャを参照せずに復号化を行うピクチャである。また、Ｐは既に復号化されている複数枚のピクチャの中からブロックごとに１枚のみ選択して参照し、予測画像を生成するピクチャである。図３の例では、Ｐ１はＩ０を、Ｐ２はＩ０とＰ１を参照ピクチャとし、ブロックごとにその中のどれか１枚を用いて予測画像を生成する。また、Ｂは既に復号化されている複数枚のピクチャの中からブロックごとに２枚まで同時に選択して参照し、予測画像を生成するピクチャである。図３の例では、Ｂ５はＩ０とＰ１とＰ２とを参照ピクチャとし、ブロックごとにその中のどれか１枚もしくは２枚を用いて予測画像を生成する。このときＰ２やＢ５は表示時間が後であるピクチャを参照しているが、（ｂ）のように復号化順に並び替えると、全ての参照ピクチャは既に復号化済みのピクチャでありピクチャメモリに格納されているピクチャとなっている。しかし、復号化順と表示順との関係にはそれ以外の制限がないため、どのような順番に復号化されているかは予想することができない。

復号化を行ったピクチャはピクチャメモリに格納される。ピクチャメモリには少なくとも規格によって規定されている枚数分のピクチャを格納することが可能であり、それらのピクチャの中には、他のピクチャによって短時間参照可能なピクチャ、他のピクチャによって長時間参照可能なピクチャ、他のピクチャによって参照することはできないが表示の順番まで一時的に格納されているピクチャが混在しているため、どのピクチャの領域を用いてコンシールメントを行うかを単純に決定することができない。

図４（ｂ）はＨ．２６４の復号化処理におけるコンシールメントの方法を示した図である。Ｐ７は復号化対象のピクチャであり、このときピクチャメモリにはＩ０、Ｐ１、Ｐ２、Ｂ６の４枚の復号化済みピクチャが格納されている。このときＩ０、Ｐ１、Ｐ２はＰ７の復号化以降の処理においても参照されるものとすると、従来の構成に従って最も復号化順の古いピクチャＩ０の領域に上書きすることができない。この例では、最も復号化順の新しいピクチャＢ６の領域に上書きし、さらに復号化順が２番目に新しいピクチャＰ２を用いてコンシールメントを行っている。

このようにＨ．２６４のコンシールメント処理は従来の構成を用いて実現することは困難である。
本発明は前記課題を解決するものであり、エラーを含むＨ．２６４のストリームが入力された場合において的確にコンシールメントを行い、より少ない画像劣化で復号化を継続することを可能とする動画像復号化方法を提供することを目的とする。

上記目的を達成するために、本発明に係る動画像復号化方法は、既に復号済みのピクチャを参照することによって入力された画像の復号化を行う動画像復号化方法であって、復号化の際にエラーが検出されたとき、ストリームのどの領域で検出されたかを判定するエラー発生箇所判定ステップと、復号化済みのピクチャの画像データに加えて、ピクチャの情報を格納して管理するピクチャ情報管理ステップとを有し、前記ピクチャ情報管理ステップは、前記エラー発生箇所判定ステップによって判定されたエラー発生箇所に応じて、ピクチャ管理情報と画像データとを個別に更新及びコンシールメントすることを特徴とする。

これによって、ピクチャ管理情報と画像データとが個別に管理されるため、画像データがコンシールメントされる場合でもピクチャ管理情報が正しく復号化されていればそれを使用することが可能であり、以降の処理においても正しい参照関係を維持することが可能となる。また、画像データのコンシールメントを、データのコピーではなく、ピクチャ管理情報に記述されているピクチャメモリにおける画像データの格納位置を更新するだけで実現することができるため、コンシールメントのための処理量を大幅に削減することができる。

なお、本発明は、このような動画像復号化方法として実現することができるだけでなく、このような動画像復号化方法が含む特徴的なステップを手段として備える動画像復号化装置として実現することもできる。また、それらのステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することもできる。

本発明による画像復号化方法によれば、エラー発生箇所に応じてピクチャ管理情報と画像データとを個別に更新及びコンシールメントすることができるため、画像データがコンシールメントされる場合でもピクチャ管理情報が正しく復号化されていればそれを使用することが可能であり、以降の処理においても正しい参照関係を維持することが可能となる。また、画像データのコンシールメントを、データのコピーではなく、ピクチャ管理情報に記述されているピクチャメモリにおける画像データの格納位置を更新するだけで実現することができるため、コンシールメントのための処理量を大幅に削減することができる。

以下、本発明の具体的な実施の形態について、図面を参照しながら説明する。
（実施の形態１）
本発明における実施の形態１の復号化処理全体の流れに係わる動画像復号化方法の構成を図５を用いて説明する。

この画像復号化方法は、符号列解析部２０１、エラー検出部２０２、エラー発生箇所判定部２０３、復号化処理制御部２０４、ピクチャ情報復号部２０５、ピクチャ情報管理部２０６、予測残差復号部２０７、動き補償復号部２０８、ピクチャメモリ２０９から構成されている。

まず入力された符号列から符号列解析部２０１によって各種の情報が抽出され、復号化処理制御に関する信号は復号化処理制御部２０４に、ピクチャ管理情報に関する信号はピクチャ情報復号部２０５に、残差符号化信号は予測残差復号部２０７にそれぞれ出力される。

予測残差復号部２０７では入力された残差符号化信号に対して、逆量子化、逆周波数変換等の画像復号化処理を施し残差復号化信号を出力する。動き補償復号部２０８では、ピクチャメモリ２０９に格納されている復号化済みのピクチャから予測画像を生成し、予測残差復号部２０７から入力された残差復号化信号と加算することによって、復号化画像信号を生成しピクチャメモリ２０９に格納する。一連の処理によって生成された復号化済みピクチャはピクチャメモリ２０９から表示されるタイミングに従って表示用画像信号として出力される。

エラー検出部２０２では復号化処理を行いながら常にエラーの発生を検出し、エラーが検出された場合はそのエラー情報をエラー発生箇所判定部２０３に出力し、エラー発生箇所判定部２０３ではストリームのどの位置の復号化中にエラーが発生したかを判定して、その情報を復号化処理制御部２０４に伝達する。

復号化処理制御部２０４では、符号列解析部２０１から入力された復号化処理制御に関する信号、およびピクチャ情報復号部２０５から入力されたピクチャ管理情報、およびエラー発生箇所判定部２０３から入力されたエラー情報に基づいて復号化処理全体の制御を行う。

次にピクチャ情報管理部２０６によって管理されるピクチャ管理情報とピクチャメモリ中の画像データについて詳しく説明する。
図６はそれらの情報の管理方法を説明するための図である。本実施の形態では、画像データとそれ以外のピクチャ管理情報とを個別に管理することを特徴とする。図６の例では、Ｉ０、Ｐ１、Ｐ２、Ｂ６の４枚分の復号化済みピクチャについて、ピクチャメモリに輝度成分と色差成分の画像データが格納され、ピクチャ管理情報テーブルにはピクチャ管理情報としてテーブル番号、フレーム番号、ピクチャメモリアドレス、表示時間情報、参照可否情報等の情報が格納されている。ピクチャ管理情報にはピクチャメモリアドレスとしてピクチャメモリ中の画像データの格納する位置を示す情報が含まれているため、それによって両者が関連付けられている。これらのピクチャ管理情報と画像データとは個別に更新することを可能とする。また、Ｉ０、Ｐ１、Ｐ２は他のピクチャから参照することができるピクチャとし、Ｂ６は他のピクチャから参照することができないピクチャとする。

ピクチャメモリおよびピクチャ管理情報テーブルが図６の状態であったときに、Ｐ７を次のピクチャとして復号化を行い、その処理の途中でエラーが検出されてＰ７のデータが途中までしか復号化できなかったとする。

１つ目の例として、ピクチャ管理情報のみ復号化に成功したが画像データについては復号化できなかったときの動作を図７に示す。ピクチャ管理情報のみをＢ６からＰ７に更新し、画像データについてはＰ２の画像データをあたかもＰ７のものであるかのように、Ｐ７のピクチャ管理情報としてＰ２のピクチャメモリアドレスを登録する。これによって、復号化できなかったＰ７の画像データの代わりにＰ２の画像データがそのまま使用されることとなり、あたかもＰ７が復号化に成功したかのように後の復号化処理および復号化画像の表示を行うことが可能となる。

２つ目の例として、ピクチャ管理情報および画像データの両方について復号化に失敗したときの動作を図８に示す。ピクチャ管理情報はＰ２のものをそのままコピーしてＰ７のものとして扱い、さらに画像データについてはＰ２の画像データをあたかもＰ７のものであるかのように、Ｐ７のピクチャ管理情報としてＰ２のピクチャメモリアドレスを登録する。これによって、復号化できなかったＰ７のピクチャ管理情報および画像データの代わりにＰ２のピクチャ管理情報および画像データがそのまま使用されることとなり、あたかもＰ７が復号化に成功したかのように後の復号化処理および復号化画像の表示を行うことが可能となる。

上記の例では、コンシールメントを行うときの元となるピクチャとしてＰ２を使用しているが、これはＰ２が他のピクチャから参照可能なピクチャであって、かつ最も後に復号化されたピクチャであるからである。なお、前記のような条件の代わりに、他のピクチャから参照可能なピクチャであって、かつ表示順が最も後のピクチャとすることも可能である。また、前記のような条件の代わりに、他のピクチャから参照可能なピクチャであって、かつ表示順が復号化対象ピクチャに最も近いピクチャとすることも可能である。

なお、上記の例ではピクチャメモリアドレスを登録しなおすことによって画像データのコンシールメントを行っているが、画像データそのものをコピーしてコンシールメントを行うことも可能である。その場合、ピクチャ管理情報テーブルで上書きしたピクチャと同じピクチャが格納されているピクチャメモリ中の領域に画像データの上書きを行う必要がある。

なお、図６から図８の例では、ピクチャ管理情報と画像データとを別の領域に格納しているが、格納の方法はこれに限ったものでなく、同じメモリに格納されていてもよい。
次にエラー発生箇所判定部２０３によって判定されたエラー発生位置と、それに基づいて復号化処理を制御する方法について詳しく説明する。

図９は、Ｈ．２６４のストリーム構成を説明するための図である。Ｈ．２６４ではシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、Ｓｌｉｃｅといったストリームを構成するためのデータがＮＡＬと呼ばれる部品ユニットに分けられており、その中から１つのピクチャを構成するために必要なＮＡＬを集めることによって、復号化可能なピクチャを構成するストリームが作られる。ＳＰＳおよびＰＰＳは複数のピクチャから共有して参照されることがある。そのとき１つのＳＰＳおよびＰＰＳがエラーによって欠落すると、それを参照する全てのピクチャを復号化することができなくなってしまう。しかしその反面、同じ情報を持つＳＰＳおよびＰＰＳが過去に復号化されて格納されていたとすると、それを使用して復号化を行うことが可能となっている。

以下に、エラー発生箇所判定部２０３によって判定されたエラー発生位置に従ってコンシールメント処理を制御する方法についてフローチャートを用いて説明する。
（１）図１０の制御方法の場合
まず、エラーが検出された位置がストリーム中のどの位置であったかを判定する（Ｆ１０１）。エラーが検出された位置がＳＰＳもしくはＰＰＳのＮＡＬ内であった場合、エラーの発生したＳＰＳもしくはＰＰＳのデータを破棄して（Ｆ１０２）、復号化済みのＳＰＳおよびＰＰＳが参照可能な場合はそれを参照して復号化を継続する（Ｆ１０３）。エラーが検出された位置が対象ピクチャの先頭のＳｌｉｃｅのＮＡＬ内であった場合、対象ピクチャ内の全てのＳｌｉｃｅの復号化をスキップして（Ｆ１０４）、ピクチャ管理情報および画像データ共に復号化済みのピクチャからコンシールメントする（Ｆ１０５）。エラーが検出された位置が対象ピクチャの２番目以降のＳｌｉｃｅのＮＡＬ内であった場合、対象ピクチャ内の全てのＳｌｉｃｅの復号化をスキップして（Ｆ１０６）、ピクチャ管理情報のみ復号化された情報を使用して更新し画像データを復号化済みのピクチャからコンシールメントする（Ｆ１０７）。

上記の方法を用いると、対象ピクチャの先頭のＳｌｉｃｅの復号化に成功した場合は、そこで獲得したピクチャ管理情報を無駄にすることなく、その情報を活用したままピクチャのコンシールメントが行えるので、復号化済みピクチャの管理方法を符号化時の意図通りに行うことができる。また、先頭のＳｌｉｃｅが復号化できたかどうかでのみ判定が行われるので判定方法が非常に容易であり、もし先頭のＳｌｉｃｅでエラーが検出された場合はそれ以降のＳｌｉｃｅの復号化を行う必要がないので処理量の削減が可能である。
（２）図１１の制御方法の場合
図１０を用いて説明した方法とほぼ同様であるが、エラーが検出された位置がストリーム中のどの位置であったかを判定する部分のみ異なっている（Ｆ１０１ａ）。ここでは図１０とは異なり、エラーが検出された位置が対象ピクチャの先頭のＳｌｉｃｅのＳｌｉｃｅＨｅａｄｅｒ領域であったか、もしくは対象ピクチャの先頭のＳｌｉｃｅのＳｌｉｃｅＤａｔａ領域または対象ピクチャの２番目以降のＳｌｉｃｅのＮＡＬ内であったかによって処理が分岐する。

上記の方法を用いると、対象ピクチャの先頭のＳｌｉｃｅＨｅａｄｅｒの復号化に成功した場合は、そこで獲得したピクチャ管理情報を無駄にすることなく、その情報を活用したままピクチャのコンシールメントが行えるので、復号化済みピクチャの管理方法を符号化時の意図通りに行うことができる。また、先頭のＳｌｉｃｅのＳｌｉｃｅＨｅａｄｅｒが復号化できたかどうかでのみ判定が行われるので判定方法が比較的容易であり、もし先頭のＳｌｉｃｅのＳｌｉｃｅＨｅａｄｅｒでエラーが検出された場合はそれ以降のデータの復号化を行う必要がないので処理量の削減が可能である。
（３）図１２の制御方法の場合
対象ピクチャ内のＳｌｉｃｅの個数の分だけループを回し（Ｆ２０１、Ｆ２０４）、常に全てのＳｌｉｃｅについてエラーを検出しながら復号化を行う（Ｆ２０２）。Ｓｌｉｃｅの復号化におけるエラー発生の有無および発生位置をエラー情報として格納しておく（Ｆ２０３）。全てのＳｌｉｃｅの復号化後にエラーが検出された位置を判定する（Ｆ２０５）。全てのＳｌｉｃｅの復号化に成功していた場合、ピクチャ管理情報および画像データ共に復号化された値を使用して更新する（Ｆ２０６）。全てのＳｌｉｃｅの復号化に失敗していた場合、ピクチャ管理情報および画像データ共に復号化済みのピクチャからコンシールメントする（Ｆ２０７）。少なくとも１つ以上のＳｌｉｃｅの復号化に成功していた場合、ピクチャ管理情報のみ復号化された情報を使用して更新し画像データを復号化済みのピクチャからコンシールメントする（Ｆ２０８）。

上記の方法を用いると、少なくとも１つ以上のＳｌｉｃｅの復号化に成功していれば、そこで獲得したピクチャ管理情報を無駄にすることなく、その情報を活用したままピクチャのコンシールメントが行えるので、非常に高い可能性で復号化済みピクチャの管理方法を符号化時の意図通りに行うことができる。
（４）図１３の制御方法の場合
図１２を用いて説明した方法とほぼ同様であるが、エラーが検出された位置がストリーム中のどの位置であったかを判定する部分のみ異なっている（Ｆ２０５ａ）。ここでは図１２とは異なり、全てのＳｌｉｃｅのＳｌｉｃｅＨｅａｄｅｒ領域の復号化に失敗していたか、もしくは少なくとも１つ以上のＳｌｉｃｅのＳｌｉｃｅＨｅａｄｅｒ領域の復号化に成功していたかによって処理が分岐する。

上記の方法を用いると、少なくとも１つ以上のＳｌｉｃｅのＳｌｉｃｅＨｅａｄｅｒ領域の復号化に成功していれば、そこで獲得したピクチャ管理情報を無駄にすることなく、その情報を活用したままピクチャのコンシールメントが行えるので、さらに非常に高い可能性で復号化済みピクチャの管理方法を符号化時の意図通りに行うことができる。

なお、上記の（１）から（４）のいずれかの方法において、エラーの検出されたスライスが、後のピクチャで参照に使用しないピクチャを構成するスライスであった場合、ピクチャ管理情報および画像データともに値の更新およびコンシールメントを行わないとしてもよい。参照に使用されないピクチャは表示を行うためのみに使用されるものであり、ピクチャメモリに格納することは表示順が来るまでピクチャメモリ内に退避させておく必要があるからである。このようなピクチャがエラーによって復号化できなかった場合は、表示を行う際に復号化済みの別のピクチャを代わりに表示することによって問題の回避が可能であるので、ピクチャ管理情報および画像データをコンシールメントしてピクチャメモリ内に作成する必要はない。このようにコンシールメントを行わないことによって、エラーが検出された時点で全く処理を行わずに次のピクチャの復号化に処理を移行できるので、処理量の大幅な削減が可能である。また、ピクチャ管理情報テーブルやピクチャメモリ内にあるデータを上書きする必要が無いので、上書きされることによって問題が発生する可能性を抑制することが可能である。

（実施の形態２）
さらに、上記各実施の形態で示した動画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１４は、上記各実施の形態の動画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図である。
図１４（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１４（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての動画像復号化方法が記録されている。

また、図１４（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての動画像復号化方法をフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスク内のプログラムにより上記動画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

さらにここで、上記実施の形態で示した動画像復号化方法の応用例とそれを用いたシステムを説明する。
図１５は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。

このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０７〜ex１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図１５のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。

カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、動画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の復号化には上記各実施の形態で示した動画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。

図１６は、上記実施の形態で説明した動画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ex１１５について図１７を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。

電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。

携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声データに変換した後、これを音声出力部ex２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、カメラ部ex２０３から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信データを変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。

また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、本願発明で説明した動画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号化することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１８に示すようにディジタル放送用システムにも上記実施の形態の動画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報のビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録したビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した動画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に動画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を動画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクに画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダがある。更にSDカードに記録することもできる。レコーダが上記実施の形態で示した動画像復号化装置を備えていれば、DVDディスクやSDカードに記録した画像信号を再生し、モニタで表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図１７に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。

また、上記携帯電話ex１１５等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

以上のように、本発明に係る動画像復号化方法は、例えば携帯電話、ＤＶＤ装置、およびパーソナルコンピュータ等で、入力画像を構成する各ピクチャを符号化した動画像符号化データを復号化したりするための方法として有用である。

従来の画像復号化装置の構成を示すブロック図である。 従来画像符号化方式におけるピクチャの参照関係を示す模式図である。 Ｈ．２６４の画像符号化方式におけるピクチャの参照関係を示す模式図である。 従来の画像復号化装置におけるピクチャのコンシールメント方法を示す模式図である。 本発明における画像復号化装置の構成を示すブロック図である。 本発明における復号化済みピクチャの管理方法を説明するための模式図である。 本発明における復号化済みピクチャの管理方法を説明するための別の模式図である。 本発明における復号化済みピクチャの管理方法を説明するための別の模式図である。 Ｈ．２６４の画像符号化方式における動画像符号化データの構成を説明するための模式図である。 本発明におけるピクチャのコンシールメント方法の流れを説明するためのフローチャートである。 本発明におけるピクチャのコンシールメント方法の流れを説明するための別のフローチャートである。 本発明におけるピクチャのコンシールメント方法の流れを説明するための別のフローチャートである。 本発明におけるピクチャのコンシールメント方法の流れを説明するための別のフローチャートである。 各実施の形態の動画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図であり、(a) 記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示した説明図、(b) フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示した説明図、(c) フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示した説明図である。 コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。 携帯電話の一例を示す概略図である。 携帯電話の内部構成を示すブロック図である。 ディジタル放送用システムの全体構成を示すブロック図である。

符号の説明

１０１、２０１ 符号列解析部
１０２、２０２ エラー検出部
１０３、２０４ 復号化処理制御部
１０４、２０５ ピクチャ情報復号部
１０５、２０７ 予測残差復号部
１０６、２０８ 動き補償復号部
１０７、２０９ ピクチャメモリ
２０３ エラー発生箇所判定部
２０６ ピクチャ情報管理部
Ｃｓ コンピュータ・システム
ＦＤ フレキシブルディスク
ＦＤＤ フレキシブルディスクドライブ

Claims (15)

1. 既に復号済みのピクチャを参照することによって入力された画像の復号化を行う動画像復号化方法であって、
   復号化の際にエラーが検出されたとき、ストリームのどの領域で検出されたかを判定するエラー発生箇所判定ステップと、
   復号化済みのピクチャの画像データに加えて、ピクチャの情報を格納して管理するピクチャ情報管理ステップとを有し、
   前記ピクチャ情報管理ステップは、前記エラー発生箇所判定ステップによって判定されたエラー発生箇所に応じて、ピクチャ管理情報と画像データとを個別に更新及びコンシールメントする
   ことを特徴とする画像復号化方法。
2. 前記ピクチャ情報管理ステップは、エラー発生箇所が復号化対象ピクチャを構成する１番目のスライスであった場合、ピクチャ管理情報および画像データともに既に復号化を行ったピクチャのデータを用いてコンシールメントする
   ことを特徴とする請求項１記載の画像復号化方法。
3. 前記ピクチャ情報管理ステップは、エラー発生箇所が復号化対象ピクチャを構成する２番目以降のスライスであった場合、ピクチャ管理情報は１番目のスライスから復号化された値を用いて更新し、画像データのみを既に復号化を行ったピクチャのデータを用いてコンシールメントする
   ことを特徴とする請求項１記載の画像復号化方法。
4. 前記ピクチャ情報管理ステップは、エラー発生箇所が復号化対象ピクチャを構成する１番目のスライスのヘッダ領域であった場合、ピクチャ管理情報および画像データともに既に復号化を行ったピクチャのデータを用いてコンシールメントする
   ことを特徴とする請求項１記載の画像復号化方法。
5. 前記ピクチャ情報管理ステップは、エラー発生箇所が復号化対象ピクチャを構成する１番目のスライスのヘッダ以外の領域または２番目以降のスライスであった場合、ピクチャ管理情報は１番目のスライスのヘッダ領域から復号化された値を用いて更新し、画像データのみを既に復号化を行ったピクチャのデータを用いてコンシールメントする
   ことを特徴とする請求項１記載の画像復号化方法。
6. 前記ピクチャ情報管理ステップは、復号化対象ピクチャを構成する全てのスライスが復号化できなかった場合、ピクチャ管理情報および画像データともに既に復号化を行ったピクチャのデータを用いてコンシールメントする
   ことを特徴とする請求項１記載の画像復号化方法。
7. 前記ピクチャ情報管理ステップは、少なくとも１つ以上のスライスが復号化に成功した場合、ピクチャ管理情報は復号化に成功したスライスから得られた値を用いて更新し、画像データのみを既に復号化を行ったピクチャのデータを用いてコンシールメントする
   ことを特徴とする請求項１記載の画像復号化方法。
8. 前記ピクチャ情報管理ステップは、少なくとも１つ以上のスライスのヘッダ領域が復号化に成功した場合、ピクチャ管理情報は復号化に成功したスライスのヘッダ領域から得られた値を用いて更新し、画像データのみを既に復号化を行ったピクチャのデータを用いてコンシールメントする
   ことを特徴とする請求項１記載の画像復号化方法。
9. コンシールメントを行うために使用する前記既に復号化を行ったピクチャとは、他のピクチャからの参照可能なピクチャであり、かつ最も後に復号化されたピクチャである
   ことを特徴とする請求項２から請求項８のいずれか１項に記載の画像復号化方法。
10. コンシールメントを行うために使用する前記既に復号化を行ったピクチャとは、他のピクチャからの参照可能なピクチャであり、かつ表示順が最も遅いピクチャである
    ことを特徴とする請求項２から請求項８のいずれか１項に記載の画像復号化方法。
11. コンシールメントを行うために使用する前記既に復号化を行ったピクチャとは、他のピクチャからの参照可能なピクチャであり、かつ表示順が復号化対象ピクチャに最も近いピクチャである
    ことを特徴とする請求項２から請求項８のいずれか１項に記載の画像復号化方法。
12. 画像データのコンシールメントとは、ピクチャ管理情報として管理されているピクチャメモリにおける画像データの格納位置の情報を、コンシールメントの元となるピクチャのものと置き換える
    ことを特徴とする請求項２から請求項８のいずれか１項に記載の画像復号化方法。
13. 前記復号化対象とするスライスが後のピクチャで参照に使用しないピクチャを構成するスライスであった場合、ピクチャ管理情報および画像データともに値の更新およびコンシールメントを行わない
    ことを特徴とする請求項２から請求項８のいずれか１項に記載の画像復号化方法。
14. 既に復号済みのピクチャを参照することによって入力された画像の復号化を行う動画像復号化装置であって、
    復号化の際にエラーが検出されたとき、ストリームのどの領域で検出されたかを判定するエラー発生箇所判定手段と、
    復号化済みのピクチャの画像データに加えて、ピクチャの情報を格納して管理するピクチャ情報管理手段とを有し、
    前記ピクチャ情報管理手段は、前記エラー発生箇所判定手段によって判定されたエラー発生箇所に応じて、ピクチャ管理情報と画像データとを個別に更新及びコンシールメントする
    ことを特徴とする画像復号化装置。
15. 既に復号済みのピクチャを参照することによって入力された画像の復号化を行うためのプログラムであって、
    請求項１から請求項１３のいずれか１項に記載の画像復号化方法に含まれるステップをコンピュータに実行させる
    ことを特徴とするプログラム。

Images