JP2007166129A - 符号化データ生成装置 - Google Patents

Abstract

【課題】ユーザの意図に沿ったエラー訂正方法によって、エラー訂正が行われたビットストリームを生成する。
【解決手段】エラー検出部１００は符号化データにシンタックスのエラーが存在するか否かを検出して、エラーの存在情報や、エラーが存在する位置や範囲を示す情報、エラーが存在する位置での符号化タイプを示す種別情報などをエラー検出情報２０として出力する。復号部４００は、エラー検出情報に基づき符号化データを復号して復号画像７０を生成する。置換情報生成部２００は、復号画像を再符号化して置換符号列を生成する際に用いられるエラー訂正方法の候補をユーザに提示し、ユーザによって選択されたエラー訂正方法を用いて生成された置換符号列とエラー検出情報とに基づいて置換情報３０を生成する。ビットストリーム置換部３００は、置換情報に基づいて符号化データのエラー訂正を行って、エラーの無いビットストリーム５０を生成する。
【選択図】図２

Description

本発明は、動き補償予測を用いて符号化された符号化データのエラーを訂正して、エラーの無い符号化データを生成する符号化データ生成装置に関する。

動画像信号を伝送若しくは蓄積する場合、効率化のため圧縮符号化され圧縮動画像信号（以下、ビットストリームと呼ぶ）とすることが多い。動画像の圧縮符号化方式としては、ＭＰＥＧ（Moving Picture Experts Group、以下ＭＰＥＧと記載）の方式が標準化され、広く用いられている。このように、動画像信号をＭＰＥＧなどの方式で圧縮し、ビットストリームとして扱うことは、伝送系若しくは蓄積系の効率的な利用において非常に重要である。

ところで、上記のような圧縮を伴った符号化規格で圧縮符号化された圧縮符号化データにおいて、シンタックス（符号化データ列規則）のエラーが発生すると、シンタックスエラーの発生した圧縮符号化データの後に続く圧縮符号化データは、エラーを回避できる機能を持たない復号器では復号することはできない。ここで、シンタックスエラーとは、圧縮符号化データのパース（シンタックス要素を分解すること）を続けることができないエラーである。

例えば、ＭＰＥＧなどでは、シンタックスエラーはパースの過程でＶＬＣ（Variable Length Coding：可変長符号化）テーブルにない値が検出された場合や、マクロブロック内のブロック数が規定値と一致しない場合や、ピクチャ内のマクロブロック数が規定値を超えた場合などに検出される。蓄積系で考えると、このようなシンタックスエラーは、例えばＤＶＤ（Digital Versatile Disc）カムコーダやＤＶＤレコーダなどでＭＰＥＧ−２として記録されたビットストリームにおいて、ＤＶＤディスクに傷がついた場合などに起こり得る。

このようなシンタックスエラー（以下、単にエラーと呼ぶ）を回復するための最も一般的な手法としては、一度、エラー回避機能を持つ復号器で画像を復号し、エラー発生箇所を特定して、エラーの修正を所望する人（以下、ユーザと呼ぶ）が、エラー発生箇所（例えば、エラーが発生している画像）を画像編集装置などを用いて修正して動画像符号化装置で再符号化を行うという方法が挙げられる。

また、エラーが発生した場合に自動的にエラーを回復するための処理方法として、エラーコンシールメントと呼ばれる技術が存在する。例えば下記の特許文献１〜３には、このようなエラーコンシールメント技術が記載されている。

下記の特許文献１に記載のシステムは、画像の性質に応じた適切なパケット廃棄補償を行い、復号画像の画質を向上させることができる動画像伝送を実現するものである。すなわち、符号化されているビデオパケットのパケット廃棄を検出し、既に復号されている画像信号で、廃棄パケットでエラーとなった信号を置き換えることによりコンシールメントし、復号信号を生成するシステムである。ゆえに、特許文献１に記載のシステムは、入力はエラーを含むことがあるビットストリームであり、出力はエラーを含むビットストリームが入力された場合はそのエラーを修復した復号画像信号である。

また、下記の特許文献２に記載の装置は、エラー訂正の為に別途ディスク装置を必要とせず、映像データの特性を生かしたディスクアレイ装置を備える映像送出を実現するものである。すなわち、入力映像データを分割してビットストリームとして蓄積し、入力映像データのビットストリームにエラーが発生した場合に、あらかじめ入力映像データより高圧縮されたコンシールメント用ビットストリームを蓄積しておき、コンシールメント用ビットストリームを復号及び再符号化して入力映像データのエラー発生ビットストリームと置き換えるものである。ゆえに、特許文献２の装置は、入力はエラーが発生する可能性のあるビットストリームであり、出力はエラーが発生した場合は、そのエラーが修正されたビットストリームである。

さらに、下記の特許文献３に記載の回路では、実時間上で符号化変換を必要とするようなファクシミリ装置において、符号化直後の正常な１ライン分の符号化情報を一時蓄積できるような符号バッファにより、符号エラーを検出したときに、バッファにある正常な１ライン分の符号化情報を出力することによってコンシールメントするものである。
特開平７−１１１６５４号公報（要約書） 特許第３４８２９７１号公報（特許請求の範囲） 特開昭６３−２９２８７３号公報（特許請求の範囲）

しかしながら、エラーを回復するための最も一般的な手法では、上述のように、ユーザ自身がエラー発生箇所を修正する作業を行う必要がある。この作業は、多大な時間や労力を要するという課題がある。

一方、１つのエラーに対して適用可能なエラー訂正方法が１つではない場合があるが、上述の特許文献１〜３に開示されている技術では、エラー訂正方法があらかじめ１つだけ用意されており、このエラー訂正方法を用いて自動的にエラーの訂正が行われてしまうという課題がある。

例えば、あるエラーに対して３通りのエラー訂正方法が適用可能であるとする。具体的には、例えば、発生したエラーがＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）符号化規格におけるMain ProfileのB-Sliceのマクロブロックの欠落であるとする。なお、このエラーは、図７に図示されているＭＰＥＧ−４ ＡＶＣ符号化規格におけるMain ProfileのB-Sliceデータ内において、図８に図示されているように、一部のマクロブロックデータが欠落しているエラーである。

そして、このエラーに対して、周辺マクロブロックから欠落マクロブロックデータの補間を行う方法、欠落マクロブロックをスキップマクロブロックに変換する方法、若しくは、プロファイル情報をB-Sliceを含まないBaseline ProfileとしてB-SliceをP-Sliceで置き換える方法の３通りのエラー訂正方法があるとする。

ここで、これらの３通りのエラー訂正方法のうち、例えば通常のユーザ（一般的なユーザ）が必要としている確率が最も高いエラー訂正方法（例えば、周辺マクロブロックからの欠落マクロブロックデータの補間を行う方法）があらかじめ用意されており、このエラー訂正方法によってエラー訂正が行われるとする。しかしながら、通常のユーザが必要としている確率が最も高いエラー訂正方法以外のエラー訂正方法を所望している特定のユーザにとっては、ユーザが所望していないエラー訂正方法が用いられてしまい、ユーザの意図しない不要なビットストリームが生成されるという課題がある。

上記の課題に鑑み、本発明は、ユーザの意図に沿ったエラー訂正方法によってエラー訂正が行われたビットストリームを生成する符号化データ生成装置を提供することを目的とする。

上記の目的を達成するため、本発明の符号化データ生成装置によれば、動き補償予測を用いて符号化された符号化データが入力され、その入力された符号化データにシンタックスのエラーが存在するか否かを検出して、前記エラーの存在情報、前記エラーが存在する位置を示す第１の位置情報、前記エラーが存在する範囲を示す第１の範囲情報、及び前記エラーが存在する位置での符号化タイプを示す種別情報のうちの少なくとも１つ以上をエラー検出情報として出力するエラー検出部と、
前記エラー検出情報に基づいて、前記エラーの存在を通知する情報と前記エラーを訂正するための置換符号列を示す情報とを所定の表示画面に表示するための表示情報を出力する外部出力部と、
前記所定の表示画面に表示された前記置換符号列の中から選択された１つの置換符号列が外部から指示され、その指示入力に応じた選択信号を出力する外部入力部と、
前記外部入力部に指示された置換符号列を示す前記選択信号と前記エラー検出情報とに基づいて、前記符号化データの置換すべき位置を示す第２の位置情報と前記符号化データの置換すべき範囲を示す第２の範囲情報とを作成し、前記作成された第２の位置情報及び第２の範囲情報に前記選択された置換符号列を加えた置換情報を生成する置換情報生成部と、
前記置換情報生成部で生成された前記置換情報に基づき、前記符号化データを、前記検出されたエラーを訂正した符号化データに置換する置換部とを、
有する符号化データ生成装置が提供される。

また、上記の目的を達成するため、本発明の符号化データ生成装置によれば、動き補償予測を用いて符号化された符号化データが入力され、その入力された符号化データにシンタックスのエラーが存在するか否かを検出して、前記エラーの存在情報、前記エラーが存在する位置を示す第１の位置情報、前記エラーが存在する範囲を示す第１の範囲情報、及び前記エラーが存在する位置での符号化タイプを示す種別情報のうちの少なくとも１つ以上をエラー検出情報として出力するエラー検出部と、
前記エラー検出情報に基づいて前記符号化データを復号して復号画像を生成する復号部と、
前記エラー検出情報に基づいて、前記エラーの存在を通知する情報と前記エラーを訂正するためのエラー訂正方法を示す情報とを所定の表示画面に表示するための表示情報を出力する外部出力部と、
前記所定の表示画面に表示された前記エラー訂正方法の中から選択された１つのエラー訂正方法が外部から指示され、その指示入力に応じた選択信号を出力する外部入力部と、
前記外部入力部に指示されたエラー訂正方法を示す前記選択信号と前記エラー検出情報とに基づいて前記復号画像を再符号化して置換符号列を生成し、前記生成された置換符号列と前記エラー検出情報とに基づいて前記符号化データの置換すべき位置を示す第２の位置情報と前記符号化データの置換すべき範囲を示す第２の範囲情報とを作成し、前記作成された第２の位置情報及び第２の範囲情報に前記選択された置換符号列を加えた置換情報を生成する置換情報生成部と、
前記置換情報生成部で生成された前記置換情報に基づき、前記符号化データを、前記検出されたエラーを訂正した符号化データに置換する置換部とを、
有する符号化データ生成装置が提供される。

本発明の符号化データ生成装置は上記の構成を有しており、符号化パラメータを利用できるようなビットストリーム間の符号化方式変換時に、変換前の符号化パラメータを利用した、変換後の符号化パラメータ決定に際する制限の候補値などを定め、１つ若しくは複数の候補をグラフィカルユーザインターフェース（ＧＵＩ：Graphical User Interface）を介してユーザに提示することが可能となる。また、提示された候補値を基に修正するためのパラメータをフィードバックすることによって、多大な時間を要することなく、ユーザの意図に沿ったエラーの無いビットストリームを生成することが可能となる。

さらに、本発明の符号化データ生成装置を伝送路などの途中における中継器として適用することで、エラーを含む動き補償予測符号化された圧縮符号化ビットストリームにエラー訂正を施し、エラー訂正機能を持たない受信側の復号器においても、圧縮符号化ビットストリームを再生できるようにすることが可能となる。

以下、図面を参照して本発明の実施の形態について説明する。

図１は、本発明の実施の形態における符号化データ生成装置を含むシステムの接続例を示すブロック図である。図１には、ビットストリーム生成装置５００、記録装置（符号化データ生成装置）８００、再生装置７００が接続されているシステムの一例が図示されている。

図１のビットストリーム生成装置５００は、蓄積媒体５１０に蓄積されている画像情報を符号化器５２０によって符号化ビットストリームとし、送信器５３０によって伝送路１００１に送信するように構成されている。

また、記録装置８００は、ビットストリーム生成装置５００から伝送路１００１を介して送信されたビットストリームを受信器８１０でいったん受信し、エラーがある場合には修正器８２０によってビットストリームを修正し、修正されたビットストリームは蓄積媒体８３０に蓄積するように構成されている。さらに、記録装置８００は、蓄積媒体８３０に蓄積されたビットストリームを必要に応じて、送信器８４０から伝送路１００２を介して受信側の再生装置７００へ送信するように構成されている。

また、受信側である再生装置７００は、記録装置８００から伝送路１００２を介して送信されたビットストリームを受信器７１０により受信し、受信したビットストリームを復号器７２０で復号するように構成されている。

このシステムにおいて、ビットストリーム生成装置５００から伝送されるビットストリームが、何らかのエラーを持っていると仮定する。この場合、本発明による記録装置８００は、修正器８２０においてビットストリームのエラーを検出して修正し、修正後のビットストリームを蓄積媒体８３０に蓄積することによって、ビットストリーム生成装置５００から記録装置８００の間にある伝送路１００１で発生する伝送路エラーによる不正なビットストリームが、蓄積媒体８３０に記録されないようにすることが可能となる。これにより、伝送路１００１で発生したエラーが、再生装置７００に伝播してしまうことを防ぐことが可能となる。

また、図２は、本発明の実施の形態における符号化データ生成装置の修正器の構成例を示すブロック図である。なお、図２に図示されている符号化データ生成装置の修正器は、図１の記録装置８００の修正器８２０に対応するものである。

図２に図示されているように、記録装置（符号化データ生成装置）の修正器は、エラー検出部１００、復号部４００、置換情報生成部２００、ビットストリーム置換部３００を有している。図２において、まず、入力としてビットストリーム（圧縮符号化ビットストリーム）１０がエラー検出部１００に入力される。エラー検出部１００は、このビットストリームがエラーを含んでいるかどうかを検出する。そして、エラーの有無、エラーが検出された場合にはエラーの発生位置などを検出情報２０として復号部４００に出力する。また、エラー検出部１００は、入力されたビットストリーム１０をビットストリーム置換部３００に出力する。

また、復号部４００にも同様に、ビットストリーム１０が入力される。復号部４００は、このビットストリーム１０を復号し、復号時に発生するヘッダ情報などを符号化パラメータ６０として出力するとともに、復号して構成された画像を復号画像７０として出力する。なお、復号部４００から出力される符号化パラメータ６０、復号画像７０は、置換情報生成部２００に供給される。また、エラー検出部１００から復号部４００に渡された検出情報２０も置換情報生成部２００に供給される。

置換情報生成部２００は、復号部４００から供給された検出情報２０に基づいて、あらかじめ用意されたいくつかのエラー訂正方法のうちの１つを用いてエラーの訂正を行うか、若しくは、あらかじめ用意されたいくつかの符号列のうちの１つを用いてエラー発生箇所の置換を行うように構成されている。なお、入力ビットストリーム１０のエラーを訂正するためのエラー訂正方法としては、符号化パラメータ６０や復号画像７０を用いた再符号化を行うことによって置換文字列を生成してもよく、あるいは、再符号化を行わずにあらかじめ用意された置換符号列を選択してもよい。

この際、置換情報生成部２００は、外部出力４１を介してエラー訂正方法の候補や置換符号列の候補をユーザに提示するとともに、ユーザによるエラー訂正方法（あるいは、置換符号列）の選択、指示を外部入力４２を介して受けるように構成されている。そして、置換情報生成部２００は、選択されたエラー訂正方法に基づいて生成された置換文字列、及びあらかじめ用意された複数の置換符号列の中から選択された置換文字列のいずれか一方と検出情報２０とに基づいて、置換すべきビットストリーム１０の位置、範囲及び置換符号列を定め、これらの情報を置換情報３０として出力する。置換情報生成部２００から出力された置換情報３０は、ビットストリーム置換部３００に供給される。

ビットストリーム置換部３００は、エラー検出部１００から供給されるビットストリーム１０と置換情報生成部２００から供給される置換情報３０とに基づいて、エラーが検出された符号列を置換符号列に置換することによって、エラーの無いビットストリーム５０を生成して出力する。なお、図１に示す構成例の場合、ビットストリーム置換部３００から出力されたビットストリームは蓄積媒体８３０に記録される。

次に、図３を参照しながら、図２に図示されているエラー検出部１００の動作について詳細に説明する。図３は、本発明の実施の形態における符号化データ生成装置のエラー検出部の動作の一例を示すフローチャートである。なお、図３に図示されているフローチャートは、エラー検出部１００における処理に加えて、処理後に出力される情報に関しても模式的に図示されている。

図３において、エラー検出部１００は、まず、入力されるビットストリーム１０をパースしながら（ステップＳ１０）、この入力ビットストリーム１０のエラーが検出されるか否かの判定処理を行う（ステップＳ１１）。なお、エラー検出判定処理後のビットストリーム１０は、ビットストリーム置換部３００に出力される。

エラーの検出判定（ステップＳ１２）において、入力ビットストリーム１０がエラーを含んでいる場合には、エラーが存在することを示すフラグに加えて、エラーが発生したビットストリーム１０の位置情報、Reversible VLCのようにビットストリームを逆からパース可能な処理を用いた場合にはエラーが発生している範囲情報、例えばＭＰＥＧ−４ ＡＶＣの規格ではアクセスユニット単位、スライス単位、マクロブロック単位でのエラー発生や、イントラ予測、インタ予測などの符号化タイプを示す種別情報を生成し（ステップＳ１３）、検出情報２０として出力する（ステップＳ１５）。

他方、入力ビットストリーム１０がエラーを含まない場合、エラーが存在しないことを示すフラグ（エラー非存在フラグ）を生成し（ステップＳ１４）、このエラー非存在フラグを検出情報２０として出力する（ステップＳ１５）。

ステップＳ１１、ステップＳ１２では、例えば、連続していくつかのマクロブロックが欠落している場合、ピクチャサイズに対するマクロブロックの数は固定であるため、１ピクチャのパースが終わった時点で、マクロブロックの数が一致しなければエラーであると判定される。したがって、この場合の検出情報２０は、エラーの発生がマクロブロックで起きたことを示す種別情報、マクロブロックの欠落した位置情報（すなわちエラーの発生した箇所のアドレスや、Reversible VLCなどのビットストリームを逆からパース可能な処理を用いた場合には欠落したマクロブロックのアドレスの範囲情報）となる。

次に、図４を参照しながら、図２に図示されている復号部４００の動作について詳細に説明する。図４は、本発明の実施の形態における符号化データ生成装置の復号部の動作の一例を示すフローチャートである。なお、図４に図示されているフローチャートは、復号部４００における処理に加えて、処理後に出力される情報に関しても模式的に図示されている。

図４において、復号部４００は、まず、入力されるビットストリーム１０を復号する（ステップＳ４０）。このとき、復号部４００は、エラー検出部１００から受けた検出情報２０のエラー発生位置情報、範囲情報、及び種別情報から、復号画像７０を生成できるかどうかを判定する（ステップＳ４１）。エラーの発生により、復号画像７０が生成できない場合はエラーが発生している箇所に対してエラーコンシールメントする（ステップＳ４４）。エラーコンシールメントは、周辺画像の画素値を用いて欠落部分の画素を補間することによって行われる。例えば、マクロブロックに欠落が発生している場合は、マクロブロック周辺の画素値より補間を行う方法を用いてエラーコンシールメントが行われ、アクセスユニット単位で欠落している場合は、前の画像からの複製画像により補間する方法などを用いてエラーコンシールメントが行われる。そして、復号部４００は、エラーコンシールメントが行われた画像を復号画像７０として生成する（ステップＳ４３）。また、復号画像７０が生成できた場合は、置換情報生成部２００に復号画像７０を出力する。

一方、復号部４００は復号画像７０を生成するのみではなく、エラーの無い箇所においては、付加情報として、復号時に発生する符号化パラメータ６０を生成することもできる（ステップＳ４２）。復号時に発生する符号化パラメータ６０の例としては、シーケンスやピクチャのヘッダ情報や、動きベクトル、マクロブロックタイプといった再符号化の簡略化に用いることができるような情報が挙げられる。なお、復号部４００から出力される符号化パラメータ６０や復号画像７０は、置換情報生成部２００に出力される。また、図４では不図示だが、復号部４００は、エラー検出部１００から供給された検出情報２０も置換情報生成部２００に供給する動作を行う。

次に、図５を参照しながら、図２に図示されている置換情報生成部２００の動作について詳細に説明する。図５は、本発明の実施の形態における符号化データ生成装置の置換情報生成部の動作の一例を示すフローチャートである。なお、図５に図示されているフローチャートは、置換情報生成部２００における処理に加えて、処理後に出力される情報に関しても模式的に図示されている。

置換情報生成部２００は、検出情報２０に基づき、エラー訂正方法の候補を外部に出力（図２の外部出力４１に対応）することによってユーザに提示し、ユーザからの入力を待つ（ステップＳ５０）。ユーザは、この提示情報を参照しながら、キーボードやリモートコントローラなどの不図示の入力部からの入力（図２の外部入力４２に対応）を行うことによって、提示された候補の中から所望する修正方法を選択、指示する（ステップＳ５１）。なお、ステップＳ５０、ステップＳ５１における外部出力及び外部入力を用いたエラー訂正方法の候補の提示及び所望のエラー訂正方法の選択に関しては、後で具体例を挙げて説明する。

置換情報生成部２００は、符号化パラメータ６０を用いる場合は、符号化パラメータ６０に基づき再符号化パラメータを生成する（ステップＳ５２）。ここでの再符号化パラメータは、例えば復号画像７０の再符号化すべき位置若しくは範囲である。また、エラーの無い復号画像７０の再符号化を簡略化するために、ヘッダ情報、動きベクトルなどの符号化パラメータ６０を用いる場合には、復号部４００で出力された符号化パラメータ６０に基づいて、再符号化パラメータを求め、この再符号化パラメータを用いることもできる。そして、置換情報生成部２００は、再符号化パラメータを用いて入力ビットストリーム１０の復号画像７０を再符号化する（ステップＳ５３）。なお、上述した符号化パラメータ６０を用いない場合は、ステップＳ５３において、復号画像７０を用いて再符号化が行われる。

置換情報生成部２００は、以上のように再符号化したビットストリームを置換符号列とし、この置換符号列と検出情報２０とにより、置換すべき入力ビットストリーム１０の位置情報、範囲情報を含む置換情報３０を生成する（ステップＳ５４）。

なお、図５には反映されていないが、置換情報生成部２００は、再符号化を行わないように構成されていてもよい。この場合、置換情報生成部２００は、あらかじめ用意された複数の置換符号列を外部出力４１を介してユーザに提示し、ユーザが外部入力４２を介して選択、指示を行った置換符号列に基づいて置換情報３０を生成してもよい。

次に、図６〜８を参照しながら、置換情報生成部２００におけるユーザへの提示方法の一例について説明する。なお、以下に説明する動作は、図５のステップＳ５０、ステップＳ５１に対応するものである。

例えば、あるエラーに対して３通りのエラー訂正方法が適用可能であるとする。具体的には、上述と同様に、例えば、発生したエラーがＭＰＥＧ−４ ＡＶＣ符号化規格におけるMain ProfileのB-Sliceのマクロブロックの欠落である場合（図７、図８参照）、このエラーに対して、周辺マクロブロックから欠落マクロブロックデータの補間を行う方法、欠落マクロブロックをスキップマクロブロックに変換する方法、若しくは、プロファイル情報をB-Sliceを含まないBaseline ProfileとしてB-SliceをP-Sliceで置き換える方法の３通りのエラー訂正方法があるとする。

置換情報生成部２００は、エラー訂正方法の候補を外部に出力する場合（ステップＳ５０の処理）、これら３通りのエラー訂正方法に関する情報をディスプレイなどの外部出力装置を通じて視覚的に提示し、ユーザによるエラー訂正方法の選択、指示を待機する。

このとき、ディスプレイ上には、例えば、図６に図示されている情報が表示される。すなわち、図６に図示されているように、ディスプレイ上には、エラーが発生しており、このエラーの訂正を行うためのエラー訂正方法の選択を促すメッセージと共に、B-Sliceにマクロブロックの欠落が見つかったというエラーの内容、さらに、このエラーを訂正するための３通りのエラー訂正方法の候補と、いずれか１つのエラー訂正方法を選択できるようにするラジオボタンとが表示される。なお、図６に図示されている例では、ユーザによって、欠落マクロブロックをスキップマクロブロックに変換する方法が選択されている。

ユーザは、図６に図示されている表示情報を参照しながら、キーボードやリモートコントローラなどの外部入力部を用いて、これらのエラー訂正方法の候補の中から所望のエラー訂正方法を選択することが可能である。そして、このようにユーザによって選択及び入力されたエラー訂正方法に基づいて、置換情報生成部２００は、置換文字列を生成する。すなわち、図６に図示されているように、ユーザによって、欠落マクロブロックをスキップマクロブロックに変換する方法がエラー訂正方法として選択された場合には、欠落マクロブロックはスキップマクロブロックとなり、スキップマクロブロックを示すフラグが置換符号列として生成される。

なお、上述のように、置換情報生成部２００が、あらかじめ用意された複数の置換符号列のうちの１つを用いてエラー訂正を行う場合においても、図６に図示されているような表示情報によって、あらかじめ用意された複数の置換符号列のうちのいずれか１つをユーザに選択させるための視覚的な情報を提示することが可能である。

また、エラーが発生する前に、ユーザが図６に図示されているような表示情報を参照して、あらかじめデフォルトで使用される所望のエラー訂正方法を設定しておくことも可能である。

以上説明したように、動き補償予測された動画像符号化ビットストリームにエラーがある場合に、ユーザが選択したエラー訂正方法によって復号画像を用いて再符号化を行って生成された置換符号列によって、あるいは、ユーザが選択した置換符号列によってエラー発生箇所の置換を行うため、多大な時間を要することなく、ユーザの意図に沿ったビットストリームを生成することが可能となる。また、複数のエラー訂正方法や置換符号列の候補をＧＵＩを介して、例えば、ディスプレイ上に表示することによって、ユーザによる所望のエラー訂正方法や置換符号列の選択を容易にし、ユーザの利便性を向上させることが可能となる。

また、本発明の符号化データ生成装置を符号化ビットストリームの中継装置に用いた場合、受信した符号化ビットストリームにエラーが存在する場合においてもエラーを検出して修正後に蓄積媒体に保存するので、蓄積媒体から他の媒体に伝送する際に、受信時に存在しているエラーの伝播を防ぎ、エラーのないビットストリームのコピー、伝送、編集や、エラーコンシールメント機能を持たない復号器での再生が可能となる。また、本発明の符号化データ生成装置によれば、エラー訂正情報を入力ビットストリームからあらかじめ用意する必要がなく、蓄積系ではエラーコンシールメント用のデータ蓄積を必要とせずにエラー訂正が可能となる。

なお、上述の実施の形態では、各装置の機能がブロックによって図示されているが、これらの各機能はハードウェア及び／又はソフトウェアによって実現可能である。また、上述の説明で用いた各フローチャートの処理は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）に所定のプログラムを実行させることによって実現することも可能である。

本発明は、符号化パラメータを利用できるようなビットストリーム間の符号化方式変換時に、変換前の符号化パラメータを利用した、変換後の符号化パラメータ決定に際する制限の候補値などを定め、１つ若しくは複数の候補をＧＵＩを介してユーザに提示可能とするとともに、提示された候補値を基に修正するためのパラメータをフィードバックすることによって、多大な時間を要することなく、ユーザの意図に沿ったエラーの無いビットストリームを生成可能とするという効果を有しており、動き補償予測を用いて符号化された符号化データのエラーを訂正して、エラーの無い符号化データを生成する符号化データ処理技術に適用可能である。

本発明の実施の形態における符号化データ生成装置を含むシステムの接続例を示すブロック図である。 本発明の実施の形態における符号化データ生成装置の修正器の構成例を示すブロック図である。 本発明の実施の形態における符号化データ生成装置のエラー検出部の動作の一例を示すフローチャートである。 本発明の実施の形態における符号化データ生成装置の復号部の動作の一例を示すフローチャートである。 本発明の実施の形態における符号化データ生成装置の置換情報生成部の動作の一例を示すフローチャートである。 本発明の実施の形態において、ユーザにエラー訂正方法を選択させるためにディスプレイ上に表示される表示情報の一例を示す図である。 従来の技術において、ＭＰＥＧ−４ ＡＶＣ符号化規格におけるMain Profileのビットストリームの一例を示す図である。 従来の技術において、表示画面内におけるマクロブロックの欠落の一例を示す図である。

符号の説明

１００ エラー検出部
２００ 置換情報生成部
３００ ビットストリーム置換部
４００ 復号部
５００ ビットストリーム生成装置
５１０、８３０ 蓄積媒体
５２０ 符号化器
５３０、８４０ 送信器
７００ 再生装置
７１０、８１０ 受信器
７２０ 復号器
８００ 記録装置
８２０ 修正器
１００１、１００２ 伝送路

Claims (2)

1. 動き補償予測を用いて符号化された符号化データが入力され、その入力された符号化データにシンタックスのエラーが存在するか否かを検出して、前記エラーの存在情報、前記エラーが存在する位置を示す第１の位置情報、前記エラーが存在する範囲を示す第１の範囲情報、及び前記エラーが存在する位置での符号化タイプを示す種別情報のうちの少なくとも１つ以上をエラー検出情報として出力するエラー検出部と、
   前記エラー検出情報に基づいて、前記エラーの存在を通知する情報と前記エラーを訂正するための置換符号列を示す情報とを所定の表示画面に表示するための表示情報を出力する外部出力部と、
   前記所定の表示画面に表示された前記置換符号列の中から選択された１つの置換符号列が外部から指示され、その指示入力に応じた選択信号を出力する外部入力部と、
   前記外部入力部に指示された置換符号列を示す前記選択信号と前記エラー検出情報とに基づいて、前記符号化データの置換すべき位置を示す第２の位置情報と前記符号化データの置換すべき範囲を示す第２の範囲情報とを作成し、前記作成された第２の位置情報及び第２の範囲情報に前記選択された置換符号列を加えた置換情報を生成する置換情報生成部と、
   前記置換情報生成部で生成された前記置換情報に基づき、前記符号化データを、前記検出されたエラーを訂正した符号化データに置換する置換部とを、
   有する符号化データ生成装置。
2. 動き補償予測を用いて符号化された符号化データが入力され、その入力された符号化データにシンタックスのエラーが存在するか否かを検出して、前記エラーの存在情報、前記エラーが存在する位置を示す第１の位置情報、前記エラーが存在する範囲を示す第１の範囲情報、及び前記エラーが存在する位置での符号化タイプを示す種別情報のうちの少なくとも１つ以上をエラー検出情報として出力するエラー検出部と、
   前記エラー検出情報に基づいて前記符号化データを復号して復号画像を生成する復号部と、
   前記エラー検出情報に基づいて、前記エラーの存在を通知する情報と前記エラーを訂正するためのエラー訂正方法を示す情報とを所定の表示画面に表示するための表示情報を出力する外部出力部と、
   前記所定の表示画面に表示された前記エラー訂正方法の中から選択された１つのエラー訂正方法が外部から指示され、その指示入力に応じた選択信号を出力する外部入力部と、
   前記外部入力部に指示されたエラー訂正方法を示す前記選択信号と前記エラー検出情報とに基づいて前記復号画像を再符号化して置換符号列を生成し、前記生成された置換符号列と前記エラー検出情報とに基づいて前記符号化データの置換すべき位置を示す第２の位置情報と前記符号化データの置換すべき範囲を示す第２の範囲情報とを作成し、前記作成された第２の位置情報及び第２の範囲情報に前記選択された置換符号列を加えた置換情報を生成する置換情報生成部と、
   前記置換情報生成部で生成された前記置換情報に基づき、前記符号化データを、前記検出されたエラーを訂正した符号化データに置換する置換部とを、
   有する符号化データ生成装置。
   

Images