JP2006262016A - エラー訂正装置 - Google Patents

Abstract

【課題】 符号化データのセマンティクスエラーを検出して訂正する。
【解決手段】 検出部１００は符号化データ上のセマンティクスエラーの存在情報、セマンティクスエラーが存在する位置を示す第１の位置情報、セマンティクスエラーが存在する範囲を示す第１の範囲情報及びセマンティクスエラーが存在する位置での符号化タイプを示す第１の種別情報の１つ以上をセマンティクスエラー検出情報として出力し、生成部２００はセマンティクスエラー検出情報に基づきあらかじめ用意した１つ以上の符号列の中から１つ以上の置換符号列を選択し、選択された置換符号列とセマンティクスエラー検出情報に基づいて符号化データの置換すべき位置を示す第２の位置情報と符号化データの置換すべき範囲を示す第２の範囲情報を作成し、作成された第２の位置情報及び第２の範囲情報に選択された置換符号列を加えた置換情報を生成し、置換部３００は置換情報に基づき符号化データを、セマンティクスエラーを訂正した符号化データに置換する。
【選択図】 図１

Description

本発明は、動き補償予測を用いて符号化された符号化データのエラーを検出して訂正するエラー訂正装置に関し、特に圧縮符号化データのセマンティクス（コンテンツ意味内容記述ツール）のエラーを修正し、セマンティクスエラーの無い圧縮符号化データを生成するエラー訂正装置に関する。

動画像信号を伝送若しくは蓄積する場合、効率化のため圧縮符号化されたビットストリームとすることが多い。動画像の圧縮符号化方式としてＭＰＥＧ（Moving Picture Experts Group）のＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４（以下ＭＰＥＧなど）の方式が標準化され、広く用いられている。したがって、動画像信号をＭＰＥＧなどの方式で圧縮し、ビットストリームとして扱うことは、伝送系若しくは蓄積系の効率的な利用において非常に重要である。

上記のような圧縮を伴った符号化規格で圧縮符号化された圧縮符号化データにおいて、セマンティクスエラーが発生すると、圧縮符号化データを正しく符号化することは一般的にできない。また、セマンティクスエラーによっては復号装置に致命的な破綻が起きることもある。セマンティクスエラーとは圧縮符号化データのパース（シンタックス要素を分解すること）において起きるエラーではなく、パースして得られた値が規格で定められている制限事項に違反しているために起きるエラーである。例えば、動画像圧縮符号化規格の１つであるＭＰＥＧでは、あるシンタックスエレメントの値が固定値に定義されているにもかかわらず、その固定値になっていないようなセマンティクスエラーがある。また、最新の動画像圧縮符号化規格であるＭＰＥＧ−４ ＡＶＣでは、プロファイル、レベルによって制限事項が細かく規定されている。そのため、ベースラインプロファイル・レベル２では規格準拠となる圧縮符号化データがベースラインプロファイル・レベル３では規格違反となるようなセマンティクスエラーもある。

セマンティクスエラーは圧縮符号化装置、符号化変換装置において誤った解釈によって符号化された場合に起きる可能性があり、圧縮符号化データの蓄積、伝送、取得過程において発生する場合もある。また、動画像圧縮符号化規格のプロファイル、レベルなどに精通していないユーザが多くの機種の間でデータの相互運用を行う場合に誤った使用をすることでセマンティクスエラーが発生する可能性も高い。また、セマンティクスエラーではないが、システムの運用上で符号化の規格に制限を加える必要がある場合もある。システム上でこのような所定の符号化条件を満たさないエラーは、該当するシステムではビットストリームを取り扱うことができない。

上述したようなセマンティクスエラーが発生した場合の処理方法として、エラーコンシールメントと呼ばれる処理がなされる。復号化装置におけるエラーコンシールメント処理として最も簡単な方法は、セマンティクスエラーで失われたデータブロックに相当する復号化データを既に復号化済みの復号化データによって補間する方法がある。ＭＰＥＧなどでは、エラーコンシールメントで失われたデータブロックに相当する画素を空間的に隣接する画素によって補間する方法や、時間的に直前の画像の同一位置に相当する画素によって補間する方法がある。

また、下記の特許文献１に記載のディジタル画像復号装置及びディジタル画像復号方法では、動きベクトルを利用して補間する画素の精度を高めている。また、圧縮符号化データを送出する装置におけるエラーコンシールメントの例として、下記の特許文献２に記載の映像送出装置がある。特許文献２では、記録装置中に圧縮符号化データを記録するとともに、圧縮符号化データよりも高圧縮した高圧縮符号化データを作成し、記録装置中に記録しておくことで、圧縮符号化データを送出中に、あるデータブロックにおいてエラーを検出した場合には、エラーによって失われたデータブロックを、高圧縮符号化データを復号化し、再符号化して得られたデータブロックに置き換えて、置き換えた結果得られた圧縮符号化データを送出することでエラーコンシールメントを実現している。さらに、圧縮符号化データを置換するエラーコンシールメントの例として、下記の特許文献３に記載のファクシミリのエラー置換回路がある。特許文献３の回路では、実時間上で符号化変換を必要とするようなファクシミリ装置において、符号化直後の正常な１ライン分の符号化情報を一時蓄積できるような符号バッファにより、符号エラーを検出したときに、バッファにある正常な１ライン分の符号化情報を出力することによってコンシールメントするものである。
特開平９−１８２０７６号公報（要約書） 特開平７−２３５１４３号公報（要約書） 特開昭６３−２９２８７３号公報（特許請求の範囲）

しかしながら、以上に述べた、エラーコンシールメント技術を用いたシステム若しくは装置において、次のような課題がある。
圧縮符号化データの符号化データ送出装置における課題として、特許文献１のように復号化装置においてエラーコンシールメント処理を行う場合、符号化データ送出装置は復号化装置がエラーコンシールメント能力を有することを前提として圧縮符号化データを供給する。そのため、復号化装置にエラーコンシールメント能力がない場合、セマンティクスエラーの含まれる圧縮符号化データが復号化装置に供給された場合に、符号化データ再生装置ではシステムエラーなどの致命的な破綻が起きる可能性があった。

また、エラーコンシールメント機能を持つ復号化装置に対してセマンティクスエラーの含まれる圧縮符号化データを供給した場合に、復号化装置固有のエラーコンシールメント処理がなされ、符号化データ送出装置として意図しない再生画像が出力される可能性があった。特許文献２のように高圧縮符号化データを利用してエラーコンシールメント処理を行う場合の課題として、高圧縮符号化データをあらかじめ記録装置に記録しておく必要があり、より大きな記憶領域を必要とするという課題があった。特許文献３におけるファクシミリのエラー置換回路では、コンシールメント用の符号化情報として直前の正常な１ライン分を記憶するが、動き補償予測符号化を用いる動画像の圧縮符号化ビットストリームにおいては、直前の符号化情報だけでコンシールメントすると、再生画像の画質が大きく劣化する。

本発明は上記従来例の問題点に鑑み、符号化データのセマンティクスエラーを検出して訂正することができるエラー訂正装置を提供することを目的とする。

本発明は上記目的を達成するために、動き補償予測を用いて符号化された符号化データのエラーを検出して訂正するエラー訂正装置であって、
前記符号化データにセマンティクスエラーが存在するか否かを検出して、前記セマンティクスエラーの存在情報、前記セマンティクスエラーが存在する位置を示す第１の位置情報、前記セマンティクスエラーが存在する範囲を示す第１の範囲情報、及び前記セマンティクスエラーが存在する位置での符号化タイプを示す第１の種別情報のうち少なくとも１つ以上をセマンティクスエラー検出情報として出力するセマンティクスエラー検出部と、
前記セマンティクスエラー検出情報に基づき、あらかじめ用意した１つ以上の符号列の中から１つ以上の置換符号列を選択し、前記選択された置換符号列と前記セマンティクスエラー検出情報に基づいて前記符号化データの置換すべき位置を示す第２の位置情報と前記符号化データの置換すべき範囲を示す第２の範囲情報を作成し、前記作成された第２の位置情報及び第２の範囲情報に前記選択された置換符号列を加えた置換情報を生成する置換情報生成部と、
前記置換情報生成部の前記置換情報に基づき、前記符号化データを、セマンティクスエラーを訂正した符号化データに置換する置換部とを備えた。

また、本発明は上記目的を達成するために、動き補償予測を用いて符号化された符号化データのエラーを検出して訂正するエラー訂正装置であって、
前記符号化データにセマンティクスエラーが存在するか否かを検出して、前記セマンティクスエラーの存在情報、前記セマンティクスエラーが存在する位置を示す第１の位置情報、前記セマンティクスエラーが存在する範囲を示す第１の範囲情報、及び前記セマンティクスエラーが存在する位置での符号化タイプを示す第１の種別情報のうち少なくとも１つ以上をセマンティクスエラー検出情報として出力するセマンティクスエラー検出部と、
前記セマンティクスエラー検出情報に基づき、前記符号化データを復号して復号画像を生成する復号部と、
前記セマンティクスエラー検出情報に基づき前記復号画像を再符号化して置換符号列を生成し、前記生成された置換符号列と前記セマンティクス検出情報に基づいて前記符号化データの置換すべき位置を示す第２の位置情報と前記符号化データの置換すべき範囲を示す第２の範囲情報を作成し、前記作成された第２の位置情報及び第２の範囲情報に前記選択された置換符号列を加えた置換情報を生成する置換情報生成部と、
前記置換情報生成部の前記置換情報に基づき、前記符号化データを、セマンティクスエラーを訂正した符号化データに置換する置換部とを備えた。

また、前記セマンティクスエラー検出部は、符号化データに所定の符号化条件を満足しないエラーが存在するかを検出し、前記所定の符号化条件を満足しないエラーの存在情報、前記所定の符号化条件を満足しないエラーが存在する位置を示す位置情報、前記所定の符号化条件を満足しないエラーが存在する範囲を示す範囲情報、及び前記所定の符号化条件を満足しないエラーが存在する位置での符号化タイプを示す種別情報のうち少なくとも１つ以上をセマンティクスエラー検出情報として出力することを特徴とする。

本発明によれば、符号化データのセマンティクスエラーを検出して訂正することができる。このため、エラーコンシールメント能力を備えていない廉価な復号化装置を利用して符号化データ送出装置を構成した場合でも、復号化装置において致命的な破綻が起きることがない。また、圧縮符号化データのセマンティクスエラーを修正するために必要となる高圧縮符号化データを記録するための記録装置が不要になる。また、エラーコンシールメント機能を持つ復号化装置に対して圧縮符号化データを送出した場合に、復号化装置において復号化装置固有のエラーコンシールメント処理がなされ、符号化データ送出装置として意図しない再生画像が出力されるのを防ぐことができる。また、あらかじめエラーを置換するための符号列を用意しておくことで、エラーコンシールメントするために復号画像を再符号化する場合に比べ、高速なエラーコンシールメント処理を実現できる。

以下、図面を参照して本発明の実施の形態について説明する。
＜第１の実施の形態＞
図１は本発明に係るエラー訂正装置の第１の実施の形態として符号化データ送出／記録装置を示すブロック図である。本実施の形態では、圧縮符号化ビットストリームを単にビットストリームと呼ぶ。図１に示すとおり、本実施の形態における符号化データ送出／記録装置は、ビットストリーム取得部１１０、セマンティクスエラー検出部１００、置換情報生成部２００、ビットストリーム置換部３００及びビットストリーム記録部１２０から構成される。ハードディスクドライブ（ＨＤＤ）１００１内のハードディスクには、任意の数の音声ビットストリーム、動画像ビットストリーム、テキストビットストリームなどがマルチメディア符号化データとして記録されている。本実施の形態では記録媒体としてハードディスクを用いたが、ハードディスクに限定されるわけではなく、磁気テープ、光ディスクや半導体メモリなどでもよい。本実施の形態では、ある１つの動画像ビットストリームに対してセマンティクスエラーの修正を行う場合について説明する。

図２は本実施の形態に係る符号化データ送出／記録装置の全体的な動作を説明するフローチャートである。本実施の形態における符号化データ送出／記録装置の全体的な動作について、図１と共に図２を用いて説明する。ビットストリーム取得部１１０はＨＤＤ１００１内のハードディスクから端子５１を経由してマルチメディア符号化データを読み出し、マルチメディア符号化データから動画像ビットストリームを取得し、取得した動画像ビットストリームをセマンティクスエラー検出部１００にビットストリーム１０として送る（ステップＳ１０００）。

セマンティクスエラー検出部１００はビットストリーム１０についてセマンティクスエラー検出情報（以下、単に検出情報）２０を作成し、検出情報２０を置換情報生成部２００に送るとともに、ビットストリーム置換部３００にビットストリーム１０を送る（ステップＳ２０００）。置換情報生成部２００は、検出情報２０を用いてセマンティクスエラーのあるビットストリーム１０をセマンティクスエラーのないビットストリームに置換するための情報（以下、単に置換情報）３０を生成し、置換情報３０をビットストリーム置換部３００に送る（ステップＳ３０００）。ビットストリーム置換部３００は、置換情報３０を用いてビットストリーム１０を置換ビットストリーム５０に置換し、置換ビットストリーム５０を端子５２及びビットストリーム記録部１２０に送る（ステップＳ４０００）。ビットストリーム記録部１２０は、置換動画像ビットストリーム５０を端子５３からハードディスクに記録する（ステップＳ５０００）。

次に本実施の形態における符号化データ送出／記録装置の構成要素のそれぞれについて説明する。まずビットストリーム取得部１１０の動作について説明する。ビットストリーム取得部１１０は、ハードディスク１００１から入力端子５１を経由してマルチメディア符号化データを読み出し、マルチメディア符号化データを分離した後、セマンティクスエラー修正の対象となる動画像ビットストリーム１０をセマンティクスエラー検出部１００に送る。

続いてセマンティクスエラー検出部１００について説明する。セマンティクスエラー検出部１００のフローチャートを図３に示し、動作について述べる（ステップＳ１０〜Ｓ１５）。セマンティクスエラー検出部１００は、まず、ビットストリーム１０をパースし（ステップＳ１０）、パースしながらビットストリームのセマンティクスエラーを検出する（ステップＳ１１）。セマンティクスエラーの検出判定（ステップＳ１２）において、入力ビットストリーム１０がセマンティクスエラーを含んでいる場合、セマンティクスエラーが存在することを示すフラグと、セマンティクスエラーの発生したビットストリーム１０の位置情報、Reversible VLCのようにビットストリームを逆からパース可能な処理を用いた場合にはセマンティクスエラーの発生している範囲情報、例えばＭＰＥＧ−４ ＡＶＣの規格ではアクセスユニット単位、スライス単位、マクロブロック単位でのセマンティクスエラー発生や、イントラ、インターなどの符号化タイプを示す種別情報を生成し（ステップＳ１３）、検出情報２０として出力する（ステップＳ１５）。他方、入力ビットストリーム１０がセマンティクスエラーを含まない場合、セマンティクスエラーが存在しないことを示すフラグを生成し（ステップＳ１４）、検出情報２０として出力する（ステップＳ１５）。

例えば、ＭＰＥＧ−４ ＡＶＣの符号化方式において、B-Sliceを含むストリームのシーケンスパラメータセットのプロファイル値がBaseline Profileを示す値となっている場合はセマンティクスエラーとなり、シーケンスパラメータセットの単位が種別情報となり、シーケンスパラメータセットの存在するアドレスが位置情報となる。

置換情報生成部２００について説明する。置換情報生成部２００のフローチャートを図４に示し、動作について述べる（ステップＳ２０〜Ｓ２１）。置換情報生成部２００は、検出情報２０より、入力ビットストリーム１０において発生しているセマンティクスエラーの種別、位置から、あらかじめ用意した符号列の中から置換に用いる符号列を選択する（ステップＳ２０）。選択された符号列と、検出情報２０を基に、入力ビットストリーム１０の置換すべき位置、範囲を決定し、選択された符号列と合わせて、置換情報３０として生成する（ステップＳ２１）。

例えば、ＭＰＥＧ−４ ＡＶＣの符号化方式において、B-Sliceを含むストリームのシーケンスパラメータセットのプロファイル値がBaseline Profileを示す値となっている場合は、置換符号列としてプロファイル値におけるMain Profileを示す値を選択し、置換情報３０の置換符号列とする。また、入力ビットストリーム１０の符号量と一致させるために、置換情報３０の置換符号列にスタッフィングバイトを付加することもできる。ここで、置換符号列の選択において、外部入力４０によって置換符号列を選択してもよい。このようにして外部入力４０を符号化データ送出／記録装置で制御することで、独自のエラーコンシールメント機能を持つビットストリームを端子５２を介して出力した場合でも、符号化データ送出／記録装置として意図しない再生画像が出力されるのを防ぐことができる。

ビットストリーム置換部３００について説明する。ビットストリーム置換部３００は、上述したように生成された置換情報３０を用いて、入力ビットストリーム１０の置換すべき箇所を、置換情報３０の置換符号列によって置き換えることで、セマンティクスエラーの無い置換ビットストリーム５０を生成する。入力ビットストリーム１０を実際に置換符号列に置き換えた場合には置換処理情報８０をビットストリーム記録部１２０に送る。

ビットストリーム記録部１２０について説明する。ビットストリーム記録部１２０は、ビットストリーム置換部３００から置換処理情報８０が送られてきた場合には、端子５３を経由してＨＤＤ１００１内のハードディスクに置換ビットストリーム５０を記録する。ビットストリーム置換部３００から置換処理情報８０が送られなかった場合には何もしない。

以上で説明したように、本実施の形態によれば、エラーコンシールメント能力を備えていない廉価な復号化装置において致命的な破綻が起きることがない。また、あらかじめ用意された置換符号列を記録するための記憶領域が必要となるが、置換符号列よりもはるかに記憶領域を必要とする高圧縮符号化データを記録するための記録装置が不要になる。また、本実施の形態では、動き補償予測された動画像符号化ビットストリームにセマンティクスエラーがある場合に、あらかじめエラーを置換するための符号列を用意しておくことで、エラーコンシールメントするために復号画像を再符号化する場合に比べ、高速なエラーコンシールメント処理を実現できる。また、単に直前の正常な符号列をコンシールメント用の符号列として用いる場合に比べ、再生画像の画質を向上させることができる。

＜第２の実施の形態＞
図５は本発明に係るエラー訂正装置の第２の実施の形態として符号化データ送出／記録装置の構成を示す。本実施の形態でも圧縮符号化ビットストリームを単にビットストリームと呼ぶ。図５に示すとおり、本実施の形態における符号化データ送出／記録装置は、ビットストリーム取得部１１０、セマンティクスエラー検出部１００、復号部４００、置換情報生成部２００、ビットストリーム置換部３００及びビットストリーム記録部１２０から構成される。ＨＤＤ１００１内のハードディスクにはそれぞれ任意の数の音声ビットストリーム、動画像ビットストリーム、テキストビットストリームなどがマルチメディア符号化データとして記録されている。本実施の形態でも記録媒体としてハードディスクを用いたが、ハードディスクに限定されるわけではなく、磁気テープ、光ディスクや半導体メモリなどでもよい。本実施の形態でもある１つの動画像ビットストリームに対してセマンティクスエラーの修正を行う場合について説明する。

図６は本実施の形態に係る符号化データ送出／記録装置の全体的な動作を説明するフローチャートである。本実施の形態における符号化データ送出／記録装置の全体的な動作について、図５と共に図６を用いて説明する。ビットストリーム取得部１１０はハードディスク１００１から端子５１を経由してマルチメディア符号化データを読み出し、マルチメディア符号化データから動画像ビットストリームを取得し、取得した動画像ビットストリームをセマンティクスエラー検出部１００と復号部４００にビットストリーム１０として送る（ステップＳ１０００）。セマンティクスエラー検出部１００はビットストリーム１０について検出情報２０を作成し、検出情報２０を置換情報生成部２００に送るとともに、ビットストリーム置換部３００にビットストリーム１０を送る（ステップＳ２０００）。

一方、復号部４００は入力ビットストリーム１０を復号し、復号時に発生するヘッダ情報などの符号化パラメータ６０と、復号して構成された画像を復号画像７０として置換情報生成部２００に送る（ステップＳ６０００）。置換情報生成部２００は、検出情報２０、符号化パラメータ６０及び復号画像７０を用いて置換情報３０を作成し、置換情報３０をビットストリーム置換部３００に送る（ステップＳ３０００）。ビットストリーム置換部３００は、置換情報３０を用いてビットストリーム１０を置換ビットストリーム５０に置換し、置換ビットストリーム５０を端子５２及びビットストリーム記録部１２０に送る（ステップＳ４０００）。ビットストリーム記録部１２０は、置換ビットストリーム５０を端子５３からハードディスク１００１に記録する（ステップＳ５０００）。

次に本実施の形態における符号化データ送出／記録装置の構成要素のそれぞれについて説明する。セマンティクスエラー検出部１００の動作は第１の実施の形態と同じである。例えば、動きベクトルが符号化方式のレベルで制限されている値を超えている場合には、動きベクトルの単位が種別情報となり、この動きベクトルが存在するマクロブロックアドレスが位置情報となる。

復号部４００のフローチャートを図７に示し、動作について述べる（ステップＳ４０〜Ｓ４３）。復号部４００はビットストリーム１０を復号する（ステップＳ４０）。このとき、検出情報２０のエラー発生位置情報、範囲情報、及び種別情報から復号画像７０を生成できるかどうかを判定する（ステップＳ４１）。セマンティクスエラーの発生により、復号画像７０が生成できない場合はエラー発生している箇所に対してエラーコンシールメントする（ステップＳ４４）。エラーコンシールメントは、周辺画像の画素値を用いることによって、欠落部分の画素を補間することによって行う。例えば、マクロブロックに欠落が発生している場合は、マクロブロック周辺の画素値より補間する、若しくは、アクセスユニット単位で欠落している場合は、前の画像からの複製画像により補間する、などといった方法を用いてエラーコンシールメントを行う。エラーコンシールメントを行った画像を復号画像７０として生成する（ステップＳ４３）。また、復号画像７０が生成できる場合は復号画像７０を出力する（ステップＳ４３）。

例えば、動きベクトルが符号化方式のレベルで制限されている値を超えている場合には、この動きベクトルの存在するマクロブロックの復号画像は画質が悪化している可能性があるため、復号せずに、周辺画素値より補間する。動きベクトルは制限されている値を超えないように再計算し、求めた動きベクトルより再符号化する。また、復号部４００は復号画像のみではなく、セマンティクスエラーの無い箇所においては、付加情報として、復号時に発生する符号化パラメータ６０を出力することもできる（ステップＳ４２）。復号時に発生する符号化パラメータ６０の例としては、シーケンスやピクチャのヘッダ情報や、動きベクトル、マクロブロックタイプといった再符号化の簡略化に用いることができるような情報が挙げられる。

続いて、置換情報生成部２００のフローチャートを図８に示し、動作について述べる（ステップＳ５０〜Ｓ５２）。置換情報生成部２００は、検出情報２０に基づき、上述した符号化パラメータ６０を用いない場合は、復号画像７０を用いて再符号化を行う（ステップＳ５１）。符号化パラメータ６０を用いる場合は、検出情報２０と符号化パラメータ６０に基づき再符号化パラメータを生成する（ステップＳ５０）。ここでの再符号化パラメータは、復号画像７０の再符号化すべき位置若しくは範囲である。また、セマンティクスエラーの無い復号画像の再符号化を簡略化するために、ヘッダ情報、動きベクトルなどの符号化パラメータ６０を用いる場合に、復号部４００で出力された符号化パラメータに基づいて、再符号化パラメータを求めて用いることもできる。再符号化パラメータを用いて入力ビットストリーム１０の復号画像７０を再符号化する（ステップＳ５１）。ここで、再符号化パラメータは外部入力４０によって決められてもよい。以上のように、再符号化されたビットストリームを置換符号列とし、この置換符号列と検出情報２０より、置換すべき入力ビットストリーム１０の位置情報、範囲情報を含む置換情報３０を生成する（ステップＳ５２）。ビットストリーム置換部３００、ビットストリーム記録部１２０の動作は第１の実施の形態と同じである。

以上で説明したように、本実施の形態では、動き補償予測された動画像符号化ビットストリームにセマンティクスエラーがある場合に、復号画像７０を用いて再符号化を行うため、セマンティクスエラーが発生した部分の動き補償予測の再計算が可能である。したがって、置換符号列をあらかじめ用意しておく方式や、単に直前の正常な符号列をコピーすることでエラーコンシールメントを行うような方式に比べ、エラーコンシールメント後のビットストリームの再生画像において画質を向上させることが可能である。

＜第３の実施の形態＞
図９は本発明に係るエラー訂正装置の第３の実施の形態として符号化データ再生装置の構成を示す。図９に示すとおり、本実施の形態における符号化データ再生装置は、ビットストリーム取得部１１０、セマンティクスエラー検出部１００、置換情報生成部２００、ビットストリーム置換部３００及びビットストリーム復号部１２１から構成される。光ディスク１０００にはそれぞれ任意の数の音声ビットストリーム、動画像ビットストリーム、テキストビットストリームなどがマルチメディア符号化データとして記録されている。本実施の形態では記録媒体として光ディスク１０００を用いたが、光ディスクに限定されるわけではなく、磁気テープ、ＨＤＤや半導体メモリなどでもよい。本実施の形態でも、ある１つの動画像ビットストリームに対してセマンティクスエラーの修正を行う場合について説明する。

図１０は本実施の形態に係る符号化データ再生装置の全体的な動作を説明するフローチャートである。本実施の形態における符号化データ再生装置の全体的な動作について、図９と共に図１０を用いて説明する。ビットストリーム取得部１１０は光ディスク１０００から端子５１を経由してマルチメディア符号化データを読み出し、マルチメディア符号化データから動画像ビットストリームを取得し、取得した動画像ビットストリームをセマンティクスエラー検出部１００にビットストリーム１０として送る （ステップＳ１０００）。セマンティクスエラー検出部１００はビットストリーム１０について検出情報２０を作成し、検出情報２０を置換情報生成部２００に送るとともに、ビットストリーム置換部３００にビットストリーム１０を送る（ステップＳ２０００）。置換情報生成部２００は、検出情報２０を用いて置換情報３０を作成し、置換情報３０をビットストリーム置換部３００に送る（ステップＳ３０００）。ビットストリーム置換部３００は、置換情報３０を用いてビットストリーム１０を置換して置換ビットストリーム５０を作成し、置換ビットストリーム５０をビットストリーム復号部１２１に送る（ステップＳ４０００）。ビットストリーム復号部１２１は、置換ビットストリーム５０を復号化し、再生画像を端子５２から出力する（ステップＳ５００１）。

＜第４の実施の形態＞
図１１は本発明に係るエラー訂正装置の第４の実施の形態として符号化データ再生装置の構成を示す。図１１に示すとおり、本実施の形態における符号化データ再生装置は、ビットストリーム取得部１１０、セマンティクスエラー検出部１００、復号部４００、置換情報生成部２００、ビットストリーム置換部３００及びビットストリーム復号部１２１から構成される。光ディスク１０００にはそれぞれ任意の数の音声ビットストリーム、動画像ビットストリーム、テキストビットストリームなどがマルチメディア符号化データとして記録されている。本実施の形態では記録媒体として光ディスクを用いたが、光ディスクに限定されるわけではなく、磁気テープ、ＨＤＤや半導体メモリなどでもよい。ある１つの動画像ビットストリームに対してセマンティクスエラーの修正を行う場合について説明する。

図１２は本実施の形態に係る符号化データ再生装置の全体的な動作を説明するフローチャートである。全体的な動作について、図１１と共に図１２を用いて説明する。ビットストリーム取得部１１０は光ディスク１０００から端子５１を経由してマルチメディア符号化データを読み出し、マルチメディア符号化データから動画像ビットストリームを取得し、取得した動画像ビットストリームをセマンティクスエラー検出部１００と復号部４００にビットストリーム１０として送る（ステップＳ１０００）。セマンティクスエラー検出部１００はビットストリーム１０について検出情報２０を作成し、検出情報２０を置換情報生成部２００に送るとともに、ビットストリーム置換部３００にビットストリーム１０を送る（ステップＳ２０００）。

一方、復号部４００は入力ビットストリーム１０を復号し、復号時に発生するヘッダ情報などの符号化パラメータ６０と、復号して構成された画像を復号画像７０として置換情報生成部２００に送る（ステップＳ６０００）。置換情報生成部２００は、検出情報２０、符号化パラメータ６０及び復号画像７０を用いて置換情報３０を作成し、置換情報３０をビットストリーム置換部３００に送る（ステップＳ３０００）。ビットストリーム置換部３００は、置換情報３０を用いてビットストリーム１０を置換して置換ビットストリーム５０を作成し、置換ビットストリーム５０をビットストリーム復号部１２１に送る（ステップＳ４０００）。ビットストリーム復号部１２１は、置換動画像ビットストリーム５０を復号化し、再生画像を端子５２から出力する（ステップＳ５００１）。

＜第５の実施の形態＞
第５の実施の形態では、第１〜第４の実施の形態におけるセマンティクスエラー検出において、例えば、システム運用上で、標準化された符号化規格の符号化条件に制限を加える場合に適用される。例えばセマンティクスエラー検出部１００は、制限セマンティクスエラー検出部として動作し、入力となるビットストリームに対してあるシステムの制限事項を満足するかどうかを検出する。満足しない場合は第１の実施の形態と同様の検出情報２０を出力する。以下の動作については、セマンティクスエラーを所定の符号化条件を満足しないエラーと読み替えて、第１〜第４の実施の形態と同様の動作を行う。

本実施の形態では、標準化されている符号化方式を満足していても、運用上の理由で、符号化方式の制限にさらに細かい制限を加えた、規格を満たさないエラーを持つビットストリームを修正することできる。例えば、ＭＰＥＧ−２の規格は満たすが、あるシステムで制限されているＭＰＥＧ−２ビットストリームの予約ビット値を満たさないようなビットストリームは、該当するシステムで取り扱うことができないが、本実施の形態によれば、該当するシステムの制限事項を満足するようにビットストリーム内の予約ビット値を修正するため、該当するシステムで取り扱うことができるビットストリームを生成することが可能である。

また、例えばＭＰＥＧ−２の規格を満たすOpen GOPで符号化されたビットストリームがあるとする。あるシステムでは制限されているＭＰＥＧ−２ビットストリームはClosed GOPで符号化されていなければならないという制限事項があるとする。この場合、該当するシステムの復号器で再生することはできないが、本実施の形態によれば、該当するシステムの制限事項を満足するように、ＭＰＥＧ−２のGOPに符号化順においてI-pictureの直後にある最初のB-pictureを双方向予測から、片方向予測に変更して再符号化する。このようにして生成されたビットストリームはClosed GOPを満足するため、該当するシステムの復号器で再生することができるビットストリームを生成することが可能である。

本発明に係るエラー訂正装置の第１の実施の形態として符号化データ送出／記録装置を示すブロック図である。 図１の符号化データ送出／記録装置の全体的な動作を説明するフローチャートである。 図１のセマンティクスエラー検出部の処理を示すフローチャートである。 図１の置換情報生成部の処理を示すフローチャートである。 本発明に係るエラー訂正装置の第２の実施の形態として符号化データ送出／記録装置を示すブロック図である。 図５の符号化データ送出／記録装置の全体的な動作を説明するフローチャートである。 図５の復号部の処理を示すフローチャートである。 図５の置換情報生成部の処理を示すフローチャートである。 本発明に係るエラー訂正装置の第３の実施の形態として符号化データ再生装置を示すブロック図である。 図９の符号化データ再生装置の全体的な動作を説明するフローチャートである。 本発明に係るエラー訂正装置の第４の実施の形態として符号化データ再生装置を示すブロック図である。 図１１の符号化データ再生装置の全体的な動作を説明するフローチャートである。

符号の説明

１００ セマンティクスエラー検出部
１１０ ビットストリーム取得部
１２０ ビットストリーム記録部
１２１ ビットストリーム復号部
２００ 置換情報生成部
３００ ビットストリーム置換部
４００ 復号部
１０００ 光ディスク
１００１ ＨＤＤ

Claims (3)

1. 動き補償予測を用いて符号化された符号化データのエラーを検出して訂正するエラー訂正装置であって、
   前記符号化データにセマンティクスエラーが存在するか否かを検出して、前記セマンティクスエラーの存在情報、前記セマンティクスエラーが存在する位置を示す第１の位置情報、前記セマンティクスエラーが存在する範囲を示す第１の範囲情報、及び前記セマンティクスエラーが存在する位置での符号化タイプを示す第１の種別情報のうち少なくとも１つ以上をセマンティクスエラー検出情報として出力するセマンティクスエラー検出部と、
   前記セマンティクスエラー検出情報に基づき、あらかじめ用意した１つ以上の符号列の中から１つ以上の置換符号列を選択し、前記選択された置換符号列と前記セマンティクスエラー検出情報に基づいて前記符号化データの置換すべき位置を示す第２の位置情報と前記符号化データの置換すべき範囲を示す第２の範囲情報を作成し、前記作成された第２の位置情報及び第２の範囲情報に前記選択された置換符号列を加えた置換情報を生成する置換情報生成部と、
   前記置換情報生成部の前記置換情報に基づき、前記符号化データを、セマンティクスエラーを訂正した符号化データに置換する置換部とを、
   備えたエラー訂正装置。
2. 動き補償予測を用いて符号化された符号化データのエラーを検出して訂正するエラー訂正装置であって、
   前記符号化データにセマンティクスエラーが存在するか否かを検出して、前記セマンティクスエラーの存在情報、前記セマンティクスエラーが存在する位置を示す第１の位置情報、前記セマンティクスエラーが存在する範囲を示す第１の範囲情報、及び前記セマンティクスエラーが存在する位置での符号化タイプを示す第１の種別情報のうち少なくとも１つ以上をセマンティクスエラー検出情報として出力するセマンティクスエラー検出部と、
   前記セマンティクスエラー検出情報に基づき、前記符号化データを復号して復号画像を生成する復号部と、
   前記セマンティクスエラー検出情報に基づき前記復号画像を再符号化して置換符号列を生成し、前記生成された置換符号列と前記セマンティクス検出情報に基づいて前記符号化データの置換すべき位置を示す第２の位置情報と前記符号化データの置換すべき範囲を示す第２の範囲情報を作成し、前記作成された第２の位置情報及び第２の範囲情報に前記選択された置換符号列を加えた置換情報を生成する置換情報生成部と、
   前記置換情報生成部の前記置換情報に基づき、前記符号化データを、セマンティクスエラーを訂正した符号化データに置換する置換部とを、
   備えたエラー訂正装置。
3. 前記セマンティクスエラー検出部は、符号化データに所定の符号化条件を満足しないエラーが存在するかを検出し、前記所定の符号化条件を満足しないエラーの存在情報、前記所定の符号化条件を満足しないエラーが存在する位置を示す位置情報、前記所定の符号化条件を満足しないエラーが存在する範囲を示す範囲情報、及び前記所定の符号化条件を満足しないエラーが存在する位置での符号化タイプを示す種別情報のうち少なくとも１つ以上をセマンティクスエラー検出情報として出力することを特徴とする請求項１又は２に記載のエラー訂正装置。
   

Images