JP2007288443A - 画像データ復号装置 - Google Patents

Abstract

【課題】複数ストリームの符号化画像データを復号する画像データ復号装置において、画質の低下を最小限に抑えつつ、メモリの容量を減らす。
【解決手段】複数ストリームの符号化画像データをそれぞれ、符号化前の原画像データと等しい画像サイズの復号画像データに復号する通常復号機能、および符号化前の原画像データより小さい画像サイズの復号画像データに復号する縮小復号機能のいずれか一方によって並行して復号するストリーム復号部１０３と、ストリーム復号部１０３によって復号された各ストリームの復号画像データを記憶する記憶部（第１記憶部１０６と第２記憶部１０７）と、上記ストリーム復号部において、各ストリームの符号化画像データが上記通常復号機能と上記縮小復号機能のいずれによって復号されるかを制御する復号部制御部１０８を備える
【選択図】図３

Description

本発明は、デジタル符号化された符号化画像データを復号する画像データ復号装置に関するものであり、特に、符号化画像データを符号化前の原画像データよりデータ量の少ない復号画像データに復号する機能を有する画像データ復号装置に関するものである。

従来の画像データ復号装置として、フレーム内符号化画像（Ｉピクチャ）、フレーム間順方向予測符号化画像（Ｐピクチャ）、およびフレーム間双方向予測符号化画像（Ｂピクチャ）を含むＭＰＥＧ方式の符号化画像データを復号する画像データ復号装置が知られている（例えば、特許文献１参照。）。

同文献の図１３に示される画像データ復号装置では、同文献の図１１および図１２に示されるように、例えば３つのフレームメモリを用いて、符号化画像データを復号するようになっている。
特開２００４−２４７９７６号公報 「ディーヴィディー スペシフィケイションズ フォー リードオンリー ディスク パート３ ビデオ スペシフィケイションズ バージョン１．０（ＤＶＤ Ｓｐｅｃｉｆｉｃａｔｉｏｎｓ ｆｏｒ Ｒｅａｄ−Ｏｎｌｙ Ｄｉｓｃ Ｐａｒｔ３ ＶＩＤＥＯ ＳＰＥＣＩＦＩＣＡＴＩＯＮＳ Ｖｅｒｓｉｏｎ１．０）」，１９９６年８月，Ｖ１５−３２〜Ｖ１５−３７

ここで、昨今、デジタルテレビやＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ）等の再生装置に、複数のストリームデータを同時に再生する機能、例えば、放送系と蓄積系のメディアのデータを同時に再生する機能が求められている。再生装置がこのような機能を備えるためには、複数のストリームの符号化画像データをリアルタイムに並行して復号する符号化画像データ復号装置が必要である。

そこで、１本のストリームの符号化画像データを復号する復号部を２つ備えた画像データ復号装置を想定し、図１７を参照して説明する。

図１７は、２本のストリームの符号化画像データを並行して復号する画像データ復号装置の想定される構成を示すブロック図である。

図１７の画像データ復号装置は、第１多重分離部４０１、第１記憶部４０２、第１復号部４０３、第２多重分離部４０４、第２記憶部４０５、および第２復号部４０６を備えている。

第１多重分離部４０１は、多重化された符号化多重データ１から符号化画像データ１を分離して出力するようになっている。

第１記憶部４０２は、第１多重分離部４０１によって出力された符号化画像データ１と、第１復号部４０３によって復号された復号画像データ１とを記憶するようになっている。

第１復号部４０３は、第１記憶部４０２に記憶された符号化画像データ１を復号するようになっている。一部の符号化画像データについては、すでに復号されて第１記憶部４０２に記憶されている所定の復号画像データを参照して復号するようになっている。

第２多重分離部４０４は、多重化された符号化多重データ２から符号化画像データ２を分離して出力するようになっている。

第２記憶部４０５は、第２多重分離部４０４によって出力された符号化画像データ２と、第２復号部４０６によって復号された復号画像データ２とを記憶するようになっている。

第２復号部４０６は、第２記憶部４０５に記憶された符号化画像データ２を復号するようになっている。一部の符号化画像データについては、すでに復号されて第２記憶部４０５に記憶されている所定の復号画像データを参照して復号するようになっている。

第１復号部４０３と第２復号部４０６によって復号された２つのストリームの復号画像データは、システムに応じて、それぞれ独立に出力されたり、合成されて１つの画面に出力されたりする。

上記のように構成された復号装置では、例えば、ＭＰＥＧ２方式で符号化されたＨＤ画像データ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像の符号化画像データを復号する場合、復号部１つにつき３つのフレームメモリが用いられるため、３×（復号部の個数分）のフレームメモリが必要となる。したがって、１つのストリームの符号化画像データを復号する復号装置に比べ、大容量の記憶部を備える必要がある。さらに、復号部と記憶部との間で転送されるデータのデータ量も大きくなる。例えば、１フレーム分の復号画像データのデータ量が３ＭＢで、毎秒３０フレーム分の復号画像データが復号される場合、必要とされる記憶部の記憶容量は、１つのストリームの符号化画像データを復号する復号装置では、３フレーム分、すなわち９ＭＢであるのに対し、上記画像データ復号装置では、６フレーム分、すなわち１８ＭＢとなる。また、復号部と記憶部との間で転送されるデータのデータ量は、１つのストリームの符号化画像データを復号する復号装置では、９０ＭＢ／ｓ＋（参照用の復号画像データのデータ量）であるのに対し、上記画像データ復号装置では、１８０ＭＢ／ｓ＋（参照用の復号画像データのデータ量）となる。したがって、このような復号装置には、大容量の記憶装置や高速にデータを転送するシステム性能が必要となり、このような復号装置を備えたシステム全体の製造コストは高いものとなる。しかしながら、高級機向けシステム等、製造コストが高いシステムの製品に大容量の記憶装置や高速にデータを転送するシステム性能を備えさせることは容易であっても、普及機向けシステム等、販売競争力を保つために製造コストが制限されたシステムの製品に大容量の記憶装置や高速にデータを転送するシステム性能を備えさせることは困難である。

本発明は、上記の点に鑑み、複数ストリームの符号化画像データを並行して復号する画像データ復号装置において、構成システムに合わせて記憶装置と復号装置の間のデータ転送量と記憶装置の記憶容量を制御できるようにし、システムに最適な複数ストリームの復号装置および方法を提供することを目的とする。

上記の課題を解決するため、請求項１の発明は、
複数ストリームの符号化画像データを並行して復号可能な画像データ復号装置であって、
上記複数ストリームの符号化画像データをそれぞれ、符号化前の原画像データと等しい画像サイズの復号画像データに復号する通常復号機能、および符号化前の原画像データより小さい画像サイズの復号画像データに復号する縮小復号機能のいずれか一方によって並行して復号するストリーム復号部と、
上記ストリーム復号部によって復号された各ストリームの復号画像データを記憶する記憶部と、
上記ストリーム復号部において、各ストリームの符号化画像データが上記通常復号機能と上記縮小復号機能のいずれによって復号されるかを制御する復号部制御部と、
を備えたことを特徴とする。

これにより、画像データ復号装置における復号画像データの転送量、および記憶装置に記憶される復号画像データの容量を調整することができる。

請求項２の発明は、
請求項１の画像データ復号装置であって、
上記ストリーム復号部は、それぞれ各ストリームの符号化画像データを復号する複数の復号部を備えていることを特徴とする。

請求項３の発明は、
請求項１の画像データ復号装置であって、
上記ストリーム復号部は、
復号する符号化画像データのストリームを、所定のタイミング毎に切り替えることによって、複数ストリームの符号化画像データを並行して復号するように構成されていることを特徴とする。

請求項４の発明は、
請求項３の画像データ復号装置であって、
上記所定のタイミングは、復号する符号化画像データのストリームが前回切り替わったタイミングから、所定単位の符号化画像データの復号が終了するタイミングであることを特徴とする。

請求項５の発明は、
請求項３の画像データ復号装置であって、
上記所定のタイミングは、復号する符号化画像データのストリームが前回切り替わったタイミングから、所定時間が経過するタイミングであることを特徴とする。

これらにより、複数ストリームの符号化画像データが並行して復号される。

請求項６の発明は、
請求項１の画像データ復号装置であって、
上記復号画像データは、他の復号画像データの復号のために参照される被参照復号画像データを含み、
上記復号部制御部は、所定の制御信号に基づいて、所定のストリームの符号化画像データが上記縮小復号機能によって復号されるように指示している場合であっても、被参照復号画像データは、通常復号機能によって復号されるように制御するように構成されていることを特徴とする。

これにより、復号画像データが縮小復号機能によって復号されることによって発生する画質劣化が、他の復号画像データに伝播することが防がれる。

請求項７の発明は、
請求項１の画像データ復号装置であって、
メモリの同一の領域が、複数のストリームの復号処理に共通に用いられるように構成されていることを特徴とする。

これにより、画質の低下を最小限に抑えつつ、メモリの容量を減らすことができる。

請求項８の発明は、
請求項１の画像データ復号装置であって、
上記縮小復号機能は、低解像度の復号によって、符号化画像データを符号化前の原画像データより小さい画像サイズの復号画像データに復号する機能であることを特徴とする。

請求項９の発明は、
請求項１の画像データ復号装置であって、
上記縮小復号機能は、フィルタリングによって、符号化画像データを符号化前の原画像データより小さい画像サイズの復号画像データに復号する機能であることを特徴とする。

これらにより、符号化画像データを符号化前の原画像データより小さい画像サイズ（少ない画素数）の復号画像データに復号できる。

請求項１０の発明は、
請求項１の画像データ復号装置であって、
上記符号化画像データは、ＩＳＯ／ＩＥＣ標準の標準番号１１１７２−２で規定されるＭＰＥＧ１ビデオ、またはＩＳＯ／ＩＥＣ標準の標準番号１３８１８−２で規定されるＭＰＥＧ２ビデオの国際標準に準拠した符号化が行われたデータであることを特徴とする。

請求項１１の発明は、
請求項１の画像データ復号装置であって、
上記符号化画像データは、ＩＳＯ／ＩＥＣ標準の標準番号１４４９６−２で規定されるＭＰＥＧ４−ビジュアル、またはＩＳＯ／ＩＥＣ標準の標準番号１４４９６−１０で規定されるＭＰＥＧ４−ＡＶＣの国際標準に準拠した符号化が行われたデータであることを特徴とする。

請求項１２の発明は、
請求項１の画像データ復号装置であって、
上記符号化画像データは、ＩＳＯ／ＩＥＣ標準の標準番号１０９１８−１で規定されるＪＰＥＧの国際標準に準拠した符号化が行われたデータであることを特徴とする。

請求項１３の発明は、
請求項１の画像データ復号装置であって、
上記符号化画像データは、ＳＭＰＴＥ４２１Ｍで規定されるＶＣ１の規格に準拠した符号化が行われたデータであることを特徴とする。

請求項１４の発明は、
画像データ復号装置が複数ストリームの符号化画像データを並行して復号する画像データ復号方法であって、
ストリーム復号部が、上記複数ストリームの符号化画像データをそれぞれ、符号化前の原画像データと等しい画像サイズの復号画像データに復号する通常復号機能、および符号化前の原画像データより小さい画像サイズの復号画像データに復号する縮小復号機能のいずれか一方によって並行して復号するステップと、
記憶部が、上記ストリーム復号部によって復号された各ストリームの復号画像データを記憶するステップと、
復号部制御部が、上記ストリーム復号部において、各ストリームの符号化画像データが上記通常復号機能と上記縮小復号機能のいずれによって復号されるかを制御するステップとを備えたことを特徴とする。

これにより、請求項１と同様に、画像データ復号装置における復号画像データの転送量、および記憶装置に記憶される復号画像データの容量を調整することができる。

請求項１５の発明は、
符号化画像データを復号する画像データ復号装置であって、
符号化画像データを、符号化前の原画像データと等しい画像サイズの復号画像データに復号する通常復号機能、および符号化前の原画像データより小さい画像サイズの復号画像データに復号する縮小復号機能のいずれか一方によって復号するストリーム復号部と、
上記ストリーム復号部によって復号された復号画像データを記憶する記憶部と、
原画像データを符号化する符号化部と、
上記符号化部において符号化が行われていない場合は、上記ストリーム復号部において符号化画像データが上記通常復号機能によって復号され、上記符号化部において符号化が行われている場合は、上記ストリーム復号部において符号化画像データが上記縮小復号機能によって復号されるように制御する復号部制御部と、
を備えたことを特徴とする。

これにより、符号化部において符号化が行われているかどうかに応じて、画像データ復号装置における復号画像データの転送量、および記憶装置に記憶される復号画像データの容量を調整することができる。

請求項１６の発明は、
符号化画像データを復号する画像データ復号装置であって、
符号化画像データを、符号化前の原画像データと等しい画像サイズの復号画像データに復号する通常復号機能、および符号化前の原画像データより小さい画像サイズの復号画像データに復号する縮小復号機能のいずれか一方によって復号するストリーム復号部と、
上記ストリーム復号部によって復号された復号画像データを記憶する記憶部と、
上記ストリーム復号部において、符号化画像データが上記通常復号機能と上記縮小復号機能のいずれによって復号されるかを、上記復号画像データの再生方法に応じて制御する復号部制御部と、
を備えたことを特徴とする。

請求項１７の発明は、
請求項１６の画像データ復号装置であって、
上記復号部制御部は、上記ストリーム復号部において、上記復号画像データが通常再生される場合は、上記符号化画像データが上記通常復号機能によって復号され、上記復号画像データが逆再生される場合は、上記符号化画像データが上記縮小復号機能によって復号されるように制御するように構成されていることを特徴とする。

これらにより、復号画像データの再生方法に応じて、画像データ復号装置における復号画像データの転送量、および記憶装置に記憶される復号画像データの容量を調整することができる。

本発明によると、画質の低下を最小限に抑えつつ、メモリの容量を減らすことができる。また、製品製造段階において、画像データ復号装置を、メモリの容量やデータの転送容量が大きくて性能の高いシステムやメモリの容量やデータの転送容量が小さくて性能の低いシステムに適合させることができる。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の各実施形態において、他の実施形態と同様の機能を有する構成要素については同一の符号を付して説明を省略する。

《発明の実施形態１》
本発明の実施形態１として、ＭＰＥＧ２方式で符号化されたＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像の符号化画像データを、２ストリーム分、同時に復号する画像データ復号装置について説明する。

ＭＰＥＧ方式として、ＩＳＯ／ＩＥＣ標準の標準番号１１１７２−２で規定されるＭＰＥＧ１ビデオやＩＳＯ／ＩＥＣ標準の標準番号１３８１８−２で規定されるＭＰＥＧ２ビデオ等の国際標準で規定される方式が提案されている。このようなＭＰＥＧ方式で符号化されたストリーム画像データは、シーケンス・ヘッダ（Ｓｅｑｕｅｎｃｅ Ｈｅａｄｅｒ）が先頭に付くシーケンス層、ＧＯＰヘッダ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ Ｈｅａｄｅｒ）が先頭に付くＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）層、ピクチャ・ヘッダ（Ｐｉｃｔｕｒｅ Ｈｅａｄｅｒ）が先頭に付くピクチャ層、スライス・ヘッダ（Ｓｌｉｃｅ Ｈｅａｄｅｒ）が先頭に付くスライス層、マクロブロック層、および最小単位であるブロック層の６つの層で構成される。

図１に、シーケンス層、ＧＯＰ層、およびピクチャ層の階層構造を示す。シーケンス層は、同じ属性を持つ一連の画面のグループであり、画面のフォーマット等を指定する。ＧＯＰ層は、ランダムアクセスの単位となる画面グループの最小単位である。ピクチャ層は、１枚の画面に共通した属性で、ピクチャには、Ｉピクチャ、Ｐピクチャ、およびＢピクチャがある。

以下の実施形態では、画像データ復号装置が、動画の１シーケンスが分割された符号化の単位であるＧＯＰが図２（ａ）のように構成されているストリームの符号化画像データを復号する場合を例として説明する。図２（ａ）に示すように、復号する符号化画像データのＧＯＰは、１フレームのＩピクチャ、４フレームのＰピクチャ、および１０フレームのＢピクチャの合計１５フレームのピクチャから構成される。Ｉピクチャはフレーム内符号化画像、Ｐピクチャはフレーム間順方向予測符号化画像、Ｂピクチャはフレーム間双方向予測符号化画像である。具体的には、図２（ａ）で矢印で示されるように、Ｉ２は単独でフレーム内符号化され、Ｐ５はＩ２、Ｐ８はＰ５を参照してフレーム間の予測符号化が行われ、Ｂ０とＢ１はそれぞれＰ’１４とＩ２、Ｂ３とＢ４はそれぞれＩ２とＰ５を参照してフレーム間の予測符号化が行われたものである。ＰピクチャやＢピクチャの復号の際に参照されるフレームが参照されるまでに復号されるように、実際に符号化された符号化画像データは、図２（ｂ）のような順番に配列される。

図３は、本発明の実施形態１に係る画像データ復号装置の構成を示すブロック図である。

同図に示すように、本実施形態の画像データ復号装置は、第１多重分離部１０１、第２多重分離部１０２、ストリーム復号部１０３、第１記憶部１０６、第２記憶部１０７、および復号部制御部１０８を備えている。

第１多重分離部１０１は、多重化された符号化多重データ１から符号化画像データ１を分離して出力するようになっている。

第２多重分離部１０２は、多重化された符号化多重データ２から符号化画像データ２を分離して出力するようになっている。

ストリーム復号部１０３は、第１復号部１０４と第２復号部１０５とを備えている。

第１復号部１０４は、第１記憶部１０６に記憶された符号化画像データ１を、符号化前の原画像データと等しい画像サイズの復号画像データに復号する通常復号機能、および符号化前の原画像データの１／２の画像サイズの復号画像データに復号する縮小復号機能のいずれか一方によって復号するようになっている。そして、復号画像データを第１記憶部１０６に書き込むようになっている。また、第１復号部１０４は、ＰピクチャやＢピクチャの符号化画像データを復号する場合、すでに復号されて第１記憶部１０６に記憶されている所定の復号画像データを読み出して参照するようになっている。

第２復号部１０５は、第２記憶部１０７に記憶された符号化画像データ２を、符号化前の原画像データと等しい画像サイズの復号画像データに復号する通常復号機能、および符号化前の原画像データの１／２の画像サイズの復号画像データに復号する縮小復号機能のいずれか一方によって復号するようになっている。そして、復号画像データを第２記憶部１０７に書き込むようになっている。また、第２復号部１０５は、ＰピクチャやＢピクチャの符号化画像データを復号する場合、すでに復号されて第２記憶部１０７に記憶されている所定の復号画像データを読み出して参照するようになっている。

第１記憶部１０６は、第１多重分離部１０１によって出力された符号化画像データ１と、第１復号部１０４によって復号された復号画像データ１とを記憶するようになっている。

第２記憶部１０７は、第２多重分離部１０２によって出力された符号化画像データ２と、第２復号部１０５によって復号された復号画像データ２とを記憶するようになっている。

第１記憶部１０６および第２記憶部１０７は、表示等のために出力されるのを待つ復号画像データだけでなく、他の符号化画像データの復号の際に参照される復号画像データをも記憶するようになっている。

復号部制御部１０８は、第１復号部１０４および第２復号部１０５において、符号化画像データ１と符号化画像データ２がそれぞれ、通常復号機能と縮小復号機能のいずれによって復号されるかを制御信号に基づいて制御するようになっている。制御信号は、例えば、図示しない制御部によって生成されて入力されるようになっている。制御信号の値は、動的に切り替えられるようになっている。例えば、第１復号部１０４と第２復号部１０５に入力される符号化画像データがいずれもＨＤ画像の符号化画像データである場合には、第１復号部１０４と第２復号部１０５のいずれか一方が縮小復号機能によって符号化画像データを復号し、第１復号部１０４と第２復号部１０５に入力される符号化画像データのいずれか一方がＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）解像度になると、第１復号部１０４と第２復号部１０５の両方が通常復号機能によって符号化画像データを復号するように、制御信号の値が切り替えられるようにできる。

図４は、制御信号の値と復号部制御部１０８が行う制御との関係を示す説明図である。復号部制御部１０８に入力される制御信号は、ケース１〜ケース４の４種類の値を取りうる。復号部制御部１０８は、ケース１の値の制御信号が入力されると、符号化画像データ１と符号化画像データ２のいずれもが通常復号機能によって復号されるように第１復号部１０４と第２復号部１０５とをそれぞれ制御するようになっている。また、ケース２の値の制御信号が入力されると、符号化画像データ１が通常復号機能によって復号され、符号化画像データ２が縮小復号機能によって復号されるように第１復号部１０４と第２復号部１０５とをそれぞれ制御するようになっている。さらに、ケース３の値の制御信号が入力されると、符号化画像データ１が縮小復号機能によって復号され、符号化画像データ２が通常復号機能によって復号されるように第１復号部１０４と第２復号部１０５とをそれぞれ制御するようになっている。そして、ケース４の値の制御信号が入力されると、符号化画像データ１と符号化画像データ２のいずれもが縮小復号機能によって復号されるように第１復号部１０４と第２復号部１０５とをそれぞれ制御するようになっている。

次に、上記のように構成された画像データ復号装置の動作について説明する。

まず、符号化多重データ１と符号化多重データ２が画像データ復号装置に並行して入力されると、第１多重分離部１０１は、符号化多重データ１から符号化画像データ１を分離して出力し、第２多重分離部１０２は、符号化多重データ２から符号化画像データ２を分離して出力する。

第１記憶部１０６は、第１多重分離部１０１によって出力された符号化画像データ１を記憶し、第２記憶部１０７は、第２多重分離部１０２によって出力された符号化画像データ２を記憶する。

復号部制御部１０８は、図５に示すような制御動作を行う。

（Ｓ１００） 制御処理を開始する。

（Ｓ１０１） 制御信号を受信する。

（Ｓ１０２） 制御信号の値が、ケース１〜ケース４のいずれであるかを判定する。

（Ｓ１０３） 制御信号の値がケース１であれば、第１復号部１０４と第２復号部１０５の両方に対し、通常復号機能によって符号化画像データを復号するように指示する。

（Ｓ１０４） 制御信号の値がケース２であれば、第１復号部１０４に対しては、通常復号機能によって符号化画像データを復号するように指示し、第２復号部１０５に対しては、縮小復号機能によって符号化画像データを復号するように指示する。

（Ｓ１０５） 制御信号の値がケース３であれば、第１復号部１０４に対しては、縮小復号機能によって符号化画像データを復号するように指示し、第２復号部１０５に対しては、通常復号機能によって符号化画像データを復号するように指示する。

（Ｓ１０６） 制御信号の値がケース４であれば、第１復号部１０４と第２復号部１０５の両方に対し、縮小復号機能によって符号化画像データを復号するように指示する。

（Ｓ１０７） 第１復号部１０４と第２復号部１０５に、（Ｓ１０３）〜（Ｓ１０６）の指示に従った復号処理を開始させる。

（Ｓ１０８） 制御処理を終了する。

このような制御動作は、例えば、アプリケーションが切り替わる場合や、あるいは、復号が開始されるたびに行われる。

次に、第１復号部１０４と第２復号部１０５の動作について、図６のタイミングチャートを参照して説明する。

図６において、Ｉ０２、Ｂ００、Ｂ０１、Ｐ０５、Ｂ０３、Ｂ０４、Ｐ０８、Ｂ０６、およびＢ０７は、図２（ｂ）に示されるように配列された符号化画像データ１の各ＧＯＰを構成するピクチャを示す。同様に、Ｉ１２、Ｂ１０、Ｂ１１、Ｐ１５、Ｂ１３、Ｂ１４、Ｐ１８、Ｂ１６、およびＢ１７は、図２（ｂ）に示されるように配列された符号化画像データ２の各ＧＯＰを構成するピクチャを示す。また、Ｖ（Ｖｅｒｔｉｃａｌ Ｓｙｎｃｈｒｏｎｉｚｉｎｇ Ｓｉｇｎａｌ）とは、Ｖｉｄｅｏの垂直同期信号のことで、２Ｖ（２ＶＳＹＮＣ）は垂直同期信号の２周期を示している。また、フレームメモリ００、０１、０２は第１記憶部１０６に設けられた復号画像データが記憶される領域であり、フレームメモリ１０、１１、１２は第２記憶部１０７に設けられた復号画像データが記憶される領域である。また、フレームメモリ００、０１、１０、１１は、Ｉ，Ｐピクチャの復号画像データを記憶し、フレームメモリ０２、１２は、Ｂピクチャの復号画像データを記憶するようになっている。

図６に示すように、第１復号部１０４は、まずＩ０２のピクチャの符号化画像データを復号し、復号画像データをフレームメモリ００に格納する。次に、Ｂ００のピクチャの符号化画像データを復号し、復号画像データをフレームメモリ０２に格納し、格納と同時に表示のために出力する。以降、Ｂピクチャの符号化画像データを復号した場合には、復号画像データを、フレームメモリ０２に書き込むのと同時に表示のために出力し、ＩピクチャまたはＰピクチャの符号化画像データを復号した場合には、フレームメモリ００とフレームメモリ０１のうち、格納されている復号画像データが古い方に復号画像データを書き込み、もう一方に格納されている復号画像データを表示のために出力する。第２復号部１０５も、図６に示すように、第１復号部１０４と同様の動作を行う。

次に、第１記憶部１０６と第２記憶部１０７とに記憶される復号画像データの容量について、図７を参照して説明する。図７は、制御信号の値がケース１からケース４に変化した場合の、第１記憶部１０６と第２記憶部１０７とに記憶される復号画像データの容量の変化を示す説明図である。

図７において、（ａ）は、第１復号部１０４が通常復号機能で復号する場合に第１記憶部１０６に記憶される復号画像データの容量を示している。（ｂ）は、第２復号部１０５が通常復号機能で復号する場合に第２記憶部１０７に記憶される復号画像データの容量を示している。（ｃ）は、第１復号部１０４が縮小復号機能で復号する場合に第１記憶部１０６に記憶される復号画像データの容量を示している。（ｄ）は、第２復号部１０５が縮小復号機能で復号する場合に第２記憶部１０７に記憶される復号画像データの容量を示している。Ｙ００〜Ｙ０２は、フレームメモリ００〜０２に記憶される復号画像データの輝度成分、Ｃ００〜Ｃ０２は、フレームメモリ００〜０２に記憶される復号画像データの色差成分を示している。同様に、Ｙ１０〜Ｙ１２は、フレームメモリ１０〜１２に記憶される復号画像データの輝度成分、Ｃ１０〜Ｃ１２は、フレームメモリ１０〜１２に記憶される復号画像データの色差成分を示している。

図７に示すように、制御信号の値がケース１の場合、第１記憶部１０６と第２記憶部１０７にはそれぞれ９ＭＢ、合計１８ＭＢの復号画像データが記憶される。したがって、第１記憶部１０６と第２記憶部１０７が共通のメモリに備えられるとすると、復号画像データを記憶する領域として１８ＭＢの記憶容量の領域を有するメモリが必要となる。

制御信号の値がケース４の場合、第１記憶部１０６と第２記憶部１０７にはそれぞれ４．５ＭＢ、合計９ＭＢの復号画像データが記憶される。したがって、第１記憶部１０６と第２記憶部１０７が共通のメモリに備えられるとすると、復号画像データを記憶する領域として９ＭＢの記憶容量の領域を有するメモリが必要となる。

制御信号の値がケース４の場合、ケース１の場合と比べると、第１記憶部１０６と第２記憶部１０７に記憶される復号画像データの容量はそれぞれ４．５ＭＢ、合計９ＭＢ少なくなっている。

このように、制御信号の値が変化するとストリーム復号部１０３が出力する復号画像データの容量が変化するので、復号画像データを記憶するのに必要となるメモリの領域の容量が変化する。したがって、本実施形態の画像データ復号装置は、求められるシステムの性能に応じて制御信号の値を変化させることによって、様々な画像再生装置に適した復号動作をさせることができる。

例えば、デジタルテレビやＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ）等のシステムにおいて、復号画像データ１に基づく再生画像と復号画像データ２に基づく再生画像とをそれぞれ１画面に表示させるモデルでは制御信号の値をケース１にし、２つの再生画像を合成して１画面に表示させるモデルでは、復号画像データを記憶するメモリの領域の容量が減るように制御信号の値をケース２、ケース３またはケース４にすることによって、それぞれのモデルに適した復号動作をさせることができる。つまり、求められるアプリケーションに適合した復号動作をさせることができる。

さらに、デジタルテレビやＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ）等のシステムにおいて、メモリ容量やバンド幅に比較的余裕がありコストよりも映像品位が優先される高級機モデルでは制御信号の値をケース１にし、メモリ容量やバンド幅に余裕がなく映像品位よりもコストが優先される低コストモデルでは制御信号の値をケース４にし、高級機モデルと低コストモデルとの中間的な位置づけにあって映像品位とコストとのトレードオフとなる普及機モデルでは制御信号の値をケース２やケース３にすることによって、それぞれのモデルに適した復号動作をさせることができる。つまり、求められる映像品位やコストに適合した復号動作をさせることができる。

また、上記のようにモデルによって制御信号の値が切り替えられるのではなく、システムの動作段階で切り替えられるようにしてもよい。例えば、システムの動作中に制御信号の値が切り替えられ、各動作状態に応じた復号動作が行われるようにしてもよい。

縮小復号機能の具体的な方法、すなわち、符号化前の原画像データの１／２の画像サイズの復号画像データに復号する方法としては、例えば、米国特許検索番号６５３９１２０に示されている方法や、その他一般的に知られているＤＣＴベースの低解像度復号器を用いて復号する方法が用いられる。なお、低解像度の復号に比べると映像品位は劣るが、水平フィルターや垂直フィルタリングによって、符号化前の原画像データの１／２の画像サイズの復号画像データに復号するようにしてもよい。画像サイズを小さくする（画素数を少なくする）方法は、どのようなものであってもよい。以降の実施形態における縮小復号機能についても同様である。

また、本実施形態では、図６に示すように、第１復号部１０４と第２復号部１０５とが完全に同期して動作しているが、動作の開始は非同期であってもよい。

《発明の実施形態２》
本発明の実施形態２として、ＭＰＥＧ２方式で符号化されたＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像の符号化画像データを、２ストリーム分、時分割で復号する画像データ復号装置について説明する。

図８は、本発明の実施形態２に係る画像データ復号装置の構成を示すブロック図である。

同図に示すように、本実施形態の画像データ復号装置は、第１多重分離部１０１、第２多重分離部１０２、ストリーム復号部２０３、記憶部２０６、および復号部制御部２０８を備えている。

ストリーム復号部２０３は、符号化画像データ１と符号化画像データ２とを、垂直同期信号の１周期毎に切り替えることによって、並行に復号するようになっている。また、ストリーム復号部２０３は記憶部２０６に記憶された符号化画像データ１と符号化画像データ２とを、それぞれ、符号化前の原画像データと等しい画像サイズの復号画像データに復号する通常復号機能、および符号化前の原画像データの１／２の画像サイズの復号画像データに復号する縮小復号機能のいずれか一方によって復号するようになっている。そして、復号画像データを記憶部２０６に書き込むようになっている。また、ＰピクチャやＢピクチャの符号化画像データを復号する場合、すでに復号されて記憶部２０６に記憶されている所定の復号画像データを読み出して参照するようになっている。

記憶部２０６は、第１多重分離部１０１によって出力された符号化画像データ１と第２多重分離部１０２によって出力された符号化画像データ２、およびストリーム復号部２０３によって復号された復号画像データ１と復号画像データ２を記憶するようになっている。つまり、記憶部２０６は、符号化画像データ１と符号化画像データ２の復号に用いられる記憶手段として共有されている。

記憶部２０６は、表示等のために出力されるのを待つ復号画像データだけでなく、他の符号化画像データの復号の際に参照される復号画像データをも記憶するようになっている。

復号部制御部２０８は、ストリーム復号部２０３において、符号化画像データ１と符号化画像データ２がそれぞれ、通常復号機能と縮小復号機能のいずれによって復号されるかを制御信号に基づいて制御するようになっている。

本実施形態においても、復号部制御部２０８に入力される制御信号は、ケース１〜ケース４の４種類の値を取りうる。復号部制御部２０８は、ケース１の値の制御信号が入力されると、符号化画像データ１と符号化画像データ２のいずれもが通常復号機能によって復号されるようにストリーム復号部２０３を制御するようになっている。また、ケース２の値の制御信号が入力されると、符号化画像データ１が通常復号機能によって復号され、符号化画像データ２が縮小復号機能によって復号されるようにストリーム復号部２０３を制御するようになっている。さらに、ケース３の値の制御信号が入力されると、符号化画像データ１が縮小復号機能によって復号され、符号化画像データ２が通常復号機能によって復号されるようにストリーム復号部２０３を制御するようになっている。そして、ケース４の値の制御信号が入力されると、符号化画像データ１と符号化画像データ２のいずれもが縮小復号機能によって復号されるようにストリーム復号部２０３を制御するようになっている。

次に、上記のように構成された画像データ復号装置の動作について説明する。

まず、符号化多重データ１と符号化多重データ２が画像データ復号装置に並行して入力されると、第１多重分離部１０１は、符号化多重データ１から符号化画像データ１を分離して出力し、第２多重分離部１０２は、符号化多重データ２から符号化画像データ２を分離して出力する。

記憶部２０６は、第１多重分離部１０１によって出力された符号化画像データ１と第２多重分離部１０２によって出力された符号化画像データ２を記憶する。

復号部制御部２０８は、図９に示すような制御動作を行う。

（Ｓ２００） 制御処理を開始する。

（Ｓ２０１） 制御信号を受信する。

（Ｓ２０２） 制御信号の値が、ケース１〜ケース４のいずれであるかを判定する。

（Ｓ２０３） 制御信号の値がケース１であれば、ストリーム復号部２０３に対し、通常復号機能によって符号化画像データ１を復号するように指示する。

（Ｓ２０４） 制御信号の値がケース２であれば、ストリーム復号部２０３に対し、通常復号機能によって符号化画像データ１を復号するように指示する。

（Ｓ２０５） 制御信号の値がケース３であれば、ストリーム復号部２０３に対し、縮小復号機能によって符号化画像データ１を復号するように指示する。

（Ｓ２０６） 制御信号の値がケース４であれば、ストリーム復号部２０３に対し、縮小復号機能によって符号化画像データ１を復号するように指示する。

（Ｓ２０７） ストリーム復号部２０３に、（Ｓ２０３）〜（Ｓ２０６）の指示に従った符号化画像データ１の復号処理を開始させる。

（Ｓ２０８） ストリーム復号部２０３によって次に復号される符号化画像データが、符号化画像データ２に切り替わる場合、（Ｓ２０９）に進み、切り替わらない場合は（Ｓ２０７）に進む。

（Ｓ２０９） 制御信号の値が、ケース１〜ケース４のいずれであるかを判定する。

（Ｓ２１０） 制御信号の値がケース１であれば、ストリーム復号部２０３に対し、通常復号機能によって符号化画像データ２を復号するように指示する。

（Ｓ２１１） 制御信号の値がケース２であれば、ストリーム復号部２０３に対し、縮小復号機能によって符号化画像データ２を復号するように指示する。

（Ｓ２１２） 制御信号の値がケース３であれば、ストリーム復号部２０３に対し、通常復号機能によって符号化画像データ２を復号するように指示する。

（Ｓ２１３） 制御信号の値がケース４であれば、ストリーム復号部２０３に対し、縮小復号機能によって符号化画像データ２を復号するように指示する。

（Ｓ２１４） ストリーム復号部２０３に、（Ｓ２１０）〜（Ｓ２１３）の指示に従った符号化画像データ２の復号処理を開始させる。

（Ｓ２１５） ストリーム復号部２０３によって次に復号される符号化画像データが、符号化画像データ１に切り替わる場合、（Ｓ２０２）に進み、切り替わらない場合は（Ｓ２１６）に進む。

（Ｓ２１６） ストリーム復号部２０３による復号処理が終了した場合、（Ｓ２０６）に進み、終了していない場合は（Ｓ２１４）に進む。

（Ｓ２１７） 制御処理を終了する。

なお、（Ｓ２０８）と（Ｓ２１５）では、ストリーム復号部２０３において復号される符号化画像データが、もう一方のストリームの符号化画像データに切り替わるかどうかの判断をしているが、この判断は、前に切り替わってから所定単位の符号化画像データの復号が終わったかどうか、あるいは、前に切り替わってから所定の時間が経過したか等を判断することによって行われる。例えば、前に切り替わってから１フレーム分の符号化画像データの復号が終わったかどうか、あるいは、前に切り替わってから垂直同期信号の１周期が経過したかを判断することによって行われる。

次に、ストリーム復号部２０３の動作について、図１０のタイミングチャートを参照して説明する。

図１０において、図６と共通の記号の意味は、実施形態１で説明した内容と同様であるので説明を省略する。ただ、図１０に示されるフレームメモリ００、０１、０２、１０、１１、１２は、記憶部２０６に設けられた復号画像データが記憶される領域である点が実施形態１と異なっている。

図１０に示すように、ストリーム復号部２０３はまず、符号化画像データ１のＩ０２のピクチャの符号化画像データを復号し、復号画像データをフレームメモリ００に書き込む。次に、復号対象の符号化画像データを示すアドレス（ポインタ）を切り替えて、符号化画像データ２のＩ１２のピクチャの符号化画像データを復号し、復号画像データをフレームメモリ１０に書き込む。以降同様に、符号化画像データ１のＢ００、符号化画像データ２のＢ１０、符号化画像データ１のＢ０１、符号化画像データ２のＢ１１の順番に時分割に復号を行う。

制御信号の値がケース４の場合、ストリーム復号部２０３は、符号化画像データ１と符号化画像データ２の両方を縮小復号機能によって復号するので、通常復号機能と縮小復号機能とを切り替える必要はない。一方、制御信号の値がケース２またはケース３の場合、ストリーム復号部２０３は、１フレーム分の符号化画像データを復号する毎に、通常復号機能と縮小復号機能とを切り替える必要がある。

実施形態１と同様に、制御信号がケース４の場合、記憶部２０６に必要とされる復号画像データを記憶する領域の容量は、９ＭＢとなり、制御信号の値がケース１の場合に比べて９ＭＢ少なくなる。

このように、実施形態１と同様に、本実施形態の画像データ復号装置においても、求められるシステムの性能に応じて制御信号の値を変化させることによって、様々な画像再生装置に適した復号動作をさせることができる。例えば、デジタルテレビやＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ）等のシステムにおいて、復号画像データ１に基づく再生画像と復号画像データ２に基づく再生画像とをそれぞれ１画面に表示させる場合は制御信号の値をケース１にし、２つの再生画像を合成して１画面に表示させる場合は、復号画像データを記憶するメモリの領域の容量が減るように制御信号の値をケース２、ケース３またはケース４にすることによって、それぞれの場合に適した復号動作をさせることができる。つまり、求められる映像品位やコストに応じた復号動作をさせることができる。

《発明の実施形態２の変形例》
本変形例の復号部制御部２０８は、ストリーム復号部２０３において各ストリームの符号化画像データが通常復号機能と縮小復号機能のいずれによって復号されるかを制御する機能に加え、各フレームの符号化画像データが通常復号機能と縮小復号機能のいずれによって復号されるかを制御するようになっている。より詳しくは、復号部制御部２０８は、制御信号に基づいて所定のストリームの符号化画像データを縮小復号機能によって復号するように指示している場合でも、上記所定のストリームの符号化画像データに含まれるＩピクチャとＰピクチャの符号化画像データは通常復号機能によって復号されるように制御するようになっている。

本変形例の復号部制御部２０８の動作について、図１１を参照して説明する。

図１１は、復号部制御部２０８が、ストリーム復号部２０３において各フレームの符号化画像データが通常復号機能と縮小復号機能のいずれによって復号されるかを制御する動作を示すフローチャートである。

図１１に示される動作は、例えば、図９のフローチャートにおける（Ｓ２０５）と（Ｓ２０７）の間、（Ｓ２０６）と（Ｓ２０７）の間、（Ｓ２１１）と（Ｓ２１４）の間、および（Ｓ２１３）と（Ｓ２１４）の間で行われる。

（Ｓ３００） ストリーム復号部２０３において所定の１フレームの符号化画像データが通常復号機能と縮小復号機能のいずれによって復号されるかを制御する処理を開始する。

（Ｓ３０１） フレームのピクチャタイプがＩピクチャまたはＰピクチャの場合、（Ｓ３０２）に進む。フレームのピクチャタイプがＢピクチャの場合、（Ｓ３０３）に進む。

（Ｓ３０２） ストリーム復号部２０３に対し、通常復号機能によって符号化画像データを復号するように指示する。

（Ｓ３０３） ストリーム復号部２０３に対し、縮小復号機能によって符号化画像データを復号するように指示する。

（Ｓ３０４） ストリーム復号部２０３において所定の１フレームの符号化画像データが通常復号機能と縮小復号機能のいずれによって復号されるかを制御する処理を終了する。

そして、図９のフローチャートの（Ｓ２０７）において、復号部制御部２０８は、ストリーム復号部２０３に、（Ｓ２０３）、（Ｓ２０４）、（Ｓ３０２）または（Ｓ３０３）の指示に従った復号処理を開始させる。また、図９のフローチャートの（Ｓ２１５）において、復号部制御部２０８は、ストリーム復号部２０３に、（Ｓ２１０）、（Ｓ２１２）、（Ｓ３０２）または（Ｓ３０３）の指示に従った復号処理を開始させる。

本変形例においては、制御信号がケース４の場合、図１０に示すように各ストリームの復号画像データにつき３つのフレームメモリが用いられるとすると、１つのストリームの復号画像データの記憶用に７．５ＭＢの容量の記憶領域が必要となる。通常復号機能で復号した場合に１つのストリームの復号画像データの記憶用に９ＭＢの容量の記憶領域が必要となるのに比べると、必要となる記憶領域の容量が１．５ＭＢ小さくなる。

また、縮小復号機能によって復号されるのは、他のフレームの符号化画像データの復号のために参照されることがないＢピクチャの符号化画像データだけなので、画像サイズを縮小して復号されることによって発生する画質劣化が、他の復号画像データに伝播することがない。

《発明の実施形態３》
本発明の実施形態３として、ＭＰＥＧ２方式の符号化を行う符号化部を備え、ＭＰＥＧ２方式で符号化されたＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像の１ストリームの符号化画像データを復号する画像データ復号装置について説明する。

図１２は、本発明の実施形態３に係る画像データ復号装置の構成を示すブロック図である。

同図に示すように、本実施形態の画像データ復号装置は、多重分離部３０１、記憶部３０２、ストリーム復号部３０３、復号部制御部３０４、記憶部３０５、および画像データ符号化部３０６を備えている。

多重分離部３０１は、多重化された符号化多重データから符号化画像データを分離して出力するようになっている。

記憶部３０２は、多重分離部３０１によって出力された符号化画像データと、ストリーム復号部３０３によって復号された復号画像データを記憶するようになっている。

ストリーム復号部３０３は、記憶部３０２に記憶された符号化画像データを、符号化前の原画像データと等しい画像サイズの復号画像データに復号する通常復号機能、および符号化前の原画像データの１／２の画像サイズの復号画像データに復号する縮小復号機能のいずれか一方によって復号するようになっている。そして、復号画像データを記憶部３０２に書き込むようになっている。また、ストリーム復号部３０３は、ＰピクチャやＢピクチャの符号化画像データを復号する場合、すでに復号されて記憶部３０２に記憶されている所定の復号画像データを読み出して参照するようになっている。

復号部制御部３０４は、ストリーム復号部３０３において、符号化画像データが通常復号機能と縮小復号機能のいずれによって復号されるかを制御信号に基づいて制御するようになっている。より詳しくは、ケース１の値の制御信号が入力されると、符号化画像データが通常復号機能によって復号されるように、ストリーム復号部３０３を制御し、ケース２の値の制御信号が入力されると、符号化画像データが縮小復号機能によって復号されるように、ストリーム復号部３０３を制御するようになっている。

記憶部３０５は、原画像データと画像データ符号化部３０６で符号化された符号化画像データとを記憶するようになっている。

画像データ符号化部３０６は、原画像データを符号化し、符号化画像データを記憶部３０５に書き込むようになっている。

また、復号部制御部３０４に入力される制御信号は、画像データ符号化部３０６において符号化が行われない場合にケース１の値となり、画像データ符号化部３０６において符号化が行われる場合にケース２の値となるように、図示しない制御部によって生成されるようになっている。

次に、上記のように構成された画像データ復号装置の動作について説明する。

まず、符号化多重データが画像データ復号装置に入力されると、多重分離部３０１は、符号化多重データから符号化画像データを分離して出力する。

記憶部３０２は、多重分離部３０１によって出力された符号化画像データを記憶する。

次に、ストリーム復号部３０３と復号部制御部３０４の動作について、図１３を参照して説明する。

（Ｓ４００） 復号部制御部３０４が制御処理を開始する。

（Ｓ４０１） 復号部制御部３０４がストリーム復号部３０３において復号処理が行われる必要があるかどうかを判断し、復号処理が行われる必要がある場合は（Ｓ４０２）に進み、復号処理が行われる必要がない場合は（Ｓ４０５）に進む。

（Ｓ４０２） 復号動作に並行して画像データ符号化部３０６において符号化処理が行われない場合、ケース１の値の制御信号が復号部制御部３０４に入力され、処理は（Ｓ４０３）に進み、行われる場合、ケース２の値の制御信号が復号部制御部３０４に入力され、処理は（Ｓ４０４）に進む。

（Ｓ４０３） 復号部制御部３０４は、ストリーム復号部３０３に対し、通常復号機能によって符号化画像データを復号するように制御し、ストリーム復号部３０３はその制御に応じて通常復号機能によって符号化画像データを復号する。

（Ｓ４０４） 復号部制御部３０４は、ストリーム復号部３０３に対し、縮小復号機能によって符号化画像データを復号するように制御し、ストリーム復号部３０３はその制御に応じて縮小復号機能によって符号化画像データを復号する。一方、復号処理に並行して画像データ符号化部３０６において原画像データの符号化処理が行われる。

（Ｓ４０５） 画像データ符号化部３０６において符号化動作が行われない場合、（Ｓ４０７）に進み、行われる場合、（Ｓ４０６）に進む。

（Ｓ４０６） 画像データ符号化部３０６において原画像データの符号化処理が行われる。

（Ｓ４０７） 復号部制御部３０４が制御処理を終了する。

（Ｓ４０１）〜（Ｓ４０７）の動作は、例えば、アプリケーションが切り替わる場合や、あるいは、復号や符号化が開始されるたびに行われる。

上記のように、復号処理に並行して符号化処理が行われる場合には、ストリーム復号部３０３において縮小復号機能による復号が行われ、ストリーム復号部３０３と記憶部３０２との間で転送されるデータの量の増加、および記憶部３０２に記憶される復号画像データの容量の増加が抑えられる。符号化処理と復号処理とが同時に行われるシステムは、符号化処理と復号処理のいずれか一方だけが行われるシステムよりも、容量の大きいメモリや、大きなデータを転送できるバスを備える必要があるが、これにより、必要となるメモリ容量やバスの性能を抑え、製造コストを抑えることができる。

なお、本実施形態では、ストリーム復号部と画像データ符号化部とがそれぞれ１つずつ備えられていたが、いずれかまたは両方を複数備えたシステムにおいて、符号化が復号に並行して行われるかどうか等に応じて通常復号機能と縮小復号機能とを切り替える制御が行われるようにしてもよい。各ストリーム復号部における復号処理がどのように制御されるのかは、メモリの容量、記憶部とストリーム復号部間で転送可能なデータ量、および記憶部と画像データ符号化部間で転送可能なデータ量に基づいて決定することができる。

また、画像データ符号化部を複数備えたシステムにおいて、符号化を行っている画像データ符号化部の数に応じて、各ストリーム復号部が通常復号機能と縮小復号機能のいずれによって符号化画像データを復号するかが制御されるようにしてもよい。

また、ストリーム復号部を複数備えたシステムにおいて、他のストリーム復号部で復号が行われているかに応じて、あるいは復号を行っているストリーム復号部の数に応じて、各ストリーム復号部が通常復号機能と縮小復号機能のいずれによって符号化画像データを復号するかが制御されるようにしてもよい。

《発明の実施形態４》
本発明の実施形態４として、ＭＰＥＧ２方式で符号化されたＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像の１ストリームの符号化画像データに基づく画像を逆再生する画像データ復号装置について説明する。

本実施形態の画像データ復号装置は、実施形態３で説明した多重分離部３０１、記憶部３０２、およびストリーム復号部３０３とそれぞれ同じ機能を有する多重分離部、記憶部、およびストリーム復号部を備えている。また、ストリーム復号部において、符号化画像データが通常復号機能と縮小復号機能のいずれによって復号されるかを制御信号に基づいて制御する復号部制御部を備えている。また、本実施形態のストリーム復号部は、実施形態３のストリーム復号部３０３の機能に加え、逆再生用の復号を行い、符号化画像データに基づく画像を逆再生する機能を有している。

制御信号は、ストリーム復号部が符号化画像データに基づく画像を通常再生する場合（通常再生時）はケース１の値、ストリーム復号部が符号化画像データに基づく画像を逆再生する場合（逆再生時）は、ケース２の値となるように、図示しない制御部によって生成されるようになっている。

そして、復号部制御部は、制御信号の値がケース１の場合は、ストリーム復号部において符号化画像データが通常復号機能によって復号され、制御信号の値がケース２の場合は、ストリーム復号部において符号化画像データが縮小復号機能によって復号されるように制御するようになっている。

次に、上記のように構成された画像データ復号装置の復号部制御部の動作について、図１４を参照して説明する。

（Ｓ５００） 制御処理を開始する。

（Ｓ５０１） 制御信号を受信する。

（Ｓ５０２） 制御信号の値がケース１であれば（Ｓ５０３）に進み、ケース２であれば（Ｓ５０４）に進む。

（Ｓ５０３） ストリーム復号部に対し、通常復号機能によって符号化画像データを復号するように指示する。

（Ｓ５０４） ストリーム復号部に対し、縮小復号機能によって符号化画像データを復号するように指示する。

（Ｓ５０５） ストリーム復号部に、（Ｓ５０３）または（Ｓ５０４）の指示に従った復号処理を開始させる。

（Ｓ５０６） 制御処理を終了する。

ストリーム復号部は上記復号部制御部の指示に従って復号処理を行う。

ここで、通常再生時には３フレーム分、逆再生時には６フレーム分の復号画像データが記憶される場合の、記憶部に記憶される復号画像データの容量について、図１５と図１６を参照して説明する。

図１５は、逆再生時であっても、通常復号機能によって符号化画像データが復号されるように画像データ復号装置が構成された場合の、通常再生時と逆再生時とに記憶部に記憶される復号画像データの容量を示す図である。

逆再生時であっても通常復号機能によって符号化画像データが復号されるように画像データ復号装置が構成された場合、通常再生時に記憶部に記憶される復号画像データの容量は、図１５（ａ）に示すように、３ＭＢ×３フレーム、すなわち９ＭＢである。一方、逆再生時に記憶部に記憶される復号画像データの容量は、図１５（ｂ）に示すように、３ＭＢ×６フレーム、すなわち１８ＭＢである。この場合、記憶部は、復号画像データを記憶する領域として、１８ＭＢの容量の領域を備える必要がある。

図１６は、本実施形態の画像データ復号装置において、通常再生時と逆再生時とに記憶部に記憶される復号画像データの容量を示す図である。

本実施形態において、通常再生時に記憶部に記憶される復号画像データの容量は、図１６（ａ）に示すように、３ＭＢ×３フレーム、すなわち９ＭＢである。一方、逆再生時に記憶部に記憶される復号画像データの容量は、縮小復号機能による符号化画像データの復号が行われるので、図１６（ｂ）に示すように、１フレーム分の復号画像データの容量が半分になるので、１．５ＭＢ×６フレーム、すなわち９ＭＢとなる。この場合、通常再生時に記憶部に記憶される復号画像データの容量と逆再生時に記憶部に記憶される復号画像データの容量は等しく、復号画像データを記憶するために必要とされる記憶部の領域の容量は９ＭＢとなる。

ここで、逆再生において、再生速度を上げるためには、多くのフレームの復号画像データが記憶されるようにすること、すなわちフレームメモリの数が多いことが重要である。以下、再生速度とフレームメモリの数の関係について、図２を参照して、Ｐ１４の符号化画像データを復号する場合を例として説明する。

Ｐ１４の符号化画像データを復号するためには、Ｉ２、Ｐ５、Ｐ８、Ｐ１１の符号化データを順番に復号する必要がある。したがって、例えば、逆再生時に、通常再生時と同じ３フレーム分の復号画像データしか記憶されないようになっている場合、同じ符号化データを何度も復号する必要が生じる。例えば、Ｐ１４の符号化画像データを復号するためにＩ２、Ｐ５、Ｐ８、Ｐ１１の符号化データが復号されるが、これら４フレーム分の復号画像データのいずれかは、記憶されないので、その後Ｐ１１等の符号化データを復号する際に再度復号される必要が生じる。このように同じ符号化データを何度も復号することは、再生速度の低下を招いてしまう。一方、例えば、本実施形態のように逆再生時に６フレーム分の復号画像データが記憶されるようになっている場合、参照フレームであるＩ２、Ｐ５、Ｐ８、Ｐ１１、Ｐ１４の符号化画像データが一度復号されてそれらの復号画像データが記憶されると、それ以降は残りのＢフレームを復号するだけでよくなる。つまり、同じ符号化画像データが何度も復号されることはなく、３フレーム分の復号画像データしか記憶されないようになっている場合に比べ、再生速度が大幅に高くなる。

なお、縮小復号機能の画像サイズの縮小率を下げること（１／２より小さくすること）により、記憶領域の容量を増やすことなく、記憶される符号化画像データの数、すなわちフレームメモリの数を増やすことができる。これにより、Ｂピクチャのフレームも記憶させておくことが可能になる。

このように、逆再生時のフレームメモリの数と再生速度には密接な関係があり、再生速度を上げるためには、多くのフレームの復号画像データが記憶されるようにすること、すなわちフレームメモリの数が多いことが重要である。

なお、上記の逆再生時における再生方法は一例であり、他の再生方法に本発明を適用してもよい。

上記のような復号部制御部の制御により、メモリの容量が限られている場合でも、逆再生時の再生スピードを上げることができる。再生スピードが上がることは、結果として操作性の向上に繋がる。

さらに、システム全体の処理スピードやコスト、および映像の品位等を考慮して、逆再生時に縮小復号機能で復号が行われるようにする本実施形態の制御機能が機能するモードと機能しないモードを切り替えることができるように構成してもよい。

なお、本実施形態では、逆再生の例を示したが、その他の特殊再生においても同様の制御が可能である。

また、本実施形態では、通常再生時、記憶部に３フレーム分の復号画像データが記憶され、逆再生時、記憶部に６フレーム分の復号画像データが記憶される場合について説明したが、記憶される復号画像データのフレーム数はこれに限られない。

《その他の実施形態》
また、上記実施形態１〜４および実施形態２の変形例において、縮小復号機能は、原画像データより１画素あたりのデータ量が少ない復号画像データに復号する機能であってもよい。つまり、縮小復号機能は、必ずしも画像サイズを小さくする（画素数を少なくする）機能に限らず、復号画像データのデータ量を少なくして復号する機能でさえあればよい。

なお、上記実施形態１〜４および実施形態２の変形例において、符号化画像データを、符号化前の原画像データと等しい画像サイズ、すなわち符号化前の原画像データの１倍の画像サイズの復号画像データに復号する通常復号機能と、符号化前の原画像データの１／２の画像サイズの復号画像データに復号する縮小復号機能とが切り替えられるようになっていたが、画像サイズの倍率は１倍や１／２倍に限らない。

なお、上記実施形態１、２および実施形態２の変形例において、各ストリームの復号画像データの記憶に用いられるフレームメモリの数は３つであったが、これに限らず、任意の数設けてもよい。

また、Ｉピクチャ、Ｐピクチャ、およびＢピクチャを記憶するフレームメモリの割り当て方法も、上記実施形態１、２、４の例に限らない。

また、フレームメモリのサイズも上記実施形態で挙げた例に限られず、他のサイズであってもよい。

また、上記実施形態１、２、４および実施形態２の変形例では、符号化画像データが縮小復号機能で復号された場合、復号画像データの輝度成分と色差成分のいずれもが原画像データよりも縮小されることを想定していたが、輝度成分と色差成分のどちらか一方だけが縮小されるようにしてもよい。

また、上記実施形態１、２、および実施形態２の変形例では、２つのストリームの符号化画像データが復号されるようになっていたが、３つ以上のストリームの符号化画像データを復号する場合にも本発明を適用することができる。

また、上記実施形態３、４では、１つのストリームの符号化画像データが復号されるようになっていたが、２つ以上のストリームの符号化画像データを復号する場合にも本発明を適用することができる。

また、上記の実施形態においては、ＭＰＥＧ２方式で符号化されたＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像の符号化画像データを復号する画像データ復号装置について説明したが、他の規格によって符号化された符号化画像データを復号する画像データ復号装置であっても本発明を適用できる。例えば、ＩＳＯ／ＩＥＣ標準の標準番号１４４９６−２で規定されるＭＰＥＧ４−ビジュアル、またはＩＳＯ／ＩＥＣ標準の標準番号１４４９６−１０で規定されるＭＰＥＧ４−ＡＶＣの国際標準に準拠した符号化が行われた符号化画像データを復号する画像データ復号装置にも本発明を適用できる。また、ＩＳＯ／ＩＥＣ標準の標準番号１０９１８−１で規定されるＪＰＥＧの国際標準に準拠した符号化が行われた符号化画像データを復号する画像データ復号装置にも本発明を適用できる。さらに、ＳＭＰＴＥ４２１Ｍで規定されるＶＣ１の規格に準拠した符号化が行われた符号化画像データを復号する画像データ復号装置にも本発明を適用できる。

本発明に係る画像データ復号装置は、画質の低下を最小限に抑えつつ、メモリの容量を減らすことができるという効果を有し、例えば、デジタル符号化された符号化画像データを復号する画像データ復号装置、特に符号化画像データを符号化前の原画像データよりデータ量の少ない復号画像データに復号する機能を有する画像データ復号装置等として有用である。

ＭＰＥＧ方式で符号化されたストリーム画像データを構成するシーケンス層、ＧＯＰ層、およびピクチャ層の階層構造を示す説明図である。 本発明の実施形態に係る画像データ復号装置が復号するＭＰＥＧ方式で符号化された符号化画像データのＧＯＰの構成を示す説明図である。 本発明の実施形態１に係る画像データ復号装置の構成を示すブロック図である。 同、制御信号の値と復号部制御部１０８が行う制御との関係を示す説明図である。 同、復号部制御部１０８の制御動作を示すフローチャートである。 同、第１復号部１０４と第２復号部１０５の動作を示すタイミングチャートである。 同、制御信号の値がケース１からケース４に変化した場合の、第１記憶部１０６と第２記憶部１０７とに記憶される復号画像データの容量の変化を示す説明図である。 本発明の実施形態２に係る画像データ復号装置の構成を示すブロック図である。 同、復号部制御部２０８の制御動作を示すフローチャートである。 同、ストリーム復号部２０３の動作を示すタイミングチャートである。 同、復号部制御部２０８が、ストリーム復号部２０３において各フレームの符号化画像データが通常復号機能と縮小復号機能のいずれによって復号されるかを制御する動作を示すフローチャートである。 本発明の実施形態３に係る画像データ復号装置の構成を示すブロック図である。 同、ストリーム復号部３０３と復号部制御部３０４の動作を示すフローチャートである。 本発明の実施形態４に係る画像データ復号装置の復号部制御部の動作を示すフローチャートである。 逆再生時であっても、通常復号機能によって符号化画像データが復号されるように画像データ復号装置が構成された場合の、通常再生時と逆再生時とに記憶部に記憶される復号画像データの容量を示す図である。 本発明の実施形態４に係る画像データ復号装置において、通常再生時と逆再生時とに記憶部に記憶される復号画像データの容量を示す図である。 ２本のストリームの符号化画像データを並行して復号する画像データ復号装置の想定される構成を示すブロック図である。

符号の説明

１０１ 第１多重分離部
１０２ 第２多重分離部
１０３ ストリーム復号部
１０４ 第１復号部
１０５ 第２復号部
１０６ 第１記憶部
１０７ 第２記憶部
１０８ 復号部制御部
２０３ ストリーム復号部
２０６ 記憶部
２０８ 復号部制御部
３０１ 多重分離部
３０２ 記憶部
３０３ ストリーム復号部
３０４ 復号部制御部
３０５ 記憶部
３０６ 画像データ符号化部
４０１ 第１多重分離部
４０２ 第１記憶部
４０３ 第１復号部
４０４ 第２多重分離部
４０５ 第２記憶部
４０６ 第２復号部

Claims (17)

1. 複数ストリームの符号化画像データを並行して復号可能な画像データ復号装置であって、
   上記複数ストリームの符号化画像データをそれぞれ、符号化前の原画像データと等しい画像サイズの復号画像データに復号する通常復号機能、および符号化前の原画像データより小さい画像サイズの復号画像データに復号する縮小復号機能のいずれか一方によって並行して復号するストリーム復号部と、
   上記ストリーム復号部によって復号された各ストリームの復号画像データを記憶する記憶部と、
   上記ストリーム復号部において、各ストリームの符号化画像データが上記通常復号機能と上記縮小復号機能のいずれによって復号されるかを制御する復号部制御部と、
   を備えたことを特徴とする画像データ復号装置。
2. 請求項１の画像データ復号装置であって、
   上記ストリーム復号部は、それぞれ各ストリームの符号化画像データを復号する複数の復号部を備えていることを特徴とする画像データ復号装置。
3. 請求項１の画像データ復号装置であって、
   上記ストリーム復号部は、
   復号する符号化画像データのストリームを、所定のタイミング毎に切り替えることによって、複数ストリームの符号化画像データを並行して復号するように構成されていることを特徴とする画像データ復号装置。
4. 請求項３の画像データ復号装置であって、
   上記所定のタイミングは、復号する符号化画像データのストリームが前回切り替わったタイミングから、所定単位の符号化画像データの復号が終了するタイミングであることを特徴とする画像データ復号装置。
5. 請求項３の画像データ復号装置であって、
   上記所定のタイミングは、復号する符号化画像データのストリームが前回切り替わったタイミングから、所定時間が経過するタイミングであることを特徴とする画像データ復号装置。
6. 請求項１の画像データ復号装置であって、
   上記復号画像データは、他の復号画像データの復号のために参照される被参照復号画像データを含み、
   上記復号部制御部は、所定の制御信号に基づいて、所定のストリームの符号化画像データが上記縮小復号機能によって復号されるように指示している場合であっても、被参照復号画像データは、通常復号機能によって復号されるように制御するように構成されていることを特徴とする画像データ復号装置。
7. 請求項１の画像データ復号装置であって、
   メモリの同一の領域が、複数のストリームの復号処理に共通に用いられるように構成されていることを特徴とする画像データ復号装置。
8. 請求項１の画像データ復号装置であって、
   上記縮小復号機能は、低解像度の復号によって、符号化画像データを符号化前の原画像データより小さい画像サイズの復号画像データに復号する機能であることを特徴とする画像データ復号装置。
9. 請求項１の画像データ復号装置であって、
   上記縮小復号機能は、フィルタリングによって、符号化画像データを符号化前の原画像データより小さい画像サイズの復号画像データに復号する機能であることを特徴とする画像データ復号装置。
10. 請求項１の画像データ復号装置であって、
    上記符号化画像データは、ＩＳＯ／ＩＥＣ標準の標準番号１１１７２−２で規定されるＭＰＥＧ１ビデオ、またはＩＳＯ／ＩＥＣ標準の標準番号１３８１８−２で規定されるＭＰＥＧ２ビデオの国際標準に準拠した符号化が行われたデータであることを特徴とする画像データ復号装置。
11. 請求項１の画像データ復号装置であって、
    上記符号化画像データは、ＩＳＯ／ＩＥＣ標準の標準番号１４４９６−２で規定されるＭＰＥＧ４−ビジュアル、またはＩＳＯ／ＩＥＣ標準の標準番号１４４９６−１０で規定されるＭＰＥＧ４−ＡＶＣの国際標準に準拠した符号化が行われたデータであることを特徴とする画像データ復号装置。
12. 請求項１の画像データ復号装置であって、
    上記符号化画像データは、ＩＳＯ／ＩＥＣ標準の標準番号１０９１８−１で規定されるＪＰＥＧの国際標準に準拠した符号化が行われたデータであることを特徴とする画像データ復号装置。
13. 請求項１の画像データ復号装置であって、
    上記符号化画像データは、ＳＭＰＴＥ４２１Ｍで規定されるＶＣ１の規格に準拠した符号化が行われたデータであることを特徴とする画像データ復号装置。
14. 画像データ復号装置が複数ストリームの符号化画像データを並行して復号する画像データ復号方法であって、
    ストリーム復号部が、上記複数ストリームの符号化画像データをそれぞれ、符号化前の原画像データと等しい画像サイズの復号画像データに復号する通常復号機能、および符号化前の原画像データより小さい画像サイズの復号画像データに復号する縮小復号機能のいずれか一方によって並行して復号するステップと、
    記憶部が、上記ストリーム復号部によって復号された各ストリームの復号画像データを記憶するステップと、
    復号部制御部が、上記ストリーム復号部において、各ストリームの符号化画像データが上記通常復号機能と上記縮小復号機能のいずれによって復号されるかを制御するステップとを備えたことを特徴とする画像データ復号方法。
15. 符号化画像データを復号する画像データ復号装置であって、
    符号化画像データを、符号化前の原画像データと等しい画像サイズの復号画像データに復号する通常復号機能、および符号化前の原画像データより小さい画像サイズの復号画像データに復号する縮小復号機能のいずれか一方によって復号するストリーム復号部と、
    上記ストリーム復号部によって復号された復号画像データを記憶する記憶部と、
    原画像データを符号化する符号化部と、
    上記符号化部において符号化が行われていない場合は、上記ストリーム復号部において符号化画像データが上記通常復号機能によって復号され、上記符号化部において符号化が行われている場合は、上記ストリーム復号部において符号化画像データが上記縮小復号機能によって復号されるように制御する復号部制御部と、
    を備えたことを特徴とする画像データ復号装置。
16. 符号化画像データを復号する画像データ復号装置であって、
    符号化画像データを、符号化前の原画像データと等しい画像サイズの復号画像データに復号する通常復号機能、および符号化前の原画像データより小さい画像サイズの復号画像データに復号する縮小復号機能のいずれか一方によって復号するストリーム復号部と、
    上記ストリーム復号部によって復号された復号画像データを記憶する記憶部と、
    上記ストリーム復号部において、符号化画像データが上記通常復号機能と上記縮小復号機能のいずれによって復号されるかを、上記復号画像データの再生方法に応じて制御する復号部制御部と、
    を備えたことを特徴とする画像データ復号装置。
17. 請求項１６の画像データ復号装置であって、
    上記復号部制御部は、上記ストリーム復号部において、上記復号画像データが通常再生される場合は、上記符号化画像データが上記通常復号機能によって復号され、上記復号画像データが逆再生される場合は、上記符号化画像データが上記縮小復号機能によって復号されるように制御するように構成されていることを特徴とする画像データ復号装置。

Images