JP2016165147A - 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 - Google Patents

Abstract

【課題】類似する複数の映像に対し、処理量の増加や映像品質の低下を招くことなく、効率的な圧縮を行う。
【解決手段】シーン内・シーン間適応符号化部６が、データ記録部２に記録されたマスターストリーム内のシーン映像単位の符号化データの中で、シーン間予測判定部５により予測参照に用いる代わりの符号化データが検索されていない符号化データと、シーン間予測判定部５により検索された符号化データとを予測参照に用いて、そのＭＰＥＧ−２ビデオビットストリームをスレーブストリームに変換する。
【選択図】図１

Description

この発明は、画像を圧縮符号化して符号化データを伝送又は記録する画像符号化装置及び画像符号化方法と、画像符号化装置により伝送又は記録された符号化データから画像を復号する画像復号装置及び画像復号方法とに関するものである。

従来の画像符号化装置が所定の映像シーケンスを圧縮符号化する際には、当該映像シーケンス内の空間的相関又は時間的相関を利用して予測符号化を行うことで、圧縮効率を高めるように構成されている。
一方、近年のＨＤＤ内蔵型デジタル録画機器やクラウド型システム等においては、膨大な記録空間内において、多数の圧縮された映像ストリームが管理されるため、条件によっては、異なる映像シーケンス間でも映像の内容が類似する状況が増加する。

このような状況下では、異なる映像シーケンス間に存在する相関も活用して、更なるデータ圧縮を行うことができる。
以下の特許文献１には、ＨＤＤ内蔵型デジタル録画機器において、複数の異なる録画番組間で比較を行い、その比較結果に基づいて得られる差分情報を圧縮符号化することで、複数の録画番組を高い圧縮効率で記録する技術が開示されている。

特開２００６−２６２３１１号公報（段落番号［０００６］）

従来の画像符号化装置は以上のように構成されているので、異なる映像ストリーム間で常に同一時刻のフレームの信号を比較評価尺度として差分をとり、その差分信号を圧縮符号化している。このため、映像間で類似するカットの時刻にずれがある等の場合には、効率的な圧縮を行うことができない課題があった。
また、映像ストリーム全般にわたって画像信号レベルでの比較を実施しているため、処理量が増加してしまう課題もあった。

この発明は上記のような課題を解決するためになされたもので、処理量の増加や映像品質の低下を招くことなく、効率的な圧縮を行うことができる画像符号化装置及び画像符号化方法を得ることを目的とする。
また、この発明は、効率的に圧縮されている画像を復号することができる画像復号装置及び画像復号方法を得ることを目的とする。

この発明に係る画像符号化装置は、第１の映像符号化方式に従う映像符号化データ内のシーン映像データ毎に、他のシーン映像データを用いる予測参照を選択的に適用して第２の映像符号化方式に従う映像符号化データに変換する映像符号化データ変換手段を備え、映像符号化データ変換手段は、第１の映像符号化データ内のシーン映像単位の符号化データを変換するにあたって、予測参照に用いるべき他のシーン映像単位の符号化データを探索し、探索されたシーン映像単位の符号化データを予測参照に用いるか否かを選択して、第１のシーン映像単位の符号化データを第２の映像符号化方式に従う映像符号化データに変換するとともに、探索されたシーン映像単位の符号化データを予測参照に用いたか否かを示すメタデータを生成するようにしたものである。

この発明によれば、第１の映像符号化方式に従う映像符号化データ内のシーン映像データ毎に、他のシーン映像データを用いる予測参照を選択的に適用して第２の映像符号化方式に従う映像符号化データに変換する映像符号化データ変換手段を備え、映像符号化データ変換手段は、第１の映像符号化データ内のシーン映像単位の符号化データを変換するにあたって、予測参照に用いるべき他のシーン映像単位の符号化データを探索し、探索されたシーン映像単位の符号化データを予測参照に用いるか否かを選択して、第１のシーン映像単位の符号化データを第２の映像符号化方式に従う映像符号化データに変換するとともに、探索されたシーン映像単位の符号化データを予測参照に用いたか否かを示すメタデータを生成するように構成したので、処理量の増加や映像品質の低下を招くことなく、効率的な圧縮を行うことができる効果がある。

この発明の実施の形態１による画像符号化装置を示す構成図である。 この発明の実施の形態１による画像符号化装置の処理内容（画像符号化方法）を示すフローチャートである。 この発明の実施の形態１による画像符号化装置のシーン内・シーン間適応符号化部６を示す構成図である。 この発明の実施の形態１による画像復号装置を示す構成図である。 この発明の実施の形態１による画像復号装置の処理内容（画像符号化方法）を示すフローチャートである。 スレーブ符号化データとマスターストリームの関係を示す説明図である。 シーン内・シーン間適応符号化部６におけるシーン内予測符号化部１４及びシーン間予測符号化部１５の処理を示す説明図である。 この発明の実施の形態２による画像符号化装置を示す構成図である。 マスターストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」とスレーブストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」とが含まれている単一のビデオビットストリームを示す説明図である。 マスターストリームの中から、スレーブストリーム符号化管理情報が示すシーン映像の符号化データを抽出する様子を示す説明図である。 マスターストリームとスレーブストリームが交互に繰り返されている単一のＭＰＥＧ−２ビデオビットストリームを示す説明図である。 マスターストリームの時間的な長さと、スレーブストリームの時間的な長さとが異なっているＭＰＥＧ−２ビデオビットストリームを示す説明図である。 シーンチェンジ直後のシーン映像がマスターストリームであるＭＰＥＧ−２ビデオビットストリームを示す説明図である。 単一のＭＰＥＧ−２ビデオビットストリームに含まれている各々のストリームがマスターストリームであるのか、スレーブストリームであるのかを示すｆｌａｇを示す説明図である。 符号化中のシーン映像とは明らかに性質が異なるシーン映像が飛ばされているＭＰＥＧ−２ビデオビットストリームを示す説明図である。 レコード（画像符号化装置、画像復号装置）がネットワークに接続されているシステム例を示す構成図である。 Ｉピクチャだけの変換例を示す説明図である。 Ｉ，Ｐピクチャだけの変換例を示す説明図である。 この発明の実施の形態４による画像符号化装置の処理内容を示すフローチャートである。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
この実施の形態１では、ＭＰＥＧ−２ビデオビットストリームを受信し、そのＭＰＥＧ−２ビデオビットストリームを再圧縮して記録する機器ないしシステムにおいて、品質低下を抑制して効率的に再圧縮を行う画像符号化装置と、当該画像符号化装置から出力された符号化データに基づいて映像信号を再生する画像復号装置について説明する。

図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
図１において、シーン相関測定パラメータ算出部１は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、ＭＰＥＧ−２映像符号化方式によって圧縮符号化されたＭＰＥＧ−２ビデオビットストリーム（第１の映像符号化データ）を入力すると、そのＭＰＥＧ−２ビデオビットストリームに含まれている各シーンの映像（以下、「シーン映像」と称する）毎に、他のシーン映像との相関を測定する尺度となるシーン相関測定パラメータを算出する処理を実施する。
ここで、シーンは、所定の時間の単位でもよいし、ＭＰＥＧ−２ビデオビットストリームのデータ構造を規定するＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）、即ち、ＭＰＥＧ−２ビデオビットストリームに対してランダムアクセスが可能なデータ単位（２つのＩピクチャ間に含まれる全ピクチャデータ）などでもよい。
なお、シーン相関測定パラメータ算出部１はシーン相関測定パラメータ算出手段を構成している。

データ記録部２は例えばハードディスクやＳＳＤなどの記録媒体から構成されており、シーン相関測定パラメータ算出部１により算出されたシーン相関測定パラメータを記録する。
また、データ記録部２は後述するＨ．２６４変換部４により変換されたマスターストリーム（第２の映像符号化データ）を記録するとともに、後述する多重化部７から出力されたスレーブ符号化データなどを記録する。
スレーブ符号化データの詳細は後述するが、シーン内・シーン間適応符号化部６により変換されたスレーブストリーム（第３の映像符号化データ）の中で、シーン間予測判定部５により検索された符号化データを用いずに変換されたシーン映像単位の符号化データ（シーン内予測符号化データ）と、シーン間予測判定部５により検索された符号化データなどを示すスレーブストリーム符号化管理情報とから構成されている。
なお、データ記録部２はデータ記録手段を構成している。

スイッチ３は外部から与えられる再圧縮方法識別信号が「ＭＰＥＧ−２ビデオビットストリームをマスターストリームとして再圧縮する」旨を指示している場合、シーン相関測定パラメータ算出部１から出力されたＭＰＥＧ−２ビデオビットストリームをＨ．２６４変換部４に与え、その再圧縮方法識別信号が「ＭＰＥＧ−２ビデオビットストリームをスレーブストリームとして再圧縮する」旨を指示している場合、シーン相関測定パラメータ算出部１から出力されたＭＰＥＧ−２ビデオビットストリームをシーン内・シーン間適応符号化部６に与える処理を実施する。

Ｈ．２６４変換部４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、スイッチ３からＭＰＥＧ−２ビデオビットストリームが与えられると、そのＭＰＥＧ−２ビデオビットストリームを所定の処理手順によってＨ．２６４映像符号化方式に従うビデオビットストリームに変換し、そのビデオビットストリームをマスターストリームとしてデータ記録部２に記録する処理を実施する。なお、Ｈ．２６４変換部４は第１の映像符号化データ変換手段を構成している。

シーン間予測判定部５は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、シーン相関測定パラメータ算出部１により算出されたシーン相関測定パラメータ（相関測定パラメータＡ，相関測定パラメータＢ）に基づいて、データ記録部２に記録されているマスターストリーム内のシーン映像単位の符号化データの中から、シーン内・シーン間適応符号化部６が予測符号化する際に、ＭＰＥＧ−２ビデオビットストリーム内のシーン映像単位の符号化データの代わりに予測参照に用いる符号化データを検索する処理を実施する。なお、シーン間予測判定部５は符号化データ検索手段を構成している。
シーン相関測定パラメータＡは、再圧縮方法識別信号が「ＭＰＥＧ−２ビデオビットストリームをマスターストリームとして再圧縮する」旨を指示している際に算出されたパラメータであり、シーン相関測定パラメータＢは、再圧縮方法識別信号が「ＭＰＥＧ−２ビデオビットストリームをスレーブストリームとして再圧縮する」旨を指示している際に算出されたパラメータである。

即ち、シーン間予測判定部５はシーン相関測定パラメータ算出部１により算出されたシーン相関測定パラメータＡ，Ｂを用いて、ＭＰＥＧ−２ビデオビットストリーム内の各々のシーン映像と、データ記録部２に記録されているマスターストリーム内の各々のシーン映像との相関値を測定するとともに、ＭＰＥＧ−２ビデオビットストリーム内の各々のシーン映像に対して、相関値が最高のマスターストリーム内のシーン映像を特定し、その相関値が所定値以上であれば、そのシーン映像の符号化データを予測参照に用いる符号化データに決定する処理を実施する。
また、シーン間予測判定部５は予測参照に用いる符号化データが見つかれば（相関が高いシーン映像が存在する場合）、「当該処理対象のシーンでは、マスターストリーム内の相関が高いシーン映像の符号化データを利用して符号化を行う」旨を示し、予測参照に用いる符号化データが見つからなければ（相関が高いシーン映像の符号化データが存在しない場合）、「当該処理対象のシーンでは、マスターストリーム内の符号化データを使用せず、シーン内に閉じた符号化を行う」旨を示すスレーブストリーム符号化管理情報をシーン内・シーン間適応符号化部６及び多重化部７に出力する処理を実施する。

なお、スレーブストリーム符号化管理情報には、少なくとも、データ記録部２に記録される複数のビットストリームデータのうち、マスターストリームを特定するマスターストリームＩＤ、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いるか否かを特定するシーン間予測指示フラグ、マスターストリーム上でのマスターシーン（予測参照に用いるシーン）を特定するマスターシーンＩＤなどを含んでいる。

シーン内・シーン間適応符号化部６は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、データ記録部２に記録されたマスターストリーム内のシーン映像単位の符号化データの中で、シーン間予測判定部５により予測参照に用いる代わりの符号化データが検索されていない符号化データと、シーン間予測判定部５により検索された符号化データとを予測参照に用いて、そのＭＰＥＧ−２ビデオビットストリームをスレーブストリームに変換する処理を実施する。なお、シーン内・シーン間適応符号化部６は第２の映像符号化データ変換手段を構成している。

多重化部７は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、シーン内・シーン間適応符号化部６により変換されたスレーブストリームと、シーン間予測判定部５から出力されたスレーブストリーム符号化管理情報とを多重化し、その多重化結果をスレーブ符号化データとしてデータ記録部２に記録する処理を実施する。

図１の例では、画像符号化装置の構成要素であるシーン相関測定パラメータ算出部１、データ記録部２、スイッチ３、Ｈ．２６４変換部４、シーン間予測判定部５、シーン内・シーン間適応符号化部６及び多重化部７のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像符号化装置がコンピュータで構成されていてもよい。
画像符号化装置がコンピュータで構成されている場合、データ記録部２をコンピュータのメモリ上に構成するとともに、シーン相関測定パラメータ算出部１、スイッチ３、Ｈ．２６４変換部４、シーン間予測判定部５、シーン内・シーン間適応符号化部６及び多重化部７の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図２はこの発明の実施の形態１による画像符号化装置の処理内容（画像符号化方法）を示すフローチャートである。

図３はこの発明の実施の形態１による画像符号化装置のシーン内・シーン間適応符号化部６を示す構成図である。
図３において、ＭＰＥＧ−２復号部１１はスイッチ３からＭＰＥＧ−２ビデオビットストリームが与えられると、そのＭＰＥＧ−２ビデオビットストリーム内の各々のシーン映像の符号化データに対する復号処理を実施して、シーン映像単位に復号画像を生成する処理を実施する。
スイッチ１２はシーン間予測判定部５から出力されたスレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いない旨を示していれば、ＭＰＥＧ−２復号部１１により生成された復号画像をシーン内予測符号化部１４に出力し、そのシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いる旨を示していれば、ＭＰＥＧ−２復号部１１により生成された復号画像をシーン間予測符号化部１５に出力する処理を実施する。

シーン間予測参照箇所抽出部１３はシーン間予測判定部５から出力されたスレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いる旨を示していれば、そのスレーブストリーム符号化管理情報に含まれているマスターストリームＩＤが示すマスターストリームの中から、マスターシーンＩＤが示すシーン映像の符号化データを抽出し、その符号化データに対するＨ．２６４復号処理を実施して、そのシーン映像の復号画像（以下、「マスターストリーム復号画像」と称する）を生成する処理を実施する。

シーン内予測符号化部１４はマスターストリーム内の符号化データを一切使用することなく、スイッチ１２から出力された復号画像に対してＨ．２６４圧縮符号化処理を実施し、その符号化処理結果であるシーン内予測符号化データを出力する処理を実施する。
シーン間予測符号化部１５はスイッチ１２から出力された復号画像の時間相関と、その復号画像とシーン間予測参照箇所抽出部１３により生成されたマスターストリーム復号画像における同一時刻位置の画像データ間の相関とを利用して、Ｈ．２６４の動き補償処理ないしイントラ予測を用いた圧縮符号化処理を実行して、その処理結果であるシーン間予測符号化データを出力する処理を実施する。

スレーブストリーム多重化部１６はシーン内予測符号化部１４から出力されたシーン内予測符号化データとシーン間予測符号化部１５から出力されたシーン間予測符号化データを多重化してスレーブストリームを生成し、そのスレーブストリームを多重化部７に出力する処理を実施する。

図４はこの発明の実施の形態１による画像復号装置を示す構成図である。
図４において、データ記録部２は図１の画像符号化装置のデータ記録部２と同じ記録部である。
スイッチ２１は外部から与えられるストリーム種別識別信号が「当該符号化データをマスターストリームとして復号する」旨を指示している場合、データ記録部２に記録されているマスターストリームを読み込んでＨ．２６４復号部２２に出力し、そのストリーム種別識別信号が「当該符号化データをスレーブ符号化データとして復号する」旨を指示している場合、データ記録部２に記録されているスレーブ符号化データを多重分離部２３に出力する処理を実施する。

Ｈ．２６４復号部２２は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、スイッチ２１からマスターストリームを受けると、そのマスターストリームに対してＨ．２６４映像符号化方式に従う所定の復号処理を実施することで、再生映像を生成する処理を実施する。なお、Ｈ．２６４復号部２２は第１の映像復号手段を構成している。

多重分離部２３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、スイッチ２１からスレーブ符号化データを受けると、そのスレーブ符号化データをスレーブストリームとスレーブストリーム符号化管理情報に分離する処理を実施する。
復号ストリーム成型部２４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、データ記録部２に記録されている複数のマスターストリームのうち、多重分離部２３により分離されたスレーブストリーム符号化管理情報に含まれているマスターストリームＩＤが示すマスターストリームを読み出すとともに、そのマスターストリームの中から、そのスレーブストリーム符号化管理情報に含まれているマスターシーンＩＤが示すシーン映像の符号化データを抽出し、その符号化データを多重分離部２３により分離されたスレーブストリームの対応するシーン映像の位置に埋め込むことで、復号ストリームを成型する処理を実施する。

スレーブ映像復号部２５は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、復号ストリーム成型部２４により成型された復号ストリームに対して、所定の復号処理を実施することで、スレーブ符号化データに対応する再生映像を生成する処理を実施する。
なお、多重分離部２３、復号ストリーム成型部２４及びスレーブ映像復号部２５から第２の映像復号手段が構成されている。

図４の例では、画像復号装置の構成要素であるデータ記録部２、スイッチ２１、Ｈ．２６４復号部２２、多重分離部２３、復号ストリーム成型部２４及びスレーブ映像復号部２５のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像復号装置がコンピュータで構成されていてもよい。
画像復号装置がコンピュータで構成されている場合、データ記録部２をコンピュータのメモリ上に構成するとともに、スイッチ２１、Ｈ．２６４復号部２２、多重分離部２３、復号ストリーム成型部２４及びスレーブ映像復号部２５の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図５はこの発明の実施の形態１による画像復号装置の処理内容（画像符号化方法）を示すフローチャートである。

次に動作について説明する。
最初に、図１の画像符号化装置の処理内容を説明する。
シーン相関測定パラメータ算出部１は、ＭＰＥＧ−２映像符号化方式によって圧縮符号化されたＭＰＥＧ−２ビデオビットストリームを入力すると、そのＭＰＥＧ−２ビデオビットストリームのシーン映像毎に、他のシーン映像との相関を測定する尺度となるシーン相関測定パラメータを算出する（図２のステップＳＴ１）。
ここで、シーンは、所定の時間の単位でもよいし、ＭＰＥＧ−２ビデオビットストリームのデータ構造を規定するＧＯＰ、即ち、ＭＰＥＧ−２ビデオビットストリームに対してランダムアクセスが可能なデータ単位（２つのＩピクチャ間に含まれる全ピクチャデータ）などでもよい。
シーン相関測定パラメータ算出部１により算出されたシーン映像毎のシーン相関測定パラメータは、データ記録部２に記録される。

ここで、シーン相関測定パラメータの具体的な事例について述べる。
シーン相関測定パラメータは、「２つのシーンの間の類似度」を測ることを可能とする量を用いるものである。
例えば、ＭＰＥＧ−２ビデオビットストリームのＩピクチャ符号化データに含まれるＤＣＴ係数のＤＣ成分から縮小画像を構成して、その縮小画像の輝度平均や輝度分散などのテクスチャ特徴、あるいは、その縮小画像の色平均や色分散などの色特徴を示す量を生成して、そのテクスチャ特徴又は色特徴を示す量をシーン相関測定パラメータとして利用することが考えられる。
また、そのＤＣ成分からなる縮小画像に対して、以下の非特許文献１に開示されている「Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅ」を生成し、「Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅ」をシーン相関測定パラメータとして利用するようにしてもよい。
［非特許文献１］
西川，Ｐ．Ｂｒａｓｎｅｔｔ他、“ＭＰＥＧ−７ 技術 Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅ：画像同定技術”、三菱電機技報２００８年１２月号

「Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅ」は、以下の非特許文献２に開示されているトレース変換を用いて、輝度情報を空間的周波数で表現した量であり、画像の同一性を評価するパラメータとして国際標準化されている。
具体的には、シーン先頭の「Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅ」、または、シーン内に含まれる複数のＩピクチャの縮小画像に対応する「Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅ」の集合をシーン相関測定パラメータとして利用することが考えられる。
［非特許文献２］
Ａ． Ｋａｄｙｒｏｖ、 Ｍ． Ｐｅｔｒｏｕ、 “Ｔｈｅ Ｔｒａｃｅ Ｔｒａｎｓｆｏｒｍ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ”、ＩＥＥＥ Ｔｒａｎｓ．Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ｖｏｌ．２３ ｎｏ．８ ｐｐ．８１１−８２８ ２００１

また、以下の非特許文献３に開示される「Ｖｉｄｅｏ Ｓｉｇｎａｔｕｒｅ」を生成し、「Ｖｉｄｅｏ Ｓｉｇｎａｔｕｒｅ」をシーン相関測定パラメータとして利用するようにしてもよい。
［非特許文献３］
工藤、西川、“画像同定技術（Ｖｉｓｕａｌ Ｓｉｇｎａｔｕｒｅ）”、 三菱電機技報２０１１年１１月号

上記のいずれにおいても、ＭＰＥＧ−２ビデオビットストリームのＩピクチャ符号化データに含まれるＤＣＴ係数のＤＣ成分から縮小画像を生成して、その縮小画像に対する特徴量をシーン相関測定パラメータとしているが、ＭＰＥＧ−２ビデオビットストリームを画像データに復号して、復号画像レベルで同様の特徴量の抽出を実行するようにしてもよい。
これにより、処理量は増加するが、実際の画像データに即した特徴量を抽出することができる。

スイッチ３は、外部から与えられる再圧縮方法識別信号が「ＭＰＥＧ−２ビデオビットストリームをマスターストリームとして再圧縮する」旨を指示していれば（ステップＳＴ２）、シーン相関測定パラメータ算出部１から出力されたＭＰＥＧ−２ビデオビットストリームをＨ．２６４変換部４に与える。
一方、その再圧縮方法識別信号が「ＭＰＥＧ−２ビデオビットストリームをスレーブストリームとして再圧縮する」旨を指示していれば（ステップＳＴ２）、シーン相関測定パラメータ算出部１から出力されたＭＰＥＧ−２ビデオビットストリームをシーン内・シーン間適応符号化部６に与える。

Ｈ．２６４変換部４は、スイッチ３からＭＰＥＧ−２ビデオビットストリームが与えられると、そのＭＰＥＧ−２ビデオビットストリームを所定の処理手順によってＨ．２６４映像符号化方式に従うビデオビットストリームに変換し、そのビデオビットストリームをマスターストリームとしてデータ記録部２に記録する（ステップＳＴ３）。

シーン間予測判定部５は、シーン相関測定パラメータ算出部１がシーン相関測定パラメータＡ又はシーン相関測定パラメータＢを算出すると、そのシーン相関測定パラメータＡ，Ｂに基づいて、データ記録部２に記録されているマスターストリーム内のシーン映像単位の符号化データの中から、シーン内・シーン間適応符号化部６が予測符号化する際に、ＭＰＥＧ−２ビデオビットストリーム内のシーン映像単位の符号化データの代わりに予測参照に用いる符号化データを検索する。
シーン相関測定パラメータＡは、再圧縮方法識別信号が「ＭＰＥＧ−２ビデオビットストリームをマスターストリームとして再圧縮する」旨を指示している際に算出されたパラメータであり、シーン相関測定パラメータＢは、再圧縮方法識別信号が「ＭＰＥＧ−２ビデオビットストリームをスレーブストリームとして再圧縮する」旨を指示している際に算出されたパラメータである。
以下、シーン間予測判定部５による符号化データの検索処理を具体的に説明する。

まず、シーン間予測判定部５は、シーン相関測定パラメータ算出部１により算出されたシーン相関測定パラメータＡ，Ｂを用いて、ＭＰＥＧ−２ビデオビットストリーム内の各々のシーン映像と、データ記録部２に記録されているマスターストリーム内の各々のシーン映像との相関値を測定する。
次に、シーン間予測判定部５は、ＭＰＥＧ−２ビデオビットストリーム内のシーン映像毎に、当該シーン映像に対するマスターストリーム内の各々のシーン映像の相関値を比較し、最も相関値が大きいマスターストリーム内のシーン映像を探索する。
シーン間予測判定部５は、最も相関値が大きいマスターストリーム内のシーン映像を探索すると、その相関値が予め設定している所定値以上であれば、そのシーン映像の符号化データを予測参照に用いるシーン映像に決定する。
一方、その相関値が予め設定している所定値に満たなければ、そのマスターストリーム内のシーン映像の符号化データを予測参照に用いないものとする。

なお、シーン間予測判定部５による最も相関値が大きいマスターストリーム内のシーン映像を探索する処理は、シーン相関測定パラメータＡとシーン相関測定パラメータＢのマッチング処理に対応し、例えば、上記の非特許文献３に開示されている「Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅ」や「Ｖｉｄｅｏ Ｓｉｇｎａｔｕｒｅ」などのマッチング処理を利用することができる。

シーン間予測判定部５は、シーン内・シーン間適応符号化部６が予測参照に用いる符号化データが見つかれば（ＭＰＥＧ−２ビデオビットストリーム内のシーン映像と相関が高いマスターストリーム内のシーン映像が存在する場合）、「当該処理対象のシーンでは、マスターストリーム内の相関が高いシーン映像の符号化データを利用して符号化を行う」旨を示すスレーブストリーム符号化管理情報をシーン内・シーン間適応符号化部６及び多重化部７に出力する。
一方、シーン内・シーン間適応符号化部６が予測参照に用いる符号化データが見つからなければ（ＭＰＥＧ−２ビデオビットストリーム内のシーン映像と相関が高いマスターストリーム内のシーン映像が存在しない場合）、「当該処理対象のシーンでは、マスターストリーム内の符号化データを使用せず、シーン内に閉じた符号化を行う」旨を示すスレーブストリーム符号化管理情報をシーン内・シーン間適応符号化部６及び多重化部７に出力する。

なお、スレーブストリーム符号化管理情報には、少なくとも、データ記録部２に記録される複数のビットストリームデータのうち、マスターストリームを特定するマスターストリームＩＤ、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いるか否かを特定するシーン間予測指示フラグ、マスターストリーム上でのマスターシーン（予測参照に用いるシーン）を特定するマスターシーンＩＤなどを含んでいる。

シーン間予測判定部５からスレーブストリーム符号化管理情報が出力された後は、シーン相関測定パラメータＢは不要になるため、データ記録部２から消去するように構成してもよい。
シーン相関測定パラメータＡについては、後々、別のスレーブストリームを生成する際に必要となるため、データ記録部２に保存しておくように構成してもよいし、データ記録部２の記録容量を確保するため、スレーブストリームを生成する度に、マスターストリームから随時生成するように構成してもよい。
なお、スレーブストリームを生成する際に、マスターストリームを使用しないようにする場合には、シーン相関測定パラメータＡも不要になるため、データ記録部２から消去するように構成する。

シーン内・シーン間適応符号化部６は、データ記録部２に記録されたマスターストリーム内のシーン映像単位の符号化データの中で、シーン間予測判定部５により予測参照に用いる代わりの符号化データが検索されていない符号化データと、シーン間予測判定部５により検索された符号化データとを予測参照に用いて、そのＭＰＥＧ−２ビデオビットストリームをスレーブストリームに変換する。

ここで、図６はスレーブ符号化データとマスターストリームの関係を示す説明図である。
図６に示すマスターストリームは、データ記録部２に記録されている１以上のマスターストリームのうち、スレーブストリーム符号化管理情報に含まれているマスターストリームＩＤが示すマスターストリームであり、Ｈ．２６４映像符号化方式によって生成されている。
スレーブストリームは、スレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグによって、マスターストリーム内のシーン映像単位の符号化データと、マスターストリーム内のシーン映像単位の符号化データが代わりに使用されない符号化データとに分類される。
また、スレーブストリーム符号化管理情報に含まれているマスターシーンＩＤによって、マスターストリーム上でのマスターシーン（予測参照に用いるシーン）が特定される。

以下、シーン内・シーン間適応符号化部６によるストリームの変換処理を具体的に説明する。
まず、シーン内・シーン間適応符号化部６のＭＰＥＧ−２復号部１１は、スイッチ３からＭＰＥＧ−２ビデオビットストリームが与えられると、そのＭＰＥＧ−２ビデオビットストリーム内の各々のシーン映像の符号化データに対する復号処理を実施して、シーン映像単位に復号画像を生成する（ステップＳＴ４）。

スイッチ１２は、シーン間予測判定部５から出力されたスレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いない旨を示していれば（ステップＳＴ５）、ＭＰＥＧ−２復号部１１により生成された復号画像をシーン内予測符号化部１４に出力する。
そのシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いる旨を示していれば（ステップＳＴ５）、ＭＰＥＧ−２復号部１１により生成された復号画像をシーン間予測符号化部１５に出力する。

シーン間予測参照箇所抽出部１３は、シーン間予測判定部５から出力されたスレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いる旨を示していれば（ステップＳＴ５）、そのスレーブストリーム符号化管理情報に含まれているマスターストリームＩＤが示すマスターストリームの中から、マスターシーンＩＤが示すシーン映像の符号化データを抽出する（ステップＳＴ６）。
シーン間予測参照箇所抽出部１３は、マスターシーンＩＤが示すシーン映像の符号化データを抽出すると、その符号化データに対するＨ．２６４復号処理を実施して、そのシーン映像の復号画像であるマスターストリーム復号画像を生成する（ステップＳＴ７）。

この際、マスターストリームから抽出されるシーン映像の符号化データは、シーン先頭のピクチャがＩＤＲピクチャであって、ランダムアクセスが可能なデータとして構成するようにしてもよいし、シーン先頭のピクチャがＩＤＲピクチャでない状態で構成してもよい。
前者は抽出処理が簡易となる利点があるが、ＩＤＲピクチャを頻繁に挿入することになるため、マスターストリーム自体の圧縮効率が制限されるというトレードオフの関係がある。
後者は逆に、ＩＤＲ挿入の影響を受けないので、マスターストリーム自体の圧縮効率を維持することができるが、シーン先頭のピクチャを正常に復号可能となる最も時間的に近いＩＤＲピクチャ位置から符号化データを抽出して復号するなど、抽出処理が複雑になるというトレードオフの関係がある。これらは実際の装置の要求条件に基づいて構成することが可能である。

ここで、図７はシーン内・シーン間適応符号化部６におけるシーン内予測符号化部１４及びシーン間予測符号化部１５の処理を示す説明図である。
図７において、記号Ｉ，Ｐ，Ｂは、マスターストリームから抽出されるシーン映像単位の符号化データの中の各ピクチャの符号化タイプを示しており、記号Ｉ’，Ｐ’，Ｂ’は、記号Ｉ，Ｐ，Ｂのピクチャの時刻位置に対応するスレーブストリーム上の各ピクチャの符号化タイプを示している。
図７では、Ｉ’，Ｐ’，Ｂ’ピクチャは、マスターストリーム上の対応するＩ，Ｐ，Ｂピクチャと等価なシーン内予測符号化に加えて、同一時刻位置に対応するピクチャからのシーン間予測参照も可能とする構成を図示している。
このことは、本発明が、Ｉ’，Ｐ’，Ｂ’ピクチャに対して、Ｉ，Ｐ，Ｂピクチャと常に等価な予測符号化処理を実行する制約を課すものではない。

例えば、Ｂ’ピクチャでは、Ｐ’ピクチャに相当する符号化処理を行うように構成してもよい。
この実施の形態１では、説明の便宜上、マスターストリーム上から抽出される符号化データは、ＩＤＲピクチャから始まり（図７のＩピクチャは「ＩＤＲピクチャ」とする）、Ｐピクチャ及びＢピクチャの符号化データを用いて符号化されているものとし、スレーブストリームのＩ’，Ｐ’，Ｂ’ピクチャは、Ｉ，Ｐ，Ｂピクチャと等価な予測符号化処理とシーン間予測符号化処理とを併用するものとする。

シーン間予測符号化部１５は、スイッチ１２から復号画像を受けると、その復号画像の時間相関と、その復号画像とシーン間予測参照箇所抽出部１３により生成されたマスターストリーム復号画像における同一時刻位置の画像データ間の相関とを利用して、Ｈ．２６４の動き補償処理ないしイントラ予測を用いた圧縮符号化処理を実行して、その処理結果であるシーン間予測符号化データを出力する（ステップＳＴ８）。
シーン内予測符号化部１４は、スイッチ１２から復号画像を受けると、マスターストリーム内の符号化データを一切使用することなく、その復号画像に対してＨ．２６４圧縮符号化処理を実施し、その符号化処理結果であるシーン内予測符号化データを出力する（ステップＳＴ９）。

ここで、Ｉ’ピクチャについては、スレーブ映像内の時間相関を使用せずに、Ｉピクチャからのシーン間相関を利用して予測符号化を行う。
これにより、スレーブストリーム上でのランダムアクセス性を維持しながら、符号化効率を高める効果が得られる。
なお、シーン間予測は、マクロブロック、ないし動き補償予測の単位となるブロックなど、所定の処理単位で使用するかしないかを局所的に選択可能とし、予測効率が高まる画像上の局所箇所のみシーン間予測を利用可能とするように構成する。

この予測参照の制約と符号化データ配列とを、Ｈ．２６４の勧告ＡｎｎｅｘＨに規定されるＭＶＣ（マルチビュー符号化）仕様に従うように構成することにより、シーン間予測参照箇所抽出部１３により抽出されるマスターストリームの符号化データをベースビューとして、シーン内予測符号化データとシーン間予測符号化データとからなるスレーブストリームをエンハンスビューとするＭＶＣ規格に従う符号化データとして構成することができる。
このように構成することによって、スレーブ符号化データに対応する映像信号を再生するために、図４のスレーブ映像復号部２５をまったく新しい処理仕様でなく、標準仕様に準拠した既存の復号装置を採用して所望の動作を実現することが可能になる。

スレーブストリーム多重化部１６は、シーン内予測符号化部１４から出力されたシーン内予測符号化データと、シーン間予測符号化部１５から出力されたシーン間予測符号化データとを多重化してスレーブストリームを生成し、そのスレーブストリームを多重化部７に出力する（ステップＳＴ１０）。
多重化部７は、シーン内・シーン間適応符号化部６により変換されたスレーブストリームと、シーン間予測判定部５から出力されたスレーブストリーム符号化管理情報とを多重化し、その多重化結果をスレーブ符号化データとしてデータ記録部２に記録する（ステップＳＴ１１）。

ここで、多重化部７は、スレーブストリームとスレーブストリーム符号化管理情報を、物理的に１つのファイルないしストリーム等の形式で記録してもよいし、スレーブストリーム符号化管理情報は、例えば、ＸＭＬ形式のデータ等で管理し、スレーブストリームとのリンクを構成するように記録してもよい。
スレーブストリームは、それ単体で復号・映像再生を行う形式とせず、復号・映像再生を行う際、マスターストリームの符号化データをシーン映像毎に、適応的に抽出・追加するように構成する。
マスターストリームはデータ記録部２に記録されているので、マスターストリームの符号化データの抽出・追加処理は、スレーブストリームに対応する映像を復号再生する場合に随時実行するように構成すればよい。
これによって、マスターストリームを符号化に使用するシーン映像については、実際には復号に必要になるマスターストリームの符号化データを逐一記録データとして含まないように構成できるため、品質劣化を伴うことなく、スレーブストリームとして記録すべきデータ量を削減することができ、データ記録部２の記録容量を効率的に使用することができる。

次に、図４の画像復号装置の処理内容を説明する。
まず、スイッチ２１は、外部から与えられるストリーム種別識別信号にしたがってデータ記録部２に記録されている符号化データの復号処理手順の選択を行う。
即ち、スイッチ２１は、外部から与えられるストリーム種別識別信号が「当該符号化データをマスターストリームとして復号する」旨を指示している場合（図５のステップＳＴ２１）、データ記録部２に記録されているマスターストリームを読み込んで、そのマスターストリームをＨ．２６４復号部２２に出力する（ステップＳＴ２２）。
一方、そのストリーム種別識別信号が「当該符号化データをスレーブ符号化データとして復号する」旨を指示している場合（ステップＳＴ２１）、データ記録部２に記録されているスレーブ符号化データを読み込んで、そのスレーブ符号化データを多重分離部２３に出力する（ステップＳＴ２３）。

Ｈ．２６４復号部２２は、スイッチ２１からマスターストリームを受けると、そのマスターストリームに対して、Ｈ．２６４映像符号化方式に従う所定の復号処理を実施することで、再生映像を生成する（ステップＳＴ２４）。

多重分離部２３は、スイッチ２１からスレーブ符号化データを受けると、そのスレーブ符号化データをスレーブストリームとスレーブストリーム符号化管理情報に分離し、そのスレーブストリームとスレーブストリーム符号化管理情報を復号ストリーム成型部２４に出力する（ステップＳＴ２５）。

復号ストリーム成型部２４は、多重分離部２３からスレーブストリームとスレーブストリーム符号化管理情報を受けると、データ記録部２に記録されている複数のマスターストリームのうち、そのスレーブストリーム符号化管理情報に含まれているマスターストリームＩＤが示すマスターストリームの読み出しを行う。
また、復号ストリーム成型部２４は、読み出したマスターストリームの中から、そのスレーブストリーム符号化管理情報に含まれているマスターシーンＩＤが示すシーン映像の符号化データを抽出する。図６のマスターストリームにおいて、斜線が施されている部分のシーン映像の符号化データを抽出する。

復号ストリーム成型部２４は、マスターシーンＩＤが示すシーン映像の符号化データを抽出すると、多重分離部２３により分離されたスレーブストリーム内のシーン映像のうち、マスターシーンＩＤが示すシーン映像に対応するシーン映像を特定する。図６のスレーブストリームにおいて、斜線が施されている部分のシーン映像を特定する。
そして、復号ストリーム成型部２４は、マスターストリームから抽出した符号化データをスレーブストリームの対応するシーン映像の位置に埋め込むことにより、復号ストリームを成型する（ステップＳＴ２６）。

ここで、マスターストリームから抽出する符号化データについては、図６に示すように、一般には、シーン先頭フレームが、スレーブストリーム側の当該シーンの先頭と時間的に合致していないため、それらが整合するように、抽出したマスターストリームの各ピクチャ（アクセスユニット）に対応する符号化データの時刻情報を変換してスレーブストリームに追加する。
この構成によって、復号ストリームは、例えば、マスターストリームをベースビューとするストリーム（Ｈ．２６４勧告 Ａｎｎｅｘ Ｈに規定されるＭＶＣ（マルチビュー符号化）形式のストリーム）として成型することが可能である。

スレーブ映像復号部２５は、復号ストリーム成型部２４が復号ストリームを成型すると、その復号ストリームに対して、所定の復号処理を実施することで、スレーブ符号化データに対応する再生映像を生成する（ステップＳＴ２７）。

以上で明らかなように、この実施の形態１によれば、ＭＰＥＧ−２ビデオビットストリーム内のシーン映像毎に、他のシーン映像との相関を測定する尺度となるシーン相関測定パラメータを算出するシーン相関測定パラメータ算出部１と、ＭＰＥＧ−２ビデオビットストリームをＨ．２６４映像符号化方式に従うビデオビットストリームに変換するＨ．２６４変換部４と、シーン相関測定パラメータ算出部１により算出されたシーン相関測定パラメータＡ，Ｂに基づいて、データ記録部２に記録されているマスターストリーム内のシーン映像単位の符号化データの中から、シーン内・シーン間適応符号化部６が予測符号化する際に、ＭＰＥＧ−２ビデオビットストリーム内のシーン映像単位の符号化データの代わりに予測参照に用いる符号化データを検索するシーン間予測判定部５とを設け、シーン内・シーン間適応符号化部６が、データ記録部２に記録されたマスターストリーム内のシーン映像単位の符号化データの中で、シーン間予測判定部５により予測参照に用いる代わりの符号化データが検索されていない符号化データと、シーン間予測判定部５により検索された符号化データとを予測参照に用いて、そのＭＰＥＧ−２ビデオビットストリームをスレーブストリームに変換するように構成したので、処理量の増加や映像品質の低下を招くことなく、効率的な圧縮を行うことができる画像符号化装置が得られる効果を奏する。

また、この実施の形態１によれば、データ記録部２に記録されている複数のマスターストリームのうち、多重分離部２３により分離されたスレーブストリーム符号化管理情報に含まれているマスターストリームＩＤが示すマスターストリームを読み出すとともに、そのマスターストリームの中から、そのスレーブストリーム符号化管理情報に含まれているマスターシーンＩＤが示すシーン映像の符号化データを抽出し、その符号化データを多重分離部２３により分離されたスレーブストリームの対応するシーン映像の位置に埋め込むことで、復号ストリームを成型する復号ストリーム成型部２４を設け、スレーブ映像復号部２５が、復号ストリーム成型部２４により成型された復号ストリームに対して、所定の復号処理を実施することで、スレーブ符号化データに対応する再生映像を生成するように構成したので、効率的に圧縮されている画像を復号することができる画像復号装置が得られる効果を奏する。

この実施の形態１では、画像復号化装置に入力されるビデオビットストリームがＭＰＥＧ−２ビデオビットストリームであり、そのＭＰＥＧ−２ビデオビットストリームの符号化方式を、Ｈ．２６４を用いたシーン内・シーン間適応予測符号化処理によって変換するものを示したが、画像復号化装置に入力されるビデオビットストリームがＭＰＥＧ−２ビデオビットストリームに限るものではなく、例えば、ＭＰＥＧ−４ビジュアル（ＩＳＯ／ＩＥＣ １４４９６−２）や、Ｈ．２６４（ＩＳＯ／ＩＥＣ １４４９６−１０）など、どのような映像符号化形式でもよい。
また、変換符号化に用いる符号化方式もＨ．２６４に限定するものではない。

また、シーン相関測定パラメータ算出部１により算出されるシーン相関測定パラメータは、画像復号化装置に入力されるビデオビットストリームの映像符号化形式に基づいて定義するように構成できる。
また、スレーブ符号化データに対応する映像信号の符号化データフォーマットとして、Ｈ．２６４の勧告Ａｎｎｅｘ Ｈに規定されるＭＶＣを例に挙げたが、これもＭＶＣ形式に限定するものではなく、この実施の形態１における画像符号化装置や画像復号装置の構成に従うことによって、他の同様の標準符号化方式に対応するように構成することができる。

実施の形態２．
上記実施の形態１では、マスターストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」、または、スレーブストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」がシーン相関測定パラメータ算出部１に入力されるものを示したが、マスターストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」とスレーブストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」とが単一のビデオビットストリームに含まれており、単一のビデオビットストリームがシーン相関測定パラメータ算出部１に入力されるものであってもよい。

図８はこの発明の実施の形態２による画像符号化装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
スイッチ３１は外部から与えられる再圧縮方法識別信号が、「シーン相関測定パラメータ算出部１に入力されるＭＰＥＧ−２ビデオビットストリームの前半部分がマスターストリームとして再圧縮するビデオビットストリームであり、後半部分がスレーブストリームとして再圧縮するビデオビットストリームである」旨を指示している場合、シーン相関測定パラメータ算出部１から出力されたＭＰＥＧ−２ビデオビットストリームを分割して、そのＭＰＥＧ−２ビデオビットストリームの前半部分をＨ．２６４変換部４に与え、そのＭＰＥＧ−２ビデオビットストリームの後半部分をシーン内・シーン間適応符号化部６に与える処理を実施する。なお、スイッチ３１は符号化データ分割手段を構成している。

次に動作について説明する。
上記実施の形態１では、マスターストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」、または、スレーブストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」がシーン相関測定パラメータ算出部１に入力される例を示しているが、この実施の形態２では、図９に示すように、マスターストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」とスレーブストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」とが単一のビデオビットストリームに含まれており、単一のビデオビットストリームがシーン相関測定パラメータ算出部１に入力される例について説明する。

単一のビデオビットストリームがシーン相関測定パラメータ算出部１に入力される場合、図１の画像復号化装置と比べて、スイッチ３１の処理内容だけが相違する。
スイッチ３１には、「シーン相関測定パラメータ算出部１に入力されるＭＰＥＧ−２ビデオビットストリームの前半部分がマスターストリームとして再圧縮するビデオビットストリームであり、後半部分がスレーブストリームとして再圧縮するビデオビットストリームである」旨を指示する再圧縮方法識別信号が外部から入力される。

スイッチ３１は、外部から上記の再圧縮方法識別信号が与えられたのち、シーン相関測定パラメータ算出部１からＭＰＥＧ−２ビデオビットストリームが出力されると、そのＭＰＥＧ−２ビデオビットストリームを前半部分と後半部分に分割し、そのＭＰＥＧ−２ビデオビットストリームの前半部分をＨ．２６４変換部４に与え、そのＭＰＥＧ−２ビデオビットストリームの後半部分をシーン内・シーン間適応符号化部６に与える。

スイッチ３１以外の画像符号化装置の処理内容は、上記実施の形態１と同様であるため詳細な説明を省略するが、そのＭＰＥＧ−２ビデオビットストリームの前半部分がＨ．２６４変換部４に与えられることで、そのＭＰＥＧ−２ビデオビットストリームの前半部分がＨ．２６４映像符号化方式に従うビデオビットストリームに変換され、そのビデオビットストリームがマスターストリームとしてデータ記録部２に記録される。
一方、そのＭＰＥＧ−２ビデオビットストリームの後半部分がシーン内・シーン間適応符号化部６に与えられることで、そのＭＰＥＧ−２ビデオビットストリームの後半部分がスレーブストリームに変換され、そのスレーブストリームとシーン間予測判定部５から出力されたスレーブストリーム符号化管理情報とが多重化されているスレーブ符号化データがデータ記録部２に記録される。

画像復号装置の処理内容は、上記実施の形態１と同様であり、データ記録部２により記録されているマスターストリームの中から、スレーブストリーム符号化管理情報が示すシーン映像の符号化データを抽出し（図１０を参照）、そのシーン映像の符号化データをスレーブストリームの対応シーン映像の位置に埋め込むことで復号ストリームを成型して、画像の復号処理を行う。
例えば、テレビ番組などでは、１つの番組内に相関が高いシーン映像が含まれていることが多いが、上記のように、マスターストリームとスレーブストリームが単一のビデオビットストリームに含まれている場合、相関が高いシーン映像を効率よく検索して利用することができる。

この実施の形態２では、シーン相関測定パラメータ算出部１に入力されるＭＰＥＧ−２ビデオビットストリームの前半部分がマスターストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」、後半部分がスレーブストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」に分けられている例を示したが、図１１に示すように、マスターストリームとスレーブストリームが交互に繰り返されている単一のＭＰＥＧ−２ビデオビットストリームがシーン相関測定パラメータ算出部１に入力されるものであってもよい。
一般的に、時間的に近いシーン映像から予測する方が、時間的に遠いシーン映像から予測するよりも符号化効率がよいが、図１１に示すように、マスターストリームとスレーブストリームが交互に繰り返されている場合には、マスターストリームとスレーブストリームの時間的な距離が近づくため、符号化効率が高いストリームを生成することが可能になる。

ここでは、マスターストリームとスレーブストリームが交互に繰り返されている例を示したが、図１２に示すように、マスターストリームの時間的な長さと、スレーブストリームの時間的な長さとが異なっていてもよい。
図１２の例では、ＭＰＥＧ−２ビデオビットストリーム内のマスターストリームの個数が２個であり、ＭＰＥＧ−２ビデオビットストリーム内のスレーブストリームの個数が６個であるため、スレーブストリームの時間的な長さが、マスターストリームの時間的な長さの３倍となっている。
このように、スレーブストリームの時間的な長さを、マスターストリームの時間的な長さより長くすることで、シーン間相関を用いた符号化を行うシーン映像が増えるため、符号化効率の改善に寄与する。
このとき、マスターシーンの符号化管理情報に対して、マスターストリームとスレーブストリームの長さ情報を多重化するようにしてもよい。

ただし、ＭＰＥＧ−２ビデオビットストリームの形態が上記のような形態であるとき、符号化対象のシーケンス内には、シーンチェンジを含む可能性がある。
シーンチェンジ前後では、シーン映像間に相関がない可能性が高いため、図１３に示すように、シーンチェンジ直後のシーン映像がマスターストリームであれば、シーンチェンジによる符号化効率の低下を防ぐことが可能になる。
そこで、シーンチェンジ直後のシーン映像が必ずマスターストリームであるＭＰＥＧ−２ビデオビットストリームがシーン相関測定パラメータ算出部１に入力されるものであってもよい。

この実施の形態２では、マスターストリームとスレーブストリームが単一のＭＰＥＧ−２ビデオビットストリームに含まれているものを示したが、図１４に示すように、特定の単位（例えば、ＧＯＰ）で、単一のＭＰＥＧ−２ビデオビットストリームに含まれている各々のストリームがマスターストリームであるのか、スレーブストリームであるのかを示すｆｌａｇをマスターシーンの符号化管理情報として、画像復号装置にシグナリングするようにしてもよい。
例えば、フラグ通知手段を構成する多重化部７が、当該符号化管理情報をデータ記録部２に記録することで、画像復号装置にシグナリングするようにしてもよいし、当該符号化管理情報を画像復号装置に送信することで、画像復号装置にシグナリングするようにしてもよい。
このようにすることで、映像の特性に応じて、マスターストリームとするのか、スレーブストリームとするのかを自由に決定することができるようになり、符号化効率を改善することができる。

また、図１５に示すように、シーケンスの途中に、符号化中のシーン映像とは明らかに性質が異なるシーン映像が挿入されている可能性がある（例えば、テレビ番組におけるＣＭなどが該当する）。
このような場合、事前に、符号化中のシーン映像とは明らかに性質が異なるシーン映像を検出し、そのシーン映像内で閉じた形でシーン相関測定パラメータを検出して符号化を行うことが考えられる。
このようにすることで、シーン相関測定パラメータを検出するシーン映像を減らして、処理量を低減することができるので、符号化中のシーン映像とは明らかに性質が異なるシーン映像が飛ばされている（当該シーン映像のストリームを含んでいない）ＭＰＥＧ−２ビデオビットストリームがシーン相関測定パラメータ算出部１に入力されるものであってもよい。

この実施の形態２では、ＭＰＥＧ−２ビデオビットストリームをＨ．２６４映像符号化方式に従うビデオビットストリームに変換し、そのビデオビットストリームをマスターストリームとしてデータ記録部２に記録するものを示したが、映像符号化方式はＨ．２６４映像符号化方式に限るものではなく、例えば、ＭＰＥＧ−４などの他の映像符号化方式を用いるようにしてもよい。また、入力ビットストリームをＭＰＥＧ−２ビデオビットストリームとしたが、これはＭＰＥＧ−２ビデオビットストリームに限るものではなく、例えば、ＭＰＥＧ−４やＨ．２６４などの他の映像符号化方式で符号化されたビデオビットストリームを入力として使用してもよい。

上記実施の形態１，２では、特に言及していないが、画像符号化装置及び画像復号装置は、データ記録部２により記録されているマスターストリーム又はスレーブ符号化データを編集する編集機能（例えば、キーボードやマウスなどのマンマシンインタフェースを備え、マンマシンインタフェースにより受け付けられた操作内容にしたがってマスターストリーム又はスレーブ符号化データを編集するＣＰＵなどの処理部などが該当する）を備えている場合がある。
しかし、ユーザが編集機能を操作することで、マスターストリームが削除されてしまう状況が発生することがある。

そこで、画像符号化装置及び画像復号装置の編集機能は、マスターストリームを削除する操作が行われた場合、「マスターストリームを削除する操作が行われている」旨を示す警告メッセージをディスプレイに表示するようにしてもよい。
また、マスターストリームからの予測については再符号化を行うなどの処理を行うことで、マスターストリームが消去されることによって復号が不可能になることを防ぐようにしてもよい。

実施の形態３．
上記実施の形態１，２では、マスターストリーム及びスレーブ符号化データがデータ記録部２に記録されるものを示したが、マスターストリームについては、データ記録部２に記録せずに、画像符号化装置及び画像復号装置の外部装置に記録されるようにしてもよい。
図１６はレコード（画像符号化装置、画像復号装置）がネットワークに接続されているシステム例を示す構成図である。

図１６の例では、レコーダである画像符号化装置のＨ．２６４変換部４が、マスターストリームをデータ記録部２に記録せずに、ネットワークインタフェースを介して、そのマスターストリームを外部装置であるサーバ（例えば、公共サーバ、サービス業者が提供する専用サーバ、個人所有のサーバ）に転送し、そのサーバがマスターストリームを記録するようにしてもよい。

例えば、サーバに記録されているマスターストリームについては、ユーザの操作では消去できない構成に設定されていれば、誤ってマスターストリームを消去することによってストリームが復号できなくなることを防ぐことが可能になる。
また、サーバの管理者が特定のユーザに限り、マスターストリームを開示するシステムを構成することが可能になり、このような構成にすることで、セキュアな映像管理が可能になる。

実施の形態４．
上記実施の形態１では、シーン間予測符号化部１５が、スイッチ１２から復号画像を受けると、その復号画像の時間相関と、その復号画像とシーン間予測参照箇所抽出部１３により生成されたマスターストリーム復号画像における同一時刻位置の画像データ間の相関とを利用して、Ｈ．２６４の動き補償処理ないしイントラ予測を用いた圧縮符号化処理を実行して、その処理結果であるシーン間予測符号化データを出力するものを示したが（Ｉ，Ｐ，Ｂピクチャのそれぞれにおいて、同一時刻位置に対応するピクチャからのシーン間予測を可能にしている）、図１７に示すように、Ｉピクチャに限り、シーン間予測を可能にしてもよい。あるいは、図１８に示すように、Ｉ，Ｐピクチャに限り、シーン間予測を可能にしてもよい。
シーン間予測を制限することで、相関が高いシーン映像の場合、符号化効率は落ちるが、変換する際の処理量を削減することができる。

また、シーン間予測符号化部１５が、Ｉピクチャに限り、シーン間予測を行う処理（図１７を参照）と、Ｉ，Ｐピクチャに限り、シーン間予測を行う処理（図１８を参照）とをシーン相関度に応じて切り替えるようにしてもよい。
例えば、シーン途中でシーンチェンジがある場合など、相関が高いシーン映像が先頭のみの場合は、先頭のＩピクチャのみシーン間予測を実施し、また、ほぼ同一のシーンである場合は、Ｉ，Ｐ，Ｂピクチャのすべてに対してシーン間予測を実施するように構成にすることで、符号化効率を落とすことなく、処理量を削減することができる効果を奏する。

図１９はこの発明の実施の形態４による画像符号化装置の処理内容を示すフローチャートである。
以下、図１９に示す処理内容を説明する。
シーン相関測定パラメータ算出部１は、ＭＰＥＧ−２映像符号化方式によって圧縮符号化されたＭＰＥＧ−２ビデオビットストリームを入力すると、上記実施の形態１と同様に、そのＭＰＥＧ−２ビデオビットストリームのシーン映像毎に、他のシーン映像との相関を測定する尺度となるシーン相関測定パラメータを算出する（ステップＳＴ３１）。

スイッチ３は、外部から与えられる再圧縮方法識別信号が「ＭＰＥＧ−２ビデオビットストリームをマスターストリームとして再圧縮する」旨を指示していれば（ステップＳＴ３２）、上記実施の形態１と同様に、シーン相関測定パラメータ算出部１から出力されたＭＰＥＧ−２ビデオビットストリームをＨ．２６４変換部４に与える。
一方、その再圧縮方法識別信号が「ＭＰＥＧ−２ビデオビットストリームをスレーブストリームとして再圧縮する」旨を指示していれば（ステップＳＴ３２）、上記実施の形態１と同様に、シーン相関測定パラメータ算出部１から出力されたＭＰＥＧ−２ビデオビットストリームをシーン内・シーン間適応符号化部６に与える。

Ｈ．２６４変換部４は、スイッチ３からＭＰＥＧ−２ビデオビットストリームが与えられると、上記実施の形態１と同様に、そのＭＰＥＧ−２ビデオビットストリームを所定の処理手順によってＨ．２６４映像符号化方式に従うビデオビットストリームに変換し、そのビデオビットストリームをマスターストリームとしてデータ記録部２に記録する（ステップＳＴ３３）。

シーン間予測判定部５は、シーン相関測定パラメータ算出部１がシーン相関測定パラメータＡ又はシーン相関測定パラメータＢを算出すると、上記実施の形態１と同様に、そのシーン相関測定パラメータＡ，Ｂに基づいて、データ記録部２に記録されているマスターストリーム内のシーン映像単位の符号化データの中から、シーン内・シーン間適応符号化部６が予測符号化する際に、ＭＰＥＧ−２ビデオビットストリーム内のシーン映像単位の符号化データの代わりに予測参照に用いる符号化データを検索する。
以下、シーン間予測判定部５による符号化データの検索処理を具体的に説明する。

まず、シーン間予測判定部５は、上記実施の形態１と同様に、シーン相関測定パラメータ算出部１により算出されたシーン相関測定パラメータＡ，Ｂを用いて、ＭＰＥＧ−２ビデオビットストリーム内の各々のシーン映像と、データ記録部２に記録されているマスターストリーム内の各々のシーン映像との相関値を測定する。
次に、シーン間予測判定部５は、ＭＰＥＧ−２ビデオビットストリーム内のシーン映像毎に、当該シーン映像に対するマスターストリーム内の各々のシーン映像の相関値を比較し、最も相関値が大きいマスターストリーム内のシーン映像を探索する。
シーン間予測判定部５は、最も相関値が大きいマスターストリーム内のシーン映像を探索すると、上記実施の形態１と同様に、その相関値が予め設定している所定値以上であれば、そのシーン映像の符号化データを予測参照に用いるシーン映像に決定する。
一方、その相関値が予め設定している所定値に満たなければ、そのマスターストリーム内のシーン映像の符号化データを予測参照に用いないものとする。

シーン間予測判定部５は、シーン内・シーン間適応符号化部６が予測参照に用いる符号化データが見つかれば（ＭＰＥＧ−２ビデオビットストリーム内のシーン映像と相関が高いマスターストリーム内のシーン映像が存在する場合）、上記実施の形態１と同様に、「当該処理対象のシーンでは、マスターストリーム内の相関が高いシーン映像の符号化データを利用して符号化を行う」旨を示すスレーブストリーム符号化管理情報をシーン内・シーン間適応符号化部６及び多重化部７に出力する。
一方、シーン内・シーン間適応符号化部６が予測参照に用いる符号化データが見つからなければ（ＭＰＥＧ−２ビデオビットストリーム内のシーン映像と相関が高いマスターストリーム内のシーン映像が存在しない場合）、上記実施の形態１と同様に、「当該処理対象のシーンでは、マスターストリーム内の符号化データを使用せず、シーン内に閉じた符号化を行う」旨を示すスレーブストリーム符号化管理情報をシーン内・シーン間適応符号化部６及び多重化部７に出力する。

シーン内・シーン間適応符号化部６は、データ記録部２に記録されたマスターストリーム内のシーン映像単位の符号化データの中で、シーン間予測判定部５により予測参照に用いる代わりの符号化データが検索されていない符号化データと、シーン間予測判定部５により検索された符号化データとを予測参照に用いて、そのＭＰＥＧ−２ビデオビットストリームをスレーブストリームに変換する。
以下、シーン内・シーン間適応符号化部６によるストリームの変換処理を具体的に説明する。

まず、シーン内・シーン間適応符号化部６のＭＰＥＧ−２復号部１１は、スイッチ３からＭＰＥＧ−２ビデオビットストリームが与えられると、上記実施の形態１と同様に、そのＭＰＥＧ−２ビデオビットストリーム内の各々のシーン映像の符号化データに対する復号処理を実施して、シーン映像単位に復号画像を生成する（ステップＳＴ３４）。

スイッチ１２は、シーン間予測判定部５から出力されたスレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いない旨を示していれば、上記実施の形態１と同様に、ＭＰＥＧ−２復号部１１により生成された復号画像をシーン内予測符号化部１４に出力する。
そのシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いる旨を示していれば、上記実施の形態１と同様に、ＭＰＥＧ−２復号部１１により生成された復号画像をシーン間予測符号化部１５に出力する。

シーン間予測参照箇所抽出部１３は、シーン間予測判定部５から出力されたスレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いる旨を示していれば、上記実施の形態１と同様に、そのスレーブストリーム符号化管理情報に含まれているマスターストリームＩＤが示すマスターストリームの中から、マスターシーンＩＤが示すシーン映像の符号化データを抽出する。
シーン間予測参照箇所抽出部１３は、マスターシーンＩＤが示すシーン映像の符号化データを抽出すると、上記実施の形態１と同様に、その符号化データに対するＨ．２６４復号処理を実施して、そのシーン映像の復号画像であるマスターストリーム復号画像を生成する。

シーン間予測符号化部１５は、スイッチ１２から復号画像を受けると、例えば、シーン相関度が予め設定された閾値である第１の相関度より低い場合（例えば、シーン途中でシーンチェンジがある場合）、Ｉピクチャに限り、シーン相関を利用することにして（ステップＳＴ３５）、図１７に示すように、Ｉピクチャのみシーン間予測を実施して、再符号化を行う（ステップＳＴ３６）。
また、シーン間予測符号化部１５は、例えば、シーン相関度が第１の相関度より高いが、予め設定された閾値である第２の相関度より低い場合、Ｉ，Ｐピクチャに限り、シーン相関を利用することにして（ステップＳＴＳＴ３５，ＳＴ３７）、図１８に示すように、Ｉ，Ｐピクチャのみシーン間予測を実施して、再符号化を行う（ステップＳＴ３８）。

また、シーン間予測符号化部１５は、例えば、シーン相関度が第２の相関度より高い場合、Ｉ，Ｐ，Ｂピクチャのすべてに対してシーン相関を利用することにして（ステップＳＴ３７）、Ｉ，Ｐ，Ｂピクチャのすべてに対してシーン間予測を実施して、再符号化を行う（ステップＳＴ３９）。
なお、シーン間予測符号化部１５は、シーン間予測を実施して、再符号化を行うと、その再符号化結果であるシーン間予測符号化データをスレーブストリーム多重化部１６に出力する。

シーン内予測符号化部１４は、スイッチ１２から復号画像を受けると、上記実施の形態１と同様に、マスターストリーム内の符号化データを一切使用することなく、その復号画像に対してＨ．２６４圧縮符号化処理を実施し、その符号化処理結果であるシーン内予測符号化データを出力する。

スレーブストリーム多重化部１６は、上記実施の形態１と同様に、シーン内予測符号化部１４から出力されたシーン内予測符号化データと、シーン間予測符号化部１５から出力されたシーン間予測符号化データとを多重化してスレーブストリームを生成し、そのスレーブストリームを多重化部７に出力する（ステップＳＴ４０）。
多重化部７は、上記実施の形態１と同様に、シーン内・シーン間適応符号化部６により変換されたスレーブストリームと、シーン間予測判定部５から出力されたスレーブストリーム符号化管理情報とを多重化し、その多重化結果をスレーブ符号化データとしてデータ記録部２に記録する（ステップＳＴ４１）。

以上で明らかなように、この実施の形態４によれば、シーン間予測符号化部１５が、Ｉピクチャに限り、シーン間予測を行う処理と、Ｉ，Ｐピクチャに限り、シーン間予測を行う処理とをシーン相関度に応じて切り替えるように構成したので、シーン間予測を行わないピクチャについては、再符号化前のストリーム情報（モード情報、動き情報など）を再利用することで処理を簡略化することができる効果を奏する。このような処理をすることで、符号化効率は多少落ちるが、再符号化に伴う処理量を削減することができる。特に、組み込み機器などの低消費電力や低ＣＰＵを用いたシステムでは有用である。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る画像符号化装置は、第１の映像符号化方式に従う映像符号化データ内のシーン映像データ毎に、他のシーン映像データを用いる予測参照を選択的に適用して第２の映像符号化方式に従う映像符号化データに変換する映像符号化データ変換手段を備え、処理量の増加や映像品質の低下を招くことなく、効率的な圧縮を行うことができるので、ＨＤＤ内蔵型デジタル録画機器やクラウド型システム等の画像符号化装置として用いるのに適している。

１ シーン相関測定パラメータ算出部（シーン相関測定パラメータ算出手段）、２ データ記録部（データ記録手段）、３ スイッチ、４ Ｈ．２６４変換部（第１の映像符号化データ変換手段）、５ シーン間予測判定部（シーン映像検索手段）、６ シーン内・シーン間適応符号化部（第２の映像符号化データ変換手段）、７ 多重化部、１１ ＭＰＥＧ−２復号部、１２ スイッチ、１３ シーン間予測参照箇所抽出部、１４ シーン内予測符号化部、１５ シーン間予測符号化部、１６ スレーブストリーム多重化部、２１ スイッチ、２２ Ｈ．２６４復号部（第１の映像復号手段）、２３ 多重分離部（第２の映像復号手段）、２４ 復号ストリーム成型部（第２の映像復号手段）、２５ スレーブ映像復号部（第２の映像復号手段）、３１ スイッチ（符号化データ分割手段）。

Claims (8)

1. 第１の映像符号化方式に従う映像符号化データ内のシーン映像データ毎に、他のシーン映像データを用いる予測参照を選択的に適用して第２の映像符号化方式に従う映像符号化データに変換する映像符号化データ変換手段を備える画像符号化装置であって、
   前記映像符号化データ変換手段は、第１の映像符号化データ内のシーン映像単位の符号化データを変換するにあたって、予測参照に用いるべき他のシーン映像単位の符号化データを探索し、探索されたシーン映像単位の符号化データを予測参照に用いるか否かを選択して、前記第１のシーン映像単位の符号化データを第２の映像符号化方式に従う映像符号化データに変換するとともに、探索されたシーン映像単位の符号化データを予測参照に用いたか否かを示すメタデータを生成することを特徴とする画像符号化装置。
2. 前記映像符号化データ変換手段は、第１の映像符号化データ内のシーン映像毎に、他のシーン映像との相関を測定する尺度となるシーン相関測定パラメータを算出するシーン相関測定パラメータ算出手段を備え、
   該シーン相関測定パラメータ算出手段から出力されるパラメータ値に基づいて、第１の映像符号化データ内のシーン映像単位の符号化データを変換するにあたって予測参照に用いるべき他のシーン映像単位の符号化データを探索することを特徴とする請求項１記載の画像符号化装置。
3. 前記映像符号化データ変換手段により変換された第２の映像符号化方式に従う映像符号化データに、前記メタデータを多重して記録するデータ記録手段を備えることを特徴とする請求項１記載の画像符号化装置。
4. 前記映像符号化データ変換手段は、探索元となる映像符号化データと探索されたシーン映像単位の符号化データを予測参照に用いて変換した第２の映像符号化方式に従う映像符号化データとを、ネットワークで接続される異なる装置に記録することを特徴とする請求項１記載の画像符号化装置。
5. 映像符号化データに対する復号処理を実施して、再生映像を生成する画像復号装置において、
   映像符号化データのシーン映像単位の符号化データごとに、前記映像符号化データのメタデータに基づいて、当該シーン映像単位の符号化データが、他のシーン映像単位の符号化データを予測参照して符号化されているか否かを判定するとともに、他のシーン映像単位の符号化データを予測参照して符号化されている場合は予測参照に用いる他のシーン映像単位の符号化データのロケーションを特定する判定手段と、
   前記判定手段の結果、他のシーン映像単位の符号化データを予測参照して符号化されている場合には、前記判定手段により特定されるロケーションから予測参照先の符号化データを取得し、復号対象のシーン映像単位の符号化データとともに復号処理を行う復号手段とを備え、
   前記メタデータは、前記ロケーションが含まれるシーン映像単位の符号化データを識別する識別情報を含むことを特徴とする画像復号装置。
6. 前記シーン映像単位は、映像符号化データの符号化順序及び予測参照関係の繰り返し単位であることを特徴とする請求項５記載の画像復号装置。
7. 映像符号化データ変換手段が、第１の映像符号化方式に従う映像符号化データ内のシーン映像データ毎に、他のシーン映像データを用いる予測参照を選択的に適用して第２の映像符号化方式に従う映像符号化データに変換する画像符号化方法であって、
   前記映像符号化データ変換手段により、第１の映像符号化データ内のシーン映像単位の符号化データを変換するにあたって、予測参照に用いるべき他のシーン映像単位の符号化データを探索し、次いで探索されたシーン映像単位の符号化データを予測参照に用いるか否かを選択し、次いで前記第１のシーン映像単位の符号化データを第２の映像符号化方式に従う映像符号化データに変換するとともに、探索されたシーン映像単位の符号化データを予測参照に用いたか否かを示すメタデータを生成することを特徴とする画像符号化方法。
8. 映像符号化データに対する復号処理を実施して、再生映像を生成する画像復号方法において、
   判定手段が、映像符号化データのシーン映像単位の符号化データごとに、前記映像符号化データのメタデータに基づいて、当該シーン映像単位の符号化データが、他のシーン映像単位の符号化データを予測参照して符号化されているか否かを判定するとともに、他のシーン映像単位の符号化データを予測参照して符号化されている場合は予測参照に用いる他のシーン映像単位の符号化データのロケーションを特定する判定処理ステップと、
   復号手段が、前記判定処理ステップの結果、他のシーン映像単位の符号化データを予測参照して符号化されている場合には、前記判定処理ステップにより特定されるロケーションから予測参照先の符号化データを取得し、復号対象のシーン映像単位の符号化データとともに復号処理を行う復号処理ステップとを備え、
   前記メタデータは、前記ロケーションが含まれるシーン映像単位の符号化データを識別する識別情報を含むことを特徴とする画像復号方法。

Images