JP2015002512A - 画像符号化装置及び画像符号化方法 - Google Patents

Abstract

【課題】処理量の増加や映像品質の低下を招くことなく、効率的な圧縮を行うことができるようにする。【解決手段】シーン間予測参照箇所抽出部５３がマスターストリーム（２）内の符号化データのうち、マスターシーンＩＤが示すシーン映像の符号化データに対するＨ．２６４復号処理を実施してマスターフトリーム復号画像を生成し、シーン間予測符号化部５５が、そのマスターフトリーム復号画像を再符号化せずに、そのマスターフトリーム復号画像を用いて、Ｈ．２６４復号部５１により生成された復号画像に対するシーン間予測符号化処理を実施する。【選択図】図１

Description

この発明は、画像を圧縮符号化して符号化データを伝送又は記録する画像符号化装置及び画像符号化方法に関するものである。

従来の画像符号化装置が所定の映像シーケンスを圧縮符号化する際には、当該映像シーケンス内の空間的相関又は時間的相関を利用して予測符号化を行うことで、圧縮効率を高めるように構成されている。
一方、近年のＨＤＤ内蔵型デジタル録画機器やクラウド型システム等においては、膨大な記録空間内において、多数の圧縮された映像ストリームが管理されるため、条件によっては、異なる映像シーケンス間でも映像の内容が類似する状況が増加する。

このような状況下では、異なる映像シーケンス間に存在する相関も活用して、更なるデータ圧縮を行うことができる。
以下の特許文献１には、ＨＤＤ内蔵型デジタル録画機器において、複数の異なる録画番組間で比較を行い、その比較結果に基づいて得られる差分情報を圧縮符号化することで、複数の録画番組を高い圧縮効率で記録する技術が開示されている。

特開２００６−２６２３１１号公報（段落番号［０００６］）

従来の画像符号化装置は以上のように構成されているので、異なる映像ストリーム間で常に同一時刻のフレームの信号を比較評価尺度として差分をとり、その差分信号を圧縮符号化している。このため、映像間で類似するカットの時刻にずれがある等の場合には、効率的な圧縮を行うことができない課題があった。
また、映像ストリームの全般に亘って、画像信号レベルでの比較を実施することにより処理量の増加を招いてしまい、また、差分を取る映像ストリームの引く側と引かれる側の両方を再圧縮することにより処理量の増加と映像品質の低下を招いてしまう課題もあった。

この発明は上記のような課題を解決するためになされたもので、処理量の増加や映像品質の低下を招くことなく、効率的な圧縮を行うことができる画像符号化装置及び画像符号化方法を得ることを目的とする。

この発明に係る画像符号化装置は、第１の映像符号化方式に従う第１の映像符号化データ内のシーン映像単位の符号化データに対する復号処理を実施して、シーン映像単位の復号画像を生成する復号画像生成手段と、第１の映像符号化方式に従う第２の映像符号化データ内のシーン映像単位の符号化データの中に、第１の映像符号化データ内のシーン映像単位の符号化データと相関がある符号化データが含まれていれば、その符号化データに対する復号処理を実施して、予測参照用の復号画像を生成する予測参照用画像生成手段と、第１の映像符号化データ内のシーン映像単位の符号化データと相関がある符号化データが含まれていなければ、復号画像生成手段により生成された復号画像に対するシーン内予測符号化処理を実施して、第２の映像符号化方式に従う映像符号化データを生成する第１の映像符号化データ生成手段と、予測参照用画像生成手段により生成された予測参照用の復号画像を再符号化せずに、その復号画像を用いて、復号画像生成手段により生成された復号画像に対するシーン間予測符号化処理を実施して、第２の映像符号化方式に従う映像符号化データを生成する第２の映像符号化データ生成手段とを設け、多重化手段が、第１の映像符号化データ生成手段により生成された映像符号化データと第２の映像符号化データ生成手段により生成された映像符号化データを多重化するようにしたものである。

この発明によれば、第１の映像符号化方式に従う第２の映像符号化データ内のシーン映像単位の符号化データの中に、第１の映像符号化データ内のシーン映像単位の符号化データと相関がある符号化データが含まれていれば、その符号化データに対する復号処理を実施して、予測参照用の復号画像を生成する予測参照用画像生成手段と、第１の映像符号化データ内のシーン映像単位の符号化データと相関がある符号化データが含まれていなければ、復号画像生成手段により生成された復号画像に対するシーン内予測符号化処理を実施して、第２の映像符号化方式に従う映像符号化データを生成する第１の映像符号化データ生成手段と、予測参照用画像生成手段により生成された予測参照用の復号画像を再符号化せずに、その復号画像を用いて、復号画像生成手段により生成された復号画像に対するシーン間予測符号化処理を実施して、第２の映像符号化方式に従う映像符号化データを生成する第２の映像符号化データ生成手段とを設け、多重化手段が、第１の映像符号化データ生成手段により生成された映像符号化データと第２の映像符号化データ生成手段により生成された映像符号化データを多重化するように構成したので、処理量の増加や映像品質の低下を招くことなく、効率的な圧縮を行うことができる効果がある。

この発明の実施の形態１による画像符号化装置を示す構成図である。 この発明の実施の形態１による画像符号化装置の処理内容（画像符号化方法）を示すフローチャートである。 この発明の実施の形態１による画像符号化装置のシーン内・シーン間適応符号化部６を示す構成図である。 この発明の実施の形態１による画像復号装置を示す構成図である。 この発明の実施の形態１による画像復号装置の処理内容（画像復号方法）を示すフローチャートである。 スレーブ符号化データとマスターストリームの関係を示す説明図である。 シーン内・シーン間適応符号化部６におけるシーン内予測符号化部１４及びシーン間予測符号化部１５の処理を示す説明図である。 この発明の実施の形態２による画像符号化装置を示す構成図である。 マスターストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」とスレーブストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」とが含まれている単一のビデオビットストリームを示す説明図である。 マスターストリームの中から、スレーブストリーム符号化管理情報が示すシーン映像の符号化データを抽出する様子を示す説明図である。 マスターストリームとスレーブストリームが交互に繰り返されている単一のＭＰＥＧ−２ビデオビットストリームを示す説明図である。 マスターストリームの時間的な長さと、スレーブストリームの時間的な長さとが異なっているＭＰＥＧ−２ビデオビットストリームを示す説明図である。 シーンチェンジ直後のシーン映像がマスターストリームであるＭＰＥＧ−２ビデオビットストリームを示す説明図である。 単一のＭＰＥＧ−２ビデオビットストリームに含まれている各々のストリームがマスターストリームであるのか、スレーブストリームであるのかを示すｆｌａｇを示す説明図である。 符号化中のシーン映像とは明らかに性質が異なるシーン映像が飛ばされているＭＰＥＧ−２ビデオビットストリームを示す説明図である。 レコード（画像符号化装置、画像復号装置）がネットワークに接続されているシステム例を示す構成図である。 Ｉピクチャだけの変換例を示す説明図である。 Ｉ，Ｐピクチャだけの変換例を示す説明図である。 この発明の実施の形態４による画像符号化装置の処理内容を示すフローチャートである。 この発明の実施の形態５による画像符号化装置を示す構成図である。 この発明の実施の形態５による画像符号化装置のシーン内・シーン間適応符号化部４５を示す構成図である。 シーン間予測符号化部５５の内部を示す構成図である。 この発明の実施の形態５による画像符号化装置のシーン内・シーン間適応符号化部４５の処理内容を示すフローチャートである。 この発明の実施の形態５による画像符号化装置の一部を示す構成図である。 この発明の実施の形態５による画像符号化装置の一部を示す構成図である。 シーン間予測符号化データを含むスレーブストリームと、マスターストリームの形式を示す説明図である。 時刻Ｔの画像ブロックと類似している画像ブロックの探索範囲を示す説明図である。

実施の形態１．
この実施の形態１では、ＭＰＥＧ−２ビデオビットストリームを受信し、そのＭＰＥＧ−２ビデオビットストリームを再圧縮して記録する機器ないしシステムにおいて、品質低下を抑制して効率的に再圧縮を行う画像符号化装置と、当該画像符号化装置から出力された符号化データに基づいて映像信号を再生する画像復号装置について説明する。

図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
図１において、シーン相関測定パラメータ算出部１は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、ＭＰＥＧ−２映像符号化方式によって圧縮符号化されたＭＰＥＧ−２ビデオビットストリーム（第１の映像符号化データ）を入力すると、そのＭＰＥＧ−２ビデオビットストリームに含まれている各シーンの映像（以下、「シーン映像」と称する）毎に、他のシーン映像との相関を測定する尺度となるシーン相関測定パラメータを算出する処理を実施する。
ここで、シーンは、所定の時間の単位でもよいし、ＭＰＥＧ−２ビデオビットストリームのデータ構造を規定するＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）、即ち、ＭＰＥＧ−２ビデオビットストリームに対してランダムアクセスが可能なデータ単位（２つのＩピクチャ間に含まれる全ピクチャデータ）などでもよい。

データ記録部２は例えばハードディスクやＳＳＤなどの記録媒体から構成されており、シーン相関測定パラメータ算出部１により算出されたシーン相関測定パラメータを記録する。
また、データ記録部２は後述するＨ．２６４変換部４により変換されたマスターストリーム（第２の映像符号化データ）を記録するとともに、後述する多重化部７から出力されたスレーブ符号化データなどを記録する。
スレーブ符号化データの詳細は後述するが、シーン内・シーン間適応符号化部６により変換されたスレーブストリーム（第３の映像符号化データ）の中で、シーン間予測判定部５により検索された符号化データを用いずに変換されたシーン映像単位の符号化データ（シーン内予測符号化データ）と、シーン間予測判定部５により検索された符号化データなどを示すスレーブストリーム符号化管理情報とから構成されている。

スイッチ３は外部から与えられる再圧縮方法識別信号が「ＭＰＥＧ−２ビデオビットストリームをマスターストリームとして再圧縮する」旨を指示している場合、シーン相関測定パラメータ算出部１から出力されたＭＰＥＧ−２ビデオビットストリームをＨ．２６４変換部４に与え、その再圧縮方法識別信号が「ＭＰＥＧ−２ビデオビットストリームをスレーブストリームとして再圧縮する」旨を指示している場合、シーン相関測定パラメータ算出部１から出力されたＭＰＥＧ−２ビデオビットストリームをシーン内・シーン間適応符号化部６に与える処理を実施する。

Ｈ．２６４変換部４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、スイッチ３からＭＰＥＧ−２ビデオビットストリームが与えられると、そのＭＰＥＧ−２ビデオビットストリームを所定の処理手順によってＨ．２６４映像符号化方式に従うビデオビットストリームに変換し、そのビデオビットストリームをマスターストリームとしてデータ記録部２に記録する処理を実施する。

シーン間予測判定部５は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、シーン相関測定パラメータ算出部１により算出されたシーン相関測定パラメータ（相関測定パラメータＡ，相関測定パラメータＢ）に基づいて、データ記録部２に記録されているマスターストリーム内のシーン映像単位の符号化データの中から、シーン内・シーン間適応符号化部６が予測符号化する際に、ＭＰＥＧ−２ビデオビットストリーム内のシーン映像単位の符号化データの代わりに予測参照に用いる符号化データを検索する処理を実施する。
シーン相関測定パラメータＡは、再圧縮方法識別信号が「ＭＰＥＧ−２ビデオビットストリームをマスターストリームとして再圧縮する」旨を指示している際に算出されたパラメータであり、シーン相関測定パラメータＢは、再圧縮方法識別信号が「ＭＰＥＧ−２ビデオビットストリームをスレーブストリームとして再圧縮する」旨を指示している際に算出されたパラメータである。

即ち、シーン間予測判定部５はシーン相関測定パラメータ算出部１により算出されたシーン相関測定パラメータＡ，Ｂを用いて、ＭＰＥＧ−２ビデオビットストリーム内の各々のシーン映像と、データ記録部２に記録されているマスターストリーム内の各々のシーン映像との相関値を測定するとともに、ＭＰＥＧ−２ビデオビットストリーム内の各々のシーン映像に対して、相関値が最高のマスターストリーム内のシーン映像を特定し、その相関値が所定値以上であれば、そのシーン映像の符号化データを予測参照に用いる符号化データに決定する処理を実施する。
また、シーン間予測判定部５は予測参照に用いる符号化データが見つかれば（相関が高いシーン映像が存在する場合）、「当該処理対象のシーンでは、マスターストリーム内の相関が高いシーン映像の符号化データを利用して符号化を行う」旨を示し、予測参照に用いる符号化データが見つからなければ（相関が高いシーン映像の符号化データが存在しない場合）、「当該処理対象のシーンでは、マスターストリーム内の符号化データを使用せず、シーン内に閉じた符号化を行う」旨を示すスレーブストリーム符号化管理情報をシーン内・シーン間適応符号化部６及び多重化部７に出力する処理を実施する。

なお、スレーブストリーム符号化管理情報には、少なくとも、データ記録部２に記録される複数のビットストリームデータのうち、マスターストリームを特定するマスターストリームＩＤ、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いるか否かを特定するシーン間予測指示フラグ、マスターストリーム上でのマスターシーン（予測参照に用いるシーン）を特定するマスターシーンＩＤなどを含んでいる。

シーン内・シーン間適応符号化部６は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、データ記録部２に記録されたマスターストリーム内のシーン映像単位の符号化データの中で、シーン間予測判定部５により予測参照に用いる代わりの符号化データが検索されていない符号化データと、シーン間予測判定部５により検索された符号化データとを予測参照に用いて、そのＭＰＥＧ−２ビデオビットストリームをスレーブストリームに変換する処理を実施する。

多重化部７は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、シーン内・シーン間適応符号化部６により変換されたスレーブストリームと、シーン間予測判定部５から出力されたスレーブストリーム符号化管理情報とを多重化し、その多重化結果をスレーブ符号化データとしてデータ記録部２に記録する処理を実施する。

図１の例では、画像符号化装置の構成要素であるシーン相関測定パラメータ算出部１、データ記録部２、スイッチ３、Ｈ．２６４変換部４、シーン間予測判定部５、シーン内・シーン間適応符号化部６及び多重化部７のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像符号化装置がコンピュータで構成されていてもよい。
画像符号化装置がコンピュータで構成されている場合、データ記録部２をコンピュータのメモリ上に構成するとともに、シーン相関測定パラメータ算出部１、スイッチ３、Ｈ．２６４変換部４、シーン間予測判定部５、シーン内・シーン間適応符号化部６及び多重化部７の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図２はこの発明の実施の形態１による画像符号化装置の処理内容（画像符号化方法）を示すフローチャートである。

図３はこの発明の実施の形態１による画像符号化装置のシーン内・シーン間適応符号化部６を示す構成図である。
図３において、ＭＰＥＧ−２復号部１１はスイッチ３からＭＰＥＧ−２ビデオビットストリームが与えられると、そのＭＰＥＧ−２ビデオビットストリーム内の各々のシーン映像の符号化データに対する復号処理を実施して、シーン映像単位に復号画像を生成する処理を実施する。
スイッチ１２はシーン間予測判定部５から出力されたスレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いない旨を示していれば、ＭＰＥＧ−２復号部１１により生成された復号画像をシーン内予測符号化部１４に出力し、そのシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いる旨を示していれば、ＭＰＥＧ−２復号部１１により生成された復号画像をシーン間予測符号化部１５に出力する処理を実施する。

シーン間予測参照箇所抽出部１３はシーン間予測判定部５から出力されたスレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いる旨を示していれば、そのスレーブストリーム符号化管理情報に含まれているマスターストリームＩＤが示すマスターストリームの中から、マスターシーンＩＤが示すシーン映像の符号化データを抽出し、その符号化データに対するＨ．２６４復号処理を実施して、そのシーン映像の復号画像（以下、「マスターストリーム復号画像」と称する）を生成する処理を実施する。

シーン内予測符号化部１４はマスターストリーム内の符号化データを一切使用することなく、スイッチ１２から出力された復号画像に対してＨ．２６４圧縮符号化処理を実施し、その符号化処理結果であるシーン内予測符号化データを出力する処理を実施する。
シーン間予測符号化部１５はスイッチ１２から出力された復号画像の時間相関と、その復号画像とシーン間予測参照箇所抽出部１３により生成されたマスターストリーム復号画像における同一時刻位置の画像データ間の相関とを利用して、Ｈ．２６４の動き補償処理ないしイントラ予測を用いた圧縮符号化処理を実行して、その処理結果であるシーン間予測符号化データを出力する処理を実施する。

スレーブストリーム多重化部１６はシーン内予測符号化部１４から出力されたシーン内予測符号化データとシーン間予測符号化部１５から出力されたシーン間予測符号化データを多重化してスレーブストリームを生成し、そのスレーブストリームを多重化部７に出力する処理を実施する。

図４はこの発明の実施の形態１による画像復号装置を示す構成図である。
図４において、データ記録部２は図１の画像符号化装置のデータ記録部２と同じ記録部である。
スイッチ２１は外部から与えられるストリーム種別識別信号が「当該符号化データをマスターストリームとして復号する」旨を指示している場合、データ記録部２に記録されているマスターストリームを読み込んでＨ．２６４復号部２２に出力し、そのストリーム種別識別信号が「当該符号化データをスレーブ符号化データとして復号する」旨を指示している場合、データ記録部２に記録されているスレーブ符号化データを多重分離部２３に出力する処理を実施する。

Ｈ．２６４復号部２２は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、スイッチ２１からマスターストリームを受けると、そのマスターストリームに対してＨ．２６４映像符号化方式に従う所定の復号処理を実施することで、再生映像を生成する処理を実施する。

多重分離部２３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、スイッチ２１からスレーブ符号化データを受けると、そのスレーブ符号化データをスレーブストリームとスレーブストリーム符号化管理情報に分離する処理を実施する。
復号ストリーム成型部２４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、データ記録部２に記録されている複数のマスターストリームのうち、多重分離部２３により分離されたスレーブストリーム符号化管理情報に含まれているマスターストリームＩＤが示すマスターストリームを読み出すとともに、そのマスターストリームの中から、そのスレーブストリーム符号化管理情報に含まれているマスターシーンＩＤが示すシーン映像の符号化データを抽出し、その符号化データを多重分離部２３により分離されたスレーブストリームの対応するシーン映像の位置に埋め込むことで、復号ストリームを成型する処理を実施する。

スレーブ映像復号部２５は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、復号ストリーム成型部２４により成型された復号ストリームに対して、所定の復号処理を実施することで、スレーブ符号化データに対応する再生映像を生成する処理を実施する。

図４の例では、画像復号装置の構成要素であるデータ記録部２、スイッチ２１、Ｈ．２６４復号部２２、多重分離部２３、復号ストリーム成型部２４及びスレーブ映像復号部２５のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像復号装置がコンピュータで構成されていてもよい。
画像復号装置がコンピュータで構成されている場合、データ記録部２をコンピュータのメモリ上に構成するとともに、スイッチ２１、Ｈ．２６４復号部２２、多重分離部２３、復号ストリーム成型部２４及びスレーブ映像復号部２５の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図５はこの発明の実施の形態１による画像復号装置の処理内容（画像復号方法）を示すフローチャートである。

次に動作について説明する。
最初に、図１の画像符号化装置の処理内容を説明する。
シーン相関測定パラメータ算出部１は、ＭＰＥＧ−２映像符号化方式によって圧縮符号化されたＭＰＥＧ−２ビデオビットストリームを入力すると、そのＭＰＥＧ−２ビデオビットストリームのシーン映像毎に、他のシーン映像との相関を測定する尺度となるシーン相関測定パラメータを算出する（図２のステップＳＴ１）。
ここで、シーンは、所定の時間の単位でもよいし、ＭＰＥＧ−２ビデオビットストリームのデータ構造を規定するＧＯＰ、即ち、ＭＰＥＧ−２ビデオビットストリームに対してランダムアクセスが可能なデータ単位（２つのＩピクチャ間に含まれる全ピクチャデータ）などでもよい。
シーン相関測定パラメータ算出部１により算出されたシーン映像毎のシーン相関測定パラメータは、データ記録部２に記録される。

ここで、シーン相関測定パラメータの具体的な事例について述べる。
シーン相関測定パラメータは、「２つのシーンの間の類似度」を測ることを可能とする量を用いるものである。
例えば、ＭＰＥＧ−２ビデオビットストリームのＩピクチャ符号化データに含まれるＤＣＴ係数のＤＣ成分から縮小画像を構成して、その縮小画像の輝度平均や輝度分散などのテクスチャ特徴、あるいは、その縮小画像の色平均や色分散などの色特徴を示す量を生成して、そのテクスチャ特徴又は色特徴を示す量をシーン相関測定パラメータとして利用することが考えられる。
また、そのＤＣ成分からなる縮小画像に対して、以下の非特許文献１に開示されている「Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅ」を生成し、「Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅ」をシーン相関測定パラメータとして利用するようにしてもよい。
［非特許文献１］
西川，Ｐ．Ｂｒａｓｎｅｔｔ他、“ＭＰＥＧ−７ 技術 Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅ：画像同定技術”、三菱電機技報２００８年１２月号

「Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅ」は、以下の非特許文献２に開示されているトレース変換を用いて、輝度情報を空間的周波数で表現した量であり、画像の同一性を評価するパラメータとして国際標準化されている。
具体的には、シーン先頭の「Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅ」、または、シーン内に含まれる複数のＩピクチャの縮小画像に対応する「Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅ」の集合をシーン相関測定パラメータとして利用することが考えられる。
［非特許文献２］
Ａ． Ｋａｄｙｒｏｖ、 Ｍ． Ｐｅｔｒｏｕ、 “Ｔｈｅ Ｔｒａｃｅ Ｔｒａｎｓｆｏｒｍ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ”、ＩＥＥＥ Ｔｒａｎｓ．Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ｖｏｌ．２３ ｎｏ．８ ｐｐ．８１１−８２８ ２００１

また、以下の非特許文献３に開示される「Ｖｉｄｅｏ Ｓｉｇｎａｔｕｒｅ」を生成し、「Ｖｉｄｅｏ Ｓｉｇｎａｔｕｒｅ」をシーン相関測定パラメータとして利用するようにしてもよい。
［非特許文献３］
工藤、西川、“画像同定技術（Ｖｉｓｕａｌ Ｓｉｇｎａｔｕｒｅ）”、 三菱電機技報２０１１年１１月号

上記のいずれにおいても、ＭＰＥＧ−２ビデオビットストリームのＩピクチャ符号化データに含まれるＤＣＴ係数のＤＣ成分から縮小画像を生成して、その縮小画像に対する特徴量をシーン相関測定パラメータとしているが、ＭＰＥＧ−２ビデオビットストリームを画像データに復号して、復号画像レベルで同様の特徴量の抽出を実行するようにしてもよい。
これにより、処理量は増加するが、実際の画像データに即した特徴量を抽出することができる。

スイッチ３は、外部から与えられる再圧縮方法識別信号が「ＭＰＥＧ−２ビデオビットストリームをマスターストリームとして再圧縮する」旨を指示していれば（ステップＳＴ２）、シーン相関測定パラメータ算出部１から出力されたＭＰＥＧ−２ビデオビットストリームをＨ．２６４変換部４に与える。
一方、その再圧縮方法識別信号が「ＭＰＥＧ−２ビデオビットストリームをスレーブストリームとして再圧縮する」旨を指示していれば（ステップＳＴ２）、シーン相関測定パラメータ算出部１から出力されたＭＰＥＧ−２ビデオビットストリームをシーン内・シーン間適応符号化部６に与える。

Ｈ．２６４変換部４は、スイッチ３からＭＰＥＧ−２ビデオビットストリームが与えられると、そのＭＰＥＧ−２ビデオビットストリームを所定の処理手順によってＨ．２６４映像符号化方式に従うビデオビットストリームに変換し、そのビデオビットストリームをマスターストリームとしてデータ記録部２に記録する（ステップＳＴ３）。

シーン間予測判定部５は、シーン相関測定パラメータ算出部１がシーン相関測定パラメータＡ又はシーン相関測定パラメータＢを算出すると、そのシーン相関測定パラメータＡ，Ｂに基づいて、データ記録部２に記録されているマスターストリーム内のシーン映像単位の符号化データの中から、シーン内・シーン間適応符号化部６が予測符号化する際に、ＭＰＥＧ−２ビデオビットストリーム内のシーン映像単位の符号化データの代わりに予測参照に用いる符号化データを検索する。
シーン相関測定パラメータＡは、再圧縮方法識別信号が「ＭＰＥＧ−２ビデオビットストリームをマスターストリームとして再圧縮する」旨を指示している際に算出されたパラメータであり、シーン相関測定パラメータＢは、再圧縮方法識別信号が「ＭＰＥＧ−２ビデオビットストリームをスレーブストリームとして再圧縮する」旨を指示している際に算出されたパラメータである。
以下、シーン間予測判定部５による符号化データの検索処理を具体的に説明する。

まず、シーン間予測判定部５は、シーン相関測定パラメータ算出部１により算出されたシーン相関測定パラメータＡ，Ｂを用いて、ＭＰＥＧ−２ビデオビットストリーム内の各々のシーン映像と、データ記録部２に記録されているマスターストリーム内の各々のシーン映像との相関値を測定する。
次に、シーン間予測判定部５は、ＭＰＥＧ−２ビデオビットストリーム内のシーン映像毎に、当該シーン映像に対するマスターストリーム内の各々のシーン映像の相関値を比較し、最も相関値が大きいマスターストリーム内のシーン映像を探索する。
シーン間予測判定部５は、最も相関値が大きいマスターストリーム内のシーン映像を探索すると、その相関値が予め設定している所定値以上であれば、そのシーン映像の符号化データを予測参照に用いるシーン映像に決定する。
一方、その相関値が予め設定している所定値に満たなければ、そのマスターストリーム内のシーン映像の符号化データを予測参照に用いないものとする。

なお、シーン間予測判定部５による最も相関値が大きいマスターストリーム内のシーン映像を探索する処理は、シーン相関測定パラメータＡとシーン相関測定パラメータＢのマッチング処理に対応し、例えば、上記の非特許文献３に開示されている「Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅ」や「Ｖｉｄｅｏ Ｓｉｇｎａｔｕｒｅ」などのマッチング処理を利用することができる。

シーン間予測判定部５は、シーン内・シーン間適応符号化部６が予測参照に用いる符号化データが見つかれば（ＭＰＥＧ−２ビデオビットストリーム内のシーン映像と相関が高いマスターストリーム内のシーン映像が存在する場合）、「当該処理対象のシーンでは、マスターストリーム内の相関が高いシーン映像の符号化データを利用して符号化を行う」旨を示すスレーブストリーム符号化管理情報をシーン内・シーン間適応符号化部６及び多重化部７に出力する。
一方、シーン内・シーン間適応符号化部６が予測参照に用いる符号化データが見つからなければ（ＭＰＥＧ−２ビデオビットストリーム内のシーン映像と相関が高いマスターストリーム内のシーン映像が存在しない場合）、「当該処理対象のシーンでは、マスターストリーム内の符号化データを使用せず、シーン内に閉じた符号化を行う」旨を示すスレーブストリーム符号化管理情報をシーン内・シーン間適応符号化部６及び多重化部７に出力する。

なお、スレーブストリーム符号化管理情報には、少なくとも、データ記録部２に記録される複数のビットストリームデータのうち、マスターストリームを特定するマスターストリームＩＤ、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いるか否かを特定するシーン間予測指示フラグ、マスターストリーム上でのマスターシーン（予測参照に用いるシーン）を特定するマスターシーンＩＤなどを含んでいる。

シーン間予測判定部５からスレーブストリーム符号化管理情報が出力された後は、シーン相関測定パラメータＢは不要になるため、データ記録部２から消去するように構成してもよい。
シーン相関測定パラメータＡについては、後々、別のスレーブストリームを生成する際に必要となるため、データ記録部２に保存しておくように構成してもよいし、データ記録部２の記録容量を確保するため、スレーブストリームを生成する度に、マスターストリームから随時生成するように構成してもよい。
なお、スレーブストリームを生成する際に、マスターストリームを使用しないようにする場合には、シーン相関測定パラメータＡも不要になるため、データ記録部２から消去するように構成する。

シーン内・シーン間適応符号化部６は、データ記録部２に記録されたマスターストリーム内のシーン映像単位の符号化データの中で、シーン間予測判定部５により予測参照に用いる代わりの符号化データが検索されていない符号化データと、シーン間予測判定部５により検索された符号化データとを予測参照に用いて、そのＭＰＥＧ−２ビデオビットストリームをスレーブストリームに変換する。

ここで、図６はスレーブ符号化データとマスターストリームの関係を示す説明図である。
図６に示すマスターストリームは、データ記録部２に記録されている１以上のマスターストリームのうち、スレーブストリーム符号化管理情報に含まれているマスターストリームＩＤが示すマスターストリームであり、Ｈ．２６４映像符号化方式によって生成されている。
スレーブストリームは、スレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグによって、マスターストリーム内のシーン映像単位の符号化データと、マスターストリーム内のシーン映像単位の符号化データが代わりに使用されない符号化データとに分類される。
また、スレーブストリーム符号化管理情報に含まれているマスターシーンＩＤによって、マスターストリーム上でのマスターシーン（予測参照に用いるシーン）が特定される。

以下、シーン内・シーン間適応符号化部６によるストリームの変換処理を具体的に説明する。
まず、シーン内・シーン間適応符号化部６のＭＰＥＧ−２復号部１１は、スイッチ３からＭＰＥＧ−２ビデオビットストリームが与えられると、そのＭＰＥＧ−２ビデオビットストリーム内の各々のシーン映像の符号化データに対する復号処理を実施して、シーン映像単位に復号画像を生成する（ステップＳＴ４）。

スイッチ１２は、シーン間予測判定部５から出力されたスレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いない旨を示していれば（ステップＳＴ５）、ＭＰＥＧ−２復号部１１により生成された復号画像をシーン内予測符号化部１４に出力する。
そのシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いる旨を示していれば（ステップＳＴ５）、ＭＰＥＧ−２復号部１１により生成された復号画像をシーン間予測符号化部１５に出力する。

シーン間予測参照箇所抽出部１３は、シーン間予測判定部５から出力されたスレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いる旨を示していれば（ステップＳＴ５）、そのスレーブストリーム符号化管理情報に含まれているマスターストリームＩＤが示すマスターストリームの中から、マスターシーンＩＤが示すシーン映像の符号化データを抽出する（ステップＳＴ６）。
シーン間予測参照箇所抽出部１３は、マスターシーンＩＤが示すシーン映像の符号化データを抽出すると、その符号化データに対するＨ．２６４復号処理を実施して、そのシーン映像の復号画像であるマスターストリーム復号画像を生成する（ステップＳＴ７）。

この際、マスターストリームから抽出されるシーン映像の符号化データは、シーン先頭のピクチャがＩＤＲピクチャであって、ランダムアクセスが可能なデータとして構成するようにしてもよいし、シーン先頭のピクチャがＩＤＲピクチャでない状態で構成してもよい。
前者は抽出処理が簡易となる利点があるが、ＩＤＲピクチャを頻繁に挿入することになるため、マスターストリーム自体の圧縮効率が制限されるというトレードオフの関係がある。
後者は逆に、ＩＤＲ挿入の影響を受けないので、マスターストリーム自体の圧縮効率を維持することができるが、シーン先頭のピクチャを正常に復号可能となる最も時間的に近いＩＤＲピクチャ位置から符号化データを抽出して復号するなど、抽出処理が複雑になるというトレードオフの関係がある。これらは実際の装置の要求条件に基づいて構成することが可能である。

ここで、図７はシーン内・シーン間適応符号化部６におけるシーン内予測符号化部１４及びシーン間予測符号化部１５の処理を示す説明図である。
図７において、記号Ｉ，Ｐ，Ｂは、マスターストリームから抽出されるシーン映像単位の符号化データの中の各ピクチャの符号化タイプを示しており、記号Ｉ’，Ｐ’，Ｂ’は、記号Ｉ，Ｐ，Ｂのピクチャの時刻位置に対応するスレーブストリーム上の各ピクチャの符号化タイプを示している。
図７では、Ｉ’，Ｐ’，Ｂ’ピクチャは、マスターストリーム上の対応するＩ，Ｐ，Ｂピクチャと等価なシーン内予測符号化に加えて、同一時刻位置に対応するピクチャからのシーン間予測参照も可能とする構成を図示している。
このことは、本発明が、Ｉ’，Ｐ’，Ｂ’ピクチャに対して、Ｉ，Ｐ，Ｂピクチャと常に等価な予測符号化処理を実行する制約を課すものではない。

例えば、Ｂ’ピクチャでは、Ｐ’ピクチャに相当する符号化処理を行うように構成してもよい。
この実施の形態１では、説明の便宜上、マスターストリーム上から抽出される符号化データは、ＩＤＲピクチャから始まり（図７のＩピクチャは「ＩＤＲピクチャ」とする）、Ｐピクチャ及びＢピクチャの符号化データを用いて符号化されているものとし、スレーブストリームのＩ’，Ｐ’，Ｂ’ピクチャは、Ｉ，Ｐ，Ｂピクチャと等価な予測符号化処理とシーン間予測符号化処理とを併用するものとする。

シーン間予測符号化部１５は、スイッチ１２から復号画像を受けると、その復号画像の時間相関と、その復号画像とシーン間予測参照箇所抽出部１３により生成されたマスターストリーム復号画像における同一時刻位置の画像データ間の相関とを利用して、Ｈ．２６４の動き補償処理ないしイントラ予測を用いた圧縮符号化処理を実行して、その処理結果であるシーン間予測符号化データを出力する（ステップＳＴ８）。
シーン内予測符号化部１４は、スイッチ１２から復号画像を受けると、マスターストリーム内の符号化データを一切使用することなく、その復号画像に対してＨ．２６４圧縮符号化処理を実施し、その符号化処理結果であるシーン内予測符号化データを出力する（ステップＳＴ９）。

ここで、Ｉ’ピクチャについては、スレーブ映像内の時間相関を使用せずに、Ｉピクチャからのシーン間相関を利用して予測符号化を行う。
これにより、スレーブストリーム上でのランダムアクセス性を維持しながら、符号化効率を高める効果が得られる。
なお、シーン間予測は、マクロブロック、ないし動き補償予測の単位となるブロックなど、所定の処理単位で使用するかしないかを局所的に選択可能とし、予測効率が高まる画像上の局所箇所のみシーン間予測を利用可能とするように構成する。

この予測参照の制約と符号化データ配列とを、Ｈ．２６４の勧告ＡｎｎｅｘＨに規定されるＭＶＣ（マルチビュー符号化）仕様に従うように構成することにより、シーン間予測参照箇所抽出部１３により抽出されるマスターストリームの符号化データをベースビューとして、シーン内予測符号化データとシーン間予測符号化データとからなるスレーブストリームをエンハンスビューとするＭＶＣ規格に従う符号化データとして構成することができる。
このように構成することによって、スレーブ符号化データに対応する映像信号を再生するために、図４のスレーブ映像復号部２５をまったく新しい処理仕様でなく、標準仕様に準拠した既存の復号装置を採用して所望の動作を実現することが可能になる。

スレーブストリーム多重化部１６は、シーン内予測符号化部１４から出力されたシーン内予測符号化データと、シーン間予測符号化部１５から出力されたシーン間予測符号化データとを多重化してスレーブストリームを生成し、そのスレーブストリームを多重化部７に出力する（ステップＳＴ１０）。
多重化部７は、シーン内・シーン間適応符号化部６により変換されたスレーブストリームと、シーン間予測判定部５から出力されたスレーブストリーム符号化管理情報とを多重化し、その多重化結果をスレーブ符号化データとしてデータ記録部２に記録する（ステップＳＴ１１）。

ここで、多重化部７は、スレーブストリームとスレーブストリーム符号化管理情報を、物理的に１つのファイルないしストリーム等の形式で記録してもよいし、スレーブストリーム符号化管理情報は、例えば、ＸＭＬ形式のデータ等で管理し、スレーブストリームとのリンクを構成するように記録してもよい。
スレーブストリームは、それ単体で復号・映像再生を行う形式とせず、復号・映像再生を行う際、マスターストリームの符号化データをシーン映像毎に、適応的に抽出・追加するように構成する。
マスターストリームはデータ記録部２に記録されているので、マスターストリームの符号化データの抽出・追加処理は、スレーブストリームに対応する映像を復号再生する場合に随時実行するように構成すればよい。
これによって、マスターストリームを符号化に使用するシーン映像については、実際には復号に必要になるマスターストリームの符号化データを逐一記録データとして含まないように構成できるため、品質劣化を伴うことなく、スレーブストリームとして記録すべきデータ量を削減することができ、データ記録部２の記録容量を効率的に使用することができる。

次に、図４の画像復号装置の処理内容を説明する。
まず、スイッチ２１は、外部から与えられるストリーム種別識別信号にしたがってデータ記録部２に記録されている符号化データの復号処理手順の選択を行う。
即ち、スイッチ２１は、外部から与えられるストリーム種別識別信号が「当該符号化データをマスターストリームとして復号する」旨を指示している場合（図５のステップＳＴ２１）、データ記録部２に記録されているマスターストリームを読み込んで、そのマスターストリームをＨ．２６４復号部２２に出力する（ステップＳＴ２２）。
一方、そのストリーム種別識別信号が「当該符号化データをスレーブ符号化データとして復号する」旨を指示している場合（ステップＳＴ２１）、データ記録部２に記録されているスレーブ符号化データを読み込んで、そのスレーブ符号化データを多重分離部２３に出力する（ステップＳＴ２３）。

Ｈ．２６４復号部２２は、スイッチ２１からマスターストリームを受けると、そのマスターストリームに対して、Ｈ．２６４映像符号化方式に従う所定の復号処理を実施することで、再生映像を生成する（ステップＳＴ２４）。

多重分離部２３は、スイッチ２１からスレーブ符号化データを受けると、そのスレーブ符号化データをスレーブストリームとスレーブストリーム符号化管理情報に分離し、そのスレーブストリームとスレーブストリーム符号化管理情報を復号ストリーム成型部２４に出力する（ステップＳＴ２５）。

復号ストリーム成型部２４は、多重分離部２３からスレーブストリームとスレーブストリーム符号化管理情報を受けると、データ記録部２に記録されている複数のマスターストリームのうち、そのスレーブストリーム符号化管理情報に含まれているマスターストリームＩＤが示すマスターストリームの読み出しを行う。
また、復号ストリーム成型部２４は、読み出したマスターストリームの中から、そのスレーブストリーム符号化管理情報に含まれているマスターシーンＩＤが示すシーン映像の符号化データを抽出する。図６のマスターストリームにおいて、斜線が施されている部分のシーン映像の符号化データを抽出する。

復号ストリーム成型部２４は、マスターシーンＩＤが示すシーン映像の符号化データを抽出すると、多重分離部２３により分離されたスレーブストリーム内のシーン映像のうち、マスターシーンＩＤが示すシーン映像に対応するシーン映像を特定する。図６のスレーブストリームにおいて、斜線が施されている部分のシーン映像を特定する。
そして、復号ストリーム成型部２４は、マスターストリームから抽出した符号化データをスレーブストリームの対応するシーン映像の位置に埋め込むことにより、復号ストリームを成型する（ステップＳＴ２６）。

ここで、マスターストリームから抽出する符号化データについては、図６に示すように、一般には、シーン先頭フレームが、スレーブストリーム側の当該シーンの先頭と時間的に合致していないため、それらが整合するように、抽出したマスターストリームの各ピクチャ（アクセスユニット）に対応する符号化データの時刻情報を変換してスレーブストリームに追加する。
この構成によって、復号ストリームは、例えば、マスターストリームをベースビューとするストリーム（Ｈ．２６４勧告 Ａｎｎｅｘ Ｈに規定されるＭＶＣ（マルチビュー符号化）形式のストリーム）として成型することが可能である。

スレーブ映像復号部２５は、復号ストリーム成型部２４が復号ストリームを成型すると、その復号ストリームに対して、所定の復号処理を実施することで、スレーブ符号化データに対応する再生映像を生成する（ステップＳＴ２７）。

以上で明らかなように、この実施の形態１によれば、ＭＰＥＧ−２ビデオビットストリーム内のシーン映像毎に、他のシーン映像との相関を測定する尺度となるシーン相関測定パラメータを算出するシーン相関測定パラメータ算出部１と、ＭＰＥＧ−２ビデオビットストリームをＨ．２６４映像符号化方式に従うビデオビットストリームに変換するＨ．２６４変換部４と、シーン相関測定パラメータ算出部１により算出されたシーン相関測定パラメータＡ，Ｂに基づいて、データ記録部２に記録されているマスターストリーム内のシーン映像単位の符号化データの中から、シーン内・シーン間適応符号化部６が予測符号化する際に、ＭＰＥＧ−２ビデオビットストリーム内のシーン映像単位の符号化データの代わりに予測参照に用いる符号化データを検索するシーン間予測判定部５とを設け、シーン内・シーン間適応符号化部６が、データ記録部２に記録されたマスターストリーム内のシーン映像単位の符号化データの中で、シーン間予測判定部５により予測参照に用いる代わりの符号化データが検索されていない符号化データと、シーン間予測判定部５により検索された符号化データとを予測参照に用いて、そのＭＰＥＧ−２ビデオビットストリームをスレーブストリームに変換するように構成したので、処理量の増加や映像品質の低下を招くことなく、効率的な圧縮を行うことができる画像符号化装置が得られる効果を奏する。

また、この実施の形態１によれば、データ記録部２に記録されている複数のマスターストリームのうち、多重分離部２３により分離されたスレーブストリーム符号化管理情報に含まれているマスターストリームＩＤが示すマスターストリームを読み出すとともに、そのマスターストリームの中から、そのスレーブストリーム符号化管理情報に含まれているマスターシーンＩＤが示すシーン映像の符号化データを抽出し、その符号化データを多重分離部２３により分離されたスレーブストリームの対応するシーン映像の位置に埋め込むことで、復号ストリームを成型する復号ストリーム成型部２４を設け、スレーブ映像復号部２５が、復号ストリーム成型部２４により成型された復号ストリームに対して、所定の復号処理を実施することで、スレーブ符号化データに対応する再生映像を生成するように構成したので、効率的に圧縮されている画像を復号することができる画像復号装置が得られる効果を奏する。

この実施の形態１では、画像符号化装置に入力されるビデオビットストリームがＭＰＥＧ−２ビデオビットストリームであり、そのＭＰＥＧ−２ビデオビットストリームの符号化方式を、Ｈ．２６４を用いたシーン内・シーン間適応予測符号化処理によって変換するものを示したが、画像符号化装置に入力されるビデオビットストリームがＭＰＥＧ−２ビデオビットストリームに限るものではなく、例えば、ＭＰＥＧ−４ビジュアル（ＩＳＯ／ＩＥＣ １４４９６−２）や、Ｈ．２６４（ＩＳＯ／ＩＥＣ １４４９６−１０）など、どのような映像符号化形式でもよい。
また、変換符号化に用いる符号化方式もＨ．２６４に限定するものではない。

また、シーン相関測定パラメータ算出部１により算出されるシーン相関測定パラメータは、画像符号化装置に入力されるビデオビットストリームの映像符号化形式に基づいて定義するように構成できる。
また、スレーブ符号化データに対応する映像信号の符号化データフォーマットとして、Ｈ．２６４の勧告Ａｎｎｅｘ Ｈに規定されるＭＶＣを例に挙げたが、これもＭＶＣ形式に限定するものではなく、この実施の形態１における画像符号化装置や画像復号装置の構成に従うことによって、他の同様の標準符号化方式に対応するように構成することができる。

実施の形態２．
上記実施の形態１では、マスターストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」、または、スレーブストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」がシーン相関測定パラメータ算出部１に入力されるものを示したが、マスターストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」とスレーブストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」とが単一のビデオビットストリームに含まれており、単一のビデオビットストリームがシーン相関測定パラメータ算出部１に入力されるものであってもよい。

図８はこの発明の実施の形態２による画像符号化装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
スイッチ３１は外部から与えられる再圧縮方法識別信号が、「シーン相関測定パラメータ算出部１に入力されるＭＰＥＧ−２ビデオビットストリームの前半部分がマスターストリームとして再圧縮するビデオビットストリームであり、後半部分がスレーブストリームとして再圧縮するビデオビットストリームである」旨を指示している場合、シーン相関測定パラメータ算出部１から出力されたＭＰＥＧ−２ビデオビットストリームを分割して、そのＭＰＥＧ−２ビデオビットストリームの前半部分をＨ．２６４変換部４に与え、そのＭＰＥＧ−２ビデオビットストリームの後半部分をシーン内・シーン間適応符号化部６に与える処理を実施する。

次に動作について説明する。
上記実施の形態１では、マスターストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」、または、スレーブストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」がシーン相関測定パラメータ算出部１に入力される例を示しているが、この実施の形態２では、図９に示すように、マスターストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」とスレーブストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」とが単一のビデオビットストリームに含まれており、単一のビデオビットストリームがシーン相関測定パラメータ算出部１に入力される例について説明する。

単一のビデオビットストリームがシーン相関測定パラメータ算出部１に入力される場合、図１の画像符号化装置と比べて、スイッチ３１の処理内容だけが相違する。
スイッチ３１には、「シーン相関測定パラメータ算出部１に入力されるＭＰＥＧ−２ビデオビットストリームの前半部分がマスターストリームとして再圧縮するビデオビットストリームであり、後半部分がスレーブストリームとして再圧縮するビデオビットストリームである」旨を指示する再圧縮方法識別信号が外部から入力される。

スイッチ３１は、外部から上記の再圧縮方法識別信号が与えられたのち、シーン相関測定パラメータ算出部１からＭＰＥＧ−２ビデオビットストリームが出力されると、そのＭＰＥＧ−２ビデオビットストリームを前半部分と後半部分に分割し、そのＭＰＥＧ−２ビデオビットストリームの前半部分をＨ．２６４変換部４に与え、そのＭＰＥＧ−２ビデオビットストリームの後半部分をシーン内・シーン間適応符号化部６に与える。

スイッチ３１以外の画像符号化装置の処理内容は、上記実施の形態１と同様であるため詳細な説明を省略するが、そのＭＰＥＧ−２ビデオビットストリームの前半部分がＨ．２６４変換部４に与えられることで、そのＭＰＥＧ−２ビデオビットストリームの前半部分がＨ．２６４映像符号化方式に従うビデオビットストリームに変換され、そのビデオビットストリームがマスターストリームとしてデータ記録部２に記録される。
一方、そのＭＰＥＧ−２ビデオビットストリームの後半部分がシーン内・シーン間適応符号化部６に与えられることで、そのＭＰＥＧ−２ビデオビットストリームの後半部分がスレーブストリームに変換され、そのスレーブストリームとシーン間予測判定部５から出力されたスレーブストリーム符号化管理情報とが多重化されているスレーブ符号化データがデータ記録部２に記録される。

画像復号装置の処理内容は、上記実施の形態１と同様であり、データ記録部２により記録されているマスターストリームの中から、スレーブストリーム符号化管理情報が示すシーン映像の符号化データを抽出し（図１０を参照）、そのシーン映像の符号化データをスレーブストリームの対応シーン映像の位置に埋め込むことで復号ストリームを成型して、画像の復号処理を行う。
例えば、テレビ番組などでは、１つの番組内に相関が高いシーン映像が含まれていることが多いが、上記のように、マスターストリームとスレーブストリームが単一のビデオビットストリームに含まれている場合、相関が高いシーン映像を効率よく検索して利用することができる。

この実施の形態２では、シーン相関測定パラメータ算出部１に入力されるＭＰＥＧ−２ビデオビットストリームの前半部分がマスターストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」、後半部分がスレーブストリームとして再圧縮する「ＭＰＥＧ−２ビデオビットストリーム」に分けられている例を示したが、図１１に示すように、マスターストリームとスレーブストリームが交互に繰り返されている単一のＭＰＥＧ−２ビデオビットストリームがシーン相関測定パラメータ算出部１に入力されるものであってもよい。
一般的に、時間的に近いシーン映像から予測する方が、時間的に遠いシーン映像から予測するよりも符号化効率がよいが、図１１に示すように、マスターストリームとスレーブストリームが交互に繰り返されている場合には、マスターストリームとスレーブストリームの時間的な距離が近づくため、符号化効率が高いストリームを生成することが可能になる。

ここでは、マスターストリームとスレーブストリームが交互に繰り返されている例を示したが、図１２に示すように、マスターストリームの時間的な長さと、スレーブストリームの時間的な長さとが異なっていてもよい。
図１２の例では、ＭＰＥＧ−２ビデオビットストリーム内のマスターストリームの個数が２個であり、ＭＰＥＧ−２ビデオビットストリーム内のスレーブストリームの個数が６個であるため、スレーブストリームの時間的な長さが、マスターストリームの時間的な長さの３倍となっている。
このように、スレーブストリームの時間的な長さを、マスターストリームの時間的な長さより長くすることで、シーン間相関を用いた符号化を行うシーン映像が増えるため、符号化効率の改善に寄与する。
このとき、マスターシーンの符号化管理情報に対して、マスターストリームとスレーブストリームの長さ情報を多重化するようにしてもよい。

ただし、ＭＰＥＧ−２ビデオビットストリームの形態が上記のような形態であるとき、符号化対象のシーケンス内には、シーンチェンジを含む可能性がある。
シーンチェンジ前後では、シーン映像間に相関がない可能性が高いため、図１３に示すように、シーンチェンジ直後のシーン映像がマスターストリームであれば、シーンチェンジによる符号化効率の低下を防ぐことが可能になる。
そこで、シーンチェンジ直後のシーン映像が必ずマスターストリームであるＭＰＥＧ−２ビデオビットストリームがシーン相関測定パラメータ算出部１に入力されるものであってもよい。

この実施の形態２では、マスターストリームとスレーブストリームが単一のＭＰＥＧ−２ビデオビットストリームに含まれているものを示したが、図１４に示すように、特定の単位（例えば、ＧＯＰ）で、単一のＭＰＥＧ−２ビデオビットストリームに含まれている各々のストリームがマスターストリームであるのか、スレーブストリームであるのかを示すｆｌａｇをマスターシーンの符号化管理情報として、画像復号装置にシグナリングするようにしてもよい。
例えば、多重化部７が、当該符号化管理情報をデータ記録部２に記録することで、画像復号装置にシグナリングするようにしてもよいし、当該符号化管理情報を画像復号装置に送信することで、画像復号装置にシグナリングするようにしてもよい。
このようにすることで、映像の特性に応じて、マスターストリームとするのか、スレーブストリームとするのかを自由に決定することができるようになり、符号化効率を改善することができる。

また、図１５に示すように、シーケンスの途中に、符号化中のシーン映像とは明らかに性質が異なるシーン映像が挿入されている可能性がある（例えば、テレビ番組におけるＣＭなどが該当する）。
このような場合、事前に、符号化中のシーン映像とは明らかに性質が異なるシーン映像を検出し、そのシーン映像内で閉じた形でシーン相関測定パラメータを検出して符号化を行うことが考えられる。
このようにすることで、シーン相関測定パラメータを検出するシーン映像を減らして、処理量を低減することができるので、符号化中のシーン映像とは明らかに性質が異なるシーン映像が飛ばされている（当該シーン映像のストリームを含んでいない）ＭＰＥＧ−２ビデオビットストリームがシーン相関測定パラメータ算出部１に入力されるものであってもよい。

この実施の形態２では、ＭＰＥＧ−２ビデオビットストリームをＨ．２６４映像符号化方式に従うビデオビットストリームに変換し、そのビデオビットストリームをマスターストリームとしてデータ記録部２に記録するものを示したが、映像符号化方式はＨ．２６４映像符号化方式に限るものではなく、例えば、ＭＰＥＧ−４などの他の映像符号化方式を用いるようにしてもよい。また、入力ビットストリームをＭＰＥＧ−２ビデオビットストリームとしたが、これはＭＰＥＧ−２ビデオビットストリームに限るものではなく、例えば、ＭＰＥＧ−４やＨ．２６４などの他の映像符号化方式で符号化されたビデオビットストリームを入力として使用してもよい。

上記実施の形態１，２では、特に言及していないが、画像符号化装置及び画像復号装置は、データ記録部２により記録されているマスターストリーム又はスレーブ符号化データを編集する編集機能（例えば、キーボードやマウスなどのマンマシンインタフェースを備え、マンマシンインタフェースにより受け付けられた操作内容にしたがってマスターストリーム又はスレーブ符号化データを編集するＣＰＵなどの処理部などが該当する）を備えている場合がある。
しかし、ユーザが編集機能を操作することで、マスターストリームが削除されてしまう状況が発生することがある。

そこで、画像符号化装置及び画像復号装置の編集機能は、マスターストリームを削除する操作が行われた場合、「マスターストリームを削除する操作が行われている」旨を示す警告メッセージをディスプレイに表示するようにしてもよい。
また、マスターストリームからの予測については再符号化を行うなどの処理を行うことで、マスターストリームが消去されることによって復号が不可能になることを防ぐようにしてもよい。

実施の形態３．
上記実施の形態１，２では、マスターストリーム及びスレーブ符号化データがデータ記録部２に記録されるものを示したが、マスターストリームについては、データ記録部２に記録せずに、画像符号化装置及び画像復号装置の外部装置に記録されるようにしてもよい。
図１６はレコード（画像符号化装置、画像復号装置）がネットワークに接続されているシステム例を示す構成図である。

図１６の例では、レコーダである画像符号化装置のＨ．２６４変換部４が、マスターストリームをデータ記録部２に記録せずに、ネットワークインタフェースを介して、そのマスターストリームを外部装置であるサーバ（例えば、公共サーバ、サービス業者が提供する専用サーバ、個人所有のサーバ）に転送し、そのサーバがマスターストリームを記録するようにしてもよい。

例えば、サーバに記録されているマスターストリームについては、ユーザの操作では消去できない構成に設定されていれば、誤ってマスターストリームを消去することによってストリームが復号できなくなることを防ぐことが可能になる。
また、サーバの管理者が特定のユーザに限り、マスターストリームを開示するシステムを構成することが可能になり、このような構成にすることで、セキュアな映像管理が可能になる。

実施の形態４．
上記実施の形態１では、シーン間予測符号化部１５が、スイッチ１２から復号画像を受けると、その復号画像の時間相関と、その復号画像とシーン間予測参照箇所抽出部１３により生成されたマスターストリーム復号画像における同一時刻位置の画像データ間の相関とを利用して、Ｈ．２６４の動き補償処理ないしイントラ予測を用いた圧縮符号化処理を実行して、その処理結果であるシーン間予測符号化データを出力するものを示したが（Ｉ，Ｐ，Ｂピクチャのそれぞれにおいて、同一時刻位置に対応するピクチャからのシーン間予測を可能にしている）、図１７に示すように、Ｉピクチャに限り、シーン間予測を可能にしてもよい。あるいは、図１８に示すように、Ｉ，Ｐピクチャに限り、シーン間予測を可能にしてもよい。
シーン間予測を制限することで、相関が高いシーン映像の場合、符号化効率は落ちるが、変換する際の処理量を削減することができる。

また、シーン間予測符号化部１５が、Ｉピクチャに限り、シーン間予測を行う処理（図１７を参照）と、Ｉ，Ｐピクチャに限り、シーン間予測を行う処理（図１８を参照）とをシーン相関度に応じて切り替えるようにしてもよい。
例えば、シーン途中でシーンチェンジがある場合など、相関が高いシーン映像が先頭のみの場合は、先頭のＩピクチャのみシーン間予測を実施し、また、ほぼ同一のシーンである場合は、Ｉ，Ｐ，Ｂピクチャのすべてに対してシーン間予測を実施するように構成にすることで、符号化効率を落とすことなく、処理量を削減することができる効果を奏する。

図１９はこの発明の実施の形態４による画像符号化装置の処理内容を示すフローチャートである。
以下、図１９に示す処理内容を説明する。
シーン相関測定パラメータ算出部１は、ＭＰＥＧ−２映像符号化方式によって圧縮符号化されたＭＰＥＧ−２ビデオビットストリームを入力すると、上記実施の形態１と同様に、そのＭＰＥＧ−２ビデオビットストリームのシーン映像毎に、他のシーン映像との相関を測定する尺度となるシーン相関測定パラメータを算出する（ステップＳＴ３１）。

スイッチ３は、外部から与えられる再圧縮方法識別信号が「ＭＰＥＧ−２ビデオビットストリームをマスターストリームとして再圧縮する」旨を指示していれば（ステップＳＴ３２）、上記実施の形態１と同様に、シーン相関測定パラメータ算出部１から出力されたＭＰＥＧ−２ビデオビットストリームをＨ．２６４変換部４に与える。
一方、その再圧縮方法識別信号が「ＭＰＥＧ−２ビデオビットストリームをスレーブストリームとして再圧縮する」旨を指示していれば（ステップＳＴ３２）、上記実施の形態１と同様に、シーン相関測定パラメータ算出部１から出力されたＭＰＥＧ−２ビデオビットストリームをシーン内・シーン間適応符号化部６に与える。

Ｈ．２６４変換部４は、スイッチ３からＭＰＥＧ−２ビデオビットストリームが与えられると、上記実施の形態１と同様に、そのＭＰＥＧ−２ビデオビットストリームを所定の処理手順によってＨ．２６４映像符号化方式に従うビデオビットストリームに変換し、そのビデオビットストリームをマスターストリームとしてデータ記録部２に記録する（ステップＳＴ３３）。

シーン間予測判定部５は、シーン相関測定パラメータ算出部１がシーン相関測定パラメータＡ又はシーン相関測定パラメータＢを算出すると、上記実施の形態１と同様に、そのシーン相関測定パラメータＡ，Ｂに基づいて、データ記録部２に記録されているマスターストリーム内のシーン映像単位の符号化データの中から、シーン内・シーン間適応符号化部６が予測符号化する際に、ＭＰＥＧ−２ビデオビットストリーム内のシーン映像単位の符号化データの代わりに予測参照に用いる符号化データを検索する。
以下、シーン間予測判定部５による符号化データの検索処理を具体的に説明する。

まず、シーン間予測判定部５は、上記実施の形態１と同様に、シーン相関測定パラメータ算出部１により算出されたシーン相関測定パラメータＡ，Ｂを用いて、ＭＰＥＧ−２ビデオビットストリーム内の各々のシーン映像と、データ記録部２に記録されているマスターストリーム内の各々のシーン映像との相関値を測定する。
次に、シーン間予測判定部５は、ＭＰＥＧ−２ビデオビットストリーム内のシーン映像毎に、当該シーン映像に対するマスターストリーム内の各々のシーン映像の相関値を比較し、最も相関値が大きいマスターストリーム内のシーン映像を探索する。
シーン間予測判定部５は、最も相関値が大きいマスターストリーム内のシーン映像を探索すると、上記実施の形態１と同様に、その相関値が予め設定している所定値以上であれば、そのシーン映像の符号化データを予測参照に用いるシーン映像に決定する。
一方、その相関値が予め設定している所定値に満たなければ、そのマスターストリーム内のシーン映像の符号化データを予測参照に用いないものとする。

シーン間予測判定部５は、シーン内・シーン間適応符号化部６が予測参照に用いる符号化データが見つかれば（ＭＰＥＧ−２ビデオビットストリーム内のシーン映像と相関が高いマスターストリーム内のシーン映像が存在する場合）、上記実施の形態１と同様に、「当該処理対象のシーンでは、マスターストリーム内の相関が高いシーン映像の符号化データを利用して符号化を行う」旨を示すスレーブストリーム符号化管理情報をシーン内・シーン間適応符号化部６及び多重化部７に出力する。
一方、シーン内・シーン間適応符号化部６が予測参照に用いる符号化データが見つからなければ（ＭＰＥＧ−２ビデオビットストリーム内のシーン映像と相関が高いマスターストリーム内のシーン映像が存在しない場合）、上記実施の形態１と同様に、「当該処理対象のシーンでは、マスターストリーム内の符号化データを使用せず、シーン内に閉じた符号化を行う」旨を示すスレーブストリーム符号化管理情報をシーン内・シーン間適応符号化部６及び多重化部７に出力する。

シーン内・シーン間適応符号化部６は、データ記録部２に記録されたマスターストリーム内のシーン映像単位の符号化データの中で、シーン間予測判定部５により予測参照に用いる代わりの符号化データが検索されていない符号化データと、シーン間予測判定部５により検索された符号化データとを予測参照に用いて、そのＭＰＥＧ−２ビデオビットストリームをスレーブストリームに変換する。
以下、シーン内・シーン間適応符号化部６によるストリームの変換処理を具体的に説明する。

まず、シーン内・シーン間適応符号化部６のＭＰＥＧ−２復号部１１は、スイッチ３からＭＰＥＧ−２ビデオビットストリームが与えられると、上記実施の形態１と同様に、そのＭＰＥＧ−２ビデオビットストリーム内の各々のシーン映像の符号化データに対する復号処理を実施して、シーン映像単位に復号画像を生成する（ステップＳＴ３４）。

スイッチ１２は、シーン間予測判定部５から出力されたスレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いない旨を示していれば、上記実施の形態１と同様に、ＭＰＥＧ−２復号部１１により生成された復号画像をシーン内予測符号化部１４に出力する。
そのシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いる旨を示していれば、上記実施の形態１と同様に、ＭＰＥＧ−２復号部１１により生成された復号画像をシーン間予測符号化部１５に出力する。

シーン間予測参照箇所抽出部１３は、シーン間予測判定部５から出力されたスレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いる旨を示していれば、上記実施の形態１と同様に、そのスレーブストリーム符号化管理情報に含まれているマスターストリームＩＤが示すマスターストリームの中から、マスターシーンＩＤが示すシーン映像の符号化データを抽出する。
シーン間予測参照箇所抽出部１３は、マスターシーンＩＤが示すシーン映像の符号化データを抽出すると、上記実施の形態１と同様に、その符号化データに対するＨ．２６４復号処理を実施して、そのシーン映像の復号画像であるマスターストリーム復号画像を生成する。

シーン間予測符号化部１５は、スイッチ１２から復号画像を受けると、例えば、シーン相関度が予め設定された閾値である第１の相関度より低い場合（例えば、シーン途中でシーンチェンジがある場合）、Ｉピクチャに限り、シーン相関を利用することにして（ステップＳＴ３５）、図１７に示すように、Ｉピクチャのみシーン間予測を実施して、再符号化を行う（ステップＳＴ３６）。
また、シーン間予測符号化部１５は、例えば、シーン相関度が第１の相関度より高いが、予め設定された閾値である第２の相関度より低い場合、Ｉ，Ｐピクチャに限り、シーン相関を利用することにして（ステップＳＴＳＴ３５，ＳＴ３７）、図１８に示すように、Ｉ，Ｐピクチャのみシーン間予測を実施して、再符号化を行う（ステップＳＴ３８）。

また、シーン間予測符号化部１５は、例えば、シーン相関度が第２の相関度より高い場合、Ｉ，Ｐ，Ｂピクチャのすべてに対してシーン相関を利用することにして（ステップＳＴ３７）、Ｉ，Ｐ，Ｂピクチャのすべてに対してシーン間予測を実施して、再符号化を行う（ステップＳＴ３９）。
なお、シーン間予測符号化部１５は、シーン間予測を実施して、再符号化を行うと、その再符号化結果であるシーン間予測符号化データをスレーブストリーム多重化部１６に出力する。

シーン内予測符号化部１４は、スイッチ１２から復号画像を受けると、上記実施の形態１と同様に、マスターストリーム内の符号化データを一切使用することなく、その復号画像に対してＨ．２６４圧縮符号化処理を実施し、その符号化処理結果であるシーン内予測符号化データを出力する。

スレーブストリーム多重化部１６は、上記実施の形態１と同様に、シーン内予測符号化部１４から出力されたシーン内予測符号化データと、シーン間予測符号化部１５から出力されたシーン間予測符号化データとを多重化してスレーブストリームを生成し、そのスレーブストリームを多重化部７に出力する（ステップＳＴ４０）。
多重化部７は、上記実施の形態１と同様に、シーン内・シーン間適応符号化部６により変換されたスレーブストリームと、シーン間予測判定部５から出力されたスレーブストリーム符号化管理情報とを多重化し、その多重化結果をスレーブ符号化データとしてデータ記録部２に記録する（ステップＳＴ４１）。

以上で明らかなように、この実施の形態４によれば、シーン間予測符号化部１５が、Ｉピクチャに限り、シーン間予測を行う処理と、Ｉ，Ｐピクチャに限り、シーン間予測を行う処理とをシーン相関度に応じて切り替えるように構成したので、シーン間予測を行わないピクチャについては、再符号化前のストリーム情報（モード情報、動き情報など）を再利用することで処理を簡略化することができる効果を奏する。このような処理をすることで、符号化効率は多少落ちるが、再符号化に伴う処理量を削減することができる。特に、組み込み機器などの低消費電力や低ＣＰＵを用いたシステムでは有用である。

実施の形態５．
上記実施の形態１〜４では、外部から与えられる再圧縮方法識別信号が「ＭＰＥＧ−２ビデオビットストリームをマスターストリームとして再圧縮する」旨を指示していれば、Ｈ．２６４変換部４が、ＭＰＥＧ−２ビデオビットストリームをＨ．２６４映像符号化方式に従うビデオビットストリームに変換して、そのビデオビットストリームをマスターストリームとしてデータ記録部２に記録し、その再圧縮方法識別信号が「ＭＰＥＧ−２ビデオビットストリームをスレーブストリームとして再圧縮する」旨を指示していれば、シーン内・シーン間適応符号化部６が、シーン間予測判定部５により検索された符号化データを予測参照に用いて、そのＭＰＥＧ−２ビデオビットストリームをスレーブストリームに変換するものを示したが、予め、ＭＰＥＧ−２ビデオビットストリーム（例えば、多視点映像に係る時系列の映像ストリーム）をＨ．２６４映像符号化方式に従うビデオビットストリーム（マスターストリーム）に変換して記録しておき、その後、時系列のマスターストリームをスレーブストリームに変換するようにしてもよい。

図２０はこの発明の実施の形態５による画像符号化装置を示す構成図である。
図２０において、Ｈ．２６４変換部４１は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、ＭＰＥＧ−２ビデオビットストリーム（例えば、多視点映像に係る時系列の映像ストリーム）が与えられると、そのＭＰＥＧ−２ビデオビットストリームを所定の処理手順によってＨ．２６４映像符号化方式（第１の映像符号化方式）に従うビデオビットストリームに変換し、そのビデオビットストリームをマスターストリームとしてデータ記録部４２に記録する処理を実施する。なお、Ｈ．２６４変換部４１は映像符号化データ変換手段を構成している。
データ記録部４２は例えばハードディスクやＳＳＤなどの記録媒体から構成されており、Ｈ．２６４変換部４１により変換されたマスターストリームを記録するとともに、多重化部４６から出力されたスレーブ符号化データなどを記録する。なお、データ記録部４２はデータ記録手段を構成している。

シーン相関測定パラメータ算出部４３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、データ記録部４２により記録されている時系列のマスターストリームであるマスターストリーム（１）（第１の映像符号化データ）及びマスターストリーム（２）（第２の映像符号化データ）を入力すると、そのマスターストリーム（１）（２）に含まれている各シーンの映像（以下、「シーン映像」と称する）毎に、他のシーン映像との相関を測定する尺度となるシーン相関測定パラメータＢ１，Ｂ２を算出する処理を実施する。
ここで、シーンは、所定の時間の単位でもよいし、ビデオビットストリームのデータ構造を規定するＧＯＰ、即ち、ビデオビットストリームに対してランダムアクセスが可能なデータ単位（２つのＩピクチャ間に含まれる全ピクチャデータ）などでもよい。

シーン間予測判定部４４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、シーン相関測定パラメータ算出部４３により算出されたシーン相関測定パラメータＢ１，Ｂ２に基づいて、データ記録部４２により記録されているマスターストリーム（２）内のシーン映像単位の符号化データの中に、データ記録部４２により記録されているマスターストリーム（１）内のシーン映像単位の符号化データと相関がある符号化データが含まれているか否かを判定し、相関がある符号化データが含まれていれば、その符号化データを特定するデータ識別情報を含むスレーブストリーム符号化管理情報をシーン内・シーン間適応符号化部４５及び多重化部４６に出力する処理を実施する。なお、シーン相関測定パラメータ算出部４３及びシーン間予測判定部４４から判定手段が構成されている。

即ち、シーン間予測判定部４４はシーン相関測定パラメータ算出部４３により算出されたシーン相関測定パラメータＢ１，Ｂ２を用いて、データ記録部４２により記録されているマスターストリーム（１）内の各々のシーン映像と、マスターストリーム（２）内の各々のシーン映像との相関値を測定するとともに、マスターストリーム（１）内の各々のシーン映像に対して、相関値が最高のマスターストリーム（２）内のシーン映像を特定し、その相関値が所定値以上であれば、そのシーン映像の符号化データを予測参照に用いる符号化データに決定する処理を実施する。
また、シーン間予測判定部４４は予測参照に用いる符号化データが見つかれば（相関が高いシーン映像が存在する場合）、「当該処理対象のシーンでは、マスターストリーム（２）内の相関が高いシーン映像の符号化データを利用して符号化を行う」旨を示し、予測参照に用いる符号化データが見つからなければ（相関が高いシーン映像の符号化データが存在しない場合）、「当該処理対象のシーンでは、マスターストリーム（２）内の符号化データを使用せず、シーン内に閉じた符号化を行う」旨を示すスレーブストリーム符号化管理情報をシーン内・シーン間適応符号化部４５及び多重化部４６に出力する処理を実施する。

なお、スレーブストリーム符号化管理情報には、データ記録部４２に記録される複数のマスターストリームのうち、マスターストリーム（２）を特定するマスターストリームＩＤ、マスターストリーム（２）内のシーン映像単位の符号化データを予測参照に用いるか否かを特定するシーン間予測指示フラグ、マスターストリーム（２）上でのマスターシーン（予測参照に用いるシーン）を特定するマスターシーンＩＤ（データ識別情報）などを含んでいる。ただし、マスターストリーム（２）内のシーン映像単位の符号化データを予測参照に用いない場合、マスターシーンＩＤは含まれない。

シーン内・シーン間適応符号化部４５は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、マスターストリーム（１）内のシーン映像単位の符号化データに対する復号処理を実施して、シーン映像単位の復号画像を生成するとともに、シーン間予測判定部４４から出力されたスレーブストリーム符号化管理情報内にマスターシーンＩＤが含まれていれば、そのマスターシーンＩＤが示す符号化データに対する復号処理を実施して、マスターストリーム復号画像（予測参照用の復号画像）を生成する処理を実施する。
また、シーン内・シーン間適応符号化部４５はシーン間予測判定部４４から出力されたスレーブストリーム符号化管理情報内にマスターシーンＩＤが含まれていなければ、先の復号処理で生成した復号画像に対するシーン内予測符号化処理を実施して、スレーブストリーム（第２の映像符号化方式に従う映像符号化データ）を生成し、そのスレーブストリーム符号化管理情報内にマスターシーンＩＤが含まれていれば、そのマスターストリーム復号画像を用いて、先の復号処理で生成した復号画像に対するシーン間予測符号化処理を実施して、スレーブストリーム（第２の映像符号化方式に従う映像符号化データ）を生成する処理を実施する。

多重化部４６は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、シーン内・シーン間適応符号化部４５により生成されたスレーブストリームと、シーン間予測判定部４４から出力されたスレーブストリーム符号化管理情報とを多重化し、その多重化結果をスレーブ符号化データとしてデータ記録部４２に記録する処理を実施する。

図２０の例では、画像符号化装置の構成要素であるＨ．２６４変換部４１、データ記録部４２、シーン相関測定パラメータ算出部４３、シーン間予測判定部４４、シーン内・シーン間適応符号化部４５及び多重化部４６のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像符号化装置がコンピュータで構成されていてもよい。
画像符号化装置がコンピュータで構成されている場合、データ記録部４２をコンピュータのメモリ上に構成するとともに、Ｈ．２６４変換部４１、シーン相関測定パラメータ算出部４３、シーン間予測判定部４４、シーン内・シーン間適応符号化部４５及び多重化部４６の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。

図２１はこの発明の実施の形態５による画像符号化装置のシーン内・シーン間適応符号化部４５を示す構成図である。
図２１において、Ｈ．２６４復号部５１はデータ記録部４２により記録されているマスターストリーム（１）内の各々のシーン映像の符号化データに対するＨ．２６４復号処理を実施して、シーン映像単位に復号画像を生成する処理を実施する。なお、Ｈ．２６４復号部５１は復号画像生成手段を構成している。
スイッチ５２はシーン間予測判定部４４から出力されたスレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグが、マスターストリーム（２）内のシーン映像単位の符号化データを予測参照に用いない旨を示していれば、Ｈ．２６４復号部５１により生成された復号画像をシーン内予測符号化部５４に出力し、そのシーン間予測指示フラグが、マスターストリーム内のシーン映像単位の符号化データを予測参照に用いる旨を示していれば、Ｈ．２６４復号部５１により生成された復号画像をシーン間予測符号化部５５に出力する処理を実施する。

シーン間予測参照箇所抽出部５３はシーン間予測判定部４４から出力されたスレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグが、マスターストリーム（２）内のシーン映像単位の符号化データを予測参照に用いる旨を示していれば、そのスレーブストリーム符号化管理情報に含まれているマスターストリームＩＤが示すマスターストリーム（２）の中から、マスターシーンＩＤが示すシーン映像の符号化データを抽出し、その符号化データに対するＨ．２６４復号処理を実施して、そのシーン映像の復号画像であるマスターストリーム復号画像（予測参照用の復号画像）を生成する処理を実施する。なお、シーン間予測参照箇所抽出部５３は予測参照用画像生成手段を構成している。

シーン内予測符号化部５４はスイッチ５２から復号画像を受けると、マスターストリーム（２）内の符号化データを一切使用することなく、その復号画像に対して圧縮符号化処理を実施し、その符号化処理結果であるシーン内予測符号化データ（第２の映像符号化方式に従う映像符号化データ）を出力する処理を実施する。なお、シーン内予測符号化部５４は第１の映像符号化データ生成手段を構成している。
シーン間予測符号化部５５はスイッチ５２から出力された復号画像の時間相関と、その復号画像とシーン間予測参照箇所抽出部５３により生成されたマスターストリーム復号画像における同一時刻位置の画像データ間の相関とを利用して、スイッチ５２から出力された復号画像に対して、動き補償処理又はイントラ予測処理を用いた圧縮符号化処理を実行して、その処理結果であるシーン間予測符号化データ（第２の映像符号化方式に従う映像符号化データ）を出力する処理を実施する。なお、シーン間予測符号化部５５は第２の映像符号化データ生成手段を構成している。

スレーブストリーム多重化部５６はシーン内予測符号化部５４から出力されたシーン内予測符号化データとシーン間予測符号化部５５から出力されたシーン間予測符号化データを多重化してスレーブストリームを生成し、そのスレーブストリームを多重化部４６に出力する処理を実施する。なお、スレーブストリーム多重化部５６は多重化手段を構成している。
図２３はこの発明の実施の形態５による画像符号化装置のシーン内・シーン間適応符号化部４５の処理内容を示すフローチャートである。

図２２はシーン間予測符号化部５５の内部を示す構成図である。
図２２において、スイッチ６１はスイッチ５２から復号画像が出力されると、その復号画像を符号化部６３に出力し、シーン間予測参照箇所抽出部５３からマスターストリーム復号画像が出力されると、そのマスターストリーム復号画像を予測参照用フレームメモリ６２に出力する処理を実施する。
予測参照用フレームメモリ６２は例えばハードディスクやＳＳＤなどの記録媒体から構成されており、マスターストリーム復号画像を格納する。

符号化部６３はスイッチ６１から出力された復号画像の時間相関と、その復号画像と予測参照用フレームメモリ６２により格納されているマスターストリーム復号画像における同一時刻位置の画像データ間の相関とを利用して、スイッチ６１から出力された復号画像に対して、動き補償処理又はイントラ予測処理を用いた圧縮符号化処理を実行して、その処理結果であるシーン間予測符号化データをスレーブストリーム多重化部５６に出力する処理を実施する。
ただし、符号化部６３は、シーン間予測符号化データの映像符号化方式（第２の映像符号化方式）が、Ｈ．２６４映像符号化方式と異なる方式であれば、次回の圧縮符号化処理に備えるために、そのシーン間予測符号化データに対する復号処理を実施することで再復号画像を生成して、その再復号画像を予測参照用フレームメモリ６２に格納する。また、圧縮符号化処理を実施する際には、既に予測参照用フレームメモリ６２に格納されている再復号画像を用いて、スイッチ６１から出力された復号画像に対して、第２の映像符号化方式の動き補償処理又はイントラ予測処理を用いた圧縮符号化処理を実行して、その処理結果であるシーン間予測符号化データをスレーブストリーム多重化部５６に出力する。

この実施の形態５でも、上記実施の形態１と同様に、予測参照の制約と符号化データ配列とが、例えば、Ｈ．２６４の勧告ＡｎｎｅｘＨに規定されるＭＶＣ（マルチビュー符号化）仕様に従うように構成するものとする。
これにより、シーン間予測参照箇所抽出部５３により抽出されるマスターストリームの符号化データをベースビューとして、シーン内予測符号化データとシーン間予測符号化データとからなるスレーブストリームをエンハンスビューとするＭＶＣ規格に従う符号化データとして構成することができる。

次に動作について説明する。
Ｈ．２６４変換部４１は、外部からＭＰＥＧ−２ビデオビットストリーム（例えば、多視点映像に係る時系列の映像ストリーム）が与えられると、そのＭＰＥＧ−２ビデオビットストリームを所定の処理手順によってＨ．２６４映像符号化方式に従うビデオビットストリームに変換し、そのビデオビットストリームをマスターストリームとしてデータ記録部４２に記録する。
この実施の形態５では、上記実施の形態１〜４のように、外部から再圧縮方法識別信号が与えられないため、外部からＭＰＥＧ−２ビデオビットストリームが与えられると、常に、そのＭＰＥＧ−２ビデオビットストリームをＨ．２６４映像符号化方式に従うビデオビットストリームに変換し、そのビデオビットストリームをマスターストリームとしてデータ記録部４２に記録する。
即ち、この実施の形態５では、ＭＰＥＧ−２ビデオビットストリームをマスターストリームに変換するタイミングと、スレーブストリームを生成するタイミングとを別々にするため、Ｈ．２６４変換部４１が、事前に、ＭＰＥＧ−２ビデオビットストリームをＨ．２６４映像符号化方式に従うビデオビットストリームに変換し、そのビデオビットストリームをマスターストリームとしてデータ記録部４２に記録する。

シーン相関測定パラメータ算出部４３は、Ｈ．２６４変換部４１が時系列のマスターストリームをデータ記録部４２に記録すると、データ記録部４２から時系列のマスターストリームであるマスターストリーム（１）（２）を入力し、そのマスターストリーム（１）（２）のシーン映像毎に、他のシーン映像との相関を測定する尺度となるシーン相関測定パラメータＢ１，Ｂ２を算出する。シーン相関測定パラメータＢ１，Ｂ２の算出処理自体は、図１のシーン相関測定パラメータ算出部１と同様である。

シーン間予測判定部４４は、シーン相関測定パラメータ算出部４３がシーン相関測定パラメータＢ１，Ｂ２を算出すると、そのシーン相関測定パラメータＢ１，Ｂ２に基づいて、データ記録部４２により記録されているマスターストリーム（２）内のシーン映像単位の符号化データの中に、データ記録部４２により記録されているマスターストリーム（１）内のシーン映像単位の符号化データと相関がある符号化データが含まれているか否かを判定し、相関がある符号化データが含まれていれば、その符号化データを特定するマスターシーンＩＤ（データ識別情報）を含むスレーブストリーム符号化管理情報をシーン内・シーン間適応符号化部４５及び多重化部４６に出力する。
以下、シーン間予測判定部４４の処理内容を具体的に説明する。

まず、シーン間予測判定部４４は、シーン相関測定パラメータ算出部４３により算出されたシーン相関測定パラメータＢ１，Ｂ２を用いて、データ記録部４２により記録されているマスターストリーム（１）内の各々のシーン映像と、マスターストリーム（２）内の各々のシーン映像との相関値を測定する。
次に、シーン間予測判定部４４は、マスターストリーム（１）内のシーン映像毎に、当該シーン映像に対するマスターストリーム（２）内の各々のシーン映像の相関値を比較し、最も相関値が大きいマスターストリーム（２）内のシーン映像を探索する。
シーン間予測判定部４４は、最も相関値が大きいマスターストリーム（２）内のシーン映像を探索すると、その相関値が予め設定している所定値以上であれば、そのシーン映像の符号化データを予測参照に用いるシーン映像に決定する。
一方、その相関値が予め設定している所定値に満たなければ、そのマスターストリーム（２）内のシーン映像の符号化データを予測参照に用いないものとする。

なお、シーン間予測判定部４４による最も相関値が大きいマスターストリーム（２）内のシーン映像を探索する処理は、シーン相関測定パラメータＢ１とシーン相関測定パラメータＢ２のマッチング処理に対応し、例えば、上記の非特許文献３に開示されている「Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅ」や「Ｖｉｄｅｏ Ｓｉｇｎａｔｕｒｅ」などのマッチング処理を利用することができる。

シーン間予測判定部４４は、シーン内・シーン間適応符号化部４５が予測参照に用いる符号化データが見つかれば（マスターストリーム（１）内のシーン映像と相関が高いマスターストリーム（２）内のシーン映像が存在する場合）、「当該処理対象のシーンでは、マスターストリーム（２）内の相関が高いシーン映像の符号化データを利用して符号化を行う」旨を示すスレーブストリーム符号化管理情報をシーン内・シーン間適応符号化部４５及び多重化部４６に出力する。
一方、シーン内・シーン間適応符号化部４５が予測参照に用いる符号化データが見つからなければ（マスターストリーム（１）内のシーン映像と相関が高いマスターストリーム（２）内のシーン映像が存在しない場合）、「当該処理対象のシーンでは、マスターストリーム（２）内の符号化データを使用せず、シーン内に閉じた符号化を行う」旨を示すスレーブストリーム符号化管理情報をシーン内・シーン間適応符号化部４５及び多重化部４６に出力する。

なお、スレーブストリーム符号化管理情報には、データ記録部４２に記録される複数のマスターストリームのうち、マスターストリーム（２）を特定するマスターストリームＩＤ、マスターストリーム（２）内のシーン映像単位の符号化データを予測参照に用いるか否かを特定するシーン間予測指示フラグ、マスターストリーム（２）上でのマスターシーン（予測参照に用いるシーン）を特定するマスターシーンＩＤ（データ識別情報）などを含んでいる。ただし、マスターストリーム（２）内のシーン映像単位の符号化データを予測参照に用いない場合、マスターシーンＩＤは含まれない。

シーン内・シーン間適応符号化部４５は、データ記録部４２に記録されているマスターストリーム（２）内のシーン映像単位の符号化データの中で、シーン間予測判定部４４により予測参照に用いる代わりの符号化データが検索されていない符号化データと、シーン間予測判定部４４により検索された符号化データとを予測参照に用いて、マスターストリーム（１）をスレーブストリームに変換する。
以下、シーン内・シーン間適応符号化部４５によるストリームの変換処理を具体的に説明する。

シーン内・シーン間適応符号化部４５のＨ．２６４復号部５１は、データ記録部４２により記録されているマスターストリーム（１）を入力すると、そのマスターストリーム（１）内の各々のシーン映像の符号化データに対するＨ．２６４復号処理を実施して、シーン映像単位に復号画像を生成する（図２３のステップＳＴ５１）。

スイッチ５２は、シーン間予測判定部４４から出力されたスレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグが、マスターストリーム（２）内のシーン映像単位の符号化データを予測参照に用いない旨を示していれば（ステップＳＴ５２）、Ｈ．２６４復号部５１により生成された復号画像をシーン内予測符号化部５４に出力する。
そのシーン間予測指示フラグが、マスターストリーム（２）内のシーン映像単位の符号化データを予測参照に用いる旨を示していれば（ステップＳＴ５２）、Ｈ．２６４復号部５１により生成された復号画像をシーン間予測符号化部５５に出力する。

シーン間予測参照箇所抽出部５３は、シーン間予測判定部４４ら出力されたスレーブストリーム符号化管理情報に含まれているシーン間予測指示フラグが、マスターストリーム（２）内のシーン映像単位の符号化データを予測参照に用いる旨を示していれば（ステップＳＴ５２）、そのスレーブストリーム符号化管理情報に含まれているマスターストリームＩＤが示すマスターストリーム（２）の中から、マスターシーンＩＤが示すシーン映像の符号化データを抽出する（ステップＳＴ５３）。
シーン間予測参照箇所抽出部５３は、マスターシーンＩＤが示すシーン映像の符号化データを抽出すると、その符号化データに対するＨ．２６４復号処理を実施して、そのシーン映像の復号画像であるマスターストリーム復号画像を生成する（ステップＳＴ５４）。

この際、マスターストリーム（２）から抽出されるシーン映像の符号化データは、シーン先頭のピクチャがＩＤＲピクチャであって、ランダムアクセスが可能なデータとして構成するようにしてもよいし、シーン先頭のピクチャがＩＤＲピクチャでない状態で構成してもよい。
前者は抽出処理が簡易となる利点があるが、ＩＤＲピクチャを頻繁に挿入することになるため、マスターストリーム自体の圧縮効率が制限されるというトレードオフの関係がある。
後者は逆に、ＩＤＲ挿入の影響を受けないので、マスターストリーム自体の圧縮効率を維持することができるが、シーン先頭のピクチャを正常に復号可能となる最も時間的に近いＩＤＲピクチャ位置から符号化データを抽出して復号するなど、抽出処理が複雑になるというトレードオフの関係がある。これらは実際の装置の要求条件に基づいて構成することが可能である。

シーン間予測符号化部５５は、スイッチ５２から復号画像を受けると、その復号画像の時間相関と、その復号画像とシーン間予測参照箇所抽出部５３により生成されたマスターストリーム復号画像における同一時刻位置の画像データ間の相関とを利用して、スイッチ５２から出力された復号画像に対して、動き補償処理又はイントラ予測処理を用いた圧縮符号化処理を実行して、その処理結果であるシーン間予測符号化データをスレーブストリーム多重化部５６に出力する（ステップＳＴ５５）。

即ち、シーン間予測符号化部５５のスイッチ６１は、スイッチ５２から復号画像を受けると、その復号画像を符号化部６３に出力し、シーン間予測参照箇所抽出部５３からマスターストリーム復号画像を受けると、そのマスターストリーム復号画像を予測参照用フレームメモリ６２に格納する。
シーン間予測符号化部５５の符号化部６３は、スイッチ６１から出力された復号画像の時間相関と、その復号画像と予測参照用フレームメモリ６２により格納されているマスターストリーム復号画像における同一時刻位置の画像データ間の相関とを利用して、スイッチ６１から出力された復号画像に対して、動き補償処理又はイントラ予測処理を用いた圧縮符号化処理を実行して、その処理結果であるシーン間予測符号化データをスレーブストリーム多重化部５６に出力する。

ただし、符号化部６３は、シーン間予測符号化データの映像符号化方式（第２の映像符号化方式）が、Ｈ．２６４映像符号化方式と異なる方式であれば、次回の圧縮符号化処理に備えるために、そのシーン間予測符号化データに対する復号処理を実施することで再復号画像を生成して、その再復号画像を予測参照用フレームメモリ６２に格納する。また、圧縮符号化処理を実施する際には、既に予測参照用フレームメモリ６２に格納されている再復号画像を用いて、スイッチ６１から出力された復号画像に対して、第２の映像符号化方式の動き補償処理又はイントラ予測処理を用いた圧縮符号化処理を実行して、その処理結果であるシーン間予測符号化データをスレーブストリーム多重化部５６に出力する。

シーン間予測符号化部５５は、図２２のように構成されているため、シーン間予測参照箇所抽出部５３から出力されたマスターストリーム復号画像が、直接、予測参照用フレームメモリ６２に保存されるようになる。その結果、マスターストリーム復号画像については、符号化部６３で再符号化されることなく、シーン間予測符号化データをスレーブストリーム多重化部５６に出力することができるようになるため、マスターストリームの品質劣化がない再符号化を実現することができる。

シーン内予測符号化部５４は、スイッチ５２から復号画像を受けると、マスターストリーム（２）内の符号化データを一切使用することなく、その復号画像に対して圧縮符号化処理を実施し、その符号化処理結果であるシーン内予測符号化データを出力する（ステップＳＴ５６）。
なお、シーン間予測符号化データの映像符号化方式（第２の映像符号化方式）が、Ｈ．２６４映像符号化方式であれば、Ｈ．２６４復号部５１により生成された復号画像に対するシーン内予測符号化処理を実施せずに、第２の映像符号化方式に従う映像符号化データとして、データ記録部４２により記録されているマスターストリーム（１）をスレーブストリーム多重化部５６に出力する。

ここで、Ｉ’ピクチャについては、スレーブ映像内の時間相関を使用せずに、Ｉピクチャからのシーン間相関を利用して予測符号化を行う。
これにより、スレーブストリーム上でのランダムアクセス性を維持しながら、符号化効率を高める効果が得られる。
なお、シーン間予測は、マクロブロック、ないし動き補償予測の単位となるブロックなど、所定の処理単位で使用するかしないかを局所的に選択可能とし、予測効率が高まる画像上の局所箇所のみシーン間予測を利用可能とするように構成する。

この予測参照の制約と符号化データ配列とを、例えば、Ｈ．２６４の勧告ＡｎｎｅｘＨに規定されるＭＶＣ（マルチビュー符号化）仕様に従うように構成することにより、シーン間予測参照箇所抽出部５３により抽出されるマスターストリームの符号化データをベースビューとして、シーン内予測符号化データとシーン間予測符号化データとからなるスレーブストリームをエンハンスビューとするＭＶＣ規格に従う符号化データとして構成することができる。
このように構成することによって、スレーブ符号化データに対応する映像信号を再生するために、図４のスレーブ映像復号部２５をまったく新しい処理仕様でなく、標準仕様に準拠した既存の復号装置を採用して所望の動作を実現することが可能になる。

スレーブストリーム多重化部５６は、シーン内予測符号化部５４から出力されたシーン内予測符号化データと、シーン間予測符号化部５５から出力されたシーン間予測符号化データとを多重化してスレーブストリームを生成し、そのスレーブストリームを多重化部４６に出力する（ステップＳＴ５７）。
多重化部４６は、シーン内・シーン間適応符号化部４５のスレーブストリーム多重化部５６から出力されたスレーブストリームと、シーン間予測判定部４４から出力されたスレーブストリーム符号化管理情報とを多重化し、その多重化結果をスレーブ符号化データとしてデータ記録部４２に記録する。

ここで、多重化部４６は、スレーブストリームとスレーブストリーム符号化管理情報を、物理的に１つのファイルないしストリーム等の形式で記録してもよいし、スレーブストリーム符号化管理情報は、例えば、ＸＭＬ形式のデータ等で管理し、スレーブストリームとのリンクを構成するように記録してもよい。
スレーブストリームは、それ単体で復号・映像再生を行う形式とせず、復号・映像再生を行う際、マスターストリームの符号化データをシーン映像毎に、適応的に抽出・追加するように構成する。
マスターストリームはデータ記録部４２に記録されているので、マスターストリームの符号化データの抽出・追加処理は、スレーブストリームに対応する映像を復号再生する場合に随時実行するように構成すればよい。
これによって、マスターストリームを符号化に使用するシーン映像については、実際には復号に必要になるマスターストリームの符号化データを逐一記録データとして含まないように構成できるため、品質劣化を伴うことなく、スレーブストリームとして記録すべきデータ量を削減することができ、データ記録部４２の記録容量を効率的に使用することができる。

この実施の形態５では、上記実施の形態１と同様に、スレーブ符号化データに対応する映像信号を再生するために、図４のスレーブ映像復号部２５をまったく新しい処理仕様でなく、標準仕様に準拠した既存の復号装置を採用して所望の動作を実現することが可能になる。
例えば、マスタストリームの映像符号化方式にＨ．２６４を使用し、シーン間予測符号化部５５の映像符号化方式にＭＶＣを使用する場合は、このような条件に適する。

この実施の形態５では、画像符号化装置が図２０のように構成されているものを説明したが、ＭＰＥＧ−２ビデオビットストリームをマスターストリームに変換するタイミングと、スレーブストリームを生成するタイミングとを別々にしているため、図２４及び図２５に示すように、画像符号化装置の構成を２つに分割することもできる。

図２６はシーン間予測符号化データを含むスレーブストリームと、マスターストリームの形式を示す説明図である。
シーン間予測符号化データを含むスレーブストリームは、シーン間予測符号化部５５で用いられた映像符号化方式を再生するためのヘッダー情報を含んでおり、スレーブ映像復号部２５でヘッダー情報が読み出される。
例えば、シーン間予測符号化部５５の映像符号化方式にＭＶＣを用いている場合には、「ｓｕｂｓｅｔＳＰＳ」が、このヘッダー情報に相当する。

実施の形態６．
上記実施の形態５では、シーン相関測定パラメータ算出部４３が、データ記録部４２により記録されている複数のマスターストリームの中から、マスターストリーム（１）とマスターストリーム（２）を入力する例を示したが、例えば、処理対象のマスターストリームがマスターストリーム（１）である場合、シーン相関測定パラメータ算出部４３が、データ記録部４２により記録されている複数のマスターストリームの中から、マスターストリーム（１）内のシーン映像と類似しているシーン映像を含んでいるマスターストリームをマスターストリーム（２）として入力するようにしてもよい。

画像符号化装置が所定の映像シーケンスを圧縮符号化する際には、圧縮効率を高めるために、当該映像シーケンス内の空間的相関又は時間的相関を利用して予測符号化を行うようにしている。
予測符号化方法の１つとして、動きベクトルを用いる動き補償予測処理がある。

動きベクトルを用いる動き補償予測処理は、図２７に示すように、時刻Ｔの画像ブロックを予測符号化する場合、他の時刻Ｔ’の画像の中から、時刻Ｔの画像ブロックに類似している画像ブロックを探索する。即ち、図中、点線で囲まれている或る大きさの探索範囲から、時刻Ｔの画像ブロックと類似している画像ブロックを探索する。
この動き補償予測処理では、時刻Ｔの画像ブロックに類似している画像ブロックを探索すると、時刻Ｔの画像ブロックと、その類似している画像ブロックとの位置ずれを動きベクトルとして符号化するとともに、双方の画像ブロックの差分を予測残差として符号化することで、圧縮効率を高めるようにする。
シーン内・シーン間適応符号化部４５のシーン間予測符号化部５５でも、動き補償予測処理を実施して、シーン間予測符号化データを生成する場合、マスターストリーム（１）内のシーン映像と、マスターストリーム（２）内のシーン映像との類似度が高い程、シーン相関測定パラメータ算出部４３により算出されるシーン相関測定パラメータの定義より、類似するシーン映像同士の符号化に用いる動きベクトルの絶対値が小さくなる。

類似するシーン映像同士の符号化に用いる動きベクトルの絶対値が小さければ、時刻Ｔの画像ブロックと類似している画像ブロックの探索範囲である図２７の点線の矩形を小さな範囲に設定（例えば、近傍１６画素を探索範囲に設定）しても、類似している画像ブロックを探索することが可能であり、類似している画像ブロックの探索範囲が小さければ、符号化の処理が軽減されて効率化を図ることができる。

そこで、シーン相関測定パラメータ算出部４３は、処理対象のマスターストリームがマスターストリーム（１）である場合、シーン相関測定パラメータを用いて、マスターストリーム（１）内の各々のシーン映像と、データ記録部４２により記録されている複数のマスターストリーム内の各々のシーン映像との相関値を測定して、各々のシーン映像の相関値の統計値（例えば、各々のシーン映像の相関値の平均値、最大値など）を算出する。
シーン相関測定パラメータ算出部４３は、データ記録部４２により記録されている複数のマスターストリームの中で、最も、相関値の統計値が高いマスターストリームをマスターストリーム（２）に決定し、そのマスターストリーム（２）を入力する。
これにより、シーン間予測符号化部５５における符号化処理の効率化を図ることができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ シーン相関測定パラメータ算出部、２ データ記録部、３ スイッチ、４ Ｈ．２６４変換部、５ シーン間予測判定部、６ シーン内・シーン間適応符号化部、７ 多重化部、１１ ＭＰＥＧ−２復号部、１２ スイッチ、１３ シーン間予測参照箇所抽出部、１４ シーン内予測符号化部、１５ シーン間予測符号化部、１６ スレーブストリーム多重化部、２１ スイッチ、２２ Ｈ．２６４復号部、２３ 多重分離部、２４ 復号ストリーム成型部、２５ スレーブ映像復号部、３１ スイッチ、４１ Ｈ．２６４変換部（映像符号化データ変換手段）、４２ データ記録部（データ記録手段）、４３ シーン相関測定パラメータ算出部（判定手段）、４４ シーン間予測判定部（判定手段）、４５ シーン内・シーン間適応符号化部、４６ 多重化部、５１ Ｈ．２６４復号部（復号画像生成手段）、５２ スイッチ、５３ シーン間予測参照箇所抽出部（予測参照用画像生成手段）、５４ シーン内予測符号化部（第１の映像符号化データ生成手段）、５５ シーン間予測符号化部（第２の映像符号化データ生成手段）、５６ スレーブストリーム多重化部（多重化手段）、６１ スイッチ、６２ 予測参照用フレームメモリ、６３ 符号化部。

Claims (6)

1. 第１の映像符号化方式に従う第１の映像符号化データ内のシーン映像単位の符号化データに対する復号処理を実施して、シーン映像単位の復号画像を生成する復号画像生成手段と、
   上記第１の映像符号化方式に従う第２の映像符号化データ内のシーン映像単位の符号化データの中に、上記第１の映像符号化データ内のシーン映像単位の符号化データと相関がある符号化データが含まれていれば、上記符号化データに対する復号処理を実施して、予測参照用の復号画像を生成する予測参照用画像生成手段と、
   上記第１の映像符号化データ内のシーン映像単位の符号化データと相関がある符号化データが含まれていなければ、上記復号画像生成手段により生成された復号画像に対するシーン内予測符号化処理を実施して、第２の映像符号化方式に従う映像符号化データを生成する第１の映像符号化データ生成手段と、
   上記予測参照用画像生成手段により生成された予測参照用の復号画像を再符号化せずに、上記復号画像を用いて、上記復号画像生成手段により生成された復号画像に対するシーン間予測符号化処理を実施して、上記第２の映像符号化方式に従う映像符号化データを生成する第２の映像符号化データ生成手段と、
   上記第１の映像符号化データ生成手段により生成された映像符号化データと上記第２の映像符号化データ生成手段により生成された映像符号化データを多重化する多重化手段と
   を備えた画像符号化装置。
2. 第１及び第２の映像符号化データを第１の映像符号化方式に従う映像符号化データに変換する映像符号化データ変換手段と、
   上記映像符号化データ変換手段により変換された第１及び第２の映像符号化データを記録するデータ記録手段と、
   上記データ記録手段により記録されている第２の映像符号化データ内のシーン映像単位の符号化データの中に、上記データ記録手段により記録されている第１の映像符号化データ内のシーン映像単位の符号化データと相関がある符号化データが含まれているか否かを判定し、相関がある符号化データが含まれていれば、上記符号化データを特定するデータ識別情報を含む符号化管理情報を出力する判定手段とを備え、
   予測参照用画像生成手段は、上記判定手段から出力された符号化管理情報内にデータ識別情報が含まれていれば、上記データ識別情報が示す符号化データに対する復号処理を実施して、予測参照用の復号画像を生成し、
   第１の映像符号化データ生成手段は、上記判定手段から出力された符号化管理情報内にデータ識別情報が含まれていなければ、復号画像生成手段により生成された復号画像に対するシーン内予測符号化処理を実施して、第２の映像符号化方式に従う映像符号化データを生成することを特徴とする請求項１記載の画像符号化装置。
3. 第１の映像符号化データ生成手段は、第１の映像符号化方式と第２の映像符号化方式が同じ方式である場合、復号画像生成手段により生成された復号画像に対するシーン内予測符号化処理を実施せずに、上記第２の映像符号化方式に従う映像符号化データとして、上記復号画像生成手段により入力される第１の映像符号化データを多重化手段に出力することを特徴とする請求項１または請求項２記載の画像符号化装置。
4. 第１及び第２の映像符号化データが多視点映像に係る時系列の映像ストリームであり、多重化手段による多重化後の映像符号化データが多視点映像の符号化規格に従う符号化データであることを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像符号化装置。
5. データ記録手段により記録されている映像符号化データのうち、第１の映像符号化データ内のシーン映像と類似しているシーン映像を含んでいる映像符号化データが、第２の映像符号化データとして用いられることを特徴とする請求項２記載の画像符号化装置。
6. 復号画像生成手段が、第１の映像符号化方式に従う第１の映像符号化データ内のシーン映像単位の符号化データに対する復号処理を実施して、シーン映像単位の復号画像を生成する復号画像生成処理ステップと、
   予測参照用画像生成手段が、上記第１の映像符号化方式に従う第２の映像符号化データ内のシーン映像単位の符号化データの中に、上記第１の映像符号化データ内のシーン映像単位の符号化データと相関がある符号化データが含まれていれば、上記符号化データに対する復号処理を実施して、予測参照用の復号画像を生成する予測参照用画像生成処理ステップと、
   第１の映像符号化データ生成手段が、上記第１の映像符号化データ内のシーン映像単位の符号化データと相関がある符号化データが含まれていなければ、上記復号画像生成処理ステップで生成された復号画像に対するシーン内予測符号化処理を実施して、第２の映像符号化方式に従う映像符号化データを生成する第１の映像符号化データ生成処理ステップと、
   第２の映像符号化データ生成手段が、上記予測参照用画像生成処理ステップで生成された予測参照用の復号画像を再符号化せずに、上記復号画像を用いて、上記復号画像生成処理ステップで生成された復号画像に対するシーン間予測符号化処理を実施して、上記第２の映像符号化方式に従う映像符号化データを生成する第２の映像符号化データ生成処理ステップと、
   多重化手段が、上記第１の映像符号化データ生成処理ステップで生成された映像符号化データと上記第２の映像符号化データ生成処理ステップで生成された映像符号化データを多重化する多重化処理ステップと
   を備えた画像符号化方法。

Images