JP2013090185A - 画像ファイル生成装置、画像ファイル読込装置、画像ファイル生成方法、画像ファイル読込方法およびプログラム - Google Patents

Abstract

【課題】立体映像表示および基準画像と差分データを用いたアプリケーションを両立させることが可能な画像ファイル生成装置を提供することである。
【解決手段】第１の画像と、第１の画像と視差を有する第２の画像とを取得する画像取得部と、第１の画像を基準とした、第２の画像と間の視差を示す視差マップを取得する視差マップ取得部と、第１の画像と視差マップとの関係を示す付属情報を生成する付属情報生成部と、付属情報と第１の画像を表す第１のデータと第２の画像を表す第２のデータと視差マップを表す視差データとを含む、一つのファイルを生成するファイル生成部とを具備することを特徴とする。
【選択図】図２

Description

本発明は、画像ファイル生成装置、画像ファイル読込装置、画像ファイル生成方法、画像ファイル読込方法およびプログラムに関する。

立体映像を表示あるいは保存するには２視点以上の画像を撮影し、これら複数の視点画像の中から２つの視点画像を同時に視聴することで立体映像を得ることができる。これら立体映像を保存するフォーマットの１つとして、カメラ映像機器工業会で規格化されているマルチピクチャフォーマット（以下、ＭＰＦ）が開示されている（非特許文献１）。該ＭＰＦは、複数視点から撮影した複数の画像を１つのファイルに格納することを規定したフォーマットである。

一方、立体映像データを保存または転送するフォーマットとして、２視点以上の画像中から選択した１つの基準画像と、立体表示に用いるもう一方の視点画像（視差画像）とからの差分データである視差情報（視差マップ）または奥行情報（デプスマップ）等を算出し、基準画像と該差分データを保存または転送する方法が開示されている（特許文献１および特許文献２）。

さらに、基準画像と差分データを用いた立体映像を表示方法として、基準画像と差分データから任意の視点画像（視差画像）を生成し、立体表示する方法が開示されている（特許文献１）。また、差分データは立体表示するための視差画像生成に用いるだけでなく、基準画像と差分データを用いて別の視点から見た２次元画像（任意視点画像）を生成することが可能である。このように、基準画像と差分データは、任意視点画像を生成するといった別のアプリケーションに用いることも可能である。

特開２００４−３６３７５８号公報 特表２０１０−５０８７５２号公報

マルチピクチャフォーマット（ＣＩＰＡ ＤＣ−００７−２００９）

しかしながら、立体映像を表示する再生装置の場合は、特許文献１および特許文献２のように基準画像と差分データを記録すると、該再生装置が視差画像を生成する際に多くの演算を要するという問題がある。さらに、該再生装置の視差画像生成において、基準画像と差分データから視差画像を生成すると、基準画像から死角となっている領域（オクルージョン領域）が視差画像に出力できないという問題がある。

一方、立体映像表示だけでなく、基準画像と差分データを用いたアプリケーション（例えば、任意視点画像生成）を実行する再生装置の場合は、非特許文献１のように基準画像と視差画像を記録すると、該再生装置が該データを読み込むたびに、差分データを得るため、多くの演算を要するという問題がある。

本発明は、このような事情に鑑みてなされたもので、その目的は、立体映像表示および基準画像と差分データを用いたアプリケーションを両立させることが可能な画像ファイル生成装置、画像ファイル読込装置、画像ファイル生成方法、画像ファイル読込方法およびプログラムを提供することにある。

（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、第１の画像と、前記第１の画像と視差を有する第２の画像とを取得する画像取得部と、前記第１の画像を基準とした、前記第２の画像と間の視差を示す視差マップを取得する視差マップ取得部と、前記第１の画像と前記視差マップとの関係を示す付属情報を生成する付属情報生成部と、前記付属情報と前記第１の画像を表す第１のデータと前記第２の画像を表す第２のデータと前記視差マップを表す視差データとを含む、一つのファイルを生成するファイル生成部とを具備することを特徴とする画像ファイル生成装置である。

（２）また、本発明の他の態様は、上述の画像ファイル生成装置であって、前記付属情報は、前記第１のデータにおける画素の配置と、前記視差データとの関係を示す情報であることを特徴とする。

（３）また、本発明の他の態様は、上述の画像ファイル生成装置であって、前記付属情報は、前記第１のデータにおける画素から、該画素に対応する前記視差データにおける画素までのシフト量を示す情報であることを特徴とする。

（４）また、本発明の他の態様は、上述の画像ファイル生成装置であって、前記付属情報は、前記第１のデータにおける１画素当たりの画角と、前記視差データにおける１画素当たりの画角との関係を示す情報であることを特徴とする。

（５）また、本発明の他の態様は、上述の画像ファイル生成装置であって、前記付属情報は、前記第１のデータにおける１画素当たりの画角と、前記視差データの画素値との関係を示す情報であることを特徴とする。

（６）また、本発明の他の態様は、上述の画像ファイル生成装置であって、前記付属情報は、前記視差マップが前記第１の画像を基準としていることを示す情報を含むことを特徴とする。

（７）また、本発明の他の態様は、上述の画像ファイル生成装置であって、前記視差マップが前記第１の画像を基準としていることを示す情報は、前記第１のデータに関連付けられて前記ファイルに格納される情報であって、前記視差データの前記ファイル中の位置を示す情報であることを特徴とする。

（８）また、本発明の他の態様は、上述の画像ファイル生成装置であって、前記付属情報は、前記視差データが前記ファイルに含まれているか否かを示す情報を含むことを特徴とする。

（９）また、本発明の他の態様は、上述の画像ファイル生成装置であって、前記付属情報は、前記視差データの前記ファイル中での一を示す情報を含むことを特徴とする。

（１０）また、本発明の他の態様は、第１の画像を表す第１のデータと、前記第１の画像と視差を有する第２の画像を表す第２のデータと、前記第１の画像を基準とした前記第２の画像と間の視差を示す視差マップを表す視差データと、前記第１の画像と前記視差マップとの関係を示す付属情報とを含むファイルを取得するファイル取得部と、前記取得したファイルから、少なくとも前記第１のデータと前記視差データと前記付属情報とを抽出するデータ抽出部とを具備することを特徴とする画像ファイル読込装置である。

（１１）また、本発明の他の態様は、上述の画像ファイル読込装置であって、前記付属情報は、前記第１のデータにおける画素の配置と、前記視差データとの関係を示す情報であることを特徴とする。

（１２）また、本発明の他の態様は、上述の画像ファイル読込装置であって、前記付属情報は、前記第１のデータにおける画素から、該画素に対応する前記視差データにおける画素までのシフト量を示す情報であることを特徴とする。

（１３）また、本発明の他の態様は、上述の画像ファイル読込装置であって、前記付属情報は、前記第１のデータにおける１画素当たりの画角と、前記視差データにおける１画素当たりの画角との関係を示す情報であることを特徴とする。

（１４）また、本発明の他の態様は、上述の画像ファイル読込装置であって、前記付属情報は、前記第１のデータにおける１画素当たりの画角と、前記視差データの画素値との関係を示す情報であることを特徴とする。

（１５）また、本発明の他の態様は、上述の画像ファイル読込装置であって、前記付属情報は、前記視差マップが前記第１の画像を基準としていることを示す情報を含むことを特徴とする。

（１６）また、本発明の他の態様は、上述の画像ファイル読込装置であって、前記視差マップが前記第１の画像を基準としていることを示す情報は、前記第１のデータに関連付けられて前記ファイルに格納される情報であって、前記視差データの前記ファイル中の位置を示す情報であることを特徴とする。

（１７）また、本発明の他の態様は、上述の画像ファイル読込装置であって、前記付属情報は、前記視差データが前記ファイルに含まれているか否かを示す情報を含むことを特徴とする。

（１８）また、本発明の他の態様は、上述の画像ファイル読込装置であって、前記付属情報は、前記視差データの前記ファイル中での一を示す情報を含むことを特徴とする。

（１９）また、本発明の他の態様は、第１の画像と、前記第１の画像と視差を有する第２の画像とを取得する画像取得過程と、前記第１の画像を基準とした、前記第２の画像と間の視差を示す視差マップを取得する視差マップ取得過程と、前記第１の画像と前記視差マップとの関係を示す付属情報を生成する付属情報生成過程と、前記付属情報と前記第１の画像を表す第１のデータと前記第２の画像を表す第２のデータと前記視差マップを表す視差データとを含む、一つのファイルを生成するファイル生成過程とを有することを特徴とする画像ファイル生成方法である。

（２０）また、本発明の他の態様は、第１の画像を表す第１のデータと、前記第１の画像と視差を有する第２の画像を表す第２のデータと、前記第１の画像を基準とした前記第２の画像と間の視差を示す視差マップを表す視差データと、前記第１の画像と前記視差マップとの関係を示す付属情報とを含むファイルを取得するファイル取得過程と、前記取得したファイルから、少なくとも前記第１のデータと前記視差データと前記付属情報とを抽出するデータ抽出過程とを具備することを特徴とする画像ファイル読込方法である。

（２１）また、本発明の他の態様は、コンピュータを、第１の画像と、前記第１の画像と視差を有する第２の画像とを取得する画像取得部、前記第１の画像を基準とした、前記第２の画像と間の視差を示す視差マップを取得する視差マップ取得部、前記第１の画像と前記視差マップとの関係を示す付属情報を生成する付属情報生成部、前記付属情報と前記第１の画像を表す第１のデータと前記第２の画像を表す第２のデータと前記視差マップを表す視差データとを含む、一つのファイルを生成するファイル生成部として機能させるためのプログラムである。

（２２）また、本発明の他の態様は、コンピュータを、第１の画像を表す第１のデータと、前記第１の画像と視差を有する第２の画像を表す第２のデータと、前記第１の画像を基準とした前記第２の画像と間の視差を示す視差マップを表す視差データと、前記第１の画像と前記視差マップとの関係を示す付属情報とを含むファイルを取得するファイル取得部、前記取得したファイルから、少なくとも前記第１のデータと前記視差データと前記付属情報とを抽出するデータ抽出部として機能させるためのプログラムである。

本発明によれば、基準画像と差分データを用いたアプリケーションが実現可能という効果が得られる。

この発明の第１の実施形態における画像伝送システム１０の構成を示す概略ブロック図である。 同実施形態における画像記録装置１００の概略構成を示すブロック図である。 平行配置された視点位置から撮影した場合の被写体までの距離と視差の関係を示した図である。 同実施形態における左側視点および右側視点の撮影画像と、これらの視差マップの例である。 同実施形態における視差画像取得部１０６が被写体Ｘを撮影するときの概観図を示している。 同実施形態における左視点ＬＰから撮影された画像１と、右視点ＲＰから撮影された画像２である。 同実施形態におけるブロックマッチングのウィンドウを説明する図である。 同実施形態における視差マップ生成部１０２の構成を示す概略ブロック図である。 同実施形態における画像ファイル生成部１０５が生成するファイルｆの構成を示す図である。 同実施形態におけるＥｘｉｆ付属情報１１のＭａｋｅｒ Ｎｏｔｅに格納される付属情報ｅを示す図である。 同実施形態における画像再生装置２００の構成を示す概略ブロック図である。 同実施形態におけるファイル取得部２０１の構成を示す概略ブロック図である。 この発明の第２の実施形態における視差マップ生成部１０２の処理と、該処理により生成される視差値拡大係数説明する概念図である。 同実施形態におけるＥｘｉｆ付属情報１３のＭａｋｅｒ Ｎｏｔｅに格納される付属情報ｅを示す図である。 この発明の第３の実施形態における視差マップ生成部１０２ｂの処理と、該処理により生成される視差値拡大係数説明する概念図である。 同実施形態における視差マップ生成部１０２ｂの構成を示す概略ブロック図である。 同実施形態における画像処理部２０２ｂの構成を示す概略ブロック図である。 同実施形態の変形例における画像処理部２０２ｂ２の構成を示す概略ブロック図である。 この発明の第４の実施形態における実施形態における視差マップ生成部１０２ｃの処理と、該処理により生成される視差値拡大係数を説明する概念図である。 同実施形態における視差マップ生成部１０２ｃの構成を示す概略ブロック図である。 同実施形態における画像処理部２０２ｃの構成を示す概略ブロック図である。 同実施形態の変形例における画像処理部２０２ｃ２の構成を示す概略ブロック図である。 ファイルｆの構成の別の例（その１）である。 ファイルｆの構成の別の例（その２）である。

＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、本実施形態における画像伝送システム１０の構成を示す概略ブロック図である。画像伝送システム１０は、画像記録装置１００と、画像記録装置１００とネットワーク３００を介して接続される画像再生装置２００とを含んで構成される。画像記録装置１００は、本実施形態における画像ファイル生成装置であり、視差を含んだ画像を表すデータと、該画像の視差マップを表す視差データと、を一つのファイルｆに格納して出力する。例えば、画像記録装置１００は、立体画像を撮像することで、視差を含んだ画像を生成する。画像再生装置２００は、本実施形態における画像ファイル読込装置であって、ネットワーク３００を介して、画像記録装置１００が出力したファイルｆを受信し、該ファイルｆから抽出した画像と視差マップとを用いて画像処理を行い、その結果を表示する。

なお、本実施形態では、画像記録装置１００と、画像再生装置２００とは、ネットワーク３００にて接続されるとして説明したが、その他の手段で接続されてもよい。例えば、画像記録装置１００がファイルｆを、メモリカードなどの媒体に書き込み、画像再生装置２００が該媒体からファイルｆを読み出すようにしてもよい。また、画像記録装置１００と、画像再生装置２００とがＵＳＢ（Universal Serial Bus）ケーブルなどの通信ケーブルで接続され、画像記録装置１００が送信したファイルｆを画像再生装置２００が受信するようにしてもよい。また、画像記録装置１００が赤外線や電波などを用いて、ファイルｆを送信し、これを画像再生装置２００が受信するようにしてもよい。

図２は、画像記録装置１００の概略構成を示すブロック図である。画像記録装置１００は、画像処理部１０１、視差マップ生成部１０２、符号化部１０３、付属情報生成部１０４、ファイル生成部１０５、視差画像取得部１０６を含んで構成される。画像記録装置１００は、両眼視差のある画像を取得し、これらの画像から視差マップを生成する。画像記録装置１００は、これらの画像と視差マップと視差マップに関する付属情報とを一つのファイルデータｆとして記録し、出力する。

視差画像取得部１０６は、光軸が平行になるように、かつ、両眼視差を有するように配された２つの撮像装置を備える。視差画像取得部１０６は、これらの撮像装置が撮像して得た、両眼視差を有する画像のデータである画像１ａ、１ｂを出力する。ここでは、画像１ａは左眼に対応する視点からの画像のデータであり、画像１ｂは右眼に対応する視点からの画像のデータである。また、２つの撮像装置は同様の構成であり、得られた画像１ａ、１ｂは共に同じ解像度、焦点距離で撮影された画像である。なお、視差画像取得部１０６が、撮像装置に変えて、視差画像入力部を備え、視差画像入力部は、他装置が生成した両眼視差のある画像を、メモリカードなどの媒体や、ネットワークや通信ケーブルを介して接続された他装置から取得するようにしてもよい。このとき、両眼視差のある画像はそれぞれ関連付けられた個別のデータとして取得しても構わないし、一つのデータファイルとして取得してもよい。

一つのデータファイルとして取得する場合は、例えば、一般的な立体視用のフォーマットとして使用される２つ以上のＪＰＥＧ（Joint Photographic Experts Group）画像を一つの画像ファイルとして記録したマルチピクチャフォーマットや２つの視差画像を並置配置して１つの画像として記録したサイドバイサイド画像でもよい。視差画像入力部はこのように入力された画像を、例えばＪＰＥＧのように符号化されている場合には画像データへと復号して出力する。入力される画像は圧縮されたものであってもよいし、圧縮されていないものであってもよい。また、ここでは説明を簡単にするため、画像１ａ、１ｂが表す両眼視差を有する画像は、平行に配置された撮像装置によって撮影された画像とする。

視差画像取得部１０６が出力した画像データである画像１ａと画像２ａは共に画像処理部１０１と視差マップ生成部１０２にそれぞれ入力される。
画像処理部１０１は入力された２つの画像データ画像１ａ、画像２ａの画像サイズや色調整や相対位置を変更して視差を調整する。例えば、平行配置で撮影された画像は遠くの被写体になるほど視差が小さく、手前の被写体になるほど視差が大きくなる。このような状態の視差は、立体視を行うとすべて飛び出し方向となる視差であり、無限遠がディスプレイ面となる視差である。一般的にはディスプレイ面を境に、飛び出し方向と引っ込み方向となるような画像が望ましいため、左右の相対位置を変更することで適切な立体視画像となるように処理をする。
本実施形態では、後で記載するように基準視点画像と視差マップの対応付けが容易になるように画像１ａと画像２ａの相対位置の変更は、画像１ａを固定して画像２ａの方のみをシフトさせて、２つの画像データ画像１ｂ、２ｂを生成する。

画像処理部１０１は、上述したよう調整した画像１ｂ、画像２ｂを符号化部１０３に出力する。また、画像処理部１０１は、画像１ａ、２ａに対して、どのような処理を行ったかを示す情報を処理情報ｄとして付属情報生成部１０４に出力する。処理情報ｄは、例えば、画像の相対位置をシフトさせた際のシフト量やサイズ変更をした場合のサイズ情報などである。

視差マップ生成部１０２は、入力された画像１ａと画像２ａと間の画素ごとの視差値を算出し、基準となる画像の画素配置に対応するように、該視差を並べたデータである視差マップａを生成する。平行配置（または平行な光学中心）で撮影された２視点からの画像の視差は、前述したように物体までの距離が遠いほど視差値が小さく、物体までの距離が近くなるにしたがって視差値は大きくなる。一般的には視差値を画素値に置き換えて視差をグレースケール画像として表現し、遠いほど黒く、近いほど白くなる。

視差マップ生成装部１０２は、視差マップを生成する際に、画像１ａと画像２ａどちらを基準としてもよいが、本実施形態では画像１ａを基準として視差マップａを算出する。視差マップ生成部１０２は、視差マップａを生成して符号化部１０３に出力するとともに、視差マップａを生成する際に基準とした画像を示す情報、視差マップａのサイズ（縦、横の画素数）を示す情報、視差マップａの生成方法など、視差マップ生成時の情報を生成条件情報ｃとして付属情報生成部１０４に出力する。

符号化部１０３は、画像処理部１０１が出力した画像１ｂ、画像２ｂ、視差マップ生成部１０２が出力した視差マップａの符号化を行う。例えば、ＪＰＥＧ画像として圧縮する場合にはそれぞれのデータに対してＪＰＥＧ圧縮処理を行い、圧縮画像データを生成する。なお、ビットマップなど非圧縮画像として記録する場合にはこのような圧縮処理は行わずに、目的のデータ形式に合わせて画像データを出力する。本実施形態では、符号化部１０３は、画像１ｂ、画像２ｂをＪＰＥＧ圧縮処理した画像データである画像１ｃ、画像２ｃと、視差マップａの非圧縮データである視差マップｂとを出力する。

付属情報生成部１０４は、画像処理部１０１と視差マップ生成部１０２からそれぞれ得られた処理情報ｄと生成条件情報ｃを基に、画像１ｃ、画像２ｃと視差マップｂとの関係を示した付属情報ｅを生成する。例えば、その一つとして、視差マップｂは左眼に対応する視点の画像を基準として生成されているため、画像１ｃと画像２ｃに対して対応した視差マップが存在するかを判別するための視差マップ有無の情報がある。ここでは、この視差マップ有無の情報は、画像１ｃを基準とした視差マップｂがあることを示す情報と、画像２ｃを基準とした視差マップがないことを示す情報となる。

また、その他の付属情報ｅの例としては、視差マップ算出時の画像位置に対して、画像１ｃ、２ｃのうち、どちらをどの程度シフトさせたかを示すシフト量がある。画像処理部１０１は、画像１ａ、画像２ａの相対位置シフトなどにより、立体視の際の視差を調整し、画像１ｂ、２ｂを生成する。しかし、視差マップ生成部１０２は、視差調整されていない(相対位置が変更されない)画像１ａ、２aに基づき、視差マップａを算出するため、視差マップａの視差値と視差調整後の画像の視差は一致していない。そのため、このシフト量は、視差マップの視差値を画像１ｃ、２ｃ間の視差へ変換する場合へのオフセット値とみなすこともできる。付属情報生成部１０４は、上記のような画像データ間や画像データと視差マップデータ間の関係を識別するための情報や視差マップのサイズなど視差マップに係る情報などを付属情報として出力する。
ファイル生成部１０５は符号化部１０３と付属情報生成部１０４から入力された画像データ（画像１ｃ、画像２ｃ）と視差マップｂ、付属情報ｅからそれらを関連付けて一つのファイルｆを生成して出力する。

次に、画像処理部１０１による画像のシフトについて説明する。図３は、ある間隔で平行配置された撮像装置から被写体までの距離と視差の関係を示した図である。図３において、横軸は、撮像装置から被写体までの距離であり、縦軸は、視差である。なお、引っ込み側とは、立体視をしたときにディスプレイ面より奥側に引っ込んだ位置にあるように知覚される視差を示す。また、飛び出し側とは、立体視をしたときにディスプレイ面より手前側に飛び出した位置にあるように知覚される視差を示す。

また、図３中の点Ｏ１、Ｏ２、Ｏ３は、後述する図４中の被写体Ｏ１、Ｏ２、Ｏ３に対応した距離および視差を示す点である。平行配置で撮影した場合、点Ｏ１、Ｏ２、Ｏ３を結んだ線分ｋで示したように、視差は常に飛び出し側であり、２つの撮像装置間の距離より被写体距離が十分大きくなるにつれて視差は０に近づく。また、逆に視点位置に近づくにつれて視差が大きくなる。なお、点Ｏ’１、Ｏ’２、Ｏ’３については後述する。

図４は、視差画像取得部１０６が備える平行配置された２つの撮像装置で撮影された左側の撮影画像Ｂ−１と右側の撮影画像Ｂ−２とこれらの２つの画像から得られ、左側画像Ｂ-１を基準とした視差マップＢ−３の例である。２つの撮影画像Ｂ−１、Ｂ−２は、被写体Ｏ１とＯ２と背景Ｏ３で構成されている。この例では、背景は撮像装置間距離に対して十分遠い。この場合、遠景である背景Ｏ３は視差がほぼ０であり、被写体Ｏ２、Ｏ１共に飛び出し方向の視差が付いている。また、より手前にある被写体Ｏ１の視差の方が、被写体Ｏ２の視差よりも大きくなっている。撮影画像Ｂ−１、Ｂ−２をこのまま立体表示すると、背景Ｏ３はディスプレイ面上にあるように知覚され、被写体Ｏ１、Ｏ２はディスプレイ面から飛び出しているように知覚される。

一般的には飛び出し視差が大きすぎると眼精疲労の原因になるなどの課題や、実際に見える景色に近い奥行き感を得るために遠景は引っ込み方向の視差にする方が望ましい。そこで、画像処理部１０１は、画像２ａの各画素を右にシフトさせて画像２ｂとすることで、左右画像の相対位置を変える。これにより、遠景が引っ込み方向の視差となるように調整する。例えば手前の被写体Ｏ１の前面を視差０となるように左右の相対位置を変化させて、図３の点Ｏ’１〜Ｏ’３に示す視差にする。このとき、立体視すると被写体Ｏ１はディスプレイ面上にあるように知覚され、被写体Ｏ２、背景Ｏ３は奥行に引っ込んだ位置にあるように知覚されるため、立体視しやすい。このように、視点の異なる立体視用の画像は適切な視差となるようにして記録することが望ましい。

視差マップＢ−３は、平行配置で撮影された撮影画像Ｂ−１、Ｂ−２から得られた視差マップである。この時、遠景である背景Ｏ３の領域の視差は０に近いため黒に近く、手前の被写体Ｏ１になるほど視差が大きくなるためより白に近く表現される。
以下の説明においては、視差値を８ビットで表現するものとして説明する。この場合、視差値０が無限遠であり、視差値２５５が最も近い距離である。本実施形態では視差マップは８ビットのグレースケール画像として扱うが、これに限定されるものではなく例えばよりビット数の高いデータとしても構わない。

次に、視差マップ生成部１０２による視差算出を説明する。視差マップ生成部１０２は、視差算出にブロックマッチング法を用いる。このブロックマッチング法は、ブロック単位での類似度により左右画像間で同じ被写体の特徴点位置を検出し、そのずれ量を視差として検出する方法である。この特徴点に係る左右画像各々における点を対応点と呼ぶ。対応点の探索を行うために評価関数としてＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いる。ＳＡＤでは画像１、画像２のそれぞれで注目画素を中心にウィンドウを設定し、設定したウィンドウ間の各画素の輝度の差を求め、その各画素間から得られた輝度の差の和を算出する。同様な処理を画像２側の注目画素を変えながら行い、値が最も小さい注目画素が対応点であるとする。

ここで、視差マップ生成部１０２が視差算出に用いるブロックマッチング法を説明する。図５は、視差画像取得部１０６が被写体Ｘを撮影するときの概観図を示している。視差画像取得部１０６は、水平方向に異なる左視点ＬＰと右視点ＲＰとから撮影する。図６は、図５に示すようにして、左視点ＬＰから撮影された画像１と、右視点ＲＰから撮影された画像２である。図６では視点位置が異なることで、被写体Ｘの位置がそれぞれの画像で異なる位置に存在する。画像１を基準に、被写体Ｘの一つの頂点について視差を算出する場合を例にブロックマッチングの説明をする。この頂点が画像１上の画素ａに存在するとした場合に、画素ａを中心とした３×３の大きさのウィンドウＭ１を設定する。次に、画像２において画素ａと同一の位置にある画素ａ’_０を探索開始点として設定し、３×３のウィンドウＭ２を設定する。次に設定したウィンドウ間の各画素の輝度の差を求め、その各画素間から得られた輝度の差の和（ＳＡＤ値）を算出する。例えば、図７のように、それぞれの設定したウィンドウの画素の値をｘ_１〜ｘ_９、ｘ’_１〜ｘ’_９とすると、式（１）のような計算を行いＳＡＤ値を求める。

前述のように、平行に配置されたカメラで撮影された視差画像は無限遠が視差０であり、近くの被写体になるほど視差が付く。このとき、画像１が左眼に対応する視点、画像２が右眼に対応する視点の場合には、画像１上の頂点ａに対応する画像２上の点は、画像１における頂点ａよりも左側にある。そこで、探索方向を左側として画素ａ’_０から左方向に注目画素を変更していき、上述したＳＡＤ値を順次求め、得られたＳＡＤ値の中で最小値をとる注目画素を対応点とする。図６の例では、対応点である画像２上の画素ａ’_１を注目画素としたときに最もＳＡＤ値が小さい値となる。このような処理を画像１の画素ごとに行いそれぞれの画素との対応点を求めることで視差マップを得る。本実施形態では基準画像は画像１ａであり、画像１ａと画像２ａのサイズは１９２０×１０８０、ウィンドウサイズは注目画素を中心に１６×１６として設定して視差算出を行う。なお、ここでは上記のように画像やブロックサイズを設定したが、これに限定されるものではなく精度や処理量を考慮し、適宜設定すればよい。また、本実施形態ではＳＡＤを用いたブロックマッチングによって求めたが、他の評価関数や他の手法でも構わない。

図８は、視差マップ生成部１０２の構成を示す概略ブロック図である。視差マップ生成部１０２は、視差マップ生成制御部１２１、視差値算出部１２２を含んで構成される。視差マップ生成制御部１２１は視差算出におけるウィンドウサイズ等の各種視差算出に必要な設定パラメータを取得して視差値算出部１２２に出力する。また、視差マップ生成制御部１２１は、視差値算出部１２２の処理内容に係る情報である、サイズ情報や基準画像を示す情報などの視差マップに係る情報である視差値算出情報ｃａを受け取る。また、視差マップ生成制御部１２１は画像再生装置２００で必要となる、これら視差算出時の基準画像を示す情報やサイズ情報といった情報を生成条件情報ｃとして出力する。
視差値算出部１２２は、視差マップ生成制御部１２１から得られた設定パラメータｐを用いて、入力された画像１ａ、２ａに対して、前述したブロックマッチングによる視差算出処理を行い、視差マップａを生成する。また、生成時の情報を視差値算出情報として視差マップ生成制御部１２１へ出力する。

図９は、画像ファイル生成部１０５が生成するファイルｆの構成を示す図である。近年では立体撮像装置の記録フォーマットとしてＣＩＰＡ（一般社団法人カメラ映像機器工業会）規格であるＣＩＰＡ ＤＣ−００７ マルチピクチャフォーマット（ＭＰＦ：Ｍｕｌｔｉ−Ｐｉｃｔｕｒｅ Ｆｏｒｍａｔ）を扱う機器が増えてきており、図９において符号ｆ１を付した部分は、このマルチピクチャフォーマットの規格であるＭＰＦ規格に準じている部分である。画像１ｃ、画像２ｃは、該規格に沿った形で記録される。すなわち、画像毎に、ＳＯＩ（Start Of Image）に続いてＡＰＰ（アプリケーションマーカセグメント）の領域があり、続いて画像データの領域があり、ＥＯＩ（End Of Image）の領域がある。このように、図９では画像１ｃ、画像２ｃは、それぞれＭＰＦ規格で規定されるファイルフォーマット構成で、領域ｆ１に連続して記録される。そして、視差マップｂは、その後ろ（領域ｆ２）に記録される。このように、視差マップｂを、領域ｆ１よりも後ろとすることで、画像１ｃ、２ｃについては、マルチピクチャフォーマットに近い構成のファイルとなる。したがって、視差マップｂの存在を認識しない、従来の機器が、当該ファイルを読み込んだときに、画像１ｃ、２ｃを読み込めないなどの不都合が発生することを抑えることができる。

領域ｆ１について説明する。画像１ｃは、ＪＰＥＧ圧縮して記録される。画像１ｃのヘッダー部分のＡＰＰ（アプリケーションマーカセグメント）には、Ｅｘｉｆ規格やＭＰＦ規格に沿った形で付属情報が記録される。これら付属情報のうち、Ｅｘｉｆ付属情報１１はＡＰＰの先頭の領域であるＡＰＰ１に記録され、ＭＰＦ付属情報２１はＡＰＰ１に続く領域であるＡＰＰ２に記録される。Ｅｘｉｆ付属情報１１には画像１ｃに関する撮像素子、撮像機器に関する情報や露光時間、Ｆナンバーなどの撮影条件や画像読み出しに関する情報が記録される。また、ＭＰＦ付属情報２１には各画像の視点位置と基準視点位置との関係を示す基線長や輻輳角情報、または立体、パノラマなど用途を識別する情報などが記録される。また、先頭画像である画像１ｃのＭＰＦ付属情報２１にはＭＰ Ｉｎｄｅｘ ＩＦＤによって画像２ｃの記録位置やサイズ、ＭＰＦ構造でいくつの画像が記録されているかを示す画像数に関する情報などの情報が記録される。ここで各画像データの両端のＳＯＩ（Start Of Image）、ＥＯＩ（End Of Image）はそれぞれの画像の領域の開始と終了とを識別するための情報である。

本実施形態では画像１ｃ、画像２ｃはＭＰＦ規格で記録し、視差マップは別に管理して記録する構成としている。そのため、前述したＭＰ Ｉｎｄｅｘ ＩＦＤには画像１ｃ、画像２ｃに関する管理情報のみ記録される。画像２ｃについても、画像１ｃと同様にＭＰＦ規格に沿った構成（ＳＯＩ、ＡＰＰ１、ＡＰＰ２、画像２ｃ、ＥＯＩ）で画像１ｃのＥＯＩに続いて記録される。ただし、ＡＰＰ２の領域に、ＭＰ Ｉｎｄｅｘ ＩＦＤを含まない点が、画像１ｃの構成と異なる。また、画像２ｃも画像１ｃと同様にＪＰＥＧ圧縮したデータである。

次に、視差マップｂはＥｘｉｆ規格に沿った構成、すなわちＳＯＩ、ＡＰＰ、視差マップｂ、ＥＯＩの順に、画像２ｃのＥＯＩに続いて記録される。ただし、視差マップはＭＰＦ規格で管理されないため、画像１ｃ、画像２ｃとは異なり、そのＡＰＰ２にＭＰＦ付属情報は含まない。また、視差マップｂは非圧縮データである。視差マップｂについてもＪＰＥＧのように圧縮しても構わないが、圧縮によって被写体のエッジ領域の視差が劣化するなどの影響があるため非圧縮データとすることを推奨する。
視差マップｂの記録位置などの管理情報を、視差マップを算出する際に基準とした画像のヘッダー領域へと記録する。ここでは、基準とした画像は、画像１ｃであるので、画像１ｃのＥｘｉｆ付属情報１１のＭａｋｅｒ Ｎｏｔｅタグ内に記録する。Ｍａｋｅｒ Ｎｏｔｅはメーカが個別の情報を記入し、該メーカが独自に利用することのできる領域である。この領域には付属情報生成部１０４から得られた付属情報ｅを基に、図１０に示す項目を記録する。なお、画像２ｃを基準とした視差マップは、ファイルｆに格納されないが、画像２ｃのＥｘｉｆ付属情報１２のＭａｋｅｒ Ｎｏｔｅタグ内には、画像２ｃに関する図１０に示す項目を記録する。

図１０は、Ｅｘｉｆ付属情報のＭａｋｅｒ Ｎｏｔｅタグ内に格納される付属情報を示す図である。「視差マップの有無；ＤｉｓｐａｒｉｔｙＭａｐＩｎｆｏ」は、該Ｅｘｉｆ付属情報の画像を基準とした視差マップを有するか否かを示す情報である。本実施形態では、記録された視差マップｂは、画像１ｃに対応する視差マップであるため、視差マップを有しているとの情報を画像１ｃのＥｘｉｆ付属情報１１に記録し、画像２ｃのＥｘｉｆ付属情報１２には有していないとの情報を記録する。

「視差マップのサイズ；ＤｉｓｐａｒｉｔｙＭａｐＳｉｚｅ」は、視差マップを有する場合に、該視差マップのデータサイズを示す情報である。視差マップを有する場合にはこのサイズ情報によって視差マップの記録領域を識別する。本実施形態では、画像１ｃのＥｘｉｆ付属情報１１には視差マップのデータサイズが記録され、画像２ｃのＥｘｉｆ付属情報１２には視差マップを有していないため、０が記録される。

「視差マップデータへのオフセット；ＤｉｓｐａｒｉｔｙＭａｐＯｆｆｓｅｔ」は、ファイルの基準位置（例えば、当該情報の格納位置）から視差マップデータ領域先頭へのオフセット値である。この付属情報は、どこから視差マップが記録されているのかを示す。また本実施形態ではオフセット値での記録を行っているが、視差マップデータ先頭のアドレス値を記録するようにしてもよい。なお、視差マップデータ領域先頭とは、視差マップのＳＯＩである。

「焦点距離[ｐｉｘ]；ＦｏｃａｌＬｅｎｇｔｈＰｉｘ」は、視差マップの焦点距離をピクセル単位で示す情報であり、レンズ焦点距離を撮像素子のピクセルピッチで除算した値である。この値を用いることで、視差値を被写体までの距離を示す奥行値に変換することができる。

「保存時のシフト量；ＩｍａｇｅＳｈｉｆｔＳｉｚｅ」は、画像処理部１０１による画像のシフト量を示す値である。視差マップｂの画素値は、記録された画像１ｃと画像２ｃとの視差と一致するとは限らない。これは、前述したように立体視のための視差調整により両画像間の視差が変更されており、かつ、視差マップは元の平行配置で算出されている場合に起こる。視差マップ算出は平行配置画像の方が対応点の探索方向が同じ方向な（逆方向の視差が発生しない）ため、平行配置での算出とする方が望ましい。また、平行配置にて算出した視差マップの値は、そのまま基準画像１から見た場合の被写体までの奥行値に対応させるのが容易になるため、平行配置時の視差マップのまま記録することが望ましい。

一方、立体視においては平行配置された視点から撮影された画像は全て飛び出す方向に見える視差がつくため、立体視の画質として望ましくない。そのため、画像１ｃ、画像２ｃは視差を調整したものとする方が望ましい。このような要求を満たすために、どのように視差調整したかを示す情報である保存時のシフト量を記録する。例えば、画像１ｃはシフトしておらず、画像２ｃのみ相対位置を１０画素分シフトして視差調整したとする。この場合、画像１ｃのＥｘｉｆ付属情報１１の保存時のシフト量には、シフト量「０」を記録し、画像２ｃのＥｘｉｆ付属情報１２の保存時のシフト量には、シフト量「１０」を記録する。このときどちらの方向へシフトしたかの情報も併せて記録する。例えば、右視点に対応する画像２ｃは左側に１０画素シフトした位置で切り出されていると、程よい視差量で遠景の被写体が引っ込み視差となる場合には、左方向へのシフトを負の値とし、右方向のへのシフトを正の方向とすると、画像２ｃのＥｘｉｆ付属情報１２の保存時のシフト量には、シフト量「−１０」を記録する。

このようにヘッダー（ここではＥｘｉｆ付属情報のＭａｋｅｒ Ｎｏｔｅ）に視差マップの有無やその記録位置を記録することで視差マップとの対応関係が認識できるようにする。上記では各画像ヘッダーに対応視差マップの情報を記録したが、視差マップのヘッダー内にどの画像が対応する画像であるかを記録するのでも構わない。

このように、立体視用の画像である画像１ｃ、画像２ｃの管理を標準化された構成で管理することとし、視差マップｂを別領域にて管理する。これにより、通常の画像１ｃ、画像２ｃのみ扱う機器は、ＭＰ Ｉｎｄｅｘ ＩＦＤに従って読みだすため、対象の２画像のみを読み出して扱うことができ、そのような機器にとって不明なデータである視差マップの情報は読み飛ばすことができる。また、別領域の視差マップの管理情報を読み出すことで視差マップが必要な機器は視差マップを読み出すことができる。このようにすることで、従来の機器との互換性がとれ、視差マップの記録位置情報などを識別できる機器のみ視差マップデータを取得できる。

画像再生装置２００に関して説明する。図１１は、画像再生装置２００の構成を示す概略ブロック図である。画像再生装置２００は、ファイル取得部２０１、画像処理部２０２、画像出力部２０４を含んで構成される。ファイル取得部２０１は、画像記録装置１００が生成したファイルｆを取得し、各記録領域を識別して付属情報ｅ、画像データ（画像１ｃ、画像２ｃ）、視差マップｂに分離する。分離された各データは画像処理部２０２へと出力される。

画像処理部２０２は、ファイル取得部２０１によって入力された各データからアプリケーションに応じた画像処理を行い、目的の画像データを出力する。このアプリケーションに応じた画像処理として、以下のようなものがある。立体視画像を出力する場合であれば、表示する画面サイズに応じて視差が拡大されて表示されて安全視の問題が生じるため、画面サイズに応じて視差調整をした画像を出力することが必要となる。このとき、視差調整には記録された画像間の視差に関する情報が必要となるが、付属情報と視差マップを用いることで記録された画像の視差情報を取得することができる。具体的には、付属情報に記録されたシフト量の情報を用いて視差マップの画素値を記録された画像の相対位置になるように変換することで画像の視差を取得することができる。この得られた視差情報を基に、例えば、画面上での最大視差が所定の値を超えないように、画面サイズに応じた視差調整をして表示することができる。

また、画像処理部２０２は、視差マップｂに基づき、被写体との間の距離を判別することが可能であり、例えば画像とそれに対応する視差マップを用いて奥行に応じてぼかし量を変えたぼかし処理を行い、フォーカスの異なった画像など生成することができる。このとき、画像に対応した視差マップ（距離情報）が必要であるため、付属情報を用いて対応画像と視差マップの位置関係がシフト情報によってずれがないのか識別することで画像とそれに対応した視差マップを抽出し画像処理することができる。

このようにして画像と視差マップと付属情報を記録したフォーマットを扱うことで様々な画像を生成することが可能である。画像処理部２０２によって生成された画像は、画像出力部２０４によって出力される。例えば、画像出力部２０４は、液晶ディスプレイなどの表示デバイスを備え、該表示デバイスに表示させる。また、画像出力部２０４は、画像処理部２０２によって生成された画像を、表示装置や記録装置または通信・ネットワーク上へと出力するようにしてもよい。また、画像処理部２０２によって処理した内容を付属情報として、画像出力部２０４は出力する画像のヘッダー領域に記録してもよい。このようにすることで画像出力部２０４から得られたデータを受け取った際にどのような処理がされたのか識別することができる。例えば、画像処理部２０２によって視差調整された場合に、その調整量を記録しておけば、処理前の画像に戻すことも可能である。

図１２は、ファイル取得部２０１の構成を示す概略ブロック図である。ファイル取得部２０１は、ファイル入力部２１１、付属情報抽出部２１２、第１画像抽出部２１３、第２画像抽出部２１４、視差マップ抽出部２１５を含んで構成される。ファイル入力部２１１は、ファイルｆを受信し、受信したファイルｆを付属情報抽出部２１２、第１画像抽出部２１３、第２画像抽出部２１４、視差マップ抽出部２１５に出力する。付属情報抽出部２１２は、ファイルｆから付属情報ｅを抽出する。第１画像抽出部２１３は、付属情報抽出部２１２が抽出した付属情報ｅを用いて、ファイルｆから画像１ｃを抽出する。第２画像抽出部２１４は、付属情報抽出部２１２が抽出した付属情報ｅを用いて、ファイルｆから画像２ｃを抽出する。視差マップ抽出部２１５は、付属情報抽出部２１２が抽出した付属情報ｅを用いて、ファイルｆから視差マップｂを抽出する。視差マップ抽出部２１５は、付属情報ｅのうち、例えば、視差マップデータへのオフセットを用いて、視差マップｂを抽出する。

画像記録装置１００、画像再生装置２００は、従来の立体画像機器との互換もとりつつ、視差マップを用いる機器に関しては画像とそれに対応する視差マップが取得可能なファイルでのやりとりができる。個別のファイルとして関連付けて記録すると、途中で一部のデータを紛失してしまうことや逆に一部のデータのみ残ってしまうことなどが問題であり、また、複数のファイルを同時に関連付けて処理する必要があるため複雑な処理になる課題がある。本実施形態ではこのような煩雑な管理をする必要がなく、効率的な処理が可能となる。

本実施形態では、ファイルｆに記録する画像を、平行配置された２画像で示したが、これに係るものではなく３画像以上でも構わない。その場合では画像と視差マップへの対応付けなど同様にすることができる。
また、本実施形態では平行配置された撮像装置から得られた２画像で示したが、これに係わるものではなく輻輳配置の撮像装置によって撮影された２画像でも構わない。この場合、例えばファイルのヘッダ情報から輻輳撮影であることを識別し、視差マップ生成部１０２は、この２画像に対して、遠景の視差が０以上となるように相対位置を変化させてから視差マップ算出処理を行う。視差マップ生成部１０２は、この視差マップ算出時の２画像の相対位置変化量を生成条件情報ｃに含めて付属情報生成部１０４へと出力する。付属情報生成部１０４は、画像処理部１０１からの処理情報ｄとこの相対位置変化量を含む生成条件情報ｃを加味した値を付属情報ｅとすればよい。

また、視差画像取得部１０６は、１画像のみを取得し、画像処理部１０１と視差マップ生成部１０２の前に、２次元画像を３次元画像に変換する２Ｄ３Ｄ変換部を設けるようにしてもよい。１画像から同様な効果を得ることが可能である。２Ｄ３Ｄ変換部は１つの画像から奥行を推定し、視差を有する２つの画像を生成する。２Ｄ３Ｄ変換部によって得られたこれら２つ画像を画像処理部１０１と視差マップ生成部１０２に入力すればよく、あとは同様の処理とすることでもよい。

＜第２の実施形態＞
以下、図面を参照して、本発明の第２の実施形態について説明する。本実施形態における画像記録装置１００は、視差マップ生成部１０２が生成する生成情報ｃおよび付属情報生成部１０４が生成する付属情報ｅ、画像ファイル生成部１０５が生成するファイルｆに視差値拡大係数が含まれている点のみが、第１の実施形態の画像記録装置１００（図２）と異なる。その他の処理部および画像再生装置２００については、第１の実施形態と同様であるため、詳細な説明は省略する。

図１３は、本実施形態における視差マップ生成部１０２の処理と、該処理により生成される視差値拡大係数説明する概念図である。なお、本実施形態では、左右画像と視差マップサイズが同サイズの場合を説明する。本実施形態においても、視差マップ生成部１０２が、画像１ａおよび画像２ａに対して視差算出処理を行い、視差マップａを生成する。このとき、画像１ａと画像２ａ間の視差値が画素単位で視差マップａに格納されている。すなわち、視差マップａの各画素は、画像１ａの各画素に対応し、その画素値は画像１ａと画像２ａ間の視差の値である。この視差マップａを符号化した視差マップｂを、画像ファイル生成部１０５がファイルｆに格納する場合は、画像１ａおよび２ａの画像サイズ（縦と横の各画素数）と等倍の倍率の画像サイズで視差マップｂを格納する。この等倍で格納することを記憶するため、付属情報ｅとして図１４に示す視差値拡大係数（ＥｘｐａｎｓｉｏｎＣｏｅｆｆｉｃｉｅｎｔ）に１を格納する。視差値拡大係数は、視差マップの画素値（視差値）と、ファイルに記録される画像１ｃと画像２ｃ間の視差値とを、画像再生装置２００において一致させることができるように、保存する視差マップの画素値（視差値）を変換するための係数である。本実施形態（図１３）では、画像１ａおよび２ａの画像サイズと等倍のサイズで視差マップｂを保存するため、視差値拡大係数は「１」である。

視差値拡大係数の生成処理について説明する。本実施形態における視差マップ生成部１０２も、図８に示す第１の実施形態における視差マップ生成部１０２と同様に視差マップ生成制御部１２１と、視差値算出部１２２とを含んで構成される。視差マップ生成制御部１２１は、第１の実施形態で説明したように、視差マップ生成に必要な画像サイズやウィンドウサイズ、探索数等の設定パラメータｐを記憶している。さらに、視差マップ生成制御部１２１は、視差値拡大係数として「１」を記憶している。

視差値算出部１２２は、画像１ａおよび画像２ａ、設定パラメータｐから、第１の実施形態で説明した処理方法によって視差マップａを算出し、出力する。このとき、視差値算出部１２２は、算出した視差マップａにおける最大値と最小値を視差値算出情報ｃａに含めて視差マップ生成制御部１２１に送る。視差マップ生成制御部１２１は、この視差値算出情報ｃａを記憶する。

視差マップ生成制御部１２１は、視差値算出部１２２にて画像１ａおよび画像２ａの全ての画素について視差値を算出し終えたことを検出すると、記憶している視差値拡大係数（この場合「１」）、視差マップの最大値および最小値、視差マップの画像サイズ等の視差マップ生成に関する情報を生成条件情報ｃとして出力する。

画像ファイル生成部１０５によるファイルｆへの記録処理は、第１の実施形態と同様であるが、付属情報ｅの記録方法が異なる。本実施形態における視差マップ生成制御部１２１が生成した生成条件情報ｃは、画像ファイル生成部１０５により、付属情報ｅとしてファイルｆに格納される。画像ファイル生成部１０５は、この付属情報ｅの中で、視差マップｂの画像サイズ等、視差マップｂに関する情報であって、Ｅｘｉf規格に準拠する情報については、図９に示したファイルｆのＥｘｉｆ付属情報１３の領域に、Ｅｘｉｆ規格に準拠する形式で付属情報として記録する。しかし、画像ファイル生成部１０５は、図１４に示した視差値拡大係数、視差マップの最大値、最小値については、Ｅｘｉｆ規格に準拠していない情報であるので、図９の視差マップｂのＡＰＰ１（Ｅｘｉｆ付属情報１３）の領域内のＭａｋｅｒＮｏｔｅに記録する。

図１４に示す「視差値拡大係数；ＥｘｐａｎｓｉｏｎＣｏｅｆｆｉｃｉｅｎｔ」は、記録する視差マップｂの画素値を保存画像（画像１ｃおよび２ｃ）の１画素当たりの画角に対応する視差値（視差マップ）に変換する情報である。すなわち、視差マップｂのある画素の画素値が「１０」であれば、画像１ｃの当該画素と、当該画素に対応する画像２ｃ中の画素とは、画素値「１０」に視差値拡大係数「１」を乗じた「１０」画素の視差を、画像１ｃおよび画像２ｃの１画素当たりの画角で有することを示す。視差マップの最大値（ＭａｘＤｉｓｐａｒｉｔｙＶａｌｕｅ）は、記録する視差マップの最大視差値を示す情報である。視差マップの最小値（ＭｉｎＤｉｓｐａｒｉｔｙＶａｌｕｅ）は、記録する視差マップの最小視差値を示す情報である。また、図１４に示す各項目の該ＭａｋｅｒＮｏｔｅへの記録順は、どのような順番であっても良い。

以上の説明では、視差マップに対応する画像は画像１ｃとしたが、画像２ｃを基準の画像として、画像２ｃに対応した視差マップを生成および記録しても良い。さらに、画像１ｃおよび画像２ｃの両方を基準の画像として、各々視差マップを生成および記録しても良い。
以上説明した左右画像と視差マップサイズを同じ画像サイズで記録することにより、視差算出部より算出した視差マップをそのまま記録することができ、スケーリングといった追加の処理が不要であるため、記録時の処理量や回路規模の削減を行うことができる。さらに、記録した画像および視差マップを読み出し、再生する場合に、記録した視差マップをそのまま利用することができ、スケーリング処理や記録した視差マップの視差値を記録した画像に対応する視差値に変換する処理が不要であるため、再生時の処理量や回路規模の削減を行うことができ、高速に処理することができる。

＜第３の実施形態＞
以下、図面を参照して、本発明の第３の実施形態について説明する。本実施形態における画像記録装置１００は、第２の実施形態における画像記録装置１００とは、視差マップ生成部１０２に変えて視差マップ生成部１０２ｂを備える点のみが異なる。また、本実施形態における画像再生装置２００は、第１および第２の実施形態における画像再生装置２００とは、画像処理部２０２に変えて画像処理部２０２ｂを備える点のみが異なる。その他の処理部については、第２の実施形態と同様であるため、詳細な説明は省略する。

図１５は、本実施形態における視差マップ生成部１０２ｂの処理と、該処理により生成される視差値拡大係数を説明する概念図である。本実施形態では、左右画像より視差マップサイズが小さい場合を説明する。本実施形態における視差マップ生成部１０２ｂは、画像１ａおよび画像２ａの視差算出処理を行う前処理として、両画像のスケーリング処理を行い、画像サイズを縮小する。図１５では、このスケーリング処理として、画像サイズをｍ／ｎ倍に縮小している例を示している。そして、縮小した両画像から視差マップａを算出する。なお、ここで、画像サイズをｍ／ｎ倍に縮小とは、縦および横方向の画素数を、ｍ／ｎ倍にすることを表す。

このとき、視差マップａの画素値は、画像１ａと画像２ａとをｍ／ｎ倍に縮小した画像間の視差値である。すなわち、視差マップａの各画素における画素値は、縮小した画像１ａの各画素に対応し、その値は縮小した画像１ａと画像２ａ間の視差値である。さらに、出力される視差マップａの画像サイズ（画素数）は縮小した画像１ａまたは画像２ａの画像サイズと同じであり、縮小前の画像１ａまたは画像２ａの画像サイズのｍ／ｎ倍の画像サイズである。また、算出された視差マップａを縮小前の画像１ａの画像サイズに戻した（拡大した）場合に、拡大した視差マップａの各画素は、縮小前の画像１ａの各画素に対応し、その画素値（視差値）は縮小前の画像１ａと画像２ａ間の各画素の視差値にｍ／ｎを乗じたと値と一致する。本実施形態では、画像ファイル生成部１０５がファイルｆに格納する視差マップａを表すデータ（視差マップｃ）は、縮小前の画像１ａまたは２ａの画像サイズ（縦と横の各画素数）から縦横それぞれにｍ／ｎ倍した縮小した画像サイズの視差マップを表すデータである。本実施形態における画像ファイル生成部１０５は、視差マップｃの視差値が本縮小率で縮小されて格納したことを記録するため、付属情報ｅとして前述の図１４で示す視差値拡大係数（ＥｘｐａｎｓｉｏｎＣｏｅｆｆｉｃｉｅｎｔ）に、縮小率ｍ／ｎの逆数であるｎ／ｍを格納する。

図１６は、視差マップ生成部１０２ｂの構成を示す概略ブロック図である。視差マップ生成部１０２ｂは、視差マップ生成制御部１２１ｂ、視差値算出部１２２ｂ、スケーリング部１２３ｂ、１２４ｂを含んで構成される。視差マップ生成制御部１２１ｂは、視差マップ生成に必要な画像サイズやウィンドウサイズ、探索数等の設定パラメータｐと、画像１ａと２ａを縮小するための縮小率ｄｐ（前述のｍ／ｎに相当）を記憶しており、視差値算出部１２２ｂの制御を行う。また、第１の実施形態で説明の生成条件情報ｃを記憶している。

スケーリング部１２３ｂ、１２４ｂは、それぞれ画像１ａと画像２ａに対して、視差マップ生成制御部１２１ｂから指定された縮小率ｄｐで縮小処理を行い、縮小画像１’ａと縮小画像２’ａを出力する。ここでの縮小方法は、一般的に画像処理で用いられるニアレストネイバー法や、バイリニア法、バイキュービック法など、どのような方法であっても良い。

視差値算出部１２２ｂは、スケーリング部１２３ｂ、１２４ｂによって縮小された縮小画像１’ａおよび縮小画像２’ａと、設定パラメータｐとから、第１の実施形態で説明した処理方法によって視差マップａを算出し、画像１ａまたは画像２ａの画像サイズより、縮小係数だけ縮小された視差マップａを出力する。このとき、第１の実施形態における視差値算出情報ｃａに加えて、算出した視差マップの最大値と最小値を視差値算出情報ｃａとして視差マップ生成制御部１２１ｂに出力する。視差マップ生成制御部１２１ｂは、この視差値算出情報ｃａを記憶する。また、視差マップ生成制御部１２１ｂは、縮小率ｄｐの逆数であるｎ／ｍを拡大係数として記憶する。視差マップ生成制御部１２１ｂは、視差値算出部１２２ｂにて縮小画像１’ａの全ての画素について対応する視差値を算出し終えたことを検出すると、記憶している拡大係数（この場合縮小係数の逆数であるｎ／ｍ）、視差マップの最大値および最小値、視差マップの画像サイズ等の視差マップ生成に関する情報を生成条件情報ｃとして出力する。

以上の説明では、視差マップａは、縮小画像１’ａを基準として算出した、すなわち画像１ａに対応した視差マップである。しかし、縮小画像２’ａを基準として視差マップを算出し、画像２ａに対応した視差マップを生成および記録するようにしても良い。さらに、縮小画像１’ａおよび縮小画像２’ａの両方を基準として各々視差マップを生成および記録するようにしても良い。また、画像１ａおよび画像２ａの縮小は、縦横同じ縮小率としたが、縦横個別の縮小率で縮小しても良い。その場合の視差値拡大係数は、横の縮小率の逆数である。

以上のように、左右画像の画像サイズより視差マップサイズを小さく記録することにより、左右画像サイズと同サイズで視差マップを記録する場合と比べ、保存するデータサイズを小さくすることができ、その結果生成するファイルｆのサイズを小さくすることができる。そのため、ファイルｆを記録や伝送する際に、揮発性メモリ（ＳＤＲＡＭなど）のアクセス速度より遅い外部記憶装置（ＨＤＤや光ディスク、ＦＬＡＳＨメモリなど）での記録速度や、ネットワーク上でのデータ転送速度を高速にできる（処理時間を短縮できる）という効果があり、ユーザーの使い勝手が大幅に向上する。また、一般的に視差マップ算出処理は処理量が非常に多く、処理時間がかかることや回路規模が大きくなるが、本実施形態では、画像１ａおよび画像２ａを縮小してから視差マップ算出処理を行うため、視差マップ算出処理の処理量や回路規模を大幅に削減できる。

図１７は、本実施形態における画像処理部２０２ｂの構成を示す概略ブロック図である。画像処理部２０２ｂは、制御部２２１ｂ、復号化部２２２ｂ、シフト画像補正部２２３ｂ、スケーリング部２２４ｂ、視差値拡大部２２５ｂ、画像変換部２２６ｂを含んで構成される。復号化部２２１ｂは、ファイル取得部２０１がファイルｆより抽出した画像１ｃおよび縮小されている視差マップｂを復号（伸長）し、復号画像１ｄおよび視差マップＩを生成する。スケーリング部２２４ｂは、復号化部２２１ｂが復号した視差マップＩを、画像１ｃの画像サイズと同じサイズに拡大し、視差マップＪを生成する。視差値拡大部２２５ｂは、視差マップＩの視差値を画像１ａと画像２ａ間の視差値に戻し、視差マップＫを生成する。シフト画像補正部２２３ｂは、撮影時の画像から画素配置がシフトされている画像１ｄを、撮影時の画素配置に戻し、補正画像１ｅを生成する。画像変換部２２６ｂは、補正画像１ｅと視差マップＫとから、画像１ａとは別の視点の画像を生成する。制御部２２１ｂは、これら各処理部の制御を行う。

次に、復号化部２２２ｂによる画像１ｃと視差マップｂの復号化について説明する。制御部２２１ｂは、付属情報ｅに基づき、画像１ｃおよび視差マップｂの画像フォーマットを解釈して、それぞれの画像フォーマット情報（例えば、ＪＰＥＧ、ＢＭＰ、ＰＮＧなど）や画像サイズ等の復号化パラメータｄｃを記憶し、復号化部２２２ｂに送る。復号化部２２ｂは、画像１ｃおよび視差マップｂを復号化パラメータｄｃを用いて復号化し、それぞれ復号画像１ｄ、視差マップＩとして出力する。

次に、スケーリング部２２４ｂによる視差マップＩの拡大処理について説明する。制御部２２１ｂは、記憶している付属情報eのうち、拡大係数ｅｐをスケーリング部２２４ｂに送る。スケーリング部２２４ｂは、視差マップＩの縦横の画素数がそれぞれ拡大係数ｅｐの値倍（前述の例ではｎ／ｍ倍）の画像サイズとなるように視差マップＩを拡大し、視差マップＪを出力する。ここで求めた視差マップＪの画像サイズは、画像１ｃの画像サイズと一致する。すなわち、ここでは、拡大係数ｅｐは、画像１ｃの１画素当たりの画角と、視差マップｂにおける１画素当たりの画角の比を示す情報となっている。ここで、１画素当たりの画角は、例えば、当該画像の水平方向の画角を、水平方向の画素数で割った値である。

また、図１７では、制御部２２１ｂからスケーリング部２２４ｂに渡している拡大係数ｅｐは、ファイルｆから読み出した縮小された視差マップｂのサイズを、画像１ｃのサイズとするための拡大率を制御部２２１ｂが計算し、その拡大率をスケーリング部２２４ｂに送っても良い。ここで計算した拡大率は、拡大率ｅｐと一致する。スケーリング部２２４ｂで用いる拡大方法は、一般的に画像処理で用いられるニアレストネイバー法や、バイリニア法、バイキュービック法など、どのような方法であっても良い。

次に、視差値拡大部２２５ｂの処理について説明する。スケーリング部２２４ｂより出力された視差マップＪの各画素の画素値（視差値）を制御部２２１ｂから送られた拡大係数ｅｐの倍率によって変換（拡大）し、視差マップＬを生成する。変換後の視差マップＬの各画素の画素値（視差値）は、前述の画像撮影時の画像１ａおよび画像２ａ間の視差値と一致し、元の視差値に戻される。すなわち、ここでは、拡大係数ｅｐは、画像１ｃの１画素当たりの画角と、視差マップｂの画素値との関係を示す情報となっている。これまでの説明では、復号化部２２２ｂから出力された視差マップＩに対し、スケーリング部２２４ｂで拡大後、視差値拡大部２２５ｂで視差値を変換する順で説明したが、スケーリング部２２４ｂと視差値拡大部２２５ｂの処理順は反対でも良く、どちらを先に処理しても良い。

次に、シフト画像補正部２２３ｂの処理について説明する。シフト画像補正部２２３ｂは、復号化部２２２ｂから出力された復号画像１ｄを、制御部２２１ｂが付属情報ｅから読み出した保存時のシフト量ｓに従って横方向にシフトして、補正画像１ｅを生成する。なお、本実施形態では、第１の実施形態と同様に、画像１ｃについては、撮影時の画像１ａからシフトされていないため、シフト量ｓは「０」である。なお、画像２ｃではなく、画像１ｃが撮影時からシフトされてファイルｆに記録されているときは、シフト量ｓは「０」ではなく、撮影時からのシフト量となるので、当該処理により、視差マップＫに対応している撮影時の画像１ａと同じ画像とすることができる。すなわち、ここでは、シフト量ｓは、画像１ｃにおける画素から、該画素に対応する視差マップｂにおける画素までのシフト量を示す情報となっている。

次に、画像変換部２２６ｂについて説明する。画像変換部２２６ｂは、シフト画像補正部２２３ｂから出力された補正画像１ｅと、視差値拡大部２２５ｂから出力された視差マップＬとから、制御部２２１ｂが記憶している制御パラメータｃｐに従って、補正画像１ｅとは別の視点画像を生成し、これを出力画像として画像表示部２０４に出力する。別の視点画像の生成は、撮影画像（画像１ａ）を基準画像とし、これに対し、ユーザーが指定した視点までの移動方向および移動量を制御部２２１ｂが記憶する。制御部２２１ｂは、移動方向および移動量等の制御パラメータｃｐを画像変換部２２６ｂに送る。画像変換部２２６ｂは、補正画像１ｅの各画素に対し、対応する視差マップＫの各画素の視差値と視点の移動方向および視点の移動量に応じて、移動量を決定する。画像変換部２２６ｂは、この決定した移動量に応じて、補正画像１ｅの各画素を移動して、視点移動後の画像を生成する。

補正画像の各画素の移動量の決定は、例えば補正画像上の各画素に対し、対応する画素の視差マップＬの視差値と移動量を乗算して移動量を算出し、算出した移動量に従って補正画像上の画素を移動方向の向きに移動することで移動後の視点の画像を生成する方法が挙げられる。以上の処理により、画像１ｃと視差マップｂ、および付属情報ｅを用いて、画像１ｃとは異なる視点の画像を生成することができる。

［第３の実施形態の変形例］
第３の実施形態の変形例として、画像再生装置２００が、画像処理部２０２ｂに変えて、画像処理部２０２ｂ２を備える例を説明する。第３の実施形態の画像処理部２０２ｂでは、シフト画像補正部２２３ｂを有し、シフト量ｓが「０」でないときは、復号画像１ｄを、シフト量ｓに応じてシフトし、撮影時の画像と同じとなるように戻した補正画像１ｅを生成する。そして、画像変換部２２６は、視差マップｂにサイズの拡大と視差値の拡大を施した視差マップＫを用いて、補正画像１ｅを変換し、画像１ａとは別の視点画像を生成する。しかし、本変形例では、復号画像１ｄに対してシフトを行わず、視差マップＫのシフトを行って、視差マップＬを生成し、この視差マップＬを用いて、復号画像１ｄを変換し、画像１ａとは別の視点画像を生成する。

図１８は、本実施形態における画像処理部２０２ｂ２の構成を示す概略ブロック図である。画像処理部２０２ｂ２は、制御部２２１ｂ、復号化部２２２ｂ、スケーリング部２２４ｂ、視差値拡大部２２５ｂ、画像変換部２２６ｂ、空間座標・視差値変換部２２７ｂを含んで構成される。このように、画像処理部２０２ｂ２は、図１７の画像処理部２０２ｂとは、シフト画像補正部２２３ｂがなくなり、空間座標・視差値変換部２２７ｂが追加された点が異なる。これに伴い、画像変換部２２６ｂは、保存時シフト量ｓを空間座標・視差値変換部２２７ｂに出力する。空間座標・視差値変換部２２７ｂは、視差値拡大部２２５ｂが生成した視差マップＫを、保存時シフト量ｓに従いシフトして、視差マップＬを生成する。また、復号化部２２２ｂは、復号画像１ｄを画像変換部２２６ｂに出力する。そして、画像変換部２２６ｂは、復号画像１ｄと視差マップＬとから、画像１ａとは別の視点画像を生成する。

次に、空間座標・視差値変換部２２７ｂについて説明する。空間座標・視差値変換部２２７ｂは、視差値拡大部２２５ｂより撮影時の画像１ａと画像２ａ間の視差値に戻した視差マップＫに対し、画像１ｃと画像２ａに対応する視差マップに変換するために、視差マップＫのシフト処理と視差値変換処理を行う。空間座標・視差値変換部２２７ｂは、制御部２２１ｂが出力した画像１ｃの保存時シフト量ｓにしたがって、画像１ｃの各画素に対応する視差マップとするために、視差マップＫのシフト処理（空間座標変換）を行う。シフト処理を行うことで、シフト後の視差マップは、画像１ｃの各画素に対応した視差マップとなる。

一方、このシフト後の視差マップの視差値は、撮影時の画像１ａと２ａ間の視差値となっている。そこで、空間座標・視差値変換部２２７ｂは、画像１ｃと画像２ａ間の視差値とするために、保存時のシフト量ｓを用いて、シフト後の視差マップの視差値を変換する（視差値変換）。変換方法は、撮影時の画像１ａに対し、画像１ｃのシフト方向が右方向にシフトしている場合は、シフト後の視差マップの各画素の画素値（視差値）に保存時のシフト量ｓの分だけ加算する。反対に、画像１ｃのシフト方向が左方向にシフトしている場合は、シフト後の視差アップの各画素の画素値（視差値）から保存時のシフト量ｓの分だけ減算する。以上の処理により、空間座標・視差値変換部２２７は、視差マップＬを生成する。

以上の説明では、視差値拡大部２２５の処理後の視差マップＫに対し、空間座標・視差値変換部２２７ｂの処理を行う説明をしたが、空間座標・視差値変換部２２７ｂの処理は、復号化部２２２ｂの処理後の視差マップＩに対して行い、スケーリング部２２４ｂに入力しても良い。この場合は、空間座標・視差値変換部２２７ｂに入力する保存時シフト量ｓは、制御部２２１ｂが記憶している保存時シフト量に拡大係数ｅｐの逆数を乗じたとする。

＜第４の実施形態＞
以下、図面を参照して、本発明の第４の実施形態について説明する。本実施形態における画像記録装置１００は、第２の実施形態における画像記録装置１００とは、視差マップ生成部１０２に変えて視差マップ生成部１０２ｃを備える点のみが異なる。また、本実施形態における画像再生装置２００は、第１および第２の実施形態における画像再生装置２００とは、画像処理部２０２に変えて画像処理部２０２ｃを備える点のみが異なる。その他の処理部については、第２の実施形態と同様であるため、詳細な説明は省略する。

図１９は、本実施形態における視差マップ生成部１０２ｃの処理と、該処理により生成される視差値拡大係数を説明する概念図である。視差マップ生成部１０２ｃは、画像１ａおよび画像２ａから視差算出処理を行って視差マップを算出し、この視差マップの算出の後処理としてスケーリング処理を行って視差マップサイズを縮小する。図１９は、視差マップサイズをｍ／ｎ倍に縮小している例である。

このとき、画像１ａと画像２ａ間の各画素の視差値が画素単位で縮小前の視差マップに格納されている。すなわち、縮小前の視差マップの各画素は画像１ａの各画素に対応し、その画素値は画像１ａと画像２ａ間の視差の値である。そのため、画像１ａまたは画像２ａの画像サイズと縮小前の視差マップサイズは同じである。また、出力される縮小後の視差マップサイズは画像１ａまたは画像２ａの画像サイズをｍ／ｎ倍した画像サイズと同じである。また、縮小後の視差マップの各画素は、縮小後の視差マップを縮小前の画像１ａの画像サイズに戻した（拡大した）場合の画像１ａの各画素に対応し、その画素値（視差値）は画像１ａと画像２ａ間の各画素の視差値と一致する。

ここで算出した視差マップａをファイルｆに格納するので、画像１ａまたは２ａの画像サイズ（縦と横の各画素数）に縦横それぞれにｍ／ｎ倍した画像サイズに縮小した視差マップが格納される。視差マップの視差値が本縮小率で縮小されて格納したことを記録するため、付属情報ｅとして前述の図１４で示す視差値拡大係数（ＥｘｐａｎｓｉｏｎＣｏｅｆｆｉｃｉｅｎｔ）に「１」を格納する。本実施形態の場合は、縮小前の視差マップの各画素が示す視差値は、画像１ａと２ａ間の視差値と一致しており、その視差マップの画像サイズを縮小するため、縮小した視差マップの視差値は画像１ａと２ａ間の視差と変わらないため、視差値拡大係数に「１」を格納する。

図２０は、視差マップ生成部１０２ｃの構成を示す概略ブロック図である。視差マップ生成部１０２ｃは、視差マップ生成制御部１２１ｃ、視差値算出部１２２、スケーリング部１２３ｃを含んで構成される。視差マップ生成制御部１２１ｃは、視差マップ生成に必要な画像サイズやウィンドウサイズ、探索数等の設定パラメータｐと、視差マップを縮小するための縮小率ｄｐ（前述のｍ／ｎに相当）を記憶しており、視差値算出部１２２およびスケーリング部１２３ｃの制御を行ったり、生成条件情報ｃを生成したりする。

視差値算出部１２２は、画像１ａおよび画像２ａと、視差値算出パラメータから、第１の実施形態で説明した処理方法によって視差マップを算出し、スケーリング部１２３ｃに出力する。このとき、算出した視差マップの最大値と最小値を視差値算出情報ｃａとして視差マップ生成制御部１２１ｃに送る。視差マップ生成制御部１２１ｃは、この視差値算出情報を記憶する。

スケーリング部１２３ｃは、視差値算出部１２２から出力された視差マップを視差マップ生成制御部１２１ｃから指定された縮小率ｄｐで縮小処理を行い、視差マップａを生成する。ここでの縮小方法は、一般的に画像処理で用いられるニアレストネイバー法や、バイリニア法、バイキュービック法など、どのような方法であっても良い。

また、視差マップ生成制御部１０２ｃは、「１」を視差値拡大係数として記憶する。視差マップ生成制御部１０２ｃは、スケーリング部１２３ｃにて視差マップの全ての画素について縮小処理が算出し終えたことを検出すると、記憶している視差値拡大係数（この場合１）、視差マップの最大値および最小値、視差マップの画像サイズ等の視差マップ生成に関する情報を生成条件情報ｃとして出力する。

以上の説明では、縮小した視差マップに対応する画像は画像１ａとしたが、画像２ａを基準の画像として、画像２ａに対応した視差マップを生成および記録しても良い。また、視差マップの縮小は、縦横同じ縮小率としたが、縦横個別の縮小率で縮小しても良い。その場合でも視差値拡大係数は、常に「１」を格納する。
以上説明した左右画像の画像サイズより視差マップサイズを小さく記録することにより、左右画像サイズと同サイズで視差マップを記録する場合と比べ、保存するデータサイズを小さくすることができ、その結果生成するファイルサイズを小さくすることができる。そのため、揮発性メモリ（ＳＤＲＡＭなど）のアクセス速度より遅い外部記憶装置（ＨＤＤや光ディスク、ＦＬＡＳＨメモリなど）での記録速度や、ネットワーク上でのデータ転送速度を高速にできる（処理時間を短縮できる）という効果があり、ユーザーの使い勝手が大幅に向上する。

さらに、記録した画像および視差マップを読み出し、再生する場合に、記録した視差マップを拡大処理するだけで良く、視差値はそのまま利用することができるため、記録した視差マップの視差値を記録した画像に対応する視差値に変換する処理が不要である。そのため、再生時の処理量や回路規模の削減を行うことができ、高速に処理することができる。

図２１は、画像処理部２０２ｃの構成を示す概略ブロック図である。画像処理部２０２ｃは、図１７の画像処理部２０２ｂとは、視差値拡大部２２５ｂがないことと、制御部２２１ｂに変えて制御部２２１ｃを備える点のみが異なり、それ以外は画像処理部２０２ｂと同様であるため、詳細な説明は省略する。
画像処理部２０２ｃの制御部２２１ｃは、縮小された視差マップｂの画像サイズと画像１ｃの画像サイズから縮小された視差マップｂの拡大率ｅｐを算出し、その拡大率をスケーリング部２２４ｂへ送る。スケーリング部２２４ｂから出力された視差マップＬの各画素の画素値（視差値）は、撮影時の画像１ａと画像２ａ間の視差と同じである（そのため、視差値拡大係数が１となっている）ため、画像処理部２０２ｂの視差値拡大部２２５ｂの処理が不要となる。

［第４の実施形態の変形例］
第４の実施形態の変形例として、画像再生装置２００が、画像処理部２０２ｃに変えて、画像処理部２０２ｃ２を備える例を説明する。 図２２は、本変形例における画像処理部２０２ｃ２の構成を示す概略ブロック図である。画像処理部２０２ｃ２は、図１８の画像処理部２０２ｂ２とは、視差値拡大部２２５ｂがないことと、制御部２２１ｂに変えて制御部２２１ｃを備えることのみが異なり、その他は同様であるので、詳細な説明は省略する。
画像処理部２０２ｃ２の制御部２２１ｃは、縮小された視差マップｂの画像サイズと画像１ｃの画像サイズから縮小された視差マップｂの拡大率を算出し、その拡大率をスケーリング部２２４ｂへ送る。スケーリング部２２４ｂから出力された視差マップＪの各画素の画素値（視差値）は、撮影時の画像１ａと画像２ａ間の視差と同じである（そのため、視差値拡大係数が１となっている）ため、画像処理部２０２ｂ２の視差値拡大部２２５ｂの処理が不要となる。

以上、画像１ａを基準画像とした視点移動画像の生成方法を説明したが、これを利用して立体画像を生成することが可能である。例えば、画像１ｃを左画像とし、画像１ｃを右視点移動させた画像を前記のいずれかの方法により生成することで画像１ｃを左画像、視点移動した画像を右画像として立体視が可能となる。さらに、右視点画像生成時の視点移動量を変化させることで、立体視時の立体強度を変更し、視聴者が見やすい立体映像を作成することが可能となる。

さらに、前記の立体画像生成方法では、画像１ｃのみを用いたが、画像１ｃおよび画像２ｃの両方を用いて立体画像を生成しても良い。例えば、画像２ｃを右画像とし、画像１ｃを前記のいずれかの方法により、視点移動させた画像を生成して、これを左画像とすることで、立体視時の立体強度を変更し、視聴者が見やすい立体映像を作成することが可能となる。これは、画像１ｃのみを用いた場合と比較し、画像１ｃの視点移動量が少ないことから、オクルージョン領域の発生を抑えることが可能であるため、生成した立体映像を高画質にすることができる。

また、第３、第４の実施形態のように、縮小した視差マップを記録しておけば、小さいディスプレイなどの再生時に画像１ｃおよび画像２ｃのみスケーリング（例えば縮小処理）すればよく、視差マップのスケーリング処理は不要とすることができる。そのため、視差マップの縮小率は、縮小後の視差マップのサイズと、表示するディスプレイの解像度（縦横の画素数）が一致する縮小率とすることで、再生時に視差マップのスケーリング処理を行わずに使用することができる。
第４の実施形態の構成で行う場合は、視差値拡大処理を行えば良く、画像１ｃまたは画像２ｃの縮小率で視差マップの視差値を変換（視差値を縮小率で縮小する）すれば良い。さらに、第３の実施形態の構成とすることで、スケーリング処理だけでなく、視差値拡大部による視差マップの視差値を変換する処理も不要となり、記録した視差マップをそのまま使用することができる。

また、画像１ｃまたは画像ｃ２の画像サイズは、表示するディスプレイサイズに合わせて記録しても良いし、カメラで撮影できる最大解像度でも良いし、自由なサイズであっても良い。さらに、第１の実施形態の保存時シフト量の補正を行った画像を、第２以降の実施形態の画像１ｃまたは画像２ｃとして処理しても良い。
以上の実施形態の説明におけるカメラの構成は左右配置であったが、上下に配置した構成であってもよい。さらに２つのカメラだけでなく２を超える数のカメラであっても良い。

また、上述の各実施形態では、ファイルｆは図９に示す構成であるとして説明したが、図２３に示すような構成であってもよい。この場合、視差マップｂも、マルチピクチャフォーマットの規格であるＭＰＦ規格に準じて、３番目の画像データとして記録される。そのため、ＭＰフォーマット付属情報２１のＭＰ Ｉｎｄｅｘ ＩＦＤには、視差マップｂに関する管理情報も記録される。また、図２４に示すような構成であってもよい。この場合、視差マップｂは、ＳＯＩ、Ｅｘｉｆ付属情報、ＥＯＩとともに、画像１ｃの複数のＡＰＰｎ（ｎは自然数）に、分割して格納される。

また、図１における画像記録装置１００、画像再生装置２００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各装置の機能を実現してもよいし、専用のハードウェアにて実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１０…画像伝送システム
１００…画像記録装置
１０１…画像処理部
１０２、１０２ｂ、１０２ｃ…視差マップ生成部
１０３…符号化部
１０４…付属情報生成部
１０５…画像ファイル生成部
１０６…視差画像取得部
１２１、１２１ｂ…視差マップ生成制御部
１２２、１２２ｂ…視差値算出部
１２３ｂ、１２４ｂ、１２３ｃ…スケーリング部
２００…画像再生装置
２０１…ファイル取得部
２０２、２０２ｂ、２０２ｂ２、２０２ｃ、２０２ｃ２…画像処理部
２０４…画像出力部
２１１…ファイル入力部
２１２…付属情報抽出部
２１３…第１画像抽出部
２１４…第２画像抽出部
２１５…視差マップ抽出部
２２１ｂ、２２１ｃ…制御部
２２２ｂ…復号化部
２２３ｂ…シフト画像補正部
２２４ｂ…スケーリング部
２２５ｂ…視差値拡大部
２２６ｂ…画像変換部
２２７ｂ…空間座標・視差値変換部
３００…ネットワーク

Claims (22)

1. 第１の画像と、前記第１の画像と視差を有する第２の画像とを取得する画像取得部と、
   前記第１の画像を基準とした、前記第２の画像と間の視差を示す視差マップを取得する視差マップ取得部と、
   前記第１の画像と前記視差マップとの関係を示す付属情報を生成する付属情報生成部と、
   前記付属情報と前記第１の画像を表す第１のデータと前記第２の画像を表す第２のデータと前記視差マップを表す視差データとを含む、一つのファイルを生成するファイル生成部と
   を具備することを特徴とする画像ファイル生成装置。
2. 前記付属情報は、前記第１のデータにおける画素の配置と、前記視差データとの関係を示す情報であることを特徴とする請求項１に記載の画像ファイル生成装置。
3. 前記付属情報は、前記第１のデータにおける画素から、該画素に対応する前記視差データにおける画素までのシフト量を示す情報であることを特徴とする請求項２に記載の画像ファイル生成装置。
4. 前記付属情報は、前記第１のデータにおける１画素当たりの画角と、前記視差データにおける１画素当たりの画角との関係を示す情報であることを特徴とする請求項２に記載の画像ファイル生成装置。
5. 前記付属情報は、前記第１のデータにおける１画素当たりの画角と、前記視差データの画素値との関係を示す情報であることを特徴とする請求項２に記載の画像ファイル生成装置。
6. 前記付属情報は、前記視差マップが前記第１の画像を基準としていることを示す情報を含むこと
   を特徴とする請求項１に記載の画像ファイル生成装置。
7. 前記視差マップが前記第１の画像を基準としていることを示す情報は、前記第１のデータに関連付けられて前記ファイルに格納される情報であって、前記視差データの前記ファイル中の位置を示す情報であることを特徴とする請求項６に記載の画像ファイル生成装置。
8. 前記付属情報は、前記視差データが前記ファイルに含まれているか否かを示す情報を含むこと
   を特徴とする請求項１に記載の画像ファイル生成装置。
9. 前記視差データの前記ファイルにおける格納位置は、前記第１のデータおよび前記第２のデータよりも、後であること
   を特徴とする請求項１に記載の画像ファイル生成装置。
10. 第１の画像を表す第１のデータと、前記第１の画像と視差を有する第２の画像を表す第２のデータと、前記第１の画像を基準とした前記第２の画像と間の視差を示す視差マップを表す視差データと、前記第１の画像と前記視差マップとの関係を示す付属情報とを含むファイルを取得するファイル取得部と、
    前記取得したファイルから、少なくとも前記第１のデータと前記視差データと前記付属情報とを抽出するデータ抽出部と
    を具備することを特徴とする画像ファイル読込装置。
11. 前記付属情報は、前記第１のデータにおける画素の配置と、前記視差データとの関係を示す情報であることを特徴とする請求項１０に記載の画像ファイル読込装置。
12. 前記付属情報は、前記第１のデータにおける画素から、該画素に対応する前記視差データにおける画素までのシフト量を示す情報であることを特徴とする請求項１１に記載の画像ファイル読込装置。
13. 前記付属情報は、前記第１のデータにおける１画素当たりの画角と、前記視差データにおける１画素当たりの画角との関係を示す情報であることを特徴とする請求項１１に記載の画像ファイル読込装置。
14. 前記付属情報は、前記第１のデータにおける１画素当たりの画角と、前記視差データの画素値との関係を示す情報であることを特徴とする請求項１１に記載の画像ファイル読込装置。
15. 前記付属情報は、前記視差マップが前記第１の画像を基準としていることを示す情報を含むこと
    を特徴とする請求項１０に記載の画像ファイル読込装置。
16. 前記視差マップが前記第１の画像を基準としていることを示す情報は、前記第１のデータに関連付けられて前記ファイルに格納される情報であって、前記視差データの前記ファイル中の位置を示す情報であることを特徴とする請求項１５に記載の画像ファイル読込装置。
17. 前記付属情報は、前記視差データが前記ファイルに含まれているか否かを示す情報を含むこと
    を特徴とする請求項１０に記載の画像ファイル読込装置。
18. 前記視差データの前記ファイルにおける格納位置は、前記第１のデータおよび前記第２のデータよりも、後であること
    を特徴とする請求項１０に記載の画像ファイル読込装置。
19. 第１の画像と、前記第１の画像と視差を有する第２の画像とを取得する画像取得過程と、
    前記第１の画像を基準とした、前記第２の画像と間の視差を示す視差マップを取得する視差マップ取得過程と、
    前記第１の画像と前記視差マップとの関係を示す付属情報を生成する付属情報生成過程と、
    前記付属情報と前記第１の画像を表す第１のデータと前記第２の画像を表す第２のデータと前記視差マップを表す視差データとを含む、一つのファイルを生成するファイル生成過程と
    を有することを特徴とする画像ファイル生成方法。
20. 第１の画像を表す第１のデータと、前記第１の画像と視差を有する第２の画像を表す第２のデータと、前記第１の画像を基準とした前記第２の画像と間の視差を示す視差マップを表す視差データと、前記第１の画像と前記視差マップとの関係を示す付属情報とを含むファイルを取得するファイル取得過程と、
    前記取得したファイルから、少なくとも前記第１のデータと前記視差データと前記付属情報とを抽出するデータ抽出過程と
    を具備することを特徴とする画像ファイル読込方法。
21. コンピュータを、
    第１の画像と、前記第１の画像と視差を有する第２の画像とを取得する画像取得部、
    前記第１の画像を基準とした、前記第２の画像と間の視差を示す視差マップを取得する視差マップ取得部、
    前記第１の画像と前記視差マップとの関係を示す付属情報を生成する付属情報生成部、
    前記付属情報と前記第１の画像を表す第１のデータと前記第２の画像を表す第２のデータと前記視差マップを表す視差データとを含む、一つのファイルを生成するファイル生成部
    として機能させるためのプログラム。
22. コンピュータを、
    第１の画像を表す第１のデータと、前記第１の画像と視差を有する第２の画像を表す第２のデータと、前記第１の画像を基準とした前記第２の画像と間の視差を示す視差マップを表す視差データと、前記第１の画像と前記視差マップとの関係を示す付属情報とを含むファイルを取得するファイル取得部、
    前記取得したファイルから、少なくとも前記第１のデータと前記視差データと前記付属情報とを抽出するデータ抽出部
    として機能させるためのプログラム。