JP2005130313A - 立体視画像処理装置 - Google Patents

Abstract

【課題】 光学アダプタに関するアダプタ情報を画像に含ませることが可能な立体画像処理装置を提供する。
【解決手段】 少なくとも相互に視差を有する複数の視点画像を一の結合画像として管理する立体視画像処理装置が提供される。上記立体視画像処理装置により，上記結合画像のタグ情報は，複数の視点画像が撮影された撮像装置の光学アダプタに関するアダプタ情報を含むことを特徴としている。
【選択図】 図９

Description

本発明は立体視画像を生成することが可能な立体視画像処理装置に関する。

従来から，左右の眼の視差を利用した２枚の静止画像等を撮影し，それらを左右それぞれの眼で観察することができるように表示することにより，立体的な画像を得られる立体視画像処理装置の存在が知られている。

上記２枚の画像は，左眼からの視点による左視点画像（Ｌ画像）と，右眼からの視点による右視点画像（Ｒ画像）とから構成される。また，Ｌ画像およびＲ画像は，撮像装置に装着される光学アダプタの性能に応じて，大きさ，画質などが大きく異なる。

したがって，撮像装置は，ステレオアダプタなど，光学アダプタに関する情報を検出して，光学アダプタの種類に応じて，適正な各視点画像を得られるように撮像する（例えば，特許文献１参照）。なお，本願発明に関連する技術文献情報には，次のものがある。

特開２００２−２１４５１５号公報

しかしながら，撮像された視点画像などの画像には撮影時の光学アダプタに関する情報が含まれていないため，立体画像処理装置により，各視点画像から立体画像に変換されても，立体感の得られる適当な立体画像に変換することは難しかった。

本発明は，上記問題点に鑑みてなされたものであり，本発明の目的は，光学アダプタに関するアダプタ情報を画像に含ませることが可能な，新規かつ改良された立体画像処理装置を提供することである。

上記課題を解決するため，本発明の第１の観点によれば，少なくとも相互に視差を有する複数の視点画像を一の結合画像として管理する立体視画像処理装置が提供される。上記立体視画像処理装置により，上記結合画像のタグ情報は，複数の視点画像が撮影された撮像装置の光学アダプタに関するアダプタ情報を含むことを特徴としている。

本発明によれば，立体視画像処理装置は，複数の視点画像とからなる結合画像に基づき，立体視画像を生成する。立体視画像処理装置は，上記立体視画像を生成する際，上記結合画像のタグ情報に含まれるアダプタ情報を取得する。かかる構成によれば，タグ情報に含まれる光学アダプタに関するアダプタ情報を参照することで，光学アダプタの特性を活かした立体視画像を生成できる。立体視画像は，立体的に表示可能な画像の総称である。

立体視画像処理装置は，アダプタ情報に基づいて，複数の視点画像の有効領域を決定するように構成してもよい。かかる構成により，立体感を得られず，立体視画像には適さない上記結合画像の不要な領域を除き，立体視画像に適した有効領域を設定することで，視認性の高い立体視画像を生成することができる。

立体視画像処理装置は，アダプタ情報に基づいて，複数の視点画像の輝度を決定するように構成してもよい。

立体視画像処理装置は，アダプタ情報に基づいて，複数の視点画像の解像度を決定するように構成してもよい。かかる構成により，視認するのに適当な立体視画像を生成することができる。

立体視画像処理装置は，アダプタ情報に基づいて，上記複数の視点画像の色ズレまたは色の滲みなどにより生じる色収差を補正するように構成してもよい。

光学アダプタは，少なくとも２枚ミラーアダプタ，４枚ミラーアダプタ，山形プリズムアダプタ，アナモルフィックレンズアダプタのうちいずれか一つであるように構成してもよい。かかる構成により，多種多様な光学アダプタに対して，視認性の高い立体視画像を生成することができる。

色収差の補正は，色ズレまたは色の滲みが生じている領域に対して，補正色で塗りつぶすように構成することができる。かかる構成により，簡易に色収差を補正し，視認性の高い立体視画像を生成することができる。

補正色は，少なくとも黒色もしくは白色のうちいずれか一方または双方からなるように構成してもよい。かかる構成により，色収差を補正した上で，視認性の高い立体視画像を生成することができる。なお，黒色と白色との混合比率は任意である
上記複数の視点画像は，右視点画像と左視点画像とであるように構成してもよい。係る構成によれば，立体視画像処理装置は，右視点画像と左視点画像とからなる結合画像に基づき，立体視画像を生成する。立体視画像処理装置は，上記立体視画像を生成する際，上記結合画像のタグ情報に含まれるアダプタ情報を取得する。かかる構成によれば，タグ情報に含まれる光学アダプタに関するアダプタ情報を参照することで，光学アダプタの特性を活かした立体視画像を生成できる。

立体視画像処理装置は，アダプタ情報に基づいて，右視点画像または左視点画像のうち少なくとも一方の有効領域を決定するように構成してもよい。かかる構成により，立体視画像には適さない上記結合画像の不要な領域を除き，立体視画像に適した有効領域を設定することで，立体感のある視認性の高い立体視画像を生成することができる。

立体視画像処理装置は，アダプタ情報に基づいて，右視点画像または左視点画像のうち少なくとも一方の輝度を決定するように構成してもよい。

立体視画像処理装置は，アダプタ情報に基づいて，右視点画像または左視点画像のうち少なくとも一方の解像度を決定するように構成してもよい。かかる構成により，適当な立体感のある立体視画像を生成することができる。

立体視画像処理装置は，アダプタ情報に基づいて，右視点画像または左視点画像のうち少なくとも一方の色ズレまたは色の滲みなどにより生じる色収差を補正するように構成してもよい。

光学アダプタは，少なくとも２枚ミラーアダプタ，４枚ミラーアダプタ，山形プリズムアダプタ，アナモルフィックレンズアダプタのうちいずれか一つであるように構成してもよい。かかる構成により，多種多様な光学アダプタに対して，立体感のある視認性の高い立体視画像を生成することができる。

色収差の補正は，色ズレまたは色の滲みが生じている領域に対して，補正色で塗りつぶすように構成することができる。かかる構成により，簡易に色収差を補正し，立体感のある視認性の高い立体視画像を生成することができる。

補正色は，少なくとも黒色もしくは白色のうちいずれか一方または双方からなるように構成してもよい。かかる構成により，色収差を補正した上で，視認性の高い立体視画像を生成することができる。なお，黒色と白色との混合比率は任意である
右視点画像と左視点画像とは一の結合画像として管理され，上記結合画像は，少なくともＪＰＥＧ形式の画像であるように構成してもよい。かかる構成により，光学アダプタにかかるアダプタ情報を効率的に，管理することができる。

以上説明したように，本発明によれば，撮像された視点画像などの画像データに撮影時の光学アダプタに関する情報を含ませることができるため，各視点画像に対し，適当な補正をし，立体感の得られる立体視画像に合成することができる。

以下，本発明の好適な実施の形態について，添付図面を参照しながら詳細に説明する。なお，以下の説明及び添付図面において，略同一の機能及び構成を有する構成要素については，同一符号を付することにより，重複説明を省略する。

人間などの左右の眼がそれぞれ取得する網膜像の空間的ずれ（両眼視差）を利用して，２次元の画像を立体的に視認させる方法（以下，立体視の方法。）が多数存在する。なお，視差について，特に記載がない場合，水平方向における視差を示すものとする。

立体視の方法としては，特殊なメガネを利用するアナグリフ方式，カラーアナグリフ方式，偏光フィルタ方式，時分割立体テレビジョン方式等と，特殊なメガネを利用しないレンチキュラ方式等が知られている。

上述したさまざまな立体視の方法を実現するためには，左眼用の左視点画像（Ｌ画像。）と，右眼用の右視点画像（Ｒ画像。）を取得する必要がある。Ｌ画像とＲ画像を取得するためには，同一の被写体に対して，カメラの位置を，例えば人の両眼の間隔だけ移動して２回撮影する方法等が最も容易である。

また，１回の撮影でＬ画像とＲ画像を取得する方法として，例えば，図１および図２に示すように，ミラーなどから構成される光学アダプタ１０５を，撮像装置１００のレンズ１０３の外側に取り付ける方法が知られている。なお，上記撮像装置１００は，例えば，デジタルカメラなどを例示することができる。

図２は，光学アダプタ１０５の構造を模式的に表している。単一の採光窓から入射される右眼用の光学像は，ミラー１２１によってミラー１２２に向けて反射され，ミラー１２２によって撮影レンズ１０３に向けて反射された後，撮影レンズ１０３によって集光される。単一の採光窓から入射される左眼用の光学像は，ミラー１２１およびミラー１２２によって反射されることなく，撮影レンズ１０３によって集光される。

光学アダプタ１０５を介して入射された光学像は，左眼からの視点の領域および右眼からの視点の領域からなる視差画像として撮影される。この左眼用の領域（左眼用の画像）がＬ画像として利用され，右眼用の領域（右眼用の画像）がＲ画像として利用される。なお，各視点画像のセットを視差画像とし，視点画像が複数存在すれば足りるため，必ずしも両隣に一体的に構成する必要はない。

次に，図３に示すように，各視点画像からなる視差画像を合成して得る立体視用の立体画像（立体視画像，３Ｄ画像）を表示させる方法として，例えば，図４に示すような偏光フィルタ方式がある。

図４に示すように，偏光フィルタ方式は，Ｒ画像を投影するための右眼用プロジェクタ１４１と，Ｌ画像を投影するための左眼用プロジェクタ１４２と，Ｌ画像およびＲ画像の光を反射するスクリーン１４３と，偏光メガネ１４４とから構成される。なお，３Ｄ（ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ：３次元）画像は，立体的に視認可能な立体視画像のことである。

右眼用プロジェクタ１４１は，垂直方向に偏光フィルタを備えている。左眼用プロジェクタ１４２は，水平方向に偏光フィルタを備えている。したがって，右眼用プロジェクタ１４１から出力されるＲ画像の光は，図４に示す水平方向の矢印の光が出力される。左眼用プロジェクタ１４２から出力されるＬ画像の光は，図４に示す垂直方向の矢印の光が出力される。

次に，スクリーン１４３上では垂直方向の直線偏光によって投影されたＬ画像と，水平方向の直線偏光によって投影されたＲ画像とが重ね合わさることで，立体視画像が生成される。

そして，左側に水平方向の直線偏光フィルタ，右側に垂直方向の直線偏光フィルタが配置された偏光メガネ１４４を用いることにより，スクリーン１４３により反射された上記立体視画像のうち，右眼用プロジェクタ１４１から投影されたＲ画像は，右側の直線偏光フィルタにしか通過されず，左眼用プロジェクタ１４２から出力されたＬ画像は，左側の直線偏光フィルタにしか通過されない。

したがって，偏光メガネ１４４から上記スクリーン１４３上の立体視画像を見ると，例えば，撮影された建造物などが飛び出して見えるなど，画像を立体的に見ることができる。

図４に示すスクリーン１４３に立体視画像を生成する場合の他に，例えば，パソコン（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ：ＰＣ），コンピュータ装置によって立体視画像を生成し，表示する場合も可能である。次に，本実施の形態にかかるコンピュータ装置によって立体視画像が生成される場合を，図５〜図８を参照しながら説明する。

上記説明したように，図２に示すミラー１２１およびミラー１２２により反射されることで，視差画像が生成される。上記視差画像は，図２に示すようにＬ画像とＲ画像とから構成されている。

次に，図５を参照しながら，本実施の形態にかかる立体視画像処理装置に適用されるコンピュータ装置について説明する。図５は，本実施の形態にかかるコンピュータ装置の概略的な構成を示す説明図である。

コンピュータ装置１５０は，少なくとも中央演算処理部（ＣＰＵ），記憶部を少なくとも備える情報処理装置であり，一般的にはコンピュータ装置であるが，携帯端末，ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ），ノート型パーソナルコンピュータ，またはデスクトップ型パーソナルコンピュータなどの情報処理装置も含まれる。

図５に示すように，コンピュータ装置１５０には，立体視画像を生成するコンピュータ装置１５０と，表示された立体視画像を見るときにユーザが使用する偏光メガネ１７１と，立体視画像を表示する立体視表示部１４０と，上記立体視表示部１４０の表示面外側に配置するライン偏光板１７２とが，さらに備えられる。

偏光メガネ１７１は，コンピュータ装置１５０に装着された支持棒１７０により，コンピュータ装置１５０のキーボード付近の上方空間に位置するように支持されている。

次に，生成されたＬ画像およびＲ画像の視差画像は，図６に示すように，次式（１）に従って，Ｌ画像とＲ画像とが合成され，図７に示すような立体視画像が生成される。なお，偶数ライン，奇数ラインは，コンピュータ装置１５０に備わる立体視表示部１４０などに構成される水平方向の列のことである。

例えば，表示部がＵＸＧＡ（Ｕｌｔｒａ ｅＸｔｅｎｄｅｄ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）の場合，式（１）に示すように，水平方向のラインのうち，最上端を０番ラインとすると，０番ラインは，偶数ラインであり，次に１番ラインは，奇数ラインであり，…，以降最下端ライン（１５９９番ライン）まで続く。

偶数ライン
１×（Ｌ画像の画素）＋０×（Ｒ画像の画素）＝（立体視画像の画素）
奇数ライン
０×（Ｌ画像の画素）＋１×（Ｒ画像の画素）＝（立体視画像の画素）
・・・式（１）

図７に示すように，０番ラインから順に，水平方向の１ラインごとにＬ画像，Ｒ画像を合成することにより，Ｌ画像およびＲ画像が１ラインごと交互に合成された立体視画像が生成される。生成された立体視画像は，例えば，コンピュータ装置に備わる立体視表示部１４０などに表示される。

図８に示すように，ユーザは，立体視表示部１４０に表示された立体視画像を，偏光メガネ１７１を介して見ることになる。なお，立体視表示部１４０には，予めライン偏光板１７２を備えている。

上記ライン偏光板１７２は，水平方向のラインを複数有している。ライン偏光板１７２の複数ラインのうち，最上端から順に，偶数ラインには，垂直方向の偏光板を備え，奇数ラインには，水平方向の偏光板を備える。

また，偏光メガネ１７１の右側には，水平方向の偏光フィルタを備え，左側には，垂直方向の偏光フィルタを備える。したがって，ライン偏光板１７２を通過したＬ画像の光またはＲ画像の光のうち，偏光メガネ１７１の左側は，奇数ラインからなるＬ画像の光だけが通過し，右側は，奇数ラインからなるＲ画像の光だけが通過する。すなわち，ユーザは，立体視画像を立体的に視聴することができる。

（立体視画像処理装置）
ここで，図９を参照しながら，本実施の形態にかかる立体視画像処理装置について説明する。図９は，本実施の形態にかかる立体視画像処理装置の概略的な構成を示すブロック図である。

図９に示すように，立体的に視認することが可能な立体視画像を生成する立体視画像処理装置は，撮像部１０１と，画像エンコード部１３２と，画像制御情報生成部１３３と，データ多重化部１３４と，記録媒体１３５と，データ分離部１３６と，画像デコード部１３７と，画像分離部１３８と，画像変換部１３９と，立体視表示部１４０とから構成される。

撮像部１０１は，被写体を撮像する撮像素子（ＣＣＤ）１３０−１および撮像素子１３０−２と，合成部１３１とを備える。なお，撮像素子１３０−１と撮像素子１３０−２とを，一体化して，一組の撮像素子１３０から構成することも実施可能である。上記の場合，光学アダプタ１０５等を備えることで可能となる。

撮像素子１３０−１により撮像された左眼からの視点の画像（Ｌ画像。）と，撮像素子１３０−１により撮像された右眼からの視点の画像（Ｒ画像。）とが，合成部１３１に伝送される。なお，図９に示す立体視画像処理装置は，２視点の場合を例に挙げて説明するが，かかる例に限定されず，複数の視点の場合であっても実施可能である。

合成部１３１は，伝送された各視点画像（Ｌ画像，Ｒ画像）を回転等するとともに，合成し，結合画像を生成する。さらに合成部１３１は，生成された結合画像は，記録媒体１３５又はメモリ（図示せず。）に記録されるよう指示する。なお，図９に示す結合画像は，Ｌ画像とＲ画像とが左右に隣り合わせとなっているが，かかる例に限定されず，例えば，Ｌ画像とＲ画像とが上下に隣り合わせの場合であってもよい。上記結合画像については，後述する。

上記結合画像は，画像エンコード部１３２によりエンコードされる。上記エンコードは，例えば，ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式などが例示される。

画像制御情報生成部１３３は，上記結合画像から立体視画像に変換等するためのタグ情報（以下，画像制御情報。）を生成する。画像制御情報は，撮像部１０１の撮像時の露出，日時，フラッシュの有無などの撮像情報，または立体視表示部１４０に適当な立体視画像を生成するための情報等が含まれる。例えば，表示画面上の１ラインごとに左右画像（Ｌ画像，Ｒ画像）を表示するための情報などが例示される。

データ多重化部１３４は，画像エンコード部１３２から伝送される結合画像と，画像制御情報生成部１３３から伝送される画像制御情報とを多重化する。多重化された結合画像および画像制御情報は，記録媒体１３５に記録される。

記録媒体１３５は，データを読書き可能な記憶デバイスであり，例えば，ＨＤＤ装置（ハードディスクドライブ装置），ＣＤ−ＲＷ（ＲｅＷｒｉｔａｂｌｅ），ＤＶＤ−ＲＡＭ（ＤＶＤ−Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ），ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），またはメモリスティック（登録商標）などが例示される。

データ分離部１３６は，記録媒体１３５に記録された結合画像および画像制御情報をそれぞれ取得する。データ分離部１３６は，取得した結合画像を画像デコード部１３７に伝送し，画像制御情報を画像分離部１３８に伝送する。なお，結合画像データおよび画像制御情報は，記録媒体１３５の所定の場所（フォルダなど。）に記録されている。

なお，本実施の形態にかかるデータ分離部１３６は，記録媒体１３５から結合画像および画像制御情報を取得する場合を例に挙げて説明したが，結合画像と画像制御情報がリンクされていれば，かかる例に限定されず，例えば，記録先のフォルダが別々の場合や，結合画像と画像制御情報が別々に記録され，ネットワーク上のサーバ等から別々に取得する場合等であっても実施可能である。

画像デコード部１３７は，予めエンコードされた結合画像データをデコードし，画像分離部１３８に伝送する。

画像分離部１３８は，データ分離部１３６から伝送された画像制御情報に基づき，画像制御情報に指定された結合画像を取得し，各視点の画像（Ｌ画像，Ｒ画像）に分離する。なお，Ｌ画像とＲ画像に分離する際，結合画像のＬ画像とＲ画像の有効領域を切り出し，所定角度回転または拡大／縮小処理してもよい。なお，画像分離部１３８は，分離した結果，Ｌ画像とＲ画像の画像の向きが同じになるように処理する。なお，有効領域については後述する。

画像変換部１３９は，画像分離部１３８から伝送されたＬ画像，Ｒ画像とを，上記説明した通り，重ね合わせ等することにより，立体視画像に変換する。なお，画像制御情報に切出領域などが指定された場合，画像変換部１３９は，切出処理や拡大／縮小処理等して，立体視画像に変換してもよい。なお，切出領域については，後述する。

立体視表示部１４０は，画像変換部１３９により合成された立体視画像を表示する。立体視表示部１４０は，後程説明するコンピュータ装置に備わるディスプレイなどの表示部，または投影してスクリーンに表示するプロジェクタ装置などが例示される。

なお，本実施の形態にかかる立体視表示部１４０は，立体視画像を表示する場合に限られず，例えば，２Ｄである静止画像，動画像などの表示，さらには音声の出力等をする場合，または立体視表示部１４０の代わりにプリントアウト手段を備え，アナグリフ方式の立体視画像を紙などの媒体に出力する等の場合であっても実施可能である。

さらに，図１０を参照しながら，図９に示す本実施の形態にかかる立体視画像処理装置の変形例について説明する。図１０は，図９に示す立体視画像処理装置の変形例である。以下，図９に示す立体視画像処理装置との相違点について説明する。

図１０に示すように，立体視画像処理装置は，図９に示す立体視画像処理装置と比べて，１つの撮像装置１００が備わる点で異なる。さらに，撮像装置１００は，光学アダプタ１０５を備えている点でも異なる。

したがって，光学アダプタ１０５を備えた撮像装置１００は，１回の撮影（シャッター）で，左眼用の視点画像と右眼用の視点画像を撮像し，上記２視点画像からなる結合画像データを生成することができる。

（撮像装置１００）
次に，本実施の形態にかかる撮像装置１００について説明すると，撮像装置１００は，少なくともレンズ１０３と撮像素子１３０を備え，上記レンズ１０３には，さらに光学アダプタ１０５が装着可能となっている。また，図９に示すように，撮像装置１００は，撮像部１０１内に備わってもよく，撮像装置１００は，合成部１３１を備えている場合でもよい。

また，本実施の形態にかかる画像エンコード部１３２，画像制御情報生成部１３３，データ多重化部１３４，および記録媒体１３５は，撮像装置１００に備わらない場合を例に挙げて説明したが，かかる例に限定されず，例えば，画像エンコード部１３２，画像制御情報生成部１３３，データ多重化部１３４，もしくは記録媒体１３５等のうちいずれか１つまたは任意の組合せが撮像装置１００に備わる場合であっても実施可能である。

（コンピュータ装置１５０）
図５に示すコンピュータ装置１５０は，図９に示す立体視画像処理装置に構成するデータ分離部１３６，画像デコード部１３７，画像分離部１３８，画像変換部１３９，および立体視表示部１４０を備える。なお，コンピュータ装置１５０は，画像エンコード部１３２，画像制御情報生成部１３３，データ多重下部１３４，記録媒体１３５をさらに備える場合でもよい。

コンピュータ装置１５０は，図１に示す光学アダプタ１０５が装着された撮像装置１００によって撮影された結合画像データを取込む。または，コンピュータ装置１５０は，光学アダプタ１０５が装着されていない状態で撮影された画像データなどを取り込む。なお，本実施の形態にかかる撮像装置１００は，例えば，ディジタルスチルカメラ，ディジタルビデオカメラなどが例示される。

さらに，コンピュータ装置１５０は，取込んだ結合画像データまたは連続的に撮影された２枚の画像データから立体視画像データを生成する。生成された立体視画像データは，立体視画像として立体視表示部１４０に表示される。

なお，撮像装置１００からコンピュータ装置１５０に取り込まれる結合画像等の画像データには，画像制御情報生成部１３３により生成された画像制御情報が付与されている。

（立体視画像ファイル）
次に，図１１を参照しながら，本実施の形態にかかる立体視画像ファイルについて説明する。図１１は，本実施の形態にかかる立体視画像ファイルのデータ構造の概略を示す説明図である。

図１１に示すように，立体視画像ファイルは，例えば，ファイル名が“ファイル１．ｊｐｇ”など，拡張子が“．ｊｐｇ”のＪＰＥＧ形式の圧縮データファイルである。

また，立体視画像ファイルは，ＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ）規格に準拠して記録し，これにアプリケーション・マーカセグメント（ＡＰＰ１）を挿入する。

ＡＰＰ１は，立体視画像ファイルの始まりを示すＳＯＩ（Ｓｔａｒｔ Ｏｆ Ｉｍａｇｅ）マーカの直後に配置される。

さらに，ＡＰＰ１の直後には，結合画像データが配置され，最後に立体視画像ファイルの終了を示すＥＯＩ（Ｅｎｄ Ｏｆ Ｉｍａｇｅ）が配置される。なお，結合画像については，後程説明する。

上記ＡＰＰ１の領域には，図１１に示すように，Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）の識別情報，および付属情報本体（Ｔｉｆｆ ｈｅａｄｅｒ，ＩＦＤ０，ＩＦＤ１）から構成される。これら全てを含むＡＰＰ１の大きさは，ＪＰＥＧの規格により６４ｋＢｙｔｅを越えてはならない。

付属情報は，Ｆｉｌｅ Ｈｅａｄｅｒ（Ｔｉｆｆ ｈｅａｄｅｒ）を含むＴｉｆｆの構造をとり，最大二つのＩＦＤ（ＩＦＤ０（０ｔｈ ＩＦＤ）,ＩＦＤ１（１ｓｔ ＩＦＤ））を記録できる。なお，ＩＦＤは，“Ｉｍａｇｅ Ｆｉｌｅ Ｄｉｒｅｃｔｏｒｙ”の略である。

ＩＦＤ０は，圧縮されている画像（主画像）または立体視画像（３Ｄ画像）などに関する付属情報を記録する。図１１に示すように，ＩＦＤ０領域には，Ｅｘｉｆ ＩＦＤのポインタが入るＥｘｉｆポインタ部と，ＧＰＳ ＩＦＤのポインタが入るＧＰＳポインタ部と，３Ｄ ＩＦＤのポインタが入る３Ｄポインタ部とが配置される。

さらに，ＩＦＤ０領域には，各ポインタ部の後に，Ｅｘｉｆ ＩＦＤと，Ｅｘｉｆ ＩＦＤ Ｖａｌｕｅと，ＧＰＳ ＩＦＤと，ＧＰＳ ＩＦＤ Ｖａｌｕｅと，３Ｄ ＩＦＤと，３Ｄ ＩＦＤ Ｖａｌｕｅとが配置される。

Ｅｘｉｆ ＩＦＤおよびＥｘｉｆ ＩＦＤ Ｖａｌｕｅには，画像データの特性，構造，ユーザ情報，撮影条件，もしくは日時等に関連するタグまたはタグ値が記録される。例えば，ユーザコメントのためのタグ“ＵｓｅｒＣｏｍｍｅｎｔ”タグ，露出時間を示すためのタグ“ＥｘｐｏｓｕｒｅＴｉｍｅ”，フラッシュの有無を示すためのタグ“Ｆｌａｓｈ”タグなどが例示される。

ＧＰＳ ＩＦＤおよびＧＰＳ ＩＦＤ Ｖａｌｕｅには，ＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）に関するタグまたはタグ値が記録される領域である。例えば，緯度を示すタグ“ＧＰＳＬａｔｉｔｕｄｅ”，高度を示すタグ“ＧＰＳＡｌｔｉｔｕｄｅ”などが例示される。

上記３Ｄ ＩＦＤおよび３Ｄ ＩＦＤ Ｖａｌｕｅに，３Ｄ画像である立体視画像に変換するための処理等を制御する画像制御情報に関するタグまたはタグ値（Ｖａｌｕｅ）が記録される。なお，画像制御情報については，後程詳述する。また，本実施の形態にかかる結合画像ファイルについても，立体視画像ファイルとほぼ同様のデータ構造である。

なお，本実施の形態にかかる立体視画像ファイルのデータ構造は，かかる例に限定されず，他のデータ構造である場合であっても実施することが可能である。例えば，立体視画像用ファイルのデータ構造がＪＰＥＧデータからなる場合，各ＪＰＥＧデータには，ＪＰＥＧヘッダと圧縮画像データとＥＯＩ（Ｅｎｄ Ｏｆ Ｉｍａｇｅ）とが含まれる場合でもよい。上記ＪＰＥＧヘッダには，ＳＯＩ（Ｓｔａｒｔ Ｏｆ Ｉｍａｇｅ）や色管理情報等の付属情報が存在する。また，視点画像データの視点番号などの視点情報は，例えば，各々のＪＰＥＧヘッダに存在させることもできる。視点が異なる複数の視点画像は，ファイルヘッダとそれに続く複数のＪＰＧＥデータとその全体の終わりを示すファイルエンド情報とすることができる。全体に対するヘッダを存在させない場合（結合画像の場合）には，視点情報が，ＪＰＥＧヘッダ内（アプリケーションマーカー／ＩＦＤ）に格納される。

（画像情報）
本実施の形態にかかる立体視画像ファイルは，少なくとも撮影または記録等により生成される主画像となる視点画像データと，画像制御情報とから構成されている。なお，視点画像データ，画像制御情報については，ＤＣＦ規格に規定されている。

（画像フォーマット）
次に，図１２を参照しながら，本実施の形態にかかる結合画像データについて説明する。図１２は，本実施の形態にかかる結合画像データの概略的な構成を示す説明図である。

図１２（ａ）および図１２（ｂ）に示すように，本実施の形態にかかる視差画像データは，左眼用の視点画像（Ｌ画像），右眼用の視点画像（Ｒ画像）とから構成されている。なお，Ｌ画像およびＲ画像は，各視点において撮像された視点画像である。静止画像である上記視点画像から３Ｄの立体視画像に合成される。

上記結合画像データは，１つの画像に，Ｌ画像データおよびＲ画像データが一体となるように構成される画像データである。したがって，結合画像データは，視差画像データと比べて，複数の視点画像から構成されている点では共通するが，特に各視点画像が別個・独立していない点で，視差画像データとは，大きく異なる。結合画像のＬ画像およびＲ画像は，結合され，一体化されている。

図１２（ａ）に示す結合画像３５０−１は，水平方向，左右にＬ画像とＲ画像とが両隣に並ぶように構成される。また，図１２（ｂ）に示す結合画像３５０−２は，垂直方向，上下にＬ画像とＲ画像とが一体的に結合されている。

なお，本実施の形態にかかる結合画像は，２視点である場合を例に挙げて説明したが，かかる例に限定されず，複数視点から撮影した画像を一枚の結合画像に結合して記録する場合であっても実施可能である。

また，図１２（ｃ）に示すように，垂直方向上下に結合された上記結合画像３５０−２の他に，全部で合計４つのパターンの結合画像（３５０−３，３５０−４，３５０−５，３５０−６）が存在する。

図１２（ｃ）に示す結合画像（３５０−３，３５０−４，３５０−５，３５０−６）は，垂直方向上下に結合された上記結合画像３５０−２の配置形式から，上下の画像を一体化した状態で，左右に倒すことで配置されている（時計方向右回りに９０度回転，または時計方向左回り９０度回転。）。

結合画像（３５０−３，３５０−４，３５０−５，３５０−６）は，図１２（ｂ）に示す結合画像３５０−２よりも，特にアスペクト比が３：４等のディスプレイに結合画像を表示する際，収まりがよく，１画面内に表示することが出来る。

また，上記結合画像（３５０−３，３５０−４，３５０−５，３５０−６）は，立体視画像に合成等するための画像制御情報とともに記録媒体１３５に記録されているため，ネットワーク等を介して，結合画像と画像制御情報を配信することが容易にできる。

なお，結合画像（３５０−３，３５０−４，３５０−５，３５０−６）と画像制御情報が相互にリンクされていれば記録方法については，限定されない。例えば，同一ファイル内に結合画像と画像制御情報を記録する場合や，ネットワークに接続された別々のサーバに結合画像と画像制御情報が別々に記録される場合等でも実施可能である。

また，結合画像（３５０−３，３５０−４，３５０−５，３５０−６）を水平方向に圧縮することで，結合画像から立体視画像に合成し，表示する際には，回転して元に戻した状態の画像の垂直成分のみが圧縮された状態となるので，水平方向の画質を劣化させることなく立体視画像を表示することができる。

結合画像（３５０−３，３５０−４，３５０−５，３５０−６）のうち，どの配置パターンで保存するかについては，２種の指定パターンがある。１つ目のパターンは，各結合画像（３５０−３，３５０−４，３５０−５，３５０−６）のそれぞれについて，“１”，“２”，“３”，“４”などのＩＤを付与することで配置パターンを指定するパターンである。

２つ目のパターンは，結合画像（３５０−３，３５０−４，３５０−５，３５０−６）のうち，まず結合画像（３５０−３，３５０−５）または結合画像（３５０−４，３５０−６）のどちらであるかを指定し，さらに右視点画像（Ｒ画像）が右側であるのか左側に配置されるのかを指定するパターンである。詳細については後述する。

結合画像３５０−３は，図１２（ｂ）に示す結合画像３５０−２を左側に倒した状態の画像である。さらに結合画像３５０−３は，図１２（ｃ）に示すように，左側にＲ画像，右側にＬ画像が配置された構成の画像である。また，左側のＲ画像と右側のＬ画像とともに，画像の向き（天地）は，上側が水平左方向であり，下側が水平右方向である。

結合画像３５０−４は，図１２（ｂ）に示す結合画像３５０−２を左側に倒した状態での画像である。さらに結合画像３５０−４は，図１２（ｃ）に示すように，左側にＬ画像，右側にＲ画像が配置された構成の画像である。また，左側のＬ画像と右側のＲ画像とともに，画像の向き（天地）は，上側（天井側）が水平右方向であり，下側（地面側）が水平左方向である。

結合画像３５０−５は，結合画像３５０−３の状態から，画像の向きはそのままにして，Ｌ画像とＲ画像を左右入替えた状態の画像となっており，結合画像３５０−６は，結合画像３５０−４の状態から，画像の向きはそのままにして，Ｌ画像とＲ画像を左右入替えた状態の画像となっている。

図１２（ｃ）に示す結合画像（３５０−３，３５０−４，３５０−５，３５０−６）は，各視点画像であるＲ画像，Ｌ画像の画枠を，例えば縦×横が２×３等のワイド画像にしても，１画面内に左右並べて表示することが可能であり，さらにＲ画像とＬ画像をそれぞれ９０度回転することで，合成後の立体視画像もワイドな画像に表示される。以下，特に明記されない場合，結合画像は，図１２（ｃ）に示す画像のいずれかを示すものとする。

（複数視点の視点画像）
ここで，図１３を参照しながら，本実施の形態にかかる複数の視点から撮像した場合の視点画像について説明する。図１３は，本実施の形態にかかる複数の視点から撮像した場合の視点画像の概略的な構成を示す説明図である。

図１３（ａ）に示すように，被写体２３０に対して複数台の撮像装置１００（１００−１，１００−２，１００−３，…，１００−６）が配置されている。撮像装置１００を識別するために，各撮像装置１００に対して視点位置が付される。

なお，本実施の形態にかかる撮像装置１００（１００−１，１００−２，１００−３，…，１００−６）は，６つの視点から撮影するために，配置される場合を例に挙げて説明するが，１又は２以上の撮像装置１００が配置される限り，かかる例に限定されない。

上記視点位置は，図１３（ａ）に示すように，水平方向（ｘ），垂直方向（ｙ）の（ｘ，ｙ）座標に基づき，撮像装置１００−１である左上から順にＡ_１，Ａ_２，Ａ_３，…と表わされる。例えば，Ａ_１は，座標で表わすと，（水平方向座標，垂直方向座標）＝（１，０）などとなる。

したがって，撮像装置１００から撮像された視点画像に各視点の視点位置が付加されることで，どの視点から撮像された視点画像であるか，識別することが可能となる。

例えば，撮像装置１００の視点位置が“Ａ_１”の場合，図１３（ｂ）に示すように，撮像装置１００により撮像された視点画像の視点位置も“Ａ_１”である。

したがって，撮像装置１００の画像制御情報生成部１３３は，画像制御情報を生成し，上記画像制御情報における所定のタグのフィールドに，上記視点位置“Ａ_１”（１，０）を設定する。上記視点位置にかかる所定のタグについては後述する。

（画像制御情報）
本実施の形態にかかる結合画像データから立体視画像データに合成し，表示するためには，上記説明したように，タグ情報としての画像制御情報を例えば，ハードディスク，記録媒体などに記録する必要がある。

次に，本実施の形態にかかる画像制御情報に関するタグについて説明する。本実施の形態にかかるタグには，３Ｄ画像であることを示す“３Ｄタグ”，上記画像制御情報のサイズを示す“画像制御情報サイズタグ”，３Ｄ画像のサイズを示す“３Ｄ画像サイズタグ”，使用者が任意のデータを管理等できる“使用者データ領域タグ（ＡｐｐｌｉｃａｔｉｏｎＤａｔａ）”，データ構成種別を管理するための“データ構成種別タグ”，または上記画像制御情報のバージョンを示す“画像制御情報バージョンタグ”が存在する。画像制御情報に含まれるタグを用いることによって，適当な立体視画像を生成したり，編集したり様々な処理を施すことができる。

また，さらに本実施の形態にかかる画像制御情報にかかるタグには，例えば図１３に示した“Ａ_１”〜“Ｂ_３”の視点位置を示すためのタグ（視点位置タグ），３Ｄ画像が結合画像であるか否かを示す“結合画像タグ”，３Ｄ画像の回転状況等を示す“回転タグ”，３Ｄ画像から所定領域切り出された切出領域の水平方向のサイズを示す“切出サイズタグＸ（ＣｒｏｐＳｉｚｅＸ）”，３Ｄ画像から所定領域切り出された切出領域の垂直方向のサイズを示す“切出サイズタグＹ（ＣｒｏｐＳｉｚｅＹ）”，３Ｄ画像における切出領域の水平方向のオフセットを示す“切出オフセットタグＸ（ＣｒｏｐＯｆｆｓｅｔＸ）”，または３Ｄ画像における切出領域の垂直方向のオフセットを示す“切出オフセットタグＹ（ＣｒｏｐＯｆｆｓｅｔＹ）”が存在する。なお，“ＣｒｏｐＯｆｆｓｅｔＸ”，“ＣｒｏｐＯｆｆｓｅｔＹ”は，複数の視点から３Ｄ画像がなる場合，各視点のオフセットを示す。なお，上記回転タグには，例えば，回転角度情報など，視点画像が回転した角度等が設定される。

また，さらに本実施の形態にかかる画像制御情報にかかるタグには，３Ｄ画像における有効領域の水平方向のサイズを示す“有効サイズタグＸ（ＶａｌｉｄＳｉｚｅＸ）”，３Ｄ画像における有効領域の垂直方向のサイズを示す“有効サイズタグＹ（ＶａｌｉｄＳｉｚｅＹ）”，３Ｄ画像における有効領域の水平方向のオフセットを示す“有効オフセットタグＸ（ＶａｌｉｄＯｆｆｓｅｔＸ）”，または３Ｄ画像における有効領域の垂直方向のオフセットを示す“有効オフセットタグＹ（ＶａｌｉｄＯｆｆｓｅｔＹ）”が存在する。なお，“有効オフセットタグＸ”，“有効オフセットタグＹ”は，複数の視点から３Ｄ画像がなる場合，各視点のオフセットを示す。

また，さらに本実施の形態にかかる画像制御情報にかかるタグには，３Ｄ画像（立体視画像）を表示可能な立体視表示部１４０に，適正なサイズの立体視画像を表示するためのタグである“想定表示サイズタグ”，または立体視画像の注目参照点を示すための“リマークポイントタグ”などが存在する。

例えば，上記“回転タグ”は，３バイトからなる。なお，“回転タグ”は，結合画像における各視点画像の回転角，左右ミラー反転の有無を示し，０〜７のいずれかの値が設定される。０〜７の値に応じて回転角，ミラーの有無が決定する。

また，“ＣｒｏｐＯｆｆｓｅｔＸ”は，各視点６バイトからなるタグである。したがって，例えば２視点の場合は，１２バイトとなる。なお，“ＣｒｏｐＯｆｆｓｅｔＸ”は，切出領域の水平方向のオフセットを示す。切出領域の水平方向のオフセットは，水平方向の切出領域の開始位置（始点）を示す。

“ＣｒｏｐＯｆｆｓｅｔＹ”は，各視点６バイトからなるタグである。したがって，例えば２視点の場合は，１２バイトとなる。なお，“ＣｒｏｐＯｆｆｓｅｔＹ”は，切出領域の垂直方向のオフセットを示す。各視点の画像の上下ずれ補正量も含み，ずれ量が不明の場合は，上記“ＣｒｏｐＯｆｆｓｅｔＹ”には，“０”の値が設定される。切出領域の垂直方向のオフセットは，垂直方向の切出領域の開始位置（始点）を示す。切出領域の垂直／水平方向のオフセットが定まることにより，切出領域の開始位置が定まる。

“ＶａｌｉｄＳｉｚｅＸ”は，各視点６バイトのタグである。なお，“ＶａｌｉｄＳｉｚｅＸ”は，結合画像から３Ｄ画像に変換することが可能な領域を示す有効領域の水平方向のサイズである。

“ＶａｌｉｄＳｉｚｅＹ”は，各視点６バイトのタグである。なお，“ＶａｌｉｄＳｉｚｅＹ”は，有効領域の垂直方向のサイズである。

“ＶａｌｉｄＯｆｆｓｅｔＸ”は，各視点６バイトのタグである。例えば，３視点の場合は，１８バイトである。なお，“ＶａｌｉｄＯｆｆｓｅｔＸ”は，有効領域の水平方向のオフセットである。有効領域の水平方向のオフセットは，水平方向の有効領域の開始位置（始点）を示す。

“ＶａｌｉｄＯｆｆｓｅｔＹ”は，各視点６バイトのタグである。例えば，３視点の場合は，１８バイトである。なお，“ＶａｌｉｄＯｆｆｓｅｔＹ”は，有効領域の垂直方向のオフセットである。有効領域の垂直方向のオフセットは，垂直方向の有効領域の開始位置（始点）を示す。

“想定表示サイズタグ”は，４バイトのタグである。なお， “想定表示サイズタグ”のタグのフィールドには，例えば，立体視表示部１４０の種類と大きさが設定される。立体視表示部１４０の大きさは，本実施の形態ではインチ（ｉｎｃｈ）により表されるが，係る例に限定されない。

“リマークポイントタグ”は，６バイトのタグである。なお，“Ｒｅｍａｒｋｐｏｉｎｔ”は，立体視画像の注目点を示すためのタグである。

立体視表示部１４０に立体視画像を表示する場合，立体視表示部１４０の中心点には，参照注目点に該当する立体視画像が表示される。したがって，立体視表示部１４０の中心点と，立体視画像の注目点とは一致する。

“リマークポイント”のタグから注目点が設定されることにより，例えば，立体視画像の大きさよりも立体表示部１４０が小さい場合，立体視画像全体を表示することはできないが，立体視画像を少なくとも部分的に視認することが可能となる。

（メタファイル形式による画像制御情報）
次に，本実施の形態にかかる画像制御情報生成部１３３はＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式などのメタファイルである付帯情報を生成すると，直接，記録媒体１３５は，上記付帯情報を，多重化された画像ファイルとは別ファイルとして記録するようにしてもよい。

次に，本実施の形態にかかる立体視画像処理装置における各種機能の説明をする。

（結合画像における視点画像の配置）
まず，図１４を参照しながら，本実施の形態における視点画像の配置について説明する。図１４は，本実施の形態における視点画像の配置の概略的な構成を示す説明図である。

（平行配置）
視点画像の配置には，２つの配置がある。図１４（ａ）に示すように，右眼用の画像（以下，Ｒ画像）が右側で，左眼用の画像（以下，Ｌ画像）が左側である一般的な配置の場合を，平行配置とする。したがって，平行配置の結合画像は，ユーザの左右の眼から見える視点と同じ配置である。なお，上記平行配置による結合画像を，いわゆる平行法によって見た場合，結合画像を立体的に見ることができる。平行法とは，対象より遠いところに眼の焦点を合わせたまま，手前にある対象を見る方法である。

（交差配置）
次に，図１４（ｂ）に示すように，Ｌ画像が右側で，Ｒ画像が左側である場合，つまり逆転層が生じ，平行配置と比べ左右反転したような配置の場合を，交差配置とする。なお，交差配置または平行配置は，結合画像タグに，右視点画像（Ｒ画像）が左右のうちどちら側であるかを設定することで，交差配置または平行配置のどちらであるかを指定することができる。

上記交差配置の視差画像は，いわゆる交差法による方法で，裸眼で立体視が可能な視差画像である。本実施の形態にかかる光学アダプタ１０５を装着した撮像装置１００の撮像により生成される視差画像は，交差配置の視差画像である。交差法とは，対象とするものよりも手前で眼の焦点を合わせた上で，対象を見る方法である。

結合画像から立体視画像に変換する際に，平行配置の画像であると仮定した場合，右側がＲ画像であるため，正常な立体視画像に変換することが可能であるが，交差配置であった場合では，右側がＬ画像であるため，正常な立体視画像に変換することができない。したがって，交差配置の場合，左側がＲ画像であることを指定する必要がある。なお，視差画像の平行配置と交差配置とは，上述した結合画像タグにより，画像配置を変換することが可能であるが，詳細は後述する。

（視点画像の画像処理方法）
次に，図１５を参照しながら，本実施の形態にかかる視点画像の画像処理方法について説明する。図１５は，本実施の形態にかかる視点画像の画像処理方法の概略を示すフローチャートである。

まず，予め撮像装置１００に，平行配置の結合画像データを生成するのか，もしくは交差配置の結合画像データを生成するのか少なくとも設定する。設定する場合，撮像装置１００の表示部（図示せず。）に表示されるＧＵＩ画面等により設定する。なお，平行配置または交差配置のどちらか一方のみが予め決まっている場合，設定する必要はない。

次に，撮像装置１００により被写体が撮像されると，撮像部１０１の合成部１３１は，撮像素子１３０から伝送される視点画像データを，設定された平行配置または交差配置に従い，結合画像データを生成する。

また，画像制御情報生成部１３３は，生成された上記結合画像データに対する画像制御情報を生成し，画像制御情報の“結合画像タグ”のタグのフィールドに，平行配置または交差配置を示す値を設定する。

上記“結合画像タグ”のタグのフィールドに設定される値は，例えば，“平行配置”である場合は，“０”であり，“交差配置”である場合は，“１”の２値のいずれかである。つまり右視点画像が右側であれば，平行配置となり，右視点画像が左側であれば交差配置となる。なお，本実施の形態にかかる“結合画像タグ”のタグのフィールドに設定される値は，かかる例に限定されず，他のいかなる値が設定される場合であってもよい。

次に，結合画像データおよび画像制御情報は，データ多重化部１３４により多重化され，記録媒体１３５に記録される。

ここで，コンピュータ装置１５０は，記録媒体１３５から上記結合画像データおよび画像制御情報を読み込む。次に，コンピュータ装置１５０のデータ分離部１３６は，結合画像データと，画像制御情報とに分離する。

画像分離部１３８は，Ｌ画像データとＲ画像データとに分離時，画像制御情報の“結合画像タグ”に設定された値に基づき，デコードされた結合画像データのうちどちらが，Ｒ画像データであるかを認識する。

“結合画像タグ”に設定された値が“０”である場合，画像分離部１３８は，右側の画像データをＲ画像データであると認識し，“１”である場合，画像分離部１３８は，交差配置になるよう上記双方の視点画像を左右反転処理し，左側の画像データをＲ画像データであると認識する。

認識されたＲ画像データおよびＬ画像データは，画像分離部１３８により，画像変換部１３９に伝送される。画像変換部１３９は，上記Ｒ画像データと，Ｌ画像データとを配置し，立体視画像データを生成する。

上記Ｒ画像データと，Ｌ画像データとが配置された立体視画像データは，立体視表示部１４０により表示される（Ｓ６００）。以上から，本実施の形態にかかる視点画像の画像処理が終了する。

なお，図１６に示すように，立体視画像データを生成後であっても，コンピュータ装置１５０の立体視表示部１４０に表示されるＧＵＩ画面２２０からＲ画像データとＬ画像データとを左右反転させ，再度，立体視画像データを生成することができる。

図１６に示すように，ＧＵＩ画面２２０は，立体視画像が表示されるメインエリア２２２と，ペイント画像２２４とから構成されている。メインエリア２２２には，生成された立体視画像データの立体視画像が表示される。

「ＬＲ置換」ボタンが，コンピュータ装置１５０に備わるマウスなどの入力部（図示せず。）により押下されると，画像分離部１３８は，画像制御情報の“結合画像タグ”に設定された値を反転する。例えば，“０”（平行配置）の場合は，“１”（交差配置）に更新する。

画像分離部１３８は，変更した画像制御情報の“結合画像タグ”に設定された値に基づき，結合画像データのうちどちらがＲ画像データであるかを認識し，認識されたＬ画像データおよびＲ画像データを画像変換部１３９に伝送する。

伝送されたＬ画像データおよびＲ画像データは，画像変換部１３９により配置され，立体視画像データが生成される。Ｌ画像データおよびＲ画像データが配置された立体視画像データは，立体視表示部１４０に表示される。

なお，上記画像変換部１３９は，例えば図１４に示すようなＬ画像とＲ画像とからなる視差画像データを，そのまま立体視表示部１４０に伝送し，立体視表示部１４０は，上記視差画像データを表示する場合であっても実施可能である。立体視表示部１４０に表示される視差画像を，平行法または交差法等により見つめることで，各方法によって立体感の異なる立体的な画像を視認することができる。

（視点画像の回転，ミラー反転）
次に，図１７〜図２０を参照しながら，本実施の形態における各視点画像の回転またはミラー反転について説明する。図１７，図１８，図１９，図２０は，本実施の形態における視点画像の配置の概略的な構成を示す説明図である。

なお，図１７〜図２０に示す視点画像は，いずれもＡ_１＝（０，０），Ａ_２＝（０，１）からなる２視点の画像で，交差配置の場合であるが，かかる例に限定されず，複数視点（Ａ_１，Ａ_２，…）の画像で，平行配置等の場合であっても実施可能である。

（回転角度０度）
図１７（ａ）に示すように，各視点の視点画像とも回転角度０度の場合，各視点の視点画像（右眼用の画像，左眼用の画像）ともに回転されない。したがって，回転前後の結合画像の視点画像は，変化せず，同じである。

（回転角度右９０度）
次に，図１７（ｂ）に示すように，各視点（Ａ_１，Ａ_２）の視点画像とも回転角度右９０度の場合，各視点の視点画像（右眼用の画像，左眼用の画像）は，図１７（ａ）に示す各視点画像の位置から，時計回りに，９０度回転する。

（回転角度右１８０度）
次に，図１７（ｃ）に示すように，各視点（Ａ_１，Ａ_２）の視点画像とも回転角度右１８０度の場合，各視点画像（右眼用の画像，左眼用の画像）は，図１７（ａ）に示す各視点画像の位置から，時計回りに，１８０度回転する。

（回転角度右２７０度）
次に，図１７（ｄ）に示すように，各視点（Ａ_１，Ａ_２）の視点画像とも回転角度右２７０度の場合，各視点画像（右眼用の画像，左眼用の画像）は，図１７（ａ）に示す各視点画像の位置から，時計回りに，２７０度回転する。

以上から，各視点の視点画像が適当な角度に回転した場合であっても，いずれの視点画像とも同じ角度だけ回転しているため，回転後の視点画像でも，立体的に視認可能な立体視画像を容易に生成することが可能である。

なお，本実施の形態にかかる視点画像の回転は，各視点の視点画像が個別に回転する場合でも実施可能である。ここで，図１８を参照しながら，各視点の視点画像を回転する場合について説明する。

（Ａ_１，Ａ_２ともに回転角度０度）
上記説明の通り，図１８（ａ）に示すように，各視点の視点画像とも回転角度０度の場合，各視点の視点画像（右眼用の画像，左眼用の画像）ともに回転されない。したがって，回転前後の各視点画像は，変化せず，同じである。

（Ａ_２が回転角度右９０度）
次に，図１８（ｂ）に示すように，各視点（Ａ_１，Ａ_２）のうちＡ_２の視点画像のみが，回転角度右９０度の場合，Ａ_２の視点画像（左眼用の画像）は，図１８（ａ）に示すＡ_２の視点画像の位置から，時計回りに，９０度回転する。

（Ａ_２が回転角度右１８０度）
次に，図１８（ｃ）に示すように，各視点（Ａ_１，Ａ_２）のうちＡ_２の視点画像のみが，回転角度右１８０度の場合，Ａ_２の視点画像（左眼用の画像）は，図１８（ａ）に示すＡ_２の視点画像の位置から，時計回りに，１８０度回転する。

（Ａ_１が回転角度右９０度，Ａ_２が回転角度右１８０度）
次に，図１８（ｄ）に示すように，各視点（Ａ_１，Ａ_２）のうちＡ_１の視点画像が回転角度右９０度であり，Ａ_２の視点画像が回転角度右１８０度の場合，各視点画像（右眼用の画像，左眼用の画像）は，図１８（ａ）に示すＡ_１およびＡ_２の視点画像の位置から，Ａ_１の視点画像は，時計回りに，９０度回転し，Ａ_２の視点画像は，時計回りに，１８０度回転する。

次に，図１９を参照しながら，本実施の形態にかかる回転およびミラー反転について説明する。

（回転角度０度およびミラー反転）
図１９（ａ）に示すように，各視点の視点画像とも回転およびミラー反転角度０度の場合，各視点の視点画像（右眼用の画像，左眼用の画像）ともに回転されないが，垂直方向に対して，右眼用の画像と左眼用の画像とが接する上下方向の垂直軸に対して，それぞれミラー反転する。なお，本実施の形態にかかるミラー反転は，各視点の視点画像（右眼用の画像，左眼用の画像）のうちいずれかを，垂直軸に対して，ミラー反転する場合であっても実施可能である。詳細は後述する。

（回転角度右９０度およびミラー反転）
次に，図１９（ｂ）に示すように，各視点の視点画像とも回転角度右９０度およびミラー反転の場合，各視点画像（右眼用の画像，左眼用の画像）は，図１９（ａ）に示す各視点画像の位置から，まず時計回り方向に，９０度回転する。さらに各視点画像が右９０度回転した状態から，上下方向の垂直軸に対して，右眼用の画像と左眼用の画像がそれぞれミラー反転する。

（回転角度右１８０度およびミラー反転）
次に，図１９（ｃ）に示すように，各視点の視点画像とも回転角度右１８０度およびミラー反転の場合，各視点画像（右眼用の画像，左眼用の画像）は，図１９（ａ）に示す各視点画像の位置から，まず時計回り方向に，１８０度回転する。さらに，各視点画像が右１８０度回転した状態から，上下方向の垂直軸に対して，右眼用の画像と左眼用の画像がそれぞれミラー反転する。

（回転角度右２７０度およびミラー反転）
次に，図１９（ｄ）に示すように，各視点の視点画像とも回転角度右２７０度およびミラー反転の場合，各視点画像（右眼用の画像，左眼用の画像）は，図１９（ａ）に示す各視点画像の位置から，まず時計回り方向に，２７０度回転する。さらに，各視点画像が右２７０度回転した状態から，上下方向の垂直軸に対して，右眼用の画像と左眼用の画像が，それぞれミラー反転する。

以上から，各視点の視点画像が適当な角度に回転およびミラー反転した場合であっても，いずれの視点画像とも同じ角度だけ回転およびミラー反転しているため，各視点の視点画像から立体的に視認可能な立体視画像を容易に生成することが可能である。

なお，本実施の形態にかかる視点画像の回転およびミラー反転は，各視点の視点画像が個別に回転およびミラー反転してもよい。ここで，図２０を参照しながら，各視点の視点画像を回転およびミラー反転する場合について説明する。

（回転角度０度）
図２０（ａ）に示すように，上記説明の通り，各視点の視点画像とも回転角度０度およびミラー反転なしの場合，各視点の視点画像（右眼用の画像，左眼用の画像）ともに回転およびミラー反転されない。したがって，回転およびミラー反転前後の各視点画像は，変化せず，同じである。

（Ａ_２が回転角度右９０度およびミラー反転）
次に，図２０（ｂ）に示すように，各視点（Ａ_１，Ａ_２）のうちＡ_２の視点画像のみが，回転角度右９０度およびミラー反転の場合，Ａ_２の視点画像（左眼用の画像）は，図２０（ａ）に示すＡ_２の視点画像の位置から，まず時計回りに，９０度回転する。さらに，Ａ_２の視点画像が右９０度回転した状態から，上下方向の垂直軸に対して，Ａ_２の視点画像のみが，ミラー反転する。

（Ａ_２が回転角度右１８０度およびミラー反転）
次に，図２０（ｃ）に示すように，各視点（Ａ_１，Ａ_２）のうちＡ_２の視点画像のみが，回転角度右１８０度およびミラー反転の場合，Ａ_２の視点画像（左眼用の画像）は，図２０（ａ）に示すＡ_２の視点画像の位置から，まず時計回りに，１８０度回転する。さらに，Ａ_２の視点画像が右１８０度回転した状態から，上下方向の垂直軸に対して，Ａ_２の視点画像のみが，ミラー反転する。

（Ａ_１が回転角度右９０度およびミラー反転，Ａ_２が回転角度右１８０度およびミラー反転）
次に，図２０（ｄ）に示すように，各視点（Ａ_１，Ａ_２）のうちＡ_１の視点画像が回転角度右９０度およびミラー反転であり，Ａ_２の視点画像が回転角度右１８０度およびミラー反転の場合，各視点画像（右眼用の画像，左眼用の画像）は，図２０（ａ）に示すＡ_１およびＡ_２の視点画像の位置から，Ａ_１の視点画像は，時計回りに，９０度回転し，Ａ_２の視点画像は，時計回りに，１８０度回転する。さらに，Ａ_１の視点画像が右９０度回転した状態から，上下方向の垂直軸に対して，Ａ_１の視点画像がミラー反転し，Ａ_２の視点画像が右１８０度回転した状態から，上下方向の垂直軸に対して，Ａ_２の視点画像がミラー反転する。

次に，図２１を参照しながら，本実施の形態にかかる結合画像の記録処理について説明する。図２１は，本実施の形態にかかる結合画像の記録処理の概略を示すフローチャートである。

図２１に示すように，まず，撮像装置１００により被写体が撮影される（Ｓ６５０）。撮影直後の撮像素子１３０から伝送される視点画像データを，撮像部１０１の合成部１３１は，予め撮像装置１００に設定された環境情報により結合画像データに変換する。なお，結合画像データに変換せず，例えば図１３に示すような単に視点画像データに変換し，後ほどコンピュータ装置１５０等により結合画像データに変換する場合でもよい。

次に，結合画像データに変換するため，合成部１３１は，撮像直後の視点画像データのうち必要な画像領域だけを切り出す（Ｓ６５１）。切り出し処理については，後ほど説明するが，必要な画像領域は，アダプタなどの特性により予め有効領域が定まっている場合，または予め環境情報に領域が設定されている場合などを例示することができる。

次に，左右の視点画像から必要な画像領域が切り出されると（Ｓ６５１），上記説明したように，結合画像データの配置パターンを設定する（Ｓ６５２）。上記配置パターンの設定は，例えば，予め撮像装置１００のＧＵＩが表示される表示部（図示せず。）を介して環境情報として配置パターンを設定する場合，撮影するたびに配置パターンを設定する場合などを例示することができる。

ここで，図２２を参照しながら，配置パターンの設定について説明する。図２２に示すように，結合画像データに変換するための環境情報設定画面は，右視点画像を左右のどちら側に配置するのかを指定する指定領域６５４と，双方の視点画像がどちら向きに倒れた状態であるかを指定する指定領域６５５とから構成される。なお，図２２は，本実施の形態にかかる環境情報設定画面の概略的な構成を示す説明図である。

指定領域６５４および指定領域６５５の各々の領域に表示されたラジオ・ボタンを入力部（図示せず。）により選択することで，結合画像データの配置パターンが設定される。なお，本実施の形態にかかる環境情報設定画面は，撮像装置１００の表示部に表示される場合を例に挙げて説明したが，かかる例に限定されず，例えば，環境情報設定画面は，コンピュータ装置１５０等に表示される場合等でもよい。上記の場合，図１６に示す「回転」ボタンが押下された場合，上記環境情報設定画面が表示され，結合画像データに変換される。また，本実施の形態にかかる結合画像は，２視点だが，かかる例に限定されず，複数の視点の場合でもよい。また，上記ラジオ・ボタンの他に，マークをし，選択可能であれば，かかる例に限定されず，例えば，チェックボックスなどの場合でもよい。

上記配置パターン設定（Ｓ６５２）後，合成部１３１は，各視点画像のＬ画像データ（左眼用の画像）およびＲ画像データ（右眼用の画像）を，設定された配置パターンに従い回転等し，一体化し，結合画像データを生成する。なお，結合画像データはＬ画像データとＲ画像データとが，図１２（ｃ）に示す結合画像３５０のうちいずれかの配置形式で，一体化されている。

さらに，画像制御情報生成部１３３は，生成された上記結合画像データに対する画像制御情報を生成し，画像制御情報の“回転タグ”のタグのフィールドに，ミラー反転および回転の種類を示す値を設定する。なお上記“回転タグ”については，後述する。

次に，結合画像データおよび画像制御情報は，データ多重化部１３４により多重化され，記録媒体１３５に記録されると（Ｓ６５３），本実施の形態にかかる結合画像の記録方法の一連の処理が終了する。

結合画像および当該結合画像の画像制御情報とを記録媒体１３５に記録し，管理することにより，上記結合画像と画像制御情報とから立体視画像を容易に自動的に生成し，表示することができる。さらに，結合画像と画像制御情報をネットワークを介して，配信することができ，別のコンピュータ装置１５０等で，立体視画像を表示することができる。

次に，図２３を参照しながら，本実施の形態にかかる立体視画像を表示する立体視画像表示処理について説明する。図２３は，本実施の形態にかかる立体視画像表示処理の概略を示すフローチャートである。

図２３に示すように，まず，コンピュータ装置１５０は，入力部（図示せず。）からの指示に従い，記録媒体１３５に記録された上記結合画像データおよび画像制御情報を読み込む。

次に，コンピュータ装置１５０のデータ分離部１３６は，結合画像データと，画像制御情報とに分離する。

次に，図２３に示すように，画像分離部１３８は，デコードされた結合画像データをＬ画像データとＲ画像データとに分離する前に，まず必要な画像領域を切り出す（Ｓ６５６）。なお，画像分離部１３８は，画像制御情報に設定された結合画像タグの値に基づき，結合画像のどちら側が右視点画像であるのかを認識しておく。

次に，図２３に示すように，立体視表示部１４０に表示させるため，画像分離部１３８は，画像制御情報の“回転タグ”のフィールドの最下位桁から数えて，２バイト目から３バイト目に設定された値（“１”または“３”）に基づき，元の位置に戻すため，各視点画像データ（Ｌ画像データ，Ｒ画像データ）全体を一体として，全体回転角度右９０度または右２７０度に，全体回転する（Ｓ６５７）。全体回転は，各視点画像データ個別に回転するのではなく，各視点画像データを一組とする結合画像データ全体を回転することである。したがって，上下に横長のＬ画像データとＲ画像データとが重なっていることになる。なお，結合画像の記録処理時に回転した角度が回転角度右９０度の場合は，回転角度右２７０度となり，結合画像の記録処理時に回転した角度が回転角度右２７０度の場合は，回転角度右９０度となる。

例えば，図１２（ｃ）に示す結合画像のうち結合画像３５０−３の場合，結合画像３５０−３全体を時計回りに９０度回転することで，結合画像３５０−３は，上下にＲ画像とＬ画像とが配置する状態となる。

なお，上記全体回転の他にも，例えば，各視点画像データを９０度または右２７０度回転し，その後，双方の視点画像データが上下に位置するように，配列処理する等の場合でもよい。

上記回転処理（Ｓ６５７）が行われると，画像分離部１３８は，結合画像データに構成するＲ画像データとＬ画像データとを分離し，上記Ｌ画像データとＲ画像データとをそれぞれ画像変換部１３９に伝送する。

画像変換部１３９は，上記説明の通り，画像分離部１３８から伝送されたＲ画像データおよびＬ画像データとを適当に重ね合わせ処理等をすることで，立体視画像データに合成する（Ｓ６５８）。なお，画像変換部１３９は，画像制御情報に設定された結合画像タグの値に基づき，結合画像のどちら側が右視点画像であるのかを認識する。

したがって，立体視表示部１４０のアスペクトと適応するような比率の立体視画像データが，立体視表示部１４０に表示される（Ｓ６５９）。

なお，図１６に示すように，立体視画像データを生成後であっても，コンピュータ装置１５０の立体視表示部１４０に表示されるＧＵＩ画面２２０からＲ画像データとＬ画像データとを回転または回転およびミラー反転させて，再度，立体視画像データを生成することができる。

図１６に示すように，ＧＵＩ画面２２０の「回転」ボタンを，コンピュータ装置１５０に備わるマウスなどの入力部（図示せず。）により押下し，所定の回転角度またはミラー反転の有無を選択すると，画像分離部１３８は，画像制御情報の“回転タグ”のフィールドに設定された値を変更する。例えば，“０”（回転角度０度）から，“５”（回転角度右９０度およびミラー反転）などに更新する。

さらに，図２２に示すように，上記「回転」ボタンの押下の際，表示される環境情報画面に，所定事項を入力すると，結合画像の配置パターンを変更することができる。

次に，図２４を参照しながら，本実施の形態にかかる立体視画像の画像表示方法について説明する。図２４は，本実施の形態にかかる立体視画像の画像表示処理の概略を示すフローチャートである。

まず，予め撮像装置１００に，各視点画像データを回転する種類を選択する。選択する場合，撮像装置１００の表示部（図示せず。）に表示されるＧＵＩ画面等により設定する。

例えば，ＧＵＩ画面には，例えば，視点画像ごとに“０（回転０度）”，“１（回転右９０度）”，“２（回転右１８０度）”，“３（回転右２７０度）”，“４（回転０度，ミラー反転）”，“５（回転角度右９０度およびミラー反転）”，“６（回転角度右１８０度およびミラー反転）”，“７（回転角度右２７０度およびミラー反転）”等と表示される。なお，予め回転角度が設定されており，選択することができない場合，選択する必要はない。

次に，図２４に示すように，撮像装置１００により被写体が撮像されると，撮像部１０１の合成部１３１は，撮像素子１３０から伝送される視点画像データを，結合画像タグで設定された平行配置または交差配置に従い，配置する。

さらに，記録媒体１３５に記憶された視点画像データから立体視画像を効率よく生成するため，合成部１３１により，視点画像データを時計回り９０度または２７０度それぞれ回転する第１回転工程が行われる（Ｓ６０１）。

上記第１回転工程（Ｓ６０１）後，合成部１３１は，各視点画像のＬ画像データ（左眼用の画像）およびＲ画像データ（右眼用の画像）を一体化し，第１結合画像データを生成する。なお，第１結合画像データはＬ画像データとＲ画像データとが一体化され，記録媒体１３５に画像制御情報と共に，記録されている。

また，画像制御情報生成部１３３は，生成された上記結合画像データに対する画像制御情報を生成し，画像制御情報の“回転タグ”のタグのフィールドに，ミラー反転および回転の種類を示す値を設定する。

ここで，図２５を参照しながら，“回転タグ”のタグのフィールドに設定される値について説明する。図２５は，本実施の形態にかかる“回転タグ”のタグのフィールドに設定される値の概略を示す説明図である。

上記“回転タグ”は，各視点画像に対して設定可能であり，“回転タグ”のタグのバイト数は，５バイトである。上記５バイトのうち，最下位桁から数えて１バイト目までの１バイトには，視点位置（Ａ_１，Ａ_２，Ａ_３，…）のうち，水平方向の視点位置（水平方向座標）を表わす値が設定され，次に最下位桁から数えて，１バイト目から２バイト目までの１バイトには，視点位置（Ａ_１，Ａ_２，Ａ_３，…）のうち，垂直方向の視点位置（垂直方向座標）を表わす値が設定され，最下位桁から数えて２バイト目から３バイト目までの１バイトには，回転，回転およびミラー反転の種類を表す値が設定される。なお，上記バイトの構成に限らない。

図２５に示すように，上記最下位桁から数えて２バイト目から３バイト目までの１バイトに設定される値は，７種類の値から構成されている。上記１バイトに該当するビット列は，１ビット目から，順に８ビット目まで続いている。なお，初期設定値は，“０”とする。なお，本実施の形態にかかる回転または回転およびミラー反転の種類を表す値は，７種類の値である場合を例に挙げて説明したが，１又は２以上の種類からなる値からなる場合であれば，かかる例に限定されない。

図２５に示すように，１ビット目および２ビット目に“０”または“１”の値が設定されることにより，回転の種類の値を表わしている。例えば，１ビット目に“０”が設定され，２ビット目に“１”が設定された場合，回転の種類の値は，“２”となり，回転角度右１８０度の回転となる。

次に，３ビット目は，ミラー反転の有無を表わしている。３ビット目に“０”が設定された場合，ミラー反転は“無し”であり，“１”が設定された場合，ミラー反転は“有り”である。

なお，上記最下位桁から１バイト目まで（水平方向視点位置），および１バイト目から２バイト目まで（垂直方向視点位置）がいずれも“−１”の場合（−１，−１），２バイト目から３バイト目に設定される回転種類の値は，全視点画像に対して有効であるとする。例えば，視点位置が“Ａ_１”，“Ａ_２”，“Ａ_３”からなる３視点の場合で，全視点画像に対して，回転角度右９０度およびミラー反転の場合，“回転タグ”の最下位桁から各１バイトごとに“（５，−１，−１）”を設定することにより，一回の設定で，３視点の視点画像全てに対して，回転またはミラー反転することができる。“（−１，−１）”を設定しない場合は，“（５，０，０）”，“（５，０，１）”，および“（５，０，２）”などと，３回の設定が必要となる。

なお，図２５に示すように，４ビット目から８ビット目はいずれも“０”が設定されているが，かかる例に限定されず，例えば，４ビット目に各視点画像全体を回転する“全体回転”を示す値を設定する場合などであってもよい。

したがって，各視点画像全てに回転または回転およびミラー反転する場合，画像制御情報生成部１３３は，効率的に画像制御情報の“回転タグ”のタグのフィールドに値を設定することができる。

なお，本実施の形態にかかる画像表示処理においては，上記“回転タグ”には，回転角度右９０度（回転タグの２バイト目から３バイト目に設定される値“１”。）または回転角度右２７０度（回転タグの２バイト目から３バイト目に設定される値“３”。）の値が設定される。

次に，結合画像データおよび画像制御情報は，データ多重化部１３４により多重化され，記録媒体１３５に記録される。

次に，コンピュータ装置１５０は，記録媒体１３５から上記結合画像データおよび画像制御情報を読み込む。

コンピュータ装置１５０のデータ分離部１３６は，結合画像データと，画像制御情報とに分離する。

画像分離部１３８は，デコードされた結合画像データをＬ画像データとＲ画像データとに分離する。なお，上記分離処理は，後述の切出処理などが例示される。なお，画像分離部１３８は，画像制御情報に設定された結合画像タグの値に基づき，結合画像のどちら側が右視点画像であるのかを認識する。

次に，図２４に示すように，立体視表示部１４０に表示させるため，画像分離部１３８は，画像制御情報の“回転タグ”のフィールドの最下位桁から数えて，２バイト目から３バイト目に設定された値（“１”または“３”）から，各視点画像データ（Ｌ画像データ，Ｒ画像データ）全体を一体として，全体回転角度右９０度または右２７０度に，全体回転する第２回転工程が行われる（Ｓ６０３）。全体回転は，各視点画像データ個別に回転するのではなく，各視点画像データを一組とする第２結合画像データ全体を回転することである。したがって，第１回転工程（Ｓ６０１）前の元の状態となり，図１２（ｂ）に示すような，上下に横長のＬ画像データとＲ画像データとが重なっていることになる。

上記第２回転工程（Ｓ６０３）が行われると，上記Ｌ画像データとＲ画像データとの組からなる第２結合画像データが，画像分離部１３８により，画像変換部１３９に伝送される。

画像変換部１３９は，上下に並んだ上記第２結合画像データに含まれるＬ画像データとＲ画像データとを合成し（Ｓ６０４），立体視画像データを生成する。

したがって，立体視表示部１４０のアスペクトと適応するような比率の立体視画像データが，立体視表示部１４０に表示される。なお，画像変換部１３９は，画像制御情報に設定された結合画像タグの値に基づき，結合画像のどちら側が右視点画像であるのかを認識する。

なお，図１６に示すように，立体視画像データを生成後であっても，コンピュータ装置１５０の立体視表示部１４０に表示されるＧＵＩ画面２２０からＲ画像データとＬ画像データとを回転または回転およびミラー反転させて，再度，立体視画像データを生成することができる。

図１６に示すように，ＧＵＩ画面２２０の「回転」ボタンを，コンピュータ装置１５０に備わるマウスなどの入力部（図示せず。）により押下し，所定の回転角度またはミラー反転の有無を選択すると，画像分離部１３８は，画像制御情報の“回転タグ”のフィールドに設定された値を変更する。例えば，“０”（回転角度０度）から，“５”（回転角度右９０度およびミラー反転）などに更新する。

画像分離部１３８は，変更後の画像制御情報の“回転タグ”のフィールドに設定された値に基づき，第２結合画像データを全体回転する（Ｓ６０３）。

画像変換部１３９は，Ｌ画像データおよびＲ画像データを合成し（Ｓ６０４），立体視画像データを生成することにより，立体視画像データは，立体視表示部１４０に表示される。

したがって，回転角度０度であるにもかかわらず，回転角度右２７０度として認識され，立体視画像データに変換された場合であっても，適当な立体視画像データを生成することが可能となる。

また，図２６を参照しながら，本実施の形態にかかる立体視画像の画像表示方法の変形例について説明する。図２６は，本実施の形態にかかる立体視画像の画像表示処理の変形例の概略を示すフローチャートである。なお，図２４を参照しながら，説明した本実施の形態にかかる立体視画像の画像表示方法との差異点について特に詳述する。

まず，予め撮像装置１００に，各視点画像データを回転する種類を選択する。選択する場合，撮像装置１００の表示部（図示せず。）に表示されるＧＵＩ画面等により設定する。

次に，図２６に示すように，撮像装置１００により被写体が撮像されると，撮像部１０１の合成部１３１は，撮像素子１３０から伝送される視点画像データを，設定された平行配置または交差配置に従い，配置する。

さらに，合成部１３１により，９０度または２７０度それぞれ同方向に回転する第１回転工程が行われる（Ｓ６０６）。

上記第１回転工程（Ｓ６０６）後，合成部１３１は，Ｌ画像データおよびＲ画像データを一体化し，第１結合画像データを得る。なお，第１結合画像データはＬ画像データとＲ画像データとが一体化されている。Ｌ画像データとＲ画像データとのアスペクトは縦長の画像となっている。

また，画像制御情報生成部１３３は，生成された上記結合画像データに対する画像制御情報を生成し，画像制御情報の“回転タグ”のタグのフィールドに，回転およびミラー反転または回転の種類を示す値を設定する。

なお，本実施の形態にかかる画像表示処理においては，上記“回転タグ”のフィールドには，各視点位置と回転角度右９０度（“１”）または回転角度右２７０度（“３”）の値が設定される。

次に，結合画像データおよび画像制御情報は，データ多重化部１３４により多重化され，記録媒体１３５に記録される。

また，コンピュータ装置１５０は，記録媒体１３５から上記結合画像データおよび画像制御情報を読み込む。

コンピュータ装置１５０のデータ分離部１３６は，結合画像データと，画像制御情報とに分離する。

画像分離部１３８は，デコードされた上記第１結合画像データをＬ画像データとＲ画像データとに分離する。なお，上記分離処理は，後述の切出処理などが例示される。

次に，図２６に示すように，立体視表示部１４０の画面を回転角度右９０度または右２７０度に回転する画面回転工程が行われる（Ｓ６０８）。回転前の立体視表示部１４０には，Ｌ画像データとＲ画像データは左右に縦長に表示された状態であり，回転により，立体視表示部１４０には，縦長のＬ画像データとＲ画像データとが左右に表示された状態となる。

上記画面回転工程（Ｓ６０８）が行われると，上記Ｌ画像データとＲ画像データとが，画像分離部１３８により，画像変換部１３９に伝送される。

画像変換部１３９は，左右に並んだ縦長のＬ画像データとＲ画像データとを合成し（Ｓ６１０），立体視画像データを生成する。

したがって，立体視表示部１４０の縦長画面のアスペクトと適応するような比率の縦長の立体視画像データが，立体視表示部１４０に表示される。なお，立体視表示部１４０は，４枚ミラーなどのアダプタを装着したプロジェクタなどの場合でもよい。

なお，本実施の形態にかかる視点画像の回転は２視点である場合を例に挙げて説明したが，かかる例に限定されず，複数の視点である場合であっても実施可能である。

したがって，立体視表示部１４０は，立体視表示部１４０の画面を９０度または２７０度回転するだけで，Ｒ画像データとＬ画像データとを合成することで，横長ワイドの立体視画像を表示することができる。

（アダプタ型番情報）
次に，本実施の形態にかかるアダプタ型番情報について説明する。本実施の形態にかかるアダプタ型番情報は，光学アダプタ１０５の型番のみならず，光学アダプタ１０５の光学情報などを識別するための情報であり，アダプタ情報などが該当する。なお，アダプタ型番情報は，例えば，複数存在する画像制御情報のタグのうち，“使用者データ領域タグ”等のタグのフィールドに記録される。

図２に示すように，光学アダプタ１０５は，例えば，ミラー１２１およびミラー１２２を備える２枚ミラーのアダプタを例示することができる。矢印“右”方向の視点から入射される光は，ミラー１２１およびミラー１２２によって反射され，Ｒ画像として視差画像が生成される。

また，図２に示す，矢印“左”方向の視点から入射される光は，ミラー１２１およびミラー１２２によって反射されず，そのままスルーし，Ｌ画像として視差画像が生成される。

ミラー１２１およびミラー１２２によって反射されて生成されるＲ画像は，Ｌ画像と比較して，例えば，画質（輝度，彩度，解像度等）が劣化している。また，Ｒ画像の周辺部（上辺部，下辺部，および左辺部）は，中心部に比較して輝度が低下している。また，Ｒ画像は，本来，矩形である画像が台形に歪んだものとなる。

上記輝度，彩度，解像度，または台形の歪みは，光学アダプタ１０５固有であるため，立体視画像に変換する際に，Ｒ画像を補正するための補正量は予め決まっている。

したがって，コンピュータ装置１５０は，光学情報として輝度，彩度，解像度，または台形の歪みなどの補正情報を，各光学アダプタ１０５のアダプタ型番情報と一対一対応するように，記憶部（図示せず）記憶することで，適正な立体視画像に変換することができる。なお，上記補正情報は，光学アダプタ１０５ごとに補正内容を示す補正内容情報として記憶される。補正内容情報については，後述する。

また，本実施の形態にかかる光学アダプタ１０５は，ミラー１２１およびミラー１２２を備えた２枚ミラーアダプタであるが，かかる例に限定されず，図２８に示すように，４枚ミラーアダプタ，山形プリズムアダプタ，アナモルフィックレンズアダプタ，バリアングルプリズムアダプタ（ＶＡＰアダプタ）などを例示することができる。

本実施の形態にかかるアダプタ型番情報は，光学アダプタ１０５の種類等に応じて異なる。以下，図２８を参照しながら，２枚ミラーアダプタ以外の光学アダプタ１０５について説明する。

図２８（ａ）に示す光学アダプタ１０５−１は，ミラー５５１−１，ミラー５５１−２，ミラー５５１−３，およびミラー５５１−４を備える４枚ミラーアダプタである。

上記光学アダプタ１０５−１を撮像装置１００に備えることで，１回の撮影（シャッター）で２視点からなる視点画像を撮ることができる。例えば，左眼用のＬ画像と，右眼用のＲ画像などのように，一度に２視点画像を撮ることができる。

なお，本実施の形態にかかる光学アダプタ１０５−１は，上記説明したミラー１２１およびミラー１２２を備えた２枚ミラーアダプタの場合と同様に，台形歪み等が発生する。

したがって，例えば，左眼用および右眼用の視点画像から立体視画像に変換する際には，予め視点画像の台形歪みを無くす等の補正を行ってから立体視画像に変換する必要がある。なお，上記台形歪み等の補正量は光学アダプタ１０５−１固有である。

なお，上記光学アダプタ１０５−１に関する補正は，光学アダプタ１０５ごとに補正の内容を示す補正内容情報として記憶される。補正内容情報については，後述する。

次に，図２８（ｂ）に示す光学アダプタ１０５−２は，山形プリズムアダプタである。上記山形プリズムアダプタからなる光学アダプタ１０５−２を撮像装置１００に備えることで，４枚ミラーアダプタ等と同様に，１回の撮影（シャッター）で，例えば２視点画像等を撮ることができる。

なお，本実施の形態にかかる光学アダプタ１０５−２は，１つの山形プリズムアダプタから構成される場合を例に挙げて説明するが，かかる例に限定されず，例えば，光学アダプタ１０５−２は，複数の山形プリズムアダプタから構成される場合であっても実施可能である。

なお，本実施の形態にかかる光学アダプタ１０５−２は，上記説明した２枚ミラーアダプタ，４枚ミラーアダプタの場合と同様に，台形歪み，色収差等が発生する。

したがって，例えば，左眼用および右眼用の視点画像から立体視画像に変換する際には，予め視点画像の台形歪みを除く補正，及び色収差等の補正を行ってから立体視画像に変換する必要がある。なお，上記台形歪み及び色収差等の補正量は光学アダプタ１０５−２固有である。また，本実施の形態にかかる色収差の補正については，例えば，色が滲んでいる個所については黒く塗りつぶすなどの補正を例示することができる。

上記光学アダプタ１０５−２に関する補正は，光学アダプタ１０５ごとに補正の内容を示す補正内容情報として記憶される。補正内容情報については，後述する。

図２８（ｃ）に示す光学アダプタ１０５−３は，ミラー（図示せず。）およびアナモルフィックレンズを備えるアナモルフィックレンズアダプタである。なお，上記アナモルフィックレンズは，縦横の２方向にそれぞれ焦点距離の異なる光軸を持つレンズであり，光学的に画像の縦横比率（アスペクト比）を変倍することができる。

したがって，上記光学アダプタ１０５−３には，上記アナモルフィックレンズと，ミラー（図示せず。）から構成されているため，光学アダプタ１０５−３を撮像装置１００に備えることで，１回の撮影（シャッター）で，例えば２視点からなるアスペクト比が変倍された視点画像を撮ることができる。

なお，本実施の形態にかかるアスペクト比の変倍は，例えば，３：４を９対１６に変倍するが，かかる例に限定されず，倍率が２倍程度弱であれば，その他いかなる倍率であってもアスペクト比を変倍することは実施可能である。

なお，本実施の形態にかかる光学アダプタ１０５−３は，上記説明したミラー２枚ミラーアダプタ，４枚ミラーアダプタ等の場合と同様に，台形歪み等が発生する。

したがって，例えば，左眼用および右眼用の視点画像から立体視画像に変換する際には，予め視点画像の台形歪み等の補正を行ってから立体視画像に変換する必要がある。なお，上記台形歪み等の補正量は光学アダプタ１０５−３固有である。

また，左眼用および右眼用の視点画像のアスペクト比が変倍されているため，必要に応じて，上記２視点画像から立体視画像に変換する際に，上記アスペクト比を補正する必要がある。なお，上記アスペクト比の変倍は，アナモルフィックレンズごとに予め固有のものである。

なお，上記光学アダプタ１０５−３に関する補正は，光学アダプタ１０５のアダプタ型番ごとに補正の内容を示す補正内容情報として記憶される。補正内容情報については，後述する。

次に，本実施の形態にかかるアダプタ型番情報の設定方法について説明する。

まず，予め装置撮像装置１００に装着するアダプタ型番の種類を選択する。アダプタ型番を選択する場合，撮像装置１００の表示部（図示せず。）に表示されるＧＵＩ画面２２１により設定する。

図２７に示すように，ＧＵＩ画面２２１には，“１番”〜“６番”からなる各アダプタ型番名と，アダプタ型番を選択するためのアダプタ選択部２２３と，「選択」ボタンとが表示される。

なお，図２７に示す“１番”のアダプタ型番は，“ＭＯＮＹ ＦＳ＿Ａｄａｐｔｏｒ １．０”であり，上記“１番”のアダプタは，４枚ミラーアダプタである。また，“２番”のアダプタ型番は，“ＭＯＮＹ ＦＳ＿Ａｄａｐｔｏｒ ２．０”であり，上記“１番”のアダプタは，山形プリズムアダプタである。

さらに，図２７に示す“３番”のアダプタ型番は，“ＭＯＮＹ ＦＳ＿Ａｄａｐｔｏｒ ３．０”であり，上記“３番”のアダプタは，２枚ミラーアダプタである。“４番”のアダプタ型番は，“ＭＯＮＹ ＦＳ＿Ａｄａｐｔｏｒ ４．０”であり，上記“４番”のアダプタは，４枚ミラーとアナモルフィックレンズとが備わるアダプタである。

“５番”のアダプタ型番は，“ＭＯＮＹ ＦＳ＿Ａｄａｐｔｏｒ ５．０”であり，上記“５番”のアダプタは，山形プリズムとアナモルフィックレンズとが備わるアダプタである。

“６番”のアダプタ型番は，“ＭＯＮＹ ＦＳ＿Ａｄａｐｔｏｒ ６．０”であり，上記“６番”のアダプタは，２枚ミラーとアナモルフィックレンズとが備わるアダプタである。

次に，表示されたアダプタ型番名の中から，ジョグダイヤルなどの入力部により，撮像装置１００に装着された光学アダプタ１０５のアダプタ型番が選択されると，アダプタ選択部２２３は，上記選択されたアダプタ型番が設定されたアダプタ型番情報を生成する。なお，上記アダプタ型番情報は，撮像装置１００の記憶部（図示せず。）等に一時的に記憶される。

次に，撮像装置１００により被写体が撮像されると，撮像部１０１の合成部１３１は，撮像素子１３０から伝送される視点画像データ（Ｌ画像データ，Ｒ画像データ）を合成し，結合画像データを生成する。

また，画像制御情報生成部１３３は，生成された上記結合画像データに対する画像制御情報を生成し，一時記憶された上記アダプタ型番情報を，画像制御情報の“使用者データ領域タグ”のタグのフィールドに設定する。

なお，画像制御情報生成部１３３は，上記“使用者データ領域タグ”のタグのフィールドに，上記アダプタ型番情報を設定する前に，“使用者データ領域サイズタグ”のタグのフィールドに，上記アダプタ型番情報のデータサイズ（バイト長）等を設定する。

図２７に示す“２番”のアダプタ型番名が選択された場合，アダプタ型番情報には，“ＭＯＮＹ ＦＳ＿Ａｄａｐｔｏｒ １．０”が設定されている。上記アダプタ型番情報が，“使用者データ領域タグ”のタグのフィールドに設定される。

なお，上記“使用者データ領域タグ”のタグのフィールドにアダプタ型番情報を設定する場合，予めアダプタ型番情報の設定の有無を示す“使用者データ領域サイズタグ”等のタグのフィールドに，例えば，設定する旨を示す“１”が格納される。設定しない場合，“０”が格納される。

次に，結合画像データおよび画像制御情報は，データ多重化部１３４により多重化され，記録媒体１３５に記録される。

コンピュータ装置１５０は，記録媒体１３５から上記結合画像データおよび画像制御情報を読み込む。次に，コンピュータ装置１５０のデータ分離部１３６は，結合画像データと，画像制御情報とに分離する。

画像分離部１３８は，画像制御情報の“使用者データ領域タグ”のフィールドに設定されたアダプタ型番情報を取得し，上記アダプタ型番情報に基づき，記憶部（図示せず。）から上記アダプタ型番情報と一意的に定まる補正内容情報（図示せず。）を取得する。

上記補正内容情報は，アダプタ型番ごとに行われる補正内容が指示されている情報である。例えば，アダプタ型番が“ＭＯＮＹ ＦＳ＿Ａｄａｐｔｏｒ １．０”である場合の補正内容情報は，台形歪みを除去する補正，Ｒ画像データの輝度のレベルを所定レベル下げる補正，およびＲ画像データの彩度のレベルを所定レベル上げる補正等である。上記補正内容情報は，アダプタ型番ごとに固有の情報である。

画像分離部１３８は，補正内容情報に基づき，デコードされた結合画像データの各視点画像データ（Ｌ画像データまたはＲ画像データ）を補正する。なお，アダプタ型番に係る補正内容情報が存在しない場合，何も補正せずに，画像変換部１３９に伝送する。なお，画像分離部１３８，画像変換部１３９は，画像制御情報のうち結合画像タグに設定された値に基づき，結合画像の右視点画像がどちらであるかを認識している。

画像分離部１３８から伝送されたＲ画像データおよびＬ画像データは，画像変換部１３９により，立体視画像データに変換される。

なお，補正内容情報に基づき補正された立体視画像データが生成された後であっても，コンピュータ装置１５０の立体視表示部１４０に表示されるＧＵＩ画面（図示せず。）を介して，Ｒ画像データまたはＬ画像データを補正し，再度，立体視画像データを生成することも実施可能である。

（ペイント画像データ，階層情報）
次に，本実施の形態にかかるペイント画像データおよび階層情報について説明する。本実施の形態にかかるペイント画像データは，例えば，文字，図形，記号，またはフレームなどから構成される静止画像データである。

上記ペイント画像データがフレーム画像である場合，当該フレーム画像データは，例えば，視点画像の縁部，または視点画像の枠（フレーム）周辺の画像などを示す。

なお，本実施の形態にかかるペイント画像データのうち，文字，図形，記号，またはフレームなどから構成される静止画像データは，平面表示である２Ｄ画像または立体表示である３Ｄ画像のどちらの場合でもよい。

また，本実施の形態にかかるペイント画像データは，静止画像データである場合を例に挙げて説明したが，かかる例に限定されず，例えば，ペイント画像データは，アニメーション等の動画像データである場合でも実施可能である。

本実施の形態にかかる階層情報は，文字，図形，記号，またはフレームなどの上記ペイント画像ごとに設定することが可能である。また，視点画像全体に対して階層情報を設定することも可能である。

ペイント画像データを立体視画像データに重畳させる場合，まず，画像制御情報の“データ構成種別タグ”のタグのフィールドに，ペイント画像データが存在する旨の値を設定する必要がある。

“データ構成種別タグ”は，撮像装置１００の合成部１３１が生成するデータ種別を示す。データの種別毎に，立体視画像ファイル内部にデータが存在するか否かを示す。データ種別は，例えば，視差画像データ（結合画像データ），またはペイント画像データ等が存在する。なお，立体視画像ファイル外部にリンクするようにしてペイント画像データが存在する場合であってもよい。

“データ構成種別タグ”のタグのフィールドは，１バイトであり，上記１バイト（８ビット）のうち，最下位ビット（ｂｉｔ０）は，視差画像データまたは結合画像データの存在の有無を示す。

上記最下位ビットに，“０”が設定された場合，視差画像データまたは結合画像データは存在しない。“１”が設定された場合，視差画像データまたは結合画像データは存在する。

次に，上記最下位ビットの次桁のビット（ｂｉｔ１）は，ペイント画像データの存在の有無を示す。上記ｂｉｔ１に，“０”が設定された場合，ペイント画像データは存在しない。“１”が設定された場合，ペイント画像データは存在する。

なお，上記１バイトのうち残りの６ビットは，予約ビットであり，データ種別が追加された場合，必要に応じて，値が設定される。追加されない場合，初期値の“０”が各ビット（ｂｉｔ２〜ｂｉｔ７）に設定されている。

また，本実施の形態にかかるｂｉｔ２〜ｂｉｔ７は，予約ビットである場合を例に挙げて説明したが，かかる例に限定されず，例えば，ｂｉｔ２にはペイント画像データのうち２Ｄの文字の有無を示す値が設定され，ｂｉｔ３には３Ｄの文字の有無を示す値が設定され，ｂｉｔ４には２Ｄの図形の有無を示す値が設定され，ｂｉｔ５には３Ｄの図形の有無を示す値が設定され，ｂｉｔ６には２Ｄの枠の有無を示す値が設定され，ｂｉｔ７には３Ｄの枠の有無を示す値が設定される等の場合であってもよい。

また，ペイント画像データは，画像の奥行きを示す階層情報を付属している。なお，ペイントデータの階層情報を、ペイントデータの左右方向オフセット値として管理することも可能である。上記階層情報は，複数のペイント画像データが存在する場合，例えば，ペイント画像データの重なり具合を相対的に管理する等の情報である。

階層情報は，レベル１，レベル２，レベル３，…とレベルが増加するにつれて階層が下になる。レベル１の階層が一番上の階層となる。したがって，レベル１の階層情報は，レベル２の階層情報よりも階層が上となる。

例えば，階層情報がレベル１の“Ａ”の文字からなるペイント画像データと，階層情報がレベル２の“Ｂ”の文字からなるペイント画像データが重なり合う場合，“Ａ”のペイント画像データの階層情報の方が，階層が上のため，“Ａ”および“Ｂ”の重なり合う部分は，“Ａ”のペイント画像データが表示される。

また，図１６に示すように，ＧＵＩ画面２２０に表示される「ペイント入力」ボタンが押下されると，上記ペイント画像データを生成し，ペイント画像２２４，ペイント画像２２５，またはメインエリア２２２に表示される立体視画像のフレームのペイント画像（“☆”等のような星印でハッチングされたフレーム。）等を表示することができる。

メインエリア２２２には，メインエリア２２２に表示されている立体視画像に重畳して，任意の文字または記号等からなるペイント画像が表示される。「ペイント入力」ボタンの押下され，適当な文字または記号等が指定されると，指定された文字等のペイント画像が，立体的に視認されるように立体視画像に重畳される。

したがって，図２９に示すように，「ペイント入力」ボタンが押下されると，画像変換部１３９は，ペイント画像データを生成し，立体視画像データにペイント画像データを嵌め込む嵌込工程が行われる（Ｓ６１２）。なお，メインエリア２２２に表示されるペイント画像は，マウスのドラッグ・アンド・ドロップ等により，任意の位置に移動することができる。図２９は，本実施の形態にかかる画像処理方法の概略を示すフローチャートである。

また，ペイント画像２２４−１の階層は，ペイント画像２２４−２の階層よりも下であるため，重なり合う部分は，ペイント画像２２４−２が表示されている。上記ペイント画像２２４−１をマウスのクリック等で選択し，ＧＵＩ画面２２０に表示された「近く」ボタンを押下することにより，ペイント画像２２４−１の階層情報に設定されたレベルが上がる。

ペイント画像２２４−１の階層のレベルが上がると，ペイント画像２２４−２との重なり部分は，ペイント画像２２４−１が表示される。また，ペイント画像２２４−１が選択された状態で，「近く」ボタンが押下されると，ペイント画像２２４−１が，遠近感が近づく画像になる。なお，階層情報の階層のレベルを下げ，ペイント画像２２４を立体視したときの遠近感を遠ざける場合には，「遠く」ボタン１４３が，押下される。

さらに，右眼用の視点画像および左眼用の視点画像におけるオブジェクトの配置と，上記階層情報とを関連付けることで，図１６に示すように，立体視画像のオブジェクトの配置に関連付けられた階層情報に応じて，吹き出しのようにペイント画像２２５を，インデックスとして表示することもできる。

上記ペイント画像２２５は，ポップアップ形式に立体視画像におけるオブジェクトを指し示すペイント画像データである。例えば，図１６に示すペイント画像２２５−１には，オブジェクト“やしの木”の文字等のインデックスが表示され，ペイントインデックス画像２２５−２には，オブジェクト“ヨット”の文字等のインデックスが立体的に飛び出すように表示される。

上記ペイント画像２２５は，立体視画像における適当なオブジェクトを，入力部によりクリックすることで，オブジェクトを選択すると，ペイント画像２２５が，表示される。なお，ペイント画像２２５の立体的に飛び出す具合は，表示されるペイント画像２２５に付属する階層情報に基づいて，表示される。

ここで，上記ペイント画像２２５に付属する階層情報に階層のレベルが設定されていない場合，上記説明のように，“近く”ボタンまたは“遠く”ボタンをクリックなどにより選択することで，適当な階層のレベルが階層情報に設定される。

なお，本実施の形態にかかる階層情報の設定は，Ｌ画像とＲ画像の視点画像における対応点での色差等に基づき算出される値から，階層のレベルを設定してもよい。

また，ペイント画像２２５の枠内には“やしの木”などの文字が入力，または“やしの木”の図形などが貼り付けられる。なお，予めオブジェクトに対応する文字または図形などがオブジェクトテーブル（図示せず。）等に定義することで，オブジェクトをクリックするだけで，自動的にペイント画像２２５の枠内にオブジェクトテーブルで対応付けられた文字又は図形などが設定される場合でもよい。なお，オブジェクトテーブルは，撮像装置１００またはコンピュータ装置１５０に備わる記憶部（図示せず。）等に記憶される。

なお，本実施の形態にかかるペイント画像２２５には，“ヨット”または“やしの木”などの文字が表示される場合を，例に挙げて説明したが，かかる例に限定されず，例えば，ペイント画像２２５には，“ヨット”または“やしの木”などの図形が表示される場合であっても実施可能である。

また，上記ペイント画像２２５−１とペイント画像２２５−２は，オブジェクトの配置に関連付けられた階層情報に応じて，ペイント画像２２５が立体的に飛び出す度合いが異なる。

ペイント画像２２５−１のオブジェクトは，“やしの木”で，ペイントインデックス画像２２５−２のオブジェクトは，“ヨット”のため，立体視画像における双方のオブジェクトの配置関係では，上記“やしの木”のオブジェクトの方が手前に位置している。

つまり，上記“やしの木”のオブジェクトに対応するペイント画像２２５−１の階層情報の方が，“ヨット”のオブジェクトに対応するペイント画像２２５−２の階層情報ようりも，レベルが低く，階層は上である。

したがって，上記“やしの木”にかかるペイント画像２２５−１の方が，上記“ヨット”にかかるペイント画像２２５−２よりも手前に立体的に飛び出すように（飛び出す度合いが高い。），表示される。なお，かかる例に限定されず，ペイント画像２２５は，平面的に表示される場合であってもよい。平面的に表示する際，階層情報における階層が上である程ペイント画像２２５の表示を大きくする場合等でもよい。

遠くに配置されたオブジェクトについては遠くに，近くに配置されたオブジェクトについては近くに，階層情報に応じてペイント画像２２５が表示されることで，オブジェクトとペイント画像２２５の対応関係の認識を一層深め，立体視画像に構成されるオブジェクトの視認性が高まる。

また，ペイント画像２２５が平面的な２Ｄ画像の場合よりも，３Ｄ画像の方が，表示可能な領域が３次元と広く，画像が立体的に表示されるため，視認性が高まる。

また，本実施の形態にかかる立体視画像内のオブジェクトに対応付けられた階層情報に基づき，ペイント画像２２５の立体的な飛び出し度合いが定まる場合を例に挙げて説明したが，かかる例に限定されず，上記階層情報に基づき，３Ｄ音声などのように，音源の３次元の奥行きが定まる場合であっても実施可能である。

したがって，オブジェクトを入力部によるクリック等で選択すると，上記オブジェクトと対応するペイント画像２２５に付属する階層情報に基づき，オブジェクトの３次元における位置が定まり，オブジェクトの位置する方向から臨場感のある音声が発生する。なお，音声は立体視表示部１４０に備わるスピーカーを介して出力される。

（視点画像データの切出し）
次に，本実施の形態にかかる視点画像データの切出について説明する。本実施の形態にかかる視点画像データの切出には，（１）切出画像領域の設定による切出と，（２）有効領域の設定による切出とが存在する。

（切出画像領域）
上記（１）切出画像領域の大きさ，位置，オフセット値などは，上記説明の画像制御情報の“ＣｒｏｐＳｉｚｅＸ”，“ＣｒｏｐＳｉｚｅＹ”，“ＣｒｏｐＯｆｆｓｅｔＸ”，および“ＣｒｏｐＯｆｆｓｅｔＹ”のタグのフィールドに格納される。

“ＣｒｏｐＳｉｚｅＸ”及び“ＣｒｏｐＳｉｚｅＹ”のタグは，切出画像領域のサイズ（水平方向（Ｘ），垂直方向（Ｙ））を示す。“ＣｒｏｐＯｆｆｓｅｔＸ”及び“ＣｒｏｐＯｆｆｓｅｔＹ”のタグは，各切出画像領域のオフセット（水平方向（Ｘ），垂直方向（Ｙ））を示す。

図３０に示すように，“ＣｒｏｐＳｉｚｅＸ”及び“ＣｒｏｐＳｉｚｅＹ”のタグのバイト長は，それぞれ４バイトであり，ＣｒｏｐＯｆｆｓｅｔＸ”及び“ＣｒｏｐＯｆｆｓｅｔＹ”のタグのバイト長は，それぞれ６バイトである。

また，“ＣｒｏｐＳｉｚｅＸ”，“ＣｒｏｐＳｉｚｅＹ”のフィールドに設定可能な領域サイズは，１〜４２９４９６７２９５（ｄｏｔ）である。また，“ＣｒｏｐＯｆｆｓｅｔＸ”，“ＣｒｏｐＯｆｆｓｅｔＹ”のタグのフィールドに設定される値は，上記フィールドのうち最下位桁の１バイト目には，水平方向の視点位置のＸ座標が設定され，２バイト目には，垂直方向の視点位置のＹ座標が設定され，３バイト目〜６バイト目には，オフセットの値が設定される。なお，“ＣｒｏｐＯｆｆｓｅｔＹ”には各視点画像の垂直方向のずれの補正量を含めるが，ずれの補正量が不明の場合には，上記オフセットの値は“０”となる。

上記切出画像領域の設定により，撮像装置１００の撮像により生成される各視点の視点画像データのうち，立体視画像として表示する個所を指定することを可能とする。視点画像から立体視画像として表示する個所を指定することを，画像の切出し，とする。指定された切出の領域を切出画像領域とする。

なお，本実施の形態にかかる切出画像領域を除く，それ以外の結合画像領域については，例えば，そのまま記憶される場合，または切出画像領域を指定後，切出画像領域以外の結合画像領域については，記憶せず，削除してしまう場合等でもよい。

ここで，図３１を参照しながら，本実施の形態にかかる切出画像領域について説明する。図３１は，本実施の形態にかかる切出画像領域の概略的な構成を示す説明図である。なお，図３１に示す視差画像は，２視点画像（Ｌ画像，Ｒ画像）からなる平行配置の結合画像である場合を例に挙げて説明するが，かかる例に限定されない。

図３１に示すように，グレー色でハッチングされた領域で表される切出画像領域は，左上の位置の座標および画像サイズで指定される。左上の位置の座標は，図３１に示す“×”のマークに該当する。

なお，図３１に示す右側の切出画像領域（Ｒ画像）の左右両サイドには，破線部で表された領域（マージン領域）が存在する。Ｌ画像およびＲ画像の切出画像領域から立体視画像を生成する際，水平方向の視差が必要なため，切出画像領域を水平方向にずらす。

上記の場合，切出後の切出画像領域以外の領域には画像が存在しないため，マージン領域を用いることで，立体視画像の両サイドも適切な立体視画像を生成することができる。通常，マージン領域が無い場合，両サイドの画像が存在しないため，その周辺は黒色等になってしまう

切出画像領域は，各視点の視点画像データごとに指定するため，各オフセット（“ＣｒｏｐＯｆｆｓｅｔ”）の値を設定するフィールドは，視点の数だけ存在するが，各切出画像領域のサイズは同じであるため，サイズ（“ＣｒｏｐＳｉｚｅ”）を設定するためのフィールドは，共通して１つずつ存在する。

なお，オフセット値の設定をする際，“ＣｒｏｐＯｆｆｓｅｔＸ”，“ＣｒｏｐＯｆｆｓｅｔＹ”のフィールドのうち上記１バイト目の水平方向の視点位置のＸ座標，２バイト目の垂直方向の視点位置のＹ座標に，“（−１,−１）”と指定することにより，複数の視点画像が存在する場合，３バイト目に設定される値は，全視点画像に対するオフセット値となる。上記一括指定により，視点位置の設定処理の効率化を図れる。例えば，最初の“ＣｒｏｐＯｆｆｓｅｔＸ”，“ＣｒｏｐＯｆｆｓｅｔＹ”の視点位置を“（−１，−１）”とすれば一括指定となる場合等を例示することができる。

したがって，上記水平方向視点位置および垂直方向視点位置“（Ｘ，Ｙ）”に，“（−１,−１）”と指定することにより，オフセットの一括指定が可能になる。

ここで，例えば複数視点（４×４視点）の１６視点画像のうち，視点位置が“（２，３）”の水平方向のオフセット値だけを，“８”で，残りの１５視点からの視点画像の水平方向のオフセット値は，“１０”に設定する場合について説明する。

上記の場合，“ＣｒｏｐＯｆｆｓｅｔＸ”のフィールドには，（１バイト目，２バイト目，３バイト目）のように設定されるとすると，まず１５視点の視点画像のオフセットとして，水平方向のオフセットは，（−１，−１，１０）と一度にセットでき，残りの視点位置“（２，３）”の水平方向のオフセットは，“（２，３，８）”とすれば済む。

また，切出画像領域が指定されることにより，切出された各視点画像データによる視差画像データ（結合画像データ）から立体視画像データが生成されると，例えば，テレ撮影された被写体（オブジェクト）など，切り出される位置により，立体感の強い（飛び出し度合いの大きい）立体視画像が立体視表示部１４０に表示される場合があるが，例えば，警告画面（図示せず。）を表示することで，オフセットを調整させることで，視差の平均化を行い，立体感のバランスをとる，または立体感を弱めることにより，眼精疲労を抑えることができる。

なお，図３１に示す“ＣｒｏｐＯｆｆｓｅｔＸ”（ｘ１，ｘ２）は，切出領域の水平方向のオフセットを示し，“ＣｒｏｐＯｆｆｓｅｔＹ”（ｙ１，ｙ２）は，切出領域の垂直方向のオフセットを示し，“ＣｒｏｐＳｉｚｅＸ”（Ｌ）は，結合画像のうち切出領域として所定領域を切り出すための水平方向の長さ（サイズ）を示し，“ＣｒｏｐＳｉｚｅＹ”（Ｈ）は，結合画像のうち切出領域として所定領域を切り出すための垂直方向の長さ（サイズ）を示す。

次に，本実施の形態にかかる切出画像領域の切出処理について説明する。

まず，撮像装置１００により被写体が撮像されると，撮像部１０１の合成部１３１は，撮像素子１３０から伝送される視点画像データ（Ｌ画像データ，Ｒ画像データ）を合成し，結合画像データを生成する。

次に，画像エンコード部１３２は，合成部１３１から伝送された結合画像データをエンコードし，上記エンコード処理とともに画像制御情報生成部１３３は，画像制御情報を生成する。エンコード及び生成処理終了後，結合画像データおよび画像制御情報は，データ多重化部１３４により多重化され，記録媒体１３５に記録される。

コンピュータ装置１５０は，記録媒体１３５から，指定された結合画像データおよび画像制御情報を読み込むと，データ分離部１３６は，結合画像データと，画像制御情報とに分離し，画像デコード部１３７および画像分離部１３８それぞれに伝送する。

デコードされた結合画像データと，画像制御情報とが，画像分離部１３８に伝送されると，図３２に示すように，コンピュータ装置１５０の立体視表示部１４０に，切出画像領域を設定するための編集画面３００が表示される。

編集画面３００のメインエリア２２２内に，視点画像とともに切出画像領域を示す矩形３０２−１が表示される。上記矩形３０２−１の大きさは，マウスのドラッグなどにより変更することが可能である。なお，矩形３０２−１の大きさおよび位置が上記切出画像領域となる。

また，上記矩形３０２−１は，マウスのドラッグ・アンド・ドロップなどにより，移動することが可能である。なお，本実施の形態にかかる編集画面３００は，視点画像の表示が１視点ずつ画像表示される場合を例に挙げて説明するが，かかる例に限定されず，複数視点の視点画像を同時に表示する場合であっても実施可能である。さらに，矩形３０２−１，または矩形３０２−２を切り出すとき，その矩形の範囲内で奥行きオフセット量を自動的に調整し，オフセット量を最適化して画像制御情報に保存することができ，保存後，上記視点画像を読み出して表示する際に画像制御情報からオフセット量を参照することができる。また，例えば，上記画像制御情報に保存されるオフセット量に応じて，画像を切出したり，リマークポイントが設定された領域の立体視画像を保存されたオフセット量に応じて，拡大／縮小表示したり，上記オフセット，切出し，リマークポイントを連携して使用することもできる。

図３２に示す「クロップ決定」ボタンがマウスなどのクリックにより押下されると，画像分離部１３８は，矩形３０２−１の大きさ及び位置に基づき，“ＣｒｏｐＳｉｚｅＸ”，“ＣｒｏｐＳｉｚｅＹ”，“ＣｒｏｐＯｆｆｓｅｔＸ”，および“ＣｒｏｐＯｆｆｓｅｔＹ”のタグのフィールドに設定する値を求め，上記各タグに値を設定する。

設定後，さらに画像分離部１３８は，結合画像データにおける各視点画像データ（Ｌ画像，Ｒ画像）を，上記求められた値（切出画像領域）に従って，切り出す。切り出されたＬ画像データ，Ｒ画像データは，画像変換部１３９に伝送されて，立体視画像データに変換される。

上記各タグのフィールドに切出画像領域の値をそれぞれ設定することで，再度Ｌ画像データおよびＲ画像データから切出画像領域を決定後，立体視画像データに変換する際に，上記各タグに設定された値を読み取ることで，迅速的，効率的に切出画像領域の決定をすることができる。

なお，画像変換部１３９により，Ｌ画像データおよびＲ画像データから立体視画像データに変換される際，上記切り出されたＬ画像データおよびＲ画像データを，立体視表示部１４０の画面寸法（サイズ）に適合するよう，それぞれ拡大（リサイズ）し，立体視画像データに変換する。

また，Ｌ画像データ，Ｒ画像データが，画像変換部１３９により拡大された際に，Ｌ画像データと，Ｒ画像データとの視差が，例えば，所定の閾値を超えた場合，または視差の平均値等を超えた場合，上記説明の警告画面（図示せず。）が表示される。

さらに，画像変換部１３９は，閾値の範囲内に視差が小さくなるよう，オフセット調整を行う。例えば，なお，本実施の形態にかかるＬ画像データと，Ｒ画像データとの視差は，上下方向の視差，または左右方向の視差などが例示される。

さらに，本実施の形態にかかる切出画像領域の切出処理の変形例について説明する。

立体視画像のうち，特に遠方にある，奥行きのある被写体等を切り出して，立体視表示部１４０に表示する場合，表示される立体視画像は立体感のある被写体が多く表示されるため，ユーザには非常に見づらく，眼精疲労を及ぼしやすい。

図３２に示すように，編集画面３００に表示された立体視画像に矩形３０２−２が，マウス等の入力部により設定されている。矩形３０２−２は，奥行きのあるヨットおよび背景の空を切出画像領域としている。

次に，図３２に示す「クリップ決定」ボタンがマウス等のクリックにより押下されると，矩形３０２−２の大きさ及び位置に基づき，“ＣｒｏｐＳｉｚｅＸ”，“ＣｒｏｐＳｉｚｅＹ”，“ＣｒｏｐＯｆｆｓｅｔＸ”，および“ＣｒｏｐＯｆｆｓｅｔＹ”のタグのフィールドに設定する値を求め，上記各タグに値を設定する。

設定後，さらに画像分離部１３８は，結合画像データにおける各視点画像データ（Ｌ画像，Ｒ画像）を，上記求められた値（切出画像領域）に従って，切り出す。切り出されたＬ画像データ，Ｒ画像データは，画像変換部１３９に伝送される。

画像変換部１３９では，伝送されたＬ画像データ，Ｒ画像データを対応点マッチングすることで，最小の視差量を例えば“０”などに変換し，最大の視差量が眼間距離である６５ｍｍを超えないように，視差を調整する。なお，視差が眼間距離の６５ｍｍを超えると，３Ｄ表示が破綻し，立体感のある画像を表示することができない。なお，対応点マッチングする場合には，予め対応点マッチングする旨の確認画面が立体視表示部１４０に表示される。

調整後，画像変換部１３９は，Ｌ画像データ，Ｒ画像データを立体視画像データに合成し，立体視表示部１４０に表示する。表示される立体視画像には，少なくとも最小の視差が“０”であるので，立体感のある画像領域と，立体感が抑えられた画像領域とが含まれているため，メリハリのある視認性の高い立体視画像となる。したがって，上記立体視画像の回転による微調整等の編集処理が迅速に行われる。従来ではユーザは，切出後の立体視画像を視認することが容易でない場合が多く，編集処理等に支障をきたしていた。

上記対応点マッチングでは，まず上記Ｒ画像データおよびＬ画像データに含まれる対応点の抽出が行われる。上記対応点の抽出は，ユーザが抽出または自動的に抽出される場合のどちらの場合でもよい。なお，抽出される対応点は，例えば３個所であるが，かかる例に限定されない。

また，対応点は，同一被写体としてＬ画像とＲ画像とで対応する一致点である。つまり，対応点はＬ画像とＲ画像の全てに存在する必要がある。なお，上記対応点は，２視点の場合に限定されず，複数の視点画像の場合でもよい。

対応点の具体例として，例えば，２視点の場合，被写体がコップである場合，Ｌ画像に撮影されたコップとＲ画像に撮影されたコップとが，撮影位置，角度，大きさ，各画像全体のうちコップの占める範囲などがほぼ同程度に一致する点を対応点とする。

なお，対応点を抽出する際には，各視点画像のコントラストを上げる，または各視点画像を二値化することで，適当な対応点を効率的に抽出することができる。なお，画像の二値化は，例えば視点画像の各画素の輝度（明るさ）に対して１又は２以上の閾値を設け，閾値以下ならば“０”（黒），閾値より大きければ“１”（白）等とすることである。

対応点が抽出されると，視点画像ごとに該当する対応点同士を結び，対応点間の距離を求める。さらに求められた対応点間の距離それぞれの差分をとることで視差量が求められる。例えば，２視点の場合，Ｌ画像とＲ画像に３個所ずつ対応点が抽出され，Ｌ画像とＲ画像で該当する対応点同士が結ばれ，３つの対応点間の距離（Ａ，Ｂ，Ｃ）が求められる。次に，求められた３つの対応点間の距離に基づき，相互に差分（Ａ−Ｂ，Ａ−Ｃ，Ｂ−Ｃ）の絶対値をとることで，それぞれの視差量が求められる。なお，対応点の抽出は，視点画像のうち奥行のある遠方周辺部について行われるが，かかる例に限定されない。

次に，求められた視差量の中から，最小の視差量を選択し，当該最小視差量が０ｍｍであるか否かを確認する。最小視差量が０ｍｍでない場合，最小視差量が０ｍｍになるように各視点画像の表示サイズ等が調整される。なお，視差量の調整前，立体感のある画像が多い旨の警告が立体視表示部１４０に表示される。

上記最小視差量が０ｍｍに調整後，そのまま立体視画像を表示してもよいが，かかる例に限定されず，さらに求められた視差量の中から，最大の視差量を選択し，当該最大視差量が眼間距離の６５ｍｍを超えているか否かを確認してもよい。最大視差量が６５ｍｍを超えていない場合，切出画像領域の上記最大視差量が決定する。

また，最大視差量が６５ｍｍを超えた場合，最大視差量が６５ｍｍよりも小さくなるように各視点画像の表示サイズ，画像左右シフト量等が調整され，最大視差量が決定する。また表示サイズも決定される。なお，上記調整する前に最大視差量が６５ｍｍを超えて立体視画像を表示できない旨の警告が立体視表示部１４０に表示される。

上記切出画像領域の視差が調整されると，切出画像領域の立体視画像が立体視表示部１４０に表示される。

なお，本実施の形態にかかる切出画像領域の切出処理の変形例と同様に，リマークポイント（参照注目点）を設定し，拡大表示等する場合においても，対応点マッチングや，視差の調整後，立体視画像が表示される場合であっても実施可能である。なお，警告等も画面に表示される。

（有効領域）
次に，上記（２）有効領域の大きさ，位置，およびオフセット値などは，上記説明の画像制御情報の“ＶａｌｉｄＳｉｚｅＸ”，“ＶａｌｉｄＳｉｚｅＹ”，“ＶａｌｉｄＯｆｆｓｅｔＸ”，“ＶａｌｉｄＯｆｆｓｅｔＹ”のタグのフィールドに，設定される。

“ＶａｌｉｄＳｉｚｅＸ”，“ＶａｌｉｄＳｉｚｅＹ”は，有効領域のサイズ（水平方向（Ｘ），垂直方向（Ｙ））を示す。“ＶａｌｉｄＯｆｆｓｅｔＸ”，“ＶａｌｉｄＯｆｆｓｅｔＹ”は，各有効領域とのオフセット（水平方向（Ｘ），垂直方向（Ｙ））を示す。

図３３に示すように，“ＶａｌｉｄＳｉｚｅＸ”，“ＶａｌｉｄＳｉｚｅＹ”は，それぞれ６バイトであり，“ＶａｌｉｄＯｆｆｓｅｔＸ”，“ＶａｌｉｄＯｆｆｓｅｔＹ”は，それぞれ６バイトである。

また，“ＶａｌｉｄＳｉｚｅＸ”，“ＶａｌｉｄＳｉｚｅＹ”のタグのフィールドに設定される値は，上記フィールドのうち最下位桁の１バイト目には，水平方向視点位置のＸ座標が設定され，２バイト目には，垂直方向視点位置のＹ座標が設定され，３バイト目〜６バイト目には，オフセットの値が設定される。

また，“ＶａｌｉｄＯｆｆｓｅｔＸ”，“ＶａｌｉｄＯｆｆｓｅｔＹ”のタグのフィールドに設定される値は，上記フィールドのうち最下位桁の１バイト目には，水平方向視点位置のＸ座標が設定され，２バイト目には，垂直方向視点位置のＹ座標が設定され，３バイト目〜６バイト目には，上記視点位置とのオフセットの値が設定される。

例えば，光学アダプタ１０５を備える撮像装置１００による撮像など，３Ｄ撮影した各視点画像は，光学アダプタ１０５等の影響により，端の部分は立体視画像として適さない場合がある。上記端の部分の領域は，光学アダプタ１０５の種類によって異なる。したがって，上記有効領域の設定により，立体視画像として有効な領域の範囲を指定することを可能とする。

ここで，図３４を参照しながら，本実施の形態にかかる有効領域について説明する。図３４は，本実施の形態にかかる有効領域の概略的な構成を示す説明図である。なお，図３４に示す結合画像は，２視点画像（Ｌ画像，Ｒ画像）からなる平行配置である場合を例に挙げて説明するが，かかる例に限定されず，結合画像が交差配置である場合でもよい。

図３４に示すように，グレー色のハッチングで表される有効領域の大きさ，位置，オフセット値等は，左上の位置の座標および画像サイズを基準として指定される。左上の位置の座標は，図３４に示す“×”のマークに該当する。なお，基準とする位置は，左上の位置に限定されず，他の適当な位置であってもよい。

各オフセットの値は，視点画像ごとに指定する必要があり，有効領域のサイズの値についても，各視点画像において有効領域が異なる場合があり，視点画像ごとに設定する。なお，切出画像領域が有効領域からはみ出した場合の，はみ出し部分の処理は，コンピュータ装置１５０などの画像処理装置等に依存する。

なお，図３４に示す“ｘ１”はＬ画像の“ＶａｌｉｄＯｆｆｓｅｔＸ”のタグのフィールドに設定され，“ｘ２”はＲ画像の“ＶａｌｉｄＯｆｆｓｅｔＸ”のタグのフィールドに設定され，“ｙ１”はＬ画像の“ＶａｌｉｄＯｆｆｓｅｔＹ”のタグのフィールドに設定され，“ｙ２”はＲ画像の“ＶａｌｉｄＯｆｆｓｅｔＹ”のタグのフィールドに設定され，“Ｌ１”はＬ画像の“ＶａｌｉｄＳｉｚｅＸ”のタグのフィールドに設定され，“Ｌ２”はＲ画像の“ＶａｌｉｄＳｉｚｅＸ”のタグのフィールドに設定され，“Ｈ１”はＬ画像の“ＶａｌｉｄＳｉｚｅＹ”のタグのフィールドに設定され，“Ｈ２”はＲ画像の“ＶａｌｉｄＳｉｚｅＹ”のタグのフィールドに設定される。

図３１に示す上記“ＶａｌｉｄＯｆｆｓｅｔＸ”（ｘ１，ｘ２）は，Ｒ画像，Ｌ画像の有効領域における左上頂点から水平方向のオフセットを示し，“ＶａｌｉｄＯｆｆｓｅｔＹ”（ｙ１，ｙ２）は，Ｒ画像，Ｌ画像の有効領域における左上頂点から垂直方向のオフセットを示し，“ＶａｌｉｄＳｉｚｅＸ”（Ｌ１，Ｌ２）は，Ｌ画像又はＲ画像の有効領域の水平方向の長さ（サイズ）を示し，“ＶａｌｉｄＳｉｚｅＹ”（Ｈ１，Ｈ２）は，Ｌ画像又はＲ画像の有効領域の垂直方向の長さ（サイズ）を示す。

次に，本実施の形態にかかる有効領域の切出処理について説明する。

まず，予め撮像装置１００に装着するアダプタ型番の種類を選択する。アダプタ型番を選択する場合，撮像装置１００の表示部（図示せず。）に表示されるＧＵＩ画面２２１から設定する。なお，アダプタ型番の種類の選択は，本実施の形態にかかるアダプタ型番情報における説明と，ほぼ同様であるため詳細な説明は省略する。

図２７に示すように，ＧＵＩ画面２２１には，“１番”〜“４番”からなる各アダプタ型番名と，アダプタ型番を選択するためのアダプタ選択部２２３と，「選択」ボタンとが表示される。

次に，表示されたアダプタ型番名の中から，撮像装置１００に装着する光学アダプタ１０５のアダプタ型番名を，入力部であるジョグダイヤルなどにより選択し，「選択」ボタンを押下すると，アダプタ選択部２２３は，アダプタ型番名が設定されたアダプタ型番情報を生成する。なお，上記アダプタ型番情報は，撮像装置１００の記憶部（図示せず。）等に記憶される。

次に，撮像装置１００を用いて被写体が撮像されると，撮像部１０１の合成部１３１は，撮像素子１３０から伝送される視点画像データ（Ｌ画像データ，Ｒ画像データ）を合成し，結合画像データを生成する。

また，画像制御情報生成部１３３は，生成された上記結合画像データに対する画像制御情報を生成し，撮像装置１００の記憶部に記憶されたアダプタ型番情報を，画像制御情報の“使用者データ領域タグ”のタグのフィールドに設定する。

さらに，画像制御情報生成部１３３は，記憶部に記憶された上記光学アダプタ１０５のアダプタ型番情報に基づき，立体視画像として適さない端の部分が除かれた有効領域情報を生成する。

次に，画像制御情報生成部１３３は，有効領域情報を，上記画像制御情報の“ＶａｌｉｄＳｉｚｅＸ”，“ＶａｌｉｄＳｉｚｅＹ”，“ＶａｌｉｄＯｆｆｓｅｔＸ”，“ＶａｌｉｄＯｆｆｓｅｔＹ”のタグのフィールドに設定する。

なお，画像制御情報生成部１３３は，上記有効領域情報を，アダプタ型番情報に基づき生成したが，かかる例に限定されず，予め有効領域設定のＧＵＩ画面を介して，入力部により有効領域情報を定める場合であっても，実施可能である。

次に，画像エンコード部１３２は，合成部１３１から伝送された結合画像データをエンコードし，上記エンコード処理と共に画像制御情報生成部１３３は，画像制御情報を生成する。エンコード及び生成処理終了後，結合画像データおよび画像制御情報は，データ多重化部１３４により多重化され，記録媒体１３５に記録される。

コンピュータ装置１５０は，記録媒体１３５から上記結合画像データおよび画像制御情報を読み込む。

次に，コンピュータ装置１５０のデータ分離部１３６は，結合画像データと，画像制御情報とに分離する。

次に，画像分離部１３８は，画像デコード部１３７によりデコードされた結合画像データと，画像制御情報とを受信する。

画像分離部１３８は，画像制御情報の“ＶａｌｉｄＳｉｚｅＸ”，“ＶａｌｉｄＳｉｚｅＹ”，“ＶａｌｉｄＯｆｆｓｅｔＸ”，および“ＶａｌｉｄＯｆｆｓｅｔＹ”のタグのフィールドに設定された値（有効領域情報）に基づき，図３４に示すように，結合画像領域のうち有効領域に該当する領域を，切り出す。

なお，上記画像制御情報の“ＶａｌｉｄＳｉｚｅＸ”，“ＶａｌｉｄＳｉｚｅＹ”，“ＶａｌｉｄＯｆｆｓｅｔＸ”，“ＶａｌｉｄＯｆｆｓｅｔＹ”のフィールドに値（有効領域情報）が設定されていなかった場合，画像分離部１３８は，実際の画像領域である視点画像データ全体を，画像変換部１３９に伝送する。

画像変換部１３９は，画像分離部１３８から伝送された各視点画像データ（Ｌ画像データ，Ｒ画像データ）から，立体視画像データに変換する。したがって，立体視表示部１４０に立体視画像が表示される。

なお，切り出された有効領域は，撮像装置１００に装着した光学アダプタ１０５のアダプタ型番情報によって定まる。したがって画像分離部１３８は，アダプタ型番情報に基づき決定した有効領域に応じて，適当にＬ画像データとＲ画像データとのオフセットを調整することができる。

（参照注目点）
また，切出領域または有効領域を指定する他に，視点画像データにおいて，立体視画像を表示する際の中心となる注視点に関する注視点（参照注目点，リマークポイント）情報を，上記説明の画像制御情報に含まれる“リマークポイントタグ”のタグに設定することができる。

立体視画像の中心を，必ずしも立体視表示部１４０の中心に配置して表示する場合のみに限られず，予め視点画像データの“リマークポイント”のタグのフィールドに立体表示部１４０の中心となる点（参照注目点）を設定することができる。特に，例えば携帯端末，ＰＤＡなど立体表示部１４０のサイズが立体視画像データのサイズよりも小さい場合に，ユーザに注視させたい部分を参照注目点に設定することで，視認性の高い立体視画像を表示することができる。

参照注目点は，水平方向をｘ軸とし，垂直方向をｙ軸とする“（ｘ，ｙ）”で表わされ，図３１，図３４に示す有効領域または切出画像領域内に設定可能である。“リマークポイントタグ”のタグのフィールドは，６バイトからなり，最下位桁の１バイト目から３バイト目は，参照注目点のｘ座標を示し，４バイト目から６バイト目は，参照注目点のｙ座標を示す。

次に，本実施の形態にかかる参照注目点の設定処理について説明する。

まず，撮像装置１００により被写体が撮像されると，撮像部１０１の合成部１３１は，撮像素子１３０から伝送される視点画像データ（Ｌ画像データ，Ｒ画像データ）を結合し，結合画像データを生成する。

次に，画像エンコード部１３２は上記結合画像データをエンコードし，画像制御情報生成部１３３が上記結合画像データに対応する画像制御情報を生成すると，結合画像データおよび画像制御情報は，データ多重化部１３４により多重化され，記録媒体１３５に記録される。

コンピュータ装置１５０は，記録媒体１３５から，指定された結合画像データおよび画像制御情報を読み込む。次に，データ分離部１３６は，結合画像データと，画像制御情報とに分離し，画像デコード部１３７および画像分離部１３８それぞれに伝送する。

デコードされた結合画像データと，画像制御情報とが，画像分離部１３８に伝送されると，図３５に示すように，コンピュータ装置１５０の立体視表示部１４０に，参照注目点を設定するための編集画面３２０が表示される。

編集画面３２０のメインエリア２２２内には，各視点画像から立体視画像に変換する際の参照注目点を示すマーク３０３が表示される。また，上記マーク３０３は，マウスのドラッグ・アンド・ドロップなどにより，移動することが可能である。なお，本実施の形態にかかる参照注目点は，各視点画像ともに同一である場合を例に挙げて説明するが，かかる例に限定されず，参照注目点が各視点の視点画像間で相違する場合であっても実施可能である。なお，相違する場合は，例えば，複数の注目参照点のうちいずれか一つを選択する選択処理をする必要がある。

図３５（ａ）に示す参照注目点を設定する「リマークポイント決定」ボタンがマウスのクリックなどにより押下されると，画像分離部１３８は，結合画像データに対する画像制御情報の“リマークポイントタグ”のタグのフィールドに，上記マーク３０３の参照注目点“（ｘ，ｙ）”の値を設定する。

設定後，画像分離部１３８は，結合画像データを，Ｌ画像データと，Ｒ画像データとに分離する。分離されたＬ画像データ，Ｒ画像データは，画像変換部１３９に伝送されて，立体視画像データに変換される。なお，分離する際，例えば，切出画像領域が設定された場合，画像分離部１３８は，Ｌ画像データおよびＲ画像データの切出処理等も行う。

画像変換部１３９は，上記立体視画像データに変換する際に，“リマークポイントタグ”に設定された参照注目点に従い，上記参照注目点が，立体視表示部１４０の中央部に位置するように，Ｌ画像データおよびＲ画像データを移動する。また，立体視表示部１４０の画面サイズに適応するよう，画像変換部１３９は，Ｌ画像データおよびＲ画像データを拡大し，立体視画像データに変換する。したがって，図３５（ｂ）に示すように，参照注目点が立体視表示部１４０の中央に位置した，拡大された立体視画像が表示される。

さらに，画像変換部１３９は，上記立体視画像データを拡大表示する際に，“リマークポイントタグ”に設定された参照注目点と，参照注目点を中心とした視点画像の一部領域のオフセット位置に基づき，一部領域の立体視画像を拡大表示することもできる。なお，オフセット位置は立体視画像の奥行きの前後関係を調整することができる。オフセット位置の調整は，例えば２視点の場合，Ｒ画像，Ｌ画像を重ね合わせて立体視表示する際に，上下位置調整，左右シフト量（飛び出し量に相当。）を調整することでもある。例えば，図３２を参照しながら説明すると，一部領域である矩形３０２−２は船の立体視画像であるが，上記船の画像は，矩形３０２−１の人物の立体視画像よりも後方に位置している。したがって，船の画像の方が奥の方にあるため，上記矩形３０２−２に表示された“船”に参照注目点としてマーク３０３を設定し，拡大表示する場合，画像変換部１３９は，上記矩形３０２−２の船の画像が前の方に表示されるように，オフセット位置を調整し，当該矩形３０２−２の船の立体視画像を拡大表示する。これにより，図３２に示す“人物”よりも奥の方に表示された“船”の画像を拡大表示した際に，一回の拡大処理で矩形３０２−１に表示された人物の立体視画像と同等な程度，前方に立体的に表示されるため，視認しやすい。逆に，マーク３０３を矩形３０２−１の領域に表示された人物に設定すると，もともと前方に位置し，表示されているため，オフセット位置の調整量は，少なく拡大表示される。

上記参照注目点が“リマークポイントタグ”のタグのフィールドに設定されることで，図３５（ｂ）に示す立体視画像から，さらに参照注目点を中心として立体視画像を拡大する等の場合，改めて拡大する中心点を定義，または参照注目点を設定しなくても，注目点を中心に立体視画像を迅速に拡大することが可能となる。

なお，上記参照注目点を中心として立体視画像を拡大する場合，編集画面３２０は，警告画面（図示せず。）に切替わり，“立体視が困難になる可能性があります”等の警告メッセージが表示される。

上記警告画面が表示されるのは，立体視画像の拡大により視差が大きくなるため，立体的に視認することが難しくなるためである。また，視差の拡大により眼精疲労が促進されるためである。

なお，本実施の形態にかかる参照注目点は，立体視画像を拡大する際の中心点である場合を例に挙げて説明したが，かかる場合に限定されず，例えば，参照注目点は，立体視画像を縮小する際の中心点である場合等であってもよい。

また，本実施の形態にかかる参照注目点は，上記説明したように，本実施の形態にかかる切出画像領域の切出処理の変形例と同様に，リマークポイント（参照注目点）を設定し，拡大表示等する場合においても，対応点マッチングや，視差の調整後，立体視画像を表示する場合であっても実施可能である。なお，警告等も画面に表示する。

以上，添付図面を参照しながら本発明の好適な実施形態について説明したが，本発明はかかる例に限定されない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例を想定し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。

上記実施形態においては，２視点画像から立体視画像に合成する場合を例にあげて説明したが，本発明はかかる例に限定されない。例えば，３視点以上の複数の視点画像の場合であっても実施することができる。

本発明は立体視画像を生成することが可能な立体視画像処理装置等に適用可能である。

図１は，本実施の形態にかかる光学アダプタを装着した撮像装置の概略的構成を示す説明図である。 図２は，図１の光学アダプタの構成例を示す説明図である。 図３は，本実施の形態にかかる光学アダプタを装着した撮像装置によって撮影される視差画像を示す説明図である。 図４は，本実施の形態にかかるプロジェクタによる立体視画像表示の概略的な構成を示す説明図である。 図５は，本実施の形態にかかるコンピュータ装置の概略的な構成を示す説明図である。 図６は，本実施の形態にかかるＬ画像とＲ画像を合成して立体視画像生成する処理を説明するための説明図である。 図７は，本実施の形態にかかる立体視画像を示す説明図である。 図８は，本実施の形態にかかる立体視画像を立体的に視認する概要を説明するための図である。 図９は，本実施の形態にかかる立体視画像処理装置の概略的な構成を示すブロック図である。 図１０は，図１０に示す立体視画像処理装置の変形例である。 図１１は，本実施の形態にかかる立体視画像ファイルのデータ構造の概略を示す説明図である。 図１２は，本実施の形態にかかる結合画像データの概略的な構成を示す説明図である。 図１３は，本実施の形態にかかる複数の視点から撮像した場合の視点画像の概略的な構成を示す説明図である。 図１４は，本実施の形態における視点画像の配置の概略的な構成を示す説明図である。 図１５は，本実施の形態にかかる視点画像の画像処理方法の概略を示すフローチャートである。 図１６は，本実施の形態における表示画面の概略的な構成例を示す説明図である。 図１７は，本実施の形態における視点画像の一律回転配置の概略的な構成を示す説明図である。 図１８は，本実施の形態における視点画像の個別回転配置の概略的な構成を示す説明図である。 図１９は，本実施の形態における視点画像の一律回転およびミラー反転配置の概略的な構成を示す説明図である。 図２０は，本実施の形態における視点画像の個別回転およびミラー反転配置の概略的な構成を示す説明図である。 図２１は，本実施の形態にかかる結合画像の記録処理の概略を示すフローチャートである。 図２２は，本実施の形態にかかる環境情報設定画面の概略的な構成を示す説明図である。 図２３は，本実施の形態にかかる立体視画像の表示処理の概略を示すフローチャートである。 図２４は，本実施の形態にかかる立体視画像の画像表示処理の概略を示すフローチャートである。 図２５は，本実施の形態にかかる“ＰｉｃｔｕｒｅＲｏｔａｔｅＮＭ”のタグのフィールドに設定される値の概略を示す説明図である。 図２６は，本実施の形態にかかる立体視画像の画像表示処理の変形例の概略を示すフローチャートである。 図２７は，本実施の形態にかかる表示画面例の概略的な構成を示す説明図である。 図２８は，本実施の形態にかかる光学アダプタの概略的な構成を示す説明図である。 図２９は，本実施の形態にかかる画像処理方法の概略を示すフローチャートである。 図３０は，本実施の形態にかかる“ＣｒｏｐＳｉｚｅ”または“ＣｒｏｐＯｆｆｓｅｔ”のタグのフィールドに設定される値の概略を示す説明図である。 図３１は，本実施の形態にかかる切出画像領域の概略的な構成を示す説明図である。 図３２は，本実施の形態にかかる表示画面例の概略的な構成を示す説明図である。 図３３は，本実施の形態にかかる“ＶａｌｉｄＳｉｚｅ”または“ＶａｌｉｄＯｆｆｓｅｔ”のタグのフィールドに設定される値の概略を示す説明図である。 図３４は，本実施の形態にかかる有効領域の概略的な構成を示す説明図である。 図３５は，本実施の形態にかかる表示画面例の概略的な構成を示す説明図である。

符号の説明

１０１ ：撮像部
１３１ ：合成部
１３２ ：画像エンコード部
１３３ ：画像制御情報生成部
１３４ ：データ多重化部
１３５ ：記録媒体
１３６ ：データ分離部
１３７ ：画像デコード部
１３８ ：画像分離部
１３９ ：画像変換部
１４０ ：立体視表示部

Claims (7)

1. 少なくとも相互に視差を有する複数の視点画像を一の結合画像として管理する立体視画像処理装置であって：
   前記結合画像のタグ情報は，前記複数の視点画像にかかる撮像装置の光学アダプタに関するアダプタ情報を含むことを特徴とする，立体視画像処理装置。
2. 前記立体視画像処理装置は，前記アダプタ情報に基づいて，前記複数の視点画像の有効領域を決定することを特徴とする，請求項１に記載の立体視画像処理装置。
3. 前記立体視画像処理装置は，前記アダプタ情報に基づいて，前記複数の視点画像の輝度を決定することを特徴とする，請求項１に記載の立体視画像処理装置。
4. 前記立体視画像処理装置は，前記アダプタ情報に基づいて，前記複数の視点画像の解像度を決定することを特徴とする，請求項１に記載の立体視画像処理装置。
5. 前記立体視画像処理装置は，前記アダプタ情報に基づいて，前記複数の視点画像の色収差を補正することを特徴とする，請求項１に記載の立体視画像処理装置。
6. 前記光学アダプタは，２枚ミラーアダプタ，４枚ミラーアダプタ，山形プリズムアダプタ，もしくはアナモルフィックレンズアダプタのうち少なくとも一つまたは任意の組合せであることを特徴とする，請求項１に記載の立体視画像処理装置。
7. 前記複数の視点画像は，右視点画像と左視点画像とであることを特徴とする，請求項１に記載の立体視画像処理装置。

Images