JP2005130312A - 立体視画像処理装置，コンピュータプログラム，および視差補正方法 - Google Patents

Abstract

【課題】 各視点画像の相互間に生じていた視差を補正することが可能な立体視画像処理装置，コンピュータプログラム，および視差補正方法を提供する。
【解決手段】 少なくとも相互に視差を有する複数の視点画像を合成して，得られる立体視画像の視差を補正する立体視画像処理装置が提供される。上記立体視画像処理装置は，視点が異なる複数の視点画像のうち少なくとも一方を回転及び／又は移動させる回転移動装置を備えたことを特徴としている。
【選択図】 図９

Description

本発明は立体視画像を生成することが可能な立体視画像処理装置，コンピュータプログラム，および視差補正方法に関する。

従来から，左右の眼の視差を利用した２枚の静止画像等を撮像し，それらを左右それぞれの眼で観察することができるように表示することにより，立体的な画像を得られる画像処理装置の存在が知られている（例えば，特許文献１参照）。なお，本願発明に関連する技術文献情報には，次のものがある。

特開平１１−３９５０８号公報。

しかしながら，立体視画像処理装置において，左眼からの視点による左視点画像（Ｌ画像）と，右眼からの視点による右視点画像（Ｒ画像）との双方の向きまたは角度等が相対的に異なる場合など，上下の視差が発生し，Ｌ画像とＲ画像とを合成しても，立体的な画像として適当な画像を得ることが出来ない。なお，上下の視差（上下視差）は，画像相互間に生じる上下方向の像のずれであり，画像の垂直方向に像のずれが生じると，ユーザの眼に非常に負担がかかる。

上記Ｌ画像とＲ画像との相対的な向きまたは角度等が異なる場合，またはＬ画像とＲ画像の両画像の向きが正反対である場合等，上下の視差を無くするため，Ｌ画像とＲ画像の画像の向き等を補正することができない場合が多く，立体的な画像を得ることができない場合が多かった。

本発明は，上記問題点に鑑みてなされたものであり，本発明の目的は，各視点画像の相互間に生じていた視差を補正することが可能な，新規かつ改良された立体視画像処理装置，コンピュータプログラム，および視差補正方法を提供することである。

上記課題を解決するため，本発明の第１の観点によれば，少なくとも相互に視差を有する複数の視点画像を合成して，得られる立体視画像の視差を補正する立体視画像処理装置が提供される。上記立体視画像処理装置は，視点が異なる複数の視点画像のうち少なくとも一方を回転及び／又は移動させる回転移動装置を備えたことを特徴としている。

本発明によれば，回転移動装置は，複数の視点画像のうち少なくとも一つを回転，移動，または回転と移動の両方をする。かかる構成により，視点画像の相互間に生じていた視差を補正することで，自然な立体感のある立体視画像に合成することができる。

回転移動装置は，複数の視点画像の相互間に生じる上下視差を補正するように，複数の視点画像を回転及び／又は移動させるように構成してもよい。かかる構成により，視点画像相互間に生じていた上下方向に発生する上下視差を解消し，眼に違和感のない，上下視差が生ずる場合より眼の負担が軽減される，自然な立体感の立体視画像を生成することができる。

回転移動装置は，複数の視点画像に含まれ，各視点画像を対応付ける対応点を抽出するように構成してもよい。かかる構成により，視点画像に含まれる複数の対応点同士を回転及び／又は移動することで，視点画像相互間に生じた視差を補正することができる。

複数の視点画像は，相互に視差を有する右視点画像と左視点画像であるように構成してもよい。かかる構成により，右視点画像と左視点画像のうち少なくとも一方を回転及び／又は移動することで，相互間に生じていた視差を補正することができる。

回転移動装置は，右視点画像および左視点画像にそれぞれ設定された補助線が一致するまで回転及び／又は移動させるように構成することができる。かかる構成により，双方の補助線が一致することで，生じていた視差を補正することができるため，自然な立体感のある立体視画像を生成できる。

回転移動装置は，右視点画像および左視点画像の補助線の傾きが双方とも略水平になるまで回転及び／又は移動させるように構成してもよい。

右視点画像の補助線の色は，左視点画像の補助線の色と相違するように構成してもよい。かかる構成により，補助線が一致するか否かを容易に確認することができる。

右視点画像と左視点画像とは一の結合画像として管理され，回転移動装置は，結合画像のタグ情報に応じて，回転及び／又は移動処理を行うように構成することができる。かかる構成により，回転または移動などの補正処理の履歴に基づくことで視差を迅速に，効率的に補正することができる。

回転移動装置は，右視点画像と左視点画像との水平視差を調整するように，右視点画像もしくは左視点画像のうちいずれか一方または双方を，相対的に同方向または逆方向に，回転及び／又は移動させるように構成してもよい。かかる構成により，右視点画像と左視点画像との水平方向の視差を調整することで，立体強度の強弱を調節することができる。

回転移動装置は，右視点画像に含まれる対応点と左視点画像に含まれる対応点とを結んでなる補助線の傾きが略水平になるまで，回転及び／又は移動させるように構成してもよい。

右視点画像と左視点画像とは一の結合画像として管理され，回転移動装置は，結合画像のタグ情報に応じて，回転及び／又は移動処理を行うように構成してもよい。

対応点は，右視点画像および左視点画像の少なくともコントラストを上げることで，右視点画像と左視点画像とが対応付けられるように抽出されるように構成してもよい。かかる構成により，各視点画像に含まれる対応点の検出処理が効率的に実行できる。

回転移動装置は，右視点画像と左視点画像との上下視差を補正するように，右視点画像もしくは左視点画像のうちいずれか一方または双方を，相対的に同方向または逆方向に，回転及び／又は移動させるように構成してもよい。かかる構成により，方向に左右されず回転または移動できるため，上下視差の補正する編集処理の効率化が図れる。

回転移動装置は，右視点画像に含まれる対応点と左視点画像に含まれる対応点とを結んでなる補助線の傾きが略水平になるまで，回転及び／又は移動させるように構成してもよい。かかる構成により，双方の視点画像に含まれる対応点が略水平になるため，発生していた上下視差を補正することができ，立体感のある自然な立体視画像が生成される。

対応点は，右視点画像および左視点画像の少なくともコントラストを上げることで，右視点画像と左視点画像とが対応付けられるように抽出されてもよい。

右視点画像と左視点画像とは一の結合画像として管理され，上記回転移動装置は，結合画像のタグ情報に応じて，回転及び／又は移動処理を行うように構成してもよい。

上記課題を解決するために，本発明の別の観点によれば，コンピュータをして，少なくとも相互に視差を有する複数の視点画像を合成して得られる立体画像の視差を補正する立体視画像処理装置として機能させるコンピュータプログラムが提供される。上記コンピュータプログラムは，複数の視点画像に補助線を設定する補助線設定手段と；補助線が一致するように，複数の視点画像のうち少なくとも一方を回転及び／又は移動する回転移動手段とを含むことを特徴としている。

また，上記課題を解決するために，本発明の別の観点によれば，コンピュータをして，少なくとも相互に視差を有する複数の視点画像を合成して得られる立体画像の視差を補正する立体視画像処理装置として機能させるコンピュータプログラムが提供される。上記コンピュータプログラムは，複数の視点画像に含まれる対応点を，各視点画像につき少なくとも一つ抽出する対応点抽出手段と；各視点画像の対応点を結んでなる補助線を設定する補助線設定手段と；補助線が略水平となるように複数の視点画像を回転及び／又は移動する回転移動手段とを含むことを特徴としている。

上記課題を解決するために，本発明の別の観点によれば，少なくとも相互に視差を有する複数の視点画像を合成して得られる立体視画像の視差補正方法が提供される。適当な視差に調整する視差補正方法は，複数の視点画像のうち少なくとも一方を回転及び／又は移動する回転移動段階を含むことを特徴としている。

複数の視点画像に補助線を設定する補助線設定段階をさらに含むように構成してもよく，上記複数の視点画像は，相互に視差を有する右視点画像と左視点画像であるように構成してもよい。

回転移動段階は，補助線が，右視点画像と左視点画像に設定された補助線と一致するように，回転移動するように構成してもよく，右視点画像の補助線の色は，左視点画像の補助線の色と相違するように構成してもよい。

右視点画像と左視点画像とは一の結合画像として管理され，上記回転移動段階は，結合画像のタグ情報に応じて，回転及び／又は移動処理を行うように構成してもよい。

また，上記課題を解決するために，本発明の別の観点によれば，少なくとも相互に視差を有する複数の視点画像を合成して得られる立体視画像の視差補正方法が提供される。上記視差補正方法は，複数の視点画像に含まれる対応点を，各視点画像につき少なくとも一つ抽出する対応点抽出段階と；各視点画像の対応点を結んでなる補助線を設定する補助線設定段階と；補助線が略水平となるように複数の視点画像を回転及び／又は移動する回転移動段階とを含むように構成してもよい。

複数の視点画像は，相互に視差を有する右視点画像と左視点画像であるように構成してもよく，上記対応点は，右視点画像および左視点画像の少なくともコントラストを上げることで，右視点画像と左視点画像とが対応付けられるように抽出されてもよい。

以上説明したように，本発明によれば，各視点画像の相互間に生じていた視差を効率的に，容易に補正することが可能となり，上記各視点画像を合成することで，立体感のある自然な立体視画像が得られる。

以下，本発明の好適な実施の形態について，添付図面を参照しながら詳細に説明する。なお，以下の説明及び添付図面において，略同一の機能及び構成を有する構成要素については，同一符号を付することにより，重複説明を省略する。

人間などの左右の眼がそれぞれ取得する網膜像の空間的ずれ（両眼視差）を利用して，２次元の画像を立体的に視認させる方法（以下，立体視の方法。）が多数存在する。なお，視差について，特に記載がない場合，水平方向における視差を示すものとする。

立体視の方法としては，特殊なメガネを利用するアナグリフ方式，カラーアナグリフ方式，偏光フィルタ方式，時分割立体テレビジョン方式等と，特殊なメガネを利用しないレンチキュラ方式等が知られている。

上述したさまざまな立体視の方法を実現するためには，左眼用の左視点画像（Ｌ画像。）と，右眼用の右視点画像（Ｒ画像。）を取得する必要がある。Ｌ画像とＲ画像を取得するためには，同一の被写体に対して，カメラの位置を，例えば人の両眼の間隔だけ移動して２回撮影する方法等が最も容易である。

また，１回の撮影でＬ画像とＲ画像を取得する方法として，例えば，図１および図２に示すように，ミラーなどから構成される光学アダプタ１０５を，撮像装置１００のレンズ１０３の外側に取り付ける方法が知られている。なお，上記撮像装置１００は，例えば，デジタルカメラなどを例示することができる。

図２は，光学アダプタ１０５の構造を模式的に表している。単一の採光窓から入射される右眼用の光学像は，ミラー１２１によってミラー１２２に向けて反射され，ミラー１２２によって撮影レンズ１０３に向けて反射された後，撮影レンズ１０３によって集光される。単一の採光窓から入射される左眼用の光学像は，ミラー１２１およびミラー１２２によって反射されることなく，撮影レンズ１０３によって集光される。

光学アダプタ１０５を介して入射された光学像は，左眼からの視点の領域および右眼からの視点の領域からなる視差画像として撮影される。この左眼用の領域（左眼用の画像）がＬ画像として利用され，右眼用の領域（右眼用の画像）がＲ画像として利用される。なお，各視点画像のセットを視差画像とし，視点画像が複数存在すれば足りるため，必ずしも両隣に一体的に構成する必要はない。

次に，図３に示すように，各視点画像からなる視差画像を合成して得る立体視用の立体画像（立体視画像，３Ｄ画像）を表示させる方法として，例えば，図４に示すような偏光フィルタ方式がある。

図４に示すように，偏光フィルタ方式は，Ｒ画像を投影するための右眼用プロジェクタ１４１と，Ｌ画像を投影するための左眼用プロジェクタ１４２と，Ｌ画像およびＲ画像の光を反射するスクリーン１４３と，偏光メガネ１４４とから構成される。なお，３Ｄ（ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ：３次元）画像は，立体的に視認可能な立体視画像のことである。

右眼用プロジェクタ１４１は，垂直方向に偏光フィルタを備えている。左眼用プロジェクタ１４２は，水平方向に偏光フィルタを備えている。したがって，右眼用プロジェクタ１４１から出力されるＲ画像の光は，図４に示す水平方向の矢印の光が出力される。左眼用プロジェクタ１４２から出力されるＬ画像の光は，図４に示す垂直方向の矢印の光が出力される。

次に，スクリーン１４３上では垂直方向の直線偏光によって投影されたＬ画像と，水平方向の直線偏光によって投影されたＲ画像とが重ね合わさることで，立体視画像が生成される。

そして，左側に水平方向の直線偏光フィルタ，右側に垂直方向の直線偏光フィルタが配置された偏光メガネ１４４を用いることにより，スクリーン１４３により反射された上記立体視画像のうち，右眼用プロジェクタ１４１から投影されたＲ画像は，右側の直線偏光フィルタにしか通過されず，左眼用プロジェクタ１４２から出力されたＬ画像は，左側の直線偏光フィルタにしか通過されない。

したがって，偏光メガネ１４４から上記スクリーン１４３上の立体視画像を見ると，立体感のある画像を視聴することができる。例えば，ユーザは，撮影された建造物などが飛び出して見えるなど，画像を立体的に見ることができる。

図４に示すスクリーン１４３に立体視画像を生成する場合の他に，例えば，パソコン（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ：ＰＣ），コンピュータ装置によって立体視画像を生成し，表示する場合も可能である。次に，本実施の形態にかかるコンピュータ装置によって立体視画像が生成される場合を，図５〜図８を参照しながら説明する。

上記説明したように，図２に示すミラー１２１およびミラー１２２により反射されることで，視差画像が生成される。上記視差画像は，図２に示すようにＬ画像とＲ画像とから構成されている。

次に，図５を参照しながら，本実施の形態にかかる立体視画像処理装置に適用されるコンピュータ装置について説明する。図５は，本実施の形態にかかるコンピュータ装置の概略的な構成を示す説明図である。

コンピュータ装置１５０は，少なくとも中央演算処理部（ＣＰＵ），記憶部を少なくとも備える情報処理装置であり，一般的にはコンピュータ装置であるが，携帯端末，ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ），ノート型パーソナルコンピュータ，またはデスクトップ型パーソナルコンピュータなどの情報処理装置も含まれる。

図５に示すように，コンピュータ装置１５０には，立体視画像を生成するコンピュータ装置１５０と，表示された立体視画像を見るときにユーザが使用する偏光メガネ１７１と，立体視画像を表示する立体視表示部１４０と，上記立体視表示部１４０の表示面外側に配置するライン偏光板１７２とが，さらに備えられる。

偏光メガネ１７１は，コンピュータ装置１５０に装着された支持棒１７０により，コンピュータ装置１５０のキーボード付近の上方空間に位置するように支持されている。

次に，生成されたＬ画像およびＲ画像の視差画像は，図６に示すように，次式（１）に従って，Ｌ画像とＲ画像とが合成され，図７に示すような立体視画像が生成される。なお，偶数ライン，奇数ラインは，コンピュータ装置１５０に備わる立体視表示部１４０などに構成される水平方向の列のことである。

例えば，表示部がＵＸＧＡ（Ｕｌｔｒａ ｅＸｔｅｎｄｅｄ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）の場合，式（１）に示すように，水平方向のラインのうち，最上端を０番ラインとすると，０番ラインは，偶数ラインであり，次に１番ラインは，奇数ラインであり，…，以降最下端ライン（１５９９番ライン）まで続く。

偶数ライン
１×（Ｌ画像の画素）＋０×（Ｒ画像の画素）＝（立体視画像の画素）
奇数ライン
０×（Ｌ画像の画素）＋１×（Ｒ画像の画素）＝（立体視画像の画素）
・・・式（１）

図７に示すように，０番ラインから順に，水平方向の１ラインごとにＬ画像，Ｒ画像を合成することにより，Ｌ画像およびＲ画像が１ラインごと交互に合成された立体視画像が生成される。生成された立体視画像は，例えば，コンピュータ装置に備わる立体視表示部１４０などに表示される。

図８に示すように，ユーザは，立体視表示部１４０に表示された立体視画像を，偏光メガネ１７１を介して見ることになる。なお，立体視表示部１４０には，予めライン偏光板１７２を備えている。

上記ライン偏光板１７２は，水平方向のラインを複数有している。ライン偏光板１７２の複数ラインのうち，最上端から順に，偶数ラインには，垂直方向の偏光板を備え，奇数ラインには，水平方向の偏光板を備える。

また，偏光メガネ１７１の右側には，水平方向の偏光フィルタを備え，左側には，垂直方向の偏光フィルタを備える。したがって，ライン偏光板１７２を通過したＬ画像の光またはＲ画像の光のうち，偏光メガネ１７１の左側は，奇数ラインからなるＬ画像の光だけが通過し，右側は，奇数ラインからなるＲ画像の光だけが通過する。すなわち，ユーザは，立体視画像を立体的に視認することができる。

（立体視画像処理装置）
ここで，図９を参照しながら，本実施の形態にかかる立体視画像処理装置について説明する。図９は，本実施の形態にかかる立体視画像処理装置の概略的な構成を示すブロック図である。なお，図９に示す，本実施の形態にかかる編集部１５２または画像変換部１３９は，例えば画像を回転及び／又は移動等する回転移動装置等に該当する。

図９に示すように，立体的に視認することが可能な立体視画像を生成する立体視画像処理装置は，撮像部１０１と，画像エンコード部１３２と，画像制御情報生成部１３３と，データ多重化部１３４と，記録媒体１３５と，データ分離部１３６と，画像デコード部１３７と，画像分離部１３８と，画像変換部１３９と，入力部１５１と，編集部１５２と，立体視表示部１４０とが備えられる。

撮像部１０１は，被写体を撮像する撮像素子（ＣＣＤ）１３０−１および撮像素子１３０−２と，合成部１３１とを備える。なお，撮像素子１３０−１と撮像素子１３０−２とを，一体化して，一組の撮像素子１３０から構成することも実施可能である。上記の場合，光学アダプタ１０５等を備えることで可能となる。

撮像素子１３０−１により撮像された左眼からの視点の画像（Ｌ画像。）と，撮像素子１３０−１により撮像された右眼からの視点の画像（Ｒ画像。）とが，合成部１３１に伝送される。なお，図９に示す立体視画像処理装置は，２視点の場合を例に挙げて説明するが，かかる例に限定されず，複数の視点の場合であっても実施可能である。

合成部１３１は，伝送された各視点画像（Ｌ画像，Ｒ画像）を合成し，結合画像を生成する。なお，図９に示す結合画像は，Ｌ画像とＲ画像とが左右に隣り合わせとなっているが，かかる例に限定されず，例えば，Ｌ画像とＲ画像とが上下に隣り合わせの場合であってもよい。上記結合画像については，後述する。

上記結合画像は，画像エンコード部１３２によりエンコードされる。上記エンコードは，例えば，ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式などが例示される。

画像制御情報生成部１３３は，上記結合画像から立体視画像に変換等するためのタグ情報（以下，画像制御情報）を生成する。画像制御情報は，撮像部１０１の撮像時の露出，日時，フラッシュの有無などの撮像情報，または立体視表示部１４０に適当な立体視画像を生成するための情報等が含まれる。例えば，表示画面上の１ラインごとに左右画像（Ｌ画像，Ｒ画像）を表示するための情報などが例示される。

データ多重化部１３４は，画像エンコード部１３２から伝送される結合画像と，画像制御情報生成部１３３から伝送される画像制御情報とを多重化する。多重化された結合画像および画像制御情報は，記録媒体１３５に記録される。

記録媒体１３５は，データを読書き可能な記憶デバイスであり，例えば，ＨＤＤ装置（ハードディスクドライブ装置），ＣＤ−ＲＷ（ＲｅＷｒｉｔａｂｌｅ），ＤＶＤ−ＲＡＭ（ＤＶＤ−Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ），ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），またはメモリスティック（登録商標）などが例示される。

データ分離部１３６は，記録媒体１３５に記録された結合画像および画像制御情報をそれぞれ取得する。データ分離部１３６は，取得した結合画像を画像デコード部１３７に伝送し，画像制御情報を画像分離部１３８に伝送する。なお，結合画像データおよび画像制御情報は，記録媒体１３５の所定の場所（フォルダなど。）に記録されている。

なお，本実施の形態にかかるデータ分離部１３６は，記録媒体１３５から結合画像および画像制御情報を取得する場合を例に挙げて説明したが，かかる例に限定されず，例えば，記録先のフォルダが別々の場合や，結合画像と画像制御情報が別々に記録され，ネットワーク上のサーバ等から別々に取得する場合等であっても実施可能である。

画像デコード部１３７は，予めエンコードされた結合画像データをデコードし，画像分離部１３８に伝送する。

画像分離部１３８は，データ分離部１３６から伝送された画像制御情報に基づき，画像制御情報に指定された結合画像を取得し，各視点の画像（Ｌ画像，Ｒ画像）に分離する。なお，Ｌ画像とＲ画像に分離する際，結合画像のＬ画像とＲ画像の有効領域を切り出し，所定角度回転してもよい。分離した結果，Ｌ画像とＲ画像の画像の向きが同じになるようにする。

画像変換部１３９は，画像分離部１３８から伝送されたＬ画像，Ｒ画像とを，上記説明した通り，重ね合わせ等することにより，立体視画像に変換する。なお，画像制御情報に切出領域などが指定された場合，画像変換部１３９は，切出処理等して，立体視画像に変換する。なお，切出領域については，後述する。

立体視表示部１４０は，画像変換部１３９により合成された立体視画像を表示する。立体視表示部１４０は，後程説明するコンピュータ装置に備わるディスプレイなどの表示部，または投影してスクリーンに表示するプロジェクタ装置などを例示することができる。

なお，本実施の形態にかかる立体視表示部１４０は，立体視画像を表示する場合に限られず，例えば，２Ｄである静止画像，動画像などの表示，さらには音声の出力等をする場合，または立体視表示部１４０の代わりにプリントアウト手段を備え，アナグリフ方式の立体視画像を紙などの媒体に出力する等の場合であっても実施可能である。

入力部１５１は，ユーザから操作指示を受けることが可能なマウス，トラックボール，トラックパッド，スタイラスペン，またはジョイスティックなどのポインティングデバイスや，キーボードなどからなるが，かかる例に限定されない。

編集部１５２は，上記立体視画像の合成元であるＬ画像またはＲ画像のうち少なくとも一方を移動，回転する。上記回転移動処理により，Ｌ画像とＲ画像とに生じていた画像の上下方向の視差が補正される。

上記Ｌ画像とＲ画像とに生じていた画像の上下方向のずれが調整され，上記編集部１５２が，補正後のＬ画像とＲ画像を画像変換部１３９に伝送することで，補正後のＬ画像とＲ画像は立体視画像に再合成される。

上記入力部１５１からの指示に基づき，編集部１５２は，Ｌ画像のみ，Ｒ画像のみ，またはＬ画像とＲ画像の両方を，相対的に移動したり，回転したりすることができる。上記移動または回転等により視差を調整することで，編集部１５２は，特にＬ画像とＲ画像から生じる上下方向の視差の発生を抑え，自然な立体感を有する立体視画像にすることができる。なお，上下方向の視差（上下視差）とは，画像相互間に生じる上下方向の像のずれであり，垂直方向に生じる画像のずれはユーザの眼に多大な負担をかけ，違和感を生じる。

さらに，図１０を参照しながら，図９に示す本実施の形態にかかる立体視画像処理装置の変形例について説明する。図１０は，図９に示す立体視画像処理装置の変形例である。以下，図９に示す立体視画像処理装置との相違点について説明する。

図１０に示すように，立体視画像処理装置は，図９に示す立体視画像処理装置と比べて，１つの撮像装置１００が備わる点で異なる。さらに，撮像装置１００は，光学アダプタ１０５を備えている点でも異なる。

したがって，光学アダプタ１０５を備えた撮像装置１００は，１回の撮影（シャッター）で，左眼用の視点画像と右眼用の視点画像を撮像し，上記２視点画像からなる結合画像データを生成することができる。なお，２回のシャッターが押下され，２視点画像からなる結合画像データを生成しても良い。

（撮像装置１００）
次に，本実施の形態にかかる撮像装置１００について説明すると，撮像装置１００は，少なくともレンズ１０３と撮像素子１３０を備え，上記レンズ１０３には，さらに光学アダプタ１０５が装着可能となっている。また，図９に示すように，撮像装置１００は，撮像部１０１内に備わってもよく，撮像装置１００は，合成部１３１を備えている場合でもよい。

また，本実施の形態にかかる画像エンコード部１３２，画像制御情報生成部１３３，データ多重化部１３４，および記録媒体１３５は，撮像装置１００に備わらない場合を例に挙げて説明したが，かかる例に限定されず，例えば，画像エンコード部１３２，画像制御情報生成部１３３，データ多重化部１３４，もしくは記録媒体１３５等のうちいずれか１つまたは任意の組合せが撮像装置１００に備わる場合であっても実施可能である。

（コンピュータ装置１５０）
図５に示すコンピュータ装置１５０は，図９に示す立体視画像処理装置に構成するデータ分離部１３６，画像デコード部１３７，画像分離部１３８，画像変換部１３９，入力部１５１，編集部１５２，および立体視表示部１４０を備える。なお，コンピュータ装置１５０は，画像エンコード部１３２，画像制御情報生成部１３３，データ多重下部１３４，記録媒体１３５をさらに備える場合でもよい。

コンピュータ装置１５０は，図１に示す光学アダプタ１０５が装着された撮像装置１００によって撮影された結合画像データを取込む。または，コンピュータ装置１５０は，光学アダプタ１０５が装着されていない状態で撮影された画像データなどを取り込む。なお，本実施の形態にかかる撮像装置１００は，例えば，ディジタルスチルカメラ，ディジタルビデオカメラなどが例示される。

さらに，コンピュータ装置１５０は，取込んだ結合画像データまたは連続的に撮影された２枚の画像データから立体視画像データを生成する。生成された立体視画像データは，立体視画像として立体視表示部１４０に表示される。

なお，撮像装置１００からコンピュータ装置１５０に取り込まれる結合画像等の画像データには，画像制御情報生成部１３３により生成された画像制御情報が付与されている。

（立体視画像ファイル）
次に，図１１を参照しながら，本実施の形態にかかる立体視画像ファイルについて説明する。図１１は，本実施の形態にかかる立体視画像ファイルのデータ構造の概略を示す説明図である。

図１１に示すように，立体視画像ファイルは，例えば，ファイル名が“ファイル１．ｊｐｇ”など，拡張子が“．ｊｐｇ”のＪＰＥＧ形式の圧縮データファイルである。

また，立体視画像ファイルは，ＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ）規格に準拠して記録し，これにアプリケーション・マーカセグメント（ＡＰＰ１）を挿入する。

ＡＰＰ１は，立体視画像ファイルの始まりを示すＳＯＩ（Ｓｔａｒｔ Ｏｆ Ｉｍａｇｅ）マーカの直後に配置される。

さらに，ＡＰＰ１の直後には，結合画像データが配置され，最後に立体視画像ファイルの終了を示すＥＯＩ（Ｅｎｄ Ｏｆ Ｉｍａｇｅ）が配置される。なお，結合画像については，後程説明する。

上記ＡＰＰ１の領域には，図１１に示すように，Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）の識別情報，および付属情報本体（Ｔｉｆｆ ｈｅａｄｅｒ，ＩＦＤ０，ＩＦＤ１）から構成される。これら全てを含むＡＰＰ１の大きさは，ＪＰＥＧの規格により６４ｋＢｙｔｅを越えてはならない。

付属情報は，Ｆｉｌｅ Ｈｅａｄｅｒ（Ｔｉｆｆ ｈｅａｄｅｒ）を含むＴｉｆｆの構造をとり，最大二つのＩＦＤ（ＩＦＤ０（０ｔｈ ＩＦＤ）,ＩＦＤ１（１ｓｔ ＩＦＤ））を記録できる。なお，ＩＦＤは，“Ｉｍａｇｅ Ｆｉｌｅ Ｄｉｒｅｃｔｏｒｙ”の略である。

ＩＦＤ０は，圧縮されている画像（主画像）または立体視画像（３Ｄ画像）などに関する付属情報を記録する。図１１に示すように，ＩＦＤ０領域には，Ｅｘｉｆ ＩＦＤのポインタが入るＥｘｉｆポインタ部と，ＧＰＳ ＩＦＤのポインタが入るＧＰＳポインタ部と，３Ｄ ＩＦＤのポインタが入る３Ｄポインタ部とが配置される。

さらに，ＩＦＤ０領域には，各ポインタ部の後に，Ｅｘｉｆ ＩＦＤと，Ｅｘｉｆ ＩＦＤ Ｖａｌｕｅと，ＧＰＳ ＩＦＤと，ＧＰＳ ＩＦＤ Ｖａｌｕｅと，３Ｄ ＩＦＤと，３Ｄ ＩＦＤ Ｖａｌｕｅとが配置される。

Ｅｘｉｆ ＩＦＤおよびＥｘｉｆ ＩＦＤ Ｖａｌｕｅには，画像データの特性，構造，ユーザ情報，撮影条件，もしくは日時等に関連するタグまたはタグ値が記録される。例えば，ユーザコメントのためのタグ“ＵｓｅｒＣｏｍｍｅｎｔ”タグ，露出時間を示すためのタグ“ＥｘｐｏｓｕｒｅＴｉｍｅ”，フラッシュの有無を示すためのタグ“Ｆｌａｓｈ”タグなどが例示される。

ＧＰＳ ＩＦＤおよびＧＰＳ ＩＦＤ Ｖａｌｕｅには，ＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）に関するタグまたはタグ値が記録される領域である。例えば，緯度を示すタグ“ＧＰＳＬａｔｉｔｕｄｅ”，高度を示すタグ“ＧＰＳＡｌｔｉｔｕｄｅ”などが例示される。

上記３Ｄ ＩＦＤおよび３Ｄ ＩＦＤ Ｖａｌｕｅに，３Ｄ画像である立体視画像に変換するための処理等を制御する画像制御情報に関するタグまたはタグ値（Ｖａｌｕｅ）が記録される。なお，画像制御情報については，後程詳述する。また，本実施の形態にかかる結合画像ファイルのデータ構造についても，上記立体視画像ファイルとほぼ同様である。

なお，本実施の形態にかかる立体視画像ファイルのデータ構造は，かかる例に限定されず，他のデータ構造である場合であっても実施することが可能である。例えば，立体視画像用ファイルのデータ構造がＪＰＥＧデータからなる場合，各ＪＰＥＧデータには，ＪＰＥＧヘッダと圧縮画像データとＥＯＩ（Ｅｎｄ Ｏｆ Ｉｍａｇｅ）とが含まれる場合でもよい。上記ＪＰＥＧヘッダには，ＳＯＩ（Ｓｔａｒｔ Ｏｆ Ｉｍａｇｅ）や色管理情報等の付属情報が存在する。また，視点画像データの視点番号などの視点情報は，例えば，各々のＪＰＥＧヘッダに存在させることもできる。視点が異なる複数の視点画像は，ファイルヘッダとそれに続く複数のＪＰＧＥデータとその全体の終わりを示すファイルエンド情報とすることができる。全体に対するヘッダを存在させない場合（結合画像の場合）には，視点情報が，ＪＰＥＧヘッダ内（アプリケーションマーカー／ＩＦＤ）に格納される。

（画像情報）
本実施の形態にかかる立体視画像ファイルは，少なくとも撮影または記録等により生成される主画像となる視点画像データと，画像制御情報とから構成されている。なお，視点画像データ，画像制御情報については，ＤＣＦ規格に規定されている。

（画像フォーマット）
次に，図１２を参照しながら，本実施の形態にかかる結合画像データについて説明する。図１２は，本実施の形態にかかる結合画像データの概略的な構成を示す説明図である。

図１２（ａ）および図１２（ｂ）に示すように，本実施の形態にかかる視差画像データは，左眼用の視点画像（Ｌ画像），右眼用の視点画像（Ｒ画像）とから構成されている。なお，Ｌ画像およびＲ画像は，各視点において撮像された視点画像である。静止画像である上記視点画像から３Ｄの立体視画像に合成される。

上記結合画像データは，１つの画像に，Ｌ画像データおよびＲ画像データが一体となるように構成される画像データである。したがって，結合画像データは，視差画像データと比べて，複数の視点画像から構成されている点では共通するが，特に各視点画像が別個・独立していない点で，視差画像データとは，大きく異なる。結合画像のＬ画像およびＲ画像は，結合され，一体化されている。

図１２（ａ）に示す結合画像３５０−１は，水平方向，左右にＬ画像とＲ画像とが両隣に並ぶように構成される。また，図１２（ｂ）に示す結合画像３５０−２は，垂直方向，上下にＬ画像とＲ画像とが一体的に結合されている。

なお，本実施の形態にかかる結合画像は，２視点である場合を例に挙げて説明したが，かかる例に限定されず，複数視点から撮影した画像を一枚の結合画像に結合して記録する場合であっても実施可能である。

また，図１２（ｃ）に示すように，垂直方向上下に結合された上記結合画像３５０−２の他に，全部で合計４つのパターンの結合画像（３５０−３，３５０−４，３５０−５，３５０−６）が存在する。

図１２（ｃ）に示す結合画像（３５０−３，３５０−４，３５０−５，３５０−６）は，垂直方向上下に結合された上記結合画像３５０−２の配置形式から，上下の画像を一体化した状態で，左右に倒すことで配置されている（時計方向右回りに９０度回転，または時計方向左回り９０度回転。）。

結合画像（３５０−３，３５０−４，３５０−５，３５０−６）は，図１２（ｂ）に示す結合画像３５０−２よりも，特に横×縦のアスペクト比が，３：４等のディスプレイに結合画像を画面に表示する際，収まりがよく，１画面内に表示することが出来る。

また，上記結合画像（３５０−３，３５０−４，３５０−５，３５０−６）は，立体視画像に合成等するための画像制御情報とともに記録媒体１３５に記録されているため，ネットワーク等を介して，結合画像と画像制御情報を配信することが容易にできる。

なお，結合画像（３５０−３，３５０−４，３５０−５，３５０−６）と画像制御情報が相互にリンクされていれば記録方法については，限定されない。例えば，同一ファイル内に結合画像と画像制御情報を記録する場合や，ネットワークに接続された別々のサーバに結合画像と画像制御情報が別々に記録される場合等でも実施可能である。

また，結合画像（３５０−３，３５０−４，３５０−５，３５０−６）を水平方向に圧縮することで，結合画像から立体視画像に合成し，表示する際には，回転して元に戻した状態の画像の垂直成分のみが圧縮された状態となるので，水平方向の画質を劣化させることなく立体視画像を表示することができる。

結合画像（３５０−３，３５０−４，３５０−５，３５０−６）のうち，どの配置パターンで保存するかについては，２つの指定パターンがある。１つ目のパターンは，各結合画像（３５０−３，３５０−４，３５０−５，３５０−６）のそれぞれについて，“１”，“２”，“３”，“４”などのＩＤを付与することで配置パターンを指定するパターンである。

２つ目のパターンは，結合画像（３５０−３，３５０−４，３５０−５，３５０−６）のうち，まず結合画像（３５０−３，３５０−５）または結合画像（３５０−４，３５０−６）のどちらであるかを指定し，さらに右視点画像（Ｒ画像）が右側であるのか左側に配置されるのかを指定するパターンである。

結合画像３５０−３は，図１２（ｂ）に示す結合画像３５０−２を左側に倒した状態の画像である。さらに結合画像３５０−３は，図１２（ｃ）に示すように，左側にＲ画像，右側にＬ画像が配置された構成の画像である。また，左側のＲ画像と右側のＬ画像とともに，画像の向き（天地）は，上側が水平左方向であり，下側が水平右方向である。

結合画像３５０−４は，図１２（ｂ）に示す結合画像３５０−２を左側に倒した状態での画像である。さらに結合画像３５０−４は，図１２（ｃ）に示すように，左側にＬ画像，右側にＲ画像が配置された構成の画像である。また，左側のＬ画像と右側のＲ画像とともに，画像の向き（天地）は，上側が水平右方向であり，下側が水平左方向である。

結合画像３５０−５は，結合画像３５０−３の状態から，画像の向きはそのままにして，Ｌ画像とＲ画像を左右入替えた状態の画像となっており，結合画像３５０−６は，結合画像３５０−４の状態から，画像の向きはそのままにして，Ｌ画像とＲ画像を左右入替えた状態の画像となっている。

図１２（ｃ）に示す結合画像（３５０−３，３５０−４，３５０−５，３５０−６）は，各視点画像であるＲ画像，Ｌ画像の画枠を，例えば縦×横が３：４等のワイド画像にしても，１画面内に左右並べて表示することが可能であり，さらにＲ画像とＬ画像をそれぞれ９０度回転することで，合成後の立体視画像もワイドな画像に表示される。以下，特に明記されない場合，結合画像は，図１２（ｃ）に示す画像のいずれかを示すものとする。

（複数視点の視点画像）
ここで，図１３を参照しながら，本実施の形態にかかる複数の視点から撮像した場合の視点画像について説明する。図１３は，本実施の形態にかかる複数の視点から撮像した場合の視点画像の概略的な構成を示す説明図である。

図１３（ａ）に示すように，被写体２３０に対して複数台の撮像装置１００（１００−１，１００−２，１００−３，…，１００−６）が配置されている。撮像装置１００を識別するために，各撮像装置１００に対して視点位置が付される。

なお，本実施の形態にかかる撮像装置１００（１００−１，１００−２，１００−３，…，１００−６）は，６つの視点から撮影するために，配置される場合を例に挙げて説明するが，１又は２以上の撮像装置１００が配置される限り，かかる例に限定されない。

上記視点位置は，図１３（ａ）に示すように，水平方向（ｘ），垂直方向（ｙ）の（ｘ，ｙ）座標に基づき，撮像装置１００−１である左上から順にＡ１，Ａ２，Ａ３，…と表わされる。例えば，Ａ１は，座標で表わすと，（水平方向座標，垂直方向座標）＝（１，０）などとなる。

したがって，撮像装置１００から撮像された視点画像に各視点の視点位置が付加されることで，どの視点から撮像された視点画像であるか，識別することが可能となる。

例えば，撮像装置１００の視点位置が“Ａ１”の場合，図１３（ｂ）に示すように，撮像装置１００により撮像された視点画像の視点位置も“Ａ１”である。

したがって，撮像装置１００の画像制御情報生成部１３３は，画像制御情報を生成し，上記画像制御情報における所定のタグのフィールドに，上記視点位置“Ａ１”（１，０）を設定する。上記視点位置にかかる所定のタグについては後述する。

（画像制御情報）
本実施の形態にかかる結合画像データから立体視画像データに合成し，表示するためには，上記説明したように，タグ情報としての画像制御情報を例えば，ハードディスク，記録媒体などに記録する必要がある。

次に，本実施の形態にかかる画像制御情報に関するタグについて説明する。本実施の形態にかかるタグには，３Ｄ画像であることを示す“３Ｄタグ”，上記画像制御情報のサイズを示す“画像制御情報サイズタグ”，３Ｄ画像のサイズを示す“３Ｄ画像サイズタグ”，使用者が任意のデータを管理等できる“使用者データ領域タグ（ＡｐｐｌｉｃａｔｉｏｎＤａｔａ）”，データ構成種別を管理するための“データ構成種別タグ”，または上記画像制御情報のバージョンを示す“画像制御情報バージョンタグ”等のタグが存在する。画像制御情報に含まれるタグを用いることによって，適当な立体視画像を生成したり，編集したり様々な処理を施すことができる。

また，さらに本実施の形態にかかる画像制御情報にかかるタグには，例えば図１３に示した“Ａ１”〜“Ｂ３”の視点位置を示すためのタグ（視点位置タグ），３Ｄ画像が結合画像であるか否か等を示す“結合画像タグ”，３Ｄ画像の回転状況等を示す“回転タグ”，３Ｄ画像から所定領域切り出された切出領域の水平方向のサイズを示す“切出サイズタグＸ（ＣｒｏｐＳｉｚｅＸ）”，３Ｄ画像から所定領域切り出された切出領域の垂直方向のサイズを示す“切出サイズタグＹ（ＣｒｏｐＳｉｚｅＹ）”，３Ｄ画像における切出領域の水平方向のオフセットを示す“切出オフセットタグＸ（ＣｒｏｐＯｆｆｓｅｔＸ）”，または３Ｄ画像における切出領域の垂直方向のオフセットを示す“切出オフセットタグＹ（ＣｒｏｐＯｆｆｓｅｔＹ）”が存在する。なお，“ＣｒｏｐＯｆｆｓｅｔＸ”，“ＣｒｏｐＯｆｆｓｅｔＹ”は，複数の視点から３Ｄ画像がなる場合，各視点のオフセットを示す。

また，さらに本実施の形態にかかる画像制御情報にかかるタグには，３Ｄ画像における有効領域の水平方向のサイズを示す“有効サイズタグＸ（ＶａｌｉｄＳｉｚｅＸ）”，３Ｄ画像における有効領域の垂直方向のサイズを示す“有効サイズタグＹ（ＶａｌｉｄＳｉｚｅＹ）”，３Ｄ画像における有効領域の水平方向のオフセットを示す“有効オフセットタグＸ（ＶａｌｉｄＯｆｆｓｅｔＸ）”，または３Ｄ画像における有効領域の垂直方向のオフセットを示す“有効オフセットタグＹ（ＶａｌｉｄＯｆｆｓｅｔＹ）”が存在する。なお，“有効オフセットタグＸ”，“有効オフセットタグＹ”は，複数の視点から３Ｄ画像がなる場合，各視点のオフセットを示す。

また，さらに本実施の形態にかかる画像制御情報にかかるタグには，３Ｄ画像（立体視画像）を表示可能な立体視表示部１４０に，適正なサイズの立体視画像を表示するためのタグである“想定表示サイズタグ”，または立体視画像の注目参照点を示すための“リマークポイントタグ”などが存在する。

たとえば，上記“回転タグ”は，３バイトからなる。なお，“回転タグ”は，結合画像における各視点画像の回転角，左右ミラー反転の有無を示し，０〜７のいずれかの値が設定される。０〜７の値に応じて回転角，ミラーの有無が決定する。

また，“ＣｒｏｐＯｆｆｓｅｔＸ”は，各視点６バイトからなるタグである。したがって，例えば２視点の場合は，１２バイトとなる。なお，“ＣｒｏｐＯｆｆｓｅｔＸ”は，切出領域の水平方向のオフセットを示す。切出領域の水平方向のオフセットは，水平方向の切出領域の開始位置（始点）を示す。

“ＣｒｏｐＯｆｆｓｅｔＹ”は，各視点６バイトからなるタグである。したがって，例えば２視点の場合は，１２バイトとなる。なお，“ＣｒｏｐＯｆｆｓｅｔＹ”は，切出領域の垂直方向のオフセットを示す。各視点の画像の上下ずれ補正量も含み，ずれ量が不明の場合は，上記“ＣｒｏｐＯｆｆｓｅｔＹ”には，“０”の値が設定される。切出領域の垂直方向のオフセットは，垂直方向の切出領域の開始位置（始点）を示す。切出領域の垂直／水平方向のオフセットが定まることにより，切出領域の開始位置が定まる。

“ＶａｌｉｄＳｉｚｅＸ”は，各視点６バイトのタグである。なお，“ＶａｌｉｄＳｉｚｅＸ”は，結合画像から３Ｄ画像に変換することが可能な領域を示す有効領域の水平方向のサイズである。

“ＶａｌｉｄＳｉｚｅＹ”は，各視点６バイトのタグである。なお，“ＶａｌｉｄＳｉｚｅＹ”は，有効領域の垂直方向のサイズである。

“ＶａｌｉｄＯｆｆｓｅｔＸ”は，各視点６バイトのタグである。例えば，３視点の場合は，１８バイトである。なお，“ＶａｌｉｄＯｆｆｓｅｔＸ”は，有効領域の水平方向のオフセットである。有効領域の水平方向のオフセットは，水平方向の有効領域の開始位置（始点）を示す。

“ＶａｌｉｄＯｆｆｓｅｔＹ”は，各視点６バイトのタグである。例えば，３視点の場合は，１８バイトである。なお，“ＶａｌｉｄＯｆｆｓｅｔＹ”は，有効領域の垂直方向のオフセットである。有効領域の垂直方向のオフセットは，垂直方向の有効領域の開始位置（始点）を示す。

“想定表示サイズタグ”は，４バイトのタグである。なお，“想定表示サイズタグ”のタグのフィールドには，例えば，立体視表示部１４０の種類と大きさが設定される。立体視表示部１４０の大きさは，本実施の形態ではインチ（ｉｎｃｈ）により表されるが，係る例に限定されない。

“リマークポイントタグ”は，６バイトのタグである。なお，“Ｒｅｍａｒｋｐｏｉｎｔ”は，立体視画像の注目点を示すためのタグである。

立体視表示部１４０に立体視画像を表示する場合，立体視表示部１４０の中心点には，参照注目点に該当する立体視画像が表示される。したがって，立体視表示部１４０の中心点と，立体視画像の注目点とは一致する。

“リマークポイント”のタグから注目点が設定されることにより，例えば，立体視画像の大きさよりも立体表示部１４０が小さい場合，立体視画像全体を表示することはできないが，立体視画像を少なくとも部分的に視認することが可能となる。

次に，本実施の形態にかかる立体視画像処理装置における回転及び／又は移動処理の説明をする。

（回転／移動補正）
本実施の形態にかかる立体視画像処理装置では，各視点画像を個別に回転及び／又は移動の微調整することで，立体視画像に生じた視差等を補正することができる。図１４，図１５，図１６を参照しながら，本実施の形態にかかる回転移動補正について説明する。図１４〜図１６は，本実施の形態にかかる回転移動補正の概略的な構成を示す説明図である。なお，回転移動とは，視点画像を回転のみ，移動のみ，または移動と回転の両方のいずれかを示す。

まず，本実施の形態にかかる回転移動補正の処理方法として，図１４に示すように，視点画像の向きのずれを解消するため，視点画像であるＬ画像とＲ画像の双方を，適当な角度それぞれ回転移動する処理がある。

図１４（ａ）に示すように，視点画像であるＬ画像は，水平線５００−１が傾いて撮影されており，Ｌ画像に対しての水平方向と，Ｌ画像の水平線５００−１とが略平行とならず所定の角度を有している。なお，水平線５００−１または水平線５００−２（水平線５００）は，視点画像に含まれる被写体に対して，例えば水平となる補助線である。

Ｒ画像についても，Ｒ画像に対しての水平方向と，Ｒ画像の水平線５００−２が略平行とならず所定の角度を有している。したがって，Ｌ画像の水平線５００−１とＲ画像の水平線５００−２とに対する鉛直線（矢印）の傾きは相違している。なお，Ｌ画像およびＲ画像の配置は，平行配置であるが，交差配置等でもよい。

また，図１４（ａ）に示すＬ画像の水平線５００−１とＲ画像の水平線５００−２は，ずれており，双方の水平線は一致していない。上記Ｌ画像の水平線５００−１は右上がり（右斜め上方向）に傾いており，上記Ｒ画像の水平線５００−２は右下がり（左斜め上方向）に傾いている。したがって，図１４（ａ）に示すＬ画像とＲ画像とから立体視画像に合成しても，上下に視差が生じるため立体視を困難または不可能にし，たとえ上下視差の程度が少なく融像し，鑑賞可能であっても眼精疲労の大きな原因となっていた。これは，特に複数台の撮像装置１００で撮影する場合や，１台の撮像装置１００で複数回シャッターする場合等には，各視点画像間のカメラ方向，傾きを厳密に制御することは難しく上記のような上下視差が発生する事態が多く発生する。

双方の画像を一致させるために，図１４（ａ）に示すＬ画像を“ａ”度右回りに回転し，Ｒ画像を左回りに“ｂ”度回転し，必要に応じて上下左右方向に移動することで，図１４（ｂ）に示すように，Ｌ画像の水平線５００−１とＲ画像の水平線５００−２の傾きがほぼ等しく，図１４（ａ）と比べて，Ｌ画像の水平線５００−１とＲ画像の水平線５００−２とのずれは極めて少なくなっている。

上記説明のように，Ｌ画像およびＲ画像が回転等による微調整後，双方の画像が合成されると，図１４（ｃ）に示すように，上下視差は解消され，適当な立体感があり，視認性の高い立体視画像を立体視表示部１４０に表示することができる。なお，図１４（ｃ）に示す水平線５００は，水平線５００−１と水平線５００−２が合成されたものである。

次に，本実施の形態にかかる回転移動補正の処理方法として，図１５に示すように，視点画像の向きのずれを解消するため，視点画像であるＬ画像とＲ画像のうち，Ｌ画像を固定し，Ｒ画像を適当な角度回転し，または移動する処理方法が存在する。

図１５（ａ）に示すように，Ｌ画像は，水平線５００−１が傾いて撮影されており，Ｌ画像の水平方向と，Ｌ画像の水平線５００−１とが平行とならずに，所定の角度を有している。

Ｒ画像についても，Ｒ画像の水平方向と，Ｒ画像の水平線５００−２が平行とならず所定の角度を有している。また，Ｌ画像の水平線５００−１とＲ画像の水平線５００−２とに対する鉛直線（矢印）の傾きは相違している。なお，Ｌ画像およびＲ画像の配置は，平行配置であるが，交差配置等でもよい。

また，図１５（ａ）に示すＬ画像の水平線５００−１とＲ画像の水平線５００−２は，ずれており，双方の水平線の傾き角度は相違している。上記Ｌ画像の水平線５００−１は右上がり（右斜め上方向）に傾いており，上記Ｒ画像の水平線５００−２は右下がり（左斜め上方向）に傾いている。したがって，双方の画像の向きは相違しており，上記説明の通り，図１５（ａ）に示すＬ画像とＲ画像とから立体視画像に合成しても，上下に視差が含まれる蓋然性が極めて高く，立体感のある立体視画像が表示されない。

図１５（ａ）に示すＬ画像をそのままの状態にし，Ｒ画像を左回りに“ｄ”度回転し，必要に応じて上下左右に移動することにより，図１５（ｂ）に示すように，Ｌ画像の水平線５００−１とＲ画像の水平線５００−２の傾き角度がほぼ等しく，図１５（ａ）と比べて，Ｌ画像の水平線５００−１とＲ画像の水平線５００−２とのずれは極めて少なくなっている。つまり，双方の視点画像の向きを一致させることで，上下の視差の発生が極力抑えられる。

上記説明のように，Ｌ画像またはＲ画像の回転移動による微調整後，双方の画像が合成されると，図１５（ｃ）に示すように，適当に立体感のある，見やすい立体視画像が立体視表示部１４０に表示される。なお，図１５（ｃ）に示す水平線５００は，水平線５００−１と水平線５００−２が合成されたものである。このように上下視差さえ解消して合成すれば水平線を必ずしも水平に表示することにこだわる必要はない。

なお，図１４（ｂ）に示すＬ画像の水平線５００−１およびＲ画像の水平線５００−２と比べて，図１５（ｂ）に示すＬ画像の水平線５００−１とＲ画像の水平線５００−２は，相対的に傾きが大きい。しかし，上下方向の視差の発生を最小限に少なくすることができるため，図１５（ｂ）に示すＬ画像およびＲ画像から立体視画像に合成しても，３Ｄ画像として適当な立体感のある立体視画像を表示することが出来る。

さらに，本実施の形態にかかる回転移動補正の処理方法として，図１６に示すように，双方の視点画像のずれを解消するため，視点画像であるＬ画像とＲ画像のうち，Ｒ画像を固定し，Ｌ画像を適当な角度回転し，または移動する処理方法が存在する。

図１６（ａ）に示すように，Ｌ画像は，水平線５００−１が傾いて撮影されており，Ｌ画像の水平方向と，Ｌ画像の水平線５００−１とが略平行とならず所定の角度を有している。

Ｒ画像についても，Ｒ画像の水平方向と，Ｒ画像の水平線５００−２が略平行とならず所定の角度を有している。また，Ｌ画像の水平線５００−１とＲ画像の水平線５００−２とに対する鉛直線（矢印）の傾きは相違している。なお，Ｌ画像およびＲ画像の配置は，平行配置であるが，交差配置等でもよい。

また，図１６（ａ）に示すＬ画像の水平線５００−１とＲ画像の水平線５００−２は，ずれており，双方の水平線は一致していない。上記Ｌ画像の水平線５００−１は右上がり（右斜め上方向）に傾いており，上記Ｒ画像の水平線５００−２は右下がり（左斜め上方向）に傾いている。したがって，双方の視点画像の向きは相違しており，上記説明の通り，図１６（ａ）に示すＬ画像とＲ画像とから立体視画像に合成しても，上下に視差が発生している蓋然性が極めて高く，立体感のある立体視画像が表示されない。

図１６（ａ）に示すＲ画像をそのままの状態にし，Ｌ画像を右回りに“ｃ”度回転し，必要に応じて，上下左右方向に移動することで，図１６（ｂ）に示すように，Ｌ画像の水平線５００−１とＲ画像の水平線５００−２の傾きの角度がほぼ一致し，図１６（ａ）と比べて，Ｌ画像の水平線５００−１とＲ画像の水平線５００−２とのずれは極めて少なくなっている。つまり，双方の画像の向きを一致させることで，上下方向に発生していた視差を，無くすことができる。

上記説明のように，Ｌ画像およびＲ画像の回転移動による微調整後，双方の画像が合成されると，図１６（ｃ）に示すように，３Ｄ画像として適当な立体感のある，見やすい立体視画像が立体視表示部１４０に表示される。なお，図１６（ｃ）に示す水平線５００は，水平線５００−１と水平線５００−２が合成されたものである。

なお，図１４（ｂ）に示すＬ画像の水平線５００−１およびＲ画像の水平線５００−２と比べて，図１６（ｂ）に示すＬ画像の水平線５００−１とＲ画像の水平線５００−２は，相対的に傾きが大きい。しかし，上下の視差の発生を最小限に抑えることができるため，図１６（ｂ）に示すＬ画像およびＲ画像から立体視画像に合成しても，３Ｄ画像として適当な立体視画像を実現することが出来る。

図１４〜図１６に示すＬ画像またはＲ画像の回転移動補正は，立体視表示部１４０の表示画面に表示される回転移動設定画面５１０に回転角度等を設定することにより，行われる。なお，本実施の形態にかかる回転移動設定画面５１０については後程詳述する。

（回転移動設定画面）
次に，図１７を参照しながら，本実施の形態にかかる回転移動設定画面について説明する。図１７は，本実施の形態にかかる回転移動設定画面の概略的な構成を示す説明図である。

入力部１５１により，図１７（ａ）に示す回転移動設定画面５１０に回転角度等を設定することにより，視点画像（Ｌ画像，Ｒ画像）の回転や，移動の微調整を行うことができる。なお，光学アダプタ１０５を使用する場合，予め台形歪補正などの画像ひずみ処理は済ませておく。

図１７（ａ）に示す回転移動設定画面５１０には，Ｌ画像（左）の視点画像の回転を選択するチェックボックス５１１と，Ｌ画像（左）の視点画像の回転角度を設定する入力ボックス５１２と，Ｒ画像（右）の視点画像の回転を選択するチェックボックス５１３と，Ｒ画像（右）の視点画像の回転角度を設定する入力ボックス５１４とが表示されている。

さらに，図１７（ａ）に示す回転移動設定画面５１０には，Ｌ画像及び／又はＲ画像を上下方向，左右方向に移動させるための「上」ボタンと，「下」ボタンと，「右」ボタンと，「左」ボタンと，回転する角度が１度刻みである回転調整ボタン５１６と，回転する角度が０．５度刻みである回転調整ボタン５１７と，回転する角度が０．１度刻みである回転調整ボタン５１８と，回転する角度が０．０５度刻みである回転調整ボタン５１９と，回転調整ボタン５１６〜回転調整ボタン５１９による回転方向を時計回転方向または逆時計回転方向に設定する方向チェックボックス５１５とを少なくとも備える。

図１７に示すように，Ｌ画像またはＲ画像を回転微調整する場合，チェックボックス５１１と，チェックボックス５１３にマウスのクリックなどで，レ点が表示されるようにチェックし，入力ボックス５１２には“ａ”度，入力ボックス５１４には“−ｂ”度と設定される。

“ａ”度と，“−ｂ”度が設定されると，画像分離部１３８により結合画像データから切出処理等されたＬ画像データとＲ画像データについて，編集部１５２は，図１４（ｂ）に示すように，Ｌ画像データを，右回りに“ａ”度回転し，Ｒ画像データを，左回りに“ｂ”度回転する。

なお，Ｌ画像またはＲ画像を回転微調整する場合，チェックボックス５１１をチェックし，回転調整ボタン５１６〜回転調整ボタン５１９のうち少なくとも一つを，マウス（図示せず。）などにより，“ａ”度になるまで複数回クリックしても，Ｌ画像を右回りに“ａ”度回転することができる。

Ｌ画像と同じく，Ｒ画像についてもチェックボックス５１３をチェックし，さらに方向チェックボックス５１５をチェックし，回転調整ボタン５１６〜回転調整ボタン５１９のうち少なくとも一つを，マウスなどの入力部１５１により，“−ｂ”度になるまで複数回クリックすることで，編集部１５２はＬ画像を左回りに“−ｂ”度回転することができる。

さらに，図１７（ｂ）に示すように，Ｌ画像またはＲ画像を回転微調整する場合，つまみ部５２１を，例えば，矢印ａ方向または矢印ｂ方向に回転する（ひねる）ことで，Ｌ画像またはＲ画像を回転させることができる。なお，上記つまみ部５２１は，入力部１５１に含まれる。

したがって，図１７（ａ）に示す回転調整ボタン５１６〜回転調整ボタン５１９をクリックする必要がなく，または入力ボックス５１２や，入力ボックス５１４に回転角度の数値を設定する必要がないため，効率的に回転補正の処理をすることができる。

上記つまみ部５２１は，矢印ａまたは矢印ｂ方向に回転する（ひねる）角度によって，例えば，０．５度単位に，Ｌ画像またはＲ画像が回転する角度を調節することができる。

本実施の形態にかかるつまみ部５２１は，Ｌ画像またはＲ画像が回転する角度を調節することが可能であれば，かかる例に限定されず，例えば，ダイヤル，ジョグダイヤルなどの場合であってもよい。

次に，編集部１５２によりＬ画像とＲ画像の回転移動が終了すると，画像変換部１３９によりＬ画像とＲ画像が合成され，立体視画像が生成される。なお合成前に，Ｌ画像の水平線５００−１とＲ画像の水平線５００−２が一致しているか否かを確認するために，立体視画像の一部分を拡大することができる。

図１８を参照しながら，本実施の形態にかかる拡大表示画面を説明する。図１８は，本実施の形態にかかる拡大表示画面の概略的な構成を示す説明図である。

図１８に示すように，拡大表示画面５３０には，立体視画像のうち水平線５００の周辺が部分的に選択され，水平線５００−１と水平線５００−２が拡大表示されている。

立体視画像の全体表示では，水平線５００−１と水平線５００−２の傾きが異なっていることが把握することが難しいが，上記拡大表示画面５３０を用いることで，水平線５００−１と水平線５００−２が一致しているか否かを確認することが容易となる。

編集部１５２は，回転移動したＲ画像データとＬ画像データを画像変換部１３９に伝送する。画像変換部１３９は，Ｒ画像データとＬ画像データとから立体視画像データを生成することにより，表示画面に補正後の立体視画像が表示される。

（回転補正処理）
ここで，図１９を参照しながら，本実施の形態にかかる回転移動補正処理について説明する。図１９は，本実施の形態にかかる回転移動補正処理の概略的な動作を示すフローチャートである。

図１９に示すように，まず，入力部１５１からの指示に基づき，編集部１５１は，回転移動補正処理をするために，上記説明した通り，Ｌ画像およびＲ画像に，水平線５００−１と水平線５００−２をそれぞれ設定する（Ｓ７００）。

なお，本実施の形態にかかる水平線の設定（Ｓ７００）は，Ｌ画像およびＲ画像それぞれに，水平線５００を設定する場合を例に挙げて説明したが，かかる例に限定されず，例えば，水平線以外にも補助線等を設定する場合でも実施可能である。上記補助線は，Ｌ画像およびＲ画像の任意の個所にそれぞれ設定される場合，またはＬ画像およびＲ画像に共通して存在する対応点を通過する補助線等の場合である。上記補助線，対応点については後述する。なお，操作者が水平線５００に相当する対応線を認識してさえいれば，水平線の設定処理（Ｓ７００）を実行しなくてもよい。

また，本実施の形態にかかる水平線または補助線の色は，各視点画像に応じて，異なる場合でもよい。例えば，Ｌ画像の水平線または補助線の色は青色であり，Ｒ画像の水平線または補助線の色は赤色である場合でもよい。

次に，水平線５００がＬ画像およびＲ画像に設定されると，上記説明したように，Ｌ画像とＲ画像を立体視画像に合成するため，例えば，Ｒ画像に設定された水平線５００の傾きと同じ角度や，水平線５００の傾きが水平になるまで等，水平線５００が適当な角度になるまで，入力部１５１からの指示に基づき編集部１５２はＬ画像またはＲ画像を回転する（Ｓ７０１）。

画像の回転処理（Ｓ７０１）が終了すると，最後の微調整として，編集部１５２は，適当な地点までＬ画像またはＲ画像を上下左右にずらす（Ｓ７０２）。なお，上下（上方向または下方向）に移動することで，主に上下方向の視差が調整され，左右方向（左方向または右方向）に移動することで，主に左右方向の視差が調整される。上記左右方向の視差の調整により，立体表示の強度を調節することができる。立体表示の強度は，３Ｄの飛び出し等，立体感の度合いである。

上記上下左右の移動処理（Ｓ７０２）後，さらに回転／移動処理があれば（Ｓ７０３），上述の画像の回転（Ｓ７０１）を実行することができる。また，上記移動処理（Ｓ７０２）後，他に処理する必要がなければ，本実施の形態にかかる回転移動補正処理の一連の動作が終了する。なお，上下左右の移動処理（Ｓ７０２）の終了後，Ｌ画像とＲ画像を合成することにより，３Ｄ表示するのに適当な立体視画像を生成することができる。なお，本実施の形態にかかる最初の画像の回転処理（Ｓ７０１）を実行後，以降の上下左右の移動（Ｓ７０２），終了（Ｓ７０３），画像の回転処理（Ｓ７０１）の間の処理を自動的にループ処理しても実施可能である。

本実施の形態にかかる回転移動補正処理をすることにより，少なくとも２視点以上の視点画像を撮影する際に，手ブレなどにより，撮像装置１００が傾いてしまった場合でも，適当な立体視画像を生成することができる。なお，従来では，撮影の失敗による上記手ブレの画像などは，画像データごと消去される場合が多かった。

なお，本実施の形態にかかる回転補正にて用いられた視点画像の回転角度，位置などの情報は，立体視画像を記録媒体１３５に保存後，変更することができない場合であっても実施可能である。特に，回転角度の情報については，変更不可にすることで，眼精疲労を招く立体視には不適な立体視画像を生成しないよう未然に防ぐことができる。

また，本実施の形態にかかる視点画像の回転角度，位置などの情報は，タグに設定する場合であっても実施可能である。上記タグは，例えば，“回転タグ”等を例示することができ，さらには，回転補正のための“回転補正タグ”を設ける場合であってもよい。上記“回転補正タグ”には，例えば，視点画像ごとに，回転角度，または位置などの情報が設定される。

（対応点）
次に，本実施の形態にかかる対応点を含む画像の回転補正について，図２０を参照しながら説明する。図２０は，本実施の形態にかかる対応点を含む画像の回転移動補正の概略を示す説明図である。

図２０（ａ）に示すように，Ｒ画像の対応点５１８−２を通過する水平軸５２２−１とＬ画像の対応点５１８−１を通過する水平軸５２２−２は，ｙ軸方向（垂直方向）に上下にずれている。なお，図２０に示すｘ軸（水平，横方向）およびｙ軸（垂直，縦方向）は，例えば，立体視表示部１４０の画面の横方向および縦方向等に該当する。

また，対応点は，同一被写体として各視点画像で対応が一致する点である。例えば，２視点の場合，同一被写体として左視点画像（Ｌ画像）と右視点画像（Ｒ画像）との対応が一致する点である。なお，通常，対応点は，ほぼ各視点画像内の全ての点に対し存在するが，全ての視点画像上に必ずしも対応点が存在するとは限らない。したがって，部分的に対応点が存在しない領域が発生する場合がある。

なお，本実施の形態に係る対応点とは，視点画像内のある領域に存在する対応点の集合体を表わしてもよい。上記対応点の集合の占める領域の大きさ，形状等は，各視点画像に撮影された被写体を対応付けることが可能であれば，かかる例に限定されず，任意の大きさ，形状等の領域でもよい。

例えば，複数の視点画像に同一被写体のコップが撮影されている場合，対応点をコップの開口部の縁（または縁の任意の点）に対して考えると，一の視点画像に撮影された上記開口部の縁の画像内に存在する対応点の占める領域と，他の視点画像に撮影された上記開口部の縁の画像内に存在する対応点の占める領域とは，大きさ，形状等が，ほぼ同程度に一致する。

なお，対応点を設定する際には，視点画像を全て画面に表示した上で，各視点画像のコントラストを上げる，または２値画像にすることで，適当な対応点を検出し，設定を容易にすることができる。なお，画像の２値化は，例えば視点画像の各画素の輝度（明るさ）に対して１又は２以上の閾値を設け，閾値以下ならば“０”（黒），閾値より大きければ“１”（白）等とすることである。

したがって，画像調整画面（図示せず。）から，視点画像のコントラストを上げるための「コントラストＵＰボタン」，または視点画像を白黒の２値画像にするための「２値ボタン」等のボタンをマウスなどの入力部１５１で選択することにより，対応点の検出を容易にする。

対応点が視点画像であるＬ画像とＲ画像とが，お互い相対的に立体視表示部１４０の画面垂直方向に，ずれていた場合，図２０（ａ）に示すＬ画像とＲ画像とから合成される立体視画像は，上下方向に視差が発生してしまい，ユーザは，眼精疲労を及ぼす。人間は，左右に眼が備わるため，水平方向の視差よりも垂直方向に発生する視差に対しては，眼に疲労感を及ぼしてしまうためである。

入力部１５１により，図１７に示す画像設定画面５１０の所定事項を設定し，編集部１５２は，図２０（ａ）に示すＬ画像およびＲ画像の対応点を通過する補助線５２０を右回り方向（矢印ａ）に回転する。なお，図２０（ａ）に示す補助線５２０は，ｙ軸上と角度α度有するように交差している。

なお，本実施の形態にかかる補助線５２０を回転させる際の中心は，補助線５２０とｙ軸との交点の場合を例に挙げて説明するが，中心が補助線５２０上に存在すれば，かかる例に限定されない。

次に，補助線５２０を回転させると，図２０（ｂ）に示すように，補助線５２０は，ｘ軸に対して平行となる。さらに微調整するため，対応点を中心としてＬ画像，Ｒ画像を回転する。なお，補助線５２０の回転につらなって，上記補助線５２０を通過するように上記Ｌ画像およびＲ画像についてもお互い並行するように回動する。

また，必要に応じて，例えば，補助線５２０の傾きを水平に微調整する場合や，Ｌ画像またはＲ画像を上下左右に微調整で移動する場合など，図１７に示す「上」ボタン，「下」ボタン，「左」ボタン，「右」ボタンをマウスのクリックなどで押下する。

上記クリックなどの押下により，Ｌ画像またはＲ画像を上下左右に動かし，Ｌ画像とＲ画像との画像の中での対応点５１８−１と５１８−２とを，さらに詳細に微調整することで，補助線５２０の傾きが，ｘ軸に対して水平となる。

図２０（ｂ）に示すように，Ｌ画像およびＲ画像の対応点の位置がともに，ｙ軸上同じ位置であることから，垂直方向（ｙ軸）の上下の視差が無くなる。したがって，図２０（ｂ）に示すＬ画像およびＲ画像から立体視画像を生成すると，視認性の極めて高く，かつ眼の負担が少ない，適正な立体的な画像が立体視表示部１４０に表示される。

回転移動設定画面５１０からの視点画像の回転または上下左右の移動により，立体視画像の上下方向の視差量を極小化することが可能となる。上下の視差は，水平方向の視差よりも眼の疲労等に，大きく影響を及ぼす。したがって，上下方向の視差量を極小化することで，眼の疲労を抑えることが可能となる。

以上から，全ての視点画像は，台形歪みがない限り，本実施の形態にかかる対応点を通過するような補助線または水平線を視点画像に設定し，視点画像を回転または上下左右に移動することにより，水平視差を有する，自然で視認性の良好な立体視画像を生成することができる。

なお，本実施の形態にかかるＬ画像およびＲ画像に設定された対応点を通過する補助線が回転することで視点画像の上下の視差を無くす場合を例に挙げて説明したが，かかる例に限定されず，例えば，Ｒ画像もしくはＬ画像のうちいずれか一方または双方を回転移動させる場合であっても実施可能である。なお，上記の場合，Ｌ画像およびＲ画像とはお互い水平視差を維持するため平行関係を保つようにする。また，Ｌ画像，Ｒ画像を回転させる際，適当な個所を回転の中心点とすることができる。

また，本実施の形態にかかる対応点が上下方向に発生する，ずれを解消するために，双方の画像に該当する対応点をマッチング（対応点マッチング）することで，自動的に立体視画像の上下の視差を解消することも実施可能である。

まず対応点を，双方の視点画像を２値化などすることで抽出する。なお，上記対応点は，例えば各視点画像３個ずつ抽出される。さらに，上記抽出された対応点同士がマッチングする（一致する）ように，対応点ごとに上記説明の回転移動補正を自動的に行う。すべての対応点が一致しない場合には，いずれか１つの対応点が一致するように視点画像が回転移動する場合や，水平方向のずれは所定量有した上で全ての対応点が上下方向のずれの発生が最小限になるよう視点画像が回転移動する場合等でもよい。

以上から，各視点画像に含む対応点が上下方向によるずれの発生を最大限に防げるため，双方の視点画像の合成により生成される立体視画像は，立体感があり，視認性の高い，３Ｄ画像となる。

なお，本実施の形態にかかる視点画像の回転移動補正処理は，２視点画像の場合を例に挙げて説明したが，かかる例に限定されず，複数の視点画像の場合であっても実施可能である。

以上，添付図面を参照しながら本発明の好適な実施形態について説明したが，本発明はかかる例に限定されない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例を想定し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。

上記実施形態においては，左視点画像および右視点画像の２視点からなる視点画像の場合を例にあげて説明したが，本発明はかかる例に限定されない。例えば，３以上の複数の視点画像の場合であっても実施することができる。

本発明は立体視画像を生成することが可能な立体視画像処理装置，コンピュータプログラム，および視差補正方法等に適用可能である。

図１は，本実施の形態にかかる光学アダプタを装着した撮像装置の概略的構成を示す説明図である。 図２は，図１の光学アダプタの構成例を示す説明図である。 図３は，本実施の形態にかかる光学アダプタを装着した撮像装置によって撮影される視差画像を示す説明図である。 図４は，本実施の形態にかかるプロジェクタによる立体画像表示の概略的な構成を示す説明図である。 図５は，本実施の形態にかかるコンピュータ装置の概略的な構成を示す説明図である。 図６は，本実施の形態にかかるＬ画像とＲ画像を合成して立体視画像生成する処理を説明するための説明図である。 図７は，本実施の形態にかかる立体視画像を示す説明図である。 図８は，本実施の形態にかかる立体視画像を立体的に視認する概要を説明するための図である。 図９は，本実施の形態にかかる立体視画像処理装置の概略的な構成を示すブロック図である。 図１０は，図１０に示す立体視画像処理装置の変形例である。 図１１は，本実施の形態にかかる立体視画像ファイルのデータ構造の概略を示す説明図である。 図１２は，本実施の形態にかかる結合画像データの概略的な構成を示す説明図である。 図１３は，本実施の形態にかかる複数の視点から撮像した場合の視点画像の概略的な構成を示す説明図である。 図１４は，本実施の形態にかかる視点画像双方の回転による回転補正の概略的な構成を示す説明図である。 図１５は，本実施の形態にかかる右眼用の視点画像の回転による回転補正の概略的な構成を示す説明図である。 図１６は，本実施の形態にかかる左眼用の視点画像の回転による回転補正の概略的な構成を示す説明図である。 図１７は，本実施の形態にかかる表示画面例の概略的な構成を示す説明図である。 図１８は，本実施の形態にかかる立体視画像の拡大表示画面例の概略的な構成を示す説明図である。 図１９は，本実施の形態にかかる回転補正の概略的な処理を示すフローチャートである。

図２０は，本実施の形態にかかる対象点が双方に設定された視点画像の回転による回転補正の概略的な構成を示す説明図である。

符号の説明

１０１ ：撮像部
１３１ ：合成部
１３２ ：画像エンコード部
１３３ ：画像制御情報生成部
１３４ ：データ多重化部
１３５ ：記録媒体
１３６ ：データ分離部
１３７ ：画像デコード部
１３８ ：画像分離部
１３９ ：画像変換部
１４０ ：立体視表示部
１５１ ：入力部
１５２ ：編集部

Claims (27)

1. 少なくとも相互に視差を有する複数の視点画像を合成して，得られる立体視画像の視差を補正する立体視画像処理装置であって：
   視点が異なる前記複数の視点画像のうち少なくとも一方を回転及び／又は移動させる回転移動装置を備えたことを特徴とする，立体視画像処理装置。
2. 前記回転移動装置は，前記複数の視点画像の相互間に生じる上下視差を補正するように，前記複数の視点画像を回転及び／又は移動させることを特徴とする，請求項１に記載の立体視画像処理装置。
3. 前記回転移動装置は，前記複数の視点画像に含まれ，各視点画像を対応付ける対応点を抽出することを特徴とする，請求項１に記載の立体視画像処理装置。
4. 前記複数の視点画像は，相互に視差を有する右視点画像と左視点画像であることを特徴とする，請求項１に記載の立体視画像処理装置。
5. 前記回転移動装置は，前記右視点画像および前記左視点画像にそれぞれ設定された補助線が一致するまで回転及び／又は移動させることを特徴とする，請求項４に記載の立体視画像処理装置。
6. 前記回転移動装置は，前記右視点画像および前記左視点画像の前記補助線の傾きが双方とも略水平になるまで回転及び／又は移動させることを特徴とする，請求項５に記載の立体視画像処理装置。
7. 前記右視点画像の補助線の色は，前記左視点画像の補助線の色と相違することを特徴とする，請求項５に記載の立体視画像処理装置。
8. 前記右視点画像と左視点画像とは一の結合画像として管理され，前記回転移動装置は，前記結合画像のタグ情報に応じて，回転及び／又は移動処理を行うことを特徴とする，請求項５に記載の立体視画像処理装置。
9. 前記回転移動装置は，右視点画像と左視点画像との水平視差を調整するように，前記右視点画像もしくは前記左視点画像のうちいずれか一方または双方を，相対的に同方向または逆方向に，回転及び／又は移動させることを特徴とする，請求項４に記載の立体視画像処理装置。
10. 前記回転移動装置は，前記右視点画像に含まれる対応点と前記左視点画像に含まれる対応点とを結んでなる補助線の傾きが略水平になるまで，回転及び／又は移動させることを特徴とする，請求項４に記載の立体視画像処理装置。
11. 前記右視点画像と左視点画像とは一の結合画像として管理され，前記回転移動装置は，前記結合画像のタグ情報に応じて，回転及び／又は移動処理を行うことを特徴とする，請求項１０に記載の立体視画像処理装置。
12. 前記対応点は，前記右視点画像および前記左視点画像の少なくともコントラストを上げることで，前記右視点画像と左視点画像とが対応付けられるように抽出されることを特徴とする，請求項１１に記載の立体視画像処理装置。
13. 前記回転移動装置は，右視点画像と左視点画像との上下視差を補正するように，前記右視点画像もしくは前記左視点画像のうちいずれか一方または双方を，相対的に同方向または逆方向に，回転及び／又は移動させることを特徴とする，請求項４に記載の立体視画像処理装置。
14. 前記回転移動装置は，前記右視点画像に含まれる前記対応点と前記左視点画像に含まれる前記対応点とを結んでなる補助線の傾きが略水平になるまで，回転及び／又は移動させることを特徴とする，請求項１３に記載の立体視画像処理装置。
15. 前記対応点は，前記右視点画像および前記左視点画像の少なくともコントラストを上げることで，前記右視点画像と左視点画像とが対応付けられるように抽出されることを特徴とする，請求項１４に記載の立体視画像処理装置。
16. 前記右視点画像と左視点画像とは一の結合画像として管理され，前記回転移動装置は，前記結合画像のタグ情報に応じて，回転及び／又は移動処理を行うことを特徴とする，請求項４に記載の立体視画像処理装置。
17. コンピュータをして，少なくとも相互に視差を有する複数の視点画像を合成して得られる立体画像の視差を補正する立体視画像処理装置として機能させるコンピュータプログラムであって：
    前記複数の視点画像に補助線を設定する補助線設定手段と；
    前記補助線が一致するように，前記複数の視点画像のうち少なくとも一方を回転及び／又は移動する回転移動手段とを含むことを特徴とする，コンピュータプログラム。
18. コンピュータをして，少なくとも相互に視差を有する複数の視点画像を合成して得られる立体画像の視差を補正する立体視画像処理装置として機能させるコンピュータプログラムであって：
    前記複数の視点画像に含まれる対応点を，各視点画像につき少なくとも一つ抽出する対応点抽出手段と；
    前記各視点画像の対応点を結んでなる補助線を設定する補助線設定手段と；
    前記補助線が略水平となるように前記複数の視点画像を回転及び／又は移動する回転移動手段とを含むことを特徴とする，コンピュータプログラム。
19. 少なくとも相互に視差を有する複数の視点画像を合成して得られる立体視画像の視差補正方法であって：
    前記複数の視点画像のうち少なくとも一方を回転及び／又は移動する回転移動段階を含むことを特徴とする，視差補正方法。
20. 前記複数の視点画像に補助線を設定する補助線設定段階をさらに含むことを特徴とする，請求項１９に記載の視差補正方法。
21. 前記複数の視点画像は，相互に視差を有する右視点画像と左視点画像であることを特徴とする，請求項１９に記載の視差補正方法。
22. 前記回転移動段階は，前記補助線が，前記右視点画像と左視点画像に設定された前記補助線と一致するように，回転移動することを特徴とする，請求項２１に記載の視差補正方法。
23. 前記右視点画像の補助線の色は，前記左視点画像の補助線の色と相違することを特徴とする，請求項２１に記載の視差補正方法。
24. 前記右視点画像と左視点画像とは一の結合画像として管理され，前記回転移動段階は，前記結合画像のタグ情報に応じて，回転及び／又は移動処理を行うことを特徴とする，請求項２１に記載の視差補正方法。
25. 少なくとも相互に視差を有する複数の視点画像を合成して得られる立体視画像の視差補正方法であって：
    前記複数の視点画像に含まれる対応点を，各視点画像につき少なくとも一つ抽出する対応点抽出段階と；
    前記各視点画像の対応点を結んでなる補助線を設定する補助線設定段階と；
    前記補助線が略水平となるように前記複数の視点画像を回転及び／又は移動する回転移動段階とを含むことを特徴とする，視差補正方法。
26. 前記複数の視点画像は，相互に視差を有する右視点画像と左視点画像であることを特徴とする，請求項２５に記載の視差補正方法。
27. 前記対応点は，前記右視点画像および前記左視点画像の少なくともコントラストを上げることで，前記右視点画像と左視点画像とが対応付けられるように抽出されることを特徴とする，請求項２６に記載の視差補正方法。

Images