JP2009239781A - 立体画像生成装置および方法並びにプログラム - Google Patents

Abstract

【課題】複数の画像をCoverFlowのようにレイアウトした際に立体視できるようにする。
【解決手段】画像入力部２が、被写体を異なる複数の撮影位置から撮影することにより取得した立体画像生成用の複数の画像からなる画像群を複数取得する。第１および第２のレイアウト部３，４および立体変換部５が、複数の画像群のうち、注目画像として表示するために選択された１の画像群を立体視可能に表示面上の所定位置に配置し、１の画像群以外の他の画像群から選択された選択画像を、表示面上における所定位置の側を向いて傾斜して見えるように、所定位置の左右の少なくとも一方の側に配置することにより、注目画像の左右の少なくとも一方の側に注目画像以外の他の画像が配置された立体レイアウト画像を生成する。
【選択図】図１

Description

本発明は、複数の画像がレイアウトされた立体レイアウト画像を生成する立体画像生成装置および方法並びに立体画像生成方法をコンピュータに実行させるためのプログラムに関するものである。

複数の画像を組み合わせて表示することにより、視差を利用して立体視できることが知られている。このような立体視ができる立体画像は、同一の被写体を異なる撮影位置から複数のカメラを用いて撮影することにより複数の画像を取得し、複数の画像間の視差を利用して複数の画像を合成することにより生成することができる。

具体的には、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせることにより、複数の画像を合成して立体画像を生成することができる。この場合、立体画像を表示して、赤青メガネや偏光メガネ等の画像分離メガネを用いて、表示された立体画像を目の自動焦点機能により融合視することにより、画像を立体視することができる（アナグリフ方式、偏光フィルタ方式）。

また、偏光メガネ等を使用しなくても、パララックスバリア方式およびレンチキュラー方式のように、立体画像を立体視可能な３Ｄ液晶に表示して立体視することも可能である。この場合、複数の画像を垂直方向に短冊状に切り取って交互に配置することにより、立体画像が生成される。また、画像分離メガネを使用し、左右の画像を交互に表示することにより、立体画像を表示することも可能である（時分割方式）。

また、パララックスバリア方式の立体表示を行う際に、立体視可能な立体画像と、立体視のできない平面画像とを交互に切り替えて表示する手法が提案されている（特許文献１参照）。さらに、テクスチャを立体化して表示するために、立体化の程度を表す立体値を求め、立体値に応じて、テクスチャデータのピクセルを移動表示して疑似的に立体化する手法も提案されている（特許文献２参照）。

ところで、音楽ＣＤのジャケットについての複数の画像を、遠近感を持って並べて表示する手法が提案されている（アップル社のCoverFlow）。このCoverFlowは、図２６に示すように中央に注目する画像を正面を向くように配置し、その左右に注目画像の側を向いて傾いているように他の画像を遠近法により描画して並べて配置することにより生成することができる。そして、このようにレイアウトされた複数の画像を表示した状態において、左右にある他の画像を選択することにより、選択された画像が注目画像として画面の中央に正面を向いて表示されることとなる。
特開２００７−７２２６９号公報 特開平１０−３０２０７９号公報

しかしながら、CoverFlowは画像を遠近法により描画しているため、画像の遠近感はあるものの、立体画像のように立体視できるものではない。

本発明は上記事情に鑑みなされたものであり、複数の画像をCoverFlowのようにレイアウトした際に、立体視できるようにすることを目的とする。

本発明による立体画像生成装置は、被写体を異なる複数の撮影位置から撮影することにより取得した立体画像生成用の複数の画像からなる画像群を複数取得する画像取得手段と、
前記複数の画像群のうち、注目画像として表示するために選択された１の画像群を立体視可能に表示面上の所定位置に配置し、前記１の画像群以外の他の画像群から選択された選択画像を、前記表示面上における前記所定位置の側を向いて傾斜して見えるように、該所定位置の左右の少なくとも一方の側に配置することにより、前記注目画像の左右の少なくとも一方の側に該注目画像以外の他の画像が配置された立体レイアウト画像を生成する画像レイアウト手段とを備えたことを特徴とするものである。

このように生成された立体レイアウト画像を立体視可能に表示することにより、注目画像が立体感を持ち、さらにその左右の少なくとも一方に配置された画像は斜めに傾斜した立体感を持つこととなる。したがって、複数の画像をCoverFlowのようにレイアウトした画像を立体視することが可能となる。

なお、本発明による立体画像生成装置においては、前記画像レイアウト手段を、前記他の画像群に含まれる複数の画像のうち、中央近傍の撮影位置において取得した画像を前記選択画像として選択する手段としてもよい。

ここで、被写体を異なる複数の撮影位置から撮影した場合、中央近傍の撮影位置において取得された画像は略正面を向いたものとなるため、撮影した被写体が何であるのかが最も分かりやすいものである。したがって、中央近傍の撮影位置において取得した画像を選択画像として選択することにより、選択画像が斜めに傾いて見えていても、被写体が何であるかよく分かることとなる。

また、本発明による立体画像生成装置においては、前記画像レイアウト手段を、前記他の画像群に含まれる複数の画像のうち、前記所定位置の左側に配置する選択画像として、右よりの撮影位置において取得した画像を選択し、前記所定位置の右側に配置する選択画像として、左よりの撮影位置において取得した画像を選択する手段としてもよい。

ここで、立体視を行う場合、左側に表示される画像は右目により、右側に表示される画像は左目により視認されるものである。このため、所定位置の左側に配置する選択画像として、右よりの撮影位置において取得した画像を選択し、所定位置の右側に配置する選択画像として、左よりの撮影位置において取得した画像を選択することにより、選択画像を自然に立体視することができる。

また、本発明による立体画像生成装置においては、前記画像レイアウト手段を、前記他の画像群に含まれる複数の画像のうち、前記所定位置に近い側に配置する選択画像として、中央近傍の撮影位置において取得した画像を選択し、該所定位置から離れた位置に配置する選択画像ほど、前記中央近傍の撮影位置から離れた位置において取得した画像を選択する手段としてもよい。

ここで、立体視を行う場合、表示面の端に配置する画像ほど、遠くから被写体を見込む画像を用いた方がより自然に立体視を行うことができる。このため、複数の画像のうち、所定位置に近い側に配置する選択画像として、中央近傍の撮影位置において取得した画像を選択し、所定位置から離れた位置に配置する選択画像ほど、中央近傍の撮影位置から離れた位置において取得した画像を選択することにより、選択画像を自然に立体視することができる。

また、本発明による立体画像生成装置においては、前記画像レイアウト手段を、複数のレイアウト画像の前記所定位置に、前記選択された１の画像群に含まれる複数の注目画像をそれぞれ配置する第１のレイアウト手段と、
前記選択画像を幅方向に互いに異なる縮小倍率により縮小して複数の縮小選択画像を生成し、前記複数のレイアウト画像の前記所定位置の左右の少なくとも一方の側における、所定の基準位置を基準として、該複数の縮小選択画像を前記複数のレイアウト画像のそれぞれに配置する第２のレイアウト手段と、
前記複数の注目画像および前記複数の縮小選択画像が配置された複数のレイアウト画像から、前記立体レイアウト画像を生成する立体変換手段とを備えるものとしてもよい。

これにより、煩雑な演算を行うことなく、立体レイアウト画像を立体視した際に、選択画像を所定位置の側を向いて傾斜して見えるようにすることができる。

また、本発明による立体画像生成装置においては、前記第２のレイアウト手段を、前記複数の縮小選択画像の前記所定位置側における端部を、前記複数のレイアウト画像における前記基準位置と一致させて、該複数の縮小選択画像を前記複数のレイアウト画像のそれぞれに配置する手段としてもよい。

これにより、選択画像の所定位置側の端部が、注目画像の立体感の基準面と一致するようになるため、立体レイアウト画像を立体視した際に、選択画像は注目画像と同様に、手前側に立体感を持って傾いているように立体視されることとなる。したがって、立体レイアウト画像を立体視した際の視差の範囲が、立体レイアウト画像に含まれるすべての画像において略同一となるため、立体視を行う際の疲労感を軽減することができる。

また、本発明による立体画像生成装置においては、前記第２のレイアウト手段を、前記複数の縮小選択画像の前記所定位置とは反対側における端部を、前記複数のレイアウト画像における前記基準位置と一致させて、該複数の縮小選択画像を前記複数のレイアウト画像のそれぞれに配置する手段としてもよい。

これにより、選択画像の所定位置側とは反対側の端部が、注目画像の立体感の基準面と一致するようになるため、立体レイアウト画像を立体視した際に、選択画像は注目画像とは反対に、奥側に傾いているように立体視されることとなる。これにより、立体レイアウト画像を立体視した際に、選択画像が注目画像よりも奥まって立体視されるため、注目画像と選択画像との区別が容易となる。

また、本発明による立体画像生成装置においては、前記第２のレイアウト手段を、前記複数の縮小選択画像の両端部以外の部分を、前記複数のレイアウト画像における前記基準位置と一致させて、該複数の縮小選択画像を前記複数のレイアウト画像のそれぞれに配置する手段としてもよい。

これにより、選択画像の両端部以外の部分が、注目画像の立体感の基準面と一致するようになるため、立体レイアウト画像を立体視した際に、選択画像はその幅方向の中間部分を基準として、注目画像とは反対側が注目画像と同様に手前に傾き、注目画像側が注目画像とは反対に奥側に傾いているように立体視されることとなる。したがって、立体レイアウト画像を立体視した際の視差の範囲がそれほど広いものとはならず、さらに、注目画像と選択画像との区別も容易となる。

また、本発明による立体画像生成装置においては、複数の前記選択画像を配置するに際し、前記第２のレイアウト手段を、同一の前記レイアウト画像に配置する選択画像については、同一の縮小倍率により縮小して前記縮小選択画像を生成する手段としてもよい。

これにより、複数の選択画像は互いに平行に斜めに傾斜した立体感を持つこととなる。

また、本発明による立体画像生成装置においては、複数の前記選択画像を配置するに際し、前記第２のレイアウト手段を、同一の前記レイアウト画像に配置する選択画像について、前記所定位置から離れた位置に配置する選択画像ほど、大きい縮小率により縮小して前記縮小選択画像を生成する手段としてもよい。

これにより、複数の選択画像は所定位置から離れるほど、傾斜が大きくなるように立体感を持つこととなる。

また、本発明による立体画像生成装置においては、前記第２のレイアウト手段を、前記選択された１の画像群に含まれる複数の注目画像間の視差以下の視差となるように、前記選択画像の縮小倍率を設定する手段としてもよい。

これにより、選択画像が注目画像よりも目立ってしまうことを防止できる。

本発明による立体画像生成方法は、被写体を異なる複数の撮影位置から撮影することにより取得した立体画像生成用の複数の画像からなる画像群を複数取得し、
前記複数の画像群のうち、注目画像として表示するために選択された１の画像群を立体視可能に表示面上の所定位置に配置し、前記１の画像群以外の他の画像群から選択された選択画像を、前記表示面上における前記所定位置の側を向いて傾斜して見えるように、該所定位置の左右の少なくとも一方の側に配置することにより、前記注目画像の左右の少なくとも一方の側に該注目画像以外の他の画像が配置された立体レイアウト画像を生成することを特徴とするものである。

なお、本発明による立体画像生成方法をコンピュータに実行させるためのプログラムとして提供してもよい。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による立体画像生成装置の構成を示す概略ブロック図である。図１に示すように第１の実施形態による立体動画像生成装置１は、立体視が可能な立体レイアウト画像を生成するためのものであり、画像入力部２、第１のレイアウト部３、第２のレイアウト部４、立体変換部５、各種入力を行うキーボードおよびマウス等からなる入力部６、各種表示を行う液晶モニタ等の表示部７並びに制御部８を備え、各部がバス９により接続されている。なお、本実施形態においては表示部７は、パララックスバリア方式の立体表示を行うために、垂直方向の細かいスリットを表示面に有するものとなっている。

なお、第１のレイアウト部３、第２のレイアウト部４および立体変換部５が、画像レイアウト手段を構成する。

画像入力部２は、立体画像表示装置１において立体画像として表示するための複数の立体画像生成用の画像ファイルを装置１に入力するものであり、立体画像生成用の画像ファイルが記録されたメディアから画像ファイルを読み出すメディアドライブ、ネットワーク経由で画像ファイルの入力を受け付ける有線または無線のインターフェース等、画像ファイルを入力するための公知の種々の手段を用いることができる。本実施形態においては、画像入力部２をメディア２Ａから画像ファイルを読み出すものとする。なお、画像ファイルに格納された画像はＪＰＥＧ等の圧縮方式により圧縮されているため、画像入力部２は、入力された画像を伸長して、その後の処理に供するものである。

ここで、本実施形態においては、１つの立体画像を生成するための立体画像生成用の複数の画像は、図２に示すように、等間隔にて配置された複数の（ここでは６つ）撮影位置に設置された６つのカメラＣ１〜Ｃ６を用いて被写体を撮影することにより取得されるものである。図２に示す６つのカメラＣ１〜Ｃ６により取得された６つの画像Ｓ１〜Ｓ６を図３に示す。図３に示すように、６つの画像Ｓ１〜Ｓ６に含まれる被写体は、撮影位置に応じた視差を有するものとなっている。

なお、本実施形態において、装置１は６つの画像Ｓ１〜Ｓ６のそれぞれに対応する６つのレイアウト画像Ｇ１〜Ｇ６を生成し、６つのレイアウト画像Ｇ１〜Ｇ６から、５つの視点位置Ｐ１〜Ｐ５のそれぞれにおいて立体視が可能な立体レイアウト画像Ｄ０を生成するものである。

ここで、立体変換部５は、後述するように生成された６つのレイアウト画像Ｇ１〜Ｇ６を垂直方向に短冊状に切り取り、短冊状に切り取られたレイアウト画像Ｇ１〜Ｇ６をＧ１，Ｇ２，…Ｇ５，Ｇ６，Ｇ１，Ｇ２，…と交互に配置することにより立体レイアウト画像Ｄ０を生成する。

なお、表示部７のスリットは、図４に示すように、表示部５に表示された立体レイアウト画像Ｄ０を第１から第５の視点位置Ｐ１〜Ｐ５から見た場合、第１視点位置Ｐ１からはレイアウト画像Ｇ１，Ｇ２の画像が見え、第２視点位置Ｐ２からはレイアウト画像Ｇ２，Ｇ３の画像が見え、第３視点位置Ｐ３からはレイアウト画像Ｇ３，Ｇ４の画像が見え、第４視点位置Ｐ４からはレイアウト画像Ｇ４，Ｇ５の画像が見え、第５視点位置Ｐ５からはレイアウト画像Ｇ５，Ｇ６の画像が見えるように形成されている。

ここで、各視点位置Ｐ１〜Ｐ５においては、その位置から見える左右に並んだ２つの画像により立体視を行うことができるものである。したがって、レイアウト画像Ｇ１は第１視点位置Ｐ１の左画像となり、レイアウト画像Ｇ２は第１視点位置Ｐ１の右画像および第２視点位置Ｐ２の左画像となる。レイアウト画像Ｇ３は第２視点位置Ｐ２の右画像および第３視点位置Ｐ３の左画像となり、レイアウト画像Ｇ４は第３視点位置Ｐ３の右画像および第４視点位置Ｐ４の左画像となる。また、レイアウト画像Ｇ５は第４視点位置Ｐ４の右画像および第５視点位置Ｐ５の左画像となり、レイアウト画像Ｇ６は第５視点位置Ｐ５の右画像となる。

以下、レイアウト画像Ｇ１〜Ｇ６の生成について説明する。まず、第１のレイアウト部３が行う処理について説明する。なお、本実施形態においては、各レイアウト画像Ｇ１〜Ｇ６に配置する画像数は７つであるものとする。また、１つの被写体の画像については、６つの画像Ｓ１〜Ｓ６が立体画像生成のために用意されている。このため、装置１には、それぞれ６つの画像Ｓ１〜Ｓ６からなる７つの被写体についての７つの画像群Ｆ１〜Ｆ７が入力されるものとする。

図５はレイアウト画像における画像の配置の例を示す図である。図５に示すように、レイアウト画像Ｇｉ（ｉ＝１〜６）は、略中央に注目画像を配置するための注目画像配置位置Ａ０、注目画像配置位置Ａ０の左側に３つの画像を並べて配置するための左画像配置位置ＡＬ１〜ＡＬ３、注目画像配置位置Ａ０の右側に３つの画像を並べて配置するための右画像配置位置ＡＲ１〜ＡＲ３を有する。なお、図５において、各配置位置には実際に画像が配置された状態を示している。ここで、右画像配置位置ＡＲ１〜ＡＲ３に配置される画像は、外側が手前側に飛び出しているような遠近感を有するものとしているが、左画像配置位置ＡＬ１〜ＡＬ３と同様に遠近感を有さないものとしてもよい。また、左画像配置位置ＡＬ１〜ＡＬ３について、右画像配置位置ＡＲ１〜ＡＲ３と同様に遠近感を有するものとしてもよい。

なお、各レイアウト画像Ｇ１〜Ｇ６の注目画像配置位置Ａ０に配置される注目画像のサイズは同一であるが、左画像配置位置ＡＬ１〜ＡＬ３および右画像配置位置ＡＲ１〜ＡＲ３に配置される画像は、レイアウト画像Ｇ１〜Ｇ６毎に幅方向のサイズが異なるものである。

まず、第１のレイアウト部３は、レイアウト画像Ｇ１〜Ｇ６の各位置Ａ０，ＡＬ１〜ＡＬ３，ＡＲ１〜ＡＲ３に、各画像群Ｆ１〜Ｆ７に含まれる６つの画像Ｓ１〜Ｓ６のうちのいずれの画像を配置するかを選択する。図６は第１の実施形態における配置する画像の選択結果を示す図である。図６に示すように各レイアウト画像Ｇ１〜Ｇ６の注目画像配置位置Ａ０に配置する画像としては、画像Ｓ１〜Ｓ６をそれぞれ選択する。また、注目画像配置位置Ａ０以外の左画像配置位置ＡＬ１〜ＡＬ３および右画像配置位置ＡＲ１〜ＡＲ３には、中央に近い撮影位置のカメラＣ３により取得した画像Ｓ３を選択する。なお、カメラＣ３により取得した画像Ｓ３に代えて、カメラＣ４により取得した画像Ｓ４を選択してもよい。

第１のレイアウト部３は、注目画像配置位置Ａ０に配置する注目画像を、あらかじめ定められたサイズとなるように倍率ａ（＝ｗ０／ｗ、ｗ０はあらかじめ定められたサイズの幅、ｗは注目画像の幅、０＜ａ＜１）にて、高さ方向および幅方向に縮小して縮小注目画像ＳＣ１〜ＳＣ６を生成し、縮小注目画像ＳＣ１〜ＳＣ６をレイアウト画像Ｇ１〜Ｇ６のそれぞれの注目画像配置位置Ａ０に配置する。図７は縮小注目画像ＳＣ１〜ＳＣ６が配置されたレイアウト画像Ｇ１〜Ｇ６を示す図である。

次いで、第２のレイアウト部４が、左画像配置位置ＡＬ１〜ＡＬ３および右画像配置位置ＡＲ１〜ＡＲ３のそれぞれに、注目画像の画像群以外の他の画像群から選択された選択画像を配置する。ここで、配置の対象を左画像配置位置ＡＬ１に配置する画像群に含まれる選択画像とした場合、第２のレイアウト部４は、選択画像を高さ方向に注目画像と同様に倍率ａにより縮小し、幅方向に６つの異なる倍率ｂ１〜ｂ６により縮小して、縮小選択画像ＳＬ１−１〜ＳＬ６−１を生成する。なお、倍率ｂｉ（ｉ＝１〜６）は、ｂｉ＝ｗｉ／ｗにより算出する。ここで、ｗｉは縮小選択画像ＳＬ１〜ＳＬ６の幅であり、ｗ１＜ｗ２＜ｗ３＜ｗ４＜ｗ５＜ｗ６＜ｗ０である。また、各幅ｗｉの差は、注目画像間の最大視差Ｅｍａｘに基づいて決定されるＥである。なお、注目画像は倍率ａにより縮小されているため、Ｅ≦ａ×Ｅｍａｘとする。また、視差Ｅｍａｘとしては、参照番号が隣接する注目画像間における互いに対応する対応点を探索し、対応点同士の水平方向における差分を算出し、算出した差分のうち最大の値を用いればよい。

そして、第２のレイアウト部４は、縮小選択画像ＳＬ１−１〜ＳＬ６−１をレイアウト画像Ｇ１〜Ｇ６の左画像配置位置ＡＬ１にそれぞれ配置する。図８は左画像配置位置ＡＬ１への縮小選択画像の配置を説明するための図である。図８に示すように、縮小選択画像ＳＬ１−１〜ＳＬ６−１は、縮小注目画像ＳＣ１〜ＳＣ６の左辺から左側に距離ΔＬ１離れた基準位置ＢＬ１にその右辺を一致させて、各レイアウト画像Ｇ１〜Ｇ６の左画像配置位置ＡＬ１に配置される。したがって、レイアウト画像Ｇ１〜Ｇ６を比較すると、縮小選択画像ＳＬ１−１〜ＳＬ６−１の右辺の位置は変わらないが、左辺の位置が徐々に左側に突出することとなる。

第２のレイアウト部４は、以下順次、左画像配置位置ＡＬ２〜ＡＬ３のそれぞれに配置する画像群から選択された選択画像を上記と同様に縮小して縮小選択画像ＳＬ１−２〜ＳＬ６−２，ＳＬ１−３〜ＳＬ６−３を生成し、縮小選択画像ＳＬ１−２〜ＳＬ６−２，ＳＬ１−３〜ＳＬ６−３をレイアウト画像Ｇ１〜Ｇ６の左画像配置位置ＡＬ２，ＡＬ３にそれぞれ配置する。

なお、右画像配置位置ＡＲ１〜ＡＲ３のそれぞれに配置する画像群から選択された選択画像については、左辺を高さ方向に倍率ａ１（＜ａ）により縮小し、右辺を高さ方向に倍率ａ２（＞ａ）により縮小する。また、幅方向については、縮小選択画像ＳＬ１〜ＳＬ６を生成した場合とは逆の順番で６つの異なる倍率ｂ６〜ｂ１により縮小して、縮小選択画像ＳＲ１−１〜ＳＲ６−１，ＳＲ１−２〜ＳＲ６−２，ＳＲ１−３〜ＳＲ６−３を生成する。そして、縮小選択画像ＳＲ１−１〜ＳＲ６−１，ＳＲ１−２〜ＳＲ６−２，ＳＲ１−３〜ＳＲ６−３をレイアウト画像Ｇ１〜Ｇ６の右画像配置位置ＡＲ１〜ＡＲ３にそれぞれ配置して、画像配置済みのレイアウト画像Ｇ１〜Ｇ６を生成する。

図９は他の画像配置位置への縮小選択画像の配置を説明するための図である。なお、図９においては左画像配置位置ＡＬ１，ＡＬ２および右画像配置位置ＡＲ１に縮小選択画像が配置された状態を示す。図９に示すように、縮小選択画像ＳＬ１−２〜ＳＬ６−２は、縮小注目画像ＳＣ１〜ＳＣ６の左辺から左側に距離ΔＬ２離れた基準位置ＢＬ２にその右辺を一致させて、各レイアウト画像Ｇ１〜Ｇ６の左画像配置位置ＡＬ２に配置される。ここで、距離ΔＬ２＝２ΔＬ１である。したがって、レイアウト画像Ｇ１〜Ｇ６を比較すると、左画像配置位置ＡＬ２に配置された縮小選択画像ＳＬ１−２〜ＳＬ６−２の右辺の位置は変わらないが、左辺の位置が徐々に左側に突出することとなる。なお、左画像配置位置ＡＬ２に配置された縮小選択画像ＳＬ１−２〜ＳＬ６−２は、左画像配置位置ＡＬ１に配置された縮小選択画像ＳＬ１−１〜ＳＬ６−１により、その右側が隠されることとなる。

なお、図示はしないが、縮小選択画像ＳＬ１−３〜ＳＬ６−３は、縮小注目画像ＳＣ１〜ＳＣ６の左辺から左側に距離ΔＬ３離れた基準位置ＢＬ３にその右辺を一致させて、各レイアウト画像Ｇ１〜Ｇ６の左画像配置位置ＡＬ３に配置される。ここで、距離ΔＬ３＝３ΔＬ１である。なお、左画像配置位置ＡＬ３に配置された縮小選択画像ＳＬ１−３〜ＳＬ６−３は、左画像配置位置ＡＬ１，ＡＬ２に配置された縮小選択画像ＳＬ１−１〜ＳＬ６−１，ＳＬ１−２〜ＳＬ６−２により、その右側が隠されることとなる。

また、縮小選択画像ＳＲ１−１〜ＳＲ６−１は、縮小注目画像ＳＣ１〜ＳＣ６の右辺から右側に距離ΔＲ１隔離れた基準位置ＢＲ１にその左辺を一致させて、各レイアウト画像Ｇ１〜Ｇ６の右画像配置位置ＡＲ１に配置される。したがって、レイアウト画像Ｇ１〜Ｇ６を比較すると、右画像配置位置ＡＲ１に配置された縮小選択画像ＳＲ１−１〜ＳＲ６−１の左辺の位置は変わらないが、右辺の位置が徐々に左側に移動することとなる。

なお、図示はしないが、右画像配置位置ＡＲ２，ＡＲ３に配置される縮小選択画像ＳＲ１−２〜ＳＲ６−２，ＳＲ１−３〜ＳＲ６−３は、縮小注目画像ＳＣ１〜ＳＣ６の右辺から右側に距離ΔＲ２，ΔＲ３離れた基準位置ＢＲ２，ＢＲ３にその左辺を一致させて、各レイアウト画像Ｇ１〜Ｇ６の右画像配置位置ＡＲ２，ＡＲ３に配置される。ここで、距離ΔＲ２＝２ΔＲ１，ΔＲ３＝３ΔＲ１である。なお、右画像配置位置ＡＲ２に配置されたＳＲ１−２〜ＳＲ６−２は、右画像配置位置ＡＲ１に配置されたＳＲ１−１〜ＳＲ６−１により、その左側が隠されることとなる。また、右画像配置位置ＡＲ３に配置された縮小選択画像ＳＲ１−３〜ＳＲ６−３は、右画像配置位置ＡＲ１，ＡＲ２に配置された縮小選択画像ＳＲ１−１〜ＳＲ６−１，ＳＲ１−２〜ＳＲ６−２により、その左側が隠されることとなる。

図１０は第１の実施形態において生成されたレイアウト画像を示す図である。図１０に示すようにレイアウト画像Ｇｉ（ｉ＝１〜６）の中央には縮小注目画像ＳＣｉが配置され、縮小注目画像ＳＣｉの左辺から左側に距離ΔＬ１，ΔＬ２，ΔＬ３離れた位置に、それぞれ縮小選択画像ＳＬｉ−１，ＳＬｉ−２，ＳＬｉ−３がその右辺を一致させて配置されている。また、縮小注目画像ＳＣｉの右辺から右側に距離ΔＲ１，ΔＲ２，ΔＲ３離れた位置に、それぞれ縮小選択画像ＳＲｉ−１，ＳＲｉ−２，ＳＲｉ−３がその左辺を一致させて配置されている。

立体変換部５は、生成された６つのレイアウト画像Ｇ１〜Ｇ６を垂直方向に短冊状に切り取り、短冊状に切り取られたレイアウト画像Ｇ１〜Ｇ６を、図１１に示すようにＬ１，Ｌ２，…Ｌ５，Ｌ６，Ｌ１，Ｌ２，…と交互に配置することにより立体レイアウト画像Ｄ０を生成する。なお、図１１は立体レイアウト画像Ｄ０におけるレイアウト画像Ｇ１〜Ｇ６の配置を模式的に示すものであり、アスペクト比は実際の立体レイアウト画像Ｄ０とは異なる。

制御部８は、ＣＰＵ８Ａ、各種処理を行う際の作業領域となるＲＡＭ８Ｂ、および装置１の動作プログラムおよび各種定数等を記憶したＲＯＭ８Ｃを備えてなり、装置１の各部の動作を制御する。

次いで、第１の実施形態において行われる処理について説明する。図１２は第１の実施形態において行われる処理を示すフローチャートである。なお、第１の実施形態においては、レイアウト画像Ｇ１〜Ｇ６には７つの画像群Ｆ１〜Ｆ７の画像を配置するが、説明が煩雑となることを防止するために、各画像配置位置に対応する画像群はあらかじめ決まっているものとして説明する。ここで、注目位置画像Ａ０、左画像配置位置ＡＬ１〜ＡＬ３および右画像配置位置ＡＲ１〜ＡＲ３に配置する画像を逐次選択するようにしてもよいことはもちろんである。

立体レイアウト画像Ｄ０生成の指示が入力部６から行われることにより制御部８が処理を開始し、画像入力部２が立体レイアウト画像Ｄ０生成に使用する７つの画像群Ｆ１〜Ｆ７の画像ファイルをメディア２Ａから読み出す（画像ファイル読み出し、ステップＳＴ１）。次いで、第１のレイアウト部３が、レイアウト画像Ｇ１〜Ｇ６の各画像配置位置Ａ０，ＡＬ１〜ＡＬ３，ＡＲ１〜ＡＲ３に、各画像群Ｆ１〜Ｆ７に含まれる画像Ｓ１〜Ｓ６のうちのいずれの画像を配置するかを選択する（画像選択、ステップＳＴ２）。

次いで、第１のレイアウト部３が、注目画像の画像群に含まれる画像Ｓ１〜Ｓ６の縮小画像である縮小注目画像ＳＣ１〜ＳＣ６を生成する（ステップＳＴ３）。そして、第１のレイアウト部３は、縮小注目画像ＳＣ１〜ＳＣ６をレイアウト画像Ｇ１〜Ｇ６の注目画像配置位置Ａ０に配置する（ステップＳＴ４）。

次いで、制御部８は画像配置の対象となる位置を最初の左画像配置位置ＡＬｍ（ｍ＝１〜３）に設定し（ｍ＝１，ステップＳＴ５）、第２のレイアウト部４が左画像配置位置ＡＬｍに配置する画像群に含まれる選択画像の縮小選択画像ＳＬ１−ｍ〜ＳＬ６−ｍを生成する（ステップＳＴ６）。そして、第２のレイアウト部４は、縮小選択画像ＳＬ１−ｍ〜ＳＬ６−ｍをレイアウト画像Ｇ１〜Ｇ６の左画像配置位置ＡＬｍに配置する（ステップＳＴ７）。次いで、制御部８はすべての左画像配置位置ＡＬｍに画像を配置したか否かを判定し（ステップＳＴ８）、ステップＳＴ８が否定されると、画像配置の対象となる位置を次の左画像配置位置ＡＬｍに変更し（ｍ＝ｍ＋１、ステップＳＴ９）、ステップＳＴ６に戻る。

一方、ステップＳＴ８が肯定されると、画像配置の対象となる位置を最初の右画像配置位置ＡＲｎ（ｎ＝１〜３）に設定し（ｎ＝１，ステップＳＴ１０）、第２のレイアウト部４が右画像配置位置ＡＲｎに配置する画像群に含まれる選択画像の縮小選択画像ＳＲ１−ｎ〜ＳＲ６−ｎを生成する（ステップＳＴ１１）。そして、第２のレイアウト部４は、縮小選択画像ＳＲ１−ｎ〜ＳＲ６−ｎをレイアウト画像Ｇ１〜Ｇ６の右画像配置位置ＡＲｎに配置する（ステップＳＴ１２）。そして、制御部８はすべての右画像配置位置ＡＲｎに画像を配置したか否かを判定し（ステップＳＴ１３）、ステップＳＴ１３が否定されると、画像配置の対象となる位置を次の右画像配置位置ＡＲｎに変更し（ｎ＝ｎ＋１，ステップＳＴ１４）、ステップＳＴ１１に戻る。

ステップＳＴ１３が肯定されると、立体変換部５がレイアウト画像Ｇ１〜Ｇ６から立体レイアウト画像Ｄ０を生成し（ステップＳＴ１５）、さらに制御部８が立体レイアウト画像Ｄ０を表示部７に表示し（ステップＳＴ１６）、処理を終了する。

図１３は第１の実施形態において生成された立体レイアウト画像Ｄ０および立体レイアウト画像Ｄ０を立体視した際の立体感を模式的に示す図である。図１３に示すように立体レイアウト画像Ｄ０には、注目画像ＤＣ０、左画像ＤＬ１〜ＤＬ３および右画像ＤＲ１〜ＤＲ３が含まれている。注目画像ＤＣ０については表示画像面３０から手前側に画像の全体が立体感を持つように立体視される。左画像ＤＬ１〜ＤＬ３については、レイアウト画像Ｇ１〜Ｇ６において右辺の位置が一定で左辺の位置が徐々に左側に突出しているため、左画像ＤＬ１〜ＤＬ３の左辺が表示画像面３０から手前側に飛び出し、３つの平面画像が注目画像ＤＣ０の側を向いて互いに平行に並んで傾斜しているように立体視される。右画像ＤＲ１〜ＤＲ３については、レイアウト画像Ｇ１〜Ｇ６において左辺の位置が一定で右辺の位置が徐々に右側に突出しているため、右画像ＤＲ１〜ＤＲ３の右辺が表示画像面３０から手前側に飛び出し、３つの平面画像が注目画像ＤＣ０の側を向いて互いに平行に並んで傾斜しているように立体視される。

なお、注目画像ＤＣ０は視差がａ×Ｅｍａｘとなる縮小注目画像ＳＣ１〜ＳＣ６から生成され、左画像ＤＬ１〜ＤＬ３および右画像ＤＲ１〜ＤＲ３は、それぞれ幅の差がＥ≦ａ×Ｅｍａｘとなる縮小選択画像ＳＬ１〜ＳＬ６，ＳＲ１〜ＳＲ６から生成されているため、立体視した際の左画像ＤＬ１〜ＤＬ３および右画像ＤＲ１〜ＤＲ３の傾きの奥行きは、注目画像ＤＣ０の奥行き以下となっている。

このように第１の実施形態によれば、注目画像が立体感を持ち、さらにその左右に配置された画像は斜めに傾斜した立体感を持つように立体レイアウト画像Ｄ０を生成するようにしたため、複数の画像をCoverFlowのようにレイアウトした画像を立体視することが可能となる。

ここで、被写体を異なる複数の撮影位置から撮影した場合、中央近傍の撮影位置において取得された画像は略正面を向いたものとなるため、撮影した被写体が何であるのかが最も分かりやすいものである。第１の実施形態においては、左画像配置位置ＡＬ１〜ＡＬ３および右画像配置位置ＡＲ１〜ＡＲ３に、中央に近い撮影位置において取得した画像Ｓ３から生成した縮小選択画像を配置しているため、画像が斜めに傾いて見えていても被写体が何であるかよく分かることとなる。

また、左右画像配置位置に配置する縮小選択画像を、元の画像を幅方向に縮小することにより生成しているため、煩雑な演算を行うことなく、左画像ＤＬ１〜ＤＬ３および右画像ＤＲ１〜ＤＲ３を注目画像ＤＣ０の側を向いて傾斜して見えるようにすることができる。なお、厳密には、単純に画像を幅方向に縮小するのみでは、立体視した際に左画像ＤＬ１〜ＤＬ３および右画像ＤＲ１〜ＤＲ３がわずかに湾曲してしまう。このため、撮影位置および視点位置との位置関係に基づく演算を行って、注目画像の左右方向の位置に応じて縮小する倍率を変化させることにより、左画像ＤＬ１〜ＤＬ３および右画像ＤＲ１〜ＤＲ３の湾曲を防止して、立体レイアウト画像Ｄ０の見栄えをよくすることができる。

また、レイアウト画像Ｇ１〜Ｇ６において、注目画像配置位置Ａ０側の端部を一定位置に固定して縮小選択画像を配置しているため、立体視をした際に、左画像ＤＬ１〜ＤＬ３および右画像ＤＲ１〜ＤＲ３は、注目画像ＤＣ０と同様に、手前側に立体感を持って傾いているように立体視されることとなる。したがって、立体レイアウト画像Ｄ０を立体視した際の視差の範囲が、立体レイアウト画像Ｄ０に含まれるすべての画像において略同一となるため、立体視を行う際のユーザの疲労感を軽減することができる。

また、縮小選択画像は、一定の割合で幅方向に縮小されているため、左画像ＤＬ１〜ＤＬ３および右画像ＤＲ１〜ＤＲ３は、互いに平行に斜めに傾斜した立体感を持つこととなる。

なお、上記第１の実施形態においては、表示された立体レイアウト画像Ｄ０において、左画像ＤＬ１〜ＤＬ３および右画像ＤＲ１〜ＤＲ３のいずれかを入力部６を用いて選択することにより、選択した画像を注目画像として立体レイアウト画像Ｄ０を生成し直すようにしてもよい。これにより、注目画像を順次切り替えて立体視することができる。

次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態および以降に説明する実施形態による立体画像生成装置は、第１の実施形態による立体画像生成装置と同一の構成を有し、行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。上記第１の実施形態においては、注目画像配置位置Ａ０以外の左画像配置位置ＡＬ１〜ＡＬ３および右画像配置位置ＡＲ１〜ＡＲ３には、撮影位置が中央に近いカメラＣ３により取得した画像Ｓ３を選択しているが、第２の実施形態においては、左画像配置位置ＡＬ１〜ＡＬ３に配置する画像として、右よりの撮影位置において取得した画像を、右画像配置位置ＡＲ１〜ＡＲ３に配置する画像として、左よりの撮影位置において取得した画像を選択するようにしたものである。

図１４は第２の実施形態における配置する画像の選択結果を示す図である。図１４に示すようにレイアウト画像Ｇ１〜Ｇ６の注目画像配置位置Ａ０に配置する画像としては、第１の実施形態と同様に画像Ｓ１〜Ｓ６をそれぞれ選択する。また、左画像配置位置ＡＬ１〜ＡＬ３に配置する画像として、右よりの撮影位置のカメラＣ４により取得した画像Ｓ４を選択し、右画像配置位置ＡＲ１〜ＡＲ３に配置する画像として、左よりの撮影位置のカメラＣ３により取得した画像Ｓ３を選択する。

ここで、立体視を行う場合、左側に表示される画像は右目により、右側に表示される画像は左目により視認されるものである。このため、左画像配置位置ＡＬ１〜ＡＬ３に配置する画像として、右よりの撮影位置のカメラＣ４により取得した画像Ｓ４を、右画像配置位置ＡＲ１〜ＡＲ３に配置する画像として、左よりの撮影位置のカメラＣ３により取得した画像Ｓ３を選択することにより、立体レイアウト画像Ｄ０に含まれる左画像ＤＬ１〜ＤＬ３および右画像ＤＲ１〜ＤＲ３を自然に立体視することができる。

次いで、本発明の第３の実施形態について説明する。第３の実施形態においては、注目画像配置位置Ａ０に近い側に配置する画像として、中央近傍の撮影位置において取得した画像を選択し、注目画像配置位置Ａ０から離れた位置に配置する画像ほど、中央近傍の撮影位置から離れた位置において取得した画像を選択するようにしたものである。

図１５は第３の実施形態における配置する画像の選択結果を示す図である。図１５に示すようにレイアウト画像Ｇ１〜Ｇ６の注目画像配置位置Ａ０に配置する画像としては、第１の実施形態と同様に画像Ｓ１〜Ｓ６をそれぞれ選択する。また、左画像配置位置ＡＬ３に配置する画像として、最も右の撮影位置のカメラＣ６により取得した画像Ｓ６を選択し、左画像配置位置ＡＬ２に配置する画像として、次に右の撮影位置のカメラＣ５により取得した画像Ｓ５を選択し、左画像配置位置ＡＬ１に配置する画像として、次に右の撮影位置のカメラＣ４により取得した画像Ｓ６を選択する。また、右画像配置位置ＡＲ３に配置する画像として、最も左の撮影位置のカメラＣ１により取得した画像Ｓ１を選択し、右画像配置位置ＡＲ２に配置する画像として、次に左の撮影位置のカメラＣ２により取得した画像Ｓ２を選択し、右画像配置位置ＡＲ１に配置する画像として、次に左の撮影位置のカメラＣ３により取得した画像Ｓ３を選択する。

ここで、立体視を行う場合、端にある画像ほど遠くから被写体を見込む画像を用いた方がより自然に立体視を行うことができる。このため、注目画像配置位置Ａ０に近い側に配置する画像として、中央近傍の撮影位置のカメラにより取得した画像を選択し、注目画像配置位置Ａ０から離れた位置に配置する画像ほど、中央近傍から離れた撮影位置のカメラにより取得した画像を選択することにより、立体レイアウト画像Ｄ０に含まれる左画像ＤＬ１〜ＤＬ３および右画像ＤＲ１〜ＤＲ３を自然に立体視することができる。

次いで、本発明の第４の実施形態について説明する。上記第１の実施形態においては、レイアウト画像Ｇ１〜Ｇ６において、注目画像配置位置Ａ０側の端部を一定位置に固定して縮小選択画像を配置しているが、第４の実施形態においては、注目画像配置位置Ａ０側とは反対側の端部を一定位置に固定して縮小選択画像を配置するようにしたものである。

図１６は第４の実施形態における縮小選択画像の配置を説明するための図である。なお、ここでは説明が煩雑になることを防止するため、左画像配置位置ＡＬ１および右画像配置位置ＡＲ１のみへの縮小選択画像の配置について説明する。図１６に示すように、縮小選択画像ＳＬ１−１〜ＳＬ６−１は、縮小注目画像ＳＣ１〜ＳＣ６の左辺から左側に距離ΔＬ１１離れた基準位置ＢＬ１１にその左辺を一致させて、各レイアウト画像Ｇ１〜Ｇ６の左画像配置位置ＡＬ１に配置される。したがって、レイアウト画像Ｇ１〜Ｇ６を比較すると、縮小選択画像ＳＬ１−１〜ＳＬ６−１の左辺の位置は変わらないが、右辺の位置が徐々に右側に突出することとなる。なお、距離ΔＬ１１は、縮小選択画像ＳＬ６−１の幅よりも大きいものとなっている。

一方、縮小選択画像ＳＲ１−１〜ＳＲ６−１は、縮小注目画像ＳＣ１〜ＳＣ６の右辺から右側に距離ΔＲ１１隔離れた基準位置ＢＲ１１にその右辺を一致させて、各レイアウト画像Ｇ１〜Ｇ６の右画像配置位置ＡＲ１に配置される。したがって、レイアウト画像Ｇ１〜Ｇ６を比較すると、縮小選択画像ＳＲ１−１〜ＳＲ６−１の右辺の位置は変わらないが、左辺の位置が徐々に右側に移動することとなる。なお、距離ΔＲ１１は、縮小選択画像ＳＲ１−１の幅よりも大きいものとなっている。

図１７は第４の実施形態において生成されたレイアウト画像を示す図である。図１７に示すようにレイアウト画像Ｇｉの中央には縮小注目画像ＳＣｉが配置され、縮小注目画像ＳＣｉの左辺から左側に距離ΔＬ１１，ΔＬ１２，ΔＬ１３離れた位置に、それぞれ縮小選択画像ＳＬｉ−１，ＳＬｉ−２，ＳＬｉ−３がその左辺を一致させて配置されている。また、縮小注目画像ＳＣｉの右辺から右側に距離ΔＲ１１，ΔＲ１２，ΔＲ１３離れた位置に、それぞれ縮小選択画像ＳＲｉ−１，ＳＲｉ−２，ＳＲｉ−３がその右辺を一致させて配置されている。

図１８は第４の実施形態において生成された立体レイアウト画像Ｄ０および立体レイアウト画像Ｄ０を立体視した際の立体感を模式的に示す図である。図１８に示すように立体レイアウト画像Ｄ０には、注目画像ＤＣ０、左画像ＤＬ１〜ＤＬ３および右画像ＤＲ１〜ＤＲ３が含まれている。注目画像ＤＣ０については表示画像面３１から手前側に画像の全体が立体感を持つように立体視される。左画像ＤＬ１〜ＤＬ３については、レイアウト画像Ｇ１〜Ｇ６において左辺の位置が一定で右辺の位置が徐々に右側に突出しているため、左画像ＤＬ１〜ＤＬ３の右辺が表示画像面３１から向こう側に奥まり、３つの平面画像が注目画像ＤＣ０の側を向いて互いに平行に並んで傾斜しているように立体視される。右画像ＤＲ１〜ＤＲ３については、レイアウト画像Ｇ１〜Ｇ６において右辺の位置が一定で左辺の位置が徐々に左側に突出しているため、右画像ＤＲ１〜ＤＲ３の左辺が表示画像面３１から向こう側に奥まり、３つの平面画像が注目画像ＤＣ０の側を向いて互いに平行に並んで傾斜しているように立体視される。

このように、レイアウト画像Ｇ１〜Ｇ６において、注目画像配置位置Ａ０側とは反対側の端部を一定位置に固定して縮小選択画像を配置することにより、立体視をした際に、左画像ＤＬ１〜ＤＬ３および右画像ＤＲ１〜ＤＲ３は、注目画像ＤＣ０とは反対に、表示画像面３１から向こう側に傾いているように立体視されることとなる。これにより、左画像ＤＬ１〜ＤＬ３および右画像ＤＲ１〜ＤＲ３は、注目画像ＤＣ０よりも奥まって立体視されるため、立体レイアウト画像Ｄ０を立体視した際に、注目画像とその他の画像との区別が容易となる。

次いで、本発明の第５の実施形態について説明する。上記第１の実施形態においては、レイアウト画像Ｇ１〜Ｇ６において、注目画像配置位置Ａ０側の端部を一定位置に固定して縮小選択画像を配置しているが、第５の実施形態においては、縮小選択画像の中央部を一定位置に固定して縮小選択画像を配置するようにしたものである。

図１９は第５の実施形態における縮小選択画像の配置を説明するための図である。なお、ここでは説明が煩雑になることを防止するため、左画像配置位置ＡＬ１および右画像配置位置ＡＲ１のみへの縮小選択画像の配置について説明する。図１９に示すように、縮小選択画像ＳＬ１−１〜ＳＬ６−１は、縮小注目画像ＳＣ１〜ＳＣ６の左辺から左側に距離ΔＬ２１離れた基準位置ＢＬ２１にその垂直方向二等分線（すなわち中心線）を一致させて、各レイアウト画像Ｇ１〜Ｇ６の左画像配置位置ＡＬ１に配置される。したがって、レイアウト画像Ｇ１〜Ｇ６を比較すると、縮小選択画像ＳＬ１〜ＳＬ６の中心線の位置は変わらないが、左右両辺の位置が徐々に両側に突出することとなる。

一方、縮小選択画像ＳＲ１−１〜ＳＲ６−１は、縮小注目画像ＳＣ１〜ＳＣ６の右辺から右側に距離ΔＲ２１離れた基準位置ＢＲ２１にその中心線を一致させて、各レイアウト画像Ｇ１〜Ｇ６の右画像配置位置ＡＲ１に配置される。したがって、レイアウト画像Ｇ１〜Ｇ６を比較すると、縮小選択画像ＳＲ１−１〜ＳＲ６−１の中心線の位置は変わらないが、左右両辺の位置が徐々に中心線側に移動することとなる。

図２０は第５の実施形態において生成されたレイアウト画像を示す図である。図２０に示すようにレイアウト画像Ｇｉの中央には縮小注目画像ＳＣｉが配置され、縮小注目画像ＳＣｉの左辺から左側に距離ΔＬ２１，ΔＬ２２，ΔＬ２３離れた位置に、それぞれ縮小選択画像ＳＬｉ−１，ＳＬｉ−２，ＳＬｉ−３がその中心線を一致させて配置されている。また、縮小注目画像ＳＣｉの右辺から右側に距離ΔＲ２１，ΔＲ２２，ΔＲ２３離れた位置に、それぞれ縮小選択画像ＳＲｉ−１，ＳＲｉ−２，ＳＲｉ−３がその中心線を一致させて配置されている。

図２１は第５の実施形態において生成された立体レイアウト画像Ｄ０および立体レイアウト画像Ｄ０を立体視した際の立体感を模式的に示す図である。図２１に示すように立体レイアウト画像Ｄ０には、注目画像ＤＣ０、左画像ＤＬ１〜ＤＬ３および右画像ＤＲ１〜ＤＲ３が含まれている。注目画像ＤＣ０については表示画像面３２から手前側に画像の全体が立体感を持つように立体視される。左画像ＤＬ１〜ＤＬ３については、レイアウト画像Ｇ１〜Ｇ６においてその中心線の位置が一定で左右両辺の位置が徐々に左右両側に突出しているため、左画像ＤＬ１〜ＤＬ３の左辺が表示画像面３２から手前側に飛び出すとともに、左画像ＤＬ１〜ＤＬ３の右辺が表示画像面３２から向こう側に奥まり、３つの平面画像が注目画像ＤＣ０の側を向いて互いに平行に並んで傾斜しているように立体視される。右画像ＤＲ１〜ＤＲ３については、レイアウト画像Ｇ１〜Ｇ６においてその中心線の位置が一定で左右両辺の位置が徐々に左右両側に突出しているため、右画像ＤＲ１〜ＤＲ３の右辺が表示画像面３２から手前側に飛び出すとともに、右画像ＤＲ１〜ＤＲ３の左辺が表示画像面３２から向こう側に奥まり、３つの平面画像が注目画像ＤＣ０の側を向いて互いに平行に並んで傾斜しているように立体視される。

なお、レイアウト画像Ｇ１〜Ｇ６においては、縮小選択画像の中心線の位置を一定位置に固定しているため、左画像ＤＬ１〜ＤＬ３および右画像ＤＲ１〜ＤＲ３の手前側への飛び出し量と、向こう側への奥まり量とは同一となっている。ここで、レイアウト画像Ｇ１〜Ｇ６において、縮小選択画像を固定する位置を左右にずらすことにより、左画像ＤＬ１〜ＤＬ３および右画像ＤＲ１〜ＤＲ３の手前側への飛び出し量および向こう側への奥まり量を変更することができる。

このように、レイアウト画像Ｇ１〜Ｇ６において、中心線を一定位置に固定して縮小選択画像を配置することにより、立体視をした際に、左画像ＤＬ１〜ＤＬ３および右画像ＤＲ１〜ＤＲ３の中心線が、注目画像ＤＣ０の表示画像面３２と一致するようになる。このため、立体レイアウト画像Ｄ０を立体視した際に、左画像ＤＬ１〜ＤＬ３および右画像ＤＲ１〜ＤＲ３はその幅方向の中心線を基準として、注目画像ＤＣ０とは反対側が注目画像ＤＣ０と同様に手前に傾き、注目画像ＤＣ０側が注目画像ＤＣ０とは反対に向こう側に傾いているように立体視される。したがって、立体レイアウト画像Ｄ０を立体視した際の視差の範囲がそれほど広いものとはならず、さらに、立体レイアウト画像Ｄ０を立体視した際に、注目画像とそれ以外画像との区別が容易となる。

次いで、本発明の第６の実施形態について説明する。上記第１の実施形態においては、縮小選択画像の幅を配置される位置に拘わらず一定としているが、第６の実施形態においては、注目画像配置位置Ａ０から離れた位置に配置される縮小選択画像ほど、その幅を小さくするようにしたものである。

すなわち、第６の実施形態において、第２のレイアウト部４は、左画像配置位置ＡＬ１に配置する選択画像について、上記第１の実施形態と同様に横方向に６つの異なる倍率ｂ１〜ｂ６により縮小して、縮小選択画像ＳＬ１−１〜ＳＬ６−１を生成する。また、左画像配置位置ＡＬ１の左側の左画像配置位置ＡＬ２に配置する選択画像について、倍率ｂ１〜ｂ６よりも大きい縮小率となる倍率ｃ１〜ｃ６（ｂｉ＞ｃｉ）により縮小して、縮小選択画像ＳＬ１′−２〜ＳＬ６′−２を生成する。さらに、左画像配置位置ＡＬ２の左側の左画像配置位置ＡＬ３に配置する選択画像について、倍率ｃ１〜ｃ６よりも大きい縮小率となる倍率ｄ１〜ｄ６（ｃｉ＞ｄｉ）により縮小して、縮小選択画像ＳＬ１″−３〜ＳＬ６″−３を生成する。

一方、第２のレイアウト部４は、右画像配置位置ＡＲ１に配置する選択画像について、上記第１の実施形態と同様に横方向に６つの異なる倍率ｂ６〜ｂ１により縮小して、縮小選択画像ＳＲ１−１〜ＳＲ６−１を生成する。また、右画像配置位置ＡＲ１の右側の右画像配置位置ＡＲ２に配置する選択画像について、倍率ｂ６〜ｂ１よりも大きい縮小率となる倍率ｃ６〜ｃ１（ｂｉ＞ｃｉ）により縮小して、縮小選択画像ＳＲ１′−２〜ＳＲ６′−２を生成する。さらに、右画像配置位置ＡＲ２の右側の右画像配置位置ＡＲ３に配置する選択画像について、倍率ｃ６〜ｃ１よりも大きい縮小率となる倍率ｄ６〜ｄ１（ｃｉ＞ｄｉ）により縮小して、縮小選択画像ＳＲ１″−３〜ＳＲ６″−３を生成する。

図２２は第６の実施形態においてレイアウト画像に配置する縮小選択画像のサイズを示す図である。なお、図２２はあるレイアウト画像Ｇｉに配置する縮小選択画像のみ示すものである。図２２に示すように、左画像配置位置ＡＬ１〜ＡＬ３に配置する縮小選択画像ＳＬｉ，ＳＬｉ′，ＳＬｉ″の幅ｗＬ，ｗＬ′，ｗＬ″は、ｗＬ＞ｗＬ′＞ｗＬ″となっている。また、右画像配置位置ＡＲ１〜ＡＲ３に配置する縮小選択画像ＳＲｉ，ＳＲｉ′，ＳＲｉ″の幅ｗＲ，ｗＲ′，ｗＲ″は、ｗＲ＞ｗＲ′＞ｗＲ″となっている。

図２３は第６の実施形態において生成されたレイアウト画像を示す図である。図２３に示すようにレイアウト画像Ｇｉの中央には縮小注目画像ＳＣｉが配置され、縮小注目画像ＳＣｉの左辺から左側に距離ΔＬ３１，ΔＬ３２，ΔＬ３３離れた位置に、それぞれ縮小選択画像ＳＬｉ−１，ＳＬｉ′−２，ＳＬｉ″−３がその右辺を一致させて配置されている。また、縮小注目画像ＳＣｉの右辺から右側に距離ΔＲ３１，ΔＲ３２，ΔＲ３３離れた位置に、それぞれ縮小選択画像ＳＲｉ−１，ＳＲｉ′−２，ＳＲｉ″−３がその左辺を一致させて配置されている。また、縮小選択画像ＳＬｉ−１，ＳＬｉ′−２，ＳＬｉ″−３およびＳＲｉ−１，ＳＲｉ′−２，ＳＲｉ″−３は、注目画像ＳＣｉから離れるほどその幅が小さくなっている。

図２４は第６の実施形態において生成された立体レイアウト画像Ｄ０および立体レイアウト画像Ｄ０を立体視した際の立体感を模式的に示す図である。図２４に示すように立体レイアウト画像Ｄ０には、注目画像ＤＣ０、左画像ＤＬ１〜ＤＬ３および右画像ＤＲ１〜ＤＲ３が含まれている。注目画像ＤＣ０については表示画像面３３から手前側に画像の全体が立体感を持つように立体視される。左画像ＤＬ１〜ＤＬ３については、レイアウト画像Ｇ１〜Ｇ６において右辺の位置が一定で左辺の位置が徐々に左側に突出しているため、左画像ＤＬ１〜ＤＬ３の左辺が表示画像面３３から手前側に飛び出し、３つの平面画像が注目画像ＤＣ０の側を向いて、外側の平面画像ほど傾きが大きくなるように並んで傾斜しているように立体視される。右画像ＤＲ１〜ＤＲ３については、レイアウト画像Ｇ１〜Ｇ６において左辺の位置が一定で右辺の位置が徐々に右側に突出しているため、右画像ＤＲ１〜ＤＲ３の右辺が表示画像面３３から手前側に飛び出し、３つの平面画像が注目画像ＤＣ０の側を向いて、外側の平面画像ほど傾きが大きくなるように並んで傾斜しているように立体視される。

図２５は第６の実施形態において、縮小選択画像ＳＬ１−１，ＳＬ２−１および縮小選択画像ＳＬ１′−２，ＳＬ２′−２を用いて立体視を行う場合の立体感を説明するための図である。縮小選択画像ＳＬ１−１，ＳＬ２−１は右辺の位置が固定され、左辺の位置が異なるため、縮小選択画像ＳＬ１−１，ＳＬ２−１の左辺を立体視すると、左右の目の視線が点Ｚ０において交差する。したがって、左画像ＤＬ１は左辺が手前側の点Ｚ０に向けて傾いているように立体視される。

一方、縮小選択画像ＳＬ１′−２，ＳＬ２′−２は、縮小選択画像ＳＬ１−１，ＳＬ２−１よりもその幅が小さいため、縮小選択画像ＳＬ１′−２，ＳＬ２′−２の左辺を立体視すると、左右の目の視線が点Ｚ０よりも手前側の点Ｚ１において交差する。このため、左画像ＤＬ１′は左画像ＤＬ１よりも大きく傾いているように立体視される。

これにより、第６の実施形態においては、第１の実施形態とは異なる立体感により立体レイアウト画像Ｄ０を表示することができる。

ここで、上記第６の実施形態において、縮小選択画像を配置する基準位置を第４および第５の実施形態と同様に変更するようにしてもよい。これにより、第４および第５の実施形態において、注目画像ＤＣ０から離れた位置にある左画像および右画像ほど、傾きを大きくすることができる。

なお、上記各実施形態においては、６つの撮影位置において取得した６つの画像Ｓ１〜Ｓ６を用いて５つの視点位置Ｐ１〜Ｐ５において立体視可能なように立体レイアウト画像Ｄ０を生成しているが、撮影位置は２以上であればよく、視点位置も撮影位置に応じた数あればよいものである。

また、上記各実施形態においては、表示部７をパララックスバリア方式の立体表示を行うものとしているが、レンチキュラー方式の立体表示を行うものとしてもよい。また、とくにレイアウト画像が２つの場合には、レイアウト画像の色を例えば赤と青のように異ならせて重ね合わせたり（アナグリフ方式）、レイアウト画像の偏光方向を異ならせて重ね合わせることにより（偏光フィルタ方式）、立体レイアウト画像Ｄ０を生成してもよい。この場合、赤青メガネや偏光メガネ等の画像分離メガネを用いて、表示された立体レイアウト画像Ｄ０を目の自動焦点機能により融合視することにより、画像を立体視することができる。また、画像分離メガネを使用し、左右の画像を交互に表示することにより、立体レイアウト画像Ｄ０を表示することも可能である（時分割方式）。

また、上記各実施形態においては、縮小選択画像ＳＬ１〜ＳＬ６，ＳＲ１〜ＳＲ６により左画像ＤＬ１〜ＤＬ３および右画像ＤＲ１〜ＤＲ３の立体感を実現しているが、装置１内に３次元演算エンジンを設け、コンピュータグラフィックスにより注目画像側に傾斜した平面を作成し、ここに画像をマッピングしてレンダリングすることにより、立体レイアウト画像Ｄ０における左画像ＤＬ１〜ＤＬ３および右画像ＤＲ１〜ＤＲ３の立体感を実現するようにしてもよい。

また、上記各実施形態においては、第１のレイアウト部３が、レイアウト画像Ｇ１〜Ｇ６の各画像配置位置Ａ０，ＡＬ１〜ＡＬ３，ＡＲ１〜ＡＲ３に、画像Ｓ１〜Ｓ６のうちのいずれの画像を配置するかを選択しているが、第１のレイアウト部３とは別個に画像選択部を設け、画像選択部によりレイアウト画像Ｇ１〜Ｇ６の各位置Ａ０，ＡＬ１〜ＡＬ３，ＡＲ１〜ＡＲ３に、画像Ｓ１〜Ｓ６のうちのいずれの画像を配置するかを選択するようにしてもよい。

以上、本発明の実施形態に係る装置１について説明したが、コンピュータを、第１のレイアウト部３、第２のレイアウト部４、立体変換部５および制御部８に対応する手段として機能させ、図１２に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の第１の実施形態による立体画像生成装置の構成を示す概略ブロック図 被写体と撮影位置との関係を示す図 図２に示す６つのカメラＣ１〜Ｃ６により取得された６つの画像を示す図 表示部と視点位置との位置関係を示す図 レイアウト画像における画像の配置の例を示す図 第１の実施形態における配置する画像の選択結果を示す図 縮小注目画像が配置されたレイアウト画像を示す図 左画像配置位置ＡＬ１への縮小選択画像の配置を説明するための図 他の画像配置位置への縮小選択画像の配置を説明するための図 第１の実施形態において生成されたレイアウト画像を示す図 立体レイアウト画像の生成を説明するための図 第１の実施形態において行われる処理を示すフローチャート 第１の実施形態において生成された立体レイアウト画像および立体レイアウト画像を立体視した際の立体感を模式的に示す図 第２の実施形態における配置する画像の選択結果を示す図 第３の実施形態における配置する画像の選択結果を示す図 第４の実施形態における縮小選択画像の配置を説明するための図 第４の実施形態において生成されたレイアウト画像を示す図 第４の実施形態において生成された立体レイアウト画像および立体レイアウト画像を立体視した際の立体感を模式的に示す図 第５の実施形態における縮小選択画像の配置を説明するための図 第５の実施形態において生成されたレイアウト画像を示す図 第５の実施形態において生成された立体レイアウト画像および立体レイアウト画像を立体視した際の立体感を模式的に示す図 第６の実施形態においてレイアウト画像に配置する縮小選択画像のサイズを示す図 第６の実施形態において生成されたレイアウト画像を示す図 第６の実施形態において生成された立体レイアウト画像および立体レイアウト画像を立体視した際の立体感を模式的に示す図 第６の実施形態において立体視を行う場合の立体感を説明するための図 CoverFlowの画像の配置を示す図

符号の説明

１ 立体画像生成装置
２ 画像入力部
３ 第１のレイアウト部
４ 第２のレイアウト部
５ 立体変換部
６ 入力部
７ 表示部
８ 制御部

Claims (13)

1. 被写体を異なる複数の撮影位置から撮影することにより取得した立体画像生成用の複数の画像からなる画像群を複数取得する画像取得手段と、
   前記複数の画像群のうち、注目画像として表示するために選択された１の画像群を立体視可能に表示面上の所定位置に配置し、前記１の画像群以外の他の画像群から選択された選択画像を、前記表示面上における前記所定位置の側を向いて傾斜して見えるように、該所定位置の左右の少なくとも一方の側に配置することにより、前記注目画像の左右の少なくとも一方の側に該注目画像以外の他の画像が配置された立体レイアウト画像を生成する画像レイアウト手段とを備えたことを特徴とする立体画像生成装置。
2. 前記画像レイアウト手段は、前記他の画像群に含まれる複数の画像のうち、中央近傍の撮影位置において取得した画像を前記選択画像として選択する手段であることを特徴とする請求項１記載の立体画像生成装置。
3. 前記画像レイアウト手段は、前記他の画像群に含まれる複数の画像のうち、前記所定位置の左側に配置する選択画像として、右よりの撮影位置において取得した画像を選択し、前記所定位置の右側に配置する選択画像として、左よりの撮影位置において取得した画像を選択する手段であることを特徴とする請求項１記載の立体画像生成装置。
4. 前記画像レイアウト手段は、前記他の画像群に含まれる複数の画像のうち、前記所定位置に近い側に配置する選択画像として、中央近傍の撮影位置において取得した画像を選択し、該所定位置から離れた位置に配置する選択画像ほど、前記中央近傍の撮影位置から離れた位置において取得した画像を選択する手段であることを特徴とする請求項１記載の立体画像生成装置。
5. 前記画像レイアウト手段は、複数のレイアウト画像の前記所定位置に、前記選択された１の画像群に含まれる複数の注目画像をそれぞれ配置する第１のレイアウト手段と、
   前記選択画像を幅方向に互いに異なる縮小倍率により縮小して複数の縮小選択画像を生成し、前記複数のレイアウト画像の前記所定位置の左右の少なくとも一方の側における、所定の基準位置を基準として、該複数の縮小選択画像を前記複数のレイアウト画像のそれぞれに配置する第２のレイアウト手段と、
   前記複数の注目画像および前記複数の縮小選択画像が配置された複数のレイアウト画像から、前記立体レイアウト画像を生成する立体変換手段とを備えたことを特徴とする請求項１から４のいずれか１項記載の立体画像生成装置。
6. 前記第２のレイアウト手段は、前記複数の縮小選択画像の前記所定位置側における端部を、前記複数のレイアウト画像における前記基準位置と一致させて、該複数の縮小選択画像を前記複数のレイアウト画像のそれぞれに配置する手段であることを特徴とする請求項５記載の立体画像生成装置。
7. 前記第２のレイアウト手段は、前記複数の縮小選択画像の前記所定位置とは反対側における端部を、前記複数のレイアウト画像における前記基準位置と一致させて、該複数の縮小選択画像を前記複数のレイアウト画像のそれぞれに配置する手段であることを特徴とする請求項５記載の立体画像生成装置。
8. 前記第２のレイアウト手段は、前記複数の縮小選択画像の両端部以外の部分を、前記複数のレイアウト画像における前記基準位置と一致させて、該複数の縮小選択画像を前記複数のレイアウト画像のそれぞれに配置する手段であることを特徴とする請求項５記載の立体画像生成装置。
9. 複数の前記選択画像を配置するに際し、前記第２のレイアウト手段は、同一の前記レイアウト画像に配置する選択画像については、同一の縮小倍率により縮小して前記縮小選択画像を生成する手段であることを特徴とする請求項５から８記載の立体画像生成装置。
10. 複数の前記選択画像を配置するに際し、前記第２のレイアウト手段は、同一の前記レイアウト画像に配置する選択画像について、前記所定位置から離れた位置に配置する選択画像ほど、大きい縮小率により縮小して前記縮小選択画像を生成する手段であることを特徴とする請求項５から８記載の立体画像生成装置。
11. 前記第２のレイアウト手段は、前記選択された１の画像群に含まれる複数の注目画像間の視差以下の視差となるように、前記選択画像の縮小倍率を設定する手段であることを特徴とする請求項５から１０のいずれか１項記載の立体画像生成装置。
12. 被写体を異なる複数の撮影位置から撮影することにより取得した立体画像生成用の複数の画像からなる画像群を複数取得し、
    前記複数の画像群のうち、注目画像として表示するために選択された１の画像群を立体視可能に表示面上の所定位置に配置し、前記１の画像群以外の他の画像群から選択された選択画像を、前記表示面上における前記所定位置の側を向いて傾斜して見えるように、該所定位置の左右の少なくとも一方の側に配置することにより、前記注目画像の左右の少なくとも一方の側に該注目画像以外の他の画像が配置された立体レイアウト画像を生成することを特徴とする立体画像生成方法。
13. 被写体を異なる複数の撮影位置から撮影することにより取得した立体画像生成用の複数の画像からなる画像群を複数取得する手順と、
    前記複数の画像群のうち、注目画像として表示するために選択された１の画像群を立体視可能に表示面上の所定位置に配置し、前記１の画像群以外の他の画像群から選択された選択画像を、前記表示面上における前記所定位置の側を向いて傾斜して見えるように、該所定位置の左右の少なくとも一方の側に配置することにより、前記注目画像の左右の少なくとも一方の側に該注目画像以外の他の画像が配置された立体レイアウト画像を生成する手順とを有することを特徴とする立体画像生成方法をコンピュータに実行させるためのプログラム。

Images