JP2011035509A - 複眼撮影装置及びその制御方法 - Google Patents

Abstract

【課題】被写体の３Ｄモデル作成のため、撮影位置をずらしながら被写体の全周を複数回に分けて撮影する際に、撮影位置を適切な位置に合わせる。
【解決手段】被写体３０にマーカ３１を貼り付ける。撮影位置のずらし方向を右方向に決定する。Ｎ（Ｎは２以上の自然数）枚目の撮影を行う際に、メモリカード２０からＮ−１枚目のＬ，Ｒ画像を読み出し、両画像にそれぞれ共通に存在するステレオ特徴点マーカ７３を抽出する。Ｎ−１枚目のＬ，Ｒ画像の右端から順番に少なくとも３点以上のステレオ特徴点マーカ７３を案内特徴点マーカ７４として選択する。Ｎ−１枚目のＬ，Ｒ画像から、全ての案内特徴点マーカ７４を含む右端部領域を切り出して、次の撮影位置の目安となるＬ，Ｒ案内画像を生成する。Ｌ，Ｒ案内画像をそれぞれＬ，Ｒ画像（スルー画像）の左端部に合成する。Ｌ，Ｒ案内画像に基づき、撮影位置を適切に決定することができる。
【選択図】図１９

Description

本発明は、被写体の３Ｄモデルの作成に用いられる複眼撮影装置及びその制御方法に関するものである。

近年、インターネットの普及や画像処理能力の向上に伴い、商品等のプレゼンテーションに３Ｄモデルが用いられるようになっている。３Ｄモデルは商品等の３次元形状を示すものであり、３次元モデルまたは立体モデルなどともいう。この３Ｄモデルを商品紹介に用いることにより、顧客は、目の前に実際の商品がなくとも、パーソナルコンピュータ等の画面上で商品を好きな角度／方向から見ることができる。

３Ｄモデルを作成する場合には、最初に、複眼カメラを用いてその撮影位置をずらしながら商品の全周を複数回に分けてステレオ撮影することにより、撮影範囲毎に一対の撮影画像（左視点画像、右視点画像）を得る。次いで、パーソナルコンピュータ等を用いて、各撮影範囲の左右視点画像から撮影範囲毎の３次元形状を示す３Ｄ画像（部分３Ｄモデル、距離画像、３次元形状データともいう）を求めた後、求めた各３Ｄ画像を繋ぎ合わせることで、商品の３Ｄモデルが作成される。

各３Ｄ画像を繋ぎ合わせる際には、互いに隣接する撮影範囲の３Ｄ画像の端部同士を重ね合わせるようにして繋ぎ合わせる。従って、複眼カメラの撮影位置をずらしながら商品の全周を複数回に分けて撮影する際には、互いに隣接する撮影範囲の境界部分が重複して撮影されるように、撮影位置をずらす必要がある。

特許文献１及び２には、互いに隣接する撮影範囲の境界部分が重複して撮影されるように、撮影位置案内用の案内画像をスルー画像上に表示するパノラマ撮影カメラが記載されている。特許文献１のカメラでは、例えばカメラの撮影位置を右方向にずらしながら撮影を行う際に、直前に撮影した画像の右端部を所定幅だけ切り出して案内画像を形成し、この案内画像をスルー画像の左端部に重ね合わせて表示している。特許文献２のカメラでは、直前に撮影された画像と、スルー画像とを一部重複させて２画面表示している。

特開２０００−２９９８０４号公報 特開２００４−３１２５４９号公報

ところで、複眼カメラは、商品（被写体）を左右の異なる視点から撮影している。３Ｄ画像は左・右各視点画像の撮影範囲の共通部分の画像情報から取得されるため、３Ｄ画像として得られる範囲は、一般的に左・右視点画像の撮影範囲よりも狭い。このため、複眼カメラでは、撮影位置をずらして新たな撮影位置で撮影を行った際に、左・右視点画像の撮影範囲を、それぞれ直前の撮影範囲と一部重複するように撮影したとしても、３Ｄ画像も重複している保証は無い。このような場合には、３Ｄ画像の繋ぎ合わせのための情報が得られないので、３Ｄ画像の繋ぎ合わせに不具合が生じて３Ｄモデルの品質が低下してしまう。

上記特許文献１及び２のカメラでは、３Ｄ画像の繋ぎ合わせを行うことは一切考慮されていないため、３Ｄ画像が一部重複するように撮影位置を適切な位置に合わせることができず、３Ｄ画像の繋ぎ合わせに依然として不具合が生じるおそれがある。

また、隣接する撮影範囲の３Ｄ画像を精度よく繋ぎ合わせるためには、被写体形状に応じて、両撮影範囲（両３Ｄ画像）の重複幅を変える必要がある。上述の３Ｄ画像として得られる範囲はカメラと被写体との距離により異なるため、例えば被写体がカメラに接近している場合には重複幅を広げないと、３Ｄ画像として得られる範囲がより狭くなるため３Ｄ画像を精度よく繋ぎ合わせることができない。このため、重複幅が予め設定されている上記特許文献１及び２のカメラでは、３Ｄ画像の繋ぎ合わせに不具合が生じるおそれがある。

本発明は上記問題を解決するためのものであり、被写体を複数回に分けてステレオ撮影する際に、撮影位置を適切な位置に合わせることができる複眼撮影装置及びその制御方法を提供することを目的とする。

上記目的を達成するため、本発明は、所定の間隔をおいて設けられ、被写体を撮影する複数の撮像手段と、撮影待機状態時に、前記複数の撮像手段により得られた複数の撮影画像のうち、少なくともいずれか一つをスルー画像として表示する表示手段と、撮影指示がなされたときに、前記複数の撮影画像を記憶する撮影画像記憶手段とを備え、撮影範囲がその直前の撮影範囲と一部重複するように被写体の周りで撮影位置をずらしながら、被写体を複数回に分けて撮影する特殊撮影モードを有する複眼撮影装置において、前記特殊撮影モード下における撮影位置のずらし方向を決定する撮影ずらし方向決定手段と、前記特殊撮影モード下における撮影待機状態時に、前記撮影画像記憶手段から直前に記憶された複数の直前撮影画像を読み出して、前記複数の直前撮影画像にそれぞれ存在する共通の特徴的な点を示す第１共通特徴点を複数抽出する第１特徴点抽出手段と、前記撮影ずらし方向決定手段の決定結果に基づき、前記第１特徴点抽出手段が抽出した前記第１共通特徴点の中から、前記複数の直前撮影画像の前記ずらし方向側の端部にある案内特徴点を選択する特徴点選択手段と、前記複数の直前撮影画像のうちから、前記スルー画像として表示される撮影画像を得る前記撮像手段により得られた直前撮影画像を選択し、選択した直前撮影画像から前記案内特徴点を含む端部領域を切り出して、次の撮影位置の目安となるような、直前の撮影範囲とその次の撮影範囲との重複範囲を示す案内画像を生成し、生成した案内画像を対応する前記スルー画像の前記ずらし方向とは反対方向側の端部に合成する合成手段と、を備えることを特徴とする。

前記特徴点選択手段は、前記複数の直前撮影画像の前記ずらし方向側の端部より、少なくとも３点以上の前記第１共通特徴点を前記案内特徴点として選択することが好ましい。

前記特徴点選択手段は、前記案内特徴点で囲まれる領域の面積が所定の面積よりも大きくなるように、前記案内特徴点を選択することが好ましい。

前記案内画像に含まれる前記案内特徴点を、前記表示手段の画面上で相対的に目立つ表示態様に変換する第１表示態様変換手段を備えることが好ましい。

前記合成手段は、前記案内画像を半透明にして前記スルー画像に合成することが好ましい。

前記複数の直前撮影画像のそれぞれにおける前記案内特徴点の位置を示す位置情報を、当該複数の直前撮影画像に関連付けて前記撮影画像記憶手段に記憶させる記憶制御手段を備えることが好ましい。

撮影指示がなされたときに、前記撮影画像記憶手段に新たに記憶される複数の新撮影画像から、当該複数の新撮影画像にそれぞれ存在する共通の特徴的な点を示す第２共通特徴点を抽出する第２特徴点抽出手段と、前記第２特徴点抽出手段が抽出した前記第２共通特徴点の中から、前記案内特徴点に対応する案内対応点を抽出する第１対応点抽出手段とを備え、前記記憶制御手段は、前記第１対応点抽出手段の抽出結果に基づき、前記複数の新撮影画像のそれぞれにおける前記案内対応点の位置を示す位置情報を、当該複数の新撮影画像に関連付けて前記撮影画像記憶手段に記憶させることが好ましい。

前記記憶制御手段は、前記案内特徴点と前記案内対応点との対応関係を示す対応関係情報を前記撮影画像記憶手段に記憶させることが好ましい。

前記表示手段は、前記複数の撮像手段により得られた複数の撮影画像をそれぞれスルー画像として表示するとともに、前記各スルー画像のそれぞれから、当該各スルー画像にそれぞれ存在する共通の特徴的な点を示す第３共通特徴点を抽出する第３特徴点抽出手段と、前記第３特徴点抽出手段が抽出した前記第３共通特徴点の中から、前記案内特徴点に対応する案内対応点を抽出する第２対応点抽出手段と、前記第２対応点抽出手段により抽出された前記案内対応点を、前記表示手段の画面上で相対的に目立つ表示態様に変換する第２表示態様変換手段とを備えることが好ましい。

また、本発明は、所定の間隔をおいて設けられ、被写体を撮影する複数の撮像手段と、撮影待機状態時に、前記複数の撮像手段により得られた複数の撮影画像のうち、少なくともいずれか一つをスルー画像として表示する表示手段と、撮影指示がなされたときに、前記複数の撮影画像を記憶する撮影画像記憶手段とを備え、撮影範囲がその直前の撮影範囲と一部重複するように被写体の周りで撮影位置をずらしながら、被写体を複数回に分けて撮影する特殊撮影モードを有する複眼撮影装置の制御方法において、前記特殊撮影モード下における撮影位置のずらし方向を決定する撮影ずらし方向決定ステップと、前記特殊撮影モード下における撮影待機状態時に、前記撮影画像記憶手段から直前に記憶された複数の直前撮影画像を読み出して、前記複数の直前撮影画像にそれぞれ存在する共通の特徴的な点を示す第１共通特徴点を複数抽出する特徴点抽出ステップと、前記撮影ずらし方向決定ステップでの決定結果に基づき、前記特徴点抽出ステップで抽出した前記第１共通特徴点の中から、前記複数の直前撮影画像の前記ずらし方向側の端部にある案内特徴点を選択する特徴点選択ステップと、前記複数の直前撮影画像のうちから、前記スルー画像として表示される撮影画像を得る前記撮像手段により得られた直前撮影画像を選択し、選択した直前撮影画像から前記案内特徴点を含む端部領域を切り出して、次の撮影位置の目安となるような、直前の撮影範囲とその次の撮影範囲との重複範囲を示す案内画像を生成し、生成した案内画像を対応する前記スルー画像の前記ずらし方向とは反対方向側の端部に合成する合成ステップと、を有することを特徴とする。

上記目的を達成するため、本発明の複眼撮影装置及びその制御方法は、被写体を複数回に分けて撮影する際に、直前に記憶された直前撮影画像から次の撮影位置の目安となる案内画像を生成し、生成した案内画像をスルー画像に合成するようにしたので、次の撮影位置への位置合わせを適切かつ容易に行うことができる。これにより、互いに隣接する撮影範囲の３Ｄ画像が一部重複するように撮影を行うことができる。その結果、各３Ｄ画像を繋ぎ合わせて３Ｄモデルを作成する際に、３Ｄ画像の繋ぎ合わせに不具合が生じることが防止される。

また、各直前撮影画像にそれぞれ存在する複数の第１共通特徴点の中から、撮影位置のずらし方向側の端部にある案内特徴点を少なくとも３点以上選択して、これら各案内特徴点を含む案内画像を生成することにより、互いに隣接する撮影範囲の重複範囲にそれぞれ案内特徴点が３点以上含まれるように撮影を行うことができる。これにより、両３Ｄ画像を繋ぎ合わせる際に、各案内特徴点に基づいて両３Ｄ画像の位置合わせを行うことができる。また、この位置合わせが可能となる案内画像（重複範囲）の大きさを適切に決定することができる。

また、案内特徴点で囲まれる領域の面積が所定の面積よりも大きくなるように、案内特徴点を選択するようにしたので、各案内特徴点が略同一直線上に並ぶことが防止される。その結果、３Ｄ画像の位置合わせの誤差を少なくすることができる（図１５参照）。

また、案内画像に含まれる案内特徴点を、画面上で相対的に目立つ表示態様に変換することにより、撮影位置の位置合わせを容易に行うことができる。さらに、スルー画像に含まれる対応点も、同様に目立つ表示態様に変換することにより、撮影位置の位置合わせをより容易に行うことができる。

本発明の複眼カメラの正面斜視図である。 複眼カメラの背面斜視図である。 ３Ｄモデル撮影モードを説明するための説明図である。 ３Ｄモデル撮影モードで撮影される被写体の斜視図である。 複眼カメラの電気的構成を示すブロック図である。 図５の案内画像合成回路の構成を示すブロック図である。 メモリカードのフォルダ構造の一例を示す説明図である。 ＰＯＳＩＴＩＯＮ．ＴＸＴに記録された情報を説明するための説明図である。 複眼カメラの３Ｄモデル撮影モード時における処理の流れを示すフローチャートである。 案内画像合成処理の流れを示すフローチャートである。 全マーカ抽出部によるマーカ抽出処理を説明するための説明図である。 共通マーカ抽出部によるマーカ抽出処理を説明するための説明図である。 特徴点選択部による特徴点選択処理を説明するための説明図であり、領域Ｓの面積がしきい値未満となる状態を示している。 特徴点選択部による特徴点選択処理を説明するための説明図であり、領域Ｓの面積がしきい値以上となる状態を示している。 領域Ｓの面積がしきい値未満となった場合の問題点を説明するための説明図である。 案内画像切り出し部による切り出し処理を説明するための説明図である。 Ｌ，Ｒ案内画像合成前のスルー画用のＬ，Ｒ画像を説明するための説明図である。 画像合成処理部によるＬ，Ｒ案内画像と、図１７のＬ，Ｒ画像との合成処理を説明するための説明図である。 撮影位置の位置合わせを説明するための説明図である。 第２実施形態の案内画像合成回路の構成を示すブロック図である。 第２実施形態の案内画像合成回路により生成されたＬ，Ｒ合成画像を説明するための説明図である。 他実施形態の画像ファイルの構成を説明するための説明図である。

図１に示すように、複眼カメラ１０のカメラ本体１１の前面には、左右一対の第１及び第２撮像部１２，１３、ストロボ発光部１４等が設けられている。両撮像部１２，１３は、互いの光軸が略平行またはハ字状となるように、所定間隔を隔てて設けられている。カメラ本体１１の上面には、シャッタボタン１５、電源スイッチ１６が設けられている。

図２に示すように、カメラ本体１１の背面には、液晶ディスプレイ（以下、ＬＣＤという）１８、操作部１９が設けられている。また、カメラ本体１１の底面には、図示は省略するが、メモリカード（撮影画像記憶手段）２０が着脱自在に装填されるカードスロットと、このカードスロットの開口を開閉する装填蓋とが設けられている。

ＬＣＤ１８は、撮影待機状態時には電子ビューファインダとして機能し、スルー画像（ライブビュー画像ともいう）を表示する。なお、スルー画像表示とは、各撮像部１２，１３がそれぞれ所定のフレームレートで撮像した画像を即時にＬＣＤ１８に表示することである。また、画像再生時にはメモリカード２０に記録されている画像データに基づき、ＬＣＤ１８に画像が再生表示される。

操作部１９は、モード切替スイッチ２２、メニューボタン２３、十字キー２４、実行キー２５、撮影ずらし方向決定スイッチ２６などから構成されている。モード切替スイッチ２２は、複眼カメラ１０の動作モードを切り替える際に操作される。動作モードには、静止画撮影を行う静止画撮影モード、動画撮影を行う動画撮影モード、広角のパノラマ画像を生成するためのパノラマ撮影モード、被写体３０（図３参照）の３Ｄモデルを生成するための３Ｄモデル撮影モード（特殊撮影モード）、及び撮影により得られた撮影画像をＬＣＤ１８に再生表示する通常再生モード、３Ｄモデルを表示する３Ｄモデル表示モードなどがある。

図３に示すように、３Ｄモデル撮影モードは、被写体３０の周りで複眼カメラ１０の撮影位置をずらしながら、この被写体３０を複数の撮影範囲に分割して範囲毎にステレオ撮影するモードであり、撮影範囲毎の連続した撮影画像（左視点画像、右視点画像）が得られる。３Ｄモデル表示モードは、３Ｄモデル撮影モードで得られた撮影画像に基づき生成された３ＤモデルをＬＣＤ１８に表示する。

図４に示すように、３Ｄモデル撮影モードで撮影される被写体３０には、予め複数のマーカ３１が貼り付けられている。従って、３Ｄモデル撮影モードで得られた各撮影画像には、マーカ３１が含まれている。撮影画像中のマーカ３１の位置に基づいて、被写体３０の位置、姿勢等が算出される。なお、マーカ３１の形状・大きさ、マーカ３１の貼り付け数、及びマーカ３１の貼り付けパターンは適宜選択される。

図２に戻って、メニューボタン２３は、ＬＣＤ１８にメニュー画面や設定画面を表示する際などに操作される。十字キー２４は、メニュー画面や設定画面内に表示されるカーソルを移動する際などに操作される。実行キー２５は、カメラの設定を確定する際などに操作される。

撮影ずらし方向決定スイッチ２６は、３Ｄモデル撮影モード時に、複眼カメラ１０の撮影位置のずらし方向（以下、単に撮影ずらし方向という）を決定する際に操作される。例えば、上述の図３に示すように、撮影位置を右方向にずらしながら撮影を行う場合には、撮影ずらし方向を右方向に設定する。なお、撮影ずらし方向は任意の方向に設定可能である。また、撮影ずらし方向を設定画面内で決定するようにしてもよい。

図５に示すように、ＣＰＵ３３は、シャッタボタン１５及び操作部１９からの入力信号に基づき、図示しないＲＯＭから読み出した各種プログラムやデータを逐次実行することで、複眼カメラ１０の各部を統括的に制御する。

ＳＤＲＡＭ３４は、ＣＰＵ３３が処理を実行するためのワークメモリとして機能する。ＶＲＡＭ３５は、連続した２フィールド画分を記憶するスルー画像用のメモリエリアを有し、表示用の画像データを一時的に記憶する。

第１撮像部１２は、撮影レンズ３７が組み込まれたレンズユニット３８、ＣＣＤイメージセンサ（以下、ＣＣＤという）３９、ＡＦＥ（アナログフロントエンド）４０などから構成される。なお、ＣＣＤの代わりにＭＯＳ型のイメージセンサを用いてもよい。

レンズユニット３８には、図示しないズーム機構、フォーカス機構、絞り装置が組み込まれている。ズーム機構は、撮影レンズ３７を移動してズーミングを行う。フォーカス機構は、撮影レンズ３７に組み込まれたフォーカスレンズを移動してピント合せを行う。絞り装置は、図示しない絞りを調節することで、ＣＣＤ３９に入射する被写体光の強度を調節する。ズーム機構、フォーカス機構、絞り装置は、レンズドライバ４１を介してＣＰＵ３３によって動作制御される。

撮影レンズ３７の背後には、多数のフォトダイオードが受光面に並べられたＣＣＤ３９が配置され、撮影レンズ３７からの被写体光を電気的な撮像信号に変換して出力する。ＣＣＤ３９には、ＣＰＵ３３によって制御されるＣＣＤドライバ４２が接続されている。ＣＣＤドライバ４２は、ＴＧ（Timing Generator）４３からの同期パルスによって駆動され、ＣＣＤ３９の電荷蓄積時間と電荷読み出し転送タイミングを制御する。

ＣＣＤ３９から出力された撮像信号は、ＡＦＥ４０に入力される。ＡＦＥ４０は、ＣＤＳ（相関二重サンプリング）回路、ＡＧＣ（自動ゲイン調整アンプ）、Ａ／Ｄ変換器から構成され、ＴＧ４３からの同期パルスが入力されることで、ＣＣＤ３９の電荷読み出し転送動作と同期して作動する。ＣＤＳ回路は、相関二重サンプリングを行って撮像信号からノイズを除去する。ＡＧＣ回路は、ＣＰＵ３３によって設定される撮影感度に応じたゲインで撮像信号を増幅する。Ａ／Ｄ変換器は、ＡＧＣ回路からのアナログの撮像信号をデジタルな左視点画像（以下、Ｌ画像という）信号に変換し、変換したＬ画像信号を画像入力コントローラ４５へ送る。

第２撮像部１３は、第１撮像部１２と同じ構成であり、レンズユニット４７、ＣＣＤ４８、ＡＦＥ４９、レンズドライバ５０、ＣＣＤドライバ５１、ＴＧ５２などから構成され、右視点画像（以下、Ｒ画像）信号を画像入力コントローラ４５へ送る。

ＣＰＵ３３には、バス５４を介して、ＳＤＲＡＭ３４、ＶＲＡＭ３５、画像入力コントローラ４５、信号処理回路５６、圧縮伸張処理回路５７、メディアコントローラ５８、表示回路５９、案内画像合成回路６０、案内対応点マーカ抽出回路（第２特徴点抽出手段、第１対応点抽出手段）６１、３Ｄモデル合成回路６２等が接続されている。

画像入力コントローラ４５は、所定容量のバッファを有しており、第１及び第２撮像部１２，１３からそれぞれ出力されたＬ，Ｒ画像信号を蓄積し、それぞれ１フレーム分のＬ，Ｒ画像信号が蓄積されたときに、１フレーム分の画像に対応するＬ，Ｒ画像信号を信号処理回路５６へ送る。

信号処理回路５６は、画像入力コントローラ４５からのＬ，Ｒ画像信号に対して階調変換、ホワイトバランス補正、γ補正処理、ＹＣ変換処理などの各種処理を施すことで、それぞれ１フレームの画像に対応するＬ，Ｒ画像データを生成し、これらをＶＲＡＭ３５に格納する。

圧縮伸張処理回路５７は、シャッタボタン１５が押下された時に、ＶＲＡＭ３５に格納された非圧縮のＬ，Ｒ画像データに圧縮処理を行い、所定のファイル形式のＬ，Ｒ圧縮画像データを生成する。また、圧縮伸張処理回路５７は、画像再生時にはメモリカード２０に記録されたＬ，Ｒ圧縮画像データに伸張処理を行い、非圧縮のＬ，Ｒ画像データを生成する。メディアコントローラ５８は、メモリカード２０に対する画像データの記録、及び読み出しなどを行う。

表示回路５９は、ＶＲＡＭ３５から読み出したＬ，Ｒ画像データまたは圧縮伸張処理回路５７で伸張された非圧縮のＬ，Ｒ画像データに対し所定の信号処理を施して画像表示用の信号を生成し、これを一定のタイミングでＬＣＤ１８へ出力する。これにより、各撮影モード時には、ＬＣＤ１８にＬ，Ｒスルー画像が２画面表示される。また、通常再生モード時には、メモリカード２０から読み出された画像データがＬＣＤ１８に表示される。さらに、表示回路５９は、３Ｄモデル表示モード時に、メモリカード２０から読み出された３Ｄモデルデータに基づき、ＬＣＤ１８に３Ｄモデルを表示させる。

案内画像合成回路６０は、３Ｄモデル撮影モード時に作動する。この案内画像合成回路６０は、Ｎ（Ｎは２以上の自然数）枚目のＬ，Ｒ画像の撮影待機状態時に、次の撮影位置の目安となる案内画像データを生成して、スルー画像用のＬ，Ｒ画像データに合成する。

図６に示すように、案内画像合成回路６０は、全マーカ抽出部６６、ステレオ特徴点マーカ抽出部（第１特徴点抽出手段）６７、案内特徴点マーカ選択部６８、及び本発明の合成手段に相当する案内画像切り出し部６９と画像合成処理部７０から構成されている。

全マーカ抽出部６６には、本発明の「特徴的な点」に相当するマーカ３１の色及び形状等の、マーカ３１に関する情報が登録されている。全マーカ抽出部６６は、Ｎ枚目のＬ，Ｒ画像の撮影待機状態時に、メモリカード２０からＮ−１枚目のＬ，Ｒ画像データ（以下、Ｌ直前画像データ、Ｒ直前画像データという）を読み出す。次いで、全マーカ抽出部６６は、読み出したＬ，Ｒ直前画像データに対してパターンマッチング等の演算処理を行い、Ｌ，Ｒ直前画像データにそれぞれ含まれている全てのマーカ３１を抽出する。

ステレオ特徴点マーカ抽出部６７は、ブロックマッチング演算を行う演算回路を備えている。ブロックマッチングとは、基準とする画像を複数の小ブロックに分割し、それら小ブロックに対して、もう一方の画像から最も相関度の高い小ブロックを探索する手法である。ステレオ特徴点マーカ抽出部６７は、Ｌ，Ｒ直前画像データに対してブロックマッチング演算処理を行い、Ｌ，Ｒ直前画像データにそれぞれ共通に含まれているマーカ３１（以下、ステレオ特徴点マーカ７３という：図１２参照）を全て抽出する。ステレオ特徴点マーカ７３は、本発明の第１共通特徴点に相当するものである。

案内特徴点マーカ選択部６８は、ステレオ特徴点マーカ抽出部６７が抽出したステレオ特徴点マーカ７３の中から、案内特徴点マーカ７４を選択する。案内特徴点マーカ７４は、Ｌ，Ｒ直前画像データ（Ｎ−１枚目のＬ，Ｒ画像データ）に基づき生成される３Ｄ画像と、Ｎ枚目のＬ，Ｒ画像データに基づき生成される３Ｄ画像とを繋ぎ合わせる際の、両３Ｄ画像の位置合わせ等に用いられる。

案内特徴点マーカ選択部６８は、Ｌ，Ｒ直前画像の撮影ずらし方向側の端部からその逆方向の端部に向かって順番に少なくとも３点以上のステレオ特徴点マーカ７３を、案内特徴点マーカ７４として選択する。さらにこの際に、案内特徴点マーカ選択部６８は、案内特徴点マーカ７４で囲まれる領域の面積が予め定めたしきい値以上となるまで、案内特徴点マーカ７４の選択を継続する。

また、案内特徴点マーカ選択部６８には、マーカ変換処理部（第１表示態様変換手段）７６が設けられている。マーカ変換処理部７６は、案内特徴点マーカ選択部６８が選択した案内特徴点マーカ７４を、他のステレオ特徴点マーカ７３とは異なる表示態様に変換する。

案内画像切り出し部６９は、Ｌ，Ｒ直前画像データのそれぞれから全ての案内特徴点マーカ７４を含んだ撮影ずらし方向側の端部領域を切り出して、Ｌ，Ｒ案内画像データを生成する。Ｌ，Ｒ案内画像データは、Ｌ，Ｒ直前画像の撮影範囲と、次のＬ，Ｒ画像の撮影範囲との重複幅が３Ｄ画像の繋ぎ合わせに不具合が生じない適切な幅となるような、次のＬ，Ｒ画像の撮影位置の目安となるデータである。Ｌ，Ｒ直前画像データからそれぞれ切り出される端部領域（Ｌ，Ｒ案内画像）は、同じ形状及び大きさとなるように決定される。

また、案内画像切り出し部６９には、半透明処理部７７が設けられている。半透明処理部７７は、Ｌ，Ｒ直前画像データから切り出されたＬ，Ｒ案内画像データに対して、それぞれ半透明処理を施す。

画像合成処理部７０は、ＶＲＡＭ３５からスルー画像用のＬ，Ｒ画像データを読み出して、これらＬ，Ｒ画像データの撮影ずらし方向とは逆方向側の端部にそれぞれＬ，Ｒ案内画像データを合成することにより、Ｌ合成画像データ、Ｒ合成画像データを生成する。画像合成処理部７０は、生成したＬ，Ｒ合成画像データを再度ＶＲＡＭ３５に格納する。

図５に戻って、案内対応点マーカ抽出回路６１は、Ｎ枚目のＬ，Ｒ画像の撮影後に、このＬ，Ｒ画像内から、Ｌ，Ｒ直前画像内の案内特徴点マーカ７４にそれぞれ対応する案内対応点マーカ７９（図１９参照）を抽出する。案内対応点マーカ７９は、上述の案内特徴点マーカ７４と共に、Ｎ−１枚目の３Ｄ画像と、Ｎ枚目の３Ｄ画像とを繋ぎ合わせる際の、両３Ｄ画像の位置合わせ等に用いられる。なお、案内対応点マーカ７９は、先に案内特徴点マーカ７４として選択されたステレオ特徴点マーカ７３を、異なる視点から撮影したものである。

具体的に、案内対応点マーカ抽出回路６１は、全マーカ抽出処理と、ステレオ特徴点マーカ抽出処理と、対応点マーカ抽出処理とを実行する。全マーカ抽出処理は、上述の全マーカ抽出部６６と同様にして、Ｌ，Ｒ画像データにそれぞれ含まれている全てのマーカ３１を抽出する処理である。ステレオ特徴点マーカ抽出処理は、上述のステレオ特徴点マーカ抽出部６７と同様にして、Ｌ，Ｒ画像データにそれぞれ共通に含まれているステレオ特徴点マーカ（第２共通特徴点）７３を抽出する処理である。また、対応点マーカ抽出処理は、抽出したステレオ特徴点マーカ７３の中から、Ｌ，Ｒ直前画像内の案内特徴点マーカ７４にそれぞれ対応する案内対応点マーカ７９（図１９参照）を抽出する処理である。なお、対応点マーカ抽出処理としては、例えば上述のブロックマッチング法が用いられる。

ＣＰＵ３３は、ＲＯＭから読み出した各種プログラムを逐次実行することで、メモリカード２０への撮影画像データの記憶を制御する記憶制御部８１として機能する。記憶制御部８１は、３Ｄモデル撮影モード以外の他撮影モード時に撮影指示がなされた場合、圧縮伸張処理回路５７により圧縮処理が施された圧縮画像データ（画像ファイル）をメモリカード２０に記憶させる。

記憶制御部８１は、３Ｄモデル撮影モード時に撮影指示がなされた場合、非圧縮のＬ，Ｒ画像データ（例えばＲＡＷ形式やビットマップ形式等）をメモリカード２０に記憶させる。これは３Ｄモデル生成時において、Ｌ，Ｒ画像データから３Ｄ画像（３次元形状）を求める距離演算を行う際に、Ｌ画像の各々の画素がＲ画像のどの画素に対応するかをパターンマッチングやステレオマッチングなどの手法で求めるためである。つまり、Ｌ，Ｒ画像データがＪＰＥＧ形式等で非可逆的に圧縮されていると、パターンマッチング等の結果に誤差が生じるためである。

また、記憶制御部８１は、ステレオ特徴点マーカ抽出部６７によるステレオ特徴点マーカ７３の抽出結果と、案内特徴点マーカ選択部６８による案内特徴点マーカ７４の選択結果と、案内対応点マーカ抽出回路６１によるステレオ特徴点マーカ７３の抽出結果及び案内対応点マーカ７９の選択結果とを逐次メモリカード２０に記憶させる。

図７に示すように、メモリカード２０には、他撮影モードで得られたＬ，Ｒ圧縮画像データ（ＪＰＥＧ形式）を格納する「ＮＯＲＭＡＬ」フォルダと、３Ｄモデル撮影モードで得られた非圧縮（ビットマップ形式）のＬ，Ｒ画像データを格納する「ＧＯＵＳＥＩ」フォルダとが設けられている。また、ＧＯＵＳＥＩフォルダには、ステレオ特徴点マーカ抽出部６７、案内特徴点マーカ選択部６８、及び案内対応点マーカ抽出回路６１による抽出・選択結果がそれぞれ登録されるＰＯＳＩＴＩＯＮ．ＴＸＴ８２が格納されている。

図８に示すように、ＰＯＳＩＴＩＯＮ．ＴＸＴ８２には、１枚目、・・・Ｎ枚目、・・・のＬ，Ｒ画像内のステレオ特徴点マーカ７３の情報が順次に記録される。なお、Ｎ枚目のステレオ特徴点マーカ情報は、案内対応点マーカ抽出回路６１によるステレオ特徴点マーカ７３の抽出結果と、ステレオ特徴点マーカ抽出部６７によるステレオ特徴点マーカ７３の抽出結果とからなる。前者の抽出結果はＮ枚目の撮影の際に記録され、後者の抽出結果はＮ＋１枚目の撮影の際に記録される。各ステレオ特徴点マーカ情報は、「ＩＤ」情報と、「ファイル名」情報と、「位置座標」情報と、「選択」情報と、「対応関係」情報とから構成される。

ＩＤ情報は、ＰＯＳＩＴＩＯＮ．ＴＸＴ８２に登録されたステレオ特徴点マーカ７３を一意に特定するための情報である。例えば、１枚目のＬ，Ｒ画像からステレオ特徴点マーカ抽出部６７が抽出したステレオ特徴点マーカ７３の数は８個であり、それぞれにＩＤ１〜ＩＤ８が付与されている。また、２枚目のＬ，Ｒ画像から案内対応点マーカ抽出回路６１が抽出したステレオ特徴点マーカ７３の数は６個であり、その後、ステレオ特徴点マーカ抽出部６７が抽出したステレオ特徴点マーカ７３の数は７個であり、それぞれにＩＤ９〜ＩＤ２１が付与されている。

ファイル名情報は、ステレオ特徴点マーカ７３の抽出元のＬ，Ｒ画像のファイル名である。位置座標情報は、Ｌ，Ｒ画像のそれぞれにおける、ステレオ特徴点マーカ７３の位置座標である。

選択情報は、案内特徴点マーカ７４として選択されたステレオ特徴点マーカ７３（案内特徴点マーカ情報）と、案内対応点マーカ７９として選択されたステレオ特徴点マーカ７３（案内対応点マーカ情報）とを示すものである。案内特徴点マーカ７４または案内対応点マーカ７９として選択されたステレオ特徴点マーカ７３の選択情報欄には、選択されたことを示す情報として、例えば「ＵＳＥ」が登録される。具体的に、１枚目のＬ，Ｒ画像では、ＩＤ１、ＩＤ３、ＩＤ５、ＩＤ６のステレオ特徴点マーカ７３が案内特徴点マーカ７４として選択されており、２枚目のＬ，Ｒ画像では、ＩＤ９、ＩＤ１１、ＩＤ１３、ＩＤ１４のステレオ特徴点マーカ７３が案内対応点マーカ７９として選択されている。

対応関係情報は、Ｎ−１枚目のＬ，Ｒ画像の案内特徴点マーカ７４と、これに対応するＮ−１枚目のＬ，Ｒ画像の案内対応点マーカ７９とを紐付ける（対応付ける）情報である。具体的には、互いに紐付ける相手先のＩＤ番号を対応関係情報欄に登録する。例えば、１枚目のＬ，Ｒ画像のＩＤ１の案内特徴点マーカ７４には、２枚目のＬ，Ｒ画像のＩＤ９の案内対応点マーカ７９が対応している。

図５に戻って、３Ｄモデル合成回路６２は、３Ｄモデル撮影モードで得られた一連のＬ，Ｒ画像データに基づき、被写体３０の３Ｄモデルデータを生成する。３Ｄモデル合成回路６２は、最初に、各撮影範囲のＬ，Ｒ画像データからそれぞれ撮影範囲毎の３Ｄ画像データを求める。例えば、パターンマッチング法等を用いてＬ画像の各々の画素がＲ画像のうちのどの画素に対応するかを求めた結果（各画素の位置座標）と、予め測定したステレオキャリブレーションデータとに基づいて、三角測量の原理により、複眼カメラ１０からＬ，Ｒ画像の各画素にそれぞれ対応する被写体上の点までの距離（３次元座標）を算出する、いわゆる距離演算を行う。これにより、各撮影範囲の３次元形状を示す３Ｄ画像（距離画像）データが得られる。

次いで、３Ｄモデル合成回路６２は、互いに隣接する撮影範囲の３Ｄ画像データ同士を繋ぎ合わせる。具体的には、上述の距離演算により、第Ｎ−１撮影範囲の３Ｄ画像に含まれる案内特徴点マーカ７４の３次元座標と、第Ｎ撮影範囲の３Ｄ画像に含まれる案内対応点マーカ７９の３次元座標とが既に求められている。また、ＰＯＳＩＴＩＯＮ．ＴＸＴ８２に基づき、第Ｎ−１撮影範囲の３Ｄ画像のどの案内特徴点マーカ７４が、第Ｎ撮影範囲のどの案内対応点マーカ７９に対応しているかが判る。このため、３Ｄモデル合成回路６２は、各案内特徴点マーカ７４と各案内対応点マーカ７９とがそれぞれ重なる、あるいは互いに対応する点間の距離が最小となるように、両３Ｄ画像の一方を他方に対して平行移動、回転することにより、両３Ｄ画像を繋ぎ合わせる。これにより、被写体の３Ｄモデルデータが生成される。

次に、図９及び図１０に示すフローチャート、及び図１１〜図１９に示す説明図を用いて、上記構成の複眼カメラ１０の３Ｄモデル撮影モード時における処理の流れについて説明を行う。図９において、電源がＯＮされると、ＣＰＵ３３がＲＯＭから制御プログラムをロードし、複眼カメラ１０の動作制御を開始する。次いで、モード切替スイッチ２２が３Ｄモデル撮影モードに設定された後、撮影ずらし方向決定スイッチ２６が例えば右方向に設定される。

各撮像部１２，１３の撮影レンズ３７を介して入射された被写体光は、ＣＣＤ３９，４８において光電変換され、さらにＡＦＥ４０，４９においてデジタル画像信号に変換される。各撮像部１２，１３から出力されたＬ，Ｒ画像信号は、画像入力コントローラ４５を介して信号処理回路５６に送られて各種の画像処理が施される。こうして１フレーム分のＬ，Ｒ画像データが所定のフレームレートでＶＲＡＭ３５に逐次格納される。

ＣＰＵ３３は、１枚目のＬ，Ｒ画像の撮影待機状態である場合、表示回路５９に対してスルー画像表示指令を発する。表示回路５９は、スルー画像表示指令を受けて、ＶＲＡＭ３５からＬ，Ｒ画像データを読み出し、Ｌ，Ｒ画像をスルー画像としてＬＣＤ１８に表示させる。ＬＣＤ１８による被写体３０のフレーミング後に、シャッタボタン１５が半押しされると、焦点制御や露出制御などの撮影準備処理が行われ、撮影準備状態となる。

撮影準備完了後、シャッタボタン１５の全押し操作に応答して被写体３０の第１撮影範囲の撮影が実行される。ＣＣＤ３９，４８からそれぞれ１フレーム分の画像信号が読み出され、ＡＦＥ４０，４９及び信号処理回路５６にて所定の信号処理が施され、Ｌ，Ｒ画像データがＶＲＡＭ３５に格納される。次いで、ＣＰＵ３３の記憶制御部８１は、ＶＲＡＭ３５に格納された非圧縮のＬ，Ｒ画像データをメディアコントローラ５８へ送る。非圧縮のＬ，Ｒ画像データは、メディアコントローラ５８を経由して、メモリカード２０の「ＧＯＵＳＥＩ」フォルダに格納される。

１枚目のＬ，Ｒ画像の撮影完了後、複眼カメラ１０の撮影位置が被写体３０の周りに沿って右方向にずらされる。また、１枚目のＬ，Ｒ画像の撮影完了後、ＣＰＵ３３は、案内画像合成回路６０に対して案内画像合成指令を発する。この案内画像合成指令を受けて、案内画像合成回路６０の各部が作動する。

図１０に示すように、全マーカ抽出部６６は、メディアコントローラ５８等を介して、メモリカード２０から１枚目のＬ，Ｒ画像データを読み出す。次いで、図１１に示すように、全マーカ抽出部６６は、予め登録されたマーカ３１の形状等に基づき、パターンマッチング法を用いて、１枚目のＬ，Ｒ画像８４Ｌ，８４Ｒにそれぞれ含まれるマーカ３１を全て抽出する。全マーカ抽出部６６は、Ｌ，Ｒ画像毎の各マーカ３１の抽出結果をステレオ特徴点マーカ抽出部６７へ送る。

図１２に示すように、ステレオ特徴点マーカ抽出部６７は、全マーカ抽出部６６から入力された抽出結果に基づき、ブロックマッチング法を用いて、１枚目のＬ，Ｒ画像８４Ｌ，８４Ｒにそれぞれ共通に含まれているステレオ特徴点マーカ７３（横線表示）を全て抽出する。例えば、Ｌ画像８４Ｌ中のマーカ３１は全てＲ画像８４Ｒにも含まれているのに対して、Ｒ画像８４Ｒの右端部にある２つマーカ３１（図中、白塗表示）は、Ｌ画像８４Ｌには含まれていない。このような場合、ステレオ特徴点マーカ抽出部６７は、全マーカ３１の中から上述の２つのマーカ３１を除いたものを、ステレオ特徴点マーカ７３として抽出する。ステレオ特徴点マーカ抽出部６７は、Ｌ，Ｒ画像８４Ｌ，８４Ｒ毎のステレオ特徴点マーカ７３の抽出結果を、案内特徴点マーカ選択部６８へ送る。

また、記憶制御部８１は、ステレオ特徴点マーカ抽出部６７による抽出結果に基づき、１枚目のＬ，Ｒ画像８４Ｌ，８４Ｒのステレオ特徴点マーカ情報（図８参照）を生成する。次いで、記憶制御部８１は、生成したステレオ特徴点マーカ情報を、メディアコントローラ５８を経由して、メモリカード２０のＰＯＳＩＴＩＯＮ．ＴＸＴ８２に登録させる。

図１３に示すように、案内特徴点マーカ選択部６８は、Ｌ，Ｒ画像８４Ｌ，８４Ｒのそれぞれ右端部から左端部に向かって順番に３つのステレオ特徴点マーカ７３を案内特徴点マーカ７４として選択する。また、マーカ変換処理部７６は、案内特徴点マーカ７４を他のステレオ特徴点マーカ７３とは異なる表示態様（図中、黒塗表示）に変換する。これにより、案内特徴点マーカ７４をＬ，Ｒ画像８４Ｌ，８４Ｒ内で相対的に目立つ表示にすることができる。

案内特徴点マーカ７４の選択後、案内特徴点マーカ選択部６８は、選択した３つの案内特徴点マーカ７４で囲まれる領域Ｓ（斜線部）の面積を求める。この領域Ｓの面積は、領域Ｓ内の画素数をカウントして求められる。次いで、案内特徴点マーカ選択部６８は、領域Ｓの面積が所定のしきい値以上となるか否かを判定する。

案内特徴点マーカ選択部６８は、領域Ｓの面積が所定のしきい値を下回ると判定した場合、図１４に示すように、案内特徴点マーカ７４として、残りのステレオ特徴点マーカ７３の中から最も右端部に近いステレオ特徴点マーカ７３を新たに選択する。この新たな案内特徴点マーカ７４は、先に選択された案内特徴点マーカ７４と同様の表示態様に変換される。次いで、案内特徴点マーカ選択部６８は、領域Ｓの面積が最大となるように４つの案内特徴点マーカ７４の中から少なくとも３つの案内特徴点マーカ７４を選択し、選択した各案内特徴点マーカ７４で囲まれる領域Ｓの面積がしきい値以上となるか否かを判定する。以下、領域Ｓの面積がしきい値以上となるまで案内特徴点マーカ７４の追加を継続する。

領域Ｓの面積がしきい値未満の場合には、上述の図１３に示すように、全ての案内特徴点マーカ７４が略同一直線上に並ぶ可能性が高くなる。各案内特徴点マーカ７４は、上述した通り、互いに隣接する撮影範囲の３Ｄ画像を繋ぎ合わせる際の位置合わせに用いられるものである。具体的には、互いに対応する各案内特徴点マーカ７４と各案内対応点マーカ７９とがそれぞれほぼ重なり合うようにして、両３Ｄ画像を繋ぎ合わせる。つまり、（Ｎ−１）枚目の３Ｄ画像の案内特徴点マーカ７４で囲まれる領域と、Ｎ枚目の３Ｄ画像の案内対応点マーカ７９で囲まれる領域とを重ね合わせるようにして、両３Ｄ画像を繋ぎ合わせる。従って、全ての案内特徴点マーカ７４が略同一直線上に並ぶと、下記図１５に示すような問題が生じる。

図１５（Ａ）に示すように、全ての案内特徴点マーカ７４ａ〜７４ｃが略同一直線上に並んだ場合（面積＜しきい値の場合）は、そうでない場合と比較して、領域Ｓの一方向（図中では紙面左右方向）の幅が極めて狭くなる。このような場合、（Ｂ）に示すように、距離演算により求められる案内特徴点マーカ７４ａ〜７４ｃの位置に誤差（例えば、案内特徴点マーカ７４ａが紙面上方向にαだけずれ、案内特徴点マーカ７４ｂ，７４ｃが紙面下方向にαだけずれるような誤差）が生じたときに、面積≧しきい値の場合と比較して、領域Ｓの傾き誤差が極めて大きくなる。その結果、３Ｄ画像の繋ぎ合わせに不具合が生じてしまう。このため、案内特徴点マーカ７４で囲まれる領域Ｓの面積がしきい値を上回るまで案内特徴点マーカ７４を追加することで、全ての案内特徴点マーカ７４が略同一直線上に並ぶことが防止される。その結果、３モデル形成時に３Ｄ画像の繋ぎ合わせに不具合が生じることが低減される。

案内特徴点マーカ７４の選択完了後、記憶制御部８１は、メディアコントローラ５８を経由して、先にＰＯＳＩＴＩＯＮ．ＴＸＴ８２に登録した１枚目のＬ，Ｒ画像のステレオ特徴点マーカ情報に、案内特徴点マーカ７４の選択結果を登録する。これにより、案内特徴点マーカ７４として選択されたステレオ特徴点マーカ７３の選択情報欄に「ＵＳＥ」が記録される（図８参照）。

図１６に示すように、案内画像切り出し部６９は、１枚目のＬ，Ｒ画像８４Ｌ，８４Ｒのそれぞれにおける、最も左端部側にある案内特徴点マーカ７４を検出する。そして、案内画像切り出し部６９は、検出した案内特徴点マーカ７４のうち、より左端部側にある案内特徴点マーカ７４の位置座標（Ｘ座標）に基づき、この位置座標から僅かに左方向にずれた位置を、Ｌ，Ｒ画像８４Ｌ，８４Ｒの切り出し位置Ｃとして決定する。

次いで、案内画像切り出し部６９は、１枚目のＬ，Ｒ画像８４Ｌ，８４Ｒのそれぞれから、切り出し位置Ｃよりも右側の右端部領域（斜線部）を切り出して、Ｌ，Ｒ案内画像８５Ｌ，８５Ｒを生成する。生成されたＬ，Ｒ案内画像８５Ｌ，８５Ｒは、半透明処理部７７にて半透明処理される。この処理後、Ｌ，Ｒ案内画像８５Ｌ，８５Ｒ（Ｌ，Ｒ案内画像データ）は、画像合成処理部７０に送られる。

画像合成処理部７０は、ＶＲＡＭ３５からスルー画像用のＬ，Ｒ画像データを読み出す。図１７に示すように、現在の撮影位置が１枚目の撮影位置よりも右方向にずれている場合は、１枚目の視点よりも右方向にずれた視点で撮影されたＬ，Ｒ画像８６Ｌ，８６Ｒが得られる。なお、図中の点線円は、案内対応点マーカ７９となるマーカ３１（先に案内特徴点マーカ７４として選択されたマーカ３１）の位置を説明するためのものであり、実際に画面に表示されるものではない。

図１８に示すように、画像合成処理部７０は、Ｌ，Ｒ案内画像８５Ｌ，８５ＲをそれぞれＬ，Ｒ画像８６Ｌ，８６Ｒの左端部に合成して、Ｌ，Ｒ合成画像８７Ｌ，８７Ｒを生成する。画像合成処理部７０は、生成したＬ，Ｒ合成画像８７Ｌ，８７Ｒ（Ｌ，Ｒ合成画像データ）をＶＲＡＭ３５に再度格納する。以下同様にして、画像合成処理部７０は、新たなＬ，Ｒ画像データがＶＲＡＭ３５に格納されるたびに、Ｌ，Ｒ合成画像データの合成・再格納を繰り返し実行する。ＣＰＵ３３は、新たなＬ，Ｒ合成画像データがＶＲＡＭ３５に格納されるたびに、表示回路５９に対してスルー画像表示指令を発する。

図１９（Ａ）に示すように、表示回路５９は、スルー画像表示指令を受けて、ＶＲＡＭ３５からＬ，Ｒ合成画像データを読み出し、Ｌ，Ｒ合成画像８７Ｌ，８７Ｒをスルー画像としてＬＣＤ１８に表示させる。なお、Ｌ，Ｒ案内画像８５Ｌ，８５Ｒは半透明であるので、Ｌ，Ｒ画像８６Ｌ，８６Ｒの左端部も視認可能である。

撮影者は、ＬＣＤ１８に表示されるＬ，Ｒ合成画像８７Ｌ，８７Ｒに基づき、２枚目の撮影位置を決定する。ここで、１枚目及び２枚目の３Ｄ画像データ同士を繋ぎ合わせるためには、２枚目の３Ｄ画像データ（Ｌ，Ｒ画像データ）に案内対応点マーカ７９が含まれている必要がある。さらに、被写体３０の全周を複数回に分けて撮影する際に、その撮影回数を最小に抑えるためには、次の３Ｄ画像データの左端部に案内対応点マーカ７９が位置している必要ある。このため、これら両条件を満たす２枚目の撮影位置は、Ｌ，Ｒ画像８６Ｌ，８６Ｒの全案内対応点マーカ７９がそれぞれＬ，Ｒ案内画像８５Ｌ，８５Ｒと重なり合う位置となる。従って、Ｌ，Ｒ案内画像８５Ｌ，８５Ｒは、直前の撮影範囲と次の撮影範囲との重複範囲の目安、つまり、次の撮影位置の目安となる。

Ｌ，Ｒ案内画像８５Ｌ，８５Ｒ内で案内特徴点マーカ７４は相対的に目立つ表示になっているので、撮影者は、案内特徴点マーカ７４を容易に把握することができる。これにより、撮影者は、案内特徴点マーカ７４の配列・位置関係等に基づき、Ｌ，Ｒ画像８６Ｌ，８６Ｒ内における、案内対応点マーカ７９を容易に判別することができる。従って、（Ｂ）に示すように、Ｌ，Ｒ画像８６Ｌ，８６Ｒの全案内対応点マーカ７９がＬ，Ｒ案内画像８５Ｌ，８５Ｒと重なり合うように、撮影位置の位置合わせを行うことができる。

撮影位置の位置合わせを行う際には、互いに対応する案内特徴点マーカ７４と案内対応点マーカ７９同士を完全に重ねる必要はなく、各案内対応点マーカ７９で囲まれる領域がＬ，Ｒ案内画像８５Ｌ，８５Ｒと重なり合うようにすればよい。パノラマ画像生成時における２Ｄ画像の繋ぎ合わせとは異なり、３Ｄ画像を不具合無く繋ぎ合わせるのに必要な撮影範囲の重複幅は、被写体３０の表面形状によって変わる。この際に、複眼カメラ１０では、案内特徴点マーカ７４の選択結果に基づき、切り出し位置Ｃ（図１６参照）を適宜ずらすことで、重複幅を最適な大きさに調整することができる。従って、Ｌ，Ｒ合成画像８７Ｌ，８７Ｒに基づき、撮影位置の位置合わせを行うことで、３Ｄ画像データの繋ぎ合わせに不具合が生じることが防止される。

図９に戻って、フレーミング（位置合わせ）後に、シャッタボタン１５が半押しされると撮影準備処理が行われ、さらにシャッタボタン１５の全押し操作に応答して被写体３０の第２撮影範囲の撮影が実行される。これにより、記憶制御部８１により、２枚目の非圧縮のＬ，Ｒ画像データが、メディアコントローラ５８を経由してメモリカード２０の「ＧＯＵＳＥＩ」フォルダに格納される。

また、２枚目の非圧縮のＬ，Ｒ画像データがメモリカード２０に格納される前に、案内対応点マーカ抽出回路６１は、２枚目のＬ，Ｒ画像データに対して、上述の全マーカ抽出処理と、ステレオ特徴点マーカ抽出処理と、対応点マーカ抽出処理とを順次行う。

この際に、記憶制御部８１は、ステレオ特徴点マーカ抽出処理の結果に基づき、２枚目のＬ，Ｒ画像８４Ｌ，８４Ｒのステレオ特徴点マーカ情報を生成し、このステレオ特徴点マーカ情報をメモリカード２０のＰＯＳＩＴＩＯＮ．ＴＸＴ８２に登録させる（図８参照）。次いで、記憶制御部８１は、対応点マーカ抽出処理の結果に基づき、先に登録したステレオ特徴点マーカ情報に、案内対応点マーカ７９の抽出結果を登録させる。これにより、案内対応点マーカ７９として選択されたステレオ特徴点マーカ７３の選択情報欄に「ＵＳＥ」が記録される。

また、記憶制御部８１は、対応点マーカ抽出処理結果に基づき、１枚目のＬ，Ｒ画像の案内特徴点マーカ７４と、２枚目のＬ，Ｒ画像の案内対応点マーカ７９との対応関係情報を、１枚目及び２枚目のステレオ特徴点マーカ情報にそれぞれ登録する。これにより、互いに対応する案内特徴点マーカ７４及び案内対応点マーカ７９の対応関係情報欄に、それぞれ相手先のＩＤ番号が登録される。

以下、被写体３０の全周囲の撮影が終了するまで上述の一連の処理が繰り返し実行されることにより、被写体３０の残りの撮影範囲も順番にステレオ撮影され、撮影範囲毎のＬ，Ｒ画像データ、ステレオ特徴点マーカ情報（案内特徴点・対応点マーカ情報）がメモリカード２０に順次記憶される。

次に本発明の第２実施形態の複眼カメラについて説明を行う。上記第１実施形態では、案内特徴点マーカ７４に対応するステレオ特徴点マーカ７３を画面内で相対的に目立つ表示態様で表示させているが、第２実施形態では、案内対応点マーカ７９に対応するマーカ３１も画面内で相対的に目立つ表示態様で表示させる。第２実施形態の複眼カメラは、第１実施形態とは異なる案内画像合成回路９０（図２０参照）が設けられている点を除けば、第１実施形態と同じ構成であり、第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。

図２０に示すように、案内画像合成回路９０は、基本的には第１実施形態の案内画像合成回路６０と同じ構成である。ただし、案内画像合成回路９０には、さらに案内対応点マーカ抽出部（第３特徴点抽出手段、第２対応点抽出手段）９１と、マーカ変換処理部（第２表示態様変換手段）９３とが設けられている。

案内対応点マーカ抽出部９１は、基本的には第１実施形態の案内対応点マーカ抽出回路６１と同じものである。案内対応点マーカ抽出部９１は、信号処理回路５６から新たなＬ，Ｒ画像８６Ｌ，ＲがＶＲＡＭ３５に格納されるたびに、ＶＲＡＭ３５からＬ，Ｒ画像８６Ｌ，８６Ｒを読み出して、全マーカ抽出処理と、ステレオ特徴点マーカ（第３共通特徴点）抽出処理と、対応点マーカ抽出処理とを順次行う。これにより、Ｌ，Ｒ画像８６Ｌ，８６Ｒに案内対応点マーカ７９が含まれている場合には、これを抽出することができる。

マーカ変換処理部９３は、案内対応点マーカ抽出部９１が抽出した案内対応点マーカ７９の表示態様を、他のステレオ特徴点マーカ７３とは異なる表示態様に変換する。マーカ変換処理部９３は、マーカ変換処理を施したＬ，Ｒ画像８６Ｌ，８６Ｒを画像合成処理部７０に送る。なお、案内対応点マーカ抽出部９１で案内対応点マーカ７９が抽出されない場合、マーカ変換処理部９３は、Ｌ，Ｒ画像データをそのまま画像合成処理部７０へ送る。

図２１に示すように、画像合成処理部７０にて合成されたＬ，Ｒ合成画像９４Ｌ，９４Ｒでは、各案内特徴点マーカ７４に加えて、各案内対応点マーカ７９も相対的に目立つ表示になる。このため、第２実施形態では、第１実施形態よりも容易に撮影位置の位置合わせを行うことができる。

上記各実施形態では、Ｌ画像データと、Ｒ画像データと、ＰＯＳＩＴＩＯＮ．ＴＸＴ８２とをそれぞれ別々にメモリカード２０に記憶させているが、例えば、Ｌ，Ｒ画像データを１つの画像ファイルとしてメモリカード２０に記憶させるとともに、この画像ファイルにＰＯＳＩＴＩＯＮ．ＴＸＴ８２の情報を組み込んでも良い。

図２２に示すように、画像ファイル９７のヘッダ部９７ａにはヘッダ情報が格納され、画像データ格納部９７ｂにはＬ，Ｒ画像データが格納されている。ヘッダ情報には、撮影年月日情報９８、ファイル名情報９９、撮影モード情報１００、ステレオ特徴点マーカ情報１０１等が含まれる。

ステレオ特徴点マーカ情報１０１には、上述のＰＯＳＩＴＩＯＮ．ＴＸＴ８２に登録されているステレオ特徴点マーカ情報と基本的には同じ情報が記録される。なお、図２２は１枚目のＬ，Ｒ画像の画像ファイル９７の例示であるため、案内対応点マーカ情報は記録されていない。

上記各実施形態では、被写体３０に予めマーカ３１を貼り付けておき、Ｌ，Ｒ画像からそれぞれマーカ３１を抽出し、抽出したマーカ３１の中から案内特徴点マーカ７４や案内対応点マーカ７９を選択しているが、例えばマーカ３１を貼り付ける代わりに、Ｌ，Ｒ画像からそれぞれ画素値の変化が特徴的な点（画素）、例えば被写体の角（コーナ）、端点などの特徴点を抽出し、抽出した点の中から位置合わせ用の案内特徴点マーカ７４や案内対応点マーカ７９を選択してもよい。特徴点抽出法としては、例えば、Ｈａｒｒｉｓの手法、Ｍｏｒａｖｅｃの手法、Ｓｈｉ−Ｔｏｍａｓｉの手法などが用いられる。

上記各実施形態では、複眼カメラにて３Ｄモデルの生成を行うことができるが、３Ｄモデルの生成はパーソナルコンピュータ等で行ってもよい。

上記各実施形態では、案内画像切り出し部６９においてＬ，Ｒ案内画像に対して半透明化処理を施しているが、例えば画像合成処理部７０や表示回路５９にて半透明化処理を施すようにしてもよい。

上記各実施形態では、撮影ずらし方向決定スイッチ２６により撮影ずらし方向を任意に設定することができるが、例えば、撮影ずらし方向が予め一方向（例えば右方向）に固定されていてもよい。また、複眼カメラ１０に３軸加速度センサ等を設け、この加速度センサにより検知した複眼カメラ１０の移動方向を撮影ずらし方向として決定してもよい。また、複眼カメラ１０の姿勢を変えた場合（例えば縦姿勢、横姿勢）でも、現在の姿勢に応じた撮影ずらし方向を容易に設定することができるように、複眼カメラ１０に姿勢検出センサ等を設けてもよい。

上記各実施形態では、スルー画像としてＬ，Ｒ画像をＬＣＤ１８に２画面表示する場合について説明したが、例えば、撮影ずらし方向が右方向のときはＲ画像をＬＣＤ１８に全画面表示し、左方向のときはＬ画像をＬＣＤ１８に全画面表示してもよい。この場合、案内画像合成回路６０は、メモリカード２０から読み出したＬ，Ｒ直前画像の中から、スルー画像を得る撮像部により得られた直前画像を選択し、選択した直前画像に基づき案内画像及び合成画像を生成する。例えば、スルー画像としてＲ画像が表示されている場合、メモリカード２０から読み出したＬ，Ｒ直前画像の中からＲ直前画像が選択され、このＲ直前画像に基づき、Ｒ案内画像及びＲ合成画像が生成される。

上記各実施形態では、ＰＯＳＩＴＩＯＮ．ＴＸＴ８２に記録されるステレオ特徴点マーカ情報（図８参照）に、選択情報と対応関係情報とが設けられているが、これらを一つの対応関係情報にまとめてもよい。具体的には、案内特徴点マーカ７４または案内対応点マーカ７９として選択されたステレオ特徴点マーカ７３の対応関係欄に「ＵＳＥ」を最初に記録し、その後、案内特徴点マーカ７４と案内対応点マーカ７９との対応関係を記録する場合には、先に記録した「ＵＳＥ」を相手先のＩＤ番号に置き換えればよい。

上記各実施形態では、２眼の複眼カメラを例に挙げて説明を行ったが、３眼以上の複眼カメラにも本発明を適用することができる。例えば第１〜第３撮像部を有する３眼カメラでは、３つの撮像部のうちのいずれか２つの撮像部で得られた撮影画像に基づき、上述の案内画像合成処理や距離演算処理等を行う。

１０ 複眼カメラ
１２ 第１撮像部
１３ 第２撮像部
２０ メモリカード
２６ 撮影ずらし方向決定スイッチ
３０ 被写体
３１ マーカ
３３ ＣＰＵ
６０，９０ 案内画像合成回路
６１ 案内対応点マーカ抽出回路
６６ 全マーカ抽出部
６７ ステレオ特徴点マーカ抽出部
６８ 案内特徴点マーカ選択部
６９ 案内画像切り出し部
７０ 画像合成処理部
７３ ステレオ特徴点マーカ
７４ 案内特徴点マーカ
７９ 案内対応点マーカ
８１ 記憶制御部
８２ ＰＯＳＩＴＩＯＮ．ＴＸＴ
８５Ｌ，８５Ｒ Ｌ，Ｒ案内画像
８７Ｌ，８７Ｒ Ｌ，Ｒ合成画像

Claims (10)

1. 所定の間隔をおいて設けられ、被写体を撮影する複数の撮像手段と、撮影待機状態時に、前記複数の撮像手段により得られた複数の撮影画像のうち、少なくともいずれか一つをスルー画像として表示する表示手段と、撮影指示がなされたときに、前記複数の撮影画像を記憶する撮影画像記憶手段とを備え、撮影範囲がその直前の撮影範囲と一部重複するように被写体の周りで撮影位置をずらしながら、被写体を複数回に分けて撮影する特殊撮影モードを有する複眼撮影装置において、
   前記特殊撮影モード下における撮影位置のずらし方向を決定する撮影ずらし方向決定手段と、
   前記特殊撮影モード下における撮影待機状態時に、前記撮影画像記憶手段から直前に記憶された複数の直前撮影画像を読み出して、前記複数の直前撮影画像にそれぞれ存在する共通の特徴的な点を示す第１共通特徴点を複数抽出する第１特徴点抽出手段と、
   前記撮影ずらし方向決定手段の決定結果に基づき、前記第１特徴点抽出手段が抽出した前記第１共通特徴点の中から、前記複数の直前撮影画像の前記ずらし方向側の端部にある案内特徴点を選択する特徴点選択手段と、
   前記複数の直前撮影画像のうちから、前記スルー画像を得る前記撮像手段により得られた直前撮影画像を選択し、選択した直前撮影画像から前記案内特徴点を含む端部領域を切り出して、次の撮影位置の目安となるような、直前の撮影範囲とその次の撮影範囲との重複範囲を示す案内画像を生成し、生成した案内画像を対応する前記スルー画像の前記ずらし方向とは反対方向側の端部に合成する合成手段と、
   を備えることを特徴とする複眼撮影装置。
2. 前記特徴点選択手段は、前記複数の直前撮影画像の前記ずらし方向側の端部より、少なくとも３点以上の前記第１共通特徴点を前記案内特徴点として選択することを特徴とする請求項１記載の複眼撮影装置。
3. 前記特徴点選択手段は、前記案内特徴点で囲まれる領域の面積が所定の面積よりも大きくなるように、前記案内特徴点を選択することを特徴とする請求項１または２記載の複眼撮影装置。
4. 前記案内画像に含まれる前記案内特徴点を、前記表示手段の画面上で相対的に目立つ表示態様に変換する第１表示態様変換手段を備えることを特徴とする請求項１ないし３いずれか１項記載の複眼撮影装置。
5. 前記合成手段は、前記案内画像を半透明にして前記スルー画像にそれぞれ合成することを特徴とする請求項１ないし４いずれか１項記載の複眼撮影装置。
6. 前記複数の直前撮影画像のそれぞれにおける前記案内特徴点の位置を示す位置情報を、当該複数の直前撮影画像に関連付けて前記撮影画像記憶手段に記憶させる記憶制御手段を備えることを特徴とする請求項１ないし５いずれか１項記載の複眼撮影装置。
7. 撮影指示がなされたときに、前記撮影画像記憶手段に新たに記憶される複数の新撮影画像から、当該複数の新撮影画像にそれぞれ存在する共通の特徴的な点を示す第２共通特徴点を抽出する第２特徴点抽出手段と、
   前記第２特徴点抽出手段が抽出した前記第２共通特徴点の中から、前記案内特徴点に対応する案内対応点を抽出する第１対応点抽出手段とを備え、
   前記記憶制御手段は、前記第１対応点抽出手段の抽出結果に基づき、前記複数の新撮影画像のそれぞれにおける前記案内対応点の位置を示す位置情報を、当該複数の新撮影画像に関連付けて前記撮影画像記憶手段に記憶させることを特徴とする請求項６記載の複眼撮影装置。
8. 前記記憶制御手段は、前記案内特徴点と前記案内対応点との対応関係を示す対応関係情報を前記撮影画像記憶手段に記憶させることを特徴とする請求項７記載の複眼撮影装置。
9. 前記表示手段は、前記複数の撮像手段により得られた複数の撮影画像をそれぞれスルー画像として表示するとともに、
   前記各スルー画像のそれぞれから、当該各スルー画像にそれぞれ存在する共通の特徴的な点を示す第３共通特徴点を抽出する第３特徴点抽出手段と、
   前記第３特徴点抽出手段が抽出した前記第３共通特徴点の中から、前記案内特徴点に対応する案内対応点を抽出する第２対応点抽出手段と、
   前記第２対応点抽出手段により抽出された前記案内対応点を、前記表示手段の画面上で相対的に目立つ表示態様に変換する第２表示態様変換手段とを備えることを特徴とする請求項１ないし８いずれか１項記載の複眼撮影装置。
10. 所定の間隔をおいて設けられ、被写体を撮影する複数の撮像手段と、撮影待機状態時に、前記複数の撮像手段により得られた複数の撮影画像のうち、少なくともいずれか一つをスルー画像として表示する表示手段と、撮影指示がなされたときに、前記複数の撮影画像を記憶する撮影画像記憶手段とを備え、撮影範囲がその直前の撮影範囲と一部重複するように被写体の周りで撮影位置をずらしながら、被写体を複数回に分けて撮影する特殊撮影モードを有する複眼撮影装置の制御方法において、
    前記特殊撮影モード下における撮影位置のずらし方向を決定する撮影ずらし方向決定ステップと、
    前記特殊撮影モード下における撮影待機状態時に、前記撮影画像記憶手段から直前に記憶された複数の直前撮影画像を読み出して、前記複数の直前撮影画像にそれぞれ存在する共通の特徴的な点を示す第１共通特徴点を複数抽出する特徴点抽出ステップと、
    前記撮影ずらし方向決定ステップでの決定結果に基づき、前記特徴点抽出ステップで抽出した前記第１共通特徴点の中から、前記複数の直前撮影画像の前記ずらし方向側の端部にある案内特徴点を選択する特徴点選択ステップと、
    前記複数の直前撮影画像のうちから、前記スルー画像を得る前記撮像手段により得られた直前撮影画像を選択し、選択した直前撮影画像から前記案内特徴点を含む端部領域を切り出して、次の撮影位置の目安となるような、直前の撮影範囲とその次の撮影範囲との重複範囲を示す案内画像を生成し、生成した案内画像を対応する前記スルー画像の前記ずらし方向とは反対方向側の端部に合成する合成ステップと、
    を有することを特徴とする複眼撮影装置の制御方法。

Images