JP2017090551A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】撮影者がカメラを移動させながら被写体を複数方向から撮影し、被写体の３次元情報を取得するカメラにおいて、各撮影間の視点の移動量を適切に制御する。
【解決手段】移動しながら複数回の撮像を行うことにより、被写体の３次元情報を取得する撮像装置であって、被写体の像を撮像する撮像部と、被写体の距離情報を検出する検出部と、検出部により検出された被写体の距離情報に基づいて、被写体の奥行情報を算出する算出部と、被写体の距離情報と、被写体の奥行情報とに基づいて、撮像装置の移動速度と複数回の撮像のインターバルの関係を取得する取得部と、取得部により取得された撮像装置の移動速度と複数回の撮像のインターバルの関係に基づいて、撮像条件を決定する決定部と、決定部により決定された撮像条件で撮像部に複数回の撮像を行わせる制御部とを備える。
【選択図】 図１

Description

本発明は、立体物造形などに用いる３次元情報を取得する撮像装置に関する。

従来、被写体を撮影することにより、被写体の３次元情報を取得するカメラシステムが知られている。特許文献１には、カメラを移動させながら複数方向から撮影を行い、各画像の特徴点のマッチングにより被写体の３次元情報を構築する技術が開示されている。その他にも、被写体に対しパターンを投影して撮影を行うことで、被写体の距離情報を取得し、３次元情報を構築する方法や、視差の異なる被写体画像により位相差を用いて被写体の３次元情報を取得する方法など様々な方法が知られている。

特開２０１１−８５９７１号公報

しかしながら、カメラを移動させながら複数方向から撮影を行うシステムにおいて、撮影者がカメラを移動させる場合には、撮影状況によって各撮影間のカメラの移動量（視点の移動量）は均一にはならない。視点の移動量が少なすぎる場合には、３次元情報の生成に対して画像データは過多になり、逆に視点の移動量が多すぎる場合には、被写体に対する撮影角度の変化が大きすぎるために各画像のマッチングが困難になり、３次元情報を取得できなくなってしまう。

本発明は上述した課題に鑑みてなされたものであり、その目的は、撮影者がカメラを移動させながら被写体を複数方向から撮影し、被写体の３次元情報を取得するカメラにおいて、各撮影間の視点の移動量を適切に制御することである。

本発明に係わる撮像装置は、移動しながら複数回の撮像を行うことにより、被写体の３次元情報を取得する撮像装置であって、前記被写体の像を撮像する撮像手段と、前記被写体の距離情報を検出する検出手段と、前記検出手段により検出された前記被写体の距離情報に基づいて、前記被写体の奥行情報を算出する算出手段と、前記被写体の距離情報と、前記被写体の奥行情報とに基づいて、前記撮像装置の移動速度と前記複数回の撮像のインターバルの関係を取得する取得手段と、前記取得手段により取得された前記撮像装置の移動速度と前記複数回の撮像のインターバルの関係に基づいて、撮像条件を決定する決定手段と、前記決定手段により決定された撮像条件で前記撮像手段に前記複数回の撮像を行わせる制御手段と、を備えることを特徴とする。

本発明によれば、撮影者がカメラを移動させながら被写体を複数方向から撮影し、被写体の３次元情報を取得するカメラにおいて、各撮影間の視点の移動量を適切に制御することが可能となる。

本発明の第１の実施形態におけるカメラの移動の様子を示す図。 第１の実施形態における撮像装置の構成を示すブロック図。 第１の実施形態における距離情報を取得する構成を示す図。 測距情報を用いた奥行情報の算出方法を示す図。 撮影角度の変化量の決定において奥行を考慮する理由を説明する図。 撮影角度の変化量の決定方法について説明する図。 第１の実施形態における撮影から３次元情報の生成までの動作の流れを示すフローチャート。 閾値角度について説明する図。 エッジの認識が困難な被写体を説明する図。 第２の実施形態における撮影から３次元情報の生成までの動作の流れを示すフローチャート。 移動速度表示の一例を示す図。 解決しようとする課題を説明する図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

まず、本発明の実施形態の概要について説明する。本実施形態におけるカメラは、１回の撮影で画角内の全領域で距離情報が取得可能なカメラである。これは１度の撮影で１つの視点での３次元画像が取得可能であることを意味する。このカメラを用い、撮影者が被写体周囲の任意の位置から撮影を継続的に行う。そして、取得される複数の視点の３次元画像を３次元的にマッチングさせ、１つの視点からの３次元画像を補完・拡張して、全周囲もしくは部分周囲の３次元情報を生成する。この場合、本実施形態では、撮影者は撮影タイミングを入力することなく、カメラ側の制御により撮影インターバルが決まり、自動的に次々と撮影が行われる。

なお、１つの視点での３次元画像は被写体の１面のみの情報であり、オクルージョンによる欠陥が多く、立体造形装置へ入力する情報としては十分でない場合が多い。そのため、本実施形態では１つの視点での情報を３次元「画像」、複数の視点の画像から生成される情報を３次元「情報」、と区別して呼称することにする。また、３次元画像、３次元情報ともに、データフォーマットは点像群の３次元座標情報である。なお、３次元画像からの３次元情報の生成の詳細は、先行文献に記載されているとともに、本実施形態の主眼点ではないため説明を省略する。

ここで、上記のようなカメラシステムでの課題を、図１２を参照して説明する。図１２は、被写体およびカメラの撮影視点を表わす上面図である。図１２において、被写体１００は、カメラ１０１により複数の視点から撮影される。添え字ｂ、ｃは撮影視点の違いを示している。撮影者は任意の軌跡１０２に沿ってカメラを移動させる。近接した複数の視点群１０１ｂから撮影を行った場合、取得される３次元画像にはほとんど視点の差はない。この場合、生成される３次元情報は狭い角度領域において緻密なサンプリングとなる。ここで、立体造形装置へ３次元情報を入力することを考えると、サンプリングが緻密過ぎても、立体造形装置の造形分解能により制限され、造形される結果物は、その緻密さを表現できない。つまり、造形分解能に対して情報量が過多になる。一方、複数の視点群１０１ｃから撮影を行った場合、取得される３次元画像の間で視点の差は相対的に大きい。この場合、３次元情報生成のためのデータマッチングにおいて、探索の範囲が広くなり、うまくマッチングできない場合があるという問題が発生する。

上記のように、撮影間での被写体に対する撮影角度の差が大きすぎても小さすぎてもよい結果は得られない。本実施形態は、撮影者が被写体の周囲の任意の位置から撮影を行って３次元情報を取得する撮像装置において、被写体に対する撮影視点間の角度を適切に制御することをその主眼としている。

（第１の実施形態）
図１は、本実施形態におけるカメラの移動の様子を示す図である。図１２と同様に、被写体１００およびカメラ１０１の位置を上から見た図である。Δθは各撮影間の被写体に対する角度変化を示している。本実施形態においては、撮影を行う複数の視点１０１ａにおける各撮影間の角度変化Δθを適切に制御する。撮影角度は、カメラ１０１内に配置されている測距装置により検出される被写体距離１０３、および移動速度検知部７（図２参照）により検出される移動速度１０４により把握することができる。そして、任意の移動速度に対して撮影インターバルを調整することでΔθが制御される。また、適切な撮影角度の決定においては、被写体距離から算出される被写体の奥行１０５が考慮される。これは、奥行寸法が長い被写体では、エッジのサンプリング分解能が、撮影角度の変化に対して敏感だからである。

本実施形態では、上記の構成により、撮影者がカメラを移動させながら被写体を複数方向から撮影し、３次元情報を取得する場合において、各撮影間の視点の移動量を適切に制御し、データの過多およびマッチングの困難さの問題を解決することができる。

以下、本実施形態についてより詳しく説明する。図２は本実施形態における撮像装置の構成を示すブロック図である。なお、本実施形態では、カメラ本体１とレンズ２とが一体となっている形態について説明するが、カメラ本体１とレンズ２が脱着可能な交換レンズ方式のカメラであっても構わない。

図２において、カメラ１０１は、カメラ本体１と、カメラ本体１に設けられたレンズ２とを備えている。カメラ本体１は、カメラシステム制御部３、撮像素子４、画像処理部５、メモリ部６、移動速度検知部７、表示部８を備えている。移動速度検知部７はカメラ１０１の移動速度を検出する。カメラシステム制御部３はカメラ本体１内の各処理部の動作を制御する。レンズ２を通過した被写体からの光線は、撮像素子４に集光される。撮像素子４では光電変換が行われ、不図示のＡ／Ｄ変換部で量子化処理された信号が画像処理部５に送られる。画像処理部５は、内部にホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、撮像素子４からの出力信号を処理し画像データを生成する。画像処理部５で生成された画像データはメモリ部６に記録される。メモリ部６は実際の記録部に加えて記録に必要な処理回路を備えている。

移動速度検知部７は、例えば加速度センサと、加速度を速度へと変換する信号処理部などから構成される。移動速度検知部７で検知された速度はカメラシステム制御部３へと送られる。表示部８は、フレーミングを行うときの画像を表示するいわゆるライブビュー表示や、撮影画像のプレビュー表示を行う。

ここで、カメラシステム制御部３、撮像素子４、画像処理部５で被写体の距離情報を取得する距離情報取得部を構成する。距離情報を取得する測距の方法については後述する。また、カメラシステム制御部３は、奥行算出部９、奥行信頼性判定部１０、撮影条件決定部１１、撮影インターバル決定部１２、撮影制御部１３を含む。奥行算出部９は、距離情報取得部により取得される被写体の複数個所での被写体距離から、被写体の奥行情報を取得する。奥行信頼性判定部１０は、奥行算出部９が複数回算出した奥行情報の信頼性判定を行う。これは、１回の撮影で取得された奥行情報のみでは信頼性が低いためである。そのため、例えば既定の取得回数を設定し、取得回数が規定の回数に達すると、信頼性が確保されたと判定するなどの方法をとる。その際、後述する処理に用いる奥行情報は、複数回取得された奥行情報の中心値などとすればよい。撮影条件（撮像条件）決定部１１は、被写体距離と被写体の奥行情報から、３次元情報の取得に適切なカメラの移動速度とカメラの撮影インターバルの関係を決定する。詳細は後述する。撮影インターバル決定部１２は、移動速度検知部７が検出したカメラの移動速度に基づいて、前述の適切なカメラの移動速度とカメラの撮影インターバルの関係から、適切な撮影インターバルを決定する。撮影制御部１３は、決定した撮影インターバルで撮影を行うように制御する。なお、カメラ本体１は、その他の撮影に関わる手段及び機能を有するが、本実施形態の要部ではないので図示及び説明を省略する。

次に本実施形態の距離情報を取得する構成について図３を用いて説明する。図３（ａ）は撮像素子４とその上面に配置されているマイクロレンズ群を示す図であり、図３（ｂ）は単位画素の拡大図である。図３（ａ），（ｂ）において、撮像素子４に複数配列された単位画素４１は、光電変換を行う複数の光電変換素子４１ａ，４１ｂと、その上面に複数の光電変換素子４１ａ，４１ｂにまたがって配置されるマイクロレンズ４２とを備えて構成される。単位画素４１は、役割の異なる光電変換素子４１ａ，４１ｂを対として、その上面を１つのマイクロレンズ４２が覆う構造になっている。

図３（ｃ）はそれぞれの光電変換素子４１ａ，４１ｂの役割を説明する斜視図である。レンズ２は光学系の瞳２１を有する。１対の光電変換素子４１ａ，４１ｂは、マイクロレンズ４２により、光学系の瞳２１と共役な関係となっている。そして、光電変換素子４１ａ，４１ｂのそれぞれは、瞳２１の異なる領域を通過する光束が導かれるように対応付けられている。

図３（ｄ）は、被写体と撮像素子４の関係を説明する図である。被写体が存在する物体面２２からの光は、レンズ２の光学系の合成レンズ２３により結像され、２つの光電変換素子４１ａ，４１ｂのそれぞれにより像２５ａ，２５ｂに変換される。具体的には、被写体からの光束は光学系の瞳２１を通過し、単位画素４１へと導かれる。この時、前述した光学系の瞳２１と単位画素４１の関係により、図３（ｄ）における瞳２１の右側を通過する光束２４ａは単位画素４１の光電変換素子４１ａでのみ受光され、瞳２１の左側を通過する光束２４ｂは単位画素４１の光電変換素子４１ｂでのみ受光される。

図３（ｄ）のそれぞれの図は、レンズ２の状態により物体面２２のピント状態が変化している様子を示している。中央の図はピントが撮像面上にある合焦状態を、左図はピントがレンズ２側にずれている状態を、右図はピントがカメラ本体１側にずれている状態を、それぞれ示している。この時、ピントのずれ量に応じて、像２５ａ，２５ｂは光軸に垂直な平面上でずれる。また、ずれる方向はピントが合焦状態からレンズ２側、カメラ本体１側のどちらにずれたかによって逆になる。この原理を利用して、被写体のピントのずれ量およびずれ方向を検知することができる。また、レンズ２は不図示のレンズ位置検出部などを有しており、ピントのずれ情報（量、方向）とレンズの位置をガウスの結像公式に当てはめるなどして測距を行うことができる。また、この単位画素４１の構造が撮像素子４の全領域に配置されているため、撮像素子４の全領域において測距が可能である。

なお、本実施形態においては、マクロレンズ４２下の光電変換素子は左右一対としているが、１つの単位画素に配置される光電変換素子の数は、上下左右においてどのような数にしても構わない。また、本実施形態では１組のレンズ２と撮像素子４により瞳分割を行う構成としているが、レンズと撮像素子のセットを複数用いてカメラシステム全体としての合成瞳を分割しても構わない。

次に図４を用いて測距情報を用いた奥行情報の算出方法について説明する。図４において、例えば被写体である車を撮像して取得される３次元画像の中で、カメラの光軸方向の座標が最もカメラ側に近いサンプリング点を１１０ａとする。また、カメラの光軸方向の座標が最もカメラから遠いサンプリング点を１１０ｂとする。奥行情報はサンプリング点１１０ａと１１０ｂの光軸方向の位置の差分１０５として算出される。なお、図４においては説明を分かりやすくする目的で平面図を用いて説明しているため、水平方向のサンプリング点のみが示されているが、３次元画像は図４における鉛直方向の情報も含む。そのため、水平鉛直の両方において、カメラの光軸方向の座標が最もカメラ側に近いサンプリング点と遠いサンプリング点を用いるのが好ましい。また、実際には光線はカメラを中心とした放射状に集まるが、説明を分かりやすくするために、被写体からの光線がカメラ方向に平行に進むように近似して図示している。

次に図５を用いて、撮影角度の変化量の決定において奥行を考慮する理由について説明する。図５（ａ）は、被写体の奥行寸法が長くなる撮影視点からの角度変化を考える場合を示す図である。また、図５（ｂ）は、被写体の奥行寸法が短くなる撮影視点からの角度変化を考える場合を示す図である。いま、被写体１００のエッジ１００ａに対して、移動前の撮影視点で得られるサンプリング点を１１１ａ、移動後の撮影視点で得られるサンプリング点を１１１ｂとする。なお、エッジ１００ａの法線を１１２で示している。奥行寸法が長い図５（ａ）においては、エッジ１００ａの法線１１２と撮影光軸のなす角度は大きい。この場合、サンプリング点１１１ａと１１１ｂとで明らかに奥行方向のサンプリング間隔（サンプリング分解能）が変化している。一方で、奥行寸法が短い図５（ｂ）においては、エッジ１００ａに対して撮影視点がほぼ正面に位置するため、エッジ１００ａの法線１１２と撮影光軸のなす角度は小さい。この時、サンプリング点１１１ａと１１１ｂとでは、図で認識できないほどにサンプリング間隔の変化は小さい。この理由により、サンプリング間隔は奥行寸法の長さに関連して、撮影角度の変化に対する敏感度が異なる。そのため、撮影角度の変化許容量を決定する際に、奥行寸法を考慮することが重要である。

次に、図６を用いて撮影角度の変化量の決定方法について説明する。本実施形態では、例えば、図５における５つのサンプリング点１１１ｂの長さが、４つのサンプリング点１１１ａの長さと等しくなるサンプリング分解能の変化が、マッチングにおいて許容される限界の分解能変化とする、などのようにして撮影角度を決定する。

図６（ａ）は図５（ａ）の幾何関係をモデル化した図である。ｄ１はエッジ１００ａの奥行寸法を、ｗ１はエッジ１００ａを撮影視点へと射影した際の光軸に対する横寸法を、Ｌはエッジ１００ａの実寸法を、αは横寸法ｗ１と実寸法Ｌがなす角を、それぞれ示している。ここで、奥行寸法ｄ１は図４で説明した方法を用いて算出することができる。ｗ１は式（１）により取得できる。

ｗ１＝ｐp×ｎp×（Ｄ／ｆ） …（１）
ここでｐpは異なる１対の単位画素４１間の画素ピッチ、ｎpは撮像面上でのエッジ１００ａの長さに対応する画素数、Ｄはエッジ１００ａの被写体距離の中心値、ｆはレンズ２の焦点距離、をそれぞれ示している。角度αは奥行寸法ｄ１および横寸法ｗ１から、式（２）により算出される。

α＝ｔａｎ^-1（ｄ１／ｗ１） …（２）
また、ｗ２は撮影視点が変化した後の視点へと射影した横寸法を、α−Δθは横寸法ｗ２と実寸法Ｌがなす角度をそれぞれ示している。この場合、横寸法ｗ２は式（３）により算出される。

ｗ２＝Ｌ・ｃｏｓ（α−Δθ） …（３）
次に図６（ｂ）を用いてｗ１、ｗ２のそれぞれにおけるサンプリング間隔を考える。ｐoは画素ピッチを物体側へと投影したもので、物体側の被写体面におけるサンプリング間隔をｐoとする。この場合、エッジ１００ａのｗ１，ｗ２それぞれにおけるサンプリング数はｗ１／ｐo＝ｎ１、ｗ２／ｐo＝ｎ２、となる。この時、許容されるサンプリング数の変化率をｒとし、ｒを以下の式（４）により決定する。

ｒ＝（ｎ２−ｎ１）／ｎ１ …（４）
ここで、前述した例のように、移動後の５つのサンプリング点１１１ｂと、移動前の４つのサンプリング点１１１ａが長さ的に等しい場合を考える。このとき、サンプリング数ｎ１，ｎ２は、ある整数ｍに対してｎ１＝５×ｍ、ｎ２＝４×ｍとなり、変化率はｒ＝−０．２となる。これはサンプリング分解能が２割細かくなったことを示している。このように、被写体の３次元情報のサンプリング分解能をほぼ均一となるようにする。具体的には、上記のように被写体の３次元情報のサンプリング分解能に対する分解能の変化の割合が、例えば２割以下となるようにする。以上、説明した式（２）、式（３）、式（４）を用いることにより、奥行寸法ｄ１、横寸法ｗ１、変化率ｒとから、適切な撮影角度変化Δθを決定することができる。

また、式（２）、式（３）、式（４）に従えば、奥行寸法ｄ１が短い場合には、角度αが０と近似でき、角度変化Δθのサンプリング間隔の変化率ｒへの敏感度は最も小さくなる。

なお、上記の撮影角度変化量Δθの決定は、撮影条件決定部１１が行う。その理由は、撮影角度変化量Δθが決まると、撮像装置の移動速度と撮影インターバルの関係が１対１に決まる。そして、このΔθに応じて決まる移動速度と撮影インターバルの関係を撮影条件として、撮影制御を行うからである。

次に本実施形態における撮影から３次元情報の生成までの動作の流れについて図７のフローチャートを参照して説明する。まず、ステップＳ１００において、３次元情報の取得動作が開始される。これは、カメラにおける３次元情報取得モードへの移行などを示す。次にステップＳ１０１において、撮影インターバルを短く設定する。これは、前述した理由により撮影開始直後においては算出される奥行情報の信頼性が低いためである。信頼性の低い間は、撮影インターバルを短く設定し、撮影角度をあまり変えずに３次元画像を取得する。

次に、ステップＳ１０２において３次元画像の取得を行う。次にステップＳ１０３において、奥行信頼性が十分かどうかを判断する。これは、前述したように既定の測定回数を定めておき、その規定回数に達したかどうかで判断を行うなどの方法をとればよい。奥行信頼性が十分な場合には、ステップＳ１０４へ進み、十分でない場合にはステップＳ１０２へと戻る。次にステップＳ１０４では、全周囲で３次元画像を取得したかを判断する。全周囲で３次元画像を取得している場合にはステップＳ１１０に進み、取得していない場合にはステップＳ１０５へと進む。

ステップＳ１０５ではインターバルＴｉの演算パラメータを取得する。ここでインターバルＴｉとは、前述した撮影視点の変化量Δθを得るための撮影インターバルである。パラメータのそれぞれの詳細については後述するステップＳ１０６でのインターバル時間Ｔｉの演算において説明する。次にステップＳ１０６において、ステップＳ１０５で取得したパラメータを用いてインターバルＴｉを演算し、撮影インターバルとして設定する。ここで撮影インターバルＴｉは以下の式（５）により求めることができる。

Ｔｉ＝Ｄ・ｔａｎ（Δθ）／ｖ …（５）
ここでＤは前述した被写体距離、ｖは移動速度検知部により検知されるカメラの移動速度、Δθは式（２）〜（４）より求められる撮影角度変化量である。この撮影インターバルＴｉの算出は、撮影インターバル決定部１２が行う。前述した、撮影条件決定部１１が、移動速度と撮影インターバルの関係を決める撮影条件であるΔθを算出し、撮影インターバル決定部１２が、この撮影条件に固定の移動速度を適用することで撮影インターバルを決定する。

次にステップＳ１０７において閾値角度を算出し設定する。閾値角度とは、インターバルＴの再演算を行うきっかけとする角度の閾値である。図８を用いてこの閾値角度について説明する。今、撮影の開始位置が１０１ｓだったとする。そして撮影開始後は、移動軌跡１０２に沿って撮影者が移動するものとする。この場合、撮影開始直後は前述した短い撮影インターバルで撮影し、奥行信頼性が十分になった以後はインターバルＴを撮影インターバルとして撮影を行うことで好適な撮影角度変化が得られる。その後、しばらくの間撮影視点が変更されると、エッジ１００ａに対して、正面に近い撮影視点１０１ｔへと到達する。前述のとおり、撮影視点がエッジに対して正面に近い場合には、撮影角度の変化に対するサンプリング分解能の変化は大きくない。そのため、撮影視点１０１ｓ近傍で設定した撮影インターバルよりも、長い撮影インターバルをインターバルＴｉを再演算して設定するのが好ましい。また、撮影視点１０１ｕにおいては、被写体の新たなエッジである１００ｂが画角内に見え始める。よって新たなエッジ１００ｂに対応するインターバルＴｉを再演算して設定するのが好ましい。このように、エッジに対する撮影視点の角度で閾値角度を設定する。閾値角度の具体値としては、エッジの正面に対して±３０度はほぼ正対していると近似できる角度領域、エッジ正面に対して４５度を超えた５０度は次のエッジが見え始める角度領域、などとすればよい。なお、撮影開始からの角度変化量は各撮影間のΔθの積算値として求めることができる。

ステップＳ１０８では３次元画像の取得を行う。続いて、ステップＳ１０９へと進み、閾値角度を超えたかを判断する。閾値角度を超えた場合には、ステップＳ１０４へと戻り、続くステップでインターバルＴｉの再演算を行う。閾値角度を超えない場合にはステップＳ１０８へと戻る。ステップＳ１１０では、全周囲で取得された３次元画像を用いて３次元情報の生成が行われる。ここで、３次元情報の生成は３次元画像が逐一取得されるたびに行ってもよいが、演算負荷による撮影動作への影響を考慮して、全周囲での取得が終わった後に行ってもよい。また、ここではステップＳ１０４において全周囲での取得を判定条件としたが、生成した３次元情報の周囲角度を撮影者が任意に決定できるカメラシステムとしてもよい。ステップＳ１１１は制御動作の終了を示している。

なお、これまでの図においては、エッジの認識しやすい被写体１００を例にとって説明した。しかし、エッジの認識が困難な被写体も存在する。そのような場合の対応を図９を用いて説明する。図９は、エッジの認識が困難な被写体１００ｘを示している。このように明確なエッジが認識しにくい被写体に対しては、Ｌｍ１およびＬｍ２で示される代表寸法を用いればよい。Ｌｍ１およびＬｍ２は画角内に認識される被写体の被写体距離の最大値と最小値、および光軸に対する横方向の最大長さを用いて算出できる。

以上説明したように、本実施形態では、被写体距離と被写体の奥行情報から、カメラの移動速度と撮影インターバルの関係を決定し、撮影インターバルを制御する。これにより、撮影者がカメラを移動させながら被写体を複数方向から撮影し、３次元情報を取得する場合において、各撮影間の視点の移動量を適切に制御し、データの過多およびマッチングの困難さの問題を解決することができる。

（第２の実施形態）
図２、図１０、図１１を参照して、本発明の第２の実施形態について説明する。なお、第２の実施形態の説明においては、第１の実施形態との差異のみを説明し、構成、動作、処理が同じ部分の説明は省略する。

第１の実施形態においては、撮影者の任意の移動速度に対して、撮影インターバルを制御していたが、第２の実施形態においては、撮影インターバルを固定として、撮影者に適切な移動速度を通知して適切な撮影角度の変化が得られるように促す。本実施形態は、カメラの構成や撮影状況で変化する光量などにより、十分に早い撮影インターバルが設定できない場合などに有効となる。そのため、撮影インターバルは、例えば設定できる最短の撮影インターバルなどに設定する。

第２の実施形態のカメラは第１の実施形態と同様に図２に示すように構成される。ただし、第２の実施形態においては、表示部８が移動速度表示部を兼ねる。

図１０は、第２の実施形態における撮影から３次元情報の生成までの動作の流れを示すフローチャートである。本実施形態では、ステップＳ１２０において、移動速度ｖｉの演算パラメータを取得し、ステップＳ１２１において移動速度ｖｉを演算して表示する。移動速度ｖｉとは、適切な撮影角度の変化を得るための移動速度であり、以下の式（６）により算出される。

ｖｉ＝Ｄ・ｔａｎ（Δθ）／Ｔmin …（６）
ここで、Ｔminは前述した、設定できる最短の撮影インターバルである。

このようにして得られる移動速度ｖｉに基づいて、撮影者へと適切な移動速度を表示する。図１１は移動速度表示の一例を示す図である。カメラ本体１の背面の表示部８において、２次元のプレビュー画像とともに適切な移動を促す表示がなされる。表示３０は移動方向を示している。本実施形態においては、撮影速度を指示することで、適切な撮影角度の変化で撮影が行われるため、単純に撮影者が最初に移動し始めた方向を示せばよい。ただし、撮影者の移動が速すぎる場合には、直前の３次元画像を破棄して、これまでの撮影の開始位置方向に一旦戻る指示を出すなどとしてもよい。戻った後は、最初に移動し始めた方向へと表示を戻す。表示３１は移動速度を示している。式（６）によって、移動速度ｖｉが算出されるが、その値をそのまま表示するのでは、撮影者にわかりずらい。そのため、移動速度に応じた移動の仕方の例を、テンプレートに応じて表示する。例えば、普通に歩く速度、ゆったりと歩く速度、子供と歩く速度、などと表示する。

以上説明したように、本実施形態では、被写体距離と被写体の奥行情報から、カメラの移動速度と撮影インターバルの関係を決定し、適切な移動速度を表示する。これにより、撮影者がカメラを移動させながら被写体を複数方向から撮影し、３次元情報を取得する場合において、各撮影間の視点の移動量を適切に制御し、データの過多およびマッチングの困難さの問題を解決することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１：カメラ本体、２：レンズ、３：カメラシステム制御部、４：撮像素子、５：画像処理部、７：移動速度検知部、８：表示部、９：奥行算出部、１０：奥行信頼性判定部、１１：撮影条件決定部、１２：撮影インターバル制御部、１３：撮影制御部

Claims (13)

1. 移動しながら複数回の撮像を行うことにより、被写体の３次元情報を取得する撮像装置であって、
   前記被写体の像を撮像する撮像手段と、
   前記被写体の距離情報を検出する検出手段と、
   前記検出手段により検出された前記被写体の距離情報に基づいて、前記被写体の奥行情報を算出する算出手段と、
   前記被写体の距離情報と、前記被写体の奥行情報とに基づいて、前記撮像装置の移動速度と前記複数回の撮像のインターバルの関係を取得する取得手段と、
   前記取得手段により取得された前記撮像装置の移動速度と前記複数回の撮像のインターバルの関係に基づいて、撮像条件を決定する決定手段と、
   前記決定手段により決定された撮像条件で前記撮像手段に前記複数回の撮像を行わせる制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記撮像装置の移動速度を検知する検知手段をさらに備え、前記決定手段は、前記撮像条件として、前記検知手段により検知された前記撮像装置の移動速度に対応する前記複数回の撮像のインターバルを決定することを特徴とする請求項１に記載の撮像装置。
3. 前記奥行情報の信頼性を判定する判定手段をさらに備え、前記制御手段は、前記判定手段が前記奥行情報の信頼性が低いと判定している間は、前記決定手段が決定した前記複数回の撮像のインターバルよりも短いインターバルで、前記撮像手段に前記複数回の撮像を行わせることを特徴とする請求項２に記載の撮像装置。
4. 前記複数回の撮像のインターバルを設定する設定手段をさらに備え、前記決定手段は、前記撮像条件として、前記設定手段により設定された前記複数回の撮像のインターバルに対応する前記撮像装置の移動速度を決定することを特徴とする請求項１に記載の撮像装置。
5. 前記決定手段により決定された前記撮像装置の移動速度を撮影者に通知する通知手段をさらに備えることを特徴とする請求項４に記載の撮像装置。
6. 前記決定手段は、前記撮像装置の位置によらず、前記被写体の３次元情報の分解能がほぼ均一となるように、前記撮像条件を決定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記決定手段は、前記被写体の３次元情報の分解能に対する該分解能の変化の割合が２割以下となるように、前記撮像条件を決定することを特徴とする請求項６に記載の撮像装置。
8. 前記決定手段は、前記撮像装置の移動速度が同じ場合には、前記被写体の奥行きが相対的に小さいときに比べて、前記被写体の奥行きが相対的に大きいときの方が前記複数回の撮像のインターバルを小さく設定することを特徴とする請求項１に記載の撮像装置。
9. 前記撮像手段は、１つのマイクロレンズに対して複数の光電変換素子が配置された単位画素が複数配列された撮像素子を有することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記検出手段は、前記単位画素に配置された複数の光電変換素子から得られる複数の画像の位相差に基づいて前記被写体の距離情報を検出することを特徴とする請求項９に記載の撮像装置。
11. 被写体の像を撮像する撮像手段を備え、移動しながら複数回の撮像を行うことにより、前記被写体の３次元情報を取得する撮像装置を制御する方法であって、
    前記被写体の距離情報を検出する検出工程と、
    前記検出工程において検出された前記被写体の距離情報に基づいて、前記被写体の奥行情報を算出する算出工程と、
    前記被写体の距離情報と、前記被写体の奥行情報とに基づいて、前記撮像装置の移動速度と前記複数回の撮像のインターバルの関係を取得する取得工程と、
    前記取得工程により取得された前記撮像装置の移動速度と前記複数回の撮像のインターバルの関係に基づいて、撮像条件を決定する決定工程と、
    前記決定工程において決定された撮像条件で前記撮像手段に前記複数回の撮像を行わせる制御工程と、
    を有することを特徴とする撮像装置の制御方法。
12. 請求項１１に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
13. 請求項１１に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images