JP2016005027A - 情報処理装置、撮像装置、撮像システム、情報処理方法およびプログラム。 - Google Patents

Abstract

【課題】 複数の撮像装置が複数の被写体を異なる方向から撮像する場合に、Ｆ値が小さな状態でも全ての被写体にフォーカスして撮像するための技術を提供する。
【解決手段】 Ｆ値が小さい状態で撮影された画像に基づいて導出された、複数の被写体の形状及び位置関係に基づいて、複数の撮像部を組分けし、組分けされた各撮像部が、それぞれ対応する被写体にフォーカスし、前記形状および位置関係の導出に用いられた画像を撮影した時よりも大きなＦ値で撮像を行うように、複数の撮像部のフォーカスパラメータを決定する。
【選択図】 図４

Description

本発明は複数の撮像部のフォーカス合わせに関する技術である。

複数の撮像部で撮像した画像を用いた技術として、複数のカメラで同一の被写体を異なる視点から撮像した複数の画像間の画素値の整合を取ることで被写体の形状を推定する技術が存在する。このように画像から高精度に被写体形状を推定するためには、各撮像部が形状を推定したい被写体にフォーカスを合わせて撮像を行う必要がある。更に、形状を推定したい被写体が複数存在する場合には、全ての被写体にフォーカスを合わせて撮像を行う必要がある。

複数の撮像部が複数の被写体にフォーカスを合わせる技術として、特許文献１記載の技術が知られている。特許文献１には、各撮像装置で異なる被写体にフォーカスし、かつ各撮像部のフォーカス位置が互いの撮像部の被写界深度内に入るように、各撮像部の撮像条件を設定することが記載されている。

特開２０１２−４４５４０号公報

しかしながら、特許文献１に記載の技術では、被写体が複数の場合、各撮像部が別々の被写体上にフォーカス位置を算出し、それら全てのフォーカス位置が被写界深度内に入るように、各撮像部について大きなＦ値が設定されてしまう。Ｆ値が大きい場合、露出を適正にするためにＩＳＯ感度を大きくするか、シャッタースピードを遅くする必要がある。しかし、ＩＳＯ感度を大きくすればノイズが増加してしまい、シャッタースピードを遅くすれば被写体ぶれが発生してしまうという課題があった。

そこで本発明では、複数の撮像装置が複数の被写体を異なる方向から撮像する場合に、Ｆ値が小さな状態でも全ての被写体にフォーカスして撮像するための技術を提供することを目的とする。

上記課題を解決するために、本発明の情報処理装置は、複数の被写体が存在するシーンを複数の異なる視点位置から撮像する複数の撮像部の、フォーカス位置を示す情報を含むフォーカスパラメータを決定する情報処理装置であって、前記フォーカスパラメータを用いた撮像におけるＦ値よりも大きなＦ値で前記複数の撮像部により撮像された複数の画像に基づいて導出された、前記複数の被写体の形状と位置とを示す形状情報を取得する取得手段と、前記取得手段によって取得された前記形状情報に基づいて、前記複数の撮像部を、それぞれが前記複数の被写体のうちの少なくとも１つに対応する複数の組に分ける組分け手段と、前記取得手段によって取得された前記形状情報と、前記組分け手段による組分けとに基づいて、前記複数の撮像部がそれぞれ対応する被写体にフォーカスするように、前記フォーカスパラメータを決定する決定手段とを有することを特徴とする。

複数の撮像装置が複数の被写体を異なる方向から撮像する場合に、Ｆ値が小さな状態でも全ての被写体にフォーカスして撮像することができる。

撮像システムの構成例を示す図。 実施例１の情報処理装置の構成を示す図。 実施例１の情報処理装置の機能構成を示す図。 実施例１の情報処理装置で行われる処理の流れを示すフローチャート。 被写界深度と被写体奥行きの関係を説明する図。 実施例１の組分け処理を説明する図。 実施例１のパラメータ決定処理を説明する図。 実施例２の組分け処理の流れを示すフローチャート。 撮像部の各被写体に対するビジビリティの例を示す図。 実施例２の組分け処理を説明する図。 実施例３の情報処理装置の機能構成を示す図。 実施例３の情報処理装置で行われる処理の流れを示すフローチャート。

＜実施例１＞
本実施例では、複数の撮像部を利用して、複数の被写体を含むシーンを異なる方向から撮影する場合に、撮像部を複数の組に分割し、組ごとに異なる被写体にフォーカスを合わせて撮影する例について説明する。これにより、全ての被写体にフォーカスを合わせた状態で撮像を行うことができる。なお、本実施例で用いられる撮像部の数は、撮像対象の被写体の数に比べると十分に多いものとする。

以下、本実施例の撮像システムの構成について説明する。図１は、本実施例の撮像システム構成例を示す図である。本実施例の撮像システムは８つの撮像部１０１〜１０８と情報処理装置１０９とを含み、撮像部１０１〜１０８は、２つの被写体を取り囲むようにそれぞれ異なる視点位置に配置されている。撮像部１０１〜１０８は、被写体の光情報をセンサで受光し、Ａ／Ｄ変換を施すことによって撮像した画像のデジタルデータ（撮像画像データ）を取得する。情報処理装置１０９は、撮像部１０１〜１０８の撮像条件を算出し、算出した撮像条件に応じて撮像部１０１〜１０８を制御する。尚、本実施例では、８つの撮像部１０１〜１０８を用いる場合を例として説明を行うが、撮像部の数はこれに限られず、任意の数の撮像部を用いることができる。

次に、情報処理装置１０９の構成について説明する。図２は、情報処理装置１０９の内部構成を示すブロック図である。情報処理装置１０９は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ＨＤＤ Ｉ／Ｆ２０４、ＨＤＤ２０５、入力Ｉ／Ｆ２０６、出力Ｉ／Ｆ２０７、システムバス２０８とを有している。

ＣＰＵ２０１は情報処理装置１０９の各構成部を制御するプロセッサであり、ＲＡＭ２０２とＲＯＭ２０３は、それぞれ情報処理装置１０９で扱われる種々のデータを記憶するメモリである。ＣＰＵ２０１は、ＲＡＭ２０２をワークメモリとして、ＲＯＭ２０３に格納されたプログラムを実行し、システムバス２０８を介して情報処理装置１０９の各構成部を統括的に制御する。これにより、後述する様々な処理が実行される。

ＨＤＤＩ／Ｆ２０４は、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスであり、二次記憶装置としてのＨＤＤ２０５を接続する。ＣＰＵ２０１は、ＨＤＤＩ／Ｆ２０４を介したＨＤＤ２０５からのデータ読み出し及びＨＤＤ２０５へのデータ書き込みが可能である。さらにＣＰＵ２０１は、ＨＤＤ２０５に格納されたデータをＲＡＭ２０２に展開し、同様に、ＲＡＭ２０２に展開されたデータをＨＤＤ２０５に保存することが可能である。そしてＣＰＵ２０１は、ＲＡＭ２０２に展開したデータをプログラムとみなし、実行することができる。なお、二次記憶装置はＨＤＤの他、光ディスクドライブ等の記憶デバイスでもよい。

入力Ｉ／Ｆ２０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。ＣＰＵ２０１は、入力Ｉ／Ｆ２０６を介して、撮像部１０１〜１０８、操作部２０９（例えば、マウスやキーボード）、外部メモリ２１１（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）などからデータを取得する。どのようなデータを取得するかについては後述する。

出力Ｉ／Ｆ２０７は、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力インタフェイスである。ＣＰＵ２０１は、出力Ｉ／Ｆ２０７を介して、表示部２１０（ディスプレイなどの各種出力デバイス）に、撮像部１０１〜１０８の撮像画像や、撮像画像に対し何らかの処理を行い合成した画像を表示することができる。なお、タッチパネル式のディスプレイが操作部２０９と表示部２１０を兼ねてもよい。なお、情報処理装置１０９の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。

次に、本実施例の情報処理装置１０９における撮像部１０１〜１０８のフォーカス位置決定処理の流れについて、図３に示すブロック図と、図４に示すフローチャートを参照して説明する。本実施例の情報処理装置１０９は、ＣＰＵ２０１がＲＯＭ２０３に格納された、図４のフローチャートに示すプログラムを実行し、図３に示す機能構成部としての役割を果たすことでフォーカス位置の決定処理を行う。なお、全ての処理をＣＰＵ２０１が行わずともよく、一部又は全部の処理を、同様の機能を有する処理回路などで置き換えてもよい。また、以下の処理に先立ちユーザによって撮像部１０１〜１０８についてそれぞれＦ値とシャッタースピードが設定済みで、ＲＯＭ２０３に記憶してあるものとする。なお、ここで、各撮像部のＦ値は各撮像部で設定可能な最小値（開放値）に設定してある。

まず、ステップＳ４０１では、位置取得部３０１において、被写体形状測定時の撮像部１０１〜１０８の三次元位置、及び姿勢（撮像部の前方を表す三次元ベクトルと、撮像部の上方を表す三次元ベクトル）を示す情報を取得する。撮像部の三次元位置、及び姿勢は、入力Ｉ／Ｆ２０６を介して撮像部１０１〜１０８や外部メモリ２１１から取得する。または、操作部２０９を介してユーザに入力された値を取得するようにしてもよい。なお、外部から入力された値を撮像部の位置姿勢を示す情報として取得する代わりに、撮像部が取得した撮像画像データからｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎなどの既存手法により、撮像部の位置姿勢を示す情報を算出するようにしても構わない。位置取得部３０１は、ここで取得した各撮像部の位置姿勢を示す情報を、比較部３０３とパラメータ決定部３０５に出力してステップＳ４０２に進む。

ステップＳ４０２では、形状取得部３０２において、撮像する複数の被写体のおおまかな位置と形状とを示す形状情報を取得する。形状情報は、被写体と撮像部１０１〜１０８との三次元的な相対位置を示す情報と各被写体の空間的な広がりを示す情報とを含み、例えば三次元空間にプロットされた複数の点群の座標で表わされる。被写体の形状情報は、予め何らかの方法で測定しＲＡＭ２０２やＲＯＭ２０３に記憶してあるものとする。なお、被写体の形状情報の測定にはどのような方法を用いてもよく、３次元デジタイザ（３Ｄスキャナ）など不図示の外部センサを利用して測定してもよいし、撮像部１０１〜１０８のプレビューとして得られる多視点画像を利用して形状を推定してもよい。多視点画像から被写体の形状を推定する方法としては、例えば、多視点画像間の画素の位置ずれに基づいて距離を測定する既存手法であるＭｕｌｔｉ Ｖｉｅｗ Ｓｔｅｒｅｏを利用することができる。被写体の形状情報の取得方法については、本発明の主眼ではないため詳細な説明は省略する。いずれの方法で被写体の形状を取得するにしても、撮影前のプレビューの段階において逐次被写体の形状を取得し、ＲＯＭ２０３を更新することが望ましい。なお、プレビューで得られた多視点画像から形状推定を行う場合には、各撮像部のＦ値を大きくして被写界深度を深くした状態で撮像された画像を用いると、各被写体の大まかな形状情報を容易に得ることができる。形状取得部３０２は、取得した形状情報を比較部３０３に出力し、ステップＳ４０３に進む。

続いてステップＳ４０３では、比較部３０３が、各撮像部の被写界深度を取得する。ここでは、撮像前にあらかじめ設定されたＦ値と撮像部から被写体までの距離とから被写界深度を算出する方法を示す。まず、ＲＯＭ２０３から撮像部１０１〜１０８のＦ値をそれぞれ取得する。また、形状取得部３０２から入力された形状情報に基づいて、各撮像部から被写体までの距離である被写体距離を取得する。ここでは、各撮像部から全被写体の形状の重心位置までの距離を被写体距離とする。ｎ番目の撮像部における被写界深度ＤｎはＦ値をＦｎ、被写体距離をｄｎとすると下記式で算出することができる。

ここで、εは許容錯乱円の直径、ｆｎはレンズの焦点距離を表している。許容錯乱円の直径εは、どのくらいまでの大きさのボケを許容するかを示す値である。許容錯乱円の直径は撮像部のセンササイズ、センサ上の画素ピッチなどによって変わる値だが、例えばＡＰＳ−Ｃサイズのセンサの場合、一般に０．０１９ｍｍという値を用いられる。尚、被写界深度を算出するには上記以外のどのような方法を用いてもよい。また、上記のように処理の度に算出するのではなく、予め算出した値をテーブルとしてＲＯＭ２０３に記憶しておき、それを参照することで被写体深度を取得するようにしてもよい。比較部３０３は、上記いずれかの方法によって、撮像部１０１〜１０８の全てについて被写界深度Ｄｎを取得する。

続いて、ステップＳ４０４では、比較部３０３が、ステップＳ４０３で取得した被写界深度と、形状取得部３０２から入力された形状情報とを比較し、撮像部１０１〜１０８が一度の撮影で全ての被写体を被写界深度内に収めることができるかを判断する。被写体の形状情報を利用して各撮像部の光軸上での被写体の奥行きを算出し、ステップＳ４０３で取得した被写界深度と比較する。ここで、光軸上での被写体の奥行きとは、撮像部の光軸上において被写体のうちの最も手前にある被写体の最も手前にある点から、最も奥にある被写体の最も奥にある点までの距離である。被写界深度の方が大きい場合は全ての被写体が被写界深度内に収まり、他方、被写界深度の方が小さい場合は被写界深度に収まらないと判断される。ここで、撮像部の光軸は撮像部の三次元位置を始点として、撮像部の前方を表す三次元ベクトルと平行な方向を持つ線分である。

図５に処理の概念図を示す。尚、図５は図示の都合上２次元で被写体や撮像部、被写体深度を記載するが、実際にはこれらは３次元で表現され、以下の説明は３次元に単純に拡張が可能である。図５（ａ）は、撮像部５０１で２つの被写体を撮影する場合を示している。線分５０２は撮像部５０１の光軸を表しており、範囲５０３が光軸上の被写体の奥行きを表わしている。また、グレーで色づけした領域５０５は、撮像部５０１の被写界深度内に含まれるフォーカス領域を表している。この領域外にある被写体は、フォーカス範囲外になってしまうため、撮影画像中ではぼけてしまう。従って、この場合は一度の撮影では全ての被写体を被写界深度内に収めることはできない。一方、図５（ｂ）は撮像部５０１とは位置が異なる撮像部５０６を用いた場合を示す図である。図５（ｂ）では、光軸上の被写体奥行き５０８よりもフォーカス領域５０９の方が大きいため、一度の撮影で全ての被写体を被写界深度内に収めることができる。ここでは、比較部３０３が、全ての撮像部について上述の比較を行い、各撮像部について、被写界深度内に収めることができない被写体が存在するかどうかを判定する。撮像部１０１〜１０８のうち、一度に被写体全体を被写界深度内に収めることができない撮像部がある場合はステップＳ４０５へ進む。他方、全ての撮像部において、被写体全体を被写界深度内に収めて撮像することができる場合にはステップＳ４０６へ進む。

続いて、ステップＳ４０５では、組分け部３０４が、一度に全ての被写体を被写界深度に収めることができない撮像部が存在する場合に、撮像部１０１〜１０８を、それぞれが少なくとも一つの被写体に対応する複数の組に分ける。なお、組分け部３０４で行われる処理の詳細については後述する。組分け部３０４は、ここで行われた組分けの結果をパラメータ決定部３０５に出力し、ステップＳ４０６に進む。

最後に、ステップＳ４０６では、パラメータ決定部３０５が、組分け部３０４から入力された組分けの結果と、各撮像部と各被写体との位置関係に基づいて、撮像部１０１〜１０８のそれぞれについて、フォーカス距離を示すフォーカスパラメータを決定する。ここでは、同一組に割り振られた撮像部は同一の被写体にフォーカスを合わせ、グループごとに異なる被写体にフォーカスを合わせるように、フォーカスパラメータを決定する。なお、ここで、フォーカスパラメータは、各撮像部のフォーカス距離でもよいし、各撮像部のレンズ―センサ間距離などでもよい。なお、パラメータ決定部３０５で行われる処理の詳細は後述する。パラメータ決定部３０５は、ここで決定されたフォーカスパラメータを撮像部１０１〜１０８に出力し、処理を終了する。以下、ステップＳ４０５の組分け処理とステップＳ４０６のパラメータ決定処理の詳細について説明する。

＜組分け処理＞
まず、前述のステップＳ４０５の組分け処理の詳細について説明する。なお、本処理は、一度に全ての被写体を被写界深度に収めることができない撮像部が存在する場合に実施する。

本実施例の組分け処理では、撮像部１０１〜１０８を被写体の数と等しい数の組に分ける。例えば、被写体が２つ存在する場合は、撮像部１０１〜１０８を１つ目の被写体に対応する第１の組と、２つ目の被写体に対応する第２の組へと分割する。各撮像部の組分け方法としては任意の方法を用いることが可能である。例えば、本実施例では、図６（ａ）に示すように、隣り合う各撮像部を交互に異なる組に割り振る。図６（ａ）の例では、被写体１に対応する第１の組には撮像部１０１、１０３、１０５、１０７の４つの撮像部が、被写体２に対応する第２の組には撮像部１０２、１０４、１０６、１０８の４つの撮像部が割り振られている。

被写体が３つの場合は、図６（ｂ）に示すように、被写体１に対応する第１の組には撮像部１０１、１０４、１０７が、被写体２に対応する第２の組には撮像部１０２、１０５、１０８が、被写体３に対応する第３の組には撮像部１０３、１０６が割り振られる。このように、上記の例では各撮像部を順番に各組へ割り振った。このような組分けの仕方であれば、各被写体に対して均等に撮像部を割り振ることができる。なお、ここで用いることができる組分け方法は上記の物に限られず、ランダムに割り振りを行ってもよいし、他の規則に従って割り振りを行ってもよい。また、各組には均等な数の撮像部を割り当てる例を示したが、各グループの撮像部の数は必ずしも均等である必要はない。さらに、組分けは撮像ごとに固定である必要はなく、撮影の度に新たに設定し直したり、時刻に応じて組分けを変更するようにしてもよい。

＜パラメータ決定処理＞
次に、前述のステップＳ４０６の、フォーカスパラメータ決定処理の詳細について説明する。本処理では、各組に対応する被写体にフォーカスが合うように、各組に属する撮像部のフォーカス距離を設定する。

図７（ａ）に示すように、パラメータ決定部３０５は、被写体１に対応する第１の組に属する撮像部１０１、１０３、１０５、１０７について、被写体１にフォーカスが合うようにフォーカス距離を決定する。このとき、パラメータ決定部３０５は、被写体の形状情報から被写体１の重心位置７０１を求め、各撮像部から重心位置までの距離７０２、７０３、７０４、７０５を算出し、対応する各撮像部のフォーカス距離とする。

同様に、図７（ｂ）に示すように、パラメータ決定部３０５は、被写体２に対応する第２の組に属する撮像部１０２、１０４、１０６、１０８について、被写体２にフォーカスが合うようにフォーカス距離を決定する。なお、ステップＳ４０４において、一度の撮影で全ての被写体を被写界深度内に収めることができると判断された場合には、組数が１であるとして扱い、全ての被写体の重心位置と各撮像部との距離を、各撮像部のフォーカス距離とする。

パラメータ決定部３０５は、ここで設定されたフォーカス距離に基づいて、各撮像部に出力するためのフォーカスパラメータを決定する。フォーカスパラメータとしては、フォーカス距離そのものを出力するようにしてもよいし、フォーカス距離を示す情報であれば、各撮像部のレンズ―センサ間距離などをフォーカスパラメータとして出力するようにしてもよい。出力するフォーカスパラメータの種類は、出力先の撮像部の構成に応じて決定すればよい。例えば、出力先の撮像部が、入力されたフォーカス距離に応じて光学系の制御信号を生成する機能を有している場合には、フォーカスパラメータとしてフォーカス距離そのものを出力すればよい。

以上が本実施例の撮像システムで行われる処理である。上記の処理によれば、複数の撮像部が複数の被写体を異なる方向から撮像する場合に、Ｆ値が小さな状態でも全ての被写体にフォーカスして撮像することができる。なお、上記では撮像する被写体が複数存在する場合について説明を行ったが、本発明は、被写体のサイズが大きく一度の撮影では被写界深度内に収まらない場合にも適用が可能である。その場合、一つの被写体を各撮像部の被写界深度に収まるサイズの複数のパーツへ分けることで上記の方法を適用することが可能である。また、被写界深度に入らない大きなサイズの被写体と複数の被写体とが存在する場合についても同様に適用が可能である。

なお、本実施例において、形状取得部３０２は、フォーカスパラメータを用いた撮像におけるＦ値よりも大きなＦ値で撮像された複数の画像に基づいて導出された、複数の被写体の形状と撮像部との位置関係を示す形状情報を取得する取得手段として機能する。また、組分け部３０４は、前記取得手段によって取得された前記形状情報に基づいて、前記複数の撮像部を、それぞれが前記複数の被写体のうちの少なくとも１つに対応する複数の組に分ける組分け手段として機能する。また、パラメータ決定部３０５は、取得手段によって取得された形状情報と、組分け手段による組分けとに基づいて、複数の撮像部がそれぞれ対応する被写体にフォーカスするように、フォーカスパラメータを決定する決定手段として機能する。

＜実施例２＞
実施例１では、予め決められたパターンを用いて撮像部を各被写体へ割り振ることで組分け処理を行う例を示した。本実施例では、撮像部の組分けの際に、各撮像部から被写体が見えているかどうかを考慮して、各被写体へ割り振る撮像部を決定する。これによって、撮像部から見えていない被写体に対してその撮像部を割り振ってしまい、結果として撮影が無駄になってしまうことを防ぐことができる。

本実施例の情報処理装置１０９の構成は、実施例１と同様である。ただし、組分け部３０４で行われる処理が実施例１とは異なる。以下では、本実施例の組分け部３０４で行われる処理について説明し、実施例１と同様の動作をする他の要素に関する説明は省略する。

図８に、本実施例における組分け処理のフローチャートを示す。まず、ステップＳ８０１において、組分け部３０４は、各撮像部について各被写体に関するビジビリティ情報を算出する。ここで、ビジビリティ情報とは、各撮像部から各被写体がどれぐらい見えているかの度合いを示す情報である。

ビジビリティ情報は、位置取得部３０１で取得した各撮像部の位置・姿勢と、形状取得部３０２で取得した被写体の形状情報から算出することができる。例えば、撮像部１０１からの被写体１のビジビリティを算出する場合、撮像部１０１から被写体１の間に遮る物体がないかどうかを調べればよい。被写体１上の様々な点について撮像部１０１との間に遮る物体がないことが確認できた場合、撮像部１０１から被写体１は「見える」と判定することができる。逆に、被写体１上の複数の点について撮像部１０１との間に遮る物体が所定の閾値以上の割合で存在する場合、撮像部１０１から被写体１は「見えない」と判定することができる。なお、被写体が見えるか見えないかを判定するための閾値としては任意の値を用いることができるが、本実施例では５０％という値を用いる。なお、ビジビリティは、各被写体の像を各撮像部の撮像センサに、各撮像部に近い被写体が優先されるように射影した時に、本来撮像センサに射影されるはずの像の何％が他の被写体の像に置き換わっているかを算出することで計算することができる。

その他のビジビリティ情報の算出方法として、ビジビリティ情報を算出する被写体、撮像部、その他の被写体を結んで成す角度が所定の値より大きい場合は「見える」と判定し、逆に所定の値より小さい場合は「見えない」と判定する方法もある。上述の２方法以外にもあらゆる方法でビジビリティを算出することができる。

前述の図６（ａ）の状況におけるビジビリティを図９に示す。ここでは、各撮像部から被写体が見える場合を○、被写体が見えない場合を×で表わしている。例えば、撮像部１０１は被写体１、被写体２ともに○であり、撮像部１からはどちらの被写体も見えることを表している。また、撮像部１０２からは、被写体１は見えないが、被写体２は見えることを表す。組分け部３０４は、各撮像部の各被写体に対するビジビリティを算出し、各撮像部から各被写体が見えるか見えないかの判定を行ったら、ステップＳ８０２に進む。

ステップＳ８０２では、組分け部３０４が、各撮像部を、各撮像部から見えている被写体に基づいて組分けする。各被写体への撮像部の割り振りは、ビジビリティ情報のうち○の数が少ない撮像部から行われる。まず、ビジビリティ情報に○が１つしかない撮像部、つまり１つの被写体しか見えていない撮像部は、○がついた被写体へ割り振られる。次にビジビリティ情報に○が２つある撮像部は、○がついた２つの被写体のうちのいずれかの被写体へ割り振られる。この時、２つの被写体のうちどちらに割り振るかはランダムに決定される。続いて○が３つある撮像部は、○がついた３つの被写体から、ランダムにひとつの被写体が選択され、その被写体に割り振られる。以降、○の数を増やしていき、全ての撮像部について、いずれかの被写体への割り振りが行われる。上記では、各撮像部をランダムにひとつの被写体へ割り振ると説明したが、各被写体に割り振る撮像部の数が均一になるように撮像部を割り振るようにしてもよい。

図１０に図６（ａ）の状況において、ビジビリティに基づく撮像部の組分けが行われた結果の例を示す。図１０（ａ）において、被写体１が見えている撮像部のうち、撮像部１０１、撮像部１０４、撮像部１０６、撮像部１０７が被写体１に対応する第１の組として割り振られた。また、図１０（ｂ）において、被写体２が見えている撮像部のうち、撮像部１０２、撮像部１０３、撮像部１０５、撮像部１０８が被写体２に対応する第２の組として割り振られた。

以上が本実施例の各撮像部の組分け処理である。以上の処理によれば、見えない被写体に撮像部が割り振られてしまい、撮影の結果が無駄になってしまうことを防ぐことができる。その結果、全ての被写界深度を被写界深度内に収めた良好な多視点画像を撮像することができるようになる。

＜実施例３＞
本実施例では、情報処理装置１０９で決定されたフォーカスパラメータを用いて撮像された画像データに基づいて、被写体の形状情報を精度よく算出する例について説明する。実施例１および２との共通点については説明を省略し、差異点についてのみ述べる。本実施例の情報処理装置１０９の構成は、図１１に示すように、実施例１および２の構成に形状推定部１１０１を加えたものである。以下、本実施例の情報処理装置１０９で行われる処理について、図１２に示すフローチャートを参照して説明する。

ステップＳ４０１〜Ｓ４０６の処理が終了すると、形状推定部１１０１は、ステップＳ４０６で決定されたフォーカスパラメータを用いて撮像部１０１〜１０８により新たに撮像された撮像画像データを取得する（ステップＳ１２０１）。次に、形状推定部１１０１は、ステップＳ１２０１で取得した撮像画像データに基づいて、各被写体のより詳細な形状情報を推定する。各被写体の形状情報の推定には、実施例１で述べたものと同様に、Ｍｕｌｔｉｖｉｅｗ Ｓｔｅｒｅｏなどの公知の手法を用いることができる。この時、各被写体の距離情報を取得するために用いる画像データは、対応する撮像部により撮像された画像データが用いられる。対応する撮像部により撮像された画像データは、対応する被写体にフォーカスが合った、ノイズの少ない画像データであるため、被写体の形状情報を高精度に求めることができる。なお、この時、各被写体に対応する撮像部が分かるように、各撮像部は、各撮像画像データに対応する被写体を示すメタデータを付加して出力するようにしてもよい。

また、被写体の形状情報の推定精度をより向上させるために、各撮像部の組分けの際に、隣接する少なくとも２つの撮像部を１つの小グループとし、各撮像部の組を複数の小グループの集合で構成するようにしてもよい。このように組分けを行うことによって、被写体の同じ面を撮像する撮像部が少なくとも２つ確保されるようになるので、各被写体の形状情報を精度よく求めることができる可能性が上昇する。同様の効果を得るためには、各撮像部を、少なくとも２つ以上の光学系を有する複眼カメラに置き換えてもよい。

＜その他の実施形態＞
本発明の実施形態は上記に挙げたものに限られずその他の様々な形態をとることができる。例えば、上記の実施例では、組分け部３０４が、各撮像部がそれぞれ一つの被写体に対応するように撮像部の組分けを行ったが、複数の被写体が被写界深度内に含まれる場合には、各撮像部がそれぞれ複数の被写体に対応するように組分けを行うようにしてもよい。
また、上記の実施例では、比較部３０３が、Ｆ値が各撮像部の開放値である場合に、各被写体の奥行きと各撮像部の被写界深度を比較したが、Ｆ値は開放値に限られず、所定の閾値を超えない範囲でＦ値を変化させながら比較を行うようにしてもよい。被写体の形状に応じて撮像に用いるＦ値を変更させる場合は、パラメータ決定部３０５は、Ｆ値など、撮像に用いる被写界深度を示す情報をフォーカスパラメータに追加して撮像部１０１〜１０８に追加するようにすればよい。

実施例２では、各撮像部を、ビジビリティが閾値を超えている被写体にランダムで振り分ける例について説明したが、ビジビリティが閾値を超えている被写体が複数存在する場合に、よりビジビリティが大きい被写体を優先的に割り当てるようにしてもよい。
また、上記の実施例では、被写体を囲むように撮像部を配置した撮像システムについて説明したが、撮像部の配置例はこれに限られず、各撮像部がある一つの平面上に並べて配置された多眼カメラなどにも適用することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１〜１０８ 撮像部
１０９ 情報処理装置
２０１ ＣＰＵ
２０２ ＲＡＭ
２０３ ＲＯＭ
３０１ 位置取得部
３０２ 形状取得部
３０３ 比較部
３０４ 組分け部
３０５ パラメータ決定部

Claims (11)

1. 複数の被写体が存在するシーンを複数の異なる視点位置から撮像する複数の撮像部の、フォーカス位置を示す情報を含むフォーカスパラメータを決定する情報処理装置であって、
   前記フォーカスパラメータを用いた撮像におけるＦ値よりも大きなＦ値で前記複数の撮像部により撮像された複数の画像に基づいて導出された、前記複数の被写体の形状と位置とを示す形状情報を取得する取得手段と、
   前記取得手段によって取得された前記形状情報に基づいて、前記複数の撮像部を、それぞれが前記複数の被写体のうちの少なくとも１つに対応する複数の組に分ける組分け手段と、
   前記取得手段によって取得された前記形状情報と、前記組分け手段による組分けとに基づいて、前記複数の撮像部がそれぞれ対応する被写体にフォーカスするように、前記フォーカスパラメータを決定する決定手段とを有することを特徴とする情報処理装置。
2. 前記決定手段により決定された前記フォーカスパラメータに基づいて前記複数の撮像部によって撮像された複数の画像を取得し、該取得した複数の画像に基づいて、前記複数の被写体の形状を推定する推定手段を更に備えることを特徴とする請求項１に記載の情報処理装置。
3. 前記組分け手段は、前記形状情報に基づいて、前記複数の撮像部のそれぞれについて各被写体の見え度合いを示すビジビリティを算出し、該算出したビジビリティに基づいて前記組分けを行うことを特徴とする請求項１に記載の情報処理装置。
4. 前記形状情報と、前記複数の撮像部の被写界深度を示す情報とに基づいて、前記組分けを行うか否かを判定する判定手段を更に有することを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
5. 前記フォーカス位置を示す情報は、前記複数の撮像部のレンズと撮像センサの位置関係を示す情報であることを特徴とする請求項１乃至４のいずれか一項に記載の情報処理装置。
6. 前記フォーカスパラメータは、前記複数の撮像部の被写界深度を示す情報を更に含むことを特徴とする請求項５に記載の情報処理装置。
7. 前記複数の撮像部の被写界深度を示す情報は、前記複数の撮像部のＦ値を示す情報であることを特徴とする請求項６に記載の情報処理装置。
8. 複数の被写体が存在するシーンを複数の異なる視点位置から撮像する複数の撮像部と、
   前記複数の撮像部により撮像された複数の画像に基づいて導出された、前記複数の被写体の形状および前記複数の撮像部との位置関係を示す形状情報を取得する取得手段と、
   前記取得手段により取得された前記形状情報に基づいて、前記複数の撮像部を、それぞれが前記複数の被写体のうちの少なくとも１つに対応する複数の組に分ける組分け手段と、
   前記取得手段により取得された前記形状情報と、前記組分け手段による組分けとに基づいて、前記複数の撮像部がそれぞれ対応する被写体にフォーカスするように、かつ、前記複数の画像の撮像に用いたＦ値よりも小さなＦ値となるように、前記複数の撮像部を制御する制御手段とを有することを特徴とする撮像装置。
9. 複数の被写体が存在するシーンを複数の異なる視点位置から撮像する複数の撮像部と、前記複数の撮像部の、フォーカス位置を示す情報を含むフォーカスパラメータを決定する情報処理装置とを含む撮像システムであって、
   前記フォーカスパラメータを用いた撮像におけるＦ値よりも大きなＦ値で前記複数の撮像部により撮像された複数の画像に基づいて導出された、前記複数の被写体の形状と前記複数の撮像部との位置関係を示す形状情報を取得する取得手段と、
   前記取得手段によって取得された前記形状情報に基づいて、前記複数の撮像部を、それぞれが前記複数の被写体のうちの少なくとも１つに対応する複数の組に分ける組分け手段と、
   前記取得手段によって取得された前記形状情報と、前記組分け手段による組分けとに基づいて、前記複数の撮像部がそれぞれ対応する被写体にフォーカスするように、前記フォーカスパラメータを決定する決定手段と、
   前記決定手段により決定された前記フォーカスパラメータに基づいて、それぞれが対応する被写体にフォーカスするように前記複数の撮像部を制御する制御手段を有することを特徴とする撮像システム。
10. 複数の被写体が存在するシーンを複数の異なる視点位置から撮像する複数の撮像部の、フォーカス位置を示す情報を含むフォーカスパラメータを決定する情報処理方法であって、
    前記フォーカスパラメータを用いた撮像におけるＦ値よりも大きなＦ値で前記複数の撮像部により撮像された複数の画像に基づいて導出された、前記複数の被写体の形状と前記複数の撮像部との位置関係を示す形状情報を取得する取得ステップと、
    前記取得ステップで取得された前記形状情報に基づいて、前記複数の撮像部を、それぞれが前記複数の被写体のうちの少なくとも１つに対応する複数の組に分ける組分けステップと、
    前記取得ステップで取得された前記形状情報と、前記組分けステップでの組分けとに基づいて、前記複数の撮像部がそれぞれ対応する被写体にフォーカスするように、前記フォーカスパラメータを決定する決定ステップとを含むことを特徴とする情報処理方法。
11. コンピュータを請求項１乃至７のいずれか一項に記載の情報処理装置の各手段として機能させるプログラム。

Images