JP2018074502A - 撮像装置、情報処理装置、撮像システム、撮像方法、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】ライン毎に異なるタイミングで露光を行う撮像素子を用いて複数の視点から撮像された画像に基づく被写体の形状推定において、当該被写体が動いている場合の精度の低下を好適に抑制する。【解決手段】本発明の一実施形態に係る撮像装置は、ライン毎に異なるタイミングで露光を行う撮像素子により構成され、被写体を複数の視点から撮像して複数の画像データを生成する複数の撮像手段と、複数の撮像手段により生成された複数の画像データから、被写体の形状を推定して被写体の形状データを生成する形状推定手段とを有する。複数の撮像手段は、略同一領域に光軸を向けた略環状に配置され、被写体を略同一のタイミングで露光するように配置される。【選択図】図７

Description

本発明は、複数の視点から撮像した画像を用いて被写体の形状を推定する技術に関する。

近年、デジタルカメラやビデオカメラの撮像素子として、ＣＭＯＳイメージセンサが広く用いられている。ＣＭＯＳイメージセンサは、従来、撮像素子として用いられる事の多かったＣＣＤイメージセンサに対して、低消費電力、低コストなどといった優れた特徴を有する。

しかしながら、ＣＭＯＳイメージセンサでは画素値の読み出しをもって露光が完了するため、画素毎の露光のタイミングに時間差がある。一般的なＣＭＯＳイメージセンサは、ライン毎に画素値を同時に読み出す機構を持ち、時間の経過と共に読み出しラインを走査することで被写体全体の画像を取得する（ローリングシャッター方式）。そのため、撮像中に被写体が移動すると、取得される被写体の画像が歪んでしまう。この歪みを、ローリングシャッター歪みと呼ぶ。

このようなライン毎に異なるタイミングで露光を行うイメージセンサは、通常のデジタルカメラやビデオカメラだけでなく、複数の撮像部を用いて被写体を複数の視点から撮像する多視点撮像装置にも用いられる。多視点撮像装置によって複数の視点から撮像された複数の画像は、被写体形状の推定（非特許文献２参照）や、その結果に基づく仮想視点画像の合成（非特許文献１参照）などに用いられる。このとき、各視点の画像にローリングシャッター歪みが含まれていると、形状推定精度が低下し、その結果合成画像の画質も劣化してしまう。

ローリングシャッター歪みを補正する技術が、特許文献１に開示されている。特許文献１では、単一の撮像部によって連続して複数の画像を撮像し、ブロックマッチングによって画像上の動いている被写体の各領域の動きベクトルを求める。そして、画像上の座標に対応する露光タイミングを加味して、各領域を移動・変形することでローリングシャッター歪みを補正している。

特開第２００７−１４２９２９号公報

Oliver Grau et al., "A Robust Free-Viewpoint Video System for Sport Scenes," Proceeding of 3DTV conference 2007, Y. Furukawa et al., "Accurate,Dense,and Robust Multi-View Stereopsis," CVPR 2007

しかしながら、特許文献１に記載の技術では、ライン毎に異なるタイミングで露光を行う撮像素子を用いて複数の視点から撮像された画像に基づく被写体の形状推定において、当該被写体が動いている場合の精度の低下を好適に抑制することができなかった。

本発明の一実施形係る撮像装置は、ライン毎に異なるタイミングで露光を行う撮像素子により構成され、被写体を複数の視点から撮像して複数の画像データを生成する複数の撮像手段と、前記複数の撮像手段により生成された前記複数の画像データから、前記被写体の形状を推定して前記被写体の形状データを生成する形状推定手段とを有する撮像装置であって、前記複数の撮像手段は、略同一領域に光軸を向けた略環状に配置され、前記複数の撮像手段のうち、基準となる撮像手段と略対向する撮像手段の組は、前記被写体が存在する概略平面に対して垂直方向に、前記光軸を中心として上部方向が互いに略逆方向を向くように配置され、前記基準となる撮像手段と前記略対向する撮像手段とを結ぶ線と直交する方向で略対向する撮像手段の組は、前記光軸を中心として前記上部方向が互いに略同一方向を向くように回転して配置され、前記複数の撮像手段によって前記被写体を略同一のタイミングで露光することを特徴とする。

本発明によれば、ライン毎に異なるタイミングで露光を行う撮像素子を用いて複数の視点から撮像された画像に基づく被写体の形状推定において、当該被写体が動いている場合の精度の低下を好適に抑制することが可能となる。

実施形態１に係る多視点撮像装置の一例を表す模式図である。 実施形態１に係る多視点撮像装置の構成例を表すブロック図である。 実施形態１に係る多視点撮像装置による処理の流れを表す図である。 ローリングシャッター方式の露光を説明する図である。 形状推定の原理とローリングシャッター方式の撮像によって生じる精度の低下を説明する図である。 実施形態１における形状推定精度の低下を抑制する原理を説明する図である。 実施形態１における複数の撮像部の配置例を表す図である。 実施形態１における撮像方向決定部の構成例を表すブロック図である。 実施形態１における対応情報の例を表す図である。 実施形態１における対応情報の補正結果の例を表す図である。 実施形態１に係る撮像方向決定部の処理の流れを表す図である。 実施形態２における形状推定精度の低下を抑制する原理を説明する図である。 実施形態２に係る各撮像部における露光タイミングと露光ライン位置の関係を表す図である。 実施形態２に係る多視点撮像装置の構成例を表すブロック図である。 実施形態２に係る多視点撮像装置の処理の流れを表す図である。 実施形態３に係る撮像システムの構成例を表すブロック図である。 実施形態４に係る情報処理装置の構成例を表すブロック図である。 実施形態４に係る情報処理装置の処理の流れを表す図である。

以下に、本発明の実施形態を、図面を参照して詳細に説明する。なお、以下の実施形態は一例に過ぎず、本発明を限定するものではない。また、図面全体を通して、同一の符号は、同一物を表す。

（実施形態１）
＜撮像装置の全体構成＞
図１は、本発明の実施形態１に係る多視点撮像装置の一例を示した模式図である。多視点撮像装置は、複数の撮像部１０１、情報処理部１０２、表示部１０３、及び操作部１０４を有する。

複数の撮像部１０１は、ローリングシャッター方式の撮像素子により構成され、概略平面上の領域に配置された被写体１０５を囲むような複数の視点から、被写体１０５を撮像する。以下の説明では、ライン毎に異なるタイミングで露光を行う撮像素子として、ローリングシャッター方式の撮像素子を用いて説明する。撮像された画像は、各撮像部１０１に接続された情報処理部１０２に記憶される。情報処理部１０２には、表示部１０３及び操作部１０４が接続されており、利用者は表示部１０３と操作部１０４を介して、撮像条件の設定や、撮像により取得した画像データを処理した結果の確認を行うことができる。また、情報処理部１０２は、不図示のＣＰＵ（処理装置）や記憶装置を備え、ＣＰＵが記憶装置に記憶されたプログラムを実行することにより、多視点撮像装置を統括的に制御する。

図２は、本発明の実施形態１に係る多視点撮像装置の構成の一例を示すブロック図である。多視点撮像装置は、撮像位置・方向取得部２０１、走査速度取得部２０２、被写体情報取得部２０３、光学系情報取得部２０４、撮像方向決定部２０５、撮像方向制御部２０６、多視点撮像部２０７、形状推定部２０８、仮想視点画像合成部２０９を有する。

撮像位置・方向取得部２０１は、複数の撮像部１０１のそれぞれの視点の位置と方向を取得する。各撮像部の視点の位置と方向は、例えば、座標とベクトル、オイラー角、四元数、外部パラメータ行列などとすることができ、本実施形態では、後述する式（３）におけるＲ_mやＴ_mなどの外部パラメータ行列として説明する。

走査速度取得部２０２は、複数の撮像部１０１のそれぞれを構成する撮像素子の露光の走査速度を取得する。

被写体情報取得部２０３は、被写体の概形に関する情報（被写体情報）を取得する。被写体の概形に関する情報（被写体情報）とは、被写体を表す概略平面であって、撮影対象の空間が分布する領域の概形（平面）を意味する。詳細は後述する。

光学系情報取得部２０４は、複数の撮像部１０１のそれぞれを構成する光学系の画角に相当する情報（光学系情報）を取得する。

撮像方向決定部２０５は、撮像位置・方向取得部２０１、走査速度取得部２０２、被写体情報取得部２０３、光学系情報取得部２０４が取得した情報に基づき、ローリングシャッター歪みの影響を低減できる複数の撮像部１０１のそれぞれの方向を決定する。撮像部の方向とは、撮像部の光軸方向（２自由度）と、光軸を中心とした回転方向（ロール、１自由度）のいずれか、またはその組合せを意味する。詳細は後述する。

撮像方向制御部２０６は、撮像方向決定部２０５が決定した方向に複数の撮像部１０１のそれぞれが向くよう制御を行う。

多視点撮像部２０７は、複数の撮像部１０１で構成され、被写体を複数の異なる視点から撮像して複数の画像データを生成する。各撮像部１０１は、結像光学系、撮像素子、電動雲台によって構成され、撮像方向制御部２０６からの信号に基づき電動雲台を動かすことで撮像方向を変更し、操作部１０４を介した利用者の指示に基づき撮像を行う。

形状推定部２０８は、多視点撮像部２０７が撮像した複数の画像データと、撮像方向決定部２０５が決定した各撮像部１０１の方向に基づき、被写体の形状を推定して被写体の形状データを生成する。形状データとは、後述する図５に示した推定形状５０８を表すデータである。また、形状データの推定は、非特許文献１に記載されているVisual Hull（ビジュアルハル）に基づく手法や、非特許文献２に記載されているMulti view stereo（マルチビューステレオ）に基づく手法を用いる。

仮想視点画像合成部２０９は、形状推定部２０８が推定した形状データを可視化して、利用者によって指定された仮想視点による合成画像データを生成する。ここで生成される合成画像データは、利用者が指定した視点から見た画像を表す。合成画像データは、表示部１０３を介して利用者に提示される。形状データの可視化とは、形状データを描画（レンダリング）することを意味する。また、合成画像データの生成には、非特許文献１記載のView dependent rendering（視点依存レンダリング）などを用いる。

上述した構成要素２０１〜２０６及び２０８〜２０９は、情報処理部１０２を構成する。すなわち、情報処理部１０２のＣＰＵが記憶装置に記憶されたプログラムを実行することにより実装される。なお、多視点撮像装置の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。

図３は、本発明の実施形態１に係る多視点撮像装置における処理の流れの一例を表す図である。各ステップにおける処理は、多視点撮像装置を構成する各構成要素によって実施される。

ステップＳ３０１では、撮像位置・方向取得部２０１が複数の撮像部１０１のそれぞれの位置と方向を取得する。

ステップＳ３０２では、走査速度取得部２０２が複数の撮像部１０１のそれぞれを構成する撮像素子の露光の走査速度を取得する。

ステップＳ３０３では、被写体情報取得部２０３が被写体の概形に関する情報（被写体情報）を取得する。詳細は後述する。

ステップＳ３０４では、光学系情報取得部２０４が複数の撮像部１０１のそれぞれを構成する光学系の画角に相当する情報（光学系情報）を所得する。

なお、ステップＳ３０１〜Ｓ３０４の順番は一例として示したものであり、必ずしも上述した順番で実施されなくともよい。

次いで、ステップＳ３０５では、撮像方向決定部２０５が、ステップＳ３０１〜Ｓ３０４で取得した情報に基づき、ローリングシャッター歪みの影響を低減できる複数の撮像部１０１のそれぞれの撮像方向を決定する。詳細は後述する。

ステップＳ３０６では、撮像方向制御部２０６が、ステップＳ３０５で決定した撮像方向に複数の撮像部１０１のそれぞれが向くよう制御を行う。

ステップＳ３０７では、多視点撮像部２０７が、被写体を複数の異なる視点から撮像して、複数の画像データを生成する。

ステップＳ３０８では、形状推定部２０８が、ステップＳ３０７で生成された複数の画像データと、ステップＳ３０５で決定した複数の撮像部１０１のそれぞれの撮像方向に基づき、被写体の形状を推定し、被写体の形状データを生成する。

ステップＳ３０９では、仮想視点画像合成部２０９が、ステップＳ３０８で生成した形状データを可視化して、仮想視点における合成画像データを生成し、表示部１０３へ出力する。

＜ローリングシャッター方式における形状推定精度の低下とその抑制方法＞
ローリングシャッター方式の撮像素子では、ライン毎に順次露光を行うため、画像上の位置に応じて露光タイミングが異なる。以下に、図４を参照して、画像上の位置に応じたローリングシャッター方式の撮像素子における露光タイミングについて説明する。

図４（ａ）は、露光タイミングの算出対象の画像を示す。画像上には、時刻算出点ｐがある。撮像素子の設計と露光時の撮像素子の制御情報から、同時露光ラインの法線ベクトルｎ、同時露光ラインの走査速度ベクトルｖ、走査開始位置ｓが既知であるとする。なお、同時露光ラインと走査方向が直交する場合、法泉ベクトルｎと走査速度ベクトルｖは式（１）の関係になる。

時刻算出点ｐが露光された時刻（露光タイミング）をｔとすると、図から明らかなように式（２）の関係が成り立つ。

ここでｐ、ｎ、ｓ、ｖは２次元のベクトルである。

よって、式（２）をｔについて解くことで、時刻算出点ｐの露光タイミングが算出できる。

図４（ｂ）は、露光ライン位置ｐ^tｎと露光タイミングｔの関係の一例を表すグラフである。図示されるように、ローリングシャッター方式の撮像素子では画像上の位置によって、露光タイミングが異なるものとなる。

次に、図５を参照して、Visual Hullに基づく形状推定の原理と、ローリングシャッター方式の撮像によって生じる精度の低下（推定形状の歪み）を説明する。

図５（ａ）、（ｂ）は、画像全体が同一のタイミングで露光される場合（すなわち、ローリングシャッター方式ではない場合）の、形状推定の原理を説明する図である。

図５（ａ）は、撮像時の被写体及び撮像部の配置と、取得される画像の関係を表し、ここでは一例として、２つの撮像部５０１、５０２が、被写体５０５を撮像し、それぞれ画像データ５０３、５０４を取得するものとする。被写体５０５は円盤状の物体であり、図５（ａ）ではこれを上から俯瞰した様子を表している。撮像部５０１は相対的に下方を向いて設置され、撮像部５０２は相対的に上方を向いて設置されており、被写体５０５は撮像部５０１、５０２でそれぞれ５０６、５０７のように写るものとする。

図５（ｂ）は、取得した画像データ５０３、５０４と２つの撮像部５０１、５０２の方向から推定された推定形状５０８を表す。推定形状５０８は、被写体５０５のシルエットである５０６、５０７の空間上での共通領域をとることで得られることを表している。なお、推定形状５０８は、ボクセル、点群、ポリゴン、デプスなどでもよい。

図５（ｃ）、（ｄ）は、ローリングシャッター方式で露光される場合の、形状推定において生じる精度の低下（推定形状の歪み）を説明する図である。

図５（ｃ）は、撮像時の被写体及び撮像部の配置と、取得される画像の関係を表し、ここでは一例として、２つの撮像部５０１、５０２が、移動している被写体５１１、５１２を撮像し、それぞれ画像データ５０９、５１０を取得するものとする。また、被写体５１１と被写体５１２は同一の被写体であり、５１１から５１２に向かって移動しているものとする。したがって、画像データ５０９における５１３のように被写体が画像上部に映る撮像部５０１と、画像データ５１０における５１４のように被写体が画像下部に映る撮像部５０１とで、被写体の露光されるタイミングがずれている。このようにして取得したシルエット５１３、５１４を用いて形状推定を行った場合、図５（ｄ）のように推定形状５１５が歪んでしまう。

このように、ローリングシャッター方式による撮像では、撮像部５０１、５０２の方向の違いにより、移動する被写体の露光タイミングがずれてしまい、推定形状が歪んでしまう。

本発明の実施形態１では、図６に示すように、被写体６０５が画像データ６０３、６０４において６０６、６０７のように概略同一のタイミングで露光される位置に写るよう、撮像部５０１、５０２の方向を調整することで、推定形状の歪みを低減する。すなわち、形状推定における精度の低下を抑制する。

図７に、本発明の実施形態１による複数の撮像部の配置例を示す。この例では、概略平面上の領域７４１上に配置された被写体７４２〜７４４を、略同一のタイミングで露光するように、複数の撮像部７０１〜７１４で撮像する。

図示されるように、複数の撮像部７０１〜７１４は、略同一領域に光軸を向けた略環状に配置され、各撮像部７０１〜７１４は、光軸の方向に応じて上部方向が異なるように配置される。例えば、撮像部７０２を基準とすると、基準となる撮像部７０２と略対向する撮像部７０９の組は、概略平面に対して垂直方向に、光軸を中心として上部方向が互いに略逆方向を向くように配置される。また、基準となる撮像部７０２と略対向する撮像部７０９とを結ぶ線と直交する方向で、略対向する撮像部の組（例えば、撮像部７０５と撮像部７１３の組など）は、光軸を中心として上部方向が互いに略同一方向を向くように回転して配置される。

例えば、撮像部７０５、７０６、７１２、７１３は、撮像部の上部方向が、概略平面に対して略並行、かつ、略同一方向を向くように配置される。また、撮像部７０７、７１１は、撮像部の上部方向が、概略平面に対する垂直方向から、略４５度回転するように配置され、撮像部７０４、７１１は、概略平面に対する垂直方向から略１３５度回転するように配置される。すなわち、略環状に配置された複数の撮像部７０１〜７１４は、基準となる撮像部７０２から、略対向する撮像部７０９に向かって、光軸を中心として１８０度回転するように配置される。

各撮像部でのローリングシャッター方式の露光は、筺体の上方から下方に向けて行われるものとする。また、各撮像部の上方は、図７において撮像部に重畳して示した矢印の方向で表す。このとき、撮像部７０１〜７１４ではそれぞれ、画像データ７２１〜７３４に示すような画像が撮像される。各撮像部では被写体７２４が略同時に露光されるとともに、被写体７２４から被写体７２３に向かって順に露光が行われる。これにより、各撮像部で被写体が露光されるタイミングのずれが小さくなり、各被写体の形状推定における精度の低下が抑制される。

＜撮像方向決定部の構成と処理＞
図８は、実施形態１における撮像方向決定部２０５の構成例を表すブロック図である。以下では、図８を参照して、撮像方向決定部２０５の構成例を詳細に説明する。

撮像方向決定部２０５は、対応情報決定部８０１、撮像方向補正量算出部８０２、及び撮像方向算出部８０３を有する。

対応情報決定部８０１は、被写体情報、光学系情報、撮像位置・方向に基づき、被写体を表す概略平面上において、各撮像部１０１で露光のタイミングを揃える点または線あるいは走査の方向を対応情報として決定する。

図９は、実施形態１における対応情報の例を示した図である。撮像部９０１、９０２に対して、被写体が存在する概略平面上の領域９０３上に、線９０４、走査方向９０５、点９０６のいずれか１種以上が対応情報として定義される。対応情報は、例えば基準となる撮像部で撮像した画像データに対して、利用者が表示部１０３と操作部１０４で構成されるユーザーインターフェースを介して指定することで設定する。画像データ上で指定された線、走査方向、点は、被写体が存在する概略平面上の領域９０３に撮像位置・方向、光学系情報に基づいて投影され、３次元空間上の座標に変換される。

撮像方向補正量算出部８０２は、対応情報決定部８０１が決定した対応情報と撮像位置・方向に基づき、各撮像部１０１の方向を補正する補正量を算出する。補正量は、以下に説明するように、各撮像部１０１が被写体を露光するタイミングのずれを小さくするように算出される。

下記の式（３）は、点Ｘ_nの画像上への射影を表し、Ａ_mは撮像部の内部パラメータ、Ｒ_m、Ｔ_mは撮像部の外部パラメータ、Ｒ´_m、Ｔ´_mは、外部パラメータの変化量を表す。ｕ_nm、ｖ_nmは、ｎ番目の点をｍ番目の撮像部に射影した場合の、画像上の水平座標、垂直座標を表す。下記の式（４）は、与えられた複数の点における露光時刻の差の二乗和に比例する関数であり、これを最適化することによって、撮像部１０１の方向を補正する補正量を算出する。

撮像部がＭ個あり、対応情報がＮ個の点である場合、ｍ番目の撮像部の撮像方向の補正量Ｒ´ｍは、式（４）で表される撮像時刻のずれが、Ｒ´ｍが単位行列である場合の値より小さくなるように最適化を行うことで求めることができる。Ｒ´ｍが単位行列である場合の値より小さくするとは、対応情報として与えられた複数の点における露光時刻の差の二乗和（式（４））が小さくなるように、撮像部の光軸の向き、及びロール（光軸を中心とした回転方向）を動かすことを意味する。

ここで、Ａ_mはｍ番目の撮像部の内部パラメータ行列（光学系情報）、Ｔ_mはｍ番目の撮像部の位置（撮像部の外部パラメータ）、Ｘ_nはｎ番目の点の斉次座標を表す。また、ローリングシャッターの走査方向は（０，１）方向であるものとする。また、ローリングシャッターの走査速度と走査開始位置は、式（４）の最適化の結果に影響を与えないため、省略する。式（４）の最適化にはどのような方法を用いても構わないが、一例としてLevenberg-Marquardt法（レーベンバーグ・マーカート法）などを使うものとする。

なお、本発明では式（４）を完全に最小化する必要はなく、値が相対的に小さくなるならばどのような補正量でも構わない。また、本実施形態では歪曲収差の影響を無視したが、式（３）においてこれを考慮するような構成としても構わない。

下記の式（５）、式（６）は、被写体が存在する概略平面上の直線と、画像上の直線との関係を表し、被写体が存在する概略平面上の直線と、ｍ番目の撮像部の画像上の直線との間のホモグラフィー（Ｈ_m）を導出する。下記の式（７）は、露光時刻のずれの二乗和を表す関数である。

対応情報がＮ個の線である場合は、ｍ番目の撮像部の撮像方向の補正量Ｒ´ｍは、式（７）で表される撮像時刻のずれが、Ｒ´ｍが単位行列である場合の値より小さくなるように最適化を行うことで求めることができる。

ａ_n、ｂ_n、ｃ_nは、ｎ番目の直線を表すパラメータであり、直線上の任意の点（ｘ，ｙ）に対して、式（８）が成り立つ。概略平面は、ｚ＝０を満たすものとする。

ここでは、被写体が存在する概略平面上の座標で直線を表すものとする。概略平面上のｎ番目の直線をｍ番目の撮像部の画像データ上に射影して得られる直線のパラメータがα_nm、β_nm、γ_nmである。異なる撮像部の画像データ上での直線の（０，１）方向の距離は、（１，０）方向のサンプリング位置ｕ_kにおける距離を足し合わせることで算出する。式（７）の最適化は、対応情報が点の場合と同様に、どのような方法を用いても構わないが、一例としてLevenberg-Marquardt法などを使うものとする。

対応情報が走査方向である場合は、ｍ番目の撮像部の撮像方向の補正量Ｒ´ｍは、式（９）で表される走査方向のずれが、Ｒ´ｍが単位行列である場合の値より小さくなるように最適化を行うことで求めることができる。

ここで、ｕ_nm、ｖ_nmは式（３）と同様であり、Ｘ₀は走査方向を表すベクトルの始点、Ｘ₁は終点を表すものとする。式（９）の最適化は、対応情報が点の場合と同様に、どのような方法を用いても構わないが、一例としてLevenberg-Marquardt法などを使うものとする。

図１０（ａ）、（ｂ）、（ｃ）はそれぞれ、線、走査方向、点で表された対応情報が、補正前と補正後の撮像方向において、どのように画像データ上に写るかを表す。

このように、本発明の実施形態１では異なる撮像部において、被写体が存在する概略平面上の線または点が、略同一のタイミングで露光される位置にくるように補正することによって、ローリングシャッター方式による形状推定精度の低下を抑制する。

撮像方向算出部８０３は、撮像位置・方向と、撮像方向補正量算出部８０２が算出した補正量に基づき、補正された撮像方向を算出する。

次に、図１１を用いて、撮像方向決定部２０５による撮像方向決定処理の流れの一例を説明する。以下に説明する撮像方向決定処理は、上述した図３のステップＳ３０５における処理を詳細に説明するものである。したがって、ここで用いられる撮像部の撮像位置・方向、走査速度、被写体情報、及び光学系情報は、図３のステップＳ３０１〜Ｓ３０４において各処理部２０１、２０２、２０３、２０４が取得したものとする。

まず、ステップＳ１１０１では、対応情報決定部８０１が、図３のステップＳ３０１〜Ｓ３０４で取得した情報に基づき、被写体を表す概略平面上において、各撮像部１０１で露光のタイミングを揃える点、線、または走査方向を対応情報として決定する。

ステップＳ１１０２では、撮像方向補正量算出部８０２が、ステップＳ１１０１で決定した対応情報と、ステップＳ３０１で取得した撮像位置・方向に基づき、各撮像部１０１の方向を補正する補正量を算出する。

ステップＳ１１０３では、撮像方向算出部８０３が、ステップＳ３０１で取得した撮像位置・方向と、ステップＳ１１０２で算出した補正量に基づき、補正された撮像方向を算出する。

なお、本実施形態では、撮像方向決定部２０５が決定した方向に合わせて、多視点撮像部２０７を構成する各撮像部１０１の方向を制御するものとしたが、あらかじめ決定した撮像方向に合わせて撮像部を配置し、固定する構成としても構わない。また、本実施形態は仮想視点画像合成を行うものとしたが、単に推定した形状のデータを外部に出力する構成としても構わない。

以上、本実施形態によれば、ローリングシャッター方式のイメージセンサを用いた多視点撮像装置において、ローリングシャッター歪みによる形状推定の精度低下を抑制することが可能となる。

（実施形態２）
上述した実施形態１では、各撮像部１０１の方向を制御することでローリングシャッター方式の露光による形状推定精度の低下を抑制した。実施形態２では、各撮像部１０１が露光を開始するタイミングを制御することで形状推定精度の低下を抑制する。露光開始タイミングは、以下に説明するように、各撮像部１０１が被写体を露光するタイミングのずれを小さくするように算出される。

まず、図１２、及び図１３を参照して、実施形態２における形状推定精度の低下を抑制する原理を説明する。ここでは、２つの撮像部を用いた２視点の場合の例を説明する。図１２は、２つの撮像部と被写体の関係を表し、２つの撮像部１２０１、１２０２は、被写体が存在する概略平面上の領域１２０３を撮像するように設置されている。撮像部１２０１は注視点１２０４に、撮像部１２０２は注視点１２０５に、それぞれ光軸を向けている。すなわち、２つの撮像部１２０１、１２０２は、互いに異なる方向を向いている。線１２０６〜１２０８は領域１２０３上にあり、それぞれの線は撮像部において同時に露光されるような配置になっている。

図１３は、各撮像部における、時間ｔと露光されるラインの位置ｐの関係を表した図である。まず、初めに本発明を適用していない例を図１３（ａ）と図１３（ｂ）で示す。

図１３（ａ）は撮像部１２０１に関する図である。露光ライン位置ｐ₀₀〜ｐ₀₂は、それぞれ線１２０６〜１２０８が写っている位置を表しており、各位置が露光される時間はそれぞれｔ₀₀〜ｔ₀₂となっている。このとき、ローリングシャッターの走査速度はｖであり、露光開始の時間Δｔ₀は０である。

図１３（ｂ）は、撮像部１２０２に関する図である。撮像部１２０１と同様に、ローリングシャッターの走査速度はｖであり、露光開始の時間Δｔ₁は０である。注視点の違いにより、線１２０６〜１２０８が写っている位置はｐ₁₀〜ｐ₁₂と撮像部１２０１とは異なる位置になっており、各位置が露光される時間もｔ₁₀〜ｔ₁₂と異なるものになっている。そのため、概略平面上の領域１２０３に移動している被写体が存在した場合、形状推定精度の低下が生じてしまう。

図１３（ｃ）は、実施形態２に係る撮像部１２０２に関する図である。図１３（ｃ）では、各位置が露光される時間ｔ₀₀〜ｔ₀₂とｔ₁₀〜ｔ₁₂が一致するように露光開始の時間Δｔ₁が調整されている。そのため、被写体領域上の各位置は略同時に露光され、移動している被写体が存在した場合の形状推定精度の低下が抑制される。

図１４は、実施形態２に係る多視点撮像装置の構成の一例を表すブロック図である。図１４では、図２における撮像方向決定部２０５と撮像方向制御部２０６に代わって、露光タイミング決定部１４０１が設けられている。

露光タイミング決定部１４０１は、多視点撮像部２０７を構成する各撮像部が露光を行うタイミングを決定する。本実施形態で、露光を行うタイミングとは、各撮像部がローリングシャッター方式の露光を開始するタイミングを意味する。

露光タイミング決定部１４０１は、以下に説明するように、各撮像部が露光を行うタイミングを決定する。

撮像部がＭ個あり、対応情報がＮ個の点である場合、ｍ番の撮像部の露光タイミングΔｔ_mは、式（１１）で表される撮像時刻のずれが、Δｔ_mが０である場合の値より小さくなるように最適化を行うことで求めることができる。

ここで、ｖ_mはローリングシャッターの走査速度を表す。露光タイミングは１番目の撮像部が基準となるようｔ₁＝０であるものとする。

また、対応情報がＮ個の線である場合は、ｍ番の撮像部の露光タイミングΔｔ_mは、式（１４）で表される撮像時刻のずれが、Δｔ_mが０である場合の値より小さくなるように最適化を行うことで求めることができる。

式（１１）、式（１４）の最適化は、どのような方法を用いても構わないが、一例としてLevenberg-Marquardt法などを使うものとする。

本実施形態における多視点撮像部２０７は、露光タイミング決定部１４０１が決定したタイミングに基づいて露光を行う。露光のタイミングの制御は、各撮像部が撮像を行うタイミングを揃えるための同期信号に、オフセットを加えるなどして実現する。

その他の構成要素は、図２に示したものと同様であるため、説明は省略する。

図１５は、実施形態２に係る多視点撮像装置による処理の流れの一例を表す図である。各ステップにおける処理は、多視点撮像装置を構成する各構成要素によって実施される。また、図１５では、上述した実施形態１における図３のステップＳ３０５、Ｓ３０６に代わって、ステップＳ１５０１を含む。その他のステップＳ３０１〜Ｓ３０４、Ｓ３０７〜Ｓ３０９は、図３に示したステップと同様であるため、説明は省略する。

ステップＳ１５０１では、露光タイミング決定部１４０１が、ステップＳ３０１〜Ｓ３０４で取得した情報に基づき、上述したように各撮像部の露光タイミングを決定する。次のステップＳ３０７における多視点撮像部２０７による撮像は、ステップＳ１５０１で決定した露光タイミングに従って行われる。

なお、本実施形態では、露光の開始のタイミングのみを制御したが、ローリングシャッターの走査方向に沿って、各位置毎に個別に露光のタイミングを制御しても構わない。また、実施形態１で示した撮像方向の制御と、実施形態２で示した露光タイミングの制御を併用して、形状推定精度の低下を抑制する効果を高めることもできる。

以上、本実施形態によれば、ローリングシャッター方式のイメージセンサを用いた多視点撮像装置において、ローリングシャッター歪みによる形状推定の精度低下を抑制することが可能となる。

（実施形態３）
上述した実施形態１では、本発明を単一の多視点撮像装置として示したが、実施形態３では、図１６に示したブロック図のように、制御装置１６０１、情報処理装置１６０２、撮像装置１６０３〜１６０７からなる撮像システムとして構成する。ここで、複数の撮像装置１６０３〜１６０７は多視点撮像部２０７と同等の機能を有し、各ブロックも図２における機能と同等の機能を有するものとする。

なお、実施形態２についても、同様に撮像システムとして実施してもよい。すなわち、制御装置１６０１が、撮像装置１６０３〜１６０７の露光開始タイミングを決定して制御するように実施してもよい。

（実施形態４）
実施形態４では、上述した実施形態１の撮像方向決定部２０５を情報処理装置として実施する。図１７は、当該情報処理装置の構成例を表すブロック図である。

実施形態４に係る情報処理装置は、撮像位置・方向取得部１７０１、走査速度取得部１７０２、被写体情報取得部１７０３、光学系情報取得部１７０４を有する。また、撮像画像取得部１７０５、射影画像生成部１７０６、対応情報入力部１７０７、対応情報変換部１７０８、撮像方向補正量算出部１７０９、撮像方向算出部１７１０、撮像方向出力部１７１１を有する。

撮像位置・方向取得部１７０１、走査速度取得部１７０２、被写体情報取得部１７０３、光学系情報取得部１７０４はそれぞれ、各撮像装置の位置・方向、走査速度、被写体情報、及び光学系情報を、情報処理装置の外部から取得する。被写体情報とは、被写体の概形に関する情報であって、被写体が存在する概略平面（被写体平面とも呼ぶ）の情報を含む。

撮像画像取得部１７０５は、複数の撮像装置で撮像された撮像画像データを取得する。

射影画像生成部１７０６は、撮像位置・方向取得部１７０１が取得した撮像位置・方向と、被写体情報取得部１７０３が取得した被写体情報に基づき、撮像画像取得部１７０５が取得した撮像画像データを被写体平面上に射影した射影画像データを生成する。

対応情報入力部１７０７は、射影画像生成部１７０６が生成した射影画像データを表示装置を介して利用者に提示するとともに、利用者からの入力を受け付けることで、対応情報として用いる線、走査方向、または、点の位置を決定する。

対応情報変換部１７０８は、撮像位置・方向、被写体情報、光学系情報に基づき、対応情報入力部１７０７が取得した対応情報を、被写体空間中の座標に変換する。

撮像方向補正量算出部１７０９は、撮像位置・方向、被写体情報、光学系情報、走査速度、対応情報変換部１７０８が算出した対応情報に基づき、撮像方向補正量を算出する。

撮像方向算出部１７１０は、撮像位置・方向と撮像方向補正量算出部１７０９が算出した撮像方向補正量に基づき、補正された撮像方向を算出する。

撮像方向出力部１７１１は、撮像方向算出部１７１０が算出した撮像方向を情報処理装置の外部に出力する。

上述した構成要素１７０１〜１７１１は、情報処理装置のＣＰＵが記憶装置に記憶されたプログラムを実行することにより実装される。なお、情報処理装置はその他の構成要素を有してもよい。

図１８は、実施形態４に係る情報処理装置における処理の流れを表す図である。

ステップＳ１８０１では、撮像位置・方向取得部１７０１が、情報処理装置の外部から各撮像装置の位置・方向を取得する。

ステップＳ１８０２では、走査速度取得部１７０２が、情報処理装置の外部から各撮像部を構成する撮像素子の露光の走査速度を取得する。

ステップＳ１８０３では、被写体情報取得部１７０３が、情報処理装置の外部から被写体の概形に関する情報（被写体情報）を取得する。

ステップＳ１８０４では、光学系情報取得部１７０４が、情報処理装置の外部から各撮像部を構成する光学系の画角に相当する情報（光学系情報）を取得する。

ステップＳ１８０５では、撮像画像取得部１７０５が、複数の撮像装置で撮像された撮像画像データを取得する。

なお、ステップＳ１８０１〜Ｓ１８０５の順番は一例として示したものであり、必ずしも上述した順番で実施されなくともよい。

ステップＳ１８０６では、射影画像生成部１７０６が、上記ステップで取得した撮像位置・方向、被写体情報、光学系情報に基づき、ステップＳ１８０５で取得した撮像画像データを被写体平面上に射影した射影画像データを生成する。

ステップＳ１８０７では、対応情報入力部１７０７が、ステップＳ１８０６で生成した射影画像データを利用者に提示し、利用者から対応情報の入力を受け付ける。

ステップＳ１８０８では、対応情報変換部１７０８が、上記ステップで取得した撮像位置・方向、被写体情報、光学系情報に基づき、ステップＳ１８０７で取得した対応情報を、被写体空間中の座標に変換する。

ステップＳ１８０９では、撮像方向補正量算出部１７０９が、上記ステップで取得した撮像位置・方向、光学系情報、走査速度と、ステップＳ１８０８で変換した対応情報に基づき、各撮像部の方向を補正する補正量を算出する。

ステップＳ１８１０では、撮像方向算出部１７１０が、ステップＳ１８０１で取得した撮像位置・方向と、ステップＳ１８０９で算出した補正量に基づき、補正された撮像方向を算出する。算出された補正後の撮像方向は、撮像方向出力部１７１１によって情報処理装置の外部に出力される。

以上説明したように、実施形態４では、上述した実施形態１の撮像方向決定部２０５に相当する機能を、情報処理装置として実施する。なお、実施形態２についても、同様に情報処理装置として実施してもよい。

（その他の実施形態）
本発明は、上述した実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

７０１〜７１４ 撮像部
７２１〜７３４ 画像データ
７４１ 概略平面上の領域
７４２〜７４４ 被写体

Claims (24)

1. ライン毎に異なるタイミングで露光を行う撮像素子により構成され、被写体を複数の視点から撮像して複数の画像データを生成する複数の撮像手段と、
   前記複数の撮像手段により生成された前記複数の画像データから、前記被写体の形状を推定して前記被写体の形状データを生成する形状推定手段とを有する撮像装置であって、
   前記複数の撮像手段は、略同一領域に光軸を向けた略環状に配置され、
   前記複数の撮像手段のうち、基準となる撮像手段と略対向する撮像手段の組は、前記被写体が存在する概略平面に対して垂直方向に、前記光軸を中心として上部方向が互いに略逆方向を向くように配置され、前記基準となる撮像手段と前記略対向する撮像手段とを結ぶ線と直交する方向で略対向する撮像手段の組は、前記光軸を中心として前記上部方向が互いに略同一方向を向くように回転して配置され、前記複数の撮像手段によって前記被写体を略同一のタイミングで露光することを特徴とする撮像装置。
2. 前記形状推定手段により生成された前記形状データを可視化して、仮想視点による合成画像データを生成する画像合成手段をさらに有することを特徴とする請求項１に記載の撮像装置。
3. ライン毎に異なるタイミングで露光を行う撮像素子により構成され、被写体を複数の視点から撮像して複数の画像データを生成する複数の撮像手段と、
   前記複数の撮像手段の光軸方向と光軸を中心とした回転方向を制御する撮像方向制御手段と、
   前記複数の撮像手段により生成された複数の画像データから、前記被写体の形状を推定して前記被写体の形状データを生成する形状推定手段とを有し、
   前記撮像方向制御手段は、前記複数の撮像手段が前記被写体を略同一のタイミングで露光するように前記複数の撮像手段の前記光軸方向と前記光軸を中心とした回転方向を制御することを特徴とする撮像装置。
4. ライン毎に異なるタイミングで露光を行う撮像素子により構成され、被写体を複数の視点から撮像して複数の画像データを生成する複数の撮像手段と、
   前記複数の撮像手段が露光を開始するタイミングを決定する露光タイミング決定手段と、
   前記複数の撮像手段により生成された複数の画像データから、前記被写体の形状を推定し、前記被写体の形状データを生成する形状推定手段とを有し、
   前記露光タイミング決定手段は、前記複数の撮像手段が前記被写体を略同一のタイミングで露光するように前記露光を開始するタイミングを決定することを特徴とする撮像装置。
5. 前記形状推定手段により生成された前記形状データを可視化して、仮想視点による合成画像データを生成する画像合成手段をさらに有することを特徴とする請求項３または４に記載の撮像装置。
6. ライン毎に異なるタイミングで露光を行う撮像素子により構成され、被写体を複数の視点から撮像する複数の撮像手段の光軸方向と光軸を中心とした回転方向を決定する撮像方向決定手段を有し、
   前記撮像方向決定手段は、前記複数の撮像手段が前記被写体を略同一のタイミングで露光するように前記複数の撮像手段の前記光軸方向と前記光軸を中心とした回転方向を決定することを特徴とする情報処理装置。
7. 前記複数の撮像手段が前記被写体を露光するタイミングのずれを小さくするように、前記複数の撮像手段の前記光軸方向と前記光軸を中心とした回転方向の補正量を算出する補正量算出手段をさらに有することを特徴とする請求項６に記載の情報処理装置。
8. 前記光軸方向と前記光軸を中心とした回転方向の補正量を算出するために、前記被写体が存在する概略平面上の点または線を指定する入力を受け付ける入力手段をさらに有することを特徴とする請求項７に記載の情報処理装置。
9. 前記被写体が存在する概略平面上に定義された走査方向を前記複数の撮像手段によって生成された画像データ上に射影して得られる方向と、前記撮像素子の走査方向とのずれを小さくする補正量を算出する補正量算出手段をさらに有することを特徴とする請求項６に記載の情報処理装置。
10. 前記走査方向を指定する入力を受け付ける入力手段をさらに有することを特徴とする請求項９に記載の情報処理装置。
11. ライン毎に異なるタイミングで露光を行う撮像素子により構成され、被写体を複数の視点から撮像する複数の撮像手段の露光を開始するタイミングを決定する露光タイミング決定手段を有し、
    前記露光タイミング決定手段は、前記複数の撮像手段が前記被写体を略同一のタイミングで露光するように前記露光を開始するタイミングを決定することを特徴とする情報処理装置。
12. 前記露光タイミング決定手段は、前記複数の撮像手段が前記被写体を露光するタイミングのずれを小さくするように、前記露光を開始するタイミングを決定することを特徴とする請求項１１に記載の情報処理装置。
13. 前記露光タイミング決定手段は、前記被写体が存在する概略平面上の点または線を指定する入力に基づいて、前記露光を開始するタイミングを決定することを特徴とする請求項１２に記載の情報処理装置。
14. ライン毎に異なるタイミングで露光を行う撮像素子により構成され、被写体を複数の視点から撮像して複数の画像データを生成するように構成された複数の撮像装置と、
    前記複数の撮像装置により生成された前記複数の画像データから、前記被写体の形状を推定して前記被写体の形状データを生成するように構成された情報処理装置とを有し、
    前記複数の撮像装置が、前記被写体を略同一のタイミングで露光するよう配置されたことを特徴とする撮像システム。
15. ライン毎に異なるタイミングで露光を行う撮像素子により構成され、被写体を複数の視点から撮像して複数の画像データを生成するように構成された複数の撮像装置と、
    前記複数の撮像装置の光軸方向と光軸を中心とした回転方向を制御するように構成された制御装置と、
    前記複数の撮像装置により生成された複数の画像データから、前記被写体の形状を推定して前記被写体の形状データを生成するように構成された情報処理装置とを有し、
    前記制御装置は、前記複数の撮像装置が前記被写体を略同一のタイミングで露光するように前記複数の撮像装置の前記光軸方向と前記光軸を中心とした回転方向を制御することを特徴とする撮像システム。
16. ライン毎に異なるタイミングで露光を行う撮像素子により構成され、被写体を複数の視点から撮像して複数の画像データを生成するように構成された複数の撮像装置と、
    前記複数の撮像装置の露光開始タイミングを決定して制御する制御装置と、
    前記複数の撮像装置により生成された複数の画像データから、前記被写体の形状を推定して前記被写体の形状データを生成するように構成された情報処理装置とを有し、
    前記制御装置は、前記複数の撮像装置が前記被写体を略同一のタイミングで露光するように前記複数の撮像装置の前記露光開始タイミングを制御することを特徴とする撮像システム。
17. 前記情報処理装置は、前記生成された前記形状データを可視化して、仮想視点による合成画像データを生成するようにさらに構成されたことを特徴とする請求項１４乃至１６のいずれか一項に記載の撮像システム。
18. ライン毎に異なるタイミングで露光を行う撮像素子により構成された複数の撮像手段によって、被写体を複数の視点から撮像して複数の画像データを生成する撮像工程と、
    前記撮像工程において生成された前記複数の画像データから、前記被写体の形状を推定して前記被写体の形状データを生成する形状推定工程とを含み、
    前記撮像工程において、前記被写体は、前記被写体を略同一のタイミングで露光するように配置された前記複数の撮像手段によって撮像されることを特徴とする撮像方法。
19. ライン毎に異なるタイミングで露光を行う撮像素子により構成された複数の撮像手段の光軸方向と光軸を中心とした回転方向を決定する決定工程と、
    前記決定された光軸方向と光軸を中心とした回転方向を前記複数の撮像手段が向くように制御する制御工程と、
    前記複数の撮像手段によって、被写体を複数の視点から撮像して複数の画像データを生成する撮像工程と、
    前記撮像工程において生成された前記複数の画像データから、前記被写体の形状を推定して前記被写体の形状データを生成する形状推定工程とを含み、
    前記決定工程において、前記複数の撮像手段の前記光軸方向と前記光軸を中心とした回転方向は、前記複数の撮像手段が前記被写体を略同一のタイミングで露光するように決定されることを特徴とする撮像方法。
20. ライン毎に異なるタイミングで露光を行う撮像素子により構成された複数の撮像手段の露光開始タイミングを決定する決定工程と、
    前記決定された露光開始タイミングにしたがって、前記複数の撮像手段によって被写体を複数の視点から撮像して複数の画像データを生成する撮像工程と、
    前記撮像工程において生成された前記複数の画像データから、前記被写体の形状を推定して前記被写体の形状データを生成する形状推定工程とを含み、
    前記決定工程において、前記複数の撮像手段の前記露光開始タイミングは、前記複数の撮像手段が前記被写体を略同一のタイミングで露光するように決定されることを特徴とする撮像方法。
21. 前記形状推定工程において生成された前記形状データを可視化して、仮想視点による合成画像データを生成する画像合成工程をさらに含むことを特徴とする請求項１８乃至２０のいずれか一項に記載の撮像方法。
22. ライン毎に異なるタイミングで露光を行う撮像素子により構成され、被写体を複数の視点から撮像する複数の撮像手段の光軸方向と光軸を中心とした回転方向を決定する情報処理方法であって、
    前記複数の撮像手段の前記光軸方向と前記光軸を中心とした回転方向は、前記被写体が前記複数の撮像手段によって略同一のタイミングで露光されるように決定されることを特徴とする情報処理方法。
23. ライン毎に異なるタイミングで露光を行う撮像素子により構成され、被写体を複数の視点から撮像する複数の撮像手段の露光開始タイミングを決定する情報処理方法であって、
    前記複数の撮像手段の前記露光開始タイミングは、前記被写体が前記複数の撮像手段によって略同一のタイミングで露光されるように決定されることを特徴とする情報処理方法。
24. コンピュータを請求項６から１３のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

Images