JP2019109200A - 校正用データ生成装置、校正用データ生成方法、キャリブレーションシステム、及び制御プログラム - Google Patents

Abstract

【課題】撮像装置の相対的な位置関係をより高精度且つユーザによって容易に特定する為の校正用データを生成する校正用データ生成装置を実現する。【解決手段】校正用データ生成装置（４、４ａ）は、複数の第１の撮像画像と、１又は複数の第２の撮像画像とを取得する取得部（４１）と、複数の第１の撮像装置（２９）の相対的な位置関係を特定する為の校正用データを生成する校正用データ生成部（４２）とを備える。【選択図】図１

Description

本発明は、校正用データ生成装置、校正用データ生成方法、キャリブレーションシステム、及び制御プログラムに関する。

従来、同一の物体を異なる視点から撮影した多視点画像から、上記物体の３次元復元を行い、カメラの位置及び姿勢を特定するＳｆＭ（Structure from Motion）という技術が知られている。また、下記の非特許文献１では、無線の強度を参照して、無線ノードの位置検出を可能とする技術が開示されている。

また、物体の特徴点の座標と、上記物体を撮影した画像内における上記特徴点の座標とを対応付けることにより、カメラの外部パラメータである位置姿勢を求め、キャリブレーションを行う技術が知られている。

小野昌之、福井潔、柳原健太郎、福永茂、原晋介、北山研一、「無線を使った位置検出」、沖テクニカルレビュー、沖電気工業、２００５年１０月、第２０４号 Ｖｏｌ７２ Ｎｏ．４、ｐ２４−２７

しかしながら、上述のような従来技術は、カメラが所定の場所に固定されており、他のカメラと撮影範囲が重畳していない場合、上記カメラの位置姿勢を、人の手による実測等で計測する必要があり、手間がかかるうえに精度が悪いという問題がある。また、チェッカーボードのような所謂キャリブレーションボードを用いて、キャリブレーションを行う場合には、キャリブレーションボードの好適な位置姿勢を探す手間がかかるという問題がある。

本発明の一態様は、上記の問題を鑑みてなされたものであり、撮像装置の相対的な位置関係をより高精度且つユーザにとって容易に特定する為の校正用データを生成する校正用データ生成装置を実現することを目的とする。

上記の課題を解決するために、本発明の態様１に係る校正用データ生成装置は、複数の第１の撮像装置が撮像した複数の第１の撮像画像と、１又は複数の第２の撮像装置が撮像した１又は複数の第２の撮像画像とを取得する取得部と、前記複数の第１の撮像装置の相対的な位置関係を特定する為の校正用データを、前記複数の第１の撮像画像及び前記１又は複数の第２の撮像画像から生成する校正用データ生成部とを備える。

上記の構成によれば、撮像装置の相対的な位置関係を特定する為の校正用データを生成する校正用データ生成装置を実現でき、上記校正用データを用いることにより上記位置関係をより高精度且つユーザにとって容易に特定できる。

また、本発明の態様２に係る校正用データ生成装置において、前記取得部は、移動可能な機器が備える１若しくは複数の第２の撮像装置が撮像した１若しくは複数の第２の撮像画像、又は移動機構を別途備える１若しくは複数の第２の撮像装置が撮像した１若しくは複数の第２の撮像画像を取得してもよい。上記の構成によれば、ユーザが第２の撮像装置を取り扱う手間を低減できる。

また、本発明の態様３に係る校正用データ生成装置において、前記１又は複数の第２の撮像画像は、前記複数の第１の撮像画像と少なくとも一部が重畳した範囲を撮像した画像であってもよい。

上記の構成によれば、態様１に係る校正用データ生成装置において、撮像範囲が重畳しない撮像装置の相対的な位置関係を特定する為の校正用データを好適に生成することができる。

また、本発明の態様４に係る校正用データ生成装置において、前記複数の第１の撮像画像は、互いに重畳しない範囲を撮像した画像であるか、互いに重畳する範囲が所定の範囲よりも少なくてもよい。上記の構成においても態様１と同様な効果を奏する。

また、本発明の態様５に係る校正用データ生成装置において、所定の物体と前記物体のサイズとの対応関係情報を取得するサイズ情報取得部を更に備え、前記校正用データ生成部は、前記対応関係情報を参照して、前記複数の第１の撮像画像と、前記１又は複数の第２の撮像画像とのうち、少なくとも何れかの撮像画像内に存在する物体のサイズを特定してもよい。上記の構成によれば、３次元復元データに含まれる物体のサイズを特定することができる。

また、本発明の態様６に係る校正用データ生成装置において、前記校正用データ生成部は、前記複数の第１の撮像装置の撮像範囲と、前記１又は複数の第２の撮像装置の撮像範囲とのうち、少なくとも何れかの範囲に含まれる物体を３次元復元することが可能か否かを判定してもよい。上記の構成によれば、３次元復元データの品質を担保することができる。

また、本発明の態様７に係る校正用データ生成装置において、表示部を更に備え、前記表示部は、前記複数の第１の撮像装置のキャリブレーションを行う為に撮影が不足している領域を表示してもよい。

上記の構成によれば、第１の撮像装置のキャリブレーションを行うにあたり不足している撮像範囲をユーザが把握でき、第２の撮像装置をどう動かせばよいかが大まかに分かる為、ユーザの利便性向上に寄与する。

また、本発明の態様８に係る校正用データ生成装置において、前記校正用データ生成部は、前記複数の第１の撮像画像と、前記１又は複数の第２の撮像画像とから、前記複数の第１の撮像装置における撮像範囲の互いの重畳範囲を算出してもよい。上記の構成によれば、複数の第１の撮像装置における撮像範囲の互いの重畳範囲を照合できる。

また、本発明の態様９に係る校正用データ生成装置において、前記１又は複数の第２の撮像画像は、不特定の撮影者若しくは撮影機器により撮像された撮像画像、又は不特定な時期に撮像された撮像画像であってもよい。上記の構成によれば、ユーザが、第２の撮像画像を撮像する手間を低減することができる。

また、本発明の態様１０に係る校正用データ生成装置において、前記複数の第１の撮像画像と、前記１又は複数の第２の撮像画像とは、不可視光線を撮像した撮像画像であってもよい。

上記の構成によれば、例えば人間の目には暗闇に見える場所においても、撮像範囲が重畳しない撮像装置の相対的な位置関係を特定する為の校正用データを生成する校正用データ生成装置を実現でき、上記校正用データを用いることにより上記位置関係を高精度且つユーザにとって容易に特定できる。

また、本発明の態様１１に係る校正用データ生成装置において、前記校正用データ生成部は、前記複数の第１の撮像画像を所定の地図情報に対してマッピングする為の校正データを生成してもよい。上記の構成によれば、所定の地図情報の一部又は全部を、実際の撮像画像に置き換えることができる。

また、本発明の態様１２に係る校正用データ生成方法は、生成装置によって実行される校正用データ生成方法であって、複数の第１の撮像装置が撮像した複数の第１の撮像画像と、１又は複数の第２の撮像装置が撮像した１又は複数の第２の撮像画像とを取得する取得ステップと、前記複数の第１の撮像装置の相対的な位置関係を特定する為の校正用データを、前記複数の第１の撮像画像及び前記１又は複数の第２の撮像画像から生成する位置関係算出ステップとを含む。上記の構成によれば、態様１と同様な効果を奏する。

また、本発明の態様１３に係るキャリブレーションシステムは、撮像システムと、校正用データ生成装置と、１又は複数の第２の撮像装置とを備えたキャリブレーションシステムであって、前記撮像システムは、複数の第１の撮像装置と、画像処理部とを備え、前記校正用データ生成装置は、取得部と、校正用データ生成部を備え、前記取得部は、前記複数の第１の撮像装置が撮像した複数の第１の撮像画像と、前記１又は複数の第２の撮像装置が撮像した１又は複数の第２の撮像画像とを取得し、前記校正用データ生成部は、前記複数の第１の撮像画像と、前記１又は複数の第２の撮像画像とから、前記複数の第１の撮像装置の相対的な位置関係を特定する為の校正用データを生成し、前記画像処理部は、前記校正用データを参照して、前記複数の第１の撮像装置のキャリブレーションを行う。上記の構成によれば、より高精度且つユーザにとって容易に複数の第１の撮像装置のキャリブレーションを行うことができる。

また、本発明の態様１４に係る制御プログラムは、本発明の一態様に係る制御装置としてコンピュータを機能させるための制御プログラムであって、前記取得部及び前記校正用データ生成部としてコンピュータを機能させるための制御プログラムである。上記の構成によれば、態様１と同様な効果を奏する。

本発明の一態様によれば、撮像装置の相対的な位置関係を特定する為の校正用データを生成する校正用データ生成装置を実現でき、上記校正用データを用いることにより上記位置関係をより高精度且つユーザにとって容易に特定できる。

実施形態１に係るキャリブレーションシステムの機能ブロック図である。 実施形態１に係る処理の流れを示すフローチャートである。 固定カメラの撮像範囲の一例を示す図である。 校正用カメラによる撮像の一例を示す図である。 固定カメラと校正用カメラとの撮像範囲の一例を示す図である。 実施形態２に係るキャリブレーションシステムの機能ブロック図である。 実施形態２に係る処理の流れを示すフローチャートである。 所定の場所において撮像画像が不足している領域の表示例を示す図である。

＜実施形態１＞
以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。

§１ 適用例
本実施形態に係るキャリブレーションシステムは、撮像システムと、校正用データ生成装置と、１又は複数の第２の撮像装置とを備える。前記撮像システムは、複数の第１の撮像装置と、画像処理部とを備え、前記校正用データ生成装置は、取得部と、校正用データ生成部を備える。

前記取得部は、前記複数の第１の撮像装置が撮像した複数の第１の撮像画像と、前記１又は複数の第２の撮像装置が撮像した１又は複数の第２の撮像画像とを取得する。

前記校正用データ生成部は、前記複数の第１の撮像画像と、前記１又は複数の第２の撮像画像とから、前記複数の第１の撮像装置のキャリブレーションを行う為の校正用データを生成する。

前記画像処理部は、前記校正用データを参照して、前記複数の第１の撮像装置のキャリブレーションを行う。

上記の構成によれば、より高精度且つユーザにとって容易に複数の第１の撮像装置のキャリブレーションを行うことができる。

§２ 構成例
次に、図１〜図５に基づいて本発明の一例について説明する。

本実施形態においては、撮像範囲が互いに重複しない撮像装置のキャリブレーションを行う構成について説明する。

［キャリブレーションシステム１の構成］
図１に基づいて本実施形態の構成の一例について説明する。

図１は、本実施形態に係るキャリブレーションシステム１の機能ブロック図である。

図１に示す通り、キャリブレーションシステム１は、撮像システム２、１又は複数の校正用カメラ（第２の撮像装置）３、及び校正用データ生成装置４を備えている。なお、校正用データとは、後述する複数の固定カメラ２９のキャリブレーションを行うために参照されるデータである。

撮像システム２は、例えば宅内等のような、所定の場所の撮像に係るシステムであって、複数の固定カメラ（第１の撮像装置）２９、制御部２０、記憶部２８及び通信部２７を備える。なお、複数の固定カメラ２９は、基準となる１つの基準カメラと、上記基準カメラ以外のカメラであって、上記基準カメラに対して相対的な位置関係を有する調整カメラとに区別する構成でもよい。

複数の固定カメラ２９は、上記所定の場所のうち、各々所定の範囲を撮像するカメラであって、少なくとも一時的に所定の位置に固定されたカメラである。ただし、複数の固定カメラ２９が所定の範囲において移動可能又は姿勢（角度）を変えることが可能な構成である場合においても本願発明は適用可能である。

制御部２０は、撮像システム２全体を統括する制御装置であって、画像処理部２１及び通信制御部２２としても機能する。

画像処理部２１は、校正用データを参照して、複数の固定カメラ２９のキャリブレーションに係る処理を行う。通信制御部２２は、通信部２７による通信に係る制御を行う。

記憶部２８は、各種データを保持する記憶装置である。通信部２７は、外部の装置との通信を行う。

１又は複数の校正用カメラ３は、上記所定の場所のうち、任意の範囲を撮像可能なカメラであって、移動する又は移動させることが可能なカメラである。

具体的には、図１には図示しない機器であって例えばドローン（登録商標）のような移動可能なロボット等の機器が、１又は複数の校正用カメラ３を備える構成でもよいし、１又は複数の校正用カメラ３が、移動機構を別途備える構成でもよい。

校正用データ生成装置４は、複数の固定カメラ２９のキャリブレーションを行う為の校正用データを生成する装置であって、制御部４０、記憶部４８及び通信部を備える。

制御部は、校正用データ生成装置４全体を統括する制御装置であって、取得部４１、校正用データ生成部４２、サイズ情報取得部４３、及び通信制御部４４としても機能する。

取得部４１は、複数の固定カメラ２９が撮像した画像と、１又は複数の校正用カメラ３が撮像した画像とを取得する。

なお、本明細書において画像とは、静止画と動画との両方の意味を包含する。

校正用データ生成部４２は、固定カメラ２９と校正用カメラ３とが撮像した多視点画像から、上記多視点画像に含まれる被写体の３次元復元を行い、カメラの位置及び姿勢を特定し、校正用データ生成処理を行う。

記憶部４８は、各種データを保持する。通信部４７は、外部の装置との通信を行う。

また、撮像装置及び校正用データ生成装置４が備える各部材は単数であることに限定されず、複数の当該部材を備える構成でもよい。

§３ 動作例
本実施形態における処理の流れについて図１〜図５に基づいてステップごとに説明する。

図２は、本実施形態に係る処理の流れを示すフローチャートである。

（Ｓ１０１）
まず、キャリブレーション対象である複数の固定カメラ（第１の撮像装置）２９は、各々の撮像範囲を撮像する。なお、複数の固定カメラ２９は、少なくとも一時的に所定の位置に固定されている。

ステップＳ１０１において、取得部４１は、複数の固定カメラ２９が撮像した複数の基準画像を取得し、記憶部４８に格納する。本ステップにおける処理を図面を参照して説明すれば以下の通りである。

図３は、固定カメラ２９の撮像範囲の一例を示す図である。図３の（ａ）及び（ｂ）は共に固定カメラ２９の撮像範囲を表す。（１）及び（２）に示すように、前記複数の基準画像（複数の第１の撮像画像）は、一例として、互いに重畳しない範囲を撮像した画像であるか、互いに重畳する範囲が所定の範囲よりも少ない。

ここで、複数の撮像画像の撮像範囲が重畳している範囲においては、上記範囲に存在する物体を被写体とする多視点画像が、複数の固定カメラ２９の少なくとも一部により撮像されることを意味する。また、上記所定の範囲とは、３次元復元の要件を満たす多視点画像を確保できる広さの重畳範囲のことを指す。

ただし、前記複数の基準画像は、互いに上記所定の範囲以上に重畳する範囲を有してもよい。

（Ｓ１０２）
続いて、ステップＳ１０２において、取得部４１は、校正用カメラ３の撮像画像を取得し、記憶部４８に格納する。本ステップの具体的な処理について図面を参照して説明すれば以下の通りである。

図４は、校正用カメラ３による撮像の一例を示す図である。図４に示すように、校正用カメラ（第２の撮像装置）３の撮像範囲が固定カメラ２９の撮像範囲と重畳するように、校正用カメラ３を移動させながら、撮像を行う。ここで、校正用カメラ３による撮像画像を以下、校正用画像（第２の撮像画像）と呼称する。

図５は、固定カメラ２９と校正用カメラ３との撮像範囲の一例を示す図である。図５のＡ、Ｂ及びＣは、固定カメラ２９の撮像範囲を、ａ１〜ａ４は、校正用画像の撮像範囲をそれぞれ意味する。

図５に示すように、本ステップＳ１０２では、校正用カメラ３の撮像範囲と固定カメラ２９の撮像範囲とが連続的な領域を有するように校正用カメラ３を移動させる。そして、本ステップにおいて、取得部４１は、校正用カメラ３が撮像した１又は複数の校正用画像を取得し、記憶部４８に格納する。

換言すると、取得部４１は、移動可能な機器が備える１若しくは複数の校正用カメラ（第２の撮像装置）３が撮像した１若しくは複数の校正用画像（第２の撮像画像）、又は、移動機構を別途備える１若しくは複数の校正用カメラ（第２の撮像装置）３が撮像した１若しくは複数の校正用画像（第２の撮像画像）を取得し、記憶部４８に格納する。

ここで、前記１又は複数の校正用画像（第２の撮像画像）は、前記複数の基準画像（第１の撮像画像）と少なくとも一部が重畳した範囲を撮像した画像である。

上記の構成により、後述のステップにおいて、校正用データを好適に生成することができる。

また、校正用カメラ３による撮像の過程で、校正用データ生成部４２は、例えば図１には図示しないブザー等により、十分量の校正用画像を撮像したことを通知してもよい。また、校正用データ生成部４２は、複数の固定カメラ（第１の撮像装置）２９の撮像範囲と、１又は複数の校正用カメラ（第２の撮像装置）３の撮像範囲とのうち、少なくとも何れかの範囲に含まれる物体を３次元復元することが可能か否かを判定してもよい。

換言すると、校正用データ生成部４２は、複数の固定カメラ（第１の撮像装置）２９の撮像範囲と、１又は複数の校正用カメラ（第２の撮像装置）３の撮像範囲との和集合により規定される撮像範囲に含まれる物体を３次元復元することが可能か否かを判定してもよい。

上記の構成により３次元復元データの品質を担保することができる。また、上記の判定において校正用データ生成部４２は、校正用画像データが基準画像データとの整合性を満たしているかを判定してもよい。また、何れかの撮像画像に由来する複数の３次元復元データを照合し、整合性を満たしているかを判定してもよい。

（Ｓ１０３）
続いて、ステップＳ１０３において、校正用データ生成部４２は、ステップＳ１０１において記憶部４８に格納された複数の基準画像と、ステップＳ１０２において記憶部４８に格納された１又は複数の校正用画像との双方から、特徴点及び特徴量を抽出する。上記特徴点及び特徴量の算出には、例えばＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speeded Up Robust Feature）等の手法を用いてもよい。

（Ｓ１０４）
続いて、ステップＳ１０４において、校正用データ生成部４２は、ステップＳ１０３において抽出した基準画像の特徴点及び特徴量と、校正用画像の特徴点及び特徴量とを用いて、基準画像と校正用画像とのマッチングを行う。

（Ｓ１０５）
続いて、ステップＳ１０５において、校正用データ生成部４２は、ステップＳ１０４におけるマッチングの結果を用いて基準画像と校正用画像とに含まれる物体の３次元復元を行う。なお、３次元復元を行うにあたっては、例えばSfM（Structure from Motion）等の方法を用いてもよい。

また、被写体である上記物体を３次元復元する処理に加え、以下に示す方法で上記物体のサイズを特定する構成でもよい。

当初から記憶部４８には、所定の物体と上記物体のサイズとの対応関係を示すデータである対応関係情報が格納されているものとする。

サイズ情報取得部４３は、記憶部４８に格納された上記対応関係情報を取得する。なお、サイズ情報取得部４３は、通信部４７を介して図２には図示しない他のデータベースから対応関係情報を別途取得する構成でもよい。

本ステップにおいて、校正用データ生成部４２は、上記対応関係情報を参照して、複数の基準画像（第１の撮像画像）と、１又は複数の校正用画像（第２の撮像画像）とのうち、少なくとも何れかの撮像画像内に存在する物体のサイズを特定する。

なお、撮像画像内の物体が何であるかを特定する場合においては、例えばＣＮＮ（Convolutional Neural Network）を用いた深層学習による方法等を用いてもよい。

上記の構成により、３次元復元データに含まれる物体のサイズを特定することができる。なお、３次元復元データに含まれる物体のサイズを特定する方法は上述した方法に限定されない。例えば、既知である当該物体のサイズを手入力する構成でもよいし、撮像システム２が電波等を用いたセンサを別途備え、制御部４０が上記センサによる測定結果を参照し、当該物体のサイズを特定する構成でもよい。

（Ｓ１０６）
続いて、ステップＳ１０６において、校正用データ生成部４２は、ステップＳ１０５において行った３次元復元の結果を参照して、３次元復元に使用した各画像を撮像したカメラの撮像位置及び撮像角度を算出する。

（Ｓ１０７）
続いて、ステップＳ１０７において、校正用データ生成部４２は、ステップＳ１０６において撮像位置及び撮像角度を算出した各画像のうち、固定カメラ２９が撮像した画像を抽出することにより、複数の固定カメラ２９の撮像位置及び撮像角度を求める。

また、校正用データ生成部４２は、複数の基準画像（第１の撮像画像）と、１又は複数の校正用画像（第２の撮像画像）とから、複数の固定カメラ（第１の撮像装置）２９の撮像範囲の互いの重畳範囲を算出する。

上記の構成によれば、複数の固定カメラ２９における撮像範囲の互いの重畳範囲を照合できる。

（Ｓ１０８）
続いて、ステップＳ１０８において、校正用データ生成部４２は、基準画像内における特徴点及び特徴量と、ステップＳ１０５において生成した３次元復元データ内における特徴点及び特徴量を対応づけ、複数の固定カメラ２９の内部パラメータである歪み係数等と外部パラメータである位置姿勢とのパラメータを求める。また、本ステップにおいて、校正用データ生成部４２は、上記パラメータに基づき、複数の固定カメラ２９のキャリブレーションを行う為の校正用データを生成する。

（Ｓ１０９）
続いて、ステップＳ１０９において、通信制御部４４は、ステップＳ１０８において校正用データ生成部４２が生成した校正用データを通信部４７を介して撮像システム２に送信する。

（Ｓ１１０）
続いて、ステップＳ１１０において、通信制御部２２は、通信部２７を介してステップＳ１１０において通信部４７が送信した校正用データを取得し、記憶部２８に格納する。

（Ｓ１１１）
続いて、ステップＳ１１１において、画像処理部２１は、ステップＳ１１１において記憶部２８に格納された校正用データを用いて、複数の固定カメラ２９のキャリブレーションを行う。

また、例えば固定カメラ２９の撮像画像を所定の地図情報に対してマッピングしてもよい。

即ち、校正用データ生成部４２は、複数の基準画像（第１の撮像画像）を所定の地図情報に対してマッピングする為の校正データを生成すると言い換えることもできる。

上記の構成によれば、所定の地図情報の一部又は全部を、実際の撮像画像に置き換えることができる。

以上が図２のフローチャートに基づく処理の流れである。

上述したように、校正用データ生成装置４は、複数の固定カメラ（第１の撮像装置）２９が撮像した複数の基準画像（第１の撮像画像）と、１又は複数の校正用カメラ（第２の撮像装置）３が撮像した１又は複数の校正用画像（第２の撮像画像）とを取得する取得部４１と、複数の固定カメラ（第１の撮像装置）２９の相対的な位置関係を特定する為の校正用データを、前記複数の基準画像（第１の撮像画像）及び前記１又は複数の校正用画像（第２の撮像画像）から生成する校正用データ生成部４２とを備える。なお、上述した相対的な位置関係とは相対的な位置及び姿勢（角度）を意味する。

上記の構成によれば、撮像範囲が重畳しない撮像装置の相対的な位置関係を特定する為の校正用データを好適に生成することができる。また、上記校正用データを用いることにより上記位置関係を高精度且つユーザにとって容易に特定できる。

＜実施形態２＞
本発明の第２の実施形態について、図１〜図８に基づいて説明する。

本実施形態においては、固定カメラ２９の位置姿勢を高精度に算出するために不足している撮像範囲を、ユーザが表示画面により確認できる構成について説明する。なお便宜上、上記の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、説明を省略する。

〔キャリブレーションシステム１ａの構成〕
図６に基づいて本実施形態の構成の一例について説明する。

図６は、本実施形態に係るキャリブレーションシステム１ａの機能ブロック図である。

キャリブレーションシステム１ａは、図１に示すキャリブレーションシステム１に加えて、校正用データ生成装置４ａが表示部４６を備え、制御部４０ａが、表示制御部４５を備える構成である。

本実施形態における処理の流れについて図２〜図８に基づいてステップごとに説明する。

図７は、本実施形態に係る処理の流れを示すフローチャートである。

（Ｓ１０１〜Ｓ１０２）
ステップＳ１０１及びステップＳ１０２においては、実施形態１と同様の処理を行う。

（Ｓ２０３）
続いて、ステップＳ２０３において、校正用データ生成部４２は、固定カメラ２９が撮像した基準画像と校正用カメラ３が撮像した校正用画像とのマッチングを行い、基準画像と校正用画像とが所定の枚数以上、記憶部４８に蓄積された段階で、固定カメラ２９の撮像範囲と校正用カメラ３の撮像範囲とを合わせた撮像範囲に含まれる物体を３次元復元する。

また、校正用データ生成部４２は、被写体である上記物体を３次元復元する処理に加え、実施形態１と同様に上記物体のサイズを特定する構成でもよい。

（Ｓ２０４）
続いて、ステップＳ２０４においては、校正用データ生成部４２が、撮像画像が不足している領域を算出する。

当初から記憶部４８には、固定カメラ２９の撮像範囲と校正用カメラ３の撮像範囲とを含む所定の場所の地形データが格納されているものとする。

本ステップにおいて、校正用データ生成部４２は、上記地形データを参照し、複数の固定カメラ（第１の撮像装置）２９のキャリブレーションを行うにあたり撮像画像が不足している領域を算出する。

（Ｓ２０５）
続いて、ステップにＳ２０５においては、校正用データ生成部４２が、複数の固定カメラ２９のキャリブレーションを行う為の撮像画像が不足しているか否かを判定する。

複数の固定カメラ２９のキャリブレーションを行う為の撮像画像が不足している場合は、ステップＳ２０６へ遷移し、不足していない場合は、ステップＳ１０７へ遷移する。

（Ｓ２０６）
ステップＳ２０６において、表示制御部４５は、ステップＳ２０４において校正用データ生成部４２が算出した不足領域を判別可能に表示部４６に表示させる。

表示部４６は、複数の固定カメラ（第１の撮像装置）２９のキャリブレーションを行う為に撮影が不足している領域を表示する。

図８は、所定の場所において撮像画像が不足している領域の表示例を示す図である。

上記表示例としては、（ａ）に示すように、撮像画像が不足している領域を明示的に表示してもよい。また、（ｂ）に示すように、キャリブレーションに要する周辺の撮像画像が不足している固定カメラ２９を示してもよい。また、（ｃ）に示すように、十分な範囲において３次元復元がなされているかを、ユーザが表示部４６を目視し、判定できる構成でもよい。

上述の処理を行ったのち、次いでステップＳ１０２へ遷移する。

（Ｓ１０７〜Ｓ１１１）
ステップＳ１０７からステップＳ１１１においては、実施形態１と同様の処理を行う。

以上が図７のフローチャートに基づく処理の流れである。

上記の構成によれば、固定カメラ２９のキャリブレーションを行うにあたり不足している撮像範囲をユーザが把握でき、校正用カメラ３をどう動かせばよいかが大まかに分かる為、ユーザの利便性向上に寄与する。

＜実施形態１及び２に係る付記事項＞
上述の各実施形態における複数の基準画像（第１の撮像画像）及び１又は複数の校正用画像（第２の撮像画像）は、例えば赤外線等の不可視光線を撮像した撮像画像であってもよい。

上記の構成によれば、例えば人間の目には暗闇に見える場所においても、撮像範囲が重畳しない撮像装置の相対的な位置関係を特定する為の校正用データを生成する校正用データ生成装置４及び４ａを実現でき、上記校正用データを用いることにより上記位置関係を高精度且つユーザにとって容易に特定できる。

キャリブレーションシステム１ａが、図６には図示しない例えばドローンのような移動可能なロボット等の機器を備え、校正用カメラ３は、上記機器に備え付けられたカメラである構成でもよい。上記の構成においては、上記ロボットが、撮像が不足している領域を示すデータを取得し、上記データに応じて自動的に移動する構成でもよい。

また、１又は複数の校正用画像（第２の撮像画像）は、不特定の（任意の）撮影者若しくは撮影機器により撮像された撮像画像、又は不特定な（任意の）時期に撮像された撮像画像であってもよい。例えば１又は複数の校正用画像は、任意のユーザによりソーシャルネットワーキングサービスに投稿された撮像画像であってもよい。

具体的には、取得部４１が、通信部４７を介して、校正用データ生成装置４と連携しているウェブサーバ等のサーバから、校正用画像として好適な撮像画像、例えば任意のユーザによりソーシャルネットワーキングサービスに投稿された撮像画像を取得し、以降の処理に用いる。

上記の構成によれば、ユーザが、校正用画像を撮像する手間を低減することができる。

また、撮像システム２が、１又は複数の校正用カメラ３を備える構成でもよい。上記の構成においては、校正用データ生成装置４又は４ａが校正用カメラ３のキャリブレーションを行う為の校正用データを生成し、画像処理部２１が、上記データを用いて校正用カメラ３のキャリブレーションを行ってもよい。

〔ソフトウェアによる実現例〕
校正用データ生成装置４及び４ａの制御ブロック（特に校正用データ生成部４２およびサイズ情報取得部４３）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、校正用データ生成装置４及び４ａは、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１、１ａ キャリブレーションシステム
２ 撮像システム
３ 校正用カメラ（第２の撮像装置）
４、４ａ 校正用データ生成装置
２０、４０、４０ａ 制御部
２１ 画像処理部
２２、４４ 通信制御部
２７、４７ 通信部
２８、４８ 記憶部
２９ 固定カメラ（第１の撮像装置）
４１ 取得部
４２ 校正用データ生成部
４３ サイズ情報取得部
４５ 表示制御部
４６ 表示部

Claims (14)

1. 複数の第１の撮像装置が撮像した複数の第１の撮像画像と、１又は複数の第２の撮像装置が撮像した１又は複数の第２の撮像画像とを取得する取得部と、
   前記複数の第１の撮像装置の相対的な位置関係を特定する為の校正用データを、前記複数の第１の撮像画像及び前記１又は複数の第２の撮像画像から生成する校正用データ生成部と
   を備えることを特徴とする校正用データ生成装置。
2. 前記取得部は、
   移動可能な機器が備える１若しくは複数の第２の撮像装置が撮像した１若しくは複数の第２の撮像画像、又は、
   移動機構を別途備える１若しくは複数の第２の撮像装置が撮像した１若しくは複数の第２の撮像画像
   を取得することを特徴とする請求項１に記載の校正用データ生成装置。
3. 前記１又は複数の第２の撮像画像は、
   前記複数の第１の撮像画像と少なくとも一部が重畳した範囲を撮像した画像である
   ことを特徴とする請求項１又は２に記載の校正用データ生成装置。
4. 前記複数の第１の撮像画像は、
   互いに重畳しない範囲を撮像した画像であるか、互いに重畳する範囲が所定の範囲よりも少ない
   ことを特徴とする請求項１から３までの何れか１項に記載の校正用データ生成装置。
5. 所定の物体と前記物体のサイズとの対応関係情報を取得するサイズ情報取得部を更に備え、
   前記校正用データ生成部は、
   前記対応関係情報を参照して、
   前記複数の第１の撮像画像と、前記１又は複数の第２の撮像画像とのうち、少なくとも何れかの撮像画像内に存在する物体のサイズを特定する
   ことを特徴とする請求項１から４までの何れか１項に記載の校正用データ生成装置。
6. 前記校正用データ生成部は、
   前記複数の第１の撮像装置の撮像範囲と、前記１又は複数の第２の撮像装置の撮像範囲とのうち、少なくとも何れかの範囲に含まれる物体を３次元復元することが可能か否かを判定する
   ことを特徴とする請求項１から５までの何れか１項に記載の校正用データ生成装置。
7. 表示部を更に備え、
   前記表示部は、前記複数の第１の撮像装置のキャリブレーションを行う為に撮影が不足している領域を表示する
   ことを特徴とする請求項６に記載の校正用データ生成装置。
8. 前記校正用データ生成部は、
   前記複数の第１の撮像画像と、前記１又は複数の第２の撮像画像とから、
   前記複数の第１の撮像装置における撮像範囲の互いの重畳範囲を算出する
   ことを特徴とする請求項１から７までの何れか１項に記載の校正用データ生成装置。
9. 前記１又は複数の第２の撮像画像は、
   不特定の撮影者若しくは撮影機器により撮像された撮像画像、又は不特定な時期に撮像された撮像画像である
   ことを特徴とする請求項１から７までの何れか１項に記載の校正用データ生成装置。
10. 前記複数の第１の撮像画像と、前記１又は複数の第２の撮像画像とは、
    不可視光線を撮像した撮像画像である
    ことを特徴とする請求項１から８までの何れか１項に記載の校正用データ生成装置。
11. 前記校正用データ生成部は、
    前記複数の第１の撮像画像を所定の地図情報に対してマッピングする為の校正データを生成する
    ことを特徴とする請求項１から９までの何れか１項に記載の校正用データ生成装置。
12. 生成装置によって実行される校正用データ生成方法であって、
    複数の第１の撮像装置が撮像した複数の第１の撮像画像と、１又は複数の第２の撮像装置が撮像した１又は複数の第２の撮像画像とを取得する取得ステップと、
    前記複数の第１の撮像装置の相対的な位置関係を特定する為の校正用データを、前記複数の第１の撮像画像及び前記１又は複数の第２の撮像画像から生成する位置関係算出ステップと
    を含むことを特徴とする校正用データ生成方法。
13. 撮像システムと、校正用データ生成装置と、１又は複数の第２の撮像装置とを備えたキャリブレーションシステムであって、
    前記撮像システムは、
    複数の第１の撮像装置と、画像処理部とを備え、
    前記校正用データ生成装置は、
    取得部と、校正用データ生成部を備え、
    前記取得部は、前記複数の第１の撮像装置が撮像した複数の第１の撮像画像と、前記１又は複数の第２の撮像装置が撮像した１又は複数の第２の撮像画像とを取得し、
    前記校正用データ生成部は、前記複数の第１の撮像画像と、前記１又は複数の第２の撮像画像とから、前記複数の第１の撮像装置の相対的な位置関係を特定する為の校正用データを生成し、
    前記画像処理部は、
    前記校正用データを参照して、前記複数の第１の撮像装置のキャリブレーションを行う
    ことを特徴とするキャリブレーションシステム。
14. 請求項１から１１までのいずれか１項に記載の校正用データ生成装置としてコンピュータを機能させるための制御プログラムであって、前記取得部及び前記校正用データ生成部としてコンピュータを機能させるための制御プログラム。

Images