JP2016017913A - 姿勢情報作成システム、姿勢情報作成方法及び姿勢情報作成プログラム - Google Patents

姿勢情報作成システム、姿勢情報作成方法及び姿勢情報作成プログラム Download PDF

Info

Publication number
JP2016017913A
JP2016017913A JP2014142474A JP2014142474A JP2016017913A JP 2016017913 A JP2016017913 A JP 2016017913A JP 2014142474 A JP2014142474 A JP 2014142474A JP 2014142474 A JP2014142474 A JP 2014142474A JP 2016017913 A JP2016017913 A JP 2016017913A
Authority
JP
Japan
Prior art keywords
vector
coordinate system
posture information
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014142474A
Other languages
English (en)
Inventor
仕剛 李
Shigo Ri
仕剛 李
ブゴウ ゾウ
Wuhe Zou
ブゴウ ゾウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tottori University NUC
Original Assignee
Tottori University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tottori University NUC filed Critical Tottori University NUC
Priority to JP2014142474A priority Critical patent/JP2016017913A/ja
Publication of JP2016017913A publication Critical patent/JP2016017913A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】設置場所の影響を低減可能であって、より正確に２つのカメラの相対姿勢情報を算出可能な手段を提供する。
【解決手段】相対姿勢情報作成システムは、第１のカメラ１２と、撮影範囲が第１のカメラの撮影範囲と重ならないように配置される第２のカメラ１４と、第１及び第２のカメラの相対的な姿勢情報を算出する相対姿勢情報作成装置２２と、光源２０が取り付けられた第１の姿勢情報作成用部材１６と、を備える。相対姿勢情報作成装置２２は、第２のカメラの撮影範囲に光源２０からの光線の光スポットが生じるように第１のカメラ１２の撮影範囲に配置された第１の姿勢情報作成用部材１６を第１のカメラ１２が撮影した画像と、第２のカメラ１４で撮影された光スポットの像を含む画像とを、光源の位置情報及び前記光スポットの位置情報とによって関連づけることによって、第１及び第２のカメラの相対姿勢情報を算出する。
【選択図】図１

Description

本発明は、撮影範囲が重複しない２つのカメラの姿勢情報を作成するための姿勢情報作成システム、姿勢情報作成方法及び姿勢情報作成プログラムに関する。
撮影範囲が重複しない２つのカメラの画像を関連付けて使用するシステムでは、各カメラからの画像を関連付けるために、２つのカメラの相対姿勢情報を算出しておく必要がある。通常、２つのカメラの相対姿勢情報を算出する場合には、２つのカメラの撮影範囲の重複した部分を参照することによって行っている。しかしながら、上述したように、２つのカメラが、撮影範囲が重複しないように配置される場合には、従来の手法は使用できない。そこで、非特許文献１では、撮影範囲の異なるように配置された２つのカメラで同じシーンを撮影するためにミラーを利用した技術が開示されている。
Amit Agrawal, "Extrinsic Camera Calibration Without A Direct View UsingSpherical Mirror," IEEE, DOI 10.1109/ICCV.2013.294, pp2368-2375
非特許文献１記載の技術では、撮影範囲の異なるように配置された２つのカメラで同じシーンを撮影するためにミラーを配置しなければならない。この場合、例えば、車内状況、具体的には、運転手の状況を撮影するために車内に取り付けられるカメラと、車外状況を撮影するために、車外に取り付けられたカメラの相対姿勢情報を算出しようとした際、車体のフレームなどの関係でミラーが配置できない場合がある。また、一方のカメラはミラーによる虚像を撮影し、他方のカメラは実像を撮影しているので、２つのカメラの画像の重複部分を参照して上記相対姿勢情報を算出しても誤差が大きくなると考えられる。
そこで、本発明は、設置場所の影響を低減可能であって、より正確に２つのカメラの相対姿勢情報を算出可能な手段を提供することを目的とする。
本発明の一側面に係る相対姿勢情報作成システムは、第１のカメラと、撮影範囲が第１のカメラの撮影範囲と重ならないように配置される第２のカメラと、第１及び第２のカメラの相対的な姿勢情報を算出する相対姿勢情報作成装置と、光源が取り付けられた第１の姿勢情報作成用部材と、を備え、相対姿勢情報作成装置は、第１の姿勢情報作成用部材が、第２のカメラの撮影範囲に光源からの光線の光スポットが生じるように第１のカメラの撮影範囲に配置されている状態において、第１のカメラで撮影された第１の姿勢情報作成用部材を含む画像と、第２のカメラで撮影された光スポットの像を含む画像とを、光源の位置情報及び光スポットの位置情報によって関連づけることによって、第１及び第２のカメラの相対姿勢情報を作成する。
本発明の他の側面に係る相対姿勢情報作成方法は、撮影範囲が重ならないように配置される第１及び第２のカメラの相対姿勢情報を算出する相対姿勢情報作成方法であって、撮影範囲が重ならないように配置された第１及び第２のカメラによる画像取得工程であって、第１のカメラは、光源が取り付けられており第２のカメラの撮影範囲に光源からの光線の光スポットが生じるように配置された第１の姿勢情報作成用部材の像を含む画像を取得し、第２のカメラは光スポットの像を含む画像を取得する相対姿勢用画像取得工程と、第１のカメラで得られた第１の姿勢情報作成用部材の像を含む画像と、第２のカメラで得られた光スポットの像を含む画像とを、光源の位置情報及び光スポットの位置情報によって関連づけることによって、第１及び第２のカメラの相対姿勢情報を作成する相対姿勢情報作成工程と、を備える。
本発明の更に他の側面に係る相対姿勢作成プログラムは、撮影範囲が重ならないように配置された第１及び第２のカメラの相対姿勢情報を算出するための相対姿勢情報作成プログラムであって、コンピュータに、撮影範囲が重ならないように配置された第１及び第２のカメラのうち第１のカメラで取得された画像であって、光源が取り付けられており第２のカメラの撮影範囲に光源からの光線の光スポットが生じるように配置された第１の姿勢情報作成用部材の像を含む画像と、第２のカメラで撮影された光スポットの像を含む画像とを、光源の位置情報及び光スポットの位置情報によって関連づけることによって、第１及び第２のカメラの相対姿勢情報を作成する相対姿勢情報作成工程を、実行せしめる。
上記相対姿勢情報作成装置、相対姿勢情報作成方法及び相対姿勢情報作成プログラムでは、第１及び第２のカメラの撮影範囲が重なっていなくても、光源と光スポットの位置情報で、第１及び第２のカメラの画像を関連付けることができる。この場合、光源及び光スポットがそれぞれ第１及び第２のカメラの撮影範囲内にあればよく、光源の位置を固定できれば、光スポットの位置も固定されるので、光源及び光スポットの関係もより安定する。その結果、設置場所の影響を低減可能であって、より正確に２つのカメラの相対姿勢情報を算出可能である。
上記相対姿勢情報作成装置、相対姿勢情報作成方法及び相対姿勢情報作成プログラムにおいて、レーザ光を出力するレーザ光源であってもよい。
レーザ光は、指向性を有するので、光源と光スポットの位置情報で、第１及び第２のカメラの画像をより容易に関連付けることが可能である。
以下の種々の形態の説明では、第１のカメラに対して設定される３次元座標系を第１の座標系とし、第２のカメラに対して設定される３次元座標系を第２の座標系とし、第１の姿勢情報作成用部材に対して設定される３次元座標系を第３の座標系とする。第１及び第２のカメラの相対姿勢情報を、第２の座標系を第１の座標系に変換する第１の回転行列Ｒ及び第１の並進ベクトルＴとし、第１の姿勢情報作成用部材と第１のカメラとの相対姿勢情報を、第３の座標系を第１の座標系に変換する第２の回転行列Ｒ１及び第２の並進ベクトルＴ１とする。
一実施形態に係る相対姿勢情報作成システムは、第２のカメラの撮影範囲内に配置される第２の姿勢情報作成用部材を更に備え、第１及び第２の姿勢情報作成用部材のそれぞれは、第１及び第２の姿勢情報作成用パターンを有しており、第２の姿勢情報作成用部材に対して設定される３次元座標系を第４の座標系とし、第２の姿勢情報作成用部材と第２のカメラとの相対姿勢情報を、第４の座標系を前記第２の座標系に変換する第３の回転行列Ｒ２及び第３の並進ベクトルＴ２としたとき、相対姿勢情報作成装置は、第１の座標系において、光源から出力される光線の方向ベクトルｎ１の方向と、光源の位置である点Ｐから光スポットの位置である点Ｑに向かうベクトルＰＱ１の方向とが一致するという共線制約と共に、ベクトルＰＱ１と方向ベクトルｎ１との内積が１であり、第１の回転行列Ｒを表す四元数の絶対値の２乗が１であるという制約に基づいた、第１の回転行列Ｒ及び第１の並進ベクトルＴを変数とする第１の誤差関数を非線形推定することによって、第１の誤差関数の非線形解であるＲＥＮＬ及びＴＥＮＬを第１の回転行列Ｒ及び第１の並進ベクトルＴとして算出する非線形推定部を有し、ベクトルＰＱ１は、第１の座標系における点Ｐの位置ベクトルＰ１と、第２の座標系における点Ｑの位置ベクトルＱ２と、第１の回転行列Ｒと、第１の並進ベクトルＴとによって表され、方向ベクトルｎ１は、第３の座標系における光線の方向ベクトルｎ３と、第２の回転行列Ｒ１とによって算出され、位置ベクトルＰ１は、第１のカメラで撮影された画像内の光源の像に基づいて算出される第３の座標系における点Ｐの位置ベクトルＰ３と、第２の回転行列Ｒ１と、第２の並進ベクトルＴ１とによって算出され、位置ベクトルＱ２は、第２のカメラで撮影された画像内の光スポットの像に基づいて算出される第４の座標系における点Ｑの位置ベクトルＱ４と、第３の回転行列Ｒ２及び第３の並進ベクトルＴ２とによって算出され、第２の回転行列Ｒ１及び第２の並進ベクトルＴ１は、第１のカメラで撮影された画像内の第１の姿勢情報作成用パターンの像に基づいて算出され、第３の回転行列Ｒ２及び第３の並進ベクトルＴ２は、第２のカメラで撮影された画像内の第２の姿勢情報作成用パターンの像に基づいて算出されてもよい。
同様に、一実施形態に係る相対姿勢情報作成方法の相対姿勢用画像取得工程では、第２のカメラは、第２のカメラの撮影範囲内に配置され光スポットが生じている第２の姿勢情報作成用部材の像を含む画像を取得し、第１及び第２の姿勢情報作成用部材のそれぞれは、第１及び第２の姿勢情報作成用パターンを有しており、第２の姿勢情報作成用部材に対して設定される３次元座標系を第４の座標系とし、第２の姿勢情報作成用部材と第２のカメラとの相対姿勢情報を、第４の座標系を第２の座標系に変換する第３の回転行列Ｒ２及び第３の並進ベクトルＴ２としたとき、相対姿勢情報作成工程は、第１の座標系において、光源から出力される光線の方向ベクトルｎ１の方向と、光源の位置である点Ｐから光スポットの位置である点Ｑに向かうベクトルＰＱ１の方向とが一致するという共線制約と共に、ベクトルＰＱ１と方向ベクトルｎ１との内積が１であり、第１の回転行列Ｒを表す四元数の絶対値の２乗が１であるという制約に基づいた、第１の回転行列Ｒ及び第１の並進ベクトルＴを変数とする第１の誤差関数を非線形推定することによって、第１の誤差関数の非線形解であるＲＥＮＬ及びＴＥＮＬを第１の回転行列Ｒ及び第１の並進ベクトルＴとして算出する非線形推定工程を有し、ベクトルＰＱ１は、第１の座標系における点Ｐの位置ベクトルＰ１と、第２の座標系におけるＱの位置ベクトルＱ２と、第１の回転行列Ｒと、第１の並進ベクトルＴとによって表され、方向ベクトルｎ１は、第３の座標系における光線の方向ベクトルｎ３と、第２の回転行列Ｒ１とによって算出され、位置ベクトルＰ１は、第１のカメラで撮影された画像内の光源の像に基づいて算出される第３の座標系における点Ｐの位置ベクトルＰ３と、第２の回転行列Ｒ１と、第２の並進ベクトルＴ１とによって算出され、位置ベクトルＱ２は、第２のカメラで撮影された画像内の光スポットの像に基づいて算出される第４の座標系における点Ｑの位置ベクトルＱ４と、第３の回転行列Ｒ２及び第３の並進ベクトルＴ２によって算出され、第２の回転行列Ｒ１及び第２の並進ベクトルＴ１は、第１のカメラで撮影された画像内の第１の姿勢情報作成用パターンの像に基づいて算出され、第３の回転行列Ｒ２及び第３の並進ベクトルＴ２は、第２のカメラで撮影された画像内の第２の姿勢情報作成用パターンの像に基づいて算出されてもよい。
同様に、一実施形態に係る相対姿勢情報作成プログラムにおいて、第２のカメラが撮影した光スポットを含む画像は、第２の姿勢情報作成用部材の像を含む画像であり、第１及び第２の姿勢情報作成用部材のそれぞれは、第１及び第２の姿勢情報作成用パターンを有しており、第２の姿勢情報作成用部材に対して設定される３次元座標系を第４の座標系とし、第２の姿勢情報作成用部材と第２のカメラとの相対姿勢情報を、第４の座標系を第２の座標系に変換する第３の回転行列Ｒ２及び第３の並進ベクトルＴ２としたとき、相対姿勢情報作成工程は、第１の座標系において、光源から出力される光線の方向ベクトルｎ１の方向と、光源の位置である点Ｐから光スポットの位置である点Ｑに向かうベクトルＰＱ１の方向とが一致するという共線制約と共に、ベクトルＰＱ１と方向ベクトルｎ１との内積が１であり、第１の回転行列Ｒを表す四元数の絶対値の２乗が１であるという制約に基づいた、第１の回転行列Ｒ及び第１の並進ベクトルＴを変数とする第１の誤差関数を非線形推定することによって、第１の誤差関数の非線形解であるＲＥＮＬ及びＴＥＮＬを第１の回転行列Ｒ及び第１の並進ベクトルＴとして算出する非線形推定工程を有し、ベクトルＰＱ１は、第１の座標系における点Ｐの位置ベクトルＰ１と、第２の座標系における点Ｑの位置ベクトルＱ２と、第１の回転行列Ｒと、第１の並進ベクトルＴとによって表され、方向ベクトルｎ１は、第３の座標系における光線の方向ベクトルｎ３と、第２の回転行列Ｒ１とによって算出され、位置ベクトルＰ１は、第１のカメラで撮影された画像内の光源の像に基づいて算出される第３の座標系における点Ｐの位置ベクトルＰ３と、第２の回転行列Ｒ１と、第２の並進ベクトルＴ１とによって算出され、位置ベクトルＱ２は、第２のカメラで撮影された画像内の光スポットの像に基づいて算出される第４の座標系における点Ｑの位置ベクトルＱ４と、第３の回転行列Ｒ２及び第３の並進ベクトルＴ２とによって算出され、第２の回転行列Ｒ１及び第２の並進ベクトルＴ１は、第１のカメラで撮影された画像内の第１の姿勢情報作成用パターンの像に基づいて算出され、第３の回転行列Ｒ２及び第３の並進ベクトルＴ２は、第２のカメラで撮影された画像内の第２の姿勢情報作成用パターンの像に基づいて算出されてもよい。
この場合、共線制約の元で、Ｒ及びＴを算出できる。その結果、より正確にＲ及びＴを算出可能である。
一実施形態に係る相対姿勢情報作成システムでは、第２のカメラは、撮影対象の２次元画像を取得する２次元カメラ部と、撮影対象までの距離情報を含む距離画像を取得する距離画像取得部と、を有しており、第１の姿勢情報作成用部材は、第１の姿勢情報作成用パターンを有しており、相対姿勢情報作成装置は、第１の座標系において、光源から出力される光線の方向ベクトルｎ１の方向と、光源の位置である点Ｐから光スポットの位置である点Ｑに向かうベクトルＰＱ１の方向とが一致するという共線制約と共に、ベクトルＰＱ１と方向ベクトルｎ１との内積が１であり、第１の回転行列Ｒを表す四元数の絶対値の２乗が１であるという制約に基づいた、第１の回転行列Ｒ及び第１の並進ベクトルＴを変数とする第１の誤差関数を非線形推定することによって、第１の誤差関数の非線形解であるＲＥＮＬ及びＴＥＮＬを第１の回転行列Ｒ及び第１の並進ベクトルＴとして算出する非線形推定部を有し、ベクトルＰＱ１は、第１の座標系における点Ｐの位置ベクトルＰ１と、第２の座標系における点Ｑの位置ベクトルＱ２と、第１の回転行列Ｒと、第１の並進ベクトルＴとによって表され、方向ベクトルｎ１は、第３の座標系における光線の方向ベクトルｎ３と、第２の回転行列Ｒ１とによって算出され、位置ベクトルＰ１は、第１のカメラで撮影された画像内の光源の像に基づいて算出される第３の座標系における点Ｐの位置ベクトルＰ３と、第２の回転行列Ｒ１と、第２の並進ベクトルＴ１とによって算出され、位置ベクトルＱ２は、２次元カメラ部で撮影された画像と距離画像取得部で取得された距離画像とに含まれる光スポットの像とに基づいて算出され、第２の回転行列Ｒ１及び第２の並進ベクトルＴ１は、第１のカメラで撮影された画像内の第１の姿勢情報作成用パターンの像から算出されてもよい。
一実施形態に係る相対姿勢情報作成方法では、第２のカメラは、撮影対象の２次元画像を取得する２次元カメラ部と、撮影対象までの距離情報を含む距離画像を取得する距離画像取得部と、を有しており、第１の姿勢情報作成用部材は、第１の姿勢情報作成用パターンを有しており、相対姿勢情報作成工程は、第１の座標系において、光源から出力される光線の方向ベクトルｎ１の方向と、光源の位置である点Ｐから光スポットの位置である点Ｑに向かうベクトルＰＱ１の方向とが一致するという共線制約と共に、ベクトルＰＱ１と方向ベクトルｎ１との内積が１であり、第１の回転行列Ｒを表す四元数の絶対値の２乗が１であるという制約に基づいた、第１の回転行列Ｒ及び第１の並進ベクトルＴを変数とする第１の誤差関数を非線形推定することによって、第１の誤差関数の非線形解であるＲＥＮＬ及びＴＥＮＬを第１の回転行列Ｒ及び第１の並進ベクトルＴとして算出する非線形推定工程と、を有し、ベクトルＰＱ１は、第１の座標系において点Ｐの位置を示す位置ベクトルＰ１と、第２の座標系における点Ｑの位置ベクトルＱ２と、第１の回転行列Ｒと、第１の並進ベクトルＴとによって表され、方向ベクトルｎ１は、第３の座標系における光線の方向ベクトルｎ３と、第２の回転行列Ｒ１とによって算出され、位置ベクトルＰ１は、第１のカメラで撮影された画像内の光源の像に基づいて算出される第３の座標系における点Ｐの位置ベクトルＰ３と、第２の回転行列Ｒ１と、第２の並進ベクトルＴ１とによって算出され、位置ベクトルＱ２は、２次元カメラ部で撮影された画像と距離画像取得部で取得された距離画像とに含まれる光スポットの像とに基づいて算出され、第２の回転行列Ｒ１及び第２の並進ベクトルＴ１は、第２の回転行列Ｒ１及び第２の並進ベクトルＴ１は、第１のカメラで撮影された画像内の第１の姿勢情報作成用パターンの像から算出されてもよい。
一実施形態における相対姿勢情報作成プログラムでは、第２のカメラは、撮影対象の２次元画像を取得する２次元カメラ部と、撮影対象までの距離情報を含む距離画像を取得する距離画像取得部と、を有しており、第１の姿勢情報作成用部材は、第１の姿勢情報作成用パターンを有しており、相対姿勢情報作成工程は、第１の座標系において、光源から出力される光線の方向ベクトルｎ１の方向と、光源の位置である点Ｐから光スポットの位置である点Ｑに向かうベクトルＰＱ１の方向とが一致するという共線制約と共に、ベクトルＰＱ１と方向ベクトルｎ１との内積が１であり、第１の回転行列Ｒを表す四元数の絶対値の２乗が１であるという制約に基づいた、第１の回転行列Ｒ及び第１の並進ベクトルＴを変数とする第１の誤差関数を非線形推定することによって、第１の誤差関数の非線形解であるＲＥＮＬ及びＴＥＮＬを第１の回転行列Ｒ及び第１の並進ベクトルＴとして算出する非線形推定工程を有し、ベクトルＰＱ１は、第１の座標系における点Ｐの位置ベクトルＰ１と、第２の座標系における点Ｑの位置ベクトルＱ２と、第１の回転行列Ｒと、第１の並進ベクトルＴとによって表され、方向ベクトルｎ１は、第３の座標系における光線の方向ベクトルｎ３と、第２の回転行列Ｒ１とによって算出され、位置ベクトルＰ１は、第１のカメラで撮影された画像内の光源の像に基づいて算出される第３の座標系における点Ｐの位置ベクトルＰ３と、第２の回転行列Ｒ１と、第２の並進ベクトルＴ１とによって算出され、位置ベクトルＱ２は、２次元カメラ部で撮影された画像と距離画像取得部で取得された距離画像とに含まれる光スポットの像とに基づいて算出され、第２の回転行列Ｒ１及び第２の並進ベクトルＴ１は、第１のカメラで撮影された画像内の第１の姿勢情報作成用パターンの像から算出されてもよい。
上記相対姿勢情報作成システム、相対姿勢情報作成方法及び相対姿勢情報作成プログラムでは、第２のカメラによって距離画像を取得できるので、光スポットが第２のカメラの撮影範囲内に生じていれば、光スポットの位置を特定できる。そのため、簡易な構成で、共線制約を利用してＲ及びＴを作成できることになる。
一実施形態に係る相対姿勢情報作成システムにおける相対姿勢情報作成装置は、上記共線制約を示す線形方程式を線形推定することによって、線形方程式の線形解であるＲＥＬ及びＴＥＬを第１の回転行列Ｒと、第１の並進ベクトルＴとして算出する線形推定部を更に有し、非線形推定部は、上記ＲＥＬ及びＴＥＬを初期値として使用して、第１の誤差関数を最適化してもよい。同様に、一実施形態に係る相対姿勢情報作成方法における相対姿勢情報作成工程は、共線制約を示す線形方程式を線形推定することによって、前記線形方程式の線形解としてのＲＥＬ及びＴＥＬを前記第１の回転行列Ｒ及び第１の並進ベクトルＴとして算出する線形推定工程を更に有し、非線形推定工程では、前記ＲＥＬ及びＴＥＬを初期値として使用して、前記第１の誤差関数を最適化してもよい。同様に、一実施形態に係る相対姿勢情報作成プログラムにおいて、相対姿勢情報作成工程は、共線制約を示す線形方程式を線形推定することによって、前記線形方程式の線形解であるＲＥＬ及びＴＥＬを前記第１の回転行列Ｒ及び第１の並進ベクトルＴとして算出する線形推定工程を更に有し、記非線形推定工程は、前記ＲＥＬ及びＴＥＬを初期値として使用して、前記第１の誤差関数を最適化してもよい。
上記相対姿勢情報作成システム、相対姿勢情報作成方法及び相対姿勢情報作成プログラムでは、第１の誤差関数を最適化する際に、共線制約を示す線形方程式の線形解を初期値として使用するので、より正確に、Ｒ及びＴを作成可能である。
一実施形態に係る相対姿勢情報作成システムでは、前記第１の姿勢情報作成用部材は、第１の姿勢情報作成用パターンを有しており、前記相対姿勢情報作成装置は、前記第１の座標系において、光源の位置である点Ｐから第２の座標系の原点Ｏ２に向かうベクトルＰＯ２ １と、点Ｐから光スポットの位置である点Ｑに向かうベクトルＰＱ１と、原点Ｏ２から点Ｑに向かうベクトルＯ２Ｑ１とが同じ平面上に位置するという共面制約に基づいた、第１の回転行列Ｒ及び第１の並進ベクトルＴを変数とする第３の誤差関数を非線形推定することによって、第３の誤差関数の非線形解であるＲＥＮＬ及びＴＥＮＬを第１の回転行列Ｒ及び第１の並進ベクトルＴとして算出する非線形推定部を有し、ベクトルＰＯ２ １は、第１の座標系における点Ｐの位置ベクトルＰ１と、第１の並進ベクトルＴとによって表され、ベクトルＰＱ１は、第２の回転行列Ｒ１と、第１の座標系において、光源から出力される光線の方向ベクトルｎ１によって表され、ベクトルＯ２Ｑ１は、第１の回転行列と、第２の座標系における点Ｑの位置ベクトルＱ２とによって表され、方向ベクトルｎ１は、第３の座標系における光線の方向ベクトルｎ３と、第２の回転行列Ｒ１とによって算出され、位置ベクトルＰ１は、第１のカメラで撮影された画像内の光源の像に基づいて算出される第３の座標系における点Ｐの位置ベクトルＰ３と、第２の回転行列Ｒ１と、第２の並進ベクトルＴ１とによって算出され、位置ベクトルＱ２は、第２のカメラで撮影された画像内の光スポットの像に基づいて算出され、第２の回転行列Ｒ１及び第２の並進ベクトルＴ１は、第１のカメラで撮影された画像内の第１の姿勢情報作成用パターンの像から算出されてもよい。
一実施形態に係る相対姿勢情報作成方法では、第１の姿勢情報作成用部材は、第１の姿勢情報作成用パターンを有しており、相対姿勢情報作成工程は、第１の座標系において、光源の位置である点Ｐから第２の座標系の原点Ｏ２に向かうベクトルＰＯ２ １と、点Ｐから光スポットの位置である点Ｑに向かうベクトルＰＱ１と、原点Ｏ２から点Ｑに向かうベクトルＯ２Ｑ１とが同じ平面上に位置するという共面制約に基づいた、第１の回転行列Ｒ及び第１の並進ベクトルＴを変数とする第３の誤差関数を非線形推定することによって、第３の誤差関数の非線形解であるＲＥＮＬ及びＴＥＮＬを第１の回転行列Ｒ及び第１の並進ベクトルＴとして算出する非線形推定工程、を有し、ベクトルＰＯ２ １は、第１の座標系における点Ｐの位置ベクトルＰ１と、第１の並進ベクトルＴとによって表され、ベクトルＰＱ１は、第２の回転行列Ｒ１と、第１の座標系において、光源から出力される光線の方向ベクトルｎ１によって表され、ベクトルＯ２Ｑ１は、第１の回転行列と、第２の座標系における点Ｑの位置ベクトルＱ２とによって表され、方向ベクトルｎ１は、第３の座標系における光線の方向ベクトルｎ３と、第２の回転行列Ｒ１とによって算出され、位置ベクトルＰ１は、第１のカメラで撮影された画像内の光源の像に基づいて算出される第３の座標系における点Ｐの位置ベクトルＰ３と、第２の回転行列Ｒ１と、第２の並進ベクトルＴ１とによって算出され、位置ベクトルＱ２は、第２のカメラで撮影された画像内の光スポットの像に基づいて算出され、第２の回転行列Ｒ１及び第２の並進ベクトルＴ１は、第１のカメラで撮影された画像内の第１の姿勢情報作成用パターンの像から算出されてもよい。
一実施形態に係る相対姿勢情報作成プログラムは、第１の姿勢情報作成用部材は、第１の姿勢情報作成用パターンを有しており、相対姿勢情報作成工程は、第１の座標系において、光源の位置である点Ｐから第２の座標系の原点Ｏ２に向かうベクトルＰＯ２ １と、点Ｐから光スポットの位置である点Ｑに向かうベクトルＰＱ１と、原点Ｏ２から点Ｑに向かうベクトルＯ２Ｑ１とが同じ平面上に位置するという共面制約に基づいた、第１の回転行列Ｒ及び第１の並進ベクトルＴを変数とする第３の誤差関数を非線形推定することによって、第３の誤差関数の非線形解であるＲＥＮＬ及びＴＥＮＬを第１の回転行列Ｒ及び第１の並進ベクトルＴとして算出する非線形推定工程を有し、ベクトルＰＯ２ １は、第１の座標系における点Ｐの位置ベクトルＰ１と、第１の並進ベクトルＴとによって表され、ベクトルＰＱ１は、第２の回転行列Ｒ１と、第１の座標系において、光源から出力される光線の方向ベクトルｎ１によって表され、ベクトルＯ２Ｑ１は、第１の回転行列と、第２の座標系における点Ｑの位置ベクトルＱ２とによって表され、方向ベクトルｎ１は、第３の座標系における光線の方向ベクトルｎ３と、第２の回転行列Ｒ１とによって算出され、位置ベクトルＰ１は、第１のカメラで撮影された画像内の光源の像に基づいて算出される第３の座標系における点Ｐの位置ベクトルＰ３と、第２の回転行列Ｒ１と、第２の並進ベクトルＴ１とによって算出され、位置ベクトルＱ２は、第２のカメラで撮影された画像内の光スポットの像に基づいて算出され、第２の回転行列Ｒ１及び第２の並進ベクトルＴ１は、第１のカメラで撮影された画像内の第１の姿勢情報作成用パターンの像から算出されてもよい。
上記相対姿勢情報作成システム、相対姿勢情報作成方法及び相対姿勢情報作成プログラムでは、光スポットが第２のカメラの撮影範囲内に生じていれば、共面制約に基づいて、Ｒ及びＴを算出できる。そのため、簡易な構成で、Ｒ及びＴを作成できることになる。
一実施形態に係る相対姿勢情報作成システムの相対姿勢情報作成装置は、光源からの光線が第１のカメラに入射するように、第１のカメラに対して第１の姿勢情報作成用部材が配置された状態において、第１のカメラで撮影して得られる第１の姿勢情報作成用部材の像を含む画像中の光源の像と、第２の回転行列Ｒ１と、第２の並進ベクトルＴ１とに基づいて、方向ベクトルｎ３及び位置ベクトルＰ３を算出する光源姿勢算出部と、第１の誤差関数において、方向ベクトルｎ３、位置ベクトルＰ３、第１の回転行列Ｒ及び第１の並進ベクトルＴを変数とみなした第２の誤差関数を、光源姿勢算出部で算出された方向ベクトルｎ３及び位置ベクトルＰ３と、非線形推定部で算出されたＲＥＮＬ及びＴＥＮＬとを、変数としての方向ベクトルｎ３及び位置ベクトルＰ３並びに第１の回転行列Ｒ及び第１の並進ベクトルＴの初期値として使用しながら、第２の誤差関数を最適化することによって、第１の回転行列Ｒ及び第１の並進ベクトルＴを精緻化する精緻化部と、を有してもよい。
この構成では、光源姿勢算出部で光源の姿勢を算出しているので、ＲＥＮＬ及びＴＥＮＬをより正確に算出可能である。更に、精緻化部で、光源姿勢算出部で、光源の姿勢情報も変数とした第２の誤差関数を最適化することによって、Ｒ及びＴを精緻化しているので、光源の姿勢を算出する際の誤差を低減することも可能であり、結果として、より正確にＲ及びＴを作成可能である。
一実施形態に係る相対姿勢情報作成用システムは、相対姿勢情報作成工程は、第１の座標系において、光源から出力される光線の方向ベクトルｎ１の方向と、光源の位置である点Ｐから光スポットの位置である点Ｑに向かうベクトルＰＱ１の方向とが一致するという共線制約を示す線形方程式を解くことによって、第１の回転行列Ｒ及び第１の並進ベクトルＴを線形推定し、Ｒ及びＴの線形解としてのＲＥＬ及びＴＥＬを算出する線形推定工程と、非線形推定工程では、誤差関数を、ＲＥＬ及びＴＥＬを初期値として最適化してもよい。
一実施形態に係る相対姿勢情報作成システムでは、第１の姿勢情報作成用部材には、複数の光源が取り付けられていてもよい。非線形推定する際に、光源と光スポットの位置情報が複数必要であっても、上記構成では、必要な情報を容易に取得可能である。
一実施形態に係る相対姿勢情報作成方法における相対姿勢用画像取得工程では、第１の座標系における点Ｐの位置ベクトルＰ１と、方向ベクトルｎ１と、第２の座標系における点Ｑの位置ベクトルＱ２の組みが複数得られるように、第１及び第２のカメラで画像を取得してもよい。
このように第１及び第２のカメラの画像を取得することで、Ｒ及びＴの作成に必要な情報を得ることができる。
一実施形態に係る相対姿勢情報作成方法における相対姿勢用画像取得工程では、第１の姿勢情報作成用部材の第１のカメラに対する相対姿勢を変更しながら、第１のカメラで、第１の姿勢情報作成用部材の像を含む画像を取得してもよい。
これにより、第１の座標系における点Ｐの位置ベクトルＰ１と、方向ベクトルｎ１と、第２の座標系における点Ｑの位置ベクトルＱ２の組みを複数得ることできる。
一実施形態に係る相対姿勢情報作成方法では、第１の姿勢情報作成用部材には、複数の前記光源が取り付けられていてもよい。
これにより、前記第１の座標系における点Ｐの位置ベクトルＰ１と、方向ベクトルｎ１と、前記第２の座標系における点Ｑの位置ベクトルＱ２の組みを複数得ることできる。
本発明によれば、設置場所の影響を低減可能であって、より正確に２つのカメラの相対姿勢情報を算出可能な手段を提供できる。
図１は、一実施形態に係る相対姿勢情報作成システムの概略構成を示す図面である。 図２（ａ）は、図１に示した相対姿勢情報システムが備える第１の姿勢情報作成用ボードの正面図であり、図２（ｂ）は、第１の姿勢情報作成用ボードの側面図である。 図３は、図１に示した相対姿勢情報システムが備える情報処理装置の機能ブロック図である。 図４は、図１に示した相対姿勢情報作成システムの概念図である。 図５は、レーザポインタ(光源)の姿勢を算出する際の第１のカメラと第１の姿勢情報作成用ボードとの配置関係を示すための図面である。 図６は、一実施形態に係る相対姿勢情報作成方法のフローチャートである。 図７は、第２の実施形態に係る相対姿勢情報作成システムの構成の概念図である。 図８は、相対姿勢情報作成システムが有する相対姿勢情報作成装置の機能ブロック図である。 図９は、第３の実施形態に係る相対姿勢情報作成システムの構成の概念図である。 図１０は、ＲＧＢ−Ｄカメラの模式図である。 図１１は、ＲＧＢ−Ｄカメラによるレーザスポットの深さ(距離)の推定原理を説明するための図面である。 図１２は、図９に示した相対姿勢情報作成システムが有する相対姿勢情報作成装置の機能ブロック図である。 図１３（ａ）は、実験で使用した第１の姿勢情報作成用ボードを示す図面である。図１３（ｂ）は、実験で使用した第２の姿勢情報作成用ボードを示す図面である。 図１４は、実験Ａ１〜実験Ａ３の結果を示す図表である。 図１５は、実験毎の平均再投影誤差を示す図面である。 図１６は、車イスに、図９に示した相対姿勢情報作成システムを適用した場合の図面である。 図１７は、図９に示した相対姿勢情報作成システムを使用した実験の実験結果を示す図面である。 図１８は、図７及び図９に示した相対姿勢情報作成システムを使用した実験の実験結果を示す図面である。 図１９（ａ）は、第１の姿勢情報作成用部材の他の例を示す図面である。図１９（ｂ）は、第１の姿勢情報作成用部材の更に他の例を示す図面である。
以下、図面を参照して本発明の実施形態について説明する。以下の説明においては、同一の要素には同一の符号を用いると共に、重複する説明を省略する。
（第１の実施形態）
図１は、一実施形態に係る相対姿勢情報作成システムの概略構成を示す図面である。図２（ａ）は、図１に示した相対姿勢情報システムが備える第１の姿勢情報作成用ボードの正面図であり、図２（ｂ）は、第１の姿勢情報作成用ボードの側面図である。図３は、図１に示した相対姿勢情報システムが備える情報処理装置の機能ブロック図である。図４は、図１に示した相対姿勢情報作成システムの概念図である。
図１に示した相対姿勢情報作成システム１は、車内、特に、運転手を撮影するために自動車（車両）１０の車内に取り付けられた第１のカメラ１２と、自動車１０の前方を撮影するために車体の外面に取り付けられた第２のカメラ１４とを備える。第１及び第２のカメラ１２，１４は、第１のカメラ１２により撮影される運転手の顔画像と、第２のカメラ１４により撮影される自動車１０の前方画像とを関連づけることで、運転支援をするシステム（以下、運転支援システムと称す）の一部を構成している。相対姿勢情報作成システム１は、運転支援システムに使用される第１及び第２のカメラ１２，１４の画像を関連づけるために、第１及び第２のカメラ１２，１４の相対姿勢情報を作成するためのものである。換言すれば、相対姿勢情報作成システム１は、第１及び第２のカメラ１２，１４の相対姿勢情報を校正するためのシステムである。
相対姿勢情報作成システム１は、第１及び第２のカメラ１２，１４と、第１及び第２のカメラ１２，１４に対して配置される第１及び第２の姿勢情報作成用ボード（第１及び第２の姿勢情報作成用部材）１６，１８と、第１及び第２のカメラ１２，１４からの画像情報を処理する情報処理装置２２とを、備える。第１の姿勢情報作成用ボード１６には、レーザ光源としてのレーザポインタ（光源）２０が固定されている。以下、第１及び第２の姿勢情報作成用ボード１６，１８のそれぞれを単に第１及び第２のボード１６，１８と称する。
第１のカメラ１２は、運転手の顔を撮影できるように、車内（例えば、ダッシュボード上）に取り付けられている。第１のカメラ１２はデジタルカメラであり、第１のカメラ１２が有する撮像素子の例は、ＣＣＤ又はＣＭＯＳイメージセンサなどである。第１のカメラ１２が有するレンズは、運転手を撮影できるような画角を有するものであれば特に限定されないが、例えば、画角１８０度以下のレンズである。第１のカメラ１２の一例は、マイクロソフト社製のＫｉｎｅｃｔ（登録商標）に搭載されているＲＧＢカメラである。
第２のカメラ１４は、自動車１０の前方を撮影するために、車体外面に取り付けられている。第１のカメラ１２は運転手の顔を撮影するように、自動車１０の進行方向において後方を向くように配置されているのに対して、第２のカメラ１４は自動車１０の前方を撮影するために、上記進行方向において前方を向くように配置されている。そのため、第２のカメラ１４は、その撮影範囲が、第１のカメラ１２の撮影範囲と重ならないように配置されていることになる。第２のカメラ１４はデジタルカメラであり、第２のカメラ１４が有する撮像素子の例は、ＣＭＯＳイメージセンサ又はＣＣＤなどである。第２のカメラ１４が有するレンズの例は、より広い範囲を撮影する観点から画角が１８０度以上の広角レンズである。ただし、第２のカメラ１４のレンズは、画角が１８０度未満のレンズでもよい。第２のカメラ１４の一例は、マイクロソフト社製のＫｉｎｅｃｔに搭載されているＲＧＢカメラである。
第１及び第２のボード１６，１８のそれぞれは、第１及び第２のカメラ１２，１４の姿勢情報を作成（或いは校正）するための第１及び第２の姿勢情報作成用パターン２４，２６が表面に設けられた板状部材である。第１及び第２の姿勢情報作成用パターン２４，２６のそれぞれを単に第１及び第２のパターン２４，２６と称す。第１及び第２のボード１６，１８は、第１及び第２のパターン２４，２６が図示された紙或いは薄板が板に貼付されたボードでもよいし、或いは、第１及び第２のパターン２４，２６を、板の表面に図示されたボードでもよい。
一実施形態において、第１及び第２のパターン２４，２６は、カメラの校正に使用され得る校正パターンであり得る。一実施形態において、第１及び第２のパターン２４，２６は、チェック模様（或いは、格子模様）を有してもよい（図３参照）。具体的には、互いに直交する２つの方向に正方形が複数連続して配置されており、隣接する２つの正方形の一方が白色で他方が黒色であるチェック模様を有してもよい。このようなチェック模様では、コーナーが２次元状に配置されており、姿勢情報作成過程においては、コーナーを特徴点として、画像を認識できる。図３では、黒色の正方形を、ハッチングを付して表している。第１のパターン２４が有する正方形の一辺の長さと第２のパターン２６が有する正方形の一辺の長さは同じでもよいし、異なっていてもよい。
図１及び図２に示すように、第１のボード１６には、光源としてのレーザポインタ２０が、第１のパターン２４が配置されている表面から外側に向けて光を出力するように配置されている。レーザポインタ２０は、例えば、第１のボード１６の厚み方向に貫通する貫通孔２０ａに、第１のボード１６の裏面側から挿入されることによって、第１のボード１６に取り付けられている。
第１及び第２のボード１６，１８は、第１及び第２のカメラ１２，１４の撮影範囲内に配置されると共に、レーザポインタ２０からのレーザ光が第２のボード１８の第２のパターン２６と交差するように、第２のカメラ１４に対して配置されている。換言すれば、第２のパターン２６にレーザスポット（光スポット）が形成されるように、第１及び第２のボード１６，１８は配置されている。
一実施形態において、第１のボード１６は例えば紐を座席に掛け渡すことで、座席に対して固定されてもよい。一実施形態において、第２のボード１８は、例えば、支持部材によって、第２のパターン２６が第２のカメラ１４と対面するように、地面に載置されていてもよい。
情報処理装置２２は、第１及び第２のカメラ１２，１４で撮影された画像を処理する装置であり、ＣＰＵ３２を有するいわゆるコンピュータである。情報処理装置２２は、車体内に配置されている。一実施形態において、第１及び第２のカメラ１２，１４と配線を介して電気的に接続されており、第１及び第２のカメラ１２，１４で取得された画像の画像データは配線を介して情報処理装置２２に入力される。第１及び第２のカメラ１２，１４からの画像データは、例えば、無線通信を利用して、情報処理装置２２に入力されてもよい。
図３は、情報処理装置の機能ブロック図である。図３に示すように、情報処理装置２２は、外部からのデータ及び指示など受け付ける入力部２８と、第１及び第２のカメラ１２，１４の相対姿勢情報を作成する相対姿勢情報作成部３０と、情報処理装置２２を制御するＣＰＵ３２と、相対姿勢情報作成プログラムを含む各種プログラム及びデータを格納する記憶部３４と、各種データ(画像データを含む)を出力する出力部３６を有する。情報処理装置２２は、記憶部３４に格納された相対姿勢情報作成プログラムをＣＰＵ３２が実行することで姿勢情報作成装置として機能する。
図１に示した情報処理装置２２が有する各構成要素（入力部２８、相対姿勢情報作成部３０など）は、バスなどによって接続されて、データなどを通信可能である。情報処理装置２２は、記憶部３４に格納された相対姿勢情報作成プログラムを実行することによって、相対姿勢情報作成部３０の機能が実現される。相対姿勢情報作成部３０の機能が実現された情報処理装置２２は、姿勢情報作成装置（或いは、姿勢情報校正装置）である。また、相対姿勢情報作成プログラムが実行されることによって、入力部２８及び出力部３６は、相対姿勢情報の作成に適した機能が適宜実現され得る。
以下の説明にために、次のように座標系を定義する。
第１のカメラ１２に対して設定される３次元座標系（以下、第１の座標系と称す）Ｓ１を、原点をＯ１とし、互いに直交するｘ１軸、ｙ１軸及びｚ１軸を有するＯ１―ｘ１ｙ１ｚ１座標系と定義する。第１の座標系Ｓ１は、いわゆるカメラ座標系である。一実施形態において、原点Ｏ１は、第１のカメラ１２の光学中心に設定される。
第２のカメラ１４に対して設定される３次元座標系（以下、第２の座標系と称す）Ｓ２を、原点をＯ２とし、互いに直交するｘ２軸、ｙ２軸及びｚ２軸を有するＯ２―ｘ２ｙ２ｚ２座標系と定義する。第２の座標系Ｓ２は、いわゆるカメラ座標系である。一実施形態において、原点Ｏ２は、第２のカメラ１４の光学中心に設定される。
第１のボード１６に対して設定される３次元座標系（以下、第３の座標系と称す）Ｓ３を、原点をＯ３とし、互いに直交するｘ３軸、ｙ３軸及びｚ３軸を有するＯ３―ｘ３ｙ３ｚ３座標系と定義する。Ｏ３―ｘ３ｙ３ｚ３座標系において、原点Ｏ３は、第１のパターン２４上に位置しており、ｘ３軸及びｙ３軸方向は、第１のパターン２４を構成する正方形領域の配列方向に対応する。
第２のボード１８に対して設定される３次元座標系（以下、第４の座標系と称す）Ｓ４を、原点をＯ４とし、互いに直交するｘ４軸、ｙ４軸及びｚ４軸を有するＯ４―ｘ４ｙ４ｚ４座標系と定義する。Ｏ４―ｘ４ｙ４ｚ４座標系において、原点Ｏ４は、第２のパターン２６上に位置しており、ｘ４軸及びｙ４軸は、姿勢情報作成用パターンを構成する複数の正方形領域の配列方向（縦方向及び横方向）に対応する。
更に、説明のために、以下の表記を採用する。すなわち、カメラの画像平面上の点、すなわち、カメラで撮影された２次元の画像上の点をｕとしたとき、点ｕの位置ベクトルをｕ＝[ｕｘ,ｕｙ]Ｔと表し、３次元における点をＵとしたとき、点Ｕの位置ベクトルをＵ＝[Ｕｘ,Ｕｙ,Ｕｚ]Ｔと表す。ベクトル表現における上付きの「Ｔ」は、転置を表す。上記表記において、ｕ及びＵに付された下付のｘ,ｙ,ｚは、点ｕ及び点Ｕを表すために採用している座標系（例えば、第１〜第４の座標系Ｓ１〜Ｓ４等）での点ｕ及び点Ｕの位置ベクトルのｘ軸方向、ｙ軸方向、及びｚ軸方向の成分を表すためのものである。
上述した各座標系での表記を区別するために、必要に応じて、各第１〜第４の座標系Ｓ１〜Ｓ４を区別するための数字（１,２,３,４）を、文字に対して上付きで付す。例えば、点Ｕ１、Ｕ２、Ｕ３、Ｕ４のそれぞれは、第１の座標系Ｓ１（Ｏ１―ｘ１ｙ１ｚ１座標系）、第２の座標系Ｓ２（Ｏ２―ｘ２ｙ２ｚ２座標系）、第３の座標系Ｓ３（Ｏ３―ｘ３ｙ３ｚ３座標系）及び第４の座標系（Ｏ４―ｘ４ｙ４ｚ４座標系）において、点Ｕの位置を表していることを意味している。
また、第１のボード１６におけるレーザポインタ２０の位置、具体的には、レーザポインタ２０の出力部（発光点）の位置を点Ｐと称する。レーザポインタ２０からのレーザ光と、第２のボード１８との交点（レーザスポット）を点Ｑと称する。そして、点Ｐと点Ｑとを結び点Ｐから点Ｑに向かうベクトルをベクトルＰＱと称す。
更に、図４に示すように、第２の座標系Ｓ２を第１の座標系Ｓ１に変換する回転行列及び並進ベクトルをそれぞれＲ及びＴと表す。回転行列（第１の回転行列）Ｒ及び並進ベクトル（第１の並進ベクトル）Ｔが、第１及び第２のカメラ１２，１４の相対姿勢情報である。第３の座標系Ｓ３を第１の座標系Ｓ１に変換する回転行列及び並進ベクトルをそれぞれＲ１及びＴ１と表し、第４の座標系Ｓ４を第２の座標系Ｓ２に変換する回転行列及び並進ベクトルをそれぞれＲ２及びＴ２と表す。
上述した定義及び表記などを利用して、情報処理装置２２について説明する。
入力部２８は、第１及び第２のカメラ１２，１４からの画像データの入力を受け付ける。入力部２８は、ユーザからの他の指示（コマンド）も受け付けてもよい。入力部２８は、このような入力を受け付け得るインターフェースを有し得る。出力部３６は、情報処理装置２２内の各種データ、例えば、第１及び第２のカメラ１２，１４の相対姿勢情報を、必要に応じて情報処理装置２２の外部機器に出力するためのものであり、例えば、各データを出力するために、外部機器との接続を可能とするインターフェースを有する。また、相対姿勢情報を作成した後、情報処理装置２２が、例えば、作成した相対姿勢情報を利用して第１及び第２のカメラ１２，１４の画像を関連付けて運転支援をする運転支援プログラムを実施して、運転支援装置として機能する場合、画像データなどをディスプレイに等に出力する機能を有しても良い。
相対姿勢情報作成部３０は、入力部２８に入力された画像データに基づいて、第１及び第２のカメラ１２，１４の相対姿勢情報を作成する。相対姿勢情報作成部３０は、ポインタ姿勢算出部（光源姿勢算出部）３０Ａ、線形推定部３０Ｂ、非線形推定部３０Ｃ及び精緻化部３０Ｄを有する。
ポインタ姿勢算出部３０Ａは、第１のボード１６に取り付けられたレーザポインタ２０の姿勢を算出する。レーザポインタ２０の姿勢は、図５に示したように、レーザポインタ２０からのレーザ光が第１のカメラ１２に入射するように、第１のカメラ１２と、第１のボード１６とが配置された状態で、第１のカメラ１２によって撮影された画像の画像データを利用して算出される。
ポインタ姿勢算出部３０Ａによる姿勢情報の算出原理について説明する。レーザポインタ２０の姿勢は、点Ｐの位置ベクトルＰ３及びレーザ光の方向ベクトルｎ３で表される。この場合、以下の関係式が得られる。

上記式において、ベクトルｐ１は、第１のカメラ１２で撮影された画像内での点Ｐの投影点の位置ベクトルである。Ｈ１は、第１のカメラ１２による像の投影を示す射影変換行列（Holography matrix）である。ベクトルｐｒは、Ｏ３を原点とし、ｘ３軸及びｙ軸を有する２次元座標系での点Ｐに対応する点の位置ベクトルである。位置ベクトルＰ１は、第１の座標系Ｓ１での点Ｐの位置ベクトルである。ベクトルｎ１は、第１の座標系Ｓ１におけるレーザ光の方向ベクトルである。
Ｏ３を原点とし、ｘ３軸及びｙ３軸を有する２次元座標系は、第３の座標系Ｓ３において、ｚ＝０とした場合に対応するので、下記式が成立する。
ポインタ姿勢算出部３０Ａは、式（１ａ）〜（１ｄ）及び式（２）並びに第１のカメラ１２で撮影された第１の姿勢情報作成用パターンの画像に基づいて、レーザポインタ２０の姿勢情報、すなわち、位置ベクトルＰ３及びレーザ光の方向ベクトルｎ３を算出する。
具体的には、ポインタ姿勢算出部３０Ａは、図５に示したような配置において、第１のカメラ１２で撮影された第１のパターン２４の画像に基づいて、第１のボード１６の姿勢情報、すなわち、回転行列（第２の回転行列）Ｒ１及び並進ベクトル（第２の並進ベクトル）Ｔ１と、射影変換行列Ｈ１とを算出する。ただし、射影変換行列Ｈ１については、第１のカメラ１２の設計上のＨ１を利用してもよい。上述したように、第１のカメラ１２で撮影された第１のパターン２４の画像に基づいて、射影変換行列Ｈ１を算出することは、第１のカメラ１２の射影変換行列Ｈ１を校正していることに対応する。
回転行列Ｒ１及び並進ベクトルＴ１と、射影変換行列Ｈ１の算出は、例えば、下記参考文献１，２に示すZhangの手法によって算出され得る。
参考文献１：Z. Zhang, “A flexible new technique for camera calibration.” IEEETranscations on Pattern Analysis and Machine Intelligence, 2000, pp1330-1334.
参考文献２：Open source computer vision library.http://www.intel.com/research/mrl/research/opnecv/.
ベクトルｐ１も第１のカメラ１２で撮影された第１のパターン２４の画像から取得される。
ポインタ姿勢算出部３０Ａは、式（１ａ）〜式（１ｄ）及び式（２）内のＲ１，Ｔ１，Ｈ１及びｐ１を、第１のカメラ１２で撮影された第１のパターン２４の画像に基づいて算出することによって、レーザポインタ２０の姿勢情報、すなわち、位置ベクトルＰ３及びレーザ光の方向ベクトルｎ３を算出する。
一実施形態において、Ｒ１，Ｔ１，Ｈ１及びｐ１が事前に算出されている場合、ポインタ姿勢算出部３０Ａは、事前に算出されているＲ１，Ｔ１，Ｈ１及びｐ１を、式（１ａ）〜式（１ｄ）及び式（２）に代入することによって、レーザポインタ２０の姿勢情報を算出してもよい。或いは、一実施形態において、ポインタ姿勢算出部３０Ａは、第１のカメラ１２で撮影された第１のパターン２４の画像に基づいて、Ｒ１，Ｔ１，Ｈ１及びｐ１を算出する式が代入された式（１ａ）〜式（１ｄ）及び式（２）を用いることによって、レーザポインタ２０の姿勢情報を算出してもよい。
線形推定部３０Ｂは、レーザ光の方向ベクトルｎ１の方向と、ベクトルＰＱ１の方向とが一致するという共線制約の下で、第１及び第２のカメラ１２，１４の相対姿勢情報を線形推定する。
線形推定部３０Ｂは、図１に示したように、第１及び第２のカメラ１２，１４を実際の使用状態に配置すると共に、第１及び第２のカメラ１２，１４に対して第１及び第２のボード１６，１８を配置した状態において、第１及び第２のカメラ１２，１４で撮影した画像の画像データを利用して、第１及び第２のカメラ１２，１４の相対姿勢情報を線形推定する。第１及び第２のボード１６，１８は、対応する第１及び第２のカメラ１２，１４の撮影範囲内に配置され、且つ、レーザスポットが第２のボード１８上に生じるように配置されていればよい。
第１及び第２のカメラ１２，１４の相対姿勢情報を線形推定の原理について説明する。上記共線制約は、下記式で表される。

式（３）において係数γは、任意定数である。
各座標系で表される点Ｐ及び点Ｑに対して以下の関係式が成立する。
ベクトルＰＱ１及び方向ベクトルｎ１を式（５ａ）及び式（５ｂ）のように定義した場合、式（３）より式（６）が得られる。

ここで、回転行列Ｒ、並進ベクトルＴ、位置ベクトルＱ２及び位置ベクトルＰ１を式（７ａ）、（７ｂ）、（７ｃ）及び（７ｄ）のように定義すると、式（６）は、式（４ａ）を利用して式（８）のように記載される。

回転行列Ｒ１及び並進ベクトルＴ１は、第１のパターン２４の画像を利用して算出され得る。同様に、第２のカメラ１４と第２のボード１８の相対姿勢、すなわち、回転行列（第２の回転行列）Ｒ２及び並進ベクトル（第２の並進ベクトル）Ｔ２は、第２のパターン２６の画像を利用して算出され得る。回転行列Ｒ１及び並進ベクトルＴ１の算出方法並びに回転行列Ｒ２及び並進ベクトルＴ２の算出方法は、レーザポインタ２０の姿勢情報を算出する場合と同様の手法、すなわち、上述したZhangの手法で算出され得る。
点Ｑの第２のカメラ１４の画像上の点をｑ２とすると、第２のカメラ１４による射影変換を表す射影変換行列Ｈ２を利用して、以下の式が成立する。

式（９）において、ｑ２は、Ｏ２を原点とし、ｘ２軸及びｙ２軸を有する２次元座標系での点Ｑに対応する点の位置ベクトルである。ｑｒは、Ｏ４を原点とし、ｘ４軸及びｙ４軸を有する２次元座標系での点Ｑに対応する点の位置ベクトルである。一実施形態において、点ｑｒは、例えば、レーザポインタ２０からレーザ光の出力がＯＮの場合の第２のボード１８の画像から出力がＯＦＦの場合の画像を差し引くことによって算出され得る。Ｏ４を原点とし、ｘ４軸及びｙ４軸を有する２次元座標系は、第４の座標系Ｓ４において、ｚ＝０とした場合に対応するので、下記式が成立する。

レーザポインタ２０の姿勢情報を算出する際のＨ１と同様に、射影変換行列Ｈ２は、第２のカメラ１４で撮影された第２のパターン２６の画像に基づいて算出され得る。そのため、位置ベクトルＱ４も第２のカメラ１４による画像から算出され得る。
更に、レーザポインタ２０の姿勢情報である、位置ベクトルＰ３及び方向ベクトルｎ３は、ポインタ姿勢算出部３０Ａによって算出されている。
よって、第１及び第２のカメラ１２，１４によって第１及び第２のパターン２４，２６の画像が撮影されているとき、式（４ｂ）、（４ｃ）、（９）、（１０）を利用して、方向ベクトルｎ１、位置ベクトルＰ１及び位置ベクトルＱ２が計算され得る。すなわち、式（８）において、回転行列Ｒ及び並進ベクトルＴ（具体的には、その成分）のみが実質的に未知のパラメータであり、式（８）は、第１及び第２のカメラ１２，１４の相対姿勢情報に対する基本線形方程式である。
第１及び第２のパターン２４，２６の一つの相対姿勢に対して、方向ベクトルｎ１、位置ベクトルＰ１及び位置ベクトルＱ２の組の実測データが得られる。以下、実測データの組を（ｎ１，Ｐ１，Ｑ２）とも表す。前述したように、方向ベクトルｎ１、位置ベクトルＰ１及び位置ベクトルＱ２は、方向ベクトルｎ３、位置ベクトルＰ３及び位置ベクトルｑ２から算出される。従って、（ｎ３，Ｐ３，ｑ２）は実測データでもある。式（８）から示されるように、一組の実測データから２つの線形方程式が導かれる。回転行列Ｒ及び並進ベクトルＴには、１２個のパラメータが含まれているので、線形的に問題を解く、すなわち、回転行列Ｒ及び並進ベクトルＴに含まれるパラメータを得るためには、少なくとも６個の実測データセットがあればよいことになる。換言すれば、少なくとも６個の実測データセットを用いることで、Ｒ及びＴとして、式（８）の線形解であるＲＥＬ及びＴＥＬが算出されることになる。
従って、線形推定部３０Ｂは、少なくとも６個の実測データセットを用いることで、式（８）に基づいて、Ｒ及びＴとしてのＲＥＬ及びＴＥＬを算出する。
一実施形態において、線形推定部３０Ｂは、制約過多の連立一次方程式、すなわち、未知数（又は変数）より方程式の数の方が多い系を用いて解を得る。具体的には、制約過多の連立一次方程式を解き、暫定的にＲ及びＴを算出する。次に、Ｒが回転行列であるという制約の下で、特異値分解（SVD: singular value decomposition）を利用して、暫定的に算出された回転行列Ｒを、線形解としてのＲＥＬとする。次に、回転行列ＲＥＬを固定し、式（８）に代入する。これにより、並進ベクトルＴに関する制約過多の連立一次方程式を得る。そして、その連立一次方程式を、最小二乗法を利用してＴに対して解くことによって、線形解としてのＲＥＬ，ＴＥＬを得る。
非線形推定部３０Ｃは、線形推定部３０Ｂで算出された線形解を利用して第１及び第２のカメラ１２，１４の相対姿勢情報の非線形推定を行う。
非線形推定部３０Ｃによる非線形推定の原理について説明する。非線形推定では、共線制約と共に、回転行列Ｒの制約を考慮する。回転行列Ｒを四元数で表す。すなわち、Ｒ＝（ａ；ｂ，ｃ，ｄ）とする。共線制約及び回転行列Ｒの制約は式（１１）のように表せる。
式（４ａ）を考慮すれば、誤差関数（第１の誤差関数）ｆ（Ｒ，Ｔ）が、式（１１）から式（１２）のように導出される。式（１２）の誤差関数は、上記共線制約と共に、ベクトルＰＱ１と方向ベクトルｎ１との内積が１であり、回転行列Ｒを表す四元数の絶対値の２乗が１であるという制約に基づいた、回転行列Ｒ及び並進ベクトルＴを変数とする誤差関数である。

式（１２）において、Ｎは、実測回数である。Ｎは、本実施形態では６以上の整数である。ｊは、１〜Ｎの整数であり、各実測データを示すためのものである。
従って、Ｎ個の実測データセット（ｎ（ｊ） １，Ｐ（ｊ） １，Ｑ（ｊ） ２）を利用すれば、回転行列Ｒ及び並進ベクトルＴのみが式（１２）で未知である。
非線形推定部３０Ｃは、線形推定部３０Ｂで得たＲＥＬ及びＴＥＬを初期値として使用し、式（１２）の非線形最適化を行って相対姿勢情報を非線形推定する。一実施形態において、非線形推定部３０Ｃは、誤差関数ｆ（Ｒ，Ｔ）を、Levenberg-Marquardtを利用して最適化（或いは最小化）する。
精緻化部３０Ｄは、第１及び第２のカメラ１２，１４の相対姿勢情報を精緻化する。式（１３）に示した誤差関数（第２の誤差関数）を最適化することによって、第１及び第２のカメラ１２，１４の相対姿勢情報を精緻化する。式（１３）の誤差関数は、式（１２）の誤差関数において、位置ベクトルＰ３及び方向ベクトルｎ３も変数と見なした関数に対応する。

式（１３）に示した誤差関数ｆ（Ｒ，Ｔ，Ｐ３，ｎ３）では、レーザポインタ２０の姿勢である位置ベクトルＰ３と方向ベクトルｎ３及び第１及び第２のカメラ１２，１４の相対姿勢情報である回転行列Ｒ及び並進ベクトルＴを変数としている。式（１３）の誤差関数を最適化する際、Ｒ，Ｔ，Ｐ３，ｎ３の初期値としてポインタ姿勢算出部３０Ａの算出結果及び非線形推定部３０Ｃの算出結果を使用する。一実施形態において、精緻化部３０Ｄは、Levenberg-Marquardtを利用して式（１３）を最適化する。
次に、一実施形態に係る相対姿勢情報作成システム１を利用した相対姿勢情報作成方法について説明する。図６は、一実施形態に係る相対姿勢情報作成方法のフローチャートである。
図６に示すように、まず、レーザポインタ２０の姿勢情報を算出する（ステップＳ１０）。レーザポインタ２０の姿勢情報を算出する場合、図４に示したように、レーザポインタ２０の姿勢の算出用に、第１のボード１６を第１のカメラ１２に対して配置する。その後、第１のカメラ１２でレーザポインタ２０からのレーザ光を撮影し（光源姿勢用画像取得工程）、撮影した画像の画像データを、入力部２８を介して情報処理装置２２に入力する。情報処理装置２２が画像データを受け付けると、ポインタ姿勢算出部３０Ａが、式（１ａ）〜（１ｄ）及び式（２）並びに第１のカメラ１２で撮影された第１のパターン２４の画像に基づいて、レーザポインタ２０の姿勢情報、すなわち、位置ベクトルＰ３及びレーザ光の方向ベクトルｎ３を算出する（光源姿勢算出工程）。
次に、図６に示したように、実際の使用状態に配置された第１及び第２のカメラ１２，１４に対して第１及び第２のボード１６，１８を配置する。その後、第１及び第２のカメラ１２，１４で第１及び第２のパターン２４，２６を撮影する。これにより、相対姿勢情報作成用の画像が取得される（ステップＳ１２，相対姿勢用画像取得工程）。この際、レーザポインタ２０のスイッチをＯＮにしておく。これにより、第２のパターン２６内にレーザスポットとしての点Ｑが生じる。また、第１及び第２のパターン２４，２６を撮影する際には、第１及び第２のボード１６，１８の相対姿勢を少なくとも６回変化させて撮影する。一実施形態において、レーザポインタ２０のスイッチをＯＦＦにした状態での第２のパターン２６を第２のカメラ１４で撮影していてもよい。
その後、第１及び第２のカメラ１２，１４から第１及び第２のパターン２４，２６の画像データを情報処理装置２２に入力部２８を介して入力する（ステップＳ１４）。
第１及び第２のカメラ１２，１４からの画像データを情報処理装置２２が受け付けると、相対姿勢情報作成部３０が、レーザポインタ２０のレーザ光によって第１のカメラ１２の画像データと、第２のカメラ１４の画像データとを関連付けることによって、第１及び第２のカメラ１２，１４の姿勢情報を算出する。
具体的には、線形推定部３０Ｂが、式（８）に基づいて、第１及び第２のカメラ１２，１４の姿勢情報を線形推定し、線形解としてのＲＥＬ及びＴＥＬを算出する（ステップＳ１６、線形推定工程）。その後、非線形推定部３０Ｃが、線形推定部３０Ｂで推定された姿勢情報としてのＲＥＬ及びＴＥＬを初期値として使用して、式（１２）に基づいて、第１及び第２のカメラ１２，１４の姿勢情報を非線形推定して、ＲＥＮＬ及びＴＥＮＬを算出する（ステップＳ１８、非線形推定工程）。続いて、精緻化部３０Ｄが、式（１３）を利用して、第１及び第２のカメラ１２，１４の相対姿勢情報であるＲＥＮＬ及びＴＥＮＬを精緻化する（ステップＳ２０、精緻化工程）。この精緻化によって得られる回転行列Ｒ及び並進ベクトルＴを、第１及び第２のカメラ１２，１４の相対姿勢情報として設定する、或いは、精緻化によって得られる回転行列Ｒ及び並進ベクトルＴを、第１及び第２のカメラ１２，１４の相対姿勢情報として記憶部３４に格納する。上記ステップＳ１６〜Ｓ２０が相対姿勢情報を作成する相対姿勢情報作成工程に対応する。
上記のように、レーザポインタ２０を利用していることによって、撮影範囲の異なる第１及び第２のカメラ１２，１４の相対姿勢情報が算出され得る。具体的には、レーザポインタ２０の第１のボード１６上の位置情報と、レーザポインタ２０からのレーザ光と第２のボード１８との交点の位置情報とを利用することによって、第１及び第２のカメラ１２，１４の画像を関連付けることができ、その結果、第１及び第２のカメラ１２，１４の相対姿勢情報が算出され得る。
そのため、図１に示したように、第１及び第２のカメラ１２，１４が自動車の車載カメラである場合、第１のカメラ１２で撮影される運転手の顔情報（例えば、視線情報）と、第２のカメラ１４で撮影される車外情報（例えば、車線情報など）とを関連付けながら運転支援を行うことが可能である。この運転支援は、例えば、情報処理装置２２の記憶部に運転支援プログラムを記録しておき、そのプログラムを実行することで行うことが可能である。
レーザポインタ２０を利用していることによって、レーザ光が第２の姿勢情報作成用パターン２６と交差するように、第１及び第２のボード１６，１８を配置すれば、第１及び第２のカメラ１２，１４の相対姿勢情報を作成（或いは校正）できる。その結果、第１及び第２のカメラ１２，１４が図１に示した様に自動車に搭載される車載カメラであっても、第１及び第２のカメラ１２，１４の配置位置の影響を低減しながら、第１及び第２のカメラ１２，１４の相対姿勢情報を作成（或いは校正）できる。
また、第１及び第２のカメラ１２，１４のそれぞれは第１及び第２のパターン２４，２６の実像を撮影しているので、例えば、ミラーを利用して第１及び第２のカメラ１２，１４の一方が虚像を撮影する場合より正確に第１及び第２のカメラ１２，１４の相対姿勢情報を作成（或いは校正）できる。
更に、レーザポインタ２０は、第１のボード１６に固定していることによって、レーザポインタ２０の位置である点Ｐ及びレーザスポットの位置である点Ｑの特定に起因する誤差を低減できる。その結果、第１及び第２のカメラ１２，１４の相対姿勢情報の精度向上を実現可能である。
更に、第１及び第２のカメラ１２，１４の相対姿勢情報を、レーザポインタ２０が取り付けられた第１のボード１６と、第２のボード１８とを用いて算出できるので、第１及び第２のカメラ１２，１４の相対姿勢情報を容易に算出できる。従って、例えば、図１に示した様に、自動車１０に設置された第１及び第２のカメラ１２，１４の相対姿勢情報を算出する場合、自動車１０の製造工場でカメラを設置した状態で、第１及び第２のカメラ１２，１４の相対姿勢情報を算出してもよいし、例えば、自動車１０の販売会社においても、第１及び第２のカメラ１２，１４の相対姿勢情報を算出することも可能である。
更に、第１及び第２のボード１６，１８を利用しているために、前述したような共線制約を利用できる。この点でも、より正確に、第１及び第２のカメラ１２，１４の相対姿勢情報を算出できる。
線形推定部３０Ｂを備え、式（８）に示した線形方程式を線形推定しているので、式（１２）の誤差関数を非線形推定する際、Ｒ及びＴの初期値として、線形解をＲＥＬ及びＴＥＬを使用できる。その結果、より正確にＲ及びＴを算出できる。
レーザポインタ２０の初期姿勢を算出しているので、Ｒ及びＴの算出の際に、より正確な初期姿勢を使用することができる。レーザポインタ２０の初期姿勢の算出では、第１及び第２のカメラ１２，１４の光学中心をレーザ光が通っていることを仮定しているが、測定誤差が生じる場合がある。しかしながら、精緻化部３０Ｄを備えることで、レーザポインタ２０の姿勢を算出するためのパラメータの誤差も最小化されるので、第１及び第２のカメラ１２，１４の相対姿勢情報がより正確に算出可能である。
（第２の実施形態）
図７は、第２の実施形態に係る相対姿勢情報作成システムの構成の概念図である。図７に示す相対姿勢情報作成システム２は、第２のボード１８を使用しない点で、第１の実施形態の相対姿勢情報作成システム１と相違する。第２の実施形態においても、座標系の定義、及び、位置又は位置ベクトルなどの表記は、第１の実施形態と同様の表記方法を採用する。
図７において、点Ｑは、レーザポインタ２０から出力されるレーザ光と、第２のカメラ１４の撮影範囲内の物体との交点(レーザスポット)である。点ｑは、第２のカメラ１４の画像平面πにおける点Ｑの投影点である。
相対姿勢情報作成システム２では、第１の座標系Ｓ１において、ベクトルＰＯ２ １、ベクトルＰＱ１、ベクトルＯ２Ｑ１が同じ平面上に位置するという制約、すなわち、共面制約を利用して、第１及び第２のカメラ１２，１４の相対姿勢情報を算出する。この相違点を中心にして相対姿勢情報作成システム１及びそれを利用した相対姿勢情報の作成方法について説明する。
上記共面制約は、式（１４）で表される。

更に、幾何学的関係から次の関係式が成立する。
上記式（１５ａ）〜（１５ｃ）を考慮すると、式（１４）は次のように表される。
ここで、交代行列としてＳａを次式のように定義する。
この場合、ベクトルａと、ベクトルｖの外積は、次式のように表される。
この表記を採用すると、式（１６）は次のように表される。
方向ベクトルｎ１及び位置ベクトルＰ１について、式（２０ａ）及び式（２０ｂ）の関係式が成立する。

更に、第２のカメラ１４をピンホールカメラと仮定すると、３次元の点Ｑ２とその投影点ｑとの関係は、次のようになる。
式（２１）は、Ｍ−１ｑとベクトルＱ２とが同じ方向であることを示している。Ｍは、物理的座標を、画像座標に変換する、第２のカメラ１４の内部パラメータ行列であり、焦点距離、及び、画像中心(光軸と、画像平面との交点)の情報を含む。式（２０ａ）、式（２０ｂ）及び式（２１）を、式（１９）に代入すると、次式が成立する。
第１の実施形態の場合と同様に、位置ベクトルＰ３及び方向ベクトルｎ３並びに第１のパターン２４の画像から算出される。従って、式（２２）において、Ｒ及びＴのみが未知のパラメータである。
従って、第１の実施形態の場合と同様に、Ｎ個のデータセットを複数使用し、式（２３）で表される誤差関数（第３の誤差関数）を最適化（最小化）にすることによって、Ｒ及びＴの非線形解としてのＲＥＮＳ及びＴＥＮＳを算出し得る。なお、上記データセットは、（ｎ１、Ｐ１、Ｑ２）或いは（ｎ３、Ｐ３、ｑ）である。

一実施形態において、式（２３）は、Levenberg-Marquardt 法を使用して最適化され得る。一実施形態において、式（２３）を最適化する際、Ｒ及びＴの初期値としては、第１及び第２のカメラ１２、１４の配置状態から推定されるＲ及びＴを使用すればよい。
更に、第１及び第２のカメラ１２，１４の相対姿勢情報は、式（２４）に基づいて精緻化され得る。式（２４）は、Ｒ及びＴに加えて、レーザポインタ２０の姿勢情報である方向ベクトルｎ３及び位置ベクトルＰ３を変数とした、共面制約に基づいた誤差関数（第４の誤差関数）である。第１の実施形態の場合と同様に式（２４）に示した誤差関数は、式（２３）に示した誤差関数において、方向ベクトルｎ３及び位置ベクトルＰ３を変数として見なした関数に対応する。
式（２４）の誤差関数を最適化する際、Ｒ，Ｔ，Ｐ３，ｎ３の初期値として、式（２３）の算出結果としてのＲ及びＴと式（２３）の計算に使用したレーザポインタ２０の姿勢情報を使用する。一実施形態において、式（２４）はLevenberg-Marquardtを利用して最適化されてもよい。
図８は、相対姿勢情報作成システム２が有する相対姿勢情報作成装置の機能ブロック図である。情報処理装置３８は、入力部２８と、相対姿勢情報作成部４０と、ＣＰＵ３２と、記憶部３４と、出力部３６を有する。情報処理装置２２は、記憶部３４に格納された相対姿勢情報作成プログラムをＣＰＵ３２が実行することで姿勢情報作成装置として機能する。相対姿勢情報作成部の代わりに相対姿勢情報作成部を有する点以外は、情報処理装置２２と同様であるので、入力部２８、ＣＰＵ３２、記憶部３４及び出力部３６の説明は省略する。
相対姿勢情報作成部４０は、ポインタ姿勢算出部４０Ａ、非線形推定部４０Ｂ及び精緻化部４０Ｃを有し、第１及び第２のカメラ１２，１４の相対姿勢情報を作成する。ポインタ姿勢算出部４０Ａは、情報処理装置２２のポインタ姿勢算出部３０Ａと同様であるため説明を省略する。
非線形推定部４０Ｂは、式（２３）で示される誤差関数を最適化することによって、第１及び第２のカメラ１２，１４の相対姿勢情報としての回転行列Ｒ及び並進ベクトルＴの非線形解としてのＲＥＮＬ及びＴＥＮＬを算出する。非線形推定部４０Ｂは、予め、ベクトルＰ３及びベクトルｎ３並びにＲ１及びＴ１を第１のパターン２４の画像から算出していてもよいし、それらを第１のパターン２４の画像に基づいて算出するための式を式（２３）に代入しておき、式（２３）の最適化を行ってもよい。
精緻化部４０Ｃは、式（２４）の誤差関数を最適化することによって、非線形推定部４０Ｂで算出した第１及び第２のカメラ１２，１４の相対姿勢情報としての回転行列Ｒ及び並進ベクトルＴを精緻化する。精緻化部４０Ｃは、予め、Ｒ１及びＴ１を第１のパターン２４の画像から算出していてもよいし、それらを第１のパターン２４の画像に基づいて算出するための式を式（２４）に代入しておき、式（２４）の最適化を行ってもよい。
相対姿勢情報作成システム２を利用した姿勢情報作成方法は、第１の実施形態における姿勢情報作成方法において、図６に示したステップＳ１６の工程を行わずに、ステップＳ１８の工程において、非線形推定部４０Ｂが、上述したようにして、第１及び第２のカメラ１２，１４の相対姿勢情報の非線形解としてのＲＥＮＬ及びＴＥＮＬを算出する点、及び、ステップＳ２０において、精緻化部４０Ｃが、上述したようにして、第１及び第２のカメラ１２，１４の相対姿勢情報としての回転行列Ｒ及び並進ベクトルＴを算出する点で、相違する。この相違点以外は、第１の実施形態の場合と同様である。
第２の実施形態では、第１の実施形態と同様に、レーザポインタ２０を利用して、第１及び第２のカメラ１２，１４で取得される画像を関連付けることによって、第１及び第２のカメラ１２，１４の相対姿勢情報を算出している。そのため、相対姿勢情報作成システム２及びそのシステムを用いた相対姿勢情報作成方法は、第１の実施形態の場合と少なくとも同じ作用効果を有する。
第２の実施形態では、第２の姿勢情報作成用ボードを使用しないので、より簡易な構成で、第１及び第２のカメラ１２，１４の相対姿勢情報を算出可能である。
（第３の実施形態）
図９は、第３の実施形態に係る相対姿勢情報作成システム３の構成の概念図である。相対姿勢情報作成システム３は、第２のカメラ１４として、深さ情報を取得可能なＲＧＢ−Ｄカメラ４２を使用している点で、第１の実施形態の相対姿勢情報作成システム１と相違する。以下の説明では、座標系の定義及び位置又は位置ベクトルなどの表記は、第１の実施形態と同様の表記方法を採用する。
図９に示すように、相対姿勢情報作成システム３は、ＲＧＢ−Ｄカメラ４２を採用していることによって、第２のボード１８を使用しない構成である。
ＲＧＢ−Ｄカメラ４２の例は、マイクロソフト社製のＫｉｎｅｃｔ（登録商標）である。ＲＧＢ−Ｄカメラ４２は、２次元画像としてのＲＧＢ画像と共に、距離情報を含む距離画像を取得可能なカメラである。
図１０は、ＲＧＢ−Ｄカメラ４２の模式図である。図１０に示すようにＲＧＢ−Ｄカメラ４２は、２次元画像を撮影するＲＧＢカメラ（２次元カメラ部）４４と、距離画像を取得する距離画像取得部４６とを有する。距離画像取得部４６は、赤外線（ＩＲ）カメラ４６Ａと、所定のパターンを赤外線で投影するＩＲプロジェクタ４６Ｂとを有する。
ＲＧＢカメラ４４の座標系を第１の実施形態における第２のカメラ１４の座標系、すなわち、第２の座標系とする。また、ＩＲカメラ４６Ａの３次元座標系（以下、第５の座標系）Ｓ５を、原点をＯ５とし、互いに直交するｘ５軸、ｙ５軸及びｚ５軸を有するＯ５―ｘ５ｙ５ｚ５座標系と定義する。
また、第５の座標系Ｓ５を第２の座標系Ｓ２に変換する回転行列をＲ４と称し、並進ベクトルをＴ４と称す。ＲＧＢ−Ｄカメラ４２において、ＲＧＢカメラ４４と、ＩＲカメラ４６Ａの位置は固定配置されているので、Ｒ４及びＴ４は、ＲＧＢ−Ｄカメラ４２が製造されれば既知である。
ＲＧＢ−Ｄカメラ４２では、ＲＧＢカメラ４４によって、ＲＧＢ画像を取得する。また、ＩＲプロジェクタ４６ＢによってＩＲを使用して投影された所定のパターンをＩＲカメラ４６Ａが撮影することによって、所定パターンの歪み状態などに基づいて距離画像を取得する。
従って、ＲＧＢ−Ｄカメラ４２を使用することによって、第２のボード１８を使用しなくても、点Ｑの位置が３次元的に決定される。そのため、第１の実施形態において、第２のボード１８の画像を使用して決定した点Ｑの第２の座標系Ｓ２における位置ベクトルＱ２の代わりに、ＲＧＢ−Ｄカメラ４２からの画像データによって得られる点Ｑの第２の座標系Ｓ２における位置ベクトルＱ２を使用することによって、第１及び第２のカメラ１２，１４の相対姿勢情報を算出可能である。
図１１を参照してＲＧＢ−Ｄカメラ４２によるレーザスポットの深さ(距離)の推定原理について説明する。図１１では、第１のカメラ１２の図示を省略している。
図１１に示すように、レーザスポットを点Ｑと表し、ＲＧＢカメラ４４の画像平面をπＲＧＢとし、ＩＲカメラ４６Ａの画像平面をπＩＲとする。更に、点ＱのπＲＧＢ上への投影点をｑＲＧＢと称し、πＩＲ上への投影点をｑＩＲと称する。
点Ｑの深さ（距離）は、ＲＧＢカメラ４４とＩＲカメラ４６Ａとをステレオシステムと見なして算出する。すなわち、πＩＲにおけるエピポーラ線Ｌ上の点をπＲＧＢ上に投影し、ｑＲＧＢとの間の差が最小になるような、πＩＲからのπＲＧＢへの投影点に対応するπＩＲ上のｑＩＲの深さを点Ｑの深さとして算出する。
具体的な推定方法の一例について説明する。エピポーラ線Ｌ上のＭ個の点をｑ（ｍ） ＩＲ（ただし、ｍは、１以上Ｍ以下の任意の整数）とする。ｑ（ｍ） ＩＲに対応する深さｄｍをｄｍ＝ｄ（ｘＩＲ,ｙＩＲ）と表す。この場合、各ｑ（ｍ） ＩＲに対応する３次元の点Ｑ（ｍ） ＩＲは、次式で表される。

式（２５）において、ＤＩＲは、ＩＲカメラ４６Ａの歪みパラメータを示す行列である。disは、ＤＩＲに基づいた歪み処理を示している。すなわち、dis-1は、ｑＩＲ ｉを、ＩＲカメラ４６Ａ固有の歪みを解消した座標への変換を意味している。ＫＩＲは、ＩＲカメラ４６Ａにおける投影を示す行列である。また、（１／（ｃ１ｄｉ＋ｃ０））は、深さ方向のバイアスを示しており、ｃ１及びｃ０は、使用するＫｉｎｅｃｔの特性に依存したパラメータであり、予め算出しておく。従って、（１／（ｃ１ｄｉ＋ｃ０））ＫＩＲ −１をdis-1に作用させることによって、ｑＩＲ ｉに対応する点Ｑ（ｍ） ＩＲの３次元座標が得られる。
この点Ｑ（ｍ） ＩＲに対応する第２の座標系（ＲＧＢカメラ４４の座標系）での点Ｑ（ｍ） ＲＧＢは、次式で算出される。
点Ｑ（ｍ） ＲＧＢに対応するπＲＧＢ上の点ｑ（ｍ） ＲＧＢは、次式で表される。
そして、エピポーラ線Ｌ上の点ｑ（ｍ） ＩＲを探索して、そのπＲＧＢ上の投影点であるｑ（ｍ） ＲＧＢのうち、ｑＲＢＧに最も近い点ｑ（ｊ） ＲＧＢを選択する。この処理は、次式で表される。

式（２８）において、ｍｉｎ＿ｅ＝ｍｉｎ|ｑＲＧＢ−ｑ（ｍ） ＲＧＢ|であり、|ｑＲＧＢ−ｑ（ｍ） ＲＧＢ|は、πＲＧＢにおけるｑＲＧＢとｑ（ｍ） ＲＧＢとの差（具体的には、画素数の差）である。
式（２５）〜式（２８）によって、ｑＩＲ ｉが得られる。そして、Ｑｊ ＲＧＢの深さｚｊを、ｑｊ ＲＧＢの深さとする。
従って、ＲＧＢカメラ４４の座標系におけるレーザスポットＱの深さが決定されると、式（２９）によって、点ＱＲＧＢの３次元座標が得られる。ぱた
図１２は、相対姿勢情報作成システム３が有する情報処理装置４８の機能ブロック図である。情報処理装置４８は、入力部２８と、相対姿勢情報作成部５０と、ＣＰＵ３２と、記憶部３４と、出力部３６を有する。情報処理装置４８は、記憶部３４に格納された相対姿勢情報作成プログラムをＣＰＵ３２が実行することで姿勢情報作成装置として機能する。相対姿勢情報作成部３０の代わりに相対姿勢情報作成部５０を有する点以外は、情報処理装置２２と同様であるので、入力部２８，ＣＰＵ３２、記憶部３４及び出力部３６の説明は省略する。
相対姿勢情報作成部５０は、ポインタ姿勢算出部５０Ａ、線形推定部５０Ｂ、非線形推定部５０Ｃ及び精緻化部５０Ｄを有し、第１及び第２のカメラ１２，１４の相対姿勢情報を作成する。ポインタ姿勢算出部４０Ａは、相対姿勢情報作成部３０のポインタ姿勢算出部３０Ａと同様であるため説明を省略する。
線形推定部５０Ｂ、非線形推定部５０Ｃ及び精緻化部５０Ｄは、式（２９）で算出される位置ベクトルＱＲＧＢを、式（４ａ）(又は式（８）)、式（１２）及び式（１３）における位置ベクトルＱ２として使用する。この点以外は、線形推定部５０Ｂ、非線形推定部５０Ｃ及び精緻化部５０Ｄの構成（或いは機能）は、第１の実施形態の線形推定部３０Ｂ、非線形推定部３０Ｃ及び精緻化部５０Ｄと同様の構成（或いは機能）を有する。
相対姿勢情報作成システム３を利用した姿勢情報作成方法は、第１の実施形態における姿勢情報作成方法において、図６に示したステップＳ１６、ステップＳ１８及びステップＳ２０において、線形推定部５０Ｂ、非線形推定部５０Ｃ及び精緻化部５０Ｄが、それぞれ、式（４ａ）(又は式（８）)、式（１２）及び式（１３）における位置ベクトルＱ２として、式（２９）で算出される位置ベクトルＱＲＧＢを使用する点で相違する。この相違点以外は、第１の実施形態の場合と同様である。
第３の実施形態では、第１の実施形態と同様に、レーザポインタ２０を利用して、第１及び第２のカメラ１２，１４で取得される画像を関連付けることによって、第１及び第２のカメラ１２，１４の相対姿勢情報を算出している。そのため、相対姿勢情報作成システム３及びそのシステムを用いた相対姿勢情報作成方法は、第１の実施形態の場合と少なくとも同じ作用効果を有する。
また、第３の実施形態では、第２の姿勢情報作成用ボードを使用しないので、より簡易な構成で、第１及び第２のカメラ１２，１４の相対姿勢情報を算出可能である。
ＲＧＢ−Ｄカメラ４２を使用した形態では、第２のボード１８を使用しなくても、共線制約の元で、第１及び第２のカメラ１２，１４の姿勢情報を算出できる。その結果、第１及び第２のカメラ１２，１４の姿勢情報を、より簡易なシステムにおいて、高い精度で算出可能である。
以下、実験結果について説明する。以下の説明においても、第１〜第３の実施形態で説明した対応する構成要素には、同じ符号を付する。
まず、第１の実施形態で述べた手法、すなわち、共線制約の元で、回転行列Ｒ及び並進ベクトルＴを作成する実験Ａについて説明する。
実験Ａでは、第１及び第２のカメラ１２，１４としてＫｉｎｅｃｔに搭載されているＲＧＢカメラを使用した。第１及び第２のカメラ１２，１４の分解能は、６４０×４８０画素に設定した。
第１及び第２のボード１６，１８として、図１３（ａ）及び図１３（ｂ）に示すように、正方形の黒マス(又は白マス)を２次元的に所定の間隔で、９×６のコーナー点を有するように配置された第１及び第２のパターン２４，２６を有するボードを準備した。第１及び第２のパターン２４，２６では、第１のパターン２４における各マスの一辺の長さは０．０２６ｍであり、第２のパターン２６における各マスの一辺の長さは０．０７５ｍであった。図１３（ａ）は、第１のボード１６を第１のカメラ１２で撮影した画像を示す図面であり、図１３（ｂ）は、第２のボード１８を第１のカメラ１２で撮影した画像を示す図面である。
実験Ａでは、図６を利用して説明した方法で、レーザポインタ２０の初期姿勢を算出した後、自動車１０内に、第１のカメラ１２及び第１のボード１６を配置すると共に、第２のカメラ１４及び第２のボード１８を配置した。第１及び第２のカメラ１２、１４の距離は、約０．９ｍであった。そして、図６に示した方法に従って、第１及び第２のカメラ１２，１４の姿勢情報としてのＲ及びＴを算出した。この際、第１のボード１６の姿勢の変更回数を変えて実験を行った。変更回数の異なる実験Ａをそれぞれ実験Ａ１、実験Ａ２及び実験Ａ３と称す。具体的には、実験Ａ１では、第１のボード１６の姿勢を４８回変更して、すなわち、レーザスポットを４８点計測した。実験Ａ２では、第１のボード１６の姿勢を９６回変更して、すなわち、レーザスポットを９６点計測した。実験Ａ３では、第１のボード１６の姿勢を３８４回変更して、すなわち、レーザスポットを３８４点計測した。実験Ａ１〜Ａ３はそれぞれ１１回行った。
実験Ａでは、第１及び第２のカメラ１２，１４の姿勢情報の真値が不明であるため、統計的指標及び平均再投影誤差によって算出結果の正確性を評価した。平均再投影誤差の算出は、実験Ａに対して、すなわち、レーザスポットの測定数が４８の場合について行った。
平均投影誤差は次のように定義された誤差である。算出した姿勢情報としてのＲ及びＴを用いて、第２の座標系Ｓ２でのレーザ光線の光線方程式を計算する。この光線方程式を用いて、第２のパターン２６におけるレーザスポットの位置を算出できる。このようにして計算されたレーザスポットをＱｃと称す。一方、第２のパターン２６の画像からレーザスポットである点Ｑの３次元的な位置が得られる。実験Ａでは、レーザスポットを４８点測定するので、各レーザスポットに対する点Ｑと点Ｑｃとのユークリッド的な距離の平均値を平均再投影誤差と定義した。
実験Ａ１〜実験Ａ３で得られた姿勢情報を図１４に示す。図１４では、実験Ａ１〜Ａ３で算出された並進ベクトルＴの大きさをカメラ間の距離とし、回転行列Ｒを、ロール、ピッチ、及びヨーで表した場合のロール、ピッチ及びヨーを示している。図１４におけるカメラ間の距離及び回転行列の各成分の値は、１１回行った実験の平均値及び標準偏差である。
図１５に、実験毎の平均再投影誤差を示す。図１５において、横軸は実験回数を示しており、縦軸は、平均再投影誤差（ｍｍ）を示している。
図１４及び図１５で誤差が算出できていることからも理解し得るように、第１の実施形態で説明した手法で第１及び第２のカメラ１２，１４の姿勢を算出できることが確認できた。更に、図１４より、第１及び第２のカメラ１２，１４の実際の距離が約０．９ｍ対して、標準偏差は、約０．０１ｍ（約１．２５％）であった。更に、図１５より、平均再投影誤差は、約２．１ｍｍであった。更に、図１４より、レーザスポットの測定点の数を増加させる程、より精度が向上することがわかる。
次に、第３の実施形態で述べた手法、すなわち、２次元カメラ部と、距離画像取得部を有するカメラを使用する手法で、回転行列Ｒ及び並進ベクトルＴの算出の実験４について説明する。
実験Ｂでは、第１及び第２のカメラ１２，１４としてＫｉｎｅｃｔを使用した。ただし、第１のカメラ１２では、Ｋｉｎｅｃｔに搭載されているＲＧＢカメラからのデータを使用し、ＩＲカメラからのデータは使用しなかった。第１及び第２のカメラ１２，１４の分解能は、６４０×４８０画素に設定した。
第１のボード１６として、実験Ａの場合と同様にして、図１３（ａ）に示したボードを使用した。実験Ｂでは、第１及び第２のカメラ１２，１４を、図１６に示すように、車イス５２に搭載した。図１６は、実験モデルの模式図である。
実験Ｂでは、第３の実施形態で説明した方法で、レーザポインタ２０の初期姿勢を算出した後、車イス５２に、第１のカメラ１２及び第１のボード１６を配置すると共に、第２のカメラ１４を配置した。この際、第１及び第２のカメラ１２，１４の間の距離は、約１５０ｍｍであった。そして、第２のカメラ１４をＲＧＢ−Ｄカメラとして使用し、第３の実施形態で説明した方法で、第１及び第２のカメラ１２，１４の姿勢情報としてのＲ及びＴを算出した。この際、第１のボード１６の姿勢を、４８回、変更した。
実験Ａの場合と同様に、第１及び第２のカメラ１２，１４の姿勢情報の真値が不明であるため、統計的指標及び平均再投影誤差によって算出結果の正確性を評価した。
平均投影誤差は次のように定義された誤差である。算出した姿勢情報としてのＲ及びＴを用いて、第２の座標系Ｓ２でのレーザポインタの姿勢が決定される。そして、第２のカメラ１４をＲＧＢ―Ｄカメラとして使用していることによって、第２のカメラ１４のよる撮影シーンまでの距離（深さ）がわかるので、レーザスポットの位置が計算され得る。このようにして計算されたレーザスポットの位置を、実験Ａと同様にＱｃと称す。一方、第２のカメラ１４をＲＧＢ−Ｄカメラと使用していることによって、第３の実施形態で述べたようにして、点Ｑの３次元的な位置が得られる。実験Ｂでは、測定した各レーザスポットに対する点Ｑと点Ｑｃとのユークリッド的な距離の平均を平均再投影誤差と定義した。
実験Ｂを１１回行った。実験結果は、図１７に示すとおりである。図１７において、相対姿勢情報のうち「並進成分」として、算出された並進ベクトルＴのｘ成分Ｔｘ、ｙ成分Ｔｙ、ｚ成分Ｔｚの値を示している。並進ベクトルＴの大きさをカメラ間の距離として示している。「回転成分」として、算出された回転行列Ｒを四元数で表した場合のａ、ｂ、ｃ、及びｄの値を示している。図１７に示した数値は、実験Ｂの実験回数である１１回の平均値と標準偏差である。図１７に示すように、約１５０ｍｍ離して配置された第１及び第２のカメラ１２，１４に対して標準偏差は、７ｍｍ未満であった。
実験Ｃとして、実験Ｂにおける第２のカメラ１４のＲＧＢカメラ４４からのデータを利用して、第２の実施形態で説明した手法で回転行列Ｒ及び並進ベクトルＴを算出（推定）した。算出した姿勢情報としてのＲ及びＴを用いて、第２の座標系Ｓ２でのレーザポインタの姿勢が決定される。ステレオ視の原理によって、第２のカメラ１４のよる撮影シーンまでの距離（深さ）がわかるので、レーザスポットの位置が計算され得る。このようにして計算されたレーザスポットの位置を、実験Ａ，Ｂと同様にＱｃと称す。一方、上記ステレオ視の原理によって、点Ｑの３次元的な位置も得られる。実験Ｃでは、測定した各レーザスポットに対する点Ｑと点Ｑｃとのユークリッド的な距離の平均を平均再投影誤差と定義した。実験Ｃを１１回行い、１回の実験におけるレーザスポットの測定回数は、実験Ｂの場合と同じである。
図１８は、実験Ｂ，Ｃの平均再投影誤差を示す図面である。図１８において、横軸は、実験回数を示しており、縦軸は、平均再投影誤差（ｍｍ）を示している。図１８に示すように、実験Ｂでは、平均再投影誤差が、２．５ｍｍ以下でＲ及びＴを算出できていることがわかる。また、実験Ｃにおいても、平均再投影誤差が、４．５ｍｍより小さい範囲でＲ及びＴを算出できていることがわかる。
また、図１８に示している実験Ｂの結果と比較すると、より制限の厳しい共線制約を利用する実験Ｂの方が実験Ｃより正確にＲ及びＴを算出し得ることが理解され得る。
以上、本発明の種々の実施形態及び実験例等について説明したが、本発明は、上述した種々の実施形態及び実験例等に限定されない。
第１〜第３の実施形態では、第１及び第２のカメラ１２，１４を、図１に例示したように自動車といった車両に取り付けられる車載カメラとして説明した。しかしながら、第１及び第２のカメラ１２，１４は、互いに撮影範囲が重ならないように配置されて使用されるシステムに適用されるカメラであればよい。例えば、上述したように、車イス５２に対して取り付けられてもよい。この場合、車イス５２に対しても自動車の運転支援システムと同様に第１及び第２のカメラ１２，１４を使用することが可能である。更に、自動移動ロボットに適用されてもよい。また、自動車といった車両、車イス及び自動移動ロボットなどの移動体への適用の他に、異なる方向を撮影する監視システムにも適用可能である。
更に、第１のボード１６には、レーザポインタ２０が複数固定されていてもよい。この場合、例えば、第１のカメラ１２で第１のボード１６を撮影し、第２のカメラ１４で、複数のレーザポインタ２０の光スポットを撮影することによって、一回の撮影で、複数の実測データセットを得ることが可能である。そのため、例えば、相対姿勢作成用画像の取得において、相対姿勢情報を作成するために必要な複数のデータセットを取得するための撮影回数、すなわち、第１及び第２のボード１６，１８の相対姿勢の変更回数或いは第１のボード１６の第１のカメラ１２に対する相対姿勢の変更回数を低減することができる。
また、第１の姿勢情報作成用部材は、レーザポインタ２０が取り付けられたボード(板状部材)に限定されない。図１９（ａ）は、第１の姿勢情報作成用部材の他の例を示す図面である。図１９（ａ）に示した第１の姿勢情報作成用部材５４は、互いに直交するように組み合わされた３つ棒状部材５４Ａ，５４Ｂ，５４Ｃを有する。一つの棒状部材５４Ｂには、レーザポインタ２０が、例えば、テープ５６によって固定されている。各棒状部材５４Ａ，５４Ｂ，５４Ｃの端部には、マークとして、例えば、発光体(例えば、ダイオードなど)５８が付けられていれば。この場合、各棒状部材５４Ａ，５４Ｂ，５４Ｃの端部に付けられたマークのパターンを第１の姿勢情報作成用パターンとして使用され得る。図１９（ａ）に示した第１の姿勢情報作成用部材５４では、第１のカメラ１２に対する第１の姿勢情報作成用部材５４の配置の自由度が向上する。
図１９（ｂ）は、第１の姿勢情報作成用部材の更に他の例を示す図面である。図１９（ｂ）に示した第１の姿勢情報作成用部材６０は、立方体の各表面に第１の姿勢情報作成用パターンを設けると共に、一表面上に、複数のレーザポインタを取り付けたものである。立法体の内側は中空としておけば、レーザポインタを配置しやすい。第１の姿勢情報作成用部材６０は、多面体であれば、特に限定されず、また、１の姿勢情報作成用パターンもすべての面に配置されていなくてもよい。更に、各面に設けられる第１の姿勢情報作成用パターンは、同じものでなくてもよい。また、一面に配置されるレーザポインタの数は、１〜３個でもよいし、５個以上でもよい。第１の姿勢情報作成用部材６０を使用する場合、レーザポインタの初期位置を推定する際に、レーザポインタの取り付けられている面を利用すればよい。第１の姿勢情報作成用部材６０の座標系において、レーザポインタの初期位置及び姿勢が推定されていれば、第１の姿勢情報作成用部材６０の種々の面を利用して、第１及び第２のカメラ１２，１４の姿勢情報、すなわち、Ｒ及びＴを計算できる。
また、情報処理装置２２、３８、４８は、ポインタ姿勢算出部３０Ａ，３８Ａ、５０Ａを有しなくてもよい。この場合、レーザポインタ２０の姿勢に関する情報、方向ベクトルｎ３及び位置ベクトルＰ３は、第１のボード１６に対してレーザポインタ２０を取り付けた場合の、第１のボード１６に対するレーザポインタ２０の角度及び位置を設計値として利用すればよい。また、精緻化部３０Ｄ、３８Ｃ、５０Ｄも備え無くても良い。この場合、非線形解としてのＲＥＮＬ及びＴＥＮＬを算出した第１の回転行列Ｒ及び第１の並進ベクトルＴと設定すればよい。
更に、第１の実施形態では、相対姿勢情報作成部３０は、線形推定部３０Ｂを有していたが、線形推定部３０Ｂを有さなくてもよい。この場合、非線形推定部３０Ｃは、Ｒ及びＴの初期値として、第１及び第２のカメラ１２，１４の配置状態から推定されるＲ及びＴを使用すればよい。これは、第３の実施形態でも同様である。一方、第２の実施形態において、Ｒ及びＴを線形推定する線形推定部及び線形推定工程を有してもよい。
例示した種々の実施形態などは、本発明の趣旨を逸脱しない範囲で適宜組み合わせられ得る。
１…相対姿勢情報作成システム、２…相対姿勢情報作成システム、３…相対姿勢情報作成システム、１０…自動車（車両）、１２…第１のカメラ、１４…第２のカメラ、１６…第１の姿勢情報作成用ボード（第１の姿勢情報作成用部材）、１８…第２の姿勢情報作成用ボード（第２の姿勢情報作成用部材）、２０…レーザポインタ（光源）、２２…情報処理装置（相対姿勢情報作成装置）、２４…第１の姿勢情報作成用パターン、２６…第２の姿勢情報作成用パターン、３０…相対姿勢情報作成部、３０Ａ…ポインタ姿勢算出部（光源姿勢算出部）、３０Ｂ…線形推定部、３０Ｃ…非線形推定部、３０Ｄ…精緻化部、４０…相対姿勢情報作成部、４０Ａ…ポインタ姿勢算出部（光源姿勢算出部）、４０Ｂ…非線形推定部、４０Ｃ…精緻化部、４２…ＲＧＢ−Ｄカメラ、４４…ＲＧＢカメラ（２次元カメラ部）、４６…距離画像取得部、４６Ａ…ＩＲカメラ、４６Ｂ…ＩＲプロジェクタ、４８…情報処理装置、５０…相対姿勢情報作成部、５０Ａ…ポインタ姿勢算出部（光源姿勢算出部）、５０Ｂ…線形推定部、５０Ｃ…非線形推定部、５０Ｄ…精緻化部、Ｓ１…第１の座標系、Ｓ２…第２の座標系、Ｓ３…第３の座標系、Ｓ４…第４の座標系。

Claims (23)

  1. 第１のカメラと、
    撮影範囲が前記第１のカメラの撮影範囲と重ならないように配置される第２のカメラと、
    前記第１及び第２のカメラの相対的な姿勢情報を算出する相対姿勢情報作成装置と、
    光源が取り付けられた第１の姿勢情報作成用部材と、
    を備え、
    前記相対姿勢情報作成装置は、
    前記第１の姿勢情報作成用部材が、前記第２のカメラの撮影範囲に前記光源からの光線の光スポットが生じるように前記第１のカメラの撮影範囲に配置されている状態において、前記第１のカメラで撮影された前記第１の姿勢情報作成用部材を含む画像と、前記第２のカメラで撮影された前記光スポットの像を含む画像とを、前記光源の位置情報及び前記光スポットの位置情報によって関連づけることによって、前記第１及び第２のカメラの相対姿勢情報を作成する、
    相対姿勢情報作成システム。
  2. 前記光源は、レーザ光を出力するレーザ光源である、請求項１記載の相対姿勢情報作成システム。
  3. 前記第２のカメラの撮影範囲内に配置される第２の姿勢情報作成用部材を更に備え、
    前記第１及び第２の姿勢情報作成用部材のそれぞれは、第１及び第２の姿勢情報作成用パターンを有しており、
    前記第１のカメラに対して設定される３次元座標系を第１の座標系とし、
    前記第２のカメラに対して設定される３次元座標系を第２の座標系とし、
    前記第１の姿勢情報作成用部材に対して設定される３次元座標系を第３の座標系とし、
    前記第２の姿勢情報作成用部材に対して設定される３次元座標系を第４の座標系とし、
    前記第１及び第２のカメラの相対姿勢情報を、前記第２の座標系を前記第１の座標系に変換する第１の回転行列Ｒ及び第１の並進ベクトルＴとし、
    前記第１の姿勢情報作成用部材と前記第１のカメラとの相対姿勢情報を、前記第３の座標系を前記第１の座標系に変換する第２の回転行列Ｒ１及び第２の並進ベクトルＴ１とし、
    前記第２の姿勢情報作成用部材と前記第２のカメラとの相対姿勢情報を、前記第４の座標系を前記第２の座標系に変換する第３の回転行列Ｒ２及び第３の並進ベクトルＴ２としたとき、
    前記相対姿勢情報作成装置は、前記第１の座標系において、前記光源から出力される光線の方向ベクトルｎ１の方向と、前記光源の位置である点Ｐから前記光スポットの位置である点Ｑに向かうベクトルＰＱ１の方向とが一致するという共線制約と共に、前記ベクトルＰＱ１と前記方向ベクトルｎ１との内積が１であり、前記第１の回転行列Ｒを表す四元数の絶対値の２乗が１であるという制約に基づいた、前記第１の回転行列Ｒ及び前記第１の並進ベクトルＴを変数とする第１の誤差関数を非線形推定することによって、前記第１の誤差関数の非線形解であるＲＥＮＬ及びＴＥＮＬを前記第１の回転行列Ｒ及び前記第１の並進ベクトルＴとして算出する非線形推定部を有し、
    前記ベクトルＰＱ１は、前記第１の座標系における前記点Ｐの位置ベクトルＰ１と、前記第２の座標系における前記点Ｑの位置ベクトルＱ２と、前記第１の回転行列Ｒと、前記第１の並進ベクトルＴとによって表され、
    前記方向ベクトルｎ１は、前記第３の座標系における前記光線の方向ベクトルｎ３と、前記第２の回転行列Ｒ１とによって算出され、
    前記位置ベクトルＰ１は、前記第１のカメラで撮影された画像内の前記光源の像に基づいて算出される前記第３の座標系における前記点Ｐの位置ベクトルＰ３と、前記第２の回転行列Ｒ１と、前記第２の並進ベクトルＴ１とによって算出され、
    前記位置ベクトルＱ２は、前記第２のカメラで撮影された画像内の前記光スポットの像に基づいて算出される前記第４の座標系における前記点Ｑの位置ベクトルＱ４と、前記第３の回転行列Ｒ２及び第３の並進ベクトルＴ２とによって算出され、
    前記第２の回転行列Ｒ１及び前記第２の並進ベクトルＴ１は、前記第１のカメラで撮影された画像内の前記第１の姿勢情報作成用パターンの像に基づいて算出され、
    前記第３の回転行列Ｒ２及び前記第３の並進ベクトルＴ２は、前記第２のカメラで撮影された画像内の前記第２の姿勢情報作成用パターンの像に基づいて算出される、
    請求項１又は２記載の相対姿勢情報作成システム。
  4. 前記第２のカメラは、
    撮影対象の２次元画像を取得する２次元カメラ部と、
    前記撮影対象までの距離情報を含む距離画像を取得する距離画像取得部と、
    を有しており、
    前記第１の姿勢情報作成用部材は、第１の姿勢情報作成用パターンを有しており、
    前記第１のカメラに対して設定される３次元座標系を第１の座標系とし、
    前記第２のカメラに対して設定される３次元座標系を第２の座標系とし、
    前記第１の姿勢情報作成用部材に対して設定される３次元座標系を第３の座標系とし、
    前記第１及び第２のカメラの相対姿勢情報を、前記第２の座標系を前記第１の座標系に変換する第１の回転行列Ｒ及び第１の並進ベクトルＴとし、
    前記第１の姿勢情報作成用部材と前記第１のカメラとの相対姿勢情報を、前記第３の座標系を前記第１の座標系に変換する第２の回転行列Ｒ１及び第２の並進ベクトルＴ１とし、
    前記相対姿勢情報作成装置は、前記第１の座標系において、前記光源から出力される光線の方向ベクトルｎ１の方向と、前記光源の位置である点Ｐから前記光スポットの位置である点Ｑに向かうベクトルＰＱ１の方向とが一致するという共線制約と共に、前記ベクトルＰＱ１と前記方向ベクトルｎ１との内積が１であり、前記第１の回転行列Ｒを表す四元数の絶対値の２乗が１であるという制約に基づいた、前記第１の回転行列Ｒ及び前記第１の並進ベクトルＴを変数とする第１の誤差関数を非線形推定することによって、前記第１の誤差関数の非線形解であるＲＥＮＬ及びＴＥＮＬを前記第１の回転行列Ｒ及び前記第１の並進ベクトルＴとして算出する非線形推定部を有し、
    前記ベクトルＰＱ１は、前記第１の座標系における点Ｐの位置ベクトルＰ１と、前記第２の座標系における前記点Ｑの位置ベクトルＱ２と、前記第１の回転行列Ｒと、前記第１の並進ベクトルＴとによって表され、
    前記方向ベクトルｎ１は、前記第３の座標系における前記光線の方向ベクトルｎ３と、前記第２の回転行列Ｒ１とによって算出され、
    前記位置ベクトルＰ１は、前記第１のカメラで撮影された画像内の前記光源の像に基づいて算出される前記第３の座標系における前記点Ｐの位置ベクトルＰ３と、前記第２の回転行列Ｒ１と、前記第２の並進ベクトルＴ１とによって算出され、
    前記位置ベクトルＱ２は、前記２次元カメラ部で撮影された画像と前記距離画像取得部で取得された距離画像とに含まれる前記光スポットの像とに基づいて算出され、
    前記第２の回転行列Ｒ１及び前記第２の並進ベクトルＴ１は、前記第１のカメラで撮影された画像内の前記第１の姿勢情報作成用パターンの像から算出される、
    請求項１又は２に記載の相対姿勢情報作成システム。
  5. 前記相対姿勢情報作成装置は、前記共線制約を示す線形方程式を線形推定することによって、前記線形方程式の線形解であるＲＥＬ及びＴＥＬを前記第１の回転行列Ｒと、前記第１の並進ベクトルＴとして算出する線形推定部を更に有し、
    前記非線形推定部は、前記ＲＥＬ及びＴＥＬを初期値として使用して、前記第１の誤差関数を最適化する、
    請求項３又は４に記載の相対姿勢情報作成システム。
  6. 前記相対姿勢情報作成装置は、
    前記光源からの前記光線が前記第１のカメラに入射するように、前記第１のカメラに対して前記第１の姿勢情報作成用部材が配置された状態において、前記第１のカメラで撮影して得られる前記第１の姿勢情報作成用部材の像を含む画像中の前記光源の像と、前記第２の回転行列Ｒ１と、前記第２の並進ベクトルＴ１とに基づいて、前記方向ベクトルｎ３及び前記位置ベクトルＰ３を算出する光源姿勢算出部と、
    前記第１の誤差関数において、前記方向ベクトルｎ３、前記位置ベクトルＰ３、前記第１の回転行列Ｒ及び前記第１の並進ベクトルＴを変数とみなした第２の誤差関数を、前記光源姿勢算出部で算出された前記方向ベクトルｎ３及び前記位置ベクトルＰ３と、前記非線形推定部で算出されたＲＥＮＬ及びＴＥＮＬとを、変数としての前記方向ベクトルｎ３及び前記位置ベクトルＰ３並びに前記第１の回転行列Ｒ及び前記第１の並進ベクトルＴの初期値として使用しながら、前記第２の誤差関数を最適化することによって、前記第１の回転行列Ｒ及び第１の並進ベクトルＴを精緻化する精緻化部と、
    を更に有する、
    請求項３〜５の何れか一項に記載の相対姿勢情報作成システム。
  7. 前記第１の姿勢情報作成用部材は、第１の姿勢情報作成用パターンを有しており、
    前記第１のカメラに対して設定される３次元座標系を第１の座標系とし、
    前記第２のカメラに対して設定される３次元座標系を第２の座標系とし、
    前記第１の姿勢情報作成用部材に対して設定される３次元座標系を第３の座標系とし、
    前記第１及び第２のカメラの相対姿勢情報を、前記第２の座標系を前記第１の座標系に変換する第１の回転行列Ｒ及び第１の並進ベクトルＴとし、
    前記第３の座標系を前記第１の座標系に変換する第２の回転行列Ｒ１及び第２の並進ベクトルＴ１とし、
    前記相対姿勢情報作成装置は、前記第１の座標系において、前記光源の位置である点Ｐから前記第２の座標系の原点Ｏ２に向かうベクトルＰＯ２ １と、前記点Ｐから前記光スポットの位置である点Ｑに向かうベクトルＰＱ１と、前記原点Ｏ２から前記点Ｑに向かうベクトルＯ２Ｑ１とが同じ平面上に位置するという共面制約に基づいた、前記第１の回転行列Ｒ及び第１の並進ベクトルＴを変数とする第３の誤差関数を非線形推定することによって、前記第３の誤差関数の非線形解であるＲＥＮＬ及びＴＥＮＬを前記第１の回転行列Ｒ及び第１の並進ベクトルＴとして算出する非線形推定部を有し、
    前記ベクトルＰＯ２ １は、前記第１の座標系における前記点Ｐの位置ベクトルＰ１と、前記第１の並進ベクトルＴとによって表され、
    前記ベクトルＰＱ１は、前記第２の回転行列Ｒ１と、前記第１の座標系において、前記光源から出力される光線の方向ベクトルｎ１によって表され、
    前記ベクトルＯ２Ｑ１は、前記第１の回転行列と、前記第２の座標系における前記点Ｑの位置ベクトルＱ２とによって表され、
    前記方向ベクトルｎ１は、前記第３の座標系における前記光線の方向ベクトルｎ３と、前記第２の回転行列Ｒ１とによって算出され、
    前記位置ベクトルＰ１は、前記第１のカメラで撮影された画像内の前記光源の像に基づいて算出される前記第３の座標系における前記点Ｐの位置ベクトルＰ３と、前記第２の回転行列Ｒ１と、前記第２の並進ベクトルＴ１とによって算出され、
    前記位置ベクトルＱ２は、前記第２のカメラで撮影された画像内の前記光スポットの像に基づいて算出され、
    前記第２の回転行列Ｒ１及び前記第２の並進ベクトルＴ１は、前記第１のカメラで撮影された画像内の前記第１の姿勢情報作成用パターンの像から算出される、
    請求項１又は２に記載の相対姿勢情報作成システム。
  8. 前記第１の姿勢情報作成用部材には、複数の前記光源が取り付けられている、請求項１〜７の何れか一項に記載の相対姿勢情報作成システム。
  9. 撮影範囲が重ならないように配置される第１及び第２のカメラの相対姿勢情報を算出する相対姿勢情報作成方法であって、
    撮影範囲が重ならないように配置された前記第１及び第２のカメラによる画像取得工程であって、前記第１のカメラは、光源が取り付けられており前記第２のカメラの撮影範囲に前記光源からの光線の光スポットが生じるように配置された第１の姿勢情報作成用部材の像を含む画像を取得し、前記第２のカメラは前記光スポットの像を含む画像を取得する相対姿勢用画像取得工程と、
    前記第１のカメラで得られた前記第１の姿勢情報作成用部材の像を含む画像と、前記第２のカメラで得られた前記光スポットの像を含む画像とを、前記光源の位置情報及び前記光スポットの位置情報によって関連づけることによって、前記第１及び第２のカメラの相対姿勢情報を作成する相対姿勢情報作成工程と、
    を備える、相対姿勢情報作成方法。
  10. 前記光源は、レーザ光を出力するレーザ光源である、請求項９に記載の相対姿勢情報作成方法。
  11. 相対姿勢用画像取得工程では、前記第２のカメラは、前記第２のカメラの撮影範囲内に配置され前記光スポットが生じている第２の姿勢情報作成用部材の像を含む画像を取得し、
    前記第１及び第２の姿勢情報作成用部材のそれぞれは、第１及び第２の姿勢情報作成用パターンを有しており、
    前記第１のカメラに対して設定される３次元座標系を第１の座標系とし、
    前記第２のカメラに対して設定される３次元座標系を第２の座標系とし、
    前記第１の姿勢情報作成用部材に対して設定される３次元座標系を第３の座標系とし、
    前記第２の姿勢情報作成用部材に対して設定される３次元座標系を第４の座標系とし、
    前記第１及び第２のカメラの相対姿勢情報を、前記第２の座標系を前記第１の座標系に変換する第１の回転行列Ｒ及び第１の並進ベクトルＴとし、
    前記第１の姿勢情報作成用部材と前記第１のカメラとの相対姿勢情報を、前記第３の座標系を前記第１の座標系に変換する第２の回転行列Ｒ１及び第２の並進ベクトルＴ１とし、
    前記第２の姿勢情報作成用部材と前記第２のカメラとの相対姿勢情報を、前記第４の座標系を前記第２の座標系に変換する第３の回転行列Ｒ２及び第３の並進ベクトルＴ２としたとき、
    前記相対姿勢情報作成工程は、
    前記第１の座標系において、前記光源から出力される光線の方向ベクトルｎ１の方向と、前記光源の位置である点Ｐから前記光スポットの位置である点Ｑに向かうベクトルＰＱ１の方向とが一致するという共線制約と共に、前記ベクトルＰＱ１と前記方向ベクトルｎ１との内積が１であり、前記第１の回転行列Ｒを表す四元数の絶対値の２乗が１であるという制約に基づいた、前記第１の回転行列Ｒ及び前記第１の並進ベクトルＴを変数とする第１の誤差関数を非線形推定することによって、前記第１の誤差関数の非線形解であるＲＥＮＬ及びＴＥＮＬを前記第１の回転行列Ｒ及び第１の並進ベクトルＴとして算出する非線形推定工程を有し、
    前記ベクトルＰＱ１は、前記第１の座標系における前記点Ｐの位置ベクトルＰ１と、前記第２の座標系における前記Ｑの位置ベクトルＱ２と、前記第１の回転行列Ｒと、前記第１の並進ベクトルＴとによって表され、
    前記方向ベクトルｎ１は、前記第３の座標系における前記光線の方向ベクトルｎ３と、前記第２の回転行列Ｒ１とによって算出され、
    前記位置ベクトルＰ１は、前記第１のカメラで撮影された画像内の前記光源の像に基づいて算出される前記第３の座標系における前記点Ｐの位置ベクトルＰ３と、前記第２の回転行列Ｒ１と、前記第２の並進ベクトルＴ１とによって算出され、
    前記位置ベクトルＱ２は、前記第２のカメラで撮影された画像内の前記光スポットの像に基づいて算出される前記第４の座標系における前記点Ｑの位置ベクトルＱ４と、前記第３の回転行列Ｒ２及び第３の並進ベクトルＴ２とによって算出され、
    前記第２の回転行列Ｒ１及び前記第２の並進ベクトルＴ１は、前記第１のカメラで撮影された画像内の前記第１の姿勢情報作成用パターンの像に基づいて算出され、
    前記第３の回転行列Ｒ２及び前記第３の並進ベクトルＴ２は、前記第２のカメラで撮影された画像内の前記第２の姿勢情報作成用パターンの像に基づいて算出される、
    請求項９又は１０に記載の相対姿勢情報作成方法。
  12. 前記第２のカメラは、
    撮影対象の２次元画像を取得する２次元カメラ部と、
    前記撮影対象までの距離情報を含む距離画像を取得する距離画像取得部と、
    を有しており、
    前記第１の姿勢情報作成用部材は、第１の姿勢情報作成用パターンを有しており、
    前記第１のカメラに対して設定される３次元座標系を第１の座標系とし、
    前記第２のカメラに対して設定される３次元座標系を第２の座標系とし、
    前記第１の姿勢情報作成用部材に対して設定される３次元座標系を第３の座標系とし、
    前記第２の姿勢情報作成用部材に対して設定される３次元座標系を第４の座標系とし、
    前記第１及び第２のカメラの相対姿勢情報を、前記第２の座標系を前記第１の座標系に変換する第１の回転行列Ｒ及び第１の並進ベクトルＴとし、
    前記第１の姿勢情報作成用部材と前記第１のカメラとの相対姿勢情報を、前記第３の座標系を前記第１の座標系に変換する第２の回転行列Ｒ１及び第２の並進ベクトルＴ１とし、
    前記相対姿勢情報作成工程は、
    前記第１の座標系において、前記光源から出力される光線の方向ベクトルｎ１の方向と、前記光源の位置である点Ｐから前記光スポットの位置である点Ｑに向かうベクトルＰＱ１の方向とが一致するという共線制約と共に、前記ベクトルＰＱ１と前記方向ベクトルｎ１との内積が１であり、前記第１の回転行列Ｒを表す四元数の絶対値の２乗が１であるという制約に基づいた、前記第１の回転行列Ｒ及び第１の並進ベクトルＴを変数とする第１の誤差関数を非線形推定することによって、前記第１の誤差関数の非線形解であるＲＥＮＬ及びＴＥＮＬを前記第１の回転行列Ｒ及び第１の並進ベクトルＴとして算出する非線形推定工程と、
    を有し、
    前記ベクトルＰＱ１は、前記第１の座標系において前記点Ｐの位置を示す位置ベクトルＰ１と、前記第２の座標系における前記点Ｑの位置ベクトルＱ２と、前記第１の回転行列Ｒと、前記第１の並進ベクトルＴとによって表され、
    前記方向ベクトルｎ１は、前記第３の座標系における前記光線の方向ベクトルｎ３と、前記第２の回転行列Ｒ１とによって算出され、
    前記位置ベクトルＰ１は、前記第１のカメラで撮影された画像内の前記光源の像に基づいて算出される前記第３の座標系における前記点Ｐの位置ベクトルＰ３と、前記第２の回転行列Ｒ１と、前記第２の並進ベクトルＴ１とによって算出され、
    前記位置ベクトルＱ２は、前記２次元カメラ部で撮影された画像と前記距離画像取得部で取得された距離画像とに含まれる前記光スポットの像とに基づいて算出され、
    前記第２の回転行列Ｒ１及び前記第２の並進ベクトルＴ１は、前記第１のカメラで撮影された画像内の前記第１の姿勢情報作成用パターンの像から算出される、
    請求項９又は１０に記載の相対姿勢情報作成方法。
  13. 前記相対姿勢情報作成工程は、
    前記共線制約を示す線形方程式を線形推定することによって、前記線形方程式の線形解としてのＲＥＬ及びＴＥＬを前記第１の回転行列Ｒ及び第１の並進ベクトルＴとして算出する線形推定工程を更に有し、
    前記非線形推定工程では、前記ＲＥＬ及びＴＥＬを初期値として使用して、前記第１の誤差関数を最適化する、請求項１１又は１２に記載の相対姿勢情報作成方法。
  14. 前記相対姿勢用画像取得工程では、前記第１の座標系における点Ｐの位置ベクトルＰ１と、方向ベクトルｎ１と、前記第２の座標系における点Ｑの位置ベクトルＱ２の組みが複数得られるように、前記第１及び第２のカメラで画像を取得する、請求項１１〜１３の何れか一項に記載の相対姿勢情報作成方法。
  15. 前記相対姿勢用画像取得工程では、前記第１の姿勢情報作成用部材の前記第１のカメラに対する相対姿勢を変更しながら、前記第１のカメラで、前記第１の姿勢情報作成用部材の像を含む画像を取得する、
    請求項１４に記載の相対姿勢情報作成方法。
  16. 前記第１の姿勢情報作成用部材には、複数の前記光源が取り付けられている、請求項１４又は１５に記載の相対姿勢情報作成方法。
  17. 前記第１の姿勢情報作成用部材は、第１の姿勢情報作成用パターンを有しており、
    前記第１のカメラに対して設定される３次元座標系を第１の座標系とし、
    前記第２のカメラに対して設定される３次元座標系を第２の座標系とし、
    前記第１の姿勢情報作成用部材に対して設定される３次元座標系を第３の座標系とし、
    前記第１及び第２のカメラの相対姿勢情報を、前記第２の座標系を前記第１の座標系に変換する第１の回転行列Ｒ及び第１の並進ベクトルＴとし、
    前記第３の座標系を前記第１の座標系に変換する第２の回転行列Ｒ１及び第２の並進ベクトルＴ１とし、
    前記相対姿勢情報作成工程は、
    前記第１の座標系において、前記光源の位置である点Ｐから前記第２の座標系の原点Ｏ２に向かうベクトルＰＯ２ １と、前記点Ｐから前記光スポットの位置である点Ｑに向かうベクトルＰＱ１と、前記原点Ｏ２から前記点Ｑに向かうベクトルＯ２Ｑ１とが同じ平面上に位置するという共面制約に基づいた、前記第１の回転行列Ｒ及び第１の並進ベクトルＴを変数とする第３の誤差関数を非線形推定することによって、前記第３の誤差関数の非線形解であるＲＥＮＬ及びＴＥＮＬを前記第１の回転行列Ｒ及び第１の並進ベクトルＴとして算出する非線形推定工程、
    を有し、
    前記ベクトルＰＯ２ １は、前記第１の座標系における前記点Ｐの位置ベクトルＰ１と、前記第１の並進ベクトルＴとによって表され、
    ベクトルＰＱ１は、前記第２の回転行列Ｒ１と、前記第１の座標系において、前記光源から出力される光線の方向ベクトルｎ１によって表され、
    ベクトルＯ２Ｑ１は、前記第１の回転行列と、前記第２の座標系における前記点Ｑの位置ベクトルＱ２とによって表され、
    前記方向ベクトルｎ１は、前記第３の座標系における前記光線の方向ベクトルｎ３と、前記第２の回転行列Ｒ１とによって算出され、
    位置ベクトルＰ１は、記第１のカメラで撮影された画像内の前記光源の像に基づいて算出される前記第３の座標系における前記点Ｐの位置ベクトルＰ３と、前記第２の回転行列Ｒ１と、前記第２の並進ベクトルＴ１とによって算出され、
    前記位置ベクトルＱ２は、前記第２のカメラで撮影された画像内の前記光スポットの像に基づいて算出され、
    前記第２の回転行列Ｒ１及び前記第２の並進ベクトルＴ１は、前記第１のカメラで撮影された画像内の前記第１の姿勢情報作成用パターンの像から算出される、
    請求項９又は１０に記載の相対姿勢情報作成方法。
  18. 撮影範囲が重ならないように配置された第１及び第２のカメラの相対姿勢情報を算出するための相対姿勢情報作成プログラムであって、
    コンピュータに、
    撮影範囲が重ならないように配置された前記第１及び第２のカメラのうち前記第１のカメラで取得された画像であって、光源が取り付けられており前記第２のカメラの撮影範囲に前記光源からの光線の光スポットが生じるように配置された第１の姿勢情報作成用部材の像を含む画像と、前記第２のカメラで撮影された前記光スポットの像を含む画像とを、前記光源の位置情報及び前記光スポットの位置情報によって関連づけることによって、前記第１及び第２のカメラの相対姿勢情報を作成する相対姿勢情報作成工程を、
    実行せしめる、相対姿勢情報作成プログラム。
  19. 前記光源は、レーザ光を出力するレーザ光源である、請求項１８に記載の相対姿勢情報作成プログラム。
  20. 前記第２のカメラが撮影した前記光スポットを含む画像は、第２の姿勢情報作成用部材の像を含む画像であり、
    前記第１及び第２の姿勢情報作成用部材のそれぞれは、第１及び第２の姿勢情報作成用パターンを有しており、
    前記第１のカメラに対して設定される３次元座標系を第１の座標系とし、
    前記第２のカメラに対して設定される３次元座標系を第２の座標系とし、
    前記第１の姿勢情報作成用部材に対して設定される３次元座標系を第３の座標系とし、
    前記第２の姿勢情報作成用部材に対して設定される３次元座標系を第４の座標系とし、
    前記第１及び第２のカメラの相対姿勢情報を、前記第２の座標系を前記第１の座標系に変換する第１の回転行列Ｒ及び第１の並進ベクトルＴとし、
    前記第１の姿勢情報作成用部材と前記第１のカメラとの相対姿勢情報を、前記第３の座標系を前記第１の座標系に変換する第２の回転行列Ｒ１及び第２の並進ベクトルＴ１とし、
    前記第２の姿勢情報作成用部材と前記第２のカメラとの相対姿勢情報を、前記第４の座標系を前記第２の座標系に変換する第３の回転行列Ｒ２及び第３の並進ベクトルＴ２としたとき、
    前記相対姿勢情報作成工程は、前記第１の座標系において、前記光源から出力される光線の方向ベクトルｎ１の方向と、前記光源の位置である点Ｐから前記光スポットの位置である点Ｑに向かうベクトルＰＱ１の方向とが一致するという共線制約と共に、前記ベクトルＰＱ１と前記方向ベクトルｎ１との内積が１であり、前記第１の回転行列Ｒを表す四元数の絶対値の２乗が１であるという制約に基づいた、前記第１の回転行列Ｒ及び第１の並進ベクトルＴを変数とする第１の誤差関数を非線形推定することによって、前記第１の誤差関数の非線形解であるＲＥＮＬ及びＴＥＮＬを前記第１の回転行列Ｒ及び第１の並進ベクトルＴとして算出する非線形推定工程を有し、
    前記ベクトルＰＱ１は、前記第１の座標系における前記点Ｐの位置ベクトルＰ１と、前記第２の座標系における前記Ｑの位置ベクトルＱ２と、前記第１の回転行列Ｒと、前記第１の並進ベクトルＴとによって表され、
    前記方向ベクトルｎ１は、前記第３の座標系における前記光線の方向ベクトルｎ３と、前記第２の回転行列Ｒ１とによって算出され、
    前記位置ベクトルＰ１は、前記第１のカメラで撮影された画像内の前記光源の像に基づいて算出される前記第３の座標系における前記点Ｐの位置ベクトルＰ３と、前記第２の回転行列Ｒ１と、前記第２の並進ベクトルＴ１とによって算出され、
    前記位置ベクトルＱ２は、前記第２のカメラで撮影された画像内の前記光スポットの像に基づいて算出される前記第４の座標系における前記点Ｑの位置ベクトルＱ４と、前記第３の回転行列Ｒ２及び第３の並進ベクトルＴ２とによって算出され、
    前記第２の回転行列Ｒ１及び前記第２の並進ベクトルＴ１は、前記第１のカメラで撮影された画像内の前記第１の姿勢情報作成用パターンの像に基づいて算出され、
    前記第３の回転行列Ｒ２及び前記第３の並進ベクトルＴ２は、前記第２のカメラで撮影された画像内の前記第２の姿勢情報作成用パターンの像に基づいて算出される、
    請求項１８又は１９に記載の相対姿勢情報作成プログラム。
  21. 前記第２のカメラは、
    撮影対象の２次元画像を取得する２次元カメラ部と、
    前記撮影対象までの距離情報を含む距離画像を取得する距離画像取得部と、
    を有しており、
    前記第１の姿勢情報作成用部材は、第１の姿勢情報作成用パターンを有しており、
    前記第１のカメラに対して設定される３次元座標系を第１の座標系とし、
    前記第２のカメラに対して設定される３次元座標系を第２の座標系とし、
    前記第１の姿勢情報作成用部材に対して設定される３次元座標系を第３の座標系とし、
    前記第１及び第２のカメラの相対姿勢情報を、前記第２の座標系を前記第１の座標系に変換する第１の回転行列Ｒ及び第１の並進ベクトルＴとし、
    前記第１の姿勢情報作成用部材と前記第１のカメラとの相対姿勢情報を、前記第３の座標系を前記第１の座標系に変換する第２の回転行列Ｒ１及び第２の並進ベクトルＴ１とし、
    前記相対姿勢情報作成工程は、前記第１の座標系において、前記光源から出力される光線の方向ベクトルｎ１の方向と、前記光源の位置である点Ｐから前記光スポットの位置である点Ｑに向かうベクトルＰＱ１の方向とが一致するという共線制約と共に、前記ベクトルＰＱ１と前記方向ベクトルｎ１との内積が１であり、前記第１の回転行列Ｒを表す四元数の絶対値の２乗が１であるという制約に基づいた、前記第１の回転行列Ｒ及び第１の並進ベクトルＴを変数とする第１の誤差関数を非線形推定することによって、前記第１の誤差関数の非線形解であるＲＥＮＬ及びＴＥＮＬを前記第１の回転行列Ｒ及び第１の並進ベクトルＴとして算出する非線形推定工程を有し、
    前記ベクトルＰＱ１は、前記第１の座標系における前記点Ｐの位置ベクトルＰ１と、前記第２の座標系における前記点Ｑの位置ベクトルＱ２と、前記第１の回転行列Ｒと、前記第１の並進ベクトルＴとによって表され、
    前記方向ベクトルｎ１は、前記第３の座標系における前記光線の方向ベクトルｎ３と、前記第２の回転行列Ｒ１とによって算出され、
    前記位置ベクトルＰ１は、前記第１のカメラで撮影された画像内の前記光源の像に基づいて算出される前記第３の座標系における前記点Ｐの位置ベクトルＰ３と、前記第２の回転行列Ｒ１と、前記第２の並進ベクトルＴ１とによって算出され、
    前記位置ベクトルＱ２は、前記２次元カメラ部で撮影された画像と前記距離画像取得部で取得された距離画像とに含まれる前記光スポットの像とに基づいて算出され、
    前記第２の回転行列Ｒ１及び前記第２の並進ベクトルＴ１は、前記第１のカメラで撮影された画像内の前記第１の姿勢情報作成用パターンの像から算出される、
    請求項１８又は１９に記載の相対姿勢情報作成プログラム。
  22. 前記相対姿勢情報作成工程は、
    前記共線制約を示す線形方程式を線形推定することによって、前記線形方程式の線形解であるＲＥＬ及びＴＥＬを前記第１の回転行列Ｒ及び第１の並進ベクトルＴとして算出する線形推定工程を更に有し、
    前記非線形推定工程は、前記ＲＥＬ及びＴＥＬを初期値として使用して、前記第１の誤差関数を最適化する、請求項２０又は２１に記載の相対姿勢情報作成プログラム。
  23. 前記第１の姿勢情報作成用部材は、第１の姿勢情報作成用パターンを有しており、
    前記第１のカメラに対して設定される３次元座標系を第１の座標系とし、
    前記第２のカメラに対して設定される３次元座標系を第２の座標系とし、
    前記第１の姿勢情報作成用部材に対して設定される３次元座標系を第３の座標系とし、
    前記第１及び第２のカメラの相対姿勢情報を、前記第２の座標系を前記第１の座標系に変換する第１の回転行列Ｒ及び第１の並進ベクトルＴとし、
    前記第３の座標系を前記第１の座標系に変換する第２の回転行列Ｒ１及び第２の並進ベクトルＴ１とし、
    前記相対姿勢情報作成工程は、前記第１の座標系において、前記光源の位置である点Ｐから前記第２の座標系の原点Ｏ２に向かうベクトルＰＯ２ １と、前記点Ｐから前記光スポットの位置である点Ｑに向かうベクトルＰＱ１と、前記原点Ｏ２から前記点Ｑに向かうベクトルＯ２Ｑ１とが同じ平面上に位置するという共面制約に基づいた、前記第１の回転行列Ｒ及び第１の並進ベクトルＴを変数とする第３の誤差関数を非線形推定することによって、前記第３の誤差関数の非線形解であるＲＥＮＬ及びＴＥＮＬを前記第１の回転行列Ｒ及び第１の並進ベクトルＴとして算出する非線形推定工程を有し、
    前記ベクトルＰＯ２ １は、前記第１の座標系における前記点Ｐの位置ベクトルＰ１と、前記第１の並進ベクトルＴとによって表され、
    前記ベクトルＰＱ１は、前記第２の回転行列Ｒ１と、前記第１の座標系において、前記光源から出力される光線の方向ベクトルｎ１によって表され、
    前記ベクトルＯ２Ｑ１は、前記第１の回転行列と、前記第２の座標系における前記点Ｑの位置ベクトルＱ２とによって表され、
    前記方向ベクトルｎ１は、前記第３の座標系における前記光線の方向ベクトルｎ３と、前記第２の回転行列Ｒ１とによって算出され、
    前記位置ベクトルＰ１は、前記第１のカメラで撮影された画像内の前記光源の像に基づいて算出される前記第３の座標系における前記点Ｐの位置ベクトルＰ３と、前記第２の回転行列Ｒ１と、前記第２の並進ベクトルＴ１とによって算出され、
    前記位置ベクトルＱ２は、前記第２のカメラで撮影された画像内の前記光スポットの像に基づいて算出され、
    前記第２の回転行列Ｒ１及び前記第２の並進ベクトルＴ１は、前記第１のカメラで撮影された画像内の前記第１の姿勢情報作成用パターンの像から算出される、
    請求項１８又は１９に記載の相対姿勢情報作成プログラム。
JP2014142474A 2014-07-10 2014-07-10 姿勢情報作成システム、姿勢情報作成方法及び姿勢情報作成プログラム Pending JP2016017913A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014142474A JP2016017913A (ja) 2014-07-10 2014-07-10 姿勢情報作成システム、姿勢情報作成方法及び姿勢情報作成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014142474A JP2016017913A (ja) 2014-07-10 2014-07-10 姿勢情報作成システム、姿勢情報作成方法及び姿勢情報作成プログラム

Publications (1)

Publication Number Publication Date
JP2016017913A true JP2016017913A (ja) 2016-02-01

Family

ID=55233216

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014142474A Pending JP2016017913A (ja) 2014-07-10 2014-07-10 姿勢情報作成システム、姿勢情報作成方法及び姿勢情報作成プログラム

Country Status (1)

Country Link
JP (1) JP2016017913A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019176118A1 (ja) * 2018-03-16 2019-09-19 三菱電機株式会社 重畳表示システム
JPWO2020175621A1 (ja) * 2019-02-28 2020-09-03
RU2769303C2 (ru) * 2017-08-08 2022-03-30 Конинклейке Филипс Н.В. Оборудование и способ для формирования представления сцены
CN114615441A (zh) * 2020-12-04 2022-06-10 株式会社日立制作所 校准装置以及校准方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2769303C2 (ru) * 2017-08-08 2022-03-30 Конинклейке Филипс Н.В. Оборудование и способ для формирования представления сцены
WO2019176118A1 (ja) * 2018-03-16 2019-09-19 三菱電機株式会社 重畳表示システム
JPWO2019176118A1 (ja) * 2018-03-16 2020-12-03 三菱電機株式会社 重畳表示システム
JP7003219B2 (ja) 2018-03-16 2022-01-20 三菱電機株式会社 重畳表示システム
JPWO2020175621A1 (ja) * 2019-02-28 2020-09-03
WO2020175621A1 (ja) * 2019-02-28 2020-09-03 日本電気株式会社 カメラ校正情報取得装置、画像処理装置、カメラ校正情報取得方法および記録媒体
US11758110B2 (en) 2019-02-28 2023-09-12 Nec Corporation Camera calibration information acquisition device, image processing device, camera calibration information acquisition method, and recording medium
CN114615441A (zh) * 2020-12-04 2022-06-10 株式会社日立制作所 校准装置以及校准方法

Similar Documents

Publication Publication Date Title
US9437005B2 (en) Information processing apparatus and information processing method
JP4814669B2 (ja) ３次元座標取得装置
WO2017135081A1 (ja) 車載カメラ用校正システム
JP2009288152A (ja) 車載カメラのキャリブレーション方法
JP7002007B2 (ja) カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
CN111156998A (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
CN111615443B (zh) 信息处理装置、信息处理方法和信息处理系统
JP2012253758A (ja) 車両視覚システムの較正方法および車両視覚システム
JP2011217233A (ja) 車載カメラ校正システム及びコンピュータプログラム
WO2014133646A2 (en) Apparatus and method for three dimensional surface measurement
JP2002054912A (ja) 形状計測システムと撮像装置と形状計測方法及び記録媒体
KR20210049581A (ko) 이동체의 전방향에 대한 거리 취득 장치 및 방법
JP2022089269A (ja) キャリブレーション装置およびキャリブレーション方法
Schneider et al. On the accuracy of dense fisheye stereo
CN110969665A (zh) 一种外参标定方法、装置、系统及机器人
CN113744340A (zh) 用轴向视点偏移的非中心相机模型校准相机并计算点投影
JPH11160021A (ja) 広域３次元位置計測方法及び装置
JP2016017913A (ja) 姿勢情報作成システム、姿勢情報作成方法及び姿勢情報作成プログラム
CN112229323B (zh) 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
KR102494006B1 (ko) 동적 입체 캘리브레이션을 위한 시스템 및 방법
Zou et al. Calibration of nonoverlapping in-vehicle cameras with laser pointers
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
JP2012198031A (ja) 画像補正方法及び画像補正装置
CN114926538A (zh) 单目激光散斑投影系统的外参数标定方法和装置
Yamauchi et al. Calibration of a structured light system by observing planar object from unknown viewpoints