JP2014013146A5

JP2014013146A5 -

Info

Publication number: JP2014013146A5
Application number: JP2012149595A
Authority: JP
Filing date: 2012-07-03
Publication date: 2015-08-20
Anticipated expiration: 2032-07-03

Description

ｆをレンズの焦点距離、ｃ_ｘを画像におけるカメラ光軸中心のＸ座標、ｃ_ｙを画像におけるカメラ光軸中心のＹ座標、ｓ_ｘを画像センサの１画素あたりの幅、ｓ_ｙを画像センサの１画素あたりの高さ、とする。すると、基準カメラ２２の内部パラメータは、（ｆ_Ｌ、ｃ_ｘＬ、ｃ_ｙＬ、ｓ_ｘＬ、ｓ_ｙＬ）と表すことができる。また、参照カメラ２３の内部パラメータは、（ｆ_Ｒ、ｃ_ｘＲ、ｃ_ｙＲ、ｓ_ｘＲ、ｓ_ｙＲ）と表すことができる。なお、添え字Ｌは、基準カメラ２２の内部パラメータを示し、添え字Ｒは、参照カメラ２３の内部パラメータを示している。

図８において、基準カメラ座標系Ｃ_Ｌと、参照カメラ座標系Ｃ_Ｒは、基準カメラ２２と参照カメラ２３の姿勢を代表する座標系であり、カメラのレンズ主点を原点とし、画像の座標系とＸ、Ｙ方向が一致するように配置された座標系である。前述の姿勢パラメータは、基準カメラ座標系Ｃ_Ｌと参照カメラ座標系Ｃ_Ｒとの相対姿勢を表す。また、図８及び図９に示す３０１、３０２は、基準カメラ２２及び参照カメラ２３の画像センサ面をそれぞれ表しており、任意の被写体（例えば、ワーク）が画像センサ面３０１、３０２に投影された結果を画像として取得する。なお、図８においては、説明を簡単化するために、画像センサの実際の物理的な配置に対し、レンズ主点について反転した図を用いている。

次に、図７に示すように、ロボット装置１Ａを撮影姿勢に移動させて基準カメラ２２によって第１画像を取得する（ステップＳ０１、第１画像取得工程）。そして、第１画像に対して画像処理を行い、画像内のワークを検出する（ステップＳ０２）。この検出には、パターンマッチングや２値化処理など、公知の各種画像処理手法を用いることが可能である。その後、ステップＳ０２における第１画像のワークの検出結果に基づいて、参照カメラ２３に設定する参照カメラ切出し範囲３０７を計算する（ステップＳ０３）。以下、切り出しステップＳ０３について、ステップＳ２１〜Ｓ２４のサブステップに分けて説明する。まず、第１画像における対象物抽出結果に基づいて、基準カメラ切出し範囲３０３を計算する（ステップＳ２１）。基準カメラ切出し範囲３０３としては、たとえば、第１画像において抽出された対象物の画像領域を囲う最小の矩形領域が計算される。

また、３次元計測対象領域とは、基準カメラ切り出し範囲３０３によって定義される視線曲面（本実施形態においては４つの視平面）と、奥行情報とによって得られる少なくとも２つの平面によって囲まれる領域である。図８に示すように、３次元計測対象領域は、四角錘台状の領域で表される。３次元計測対象領域の代表点として、８つの頂点（３次元点）Ｐ_Ｗｉｊ（ｉ＝１、２、３、４、ｊ＝１、２）の座標を求める。３次元点Ｐ_Ｗｉｊは、基準カメラ座標系Ｃ_Ｌから基準カメラ切り出し範囲３０３の頂点Ｐ_Ｌｉに向かう視線と、平面３０４、３０５との交点である。以下、ステップＳ２２において３次元点Ｐ_Ｗｉｊを求める。

基準カメラ座標系Ｃ_Ｌと、３次元点Ｐ_Ｗｉｊを通る視線の式は、

と表せる。更に、３次元点Ｐ_Ｗｉｊの座標を、距離ｄ_１、ｄ_２の平面と視線の交点として求める。

Ｐ_Ｗｉｊ＝（ｘ_Ｗｉｊ、ｙ_Ｗｉｊ、ｚ_Ｗｉｊ）^Ｔとすると、ｚ_Ｗｉｊ＝λ・ｆ_Ｌ＝ｄ_ｊ（ｉ＝１、２、３、４、ｊ＝１、２）より、

と、３次元点Ｐ_Ｗｉｊを基準カメラ座標系Ｃ_Ｌにおいて求めることができる。

次に、３次元点Ｐ_Ｗｉｊの参照カメラ２３への投影点Ｐ_Ｒｉｊを計算する（ステップＳ２３、投影計算工程）。まず、基準カメラ座標系Ｃ_Ｌで記述されたＰ_Ｗｉｊの座標を参照カメラ座標系Ｃ_Ｒに座標変換する。姿勢パラメータである回転行列Ｒ及び並進ベクトルtを用いて、以下のように座標変換を行う。参照カメラ座標系Ｃ_Ｒで表された３次元点Ｐ_Ｗｉｊの座標をＰ_Ｗｉｊ＝（ｘ´_ｗｉｊ、ｙ´_ｗｉｊ、ｚ´_ｗｉｊ）^Ｔとすれば、

次に、参照カメラ座標系Ｃ_Ｒで表された３次元点Ｐ_Ｗを、参照カメラ２３へ投影した投影点Ｐ_Ｒｉｊを求める。Ｐ_Ｒｉｊ＝（ｘ´_Ｒｉｊ、ｙ´_Ｒｉｊ、ｚ´_Ｒｉｊ）^Ｔは、参照カメラ２３の焦点距離ｆ_Ｒを用いて、