JP2013057541A - 対象物との相対位置計測方法と装置 - Google Patents

対象物との相対位置計測方法と装置 Download PDF

Info

Publication number
JP2013057541A
JP2013057541A JP2011194834A JP2011194834A JP2013057541A JP 2013057541 A JP2013057541 A JP 2013057541A JP 2011194834 A JP2011194834 A JP 2011194834A JP 2011194834 A JP2011194834 A JP 2011194834A JP 2013057541 A JP2013057541 A JP 2013057541A
Authority
JP
Japan
Prior art keywords
imaging
distance
measurement
image
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011194834A
Other languages
English (en)
Other versions
JP5874252B2 (ja
Inventor
Hajime Sakano
肇 坂野
Toshihiro Hayashi
俊寛 林
Mitsuharu Sonehara
光治 曽根原
Shuhei Emoto
周平 江本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Priority to JP2011194834A priority Critical patent/JP5874252B2/ja
Publication of JP2013057541A publication Critical patent/JP2013057541A/ja
Application granted granted Critical
Publication of JP5874252B2 publication Critical patent/JP5874252B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】向きの変更と移動の少なくとも一方を行う動作体から、対象物との相対位置を高精度に計測できる手段を提供する。
【解決手段】動作体3に設置したレーザ距離センサにより、各被計測点の位置を動作体座標系で表わされた座標値を取得する。動作体3に設置した撮像装置により、対象物5が含まれる領域を撮像して画像を生成する。画像において、対象物5に取り付けられた指標の位置を特定し、この位置に基づいて、撮像時において対象物5の方向を特定する。距離計測時の動作体3の向きと位置に対する撮像時の動作体3の相対的な向きθと位置Δx,Δyに従って、各被計測点の座標値を、距離計測時の動作体座標系の座標値から撮像時の動作体座標系の座標値に変換する。画像内の指標の位置に対応する、変換後の座標値を特定し、この座標値に基づいて、撮像時における動作体3から対象物5までの距離を求める。
【選択図】図3

Description

本発明は、向きの変更と移動の少なくとも一方を行う動作体から見た対象物の方向と、動作体から対象物までの距離とを、動作体と対象物の相対位置として計測する対象物との相対位置計測方法と装置に関する。
屋外のように変化に富んだ多様性のある環境において、例えばロボットである動作体が作業をする時に、ロボットが、対象物との相対位置を検出する必要がある場合がある。
その具体例を説明する。複数のロボットが、広範囲のエリアを分担して農作業や地雷撤去などの作業を行うことがある。この場合に、各ロボットは、他のロボットにより作業が済んだ範囲で作業を行わないようにする目的で、または、他のロボットとの衝突を避ける目的で、互いの相対位置を知る必要がある。
別の具体例を説明する。搬送ロボットが、荷物を持った状態で、人に追従して移動する自動制御を行うことにより、人の移動先まで荷物を搬送することがある。この場合には、搬送ロボットは、人を対象物として、人との相対位置を検出する必要がある。
対象物との相対位置を検出するために、対象物に取り付けた指標を検出している。対象物に取り付ける指標は、例えば、下記の特許文献1〜3に記載されている。
下記の特許文献1に記載された指標は、特定のパターンで輝度が変化する発光ダイオードである。この指標を用いる場合、指標が取り付けられた対象物を含む領域を撮像して得た画像から、発光ダイオードの発光パターンで輝度が変化する画素を特定する。特定した画素に基づいて、対象物の位置や方向を検出することができる。
下記の特許文献2に記載された指標は、直線や四角形や円弧などの幾何学的模様である。この指標を用いる場合、指標が取り付けられた対象物を含む領域を撮像して得た画像において、指標の幾何学的模様の位置を識別する。この位置に基づいて、対象物の位置や方向を検出することができる。
下記の特許文献3に記載された指標は、複数の特徴的な幾何学的模様である。この指標を用いる場合、指標が取り付けられた対象物を含む領域を撮像して得た画像において、指標の一部が他の物体に隠れていても、または、画像の背景部分に似た模様があっても、各幾何学的模様を、その既知の模様と照合することにより、指標における一部の幾何学的模様の位置を検出することができる。この位置に基づいて、対象物の位置や方向を検出することができる。
特開2009−33366号公報 特開2007−3233号公報 特開2011−28417号公報
しかし、画像に基づいて、対象物までの距離を計測する場合には、その計測精度が低くなることがある。対象物までの距離の計測は、画像における指標の寸法に基づいて行われる。しかし、画像における指標の寸法に誤差が生じることがある。特に、距離が大きい場合には、画像内において指標が小さくなるので、計測誤差が大きくなる。例えば、100m以上の距離から、60度以上の視野で、縦と横の寸法が0.5m程度の幾何学的模様(指標)を、100万画素のカメラで撮像したとしても、画像において、幾何学的模様の縦または横の寸法が、5画素程度以下になる。この場合に、指標が有する実際の寸法と、画像における指標の寸法との関係から距離を計算すると、指標の縦または横の寸法に1画素の誤差があれば、距離の計測誤差は20mにもなる。
そこで、本発明の目的は、向きの変更と移動の少なくとも一方を行う動作体から、対象物との相対位置を高精度に計測できる方法と装置を提供することにある。
上記目的を達成するため、本発明によると、向きの変更と移動の少なくとも一方を行う動作体から見た対象物の方向と、動作体から対象物までの距離とを、対象物との相対位置として計測する方法であって、
(A)レーザ距離センサと撮像装置を動作体に設置し、
(B)レーザ距離センサにより、動作体に設定されている計測基点から各計測方向に存在する物体上の被計測点までの距離を計測し、各被計測点の位置を、動作体に固定された動作体座標系の座標値で表わし、
(C)撮像装置により、対象物が含まれる領域を撮像して画像を生成し、
(D)前記画像に基づいて、動作体から見た対象物の方向を取得する方向データ取得処理を行い、
(E)距離計測時と撮像時との間における動作体の向きと位置の変化量を求める動作変化量取得処理を行い、
(F)前記画像と前記座標値と前記変化量とに基づいて、撮像時における、動作体から対象物までの距離を取得する距離データ取得処理を行う、ことを特徴とする対象物との相対位置計測方法が提供される。
本発明の好ましい実施形態によると、
方向データ取得処理では、
(D1)撮像装置が撮像した画像において、対象物に取り付けられた指標の位置を特定し、
(D2)当該特定した位置に基づいて、撮像装置による撮像時において動作体から見た対象物の方向を特定し、
動作変化量取得処理では、
距離計測時の動作体の向きに対する撮像時の動作体の相対的な向きと、距離計測時の動作体の位置に対する撮像時の動作体の相対的な位置と、を前記変化量として求め、
距離データ取得処理では、
(F1)求めた相対的な向きと相対的な位置とに従って、前記各被計測点の座標値を、距離計測時の動作体座標系の座標値から撮像時の動作体座標系の座標値に変換し、
(F2)レーザ距離センサと撮像装置の配置関係に基づいて、前記(D1)で特定した前記指標の位置に対応する被計測点を、撮像時の動作体座標系において特定し、当該被測定点の位置を表わす前記変換した座標値を特定し、
(F3)当該特定した座標値に基づいて、撮像時における、動作体から対象物までの距離を求める。
また、上記目的を達成するため、本発明によると、向きの変更と移動の少なくとも一方を行う動作体から見た対象物の方向と、動作体から対象物までの距離とを、対象物との相対位置として計測する装置であって、
動作体に設置され、動作体に設定されている計測基点から各計測方向に存在する物体上の被計測点までの距離を計測し、各被計測点の位置を、動作体に固定された動作体座標系の座標値で表わすレーザ距離センサと、
動作体に設置され、対象物を含む領域を撮像して画像を生成する撮像装置と、
距離計測時と撮像時との間における動作体の向きと位置の変化量を求める動作変化量計測装置と、
前記画像に基づいて、動作体から見た対象物の方向を取得する方向データ取得処理を行い、前記画像と前記座標値と前記変化量とに基づいて、撮像時における、動作体から対象物までの距離を取得する距離データ取得処理を行うデータ処理装置と、を備える、ことを特徴とする対象物との相対位置計測装置が提供される。
上述した本発明によると、撮像した画像における対象物の指標の位置に基づいて、撮像時において動作体から見た対象物の方向を特定するので、対象物の方向を高精度に検出することができる。
対象物までの距離を求めるのに、レーザ距離センサを用いるので、対象物までの距離を高精度に計測することができる。
よって、動作体から見た対象物の方向と動作体から対象物までの距離とを、動作体と対象物の相対位置として高精度に取得できる。
また、前記画像と前記座標値と前記変化量とに基づいて、撮像時における、動作体から対象物までの距離を取得するので、撮像時における動作体と対象物の相対位置を得ることができる。
本発明の実施形態による対象物との相対位置計測装置を示すブロック図である。 動作体と対象物を示す簡略斜視図である。 動作体の向きと位置の変化を示す平面図である。 本発明の実施形態による対象物との相対位置計測方法を示すフローチャートである。 対象物の指標が光学特性部である場合の撮像装置の一例を示す。
本発明の好ましい実施形態を図面に基づいて説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。
図1は、本発明の実施形態による対象物との相対位置計測装置10を示すブロック図である。
対象物との相対位置計測装置10は、動作体3から見た対象物5の方向と、動作体3から対象物5までの距離とを、動作体3と対象物5の相対位置として計測する。動作体3は、向きの変更と移動の少なくとも一方を行う。
図2は、動作体3と対象物5を示す簡略斜視図である。図2の例では、動作体3と対象物5は、回転駆動される車輪6により路面上を移動する自律移動ロボットである。また、図2の例では、動作体3と対象物5は、同じ構成を有する。すなわち、対象物5は、動作体3と同じ構成を有する別の動作体である。
対象物との相対位置計測装置10は、動作体3に設けられる。なお、対象物5が、動作体3と同じ構成を有する別の動作体である場合には、対象物5にも、対象物との相対位置計測装置10が設けられる。この場合、対象物(動作体)5の相対位置計測装置10は、動作体5と動作体3との相対位置を計測する。
対象物との相対位置計測装置10は、撮像装置7とレーザ距離センサ9と動作変化量計測装置11とデータ処理装置13とを備える。
撮像装置7は、動作体3に設置され、対象物5を含む領域を撮像して画像を生成する。
レーザ距離センサ9は、動作体3に設置される。レーザ距離センサ9は、動作体3に設定されている計測基点から各計測方向に存在する物体上の被計測点までの距離を計測し、各被計測点の位置を、動作体3に固定された動作体座標系の座標値で表わす。
詳しくは、レーザ距離センサ9は、計測基点から各計測方向にレーザ光を射出して当該レーザ光の反射光を検出することにより、該計測方向に存在する物体上の被計測点までの距離を計測する。また、レーザ距離センサ9は、各計測方向と、該方向上にある被計測点までの計測距離とに基づいて、各被計測点の位置を、動作体座標系の座標値で表わす。該座標値は、当該距離計測時の動作体座標系の座標値である。動作体座標系の原点は、計測基点であり、動作体座標系において、原点から見た各方向が、各計測方向である。ただし、レーザ距離センサ9で得られた様々な物体の座標値だけでは、どの座標値が対象物5の位置に相当するか、または、座標値のどの範囲に対象物5に相当する位置が含まれるかを判別することはできない。
レーザ距離センサ9は、例えば、図2のように、鉛直方向を向く走査軸C回りに光を走査することにより、水平な各計測方向にレーザ光を射出して当該各計測方向において被計測点までの距離を計測し、次いで、走査軸Cを鉛直軸から傾けて、走査軸C回りに光を走査することにより、水平方向から下方または上方に傾いた各計測方向にレーザ光を射出して当該各計測方向において被計測点までの距離を計測してよい。
動作体座標系は、動作体3と一体的に移動する。従って、動作体3が移動する空間に固定されている静止座標系に対して、動作体3が移動する場合に、動作体座標系は、動作体3と一体的に、前記静止座標系に対して移動する。
同様に、動作体3が前記静止座標系に対して向きを変えると、動作体座標系は、動作体3と一体的に、前記静止座標系に対して向きを変える。例えば、動作体座標系と静止座標系の各々が、互いに直交するx軸とy軸とz軸とを有する直交座標系であり、動作体3の向きが動作体座標系のx軸の向きと一致する場合には、動作体3の向きが、静止座標系のx軸の向きから静止座標系のy軸の向きに変化すると、動作体座標系のx軸も、静止座標系のx軸の向きから静止座標系のy軸の向きに変化する。
なお、本願において、動作体3の向きとは、動作体3に設定された第1固定点から、この第1固定点と間隔をおいて動作体3に設定されて第2固定点に向かう方向である。動作体3の向きは、動作体3の後方から前方へ向かう向きであってよい。
動作変化量計測装置11は、距離計測時と撮像時との間における動作体3の向きと位置の変化量を求める。
詳しくは、動作変化量計測装置11は、レーザ距離センサ9による距離計測時の動作体3の向きに対する、撮像装置7による撮像時の動作体3の相対的な向きと、距離計測時の動作体3の位置に対する撮像時の動作体3の相対的な位置と、を前記変化量として求める。なお、本実施形態では、レーザ距離センサ9により距離計測を行った後、撮像装置7により撮像を行っている。ただし、撮像装置7により撮像を行った後、レーザ距離センサ9により距離計測を行ってもよい。
動作変化量計測装置11は、計測部11aと演算部11bとを有する。
計測部11aは、距離計測時と撮像時との間の各時点および距離計測時と撮像時において、動作体3の向きと動作体3の移動速度を計測する。計測部11aは、例えば、動作体3が、路面上を転動することにより移動する車輪6を有する場合には、動作変化量計測装置11は、車輪6の回転速度を計測し、回転速度から動作体3の移動速度を演算する。また、計測部11aは、動作体3に設置されたジャイロセンサを用いて、動作体3の向き(進行方向)を検出する。
演算部11bは、計測した各時点における動作体3の向きと移動速度とに基づいて、距離計測時の動作体3の向きに対する、撮像時の動作体3の相対的な向きと、距離計測時の動作体3の位置に対する撮像時の動作体3の相対的な位置と、を求める。
データ処理装置13は、撮像装置7により得た画像に基づいて、動作体3から見た対象物5の方向を取得する方向データ取得処理を行い、撮像装置7により得た前記画像とレーザ距離センサ9により得た前記座標値と動作変化量計測装置11により得た前記変化量とに基づいて、撮像時における、動作体3から対象物5までの距離を取得する距離データ取得処理を行う。方向データ取得処理は、データ処理装置13の方向データ取得処理部13aにより行われ、距離データ取得処理は、データ処理装置13の距離データ取得処理部13bにより行われる。
方向データ取得処理は、次の(a)(b)からなる。
(a)撮像装置7が撮像した画像において、対象物5に取り付けられた指標の位置を特定する。
(b)次いで、当該特定した位置に基づいて、撮像装置7による撮像時において動作体3から見た対象物5の方向を特定する。すなわち、撮像装置7(カメラ)の既知の向きと、撮像した画像の中心位置と、画像における指標の位置とに基づいて、撮像時に、動作体3から見た対象物5の方向を特定する。
指標は、図2の例では、対象物5の外周面5aに、その周方向全体にわたって、連続してまたは間隔をおいて取り付けられている。外周面5aは、鉛直軸回りの周方向に延びて1周している。なお、符号3aは、指標が取り付けられる動作体3の外周面を示し、この外周面3aも、鉛直軸回りの周方向に延びて1周している。
指標として、次のものを用いてよい。
一例では、指標は、特許文献1のように、特定のパターンで輝度が変化する発光ダイオードである。この場合、撮像装置7は、短い設定時間にわたる動画を画像として撮像し、画像において、特定のパターンで輝度が変化する画素の位置を、指標の位置として特定する。この場合、撮像時は、動画を構成する一連の画像のうちのいずれかの指定画像を撮像した時であってよく、当該指定画像を後述の処理(d)で使用してよい。
別の例では、指標は、特許文献2、3に記載されたような幾何学的模様である。この場合、幾何学的模様と同じ模様を予め設定しておき、画像において、この設定模様と同じ模様の部分を、指標の位置として特定する。
また、対象物5において、指標の位置または指標と隣接する位置に、レーザ光を高反射率(例えば、80%以上)で反射する反射シートを設けてもよい。これにより、レーザ距離センサ9で、指標の位置または指標と隣接する位置を被計測点として計測できなくなる確率が減る。
距離データ取得処理は、次の(c)(d)(e)からなる。
(c)動作変化量計測装置11が求めた相対的な向きと相対的な位置とに従って、レーザ距離センサ9が距離計測時に計測した前記各被計測点の前記座標値を、撮像時における動作体座標系の座標値に座標変換する。
この座標変換の一例を説明する。動作体3が、水平な2次元平面である路面上を移動し、かつ、対象物5がこの路面上に存在し、動作体3と対象物5の位置を、互いに直交し水平方向を向くx軸とy軸を有する当該2次元平面の静止座標系S0で表わすとする。この場合に、図3(A)に示すように、動作体3が、距離計測時に、位置P1において方向D1を向いており、その後の撮像時に、位置P2において方向D2を向いている場合には、次の[数1]により、レーザ距離センサ9が距離計測時に計測した前記各被計測点の前記座標値を、撮像時における動作体座標系の座標値に座標変換する。
ここで、右辺のxiとyiは、レーザ距離センサ9が距離計測を行った時の動作体座標系における各被計測点の前記座標値である。左辺のxiとyiは、撮像装置7が撮像を行った時の動作体座標系における各被計測点の座標値である。右辺と左辺のxiとyiの添え字iは、被計測点の識別番号であり、被計測点がn個ある場合には、1〜nまでの値をとり、xiとyiはn組だけ存在する。右辺のΔxは、上述した2次元平面の静止座標系S0における位置P1のx座標と位置P2のx座標の差であり、右辺のΔyは、上述した2次元平面の静止座標系S0における位置P1のy座標と位置P2のy座標の差である。また、右辺のθは、距離計測時の動作体3が向いている方向D1に対する、撮像時の動作体3が向いている方向を示す角度θである。
なお、動作体座標系は、この例では2次元座標系であるが、3次元座標系であってもよい。
(d)レーザ距離センサ9と撮像装置7の配置関係に基づいて、前記(a)で特定した前記指標の位置に対応する被計測点を、撮像時の動作体座標系において特定し、当該被測定点の位置を、撮像時の動作体座標系において表わす前記変換した座標値を特定する。
距離計測時と撮像時が同じであるとすると、上述の各計測方向が、撮像装置7により撮像した画像のどの位置に一致するかは、レーザ距離センサ9と撮像装置7の配置関係から分かる。従って、この配置関係に基づいて、距離計測時と撮像時が同じである場合において、各計測方向と画像内の位置との対応関係を予め求めておく。その上で、(d)の処理では、この対応関係に基づいて、撮像時の動作体座標系において、前記(a)で特定した前記指標の位置に対応する計測方向を特定し、当該計測方向の被計測点の位置を表わす前記変換した座標値を特定する。
その一例を図3(B)を用いて説明する。図3(B)は、図3(A)の場合において、距離計測時の動作体座標系S1と、撮像時の動作体座標系S2と各被計測点との関係を示す。前記(a)で特定した前記指標の位置に対応する計測方向が、図3(B)の動作体座標系S2において方向Dmであるとする。この場合、(d)の処理では、座標系S2において、計測方向Dmの被計測点の座標値を特定する。この座標値は、(c)の処理で変換されたものである。
(e)前記(d)で特定した座標値に基づいて、撮像時点における動作体3から対象物5までの距離を得る。例えば、上述の[数1]で座標変換された被計測点の座標値xi,yiのうち、前記(d)で特定した座標値がxj,yjである場合には、(xj+yj)1/2が、撮像時における動作体3から対象物5までの距離となる。
なお、距離計測時と撮像時との間に、対象物5の向きと位置が変化したとしても、この変化による誤差を無視してよい。動作体3から見た対象物5の方向の計測について、対象物5の移動により移動体3から見た対象物5の方向が変化することによる計測誤差は、動作体3の向きの変化による計測値の変化量と比べて無視できる。動作体3から対象物5までの距離の計測について、対象物5の移動速度により計測周期の間に移動できる距離が対象物5の大きさより小さくなる制限値(例えば、移動体5の大きさが0.5mであり、計測が100ミリ秒間隔である場合には速度5m毎秒の移動速度)よりも小さければ、他の指標(例えば、他の対象物5)との混同が発生しないため、対象物5の位置の変化による計測誤差を許容できる。
図4は、本発明の実施形態による対象物との相対位置計測方法を示すフローチャートである。
ステップS1において、レーザ距離センサ9と撮像装置7を動作体3に設置する。
ステップS2において、レーザ距離センサ9により、動作体3上の計測基点から各計測方向にレーザ光を射出しその反射光を受けて、レーザ光の射出時点と反射光の受光時点との時間差に基づいて、計測基点から、該計測方向に存在する物体上の被計測点までの距離を計測する。このように計測された各計測方向の距離に基づいて、各被計測点の位置を、レーザ距離センサ9により、距離計測時の動作体座標系の座標値で表わす。
ステップS3において、撮像装置7により、対象物5が含まれる領域を撮像して画像を生成する。
その一方で、ステップS4において、動作変化量計測装置11により、ステップS2における距離計測時の動作体3の向きに対する、ステップS3における撮像時の動作体3の相対的な向きと、ステップS2における距離計測時の動作体3の位置に対する、ステップS3における撮像時の動作体3の相対的な位置と、を求める。
その後、ステップS5において方向データ取得処理を行うとともに、ステップS6において距離データ取得処理を行う。
ステップS5の方向データ取得処理は、ステップS51とステップ52とを有する。
ステップS51では、撮像装置7が撮像した画像において、対象物5に取り付けられた指標の位置を特定する。
ステップS52では、ステップS51で特定した位置と、動作体3に固定された撮像装置7(カメラ)の向きに基づいて、撮像装置7による撮像時において動作体3から見た対象物5の方向を特定する。
ステップS6の距離データ取得処理は、ステップS61とステップS62とステップS63とを有する。
ステップS61では、ステップS4で求めた相対的な向きと相対的な位置とに従って、ステップS2の距離計測時に計測した前記各被計測点の前記座標値を、距離計測時における動作体座標系の座標値から、撮像時における動作体座標系の座標値に座標変換する。
ステップS62では、レーザ距離センサ9と撮像装置7の配置関係に基づいて、ステップS51で特定した前記指標の位置に対応する計測方向と被計測点を、撮像時の動作体座標系において特定し、撮像時の動作体座標系において当該被測定点の位置を表わすステップS61で変換した座標値を特定する。
ステップS51で特定した前記指標の位置に対応する被計測点は、撮像時の動作体座標系において、指標の位置に正確に一致する被計測点でなくてもよく、指標の位置に正確に一致する被計測点Aから、指標若しくは対象物の寸法に相当する範囲内に位置する被計測点Bであってもよい。ただし、被計測点Aの計測距離と被計測点Bの計測距離との差が、対象物の寸法(奥行)以内となるようにする。
ステップS63では、ステップS62で特定した座標値に基づいて、撮像時点における動作体3から対象物5までの距離を得る。
上述のように、ステップS52で得た、動作体3から見た対象物5の方向と、ステップS63で得た、動作体3から対象物5までの距離とを、動作体3と対象物5の位置関係として取得することができる。
上述した実施形態によると、撮像した画像における対象物の指標の位置に基づいて、撮像時において動作体3から見た対象物5の方向を特定するので、対象物5の方向を高精度に検出することができる。
対象物5までの距離を求めるのに、レーザ距離センサ9を用いるので、対象物5までの距離を高精度に計測することができる。
よって、動作体3から見た対象物5の方向と動作体3から対象物5までの距離とを、動作体3と対象物5の相対位置として高精度に取得できる。
また、距離計測時の動作体3の向きに対する、撮像時の動作体3の相対的な向きと、距離計測時の動作体3の位置に対する、撮像時の動作体3の相対的な位置とに従って、レーザ距離センサ9により取得した各被計測点の座標値を、距離計測時の動作体座標系の座標値から、撮像時の動作体座標系の座標値に変換するので、撮像時における対象物5までの距離を得ることができる。従って、撮像時における動作体3と対象物5の相対位置を得ることができる。
しかも、この相対位置を簡単な処理によって得ることができる。取得時が異なる距離データ(各被計測点の座標値)と画像データとを対応づけるために、画像データを、距離データの取得時に合わせて補正する場合、画像データの補正処理は複雑になる。これに対し、本実施形態では、取得時が異なる距離データと画像データとを対応づけるために、距離データを、画像データの取得時に合わせて補正する。この補正は、上述のように座標変換するだけで行えるので、補正処理が簡単である。
本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更を加え得ることは勿論である。例えば、以下のようにしてもよい。
指標は、第1の波長域の光を吸収し、かつ、第2の波長域の光を反射する光学特性部であってもよい。第1の波長域は、赤外線(好ましくは、近赤外線)の波長域であり、第2の波長域は、赤色光の波長域である。代わりに、第1の波長域は、紫外線(好ましくは、長波長紫外線)の波長域であり、第2の波長域は、青色光の波長域であってもよい。このような場合、以下の構成を採用する。
指標は、対象物5に取り付けられ第2の波長域の光を反射する反射層と、この反射層の表面に取り付けられ第1の波長域の光を吸収するフィルムとからなる。
撮像装置7は、図5に示すように、太陽光に直接または間接的に照らされる地球の屋外に位置する対象物3を含む領域を撮像する第1撮像部7aと第2撮像部7bとを有する。また、撮像装置7は、第1光学系と第2光学系を有する。第1光学系は、ハーフミラー15と第1フィルタ17とレンズ19から構成され、前記領域から進行してきた第1の波長域の光を第1撮像部7aに入射させ、かつ、前記領域から進行してきた第2の波長域の光を吸収する。第2光学系は、ハーフミラー15と第2フィルタ21とレンズ23から構成され、前記領域から進行してきた第2の波長域の光を第2撮像部7bに入射させる。
第1フィルタ17は、第1の波長域の光を透過させ、かつ、第2の波長域の光を吸収する。第2フィルタ21は、第2の波長域の光を透過させ、かつ、第1の波長域の光を吸収する。ハーフミラー15は、対象物5を含む領域である撮像範囲からの光の一部を、第1撮像部7aの撮像面へ向けて反射させ、撮像範囲からの光の一部を、第2撮像部7bの撮像面へ向けて透過させる。
上述のステップS3では、第1撮像部7aにより、第1光学系を介して、前記領域を撮像して第1画像を生成するとともに、第2撮像部7bにより、第2光学系を介して、前記領域を撮像して第2画像を生成する。
上述のステップS51では、第1画像の各画素について、該画素の輝度をAとし、前記領域において該画素と同じ位置に相当する第2画像の画素の輝度をBとし、輝度Aに対する輝度Bの比率B/Aを求め、第1画像または第2画像において、前記比率がしきい値より大きくなる位置を、第1画像または第2画像における前記光学特性部(指標)の位置として特定する。
前記比率に関して、例えば、地球上の自然界や一般的な人工物には、赤色の可視光線(第2の波長域の光)の反射率が赤外線(第1の波長域の光)の反射率よりも大幅に大きい物体はほとんど無いと考えられる。
これに対し、光学特性部は、赤外線に含まれる光を吸収し、赤色の可視光線に含まれる光を反射するので、光学特性部では、赤色の可視光線の反射率が赤外線の反射率よりも大幅に大きくなる。従って、前記比率B/Aにより、光学特性部を、自然界の物体や一般的な人工物と区別して認識できる。
このような光学特性部を用いる場合に、他の点は、上述と同じであってよい。なお、他の光学的特性を有する光学特性部を指標としてもよい。
例えば、入射光を直線偏光または円偏光に変換して反射する光学的特性を有する光学特性部(光学系)を指標としてもよい。この場合、以下のようにする。入射した直線偏光または円偏光の光量を減らして撮像装置7の第1撮像部の撮像面へ導き、入射した直線偏光または円偏光の光量を減らすことなく撮像装置7の第2撮像部の撮像面へ導くように撮像装置7を構成する。指標を含む領域を撮像装置7が撮像して、第1撮像部により第1画像を生成し、第2撮像部により第2画像を生成する。第1画像の各画素について、該画素の輝度をAとし、前記領域において該画素と同じ位置に相当する第2画像の画素の輝度をBとし、輝度Aに対する輝度Bの比率B/Aを求め、この比率に基づいて、第1画像または第2画像において、光学特性部(指標)の位置を特定する。
上述したように、光学特性部により生成された光の状態(特定の波長域で光量が減少している状態や、偏光が生じている状態)を2つの撮像部を用いて検出することにより、光学特性部の位置を特定できる。
また、指標として、他の手段を用いてもよい。
3 動作体、3a 動作体の外周面、5 対象物、5a 対象物の外周面、6 車輪、7 撮像装置、7a 第1撮像部、7b 第2撮像部、9 レーザ距離センサ、10 対象物との相対位置計測装置、11 動作変化量計測装置、11a 計測部、11b 演算部、13 データ処理装置、15 ハーフミラー、17 第1フィルタ、19 レンズ、21 第2フィルタ、23 レンズ

Claims (3)

  1. 向きの変更と移動の少なくとも一方を行う動作体から見た対象物の方向と、動作体から対象物までの距離とを、対象物との相対位置として計測する方法であって、
    (A)レーザ距離センサと撮像装置を動作体に設置し、
    (B)レーザ距離センサにより、動作体に設定されている計測基点から各計測方向に存在する物体上の被計測点までの距離を計測し、各被計測点の位置を、動作体に固定された動作体座標系の座標値で表わし、
    (C)撮像装置により、対象物が含まれる領域を撮像して画像を生成し、
    (D)前記画像に基づいて、動作体から見た対象物の方向を取得する方向データ取得処理を行い、
    (E)距離計測時と撮像時との間における動作体の向きと位置の変化量を求める動作変化量取得処理を行い、
    (F)前記画像と前記座標値と前記変化量とに基づいて、撮像時における、動作体から対象物までの距離を取得する距離データ取得処理を行う、ことを特徴とする対象物との相対位置計測方法。
  2. 方向データ取得処理では、
    (D1)撮像装置が撮像した画像において、対象物に取り付けられた指標の位置を特定し、
    (D2)当該特定した位置に基づいて、撮像装置による撮像時において動作体から見た対象物の方向を特定し、
    動作変化量取得処理では、
    距離計測時の動作体の向きに対する撮像時の動作体の相対的な向きと、距離計測時の動作体の位置に対する撮像時の動作体の相対的な位置と、を前記変化量として求め、
    距離データ取得処理では、
    (F1)求めた相対的な向きと相対的な位置とに従って、前記各被計測点の座標値を、距離計測時の動作体座標系の座標値から撮像時の動作体座標系の座標値に変換し、
    (F2)レーザ距離センサと撮像装置の配置関係に基づいて、前記(D1)で特定した前記指標の位置に対応する被計測点を、撮像時の動作体座標系において特定し、当該被測定点の位置を表わす前記変換した座標値を特定し、
    (F3)当該特定した座標値に基づいて、撮像時における、動作体から対象物までの距離を求める、ことを特徴とする請求項1に記載の対象物との相対位置計測方法。
  3. 向きの変更と移動の少なくとも一方を行う動作体から見た対象物の方向と、動作体から対象物までの距離とを、対象物との相対位置として計測する装置であって、
    動作体に設置され、動作体に設定されている計測基点から各計測方向に存在する物体上の被計測点までの距離を計測し、各被計測点の位置を、動作体に固定された動作体座標系の座標値で表わすレーザ距離センサと、
    動作体に設置され、対象物を含む領域を撮像して画像を生成する撮像装置と、
    距離計測時と撮像時との間における動作体の向きと位置の変化量を求める動作変化量計測装置と、
    前記画像に基づいて、動作体から見た対象物の方向を取得する方向データ取得処理を行い、前記画像と前記座標値と前記変化量とに基づいて、撮像時における、動作体から対象物までの距離を取得する距離データ取得処理を行うデータ処理装置と、を備える、ことを特徴とする対象物との相対位置計測装置。
JP2011194834A 2011-09-07 2011-09-07 対象物との相対位置計測方法と装置 Active JP5874252B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011194834A JP5874252B2 (ja) 2011-09-07 2011-09-07 対象物との相対位置計測方法と装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011194834A JP5874252B2 (ja) 2011-09-07 2011-09-07 対象物との相対位置計測方法と装置

Publications (2)

Publication Number Publication Date
JP2013057541A true JP2013057541A (ja) 2013-03-28
JP5874252B2 JP5874252B2 (ja) 2016-03-02

Family

ID=48133554

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011194834A Active JP5874252B2 (ja) 2011-09-07 2011-09-07 対象物との相対位置計測方法と装置

Country Status (1)

Country Link
JP (1) JP5874252B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014078232A (ja) * 2012-10-09 2014-05-01 Boeing Co 分散された位置の識別
WO2015037222A1 (ja) * 2013-09-11 2015-03-19 トヨタ自動車株式会社 三次元物体認識装置、三次元物体認識方法、及び移動体
CN112213715A (zh) * 2020-10-12 2021-01-12 中国船舶工业集团公司第七0八研究所 一种适用于升船机狭窄航道的测距方法
WO2022190514A1 (ja) * 2021-03-11 2022-09-15 オムロン株式会社 搬送システム
CN116299368A (zh) * 2023-05-19 2023-06-23 深圳市其域创新科技有限公司 激光扫描仪的精度测量方法、装置、扫描仪及存储介质
CN117054337A (zh) * 2023-08-15 2023-11-14 博雅工道(北京)机器人科技有限公司 激光测量系统以及激光测量方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001128158A (ja) * 1999-10-29 2001-05-11 Ryosuke Shibazaki 移動体用空間情報取得装置
JP2002031528A (ja) * 2000-07-14 2002-01-31 Asia Air Survey Co Ltd モービルマッピング用空間情報生成装置
JP2003269914A (ja) * 2002-03-13 2003-09-25 Hitachi Ltd 車両位置測定装置およびそれを搭載した車両
JP2007003233A (ja) * 2005-06-21 2007-01-11 Ritsumeikan コードターゲット、コード検出システム、及び3次元情報取得システム
JP2009068951A (ja) * 2007-09-12 2009-04-02 Mitsubishi Electric Corp 空中架線の管理システム
JP2010507127A (ja) * 2006-10-20 2010-03-04 テレ アトラス ベスローテン フエンノートシャップ 異なるソースの位置データをマッチングさせるためのコンピュータ装置及び方法
JP2010061567A (ja) * 2008-09-05 2010-03-18 Toyota Motor Corp 物体検出装置
US20100191391A1 (en) * 2009-01-26 2010-07-29 Gm Global Technology Operations, Inc. multiobject fusion module for collision preparation system
JP2011028417A (ja) * 2009-07-23 2011-02-10 Nec Corp マーカ検出装置、マーカ生成検出システム、マーカ生成検出装置、マーカ検出方法及びマーカ検出プログラム
JP2011227029A (ja) * 2010-04-23 2011-11-10 Honda Motor Co Ltd 車両の周辺監視装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001128158A (ja) * 1999-10-29 2001-05-11 Ryosuke Shibazaki 移動体用空間情報取得装置
JP2002031528A (ja) * 2000-07-14 2002-01-31 Asia Air Survey Co Ltd モービルマッピング用空間情報生成装置
JP2003269914A (ja) * 2002-03-13 2003-09-25 Hitachi Ltd 車両位置測定装置およびそれを搭載した車両
JP2007003233A (ja) * 2005-06-21 2007-01-11 Ritsumeikan コードターゲット、コード検出システム、及び3次元情報取得システム
JP2010507127A (ja) * 2006-10-20 2010-03-04 テレ アトラス ベスローテン フエンノートシャップ 異なるソースの位置データをマッチングさせるためのコンピュータ装置及び方法
JP2009068951A (ja) * 2007-09-12 2009-04-02 Mitsubishi Electric Corp 空中架線の管理システム
JP2010061567A (ja) * 2008-09-05 2010-03-18 Toyota Motor Corp 物体検出装置
US20100191391A1 (en) * 2009-01-26 2010-07-29 Gm Global Technology Operations, Inc. multiobject fusion module for collision preparation system
JP2011028417A (ja) * 2009-07-23 2011-02-10 Nec Corp マーカ検出装置、マーカ生成検出システム、マーカ生成検出装置、マーカ検出方法及びマーカ検出プログラム
JP2011227029A (ja) * 2010-04-23 2011-11-10 Honda Motor Co Ltd 車両の周辺監視装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014078232A (ja) * 2012-10-09 2014-05-01 Boeing Co 分散された位置の識別
WO2015037222A1 (ja) * 2013-09-11 2015-03-19 トヨタ自動車株式会社 三次元物体認識装置、三次元物体認識方法、及び移動体
JP2015055974A (ja) * 2013-09-11 2015-03-23 トヨタ自動車株式会社 三次元物体認識装置、三次元物体認識方法、及び移動体
CN112213715A (zh) * 2020-10-12 2021-01-12 中国船舶工业集团公司第七0八研究所 一种适用于升船机狭窄航道的测距方法
WO2022190514A1 (ja) * 2021-03-11 2022-09-15 オムロン株式会社 搬送システム
CN116299368A (zh) * 2023-05-19 2023-06-23 深圳市其域创新科技有限公司 激光扫描仪的精度测量方法、装置、扫描仪及存储介质
CN116299368B (zh) * 2023-05-19 2023-07-21 深圳市其域创新科技有限公司 激光扫描仪的精度测量方法、装置、扫描仪及存储介质
CN117054337A (zh) * 2023-08-15 2023-11-14 博雅工道(北京)机器人科技有限公司 激光测量系统以及激光测量方法

Also Published As

Publication number Publication date
JP5874252B2 (ja) 2016-03-02

Similar Documents

Publication Publication Date Title
US8929608B2 (en) Device and method for recognizing three-dimensional position and orientation of article
JP5874252B2 (ja) 対象物との相対位置計測方法と装置
US10613228B2 (en) Time-of-flight augmented structured light range-sensor
TWI624170B (zh) 影像掃描系統及其方法
US9528828B2 (en) Method and system for determining position and orientation of a measuring instrument
KR101591471B1 (ko) 물체의 특징 정보를 추출하기 위한 장치와 방법, 및 이를 이용한 특징 지도 생성 장치와 방법
JP6080969B2 (ja) 対象物の姿勢を決定するための方法と装置
JP2020201930A (ja) 第1のカメラによって生成された第1の画像を第2のカメラによって生成された第2の画像に基づいて更新する方法及び処理システム
WO2019012770A1 (ja) 撮像装置及びモニタリング装置
JP2020021326A (ja) 情報処理方法、情報処理装置およびプログラム
CN115585798A (zh) 确定到目标的方向的方法、勘测装置和计算机程序产品
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
US20230186507A1 (en) Mobile apparatus obstacle detection system, mobile apparatus, and ground-sweeping robot
CN109410282B (zh) 一种输液杆的检测跟踪方法和装置
KR20230065978A (ko) 구조화된 광을 사용하여 장면에서 평면 표면들을 직접 복구하기 위한 시스템, 방법 및 매체
JP2007093412A (ja) 3次元形状測定装置
JP2014137762A (ja) 物体検出装置
WO2019001001A1 (zh) 一种障碍信息获取装置及方法
JP2010164440A (ja) 距離画像処理装置および撮影装置
JP4918830B2 (ja) 位置計測システム
KR20130051134A (ko) 3차원 위치 센싱 시스템 및 방법
JP5187068B2 (ja) 3次元形状測定装置および3次元形状測定方法
JP2002022424A (ja) 3次元測定装置
JP5850225B2 (ja) マーカ検出方法および装置
US20210063850A1 (en) Imaging device, method for controlling imaging device, and system including imaging device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140723

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160104

R151 Written notification of patent or utility model registration

Ref document number: 5874252

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250