JP2011065202A - 自律移動装置 - Google Patents
自律移動装置 Download PDFInfo
- Publication number
- JP2011065202A JP2011065202A JP2009212628A JP2009212628A JP2011065202A JP 2011065202 A JP2011065202 A JP 2011065202A JP 2009212628 A JP2009212628 A JP 2009212628A JP 2009212628 A JP2009212628 A JP 2009212628A JP 2011065202 A JP2011065202 A JP 2011065202A
- Authority
- JP
- Japan
- Prior art keywords
- image
- mobile device
- autonomous mobile
- map information
- display input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000003860 storage Methods 0.000 claims abstract description 35
- 239000000284 extract Substances 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 abstract description 13
- 238000001514 detection method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 10
- 239000003550 marker Substances 0.000 description 9
- 241000282412 Homo Species 0.000 description 7
- 238000002360 preparation method Methods 0.000 description 7
- 239000003086 colorant Substances 0.000 description 5
- 238000009434 installation Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【課題】自律移動装置に対して任意の通行可否領域設定を容易に高精度に行う。
【解決手段】運用現場で取得した画像と自己位置認識手段2で認識した位置情報とを対応付けて画像情報記憶手段9が記憶し、画像情報記憶手段9が記憶する画像情報から通行可否領域の設定に有用な画像を画像抽出加工手段10が抽出加工して表示入力手段が表示し、その画像に対して使用者が地図情報編集手段12を用いて通行可否領域の設定を可能とする。
【選択図】 図1
【解決手段】運用現場で取得した画像と自己位置認識手段2で認識した位置情報とを対応付けて画像情報記憶手段9が記憶し、画像情報記憶手段9が記憶する画像情報から通行可否領域の設定に有用な画像を画像抽出加工手段10が抽出加工して表示入力手段が表示し、その画像に対して使用者が地図情報編集手段12を用いて通行可否領域の設定を可能とする。
【選択図】 図1
Description
本発明は、決められた領域内を移動しながら物の運搬,案内業務などを行う自律移動装置に関する。
近年、人間の生活空間内で移動をしながら、物の運搬,案内業務などを行う移動ロボットが多数開発されてきている。移動方法としては、床に引かれた線を画像認識で検出しながら線上を移動する方法がある。しかし、線上に障害物があった場合は、障害物が除去されるまで停止して待たなくてはならない。それに対して、障害物があっても停止せず、障害物の左右に避けて進み、効率的に移動するロボットも開発されている。レーザスキャナや3次元画像認識装置などの障害物検出センサで周囲の物体までの距離を測定し、進行方向に障害物が検出された場合は、障害物が検出されない方向に進路を変えて避けて進むロボットである。
例えば特許文献1では、視覚センサによって計測対象の3次元位置データ群を生成し、移動平面を検出して障害物領域と移動可能領域を認識する。
しかしながら、工場内の部品搬送や、オフィス内で書類を届けたり案内をしたりする業務を考える場合、ロボットが移動してよい領域は障害物が検出されない領域のみとは限らない。例えば、工場内では白線で安全通路が引かれており、工場の運用規則によりロボットは安全通路内を走行することと決められていた場合、レーザスキャナや3次元画像認識装置などの障害物検出センサでは安全通路は検出できず、障害物を回避するときに安全通路から逸脱する恐れがある。この例の場合は、画像認識によって白線を検出し、安全通路の領域を認識するという方法が可能である。しかし、人間用安全通路とロボット用通路が一部または全て異なる場合があること、またロボット用に新たに床に線を引くのに手間がかかることから、ロボットの通行許可領域と通行不許可領域の区別がセンサで検出可能な明示的手段で示されるとは限らない。また、安全上の理由や現場で行われている作業の内容により、日時によってロボット通行領域が変更される場合もある。
この解決策として、ロボットの移動空間内の位置と通行可否情報を対応付けた地図情報をロボットに持たせ、ロボットが移動中に随時現在自己位置を認識し、その位置の周囲の通行可否情報を参照しながら、通行許可領域のみを移動させる方法がある。この地図情報は、例えば、計算機のファイルシステムに記憶された電子情報で、人間が任意に地図座標に対してテキストエディタなどの何らかの方法で通行可否情報と対応付けを行えるようにする。現場の物理的な手段を用いず、電子情報を書き換えるだけなので通行可否情報の設定が容易に任意に可能であり、ロボットとしての使い勝手がよい。
しかしながら、航空写真などから作成され地図が市販されている屋外と異なり、工場やオフィスなど屋内の家具や通路の配置地図は一般的に存在しない。ロボットを導入する場合は新たに作成する必要がある。しかし、人手で家具や通路の位置を測って精度高く地図を作成することは容易ではない。また、その地図は、ロボットが認識する位置座標系と正確に一致している必要がある。一致していないと、ロボットは通行許可領域から逸脱していないと判断しても実際には逸脱する可能性があるからである。
そこで、屋内の壁や家具の配置地図をロボットの自己位置認識機能を利用して自動的に作成する方法が開発されている。例えば特許文献2では、レーザ距離センサを移動させながら周囲のものまでの方位と距離を検出し、検出された物体の占有位置を示すグリッド画像を生成し、移動の前後でグリッド画像の特徴点を照合して同じ特徴点が最もよく一致するように画像を重ね合わせて行き、全体の地図を作成する。そして、自律移動時には、レーザ距離センサで周囲のものまでの方位と距離を検出し、検出された物体の占有位置を示すグリッド画像を生成し、そのグリッド画像と上記生成した全体地図とを照合し、全体地図の中でグリッド画像が一致した位置を現在位置とすることで、自己位置を認識することが可能である。
しかし、上記従来技術において作成される地図は、ロボットが認識する位置座標系と正確に一致しているがロボットの位置認識用レーザ距離センサで検出可能な物の配置であるため、必ずしも実際の環境と地図座標との関係付けを人間が容易にできる地図というわけではない。例えば、工場内でロボットの通行可否の区別に利用されやすいであろう安全通路の白線情報は記載されない。また、オフィスでは一般的に机が多く配置されている。机は足元の形状と上面天板の形状が一般的に異なり、人間の目の高さから人間は通常天板の形状を机の形状と認識しているが、ロボットが位置認識するために必要な特徴点は天板の形状とは限らない。足元の形状を利用していた場合、地図には足元の形状しか書かれない。このような理由により、人間が上記地図上で通行可否領域を正確な座標で指定するのは容易ではない。
本発明の課題は、人間が容易に任意の通行可否領域を指定しやすい自律移動装置を実現することである。
上記目的を達成するため、本発明は、
現在の自己位置と向きを認識する自己位置認識手段と、
移動手段と、
前記移動手段によって移動する移動平面内の位置と通行可否情報とが対応付けられた地図情報を記憶する地図情報記憶手段と、
前記自己位置認識手段が認識した自己位置と前記地図情報記憶手段の記憶する地図情報とを照合して通行可能領域を移動するように制御する移動制御手段と、を有する自律移動装置において、
周囲画像を取得する画像取得手段と、
前記画像取得手段が画像を取得した地点において前記自己位置認識手段が認識した自己位置と向きを対応付けて前記画像取得手段が取得した画像を記憶する、画像情報記憶手段と、
前記画像情報記憶手段に記憶されている画像から通行可否判断に有用な画像を抽出加工する画像抽出加工手段と、
前記地図情報記憶手段が記憶している移動平面の位置座標と対応付けられた平面画像を表示する表示入力手段と、
前記表示入力手段が表示した前記平面画像の任意の位置に対して通行可否情報を入力することで、ユーザが移動平面内の任意の位置に対して通行可否情報の対応付けを行うことが可能な地図情報編集手段と、
を設け、
前記表示入力手段に前記画像抽出加工手段が加工した画像を表示する。
現在の自己位置と向きを認識する自己位置認識手段と、
移動手段と、
前記移動手段によって移動する移動平面内の位置と通行可否情報とが対応付けられた地図情報を記憶する地図情報記憶手段と、
前記自己位置認識手段が認識した自己位置と前記地図情報記憶手段の記憶する地図情報とを照合して通行可能領域を移動するように制御する移動制御手段と、を有する自律移動装置において、
周囲画像を取得する画像取得手段と、
前記画像取得手段が画像を取得した地点において前記自己位置認識手段が認識した自己位置と向きを対応付けて前記画像取得手段が取得した画像を記憶する、画像情報記憶手段と、
前記画像情報記憶手段に記憶されている画像から通行可否判断に有用な画像を抽出加工する画像抽出加工手段と、
前記地図情報記憶手段が記憶している移動平面の位置座標と対応付けられた平面画像を表示する表示入力手段と、
前記表示入力手段が表示した前記平面画像の任意の位置に対して通行可否情報を入力することで、ユーザが移動平面内の任意の位置に対して通行可否情報の対応付けを行うことが可能な地図情報編集手段と、
を設け、
前記表示入力手段に前記画像抽出加工手段が加工した画像を表示する。
これらにより、ユーザが自律移動装置の通行許可領域と不許可領域を設定するときに、現場の平面画像を表示し、その画像に対して領域区分をするので、領域区分位置が現場のどの位置と対応するかユーザにとって認識しやすくなる。また、表示する画像は自律移動装置が認識する位置と対応付けてあるので、ユーザが設定する通行可否領域位置と実際の現場位置の対応付け精度を高くすることができる。
上記構成において、前記画像抽出加工手段は、移動平面上に周囲の色と著しく異なる色で描かれた図形や記号を抽出して、抽出された図形や記号画像を前記表示入力手段が表示する。
周囲の色と著しく異なる色の図形や記号という、人間に注意喚起を促すときに一般的に使用されるマーカであり、かつ、計算機にとっても一般的な画像処理により抽出が容易であるマーカを利用するので、新たなマーカを使用する必要がなく、また、前記画像抽出加工手段の画像処理も低負荷で行える。また、人間にとってわかりやすく、かつ、紙とマジックなどで容易に作成できるマーカなので、ユーザが地図情報編集時に目印画像として使用したいと考えたときに、容易に任意のマークを作成して現場に置くことで画像として取得し、目印画像として利用することができる。
さらに、前記画像抽出加工手段は、前記抽出した図形や記号から、予め定められたルールに従って通行可能領域を判断し、判断した通行可能領域を表す画像を前記表示入力手段が表示する。
これにより、ユーザの地図情報編集作業負荷を軽減できる。
また、前記画像抽出加工手段は、移動平面より高く、かつ、一般的な人間の背丈以下に存在する物体表面のうち、もっとも高い位置に存在する物体表面の画像を抽出して、抽出された画像を前記表示入力手段が表示する。
これにより、ユーザが自律移動装置の通行許可領域と不許可領域を設定するときに、現場の普段見慣れている平面画像を表示し、その画像に対して領域区分をするので、領域区分位置が現場のどの位置と対応するかユーザにとってさらに認識しやすい。
本発明によれば、人間がロボットの通行を許可するか不許可とするか判断しやすい画像を表示し、その画像上で通行可領域と通行不可領域を区切るので、人間は通行可否領域分割を画像内で容易に行うことができ、また、画像座標はロボットの自己位置認識座標系と対応付けてあるため、通行可否領域と自己位置認識座標は高精度に一致しており、ロボットは実空間内で通行可領域内の移動を高精度に遵守することが可能である。
以下、図面を参照して一実施の形態を説明する。
図1は自律移動装置の構成の一例を示す図である。
図1は自律移動装置の構成の一例を示す図である。
1は自律移動装置である。ハードディスクなどのファイルシステムを備えた計算機を内蔵し下記各手段の計算処理,制御を行う。
2は自己位置認識手段であり、例えば車輪の累積回転数を取得することにより原点位置からの走行距離と変位向きを求めて自己位置と向きを算出する。この値をオドメトリと呼ぶ。さらに、外界に設置した図示しない位置認識用マーカを検出して絶対位置を求め、上記オドメトリの補正を行い位置認識精度を高める。位置認識用マーカは、例えば特定の形状の固定物であり、検出手段としてはレーザスキャナが使用できる。レーザスキャナは周囲の物のまでの距離を2次元平面で測定できるため、測定結果を距離座標に表現することでマーカ形状とその位置を検出でき、予めマーカの位置情報を与えておくことにより、マーカとの相対位置から自律移動装置1の現在の自己位置を求めることができる。
3は地図情報記憶手段であり、例えば自律移動装置1が移動する面を2次元座標で表し、各座標位置において自律移動装置1が通行許可されている領域か否かを上記ファイルシステムで記憶する。例えば、自律移動装置1の要求移動精度が5cmであった場合、5cm角のセルで区切ったマトリックス地図とし、各セルが通行可か否かを記憶する。
4は経路設定手段であり、自律移動装置1の使用者が自律移動装置1の目的地への経路を設定する。具体的には後述するタッチパネル付き液晶ディスプレイなどの表示装置に地図情報記憶手段3に記憶されている自律移動装置1の移動平面図を表示し、画像上で目的地をタッチすることにより目的地座標を使用者に指定させ、現在地から目的地へ到達する経路を使用者が画像上でなぞることにより経路座標を指定させる。もしくは荷物の受け渡し地点が予め決まっている場合、受け渡し地点を目的地として座標を予め登録し、目的地毎に経路パターンを1つ以上定め、使用者60にその経路パターンの中から選択させてもよい。
5は障害物検出手段であり、例えばレーザスキャナで周囲のものまでの距離を測定し、同程度の距離が連続する領域を1つの障害物として、その平均距離から自律移動装置1に対する相対位置を求める。そして、自己位置認識手段2で認識した自律移動装置1の自己位置に加算して、障害物の絶対位置を求める。
6は移動手段であり、例えば車輪とモータ,モータドライバから成り、自律移動装置1を移動させる。
7は移動制御手段であり、自己位置認識手段2で認識した自己位置と地図情報記憶手段3に記憶されている地図情報を照合し、自律移動装置1が通行可領域から逸脱しないように移動手段4を制御する。具体的には、例えばまず、経路設定手段4で入力された経路に従って現在の自己位置から次の制御周期までに到達する予定の位置を求める。また、障害物検出手段5で障害物が検出された場合は、障害物を左右に回避する位置を求める。そして、その位置座標値に該当するセルを地図情報記憶手段3から検索し、そのセルが通行可領域であるかを確認する。もしも、通行不許可領域であった場合は、隣接セルの通行可否情報を調べ、通行可領域に移動するよう移動経路を変更する。
8は、画像取得手段である。例えばカメラであり、自律移動装置1の周囲の画像を取得する。
9は画像情報記憶手段であり、画像取得手段8で取得した画像を、その地点の自己位置と向きと対応付けて記憶する。具体的には、上記ファイルシステムにファイル名を定めて画像ファイルを記憶させ、ファイル名とそのときの自律移動装置1の位置と向きをテキストファイルに記述していく。
10は画像抽出加工手段であり、画像情報記憶手段9に記憶されている画像の変形,色の抽出,形状認識などの画像処理を行う。
11は表示入力手段であり、例えば、タッチパネル付き液晶ディスプレイである。画像取得手段8で取得された画像や画像情報記憶手段9に記憶されている画像,画像抽出加工手段10が加工した画像などを表示する。また、上記経路設定や後述する地図情報編集に必要な情報の表示や操作手段の提供も行う。
12は地図情報編集手段であり、表示入力手段11に表示された、画像に対して、表示入力手段11が提供する操作手段を用いて自律移動装置1の使用者が地図情報を編集する。具体的には、使用者が表示入力手段11に表示された画像の各領域に対して通行可否情報を設定する。画像に対応付けられている画像取得時の自律移動装置1の位置と向きから、画像内の各位置と地図情報記憶手段3が記憶している地図座標を対応させ、該当セルの通行可否情報を更新する。
次に、床に描かれた線や記号の視覚情報を利用して、通行可否情報を設定する方法を説明する。
図2は、画像取得手段8で取得する画像の範囲と、画像と地図座標の対応付けの例を示す図である。
60は自律移動装置1の使用者である。通行可否情報を編集するときは、自律移動装置1は未だ正しい通行可否情報を所有していなので、通行可能領域から逸脱しないよう、使用者が手動で自律移動装置1を移動させる。具体的には、自律移動装置1を手で押したり、表示入力手段11に自律移動装置1の移動指示機能を設け、その機能を利用して自律移動装置1の移動方向を指示しながら移動させる。
61は画像取得手段8の画像取得領域である。画像取得手段8が画像取得可能な領域を使用者60が確認できるよう、画像取得手段8は随時画像を取得して、取得された画像は表示入力手段11が表示する。
62は取得された画像のうち、画像抽出加工手段10で処理する範囲の上限を示す。床以外に描かれた線や記号を抽出しないよう、画像の下部のみを処理する。1画像で床面のaの範囲を処理可能である。画像内の任意の位置を地図座標と対応付ける方法について説明する。カメラの特性上、画像内の位置と画像取得手段8からの対象物の向きは一対一に対応付けられる。例えば図の任意の点、P点は、鉛直方向の角度は図のθである。同様に水平方向にも特定される。その角度をφとする。画像取得手段8の設置高さhは既知であるため、hとθから画像取得手段8からP点までの画像取得手段8の前方方向距離x1が算出できる。同様にdとφから画像取得手段8からP点までの画像取得手段8の左右方向距離が算出できる。これをy1とする。つまりP点の画像取得手段8からの相対位置が算出可能である。自己位置認識手段2が自律移動装置1の中心位置の地図座標上の絶対位置を認識すると、自律移動装置1の中心位置から画像取得手段8までの相対位置は既知であるので画像取得手段8の絶対位置が算出でき、上記、x1,y1を加算することにより、P点の地図座標上の絶対位置が算出可能となる。
使用者60は、地図情報編集に有用な画像情報を取得したい位置に自律移動装置1を移動させた後に、表示入力手段11で提供する画像取得指示機能を用いて、地図情報編集用画像を取得させる。取得された画像はその地点の自己位置,向き情報と対応付けられて画像情報記憶手段9が記憶すると共に、表示入力手段11が表示する。
図3に表示入力手段11の表示例を示す。
101は撮影された壁であり、102は撮影された床である。この例の地点の床には、安全通路を示す白線,荷物受け渡し位置を示す赤い三角記号,荷物受け渡し位置の種類を示す文字が描かれている。これらは、この現場で働く人間が認識しやすいように、床の色と著しく異なる色で描かれている。103は撮影された白線、104は撮影された赤い三角記号、105は撮影された文字である。
図4は、使用者60が地図情報を編集するために表示入力手段11に設けられた編集機能の例を示す図である。例えば液晶ディスプレイにボタンや選択肢を表示して、タッチパネルでそれらのボタンや選択肢をタッチして操作指示,設定選択を行う。
202は表示入力手段11に表示された画像から特定の色や線,記号などを自動抽出するための設定部である。各項目欄を1回タッチするたびに、選択肢の中から選択される設定値が切り替わる。
色の設定は必須である。色を設定すると画像抽出加工手段10は、表示入力手段11に表示された画像からその色調の画素を抽出して、非抽出画素と異なる色で表示する。指定された色とその他の色との閾値によって抽出量が変化するため、使用者60は、抽出が適切に行われるかどうかを表示入力手段11に表示される抽出画像を確認しながら閾値調整機能を使用して調整する。図の上下1対となっている三角ボタンが調整ボタンである。具体的には、画像抽出加工手段10には、指定された色毎にRGBの三原色のバランス範囲が予め設定されており、使用者60が閾値調整機能で調整すると、そのバランス範囲内でRGBの値が変化する。そして、そのRGBの値を閾値として、画素の抽出,非抽出を判断する。使用者60は目的の物の画像が適切に抽出されたと判断したら調整を終了する。抽出画素を地図情報編集に有用な物に限定するために、タッチパネル上を指でなぞって丸を書き、丸で囲まれた領域内の抽出画像のみ抽出確定とする機能を設けてもよい。その後、必要に応じて認識機能を利用する。すなわち、線を指定した場合は、抽出画素位置から最小二乗法などにより直線を求め、その画素群が直線を表すと認識する。三角を指定した場合は、抽出画素位置から三角形パターンのマッチングを行い、三角形であると認識する。線間通行可認識を指定した場合は、まず、抽出画素から直線を認識し、直線と直線に挟まれている領域の通行可否情報を通行可と設定する。
通行可否情報は手動によって設定することも可能である。203は手動で設定する機能である。まず、画像上のタッチパネルを指でなぞって領域を区切るように線を引く。そして、線で区切った領域に対して通行可,不許可を指示する。また、移動目的地の一種である受け渡し位置も画像上で指し示す機能も設けている。これらは実際の現場を撮影した画像上で行えるので、精度高く設定することが可能である。
204は後述する他の構成の自律移動装置1のための追加機能である。家具上面の画像を表示するか否かを設定する機能である。後ほど説明する。
図5は、使用者60が表示入力手段11に設けられた編集機能を使用して、画素の自動抽出,認識を行った例を示す図である。103bは白色画素の抽出後直線と認識した抽出白線、104bは、赤色画素の抽出後三角形と認識した受け渡し抽出記号である。106は2本の抽出白線103bで挟まれた領域で、通行可と設定領域された領域である。抽出白線103bの左右どちらが抽出白線103bで挟まれた領域かどうかは、画像取得時の自律移動装置1が存在する位置で判断する。すなわち、自律移動装置1が存在側が通行可領域、つまり、抽出白線103bで挟まれた領域である。認識や定義の結果は視覚的にわかりやすいように表示している。使用者60は表示されている結果が適切であると判断したら、保存して終了ボタンを押す。すると、設定された通路可否情報に基づいて、地図情報記憶手段3が地図情報を更新する。
使用者60は自律移動装置1を移動させて、次の地点で画像取得及び地図情報編集を行う。移動距離は1枚の画像で画像抽出加工処理を行う長さaより短い距離とすると、通行可否情報を抜けなく設定できる。
図6は、図5の画像取得地点より少し移動させた地点で取得した画像の例である。図5の画像と同様に操作して、白線,通行可領域の自動抽出,認識,定義を行う。この結果に対して使用者60は自動認識定義領域と異なる定義を行いたいと考えた場合、操作機能203を利用して任意の領域定義を行うことができる。まず、線描画機能を用いて、領域を分割する。図7の例では線描画ボタンを押した後、画像内の該当部分をなぞって線107を引く。そして、定義を変更したい領域の一部をタッチした後、通行不許可設定ボタンを押す。すると、抽出白線103bと線107と、画像処理範囲境界に囲まれた部分が通行不許可領域に切り替わる。使用者60は必要な設定が終了したら保存して終了ボタンを押して、該当画像範囲の地図情報設定を終了する。
このような操作を繰り返しながら、使用者60は自律移動装置1の移動領域全面に対して通行可否情報を設定する。地図の新規作成時点で、全面を通行不許可領域に設定しておけば、通行許可領域を移動させて、通行許可領域情報のみ設定更新すればよい。
図8は、地図全体の通行可否情報を表示した例である。地図全体を表示するため、床面に投影した2次元画像に変換し、各地点で取得した画像をつなぎ合わせている。線108は床に描かれた黄線である。この図に対しても上記と同様に、地図情報の編集が可能である。この図の例では表示していないが、自律移動装置1が位置認識するために必要なマーカ情報も重ねて表示してもよい。例えば、位置認識用マーカの設置位置情報や、形状マッチング用画像などである。
図9は、他の画像例に対して、画素の抽出・認識した例を示す図である。この例の場合は、壁101が画像処理領域内にあり、上記例の設定に従い画素の抽出,認識を行うと壁101の一部も通行可領域として認識されてしまう。これに対して、使用者60が、図10に示す通行不許可手動設定領域109のように手動で通行不許可設定を行い、地図全体の2次元画像を表示する場合は、抽出確定した画素及び通行可領域のみを表示させると、壁画像が隣接領域の画像と干渉することなく、床面のみのわかりやすい画像となる。
図11は、自律移動装置1の運用準備と運用時の流れを示す図である。運用準備時は通行可否情報の定義された地図情報を作成するため、まず、使用者60が手動で自律移動装置1を移動させる(S1)。画像取得手段8が取得し表示入力手段11に表示される画像を見ながら、前回画像を取得した地点から約距離a進むのを目安に移動させる(S2)。それから、使用者60が表示入力手段11の画像取得ボタンを押すと、画像取得手段8が画像を取得し(S3)、その地点の位置を自己位置認識手段が認識し(S4)、画像を自己位置,向きと対応させて画像情報記憶手段9が記憶する(S5)。取得された画像を表示入力手段11が表示し、画像抽出加工手段10が、設定された色の画素を抽出し、線や記号を認識して領域定義を行い(S6)、結果を表示入力手段11に表示させる(S7)。使用者60は、表示された画像を見て、必要に応じて、抽出設定を変更したり、手動定義を行ったりして、地図情報を編集する(S8)。そして、定義が正しく行えたかどうか判断し(S9)、正しく行えたら保存して終了ボタンを押して、地図情報記憶手段3が、編集結果を記憶する(S10)。使用者60は、自律移動装置1が移動する領域全てに対して地図情報編集が完了したと判断したら(S11)終了である。まだ、地図情報編集が完了していない場合は、S1に戻って繰り返す。
運用時は、まず、表示入力手段11に表示された目的地毎の経路パターンの選択肢から使用者60が目的地まで経路を選ぶことが(S101)。その後、自律移動装置1は移動を開始する。自己位置を認識し(S102)、現在位置が目的地に達したかどうかを判断し(S103)、達していない場合は、障害物検出手段5で周囲の障害物を検出し障害物の位置を求め、地図情報記憶手段3と自己位置,障害物位置を照合して障害物を回避し、かつ、通行可能領域内である経路を求める(S105)。そして、その経路に従うように移動手段6を制御して自律移動する(S106)。S103で目的地に達したと判断した場合は、移動を終了する。
図12は自律移動装置の構成の他の一例を示す図である。図1で示した構成に対して形状取得手段13,形状認識手段14を加えた構成とした自律移動装置16である。
形状取得手段13は、自律移動装置16の周囲の物の形状を取得する。例えば、レーザスキャナやステレオカメラによって周囲の物までの距離を測定する。測定面は2次元平面となる。形状取得手段13の設置高さと形状取得手段13の自律移動装置16中心からの相対位置は既知であるので、それらと形状取得手段13から測定対象物の測定点の測定方向と自律移動装置16の自己位置から測定対象物の測定点の高さと絶対位置を求めることができる。
形状認識手段14は、形状取得手段13が取得した形状情報から、特定の高さの面の形状を求める。具体的には、例えば、自律移動装置16の移動面の高さの平面形状である。形状取得手段13が検出した測定点のうち自律移動装置16の移動面の高さである測定点を抽出し、その測定点の絶対位置を求めることにより、地図上の特定高さの平面上の範囲を求めることができる。
形状取得手段13で自律移動装置16の周囲環境の形状を取得し、形状認識手段14によって自律移動装置16の移動平面、すなわち床平面の形状を認識することにより、自動的に床面のみの画像を抽出して、2次元全体地図画像が生成可能である。取得した画像の床部分のみをつなぎ合わせ領域全体画像としてから記憶することが可能なため、現場では画像取得のみを連続的に行い、地図情報編集作業は、後ほどまとめて行うことが可能である。
図13を用いて自律移動装置16における画像取得範囲と形状取得範囲の例を説明する。自律移動装置16から突き出た取付金具301に画像取得手段8と形状取得手段13が取り付けられている。画像取得手段8は魚眼レンズであり、画像取得範囲61の例が示すように自律移動装置16の前側の下方左右の広範囲の画像を取得可能である。304は形状取得手段13が形状を取得する走査面である。形状取得手段13は自律移動装置16の移動平面に対して走査面が垂直になるように取り付けてある。図13の紙面に垂直な面であり自律移動装置16の前側の下方から左右に広がっている。画像取得手段8の画像中心は形状取得手段13の形状取得走査中心軸上に位置するように取り付けられている。自律移動装置16の移動平面と平行な面座標上の取り付け位置は自律移動装置16の前進方向に一定距離ずれている。
従って、形状取得手段13が取得した特定方向の距離情報と、自律移動装置16が移動して、画像取得手段8が上記距離情報を取得したときの形状取得手段13の位置と同一位置に達したときに取得する画像の特定方向の画像情報とは、ほぼ同一物体の同一点の情報であるとみなすことができる。
図14は、自律移動装置16における画像取得範囲と形状取得範囲の例を他の角度から示した図である。画像取得範囲61は画像取得手段8を中心とした円錐領域であり、太い破線で示す走査面304は、形状取得手段13を中心とした扇形平面である。ただし、壁101によって検出範囲が変形する。
形状取得手段13中心から扇形各方向に存在するものまでの距離が検出でき、検出方位と検出距離が出力されるため、自律移動装置16における形状取得手段13の取り付け高さは既知であるから、検出物体の各検出点の地図座標位置と高さを求めることができる。自律移動装置16が移動しながら頻繁に形状取得及び画像取得を繰り返し、形状認識手段14が形状取得手段13の取得形状情報を基に、地図座標の各位置での物体最高高さを求めていき、画像情報記憶手段9が取得画像を記憶していく。そして、画像抽出加工手段10が、取得画像の内、物体最高高さが床面高さである地図座標位置の画像を抽出して2次元地図座標上に重ね合わせて、運用領域全体の床面画像を作成する。
使用者60は、運用領域全体の床面画像を作成後、図8で示したような2次元画像にて地図情報編集を行う。
次に、他の高さ情報を利用する例を説明する。
図15は、画像取得範囲と形状取得範囲の他の例を示す図である。オフィスなどでは、床面に安全通路などの情報は描かれず、机や棚などの配置が通行可否領域区分の目安となることが多い。オフィスにいる人間の目の高さから日常見える風景を利用すると、人間にとって通行可否領域区分が行いやすい。そこで、画像取得手段8及び形状取得手段13の取り付け高さを一般的な成人の背丈の高さとした。そして、形状認識手段14が求めた地図座標の各位置での物体最高高さから、床面よりも高い高さの地図座標位置の画像を抽出して2次元地図座標上に重ね合わせて、運用領域全体画像を作成する。例えば図15では、家具403の表面画像が抽出される。405は床面とそれ以外の高さとの床面境界線である。
図16は、地図座標に床面境界線405と抽出した家具表面画像を配置した画像である。この画像を表示入力手段11に表示して、使用者60が地図情報編集を行う。図16の場合、床面境界線405が定まっているので、床面境界線405内の領域を全て通行可能設定と定義する処理を行うことができる。椅子は通行不許可領域となるが、椅子は常時その位置にあるものではないため、使用者60は、手動操作にて椅子の存在した領域を通行不許可設定とすることが望ましい。
画像を取得する際、目印となる視覚情報を環境に配置しておくと、地図情報編集作業がより容易となる。例えば紙に大きく名前を書き、机の上に置いておくと、その画像が表示入力手段11に表示されるので、各机の所有者がわかりやすい。地図情報編集作業にて、手動にて荷物受け渡し位置を設定するとき、画面に表示された所有者名を見ながら手動にて荷物受け渡し位置を考えると位置の設定が容易である。
図17に自律移動装置16の運用準備の流れを示す。図11の流れとの違いは、画像取得S3前に、形状取得(S201),特定高さ領域認識(S202)が入り、画像情報を記憶する前に特定高さ領域画像を抽出する処理(S203)が加わり、画像情報記憶手段9が記憶するときに特定高さ情報も対応させる(S204)ところである。自律移動装置16の運用時の流れは図11の運用時の流れと同一である。
図18は自律移動装置の構成のさらに他の一例を示す図である。図12で示した構成に対し、地図情報編集に関する手段を別装置である地図情報編集装置20に独立させた例である。さらに、地図情報を共有することにより、運用時のみに使用する安価な構成の自律移動装置も示した。
17は自律移動装置16に対して、地図情報編集に関する手段である、画像抽出加工手段と地図情報編集手段を除き、地図情報編集装置20との通信を行う通信手段15を追加した構成の自律移動装置である。
40は自律移動装置17に対して、さらに、画像情報や形状情報の取得に必要な手段である画像取得手段8,画像情報記憶手段9,形状取得手段13,形状認識手段14をのぞき、地図情報編集装置20との通信を行う通信手段15を追加した構成の運用時専用自律移動装置である。
20は自律移動装置16の構成手段のうち地図情報編集に必要な、地図情報記憶手段23,画像情報記憶手段27,画像抽出加工手段28,表示入力手段29,地図情報編集手段32を設けたものである。区別のため、自律移動装置16と番号は変えてあるが機能は同一である。さらに、自律移動装置17や自律移動装置40と通信するための通信手段35も有する。
50は自律移動装置17,地図情報編集装置20,自律移動装置40からなる自律移動装置システムである。
地図情報編集装置20は、自律移動装置17から、通信手段15,通信手段35を介して画像情報を受信し、自律移動装置17は、地図情報編集装置20から、通信手段35,通信手段15を介して地図情報を受信する。
自律移動装置40も、地図情報編集装置20から、通信手段35,通信手段15を介して地図情報を受信する。
図19,図20を用いて、自律移動装置システム50における各装置の処理の流れを説明する。図19は、運用準備の流れである。図17と異なり、S204で画像を記憶した後、画像抽出加工などの地図情報編集処理には移行せず、運用全領域の画像を取得するまでS1から繰り返す(S205)。そして、運用全領域の画像を取得したら、地図情報編集装置20へ画像情報を送信する(S206)。そして、地図情報編集装置20が受信して画像情報記憶手段29に記憶する(S301)。
その後、使用者が、地図情報編集装置20にて、地図情報編集を行う。
まず、画像情報記憶手段29の画像に対して、画像抽出加工手段30が指定色画素の抽出,形状認識,情報定義などの加工処理を行い(S302)、結果を表示入力手段31が表示し(S303)、その画像に対して、使用者が地図情報編集手段32を用いて編集作業を行う(S304)。使用者が、全運用領域に対して地図情報の編集を終えると(S305)、地図情報記憶手段32が編集結果を記憶する(S306)。
図20は運用時の流れである。図11の運用時の流れとの違いは、自律移動装置17,自律移動装置40が最初に、地図情報編集装置に対して地図情報を要求し、地図情報を受信するところである(S401)。他は、図11の運用時の流れと同一である。このように、地図情報を複数台で共有するので、運用現場で複数の自律移動装置を稼働させる場合、画像や形状を取得する手段を備えた自律移動装置は1台のみよいため、他の自律移動装置を安価に構成できる。
また、自律移動装置1,自律移動装置16の構成のうち、自律移動用手段である、経路設定手段4,障害物検出手段5,移動制御手段7を省いた、地図情報編集用情報収集専用装置を構成してもよい。例えば、移動手段6として手押し台車を使用し、自律移動装置1,自律移動装置16の構成の自律移動用手段以外の手段を手押し台車上に配置し、人間が手押し台車を押して移動させながら、画像取得,形状取得を行っていく。そして、地図情報編集を行った地図情報を、自律移動装置40に送信して、自律移動装置40が自律走行を行う。この構成によれば、自律移動装置は自律移動装置40の1種類だけでよく、また、地図情報編集用情報収集専用装置も自律移動機能の無い安価な装置とすることができるので、製造コストダウンを図ることができる。
1,16,17,40 自律移動装置
2 自己位置認識手段
3,23 地図情報記憶手段
4 経路設定手段
5 障害物検出手段
6 移動手段
7 移動制御手段
8 画像取得手段
9,29 画像情報記憶手段
10,30 画像抽出加工手段
11,31 表示入力手段
12,32 地図情報編集手段
13 形状取得手段
14 形状認識手段
15,35 通信手段
20 地図情報編集装置
50 自律移動装置システム
60 使用者
61 画像取得範囲
62 画像抽出加工範囲
101 壁
102 床
103 撮影された白線
103b 抽出白線
104 撮影された赤い三角記号
104b 抽出記号
105 撮影された文字
106 通行可設定領域
107 線
108 床に描かれた黄線
109 通行不許可手動設定領域
202 画像自動抽出設定
203 操作機能
204 画像表示設定
301 取付金具
304 走査面
401 壁に描かれた白線
403 家具
405 床面境界線
406 受け渡し設定位置
2 自己位置認識手段
3,23 地図情報記憶手段
4 経路設定手段
5 障害物検出手段
6 移動手段
7 移動制御手段
8 画像取得手段
9,29 画像情報記憶手段
10,30 画像抽出加工手段
11,31 表示入力手段
12,32 地図情報編集手段
13 形状取得手段
14 形状認識手段
15,35 通信手段
20 地図情報編集装置
50 自律移動装置システム
60 使用者
61 画像取得範囲
62 画像抽出加工範囲
101 壁
102 床
103 撮影された白線
103b 抽出白線
104 撮影された赤い三角記号
104b 抽出記号
105 撮影された文字
106 通行可設定領域
107 線
108 床に描かれた黄線
109 通行不許可手動設定領域
202 画像自動抽出設定
203 操作機能
204 画像表示設定
301 取付金具
304 走査面
401 壁に描かれた白線
403 家具
405 床面境界線
406 受け渡し設定位置
Claims (4)
- 現在の自己位置と向きを認識する自己位置認識手段と、
移動手段と、
前記移動手段によって移動する移動平面内の位置と通行可否情報とが対応付けられた地図情報を記憶する地図情報記憶手段と、
前記自己位置認識手段が認識した自己位置と前記地図情報記憶手段の記憶する地図情報とを照合して通行可能領域を移動するように制御する移動制御手段と、を有する自律移動装置において、
周囲画像を取得する画像取得手段と、
前記画像取得手段が画像を取得した地点において前記自己位置認識手段が認識した自己位置と向きを対応付けて前記画像取得手段が取得した画像を記憶する、画像情報記憶手段と、
前記画像情報記憶手段に記憶されている画像から通行可否判断に有用な画像を抽出加工する画像抽出加工手段と、
前記地図情報記憶手段が記憶している移動平面の位置座標と対応付けられた平面画像を表示する表示入力手段と、
前記表示入力手段が表示した前記平面画像の任意の位置に対して通行可否情報を入力することで、ユーザが移動平面内の任意の位置に対して通行可否情報の対応付けを行うことが可能な地図情報編集手段と、
を設け、
前記表示入力手段に前記画像抽出加工手段が加工した画像を表示することを特徴とする自律移動装置。 - 請求項1において、前記画像抽出加工手段は、移動平面上に周囲の色と著しく異なる色で描かれた図形や記号を抽出して、抽出された図形や記号画像を前記表示入力手段が表示することを特徴とする自律移動装置。
- 請求項2において、前記画像抽出加工手段は、前記抽出した図形や記号から、予め定められたルールに従って通行可能領域を判断し、判断した通行可能領域を表す画像を前記表示入力手段が表示することを特徴とする自律移動装置。
- 請求項1において、前記画像抽出加工手段は、移動平面より高く、かつ、一般的な人間の背丈以下に存在する物体表面のうち、もっとも高い位置に存在する物体表面の画像を抽出して、抽出された画像を前記表示入力手段が表示することを特徴とする自律移動装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009212628A JP2011065202A (ja) | 2009-09-15 | 2009-09-15 | 自律移動装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009212628A JP2011065202A (ja) | 2009-09-15 | 2009-09-15 | 自律移動装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011065202A true JP2011065202A (ja) | 2011-03-31 |
Family
ID=43951415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009212628A Pending JP2011065202A (ja) | 2009-09-15 | 2009-09-15 | 自律移動装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011065202A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5819498B1 (ja) * | 2014-08-27 | 2015-11-24 | シャープ株式会社 | 自律移動体及び自律移動体システム |
CN108521808A (zh) * | 2017-10-31 | 2018-09-11 | 深圳市大疆创新科技有限公司 | 一种障碍信息显示方法、显示装置、无人机及系统 |
JP2018174002A (ja) * | 2018-08-16 | 2018-11-08 | ソニー株式会社 | 移動体 |
CN110367871A (zh) * | 2018-04-13 | 2019-10-25 | 东芝生活电器株式会社 | 自主型电动吸尘器 |
JP2020057307A (ja) * | 2018-10-04 | 2020-04-09 | 日本電産株式会社 | 自己位置推定のための地図データを加工する装置および方法、ならびに移動体およびその制御システム |
JP2020095708A (ja) * | 2018-11-28 | 2020-06-18 | 株式会社ZipSystem | 移動体制御システム |
CN112462768A (zh) * | 2020-11-25 | 2021-03-09 | 深圳拓邦股份有限公司 | 移动机器人导航地图的创建方法、装置及移动机器人 |
CN113776545A (zh) * | 2021-09-03 | 2021-12-10 | 上海擎朗智能科技有限公司 | 一种机器人导航地图的构建方法、装置、介质及电子设备 |
CN115032995A (zh) * | 2022-06-17 | 2022-09-09 | 未岚大陆(北京)科技有限公司 | 运动控制方法、装置、电子设备及计算机存储介质 |
US11520334B2 (en) | 2014-10-17 | 2022-12-06 | Sony Corporation | Control device, control method, and computer program |
-
2009
- 2009-09-15 JP JP2009212628A patent/JP2011065202A/ja active Pending
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016031263A1 (ja) * | 2014-08-27 | 2016-03-03 | シャープ株式会社 | 自律移動体及び自律移動体システム |
JP2016048474A (ja) * | 2014-08-27 | 2016-04-07 | シャープ株式会社 | 自律移動体及び自律移動体システム |
CN106575124A (zh) * | 2014-08-27 | 2017-04-19 | 夏普株式会社 | 自主移动体和自主移动体系统 |
US10228697B2 (en) | 2014-08-27 | 2019-03-12 | Sharp Kabushiki Kaisha | Autonomous mobile object and autonomous mobile object system |
JP5819498B1 (ja) * | 2014-08-27 | 2015-11-24 | シャープ株式会社 | 自律移動体及び自律移動体システム |
US11520334B2 (en) | 2014-10-17 | 2022-12-06 | Sony Corporation | Control device, control method, and computer program |
US11927960B2 (en) | 2014-10-17 | 2024-03-12 | Sony Group Corporation | Control device, control method, and computer program |
CN108521808A (zh) * | 2017-10-31 | 2018-09-11 | 深圳市大疆创新科技有限公司 | 一种障碍信息显示方法、显示装置、无人机及系统 |
CN110367871A (zh) * | 2018-04-13 | 2019-10-25 | 东芝生活电器株式会社 | 自主型电动吸尘器 |
JP2018174002A (ja) * | 2018-08-16 | 2018-11-08 | ソニー株式会社 | 移動体 |
JP2020057307A (ja) * | 2018-10-04 | 2020-04-09 | 日本電産株式会社 | 自己位置推定のための地図データを加工する装置および方法、ならびに移動体およびその制御システム |
CN111007845A (zh) * | 2018-10-04 | 2020-04-14 | 日本电产株式会社 | 地图数据加工装置及其方法、移动体、控制系统及其方法 |
JP2020095708A (ja) * | 2018-11-28 | 2020-06-18 | 株式会社ZipSystem | 移動体制御システム |
JP7360698B2 (ja) | 2018-11-28 | 2023-10-13 | 株式会社ZipSystem | 移動体制御システム |
CN112462768A (zh) * | 2020-11-25 | 2021-03-09 | 深圳拓邦股份有限公司 | 移动机器人导航地图的创建方法、装置及移动机器人 |
CN112462768B (zh) * | 2020-11-25 | 2024-03-29 | 深圳拓邦股份有限公司 | 移动机器人导航地图的创建方法、装置及移动机器人 |
CN113776545A (zh) * | 2021-09-03 | 2021-12-10 | 上海擎朗智能科技有限公司 | 一种机器人导航地图的构建方法、装置、介质及电子设备 |
CN113776545B (zh) * | 2021-09-03 | 2024-04-26 | 上海擎朗智能科技有限公司 | 一种机器人导航地图的构建方法、装置、介质及电子设备 |
CN115032995A (zh) * | 2022-06-17 | 2022-09-09 | 未岚大陆(北京)科技有限公司 | 运动控制方法、装置、电子设备及计算机存储介质 |
US11940809B2 (en) | 2022-06-17 | 2024-03-26 | Willand (Beijing) Technology Co., Ltd. | Movement control method, electronic device, and computer storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011065202A (ja) | 自律移動装置 | |
EP3950235B1 (en) | Self-propelled robot path planning method, self-propelled robot and storage medium | |
US10217288B2 (en) | Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor | |
JP5122887B2 (ja) | 実写基盤移動機器の制御方法、装置および媒体 | |
KR101227610B1 (ko) | 화상인식장치 및 조작판정방법과 이를 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체 | |
JP5633376B2 (ja) | 駐車支援システム | |
JP6665506B2 (ja) | 遠隔操作装置、方法及びプログラム | |
CN109840950B (zh) | 得到真实尺寸3d模型的方法、勘测装置 | |
JP5799273B2 (ja) | 寸法計測装置、寸法計測方法、寸法計測システム、プログラム | |
CN105310604A (zh) | 机器人清洁系统以及控制机器人清洁器的方法 | |
KR20180067724A (ko) | 이동형 원격현전 로봇과의 인터페이싱 | |
KR101615687B1 (ko) | 충돌 예측 로봇 원격 제어 시스템 및 그 방법 | |
US20210348927A1 (en) | Information processing apparatus, information processing method, and recording medium | |
KR101330531B1 (ko) | 3차원 카메라를 이용한 가상 터치 방법 및 장치 | |
JP6609588B2 (ja) | 自律型モビリティシステムおよび自律型モビリティの制御方法 | |
KR101575063B1 (ko) | 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법 | |
US20220221872A1 (en) | Information processing device, information processing method, and program | |
JP2015155911A (ja) | 寸法計測方法 | |
US12001216B2 (en) | Carpet detection method, movement control method, and mobile machine using the same | |
WO2018082782A1 (en) | Spatial augmented reality method, device and system | |
KR102138876B1 (ko) | 자율 작업 시스템, 방법 및 컴퓨터 판독 가능한 기록매체 | |
KR20200094941A (ko) | 생산 라인에서의 작업자 위치 인식 방법 및 그 장치 | |
US20220284667A1 (en) | Image processing method and image processing device for generating 3d content by means of 2d images | |
TW201743151A (zh) | 無人搬運車之控制方法 | |
KR20200090714A (ko) | 자율 작업 시스템, 방법 및 컴퓨터 판독 가능한 기록매체 |