JP2020204992A - 目標検出システム、目標検出用マーカ、充電ステーションおよび目標検出方法 - Google Patents
目標検出システム、目標検出用マーカ、充電ステーションおよび目標検出方法 Download PDFInfo
- Publication number
- JP2020204992A JP2020204992A JP2019113454A JP2019113454A JP2020204992A JP 2020204992 A JP2020204992 A JP 2020204992A JP 2019113454 A JP2019113454 A JP 2019113454A JP 2019113454 A JP2019113454 A JP 2019113454A JP 2020204992 A JP2020204992 A JP 2020204992A
- Authority
- JP
- Japan
- Prior art keywords
- markers
- marker
- target
- target location
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000003550 marker Substances 0.000 title claims description 76
- 238000001514 detection method Methods 0.000 title claims description 34
- 239000003086 colorant Substances 0.000 claims abstract description 11
- 238000003384 imaging method Methods 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims 1
- 238000000034 method Methods 0.000 description 24
- 230000009471 action Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【課題】ロボットなどの移動体が目標位置を検出することが簡単な構成で良好に行えるようにする。【解決手段】移動体(例えばロボット1)に取り付けられた撮像部14で目標箇所(例えば充電ステーション2)を撮像し、撮像した画像から目標箇所2を検出することで、移動体を目標箇所に誘導する。ここで、目標箇所の表面2aと直交する法線とほぼ平行な平面20L−1,20L−2,20R−1,20R−2(または曲面)を持って突出すると共に、突出した平面20L−1,20L−2,20R−1,20R−2(または曲面)が、周囲の目標箇所の表面2aとは異なる特定色または異なる特定模様であるマーカ20L,20Rを備える。【選択図】図1
Description
本発明は、目標検出システム、目標検出用マーカ、充電ステーションおよび目標検出方法に関する。
従来、自律移動が可能なロボットを運用する場合、充電ステーションを設置して、待機時には、ロボットが充電ステーションで充電しながら待機するようにしている。したがって、充電ステーションから離れた場所に移動したロボットが、その場所での作業を終了すると、充電ステーションに戻る動作が行われる。充電ステーションに戻る際には、目標地点である充電ステーションの位置を探知する必要がある。
移動が可能なロボットが目標地点にアプローチするための方法の一つとしては、マーカを用いる方法が知られている。例えば、特許文献1には、目標地点にマーカを設置し、ロボットがそのマーカを探索する手法が記載されている。
特許文献1に記載された手法では、マーカの形状知識をロボットに予め記憶させておき、カメラ画像によりマーカを観測することで、マーカまでの距離と方向を取得するようにしている。
また、特許文献2には、複数のマーカを設置して、マーカまでの距離と方向に加えて、充電器までのアプローチ方向についてもロボットが取得可能とする点について記載されている。
特許文献1に記載された手法では、マーカの形状知識をロボットに予め記憶させておき、カメラ画像によりマーカを観測することで、マーカまでの距離と方向を取得するようにしている。
また、特許文献2には、複数のマーカを設置して、マーカまでの距離と方向に加えて、充電器までのアプローチ方向についてもロボットが取得可能とする点について記載されている。
特許文献1や特許文献2に記載された手法ではカメラ画像によってマーカから情報を検出している。ここで、特許文献1に記載されるマーカの形状そのもので位置探索を行うようにした場合、マーカの形状を認識するため高精細で歪みの小さい、高価なカメラが必要になる。仮に、歪みが大きい比較的安価なカメラを用いた場合、マーカ形状の照合難易度が上がり、マーカを大きくする必要が生じ、マーカが目立ちすぎて、見映え上好ましくない状態になってしまう。
同様に安価なカメラを用いた場合、充電ステーションなどへのアプローチのためにマーカを用いる状況を想定すると、マーカの向いている方向を検出するために、カメラ画像上の僅かな形状変化が捉えらなくなる場合がある。このため、ロボットの充電ステーションアプローチにおける誘導角度精度が低下する可能性が高くなってしまう。
同様に安価なカメラを用いた場合、充電ステーションなどへのアプローチのためにマーカを用いる状況を想定すると、マーカの向いている方向を検出するために、カメラ画像上の僅かな形状変化が捉えらなくなる場合がある。このため、ロボットの充電ステーションアプローチにおける誘導角度精度が低下する可能性が高くなってしまう。
また、特許文献2に記載された手法では、複数マーカを用いることで、ロボットとマーカとの相対距離、角度、およびマーカの向いている方向を検出している。しかし、この特許文献2に記載される手法は、特許文献1におけるマーカの形状の問題が、複数マーカ同士の位置関係に置き換わっているだけであり、依然としてカメラ精度が問題となる。
本発明は、ロボットなどの移動体が目標位置を探知することを、簡単な構成で良好に行うことができる目標検出システム、目標検出用マーカ、充電ステーションおよび目標検出方法を提供することを目的とする。
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、移動物体に取り付けられた撮像部で目標箇所を撮像し、撮像した画像から目標箇所を検出することで、移動物体を目標箇所に誘導する目標検出システムである。
ここで、目標箇所には、この目標箇所の表面と直交する法線とほぼ平行な平面または曲面を持って突出すると共に、突出した平面または曲面が、周囲の目標箇所の表面とは異なる特定色または異なる特定模様であるマーカを備えるようにした。
本願は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、移動物体に取り付けられた撮像部で目標箇所を撮像し、撮像した画像から目標箇所を検出することで、移動物体を目標箇所に誘導する目標検出システムである。
ここで、目標箇所には、この目標箇所の表面と直交する法線とほぼ平行な平面または曲面を持って突出すると共に、突出した平面または曲面が、周囲の目標箇所の表面とは異なる特定色または異なる特定模様であるマーカを備えるようにした。
本発明によれば、移動物体(移動ロボット)側で撮像した画像から色または模様の検出状態に基づいて、簡単な演算処理で精度よく移動物体(移動ロボット)から見た目標箇所の方向または目標箇所までの距離を検出することができる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
以下、本発明の一実施の形態例(以下、「本例」と称する)を、添付図面を参照して説明する。
[全体構成]
図1は、本例の位置・方向検出システムを搭載した移動ロボット1(図1の(B))と、充電ステーション2(図1の(A))の外観を示す。図1の(A)に示す充電ステーション2は、部屋の壁面などに設置される。
また、図1の(B)は、人間の形状を模したヒューマノイドロボットとして構成されるロボットであり、本体10の上部に頭部1aが取り付けられ、自律移動を行うことができる。なお、図1の(B)に示す状態は、移動ロボット1の背面側を示している。この移動ロボット1の背面側が、図1(A)の充電ステーション2に接続される。
図1は、本例の位置・方向検出システムを搭載した移動ロボット1(図1の(B))と、充電ステーション2(図1の(A))の外観を示す。図1の(A)に示す充電ステーション2は、部屋の壁面などに設置される。
また、図1の(B)は、人間の形状を模したヒューマノイドロボットとして構成されるロボットであり、本体10の上部に頭部1aが取り付けられ、自律移動を行うことができる。なお、図1の(B)に示す状態は、移動ロボット1の背面側を示している。この移動ロボット1の背面側が、図1(A)の充電ステーション2に接続される。
移動ロボット1は、本体10、車輪11L、11R、補助車輪12、充電端子13、カメラ14、車輪駆動部15、制御装置16、ロボット側充電装置17、および3Dカメラ19から構成される。3Dカメラ19は、移動ロボット1の頭部に設置され、移動ロボット1の前方を撮影する。一方、カメラ14は移動ロボット1の後方を撮影するものである。カメラ14や3Dカメラ19は、「撮像部」とも称される。
移動ロボット1の前方を撮影する3Dカメラ19は、移動ロボット1が移動する際に、前方の状況を確認するために撮影を行うものである。移動ロボット1は、3Dカメラ19による撮影画像に基づいて、前方の障害物までの距離などを比較的高精度に検知することができる。このため、3Dカメラ19としては、撮像を行う画像センサの画素数が多く解像度が高い画像の撮像が可能であり、装着された撮像用のレンズも歪の少ないものが使用される。
一方、移動ロボット1の背面1bに取り付けられたカメラ14は、移動ロボット1の背面1b側の周囲の状況をそれなりの精度で検知するためのものである。カメラ14としては、撮像を行う画像センサの画素数がそれ程多くなくてもよい。すなわち、カメラ14の解像度はそれ程高くする必要はなく、装着される撮像用のレンズの歪みもある程度まで許容されるものでよい。したがって、カメラ14には、比較的安価なカメラが使用される。
車輪11L,11Rと補助車輪12は、本体10の下部に配置され、これらの車輪11L、11Rと補助車輪12とで、移動ロボット1を床面に接地させている。補助車輪12はボールキャスタなどで構成され、全方向に回転可能としてある。左右の車輪11L,11Rは、車輪駆動部15により独立に駆動され、これにより移動ロボット1を任意の方向に移動させる。
移動ロボット1の本体10の背面側には、ロボット側充電端子13が取り付けられている。このロボット側充電端子13が、後述する充電ステーション2側の端子23と接続されたとき、充電ステーション2から電力がロボット側充電装置17に供給される。この充電ステーション2から供給される電力で、移動ロボット1に内蔵されたバッテリ(不図示)が充電される。
移動ロボットの車輪駆動部15は、車輪11L、11Rに動力を供給するための不図示のモータ、モータの回転角度を検出するエンコーダ、およびモータを制御するモータドライバから構成される。そして、制御装置16は、目標速度と目標旋回角速度を車輪駆動部15に指示する。この指示に基づいて、車輪駆動部15は、車輪11L,11Rを駆動する。
充電ステーション2は、マーカ20L、20R、電源装置21、外部電源接続用プラグ22、および充電端子23から構成される。
電源装置21は、外部電源接続用プラグ22を介して電力の供給を受け、充電ステーション側充電端子23がロボット側充電端子13と接続された場合に、電源装置21から移動ロボット1への給電を行う。
電源装置21は、外部電源接続用プラグ22を介して電力の供給を受け、充電ステーション側充電端子23がロボット側充電端子13と接続された場合に、電源装置21から移動ロボット1への給電を行う。
制御装置16は、3Dカメラ19やカメラ14が撮像した画像に基づいて、周囲の状況を検出しながら、車輪駆動部15による車輪11L、11Rの駆動を制御して、移動ロボット1を移動させる。
この制御装置16の制御による移動ロボット1の移動には、移動ロボット1が充電ステーション2から離れた位置であるときに、充電ステーション2に戻る動作も含まれる。
この制御装置16の制御による移動ロボット1の移動には、移動ロボット1が充電ステーション2から離れた位置であるときに、充電ステーション2に戻る動作も含まれる。
移動ロボット1が充電ステーション2に戻る動作を行う際には、充電ステーション2に配置されたマーカ20L、20Rをカメラ14が撮像した画像に基づいて、目標箇所(接続箇所)である充電ステーション2を検出して、検出した充電ステーション2にドッキングする誘導動作を行う。ここで、移動ロボット1の背面側に配置されたカメラ14を使用するのは、充電ステーション2に移動ロボット1がドッキングする際に、移動ロボット1の背面が充電ステーション2に接する状態になるためである。
移動ロボット1の背面が充電ステーション2に接する状態で、充電ステーション2にドッキングすることで、ドッキング時には、移動ロボット1の正面が外側を向き、移動ロボット1が周囲の人への案内などができる状態になっている。
移動ロボット1の背面が充電ステーション2に接する状態で、充電ステーション2にドッキングすることで、ドッキング時には、移動ロボット1の正面が外側を向き、移動ロボット1が周囲の人への案内などができる状態になっている。
次に、充電ステーション2に取り付けられたマーカ20L、20Rの構成について説明する。
図1(A)に示すように、充電ステーション2は、所定の筐体で構成され、例えばその筐体の正面(表面)2aの下側のほぼ中央に、充電端子23が配置される。
2つのマーカ20L、20Rは、直立した薄い板で構成され、正面2aと垂直な状態で突出している。つまり、マーカ20L、20Rは、正面(表面)2aと直交する法線方向に離れるように所定長だけ伸びた状態に配置される。本例の場合には、2つのマーカ20L、20Rとしては、同一サイズのものが利用される。
図1(A)に示すように、充電ステーション2は、所定の筐体で構成され、例えばその筐体の正面(表面)2aの下側のほぼ中央に、充電端子23が配置される。
2つのマーカ20L、20Rは、直立した薄い板で構成され、正面2aと垂直な状態で突出している。つまり、マーカ20L、20Rは、正面(表面)2aと直交する法線方向に離れるように所定長だけ伸びた状態に配置される。本例の場合には、2つのマーカ20L、20Rとしては、同一サイズのものが利用される。
マーカ20L、20Rが正面2aから法線方向に離れるように配置されることで、各マーカ20L、20Rの側面20L−1、20L−2、20R−1、20R−2は、移動ロボット1を充電ステーション2に正しく誘導する際の目印となる。つまり、カメラ14が備える画像センサの光軸に対して平行となるように充電ステーション2の正面2aに対してマーカ20L、20Rが垂直に配置される。
2つのマーカ20L、20Rは、充電端子23が配置された中央から左右に同じ距離だけ離れた位置に配置されている。但し、2つのマーカ20L、20Rは、充電端子23を配置した位置よりは上側に配置される。
2つのマーカ20L、20Rは、充電端子23が配置された中央から左右に同じ距離だけ離れた位置に配置されている。但し、2つのマーカ20L、20Rは、充電端子23を配置した位置よりは上側に配置される。
また、左側のマーカ20Lの右側面20L−1と左側面20L−2は、異なる色とする。さらに、右側のマーカ20Rの右側面20R−1と左側面20R−2も、異なる色とする。それぞれのマーカ20L、20Rの右側面20L−1、20R−1と左側面20L−2、20R−2とを異なる色にする場合、2つのマーカ20L、20Rで向き合った内側になる側面20L−1,20R−2を同じ第1の色とし、外側になる側面20L−2、20R−1を同じ第2の色とする。なお、これらのマーカ20L、20Rの背景となる、充電ステーション2の筐体の正面2aについては、さらに別の第3の色とする。
但し、マーカ20L、20Rの各側面の内側と外側で色を変えるのは一例であり、いずれのマーカ20L、20Rについても、右側面20L−1、20R−1を第1の色とし、左側面20L−2、20R−2を第2の色としてもよい。あるいは、4つの側面20L−1、20L−2、20R−1、20R−2をすべて異なる色にしてもよい。
但し、マーカ20L、20Rの各側面の内側と外側で色を変えるのは一例であり、いずれのマーカ20L、20Rについても、右側面20L−1、20R−1を第1の色とし、左側面20L−2、20R−2を第2の色としてもよい。あるいは、4つの側面20L−1、20L−2、20R−1、20R−2をすべて異なる色にしてもよい。
さらにまた、色を変える代わりに、それぞれの面の模様(パターン)を変えるようにしてもよい。すなわち、左側のマーカ20Lの右側面20L−1と左側面20L−2は、異なる模様とし、右側のマーカ20Rの右側面20R−1と左側面20R−2についても、異なる模様としてもよい。
[制御装置の構成]
図2は、移動ロボット1の制御装置16の機能構成を示すブロック図である。
制御装置16は、位置・方向検出システム30を内蔵する。位置・方向検出システム30は、画像取得部31と、マーカ認識部32と、マーカデータ部33とを備える。
画像取得部31は、撮像部であるカメラ14が撮像した画像データを取得する。取得した画像データは、マーカ認識部32に送り、撮像画像に含まれるマーカを認識する。ここで、マーカデータ部33には、それぞれのマーカ20L、20Rの右側面20L−1、20R−1と左側面20L−2、20R−2の色の組み合わせと、充電ステーション2の正面2aの色と、それぞれのマーカ20L、20Rの配置位置の詳細についてのデータが記憶される。
図2は、移動ロボット1の制御装置16の機能構成を示すブロック図である。
制御装置16は、位置・方向検出システム30を内蔵する。位置・方向検出システム30は、画像取得部31と、マーカ認識部32と、マーカデータ部33とを備える。
画像取得部31は、撮像部であるカメラ14が撮像した画像データを取得する。取得した画像データは、マーカ認識部32に送り、撮像画像に含まれるマーカを認識する。ここで、マーカデータ部33には、それぞれのマーカ20L、20Rの右側面20L−1、20R−1と左側面20L−2、20R−2の色の組み合わせと、充電ステーション2の正面2aの色と、それぞれのマーカ20L、20Rの配置位置の詳細についてのデータが記憶される。
そして、マーカ認識部32は、カメラ14が撮像した画像データと、各マーカ20L、20Rとを使って、カメラ14からマーカ20L、20Rまでの距離と方向、つまり移動ロボット1から充電ステーション2までの距離と方向を検出する。カメラ14からマーカ20L、20Rまでの距離と方向を検出する処理の具体例については後述する。
マーカ認識部32が検出した移動ロボット1から充電ステーション2までの距離と方向のデータは、制御装置16の行動生成部34に送られる。行動生成部34は、充電ステーション2までの距離と方向のデータに基づいて、車輪駆動部15での車輪11の駆動を制御する。
なお、マーカ認識部32が検出した移動ロボット1から充電ステーション2までの距離と方向のデータに基づいて、行動生成部34が車輪駆動部15を制御するのは、移動ロボット1が充電ステーション2に接近した状態の場合である。例えば移動ロボット1が充電ステーション2に1m程度まで接近したときである。
移動ロボット1が充電ステーション2に接近するまでは、移動ロボット1の正面側に配置された3Dカメラ19が撮像した画像に基づいて、行動生成部34が車輪駆動部15を制御する。
なお、マーカ認識部32が検出した移動ロボット1から充電ステーション2までの距離と方向のデータに基づいて、行動生成部34が車輪駆動部15を制御するのは、移動ロボット1が充電ステーション2に接近した状態の場合である。例えば移動ロボット1が充電ステーション2に1m程度まで接近したときである。
移動ロボット1が充電ステーション2に接近するまでは、移動ロボット1の正面側に配置された3Dカメラ19が撮像した画像に基づいて、行動生成部34が車輪駆動部15を制御する。
図3は、図2に示す制御装置16をコンピュータ装置で構成した場合のハードウェア構成例を示す。
図2に示すコンピュータ装置は、バスにそれぞれ接続されたCPU(Central Processing Unit:中央処理装置)16a、ROM(Read Only Memory)16b、およびRAM(Random Access Memory)16cを備える。さらに、コンピュータ装置は、不揮発性ストレージ16d、ネットワークインタフェース16e、カメラインタフェース16f、および駆動系インタフェース16gを備える。
図2に示すコンピュータ装置は、バスにそれぞれ接続されたCPU(Central Processing Unit:中央処理装置)16a、ROM(Read Only Memory)16b、およびRAM(Random Access Memory)16cを備える。さらに、コンピュータ装置は、不揮発性ストレージ16d、ネットワークインタフェース16e、カメラインタフェース16f、および駆動系インタフェース16gを備える。
CPU16aは、制御装置16での制御処理を実行するソフトウェアのプログラムコードをROM16bから読み出して実行する演算処理部である。
RAM16cには、演算処理の途中に発生した変数やパラメータ等が一時的に書き込まれる。
RAM16cには、演算処理の途中に発生した変数やパラメータ等が一時的に書き込まれる。
不揮発性ストレージ16dには、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)などの大容量情報記憶媒体が用いられる。不揮発性ストレージ16dには、制御装置16が実行する制御機能についてのプログラムが記録される。図2に示すマーカデータ部33の記憶データについても、不揮発性ストレージ16dに記憶される。
ネットワークインタフェース16eには、例えば、NIC(Network Interface Card)などが用いられる。ネットワークインタフェース16eは、無線LAN(Local Area Network)などを介して外部と各種情報の送受信を行う。
なお、制御装置16を図3に示すコンピュータ装置で構成するのは一例であり、コンピュータ装置以外のその他の演算処理装置で構成してもよい。例えば、制御装置16が行う機能の一部又は全部を、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)などのハードウェアによって実現してもよい。
[移動ロボットの動作]
次に、図4のフローチャートを参照して、移動ロボット1が充電ステーション2にアプローチする場面の動作を説明する。
まず、移動ロボット1の行動生成部34は、移動ロボット1が正面前方に進む動作で、充電ステーション1の近傍まで移動したか否かを判断する(ステップS11)。このステップS11で、充電ステーション1の近傍でないと判断したとき(ステップS11のNo)には、行動生成部34は、移動ロボット1が正面前方に進む動作で充電ステーション1の近傍までの移動を継続して行う。
次に、図4のフローチャートを参照して、移動ロボット1が充電ステーション2にアプローチする場面の動作を説明する。
まず、移動ロボット1の行動生成部34は、移動ロボット1が正面前方に進む動作で、充電ステーション1の近傍まで移動したか否かを判断する(ステップS11)。このステップS11で、充電ステーション1の近傍でないと判断したとき(ステップS11のNo)には、行動生成部34は、移動ロボット1が正面前方に進む動作で充電ステーション1の近傍までの移動を継続して行う。
そして、ステップS11で、充電ステーション1の近傍になったとき判断したとき(ステップS11のYes)には、行動生成部34は、移動ロボット1の向きを180°反転させる(ステップS12)。
すなわち、図5(A)に示すように、充電ステーション2の近傍位置まで移動した移動ロボット1は、その位置で180°反転する動作M1を行い、図5(B)に示すように、移動ロボット1の背面のカメラ14を、充電ステーション2の側に向ける。その上で、図4のフローチャートのステップS13〜S16に示す処理にて、移動ロボット1を充電ステーション2まで移動させる動作M2を行う。
なお、図5では説明を簡単にするために、充電ステーション2の斜め前の位置で移動ロボット1が反転する状態を示したが、本来は移動ロボット1が反転したとき、移動ロボット1は、充電ステーション2の正面2aと正対するのが好ましい。
すなわち、図5(A)に示すように、充電ステーション2の近傍位置まで移動した移動ロボット1は、その位置で180°反転する動作M1を行い、図5(B)に示すように、移動ロボット1の背面のカメラ14を、充電ステーション2の側に向ける。その上で、図4のフローチャートのステップS13〜S16に示す処理にて、移動ロボット1を充電ステーション2まで移動させる動作M2を行う。
なお、図5では説明を簡単にするために、充電ステーション2の斜め前の位置で移動ロボット1が反転する状態を示したが、本来は移動ロボット1が反転したとき、移動ロボット1は、充電ステーション2の正面2aと正対するのが好ましい。
図4のフローチャートのステップS13以降を説明すると、まず、行動生成部34は、カメラ14が撮像した画像から、位置情報を取得する(ステップS13)。
ここでは、行動生成部34は、ある瞬間のカメラ14が備えるレンズの光軸と、そのレンズの交点を原点とし、撮像方向をX軸、光軸方向をY軸とするカメラ座標系と等しいロボット座標系を保持している。
ここでは、行動生成部34は、ある瞬間のカメラ14が備えるレンズの光軸と、そのレンズの交点を原点とし、撮像方向をX軸、光軸方向をY軸とするカメラ座標系と等しいロボット座標系を保持している。
そして、行動生成部34は、車輪駆動部15より車輪11R、Lそれぞれの回転角度φR、L、回転角速度dφR、Lを入手し、ロボット座標系上での移動ロボット1の位置を更新する。更新処理は次の[数1]式により表される。
[数1]式において、添え字kは現在時刻を、k−1は更新1ステップ前時刻を表す。Dは2つの車輪11L,11Rの間の長さであり、RXは移動ロボット1のロボット座標系のX座標であり、RYは同じくY座標である。Rηはロボットの向いている方向である。
次に、行動生成部34は、位置・方向検出システム30より目標位置となる充電ステーション2の位置と向いている方向を取得する(ステップS14)。
その後、行動生成部34は、目標位置に対してステップS13で算出した現在位置を結ぶ移動経路を算出する(ステップS15)。ここでは、例えばRRT(Rapidly exploring Random Tree)法や、A*などの手法により算出することができる。
その後、行動生成部34は、目標位置に対してステップS13で算出した現在位置を結ぶ移動経路を算出する(ステップS15)。ここでは、例えばRRT(Rapidly exploring Random Tree)法や、A*などの手法により算出することができる。
行動生成部34では、算出された移動経路より移動経路長が算出され、移動経路長と車輪駆動部15が保持する移動ロボット1の最大加速度、最大速度を満たすように台形速度パターンが算出される。台形速度パターンは車輪駆動部15への送信間隔毎の指令値に分割され、行動生成部34に記録される。これにより移動ロボット1がどの時刻(TK)で経路上のどの位置(R)にいるかが明らかになり、Rの前後の時刻(TK−1、TK+1)の経路点座標を参照し、時刻TKでの移動ロボットの目標旋回方向が算出される。時刻TKでの目標旋回方向と時刻TKの1ステップ前の目標旋回方向の差分を前述した送信間隔で除算することにより目標旋回角速度情報を決定する。以上の計算により、行動生成部34は、各時刻におけるロボットの目標速度と目標旋回角速度からなる移動計画を生成する。
そして、行動生成部34は、各時刻ごとにステップS15において算出された目標速度と目標旋回角速度を車輪駆動部15に送信する(ステップS16)。
次に、図6のフローチャートを参照して、マーカ認識部32が、画像取得部31とマーカデータ部33から取得した情報を基に、マーカ20L,20Rとカメラ14との相対位置と、マーカ20L,20Rの向いている方向を算出する処理の詳細を説明する。
まず、マーカ認識部32は、取得したカメラ14の撮像画像から、水平方向の1ラインを切り出す(ステップS21)。
ここでは、例えば図7に示すように、マーカ20L,20Rの双方が含まれるように、所定の垂直位置の水平方向の1ラインL1を切り出す。
まず、マーカ認識部32は、取得したカメラ14の撮像画像から、水平方向の1ラインを切り出す(ステップS21)。
ここでは、例えば図7に示すように、マーカ20L,20Rの双方が含まれるように、所定の垂直位置の水平方向の1ラインL1を切り出す。
そして、マーカ認識部32は、切り出した1ラインL1の箇所に、マーカ20L,20Rが撮像されているか否かを判断する(ステップS22)。このステップS22で、マーカが撮像されている場合(ステップS22のYes)には、ラインL1上に背景色、マーカ側面色、背景色、マーカ側面色、背景色のパターンがライン上に現れる。パターンが背景色、マーカ側面色、マーカ側面色、背景色の場合、マーカ側面色が連続しており、マーカ側面の塗り分けにより大まかにマーカ20L,20Rに対してカメラ14が左右どちらかにいるかを判断できる。このようにして、マーカ20L,20Rとカメラ14との相対関係を算出する(ステップS23)。
例えばマーカ20L,20Rの側面色として、右側面20L−1,20R−1で同色(緑色)が配置され、左側面20L−2,20R−2で同色(赤色)が配置されている場合、緑しか見えないならば右側、赤しか見えない場合は左側にいることになる。このとき、左右のどの程度の角度が算出できるかは、マーカ20L,20Rの形状と配置に依存する。
なお、ステップS22の判断で、いずれのパターンも出現しない場合、つまり20L,20Rが撮像されていない状況でのとき(ステップS22のNo)、マーカ20L,20Rの検出による位置検出処理を終了する。
なお、ステップS22の判断で、いずれのパターンも出現しない場合、つまり20L,20Rが撮像されていない状況でのとき(ステップS22のNo)、マーカ20L,20Rの検出による位置検出処理を終了する。
次に、図8を参照して、ステップS23での具体的な位置関係の算出処理の例を説明する。
図8は、カメラ14がマーカ20L,20Rを撮影する状況の上面図である。ここでの座標系はカメラ座標系であり、カメラ14が備える画像センサ(イメージャ)の撮像面α1は、距離fだけ離れてx軸に平行にある。また計算の簡便化のため、撮像面α1と反対に距離fだけ離れた計算面α2を仮想的に設定している。
図8は、カメラ14がマーカ20L,20Rを撮影する状況の上面図である。ここでの座標系はカメラ座標系であり、カメラ14が備える画像センサ(イメージャ)の撮像面α1は、距離fだけ離れてx軸に平行にある。また計算の簡便化のため、撮像面α1と反対に距離fだけ離れた計算面α2を仮想的に設定している。
マーカ20Rと充電ステーション2の正面2aとの接合点を点P、他方(正面2aから最も離れた点)を点Qとする。線分PQの長さはlであり、計算面α2と点Pを通り、線分PQに垂直な直線との交点を点Sとする。計算面α2とy軸の交点をOとし、線分OSの長さをh、線分SPの長さをLとする。線分PQとy軸のなす角度をθとする。
座標原点と点Pおよび点Qを結んだ直線が計算面α2となす交点を点xp、点xqとする。以上の幾何関係を用いると、次の[数2]式が成立する。
座標原点と点Pおよび点Qを結んだ直線が計算面α2となす交点を点xp、点xqとする。以上の幾何関係を用いると、次の[数2]式が成立する。
[数2]式において、f,l,Lはマーカデータ部33より取得する情報であり、xp,xqは切り出されたライン上のピクセル座標の正負符号を反転させた値である。同様にマーカ20Lとの間でも次の[数2]式が成立する。
[数3]式において、各変数は[数2]式と同様に定義されるが、[数2]式と等価でない変数は変数にオーバーラインを引いてあらわされている。また、次の[数4]式の値は、マーカ20Rとマーカ20Lとの間の距離を示す式であり、マーカデータ部33より取得可能である。
これらの[数2]式〜[数4]式を用いることによって、4つの未知数[L,L(オーバーライン),θ,h]を解くことに十分な独立した関係式5本が得られることになり、未知数を算出することができる。マーカ20L,20Rの中央点Cは、[数5]式で表される。
以上により、マーカ認識部32は、マーカ20L,20Rとカメラ14の相対関係である
を算出することができる。この相対関係のデータは、行動推定部34に送信される。
以上説明したように、本例の位置・方向検出システムによると、比較的簡単な演算処理で、マーカ20L,20Rの位置と、マーカ20L,20Rの向いている方向を取得することができる。この場合、マーカ画像を得るカメラ14が、ある程度解像度が低いと共にレンズの歪があったとしても、移動ロボット1を誘導するのに十分な精度で計算ができる。
したがって、高価な低歪、高精細カメラを使用せずに、比較的安価なカメラ14で、マーカに対して相対的な位置・方向を検出することができる。
以上説明したように、本例の位置・方向検出システムによると、比較的簡単な演算処理で、マーカ20L,20Rの位置と、マーカ20L,20Rの向いている方向を取得することができる。この場合、マーカ画像を得るカメラ14が、ある程度解像度が低いと共にレンズの歪があったとしても、移動ロボット1を誘導するのに十分な精度で計算ができる。
したがって、高価な低歪、高精細カメラを使用せずに、比較的安価なカメラ14で、マーカに対して相対的な位置・方向を検出することができる。
[変形例]
なお、本発明は、上述した各実施の形態例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した各実施の形態例は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
なお、本発明は、上述した各実施の形態例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した各実施の形態例は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
例えば、図1に示す構成では、2つのマーカ20L,20Rを充電ステーション2の正面2aに配置した。これに対して、2つ以上のマーカを配置するようにしてもよい。
図9は、2つのマーカ20L,20Rの他に、補助マーカ24L,24Rを配置した例を示す。この図9に示す例では、2つのマーカ20L,20Rの間に、補助マーカ24L,24Rを配置する。図9に示すように、マーカ20L,20Rの突出長をl1とし、補助マーカ24L,24Rの突出長をl2としたとき、l1>l2となるように設定する。図9の例では、マーカ20L,20Rと補助マーカ24L,24Rとで、垂直方向(高さ方向)の長さは同じとする。
図9は、2つのマーカ20L,20Rの他に、補助マーカ24L,24Rを配置した例を示す。この図9に示す例では、2つのマーカ20L,20Rの間に、補助マーカ24L,24Rを配置する。図9に示すように、マーカ20L,20Rの突出長をl1とし、補助マーカ24L,24Rの突出長をl2としたとき、l1>l2となるように設定する。図9の例では、マーカ20L,20Rと補助マーカ24L,24Rとで、垂直方向(高さ方向)の長さは同じとする。
この図9に示す構成のとき、移動ロボット1は、2つのマーカ20L,20Rとの位置および方向を検出して、ある程度の距離(例えば30センチ程度)まで充電ステーション2に接近する処理を行う。その後は、移動ロボット1は、2つの補助マーカ24L,24Rとの位置および方向を検出する処理に切り替える。そして、2つの補助マーカ24L,24Rとの位置および方向の検出を行いながら、最終的に、移動ロボット1は、充電ステーション2とドッキングする位置まで移動する処理を行う。
なお、図9に示す構成の場合、2つのマーカ20L,20Rの各側面と、2つの補助マーカ24L,24Rの各側面は、それぞれ色または模様を分けるようにして、カメラ画像から区別できるようにするのが好ましい。
このように複数の対のマーカを用意することで、より精度の高い位置検出と方向検出が可能になる。
なお、図9に示す構成の場合、2つのマーカ20L,20Rの各側面と、2つの補助マーカ24L,24Rの各側面は、それぞれ色または模様を分けるようにして、カメラ画像から区別できるようにするのが好ましい。
このように複数の対のマーカを用意することで、より精度の高い位置検出と方向検出が可能になる。
あるいは、図10に示すように、1つの円筒形状のマーカ25を、充電ステーション2から突出させた構成としてもよい。この場合、円筒形状のマーカ25の右側面(右半分)と左側面(左半分)とを、別の色または模様とするのが好ましい。
さらにまた、図11に示すように、1つの箱型形状(立方体形状)のマーカ26を、充電ステーション2から突出させた構成としてもよい。この場合にも、マーカ26の右側面と左側面とを、別の色または模様とするのが好ましい。
さらにまた、図11に示すように、1つの箱型形状(立方体形状)のマーカ26を、充電ステーション2から突出させた構成としてもよい。この場合にも、マーカ26の右側面と左側面とを、別の色または模様とするのが好ましい。
また、ここまでの説明では、各側面の色を変えて、色から各側面を検出するようにしたが、各側面の模様を変えた場合、制御装置16内では、色の検出の代わりに、画像から模様を検出することになる。この場合、色を検出する際には、カメラ画像から水平方向の1ラインのみを切り出したが、模様が判別できるように、カメラ画像から水平方向の複数ラインを切り出して、判断するのが好ましい。
また、各側面の色を変える代わりに、マーカ20L,20Rに発光ダイオードや有機ELパネルなどの発光素子(光源)を組み込み、任意のタイミングで各側面をそれぞれ異なる色(または同じ色)に発光させるようにして、カメラ画像から、発光色や発光タイミングを検出するようにしてもよい。あるいは、マーカ20L,20Rに光源を組み込む場合には、充電ステーション2の正面2aとは異なる色で常時発光させてもよい。
また、図1に示す構成では、充電ステーション2に設置したマーカ20L,20Rの各面20L−1,20L−2,20R−1,20R−2は、設置箇所である充電ステーション2の正面(表面)2aと直交する法線と平行とした。このマーカ20L,20Rの各面20L−1,20L−2,20R−1,20R−2が突出する方向は、正面(表面)2aと直交する法線と平行であることが好ましいが、法線と完全に平行ではなく、若干ずれていてもよい。すなわち、マーカ20L,20Rの各面20L−1,20L−2,20R−1,20R−2は、正面(表面)2aと直交する法線とほぼ平行であればよい。
また、ここまでの説明では、移動ロボットが充電ステーションに移動する際の距離と方向を検出する処理に適用した。これに対して、本発明は、その他の移動体が基準となる目標位置に移動する際の誘導処理に適用してもよい。
また、図2の構成図では、制御線や情報線は説明上必要と考えられるものだけを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。また、図4や図6に示すフローチャートにおいて、処理結果に影響を及ぼさない範囲で、複数の処理を同時に実行したり、処理順序を変更してもよい。
また、実施の形態例で説明した構成は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、光ディスク等の記録媒体に置くことができる。
1…移動ロボット、1a…頭部、1b…背面、2…充電ステーション、2a…正面(表面)、10…本体、11L,11R…車輪、12…補助車輪、13…ロボット側充電端子、14…カメラ、15…車輪駆動部、16…制御装置、16a…中央制御ユニット(CPU)、16b…ROM、16c…RAM、16d…不揮発性ストレージ、16e…ネットワークインタフェース、16f…カメラインタフェース、16g…駆動系インタフェース、17…ロボット側充電装置、19…3Dカメラ、20L,20R…マーカ、20L−1,20R−1…右側面、20L−2,20R−2…左側面、21…電源装置、22…外部電源接続用プラグ、23…充電ステーション側充電端子、24L,24R…補助マーカ、25…マーカ(円筒形状)、26…マーカ(箱型形状)、30…位置・方向検出システム、31…画像取得部、32…マーカ認識部、33…マーカデータ部、34…行動生成部
Claims (12)
- 移動物体に取り付けられた撮像部で目標箇所を撮像し、撮像した画像から前記目標箇所を検出することで、前記移動物体を前記目標箇所に誘導する目標検出システムであり、
当該目標箇所の表面と直交する法線とほぼ平行な平面または曲面を持って突出すると共に、突出した前記平面または前記曲面が、周囲の前記目標箇所の表面とは異なる特定色または異なる特定模様であるマーカを備える
目標検出システム。 - 前記移動物体は、前記撮像部が撮像した画像から、前記マーカの前記平面または前記曲面を抽出することで、前記移動物体から見た前記目標箇所の方向を検出する
請求項1に記載の目標検出システム。 - さらに前記移動物体は、前記撮像部が撮像した画像から、前記移動物体と前記目標箇所との距離を検出する
請求項2に記載の目標検出システム。 - 前記マーカは、前記目標箇所に複数配置し、
複数配置したそれぞれの前記マーカの前記平面または前記曲面は、相互に平行に配置した
請求項3に記載の目標検出システム。 - 前記平面または前記曲面を平行配置したそれぞれの前記マーカは、前記平面または前記曲面の一方と他方を、それぞれ異なる色または模様とした
請求項4に記載の目標検出システム。 - さらに前記マーカは、前記目標箇所の中心に近い箇所に、第1の対の複数のマーカを配置すると共に、
前記中心から見て前記第1の対の複数のマーカよりも外側となる箇所に、第2の対の複数のマーカを配置し、
前記第1の対の複数のマーカは、前記第2の対の複数のマーカよりも前記平面または前記曲面の突出長を短くし、
前記移動物体は、前記マーカとの距離に基づいて、第1の対の複数のマーカを使って、前記目標箇所を検出する状態と、第2の対の複数のマーカを使って、前記目標箇所を検出する状態を切り替えるようにした
請求項4に記載の目標検出システム。 - 前記マーカは円筒形状または箱型形状である
請求項3に記載の目標検出システム。 - 前記移動物体に配置された前記撮像部は、前記マーカを撮像した画像から一部分を切り出して、前記目標箇所を検出するようにした
請求項3に記載の目標検出システム。 - 前記マーカは、内部に光源を有し、前記光源の発光で前記突出した面を前記特定色とする
請求項1に記載の目標検出システム。 - 移動物体が目標箇所を検出するために、前記目標箇所に設置される目標検出用マーカであって、
前記目標箇所の表面と直交する法線とほぼ平行に突出した平面または曲面を有し、
突出した前記平面または前記曲面は、前記目標検出用マーカの背景となる前記目標箇所の表面と異なる色または異なる模様とした
目標検出用マーカ。 - 移動ロボット内のバッテリを充電させる充電ステーションであって、
前記移動ロボットが充電時に接続される接続箇所と、
前記接続箇所に設置され、当該接続箇所の表面と直交する法線とほぼ平行な平面または曲面を持って突出すると共に、突出した前記平面または前記曲面が、周囲の前記接続箇所の表面とは異なる特定色または異なる特定模様であるマーカと、を備える
充電ステーション。 - 目標箇所に設置されたマーカを、移動物体に配置された撮像部で撮像して検出することで、前記目標箇所を検出しながら前記移動物体を前記目標箇所に誘導する目標検出方法であって、
前記マーカは、前記目標箇所の表面と直交する法線方向に突出した平面または曲面を有し、
前記移動物体は、前記撮像部で撮像された画像から、前記マーカの周囲の前記目標箇所とは異なる特定色または異なる特定模様の箇所を抽出して、前記平面または前記曲面を検出することで、前記移動物体を前記目標箇所に誘導する
目標検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019113454A JP2020204992A (ja) | 2019-06-19 | 2019-06-19 | 目標検出システム、目標検出用マーカ、充電ステーションおよび目標検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019113454A JP2020204992A (ja) | 2019-06-19 | 2019-06-19 | 目標検出システム、目標検出用マーカ、充電ステーションおよび目標検出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020204992A true JP2020204992A (ja) | 2020-12-24 |
Family
ID=73837460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019113454A Pending JP2020204992A (ja) | 2019-06-19 | 2019-06-19 | 目標検出システム、目標検出用マーカ、充電ステーションおよび目標検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020204992A (ja) |
-
2019
- 2019-06-19 JP JP2019113454A patent/JP2020204992A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109730590B (zh) | 清洁机器人以及清洁机器人自动返回充电的方法 | |
US11555903B1 (en) | Sensor calibration using dense depth maps | |
US20230247015A1 (en) | Pixelwise Filterable Depth Maps for Robots | |
KR20070012118A (ko) | 영상 인식이 가능한 이동체와 이동체 유도 시스템 | |
CN108481327B (zh) | 一种增强视觉的定位装置、定位方法及机器人 | |
KR102500634B1 (ko) | 안내 로봇 및 그의 동작 방법 | |
JP2004198211A (ja) | 移動体周辺監視装置 | |
JP2002182742A (ja) | モービルロボット及びその経路補正方法 | |
CN106537185B (zh) | 借助于相交平面探测障碍物的装置和使用所述装置的探测方法 | |
JPH11213157A (ja) | カメラ搭載移動体 | |
JP4333611B2 (ja) | 移動体用の障害物検出装置 | |
CN111166248A (zh) | 清洁机器人、自主充电方法及自主充电系统 | |
CN112567264A (zh) | 用于获取坐标变换信息的装置和方法 | |
TWI754808B (zh) | 載具、載具定位系統及載具定位方法 | |
JP6919882B2 (ja) | 人推定システムおよび推定プログラム | |
KR102014340B1 (ko) | 전기차 충전 로봇, 로봇의 도킹을 위한 정밀 제어 방법 및 프로그램 | |
US11769269B2 (en) | Fusing multiple depth sensing modalities | |
JP2004120661A (ja) | 移動体周辺監視装置 | |
WO2018180454A1 (ja) | 移動体 | |
CN114690751A (zh) | 停泊控制方法、控制系统、移动机器人及存储介质 | |
JP2017168055A (ja) | 無人走行作業車 | |
KR102275083B1 (ko) | 이동 로봇 시스템 및 자동 충전을 위한 이동 로봇의 귀소 방법 | |
JPS63124114A (ja) | 移動体用環境認識装置 | |
CN110871440B (zh) | 机器人的行驶控制方法和装置 | |
JP2020204992A (ja) | 目標検出システム、目標検出用マーカ、充電ステーションおよび目標検出方法 |