JP2017107275A - 自律移動装置、自律移動方法及びプログラム - Google Patents
自律移動装置、自律移動方法及びプログラム Download PDFInfo
- Publication number
- JP2017107275A JP2017107275A JP2015238364A JP2015238364A JP2017107275A JP 2017107275 A JP2017107275 A JP 2017107275A JP 2015238364 A JP2015238364 A JP 2015238364A JP 2015238364 A JP2015238364 A JP 2015238364A JP 2017107275 A JP2017107275 A JP 2017107275A
- Authority
- JP
- Japan
- Prior art keywords
- movement
- autonomous mobile
- mobile device
- positioning
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 24
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 230000001133 acceleration Effects 0.000 claims description 26
- 238000012937 correction Methods 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 abstract description 13
- 230000008569 process Effects 0.000 description 13
- 238000004140 cleaning Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Instructional Devices (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【課題】予期せぬ要因で自機が移動した場合であっても自機位置を特定する。【解決手段】自律移動装置100の検知部13は、自機の駆動機構41による自律移動に依らない、外的要因に基づく移動を検知する。測位部14は、検知部13が外的要因に基づく移動を検知している間、自機位置を測位する。検知手段は、前期外的要因に基づく移動として、自機がユーザにより保持された状態で移動する保持移動を検知し、前記測位手段は、前記保持移動の開始から終了までの間、測位用のセンサ群に基づいて、自機位置を継続して測位する、【選択図】図2
Description
本発明は、自律移動装置、自律移動方法及びプログラムに関する。
近時、用途に応じて自律的に移動する自律移動装置が普及してきている。例えば、屋内の掃除のために自律的に移動する自律移動装置が知られている。
このような自律移動装置では、一般的に、自機が移動可能な範囲を示す地図上での自機位置を特定することで自律移動を行う。
このような自律移動装置では、一般的に、自機が移動可能な範囲を示す地図上での自機位置を特定することで自律移動を行う。
このような自律移動装置に関して、特許文献1では、障害物を回避する技術が開示されている。具体的には、自律移動装置が、屋内の障害物を含む地図を予め記憶しておくことで、その障害物を回避した計画経路を導出する技術が開示されている。
ところで、GPS(Global Positioning System)を搭載していないことにより、自機の絶対位置を特定できない自律移動装置では、不測の事態によりいったん計画経路から外れてしまうと、自機位置を見失ってしまう。例えば、ユーザが自律移動装置を持ち運んだような場合、自律移動装置は地図上での自機位置を見失ってしまい、計画経路に基づく自律移動を継続することができなくなる。
とりわけ、GPS未搭載やGPSが機能しない屋内などにおいて、自律移動装置(例えば、掃除ロボット)はいったん自機位置を見失うと、ホームポジション(充電ステーション)を探索して戻るという復帰処理が必要となり、効率が悪く実用に耐えない。
このようなことから予期せぬ要因で自機が移動した場合であっても、自機位置を特定する技術が望まれている。
このようなことから予期せぬ要因で自機が移動した場合であっても、自機位置を特定する技術が望まれている。
そこで、本発明は、上述した事情に鑑みてなされたものであり、予期せぬ要因で自機が移動した場合であっても自機位置を特定する自律移動装置等を提供することを目的とする。
上記目的を達成するため、本発明の自律移動装置は、
自機の移動手段による自律移動に依らない、外的要因に基づく移動を検知する検知手段と、
前記検知手段が前記外的要因に基づく移動を検知している間、自機位置を測位する測位手段と、
を備えたことを特徴とする。
自機の移動手段による自律移動に依らない、外的要因に基づく移動を検知する検知手段と、
前記検知手段が前記外的要因に基づく移動を検知している間、自機位置を測位する測位手段と、
を備えたことを特徴とする。
本発明によれば、予期せぬ要因で自機が移動した場合であっても自機位置を特定することができる。
以下、図1を参照しながら、本発明の実施形態に係る自律移動装置の概要について説明する。自律移動装置100は、用途に応じて自律的に移動する自律移動ロボットである。この用途とは、例えば、警備監視用、屋内掃除用、玩具用などである。すなわち、自律移動装置(自律移動ロボット)の態様としては、用途に応じて、警備監視用ロボット、屋内掃除用ロボット、玩具用ロボットなどがある。これら各ロボットの例は一態様に過ぎず、自律移動装置は自律的に移動するロボットであれば適用することができる。この実施形態においては、自律移動装置100が掃除に用いられる場合を適宜例にとって説明する。
自律移動装置100は、外観上、カメラ40、駆動機構41、障害物検知センサ23を備える。
カメラ40は、単眼の撮像装置である。カメラ40は、例えば、30fpsで画像(フレーム)を取得する。
自律移動装置100は、外観上、カメラ40、駆動機構41、障害物検知センサ23を備える。
カメラ40は、単眼の撮像装置である。カメラ40は、例えば、30fpsで画像(フレーム)を取得する。
駆動機構41は、独立2輪駆動型であって、車輪と、モータと、等間隔のスリット付きエンコーダと、を備える。自律移動装置100は、2つの車輪の同時駆動により前後の平行移動(並進移動)を、2つの車輪の独立駆動により回転を、行う。
また、エンコーダからのパルス数をカウントして得られる回転量から移動距離を、左右輪の回転差から得られる姿勢の変化量から方向を、それぞれ求めることができる。このような物理的な駆動機構41から自律移動装置100の移動距離と方向とを求める手法をオドメトリという。
障害物検知センサ23は、走行中の障害物を検知するセンサであって、例えば、赤外線センサ、超音波センサである。
また、エンコーダからのパルス数をカウントして得られる回転量から移動距離を、左右輪の回転差から得られる姿勢の変化量から方向を、それぞれ求めることができる。このような物理的な駆動機構41から自律移動装置100の移動距離と方向とを求める手法をオドメトリという。
障害物検知センサ23は、走行中の障害物を検知するセンサであって、例えば、赤外線センサ、超音波センサである。
図2に示すように、自律移動装置100は、外観上のカメラ40、駆動機構41、障害物検知センサ23に加えて、制御部10、センサ群20、記憶部30、操作ボタン42、無線通信部43、電池44、を備える。
制御部10は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などで構成される。制御部10は、ROMに記憶されたプログラム(例えば、後述する測位処理に係るプログラム)を実行することにより、各部(マップ作成部11、移動制御部12、検知部13、測位部14、探索部15、補正部16)の機能を実現する。
センサ群20は、障害物検知センサ23に加えて、加速度センサ21と磁気センサ22を含む。加速度センサ21は、XYZ方向(3軸)の加速度を測定するセンサである。磁気センサ22は、磁北に対する向き(磁方位)を測定するセンサである。これら加速度センサ21、磁気センサ22は、自機位置の測位のために用いられる。
記憶部30は、フラッシュメモリなどの不揮発性メモリである。各記憶部(マップ記憶部31、移動軌跡記憶部32、自機位置記憶部33)については後述する。
操作ボタン42は、自律移動装置100を操作するためのボタンであって、例えば、電源ボタン、モード切替ボタンなどを含む。掃除用の自律移動装置100では、モード切替ボタンにより吸引力の強弱の切り替えなどを行うことができる。
操作ボタン42は、自律移動装置100を操作するためのボタンであって、例えば、電源ボタン、モード切替ボタンなどを含む。掃除用の自律移動装置100では、モード切替ボタンにより吸引力の強弱の切り替えなどを行うことができる。
無線通信部43は、外部装置と無線通信するためのアンテナを含む無線モジュールである。例えば、無線通信部43は、Bluetooth(登録商標)に基づく近距離無線通を行うための無線モジュールである。
電池44は、自律移動装置100に内蔵された充電池である。電池44は、ホームポジションである充電ステーション1(図3参照)に自律移動装置100がドッキングされることで充電される。
自律移動装置100は、以上の物理構成の他、用途に応じた物理構成を備える。掃除用の自律移動装置100であれば、吸引機構やブラシなどを備えることになる。
電池44は、自律移動装置100に内蔵された充電池である。電池44は、ホームポジションである充電ステーション1(図3参照)に自律移動装置100がドッキングされることで充電される。
自律移動装置100は、以上の物理構成の他、用途に応じた物理構成を備える。掃除用の自律移動装置100であれば、吸引機構やブラシなどを備えることになる。
さて、次に、制御部10の機能について説明する。
制御部10は、機能として、マップ作成部11、移動制御部12、検知部13、測位部14、探索部15、補正部16、を備える。各部はそれぞれ、マップ作成手段、移動制御手段、検知手段、測位手段、探索手段、補正手段に相当する。
制御部10は、機能として、マップ作成部11、移動制御部12、検知部13、測位部14、探索部15、補正部16、を備える。各部はそれぞれ、マップ作成手段、移動制御手段、検知手段、測位手段、探索手段、補正手段に相当する。
マップ作成部11は、自機が移動可能な空間のマップを作成する。マップ作成部11は、SLAM(Simultaneous Localization and Mapping)によりマップ(環境地図)を作成する。このSLAMとは、カメラにより逐次取得する複数のフレームに基づいて、自機位置(地図作成開始地点である原点からの移動距離と向きと)を推定しながら、同時にフレームに写る物体(複数の2次元特徴点の集合)の3次元位置を求めてマップを作成する技術である。つまり、リアルタイムに自機位置を推定しながら自機周囲の地図を構築していく技術がSLAMである。なお、駆動機構41などの物理的な機構により自機位置を推定するオドメトリと異なり、複数のフレームに基づいて自機位置を推定する手法はビジュアルオドメトリと呼ばれる。このマップは、マップ作成部11が予め作成してマップ記憶部31に記憶しておくものとする。
典型的な例としては、自機は最初、充電ステーション1に置いてある状態で電源を投入すると、障害物検知センサ23を頼りとして、家の各部屋をくまなく移動し、障害物検知センサ23によって壁等の障害物位置を特定し、障害物位置を含む地図の情報を作成することができる。地図がある程度作成されると、地図の情報がまだないが移動可能と考えられる領域を知ることができる。その領域に自律的に移動する等して、より広範囲の地図の作成を促すこともできるようになる。そして、移動可能なほぼ全域の地図の情報が作成されれば、地図の情報を利用した効率的な移動動作が可能になる。例えば部屋のどの位置からでも最短経路で充電ステーション1に戻ったり、効率的に部屋を移動したりすることが可能になる。
ここで、マップ作成部11が作成した屋内のマップを図3に示す。このマップは説明の便宜上、(x,y)の2次元で表示されるが、実際のマップは(x,y,z)の3次元である。このマップは、充電ステーション1、障害物a〜c、特徴位置S1〜S3を含む。このようなマップに関するマップ情報をマップ記憶部31は記憶する。
マップ情報としては、地図作成時に撮ったフレーム内の2次元特徴点の3次元位置情報(3次元座標)を含む。換言すれば、フレーム毎に写る複数の2次元特徴点それぞれの3次元位置情報がマップ情報である。
加えて、マップ情報は、マップ作成後にユーザが任意に設定した複数の特徴位置(図3では特徴位置S1〜S3)を含む。この特徴位置は、マップ内での位置座標を示す位置情報と、その位置座標から撮ったフレームと、そのフレームの撮影方向と、を対応付けたものである。このようなマップ情報に基づいてマップを再現すると、図3のようなマップが得られる。なお、図3のマップは2次元マップだが、実際はマップ情報に基づいて3次元マップを再現することができる。
なお、記憶容量を削減する観点から、マップ情報は、地図作成時に撮影した全てのフレームを記憶せず、特徴位置に対応付けられたフレームのみ記憶するようにする。すなわち、図3の例では、フレーム数は、特徴位置S1〜S3の数である3フレームである。
なお、記憶容量を削減する観点から、マップ情報は、地図作成時に撮影した全てのフレームを記憶せず、特徴位置に対応付けられたフレームのみ記憶するようにする。すなわち、図3の例では、フレーム数は、特徴位置S1〜S3の数である3フレームである。
図2に戻って、移動制御部12は、作成された地図上において自律移動装置100の移動を制御する。具体的には、移動制御部12は、用途に応じた移動計画に従って、駆動機構41を制御して自律移動装置100の移動を制御する。例えば掃除用であれば、移動制御部12は、マップに基づいて図4の破線で示す屋内の掃除ルートを作成して、その掃除ルートに従って移動しながら掃除を行う。
次に、検知部13は、自機の駆動機構41による自律移動に依らない、外的要因に基づく移動を検知する。この実施形態においては、検知部13は、外的要因に基づく移動として、自機がユーザにより保持された状態で移動する保持移動を検知する。具体的には、検知部13は、センサ群20のセンサ出力によりユーザによる保持移動を検知する。
なお、この実施形態において自律移動とは、自機の駆動機構41による移動を意味し、移動計画に従って移動を行うことの他、移動計画に依らずに移動を行うことも自律移動に含む。要は、外的要因に基づく移動を除く自機の移動手段による移動は自律移動である。
なお、この実施形態において自律移動とは、自機の駆動機構41による移動を意味し、移動計画に従って移動を行うことの他、移動計画に依らずに移動を行うことも自律移動に含む。要は、外的要因に基づく移動を除く自機の移動手段による移動は自律移動である。
ここで、検知部13は、ユーザによる保持移動の開始を、移動計画(掃除ルート)に従って出力されるセンサ出力の予測値と実測値とに基づいて検知する。移動計画に従って自律移動している場合、加速度センサ21のXYZ成分の平均値は約1Gとなるので、これを予測値とする。一方で、ユーザが自律移動装置100を持ち上げた場合などは、XYZ成分の加速度は揺らぐので平均値は1Gを上回る。このため、検知部13は、実測値が1G以上の所定の閾値を上回る場合、保持移動が開始されたと検知する。
保持移動が開始した後、検知部13は、加速度の揺らぎが継続している間は(XYZ成分の加速度の平均値が所定の閾値を上回る間は)、ユーザが保持移動中であると判断する。そして、検知部13は、加速度の揺らぎがなくなると(XYZ成分の加速度の平均値が約1Gに戻ると)、ユーザの保持移動が終了したと判断する。
保持移動が開始した後、検知部13は、加速度の揺らぎが継続している間は(XYZ成分の加速度の平均値が所定の閾値を上回る間は)、ユーザが保持移動中であると判断する。そして、検知部13は、加速度の揺らぎがなくなると(XYZ成分の加速度の平均値が約1Gに戻ると)、ユーザの保持移動が終了したと判断する。
なお、上述した保持移動の開始から終了までの検知手法は一例であって別の手法で検知してもよい。例えば、地面に接触しているか否かの接触センサにより、接触していなければ保持移動開始とし、接触していない状態から接触状態に遷移したら保持移動終了としてもよい。あるいは、空中で空回りしない車輪の回転が止まり、かつ、Z方向の加速度変化を検知したら保持移動開始とし、再び車輪が回転し始めてZ方向の加速度変化がなくなったら保持移動終了としてもよい。
次に、測位部14は、検知部13が外的要因に基づく移動を検知している間、自機位置を測位する。この実施形態においては、測位部14は、保持移動の開始から終了までの間、測位用のセンサ群20に基づいて、自機位置を継続して測位する。
ここで、図5を参照しながら測位の流れについて説明する。この図5は、自律移動装置100が実線で示す移動計画に従った自律移動をしている途中に、外的要因としてユーザによりA地点からB地点まで運ばれた場合を想定している。検知部13がA地点において保持移動の開始を検知したとする。すると、測位部14は、自律航法による自機位置の測位を開始する。なお、自律航法が始まる前のA地点(x1,y1)はマップ上において正確な位置情報であり、自機位置記憶部33に記憶される。
ここで、図5を参照しながら測位の流れについて説明する。この図5は、自律移動装置100が実線で示す移動計画に従った自律移動をしている途中に、外的要因としてユーザによりA地点からB地点まで運ばれた場合を想定している。検知部13がA地点において保持移動の開始を検知したとする。すると、測位部14は、自律航法による自機位置の測位を開始する。なお、自律航法が始まる前のA地点(x1,y1)はマップ上において正確な位置情報であり、自機位置記憶部33に記憶される。
まず、加速度センサ21の重力成分の出力をローパスフィルタに通して高周波成分のノイズを除去した後、歩行周波数帯(例えば、1.5Hz〜3.5Hz)を抽出するためのバンドパスフィルタに通す。バンドパスフィルタに通した後の歩行周波数帯における重力成分の加速度の各ピークの例を図6に示す。図6に示す各ピーク(P1〜P3)の数をカウントすることにより保持移動中の歩数を求めることができる。図6の例では、歩数は3歩(P1〜P3)である。
一方、歩幅は、各ピーク間の加速度の水平成分の二重積分値の差から求める。例えば、P1、P2に対応する水平成分の加速度をそれぞれ二重積分した差分が移動量となる。このように、ユーザの歩幅を求めることで、自機の移動量を求めることができる。
また、自律移動装置100が移動する方向は、加速度センサ21の水平成分(XY成分)の加速度を、重力成分のピークに合わせて抽出することで求めることができる。求めた移動方向を磁気センサ22の絶対方位と組み合わせることで、磁北に対する移動方向を求めることができる。
また、自律移動装置100が移動する方向は、加速度センサ21の水平成分(XY成分)の加速度を、重力成分のピークに合わせて抽出することで求めることができる。求めた移動方向を磁気センサ22の絶対方位と組み合わせることで、磁北に対する移動方向を求めることができる。
このように、測位部14は、加速度センサ21で求めた自機の移動量と、磁気センサ22で求めた自機の向きと、から自機の移動ベクトルを求めて自機位置を測位する。自機位置の測位を保持移動の開始から終了まで継続して行うことにより、図5に示すようなAB間の移動軌跡と、B地点での自機位置(x2,y2)と、を求めることができる。測位部14は、求めた移動軌跡を移動軌跡記憶部32に、B地点での自機位置(x2,y2)を自機位置記憶部33に、それぞれ記憶する。なお、B地点での自機位置(x2,y2)は、自機位置記憶部33に記憶した正確な位置情報であるA地点(x1,y1)と異なり、センサ誤差を含むので以下で説明する特徴位置に基づき補正を行う。
探索部15は、測位部14により測位された、外的要因に基づく移動の終了時点での自機位置から、最寄りの特徴位置を探索する。この実施形態では、探索部15は、特徴位置S1〜S3のうち、B地点から最も近いS1を探すことになる。すなわち、探索部15は、自律移動装置100を、誤差を含むB地点での自機位置(x2,y2)からS1(x3,y3)に向けて移動させながら、カメラ40で撮った現フレームと特徴位置S1に対応付けられたフレームとを比較していく。そして、S1付近で現フレームとS1に対応付けられたフレームとが一致したら、特徴位置S1を探し当てたとし、探索終了となる。
なお、B地点での自機位置(x2,y2)はセンサ誤差を含むので、S1を探索しようとしてもフレームが一致せずS1を探し当てることができない場合がある。この場合は、S1の次に近いS2を探索することになる。すなわち、自律移動装置100は、保持移動終了地点から近い特徴位置を順に探索することになる。特徴位置が探索できれば、その特徴位置に対応付けられた位置情報(位置座標)が地図上での正確な位置となる。
このように、この実施形態では、記憶容量削減の観点からフレーム数を特徴位置数に限っており、正確な自機位置を知るにあたっては、誤差を含む保持移動終了地点(測位終了地点)を基準として特徴位置を探し当てる必要がある。換言すれば、自律航法をして保持移動終了地点を測位しない場合は自機位置を見失ってしまうので、特徴位置を探索することすらできないことになる。
このように、この実施形態では、記憶容量削減の観点からフレーム数を特徴位置数に限っており、正確な自機位置を知るにあたっては、誤差を含む保持移動終了地点(測位終了地点)を基準として特徴位置を探し当てる必要がある。換言すれば、自律航法をして保持移動終了地点を測位しない場合は自機位置を見失ってしまうので、特徴位置を探索することすらできないことになる。
次に、補正部16は、探索部15が探索した特徴位置に基づいて、外的要因に基づく移動の終了時点での自機位置を補正する。図5の例の場合、探索部15が探索した特徴位置S1にB地点を補正する。すなわち、誤差を含むB地点の位置座標(x2,y2)から探し当てた正確なS1の位置座標(x3,y3)に補正する。
このように、外的要因で移動した際にセンサ群20で測位した位置情報はセンサ誤差を含むので、特徴位置を使って位置情報に補正をかけるようにする。この実施形態と異なり、地図作成時の全フレームを記憶する場合は、自律航法により測位せずとも自機を見失ったらその場で現フレームと全フレームとを比較して、一致するフレームが見つかればそのフレームに対応付けられた位置座標に補正することができる。しかし、全フレームを記憶するのは記憶容量が膨大になり、かつ、比較処理負担が大きい。このため、この実施形態のように自律航法で測位して、測位終了地点から特徴位置を探索することで自機位置を補正すると、記憶容量の節約及び処理負担軽減に繋がる。
以上、図3〜図6を参照しながら自律移動装置100の機能について説明した。以下では、自律移動装置100が行う測位処理を、図7のフローチャートを参照しながら説明する。この測位処理は、マップ作成後に自律移動装置100が移動する際に実行される。なお、自律移動装置100は、自機の状態(自律移動中や保持移動中など)をフラグで認識する。すなわち、図8の状態テーブルが示すように、フラグAとフラグBのON・OFFの組み合わせで自律移動装置100の各状態を特定する。デフォルトは、フラグA、Bは何れもOFFである。
まず、移動制御部12は、移動計画に従って自律移動を行う(ステップS11)。図4の例の場合、移動制御部12は、破線の移動計画に従って自律移動装置100の自律移動を行う。
次に、検知部13は、ユーザが保持したか否か検知する(ステップS12)。検知部13は、上述したセンサ群20を用いて保持移動が開始したか否か検知する。ここで、検知部13によりユーザが保持していないことを検知した場合(ステップS12;No)、制御部10は、フラグAの状態を確認する(ステップS13)。フラグAの状態がOFFの場合(ステップS13;OFF)、制御部10は続いて、フラグBの状態を確認する(ステップS16)。フラグBの状態がOFFの場合(ステップS16;OFF)、ステップS11に戻る。つまり、ユーザにより保持されるまで(フラグA、Bが何れもOFFの間は)、自律移動装置100は移動計画に従って自律移動を継続する(ステップS11、S12、S13、S16のループ)。
ここで、検知部13によりユーザが保持したことを検知した場合(ステップS12;Yes)、すなわち保持移動の開始を検知した場合、制御部10は、フラグAはONか否か判定する(ステップS17)。制御部10はフラグAがONでなければ(ステップS17;No)、フラグAをONにして(ステップS18)、自律移動中から保持移動中に状態を遷移させる。続いて、測位部14は、ユーザによる保持位置を記憶する(ステップS19)。ここでは、測位部14は、保持位置(図5のA地点座標(x1,y1))を自機位置記憶部33に記憶する。そして、測位部14は、上述したセンサ群20を用いて、自機位置を測位して(ステップS20)、ステップS12に戻る。
ステップS12においてユーザが保持中である場合(ステップS12;Yes)、フラグAはONなので(ステップS17;Yes)、ステップS18及び19をスキップして、測位部14は、自機位置を測位する。つまり、測位部14は、状態が保持移動中の間は自機位置を測位し続ける(ステップS12、17、20のループ)。
ここで、検知部13が、ユーザが保持していないことを検知した場合(ステップS12;No)、すなわちユーザの保持移動が終了した場合、制御部10は、フラグAの状態を確認する(ステップS13)。フラグAはONなので(ステップS13;ON)、制御部10は、フラグAをOFFにして(ステップS14)、フラグBをONにして(ステップS15)、保持移動中から保持移動終了に状態を遷移させる。続いて、制御部10は、フラグBの状態を確認し(ステップS16)、フラグBはONなので(ステップS16;ON)、ステップS21以下の処理に進む。
ステップS21において、測位部14は、保持移動の終了時点の自機位置を記憶する(ステップS21)。ここでは、測位部14は終了時点の自機位置(図5のB地点座標(x2,y2))を自機位置記憶部33に記憶する。続いて、探索部15は、特徴位置を探索して(ステップS22)、特徴位置を発見したか否か判定する(ステップS23)。
この特徴位置の探索とは、上述したように、自律移動装置100が測位した保持移動終了地点から最寄りの特徴位置に移動しながら、現フレームと特徴位置に対応付けられたフレームとを比較して一致しているか否か判定する処理である。図5の例では、B地点の位置はセンサ誤差を含むので、正確にS1を探し当てるには、S1付近で動いて複数のフレームを撮って、S1に対応付けられたフレームと比較することになる。そして、フレーム同士が一致すれば特徴位置を発見したことになる。
ここで、探索部15が特徴位置を発見しない場合(ステップS23;No)、全特徴位置を探索済みか否か判定し(ステップS24)、全特徴位置を探索済みでなければ(ステップS24;No)、特徴位置の探索に戻る。つまり、特徴位置が発見できない場合、残りの特徴位置を近い順に全て探索することになる(ステップS22、S23、S24のループ)。図5の例では、ステップS1、S2、S3と順に探索することになる。
ここで、特徴位置を発見した場合(ステップS23;Yes)、補正部16は、自機位置を補正する(ステップS25)。具体的には、補正部16は、誤差を含むB地点の位置座標(x2,y2)を、発見した特徴位置の座標(S1を発見した場合は(x3,y3)に補正する。自機位置を補正後、移動制御部12は、フラグBをOFFにして(ステップS26)、保持移動終了から自律移動中に状態を遷移させた後、自機の移動を再開して(ステップS27)、処理を終了する。自機移動の再開とは、補正後の自機位置をマップ上における始点として、自機の移動を再開することを意味する。この際、補正後の自機位置から新たな移動計画を立てて自律移動を開始する。
一方で、特徴位置を発見できず(ステップS23;No)、かつ、全特徴点を探索済みの場合(ステップS24;Yes)、自機位置の補正をせずにフラグBをOFFにして(ステップS26)、自機の移動を再開する(ステップS27)。再開経路の一例として、いったんB地点に戻り、移動軌跡の跡をたどって保持移動の開始位置(A地点)に戻り、その開始位置を始点として自機の移動を再開するとよい。これにより、充電ステーション1に戻らずに当初の移動計画に従って自律移動を再開することができる。あるいは、移動制御部12は、B地点から新たな移動計画を立てて自律移動を開始してもよい。
このようにステップS27において自機の移動を再開すると処理を終了する。なお、終了後は、測位処理を再び始めて外的要因に基づく移動(一例として、ユーザによる保持移動の有無)を再び監視し始める。つまり、測位処理を再開する。
以上、この実施形態に係る自律移動装置100によれば、検知部13と測位部14を備えたことにより、自律移動以外の外的要因に基づく移動(この実施形態では、一例としてユーザによる保持移動)が起こっても自機位置を測位することができる。このため、自律移動装置100は、マップ上における自機位置を見失うことがない。このため、GPS未搭載やGPSが機能しない屋内であっても自律移動装置100は充電ステーション1を探索して戻るという復帰処理が不要になる。したがって、予期せぬ要因で自機が移動した場合であっても測位した自機位置から自律移動を再開することができる。
また、自律移動装置100は、センサ群20(特に、加速度センサ21と磁気センサ22と)を備えたことにより、外的要因に基づく移動中に移動ベクトルを求めて自機位置を測位することができる。このため、内蔵のセンサ群20に基づいて精度よく自力で自律航法を行うことができる。
また、自律移動装置100は、探索部15と補正部16とを備えたことにより、特徴位置を探索して自機位置を補正することができる。これにより、センサ誤差を含む自機位置のずれを補正してマップ上の正確な自機位置を特定することができる。加えて、特徴位置はユーザが補正用に任意にいくつか設定したものであり、比較用のフレーム数は特徴位置数に限られる。このため、探索部15が探索中に撮った現フレームと比較するフレームは、特徴位置に対応付けられた1つのフレームに限られるため、全フレームと現フレームとを比較する場合と比べると著しく処理負荷が軽減される。さらに、特徴位置の数だけしかフレームを記憶しないので、補正用に全フレームを記憶しておく場合と比べると記憶容量を著しく節約することができる。
以上で実施形態の説明を終了するが、上記実施形態は一例であり、自律移動装置100の構成や測位処理の内容などが上記実施形態で説明したものに限られないことはもちろんである。
上述した実施形態においては、自律航法によって測位した位置を補正することを前提に説明したが、補正は必須ではない。自律移動装置100の目的に応じて、地図上における正確な自機位置を特定する必要がなければ(つまり、センサ誤差が許容されるならば)、測位した位置(図5ではB地点)から即座に再計画を立てて自律移動を再開してもよい。あるいは、取得した移動軌跡を辿って保持移動が開始した地点(A地点)に戻り、当初の移動計画を再開してもよい。この変形例に係る自律移動装置100’を図9に示す。この自律移動装置100’は、探索部15と補正部16に代えて、取得部17を備えた点が自律移動装置100と異なる。
この異なる点について説明すると、取得部17は、測位部14により測位された、保持移動の間の自機位置の軌跡である移動軌跡を移動軌跡記憶部32から取得する。そして、移動制御部12は、取得部17が取得した移動軌跡の跡をたどって、その移動軌跡の開始位置まで戻った自機位置をマップ上における始点として、自機の移動を再開する。つまり、自律移動装置100’は、移動軌跡をたどってB地点からA地点まで戻り、移動計画(掃除ルート)に従った移動を再開する。この変形例に係る自律移動装置100’によれば、取得部17を備えたことにより、移動軌跡を活用して当初の移動計画を中断することなく継続することができる。
ここで、外的要因に基づく移動の開始地点(この実施形態では、ユーザによる保持移動の開始地点であるA地点(x1,y1))の活用例について説明する。このA地点(x1,y1)はセンサ誤差を含まないので、マップ上における正確な位置情報である。例えば移動制御部12により、1)自律航法後に探索した特徴位置(例えば、S1(x3,y3))からA地点に戻ることが考えられる。特徴位置はマップ上における正確な位置なので、A地点に誤差なく戻ることができ、A地点から当初の移動計画を再開することができる。
また、移動制御部12により、2)誤差が許容される用途であれば、自律航法後の誤差を含むB地点からA地点に戻ることが考えられる。この際、最短経路(BA地点間を結ぶ直線)でA地点に戻ってもよい。これにより、移動軌跡を辿るよりも早くA地点に戻ることができる。この後、移動制御部12は、A地点(外的要因に基づく移動の開始地点)まで戻った自機位置をマップにおける始点として、自機の移動を再開する。なお、B地点は誤差を含むので、正確なA地点ではなくA地点付近に戻ることになる。このため、保持移動が開始する際にA地点で撮った基準画像を記憶しておき、その基準画像とA地点付近で撮る複数の画像とを比較して、基準画像と一致する画像を見つけることで精度よくA地点に戻ってもよい。
また、上述した実施形態においては、近い順で全特徴位置を探索するようにしたが、これに限られない。例えば、保持移動終了地点(測位終了地点)から特徴位置までの距離が所定距離以上離れている場合はその特徴位置については探索しないようにするとよい。これにより、例えば図5の特徴位置S3を探索対象から除外して、近い特徴位置に絞って探索をすることができる。
また、上述した実施形態においては、外的要因に基づく移動として、ユーザによる保持移動を例にとって説明したが、これに限られない。外的要因としては、ユーザが蹴飛ばす、野外であれば強風で吹き飛ばされる、等状況に応じて様々である。このような外的要因に基づく移動をセンサ群20により検知して、自機位置を測位するとよい。
また、上述した実施形態においては、マップ作成後に移動計画を立てて、その移動計画に従った自律移動中に外的要因に基づく移動があれば測位すること前提に説明したが、これに限られない。例えば、マップ作成中に外的要因に基づく移動があれば測位を実施してもよい。これによれば、測位した移動軌跡を戻ることにより再びマップを更新していくことができるので、マップをクリアする必要がなく予期せぬ要因でマップ作成が中断することを防ぐことができる。また、マップ作成前であっても、自機の移動手段(駆動機構41)による自由走行を行っている間に、外的要因に基づく移動があれば検知と測位を行ってもよい。
また、この発明の自律移動装置100、100’の各機能は、通常のPC等のコンピュータによっても実施することができる。具体的には、上記実施形態では、自律移動装置100、100’が行う測位処理のプログラムが、制御部10のROMに予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)及びMO(Magneto-Optical Disc)等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
(付記1)
自機の移動手段による自律移動に依らない、外的要因に基づく移動を検知する検知手段と、
前記検知手段が前記外的要因に基づく移動を検知している間、自機位置を測位する測位手段と、
を備えたことを特徴とする自律移動装置。
自機の移動手段による自律移動に依らない、外的要因に基づく移動を検知する検知手段と、
前記検知手段が前記外的要因に基づく移動を検知している間、自機位置を測位する測位手段と、
を備えたことを特徴とする自律移動装置。
(付記2)
前記検知手段は、前記外的要因に基づく移動として、自機がユーザにより保持された状態で移動する保持移動を検知し、
前記測位手段は、前記保持移動の開始から終了までの間、測位用のセンサ群に基づいて、自機位置を継続して測位する、
ことを特徴とする付記1に記載の自律移動装置。
前記検知手段は、前記外的要因に基づく移動として、自機がユーザにより保持された状態で移動する保持移動を検知し、
前記測位手段は、前記保持移動の開始から終了までの間、測位用のセンサ群に基づいて、自機位置を継続して測位する、
ことを特徴とする付記1に記載の自律移動装置。
(付記3)
前記センサ群は、加速度センサと磁気センサとを含み、
前記測位手段は、前記加速度センサで求めた自機の移動量と、前記磁気センサで求めた自機の向きと、から自機の移動ベクトルを求めて前記自機位置を測位する、
ことを特徴とする付記2に記載の自律移動装置。
前記センサ群は、加速度センサと磁気センサとを含み、
前記測位手段は、前記加速度センサで求めた自機の移動量と、前記磁気センサで求めた自機の向きと、から自機の移動ベクトルを求めて前記自機位置を測位する、
ことを特徴とする付記2に記載の自律移動装置。
(付記4)
自機が移動可能な空間のマップを作成するマップ作成手段と、
前記マップ作成手段が作成したマップを記憶する記憶手段と、
を備え、
前記測位手段は、前記記憶手段が記憶する前記マップ上における自機位置を測位する、
ことを特徴とする付記1乃至3の何れか一つに記載の自律移動装置。
自機が移動可能な空間のマップを作成するマップ作成手段と、
前記マップ作成手段が作成したマップを記憶する記憶手段と、
を備え、
前記測位手段は、前記記憶手段が記憶する前記マップ上における自機位置を測位する、
ことを特徴とする付記1乃至3の何れか一つに記載の自律移動装置。
(付記5)
前記マップは、複数の特徴位置を含み、
前記自律移動装置は、さらに、
前記測位手段により測位された、前記外的要因に基づく移動の終了時点での自機位置から、最寄りの特徴位置を探索する探索手段と、
前記探索手段が探索した特徴位置に基づいて、前記外的要因に基づく移動の終了時点での自機位置を補正する補正手段と、
を備える、
ことを特徴とする付記4に記載の自律移動装置。
前記マップは、複数の特徴位置を含み、
前記自律移動装置は、さらに、
前記測位手段により測位された、前記外的要因に基づく移動の終了時点での自機位置から、最寄りの特徴位置を探索する探索手段と、
前記探索手段が探索した特徴位置に基づいて、前記外的要因に基づく移動の終了時点での自機位置を補正する補正手段と、
を備える、
ことを特徴とする付記4に記載の自律移動装置。
(付記6)
前記補正手段による補正後の自機位置を前記マップ上における始点として、自機の移動を再開する移動制御手段を備える、
ことを特徴とする付記5に記載の自律移動装置。
前記補正手段による補正後の自機位置を前記マップ上における始点として、自機の移動を再開する移動制御手段を備える、
ことを特徴とする付記5に記載の自律移動装置。
(付記7)
前記測位手段により測位された、前記外的要因に基づく移動の間の自機位置の軌跡である移動軌跡を取得する取得手段と、
前記取得手段が取得した移動軌跡の跡をたどって、該移動軌跡の開始位置まで戻った自機位置を前記マップ上における始点として、自機の移動を再開する移動制御手段と、
を備える、
ことを特徴とする付記4に記載の自律移動装置。
前記測位手段により測位された、前記外的要因に基づく移動の間の自機位置の軌跡である移動軌跡を取得する取得手段と、
前記取得手段が取得した移動軌跡の跡をたどって、該移動軌跡の開始位置まで戻った自機位置を前記マップ上における始点として、自機の移動を再開する移動制御手段と、
を備える、
ことを特徴とする付記4に記載の自律移動装置。
(付記8)
前記測位手段により測位された、前記外的要因に基づく移動の終了時点での自機位置から、該外的要因に基づく移動の開始地点まで、最短経路で戻る移動制御手段を備え、
前記移動制御手段は、前記開始地点まで戻った自機位置を前記マップにおける始点として、自機の移動を再開する、
ことを特徴とする付記4に記載の自律移動装置。
前記測位手段により測位された、前記外的要因に基づく移動の終了時点での自機位置から、該外的要因に基づく移動の開始地点まで、最短経路で戻る移動制御手段を備え、
前記移動制御手段は、前記開始地点まで戻った自機位置を前記マップにおける始点として、自機の移動を再開する、
ことを特徴とする付記4に記載の自律移動装置。
(付記9)
自機の移動手段による自律移動に依らない、外的要因に基づく移動を検知する検知ステップと、
前記検知ステップにおいて前記外的要因に基づく移動を検知している間、自機位置を測位する測位ステップと、
を備えたことを特徴とする自律移動方法。
自機の移動手段による自律移動に依らない、外的要因に基づく移動を検知する検知ステップと、
前記検知ステップにおいて前記外的要因に基づく移動を検知している間、自機位置を測位する測位ステップと、
を備えたことを特徴とする自律移動方法。
(付記10)
コンピュータを、
自機の移動手段による自律移動に依らない、外的要因に基づく移動を検知する検知手段、
前記検知手段が前記外的要因に基づく移動を検知している間、自機位置を測位する測位手段、
として機能させるためのプログラム。
コンピュータを、
自機の移動手段による自律移動に依らない、外的要因に基づく移動を検知する検知手段、
前記検知手段が前記外的要因に基づく移動を検知している間、自機位置を測位する測位手段、
として機能させるためのプログラム。
1…充電ステーション、100,100’…自律移動装置、10…制御部、11…マップ作成部、12…移動制御部、13…検知部、14…測位部、15…探索部、16…補正部、17…取得部、20…センサ群、21…加速度センサ、22…磁気センサ、23…障害物検知センサ、30…記憶部、31…マップ記憶部、32…移動軌跡記憶部、33…自機位置記憶部、40…カメラ、41…駆動機構、42…操作ボタン、43…無線通信部、44…電池、a〜c…障害物、S1〜S3…特徴位置
Claims (10)
- 自機の移動手段による自律移動に依らない、外的要因に基づく移動を検知する検知手段と、
前記検知手段が前記外的要因に基づく移動を検知している間、自機位置を測位する測位手段と、
を備えたことを特徴とする自律移動装置。 - 前記検知手段は、前記外的要因に基づく移動として、自機がユーザにより保持された状態で移動する保持移動を検知し、
前記測位手段は、前記保持移動の開始から終了までの間、測位用のセンサ群に基づいて、自機位置を継続して測位する、
ことを特徴とする請求項1に記載の自律移動装置。 - 前記センサ群は、加速度センサと磁気センサとを含み、
前記測位手段は、前記加速度センサで求めた自機の移動量と、前記磁気センサで求めた自機の向きと、から自機の移動ベクトルを求めて前記自機位置を測位する、
ことを特徴とする請求項2に記載の自律移動装置。 - 自機が移動可能な空間のマップを作成するマップ作成手段と、
前記マップ作成手段が作成したマップを記憶する記憶手段と、
を備え、
前記測位手段は、前記記憶手段が記憶する前記マップ上における自機位置を測位する、
ことを特徴とする請求項1乃至3の何れか一項に記載の自律移動装置。 - 前記マップは、複数の特徴位置を含み、
前記自律移動装置は、さらに、
前記測位手段により測位された、前記外的要因に基づく移動の終了時点での自機位置から、最寄りの特徴位置を探索する探索手段と、
前記探索手段が探索した特徴位置に基づいて、前記外的要因に基づく移動の終了時点での自機位置を補正する補正手段と、
を備える、
ことを特徴とする請求項4に記載の自律移動装置。 - 前記補正手段による補正後の自機位置を前記マップ上における始点として、自機の移動を再開する移動制御手段を備える、
ことを特徴とする請求項5に記載の自律移動装置。 - 前記測位手段により測位された、前記外的要因に基づく移動の間の自機位置の軌跡である移動軌跡を取得する取得手段と、
前記取得手段が取得した移動軌跡の跡をたどって、該移動軌跡の開始位置まで戻った自機位置を前記マップ上における始点として、自機の移動を再開する移動制御手段と、
を備える、
ことを特徴とする請求項4に記載の自律移動装置。 - 前記測位手段により測位された、前記外的要因に基づく移動の終了時点での自機位置から、該外的要因に基づく移動の開始地点まで、最短経路で戻る移動制御手段を備え、
前記移動制御手段は、前記開始地点まで戻った自機位置を前記マップにおける始点として、自機の移動を再開する、
ことを特徴とする請求項4に記載の自律移動装置。 - 自機の移動手段による自律移動に依らない、外的要因に基づく移動を検知する検知ステップと、
前記検知ステップにおいて前記外的要因に基づく移動を検知している間、自機位置を測位する測位ステップと、
を備えたことを特徴とする自律移動方法。 - コンピュータを、
自機の移動手段による自律移動に依らない、外的要因に基づく移動を検知する検知手段、
前記検知手段が前記外的要因に基づく移動を検知している間、自機位置を測位する測位手段、
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015238364A JP2017107275A (ja) | 2015-12-07 | 2015-12-07 | 自律移動装置、自律移動方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015238364A JP2017107275A (ja) | 2015-12-07 | 2015-12-07 | 自律移動装置、自律移動方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017107275A true JP2017107275A (ja) | 2017-06-15 |
Family
ID=59060659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015238364A Pending JP2017107275A (ja) | 2015-12-07 | 2015-12-07 | 自律移動装置、自律移動方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017107275A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109914843A (zh) * | 2019-02-28 | 2019-06-21 | 华中科技大学 | 基于bim和计算机视觉的室内混凝土裂缝维护装备及方法 |
JP2019101871A (ja) * | 2017-12-05 | 2019-06-24 | 東芝ライフスタイル株式会社 | 電気掃除機 |
JP7390910B2 (ja) | 2020-01-31 | 2023-12-04 | 株式会社日立製作所 | 地図生成装置およびその方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002312035A (ja) * | 2001-04-16 | 2002-10-25 | Toshiba Tec Corp | 自律走行ロボット |
JP2004166968A (ja) * | 2002-11-20 | 2004-06-17 | Zojirushi Corp | 自走式掃除ロボット |
JP2005222226A (ja) * | 2004-02-04 | 2005-08-18 | Funai Electric Co Ltd | 自律走行ロボットクリーナー |
JP2015508202A (ja) * | 2012-02-08 | 2015-03-16 | ロブアート ゲーエムベーハーROBART GmbH | 自己位置推定を自動的に実行する方法 |
-
2015
- 2015-12-07 JP JP2015238364A patent/JP2017107275A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002312035A (ja) * | 2001-04-16 | 2002-10-25 | Toshiba Tec Corp | 自律走行ロボット |
JP2004166968A (ja) * | 2002-11-20 | 2004-06-17 | Zojirushi Corp | 自走式掃除ロボット |
JP2005222226A (ja) * | 2004-02-04 | 2005-08-18 | Funai Electric Co Ltd | 自律走行ロボットクリーナー |
JP2015508202A (ja) * | 2012-02-08 | 2015-03-16 | ロブアート ゲーエムベーハーROBART GmbH | 自己位置推定を自動的に実行する方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019101871A (ja) * | 2017-12-05 | 2019-06-24 | 東芝ライフスタイル株式会社 | 電気掃除機 |
CN109914843A (zh) * | 2019-02-28 | 2019-06-21 | 华中科技大学 | 基于bim和计算机视觉的室内混凝土裂缝维护装备及方法 |
JP7390910B2 (ja) | 2020-01-31 | 2023-12-04 | 株式会社日立製作所 | 地図生成装置およびその方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10012989B2 (en) | Autonomous movement device, autonomous movement method and non-transitory recording medium | |
CN109730590B (zh) | 清洁机器人以及清洁机器人自动返回充电的方法 | |
JP6311695B2 (ja) | 自律移動装置、自律移動方法及びプログラム | |
AU2016213835B2 (en) | Adaptive mapping with spatial summaries of sensor data | |
KR101976241B1 (ko) | 다중로봇의 자기위치인식에 기반한 지도작성 시스템 및 그 방법 | |
EP3955027A1 (en) | Detection method and apparatus, and mobile robot and storage medium | |
US10213082B2 (en) | Robot cleaner | |
US10108199B2 (en) | Autonomous movement device, autonomous movement method and non-transitory recording medium | |
JP6187623B1 (ja) | 自律移動装置、自律移動方法及びプログラム | |
JP2020077372A (ja) | データ収集方法及びそのシステム | |
JP5287051B2 (ja) | 自律移動装置 | |
JP6624139B2 (ja) | 自律移動装置、自律移動方法及びプログラム | |
JP2012022467A (ja) | 自律移動体 | |
JP2015508202A (ja) | 自己位置推定を自動的に実行する方法 | |
CN106573372A (zh) | 充电器、基于地图构建寻找充电器的方法、装置及系统 | |
US20210165415A1 (en) | Moving robot and control method of moving robot | |
JP2015121928A (ja) | 自律移動ロボットの制御方法 | |
JP2017107275A (ja) | 自律移動装置、自律移動方法及びプログラム | |
JP2014203145A (ja) | 自律移動装置 | |
JP2009237851A (ja) | 移動体制御システム | |
JP2019159520A (ja) | 自律移動装置、自律移動方法及びプログラム | |
JP4467533B2 (ja) | 折線追従移動ロボットおよび折線追従移動ロボットの制御方法 | |
US20210165416A1 (en) | Moving robot and control method of moving robot | |
JP2004133882A (ja) | 自律性マルチプラットフォーム・ロボットシステム | |
US11926038B2 (en) | Information processing apparatus and information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190924 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200414 |