JP2019534516A - 自律移動ロボットを動作させる方法 - Google Patents
自律移動ロボットを動作させる方法 Download PDFInfo
- Publication number
- JP2019534516A JP2019534516A JP2019522902A JP2019522902A JP2019534516A JP 2019534516 A JP2019534516 A JP 2019534516A JP 2019522902 A JP2019522902 A JP 2019522902A JP 2019522902 A JP2019522902 A JP 2019522902A JP 2019534516 A JP2019534516 A JP 2019534516A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- map
- computing device
- external computing
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005259 measurement Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000009471 action Effects 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 8
- 238000010295 mobile communication Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 abstract description 18
- 238000003860 storage Methods 0.000 abstract description 5
- 230000006399 behavior Effects 0.000 description 40
- 238000006243 chemical reaction Methods 0.000 description 18
- 238000013507 mapping Methods 0.000 description 14
- 238000004140 cleaning Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012946 outsourcing Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
- G05D1/0282—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
- B25J11/0085—Cleaning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Electric Vacuum Cleaner (AREA)
Abstract
自律移動ロボット1の動作方法に関する。ロボット1の環境内のマップ2が周囲環境内で取得された計測データを用いて作成され、そして作成されたマップ2と、環境内のロボット1の現在位置と、ロボットの決定された行動とを用いて制御コマンドが生成される。ロボット1は、生成された制御コマンドを用いて移動し、そしてロボット1のナビゲーションに関係するデータが、処理のために少なくとも部分的に外部演算装置3に送信される。ロボット1内に必要な演算容量および/または記憶容量を低減するために、外部演算装置3が、マップ2およびロボット1の現在位置に基づいて、制御コマンドの基礎としてのロボットの所望される行動を決定する。【選択図】図2
Description
本発明は、自律移動ロボットを動作させる方法に関し、ロボットの環境のマップが、環境内で記録された計測データに基づいて作成され、制御コマンドが、作成されたマップと、環境内でのロボットの現在位置と、決定されたロボットの行動とを用いて生成され、ロボットが、生成された制御コマンドを用いて移動し、そして、ロボットのナビゲーションに関係するデータが、外部演算装置に処理のために少なくとも部分的に送信される。
本発明はさらに、自律移動ロボットと、ロボットと通信可能にリンクされた外部演算装置と、ロボットの環境内で計測データを記録するための少なくとも1つのセンサとを有するシステムに関し、ロボットが、環境内でロボットのナビゲーションを行う装置を有し、外部演算装置が、ロボットのナビゲーションを行うことに関係するデータを処理するように設定されている。
ロボットをマッピングしかつ自己位置決定させる方法は、従来技術で知られている。
特許文献1および特許文献2は、例えば床掃除用の自律移動吸引および/または掃除ロボットに関連してこのような方法を開示している。しかしながら、さらに、これらの方法は、自律移動可能な搬送ロボット、芝刈りロボット等における適用を見出すことができる。このようなロボットは、好適には距離センサを装備されており、それにより例えば走行経路等に存在する障害物との衝突を避けることができる。センサは、例えば光および/または超音波を用いて好適には非接触で動作する。さらに、例えば鉛直軸等の周りで回転するプラットフォームに配置された光学式三角測量システムの形態である全方位距離計測用の手段を具備するロボットを提供することも知られている。これらのようなシステムは、例えば部屋内で、さらに特にロボットの自動的に実行される活動中に、さらに好適には走行される部屋のマップを作成するべく、ロボットを方向付けするための全方位距離計測を行うために用いることができる。
取得された計測値、特に部屋境界および/または障害物は、ロボットの搭載コンピュータによりマップへと処理され、そして特にロボットの不揮発性メモリに記憶されることによって、掃除または搬送の動作中に方向付けのためにこのマップにアクセスすることができる。さらにこれに関して、例えばロボットの走行経路に存在する物体の検知に応じて、ロボットの好ましい行動、特に走行方針を決定するために、マップおよび記憶されたアルゴリズムを利用することが知られている。
さらに、ロボットのメモリ内ではなく、ロボットと通信可能にリンクされた外部演算装置内にマップを作成することが従来技術において知られている。例えば、特許文献3は、移動可能ロボットの動作方法を開示し、その場合、センサがセンサデータをクラウドに送信し、次にクラウドがそれをマップへと処理する。作成されたマップは、その後、移動可能ロボットに送信され、移動可能ロボットによってロボットが環境内でナビゲーションを行うために用いられる。
上述した従来技術から進展させて、本発明の目的は、具体的には演算容量、記憶容量、および/または電力消費に関してロボットの搭載コンピュータをさらに解放するように、上述した方法をさらに改善することである。
上述した目的を達成するために、本発明は先ず、自律移動ロボットを動作させる方法を提示し、その場合、外部演算装置が、マップおよびロボットの現在位置に基づいて、制御コマンドの基礎としてのロボットの所望される行動を決定する。
したがって本発明は、ロボットナビゲーションの、特に演算集約的な構成要素、特に作成されたマップに基づいてロボットの行動を決定することを外部演算装置に外部委託することによって、ロボットの搭載コンピュータを解放する。所望される行動を決定することは、環境内でロボットのナビゲーションを行う間の有利な行動に関係し、特に、例えばロボットの走行方針に影響を及ぼす計画および行動決定に関係する。ロボットの行動を決定する間、外部演算装置は、ロボットのステータス、例えば「掃除する」、「非活動」等のステータスを管理する。この管理はまた、ステータスの管理に加えて、例えば環境内の障害物などの環境的な影響および/またはユーザ入力に対して反応する行動決定装置によって行われる。これらのパラメータに基づいて、行動決定装置は、ロボットが現在呈しているステータスおよび/または行動をいつ変更しなければならないかを決定する。例えば掃除を終了しなければならない時点、ロボットがベースステーションに近づかなければならない時点、障害物を回避しなければならない時点を決定する。さらに、行動決定装置は、ロボットの所望される行動として事前に計画されるアクションを決定する。直線掃除がどの状態および場所でどのように行われるか、環境が走行経路によりいかにして完全にカバーできるか等である。行動決定装置は、ここでは典型的には、公知の行動アーキテクチャおよび走行/操作アルゴリズムを利用する。
行動決定装置の演算活動は、ここでは例えば、特にセンサデータ変換、マッピング、走行コマンド生成、および必要に応じてマップ変換を含むプロセスシーケンスに組み込まれる。行動は、ここでは好適には、マッピングの手順ステップ後に決定され、そして制御コマンドを生成する前の時点で行われる。
特に、マッピングおよびナビゲーションのための方法は、最初にロボットの環境内で計測データを記録することを含む。計測データは、ロボットの環境のマップに融合される。原則として、これは最適化または評価プロセスであり、それは、計測された計測データについて、具体的には最新の新たに記録されかつ既に既知の計測データについて、最も確からしいマップを決定する。ロボットの現在位置および以前の位置は、このマップから導出することができる。オドメトリデータおよび距離計測データは、通常、マップに組み入れられ位置を推定するために融合される。このような方法は、いわゆるSLAM(simultaneous localization and mapping:同時位置確認およびマッピング)アルゴリズムのクラスに属する。現在、マップに組み入れる必要がない計測データ、例えば接触センサ等の付加的な計測データは、記憶されたタイムスタンプを用いてマップ内で認識されることができ、それによって後の演算中に必要とされた場合に現在の計測データにアクセスすることができる。
作成されたマップに基づいて、ロボットの所望の行動を決定するために計画および決定のアルゴリズムが続いて使用される。続いて、決定された行動は、例えばロボットのモータを作動させるための制御コマンドを生成するための基礎としての役割を果たす。例えば、掃除に替えて、今は障害物回避を提供するロボットの所望の行動が決定された場合、例えば、ロボットの直進する直線走行を曲線状の進行に変える制御コマンドを生成しなければならない。例えば差動駆動のロボットの場合、このことは、制御コマンドがそれらの駆動モータを同じ速度で作動させるのではなく異なる速度で作動させることによって、ロボットが曲線を進むことを意味する。
最後に、生成されたマップはまた、ユーザのためのディスプレイとして設定することができ、それによってユーザがマップ内で自分の道を容易に見つけることができ、居住空間または部屋の一部および/またはその中の領域を素早く認識できる。最初に作成されたマップは、ここで適切なフィルタリングを介して調整することができ、例えば直線セグメントの検知、異常値の排除、非最大抑制等である。
本発明によれば、ナビゲーションのために実行されるべき全ての演算が、古典的な自律移動ロボットとは対照的に、搭載コンピュータ上で実行されるわけではない。これは特に、作成されたマップに基づいてロボットの所望の行動を演算集約的に決定することに関する。その代わりに、決定結果は、外部演算装置によってロボットに利用可能とされ、そこでそれに応じてロボットは通常の方法でその作業活動を実行することができる。外部演算装置への演算の外部委託は、ロボットの搭載コンピュータの演算能力およびメモリの利用に関して利点をもたらす。さらに、ナビゲーションソフトウェアが集中化されることが有利である。古典的な自律移動ロボットでは、各ロボットにナビゲーションソフトウェアのコピーが装備されている。 ロボットが通常更新可能であっても、ユーザーが更新に気付いてそれをインストールするには多少時間がかかる。さらに、すべてのユーザが更新をインストールすることさえしないことを想定しなければならないので、長期間経過後において使用済みロボット上にソフトウェアバージョンの非常に不均一な分布が存在し、そのことが、ロボットの製造業者がそれぞれのロボットを修理することを困難とする。本発明を使用して、ナビゲーションソフトウェアの本質的な部分を外部演算装置内で集中的に実行することもでき、その結果、すべてのロボットが常に、同じバージョン状態を有するナビゲーションソフトウェアにより動作する。ソフトウェア更新が入手可能になるとすぐに、以前のソフトウェアバージョンが自動的に置き換えられる。ユーザーがこれを手配する必要はない。ナビゲーションソフトウェアを外部演算装置に集中させることは、そのソフトウェアがインストールされているハードウェアをそのロボットの納入後に修正することも可能にし、例えば、最初に選択されたハードウェアでは実行することができなかったソフトウェア機能を後で起動することができる。
提案された方法では、ロボットが、そのロボットの移動中に均一に利用される比較的低電力の搭載コンピュータ、例えばセンサデータ評価およびモータ作動用のマイクロコントローラを装備されることができる。外部演算装置に外部委託される演算のために、ロボットは、外部演算装置により利用可能とされた演算能力および記憶容量を、現在同じく活動している他のロボットと共有する。外部演算装置上で利用可能な資源の枠組み内で、各ロボットは、例えば現在の作業タスクまたはその中でナビゲートする環境に応じて、それが必要とする資源を要求することができる。非常に多くのまたは非常に少数のロボットが活動中であるとき、すべてのロボットに利用可能な外部演算装置の資源をピーク時間に対して調整することができる。これは、演算能力およびメモリに関して使用される資源の均一な利用をもたらす。さらに、例えば第1のロボットが第2のロボットのマップまたはナビゲーションデータにアクセスできるように、外部演算装置上のいくつかのロボットも互いに情報を交換することを提供できる。
さらに、外部演算装置が環境のマップを作成することが提案される。この実施形態では、ロボットの行動が外部演算装置内で決定されるだけでなく、マップ作成の事前ステップも決定される。結果として、ロボットに必要なローカル演算およびメモリ容量をさらに減らすことができる。しかしながら、前述と同様に、マップがロボットの搭載コンピュータによって作成され、次いで外部演算装置に送信されることも可能である。
さらに、ロボットが少なくとも1つのセンサを用いて環境の計測データを記録し、これらの計測データを外部演算装置に送信してマップを作成することを提供できる。したがって、ロボットは1または複数のセンサを有し、それらがロボットの環境を計測し、そしてマップを作成するために、記録された計測データを外部演算装置に対し利用可能とする。それに替えて、センサがロボットにローカルに割り当てられておらず、外部センサとすることも可能であり、例えばそれらのセンサは環境内に不動に配置されている。例えば、これは、部屋の壁に配置されて環境内に位置するロボットと共に環境のイメージを記録するカメラとすることができる。ここでセンサは、部屋内に不動に配置される必要はなく、部屋内で移動することができ、それによって多様な視点から計測することができ、それはセンサがロボット自体に配置されていても可能であったことである。センサがロボットに不動に接続されている好ましい実施形態では、計測データは、オドメトリ、距離計測、特にレーザ距離計測、接触計測、および/または落下センサおよび/または磁気センサによって記録されることが好ましく、かつ/または、 ロボットの駆動装置の状態を評価することができる。それ以外にも、ロボットの他のセンサ、例えば、温度センサ、水分センサ、エア品質センサ、カメラ、煙感知器などが考えられ、これらは環境内の現在位置についての標示を潜在的に提供することができる。この計測データの物理的記録とは別に、計測データは、特定の特徴、計測値、または物理的センサの状態を組み合わせることによっても記録することができる。例えば、計測データは、ここではソフトウェアによって提供されるいわゆる仮想センサにより記録される。仮想センサの一例は滑りセンサであり、これは、滑りを指し示すかしないかのいずれかである詳細および/またはリンクを生じるようにオドメトリおよび距離計測データを組み合わせる。例えば、ロボットが動かずにロボットの駆動輪が回転している場合は、ロボットの現在位置に滑りがあると推定できる。
さらに、環境の計測データを外部演算装置に送信すること、および外部演算装置が送信された計測データの完全性および/または妥当性を検査すること、および/またはそれらをマップの生成に適したフォーマットに変換することが提案される。例えば、これは、利用可能な全てのセンサの計測データが読み出されることおよび/またはエラーを含まないことを確保する。さらに、例えば、アナログ−デジタル変換および/または値の範囲調整が行われ得る。さらに、計測データにはタイムスタンプを付与することができるので、計測データはマップを生成する一方で、後で利用可能である。このセンサデータ変換の一部は、ここでもロボットの搭載コンピュータ上で実行することができる。
ナビゲーション関係データを、クラウドサーバ、および/または移動通信装置、および/または外部演算装置としてWLANおよび/またはWLANルータを介してロボットに接続された装置上で処理することも提案されている。クラウドサーバとは別に、モバイル装置、例えば、携帯電話、ラップトップ、タブレットコンピュータなどを使用して、ロボットの行動を決定し、場合によってはマップを作成し、および/またはセンサデータを作成することもできる。ロボットのユーザは、このモバイル装置上でユーザ入力を実行することもできる。結果として、複数の機能がモバイル装置に割り当てられる。さらに、WLANを介してロボットに接続されている装置で演算を実行することもできる。例えば、そのような装置は同様に、現在作業活動に使用されていないロボット、WLANに組み込まれたPC、他の何らかの家電製品などであり得る。ナビゲーションソフトウェアがこれらの装置上で、例えばプラグイン形態で実施されることができる場合、WLANルータまたはスマートホームサーバも演算を実行するために用いられることができる。無線データ送信方法、例えばWLAN、Bluetooth(登録商標)、NFC、ZigBee(登録商標)、移動無線などは、データをロボットから外部演算装置へ、そして外部演算装置からロボットへ送信するために、またはセンサから外部演算装置へデータを送信するために使用され得る。送信されるデータは、メッセージを中継するように機能するが演算を実行しないクラウドサーバを介して送信することもできる。
この方法はさらに、外部演算装置が、決定された行動に関する情報をロボットに送信すること、およびロボットが決定された行動に基づいて制御コマンドを生成することを提供することができる。この実施形態によれば、制御コマンドはこのようにロボット内で、すなわちロボットの搭載コンピュータによって生成される。
代替的な実施形態は、外部演算装置が、決定された行動を使用して制御コマンドを生成し、それをロボットに送信することを提供することができる。ここで、外部演算装置は、決定される行動を計算しかつ制御コマンドを生成する両方のために使用され、生成された制御コマンドはその後ロボットに送信され、例えばロボット内で追加の計算を行う必要なしに、ロボットの駆動ユニットを制御するために直接利用可能である。
最後に、ロボットのユーザが、特に移動通信装置によって外部演算装置と通信可能にリンクされた入力装置によって外部演算装置への入力を開始することが提案される。ここで入力装置は、携帯電話、タブレットコンピュータ、ラップトップなど、あるいはとりわけロボット自体のユーザインターフェースであり得る。さらに、特に外部演算装置自体が移動通信装置、PCなどである場合、入力装置を外部演算装置自体に設けることができ、したがってそれは、一方では外部演算装置として他方で入力装置として機能する。たとえロボットが基本的に入力装置なしで稼動できるとしても、それはなお、通常はユーザー対話のためのモジュールを有している。そのようなモジュールは、ユーザ入力を受信し、例えばそれらを行動決定装置に中継すること、または行動決定装置からロボットのユーザにフィードバックまたはステータス情報を出力することを担当する。このタイプの入力装置は、例えばディスプレイ、ボタン、遠隔制御ユニットからのコマンドを例えば赤外伝送を介して受信し処理するための受信ユニットの形態、ロボット上で実行されるアプリ、および/またはロボットおよび外部演算装置の追加の通信インターフェース上で実行されるアプリの形態など多様な方式で構成することができる。
自律移動ロボットを動作させる上述した方法とは別に、本発明はさらに、自律移動ロボットと、ロボットに通信可能にリンクされた外部演算装置と、ロボットの環境内の計測データを記録するための少なくとも1つのセンサとを有するシステムを提案する。ロボットは、環境内でロボットのナビゲーションを行う装置を有し、外部演算装置は、ロボットのナビゲーションを行うために関係するデータを処理するように設定されており、外部演算装置は、ロボットを制御するための制御コマンドの基礎としてのロボットの所望の行動を決定するために、作成された環境のマップおよびロボットの現在位置を使用するように設定された行動決定装置を有する。
本発明によれば、外部演算装置が、ここではロボットの行動を決定するための行動決定装置を有する。この行動は、その後、制御コマンドを生成するための基礎として用いられる。所望の行動は、作成されたマップおよびロボットの現在位置に基づいて行動決定装置を用いて決定される。そうでない場合、ロボットおよび/または外部演算装置は、前述した請求項のいずれかによる方法を実行するために適切である方法で構成することもできる。これは特に、センサデータ変換、マップ作成、マップ変換のための装置、および/または、ロボットまたは外部演算装置のユーザ入力のための装置の割り当てに関係する。
本発明によれば、自動移動ロボットとは、基本的に、それ自体を独立して方向付けし、環境内で移動し、その過程で作業活動を実行することができる任意の種類のロボットのことをいう。しかしながら、ここで特に意図されているのは掃除ロボットであり、例えば吸引および/またはモップ作業を行い、芝生を刈り取り、例えば煙探知器および/または盗難警報機などの形態で環境の状態を監視する。
以下、実施の形態に基づいて本発明をさらに詳細に説明する。
図1は、ここでは自律移動する吸引ロボットとして構成されたロボット1を示す。ロボット1はハウジングを有し、掃除対象面に向いたその底面が、電気モータ駆動される車輪8と、同じく電気モータ駆動されハウジング底の下縁を超えて突出するブラシ9を配置されている。ブラシ9の領域において、ロボット1はさらに、吸引開口(より詳細には図示せず)を有し、それを通してモータファンユニットが、吸引物を伴うエアをロボット1内に吸引することができる。ロボット1は、ロボット1の各電気系構成要素に電力を供給し、かつ車輪8およびブラシ9並びに他の付加的に設けられた電子回路を駆動するための再充電可能なバッテリ(図示せず)を有する。
図1は、ここでは自律移動する吸引ロボットとして構成されたロボット1を示す。ロボット1はハウジングを有し、掃除対象面に向いたその底面が、電気モータ駆動される車輪8と、同じく電気モータ駆動されハウジング底の下縁を超えて突出するブラシ9を配置されている。ブラシ9の領域において、ロボット1はさらに、吸引開口(より詳細には図示せず)を有し、それを通してモータファンユニットが、吸引物を伴うエアをロボット1内に吸引することができる。ロボット1は、ロボット1の各電気系構成要素に電力を供給し、かつ車輪8およびブラシ9並びに他の付加的に設けられた電子回路を駆動するための再充電可能なバッテリ(図示せず)を有する。
ロボット1はさらに、ロボット1のハウジング内に配置されたセンサ4を装備されている。例えば、センサ4はここでは、ロボット1の環境内の障害物7までの距離を計測することができる三角測量装置の一部である。具体的には、センサ4はレーザーダイオードを有し、その照射する光ビームが偏光装置を介してロボット1のハウジングから外へ案内され、ロボット1の図示の向きにおいて垂直な回転軸の周りで、特に360°の計測角度で回転することができる。これにより全方位距離計測が可能である。
センサ4は、好適には水平面内、すなわち掃除対象表面に平行な面内においてロボット1の環境を計測するために用いることができる。その結果、ロボット1は、環境内の障害物7との衝突を回避しつつ移動することができる。センサ4により記録された計測データは、環境内の障害物7および/または壁を表しており、環境のマップ2を作成するために用いられる。
図2は、ここではロボット1の走行方向においてロボット1の前方に配置されている障害物7が存在する環境内におけるロボット1を示す。ロボット1は、ここではクラウドサーバである外部演算装置3と通信可能にリンクされている。しかしながら、それに替えて、この外部演算装置3を移動通信装置、例えば特に携帯電話等とすることもできる。外部演算装置3のメモリは、ロボット1の環境のマップ2を有する。障害物7の位置及びロボットの現在の位置と向きの双方が、このマップ2に記録される。このマップ2は、ロボット1の搭載演算装置16または外部演算装置3のいずれかを用いて作成可能である。
環境内でロボット1のナビゲーションを行うために、ゆえに障害物を回避するためにも、複数の演算ステップが基本的に必要である。一方で、先ず、センサ4からの計測データから、そして可能であれば例えばオドメトリセンサおよび/または接触センサの計測データである付加的なセンサ4の計測データからも、マップ2が作成されなければならず、それはロボット1内または外部演算装置3内で行われる。その後、マップ2および、したがって同様に認知された環境内でのロボット1の現在位置に基づいて、制御コマンドの基礎として用いられるロボット1の行動が、外部演算装置3の行動決定装置6によって演算される。行動決定装置6については、図3〜図5を参照した以下に詳細に説明される。例えば、ロボット1のそのような望ましい行動は、ここでは、障害物7に向けて誘導されることになるロボット1の直線走行を終了すること、およびコーナーリング操作により障害物7の回避を開始することを含む。障害物7を回避するために用いられる演算された行動は、その後、コマンド装置14に送信され、コマンド装置14は、障害物7についてロボット1のナビゲーションを行うために適切な制御コマンドを生成する。このコマンド装置14は、外部演算装置3またはロボット1のいずれかに割り当てることができる。例えば、コマンド装置4により出力される制御コマンドは、その後、車輪8の駆動装置のモータ15を作動させるために用いられることによって、ロボット1は、図2の図示に対して左へと障害物2を通過する。
本発明によれば、ロボット1および外部演算装置3並びに外部演算装置3の多様な手順の複数の異なる実施形態が考えられる。図3〜図5は、複数の可能な変形形態を例示てきに示しており、図示されたものは決して最終的なものとして解釈されるべきではなく、 むしろ、追加の組み合わせまたはサブタイプが可能である。
図3に示す第1の実施形態は、ロボット1を含み、ロボット1はとりわけ、車輪8を駆動するための複数のセンサ4および複数のモータ15を有する。ロボット1はさらに、搭載演算装置16を有し、これは具体的にはセンサデータ変換装置11、コマンド装置14およびユーザインターフェース5を有する。例えば、ユーザインタフェース5は、ここではタッチスクリーンであり、これはロボット1のステータスをユーザに表示し、入力機能を介して対話するオプションを提供する。外部演算装置3は、マッピング装置10と行動決定装置6とを有する。行動決定装置6は、ここでは別の外部装置、例えば携帯電話のような移動通信装置によって利用可能とされるユーザインタフェース12への通信リンクを有する。ユーザは、このユーザインタフェース12を介して、例えば、ロボット1のステータスを「非活動」から「表面を掃除する」へ変更することを開始することによって、ロボット1の行動に直接影響を及ぼすことができる。
この実施形態によれば、ロボット1を動作させるための方法は、ロボット1の掃除走行中にロボット1のセンサ4が環境内の計測データを連続的に記録するように機能する。上述のように、これらの計測データは、オドメトリデータと同様に、障害物7までの距離値を有することが好ましい。センサ4は、計測データをロボット1のセンサデータ変換装置11に送信し、センサデータ変換装置11は、計測データを完全性検査、アナログからデジタルデータへの変換、およびスケーリングにかける。センサデータ変換装置11は、変換した計測データを外部演算装置3に送信する。例えば、ここでの通信は、ロボット1が組み込まれており、インターネットを介して外部演算装置3と通信可能にリンクされているWLANネットワークを介して行われる。外部演算装置3のマッピング装置10は、例えばいわゆるSLAM法(同時位置確認およびマッピング)を利用して、計測データを環境のマップ2へと処理する。ここで、作成されたマップ2は同時に、環境内のロボット1の現在位置も含む。外部演算装置3の行動決定装置6は、作成されたマップ2にアクセスし、そして、マップ2と、環境内のロボット1の位置と、可能であればユーザがユーザインタフェース12を介して行動決定装置6に直接送信したユーザ入力とから、制御命令の基礎として用いられるロボット1の適切な行動を決定する。この場合、行動決定装置6は、障害物7がロボット1の現在の走行経路内に位置しているので障害物7との衝突が間もなく発生することを認識する。適切な計画および決定アルゴリズムによるその後の演算において、行動決定装置6はロボット1の適切な行動を決定する。例えば、決定された行動は、ここでは「障害物7を回避する」である。行動決定装置6は、この決定された行動をロボット1のコマンド装置14に送信し、それによりコマンド装置14は、ロボット1が障害物7を回避できるようにモータ15を作動させるべく用いられるいくつかの制御コマンドを生成する。全体として、外部演算装置3への外部委託によるマップ作成および行動生成は、ロボット1の搭載演算装置16の演算容量および記憶容量の低減をもたらす。
図4は、本発明の第2の実施形態を示しており、ロボット1の搭載演算装置16はただ1つのユーザインタフェース5を有するだけである。ナビゲーション関係データを処理するための全ての装置は外部演算装置3に外部委託される。具体的には、外部演算装置3は、センサデータ変換装置11と、マッピング装置10と、行動決定装置6と、コマンド装置14とを有する。ロボット1のセンサ4は、それらの計測データを外部演算装置3のセンサデータ変換装置11に直接送信する。計測されたデータは、そこで上述のように変換されてマッピング装置10に送信され、それに応じてマッピング装置10はロボット1の現在位置を含む環境のマップ2を再び生成する。行動決定装置6は、マップ2にアクセスし、ロボット1の現在の走行状況を用いて、すなわち、ロボット1の位置および走行経路内に存在する可能性がある障害物7の位置の関数として、ここでは障害物7の望ましい回避がもたらされるロボット1の行動を決定する。決定された行動は、同様に外部演算装置3に存在するコマンド装置14に送信される。コマンド装置14は、障害物7を回避するのに適した制御コマンドを生成し、ロボット1の搭載演算装置16内でそれ以上の計算を必要とすることなく、それらをロボット1のモータ15に送信する。この場合、搭載演算装置16は、制御コマンドをモータ15に中継するように働くだけであり、図示の例では、それに応じてモータ15が、障害物7による衝突のない走行経路をもたらすようにロボット1の車輪8を駆動する。
この実施形態によれば、演算のためのロボット1の必要な資源および記憶容量は、図3による実施形態に比べてさらに低減される。
最後に、図5は本発明の第3の実施形態を示し、ロボット1は図3による第1の実施形態と同様に設計されている。ロボット1の搭載演算装置16は、センサデータ変換装置11、ユーザインタフェース5およびコマンド装置14を有する。マッピング装置10および行動決定装置6とは別に、外部演算装置3はまた、一方では行動決定装置6と通信可能にリンクされかつ他方ではユーザーインターフェース12と通信可能にリンクされたマップ変換装置13を有する。ユーザーインターフェース12は、ここでは携帯電話として設計されている。マップ変換装置13は、一方では行動決定装置6によって決定された特定の行動に注目するようにマッピング装置10により生成されたマップを変換し、他方ではロボット1のユーザが重要な概念的な伝達効果なしにマップ2内で自分自身を方向付けることができ、さらにロボット1が現在どのような行動を追求しているかを認識できるようにマップ2のグラフィック表示を形成するために機能する。当面の場合、例えば、ユーザインターフェース12上に表示されたマップ2は、障害物7を回避するようにロボット1が現在障害物回避動作を行っていることを示すことができる。
図面に示された実施形態以外の実施形態ももちろん可能であり、制御コマンドの基礎として用いられるロボット1の行動が外部演算装置3内で演算されることをすべて共有する。
1 ロボット
2 マップ
3 外部演算装置
4 センサ
5 ユーザインターフェース
6 行動決定装置
7 障害物
8 車輪
9 ブラシ
10 マッピング装置
11 センサデータ変換装置
12 ユーザインターフェース
13 マップ変換装置
14 コマンド装置
15 モータ
16 搭載演算装置
2 マップ
3 外部演算装置
4 センサ
5 ユーザインターフェース
6 行動決定装置
7 障害物
8 車輪
9 ブラシ
10 マッピング装置
11 センサデータ変換装置
12 ユーザインターフェース
13 マップ変換装置
14 コマンド装置
15 モータ
16 搭載演算装置
Claims (10)
- 自律移動ロボット(1)を動作させるための方法であって、ロボット(1)の環境のマップ(2)が、その環境内で記録された計測データに基づいて作成され、作成された前記マップ(2)と、前記ロボット(1)の現在位置と、前記ロボット(1)の決定された行動とに基づいて生成され、前記ロボット(1)は、生成された制御コマンドを使用して移動し、かつ、前記ロボット(1)のナビゲーションに関係するデータが、処理のために少なくとも部分的に外部演算装置(3)に送信される、前記方法において、
前記外部演算装置(3)が、前記マップ(2)と前記ロボット(1)の現在位置とに基づいて、制御コマンドの基礎としての前記ロボット(1)の所望される行動を決定することを特徴とする方法。 - 前記外部演算装置(3)が、前記環境のマップ(2)を作成することを特徴とする請求項1に記載の方法。
- 前記ロボット(1)が、少なくとも1つのセンサ(4)により環境のデータを計測し、かつ、前記マップ(2)を作成するためにそれらの計測データを前記外部演算装置(3)に送信することを特徴とする請求項2に記載の方法。
- 前記環境の計測データが前記外部演算装置(3)に送信されること、および、前記外部演算装置(3)が、送信された前記計測データを完全性および/または妥当性について検査し、かつ/または、それらを、前記マップ(2)を作成するために適切なフォーマットに変換することを特徴とする請求項1〜3のいずれかに記載の方法。
- 前記マップ(2)を作成するための前記計測データが、距離計測および/またはオドメトリおよび/または衝突検知を介して記録されることを特徴とする請求項1〜4のいずれかに記載の方法。
- 前記ナビゲーションに関係するデータが、前記外部演算装置(3)としての、クラウドサーバ、および/または、モバイル通信装置、および/または、WLANおよび/またはWLANルータを介して前記ロボットと接続された装置において処理されることを特徴とする請求項1〜5のいずれかに記載の方法。
- 前記外部演算装置(3)が、決定された前記行動についての情報を前記ロボット(1)に送信し、かつ前記ロボット(1)が、決定された前記行動に基づいて制御コマンドを生成することを特徴とする請求項1〜6のいずれかに記載の方法。
- 前記外部演算装置(3)が、決定された前記行動に基づいて制御コマンドを生成してそれを前記ロボット(1)に送信することを特徴とする請求項1〜6のいずれかに記載の方法。
- 前記ロボット(1)のユーザが、前記外部演算装置(3)と通信可能にリンクされた入力装置(5)を用いることにより、特に移動通信装置を用いることにより、前記外部演算装置(3)に対する入力を開始することを特徴とする請求項1〜8のいずれかに記載の方法。
- 自律移動ロボット(1)と、前記ロボット(1)と通信可能にリンクされた外部演算装置(3)と、前記ロボット(1)の環境内の計測データを記録するための少なくとも1つのセンサ(4)とを備え、前記ロボット(1)が、環境内で前記ロボット(1)のナビゲーションを行うための装置を有し、前記外部演算装置(3)が、前記ロボット(1)のナビゲーションに関係するデータを処理するために設定されているシステムにおいて、
前記外部演算装置(3)が、前記ロボット(1)を制御する制御コマンドの基礎としての前記ロボット(1)の所望される行動を決定するために、作成された前記環境のマップ(2)と前記ロボット(1)の現在位置とを用いるように設定された行動決定装置(6)を有することを特徴とするシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102016121320.9 | 2016-11-08 | ||
DE102016121320.9A DE102016121320A1 (de) | 2016-11-08 | 2016-11-08 | Verfahren zum Betrieb eines sich selbsttätig fortbewegenden Roboters |
PCT/EP2017/078056 WO2018086979A1 (de) | 2016-11-08 | 2017-11-02 | Verfahren zum betrieb eines sich selbsttätig fortbewegenden roboters |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019534516A true JP2019534516A (ja) | 2019-11-28 |
Family
ID=60202048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019522902A Pending JP2019534516A (ja) | 2016-11-08 | 2017-11-02 | 自律移動ロボットを動作させる方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20200133302A1 (ja) |
EP (1) | EP3538967B1 (ja) |
JP (1) | JP2019534516A (ja) |
CN (1) | CN109923490A (ja) |
DE (1) | DE102016121320A1 (ja) |
ES (1) | ES2912369T3 (ja) |
TW (1) | TW201824794A (ja) |
WO (1) | WO2018086979A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022087019A (ja) * | 2020-11-30 | 2022-06-09 | ネイバーラボス コーポレーション | サービスアプリケーションと連係してサービスを提供するロボットを制御する方法およびクラウドサーバ |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110621449B (zh) * | 2018-08-14 | 2022-07-08 | 千叶工业大学 | 移动机器人 |
DE102018121365A1 (de) | 2018-08-31 | 2020-04-23 | RobArt GmbH | Exploration eines robotereinsatzgebietes durch einen autonomen mobilen roboter |
US11292449B2 (en) * | 2018-10-19 | 2022-04-05 | GEOSAT Aerospace & Technology | Unmanned ground vehicle and method for operating unmanned ground vehicle |
US11642257B2 (en) | 2020-01-22 | 2023-05-09 | Toyota Motor North America, Inc. | Mapping and data collection of in-building layout via mobility devices |
CN111781847A (zh) * | 2020-07-10 | 2020-10-16 | 珠海市一微半导体有限公司 | 一种家居控制系统 |
CN112190185B (zh) * | 2020-09-28 | 2022-02-08 | 深圳市杉川机器人有限公司 | 扫地机器人及其三维场景的构建方法、系统及可读存储介质 |
US20220182853A1 (en) * | 2020-12-03 | 2022-06-09 | Faro Technologies, Inc. | Automatic handling of network communication failure in two-dimensional and three-dimensional coordinate measurement devices |
US12055947B1 (en) | 2021-09-16 | 2024-08-06 | Amazon Technologies, Inc. | Floor plan update system for autonomous mobile devices |
KR102620941B1 (ko) * | 2021-10-20 | 2024-01-03 | 네이버랩스 주식회사 | 건물을 주행하는 로봇 제어 방법 및 시스템 |
CN114466088B (zh) * | 2022-01-07 | 2023-12-08 | 深圳华芯信息技术股份有限公司 | 扫地机器人的数据传输方法、装置、存储介质及终端 |
DE102022100454A1 (de) | 2022-01-11 | 2023-07-13 | Audi Aktiengesellschaft | Verfahren und System zum Lokalisieren eines autonom betriebenen Transportmittels sowie autonom betriebenes Transportmittel |
CN115469672B (zh) * | 2022-11-02 | 2023-03-07 | 成都铂升科技有限公司 | 一种室内分布式灯光机器人集群控制方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7272467B2 (en) * | 2002-12-17 | 2007-09-18 | Evolution Robotics, Inc. | Systems and methods for filtering potentially unreliable visual data for visual simultaneous localization and mapping |
JP2009093308A (ja) * | 2007-10-05 | 2009-04-30 | Hitachi Industrial Equipment Systems Co Ltd | ロボットシステム |
DE102008014912B4 (de) | 2008-03-19 | 2023-01-19 | Vorwerk & Co. Interholding Gmbh | Selbsttätig verfahrbares Bodenstaub-Aufsammelgerät |
JP5216690B2 (ja) * | 2009-06-01 | 2013-06-19 | 株式会社日立製作所 | ロボット管理システム、ロボット管理端末、ロボット管理方法およびプログラム |
US9014848B2 (en) | 2010-05-20 | 2015-04-21 | Irobot Corporation | Mobile robot system |
DE102011000536A1 (de) | 2011-02-07 | 2012-08-09 | Vorwerk & Co. Interholding Gmbh | Verfahren zur Bestimmung der Position eines selbsttätig verfahrbaren Geräts |
US9519289B2 (en) * | 2014-11-26 | 2016-12-13 | Irobot Corporation | Systems and methods for performing simultaneous localization and mapping using machine vision systems |
CN105241461A (zh) * | 2015-11-16 | 2016-01-13 | 曾彦平 | 机器人的地图创建及定位方法和机器人系统 |
CN105571588A (zh) * | 2016-03-10 | 2016-05-11 | 赛度科技(北京)有限责任公司 | 一种无人机三维空中航路地图构建及其航路显示方法 |
CN106168805A (zh) * | 2016-09-26 | 2016-11-30 | 湖南晖龙股份有限公司 | 基于云计算的机器人自主行走的方法 |
-
2016
- 2016-11-08 DE DE102016121320.9A patent/DE102016121320A1/de not_active Withdrawn
-
2017
- 2017-11-01 TW TW106137789A patent/TW201824794A/zh unknown
- 2017-11-02 EP EP17793648.1A patent/EP3538967B1/de active Active
- 2017-11-02 WO PCT/EP2017/078056 patent/WO2018086979A1/de active Search and Examination
- 2017-11-02 CN CN201780068669.6A patent/CN109923490A/zh active Pending
- 2017-11-02 US US16/347,244 patent/US20200133302A1/en not_active Abandoned
- 2017-11-02 ES ES17793648T patent/ES2912369T3/es active Active
- 2017-11-02 JP JP2019522902A patent/JP2019534516A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022087019A (ja) * | 2020-11-30 | 2022-06-09 | ネイバーラボス コーポレーション | サービスアプリケーションと連係してサービスを提供するロボットを制御する方法およびクラウドサーバ |
JP7353341B2 (ja) | 2020-11-30 | 2023-09-29 | ネイバーラボス コーポレーション | サービスアプリケーションと連係してサービスを提供するロボットを制御する方法およびクラウドサーバ |
Also Published As
Publication number | Publication date |
---|---|
DE102016121320A1 (de) | 2018-05-09 |
US20200133302A1 (en) | 2020-04-30 |
WO2018086979A1 (de) | 2018-05-17 |
EP3538967A1 (de) | 2019-09-18 |
TW201824794A (zh) | 2018-07-01 |
ES2912369T3 (es) | 2022-05-25 |
CN109923490A (zh) | 2019-06-21 |
EP3538967B1 (de) | 2022-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019534516A (ja) | 自律移動ロボットを動作させる方法 | |
US11373395B2 (en) | Methods and systems for simultaneous localization and calibration | |
EP3612906B1 (en) | Method and system for environment map generation and alignment | |
TWI723526B (zh) | 複數個自控式移動機器人及其控制方法 | |
EP3727122B1 (en) | Robot cleaners and controlling method thereof | |
US10296012B2 (en) | Pre-computation of kinematically feasible roadmaps | |
KR101842460B1 (ko) | 로봇 청소기, 이의 원격 감시 시스템 및 방법 | |
CN110709790A (zh) | 用于控制自主移动机器人的方法 | |
KR102522951B1 (ko) | 세정 장치들의 제어 방법 | |
CN110051289B (zh) | 扫地机器人语音控制方法、装置、机器人和介质 | |
JP2018142311A (ja) | 自律走行ロボットの動作方法 | |
US20200397202A1 (en) | Floor treatment by means of an autonomous mobile robot | |
US9307368B1 (en) | Automatically generating and maintaining a floor plan | |
KR20170087384A (ko) | 청소로봇을 원격으로 제어하기 위한 원격 제어 장치, 제어 시스템 및 제어 방법 | |
CN110136704B (zh) | 机器人语音控制方法、装置、机器人和介质 | |
JP2021527889A (ja) | 自律移動ロボットと自律移動ロボットの制御方法 | |
TWI759760B (zh) | 清掃機器人及其控制方法 | |
EP3493013B1 (en) | Moving robot and associated control method | |
Rosa et al. | Towards a ROS-based autonomous cloud robotics platform for data center monitoring | |
CN109920425B (zh) | 机器人语音控制方法、装置、机器人和介质 | |
KR20220073282A (ko) | 자율주행 판매를 위한 제스처 인식을 지원하는 ai 기반 자율주행 로봇 시스템 | |
WO2023157345A1 (ja) | 走行用地図作成装置、自律走行型ロボット、走行用地図作成方法、及び、プログラム | |
WO2023089886A1 (ja) | 走行用地図作成装置、自律走行型ロボット、走行用地図作成方法、及び、プログラム | |
US11886194B1 (en) | Robotic surface cleaning service | |
KR102706709B1 (ko) | 통신 기반 로봇 제어 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A529 Effective date: 20190520 |