JP2016520944A - ロボットデバイスのオフボードナビゲーションの方法及び装置 - Google Patents

ロボットデバイスのオフボードナビゲーションの方法及び装置 Download PDF

Info

Publication number
JP2016520944A
JP2016520944A JP2016518305A JP2016518305A JP2016520944A JP 2016520944 A JP2016520944 A JP 2016520944A JP 2016518305 A JP2016518305 A JP 2016518305A JP 2016518305 A JP2016518305 A JP 2016518305A JP 2016520944 A JP2016520944 A JP 2016520944A
Authority
JP
Japan
Prior art keywords
robot device
robotic device
server
network
sampling period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016518305A
Other languages
English (en)
Inventor
カイ シム
カイ シム
カルヴィン チェン
カルヴィン チェン
Original Assignee
コントロールワークス プライベート リミテッド
コントロールワークス プライベート リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コントロールワークス プライベート リミテッド, コントロールワークス プライベート リミテッド filed Critical コントロールワークス プライベート リミテッド
Priority claimed from PCT/SG2013/000262 external-priority patent/WO2014196925A1/en
Publication of JP2016520944A publication Critical patent/JP2016520944A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/03Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
    • G01S19/10Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers providing dedicated supplementary positioning signals
    • G01S19/11Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers providing dedicated supplementary positioning signals wherein the cooperating elements are pseudolites or satellite radio beacon positioning system signal repeaters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0205Details
    • G01S5/0244Accuracy or reliability of position solution or of measurements contributing thereto
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0257Hybrid positioning
    • G01S5/0263Hybrid positioning by combining or switching between positions derived from two or more separate positioning systems
    • G01S5/0264Hybrid positioning by combining or switching between positions derived from two or more separate positioning systems at least one of the systems being a non-radio wave positioning system
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G05D1/0282Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

ロボットデバイスのオフボードナビゲーションの方法及び装置を提供する。本方法は、ロボットデバイスの位置精度のしきい値を規定すること、ロボットデバイスとサーバとが通信するネットワークの待ち時間であって、センサデータをロボットデバイスからサーバに送信する送信と、送信されたセンサデータに相当する処理済みデータをロボットデバイスがサーバから受信する受信との差である待ち時間を算出すること、ロボットデバイスの位置精度のしきい値とネットワークの待ち時間とに基づいて、ロボットデバイスの速度を決定すること、を含む。

Description

発明の詳細な説明
[技術分野]
本発明は、ロボットデバイスのオフボードナビゲーションに関し、特に、ネットワーク状態の変化に対応する適応型オフボードナビゲーションに関する。
[背景技術]
自律ナビゲーションは、消費市場及び消費産業においてロボットデバイスを広く普及させるための成功への鍵である。このロボットデバイスは、人間の指揮がない状態でセンサ及びナビゲーションシステムを頼りにして、動きまわってタスクを実行する。
しかし、このようなナビゲーションを満足の行くレベルの精度で実現することはコストがかかる。なぜなら、ナビゲーションコマンドをリアルタイムで供給するために必要な処理負荷及び処理能力の観点では、計算量が非常に多く、かつ要求レベルも高いからである。従来、ロボットデバイスにはナビゲーションシステムが設けられており、よって、すべてのナビゲーション処理をオンボードで行うことにより、ロボットデバイスは単独で稼働可能である。このため、より高性能なコンピュータ及びより大規模なバッテリーをオンボードで使用する傾向がある。しかし、この手法を用いるとコストの増加を招く。コストの増加の他に、この手法には、ロボットデバイスの寸法が大きくなるという難点があり、これにより寸法も重要視される用途には適さなくなることもある。
多くの産業で使用されている既存の自律走行型搬送車(Autonomous Guided Vehicles:AGVs)は、簡単な構造であるが、一方で、この搬送車が稼働するためには、建造物のインフラに対して、大規模で高額かつ柔軟性に欠ける改造が必要になる。例えば、ある種のAGVは、走行の際に、床に敷設されたマーカー又はワイヤに沿う必要がある。
別の手法としては、ロボットデバイスを通信リンク経由で遠隔サーバに接続し、サーバの処理能力を利用する手法がある。遠隔サーバは例えばクラウドコンピューティングプラットフォームであってもよく、通信リンクは無線ネットワークであってもよい。このようにして、ナビゲーション処理は全てが遠隔サーバにてオフボードで行われてもよいし、オンボード処理とオフボード処理との組み合わせに分離処理されてもよい。演算の大部分を遠隔サーバに割り当てることも、あるいは高性能なプロセッサを備えた遠隔サーバ群の間で分配することも可能であるので、オフボードナビゲーションを採用するロボットデバイスでは最小限の処理を行えばよい。ロボットデバイスでの最小限の処理の例としては、ロボットデバイスのセンサから得られたセンサデータをサーバに送信すること、並びに、遠隔センサからナビゲーションコマンド及び/又は位置情報を受信することが含まれる。
この手法はコスト及び寸法の問題に対処しているが、ロボットデバイスと遠隔サーバとの間で信号を送受信する際には、ロボットデバイスの位置精度に影響を与える遅延が常に存在するので、実際のネットワーク状態の影響を受けやすい。
図1は、オフボードナビゲーションにおいてネットワークLの待ち時間がない(L=0)理想的な状況を示したものである。ロボットデバイス100は、自身のセンサから得られたセンサデータを、連続的なタイミングt,t,t…で無線ネットワークを介してサーバ110に送信する。センサデータは、ロボットデバイス100の実際の位置を算出するサーバ110で処理され、サーバ110は、その後、この位置情報、又は移動する距離及び方向等のナビゲーションコマンドを、ロボットデバイス100に送信する。このようにして、ロボットデバイス100は、自身の実際の位置と移動先又は予定経路とに基づいて移動するように命令される。ネットワークの待ち時間がない(オンボードナビゲーションと同様である)理想的な状況では、サーバ110の処理時間が非常に短く無視できるほどであると仮定すると、ロボットデバイス100はほぼ同じタイミングt,t,t…で位置情報又はナビゲーションコマンドを受信する。よって、ナビゲーションコマンドは常にロボットデバイス100の実際の現在位置に基づいて与えられ、ロボットデバイス100の位置精度はオンボードナビゲーションに匹敵する。図3は、ロボットデバイス100の位置精度を、ロボットデバイス100の実際の位置300と推定位置300’との間の最大差又は誤差として図示したものである。例えば、ロボットデバイス100がナビゲーションコマンドに従って移動しながら走行距離情報を利用して自身の位置300’を推定する(図3に示されているように)場合、ロボットデバイス100の位置精度は、連続する2つのタイミングの間の時間であるサンプリング周期Tの間に蓄積された走行距離誤差となる。走行距離誤差は、移動するように命令される距離とロボットデバイス100が移動した実際の距離との差として規定されている。
しかし、実際には、ロボットデバイスの位置精度はネットワークの待ち時間(L>0)の影響を受ける。図2に示されているように、センサデータパケットをロボットデバイス100からサーバ110に送信する時間(例えばt=t)と、t=tで送信されたセンサデータに相当する処理済みデータパケットをロボットデバイス100がサーバ100から受信する時間(例えばt=t)との間には常に差が存在し、この差t−tをネットワークの待ち時間と規定する。
このことにより、tからtの期間中、ロボットデバイス100はtで受信したナビゲーションコマンドに従って移動するが、このコマンドはt=tでのセンサデータ及びロボットデバイス100の実際の位置に相当し、tでのデバイスの現在位置に相当するナビゲーションコマンドではない。よって、ロボットデバイス100の位置精度はネットワークの待ち時間の影響を受ける。
ロボットデバイスとサーバとの間のネットワークの待ち時間は主にセンサデータ量とネットワーク帯域幅とに左右されるが、どちらも環境変化の影響を受けやすい。Lが低値であるような、ネットワーク状態が良い場合は、ネットワークの待ち時間によるロボットデバイスの位置誤差はそれほど重要視されないであろうが、Lが高値であるような、ネットワーク状態が低速の場合は、特にロボットデバイスが高速で移動する場合、この誤差が蓄積されると許容できなくなってしまうこともある。
よって、ロボットデバイスと遠隔サーバとの間の通信ネットワークが生じさせる遅延を考慮することによってナビゲーションの位置精度を確証できる、オフボードナビゲーションの方法及び装置を有する必要がある。
[発明の概要]
本発明の一局面では、ロボットデバイスのオフボードナビゲーションの方法が提供される。本方法は、ロボットデバイスの位置精度のしきい値を規定すること、ロボットデバイスとサーバとが通信するネットワークの待ち時間であって、センサデータをロボットデバイスからサーバに送信する送信と、送信されたセンサデータに相当する処理済みデータをロボットデバイスがサーバから受信する受信との差である待ち時間を算出すること、及びロボットデバイスの位置精度のしきい値とネットワークの待ち時間とに基づいて、ロボットデバイスの速度を決定すること、を含む。
ロボットデバイスの速度を決定することは、ネットワークの待ち時間に応じて、ロボットデバイスからサーバへの、センサデータについての連続する2つの送信の間の差である、サンプリング周期を設定すること、及びロボットデバイスがサンプリング周期内で移動するように命令される変位を決定すること、を含んでもよい。
ロボットデバイスがサンプリング周期内で移動するように命令される変位を決定することは、ロボットデバイスがサンプリング周期内で移動すべき所望の変位をロボットデバイスの走行距離誤差の特徴に従って決定すること、及びサンプリング周期内で相殺される位置誤差を取得すること、を含んでもよい。
ロボットデバイスの走行距離誤差の特徴は、あらかじめ較正されたロボットデバイスの走行距離誤差の変化曲線によって表されてもよい。
ロボットデバイスの位置精度のしきい値は、ロボットデバイスが動作する環境に基づいて決定されてもよい。
ロボットデバイスの速度はネットワークの待ち時間に反比例するように決定されてもよい。
本方法はさらに、決定された速度以下の速度でロボットデバイスを移動するように駆動してもよい。
本発明の別の局面によれば、オフボードナビゲーションのための装置が提供される。本装置は、サーバと、サーバから受信したナビゲーションコマンドに従って移動するように構成されたロボットデバイスとを備え、ロボットデバイスは、センサデータを取得するように構成されたセンサと、ロボットデバイスの位置精度のしきい値を受信するように構成されたインターフェースと、プロセッサであって、ロボットデバイスとサーバとが通信するネットワークの待ち時間であって、センサデータをロボットデバイスからサーバに送信する送信と、送信されたセンサデータに相当する処理済みデータをロボットデバイスがサーバから受信する受信との差であるネットワークの待ち時間を算出するとともに、ロボットデバイスの位置精度のしきい値とネットワークの待ち時間とに基づいて、ロボットデバイスの速度を決定するように構成されたプロセッサと、を備えている。
ロボットデバイスはさらに、ロボットデバイスの位置を推測するように構成された走行距離計を備えていてもよい。
サーバは、ロボットデバイスから送信されたセンサデータを処理して、送信されたセンサデータに相当するロボットデバイスの位置情報を取得し、位置情報をロボットデバイスに送信するように構成されていてもよい。
プロセッサはさらに、ネットワークの待ち時間に応じて、ロボットデバイスからサーバへの、センサデータについての連続する2つの送信の間の差である、サンプリング周期を設定するとともに、ロボットデバイスが設定されたサンプリング周期内で移動するように命令される変位を決定するように構成されていてもよい。
プロセッサはさらに、ロボットデバイスがサンプリング周期内で移動すべき所望の変位をロボットデバイスの走行距離誤差の特徴に従って決定するとともに、サンプリング周期内で相殺される位置誤差を取得して、移動するように命令される変位を、位置誤差によって相殺された変位であって移動すべき所望の変位として決定するように構成されていてもよい。
ロボットデバイスの走行距離誤差の特徴は、あらかじめ較正されたロボットデバイスの走行距離誤差の変化曲線によって表されてもよい。
ロボットデバイスの位置精度のしきい値は、ロボットデバイスが動作する環境に基づいて決定されてもよい。
ロボットデバイスの速度はネットワークの待ち時間に反比例するように決定されてもよい。
ロボットデバイスは決定された速度以下の速度で移動するように駆動される。
ここで、添付の図面を参照して、本方法及び本装置の各実施形態を説明する。
ネットワークの待ち時間がない、オフボードナビゲーションの理想的な状況を示したものである。 ネットワークの待ち時間が存在する、オフボードナビゲーションの実際の状況を示したものである。 ロボットデバイスの位置精度を図示したものである。 オフボードナビゲーションの装置の例の概略図である。 オフボードナビゲーションの方法の例を示したフローチャートである。 オフボードナビゲーションの装置の例で用いられているロボットデバイスの走行距離誤差の変化曲線例を示したものである。 オフボードナビゲーションの方法を図示している簡単なランタイム例を示したものである。 図7に図示されているランタイム例に係る様々なタイミングでのパラメータ値を示したものである。
[発明の詳細な説明]
図4は、ネットワーク状態の変化に対応するオフボードナビゲーションのための装置400の例を図示したものである。装置400は、無線ネットワーク440等の通信リンクを介してサーバ430に接続されているロボットデバイス410を備えている。サーバ430は、データの送受信が可能な任意のタイプのデバイスでよく、ナビゲーション処理に適した高性能なプロセッサを備え得る。サーバ430は、処理負荷がクラウド間で分散されるよう、クラウドコンピューティングプラットフォームであってもよい。また、ユーザがオフボードナビゲーションに関連するパラメータをサーバ430で設定し、全ナビゲーション処理を監視可能となるよう、ユーザインターフェースを有するナビゲーションアプリケーションがサーバ430に組み込まれていてもよい。
図示されているように、ロボットデバイス410は、複数のセンサ412と、プロセッサ414と、インターフェース418と、走行距離計420とを備えている。
複数のセンサ412は、ロボットデバイス410に関するデータ又はロボットデバイス410が動作する環境のデータを取得可能な任意のタイプのセンサであってもよい。得られたセンサデータは次に、ロボットデバイス410の実際の位置、及び/又はロボットデバイス410に送信されるナビゲーションコマンドを求めるために、ナビゲーション処理を行うサーバ430に伝送される。
プロセッサ414は、ロボットデバイス410の他の構成要素との連係及びルーチン機能の実行といった、ロボットデバイス410において必要な処理を実行するために使用される。例えば、プロセッサ414は、複数のセンサ412によって取得されたセンサデータの収集を監視し、センサデータを適切なタイミングで無線ネットワーク440経由でサーバ430に送信する命令を与え、受信したロボットデバイス410の位置情報及び/又はナビゲーションコマンドを監視し、ロボットデバイス410のモータ(図示せず)にナビゲーションコマンドに従って移動するように命令する。サーバ430がロボットデバイス410の位置情報のみをロボットデバイス410に送信するように構成されている場合、プロセッサ414は計算も実行し、ナビゲーションコマンド、つまり移動するように命令される距離を求める。以下の説明では、分かりやすくするために、サーバ430はロボットデバイス410の位置情報のみを送信すると想定する。
上述の各機能に加えて、プロセッサ414はまた、無線ネットワーク440の待ち時間を基準としたロボットデバイス410の速度も決定して、満足し得るロボットデバイス410の位置精度を実現する。
ロボットデバイス410がナビゲーションコマンドに従って移動し始めたら、走行距離計420を用いてロボットデバイス410が走行した距離又は変位が測定される。走行距離計420において示されている距離がナビゲーションコマンドの距離に一致した場合に、ナビゲーションコマンドが完了したとみなされる。上述したように、処理中には走行距離誤差が発生し、ロボットデバイス410の位置誤差をもたらす。
インターフェース418は、ユーザの入力、例えばナビゲーションにおいてロボットデバイス410が用いる、ユーザが入力した動作パラメータの確定値を確定するように構成されている。
図5は、例示の装置400を用いたオフボードナビゲーションの方法のフローチャートを示したものである。
始めに、510で、ロボットデバイス410の位置精度又は最大位置誤差Aを、ロボットデバイス410が動作する環境に基づいて規定する。例えば、一般的なオフィスの廊下では、ロボットデバイス410が廊下の壁に衝突しない範囲で許容される最大誤差は50cmであり得るが、広々とした広場では許容される最大誤差は10メートルとなり得る。許容される最大位置誤差を規定すると、その値は動作パラメータの1つとして、ナビゲーションの開始時に、ユーザによって、ロボットデバイス410のインターフェース418経由でロボットデバイス410に入力可能である。あるいは、その値は、サーバ430経由でロボットデバイス410に読み込み可能である。ユーザは、サーバ430に接続されたユーザインターフェース、例えば、サーバに組み込まれた、又はサーバが有線通信を介してアクセスしたナビゲーションアプリケーションのユーザインターフェースで、その値を入力してもよい。このようなユーザインターフェースはまた、オフボードナビゲーションの実行を監視するとともに、ロボットデバイス410の動作パラメータを設定するために用いてもよい。
次に、520で、ロボットデバイス410とサーバ430との間の無線ネットワーク440の待ち時間であるLを、ロボットデバイス410のプロセッサ414によって取得する。プロセッサ414は、センサデータパケットがロボットデバイス410からサーバ430に送信された時のタイムスタンプと、1つ前のセンサデータに相当する処理済みデータパケットがサーバ430からロボットデバイス410によって受信された時のタイムスタンプとを取得して、これら2つのタイムスタンプの間の差をネットワークの待ち時間として算出する。ネットワークの待ち時間は、ナビゲーションの開始直前に、プロセッサ414によって決定されてもよく、ここでプロセッサは、サーバ430に送信するテストセンサデータを発生させ、ロボットデバイス410がテストセンサデータの処理済みデータを受信した時のネットワークの待ち時間を取得する。ナビゲーション中、ネットワークの待ち時間は動的に決定されるが、センサデータを送信してから、ロボットデバイス410においてセンサデータに相当する位置情報を受信するまでの間の時間として規定されてもよい。あるいは、ナビゲーション中、ロボットデバイス410を、センサデータからは独立している特別なデータパケットを送信し、特別なデータパケットに相当する応答をサーバ430から受信した時のネットワークの待ち時間を取得するように構成してもよい。ネットワーク440内での不規則で一時的な変動を除去するために、ネットワークの待ち時間の多数の連続値の移動平均を用いることができる。
530で、ネットワークの待ち時間の算出値Lに応じて、サンプリング周期Tがプロセッサ414によって設定される。サンプリング周期は、センサデータをロボットデバイス410から送信する各タイミングのうちの連続する2つのタイミングの間の時間として規定されており、また、ネットワークの待ち時間の最新の算出値Lを用いて、直前の1サンプリング周期内でのロボットデバイス410の移動に相当する位置情報を、ロボットデバイス410が、ある特定のサンプリング周期内における移動前あるいは移動時に受信するように設定されていてもよい。サンプリング周期の例として図7を参照する。図7に示されているように、例示のロボットデバイス410は一直線に走行している。ロボットデバイス410からのセンサデータは、連続的なタイミングt,t,t…で送信されるように構成されており、ここでTは連続する2つのタイミングtn−1とtとの間の時間である。ネットワークの待ち時間の既知の値Lを用いて、Tは、Tにおけるロボットデバイス410の移動に相当する位置情報を、ロボットデバイス410がTの開始前又は開始時に受信する(図7において点線矢印710で表す)ように設定されている。Tにおけるロボットデバイス410の移動に相当する位置情報は、t=tにおいてロボットデバイス410から送信されたセンサデータに基づいて、サーバ430によって求められる(図7において実線矢印720で表す)。よって、サンプリング周期の値Tはネットワークの待ち時間の最新値L以上でなければならない(T≧L)。例えば、サンプリング周期を、今までに算出されたネットワークの待ち時間の最悪値とあらかじめ規定された時間バッファとの合計として設定してもよい。
算出されたネットワークの待ち時間に応じてサンプリング周期を設定すると、時間例t=tにおいて、ロボットデバイス410はt=tn−1での自身の位置を表す位置情報を受信するとともに、t=tでの自身の現在位置を表すセンサデータを送信する。
ネットワーク状態が変化しているために、ネットワークの待ち時間がナビゲーション中に常に変動しているので、サンプリング周期Tもナビゲーション中に変動するおそれがある。
次に、540で、設定されたサンプリング周期内でのナビゲーションコマンド又はロボットデバイス410が移動するように命令される距離を、ロボットデバイス410の走行距離誤差を考慮して決定する。
ロボットデバイス410の走行距離誤差の変化曲線を用いて、サンプリング周期内でロボットデバイス410が移動すべき所望の距離を決定する。この変化曲線は、ロボットデバイス410が移動した距離に対して蓄積された走行距離誤差をプロットすることによって、あらかじめ較正されている。変化曲線600の例を図6に示す。ここで、走行距離誤差と移動距離との関係は非線形で、走行距離誤差は距離に対して制限がない。例示の変化曲線600に示されているように、ロボットデバイス410が10cm移動すると最高で1cmの誤差が生じ、100cm移動すると最高で20cmの誤差が生じる。
例えば、20cmがある所定の環境に対する位置精度又は最大位置誤差であると定められている場合、1サンプリング周期T内で許容される位置誤差は、20cmを2で割った値である10cmであると決定されるが、これは、走行距離誤差は連続する2つのサンプリング周期を通じて伝搬されるためである。較正済みの走行距離誤差の変化曲線に基づき、ロボットデバイス410は、走行距離誤差が10cmを超えない範囲では50cmしか移動できない。これにより、サンプリング周期T中にロボットデバイス410が移動する所望の距離は50cmと決定される。
上述したように、ロボットデバイス410が自身の走行距離情報を利用して、ナビゲーションコマンドに従って移動しながら自身の位置を推測する場合、移動するように命令される距離とロボットデバイス410が移動した実際の距離との差である走行距離誤差が、サンプリング周期内で蓄積される。サンプリング周期は、t=tでのロボットデバイス410の実際の位置に相当するセンサデータをt=tにてサーバに送信し、t=tでのロボットデバイス410の実際の位置をt=tn+1以前又はt=tn+1にてロボットデバイス410に送り返すように設定されるので、サンプリング周期Tn−1内で蓄積した走行距離誤差En−1は、ロボットデバイス410が知るのはt=tn+1においてである。走行距離誤差En−1を相殺するには、t=tn+1にて決定された、移動するように命令される距離を、走行距離誤差En−1によって補正された移動すべき所望の距離になるように決定する。このようにして、サンプリング周期Tn−1内で蓄積された走行距離誤差En−1はサンプリング周期Tn+1ではリセットされる、つまり、走行距離誤差は連続する2つのサンプリング周期を通じて伝搬される。
550で、サンプリング周期におけるロボットデバイス410の速度を、命令される距離をサンプリング周期で割ったものとして求める。520でのネットワークの待ち時間の取得から550でのロボットデバイス410の速度の決定までのプロセスが、ナビゲーション中において継続される。
ロボットデバイス410の走行距離誤差の変化曲線はロボットデバイス410のメモリデバイス(図示せず)に保存され、ロボットデバイス410がサンプリング周期内で移動すべき所望の距離を決定するときに、プロセッサ414によってアクセスされる。プロセッサ414は、移動するように命令される距離を、直前の1サンプリング周期内で蓄積された走行距離誤差を考慮した所望の距離に基づいて決定し、その後、サンプリング周期の開始時にロボットデバイス410の速度を算出する。
よって、ロボットデバイス410の速度Sは、ロボットデバイス410の位置誤差の規定しきい値A(最大許容値)とネットワークの待ち時間の算出値Lとに応じて、プロセッサ414によって求められる。ロボットデバイス410がしきい値A以下の位置精度を有するためには、ロボットデバイス410を求められた速度S以下の速度で走行するように駆動する。
ロボットデバイス410の速度は、ナビゲーション中においては動的に決定されるので、ネットワーク状態の変化、つまりネットワークの待ち時間が変化すると、結果的にロボットデバイス410の速度が調整されることになる。
ナビゲーションの最初のいくつかのサンプリング周期を示している簡単なランタイム例を、図7及び図8を参照して説明する。図7では、例示のロボットデバイス410は一直線に走行している。ロボットデバイス410からのセンサデータは、連続的なタイミングt,t,t…で送信されるように構成されており、ここで、Tは連続する2つのタイミングtn−1とtとの間の時間である。本例において、図示を簡素化するために、Tはネットワークの待ち時間の最新の算出値に設定されている。
周期Tにおいてロボットデバイス410が移動すべき所望の距離をDと表す。t=tの瞬間での実際の位置をX(t)と表し、開始時刻t=tでの開始位置はX(t)=0である。
図8は、サンプリング周期Tにおけるロボットデバイス410が移動すべき所望の距離と、ロボットデバイス410が移動するように命令される距離と、サンプリング周期T内に移動した実際の距離と、ロボットデバイス410の所望の位置及び実際の位置と、ロボットデバイス410の位置誤差とを、様々なタイミングt,t,t…において示している。
t=tにおいて、ロボットデバイス410は、移動すべき所望の距離Dを、ネットワークの待ち時間に従って設定したサンプリング周期と動作環境とに従ってユーザが入力する位置精度に基づいて求める。受信された位置情報はないので、移動するように命令される距離は所望の距離Dと同一である。
t=tにおいて、ロボットデバイス410が既に移動した実際の距離はD+Eである。ここでEは、サンプリング周期T内、つまりtからtまでで蓄積された走行距離誤差を表す。したがって、t=tでのロボットデバイス410の実際の位置はX(t)=D+Eであり、相当する位置誤差はE(t)=Eである。ロボットデバイス410は自身の現在位置を表すセンサデータをサーバ430に送信して、サンプリング周期T内、つまりtからtまでに移動すべき所望の距離Dを求める。t=tでは、ロボットデバイス410は、t=tで送信されたセンサデータに相当する位置情報しか受信しておらず、移動するように命令される距離はDである。
ロボットデバイス410は、t=tで、サンプリング周期T内でDの距離を移動するように命令を受けるが、実際に移動した距離はD+Eである。これにより、t=tでは、ロボットデバイス410の実際の位置はX(t)=D+D+E+Eであり、相当する位置誤差はE(t)=E+Eである。
t=tにおいて、ロボットデバイス410は、自身の現在位置を表すセンサデータをサーバ430に送信し、t=tで送信したセンサデータに相当する位置情報を受信する(点線矢印710で表されている)が、これは、tからtまでで(サンプリング周期T内で)移動するように命令される距離を求める際に、t=tでのロボットデバイスの実際の位置X(t)を考慮に入れていることを意味している。サンプリング周期T中に蓄積された走行距離誤差Eを相殺するためには、t=tにおいて、命令される距離をD−Eとなるように決定する。
からtまでで、実際に移動した距離はD−E+Eである。これにより、t=tでのロボットデバイス410の実際の位置はX(t)=D+D+D+E+Eであり、相当する位置精度はE+Eである。
よって、任意の時刻tにおいて、ロボットデバイス410の位置誤差は、ネットワークの待ち時間の算出値Lに応じて設定された連続する2つのサンプリング周期にわたって蓄積されている、ロボットデバイス410の走行距離誤差となる。位置精度のしきい値Aが既知の場合、1サンプリング周期内で許容される走行距離誤差の値Eを求めることができる。既知の値Eの場合、ある特定のサンプリング周期の開始時において、所望の距離及び命令される距離は、ロボットデバイス410の走行距離誤差の較正済みの変化曲線と、直前の1サンプリング周期内で蓄積された走行距離誤差とを基準にして決定される。よって、速度Sは、所定値A及び算出値Lに基づいて求めることができる。
実際には、ロボットデバイスは任意の方向に移動可能であるので、ロボットデバイスの位置精度及び速度は二次元ベクトルであってもよい。
上記の例は、ネットワークLの待ち時間と、ロボットデバイスの平均位置精度Aと、ロボットデバイスの平均速度Sとの間の関係を説明している。ネットワークの待ち時間があるために、ナビゲーション処理をオフボードで行う場合は、ロボットデバイスの速度とその位置推定の精度とは両立できない関係にある。また、走行距離誤差は走行した距離に伴って蓄積するが、リセットされてある決まった範囲内に保つことができる。
Lが高値であるような、低速のネットワーク状態では、蓄積された走行距離誤差が小さくなるようにロボットデバイスを減速させることが可能であり、よって、ロボットデバイスは、引き続き許容位置精度を有する。反対に、Lが低値であるような、ネットワーク状態が良い場合は、位置情報の更新が頻繁になるために蓄積された走行距離誤差が顕著になることがないので、ロボットデバイスの速度を上げることができ、よって、ロボットデバイスは、やはり許容位置精度を有する。理論上では、ロボットデバイスは、ネットワーク速度が非常に低速であっても完全に停止する必要は全くなく、それでも許容位置精度を有する。
上述の説明はロボットデバイスの許容位置精度を実現することを中心に進めてきたが、上記の3つの変数、すなわちL,A,Sは、3変数のうちの少なくとも1つを最適化するために上述の関係性によって操作可能である。例えば、ロボットデバイスの位置精度が一定であることから、ロボットデバイスの速度をネットワークの待ち時間に基づいて動的に調整可能である。あるいは、位置精度を落とすことが可能であれば、送信するセンサデータをより小さくすることによって、ネットワークLの待ち時間を短縮してもよく、それによりロボットデバイスの速度を上げることができる。
上述した本発明の各実施形態を説明してきたが、この技術に関わる当業者であれば、設計又は構造の詳細において多くの変形又は修正を、本発明から逸脱せずに行ってもよいことが理解されるであろう。

Claims (17)

  1. ロボットデバイスのオフボードナビゲーションの方法であって、
    前記ロボットデバイスの位置精度のしきい値を規定すること、
    前記ロボットデバイスとサーバとが通信するネットワークの待ち時間であって、センサデータを前記ロボットデバイスから前記サーバに送信する送信と、前記送信されたセンサデータに相当する処理済みデータを前記ロボットデバイスが前記サーバから受信する受信との差である前記待ち時間を算出すること、及び
    前記ロボットデバイスの前記位置精度の前記しきい値と前記ネットワークの前記待ち時間とに基づいて、前記ロボットデバイスの速度を決定すること、を含む方法。
  2. 前記ロボットデバイスの速度を決定することは、前記ネットワークの前記待ち時間に応じて、前記ロボットデバイスから前記サーバへの、前記センサデータについての連続する2つの送信の間の差である、サンプリング周期を設定することを含む、請求項1記載の方法。
  3. 前記ロボットデバイスの速度を決定することは、さらに、前記ロボットデバイスが前記サンプリング周期内で移動するように命令される変位を決定することを含む、請求項2記載の方法。
  4. 前記ロボットデバイスが前記サンプリング周期内で移動するように命令される前記変位を決定することは、前記ロボットデバイスが前記サンプリング周期内で移動すべき所望の変位を前記ロボットデバイスの走行距離誤差の特徴に従って決定すること、及び前記サンプリング周期内で相殺される位置誤差を取得すること、を含む、請求項3記載の方法。
  5. 前記ロボットデバイスの前記走行距離誤差の特徴は、あらかじめ較正された前記ロボットデバイスの前記走行距離誤差の変化曲線によって表される、請求項4記載の方法。
  6. 前記ロボットデバイスの前記位置精度の前記しきい値は、前記ロボットデバイスが動作する環境に基づいて決定される、前出の請求項のいずれか1項に記載の方法。
  7. 前記ロボットデバイスの速度は前記ネットワークの前記待ち時間に反比例するように決定される、前出の請求項のいずれか1項に記載の方法。
  8. さらに、前記ロボットデバイスを、前記決定された速度以下の速度で移動するように駆動する、前出の請求項のいずれか1項に記載の方法。
  9. オフボードナビゲーションの装置であって、
    サーバと、
    前記サーバから受信したナビゲーションコマンドに従って移動するように構成されたロボットデバイスと、を備え、
    前記ロボットデバイスは、
    センサデータを取得するように構成されたセンサと、
    前記ロボットデバイスの位置精度のしきい値を受信するように構成されたインターフェースと、
    プロセッサであって、
    前記ロボットデバイスと前記サーバとが通信する前記ネットワークの待ち時間であって、センサデータを前記ロボットデバイスから前記サーバに送信する送信と、前記送信されたセンサデータに相当する処理済みデータを前記ロボットデバイスが前記サーバから受信する受信との差である前記ネットワークの待ち時間を算出するとともに、
    前記ロボットデバイスの前記位置精度の前記しきい値と前記ネットワークの前記待ち時間とに基づいて、前記ロボットデバイスの速度を決定する、ように構成されたプロセッサと、
    を備えている装置。
  10. 前記ロボットデバイスはさらに、前記ロボットデバイスの位置を推測するように構成された走行距離計を備えている、請求項9記載の装置。
  11. 前記サーバは、前記ロボットデバイスから送信された前記センサデータを処理して、前記送信されたセンサデータに相当する前記ロボットデバイスの位置情報を取得し、前記位置情報を前記ロボットデバイスに送信するように構成されている、請求項9又は10に記載の装置。
  12. 前記プロセッサはさらに、
    前記ネットワークの前記待ち時間に応じて、前記ロボットデバイスから前記サーバへの前記センサデータについての連続する2つの送信の間の差である、サンプリング周期を設定するとともに、
    前記ロボットデバイスが前記設定されたサンプリング周期内で移動するように命令される変位を決定するように構成されている、請求項9から11のいずれか1項に記載の装置。
  13. 前記プロセッサはさらに、
    前記ロボットデバイスが前記サンプリング周期内で移動すべき所望の変位を前記ロボットデバイスの走行距離誤差の特徴に従って決定するとともに、
    前記サンプリング周期内で相殺される位置誤差を取得して、前記移動するように命令される変位を、前記位置誤差によって相殺された変位であって前記移動すべき所望の変位として決定するように構成されている、請求項12記載の装置。
  14. 前記ロボットデバイスの前記走行距離誤差の特徴は、あらかじめ較正された前記ロボットデバイスの前記走行距離誤差の変化曲線によって表される、請求項13記載の装置。
  15. 前記ロボットデバイスの前記位置精度の前記しきい値は、前記ロボットデバイスが動作する環境に基づいて決定される、請求項9から14のいずれか1項に記載の装置。
  16. 前記ロボットデバイスの速度は前記ネットワークの前記待ち時間に反比例するように決定される、請求項9から15のいずれか1項に記載の装置。
  17. 前記ロボットデバイスは、前記決定された速度以下の速度で移動するように駆動される、請求項9から15のいずれか1項に記載の装置。
JP2016518305A 2013-06-03 2013-06-25 ロボットデバイスのオフボードナビゲーションの方法及び装置 Pending JP2016520944A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG2013042890A SG2013042890A (en) 2013-06-03 2013-06-03 Method and apparatus for offboard navigation of a robotic device
SG201304289-0 2013-06-03
PCT/SG2013/000262 WO2014196925A1 (en) 2013-06-03 2013-06-25 Method and apparatus for offboard navigation of a robotic device

Publications (1)

Publication Number Publication Date
JP2016520944A true JP2016520944A (ja) 2016-07-14

Family

ID=54193710

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016518305A Pending JP2016520944A (ja) 2013-06-03 2013-06-25 ロボットデバイスのオフボードナビゲーションの方法及び装置

Country Status (5)

Country Link
US (1) US20160109883A1 (ja)
EP (1) EP3004800B1 (ja)
JP (1) JP2016520944A (ja)
CN (1) CN105264335B (ja)
SG (1) SG2013042890A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018063122A (ja) * 2016-10-11 2018-04-19 日産自動車株式会社 経路選択方法及び経路選択装置
KR102064485B1 (ko) 2017-12-27 2020-01-09 오학서 자동 반송 시스템의 작업시간 단축을 위한 데이터 통신 방법
WO2022211224A1 (ko) * 2021-04-02 2022-10-06 네이버랩스 주식회사 로봇 원격 제어 방법 및 시스템, 그리고 통신 지연에 강인한 로봇이 주행하는 건물
KR20220137474A (ko) * 2021-04-02 2022-10-12 네이버랩스 주식회사 로봇 원격 제어 방법 및 시스템

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015037064A1 (ja) * 2013-09-11 2015-03-19 株式会社日立製作所 時系列データの分析方法、及びその装置
US10949940B2 (en) * 2017-04-19 2021-03-16 Global Tel*Link Corporation Mobile correctional facility robots
US10690466B2 (en) 2017-04-19 2020-06-23 Global Tel*Link Corporation Mobile correctional facility robots
US10685229B2 (en) * 2017-12-21 2020-06-16 Wing Aviation Llc Image based localization for unmanned aerial vehicles, and associated systems and methods
CN110068323B (zh) * 2019-05-15 2021-02-02 北京邮电大学 网络时延定位误差补偿方法、装置及电子设备
JP7294880B2 (ja) * 2019-05-20 2023-06-20 ファナック株式会社 ロボット制御装置、ロボットシステム、及びロボット制御方法
CN112643664B (zh) * 2019-10-10 2022-09-23 深圳市优必选科技股份有限公司 定位误差消除方法、装置、机器人及存储介质
CN114779256B (zh) * 2022-04-01 2024-09-20 北京京东乾石科技有限公司 位置信息生成方法、装置、设备和计算机可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05503775A (ja) * 1989-12-11 1993-06-17 キャタピラー インコーポレイテッド 統合されたビークル位置特定及び航法システム、装置及び方法
JP2005025037A (ja) * 2003-07-04 2005-01-27 Toyota Motor Corp 地図データ配信システム
JP2006285548A (ja) * 2005-03-31 2006-10-19 Secom Co Ltd 移動ロボット及び遠隔操作システム
JP2007316966A (ja) * 2006-05-26 2007-12-06 Fujitsu Ltd 移動ロボット、その制御方法及びプログラム
JP2010009370A (ja) * 2008-06-27 2010-01-14 Kansai Electric Power Co Inc:The 移動体制御システムおよび移動体制御方法
JP2011117739A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd ナビゲーションシステムおよび車載装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5646843A (en) * 1990-02-05 1997-07-08 Caterpillar Inc. Apparatus and method for surface based vehicle control system
US7587260B2 (en) * 2006-07-05 2009-09-08 Battelle Energy Alliance, Llc Autonomous navigation system and method
EP2310966A2 (en) * 2008-06-05 2011-04-20 Roy Sandberg Responsive control method and system for a telepresence robot
CN101623867B (zh) * 2008-07-11 2010-12-01 中国科学院沈阳自动化研究所 一种使机器人高精度跟踪指定路径的设备和方法
US8340819B2 (en) * 2008-09-18 2012-12-25 Intouch Technologies, Inc. Mobile videoconferencing robot system with network adaptive driving
US8265818B2 (en) * 2009-06-04 2012-09-11 Defense Technologies, Inc. Open architecture command system
US8918215B2 (en) * 2011-01-19 2014-12-23 Harris Corporation Telematic interface with control signal scaling based on force sensor feedback
US8718822B1 (en) * 2011-05-06 2014-05-06 Ryan Hickman Overlaying sensor data in a user interface
CN102354114A (zh) * 2011-07-18 2012-02-15 安徽工程大学 一种网络控制系统的随机时延建模方法
JP5807518B2 (ja) * 2011-11-09 2015-11-10 富士通株式会社 推定装置、推定方法、および推定プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05503775A (ja) * 1989-12-11 1993-06-17 キャタピラー インコーポレイテッド 統合されたビークル位置特定及び航法システム、装置及び方法
JP2005025037A (ja) * 2003-07-04 2005-01-27 Toyota Motor Corp 地図データ配信システム
JP2006285548A (ja) * 2005-03-31 2006-10-19 Secom Co Ltd 移動ロボット及び遠隔操作システム
JP2007316966A (ja) * 2006-05-26 2007-12-06 Fujitsu Ltd 移動ロボット、その制御方法及びプログラム
JP2010009370A (ja) * 2008-06-27 2010-01-14 Kansai Electric Power Co Inc:The 移動体制御システムおよび移動体制御方法
JP2011117739A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd ナビゲーションシステムおよび車載装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018063122A (ja) * 2016-10-11 2018-04-19 日産自動車株式会社 経路選択方法及び経路選択装置
KR102064485B1 (ko) 2017-12-27 2020-01-09 오학서 자동 반송 시스템의 작업시간 단축을 위한 데이터 통신 방법
WO2022211224A1 (ko) * 2021-04-02 2022-10-06 네이버랩스 주식회사 로봇 원격 제어 방법 및 시스템, 그리고 통신 지연에 강인한 로봇이 주행하는 건물
KR20220137506A (ko) * 2021-04-02 2022-10-12 네이버랩스 주식회사 통신 지연에 강인한 로봇이 주행하는 건물
KR20220137474A (ko) * 2021-04-02 2022-10-12 네이버랩스 주식회사 로봇 원격 제어 방법 및 시스템
KR102484773B1 (ko) * 2021-04-02 2023-01-05 네이버랩스 주식회사 로봇 원격 제어 방법 및 시스템
KR102485644B1 (ko) * 2021-04-02 2023-01-05 네이버랩스 주식회사 통신 지연에 강인한 로봇이 주행하는 건물

Also Published As

Publication number Publication date
EP3004800B1 (en) 2018-08-08
CN105264335B (zh) 2018-08-17
CN105264335A (zh) 2016-01-20
EP3004800A4 (en) 2016-12-14
EP3004800A1 (en) 2016-04-13
SG2013042890A (en) 2015-01-29
US20160109883A1 (en) 2016-04-21

Similar Documents

Publication Publication Date Title
JP2016520944A (ja) ロボットデバイスのオフボードナビゲーションの方法及び装置
TWI585561B (zh) 機器人裝置的離機式導航方法與裝置
US11753006B2 (en) Representing objects in a surrounding environment of a vehicle using a frenet coordinate system
JP6720415B2 (ja) 自律走行車のための帯域幅制約画像処理
CN107576328B (zh) 一种用于水下航行器的水面自动跟踪监控系统
US20200324761A1 (en) Automatic imposition of vehicle speed restrictions depending on road situation analysis
EP3559771B1 (en) Multi-agent coordination under sparse networking
US10809719B2 (en) Systems and methods of controlling an autonomous vehicle using an enhanced trajectory following configuration
JP2022533275A (ja) 後退ホライズン状態推定器
KR102227845B1 (ko) V2v 및 das 센서 기반의 군집주행 제어 시스템 및 방법
CN110779538A (zh) 相对于自主导航而跨本地和基于云的系统来分配处理资源
EP3642684B1 (en) Data transfer logic for transferring data between sensors and planning and control of autonomous driving vehicle
CN106896393A (zh) 车辆协同式物体定位优化方法及车辆协同定位装置
CN110488843A (zh) 避障方法、移动机器人及计算机可读存储介质
US20230413713A1 (en) Using non-real-time computers for agricultural guidance systems
EP4172707A1 (en) An edge computing based path planning system for agv with intelligent deviation correction algorithm
US11579615B2 (en) Remote control apparatus, system, method, and program
CN112925302B (zh) 机器人位姿控制方法和装置
CN113438615A (zh) 定位方法和装置
CN113682298B (zh) 车辆限速方法和装置
CN113196361A (zh) 一种通信方法及装置
JP5601306B2 (ja) 車両ネットワークの通信管理装置
KR20140025079A (ko) 로봇, 로봇의 위치 추정 방법, 및 그 방법을 실행시키기 위한 프로그램이 기록된 기록 매체
KR20090086864A (ko) 무인 차량 시스템의 통신 네트워크 구조
JP7311031B2 (ja) 移動体制御装置、移動体制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170314

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171017