JP2010072762A - 環境地図修正装置及び自律移動装置 - Google Patents

環境地図修正装置及び自律移動装置 Download PDF

Info

Publication number
JP2010072762A
JP2010072762A JP2008237196A JP2008237196A JP2010072762A JP 2010072762 A JP2010072762 A JP 2010072762A JP 2008237196 A JP2008237196 A JP 2008237196A JP 2008237196 A JP2008237196 A JP 2008237196A JP 2010072762 A JP2010072762 A JP 2010072762A
Authority
JP
Japan
Prior art keywords
map
global map
correction
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008237196A
Other languages
English (en)
Other versions
JP5304128B2 (ja
Inventor
Masashi Tanaka
昌司 田中
Takeshi Nakano
剛 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murata Machinery Ltd
Original Assignee
Murata Machinery Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murata Machinery Ltd filed Critical Murata Machinery Ltd
Priority to JP2008237196A priority Critical patent/JP5304128B2/ja
Priority to PCT/JP2009/004079 priority patent/WO2010032381A1/ja
Priority to KR1020117004984A priority patent/KR101228487B1/ko
Priority to EP09814227.6A priority patent/EP2348375A4/en
Priority to US13/063,962 priority patent/US8515613B2/en
Publication of JP2010072762A publication Critical patent/JP2010072762A/ja
Application granted granted Critical
Publication of JP5304128B2 publication Critical patent/JP5304128B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids
    • G09B29/106Map spot or coordinate position indicators; Map reading aids using electronic means

Abstract

【課題】 実際の周囲環境に合った環境地図を取得することが可能な環境地図修正装置を提供する。
【解決手段】 グローバルマップ修正装置3は、グローバルマップを構成する各グリッドが持つ物体存在確率情報を画像情報(白黒画像の濃淡情報)に変換する変換部31と、変換された画像情報に基づいてグローバルマップ画像を表示する表示部35と、ユーザからの修正操作を受け付ける操作入力部36と、ユーザの修正操作に従って表示部35に表示されているグローバルマップ画像を修正する修正部37と、修正されたグローバルマップ画像(濃淡情報)を物体存在確率情報に逆変換することにより修正されたグローバルマップを取得する逆変換部32とを備える。
【選択図】 図1

Description

本発明は、環境地図修正装置、及び該環境地図修正装置を備えた自律移動装置に関する。
従来から、周囲環境の中を自律して移動する自律移動装置が知られている。自律移動装置が周囲環境の中を自律して移動するためには、移動空間内の物体(以下「障害物」ともいう)が存在する領域と存在しない領域とを表した環境地図が必要となる。ここで、特許文献1には、レーザレンジファインダ(またはカメラ)による距離計測の結果得られた地形データを用いて地形図(環境地図)を生成する移動ロボットが開示されている。
特開平7−129238号公報
レーザレンジファインダ等による検出結果にはノイズが含まれることがある。また、環境地図作成時に、人や移動体等がレーザレンジファインダの検出範囲内を通過した場合には、定常的には存在しない物体が環境地図上に配置されるおそれがある。一方、CADデータから環境地図を生成する場合であっても、CADデータが作成された後に、障害物となる物体が置かれることもあり得る。そのため、生成又は取得された環境地図と実際の周囲環境とが相違することが起こり得る。ここで、生成又は取得された環境地図と実際の周囲環境とが相違する場合には、例えば、環境地図から移動経路を計画する際に、実際には通過できる通路を障害物があるために通過できないと判断し、結果として迂回経路を選択してしまう問題が生じるおそれがある。
本発明は、上記問題点を解消する為になされたものであり、実際の周囲環境に合った環境地図を取得することが可能な環境地図修正装置、及び該環境地図修正装置を備えた自律移動装置を提供することを目的とする。
本発明に係る環境地図修正装置は、物体が存在する物体領域が示される環境地図を表示する表示手段と、表示手段により表示された環境地図に対する、ユーザからの修正操作を受け付ける入力手段と、入力手段により受け付けられた修正操作に基づいて、表示手段に表示されている環境地図を修正する修正手段とを備えることを特徴とする。
本発明に係る環境地図修正装置によれば、ユーザは、入力手段を介して修正操作を行うことにより、表示手段上で環境地図を修正することができる。そのため、環境地図と実際の周囲環境との相違をユーザのマニュアル操作により修正することができる。その結果、実際の周囲環境に合った環境地図を取得することが可能となる。
本発明に係る環境地図修正装置は、複数のグリッドが持つ物体の存在確率情報を画像情報に変換する変換手段と、画像情報を物体の存在確率情報に逆変換する逆変換手段とを備え、表示手段が、変換手段により変換された画像情報に基づいて環境地図画像を表示し、修正手段が、表示手段により表示された環境地図画像を修正し、逆変換手段が、修正手段により修正された環境地図画像の画像情報を物体の存在確率情報に逆変換することが好ましい。
この場合、物体の存在確率情報と画像情報との間で相互に変換/逆変換が行われる。そのため、環境地図を環境地図画像に変換して表示するとともに、表示手段上に表示された環境地図画像を修正することにより修正された環境地図を取得することができる。よって、より容易に環境地図を修正することが可能となる。
本発明に係る環境地図修正装置では、上記画像情報が、白黒画像の濃淡情報であることが好ましい。
このようにすれば、物体の存在確率情報を持つ複数のグリッドから構成される環境地図を、物体の存在確率情報が白黒の濃淡で表現された白黒画像(環境地図画像)として視認することが可能となる。
本発明に係る自律移動装置は、物体が存在する物体領域が示される環境地図を取得する環境地図取得手段と、環境地図取得手段により取得された環境地図を修正する、上記いずれかの環境地図修正装置と、環境地図修正装置により修正された環境地図から移動経路を計画する移動経路計画手段と、移動経路計画手段により計画された移動経路に沿って移動するように自機を駆動する移動手段とを備えることを特徴とする。
本発明に係る自律移動装置によれば、上述したいずれかの環境地図修正装置を備えているため、実際の周囲環境に合った環境地図を取得することができる。そのため、例えば環境地図から移動経路を計画する際に、実際には通過できる通路を障害物があるために通過できないと判断してしまうといった不具合を防止することができる。その結果、ユーザが把握している現実の周囲環境に合致した最適な移動経路に沿って移動することが可能となる。また、自律移動装置に環境地図修正装置が搭載されているため、環境地図の取得、環境地図の修正、及び環境地図からの経路計画といった一連の作業を効率よく行うことができる。
本発明によれば、ユーザからの修正操作に基づいて、表示されている環境地図を修正する構成としたので、より実際の周囲環境に合った環境地図を取得することが可能となる。
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、各図において、同一要素には同一符号を付して重複する説明を省略する。
まず、図1を用いて、実施形態に係る環境地図修正装置(以下「グローバルマップ修正装置」という)3の構成について説明する。図1は、グローバルマップ修正装置3の構成を示すブロック図である。
グローバルマップ修正装置3は、ユーザの操作に基づいて、環境地図(物体(障害物)が存在する領域と存在しない領域とを表した地図、以下「グローバルマップ」という)を修正するものである。グローバルマップ修正装置3は、演算を行うマイクロプロセッサ、マイクロプロセッサに各処理を実行させるためのプログラム等を記憶するROM、演算結果などの各種データを一時的に記憶するRAM、及びその記憶内容が保持されるバックアップRAM等から構成されている。グローバルマップ修正装置3は、グローバルマップの修正を行うために、記憶部30、変換部31、逆変換部32、一時記憶部33、タッチスクリーン34、及び修正部37を有している。なお、これらの各部は、上述したハードウェアとソフトウェアの組み合わせにより構築される。以下、各構成要素について詳細に説明する。
記憶部30は、例えば、上述したバックアップRAM等で構成されており、例えば、後述するグローバルマップ取得部41により取得されたグローバルマップを記憶するものである。グローバルマップは、例えば、公知のSLAM(Simultaneous Localization and Mapping)を利用して生成することができる。また、グローバルマップは建築図面から作成してもよく、さらに、他の装置で生成したグローバルマップを移植してもよい。
ここで、記憶部30に記憶されるグローバルマップの一例を図2に示す。グローバルマップは、自律移動装置の移動領域のグリッドマップであり、壁面等の固定物(物体)の位置が記録されている。ここで、グリッドマップは、水平面を所定の大きさ(例えば1cm×1cm)のセル(以下「単位グリッド」又は単に「グリッド」という)で分割した平面からからなる地図であり、単位グリッド毎に物体があるか否かを示す物体存在確率情報が与えられている。本実施形態では、単位グリッドは、
1>物体存在確率P(n,m)>0 : occupied(物体有)
−1<物体存在確率P(n,m)<0: empty (物体無)
物体存在確率P(n,m)=0 : unknown (不明)
の領域情報を有する。
すなわち、物体(障害物)が有るグリッドにはその存在確率に応じて「0〜1」の値が与えられ、物体(障害物)が無いグリッドにはその存在確率に応じて「0〜−1」の値が与えられる。また物体(障害物)の有無が不明なグリッドには「0」が与えられる。よって、図2に示されるように、壁面(図2中、白線で示された領域)が位置するグリッドは、「0.8〜1.0」の値を有している。また、物体が存在しない通路部分(図2中、黒色で塗られた領域)に対応するグリッドは「−0.8〜−1.0」の値を有している。さらに、壁面の背面側(図2中、灰色で示された領域)は、物体の有無が不明であるので、対応するグリッドは「0」の値を有している。
変換部31は、記憶部30に記憶されているグローバルマップを読み出し、該グローバルマップ(グリッドマップ)を構成する各グリッドが有する物体存在確率情報を画像情報、すなわち白黒画像の濃淡情報に変換して表示用マップ(グローバルマップ画像)を生成するものである。すなわち、変換部31は、特許請求の範囲に記載の変換手段として機能する。より具体的には、物体存在確率情報を濃淡情報に変換する場合、変換部31は、グリッド毎に、物体存在確率情報(−1〜0〜1)を濃淡情報(0〜128(80H)〜255(FFH))に変換して表示用マップを生成する。なお、白黒画像の濃淡情報では、完全な白が「255」、完全な黒が「0」となるように対応付けられている。ここで、変換部31により生成された表示用マップの一例を図3に示す。なお、図3に示された表示用マップは、図2に示されたグローバルマップ(グリッドマップ)を変換したものである。図3に示されるように、壁面が位置するセルは略白色(230〜255)に変換されている。また、物体が存在しない通路部分は略黒色(0〜26)に変換されている。さらに、物体の有無が不明な壁面の背面側は、灰色(128)に変換されている。変換部31により生成された表示用マップは、例えば上述したRAM等で構成される一時記憶部33に出力され、修正作業が行われている間、該一時記憶部33において一時的に保持される。なお、ここで、上述したグローバルマップのデータ(物体存在確率情報)を、白黒画像の濃淡情報と同一の8ビットデータ(0〜255(FFH))で表現している場合には、グローバルマップのデータを変換することなくそのまま表示することができるため、マップ変換は不要となる。
タッチスクリーン34は、液晶ディスプレイ(LCD)等からなる表示部35と、ユーザのタッチ操作(入力)を検出するタッチパネル等からなる操作入力部36とを有して構成される入力装置である。表示部35は、変換部31により生成された表示用マップの画像情報(濃淡情報)に基づいてグローバルマップ画像(特許請求の範囲に記載の環境地図画像に相当)を表示する。また、表示部35は、ユーザからのグローバルマップ画像に対する修正操作を受け付けるためのメニューバー及び各種ツール等を表示する。すなわち、表示部35は、特許請求の範囲に記載の表示手段として機能する。
ここで、表示部35に表示される表示画面の一例を図4に示す。図4に示されるように、表示部35に表示される表示画面は、例えば、グローバルマップ画像表示領域400、メニューバー表示領域401、ツールボックス表示領域402、及びパレット表示領域403等から構成されている。グローバルマップ画像表示領域400には修正中のグローバルマップ画像が表示される。メニューバー表示領域401には、例えばファイルダイアログ410等、利用できる各種機能を分類してまとめたメニューが表示される。ツールボックス表示領域402には、例えば、スポイトツール411、鉛筆ツール412、領域指定ツール413、塗りつぶしツール414等、グローバルマップ画像の選択、描画等の役割を持つ複数のツールが表示される。パレット表示領域403には、描画色を指定するためのパレット415が表示される。
操作入力部36は、表示部35の表示画面を覆うように設けられており、その表面には2次元座標(X−Y座標)が仮想的に配置されている。操作入力部36は、ユーザからの修正操作を受け付けるものであり、ユーザによるタッチ操作がなされると、そのタッチ位置に応じた座標情報を出力する。なお、タッチ位置の検出には、例えば、圧力、静電容量、赤外線、及び超音波等が利用される。すなわち、操作入力部36は、特許請求の範囲に記載の入力手段として機能する。操作入力部36は、各種アイコン等の表示位置とユーザのタッチ位置を示す座標情報とに基づいて、ユーザの操作内容を判断する。そして、操作入力部36は、判断された操作内容を修正部37に出力する。
修正部37は、操作入力部36により受け付けられたユーザの修正操作に従って、表示部35に表示されているグローバルマップ画像を修正する。すなわち、修正部37は、特許請求の範囲に記載の修正手段として機能する。ここで、操作入力部36及び修正部37は、ユーザに対して、例えば次のような機能を提供する。なお、次に述べる機能は、操作入力部36及び修正部37により提供される機能の一例である。
1.修正するグローバルマップの読み込み(グローバルマップ指定・入力)
(1)ファイルダイアログ410を開き、修正するグローバルマップを指定する。なお、ファイルは、グローバルマップ全体として呼び出すことも、いくつかの領域毎に区分けされたグローバルマップとして呼び出すことも可能である。
2.上書きする色の指定(グローバルマップ修正)
(1)スポイトツール411でグローバルマップ中の点を指定して、その点の色で指定する。
(2)パレット415の中から色を指定する。
(3)0〜255の値を入力して色を指定する。なお、黒色は0〜127、灰色は128、白色は129〜255の範囲で指定する。
3.修正したい領域の指定及び修正(グローバルマップ修正)
(1)鉛筆ツール412でグローバルマップ中の点を指定して、その点を指定色で上書きする。
(2)領域指定ツール413で領域を指定して、塗りつぶしツール414で、その領域を指定色で塗りつぶす。
4.修正したグローバルマップの保存(グローバルマップ指定・保存)
(1)ファイルダイアログ410を開き、保存したいグローバルマップを指定する。
ユーザは、上述した機能を利用して、グローバルマップ画像上の物体(障害物)を消去したり、グローバルマップ画像上に物体を追加したりすることができる。すなわち、例えば、グローバルマップ上の物体(障害物)を消去する場合には、白色で表示されている物体を黒色に修正する。一方、グローバルマップ上に物体(障害物)を追加したいときには、物体の位置、形状に合わせて、該物体を白色で描画する。
逆変換部32は、修正部37により修正されたグローバルマップ画像の濃淡情報をグリッドマップ(グローバルマップ)の物体存在確率情報に逆変換することにより、表示用マップ(グローバルマップ画像)をグローバルマップに逆変換するものである。すなわち、逆変換部32は、特許請求の範囲に記載の逆変換手段として機能する。より具体的には、逆変換部32は、濃淡情報(0〜128(80H)〜255(FFH))をグリッド毎の物体存在確率情報(−1〜0〜1)に変換してグローバルマップ(グリッドマップ)を取得する。すなわち、逆変換部32は、上述した変換部31と逆の機能を有するものである。ここで、上述した図3に示された表示用マップが逆変換された場合には、図2に示されたグリッドマップ(グローバルマップ)が生成される。なお、逆変換部32により生成されたグローバルマップは、記憶部30に出力され、該記憶部30で記憶される。
次に、図6を参照しつつグローバルマップ修正装置3の動作について説明する。図6は、グローバルマップ修正装置3によるグローバルマップ修正処理の処理手順を示すフローチャートである。図6に示されるグローバルマップ修正処理は、ユーザの操作を受けて実行される。
ステップS100では、ユーザからのマップ読み込み操作を受けて、指定された修正対象となるグローバルマップが読み込まれ、表示部35に表示される。より具体的には、タッチスクリーン34を構成する操作入力部36がユーザからのマップ読み込み操作を受け付けたときに、記憶部30に記憶されているグローバルマップ(グリッドマップ)が、変換部31により変換されて、グローバルマップ画像(表示用マップ)が生成され(図2、図3参照)、タッチスクリーン34の表示部35に表示される。
次に、ステップS102では、ユーザからの修正操作を受けて、表示部35に表示されたグローバルマップ画像の修正が行われる。より詳細には、ユーザからの色指定操作を受けて、上書きする色の設定が行われるとともに、ユーザからの修正領域指定操作を受けて、指定された領域が設定された色及び濃淡で上書き又は塗りつぶされる(図4参照)。なお、ユーザによる上書き色の指定方法、及び修正領域の指定方法については、上述した通りであるので、ここでは詳細な説明を省略する。そして、ユーザからの修正操作に従い、すべての修正点に対する修正が終了するまで、本修正処理が繰り返して行われる。
修正がすべて終了し、ユーザからのマップ保存操作を受け付けた場合、続くステップS104において、修正されたグローバルマップが保存される。より詳細には、操作入力部36がユーザからのマップ保存操作を受け付けたときに、一時記憶部33に保持されている修正後のグローバルマップ画像(表示用マップ)が、逆変換部32により逆変換されて、修正されたグローバルマップ(グリッドマップ)が生成され(図3、図2参照)、記憶部30に保存される。
ここで、修正前のグローバルマップと修正後のグローバルマップの一例を図5に示す。図5に示した例では、修正前に点線で囲った枠500内に存在していた物体(障害物)が消去されている。このようにして、グローバルマップが現実の周囲環境と合致するように修正される。
本実施形態によれば、ユーザは、タッチスクリーン34の操作入力部36を介して修正操作を行うことにより、表示部35上でグローバルマップを修正することができる。そのため、グローバルマップと実際の周囲環境との相違をユーザのマニュアル操作により修正することができる。その結果、実際の周囲環境に合ったグローバルマップを取得することが可能となる。
また、本実施形態によれば、物体の存在確率情報と画像情報(白黒画像の濃淡情報)との間で相互に変換/逆変換が行われる。そのため、グローバルマップをグローバルマップ画像に変換して表示するとともに、表示部35上に表示されたグローバルマップ画像(濃淡)を修正することにより修正されたグローバルマップ(物体存在確率情報)を取得することができる。よって、より容易にグローバルマップを修正することが可能となる。
本実施形態によれば、物体存在確率情報に対応する画像情報として白黒画像の濃淡情報を用いたので、物体存在確率情報を持つ複数のグリッドから構成されるグローバルマップを、物体存在確率情報が白黒の濃淡で表現された白黒画像(グローバルマップ画像)として視認することが可能となる。また、物体存在確率情報及び白黒画像の濃淡情報は共に1次元データであるため、物体存在確率情報−濃淡情報(画像情報)間の変換/逆変換を簡単に行うことができる。
続いて、図7を用いて、上述したグローバルマップ修正装置3を搭載した自律移動装置1について説明する。図7は、グローバルマップ修正装置3が搭載された自律移動装置1の構成を示すブロック図である。
自律移動装置1は、グローバルマップを取得してグローバルマップ修正装置3に出力するとともに、グローバルマップ修正装置3から得られた修正後のグローバルマップを用いて、該グローバルマップ上の出発点(スタート位置)と目的地(ゴール位置)との間をつなぐ移動経路を計画し、計画された移動経路に沿ってスタート位置からゴール位置まで自律して移動する機能を有するものである。そのため、自律移動装置1は、上述したグローバルマップ修正装置3を備えるとともに、下部に電動モータ12及び該電動モータ12により駆動されるオムニホイール13が設けられた本体10と、周囲に存在する障害物との距離を計測するレーザレンジファインダ20とを備えている。また、自律移動装置1は、グローバルマップ修正装置3により修正されたグローバルマップを用いて移動経路を計画するとともに、計画された経路に沿って移動するように電動モータ12を制御する電子制御装置40を備えている。以下、各構成要素について詳細に説明する。
本体10は、例えば略有底円筒状に形成された金属製のフレームであり、この本体10に、上述したレーザレンジファインダ20、及びグローバルマップ修正装置3を含む電子制御装置40等が取り付けられている。なお、本体10の形状は略有底円筒状に限られない。本体10の下部には、4つの電動モータ12が十字状に配置されて取り付けられている。4つの電動モータ12それぞれの駆動軸12Aにはオムニホイール13が装着されている。すなわち、4つのオムニホイール13は、同一円周上に周方向に沿って90°ずつ間隔を空けて取り付けられている。
オムニホイール13は、電動モータ12の駆動軸12Aを中心にして回転する2枚のホイール14と、各ホイール14の外周に電動モータ12の駆動軸12Aと直交する軸を中心として回転可能に設けられた6個のフリーローラ15とを有する車輪であり、全方向に移動可能としたものである。なお、2枚のホイール14は位相を30°ずらして取り付けられている。このような構成を有するため、電動モータ12が駆動されてホイール14が回転すると、6個のフリーローラ15はホイール14と一体となって回転する。一方、接地しているフリーローラ15が回転することにより、オムニホイール13は、そのホイール14の回転軸に並行な方向にも移動することができる。そのため、4つの電動モータ12を独立して制御し、4つのオムニホイール13それぞれの回転方向及び回転速度を個別に調節することより、自律移動装置1を任意の方向(全方向)に移動させることができる。
4つの電動モータ12それぞれの駆動軸12Aには、該駆動軸12Aの回転角度を検出するエンコーダ16が取り付けられている。各エンコーダ16は、電子制御装置40と接続されており、検出した各電動モータ12の回転角度を電子制御装置40に出力する。電子制御装置40は、入力された各電動モータ12の回転角度から、自律移動装置1の移動量を演算する。
レーザレンジファインダ20は、自機の正面方向(前方)を向くようにして自律移動装置1の前部に取り付けられている。レーザレンジファインダ20は、レーザを射出するとともに、射出したレーザを回転ミラーで反射させることで、自律移動装置1の周囲を中心角240°の扇状に水平方向に走査する。そして、レーザレンジファインダ20は、例えば壁や障害物等の物体で反射されて戻ってきたレーザを検出し、レーザ(反射波)の検出角度、及びレーザを射出してから物体で反射されて戻ってくるまでの時間(伝播時間)を計測することにより、物体との角度及び距離を検出する。なお、レーザレンジファインダ20は、電子制御装置40と接続されており、検出した周囲の物体との距離情報・角度情報を電子制御装置40に出力する。
電子制御装置40は、自律移動装置1の制御を総合的に司るものである。電子制御装置40は、演算を行うマイクロプロセッサ、マイクロプロセッサに各処理を実行させるためのプログラム等を記憶するROM、演算結果などの各種データを一時的に記憶するRAM、及びその記憶内容が保持されるバックアップRAM等から構成されている。また、電子制御装置40は、レーザレンジファインダ20とマイクロプロセッサとを電気的に接続するインターフェイス回路、及び電動モータ12を駆動するモータドライバ等も備えている。
電子制御装置40は、グローバルマップ修正装置3と相互にデータを交換できるように構成されており、グローバルマップを生成してグローバルマップ修正装置3に出力するとともに、グローバルマップ修正装置3から修正されたグローバルマップを取得する。そして、電子制御装置40は、修正されたグローバルマップから移動経路を計画するとともに、計画された移動経路に沿って移動するように電動モータ12を制御する。そのため、電子制御装置40は、グローバルマップ取得部41、センサ情報取得部42、自己位置検知部43、経路計画部44、走行制御部45、障害物回避制御部46等を備えている。なお、これらの各部は、上述したハードウェアとソフトウェアの組み合わせにより構築される。電子制御装置40、電動モータ12、及びオムニホイール13は、特許請求の範囲に記載の移動手段として機能する。
グローバルマップ取得部41は、例えばSLAM技術等を利用して、物体(障害物)が存在する物体領域(障害物領域)と存在しない領域とを表したグローバルマップを生成する。すなわち、グローバルマップ取得部41は、特許請求の範囲に記載の環境地図取得手段として機能する。例えば、SLAM技術を利用してグローバルマップを生成する場合、まず、グローバルマップ取得部41は、レーザレンジファインダ20からセンサ情報取得部42を介して読み込まれた周囲の物体との距離情報・角度情報に基づいてローカルマップを生成する。また、グローバルマップ取得部41は、自己位置検知部43から自己位置を取得する。なお、自己位置検知部43は、エンコーダ16から読み込まれた各電動モータ12の回転角度に応じて算出された自機の移動量を考慮して、ローカルマップとグローバルマップとを照合し、その結果に基づいて自己位置を推定する。続いて、グローバルマップ取得部41は、レーザレンジファインダ20を原点にしたローカルマップを、レーザレンジファインダ20を原点にした座標系からグローバルマップの座標系に自己位置に合わせて座標変換することにより、ローカルマップをグローバルマップに投影する。そして、グローバルマップ取得部41は、この処理を移動しつつ繰り返して実行し、ローカルマップをグローバルマップに順次足し込んで行く(継ぎ足してゆく)ことにより周囲環境全体のグローバルマップを生成する。なお、グローバルマップ取得部41で生成されたグローバルマップは、グローバルマップ修正装置3に出力される。
経路計画部44は、グローバルマップ修正装置3により修正されたグローバルマップを読み込み、この修正されたグローバルマップから自律移動装置1の移動経路を計画するものである。すなわち、経路計画部44は、特許請求の範囲に記載の移動経路計画手段として機能する。経路計画部44は、まず、修正されたグローバルマップに含まれる障害物領域の輪郭を、Minkowski和を利用して、自機の半径だけ拡張して拡張障害物領域を生成し、該拡張障害物領域を除く領域を、障害物と接触することなく移動することができる移動可能領域として抽出する。次に、経路計画部44は、Hilditchの細線化法を利用して、抽出した移動可能領域を細線化する。そして、経路計画部44は、細線化された移動可能領域の中から、A*アルゴリズム(Aスター・アルゴリズム)を利用して、スタート位置とゴール位置との間をつなぐ最短経路を探索することにより移動経路を計画する。
走行制御部45は、障害物を回避しながら計画された移動経路に沿って自機をゴール位置まで移動させるように電動モータ12を制御する。ここで、本実施形態では、障害物を回避しながら移動経路に沿って自機をゴール位置まで移動させる制御方法として仮想ポテンシャル法を採用した。この仮想ポテンシャル法は、ゴール位置に対する仮想的な引力ポテンシャル場と、回避すべき障害物に対する仮想的な斥力ポテンシャル場とを生成して重ね合わせることで、障害物との接触を回避しつつゴール位置へ向かう方法である。より具体的には、走行制御部45は、まず、自己位置に基づいてゴール位置へ向かうための仮想引力を計算する。一方、障害物回避制御部46により、自己位置、移動速度、及び障害物の位置並びに速度に基づいて、障害物を回避するための仮想斥力が算出される。続いて、走行制御部45は、得られた仮想引力と、仮想斥力とをベクトル合成することにより仮想力ベクトルを計算する。そして、走行制御部45は、得られた仮想力ベクトルに応じて電動モータ12(オムニホイール13)を駆動することにより、障害物を回避しつつゴール位置へ移動するように自機の走行をコントロールする。
本実施形態によれば、上述したグローバルマップ修正装置3を備えているため、実際の周囲環境に合ったグローバルマップを取得することができる。そのため、例えばグローバルマップから移動経路を計画する際に、実際には通過できる通路を障害物があるために通過できないと判断してしまうというような不具合を防止することができる。その結果、現実の周囲環境に合致した最適な移動経路に沿って移動することが可能となる。また、自律移動装置1にグローバルマップ修正装置3が搭載されているため、グローバルマップの生成、グローバルマップの修正、及びグローバルマップからの経路計画といった一連の作業を効率よく行うことができる。
以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、上記実施形態では、グローバルマップを画像として表示する際に、グローバルマップを構成する各グリッドが有する物体存在確率情報を白黒の濃淡情報に変換したが、変換する画像情報は白黒の濃淡情報に限られない。例えば、白黒以外の色(単色)の濃淡情報、又はカラー情報に変換してもよい。また、物体存在確率と濃淡情報との対応関係は上記実施形態には限られない。例えば、物体存在確率に対応する白と黒の関係を逆にしてもよい。
上記実施形態では、画像を修正することによりグローバルマップを修正したが、グローバルマップ(グリッドマップ)を構成する各グリッドの物体存在確率の数値を直接修正する構成としてもよい。
上記実施形態では、表示部と操作入力部が一体となったタッチスクリーンを用いたが、表示手段として通常のディスプレイを用いるとともに、操作入力手段としてキーボード、マウス等を用いる構成としてもよい。
上記実施形態では、グローバルマップ修正装置3と電子制御措置40とが分離された構成としたが、グローバルマップ修正装置3と電子制御措置40の構成及び機能分担は上記実施形態には限られない。例えば、グローバルマップ修正装置3と電子制御措置40とを同一のハードウェアで構成してもよい。
実施形態に係るグローバルマップ修正装置の構成を示すブロック図である。 グローバルマップ(グリッドマップ)の一例を示す図である。 表示用マップの一例を示す図である。 実施形態に係るグローバルマップ修正装置の表示画面の一例を示す図である。 修正前と修正後のグローバルマップの一例を示す図である。 実施形態に係るグローバルマップ修正装置によるグローバルマップ修正処理の処理手順を示すフローチャートである。 実施形態に係るグローバルマップ修正装置が搭載された自律移動装置の構成を示すブロック図である。
符号の説明
1 自律移動装置
3 グローバルマップ修正装置
10 本体
12 電動モータ
13 オムニホイール
14 ホイール
15 フリーローラ
16 エンコーダ
20 レーザレンジファインダ
30 記憶部
31 変換部
32 逆変換部
33 一時記憶部
34 タッチスクリーン
35 表示部
36 操作入力部
37 修正部
40 電子制御装置
41 グローバルマップ取得部
42 センサ情報取得部
43 自己位置検知部
44 経路計画部
45 走行制御部
46 障害物回避制御部

Claims (4)

  1. 物体が存在する物体領域が示される環境地図を表示する表示手段と、
    前記表示手段により表示された環境地図に対する、ユーザからの修正操作を受け付ける入力手段と、
    前記入力手段により受け付けられた修正操作に基づいて、前記表示手段に表示されている環境地図を修正する修正手段と、を備える、ことを特徴とする環境地図修正装置。
  2. 前記環境地図を構成する複数のグリッドが持つ物体の存在確率情報を画像情報に変換する変換手段と、
    前記画像情報を前記物体の存在確率情報に逆変換する逆変換手段と、を備え、
    前記表示手段は、前記変換手段により変換された画像情報に基づいて環境地図画像を表示し、
    前記修正手段は、前記表示手段により表示された環境地図画像を修正し、
    前記逆変換手段は、前記修正手段により修正された環境地図画像の画像情報を物体の存在確率情報に逆変換する、ことを特徴とする請求項1に記載の環境地図修正装置。
  3. 前記画像情報は、白黒画像の濃淡情報であることを特徴とする請求項2に記載の環境地図修正装置。
  4. 物体が存在する物体領域が示される環境地図を取得する環境地図取得手段と、
    前記環境地図取得手段により取得された環境地図を修正する、請求項1〜3のいずれか1項に記載の環境地図修正装置と、
    前記環境地図修正装置により修正された環境地図から移動経路を計画する移動経路計画手段と、
    前記移動経路計画手段により計画された移動経路に沿って移動するように自機を駆動する移動手段と、を備える、ことを特徴とする自律移動装置。

JP2008237196A 2008-09-16 2008-09-16 環境地図修正装置及び自律移動装置 Active JP5304128B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008237196A JP5304128B2 (ja) 2008-09-16 2008-09-16 環境地図修正装置及び自律移動装置
PCT/JP2009/004079 WO2010032381A1 (ja) 2008-09-16 2009-08-25 環境地図修正装置及び自律移動装置
KR1020117004984A KR101228487B1 (ko) 2008-09-16 2009-08-25 환경 지도 수정 장치 및 자율 이동 장치
EP09814227.6A EP2348375A4 (en) 2008-09-16 2009-08-25 ENVIRONMENTAL MAP CORRECTION DEVICE AND AUTONOMOUS MIGRATION DEVICE
US13/063,962 US8515613B2 (en) 2008-09-16 2009-08-25 Environmental map correction device and autonomous mobile device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008237196A JP5304128B2 (ja) 2008-09-16 2008-09-16 環境地図修正装置及び自律移動装置

Publications (2)

Publication Number Publication Date
JP2010072762A true JP2010072762A (ja) 2010-04-02
JP5304128B2 JP5304128B2 (ja) 2013-10-02

Family

ID=42039233

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008237196A Active JP5304128B2 (ja) 2008-09-16 2008-09-16 環境地図修正装置及び自律移動装置

Country Status (5)

Country Link
US (1) US8515613B2 (ja)
EP (1) EP2348375A4 (ja)
JP (1) JP5304128B2 (ja)
KR (1) KR101228487B1 (ja)
WO (1) WO2010032381A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186695A (ja) * 2013-03-25 2014-10-02 Murata Mach Ltd 自律移動装置
JP2014229300A (ja) * 2013-05-17 2014-12-08 恩斯邁電子(深▲しん▼)有限公司Msi Computer (Shenzhen) Co.,Ltd. 移動装置
WO2015193941A1 (ja) * 2014-06-16 2015-12-23 株式会社日立製作所 地図生成システム及び地図生成方法
JP5902275B1 (ja) * 2014-10-28 2016-04-13 シャープ株式会社 自律移動装置
JP2016192040A (ja) * 2015-03-31 2016-11-10 株式会社日本総合研究所 自走型走行装置、管理装置、及び歩行障害箇所判定システム
JP2018017900A (ja) * 2016-07-28 2018-02-01 シャープ株式会社 地図作成方法及び地図作成装置
JP2018185767A (ja) * 2017-04-27 2018-11-22 トヨタ自動車株式会社 環境整備ロボットおよびその制御プログラム
JP2020519987A (ja) * 2017-04-21 2020-07-02 エックス デベロップメント エルエルシー 環境地図生成および位置整合のための方法ならびにシステム

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101782057B1 (ko) * 2010-05-03 2017-09-26 삼성전자주식회사 지도 생성 장치 및 방법
US8798840B2 (en) 2011-09-30 2014-08-05 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
TWM451103U (zh) * 2012-10-30 2013-04-21 Agait Technology Corp 行走裝置
JP6020326B2 (ja) * 2013-04-16 2016-11-02 富士ゼロックス株式会社 経路探索装置、自走式作業装置、プログラム及び記録媒体
JP6136543B2 (ja) * 2013-05-01 2017-05-31 村田機械株式会社 自律移動体
KR101509566B1 (ko) 2013-06-18 2015-04-06 박재삼 이동로봇의 주행경로 입력 장치 및 방법
JP5805912B1 (ja) * 2014-03-12 2015-11-10 中国電力株式会社 距離測定装置、距離測定方法
JP2017177328A (ja) * 2016-03-28 2017-10-05 富士ゼロックス株式会社 プリントシステム、サーバ機器、プリンタ選定プログラム、およびプリント指示振分プログラム
US11132611B2 (en) * 2016-05-27 2021-09-28 Kabushiki Kaisha Toshiba Information processing apparatus and information processing method for determining presence probability of object
US11222438B2 (en) * 2016-05-27 2022-01-11 Kabushiki Kaisha Toshiba Information processing apparatus, vehicle, and information processing method for presence probability of object
US11204610B2 (en) * 2016-05-30 2021-12-21 Kabushiki Kaisha Toshiba Information processing apparatus, vehicle, and information processing method using correlation between attributes
EP3252658B1 (en) 2016-05-30 2021-08-11 Kabushiki Kaisha Toshiba Information processing apparatus and information processing method
JP6720715B2 (ja) * 2016-06-17 2020-07-08 日産自動車株式会社 駐車支援方法および装置
WO2018022909A1 (en) * 2016-07-27 2018-02-01 Hadley Ryan Robert Visual representation and simulation of electromagnetic radiation distribution in a volume of space
IL250762B (en) 2017-02-23 2020-09-30 Appelman Dina Method and system for unmanned vehicle navigation
US10921816B2 (en) * 2017-04-21 2021-02-16 Korea Advanced Institute Of Science And Technology Method and apparatus for producing map based on hierarchical structure using 2D laser scanner
WO2019122939A1 (en) * 2017-12-21 2019-06-27 University of Zagreb, Faculty of Electrical Engineering and Computing Interactive computer-implemented method, graphical user interface and computer program product for building a high-accuracy environment map
ES2935618T3 (es) * 2018-08-30 2023-03-08 Elta Systems Ltd Método de navegación de un vehículo y sistema del mismo
US10835096B2 (en) * 2018-08-30 2020-11-17 Irobot Corporation Map based training and interface for mobile robots
KR102097722B1 (ko) * 2019-03-25 2020-04-06 주식회사 트위니 빅셀그리드맵을 이용한 이동체의 자세 추정 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209644A (ja) * 2005-01-31 2006-08-10 Matsushita Electric Works Ltd 清掃ロボット
JP2006205348A (ja) * 2005-01-31 2006-08-10 Sony Corp 障害物回避装置、障害物回避方法及び障害物回避プログラム並びに移動型ロボット装置
JP2007323652A (ja) * 2006-06-01 2007-12-13 Samsung Electronics Co Ltd ロボットの移動経路によって所定領域の特性に関する情報を収集し、分類する方法及び該領域特性によって制御されるロボット、該領域特性を用いたui構成方法及び装置
JP2007323402A (ja) * 2006-06-01 2007-12-13 Matsushita Electric Ind Co Ltd 自走式機器およびそのプログラム
JP2008134904A (ja) * 2006-11-29 2008-06-12 Toyota Motor Corp 自律移動体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5006988A (en) * 1989-04-28 1991-04-09 University Of Michigan Obstacle-avoiding navigation system
JPH07129238A (ja) 1993-11-01 1995-05-19 Fujitsu Ltd 障害物回避経路生成方式
US6667592B2 (en) * 2001-08-13 2003-12-23 Intellibot, L.L.C. Mapped robot system
JP4533659B2 (ja) * 2004-05-12 2010-09-01 株式会社日立製作所 レーザー計測により地図画像を生成する装置及び方法
KR100703692B1 (ko) * 2004-11-03 2007-04-05 삼성전자주식회사 공간상에 존재하는 오브젝트들을 구별하기 위한 시스템,장치 및 방법
US8271132B2 (en) * 2008-03-13 2012-09-18 Battelle Energy Alliance, Llc System and method for seamless task-directed autonomy for robots
KR101075615B1 (ko) * 2006-07-06 2011-10-21 포항공과대학교 산학협력단 주행 차량의 운전자 보조 정보 생성 장치 및 방법
TWI341779B (en) * 2007-12-04 2011-05-11 Ind Tech Res Inst Sytstem and method for graphically arranging robot's working space
KR101372482B1 (ko) * 2007-12-11 2014-03-26 삼성전자주식회사 이동 로봇의 경로 계획 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209644A (ja) * 2005-01-31 2006-08-10 Matsushita Electric Works Ltd 清掃ロボット
JP2006205348A (ja) * 2005-01-31 2006-08-10 Sony Corp 障害物回避装置、障害物回避方法及び障害物回避プログラム並びに移動型ロボット装置
JP2007323652A (ja) * 2006-06-01 2007-12-13 Samsung Electronics Co Ltd ロボットの移動経路によって所定領域の特性に関する情報を収集し、分類する方法及び該領域特性によって制御されるロボット、該領域特性を用いたui構成方法及び装置
JP2007323402A (ja) * 2006-06-01 2007-12-13 Matsushita Electric Ind Co Ltd 自走式機器およびそのプログラム
JP2008134904A (ja) * 2006-11-29 2008-06-12 Toyota Motor Corp 自律移動体

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186695A (ja) * 2013-03-25 2014-10-02 Murata Mach Ltd 自律移動装置
JP2014229300A (ja) * 2013-05-17 2014-12-08 恩斯邁電子(深▲しん▼)有限公司Msi Computer (Shenzhen) Co.,Ltd. 移動装置
WO2015193941A1 (ja) * 2014-06-16 2015-12-23 株式会社日立製作所 地図生成システム及び地図生成方法
JPWO2015193941A1 (ja) * 2014-06-16 2017-04-27 株式会社日立製作所 地図生成システム及び地図生成方法
JP5902275B1 (ja) * 2014-10-28 2016-04-13 シャープ株式会社 自律移動装置
WO2016067640A1 (ja) * 2014-10-28 2016-05-06 シャープ株式会社 自律移動装置
JP2016085689A (ja) * 2014-10-28 2016-05-19 シャープ株式会社 自律移動装置
JP2016192040A (ja) * 2015-03-31 2016-11-10 株式会社日本総合研究所 自走型走行装置、管理装置、及び歩行障害箇所判定システム
JP2018017900A (ja) * 2016-07-28 2018-02-01 シャープ株式会社 地図作成方法及び地図作成装置
JP2020519987A (ja) * 2017-04-21 2020-07-02 エックス デベロップメント エルエルシー 環境地図生成および位置整合のための方法ならびにシステム
JP6986188B6 (ja) 2017-04-21 2022-02-08 イントリンジック イノベーション エルエルシー 環境地図生成および位置整合のための方法ならびにシステム
JP2018185767A (ja) * 2017-04-27 2018-11-22 トヨタ自動車株式会社 環境整備ロボットおよびその制御プログラム

Also Published As

Publication number Publication date
WO2010032381A1 (ja) 2010-03-25
KR101228487B1 (ko) 2013-01-31
EP2348375A4 (en) 2015-04-01
JP5304128B2 (ja) 2013-10-02
KR20110036861A (ko) 2011-04-11
EP2348375A1 (en) 2011-07-27
US8515613B2 (en) 2013-08-20
US20110178668A1 (en) 2011-07-21

Similar Documents

Publication Publication Date Title
JP5304128B2 (ja) 環境地図修正装置及び自律移動装置
JP6949107B2 (ja) 経路を自律走行するようにロボットを訓練するためのシステムおよび方法
JP5157803B2 (ja) 自律移動装置
WO2010038353A1 (ja) 自律移動装置
WO2011074165A1 (ja) 自律移動装置
JP6867120B2 (ja) 地図作成方法及び地図作成装置
JP5800613B2 (ja) 移動体の位置・姿勢推定システム
JP5287051B2 (ja) 自律移動装置
CN112729320B (zh) 一种障碍物地图构建方法、装置、设备及存储介质
US11209277B2 (en) Systems and methods for electronic mapping and localization within a facility
JP6074205B2 (ja) 自律移動体
JP5287060B2 (ja) 経路計画装置及び自律移動装置
JP2010086416A (ja) 自律移動装置
JP6348971B2 (ja) 移動体
JP2015111336A (ja) 移動ロボット
JP5361257B2 (ja) 自律移動装置
JP5212939B2 (ja) 自律移動装置
JP2022530246A (ja) 自己位置推定及び環境地図作成の同時実行
JP4462156B2 (ja) 自律移動装置
JP5287050B2 (ja) 経路計画方法、経路計画装置、及び自律移動装置
JP2020024618A (ja) 移動経路取得方法、及び、移動経路取得装置
KR20190045104A (ko) 위치 판단 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
KR101966396B1 (ko) 위치 판단 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
JP2017224048A (ja) 移動目標決定装置、及び、移動目標決定方法
Kwon et al. Thinning-based topological exploration using position probability of topological nodes

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130610

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5304128

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250