JP2009123061A - ロボット位置検出システム - Google Patents
ロボット位置検出システム Download PDFInfo
- Publication number
- JP2009123061A JP2009123061A JP2007297843A JP2007297843A JP2009123061A JP 2009123061 A JP2009123061 A JP 2009123061A JP 2007297843 A JP2007297843 A JP 2007297843A JP 2007297843 A JP2007297843 A JP 2007297843A JP 2009123061 A JP2009123061 A JP 2009123061A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- display
- map
- distance
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims description 38
- 238000012937 correction Methods 0.000 claims description 34
- 238000005070 sampling Methods 0.000 claims description 14
- 230000001133 acceleration Effects 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 2
- 230000010354 integration Effects 0.000 abstract description 4
- 238000007689 inspection Methods 0.000 description 15
- 238000000034 method Methods 0.000 description 15
- 239000004744 fabric Substances 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【課題】 遠隔操作するロボットの位置および方向をディスプレイ上で確認でき、必要に応じてロボットの表示位置および方向を修正できるようにする。
【解決手段】
ロボット10は、走行体11と、走行体11に回動可能に搭載されたビデオカメラ12と、モータエンコーダ15と、角速度センサ16とを有している。遠隔制御装置20のディスプレイ22は、ビデオカメラ12からの映像を表示し、かつ障害物のマップを表示し、ロボット10の位置および方向を示すマークをリアルタイムで表示する。ロボット10の位置および方向は、モータエンコーダ15と、角速度センサ16の情報に基づいて積分演算を行うことにより得る。このロボットの表示位置および方向は、修正することができる。
【選択図】 図1
【解決手段】
ロボット10は、走行体11と、走行体11に回動可能に搭載されたビデオカメラ12と、モータエンコーダ15と、角速度センサ16とを有している。遠隔制御装置20のディスプレイ22は、ビデオカメラ12からの映像を表示し、かつ障害物のマップを表示し、ロボット10の位置および方向を示すマークをリアルタイムで表示する。ロボット10の位置および方向は、モータエンコーダ15と、角速度センサ16の情報に基づいて積分演算を行うことにより得る。このロボットの表示位置および方向は、修正することができる。
【選択図】 図1
Description
本発明は、床下点検システム等に適用されるロボット位置検出システムに関する。
近年、家屋の床下空間等の点検を行う点検システムの需要が高まっている。特許文献1に開示された点検システムでは、床下空間にレールを配置し、このレールに沿って走行体を走らせ、走行体に設置したカメラで床下空間内を撮影し、その画像を外部の表示装置に表示させるようになっている。走行体にはICタグリーダが設けられ、このICタグリーダが、レールの所定位置に設けたICタグから位置情報を得ることにより、走行体の現在位置を表示装置で確認できるようになっている。
特開2007−56504号公報
上記特許文献1の点検システムでは、床下空間にレールを設置したり、ICタグを配置する等、インフラを整備する必要があるため、点検システムのコストが高くなる欠点があった。また、点検の自由度も低かった。
そこで、遠隔制御により自由に走行するロボットを用いることが考えられる。すなわち、ロボットにビデオカメラを搭載し、ビデオカメラからの映像を見ながらロボットの走行を遠隔操作するのである。
しかし、このシステムでは、ロボットの現在位置を正確に確認することができず、ロボットが迷子になる可能性もあった。
しかし、このシステムでは、ロボットの現在位置を正確に確認することができず、ロボットが迷子になる可能性もあった。
本発明のロボット位置検出システムは、上記課題を解決するためになされたもので、ロボットと、このロボットを遠隔制御する遠隔制御装置とを備え、上記ロボットは、走行体と、撮影手段と、ロボットの移動量を測定する移動量測定手段と、ロボットの旋回時の角速度を測定する角速度測定手段とを有し、上記遠隔制御装置は、(ア)上記ロボットの走行体を手動操作により制御する走行制御手段と、(イ)ディスプレイと、
(ウ)上記移動量測定手段からの移動量情報と、角速度測定手段からの角速度情報に基づき、ロボットの現在の位置および方向を自動的に算出する位置・方向演算手段と、(エ)上記ディスプレイに、障害物のマップを表示し、上記撮影手段からの映像を表示し、さらにマップ上において上記位置・方向演算手段からの情報に基づいてロボットの位置および方向を示すマークを表示する表示制御手段と、(オ)手動操作により、上記ディスプレイに表示されたマップ上のマークの位置および方向を修正する位置・方向修正手段と、を備え、上記位置・方向演算手段は、上記位置・方向修正手段で修正されたマークの位置および方向に対応するロボットの修正位置,方向に基づき、ロボットの現在の位置及び方向を演算することを特徴とする。
(ウ)上記移動量測定手段からの移動量情報と、角速度測定手段からの角速度情報に基づき、ロボットの現在の位置および方向を自動的に算出する位置・方向演算手段と、(エ)上記ディスプレイに、障害物のマップを表示し、上記撮影手段からの映像を表示し、さらにマップ上において上記位置・方向演算手段からの情報に基づいてロボットの位置および方向を示すマークを表示する表示制御手段と、(オ)手動操作により、上記ディスプレイに表示されたマップ上のマークの位置および方向を修正する位置・方向修正手段と、を備え、上記位置・方向演算手段は、上記位置・方向修正手段で修正されたマークの位置および方向に対応するロボットの修正位置,方向に基づき、ロボットの現在の位置及び方向を演算することを特徴とする。
上記構成によれば、ロボットの位置および方向をマップ上に表示されたマークによりリアルタイムで確認しながら、ロボットを遠隔制御できる。また、必要に応じてロボットの位置および方向を修正することができ、ロボットの位置および方向を正確に把握することができる。しかも、この修正は、手動操作によりマップ上のマークの表示位置および方向を変えることにより、簡単に行うことができる。
好ましくは、上記ロボットは更に、上記走行体に搭載された多方向もしくはスキャン型の距離測定手段を有し、上記遠隔制御装置は上記距離測定手段の所定角度範囲にわたる障害物までの距離情報に基づき、ロボットを中心とした障害物検知図を作成し、上記表示制御手段はこの画像を上記ディスプレイに表示する。
この構成によれば、ロボットを中心とした障害物検知図を上記位置、方向の修正に提供することもでき、より正確な修正を行うことができる。
この構成によれば、ロボットを中心とした障害物検知図を上記位置、方向の修正に提供することもでき、より正確な修正を行うことができる。
好ましくは、上記位置・方向修正手段による修正を、上記走行体の停止状態でのみ可能にした。
この構成によれば、演算の負担を軽減できるとともに、正確な修正を行うことができる。
この構成によれば、演算の負担を軽減できるとともに、正確な修正を行うことができる。
本発明の他の態様のロボット位置検出システムは、ロボットと、このロボットを遠隔制御する遠隔制御装置とを備え、上記ロボットは、走行体と、撮影手段と、ロボットの移動量を測定する移動量測定手段と、ロボットの旋回時の角速度を測定する角速度測定手段と、障害物までの距離を測定する距離測定手段を有し、上記遠隔制御装置は、(ア)上記ロボットの走行体を手動操作により制御する走行制御手段と、(イ)ディスプレイと、(ウ)上記移動量測定手段からの移動量情報と、角速度測定手段からの角速度情報に基づき、ロボットの現在の位置および方向を自動的に算出する位置・方向演算手段と、(エ)上記ディスプレイに、障害物のマップを表示し、上記撮影手段からの映像を表示し、さらにマップ上において上記位置・方向演算手段からの情報に基づいてロボットの位置および方向を示すマークを表示する表示制御手段と、(オ)手動操作により、ロボットの位置および方向の修正を指令する修正指令手段と、(カ)上記修正指令手段からの指令に応答して、距離測定手段によるロボットからの複数方向の障害物までの距離情報と、上記マップとを照合することにより、ロボットの位置および方向を自動的に修正する位置・方向修正手段と、を備え、上記位置・方向演算手段は、上記位置・方向修正手段で修正されたロボットの修正位置,方向に基づき、ロボットの現在の位置及び方向を演算することを特徴とする。
この構成によれば、ロボットの位置および方向をマップ上に表示されたマークによりリアルタイムで確認しながら、ロボットを遠隔制御できる。また、必要に応じてロボットの位置および方向を修正することができ、ロボットの位置および方向を正確に把握することができる。しかも、この位置,方向の修正を自動的に行うので操作者の負担を軽減することができる。
この構成によれば、ロボットの位置および方向をマップ上に表示されたマークによりリアルタイムで確認しながら、ロボットを遠隔制御できる。また、必要に応じてロボットの位置および方向を修正することができ、ロボットの位置および方向を正確に把握することができる。しかも、この位置,方向の修正を自動的に行うので操作者の負担を軽減することができる。
好ましくは、上記遠隔制御装置は更に、上記ディスプレイに表示されたマップ上のマークの位置および方向を、手動により初期設定する位置・方向初期設定手段を備えている。
好ましくは、上記位置・方向修正手段は、修正指令直前に位置・方向演算手段で演算されたロボットの位置を中心として探査エリアを設定し、ロボットがこの探査エリア内にあることを条件として、上記距離情報とマップデータを照合する。
この構成によれば、探査エリアを設定することにより演算の負担を軽減することができる。
この構成によれば、探査エリアを設定することにより演算の負担を軽減することができる。
好ましくは、上記位置・方向修正手段は、マップ上の所定の複数方向から1つを選択して上記ロボットの方向であると推定し、上記探査エリアの多数の座標の1つを選択してロボットの位置であると推定し、上記ロボットが選択位置および選択方向にあると推定した時のロボットからの複数方向の障害物までの距離を、マップデータから演算し、この演算距離と、距離測定手段によるロボットからの上記複数方向の障害物までの実測距離とを照合し、両者が誤差範囲内で一致した場合には、上記選択位置および選択方向を実際の位置および方向として特定し、選択方向において上記探査エリアの全ての座標を順に選択して上記演算距離と実測距離の一致を確認できない時には、異なる方向を選択して、探査エリアの多数の座標毎の照合を繰り返す。
この構成によれば、高度な演算をせずに実測距離情報とマップの照合を行うことができる。
この構成によれば、高度な演算をせずに実測距離情報とマップの照合を行うことができる。
好ましくは、上記表示制御手段は、上記位置・方向演算手段で移動量情報および角速度情報のサンプリングタイム毎に、演算されたロボットの位置および方向に基づき、上記マークの表示を更新する。
好ましくは、上記表示制御手段は、上記走行体の停止の度に、演算されたロボットの位置および方向に基づき、上記マークの表示を更新する。
好ましくは、上記表示制御手段は、上記走行体の停止の度に、演算されたロボットの位置および方向に基づき、上記マークの表示を更新する。
好ましくは、上記移動量測定手段は、上記走行体の左右の走行部にそれぞれ設けたモータの回転を検出するエンコーダを含み、これらエンコーダにより検出された単位時間当たりのモータの回転数の平均値を、ロボットの移動量に相当する情報として提供する。
好ましくは、上記移動量測定手段は、ロボットの前後方向の加速度を検出する加速度センサを含み、この加速度センサの検出加速度の積分値をロボットの移動量として提供する。
好ましくは、上記移動量測定手段は、ロボットの前後方向の加速度を検出する加速度センサを含み、この加速度センサの検出加速度の積分値をロボットの移動量として提供する。
本発明のロボット位置検出方法は、上記ロボット位置検出システムを用い、走行体が走行停止の状態で、上記ディスプレイに表示された撮影手段による映像に基づき、上記位置・方向修正手段を操作して上記マークの位置および方向を修正することを特徴とする。
これによれば、映像により簡便にロボットの表示位置、方向を修正できる。
これによれば、映像により簡便にロボットの表示位置、方向を修正できる。
本発明の他のロボット位置検出方法は、障害物検知図の表示機能を有するロボット位置検出システムを用い、走行体が走行停止の状態で、上記ディスプレイに表示された画像演算手段による障害物の画像に基づき、上記位置・方向修正手段を操作して上記マークの位置および方向を修正することを特徴とする。
これによれば、障害物の画像により、正確にロボットの表示位置、方向を修正できる。
これによれば、障害物の画像により、正確にロボットの表示位置、方向を修正できる。
本発明によれば、リアルタイムでロボットの位置を確認しながらロボットを遠隔制御でき、また必要に応じてロボットの位置および方向を修正することにより、その後のロボットの位置および方向を正確に把握することができる。
以下、本発明のロボット位置検出システムを含む床下点検システムの一実施形態について、図面を参照しながら説明する。図1、図2に示すように、床下点検システムは、ロボット10と、このロボット10を遠隔制御する遠隔制御装置20とを備えている。
ロボット10はクローラ11(走行体)を備えている。このクローラ11は、左右の走行部11a毎に正逆回転可能なモータ11bを有している。
上記クローラ11には、ビデオカメラ12(撮影手段)と、レーザー距離計13(距離測定手段)と、通信機14と、走行部11a毎のモータエンコーダ15(移動量測定手段)と、ジャイロセンサ等の角速度センサ16(角速度測定手段)が搭載されている。
上記ビデオカメラ12は、全方向に水平回動可能である。上記距離計13は、ロボット10の真正面を基準に例えば左右120°、合計240°の角度範囲を走査して障害物までの距離情報を得ることができる。
上記モータエンコーダ15は対応するモータ11bの回転数を検出できるようになっている。回転数は、走行部11aの移動量に相当する情報である。
上記角速度センサ16は、例えば走行体11の中心に位置し(走行体11の任意の位置でも可)、ロボット10の旋回時の角速度を検出するものである。
上記遠隔制御装置20は、パソコン21(表示制御手段、位置・方向演算手段、位置・方向修正手段、位置・方向初期設定手段、障害物検知図演算手段等)と、このパソコン21に接続されたディスプレイ22、ジョイスティックコントローラ23(走行制御手段、ビデオカメラ制御手段)と、通信機24とを備えている。パソコン21にはキーボードやマウスも含まれるものとする。
本実施形態では、通信機24は上記ロボット10の通信機14と無線で通信を行うが、光ファイバー等により有線で通信を行ってもよい。
上記ジョイスティックコントローラ23は2つのジョイスティックを有し、一方のジョイスティックの操作信号は、パソコン21で処理され通信機24を介して通信機14で受信され、クローラ11の2つのモータ11bのドライバに送られ、これにより、クローラ11の前進、後退、左右への走行旋回(走行を伴った方向転換)、超信地旋回(位置を変えないで方向転換)等を行えるようになっている。
また、他方のジョイスティックの操作により、ビデオカメラ12を自在に回動操作できるようになっている。
上記走行制御やビデオカメラ12の制御は、ジョイスティックの代わりにキーボード、マウス、ディスプレイ22のタッチキー等の操作により行ってもよい。
ビデオカメラ12の映像信号や距離計13、モータエンコーダ15、角速度センサ16からの測定信号は、通信機14、24を介してパソコン21に送られるようになっている。ビデオカメラ12の映像はディスプレイ22に表示される。
図3は、点検対象となる建造物の1階のマップを示している。このマップにおいて太線は壁を表すが、この壁の位置は床下空間での布基礎(床下空間における壁、障害物)に対応している。換言すれば、この太線は床下空間の布基礎を表している。
本実施形態では、紙面に描画したマップがスキャナーで読み込まれ、パソコン21で画像編集ソフトを用いて画像処理され、マップデータとしてパソコン21の記憶媒体に記憶される。
上記マップデータは、X−Y座標の多数の画素によるデータである。なお、布基礎はX座標軸またはY座標軸と平行になるように修正されている。
ディスプレイ22には、スキャナーで読み込まれたマップがそのまま表示されるとともに、上記画像処理により認識された布基礎に相当する画素が指定された色(例えば青)に色づけされている。
ディスプレイ22には、スキャナーで読み込まれたマップがそのまま表示されるとともに、上記画像処理により認識された布基礎に相当する画素が指定された色(例えば青)に色づけされている。
次に、上記システムにより実行される床下点検の工程を、ロボット10の位置検出を中心にして、図5、図6のフローチャートを参照しながら説明する。
パソコン21は、操作者の操作により、プログラムをスタートさせ、初期状態すなわち図5のステップ100の操作待ち状態になる。
パソコン21の手動操作によりマップデータ読込の指令が生じると、この指令に応答してパソコン21は、記憶媒体からマップデータを読み込むとともに、このマップデータを上記映像の表示領域と異なる領域において、図3に示すようにディスプレイ22に表示し(ステップ101)、それからステップ100に戻る。このステップ101では、後述のスケール設定、初期位置設定が未だ実行されていないことを認識する。
パソコン21の手動操作、具体的には図4に示すディスプレイ22上のスケール設定ボタン51をクリックすることにより、スケール設定の指令が生じる(ステップ102)。この指令に応答してパソコン21は、マップデータの読込が有ったかどうか判断し(ステップ103)、ここで否定判断した時(ステップ101を予め実行していない時)には、ステップ100に戻り、肯定判断した時にはステップ104に進み、スケール値の入力を待つ。
上記ステップ104では、スケール設定を促す表示をしてもよい。操作者はディスプレイ22上のマップにおいて、マウスを操作して図3に示すようにスケール60の開始点61と終了点62を指定するとともに、図4に示すように、このスケール60の長さを数値表示部52に入力する。
パソコン21は、上記スケール60と設定長さの情報に基づき、上記マップで表示された建物の実寸(換言すればマップの縮尺)を認識することができる。
マップに建物の実寸が寸法線とともに表示されている場合には、表示された寸法線に合わせてスケールを描き、表示された実寸をスケールの設定長さとして入力してもよい。
マップに建物の実寸が寸法線とともに表示されている場合には、表示された寸法線に合わせてスケールを描き、表示された実寸をスケールの設定長さとして入力してもよい。
スケール設定に際しては、上記ディスプレイ22においてスケール60を一定長さで表示しておき、操作者がこのスケール60の長さ(数値)だけを入力してもよいし、これとは逆に、設定長さを一定にしておき、操作者がディスプレイ22にスケール60を入力してもよい。また、上記スケールではなく、マップの縮尺情報を数値として直接パソコンに入力してもよい。
上述したステップ101〜104は、ロボット10の位置および方向を初期設定するまでの準備工程である。この準備工程と相前後して、床板の一部を開いてロボット10を床下空間に置く。次に、パソコン21の手動操作により、ロボットの位置および方向の初期設定を行う(ステップ105)。具体的には、図4に示すように、位置セットボタン53をクリックし、その後で、多数(例えば30°間隔で12個)の方向表示部54の1つをロボット10のマップ上での実際の方向に合わせて選択する。さらに、カーソルをマップ上においてロボット10の実際の位置に合わせてクリックする。
上記ステップ105は、ロボット10の位置および方向を初期設定する手段を構成するが、後述するように位置および方向を修正する手段をも構成する。
上記操作に応答してパソコン21は、ステップ104のスケール設定があったかどうか判断し(ステップ106)、否定判断した時にはステップ100に戻り、肯定判断した時にはロボット10の位置、方向を示すマーク70をマップ上に表示する。本実施形態では図3に示すように、ロボット10の位置を小さな円71で表示し、方向をこの円に連なる矢印72で表す。
操作者は、図4に示すディスプレイ22の数値表示部55,56において直進係数と、旋回係数を入力することもできる(ステップ108)。これら係数は通常1.00に設定されている。直進係数は、エンコーダ15の計数値と実際の移動量との関係を示すものであり、例えばクローラベルトの磨耗により走行部11aの径が小さくなった時には、直進係数を大きくする。旋回係数は、角速度センサ16で測定された角速度と実際の角速度との関係を示すものである。
ジョイスティックコントローラ23の手動操作でクローラ11の操作を開始すると(ステップ109)、初期位置設定ありか否かを判断し(ステップ110)、ここで否定判断した場合には、本発明の位置検出システムを利用せずに、ビデオカメラ12からの映像情報だけで、以下のクローラ11の走行制御を実行する。
ジョイスティックコントローラ23のジョイスティックの倒し方向および倒し量から、クローラ11のモータ回転指令およびその手動指令値を読み込み、それに応じて左右のモータ11bの駆動電流を制御し、ひいてはクローラ11の走行制御を行う(ステップ111)。
次に、サンプリングタイム(20ms)を経過したか否かを判断する(ステップ112)。サンプリングタイムを経過したら、クローラ11の操作を停止したか否かを判断する(ステップ113)。この判断はジョイスティックコントローラ23からの操作信号に基づく。ここで否定判断した時には、ステップ111に戻ってクローラ11制御を継続する。
上記ステップ113で肯定判断した場合にはステップ100に戻る。
上記ステップ113で肯定判断した場合にはステップ100に戻る。
上記ステップ110で肯定判断した時には、図6に示すように、位置および方向検出を伴う制御を実行する。
まず、左右のエンコーダ15の値を「旧値」として記憶する(ステップ120)。次に、クローラ操作信号に基づきクローラ11の制御を行う(ステップ121)。このステップ121の制御は、ステップ111の制御と同様であるので説明を省略する。
まず、左右のエンコーダ15の値を「旧値」として記憶する(ステップ120)。次に、クローラ操作信号に基づきクローラ11の制御を行う(ステップ121)。このステップ121の制御は、ステップ111の制御と同様であるので説明を省略する。
次に、サンプリングタイム(20ms)が経過したか否かを判断する(ステップ122)。このステップ122でサンプリングタイムが経過したと判断したら、左右エンコーダ15の値を「新値」として記憶する(ステップ123)。
次に、「直進、走行旋回のいずれか」であるか否かを判断する(ステップ124)。この判断は、ジョイスティックコントローラ23からの操作信号に基づいて行う。
上記ステップ124で肯定判断の場合(すなわちロボット10が走行していると判断した場合)には、左右のエンコーダ15の「新値」と「旧値」の差をそれぞれ算出し、その差の左右平均値からサンプリングタイム間隔(単位時間)での移動量を得(ステップ125)、次のステップ126に進む。
上記ステップ124で否定判断した場合、すなわち超信地旋回であると判断した場合には、ステップ125をパスしてステップ126に進む。
ステップ126では、旋回(走行旋回もしくは超信地旋回)しているか否かを判断する。この判断も上記ジョイスティックコントローラ23からの操作信号に基づいて行う。
上記ステップ126で肯定判断した場合には、ステップ127で角速度センサ16の測定値を読み込んだ後、ステップ128に進む。
ステップ128では、上記角速度測定値にサンプリングタイムを乗じて、このサンプリングタイムでの角度変更値を演算し、これを前回演算された方向を表す旋回角度(初期設定直後は初期設定された角度)に加算する(換言すれば角速度をサンプリングタイムで積分する)ことにより、現在の方向(旋回角度)を算出し、ステップ129に進む。
ステップ128では、上記角速度測定値にサンプリングタイムを乗じて、このサンプリングタイムでの角度変更値を演算し、これを前回演算された方向を表す旋回角度(初期設定直後は初期設定された角度)に加算する(換言すれば角速度をサンプリングタイムで積分する)ことにより、現在の方向(旋回角度)を算出し、ステップ129に進む。
上記ステップ126で否定判断した場合、すなわち直進と判断した場合には、ステップ127,128をパスし(すなわち、角速度を測定せず角度変更値を演算せずに)、ステップ129に進む。
ステップ129では、ステップ128で演算された方向(旋回角度)と、ステップ125で演算された単位時間当たりの移動量から、単位時間当たりのX方向、Y方向の移動成分をそれぞれ演算し、これを前回演算したX座標位置およびY座標位置(初期設定直後は初期設定値)にそれぞれ加算する(換言すればX方向の移動成分およびY方向の移動成分をそれぞれサンプリングタイムで積分する)ことにより、現在の位置(X座標位置およびY座標位置)を算出する。そして、算出されたロボット10の方向、および位置に応じてマーク70をマップ上に表示する。
上記ステップ124で超信地旋回と判断した場合には、前述したようにステップ129での位置演算は省略し、前にステップ129で演算されたロボット10の位置と今回のステップ128で演算したロボット10の方向に基づき、マーク70を表示する。
上記ステップ126で否定判断した場合、すなわち直進であると判断した場合には、前述したようにステップ127,128の方向演算を省略し、前にステップ128で算出した方向と、ステップ125で演算したサンプリングタイム当たりの移動量と、前回算出したX座標位置およびY座標位置に基づき、ロボット10の位置を演算し、この演算した位置と前回演算した方向に基づき、マーク70を表示する。
上記ステップ129の次にクローラ操作が停止されたか否かをジョイスティックコントローラ23の操作信号から判断し(ステップ130)、否定判断であればステップ120に戻り、上記制御と位置・方向検出を繰り返し実行する。なお、次のサイクルのステップ120では、前サイクルのステップ123で検出したエンコーダ値を「旧値」として記憶する。
上記ステップ130で肯定判断した時には、ステップ100へ戻る。
上記ステップ130で肯定判断した時には、ステップ100へ戻る。
上述したように、サンプリングタイム毎にロボットの現在の位置および方向を示すマーク70の表示を更新するので、操作者はこのマーク70によりリアルタイムでロボット10の位置および方向を確認し、かつビデオカメラ12からの映像を見ながら、ロボット10の走行制御を円滑に行うことができる。
図3には、理解を容易にするため、ロボット10の移動に伴って、マーク70がA,A’,A”と順に移動している様子を示す。このような移動軌跡を線または点で表示してもよい。
操作者は、ロボット10の位置を確認しながらビデオカメラ12の映像により布基礎の壁面状態を含む床下空間の状態を点検することができる。そのため、例えば布基礎の壁面に異常がある場合には、その箇所を正確に特定できる。また、位置確認ができずにロボット10を戻すことが困難になるような不都合も生じない。
布基礎の壁面等に異常を発見した場合には、その位置をディスプレイ22のマップ上で特定して表示し、その異常個所の位置と映像を記憶するようにしてもよい。
ところで、ロボット10の方向および位置は実質的に積分演算で求めているため、ロボット10の走行制御を継続して行っていると、マーク70による表示位置および方向(すなわち演算された位置と方向)が実際のロボット10の位置および方向と一致しなくなってくる。
そこで、操作者にはクローラ11の操作を停止する度に、ロボット10の位置および方向を修正する機会が与えられる。すなわち、マップ上にマーク70で表示されたロボット10の位置および方向と、映像から推測されるロボット10の位置および方向とを照合することができる。
上記マーク70の位置、方向が映像から推測される位置、方向と異なる場合には、ステップ105を実行する。すなわち、映像から推測される位置および方向を前述の初期位置、初期方向の入力と同様にして入力する。これにより、例えば図3で示すようにA”で示すマーク70を、Bで示すマーク70(破線で示す)に修正することができる。
ロボット10の位置および方向が修正された後では、この修正位置および方向を基準にして(初期値として)、上述した積分演算を行うことにより、ロボット10の位置および方向を演算する。その結果、正確な位置および方向をリアルタイムで表示することができる。
上記実施形態では、ビデオカメラ12の映像だけでロボット10の位置、方向の修正を行ったが、ロボット10の所定方向(例えば正面)における距離計13からの距離情報をディスプレイ22に表示し、この距離情報をも参考にして上記修正を行ってもよい。
また、距離計13からの多方向の距離情報から得られる障害物検知図に基づいてあるいはこの障害物検知図とビデオカメラ12の映像に基づいて上記修正を行ってもよい。
詳述すると、定期的にパソコン21は、距離計13を制御して240°の走査範囲で障害物(布基礎壁面等)までの距離情報を得る。この距離情報から、ロボット10を中心にした障害物検知図を作成し、この画像80を図7に示すようにディスプレイ22の所定領域(映像表示領域、マップ表示領域と異なる領域)に定期的に表示する。この際、壁面の画像80とともにロボット10の前後方向、左右方向に延びるスケール81も表示する。
操作者は、ビデオカメラ12の映像から距離計13の走査範囲において壁面以外に障害物が無いことを確認しつつ、この障害物検知図の画像80を見ながらロボット10の正確な位置および方向を認識し、前述のステップ105で修正を行うことができる。なお、壁とロボットのなす角度を演算し、表示してもよい。
さらに本実施形態では、ロボット10の位置および方向を、操作者の手動修正によらず、自動修正することもできる。この場合、操作者は、ビデオカメラ12の映像から距離計13の走査範囲において壁面以外に障害物が無いことを確認してから、図4に示す自動修正ボタン58(修正指令手段)をクリックする。
上記自動修正ボタン58がクリックされると、図8のプログラムを実行する。まず、マップデータに基づき壁面認識処理を行う(ステップ201)。この壁面認識処理は、前述したように青に着色された画素を布基礎と認識することを意味する。
次に、現在のロボット10の表示位置(例えば図3におけるA”)を中心としてマップ上でスキャンエリア90(探査エリア)の指定を行う(ステップ202)。このスキャンエリア90は、ロボット10が位置する可能性がある範囲を意味する。
次に、距離計13により、ロボット10の前方向および左右方向(90°離れた3方向)に位置する布基礎壁面までの距離を測定し、記憶する(ステップ203)。
次に、推定方向の指定、変更を行う(ステップ204)。このステップ204における方向の推定とは、マップ上でのロボット10の向きの推定を意味する。例えば、ロボット10の向きをマップの上方向(0°)を初めとして、所定角度(例えば10°)間隔で時計周りに順に推定する。
次に、ステップ205に進み、スキャンエリア90内の探査座標の推定、変更を行う。前述したように操作者が指定したスキャンエリア90はロボット10が位置する可能性がある範囲を意味するから、このスキャンエリア90にX,Y軸に沿ってマトリックス状(碁盤目状)に配置された座標点を、順にロボット10の現在位置と推定する。
上記探査座標のスキャンは例えば次のようにして行われる。スキャンエリア90において左上隅の座標点から始まり右方向に順にスキャンし、その列が終わったらその下の列の座標点を左から順にスキャンし、最後の座標点が右下隅の座標点となる。
次に、3方向の実測距離データと、3方向の演算距離が一致するか否かを判断する(ステップ206)。3方向の演算距離とは、ロボット10が推定方向にある時の、ロボット10の前方向、左右方向におけるロボット10と壁面までの距離をマップデータから演算して求めた距離である。
ステップ206で一致したとの判断した場合には、推定した座標点をロボット10の現在位置として決定し、推定した方向をロボットの現在の方向として決定し、この決定された位置及び方向のマーク70を表示する(ステップ207)。
途中でロボット10の現在位置に相当する座標が見つかった場合には、残りの座標のスキャンを省略する。
推定した方向、座標で一致しなかった場合には、推定した方向で上記スキャンエリア90の全ての座標で照合が完了したか否かを判断する(ステップ208)。ここで否定判断した場合には、ステップ205に戻り、推定座標を変えてステップ206の判断を繰り返す。
ステップ208で肯定判断した場合には、全方向で、スキャンエリアの走査が完了したか否かを判断する(ステップ209)。ここで否定判断した場合には、ステップ204に戻り、推定方向を10°変更して上記ステップ205〜209を繰り返す。
ステップ209で肯定判断した時には、ロボット10の位置および方向を特定できなかったとして、その旨表示し(ステップ210)、このプログラムを終了する。
上記自動修正した後は、手動修正と同様に、この修正位置、方向に基づいて積分演算を行い現在のロボット10の位置および方向を算出する。
位置検出システムは、上記手動修正機能を持たず、上記自動修正機能だけを持つようにしてもよい。
位置検出システムは、上記手動修正機能を持たず、上記自動修正機能だけを持つようにしてもよい。
本発明は上記実施形態に制約されず、種々の態様を採用可能である。例えば、マークの表示更新は、サンプリングタイム毎ではなくクローラ停止毎に行ってもよい。この場合でも実質的にリアルタイムでロボットの位置および方向を表示できる。
図6におけるステップ124,126は省いても良い。
図6におけるステップ124,126は省いても良い。
モータエンコーダを用いる場合、走行旋回の際のクローラベルトと床面のすべりにより、左右エンコーダの平均値で移動量を求めても誤差が大きくなる場合がある。この場合には、クローラの操作において走行旋回を禁じ、直進と超信地旋回だけを行うようにしてもよい。
モータエンコーダの代わりに、クローラ11の前後方向の加速度を検出する1つの加速度センサをクローラに搭載してもよい。加速度センサの場合には、その測定加速度の積分値が、走行速度(単位時間当たりの移動量)として用いられる。
上記モータエンコーダや加速度センサは、移動量測定手段の主要部分を構成している。
上記モータエンコーダや加速度センサは、移動量測定手段の主要部分を構成している。
自動修正に際して、予めロボットの前後方向を壁面に対して平行または垂直にしてもよい。この場合には、推定方向を90°間隔に変更しても正確な位置検出を行うことができる。
上記実施形態ではマップデータを紙面に描いたマップをスキャニングして得たが、パソコンにマップデータを直接入力するようにしてもよい。
走行体はクローラの代わりにタイヤ式のものを用いてもよい。
走行体はクローラの代わりにタイヤ式のものを用いてもよい。
本発明は床下の点検システムに適用したが、室内空間の点検システムに適用してもよい。この場合、部屋を仕切る壁面のマップデータが用いられる。
本発明は、建造物以外でも対象物の位置が固定的である空間例えば工場プラント内を走行するロボットの位置検出に用いることもできる。
本発明は、点検以外の種々の用途に用いることもできる。
本発明は、建造物以外でも対象物の位置が固定的である空間例えば工場プラント内を走行するロボットの位置検出に用いることもできる。
本発明は、点検以外の種々の用途に用いることもできる。
10 ロボット
11 クローラ(走行体)
12 ビデオカメラ(撮影手段)
13 距離計(距離測定手段)
15 モータエンコーダ(移動量測定手段)
16 角速度センサ(角速度測定手段)
20 遠隔制御装置
21 パソコン(表示制御手段、位置・方向演算手段、位置・方向修正手段、位置方向初期設定手段、障害物検知図演算手段等)
22 ディスプレイ
23 ジョイスティックコントローラ(走行制御手段、カメラ制御手段)
70 マーク
80 壁面(障害物検知の画像)
90 探索エリア
11 クローラ(走行体)
12 ビデオカメラ(撮影手段)
13 距離計(距離測定手段)
15 モータエンコーダ(移動量測定手段)
16 角速度センサ(角速度測定手段)
20 遠隔制御装置
21 パソコン(表示制御手段、位置・方向演算手段、位置・方向修正手段、位置方向初期設定手段、障害物検知図演算手段等)
22 ディスプレイ
23 ジョイスティックコントローラ(走行制御手段、カメラ制御手段)
70 マーク
80 壁面(障害物検知の画像)
90 探索エリア
Claims (11)
- ロボットと、このロボットを遠隔制御する遠隔制御装置とを備え、
上記ロボットは、走行体と、撮影手段と、ロボットの移動量を測定する移動量測定手段と、ロボットの旋回時の角速度を測定する角速度測定手段とを有し、
上記遠隔制御装置は、
(ア)上記ロボットの走行体を手動操作により制御する走行制御手段と、
(イ)ディスプレイと、
(ウ)上記移動量測定手段からの移動量情報と、角速度測定手段からの角速度情報に基づき、ロボットの現在の位置および方向を自動的に算出する位置・方向演算手段と、
(エ)上記ディスプレイに、障害物のマップを表示し、上記撮影手段からの映像を表示し、さらにマップ上において上記位置・方向演算手段からの情報に基づいてロボットの位置および方向を示すマークを表示する表示制御手段と、
(オ)手動操作により、上記ディスプレイに表示されたマップ上のマークの位置および方向を修正する位置・方向修正手段と、を備え、
上記位置・方向演算手段は、上記位置・方向修正手段で修正されたマークの位置および方向に対応するロボットの修正位置,方向に基づき、ロボットの現在の位置及び方向を演算することを特徴とするロボット位置検出システム。 - 上記ロボットは更に、上記走行体に搭載された多方向もしくはスキャン型の距離測定手段を有し、上記遠隔制御装置は上記距離測定手段の所定角度範囲にわたる障害物までの距離情報に基づき、ロボットを中心とした障害物検知図を作成し、上記表示制御手段はこの画像を上記ディスプレイに表示することを特徴とする請求項1に記載のロボット位置検出システム。
- 上記位置・方向修正手段による修正を、上記走行体の停止状態でのみ可能にしたことを特徴とする請求項1または2に記載のロボット位置検出システム。
- ロボットと、このロボットを遠隔制御する遠隔制御装置とを備え、
上記ロボットは、走行体と、撮影手段と、ロボットの移動量を測定する移動量測定手段と、ロボットの旋回時の角速度を測定する角速度測定手段と、障害物までの距離を測定する距離測定手段を有し、
上記遠隔制御装置は、
(ア)上記ロボットの走行体を手動操作により制御する走行制御手段と、
(イ)ディスプレイと、
(ウ)上記移動量測定手段からの移動量情報と、角速度測定手段からの角速度情報に基づき、ロボットの現在の位置および方向を自動的に算出する位置・方向演算手段と、
(エ)上記ディスプレイに、障害物のマップを表示し、上記撮影手段からの映像を表示し、さらにマップ上において上記位置・方向演算手段からの情報に基づいてロボットの位置および方向を示すマークを表示する表示制御手段と、
(オ)手動操作により、ロボットの位置および方向の修正を指令する修正指令手段と、
(カ)上記修正指令手段からの指令に応答して、距離測定手段によるロボットからの複数方向の障害物までの距離情報と、上記マップとを照合することにより、ロボットの位置および方向を自動的に修正する位置・方向修正手段と、を備え、
上記位置・方向演算手段は、上記位置・方向修正手段で修正されたロボットの修正位置,方向に基づき、ロボットの現在の位置及び方向を演算することを特徴とするロボット位置検出システム。 - 上記遠隔制御装置は更に、上記ディスプレイに表示されたマップ上のマークの位置および方向を、手動により初期設定する位置・方向初期設定手段を備えたことを特徴とする請求項4に記載のロボット位置検出システム。
- 上記位置・方向修正手段は、修正指令直前に位置・方向演算手段で演算されたロボットの位置を中心として探査エリアを設定し、ロボットがこの探査エリア内にあることを条件として、上記距離情報とマップデータを照合することを特徴とする請求項4または5に記載のロボット位置検出システム。
- 上記位置・方向修正手段は、
マップ上の所定の複数方向から1つを選択して上記ロボットの方向であると推定し、上記探査エリアの多数の座標の1つを選択してロボットの位置であると推定し、
上記ロボットが選択位置および選択方向にあると推定した時のロボットからの複数方向の障害物までの距離を、マップデータから演算し、この演算距離と、距離測定手段によるロボットからの上記複数方向の障害物までの実測距離とを照合し、両者が誤差範囲内で一致した場合には、上記選択位置および選択方向を実際の位置および方向として特定し、
選択方向において上記探査エリアの全ての座標を順に選択して上記演算距離と実測距離の一致を確認できない時には、異なる方向を選択して、探査エリアの多数の座標毎の照合を繰り返すことを特徴とする請求項6に記載のロボット位置検出システム。 - 上記表示制御手段は、上記位置・方向演算手段で移動量情報および角速度情報のサンプリングタイム毎に、演算されたロボットの位置および方向に基づき、上記マークの表示を更新することを特徴とする請求項1〜7のいずれかに記載のロボット位置検出システム。
- 上記表示制御手段は、上記走行体の停止の度に、演算されたロボットの位置および方向に基づき、上記マークの表示を更新することを特徴とする請求項1〜7のいずれかに記載のロボット位置検出システム。
- 上記移動量測定手段は、上記走行体の左右の走行部にそれぞれ設けたモータの回転を検出するエンコーダを含み、これらエンコーダにより検出された単位時間当たりのモータの回転数の平均値を、ロボットの移動量に相当する情報として提供することを特徴とする請求項1〜9のいずれかに記載のロボット位置検出システム。
- 上記移動量測定手段は、ロボットの前後方向の加速度を検出する加速度センサを含み、この加速度センサの検出加速度の積分値をロボットの移動量として提供することを特徴とする請求項1〜9のいずれかに記載のロボット位置検出システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007297843A JP2009123061A (ja) | 2007-11-16 | 2007-11-16 | ロボット位置検出システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007297843A JP2009123061A (ja) | 2007-11-16 | 2007-11-16 | ロボット位置検出システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009123061A true JP2009123061A (ja) | 2009-06-04 |
Family
ID=40815126
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007297843A Pending JP2009123061A (ja) | 2007-11-16 | 2007-11-16 | ロボット位置検出システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009123061A (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100971464B1 (ko) | 2009-07-14 | 2010-07-22 | 이성호 | 수기요법 로봇 |
JP2013114327A (ja) * | 2011-11-25 | 2013-06-10 | Chiba Inst Of Technology | 無人走行体の遠隔操縦システム |
JP2014505934A (ja) * | 2010-12-30 | 2014-03-06 | アイロボット コーポレイション | 可動式ロボットシステム |
KR101376536B1 (ko) * | 2012-09-04 | 2014-03-19 | 한국생산기술연구원 | 센서 융합을 이용한 모바일 객체의 위치 인식방법 및 그 장치 |
US8918213B2 (en) | 2010-05-20 | 2014-12-23 | Irobot Corporation | Mobile human interface robot |
US8918209B2 (en) | 2010-05-20 | 2014-12-23 | Irobot Corporation | Mobile human interface robot |
US8930019B2 (en) | 2010-12-30 | 2015-01-06 | Irobot Corporation | Mobile human interface robot |
US8935005B2 (en) | 2010-05-20 | 2015-01-13 | Irobot Corporation | Operating a mobile robot |
US8958911B2 (en) | 2012-02-29 | 2015-02-17 | Irobot Corporation | Mobile robot |
CN104898662A (zh) * | 2014-11-27 | 2015-09-09 | 王俊芝 | 一种实现智能化越障的方法 |
WO2017000515A1 (zh) * | 2015-06-30 | 2017-01-05 | 上海慧流云计算科技有限公司 | 一种基于路径集与坐标系的室内定位系统及方法 |
CN106323294A (zh) * | 2016-11-04 | 2017-01-11 | 新疆大学 | 变电站巡检机器人定位方法及定位装置 |
US10347026B2 (en) | 2017-02-10 | 2019-07-09 | Fuji Xerox Co., Ltd. | Information processing apparatus with location based display |
CN110793514A (zh) * | 2018-08-02 | 2020-02-14 | 菜鸟智能物流控股有限公司 | 位置测量方法和位置测量装置 |
JP2022099637A (ja) * | 2020-12-23 | 2022-07-05 | 井関農機株式会社 | コンバイン |
-
2007
- 2007-11-16 JP JP2007297843A patent/JP2009123061A/ja active Pending
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100971464B1 (ko) | 2009-07-14 | 2010-07-22 | 이성호 | 수기요법 로봇 |
US9014848B2 (en) | 2010-05-20 | 2015-04-21 | Irobot Corporation | Mobile robot system |
US9498886B2 (en) | 2010-05-20 | 2016-11-22 | Irobot Corporation | Mobile human interface robot |
US9400503B2 (en) | 2010-05-20 | 2016-07-26 | Irobot Corporation | Mobile human interface robot |
US8918213B2 (en) | 2010-05-20 | 2014-12-23 | Irobot Corporation | Mobile human interface robot |
US8918209B2 (en) | 2010-05-20 | 2014-12-23 | Irobot Corporation | Mobile human interface robot |
US9902069B2 (en) | 2010-05-20 | 2018-02-27 | Irobot Corporation | Mobile robot system |
US8935005B2 (en) | 2010-05-20 | 2015-01-13 | Irobot Corporation | Operating a mobile robot |
US8930019B2 (en) | 2010-12-30 | 2015-01-06 | Irobot Corporation | Mobile human interface robot |
JP2014505934A (ja) * | 2010-12-30 | 2014-03-06 | アイロボット コーポレイション | 可動式ロボットシステム |
JP2013114327A (ja) * | 2011-11-25 | 2013-06-10 | Chiba Inst Of Technology | 無人走行体の遠隔操縦システム |
US8958911B2 (en) | 2012-02-29 | 2015-02-17 | Irobot Corporation | Mobile robot |
KR101376536B1 (ko) * | 2012-09-04 | 2014-03-19 | 한국생산기술연구원 | 센서 융합을 이용한 모바일 객체의 위치 인식방법 및 그 장치 |
CN104898662A (zh) * | 2014-11-27 | 2015-09-09 | 王俊芝 | 一种实现智能化越障的方法 |
CN104898662B (zh) * | 2014-11-27 | 2017-04-26 | 宁波市智能制造产业研究院 | 一种实现智能化越障的服务机器人 |
WO2017000515A1 (zh) * | 2015-06-30 | 2017-01-05 | 上海慧流云计算科技有限公司 | 一种基于路径集与坐标系的室内定位系统及方法 |
CN106323294A (zh) * | 2016-11-04 | 2017-01-11 | 新疆大学 | 变电站巡检机器人定位方法及定位装置 |
CN106323294B (zh) * | 2016-11-04 | 2023-06-09 | 新疆大学 | 变电站巡检机器人定位方法及定位装置 |
US10347026B2 (en) | 2017-02-10 | 2019-07-09 | Fuji Xerox Co., Ltd. | Information processing apparatus with location based display |
CN110793514A (zh) * | 2018-08-02 | 2020-02-14 | 菜鸟智能物流控股有限公司 | 位置测量方法和位置测量装置 |
CN110793514B (zh) * | 2018-08-02 | 2024-03-01 | 菜鸟智能物流控股有限公司 | 位置测量方法和位置测量装置 |
JP2022099637A (ja) * | 2020-12-23 | 2022-07-05 | 井関農機株式会社 | コンバイン |
JP7386410B2 (ja) | 2020-12-23 | 2023-11-27 | 井関農機株式会社 | コンバイン |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009123061A (ja) | ロボット位置検出システム | |
US9037336B2 (en) | Robot system | |
JP5588812B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
JP4604703B2 (ja) | 駐車補助装置 | |
US20190039605A1 (en) | Automated driving control device, vehicle, and automated driving control method | |
JP5122887B2 (ja) | 実写基盤移動機器の制御方法、装置および媒体 | |
JP6599543B2 (ja) | 自動搬送車 | |
JP6867120B2 (ja) | 地図作成方法及び地図作成装置 | |
EP2017573B1 (en) | Estimation device, estimation method and estimation program for estimating a position of mobile unit | |
KR20170088228A (ko) | 다중로봇의 자기위치인식에 기반한 지도작성 시스템 및 그 방법 | |
JP2008146197A (ja) | ナビゲーション装置とその制御方法 | |
JP5352883B2 (ja) | 自律移動方法及び自律移動体 | |
JP2009289145A (ja) | 自己位置認識方法及び自己位置認識装置 | |
JP2006234453A (ja) | 自己位置標定用ランドマーク位置の登録方法 | |
JP2008059218A (ja) | 自律走行ロボットの自己位置回復方法 | |
CN112739597A (zh) | 驻车辅助装置 | |
CN109804419A (zh) | 用于运行半自主或自主的机动车的方法和机动车 | |
JP5218479B2 (ja) | 移動体システム | |
JP4377347B2 (ja) | 移動ロボット | |
JP4377346B2 (ja) | 移動ロボット | |
JP2008276754A (ja) | ロボット位置検出システム | |
JP2009175903A (ja) | 移動体教示システム | |
JP2009008528A (ja) | 距離測定装置および走行体位置検出システム | |
KR100784125B1 (ko) | 단일 카메라를 이용한 이동 로봇의 랜드 마크의 좌표 추출방법 | |
JP2001277969A (ja) | 車両誘導方法、車両誘導システムおよびコンピュータ読取り可能な記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101014 |
|
A072 | Dismissal of procedure [no reply to invitation to correct request for examination] |
Free format text: JAPANESE INTERMEDIATE CODE: A073 Effective date: 20120221 |