JP3731123B2 - Object position detection method and apparatus - Google Patents
Object position detection method and apparatus Download PDFInfo
- Publication number
- JP3731123B2 JP3731123B2 JP2002369325A JP2002369325A JP3731123B2 JP 3731123 B2 JP3731123 B2 JP 3731123B2 JP 2002369325 A JP2002369325 A JP 2002369325A JP 2002369325 A JP2002369325 A JP 2002369325A JP 3731123 B2 JP3731123 B2 JP 3731123B2
- Authority
- JP
- Japan
- Prior art keywords
- laser
- robot
- spot
- target object
- pointer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 10
- 238000000034 method Methods 0.000 claims description 17
- 230000007246 mechanism Effects 0.000 claims description 13
- 230000001678 irradiating effect Effects 0.000 claims description 7
- 230000005484 gravity Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、ロボットを用いて移動物体の位置を検出する方法と装置に関し、特に一定のエリア内にある対象物体に向けてロボットからレーザ光を照射することにより、その対象物体の正確な現在位置を測定する方法及び装置に関する。
【0002】
【従来の技術】
移動物体の現在位置を検出するには、移動経路中の要所に各種のランドマーク(誘導標識)を設置しておいて移動物体側からそのランドマークを見て現在位置を検出する方法と、固定位置に設置した観測装置から移動物体を見て移動物体の現在位置を検出する方法とがある。
【0003】
特開平11−183174号「移動体の位置計測装置」では、2個以上の反射物体を移動経路の周囲に配置し、移動体からレーザ光などを投射し、その反射光などから相対距離・進行方向・相対角度などを計測し演算している。この場合、2個以上の反射物体は既知の位置に正確に設置する必要があるから、設置の手間が煩雑で、基準の数が増えるほど作業量が多くなる。また測角と測距の2つの手段が必要となる。
特開平8−150582号「移動ロボット走行システム」では、2つの光学装置からそれぞれレーザ光を照射し、各光学系の光軸と規準線とのなす角度及び規準線の長さを用いて、三角測量の原理により位置を求めている。この場合、レーザ照射装置を2カ所に正確に設置する必要がある。
【0004】
特開平7−5242号「移動体の位置計測装置」では、反射手段を有する標識位置から位置計測装置までの距離及び方位を光ビームと画像処理手段を用いて算出しており、特に移動体の近傍に障害物があった場合でも、赤外線発光ダイオードとビデオカメラを用いて物体を検出している。この場合、ビデオカメラによる画像が複雑となるため、制御手段が高度な構成となる。
本発明者等の先願である特開平9−128041号(特許第3340606号)「移動ロボットの誘導方法と誘導システム」では、1枚の標識に複数の基準点を設定し移動体の位置計測を行っている。このように基準点間の角度を参照して位置計測する方法では、基準点間距離が大きければ大きいほど位置計測誤差は小さくなるが、1枚の標識に採用できる基準点間距離は通常200mm程度であり、精度を上げることが難しい。
【0005】
一般にレーザ光を用いて位置を検出する方法では、レーザ光などを検出するためにPSD(Position Sensitive Device )などの半導体位置検出素子を用いているが、PSDの大きさが小さいので(最大で20×20mm程度)、レーザ光を素子に当てるための制御が複雑になるという欠点がある。
【0006】
【発明が解決しようとする課題】
本発明の主たる目的は、多数の標識を設置することなく、一定のエリア内における移動物体の位置を正確に検出する方法と装置を提供することにある。
本発明の他の目的は、床面の凹凸による誤差を吸収して正確な位置検出を可能とする位置検出装置を提供することにある。
【0007】
【課題を解決するための手段】
前述した目的を達成するため、本発明はその第1の態様において、一定のエリア内に存在する物体の位置を検出する方法であって、エリア内の基準位置にレーザポインタロボットを設置し、前記レーザポインタロボットの単独のレーザ光源から、対象とする物体に対してエリア座標系における既知の2点に向けて2本のレーザ光を順次照射し、それら2本のレーザ光を前記物体内部のポイントレシーバで受け、前記ポイントレシーバ上の第1のレーザスポットの重心位置と第2のレーザスポットの重心位置をそれぞれ前記物体の物体内座標系で計測し、これにより対象物体のエリア座標系での位置を検出する物体の位置検出方法を提供する。
【0008】
【作用】
本発明の方法によれば次のような作用効果が得られる。
1 多数のマーカーを設置する必要がない。基準が1つであり、設置の手間が少ない。また、測距手段が無く装置が簡略化できる
2 基準の設置は1カ所でよいので手間が少ない
3 標識に相当する基準点がアクティブにレーザ光を照射して位置を示すので、移動物体から標識を選び出す必要が無く装置が簡略化できる
4 標識を大きくする必要がない
5 スクリーンから距離をとってCCDカメラを配置すれば、レーザスポットの検出範囲は大きくとれる(実施例で100×100mm)。これにより、概略座標データと実座標データとに誤差が生じても、レーザスポットを検出することができる。
【0009】
さらに本発明はその第2の態様として、物体の位置検出装置を提供する。この装置は、一定のエリア内で複数のレーザ光を水平下方又は水平上方に向けて照射可能な単独のレーザ光源を有するレーザポインタロボットと、位置を検出する対象物体上に搭載可能なポイントレシーバとを備え、前記ポイントレシーバは、レーザ光のスポット照射を受けるための水平スクリーンと、この水平スクリーン上のレーザスポットを撮影するCCDカメラと、前記CCDカメラの映像から対象物体の物体内座標系におけるレーザスポットの位置を計測する画像処理機構と、前記画像処理機構により測定された値に基づいて対象物体のエリア座標系における位置を計算する制御機構とを有しており、前記レーザポインタロボットのレーザ光源から照射される複数のレーザ光が前記スクリーンに照射する位置を計測することにより対象物体の位置を検出する。
【0010】
このような装置を実際に使用する際に問題となるのが、床面の凹凸によって生じる移動体のZ軸方向の位置の変化、すなわちレーザポインタロボットとポイントレシーバの床面のレベルが変化した際の測定誤差の問題である。そこで本発明では、前記ポイントレシーバにさらに、前記レーザポインタロボットからの水平レーザ照射を受けて高さを計測し水平スクリーン上へ照射する位置を補正するための高さ測定機構を設けることができる。この高さ測定機構は受光板とCCDカメラを包含することが好適である。
【0011】
本発明による方法及び装置は測定対象物体とレーザポインタロボットで構成される。測定対象物体は、ワイヤレスモデム、コンピュータ、傾斜計、レーザポインタロボットからのレーザ光を受光する測定対象物体に水平に設置されたスクリーン、スクリーンからの反射光を検出するCCDカメラからなるポイントレシーバ、高さ測定装置、などから構成されている。
レーザポインタロボット(LPR)は、ワイヤレスモデム、コンピュータ、レーザポインタ、レーザポインタを水平・垂直方向に回転させる機構及び実際のレーザ光投射角度を測定するための機構などから構成されている。
レーザポインタロボットは、レーザ光源を水平(α:レーザ光源の含まれる水平面(X−Y平面)上において、レーザ光軸がx軸となす角)・垂直(β:レーザ光軸が水平面となす角)方向に回転させて、2次元平面における任意の位置をレーザスポットで指し示すことができる。
上記2台はそれぞれコンピュータで制御され、2つのコンピュータは無線による通信ができる。
【0012】
このシステムを用いて測定対象物体の自己位置検出を行う過程を以下に示す
(1)レーザポインタロボットを基準位置に設置する
(2)測定対象物体をエリア内に置く
(3)測定対象物体の位置における概略の座標データ(x,y)をレーザポインタロボットに入力する
(4)レーザポインタロボットから水平方向にレーザ光を照射する。測定対象物体は高さ測定装置によりレーザ光を受光し、レーザ光の高さを測定する
(5)測定対象物体の傾斜(高さのずれ)を前記レーザ光の高さから計算して高さの補正を行い、測定対象物体の正しい高さを計算し、そのデータをレーザポインタロボットへ送信する
(6)レーザポインタロボットは、測定対象物体の既知の概略の座標データと正しい高さから、測定対象物体の床面高さの補正を行った概略座標位置に対するレーザ光照射角α1,β1を算出する
【0013】
(7)レーザポインタロボットは、算出された角α1,β1に向けてレーザ光を照射する
(8)測定対象物体はレーザ光をスクリーンで受光し、受光したことをレーザポインタロボットに送信する。スクリーン上の第1受光ポイントの位置をコンピュータに記録する
(9)レーザポインタロボットは概略位置から規定値だけ離れた近傍の位置に対する照射角α2,β2を計算し、その角度にレーザ光を照射する
(10)測定対象物体は、スクリーン上に第2受光ポイントを検出し、受光したことをレーザポインタロボットに送信する。スクリーン上の第2受光ポイントの位置をコンピュータに記録する
(11)測定対象物体は、記録された第1受光ポイントと第2受光ポイントの記録データから、自己の正確な位置をコンピュータで検出する。
【0014】
さらに具体的には、レーザスポットの位置を検出するために、広い面積を有するスクリーンを測定対象物体に水平に取り付け、スクリーン内で受光したレーザスポットを撮像できるようにCCDカメラを取り付け、画像処理装置を用いてスポットの重心位置を計測する。
以下、本発明による好適な実施形態を添付図面を参照しながら説明する。
【0015】
【発明の実施の形態】
まず本発明による自己位置計測法の基本原理について説明する。
図1に示すように本発明は、レーザ光により目標位置を示すレーザポインタロボット(LPR)12と、レーザ光を受光して自己位置を算出するポイントレシーバ(PRV)14を搭載した測定対象物体10とで構成される。測定対象物体10は一定のエリアS内を移動し、レーザポインタロボット12は原則として一定の位置S1に設置される。
【0016】
図2はレーザポインタロボット12が床面へレーザ光を照射して投射位置Tを指示する様子を示している。ここでは、レーザポインタロボットのxy平面は床面のXY平面と平行であり、x軸y軸はそれぞれ対応するX軸Y軸と平行とする。レーザポインタロボットのレーザ光照射部の回転中心は、床面から高さHのところにある。レーザ光照射部を水平角α,仰角βの方向に向けると、床面上の投射位置T(x,y)にレーザスポットを照射して位置を指示することができる。これらの関係式は次式で表される。
x=r・cosα
y=r・sinα
r=h/tanβ
【0017】
ポイントレシーバ(PRV)は一定の大きさのスクリーンを持ち、スクリーンに照射されたレーザ光(これをレーザポイントと呼ぶ)の座標を測定する装置である。ここでは、原理を簡単に説明するために、レーザ光が照射される床面とポイントレシーバのスクリーンは同一平面にあるものとする。図3に示すようにエリアの床面の座標系(XY座標系)において、レーザポインタロボットによって床面に照射されたスポットA(xA ,yA )は測定対象物体上のスクリーン(UV座標系)ではスポットA(uA ,vA )と測定される。ロボット位置R(xR,yR )と姿勢θR は2点A,Bから以下の手順で求めることができる。
【0018】
まず、姿勢θR は、スポットを通る直線と2つの座標系とのなす角θAB,φABとの関係により、次式から求められる。負の値は絶対値とする。
θR =θAB−φAB
ここで、θABとφABはそれぞれ次式で与えられる。
【数1】
【0019】
次に、位置R(xR ,yR )は次式から求められる。
xR =xA −rA cos(θR +φA )
yR =yA −rA sin(θR +φA )
ここで、φA はロボットから見たスポットAの方向、rA はロボット中心とスポットAとの距離で、それぞれ次式で与えられる。
【数2】
【0020】
【実施例】
一般にレーザ光などを検出するためにPSD(Position Sensitive Device )などの半導体位置検出素子を用いるが、PSDの大きさが小さいので(最大で20×20mm程度)、レーザ光を素子に当てるための制御が複雑になる。
本発明では、レーザスポットの位置を検出するために、スクリーン内で受光したレーザスポットをCCDカメラで撮像して、画像処理装置を用いてスポットの重心位置を計測する。
本発明のように、スクリーンから距離をとってCCDカメラを配置すれば、レーザスポットの検出範囲は大きくとれる(実施例で100×100mm)。これにより、オドメトリ情報(自動車の走行距離計に対応する走行距離データ)での移動の際に誤差が生じても、レーザスポットを検出することができる。
【0021】
レーザポインタロボット(LPR)は、レーザ光を水平方向(回転角α)と垂直方向(回転角β)に回転させて、作業領域内にレーザ光を投射する機能を持つ投光部とその制御装置で構成される。
図4はレーザポインタロボット12の投光部の外観を表している。レーザ光源26には素子出力5mW、波長670nmの半導体レーザを使用し、コリメータレンズを用いて距離5mでスポット径5mmにしている。レーザ光源26は垂直回転軸に取り付けられている。投光部の各軸は、減速機付きDCサーボモータ28,29とスチールベルトによる減速機構(減速比1/300)により駆動される。位置決め分解能は軸換算で1.07”(0.0003°)である。レーザ光の投射角度の測定には、各軸に直接取り付けたエンコーダ32,33(目盛本数18000本)を使用し、波形成形回路(内挿回路)とカウンタ回路により測定分解能は1.8”(0.0005°)である。投光部のベース36は、水平調整を行うため3点支持機構(図示せず)とした。
制御装置24は、無線モデムを通じて移動ロボットや他のシステムと通信し、レーザを投射している方向の情報(α,β)を提供したり、指令を受けて指定された方向へレーザ光を位置決めする機能を持つ。
【0022】
図5に示すように、移動体10には、レーザポインタロボット12により照射されたレーザポイントを受光して自己位置を算出するためのポイントレシーバ14が搭載されている。本システムの自己位置計測法は、レーザポインタロボットが指示した目標位置まで移動体がオドメトリ情報(走行距離データ)のみで移動し、レーザポイントを受光した後に正確な自己位置を算出するという方法である。従って、PSDなどの受光面積の小さなセンサを用いると、移動体には高い移動精度が要求されることになり、オドメトリのみの自律移動性能と床面の状況を考えると実用的ではない。そこで、移動体にレーザポイントを受光するスクリーンを用意し、この反射光をCCDカメラにより画像計測するポイントレシーバシステムを構築している。
【0023】
図5に示すように、レーザポイントの検出部は、スクリーン40(反射板)とCCDカメラ42で構成されている。スクリーン40に対して斜めに入射するレーザ光はレーザポインタロボット12からの距離が長くなるに従ってポイントの長軸が長くなる。ここではポイントレシーバの受光範囲をレーザポインタロボットから10mと設定し、そのために必要なカメラ視野が得られるように設計した。このときのカメラレンズの焦点距離は16mm、有効画素は512×480の正方格子配列で、スクリーン上での検出範囲は約100mm四方、カメラの測定分解能は0.22mm/ピクセルとした。画像処理装置では、二値化、平滑化、ノイズ除去、面積フィルタの前処理を行い、ポイントの重心位置と面積を測定する。
【0024】
本システムを実際に使用する際に問題となるのが、床面の凹凸によって生じる移動体のZ軸方向の位置の変化、すなわちレーザポインタロボット(LPR)とポイントレシーバ(PRV)との高度差dの変化である(図6参照)。これを測定して補正するために、図7に示すように移動体10上に高さ測定装置(機構)50を装備している。この高さ測定装置50は、レーザポインタロボット12から水平に照射されたレーザ光を受光板52で受光し、それをCCDカメラ54で検出してレーザポイントの位置を計測する。あらかじめ床面からの距離hLPR の位置を高さ測定装置の座標系で求めているので、dは装置内の高度差Δdにより以下の式で求められる。
d=(hLPR −hPRV )+Δd
測定装置50の測定分解能は0.153mm/ピクセルである。
【0025】
上述したように、自己位置を求めるためには、ポイントレシーバ面上に照射された投射位置Tの座標(X,Y)(LPR座標系)と、ロボットから見たポイントレシーバ面上のTの座標(U,V)(移動体=PRV座標系)が必要である。ここで床面の凹凸の影響などで移動体10が傾くとポイントレシーバ14も傾くので、レーザポインタロボット12の指示した投射位置Tを正しく測定することができなくなる。そこで、傾きによる誤差を補正するために、移動体のピッチング方向(V軸回り)とローリング方向(U軸回り)に取り付けた傾斜計で傾き角を測定し、測定座標(U,V)を補正する。
【0026】
本システムによる自己位置検出の手順と各装置の動作は次の通りである。
(1)レーザポインタロボットから移動体へ、移動体の現在位置座標と移動目標位置座標を無線モデムで送信する
(2)移動体はオドメトリ情報により目標位置へ移動し、レーザポインタロボットへ移動完了メッセージを送信する
(3)レーザポインタロボットは高さ測定のためにα軸を水平にして、レーザ光を移動体へ向けて照射する
(4)移動体は高さ測定装置によりレーザポイントの位置を測定する。次に、計測したロボットの傾斜角度に基づいて高さ測定値を補正し、その結果をレーザポインタロボットに送信する
【0027】
(5)レーザポインタロボットは、補正された高さ測定情報に基づいてα,β角度を計算し、移動目標位置にレーザ光を照射する。その後、照射完了メッセージを移動体へ送信する
(6)移動体はポイントレシーバにより照射されたレーザポイントの位置を測定する。第1点目の測定が完了したことをレーザポインタロボットに送信する
(7)レーザポインタロボットは移動目標位置のX座標Y座標にそれぞれ10mm加えた位置に第2点目のレーザ光を照射する。その後、照射完了メッセージを移動体へ送信する
(8)移動体は第2点目をポイントレシーバにより測定する。1点目と2点目の測定結果から自己位置を計算する。自己位置測定結果は、現在位置座標情報としてレーザポインタロボットに送信する。
【0028】
もし移動体が何らかの原因で目標位置へ移動できず、ポイントレシーバでレーザポイントが受光できなかった場合は、移動体側で判断してサーチモードに入る。同時に、無線モデムでレーザポインタロボットにサーチモードに入るよう指示する。サーチモードでは、レーザポインタロボットはレーザ光の走査を行い、移動体はポイントレシーバにポイントの検出を連続して行わせる。ポイントレシーバがポイントを捕捉した時、レーザポインタロボットの指示した座標とポイントレシーバが測定したポイント座標より移動体の位置のずれを算出し、目標位置へ復帰する。以降(3)から制御を行う。
【0029】
図8は、移動体10及びレーザポインタロボット12のそれぞれに搭載されるコンピュータ制御通信システム60,70を含む制御装置24の概略接続図を表している。これらのシステムは周知のワイヤレスモデム、RS232C回路、コンピュータ、A/D変換器、傾斜計、画像処理装置、CCDカメラ、モータコントローラ、エンコーダ、DCサーボモータ、カウンタボード、波形成形回路などで構成される。
【0030】
【発明の効果】
以上詳細に説明した如く、本発明によれば、多数のマーカーを設置する必要がなく、基準の設置は1カ所でよく、測距手段が無いので装置が簡略化できる。標識に相当する基準点がアクティブにレーザ光を照射して位置を示すので、移動物体から標識を選び出す必要が無く、標識を大きくする必要もない。スクリーンから距離をとってCCDカメラを配置すれば、レーザスポットの検出範囲は大きくとれるので、概略座標データと実座標データとに誤差が生じても、レーザスポットを検出することができる等の利点が得られ、その技術的効果には極めて顕著なものがある。
【図面の簡単な説明】
【図1】 本発明による測定装置の概略斜視図である。
【図2】 レーザ光の照射角度と距離の測定原理を表す概略図である。
【図3】 2つの座標系における測定原理を表す概略図である。
【図4】 レーザポインタロボットの正面図である。
【図5】 ポイントレシーバの一部破断側面図である。
【図6】 高さ測定の原理説明図である。
【図7】 高さ測定装置の概略斜視図である。
【図8】 2つの装置間でのデータ送信システムを表す概略図である。
【符号の説明】
S エリア
10 測定対象物体
12 レーザポインタロボット
14 ポイントレシーバ
24 制御装置
26 レーザ光源
28,29 DCサーボモータ
40 スクリーン
42,54 CCDカメラ
50 高さ測定装置
52 受光板
60,70 通信システム[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method and apparatus for detecting the position of a moving object using a robot, and in particular, by irradiating a laser beam from a robot toward a target object in a certain area, the accurate current position of the target object. The present invention relates to a method and an apparatus for measuring.
[0002]
[Prior art]
In order to detect the current position of the moving object, various landmarks (guidance signs) are installed at important points in the moving path, and the current position is detected by looking at the landmark from the moving object side, There is a method of detecting a current position of a moving object by looking at the moving object from an observation device installed at a fixed position.
[0003]
In Japanese Patent Application Laid-Open No. 11-183174 “Moving Object Position Measuring Device”, two or more reflecting objects are arranged around a moving path, a laser beam or the like is projected from the moving object, and a relative distance / progress from the reflected light or the like. The direction and relative angle are measured and calculated. In this case, since it is necessary to accurately install two or more reflecting objects at known positions, the installation work is complicated, and the amount of work increases as the number of references increases. Two means of angle measurement and distance measurement are required.
In Japanese Patent Application Laid-Open No. 8-150582, “mobile robot traveling system”, laser light is emitted from two optical devices, and the angle between the optical axis of each optical system and the reference line and the length of the reference line are used to form a triangle. The position is determined by the principle of surveying. In this case, it is necessary to accurately install laser irradiation devices at two locations.
[0004]
In Japanese Patent Laid-Open No. 7-5242 “Position Measurement Device for Moving Object”, the distance and direction from the marker position having the reflection means to the position measurement device are calculated using the light beam and the image processing means. Even when there is an obstacle in the vicinity, an object is detected using an infrared light emitting diode and a video camera. In this case, since the image by the video camera becomes complicated, the control means has an advanced configuration.
In the prior application of the present inventors, Japanese Patent Laid-Open No. 9-128041 (Patent No. 3340606) “Mobile Robot Guidance Method and Guidance System”, a plurality of reference points are set on a single sign to measure the position of the moving body. It is carried out. As described above, in the method of measuring the position by referring to the angle between the reference points, the larger the distance between the reference points, the smaller the position measurement error. However, the distance between the reference points that can be adopted for one sign is usually about 200 mm. It is difficult to improve accuracy.
[0005]
In general, in a method of detecting a position using laser light, a semiconductor position detecting element such as PSD (Position Sensitive Device) is used to detect laser light or the like. However, since the size of PSD is small (maximum 20 × 20 mm), and there is a drawback that the control for applying the laser beam to the element becomes complicated.
[0006]
[Problems to be solved by the invention]
A main object of the present invention is to provide a method and an apparatus for accurately detecting the position of a moving object in a certain area without installing a large number of signs.
Another object of the present invention is to provide a position detection apparatus that can accurately detect a position by absorbing an error caused by unevenness of a floor surface.
[0007]
[Means for Solving the Problems]
In order to achieve the above-mentioned object, in the first aspect of the present invention, there is provided a method for detecting the position of an object existing in a certain area , wherein a laser pointer robot is installed at a reference position in the area, Two laser beams are sequentially emitted from a single laser light source of the laser pointer robot toward two known points in the area coordinate system to the target object, and these two laser beams are pointed inside the object. The center of gravity of the first laser spot and the center of gravity of the second laser spot on the point receiver are measured by the in-object coordinate system of the object, and thereby the position of the target object in the area coordinate system Provided is a method for detecting the position of an object for detecting.
[0008]
[Action]
According to the method of the present invention, the following effects can be obtained.
1 There is no need to install many markers. There is only one standard, and there is little installation effort. In addition, there is no distance measurement means and the equipment can be simplified. 2 Installation of the reference is only required in one place, so less effort is required. 3 The reference point corresponding to the sign indicates the position by actively irradiating the laser beam. The device can be simplified without having to select 4 The label need not be enlarged 5 If the CCD camera is arranged at a distance from the screen, the laser spot detection range can be increased (100 × 100 mm in the embodiment). As a result, the laser spot can be detected even if an error occurs between the approximate coordinate data and the actual coordinate data.
[0009]
Furthermore, the present invention provides an object position detection apparatus as a second aspect thereof. This apparatus includes a laser pointer robot having a single laser light source capable of irradiating a plurality of laser beams horizontally downward or horizontally upward within a certain area, and a point receiver that can be mounted on a target object for detecting a position. The point receiver includes a horizontal screen for receiving a spot of laser light, a CCD camera for photographing a laser spot on the horizontal screen, and a laser in an in-object coordinate system of a target object from the image of the CCD camera. An image processing mechanism for measuring the position of the spot; and a control mechanism for calculating a position of the target object in the area coordinate system based on a value measured by the image processing mechanism, and a laser light source of the laser pointer robot By measuring the position where a plurality of laser beams irradiated from the screen irradiate the screen, Detecting the position of an object.
[0010]
The problem when actually using such a device is that the position of the moving body in the Z-axis direction caused by the unevenness of the floor surface, that is, the level of the floor surface of the laser pointer robot and point receiver changes. This is a measurement error problem. Therefore, in the present invention, the point receiver can be further provided with a height measurement mechanism for receiving a horizontal laser irradiation from the laser pointer robot, measuring the height, and correcting the irradiation position on the horizontal screen. The height measuring mechanism preferably includes a light receiving plate and a CCD camera.
[0011]
The method and apparatus according to the present invention comprises an object to be measured and a laser pointer robot. The object to be measured is a wireless modem, a computer, an inclinometer, a screen installed horizontally on the object to be measured that receives laser light from a laser pointer robot, a point receiver consisting of a CCD camera that detects reflected light from the screen, Measuring device.
The laser pointer robot (LPR) includes a wireless modem, a computer, a laser pointer, a mechanism for rotating the laser pointer in the horizontal and vertical directions, a mechanism for measuring an actual laser light projection angle, and the like.
The laser pointer robot moves the laser light source horizontally (α: the angle formed by the laser optical axis with the x axis on the horizontal plane (XY plane) including the laser light source) and vertical (β: the angle formed by the laser optical axis with the horizontal plane. ) Direction, and an arbitrary position in the two-dimensional plane can be indicated by the laser spot.
The two units are each controlled by a computer, and the two computers can communicate wirelessly.
[0012]
The process for detecting the position of the measuring object using this system is shown below. (1) The laser pointer robot is installed at the reference position. (2) The measuring object is placed in the area. (3) The position of the measuring object. (4) The laser pointer robot is irradiated with laser light in the horizontal direction. The object to be measured receives the laser beam by a height measuring device and measures the height of the laser beam. (5) The height of the object to be measured is calculated from the height of the laser beam. Is corrected, the correct height of the measurement target object is calculated, and the data is transmitted to the laser pointer robot. (6) The laser pointer robot measures from the known approximate coordinate data of the measurement target object and the correct height. Laser beam irradiation angles α1, β1 are calculated with respect to the approximate coordinate position where the floor height of the target object has been corrected.
(7) The laser pointer robot irradiates laser light toward the calculated angles α1 and β1. (8) The measurement target object receives the laser light on the screen and transmits the received light to the laser pointer robot. The position of the first light receiving point on the screen is recorded in the computer. (9) The laser pointer robot calculates irradiation angles α2 and β2 with respect to a nearby position that is a specified value away from the approximate position, and irradiates the laser beam at that angle. (10) The measurement target object detects the second light receiving point on the screen and transmits the light reception to the laser pointer robot. The position of the second light receiving point on the screen is recorded in the computer. (11) The measuring object detects the exact position of itself from the recorded data of the first light receiving point and the second light receiving point.
[0014]
More specifically, in order to detect the position of the laser spot, a screen having a large area is mounted horizontally on the object to be measured, and a CCD camera is mounted so that the laser spot received within the screen can be imaged. Is used to measure the center of gravity of the spot.
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described with reference to the accompanying drawings.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
First, the basic principle of the self-position measuring method according to the present invention will be described.
As shown in FIG. 1, according to the present invention, a
[0016]
FIG. 2 shows a state in which the
x = r · cos α
y = r · sin α
r = h / tan β
[0017]
A point receiver (PRV) is a device that has a screen of a certain size and measures the coordinates of laser light (referred to as a laser point) irradiated on the screen. Here, in order to explain the principle simply, it is assumed that the floor surface to which the laser beam is irradiated and the screen of the point receiver are on the same plane. As shown in FIG. 3, in the coordinate system (XY coordinate system) of the floor of the area, the spot A (x A , y A ) irradiated on the floor by the laser pointer robot is a screen (UV coordinate system) on the object to be measured. ) Is measured as spot A (u A , v A ). The robot position R (x R , y R ) and posture θ R can be obtained from the two points A and B by the following procedure.
[0018]
First, the orientation θ R is obtained from the following equation based on the relationship between the straight lines passing through the spot and the angles θ AB and φ AB formed by the two coordinate systems. Negative values are absolute values.
θ R = θ AB −φ AB
Here, θ AB and φ AB are given by the following equations, respectively.
[Expression 1]
[0019]
Next, the position R (x R , y R ) is obtained from the following equation.
x R = x A -r A cos (θ R + φ A)
y R = y A −r A sin (θ R + φ A )
Here, φ A is the direction of the spot A as seen from the robot, and r A is the distance between the robot center and the spot A, and is given by the following equations.
[Expression 2]
[0020]
【Example】
Generally, a semiconductor position detecting element such as PSD (Position Sensitive Device) is used to detect laser light, but since the size of the PSD is small (up to about 20 × 20 mm), control for applying laser light to the element is performed. Becomes complicated.
In the present invention, in order to detect the position of the laser spot, the laser spot received in the screen is imaged with a CCD camera, and the center of gravity position of the spot is measured using an image processing apparatus.
If the CCD camera is arranged at a distance from the screen as in the present invention, the laser spot detection range can be increased (100 × 100 mm in the embodiment ) . As a result, even when an error occurs during movement in odometry information (travel distance data corresponding to an automobile odometer), a laser spot can be detected.
[0021]
A laser pointer robot (LPR) has a function of projecting a laser beam in a work area by rotating the laser beam in a horizontal direction (rotation angle α) and a vertical direction (rotation angle β), and a control device therefor Consists of.
FIG. 4 shows the appearance of the light projecting unit of the
The
[0022]
As shown in FIG. 5, the moving
[0023]
As shown in FIG. 5, the laser point detection unit includes a screen 40 (reflection plate) and a
[0024]
A problem in actual use of this system is a change in the position of the moving body in the Z-axis direction caused by unevenness of the floor surface, that is, an altitude difference d between the laser pointer robot (LPR) and the point receiver (PRV). (See FIG. 6). In order to measure and correct this, a height measuring device (mechanism) 50 is provided on the moving
d = (h LPR −h PRV ) + Δd
The measurement resolution of the
[0025]
As described above, in order to obtain the self-position, the coordinates (X, Y) (LPR coordinate system) of the projection position T irradiated on the point receiver surface and the coordinates of T on the point receiver surface viewed from the robot. (U, V) (moving object = PRV coordinate system) is required. Here, when the moving
[0026]
The procedure of self-position detection by this system and the operation of each device are as follows.
(1) The current position coordinates and the movement target position coordinates of the moving body are transmitted from the laser pointer robot to the moving body using a wireless modem. (2) The moving body moves to the target position based on the odometry information, and a movement completion message is sent to the laser pointer robot. (3) The laser pointer robot illuminates the moving body with the α axis horizontal to measure the height. (4) The moving body measures the position of the laser point with the height measuring device. To do. Next, the height measurement value is corrected based on the measured tilt angle of the robot, and the result is transmitted to the laser pointer robot.
(5) The laser pointer robot calculates α and β angles based on the corrected height measurement information, and irradiates the moving target position with laser light. Thereafter, an irradiation completion message is transmitted to the moving body (6) The moving body measures the position of the laser point irradiated by the point receiver. The completion of the measurement at the first point is transmitted to the laser pointer robot. (7) The laser pointer robot irradiates the second point with the laser beam at a position obtained by adding 10 mm to the X and Y coordinates of the movement target position. Thereafter, an irradiation completion message is transmitted to the moving body (8) The moving body measures the second point by the point receiver. The self-position is calculated from the measurement results of the first and second points. The self-position measurement result is transmitted to the laser pointer robot as current position coordinate information.
[0028]
If the moving body cannot move to the target position for some reason and the point receiver cannot receive the laser point, the mobile body judges and enters the search mode. At the same time, the wireless pointer instructs the laser pointer robot to enter the search mode. In the search mode, the laser pointer robot scans the laser beam, and the moving body causes the point receiver to continuously detect points. When the point receiver captures the point, the shift of the position of the moving body is calculated from the coordinates indicated by the laser pointer robot and the point coordinates measured by the point receiver, and the target position is returned. Thereafter, control is performed from (3).
[0029]
FIG. 8 is a schematic connection diagram of the
[0030]
【The invention's effect】
As described above in detail, according to the present invention, it is not necessary to install a large number of markers, the installation of the reference may be performed at one place, and the apparatus can be simplified because there is no distance measuring means. Since the reference point corresponding to the sign indicates the position by actively irradiating the laser beam, it is not necessary to select the sign from the moving object, and it is not necessary to enlarge the sign. If the CCD camera is placed at a distance from the screen, the laser spot detection range can be increased, so that even if an error occurs between the approximate coordinate data and the actual coordinate data, the laser spot can be detected. The technical effects obtained are quite remarkable.
[Brief description of the drawings]
FIG. 1 is a schematic perspective view of a measuring apparatus according to the present invention.
FIG. 2 is a schematic diagram showing the measurement principle of the irradiation angle and distance of laser light.
FIG. 3 is a schematic diagram illustrating a measurement principle in two coordinate systems.
FIG. 4 is a front view of a laser pointer robot.
FIG. 5 is a partially broken side view of the point receiver.
FIG. 6 is a diagram illustrating the principle of height measurement.
FIG. 7 is a schematic perspective view of a height measuring device.
FIG. 8 is a schematic diagram illustrating a data transmission system between two devices.
[Explanation of symbols]
Claims (3)
エリア内の基準位置にレーザポインタロボットを設置し、
前記レーザポインタロボットの単独のレーザ光源から、対象とする物体に対してエリア座標系における既知の2点に向けて2本のレーザ光を順次照射し、
それら2本のレーザ光を前記物体内部のポイントレシーバで受け、
前記ポイントレシーバ上の第1のレーザスポットの重心位置と第2のレーザスポットの重心位置をそれぞれ前記物体の物体内座標系で計測し、
これにより対象物体のエリア座標系での位置を検出することを特徴とする物体の位置検出方法。A method for detecting the position of an object existing in a certain area,
Install a laser pointer robot at the reference position in the area.
From the single laser light source of the laser pointer robot, two laser beams are sequentially irradiated to two known points in the area coordinate system on the target object,
The two laser beams are received by the point receiver inside the object,
Measure the center of gravity position of the first laser spot and the center of gravity of the second laser spot on the point receiver , respectively, in the in-object coordinate system of the object ,
An object position detection method characterized by detecting the position of the target object in the area coordinate system.
位置を検出する対象物体上に搭載可能なポイントレシーバとを備え、
前記ポイントレシーバは、レーザ光のスポット照射を受けるための水平スクリーンと、この水平スクリーン上のレーザスポットを撮影するCCDカメラと、前記CCDカメラの映像から対象物体の物体内座標系におけるレーザスポットの位置を計測する画像処理機構と、前記画像処理機構により測定された値に基づいて対象物体のエリア座標系における位置を計算する制御機構とを有しており、
前記レーザポインタロボットのレーザ光源から照射される複数のレーザ光が前記スクリーンに照射する位置を計測することにより対象物体の位置を検出することを特徴とする物体の位置検出装置。 A laser pointer robot having a single laser light source capable of irradiating a plurality of laser beams horizontally downward or horizontally upward in a certain area;
With a point receiver that can be mounted on the target object to detect the position,
The point receiver includes a horizontal screen for receiving laser beam spot irradiation, a CCD camera for photographing a laser spot on the horizontal screen, and a position of the laser spot in the in-object coordinate system of the target object from the image of the CCD camera. And an image processing mechanism for measuring the position of the target object in the area coordinate system based on the value measured by the image processing mechanism,
An object position detecting apparatus for detecting a position of a target object by measuring positions at which a plurality of laser beams irradiated from a laser light source of the laser pointer robot irradiate the screen.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002369325A JP3731123B2 (en) | 2002-12-20 | 2002-12-20 | Object position detection method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002369325A JP3731123B2 (en) | 2002-12-20 | 2002-12-20 | Object position detection method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004198330A JP2004198330A (en) | 2004-07-15 |
JP3731123B2 true JP3731123B2 (en) | 2006-01-05 |
Family
ID=32765577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002369325A Expired - Fee Related JP3731123B2 (en) | 2002-12-20 | 2002-12-20 | Object position detection method and apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3731123B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014135113A1 (en) * | 2013-03-08 | 2014-09-12 | 科沃斯机器人科技(苏州)有限公司 | Self-mobile robot laser-guided travel operating system and control method therefor |
CN117041982A (en) * | 2023-06-26 | 2023-11-10 | 中国软件评测中心(工业和信息化部软件与集成电路促进中心) | System and method for detecting correctness of air interface transmission data |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8412377B2 (en) | 2000-01-24 | 2013-04-02 | Irobot Corporation | Obstacle following sensor scheme for a mobile robot |
US8788092B2 (en) | 2000-01-24 | 2014-07-22 | Irobot Corporation | Obstacle following sensor scheme for a mobile robot |
US6956348B2 (en) | 2004-01-28 | 2005-10-18 | Irobot Corporation | Debris sensor for cleaning apparatus |
US6690134B1 (en) | 2001-01-24 | 2004-02-10 | Irobot Corporation | Method and system for robot localization and confinement |
US7571511B2 (en) | 2002-01-03 | 2009-08-11 | Irobot Corporation | Autonomous floor-cleaning robot |
US7429843B2 (en) | 2001-06-12 | 2008-09-30 | Irobot Corporation | Method and system for multi-mode coverage for an autonomous robot |
US8396592B2 (en) | 2001-06-12 | 2013-03-12 | Irobot Corporation | Method and system for multi-mode coverage for an autonomous robot |
US9128486B2 (en) | 2002-01-24 | 2015-09-08 | Irobot Corporation | Navigational control system for a robotic device |
US8386081B2 (en) | 2002-09-13 | 2013-02-26 | Irobot Corporation | Navigational control system for a robotic device |
US8428778B2 (en) | 2002-09-13 | 2013-04-23 | Irobot Corporation | Navigational control system for a robotic device |
US7332890B2 (en) | 2004-01-21 | 2008-02-19 | Irobot Corporation | Autonomous robot auto-docking and energy management systems and methods |
US20060009879A1 (en) | 2004-06-24 | 2006-01-12 | Lynch James K | Programming and diagnostic tool for a mobile robot |
US7706917B1 (en) | 2004-07-07 | 2010-04-27 | Irobot Corporation | Celestial navigation system for an autonomous robot |
US8972052B2 (en) | 2004-07-07 | 2015-03-03 | Irobot Corporation | Celestial navigation system for an autonomous vehicle |
AU2006214016B2 (en) | 2005-02-18 | 2011-11-10 | Irobot Corporation | Autonomous surface cleaning robot for wet and dry cleaning |
US8392021B2 (en) | 2005-02-18 | 2013-03-05 | Irobot Corporation | Autonomous surface cleaning robot for wet cleaning |
US8930023B2 (en) | 2009-11-06 | 2015-01-06 | Irobot Corporation | Localization by learning of wave-signal distributions |
EP2533120B1 (en) | 2005-12-02 | 2019-01-16 | iRobot Corporation | Robot system |
EP2267568B1 (en) | 2005-12-02 | 2014-09-24 | iRobot Corporation | Autonomous coverage robot navigation system |
ATE534941T1 (en) | 2005-12-02 | 2011-12-15 | Irobot Corp | COVER ROBOT MOBILITY |
US8087117B2 (en) | 2006-05-19 | 2012-01-03 | Irobot Corporation | Cleaning robot roller processing |
US8417383B2 (en) | 2006-05-31 | 2013-04-09 | Irobot Corporation | Detecting robot stasis |
KR101168481B1 (en) | 2007-05-09 | 2012-07-26 | 아이로보트 코퍼레이션 | Autonomous coverage robot |
KR100948947B1 (en) | 2008-01-16 | 2010-03-23 | 한국생산기술연구원 | Localization apparatus of autonomous vehicle and method thereof |
KR101157117B1 (en) | 2009-12-28 | 2012-06-22 | 한국기초과학지원연구원 | pointer using Omi-mirror and laser |
US8800107B2 (en) | 2010-02-16 | 2014-08-12 | Irobot Corporation | Vacuum brush |
US8874371B2 (en) * | 2011-08-09 | 2014-10-28 | The Boeing Company | Beam directed motion control system |
JP6043898B2 (en) * | 2011-09-27 | 2016-12-14 | ヴイアールアイ株式会社 | Distance marker projection device and distance measuring device provided with the same |
KR101579577B1 (en) * | 2014-03-20 | 2015-12-23 | (주)와이앤지 | Thermo-graphic camera apparatus, terminal, method, recording medium, and system for displaying thermo-graphic image |
JP6868544B2 (en) * | 2017-12-19 | 2021-05-12 | 鹿島建設株式会社 | Autonomous movement method and autonomous movement device |
CN109405795A (en) * | 2018-11-26 | 2019-03-01 | 深圳市启玄科技有限公司 | A kind of adjusting method and adjusting machine of multi-path laser distance-measuring equipment |
JP7115684B2 (en) * | 2018-12-19 | 2022-08-09 | 株式会社竹中工務店 | Mobile body, positioning method, and positioning system |
CN113050113B (en) * | 2021-03-10 | 2023-08-01 | 广州南方卫星导航仪器有限公司 | Laser spot positioning method and device |
-
2002
- 2002-12-20 JP JP2002369325A patent/JP3731123B2/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014135113A1 (en) * | 2013-03-08 | 2014-09-12 | 科沃斯机器人科技(苏州)有限公司 | Self-mobile robot laser-guided travel operating system and control method therefor |
CN117041982A (en) * | 2023-06-26 | 2023-11-10 | 中国软件评测中心(工业和信息化部软件与集成电路促进中心) | System and method for detecting correctness of air interface transmission data |
CN117041982B (en) * | 2023-06-26 | 2024-01-23 | 中国软件评测中心(工业和信息化部软件与集成电路促进中心) | System and method for detecting correctness of air interface transmission data |
Also Published As
Publication number | Publication date |
---|---|
JP2004198330A (en) | 2004-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3731123B2 (en) | Object position detection method and apparatus | |
EP3115742B1 (en) | 3d measuring machine | |
CN111521161B (en) | Method of determining a direction to a target, surveying arrangement and machine-readable carrier | |
US20200074675A1 (en) | Method and Apparatus For Guiding Placement of ADAS Fixtures During Vehicle Inspection and Service | |
EP2825842B1 (en) | Laser system | |
US4862047A (en) | Apparatus for guiding movement of an unmanned moving body | |
US9046360B2 (en) | System and method of acquiring three dimensional coordinates using multiple coordinate measurement devices | |
US6031606A (en) | Process and device for rapid detection of the position of a target marking | |
US20160139269A1 (en) | Elevator shaft internal configuration measuring device, elevator shaft internal configuration measurement method, and non-transitory recording medium | |
WO2019012770A1 (en) | Imaging device and monitoring device | |
JP2012533749A (en) | Equipment for optical scanning and measurement of surroundings | |
CN106537185B (en) | Device for detecting obstacles by means of intersecting planes and detection method using said device | |
JP7120723B2 (en) | laser scanner system | |
US9866322B2 (en) | Laser receiver | |
KR100948947B1 (en) | Localization apparatus of autonomous vehicle and method thereof | |
KR100986505B1 (en) | Touchless positioning system using ccd camera | |
JP2002213920A (en) | Method and device for confirming position of moving body | |
JP2019197428A (en) | Obstacle detection system | |
JP2883236B2 (en) | Three-dimensional shape measurement device for structures around railway tracks | |
JP2005331353A (en) | Positioning system and positioning method | |
JP4276360B2 (en) | Stereo imaging system | |
JP2706318B2 (en) | Coil position detection device | |
JP3640012B2 (en) | Method for measuring level of mask or wafer in exposure apparatus and measurement control apparatus | |
JP2003148926A (en) | Portable three-dimensional shape measuring apparatus | |
JPH0626859A (en) | Distance measuring apparatus of unmanned running vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050926 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3731123 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121021 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131021 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |