JP2008080360A - 自動溶接機の位置検出システム - Google Patents

自動溶接機の位置検出システム Download PDF

Info

Publication number
JP2008080360A
JP2008080360A JP2006262727A JP2006262727A JP2008080360A JP 2008080360 A JP2008080360 A JP 2008080360A JP 2006262727 A JP2006262727 A JP 2006262727A JP 2006262727 A JP2006262727 A JP 2006262727A JP 2008080360 A JP2008080360 A JP 2008080360A
Authority
JP
Japan
Prior art keywords
image analysis
displacement sensor
laser displacement
groove
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006262727A
Other languages
English (en)
Other versions
JP5636148B2 (ja
Inventor
Hidetomo Sakashita
英知 阪下
Yasunao Itano
泰直 板野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daihen Corp
Original Assignee
Daihen Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daihen Corp filed Critical Daihen Corp
Priority to JP2006262727A priority Critical patent/JP5636148B2/ja
Publication of JP2008080360A publication Critical patent/JP2008080360A/ja
Application granted granted Critical
Publication of JP5636148B2 publication Critical patent/JP5636148B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

【課題】複数のサーチ動作が必要でないとともに継手形状(すなわち、開先形状)を選ぶことがなく、特徴点の対象を不連続点ではなく連続点にすることができる自動溶接機の位置検出システムを提供する。
【解決手段】
溶接ロボットの制御装置10はレーザ変位センサLSからの測距データに基づいて例えばV字継手等の画像解析を行うレーザ変位センサ制御装置LUを備える。レーザ変位センサ制御装置LUは、画像解析に基づいて、例えばV字継手の開先形状に関する特徴点や物理量(ギャップ量、開先深さ、開先角度θ1、開先角度θ2)を含む開先情報を取得する。そして、レーザ変位センサ制御装置LUは、特徴点に基づいて例えばV字継手等の位置ずれを検出する。
【選択図】図1

Description

本発明は自動溶接機の位置検出システムに関するものである。
自動溶接機の位置検出システムでは、マニピュレータの溶接トーチに付設されたレーザ変位センサからレーザをワークに照射しながら、マニピュレータを動作させることによりワークの位置ずれを検出し、その位置ずれを溶接プログラムに反映している。
ここで、前記レーザ変位センサを制御するレーザ変位センサ制御装置は、CPUボード、ADボード、中継プリント板などから構成される独立した別ユニットで構成されている。そして、前記マニピュレータを駆動制御するロボット制御装置とレーザ変位センサ制御装置は、シリアル通信で制御情報を授受している。
前記システムでは、前記位置ずれの検出のために、一方向サーチ機能を有している。この一方向サーチ機能は、図19に示すよう任意の一方向(サーチ方向)にレーザ変位センサLSを動作させて検出点P1を検出し、基準点P0と検出点P1のずれ(ずれ量)を算出して、ワークWの一方向のずれ量をずれ量補正ファイルFへ保存する機能である。なお、基準点P0は、ワークWが元位置に位置した場合にレーザ変位センサLSが検出する点である。そして、算出されたずれ量を溶接プログラムに反映することで実ワーク上を溶接できる。なお、図19中、アプローチ点APは、レーザ変位センサLSのレーザ光が投射開始するポイントを示している。
一方向サーチ動作は、以下の手順で行われる。
図20(a)に示すように、ロボット制御装置RCでは、既ティーチングされた教示データであるプログラムによる再生動作で一方向サーチ命令の直前点に到達すると、レーザ変位センサ制御装置LUにレーザ照射指令を出力し、その後一方向サーチ命令を出力する。このレーザ照射指令に応じてレーザ変位センサ制御装置LUはレーザ変位センサLSをレーザON状態にするとともに、一方向サーチ命令の実行でレーザ変位センサLSは距離測定を開始する。又、同時にロボット制御装置RCの制御によりマニピュレータの溶接トーチとともにレーザ変位センサLSはサーチ目標点に向かって動作を開始する。そして、レーザ変位センサLSは、レーザ光を投射し得られた測距データをレーザ変位センサ制御装置LUに出力する。レーザ変位センサ制御装置LUは前記測距データに基づいて、高さ検出を行い、この高さが決められた基準高さとなるまで計測を継続する。
図20(b)に示すように、レーザ変位センサLSがワークWを検出すると、すなわち前記高さ検出の結果が、基準高さとなると、レーザ変位センサ制御装置LUはレーザ変位センサLSのレーザを消灯させ、ロボット制御装置のタッチ検出入力をONする。ロボット制御装置RCはタッチ検出入力を受信するとマニピュレータを停止し、予め教示していた基準点とサーチ時に停止した点とのずれ量を計算し、ずれ量補正ファイルに格納する。
このように、レーザ変位センサを使って単に物体へのタッチ検出入力をロボット制御装置に入力することでワークの位置ずれを検出できる。
なお、レーザ変位計を使用した従来技術としては特許文献1〜5が公知である。特許文献1はレーザ変位計の光軸調整に関する特許であり、特許文献2はレーザ変位計による溶接位置補正に関する特許である。又、特許文献3〜5はレーザ変位計を用いた開先位置検出に関する技術である。
特開平07−299702号公報 特開平09−183087号公報 特開平10−146675号公報 特開平11−123678号公報、段落0009 特開2001−334366号公報
ところで、従来の一方向サーチの位置検出においては、重ね継手の中点のように、特徴点としたい箇所に段差がない場合には、一方向サーチ単独では位置ずれ検出ができず、サーチを数回行い、その検出位置を演算することで開先位置を求める場合があるが、教示が煩雑になる上に、検出時間が長くなるという問題がある。
なお、特許文献1や特許文献2では、適用範囲がV字継ぎ手及びレ型継ぎ手開先に限定される問題がある。特許文献3はV字継ぎ手及びレ型継ぎ手開先に限定される上に、1開先の検出に対して複数のサーチ動作が必要である問題がある。特許文献4では、一方向サーチで距離データをサンプリングし、傾きが急に変化する仮の点(これを不連続点と呼んでいる)を求め、その左右に最小二乗近似による曲線を求め、その交点を真の特徴点とするものである。この特許文献4の手法は、特徴点の対象を不連続点のみに限定したものであり、連続点である特徴点を取得することができない問題がある。又、特許文献5は一方向サーチで距離データをサンプリングし、開先ギャップ中心を認識するようにされているが、具体的な開先ギャップ中心の算出の仕方については触れられていない。
本発明の目的は、複数のサーチ動作が必要でないとともに継手形状(すなわち、開先形状)を選ぶことがなく、特徴点の対象を不連続点ではなく連続点にすることができる自動溶接機の位置検出システムを提供することにある。
上記問題点を解決するために、請求項1に記載の発明は、溶接継手に対しレーザ光を投射して、測距データを取得するレーザ変位センサと、前記レーザ変位センサを溶接トーチとともに溶接線を横断する方向に移動させるマニピュレータと、前記レーザ変位センサからの測距データに基づいて前記溶接継手の画像解析を行う画像解析手段と、前記画像解析に基づいて、前記溶接継手の開先形状に関する特徴点を含む開先情報を取得する開先情報取得手段を備え、前記特徴点に基づいて溶接継手の位置ずれを検出することを特徴とする自動溶接機の位置検出システムを要旨とするものである。
請求項2の発明は請求項1において、前記開先情報取得手段は、さらに、開先情報として、前記画像解析に基づいて、前記溶接継手の開先形状に関する物理量を取得することを特徴とする。
請求項3の発明は、請求項2において、記物理量に基づいて前記マニピュレータの制御量を補正するロボット制御手段を備えたことを特徴とする。
請求項4の発明は、請求項1乃至請求項3のうちいずれか1項において、開先形状に応じた画像解析プログラムを記憶する画像解析プログラム記憶手段を備え、前記画像解析手段は、前記画像解析プログラム記憶手段が記憶した画像解析プログラムのうち、選択された画像解析プログラムに従って画像解析を行い、前記開先情報取得手段は前記選択された画像解析プログラムに従って前記溶接継手に関する特徴点を含む開先情報を取得することを特徴とする。
請求項5の発明は、請求項1乃至請求項4のうちいずれか1項において、前記画像解析手段と、開先情報取得手段と、ロボット制御手段は共通のコンピュータで兼用することを特徴とする。
請求項6の発明は、請求項5において、前記コンピュータが、前記測距データを記憶する測距データ記憶手段を備え、さらに、前記コンピュータには、前記測距データを出力して表示する表示手段が設けられていることを特徴とする。
請求項7の発明は、請求項5において、前記表示手段が、前記測距データをリアルタイムで表示することを特徴とする。
以上詳述したように、請求項1の発明によれば、複数のサーチ動作が必要でないとともに溶接継手形状(すなわち、開先形状)を選ぶことがなく、特徴点の対象を不連続点ではなく連続点にすることができる。
請求項2の発明によれば、開先形状に関する物理量を取得することができる。 請求項3の発明によれば、物理量に基づいてマニピュレータの制御量を補正することができる。
請求項4の発明によれば、画像解析手段及び開先情報取得手段が溶接継手形状に応じた画像解析プログラムに従って実行するため、種々の溶接継手形状に応じた特徴点を取得することができるとともに前記特徴点に基づいて溶接継手の位置ずれを検出することができる。
請求項5の発明によれば、画像解析手段と、開先情報取得手段と、ロボット制御手段が共通のコンピュータで兼用することにより、レーザ変位センサLSから受信した測距データのサンプリング、データのメモリへの保存および画像解析処理を共通のコンピュータで実現される。従って、上記のようなサーチ点数が多くなるほど、通信時間のロスが発生することはない。
請求項6の発明によれば、一方向サーチで検出されるまでの測距データの挙動は、表示手段上で確認でき、誤検出時には、オペレータは誤検出が発生している箇所の確認を簡単に行うことができる。
請求項7の発明によれば、マニピュレータを動作させた際、測距データがリアルタイムに表示されるため、誤検出が発生したとき、オペレータはリアルタイムでレーザ動作確認を行うことができる。
(第1実施形態)
以下、本発明に係る自動溶接機の位置検出システムを溶接ロボットの制御装置に適用した第1実施形態を図1〜10を参照して説明する。
図1は溶接ロボットの制御装置10の構成を示すブロック図である。溶接ロボットの制御装置10は、ワーク(作業対象物)Wに対してアーク溶接を自動で行うように制御するものである。溶接ロボットの制御装置10は、溶接作業を行うマニピュレータMと、マニピュレータMを制御するロボット制御装置RCと、ワークWの形状を検出するセンサとしてのレーザ変位センサLSと、レーザ変位センサLSを制御するレーザ変位センサ制御装置LUとを備える。
又、ロボット制御装置RCには、可搬式操作部としてのティーチペンダントTPが接続されている。ティーチペンダントTPは図示しないキーボード及び液晶ディスプレイが設けられている。前記キーボードにより各種の教示データがロボット制御装置RCに入力される。
マニピュレータMは、フロア等に固定されるベース部材12と、複数の軸を介して連結された複数のアーム13とを備える。最も先端側に位置するアーム13の先端部には、作業ツールとしての溶接トーチ14が設けられる。溶接トーチ14は、溶加材としてのワイヤ15を内装し、図示しない送給装置によって送り出されたワイヤ15の先端とワークWとの間にアークを発生させ、その熱でワイヤ15を溶着させることによりワークWに対して溶接を施す。アーム13間には複数のモータ(図示しない)が配設されており、モータの駆動によって溶接トーチ14を前後左右に自在に移動できるように構成されている。なお、前後とは、溶接トーチ14が溶接線に沿って進行する方向を前とし、その180度反対方向を後ろとする。又、左右とは進行する方向を人が向いたときを基準として、左右という。
ロボット制御装置RCは、前記モータを駆動制御することにより、予め設定された教示データの主軌道に沿って溶接トーチ14を動作させる。又、ロボット制御装置RCは、溶接電流及び溶接電圧といった溶接条件を溶接電源WPSに対して出力し、溶接電源WPSからパワーケーブルPKを通じて供給される電力によって溶接作業を行わせる。ロボット制御装置RCはロボット制御手段に相当する。
レーザ変位センサLSは、レーザの発光及び受光によりワークWまでの距離を測定する走査型のレーザ変位センサであり、溶接トーチ14に搭載される。レーザ変位センサLSは、レーザをワークWに向けて発光する発光部と、ワークWで反射したレーザを受光する受光部等(ともに図示しない)を備える。前記発光部で発光されたレーザは、ワークWで乱反射され、受光部で受光される。受光部は、例えばCCDラインセンサにより構成されており、受光量分布の重心位置からワークWまでの距離を測定するようにされている。
レーザ変位センサ制御装置LUは、レーザ変位センサLSを駆動制御し、測定される距離情報からワークWの開先形状を検出する。レーザ変位センサ制御装置LUは、中央処理装置(CPU)や、各種の開先形状に応じて用意された複数の画像解析プログラムや、各種データを記憶するメモリ等を備えるコンピュータからなる。レーザ変位センサ制御装置LUには、図1に示すようにディスプレイDispや、調整用パソコンPCが接続され、レーザ変位センサ制御装置LUによるレーザ変位センサLSの調整や、各種データの読み出しが可能である。
本実施形態では、レーザ変位センサ制御装置LU(コンピュータ)は、画像解析手段、開先情報取得手段、画像解析プログラム記憶手段に相当する。
次に、ロボットの制御装置10における開先情報取得機能のための一方向サーチの手順を図9、図10(a)、(b)を参照して説明する。
なお、上記機能を実現するために、前提条件として、前記レーザ変位センサLSのレーザ照射方向がツール座標系のいずれかの軸と平行となるようにセンサヘッドLSaが取り付けされ、図2(a)にはツールである溶接トーチ14が示されており、ツール座標系は図2(a)のように表わされる。そして、本実施形態では、図2(b)に示すように溶接トーチ14に対して、レーザ変位センサLSのセンサヘッドLSaはレーザ照射方向がZ−方向となるように取付けされている。
又、ロボット制御装置RCには、溶接作業が行われる前に、溶接が行われる際のマニピュレータMの動作及び溶接条件等を示す教示データがティーチペンダントTPを介して入力され記憶されている。
(1) まず、ロボット制御装置RCは前記教示データに従ってマニピュレータMを再生動作させて、レーザ変位センサLSを図3に示すように一方向にサーチ動作を行い、予め基準点をロボット制御装置RCに記憶する。この基準点の取得の仕方については説明の便宜上後述する。
(2) 次に、ロボット制御装置RCは、マニピュレータMをリターンさせた後、教示データに従って再生動作させ、開先情報取得命令の直前点にレーザ変位センサLSが到達すると、図9に示すようにレーザ変位センサ制御装置LUにレーザ照射指令を出力する。同時に、ロボット制御装置RCは予めティーチペンダントTPにて入力されていた画像解析のため検出パターン番号、該検出パターン番号に対応するとともに予めティーチペンダントTPにて入力された検出パラメータ及びデータサンプリング周期をレーザ変位センサ制御装置LUに送信する。
ここで、検出パラメータとは、レーザ変位センサ制御装置LUで画像解析時に使用される数値の集合である。検出パラメータは、検出パターン番号に対応して複数個有するものであり、検出パターン番号により検出パラメータの意味が変化する。
なお、検出パラメータの例については後述する。
なお、ロボット制御装置RCはレーザ変位センサ制御装置LUにレーザ照射指令を出力した時点での、マニピュレータMの位置をサーチ開始点座標として記憶する。
(3) この後、ロボット制御装置RCは開先情報取得命令をレーザ変位センサ制御装置LUに出力する。
(4) 前記レーザ照射指令に応じたレーザ変位センサ制御装置LUの制御によりレーザ変位センサLSは距離測定(すなわち、測距データの取得)を開始し、同時にマニピュレータMの溶接トーチ14はサーチ終了点に向かって動作を開始する。そして、レーザ光を投射し得られた測距データがレーザ変位センサLSからレーザ変位センサ制御装置LUに入力される。
レーザ変位センサ制御装置LUでは、レーザ照射中、前記データサンプリング周期で定めた周期でレーザ変位センサLSから受信した測距データ(すなわち、距離データ)をメモリに保存していく。
(5) マニピュレータMがサーチ終了点に到達すると、ロボット制御装置RCはレーザ消灯指令をレーザ変位センサ制御装置LUに送信する。その指令を受けてレーザ変位センサ制御装置LUはレーザ変位センサLSを消灯する。このとき、ロボット制御装置RCは、レーザ変位センサ制御装置LUにレーザ消灯指令を出力した時点での、マニピュレータMの位置をサーチ終了点として記憶する。そして、レーザ消灯指令の送信と同時にロボット座標系におけるサーチ開始点及びサーチ終了点をロボット制御装置RCはレーザ変位センサ制御装置LUに送信する。
(6) サーチ動作終了後、レーザ変位センサ制御装置LUは時系列で得られた測距データに対して画像処理を行う。この画像処理が行われているデータを以下、画像データという。そして、メモリ上の該画像データに対する特徴点を求める。又、レーザ変位センサ制御装置LUは開先に応じてギャップ量や開先角度といった物理量を求める。なお、特徴点、及び物理量の求め方についての詳細な説明は例を挙げて後述する。
(特徴点と物理量)
ここで、特徴点と物理量を溶接継手としてのV字継手、重ね継手及び円弧位置を例にして説明する。
(V字継手)
V字継手の場合、図4に示すように、左右の溶接母材(ワークW)の開先において、両溶接部材上面の延長平面Eに位置する開先の中点Pを特徴点としている。V字継手の場合、ギャップ量、開先深さ、開先角度θ1、開先角度θ2を物理量としている。ギャップ量Gは図4に示すように開先の左右の溶接母材の互いに離間した端の縁部の距離(左右の溶接母材の開先端間距離)である。開先深さHは、開先溝の深さである。開先角度θ1は、一方の溶接母材の開先側の角度であり、開先角度θ2は他方の溶接母材の開先側の角度である。
(重ね継手)
重ね継手の場合、図5に示すように、上板Uの端角(上板角という)のポイントを特徴点としている。又、上板Uと下板Sの離間距離を物理量であるギャップ量としている。なお、重ね継手のギャップ量は、レーザ変位センサLSから下板Sまでの測距データと上板Uまでの測距データとの差を取って、その値から、予め設定されている上板Uの板厚を引くことにより得ることができる。
(特徴点と物理量の算出)
ここで、レーザ変位センサ制御装置LUが行う画像解析による特徴点及び物理量の算出について説明する。この画像解析は、表1に示される検出パターン番号に対応した画像解析プログラムがレーザ変位センサ制御装置LUのコンピュータにて読み込まれて下記(1)〜(10)の順序で実行される。なお、下記説明中、該コンピュータが実行するときに参考とされる検出パラメータは表1に示された検出パラメータ1〜9に記載されているものである。これらの検出パラメータは、特徴点及び物理量を算出するための検出条件である。
検出パラメータ1及び検出パラメータ2は、データの上限値及び下限値をそれぞれ規定する。検出パラメータ3及び検出パラメータ4は開先内のオフセット量及び直線長さをそれぞれ規定する。検出パラメータ5は、特徴点となるねらい位置を規定するものであり、「0」は開先溝の最深部を、「1」は開先溝の左上縁部を、「2」は開先溝の右上縁部を、「3」は開先の中点を、「4」は近似直線交点を指定する。どれを特徴点とするかは、オペレータが予めティーチペンダントTPから入力することにより、画像解析プログラムに設定される。
検出パラメータ6は端点検出の閾値を規定する。検出パラメータ7は開先外のオフセット量を規定する。検出パラメータ8は画像データに対するフィルタ処理のためのフィルタモードを規定し、「0」は、フィルタなし、「1」は移動平均、「2」はメディアン、「3」は移動平均とメディアンの両処理を意味する。どのフィルタ処理が行われるかは、オペレータが予めティーチペンダントTPからの入力により、画像解析プログラムに設定される。検出パラメータ9は、フィルタ窓幅を規定する。
Figure 2008080360
(1)まず、レーザ変位センサ制御装置LUは検出パラメータ8でフィルタモードを設定する。
(2)次に、レーザ変位センサ制御装置LUは検出パラメータ9で指定したフィルタ窓幅で画像データを前記設定されたフィルタモードに従ってフィルタ処理する。
(3)続いて、レーザ変位センサ制御装置LUは測距距離から検出パラメータ1(データ上限値)〜検出パラメータ2(データ下限値)の範囲外のデータを除外し、その中でデータ最深部を探索する(図6参照)。図6において、黒点は測距データ取得時のサンプリング点を示している。
(4)次に、レーザ変位センサ制御装置LUは最深部から検出パラメータ3で指定したオフセット量離れた位置を中心に、開先両端にそれぞれ検出パラメータ4で指定した直線長さの近似直線を引く(図6参照)。
(5)続いて、レーザ変位センサ制御装置LUは、測距したサンプリング点のうち、各直線から検出パラメータ6で指定した距離(すなわち、端点検出の閾値)離れ始める点を左右の開先端とする(図6参照)。
(6)次に、レーザ変位センサ制御装置LUは検出パラメータ5で特徴点を指定する(図6参照)。なお、本実施形態では、予めオペレータの入力により画像解析プログラムには「3」が選択されているものとする。なお、交差角としては、各々鋭角となる角度を選択する。
(7)続いて、レーザ変位センサ制御装置LUは左右の溶接母材の開先端間距離をギャップ量Gとする(図6参照)。
(8)次に、レーザ変位センサ制御装置LUは開先左端から検出パラメータ7で指定したオフセット量分、左に移動した位置を中心に左開先外近似直線を引く。同様に右開先外近似直線を引く(図6参照)。
(9)続いて、レーザ変位センサ制御装置LUは左開先外近似直線と最深部の距離を開先深さとする(図6参照)。
(10)そして、レーザ変位センサ制御装置LUは左開先部近似直線と左開先外近似直線の交差角を開先角度θ1、右開先部近似直線と右開先外近似直線の交差角を開先角度θ2とする(図6参照)。
なお、重ね継手やV字継手では傾きが急峻に変化する場所が存在するが、そうではない場合にも開先情報取得機能は適用できる。例えば円弧位置を探索することもできる。円弧位置での画像解析手順は以下(1)〜(7)の通りである。
この画像解析は、表2に示される検出パターン番号に対応した画像解析プログラムがレーザ変位センサ制御装置LUのコンピュータにて読み込まれて実行される。なお、画像解析プログラムの選択は、予めオペレータの入力により決定される。そして、該コンピュータが実行するときに参考とされる検出パラメータは表2に示された検出パラメータ1〜6に記載されているものである。この場合、これらの検出パラメータは、特徴点を算出するための検出条件である。
ここでの検出パラメータ1は頂点探索時の区間長さを規定する。又、検出パラメータ2は、頂点からの下がり量を規定する。検出パラメータ3は、点A,B探索時の高さ差分閾値である。検出パラメータ4は探索する円弧の半径を規定する。検出パラメータ5は画像データに対するフィルタ処理のためのフィルタモードを規定し、「0」は、フィルタなし、「1」は移動平均、「2」はメディアン、「3」は移動平均とメディアンの両処理を意味する。どのフィルタ処理が行われるかは、オペレータが予めティーチペンダントTPから入力することにより、画像解析プログラムに設定される。検出パラメータ6は、フィルタ窓幅を規定する。
Figure 2008080360
(1)レーザ変位センサ制御装置LUは検出パラメータ5でフィルタモードを設定する。
(2)次に、レーザ変位センサ制御装置LUは検出パラメータ6で指定したフィルタ窓幅で画像データを前記設定されたフィルタモードに従ってフィルタ処理する。
(3)続いて、レーザ変位センサ制御装置LUは頂点をサンプリング点を基にラフに探索する(図8参照)。図8の黒点は測距データ取得時のサンプリング点を示している。
(4)そして、レーザ変位センサ制御装置LUは頂点から検出パラメータ4以上離れたデータは除外する。
(5)次に、レーザ変位センサ制御装置LUは頂点から、検出パラメータ2下がった位置を探索する。(4)で整形したデータ(以下、整形データという)の左端から探索を開始し、
((測距データ)−(頂点−検出パラメータ2))<検出パラメータ3
となる点を点Aとする。同様に整形データ右端から探索を行い、点Bを求める。
(6)続いて、レーザ変位センサ制御装置LUは点A〜点Bの中点Cを計算する。
(7)そして、レーザ変位センサ制御装置LUは、左右方向はCの座標、上下方向は頂点の高さの座標の位置を特徴点とする。
(特徴点の座標の算出)
さて、話を元に戻して、レーザ変位センサ制御装置LUは、画像処理で得られた画像データ上の特徴点と、ロボット制御装置RCより送信されたサーチ開始点及びサーチ終了点のロボット座標より、ロボット座標での特徴点座標を求め、物理量と合わせてロボット制御装置RCに返信する。
ここで、前記特徴点は、サーチ方向及びレーザ照射方向に分けて求められる。以下、サーチ方向の特徴点の位置を「左右位置」、レーザ照射方向の特徴点の位置を「上下位置」と呼ぶ。このとき、左右位置、上下位置は以下のように求められる。
Figure 2008080360
(基準点の位置)
そして、最初の一方向サーチ動作時にはこれらが基準点(基準位置)として記録される。その様子を図7に示す。なお、図7は説明の便宜上サーチ方向がロボット座標系のX軸と平行に図示しているが、実際のサーチは必ずしもX軸と平行である必要はない。
このようにして、基準点(基準位置)を取得した後は、前述した施工されるワークWに対して同じように一方向サーチ動作を行う。
(ずれ量の算出)
上記のようにして、ロボット制御装置RCがレーザ変位センサ制御装置LUから返信された特徴点の座標と先に記憶した基準点の座標からずれ量を以下の式で算出し、ロボット制御装置RCのコンピュータが備えるメモリ等の記憶装置のずれ量補正ファイルに格納する。
Figure 2008080360
(制御量の補正)
又、ロボット制御装置RCは、レーザ変位センサ制御装置LUから返信された物理量、例えば、ギャップ量、開先深さ、開先角度θ1、開先角度θ2の大きさに応じて、制御量としての溶接電流や、溶接速度や、ウィービング振幅を変化させる。例えば、ギャップ量が基準としている量よりも長くなれば、ロボット制御装置RCは溶接電流を増加させたり、溶接速度を遅くしたり、或いはウィービング振幅を広くする。又、逆にギャップ量が基準としている量よりも短くなれば、ロボット制御装置RCは溶接電流を減少させたり、溶接速度を速くしたり、或いはウィービング振幅を狭くする。
本実施形態では、このようにレーザ変位センサという一次元の検出しかできないセンサで、二次元の開先情報の取得(特徴点および物理量)を一方向サーチと同じ動作で行うことができる。なお、ここで、二次元といっているのは、X軸とZ軸を含む平面上で前記開先情報が得られることをいっている。
又、各々の開先に適した検出アルゴリズムを適用することで、重ね継手やV字継手以外にも様々な開先に対する特徴点や物理量を求めることができる。また、同一継手でも、例えば、表1の検出パラメータ5のように検出パラメータの切替により、特徴点を選択することができる。
第1実施形態の溶接ロボットの制御装置10によれば、以下のような効果を得ることができる。
(1) 本実施形態の溶接ロボットの制御装置10は、レーザ変位センサLSからの測距データに基づいて例えばV字継手等の画像解析を行う画像解析手段としてレーザ変位センサ制御装置LUを備える。そして、レーザ変位センサ制御装置LUは、開先情報取得手段として画像解析に基づいて、例えばV字継手の開先形状に関する特徴点や物理量(ギャップ量、開先深さ、開先角度θ1、開先角度θ2)を含む開先情報を取得する。そして、レーザ変位センサ制御装置LUは、特徴点に基づいて例えばV字継手等の位置ずれを検出するようにしている。この結果、本実施形態によれば、特徴点の検出のために複数のサーチ動作が必要でなくなるとともに開先形状を選ぶことがない。又、両溶接部材上面の延長平面Eに位置する開先の中点Pを特徴点とするように特徴点の対象を、不連続点ではなく連続点にすることができる。これは、特許文献4が、一方向サーチで距離データをサンプリングし、そのサンプリング点を結んだ線の傾きが急に変化する仮の点(不連続点)を特徴点としていたこととは本実施形態の構成が大いに異なることから生ずる特徴である。
(2) 又、本実施形態のレーザ変位センサ制御装置LUは、さらに、画像解析に基づいて、例えば、V字継手等の開先形状に関する物理量を取得することができる。
(3) 又、本実施形態のロボットの制御装置10のロボット制御装置RCは、物理量に基づいてマニピュレータMの制御量を補正することができる。
(4) 又、本実施形態では、レーザ変位センサ制御装置LUのコンピュータは、開先形状に応じた画像解析プログラムを記憶し、選択された画像解析プログラムに従って画像解析を行うとともに溶接継手に関する特徴点を含む開先情報を取得するようにした。この結果、レーザ変位センサ制御装置LUは、溶接継手形状に応じた画像解析プログラムに従って実行するため、種々の溶接継手形状に応じた特徴点を取得することができるとともに特徴点に基づいて溶接継手の位置ずれを検出することができる。
(第2実施形態)
次に、第2実施形態を図11〜15を参照して説明する。なお、第1実施形態と同一構成については、同一符号を付してその詳細説明を省略し、異なる構成を中心に説明する。
本実施形態のロボットの制御装置10は、第1実施形態のレーザ変位センサ制御装置LUの基本的機能を、ロボット制御装置RCに持たせて、レーザ変位センサ制御装置LU、調整用パソコンPC及びディスプレイDispが省略されており、他の構成は第1実施形態と同様に備えている。図12は、第2実施形態におけるロボット制御装置RCとレーザ変位センサLSの関係を示す。すなわち、ティーチペンダントTPと交信可能に接続されたロボット制御装置RCがレーザ変位センサLSに対して直接接続されている構成と成っている。
従って、本実施形態のロボット制御装置RC(コンピュータ)は、画像解析手段、開先情報取得手段、画像解析プログラム記憶手段、測距データ記憶手段及びロボット制御手段に相当する。
又、第1実施形態では説明をしなかったが、ティーチペンダントTPはキーボード41及び表示手段としての液晶ディスプレイ42が設けられている。キーボード41により各種の教示データ等がロボット制御装置RCに入力される。
以下、本実施形態の作用を説明する。
なお、第2実施形態においても、第1実施形態と同様に上記開先情報取得機能を実現するために、前提条件として、前記レーザ変位センサLSのレーザ照射方向がツール座標系のいずれかの軸と平行となるようにセンサヘッドLSaが取り付けされている。又、ロボット制御装置RCには、溶接作業が行われる前に、溶接が行われる際のマニピュレータMの動作及び溶接条件等を示す教示データがティーチペンダントTPを介して入力され記憶されている。
(1) まず、ロボット制御装置RCは前記教示データに従ってマニピュレータMを再生動作させて、レーザ変位センサLSを図3に示すように一方向にサーチ動作を行い、予め基準点をロボット制御装置RCに記憶する。この基準点の取得の仕方は、第1実施形態と同様である。
(2) 次に、ロボット制御装置RCは、マニピュレータMをリターンさせた後、教示データに従って再生動作させ、開先情報取得の直前点にレーザ変位センサLSが到達すると、図13に示すようにレーザ変位センサLSにレーザ照射指令を出力する。
同時に、ロボット制御装置RC(コンピュータ)は予めティーチペンダントTPにて入力されていた画像解析のため検出パターン番号、該検出パターン番号に対応するとともに予めティーチペンダントTPにて入力された検出パラメータ及びデータサンプリング周期を加味して、図示しないメモリ等に記憶している画像解析プログラムを実行する。
(3) この後、ロボット制御装置RCは開先情報取得を実行する。すなわち、前記レーザ照射指令に応じてレーザ変位センサLSは距離測定(すなわち、測距データの取得)を開始し、同時にマニピュレータMの溶接トーチ14はサーチ終了点に向かって動作を開始する。そして、レーザ光を投射し得られた測距データがレーザ変位センサLSからロボット制御装置RCに入力される(図14(a)参照)。
ロボット制御装置RCでは、レーザ照射中、前記データサンプリング周期で定めた周期でレーザ変位センサLSから受信した測距データ(すなわち、距離データ)をメモリに保存していく。
(4) マニピュレータMがサーチ終了点に到達すると、ロボット制御装置RCはレーザ消灯指令をレーザ変位センサLSに送信する(図14(b)参照)。その指令を受けてレーザ変位センサLSは消灯する。このとき、ロボット制御装置RCは、レーザ消灯指令を出力した時点での、マニピュレータMの位置をサーチ終了点としてメモリに記憶する。
(5) サーチ動作終了後、ロボット制御装置RCは、時系列で得られた測距データに対して画像処理を行う。そして、メモリ上の画像データに対する特徴点を求める。又、ロボット制御装置RCは開先に応じてギャップ量や開先角度といった物理量を求める。
以下は、第1実施形態と同様にずれ量の算出を行い、物理量を使用してマニピュレータMの制御量を補正する。
又、第2実施形態では、ロボット制御装置RCはティーチペンダントTPが備えている液晶表示装置等からなるディスプレイの表示領域Da(図15参照)に対して画像解析結果をグラフ化して表示するとともに、表示領域Db(図16参照)に対して各種の物理量を表示する。なお、本実施形態では表示領域Dbには、開先(レーザ)データのデータ個数も示される。
以下に、第2実施形態の特徴を述べる。
(1) 第1実施形態では、レーザ変位センサLSの距離データや画像解析データはすべてレーザ変位センサ制御装置LUが管理しているため、1回サーチするたびにロボット制御装置RCとレーザ変位センサ制御装置LUの間でシリアル通信を行うことになる。このとき、1回あたり計10ms〜20ms(115,200bps時)の時間がかかる。このため、第1実施形態ではサーチ点数が多くなるほど、この通信時間のロスが大きくなる。
これに対して、第2実施形態ではこのような問題はなく、レーザ変位センサ制御装置LUで行っているレーザ変位センサLSから受信した測距データのサンプリング、データのメモリへの保存および画像解析処理がロボット制御装置RCで実現されている。従って、サーチ点数が多くなっても、通信時間のロスが発生することはない。
又、第2実施形態では、レーザ変位センサ制御装置LUが無くなり、機器コストを削減することができる。
なお、本発明の第2実施形態におけるデータ表示方法は以下のように変更してもよい。
○ 第2実施形態において、さらにティーチペンダントTPの液晶ディスプレイ42に図17に示すように、一方向サーチ動作の後、後で測距データを表示するようにしてもよい。
この実施形態では、下記の特徴がある。
(1) 前記第1実施形態では、レーザ変位センサLSの距離データや画像解析データはすべてレーザ変位センサ制御装置LUが管理している。このため、第1実施形態では開先情報取得機能の画像解析がうまくいかない場合、レーザ変位センサ制御装置LUにモニタやパソコンを接続して、動作内容の確認作業が必要となるが、本実施形態では一方向サーチにおいても測距データをティーチペンダント上において、図17に示すように表示することができる。なお、図17中、横軸は時間、縦軸は距離を表す。
従って、本実施形態では、一方向サーチで検出されるまでの測距データの挙動は、ロボット制御装置RCに接続されたティーチペンダントTP上で確認できる。又、誤検出時には誤検出が発生している箇所の確認を簡単に行うことができる。すなわち、本実施形態では、わざわざモニタやパソコンを接続する必要がなくなり、ティーチペンダントを利用して誤検出が発生している箇所の確認を簡単に行うことができる。
○ さらに、第2実施形態において、さらにティーチペンダントTPの液晶ディスプレイ42に図18に示すように、測距データをティーチペンダントTPの液晶ディスプレイ42にリアルタイムに表示するようにしてもよい。なお、図18において横軸は時間、縦軸は距離である。
上記のよう構成されていることにより、レーザ照射を行い、測距データをティーチペンダントTPにリアルタイムに表示することができる。
そして、マニピュレータMを手動で動作させることで、パソコンなどの外部ツールを使わなくて測定したい箇所の測距データの挙動をティーチペンダントTP上で確認できるため、誤検出が発生したときのレーザ動作確認を簡単に行うことができる。
本発明を具体化した第1実施形態のロボットの制御装置のブロック図。 (a)はツール座標系の説明図、(b)はレーザ変位センサLSの取付状態を示すレーザ変位センサLSの斜視図。 一方向サーチ動作の説明図。 V字継手の特徴点、物理量の説明図。 重ね継手の特徴点、物理量の説明図。 V字継手の画像解析の手順の説明図。 特徴点、物理量のロボット座標上への変換の様子を示す説明図。 円弧位置の画像解析の説明図。 第1実施形態の開先情報取得機能の動作を説明する説明図。 (a)、(b)は第1実施形態の開先情報取得機能の動作を説明する説明図。 (a)は第2実施形態のロボットの制御装置のブロック図、(b)はティーチペンダントTPの概略図。 第2実施形態におけるロボット制御装置RCとレーザ変位センサLSの関係を示す説明図。 第2実施形態の開先情報取得機能の動作を説明する説明図。 (a)、(b)は第2実施形態の開先情報取得機能の動作を説明する説明図。 画像解析結果をグラフ化してティーチペンダントTPのディスプレイに表示した表示した説明図。 各種の物理量をティーチペンダントTPのディスプレイに表示した説明図。 他の実施形態において、一方向サーチでティーチペンダントに測距データが表示された例を示す説明図。 他の実施形態において、ティーチペンダントに測距データリアルタイムの表示例を示す説明図。 一方向サーチ機能の説明図。 (a)〜(c)は一方向サーチの説明図。
符号の説明
LU…レーザ変位センサ制御装置(画像解析手段、開先情報取得手段、画像解析プログラム記憶手段)、RC…ロボット制御装置(画像解析手段、開先情報取得手段、画像解析プログラム記憶手段)、LS…レーザ変位センサ、42…液晶ディスプレイ(表示手段)。

Claims (7)

  1. 溶接継手に対しレーザ光を投射して、測距データを取得するレーザ変位センサと、
    前記レーザ変位センサを溶接トーチとともに溶接線を横断する方向に移動させるマニピュレータと、
    前記レーザ変位センサからの測距データに基づいて前記溶接継手の画像解析を行う画像解析手段と、
    前記画像解析に基づいて、前記溶接継手の開先形状に関する特徴点を含む開先情報を取得する開先情報取得手段を備え、
    前記特徴点に基づいて溶接継手の位置ずれを検出することを特徴とする自動溶接機の位置検出システム。
  2. 前記開先情報取得手段は、さらに、開先情報として、前記画像解析に基づいて、前記溶接継手の開先形状に関する物理量を取得することを特徴とする請求項1に記載の自動溶接機の位置検出システム。
  3. 前記物理量に基づいて前記マニピュレータの制御量を補正するロボット制御手段を備えたことを特徴とする請求項2に記載の自動溶接機の位置検出システム。
  4. 開先形状に応じた画像解析プログラムを記憶する画像解析プログラム記憶手段を備え、
    前記画像解析手段は、前記画像解析プログラム記憶手段が記憶した画像解析プログラムのうち、選択された画像解析プログラムに従って画像解析を行い、前記開先情報取得手段は前記選択された画像解析プログラムに従って前記溶接継手に関する特徴点を含む開先情報を取得することを特徴とする請求項1乃至請求項3のうちいずれか1項に記載の自動溶接機の位置検出システム。
  5. 前記画像解析手段と、開先情報取得手段と、ロボット制御手段は共通のコンピュータで兼用することを特徴とする請求項1乃至請求項4のうちいずれか1項に記載の自動溶接機の位置検出システム。
  6. 前記コンピュータが、前記測距データを記憶する測距データ記憶手段を備え、
    さらに、前記コンピュータには、前記測距データを出力して表示する表示手段が設けられていることを特徴とする請求項5に記載の自動溶接機の位置検出システム。
  7. 前記表示手段が、前記測距データをリアルタイムで表示することを特徴とする請求項6に記載の自動溶接機の位置検出システム。
JP2006262727A 2006-09-27 2006-09-27 自動溶接機の位置検出システム Active JP5636148B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006262727A JP5636148B2 (ja) 2006-09-27 2006-09-27 自動溶接機の位置検出システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006262727A JP5636148B2 (ja) 2006-09-27 2006-09-27 自動溶接機の位置検出システム

Publications (2)

Publication Number Publication Date
JP2008080360A true JP2008080360A (ja) 2008-04-10
JP5636148B2 JP5636148B2 (ja) 2014-12-03

Family

ID=39351737

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006262727A Active JP5636148B2 (ja) 2006-09-27 2006-09-27 自動溶接機の位置検出システム

Country Status (1)

Country Link
JP (1) JP5636148B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200130095A1 (en) * 2017-04-20 2020-04-30 Daihen Corporation Arc Welding Device and Arc Welding Method
CN112254652A (zh) * 2020-10-13 2021-01-22 绍兴文理学院 一种单激光传感器的工件连接点定位装置及定位方法
CN112621034A (zh) * 2020-12-10 2021-04-09 北京博清科技有限公司 一种焊枪的定位方法、装置、设备和存储介质
CN112621033A (zh) * 2020-12-10 2021-04-09 北京博清科技有限公司 一种焊枪的定位方法、装置、设备和存储介质
CN113253671A (zh) * 2021-06-09 2021-08-13 曹智军 一种双梁起重机主梁的筋板内缝焊接机器人参数化编程方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05228634A (ja) * 1992-02-21 1993-09-07 Amada Co Ltd 溶接線認識方法並びに溶接線認識装置および溶接方法
JPH09183087A (ja) * 1995-12-28 1997-07-15 Komatsu Ltd 作業ロボット装置
JPH09277045A (ja) * 1996-04-12 1997-10-28 Fanuc Ltd 多層盛り溶接における制御方法
JPH11123678A (ja) * 1997-10-24 1999-05-11 Yaskawa Electric Corp ワークの位置検出方法
JP2000033477A (ja) * 1998-07-17 2000-02-02 Hitachi Ltd 多層盛溶接装置
JP2001334366A (ja) 2000-05-19 2001-12-04 Hitachi Constr Mach Co Ltd 自動溶接方法および装置
JP2002144035A (ja) * 2000-11-08 2002-05-21 Hitachi Ltd 多層盛溶接におけるトーチ位置の制御方法
JP2003230959A (ja) * 2002-02-06 2003-08-19 Toshiba Corp 遠隔操作型溶接ロボットシステム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05228634A (ja) * 1992-02-21 1993-09-07 Amada Co Ltd 溶接線認識方法並びに溶接線認識装置および溶接方法
JPH09183087A (ja) * 1995-12-28 1997-07-15 Komatsu Ltd 作業ロボット装置
JPH09277045A (ja) * 1996-04-12 1997-10-28 Fanuc Ltd 多層盛り溶接における制御方法
JPH11123678A (ja) * 1997-10-24 1999-05-11 Yaskawa Electric Corp ワークの位置検出方法
JP2000033477A (ja) * 1998-07-17 2000-02-02 Hitachi Ltd 多層盛溶接装置
JP2001334366A (ja) 2000-05-19 2001-12-04 Hitachi Constr Mach Co Ltd 自動溶接方法および装置
JP2002144035A (ja) * 2000-11-08 2002-05-21 Hitachi Ltd 多層盛溶接におけるトーチ位置の制御方法
JP2003230959A (ja) * 2002-02-06 2003-08-19 Toshiba Corp 遠隔操作型溶接ロボットシステム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200130095A1 (en) * 2017-04-20 2020-04-30 Daihen Corporation Arc Welding Device and Arc Welding Method
CN112254652A (zh) * 2020-10-13 2021-01-22 绍兴文理学院 一种单激光传感器的工件连接点定位装置及定位方法
CN112621034A (zh) * 2020-12-10 2021-04-09 北京博清科技有限公司 一种焊枪的定位方法、装置、设备和存储介质
CN112621033A (zh) * 2020-12-10 2021-04-09 北京博清科技有限公司 一种焊枪的定位方法、装置、设备和存储介质
CN113253671A (zh) * 2021-06-09 2021-08-13 曹智军 一种双梁起重机主梁的筋板内缝焊接机器人参数化编程方法
CN113253671B (zh) * 2021-06-09 2023-11-14 曹智军 一种双梁起重机主梁的筋板内缝焊接机器人参数化编程方法

Also Published As

Publication number Publication date
JP5636148B2 (ja) 2014-12-03

Similar Documents

Publication Publication Date Title
CN108406091B (zh) 激光加工头及具备拍摄装置的激光加工系统
EP2375298B1 (en) Programming method for a robot, programming apparatus for a robot, and robot control system
US7605347B2 (en) Control system using working robot, and work processing method using this system
JPS62502110A (ja) 適応溶接案内装置
JP5636148B2 (ja) 自動溶接機の位置検出システム
JP5577157B2 (ja) ロボット制御システム
JP5502462B2 (ja) アーク溶接ロボットの制御装置及びプログラム
JP7422337B2 (ja) リペア溶接制御装置およびリペア溶接制御方法
US20220297246A1 (en) Repair welding device and repair welding method
JP2008221281A (ja) 自動溶接機の位置検出システム
JPH09183087A (ja) 作業ロボット装置
KR100671024B1 (ko) 레이저 비전 센서를 이용한 용접 로봇의 스텝 용접 방법 및시스템
JP5201890B2 (ja) 自動溶接装置の溶接条件補正方法及び自動溶接装置
JP2007307612A (ja) 自動溶接方法及び自動溶接装置並びに自動溶接に用いる基準治具
JP3550191B2 (ja) 溶接ロボット
JP5134871B2 (ja) アーク溶接ロボットの溶接トーチの姿勢制御方法及びアーク溶接ロボットの制御装置
JP6405168B2 (ja) 倣い制御装置、溶接ロボットシステムおよび倣い制御方法
JP3203507B2 (ja) レーザ加工装置
JP3550192B2 (ja) 溶接ロボット
JP2021062441A (ja) リペア溶接装置およびリペア溶接方法
WO2024009484A1 (ja) 制御装置及び制御方法
CN114713966B (zh) 识别焊缝的焊接方法
KR102569978B1 (ko) 로봇을 이용한 용접방법
WO2023170764A1 (ja) ロボットの探索プログラムの生成装置
TW202306720A (zh) 根據感測器的輸出來生成教示點的教示點生成裝置及教示點生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120523

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130621

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130701

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20131004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141020

R150 Certificate of patent or registration of utility model

Ref document number: 5636148

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250