JP2017138297A - ロボット加工工具の位置を監視するための距離測定装置及びその方法 - Google Patents

ロボット加工工具の位置を監視するための距離測定装置及びその方法 Download PDF

Info

Publication number
JP2017138297A
JP2017138297A JP2016098337A JP2016098337A JP2017138297A JP 2017138297 A JP2017138297 A JP 2017138297A JP 2016098337 A JP2016098337 A JP 2016098337A JP 2016098337 A JP2016098337 A JP 2016098337A JP 2017138297 A JP2017138297 A JP 2017138297A
Authority
JP
Japan
Prior art keywords
robot
laser
distance measuring
tool
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016098337A
Other languages
English (en)
Other versions
JP6685832B2 (ja
JP2017138297A5 (ja
Inventor
ボワロ ジャン−ポール
Boillot Jean-Paul
ボワロ ジャン−ポール
ギャブリー ジャック−アンドレ
Gaboury Jacques-Andre
ギャブリー ジャック−アンドレ
ラスナック アンドレ
Rusnac Andrei
ラスナック アンドレ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Servo Robot Inc
Original Assignee
Servo Robot Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Servo Robot Inc filed Critical Servo Robot Inc
Publication of JP2017138297A publication Critical patent/JP2017138297A/ja
Publication of JP2017138297A5 publication Critical patent/JP2017138297A5/ja
Application granted granted Critical
Publication of JP6685832B2 publication Critical patent/JP6685832B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/12Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/127Means for tracking lines during arc welding or cutting
    • B23K9/1272Geometry oriented, e.g. beam optical trading
    • B23K9/1274Using non-contact, optical means, e.g. laser means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B23K37/02Carriages for supporting the welding or cutting element
    • B23K37/0252Steering means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B23K37/02Carriages for supporting the welding or cutting element
    • B23K37/0211Carriages for supporting the welding or cutting element travelling on a guide member, e.g. rail, track
    • B23K37/0229Carriages for supporting the welding or cutting element travelling on a guide member, e.g. rail, track the guide member being situated alongside the workpiece
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/095Monitoring or automatic control of welding parameters
    • B23K9/0953Monitoring or automatic control of welding parameters using computing means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/095Monitoring or automatic control of welding parameters
    • B23K9/0956Monitoring or automatic control of welding parameters using sensing means, e.g. optical
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/16Arc welding or cutting making use of shielding gas
    • B23K9/173Arc welding or cutting making use of shielding gas and of a consumable electrode
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Plasma & Fusion (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

【課題】ロボット加工工具の近くに装着される追跡装置に対するロボット加工工具の3D位置を監視できる距離測定装置を提供すること。【解決手段】 ロボット加工工具の近くに装着される追跡装置に対するロボット加工工具の3D位置を監視するための距離測定装置が開示される。追跡装置に取り付け可能な本体は、レーザーユニットと、カメラユニットを支持する。レーザーユニットは、ロボット加工工具の目標領域上に三角測量レーザーマークを投影する。マーク、工具中心点及び加工領域が、カメラユニットの視野内にある。制御ユニットは、レーザーユニットの動作を制御し、イメージ分析回路を有し、カメラユニットにより生成されるイメージ信号を受け、イメージ信号の三角測量レーザーマークから三角測量レーザ測定データを生成し、三角測量レーザ測定データの関数としてロボット加工工具を示す信号を生成し、及びカメラユニットにより生成されるイメージ信号を送る。【選択図】図1

Description

本発明は、ロボットによる材料加工に関し、より詳細には、距離測定装置及びロボット加工工具の近くに装着される追跡カメラに対するロボット加工工具の位置を監視する方法に関する。ロボット加工工具は、特に溶接用トーチとしても良く、追跡カメラは、特に溶接継手追跡カメラである。
溶接継手追跡レーザカメラは、通常、溶接用トーチの前を固定距離だけ前方を注視する三角測量レーザを備えるように設計されている。このカメラは、付加的な2Dカラービデオカメラを備え、当該カメラが、三角測量レーザと同じ領域を見るカメラの同じ前面に配置される。
米国特許第6,346,751号公報 米国特許第5,329,092号公報
この追跡レーザカメラは、溶接トーチの先端の領域を監視できない、又は追跡カメラ及び溶接継手に対する溶接トーチの位置を監視できない。溶接トーチがワーク又は近くの構造物に衝突することが時々起きると、永続的な変形及び当該レーザカメラに対する溶接トーチの変位を生じることがあり、ロボットの工具中心点(TCP)の初期較正を狂わせる。この相対的な変位は、仮に検出されず、そして修正されないと、溶接継手の追跡ができないことや、溶接欠陥を生じる恐れがある。このような変位または永続的な変形は、特許文献1に開示されるように装着された衝突防止安全工具を備えるロボットにおいても依然として生じる。特許文献2は、溶接ロボットに対して、固定された位置に装着されるアライメントゲージブロックを提案している。当該ブロックは、V字形の刻み目を備え、この刻み目内に溶接ワイヤが周期的に通過するようにプログラムされている。ワイヤが当該ゲージブロックの側壁に接触すると、溶接ワイヤのずれが検出される。ロボットの加工動作は、アライメント確認が求められる度に停止しなければならず、ゲージブロックの方向へトーチ先端を移動させることは、時間を要し、場所を取る。
本発明の一の態様によれば、ロボット加工工具の近くに装着される追跡装置に対する前記ロボット加工工具の位置を監視するための距離測定装置が提供され、当該距離測定装置は、
前記追跡装置に取り付け可能な本体と、
前記本体により支持されるレーザーユニットと、前記レーザーユニットは、レーザと、前記ロボット加工工具の所定の目標領域上に三角測量レーザーマークを投影するための作動投影構成部とを有し、
前記本体により指示されるカメラユニットと、前記カメラユニットは、イメージセンサーと、光学視認構成部とを有し、前記ロボット加工工具の前記目標領域上の前記三角測量レーザーマーク、前記ロボット加工工具の工具中心点及び加工領域が、前記カメラユニットの視野内にあり、
前記レーザーユニット及び前記カメラユニットに接続される制御ユニットとを備え、
前記制御ユニットは、
前記レーザーユニットの動作を制御するためのレーザ制御回路と、
イメージ分析回路とを有し、前記イメージ分析回路は、前記カメラユニットの前記イメージセンサーにより生成されるイメージ信号を受け、前記イメージ信号の前記三角測量レーザーマークから三角測量レーザ測定データを生成し、前記三角測量レーザ測定データの関数として前記ロボット加工工具を示す信号を生成し、及び前記カメラユニットにより生成される前記イメージ信号を送る距離測定装置である。
また、本発明の別の態様によれば、当該距離測定ロボット加工工具の近くに装着される追跡装置に対する前記ロボット加工工具の位置を監視するための方法が提供され、当該方法は、
前記距離測定装置を前記追跡装置に取り付け、前記距離測定装置は、レーザと三角測量レーザーマークを投影するための作動投影構成部とを有するレーザーユニットと、イメージセンサーと光学視認構成部とを有するカメラユニットと、前記レーザーユニット及び前記カメラユニットに接続される制御ユニットとを備え、
前記三角測量レーザーマークが前記ロボット加工工具の目標領域上に投影できるように前記レーザーユニットを位置決めし、
前記三角測量レーザーマーク、前記ロボット加工工具の工具中心点及び加工領域が、前記カメラユニットの視野内にあるように前記カメラユニットを位置決めし、
前記三角測量レーザーマークが前記ロボット加工工具の前記所定の目標領域上に投影されるように前記レーザーユニットの動作を制御し、
前記カメラユニットの前記イメージセンサーにより生成されるイメージ信号を受け、
前記イメージ信号の前記三角測量レーザーマークから三角測量レーザ測定データを生成し、
前記三角測量レーザ測定データの関数として前記ロボット加工工具の前記位置を示す信号を生成し、及び
前記カメラユニットにより生成される前記イメージ信号を送る、工程を備え、よって前記ロボット加工工具の前記位置が前記イメージ信号及び前記ロボット加工工具の前記位置を示す前記信号により監視される方法である。
本発明の実施形態に係る距離測定装置を備えるロボット溶接トーチ及び溶接継手追跡カメラを模式的に示す斜視図である。 本発明の実施形態に係る距離測定装置を備えるロボット溶接トーチ及び溶接継手追跡カメラを模式的に示す側面図である。 本発明の実施形態に係る距離測定装置を模式的に示す断面図である。 本発明の実施形態に係る距離測定装置を模式的に示す斜視図である。 本発明の実施形態に係る距離測定装置を模式的に示す正面図である。 本発明の実施形態に係る距離測定装置を模式的に示すブロック図である。 本発明の実施形態に係る三角測量レーザーマークを有する目標ブロックのイメージを模式的に示す図である。 本発明の実施形態に係る三角測量レーザ測定データを模式的に示すグラフである。 本発明の実施形態に係る距離測定装置の較正シーケンスを示すフローチャートである。 本発明の実施形態に係る距離測定装置の動作モードを示すフローチャートである。
以下に、本発明の好ましい実施形態について添付図面を参照しつつ詳細に説明する。
図1及び図2には、ロボット溶接トーチ2(例えば、ガスメタルアーク溶接(GMAW)用のトーチ)の典型的な機構が示されている。ロボット溶接トーチ2は、ロボット手首4に取り付けられ、そして、ロボット溶接トーチ2の近くに又は隣接し、例えば、機械的結合及び治具10を介しロボット手首4に取り付けられる装着ブラケット組立体8を用いて、装着される溶接継手追跡カメラ6を備える。溶接継手カメラ6は、例えば、ワーク16上にある角度で投影されるレーザーライン14や溶接継手監視カメラ6により取得されるイメージに適切な三角測量分析を用いることで、ロボット溶接トーチ2の前であって、固定された前方注視距離で(図1に示されるように)溶接継手12を追跡するように構成されている。
本発明の実施形態は、ロボット溶接トーチ及び溶接継手監視カメラを有する溶接の態様を参照しつつ以下に説明するが、他の材料を加工する態様においても本発明が企図されることは理解すべきである。封止剤用の銃、切断又は加工工具は、溶接トーチの代わりに利用しても良いロボット加工工具の例であり。同様に、溶接継手追跡カメラの代わりに、ロボット加工工具の変位をガイドするための縁部又は他の追跡可能要素を追跡する追跡装置は、溶接継手追跡カメラの代わりに利用しても良い。
本発明の実施形態によると、溶接継手追跡カメラ6は、溶接継手追跡カメラ6に対するロボット溶接トーチ2の相対位置を監視するための距離測定装置18を備える。
図3を参照すると、距離測定装置18は、(例えば、図1に示されるように)溶接継手追跡カメラ6に取付け可能な本体20を備える。レーザーユニット22は、本体20に支持されている。レーザーユニット22は、レーザ装置24と、三角測量レーザーマーク28をロボット溶接トーチ2(例えば図1に示すような)の所定の目標領域上に投影するための、レーザドットをレーザーラインに変換するラインレンズのような作動投影構成部26とを備える。カメラユニット30は、本体20に支持されている。カメラユニット30は、イメージセンサー32及び光学観察構成部34を備え、(図1に示されるように)ロボット溶接トーチ2の目標領域上の三角測量レーザーマーク28、ロボット溶接トーチ2の工具中心位置(TCP)36及び溶接領域38をイメージセンサー32で視ることができる。
図6を参照すると、制御ユニット40は、レーザーユニット22及びカメラユニット30に連結されている。制御ユニット40は、レーザーユニット22の動作を制御するためのレーザ制御回路を有する。制御ユニット40はまた、カメラユニット30のイメージセンサー32により生成されるイメージ信号を受け、例えば、図7に示されるように、イメージ信号の三角測量レーザーマーク28から三角測量レーザ測定データを生成し、三角測量レーザ測定データの関数として、(例えば、図1に示されるように)ロボット溶接トーチ2の位置を表す信号を発生し、例えばビデオ出力コネクタ58を介しカメラユニット30により生成されるイメージ信号を送るイメージ分析回路を有する。レーザ制御回路及びイメージ分析回路は、構成可能性が高く種々の機能を実行するために利用可能であるということからプロセッサー46及びメモリ48(又は必要なら複数のプロセッサー及びメモリモジュール)を有する処理ユニット(CPU)に接続される現場プログラム可能ゲートアレイ(field−programmable gate array:FPGA)42により具現化できる。しかし、レーザ制御回路は、必要であれば異なる態様で、例えばマイクロコントローラー又は個別の電気及び電子部品から作製される回路を利用し、実装しても良いことは理解されたい。
図3、4、5を参照すると、本体20は、(図1及び2に示されるように)ロボット溶接トーチ2に面する溶接継手追跡カメラ6の側部を52に本体20装着するためのピン及びボルト50のような装着組立体を有することが好ましい。装着組立体は、本体20の傾き角度を溶接トーチ2に対する監視追跡カメラ6の傾き角度に合わせることができるように構成され、距離測定装置18が追跡カメラ6に装着されると、レーザーユニット22及びカメラユニット30は、トーチ角度及び前方注視距離(looking−ahead distance:LAD)に適合するように向けられるとともに位置決めされる。これは、この目的のために、本体20の追跡カメラ6側に適切な装着角度を有する装着面を設けることや、追跡カメラ6に距離測定装置18の設置面を設けることにより達成しても良い。装着組立体は、追跡カメラ6に関する距離測定装置18の角度が必要に応じて適合するように調整可能にしても良い。好ましくは、装着組立体は、可能性のある煙の侵入を防ぐために気密にすべきである。
図1及び2を再び参照すると、ロボット溶接トーチ2の目標領域は、ロボット溶接トーチ2の、溶接継手追跡カメラ6に面する前側部に延在する目標54を有することが好ましい。目標54は、ロボット溶接トーチ2の前側部に刻設される(不図示)マーク、又は適当なブラケット構成55によりロボット溶接トーチ2に取り付けられるブロックとしても良く、それらは、三角測量法に良く適合する形状を有することが好ましい。当該形状は、図1及び図2に示されるように、ロボット溶接トーチ2から溶接継手追跡カメラ6の方向へ突出する三角形状に相当すると有利である。このような目標要素は、例えば、トーチ本体のXYZ方向に関する位置を0.2mmより良く三角測量の精度を向上させる。ブロックは、硬質陽極酸化アルミニウム、真ちゅう又高い耐スパッタ性の他の材料から作製されると有利である。
図6に戻り、メモリ48は、(例えば図1に示されるように)ロボット溶接トーチ2の参照位置データを保存するためのイメージ分析回路により使用されても良い。メモリ48に接続されるプロセッサー46は、ロボット溶接トーチ2の位置を示す信号と参照位置データを比較し、ロボット溶接トーチ2の位置を示す信号と、参照位置データとの間で検出される差異が予め設定された変位閾値を超えると警告信号を発生する構成としても良い。タイムスタンプを備える検出位置の差異及び警告データは、必要な場合にはメモリ48に保存しても良い。警告信号は、コネクタ56を介し外部へ送っても良い。代替的に又は追加的に、警告信号は、スピーカー(不図示)により出力される可聴音又は光表示装置(不図示)により出力される可視信号の形態を取ってもよい。プロセッサー46は、警告信号が発生されると、カメラユニット30のイメージセンサー32により生成されるイメージ信号からのイメージをメモリ48に保蔵する構成としても良い。例えばタブレット又は表示画面(不図示)上で操作者が見るために、例えば同軸線49でビデオ出力コネクタ58を介し外部へ当該イメージが送られても良い。制御ユニット40は、M2M(エム・ツー・エム:Machine to Machine)やIoT(アイ・オー・ティー:Internet of Things)のように、外部装置(不図示)と必要なときに通信するために無線通信モジュール(不図示)を備えてもよい。コネクタ56は、制御ユニット40と、例えば制御回線43及びイーサネット(登録商標)回線45を介し通信し、例えば電源線47を介し電源を供給するために使用しても良い。
メモリ48は、溶接トーチのIDデータや対応する溶接トーチの形態データを保存するために使用しても良い。そして、プロセッサー46は、カメラユニット30のイメージセンサー32により生成されるイメージ信号、例えばバーコードから検出されるIDマークより(図1に示すような)ロボット溶接トーチ2のIDを検出する機能や三角測量レーザ測定データを生成するために使用される、メモリ48から対応する溶接トーチの形態データを抽出する機能を有する構成しても良い。イメージ信号のIDマークは、図1に示されるように、例えばロボット溶接トーチ2に貼付されるIDラベル60に由来するようにしても良い。任意に、ロボット溶接トーチ2及び距離測定装置18の両方は、IoT通信を備えても良い。
レーザーユニット22により投影される(例えば図1に示されるように)三角測量レーザーマーク28は、三角測量の精度を向上するために、平行又は交差するラインから構成しても良い。
カメラユニット30は、イメージ信号を前処理するためのセンサーインターフェースボード170を有しても良い。カメラユニット30は、制御ユニット40により制御可能な対象の領域の調整機能やオートフォーカス機能を有することが好ましい。カメラユニット30は、図3に示すように、制御ユニット40により作動でき、イメージセンサー32の前に延在するシャッター71を備えることが好ましい。シャッター71は、溶接電気アークからイメージセンサー32上に到達する強力な放射線をカットするために溶接時に作動するLCDシャッターであると有利である。
プロセッサー46は、カメラユニット30から受けるイメージ信号のイメージ分析によりTCPの位置を計算するように好ましくは構成されている。このようなTCP位置は、座標系の原点を規定するために使用しても良い。
図7及び図8を参照しつつ、イメージ分析回路は、ロボット溶接トーチ2の目標領域上の三角測量レーザーマーク28の投影に起因する、イメージ信号の強度のピーク及び(例えば図1に示す)区分された三角測量レーザーマーク28内の二つの中断点68、70を検出するように構成しても良い。ロボット溶接トーチ2の位置は、多項式較正パラメータを調整し2つの中断点68、70の間の距離の関数で決定できる。図8は、カメラユニット30で見るプロファイルの例を示す。
図4及び図5を参照すると、距離測定装置18は、好ましくは更に、本体20により指示され、(図3に示されるような)イメージセンサー32により見られる光景を照らすように向けられるLED62(複数)を有しても良い。
図3に戻ると、距離測定装置18は、好ましくは、レーザーユニット22及びカメラユニット30の前に延在する保護窓64と、図5に示されるように、保護窓64の外側部に延在するエアー噴射構成部66とを有する。保護窓64は、レーザーユニット22及びカメラユニット30の固定された保護レンズ27、33を隔離する。結果として、距離測定装置18のすべての光学開口が、冷却され、そして、開口領域の回りすべてに一体的に設計される複数のエアー噴射構成部66とともに、光学的に透明な保護窓64により、汚染物質や煙から保護される。
図9を参照すると、(例えば図1に示されるような)距離測定装置18に対する可能な自動自己較正シーケンスが示されている。まず、距離測定装置18が、ステップ72に記載されるように、溶接継手追跡カメラ6の一体部品として又は別個の部品として溶接継手カメラ6に取り付けられる。レーザーユニット22は、三角測量レーザーマーク28がロボット溶接トーチ2の目標領域に投影されるように位置決めされるべきである。カメラユニット30は、三角測量レーザーマーク28、ロボット溶接トーチ2の工具中心点36及び溶接領域38がイメージセンサー32により見えるように位置決めされえるべきである。そして、較正は、ステップ74に記載されるように開始される。ステップ76に記載されるように、設定の特性及びパラメータが確認され、溶接継手追跡カメラ6の前方注視距離(LAD)やその角度等を決定又は確認する。ステップ78に記載される通り、較正を実施するために、レーザーユニット22の作動は、三角測量レーザーマーク28がロボット溶接トーチ2の目標領域上に投影されるようにそして、カメラユニット30の視野が少なくとも、目標領域を含むように制御される。実施形態では、カメラユニット30の視野は、図2の破線で示されるように、カメラユニット30から広がる(2Dで示されるが、錐体形状は3Dの容量を有することは理解すべきである)錐体形状57を呈する。ステップ80に記載されるように、カメラユニット30の焦点が合わされる領域は、ストリーミングモードやチェックモード両方のために調整される。ステップ82に記載される通り、機構のパラメータ、例えばトーチ軸に対するカメラ角度、追跡レーザーラインの前方注視距離、トーチ目標位置の公差、トーチ目標位置を監視するため及び溶接シーケンス中又は溶接シーケンス間の溶接継手を監視するためのイメージセンサー32の関心領域が、距離測定装置18の制御ユニット40に接続されるタブレットまたはPC(不図示)を介し例えば操作者により入力され、一の較正シーケンスが開始する。パラメータの入力が、トーチ本体上のトーチIDラベル60を読みカメラユニット30により自動的に行われても良く、そして、パラメータデータは、制御ユニット40のメモリ48のデータベースから抽出してもよい。較正シーケンスは、ステップ84に記載されるように、複数のLED62及びレーザ24を稼働させ、カメラユニット30を用い目標54上の三角測量レーザーマーク28のイメージを取得することにより、開始してもよい。そして、ステップ86に記載の通り、制御ユニット40にプログラムされている視覚アルゴリズムは、例えば強度のピーク及び区分された三角測量レーザーマーク28内の二つの中断点68、70を介し三角測量レーザーマーク28の位置を決定する。中断点68、70間の距離は、目標上の三角測量レーザーマーク28の位置による。制御ユニット40は、目標の2Dイメージ上の位置、その明確な寸法及び目標上の三角測量レーザーマーク28の位置を決定する。目標の実寸法から、ステップ88により記載される通り、目標三角測量レーザーマーク28上で2つの中断点68、70間の測定される距離は、ステップ90により記載される通り多項式較正パラメータを調整することにより較正される。このようにロボット溶接トーチ2の通常のXYZ座標上の位置は、ロボット溶接トーチ2の参照フレーム上で、中断点68、70の位置を用いて決定され、較正がステップ92に記載されるように実行される。図7に示されるように、中断点68、70の鉛直方向位置は、X軸に沿って測定される変移を提供し、中断点68、70の水平方向位置は、Y軸に沿って測定される変移を提供し、一方、中断点68、70の距離は、Z軸に沿って測定される変移を提供する。位置の差異(ばらつき:variance)は、また、計算され、メモリ48に保存される。制御ユニット40は、較正をすべき時期を規定する較正確認ルーティーンに従うように構成しても良い。別の実施形態では、トーチ位置は、トーチ本体のY軸中心とトーチ本体の面上に刻設される交差する線上のXZ面上の位置を見つける交差する線のレーザにより測定することもできる。
図10を参照すると、距離測定装置18による可能な通常動作工程が示されている。溶接シーケンスの前に、カメラユニット30は、ステップ94に記載の通りストリーミングモードに入る。リアルタイムビデオが、例えば、(図6に示されるように)ビデオ出力コネクタ58を介し操作用ディスプレイ(不図示)に送られるようにしても良い。制御ユニット40は、画像の平均ピクセル強度を計算する。平均ピクセル強度が予め設定された閾値を越えると、LCDシャッター71が作動し溶接の開始が検出される。これは、ステップ96に記載される通り溶接工程の開始、ステップ98に記載される通り、LCDシャッター71が作動し、LED62がオフにされる自動検出工程、及びステップ100に記載される通り、カメラユニット30により取得される画像の平均ピクセル強度に基づき溶接の停止を検出し、この場合には、LCDシャッター71は、オフとされLED62が作動する別の自動検出工程に対応してもよい。メモリ48は、ステップ102に記載される通り2Dビデオを保存するために使用しても良い。制御ユニット40は、例えば、ステップ106に記載の通り、ロボットまたは操作者により付与される、ステップ104に示されるように、位置確認要求を待つ。このような要求を受けると、カメラユニット30は、ストリーミングを停止し、ステップ108に記載されるようにトーチ位置チェックモードに切り替えられる。制御ユニット40は、ステップ110に記載されている通り、イメージセンサー32の焦点パラメータを変更し、レーザ24を照射し、2Dイメージを取得する。制御ユニット40は、ステップ112に記載されるように、上述した較正シーケンスと同様に、トーチのXYZ座標上の位置を計算し、ログファイルにその値を保存する。制御ユニット40は、ステップ114に記載されるように初期位置と最後に測定された位置とを比較する。両位置の差があらかじめ設定された範囲内である場合には、ステップ116に示されるように、溶接作業が継続される。当該範囲内でない場合には、ステップ118に記載される通り、操作者に警告する警告信号が発生され、溶接作業は、操作者により停止できる。目標較正を確かめるために命令が制御ユニット40により又は任意に操作者により送られても良い。トーチ位置ずれが検出されると、補正作業が求められる。位置ずれが検出されない場合、カメラユニット30は、ストリーミングモードに戻り、溶接が可能となる。他の実施形態では、トーチ位置がチェックモードのみでイメージセンサー32を用いて溶接シーケンスの間で測定できる。
図1を再度参照すると、距離測定装置18は、このように、溶接トーチの相対位置をオンラインで監視できる、そして、加工物16又は他の部品との衝突により生じるかもしれない、溶接継手追跡カメラ6に対するロボット溶接トーチ2の偶発的な位置ずれを検出できる。距離測定装置18を裏面の配置によりTCP若しくは溶接溜め領域をより良く観ることができ、トーチID、アーク時間追跡、タイマー機能並びに、継手追跡及び溶接の完了実施を通じて、部品及び継手位置から機械化又はロボット化された溶接加工の完全な自動化に向けた溶接加工の補助に関する情報を提供しても良い。距離測定装置18は、追跡カメラ6の他の位置又は側部に必要であれば取り付けても良い。距離測定装置18は、正確な位置決めを必要とする他のロボット工具、例えば、封止剤用の銃、切断又は加工工具等の部位を監視するように利用しても良い。距離測定装置18は、トーチ又はロボットが衝突により壊れることを防止するために、ロボット手首4上にロボット溶接トーチ2を堅牢性を減じて装着できる。カメラ6の前面は、より小型化され、溶接トーチ2に対する障害物性を下げても良い。(図6に示されるように)制御ユニット40は、カメラ6の形式によっては、カメラ6の制御ユニット内に設置しても良い。好ましくは、距離測定装置18は、溶接領域から離され、溶接スパッタ、熱及び煙により曝されないようにするため、カメラ6の上部に配置することが好ましい。距離測定装置18は、必要があれば装着ブラケット組立体8を介しカメラ6に取り付けても良い。トーチのXYZ座標上の正確な相対位置は、ロボット溶接トーチ2に装着されている目標54又はトーチ本体の参照マークの助けにより測定できる。トーチ位置は、溶接中又は溶接シーケンス間で監視できる。予め設定された閾値より大きい変位が検出されると、警告信号が表示され、記録され、溶接操作者に送られるようにしても良い。三角測量目標54の設計は、多くの種類の溶接トーチに適合し、また、XYZ座標における高解像度をもたらす。他の実施形態では、2重線三角測量レーザーユニット22を使い、トーチ本体に刻設される簡易な交差線の助けをかり円筒状のトーチ本体の位置を直接測定するように使ってもよい。
操作者は、いつもビデオモニター(不図示)上で、工程管理のために溶接継手追跡カメラ6及びカメラユニット30の視野を遠隔で監視でき、追跡レーザにより観察される追跡位置が、溶接トーチ先端及び継手上の溶接ワイヤ先端の位置のそばに、要求通りに見えることを確認できる。操作者は、また、トーチ先端周囲のアーク光、煙及びスパッタを溶接中に監視することができる。警告信号の後、操作者は、トーチの位置ずれが検出された時に取得された2Dイメージを見ることができ、このイメージの関心領域、カメラユニット30により取得される三角測量のプロファイル、この時のトーチの位置及びそれ以前のその時間発展を見ることができる。円筒状トーチ先端の中心が溶接継手から大きく変位していることは、レーザ三角測量無しで2Dイメージ上でも直接検出される。
一実施形態では、追跡カメラ6は、(例えば図5に示されるように)ボルト50用にねじ切りされた孔と、一体的なインターフェース接続部を備える、例えば、裏面(又は他の面)の装着構成により距離測定装置18を設置できるように設計されている。したがって、カメラ6の埋め込み制御ユニットは、その作動のために、距離測定装置18と共有しても良い。
図6を再び参照すると、制御ユニット40は種々の動作モードを備える構成としても良く、例えば、イメージセンサー32が(例えば図1に示すように)目標54の連続画像を目標上のレーザーラインとともに取得し、かつ、溶接トーチ2の前方の溶接継手の視認できる光景の画像を取得する。視認アルゴリズムは、CPU44又はFPGA42で実施されても良い。CPU44は、使用者による較正(手順、グラフィカルインターフェース、パラメータの入力、カメラ6のベータ角、LAD等)のコードを実施するように使用されても良く、それにより、使用者が焦点を合わせる関心領域(ROI)(例えば目標54の測定領域と監視する他の領域)を規定するために、GUI(グラフィカルユーザーインターフェース)を備えること、その結果、ストリーマー/ビデオの保存、許容度の入力、動作が生じた場合の対応の管理を視認するためのインターフェースを備えることや、分析を行うこと、LCDシャッター71を自動的に稼働させることができる。包括的な較正の多項式は、制御ユニット40にハードコードとしても良い。カメラユニット30により取得された画像は、ピクセル間距離(目標54は、予め規定された幅及び高さを有する)を計算するために使用しても良く、そして当該包括的な多項式は、ピクセル間の距離の関数として変更することができる。
イメージセンサー32は、トーチの位置を三角測量により測定するために、そして溶接領域をカラービデオのためにCMOSカラーセンサーとすると有利であり、そのときにはボード70は、CMOSインターフェースボードである。光学フィルタはLCDシャッター71を介し実装され、溶接の実施の有無に拘わらず、溶接領域の三角測量及び2Dカラービデオを可能とする。
LED62及びLCDシャッター71は、制御ユニット40のFPGA42に接続されるドライバー41により動作させても良い。
本発明の実施形態は、添付図面に示されそして、上述したが、当業者は、本発明から逸脱しない範囲で変更ができることは明らかである。
CPU 処理ユニット
ROI 対象領域
LAD 前方注視距離
2 ロボット溶接トーチ
4 ロボット手首
6 溶接継手追跡カメラ
8 装着ブラケット組立体
10 治具
12 溶接継手
14 レーザーライン
16 加工物
18 距離測定装置
20 本体
22 レーザーユニット
24 レーザ
26 作動投影構成部
27 保護レンズ
28 レーザーマーク
30 カメラユニット
32 イメージセンサー
33 保護レンズ
34 光学観察構成部
36 工具中心点(TCP)
38 溶接領域
40 制御ユニット
43 制御回線
41 ドライバー
45 イーサネット回線
46 プロセッサー
47 電源線
48 メモリ
49 同軸線
50 ボルト
52 側部
54 三角測量目標ブロック、目標
55 ブラケット構成
56 コネクタ
58 ビデオ出力コネクタ
57 錐体形状
60 ラベル
64 保護窓
66 エアー噴射構成部
68、70 中断点
70 ボード
71 シャッター

Claims (18)

  1. ロボット加工工具の近くに装着される追跡装置に対する前記ロボット加工工具の位置を監視するための距離測定装置は、
    前記追跡装置に取り付け可能な本体と、
    前記本体により支持されるレーザーユニットと、前記レーザーユニットは、レーザと、前記ロボット加工工具の所定の目標領域上に三角測量レーザーマークを投影するための作動投影構成部とを有し、
    前記本体により指示されるカメラユニットと、前記カメラユニットは、イメージセンサーと、光学視認構成部とを有し、前記ロボット加工工具の前記目標領域上の前記三角測量レーザーマーク、前記ロボット加工工具の工具中心点及び加工領域が、前記カメラユニットの視野内にあり、
    前記レーザーユニット及び前記カメラユニットに接続される制御ユニットとを備え、
    前記制御ユニットは、
    前記レーザーユニットの動作を制御するためのレーザ制御回路と、
    イメージ分析回路とを有し、前記イメージ分析回路は、前記カメラユニットの前記イメージセンサーにより生成されるイメージ信号を受け、前記イメージ信号の前記三角測量レーザーマークから三角測量レーザ測定データを生成し、前記三角測量レーザ測定データの関数として前記ロボット加工工具を示す信号を生成し、及び前記カメラユニットにより生成される前記イメージ信号を送ることを特徴とする距離測定装置。
  2. 前記本体は、前記ロボット加工工具に面する前記追跡装置の側部に、前記ロボット加工工具に対する前記追跡装置の傾き角度に調整される傾き角度で前記本体を装着するための装着組立体を有することを特徴とする請求項1に記載の距離測定装置。
  3. 前記目標領域は、前記追跡装置に面する前記ロボット加工工具の前側部に延在する目標要素を備えることを特徴とする請求項1に記載の距離測定装置。
  4. 前記目標要素は、前記ロボット加工工具の前記前側部上に刻設される所定形状のマーク又は前記ロボット加工工具に取り付けられる所定形状のブロックを備えることを特徴とする請求項3に記載の距離測定装置。
  5. 前記形状は、前記ロボット加工工具から前記追跡装置の方向へ突出する三角形状に対応することを特徴とする請求項4に記載の距離測定装置。
  6. 前記イメージ分析回路は、前記ロボット加工工具の参照位置データを保存するためのメモリと、前記メモリに連結されるプロセッサーとを有し、前記プロセッサーは、前記ロボット加工工具の位置を示す前記信号と前記参照位置データとを比較し、前記ロボット加工工具の位置を示す前記信号と前記参照位置データとの間の検出される差異が予め設定される変位閾値を超えると警告信号を生成することを特徴とする請求項1に記載の距離測定装置。
  7. 前記プロセッサーは、前記警告信号が生成されると、前記カメラユニットの前記イメージセンサーにより生成される前記イメージ信号からのイメージを前記メモリに保存するように構成されていることを特徴とする請求項6に記載の距離測定装置。
  8. 前記メモリは、加工工具IDデータと、対応する加工工具形態データとを保存し、前記プロセッサーは、前記カメラユニットの前記イメージセンサーにより生成される前記イメージ信号から検出されるIDマークから前記ロボット加工工具のIDを検出し、及び前記三角測量レーザ測定データを生成するために使用される前記メモリから前記対応する加工工具形態データを抽出するための機能を有することを特徴とする請求項6に記載の距離測定装置。
  9. さらに、前記イメージセンサーにより視認される光景を照らすように向けられ、前記本体により支持されているLEDを備えることを特徴とする請求項1に記載の距離測定装置。
  10. さらに、前記レーザーユニット及び前記カメラユニットの前に延在する保護窓と、前記保護窓の外側部に延在するエアー噴射構成部とを備えることを特徴とする請求項1に記載の距離測定装置。
  11. 前記カメラユニットは、前記イメージ信号を前処理するためのセンサーインターフェースボードを有することを特徴とする請求項1に記載の距離測定装置。
  12. 前記カメラユニットは、前記制御ユニットにより制御される自動焦点及び調整可能な関心領域を有することを特徴とする請求項11に記載の距離測定装置。
  13. 前記カメラユニットは、前記イメージセンサーの前に延在し、前記制御ユニットにより動作可能なシャッターを備えることを特徴とする請求項1に記載の距離測定装置。
  14. 前記プロセッサーは、前記カメラユニットから受ける前記イメージ信号のイメージ分析により前記工具中心点の位置を計算するように構成されていることを特徴とする請求項6に記載の距離測定装置。
  15. 前記イメージ分析回路は、前記ロボット加工工具の前記所定目標領域上に前記三角測量レーザーマークを投影することに起因する、前記イメージ信号の強度ピークと、区分されたレーザーマーク内の2つの中断点を検出するように構成され、前記ロボット加工工具の位置が多項式較正パラメータを調整することで前記2つの中断点の位置及びその間の距離の関数で決定されることを特徴とする請求項1に記載の距離測定装置。
  16. 前記ロボット加工工具は、溶接トーチを備え、前記追跡装置は、溶接継手追跡カメラを備えることを特徴とする請求項1に記載の距離測定装置。
  17. ロボット加工工具の近くに装着される追跡装置に対する前記ロボット加工工具の位置を監視するための方法は、
    前記距離測定装置を前記追跡装置に取り付け、前記距離測定装置は、レーザと三角測量レーザーマークを投影するための作動投影構成部とを有するレーザーユニットと、イメージセンサーと光学視認構成部とを有するカメラユニットと、前記レーザーユニット及び前記カメラユニットに接続される制御ユニットとを備え、
    前記三角測量レーザーマークが前記ロボット加工工具の所定の目標領域上に投影できるように前記レーザーユニットを位置決めし、
    前記三角測量レーザーマーク、前記ロボット加工工具の工具中心点及び加工領域が、前記カメラユニットの視野内にあるように前記カメラユニットを位置決めし、
    前記三角測量レーザーマークが前記ロボット加工工具の前記所定の目標領域上に投影されるように前記レーザーユニットの動作を制御し、
    前記カメラユニットの前記イメージセンサーにより生成されるイメージ信号を受け、
    前記イメージ信号の前記三角測量レーザーマークから三角測量レーザ測定データを生成し、
    前記三角測量レーザ測定データの関数として前記ロボット加工工具の前記位置を示す信号を生成し、及び
    前記カメラユニットにより生成される前記イメージ信号を送る、工程を備え、よって前記ロボット加工工具の前記位置が前記イメージ信号及び前記ロボット加工工具の前記位置を示す前記信号により監視されることを特徴とする方法。
  18. 前記方法は、前記制御ユニットにより、
    前記ロボット加工工具の前記位置を示す最初の信号の関数として前記ロボット加工工具の参照位置データを最初に保存し、
    加工シーケンス中または前記加工シーケンス間、前記ロボット加工工具の前記位置を示す前記信号と前記参照位置データとを比較し、及び
    前記ロボット加工工具の前記位置を示す前記信号と前記参照位置データとの間の検出さされる差異が予め設定された変位閾値を超えると警告信号を生成する、工程をさらに備えることを特徴とする請求項17に記載の方法。

JP2016098337A 2016-02-01 2016-05-17 ロボット加工工具の位置を監視するための距離測定装置及びその方法 Active JP6685832B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CA2919392 2016-02-01
CA2919392A CA2919392C (en) 2016-02-01 2016-02-01 Range finder device for monitoring robot processing tool position

Publications (3)

Publication Number Publication Date
JP2017138297A true JP2017138297A (ja) 2017-08-10
JP2017138297A5 JP2017138297A5 (ja) 2019-09-12
JP6685832B2 JP6685832B2 (ja) 2020-04-22

Family

ID=59327413

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016098337A Active JP6685832B2 (ja) 2016-02-01 2016-05-17 ロボット加工工具の位置を監視するための距離測定装置及びその方法

Country Status (5)

Country Link
JP (1) JP6685832B2 (ja)
CN (1) CN107020471B (ja)
CA (1) CA2919392C (ja)
DE (1) DE102017101922A1 (ja)
TW (1) TWI689388B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2570100B (en) * 2017-11-15 2022-10-26 Mo Sys Engineering Ltd Tool positioning
CN108415000B (zh) * 2018-02-09 2021-10-12 山东国耀量子雷达科技有限公司 一种基于多关节机械臂的激光雷达
CN108527332A (zh) * 2018-06-11 2018-09-14 华南理工大学 一种基于结构光视觉传感器的焊缝轨迹离线校准方法
CN108994420B (zh) * 2018-08-20 2023-12-12 沃得精机(中国)有限公司 悬臂式自动寻位焊接机及其使用方法
US10961666B2 (en) * 2018-10-29 2021-03-30 Caterpillar Paving Products Inc. Determine sonic sensor angle using laser shape
CN109317883A (zh) * 2018-11-29 2019-02-12 合肥常青机械股份有限公司 一种环盘类零件机器人自动化焊接系统
IT201800020578A1 (it) * 2018-12-20 2020-06-20 Jasic Tech Europe S R L Sistema di saldatura
CN109909646B (zh) * 2019-02-02 2021-01-01 宁波吉利汽车研究开发有限公司 机器人焊枪工作点的修正方法、装置及电子设备
CN109752730B (zh) * 2019-02-25 2024-02-27 佛山市奇创自动化设备有限公司 一种基于v槽检测的激光定位方法及系统
JP2020203348A (ja) * 2019-06-18 2020-12-24 株式会社ダイヘン ロボット制御装置、及びロボット制御システム
CN110440733B (zh) * 2019-08-26 2021-01-05 上海鑫燕隆汽车装备制造有限公司 白车身线体焊接机器人相对工装位置的测量方法
CN112561952A (zh) * 2019-09-26 2021-03-26 北京外号信息技术有限公司 用于为目标设置可呈现的虚拟对象的方法和系统
WO2022254146A1 (fr) * 2021-06-04 2022-12-08 Serimax Holdings Système de soudage automatique de tubes comprenant une unité de contrôle, et une station de soudage comprenant au moins un robot comportant au moins un élément de soudage

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4491719A (en) * 1982-12-20 1985-01-01 General Electric Company Light pattern projector especially for welding
US4568816A (en) * 1983-04-19 1986-02-04 Unimation, Inc. Method and apparatus for manipulator welding apparatus with improved weld path definition
US5329092A (en) 1991-11-27 1994-07-12 Deere & Company Welding torch alignment monitor
US6346751B1 (en) 2000-02-14 2002-02-12 Ocim, S.R.L. Safety tool mount for robotic apparatus
US7638731B2 (en) * 2005-10-18 2009-12-29 Electro Scientific Industries, Inc. Real time target topography tracking during laser processing
DE102006004919A1 (de) * 2006-02-01 2007-08-16 Thyssenkrupp Steel Ag Laserstrahlschweißkopf
TW200827083A (en) * 2006-12-20 2008-07-01 Techaction Electric Co Ltd Welding device capable of micro tracking
DE102009042986B3 (de) * 2009-09-25 2011-03-03 Precitec Kg Schweißkopf und Verfahren zum Fügen eines Werkstücks
JP2015172493A (ja) * 2014-03-11 2015-10-01 株式会社東芝 距離測定装置
CN204142199U (zh) * 2014-10-23 2015-02-04 武汉理工大学 一种便携式大曲面在线测量及拟合装置
CN105004324B (zh) * 2015-05-16 2018-07-17 上海砺晟光电技术有限公司 一种具有三角测距功能的单目视觉传感器

Also Published As

Publication number Publication date
CN107020471B (zh) 2019-04-05
TW201728422A (zh) 2017-08-16
CN107020471A (zh) 2017-08-08
CA2919392A1 (en) 2017-08-01
TWI689388B (zh) 2020-04-01
CA2919392C (en) 2022-05-31
DE102017101922A1 (de) 2017-08-03
JP6685832B2 (ja) 2020-04-22

Similar Documents

Publication Publication Date Title
JP6685832B2 (ja) ロボット加工工具の位置を監視するための距離測定装置及びその方法
US10107913B2 (en) Range finder device for monitoring robot processing tool position
CA2973245C (en) Synchronized image capture for welding machine vision
US10092977B2 (en) Welding head and method for joining a workpiece
CN107810080B (zh) 用于焊接机器视觉的飞行时间相机
CN107567369B (zh) 具有主动焊工引导的增强视觉系统
US9259801B2 (en) Laser processing head and method for processing a workpiece by means of a laser beam
JP6279060B1 (ja) レーザセンサ、及び計測方法
CN107443429B (zh) 具有非人眼安全操作模式和人眼安全操作模式的过程跟踪激光相机
JP2008023540A (ja) レーザ加工システムおよびレーザ加工方法
EP3124163B1 (en) System and method for laser processing
KR101245767B1 (ko) 파이프 용접선 추적 방법 및 그 시스템
JP2011255473A (ja) 溶接マニピュレータ教示装置
JP6725344B2 (ja) プレスブレーキ及び角度検出装置
JP2018069272A (ja) レーザ加工位置の撮像方法及びレーザ加工装置
KR200248899Y1 (ko) 자동 용접장치
JP6405168B2 (ja) 倣い制御装置、溶接ロボットシステムおよび倣い制御方法
Dilger et al. Camera-based closed-loop control for beam positioning during deep penetration welding by means of keyhole front morphology
WO2022065364A1 (ja) 溶接計測システムおよび溶接計測方法
JPH11267871A (ja) Yagレーザ加工方法及びその装置
JP2020163813A (ja) 切断機
TW201932220A (zh) 自動焊接裝置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190731

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200401

R150 Certificate of patent or registration of utility model

Ref document number: 6685832

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250