JP2020163518A - 搬送装置及び受渡システム - Google Patents

搬送装置及び受渡システム Download PDF

Info

Publication number
JP2020163518A
JP2020163518A JP2019066352A JP2019066352A JP2020163518A JP 2020163518 A JP2020163518 A JP 2020163518A JP 2019066352 A JP2019066352 A JP 2019066352A JP 2019066352 A JP2019066352 A JP 2019066352A JP 2020163518 A JP2020163518 A JP 2020163518A
Authority
JP
Japan
Prior art keywords
positional relationship
camera
correction marks
relative position
article
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019066352A
Other languages
English (en)
Other versions
JP7022097B2 (ja
Inventor
伊藤 正則
Masanori Ito
正則 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2019066352A priority Critical patent/JP7022097B2/ja
Priority to US16/814,364 priority patent/US11325261B2/en
Priority to DE102020203643.8A priority patent/DE102020203643A1/de
Priority to CN202010225915.8A priority patent/CN111745617B/zh
Publication of JP2020163518A publication Critical patent/JP2020163518A/ja
Application granted granted Critical
Publication of JP7022097B2 publication Critical patent/JP7022097B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/007Manipulators mounted on wheels or on carriages mounted on wheels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23QDETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q7/00Arrangements for handling work specially combined with or arranged in, or specially adapted for use in connection with, machine tools, e.g. for conveying, loading, positioning, discharging, sorting
    • B23Q7/04Arrangements for handling work specially combined with or arranged in, or specially adapted for use in connection with, machine tools, e.g. for conveying, loading, positioning, discharging, sorting by means of grippers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06Safety devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/02Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/04Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type by rotating at least one arm, excluding the head movement itself, e.g. cylindrical coordinate type or polar coordinate type
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/10Programme-controlled manipulators characterised by positioning means for manipulator elements
    • B25J9/1005Programme-controlled manipulators characterised by positioning means for manipulator elements comprising adjusting means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1638Programme controls characterised by the control loop compensation for arm bending/inertia, pay load weight/inertia
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37067Calibrate work surface, reference markings on object, work surface
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40298Manipulator on vehicle, wheels, mobile

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

【課題】補正マークの位置ずれや汚れに対して適切に対応することができる搬送装置を提供すること。【解決手段】搬送装置の制御装置は、カメラの撮影画像に基づいて3つの補正マークの台車に対する相対位置を算出するマーク相対位置算出部と、マーク相対位置算出部が算出した3つの補正マークの相対位置と、3つの補正マークと受渡位置との位置関係として予め教示される教示位置関係に基づいて、物品を受渡位置に配置するロボットアームの姿勢を算出する姿勢算出部と、マーク相対位置算出部が算出した3つの補正マークの相対位置に基づいて、3つの補正マーク間の相互の位置関係が予め設定される基準位置関係と一致するか否かを判定する基準位置関係判定部と、基準位置関係判定部が3つの補正マークの相互の位置関係が基準位置関係と一致しないと判定した場合に、3つの補正マークの位置ずれの可能性を外部に報知する位置ずれ報知部と、を有する。【選択図】図3

Description

本発明は、搬送装置及び受渡システムに関する。
移動可能な台車と、台車上に配設されるロボットアームとを備え、例えば工作機械等の対象装置との間でワーク等の物品の受渡を行う搬送装置が用いられることがある。このような搬送装置において、対象装置に対して所定の位置に台車を配置した状態で、台車と対象装置との相対的な位置決め誤差(ロボットの座標系と対象装置の座標系とのずれ)をロボットアームの動作の補正によって吸収することで物品の正確な受渡を可能にする技術が提案されている(たとえば特許文献1参照)。
特許文献1には、「ハンドリング部を有する移動ロボットのハンドリング位置・姿勢補正装置において、前記移動ロボットの各移動先に対応するスレショルド値を記憶する記憶手段と、前記記憶手段に記憶された各スレショルド値の中から、前記移動ロボットの現在の移動位置に対応するスレショルド値を読み出す読出手段と、前記ハンドリング部の現在のハンドリング位置に設けられたハンドリング位置・姿勢補正用マークを撮影するカメラと、前記カメラが出力したデータを、前記読出手段が読み出したスレショルド値で2値化する2値化手段と、前記2値化手段が2値化したデータに基づいて、前記ハンドリング部の現在のハンドリング位置および姿勢を算出する算出手段と、予め教示されたハンドリング位置および姿勢と、前記算出手段が算出した現在のハンドリング位置および姿勢との比較に基づいて、前記ハンドリング部のハンドリング位置および姿勢を補正する補正手段とを具備することを特徴とする移動ロボットのハンドリング位置・姿勢補正装置」が開示されている。
特開平9−251309号公報
前記特許文献1に記載の移動ロボットのハンドリング位置・姿勢補正装置は、いかなる照度下および照明条件下でも補正用マーク(6個の円形マークが印刷されたフィルム状のシート)を安定かつ正確に認識することができるとされている。しかしながら、特許文献1の構成では、補正マークを構成する複数の円形マークの一部が位置ずれしたり、汚れて見えなくなる等の欠損が生じたりした場合には、適切な処理を行うことができない。このため、補正マークの位置ずれや汚れに対して適切に対応することができる搬送装置を提供することが望まれる。
本発明の一態様に係る搬送装置は、対象装置との間で物品の受渡を行う搬送装置であって、移動可能な台車と、前記台車に設けられ、先端部に前記物品を保持可能なロボットアームと、前記台車又は前記ロボットアームに設けられ、前記対象装置の外面に付設される3つの補正マークを撮影するカメラと、前記ロボットアームの動作を前記カメラが撮影した画像を考慮して制御することにより、前記対象装置内の所定の受渡位置での前記物品の受渡を可能にする制御装置と、を備え、前記制御装置は、前記カメラの撮影画像に基づいて前記3つの補正マークの前記台車に対する相対位置を算出するマーク相対位置算出部と、前記マーク相対位置算出部が算出した前記3つの補正マークの相対位置と、前記3つの補正マークと前記受渡位置との位置関係として予め教示される教示位置関係に基づいて、前記物品を前記受渡位置に配置する前記ロボットアームの姿勢を算出する姿勢算出部と、前記マーク相対位置算出部が算出した前記3つの補正マークの相対位置に基づいて、前記3つの補正マーク間の相互の位置関係が予め設定される基準位置関係と一致するか否かを判定する基準位置関係判定部と、前記基準位置関係判定部が前記3つの補正マークの相互の位置関係が前記基準位置関係と一致しないと判定した場合に、前記3つの補正マークの位置ずれの可能性を外部に報知する位置ずれ報知部と、有する。
本開示によれば、補正マークの位置ずれや汚れに対して適切に対応することができる搬送装置を提供することができる。
本開示の一実施形態に係る受渡システムを示す図である。 図1の搬送装置の制御装置の構成を示すブロック図である。 図1の搬送装置の制御の手順を示すフローチャートである。
以下、本開示の実施形態について、図面を参照しながら説明する。図1は、本開示の一実施形態に係る受渡システム100を示す図である。
図1の受渡システム100は、不動に配設され、物品Wを使用又は物品Wに処理を施す1又は複数の対象装置Tと、対象装置Tとの間で物品Wの受渡を行う搬送装置1とを備える。受渡システム100の搬送装置1は、それ自体が本開示に係る搬送装置の一実施形態である。
対象装置Tは、特に限定されないが、例えばマシニングセンタ等の物品Wに加工を行う工作機械とすることができる。この場合、物品Wは、ワーク(被加工物)とすることができる。したがって、受渡システム100は、工作機械Tにおいて加工した後のワークWを工作機械Tから搬送装置1に搬出し、搬送装置1から加工前の新しいワークWを工作機械Tに供給することで次の加工プロセスを実行することを可能にする加工システムとすることができる。
対象装置Tは、特定の受渡位置において物品Wを受け渡すよう構成される。具体例として、対象装置Tは、物品Wを保持するベッド等を最も外側に配置した状態で搬送装置1との間で物品Wを受渡するものとされる。つまり、対象装置Tは、自身の座標系における特定の受渡位置で物品Wを受渡するよう構成される。
また、対象装置Tは、外面に3つの補正マークM1,M2,M3が付設される。補正マークM1,M2,M3は、少なくとも搬送装置1が対象装置Tと物品Wを受渡する位置において視認(後述するカメラ4による撮影)が可能な位置に付設される。さらに、補正マークM1,M2,M3は、搬送装置1が対象装置Tに接近する途中おいても搬送装置1から視認が可能な位置に付設されることが好ましい。
搬送装置1は、物品Wを搬送して、対象装置Tとの間で物品Wの受渡を行う。搬送装置1は、移動可能な台車2と、台車に設けられ、先端部に物品Wを保持可能なロボットアーム3と、ロボットアーム3に設けられ、対象装置Tの外面に付設される3つの補正マークM1,M2,M3を撮影するカメラ4と、カメラ4が撮影した画像を考慮してロボットアーム3の動作を制御することにより、対象装置T内の所定の受渡位置での物品Wの受渡を可能にする制御装置5と、を備える。
台車2は、物品W、ロボットアーム3等を保持して自走可能な走行装置である。台車2は、複数の物品Wを保持して移動できることが好ましい。
ロボットアーム3は、複数の駆動軸を有する多関節ロボットによって構成することができる。ロボットアーム3は、先端に物品Wを保持するハンド31が設けられる。
カメラ4は、少なくとも2次元のイメージセンサとされ、2次元画像の各画素の被写体までの距離情報を取得できる3次元画像センサを用いてもよい。2次元のイメージセンサを用いる場合、カメラ4をロボットアーム3に設けることが好ましい。これにより、ロボットアーム3を動作させて異なる視点からカメラ4で撮影することによって、複数の画像の視差から被写体までの距離を算出することができるので、搬送装置1を基準とする被写体の3次元位置(座標)を算出することができる。以下、カメラ4はロボットアーム3に設けられる2次元のイメージセンサであるものとして説明する。
制御装置5は、例えばCPU、メモリ、入出力インターフェイス等を備えるコンピュータ装置に適切なプログラミングを行うことによって構成することができる。制御装置5は、台車2に搭載されていなくてもよく、台車2に搭載される通信装置を介してロボットアーム3及びカメラ4と通信してもよい。また、制御装置5は、物品Wの受渡のために対象装置Tと協調して動作できるよう、対象装置Tと通信できるよう構成されることが好ましい。さらに、制御装置5は、複数の対象装置Tを集中管理する制御装置等の外部の装置と通信するよう構成されてもよい。
制御装置5は、図2に示すように、それぞれ後で詳しく説明する記憶部11、マーク撮影制御部12、マーク相対位置算出部13、姿勢算出部14、受渡動作制御部15、基準位置関係判定部16、位置ずれ報知部17、台車相対位置判定部18、教示位置関係補正部19、扁平率一致判定部20、マーク変形報知部21、及び継続監視制御部22を有する。これらの構成要素は、制御装置5の機能を特定するものであって、物理的構成及びプログラム構成において明確に区別できるものでなくてもよい。
記憶部11は、カメラ4が撮影した画像、最初に対象装置Tに付設した3つの補正マークM1,M2,M3の相互の位置関係である基準位置関係、教示される3つの補正マークM1,M2,M3と受渡位置との位置関係である教示位置関係、各対象装置Tとの間の物品Wの受渡の成否等を含む搬送装置1の制御に必要な情報を記憶する。基準位置関係及び教示位置関係は、例えば対象装置Tの座標系(以下、ワールド座標系ということがある)における3つの補正マークM1,M2,M3及び受渡位置の絶対座標、いずれかを基準として他の相対位置を示す位置ベクトル等の形式で記述することができる。
マーク撮影制御部12は、ロボットアーム3の姿勢を変化せることによりカメラ4を移動させることで、カメラ4に異なる視点から3つの補正マークM1,M2,M3を含む画像を撮影させる。カメラ4が撮影した画像のデータは、記憶部11に記憶される。カメラ4による3つの補正マークM1,M2,M3の撮影は、搬送装置1が対象装置Tに隣接する位置に停止した状態で行ってもよく、搬送装置1が対象装置Tに接近している途中に行ってもよい。
マーク相対位置算出部13は、カメラ4の撮影画像に基づいて3つの補正マークM1,M2,M3の台車2に対する相対位置、つまり台車2を基準とする搬送装置1の座標系(以下、ローカル座標系ということがある)における3つの補正マークM1,M2,M3のそれぞれの重心の座標を算出する。具体的には、マーク相対位置算出部13は、カメラ4の異なる視点からの撮影画像における視差による3つの補正マークM1,M2,M3の位置ずれから、3つの補正マークM1,M2,M3の台車2に対する相対位置、つまりローカル座標系における座標を算出するよう構成することができる。
姿勢算出部14は、マーク相対位置算出部13が算出した3つの補正マークの相対位置と、前記3つの補正マークと前記受け渡し位置との位置関係として予め教示される教示位置関係とに基づいて、物品Wを受渡位置に配置するロボットアーム3の姿勢を算出する。具体的には、対象装置Tのワールド座標系を搬送装置1のローカル座標系に変換することで、ローカル座標系における受渡位置の座標を算出し、この座標に物品Wを位置決めできるロボットアーム3の姿勢を算出する。
受渡動作制御部15は、姿勢算出部14が算出した姿勢でロボットアーム3が物品Wを受渡するよう、ロボットアーム3の動作を制御する。受渡動作制御部15は、搬送装置1が対象装置Tから物品Wの受渡を行い得る状態となっていることを示す信号を受信してからロボットアーム3の動作を開始することが好ましい。
受渡動作制御部15は、対象装置Tとの間で適切に物品Wの受渡を完了した場合には、後で正常に受渡を完了できたことを確認できるようにする。具体的には、受渡動作制御部15は、物品Wの受渡ができた場合にはマーク撮影制御部12がカメラ4に撮影させた補正マークM1,M2,M3を含む画像を保存し、物品Wの受渡ができなかった場合には補正マークM1,M2,M3を含む画像を削除するようにしてもよい。これにより、記憶部11に補正マークM1,M2,M3を含む画像が保存されている場合には、前回の受渡が適切に行われたと判断できる。また、受渡動作制御部15は、物品Wの受渡ができた場合には後述する教示位置関係の補正量を保存し、物品Wの受渡ができなかった場合には教示位置関係の補正量を削除するようにしてもよい。
基準位置関係判定部16は、マーク相対位置算出部13が算出した3つの補正マークM1,M2,M3の相対位置に基づいて、3つの補正マークM1,M2,M3間の相互の位置関係が予め設定されて記憶部11に記憶される基準位置関係と一致するか否かを判定する。具体的には、基準位置関係判定部16は、マーク相対位置算出部13が算出した3つの補正マークM1,M2,M3の相互の距離と基準位置関係における3つの補正マークM1,M2,M3の相互の距離との差が予め設定される閾値以下である場合に、3つの補正マークM1,M2,M3間の相互の位置関係が基準位置関係と一致するものと判定するよう構成することができる。また、3つの補正マークM1,M2,M3間の相互の位置関係と基準位置関係との一致は、3つの補正マークM1,M2,M3のいずれか1つを基準として他の補正マークの位置を相対的に示す位置ベクトルの比較に行ってもよい。
位置ずれ報知部17は、基準位置関係判定部16が3つの補正マークM1,M2,M3の相互の位置関係が基準位置関係と一致しないと判定した場合に、3つの補正マークM1,M2,M3の位置ずれの可能性を外部に報知する。この位置ずれの可能性の報知は、搬送装置1に設けられる例えばランプ、ディスプレイパネル、スピーカ、ブザー等の報知装置を用いて行ってもよく、通信により例えば対象装置T、対象装置Tを集中管理する制御装置等に対して所定の信号を出力することによって行ってもよい。
台車相対位置判定部18は、基準位置関係判定部16が3つの補正マークM1,M2,M3の相互の位置関係が基準位置関係と一致しないと判定した場合に、今回カメラ4が撮影した画像と前回同一の対象装置Tとの間で物品Wの受渡を行ったときにカメラ4がローカル座標系において同じ視点から撮影して記憶部11に記憶されている画像とを比較する。これにより台車相対位置判定部18は、対象装置Tに対する台車2の今回の相対位置が前回の相対位置と一致するか否かを判定する。マーク撮影制御部12は、複数の視点からカメラ4に補正マークM1,M2,M3を撮影させるが、台車相対位置判定部18は、いずれか1つの同じ視点から撮影した画像を比較するだけでもよい。なお、「物品Wの受渡を行ったとき」とは、物品Wの受渡を適切に完了できたときを意味し、物品Wの受渡を試行したが受渡を適切に完了できなかったときは含まない。
教示位置関係補正部19は、台車相対位置判定部18が対象装置Tに対する台車2の今回の相対位置が前回の相対位置と一致すると判定した場合に、ロボットアーム3の姿勢が前回と同じである状態で物品Wの受渡を行うよう教示位置関係を補正する。この教示位置関係の補正は、例えばワールド座標系における補正量を記録して以後教示位置関係を使用する場合に補正量を加算するようにすることで行うことができる。
扁平率一致判定部20は、カメラ4が撮影した同一の画像における3つの補正マークM1,M2,M3の扁平率をそれぞれ算出し、3つの補正マークM1,M2,M3の扁平率が一致するか否かを判定する。マーク変形報知部21は、3つの補正マークM1,M2,M3の扁平率の平均値と最大値又は最小値との差が予め設定される閾値以下である場合に、3つの補正マークM1,M2,M3の扁平率が一致すると判定するよう構成することができる。
マーク変形報知部21は、扁平率一致判定部20が3つの補正マークM1,M2,M3の扁平率が一致しないと判定した場合に、3つの補正マークM1,M2,M3のいずれかが変形していることを外部に報知する。このような補正マークM1,M2,M3の変形は、例えば補正マークM1,M2,M3のいずれが汚れて部分的に見えなくなっている場合、補正マークM1,M2,M3として貼着したステッカーが部分的にはがれている場合等に起こり得ると考えられる。マーク変形報知部21による変形の報知は、搬送装置1に設けられる例えばランプ、ディスプレイパネル、スピーカ、ブザー等の報知装置を用いて行ってもよく、通信により例えば対象装置T、対象装置Tを集中管理する制御装置等に対して所定の信号を出力することによって行ってもよい。
継続監視制御部22は、姿勢算出部14がロボットアーム3の受渡時の姿勢を算出した後、対象装置Tが物品Wの受渡を行い得る状態となるまでの間、カメラ4が同じ視点から継続的に撮影する画像を監視し、カメラ4が撮影した画像における3つの補正マークM1,M2,M3の位置がずれた場合に、マーク撮影制御部12、マーク相対位置算出部13及び姿勢算出部14による制御を再度行わせる。
以上のような構成を有する搬送装置1による1つの対象装置Tとの間での物品Wの受渡の手順を図3に示す。物品Wの受渡は、ステップS01の補正マーク撮影工程と、ステップS02の補正マーク相対位置算出工程と、ステップS03の基準位置関係一致判定工程と、ステップS04の位置ずれ可能性報知工程と、ステップS05の台車相対位置一致判定工程と、ステップS06の教示位置関係補正工程と、ステップS07の扁平率算出工程と、ステップS08の扁平率一致判定工程と、ステップS09の補正マーク変形報知工程と、ステップS10のロボットアーム姿勢算出工程と、ステップS11の対象装置準備確認工程と、ステップS12の補正マーク位置ずれ判定工程と、ステップS13の物品受渡工程と、を備える。
ステップS01の補正マーク撮影工程では、マーク撮影制御部12が、ロボットアーム3を動作させて、カメラ4に異なる視点から3つの補正マークM1,M2,M3を撮影させる。
ステップS02の補正マーク相対位置算出工程では、マーク相対位置算出部13により、3つの補正マークM1,M2,M3の台車2に対する相対位置を算出する。
ステップS03の基準位置関係一致判定工程では、基準位置関係判定部16により、補正マーク相対位置算出工程で算出した3つの補正マークM1,M2,M3の相対位置に基づいて、3つの補正マークM1,M2,M3の相互の位置関係が基準位置関係と一致するか否かを判定する。3つの補正マークM1,M2,M3の相互の位置関係が基準位置関係と一致しない場合はステップS04に進み、3つの補正マークM1,M2,M3の相互の位置関係が基準位置関係と一致する場合はステップS07に進む。
ステップS04の位置ずれ可能性報知工程では、位置ずれ報知部17により、3つの補正マークM1,M2,M3のいずれかが位置ずれしている可能性があることを報知する。
ステップS05の台車相対位置一致判定工程では、台車相対位置判定部18により、前回同じ対象装置Tとの間で物品Wを適切に受渡できたときにカメラ4で撮影した画像と、今回カメラ4で同じ視点から撮影した画像とを比較して、対象装置Tと台車2との相対位置が前回の受渡時と同じであるかどうかを確認する。具体的な判定方法としては、画像処理により3つの補正マークM1,M2,M3以外の対象装置Tの特徴点(例えば第4のマーク、装置の輪郭、ドア等の角部など)を抽出して、これらの特徴点の位置が一致する場合は、対象装置Tと台車2との相対位置が前回の受渡時と同じであると判定することができる。対象装置Tと台車2との相対位置が前回の受渡時と同じである場合はステップS06に進み、対象装置Tと台車2との相対位置が前回の受渡時と同じでない場合は、対応不可能な異常が発生していると考えられるため、物品Wの受渡を行わずに当該対象装置Tに対する受渡処理を終了する。なお、このように受渡処理を終了した場合であっても、続いて他の対象装置Tに対する受渡処理を実行してもよい。
ステップS6の教示位置関係補正工程では、教示位置関係補正部19により、今回の3つの補正マークM1,M2,M3を基準に受渡位置を算出した場合に受渡時のロボットアーム3の姿勢が前回の受渡時と同じになるよう、教示位置関係補正を補正する。
ステップS7の扁平率算出工程では、扁平率一致判定部20によって、カメラ4で撮影した1つの画像における3つの補正マークM1,M2,M3のそれぞれの扁平率を算出する。
ステップS8の扁平率一致判定工程では、扁平率一致判定部20によって、3つの補正マークM1,M2,M3の扁平率が一致するか否かを判定する。3つの補正マークM1,M2,M3の扁平率が一致しない場合はステップS09に進み、3つの補正マークM1,M2,M3の扁平率が一致する場合はステップS10に進む。
ステップS9の補正マーク変形報知工程では、マーク変形報知部21により、3つの補正マークM1,M2,M3のいずれかが変形していることを報知する。
ステップS10のロボットアーム姿勢算出工程では、姿勢算出部14により、物品Wの受渡時に必要とされるロボットアーム3の姿勢、つまり複数の駆動軸のそれぞれの目標位置を算出する。
ステップS11の対象装置準備確認工程では、対象装置Tが物品Wの受渡を行い得る状態となっているか否かを確認する。対象装置Tが物品Wの受渡を行い得る状態となっていない場合はステップS12に進み、対象装置Tが物品Wの受渡を行い得る状態となっている場合はステップS13に進む。
ステップS12の補正マーク位置ずれ判定工程では、継続監視制御部22により、カメラ4によりステップS01で撮影したのと同じ視点から3つの補正マークM1,M2,M3を含む画像を再度撮影し、撮影画像中の3つの補正マークM1,M2,M3の位置がずれているか否かの判定を行う。補正マークM1,M2,M3の位置がずれている場合は、ステップS01に戻って最初から制御をやり直す。補正マークM1,M2,M3の位置がずれていない場合はステップS11に戻る。
ステップS13の物品受渡工程では、ロボットアーム姿勢算出工程で算出した姿勢になるようロボットアーム3を制御して、対象装置Tとの間で物品Wの受渡を行う。物品受渡工程を完了した場合は、当該対象装置Tとの間の受渡処理を終了する。
以上説明した受渡システム100において、搬送装置1の制御装置5は、マーク相対位置算出部13が算出した3つの補正マークM1,M2,M3の相対位置に基づいて、3つの補正マークM1,M2,M3の相互の位置関係が予め設定される基準位置関係と一致するか否かを判定する基準位置関係判定部16と、基準位置関係判定部16が3つの補正マークM1,M2,M3の相互の位置関係が基準位置関係と一致しないと判定した場合に、3つの補正マークM1,M2,M3の位置ずれの可能性を外部に報知する位置ずれ報知部17と、を有する。これによって、受渡システム100では、何らかの原因により3つの補正マークM1,M2,M3が位置ずれして、搬送装置1と対象装置Tとの間で適切に物品Wの受渡を行うことができないおそれがある場合に、その旨をオペレータに知らせて適切な対応を促すことができる。
また、制御装置5は、基準位置関係判定部16が3つの補正マークM1,M2,M3の相互の位置関係が基準位置関係と一致しないと判定した場合に、今回カメラ4が撮影した画像と前回同一の対象装置T1との間で物品Wの受渡を行ったときにカメラ4が撮影した画像とを比較して、対象装置T1に対する台車2の今回の相対位置が前回の相対位置と一致するか否かを判定する台車相対位置判定部18と、台車相対位置判定部18が対象装置Tに対する台車2の今回の相対位置が前回の相対位置と一致すると判定した場合に、ロボットアーム3の姿勢が前回と同じである状態で物品Wの受渡を行うよう教示位置関係を補正する教示位置関係補正部19と、をさらに有する。これによって、受渡システム100では、何らかの原因により3つの補正マークM1,M2,M3が位置ずれした場合であっても、台車2が前回の受渡時と同じ位置にあれば、補正マークM1,M2,M3の位置ずれを補正して、それ以後の受渡処理を適切に行うことを可能にできる。
また、制御装置5は、カメラ4が撮影した画像における3つの補正マークM1,M2,M3の扁平率が一致するか否かを判定する扁平率一致判定部20と、扁平率一致判定部20が3つの補正マークM1,M2,M3の扁平率が一致しないと判定した場合に、3つの補正マークM1,M2,M3の変形を外部に報知するマーク変形報知部と、をさらに有する。これによって、受渡システム100では、補正マークM1,M2,M3の汚れや剥がれを早期に検知して、オペレータに適切な対応を促すことができる。
また、制御装置5は、姿勢算出部14がロボットアーム3の姿勢を算出した後、対象装置Tが物品Wの受渡を行い得る状態となるまでの間、カメラ4が同じ視点から継続的に撮影する画像を監視し、カメラ4が撮影した画像における3つの補正マークM1,M2,M3の位置がずれた場合に、マーク相対位置算出部13及び姿勢算出部14による制御を再度行わせる継続監視制御部22をさらに有する。これによって、搬送装置1が対象装置Tに隣接する位置に停止して対象装置Tが物品Wの受渡を行い得る状態となるまで待機している間に、何らかの原因により搬送装置1と対象装置Tとの相対位置がずれた場合にも、再計算を行って適切に物品Wを受渡することができる。
また、搬送装置1において、カメラ4は、ロボットアーム3に設けられ、制御装置5は、ロボットアーム3によりカメラ4を移動させることで、カメラ4に異なる視点から3つの補正マークM1,M2,M3を撮影させるマーク撮影制御部12をさらに有する。これによって、比較的解像度が高いカメラ4を採用して搬送装置1のローカル座標系と対象装置Tのワールド座標系とのずれを正確に補正することができる。
以上のような搬送装置1を備える受渡システム100は、補正マークM1,M2,Mの位置ずれや汚れに対して適切に対応することができる。
また、受渡システム100では、3つの補正マークM1,M2,M3を、搬送装置1が対象装置Tに接近する途中でもカメラ4により撮影可能な位置に付設されることによって、搬送装置1と対象装置Tとの間での物品Wの交換作業のサイクルタイムを短縮することができる。
以上、本開示に係る搬送装置及び受渡システムの実施形態について説明したが、本開示に係る搬送装置及び受渡システムは前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本開示から生じる最も好適な効果を列挙したに過ぎず、本開示に係る搬送装置及び受渡システムによる効果は、本実施形態に記載されたものに限定されるものではない。
本開示に係る搬送装置において、3つの補正マークM1,M2,M3は、1つの画像中に同時に含まれる必要はなく、個別に撮影されてもよい。継続監視制御部22においても、補正マークM1,M2,M3のうちいずれか1つを監視すればよく、ステップS01と同じ視点から撮影する必要はなく、新たな監視用の視点から撮影してもよい。
本開示に係る搬送装置において、台車は自走可能なものに限られず、例えばチェイン等を介して外部の動力により駆動されるものであってもよい。また、台車は、例えば軌道上を移動するものや、ガイドに沿って移動するものであってもよい。
本開示に係る搬送装置において、ロボットアームは、多関節ロボットに限られず、例えばスカラロボット、直交ロボット、パラレルリンクロボット等任意の構成を有することができる。
本開示に係る搬送装置において、カメラとして3次元画像センサを用いる場合、マーク撮影制御部は、カメラに1つの視点から3つの補正マークを含む画像を撮影させればよい。また、この場合、継続監視制御部22が3つの補正マークが位置ずれしたと判定した際の画像を用いてマーク相対位置算出部に3つの補正マークの相対位置を算出させ、その算出結果を用いて姿勢算出部にロボットアームの受渡時の姿勢を算出させてもよい。
本開示に係る搬送装置の制御装置において、台車相対位置判定部、教示位置関係補正部、扁平率一致判定部、マーク変形報知部及び継続監視制御部は省略することができる。
1 搬送装置
2 台車
3 ロボットアーム
4 カメラ
5 制御装置
11 記憶部
12 マーク撮影制御部
13 マーク相対位置算出部
14 姿勢算出部
15 受渡動作制御部
16 基準位置関係判定部
17 位置ずれ報知部
18 台車相対位置判定部
19 教示位置関係補正部
20 扁平率一致判定部
21 マーク変形報知部
22 継続監視制御部
31 ハンド
100 受渡システム
M1,M2,M3 補正マーク
T 対象装置
W 物品

Claims (7)

  1. 対象装置との間で物品の受渡を行う搬送装置であって、
    移動可能な台車と、
    前記台車に設けられ、先端部に前記物品を保持可能なロボットアームと、
    前記台車又は前記ロボットアームに設けられ、前記対象装置の外面に付設される3つの補正マークを撮影するカメラと、
    前記ロボットアームの動作を前記カメラが撮影した画像を考慮して制御することにより、前記対象装置内の所定の受渡位置での前記物品の受渡を可能にする制御装置と、
    を備え、
    前記制御装置は、
    前記カメラの撮影画像に基づいて前記3つの補正マークの前記台車に対する相対位置を算出するマーク相対位置算出部と、
    前記マーク相対位置算出部が算出した前記3つの補正マークの相対位置と、前記3つの補正マークと前記受渡位置との位置関係として予め教示される教示位置関係に基づいて、前記物品を前記受渡位置に配置する前記ロボットアームの姿勢を算出する姿勢算出部と、
    前記マーク相対位置算出部が算出した前記3つの補正マークの相対位置に基づいて、前記3つの補正マーク間の相互の位置関係が予め設定される基準位置関係と一致するか否かを判定する基準位置関係判定部と、
    前記基準位置関係判定部が前記3つの補正マークの相互の位置関係が前記基準位置関係と一致しないと判定した場合に、前記3つの補正マークの位置ずれの可能性を外部に報知する位置ずれ報知部と、
    を有する、搬送装置。
  2. 前記制御装置は、
    前記カメラが撮影した画像を記憶する記憶部と、
    前記基準位置関係判定部が前記3つの補正マークの相互の位置関係が前記基準位置関係と一致しないと判定した場合に、今回前記カメラが撮影した画像と前回同一の前記対象装置との間で物品の受渡を行ったときに前記カメラが撮影した画像とを比較して、前記対象装置に対する前記台車の今回の相対位置が前回の相対位置と一致するか否かを判定する台車相対位置判定部と、
    前記台車相対位置判定部が前記対象装置に対する前記台車の今回の相対位置が前回の相対位置と一致すると判定した場合に、前記ロボットアームの姿勢が前回と同じである状態で前記物品の受渡を行うよう前記教示位置関係を補正する教示位置関係補正部と、
    をさらに有する、請求項1に記載の搬送装置。
  3. 前記制御装置は、
    前記カメラが撮影した画像における前記3つの補正マークの扁平率が一致するか否かを判定する扁平率一致判定部と、
    前記扁平率一致判定部が前記3つの補正マークの扁平率が一致しないと判定した場合に、前記3つの補正マークの変形を外部に報知するマーク変形報知部と、
    をさらに有する、請求項1又は2に記載の搬送装置。
  4. 前記制御装置は、前記姿勢算出部が前記ロボットアームの姿勢を算出した後、前記対象装置が前記物品の受渡を行い得る状態となるまでの間、前記カメラが同じ視点から継続的に撮影する画像を監視し、前記カメラが撮影した画像における前記3つの補正マークの位置がずれた場合に、前記マーク相対位置算出部及び前記姿勢算出部による制御を再度行わせる継続監視制御部をさらに有する、請求項1から3のいずれかに記載の搬送装置。
  5. 前記カメラは、前記ロボットアームに設けられ、
    前記制御装置は、前記ロボットアームにより前記カメラを移動させることで、前記カメラに異なる視点から前記3つの補正マークを撮影させるマーク撮影制御部をさらに有する、請求項1から4のいずれかに記載の搬送装置。
  6. 請求項1から5のいずれかに記載の搬送装置と、
    外面に前記3つの補正マークが付設され、前記搬送装置との間で前記物品の受渡を行う対象装置と、
    を備える受渡システム。
  7. 前記3つの補正マークは、前記搬送装置が前記対象装置に接近する途中でも前記カメラにより撮影可能な位置に付設される請求項6に記載の受渡システム。
JP2019066352A 2019-03-29 2019-03-29 搬送装置及び受渡システム Active JP7022097B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019066352A JP7022097B2 (ja) 2019-03-29 2019-03-29 搬送装置及び受渡システム
US16/814,364 US11325261B2 (en) 2019-03-29 2020-03-10 Transfer device and delivery system
DE102020203643.8A DE102020203643A1 (de) 2019-03-29 2020-03-20 Übertragungsvorrichtung und zuführsystem
CN202010225915.8A CN111745617B (zh) 2019-03-29 2020-03-26 搬送装置和交接系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019066352A JP7022097B2 (ja) 2019-03-29 2019-03-29 搬送装置及び受渡システム

Publications (2)

Publication Number Publication Date
JP2020163518A true JP2020163518A (ja) 2020-10-08
JP7022097B2 JP7022097B2 (ja) 2022-02-17

Family

ID=72603993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019066352A Active JP7022097B2 (ja) 2019-03-29 2019-03-29 搬送装置及び受渡システム

Country Status (4)

Country Link
US (1) US11325261B2 (ja)
JP (1) JP7022097B2 (ja)
CN (1) CN111745617B (ja)
DE (1) DE102020203643A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022107350A1 (ja) * 2020-11-20 2022-05-27 オムロン株式会社 モバイルマニピュレータ、モバイルマニピュレータの制御方法、制御プログラム
JP7169474B1 (ja) 2022-02-25 2022-11-10 Dmg森精機株式会社 搬送装置、制御方法、および制御プログラム
WO2024019105A1 (ja) * 2022-07-21 2024-01-25 興和株式会社 ピッキング制御システム
WO2024062535A1 (ja) * 2022-09-20 2024-03-28 ファナック株式会社 ロボット制御装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021135337A (ja) * 2020-02-25 2021-09-13 キヤノン株式会社 電子機器およびその制御方法
DE102022114082A1 (de) 2022-06-03 2023-12-14 Festo Se & Co. Kg Verfahren zum Betreiben eines mobilen Roboters

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05346307A (ja) * 1992-06-15 1993-12-27 Mazda Motor Corp ワーク位置検出方法
JPH1177562A (ja) * 1997-09-10 1999-03-23 Shinko Electric Co Ltd 移動ロボット
JP2001287183A (ja) * 2000-01-31 2001-10-16 Matsushita Electric Works Ltd 自動搬送ロボット
JP2002154080A (ja) * 2000-11-16 2002-05-28 Murata Mach Ltd 無人搬送車システム
US20160339587A1 (en) * 2014-08-25 2016-11-24 Google Inc. Methods And Systems For Providing Landmarks To Facilitate Robot Localization And Visual Odometry
WO2017130361A1 (ja) * 2016-01-28 2017-08-03 ヤマハ発動機株式会社 ダイピックアップ装置
JP2018058142A (ja) * 2016-10-04 2018-04-12 ファナック株式会社 移動可能な台車に支持されたロボットを備えるロボットシステム
JP2018126835A (ja) * 2017-02-09 2018-08-16 キヤノン株式会社 ロボットの教示方法、ロボットシステム、プログラム及び記録媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3351228B2 (ja) 1996-03-15 2002-11-25 神鋼電機株式会社 移動ロボットのハンドリング位置・姿勢補正装置
JP3412465B2 (ja) * 1997-08-12 2003-06-03 株式会社デンソー 移動ロボット装置
JPH11156764A (ja) * 1997-11-28 1999-06-15 Denso Corp 移動ロボット装置
JPH11254362A (ja) * 1998-03-04 1999-09-21 Murata Mach Ltd ロボットハンドの位置補正システム
JPH11320465A (ja) * 1998-05-01 1999-11-24 Murata Mach Ltd ロボットアームの制御方法
JP2001300875A (ja) * 2000-04-19 2001-10-30 Denso Corp ロボットシステム
JP2003305676A (ja) * 2002-04-11 2003-10-28 Denso Wave Inc 移動ロボットの制御方法及び制御装置
JP6267157B2 (ja) * 2015-05-29 2018-01-24 ファナック株式会社 位置補正機能を有するロボットを備えた生産システム
JP6707485B2 (ja) * 2017-03-22 2020-06-10 株式会社東芝 物体ハンドリング装置およびその較正方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05346307A (ja) * 1992-06-15 1993-12-27 Mazda Motor Corp ワーク位置検出方法
JPH1177562A (ja) * 1997-09-10 1999-03-23 Shinko Electric Co Ltd 移動ロボット
JP2001287183A (ja) * 2000-01-31 2001-10-16 Matsushita Electric Works Ltd 自動搬送ロボット
JP2002154080A (ja) * 2000-11-16 2002-05-28 Murata Mach Ltd 無人搬送車システム
US20160339587A1 (en) * 2014-08-25 2016-11-24 Google Inc. Methods And Systems For Providing Landmarks To Facilitate Robot Localization And Visual Odometry
WO2017130361A1 (ja) * 2016-01-28 2017-08-03 ヤマハ発動機株式会社 ダイピックアップ装置
JP2018058142A (ja) * 2016-10-04 2018-04-12 ファナック株式会社 移動可能な台車に支持されたロボットを備えるロボットシステム
JP2018126835A (ja) * 2017-02-09 2018-08-16 キヤノン株式会社 ロボットの教示方法、ロボットシステム、プログラム及び記録媒体

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022107350A1 (ja) * 2020-11-20 2022-05-27 オムロン株式会社 モバイルマニピュレータ、モバイルマニピュレータの制御方法、制御プログラム
JP7169474B1 (ja) 2022-02-25 2022-11-10 Dmg森精機株式会社 搬送装置、制御方法、および制御プログラム
JP2023124073A (ja) * 2022-02-25 2023-09-06 Dmg森精機株式会社 搬送装置、制御方法、および制御プログラム
WO2024019105A1 (ja) * 2022-07-21 2024-01-25 興和株式会社 ピッキング制御システム
WO2024062535A1 (ja) * 2022-09-20 2024-03-28 ファナック株式会社 ロボット制御装置

Also Published As

Publication number Publication date
CN111745617A (zh) 2020-10-09
DE102020203643A1 (de) 2020-10-01
CN111745617B (zh) 2024-02-23
JP7022097B2 (ja) 2022-02-17
US11325261B2 (en) 2022-05-10
US20200306982A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
JP7022097B2 (ja) 搬送装置及び受渡システム
US10723020B2 (en) Robotic arm processing method and system based on 3D image
JP6687591B2 (ja) 物品搬送装置、ロボットシステムおよび物品搬送方法
CN110958425B (zh) 信息处理装置、信息处理方法和系统
JP6646026B2 (ja) 作業システム、物品に対する作業実施方法、およびロボット
JP5561260B2 (ja) ロボットシステム及び撮像方法
JP4257570B2 (ja) 搬送用ロボットのティーチング装置および搬送用ロボットのティーチング方法
US7966094B2 (en) Workpiece picking apparatus
JP5464176B2 (ja) ピッキングシステム
US10923370B2 (en) Transport system and transport method
JP5582126B2 (ja) ワーク取出システム、ロボット装置および被加工物の製造方法
JP5893695B1 (ja) 物品搬送システム
US20060072988A1 (en) Transfer robot system
CN106426162A (zh) 具备视觉传感器以及多个机器人的机器人系统
US20220088795A1 (en) Manipulator controller, manipulator control method, and non-transitory computer-readable storage medium storing manipulator control program
JP2013215825A (ja) ワーク搬送システム
JP2018056256A (ja) 基板搬送ハンドの診断システム
JP2007237394A (ja) ワーク位置決め装置
JP2021122879A (ja) 画像処理装置及び画像処理装置を備えた搬送装置
WO2022075303A1 (ja) ロボットシステム
CN115803584A (zh) 取得工件表面的三维信息及工件的二维图像的拍摄装置
JP2012006122A (ja) 生産システム
JPH07187398A (ja) 物品移載装置
JP6708142B2 (ja) ロボットの制御装置
JP2020193081A (ja) ティーチングシステム、搬送システム、及びティーチングデータ生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220204

R150 Certificate of patent or registration of utility model

Ref document number: 7022097

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150