JP2019188549A - 制御システム、制御方法、および制御プログラム - Google Patents

制御システム、制御方法、および制御プログラム Download PDF

Info

Publication number
JP2019188549A
JP2019188549A JP2018085121A JP2018085121A JP2019188549A JP 2019188549 A JP2019188549 A JP 2019188549A JP 2018085121 A JP2018085121 A JP 2018085121A JP 2018085121 A JP2018085121 A JP 2018085121A JP 2019188549 A JP2019188549 A JP 2019188549A
Authority
JP
Japan
Prior art keywords
moving
moving mechanism
target
visual sensor
target position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018085121A
Other languages
English (en)
Other versions
JP6919622B2 (ja
Inventor
正樹 浪江
Masaki Namie
正樹 浪江
功征 川又
Isayuki Kawamata
功征 川又
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2018085121A priority Critical patent/JP6919622B2/ja
Priority to PCT/JP2019/014127 priority patent/WO2019208108A1/ja
Priority to KR1020207026088A priority patent/KR20210004958A/ko
Priority to CN201980018616.2A priority patent/CN111886556B/zh
Publication of JP2019188549A publication Critical patent/JP2019188549A/ja
Application granted granted Critical
Publication of JP6919622B2 publication Critical patent/JP6919622B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00Control of position or direction
    • G05D3/12Control of position or direction using feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position Or Direction (AREA)
  • Manipulator (AREA)

Abstract

【課題】視覚センサの計測位置に基づいて駆動される移動機構をより滑らかに駆動する技術が望まれている。【解決手段】制御システムは、対象物を移動させる移動機構と、第1時間間隔ごとに対象物を撮像して得られた画像から対象物の実位置を順次計測する視覚センサと、実位置から到達目標位置に対象物を移動させるための必要移動距離を算出する算出部と、必要移動距離と時刻とを少なくとも説明変数とし、移動機構の目標位置を目的変数とする多次関数で表される目標軌道に基づいて、第1時間間隔よりも短い第2時間間隔ごとに、現時刻に対応する目標位置を決定する位置決定部と、当該目標位置に移動機構を移動させる移動制御部とを備える。【選択図】図1

Description

本開示は、視覚センサによって計測されたワークの位置に基づいて、ワークの位置決めを行なうための技術に関する。
FA(ファクトリー オートメーション)において、対象物の位置を目標位置に合わせる技術(位置決め技術)が各種実用化されている。この際、対象物の位置と目標位置との偏差(距離)を計測する方法として、視覚センサによって撮像された画像を用いる方法がある。
特開2017−24134号公報(特許文献1)には、可動台と、可動台を移動させる移動機構と、可動台に載置されたワークを繰り返し撮像し、当該ワークの位置を繰り返し検出する視覚センサとを備えるワーク位置決め装置が開示されている。ワーク位置決め装置は、視覚センサによって位置が検出されるごとに、検出された位置と目標位置との差を算出し、当該差が許容範囲内であると判定されたときに、可動台の移動を停止する。ワーク位置決め装置は、可動台の移動停止後に視覚センサによって検出された位置と目標位置との差を算出し、算出された差が許容範囲内であるか否かを判定する。差が許容範囲外であると判定されると、当該差を小さくする可動台の移動方向が決定され、決定された移動方向へ可動台を移動させるように、移動機構が制御される。
特開2017−24134号公報
視覚センサによってワークの実位置が計測される間隔は、移動機構に指令値を出力する間隔よりも短い。そのため、より滑らかに移動機構を駆動するためには、視覚センサがワークの実位置を計測してから次に実位置を計測するまでの間において、移動機構に出力する指令値を何らかの手段で補間する必要がある。
本開示は上述のような問題点を解決するためになされたものであって、ある局面における目的は、視覚センサの計測位置に基づいて駆動される移動機構をより滑らかに駆動することが可能な制御システムを提供することである。他の局面における目的は、視覚センサの計測位置に基づいて駆動される移動機構をより滑らかに駆動することが可能な制御方法を提供することである。他の局面における目的は、視覚センサの計測位置に基づいて駆動される移動機構をより滑らかに駆動することが可能な制御プログラムを提供することである。
本開示の一例では、制御システムは、対象物を移動させるための移動機構と、撮像指示を受け付けたことに基づいて上記対象物を撮像し、撮像により得られた画像から上記対象物の実位置を計測するための視覚センサと、上記実位置から所定の到達目標位置に上記対象物を移動させるための、上記移動機構の必要移動距離を算出するための算出部と、上記必要移動距離と時刻とを少なくとも説明変数とし、上記移動機構の目標位置を目的変数とする多次関数で表される目標軌道に基づいて、上記撮像指示が上記視覚センサに出力される間隔よりも短い予め定められた制御周期ごとに、現時刻に対応する目標位置を決定するための位置決定部と、上記位置決定部によって決定される目標位置に上記移動機構を移動させるための移動制御部とを備える。
この開示によれば、上記制御システムは、視覚センサが対象物の実位置を計測してから次に対象物の実位置を計測するまでの間において、移動機構の目標位置を補間でき、移動機構をより滑らかに駆動することが可能になる。
本開示の一例では、上記多次関数は、5次以上の関数である。
この開示によれば、上記多次関数が5次以上の関数で規定されることにより、移動機構の目標位置がより滑らかになる。
本開示の一例では、上記位置決定部は、上記移動機構の加速度が予め定められた最大加速度を超えないように、上記目標軌道を生成する。
この開示によれば、上記制御システムは、移動機構の速度が急に変化することを抑制することができる。
本開示の一例では、上記位置決定部は、上記視覚センサが上記対象物の実位置を計測する度に上記目標軌道を生成し、新たに生成された上記目標軌道で前回に生成された上記目標軌道を更新する。
この開示によれば、目標軌道の誤差は、視覚センサの撮像周期ごとに修正される。
本開示の一例では、上記位置決定部は、上記目標軌道の更新前後で、上記移動機構の速度が変化しないように新たな上記目標軌道を生成する。
この開示によれば、目標軌道を更新する過程で、移動機構上における対象物のすべりや、移動機構の位置決め後における残留振動が抑制され、結果として、対象物のアライメント時間が短縮される。
本開示の一例では、上記制御システムは、上記制御周期ごとに上記移動機構の実位置を検出するための検出部と、上記目標軌道の更新のタイミングにおいて上記検出部によって検出された実位置と、上記タイミングにおける上記移動機構の目標位置との位置偏差で、上記必要移動距離を補正するための補正部とをさらに備える。
この開示によれば、目標軌道を更新する過程で、移動機構の位置の誤差が吸収され、移動機構の速度が急変することが防止される。その結果、対象物のすべりや、移動機構の位置決め後における残留振動が抑制され、結果として、対象物のアライメント時間が短縮される。
本開示の他の例では、対象物を移動させるための移動機構の制御方法は、撮像指示を視覚センサに出力し、上記対象物を撮像して得られた画像から上記対象物の実位置を上記視覚センサに計測させるステップと、上記実位置から所定の到達目標位置に上記対象物を移動させるための、上記移動機構の必要移動距離を算出するステップと、上記必要移動距離と時刻とを少なくとも説明変数とし、上記移動機構の目標位置を目的変数とする多次関数で表される目標軌道に基づいて、上記撮像指示が上記視覚センサに出力される間隔よりも短い予め定められた制御周期ごとに、現時刻に対応する目標位置を決定するステップと、上記決定するステップで決定される目標位置に上記移動機構を移動させるステップとを備える。
この開示によれば、上記制御システムは、視覚センサが対象物の実位置を計測してから次に対象物の実位置を計測するまでの間において、移動機構の目標位置を補間でき、移動機構をより滑らかに駆動することが可能になる。
本開示の他の例では、対象物を移動させるための移動機構の制御プログラムは、上記移動機構を制御するためのコントローラに、撮像指示を視覚センサに出力し、上記対象物を撮像して得られた画像から上記対象物の実位置を上記視覚センサに計測させるステップと、上記実位置から所定の到達目標位置に上記対象物を移動させるための、上記移動機構の必要移動距離を算出するステップと、上記必要移動距離と時刻とを少なくとも説明変数とし、上記移動機構の目標位置を目的変数とする多次関数で表される目標軌道に基づいて、上記撮像指示が上記視覚センサに出力される間隔よりも短い予め定められた制御周期ごとに、現時刻に対応する目標位置を決定するステップと、上記決定するステップで決定される目標位置に上記移動機構を移動させるステップとを実行させる。
この開示によれば、上記制御システムは、視覚センサが対象物の実位置を計測してから次に対象物の実位置を計測するまでの間において、移動機構の目標位置を補間でき、移動機構をより滑らかに駆動することが可能になる。
ある局面において、視覚センサの計測位置に基づいて駆動される移動機構をより滑らかに駆動することができる。
実施の形態に従う制御システムの概要を示す模式図である。 目標軌道の一例を示す図である。 実施の形態に従う制御システムの装置構成の一例を説明する。 実施の形態に従う画像処理装置のハードウェア構成の一例を示す模式図である。 実施の形態に従うコントローラのハードウェア構成を示す模式図である。 図1に示される制御システムの機能構成をさらに具体化した図である。 更新前の目標軌道と、更新後の目標軌道とを示す図である。 実施の形態に従うコントローラが実行する制御処理の一部を表わすフローチャートである。
以下、図面を参照しつつ、本発明に従う各実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。
<A.適用例>
まず、図1を参照して、本発明が適用される場面の一例について説明する。図1は、本実施の形態に従う制御システム1の概要を示す模式図である。
制御システム1は、画像処理を用いてアライメントを行なう。アライメントは、典型的には、工業製品の製造過程などにおいて、対象物(以下、「ワークW」ともいう。)を生産ラインの本来の位置に配置する処理などを意味する。このようなアライメントの一例として、制御システム1は、液晶パネルの生産ラインにおいて、ガラス基板に回路パターンの焼付処理(露光処理)前に、露光マスクに対するガラス基板の位置決めを行なう。
制御システム1は、たとえば、視覚センサ50と、コントローラ200と、サーボドライバ300と、移動機構400とを含む。移動機構400は、たとえば、サーボモータ410と、ステージ420とで構成されている。
視覚センサ50は、撮像視野に存在する被写体を撮像して画像データを生成する撮像処理を行なうものであり、ステージ420に載置されるワークWを撮像する。視覚センサ50は、コントローラ200からの撮像トリガTRに応じて撮像を行なう。視覚センサ50は、撮像トリガTRを受け付けたことに基づいてワークWを撮像し、撮像により得られた画像データに対して画像解析を行なうことでワークWの実位置PVvを計測する。実位置PVvは、計測される度にコントローラ200に出力される。
コントローラ200は、たとえばPLC(プログラマブル ロジック コントローラ)であり、各種のFA制御を行なう。コントローラ200は、機能構成の一例として、算出部250と、位置決定部252と、移動制御部254とを含む。
算出部250は、視覚センサ50によって検出されたワークWの実位置PVvと、所定の到達目標位置SPとに基づいて、ワークWを実位置PVvから到達目標位置SPに移動させるための移動機構400の必要移動距離Lを算出する。算出された必要移動距離Lは、位置決定部252に出力される。
ある局面において、到達目標位置SPは、視覚センサ50が所定の画像処理を行なうことにより検出される。この場合、視覚センサ50は、予め定められたマークを画像から検出し、当該マークを到達目標位置SPとして認識する。他の局面において、到達目標位置SPは、生産工程ごとに予め決められている。
位置決定部252は、必要移動距離Lと時刻tとを少なくとも説明変数とし、移動機構400の目標位置SP(t)を目的変数とする多次関数で表される目標軌道TGに基づいて、現時刻tにおける目標位置SP(t)を決定する。
図2は、目標軌道TGの一例を示す図である。図2に示されるように、目標軌道TGは、制御周期Tsごとの移動機構400の目標位置SP(t)を規定している。図2に示されるように、目標位置SP(t)の初期値は必要移動距離Lとなり、目標位置SP(t)の最終値はゼロとなる。目標位置SP(t)は、撮像周期Tbよりも短い制御周期Tsごとに移動制御部254に出力される。一例として、撮像周期Tbは、撮像状況などに応じて変動し、たとえば約60msである。制御周期Tsは、固定であり、たとえば1msである。
移動制御部254は、制御周期Tsごとに、現時刻tに対応する目標位置SP(t)に移動機構400を移動させるための移動指令MVを生成し、当該移動指令MVをサーボドライバ300に出力する。移動指令MVは、たとえば、サーボドライバ300に対する指令位置、指令速度、または指令トルクのいずれかである。
サーボドライバ300は、制御周期Tsごとに受ける移動指令MVに従って、移動機構400を駆動する。より具体的には、サーボドライバ300は、後述のエンコーダ412(図6参照)によって検出されるエンコーダ値PVmを取得して、エンコーダ値PVmから特定されるステージ420の速度/位置が目標値に近付くように移動指令MVが近付くようにサーボモータ410をフィードバック制御する。エンコーダによって検出されたエンコーダ値PVmは、制御周期Tsと同じ周期でコントローラ200に入力される。
以上のように、本実施の形態では、位置決定部252は、必要移動距離Lと時刻tとを少なくとも説明変数とし、移動機構400の目標位置SP(t)を目的変数とする多次関数で表される目標軌道TGに基づいて、現時刻tに対応する目標位置SP(t)を決定する。目標位置SP(t)は、撮像周期Tbよりも短い制御周期Tsごとに移動制御部254に出力される。これにより、視覚センサ50がワークWの実位置PVvを計測してから次に実位置PVvを計測するまでの間において、移動機構400に出力する移動指令を補間でき、移動機構400をより滑らかに駆動することが可能になる。
<B.制御システム1の装置構成>
図3は、制御システム1の装置構成の一例を説明する。図3に示されるように、制御システム1は、視覚センサ50と、コントローラ200と、1つ以上のサーボドライバ300(図3の例では、サーボドライバ300X,300Y)と、移動機構400とを含む。視覚センサ50は、画像処理装置100と、1つ以上のカメラ(図3の例では、カメラ102および104)とを含む。
画像処理装置100は、カメラ102,104がワークWを撮影して得られた画像データに基づいて、ワークWの特徴部分12(たとえば、ネジ穴など)を検出する。画像処理装置100は、検出した特徴部分12の位置をワークWの実位置PVvとして検出する。
コントローラ200には、1つ以上のサーボドライバ300(図3の例では、サーボドライバ300X,300Y)が接続されている。サーボドライバ300Xは、コントローラ200からの受けるX方向の移動指令に従って、制御対象のサーボモータ410Xを駆動する。サーボドライバ300Yは、コントローラ200からの受けるY方向の移動指令に従って、制御対象のサーボモータ410Yを駆動する。
コントローラ200は、X方向に対して生成された目標軌道TGxに従って、サーボドライバ300Xに対してX方向の目標位置を指令値として与える。また、コントローラ200は、Y方向に対して生成された目標軌道TGyに従って、サーボドライバ300Yに対してY方向の目標位置を指令値として与える。X,Y方向のそれぞれの目標位置が順次更新されることで、ワークWが到達目標位置SPに移動させられる。
コントローラ200およびサーボドライバ300は、フィールドネットワークを介してデイジーチェーンで接続されている。フィールドネットワークには、たとえば、EtherCAT(登録商標)が採用される。但し、フィールドネットワークは、EtherCATに限定されず、任意の通信手段が採用され得る。一例として、コントローラ200およびサーボドライバ300は、信号線で直接接続されてもよい。また、コントローラ200およびサーボドライバ300は、一体的に構成されてもよい。
移動機構400は、ベースプレート4,7と、ボールネジ6,9と、ステージ420と、1つ以上のサーボモータ410(図3の例では、サーボモータ410X,410Y)とで構成されている。
ベースプレート4には、ステージ420をX方向に沿って移動させるボールネジ6が配置されている。ボールネジ6は、ステージ420に含まれるナットと係合されている。ボールネジ6の一端に連結されたサーボモータ410Xが回転駆動することで、ステージ420に含まれるナットとボールネジ6とが相対回転し、その結果、ステージ420がX方向に沿って移動する。
ベースプレート7は、ステージ420およびベースプレート4をY方向に沿って移動させるボールネジ9が配置されている。ボールネジ9は、ベースプレート4に含まれるナットと係合されている。ボールネジ9の一端に連結されたサーボモータ410Yが回転駆動することで、ベースプレート4に含まれるナットとボールネジ9とが相対回転し、その結果、ステージ420およびベースプレート4がY方向に沿って移動する。
なお、図3には、サーボモータ410X,410Yによる2軸駆動の移動機構400が示されているが、移動機構400は、XY平面上の回転方向(θ方向)にステージ420を駆動するサーボモータがさらに組み込まれてもよい。
<C.ハードウェア構成>
図4および図5を参照して、視覚センサ50を構成する画像処理装置100およびコントローラ200のハードウェア構成について順に説明する。
(C1.画像処理装置100のハードウェア構成)
図4は、視覚センサ50を構成する画像処理装置100のハードウェア構成の一例を示す模式図である。図4を参照して、画像処理装置100は、典型的には、汎用的なコンピュータアーキテクチャに従う構造を有しており、予めインストールされたプログラムをプロセッサが実行することで、後述するような各種の画像処理を実現する。
より具体的には、画像処理装置100は、CPU(Central Processing Unit)やMPU(Micro-Processing Unit)などのプロセッサ110と、RAM(Random Access Memory)112と、表示コントローラ114と、システムコントローラ116と、I/O(Input Output)コントローラ118と、ハードディスク120と、カメラインターフェイス122と、入力インターフェイス124と、コントローラインターフェイス126と、通信インターフェイス128と、メモリカードインターフェイス130とを含む。これらの各部は、システムコントローラ116を中心として、互いにデータ通信可能に接続される。
プロセッサ110は、システムコントローラ116との間でプログラム(コード)などを交換して、これらを所定順序で実行することで、目的の演算処理を実現する。
システムコントローラ116は、プロセッサ110、RAM112、表示コントローラ114、およびI/Oコントローラ118とそれぞれバスを介して接続されており、各部との間でデータ交換などを行なうとともに、画像処理装置100全体の処理を司る。
RAM112は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置であり、ハードディスク120から読み出されたプログラムや、カメラ102および104によって取得されたカメラ画像(画像データ)、カメラ画像に対する処理結果、およびワークデータなどを保持する。
表示コントローラ114は、表示部132と接続されており、システムコントローラ116からの内部コマンドに従って、各種の情報を表示するための信号を表示部132へ出力する。
I/Oコントローラ118は、画像処理装置100に接続される記録媒体や外部機器との間のデータ交換を制御する。より具体的には、I/Oコントローラ118は、ハードディスク120と、カメラインターフェイス122と、入力インターフェイス124と、コントローラインターフェイス126と、通信インターフェイス128と、メモリカードインターフェイス130と接続される。
ハードディスク120は、典型的には、不揮発性の磁気記憶装置であり、プロセッサ110で実行される制御プログラム150に加えて、各種設定値などが格納される。このハードディスク120にインストールされる制御プログラム150は、メモリカード136などに格納された状態で流通する。なお、ハードディスク120に代えて、フラッシュメモリなどの半導体記憶装置やDVD−RAM(Digital Versatile Disk Random Access Memory)などの光学記憶装置を採用してもよい。
カメラインターフェイス122は、ワークを撮影することで生成された画像データを受け付ける入力部に相当し、プロセッサ110とカメラ102,104との間のデータ伝送を仲介する。カメラインターフェイス122は、カメラ102および104からの画像データをそれぞれ一時的に蓄積するための画像バッファ122aおよび122bを含む。複数のカメラに対して、カメラの間で共有できる単一の画像バッファを設けてもよいが、処理高速化のため、それぞれのカメラに対応付けて独立に複数配置することが好ましい。
入力インターフェイス124は、プロセッサ110とキーボード134、マウス、タッチパネル、専用コンソールなどの入力装置との間のデータ伝送を仲介する。
コントローラインターフェイス126は、プロセッサ110とコントローラ200との間のデータ伝送を仲介する。
通信インターフェイス128は、プロセッサ110と図示しない他のパーソナルコンピュータやサーバ装置などとの間のデータ伝送を仲介する。通信インターフェイス128は、典型的には、イーサネット(登録商標)やUSB(Universal Serial Bus)などからなる。
メモリカードインターフェイス130は、プロセッサ110と記録媒体であるメモリカード136との間のデータ伝送を仲介する。メモリカード136には、画像処理装置100で実行される制御プログラム150などが格納された状態で流通し、メモリカードインターフェイス130は、このメモリカード136から制御プログラムを読み出す。メモリカード136は、SD(Secure Digital)などの汎用的な半導体記憶デバイスや、フレキシブルディスク(Flexible Disk)などの磁気記録媒体や、CD−ROM(Compact Disk Read Only Memory)などの光学記録媒体等からなる。あるいは、通信インターフェイス128を介して、配信サーバなどからダウンロードしたプログラムを画像処理装置100にインストールしてもよい。
上述のような汎用的なコンピュータアーキテクチャに従う構造を有するコンピュータを利用する場合には、本実施の形態に従う機能を提供するためのアプリケーションに加えて、コンピュータの基本的な機能を提供するためのOS(Operating System)がインストールされていてもよい。この場合には、本実施の形態に従う制御プログラムは、OSの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の順序および/またはタイミングで呼び出して処理を実行するものであってもよい。
さらに、本実施の形態に従う制御プログラムは、他のプログラムの一部に組み込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組み合わせられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に従う制御プログラムとしては、このような他のプログラムに組み込まれた形態であってもよい。
なお、代替的に、制御プログラムの実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。
(C2.コントローラ200のハードウェア構成)
図5は、コントローラ200のハードウェア構成を示す模式図である。図5を参照して、コントローラ200は、主制御ユニット210とを含む。図5には、3軸分のサーボモータ410X,410Y,410θが示されており、この軸数に応じた数のサーボドライバ300X,300Y,300θが設けられる。
主制御ユニット210は、チップセット212と、プロセッサ214と、不揮発性メモリ216と、主メモリ218と、システムクロック220と、メモリカードインターフェイス222と、通信インターフェイス228と、内部バスコントローラ230と、フィールドバスコントローラ238とを含む。チップセット212と他のコンポーネントとの間は、各種のバスを介してそれぞれ結合されている。
プロセッサ214およびチップセット212は、典型的には、汎用的なコンピュータアーキテクチャに従う構成を有している。すなわち、プロセッサ214は、チップセット212から内部クロックに従って順次供給される命令コードを解釈して実行する。チップセット212は、接続されている各種コンポーネントとの間で内部的なデータを遣り取りするとともに、プロセッサ214に必要な命令コードを生成する。システムクロック220は、予め定められた周期のシステムクロックを発生してプロセッサ214に提供する。チップセット212は、プロセッサ214での演算処理の実行の結果得られたデータなどをキャッシュする機能を有する。
主制御ユニット210は、記憶手段として、不揮発性メモリ216および主メモリ218を有する。不揮発性メモリ216は、OS、システムプログラム、ユーザプログラム、データ定義情報、ログ情報などを不揮発的に保持する。主メモリ218は、揮発性の記憶領域であり、プロセッサ214で実行されるべき各種プログラムを保持するとともに、各種プログラムの実行時の作業用メモリとしても使用される。
主制御ユニット210は、通信手段として、通信インターフェイス228と、内部バスコントローラ230と、フィールドバスコントローラ238とを有する。これらの通信回路は、データの送信および受信を行なう。
通信インターフェイス228は、画像処理装置100との間でデータを遣り取りする。
内部バスコントローラ230は、内部バス226を介したデータの遣り取りを制御する。より具体的には、内部バスコントローラ230は、バッファメモリ236と、DMA(Dynamic Memory Access)制御回路232と、内部バス制御回路234とを含む。
メモリカードインターフェイス222は、主制御ユニット210に対して着脱可能なメモリカード224とプロセッサ214とを接続する。
フィールドバスコントローラ238は、フィールドネットワークに接続するための通信インターフェイスである。コントローラ200は、フィールドバスコントローラ238を介してサーボドライバ300(たとえば、サーボドライバ300X,300Y,300θ)と接続される。当該フィールドネットワークには、たとえば、EtherCAT(登録商標)、EtherNet/IP(登録商標)、CompoNet(登録商標)などが採用される。
<D.目標軌道TGの更新処理>
上述の位置決定部252(図1参照)は、視覚センサ50の撮像周期Tbごとに目標軌道TGを生成する。このとき、位置決定部252は、新たに生成された目標軌道TGで前回に生成された目標軌道TGを更新する。すなわち、目標軌道TGは、視覚センサ50によってワークWの実位置が計測される度に更新される。これにより、目標軌道TGの誤差は、視覚センサ50の撮像周期Tbごとに修正される。
典型的には、位置決定部252は、目標軌道TGの更新前後で、移動機構400の速度が変化しないように新たな目標軌道TGを生成する。以下では、図6および図7を参照して、目標軌道TGの更新処理について説明する。
図6は、図1に示される制御システム1の機能構成をさらに具体化した図である。図6に示されるように、コントローラ200は、算出部250と、補正部251X,251Yと、位置決定部252X,252Yと、移動制御部254X,254Yとを含む。
補正部251X、位置決定部252X、および移動制御部254Xは、X軸方向の駆動制御を行なうサーボドライバ300Xのための機能構成である。補正部251Y、位置決定部252Y、および移動制御部254Yは、Y軸方向の駆動制御を行なうサーボドライバ300Yのための機能構成である。その他の点に関しては、補正部251X,251Yの機能は同じであり、位置決定部252X,252Yの機能は同じであり、移動制御部254X,254Yの機能は同じである。
算出部250は、視覚センサ50によって検出されたワークWの実位置PVvと、所定の到達目標位置SPとに基づいて、ワークWを実位置PVvから到達目標位置SPに移動させるための移動機構400の必要移動距離Lを算出する。その後、算出部250は、移動機構400の必要移動距離LをX軸方向の必要移動距離LxとY軸方向の必要移動距離Lyとに分解し、必要移動距離Lxを補正部251Xに出力するとともに、必要移動距離Lyを補正部251Yに出力する。
補正部251Xは、移動機構400の実位置を検出するためのエンコーダ412X(検出部)からのためのエンコーダ値PVmに基づいて移動機構400の実位置を特定する。より具体的には、エンコーダ412Xは、サーボモータ410Xの移動量に応じてパルス信号を発生する。サーボモータ410Xに含まれるカウンタは、エンコーダ412Xからパルス信号を受け、当該パルス信号に含まれるパルス数をカウントすることで移動機構400の移動量をエンコーダ値PVmとして計測する。エンコーダ値PVmは、制御周期Tsごとに補正部251にコントローラ200に入力される。補正部251は、移動機構400の移動量に相当するエンコーダ値PVmに基づいて、X方向における移動機構400の実位置を特定する。
補正部251Xは、移動機構400の実位置と目標位置SP(t)との位置偏差En(t)を誤差として算出する。そして、補正部251Xは、必要移動距離Lxに位置偏差En(t)で補正し、補正後の必要移動距離Lmを位置決定部252Xに出力する。補正部251Yは、補正部251Xと同様に、エンコーダ412Yからのエンコーダ値PVmに基づいて、Y方向における必要移動距離Lmを位置決定部252Yに出力する。
位置決定部252Xは、視覚センサ50の撮像周期Tbが到来したことに基づいて、必要移動距離Lmから目標軌道TGを生成する。図7は、更新前の目標軌道TG1と、更新後の目標軌道TG2とを示す図である。
図7に示されるように、時刻t5において、視覚センサ50によりワークWの実位置PVvが計測され、目標軌道が更新されるとする。補正部251Xは、目標軌道の更新のタイミングにおいて検出された移動機構400の実位置と、当該タイミングにおける移動機構400の目標位置との位置偏差En(t)で、必要移動距離Lを補正する。図7の例では、必要移動距離Lに位置偏差En(t5)を加算することで、必要移動距離Lが必要移動距離Lmに補正されている。その後、位置決定部252Xは、補正後の必要移動距離Lmに基づいて、新たな目標軌道TG2を生成する。
これにより、目標軌道TG1から目標軌道TG2に更新する過程で、移動機構400の位置の誤差が吸収され、移動機構400の速度が急変することが防止される。その結果、移動機構400上におけるワークWのすべりや、移動機構400の位置決め後における残留振動が抑制され、結果として、ワークWのアライメント時間が短縮される。
位置決定部252Xは、更新後の目標軌道TG2に基づいて、現時刻tに対応する目標位置SP(t)を決定し、当該目標位置SP(t)を制御周期Tsごとに移動制御部254Xに出力する。移動制御部254Xの機能については、図1で説明した移動制御部254と同じであるので、その説明については繰り返さない。
<E.コントローラ200の制御構造>
図8を参照して、コントローラ200の制御構造について説明する。図8は、コントローラ200が実行する制御処理の一部を表わすフローチャートである。図8に示される処理は、コントローラ200のプロセッサ214がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、回路素子またはその他のハードウェアによって実行されてもよい。
図8に示される処理は、ある軸方向に対する制御フローを表わす。すなわち、実際には、図8に示されるステップS130,S150以外の処理は、軸方向の分だけ並列に実行される。
ステップS110において、プロセッサ214は、計測時刻t(現時刻)をゼロに初期化する。
ステップS130において、プロセッサ214は、視覚センサ50からワークWの位置計測が完了したことを示す情報を受け付けたか否かを判断する。プロセッサ214は、視覚センサ50からワークWの位置計測が完了したことを示す情報を受け付けたと判断した場合(ステップS130においてYES)、制御をステップS131に切り替える。そうでない場合には(ステップS130においてNO)、プロセッサ214は、制御をステップS138に切り替える。
ステップS131において、プロセッサ214は、上述の算出部250(図1参照)として、視覚センサ50によって検出されたワークWの実位置PVvと、所定の到達目標位置SPとに基づいて、ワークWを実位置PVvから到達目標位置SPに移動させるための移動機構400の必要移動距離Lを算出する。
ステップS132において、プロセッサ214は、上述の補正部251(図6参照)として、計測時刻tにおける位置偏差En(t)を必要移動距離Lに加算し、必要移動距離Lを必要移動距離Lmに補正する。必要移動距離Lの補正方法については図7で説明した通りであるので、その説明については繰り返さない。
ステップS134において、プロセッサ214は、計測時刻tをゼロに初期化する。
ステップS136において、プロセッサ214は、軌道時間Tを算出する。軌道時間Tは、目標軌道TGの開始点から終了点まで移動機構400を移動するために要する時間を表わす。一例として、軌道時間Tは、下記式(1)に基づいて算出される。
T=max{f(Amax),Tmin} ・・・(1)
上記式(1)に示される「Amax」は、最大加速度を表わす。「f()」は、最大加速度Amaxで必要移動距離Lを移動機構400に移動させた場合にかかる軌道時間Tを求めるための関数である。「Tmin」は、所定の最小軌道時間である。「max(α,β)」は、数値α,βの内から最大値を取得するための関数である。
上記式(1)により、軌道時間Tは、最小軌道時間Tmin未満にならないように決められる。最小軌道時間Tminが設けられていなければ、必要移動距離Lが非常に短い場合に、移動機構400が目標位置にすぐに到達してしまうので、次の撮像タイミングまでの時間を無駄にすることになる。しかしながら、最小軌道時間Tminが設けられることで、必要移動距離Lが非常に短い場合に、移動機構400は、最大加速度よりも低い加速度で移動することとなり、移動機構400は、滑らかに移動することができる。一例として、軌道時間Tminは、平均撮像間隔に対して一定の割合(たとえば、50%)を乗じることで算出される。
ステップS138において、プロセッサ214は、上述の位置決定部252(図1参照)として、ステップS132で得られた補正後の必要移動距離Lmと、ステップS136で算出された軌道時間Tとに基づいて、現時刻tに対応する目標位置SP(t)を算出する。一例として、目標位置SP(t)は、下記式(2)に基づいて算出される。
SP(t)=Lm*[1−(t/T){10−15(t/T)}+6(t/T)}]・・・(2)
上記式(2)の右辺は、移動機構400の目標軌道TGを表わす。式(2)に示されるように、目標軌道TGは、必要移動距離Lmと時刻tとを少なくとも説明変数とし、移動機構400の目標位置SP(t)を目的変数とする多次関数で表される。
なお、式(2)においては、目標軌道TGが時刻tの5次関数で表されているが、目標軌道TGの次数は、6次以上の多次関数で表されてもよい。また、目標軌道TGは、スプライン補間関数で表されてもよい。
最大加速度Amaxが与えられた場合、上記式(2)に示される軌道時間Tは、下記式(3)〜式(5)で計算される。
f(Amax)=C*Lm/Amax ・・・(3)
=60C(2C −3C+1) ・・・(4)
=0.5−31/2/6 ・・・(5)
ステップS140において、プロセッサ214は、上述の移動制御部254(図1参照)として、ステップS138で得られた目標位置SP(t)に移動機構400を移動させるための移動指令MVを生成し、当該移動指令MVをサーボドライバ300に出力する。
ステップS142において、プロセッサ214は、計測時間tに制御周期Tsを加算し、計測時間tを更新する。
ステップS150において、プロセッサ214は、目標軌道TGの更新処理を終了するか否かを判断する。一例として、プロセッサ214は、目標軌道TGの更新処理の停止命令を受け付けたことに基づいて、図8に示される処理を終了する。プロセッサ214は、目標軌道TGの更新処理を終了すると判断した場合(ステップS150においてYES)、図8に示される処理を終了する。そうでない場合には(ステップS150においてNO)、プロセッサ214は、制御をステップS130に戻す。
なお、上述では、制御周期Tsごとに目標位置SP(t)が算出される例について説明を行ったが、プロセッサ214は、移動機構400が最終的な目標到達位置SPに到達するまでの間における各時刻の目標位置SP(t)を一括して算出してもよい。
<F.付記>
以上のように、本実施形態は以下のような開示を含む。
[構成1]
対象物を移動させるための移動機構(400)と、
撮像指示を受け付けたことに基づいて前記対象物を撮像し、撮像により得られた画像から前記対象物の実位置を計測するための視覚センサ(50)と、
前記実位置から所定の到達目標位置に前記対象物を移動させるための、前記移動機構(400)の必要移動距離を算出するための算出部(250)と、
前記必要移動距離と時刻とを少なくとも説明変数とし、前記移動機構(400)の目標位置を目的変数とする多次関数で表される目標軌道に基づいて、前記撮像指示が前記視覚センサに出力される間隔よりも短い予め定められた制御周期ごとに、現時刻に対応する目標位置を決定するための位置決定部(252)と、
前記位置決定部(252)によって決定される目標位置に前記移動機構(400)を移動させるための移動制御部とを備える、制御システム。
[構成2]
前記多次関数は、5次以上の関数である、構成1に記載の制御システム。
[構成3]
前記位置決定部(252)は、前記移動機構(400)の加速度が予め定められた最大加速度を超えないように、前記目標軌道を生成する、構成1に記載の制御システム。
[構成4]
前記位置決定部(252)は、前記視覚センサ(50)が前記対象物の実位置を計測する度に前記目標軌道を生成し、新たに生成された前記目標軌道で前回に生成された前記目標軌道を更新する、構成1〜3のいずれか1項に記載の制御システム。
[構成5]
前記位置決定部(252)は、前記目標軌道の更新前後で、前記移動機構(400)の速度が変化しないように新たな前記目標軌道を生成する、構成4に記載の制御システム。
[構成6]
前記制御システムは、
前記制御周期ごとに前記移動機構(400)の実位置を検出するための検出部(412)と、
前記目標軌道の更新のタイミングにおいて前記検出部によって検出された実位置と、前記タイミングにおける前記移動機構の目標位置との位置偏差で、前記必要移動距離を補正するための補正部とをさらに備える、構成5に記載の制御システム。
[構成7]
対象物を移動させるための移動機構(400)の制御方法であって、
撮像指示を視覚センサに出力し、前記対象物を撮像して得られた画像から前記対象物の実位置を前記視覚センサに計測させるステップと、
前記実位置から所定の到達目標位置に前記対象物を移動させるための、前記移動機構(400)の必要移動距離を算出するステップと、
前記必要移動距離と時刻とを少なくとも説明変数とし、前記移動機構(400)の目標位置を目的変数とする多次関数で表される目標軌道に基づいて、前記撮像指示が前記視覚センサに出力される間隔よりも短い予め定められた制御周期ごとに、現時刻に対応する目標位置を決定するステップと、
前記決定するステップで決定される目標位置に前記移動機構(400)を移動させるステップとを備える、制御方法。
[構成8]
対象物を移動させるための移動機構(400)の制御プログラムであって、
前記制御プログラムは、前記移動機構(400)を制御するためのコントローラ(200)に、
撮像指示を視覚センサに出力し、前記対象物を撮像して得られた画像から前記対象物の実位置を前記視覚センサに計測させるステップと、
前記実位置から所定の到達目標位置に前記対象物を移動させるための、前記移動機構(400)の必要移動距離を算出するステップ(S131)と、
前記必要移動距離と時刻とを少なくとも説明変数とし、前記移動機構(400)の目標位置を目的変数とする多次関数で表される目標軌道に基づいて、前記撮像指示が前記視覚センサに出力される間隔よりも短い予め定められた制御周期ごとに、現時刻に対応する目標位置を決定するステップと、
前記決定するステップで決定される目標位置に前記移動機構(400)を移動させるステップ(S140)とを実行させる、制御プログラム。
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。
1 制御システム、4,7 ベースプレート、6,9 ボールネジ、12 特徴部分、50 視覚センサ、100 画像処理装置、102,104 カメラ、110,214 プロセッサ、112 RAM、114 表示コントローラ、116 システムコントローラ、118 I/Oコントローラ、120 ハードディスク、122 カメラインターフェイス、122a 画像バッファ、124 入力インターフェイス、126 モーションコントローラインターフェイス、128,228 通信インターフェイス、130,222 メモリカードインターフェイス、132 表示部、134 キーボード、136,224 メモリカード、150 制御プログラム、200 コントローラ、210 主制御ユニット、212 チップセット、216 不揮発性メモリ、218 主メモリ、220 システムクロック、230 内部バスコントローラ、232 制御回路、234 内部バス制御回路、236 バッファメモリ、238 フィールドバスコントローラ、250 算出部、251,251X,251Y 補正部、252,252X,252Y 位置決定部、254,254X,254Y 移動制御部、300,300X,300Y サーボドライバ、400 移動機構、410,410X,410Y サーボモータ、412,412X,412Y エンコーダ、420 ステージ。

Claims (8)

  1. 対象物を移動させるための移動機構と、
    撮像指示を受け付けたことに基づいて前記対象物を撮像し、撮像により得られた画像から前記対象物の実位置を計測するための視覚センサと、
    前記実位置から所定の到達目標位置に前記対象物を移動させるための、前記移動機構の必要移動距離を算出するための算出部と、
    前記必要移動距離と時刻とを少なくとも説明変数とし、前記移動機構の目標位置を目的変数とする多次関数で表される目標軌道に基づいて、前記撮像指示が前記視覚センサに出力される間隔よりも短い予め定められた制御周期ごとに、現時刻に対応する目標位置を決定するための位置決定部と、
    前記位置決定部によって決定される目標位置に前記移動機構を移動させるための移動制御部とを備える、制御システム。
  2. 前記多次関数は、5次以上の関数である、請求項1に記載の制御システム。
  3. 前記位置決定部は、前記移動機構の加速度が予め定められた最大加速度を超えないように、前記目標軌道を生成する、請求項1に記載の制御システム。
  4. 前記位置決定部は、前記視覚センサが前記対象物の実位置を計測する度に前記目標軌道を生成し、新たに生成された前記目標軌道で前回に生成された前記目標軌道を更新する、請求項1〜3のいずれか1項に記載の制御システム。
  5. 前記位置決定部は、前記目標軌道の更新前後で、前記移動機構の速度が変化しないように新たな前記目標軌道を生成する、請求項4に記載の制御システム。
  6. 前記制御システムは、
    前記制御周期ごとに前記移動機構の実位置を検出するための検出部と、
    前記目標軌道の更新のタイミングにおいて前記検出部によって検出された実位置と、前記タイミングにおける前記移動機構の目標位置との位置偏差で、前記必要移動距離を補正するための補正部とをさらに備える、請求項5に記載の制御システム。
  7. 対象物を移動させるための移動機構の制御方法であって、
    撮像指示を視覚センサに出力し、前記対象物を撮像して得られた画像から前記対象物の実位置を前記視覚センサに計測させるステップと、
    前記実位置から所定の到達目標位置に前記対象物を移動させるための、前記移動機構の必要移動距離を算出するステップと、
    前記必要移動距離と時刻とを少なくとも説明変数とし、前記移動機構の目標位置を目的変数とする多次関数で表される目標軌道に基づいて、前記撮像指示が前記視覚センサに出力される間隔よりも短い予め定められた制御周期ごとに、現時刻に対応する目標位置を決定するステップと、
    前記決定するステップで決定される目標位置に前記移動機構を移動させるステップとを備える、制御方法。
  8. 対象物を移動させるための移動機構の制御プログラムであって、
    前記制御プログラムは、前記移動機構を制御するためのコントローラに、
    撮像指示を視覚センサに出力し、前記対象物を撮像して得られた画像から前記対象物の実位置を前記視覚センサに計測させるステップと、
    前記実位置から所定の到達目標位置に前記対象物を移動させるための、前記移動機構の必要移動距離を算出するステップと、
    前記必要移動距離と時刻とを少なくとも説明変数とし、前記移動機構の目標位置を目的変数とする多次関数で表される目標軌道に基づいて、前記撮像指示が前記視覚センサに出力される間隔よりも短い予め定められた制御周期ごとに、現時刻に対応する目標位置を決定するステップと、
    前記決定するステップで決定される目標位置に前記移動機構を移動させるステップとを実行させる、制御プログラム。
JP2018085121A 2018-04-26 2018-04-26 制御システム、制御方法、および制御プログラム Active JP6919622B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018085121A JP6919622B2 (ja) 2018-04-26 2018-04-26 制御システム、制御方法、および制御プログラム
PCT/JP2019/014127 WO2019208108A1 (ja) 2018-04-26 2019-03-29 制御システム、制御方法、および制御プログラム
KR1020207026088A KR20210004958A (ko) 2018-04-26 2019-03-29 제어 시스템, 제어 방법 및 제어 프로그램
CN201980018616.2A CN111886556B (zh) 2018-04-26 2019-03-29 控制系统、控制方法以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018085121A JP6919622B2 (ja) 2018-04-26 2018-04-26 制御システム、制御方法、および制御プログラム

Publications (2)

Publication Number Publication Date
JP2019188549A true JP2019188549A (ja) 2019-10-31
JP6919622B2 JP6919622B2 (ja) 2021-08-18

Family

ID=68295242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018085121A Active JP6919622B2 (ja) 2018-04-26 2018-04-26 制御システム、制御方法、および制御プログラム

Country Status (3)

Country Link
JP (1) JP6919622B2 (ja)
KR (1) KR20210004958A (ja)
WO (1) WO2019208108A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7059968B2 (ja) * 2019-03-01 2022-04-26 オムロン株式会社 制御装置および位置合わせ装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09244725A (ja) * 1996-03-05 1997-09-19 Sony Corp 軌道補間装置及びその方法並びに制御装置
JPH1124718A (ja) * 1997-07-07 1999-01-29 Toshiba Corp ロボットの制御装置及び制御方法
JP2007257276A (ja) * 2006-03-23 2007-10-04 Toyota Motor Corp 移動経路作成方法、自律移動体および自律移動体制御システム
JP2015213139A (ja) * 2014-05-07 2015-11-26 国立大学法人 東京大学 位置決め装置
JP2017024134A (ja) * 2015-07-24 2017-02-02 ファナック株式会社 ワークを位置決めするためのワーク位置決め装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09244725A (ja) * 1996-03-05 1997-09-19 Sony Corp 軌道補間装置及びその方法並びに制御装置
JPH1124718A (ja) * 1997-07-07 1999-01-29 Toshiba Corp ロボットの制御装置及び制御方法
JP2007257276A (ja) * 2006-03-23 2007-10-04 Toyota Motor Corp 移動経路作成方法、自律移動体および自律移動体制御システム
JP2015213139A (ja) * 2014-05-07 2015-11-26 国立大学法人 東京大学 位置決め装置
JP2017024134A (ja) * 2015-07-24 2017-02-02 ファナック株式会社 ワークを位置決めするためのワーク位置決め装置

Also Published As

Publication number Publication date
CN111886556A (zh) 2020-11-03
JP6919622B2 (ja) 2021-08-18
KR20210004958A (ko) 2021-01-13
WO2019208108A1 (ja) 2019-10-31

Similar Documents

Publication Publication Date Title
US9424646B2 (en) Control system and control method
CN110581946B (zh) 控制系统、控制装置、图像处理装置以及存储介质
CN110581945B (zh) 控制系统、控制装置、图像处理装置以及存储介质
TW202029879A (zh) 控制裝置及控制方法
WO2019208108A1 (ja) 制御システム、制御方法、および制御プログラム
WO2020003945A1 (ja) 位置決めシステム、制御方法およびプログラム
CN111886556B (zh) 控制系统、控制方法以及计算机可读存储介质
KR102613860B1 (ko) 제어 시스템, 제어 방법 및 컴퓨터 판독 가능한 기억 매체
CN110581944B (zh) 控制系统、控制装置以及存储介质
JP7020262B2 (ja) 制御システム、制御方法およびプログラム
JP6922829B2 (ja) 制御システム、制御方法、および制御プログラム
JP7374354B1 (ja) アライメントシステム、アライメント方法及びプログラム
JP7035902B2 (ja) 計測システム、計測方法、および計測プログラム
JP7258259B1 (ja) アライメントシステム、アライメント方法及びプログラム
US20220134570A1 (en) Control device and alignment device
JPH1034571A (ja) ロボットの位置ずれ修正装置
JP2024019166A (ja) アライメントシステム、アライメント方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210705

R150 Certificate of patent or registration of utility model

Ref document number: 6919622

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250