JP2020148780A - ラインスキャンカメラの撮像範囲最適化方法 - Google Patents

ラインスキャンカメラの撮像範囲最適化方法 Download PDF

Info

Publication number
JP2020148780A
JP2020148780A JP2020097033A JP2020097033A JP2020148780A JP 2020148780 A JP2020148780 A JP 2020148780A JP 2020097033 A JP2020097033 A JP 2020097033A JP 2020097033 A JP2020097033 A JP 2020097033A JP 2020148780 A JP2020148780 A JP 2020148780A
Authority
JP
Japan
Prior art keywords
sub
scan camera
line scan
line
scan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020097033A
Other languages
English (en)
Other versions
JP6829856B2 (ja
Inventor
博信 砂
Hironobu Suna
博信 砂
涼二 玉井
Ryoji Tamai
涼二 玉井
一幸 酒元
Kazuyuki Sakamoto
一幸 酒元
貴武 東本
Takatake Higashimoto
貴武 東本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KOYABE SEIKI KK
Oyabe Seiki Co Ltd
Hokuryo Denko Co Ltd
Original Assignee
KOYABE SEIKI KK
Oyabe Seiki Co Ltd
Hokuryo Denko Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KOYABE SEIKI KK, Oyabe Seiki Co Ltd, Hokuryo Denko Co Ltd filed Critical KOYABE SEIKI KK
Priority to JP2020097033A priority Critical patent/JP6829856B2/ja
Publication of JP2020148780A publication Critical patent/JP2020148780A/ja
Application granted granted Critical
Publication of JP6829856B2 publication Critical patent/JP6829856B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】画像処理結果出力時間を短縮するラインスキャンカメラの撮像範囲最適化方法を提供すること。【解決手段】ラインスキャンカメラの撮像範囲最適化方法は、S21において、この画像に基づいて、ラインスキャンカメラの副走査開始に対応する位置から、撮影されたワークWが含まれるまでの副走査方向の長さを算出し、次いで、S22において、仮副走査長にオフセット量を加算した長さを副走査長とする。副走査方向の撮像範囲は、ラインスキャンカメラの副走査開始に対応する位置から、S22で算出した副走査長に達するまでとなる。副走査方向の撮像範囲が副走査長に達すると、すぐにラインスキャンカメラで撮像された画像処理結果を出力することができる。【選択図】 図7

Description

本発明は、対象物を撮像するラインスキャンカメラの撮像範囲最適化方法に関するものである。
搬送装置の一つとして、プレス装置に対象物を供給する装置がある。このような装置は、対象物を上流から下流に向かって搬送する過程において、対象物の洗浄する工程、対象物の位置をカメラで撮像する工程、撮像した画像データを基にして対象物を位置決めする工程を有する。位置決めされた対象物は、吸引パッド付のロボットハンド等でプレス装置に供給される。
対象物の位置をカメラで撮像する工程、及び、対象物を位置決めする工程を実現する装置として、特許文献1に示すものがある。
特許文献1の位置決め装置は、対象物であるブランクが載置され、搬送方向に循環移動するエンドレスベルトと、搬送方向に所定の間隔を置いて配置され、エンドレスベルトを搬送方向に対して直角な方向に移動させる2個のボールねじ機構と、エンドレスベルト上のブランクの位置を撮像するCCDカメラとを備える。
特許文献1の図1の符号θの矢印に示すように、2個のボールねじ機構をそれぞれ独立して作動させることによって、エンドレスベルトを鉛直軸周りに回転させることができるようになっている。
特開2012−115853号公報
特許文献1において、エンドレスベルト上の対象物の位置を撮像するCCDカメラは、エリアスキャンカメラである。エリアスキャンカメラを使用する場合、撮像範囲の部材を黒くしておく必要がある。
これに対して、位置決め装置のエンドレスベルト上に載置される前にラインスキャンカメラによって、対象物の位置を撮像する方法がある。ラインスキャンカメラによる撮像は、対象物を前工程のコンベアから位置決め装置に搬送する過程で行われる。
エリアスキャンカメラでの撮像に対して、ラインスキャンカメラを使用する場合、撮像範囲の装置の部材を黒くしておく必要がない。そのため、撮像範囲の装置の部材のコストダウンを実現することができる。
エリアスキャンカメラに比べてラインスキャンカメラは分解能が高い。そのため、ラインスキャンカメラで撮像された画像を基に位置決めを行えば、位置決め精度が向上する。
ラインスキャンカメラは、エリアスキャンカメラでは撮像が困難であるような、搬送方向に長い対象物も撮像できる。
ラインスキャンカメラは、ライン状視野を照明で明るくすることができれば、撮像可能である。よって、エリアスキャンカメラに比べて、ラインスキャンカメラは、照明を含む装置全体がコンパクトな構成となる。
ラインスキャンカメラによる撮像は、対象物を相対的に副走査方向に移動させながら、主走査方向に一ラインずつ走査を行って、一枚の画像を生成する。対象物はラインスキャンカメラが観察するラインを副走査開始から副走査終了までの間に通過する必要がある。
ラインスキャンカメラが観察するラインを対象物が通過後も、ラインスキャンカメラによる副走査が行われ続けると、画像処理結果出力を遅延させるという問題がある。
そこで、上記点より本発明は、副走査開始から画像処理結果出力までの時間を短縮できるラインスキャンカメラの撮像範囲最適化方法を提供することを目的とする。
上記課題を解決するため、請求項1のラインスキャンカメラの撮像範囲最適化方法は、対象物がラインスキャンカメラのライン状視野を副走査開始から副走査終了までの間に通過して、ラインスキャンカメラが撮像した画像において、副走査開始に対応する位置から撮影された対象物が含まれる位置までの副走査方向の長さを仮副走査長とする仮副走査長算出工程と仮副走査長にオフセット量を加算して副走査長とする副走査長算出工程とを有する。
請求項1のラインスキャンカメラの撮像範囲最適化方法によれば、副走査方向の撮像範囲が最適化されることによって、ラインスキャンカメラがライン状視野を対象物が通過した後、すぐに副走査を終了する。
特に、ある対象物の位置決め等をするためには、ラインスキャンカメラで事前に撮像した画像に基づいてその対象物の外形モデルのデータを取得しておく必要がある。この事前に撮像された画像を利用して、仮副走査長算出することができる。そのため、撮像範囲最適化のためだけに、対象物を新たに撮像する必要がない。
請求項1のラインスキャンカメラの撮像範囲最適化方法は、容易に副走査開始から画像処理結果出力までの時間を短縮できる。
本発明の一実施形態であるラインスキャンカメラの撮像範囲最適化方法を使用可能な位置決め装置を含む搬送装置の一部を示す平面概略図である。 図1の位置決め装置の分解概略図である。 図1の位置決め装置の動作を示す平面概略図である。 ラインスキャンカメラのキャリブレーション方法のフロー図である。 キャリブレーションシートの概略平面図である。 キャリブレーションシートを撮像した画像の一部である。 本発明の一実施形態であるラインスキャンカメラの撮像範囲最適化方法のフロー図である。 ワークを撮像した画像を簡略化した図である。
本発明の一実施形態であるラインスキャンカメラの撮像範囲最適化方法を使用可能な位置決め装置が使用される装置の一例として、プレス装置に対象物であるワークWを搬送する搬送装置がある。
図1に示すように、搬送装置は、搬送方向の上流から下流に向かって、第一コンベア装置1、洗浄装置2と、第二コンベア装置3及びラインスキャン装置4、位置決め装置5が順に配置されている。図1中の矢印は搬送方向の上流から下流に向う方向を示す。
吸引パッド付のロボットハンド等(図示せず)によって、ワークWは第一コンベア装置1に載置される。載置されたワークWは、適時第一コンベア装置1から洗浄装置2に投入される。洗浄されたワークWは第二コンベア装置3で搬送方向に送られながら、ラインスキャン装置4によって撮像される。位置決め装置5に移動したワークWは、ラインスキャン装置4で撮像された画像に基づいて、位置決めが行われる。位置決めされたワークWは、吸引パッド付のロボットハンド等(図示せず)によって、プレス装置に搬送される。
ラインスキャン装置4は、ラインスキャンカメラ支持体42を介して、第二コンベア装置3の上方に設置されたラインスキャンカメラ41を有する。ラインスキャンカメラ41のライン状視野は、第二コンベア装置3の幅方向に延びる。観察ラインが延びる方向を主走査方向とする。図1では図示していないが、第二コンベア装置3にはワークWの搬送速度に同期したエンコーダーが設けられている。主走査方向に1ラインずつ走査するタイミングは、エンコーダーから取得できるようになっている。
第二コンベア装置3の搬送方向がラインスキャンカメラ41の副走査方向となる。
図1では図示していないが、ラインスキャン装置4はラインスキャンカメラ41のライン状視野を照射するライン照明も有する。
ワークWがラインスキャンカメラ41のライン状視野を副走査開始から副走査終了までの間に通過すると、ラインスキャンカメラ41が撮像した画像が得られるようになっている。
図2に示すように、位置決め装置5は、テーブル51と、このテーブル51を支持するテーブル支持部52とを有する。図2中の矢印は搬送方向の上流から下流に向う方向を示す。
テーブル51は、搬送方向に延びる複数本のコンベアベルト61を有するコンベア機構6と、このコンベアベルト61とテーブル51の外縁との間及び隣り合うコンベアベルト61同士の間に配置されるフリーロール群62とからなる。
コンベアベルト61は、例えば、マグネットコンベアベルトや吸引コンベアベルトである。コンベア機構6は、搬送中のワークWのバタツキを抑制して、ワークWを水平方向に搬送できるようになっている。
テーブル支持部52は、テーブル51を支持しつつ水平に移動させるテーブル移動機構とベース53とを有する。本実施形態では、このテーブル移動機構は、この例では、第一移動機構7及び第二移動機構8からなる。
第一移動機構7及び第二移動機構8は、搬送方向に直交する方向に所定の間隔で設けられている。
第一移動機構7は、ベース53上に搬送方向に延びる案内手段71,71と、これらの案内手段71,71に移動自在に取付けられる第一スライダー72と、搬送方向に延びて第一スライダー72を移動させる第一ねじ軸73と、この第一ねじ軸73を回転させる第一サーボモータ74とからなる。
第一ねじ軸73は、例えばボールねじである。ボールねじは、摩擦損失が極めて小さく、第一サーボモータ74の小型化が図れるとともに、十分な第一スライダー72の移動精度を実現することができる。
第一サーボモータ74で第一ねじ軸73を回動させることによって、第一スライダー72を搬送方向に移動させることができるようになっている。
第二移動機構8は、ベース53上に搬送方向に延びる案内手段81,81と、これらの案内手段81,81に移動自在に取付けられる第二スライダー82と、搬送方向に延びて第二スライダー82を移動させる第二ねじ軸83と、この第二ねじ軸83を回転させる第二サーボモータ84と、第二スライダー82上に設けられ搬送方向に直交する方向に沿って延びる案内手段85,85と、これらの案内手段85,85に移動可能に取付けられる副スライダー86とからなる。
第二ねじ軸83は、例えばボールねじである。ボールねじは、摩擦損失が極めて小さく、第二サーボモータ84の小型化が図れるとともに、十分な第二スライダー82の移動精度を実現することができる。
第二サーボモータ84で第二ねじ軸83を回動させることによって、第二スライダー82を搬送方向に移動させることができるようになっている。
第一ねじ軸73と第二ねじ軸83は搬送方向に並行して伸びている。
テーブル51の一端は、第一スライダー72によって下から支持されている。テーブル51は第一スライダー72に対して鉛直軸周りに回転可能に支持されている。
テーブル51の他端は、第ニスライダー82及び副スライダー86によって下から支持されている。テーブル51は第二スライダー82に対して鉛直軸周りに回転可能に支持されている。
第二コンベア装置3から位置決め装置5にワークWを送る際には第一スライダー72及び第二スライダー82を搬送方向の上流側に移動させる。これにより、第二コンベア装置3と位置決め装置5のテーブル51との隙間を小さくすることができる。第二コンベア装置3と位置決め装置5のテーブル51との隙間を小さくして、位置決め装置5にワークWを載置させた状態を図3(a)に示す。
図3(b)に示すように、第二コンベア装置3から位置決め装置5のテーブル51上に送られたワークWは、一定距離分だけコンベア機構6によって搬送方向に移動する。このコンベア機構6によるワークWの移動は、ワークWの位置決め動作ではない。
次いで、図3(c)に示すように、第一スライダー72及び第二スライダー82を搬送方向の下流側に移動させる。第二コンベア装置3と位置決め装置5のテーブル51との隙間を大きくして、テーブル51が第二コンベア装置3と接触することなく、鉛直軸周りに回転できるスペースを確保する。
さらに、ラインスキャンカメラ41で撮像した画像に基づいて、図3(d)に示すように、第一スライダー72と第二スライダー82とをそれぞれ独立して搬送方向に移動させることによって、テーブル51を水平に移動させると共にテーブル51を鉛直軸周りに回転させる。このテーブル51の移動によって、テーブル51上のワークWを位置決めできるようになっている。
第一スライダー72及び第二スライダー82によるワークWの移動が、ワークWの位置決め動作となる。
上記位置決め装置では、複数本のコンベアベルト61を有するコンベア機構6の場合について説明したがこれに限定されることはない。例えば、テーブル51の全面がベルトコンベアとなっていてもよい。
上記位置決め装置では、テーブル移動機構の第二移動機構8が搬送方向に直交する方向に沿って延びる案内手段85、85と、これらの案内手段85、85に移動可能に取付けられる副スライダー86を有する場合について説明したがこれに限定されることはない。テーブル移動機構は、第一ねじ軸、第一スライダー、第二ねじ軸、第二スライダーによって、テーブルが鉛直軸周りに回転を実現できる構成であればよい。
上記位置決め装置では、図3(c)のテーブル51の回転できるスペースを確保のための移動と図3(d)のテーブル51を水平に移動させると共にテーブル51を鉛直軸周りに回転させる移動を分けて記載して説明したがこれに限定されることはない。例えば、テーブルが図3(b)の状態から直接、図3(d)の状態となるように第一スライダーと第二スライダーとをそれぞれ独立して搬送方向に移動させてもよい。
上記位置決め装置では、搬送装置において位置決め装置が1台である場合説明したがこれに限定されることはない。例えば、搬送装置において、複数台の位置決め装置が設置されていてもよい。
大きなワークが複数台の位置決め装置に跨った状態で載置され、それぞれの位置決め装置を連動させて位置決めを行ってもよい。また、複数台の位置決め装置によって、複数列に並んだ状態でワークの搬送、位置決めを行ってもよい。
以下、ラインスキャンカメラのキャリブレーション方法について、図4から図6を参照して説明する。
ラインスキャンカメラのキャリブレーション方法は、主走査方向キャリブレーション工程と、副走査方向キャリブレーション工程とを有する。
以下、主走査方向キャリブレーション工程について説明する。主走査方向キャリブレーション工程ではレンズ収差及びラインスキャンカメラ取付時の姿勢でのヨーによって発生する画像の歪みを補正する。
ラインスキャンカメラは、ライン状視野がワークWの搬送方向に直交するように設置されている。
まず、S11において、ライン状視野より長い十分な長さのキャリブレーションシート9をライン状視野に配置する。図5に示すように、キャリブレーションシート9は一定幅、一定間隔の縞模様を有する。縞の延びる方向がワークWの搬送方向となる。つまり、配置されたキャリブレーションシート9は主走査方向に一定の模様が並ぶようになっている。
次いで、S12において、ラインスキャンカメラのライン状の視野に静止した状態で配置されたキャリブレーションシート9をラインスキャンカメラ内部のトリガーで連続撮像する。
撮像された画像は、図6に示すように、縦縞で覆い尽くされる。前述のように実際のキャリブレーションシートは一定幅、一定間隔の縞模様を有する。これに対して撮像された画像の縦縞は、レンズ収差及びラインスキャンカメラ取付時の姿勢でのヨーの影響で一定とはならない。
次いで、S13において、画像処理で各縞の幅、隣り合う縞の間隔等を算出し、各縞の幅、隣り合う縞の間隔等が一定となるように撮像された画像を補正する。つまり、ラインスキャンカメラでキャリブレーションシート9を撮像した画像における模様とキャリブレーションシート9の実際の一定の模様とが一致するように画像を補正することとなる。
以上のS11〜S13で主走査方向キャリブレーション工程が完了する。
以下、主走査方向キャリブレーション工程の次に行われる副走査方向キャリブレーション工程について説明する。
副走査方向キャリブレーション工程は、主・副走査分解能の不一致及びラインスキャンカメラ取付時の姿勢でのロールによって発生する画像の歪みを補正する。副走査方向キャリブレーション工程では、レンズ収差及びラインスキャンカメラ取付時の姿勢でのヨーによって発生する画像の歪みを補正することはできない。したがって、副走査方向キャリブレーション工程の前に主走査方向キャリブレーション工程を行っておくことが必須となる。
まず、S14において、搬送方向に大きさが既知の長方形のプレートを搬送させながらラインスキャンカメラで撮像する。
次いで、S15において、画像処理によってプレートの頂点を検出し、それらの頂点が90度かつ各辺の長さが等しくなるように画像を補正する。つまり、撮像した画像における形状とプレートの既知の形状と一致するように画像を補正する
以上のS14及びS15で、副走査方向キャリブレーション工程が完了する。
上記ラインスキャンカメラのキャリブレーション方法では、キャリブレーションシートは一定幅、一定間隔の縞模様を有する場合について説明したがこれに限定されることはない。キャリブレーションシートは、主走査方向キャリブレーションが可能な模様であれば、縞模様以外の模様であってもよい。
以下、ラインスキャンカメラの撮像範囲最適化方法の一実施形態について、図7及び図8を参照して説明する。
例えば、搬送装置等では、対象物であるワークWの位置決め等するためには、ラインスキャンカメラで撮像した画像に基づいてその対象物であるワークWの外形モデルのデータを事前に取得する。
ラインスキャンカメラで撮像した画像は、ワークWがラインスキャンカメラのライン状視野を副走査開始から副走査終了までの間に通過することによって撮像される。
図8は、撮像された画像を簡略化した図である。
まず、S21において、この画像に基づいて、ラインスキャンカメラの副走査開始に対応する位置から、撮影されたワークWが含まれるまでの副走査方向の長さを算出する。この長さを仮副走査長とする。仮副走査長は、図8中のL1である。
次いで、S22において、仮副走査長にオフセット量を加算した長さを副走査長とする。
オフセット量は、図8中のΔLである。副走査長は、図8のLである。
オフセット量は、一定値であってもよいし、前述の撮像された画像に基づいて適宜算出される値であってもよい。
副走査方向の撮像範囲は、ラインスキャンカメラの副走査開始に対応する位置から、S22で算出した副走査長に達するまでとなる。副走査方向の撮像範囲が副走査長に達すると、すぐにラインスキャンカメラで撮像された画像処理結果を出力することができる。
本ラインスキャンカメラの撮像範囲最適化方法では、センサ等の信号によって決定されるラインスキャンカメラの副走査開始時間は変更しない。
上記ラインスキャンカメラの撮像範囲最適化方法の実施形態では、搬送装置等では、対象物であるワークWの位置決め等する場合について説明したがこれに限定されることはない。ラインスキャンカメラの撮像範囲最適化方法は、例えば、欠陥検査等の他の産業用途のラインスキャンカメラでも使用可能である。
1 第一コンベア装置
2 洗浄装置
3 第二コンベア装置
4 ラインスキャン装置
5 位置決め装置
6 コンベア機構
7 第一移動機構
8 第二移動機構
9 キャリブレーションシート
51 テーブル
52 テーブル支持部
53 ベース
61 コンベアベルト
62 フリーロール群
71 案内手段
72 第一スライダー
73 第一ねじ軸
74 第一サーボモータ
81 案内手段
82 第二スライダー
83 第二ねじ軸
84 第二サーボモータ
85 案内手段
86 副スライダー

Claims (1)

  1. 対象物がラインスキャンカメラのライン状視野を副走査開始から副走査終了までの間に通過して、ラインスキャンカメラが撮像した画像において、副走査開始に対応する位置から撮影された対象物が含まれる位置までの副走査方向の長さを仮副走査長とする仮副走査長算出工程と
    仮副走査長にオフセット量を加算して副走査長とする副走査長算出工程とを有することを特徴とするラインスキャンカメラの撮像範囲最適化方法。
JP2020097033A 2020-06-03 2020-06-03 ラインスキャンカメラの副走査方向の撮像範囲最適化方法 Active JP6829856B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020097033A JP6829856B2 (ja) 2020-06-03 2020-06-03 ラインスキャンカメラの副走査方向の撮像範囲最適化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020097033A JP6829856B2 (ja) 2020-06-03 2020-06-03 ラインスキャンカメラの副走査方向の撮像範囲最適化方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017163195A Division JP6893357B2 (ja) 2017-08-28 2017-08-28 位置決め装置

Publications (2)

Publication Number Publication Date
JP2020148780A true JP2020148780A (ja) 2020-09-17
JP6829856B2 JP6829856B2 (ja) 2021-02-17

Family

ID=72432253

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020097033A Active JP6829856B2 (ja) 2020-06-03 2020-06-03 ラインスキャンカメラの副走査方向の撮像範囲最適化方法

Country Status (1)

Country Link
JP (1) JP6829856B2 (ja)

Also Published As

Publication number Publication date
JP6829856B2 (ja) 2021-02-17

Similar Documents

Publication Publication Date Title
US11249031B2 (en) Inspection system and method for analysing defects
KR101950634B1 (ko) 형상 측정 장치 및 형상 측정 방법
US10304201B2 (en) Item image stitching from multiple line-scan images for barcode scanning systems
US20200009638A1 (en) Workpiece conveying system, and workpiece conveying method
US20230333492A1 (en) Exposure control in photolithographic direct exposure methods for manufacturing circuit boards or circuits
JP6829855B2 (ja) ラインスキャンカメラのキャリブレーション方法
TWI661176B (zh) 三次元測定裝置、三次元測定方法及基板之製造方法
JP6893357B2 (ja) 位置決め装置
JP6829856B2 (ja) ラインスキャンカメラの副走査方向の撮像範囲最適化方法
JP2019038023A5 (ja)
JP4191295B2 (ja) 半導体パッケージの検査装置
JP2013074204A (ja) 部品実装装置、および、三次元形状測定装置
US11711615B2 (en) Workpiece inspection device and workpiece inspection method
JP4252381B2 (ja) 外観検査装置
JP2006145503A (ja) 円筒状ワークの外観検査装置
JP2008082704A (ja) 基板検査装置および基板検査方法
JP5604967B2 (ja) 欠陥検出方法および欠陥検出装置
JP3525760B2 (ja) 表面形状計測装置
JP6456726B2 (ja) 検査装置、検査方法および検査プログラム
JP2020148738A (ja) 板材の位置検出方法、板材のデータ補正方法、及び板材の位置検出装置
JP2008083227A (ja) アライメントマーク位置測定装置及び方法、及び描画装置
JP2001325587A (ja) 外観検査装置
JP6288218B2 (ja) エッジ位置検出装置、搬送装置、画像形成装置及びエッジ位置検出方法
JP6046485B2 (ja) 検査装置及び検査方法
JP6191185B2 (ja) 位置ずれ検査方法及び位置ずれ検査装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200805

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200805

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210107

R150 Certificate of patent or registration of utility model

Ref document number: 6829856

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250