JP2020076607A - 鋼材成分識別装置、鋼材成分識別方法、及び鋼材成分識別プログラム - Google Patents

鋼材成分識別装置、鋼材成分識別方法、及び鋼材成分識別プログラム Download PDF

Info

Publication number
JP2020076607A
JP2020076607A JP2018209044A JP2018209044A JP2020076607A JP 2020076607 A JP2020076607 A JP 2020076607A JP 2018209044 A JP2018209044 A JP 2018209044A JP 2018209044 A JP2018209044 A JP 2018209044A JP 2020076607 A JP2020076607 A JP 2020076607A
Authority
JP
Japan
Prior art keywords
streamline
steel material
image
destination area
spark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018209044A
Other languages
English (en)
Other versions
JP7209278B2 (ja
Inventor
小林 宏
Hiroshi Kobayashi
宏 小林
悠太 鈴木
Yuta Suzuki
悠太 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Special Steel Co Ltd
Tokyo University of Science
Original Assignee
Sanyo Special Steel Co Ltd
Tokyo University of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Special Steel Co Ltd, Tokyo University of Science filed Critical Sanyo Special Steel Co Ltd
Priority to JP2018209044A priority Critical patent/JP7209278B2/ja
Publication of JP2020076607A publication Critical patent/JP2020076607A/ja
Application granted granted Critical
Publication of JP7209278B2 publication Critical patent/JP7209278B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating And Analyzing Materials By Characteristic Methods (AREA)

Abstract

【課題】鋼の火花試験により生じる火花を画像処理することにより、鋼材中のモリブデンの有無、延いてはモリブデンの含有量を簡便に検知することが可能な鋼材成分識別装置を提供する。【解決手段】鋼材成分識別装置1は、鋼材を研削して発生する火花の画像である火花画像に基づいて、火花画像に含まれる流線の画像である流線画像を生成する流線画像生成部と、流線画像に含まれる各流線内での輝度値の変化に基づいて、各流線のやり先領域を抽出するやり先領域抽出部215と、やり先領域抽出部215によるやり先領域の抽出結果に基づいて鋼材内のモリブデンの有無又は含有量を検知するモリブデン検知部216と、を備える。【選択図】図2

Description

本発明は、鋼材成分識別装置、鋼材成分識別方法、及び鋼材成分識別プログラムに関する。
鋼の製造工程では異材を鑑別して排除するために火花試験が広く用いられている。火花試験とは鋼材を、グラインダを使用して研削し、発生する火花の特徴を観察することによって、鋼種の推定又は異材の鑑別を行なう試験のことをいい、JIS G 0566に規定されている(例えば、非特許文献1参照)。
従来、火花試験は鉄鋼材の検査工程等で熟練した経験をもった検査員が目視観察にて官能検査として行われてきたが、個人差や環境の変動によって判定結果がばらついて適正検査結果を得ることが困難であった。また、官能検査の必然性として検査結果が記録できないため、検査技術はもっぱら経験もしくは伝承によるところが大きく、技術改善を評価することが困難であった。
この点、判定結果が個人差や環境の変動に影響される度合いを抑制する技術として、例えば特許文献1は、火花試験を装置により自動的に行う技術を開示している。具体的には特許文献1は、鋼材を研削して発生する火花の画像をグレースケールの火花画像に変換する輝度変換処理部と、火花画像の画素毎に所定の閾値で二値化を行う二値化処理部と、二値化された火花画像の所定幅の芯線に対し、複数の角度に相当する複数のテンプレートを、複数のテンプレートの短直線を延長して各々マッチングし、延長した短直線が芯線に収まるテンプレートの種類と位置を記憶する短直線マッチング処理部と、テンプレートが任意の火花画像の範囲において所定の数以上である場合に火花の破裂部とみなして破裂部を抽出し、火花の破裂数及び火花画像内のマッチングされたテンプレートの総数をカウントする破裂部抽出処理部と、火花の破裂数及びマッチングされたテンプレートの総数に基づいて鋼材を識別する鋼材識別処理部を有し、とりわけ鋼材に含まれる炭素を識別することが可能な鋼材成分識別装置を開示している。
特開2016−099126号公報
日本工業規格、JIS G 0566 鋼の火花試験方法、日本規格協会
しかし、鋼材には、炭素のみならず、例えばモリブデンやニッケルが含有される鋼材も存在するが、特許文献1で開示される技術は、鋼材中の炭素量の確認に有効である一方で、他の成分、例えばモリブデンの検知に有効であるか否かについては不明であった。
本発明は、このような従来の問題を解決するためになされたもので、鋼の火花試験により生じる火花を画像処理することにより、鋼材中のモリブデンの有無、延いてはモリブデンの含有量を簡便に検知することが可能な鋼材成分識別装置、鋼材成分識別方法、及び鋼材成分識別プログラムを提供することを目的とする。
(1) 本発明に係る鋼材分識別装置は、鋼材を研削して発生する火花の画像である火花画像に基づいて、前記火花画像に含まれる流線の画像である流線画像を生成する流線画像生成部と、前記流線画像に含まれる各流線内での輝度値の変化に基づいて、各流線のやり先領域を抽出するやり先領域抽出部と、前記やり先領域抽出部による前記やり先領域の抽出結果に基づいて前記鋼材内のモリブデンの有無又は含有量を検知するモリブデン検知部と、を備える鋼材成分識別装置である。
(2) 上記(1)に記載の鋼材成分識別装置において、前記やり先領域抽出部は、各流線内での輝度値の2階微分値の符号の正負が反転する点を挟んで前記符号が負となる側の領域を、前記やり先領域とすることが好ましい。
(3) 上記(2)に記載の鋼材成分識別装置において、前記やり先領域抽出部は、前記2階微分値の符号の正負が反転する点の前後で、負が連続する領域内での負の2階微分値の総和の絶対値と、正が連続する領域内での正の2階微分値の総和の絶対値とが第1閾値以上であり、前記負の2階微分値の総和の絶対値と、前記正の2階微分値の総和の絶対値との比が第2閾値以上となるような前記点を挟んで、前記符号が負となる側の領域を、前記やり先領域とすることが好ましい。
(4) 上記(3)に記載の鋼材成分識別装置において、前記やり先領域抽出部は、前記2階微分値の符号が反転する点から見て、前記2階微分値の2回目のピークでの絶対値が第3閾値以内となるような前記点を挟んで、前記符号が負となる側の領域を、前記やり先領域とすることが好ましい。
(5) 上記(1)〜(4)に記載の鋼材成分識別装置において、前記やり先領域抽出部は、前記各流線のうちの、前記火花の発生源から相対的に遠い第1領域と、前記各流線の長さ方向かつ前記発生源に相対的に近い側に前記第1領域に対して隣接する第2領域とについて、前記第1領域と前記第2領域との境界を挟んで、前記第1領域の太さが前記第2領域の太さよりも太いとき、前記第1領域をやり先領域の候補とし、当該候補の中から前記やり先領域を抽出することが好ましい。
(6) 上記(1)〜(4)に記載の鋼材成分識別装置において、前記やり先領域抽出部は、前記流線画像に含まれ互いに離間する第1流線と第2流線とについて、前記第1流線の端点と前記第2流線の端点とが共に所定領域内に存在し、前記第1流線の前記端点における傾きと前記第2流線の前記端点における傾きとの相違が所定範囲内にある場合に、前記第1流線と前記第2流線との間を補間し、1本の流線とすることが好ましい。
(7) 上記(1)〜(6)に記載の鋼材成分識別装置において、前記モリブデン検知部は、前記やり先領域の抽出結果を用いて前記やり先領域の密度を算出し、算出した前記やり先領域の密度に基づいて、前記鋼材内のモリブデンの有無又は含有量を検知することが好ましい。
(8) 上記(7)に記載の鋼材成分識別装置において、二値化された前記火花画像から、前記火花画像全体の破裂密度を算出する破裂密度算出部と、前記破裂密度に基づいて、前記鋼材内の炭素の含有量を検知する炭素含有量検知部とを更に備え、前記モリブデン検知部は、前記やり先領域の密度における、前記鋼材への炭素の含有による抑制分を、前記炭素の含有量を用いて補正することにより、前記モリブデンの含有量を検知することが好ましい。
(9) 本発明に係る鋼材成分識別方法は、鋼材を研削して発生する火花の画像である火花画像に基づいて、前記火花画像に含まれる流線の画像である流線画像を生成する流線画像生成ステップと、前記流線画像に含まれる各流線内での輝度値の変化に基づいて、各流線のやり先領域を抽出するやり先領域抽出ステップと、前記やり先領域抽出ステップにおける前記やり先領域の抽出結果に基づいて前記鋼材内のモリブデンの有無又は含有量を検知するモリブデン検知ステップと、を有する鋼材成分識別方法である。
(10) 本発明に係る鋼材成分識別プログラムは、鋼材を研削して発生する火花の画像である火花画像に基づいて、前記火花画像に含まれる流線の画像である流線画像を生成する流線画像生成ステップと、前記流線画像に含まれる各流線内での輝度値の変化に基づいて、各流線のやり先領域を抽出するやり先領域抽出ステップと、前記やり先領域抽出ステップにおける前記やり先領域の抽出結果に基づいて前記鋼材内のモリブデンの有無又は含有量を検知するモリブデン検知ステップと、をコンピュータに実行させるための、鋼材成分識別プログラムである。
本発明によれば、鋼の火花試験により生じる火花を画像処理することにより、鋼材中のモリブデンの有無、延いてはモリブデンの含有量を簡便に検知することが可能となる。
本発明の実施形態に係る鋼材成分識別装置の全体構成図である。 本発明の実施形態に係る鋼材成分識別装置の第1の機能ブロックを示す図である。 本発明の実施形態に係る鋼材成分識別装置で生成されるグレースケール化された火花画像の例を示す図である。 本発明の実施形態で用いる十字二値化の方法を示す図である。 本発明の実施形態で用いる十字二値化の方法を示す図である。 本発明の実施形態に係る鋼材成分識別装置で生成される二値化された火花画像の例を示す図である。 本発明の実施形態で用いる基準短直線の設定方法を示す図である。 本発明の実施形態で用いる芯線の線幅(太さ)の算出方法を示す図である。 本発明の実施形態で用いる芯線の輝度値の算出方法を示す図である。 本発明の実施形態で用いる基準短直線の延長方法を示す図である。 本発明の実施形態における連続した火花画像の例を示す図である。 本発明の実施形態における途切れた火花画像の例を示す図である。 本発明の実施形態におけるやり先領域の候補の設定方法を示す図である。 本発明の実施形態におけるやり先領域の抽出方法を示す図である。 本発明の実施形態におけるやり先領域の抽出方法を示す図である。 本発明の実施形態におけるやり先領域を抽出するための特性値を取得する箇所を示す図である。 本発明の実施形態における流線画像間の補間方法を示す図である。 本発明の実施形態における流線画像間の補間方法を示す図である。 本発明の実施形態における流線画像間の補間方法を示す図である。 本発明の実施形態に係る鋼材成分識別装置の第2の機能ブロックを示す図である。 本発明の実施形態における鋼材成分識別装置の動作を示すフローチャートである。 本発明の実施形態における鋼材成分識別装置の動作を示すフローチャートである。 本発明の実施例における撮像方法を示す図である。 本発明の実施例におけるやり先領域の密度とモリブデンの含有量との関係を示すグラフである。 本発明の実施例におけるやり先領域の密度とモリブデン及び炭素の含有量との関係を示すグラフである。 本発明の実施形態において輝度値情報と線幅(太さ)情報の双方を用いて、やり先領域を抽出した場合と輝度値情報のみを用いてやり先領域を抽出した場合の炭素含有量とやり先領域の密度との関係を示すグラフである。 本発明の実施形態において輝度値情報と線幅(太さ)情報の双方を用いて、やり先領域を抽出した場合と輝度値情報のみを用いてやり先領域を抽出した場合の鋼種毎の解析時間を比較するグラフである。
以下、本発明の実施形態について図面を用いて詳細に説明する。
〔1 発明の構成〕
図1は、本発明の実施形態の鋼材成分識別装置の構成図である。本実施形態に係る鋼材成分識別装置1は、検査対象の鋼材BとグラインダCとが接触して発生した火花を撮像するカメラ10と、カメラ10で撮像された火花画像に基づいて火花を定量化するコンピュータ20と、を備える。コンピュータ20は、演算処理を行うCPU21と、データのワークエリアであるRAM22と、CPU21の制御プログラムを記憶するROM23を備えている。
図2は、上記のCPU21が、ROM23に格納された制御プログラムを読み出し、該制御プログラムに従って実現する機能を示す第1の機能ブロック図である。CPU21は、画像取込処理部211、輝度変換部212、二値化処理部213、短直線マッチング部214、やり先領域抽出部215、モリブデン検知部216を備える。
〔1.1 画像取込処理部〕
画像取込処理部211は、カメラ10により撮像された火花画像をカラー画像としてRAM22に取り込む。
定量的な鋼材分類を行うためには、同種の鋼材の火花に差異が発生しないよう、常に同条件で火花を発生させることが好ましい。本実施形態では、モータ(不図示)によって発生したトルク回転力を直線運動に変換し、グラインダCに鋼材Bを押し当てる機構を採用した。モータは出力トルクを制御できるトルクモータを採用し、一定の力で、一定の位置で、かつ、一定の角度での鋼材の押し当てを可能とした。
撮影環境は周囲が薄暗い環境の中、明るい火花を撮影するという特殊な環境であるため、カメラ10にはシャッタースピードや絞り等をマニュアルで設定できるカメラを使用することが好ましい。また、鋼材BがグラインダCに削られることにより、鋼材BとグラインダCの接触面積が増加して押し当て圧が下がり火花の発生が時間変化するという問題がある。本実施形態のカメラ10では、火花の発生の時間変化の影響を低減するために、短時間で高速の連続撮影が可能なカメラを用いる。
同様に時間経過による火花の変化を避けるため、撮影時間を短くすることが好ましい(例えば1.0秒以下)。また、画像で確認できる火花の芯線長さや破裂の数は、シャッタースピードに依存し変化する。このため、解析に適するシャッタースピードの選定(例えば、1/160s等)をすることが好ましい。
なお、詳細については後述の実施例で記載するが、以下の説明においては例として、DITECT社製のカメラHAS-L2を用いて30fpsで撮像し、解像度が2592×2048pixelの画像を50枚用いて解析したケースにおける数値を用いることがある。しかし、本発明はこれには限定されない。
〔1.2 輝度変換部〕
輝度変換部212は、火花画像の各画素の輝度を変換処理して画像を輝度値のみのグレースケール画像に変換し、画像をRAM22に格納する。
図3は、火花画像をグレースケール化した画像の例である。図3より、火花画像は火花の線(芯線)を含むことがわかる。輝度変換部212は、画像取込処理部211によって得られたカラーの火花画像をグレースケール化する。本実施形態では、火花画像中の各画素のRGB値を所定の変換式によってグレースケール値Yへ変換している。例えば、変換式として、Y=R×0.299+G×0.587+B×0.114を用いることが可能であるが、これには限定されない。
〔1.3 二値化処理部〕
二値化処理部213は、火花画像の二値化処理を実行し、画像をRAM22に格納する。
本実施形態では、二値化処理の対象となる画素毎に所定の閾値で二値化処理を行う。二値化を行うことにより火花の線(芯線)がより明瞭となる。本実施形態では、抽出対象が火花のような線状の場合に適している十字二値化を用いる。
図4A及び図4Bは、二値化処理部213が実行する十字二値化法を説明する図である。十字二値化法は、十字内の中心画素以外の画素の平均輝度値から十字の中心画素の輝度値を引き、その値が設定した閾値よりも大きい場合に、十字の中心画素を黒とし(図4A)、そうでなければ白とする(図4B)手法である。更に、今回は火花を黒画素とするため、十字二値化画像の白黒の出力を反転させている。図5に十字二値化して白黒反転させた画像の例を示す。
〔1.4 短直線マッチング部〕
短直線マッチング部214は、火花画像の短直線マッチング処理を行う。より詳細には、短直線マッチング部214は、以下の〔1.4.1 基準短直線設定処理〕〜〔1.4.4 基準短直線延長処理〕の処理を行う。
〔1.4.1 基準短直線設定処理〕
図6において、短直線マッチング部214は、二値化処理された火花の線(芯線)内で、座標を(x,y)とする任意の黒画素を基準短直線の開始点とする。この座標(x,y)の黒画素は、既に求めた基準短直線から与えられた黒画素でもよく、芯線内の画素を順番に探すことにより検知された黒画素でもよい。
ここで、短直線マッチング部214は、座標を(x’,y’)=(x+l×sinθ,y+l×cosθ)(ただし、1≦l≦45、lは整数)とする領域を、θを3°刻みとしながら探索し、(x,y)から(x’,y’)までの間に、27pix/45pix(60%)以上、黒画素が存在すれば、(x,y)から(x’,y’)までを基準短直線として設定する。
なお、短直線マッチング部214は、短直線が複数存在する場合には、最も多く黒画素がマッチングした短直線を基準短直線とし、黒画素の数が同数の短直線が複数存在する場合には、角度θが最も大きな直線を、基準短直線として設定する。
〔1.4.2 線幅算出処理〕
図7において、短直線マッチング部214は、開始点の座標を(x’’,y’’)=(x+t×sin(θ+90°),y+t×sin(θ+90°))(ただし、−10≦t≦10、tは0以外の整数、1≦l≦45、lは整数)としたとき、座標を(x’’,y’’)=(x+l×sinθ+t×sin(θ+90°),y+l×cosθ+t×sin(θ+90°))(ただし、1≦l≦45、lは整数)とする領域を、θを3°刻みとしながら探索し、(x’’,y’’)から(x’’,y’’)までの間に、27pix/45pix(60%)以上、黒画素が存在すれば、(x’’,y’’)から(x’’,y’’)までを基準短直線に平行な平行短直線とする。
更に、短直線マッチング部214は、芯線内での基準短直線の本数(=1)と、平行短直線の本数の合計を、芯線の太さ(線幅)とする。
図7の例では、芯線の太さは9となる。
〔1.4.3 輝度算出処理〕
図8において、短直線マッチング部214は、基準短直線上の座標(x’,y’)において、基準短直線に直交する直線上の各画素での輝度値を求め、この輝度値の最大値を、芯線の座標(x’,y’)における輝度値とする。
〔1.4.4 基準短直線延長処理〕
図9において、短直線マッチング部214は、上記の〔1.4.1 基準短直線設定処理〕で求めた基準短直線の先端を新たな開始点として、〔1.4.1 基準短直線設定処理〕〜〔1.4.3 輝度算出処理〕の処理を繰り返す。
なお、上記の画像取込処理部211、輝度変換部212、二値化処理部213、短直線マッチング部214をまとめて「流線画像生成部」とも呼称する。また、上記のように、二値化処理された上で、基準短直線が設定されると共に、太さ(線幅)と輝度値とが算出された火花の線(芯線)を、「流線」とも呼称する。
〔1.5 やり先領域抽出部〕
やり先領域抽出部215は、流線画像に含まれる各流線内での輝度値の変化に基づいて、各流線のやり先領域を抽出する。より詳細には、やり先領域抽出部215は、以下の〔1.5.1 やり先候補設定処理〕〜〔1.5.3 補間処理〕の処理を実行する。
〔1.5.1 やり先候補設定処理〕
図10A及び図10Bは、流線画像の種別を示す。流線画像は、図10Aに示すように、火花が連続する第1種の流線画像と、図10Bに示すように、火花が途切れている第2種の流線画像とに分類される。
やり先領域抽出部215は、最初に、第1種の流線画像の中から、やり先候補を設定する。
図11は、やり先候補の設定方法の例を示す図である。上記の〔1.4.4 基準短直線延長処理〕で説明したように、各流線画像内において、ある基準短直線の先端を新たな開始点として、新たな基準短直線が設定されることにより、複数の基準短直線が長さ方向に隣り合うが、やり先領域抽出部215は、各々に属する基準短直線が隣り合う、第1範囲の芯線と第2範囲の芯線とで太さを逐次比較し、火花の発生源から相対的に遠い範囲の芯線の太さの方が、相対的に近い範囲の芯線の太さよりも太い場合に、太い方の範囲の芯線から火花の先端に達する領域を、やり先領域の候補とする。
すなわち、基準短直線の番号iが火花の先端から根元に向けて1ずつ増加するとした際、番号iの基準短直線とこれに平行な平行短直線を含む領域での芯線の太さをt[i]とすると、t[i]>t[i+1]となる場合に、やり先領域抽出部215は、番号iの基準短直線を含んで火花の先端側の領域を、やり先領域の候補とする。図11に示す例においては、t[1]=4,t[2]=2となっているため、番号1の基準短直線を含んで火花の先端側の領域を、やり先領域の候補とする。
〔1.5.2 やり先領域抽出処理〕
次に、やり先領域抽出部215は、やり先領域の候補となる各流線内での輝度値の変化に基づいて、各流線のやり先領域を抽出する。
図12Aは、やり先領域を含む流線画像の、火花の先端側から根元側に向かった場合の輝度値の変化を示すグラフである。図12Bは、図12Aに示す輝度値の2階微分を示すグラフである。
図12Aに示すように、火花の先端からやり先領域の根元に向かって輝度値は上昇していき、やり先領域が終わると同時に、輝度値は垂直下方へシフトする。その後、火花自体の根元に向かって輝度値は再度上昇する。
この輝度値の2階微分値を算出すると、図12Bに示すように、火花の先端からやり先領域の末端に向かうに伴い、2階微分値はしばらく0近傍の値を示した後、急激に下降し、下方のピークを示す。その後、やり先領域が終わると共に、2階微分値は、急激に上昇して正負が反転し、上方のピークを示した後、再度急激に下降して、再び0近傍の値を示すようになる。
やり先領域抽出部215は、図12Bに示す、輝度値の2階微分値の特徴的な形状を検知することにより、やり先領域を抽出する。
図13は、輝度値の2階微分値のグラフの詳細である。また、図13は、やり先領域抽出部215が、やり先領域を抽出するために用いる、グラフの特性値の取得箇所を示す。なお、図13のグラフにおいて、x軸は流線画像の長さ方向のpixel値を示し、y軸は輝度値の2階微分値を示す。
まず、やり先領域抽出部215は、図13に(a)で示す箇所のように、輝度値の2階微分値の正負が反転する箇所を、やり先領域を抽出するための最初のターゲットとする。
輝度値の2階微分値の変化を示す曲線とx軸との間で形成される領域であって、(a)で示す箇所を挟む2つの領域(b)の面積がそれぞれ2.7以上となり、これら2つの領域(b)のうち、一方の領域と他方の領域との面積比が0.7以上となり、更に、(a)で示す箇所から見て、(a)よりもx軸の+側と−側の双方における2階微分値の2度目のピーク、すなわち、2階微分値の変化の傾きが0となった箇所(c)での2階微分値の絶対値が0.25以内となるとき、やり先領域抽出部215は、(a)で示す箇所をやり先領域の端部とし、輝度値の2階微分値が負となる側の領域を、やり先領域とする。なお、これらの数値は一例であって、これらには限定されない。
〔1.5.3 補間処理〕
次に、やり先領域抽出部215は、第2種の流線画像に対して、補間処理を実行する。
より具体的には、やり先領域抽出部215は、第2種の流線画像において、火花の先端側の流線画像に含まれる基準短直線の、火花が途切れている箇所における端点を頂点とする扇形の領域内を検索し、この領域内に他の基準短直線の端点が存在し、両者の基準短直線がなす角度が所定範囲にある場合に、両者の基準短直線をやり先候補とする。
図14は、この検索領域としての扇形の例を示す。図14に示される例においては、基準短直線の端点から150pixの範囲内にあり、かつ、基準短直線となす角度が−9°の直線と6°の直線の2直線を辺とする扇形を検索領域とする。なお、これらの数値はあくまで一例であって、これらには限定されない。
図15は、この扇型の領域内に端点が存在する他の基準短直線を示す。やり先領域抽出部215は、これらの基準短直線の中から、元の基準短直線となす角度が−9°〜6°となる基準短直線をやり先候補とする。
なお、元の基準短直線となす角度が−9°〜6°となる基準短直線が複数存在する場合には、全ての基準短直線と元の基準短直線をそれぞれ補間し、やり先候補とする。
更に、やり先領域抽出部215は、両者の基準短直線の端点の間を補間線で補間する。図16は、この補間線の例を示す。また、図16中の(A)で示すように、やり先領域抽出部215は、補間線上の1画素と、この画素から補間線に直交する両サイドの2画素中の最大輝度値を、補間線における当該1画素の輝度値とすることにより、補間線上の全ての輝度値を算出する。
更に、やり先領域抽出部215は、補間線で補間されたやり先候補について、上記〔1.5.2 やり先領域抽出処理〕と同一の方法を用いることにより、やり先領域を抽出する。
〔1.6 モリブデン検知部〕
モリブデン検知部216は、やり先領域抽出部215によるやり先領域の抽出結果に基づいて、鋼材内のモリブデンの有無又は含有量を検知する。
より詳細には、後述の〔3 実施例〕で示すように、火花画像内に存在するやり先領域の密度が高いほど、火花の発生源となる鋼材内のモリブデンの含有量は多い。なお、ここで「やり先領域の密度」とは、やり先領域の数を、短直線マッチング部214によりマッチングされた短直線の数で除した値である。この知見を用いることにより、モリブデン検知部216は、やり先領域抽出部215によって火花画像から抽出されたやり先領域の総数に基づいて、鋼材内のモリブデンの含有量を検知する。
図17は、CPU21が、画像取込処理部211、輝度変換部212、二値化処理部213、短直線マッチング部214、やり先領域抽出部215、モリブデン検知部216に加え、破裂密度算出部217及び炭素含有量検知部218を備える場合の機能ブロック図である。
後述の〔3 実施例〕で示すように、鋼材内の炭素の含有量が多いほど、火花画像内に存在するやり先領域の密度が抑制される。そこで、本実施形態に係る鋼材成分識別装置1は、オプションとして、例えば、本発明の出願人がかつて出願した発明を開示する、特許文献1に記載の技術を用いることにより、鋼材内の炭素の含有量を検知し、モリブデン検知部216は、この炭素の含有量を用いて、鋼材への炭素の含有によるやり先領域の密度の抑制分を補正した上で、モリブデンの含有量を検知してもよい。
このため、CPU21は例として、破裂密度算出部217と炭素含有量検知部218を備える。
〔1.7 破裂密度算出部〕
破裂密度算出部217は、二値化処理部213によって二値化された火花画像に対し、複数の角度に相当する短直線を表す複数のテンプレートを各々マッチングし、火花画像全体の火花の破裂の総数(破裂数)、及び、火花画像全体のマッチングされたテンプレートの総数(短直線数)をカウントし、破裂数を短直線数で除した破裂密度を算出する。
より詳細には、破裂密度算出部217は、上記の「複数のテンプレート」として、特許文献1に開示されるように、例えば、28方向の角度(6.5度毎)に相当する短直線を表すテンプレートを用いることが可能である。
また、破裂密度算出部217は、上記の「マッチング」の際に、線の角度のみのマッチングを行い、線の長さのマッチングは行なわない。マッチングする短直線が複数ある場合には、各テンプレートの短直線を延長し、より合致するものを選択する。
更に、破裂密度算出部217は、マッチングされたテンプレートの総数から火花画像全体に存在する短直線の総数をカウントし、火花画像全体の火花の破裂の総数を短直線の総数で除した値である、「破裂密度」を算出する。
〔1.8 炭素含有量検知部〕
炭素含有量検知部218は、破裂密度算出部217によって算出された破裂密度に基づいて、鋼材内の炭素の含有量を検知する。これは、特許文献1に開示されるように、鋼材中の炭素の含有量が高いほど、破裂密度も高いという知見に基づくものである。
本実施形態に係る鋼材成分識別装置1は、上記の構成を有することにより、鋼材中のモリブデンの有無、延いてはモリブデンの含有量を簡便に検知することが可能となる。
〔2 発明の動作〕
図18A及び図18Bは、本実施形態に係る鋼材成分識別装置1の動作を示すフローチャートである。なお、このフローチャートは、CPU21に、破裂密度算出部217及び炭素含有量検知部218が備わる場合のフローチャートである。
ステップS1において、画像取込処理部211は、カメラ10により撮像された火花画像をカラー画像としてRAM22に取り込む。
ステップS2において、輝度変換部212は、火花画像の各画素の輝度を変換処理して画像を輝度値のみのグレースケール画像に変換し、画像をRAM22に格納する。
ステップS3において、二値化処理部213は、火花画像の二値化処理を実行し、画像をRAM22に格納する。
ステップS4において、短直線マッチング部214は、基準短直線を設定する。
ステップS5において、短直線マッチング部214は、各流線の太さ(線幅)を算出する。
ステップS6において、短直線マッチング部214は、各流線の輝度値を算出する。
ステップS7において、短直線マッチング部214が基準短直線延長処理を実行する場合(S7:YES)には、処理はステップS4に移行する。短直線マッチング部214が基準短直線延長処理を実行しない場合(S7:NO)には、処理はステップS8に移行する。
ステップS8において、やり先領域抽出部215は、火花が連続する第1種の流線画像に対してやり先候補設定処理を実行する。
ステップS9において、やり先領域抽出部215は、第1種の流線画像中のやり先領域の候補からやり先領域を抽出する。
ステップS10において、やり先領域抽出部215は、火花が途切れている第2種の流線画像に対して補間処理を実行することにより、やり先領域の候補を設定する。
ステップS11において、やり先領域抽出部215は、第2種の流線画像中のやり先領域の候補からやり先領域を抽出する。
ステップS12において、破裂密度算出部217は、二値化処理部213によって二値化された火花画像の破裂密度を算出する。
ステップS13において、炭素含有量検知部218は、破裂密度に基づいて、鋼材内の炭素の含有量を検知する。
ステップS14において、モリブデン検知部216は、やり先領域抽出部215によるやり先領域の抽出結果、及び炭素含有量検知部218によって検知された炭素の含有量に基づいて、鋼材内のモリブデンの含有量を検知する。
なお、ステップS5、及びステップS8を省略することにより、各流線の線幅(太さ)を用いずに、鋼材内のモリブデンの有無や含有量を検知することも可能である。
また、ステップS2の後に、ステップS3及びステップS4を経由せず、ステップS6を実行してもよい。
鋼材成分識別装置1による鋼材成分識別方法は、ソフトウェアにより実現されることが可能である。ソフトウェアによって実現される場合には、このソフトウェアを構成するプログラムが、コンピュータ(鋼材成分識別装置1)にインストールされる。また、これらのプログラムは、リムーバブルメディアに記録されてユーザに配布されてもよいし、ネットワークを介してユーザのコンピュータにダウンロードされることにより配布されてもよい。更に、これらのプログラムは、ダウンロードされることなくネットワークを介したWebサービスとしてユーザのコンピュータ(鋼材成分識別装置1)に提供されてもよい。
〔3 実施例〕
〔3.1 撮影環境〕
図19は、実施例における撮影環境を示す図である。カメラ10としては、DITECT社製のHAS−L2を用い、鋼材BとグラインダCとの接触点から600mmの距離に設置した。
また、カメラ10によって、鋼材Bの軸線から側方に110mm〜480(=110+370)mmの範囲における火花の画像を、30fpsで撮像する。撮像した火花画像の解析度は、上下方向が2048pixelで左右方向が2592pixelである。解析時には、この火花画像を50枚用いると共に、各火花画像の上側及び下側各1/4と、右側1/4をカットしたため、結果として、解析自体に用いた火花画像の解析度は、1944pixel×1024pixelとなる。
〔3.2 取得データ〕
〔3.2.1 やり先領域の密度とモリブデンの含有量との関係〕
図20は、やり先領域の密度と、鋼材B内のモリブデンの含有量との関係を示す。図20に示すように、やり先領域の密度が高いほど、モリブデンの含有量は高い。
〔3.2.2 やり先領域の密度とモリブデン及び炭素の含有量との関係〕
図21は、やり先領域の密度と、鋼材B内のモリブデン及び炭素の含有量との関係を示す。なお、図21では、やり先領域の密度が高いほど円の半径が大きい。図21に示すように、モリブデンの含有量が高いほど、やり先領域の密度が増加する一方で、炭素の含有量が高いほど、やり先領域の密度は減少する。
〔3.2.3 輝度値のみを用いた場合のやり先領域の抽出〕
図22A及び図22Bは、フローチャートの説明の中で述べたように、やり先領域を抽出する際に、線幅情報を用いず、輝度値情報のみを用いてやり先領域を抽出した場合の検証結果である。
図22Aは、SCM鋼(Mo:0.15%)と炭素鋼を鋼材Bとした場合の、線幅情報と輝度値情報との双方を用いた場合と、輝度値情報のみを用いた場合とでの、モリブデン量検知の精度を比較するために、炭素含有量とやり先領域の密度との関係を示したグラフである。なお、図22Aのグラフ内で、輝度値情報のみを用いた場合は、「F1」という符号を用いて示し、線幅情報と輝度値情報との双方を用いた場合は、「F2」という符号を用いて示す。
図22Aに示すように、輝度値情報のみを用いた場合は、双方の情報を用いた場合に比較して、精度が減少する。輝度値情報のみを用いている場合は、線幅情報と輝度値情報との双方を用いる場合に比較して、用いる情報量が少ないためである。
図22Bは、SCM鋼(Mo:0.15%)と炭素鋼を鋼材Bとした場合の、線幅情報と輝度値情報との双方を用いた場合と、輝度値情報のみを用いた場合とでの解析時間を比較したグラフである。なお、図22Aと同様、図22Bのグラフ内で、輝度値情報のみを用いた場合は、「F1」という符号を用いて示し、線幅情報と輝度値情報との双方を用いた場合は、「F2」という符号を用いて示す。
双方の情報を用いた場合の解析時間は16.9秒である一方で、輝度値情報のみを用いた場合の解析時間は15.9秒となり、処理速度が速いことが示された。
すなわち、輝度値情報のみを用いてやり先領域を抽出し、やり先領域の密度を算出した場合は、線幅(太さ)情報と輝度値情報の双方を用いて、やり先領域を抽出し、やり先領域の密度を算出した場合に比較して、モリブデン量検知の精度は落ちるものの、処理速度は高まることが分かった。
〔4 効果〕
本発明の実施形態に係る鋼材成分識別装置1は、火花画像に含まれる流線画像を生成する流線画像生成部と、流線画像に含まれる各流線内での輝度値の変化に基づいて、各流線のやり先領域を抽出するやり先領域抽出部215と、やり先領域の抽出結果に基づいて前記鋼材内のモリブデンの有無又は含有量を検知するモリブデン検知部216と、を備える。
これにより、鋼材成分識別装置1は、鋼材中のモリブデンの有無、延いてはモリブデンの含有量を簡便に検知することが可能となる。
また、やり先領域抽出部215は、各流線内での輝度値の2階微分値の符号の正負が反転する点を挟んで前記符号が負となる側の領域を、やり先領域とする。
また、やり先領域抽出部215は、上記の正負が反転する点の前後で、負が連続する領域内での負の2階微分値の総和の絶対値と、正が連続する領域内での正の2階微分値の総和の絶対値とが第1閾値以上であり、負の2階微分値の総和の絶対値と、正の2階微分値の総和の絶対値との比が第2閾値以上となるような前記点を挟んで、前記符号が負となる側の領域を、やり先領域とする。
また、やり先領域抽出部215は、2階微分値の符号が反転する点から見て、2階微分値の2回目のピークでの絶対値が第3閾値以内となるような当該点を挟んで、符号が負となる側の領域を、やり先領域とする。
これにより、鋼材成分識別装置1は、鋼材中のモリブデンの有無、延いてはモリブデンの含有量を検知するためのやり先領域の抽出を正確に実行することが可能となる。
また、やり先領域抽出部215は、各流線のうちの、火花の発生源から相対的に遠い第1領域と、各流線の長さ方向かつ火花の発生源に相対的に近い側に、第1領域に対して隣接する第2領域とについて、第1領域と第2領域との境界を挟んで、第1領域の太さが第2領域の太さよりも太いとき、第1領域をやり先領域の候補とし、当該候補の中からやり先領域を抽出する。
これにより、鋼材成分識別装置1は、鋼材内のモリブデンの有無や含有量を検知する精度を高めることが可能となる。
また、やり先領域抽出部215は、流線画像に含まれ互いに離間する第1流線と第2流線とについて、第1流線の端点と第2流線の端点とが共に所定領域内に存在し、第1流線の端点における傾きと第2流線の端点における傾きとの相違が所定範囲内にある場合に、第1流線と第2流線との間を補間し、1本の流線とする。
これにより、より正確にやり先領域の数をカウントすることが可能となる。
また、モリブデン検知部216は、やり先領域の抽出結果を用いてやり先領域の密度を算出し、算出したやり先領域の密度に基づいて、鋼材内のモリブデンの有無又は含有量を検知する。
これにより、鋼材成分識別装置1は、鋼材内のモリブデンの有無や含有量を検知する精度を高めることが可能となる。
また、鋼材成分識別装置1は、破裂密度を算出する破裂密度算出部217と、破裂密度に基づいて、鋼材内の炭素の含有量を検知する炭素含有量検知部218とを更に備え、モリブデン検知部216は、前記やり先領域の密度における、鋼材への炭素の含有による抑制分を、炭素の含有量を用いて補正することにより、モリブデンの含有量を検知する。
これにより、鋼材成分識別装置1は、より正確に鋼材へのモリブデンの含有量を検知することが可能となる。
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
〔5 変形例〕
上記の実施形態では、コンピュータ20が、CPU21と、RAM22と、CPU21の制御プログラムを記憶するROM23とを備え、CPU21がROM23に格納された制御プログラムを読み出し、該制御プログラムに従って、図2の機能ブロック図に示す機能を実現するとしたが、これには限定されない。例えば、CPU21の代わりに集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって、図2の機能ブロック図に示す機能を実現してもよい。
1 鋼材成分識別装置
10 カメラ
20 コンピュータ
21 CPU
22 RAM
23 ROM
211 画像取込処理部
212 輝度変換部
213 二値化処理部
214 短直線マッチング部
215 やり先領域抽出部
216 モリブデン検知部
217 破裂密度算出部
218 炭素含有量検知部
B 鋼材
C グラインダ

Claims (10)

  1. 鋼材を研削して発生する火花の画像である火花画像に基づいて、前記火花画像に含まれる流線の画像である流線画像を生成する流線画像生成部と、
    前記流線画像に含まれる各流線内での輝度値の変化に基づいて、各流線のやり先領域を抽出するやり先領域抽出部と、
    前記やり先領域抽出部による前記やり先領域の抽出結果に基づいて前記鋼材内のモリブデンの有無又は含有量を検知するモリブデン検知部と、
    を備える鋼材成分識別装置。
  2. 前記やり先領域抽出部は、各流線内での輝度値の2階微分値の符号の正負が反転する点を挟んで前記符号が負となる側の領域を、前記やり先領域とする、請求項1に記載の鋼材成分識別装置。
  3. 前記やり先領域抽出部は、前記2階微分値の符号の正負が反転する点の前後で、負が連続する領域内での負の2階微分値の総和の絶対値と、正が連続する領域内での正の2階微分値の総和の絶対値とが第1閾値以上であり、前記負の2階微分値の総和の絶対値と、前記正の2階微分値の総和の絶対値との比が第2閾値以上となるような前記点を挟んで、前記符号が負となる側の領域を、前記やり先領域とする、請求項2に記載の鋼材成分識別装置。
  4. 前記やり先領域抽出部は、前記2階微分値の符号が反転する点から見て、前記2階微分値の2回目のピークでの絶対値が第3閾値以内となるような前記点を挟んで、前記符号が負となる側の領域を、前記やり先領域とする、請求項3に記載の鋼材成分識別装置。
  5. 前記やり先領域抽出部は、前記各流線のうちの、前記火花の発生源から相対的に遠い第1領域と、前記各流線の長さ方向かつ前記発生源に相対的に近い側に前記第1領域に対して隣接する第2領域とについて、前記第1領域と前記第2領域との境界を挟んで、前記第1領域の太さが前記第2領域の太さよりも太いとき、前記第1領域をやり先領域の候補とし、当該候補の中から前記やり先領域を抽出する、請求項1〜4のいずれか1項に記載の鋼材成分識別装置。
  6. 前記やり先領域抽出部は、前記流線画像に含まれ互いに離間する第1流線と第2流線とについて、前記第1流線の端点と前記第2流線の端点とが共に所定領域内に存在し、前記第1流線の前記端点における傾きと前記第2流線の前記端点における傾きとの相違が所定範囲内にある場合に、前記第1流線と前記第2流線との間を補間し、1本の流線とする、請求項1〜4のいずれか1項に記載の鋼材成分識別装置。
  7. 前記モリブデン検知部は、前記やり先領域の抽出結果を用いて前記やり先領域の密度を算出し、算出した前記やり先領域の密度に基づいて、前記鋼材内のモリブデンの有無又は含有量を検知する、請求項1〜6のいずれか1項に記載の鋼材成分識別装置。
  8. 二値化された前記火花画像から、前記火花画像全体の破裂密度を算出する破裂密度算出部と、
    前記破裂密度に基づいて、前記鋼材内の炭素の含有量を検知する炭素含有量検知部とを更に備え、
    前記モリブデン検知部は、前記やり先領域の密度における、前記鋼材への炭素の含有による抑制分を、前記炭素の含有量を用いて補正することにより、前記モリブデンの含有量を検知する、請求項7に記載の鋼材成分識別装置。
  9. 鋼材を研削して発生する火花の画像である火花画像に基づいて、前記火花画像に含まれる流線の画像である流線画像を生成する流線画像生成ステップと、
    前記流線画像に含まれる各流線内での輝度値の変化に基づいて、各流線のやり先領域を抽出するやり先領域抽出ステップと、
    前記やり先領域抽出ステップにおける前記やり先領域の抽出結果に基づいて前記鋼材内のモリブデンの有無又は含有量を検知するモリブデン検知ステップと、
    を有する鋼材成分識別方法。
  10. 鋼材を研削して発生する火花の画像である火花画像に基づいて、前記火花画像に含まれる流線の画像である流線画像を生成する流線画像生成ステップと、
    前記流線画像に含まれる各流線内での輝度値の変化に基づいて、各流線のやり先領域を抽出するやり先領域抽出ステップと、
    前記やり先領域抽出ステップにおける前記やり先領域の抽出結果に基づいて前記鋼材内のモリブデンの有無又は含有量を検知するモリブデン検知ステップと、
    をコンピュータに実行させるための、鋼材成分識別プログラム。
JP2018209044A 2018-11-06 2018-11-06 鋼材成分識別装置、鋼材成分識別方法、及び鋼材成分識別プログラム Active JP7209278B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018209044A JP7209278B2 (ja) 2018-11-06 2018-11-06 鋼材成分識別装置、鋼材成分識別方法、及び鋼材成分識別プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018209044A JP7209278B2 (ja) 2018-11-06 2018-11-06 鋼材成分識別装置、鋼材成分識別方法、及び鋼材成分識別プログラム

Publications (2)

Publication Number Publication Date
JP2020076607A true JP2020076607A (ja) 2020-05-21
JP7209278B2 JP7209278B2 (ja) 2023-01-20

Family

ID=70723870

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018209044A Active JP7209278B2 (ja) 2018-11-06 2018-11-06 鋼材成分識別装置、鋼材成分識別方法、及び鋼材成分識別プログラム

Country Status (1)

Country Link
JP (1) JP7209278B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115901752A (zh) * 2022-11-03 2023-04-04 重庆忽米网络科技有限公司 基于工业互联网技术的金属火花成分检测系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011061971A1 (ja) * 2009-11-20 2011-05-26 住友金属工業株式会社 鋼材の材質判定装置及び鋼材の材質判定方法
JP2016099126A (ja) * 2014-11-18 2016-05-30 学校法人東京理科大学 鋼材成分識別装置及びそのプログラム
JP2018018153A (ja) * 2016-07-25 2018-02-01 オリンパス株式会社 鋼種判別装置及び鋼種判別方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011061971A1 (ja) * 2009-11-20 2011-05-26 住友金属工業株式会社 鋼材の材質判定装置及び鋼材の材質判定方法
JP2016099126A (ja) * 2014-11-18 2016-05-30 学校法人東京理科大学 鋼材成分識別装置及びそのプログラム
JP2018018153A (ja) * 2016-07-25 2018-02-01 オリンパス株式会社 鋼種判別装置及び鋼種判別方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
永本正義: "7 視覚支援システムの開発", 兵庫県立工業技術センター研究報告書, vol. 10, JPN6022032683, 1 March 2002 (2002-03-01), pages 14 - 15, ISSN: 0004845016 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115901752A (zh) * 2022-11-03 2023-04-04 重庆忽米网络科技有限公司 基于工业互联网技术的金属火花成分检测系统
CN115901752B (zh) * 2022-11-03 2023-11-14 重庆忽米网络科技有限公司 基于工业互联网技术的金属火花成分检测系统

Also Published As

Publication number Publication date
JP7209278B2 (ja) 2023-01-20

Similar Documents

Publication Publication Date Title
AU2012304678B2 (en) Measurement of belt wear through edge detection of a raster image
JP6403547B2 (ja) 鋼材成分識別装置及びそのプログラム
Kirchner et al. On detection of median filtering in digital images
JP5706233B2 (ja) 鋼材成分識別装置及びそのプログラム
US20100061633A1 (en) Method and Apparatus for Calculating the Background Color of an Image
WO2013148566A1 (en) Image blur detection
US9704057B1 (en) Methods and apparatus relating to image binarization
JP7027978B2 (ja) 検査装置、検査方法、及び検査プログラム
CN113155839A (zh) 一种基于机器视觉的钢板外表面缺陷在线检测方法
CN111062919B (zh) 一种轴承套圈外观缺陷检测方法
JP2014020926A (ja) 表面欠陥検査装置及び表面欠陥検査方法
JP7209278B2 (ja) 鋼材成分識別装置、鋼材成分識別方法、及び鋼材成分識別プログラム
KR20220102506A (ko) 보일러튜브 표면 결함탐지 장치 및 방법
JP5887242B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7307918B2 (ja) データ処理装置、データ処理プログラムおよび基板群評価システム
TW201601119A (zh) 物件辨識與定位方法
CN116381053A (zh) 一种用于金属材料焊接的超声波检测方法及系统
JP7197091B2 (ja) 破裂火花認識装置、鋼材識別装置、破裂火花認識方法及び破裂火花認識プログラム
RU2571510C2 (ru) Метод и устройство, использующие увеличение изображения для подавления визуально заметных дефектов на изображении
JP7058008B2 (ja) 鋼材成分識別装置及びそのプログラム
JP2005346222A (ja) 汗腺口除去装置、汗腺口除去方法及び汗腺口除去プログラム
JP7058009B2 (ja) 鋼材成分識別装置及びそのプログラム
JP5283267B2 (ja) コンテンツ識別方法及び装置
JP2017182578A (ja) 最適な画像処理条件の抽出方法
JP6002564B2 (ja) 鋼材における炭化物の球状化率測定装置および球状化率測定方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221226

R150 Certificate of patent or registration of utility model

Ref document number: 7209278

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150