JP2020159865A - 金属材表面の良否判定方法 - Google Patents

Abstract

【課題】表面除去加工を施した後の金属材表面の良否を画像解析によって判定するに際して、金属材による判定のバラツキを可及的に小さくできる金属材表面の良否判定方法を提供する。【解決手段】金属材表面除去加工後に当該金属材表面を撮影した画像より、ニューラルネットワークを使用して上記金属材表面の良否を判定するに際し、金属材をその硬度によって金属種分けして、これら金属種毎に上記ニューラルネットワークを学習させて金属材表面の良否判定を行う。【選択図】 なし

Description

本発明は金属材表面の良否判定方法に関し、特に、切削加工等の表面除去加工を施した後の金属材表面の良否を判定する方法に関するものである。

熱間加工後の棒材の表面はいわゆる黒皮で覆われており、この黒皮を切削によって取り除くピーリング（皮むき）加工がおこなわれる。あるいはピーリング加工後の材料に所定の研磨加工がおこなわれることもある。ピーリング加工後の棒材の表面には螺旋形の加工痕（刃物跡）やその他の切削疵が残ることがある。また上記螺旋形の加工痕（刃物跡）はその後の所定の研磨加工により除去されるが、この場合においても加工痕（刃物跡）が残ることがある。これらの傷が製品としての許容範囲であるか否かの良否判定は、センサが棒材の周囲を螺旋状に移動する通常の回転式渦流探傷では検出できないため、ラインセンサカメラ等を使用した画像処理で行うことが考えられるが、画像処理による傷検出では良否の判定結果が金属材によって大きくバラつくことがあるという問題があった。

なお、特許文献１には、マンドレルバーの表面割れを、カメラによって撮像された反射ストロボ光の画像の解析によって検出する方法が開示されている。

特開２０１６−８３６６３

そこで、本発明は上記従来の問題を解決するもので、表面除去加工を施した後の金属材表面の良否を画像解析によって判定するに際して、金属材による判定のバラツキを可及的に小さくできる金属材表面の良否判定方法を提供することを目的とする。

発明者は金属材による判定のバラツキが、切削等による表面除去加工後の金属材表面の粗さにより当該金属材表面を撮像した画像（カメラ画像）の輝度が大きく変化することによるものであり、そして上記表面除去加工後の金属材表面の粗さは当該金属材の硬度に依存するものであることに思い至った。

本願発明はこのような知見に基づいてなされたもので、本第１発明では、カメラ画像より当該金属材表面の良否を判定するに際し、金属材の硬度に応じて前記カメラ画像の輝度あるいは判定用の輝度閾値を補正するようにする。なお、この場合の金属材表面は表面除去加工後のものであっても良い。

本第１発明によれば、金属材の硬度に応じてカメラ画像の輝度を補正し、あるいは判定用の輝度閾値を補正しているから、いずれの金属材に対しても常に精度よく金属材表面の良否を判定することができる。

本第２発明では、カメラ画像より、ニューラルネットワークを使用して当該金属材表面の良否を判定するに際し、金属材をその硬度によって金属種分けして、これら金属種毎に前記ニューラルネットワークを学習させて前記金属材表面の良否判定を行うようにする。なお、この場合の金属材表面は表面除去加工後のものであっても良い。

本第２発明によれば、金属材を金属種分けして各金属種毎にニューラルネットワークを学習させて金属材表面の良否判定を行っているから判定の正解率を高くすることができる。

なお、本願発明は、丸棒材をピーリング加工した後の、又はピーリング加工後に研磨加工した後の金属材表面の良否判定に好適に使用することができる。また、本第１発明において、さらにニューラルネットワークを使用し、当該ニューラルネットワークを学習させて金属材表面の良否判定を行うようにしても良い。さらに、上記金属材は鋼材であっても良い。

以上のように、本願発明の金属材表面の良否判定方法によれば、表面除去加工を施した後の金属材表面の良否を画像解析によって判定するに際して、金属種による判定のバラツキを可及的に小さくすることができる。

ピーリング加工後の丸棒材表面の斜視図である。 ピーリング加工後の加工痕の拡大断面図である。 ピーリング加工後の加工痕の拡大正面図である。 ピーリング加工後の加工痕のカメラ画像である。 ピーリング加工後の加工痕のカメラ画像の他の例である。 金属材硬度とカメラ画像の背景輝度との関係を示すグラフである。 輝度補正の具体例を説明するグラフである。 畳込みニューラルネットワークにおけるディープラーニングを説明する概念図である。 畳込みニューラルネットワークにおけるディープラーニングを説明する概念図である。 ラインセンサカメラによる丸棒鋼材表面の撮像状態を示す正面図と側面図である。

なお、以下に説明する実施形態はあくまで一例であり、本発明の要旨を逸脱しない範囲で当業者が行う種々の設計的改良も本発明の範囲に含まれる。より具体的には、本発明における判定対象材は、鋼材のほかに非鉄金属材のような金属材一般を含むものである。さらに、本発明における表面除去加工は、棒材の表面のピーリング（皮むき）加工のほか、棒材の表面をピーリング加工した後に研磨加工を施す工程も含まれる。さらに本発明における研磨加工は、ピーリング加工後の棒材表面の螺旋形の加工痕（刃物跡）を研磨により潰すことで当該ピーリング加工後の粗い表面肌を良好なものにする工程も含む概念である。

(第１実施形態）
図１にはピーリング加工後の丸棒鋼材１の表面を概念的に示すもので、ピーリング加工後の所定の研磨加工により除去しきれなかった螺旋状の加工痕１１が残っている。この加工痕１１はバイトの刃先が鋼材表面に対して完全に平行にはならないために、鋼材表面が図２に示すような溝断面に削られるものである。この場合、加工痕１１の溝の深さが所定より深い場合には鋼材表面が不良であると判定されて丸棒鋼材１は回収される。

深い溝か否かは図３に示すような鋼材表面を、図１０（ａ）、（ｂ）に示すように、ラインセンサカメラ２で丸棒鋼材１の長手方向（図中の矢印方向）に沿って撮像し、その画像中に現れる、加工痕１１に対応する黒色線状部Ｌｂ（図４、図５）の濃度や線幅によって判定する。ところでこの場合、ある鋼種では図４に示すように背景輝度が高く（明るく）黒色線状部Ｌｂが明確に識別できるのに対して、他の鋼種では図５に示すように背景輝度が低い（暗い）ために黒色線状部Ｌｂが明確に識別できない。

発明者は種々の実験によって、このように背景輝度が変動する原因が、ピーリング加工後の、又はピーリング加工後に研磨加工を行った後の鋼材表面の粗さが異なることによる光反射量の大小によるものであり、この加工後の鋼材表面の粗さは材料の硬度に依存することを見出した。実際、下記の表１にその一例を示すように、鋼種Ｃ，Ｂ，Ｆによってその硬度は異なり、この硬度に一義的に依存してカメラ画像の背景輝度が変化する。この変化は、表１の値を図上にプロットした図６から分かるように、鋼種ＦからＢ，Ｃへ硬度が高くなるほどカメラ画像の背景輝度も高くなる。

そこで、図６に示す、鋼種Ｃ，Ｂ，Ｆの各硬度とこのときのカメラ画像の背景輝度を示す三点を通るような多項式近似線Ｆ（ｘ）を算出して、これを補正式とする。そしてラインセンサカメラで撮像した丸棒鋼材１のカメラ画像の輝度を、当該丸棒鋼材１の硬度に応じて補正する。この際の輝度補正は、折れ線変換、Ｓ字線変換、γ変換等の通常の輝度補正方法を採用することができる。
一例としては、算出された輝度値を以下の方法によって補正する。表１の鋼種Ｃは背景輝度が１．３３であり、鋼種Ｂは背景輝度１．２２であり、鋼種Ｆは背景輝度１であるから、その平均値である１．１８３３を基準値Ｗとする。そして、算出された輝度値（背景輝度値）が基準値Ｗ以下の場合には以下の式１で算出した差分を加算することで輝度補正を行う。
式１…基準値Ｗ−算出された輝度値
一方、算出された輝度値（背景輝度値）が基準値Ｗ以上の場合には、以下の式２で算出した差分を減算することで輝度補正を行う。
式２…算出された輝度値−基準値Ｗ
より具体的には、図７において、鋼種Ｆでは基準値Ｗの値である１．１８３３から、算出された輝度値である１を減算した差分値（Ｔ１）０．１８３３を当該鋼種Ｆの輝度値に加算する補正を行う。また、鋼種Ｂでは、算出された輝度値である１．２２から基準値Ｗの値である１．１８３３を減算した差分値（Ｔ２）０．０３６６を当該鋼種Ｂの輝度値から減算する補正を行う。さらに、鋼種Ｃでも、算出された輝度値である１．３３から基準値Ｗの値である１．１８３３を減算した差分値（Ｔ３）０．１４６６を当該鋼種Ｃの輝度値から減算する補正を行う。
以上により、表面除去加工後にカメラ画像より鋼材表面の良否を判定するに際し、鋼材の硬度に応じてカメラ画像の輝度あるいは判定用の輝度閾値を補正することにより、鋼材によって大きくバラつく場合においても常に精度よく金属表面の良否を判定することができる。

このようにして、丸棒鋼材１の硬度に応じてカメラ画像の背景輝度を補正するようにすると、加工痕１１に対応するカメラ画像中の黒色線状部Ｌｂが常に明確に識別できるようになるから、黒色線状部Ｌｂの濃度や幅等に基づいて丸棒鋼材１の鋼材表面の良否判定を鋼材によるバラツキを生じることなく常に確実に行うことができる。なお、カメラ画像の背景輝度を補正するのに代えて、判定輝度閾値を硬度に応じて増減させるようにしても良い。

（第２実施形態）
本実施形態では、畳込みニューラルネットワーク（ＣＮＮ）を使用して、ラインセンサカメラで得られたピーリング加工後の、あるいはピーリング加工後に研磨加工した後の丸棒鋼材１の鋼材表面のカメラ画像から当該鋼材表面の良否を判定する。

ここで、ＣＮＮでのディープラーニングは、図８に示すように、表面除去加工後の丸棒鋼材１の鋼材表面のカメラ画像をエリア分割して複数の枠１２に区分する。なお、（ａ）は表面に加工痕１１が存在しないサンプル画像であり、（ｂ）は表面に加工痕１１が存在するサンプル画像である。
そして、図９に示すように、枠１２毎に当該鋼材表面の良否について学習させることで良否判定基準情報を構築する。なお、これらの学習を複数毎のサンプル画像から学習させることで経験則に基づき高精度な良否判定を行うことが可能になる。すなわち、これらのサンプル画像の蓄積によって良否判定の精度が向上する。

次に、本実施形態をさらに具体化したものを説明する。本実施形態におけるＣＮＮでのディープラーニングは、硬度の異なるＣ，Ｂ，Ｆの各鋼種毎に、教師データとして良品のカメラ画像２０枚と不良品のカメラ画像２０枚の計４０枚を５００回ディープラーニング学習させてＣＮＮを構築する。そしてこのＣＮＮの構築を各鋼種毎に１０回行い、正解率の最も良かったＣＮＮを選択する。この結果、下記の表２に示すように、各鋼種Ｃ，Ｂ，Ｆにつきそれぞれ正解率が９５％、９７．５％、１００％になるＣＮＮを選択した。

各鋼種につき選択されたＣＮＮを使用して良品のカメラ画像２０枚と不良品のカメラ画像２０枚の計４０枚に対してそれぞれ判定テストを行ったところ、鋼種Ｃでは良品の正解率が９５％、不良品の正解率が７０％であった。また、鋼種Ｂでは良品の正解率が８５％、不良品の正解率が９５％であった。さらに鋼種Ｆでは良品の正解率が１００％、不良品の正解率も１００％であった。

これに対して、全ての鋼種Ｃ，Ｂ，Ｆを混在させて良品のカメラ画像６０枚と不良品のカメラ画像６０枚の計１２０枚で上述と同じディープラーニング学習を行って、最良のＣＮＮを選択した場合の正解率は８０．８％であった。そして選択されたＣＮＮを使用して全ての鋼種Ｃ，Ｂ，Ｆが混在した良品のカメラ画像６０枚と不良品のカメラ画像６０枚に対して判定テストを行ったところ、良品の正解率は６８．３％、不良品の正解率は８６．７％であった。

このように、ＣＮＮを使用した鋼材表面の良否判定において、硬度の異なる各鋼種毎に学習させたＣＮＮを使用して硬度の異なる各鋼種毎に鋼材表面の良否判定を行うと、正解率を全体として向上させることができる。なお、この場合、硬度が１０％以上異なる鋼材は、異なる鋼種として扱うようにすると良い。

(その他の実施形態)
上記各実施形態では丸棒鋼材のピーリング加工後の、あるいはピーリング加工後に研磨加工した後の鋼材表面の良否判定について説明したが、本願発明の適用範囲は丸棒鋼材に限られるものではなく、非鉄金属による丸棒材でも良く、その表面除去加工もピーリング加工、あるいはピーリング加工後に研磨加工を行う加工工程には限られない。また、ニューラルネットワークも、畳込みニューラルネットワーク（ＣＮＮ）に限られるものではない。

１…丸棒鋼材、１１…加工痕、Ｌｂ…黒色線状部。

Claims (8)

1. 金属材表面を撮影した画像より金属材表面の良否を判定するに際し、金属材の硬度に応じて前記画像の輝度あるいは判定用の輝度閾値を補正するようにした金属材表面の良否判定方法。
2. 金属材表面を撮影した画像より、ニューラルネットワークを使用して当該金属材表面の良否を判定するに際し、金属材をその硬度によって金属種分けして、これら金属種毎に前記ニューラルネットワークを学習させて前記金属材表面の良否判定を行うようにした金属材表面の良否判定方法。
3. 金属材表面除去加工後に当該金属材表面を撮影した画像より金属材表面の良否を判定するに際し、金属材の硬度に応じて前記画像の輝度あるいは判定用の輝度閾値を補正するようにした金属材表面の良否判定方法。
4. 金属材表面除去加工後に金属材表面を撮影した画像より、ニューラルネットワークを使用して当該金属材表面の良否を判定するに際し、金属材をその硬度によって金属種分けして、これら金属種毎に前記ニューラルネットワークを学習させて前記金属材表面の良否判定を行うようにした金属材表面の良否判定方法。
5. 前記金属材表面の良否判定方法は、ニューラルネットワークを使用して当該金属表面の良否を判定するに際し、前記ニューラルネットワークを学習させて前記金属材表面の良否判定を行うようにした請求項１又は３に記載の金属材表面の良否判定方法。
6. 前記金属材表面は、丸棒材をピーリング加工した後のものである請求項１ないし５のいずれかに記載の金属材表面の良否判定方法。
7. 前記金属材表面は、丸棒材をピーリング加工した後に、研磨加工した後のものである請求項６に記載の金属材表面の良否判定方法。
8. 前記金属材は鋼材である請求項１ないし７のいずれかに記載の金属材表面の良否判定方法。