JP2021036421A - 工作機械 - Google Patents

Abstract

【課題】工具に切粉が付着していたり、工具に欠け若しくはキズが生じている不具合の有無を高精度に検知する工具不具合検知装置を備える工作機械を提供する。【解決手段】所定ピクセルサイズ毎にブロック分割した工具撮影画像のブロック毎に学習データをもとに前記不具合の存在確率を算出した分類モデルデータを生成する分類モデル手段と、前記工具撮影画像のブロック毎に学習データをもとにこのブロック中の前記不具合があると判断されたピクセル数を算出した回帰モデルデータを生成する回帰モデル手段とを備え、前記分類モデル手段により生成された前記分類モデルデータと、前記回帰モデル手段により生成された回帰モデルデータとに基づいて、工具に前記不具合が生じているか否かを判別した工具不具合検出結果を生成する工具不具合検知装置を備える。【選択図】図３

Description

本発明は、刃物台に取り付けられている工具に切粉が付着している不具合や刃物台に取り付けられている工具に欠け若しくはキズが生じている不具合の有無を検知する工具不具合検知装置を備える工作機械に関するものである。

例えば、工作機械の切削加工においては、加工により切粉が発生するが、この切粉は、ワークへの切込み量が少ないなどの条件が重なると適切な長さに分断されず繋がったままで長さの長い切粉になることがあり、このような長い切粉が刃物台やこの刃物台に取り付けられた工具ホルダーや切削工具（バイト）に絡み付いて、ワークの加工面に悪影響を及ぼす不具合や、絡み付いた切粉が工具交換装置内に持ち込まれて動作不良や装置破損の原因となる不具合が発生することがある。

そのため、この切粉の絡み付きによる不具合の発生を防止するために、例えば工作機械が現作業を終え次作業（切削処理や工具交換）に移る前に一旦作業を停止し、作業者が目視で切粉の絡み付きの有無を確認し、問題なければ次作業に進み、絡み付きが確認されれば切粉の除去を行なってから次作業に移るといった対応を行なっていたが、一般的に、作業者は一台の工作機械に付きっきりでいる訳ではなく、通常は複数の工作機械を受け持っているので、上記のような対応では、工作機械が切削作業を終えて確認作業の為に一旦停止しても、他の工作機械のところに移動していて直ぐに作業者が確認作業を行なうことができない場合が多く、そのため、工作機械の停止時間が長くなり稼働率低下の原因となっていた。

そこで、本出願人は、特開２０１６−４２０６６号に開示される領域ベースマッチング手法と特徴ベースマッチング手法を組み合わせて異物（切粉）の付着の有無を検知する異物付着検知装置を備える工作機械を提案している。

特開２０１６−４２０６６号公報

しかしながら、上記の領域ベースマッチング手法と特徴ベースマッチング手法とを組み合わせた手法では、従来の差分法を用いたものに比べて検知精度は向上するものの、水滴、陰影、汚れなどの画像上のノイズの影響による精度低下を防止するまでには至らず、そのままでは水滴、陰影、汚れなどの画像上のノイズの影響による誤検知が生じてしまうおそれがあるため、この水滴、陰影、汚れなどの画像上のノイズによる誤検知の発生を回避すべく、水滴が付着する部位や陰影の揺らぎが大きい部位を検知対象外領域に設定しなければならず、これにより、検知対象外領域に付着した切粉を検出することができないという問題を有していた。

本発明は、このような現状に鑑みなされたものであり、水滴、陰影、汚れなどの画像上のノイズの影響に強く、検知対象外領域を設定せずとも誤検知を防止し、刃物台に取り付けられている工具に切粉が付着している不具合や刃物台に取り付けられている工具に欠け若しくはキズが生じている不具合の有無を精度良く検知することができる工具不具合検知装置を備える工作機械を提供することを目的とする。

添付図面を参照して本発明の要旨を説明する。

刃物台に取り付けられている工具に切粉が付着している不具合や刃物台に取り付けられている工具に欠け若しくはキズが生じている不具合の有無を検知する工具不具合検知装置を備える工作機械であって、前記工具不具合検知装置は、撮影手段により得られた工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された工具撮影画像のブロック毎に学習データをもとに前記不具合の存在確率を算出した分類モデルデータを生成する分類モデル手段と、撮影手段により得られた工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された工具撮影画像のブロック毎に学習データをもとにこのブロック中の前記不具合があると判断されたピクセル数を算出した回帰モデルデータを生成する回帰モデル手段とを備え、前記分類モデル手段により生成された前記分類モデルデータと、前記回帰モデル手段により生成された回帰モデルデータとに基づいて、前記工具に前記不具合が生じているか否かの工具不具合検知結果を生成するように構成されていることを特徴とする工作機械に係るものである。

また、請求項１記載の工作機械において、前記工具不具合検知装置は前記工具に切粉が付着している不具合の有無を検知するものであることを特徴とする工作機械に係るものである。

また、請求項１記載の工作機械において、前記工具不具合検知装置は前記工具に欠け若しくはキズが生じている不具合の有無を検知するものであることを特徴とする工作機械に係るものである。

また、請求項１〜３いずれか１項に記載の工作機械において、前記工具不具合検知装置は、前記分類モデル手段により生成される作業前分類モデルデータと作業後分類モデルデータとの差分により前記分類モデルデータを生成すると共に、前記回帰モデル手段により生成される作業前回帰モデルデータと作業後回帰モデルデータとの差分により前記回帰モデルデータを生成し、この回帰モデルデータと前記分類モデルデータとに基づいて、前記工具に前記不具合が生じているか否かの前記工具不具合検知結果を生成するように構成され、前記作業前分類モデルデータは、作業前に前記撮影手段により得られた作業前工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された作業前工具撮影画像のブロック毎に学習データをもとに前記不具合の存在確率を算出したものであり、前記作業後分類モデルデータは、作業後に前記撮影手段により得られた作業後工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された作業後工具撮影画像のブロック毎に学習データをもとに前記不具合の存在確率を算出したものであり、前記作業前回帰モデルデータは、作業前に前記撮影手段により得られた作業前工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された作業前工具撮影画像のブロック毎に学習データをもとにこのブロック中の前記不具合があると判断されたピクセル数を算出したものであり、前記作業後回帰モデルデータは、作業後に前記撮影手段により得られた作業後工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された作業後工具撮影画像のブロック毎に学習データをもとにこのブロック中の前記不具合があると判断されたピクセル数を算出したものであることを特徴とする工作機械に係るものである。

また、請求項１〜４いずれか１項に記載の工作機械において、前記工具不具合検知装置は、前記分類モデルデータと前記回帰モデルデータとの同一座標のブロック同士の前記不具合の存在確率と、前記不具合があると判断されたピクセル数を照合し、当該ブロックにおいて分類モデルデータの前記不具合の存在確率が所定値以上で且つ回帰モデルデータのピクセル数が所定数以上であった場合に当該ブロックに前記不具合が有るとして処理するように構成されていることを特徴とする工作機械に係るものである。

本発明は上述のように構成したから、水滴、陰影、汚れなどの画像上のノイズの影響に強く、検知対象外領域を設定せずとも誤検知を防止し、刃物台に取り付けられている工具に切粉が付着している不具合や刃物台に取り付けられている工具に欠け若しくはキズが生じている不具合の有無を精度良く検知することができる工具不具合検知装置を備え、作業者（オペレータ）の工作機械への対応時間を低減し、高い稼働率を実現可能とする画期的な工作機械となる。

実施例１における分類モデル手段により作業前工具撮影画像から生成された作業前分類モデルデータ及び回帰モデル手段により作業前工具撮影画像から生成された作業前回帰モデルデータの可視化画像を示す図である。 実施例１における分類モデル手段により作業後工具撮影画像から生成された作業後分類モデルデータ及び回帰モデル手段により作業後工具撮影画像から生成された作業後回帰モデルデータの可視化画像を示す図である。 実施例１における分類モデル手段により生成された分類モデルデータと回帰モデル手段により生成された回帰モデルデータとから生成された切粉検出結果（切粉有り）の可視化画像を示す図である。 実施例１における分類モデル手段により作業前工具撮影画像から生成された作業前分類モデルデータ及び回帰モデル手段により作業前工具撮影画像から生成された作業前回帰モデルデータの可視化画像を示す図である。 実施例１における分類モデル手段により作業後工具撮影画像から生成された作業後分類モデルデータ及び回帰モデル手段により作業後工具撮影画像から生成された作業後回帰モデルデータの可視化画像を示す図である。 実施例１における分類モデル手段により生成された分類モデルデータと回帰モデル手段により生成された回帰モデルデータとから生成された切粉検出結果（切粉無し）の可視化画像を示す図である。 実施例１における切粉付着検知装置の切粉学習状態を示す図である。 実施例２における分類モデル手段により作業前工具撮影画像から生成された作業前分類モデルデータ及び回帰モデル手段により作業前工具撮影画像から生成された作業前回帰モデルデータの可視化画像を示す図である。 実施例２における分類モデル手段により作業後工具撮影画像から生成された作業後分類モデルデータ及び回帰モデル手段により作業後工具撮影画像から生成された作業後回帰モデルデータの可視化画像を示す図である。 実施例２における分類モデル手段により生成された分類モデルデータと回帰モデル手段により生成された回帰モデルデータとから生成された欠け・キズ検出結果（欠け若しくはキズ有り）の可視化画像を示す図である。

好適と考える本発明の実施形態を、図面に基づいて本発明の作用を示して簡単に説明する。

本発明の工作機械に備えられる工具不具合検知装置は、刃物台に取り付けられた工具を撮影した工具撮影画像からディープラーニングの一手法である畳み込みニューラルネットワーク（CNN＝Convolutional Neural Network）を用いて学習された学習データ（学習済み分類モデル及び学習済み回帰モデル）をもとに、分類モデル手段で工具撮影画像中の工具に切粉が付着している不具合や工具撮影画像中の工具に欠け若しくはキズが生じている不具合の存在確率を算出した分類モデルデータを生成し、回帰モデル手段で工具撮影画像中の切粉、欠け、キズといった不具合のピクセル数を算出した回帰モデルデータを生成し、この分類モデルデータと回帰モデルデータの二つのデータから工具に前記不具合が生じているか否かの工具不具合検知結果を生成する。

具体的には、分類モデル手段においては、工具撮影画像を所定ピクセルサイズ（例えば６４×６４ピクセル）にブロック分割し、学習データ（ブロック分割したブロック毎に前記不具合の有無をラベル付けし、前記不具合のピクセル値やその配列パターンを畳み込みニューラルネットワークを用いて学習し得られたデータ（情報））をもとに、ブロック毎に前記不具合の存在確率を算出した分類モデルデータが生成される。

また、回帰モデル手段においては、工具撮影画像を所定ピクセルサイズ（例えば６４×６４ピクセル）にブロック分割し、学習データ（ブロック分割したブロック毎に前記不具合が写っているピクセル数をカウントし、前記不具合のピクセル値やその配列パターンを畳み込みニューラルネットワークを用いて学習し得られたデータ（情報））をもとに、ブロック毎に前記不具合に属するピクセル数を算出した回帰モデルデータが生成される。

そして、この分類モデルデータと回帰モデルデータに基づいて、例えば分類モデルデータと回帰モデルデータとの同一座標のブロック同士の前記不具合の存在確率と前記不具合があると判断されたピクセル数を照合し、当該ブロックにおいて分類モデルデータの前記不具合の存在確率が所定値以上で且つ回帰モデルデータのピクセル数が所定数以上であった場合に前記不具合有りとして処理した工具不具合検知結果を生成（出力）する。

このように、本発明の切粉付着検知装置は、ＡＩ（Artificial Intelligence）を用いることで水滴、陰影、汚れなどの画像上のノイズの影響を受けにくい検知が可能なものとなり、これまで検知対象外としなければならなかった領域（部位）も検知対象とすることができ、検知漏れが防止され、前記不具合の有無を精度良く検知することができる工具不具合検知装置を備える画期的な工作機械となる。

本発明の具体的な実施例１について図面に基づいて説明する。

本実施例は、本発明の工作機械に備えられる工具不具合検知装置を、工具に切粉が付着しているか否かを検知する切粉付着検知装置に構成した場合である。

すなわち、本実施例は、刃物台に取り付けられている工具に切粉が付着しているか否かを検知する切粉付着検知装置を備える工作機械である。

この本実施例に備えられる切粉付着検知装置は、ＡＩ（Artificial Intelligence）が用いられていて、このＡＩを用いた学習によりこれまで識別が難しかった水滴、陰影、汚れなどの画像上のノイズと切粉との識別を可能にし、検知対象外領域の設定を不要とする共により高精度に切粉の有無を検知（検出）することができるように構成されている。

具体的には、本実施例に備えられる切粉付着検知装置は、ＵＳＢカメラやＷｅｂカメラなどの撮影手段により得られた工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された工具撮影画像のブロック毎に学習データをもとに切粉の存在確率を算出した分類モデルデータを生成する分類モデル手段と、撮影手段により得られた工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された工具撮影画像のブロック毎に学習データをもとにこのブロック中の切粉があると判断されたピクセル数を算出した回帰モデルデータを生成する回帰モデル手段とを備え、この分類モデル手段により生成された分類モデルデータと、回帰モデル手段により生成された回帰モデルデータとに基づいて、工具に切粉が付着しているか否かを判別した切粉検出結果を生成するように構成されている。

より具体的には、分類モデル手段は、撮影手段により得られた工具撮影画像（静止画像）を６４×６４ピクセルのブロックに分割し、言い換えると、工具撮影画像を１ブロックが６４×６４ピクセルのグリッド状（格子状）にブロック分割し、このブロック分割された工具撮影画像のブロック毎にディープラーニングの畳み込みニューラルネットワークにより得られた学習データをもとに切粉の存在確率を示した分類モデルデータを生成（出力）するように構成（プログラミング）されている。

さらに具体的に説明すると、分類モデル手段は、作業前（加工開始前、すなわち切粉が付着していない状態）の工具を撮影した作業前工具撮影画像から生成される作業前分類モデルデータと、作業後（加工後）の工具を撮影した作業後工具撮影画像から生成される作業後分類モデルデータとの差分により差分分類モデルデータを生成し、この差分分類モデルデータにおいて、作業前後の切粉存在確率の差が一定の閾値を超えたブロックのみを切粉と認識し、その切粉存在確率を出力すると共に、この切粉と認識されたブロックが一定数以上連結した状態で出力されたものを最終的に切粉と識別してその存在確率を示した分類モデルデータを生成（出力）するように構成されている。

すなわち、本実施例に備えられる切粉付着検知装置の分類モデル手段は、作業前に生成される作業前分類モデルデータと作業後に生成される作業後分類モデルデータとの差分を利用して分類モデルデータを生成することで、工具撮影画像中における切粉に似た部品などを切粉と誤認識してしまうことを可及的に防止すると共に、作業前後の切粉存在確率の差が一定の閾値を超えて切粉と認識されたブロックが一定数以上連結した状態で出力されたものを最終的に切粉と識別することで、バイトホルダーの一部分を切粉として誤認識したり、ホルダー下部や前面ガラスに付着した水滴などの液滴を切粉として誤認識したりすることを可及的に防止して、精度の高い分類モデルデータを生成するように構成されている。

また、回帰モデル手段は、撮影手段により得られた工具撮影画像（静止画像）を６４×６４ピクセルのブロックに分割し、言い換えると、工具撮影画像を１ブロックが６４×６４ピクセルのグリッド状（格子状）にブロック分割し、このブロック分割された工具撮影画像のブロック毎にディープラーニングの畳み込みニューラルネットワークにより得られる学習データをもとにこのブロック中の切粉があると判断されたピクセル数を示した回帰モデルデータを生成するように構成（プログラミング）されている。

具体的には、回帰モデル手段は、前述した分類モデル手段同様、作業前（加工開始前、すなわち切粉が付着していない状態）の工具を撮影した作業前工具撮影画像から生成される作業前回帰モデルデータと、作業後（加工後）の工具を撮影した作業後工具撮影画像から生成される作業後回帰モデルデータとの差分により回帰モデルデータを生成するように構成されている。

本実施例に備えられる切粉付着検知装置は、前述したようにこの分類モデル手段により生成された分類モデルデータと、回帰モデル手段により生成された回帰モデルデータとに基づいて、工具に切粉が付着しているか否かを判別した切粉検出結果を生成するように構成されているが、具体的には、分類モデルデータと回帰モデルデータとの同一座標のブロック同士の切粉存在確率と切粉があると判断されたピクセル数を照合し、当該ブロックにおいて分類モデルデータが示す切粉存在確率が所定値以上で且つ回帰モデルデータが示すピクセル数が所定数以上であった場合に切粉有りとして処理するように構成されている。

より具体的には、本実施例に備えられる切粉付着検知装置は、分類モデルデータにおいて切粉有りと認識されたブロックについて、回帰モデルデータの同一座標のブロックにおけるピクセル数を照合し、この回帰モデルデータにおけるピクセル数が所定数に達していない場合、分類モデルデータに示される結果を却下し、この回帰モデルデータの結果によって精査した精査後分類モデルデータを工具に切粉が付着しているか否かを判別した切粉検出結果として生成（出力）するように構成されている。

すなわち、本実施例に備えられる切粉付着検知装置の切粉検知処理は、以下のような手順で行われる。なお、図１〜３は切粉有りの検知事例であり、図４〜６は切粉無しの検知事例を示すものである。

先ず、図１（若しくは図４）に示すように、作業前の工具を撮影手段により撮影取得した作業前工具撮影画像から分類モデル手段により作業前分類モデルデータを生成し、回帰モデル手段により作業前回帰モデルデータを生成する。

次に、図２（若しくは図５）に示すように、作業後の工具を撮影手段により撮影取得した作業後工具撮影画像から分類モデル手段により作業後分類モデルデータを生成し、回帰モデル手段により作業後回帰モデルデータを生成する。

次に、分類モデル手段により作業前分類モデルデータと作業後分類モデルデータとの差分をとって差分分類モデルデータを生成し、この差分分類モデルデータにおいて切粉有りと出力されたブロックに対して、作業前後の切粉存在確率の差が一定の閾値を超えたブロックのみを切粉と認識し、その切粉存在確率を出力すると共に、この切粉と認識されたブロックが一定数以上連結した状態で出力されたものを最終的に切粉と認識してその存在確率を示した分類モデルデータを生成し、回帰モデル手段により作業前回帰モデルデータと作業後回帰モデル手段との差分をとった差分回帰モデルデータを回帰モデルデータとして生成する。

次に、図３（若しくは図６）に示すように、切粉検出結果手段により分類モデル手段により生成された分類モデルデータと回帰モデル手段により生成された回帰モデルデータとを照合（調合）し、分類モデルデータにおいて切粉有りと認識されたブロックについて、回帰モデルデータの同一座標のブロックにおけるピクセル数を照合し、この回帰モデルデータにおけるピクセル数が所定数に達していない場合、分類モデルデータに示される結果を却下し、この回帰モデルデータの結果によって精査した精査後分類モデルデータを工具に切粉が付着しているか否かを判別した切粉検出結果として生成する。

また、本実施例に備えられる切粉付着検知装置の学習は、以下のように行われる。

まず、切粉が付着している工具を撮影した切粉有工具撮影画像を準備し、図７（ａ）に示すように、画像アノテーションツールを用いてこの切粉有工具撮影画像中の切粉を手作業にてマーキングする（切粉部分のポリゴンを囲む）。

具体的には、切粉有工具撮影画像中の切粉に対して「ｃｈｉｐ」若しくは「ｗｉｒｅ」のタグ付けをしたポリゴンで切粉部分を囲むようにマーキングする。

次に、この切粉をマーキングした画像をアノテーション作業により、図７（ｂ）に示すようなラベル付き画像に変換する。

最後に、このラベル付き画像に対して所定プログラムを実行し、６４×６４ピクセルのブロック毎に切粉の有無が正しく区別されているかどうか（図７（ｃ）に示すように切粉有りのブロックは色付き枠で表示される）を確認し、その後、この画像を畳み込みニューラルネットワークの学習用データに変換する。この際、分類モデルデータ用、回帰モデルデータ用を別々に作成する。

本実施例に備えられる切粉付着検知装置は、以上のように作成される学習用データを用いて分類モデルデータ及び回帰モデルデータをその最適なハイパーパラメータも含めて学習させることで、切粉の検知精度（識別力）を高めることができる。

なお、本実施例に備えられる切粉付着検知装置においては、分類モデル手段及び回帰モデル手段の各モデルデータ生成プログラムは、画像にアノテーションして生成されたＪＳＯＮファイルから一括して対応するラベル画像を生成するためのスクリプト、ラベル画像を可視化して切粉領域にポジティブなラベルが付与されているかどうかを確認するためのスクリプト、ラベル画像をまとめて、学習用のデータセットを作成するためのスクリプト、学習用のデータセットをもとに分類モデルデータ及び回帰モデルデータの最適なハイパーパラメータを探索し、モデルデータファイル及びパラメータ情報を生成するためのスクリプト、モデルデータを作成するためのスクリプト、学習に用いたデータセットに対するモデルの性能を再確認したいときに使用するためのスクリプト、分類モデルデータと回帰モデルデータの調合パラメータの学習や評価に使用するためのスクリプト、調合パラメータの学習に使用しなかったデータに対する最終的な評価結果をマシン毎に出力するためのスクリプト、及び1280×1024の任意の前後画像を含むディレクトリの親ディレクトリを指定し、検出結果を画面に表示するためのスクリプトの１０個のスクリプトからなるものが用いられている。

また、本実施例に備えられる切粉付着検知装置は、上述のようにして生成される切粉検出結果から切粉無しと判断した場合は、工作機械側に作業可能の信号を出力し、また、切粉有りと判断した場合は、工作機械側に作業中断の信号を出力すると共に、切粉の付着を作業者に知らせるための警報を発報するように構成されている。なお、警報の発報は切粉付着検知装置から切粉有りの信号を受けた工作機械側で発報する構成としても良い。

本実施例は、以上のように構成される切粉付着検知装置を備えるから、切粉付着検知装置の誤検知や検知漏れにより切粉が付着した状態での作業による製品不良の発生が可及的に低減されることで、作業者（オペレータ）の工作機械への対応時間が低減され、作業者の負荷が軽減されると共に、高い装置稼働率を実現可能とする画期的な工作機械となる。

本発明の具体的な実施例２について図面に基づいて説明する。

本実施例は、本発明の工作機械に備えられる工具不具合検知装置を、工具に欠け若しくはキズが生じているか否かを検知する欠け・キズ検知装置に構成した場合である。

すなわち、本実施例は、刃物台に取り付けられている工具に欠け若しくはキズが生じているか否かを検知する欠け・キズ検知装置を備える工作機械である。

この本実施例に備えられる欠け・キズ検知装置は、ＡＩ（Artificial Intelligence）が用いられていて、このＡＩを用いた学習によりこれまで識別が難しかったチップ自体の模様やチップブレーカーの模様などのノイズと欠けやキズとの識別を可能にし、検知対象外領域の設定を不要とすると共に、より高精度にチップの欠け若しくはキズの有無を検知（検出）することができるように構成されている。

具体的には、本実施例に備えられる工具不具合検知装置は、ＵＳＢカメラやＷｅｂカメラなどの撮影手段により得られた工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された工具撮影画像のブロック毎に学習データをもとに欠け若しくはキズの存在確率を算出した分類モデルデータを生成する分類モデル手段と、撮影手段により得られた工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された工具撮影画像のブロック毎に学習データをもとにこのブロック中の欠け若しくはキズがあると判断されたピクセル数を算出した回帰モデルデータを生成する回帰モデル手段とを備え、この分類モデル手段により生成された分類モデルデータと、回帰モデル手段により生成された回帰モデルデータとに基づいて、工具に欠け若しくはキズが生じているか否かを判別した欠け・キズ検出結果を生成するように構成されている。

より具体的には、分類モデル手段は、撮影手段により得られた工具撮影画像（静止画像）を６４×６４ピクセルのブロックに分割し、言い換えると、工具撮影画像を１ブロックが６４×６４ピクセルのグリッド状（格子状）にブロック分割し、このブロック分割された工具撮影画像のブロック毎にディープラーニングの畳み込みニューラルネットワークにより得られた学習データをもとに欠けやキズの存在確率を示した分類モデルデータを生成（出力）するように構成（プログラミング）されている。

さらに具体的に説明すると、分類モデル手段は、作業前（加工開始前、すなわち欠け若しくはキズが生じていない状態）の工具を撮影した作業前工具撮影画像から生成される作業前分類モデルデータと、作業後（加工後）の工具を撮影した作業後工具撮影画像から生成される作業後分類モデルデータとの差分により差分分類モデルデータを生成し、この差分分類モデルデータにおいて、作業前後の欠け若しくはキズの存在確率の差が一定の閾値を超えたブロックのみを欠け若しくはキズと認識し、その欠け若しくはキズの存在確率を出力すると共に、この欠け若しくはキズと認識されたブロックが一定数以上連結した状態で出力されたものを最終的に欠け若しくはキズと識別してその存在確率を示した分類モデルデータを生成（出力）するように構成されている。

すなわち、本実施例に備えられる欠け・キズ検知装置の分類モデル手段は、作業前に生成される作業前分類モデルデータと作業後に生成される作業後分類モデルデータとの差分を利用して分類モデルデータを生成することで、工具撮影画像中における欠け若しくはキズに似た模様などを欠け若しくはキズと誤認識してしまうことを可及的に防止すると共に、作業前後の欠け若しくはキズの存在確率の差が一定の閾値を超えて欠け若しくはキズと認識されたブロックが一定数以上連結した状態で出力されたものを最終的に欠け若しくはキズと識別することで、チップの一部分を欠け若しくはキズとして誤認識したり、チップブレーカーの模様などを欠け若しくはキズとして誤認識したりすることを可及的に防止して、精度の高い分類モデルデータを生成するように構成されている。

また、回帰モデル手段は、撮影手段により得られた工具撮影画像（静止画像）を６４×６４ピクセルのブロックに分割し、言い換えると、工具撮影画像を１ブロックが６４×６４ピクセルのグリッド状（格子状）にブロック分割し、このブロック分割された工具撮影画像のブロック毎にディープラーニングの畳み込みニューラルネットワークにより得られる学習データをもとにこのブロック中の欠け若しくはキズがあると判断されたピクセル数を示した回帰モデルデータを生成するように構成（プログラミング）されている。

具体的には、回帰モデル手段は、前述した分類モデル手段同様、作業前（加工開始前、すなわち欠けやキズが生じていない状態）の工具を撮影した作業前工具撮影画像から生成される作業前回帰モデルデータと、作業後（加工後）の工具を撮影した作業後工具撮影画像から生成される作業後回帰モデルデータとの差分により回帰モデルデータを生成するように構成されている。

本実施例に備えられる欠け・キズ検知装置は、前述したようにこの分類モデル手段により生成された分類モデルデータと、回帰モデル手段により生成された回帰モデルデータとに基づいて、工具に欠け若しくはキズが生じているか否かを判別した欠け・キズ検出結果を生成するように構成されているが、具体的には、分類モデルデータと回帰モデルデータとの同一座標のブロック同士の欠け若しくはキズの存在確率と欠け若しくはキズがあると判断されたピクセル数を照合し、当該ブロックにおいて分類モデルデータが示す欠け若しくはキズの存在確率が所定値以上で且つ回帰モデルデータが示すピクセル数が所定数以上であった場合に欠け若しくはキズが有るとして処理するように構成されている。

より具体的には、本実施例に備えられる欠け・キズ検知装置は、分類モデルデータにおいて欠け若しくはキズが有ると認識されたブロックについて、回帰モデルデータの同一座標のブロックにおけるピクセル数を照合し、この回帰モデルデータにおけるピクセル数が所定数に達していない場合、分類モデルデータに示される結果を却下し、この回帰モデルデータの結果によって精査した精査後分類モデルデータを工具に欠け若しくはキズが生じているか否かを判別した欠け・キズ検出結果として生成（出力）するように構成されている。

すなわち、本実施例に備えられる欠け・キズ検知装置の欠け・キズ検知処理は、以下のような手順で行われる。なお、図８〜１０は欠け若しくはキズ有りの検知事例を示すものである。

先ず、図８に示すように、作業前の工具を撮影手段により撮影取得した作業前工具撮影画像から分類モデル手段により作業前分類モデルデータを生成し、回帰モデル手段により作業前回帰モデルデータを生成する。

次に、図９に示すように、作業後の工具を撮影手段により撮影取得した作業後工具撮影画像から分類モデル手段により作業後分類モデルデータを生成し、回帰モデル手段により作業後回帰モデルデータを生成する。

次に、分類モデル手段により作業前分類モデルデータと作業後分類モデルデータとの差分をとって差分分類モデルデータを生成し、この差分分類モデルデータにおいて欠け若しくはキズが有ると出力されたブロックに対して、作業前後の欠け若しくはキズの存在確率の差が一定の閾値を超えたブロックのみを欠け若しくはキズと認識し、その欠け若しくはキズの存在確率を出力すると共に、この欠け若しくはキズと認識されたブロックが一定数以上連結した状態で出力されたものを最終的に欠け若しくはキズと認識してその存在確率を示した分類モデルデータを生成し、回帰モデル手段により作業前回帰モデルデータと作業後回帰モデル手段との差分をとった差分回帰モデルデータを回帰モデルデータとして生成する。

次に、図１０に示すように、欠け・キズ検出結果手段により分類モデル手段により生成された分類モデルデータと回帰モデル手段により生成された回帰モデルデータとを照合（調合）し、分類モデルデータにおいて欠け若しくはキズが有ると認識されたブロックについて、回帰モデルデータの同一座標のブロックにおけるピクセル数を照合し、この回帰モデルデータにおけるピクセル数が所定数に達していない場合、分類モデルデータに示される結果を却下し、この回帰モデルデータの結果によって精査した精査後分類モデルデータを工具（チップ）に欠け若しくはキズが生じているか否かを判別した欠け・キズ検出結果として生成する。

また、本実施例に備えられる欠け・キズ検知装置の学習は、以下のように行われる。

まず、欠け若しくはキズが生じている工具を撮影した欠け・キズ有工具撮影画像を準備し、画像アノテーションツールを用いてこの欠け・キズ有工具撮影画像中の欠け若しくはキズを手作業にてマーキングする（欠け若しくはキズ部分のポリゴンを囲む）。

具体的には、欠け・キズ有工具撮影画像中の欠け若しくはキズに対して「ｃｈｉｐ」若しくは「ｗｅａｒ」のタグ付けをしたポリゴンで欠け若しくはキズ部分を囲むようにマーキングする。

次に、この欠け若しくはキズをマーキングした画像をアノテーション作業により、ラベル付き画像に変換する。

最後に、このラベル付き画像に対して所定プログラムを実行し、６４×６４ピクセルのブロック毎に欠け若しくはキズの有無が正しく区別されているかどうかを確認し、その後、この画像を畳み込みニューラルネットワークの学習用データに変換する。この際、分類モデルデータ用、回帰モデルデータ用を別々に作成する。

本実施例に備えられる欠け・キズ検知装置は、以上のように作成される学習用データを用いて分類モデルデータ及び回帰モデルデータをその最適なハイパーパラメータも含めて学習させることで、欠け若しくはキズの検知精度（識別力）を高めることができる。

なお、本実施例に備えられる欠け・キズ検知装置においては、分類モデル手段及び回帰モデル手段の各モデルデータ生成プログラムは、画像にアノテーションして生成されたＪＳＯＮファイルから一括して対応するラベル画像を生成するためのスクリプト、ラベル画像を可視化して欠け若しくはキズの領域にポジティブなラベルが付与されているかどうかを確認するためのスクリプト、ラベル画像をまとめて、学習用のデータセットを作成するためのスクリプト、学習用のデータセットをもとに分類モデルデータ及び回帰モデルデータの最適なハイパーパラメータを探索し、モデルデータファイル及びパラメータ情報を生成するためのスクリプト、モデルデータを作成するためのスクリプト、学習に用いたデータセットに対するモデルの性能を再確認したいときに使用するためのスクリプト、分類モデルデータと回帰モデルデータの調合パラメータの学習や評価に使用するためのスクリプト、調合パラメータの学習に使用しなかったデータに対する最終的な評価結果をマシン毎に出力するためのスクリプト、及び１２８０×１０２４の任意の前後画像を含むディレクトリの親ディレクトリを指定し、検出結果を画面に表示するためのスクリプトの１０個のスクリプトからなるものが用いられている。

また、本実施例に備えられる欠け・キズ検知装置は、上述のようにして生成される欠け・キズ検出結果から欠け若しくはキズが無いと判断した場合は、工作機械側に作業可能の信号を出力し、また、欠け若しくはキズが有ると判断した場合は、工作機械側に作業中断の信号を出力すると共に、欠け若しくはキズが生じていることを作業者に知らせるための警報を発報するように構成されている。なお、警報の発報は欠け・キズ検知装置から欠け若しくはキズが有るとの信号を受けた工作機械側で発報する構成としても良い。

本実施例は、以上のように構成される欠け・キズ検知装置を備えるから、欠け・キズ検知装置の誤検知や検知漏れによりチップに欠け若しくはキズが生じている状態での作業による製品不良の発生が可及的に低減される画期的な工作機械となる。

なお、本発明は、実施例１，２に限られるものではなく、各構成要件の具体的構成は適宜設計し得るものである。

Claims (5)

1. 刃物台に取り付けられている工具に切粉が付着している不具合や刃物台に取り付けられている工具に欠け若しくはキズが生じている不具合の有無を検知する工具不具合検知装置を備える工作機械であって、前記工具不具合検知装置は、撮影手段により得られた工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された工具撮影画像のブロック毎に学習データをもとに前記不具合の存在確率を算出した分類モデルデータを生成する分類モデル手段と、撮影手段により得られた工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された工具撮影画像のブロック毎に学習データをもとにこのブロック中の前記不具合があると判断されたピクセル数を算出した回帰モデルデータを生成する回帰モデル手段とを備え、前記分類モデル手段により生成された前記分類モデルデータと、前記回帰モデル手段により生成された回帰モデルデータとに基づいて、前記工具に前記不具合が生じているか否かの工具不具合検知結果を生成するように構成されていることを特徴とする工作機械。
2. 請求項１記載の工作機械において、前記工具不具合検知装置は前記工具に切粉が付着している不具合の有無を検知するものであることを特徴とする工作機械。
3. 請求項１記載の工作機械において、前記工具不具合検知装置は前記工具に欠け若しくはキズが生じている不具合の有無を検知するものであることを特徴とする工作機械。
4. 請求項１〜３いずれか１項に記載の工作機械において、前記工具不具合検知装置は、前記分類モデル手段により生成される作業前分類モデルデータと作業後分類モデルデータとの差分により前記分類モデルデータを生成すると共に、前記回帰モデル手段により生成される作業前回帰モデルデータと作業後回帰モデルデータとの差分により前記回帰モデルデータを生成し、この回帰モデルデータと前記分類モデルデータとに基づいて、前記工具に前記不具合が生じているか否かの前記工具不具合検知結果を生成するように構成され、前記作業前分類モデルデータは、作業前に前記撮影手段により得られた作業前工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された作業前工具撮影画像のブロック毎に学習データをもとに前記不具合の存在確率を算出したものであり、前記作業後分類モデルデータは、作業後に前記撮影手段により得られた作業後工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された作業後工具撮影画像のブロック毎に学習データをもとに前記不具合の存在確率を算出したものであり、前記作業前回帰モデルデータは、作業前に前記撮影手段により得られた作業前工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された作業前工具撮影画像のブロック毎に学習データをもとにこのブロック中の前記不具合があると判断されたピクセル数を算出したものであり、前記作業後回帰モデルデータは、作業後に前記撮影手段により得られた作業後工具撮影画像を所定ピクセルサイズ毎にブロック分割し、このブロック分割された作業後工具撮影画像のブロック毎に学習データをもとにこのブロック中の前記不具合があると判断されたピクセル数を算出したものであることを特徴とする工作機械。
5. 請求項１〜４いずれか１項に記載の工作機械において、前記工具不具合検知装置は、前記分類モデルデータと前記回帰モデルデータとの同一座標のブロック同士の前記不具合の存在確率と、前記不具合があると判断されたピクセル数を照合し、当該ブロックにおいて分類モデルデータの前記不具合の存在確率が所定値以上で且つ回帰モデルデータのピクセル数が所定数以上であった場合に当該ブロックに前記不具合が有るとして処理するように構成されていることを特徴とする工作機械。