JP2022034723A - 画像検査装置 - Google Patents

Abstract

【課題】全体欠陥だけでなく、部分欠陥を含めた異常を検知することができる画像検査装置を提供する。【解決手段】画像検査装置１００は、処理回路１１０と、記憶装置１２０とを備えている。記憶装置１２０には、検査対象の全体画像のデータを入力とし、全体欠陥が発生しているか否かを判定する第１分類器のデータと、全体画像の一部分を切り出した部分画像のデータを入力とし、部分欠陥が発生しているか否かを判定する第２分類器のデータと、が記憶されている。処理回路１１０は、第１分類器を用いて検査対象に全体欠陥が発生しているか否かを判定する第１判定と、第２分類器を用いて検査対象に部分欠陥が発生しているか否かを判定する第２判定と、を実行する。また、処理回路１１０は、第１判定の結果及び第２判定の結果のうちいずれか一方でも欠陥が発生していることを示すものであった場合には、検査対象が不適合品であるとの出力を行う。【選択図】図１

Description

この発明は検査対象を撮像した画像のデータに基づいて異常の有無を検査する画像検査装置に関するものである。

特許文献１には、検査対象の画像のデータからなる訓練データを用いて学習した学習済みのニューラルネットワークに、検査対象の画像のデータを入力して検査対象の良否を判定する画像検査装置が開示されている。

特開２０１９－８７１８１号公報

ところで、検査対象に生じる異常の態様は様々であり、生じた異常の種類によって画像のデータに生じる変化はそれぞれ異なる。例えば、検査対象の全体像に相違が生じる異常もあれば、検査対象の一部にのみ相違が生じる異常もある。画像検査装置は、こうした多様な種類の異常を検知できることが望ましい。

以下、上記課題を解決するための手段及びその作用効果について記載する。
上記課題を解決するための画像検査装置は、検査対象の全体像を撮像した全体画像のデータを入力とし、不適合品の特徴が前記検査対象の全体像に現れる全体欠陥が発生しているか否かを判定する教師有り学習済みニューラルネットワークである第１分類器のデータと、前記第１分類器に入力される前記全体画像の一部分を切り出した部分画像のデータを入力とし、不適合品の特徴が前記検査対象の一部分に現れる部分欠陥が発生しているか否かを判定する教師有り学習済みニューラルネットワークである第２分類器のデータと、を記憶した記憶装置を備えている。また、この画像検査装置は、同一の全体画像に基づき、前記全体画像のデータを前記第１分類器に入力して前記検査対象に前記全体欠陥が発生しているか否かを判定する第１判定と、前記全体画像から切り出した前記部分画像のデータを前記第２分類器に入力して前記検査対象に前記部分欠陥が発生しているか否かを判定する第２判定と、を実行する処理回路を備えている。そして、この画像検査装置では、前記処理回路が、前記第１判定の結果と前記第２判定の結果とがいずれも否であることを条件に、前記検査対象が適合品であるのとの出力を行い、前記第１判定の結果及び前記第２判定の結果のうちいずれか一方でも欠陥が発生していることを示すものであった場合には、前記検査対象が不適合品であるとの出力を行う。

部分欠陥による影響は検査対象の画像のデータの一部分に現れるため、全体画像のデータを入力として、１つの分類器を用いて全体欠陥だけでなく部分欠陥も含む欠陥の有無を判定しようとした場合、部分欠陥を見落としてしまうおそれがある。

これに対して、上記構成によれば、全体画像のデータを入力として全体欠陥が発生しているか否かを判定する第１分類器を用いた第１判定と、部分画像のデータを入力として部分欠陥が発生しているか否かを判定する第２分類器を用いた第２判定とを組み合わせて検査対象の良否、すなわち検査対象が適合品であるか不適合品であるかを判定している。

部分欠陥の検出に特化した第２分類器を用いた第２判定の結果も考慮して検査対象の良否を判定するため、部分欠陥の見落としを抑制することができる。すなわち、上記の画像検査装置によれば、全体欠陥だけでなく、部分欠陥を含めた異常を検知することができる。

一実施形態の画像検査装置と、同画像検査装置を備えた画像検査システムの概略構成を示す模式図。 同実施形態にかかる画像検査システムによって検査するステータの上面図。 ステータの分解斜視図。 コイルエンドの部分を示す拡大図。 全体画像の例を示す模式図。 全体欠陥の特徴が現れている全体画像の例を示す模式図。 全体欠陥の特徴が現れている全体画像の例を示す模式図。 部分欠陥の特徴が現れている全体画像の例を示す模式図。 部分欠陥の特徴が現れている全体画像の例を示す模式図。 部分欠陥の特徴が現れている全体画像の例を示す模式図。 全体画像からの部分画像の切り出しについて説明する模式図。 画像検査装置が実行するステータの検査にかかる処理の流れを示すフローチャート。 第１判定における処理の流れを示すフローチャート。 第２判定における処理の流れを示すフローチャート。 個別判定における処理の流れを示すフローチャート。 総合判定における処理の流れを示すフローチャート。

以下、画像検査装置の一実施形態について、図１～図１６を参照して説明する。
図１は画像検査装置１００を備えた画像検査システム１０を示している。この画像検査システム１０は、モータジェネレータを構成するステータ２０を検査するシステムである。

画像検査システム１０は、カメラ２００と、画像検査装置１００と、モニタ３００とを備えている。カメラ２００は、ステータコイル２７の溶接箇所を撮影する。画像検査装置１００は、カメラ２００で撮像した画像のデータを用いて溶接箇所の良否を判定する。モニタ３００は、画像検査装置１００に接続されており、画像検査装置１００から出力された検査結果を表示する。

画像検査装置１００は、プログラムが記憶されている記憶装置１２０と、記憶装置１２０に記憶されているプログラムを実行して検査及び検査結果の出力などの処理を実行する処理回路１１０と、を備えている。

記憶装置１２０には、入力された画像のデータに基づいて検査対象であるステータコイル２７の溶接箇所に欠陥が発生しているか否かを判定する分類器のデータが記憶されている。詳細は後述するが、分類器は教師有り学習によって訓練された学習済みのニューラルネットワークである。

次に、ステータ２０の構造について説明する。ステータ２０は、例えば、ハイブリッド車両に搭載される三相交流モータジェネレータを構成する部品である。
図２に示すように、ステータ２０は、円環状のステータコア２１と、ステータコア２１に組み付けられたステータコイル２７を含んでいる。ステータコイル２７は、Ｕ相とＶ相とＷ相の三相のコイルを構成している。

ステータコイル２７には、３つの接続導線を介して３つの接続端子が接続されている。具体的には、ステータコイル２７のＵ相には、第１接続導線２５ｕが接続されている。ステータコイル２７から引き出された接続導線２５ｕの端部に第１接続端子２６ｕが取り付けられている。ステータコイル２７のＶ相には、第２接続導線２５ｖが接続されている。ステータコイル２７から引き出された接続導線２５ｖの端部に第２接続端子２６ｖが接続されている。ステータコイル２７のＷ相には、第３接続導線２５ｗが接続されている。ステータコイル２７から引き出された接続導線２５ｗの端部に第３接続端子２６ｗが接続されている。

図３に示すように、ステータコイル２７は、複数のセグメントコイル２４をステータコア２１に組み込んで、セグメントコイル２４同士をＴＩＧ溶接して接合することによって形成される。セグメントコイル２４は、絶縁被膜が表面に形成された導線をＵ字型に曲げて形成されている。

円環状のステータコア２１の内周側には、径方向内側に延びているティース２２が均等な間隔で無数に設けられている。セグメントコイル２４は、ティース２２同士の間に形成された隙間であるスロット２３に差し込まれて、ステータコア２１に組み付けられる。

図４に示すように、ステータコア２１に組み付けられたセグメントコイル２４は、ステータコア２１から飛び出した部分が折り曲げられる。これにより、組み付けられた無数のセグメントコイル２４の端部であるコイルエンド２４ａが、ステータコア２１の径方向に並んだ列をなした状態にされる。図４に示す例では、１０個のコイルエンド２４ａがステータコア２１の径方向に並んで１つの列を形成している。こうした１０個のコイルエンド２４ａからなる列がステータコア２１の中心を取り囲むように、等角度間隔で無数に並んでいる。

このステータ２０では、各列を形成している１０個のコイルエンド２４ａを、隣り合う２個毎に溶接して接合することにより、セグメントコイル２４同士をステータコア２１の周方向において接続している。こうしてセグメントコイル２４を接合することによってステータコア２１の中心を取り囲むように延びているステータコイル２７が形成されている。

このようにステータ２０においては、ステータコイル２７に無数の溶接箇所が存在している。画像検査システム１０は、ステータ２０におけるステータコイル２７の溶接箇所を撮像する。そして、撮像した溶接箇所の画像のデータを画像検査装置１００で診断し、各溶接箇所に欠陥がないかを検査する。さらに、画像検査装置１００は、ステータ２０における全ての溶接箇所の検査結果に基づいてステータ２０の良否、すなわちステータ２０が製品としての基準を満たした適合品であるのか基準を満たしていない不適合品であるかを判定する。

画像検査システム１０では、ステータコイル２７の全ての溶接箇所が収まるようにステータの軸方向からカメラ２００でステータ２０を撮像する。そして、撮影した画像から各溶接箇所の画像を切り出して各溶接箇所の検査を行う。

図５は、撮影した画像から切り出した１つの溶接箇所の画像を示している。この画像には、画像検査装置１００の検査対象である溶接箇所の全体像が収まっている。図５に示すように、溶接箇所では、２つのコイルエンド２４ａがＴＩＧ溶接され、一体になって球状の溶接玉２４ｂを形成している。

画像検査システム１０では、こうした溶接箇所の画像のデータを画像検査装置１００に入力して製品として不適格な欠陥が溶接箇所に生じていないかを診断する。なお、溶接箇所に生じる欠陥には、様々な種類がある。

次に、図５～図１０を参照して画像検査装置１００が検出する欠陥の種類について説明する。図５～図７は溶接箇所の全体像に特徴が現れる欠陥である全体欠陥が生じている場合の画像ＩＭの例を示している。そして、図８～図１０は溶接箇所の一部分に特徴が現れる欠陥である部分欠陥が生じている場合の画像ＩＭの例を示している。

図５に示す画像ＩＭは、全体欠陥のうち、溶接玉２４ｂが大きすぎる欠陥が生じている場合の例を示している。ステータコイル２７の溶接箇所における溶接玉２４ｂの大きさには基準を設けている。例えば、ステータ２０に対しては、溶接玉２４ｂの直径の基準値Ｄｔｈを設定している。画像検査装置１００は、入力された画像ＩＭのデータに基づいて溶接玉２４ｂの直径が基準値Ｄｔｈから乖離しているものを欠陥として検知する。

図６に示す画像ＩＭは、全体欠陥のうち、溶接玉２４ｂの位置がずれている欠陥、いわゆる「玉だれ」が生じている場合の例を示している。画像検査装置１００は、入力された画像ＩＭのデータに基づいて溶接玉２４ｂの位置がずれた玉だれが生じているものも欠陥として検知する。

図７に示す画像ＩＭは、全体欠陥のうち、コイルエンド２４ａ同士が十分に接合されておらず、溶接玉２４ｂが２つに別れている欠陥、いわゆる「割れ」が生じている場合の例を示している。画像検査装置１００は、入力された画像ＩＭのデータに基づいて溶接玉２４ｂが２つに別れている割れが生じているものも欠陥として検知する。

図８に示す画像ＩＭは、部分欠陥のうち、溶接玉２４ｂに太線の四角で囲んだ部分のように、余分な部分が付着している欠陥であるバリＰＤ１が生じている場合の例を示している。画像検査装置１００は、入力された画像ＩＭのデータに基づいてバリＰＤ１が生じているものも欠陥として検知する。

図９に示す画像ＩＭは、部分欠陥のうち、溶接玉２４ｂの一部分に窪みが生じている欠陥である欠けＰＤ２が生じている場合の例を示している。画像検査装置１００は、入力された画像ＩＭのデータに基づいて欠けＰＤ２が生じているものも欠陥として検知する。

図１０に示す画像ＩＭは、部分欠陥のうち、溶接玉２４ｂの一部分に穴ＰＤ３が生じている場合の例を示している。画像検査装置１００は、入力された画像ＩＭのデータに基づいて穴ＰＤ３が生じているものも欠陥として検知する。

画像検査装置１００の記憶装置１２０には、画像のデータを入力として欠陥が発生しているか否かを判定する教師有り学習済みのニューラルネットワークからなる分類器のデータが記憶されている。画像検査装置１００では、処理回路１１０が記憶装置１２０に記憶されている分類器を利用して欠陥が発生しているか否かを判定し、その判定結果に基づいてステータ２０が適合品であるか不適合品であるかを判定する。

画像検査装置１００の記憶装置１２０には、各溶接箇所の全体像を撮像した画像ＩＭのデータを入力とし、不適合品の特徴が全体像に現れる全体欠陥が発生しているか否かを判定する第１分類器のデータが記憶されている。

第１分類器は、図５～図１０に示したような、１つの溶接箇所の全体像が収まる範囲の画像ＩＭのデータに対して、その画像ＩＭにおける溶接箇所に全体欠陥が存在しているか否かの情報を正解ラベルとして付与した訓練データを用いて予め教師あり学習したニューラルネットワークである。

第１分類器のニューラルネットワークは、畳み込みニューラルネットワークである。具体的には、第１分類器のニューラルネットワークは、畳み込み層とプーリング層を交互に複数層重ねた特徴抽出パートと、ソフトマックス法を用いて全体欠陥が発生しているか否かの分類を行う全結合層からなる識別パートとで構成されている。

第１分類器の訓練は、このニューラルネットワークに訓練データを入力して全体欠陥が発生しているか否かの判定結果を出力させ、出力された判定結果と、訓練データにおける正解ラベルとが一致するように、公差エントロピーを「０」に近づけるように各層における重みを調整することによって行われる。第１分類器の訓練処理では、無数の訓練データを入力してこうした重みの調整を繰り返し、公差エントロピーが十分に「０」に近い値になると、学習が完了したと判定する。そして、学習済みニューラルネットワークのデータを第１分類器のデータとして記憶装置１２０に記憶させて訓練処理は終了する。

ところで、図８～図１０に示したように、部分欠陥は画像ＩＭの一部分に現れるため、各溶接箇所の全体像を撮像した全体画像のデータである画像ＩＭのデータを入力として、１つの分類器を用いて全体欠陥だけでなく部分欠陥も含む欠陥の有無を判定しようとした場合、部分欠陥を見落としてしまうおそれがある。

そこで、画像検査装置１００では、第１分類器のデータに加えて、第１分類器に入力される画像ＩＭの一部分を切り出した部分画像のデータを入力とし、不適合品の特徴が溶接箇所の一部分に現れる部分欠陥が発生しているか否かを判定する第２分類器のデータを記憶装置１２０に記憶させている。

第２分類器は、全体画像である画像ＩＭから図１１に太線の四角で囲んで示した大きさの範囲を切り出した部分画像のデータに対して、その部分画像に部分欠陥が存在しているか否かの情報を正解ラベルとして付与した訓練データを用いて予め教師あり学習したニューラルネットワークである。なお、切り出す部分画像のサイズ、すなわち図１１に太線の四角で囲んで示した範囲のサイズは、部分欠陥が収まるサイズに設定されている。この画像検査装置１００では、例えば、全体画像である画像ＩＭのサイズが縦横数百ピクセルの正方形である場合、部分画像のサイズは縦横数十ピクセルの正方形になっている。

訓練データとしては、バリＰＤ１の画像、欠けＰＤ２の画像、穴ＰＤ３の画像、部分欠陥が存在していない画像を用意している。そして、バリＰＤ１の画像及び欠けＰＤ２の画像及び穴ＰＤ３の画像に対しては、欠陥が存在している旨の情報を正解ラベルとして付与して訓練データにしている。そして、部分欠陥が存在していない画像に対しては、欠陥が存在していない旨の情報を正解ラベルとして付与して訓練データにしている。

第２分類器のニューラルネットワークも、第１分類器のニューラルネットワークと同様の畳み込みニューラルネットワークである。具体的には、第２分類器のニューラルネットワークも、畳み込み層とプーリング層を交互に複数層重ねた特徴抽出パートと、ソフトマックス法を用いて欠陥が発生しているか否かの分類を行う全結合層からなる識別パートとで構成されている。しかし、第２分類器は、上述したように入力が、全体画像の一部分を切り出した画像のデータであり、出力が入力された画像に部分欠陥が存在しているか否かである点が第１分類器と異なっている。

第２分類器の訓練は、このニューラルネットワークに訓練データを入力して部分欠陥が存在しているか否かの判定結果を出力させ、出力された判定結果と、訓練データにおける正解ラベルとが一致するように、公差エントロピーを「０」に近づけるように各層における重みを調整することによって行われる。第２分類器の訓練処理では、無数の訓練データを入力してこうした重みの調整を繰り返し、公差エントロピーが十分に「０」に近い値になると、学習が完了したと判定する。そして、学習済みニューラルネットワークのデータを第２分類器のデータとして記憶装置１２０に記憶させて訓練処理は終了する。

画像検査装置１００では、全体画像のデータを入力として全体欠陥が発生しているか否かを判定する第１分類器を用いた第１判定と、部分画像のデータを入力として部分欠陥が発生しているか否かを判定する第２分類器を用いた第２判定とを組み合わせて各溶接箇所の良否を判定する。そして、その結果に基づいて、ステータ２０が適合品であるか不適合品であるかを判定する。

次に、図１２～図１６を参照しながら、画像検査システム１０の画像検査装置１００が実行するステータ２０の検査における処理の流れについて詳しく説明する。
図１２は、ステータ２０の検査における一連の処理の流れを示している。この一連の処理は、１つのステータ２０について、適合品であるか不適合品であるかを判定するまでの流れを示している。この一連の処理は、画像検査装置１００の処理回路１１０によって実行される。

図１２に示すように、処理回路１１０は、まず第１ステップＳ１として、カメラ２００で撮像したステータ２０の画像を取得する。ここで取得する画像は上述したようにステータコイル２７の全ての溶接箇所が収まるサイズの画像である。

次に、処理回路１１０は、第２ステップＳ２として、取得したステータ２０の画像から１つの全体画像を切り出す。すなわち、処理回路１１０は、無数の溶接箇所が収められている画像から１つの溶接箇所の画像を全体画像として切り出す。そして、第３ステップＳ３として、処理回路１１０は、切り出した全体画像について第１分類器を用いた第１判定を実行する。

図１３に示すように、第１判定では、処理回路１１０はまずステップＳ３００の処理において第１判定器を用いて判定を行う。具体的には、処理回路１１０は、第１判定器に全体画像のデータを入力し、入力した全体画像に収められている溶接箇所に全体欠陥が発生しているか否かを判定する。

次に、処理回路１１０は、ステップＳ３１０の処理において、第１判定器による判定結果が溶接箇所に異常があることを示す結果であるか否かを判定する。すなわち、ステップＳ３１０の処理では、処理回路１１０は、第１分類器の出力が全体欠陥が発生していることを示すものである場合には、溶接箇所に異常があると判定する。一方で、ステップＳ３１０の処理では、処理回路１１０は、第１分類器の出力が全体欠陥が発生していないことを示すものである場合には、ここでは異常があるとの判定は行わない。

ステップＳ３１０の処理において異常があると判定した場合（ステップＳ３１０：ＹＥＳ）には、処理回路１１０は、処理をステップＳ３２０へと進める。そして、処理回路１１０は、ステップＳ３２０の処理において、今回判定した溶接箇所に対する第１異常フラグを「ＯＮ」にする。一方で、ステップＳ３１０の処理において異常があると判定しなかった場合（ステップＳ３１０：ＮＯ）には、処理回路１１０は、処理をステップＳ３３０へと進める。そして、処理回路１１０は、ステップＳ３３０の処理において、今回判定した溶接箇所に対する第１異常フラグを「ＯＦＦ」にする。第１異常フラグは、判定した溶接箇所における第１判定の結果の情報を示すフラグであり、ステータ２０の溶接箇所の数だけ用意され、記憶装置１２０に記憶されている。こうして第１分類器を用いて判定を行い、その結果に応じて第１異常フラグを更新すると、処理回路１１０は、第１判定の処理を終了させる。

図１２に示すように、第３ステップＳ３の第１判定が完了すると、処理回路１１０は、次に、第４ステップＳ４として全体画像から部分画像を切り出す。そして、第５ステップＳ５として、処理回路１１０は、切り出した部分画像について第２分類器を用いた第２判定を実行する。なお、画像検査装置１００では、１つの全体画像に対して切り出す位置を変えながら部分画像の切り出しと第２判定とを繰り返し、全体画像に納めされている溶接箇所全体に対して部分欠陥の有無を検査する。

すなわち、図１１に示すように、最初は全体画像の左上の隅を原点として部分画像を切り出して（第４ステップＳ４）、第２判定を実行する（第５ステップＳ５）。そして、図１１に破線矢印で示すように、部分画像として切り出す位置を右に一定量移動させて部分画像を切り出して（第４ステップＳ４）、第２判定を行うこと（第５ステップＳ５）を繰り返す。このとき、切り出す位置を移動させる量は部分画像の横方向のサイズよりも小さい。すなわち数～数十ピクセルである。

なお、全体画像の左端まで部分画像を切り出す位置が移動して第２判定が完了すると、その度に、部分画像を切り出す位置を下に一定量移動させる。そして、再び左端から部分画像の切り出しと第２判定を繰り返す。

図１２に示すように、こうして全体画像の全ての範囲から部分画像を切り出して第２判定を行うまで部分画像を切り出す位置を移動させながら第２判定を繰り返す。こうした第２判定にかかるルーチンにおける処理の流れを、図１４を参照してより詳しく説明する。このルーチンは、第４ステップＳ４を開始すると、処理回路１１０によって実行される。

図１４に示すように、このルーチンを開始すると、処理回路１１０は、まずステップＳ５００の処理において、カウンタｉを一つインクリメントする。なお、カウンタｉは第４ステップＳ４が開始されたときには「０」になっている。そして、次に、処理回路１１０は、ステップＳ５１０の処理において、部分画像（ｉ）を切り出す。第４ステップＳ４を開始した直後は、図１１に示すように、全体画像の左上の隅を原点として部分画像部分画像（１）が切り出される。

こうして部分画像（ｉ）を切り出すと、処理回路１１０は、ステップＳ５２０へと処理を進める。そして、ステップＳ５２０の処理において、処理回路１１０は、切り出した部分画像（ｉ）について第２分類器を用いた第２判定を実行する。具体的には、処理回路１１０は、第２判定器に部分画像（ｉ）のデータを入力し、入力した部分画像（ｉ）に収められている範囲に部分欠陥が存在しているか否かを判定する。

次に、処理回路１１０は、ステップＳ５３０の処理において、第２判定器による判定結果が溶接箇所に異常があることを示す結果であるか否かを判定する。すなわち、ステップＳ５３０の処理では、処理回路１１０は、第２分類器の出力が部分欠陥が発生していることを示すものである場合には、溶接箇所に異常があると判定する。一方で、ステップＳ５３０の処理では、処理回路１１０は、第２分類器の出力が部分欠陥が発生していないことを示すものである場合には、ここでは異常があるとの判定は行わない。

ステップＳ５３０の処理において異常があると判定した場合（ステップＳ５３０：ＹＥＳ）には、処理回路１１０は、処理をステップＳ５４０へと進める。そして、ステップＳ５４０の処理において、仮フラグ（ｉ）を「ＯＮ」にする。一方で、ステップＳ５３０の処理において異常があると判定しなかった場合（ステップＳ５３０：ＮＯ）には、処理回路１１０は、処理をステップＳ５５０へと進める。そして、ステップＳ５５０の処理において、仮フラグ（ｉ）を「ＯＦＦ」にする。仮フラグ（ｉ）は、今回入力した部分画像（ｉ）における第２判定の結果の情報を示すフラグであり、１つの全体画像から切り出す部分画像の数だけ用意され、記憶装置１２０に記憶されている。なお、ここでは、１つの全体画像からＮ個の部分画像が切り出され、Ｎ回の第２判定を繰り返すものとする。こうして第２分類器を用いて判定を行い、その結果に応じて仮フラグ（ｉ）を更新すると、処理回路１１０は、処理をステップＳ５６０へと進める。

ステップＳ５６０の処理では、処理回路１１０は、カウンタｉが「Ｎ」と等しいか否かを判定する。すなわち、処理回路１１０は、第２判定がＮ回繰り返され、全体画像全体に対する第２判定の実行が完了したか否かを判定する。ステップＳ５６０の処理において、カウンタｉが「Ｎ」よりも小さいと判定した場合（ステップＳ５６０：ＮＯ）には、処理回路１１０は、処理をステップＳ５００へと戻し、ステップＳ５００～ステップＳ５５０までの処理を再び繰り返す。一方で、ステップＳ５６０の処理において、カウンタｉが「Ｎ」と等しいと判定した場合（ステップＳ５６０：ＹＥＳ）には、処理回路１１０は、処理をステップＳ５７０へと進める。

ステップＳ５７０の処理において、処理回路１１０は、仮フラグ（１）～仮フラグ（Ｎ）の中に、「ＯＮ」になっているものがあるか否かを判定する。すなわち、処理回路１１０は、このステップＳ５７０の処理を通じて全体画像の中に部分欠陥が存在していると判定された部分があるか否かを判定する。ステップＳ５７０の処理において「ＯＮ」があると判定した場合（ステップＳ５７０：ＹＥＳ）には、処理回路１１０は、処理をステップＳ５８０へと進める。そして、ステップＳ５８０の処理において、処理回路１１０は、今回判定した溶接箇所に対する第２異常フラグを「ＯＮ」にする。一方で、ステップＳ５７０の処理において「ＯＮ」がないと判定した場合（ステップＳ５７０：ＮＯ）には、処理回路１１０は、処理をステップＳ５９０へと進める。そして、ステップＳ５９０の処理において、処理回路１１０は、今回判定した溶接箇所に対する第２異常フラグを「ＯＦＦ」にする。第２異常フラグは、判定した溶接箇所における第２判定の結果の情報を示すフラグであり、ステータ２０の溶接箇所の数だけ用意され、記憶装置１２０に記憶されている。こうして第２分類器を用いて判定を行い、その結果に応じて第２異常フラグを更新すると、処理回路１１０は、第２判定の処理を終了させる。なお、こうして第２判定を終了させるときには、処理回路１１０は、カウンタｉの値を「０」にリセットし、仮フラグ（ｉ）の値を全て「ＯＦＦ」にリセットする。

図１２に示すように、第５ステップＳ５の第２判定が完了すると、次に、処理回路１１０は、第６ステップＳ６として、個別判定を行う。この個別判定では、第２ステップＳ２において切り出した全体画像に収められた溶接箇所に対する良否の判定を行う。

図１５に示すように、個別判定を開始すると、処理回路１１０は、まずステップＳ６００の処理において、記憶装置１２０に記憶されている第１異常フラグが「ＯＦＦ」であるか否かを判定する。ステップＳ６００の処理において第１異常フラグが「ＯＦＦ」であると判定された場合（ステップＳ６００：ＹＥＳ）には、処理回路１１０は、処理をステップＳ６１０へと進める。そして、処理回路１１０は、ステップＳ６１０の処理において、記憶装置１２０に記憶されている第２異常フラグが「ＯＦＦ」であるか否かを判定する。ステップＳ６１０の処理において第２異常フラグが「ＯＦＦ」であると判定された場合（ステップＳ６１０：ＹＥＳ）には、処理回路１１０は、処理をステップＳ６２０へと進める。

ステップＳ６２０の処理では、処理回路１１０は、今回全体画像を切り出した溶接箇所について正常判定を行う。すなわち、今回検査した溶接箇所が適合品である旨の判定を行う。具体的には、このステップＳ６２０の処理では、処理回路１１０は、今回全体画像を切り出した溶接箇所が適合品であった旨の情報を記憶装置１２０に記憶させる。

一方で、ステップＳ６００の処理において第１異常フラグが「ＯＮ」であると判定された場合（ステップＳ６００：ＮＯ）、またはステップＳ６１０の処理において第２異常フラグが「ＯＮ」であると判定された場合（ステップＳ６１０：ＮＯ）には、処理回路１１０は、処理をステップＳ６３０へと進める。

ステップＳ６３０の処理では、処理回路１１０は、今回全体画像を切り出した溶接箇所について異常判定を行う。すなわち、今回検査した溶接箇所が不適合品である旨の判定を行う。具体的には、このステップＳ６３０の処理では、処理回路１１０は、今回全体画像を切り出した溶接箇所が不適合品であった旨の情報を記憶装置１２０に記憶させる。

こうしてステップＳ６２０の処理またはステップＳ６３０の処理を実行して今回全体画像を切り出した溶接箇所に対する判定が完了すると、処理回路１１０は、第１異常フラグと、仮フラグ（ｉ）と、第２異常フラグとをリセットして個別判定を終了させる。

図１２に矢印で示すように、この画像検査装置１００では、１つの溶接箇所についての個別判定が完了すると、第２ステップＳ２へと戻り、第１ステップＳ１において取得したステータ２０の画像から他の溶接箇所の全体画像を切り出し、第５ステップＳ５までを繰り返す。そして、ステータ２０のステータコイル２７における全ての溶接箇所についての個別判定が完了し、各溶接箇所についての検査の結果を記憶装置１２０に記憶し終えると、処理回路１１０は、第７ステップＳ７として総合判定を実行する。

図１６に示すように、総合判定では、まず処理回路１１０は、ステップＳ７００の処理において、ステータコイル２７における全ての溶接箇所のうち、異常判定された箇所があるか否かを判定する。すなわち、このステップＳ７００の処理では、処理回路１１０は、記憶装置１２０に記憶されている各溶接箇所の検査の結果を確認し、不適合品であると判定された箇所が１つでもある場合には、異常判定された箇所があると判定する。

ステップＳ７００の処理において、異常判定された箇所があると判定した場合（ステップＳ７００：ＹＥＳ）には、処理回路１１０は、処理をステップＳ７１０へと進める。そして、ステップＳ７１０の処理において、処理回路１１０は、今回検査したステータ２０について異常判定を出力する。具体的には、処理回路１１０は、モニタ３００にステータ２０が不適合品であることを表示させる。なお、このときに、欠陥が存在していることが判定された溶接箇所がどの溶接箇所であるのかを示す情報も一緒にモニタ３００に表示するようにしてもよい。

一方で、ステップＳ７００の処理において、異常判定された箇所がないと判定した場合（ステップＳ７００：ＮＯ）には、処理回路１１０は、処理をステップＳ７２０へと進める。そして、ステップＳ７２０の処理において、処理回路１１０は、今回検査したステータ２０について正常判定を出力する。具体的には、処理回路１１０は、モニタ３００にステータ２０が適合品であることを表示させる。

こうしてステップＳ７１０またはステップＳ７２０の処理を実行し、ステータ２０についての検査結果をモニタ３００に表示させると、処理回路１１０は、ステータ２０についての検査を終了する。

本実施形態の作用について説明する。
画像検査装置１００では、全体欠陥の有無を判定する第１分類器を用いた第１判定と、部分欠陥の有無を判定する第２分類器を用いた第２判定とが行われる。また、第２判定は、切り出す位置を変えながら全体画像の一部分を切り出して第２判定を繰り返し、全体画像に収められた溶接箇所全体に対して部分欠陥が発生しているか否かを検査する。

そして、第１判定と第２判定が完了すると、個別判定を通じて検査対象としてきた溶接箇所に対する個別判定を行い、その溶接箇所についていずれの異常フラグもＯＦＦである場合、すなわち全体欠陥も、部分欠陥も発生していない場合に適合品であるとの判定がなされる。一方で、その溶接箇所について何れかの欠陥が発生している場合には不適合品であるとの判定がなされる。

さらに、こうした個別判定までの処理を繰り返し、ステータコイル２７における全ての溶接箇所に対する検査が完了すると、総合判定が実行される。そして、総合判定において、いずれかの溶接箇所に対して不適合品であるとの判定がなされている場合には、ステータ２０に対する異常判定が出力され、ステータ２０が不適合品であることを示す表示がモニタ３００に映し出される。一方で、総合判定において、いずれの溶接箇所に対しても不適合品であるとの判定がなされていない場合には、ステータ２０に対する正常判定が出力され、ステータ２０が適合品であることを示す表示がモニタ３００に映し出される。

本実施形態の効果について説明する。
（１）画像検査装置１００によれば、全体画像のデータを入力として全体欠陥が発生しているか否かを判定する第１分類器を用いた第１判定と、部分画像のデータを入力として部分欠陥が発生しているか否かを判定する第２分類器を用いた第２判定とを組み合わせて各溶接箇所の良否の判定が行われる。すなわち、画像検査装置１００では、部分欠陥の検出に特化した第２分類器を用いた第２判定の結果も考慮して検査対象の良否を判定するため、部分欠陥の見落としを抑制することができる。すなわち、画像検査装置１００によれば、全体欠陥だけでなく、部分欠陥を含めた異常を検知することができる。

本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記の画像検査装置１００では、図１２に示したように、第１判定が完了した後に第２判定を実行するようにしていたが、第１判定と第２判定を並行して実行してもよい。また、第２判定を先に完了させてから第１判定を実行するようにしてもよい。

・上記の画像検査システム１０では、ステータコイル２７の全ての溶接箇所を収めた１つの画像を撮像するようにしていた。これに対して、いくつかのパートに分けてステータコイル２７を撮像するようにしてもよい。例えば、ステータコイル２７をステータ２０の周方向において９０°の範囲ずつ４象限にわけて撮影してもよい。また、さらに細かいバートに分けて撮像してもよい。

・第１判定において全体欠陥が発生していると判定した時点で、その結果に基づいて直ちにその溶接箇所が不適合品であるとの個別判定を下すようにしてもよい。
・第２判定においていずれかの溶接箇所が不適合品であると判定した時点で、その結果に基づいて直ちにその溶接箇所が不適合品であるとの個別判定を下すようにしてもよい。

・個別判定でいずれかの溶接箇所が不適合品であると判定した時点でステータ２０が不適合品であるとの総合判定を下すようにしてもよい。
・ＴＩＧ溶接した溶接箇所の良否の判定を例示したが、画像検査装置１００と同様の検査態様は、ＴＩＧ溶接に限らず、他の溶接方法による溶接箇所の良否の判定に適用することもできる。

・ハイブリッド車両に搭載される三相交流モータジェネレータを構成するステータ２０の良否を検査する画像検査システム１０及び画像検査装置１００を例示したが、検査対象はこうしたステータ２０に限らない。また、溶接箇所の良否の判定に限らず、画像を用いて検査対象の良否を判定するものであり、全体像に特徴が現れる全体欠陥と、一部分に特徴が現れる部分欠陥とが生じ得る画像検査全般に、同様の構成を適用することができる。

・記憶装置１２０に、第２分類器のデータが記憶されており、第２分類器を用いて部分欠陥が発生しているか否かを判定する第２判定を行う例を示した。これに対して、部分欠陥の大きさにあわせて部分欠陥が発生しているか否かを判定する分類器の数を増やしてもよい。すなわち、検知する部分欠陥の大きさに合わせて分類器の種類をさらに増やし、それらを組み合わせて部分欠陥が発生しているか否かを判定する第２判定を実行するようにしてもよい。

部分欠陥が生じる可能性のある場所を予め特定することができるのであれば、全体画像の全体に対して部分欠陥の有無を検査する必要はない。部分欠陥が生じる可能性のある場所に絞って第２判定を行えばよい。また、部分欠陥が生じる可能性のある場所が１箇所に絞り込める場合などは、その１箇所に対して第２判定を行えば済むため、第２分類器による第２判定を、部分画像を切り出す位置を変えて複数回行うことは必須ではない。なお、こうした態様として、検知する対象がある領域の提案を行うための処理を追加して先に行い、提案された領域に対して畳み込みニューラルネットワークによる判定を行ういわゆる「Ｒ－ＣＮＮ」という手法を用いて第２判定を行うようにしてもよい。こうした態様であれば、第２判定における演算負荷を低減することができる。また、判定にかかる時間を短縮することができる。

・上記の画像検査装置１００では、各溶接箇所に対して、１回ずつ良否の判定を行い、総合判定を下す様にしていたが、同一の溶接箇所に対して複数回の検査を行い、その複数回の検査の結果を反映させてその溶接箇所に対する判定結果を確定したり、総合判定を行ったりしてもよい。例えば、不適合品であるとの判定が行われた場合に、再度確認のための検査を行い、繰り返し不適合品であるとの判定が行われた場合に、不適合品であるとの判定結果を確定するようにしてもよい。

・上記各実施形態では、画像検査装置１００は、処理回路１１０と記憶装置１２０とを備えて、ソフトウェア処理を実行する。しかしながら、これは例示に過ぎない。例えば、画像検査装置１００は、上記実施形態において実行されるソフトウェア処理の少なくとも一部を処理する専用のハードウェア回路（例えばＡＳＩＣなど）を備えてもよい。すなわち、画像検査装置１００は、以下の（ａ）～（ｃ）のいずれかの構成であればよい。（ａ）画像検査装置１００は、プログラムに従って全ての処理を実行する処理装置と、プログラムを記憶する記憶装置とを備える。すなわち、画像検査装置１００は、ソフトウェア実行装置を備える。（ｂ）画像検査装置１００は、プログラムに従って処理の一部を実行する処理装置と、記憶装置とを備える。さらに、画像検査装置１００は、残りの処理を実行する専用のハードウェア回路を備える。（ｃ）画像検査装置１００は、全ての処理を実行する専用のハードウェア回路を備える。ここで、ソフトウェア実行装置、及び／又は、専用のハードウェア回路は複数であってもよい。すなわち、上記処理は、１つ又は複数のソフトウェア実行装置および１つ又は複数の専用のハードウェア回路の少なくとも一方を備えた処理回路（processing circuitry）によって実行され得る。プログラムを格納する記憶装置すなわちコンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。

１０…画像検査システム
２０…ステータ
２１…ステータコア
２２…ティース
２３…スロット
２４…セグメントコイル
２４ａ…コイルエンド
２４ｂ…溶接玉
２５ｕ…第１接続導線
２５ｖ…第２接続導線
２５ｗ…第３接続導線
２６ｕ…第１接続端子
２６ｖ…第２接続端子
２６ｗ…第３接続端子
２７…ステータコイル
１００…画像検査装置
１１０…処理回路
１２０…記憶装置
２００…カメラ
３００…モニタ

Claims (1)

1. 検査対象の全体像を撮像した全体画像のデータを入力とし、不適合品の特徴が前記検査対象の全体像に現れる全体欠陥が発生しているか否かを判定する教師有り学習済みニューラルネットワークである第１分類器のデータと、前記第１分類器に入力される前記全体画像の一部分を切り出した部分画像のデータを入力とし、不適合品の特徴が前記検査対象の一部分に現れる部分欠陥が発生しているか否かを判定する教師有り学習済みニューラルネットワークである第２分類器のデータと、を記憶した記憶装置と、
   同一の全体画像に基づき、前記全体画像のデータを前記第１分類器に入力して前記検査対象に前記全体欠陥が発生しているか否かを判定する第１判定と、前記全体画像から切り出した前記部分画像のデータを前記第２分類器に入力して前記検査対象に前記部分欠陥が発生しているか否かを判定する第２判定と、を実行する処理回路と、を備え、
   前記処理回路が、前記第１判定の結果と前記第２判定の結果とがいずれも否であることを条件に、前記検査対象が適合品であるのとの出力を行い、前記第１判定の結果及び前記第２判定の結果のうちいずれか一方でも欠陥が発生していることを示すものであった場合には、前記検査対象が不適合品であるとの出力を行う画像検査装置。

Images