JP2018081629A - 判定装置、判定方法および判定プログラム - Google Patents

Abstract

【課題】画像における対象事象の有無をより正確に判定することが可能な判定装置、判定方法及び判定プログラムを提供する。【解決手段】判定装置１０１は、複数の部分画像に分割された判定用画像データを取得する取得部２１と、第１の分類モデルを用いて、取得部２１によって取得された複数の部分画像がそれぞれ対象事象を含むか否かを判定する第１判定部２２と、第２の分類モデルを用いて、第１判定部２２により対象事象を含むと判定された１または複数の部分画像の位置または各部分画像の位置関係、及び対象事象を含まないと判定された１または複数の部分画像の位置または各部分画像の位置関係の少なくともいずれか一方に基づいて、判定用画像データが対象事象を含むか否かを判定する第２判定部２３とを備える。【選択図】図１２

Description

本発明は、判定装置、判定方法および判定プログラムに関する。

従来、画像に映り込んだ対象物の姿勢および位置を認識するための情報処理装置が開発されている。このような情報処理装置の一例として、たとえば、特開２０１６−１４８９号公報（特許文献１）には、以下のような情報処理装置が開示されている。すなわち、情報処理装置は、異なる姿勢の対象物体それぞれを含む複数の学習画像それぞれを構成する複数の部分学習画像を、該部分学習画像から抽出される複数の画素の画素値に基づき分類された結果と該分類された部分学習画像と前記学習画像との位置関係を示す位置情報とを登録した辞書を保持する保持手段と、複数の姿勢のいずれかの対象物体を含む入力画像を取得する第１の取得手段と、前記入力画像を構成する複数の部分画像を取得する第２の取得手段と、前記複数の部分画像それぞれから、前記部分学習画像から抽出される画素の位置に対応する画素の画素値を抽出する抽出手段と、前記抽出手段で抽出された複数の画素の画素値を比較することにより前記辞書に基づいて、前記複数の部分画像ごとに対応する部分学習画像を決定し、該決定された結果を前記位置情報に対応する位置に登録する登録手段と、前記部分画像ごとに登録された結果を集計することにより、前記入力画像に含まれる対象物体の姿勢と位置とを認識する認識手段とを備える。

特開２０１６−１４８９号公報 特開２０１４−１７８９４６号公報

このような特許文献１に記載の技術を超えて、画像に映り込んだ対象事象の有無、たとえば対象物におけるキズまたはひび等の異常部分の有無をより正確に判定するための技術が求められている。

この発明は、上述の課題を解決するためになされたもので、その目的は、画像における対象事象の有無をより正確に判定することが可能な判定装置、判定方法および判定プログラムを提供することである。

（１）上記課題を解決するために、この発明のある局面に係わる判定装置は、複数の部分画像に分割された判定用画像データを取得する取得部と、第１の分類モデルを用いて、前記取得部によって取得された前記複数の部分画像がそれぞれ対象事象を含むか否かを判定する第１判定部と、第２の分類モデルを用いて、前記第１判定部により前記対象事象を含むと判定された１または複数の前記部分画像の位置または各前記部分画像の位置関係、および前記対象事象を含まないと判定された１または複数の前記部分画像の位置または各前記部分画像の位置関係の少なくともいずれか一方に基づいて、前記判定用画像データが前記対象事象を含むか否かを判定する第２判定部とを備える。

（５）上記課題を解決するために、この発明のある局面に係わる判定方法は、判定装置における判定方法であって、複数の部分画像に分割された判定用画像データを取得するステップと、第１の分類モデルを用いて、取得した前記複数の部分画像がそれぞれ対象事象を含むか否かを判定するステップと、第２の分類モデルを用いて、前記対象事象を含むと判定した１または複数の前記部分画像の位置または各前記部分画像の位置関係、および前記対象事象を含まないと判定した１または複数の前記部分画像の位置または各前記部分画像の位置関係の少なくともいずれか一方に基づいて、前記判定用画像データが前記対象事象を含むか否かを判定するステップとを含む。

（６）上記課題を解決するために、この発明のある局面に係わる判定プログラムは、判定装置において用いられる判定プログラムであって、コンピュータを、複数の部分画像に分割された判定用画像データを取得する取得部と、第１の分類モデルを用いて、前記取得部によって取得された前記複数の部分画像がそれぞれ対象事象を含むか否かを判定する第１判定部と、第２の分類モデルを用いて、前記第１判定部により前記対象事象を含むと判定された１または複数の前記部分画像の位置または各前記部分画像の位置関係、および前記対象事象を含まないと判定された１または複数の前記部分画像の位置または各前記部分画像の位置関係の少なくともいずれか一方に基づいて、前記判定用画像データが前記対象事象を含むか否かを判定する第２判定部、として機能させるためのプログラムである。

本発明は、このような特徴的な処理部を備える判定装置として実現することができるだけでなく、判定装置を備える判定システムとして実現することができる。また、本発明は、判定装置の一部または全部を実現する半導体集積回路として実現することができる。

本発明によれば、画像における対象事象の有無をより正確に判定することができる。

図１は、本発明の実施の形態に係る判定システムの構成を示す図である。 図２は、本発明の実施の形態に係る判定システムにおける蓄積装置に蓄積された不良品画像の一例を示す図である。 図３は、本発明の実施の形態に係る判定システムにおける蓄積装置に蓄積された良品画像の一例を示す図である。 図４は、本発明の実施の形態に係る判定システムにおける蓄積装置に蓄積された良品画像の一例を示す図である。 図５は、本発明の実施の形態に係る経路処理システムにおける学習装置が第１の分類モデルを作成する際の動作手順を定めたフローチャートである。 図６は、本発明の実施の形態に係る判定システムにおける学習装置が処理する不良品画像の一例を示す図である。 図７は、本発明の実施の形態に係る判定システムにおける学習装置が処理する不良品画像の一例を示す図である。 図８は、本発明の実施の形態に係る判定システムにおける学習装置が処理する良品画像の一例を示す図である。 図９は、本発明の実施の形態に係る経路処理システムにおける学習装置が第２の分類モデルを作成する際の動作手順を定めたフローチャートである。 図１０は、本発明の実施の形態に係る判定システムにおける学習装置が処理する不良品画像の一例を示す図である。 図１１は、本発明の実施の形態に係る判定システムにおける学習装置が処理する良品画像の一例を示す図である。 図１２は、本発明の実施の形態に係る判定システムにおける判定装置の構成を示す図である。 図１３は、本発明の実施の形態に係る経路処理システムにおける判定装置が判定処理を行う際の動作手順を定めたフローチャートである。 図１４は、本発明の実施の形態に係る判定システムにおける学習装置が処理する良品画像の一例を示す図である。 図１５は、本発明の実施の形態に係る判定システムにおける学習装置が処理する不良品画像の一例を示す図である。 図１６は、本発明の実施の形態に係る判定システムにおける学習装置が処理する良品画像の一例を示す図である。 図１７は、本発明の実施の形態に係る判定システムにおける学習装置が処理する不良品画像の一例を示す図である。

最初に、本発明の実施形態の内容を列記して説明する。

（１）本発明の実施の形態に係る判定装置は、複数の部分画像に分割された判定用画像データを取得する取得部と、第１の分類モデルを用いて、前記取得部によって取得された前記複数の部分画像がそれぞれ対象事象を含むか否かを判定する第１判定部と、第２の分類モデルを用いて、前記第１判定部により前記対象事象を含むと判定された１または複数の前記部分画像の位置または各前記部分画像の位置関係、および前記対象事象を含まないと判定された１または複数の前記部分画像の位置または各前記部分画像の位置関係の少なくともいずれか一方に基づいて、前記判定用画像データが前記対象事象を含むか否かを判定する第２判定部とを備える。

このように、対象事象についての正しい特徴量を抽出可能なように局所的な部分画像について判定を行う構成により、判定精度を向上させることができる。さらに、部分画像の判定結果を大域的に判定可能な判定用画像について判定を行う構成により、判定精度をより向上させることができる。具体的には、たとえば、実際には判定用画像に対象事象が含まれないにも関わらず、部分画像において対象事象に似たものが含まれるために当該部分画像に対象事象が含まれると第１判定部が誤って判定することがある。このような場合においても、対象事象が含まれると判定された部分画像、および対象事象が含まれないと判定された部分画像の少なくともいずれか一方の位置または分布に基づいて、第１判定部の判定結果の誤りを第２判定部が正すことができる。したがって、画像における対象事象の有無をより正確に判定することができる。

（２）好ましくは、前記第１の分類モデルは、複数の下記の学習用データを用いて作成される。
学習用データ：前記判定用画像データと同じ方法により複数の部分画像に分割された学習用画像データと、前記複数の部分画像がそれぞれ前記対象事象を含むか否かの情報とを含むデータ。

このように、複数の部分画像を用いて第１の分類モデルが作成される構成により、学習のためのデータ数を増加させることができるので、第１の分類モデルの完成度をより高めることができる。また、部分画像単位で処理する構成により、より正しい局所的な特徴量の抽出可能性を高めることができる。

（３）好ましくは、前記第２の分類モデルは、複数の下記の学習用データと前記対象事象を含むと判定された１または複数の前記部分画像の位置または各前記部分画像の位置関係、および前記対象事象を含まないと判定された１または複数の前記部分画像の位置または各前記部分画像の位置関係の少なくともいずれか一方とを用いて作成される。
学習用データ：前記判定用画像データと同じ方法により複数の部分画像に分割された学習用画像データと、前記学習用画像データが前記対象事象を含むか否かの情報とを含むデータ。

このように、学習用画像データが対象事象を含むか否かの大域的な情報、および局所的な特徴量に基づく結果を用いて第２の分類モデルが作成される構成により、局所的な特徴量に基づく結果の誤りを正すことが可能な、より正しい大域的な特徴量の抽出可能性を高めることができる。これにより、第２の分類モデルの完成度をより高めることができる。

（４）好ましくは、前記第１の分類モデルは、所定条件を満たしたときに内容が決定され、前記第２の分類モデルは、内容決定後の前記第１の分類モデルへ、前記判定用画像データと同じ方法により複数の部分画像に分割された学習用画像データを用いた結果と、前記学習用画像データが前記対象事象を含むか否かとを含む学習用データを用いて内容が決定される。

このように、たとえば、十分なデータ数を用いた機械学習が完了したときに第１の分類モデルの内容が決定される構成により、第１の分類モデルの完成度をより高めることができる。また、より完成度の高まった第１の分類モデルへ学習用画像データを用いた結果、すなわち第１の分類モデルによる精度の高い分類結果と、学習用画像データが対象事象を含むか否かとを含む学習用データを用いて第２の分類モデルの内容を決定する構成により、第２の分類モデルの完成度をより高めることができる。

（５）本発明の実施の形態に係る判定方法は、判定装置における判定方法であって、複数の部分画像に分割された判定用画像データを取得するステップと、第１の分類モデルを用いて、取得した前記複数の部分画像がそれぞれ対象事象を含むか否かを判定するステップと、第２の分類モデルを用いて、前記対象事象を含むと判定した１または複数の前記部分画像の位置または各前記部分画像の位置関係、および前記対象事象を含まないと判定した１または複数の前記部分画像の位置または各前記部分画像の位置関係の少なくともいずれか一方に基づいて、前記判定用画像データが前記対象事象を含むか否かを判定するステップとを含む。

このように、対象事象についての正しい特徴量を抽出可能なように局所的な部分画像について判定を行う構成により、判定精度を向上させることができる。さらに、部分画像の判定結果を大域的に判定可能な判定用画像について判定を行う構成により、判定精度をより向上させることができる。具体的には、たとえば、実際には判定用画像に対象事象が含まれないにも関わらず、部分画像において対象事象に似たものが含まれるために当該部分画像に対象事象が含まれると第１判定部が誤って判定することがある。このような場合においても、対象事象が含まれると判定された部分画像、および対象事象が含まれないと判定された部分画像の少なくともいずれか一方の位置または分布に基づいて、第１判定部の判定結果の誤りを第２判定部が正すことができる。したがって、画像における対象事象の有無をより正確に判定することができる。

（６）本発明の実施の形態に係る判定プログラムは、判定装置において用いられる判定プログラムであって、コンピュータを、複数の部分画像に分割された判定用画像データを取得する取得部と、第１の分類モデルを用いて、前記取得部によって取得された前記複数の部分画像がそれぞれ対象事象を含むか否かを判定する第１判定部と、第２の分類モデルを用いて、前記第１判定部により前記対象事象を含むと判定された１または複数の前記部分画像の位置または各前記部分画像の位置関係、および前記対象事象を含まないと判定された１または複数の前記部分画像の位置または各前記部分画像の位置関係の少なくともいずれか一方に基づいて、前記判定用画像データが前記対象事象を含むか否かを判定する第２判定部、として機能させるためのプログラムである。

このように、対象事象についての正しい特徴量を抽出可能なように局所的な部分画像について判定を行う構成により、判定精度を向上させることができる。さらに、部分画像の判定結果を大域的に判定可能な判定用画像について判定を行う構成により、判定精度をより向上させることができる。具体的には、たとえば、実際には判定用画像に対象事象が含まれないにも関わらず、部分画像において対象事象に似たものが含まれるために当該部分画像に対象事象が含まれると第１判定部が誤って判定することがある。このような場合においても、対象事象が含まれると判定された部分画像、および対象事象が含まれないと判定された部分画像の少なくともいずれか一方の位置または分布に基づいて、第１判定部の判定結果の誤りを第２判定部が正すことができる。したがって、画像における対象事象の有無をより正確に判定することができる。

以下、本発明の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。また、以下に記載する実施の形態の少なくとも一部を任意に組み合わせてもよい。

［構成および基本動作］
図１は、本発明の実施の形態に係る判定システムの構成を示す図である。

図１を参照して、判定システム３０１は、判定装置１０１と、蓄積装置１３１と、学習装置１５１とを備える。

図２は、本発明の実施の形態に係る判定システムにおける蓄積装置に蓄積された不良品画像の一例を示す図である。

図３および図４は、本発明の実施の形態に係る判定システムにおける蓄積装置に蓄積された良品画像の一例を示す図である。

図１〜図４を参照して、カメラ１２１は、対象物を撮影する。この例では、カメラ１２１は、対象物として焼結物Ｔｇｔを撮影する。

より詳細には、焼結物Ｔｇｔは、たとえば工場において順次生産される。カメラ１２１は、生産ラインにおける焼結物Ｔｇｔを撮影し、撮影した焼結物Ｔｇｔの画像を示す画像情報を蓄積装置１３１へ送信する。このような撮影処理は、たとえば焼結物Ｔｇｔが生産ラインを流れるごとに行われる。

図２に示す画像は、対象事象の一例であるキズ部Ｄｆ１を含む焼結物Ｔｇｔの不良品の画像（以下、不良品画像とも称する。）Ｓｎｇである。蓄積装置１３１には、このようなキズ部Ｄｆ１を含む焼結物Ｔｇｔの画像すなわち不良品画像Ｓｎｇが複数枚蓄積されている。

図３に示す画像は、キズ部Ｄｆ１を含まない焼結物Ｔｇｔの良品の画像（以下、良品画像とも称する。）Ｓｇである。

また、焼結物Ｔｇｔの良品の中には、焼結物Ｔｇｔの表面に濃淡が生じたものがある。図４に示す画像は、キズ部Ｄｆ１を含まないが、その濃淡の淡部Ｓｄ１を含む焼結物Ｔｇｔの良品画像Ｓｇｓである。蓄積装置１３１には、良品画像ＳｇおよびＳｇｓが複数枚蓄積されている。

なお、対象物は、焼結物Ｔｇｔに限らず、ネジ等の他の物体または人間もしくは動物であってもよい。また、対象事象は、キズ部Ｄｆ１に限らず、ひび等であってもよい。

再び図１を参照して、蓄積装置１３１は、カメラ１２１から画像情報を受信するごとに、受信した画像情報を蓄積する。

学習装置１５１は、分割画像分類モデル（以下、第１の分類モデルとも称する。）および判定分割画像分類モデル（以下、第２の分類モデルとも称する。）を作成する。より詳細には、第１の分類モデルおよび第２の分類モデルは、たとえば、機械学習によって自動的に作成されるアルゴリズムである。

［動作の流れ］
判定システム３０１における各装置は、コンピュータを備え、当該コンピュータにおけるＣＰＵ等の演算処理部は、以下のシーケンス図またはフローチャートの各ステップの一部または全部を含むプログラムを図示しないメモリからそれぞれ読み出して実行する。これら複数の装置のプログラムは、それぞれ、外部からインストールすることができる。これら複数の装置のプログラムは、それぞれ、記録媒体に格納された状態で流通する。

図５は、本発明の実施の形態に係る経路処理システムにおける学習装置が第１の分類モデルを作成する際の動作手順を定めたフローチャートである。

図５を参照して、学習装置１５１は、画像データＰｎｇ１を作成する（ステップＳ１０２）。

図６は、本発明の実施の形態に係る判定システムにおける学習装置が処理する不良品画像の一例を示す図である。

図６を参照して、ユーザは、たとえば、第１の分類モデルおよび第２の分類モデルを作成するための操作を学習装置１５１に対して行う。

具体的には、ユーザは、たとえば、蓄積装置１３１に蓄積された複数の画像のうち、不良品画像Ｓｎｇ（図２参照）を複数枚たとえば５００枚選択する。

そして、ユーザは、選択した不良品画像Ｓｎｇのそれぞれに対して、キズ部Ｄｆ１をマウス等のポインティングデバイスによって指定する操作を学習装置１５１に対して行う。

学習装置１５１は、たとえば、ユーザの操作に従って、ユーザによって選択された不良品画像Ｓｎｇにポインティングデバイスの軌跡Ｔｒ１をピクセル単位で描画する（図６参照）。

学習装置１５１は、軌跡Ｔｒ１をピクセル単位で描画した不良品画像Ｓｎｇを５００枚含む画像データＰｎｇ１を作成する。

再び図５を参照して、次に、学習装置１５１は、画像データＰｇ１を作成する（ステップＳ１０４）。

より詳細には、ユーザは、たとえば、蓄積装置１３１に蓄積された複数の画像のうち、良品画像ＳｇおよびＳｇｓ（図３および図４参照）を複数枚たとえば５００枚選択し、選択結果を入力する操作を学習装置１５１に対して行う。

学習装置１５１は、たとえば、ユーザの操作に従って、ユーザによって選択された良品画像ＳｇおよびＳｇｓを５００枚含む画像データＰｇ１を作成する。

第１の分類モデルおよび第２の分類モデルは、このようにして作成された画像データＰｎｇ１およびＰｇ１から作成される。

次に、学習装置１５１は、不良品画像Ｓｎｇから５００個の第１の学習用データを作成する（ステップＳ１０６）。

図７は、本発明の実施の形態に係る判定システムにおける学習装置が処理する不良品画像の一例を示す図である。

図７を参照して、第１の分類モデルは、たとえば、複数の第１の学習用データを用いて作成される。ここで、第１の学習用データは、所定の方式Ｍ１に従う方法により複数の部分画像に分割された学習用画像データと、複数の部分画像がそれぞれ対象事象を含むか否かを示す部分ラベル情報とを含むデータである。

詳細には、学習装置１５１は、たとえば、画像データＰｎｇ１から不良品画像Ｓｎｇを１枚取得し、方式Ｍ１に従う方法により、取得した不良品画像Ｓｎｇを複数の部分画像に分割した学習用画像データを作成する。

より詳細には、学習装置１５１は、図７に示すように、不良品画像Ｓｎｇを複数の部分画像に分割する。この例では、学習装置１５１は、不良品画像Ｓｎｇを縦方向に均等に７分割し、かつ横方向に均等に９分割することにより、６３個の同じ形状およびサイズの部分画像に分割する。

このようにして、学習装置１５１は、６３個の部分画像を含む学習用画像データを作成する。

なお、部分画像の個数は、複数であれば任意の個数でよい。また、各部分画像の形状およびサイズは、同じに限らず、形状およびサイズの少なくともいずれか一方が異なってもよい。

また、このように、画像を複数の部分画像に分割する処理については、特許文献１等に開示されている。

学習装置１５１は、たとえば、６３個の部分画像を含む学習用画像データを用いて第１の学習用データを作成する。

より詳細には、学習装置１５１は、学習用画像データに含まれる６３個の部分画像を順番に選択し、選択した部分画像において軌跡Ｔｒ１の少なくとも一部が含まれる場合、部分ラベル情報の一例である部分ラベル、ここでは「キズあり部分」を示す部分ラベルを当該部分画像に付す。

一方、学習装置１５１は、選択した部分画像において軌跡Ｔｒ１が全く含まれない場合、「キズなし部分」を示す部分ラベルを当該部分画像に付す。

このように、所定条件を満たした部分画像にラベルを付す処理については、特開２０１４−１７８９４６号公報（特許文献２）等に開示されている。

学習装置１５１は、画像データＰｎｇ１における他の不良品画像Ｓｎｇについても同様に処理することにより第１の学習用データを作成する。このようにして不良品画像Ｓｎｇについての５００個の第１の学習用データが作成される。

再び図５を参照して、次に、学習装置１５１は、良品画像ＳｇおよびＳｇｓから５００個の第１の学習用データを作成する（ステップＳ１０８）。

図８は、本発明の実施の形態に係る判定システムにおける学習装置が処理する良品画像の一例を示す図である。図８には、図４に示す良品画像Ｓｇｓが分割された画像が示される。

図８を参照して、学習装置１５１は、図７に示す不良品画像Ｓｎｇと同様に、良品画像Ｓｇｓ（図４参照）を６３個の部分画像に分割する。

学習装置１５１は、分割した６３個の部分画像のそれぞれに「キズなし部分」を示す部分ラベルを付すことによって第１の学習用データを作成する。

学習装置１５１は、画像データＰｇ１における他の良品画像ＳｇおよびＳｇｓについても同様に処理することにより第１の学習用データを作成する。このようにして、良品画像ＳｇおよびＳｇｓについての５００個の第１の学習用データが作成される。

再び図５を参照して、次に、学習装置１５１は、合計１０００個の第１の学習用データから第１の学習データセットを作成する（ステップＳ１１０）。

具体的には、学習装置１５１は、たとえば、１０００個の第１の学習用データに含まれる各部分画像を、「キズあり部分」のラベルが付された複数の部分画像（以下、キズあり部分画像群とも称する。）、および「キズなし部分」のラベルが付された複数の部分画像（以下、キズなし部分画像群とも称する。）に分類する。

学習装置１５１は、分類後のキズあり部分画像群およびキズなし部分画像群を含む第１の学習データセットを作成する。

次に、学習装置１５１は、作成した第１の学習用データセットを用いて第１の分類モデルを作成する（ステップＳ１１２）。

具体的には、学習装置１５１は、たとえば、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）の手法に沿って、多層化したニューラルネットワークに第１の学習データセットを入力する。

そして、学習装置１５１は、多層化したニューラルネットワークに対して部分画像にキズ部Ｄｆ１が含まれるか否かを分類できるように機械学習させることにより第１の分類モデルを作成する。

このような機械学習の結果、第１の分類モデルは、たとえば、所定の輝度以下の背景において所定の輝度以上の筋状の模様が含まれるか否かに基づいて、部分画像にキズ部Ｄｆ１が含まれるか否かを分類する。

第１の分類モデルは、たとえば所定条件を満たしたときに内容が決定される。この例では、第１の分類モデルは、第１の学習データセットに含まれるキズあり部分画像群およびキズなし部分画像群をすべて用いた機械学習が完了したときに内容が決定される。

以下、機械学習の完了した第１の分類モデルを、学習済第１の分類モデルとも称する。この学習済第１の分類モデルに、６３個の部分画像を含む画像データが入力されると、当該画像データに含まれる部分画像の各々に、当該部分画像にキズ部Ｄｆ１が含まれるか否かの判定結果が付されて出力される。

なお、上記ステップＳ１０２〜Ｓ１０８の順番は、ステップＳ１０２の後にステップＳ１０６が行われ、かつステップＳ１０４の後にステップＳ１０８が行われれば、上記に限らず、一部または全部の順番を変更してもよい。

図９は、本発明の実施の形態に係る経路処理システムにおける学習装置が第２の分類モデルを作成する際の動作手順を定めたフローチャートである。

図９を参照して、まず、学習装置１５１は、不良品画像Ｓｎｇから５００個の第２の学習用データを作成する（ステップＳ２０２）。

図１０は、本発明の実施の形態に係る判定システムにおける学習装置が処理する不良品画像の一例を示す図である。

図１０を参照して、第２の分類モデルは、たとえば、複数の第２の学習用データと対象事象を含むと判定された複数の部分画像の位置関係とを用いて作成される。ここで、第２の学習用データは、方式Ｍ１に従う方法により複数の部分画像に分割された学習用画像データと、当該学習用画像データが対象事象を含むか否かを示す全体ラベル情報とを含むデータである。

また、第２の分類モデルは、たとえば、内容決定後の第１の分類モデルへ当該学習用画像データを用いた結果と、当該学習用画像データが対象事象を含むか否かの情報とを含む第２の学習用データを用いた結果を用いて内容が決定される。

詳細には、学習装置１５１は、たとえば、１０００個の第１の学習用データを用いて、部分画像を６３個含む学習用画像データであって全体ラベル情報の一例である全体ラベルが付された学習用画像データを第２の学習用データとして１０００個作成する。

具体的には、学習装置１５１は、不良品画像Ｓｎｇについての５００個の第１の学習用データのそれぞれに対して、以下の処理を行う。

すなわち、学習装置１５１は、各部分画像に付された「キズあり部分」または「キズなし部分」を示す部分ラベルを削除するとともに、「キズあり全体」を示す全体ラベルを不良品画像Ｓｎｇに付す。

なお、学習装置１５１は、各部分画像に付された部分ラベルを削除する構成であるとしたが、これに限定するものではない。学習装置１５１は、各部分画像に付された部分ラベルを削除しない構成であってもよい。

再び図９を参照して、次に、学習装置１５１は、良品画像ＳｇおよびＳｇｓから５００個の第２の学習用データを作成する（ステップＳ２０４）。

図１１は、本発明の実施の形態に係る判定システムにおける学習装置が処理する良品画像の一例を示す図である。

図１１を参照して、学習装置１５１は、良品画像ＳｇおよびＳｇｓについての５００個の第１の学習用データのそれぞれに対して、以下の処理を行う。

すなわち、学習装置１５１は、各部分画像に付された「キズなし部分」を示す部分ラベルを削除するとともに、「キズなし全体」を示す全体ラベルを良品画像ＳｇおよびＳｇｓに付す。

このようにして、第２の学習用データが合計１０００個作成される。

再び図９を参照して、次に、学習装置１５１は、１０００個の第２の学習用データを学習済第１の分類モデルに順次入力する（ステップＳ２０６）。

より詳細には、学習装置１５１は、第２の学習用データを学習済第１の分類モデルに入力することによって、当該第２の学習用データに含まれる６３個の部分画像の各々に学習済第１の分類モデルの判定結果を付す。

次に、学習装置１５１は、１０００個の第２の学習用データの各々にキズ判定位置情報を追加する（ステップＳ２０８）。

より詳細には、学習装置１５１は、たとえば、キズ部Ｄｆ１が含まれると判定された部分画像の画像全体に対する位置を示すキズ判定位置情報を作成し、作成したキズ判定位置情報を第２の学習用データに追加する。

ここで、キズ判定位置情報は、たとえば、縦方向の段および横方向の段にそれぞれアルファベットＡ〜Ｇおよび番号１〜９を割り当てた場合における、対象の部分画像の位置する縦方向の段のアルファベットおよび横方向の段の番号を示す。

なお、キズ判定位置情報は、たとえば、画像全体を基準とした場合における部分画像のピクセル単位での座標であってもよい。

具体的には、図１０には、学習済第１の分類モデルによってキズ部Ｄｆ１が含まれると判定された部分画像がハッチングによって示される。この場合、キズ判定位置情報は、ハッチングが施された部分画像の不良品画像Ｓｎｇ全体に対する位置、具体的には「Ｄ８」および「Ｅ８」を示す。

また、図１１には、実際には淡部Ｓｄ１を含む部分画像であるが、学習済第１の分類モデルによってキズ部Ｄｆ１が含まれると誤って判定された部分画像がハッチングによって示される。この場合、キズ判定位置情報は、ハッチングが施された部分画像の良品画像Ｓｇｓ全体に対する位置、具体的には「Ｂ２」を示す。

また、学習装置１５１は、第２の学習用データに含まれる６３個の部分画像において、キズ部Ｄｆ１が含まれると判定された部分画像が無い場合、たとえばヌルを示すキズ判定位置情報を当該第２の学習用データに追加する。

学習装置１５１は、キズ判定位置情報が追加された１０００個の第２の学習用データを第２の学習用データセットとしてまとめる。

次に、学習装置１５１は、第２の学習用データセットを用いて第２の分類モデルを作成する（ステップＳ２１０）。

具体的には、学習装置１５１は、たとえば、ディープラーニングの手法に沿って、多層化したニューラルネットワークに第２の学習データセットを入力する。

そして、学習装置１５１は、多層化したニューラルネットワークに対して、キズ判定位置情報の示す部分画像の位置関係に基づいて、対応の学習用画像データにキズ部Ｄｆ１が含まれるか否かを分類できるように機械学習させることにより第２の分類モデルを作成する。

このような機械学習の結果、第２の分類モデルは、たとえば、キズ判定位置情報の示す部分画像が線状に分布しているか否かに基づいて、対応の学習用画像データにキズ部Ｄｆ１が含まれるか否かを分類する。

より詳細には、第２の分類モデルは、図１０に示すように、ハッチングの施された２つの部分画像が線状に分布している場合、不良品画像Ｓｎｇにキズ部Ｄｆ１が含まれると分類する。

一方、第２の分類モデルは、図１１に示すように、ハッチングの施された部分画像が線状に分布していない場合、良品画像Ｓｇｓにキズ部Ｄｆ１が含まれていないと分類する。

以下、機械学習の完了した第２の分類モデルを、学習済第２の分類モデルとも称する。この学習済第２の分類モデルに、キズ判定位置情報を含む画像データが入力されると、当該画像データにキズ部Ｄｆ１が含まれるか否かを示す結果情報が出力される。

次に、学習装置１５１は、方式Ｍ１、学習済第１の分類モデルおよび学習済第２の分類モデルを含む学習済モデル情報を判定装置１０１へ送信する（ステップＳ２１２）。

なお、上記ステップＳ２０２およびＳ２０４の順番は、上記に限らず、順番を入れ替えてもよい。

また、本発明の実施の形態に係る学習装置では、第１の分類モデルおよび第２の分類モデルは、同じ画像データ、具体的には画像データＰｎｇ１およびＰｇ１から作成される構成であるとしたが、これに限定するものではない。

第１の分類モデルおよび第２の分類モデルは、異なる画像データから作成される構成であってもよい。

具体的には、ユーザは、たとえば、第１の分類モデルを良好に作成できる最小限の枚数の不良品画像Ｓｎｇに対してキズ部Ｄｆ１の指定操作を行う。

学習装置１５１は、ユーザの操作に従って、軌跡Ｔｒ１がピクセル単位で描画された不良品画像Ｓｎｇを上記最小限の枚数作成し、作成した不良品画像Ｓｎｇを含む画像データＰｎｇ２を作成する。

学習装置１５１は、画像データＰｎｇ２および上述の画像データＰｇ１を用いて第１の分類モデルを作成する。

そして、学習装置１５１は、画像データＰｎｇ２および画像データＰｇ１に加えて、画像データＰｎｇ３および画像データＰｇ３を用いて第２の分類モデルを作成する。

ここで、画像データＰｎｇ３は、ユーザによってさらに選択された複数の不良品画像Ｓｎｇを含む。また、画像データＰｇ３は、ユーザによってさらに選択された複数の良品画像ＳｇおよびＳｇｓを含む。

このように、最小限の枚数の不良品画像Ｓｎｇに対してキズ部Ｄｆ１の指定操作が行われる構成により、ユーザの作業工数を低減することができる。

また、第２の分類モデルの作成に用いる画像に対しては、キズ部Ｄｆ１の指定操作が不要であり、かつ全体ラベルを付す簡単な処理だけが必要である。したがって、作業工数の大幅な増加を抑制しながら第２の分類モデルの作成に用いる画像の枚数を増加させることができるので、第２の分類モデルの完成度を効率よく高めることができる。

［判定装置の構成］
図１２は、本発明の実施の形態に係る判定システムにおける判定装置の構成を示す図である。

図１２を参照して、判定装置１０１は、取得部２１と、第１判定部２２と、第２判定部２３と、送信部２４とを備える。

図１３は、本発明の実施の形態に係る経路処理システムにおける判定装置が判定処理を行う際の動作手順を定めたフローチャートである。

図１２および図１３を参照して、判定装置１０１における取得部２１は、学習済第１の分類モデルおよび学習済第２の分類モデルを取得する（ステップＳ３０２）。

より詳細には、取得部２１は、たとえば、学習装置１５１から学習済モデル情報を受信すると、受信した学習済モデル情報に含まれる学習済第１の分類モデルを第１判定部２２へ出力するとともに、学習済モデル情報に含まれる学習済第２の分類モデルを第２判定部２３へ出力する。

次に、取得部２１は、判定用画像を取得する（ステップＳ３０４）。詳細には、取得部２１は、たとえば、焼結物Ｔｇｔが生産ラインを流れるごとに当該焼結物Ｔｇｔの画像を判定用画像として取得する。この判定用画像には、部分ラベルおよび全体ラベルが付されていない。

より詳細には、取得部２１は、蓄積装置１３１における画像情報の蓄積状況を監視し、たとえば、蓄積装置１３１において新たな画像情報が蓄積されると、当該新たな画像情報を蓄積装置１３１から取得する。

次に、取得部２１は、複数の部分画像に分割された判定用画像データを取得する（ステップＳ３０６）。

より詳細には、取得部２１は、学習済モデル情報に含まれる方式Ｍ１に従う方法により、蓄積装置１３１から取得した画像情報の示す判定用画像を６３個の部分画像に分割する。取得部２１は、このようにして作成した判定用画像データを第１判定部２２へ出力する。

次に、第１判定部２２は、学習済第１の分類モデルを用いて、取得部２１によって取得された複数の部分画像がそれぞれ対象事象を含むか否かを判定する（ステップＳ３０８）。

より詳細には、第１判定部２２は、取得部２１から判定用画像データを受けると、受けた判定用画像データを、取得部２１から受けた学習済第１の分類モデルに入力することにより、部分判定済画像データを作成する。

この部分判定済画像データは、学習済第１の分類モデルによる判定結果が付された部分画像を６３個含む。第１判定部２２は、作成した部分判定済画像データを第２判定部２３へ出力する。

次に、第２判定部２３は、学習済第２の分類モデルを用いて、第１判定部２２により対象事象を含むと判定された複数の部分画像の位置関係に基づいて、判定用画像データが対象事象を含むか否かを判定する（ステップＳ３１０）。

詳細には、第２判定部２３は、たとえば、学習済第２の分類モデルを用いて、第１判定部２２により対象事象を含むと判定された複数の部分画像の位置関係と、判定用画像データとに基づいて、判定用画像データが対象事象を含むか否かを判定する。

より詳細には、第２判定部２３は、第１判定部２２から部分判定済画像データを受けると、受けた部分判定済画像データに基づいてキズ判定位置情報を作成し、作成したキズ判定位置情報を当該部分判定済画像データに追加する。

そして、第２判定部２３は、キズ判定位置情報を追加した部分判定済画像データを学習済第２の分類モデルに入力することにより結果情報を取得し、取得した結果情報を送信部２４へ出力する。

次に、送信部２４は、第２判定部２３から結果情報を受けると、受けた結果情報を上位装置１６１へ送信する（ステップＳ３１２）。

なお、上記ステップＳ３０２およびＳ３０４の順番は、上記に限らず、順番を入れ替えてもよい。

再び図１を参照して、上位装置１６１は、たとえば生産ラインを管理するサーバであり、判定装置１０１から受信する結果情報に基づいて、生産ラインを流れる焼結物Ｔｇｔが良品であるか否かを判断する。

上位装置１６１は、焼結物Ｔｇｔが良品でないと判断した場合、たとえば、当該焼結物Ｔｇｔを生産ラインから除外させたり、当該焼結物Ｔｇｔの識別子をユーザに通知したりする。

［他の具体例］
図１４は、本発明の実施の形態に係る判定システムにおける学習装置が処理する良品画像の一例を示す図である。

図１４には、対象物の一例である良品のねじＴｇｔ２の画像である良品画像Ｓｇ２が示される。図１４では、方式Ｍ１に従う方法により良品画像Ｓｇ２が分割されている。ねじＴｇｔ２の頭部には、十字形状のリセスＲｃ２が設けられている。

図１５は、本発明の実施の形態に係る判定システムにおける学習装置が処理する不良品画像の一例を示す図である。

図１５には、対象事象の一例である十字形状のキズ部Ｄｆ２を含むねじＴｇｔ２の不良品の画像すなわち不良品画像Ｓｎｇ２が示される。図１５では、方式Ｍ１に従う方法により、不良品画像Ｓｎｇ２が分割されている。

図１、図１４および図１５を参照して、学習装置１５１は、このような良品画像Ｓｇ２とキズ部Ｄｆ２に沿ってユーザによって指定された図示しない軌跡Ｔｒ２を含む不良品画像Ｓｎｇ２とを用いて、学習済第１の分類モデルを作成する。

学習済第１の分類モデルは、たとえば、十字形状の輪郭の一部または全部が部分画像に含まれるか否かに基づいて、当該部分画像にキズ部Ｄｆ１が含まれるか否かを分類する。

第２の分類モデルは、たとえば、方式Ｍ１に従う方法により複数の部分画像に分割された学習用画像データと、全体ラベル情報とを含む第２の学習用データについて、複数の第２の学習用データと対象事象を含むと判定された１または複数の部分画像の位置とを用いて作成される。

図１６は、本発明の実施の形態に係る判定システムにおける学習装置が処理する良品画像の一例を示す図である。

図１６では、図１４に示す良品画像Ｓｇ２が学習済第１の分類モデルに入力された場合において、学習済第１の分類モデルによってキズ部Ｄｆ２が含まれると誤って判定された部分画像すなわちリセスＲｃ２を含む部分画像がハッチングによって示される。

学習装置１５１は、良品画像Ｓｇ２についての第２の学習用データが学習済第１の分類モデルに入力された結果に基づいて、「Ｂ７」，「Ｂ８」，「Ｃ７」，「Ｃ８」を示すキズ判定位置情報を作成し、作成したキズ判定位置情報を当該第２の学習用データに追加する。

図１７は、本発明の実施の形態に係る判定システムにおける学習装置が処理する不良品画像の一例を示す図である。

図１７には、図１５に示す不良品画像Ｓｎｇ２が学習済第１の分類モデルに入力された場合において、学習済第１の分類モデルによってキズ部Ｄｆ２が含まれると誤って判定された部分画像すなわちリセスＲｃ２を含む部分画像、およびキズ部Ｄｆ２が含まれると正しく判定された部分画像がハッチングによって示される。

学習装置１５１は、不良品画像Ｓｎｇ２についての第２の学習用データが学習済第１の分類モデルに入力された結果に基づいて、「Ｂ７」，「Ｂ８」，「Ｃ７」，「Ｃ８」，「Ｄ４」，「Ｄ５」，「Ｅ４」，「Ｅ５」を示すキズ判定位置情報を作成し、作成したキズ判定位置情報を当該第２の学習用データに追加する。

学習装置１５１は、このようにして作成した第２の学習用データを用いて学習済第２の分類モデルを作成する。

この学習済第２の分類モデルは、たとえば、キズ判定位置情報の示す部分画像が、「Ｂ７」，「Ｂ８」，「Ｃ７」，「Ｃ８」と異なる位置に存在するか否かに基づいて、対応の学習用画像データにキズ部Ｄｆ２が含まれるか否かを分類する。

より詳細には、良品画像Ｓｇ２（図１６参照）および不良品画像Ｓｎｇ２（図１７参照）の両方において、「Ｂ７」，「Ｂ８」，「Ｃ７」，「Ｃ８」における部分画像がキズ部Ｄｆ２を含むと第１の分類モデルによって判定されている。

このため、学習済第２の分類モデルは、図１６に示すようにキズ判定位置情報が「Ｂ７」，「Ｂ８」，「Ｃ７」，「Ｃ８」だけを示す場合、対応の学習用画像データにキズ部Ｄｆ２が含まれないと分類する。

一方、学習済第２の分類モデルは、図１７に示すようにキズ判定位置情報が「Ｂ７」，「Ｂ８」，「Ｃ７」，「Ｃ８」の他に「Ｄ４」，「Ｄ５」，「Ｅ４」，「Ｅ５」を示す場合、対応の学習用画像データにキズ部Ｄｆ２が含まれると分類する。

なお、本発明の実施の形態に係る判定装置は、送信部２４を備える構成であるとしたが、これに限定するものではない。判定装置１０１は、送信部２４を備えない構成であってもよい。

また、本発明の実施の形態に係る判定装置では、第２判定部２３は、学習済第２の分類モデルを用いて、第１判定部２２により対象事象を含むと判定された複数の部分画像の位置関係と、判定用画像データとに基づいて、判定用画像データが対象事象を含むか否かを判定する構成であるとしたが、これに限定するものではない。第２判定部２３は、学習済第２の分類モデルを用いて、第１判定部２２により対象事象を含むと判定された複数の部分画像の位置関係に基づいて、判定用画像データが対象事象を含むか否かを判定する構成であってもよい。この場合においても、画像データにキズ部Ｄｆ１が含まれるか否かを示す結果情報を取得することが可能である。

また、本発明の実施の形態に係る判定装置では、取得部２１は、判定用画像を６３個の部分画像に分割する構成であるとしたが、これに限定するものではない。取得部２１は、予め６３個の部分画像に分割された判定用画像を取得する構成であってもよい。

また、本発明の実施の形態に係る判定装置では、第２判定部２３は、第１判定部２２により対象事象を含むと判定された１または複数の部分画像の位置または各部分画像の位置関係に基づいて、判定用画像データが対象事象を含むか否かを判定する構成であるとしたが、これに限定するものではない。

第２判定部２３は、たとえば、第１判定部２２により対象事象を含まないと判定された１または複数の部分画像の位置または各部分画像の位置関係に基づいて、判定用画像データが対象事象を含むか否かを判定する構成であってもよい。

この場合、第２の分類モデルは、たとえば、複数の学習用データと対象事象を含まないと判定された１または複数の部分画像の位置または各部分画像の位置関係とを用いて作成される。ここで、学習用データは、方式Ｍ１に従う方法により複数の部分画像に分割された学習用画像データと、当該学習用画像データが対象事象を含むか否かとを含むデータでる。

また、第２判定部２３は、たとえば、第１判定部２２により対象事象を含むと判定された１または複数の部分画像の位置または各部分画像の位置関係、および第１判定部２２により対象事象を含まないと判定された１または複数の部分画像の位置または各部分画像の位置関係に基づいて、判定用画像データが対象事象を含むか否かを判定する構成であってもよい。

また、本発明の実施の形態に係る判定システムでは、学習用画像データ、全体ラベル情報およびキズ判定位置情報を含む第２の学習用データが第２の分類モデルへ入力される構成であるとしたが、これに限定するものではない。全体ラベル情報およびキズ判定位置情報を含む第２の学習用データが第２の分類モデルへ入力される構成であってもよい。この場合においても、第２の分類モデルを機械学習させることが可能である。

また、本発明の実施の形態に係る判定システムでは、上述の方法によって第１の分類モデルおよび第２の分類モデルが作成される構成であるとしたが、これに限定するものではない。上述の方法と異なる方法によって第１の分類モデルおよび第２の分類モデルが作成される構成であってもよい。

また、本発明の実施の形態に係る判定システムでは、第１の分類モデルは、所定条件として、第１の学習データセットに含まれるキズあり部分画像群およびキズなし部分画像群をすべて用いた機械学習が完了したときに内容が決定される構成であるとしたが、これに限定するものではない。第１の分類モデルは、他の所定条件が満たされたときに内容が決定される構成であってもよい。

また、本発明の実施の形態に係る判定システムでは、判定装置１０１および学習装置１５１は、別体であるとしたが、これに限定するものではない。判定装置１０１は、学習装置１５１を備える構成であってもよい。

ところで、このような特許文献１に記載の技術を超えて、画像に映り込んだ対象事象の有無、たとえば対象物におけるキズまたはひび等の異常部分の有無をより正確に判定するための技術が求められている。

これに対して、本発明の実施の形態に係る判定装置では、取得部２１は、複数の部分画像に分割された判定用画像データを取得する。第１判定部２２は、第１の分類モデルを用いて、取得部２１によって取得された複数の部分画像がそれぞれ対象事象を含むか否かを判定する。そして、第２判定部２３は、第２の分類モデルを用いて、第１判定部２２により対象事象を含むと判定された１または複数の部分画像の位置または各部分画像の位置関係、および対象事象を含まないと判定された１または複数の部分画像の位置または各部分画像の位置関係の少なくともいずれか一方に基づいて、判定用画像データが対象事象を含むか否かを判定する。

このように、対象事象についての正しい特徴量を抽出可能なように局所的な部分画像について判定を行う構成により、判定精度を向上させることができる。さらに、部分画像の判定結果を大域的に判定可能な判定用画像について判定を行う構成により、判定精度をより向上させることができる。具体的には、たとえば、実際には判定用画像に対象事象が含まれないにも関わらず、部分画像において対象事象に似たものが含まれるために当該部分画像に対象事象が含まれると第１判定部２２が誤って判定することがある。このような場合においても、対象事象が含まれると判定された部分画像、および対象事象が含まれないと判定された部分画像の少なくともいずれか一方の位置または分布に基づいて、第１判定部２２の判定結果の誤りを第２判定部２３が正すことができる。したがって、画像における対象事象の有無をより正確に判定することができる。

また、本発明の実施の形態に係る判定装置では、第１の分類モデルは、複数の下記の学習用データを用いて作成される。ここで、学習用データは、判定用画像データと同じ方法により複数の部分画像に分割された学習用画像データと、複数の部分画像がそれぞれ対象事象を含むか否かの情報とを含むデータである。

このように、複数の部分画像を用いて第１の分類モデルが作成される構成により、学習のためのデータ数を増加させることができるので、第１の分類モデルの完成度をより高めることができる。また、部分画像単位で処理する構成により、より正しい局所的な特徴量の抽出可能性を高めることができる。

また、本発明の実施の形態に係る判定装置では、第２の分類モデルは、複数の下記の学習用データと対象事象を含むと判定された１または複数の部分画像の位置または各部分画像の位置関係、および対象事象を含まないと判定された１または複数の部分画像の位置または各部分画像の位置関係の少なくともいずれか一方とを用いて作成される。ここで、学習用データは、判定用画像データと同じ方法により複数の部分画像に分割された学習用画像データと、学習用画像データが対象事象を含むか否かの情報とを含むデータである。

このように、学習用画像データが対象事象を含むか否かの大域的な情報、および局所的な特徴量に基づく結果を用いて第２の分類モデルが作成される構成により、局所的な特徴量に基づく結果の誤りを正すことが可能な、より正しい大域的な特徴量の抽出可能性を高めることができる。これにより、第２の分類モデルの完成度をより高めることができる。

また、本発明の実施の形態に係る判定装置では、第１の分類モデルは、所定条件を満たしたときに内容が決定される。そして、第２の分類モデルは、内容決定後の第１の分類モデルへ、判定用画像データと同じ方法により複数の部分画像に分割された学習用画像データを用いた結果と、学習用画像データが対象事象を含むか否かの情報とを含む学習用データを用いて内容が決定される。

このように、たとえば、十分なデータ数を用いた機械学習が完了したときに第１の分類モデルの内容が決定される構成により、第１の分類モデルの完成度をより高めることができる。また、より完成度の高まった第１の分類モデルへ学習用画像データを用いた結果、すなわち第１の分類モデルによる精度の高い分類結果と、学習用画像データが対象事象を含むか否かとを含む学習用データを用いて第２の分類モデルの内容を決定する構成により、第２の分類モデルの完成度をより高めることができる。

上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

以上の説明は、以下に付記する特徴を含む。

［付記１］
複数の部分画像に分割された判定用画像データを取得する取得部と、
第１の分類モデルを用いて、前記取得部によって取得された前記複数の部分画像がそれぞれ対象事象を含むか否かを判定する第１判定部と、
第２の分類モデルを用いて、前記第１判定部により前記対象事象を含むと判定された１または複数の前記部分画像の位置または各前記部分画像の位置関係、および前記対象事象を含まないと判定された１または複数の前記部分画像の位置または各前記部分画像の位置関係の少なくともいずれか一方に基づいて、前記判定用画像データが前記対象事象を含むか否かを判定する第２判定部とを備え、
前記対象事象はキズまたはひびであり、
前記第１の分類モデルは、機械学習によって自動的に作成されるアルゴリズムであり、
前記第２の分類モデルは、機械学習によって自動的に作成されるアルゴリズムである、判定装置。

［付記２］
複数の部分画像に分割された判定用画像データを取得する取得部と、
第１の分類モデルを用いて、前記取得部によって取得された前記複数の部分画像がそれぞれ対象事象を含むか否かを判定する第１判定部と、
第２の分類モデルを用いて、前記第１判定部により前記対象事象を含むと判定された１または複数の前記部分画像の位置または各前記部分画像の位置関係、および前記対象事象を含まないと判定された１または複数の前記部分画像の位置または各前記部分画像の位置関係の少なくともいずれか一方と、前記判定用画像データとに基づいて、前記判定用画像データが前記対象事象を含むか否かを判定する第２判定部とを備える、判定装置。

［付記３］
判定装置における判定方法であって、
複数の部分画像に分割された判定用画像データを取得するステップと、
第１の分類モデルを用いて、取得した前記複数の部分画像がそれぞれ対象事象を含むか否かを判定するステップと、
第２の分類モデルを用いて、前記対象事象を含むと判定した１または複数の前記部分画像の位置または各前記部分画像の位置関係、および前記対象事象を含まないと判定した１または複数の前記部分画像の位置または各前記部分画像の位置関係の少なくともいずれか一方と、前記判定用画像データとに基づいて、前記判定用画像データが前記対象事象を含むか否かを判定するステップとを含む、判定方法。

［付記４］
判定装置において用いられる判定プログラムであって、
コンピュータを、
複数の部分画像に分割された判定用画像データを取得する取得部と、
第１の分類モデルを用いて、前記取得部によって取得された前記複数の部分画像がそれぞれ対象事象を含むか否かを判定する第１判定部と、
第２の分類モデルを用いて、前記第１判定部により前記対象事象を含むと判定された１または複数の前記部分画像の位置または各前記部分画像の位置関係、および前記対象事象を含まないと判定された１または複数の前記部分画像の位置または各前記部分画像の位置関係の少なくともいずれか一方と、前記判定用画像データとに基づいて、前記判定用画像データが前記対象事象を含むか否かを判定する第２判定部、
として機能させるための、判定プログラム。

２１ 取得部
２２ 第１判定部
２３ 第２判定部
２４ 送信部
１０１ 判定装置
１２１ カメラ
１３１ 蓄積装置
１５１ 学習装置
１６１ 上位装置
３０１ 判定システム
Ｄｆ１，Ｄｆ２ キズ部
Ｒｃ２ リセス
Ｓｄ１ 淡部
Ｔｇｔ 焼結物
Ｔｇｔ２ ねじ

Claims (6)

1. 複数の部分画像に分割された判定用画像データを取得する取得部と、
   第１の分類モデルを用いて、前記取得部によって取得された前記複数の部分画像がそれぞれ対象事象を含むか否かを判定する第１判定部と、
   第２の分類モデルを用いて、前記第１判定部により前記対象事象を含むと判定された１または複数の前記部分画像の位置または各前記部分画像の位置関係、および前記対象事象を含まないと判定された１または複数の前記部分画像の位置または各前記部分画像の位置関係の少なくともいずれか一方に基づいて、前記判定用画像データが前記対象事象を含むか否かを判定する第２判定部とを備える、判定装置。
2. 前記第１の分類モデルは、複数の下記の学習用データを用いて作成される、請求項１に記載の判定装置。
   学習用データ：前記判定用画像データと同じ方法により複数の部分画像に分割された学習用画像データと、前記複数の部分画像がそれぞれ前記対象事象を含むか否かの情報とを含むデータ。
3. 前記第２の分類モデルは、複数の下記の学習用データと前記対象事象を含むと判定された１または複数の前記部分画像の位置または各前記部分画像の位置関係、および前記対象事象を含まないと判定された１または複数の前記部分画像の位置または各前記部分画像の位置関係の少なくともいずれか一方とを用いて作成される、請求項１または請求項２に記載の判定装置。
   学習用データ：前記判定用画像データと同じ方法により複数の部分画像に分割された学習用画像データと、前記学習用画像データが前記対象事象を含むか否かの情報とを含むデータ。
4. 前記第１の分類モデルは、所定条件を満たしたときに内容が決定され、
   前記第２の分類モデルは、内容決定後の前記第１の分類モデルへ、前記判定用画像データと同じ方法により複数の部分画像に分割された学習用画像データを用いた結果と、前記学習用画像データが前記対象事象を含むか否かの情報とを含む学習用データを用いて内容が決定される、請求項１から請求項３のいずれか１項に記載の判定装置。
5. 判定装置における判定方法であって、
   複数の部分画像に分割された判定用画像データを取得するステップと、
   第１の分類モデルを用いて、取得した前記複数の部分画像がそれぞれ対象事象を含むか否かを判定するステップと、
   第２の分類モデルを用いて、前記対象事象を含むと判定した１または複数の前記部分画像の位置または各前記部分画像の位置関係、および前記対象事象を含まないと判定した１または複数の前記部分画像の位置または各前記部分画像の位置関係の少なくともいずれか一方に基づいて、前記判定用画像データが前記対象事象を含むか否かを判定するステップとを含む、判定方法。
6. 判定装置において用いられる判定プログラムであって、
   コンピュータを、
   複数の部分画像に分割された判定用画像データを取得する取得部と、
   第１の分類モデルを用いて、前記取得部によって取得された前記複数の部分画像がそれぞれ対象事象を含むか否かを判定する第１判定部と、
   第２の分類モデルを用いて、前記第１判定部により前記対象事象を含むと判定された１または複数の前記部分画像の位置または各前記部分画像の位置関係、および前記対象事象を含まないと判定された１または複数の前記部分画像の位置または各前記部分画像の位置関係の少なくともいずれか一方に基づいて、前記判定用画像データが前記対象事象を含むか否かを判定する第２判定部、
   として機能させるための、判定プログラム。

Images