JP2020085705A - 判定装置及び判定方法 - Google Patents

Abstract

【課題】判定対象物の一部が変更された場合に効率的に判定を行う。【解決手段】判定装置は、旧判定対象物からの変更部分を取得する変更部分取得部と、判定モデルを用いて、判定対象部分を良と不良と不良候補のいずれかに判定する第１判定部と、判定対象部分について判定員による良否判定結果を取得する第２判定部と、判定対象部分について、第１判定部と第２判定部との少なくとも一方を用いた良否判定処理を実行する判定実行部と、を備える。判定実行部は、良否判定処理において、変更部分を含まない第１種判定対象部分については、第１判定部に判定を実行させ、第１判定部により不良候補と判定された場合に第１種判定対象部分について第２判定部に良否判定結果の取得を実行させ、変更部分が含まれる第２種判定対象部分については、第２判定部に良否判定結果の取得を実行させる。【選択図】図１

Description

本開示は、判定装置及び判定方法に関する。

特許文献１には、対象物から取得した特徴量に応じて、対象物の良否を判定する装置が記載されている。この装置では、対象物から抽出される複数の第１特徴量に基づいて各領域の中から欠陥候補点を検出し、検出された欠陥候補点に基づいて欠陥候補領域と非欠陥候補領域とを設定し、欠陥候補領域及び非欠陥候補領域のそれぞれから第２特徴量を算出する。そして、複数の非欠陥候補領域から抽出した第２特徴量に基づいて、正常モデルを識別する識別器をオンラインで生成し、識別器により対象物の欠陥の有無を判定している。こうすることで、製造プロセスの変更や環境変動が生じても、対象物における欠陥検出を可能としている。

特開２０１５−４１１６４号公報

特許文献１記載の技術では、判定対象物の一部が変更された場合に効率的に判定を行う点については、十分に考慮されていなかった。

本開示の第１の形態によれば、判定対象物のセンシング部によるセンシング結果により得られた判定対象部分の良否を判定する判定装置が提供される。この判定装置は、旧判定対象物からの前記判定対象物の変更部分を取得する変更部分取得部と、前記判定対象部分の判定員による良否判定結果により学習された判定モデルを用いて、前記判定対象部分を良と不良と不良候補のいずれかに判定する第１判定部と、前記判定対象部分について判定員による良否判定結果を取得する第２判定部と、前記判定対象部分について、前記第１判定部と前記第２判定部との少なくとも一方を用いた良否判定処理を実行する判定実行部と、を備え、前記判定実行部は、前記良否判定処理において、前記変更部分を含まない前記判定対象部分である第１種判定対象部分については、前記第１判定部に判定を実行させ、前記第１判定部により不良候補と判定された場合に前記第１種判定対象部分について前記第２判定部に良否判定結果の取得を実行させ、前記変更部分が含まれる前記判定対象部分である第２種判定対象部分については、前記第２判定部に良否判定結果の取得を実行させる。

本開示の第２の形態によれば、判定対象物のセンシング結果により得られた判定対象部分の良否を判定する判定方法が提供される。この方法は、旧判定対象物からの変更部分を取得する変更部分取得工程と、前記判定対象部分の判定員による良否判定結果により学習された判定モデルを用いて、前記判定対象部分を良と不良と不良候補のいずれかに判定する第１判定工程と、前記判定対象部分について判定員による良否判定結果を取得する第２判定工程と、を備え、前記変更部分を含まない前記判定対象部分である第１種判定対象部分について、前記第１判定工程において判定を実行し、前記第１判定工程において不良候補と判定された前記第１種判定対象部分について前記第２判定工程において良否判定結果の取得を実行し、前記変更部分が含まれる前記判定対象部分である第２種判定対象部分について、前記第２判定工程において良否判定結果の取得を実行する。

本開示の一実施形態としての判定システムの概略構成を示す図である。 前処理前の検査画像と、前処理後の検査画像とを示す図である。 判定モデルにより算出される判定スコアと、判定閾値と、第１判定部による判定結果とを説明するための第１の図である。 判定モデルにより算出される判定スコアと、判定閾値と、第１判定部による判定結果とを説明するための第２の図である。 判定モデルにより算出される判定スコアと、判定閾値と、第１判定部による判定結果とを説明するための第３の図である。 目視検査装置における判定対象部分の良否判定イメージ図である。 第２判定部により良品と判定される判定対象物の良否判定結果付き画像である。 第２判定部により不良品と判定される判定対象物の良否判定結果付き画像である。 判定システムにおける良否判定処理を示す工程図である。 ステップＳ３０における変更部分の取得について説明するための図である。 変更部分が指定された、前処理前の検査画像と前処理後の検査画像とを示す図である。 第１種判定対象部分と第２種判定対象部分とを示す図である。 第１実施形態における良否判定処理のイメージ図である。 第２実施形態における良否判定処理を示す工程図である。 ステップＳ６２の判定のイメージを示す図である。 第２実施形態における良否判定処理のイメージ図である。 第３実施形態における判定システムの概略構成を示す図である。 第３実施形態における良否判定処理を示す工程図である。 他の実施形態１における良否判定処理のイメージを示す図である。

Ａ．第１実施形態
Ａ１．判定システムの構成
図１は、本開示の一実施形態としての判定システム５の概略構成を示す図である。判定システム５は、検査装置２０と、自動分類装置４０と、目視検査装置５０と、学習装置７０と、転送装置９０と、検査データベース６０と、を備える。判定システム５における各装置は、ネットワークにより接続されている。自動分類装置４０と目視検査装置５０とを「判定装置１０」とも呼ぶ。判定装置１０は、判定対象物の良否判定を実行するための装置である。

検査装置２０は、判定対象物のセンシング結果を取得するセンシング部２１を備える。本実施形態において、センシング部２１は、判定対象物を撮像した画像を取得するカメラを含む。本実施形態では、検査装置２０は、各判定対象物のセンシング結果である検査画像を、検査データベース６０に保存する。

自動分類装置４０は、変更部分取得部４１と、前処理部４２と、第１判定部４３と、判定実行部４４と、を備える。これらの各部は、自動分類装置４０の備える図示しないＣＰＵが、図示しないメモリーに記憶されたプログラムを展開して実行することで、その機能を実現する。

変更部分取得部４１は、旧判定対象物からの判定対象物の変更部分を取得する。本実施形態において、判定対象物における一部の設計は、旧判定対象物から変更されており、判定対象物は、旧判定対象物からの変更部分と未変更部分とにより構成されている。判定実行部４４は、判定対象物の判定対象部分について、第１判定部４３と第２判定部５１との少なくとも一方を用いた良否判定処理を実行する。変更部分取得部４１による変更部分の取得と、判定実行部４４による良否判定処理と、については後述する。

図２は、前処理前の検査画像Ｇ１と、前処理後の検査画像Ｇ２とを示す図である。前処理部４２は、センシング結果としての検査画像Ｇ１に対し、第１判定部４３あるいは第２判定部５１による判定を行うための所定の処理を行う。本実施形態では、前処理部４２は、図２に示すように、検査画像Ｇ１を複数の判定対象部分ｐに分割して、前処理後の検査画像Ｇ２を得る。

図３から図５は、判定対象部分ｐについて判定モデルにより算出される判定スコアと、判定閾値と、第１判定部４３による判定結果とを説明するための図である。判定モデルは、判定対象部分ｐの判定員による良否判定結果により学習されたモデルである。判定モデルとしては、例えば、畳み込みニューラルネットワークなどのニューラルネットワークを使用可能である。第１判定部４３は、判定モデルを用いて、判定対象部分ｐについて、良である確率を示す判定スコアと不良である確率を示す１つ以上の判定スコアとをそれぞれ算出する。本実施形態では、判定モデルは、良の判定スコアＳ０と、不良１と不良２と不良３の３種類の不良の判定スコアＳ１、Ｓ２、Ｓ３と、をそれぞれ算出する。これらの判定スコアＳ０、Ｓ１、Ｓ２、Ｓ３は、それらの和が１になるように規格化されている。不良の種類は、例えば、「キズ」や「異物」や「欠け」等である。図３に示す例では、判定対象部分ｐについて良である判定スコアＳ０が閾値以上であるため、第１判定部４３は、当該判定対象部分を「良」と判定する。図４に示す例では、判定対象部分ｐについて、不良１である判定スコアＳ１が閾値以上であるため、第１判定部４３は、当該判定対象部分を「不良１」と判定する。図５に示す例では、判定対象部分ｐについて、いずれの判定スコアも閾値を超えていないため、第１判定部４３は、当該判定対象部分を「不良候補」と判定する。第１判定部４３は、検査画像Ｇ２における各判定対象部分ｐに、判定モデルによる判定結果を付与して、検査データベース６０に保存する。検査画像Ｇ２における各判定対象部分ｐに、判定モデルによる判定結果や、判定員による判定結果が付与された画像を「良否判定結果付き画像」とも呼ぶ。

図１に示す目視検査装置５０は、第２判定部５１を備える。第２判定部５１は、目視検査装置５０の備える図示しないＣＰＵが図示しないメモリーに記憶されたプログラムを展開して実行することで、その機能を実現する。

図６は、目視検査装置５０における判定対象部分ｐの良否判定イメージ図である。図６に示す例では、第２判定部５１は、検査データベース６０に保存された良否判定結果付き画像を取得し、各判定対象部分ｐを良と不良と不良候補とに分類する。第２判定部５１は、不良候補である判定対象部分ｐを、目視検査装置５０の備える図示しない表示装置に表示させる。判定員は、表示された判定対象部分ｐについて、図示しない入力装置を介して、良否判定結果を入力する。第２判定部５１は、入力された良否判定結果を取得し、取得した良否判定結果を良否判定結果付き画像Ｇ２に付与して更新する。また、第２判定部５１は、各良否判定結果付き画像における判定対象部分ｐの良否判定を用いて、各判定対象物を良品と不良品とに分類する。

図７は、第２判定部５１により良品と判定される判定対象物の良否判定結果付き画像Ｇ３である。図８は、第２判定部５１により不良品と判定される判定対象物の良否判定結果付き画像Ｇ４である。図７及び図８において、斜線でハッチングされた判定対象部分ｐｂは、「不良」と判定された判定対象部分ｐであり、ドットでハッチングされた判定対象部分ｐｇは、「良」と判定された判定対象部分ｐである。本実施形態において、第２判定部５１は、判定対象部分ｐｂを有する判定対象物を「不良品」と判定する。第２判定部５１は、全ての判定対象部分ｐについて良と判定されている判定対象物を「良品」と判定する。

図１に戻り、検査データベース６０は、各判定対象物の検査画像や良否判定結果付き画像を保存する。

転送装置９０は、検査データベース６０に蓄積された良否判定結果付き画像を、ネットワークを介して学習装置７０に転送する。

学習装置７０には、転送装置９０から良否判定結果付き画像が転送されて蓄積される。学習装置７０は、判定対象部分ｐの判定員による良否判定結果により学習を行う。

図９は、判定システム５における良否判定処理を示す工程図である。この処理では、現在の判定対象物が旧判定対象物からその一部が変更されている場合を想定する。図９に示す良否判定処理は、例えば、判定システム５の管理者等により、図示しない入力装置を介して自動分類装置４０の判定実行部４４に判定開始指示が入力されることで開始される。

ステップＳ１０では、検査装置２０のセンシング部２１は、判定対象物をセンシングしてセンシング結果を取得する。本実施形態では、センシング部２１は、判定対象物を撮像した検査画像をセンシング結果として取得する。

ステップＳ２０では、判定実行部４４は、ステップＳ１０でセンシングされた判定対象物について、変更部分ＣＰが取得済みか否かを判定する。判定実行部４４は、変更部分ＣＰが取得されていない場合には処理をステップＳ３０に進める。

図１０は、ステップＳ３０における変更部分ＣＰの取得について説明するための図である。ステップＳ３０では、表示装置３０にセンシング結果としての検査画像Ｇ５が表示される。検査画像Ｇ５のうち、ハッチングが付された部分は変更部分ＣＰであり、ハッチングが付されていない部分は未変更部分ＮＣＰである。本実施形態において、判定システム５の管理者や判定員は、検査画像Ｇ５の旧判定対象物からの変更箇所を、図示しない入力装置を介して指定する。変更部分取得部４１は、指定された箇所を変更部分ＣＰとして取得し、指定されなかった箇所を未変更部分ＮＣＰとして取得する。

ステップＳ３５では、判定対象物のセンシング結果が自動分類装置４０に供給される。自動分類装置４０の前処理部４２は、図２で説明した前処理を実行する。

図１１は、変更部分ＣＰが指定された、前処理前の検査画像Ｇ５と前処理後の検査画像Ｇ６とを示す図である。前処理部４２は、ステップＳ３０において、図１１に示すように、変更部分ＣＰが指定された検査画像Ｇ５を複数の判定対象部分ｐに分割して、前処理後の検査画像Ｇ６を得る。前処理部４２は、前処理された複数の判定対象部分ｐを、変更部分ＣＰを含まない判定対象部分ｐ、すなわち、未変更部分ＮＣＰからなる判定対象部分ｐと、変更部分ＣＰを含む判定対象部分ｐと、に分類する。以下、変更部分ＣＰを含まない判定対象部分ｐを「第１種判定対象部分Ｐ１」と呼び、変更部分ＣＰを含むｐを「第２種判定対象部分Ｐ２」とも呼ぶ。なお、ステップＳ３０を「変更部分取得工程」とも呼ぶ。

図１２は、第１種判定対象部分Ｐ１と第２種判定対象部分Ｐ２とを示す図である。図１２に示す判定対象部分ｐ１〜ｐ６のうち、判定対象部分ｐ１は、未変更部分ＮＣＰのみで構成されているので、第１種判定対象部分Ｐ１である。他の判定対象部分、ｐ２、ｐ３、ｐ４、ｐ５、ｐ６は、変更部分ＣＰを含むので、第２種判定対象部分Ｐ２である。

ステップＳ４０では、判定対象物における判定対象部分ｐが選択される。ステップＳ４０で選択される判定対象部分ｐは、判定対象物の複数の判定対象部分ｐのうち、良否判定がされていない判定対象部分ｐである。

ステップＳ５０では、判定実行部４４は、ステップＳ４０で選択された判定対象部分ｐが、第２種判定対象部分Ｐ２であるか否かを判定する。ステップＳ４０で選択された判定対象部分ｐが第１種判定対象部分Ｐ１である場合には、判定実行部４４は、処理をステップＳ６０に進める。

ステップＳ６０では、判定実行部４４は、第１種判定対象部分Ｐ１について、自動分類装置４０の第１判定部４３に判定を実行させる。ステップＳ６０を「第１判定工程」とも呼ぶ。

図１３は、第１実施形態における良否判定処理のイメージ図である。自動分類装置４０では、上述のように、ステップＳ３５において、前処理部４２により、変更部分ＣＰを含む判定対象物を判定対象部分ｐに分割する前処理が行われる。第１判定部４３は、変更部分ＣＰを含まない第１種判定対象部分Ｐ１について、判定モデルを用いて良と不良との判定スコアを算出し、閾値を用いて良と不良と不良候補とのいずれかに判定する。本実施形態では、判定実行部４４は、変更部分ＣＰを含む第２種判定対象部分Ｐ２について、第１判定部４３に判定を実行させない。

ステップＳ７０では、判定実行部４４は、第１種判定対象部分Ｐ１の判定結果が不良候補である場合、処理をステップＳ８０に進める。第１種判定対象部分Ｐ１の判定結果が良又は不良である場合には、判定実行部４４は、処理をステップＳ９０に進める。

ステップＳ８０では、判定実行部４４は、判定対象部分ｐについて、第２判定部５１による良否判定結果の取得を実行させる。ステップＳ８０において、第２判定部５１が判定員による良否判定結果を取得するのは、不良候補と判定された第１種判定対象部分Ｐ１と、第２種判定対象部分Ｐ２とのいずれかである。ステップＳ８０を、「第２判定工程」とも呼ぶ。ステップＳ５０からステップＳ８０の処理が実行されることで、ステップＳ４０において選択された判定対象部分ｐの良否判定結果が取得される。

ステップＳ９０では、判定実行部４４は、良否判定結果が取得されていない判定対象部分ｐが存在する場合には、処理をステップＳ４０に戻す。判定実行部４４は、判定対象物の全ての判定対象部分ｐについて良否判定結果が取得されている場合には、上述したように目視検査装置５０において当該判定対象物を良品、不良品のいずれかに分類し、当該判定対象物についての良否判定処理を終了する。

この形態によれば、変更部分ＣＰを含まない第１種判定対象部分Ｐ１については判定モデルを用いて第１判定部４３に判定を実行させ、変更部分ＣＰを含む第２種判定対象部分Ｐ２については判定員による良否判定結果の取得を実行させるので、判定対象物が旧判定対象物からの変更部分ＣＰを含む場合に、判定員により良否判定される判定対象部分数が増加することを抑制して、効率的に良否判定を行うことができる。そのため、旧判定対象物からの変更部分ＣＰを有する判定対象物の良否判定に係るコストの増加を抑制することができる。また、旧判定対象物から設計の一部が変更された判定対象物について、旧判定対象物の判定に使用された判定モデル及び良否判定のための基準をそのまま用いることで判定の精度が低下することを、抑制することができる。

上記形態において、判定実行部４４は、第２種判定対象部分Ｐ２について、第１判定部４３に判定を実行させず、第２判定部５１に良否判定結果の取得を実行させるので、第１判定部４３において変更部分ＣＰを含む第２種判定対象部分Ｐ２の良否が誤判定されることを抑制することができる。

Ｂ．第２実施形態
第２実施形態の判定システム５では、判定実行部４４は、第２種判定対象部分Ｐ２について、第１判定部４３における良の基準と不良の基準とを第１種判定対象部分Ｐ１よりも厳しく設定して、第１判定部４３に判定を実行させる。また、判定実行部４４は、第１判定部４３により不良候補と判定された第２種判定対象部分Ｐ２について、第２判定部５１に良否判定結果の取得を実行させる。その他の判定システム５の構成は、第１実施形態と同様であるため説明を省略する。

図１４は、第２実施形態における良否判定処理を示す工程図である。図１４は、図９にステップＳ６２を追加したものであり、他のステップは図９と同じである。ステップＳ５０において、判定対象部分ｐが変更部分ＣＰを含む第２種判定対象部分Ｐ２である場合には、ステップＳ６２に進む。

ステップＳ６２では、判定実行部４４は、第２種判定対象部分Ｐ２について、第１判定部４３により判定を実行させる。この際、判定実行部４４は、第２種判定対象部分Ｐ２について、第１判定部４３における良及び不良と判定するための閾値を、第１種判定対象部分Ｐ１よりも高く設定して、第１判定部４３に判定を実行させる。

図１５は、ステップＳ６２の判定のイメージを示す図である。図１５に示す破線Ｌ１は第１種判定対象部分Ｐ１における判定閾値であり、実線Ｌ２は第２種判定対象部分Ｐ２における判定閾値である。ある判定対象部分ｐについて、判定モデルにより図１５に示す良と不良１と不良２と不良３との判定スコアＳ０、Ｓ１、Ｓ２、Ｓ３が得られた場合について説明する。当該判定対象部分ｐが第１種判定対象部分Ｐ１である場合には、第１判定部４３は、良の判定スコアＳ０が破線Ｌ１で示す判定閾値を超えているため、当該判定対象部分ｐを良と判定する。当該判定対象部分ｐが第２種判定対象部分Ｐ２である場合には、第１判定部４３は、いずれの判定スコアも破線Ｌ１よりも高い閾値である実線Ｌ２で示す判定閾値を超えていないため、当該判定対象部分ｐを不良候補と判定する。

図１６は、第２実施形態における良否判定処理のイメージ図である。前処理部４２により、変更部分ＣＰを含む判定対象物について判定対象部分ｐに分割する前処理が行われた後、第１判定部４３は、第１種判定対象部分Ｐ１及び第２種判定対象部分Ｐ２について、判定モデルを用いて良と不良との判定スコアを算出する。ただし、第２種判定対象部分Ｐ２については、良又は不良と判定される確率を低下させるとともに、不良候補と判定される確率を上昇させるように、良と不良の判定基準を、第１種判定対象部分Ｐ１よりも厳しく設定する。具体的には、第１判定部４３は、図１５に破線Ｌ１で示した閾値を用いて、第１種判定対象部分Ｐ１を、良と不良と不良候補とのいずれかに判定する。第１判定部４３は、図１５に実線Ｌ２で示した第１種判定対象部分Ｐ１よりも高く設定した閾値を用いて、第２種判定対象部分Ｐ２を、良と不良と不良候補とのいずれかに判定する。

ステップＳ８０では、第１判定部４３により不良候補と判定された第１種判定対象部分Ｐ１及び第２種判定対象部分Ｐ２について、第２判定部５１において判定員による良否判定結果の取得が実行される。第２種判定対象部分Ｐ２のうち、ステップＳ６２において良あるいは不良と判定された判定対象部分ｐについては、判定員による良否判定の対象とならない。

この形態によれば、判定実行部４４は、第２種判定対象部分Ｐ２について、第１判定部４３における良の基準と不良の基準とを、第１種判定対象部分Ｐ１よりも厳しく設定して、第１判定部４３に判定を実行させ、第１判定部４３により不良候補と判定された第２種判定対象部分Ｐ２について第２判定部５１に良否判定結果の取得を実行させる。そのため、判定対象物が旧判定対象物からの変更部分ＣＰを含む場合に、判定員により良否判定される判定対象部分数が増加することをより抑制して、効率的に良否判定を行うことができる。そのため、旧判定対象物からの変更部分ＣＰを有する判定対象物の良否判定に係るコストの増加をより抑制することができる。また、第２種判定対象部分Ｐ２については、第１種判定対象部分Ｐ１よりも厳しく設定された基準を用いて、第１判定部４３により判定が行われるので、第２種判定対象部分Ｐ２について良否の誤判定がされることを抑制することができる。

Ｃ．第３実施形態
図１７は、第３実施形態における判定システム５ａの概略構成を示す図である。この判定システム５ａは、センシング部２１ａが、パターンマッチング部２２ａとテンプレートデータ２３ａとを有する点が、図１に示した判定システム５と異なり、他の構成は図１と同じである。判定システム５ａでは、検査装置２０ａのセンシング部２１ａが、判定対象物について判定装置１０ａにおける判定が必要か否かを判定する。また、判定システム５ａでは、自動分類装置４０ａの判定実行部４４ａが、センシング部２１ａにより判定が必要とされた判定対象物における判定対象部分ｐについて、上述の良否判定処理を実行する。

図１８は、第３実施形態における良否判定処理を示す工程図である。図１８は、図９にステップＳ１５を追加したものであり、他のステップは図９と同じである。センシング部２１ａにおいて判定対象物がセンシングされると、ステップＳ１５に進む。

ステップＳ１５では、パターンマッチング部２２ａは、予め記憶されたテンプレートデータ２３ａを用いて、判定対象物を良品と不良候補品とに分類する。例えば、パターンマッチング部２２ａは、判定対象物の所定の位置範囲において、ステップＳ１０で取得されたセンシング結果と検査装置２０ａに予め記憶されたテンプレートデータ２３ａとを比較する。パターンマッチング部２２ａは、センシング結果における寸法幅が、テンプレートデータ２３ａを基準とした予め定められた幅以内である場合に、判定対象物を良品と判定し、予め定められた幅を超えている場合に、判定対象物を不良候補品に分類する。センシング部２１ａは、センシング結果としての検査画像に良品と不良候補品との判定結果を付与して、検査データベース６０に保存する。判定実行部４４ａは、センシングされた判定対象物について判定装置１０ａにおける判定が必要であるか否かを判断する。判定実行部４４ａは、センシング部２１ａにおいて良品と判定された判定対象物については、判定装置１０ａにおける判定が不要であると判断し、不良候補品と判定された判定対象物を判定装置１０ａにおける判定が必要であると判断する。

この形態によれば、判定実行部４４ａは、センシング部２１ａにより判定が必要とされた判定対象物における判定対象部分ｐについて、判定装置１０ａにおける良否判定処理を実行するので、判定装置１０ａにおいて良否判定される判定対象部分ｐの数を削減することができる。そのため、判定員により良否判定される判定対象部分数の増加をより抑制することができる。

なお、第３実施形態は第２実施形態と組み合わせられてもよく、図１４にステップＳ１５を追加してもよい。

Ｄ．他の実施形態
Ｄ１．他の実施形態１
図１９は、他の実施形態１における良否判定処理のイメージを示す図である。上記第１実施形態においては、図１３に示したように、判定実行部４４は、第２種判定対象部分Ｐ２については、第１判定部４３による判定を実行せず、第２判定部５１に判定員による良否判定結果の取得を実行させている。これに対し、第１判定部４３は第２種判定対象部分Ｐ２を「不良候補」と判定するように構成されており、判定実行部４４は、第２種判定対象部分Ｐ２について第１判定部４３による判定を実行させる。この形態においても、全ての第２種判定対象部分Ｐ２は、上記第１実施形態と同様に、判定員により良否判定される。そのため、第１実施形態と同様に、第１判定部４３において変更部分ＣＰを含む第２種判定対象部分Ｐ２の良否が誤判定されることを抑制することができる。

Ｄ２．他の実施形態２
上記実施形態において、判定実行部４４、４４ａは、自動分類装置４０、４０ａに代えて、判定装置１０、１０ａの備える目視検査装置５０や、判定システム５、５ａの備える学習装置７０や、判定システム５、５ａにネットワークで接続された他の装置に備えられていてもよい。この場合、第１判定部４３と、第２判定部５１と、判定実行部４４、４４ａとの機能を実現する装置を「判定装置」と呼ぶこともできる。

Ｄ３．他の実施形態３
上記実施形態において、センシング部２１、２１ａは、例えば、対象物の匂い、味、音響等、画像以外の結果を取得してもよい。

Ｄ４．他の実施形態４
上記実施形態において、学習装置７０は、第２種判定対象部分Ｐ２の判定員による良否判定結果を用いて学習を行ってもよい。判定実行部４４、４４ａは、学習装置７０に、第２種判定対象部分Ｐ２の判定員による良否判定結果による学習を、第１種判定対象部分Ｐ１よりも優先させてもよい。例えば、判定実行部４４、４４ａは、判定対象部分に第２種判定対象部分Ｐ２を識別するためのラベルを付与した良否判定結果付き画像を検査データベース６０に保存し、学習装置７０は、ラベルが付与された判定対象部分の判定員による良否判定結果による学習頻度や学習の重み付けを、ラベルが付与されていない良否判定結果による学習頻度よりも高くしてもよい。また、学習装置７０は、第２種判定対象部分Ｐ２の判定員による良否判定結果を用いて学習された判定モデルを、例えば、クロスバリデーション方式により評価してもよい。判定実行部４４、４４ａは、当該学習された判定モデルの評価結果が予め定めた条件を満たす場合に、第２種判定対象部分Ｐ２を当該判定モデルにより判定可能と判断してもよい。判定実行部４４、４４ａは、第２種判定対象部分Ｐ２を判定モデルにより良と不良と不良候補とに判定可能になった場合に、変更部分取得部４１による変更部分ＣＰの取得を行わず、判定対象部分ｐについて第１判定部４３に判定を実行させ、第１判定部４３により不良候補と判定された前記判定対象部分ｐについて第２判定部５１に良否判定結果の取得を実行させてもよい。

Ｄ５．他の実施形態５
上記形態において、変更部分ＣＰは旧判定対象物からの設計の変更により生じているが、変更部分ＣＰは、判定対象物の製造プロセスが、旧判定対象物から変更されることにより生じていてもよい。

Ｅ．他の形態
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組合せを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

（１）本開示の第１の形態によれば、判定対象物のセンシング部によるセンシング結果により得られた判定対象部分の良否を判定する判定装置が提供される。この判定装置は、旧判定対象物からの前記判定対象物の変更部分を取得する変更部分取得部と、前記判定対象部分の判定員による良否判定結果により学習された判定モデルを用いて、前記判定対象部分を良と不良と不良候補のいずれかに判定する第１判定部と、前記判定対象部分について判定員による良否判定結果を取得する第２判定部と、前記判定対象部分について、前記第１判定部と前記第２判定部との少なくとも一方を用いた良否判定処理を実行する判定実行部と、を備え、前記判定実行部は、前記良否判定処理において、前記変更部分を含まない前記判定対象部分である第１種判定対象部分については、前記第１判定部に判定を実行させ、前記第１判定部により不良候補と判定された場合に前記第１種判定対象部分について前記第２判定部に良否判定結果の取得を実行させ、前記変更部分が含まれる前記判定対象部分である第２種判定対象部分については、前記第２判定部に良否判定結果の取得を実行させる。この形態によれば、変更部分を含まない第１種判定対象部分については判定モデルを用いて第１判定部に判定を実行させ、変更部分を含む第２種判定対象部分については判定員による良否判定結果の取得を実行させるので、判定対象物が旧判定対象物からの変更部分を含む場合に、判定員により良否判定される判定対象部分数が増加することを抑制して、効率的に良否判定を行うことができる。

（２）上記形態において、前記判定実行部は、前記第２種判定対象部分について、前記第１判定部に判定を実行させず、前記第２判定部に良否判定結果の取得を実行させてもよい。この形態によれば、第１判定部において、変更部分を含む第２種判定対象部分の良否が誤判定されることを抑制することができる。

（３）上記形態において、前記判定実行部は、前記第２種判定対象部分について、良又は不良と判定される確率を低下させるとともに不良候補と判定される確率を上昇させるように前記第１判定部における良と不良の判定基準を、前記第１種判定対象部分よりも厳しく設定して、前記第１判定部に判定を実行させ、前記第１判定部により不良候補と判定された場合に、前記第２種判定対象部分について、前記第２判定部に良否判定結果の取得を実行させてもよい。この形態によれば、判定対象物が旧判定対象物からの変更部分を含む場合に、判定員により良否判定される判定対象部分数が増加することをより抑制して、効率的に良否判定を行うことができる。そのため、旧判定対象物からの変更部分を有する判定対象物の良否判定に係るコストの増加をより抑制することができる。また、第２種判定対象部分については、第１種判定対象部分よりも厳しく設定された基準を用いて、第１判定部により判定が行われるので、第２種判定対象部分について良否の誤判定がされることを抑制することができる。

（４）上記形態において、前記判定実行部は、前記センシング部により判定が必要とされた前記判定対象物における前記判定対象部分について、前記良否判定処理を実行してもよい。この形態によれば、判定対象物が旧判定対象部分からの変更部分を含む場合に、判定員により良否判定される判定対象部分数が増加することを、一層抑制することができる。

（５）本開示の第２の形態によれば、判定対象物のセンシング結果により得られた判定対象部分の良否を判定する判定方法が提供される。この方法は、旧判定対象物からの変更部分を取得する変更部分取得工程と、前記判定対象部分の判定員による良否判定結果により学習された判定モデルを用いて、前記判定対象部分を良と不良と不良候補のいずれかに判定する第１判定工程と、前記判定対象部分について判定員による良否判定結果を取得する第２判定工程と、を備え、前記変更部分を含まない前記判定対象部分である第１種判定対象部分について、前記第１判定工程において判定を実行し、前記第１判定工程において不良候補と判定された前記第１種判定対象部分について前記第２判定工程において良否判定結果の取得を実行し、前記変更部分が含まれる前記判定対象部分である第２種判定対象部分について、前記第２判定工程において良否判定結果の取得を実行する。この形態によれば、変更部分を含まない第１種判定対象部分については判定モデルを用いて判定を実行し、変更部分を含む第２種判定対象部分については判定員による良否判定結果の取得を実行するので、判定対象物が旧判定対象物からの変更部分を含む場合に、判定員により良否判定される判定対象部分数が増加することを抑制して、効率的に良否判定を行うことができる。

本開示は、判定装置１０、１０ａ以外の種々の形態で実現することも可能である。例えば、判定装置１０、１０ａを備える判定システム５、５ａ、判定装置１０、１０ａによる判定方法、その方法を実現するコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）等の形態で実現することができる。

５、５ａ…判定システム、１０、１０ａ…判定装置、２０、２０ａ…検査装置、２１、２１ａ…センシング部、２２ａ…パターンマッチング部、２３ａ…テンプレートデータ、３０…表示装置、４０、４０ａ…自動分類装置、４１…変更部分取得部、４２…前処理部、４３…第１判定部、４４、４４ａ…判定実行部、５０…目視検査装置、５１…第２判定部、６０…検査データベース、７０…学習装置、９０…転送装置、ＣＰ…変更部分、ＮＣＰ…未変更部分、Ｇ１、Ｇ２、Ｇ３、Ｇ４、Ｇ５、Ｇ６…検査画像、Ｐ１…第１種判定対象部分、Ｐ２…第２種判定対象部分、ｐ、ｐ１、ｐ２、ｐ３、ｐ４、ｐ５、ｐ６、ｐｂ、ｐｇ…判定対象部分

Claims (5)

1. 判定対象物のセンシング部によるセンシング結果により得られた判定対象部分の良否を判定する判定装置であって、
   旧判定対象物からの前記判定対象物の変更部分を取得する変更部分取得部と、
   前記判定対象部分の判定員による良否判定結果により学習された判定モデルを用いて、前記判定対象部分を良と不良と不良候補のいずれかに判定する第１判定部と、
   前記判定対象部分について判定員による良否判定結果を取得する第２判定部と、
   前記判定対象部分について、前記第１判定部と前記第２判定部との少なくとも一方を用いた良否判定処理を実行する判定実行部と、を備え、
   前記判定実行部は、前記良否判定処理において、
   前記変更部分を含まない前記判定対象部分である第１種判定対象部分については、前記第１判定部に判定を実行させ、前記第１判定部により不良候補と判定された場合に前記第１種判定対象部分について前記第２判定部に良否判定結果の取得を実行させ、
   前記変更部分が含まれる前記判定対象部分である第２種判定対象部分について、前記第２判定部に良否判定結果の取得を実行させる、判定装置。
2. 請求項１に記載の判定装置であって、
   前記判定実行部は、前記第２種判定対象部分について、前記第１判定部に判定を実行させず、前記第２判定部に良否判定結果の取得を実行させる、判定装置。
3. 請求項１に記載の判定装置であって、
   前記判定実行部は、
   前記第２種判定対象部分について、良又は不良と判定される確率を低下させるとともに不良候補と判定される確率を上昇させるように前記第１判定部における良と不良の判定基準を、前記第１種判定対象部分よりも厳しく設定して、前記第１判定部に判定を実行させ、
   前記第１判定部により不良候補と判定された場合に前記第２種判定対象部分について、前記第２判定部に良否判定結果の取得を実行させる、判定装置。
4. 請求項１から請求項３までのいずれか一項に記載の判定装置であって、
   前記判定実行部は、前記センシング部により判定が必要とされた前記判定対象物における前記判定対象部分について、前記良否判定処理を実行する、判定装置。
5. 判定対象物のセンシング結果により得られた判定対象部分の良否を判定する判定方法であって、
   旧判定対象物からの変更部分を取得する変更部分取得工程と、
   前記判定対象部分の判定員による良否判定結果により学習された判定モデルを用いて、前記判定対象部分を良と不良と不良候補のいずれかに判定する第１判定工程と、
   前記判定対象部分について判定員による良否判定結果を取得する第２判定工程と、を備え、
   前記変更部分を含まない前記判定対象部分である第１種判定対象部分について、前記第１判定工程において判定を実行し、前記第１判定工程において不良候補と判定された前記第１種判定対象部分について前記第２判定工程において良否判定結果の取得を実行し、
   前記変更部分が含まれる前記判定対象部分である第２種判定対象部分について、前記第２判定工程において良否判定結果の取得を実行する、判定方法。

Images