JP2022139417A - 統合モデルの生成方法、画像検査システム、画像検査用モデルの生成装置、画像検査用モデルの生成プログラム及び画像検査装置 - Google Patents

Abstract

【課題】現場の環境に適応する検査モデルをより少ない学習負荷で生成する。【解決手段】特定の特徴が互いに異なる複数の第１要素モデルを用意し、複数の第１要素モデルの少なくとも１つを、そのモデルの学習用データとは異なる調整用データに適応するように調整することで第２要素モデルを生成し、第１要素モデル及び第２要素モデルからなる要素モデルの集合から、第２要素モデルを少なくとも１つ含む複数の要素モデルを選択し、選択した複数の要素モデルを統合することで統合モデルを生成し、その統合モデルは、入力されたデータが分類されるいずれかのクラスを出力し、そのクラスは、選択された複数の要素モデルに関する全ての特定の特徴の存否に基づいて入力データが分類されるクラスである。【選択図】図２

Description

本発明は、統合モデルの生成方法、画像検査システム、画像検査用モデルの生成装置、画像検査用モデルの生成プログラム及び画像検査装置に関する。

従来より、工場等の製品を製造する現場では、製品や部品等の対象物を撮影した画像を学習モデルに入力し、学習モデルから出力されるデータに基づいて対象物の良否等を検査している。このような検査に用いる学習モデルには、事前に学習させておくモデルと、現場で学習させるモデルとがある。事前に学習させておくモデルは、現場の学習負荷を小さくできる替わりに、現場への適応が難しく検査精度が低くなるという問題がある。他方、現場で学習させるモデルは、現場に適応させるための学習負荷が大きいという問題がある。

検査精度を高めるものとして、例えば下記特許文献１に、物品毎に最適化された複数の学習モデルの中から検査に用いる学習モデルを選択し、選択した学習モデルを用いて検査対象物の中に指定された物品が含まれているかどうかを判定する選別支援装置が開示されている。また、学習モデルの能力を向上させるものとして、例えば下記特許文献２に、各現場の学習モデルを収集し、各学習モデルの共通部分に設定された統合範囲に反映された機械学習の結果を統合するモデル統合装置が開示されている。

特開２０１９－１７４４２１号公報 特開２０２０－１１５３１１号公報

しかし、特許文献１では、物品毎に学習モデルを生成する必要があるうえ、現場ごとに、その現場の環境（ドメインの例）に合わせた学習モデルを生成する必要があるため、現場での学習負荷が大きい。また、特許文献２は、各現場で学習させたモデルを統合することにとどまっており、各現場に適応させつつ各現場での学習負荷を低減させるには不十分である。

本発明は、このような事情に鑑みてなされたものであり、現場の環境に適応する検査モデルをより少ない学習負荷で生成することができる統合モデルの生成方法、画像検査システム、画像検査用モデルの生成装置、画像検査用モデルの生成プログラム及び画像検査装置を提供することを目的の１つとする。

本発明の一態様に係る統合モデルの生成方法は、入力データを入力し、入力データにおける特定の特徴の存否又は当該存否の尤度を出力する、機械学習された複数の第１要素モデルであって、異なる第１要素モデルの間では特定の特徴が互いに異なる、複数の第１要素モデルを用意し、複数の第１要素モデルの少なくとも１つを、当該第１要素モデルの学習に用いられた学習用データとは異なる調整用データに適応するように調整することにより第２要素モデルを生成し、第１要素モデル及び第２要素モデルからなる要素モデルの集合から、少なくとも1つの第２要素モデルと、当該第２要素モデルを生成するための基礎とされた第１要素モデル以外の少なくとも１つの前記要素モデルとを含む複数の要素モデルを選択し、選択された複数の要素モデルを統合することにより統合モデルを生成する、統合モデルの生成方法であって、統合モデルは、自身に入力されたデータを複数のクラスに分類するモデルであって、入力されたデータが属するクラスを出力するモデル、又は入力されたデータが特定のクラスに属する尤度を出力するモデルであり、それぞれのクラスは、選択された複数の要素モデルのうちの１つの要素モデルに関する特定の特徴の存否に対応するクラスではなく、選択された複数の要素モデルに関する全ての特定の特徴の存否又は当該存否の尤度に基づいて入力データが分類されるクラスである。

この態様によれば、特定の特徴が互いに異なる複数の第１要素モデルの少なくとも１つを、第１要素モデルの学習用データとは異なる調整用データに適応するように調整して第２要素モデルを生成し、第１要素モデル及び第２要素モデルからなる要素モデルの集合から、第２要素モデルを少なくとも１つ含む複数の要素モデルを選択し、選択した複数の要素モデルを統合して統合モデルを生成することができる。そして、その生成した統合モデルは、選択した複数の要素モデルに関する全ての特定の特徴の存否又は全ての特定の特徴の存否の尤度に基づいて、入力されたデータが分類されるクラス又は入力されたデータがいずれかのクラスに分類される尤度を出力することができる。つまり、要素モデルごとにドメイン適応させることができ、さらに互いに異なる特徴に反応する複数の要素モデルを統合し、各要素モデルが反応する特徴の存否ではなく総合的な判断ができる統合モデルを生成することが可能となる。

上記態様において、第２要素モデルを生成することは、第２要素モデルを生成するための基礎とする第１要素モデルを、調整用データを用いて機械学習により調整することであってもよい。

この態様によれば、あるドメインの第１要素モデルを、第２要素モデルのドメインで得られる調整用データに適応するように機械学習させて第２要素モデルを生成することが可能になる。

上記態様において、第２要素モデルを生成するために調整される第１要素モデルは、複数の特徴抽出部と、それぞれの特徴抽出部が出力する特徴量を要素とする特徴量ベクトルを補正する特徴量補正部と、特徴量補正部により補正された特徴量ベクトルに基づいて当該第１要素モデルに関する特定の特徴が含まれているか否かに関連する分析結果を算出する識別部と、を含み、第２要素モデルを生成することは、当該第１要素モデルの学習に用いられた学習用データについての特徴量ベクトルの代表値であって特徴量ベクトルが特徴量補正部によって補正された後の代表値が、補正される代表値よりも調整用データについての特徴量ベクトルの代表値に近くなるように、特徴量補正部による補正量を設定することであってもよい。

この態様によれば、あるドメインの第１要素モデルにおける学習用データについての特徴量ベクトルの代表値を、第２要素モデルのドメインで得られる調整用データについての特徴量ベクトルの代表値に近くなるように補正することで、第２要素モデルを生成することが可能になる。

上記態様において、入力データは、対象物を撮影した画像データであり、特定の特徴は対象物の外観上の個体差を生じさせる類型化された特徴であってもよい。

この態様によれば、対象物を撮影した画像データを入力し、対象物の外観上の個体差を生じさせる類型化された特徴を抽出とする第２要素モデルを生成することが可能になる。

上記態様において、統合モデルの出力に関するクラスは、対象物の品質レベルに応じたクラスであってもよい。

この態様によれば、統合モデルは、対象物の品質レベルに応じたクラスを出力することが可能になる。

上記態様において、第１要素モデルは、特定の特徴が存在する場所をさらに出力してもよい。

この態様によれば、特定の特徴が存在する場所を把握することが可能になる。

本発明の他の態様に係る画像検査システムは、対象物を撮影した画像データを入力し、画像データにおける対象物の外観上の個体差を生じさせる類型化された特徴である特定の特徴の存否又は当該存否の尤度を出力する、機械学習された複数の第１要素モデルであって、異なる第１要素モデルの間では特定の特徴が互いに異なる、複数の第１要素モデルにアクセスする第１要素モデルアクセス部と、複数の第１要素モデルの少なくとも１つを、当該第１要素モデルの学習に用いられた学習用データとは異なる調整用データに適応するように調整することにより第２要素モデルを生成する第２要素モデル生成部と、第１要素モデル及び第２要素モデルからなる要素モデルの集合から選択される、少なくとも１つの第２要素モデルと、当該第２要素モデルを生成するための基礎とされた第１要素モデル以外の少なくとも１つの要素モデルとを含む複数の要素モデルの指定を受け付ける選択部と、選択された複数の要素モデルを統合することにより、自身に入力された画像データの対象物が良品であるか否かの判定結果を出力する統合モデルを生成する統合モデル生成部と、検査対象の対象物を撮影した対象画像データを取得する画像取得部と、取得された対象画像データを統合モデルに入力して統合モデルを実行することにより対象物が良品であるか否かの判定結果を得る検査実行部と、を備える。

この態様によれば、特定の特徴が互いに異なる複数の第１要素モデルの少なくとも１つを、第１要素モデルの学習用データとは異なる調整用データに適応するように調整して第２要素モデルを生成し、第１要素モデル及び第２要素モデルからなる要素モデルの集合から、第２要素モデルを少なくとも１つ含む複数の要素モデルを選択し、選択した複数の要素モデルを統合して統合モデルを生成することができる。そして、その生成した統合モデルに対象画像データを入力することで、対象物が良品であるか否かの判定結果を得ることができる。つまり、要素モデルごとにドメイン適応させることができ、さらに互いに異なる特徴に反応する複数の要素モデルを統合し、総合的な判断ができる統合モデルを生成することが可能となる。

上記態様において、第２要素モデル生成部は、第２要素モデルを生成するための基礎とする第１要素モデルを、調整用データを用いて機械学習により調整することにより、第２要素モデルを生成してもよい。

この態様によれば、あるドメインの第１要素モデルを、第２要素モデルのドメインで得られる調整用データに適応するように機械学習させて第２要素モデルを生成することが可能になる。

上記態様において、第２要素モデルを生成するために調整される第１要素モデルは、複数の特徴抽出部と、それぞれの特徴抽出部が出力する特徴量を要素とする特徴量ベクトルを補正する特徴量補正部と、特徴量補正部により補正された特徴量ベクトルに基づいて当該第１要素モデルに関する特定の特徴が含まれているか否かに関連する分析結果を算出する識別部と、を含み、第２要素モデル生成部は、当該第１要素モデルの学習に用いられた学習用データについての特徴量ベクトルの代表値であって特徴量補正部によって特徴量ベクトルが補正された後の代表値が、補正される前の代表値よりも調整用データについての特徴量ベクトルの代表値に近くなるように、特徴量補正部による補正量を設定することにより、第２要素モデルを生成してもよい。

この態様によれば、あるドメインの第１要素モデルにおける学習用データについての特徴量ベクトルの代表値を、第２要素モデルのドメインで得られる調整用データについての特徴量ベクトルの代表値に近くなるように補正することで、第２要素モデルを生成することが可能になる。

上記態様において、選択された複数の要素モデルが分析する特定の特徴が良品特徴であるか不良品特徴であるかの指定を受け付ける指定部をさらに備え、統合モデル生成部は、良品特徴として指定された特定の特徴を分析する要素モデルを統合するに際して、統合モデルが対象物を良品であるとする判定結果を出力することを促進するように統合し、不良品特徴として指定された特定の特徴を分析する要素モデルを統合するに際して、統合モデルが対象物を不良品であるとする判定結果を出力することを促進するように統合してもよい。

この態様によれば、統合モデルが対象物を良品又は不良品であると判定する際の判定精度を向上させることが可能になる。

上記態様において、第１要素モデルアクセス部がアクセスできるいずれかの第１要素モデルであって、対象画像データのサンプルとされる画像データを分析した場合に特定の特徴が含まれていることに関する出力をする第１要素モデル又は当該第１要素モデルを調整した第２要素モデルを、選択すべき要素モデルの候補として提示する候補モデル提示部をさらに備えてもよい。

この態様によれば、例えば、ユーザが対象画像データのサンプルを選択すると、その対象画像データに適した第１要素モデル又は第２要素モデルを、選択すべき要素モデルの候補としてユーザに提示することが可能になる。

上記態様において、検査実行部にて誤判定された対象画像データに基づいて、統合モデルを作成するための要素モデルの選択の変更、第１要素モデルを機械学習するための学習用データの変更、第２要素モデルの調整の変更、及び統合モデルにおける判定基準の変更のいずれかを含むモデル改善策を提示する改善策提示部をさらに備えてもよい。

この態様によれば、誤判定された対象画像データに基づいて、そのような誤判定を減らすための要素モデルを改善する各種の方策をユーザに提示することが可能になる。

上記態様において、調整対象の要素モデルとは異なる要素モデルによって特定の特徴が含まれていることに関連する分析結果が出力される画像データを、調整対象の要素モデルに関する特定の特徴が含まれていない画像データとして調整対象の要素モデルを調整するための調整用データに含める改善策を提示する改善策提示部をさらに備えてもよい。

この態様によれば、例えば、不良品特徴に関連する分析結果を出力する要素モデルの特徴量分布と良品特徴に関連する分析結果を出力する要素モデルの特徴量分布との間に重なりがある場合に、何れかの要素モデルを調整して特徴量分布の重なりを減少させることが可能になる。

上記態様において、検査実行部にて誤判定された対象画像データに基づいて、第１要素モデルの機械学習に用いられた学習用の画像データ又は当該第１要素モデルに関連する特定の特徴を有するように生成された画像データの中から当該対象画像データに含まれる特徴と類似する特徴を含む比較用画像データを提示する画像データ提示部をさらに備えてもよい。

この態様によれば、誤判定された対象画像データと、その対象画像データに含まれる特徴と類似する特徴を含む比較用画像データとを対比できるようになるため、ユーザはドメイン間にどのような違いがあるかを体感することが可能になる。

上記態様において、対象画像データの指定を受け付け、第１要素モデルの機械学習に用いられた学習用の画像データ又は当該第１要素モデルに関連する特定の特徴を有するように生成された画像データの中から指定された対象画像データに含まれる特徴と類似する特徴を含む比較用画像データを提示する画像データ提示部をさらに備えてもよい。

この態様によれば、指定された対象画像データと、その対象画像データに含まれる特徴と類似する特徴を含む学習用データとを対比できるようになるため、ユーザはドメイン適用が意図通りにできているかどうかを確認することが可能になる。

上記態様において、生成された第２要素モデル及び統合モデルの少なくともいずれかを再利用されるときまで記憶を保持可能な記憶媒体に記憶する生成モデル記憶部をさらに備えてもよい。

この態様によれば、第２要素モデル及び統合モデルを再利用することが可能になる。

上記態様において、統合モデルに統合されている要素モデルを特定するデータ、アクセスできる第１要素モデルの学習に用いられた学習用データを特定するデータ、第１要素モデルを第２要素モデルに調整するためのデータ、複数の要素モデルを統合モデルに統合するためのデータの少なくともいずれかを含む設計データの集合について、アクセスを希望する利用者の識別データ又は属性データの入力を受け付け、識別データ又は属性データに応じてアクセスを許可する設計データの範囲を決定する、アクセス許可部をさらに備えてもよい。

この態様によれば、アクセス可能な設計データの範囲を、ユーザごとかつデータの種類ごとに、コントロールすることが可能になる。

本発明の他の態様に係る画像検査用モデルの生成装置は、対象物を撮影した画像データを入力し、画像データにおける対象物の外観上の個体差を生じさせる類型化された特徴である特定の特徴の存否又は当該存否の尤度を出力する、機械学習された複数の第１要素モデルであって、異なる第１要素モデルの間では特定の特徴が互いに異なる、複数の第１要素モデルにアクセスする第１要素モデルアクセス部と、複数の第１要素モデルの少なくとも１つを、当該第１要素モデルの学習に用いられた学習用データとは異なる調整用データに適応するように調整することにより第２要素モデルを生成する第２要素モデル生成部と、第１要素モデル及び第２要素モデルからなる要素モデルの集合から選択される、少なくとも１つの第２要素モデルと、当該第２要素モデルを生成するための基礎とされた第１要素モデル以外の少なくとも１つの要素モデルとを含む複数の要素モデルの指定を受け付ける選択部と、選択された複数の要素モデルを統合することにより、自身に入力された画像データの対象物が不良品であるか否かの判定結果を出力する統合モデルを生成する統合モデル生成部と、を備える。

この態様によれば、特定の特徴が互いに異なる複数の第１要素モデルの少なくとも１つを、第１要素モデルの学習用データとは異なる調整用データに適応するように調整して第２要素モデルを生成し、第１要素モデル及び第２要素モデルからなる要素モデルの集合から、第２要素モデルを少なくとも１つ含む複数の要素モデルを選択し、選択した複数の要素モデルを統合して統合モデルを生成することができる。そして、その生成した統合モデルに対象画像データを入力することで、対象物が良品であるか否かの判定結果を得ることができる。つまり、要素モデルごとにドメイン適応させることができ、さらに互いに異なる特徴に反応する複数の要素モデルを統合し、総合的な判断ができる統合モデルを生成することが可能となる。

本発明の他の態様に係る像検査用モデルの生成プログラムは、対象物を撮影した画像データを入力し、画像データにおける対象物の外観上の個体差を生じさせる類型化された特徴である特定の特徴の存否又は当該存否の尤度を出力する、機械学習された複数の第１要素モデルであって、異なる第１要素モデルの間では特定の特徴が互いに異なる、複数の第１要素モデルにアクセスする第１要素モデルアクセス機能と、複数の第１要素モデルの少なくとも１つを、当該第１要素モデルの学習に用いられた学習用データとは異なる調整用データに適応するように調整することにより第２要素モデルを生成する第２要素モデル生成機能と、第１要素モデル及び第２要素モデルからなる要素モデルの集合から選択される、少なくとも１つの第２要素モデルと、当該第２要素モデルを生成するための基礎とされた第１要素モデル以外の少なくとも１つの要素モデルとを含む複数の要素モデルの指定を受け付ける選択機能と、選択された複数の要素モデルを統合することにより、自身に入力された画像データの対象物が不良品であるか否かの判定結果を出力する統合モデルを生成する統合モデル生成機能と、をコンピュータに実現させる。

この態様によれば、特定の特徴が互いに異なる複数の第１要素モデルの少なくとも１つを、第１要素モデルの学習用データとは異なる調整用データに適応するように調整して第２要素モデルを生成し、第１要素モデル及び第２要素モデルからなる要素モデルの集合から、第２要素モデルを少なくとも１つ含む複数の要素モデルを選択し、選択した複数の要素モデルを統合して統合モデルを生成することができる。そして、その生成した統合モデルに対象画像データを入力することで、対象物が良品であるか否かの判定結果を得ることができる。つまり、要素モデルごとにドメイン適応させることができ、さらに互いに異なる特徴に反応する複数の要素モデルを統合し、総合的な判断ができる統合モデルを生成することが可能となる。

本発明の他の態様に係る画像検査装置は、上記の統合モデルの生成方法により生成された統合モデルと、検査対象の対象物を撮影した対象画像データを取得する画像取得部と、取得された対象画像データを統合モデルに入力して統合モデルを実行することにより対象物が良品であるか否かの判定結果を得る検査実行部と、を備える。

この態様によれば、上記の統合モデルの生成方法により生成された統合モデルに対象画像データを入力することで、対象物が良品であるか否かの判定結果を得ることができる。

本発明によれば、現場の環境に適応する検査モデルをより少ない学習負荷で生成することができる画像検査装置、画像検査方法及び画像検査用モデル生成装置を提供することができる。

本発明の実施形態に係る画像検査システムの概略構成図である。 実施形態に係る画像検査装置の構成を示す機能ブロック図である。 第１要素モデルの構成を示す機能ブロック図である。 第２要素モデル生成部の構成を示す機能ブロック図である。 図４の特徴量補正部による補正の一例を示す図である。 複数の要素モデルを統合する一例を説明するための図である。 実施形態に係る画像検査装置で実行される統合モデル生成処理及び検査処理の一例を説明するためのフローチャートである。 実施形態に係る画像検査装置の物理的な構成を示すブロック図である。 要素モデルとしての検査モデルを作成する際の画面構成の一例を示す図である。 検査モデルを作成した後に検査モデルを検証するための画面構成の一例を示す図である。 検査モデルを作成する際の画面構成の一例を示す図である。 誤認識された検証用サンプル画像に類似する画像を提示する画面構成の一例を示す図である。

以下に本発明の実施形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号で表している。但し、図面は模式的なものである。従って、具体的な寸法等は以下の説明を照らし合わせて判断するべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。さらに、本発明の技術的範囲は、当該実施形態に限定して解するべきではない。

添付図面を参照して、本発明の好適な実施形態について説明する。

図１は、本発明の一実施形態に係る画像検査システム１の概略構成図である。画像検査システム１は、画像検査装置２０及び照明２５を含む。照明２５は、検査対象物３０に光Ｌを照射する。画像検査装置２０は、反射光Ｒを撮影し、検査対象物３０の画像データ（以下、「対象画像データ」ともいう。）に基づいて、検査対象物３０の検査を行う。画像検査装置２０は、通信ネットワーク１５を介して、第１要素モデル記憶装置１０に接続する。第１要素モデル記憶装置１０は、他のドメイン（例えば他の現場や他の環境下）で生成された第１要素モデルを記憶する。第１要素モデルの詳細については後述する。

図２は、本実施形態に係る画像検査装置２０の構成を示す機能ブロック図である。画像検査装置２０は、例えば、処理部２００、ツール処理部２１０、記憶部２２０、通信部２３０及び撮影部２４０を備える。

通信部２３０は、例えば、通信ネットワーク１５を介して、第１要素モデル記憶装置１０又は他の装置から第１要素モデル２２１を受信する。受信した第１要素モデル２２１は、記憶部２２０に記憶させることが好ましい。撮影部２４０は、例えばカメラ等の画像センサであり、検査対象物３０を撮影する。

記憶部２２０は、各種の情報を記憶するように構成されている。記憶部２２０は、例えば、第１要素モデル２２１と、第２要素モデル２２２と、統合モデル（画像検査用モデル）２２３と、画像データ２２４とを記憶する。第１要素モデル２２１を記憶部２２０に記憶させることで、それ以降の第１要素モデルの取得を容易にすることができる。

第２要素モデル２２２は、他のドメインで生成された第１要素モデル２２１を、現在のドメインで得られる調整データに適応するように調整することで生成されるモデルである。統合モデル２２３は、複数の第２要素モデル２２２を統合することで生成されるモデルである。統合モデル２２３を生成する際に、第２要素モデル２２２の他に、第１要素モデル２２１を加えて統合してもよい。画像データ２２４には、例えば、学習用データやサンプルデータ、対象画像データ等の各種の画像データが含まれる。

処理部２００は、第１要素モデル２２１を調整して第２要素モデル２２２を生成し、その第２要素モデル２２２を用いて統合モデル２２３を生成し、その統合モデル２２３を用いて検査対象物の良否を検査する機能を有する。処理部２００は、例えば、第１要素モデル取得部２０１、第２要素モデル生成部２０２、モデル選択部２０３、統合モデル生成部２０４、画像取得部２０５、及び検査実行部２０６を有する。

第１要素モデル取得部２０１は、一つ以上の第１要素モデル２２１を利用可能（アクセス可能）にする。利用可能にする方法は、例えば、第１要素モデル２２１を第１要素モデル記憶装置１０又は記憶部２２０から取得し（読み出し）てもよいし、第１要素モデル２２１を作成してもよいし、既存の第１要素モデル２２１を収めたライブラリの提供を受けることであってもよい。つまり、第１要素モデル２２１を利用できるように用意することができればよい。

第１要素モデル２２１は、あるドメインの学習用データを用いて機械学習されるモデルである。第１要素モデル２２１は、あるドメインの入力データを入力し、その入力データにおける特定の特徴の存否、又は特定の特徴の存否の尤度を出力する。

入力データとして、例えば、検査対象物を撮影した画像データ、検査対象物の振動を観測した波形データ、音波を観測した波形データ等を用いることができる。本実施形態では、例示的に、入力データが画像データである場合について説明する。

特定の特徴は、検査対象物の外観上の個体差を生じさせる類型化された特徴である。特定の特徴は、例えば、検査対象物の表面の凹凸、検査対象物の表面の付着物、及び検査対象物の形状における成形又は加工の異常のいずれかに分類されることとしてもよい。

上記の検査対象物の表面の凹凸は、キズ、打痕、スクラッチ、凹みなどに細分類されてもよい。上記の検査対象物の表面の付着物は、埃、汚れなどに細分類されてもよい。上記の検査対象物の形状における成形又は加工の異常は、バリ、カケなどに細分類されてもよい。

特定の特徴は、異なる第１要素モデル２２１の間で互いに異なる特徴となる。

第１要素モデル２２１は、画像データに特定の特徴が存在する場合に、その特定の特徴が存在する場所をさらに出力してもよい。また、特定の特徴の存否の尤度を出力する場合に、その特定の特徴が存在しそうな場所をさらに出力することとしてもよい。

特定の特徴が存在する場所や特定の特徴が存在しそうな場所は、例えば、以下の（１）から（３）のいずれかの形式で出力することができる。（１）それらの場所の中心座標を出力する。（２）それらの場所を任意形状（例えば矩形）の領域で描画した画像を出力する。（３）それらの場所の分布状況を示すマップ画像を出力する。

特定の特徴が存在する場所や特定の特徴が存在しそうな場所を特定する方法として、例えば、モデルに入力する画像を複数の小領域に分割して学習させる方法を用いることができる。この方法では、分割した各小領域をモデルに順次入力し、その入力した順番で入力画像中の場所を特定できるようにその順番と場所とを対応付けた上で、小領域ごとに画像の特徴を学習させる。

図３に示すように、第１要素モデル２２１は、例えば、複数の特徴抽出部２２１ａと、識別部２２１ｂとを含む。

各特徴抽出部２２１ａは、検査対象物を撮影した対象画像データの特徴量を出力する。特徴量として、例えば、ブロブの面積、周囲長、線幅、色の濃さ等を用いることができる。ここで、ブロブは、画像中で色や輝度値等の特徴が共通している一まとまりの領域を意味する。

識別部２２１ｂは、各特徴抽出部２２１ａから出力される特徴量を要素とする特徴量ベクトルに基づいて、第１要素モデル２２１に関する分析結果を算出する。識別部２２１ｂとして、例えば、ベイズ識別、マハラノビス距離、ＳＶＭ（サポートベクターマシン）を用いることができる。

識別部２２１ｂが算出する分析結果には、例えば、特定の特徴が含まれているか否かの判定結果、又は特定の特徴が含まれると推測される尤もらしさを表す尤度を含むことができる。つまり、分析結果には、特定の特徴が含まれているか否かに関連する情報を含めることができる。

図２に示す第２要素モデル生成部２０２は、第１要素モデル取得部２０１により用意された複数の第１要素モデル２２１の少なくとも１つを、第１要素モデル２２１の学習に用いられた学習用データとは異なる調整用データに適応するように調整（ドメイン変換）することで、第２要素モデル２２２を生成する。学習用データは、他のドメインで得られるデータであり、調整用データは、現在のドメインで得られるデータである。

調整用データに適応するように、というのは、調整用データが入力された第２要素モデル２２２が調整用データについてのより正しい分析結果を出力するように、ということを意味する。より正しいとは、例えば、複数の調整用データのうちより多くの調整用データについて期待される判定結果が得られること、一つの調整用データについての尤度がより大きくなること、複数の調整用データについての尤度が全体としてより大きくなること、を意味する。

第２要素モデル２２２は、例えば、以下の（１）から（３）のいずれかの方法により生成（調整）することができる。

（１）第２要素モデル２２２を生成するための基礎とする第１要素モデル２２１を、調整用データを用いて機械学習させて調整することで、第２要素モデル２２２を生成する。この場合の調整用データは、第１要素モデル２２１を生成するときに用いた学習用データとは異なる学習用データである。

（２）第１要素モデル２２１の学習に用いられた学習用データについての特徴量ベクトルの代表値が、調整用データについての特徴量ベクトルの代表値に近くなるように、モデルから出力される特徴量ベクトルを補正することで、第２要素モデル２２２を生成する。特徴量ベクトルの代表値として、例えば、特徴量ベクトルの平均値や、特徴量ベクトルの分布をガウス分布等の分布関数にあてはめた場合の分布関数のピーク値等を用いることができる。特徴量ベクトルの代表値を算出する前に特徴量ベクトルの異常値を除去する等の前処理を行ってもよい。

（３）第１要素モデル２２１又は生成済みの第２要素モデル２２２が特定の特徴の存否を出力するモデルである場合に、特定の特徴の存否についての判定基準を変更する。ここで、判定基準は、特定の特徴の存否が既知である対象物の画像データである調整用データを入力した場合に、要素モデルの出力が既知の存否と一致するように変更することができる。

上記（２）の方法について、図４を参照して具体的に説明する。同図に示すように、第２要素モデル生成部２０２は、例えば、複数の特徴抽出部２０２ａと、特徴量補正部２０２ｂとを含む。

各特徴抽出部２０２ａは、基礎とする第１要素モデル２２１の各特徴抽出部２２１ａと同じものである。つまり、各特徴抽出部２０２ａは、検査対象物を撮影した画像データの特徴量を出力する。

特徴量補正部２０２ｂは、各特徴抽出部２０２ａから出力される特徴量を要素とする特徴量ベクトルを補正して第２要素モデル２２２を生成する。この特徴量補正部２０２ｂは、基礎とする第１要素モデル２２１に含まれていてもよいし、基礎とする第１要素モデル２２１を調整して第２要素モデル２２２を生成する段階で、基礎とする第１要素モデル２２１に追加してもよい。

図５を参照して、図４の特徴量補正部２０２ｂによる補正の一例について説明する。

最初に、現在のドメインにおける調整用データとしてキズに関する画像が各特徴抽出部２０２ａに入力されたとする。この場合、特徴量補正部２０２ｂは、各特徴抽出部２０２ａから出力される特徴量を要素とする特徴量ベクトルＶを算出する。なお、キズに関する画像が複数枚入力された場合には、それぞれの画像に対応する特徴量ベクトルの平均値を、調整用データについての特徴量ベクトルＶとして算出する。

続いて、特徴量補正部２０２ｂは、第１要素モデル２２１の学習に用いられた学習用データについての特徴量ベクトルの平均値Ｖａを記憶部２２０から読み出す。学習用データについての特徴量ベクトルの平均値Ｖａは、事前に算出して記憶部２２０に記憶させておくことが好ましい。

続いて、特徴量補正部２０２ｂは、調整用データについての特徴量ベクトルＶと、学習用データについての特徴量ベクトルの平均値Ｖａとの差分ベクトルＤを算出する。この差分ベクトルＤがドメインシフト量となる。

続いて、特徴量補正部２０２ｂは、補正前の特徴量ベクトルから差分ベクトルＤを減ずることで得られる特徴量ベクトルが、補正後の特徴量ベクトルとなるように、各特徴抽出部２０２ａから出力される特徴量を要素とする特徴量ベクトルを補正する。これにより、第１要素モデル２２１が調整され、第２要素モデル２２２が生成されることになる。

図２に示すモデル選択部２０３は、第１要素モデル２２１及び第２要素モデル２２２からなる要素モデルの集合から、第２要素モデル２２２を少なくとも１つ含む複数の要素モデルを選択する。例えば、要素モデルを選択する際に、第１要素モデル２２１及び第２要素モデル２２２からなる要素モデルの集合を提示し、その提示した集合の中から要素モデルの指定を受け付けることで、その指定された要素モデルを選択することができる。

要素モデルを選択する際に、少なくとも１つの第２要素モデル２２２と、その第２要素モデル２２２を生成するための基礎とされた第１要素モデル２２１以外の少なくとも１つの要素モデルとを含むように選択させることが望ましい。そのためには、例えば、少なくとも１つの第２要素モデル２２２と、その第２要素モデル２２２を生成するための基礎とされた第１要素モデル２２１以外の少なくとも１つの要素モデルとが、指定された複数の要素モデルの中に含まれていなければ指定操作を完了できないようにしてもよい。あるいは、結果的に少なくとも１つの第２要素モデル２２２と、その第２要素モデル２２２を生成するための基礎とされた第１要素モデル２２１以外の少なくとも１つの要素モデルとが指定されるように、利用者の操作を案内する表示をするようにしてもよい。

本実施形態において、提示するとは、提示する情報をユーザが視認できるように画像検査システム１の表示部に表示することであってもよいし、提示する情報を別の装置によってユーザが認識できるようにデータを出力することであってもよい。

ここで、モデル選択部２０３は、候補モデル提示部を有することとしてもよい。この候補モデル提示部は、選択すべき要素モデルの候補をユーザに提示する機能を有する。候補モデル提示部により提示される要素モデルの候補には、例えば、以下の（１）、（２）に示すモデルを含むことができる。

（１）第１要素モデル取得部２０１が利用可能（アクセス可能）ないずれかの第１要素モデル２２１であって、対象画像データのサンプルとされる画像データを分析したときに、特定の特徴が含まれていることに関する出力をする第１要素モデル２２１。

（２）上記（１）の第１要素モデル２２１を調整した第２要素モデル２２２。

統合モデル生成部２０４は、モデル選択部２０３により選択された複数の要素モデルを統合することにより、統合モデル２２３を生成する。

統合モデル２２３は、例えば、入力された画像データを複数のクラスに分類するモデルであって、入力された画像データが属するクラスを出力するモデルであってもよいし、入力された画像データが特定のクラスに属する尤度を出力するモデルであってもよい。

ここで、特定のクラスは、予め決められているクラスであってもよいし、相対的に尤度が最も高いクラスのように動的に決められるクラスであってもよいし、全てのクラスであってもよい。統合モデル２２３は、例えば、入力された画像データに基づいて検査対象物が良品であるか否かの判定結果を出力するモデルであってもよい。

良品であるか否かの判定結果は、良品かそれ以外かの区別がつく判定結果であってもよいし、良品以外の判定結果をさらに複数に分類した判定結果であってもよい。判定結果を得るための判定基準は変更可能にしてもよい。

統合モデル２２３の出力に関するクラスは、検査対象物の品質レベルに応じたクラスである。品質レベルに応じたクラスは、良否のクラス（２段階クラス）の他、３段階以上の品質等級クラスを含む。例えば、検査対象物が農産物である場合には、品質等級クラスに分類される。

本実施形態の画像検査用途に特化した部分以外の構成を画像検査以外の用途に利用することも可能である。その場合、統合モデル２２３の出力に関するクラスは、選択された複数の要素モデルのうちの１つの要素モデルに関する特定の特徴の存否に対応するクラスではなく、選択された複数の要素モデルに関する全ての特定の特徴の存否又は当該存否の尤度に基づいて、入力データが分類されるクラスである。画像検査以外の用途の例として、振動波形、音波波形、照度、温度、湿度、気圧、化学物質量、人の行動などを検出するセンサの出力を入力データとして、特定の状態特徴の存否に関する要素モデルの出力に基づき、検出対象や環境の状態についての総合的な分類結果を統合モデル２２３の出力とすることが可能である。この場合にも、要素モデルの調整と要素モデルの選択をとおして、モデルの学習負荷を低減することができる。

図６を参照して、複数の要素モデルを統合する一例について説明する。同図では、統合する複数の要素モデルとして、キズモデル２２２ａと汚れモデル２２２ｂとが選択されている。キズモデル２２２ａ及び汚れモデル２２２ｂは、不良品特徴に関連する分析結果を出力する要素モデルである。キズモデル２２２ａは、入力された対象画像データに基づいて、キズらしさの尤度を出力する要素モデルである。汚れモデル２２２ｂは、入力された対象画像データに基づいて、汚れらしさの尤度を出力する要素モデルである。統合モデル生成部２０４の合成部２０４ａは、キズらしさの尤度と汚れらしさの尤度とを合成し、不良品らしさの尤度を出力する。不良品らしさの尤度は、キズらしさの尤度と汚れらしさの尤度とを加算した尤度であってもよいし、キズらしさの尤度と汚れらしさの尤度のうち大きい方（最大）の尤度であってもよい。尤度を用いて統合を行う際には、重みを導入してもよい。具体的には、各要素モデルの尤度に所定の重みを乗じたのちに合成を行ってもよい。重みの調整により特定の要素モデルの特徴空間での範囲を広げたり狭くしたりできる。

第１要素モデルが特定の特徴の存否の判定結果を出力する場合、判定基準を変更することによって当該第１要素モデルを基礎とする第２要素モデルを生成又は調整してもよい。この判定基準の変更によってもその要素モデルの特徴空間での範囲を広げたり狭くしたりできる。特定の特徴の存否の判定結果を出力する要素モデルを統合する際には、統合の重みを調整してもよい。すなわち、特定の特徴の存否の判定結果が統合モデル２２３の出力に及ぼす影響度合いを調整してもよい。

ここで、統合モデル生成部２０４は、指定受付部を有することとしてもよい。この指定受付部は、選択された要素モデルが分析する特定の特徴が良品特徴であるのか、不良品特徴であるのかについて要素モデル毎にユーザから指定を受け付ける機能を有する。指定受付部により受け付けられた指定の内容によって、統合モデル生成部２０４は、以下の（１）又は（２）の処理を実行する。

（１）特定の特徴が良品特徴であると指定された場合
統合モデル生成部２０４は、良品特徴として指定された特定の特徴を分析する要素モデルを統合する際に、統合モデル２２３が検査対象物を良品であるとする判定結果を出力することを促進するように統合する。

（２）特定の特徴が不良品特徴であると指定された場合
統合モデル生成部２０４は、不良品特徴として指定された特定の特徴を分析する要素モデルを統合する際に、統合モデル２２３が検査対象物を不良品であるとする判定結果を出力することを促進するように統合する。

図２に示す画像取得部２０５は、検査対象物を撮影した対象画像データを撮影部２４０又は記憶部２２０から取得する。

検査実行部２０６は、画像取得部２０５により取得された対象画像データを統合モデル２２３に入力し、統合モデル２２３を実行することによって、例えば、検査対象物が良品であるか否かの判定結果、検査対象物が属するクラス、又は検査対象物が特定のクラスに属する尤度のいずれかを得る。

図２に示すツール処理部２１０は、処理部２００の機能を補助するためのツール的な機能をユーザに提供する。ツール処理部２１０は、例えば、改善策提示部２１１、画像データ提示部２１２、及びアクセス許可部２１３を有する。

改善策提示部２１１は、検査実行部２０６により実行された結果等に基づいて、各種の改善策をユーザに提示する。改善策提示部２１１は、例えば、以下の（１）から（５）の改善策をユーザに提示する。

（１）検査実行部２０６により誤判定された対象画像データに基づいて、統合モデル２２３を作成する要素モデルの選択を変更するように提案する改善策。例えば、誤判定された対象画像データがキズに分類されると判断された場合に、統合モデル２２３を作成する要素モデルに、不良品特徴に関連することを指定してキズモデルを加えるように提案する。

（２）検査実行部２０６により誤判定された対象画像データに基づいて、第１要素モデル２２１を機械学習するための学習用データを変更することを提案する改善策。学習用データを変更することには、学習用データを入れ替えることや、学習用データを追加すること、学習用データを削除することが含まれる。

（３）検査実行部２０６により誤判定された対象画像データに基づいて、第２要素モデル２２２を生成又は調整するための調整用データを変更することを提案する改善策。調整用データを変更することには、調整用データを入れ替えることや、調整用データを追加すること、調整用データを削除することが含まれる。

（４）検査実行部２０６により誤判定された対象画像データに基づいて、特定の特徴の存否を出力する第２要素モデル２２２の判定基準を変更することを提案する改善策。

（５）検査実行部２０６により誤判定された対象画像データに基づいて、統合モデル２２３における判定基準を変更することを提案する改善策。

（６）関連する特定の特徴が良品特徴に指定された要素モデルと不良品特徴に指定された要素モデルとの間の特徴量の分布に重なりがある場合に、重なりが減少するように調整することを提案する改善策。

上記（６）について、改善策提示部２１１は、調整対象の要素モデルとは異なる要素モデルによって特定の特徴が含まれていることに関連する分析結果が出力される画像データを、調整対象の要素モデルに関する特定の特徴が含まれていない画像データとして調整対象の要素モデルを生成又は調整するための調整用データに含める改善策を提示する。以下に、具体的に説明する。

例えば、モデルに関する特定の特徴が不良品特徴に指定されたキズモデルの特徴量分布と、良品特徴に指定された埃モデルの特徴量分布との間に重なりがある場合に、キズモデルを調整しようとするときには、以下のような改善策を提示することができる。埃モデルによって埃の特徴が含まれていることに関連する分析結果（埃ありの判定結果又は埃があるとの尤度が相対的に高い判定結果）が出力される画像データを、キズの特徴が含まれていない（というラベル付きの）画像データとしてキズモデルを調整するための調整用データに含める改善策を提示する。ここでは、特徴空間における特徴ベクトルの分布のことを特徴量分布と呼ぶ。

この改善策を実行することで、キズモデルが改善され、キズモデルと埃モデルとの間の特徴量分布の重なりを減少させることができる。

画像データ提示部２１２は、モデル改善の支援のために、画像データをユーザに提示する。画像データ提示部２１２は、例えば、以下の（１）、（２）の比較用画像データをユーザに提示する。

（１）検査実行部２０６が誤判定した対象画像データに基づいて、第１要素モデル２２１の機械学習に用いられた学習用の画像データ又は当該第１要素モデル２２１に関連する特定の特徴を有するように生成された画像データの中からその対象画像データに含まれる特徴と類似する特徴を含む比較用画像データを提示する。これにより、誤判定された対象画像データと、その対象画像データに含まれる特徴と類似する特徴を含む比較用画像データとを対比できるようになるため、ユーザはドメイン間にどのような違いがあるのかを体感することができる。なお、第２要素モデル２２２に関連する特定の特徴を有するように生成された画像データの中から指定された対象画像データに含まれる特徴と類似する特徴を含む比較用データを提示してもよい。

（２）対象画像データの指定を受け付け、第１要素モデル２２１の機械学習に用いられた学習用の画像データ又は当該第１要素モデル２２１に関連する特定の特徴を有するように生成された画像データの中から指定された対象画像データに含まれる特徴と類似する特徴を含む比較用画像データを提示する。これにより、指定された対象画像データと、その対象画像データに含まれる特徴と類似する特徴を含む比較用画像データとを対比できるようになるため、ユーザはモデルのドメイン適用が意図した通りに実行されているかどうかを確認することができる。なお、第２要素モデル２２２に関連する特定の特徴を有するように生成された画像データの中から指定された対象画像データに含まれる特徴と類似する特徴を含む比較用データを提示してもよい。

上記（１）、（２）で比較用画像データを提示する際に、対象画像データに最も類似する比較用画像データを他の比較用画像データと区別できるように強調して提示することとしてもよい。

アクセス許可部２１３は、画像検査システム１に登録された設計データに対するアクセスの可否を制御する。アクセス許可部２１３は、ユーザを識別することができる識別データ又は属性データごとに、アクセスを許可する設計データの範囲を管理する。アクセス許可部２１３は、ユーザが設計データへのアクセスを要求した場合に、そのユーザの識別データ又は属性データを用いて、アクセス可能な設計データの範囲を参照し、アクセスの可否を制御する。アクセス可能な設計データの範囲は、例えば、以下の（１）から（５）のデータ単位に定めることができる。

（１）統合モデル２２３に統合されている要素モデルを特定するデータ。

（２）利用可能な第１要素モデル２２１の学習に用いられた学習用データを特定するデータ。

（３）第１要素モデル２２１を第２要素モデル２２２に調整するためのデータ。

（４）複数の要素モデルを統合モデル２２３に統合するためのデータ。

（５）統合モデル２２３の性能を検証するためのデータや検証結果を示すデータ。

上記のように管理することで、アクセスを許可する設計データの範囲を、ユーザごとかつデータの種類ごとに、コントロールすることが可能になる。

次に、図７を参照して、実施形態に係る画像検査装置２０で実行される統合モデル生成処理及び検査処理の一例について説明する。

最初に、画像検査装置２０の第１要素モデル取得部２０１は、一つ以上の第１要素モデル２２１を利用できるように用意する（ステップＳ１０１）。

続いて、第２要素モデル生成部２０２は、上記ステップＳ１０１で用意された第１要素モデル２２１の少なくとも１つを、第１要素モデル２２１の学習に用いられた学習用データとは異なる調整用データに適応するように調整し、第２要素モデル２２２を生成する（ステップＳ１０２）。

続いて、モデル選択部２０３は、上記ステップＳ１０２で生成された第２要素モデル２２２及び上記ステップＳ１０１で用意された第１要素モデル２２１からなる要素モデルの集合から、第２要素モデル２２２を少なくとも１つ含む複数の要素モデルを選択する（ステップＳ１０３）。

続いて、統合モデル生成部２０４は、上記ステップＳ１０３で選択された複数の要素モデルを統合することにより、統合モデル２２３を生成する（ステップＳ１０４）。

続いて、画像取得部２０５は、検査対象物を撮影した対象画像データを取得する（ステップＳ１０５）。

続いて、検査実行部２０６は、上記ステップＳ１０５で取得された対象画像データを、上記ステップＳ１０４で生成された統合モデル２２３に入力して統合モデル２２３を実行することで、検査対象物の検査を実行する（ステップＳ１０６）。そして、本処理を終了する。

なお、本実施形態で説明したフローチャートは、処理に矛盾が生じない限り、順序を入れ替えてもよい。例えば、用意した第１要素モデルの中から、まず複数の第１要素モデルを選択し、選択した第１要素モデルの一部又は全部について第２要素モデルを生成してもよい。なお、一旦生成した第２要素モデルをさらに調整して新たな第２要素モデルを生成してもよい。

図８は、本実施形態に係る画像検査装置２０の物理的な構成を示す図である。画像検査装置２０は、演算部に相当するＣＰＵ（Central Processing Unit）２０ａと、記憶部に相当するＲＡＭ（Random Access Memory）２０ｂと、記憶部に相当するＲＯＭ（Read only Memory）２０ｃと、通信部２０ｄと、入力部２０ｅと、出力部２０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。

なお、本例では、画像検査装置２０が一台のコンピュータで構成されるものとして説明するが、画像検査装置２０は、複数のコンピュータが組み合わされて実現されてもよい。また、図８で示す構成は一例であり、画像検査装置２０は、これら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。

ＣＰＵ２０ａは、ＲＡＭ２０ｂ又はＲＯＭ２０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う演算部である。画像検査装置２０が備えるＣＰＵ２０ａは、例えば、統合モデル（画像検査用モデル）を生成するプログラムを実行する演算部である。ＣＰＵ２０ａは、入力部２０ｅや通信部２０ｄから種々のデータを受け取り、データの演算結果を出力部２０ｆから出力して外部の表示装置に表示させたり、ＲＡＭ２０ｂに格納したりする。

ＲＡＭ２０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ２０ｂは、ＣＰＵ２０ａが実行するプログラム、画像データ、モデルといったデータを記憶してよい。なお、これらは例示であって、ＲＡＭ２０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。

ＲＯＭ２０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ２０ｃは、例えば統合モデルを生成するプログラム及び書き換えが行われないデータを記憶してよい。

通信部２０ｄは、画像検査装置２０を他の機器に接続するインターフェースである。通信部２０ｄは、インターネット等の通信ネットワークに接続されてよい。

入力部２０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。

出力部２０ｆは、ＣＰＵ２０ａによる演算結果を出力して外部の表示装置に表示させるものである。

各プログラムは、ＲＡＭ２０ｂやＲＯＭ２０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部２０ｄにより接続される通信ネットワークを介して提供されてもよい。画像検査装置２０では、ＣＰＵ１０ａがプログラムを実行することにより、図２等を用いて説明した様々な機能が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、画像検査装置２０は、ＣＰＵ２０ａとＲＡＭ２０ｂやＲＯＭ２０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。

図９乃至図１１を参照し、画像検査装置２０の出力部２０ｆから出力される情報に基づいて外部の表示装置に表示される画面の一例について説明する。

図９は、検査モデルを作成する際の画面例である。「キズ」、「汚れ」等が要素モデルに対応し、それらが統合された検査モデルの全体が統合モデルに対応する。図９に例示する画面には、左側から検査モデル欄Ｍ、モデル設計要素欄Ｅ及びアイコン欄Ｅｉが設けられている。図９のような画面において、要素モデルが分析する特定の特徴（例えば「キズ」モデルが分析するキズという特徴）が良品特徴であるか不良品特徴であるかを指定することが、上記統合モデル生成部２０４の指定受付部への入力となる。

検査モデル欄Ｍには、検査モデルの階層構造が表示される。図９には、検査モデルを分類するクラスとして、不良品クラス及び良品クラスが表示され、不良品クラスに対応する要素モデルとして、キズモデル、汚れモデル及びバリモデルが表示され、良品クラスに対応する要素モデルとして、埃モデル及び製品モデルが表示されている。

検査モデル欄Ｍの「画像」という文字は、各要素モデルの生成又は調整に関連して登録された画像へのリンクであり、クリックするとその画像が表示される。

各モデルの左側に表示される“＋”ボタン及び“－”ボタンは、折り畳み用ボタン及び展開用ボタンである。例えば、“＋”ボタンを押すと下位階層が折りたたまれて“－”ボタンに変わる。

モデル設計要素欄Ｅには、検査モデルを設計する際の設計要素が表示され、アイコン欄Ｅｉには、対応する設計要素の内容をイメージしたアイコンが表示される。設計要素は、「キズ」、「スクラッチ」のような要素モデルである。「凹凸」のような１以上の要素モデルをまとめたグループも表示されている。グループを１つの要素モデルとして扱うこともできる。いずれかの設計要素を選択して、検査モデル欄Ｍのモデル構造に移動させる（例えばドラッグアンドドロップ操作）と、その設計要素が移動先のモデル構造に組み込まれる。検査モデル欄Ｍに移動させた設計要素は、モデル設計要素欄Ｅから削除してもよいし、移動したことがわかるように文字色を薄い色に変更してもよい。

検査モデル欄Ｍの検査モデルは、新規に作成できる一方、既存の検査モデルを読み込み、その検査モデルを変更することで作成することもできる。検査モデル欄Ｍで調整された要素モデルを、ドラッグアンドドロップ操作などで、モデル設計要素欄Ｅに追加できるようにしてもよい。その際、適切な要素モデル名を付与してもよい。この操作はユーザによるモデル設計要素（要素モデル）のカスタマイズに相当し、同じユーザにおいて部品を再利用することで設計を効率化できたり、異なるユーザや事業者間で受け渡しをすることで検査モデルの利用者を拡大したり検査モデルの改善を促進したりすることができる。

図１０は、検査モデルを作成した後に検査モデルを検証するための画面例である。図１０に例示する画面には、左側から検査モデル欄Ｍ、検証用サンプル欄Ｓ及びモデル設計要素欄Ｅが設けられている。検査モデル欄Ｍ及びモデル設計要素欄Ｅの各表示要素は、図９と同様である。

検証用サンプル欄Ｓは、検証を行う画像とその検証結果とを表示する欄であり、正しく判定できた画像にチェックマークが付され、正しく判定できなかった画像にはチェックマークが付されない。図１０では、画像６、画像１０及び画像１２が、正しく判定できなかった画像として表示されている。

ここで、改善策提示部２１１は、例えば、画像６及び画像１０が、不良品のキズ、汚れ、バリのいずれかに属すると判定された場合には、画像６及び画像１０を、属すると判定された特徴に対応する検査モデルに追加することや、判定しきい値を変更する（特徴空間上での範囲を広くする）ことを、改善策の候補として提案してもよい。他方、画像６及び画像１０が、不良品のキズ、汚れ、バリ以外のスクラッチに属すると判定された場合には、不良品にスクラッチを追加することを、改善策の候補として提案してもよい。

同様に、改善策提示部２１１は、画像１２が、不良品のキズ、汚れ、バリのいずれかに属すると判定された場合には、画像１、画像２及び画像３等の登録画像を削除するか、判定しきい値を変更する（特徴空間上での範囲を狭くする）ことを、改善策の候補として提案してもよい。他方、画像１２が、良品の埃に属すると判定された場合には、埃モデルに対して画像１２を追加することや、判定しきい値を変更する（特徴空間上での範囲を広くする）ことを、改善策の候補として提案してもよい。

なお、上記では、要素モデルに関連付けて画像を登録する際に、当該要素モデルに関する特定の特徴を含む画像であることを前提にして説明しているが、当該要素モデルに関する特定の特徴を含まない画像であるという指定をできるようにしてもよい。そのような指定を可能にする画面の一例を図１１に示す。例えば、良品特徴に指定された埃特徴に関する埃モデルと不良品特徴に指定された汚れ特徴に関する汚れモデルとがあり、埃特徴を含む画像が汚れ特徴を含む画像であると誤認識された場合に、その埃特徴を含む画像を汚れモデルに関連して「含まれない画像」（汚れ特徴を含まない画像）として登録し、学習させることで、汚れモデルを改善できるようになる。このような提案を改善策の候補に加えることとしてもよい。

図１２は、誤認識された検証用サンプル画像に類似する画像を提示する画面例である。図１２に例示する検査モデル欄Ｍ、モデル設計要素欄Ｅ及び検証用サンプル欄Ｓの各表示要素は、図９及び図１０と同様である。

検証用サンプル欄Ｓには、図１０と同様に、画像６、画像１０及び画像１２が、正しく判定できなかった画像として表示されている。検証用サンプル欄Ｓの左側には、画像６、画像１０及び画像１２に対応するサンプル画像Ｉｓが表示されている。

サンプル画像Ｉｓの左側には、モデル設計要素欄Ｅの各部品の画像のうち、サンプル画像Ｉｓに似ている類似画像Ｉｅが表示される。各部品の画像は、学習用画像であってもよいし、モデルを用いて作成した画像であってもよい。類似画像Ｉｅの各枠内に表示されている数値は、サンプル画像Ｉｓとの類似度である。各部品の類似画像Ｉｅのうち、サンプル画像Ｉｓに最も類似する画像が最近傍画像として、サンプル画像Ｉｓ側に表示される。

図１２の画像６は、スクラッチの画像に似ていることがわかり、画像１０は、打痕の画像に似ていることがわかり、画像１２は、スルーホールの画像に似ていることがわかる。

また、画像６は、類似画像Ｉｅと比較してスクラッチの線幅（太さ）に違いがあり、画像１０は、類似画像Ｉｅと比較して打痕の色の濃さに違いがあり、画像１２は、類似画像Ｉｅと比較して円が一重か二重かに違いがあることがわかる。

このように、類似画像Ｉｅとサンプル画像Ｉｓとを対比させることで、ユーザはドメイン間にどのような違いがあるのかを体感することができる。

ここで、サンプル画像Ｉｓの左側に表示する類似画像Ｉｅは、モデル設計要素欄Ｅの各部品の画像であることに限定されず、検査モデル欄Ｍの各モデルの画像であってもよい。例えば、図１２の最下段に例示するように、検査モデル欄Ｍのスクラッチモデルの画像のうち、画像６に似ている類似画像Ｉｅを表示することとしてもよい。

また、図１２では、誤認識された検証用サンプル画像に類似する画像を提示する場合について例示しているが、ユーザが任意に指定した検証用サンプル画像に類似する画像を提示することとしてもよい。例えば、誤認識された検証用サンプル画像の画像６は、比較的太いスクラッチの画像となる。したがって、この画像６を、検査モデル欄Ｍのスクラッチモデルに追加することで、そのスクラッチモデルが太いスクラッチに適応できるように修正されたことを確認できるようになる。

前述したように、本実施形態における画像検査装置２０によれば、特定の特徴が互いに異なる複数の第１要素モデル２２１の少なくとも１つを、第１要素モデル２２１の学習用データとは異なる調整用データに適応するように調整して第２要素モデル２２２を生成し、第１要素モデル２２１及び第２要素モデル２２２からなる要素モデルの集合から、第２要素モデル２２２を少なくとも１つ含む複数の要素モデルを選択し、選択した複数の要素モデルを統合して統合モデル２２３を生成することができる。そして、その生成した統合モデル２２３は、選択した複数の要素モデルに関する全ての特定の特徴の存否又は全ての特定の特徴の存否の尤度に基づいて、入力されたデータが分類されるクラス又は入力されたデータがいずれかのクラスに分類される尤度を出力することができる。

つまり、要素モデルごとにドメイン適応させることができ、さらに互いに異なる特徴に反応する複数の要素モデルを統合し、各要素モデルが反応する特徴の存否ではなく総合的な判断ができる統合モデル２２３を生成することが可能となる。

それゆえ、本実施形態における画像検査装置２０によれば、現場の環境に適応する統合モデルをより少ない学習負荷で生成することができる。ここで、ドメイン適応とは、ある領域で学習されたモデルを別の領域で効果的に働くように調整することである。領域の例としては、検査や分析の対象物、動作環境がある。ドメイン適応の手法の例としては、転移学習、ファインチューニングがある。

なお、前述した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るとともに、本発明にはその等価物も含まれる。すなわち、実施形態に当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。例えば、実施形態が備える各要素及びその配置、材料、条件、形状、サイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、実施形態は例示であり、異なる実施形態で示した構成の部分的な置換又は組み合わせが可能であることは言うまでもなく、これらも本発明の特徴を含む限り本発明の範囲に包含される。

［変形例］
前述した実施形態で説明した各モデルを、ニューラルネットワークで実現してもよい。本変形例において、前述した第２要素モデル生成部２０２によるドメイン変換は、例えば、転移学習又はファインチューニングの手法を用いて実現してもよい。

本変形例におけるドメイン変換は、転移元ドメインの画像データを用いて学習したニューラルネットワークによるモデルが事前に構築されていて、そのモデルに対して転移先ドメインの画像データを入力して学習させることで、転移先ドメインに適応したモデルを構築するものである。

転移学習は、転移先ドメインのモデルを学習させる際に、転移元ドメインのネットワークの重みを固定したまま、転移先ドメインの画像データを解析するための新たなネットワーク層の重みを学習させる手法である。他方、ファインチューニングは、転移先ドメインのモデルを学習させる際に、転移元ドメインのネットワークの重みを初期値とし、転移先ドメインの画像データを用いてモデル全体の重みを再学習させる手法である。

ニューラルネットワークによるモデルは、２クラス分類器であってよく、例えば、入力された画像における特定の特徴の存否や、特定の特徴の存否の尤度等を出力する。モデルの学習は、クラスを意味するラベルつきデータを用いる教師あり学習、一つのクラスに属するデータのみを用いる半教師あり学習のどちらであってもよい。

教師あり学習では、クラスに対応する正解ラベルが付与された画像が入力され、出力がクラスを正しく判定するようにネットワーク層の重みを学習する。教師あり学習におけるクラスは、例えばキズモデルである場合、キズのクラスとキズでないクラスとの２クラスとなる。

半教師あり学習では、例えば、一つのクラスに属する画像のみが入力され、入力されたデータ空間を、別の任意の空間に射影し、射影された空間上で超球の半径が最小になるように、ネットワーク層の重みを学習する。半教師あり学習における一つのクラスは、例えばキズモデルである場合、キズのクラスである。

また、本変形例において、前述した実施形態の統合モデル生成部２０４によるモデル統合は、例えば、以下の（１）又は（２）のいずれかの方法により実現してもよい。

（１）前述した実施形態と同様に、各モデルから出力される尤度を合成し、統合モデルから出力される尤度を求める。

（２）各モデルのネットワークの重みを平均して合成することで、一つのモデルに統合する。以下に、具体的に説明する。

各モデルのネットワーク構造が完全に一致する場合は、ネットワーク全体の重みを平均して合成することで一つのモデルに統合する。

他方、各モデルのネットワーク構造が部分的に一致する場合は、一致している部分のみ重みを平均して合成し、一致していない部分は、各モデルのうち代表モデルの重みをそのまま良否判定を行う識別部として活用し、さらに転移先ドメインの画像データを用い、正しく識別できるように識別部の判定基準を調整してもよい。

代表モデルは、ユーザーが選択してもよいし、統合前のモデルの中から以下の（ａ）又は（ｂ）のいずれかのモデルを選択してもよい。（ａ）全てのパターンのモデルを作成し、性能評価後の結果が最良のモデル。（ｂ）一致していない層が一番多いモデル。

［付記１］
入力データを入力し、前記入力データにおける特定の特徴の存否又は当該存否の尤度を出力する、機械学習された複数の第１要素モデル（２２１）であって、異なる前記第１要素モデル（２２１）の間では前記特定の特徴が互いに異なる、複数の第１要素モデル（２２１）を用意し、
前記複数の第１要素モデル（２２１）の少なくとも１つを、当該第１要素モデル（２２１）の学習に用いられた学習用データとは異なる調整用データに適応するように調整することにより第２要素モデル（２２２）を生成し、
前記第１要素モデル（２２１）及び前記第２要素モデル（２２２）からなる要素モデルの集合から、少なくとも1つの前記第２要素モデル（２２２）と、当該第２要素モデルを生成するための基礎とされた前記第１要素モデル以外の少なくとも１つの前記要素モデルとを含む複数の前記要素モデルを選択し、
選択された複数の前記要素モデルを統合することにより統合モデル（２２３）を生成する、
統合モデル（２２３）の生成方法であって、
前記統合モデル（２２３）は、自身に入力されたデータを複数のクラスに分類するモデルであって、入力された前記データが属する前記クラスを出力するモデル、又は入力された前記データが特定の前記クラスに属する尤度を出力するモデルであり、
それぞれの前記クラスは、選択された複数の前記要素モデルのうちの１つの前記要素モデルに関する特定の特徴の存否に対応するクラスではなく、選択された複数の前記要素モデルに関する全ての前記特定の特徴の存否又は当該存否の尤度に基づいて前記入力データが分類されるクラスである、
統合モデルの生成方法。

［付記２］
対象物を撮影した画像データを入力し、前記画像データにおける前記対象物の外観上の個体差を生じさせる類型化された特徴である特定の特徴の存否又は当該存否の尤度を出力する、機械学習された複数の第１要素モデル（２２１）であって、異なる前記第１要素モデル（２２１）の間では前記特定の特徴が互いに異なる、複数の第１要素モデル（２２１）にアクセスする第１要素モデルアクセス部（２０１）と、
前記複数の第１要素モデル（２２１）の少なくとも１つを、当該第１要素モデル（２２１）の学習に用いられた学習用データとは異なる調整用データに適応するように調整することにより第２要素モデル（２２２）を生成する第２要素モデル生成部（２０２）と、
前記第１要素モデル（２２１）及び前記第２要素モデル（２２２）からなる要素モデルの集合から選択される、少なくとも１つの前記第２要素モデル（２２２）と、当該第２要素モデルを生成するための基礎とされた前記第１要素モデル以外の少なくとも１つの前記要素モデルとを含む複数の前記要素モデルの指定を受け付ける選択部（２０３）と、
選択された複数の前記要素モデルを統合することにより、自身に入力された画像データの前記対象物が良品であるか否かの判定結果を出力する統合モデルを生成する統合モデル生成部（２０４）と、
検査対象の対象物を撮影した対象画像データを取得する画像取得部（２０５）と、
取得された前記対象画像データを前記統合モデル（２２３）に入力して前記統合モデル（２２３）を実行することにより前記対象物が良品であるか否かの判定結果を得る検査実行部（２０６）と、
を備える、画像検査システム（１）。

［付記３］
対象物を撮影した画像データを入力し、前記画像データにおける前記対象物の外観上の個体差を生じさせる類型化された特徴である特定の特徴の存否又は当該存否の尤度を出力する、機械学習された複数の第１要素モデル（２２１）であって、異なる前記第１要素モデル（２２１）の間では前記特定の特徴が互いに異なる、複数の第１要素モデル（２２１）にアクセスする第１要素モデルアクセス部（２０１）と、
前記複数の第１要素モデル（２２１）の少なくとも１つを、当該第１要素モデル（２２１）の学習に用いられた学習用データとは異なる調整用データに適応するように調整することにより第２要素モデル（２２２）を生成する第２要素モデル生成部（２０２）と、
前記第１要素モデル（２２１）及び前記第２要素モデル（２２２）からなる要素モデルの集合から選択される、少なくとも１つの前記第２要素モデル（２２２）と、当該第２要素モデルを生成するための基礎とされた前記第１要素モデル以外の少なくとも１つの前記要素モデルとを含む複数の前記要素モデルの指定を受け付ける選択部（２０３）と、
選択された複数の前記要素モデルを統合することにより、自身に入力された画像データの前記対象物が不良品であるか否かの判定結果を出力する統合モデルを生成する統合モデル生成部（２０４）と、
を備える、画像検査用モデルの生成装置（２０）。

［付記４］
対象物を撮影した画像データを入力し、前記画像データにおける前記対象物の外観上の個体差を生じさせる類型化された特徴である特定の特徴の存否又は当該存否の尤度を出力する、機械学習された複数の第１要素モデル（２２１）であって、異なる前記第１要素モデル（２２１）の間では前記特定の特徴が互いに異なる、複数の第１要素モデル（２２１）にアクセスする第１要素モデルアクセス機能（２０１）と、
前記複数の第１要素モデル（２２１）の少なくとも１つを、当該第１要素モデル（２２１）の学習に用いられた学習用データとは異なる調整用データに適応するように調整することにより第２要素モデル（２２２）を生成する第２要素モデル生成機能（２０２）と、
前記第１要素モデル（２２１）及び前記第２要素モデル（２２２）からなる要素モデルの集合から選択される、少なくとも１つの前記第２要素モデル（２２２）と、当該第２要素モデルを生成するための基礎とされた前記第１要素モデル以外の少なくとも１つの前記要素モデルとを含む複数の前記要素モデルの指定を受け付ける選択機能（２０３）と、
選択された複数の前記要素モデルを統合することにより、自身に入力された画像データの前記対象物が不良品であるか否かの判定結果を出力する統合モデル（２２３）を生成する統合モデル生成機能（２０４）と、
をコンピュータに実現させる、画像検査用モデルの生成プログラム。

［付記５］
付記１に記載の統合モデルの生成方法により生成された統合モデル（２２３）と、
検査対象の対象物を撮影した対象画像データを取得する画像取得部（２０５）と、
取得された前記対象画像データを前記統合モデル（２２３）に入力して前記統合モデル（２２３）を実行することにより前記対象物が良品であるか否かの判定結果を得る検査実行部（２０６）と、
を備える、画像検査装置（２０）。

１…画像検査システム、１０…第１要素モデル記憶装置、１５…通信ネットワーク、２０…画像検査装置、２０ａ…ＣＰＵ、２０ｂ…ＲＡＭ、２０ｃ…ＲＯＭ、２０ｄ…通信部、２０ｅ…入力部、２０ｆ…出力部、２５…照明、３０…検査対象物、２００…処理部、２０１…第１要素モデル取得部、２０２…第２要素モデル生成部、２０２ａ…特徴抽出部、２０２ｂ…特徴量補正部、２０３…モデル選択部、２０４…統合モデル生成部、２０４ａ…合成部、２０５…画像取得部、２０６…検査実行部、２１０…ツール処理部、２１１…改善策提示部、２１２…画像データ提示部、２１３…アクセス許可部、２２０…記憶部、２２１…第１要素モデル、２２１ａ…特徴抽出部、２２１ｂ…識別部、２２２…第２要素モデル、２２３…統合モデル、２２４…画像データ、２３０…通信部、２４０…撮影部

Claims (20)

1. 入力データを入力し、前記入力データにおける特定の特徴の存否又は当該存否の尤度を出力する、機械学習された複数の第１要素モデルであって、異なる前記第１要素モデルの間では前記特定の特徴が互いに異なる、複数の第１要素モデルを用意し、
   前記複数の第１要素モデルの少なくとも１つを、当該第１要素モデルの学習に用いられた学習用データとは異なる調整用データに適応するように調整することにより第２要素モデルを生成し、
   前記第１要素モデル及び前記第２要素モデルからなる要素モデルの集合から、少なくとも1つの前記第２要素モデルと、当該第２要素モデルを生成するための基礎とされた前記第１要素モデル以外の少なくとも１つの前記要素モデルとを含む複数の前記要素モデルを選択し、
   選択された複数の前記要素モデルを統合することにより統合モデルを生成する、
   統合モデルの生成方法であって、
   前記統合モデルは、自身に入力されたデータを複数のクラスに分類するモデルであって、入力された前記データが属する前記クラスを出力するモデル、又は入力された前記データが特定の前記クラスに属する尤度を出力するモデルであり、
   それぞれの前記クラスは、選択された複数の前記要素モデルのうちの１つの前記要素モデルに関する特定の特徴の存否に対応するクラスではなく、選択された複数の前記要素モデルに関する全ての前記特定の特徴の存否又は当該存否の尤度に基づいて前記入力データが分類されるクラスである、
   統合モデルの生成方法。
2. 前記第２要素モデルを生成することは、前記第２要素モデルを生成するための基礎とする前記第１要素モデルを、前記調整用データを用いて機械学習により調整することである、
   請求項１に記載の統合モデルの生成方法。
3. 前記第２要素モデルを生成するために調整される前記第１要素モデルは、
   複数の特徴抽出部と、
   それぞれの前記特徴抽出部が出力する特徴量を要素とする特徴量ベクトルを補正する特徴量補正部と、
   前記特徴量補正部により補正された特徴量ベクトルに基づいて当該第１要素モデルに関する前記特定の特徴が含まれているか否かに関連する分析結果を算出する識別部と、を含み、
   前記第２要素モデルを生成することは、当該第１要素モデルの学習に用いられた学習用データについての前記特徴量ベクトルの代表値であって前記特徴量ベクトルが前記特徴量補正部によって補正された後の代表値が、補正される前の代表値よりも前記調整用データについての特徴量ベクトルの代表値に近くなるように、前記特徴量補正部による補正量を設定することである、
   請求項１に記載の統合モデルの生成方法。
4. 前記入力データは、対象物を撮影した画像データであり、
   前記特定の特徴は前記対象物の外観上の個体差を生じさせる類型化された特徴である、
   請求項１から３のいずれか一項に記載の統合モデルの生成方法。
5. 前記統合モデルの出力に関する前記クラスは、対象物の品質レベルに応じたクラスである、
   請求項１から４のいずれか一項に記載の統合モデルの生成方法。
6. 前記第１要素モデルは、前記特定の特徴が存在する場所をさらに出力する、
   請求項１から５のいずれか一項に記載の統合モデルの生成方法。
7. 対象物を撮影した画像データを入力し、前記画像データにおける前記対象物の外観上の個体差を生じさせる類型化された特徴である特定の特徴の存否又は当該存否の尤度を出力する、機械学習された複数の第１要素モデルであって、異なる前記第１要素モデルの間では前記特定の特徴が互いに異なる、複数の第１要素モデルにアクセスする第１要素モデルアクセス部と、
   前記複数の第１要素モデルの少なくとも１つを、当該第１要素モデルの学習に用いられた学習用データとは異なる調整用データに適応するように調整することにより第２要素モデルを生成する第２要素モデル生成部と、
   前記第１要素モデル及び前記第２要素モデルからなる要素モデルの集合から選択される、少なくとも１つの前記第２要素モデルと、当該第２要素モデルを生成するための基礎とされた前記第１要素モデル以外の少なくとも１つの前記要素モデルとを含む複数の前記要素モデルの指定を受け付ける選択部と、
   選択された複数の前記要素モデルを統合することにより、自身に入力された画像データの前記対象物が良品であるか否かの判定結果を出力する統合モデルを生成する統合モデル生成部と、
   検査対象の対象物を撮影した対象画像データを取得する画像取得部と、
   取得された前記対象画像データを前記統合モデルに入力して前記統合モデルを実行することにより前記対象物が良品であるか否かの判定結果を得る検査実行部と、
   を備える、画像検査システム。
8. 前記第２要素モデル生成部は、前記第２要素モデルを生成するための基礎とする前記第１要素モデルを、前記調整用データを用いて機械学習により調整することにより、前記第２要素モデルを生成する、
   請求項７に記載の画像検査システム。
9. 前記第２要素モデルを生成するために調整される前記第１要素モデルは、
   複数の特徴抽出部と、
   それぞれの前記特徴抽出部が出力する特徴量を要素とする特徴量ベクトルを補正する特徴量補正部と、
   前記特徴量補正部により補正された特徴量ベクトルに基づいて当該第１要素モデルに関する前記特定の特徴が含まれているか否かに関連する分析結果を算出する識別部と、を含み、
   前記第２要素モデル生成部は、当該第１要素モデルの学習に用いられた学習用データについての前記特徴量ベクトルの代表値であって前記特徴量補正部によって前記特徴量ベクトルが補正された後の代表値が、補正される前の代表値よりも前記調整用データについての特徴量ベクトルの代表値に近くなるように、前記特徴量補正部による補正量を設定することにより、前記第２要素モデルを生成する、
   請求項７に記載の画像検査システム。
10. 選択された複数の前記要素モデルが分析する前記特定の特徴が良品特徴であるか不良品特徴であるかの指定を受け付ける指定部をさらに備え、
    前記統合モデル生成部は、良品特徴として指定された前記特定の特徴を分析する前記要素モデルを統合するに際して、前記統合モデルが前記対象物を良品であるとする判定結果を出力することを促進するように統合し、不良品特徴として指定された前記特定の特徴を分析する前記要素モデルを統合するに際して、前記統合モデルが前記対象物を不良品であるとする判定結果を出力することを促進するように統合する、
    請求項７から９のいずれか一項に記載の画像検査システム。
11. 前記第１要素モデルアクセス部がアクセスできるいずれかの前記第１要素モデルであって、前記対象画像データのサンプルとされる画像データを分析した場合に前記特定の特徴が含まれていることに関する出力をする前記第１要素モデル又は当該第１要素モデルを調整した前記第２要素モデルを、選択すべき前記要素モデルの候補として提示する候補モデル提示部をさらに備える、
    請求項７から９のいずれか一項に記載の画像検査システム。
12. 前記検査実行部にて誤判定された前記対象画像データに基づいて、前記統合モデルを作成するための前記要素モデルの選択の変更、前記第１要素モデルを機械学習するための前記学習用データの変更、前記第２要素モデルの前記調整の変更、及び前記統合モデルにおける判定基準の変更のいずれかを含むモデル改善策を提示する改善策提示部をさらに備える、
    請求項７から９のいずれか一項に記載の画像検査システム。
13. 調整対象の前記要素モデルとは異なる前記要素モデルによって前記特定の特徴が含まれていることに関連する分析結果が出力される画像データを、調整対象の前記要素モデルに関する前記特定の特徴が含まれていない画像データとして調整対象の前記要素モデルを調整するための前記調整用データに含める改善策を提示する改善策提示部をさらに備える、
    請求項８に記載の画像検査システム。
14. 前記検査実行部にて誤判定された前記対象画像データに基づいて、前記第１要素モデルの機械学習に用いられた学習用の画像データ又は当該第１要素モデルに関連する特定の特徴を有するように生成された画像データの中から当該対象画像データに含まれる特徴と類似する特徴を含む比較用画像データを提示する画像データ提示部をさらに備える、
    請求項７から９のいずれか一項に記載の画像検査システム。
15. 前記対象画像データの指定を受け付け、前記第１要素モデルの機械学習に用いられた学習用の画像データ又は当該第１要素モデルに関連する特定の特徴を有するように生成された画像データの中から指定された前記対象画像データに含まれる特徴と類似する特徴を含む前比較用画像データを提示する画像データ提示部をさらに備える、
    請求項７から９のいずれか一項に記載の画像検査システム。
16. 生成された前記第２要素モデル及び前記統合モデルの少なくともいずれかを再利用されるときまで記憶を保持可能な記憶媒体に記憶する生成モデル記憶部をさらに備える、
    請求項７から９のいずれか一項に記載の画像検査システム。
17. 前記統合モデルに統合されている前記要素モデルを特定するデータ、アクセスできる前記第１要素モデルの学習に用いられた前記学習用データを特定するデータ、前記第１要素モデルを前記第２要素モデルに調整するためのデータ、前記複数の要素モデルを前記統合モデルに統合するためのデータの少なくともいずれかを含む設計データの集合について、アクセスを希望する利用者の識別データ又は属性データの入力を受け付け、前記識別データ又は前記属性データに応じてアクセスを許可する前記設計データの範囲を決定する、アクセス許可部をさらに備える、
    請求項７から９のいずれか一項に記載の画像検査システム。
18. 対象物を撮影した画像データを入力し、前記画像データにおける前記対象物の外観上の個体差を生じさせる類型化された特徴である特定の特徴の存否又は当該存否の尤度を出力する、機械学習された複数の第１要素モデルであって、異なる前記第１要素モデルの間では前記特定の特徴が互いに異なる、複数の第１要素モデルにアクセスする第１要素モデルアクセス部と、
    前記複数の第１要素モデルの少なくとも１つを、当該第１要素モデルの学習に用いられた学習用データとは異なる調整用データに適応するように調整することにより第２要素モデルを生成する第２要素モデル生成部と、
    前記第１要素モデル及び前記第２要素モデルからなる要素モデルの集合から選択される、少なくとも１つの前記第２要素モデルと、当該第２要素モデルを生成するための基礎とされた前記第１要素モデル以外の少なくとも１つの前記要素モデルとを含む複数の前記要素モデルの指定を受け付ける選択部と、
    選択された複数の前記要素モデルを統合することにより、自身に入力された画像データの前記対象物が不良品であるか否かの判定結果を出力する統合モデルを生成する統合モデル生成部と、
    を備える、画像検査用モデルの生成装置。
19. 対象物を撮影した画像データを入力し、前記画像データにおける前記対象物の外観上の個体差を生じさせる類型化された特徴である特定の特徴の存否又は当該存否の尤度を出力する、機械学習された複数の第１要素モデルであって、異なる前記第１要素モデルの間では前記特定の特徴が互いに異なる、複数の第１要素モデルにアクセスする第１要素モデルアクセス機能と、
    前記複数の第１要素モデルの少なくとも１つを、当該第１要素モデルの学習に用いられた学習用データとは異なる調整用データに適応するように調整することにより第２要素モデルを生成する第２要素モデル生成機能と、
    前記第１要素モデル及び前記第２要素モデルからなる要素モデルの集合から選択される、少なくとも１つの前記第２要素モデルと、当該第２要素モデルを生成するための基礎とされた前記第１要素モデル以外の少なくとも１つの前記要素モデルとを含む複数の前記要素モデルの指定を受け付ける選択機能と、
    選択された複数の前記要素モデルを統合することにより、自身に入力された画像データの前記対象物が不良品であるか否かの判定結果を出力する統合モデルを生成する統合モデル生成機能と、
    をコンピュータに実現させる、画像検査用モデルの生成プログラム。
20. 請求項５に記載の統合モデルの生成方法により生成された統合モデルと、
    検査対象の対象物を撮影した対象画像データを取得する画像取得部と、
    取得された前記対象画像データを前記統合モデルに入力して前記統合モデルを実行することにより前記対象物が良品であるか否かの判定結果を得る検査実行部と、
    を備える、画像検査装置。

Images