JP2023133160A - 検査システム、ａｉモデルデータの管理方法及び、ａｉモデルデータセット - Google Patents

Abstract

【課題】生産ラインに対し、より容易に適切なＡＩモデルを適用することを可能とする技術を提供する。【解決手段】製品の生産ライン（１００）において、前記製品の画像データに基づく検査をＡＩモデルを用いて実行する検査システム（１）であって、製品の検査に用いられる一または複数のＡＩモデルの管理に関わる情報を表示する管理情報表示部を（１０ｃ）有し、管理情報表示部（１０ｃ）は、ＡＩモデルの仕様に関する仕様情報と、該ＡＩモデルの各種データに対する性能に関する性能情報とを表示可能であり、性能情報は、ＡＩモデルの量産適用前のモデルテストに対する性能と、量産に適用した際の性能とを含む。【選択図】図８

Description

本発明は、製品の生産において製品の良否を検査する検査システム、ＡＩモデルデータの管理方法及び、ＡＩモデルデータセットに関する。

製品の生産ラインにおいては、ラインの中間工程や最終工程に製品の検査装置を配置し、不良の検出や不良品の仕分けなどが行われている。例えば、部品実装基板の生産ラインにおいては一般的に、プリント配線基板にクリームはんだを印刷する装置（印刷装置）、クリームはんだが印刷された基板に部品を実装する装置（マウント装置）、部品実装後の基板を加熱して部品を基板にはんだ付けするする装置（リフロー装置）が含まれる。そして、各生産装置の後に配置された検査装置を含む検査システムにおいて、各生産装置における作業が予定通り正しく行われているか否かの検査が行われる。そして、検査システムにおいて各検査結果の情報が収集管理され、不良率の変化に対し適切・迅速に対応することを可能とし、生産ライン全体としての生産性の向上に寄与している。

上記のような検査システムでは製品等の検査対象を撮像し、事前に学習させたＡＩモデルにその画像を入力することで、当該製品についての良否を検査するような工程が導入されている。ここで、生産ラインで量産される製品の品質は絶えず変化しており、その変化が大きくなるとＡＩモデルが製品の良否を正しく判定することができなくなるため、見過ぎや見逃しのリスクが大きくなる。このような場合には、新しく得られた学習データを用いてＡＩモデルを再学習させ、品質の変化に応じた最適なＡＩモデルを使用する必要がある。

このような状況に関して、画像判定用のモデルに新たな良品画像、不良品画像を学習させることでこれまでになかった新たな特徴を持つデータに対しても適切に判定するモデルを生成可能とする技術が公知である（特許文献１参照）。しかしながら、ＡＩモデルの性能（＝見過ぎ率、見逃し率）は単純に学習データを増やせば賢くなるというわけではなく、学習データとテストデータの母集団の特徴に乖離があると過学習につながる恐れがある。

過学習は様々なレベルで発生すると考えられており、例えば以下のようなパターンがある。
（１）学習データには高い性能を発揮するが、テストデータ、ライブラリーデータ、実際の量産データに対しては高い性能が出せないパターン
（２）学習データ、テストデータには高い性能を発揮するが、ライブラリーデータ、実際の量産データに対しては高い性能が出せないパターン
（３）学習データ、テストデータ、ライブラリーデータには高い性能を発揮するが、実際の量産データに対しては高い性能が出せないパターン
このように、特定の母集団のデータに対する性能と、幅広い量産データに対する性能に乖離が存在することで、学習済みＡＩモデルが、量産において、想定した通りの効果を発揮できない場合があった。そして、このような問題に対して、量産時において、より適切なＡＩモデルを生産ラインに適用可能とするシステムに対する要請が高まっていた。

特開２０２０－１０７１０４号公報

本発明は上記実情に鑑みなされたものであり、その目的とするところは、生産ラインに対し、より容易に適切なＡＩモデルを適用することを可能とする技術を提供することである。

前記の目的を達成するために、本開示は以下の構成を採用する。即ち、
製品の生産ラインにおいて、前記製品の画像データに基づく検査をＡＩモデルを用いて実行する検査システムであって、
前記製品の検査に用いられる一または複数のＡＩモデルの管理に関わる情報を表示する管理情報表示部を有し、
前記管理情報表示部は、前記ＡＩモデルの仕様に関する仕様情報と、該ＡＩモデルの各種データに対する性能に関する性能情報とを表示可能であり、
前記性能情報は、前記ＡＩモデルの量産適用前のモデルテストに対する性能と、量産に適用した際の性能とを含むことを特徴とする。

これによれば、ユーザーは、ＡＩモデルの仕様情報と性能情報を俯瞰しながら、例えば、ＡＩモデルの量産適用前のモデルテストに対する性能と、量産に適用した際の性能に乖離がある場合は原因を分析することができる。そして、ＡＩモデルを別モデルに変更したり、新たな画像データで学習・評価した上で適用できるようにするなど、生産ラインに対し、より容易に適切なＡＩモデルを適用することが可能となる。

また、本開示においては、前記管理情報表示部は、前記性能情報として、前記ＡＩモデルの量産適用前のモデルテストに対する性能と、量産に適用した際の性能と、量産への適用状況とを、一画面で表示することとしてもよい。これによれば、ユーザーは、当該一画面を見るたけで、ＡＩモデルの変更、再学習等の方針を迅速に決定することが可能となる。

また、本開示においては、前記ＡＩモデルの量産適用前のモデルテストは、テストデータに対するモデルテストまたは、ライブラリーデータに対するモデルテストの少なくとも何れかを含むこととしてもよい。これによれば、ばらつき、期間の異なるデータについての性能を迅速に把握することができるので、このことによっても、ＡＩモデルの変更、再学習等の方針を迅速に決定することが可能となる。

また、本開示においては、前記性能は、前記ＡＩモデルを使用しない検査における良品を前記ＡＩモデルが不良品と判定した数に基づく見過ぎ指標と、前記ＡＩモデルを使用しない検査における不良品（実不良）を前記ＡＩモデルが良品と判定した数に基づく見逃し指標とを含むこととしてもよい。これによれば、ＡＩモデルによる判定が厳し過ぎるのか甘すぎるのかを、即座に認識することが可能であるとともに、モデルが過学習していないかというモデルの妥当性を判断することが可能である。なお、「ＡＩモデルを使用しない検査」は目視検査であってもよい。あるいは、良否の判定精度の高い他の検査であってもよい。例えば、判定精度が高い場合にはルールベース検査であってもよい。

また、本開示においては、前記性能情報は、前記ＡＩモデルの量産適用前のモデルテストおよび量産における各検査画像と、該検査画像についての前記ＡＩモデルによる良否の判定結果と、該検査画像についてのＡＩ出力値とをさらに含むこととしてもよい。これによれば、個別の検査画像に対してＡＩモデルがどのような判定をしたのかを確認することができ、ＡＩモデルの変更、再学習等の方針をより適切に決定することが可能となる。

また、本開示においては、前記性能情報は、前記ＡＩモデルの、前記検査画像についてのＡＩ出力値のヒストグラムをさらに含むこととしてもよい。これによっても、ＡＩモデルの検査画像についての判断の傾向をより容易に確認することが可能である。

また、本開示においては、前記管理情報表示部は、前記性能情報を、前記製品に対する検査項目毎に表示可能とすることとしてもよい。これによれば、各検査項目についてのＡＩモデルの成績を確認することができ、ＡＩモデルの変更、再学習等の方針をよりきめ細やかに決定することが可能となる。

また、本開示においては、前記管理情報表示部は、前記仕様情報及び前記性能情報の表示を、検査対象部品の品番グループ毎の表示と、複数の品番グループについて纏めた表示とで切替可能としてもよい。これによれば、各品番グループについてのＡＩモデルの性能を詳細に確認しつつ、異なる品番グループ間での、ＡＩモデルの移設や交換についてより容易に検討することが可能となる。ここで、品番グループとは、部品サイズや部品色が似ている品番を一つにまとめた集まりを示す。この品番グループ内の品番は、同一の検査基準、色パラメータで検査することになるので、それぞれの品番でティーチングする必要がなくなり、ティーチングを効率化することが可能となる。

また、本開示においては、前記管理情報表示部は、複数の品番グループについて纏めた表示の表示画面において、一の品番グループに適用されているＡＩモデルを、他の品番グループへ適用する処理を実行可能としてもよい。これによれば、ユーザーは、管理情報表示部の表示画面を見ながら、即座に、一の品番グループに適用されているＡＩモデルを、他の品番グループへ適用することが可能となる。

また、本開示においては、前記仕様情報は、前記ＡＩモデルのネットワーク情報、学習時の学習データの情報、前記ＡＩモデルのロット番号の少なくとも何れかを含むこととしてもよい。これによれば、ユーザーは、より容易に、ＡＩモデルの基本的な情報、素性を確認することができる。

また、本開示は、製品の生産ラインにおいて、前記製品の画像データに基づく検査をＡＩモデルを用いて実行する検査システムのための、ＡＩモデルデータの管理方法であって、
前記ＡＩモデルデータを、該ＡＩモデルデータの仕様に関する仕様情報と、該ＡＩモデルの各種データに対する性能に関する性能情報と紐づけて管理し、
前記性能情報は、前記ＡＩモデルの量産適用前のモデルテストに対する性能と、量産に適用した際の性能とを含むことを特徴とする、ＡＩモデルデータの管理方法であってもよい。なお、ここで、管理するとは、情報を記憶して保存することの他、例えば、リアルタイムに画像データに基づく検査を行い、当該画像データに対する性能情報を表示することも含む。

また、本開示は、前記ＡＩモデルの量産適用前のモデルテストは、テストデータに対するモデルテストまたは、ライブラリーデータに対するモデルテストの少なくとも何れかを含むことを特徴とする、上記のＡＩモデルデータの管理方法であってもよい。

また、本開示は、前記性能は、前記ＡＩモデルを使用しない検査における良品を前記ＡＩモデルが不良品と判定した数に基づく見過ぎ指標と、前記ＡＩモデルを使用しない検査における不良品を前記ＡＩモデルが良品と判定した数に基づく見逃し指標とを含む事を特徴とする、上記のＡＩモデルデータの管理方法であってもよい。

また、本開示は、前記性能情報は、前記ＡＩモデルの量産適用前のモデルテストおよび量産における各検査画像と、該検査画像についての前記ＡＩモデルによる良否の判定結果と、該検査画像についてのＡＩ出力値とをさらに含む事を特徴とする、上記のＡＩモデルデータの管理方法であってもよい。

また、本開示は、前記仕様情報は、前記ＡＩモデルのネットワーク情報、学習時の学習データの情報、前記ＡＩモデルのロット番号の少なくとも何れかを含むことを特徴とする、上記のＡＩモデルデータの管理方法であってもよい。

また、本開示は、製品の生産ラインにおいて、前記製品の画像データに基づく検査をＡＩモデルを用いて実行する検査システムのための、一又は複数のＡＩモデルデータを有する、ＡＩモデルデータセットであって、
前記ＡＩモデルデータと紐づけられた、該ＡＩモデルデータの仕様に関する仕様情報と、該ＡＩモデルの各種データに対する性能に関する性能情報とを含み、
前記性能情報は、各検査画像と、該検査画像についての前記ＡＩモデルによる良否の判定結果とを含むことを特徴とする、ＡＩモデルデータセットであってもよい。

また、本開示は、前記性能は、前記ＡＩモデルを使用しない検査における良品を前記ＡＩモデルが不良品と判定した数に基づく見過ぎ指標と、前記ＡＩモデルを使用しない検査における不良品を前記ＡＩモデルが良品と判定した数に基づく見逃し指標とを含む事を特徴とする、上記のＡＩモデルデータセットであってもよい。

また、本開示は、前記性能情報は、前記検査画像についてのＡＩ出力値とをさらに含む事を特徴とする、上記のＡＩモデルデータセットであってもよい。

また、本開示は、前記仕様情報は、前記ＡＩモデルのネットワーク情報、学習時の学習データの情報、前記ＡＩモデルのロット番号の少なくとも何れかを含むことを特徴とする、上記のＡＩモデルデータセットであってもよい。

なお、上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

本発明によれば、生産ラインに対し、より容易に適切なＡＩモデルを適用することが可能となる。

本発明の実施例に係る検査システムの概略構成図である。 学習データ、テストデータ、ライブラリーデータ、量産データの各データの特性を表す図である。 本発明の実施例に検査システムを用いての処理のフローチャートである。 本発明の実施例に係る検査システムの機能ブロック図である。 本発明の実施例に係る検査システムの機能ブロック図の第２の図である。 本発明の実施例に係る検査システムの機能ブロック図の第３の図である。 本発明の実施例に係る設定用画面表示を示す図である。 本発明の実施例に係るＡＩモデル管理画面の一例を示す図である。 本発明の実施例に係る第１詳細表示画面を示す図である。 本発明の実施例に係る学習データ数表示画面を示す図である。 本発明の実施例に係る第２詳細表示画面を示す図である。 本発明の実施例に係る第４詳細表示画面を示す図である。 本発明の実施例に係るＡＩモデル全体管理画面を示す図である。

＜適用例＞
本発明が適用される対象の一例である生産ライン１００は、図１に示すように、はんだ印刷装置１００ａ、はんだ印刷後検査装置１００ｂ、マウンタ１００ｃ、マウント後検査装置１００ｄ、リフロー炉１００ｅ、リフロー後検査装置１００ｆを含む。生産ライン１００における各装置は、ＬＡＮなどのネットワークを介してティーチング端末１０に接続されている。各検査装置１００ｂ、１００ｄ、１００ｆは各工程の出口でプリント基板の状態を検査し、不良あるいは不良のおそれを自動的に検出する。

なお、生産ライン１００の各検査装置における検査は、予め学習されたＡＩモデルを用いて行われる。ＡＩモデルは、ティーチング端末１０を用いて、事前に学習データを用いて学習される。その後、テストデータ、ライブラリーデータ、量産データに基づいて性能評価される。

ここで、ＡＩモデルは、学習データの狭いばらつき、期間に係るデータを用いて学習させるため、必ずしも、広いばらつき、期間の範囲に係る量産データに対する検査において、充分な性能を発揮するとは限らない。それに対し、本適用例は、複数のＡＩモデルについて、ＡＩモデル生成時における仕様情報と、テストデータ、ライブラリーデータ、量産データに対してどのような性能を発揮したかの性能情報を、ユーザーが俯瞰的に確認することを可能とし、最適なＡＩモデルを、より容易に量産に適用できるようにしたものである。

図８には、本適用例におけるＡＩモデル管理画面２１の一例を示す。ＡＩモデル管理画面２１には、ＡＩ使用履歴表示エリア２２が設けられている。ＡＩ使用履歴表示エリア２２は、各ＡＩモデルの量産における使用履歴が表示されるエリアである。ＡＩ使用履歴表示エリア２２の左端２２ｂには、量産で使用したＡＩモデルのモデル名が記載されている。各々のモデル名が記載された行には、当該モデルが使用された期間が棒グラフで表示される。ＡＩ使用履歴表示エリア２２によって、量産において各モデルが用いられた期間の履歴情報を示すことが可能である。

また、ＡＩモデル管理画面２１は、ＡＩ使用履歴表示エリア２２の右側に、性能表示エリア２３を有する。この性能表示エリア２３の左欄２３ａには、各ＡＩモデルについて、テストデータに対する性能が表示される。また、性能表示エリア２３の右欄２３ｂには、各ＡＩモデルについて、ライブラリーデータに対する性能が表示される。より具体的には、テストデータ使用時の見過ぎ率と見逃し率、ライブラリーデータ使用時の見過ぎ率と見逃し率が棒グラフで表示される。

また、ＡＩ使用履歴表示エリア２２の下側には、量産性能表示エリア２４が設けられている。量産性能表示エリア２４は、ＡＩ使用履歴表示エリア２２に示される各稼働日における、その日に使用されているＡＩモデルの、量産データに対する性能が表示される。より具体的には、見過ぎ率と見逃し率が折れ線グラフで表示されている。

また、ＡＩモデル管理画面２１における右端には、各ＡＩモデルのモデル名に対応して詳細表示ボタン２１ｄが設けられている。この詳細表示ボタン２１ｄを押すことで、各ＡＩモデルの詳細情報が表示される。図９には、詳細表示ボタン２１ｄを押すことで表示される第１詳細表示画面３１ａの例を示す。第１詳細表示画面３１ａには、表示モード選択エリア３２が表示され、この表示モード選択エリア３２では、詳細表示画面における表示内容を選択することが可能である。図９では、表示モード選択エリア３２において基本情
報が選択されている。よって、第１詳細表示画面３１ａは、基本情報を示す画面となっている。

図９に示すように、第１詳細表示画面３１ａには、基本情報表示エリア３３が設けられている。この基本情報表示エリア３３においては、対象のＡＩモデルのモデル名、生成日時、検査する画像の画像サイズ、使用するネットワーク名、学習データ名、学習データの回収期間、検査対象の製品のロット番号、コメントが記載されている。

本適用例では、このように、ユーザーが、各ＡＩモデルの基本情報（仕様情報）と、各テスト及び量産においてどのような性能を発揮しているかの性能情報を、俯瞰的に容易に確認することが可能である。その結果、量産に適用するＡＩモデルを変更する、再学習させる等の判断を、より容易またはより高精度で行うことが可能である。

以下、図面に基づいて、本発明の実施の形態について説明する。ただし、以下の各例に記載されている構成要素については、特に記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。

＜実施例＞
本開示に係る発明が適用される対象の一例である生産ライン１００を図１に示す。上述のように、生産ライン１００は、例えばはんだ印刷装置１００ａ、はんだ印刷後検査装置１００ｂ、マウンタ１００ｃ、マウント後検査装置１００ｄ、リフロー炉１００ｅ、リフロー後検査装置１００ｆを含む。はんだ印刷装置１００ａは、プリント基板上の電極部はんだペーストを印刷する装置である。マウンタ１００ｃは、プリント基板に実装すべき多数の電子部品をはんだペーストの上に載置するための装置である。また、リフロー炉１００ｅは、プリント基板上に載置された電子部品を基板上のプリント配線にはんだ接合するための加熱装置である。そして、各検査装置１００ｂ、１００ｄ、１００ｆは各工程の出口でプリント基板の状態を検査し、不良あるいは不良のおそれを自動的に検出する。

上述したはんだ印刷後検査装置１００ｂ、マウント後検査装置１００ｄ、リフロー後検査装置１００ｆ（以下、これらをまとめて検査装置３０ともいう。）は、ＬＡＮなどのネットワークを介してティーチング端末１０及び、データベース２０（以下、簡単にＤＢ２０ともいう。）に接続されている。ティーチング端末１０は、ＣＰＵ（プロセッサ）、主記憶装置（メモリ）、補助記憶装置（ハードディスクなど）、入力装置（キーボード、マウス、コントローラ、タッチパネルなど）、出力装置（ディスプレイ、プリンタ、スピーカなど）などを具備する汎用的なコンピュータシステムにより構成されてもよい。あるいは、タブレット端末など可搬性を有するコンピュータシステムにより構成されてもよい。

なお、生産ライン１００の検査装置３０における検査は、予め学習された学習済ＡＩモデル（以下、単にＡＩモデルともいう。）を用いて行われる。ＡＩモデルは、ＤＢ２０に格納されており、適宜選択されて検査装置３０における検査に使用される。また、ＡＩモデルは、ティーチング端末１０を用いて、事前に学習データに基づいて検査装置３０においてプリント基板の良不良を判定可能なように学習される。その後ＡＩモデルは、テストデータ、ライブラリーデータ、量産データに基づいて性能評価される。

図２（ａ）、（ｂ）には、学習データ、テストデータ、ライブラリーデータ、量産データの各データの特性を示す。図２（ａ）、（ｂ）の横軸はデータが収集される期間、縦軸はデータのばらつきの範囲である。ここで、学習データはＡＩに学習させる際に用いられた画像データであり、非常に短い期間の量産データの中から選択したデータであり、期間、ばらつきの範囲は狭い範囲に留まる。また、テストデータは、学習済ＡＩモデルのテストに使用されるデータであり、データの取り方にもよるが、一般的にばらつき、期間の範
囲は狭いと言える。ライブラリーデータは、さらに広範囲の量産データに基づくデータであり、例えば、別ロットの製品、別拠点で生産した製品のデータを含んだ、広い母集団から収集したデータである。また、量産データは、実際の量産過程において取得されたデータであり、ばらつき、期間ともに充分に広い範囲を有するデータである。なお、学習データ、テストデータ、ライブラリーデータの各データの関係には様々なパターンがあり、図２（ａ）に示すように各データが独立している場合もあるが、図２（ｂ）に示すように、例えば学習データとライブラリーデータが重なったり、テストデータとライブラリーデータが重なるなど、各データが一部または全部重複する場合もある。

ここで、ＡＩモデルには、まず母集団としてのデータのばらつき、期間の範囲が狭い学習データを用いて学習させるため、必ずしも、データのばらつき、期間の範囲が広い量産データに対する検査において、充分な性能を発揮するとは限らない。何れの検査に対して、何れのＡＩモデルが適しているかどうかは、適用してみないと分からない部分があり、場合によっては、ＡＩモデルの交換、再学習が必要になる。このように、各生産ラインにける検査精度を早期に高めることは、容易ではない。

そこで、本開示においては、複数のＡＩモデルについて、生成時の仕様や、どのような学習データを用いて学習したかを示す仕様情報と、テストデータ、ライブラリーデータ、量産データに対してどのような性能を発揮したかの性能情報とを、ユーザーが俯瞰的に閲覧可能とした。そのことで、最適なＡＩモデルを、より容易に量産に適用できるようにした。

次に、本開示における検査システム１を用いた処理の手順の一例を、図３のフローチャートを用いて説明する。本フローが開始すると、先ず、ユーザーは、ステップＳ１０１においては、ティーチング端末１０において、ＡＩモデルを用いた検査の対象となる部品の品番グループを選択する。そして、ステップＳ１０２においては、ＡＩモデルを用いた検査の対象となる不良内容に相当する検査ロジックを選択する。そうすると、ステップＳ１０３においては、ティーチング端末１０に、ステップＳ１０１及びステップＳ１０２で選択された品番グループ、検査ロジックに対して用いられているＡＩモデルの情報を表示したＡＩモデル管理画面２１（後述）が表示される。

そして、ステップＳ１０４においては、ユーザーは、ＡＩモデル管理画面２１を見ながら、新たにＡＩモデルを生成するか否かを判断する。新たにＡＩモデルを生成する場合には、ステップＳ１０５に進み、新たなＡＩモデルの生成を行う。一方、新たにＡＩモデルを生成しない場合には、ステップＳ１０６に進む。

次に、ステップＳ１０６においては、ユーザーは、システム外からＡＩモデルをインポートするか否かを判断する。ユーザーがシステム外からＡＩモデルをインポートすると判断した場合には、ステップＳ１０７に進み、外部からＡＩモデルをインポートする。システム外からＡＩモデルをインポートしないと判断した場合には、ステップＳ１０８に進む。

ステップＳ１０８においては、ユーザーが、テストデータ、ライブラリーデータに対して、全てのＡＩモデルをテストするか否かを判断する。ここで、ユーザーが全てのＡＩモデルをテストすると判断した場合には、ステップＳ１０９に進む。全てのＡＩモデルをテストしないと判断した場合には、ステップＳ１１２に進む。

ステップＳ１０９においては、ＡＩモデル管理画面２１にリストアップされている全てのＡＩモデルをテストデータ、ライブラリーデータに対してテストする。ステップＳ１０９の処理が終了するとステップＳ１１０に進む。ステップＳ１１０においては、テストデ
ータ、ライブラリーデータに対するテスト結果がＡＩモデル管理画面２１に表示されるとともに、テスト結果がテスト日時とともに保存される。なお、この時に保存されたテスト結果は、次回にＳ１０３でＡＩモデル管理画面が表示された際に表示される。ステップＳ１１１においては、ユーザーは、量産検査に使用するＡＩモデルを変更するか否かを判断する。量産検査に用いるＡＩモデルを変更すると判断した場合には、ステップＳ１１２に進み、量産検査に用いるＡＩモデルを変更する。一方、量産検査に用いるＡＩモデルを変更しない場合には、ステップＳ１１３に進み、量産検査を実施する。ステップＳ１１３の処理が終了すると本ルーチンを一旦終了する。

＜機能ブロック図＞
図４には、本開示に係る検査システム１の機能ブロック図を示す。検査システム１は、ティーチング端末１０、ＤＢ２０、検査装置３０を含む。ティーチング端末１０は、ＡＩモデルを生成した際の、学習データや生成日時等の情報を表示するＡＩモデル生成情報表示部１０ａ、ＡＩモデルを生成するＡＩモデル生成部１０ｂを有する。また、ティーチング端末１０は、ＡＩモデルの量産への適用の履歴情報および、テストデータや量産データに対する性能情報を表示する機能を有するＡＩモデル管理情報表示部１０ｃ、ＡＩモデルに様々な画像データを提供してテストさせるＡＩモデルテスト処理部１０ｄを有する。ＡＩモデル管理情報表示部１０ｃは、本実施例における管理情報表示部に相当する。

ＤＢ２０は、ＡＩモデル本体及び検査閾値を格納するＡＩモデル本体・閾値格納部２０ａ、生成したＡＩモデルの仕様情報である学習データ、生成日時等の情報を格納するＡＩモデル管理情報格納部２０ｂ、量産データの性能の情報を格納する量産結果情報格納部２０ｃを有する。また、ＤＢ２０は、ＡＩモデルの学習に用いる画像データを格納する学習データ用画像格納部２０ｄ、ＡＩモデルのテスト用の画像データを格納するテストデータ用画像格納部２０ｅ、ＡＩモデルのライブラリーテスト用の画像データを格納するライブラリーデータ用画像格納部２０ｆ、を有する。なお、学習データ用画像格納部２０ｄ、テストデータ用画像格納部２０ｅ、ライブラリーデータ用画像格納部２０ｆには、画像データの不良種（不良名称）も格納されている。見逃し率は、検査ロジックの対象としている不良種のサンプルを見逃した率として算出されるため、不良種の画像データが必要となる。

また、検査装置３０は、量産時に取得された画像データを用いて検査を行う量産検査部３０ａを有する。

（ＡＩモデル生成フェイズ）
図４には、ＡＩモデルを生成するフェイズにおける検査システム１の情報の授受について矢印で表示されている。ＡＩモデル生成のフェイズにおいては、まず、学習データ用画像格納部２０ｄからＡＩモデル生成部１０ｂに対して、ＡＩモデルの学習用の学習データをインプットする。そして、ＡＩモデル生成部１０ｂにおいて、ＡＩモデルに学習させることで学習済のＡＩモデルを生成する。ＡＩモデル生成部１０ｂからＡＩモデル生成情報表示部１０ａに、生成したＡＩモデルに関する情報をインプットし、ＡＩモデル生成情報表示部１０ａにおいて、生成したＡＩモデルの情報を表示する。そして、ＡＩモデル生成情報表示部１０ａは、ＡＩモデル本体・閾値格納部２０ａに、生成したＡＩモデルをインプットする。また、生成したＡＩモデルの学習データ、生成日時等の情報をＡＩモデル管理情報格納部２０ｂにインプットする。なお、ここで、ＡＩモデル管理情報格納部２０ｂにインプットされる情報は、本実施例において仕様情報に相当し、ＡＩモデルデータと紐づけて記憶される。

（ＡＩモデルテストフェイズ）
次に、図５を用いて、ＡＩモデルテストフェイズにおける、検査システム１の情報の授
受について説明する。ＡＩモデルテストフェイズにおいては、テストデータ用画像格納部２０ｅから、ＡＩモデルテスト処理部１０ｄに、モデルテストに使用するテストデータをインプットする。また、ライブラリーデータ用画像格納部２０ｆから、ＡＩモデルテスト処理部１０ｄに、モデルテストに使用するライブラリーデータをインプットする。さらに、ＡＩモデル本体・閾値格納部２０ａから、ＡＩモデルテスト処理部１０ｄに、モデルテストを実施すべきＡＩモデルをインプットする。

また、ＡＩモデルテスト処理部１０ｄから、ＡＩモデル管理情報表示部１０ｃに、テストデータ、ライブラリーデータに対するモデルテストの結果をインプットし、ＡＩモデル管理情報表示部１０ｃにおいて、テストの結果を表示する。その際、ＡＩモデル管理情報格納部２０ｂからＡＩモデル管理情報表示部１０ｃに、学習データ、ＡＩモデルの生成日時等、ＡＩモデルの情報を送付し表示する。さらに、量産結果情報格納部２０ｃからＡＩモデル管理情報表示部１０ｃに、実際の量産結果に基づくＡＩモデルの性能をインプットし、表示する。

（量産検査フェイズ）
次に、図６を用いて、量産検査フェイズにおける、検査システム１の情報の授受について説明する。量産検査フェイズにおいては、データベース２０のＡＩモデル本体・閾値格納部２０ａから、検査装置３０に対して、選択されたＡＩモデル本体及び量産検査における検査閾値がインプットされる。そして、量産検査部３０ａにおいて、選択されたＡＩモデルを使用して量産検査を実施する。そして、量産検査部３０ａから量産結果情報格納部２０ｃに、量産検査結果データをインプットする。量産結果情報格納部２０ｃにおいては、使用されたＡＩモデルと紐付けて量産検査結果データを蓄積する。

図７に示す表示は、検査装置３０における検査の各検査項目の良否判定に係る閾値を設定する設定用画面表示１１である。この中で、例えば検査項目としてのぬれ性についてはＡＩによる検査であることが表示されている。そして、閾値表示窓の右側に設けられたＡＩ検査ロジックの設定ボタン１１ａをクリックすることで、後述のＡＩモデル管理画面２１を表示させることが可能である。

次に、図８に示すのは、ＡＩモデル管理情報表示部１０ｃによって表示されるＡＩモデル管理画面２１の一例である。このＡＩモデル管理画面２１では、上端には、検査ロジック表示エリア２１ａが配置されている。ここでは、何れの検査項目に対するＡＩモデルの管理画面なのかが記載される。図８の例では、ハンダのぬれ性について使用されるＡＩモデルの管理画面であることが示されている。また、ＡＩモデル管理画面２１における検査ロジック表示エリア２１ａの下側の左端には、いずれの部品についての検査に係るＡＩモデルなのかを示す、品番グループ表示エリア２１ｂが設けられている。

この例では、Ｒ１００５という品番グループについての管理情報であることが示されている。また、品番グループ表示エリア２１ｂの右側には、表示切替ボタンエリア２１ｃが設けられている。この表示切替ボタンエリア２１ｃは、品番グループ単位のＡＩモデル管理画面か、複数の品番グループを含む全体のＡＩモデル管理画面かを切り替えるためのボタンを表示する。この例では、品番グループ単位の欄が濃く表示されており、品番グループ単位のＡＩモデル管理画面が選択されていることを示す。

また、ＡＩモデル管理画面２１には、ＡＩ使用履歴表示エリア２２が設けられている。ＡＩ使用履歴表示エリア２２は、各ＡＩモデルの量産における使用履歴が表示されるエリアである。ＡＩ使用履歴表示エリア２２の左端２２ｂには、量産で使用したＡＩモデルのモデル名が記載されている。各々のモデル名が記載された行には、当該モデルが使用された期間が棒グラフで表示される。ＡＩ使用履歴表示エリア２２の上端の行には、ＡＩモデ
ルを使用した日付が記載された日付エリア２２ａが設けられている。この、ＡＩ使用履歴表示エリア２２によって、量産において各モデルが用いられた期間の履歴情報を示すことが可能である。この履歴情報は、本実施例において量産への適用状況に相当する。なお、ＡＩ使用履歴表示エリア２２の左上端のモデル名欄のボタンをクリックすることで、ソートメニューが表示され、ＡＩ使用履歴表示エリア２２の表示方法を選択できる。例えば、量産検査に使用した実績のあるＡＩモデルのみを表示したり、モデル生成日時が新しいほど上側に表示される等のソート機能を有する。

また、ＡＩモデル管理画面２１は、ＡＩ使用履歴表示エリア２２の右側に、性能表示エリア２３を有する。この性能表示エリア２３の左欄２３ａには、各ＡＩモデルについて、テストデータに対する性能が表示される。また、性能表示エリア２３の右欄２３ｂには、各ＡＩモデルについて、ライブラリーデータに対する性能が表示される。より具体的には、テストデータ使用時の見過ぎ率と見逃し率、ライブラリーデータ使用時の見過ぎ率と見逃し率が棒グラフで表示される。なお、性能表示エリア２３における性能データは、ＡＩモデル管理画面２１を表示させた状態で、リアルタイムに実行したテストの結果であってもよいし、過去に行ったテストの結果であってもよい。性能表示エリア２３の上側には、モデルテストの実行日時が表示されている。この性能表示エリア２３に表示される情報は、本実施例において性能情報に相当し、ＡＩモデルの量産適用前のモデルテストに対する性能に相当する。また、本実施例で示す見過ぎ率は、見過ぎ指標に相当し、見逃し率は、見逃し指標に相当する。

また、ＡＩ使用履歴表示エリア２２の下側には、量産性能表示エリア２４が設けられている。量産性能表示エリア２４は、ＡＩ使用履歴表示エリア２２に示される各稼働日における、その日に使用されているＡＩモデルの、量産データに対する性能が表示される。より具体的には、見過ぎ率と見逃し率が折れ線グラフで表示されている。この量産性能表示エリア２４に表示される情報は、本実施例において性能情報に相当し、量産に適用した際の性能に相当する。

また、ＡＩモデル管理画面２１における右端には、各ＡＩモデルのモデル名に対応して詳細表示ボタン２１ｄが設けられている。この詳細表示ボタン２１ｄを押すことで、各ＡＩモデルの詳細情報が表示される。図９には、詳細表示ボタン２１ｄを押すことで表示される第１詳細表示画面３１ａの例を示す。第１詳細表示画面３１ａには、表示モード選択エリア３２が表示され、この表示モード選択エリア３２では、詳細表示画面における表示内容を選択することが可能である。図９では、表示モード選択エリア３２において基本情報が選択されている。よって、第１詳細表示画面３１ａは、基本情報を示す画面となっている。

図９に示すように、第１詳細表示画面３１ａには、基本情報表示エリア３３が設けられている。この基本情報表示エリア３３においては、対象のＡＩモデルのモデル名、生成日時、検査する画像の画像サイズ、使用するネットワーク名、学習データ名、学習データの回収期間、検査対象の製品のロット番号、コメントが記載されている。本実施例において、基本情報表示エリア３３に示される情報は仕様情報に相当する。なお、図９の基本情報表示エリア３３における学習データ名の欄には、学習に使用された学習データの数についてのより詳細な情報にアクセスするための詳細ボタン３３ａが設けられている。この詳細ボタン３３ａをクリックすることで、図１０（ａ）、図１０（ｂ）に示すような、各品番についての学習に用いられた学習データの数の情報を閲覧することが可能である。

図１０（ａ）は、詳細表示中の学習モデルにおける学習が、教師なし学習である場合について、学習時に使用された学習データの数を品番毎に表示した、学習データ数表示画面３３０である。この学習データ数表示画面３３０には、学習時に使用された学習データ数
が品番毎にリスト表示される、学習データ数エリア３３０ａが設けられている。

ここでは、良品データのみで学習モデルの学習が可能であるので、表示されている学習データ数は、良品データの数である。このように、各品番について各々どれ位の数の学習データが使用されたかをリスト化することで、品番毎に学習データ数の偏りがないか、各品番についての学習データ数が充分か等を迅速に確認することが可能である。

なお、学習データ数エリア３３０ａにおいては、学習データ数が極端に少ない品番については、表示色を変える等の強調表示を行ってもよい。例えば、図１０Ａの例では、品番Ｄについての学習データ数が極端に少ないため、本学習モデルは品番Ｄについて充分な性能が出ない可能性があることが理解される。この強調表示の方法としては、表示色を変える方法の他、文字の太さや大きさを変える方法、リストの欄の色を変える等の方法を採用しても構わない。また、強調表示を行う条件としては、例えば、学習データ数エリア３３０ａ内の各品番に対するデータ数の最大値に対し、所定比率（例えば１０％）以下のデータ数しかないこと等が例示できる。

次に、図１０（ｂ）には、詳細表示中の学習モデルの学習が、教師あり学習である場合について、学習時に使用された学習データの数を、品番毎に表示した学習データ数表示画面３３１を示す。この学習データ数表示画面３３１では、学習時に使用された学習データ数及び検証データ数が品番毎に表示される、学習データ数エリア３３１ａが設けられている。この学習データ数エリア３３１ａにおいては、学習データ数及び検証データ数の各々について、良品データ数と不良品データ数に分けて表示される。

これによれば、詳細表示中の学習モデルの教師あり学習時において、どれ位の数の学習データ及び検証データが使用されたかを、品番毎に、良品データ数と不良品データ数に分けて確認することが可能であり、学習データの素性についてより詳細に確認することが可能である。なお、この場合、必ずしも検証データ数を表示する必要はない。また、検証データ数については、学習時のデータの他、テストデータやライブラリーデータのデータ数を表示しても構わない。

次に、図１１を用いて、表示モード選択エリア３２において「テストデータに対するモデルテスト結果」が選択された場合に表示される、第２詳細表示画面３１ｂについて説明する。この第２詳細表示画面３１ｂにおいては、表示モード選択エリア３２の下側中央に、テストデータに対するモデルテスト結果の詳細を示す表であるテスト結果表３４が配置されている。

このテスト結果表３４の左端には、モデルテストに使用した画像データの種類（すなわち、良品の画像データか、不良品の画像データか、グレー品の画像データか）が示されている。また、上段には、各種類の画像データをＡＩモデルが良品判定した数、不良判定した数、見過ぎ率または見逃し率が記載されている。また、第２詳細表示画面３１ｂの下段の左側には、実際の各画像データの夫々が、ＡＩモデルによってどのように判定されたかを示す画像表示エリア３５が配置されている。

この画像表示エリア３５においては、左端には、実際の画像データが表示され、当該画像データの行における各列には、当該画像データをヒートマップ化した画像データ、目視による良否の別、ＡＩモデルによる判定結果、その際のＡＩ出力値を表示している。また、第２詳細表示画面３１ｂの下段の右側には、横軸を、各画像データをテストした際のＡＩ出力値としたヒストグラムを、良否の閾値とともに表示したヒストグラムエリア３６が設けられている。この第２詳細表示画面３１ｂによって、対象のＡＩモデルのテスト結果を詳細に確認することが可能である。

ここで、表示モード選択エリア３２において「ライブラリーデータに対するモデルテスト結果」が選択された場合に表示される、第３詳細表示画面は、基本的に第２詳細表示画面３１ｂと同等の構成であるので、説明は省略する。

図１２には、表示モード選択エリア３２において「量産結果」が選択された場合に表示される、第４詳細表示画面３１ｃを示す。この第４詳細表示画面３１ｃも基本構成は第２詳細表示画面３１ｂと同等であるが、この例においては、量産対応であるが故に、モデル使用期間と、検査済基板ＩＤとを表示する量産情報エリア３７が設けられている点で、第２詳細表示画面３１ｂとは異なる。

次に、図８の説明に一旦戻るが、ＡＩモデル管理画面２１の右下の領域には、モデル生成ボタン２１ｅ、モデルテストボタン２１ｆ、インポートボタン２１ｇ、モデル適用ボタン２１ｈが設けられている。モデル生成ボタン２１ｅをクリックすることで、新たなＡＩモデルの生成を開始することが可能である。モデルテストボタン２１ｆをクリックすることで、リアルタイムに、例えばテストデータやライブラリーデータを用いて、特定のＡＩモデルを用いたテストを実施することが可能である。また、インポートボタン２１ｇをクリックすることで、新たなＡＩモデルを外部からインポートすることが可能である。さらに、モデル適用ボタン２１ｈをクリックすることで、現時点で量産に適用されていないＡＩモデルを、量産に適用させることが可能である。

なお、表示切替ボタンエリア２１ｃにおいては、これまで説明した、品番グループ単位の表示の他、全体としての表示を選択することができる。図１３には、表示切替ボタンエリア２１ｃにおいては全体を選択した場合の表示画面である、ＡＩモデル全体管理画面４１を示す。このＡＩモデル全体管理画面４１には、生産ライン１００における複数の品番グループへのＡＩモデルの適用状態を示す、品番グループ状況表示エリア４５が設けられている。品番グループ状況表示エリア４５の左端４５ａには、品番グループの名称が列挙されている。

そして、各品番グループの部品に対して、ＡＩモデルによる検査がＯＮしているか否か、閾値、ＡＩモデル名及び、当該ＡＩモデルによる量産時の性能（見過ぎ率または見逃し率）が掲載されている。なお、ＡＩによる検査がＯＮであるにも拘らずＡＩモデルが定義されていない場合には、検査エラーの原因となるため、その行は、行自体の色を変える等してユーザーに報知することが可能となっている。図１３においては、品番グループ状況表示エリア４５の該当する行にハッチングが施されている。

また、品番グループ状況表示エリア４５の各品番グループの行の右側には、簡単な操作で、成績の良いモデルのＡＩモデルを、他の品番グループに展開可能とする、品番グループ展開ボタン４５ｂが設けられている。このボタンをクリックした後に、展開先の品番グループを設定することで、当該ＡＩモデルの他品番グループへの展開が可能である。

なお、上記の実施例においては、本発明を、ブリント基板の生産ライン１００に適用した例について説明したが、本発明は他の種類の生産ラインに適用可能であることは当然である。また、本発明は、ＡＩモデル管理画面２１、第１詳細表示画面３１ａ～第４詳細表示画面３１ｃを表示可能とする、ＡＩモデルデータ、仕様情報、性能情報を含む、データセットとして捉えることも可能である。さらに、このデータセットは、性能情報の基となる検査画像、あるいは、ＡＩモデルデータによるリアルタイムな検査を可能とする検査画像を含むようにしてもよい。

なお、以下には本発明の構成要件と実施例の構成とを対比可能とするために、本発明の
構成要件を図面の符号付きで付記しておく。
＜付記１＞
製品の生産ライン（１００）において、前記製品の画像データに基づく検査をＡＩモデルを用いて実行する検査システム（１）であって、
前記製品の検査に用いられる一または複数のＡＩモデルの管理に関わる情報を表示する管理情報表示部（１０ｃ）を有し、
前記管理情報表示部（１０ｃ）は、前記ＡＩモデルの仕様に関する仕様情報と、該ＡＩモデルの各種データに対する性能に関する性能情報とを表示可能であり、
前記性能情報は、前記ＡＩモデルの量産適用前のモデルテストに対する性能と、量産に適用した際の性能とを含むことを特徴とする、検査システム。
＜付記２＞
前記管理情報表示部（１０ｃ）は、前記性能情報として、前記ＡＩモデルの量産適用前のモデルテストに対する性能と、量産に適用した際の性能と、量産への適用状況とを、一画面で表示することを特徴とする、請求項１に記載の検査システム。
＜付記３＞
前記ＡＩモデルの量産適用前のモデルテストは、テストデータに対するモデルテストまたは、ライブラリーデータに対するモデルテストの少なくとも何れかを含むことを特徴とする、請求項１または２に記載の検査システム。
＜付記４＞
前記性能は、前記ＡＩモデルを使用しない検査における良品を前記ＡＩモデルが不良品と判定した数に基づく見過ぎ指標と、前記ＡＩモデルを使用しない検査における不良品を前記ＡＩモデルが良品と判定した数に基づく見逃し指標とを含むことを特徴とする、請求項１から３のいずれか一項に記載の検査システム。
＜付記５＞
前記性能情報は、前記ＡＩモデルの量産適用前のモデルテストおよび量産における各検査画像と、該検査画像についての前記ＡＩモデルによる良否の判定結果と、該検査画像についてのＡＩ出力値とをさらに含むことを特徴とする、請求項１から４のいずれか一項に記載の検査システム。
＜付記６＞
前記性能情報は、前記ＡＩモデルの、前記検査画像についてのＡＩ出力値のヒストグラムをさらに含むことを特徴とする、請求項５に記載の検査システム。
＜付記７＞
前記管理情報表示部（１０ｃ）は、前記性能情報を、前記製品に対する検査項目毎に表示可能とすることを特徴とする、請求項１から６のいずれか一項に記載の検査システム。＜付記８＞
前記管理情報表示部（１０ｃ）は、前記仕様情報及び前記性能情報の表示を、検査対象部品の品番グループ毎の表示と、複数の品番グループについて纏めた表示とで切替可能とすることを特徴とする、請求項１から７のいずれか一項に記載の検査システム。
＜付記９＞
前記管理情報表示部（１０ｃ）は、複数の品番グループについて纏めた表示の表示画面において、一の品番グループに適用されているＡＩモデルを、他の品番グループへ適用する処理を実行可能とすることを特徴とする、請求項８に記載の検査システム。
＜付記１０＞
前記仕様情報は、前記ＡＩモデルのネットワーク情報、学習時の学習データの情報、前記ＡＩモデルのロット番号の少なくとも何れかを含むことを特徴とする、請求項１から９のいずれか一項に記載の検査システム。
＜付記１１＞
製品の生産ライン（１００）において、前記製品の画像データに基づく検査をＡＩモデルを用いて実行する検査システム（１）のための、ＡＩモデルデータの管理方法であって、
前記ＡＩモデルデータを、該ＡＩモデルデータの仕様に関する仕様情報と、該ＡＩモデルの各種データに対する性能に関する性能情報と紐づけて管理し、
前記性能情報は、前記ＡＩモデルの量産適用前のモデルテストに対する性能と、量産に適用した際の性能とを含むことを特徴とする、ＡＩモデルデータの管理方法。
＜付記１２＞
前記ＡＩモデルの量産適用前のモデルテストは、テストデータに対するモデルテストまたは、ライブラリーデータに対するモデルテストの少なくとも何れかを含むことを特徴とする、請求項１１に記載のＡＩモデルデータの管理方法。
＜付記１３＞
前記性能は、前記ＡＩモデルを使用しない検査における良品を前記ＡＩモデルが不良品と判定した数に基づく見過ぎ指標と、前記ＡＩモデルを使用しない検査における不良品を前記ＡＩモデルが良品と判定した数に基づく見逃し指標とを含むことを特徴とする、請求項１１または１２に記載のＡＩモデルデータの管理方法。
＜付記１４＞
前記性能情報は、前記ＡＩモデルの量産適用前のモデルテストおよび量産における各検査画像と、該検査画像についての前記ＡＩモデルによる良否の判定結果と、該検査画像についてのＡＩ出力値とをさらに含むことを特徴とする、請求項１１から１３のいずれか一項に記載のＡＩモデルデータの管理方法。
＜付記１５＞
前記仕様情報は、前記ＡＩモデルのネットワーク情報、学習時の学習データの情報、前記ＡＩモデルのロット番号の少なくとも何れかを含むことを特徴とする、請求項１１から１４のいずれか一項に記載のＡＩモデルデータの管理方法。
＜付記１６＞
製品の生産ライン（１００）において、前記製品の画像データに基づく検査をＡＩモデルを用いて実行する検査システム（１）のための、一又は複数のＡＩモデルデータを有する、ＡＩモデルデータセットであって、
前記ＡＩモデルデータと紐づけられた、該ＡＩモデルデータの仕様に関する仕様情報と、該ＡＩモデルの各種データに対する性能に関する性能情報とを含み、
前記性能情報は、各検査画像と、該検査画像についての前記ＡＩモデルによる良否の判定結果とを含むことを特徴とする、ＡＩモデルデータセット。
＜付記１７＞
前記性能は、前記ＡＩモデルを使用しない検査における良品を前記ＡＩモデルが不良品と判定した数に基づく見過ぎ指標と、前記ＡＩモデルを使用しない検査における不良品を前記ＡＩモデルが良品と判定した数に基づく見逃し指標とを含むことを特徴とする、請求項１６に記載のＡＩモデルデータセット。
＜付記１８＞
前記性能情報は、前記検査画像についてのＡＩ出力値とをさらに含むことを特徴とする、請求項１６または１７に記載のＡＩモデルデータセット。
＜付記１９＞
前記仕様情報は、前記ＡＩモデルのネットワーク情報、学習時の学習データの情報、前記ＡＩモデルのロット番号の少なくとも何れかを含むことを特徴とする、請求項１６から１８のいずれか一項に記載のＡＩモデルデータセット。

１・・・検査システム
１０・・・ティーチング端末
１０ｃ・・・ＡＩモデル管理情報表示部
１０ｄ・・・ＡＩモデルテスト処理部
２０・・・ＤＢ
２１・・・ＡＩモデル管理画面
３０・・・検査装置
３１ａ・・・第１詳細表示画面
３１ｂ・・・第２詳細表示画面
３１ｃ・・・第４詳細表示画面
４１・・・ＡＩモデル全体管理画面
１００・・・生産ライン

Claims (19)

1. 製品の生産ラインにおいて、前記製品の画像データに基づく検査をＡＩモデルを用いて実行する検査システムであって、
   前記製品の検査に用いられる一または複数のＡＩモデルの管理に関わる情報を表示する管理情報表示部を有し、
   前記管理情報表示部は、前記ＡＩモデルの仕様に関する仕様情報と、該ＡＩモデルの各種データに対する性能に関する性能情報とを表示可能であり、
   前記性能情報は、前記ＡＩモデルの量産適用前のモデルテストに対する性能と、量産に適用した際の性能とを含むことを特徴とする、検査システム。
2. 前記管理情報表示部は、前記性能情報として、前記ＡＩモデルの量産適用前のモデルテストに対する性能と、量産に適用した際の性能と、量産への適用状況とを、一画面で表示することを特徴とする、請求項１に記載の検査システム。
3. 前記ＡＩモデルの量産適用前のモデルテストは、テストデータに対するモデルテストまたは、ライブラリーデータに対するモデルテストの少なくとも何れかを含むことを特徴とする、請求項１に記載の検査システム。
4. 前記性能は、前記ＡＩモデルを使用しない検査における良品を前記ＡＩモデルが不良品と判定した数に基づく見過ぎ指標と、前記ＡＩモデルを使用しない検査における不良品を前記ＡＩモデルが良品と判定した数に基づく見逃し指標とを含むことを特徴とする、請求項１に記載の検査システム。
5. 前記性能情報は、前記ＡＩモデルの量産適用前のモデルテストおよび量産における各検査画像と、該検査画像についての前記ＡＩモデルによる良否の判定結果と、該検査画像についてのＡＩ出力値とをさらに含むことを特徴とする、請求項１に記載の検査システム。
6. 前記性能情報は、前記ＡＩモデルの、前記検査画像についてのＡＩ出力値のヒストグラムをさらに含むことを特徴とする、請求項５に記載の検査システム。
7. 前記管理情報表示部は、前記性能情報を、前記製品に対する検査項目毎に表示可能とすることを特徴とする、請求項１から６のいずれか一項に記載の検査システム。
8. 前記管理情報表示部は、前記仕様情報及び前記性能情報の表示を、検査対象部品の品番グループ毎の表示と、複数の品番グループについて纏めた表示とで切替可能とすることを特徴とする、請求項１から６のいずれか一項に記載の検査システム。
9. 前記管理情報表示部は、複数の品番グループについて纏めた表示の表示画面において、一の品番グループに適用されているＡＩモデルを、他の品番グループへ適用する処理を実行可能とすることを特徴とする、請求項８に記載の検査システム。
10. 前記仕様情報は、前記ＡＩモデルのネットワーク情報、学習時の学習データの情報、前記ＡＩモデルのロット番号の少なくとも何れかを含むことを特徴とする、請求項１から６のいずれか一項に記載の検査システム。
11. 製品の生産ラインにおいて、前記製品の画像データに基づく検査をＡＩモデルを用いて実行する検査システムのための、ＡＩモデルデータの管理方法であって、
    前記ＡＩモデルデータを、該ＡＩモデルデータの仕様に関する仕様情報と、該ＡＩモデルの各種データに対する性能に関する性能情報と紐づけて管理し、
    前記性能情報は、前記ＡＩモデルの量産適用前のモデルテストに対する性能と、量産に適用した際の性能とを含むことを特徴とする、ＡＩモデルデータの管理方法。
12. 前記ＡＩモデルの量産適用前のモデルテストは、テストデータに対するモデルテストまたは、ライブラリーデータに対するモデルテストの少なくとも何れかを含むことを特徴とする、請求項１１に記載のＡＩモデルデータの管理方法。
13. 前記性能は、前記ＡＩモデルを使用しない検査における良品を前記ＡＩモデルが不良品と判定した数に基づく見過ぎ指標と、前記ＡＩモデルを使用しない検査における不良品を前記ＡＩモデルが良品と判定した数に基づく見逃し指標とを含むことを特徴とする、請求項１１に記載のＡＩモデルデータの管理方法。
14. 前記性能情報は、前記ＡＩモデルの量産適用前のモデルテストおよび量産における各検査画像と、該検査画像についての前記ＡＩモデルによる良否の判定結果と、該検査画像についてのＡＩ出力値とをさらに含むことを特徴とする、請求項１１に記載のＡＩモデルデータの管理方法。
15. 前記仕様情報は、前記ＡＩモデルのネットワーク情報、学習時の学習データの情報、前記ＡＩモデルのロット番号の少なくとも何れかを含むことを特徴とする、請求項１１から１４のいずれか一項に記載のＡＩモデルデータの管理方法。
16. 製品の生産ラインにおいて、前記製品の画像データに基づく検査をＡＩモデルを用いて実行する検査システムのための、一又は複数のＡＩモデルデータを有する、ＡＩモデルデータセットであって、
    前記ＡＩモデルデータと紐づけられた、該ＡＩモデルデータの仕様に関する仕様情報と、該ＡＩモデルの各種データに対する性能に関する性能情報とを含み、
    前記性能情報は、各検査画像と、該検査画像についての前記ＡＩモデルによる良否の判定結果とを含むことを特徴とする、ＡＩモデルデータセット。
17. 前記性能は、前記ＡＩモデルを使用しない検査における良品を前記ＡＩモデルが不良品と判定した数に基づく見過ぎ指標と、前記ＡＩモデルを使用しない検査における不良品を前記ＡＩモデルが良品と判定した数に基づく見逃し指標とを含むことを特徴とする、請求項１６に記載のＡＩモデルデータセット。
18. 前記性能情報は、前記検査画像についてのＡＩ出力値とをさらに含むことを特徴とする、請求項１６に記載のＡＩモデルデータセット。
19. 前記仕様情報は、前記ＡＩモデルのネットワーク情報、学習時の学習データの情報、前記ＡＩモデルのロット番号の少なくとも何れかを含むことを特徴とする、請求項１６から１８のいずれか一項に記載のＡＩモデルデータセット。

Images