JP2021131831A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】検査対象物の検査に用いられる検査モデルを学習するために必要な質の良い学習データを、効率よく収集することを可能にする情報処理装置、情報処理方法及びプログラムを提供する。【解決手段】検査対象物の画像データを取得する画像取得部（３１０）と、検査対象物の検査モデルに画像データを入力することで得られる検査対象物の検査結果を取得する結果取得部（３２０）と、画像データ及び検査結果の少なくともいずれかに検査モデルを関連付け、画像データ、検査結果及び検査モデルを記憶部に記憶させる処理部（３３０）と、を備える、情報処理装置（２０）。【選択図】図２

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

従来、機械学習を用いて生成した学習モデルにより検査対象物の検査を行う技術が知られている。機械学習を行う際には、学習データが用意される。例えば、特許文献１には、検査対象物の画像データと、検査対象物が良品か不良品かを表すラベルと、からなる学習データを作成する技術が記載されている。

特開２０１７−１３４５０８号公報

ここで、作成された学習データに誤り（例えば、ラベルの誤り）が存在すると、学習データに誤りが存在しない場合と比べて、機械学習により生成される学習モデルの性能が悪くなる。このため、学習モデルの生成にあたり、質の良い学習データが必要となる。

また、検査対象物の検査を行うための検査モデルを機械学習により生成するためには、大量の学習データを用意する必要がある。このとき、人が、誤りを含む学習データ（例えば画像）を眼で探して修正したり、誤りのない学習データを選別したりすることで、質の良い学習データを収集することは、非常に煩雑で長い時間のかかる作業となる。このため、効率よく質の良い学習データを収集することが求められる。

特許文献１に記載の技術は、効率よく学習データを作成することを意図した技術であるが、学習データが作成されたあとに効率よく質の良い学習データを収集することを意図した技術ではない。

そこで、本発明は、検査対象物の検査に用いられる検査モデルを学習するために必要な質の良い学習データを、効率よく収集することを可能にする情報処理装置、情報処理方法及びプログラムを提供することを目的とする。

本発明の一態様に係る情報処理装置は、検査対象物の画像データを取得する画像取得部と、検査対象物の検査モデルに画像データを入力することで得られる検査対象物の検査結果を取得する結果取得部と、画像データ及び検査結果の少なくともいずれかに検査モデルを関連付け、画像データ、検査結果及び検査モデルを記憶部に記憶させる処理部と、を備える。

この態様によれば、学習データとして用いられる画像データ及び検査結果の少なくともいずれかが検査モデルに関連付けられているため、ユーザは検査モデルをたどって所望の学習データを収集できる。この結果、検査対象物の検査に用いられる検査モデルを学習するために必要な質の良い学習データを、効率よく収集することが可能になる。

上記態様において、処理部が記憶部に記憶させた画像データ、検査結果及び検査モデルに基づき、新たな検査モデルを生成する学習処理を行う学習部、をさらに備えてもよい。

この態様によれば、効率よく質の良い学習データを用いた学習処理により検査モデルを生成することができる。

上記態様において、検査対象物の検査に関わる情報に基づき、処理部が記憶部に記憶させた画像データ、検査結果及び検査モデルから、学習処理のための学習データを選択し、選択した学習データを取得する学習データ取得部を、さらに備え、学習部は、学習データを用いて学習処理を行ってもよい。

この態様によれば、質の良い学習データをより簡便に取得することが可能になる。

上記態様において、検査結果を修正するユーザによる操作に基づき、検査結果を修正する修正部を、さらに備え、学習部は、修正部により修正された検査結果を含む学習データを用いて学習処理を行うことにより新たな検査モデルを生成し、処理部は、修正された検査結果を、対応する画像データ及び新たな検査モデルに関連付け、修正された検査結果、対応する画像データ及び新たな検査モデルを記憶部に記憶させてもよい。

この態様によれば、学習データを修正することにより、より質の良い学習データを収集することが可能になる。

上記態様において、学習部により生成された新たな検査モデルは、他の情報処理装置と共有されてもよい。

この態様によれば、学習処理により生成された検査モデルが、他の情報処理装置に共有されるようになる。

上記態様において、処理部は、画像データ、検査結果及び検査モデルの少なくともいずれかの信頼性に関わるデータを取得し、取得した信頼性に関わるデータを対応するデータに関連付け、学習部は、信頼性に関わるデータを用いて重みづけられた画像データ、検査結果及び検査モデルの少なくともいずれかに基づいて学習処理を行ってもよい。

この態様によれば、信頼性に応じた重みに基づき学習処理が行われ、より適切な検査モデルが生成されるようになる。

上記態様において、処理部は、複数の検査モデルによる検査に用いられた画像データに対して、複数の検査モデル及び複数の検査モデルの各々に対応する検査結果を関連付けて、複数の検査モデルによる検査に用いられた画像データ、複数の検査モデル及び複数の検査モデルの各々に対応する検査結果を記憶部に記憶させてもよい。

この態様によれば、特定の画像データに対する複数の検査モデルのそれぞれについての検査結果を確認できるようになる。

上記態様において、新たな検査モデルが生成されるに際して、新たな検査モデルの学習履歴を生成する学習履歴生成部を、さらに備えてもよい。

この態様によれば、新たな検査モデルがどのような条件で生成されたのかを確認することができる。

本発明の他の態様に係る情報処理方法は、検査対象物の画像データを取得することと、検査対象物の検査モデルに画像データを入力することで得られる検査対象物の検査結果を取得することと、画像データ及び検査結果の少なくともいずれかに検査モデルを関連付け、画像データ、検査結果及び検査モデルを記憶部に記憶させることと、を含む。

この態様によれば、学習データとして用いられる画像データ及び検査結果の少なくともいずれかが検査モデルに関連付けられているため、ユーザは検査モデルをたどって所望の学習データを収集できる。この結果、検査対象物の検査に用いられる検査モデルを学習するために必要な質の良い学習データを、効率よく収集することが可能になる。

本発明の他の態様に係るプログラムは、コンピュータに、検査対象物の画像データを取得することと、検査対象物の検査モデルに画像データを入力することで得られる検査対象物の検査結果を取得することと、画像データ及び検査結果の少なくともいずれかに検査モデルを関連付け、画像データ、検査結果及び検査モデルを記憶部に記憶させることと、を実行させる。

この態様によれば、学習データとして用いられる画像データ及び検査結果の少なくともいずれかが検査モデルに関連付けられているため、ユーザは検査モデルをたどって所望の学習データを収集できる。この結果、検査対象物の検査に用いられる検査モデルを学習するために必要な質の良い学習データを、効率よく収集することが可能になる。

本発明によれば、検査対象物の検査に用いられる検査モデルを学習するために必要な質の良い学習データを、効率よく収集することを可能にする情報処理装置、情報処理方法及びプログラムを提供することができる。

第１実施形態に係る情報処理システムの構成の一例を示す図である。 本発明の一実施形態に係る情報処理装置の構成の一例を示す図である。 画像データに関連付けられるデータの一例を示す図である。 工場Ａ及び工場Ｂに配置されている検査ラインにおいて用いられる検査モデルの変遷を示す図である。 クラウドＣの記憶部に記憶されているデータの一例を示す図である。 本実施形態に係る情報処理装置及び通信端末の物理的構成を示す図である。 第１実施形態に係る処理の概略を示すフローチャートである。 第１改善処理を示すフローチャートである。 シリアル番号171030M_0001の画像データに関して、Ｎｏ４−１及び５の検査モデルによる検査結果を記録した検査履歴である。 Ｂ工場のラインＢにおいて採用された検査モデルの履歴データである。 第２改善処理を示すフローチャートである。 クラウドの記憶部に記憶されているデータの一例を示す図である。 検査モデルと当該検査モデルの学習に用いられた画像データとを関連付けたデータの一例を示す図である。 第２実施形態に係る情報処理装置の処理を示すフローチャートである。

添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。また、アルファベットを符号に付したものは、特に区別がないときはアルファベットを省略する。例えば、情報処理装置２０ａ及び２０ｂを区別しないときは、単に情報処理装置２０と記載する。

［第１実施形態］
図１は、第１実施形態に係る情報処理システムの構成を示す図である。第１実施形態では、２つの工場Ａ及びＢにおいて、製品が生産されているものとする。それぞれの工場には生産された製品（「検査対象物」又は「ワーク」ともいう。）を検査するための検査ラインが複数配置されている。生産された製品は、その画像に基づき検査ラインにおいて検査される。検査結果及び画像データなどの検査に関わるデータがクラウドＣに集約されているものとする。なお、検査結果及び画像データなどの検査に関わるデータが保存される場所は、クラウドに限定されるものではない。また、図１には、２つの工場が示されているが、工場の数は１つであってもよいし、３つ以上であってもよい。

図１には、撮像部１０、情報処理装置２０、通信端末３０及び記憶部４０が示されている。２つの工場Ａ及びＢのそれぞれには、撮像部１０及び情報処理装置２０を含む情報処理システムが複数配置されている。本実施形態では、情報処理システムは、検査ライン毎に１つずつ配置されている。なお、１つの検査ラインにつき、複数の情報処理システムが配置されていてもよい。また、工場毎に配置される情報処理システムの数は１つであってもよい。

なお、情報処理システムに含まれる撮像部１０及び情報処理装置２０は、一体となっている装置であってもよい。このような一体となっている装置は、一般的にスマートカメラとも呼ばれる。

各工場に配置された情報処理装置２０は、ネットワーク５０を介して、クラウドＣの記憶部４０に、通信可能に接続されている。また、ユーザにより用いられる通信端末３０は、ネットワーク５０を介して、情報処理装置２０及び記憶部４０に、通信可能に接続されている。

ネットワーク５０は、各種の態様を取り得る。ネットワーク５０は、例えば専用回線を通して相互に接続するデータ伝送ネットワーク（ＷＡＮ）やローカル・エリア・ネットワーク（ＬＡＮ）である。ここでは公共ネットワークの代表であるインターネットを例示するものとする。

撮像部１０は、各種の公知のカメラを備えている。撮像部１０は、工場で生産されている製品を検査するために、製品を撮影して画像データを取得する。撮像部１０は、取得した画像データを情報処理装置２０に送信する。

情報処理装置２０は、検査対象物の画像データを用いて検査を行い、画像データなどのデータをクラウドＣの記憶部４０に送信する。また、情報処理装置２０は、クラウドＣの記憶部４０から必要な学習データを取得し、学習処理を行うことにより新たな検査モデルを生成することができる。さらに、情報処理装置２０は、生成した検査モデルを他の情報処理装置２０と共有することもできる。

情報処理装置２０は、図示しない入力部及び表示部を含む。入力部は、ユーザからデータを入力する操作を受け付けるものであり、例えば、マウス、キーボード及びタッチパネルを含んでよい。入力部は、受け付けた操作に基づき、情報処理装置２０が備える各種の機能部に、各種の処理を行わせる。表示部は、各種の情報を視覚的に出力する。例えば、表示部は、視覚的に表示するものであってよく、具体的には、ＬＣＤ（Liquid Crystal Display）により構成されてよい。

図２を参照して、情報処理装置２０の機能をより詳細に説明する。図２に示すように、本実施形態に係る情報処理装置２０は、画像取得部３１０、結果取得部３２０、処理部３３０、通信部３４０、検索部３５０、学習データ取得部３６０、修正部３７０、学習部３８０及び記憶部３９０を備える。

画像取得部３１０は、画像データを撮像部１０から取得し、結果取得部３２０に伝達する。

結果取得部３２０は、検査対象物の検査モデルに画像データを入力することで得られる検査対象物の検査結果を取得する。ここで、検査モデルは、画像データを入力、検査結果を出力とするモデルである。検査モデルは、学習処理により生成された学習済みモデルであってもよいし、学習処理によらず例えばユーザにより設定されたパラメータで構成されたモデルであってもよい。具体的には、結果取得部３２０は、検査モデルに画像データを入力し、検査対象物の検査結果を取得する。検査結果は、例えば、検査対象物に異常（例えば、欠陥）があるかないかなどを表すものである。以下では、検査対象物に異常がない場合をＯＫ、異常がある場合をＮＧと表現する場合がある。結果取得部３２０は、取得した検査結果を、検査に用いた検査モデル及び画像データとともに処理部３３０に伝達する。

処理部３３０は、画像データ及び検査結果の少なくともいずれかに検査モデルを関連付ける。本実施形態では、検査対象物である製品にはシリアル番号が付与されている。処理部３３０は、画像データに、製品のシリアル番号を関連付ける。さらに、処理部３３０は、個々の画像データに、対応する検査結果及び検査モデルを関連付ける。本実施形態では、ユーザは、情報処理装置２０の入力部を操作することにより、事前に処理部３３０が各種のデータを関連付けるよう、処理部３３０に設定を行うことができる。当該設定に基づき、処理部３３０は、画像データに対して各種のデータ（検査結果及び検査モデルなどのデータ）を関連付ける。

図３は、画像データに関連付けられるデータの一例を示す図である。図３に示すように、画像データには、センサ形式、センサのシリアル番号、ソフトウェアバージョン、検査対象物の名称、検査対象物の番号、検査工場の名称、検査ラインの名称、検査責任者、シーングループ名、シーン名、検査結果及びリザーブなどの各種のデータが関連付けられる。ここで、データの入力方法に記載の「データ参照」は、所定のデータを処理部３３０が参照して画像データに関連付けるものである。「自動データ参照」は、自動的に所定のデータを処理部３３０が参照して画像データに関連付けるものである。さらに、「ユーザの自由入力」は、ユーザが情報処理装置２０の入力部を操作することにより、画像データに当該操作に基づく情報を関連付けるものである。

図３に示したデータ以外にも、検出された欠陥の種類、検出された欠陥の個数、検出された欠陥の重心座標、シャッタースピード、ゲイン、ラインのタクト、画像処理時間、タイムスタンプ、視野、設置距離、照明種類、周囲温度、周囲湿度及びフリーコメントなどのデータが画像データに関連付けられてもよい。

図２に戻って情報処理装置２０の各機能部について説明する。処理部３３０は、画像データ、検査結果及び検査モデルを、検査結果及び検査モデルが画像データに関連付けられた状態で、通信部３４０を介してクラウドＣの記憶部４０に記憶させる。なお、画像データ、検査結果および検査モデルは、互いに関連付けられていない状態でクラウドＣの記憶部４０に記憶されてもよい。

また、処理部３３０は、画像データ、検査結果及び検査モデルの少なくともいずれかの信頼性に関わるデータを取得し、取得した信頼性に関わるデータを対応するデータに関連付ける。具体的には、処理部３３０は、ユーザによる入力部への入力に基づき、画像データ、検査結果及び検査モデルの少なくともいずれかの信頼性に関わるデータを取得する。また、処理部３３０は、信頼性に関わるデータを対応するデータに関連付け、信頼性を定義する定義ファイルとして通信部３４０に伝達する。通信部３４０に伝達された定義ファイルは、ネットワーク５０を介してクラウドＣの記憶部４０に送信される。

通信部３４０は、各種の情報を送受信する。通信部３４０は、例えば、処理部３３０により関連付けられた画像データ、検査結果及び検査モデルを、ネットワーク５０を介して、クラウドＣの記憶部４０に送信する。これにより、画像データ、検査結果及び検査モデルが、画像データに検査結果及び検査モデルが関連付けられた状態で、記憶部４０に記憶される。

検索部３５０は、ユーザによる入力部への操作に基づき、クラウドＣの記憶部４０から各種の情報を検索する。例えば、検索部３５０は、ユーザによる検索キーワードを入力する入力部への操作に基づき、当該検索キーワードに合致するデータをクラウドＣの記憶部４０から検索する。

例えば、ユーザが特定の検査モデルを検索キーワードとして入力する操作を行った場合、検索部３５０は、例えば、当該特定の検査モデルと関連付けられた画像データを検索し、検索した画像データを取得する。上述のように、本実施形態では、画像データには検査モデルが関連付けられている。このため、ユーザは、検査モデルを検索キーワードとして検索を行うことにより、検査モデルに関連付けられた画像データを検索することができる。

検索部３５０は、取得した画像データを、必要に応じて学習データとして学習データ取得部３６０に伝達する。なお、検索部３５０は、検索キーワードとして、シリアル番号、検索が行われた日付及び検査ライン名などの各種の検査に関わる情報（以下、「検査情報」とも称する。）を用いることができる。

学習データ取得部３６０は、検査対象物の検査情報に基づき、処理部３３０が記憶部４０に記憶させた画像データ、検査結果及び検査モデルから、学習処理のための学習データを選択し、選択した学習データを取得する。本実施形態では、学習データ取得部３６０は、検索部３５０が検索した画像データ及び検査結果などの学習データを取得する。学習データ取得部３６０は、取得した学習データを修正部３７０又は学習部３８０に伝達する。

修正部３７０は、ユーザによる入力部への操作に基づき、学習データに含まれる各種のデータ（画像データ及び検査結果など）を修正又は削除する。例えば、修正部３７０は、ユーザによる操作に基づき、検査結果を修正する。本実施形態では、修正部３７０は、学習データ取得部３６０により取得された学習データに含まれる、ユーザによる操作に基づき特定される検査結果を修正する。修正部３７０は、修正された検査結果を含む学習データを学習部３８０に伝達する。

学習部３８０は、処理部３３０が記憶部４０に記憶させた画像データ、検査結果及び検査モデルに基づき、新たな検査モデルを生成する学習処理を行う。具体的には、学習部３８０は、画像データ（入力データ）と検査結果（ＮＧ／ＯＫなどのラベル）とを学習データとして、ニューラルネットワークの学習処理を行うことで、新たな検査モデルを生成する。本実施形態では、学習データ取得部３６０により取得された学習データ又は修正部３７０により修正された学習データに基づき学習処理を行う。

また、学習部３８０は、学習処理により生成した新たな検査モデルを記憶部３９０又は通信部３４０に伝達する。新たな検査モデルが記憶部３９０に伝達されると、結果取得部３２０は、新たな検査モデルにより検査対象物の検査を行うことができるようになる。また、新たな検査モデルが通信部３４０に伝達されると、通信部３４０は新たな検査モデルを他の情報処理装置２０に送信し、新たな検査モデルが他の情報処理装置２０に共有される。

さらに、学習部３８０は、学習に用いた画像データと新たな検査モデルを処理部３３０に伝達する。処理部３３０は、新たな検査モデルに学習に用いられた画像データを関連付けた学習履歴を生成する。このように、本実施形態では、処理部３３０は、学習履歴生成部としての機能を有する。処理部３３０は、生成した学習履歴を、通信部３４０を介して、クラウドＣの記憶部４０に記憶させる。

記憶部３９０は、各種の情報を記憶する。記憶部３９０は、例えば、結果取得部３２０が検査に用いる検査モデル及び学習部３８０が生成した新たな学習モデルを記憶する。記憶部３９０が記憶している各種の情報は、結果取得部３２０及び学習部３８０により必要に応じて参照される。

以上、本実施形態に係る情報処理装置２０の機能について説明した。ここで、上述した工場において用いられている検査モデルについて補足する。図４は、工場Ａ及び工場Ｂに配置されている検査ラインにおいて用いられる検査モデルの変遷を示す図である。工場Ａ及び工場Ｂにおいて配置されている検査ラインでは、製品を検査するための検査モデルが用いられている。この検査モデルは、必要に応じて新たな検査モデルに置き換えられることがあるものとする。図４では、２０１６年、２０１７年及び２０１９年において各検査ラインで用いられている検査モデルの番号を示している。

例えば、工場Ａに配置されている旧ラインＡには、２０１６年から２０１９年にわたって、変わらずＮｏ１の検査モデルが用いられている。また、工場Ａにおいて２０１７年に新たに配置された新ラインＢには、２０１７年から２０１９年にわたって、変わらずＮｏ２の検査モデルが用いられている。

一方、工場Ｂに配置されている旧ラインＡには、２０１６年及び２０１７年にはＮｏ３の検査モデルが用いられているが、２０１９年には、旧ラインＡの検査モデルは、工場Ａの旧ラインＡに用いられている検査モデルと同じＮｏ１の検査モデルに置き換えられている。

工場Ｂでは、２０１７年において新ラインＣが増設される。この増設に伴い、新ラインＢに用いられていたＮｏ４の検査モデルが、２０１７年にはＮｏ４−１の検査モデルに置き換えられている。このとき、新ラインＣの検査モデルにも、Ｎｏ４−１の検査モデルが用いられる。その後、２０１９年には、新ラインＢ及びＣの検査モデルは、工場Ａの新ラインＢに用いられている検査モデルと同じＮｏ２の検査モデルに置き換えられている。これらの検査ラインにおいて取得された画像データ、検査結果及び検査モデルなどの各種の情報がクラウドＣの記憶部４０に集約されているものとする。

図５は、クラウドＣの記憶部４０に記憶されているデータの一例を示す図である。図５には、左から順に、画像データのファイル名、検査ライン名、検査モデル、製品のシリアル番号、検査結果及びタイムスタンプが示されている。このように、本実施形態では、画像データ及び検査結果に検査モデルが関連付けて記憶されている。図５に示す検査ライン名及び検査モデルは、図４に示したライン名（Ａ、Ｂ又はＣ）及び検査モデルのＮｏに対応しているものとする。検査結果は、検査対象物に欠陥等がない場合にはＯＫ、検査対象物に欠陥等がある場合にはＮＧである。また、タイムスタンプは、左から２桁おきに、検査が行われたタイミングにおける時間、分および秒を表している。例えば、０９０１００は、９時１分０秒を表している。なお、タイムスタンプは、年、月及び日を表す情報を含んでよい。

通信端末３０は、ユーザによる操作に基づき、各種の処理を行う。例えば、通信端末３０は、ユーザによる操作に基づき、ネットワーク５０を介して、各種の情報をクラウドＣの記憶部４０に送信することができる。また、通信端末３０は、ユーザによる操作に基づき、ネットワーク５０を介して、クラウドＣの記憶部４０から各種の情報を受信することもできる。

図６は、本実施形態に係る情報処理装置２０及び通信端末３０の物理的構成を示す図である。情報処理装置２０及び通信端末３０は、演算部に相当するＣＰＵ（Central Processing Unit）９０と、記憶部に相当するＲＡＭ（Random Access Memory）９１と、記憶部に相当するＲＯＭ（Read only Memory）９２と、通信部９３と、入力部９４と、表示部９５と、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本実施形態では情報処理装置２０が一台のコンピュータで構成される場合について説明するが、情報処理装置２０は、複数のコンピュータが組み合わされて実現されてもよい。また、図６で示す構成は一例であり、情報処理装置２０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。

ＣＰＵ９０は、ＲＡＭ９１又はＲＯＭ９２に記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ９０は、図２を参照して説明した各機能部の処理を実現するためのプログラムを実行する。具体的には、ＣＰＵ９０は、画像データに基づいて、対象物の検査を行うプログラム（画像検査プログラム）を実行したり、各種のデータを関連付けるプログラムを実行したり、学習データに基づく学習処理により検査モデルを生成するプログラム（モデル生成プログラム）を実行したりする。また、ＣＰＵ９０は、入力部９４や通信部９３から種々のデータを受け取り、データの演算結果を表示部９５に表示したり、ＲＡＭ９１に格納したりする。

ＲＡＭ９１は、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ９１は、ＣＰＵ９０が実行するプログラム、対象物の画像といったデータを記憶してよい。なお、これらは例示であって、ＲＡＭ９１には、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。

ＲＯＭ９２は、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ９２は、例えば画像検査プログラム、モデル生成プログラム及び書き換えが行われないデータを記憶してよい。

通信部９３は、情報処理装置２０又は通信端末３０を他の機器に接続するインターフェースである。通信部９３は、インターネット等の通信ネットワークに接続されてよい。

画像検査プログラム及びモデル生成プログラムは、ＲＡＭ９１やＲＯＭ９２等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部９３により接続される通信ネットワークを介して提供されてもよい。情報処理装置２０では、ＣＰＵ９０がプログラムを実行することにより、図２を用いて説明した様々な動作が実現される。具体的には、ＣＰＵ９０は、図２に示した画像取得部３１０、結果取得部３２０、処理部３３０、検索部３５０、学習データ取得部３６０、修正部３７０及び学習部３８０の動作を実現する。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、情報処理装置２０は、ＣＰＵ９０とＲＡＭ９１やＲＯＭ９２が一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。

なお、クラウドＣの記憶部４０は、各種の公知の記憶媒体により構成されている。

次いで、図７のフローチャートを参照して、本実施形態に係る情報処理システムを用いた処理について説明する。図７に示す処理が開始される状況は、各種の状況が想定される。例えば、工場で生産された製品が市場において不具合を起こした状況があり得る。また、工場の検査において特定の製品がＮＧと判定されたにもかかわらず、当該製品が再検査においてＯＫと判定された場合もある。さらに、工場の検査において特定の製品がＯＫと判定されたにもかかわらず再検査において当該製品がＮＧと判定された状況も考えられる。ここでは、工場で生産された製品が市場において不具合を起こした場合を想定して説明する。

ここでは、図５に示した、四角で囲まれたシリアル番号171030M_0001に対応する製品が市場で不具合を発生しているものとする。図５に示すように、シリアル番号171030M_0001について、Ｎｏ４−１の検査モデルを用いた検査結果はＯＫとなっている。しかしながら、実際には、シリアル番号171030M_0001の製品は不良品であり、正しい検査結果はＮＧであったものとする。従って、検査モデルが誤った検査を行っている。

以下では、工場における製品の生産あるいは検査に関わる人物（ライン責任者、品質責任者、検査員及びエンジニア）が、情報処理装置２０あるいは所有する通信端末３０を用いて、各種の処理を行うものとして説明する。

まず、工場の品質責任者が、不良品のシリアル番号を特定する（ステップＳ１０１）。ここでは、品質責任者が、シリアル番号171030M_0001を特定する。

次いで、品質責任者は、不良品の画像データを特定する（ステップＳ１０３）。具体的には、品質責任者は、例えば通信端末３０の検索ソフトを用いて、特定されたシリアル番号171030M_0001により検索を行い、クラウドＣの記憶部４０から不良品の画像データを特定する。

次いで、特定された画像データに異常があるか否かが判定される（ステップＳ１０５）。例えば、検査員が目視によって特定された画像データの異常を判定してもよい。さらに、検査員は、特定された画像データを用いて再検査をしてもよい。

特定された画像データに異常がないと判定された場合（ステップＳ１０５：ＮＯ）、第１改善処理が行われる（ステップＳ１０７）。一方、画像データに異常があると判定された場合（ステップＳ１０５：ＹＥＳ）、第２改善処理が行われる（ステップＳ１０９）。

第１改善処理又は第２改善処理が終了すると、図７に示す処理は終了する。

図８を参照して、第１改善処理について説明する。第１改善処理が行われる場合には、ステップＳ１０５において、特定された画像データに異常がないと判定されている。このため、誤った検査を行った検査モデルに異常があると考えられる。第１改善処理では、学習処理により新たな検査モデルを生成し、この不適切な検査モデルを新たな検査モデルに置き換える処理が行われる。

まず、検査員が、不適切な検査モデルを特定する（ステップＳ２０１）。具体的には、ステップＳ１０３において特定された画像データに基づき、記憶部４０において当該画像データに関連付けられている検査モデルを、通信端末３０の検索ソフトを用いて検索して、不適切な検査モデルとして特定する。ここでは、Ｎｏ４−１の検査モデルが不適切な検査モデルとして特定されるものとする。

次いで、検査員が、不適切な検査モデルが検査した検査対象物の画像データを選別する（ステップＳ２０３）。ここでは、Ｎｏ４−１の検査モデルにより検査されたシリアル番号（171030M_0001, 171030M_0524, 191029M_0001, 191029M_0494）の画像データが選別される。

次いで、検査員が、不適切な検査モデルが検査した検査対象物を再検査する（ステップＳ２０５）。具体的には、検査員が、検査対象物の画像データを目視で再検査する。この結果、シリアル番号171030M_0001及び171030M_0524がＮＧであると判定されるものとする。

次いで、検査員は、不適切な検査モデルの後継の検査モデルがないことを確認する（ステップＳ２０７）。後継の検査モデルがある場合（ステップＳ２０７：ＮＯ）、ステップＳ２０９に進む。一方、後継の検査モデルがない場合（ステップＳ２０７：ＹＥＳ）、ステップＳ２１３に進む。以下では、主として、後継の検査モデルがないことが確認された場合について説明するが、まず、後継の検査モデルがあることが確認された場合の処理（ステップＳ２０９及びＳ２１１）について説明する。

ステップＳ２０７において後継の検査モデルがあることが確認されると、検査員は、後継の検査モデルの確からしさを確認する（ステップＳ２０９）。ステップＳ２０７において、例えば、Ｎｏ４−１の検査モデルの後継としてＮｏ２の検査モデルがあることが確認されている場合には、検査員は、Ｎｏ２の検査モデルを用いて、不具合品（シリアル番号171030M_0001, 171030M_0524）の検査を行う。例えば、検査員は、処理部３３０に不具合品の画像データ及びＮｏ２の検査モデルを入力し、再検査を行わせることによりＮｏ２の検査モデルの確からしさを確認する。

次いで、検査員は、後継の検査モデルが適切か否かを判定する（ステップＳ２１１）。例えば、Ｎｏ２の検査モデルが、いずれの不具合品もＮＧであると判定した場合には、Ｎｏ２の検査モデルが適切であると判定する。一方、検査員は、Ｎｏ２の検査モデルがいずれかの不具合品がＯＫであると判定した場合には、Ｎｏ２の検査モデルが不適切であると判定する。後継の検査モデルが適切と判定された場合（ステップＳ２１１：ＹＥＳ）、ステップＳ２２３に進む。一方、後継の検査モデルが不適切と判定された場合（ステップＳ２１１：ＮＯ）、ステップ２０３に戻る。

次いで、ステップＳ２０７において後継の検査モデルが確認されなかった場合の処理を説明する。この場合、検査員は、情報処理装置２０に、学習データを取得させる（ステップＳ２１３）。具体的には、情報処理装置２０の検索部３５０は、検査員により入力された検査情報に基づき、処理部３３０がクラウドＣの記憶部４０に記憶させた画像データ、検査結果及び検査モデルから、学習処理のための学習データを選択し、選択した学習データを取得する。例えば、検索部３５０は、検査員による操作に基づき入力された検査情報（例えば、検査モデル、検査が行われた時刻または検査ラインなど）を検索キーワードとして、記憶部４０から学習データを取得する。検査情報は、学習データとなる画像データ及び検査結果と関連付けられているため、学習データ取得部３６０は、検索情報により学習データを取得することができる。検索部３５０により取得された学習データは、学習データ取得部３６０に伝達される。

次いで、検査員は、情報処理装置２０に、検査結果を修正させる（ステップＳ２１５）。具体的には、検査員は、検査結果を修正する操作を行うことにより、情報処理装置２０の修正部３７０に、学習データに含まれる誤った検査結果を修正させる。例えば、修正部３７０は、検査員による操作に基づき、誤った検査結果を検査員が判断した結果に修正する。

次いで、エンジニアが、情報処理装置２０に、学習処理により新たな検査モデルを生成させる（ステップＳ２１７）。具体的には、情報処理装置２０の学習部３８０が、ステップＳ２１３において修正された検査結果を含む学習データを用いて学習処理を行い、新たな検査モデルを、Ｎｏ５の検査モデルとして生成する。このとき、学習部３８０は、新たな検査モデルの学習履歴を生成する。生成された学習履歴は、通信部３４０を介して送信され、クラウドＣの記憶部４０に記憶される。

次いで、エンジニアが、学習部３８０により生成された新たな検査モデルに基づき、情報処理装置２０に誤った検査が行われた画像データの再検査を行わせる（ステップＳ２１９）。ここでは、新たな検査モデルが結果取得部３２０に伝達され、結果取得部３２０が新たな検査モデルを用いて、誤った検査が行われた画像データの再検査を行う。

次いで、エンジニアが、再検査の結果に基づき、新たな検査モデルが適切か否かを判定する（ステップＳ２２１）。例えば、再検査の結果が誤っている場合には、新たな検査モデルが適切でないと判定され、ステップＳ２１３に戻る。一方、再検査の結果が正しい場合には、新たな検査モデルが適切であると判定され、ステップＳ２２３に進む。

次いで、ライン責任者が、検査ライン毎に検査モデルの適応を判断する（ステップＳ２２３）。例えば、ステップＳ２２１において新たな検査モデルが適切であることが確認されている場合には、ライン責任者は、新たな検査モデルの適応を判断する。また、ステップＳ２１１において適切な後継の検査モデルが確認されている場合には、ライン責任者は、後継の検査モデルの適応を判断する。

次いで、ライン責任者は、新たな検査モデル又は後継の検査モデルを、検査ライン毎の情報処理装置２０に適応する（ステップＳ２２５）。より具体的には、ライン責任者は、ステップＳ２２３において適応すると判断された検査モデルを、各検査ラインに対応する情報処理装置２０の処理部３３０に取得させる。ここで、新たな検査モデルを生成した情報処理装置２０と異なる他の情報処理装置２０に新たな検査モデルが適応される場合には、新たな検査モデルを生成した情報処理装置２０が、通信部３４０により新たな検査モデルを他の情報処理装置２０に送信する。これにより、他の情報処理装置２０に新たな検査モデルが適応（共有）される。

次いで、ライン責任者は、記憶部４０に記憶されている各種のデータを更新する（ステップＳ２２７）。例えば、ライン責任者は、情報処理装置２０あるいは通信端末３０を用いて、クラウドＣに記憶されている各種のデータを更新する。図９及び図１０には、更新されたデータの一例を示している。

図９は、シリアル番号171030M_0001の画像データに関して、Ｎｏ４−１及び５の検査モデルによる検査結果を記録した検査履歴である。検査履歴には、学習処理により生成されたＮｏ５の新たな検査モデルによる検査結果が、Ｎｏ４の検査モデルによる検査結果に加えて新たに記録されている。なお、図９には、２つの検査モデルによる検査結果が記録されているが、検査履歴には３つ以上の検査モデルによる検査結果が記録されていてもよい。

図１０は、Ｂ工場のラインＢにおいて採用された検査モデルの履歴データである。図１０に示すように、検査モデルのＮｏは、古い方から順番に、４、４−１及び５と変化している。

以上、図８に示した第１改善処理（ステップＳ１０７）について説明した。次いで、図１０を参照して、図１１に示した第２改善処理（ステップＳ１０９）について説明する。

図１２は、図１１における処理を行うにあたって、クラウドＣの記憶部４０に記憶されているデータを示す図である。ここでは、実線の四角で囲われたシリアル番号171030M_0001に対応する画像データが異常のある画像データであり、この画像データがステップＳ１０５において異常があると判定されているものとする。

まず、品質責任者が、異常のある画像データが取得された検査ライン及びタイムスタンプを特定する（ステップＳ３０１）。具体的には、品質管理者は、例えば通信端末３０を用いて、特定されている画像データのシリアル番号を検索キーワードとして、記憶部４０において当該シリアル番号に関連付けられて記憶されている検査ライン及びタイムスタンプを特定する。

次いで、品質責任者は、特定したタイムスタンプの前後において特定した検査ラインで取得された画像データを取得する（ステップＳ３０３）。具体的には、品質管理者は、通信端末３０に、特定した検査ライン（ラインＢ）について、特定したタイムスタンプの近傍のタイムスタンプにおいて取得された画像データを取得させる。

次いで、検査員は、ステップＳ３０５において取得された画像データに異常がないか判定する（ステップＳ３０５）。例えば、検査員は、取得された画像データに異常がないかを目視により確認する。画像データに異常がないと判定された場合（ステップＳ３０５：ＮＯ）、ステップＳ３０３に戻る。画像データに異常がないと判定された場合（ステップＳ３０５：ＹＥＳ）、ステップＳ３０７に進む。

ステップＳ３０５においてＹＥＳと判定されると、異常のある画像データが特定される（ステップＳ３０７）。ここでは、シリアル番号171030M_0001の画像データのみが異常のある画像データとして特定されるものとする。

次いで、検査員は、異常のある画像データを用いた学習処理により生成された検査モデルを特定する（ステップＳ３０９）。具体的には、検査員は、特定された異常のある画像データのシリアル番号を用いて、記憶部４０から異常のある画像データを用いた学習処理により生成された検査モデルを特定する。このとき、検査員は、記憶部４０に記憶されている検査モデルと当該検査モデルの学習に用いられた画像データとを関連付けたデータに基づき、通信端末３０に所望の検査モデルを検索して特定させる。

図１３は、検査モデルと当該検査モデルの学習に用いられた画像データとを関連付けたデータの一例を示す図である。図１３に示す例は、Ｎｏ４−１の検査モデルに関連付けられた画像データのファイル名が示されている。図１３は、シリアル番号161029M_0001から161029M_0494の計４９４個の画像データが検査モデルに関連付けられていることを示している。通信端末３０は、このようなデータを参照し、学習に用いられた画像データにシリアル番号171030M_0001の画像データを含む検査モデルを検索する。

次いで、ステップＳ３１１の処理が行われるが、ステップＳ３１１の処理は、図８を参照して説明したステップＳ２１３の処理と実質的に同一であるため、ここでは説明を省略する。

次いで、検査員は、情報処理装置２０に、学習データを修正させる（ステップＳ３１３）。例えば、検査員は、検査結果を修正する操作を行うことにより、情報処理装置２０の修正部３７０に、学習データに含まれる誤った検査結果を修正させる。具体的には、修正部３７０は、検査員による操作に基づき、誤った検査結果を検査員が判断した結果に修正する。また、検査員は、学習の際に不都合となる画像データ及び検査結果を学習データから削除するように、学習データを修正することもできる。

次いで、ステップＳ３１５からＳ３２５の処理が行われるが、ステップＳ３１５からＳ３２５の処理は、図８を参照して説明したステップＳ２１７からＳ２２７の処理に実質的に含まれるため、ここでは説明を省略する。なお、図１１に示すステップＳ３２１からＳ３２５の処理では、図８を参照して説明したステップＳ２２３からＳ２２７における後継の検査モデルに係る処理は行われないものとする。

以上、本実施形態に係る情報処理システムの処理について説明した。

従来、ストレージ容量等の問題はあるものの、画像データ又は検査結果などのデータを全てロギングする要望が高まっている。クラウドは、ロギングしたデータの保存先として有力な候補となっている。ここで、各生産拠点のロギングした結果をクラウドに保存することが想定される。しかしながら、一般的には、生産拠点、検査ライン及び採用されているセンサ毎に、保存したデータのファイル命名方法又は保存したデータと検査に関わる情報との紐付けは統一されていない。

市場に発生した製品の不具合へ対応するケースでは、クラウドに保存したデータから所望のデータを取得することが必要とされる。必要なデータをクラウドから選別して入手する場合に、記録方法が統一されていないと、時間をかけて各生産拠点の担当者間を繋がなければ必要なデータを取得できず、非常に時間がかかる場合がある。その結果、初動の遅れによる回収対象（不良品）の増大、対策の遅延による生産再開遅れ、又は他の生産拠点での同様の不具合品の追加流出など、企業として大きな損失を発生させるリスクがある。

本実施形態によれば、処理部３３０が、画像データ及び検査結果の少なくともいずれかに検査モデルを関連付け、画像データ、検査結果及び検査モデルを記憶部４０に記憶させる。これにより、ユーザは検査モデルをたどって所望の学習データを収集できる。この結果、検査対象物の検査に用いられる検査モデルを学習するために必要な質の良い学習データを、効率よく収集することが可能になる。従来では、過去の膨大な記録を担当者が解析する必要があったが、本実施形態によれば、学習データを取得するため工数が減り、その結果、学習データを取得するためにかかる期間が短縮される。この結果、様々なリスクが低減される。

本実施形態によれば、情報処理装置２０による処理により学習データが取得されるため、ヒューマンエラーによる抜け漏れが防止され、ヒューマンエラーのリスクを低減することができる。さらに、本実施形態によれば、機械学習による検査モデルの生成がスムーズに行われるため、早期に検査の品質を向上させることができる。

また、学習処理により検査モデルを生成するためには、画像データと正常／異常といったラベルの紐づけが必要である。製造現場で収集された膨大なデータを用いて学習処理を行う場合、学習に有効なデータを抽出したり、機械学習できるような形にデータを加工したりするには膨大な工数が必要となる。例えば、画像センサによる製品の検査が行われる場合には、製品の検査において撮影された画像に対して、正常／異常といったラベル付けをする必要がある。また、異常のある製品に対しては、画像のどこが異常であるかを示す必要がある。しかしながら、保存された検査対象物の画像データが正常な製品又は異常な製品のいずれかが分からない場合には、別途画像を確認する必要が生じる。

本実施形態では、画像データと検査結果が関連付けられた状態で記憶部４０に記憶されているため、ユーザは、画像データとともに正常／異常の検査結果も併せて取得できる。この結果、別途画像を確認する手間が削減される。

また、従来では、特定のシリアル番号が付与された製品が市場で不良と発覚した場合に、当該製品が工場のどの検査ラインの検査モデルにより検査されたのかを調査する必要がある。しかしながら、画像データだけでは、不良品が検査された検査ライン及び検査モデルは、不良品を生産した工場の責任者が調査しなければわからない場合がある。本実施形態では、クラウドに保存されている画像データに検査モデルが関連付けられているので、問題のある検査モデルを迅速にトレースできる。

また、不良品の影響範囲を調査するために、特定の検査モデルで検査した検査対象物の画像データを特定する必要がある場合がある。本実施形態では、各検査ラインで使用された検査モデルと画像データとを関連付けられてクラウドＣの記憶部４０に記憶されているため、特定の検査モデルで検査した画像データを検索して抽出することができる。このため、検査モデルを更新するために必要な学習用の画像データを、クラウドに保存された膨大なデータから迅速に選別することができる。

［第２実施形態］
第２実施形態では第１実施形態と共通の事柄についての記述を省略し、異なる点についてのみ説明する。

第２実施形態における処理について、図１４のフローチャートを参照して説明する。図１４に示す処理は、例えば、工場において新規の検査ラインが立ち上げられた際に開始される。

まず、生産責任者は、定義ファイルを用いて、各種項目の信頼性を定義する（ステップＳ４０１）。より具体的には、生産責任者は、情報処理装置２０あるいは通信端末３０を用いて、クラウドＣの記憶部４０に記憶されている各種項目の信頼性を定義する定義ファイルを記憶部４０に記憶させる。各種項目の信頼性には、例えば、画像データの信頼性、検査モデルの信頼性、検査ラインの生産物の信頼性及び検査結果の信頼性などが含まれる。

各種の項目の定義ファイルの内容は、例えば、百分率で表された信頼性と、当該信頼性が更新された年月日とを対応付けたものであってよい。また、各種項目の定義ファイルの名前は、各種項目に関する情報であって良い。例えば、画像データの信頼性を定義する定義ファイルの名前は、例えば、「171030M_0001_画像_信頼性」などの名前を含んでよい。また、検査モデルの定義ファイルの名前には、例えば、「Ｎｏ４−１の検査モデル」が含まれていてよく、生産ラインで生産された製品の信頼性を定義する定義ファイルの名前には、「Ａ工場のラインＢ」などが含まれていてよい。このように、各種の項目と信頼性とが関連付けられて、クラウドＣの記憶部４０に記憶される。

定義ファイルが記憶部４０に記憶された後、定義ファイルの更新時期が到来するとステップＳ４０３に進み、生産責任者は、定義ファイルを用いて、各種項目の信頼性を更新する（ステップＳ４０３）。具体的には、生産責任者は、通信端末３０を用いて、各種項目について信頼性を更新した新たな定義ファイルを、クラウドＣの記憶部４０に記憶させる。

次いで、エンジニアは、情報処理装置２０に学習データ及び信頼性を取得させる（ステップＳ４０５）。具体的には、検索部３５０が、エンジニアによる操作に基づき、記憶部４０から学習データ及び信頼性を取得し、学習データ及び信頼性を学習部３８０に伝達する。

エンジニアは、学習部３８０に、各種項目の信頼性と学習データに基づく学習処理により、新たな検査モデルを生成させる（ステップＳ４０７）。より具体的には、学習部３８０は、信頼性データを用いて重みづけがなされたデータを用いて学習処理を行う。例えば、学習部３８０は、検査モデルの検査結果を学習データとして用いる場合、当該検査モデルの信頼性に応じて検査結果に重みづけがなされている。

例えば、学習部３８０は、閾値に基づき学習データの信頼性を２値化することができる。具体的には、学習部３８０は、各種の学習データの信頼性について、閾値を超える信頼性を信頼性あり、閾値以下の信頼性を信頼性なしとする。学習部３８０は、信頼性ありの学習データのみを使用して学習処理を行うことができる。

また、学習部３８０は、学習データを用いて誤差逆伝播法によりニューラルネットワークの重みづけパラメータを修正することで検査モデルを生成する場合には、重みづけパラメータの修正量をデータの信頼性に応じて調整してもよい。具体的には、学習部３８０は、学習データの信頼性が高いほど重みづけパラメータの修正量を大きくし、学習データの信頼性が低いほど重みづけパラメータの修正量を小さくしてもよい。

また、ニューラルネットワークの学習において、同じ学習データをニューラルネットワークに入力して、重みを修正することを反復する方法がある。当該方法が用いられる場合には、学習部３８０は、データの信頼性に応じて反復の回数を調整してもよい。具体的には、学習部３８０は、学習データの信頼性が高いほど反復の回数を多くし、学習データの信頼性が低いほど反復の回数を少なくしてもよい。

あるいは、学習部３８０は、各種項目の信頼性に応じて、学習に用いる検査結果を、ＯＫ／ＮＧの２値ではなく当該２値の間の値として学習処理を行うことができる。学習部３８０は、このように重みづけられた学習データを用いて学習処理を行い、新たな検査モデルを生成する。これにより、信頼性が用いられない場合よりも、より適切な検査モデルが生成される。

次いで、ステップＳ４０９からＳ４１３の処理が行われるが、ステップＳ４０９からＳ４１５の処理は、図１１のフローチャートに示したステップＳ３１９からＳ３２５の処理と実質的に同一であるため、ここでは説明を省略する。

次いで、ライン責任者は、通信端末３０を用いて、各種のデータを更新する（ステップＳ４１５）。具体的には、ライン責任者は、通信端末３０を用いて、クラウドＣの記憶部４０に記憶された画像データに関連付けられた各種の情報、及び各種の項目の定義ファイルを更新する。このとき、クラウドＣの記憶部４０において画像データのバックアップが行われてもよい。

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素及びその配置、材料、条件、形状、サイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

上記実施形態では、図２に示した各種の機能部による処理が１つの情報処理装置２０により実施されるものとして説明した。これに限らず、図２に示した各種の機能部による処理の一部が他の装置により実施されてもよい。例えば、学習データ取得部３６０、修正部３７０及び学習部３８０による処理は、これらの他の機能部を実現する情報処理装置と異なる情報処理装置により実現されてもよい。また、上記実施形態では、情報処理装置２０に含まれる処理部３３０が定義ファイルを作成するものとして説明したが、定義ファイルは他の装置（例えば、通信端末３０）により作成されてもよい。また、上記実施形態では、検索部３５０が学習データを検索して取得し、取得した学習データを学習データ取得部３６０に伝達するものとして説明したが、学習データ取得部３６０が学習データを検索（選択）して取得してもよい。

また、上記実施形態では、主に、検査モデルの検査結果が、ＯＫ又はＮＧであるものとして説明した。検査結果がＮＧである場合には、検査対象物に発生している異常のモード（種類）が判定される場合がある。この場合には、検査結果は、異常の種類を含んでよい。異常の種類は、例えば、キズ、汚れお及び打痕などである。上記実施形態に係る情報処理装置２０には、分類問題（多クラス分類問題）を解くことで例えば異常の種類を識別することが可能な検査モデルを適用することも可能である。

また、上記実施形態では、１つの検査ラインに１つの検査モデルが対応しているものとして説明した。これに限らず、１つの検査ラインに複数の検査モデルが対応付けられていてもよい。例えば、１つの検査ラインにおいて、複数の品種の製品（検査対象物）が流れ、それぞれの品種の製品が情報処理装置２０により検査される場合がある。この場合、１つの品種に１つの検査モデルが対応付けられていてもよい。情報処理装置２０は、品種のそれぞれに対応した検査モデルを用いて検査することができる。

また、１つの品種に複数の検査モデルが対応付けられていてもよい。例えば１つの品種の検査対象物について、上面と側面を検査するときに、それぞれの面に撮像部（例えば、第１カメラ及び第２カメラの合計２台）が対応付けられる場合がある。例えば、第１カメラには第１検査モデル、第２カメラには第２検査モデルが対応付けられる。この場合、情報処理装置２０は、検査対象物の上面を第１カメラが撮像した画像及び第１検査モデルにより検査し、検査対象物の側面を第２カメラが撮像した画像及び第２検査モデルにより検査することができる。なお、検査ラインにおいて用いられるカメラの数は３つ以上であってもよく、それぞれのカメラに検査モデルが対応付けられていてもよい。

さらに、１つのカメラに複数の検査モデルが対応付けられていてもよい。例えば、カメラが撮像する検査対象物の領域のそれぞれに、検査モデルが対応付けられてもよい。例えば、カメラが２つの領域（第１領域及び第２領域）を撮像する場合、第１領域及び第２領域のそれぞれに、互いに異なる検査モデルが対応付けられていてもよい。なお、カメラが撮像する領域の数は３つ以上であってもよく、それぞれの領域に検査モデルが対応付けられていてもよい。

このように、検査ライン毎に複数の検査モデルが対応する場合にも、本発明の技術を用いることができる。この場合、クラウドＣの記憶部４０には、図５及び図１２に示したデータに加えて、画像データに各種の情報が関連付けられた状態で記憶されていてもよい。例えば、検査対象物の品種、カメラを特定する情報及びカメラが撮像する領域などが、それぞれに対応する検査モデルに関連づけられた状態で、記憶部４０に記憶されてもよい。これにより、所望の検査モデルに関連付けられた画像データを学習データとして効率よく収集することができる。

例えば、工場Ａには検査ラインＤ、工場Ｂには検査ラインＥが配置されている場合を想定する。さらに、工場Ａの検査ラインＤにおいて、検査モデルＫ１及びＬが用いられており、工場Ｂの検査ラインＥにおいて、検査モデルＫ２及びＭが用いられているものとする。このとき、検査モデルＫ１及びＫ２は、類似した検査を行うために用いられるものとする。この場合、検査ラインＤ及びＥの撮像部により取得された画像データを用いた学習処理により新たな検査モデルを生成し、検査モデルＫ１及びＫ２として用いることができる。

［附記］
検査対象物の画像データを取得する画像取得部（３１０）と、
前記検査対象物の検査モデルに前記画像データを入力することで得られる前記検査対象物の検査結果を取得する結果取得部（３２０）と、
前記画像データ及び前記検査結果の少なくともいずれかに前記検査モデルを関連付け、前記画像データ、前記検査結果及び前記検査モデルを記憶部に記憶させる処理部（３３０）と、
を備える、情報処理装置（２０）。

１０…撮像部、２０…情報処理装置、３０…通信端末、４０…記憶部、５０…ネットワーク、３１０…画像取得部、３２０…結果取得部、３３０…処理部、３４０…通信部、３５０…検索部、３６０…学習データ取得部、３７０…修正部、３８０…学習部、３９０…記憶部

Claims (10)

1. 検査対象物の画像データを取得する画像取得部と、
   前記検査対象物の検査モデルに前記画像データを入力することで得られる前記検査対象物の検査結果を取得する結果取得部と、
   前記画像データ及び前記検査結果の少なくともいずれかに前記検査モデルを関連付け、前記画像データ、前記検査結果及び前記検査モデルを記憶部に記憶させる処理部と、
   を備える、情報処理装置。
2. 前記処理部が前記記憶部に記憶させた前記画像データ、前記検査結果及び前記検査モデルに基づき、新たな検査モデルを生成する学習処理を行う学習部、
   をさらに備える、請求項１に記載の情報処理装置。
3. 前記検査対象物の検査に関わる情報に基づき、前記処理部が前記記憶部に記憶させた前記画像データ、前記検査結果及び前記検査モデルから、前記学習処理のための学習データを選択し、選択した学習データを取得する学習データ取得部を、さらに備え、
   前記学習部は、前記学習データを用いて前記学習処理を行う、
   請求項２に記載の情報処理装置。
4. 前記検査結果を修正するユーザによる操作に基づき、前記検査結果を修正する修正部を、さらに備え、
   前記学習部は、前記修正部により修正された検査結果を含む学習データを用いて前記学習処理を行うことにより新たな検査モデルを生成し、
   前記処理部は、前記修正された検査結果を、対応する画像データ及び前記新たな検査モデルに関連付け、前記修正された検査結果、前記対応する画像データ及び前記新たな検査モデルを前記記憶部に記憶させる、
   請求項３に記載の情報処理装置。
5. 前記学習部により生成された前記新たな検査モデルは、他の情報処理装置と共有される、
   請求項２から４のいずれか１項に記載の情報処理装置。
6. 前記処理部は、前記画像データ、前記検査結果及び前記検査モデルの少なくともいずれかの信頼性に関わるデータを取得し、取得した信頼性に関わるデータを対応するデータに関連付け、
   前記学習部は、前記信頼性に関わるデータを用いて重みづけられた前記画像データ、前記検査結果及び前記検査モデルの少なくともいずれかに基づいて前記学習処理を行う、
   請求項２から５のいずれか１項に記載の情報処理装置。
7. 前記処理部は、複数の検査モデルによる検査に用いられた画像データに対して、前記複数の検査モデル及び前記複数の検査モデルの各々に対応する検査結果を関連付けて、前記複数の検査モデルによる検査に用いられた画像データ、前記複数の検査モデル及び前記複数の検査モデルの各々に対応する検査結果を前記記憶部に記憶させる、
   請求項１から６のいずれか１項に記載の情報処理装置。
8. 新たな検査モデルが生成されるに際して、前記新たな検査モデルの学習履歴を生成する学習履歴生成部を、さらに備える、
   請求項２から７のいずれか１項に記載の情報処理装置。
9. 検査対象物の画像データを取得することと、
   前記検査対象物の検査モデルに前記画像データを入力することで得られる前記検査対象物の検査結果を取得することと、
   前記画像データ及び前記検査結果の少なくともいずれかに前記検査モデルを関連付け、前記画像データ、前記検査結果及び前記検査モデルを記憶部に記憶させることと、
   を含む、情報処理方法。
10. コンピュータに、
    検査対象物の画像データを取得することと、
    前記検査対象物の検査モデルに前記画像データを入力することで得られる前記検査対象物の検査結果を取得することと、
    前記画像データ及び前記検査結果の少なくともいずれかに前記検査モデルを関連付け、前記画像データ、前記検査結果及び前記検査モデルを記憶部に記憶させることと、
    を実行させるためのプログラム。

Images