JP2020051982A - 画像検査装置及び検査モデル構築システム - Google Patents

Abstract

【課題】多数の学習データを必要とすることなく検査モデルを容易に構築する。【解決手段】検査用画像とこの検査用画像に対する検査結果とからなる学習データをもとに、クラス分類とオートエンコーダとの二種類のマルチタスク学習を行った深層畳み込みニューラルネットワークを含んで構成される検査モデルを取得する検査モデル取得部ｃ１と、撮像部２と、検査モデル取得部ｃ１で取得した検査モデルを用いて、撮像部２で取得した撮像画像の解析を行う検査部ａ３と、を備える。【選択図】図１

Description

本発明は、画像検査装置及び検査モデル構築システムに関する。

従来、画像に含まれる特徴を検知し、この特徴から、認識対象を検知するようにした検知装置が提案されている。また、このような検知装置において、検知性能を向上させるため、認識対象を含む撮像画像を教師データとして機械学習を行うことにより新たな検知アルゴリズムを生成し、生成した検知アルゴリズムから新たな検知ファームウェアを生成し、新たな検知ファームウェアを用いて画像に含まれる特徴を検知するようにした、システムも提案されている（例えば、特許文献１参照）。

特開２０１８−８８１５７号公報

"Anomaly Detection using One-Class Neural Networks"＜２０１８年９月２５日検索、インターネット＜URL:https://arxiv.org/abs/1802.06360＞

しかしながら、上記従来の方法にあっては、学習を行っていない認識対象（検知対象）については、検知することができず、改善の余地があった。
この学習した検知対象しか検知できない問題は、検査モデルとして、深層畳み込みニューラルネットワークによるクラス分類アルゴリズムを用いた場合に、特に大きな障害となる。つまり、被検査物又は検知対象は多岐にわたることが多く変化しやすいが、深層畳み込みニューラルネットワークの学習に必要となる画像枚数は少なくないため、十分な学習データを収集するには多くの時間や手間を要する。

また、複数の生産又は研究拠点が存在する場合は、生産又は研究拠点毎に被検査物又は検知対象が異なることがあるだけではなく、光学系設置構造、コンベアのベルトの色や材質、検査用画像背景の違い等が原因で、新たな検査モデルを構築する必要が生じる場合もある。さらに、検知対象によっては画像サンプルを手に入れることが困難な場合がある。そのため、生産又は研究拠点毎に適した検査モデルを構築するために生産又は研究拠点毎に学習データを収集すること自体がそもそも現実的ではない場合もあり得る。
この問題に対処するため、例えば、非特許文献１のように、オートエンコーダを用いた異常検知アルゴリズムを使用することで、学習データを用いることなく、未知の検知対象を検知することはできる。しかし、オートエンコーダを用いた異常検知アルゴリズムだけでは、検知対象のクラス分類を行うことはできない。

一方、検査用画像にクラス分類アルゴリズムと、オートエンコーダを用いた異常検知アルゴリズムとの両方をそれぞれ適用することで、学習した検知対象については検知及び分類し、学習していない検知対象については学習していない検知対象が存在することを検知することはできる。しかし、二つのアルゴリズムを適用する方法では、それぞれを別々のネットワークで計算する必要があり、計算時間が限られるインライン検査に適用することは困難な場合がある。また、この二つのアルゴリズムを適用する方法では、異常検知を行うネットワークは、画像を再構成するための画像特徴しか抽出することができない。

そのため、多数の学習データを取得せずとも、又は、特定の検知対象に対する学習データを取得しなくとも、検知対象を検知・分類又は検知することができる効率的な検査モデルを構築することの可能な方法が望まれていた。
そこで、この発明は上記従来の未解決の問題に着目してなされたものであり、上記効率的な検査モデルを構築することの可能な画像検査装置及び検査モデル構築システムを提供することを目的としている。

本発明の一態様によれば、検査用画像と検査用画像に対する検査結果とからなる学習データをもとに、クラス分類とオートエンコーダとの二種類のマルチタスク学習を行った深層畳み込みニューラルネットワークを含んで構成される検査モデルを取得する検査モデル取得部と、撮像部と、検査モデル取得部で取得した検査モデルを用いて、撮像部で取得した撮像画像の解析を行う検査部と、を備える画像検査装置、が提供される。

また、本発明の他の態様によれば、複数の画像検査装置と、画像検査装置それぞれとネットワークを介して接続される管理サーバと、を備え、画像検査装置のそれぞれは、検査用画像と検査用画像に対する検査結果とからなる学習データを収集し、学習データを用いて学習を行い検査モデルを構築する検査モデル構築部と、撮像部と、検査モデルを用いて撮像部で撮像された撮像画像の解析を行う検査部と、収集した学習データを管理サーバに送信すると共に、管理サーバから他の画像検査装置で収集した学習データを取得する通信部と、を有し、管理サーバは、画像検査装置から送信された学習データを保存すると共に、一の画像検査装置から送信された学習データを、他の画像検査装置に送信する画像及び結果管理部を備え、検査モデル構築部は、自装置で収集した学習データと、管理サーバから受信した学習データとを用いて検査モデルを構築する、検査モデル構築システムが提供される。

また、本発明の他の態様によれば、複数の画像検査装置と、画像検査装置それぞれとネットワークを介して接続される管理サーバと、を備え、画像検査装置のそれぞれは、検査用画像と検査用画像に対する検査結果とからなる学習データを保存する画像及び結果保存部と、撮像部と、検査モデルを用いて撮像部で撮像された撮像画像の解析を行う検査部と、画像及び結果保存部で保存する学習データを管理サーバに送信すると共に、管理サーバから検査モデルを取得する通信部と、を有し、管理サーバは、画像検査装置から送信された学習データを保存する画像及び結果管理部と、画像及び結果管理部で管理する画像検査装置から送信された学習データを用いて学習を行い検査モデルを構築する検査モデル構築部と、検査モデル構築部で構築した検査モデルを画像検査装置に送信する検査モデル管理部と、を備え、画像検査装置における検査部は、検査モデル管理部から受信した検査モデルを用いて撮像画像の解析を行う、検査モデル構築システム、が提供される。

本発明の一態様によれば、多数の学習データを必要とすることなく、検査モデルを構築することができ、結果的に検査精度を向上させることができる。

画像検査装置の一例を示す概略構成図である。 検査モデルの一例を示す概略構成図である。 第一実施形態に係る画像検査装置の効果を説明するための説明図である。 検査モデル構築システムの一例を示す概略構成図である。 検査モデル構築システムの具体例を示す説明図である。 本発明に係る画像検査装置の変形例を示す概略構成図である。 解析処理の処理手順の一例を示すフローチャートである。 調整処理による調整方法を説明するための説明図である。 調整処理による調整方法を説明するための説明図である。 解析処理の一例を示す概念図である。 画像検査装置の変形例の動作説明に供する説明図である。 部分画像を用いた解析方法を説明するための説明図である。

以下、図面を参照して本発明の実施形態について説明する。
なお、以下の詳細な説明では、本発明の実施形態の完全な理解を提供するように多くの特定の具体的な構成について記載されている。しかしながら、このような特定の具体的な構成に限定されることなく他の実施態様が実施できることは明らかである。また、以下の実施形態は、特許請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

まず、本発明の第一実施形態を説明する。
（画像検査装置）
図１は、本発明の一実施形態に係る画像検査装置の一例を示す概略構成図である。
図１に示すように、画像検査装置１は、撮像部２と、マイクロコンピュータ等を含んで構成される制御装置３と、画面出力部４と、命令入力部５とを備える。画面出力部４は例えば表示装置を含んで構成される。命令入力部５は、例えばキーボード等の入力装置を含んで構成される。
また、画像検査装置１は、画像検査を行う画像検査部３ａと、検査用画像及び検査結果を保存する保存部３ｂと、検査モデルを切り替える検査モデル切り替え部３ｃと、検査モデルを構築する検査モデル構築部３ｄと、を備える。

画像検査部３ａでの画像検査は例えば以下のように行われる。
撮像部２で撮像された被検査物及び検知対象の撮像画像は、画像取り込み部ａ１に入力され、画像取り込み部ａ１は撮像部２で撮像した撮像画像をコンピュータシステム内に取り込む。画像処理部ａ２は、取り込まれた撮像画像を処理し、検査部ａ３へ検査用画像として出力すると共に、保存部３ｂに出力する。
検査部ａ３は、入力された検査用画像を処理して画像検査を行い、検査結果を検査結果処理部ａ４へ出力する。検査結果処理部ａ４は入力された検査結果を処理し、処理結果を画面出力部４へ出力する。画面出力部４は入力された処理結果を例えば表示装置の表示画面に表示する。

保存部３ｂでの検査用画像及び検査結果の保存は以下のように行われる。
画像処理部ａ２で生成された検査用画像は、画像・結果保存部（画像及び結果保存部）ｂ１で保存される。また、検査部ａ３での検査結果は、検査結果処理部ａ４により対応する検査用画像と紐づけられて画像・結果保存部ｂ１に保存される。
検査モデル保存部ｂ２には、被検査物又は検知対象や検査性能が異なる様々な検査モデルが保存される。

検査モデル切り替え部３ｃでの、検査モデルの切り替えは以下のように行われる。
被検査物又は検知対象の切り替えが必要になった場合や、検査性能を上げる必要が生じた場合、操作者は命令入力部５から検査モデルを切り替えるよう命令を入力する。命令処理部ｃ２は命令入力部５から入力された命令を処理して検査モデル取得部ｃ１へ命令を出力し、検査モデル取得部ｃ１が命令処理部ｃ２からの命令に従って、検査モデル保存部ｂ２に保存されている検査モデルから指定された検査モデルを取得し、取得した検査モデルを、画像検査に用いる検査モデルとして設定する。
検査モデル構築部３ｄは、画像・結果保存部ｂ１に保存されている検査用画像及び検査結果をもとに検査モデルを構築する。検査モデルの構築方法は後述する。

以下、画像検査装置１を構成する各部の詳細について記述する。
撮像部２は、被検査物に含まれる異物又は欠陥等の検知対象を検知及び分類するための画像を撮像する。被検査物は、例えば、金属表面、ガラスや樹脂表面、印刷物、食品、飼料、医薬品、生物学的サンプル等である。これらそれぞれに対応する検知対象は、金属表面の欠陥、ガラスや樹脂表面の欠陥、印刷物の欠陥、食品中の異物、飼料中の異物、医薬品中の異物、異常のある生物学的サンプルである。より具体的には、被検査物として食品を例にあげると、冷凍食品、乾燥食品、豆類等である。対応する検知対象は、樹脂、木片、紙、ゴム、繊維、虫等といった、被検査物と共に存在する異物である。欠陥、異物、異常等を検知対象とする代わりに、目的とするものを検知対象としても良い。

撮像部２としては、例えば、可視光カメラ、近赤外カメラ、ハイパースペクトルカメラ、距離画像センサ、等を適用することができる。撮像部２は、単一の種類のカメラから構成してもよく、また、例えば、可視光カメラと近赤外カメラを組み合わせる等、複数の種類のカメラを組み合わせて構成することもできる。
画像取り込み部ａ１は、例えば、画像入力ボードやＬＡＮポートを含んで構成される。画像取り込み部ａ１は、撮像部２により撮像された画像をコンピュータシステム内に取り込む役割を担い、撮像部２に含まれるカメラ等の仕様に適合して選定される。

画像処理部ａ２は、コンピュータシステム内の画像処理プログラムで実行される処理であり、画像取り込み部ａ１で取り込まれた画像の画像サイズ変換、部分切り抜き、輝度の調整等を行い、検査用画像に加工する。加工の必要がなければ加工をしなくても良い。例えば、画像取り込み部ａ１で取り込まれた画像がエリアカメラで撮像されたものであれば、一フレームごと、または数フレームごとに検査用画像に加工する。また、画像処理部ａ２は、画像取り込み部ａ１で取り込まれた画像がラインスキャンカメラにより撮像されたものであれば、一スキャンごとの画像を保持しておき、一定のスキャン数に到達した時点で検査用画像として加工する。

検査部ａ３は、図２に示すようにクラス分類とオートエンコーダとの二種類のマルチタスク学習を行った深層畳み込みニューラルネットワークから構成される検査モデルを用い、画像処理部ａ２により作成された検査用画像を入力として、被検査物と共に存在する検知対象を検知又は分類し、検査結果を検査結果処理部ａ４に出力する。
検査モデルは、学習した検知対象については検知及び分類することができ、学習していない検知対象については分類することはできないが何らかの検知対象であるとして検知することができる。

例えば、被検査物Ｍがあり、被検査物Ｍと共に存在する異物等の検知対象が、ビニール片、毛髪、虫等の異物であるとする（図３）。このとき、検査部ａ３は、被検査物Ｍと共に存在する異物を検知及び分類することを目的とする。この目的を達成するため、被検査物Ｍと共に検知対象が存在しない検査用画像と、被検査物Ｍと共にビニール片及び毛髪が存在する検査用画像とを図２（ａ）に示すように学習させたとする。一方で、被検査物Ｍと共に虫が混在する画像は収集することができなかったため、この画像は検査モデルに学習させなかったとする。以上のように学習させ、図２（ｂ）に示すように構築した検査モデルを用いて、被検査物Ｍに対して画像検査を行ったとすると、図３（ｂ）に示すように、被検査物Ｍと共にビニール片が存在する場合、ビニール片が含まれているとして検査用画像を検知及び分類することができる。また、毛髪が含まれていた場合も同様に、毛髪が含まれているとして検知及び分類することができる。一方で、被検査物Ｍと共に検知対象としての虫が含まれていた場合、虫であると分類することはできないが、何かしらの異物が含まれているとして検知することができる。

なお、クラス分類アルゴリズムだけを使用した画像検査では、図３（ａ）に示すように、ビニール片及び毛髪については、これらが含まれているとして、検査用画像中の検知対象の異物等を検知及び分類することができるが、虫などの異物については、検知することは難しく（検知できたとしてもビニール片又は毛髪であると誤分類してしまう）、当然分類することはできない。
図１に戻って、検査結果処理部ａ４は、検査部ａ３から入力された検査結果を処理して、操作者に検査結果を提示するための情報へと変換する。
画面出力部４は、検査結果処理部ａ４で取得した検査結果等の情報を表示装置等といったモニタに出力して、操作者に提示する。例えば、検知対象が検知された場合、検査結果処理部ａ４は検知対象が強調表示された検査用画像を生成し、画面出力部４がモニタ画面にその画像を表示することで、操作者に検査結果の提示を行うことができる。検知対象が検知された際、警告灯を点灯させる等の出力と組み合わせて、操作者に検査結果を提示しても良い。

画像処理部ａ２は、撮像された画像を検査用画像に加工して検査部ａ３へ入力するだけでなく、検査用画像を画像・結果保存部ｂ１に保存する役割も担う。画像・結果保存部ｂ１は、例えば制御装置３に設けられた記憶領域等で構成される。画像・結果保存部ｂ１のディスク容量に余裕がある場合は、加工する前の撮像された画像をそのまま画像・結果保存部ｂ１に保存しても良い。また、画像・結果保存部ｂ１のディスク容量に余裕が無い場合は、全ての検査用画像を保存するのではなく、例えば、検査結果処理部ａ４と連携して検知対象が検知された検査用画像のみを保存することができる。この他、検査用画像を圧縮して保存することで、画像・結果保存部ｂ１において使用するディスク容量を抑えても良い。

検査結果処理部ａ４は、検査部ａ３での検査結果を処理して画面出力部４へ出力するだけでなく、検査結果を対応する検査用画像と紐づけて画像・結果保存部ｂ１に保存する役割も担う。紐づける検査結果は、例えば、検知対象の有無、検知された検知対象の分類結果、検知対象が存在する場合、検査用画像において検知対象が存在する座標及び検知対象の大きさ等である。このとき、検知対象を検知するために使用した閾値等の検査パラメータも、対応する検査用画像と紐づけて画像・結果保存部ｂ１に保存しても良い。

画像・結果保存部ｂ１に保存された検査用画像に紐づけられた検査結果は、画像検査装置１の操作者によって編集することができようになっている。例えば、検知対象が存在しないのに誤って検知された検査用画像や、検知対象が存在するのに検知されなかった検査用画像に紐づけられた検査結果を編集することで、正しい検査結果に訂正することができる。
なお、画像処理部ａ２は、検査部ａ３に必ずしも検査用画像を入力しなくても良く、検査用画像だけを画像・結果保存部ｂ１に保存するようにすることもできる。この場合、検査用画像に、操作者が手作業で検査結果を紐づけることができ、すなわち検査モデルの学習データを作成することができる。

画像・結果保存部ｂ１からは、必要のない検査用画像及び検査結果のペアを削除することができる。また、他の画像検査装置によって出力された検査用画像及び検査結果のペアを、ＵＳＢメモリ等の記憶媒体を通じて、画像・結果保存部ｂ１に追加することもできる。図４に示すように、画像検査装置１が後述の管理サーバ１０と通信を行う場合には、管理サーバ１０が通信回線等を介して画像検査装置１の画像・結果保存部ｂ１に、検査用画像及び検査結果のペアを追加するように構成してもよい。

図１に戻って検査モデル保存部ｂ２は、例えば制御装置３に設けられた記憶領域等で構成される。検査モデル保存部ｂ２は、被検査物又は検知対象や検査性能が異なる様々な検査モデルを保存しておく役割を担う。検査モデル保存部ｂ２に保存されている検査モデルは、画像・結果保存部ｂ１に保存された検査用画像及び検査結果のペアを学習データとして利用し、検査モデル構築部３ｄが構築して提供しても良い。または、他のコンピュータシステム或いは他の画像検査装置で構築された検査モデルを、画像検査装置１の操作者がＵＳＢメモリ等の記憶媒体を通じて提供しても良い。また、図４に示すように、画像検査装置１が管理サーバ１０と通信を行う場合には、管理サーバ１０が通信回線等を介して画像検査装置１に提供しても良い。
命令入力部５では、検査パラメータの設定や、検査用画像及び検査結果の表示方法の選択、検査開始及び停止、画像・結果保存部ｂ１に保存された検査用画像及び検査結果のペアの編集、削除、追加等の様々な操作の命令を行うことができる。命令入力部５は操作者により入力された各種命令を処理して、制御装置３へ反映する役割を担う。

例えば、被検査物又は検知対象の切り替えが必要になった場合や、検査性能を上げる必要が生じた場合、操作者は、命令入力部５で、検査モデル保存部ｂ２に保存された検査モデルの中から、画像検査に使用する適切な検査モデルを選択することができ、命令処理部ｃ２は命令入力部５で入力された検査モデル切り替え命令を処理して検査モデル取得部ｃ１へ命令を出力することで、検査モデル取得部ｃ１が検査部ａ３の検査モデルを切り替えることができる。
検査開始又は停止や、検査モデルの切り替え命令は必ずしも命令入力部５から入力される必要はなく、制御装置３に常駐して動作する検査開始又は停止のタイミングを調節するプログラムや、適切な検査モデルを判断するプログラムを設けておき、これらプログラムと連携することにより、自動化されていても良い。

（検査モデルの構築）
次に、検査モデル構築部３ｄで構築される検査モデルの構築手法の詳細について記述する。
検査モデル構築部３ｄで構築される検査モデルは、深層畳み込みニューラルネットワークを用いて構成される。
ここで、検査モデルは、図２に示すように、学習時（図２（ａ））と検査時（図２（ｂ））とで異なる構成となる。
すなわち、学習時は、クラス分類とオートエンコーダとのマルチタスク学習によりネットワークパラメータを更新する。

画像入力部１１は学習データ（検査用画像及び検査結果のペア）を画像・結果保存部ｂ１から受け取り画像特徴抽出部１２に出力する。画像特徴抽出部１２は学習データに含まれる検査用画像の画像特徴を抽出する。ネットワークは分岐しており、分岐した一方の処理であるクラス分類部１３はクラス分類のための計算を行い、続いてクラス分類先出力部１４は検査用画像が特定の検知対象を含む画像である確率（スコア）を出力する。分岐した他方の処理である画像再構成部１５は、入力された検査用画像を画像特徴から再構成するための計算を行い、続いて画像出力部１６は再構成された検査用画像を出力する。ネットワークパラメータ更新部１７は、クラス分類先出力部１４から出力される学習データに含まれるラベル情報（検査用画像に紐づいた検査結果に含まれる検知対象の有無と分類）を参照することで、クラス分類先出力と正解ラベルが一致するようにネットワークのパラメータを更新し、さらに、画像出力部１６から出力される画像が入力された検査用画像と一致するように、ネットワークのパラメータを更新する。以上の処理を、検査モデル構築部３ｄで実行することによって、検査モデルの学習が行われる。

以下、学習時の検査モデルの各部の詳細について説明する。
画像入力部１１が受け取る学習データは、画像・結果保存部ｂ１に保存された画像検査装置１の画像処理部ａ２により加工された検査用画像と、その画像に紐づけられた検査結果のラベル情報である。画像入力部１１は、必要に応じて、検査用画像の輝度を０〜１の値に規格化する等の加工を加えて、画像特徴抽出部１２へと入力した検査用画像を出力することができる。学習データは、一例をあげると、検知対象が含まれていない複数の検査用画像、異物Ａが含まれている複数の検査用画像、異物Ｂが含まれている複数の検査用画像、異物Ｃが含まれている複数の検査用画像の、計４クラスのデータセット等である。

画像特徴抽出部１２は、深層畳み込みニューラルネットワークから構成され、入力された検査用画像の画像特徴を抽出する。例えば、ＡｌｅｘＮｅｔ、ＶＧＧモデル、Ｉｎｃｅｐｔｉｏｎモデル、Ｘｃｅｐｔｉｏｎモデル、ＲｅｓＮｅｔモデル、ＤｅｎｓｅＮｅｔモデル、ＭｏｂｉｌｅＮｅｔモデル、ＮＡＳＮｅｔモデル、または、これらから派生した深層畳み込みニューラルネットワークのうち１つ以上から構成される。
学習時は、クラス分類とオートエンコーダとのマルチタスク学習を行うため、画像特徴抽出部１２は、クラス分類のための画像特徴と画像再構成のための画像特徴の両方を抽出することができる。

クラス分類部１３は、全結合層から構成され、画像特徴抽出部１２により抽出された画像特徴を入力として受け取り、クラス分類先の数と次元数が一致するベクトルを出力する。クラス分類先出力部１４は、クラス分類先の数と次元数が一致するベクトルをソフトマックス関数で処理することで、検査用画像が特定の検知対象を含む検査用画像である確率（スコア）を出力する。
画像再構成部１５は、エンコーダとして機能した画像特徴抽出部１２により抽出された画像特徴から、入力された検査用画像を再構成するための計算を行うデコーダとしての役割を担う。画像出力部１６は、画像再構成部１５により再構成された検査用画像を出力する。
ネットワークパラメータ更新部１７は、クラス分類先出力部１４のクラス分類先と正解ラベルとが一致するように、交差エントロピー誤差を用いた損失関数を設定し、かつ、入力された検査用画像と画像出力部から出力された再構成された検査用画像とが一致するように、二乗誤差を用いた損失関数を設定して、確率的勾配降下法等のアルゴリズムによりネットワークのパラメータを最適化する。

一方、検査時は、図２（ｂ）に示すように、検査モデルの学習時の構成から、画像再構成部１５と画像出力部１６とネットワークパラメータ更新部１７とを取り外し、代わりに画像特徴出力部２１、異常検知部２２、検知結果出力部２３を備えた構成となる。画像特徴出力部２１は、画像特徴抽出部１２で抽出した検査用画像の画像特徴を異常検知部２２に出力する。異常検知部２２は画像特徴出力部２１から出力された画像特徴が事前に設定した所定の範囲内であるかを調べ、検知結果出力部２３は画像特徴が所定の範囲外であった場合に検査用画像の検知を行う。クラス分類先出力部１４は、学習時と同様に、検査用画像が特定の検知対象を含む検査用画像である確率（スコア）を出力する。以上の処理を、検査部ａ３で実行することによって、検査用画像に対する検査が行われる。

以下、検査時の検査モデルの各部の詳細について説明する。
図２（ｂ）に示すように、画像特徴出力部２１は、画像特徴抽出部１２により抽出された検査用画像の画像特徴を出力する役割を担う。検査時は、画像再構成は行わないものの、画像特徴抽出部１２は、学習時に、クラス分類とオートエンコーダとの二種のマルチタスク学習を行っており、検査用画像からクラス分類のための画像特徴と画像再構成のための画像特徴の両方を抽出する。このため、画像特徴出力部２１は、クラス分類のための画像特徴と画像再構成のための画像特徴の両方を出力することができる。

異常検知部２２は、画像特徴出力部２１により出力された画像特徴の特徴量の値が、事前に設定した所定の範囲内であるかを調べる役割を担い、検知結果出力部２３は異常検知部２２で画像特徴の特徴量の値が所定の範囲外であることが検知された場合に、検査用画像を検知する役割を担う。事前に設定する画像特徴の特徴量の所定の範囲は、例えば、１クラス学習の手法によって設定することができる。すなわち、検知対象を含まない検査用画像を、十分な枚数だけ検査モデルに入力し、画像特徴出力部２１から特徴量を出力させ、１クラス学習の手法により、出力された特徴量の正常とする範囲を学習させる。これにより、検知対象を含まない検査用画像の画像特徴に対して、正常とする所定の範囲を設定することができる。検査時においては、異常検知部２２は、検査用画像の画像特徴が設定された所定の範囲に入っているかを調べ、もし入っていなければ検知結果出力部２３が検査用画像を検知することで、学習をしていない検知対象も検知可能になる。学習していない検知対象の誤分類を防ぐため、正常とする所定の範囲は、検知対象を含まない検査用画像だけでなく、特定の検知対象を含む検査用画像に対して設定しても良い。また、１クラス学習以外の手法により、画像特徴の正常とする所定の範囲を設定しても良い。

以上説明したように、本発明の一実施形態に係る画像検査装置１は、クラス分類とオートエンコーダとの二種のマルチタスク学習を行った深層畳み込みニューラルネットワークから構成される検査モデルを用いて画像検査を行う。そのため、学習した検知対象については検知及び分類することができ、さらに、学習していない検知対象についても、分類することはできないものの、学習していない検知対象が存在することを検知することができる。つまり、検査モデルを構築するために必要な十分な学習データを取得することのできない検知対象についても、その存在を検知することができる。その結果、画像検査装置１の検査精度を向上させることができる。
また、検査モデル保存部ｂ２を備えるため、検査又は検知対象の切り替えが必要になった場合や、検査性能を上げる必要が生じた場合でも、検査モデルを切り替えるだけで容易に対応することができ、使い勝手を向上させることができる。

次に、本発明の第二実施形態を説明する。
第二実施形態は、図１に示す画像検査装置１を用いて検査モデル構築システムを構成したものである。
図４に示すように、検査モデル構築システム３０は、画像検査装置１ａ及び１ｂと、管理サーバ１０とを備える。画像検査装置１ａ、１ｂは、図１に示す画像検査装置１において、さらに、通信部６を新たに追加したものである。なお、図４では、２つの画像検査装置１ａ、１ｂを備えているが、任意数の画像検査装置を設けることができる。また、図４では、画像検査装置１ａ、１ｂにおいて、図１に示す画像検査装置１と同一部については図示を省略している。

管理サーバ１０の画像・結果管理部（画像及び結果管理部）３２は、１つ以上の生産・研究拠点に配置された各画像検査装置１ａ、１ｂから送信された学習データを集約して管理している。検査モデル構築部３１は、画像・結果管理部３２の学習データを使用して、画像検査装置１ａ、１ｂで使用される検査モデルを新たに構築し、構築した検査モデルを検査モデル管理部３４へ保存する。転移学習／ファインチューニングによる検査モデル構築部３３は、構築済みの検査モデルから転移学習／ファインチューニングを行うことで新たな検査モデルを構築し、構築した検査モデルを検査モデル管理部３４へ保存する。管理サーバ１０の検査モデル管理部３４は、構築した検査モデルを管理しており、検査モデルを各拠点の画像検査装置１ａ、１ｂに適切に配置する。また、管理サーバ１０は、各画像検査装置１ａ、１ｂの通信部６それぞれと通信回線等を介してネットワーク接続するための通信部３５を備える。

以下、検査モデル構築システム３０を構成する各部の詳細について記述する。
画像検査装置１ａ、１ｂに追加される通信部６は、有線ＬＡＮ、または、無線ＬＡＮにより管理サーバ１０とネットワーク接続を行うための通信デバイスであり、これにより、ローカルネットワーク上の、または、遠隔の管理サーバ１０と通信を行うことができる。
画像・結果管理部３２は、１つ以上の生産・研究拠点の画像検査装置１ａ、１ｂから送信された学習データを、例えば、生産・研究拠点ごとにＩＤを付けて学習データと紐づけることで、集約して管理することができる。管理サーバ１０は、学習データを受信するだけでなく、画像検査装置１ａ、１ｂへ学習データを送信しても良い。

画像検査装置１ａ、１ｂは、予め設定したスケジュールに従って学習データを管理サーバ１０に送信することができ、また、指定されたタイミングでも送信することができる。また、画像検査装置１ａ、１ｂは、管理サーバ１０からの要求に従って、学習データの送信を行うこともできる。
検査モデル構築部３１は、画像・結果管理部３２の学習データを使用して、図２に示すように、検査モデルを新たに構築し、構築した検査モデルを検査モデル管理部３４へ保存する。特定の生産・研究拠点の検査モデルを構築するために使用する学習データは、異なる生産・研究拠点から送信されたデータであっても、学習データの不足を補う等の目的のために使用することができる。

転移学習／ファインチューニングによる検査モデル構築部３３は、新たな検査モデルを構築する必要が生じたとき、新たな検査モデルと構築済みの検査モデルに一部共通する被検査物又は検知対象が存在した場合、構築済みの検査モデルから転移学習／ファインチューニングを行うことで新たな検査モデルをより少ない学習データで構築することができ、構築した検査モデルを検査モデル管理部３４へ保存することができる。
検査モデル管理部３４は、２つの検査モデル構築部３１及び３３により構築された検査モデルを管理しており、画像検査装置１ａ、１ｂからの要求や、操作者が指定することによって、指定された検査モデルを各拠点の画像検査装置１ａ、１ｂに配置する。管理サーバ１０での検査モデルの構築と画像検査装置１ａ、１ｂへの検査モデルの配置、更に、画像検査装置１ａ、１ｂでの検査モデルの更新は、スケジュール等で自動化することで、一定期間で検査モデルを自動更新することが好ましい。検査モデル管理部３４は、検査モデルを画像検査装置１ａ、１ｂへ配置するだけでなく、画像検査装置１ａ、１ｂに配置されている検査モデルを取得することもできる。

このように、検査モデル構築システム３０では、複数の画像検査装置１ａ、１ｂで取得した学習データを管理サーバ１０で管理し、この管理している情報を用いて検査モデルを構築している。そのため、他の画像検査装置１ａ、１ｂが取得した学習データを用いることで、一つの画像検査装置１ａ又は１ｂで取得し得る学習データよりも、より多くの学習データを用いて検査モデルを構築することができる。その結果、より精度の高い検査モデルを構築することができる。そのため、各画像検査装置１ａ、１ｂが、管理サーバ１０で生成した精度のより高い検査モデルを用いて画像検査を行うことによって、検査精度を向上させることができる。すなわち、個々の画像検査装置１ａ、１ｂが取得している学習データが少ない場合であっても、複数の画像検査装置１ａ、１ｂが取得する学習データを用いることで、精度の高い検査モデルを構築することができる。また、図２に示すように検査モデルを構築することによって、学習データを取得していない検知対象についても、分類することはできないものの、検知することは可能であり、これにより学習データ収集の時間・手間を少なくすることができる。

例えば、図５に示すように、工場Iで構築した検査モデルを、異なる工場IIでの検査モデル構築に利用するような場合、例えば、工場IIでは、木片が混入することがあるため、木片が混入した検査用画像を収集して学習データに追加し、生産・研究拠点Iで構築した検査モデルをファインチューニングすることで、より少ない学習データで検査モデルを構築することができる。例えば、工場IIIでは、更に繊維が混入することがあるが、学習データを収集することができなかったため、工場IIの検査モデルをそのまま使用することとした。この場合でも、繊維は学習していないものの、図２に示すように、クラス分類とオートエンコーダとの二種類のマルチタスク学習を行った深層畳み込みニューラルネットワークから構成される検査モデルを構築することで、学習していない繊維も検知することができる。

なお、上記第二実施形態においては、転移学習／ファインチューニングによる検査モデル構築部３３を備えているため、新たな検査モデルと構築済みの検査モデルに一部共通する被検査物又は検知対象が存在した場合、構築済みの検査モデルから転移学習／ファインチューニングを行うことで新たな検査モデルをより少ない学習データで構築することができるが、新たに検査モデルを構築する検査モデル構築部３１のみを備えていてもよい。

また、上記第二実施形態においては、管理サーバ１０に、検査モデル構築部３１、画像・結果管理部３２、転移学習／ファインチューニングによる検査モデル構築部３３、検査モデル管理部３４を管理サーバ１０に設け、管理サーバ１０において、検査モデルの構築を行うようにした場合について説明したが、これに限るものではない。これらの機能を画像検査装置１ａ、１ｂに設け、画像検査装置１ａ、１ｂにおいて、検査モデルを構築するようにしてもよい（図１）。すなわち、各画像検査装置１ａ、１ｂいずれか、又は、それぞれに、検査モデル構築部３ｄ及び図示しない転移学習／ファインチューニングによる検査モデル構築部を設け、各画像検査装置１ａ、１ｂが、学習データを他の画像検査装置に送信し、各画像検査装置では、自装置で収集した学習データと他の画像検査装置で収集した学習データとをもとに、検査モデル構築部３ｄ又は図示しない転移学習／ファインチューニングによる検査モデル構築部において、検査モデルを構築するように構成してもよい。

次に、上記各実施形態における変形例を説明する。この変形例は、画像検査装置１、１ａ、１ｂにおいて、撮像部２として、可視光カメラと近赤外カメラとを組み合わせて、画像特徴量を抽出するようにしたものである。
なお、ここでは、搬送装置１０２により搬送される被検査物Ｍの検査を行う場合について説明する。被検査物Ｍの検査としては、複数の被検査物Ｍと共に混在する異物の有無の判定、被検査物Ｍが良品であるか否かの判定、被検査物Ｍの異常部位の特定、被検査物Ｍの異種判定等がある。異物の有無の判定とは、例えば被検査物Ｍとしての食品と一緒に、樹脂や木片、紙、ゴム、繊維等といった異物が搬送されているか否かの判定を行う。

画像検査装置１０１は、図６に示すように、被検査物Ｍを搬送する搬送装置１０２と、近赤外光照射装置１０３と、近赤外カメラ１０４と、可視光照明装置１０５と、カラーカメラ１０６と、パーソナルコンピュータ等で構成される処理装置１０７と、を備える。処理装置１０７は、図示しない表示装置、入力装置、及び記憶装置を備える。
搬送装置１０２は、被検査物Ｍを特定方向に搬送する。図６では、図６中の矢印で示す、可視光照明装置１０５から近赤外光照射装置１０３に向かう方向に被検査物Ｍを搬送する。

搬送装置１０２としては、例えばベルトコンベア、パレットコンベヤ等を適用することができる。図６では、搬送装置１０２として、互いに平行な二つのローラ１０２ａ間に無端ベルト１０２ｂを掛け渡し、被検査物Ｍを無端ベルト１０２ｂの上面に載置して搬送するベルトコンベアを用いている。無端ベルト１０２ｂの上面の搬送方向中央部寄りに、被検査物Ｍとして豆類、米等のような粒状物が面状に広がって搬送される例を示している。なお、被検査物Ｍは、粒状物に限るものではなく、搬送装置１０２で搬送することができればどのような物体であっても適用することができる。

近赤外光照射装置１０３は、無端ベルト１０２ｂの上方に配置され、無端ベルト１０２ｂの上面に向けて近赤外光を出射する。近赤外光照射装置１０３は、近赤外光により照射された領域が、被検査物Ｍの搬送方向と平面視で直交する方向（以下、幅方向ともいう。）に延びる直線状の領域（以下、照射領域１０３ａという。）となるように、近赤外光を出射する。近赤外光照射装置１０３としては、ハロゲン照明装置やＬＥＤを適用することができる。照射領域１０３ａは、無端ベルト１０２ｂの幅方向の一端から他端まで延びている。これにより、搬送装置１０２で搬送される被検査物Ｍ全てが照射領域１０３ａを通過することになり、その結果、搬送中の全ての被検査物Ｍに対して近赤外光が照射されるようになっている。また、近赤外光照射装置１０３は、処理装置１０７からの制御信号で指定されるタイミングで近赤外光の照射を行う。

近赤外カメラ１０４は、無端ベルト１０２ｂの上面の直線状の照射領域１０３ａを撮影可能な位置に配置される。近赤外カメラ１０４は、照射領域１０３ａを撮影し、照射領域１０３ａを通過する被検査物Ｍで反射された近赤外光及び、被検査物Ｍと共に異物等が混在している場合にはこの異物等で反射された近赤外光も集光し、互いに異なる３つの波長λ０〜λ２の成分（以下、波長成分λ０〜λ２ともいう。）を検出し、これら３つの波長成分からなる撮像画像（以下、近赤外画像ともいう。）を処理装置１０７に出力する。３つの波長λ０〜λ２は、例えば、搬送中の被検査物Ｍに混在する異物や、被検査物Ｍの成分等、検出対象物の特性に応じて、異物や、検出対象の成分等を、検出することの可能な波長に設定される。近赤外カメラ１０４で検出する波長成分は、例えば、１２００ｎｍ以上１６００ｎｍ以下程度の波長に設定される。例えば、水分に関連する成分を検出したい場合には水の吸収波長１４５０ｎｍ程度に設定すればよい。近赤外カメラ１０４は、ラインセンサ等を含んで構成され、処理装置１０７からの制御信号で指定されるタイミングで撮影を行う。近赤外カメラ１０４として、例えば、５１２画素程度のラインセンサカメラを用いることができる。

可視光照明装置１０５は、無端ベルト１０２ｂの上方であり、且つ近赤外カメラ１０４よりも、搬送方向上流側に配置され、無端ベルト２ｂの上面に向けて可視光を照射する。可視光照明装置１０５は、可視光により照射された領域が、被検査物Ｍの搬送方向と平面視で直交する方向に延びる直線状の領域（以下、照射領域５ａという。）となるように、可視光を出射する。可視光照明装置１０５は、具体的には、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の３色の光を照射する。可視光照明装置１０５としては、例えば、白色ＬＥＤ照明装置を適用することができる。照射領域１０５ａは、無端ベルト１０２ｂの幅方向の一端から他端まで延びている。これにより、搬送装置１０２で搬送される被検査物Ｍ全てが照射領域１０５ａを通過することになり、その結果、搬送中の全ての被検査物Ｍに対して可視光が照射されるようになっている。

カラーカメラ１０６は、無端ベルト１０２ｂの上面の直線状の照射領域１０５ａを撮影可能な位置であり、且つ、近赤外カメラ１０４よりも搬送方向上流側であって、近赤外カメラ１０４と干渉しない位置に配置される。カラーカメラ１０６は、照射領域１０５ａを通過する被検査物Ｍで反射された可視光及び、被検査物Ｍと共に異物等が混在している場合にはこの異物等で反射された可視光も集光し、Ｒ、Ｇ、Ｂの３つの波長成分からなる撮像画像（以下、可視光画像ともいう。）を処理装置１０７に出力する。また、カラーカメラ１０６は、処理装置１０７からの制御信号で指定されるタイミングで撮影を行う。カラーカメラ１０６としては、例えば、４０９６画素程度のカラーラインセンサカメラを用いることができる。

処理装置１０７は、近赤外カメラ１０４からの近赤外波長成分としての波長成分λ０〜λ２からなる近赤外画像と、カラーカメラ１０６からの可視光波長成分としての波長成分Ｒ、Ｇ、Ｂからなる可視光画像とを入力し、これらに基づき解析処理を実行し、異物の有無等を判定する。
また、処理装置１０７は、搬送装置１０２の搬送速度と、照射領域１０３ａの位置と、照射領域１０５ａの位置等をもとに、被検査物Ｍが照射領域１０３ａ及び照射領域１０５ａを通過するタイミングで、照射領域１０３ａ、１０５ａ内の被検査物Ｍを撮影するように、近赤外カメラ１０４及びカラーカメラ１０６それぞれの撮影タイミングを決定し、撮影タイミングを指定する制御信号を近赤外カメラ１０４及びカラーカメラ１０６に出力する。また、近赤外カメラ１０４及びカラーカメラ１０６の撮影タイミングで照射領域１０３ａ、１０５ａに対して光照射を行うように、近赤外光照射装置１０３及び可視光照明装置１０５に制御信号を出力する。

例えば、図６の場合には、被検査物Ｍが連続して搬送されるため、搬送中の全ての被検査物Ｍが近赤外カメラ１０４及びカラーカメラ１０６のそれぞれによって撮影されるように、定周期で撮影する。このとき、近赤外カメラ１０４及びカラーカメラ１０６による前後の撮影タイミングにおける撮像画像が重複するように撮影してもよい。このように前後の撮像画像が一部で重複するように撮影タイミングを設定することによって、前後の撮影タイミングの間で、撮影されない被検査物Ｍが存在することを回避することが好ましい。

図７は、処理装置１０７において実行される解析処理の処理手順の一例を示すフローチャートである。処理装置１０７では、この解析処理を予め設定した定周期で実行する。なお、解析処理は、被検査物Ｍを搬送中に定周期で実行するようにしてもよく、また、可視光画像及び近赤外画像を記憶領域に格納し、一連の被検査物Ｍの搬送が終了した後に、記憶領域に記憶している可視光画像及び近赤外画像を読み出して解析処理を行うようにしてもよく、任意のタイミングで実行すればよい。

処理装置１０７は、まず、波長成分Ｒ、Ｇ、Ｂからなる可視光画像を入力し、所定の記憶領域に時系列に格納する（ステップＳ１）。同様に、波長成分λ０〜λ２からなる近赤外画像を入力し所定の記憶領域に時系列に格納する（ステップＳ２）。そして、これら可視光画像と近赤外画像とについて、撮像領域及び必要に応じて画像サイズを一致させる調整処理を行う（ステップＳ３ 撮像領域調整部）。なお、ここでいう撮像領域とは、近赤外画像及び可視光画像それぞれが表す、撮影対象物の実際の領域を意味する。

続いて、撮像領域や画像サイズを一致させた後の近赤外画像及び可視光画像から、波長成分毎の撮像画像（以下、周波数成分画像ともいう。）を生成する。つまり、λ０、λ１、λ２、Ｒ、Ｇ、Ｂの波長成分毎の六つの撮像画像を生成する（ステップＳ４ 周波数成分画像生成部）。
この生成した六つの波長成分毎の周波数成分画像を統合して画像特徴量を抽出し（ステップＳ５）、この画像特徴量に基づき解析を行う（ステップＳ６ 画像解析部）。例えば、図６の画像検査装置１０１では、異物の有無等を判定する。そして、解析結果を表示装置に表示する等の処理を行う。例えば、異物の有無や、異物の種類を表示する。また、異物の位置等を演算し、表示装置に表示するようにしてもよい。

ここで、近赤外カメラ１０４は照射領域１０３ａを通過する被検査物Ｍを撮影し、カラーカメラ１０６は照射領域１０５ａを通過する被検査物Ｍを撮影する。そのため、搬送中の被検査物Ｍの同一領域を同一タイミングで撮影することはできない。また、近赤外カメラ１０４とカラーカメラ１０６とは性能が異なるため、仮に、被検査物Ｍの同一領域を撮影したとしても、得られる撮像画像の画像サイズは異なる可能性がある。そのため、同一領域を撮影した近赤外画像と可視光画像とを重ねあわせたとしても、必ずしも一致しない。
ステップＳ５の処理で波長成分λ０〜λ２毎の周波数成分画像それぞれと、波長成分ＲＧＢ毎の周波数成分画像それぞれとを統合して、画像特徴量を抽出する処理を行うためには、六つの波長成分それぞれの周波数成分画像の撮像領域及び画像サイズを一致させる必要があり、これらの一致精度が高いほど、より高精度に画像特徴量を取得することができる。

撮像領域や画像サイズを一致させる調整処理（ステップＳ３）は、例えば、以下の方法で行う。
近赤外カメラ１０４及びカラーカメラ１０６はそれぞれ予め設定した定周期で撮影を行い、その撮像画像は例えば、１ピクセル毎のライン状に撮影されるものとする。近赤外カメラ１０４及びカラーカメラ１０６は、撮像画像を順に処理装置１０７に送信する。
処理装置１０７では、入力した近赤外カメラ１０４及びカラーカメラ１０６からの近赤外画像及び可視光画像を所定の記憶領域に順に格納する。そして、被検査物Ｍに対して検査範囲として設定した領域の単位で、近赤外画像及び可視光画像それぞれから一部を切り出す。

図８（ａ）は無端ベルト１０２ｂのある領域に対する撮像が先に開始されるカラーカメラ１０６による可視光画像、図８（ｂ）は同一の領域に対する撮像が後に開始される近赤外カメラ１０４による近赤外画像の一例である。なお、近赤外カメラ１０４及びカラーカメラ１０６では、搬送される被検査物Ｍを漏れなく撮影しており、前後の撮像画像どうしは同一領域を撮影した画像を含む。図８は、重複部分については撮像画像を重ねて繋げた場合を示す。なお、近赤外画像及び可視光画像において、前後の撮像画像で重複する部分については、例えばいずれか一方を採用する等の処理を行えばよい。

例えば、図８（a）に示す可視光画像については、検査範囲に対応する撮像画像のうち、検査範囲の先頭に対応する時点ｔ０における撮像画像から検査範囲の最後尾に対応する撮像画像までを検査領域ａとして切り出す。図８（b）に示す近赤外画像については可視光画像の検査範囲と同一の検査範囲に対応する撮像画像のうち、検査範囲の先頭に対応する時点ｔ１における撮像画像から検査範囲の最後尾に対応する撮像画像までを検査領域ｂとして切り出す。時点ｔ１は、時点ｔ０でカラーカメラ１０６で撮影された被検査物Ｍが近赤外カメラ１０４で撮影されるまでに得られる撮像画像数に応じて設定される。この撮像画像数は、例えば、近赤外カメラ１０４及びカラーカメラ１０６による撮影周期、搬送装置１０２による被検査物Ｍの搬送速度等に基づき設定される。

検査範囲に対応する検査領域ａは、カラーカメラ１０６の撮像領域等に基づき設定される。検査範囲に対応する検査領域ｂは、近赤外カメラ１０４の撮像領域等に基づき設定される。
ここで、近赤外カメラ１０４とカラーカメラ１０６とは、撮像領域の相違等から、同じ検査範囲に対応する撮像画像を切り出したとしても、両者のカメラの性能等によって、画像サイズや撮像領域が異なる。
例えば、近赤外カメラ１０４の撮像領域と、カラーカメラ１０６の撮像領域との、搬送装置１０２の幅方向のずれは、近赤外カメラ１０４とカラーカメラ１０６とを搬送方向に平行な同軸上に配置することにより、低減することができる。また、例えば図９に示すように、撮像領域が同一であっても両カメラの解像度に違いがある場合等には、画像サイズは異なる。この場合には、バイリニア補間法等を用いて拡大又は縮小を行うことで、画像サイズを合わせることができる。

近赤外カメラ１０４が撮影することのできる範囲と、カラーカメラ１０６が撮影することができる範囲とに違いがある場合には、近赤外カメラ１０４及びカラーカメラ１０６それぞれと、被検査物Ｍとの間の距離を調整することによって、撮像領域を一致させることができる。距離の調整が困難な場合には、近赤外画像と可視光画像とのうち、撮像領域が大きい方の撮像画像を、左右方向から所定のピクセル分だけ削除することで、撮像領域を一致させることができる。

近赤外カメラ１０４とカラーカメラ１０６とを同軸上に配置することができない場合には、撮像画像の幅方向両側から所定数のピクセルだけ画像を削除して左右方向の撮像領域を一致させ、さらに、画像の非線形な変換を行う必要がある。
なお、検査範囲に対応する撮像画像の切り出し方法は上記の方法に限るものではなく、任意の方法で切り出すことができる。
処理装置１０７では、画像特徴量の抽出及び解析を、ニューラルネットワークを用いて行う。

図１０は、処理装置１０７での、画像特徴量の抽出及び解析を行う解析処理の一例を示す概念図である。
ステップＳ４の処理で生成した、ＲＧＢそれぞれの波長成分毎の画像に分解されたＲ、Ｇ、Ｂそれぞれの周波数成分画像と、λ０〜λ２それぞれの波長成分に分解されたλ０、λ１、λ２それぞれの周波数成分画像との六種類の周波数成分画像を例えば、６チャネルの画像を入力とする深層畳み込みニューラルネットワークで構成されるニューラルネットワーク処理部１０７ａに入力する。ニューラルネットワーク処理部１０７ａは、十分な量の六種類の周波数成分画像を入力として、学習を行うことで、画像特徴量として例えば色及び形を抽出し、抽出した画像特徴量に基づき解析を行うことができるようになる。これにより、ニューラルネットワーク処理部１０７ａは、六種類の周波数成分画像毎の各画像特徴だけでなく、六種類の周波数成分画像の互いの関係性から得られる画像特徴も抽出することができるようになる。ニューラルネットワーク処理部１０７ａでは、例えば、１）異物なし、２）カラーカメラ１０６の撮像画像により被検査物Ｍと区別することができる異物Ａ、３）近赤外画像により被検査物Ｍと区別することができる異物Ｂ、４）可視光画像及び近赤外画像とを組み合わせることで被検査物Ｍと区別ができる異物Ｃ、のそれぞれについて六種類の波長成分毎の周波数成分画像を、それぞれ十分な量だけ学習させることで、深層畳み込みニューラルネットワークは、自動的に異物なしと、異物Ａ〜Ｃとに分類するために必要な画像特徴を抽出することができるようになる。

ここで、ＲＧＢ成分からなる可視光画像からは、被検査物Ｍの画像特徴量として色の情報を抽出することはできるが、どのような成分を含むかといった成分の種類を特定することは困難である。逆にλ０〜λ２の波長成分からなる近赤外画像からは、被検査物Ｍの画像特徴量として被検査物Ｍが含む成分の種類を検出することはできるが、色の情報を抽出することは困難である。
例えば、図１１に示すように、赤い糸、赤い樹脂、青い糸、青い樹脂、透明の樹脂が存在する場合、可視光画像から得たＲ、Ｇ、Ｂの周波数成分画像からは、「赤い物体が存在すること」及び「青い物体が存在すること」を推測することができる。しかしながら、赤い物体の成分が何かは推測することができない。

一方、近赤外画像から得たλ０、λ１、λ２の周波数成分画像からは、「糸が存在すること」及び「樹脂が存在すること」を推測することができる。しかしながら、糸や樹脂の色を推測することができない。
また、例えば、ビニール片などの透明な樹脂の場合、可視光画像では、樹脂にわずかに光沢があるためビニール片を検出できる場合もあるが、顕著な画像特徴ではないため、ほとんどは異物として検出することができない。一方、近赤外画像では、樹脂が存在することが高い確率で検出できるが、やはり色を推測することはできない。

しかしながら、上述のように、変形例に係る処理装置１０７では、Ｒ、Ｇ、Ｂそれぞれの周波数成分画像と、λ０、λ１、λ２それぞれの周波数成分画像との六種類の周波数成分画像を用いて、深層学習を行っている。そのため、可視光画像と、近赤外画像とを統合して特徴量の抽出を行うことができる。その結果、単に、ＲＧＢの周波数成分及びλ０〜λ２の周波数成分から特徴量を抽出するだけでなく、ＲＧＢの周波数成分とλ０〜λ２の周波数成分との互いの関係性から得られる画像特徴量も抽出することができる。つまり、図１１において、「赤い糸」、「赤い樹脂」、「青い糸」、「青い樹脂」、「透明の樹脂」を分類するための画像特徴量を得ることができる。その結果、被検査物Ｍと共に、例えば、「赤い糸」、「赤い樹脂」、「青い糸」、「青い樹脂」、「透明の樹脂」が混在している場合には、これらが混在していることをより高精度に検出することができる。また、混在している物体がどのようなものであるかつまり成分等も推測することができる。そのため、実際に混在している異物を視認し易くすることができる。

なお、上記変形例では、図８に示すように、撮像画像を、時系列に区切った検査範囲の単位で、画像解析を行う場合について説明したが、これに限るものではない。
例えば、処理装置１０７に、可視光画像及び近赤外画像を複数の部分画像に分割する分割処理を行う分割処理部を設け、図１２に示すように、可視光画像及び近赤外画像を、時系列に区切ると共に、無端ベルト１０２ｂの幅方向に対応する方向にも区切ることで、複数の部分画像に分割し、部分画像を検査領域ｃとして、部分画像の単位で解析を行うようにしてもよい。このようにより範囲の狭い部分画像の単位で解析を行うことによって、より狭い撮像領域について解析を行うことになるため、より精度よく特徴量の抽出を行うことができ、検査精度を向上させることができる。

このとき、隣り合う部分画像は、重複しないように設定してもよいし重複するように設定してもよい。例えば、部分画像が上下左右の隣り合う部分画像と重複するように部分画像を設定してもよい。例えば、撮像画像の同一部分が四つの部分画像と重複するように部分画像を設定すれば、重複部分に対して四回特徴量の抽出が行われることになる。そのため、より高精度な画像特徴量を抽出することができる。この場合、部分画像毎に解析結果を取得するようにしてもよく、一連の撮像画像に対する画像特徴量の抽出が終了したとき、或いは、重複部分を含む部分画像に対する画像特徴量の抽出が終了したときに解析結果を取得するようにしてもよい。また、このように同一部分に対して特徴量の抽出を四回行うように部分画像を設定した場合、撮像画像の端部においては、隣り合う部分画像が存在しない場合があるため、この場合には特徴量の抽出を四回行うことができない場合がある。この場合には、撮像画像の端部を含んで撮像画像の範囲を超えて部分画像を設定すればよい。このようにすることによって、撮像画像の端部においても精度よく特徴量の抽出を行うことができ、結果的に異物の有無等の検査精度を向上させることができる。

また、上記変形例においては、複数の被検査物Ｍと共に異物が混在するか否かを判定する場合について説明したが、これに限るものではない。被検査物Ｍに、本来被検査物Ｍに含まれているべき成分とは異なる成分が含まれるか否かつまり品質を判定することもできる。
また、上記変形例においては、被検査物Ｍが照射領域１０３ａ、１０５ａを連続して通過する場合について説明したがこれに限るものではない。例えば、被検査物Ｍが照射領域１０３ａ、１０５ａを断続的に通過するようになっている場合、また、被検査物Ｍが静止している場合であっても適用することができ、要は、被検査物Ｍで反射する可視光及び近赤外光を用いて異物等の検知を行うようにした装置であれば適用することができる。

また、上記変形例においては、近赤外カメラ１０４によってλ０〜λ２の三波長を検出し、カラーカメラ１０６によってＲＧＢの三波長を検出する場合について説明したが、これに限るものではない。少なくとも近赤外カメラ１０４によって一波長を検出し、カラーカメラ１０６によって一波長を検出すればよく、任意数の波長を検出するようにしてもよい。例えば、被検査物Ｍと共に混在する物体が決まっている場合には、カラーカメラ１０６によって、混在する物体の色に応じた一波長を検出し、近赤外カメラ１０４によって混在する物体の品質に応じた一波長を検出するようにすればよい。

なお、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらす全ての実施形態をも含む。さらに、本発明の範囲は、全ての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画され得る。

１、１ａ、１ｂ 画像検査装置
２ 撮像部
３ 制御装置
４ 画面出力部
５ 命令入力部
１０１ 画像検査装置
１０２ 搬送装置
１０２ａ ローラ
１０２ｂ 無端ベルト
１０３ 近赤外光照射装置
１０４ 近赤外カメラ
１０５ 可視光照明装置
１０６ カラーカメラ
１０７ 処理装置
Ｍ 被検査物

Claims (14)

1. 検査用画像と当該検査用画像に対する検査結果とからなる学習データをもとに、クラス分類とオートエンコーダとの二種類のマルチタスク学習を行った深層畳み込みニューラルネットワークを含んで構成される検査モデルを取得する検査モデル取得部と、
   撮像部と、
   前記検査モデル取得部で取得した前記検査モデルを用いて、前記撮像部で取得した撮像画像の解析を行う検査部と、を備えることを特徴とする画像検査装置。
2. 一又は複数の前記検査モデルを記憶する検査モデル保存部を備え、
   前記検査モデル取得部は、前記検査部で用いられる前記検査モデルを、前記検査モデル保存部に格納された検査モデルの中から選択することを特徴とする請求項１に記載の画像検査装置。
3. 前記撮像部は、
   被検査物に可視光を照射する可視光照明装置と、
   前記被検査物に近赤外光を照射する近赤外光照射装置と、
   前記被検査物表面で反射した前記可視光のうちの少なくとも一つの可視光波長成分を検出するカラーカメラと、
   前記被検査物表面で反射した前記近赤外光のうちの少なくとも一つの近赤外波長成分を検出する近赤外カメラと、
   前記カラーカメラによる前記可視光波長成分を含む可視光画像が表す実際の撮像領域と前記近赤外カメラによる前記近赤外波長成分を含む近赤外画像が表す実際の撮像領域とが一致するように、前記可視光画像の画像情報及び前記近赤外画像の画像情報の少なくともいずれか一方を調整する調整処理を行う撮像領域調整部と、
   前記撮像領域調整部で調整した後の前記可視光画像の画像情報及び前記近赤外画像の画像情報から、前記可視光画像及び前記近赤外画像それぞれに含まれる前記可視光波長成分及び前記近赤外波長成分毎の撮像画像である周波数成分画像を作成する周波数成分画像生成部と、を備え、
   前記検査部は、前記周波数成分画像生成部で生成した複数の前記周波数成分画像から画像特徴量を抽出し、当該画像特徴量に基づき前記可視光画像及び前記近赤外画像の解析を行うことを特徴とする請求項１又は請求項２に記載の画像検査装置。
4. 前記調整処理後の前記可視光画像及び前記近赤外画像を複数の部分画像に分割する分割処理部を有し、前記部分画像それぞれが表す実際の撮像領域は、前記可視光画像及び前記近赤外画像間で同一の領域に設定され、
   前記周波数成分画像生成部は、実際の撮像領域が前記可視光画像及び前記近赤外画像間で同一である部分画像毎に、前記周波数成分画像を作成することを特徴とする請求項３に記載の画像検査装置。
5. 前記周波数成分画像それぞれを複数の部分画像に分割する分割処理部を有し、前記部分画像それぞれが表す実際の撮像領域は、前記周波数成分画像間で同一の領域に設定され、
   前記検査部は、実際の撮像領域が前記周波数成分画像間で同一である前記部分画像毎に、前記複数の周波数成分画像から前記画像特徴量を抽出することを特徴とする請求項３に記載の画像検査装置。
6. 前記被検査物は食品であることを特徴とする請求項３から請求項５のいずれか一項に記載の画像検査装置。
7. 複数の画像検査装置と、
   当該画像検査装置それぞれとネットワークを介して接続される管理サーバと、
   を備え、
   前記画像検査装置のそれぞれは、検査用画像と当該検査用画像に対する検査結果とからなる学習データを保存する画像及び結果保存部と、
   当該画像及び結果保存部で保存する学習データを用いて学習を行い検査モデルを構築する検査モデル構築部と、
   撮像部と、
   前記検査モデルを用いて前記撮像部で撮像された撮像画像の解析を行う検査部と、
   収集した前記学習データを前記管理サーバに送信すると共に、前記管理サーバから他の画像検査装置で収集した前記学習データを取得する通信部と、
   を有し、
   前記管理サーバは、前記画像検査装置から送信された前記学習データを保存すると共に、一の前記画像検査装置から送信された前記学習データを、他の前記画像検査装置に送信する画像及び結果管理部を備え、
   前記検査モデル構築部は、自装置で収集した前記学習データと、前記管理サーバから受信した前記学習データとを用いて前記検査モデルを構築することを特徴とする検査モデル構築システム。
8. 複数の画像検査装置と、
   当該画像検査装置それぞれとネットワークを介して接続される管理サーバと、
   を備え、
   前記画像検査装置のそれぞれは、検査用画像と当該検査用画像に対する検査結果とからなる学習データを保存する画像及び結果保存部と、
   撮像部と、
   検査モデルを用いて前記撮像部で撮像された撮像画像の解析を行う検査部と、
   前記画像及び結果保存部で保存する学習データを前記管理サーバに送信すると共に、前記管理サーバから検査モデルを取得する通信部と、
   を有し、
   前記管理サーバは、前記画像検査装置から送信された前記学習データを保存する画像及び結果管理部と、
   前記画像及び結果管理部で管理する前記画像検査装置から送信された前記学習データを用いて学習を行い検査モデルを構築する検査モデル構築部と、
   前記検査モデル構築部で構築した前記検査モデルを前記画像検査装置に送信する検査モデル管理部と、
   を備え、
   前記検査部は、前記検査モデル管理部から受信した前記検査モデルを用いて前記撮像画像の解析を行うことを特徴とする検査モデル構築システム。
9. 前記検査モデル構築部は、転移学習又はファインチューニングを利用して前記検査モデルを構築することを特徴とする請求項８に記載の検査モデル構築システム。
10. 前記管理サーバは、前記複数の画像検査装置のいずれか一つであることを特徴とする請求項７から請求項９のいずれか一項に記載の検査モデル構築システム。
11. 前記撮像部は、
    被検査物に可視光を照射する可視光照明装置と、
    前記被検査物に近赤外光を照射する近赤外光照射装置と、
    前記被検査物表面で反射した前記可視光のうちの少なくとも一つの可視光波長成分を検出するカラーカメラと、
    前記被検査物表面で反射した前記近赤外光のうちの少なくとも一つの近赤外波長成分を検出する近赤外カメラと、
    前記カラーカメラによる前記可視光波長成分を含む可視光画像が表す実際の撮像領域と前記近赤外カメラによる前記近赤外波長成分を含む近赤外画像が表す実際の撮像領域とが一致するように、前記可視光画像の画像情報及び前記近赤外画像の画像情報の少なくともいずれか一方を調整する調整処理を行う撮像領域調整部と、
    前記撮像領域調整部で調整した後の前記可視光画像の画像情報及び前記近赤外画像の画像情報から、前記可視光画像及び前記近赤外画像それぞれに含まれる前記可視光波長成分及び前記近赤外波長成分毎の撮像画像である周波数成分画像を作成する周波数成分画像生成部と、を備え、
    前記検査部は、前記周波数成分画像生成部で生成した複数の前記周波数成分画像から画像特徴量を抽出し、当該画像特徴量に基づき前記可視光画像及び前記近赤外画像の解析を行うことを特徴とする請求項７から請求項１０のいずれか一項に記載の検査モデル構築システム。
12. 前記調整処理後の前記可視光画像及び前記近赤外画像を複数の部分画像に分割する分割処理部を有し、前記部分画像それぞれが表す実際の撮像領域は、前記可視光画像及び前記近赤外画像間で同一の領域に設定され、
    前記周波数成分画像生成部は、実際の撮像領域が前記可視光画像及び前記近赤外画像間で同一である部分画像毎に、前記周波数成分画像を作成することを特徴とする請求項１１に記載の検査モデル構築システム。
13. 前記周波数成分画像それぞれを複数の部分画像に分割する分割処理部を有し、前記部分画像それぞれが表す実際の撮像領域は、前記周波数成分画像間で同一の領域に設定され、
    前記検査部は、実際の撮像領域が前記周波数成分画像間で同一である前記部分画像毎に、前記複数の周波数成分画像から前記画像特徴量を抽出する請求項１１に記載の検査モデル構築システム。
14. 前記被検査物は食品であることを特徴とする請求項１１から請求項１３のいずれか一項に記載の検査モデル構築システム。

Images