JP2016138789A - 分光イメージングシステム - Google Patents

Abstract

【課題】 農水産物や加工食品などの検査対象物に混入した異物等を検査するときの計測速度の高速化を図ることが可能な分光イメージングシステムを提供する。【解決手段】 分光イメージングシステム１０は、互いに異なる波長の光を透過する複数の光学干渉フィルタ２２ａ，２２ｂ，・・・と、前記複数の光学干渉フィルタ２２ａ，２２ｂ，・・・を透過した検査対象物における複数の波長の分光画像２８ａ，２８ｂ，・・・を結像する撮像素子２３と、を備えた光学モジュール２０を構成する。前記光学モジュール２０の撮像素子２３に結像した複数の波長の分光画像データを同期して取得し、同時に前記複数の波長の分光画像データをデータ解析装置３０へ転送するデータ転送手段を備える。【選択図】 図３

Description

本発明は、農水産物や加工食品などの検査対象物に混入した異物等を検査したり、あるいは特定の物質の含有量を定量推定したりする分光イメージングシステムを提供する技術に関する。

例えば、加工食品などの製造工程においては、人毛やプラスチック片などの異物が混入の可能性があることから、異物検査の実施が不可欠である。
一般的に、異物検査の装置としては、Ｘ線異物検査装置や金属検出機（金属探知機）などが使用されているが、上記のような低密度、非金属の異物を検出することは困難である。そのため、多くは目視検査を実施している。
一方、高速搬送される食品は視検査自体が困難であり、検査精度を上げるには搬送速度を抑える必要がある。それは生産効率を低下させることになる。その逆に、生産効率を上げるには目視検査工程を簡略化する必要があるが、検査精度の低下を招くおそれもある。

そこで、従来では、図１０に示すように、上記のような低密度、非金属の異物を検出するために、イメージング分光器１１１を使った分光イメージングシステム１１０が開発されている。この分光イメージングシステム１１０は、イメージング分光器１１１及びＣＣＤカメラ１１２を用いて得られた画像からスペクトルデータを取得するものである。例えば、図１０に示すように、計測対象となるサンプルＳをコンベアラインで移動させ、当該コンベアラインの上方にイメージング分光器１１１およびＣＣＤカメラ１１２を設置する。イメージング分光器１１１は、図１０の矢印で示すように、コンベアラインの搬送方向を直交する直線状の計測領域１１３を有しており、コンベアライン上のサンプルＳが前記計測領域１１３を通過する時に、図１１（ａ）に示すように、複数枚の画像１１４ａ，１１４ｂ，・・・を撮像し、複数の分光データ１１５ａ，１１５ｂ，・・・を取得することになる。

各分光データ１１５ａ，１１５ｂ，・・・は、図１１（ｂ）に示すように、空間軸ｘと波長軸λの２つの変数により構成される二次元データである。なお、空間軸の画素数分のスペクトルデータを示すラインは、図１０における計測領域１１３である。図１１（ａ）では、サンプルＳの全体が計測領域１１３を通過する際に取得した複数の分光データ１１５ａ，１１５ｂ，・・・を、サンプルＳの移動方向ｙ軸に並べた状態でイメージ的に示している。

前記の複数の分光データ１１５ａ，１１５ｂ，・・・から、例えば波長λ_１のデータをサンプルＳの移動方向ｙ軸に並べると、図１１（ｃ）に示すように、波長λ_１における分光画像１１６を得る。すなわち、異なる波長ごとの分光画像１１６ａ，１１６ｂ，・・・を得ることで、数十から百波長程度の分光画像１１６ａ，１１６ｂ，・・・を取得することが可能である。以上のように、空間軸ｘが分光データ１１５と分光画像１１６における二次元、波長軸λが一次元、合計三次元のハイパースペクトルキューブを取得する構造である。

上記のように一回の計測で得られた複数のスペクトルデータでは、「主成分分析＋1-classサポートベクターマシン」のパターン認識アルゴリズムを適用して、食品表面の異物を識別することができる。
このパターン認識アルゴリズムは、図１０に示す計測領域１１３の一ライン分の分光データ１１５によって処理可能である。すなわち、このアルゴリズムは、サンプルＳの全体の分光データ１１５ａ，１１５ｂ，・・・を取得するのを待たずに、計測サンプル上の一ライン分の分光データごとに逐次処理できるので、サンプルＳがコンベアラインで搬送されるような状況に有効な方法である。

従来の他の分光イメージングシステム１２０としては、図１２に示すように、複数枚のバンドパスフィルタ１２２ａ，１２２ｂ，・・・を搭載したフィルタホイール１２１と、各フィルタを透過して取得する像を撮像するＣＣＤカメラ１２３と、を備えた構成も考えられる。図１２では、サンプルＳの表面に付着した異物が、あるフィルタ１２２ａによる波長で識別される状態を示している。すなわち、ＣＣＤカメラ１２３は、複数のバンドパスフィルタ１２２ａ，１２２ｂ，・・・を透過した像を撮影することで、複数の画像データを取得し、これらの複数の画像データを解析することによって異物を識別する。

前述の分光イメージングシステム１１０，１２０とは異なるが、特許文献１に示すような複数波長の分光画像を取得するマルチスペクトルカメラが考案されている。このマルチスペクトルカメラは、互いに異なる波長の透過波長域を備えた４以上の透過領域を有するバンドパスフィルタと、前記の４以上の透過領域を透過した光を受光して受光信号を出力する複数の光電変換素子を備えている。さらに、複数の光電変換素子から出力する複数の受光信号が略同一の信号レベルとなるように、前記複数の光電変換素子に入射する光の強度を波長ごとに調節する構成である。これにより、フィルタの分光特性やレンズの分光特性、受光素子の感度などを正確に測定しなくても、正確な分光データを得ることができるとしている。

特開２０１４―７５６６９号公報

しかし、前述の図１０の従来の分光イメージングシステム１１０は、サンプルＳの全体がイメージング分光器１１１の計測領域１１３を通過しないと、全ての分光データ１１５ａ，１１５ｂ，・・・（ハイパースペクトルデータ）を取得することができない。この点で、ＣＣＤカメラ１１２の撮像速度（フレームレート）には上限があるために、サンプルＳの全体を計測する速度が遅くなる。

実際に試作した分光イメージングシステム１１０では、ＣＣＤカメラ１１２の撮像速度が３０フレーム／秒であった。上記の計測領域１１３のライン幅が１ｍｍ程度であるので、１秒間に３０ｍｍ程度の速度でしか計測できない。この速度はＸ線異物検査装置に比べて遅い。ちなみに、Ｘ線異物検査装置の検査速度は、３００ｍｍ／秒程度である。

分光イメージングシステム１１０の処理速度を向上させるために、例えばフレームレートが高速な撮像素子を内蔵したカメラ、例えばＣＭＯＳカメラを用いることができるが、やはり限界がある。例えば、１００フレーム／秒の高速なＣＭＯＳカメラを用いた場合でも計測速度は１００ｍｍ／秒程度である。これ以上に計測速度を上げるには、さらに高速・高感度のカメラが必要である。
したがって、従来の分光イメージングシステム１１０は、計測速度が遅いために、例えば食品工場の製造ラインに組み込む検査装置としては検査速度の点で課題があった。

また、従来の分光イメージングシステム１１０の構成では、波長軸は可視光領域から近赤外光領域（４００〜１０００ｎｍ）のレンジをカバーしているが、空間軸ｘは計測領域１１３のライン幅が１ｍｍ程度であるために制限されている。
このシステム１１０の場合、可視光領域から近赤外光領域（４００〜１０００ｎｍ）までを同時に取得しているので、計測後の波長の選択には自由度がある。例えば、データ解析段階において、全ての波長を使ってデータ解析を行う、或いは、特定の少ない数の波長を選んで解析することも可能である。しかし、常に可視光領域から近赤外光領域のスペクトルデータを取得しているので、少数の波長しか使わないとしても計測速度は変わらない。

図１２で示した分光イメージングシステム１２０は、バンドパスフィルタ１２２ａ，１２２ｂ，・・・を選ぶことで、波長選択に自由度がある。しかし、フィルタホイール１２１を回転させて切り替えるのに時間を要するので、例えばコンベアラインなどで移動するサンプルＳに対しては不向きである。
また、フィルタ１２２ａ，１２２ｂ，・・・の枚数が多くなると、その数に比例して全ての波長の分光画像を取得するには多くの時間がかかる。例えば、６４波長分のフィルタ１２２ａ，１２２ｂ，・・・を搭載している場合、３０フレーム／秒のカメラで全てのフィルタの分光画像を取得するには、約２秒程度かかる。この間は、計測対象のサンプルＳを固定しておく必要がある。したがって、波長選択の自由度はあるが、計測速度が遅いので、処理速度の向上が課題であった。

なお、より高度な分光装置としては、液晶チューナブルフィルタ（ＬＣＴＦ）がある。このＬＣＴＦは数枚の液晶により透過波長を選択する分光装置である。電気的な制御によってある波長幅の光を透過させることができるが、その透過波長の切り替えのために毎回数ミリ秒かかるので、サンプルＳを固定しておく必要がある。
したがって、ＬＣＴＦにおいても、波長選択の自由度はあるが、計測速度が遅いので、処理速度の向上が課題であった。

特許文献１のマルチスペクトルカメラは、フィルタの分光特性やレンズの分光特性、受光素子の感度などを正確に測定しなくても、正確な分光データを得ることを目的としている。すなわち、マルチスペクトルカメラとしての機能を向上することが目的であって、前述したような分光イメージングシステム１１０，１２０における計測速度を向上する課題を解決するものではなかった。

本発明はこのような事情に鑑みてなされたものであって、農水産物や加工食品などの検査対象物に混入した異物等を検査する際に、計測速度の高速化を図ることができる分光イメージングシステムを提供することを目的とする。

請求項１記載の発明は、互いに異なる波長の光を透過する複数の光学干渉フィルタと、前記複数の光学干渉フィルタを透過した検査対象物における複数の波長の分光画像が結像する撮像素子と、を備えた光学モジュールを構成し、
前記光学モジュールの撮像素子に結像した複数の波長の分光画像データを同期して取得し、同時に前記複数の波長の分光画像データをデータ解析装置へ転送するデータ転送手段を備えたことを特徴としている。

請求項２記載の発明は、複数の前記光学モジュールを隣り合うように並べて配置したマルチカメラを構成し、
前記データ転送手段は、複数の前記光学モジュールの撮像素子に結像した複数の波長の分光画像データを同期して取得し、同時に前記複数の波長の分光画像データを全部又は選択的にデータ解析装置へ転送することを特徴としている。

請求項３記載の発明は、データ解析装置は、複数の波長の分光画像データに基づいて解析・パターン認識を実施する画像処理装置と、検査対象物と同一サンプルの正常データの特徴量と検査対象物から取得した計測データの特徴量とを比較して検査対象物が正常か否かを判別するパターン認識を行う比較判断装置と、を備えたことを特徴としている。

請求項４記載の発明は、前記画像処理装置は、検査対象物のサンプルごとに自動で正常なバラツキ範囲の閾値を前記正常データの特徴量として設定し、前記比較判断装置は、検査対象物から取得した計測データの特徴量が前記閾値を越えたか否かで、前記検査対象物が正常か否かを判別することを特徴としている。

請求項５記載の発明は、前記画像処理装置は、複数の波長の分光画像データにおける各分光画像を小ブロックに分割し、前記比較判断装置は、各ブロックごとに正常データの特徴量と計測データの特徴量とを比較してパターン認識を行うことを特徴としている。

請求項６記載の発明は、前記画像処理装置は、複数の波長の分光画像データにおける各分光画像の特徴量をスペクトルデータとし、検査対象物上の各点におけるスペクトルデータは、その検査対象物上の各点に対応する複数の波長の分光画像の画素を抽出して波長の大きさの順番に並べた分布とすることを特徴としている。

本発明によれば、光学モジュールは、互いに異なる波長の光を透過する複数の光学干渉フィルタを備えているので、検査対象物における複数の波長の分光画像が、撮像素子面上で結像する。撮像素子に結像した複数の波長の分光画像データを全部又は選択的に同期して取得する。その結果、数十〜数百の波長の分光画像を同時に取得できるので、計測時間の高速化が可能となる。また、検査対象物に対する検査内容に応じて、複数の波長の分光画像データの中から選択的に必要な波長の分光画像データを取得することで、検査時間の高速化に寄与する。

また、複数の前記光学モジュールを並べて配置することで、さらに多くの異なる波長の分光画像を同期して取得することができることから、検査時間の高速化を図ることができる。また、検査対象物の形状に応じて複数の光学モジュールを配置することができる。また、検査対象物に応じて分光画像データを全部又は選択的に転送できる。

加えて、予め、画像処理装置で実施されたパターン認識を基にして、検査対象物と同一サンプルの異物混入のないデータの特徴量を計算する。実際に、対象物を検査する際に、検査対象物から取得した複数の波長の分光画像データから検査データの特徴量を計算する。この検査データの特徴量と正常データの特徴量とを比較判断装置にて比較することにより、検査対象物が正常か否かを容易に判別することができる。加えて、高速でデータ解析・パターン認識することで、検査時間の高速化に寄与する。

さらに、異物混入のない正常なサンプルにおいても成分にバラツキのある検査対象物から取得した特徴量に対して計測毎に自動で閾値を設定することで、正常なサンプルの成分のバラツキによらず前記閾値をもとに検査対象物が正常か否かを判定する。その結果、正常な検査対象物と異常な検査対象物をよりいっそう確実に選別することができる。

また、複数の波長の各分光画像ごとに小ブロックに分け、小ブロックごとの特徴量を算出する。正常な検査対象物であれば類似した特徴量となり、異物があればそれから逸脱する特微量となることから、容易に異物として判別することができる。これにより、データ解析・パターン認識を高速で行うことが可能となり、検査時間の短縮化に寄与する。

さらに、複数の波長の各分光画像の特徴量をスペクトルデータとし、検査対象物上の各点におけるスペクトルデータは、それら検査対象物上の各点に対応する複数の波長の分光画像の画素を抽出して波長の大きさの順番に並べた分布とすることで、前記各点の特徴量の分布が明確になる。その結果、前記スペクトルデータの対応する小ブロックについて特徴量のパターン認識を比較するときに、よりいっそう確実に異物を検出することができる。

本発明に係る分光イメージングシステムにおける光学モジュールの分解斜視図である。 （ａ）は、検査対象物を示す斜視図である。（ｂ）は、４つの分光画像を示す説明図である。 本発明の分光イメージングシステムを示す概略説明図である。 （ａ）は、光学モジュールの基本モジュールの斜視図である。（ｂ）は、４×４モジュールの斜視図である。 コンベアラインの上に配置した光学モジュールの配置状態を示す説明図である。 （ａ）は、２×３モジュールの斜視図である。（ｂ）は、４×２モジュールの斜視図である。 （ａ）は、円筒状の検査対象物を検査するためのモジュールの斜視図である。（ｂ）は、球状の検査対象物を検査するためのモジュールの斜視図である。 「ＣＣＤカメラ＋イメージング分光器」によって取得した、サンプル上の1ライン分のスペクトルデータの主成分スコアを表示した図である。 複数の波長における吸光度スペクトルのグラフである。 （ａ）〜（ｄ）は、各分光画像における画像認識手法を示す説明図である。 従来の分光イメージングシステムの概略を示す斜視図である。 （ａ）〜（ｃ）は、従来の分光イメージングシステムからデータを取得する方法の説明図である。 従来の別の分光イメージングシステムの概略を示す斜視図である。

以下、本発明の実施形態に係る分光イメージングシステムについて図面を参照して説明する。図１は、本発明の分光イメージングシステムにおける光学モジュールの構成を概略的に示した図である。図２は、図１の光学モジュールで取得した分光画像の一例を示す。図３は、図１の光学モジュールを複数個、並べて配置して取得したデータをデータ解析装置へ転送する構成を説明する概略図である。

図１及び図２に示されるように、本実施形態の分光イメージングシステム１０は、互いに異なる波長の光を透過する複数の光学干渉フィルタ２２ａ，２２ｂ，・・・を介して検査対象物における複数の波長の分光画像２８ａ，２８ｂ，・・・を結像する光学モジュール２０を備えている。
光学モジュール２０は、本実施形態では、図１に示すように、４つのレンズ２１，２１，・・・と、前記各レンズ２１，２１，・・・に対応して配置され、かつ互いに異なる波長の光を透過する４つの光学干渉フィルタ２２ａ，２２ｂ，・・・と、前記各レンズ２１，２１，・・・及び各光学干渉フィルタ２２ａ，２２ｂ，・・・を透過した検査対象物の像を結像する撮像素子２３と、を備えて構成されている。

なお、光学モジュール２０は、基本的に、検査対象物における複数の波長の分光画像２８ａ，２８ｂ，・・・を結像し、複数の波長の分光画像データを取得するもので、光学干渉フィルタ２２ａ，２２ｂ，・・・は、４つには限定されない。レンズ２１は、必ずしも光学干渉フィルタ２２と対応しなくてもよく、１つでも、あるいは複数個でもよく、数は限定されない。撮像素子２３は、複数の波長の分光画像２８ａ，２８ｂ，・・・を結像できればよいので、１つでも、あるいは複数個でもよく、数は限定されない。

図１では、４つのレンズ２１，２１，・・・は、縦横２つずつ隣り合って並ぶように、断面がほぼ正方形状の枠体をなすレンズホルダ２６に収納して配置されている。レンズホルダ２６は、断面がほぼ正方形の筒状をなす視野絞りケース２７の前側に取り付けられる。
４つの光学干渉フィルタ２２ａ，２２ｂ，・・・は、前記４つのレンズ２１，２１，・・・に対向する位置で縦横２つずつ隣り合って並ぶように、視野絞りケース２７の内部に配置される。視野絞りケース２７の内部は、４つの光学干渉フィルタ２２ａ，２２ｂ，・・・を仕切るための仕切りを設けている。また、撮像素子２３は、視野絞りケース２７の後側に取り付けられる。

前述のレンズホルダ２６、視野絞りケース２７および撮像素子２３は、断面がほぼ正方形状をなす開口絞りケース２４の内部へ収納されるように構成されている。また、開口絞りケース２４の前端面には、４つのレンズ２１，２１，・・・の焦点を絞るための４つの絞り用孔２５，２５，・・・を形成している。なお、レンズ２１，２１，・・・と光学干渉フィルタ２２ａ，２２ｂ，・・・は、光の透過方向の前後の位置を入れ替えても正常に機能する。

さらに、図３に示されるように、分光イメージングシステム１０は、上記の光学モジュール２０の撮像素子２３に結像した複数の波長の分光画像データを同期して取得し、その取得した複数の波長の分光画像データを同時にデータ解析装置３０へ転送するデータ転送手段を備えている。

光学モジュール２０は、検査対象物の像が４つの各レンズ２１，２１，・・・および各レンズ２１，２１，・・・に対向する４つの各光学干渉フィルタ２２ａ，２２ｂ，・・・を透過する。４つの光学干渉フィルタ２２ａ，２２ｂ，・・・は互いに異なる波長の光を透過するので、撮像素子２３には、４つの異なる波長の分光画像２８ａ，２８ｂ，・・・が結像する。
本実施形態では、図２（ａ）に示すように、一例として豚肉を検査対象物としている。撮像素子２３には、図２（ｂ）に示すように、４つの異なる波長の分光画像２８ａ，２８ｂ，・・・の豚肉に関する画像が結像し、これらのデータがデータ解析装置３０へ同時に転送されるようになっている。

図３に示すように、光学モジュール２０，２０，・・・は、複数個を隣り合うように並列配置したマルチカメラとして構成することが可能である。その結果、例えば基本モジュールである光学モジュール２０が、ｎ個の異なる波長の分光画像２８ａ，２８ｂ，・・・を撮像素子２３，２３，・・・に結像する場合、隣り合うように並べて配置した光学モジュール２０の数がｍ個であれば、合計でｎ×ｍ個の異なる波長の分光画像２８ａ，２８ｂ，・・・を撮像素子２３，２３，・・・に結像することができる。
したがって、データ転送手段は、ｎ×ｍ個の異なる波長の分光画像データを同期して取得し、同時にデータ解析装置３０へ転送することができる。あるいは、ｎ×ｍ個の異なる波長の分光画像データから、選択的に所望位置の光学モジュール２０，２０，・・・を選んで、複数の異なる波長の分光画像データを同期して取得し、同時にデータ解析装置３０（演算装置）へ転送することができる。なお、上記の複数の分光画像データは、高速転送可能な通信用インターフェイス３１などを使用して高速転送することができる。

例えば、図３および図４（ａ）では、前述の４つの異なる波長の分光画像データを取得可能な光学モジュール２０を基本モジュールとした場合、図３および図４（ｂ）に示すように、光学モジュール２０，２０，・・・を４×４の正方に配置している。この場合は、合計で１６個の光学モジュール２０，２０，・・・であるので、６４（＝４×１６）波長の分光画像２８ａ，２８ｂ，・・・を撮像素子２３に結像することができる。したがって、６４波長の分光画像データを同期して取得し、同時にデータ解析装置３０へ高速転送することができる。あるいは、６４波長の分光画像データから、必要な波長である光学モジュール２０，２０，・・・を選び、その選択した数だけの異なる波長の分光画像データを同期して取得し、同時にデータ解析装置３０へ高速転送することができる。

データ解析装置３０では、図３に示すように、高速でデータ解析・パターン認識することによって、検査対象物の特徴量をもとに品質検査や異物検査を高速で実施することができる。データ解析装置３０については別途詳しく説明する。

図５は、検査対象物を検査するために、複数の光学モジュール２０，２０，・・・をコンベア４０のライン上方に設置して構成したマルチカメラの概略構成を示す説明図である。前述の４つの異なる波長の分光画像データを取得可能な光学モジュール２０，２０，・・・を、基本モジュールとしている。これらの複数の各光学モジュール２０，２０，・・・は、その下方位置のコンベア４０で搬送される検査対象物を撮像し、互いに異なる複数の波長の分光画像データを取得するように構成されている。

図５では、８列の光学モジュール２０，２０，・・・をコンベア４０の幅方向に並べて配置するとともに、各列には４個の光学モジュール２０，２０，・・・をコンベア４０の搬送方向に並べて配置している。したがって、４個×８列で、合計３２個の光学モジュール２０，２０，・・・を配置しているので、合計１２８波長の分光画像データを同時に取得することが可能となる。
しかし、各列ごとに検査範囲の幅寸法を限定している場合は、各列ごとに４×４で合計１６波長の分光画像データを同期して取得することになる。つまり、どの列も同じ１６波長の分光画像データをそれぞれ独立して取得する。

例えば、コンベア４０の幅を２４０ｍｍ、光学モジュール２０における撮像エリアの縦と横の寸法を３０ｍｍ×３０ｍｍとした場合、各列は、幅が３０ｍｍで、搬送方向の長さが１２０ｍｍである。したがって、８列全体の幅寸法は２４０ｍｍとなるので、１２８個の光学モジュール２０，２０，・・・がコンベア４０の幅方向の全長と搬送方向において、２４０ｍｍ×１２０ｍｍの撮像エリアに配置されることとなる。

上記の場合では、図４（ｂ）に示すように４×４の光学モジュール２０，２０，・・・を正方形に配置したものを一ユニットとすると、合計２つのユニットをコンベア４０の幅方向に並べて配置することが可能であるが、この場合は各ユニットごとに、同期して６４波長の分光画像データを一時に取得することができる。

本実施形態では検査対象物として豚肉を用いた場合であるが、検査対象物としては豚肉の他、牛肉などのその他の肉類、蒲鉾やすり身などの加工水産品、その他の加工食品、あるいは他の形態の物品とすることができ、特に限定されない。

各列の４個の光学モジュール２０，２０，・・・では、幅３０ｍｍの範囲が計測範囲となる。つまり、下方位置のコンベア４０で搬送される検査対象物を撮像し、各列ごとに同じ１６波長の分光画像データを同期して取得する。したがって、各列ごとに３０ｍｍ幅の範囲を通過する検査対象物に対して計測した１６波長の分光画像データに基づいてデータ解析することになる。

例えば、異物を検出する場合、各列ごとに３０ｍｍ幅の範囲を通過する検査対象物に対して計測した１６波長の分光画像データに基づいてデータ解析して異物を検出する。したがって、８列の光学モジュール２０，２０，・・・で、コンベア４０にて搬送される全ての検査対象物に対する異物を検出することができる。

一方、検査対象物の水分含有量を定量推定する場合は、各列ごとに３０ｍｍ幅の範囲を通過する検査対象物に対して計測した１６波長の分光画像データに基づいてデータ解析を行うことにより、水分含有量を定量推定する。したがって、８列の光学モジュール２０，２０，・・・で、コンベア４０にて搬送される全ての検査対象物に対する水分含有量を定量推定することができる。

なお、異物を検出する場合の１６波長と、水分含有量を定量推定する場合の１６波長は異なっている。すなわち、異物を検出する場合に用いる光学干渉フィルタ２２と、水分含有量を定量推定する場合に用いる光学干渉フィルタ２２は、異なる波長を透過するものとする。

もし、コンベア４０で搬送される検査対象物に対して、異物を検出し、さらに水分含有量を定量推定する場合は、図５で示した４個×８列の光学モジュール２０，２０，・・・と、その搬送方向下流側に同様の４個×８列の光学モジュール２０，２０，・・・を配置することによって対処することができる。例えば、搬送方向上流側の４個×８列の光学モジュール２０，２０，・・・で異物を検出し、搬送方向下流側の４個×８列の光学モジュール２０，２０，・・・で水分含有量を定量推定することができる。

次に、前述の図４（ａ）に示した基本モジュールを用いて、互いに隣り合うように並べて配置する実施形態のいくつかについて説明する。
図６（ａ）では、コンベア４０から上を視たときの光学モジュール２０，２０，・・・の配置状態を示している。２列×８個の光学モジュール２０，２０，・・・の構成である。２つの基本モジュールでコンベア４０の幅寸法をカバーする。つまり、各列は８個の光学モジュール２０，２０，・・・をコンベア４０の搬送方向に並べて配置している。この場合は、枠で囲んだ４個の光学モジュール２０，２０，・・・毎に、１６波長の分光画像データを同期して取得することができる。

図６（ｂ）では、コンベア４０から上を視たときの光学モジュール２０，２０，・・・の配置状態を示している。４列×２個の光学モジュール２０，２０，・・・の構成である。４列の基本モジュールでコンベア４０の幅寸法をカバーする。つまり、各列は２個の光学モジュール２０，２０，・・・をコンベア４０の搬送方向に並べて配置している。各列ごとに同じ８波長の分光画像データを同期して取得することができる。

図７（ａ）では、コンベア４０から斜め上を視たときの光学モジュール２０，２０，・・・の配置状態を示している。５列×３個の光学モジュール２０，２０，・・・の構成である。５つの基本モジュールでコンベア４０の幅寸法をカバーする。円筒状の検査対象物に対して円筒状の外面に沿った配置となっている。円筒状の検査対象物では、前述の平面的な配置では撮像エリアに隠れが生じる可能性がある。各列は３個の光学モジュール２０，２０，・・・をコンベア４０の搬送方向に並べて配置している。各列ごとに同じ１２波長の分光画像データを同期して取得することができる。

図７（ｂ）では、コンベア４０から斜め上を視たときの状態を示している。５列×３個の光学モジュール２０，２０，・・・の構成である。５つの基本モジュールでコンベア４０の幅寸法をカバーする。球状の検査対象物に対して球状の外面に沿った配置となっている。球状の検査対象物では、前述の平面的な配置では撮像エリアに隠れが生じる可能性がある。各列は３個の光学モジュール２０，２０，・・・をコンベア４０の搬送方向に並べて配置している。各列ごとに同じ１２波長の分光画像データを同期して取得することができる。

以上説明したように、本発明の分光イメージングシステム１０では、複数の撮像素子２３と複数の光学干渉フィルタ２２ａ，２２ｂ，・・・を組み合わせたモジュールを並べて配置し、同期させて撮像することによって、同時に複数波長の分光画像データを取得することができる。すなわち、数十〜数百波長の分光画像２８ａ，２８ｂ，・・・が、例えば３０フレーム／秒で取得される。その結果、検査速度を高速化することができる。ただし、カメラによってフレームレートは変わる。また、演算装置やデータ通信の処理能力によって処理できるデータ量に上限があるので、現実には波長数にも上限はある。

例えば、図５で示した４個×８列の光学モジュール２０，２０，・・・を用いて異物を検出する場合では、毎分５４ｍ（メートル）のコンベア速度（約９００ｍｍ／秒）で計測することができる。
詳しく説明すると、コンベアの幅方向の８列は、コンベアの幅をカバーするために配置されている。各列のコンベアの搬送方向における４個の光学モジュール２０，２０，・・・が計測速度に関係がある。この４個の光学モジュール２０，２０，・・・をコンベアの搬送方向で順にＡ，Ｂ，Ｃ，Ｄとして区別する。Ａ，Ｂ，Ｃ，Ｄは、ある時刻の瞬間ではそれぞれ別々の撮像エリアのデータを取得する。そこで、Ａの撮像エリアで取得した計測サンプルの部分は、１フレームに相当する時間の経過の後に、Ｂの撮像エリアに入るようにコンベア速度を設定する。
したがって、フレームレートが３０フレーム／秒としてＡの撮像エリアが３０ｍｍである場合、１秒間に９００ｍｍ（＝３０×３０ｍｍ）分のデータを取得することができる。すなわち、毎分５４ｍ（メートル）の速度となる。Ｂ，Ｃ，Ｄもそれぞれ同じ速度となる。
しかし、実際にはデータ解析のアルゴリズムの計算量や演算装置の速度との兼ね合いもあるため、いくらでも高速化できるものではないことと、現在のＸ線異物検査装置が２０ｍ／分程度で使われていることから、本実施形態ではコンベア速度を２０ｍ／分としている。
なお、演算装置が対応できる速度を持っているならば、上記の例では毎分５４ｍ（メートル）で計測することができる。さらに、ＣＭＯＳカメラのフレームレートでは、１００フレーム／秒であるので、毎分１８０ｍ（メートル）のコンベア速度（約３,０００ｍｍ／秒）で計測することが可能となる。

次に、本実施形態の分光イメージングシステム１０におけるデータ解析について説明する。
データ解析の方法の一つは、従来の技術で説明したように、計測で得られた複数のスペクトルデータに対して「主成分分析＋1-classサポートベクターマシン」のパターン認識アルゴリズムを適用して、異物を識別する方法である。この処理は、検査対象物の表面の同一位置に対応する各分光画像２８ａ，２８ｂ，・・・の画素から抽出して構成したスペクトルデータを対象に行う。

データ解析装置３０は、複数の波長の分光画像データに基づいて解析・パターン認識を実施する画像処理装置と、検査対象物と同一サンプルの正常データの特徴量と検査対象物から取得した計測データの特徴量とを比較してパターン認識を判断する比較判断装置と、を備える。

例えば、食品工場においては、一般に、ある製品を製造している期間は同一の製品がコンベアで搬送される。あるいは、季節ものなどの場合、同じ工場のラインにおいて時期によって異なる製品を作っていることもある。いずれにしても、各製品は、その製品規格に合わせて製造されるが、寸法や成分などにおいて一定のバラツキが生じるため、検査対象物の特徴量もある程度のバラツキのあるデータとなっている。
そこで、予め、画像処理装置で実施されたパターン認識を基にして、検査対象物と同一サンプルの正常データの特徴量を計算する。実際に、検査対象物を計測する際に、検査対象物から取得した複数の波長の分光画像データから計測データの特徴量を計算する。この計測データの特徴量と正常データの特徴量とを比較判断装置によってパターン認識を行い正常か否かを判断する。
正常な検査対象物の計測データの特徴量は、前記正常データの特徴量のバラツキの範囲内にあるはずである。一方、異物が混入している検査対象物の計測データの特徴量は、前記正常データの特徴量のバラツキの範囲から逸脱する。これを検出するのがパターン認識処理である。

データ解析について詳しく説明する。
本実施形態の光学モジュール２０の撮像素子は、約４００万画素ほど（＝２０４８×２０４８）の画素数を有している。前記撮像素子上には４つの分光画像２８ａ，２８ｂ，・・・が結像しているので、一つの分光画像２８は約１００万画素ほど（＝１０２４×１０２４）の画素数を有する。そこで、複数波長の分光画像２８ａ，２８ｂ，・・・における同一位置の１点の画素毎に、複数波長の分光画像２８ａ，２８ｂ，・・・を合計すると、１点のスペクトルデータを取得することができる。したがって、分光画像２８の全体では、約１００万画素のうちの各点の画素毎にスペクトルデータを取得する計算になる。つまり、約１００万のスペクトルデータをデータ解析することが可能となる。

データ解析を行う対象としては、異物、水分含有量、たんぱく、糖度、その他の物質がある。異物としては、例えば人毛、プラスチック片、虫の死骸、その他の物質などがある。

上記の異物を判別する場合について詳しく説明する。
まず、異物判別の基本的な考え方について説明する。空間軸と波長軸で構成される、サンプル上の計測領域１ライン分の分光画像では、各画素ごとのスペクトルデータとして、検査対象物の食品の「正常な」スペクトルデータと、異物の「異常な」スペクトルデータが得られる。
食品に対する異物の割合が数％という、ごく微量しか含まれていない場合は、計測領域１ライン分の分光画像から得られたスペクトルデータ全体に対して、食品のスペクトルデータがほぼ９９〜１００％に近い割合で存在する。一方、異物のスペクトルデータはほぼ数％の割合で存在することになる。そこで、計測領域１ライン分の全てのスペクトルデータについて主成分分析を行い、各画素ごとに特徴量を求めると、異物が混入している場合は、食品の特徴量の分布と異物の特徴量の分布が生じる。

ところが、「食品のスペクトルデータ」と「異物のスペクトルデータ」に違いが多ければ特徴量の差は大きくなるが、前記の違いが少なければ特徴量の差は小さくなる。そのような理由から、異物を判別するためにある固定の閾値を設定しただけでは、異物の検出に失敗するようなサンプルも生じてくる。
そこで、前述したような1-classサポートベクターマシンを使って、自動でサンプルごとに閾値を設定する。これによって、食品の特徴量と異物の特徴量の差の大きさに関りなく、前記の自動で設定したサンプルごとの閾値に基づいて、よりいっそう精確に異物を判別することができる。

「主成分分析＋1-classサポートベクターマシン（ＯＣＳＶＭ）」の手法は、以下の通りである。
図８Ａは、「ＣＣＤカメラ＋イメージング分光器」によって取得した、サンプル上の1ライン分のスペクトルデータに対して主成分分析を行い、特徴量として第２主成分、第３主成分の主成分スコアを表示した図である。解析に用いた対象物は、正常なサンプルとして挽肉、異物として人毛が含まれているものを用いている。このうち、図８Ａ（ａ）における矢印の部分が人毛、それ以外は挽肉であり、ＰＣ２，ＰＣ３の各軸に分散した（ばらついた）分布になっているとともに、黒い点が各スペクトルデータから計算した特徴量（ＰＣ２，ＰＣ３）を示している。つまり、正常な肉でもこの程度のばらつきが生じるということが示されている。

図８Ａ（ｂ）は1-classサポートベクターマシン（ＯＣＳＶＭ）による処理結果を示した図であり、略楕円形の領域５０によって囲まれた部分が正常な部分、その外側が異物と判断される部分である。
1-classサポートベクターマシンの処理では、任意に指定するパラメータが２つあり、1つは図８Ａ（ｂ）において正常と判別する略楕円形の領域５０の形を決めるパラメータ「γ」 （このパラメータによって略楕円形の領域５０の分布にフィットするような領域とする、或いは、より楕円形に近いような領域とすることが可能）、もう一つは異常の割合を決めるパラメータ「ν」である。νは0〜1の範囲で設定され、0の場合は全て正常、0.01の場合は異常が１％、１の場合は全て異常となる。
νは異物の有無に関わらず、図８Ａ（ｂ）の領域５０の外側から抽出されることから、異物がなくても、必ず「異物候補」が抽出される。

即ち、「異物が混入していない」場合であっても、正常な食品のスペクトルデータから求めた特徴量のバラツキが、前述の自動で設定したサンプルの閾値を越えた場合は「異物」として抽出される。すなわち、「主成分分析 + 1-class サポートベクターマシン」を用いて抽出する解析方法は、異物がなくても、異物のような「異物候補」を選び出すので、抽出されるのが必ずしも異物であるとは限らない。その結果、異物ではない「異物候補」を抽出した食品が、検査ラインから取り除かれるとしても、よりいっそう確実に正常であると判別された食品だけが選別されることから、安全度の向上に寄与することになる。

正常な「食品の特徴量」のバラツキがどの程度かという基準（閾値）は、通常はシステムの運用前に複数個のサンプルを予め測定し、データ解析を行って設定しているが、このような事前の閾値の設定は、いわゆる「オフライン」での設定である。
一方、最初にオフラインで設定した閾値をもとに検査装置として運用しながら、バラツキを含むが正常（異物がない）と判断されるサンプルを計測し、順次学習させて閾値の更新を行う「オンライン」での設定も可能である。これによれば、よりいっそう確実に正常な食品を選別することができる。

前述の水分含有量を推定することについて詳しく説明する。
水分含有量は、データ解析を行うことにより、定量推定が可能である。水の吸収ピーク位置は、波長約９７０〜９８０ｎｍであることが既知である。また、物質には基準となる一定の波長があるので、少なくとも２つの波長の分光画像データを取得してデータ解析することができる。よりいっそう精度を上げるには、さらにいくつかの波長の分光画像データを取得して比較すると、水分含有量を推定することができる。

スペクトルデータから成分を「定量」するには、理想的には、光が直進する光路上の透明溶液中の成分の濃度と、その成分による光の吸収に成り立つランベルト・ベール則を用いる。この理想的な条件では「定量」できるが、本実施形態における計測サンプルは散乱などによって上記のランベルト・ベール則が近似的にしか成り立たない。そのために、ＰＬＳやＭＬＲなどの重回帰分析を用いることで「定量推定」している。これは、非破壊で実用上十分な精度が得られるために、非破壊品質評価技術として使われているという背景に基づいている。

物質が特定の波長の光を吸収するのは、物質を構成する原子や分子の共有結合などの固有の振動エネルギーに相当するエネルギーの光が吸収されるためである。水の場合では、Ｏ（酸素）とＨ（水素）の間の共有結合のエネルギーに相当する波長の光が吸収され、その波長は近赤外光領域においては９７０ｎｍ（ナノメートル）付近、１４５０ｎｍ付近、１９００ｎｍ付近である。例えば、９７０ｎｍ〜９８０ｎｍと幅があるのは、熱エネルギーが結合の振動エネルギーに影響するために水の温度によって吸収ピークの位置がずれるからである。検査対象物が熱かったり冷たかったりすると、常に一定の温度（例えば２５°Ｃ）でないことから、上記のように幅を持たせている。

また、寸法の定まっている光学セルなどに溶液を入れて測定する場合とは異なり、食品などの検査対象物はいろいろな寸法がある。また、光の散乱度合いは含有成分や状態によって様々であり、検査対象物の内部を吸収、散乱して得られる吸光度スペクトルもその影響を受ける。そのため、水のように吸収ピークの位置がわかっていても、単純にその波長での吸光度の大きさだけでは評価できない。そこで、検査対象物の寸法や散乱度合いなどをキャンセルできるような、水の吸収とは「関係のない」波長を選び、それを基準とする。最も単純なのが２つの波長を選択する場合であるが、単純にいかない検査対象物もあるので、その場合は３つの波長、４つの波長と増やすことになる。

たんぱくや糖度などの他の成分を定量推定するには、その目的に必要な光学干渉フィルタ２２ａ，２２ｂ，・・・を選んで波長を変えて計測し、複数波長の分光画像データを取得してデータ解析する。そのために、例えば、対象となる成分を定量推定するための複数の光学干渉フィルタ２２ａ，２２ｂ，・・・を組み合わせた光学モジュール２０を準備し、入れ替えるだけで、水分、糖度、たんぱく、その他の成分を定量推定することができる。

図８Ｂは、波長ごとの光の吸収を示したグラフで，６００〜１１００ｎｍの範囲の吸光度スペクトルデータである。Ｇの線は、検査対象物がプラスチックである。その他のＡ〜Ｆの線は、検査対象物がすり身（蒲鉾の原料）である。Ａ〜Ｆの線は、いずれも製品が「正常」なスペクトルデータであるが、バラツキがある。つまり、いずれも正常なバラツキの範囲内にあることを示している。一方、Ｇの線のプラスチックのスペクトルデータは、すり身のデータとは明らかにスペクトルデータの形状が異なっているので、すり身にプラスチックの異物が混入していることを識別判断することができる。

このようなスペクトルデータが得られる場合、例えば、すり身とプラスチックのスペクトルデータの形状が明らかに異なっているので、データ解析の目的に応じ、光学干渉フィルタ２２ａ，２２ｂ，・・・を選択することによって、図８Ｂの（ａ）に示されるように、適切な少数の波長のデータを取得、解析することで比較的容易に異物混入を判別できる。
また、図８Ｂの（ｂ）のように、連続した全ての波長（６００〜１１００ｎｍ）のデータを取得することも可能である。この場合においても異物が混入しているか否かを識別できる。
例えば、正常なすり身と類似したスペクトルデータを持つ「異物」が混入していた場合は、図８Ｂの（ａ）のように少数の波長を選択しただけではスペクトルデータの差異を明確にできない可能性があることから、一般的に判別は難しい。このような場合は、図８Ｂの（ｂ）のように連続でデータを取得することで差異を細かく比較することによって、正確さが向上する。

前述のように、取得した分光画像２８には約１００万画素ほどの画素数を有している。1つの計測対象を撮像した複数波長の分光画像の各々の対応画素毎にスペクトルデータが得られるので、大部分が正常な食品のスペクトルデータとなる中、ある特定の画素が異物であれば、図８Ｂのようなデータが取れることになる。つまり、異物の混入をパターン認識で判別できる。一方、従来における分光器では、光ファイバを介して入力するため、ファイバの視野角で限定されるサンプル表面部分を積分したデータが得られるだけであり、分光画像ではない。

なお、ＰＬＳなどのように主成分分析の考え方を拡張した回帰分析では波長選択の必要がない。一方、ＭＬＲ（線形重回帰分析）では波長選択が必要であり、特に、多重共線性がある場合は、互いに相関がないような波長を選択することによって回帰分析を行う。

データ解析の別の方法は、前述の「主成分分析＋1-classサポートベクターマシン」のパターン認識アルゴリズムを適用する処理と並行して、各光学モジュール２０，２０，・・・において得られる単一の分光画像２８を対象に画像認識処理を行う方法である。図９に示すように、分光画像２８を小ブロックに分割し、各ブロックごとの画素値の平均、標準偏差などの特徴量や、その他の画像処理によって得られる特徴量を算出する。各ブロックごとの特徴量の分布を求めることにより、他と異なる特徴量のブロックを異常なブロックとして検出する。
なお、図９では（ａ），（ｂ），（ｃ），（ｄ）の４波長の分光画像２８ａ，２８ｂ，・・・を示しているが、さらに多くの数の波長の分光画像２８ａ，２８ｂ，・・・に基づいて各ブロックごとの特徴量を高精度に算出することができる。

この方法の場合、前述の画像処理装置としては、複数の波長の分光画像データにおける各分光画像２８ａ，２８ｂ，・・・を小ブロックに分割し、各ブロックごとの計測データの特徴量を算出し、正常データの特徴量と計測データの特徴量とを、比較判断装置によって比較し、ブロック毎の分布に基づいて異常なブロックを検出する等の処理が行われる。
なお、この方法は、光学モジュール２０の単位で処理可能であるので、各光学モジュール２０のＦＰＧＡ（Field Programmable Gate Array）などのプログラマブルデバイス上にて処理することができる。

上記の方法における対応画素の抽出について説明すると、複数波長の各分光画像２８ａ，２８ｂ，・・・ごとに小ブロックに分け、小ブロックごとの特徴量を算出する。正常な検査対象物であれば類似した特徴量となり、異物があればそれから逸脱する特徴量となるので、これらの差が明確となるパターン認識処理となる。

データ解析のさらに別の方法は、各分光画像２８ａ，２８ｂ，・・・におけるそれぞれの画像認識処理で得られた各分光画像２８ａ，２８ｂ，・・・の特徴量の分布について、同じ位置の異なる波長の分光画像２８ａ，２８ｂ，・・・のブロックごとに比較するパターン認識手法である。
この方法の場合、前述の画像処理装置としては、複数の波長の分光画像データにおける各分光画像２８ａ，２８ｂ，・・・の特徴量をスペクトルデータとする。このとき、検査対象物上の各点におけるスペクトルデータは、複数の波長の分光画像の各点に対応する画素を抽出して波長の大きさの順番に並べて分布させる。また、前述の比較判断装置としては、前記スペクトルデータにおいて同じ位置の異なる波長の分光画像２８ａ，２８ｂ，・・・のブロックごとに特徴量を比較する。
この方法における対応画素の抽出について説明すると、検査対象物上の各点におけるスペクトルデータは、複数の波長の分光画像の各点に対応する画素を抽出して波長の大きさの順番に並べることで、前記各点の特徴量の分布が明確になる。その結果、各分光画像２８ａ，２８ｂ，・・・の対応する小ブロックについて特徴量の比較を行うとき、よりいっそう確実に異物を検出するパターン認識処理となる。

なお、各分光画像２８ａ，２８ｂ，・・・の対応画素の抽出は、検査対象物のコンベア４０上の位置や形状が既知であるという前提で、ステレオ画像のマッチング手法などを用いて行う。例えば、前述のデータ解析の方法によって異物を検出した場合、その異物の種類にかかわらず、異物が付着している検査対象物をコンベア４０から除去することで、正常な検査対象物だけがコンベア４０で搬送されることとなる。
以上のように、データ解析装置３０では、高速でデータ解析・パターン認識し、検査対象物の特徴量をもとに品質検査や異物検査を高速で実施することができ、計測時間の高速化に寄与する。また、データ解析する対象としては、異物だけでなく、水分含有量、たんぱく、糖度などの物質の定量推定を実施することができる。

また、前述のデータ解析の方法では、正常な検査対象物に対して、教師なしパターン認識による判別結果が得られる。そこで、前記の判別結果を教師データとして学習し、比較基準となる正常データの特徴量の精度を高めることで、より高い判別率でパターン認識処理を行うことができる。

本発明は、食品加工や農水産物などの食品加工業の関連、農業関連、加工食品や農水産物の販売業などにおいて、利用可能性を有する。

１０ 分光イメージングシステム
２０ 光学モジュール ２１ レンズ
２２ａ，２２ｂ，・・・ 光学干渉フィルタ
２３ 撮像素子 ２４ 開口絞りケース
２５ 絞り用孔 ２６ レンズホルダ
２７ 視野絞りケース ２８ａ，２８ｂ，・・・ 分光画像
３０ データ解析装置 ３１ 通信用インターフェイス
４０ コンベア

Claims (6)

1. 互いに異なる波長の光を透過する複数の光学干渉フィルタと、前記複数の光学干渉フィルタを透過した検査対象物における複数の波長の分光画像が結像する撮像素子と、を備えた光学モジュールを構成し、
   前記光学モジュールの撮像素子に結像した複数の波長の分光画像データを同期して取得し、同時に前記複数の波長の分光画像データをデータ解析装置へ転送するデータ転送手段を備えたことを特徴とする分光イメージングシステム。
2. 複数の前記光学モジュールによってマルチカメラを構成し、
   前記データ転送手段は、複数の前記光学モジュールの撮像素子に結像した複数の波長の分光画像データを同期して取得し、同時に前記複数の波長の分光画像データを全部又は選択的にデータ解析装置へ転送することを特徴とする請求項１に記載の分光イメージングシステム。
3. データ解析装置は、複数の波長の分光画像データに基づいて解析・パターン認識を実施する画像処理装置と、検査対象物と同一サンプルの正常データの特徴量と検査対象物から取得した計測データの特徴量とを比較して検査対象物が正常か否かを判別するパターン認識を行う比較判断装置と、を備えたことを特徴とする請求項１又は２に記載の分光イメージングシステム。
4. 前記画像処理装置は、検査対象物のサンプルごとに自動で正常なバラツキ範囲の閾値を前記正常データの特徴量として設定し、前記比較判断装置は、検査対象物から取得した計測データの特徴量が前記閾値を越えたか否かで、前記検査対象物が正常か否かを判別することを特徴とする請求項３に記載の分光イメージングシステム。
5. 前記画像処理装置は、複数の波長の分光画像データにおける各分光画像を小ブロックに分割し、前記比較判断装置は、各ブロックごとに正常データの特徴量と計測データの特徴量とを比較してパターン認識を行うことを特徴とする請求項３又は４に記載の分光イメージングシステム。
6. 前記画像処理装置は、複数の波長の分光画像データにおける各分光画像の特徴量をスペクトルデータとし、検査対象物上の各点におけるスペクトルデータは、その検査対象物上の各点に対応する複数の波長の分光画像の画素を抽出して波長の大きさの順番に並べた分布とすることを特徴とする請求項３、４又は５に記載の分光イメージングシステム。