JP2022098157A - 対象物の検査方法、処理装置、および検査システム - Google Patents

Abstract

【課題】対象物の異常をより簡単に検出する方法を提供する。【解決手段】検査システムによって実行される方法は、異常がない状態における対象物の第１スペクトルデータを取得することと、前記第１スペクトルデータの波長域に含まれる複数のバンドを、前記第１スペクトルデータの値の大きさに基づき分類することと、分類された前記複数のバンドの一部を、前記対象物の異常を検査するための１つ以上の検査用バンドとして決定することと、前記検査用バンドを示すバンドデータを記憶装置に記憶することと、を含む。【選択図】図７Ａ

Description

本開示は、対象物の検査方法、処理装置、および検査システムに関する。

従来、ハイパースペクトルカメラを用いて対象物に含まれる人の眼では見つけ難い異物などの異常を検出する様々な方法が提案されている。ハイパースペクトルカメラによって撮像された対象物のハイパースペクトル画像に基づいて、対象物のスペクトル特性を正確に分析することができる。

特許文献１は、ハイパースペクトルカメラを用いて対象物に混入した異物を検出する方法を開示している。特許文献１に開示された方法では、近赤外線で照射された対象物をハイパースペクトルカメラによって撮像することにより、当該対象物のハイパースペクトル画像が得られる。ハイパースペクトル画像に含まれる２つの画素のスペクトル形状を比較することにより、対象物に混入した異物が検出される。

特許文献２は、圧縮センシングの技術を用いて対象物のハイパースペクトル画像を得る撮像装置を開示している。

特開２０１３－１６４３３８号公報 米国特許第９５９９５１１号明細書

本開示は、対象物の異常をより簡単に検出する方法を提供する。

本開示の一態様に係る方法は、検査システムによって実行される方法である。前記方法は、異常がない状態における前記対象物の第１スペクトルデータを取得することと、前記第１スペクトルデータの波長域に含まれる複数のバンドを、前記第１スペクトルデータの値の大きさに基づき分類することと、分類された前記複数のバンドの一部を、前記対象物の異常を検査するための１つ以上の検査用バンドとして決定することと、前記検査用バンドを示すバンドデータを記憶装置に記憶することと、を含む。

本開示の包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意の組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ‐Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含み得る。装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書および特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。「システム」に含まれる複数の装置の中には、他の装置とは遠隔地に設置され、通信ネットワーク介して接続される装置も含み得る。

本開示の技術によれば、対象物の異常をより簡単に検出することができる。

図１Ａは、対象波長域と、それに含まれる複数のバンドとの関係を説明するための図である。 図１Ｂは、ハイパースペクトル画像の例を模式的に示す図である。 図２Ａは、フィルタアレイの例を模式的に示す図である。 図２Ｂは、図２Ａに示すフィルタアレイに含まれる第１フィルタの透過スペクトルの例を示す図である。 図２Ｃは、図２Ａに示すフィルタアレイに含まれる第２フィルタの透過スペクトルの例を示す図である。 図２Ｄは、対象波長域に含まれる複数のバンドＷ_１、Ｗ_２、・・・、Ｗ_ｉのそれぞれの光の透過率の空間分布の例を示す図である。 図３は、異常がない状態における対象物のスペクトルの例を模式的に示すグラフである。 図４Ａは、異常がある対象物の第１の例を模式的に示す図である。 図４Ｂは、異常がある対象物の第２の例を模式的に示す図である。 図４Ｃは、異常がある対象物の第３の例を模式的に示す図である。 図５Ａは、異常がある状態における対象物のスペクトルの例を模式的に示すグラフである。 図５Ｂは、図５Ａに示すバンドごとに平均化されたスペクトルから抽出された非特徴バンドについてのスペクトルを模式的に示すグラフである。 図６は、本開示の実施形態１による検査装置の例を模式的に示すブロック図である。 図７Ａは、非特徴バンドを設定する場合の、実施形態１における処理回路が実行する動作の例を示すフローチャートである。 図７Ｂは、対象物の異物の有無を検査する場合の、実施形態１における処理回路が実行する動作の例を示すフローチャートである。 図７Ｃは、対象物の異物の有無を検査する場合の、実施形態１における処理回路が実行する動作の他の例を示すフローチャートである。 図８は、実施形態１における記憶装置に記憶される非特徴バンドのデータの例を模式的に示すテーブルである。 図９Ａは、実施形態１における表示装置に表示される設定モードのＧＵＩの例を模式的に示す図である。 図９Ｂは、実施形態１における表示装置に表示される検査モードのＧＵＩの例を模式的に示す図である。 図１０Ａは、実施形態２における記憶装置に記憶されるすべてのバンドの情報を含むマスクデータの例を示すテーブルである。 図１０Ｂは、実施形態２における記憶装置に記憶される非特徴バンドについてのマスクデータの例を示すテーブルである。 図１１Ａは、非特徴バンドを設定する場合の、実施形態２における処理回路が実行する動作の例を示すフローチャートである。 図１１Ｂは、対象物の異物の有無を検査する場合の、実施形態２における処理回路が実行する動作の例を示すフローチャートである。 図１１Ｃは、対象物の異物の有無を検査する場合の、実施形態２における処理回路が実行する動作の他の例を示すフローチャートである。 図１２は、実施形態３による検査システムの例を模式的に示すブロック図である。 図１３Ａは、非特徴バンドを設定する場合の、実施形態３における第１処理回路が実行する動作の例を示すフローチャートである。 図１３Ｂは、非特徴バンドを設定する場合の、実施形態３における第２処理回路が実行する動作の例を示すフローチャートである。 図１４は、実施形態３における検査装置およびサーバの動作の例を示すシーケンス図である。 図１５は、非特徴バンドを設定する場合の、実施形態４における第１処理回路が実行する動作の例を示すフローチャートである。 図１６Ａは、非特徴バンドを設定する場合の、実施形態５における第１処理回路が実行する動作の例を示すフローチャートである。 図１６Ｂは、非特徴バンドを設定する場合の、実施形態５における第２処理回路が実行する動作の例を示すフローチャートである。 図１７は、実施形態５における検査装置およびサーバの動作の例を示すシーケンス図である。

本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅも同じ目的で使うことができる。

さらに、回路、ユニット、装置、部材または部の全部または一部の機能または操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。

以下、本開示の例示的な実施形態を説明する。なお、以下で説明する実施形態は、いずれも包括的又は具体的な例を示すものである。以下の実施形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。

本開示の実施形態を説明する前に、本開示の基礎となった知見を説明する。

まず、図１Ａおよび図１Ｂを参照して、ハイパースペクトル画像の例を簡単に説明する。ハイパースペクトル画像は、一般的なＲＧＢ画像よりも多くの波長の情報を有する画像データである。ＲＧＢ画像は、画素ごとに、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の３つのバンドのそれぞれについての値を有する。これに対し、ハイパースペクトル画像は、ＲＧＢ画像のバンド数よりも多くのバンドについての値を画素ごとに有する。本明細書において、「ハイパースペクトル画像」は、予め定められた対象波長域に含まれる４つ以上のバンドのそれぞれの値を各画素が有する画像データを意味する。各画素がバンドごとに有する値を、以下の説明において、「画素値」と称する。ハイパースペクトル画像におけるバンド数は、典型的には１０以上であり、場合によっては１００を超えることもある。「ハイパースペクトル画像」は、「ハイパースペクトルデータキューブ」または「ハイパースペクトルキューブ」と呼ばれることもある。

図１Ａは、対象波長域Ｗと、それに含まれる複数のバンドＷ_１、Ｗ_２、・・・、Ｗ_ｉとの関係を説明するための図である。対象波長域Ｗは、用途によって様々な範囲に設定され得る。対象波長域Ｗは、例えば、約４００ｎｍから約７００ｎｍの可視光の波長域、約７００ｎｍから約２５００ｎｍの近赤外線の波長域、または約１０ｎｍから約４００ｎｍの近紫外線の波長域であり得る。あるいは、対象波長域Ｗは、中赤外または遠赤外の波長域であってもよい。このように、使用される波長域は可視光域とは限らない。本明細書では、可視光に限らず、紫外線および近赤外線などの可視光の波長域に含まれない波長の電磁波も便宜上「光」と称する。

図１Ａに示す例では、ｉを４以上の任意の整数として、対象波長域Ｗをｉ等分したそれぞれの波長域をバンドＷ_１、Ｗ_２、・・・、Ｗ_ｉとしている。ただしこのような例に限定されない。対象波長域Ｗに含まれる複数のバンドは任意に設定してもよい。例えば、バンドによって幅を不均一にしてもよい。隣接するバンドの間にギャップがあってもよい。バンドの数が４つ以上であれば、ＲＧＢ画像よりも多くの情報をハイパースペクトル画像から得ることができる。

図１Ｂは、ハイパースペクトル画像２２の例を模式的に示す図である。図１Ｂに示す例において、撮像対象はりんごである。ハイパースペクトル画像２２は、バンドＷ_１、Ｗ_２、・・・、Ｗ_ｉについての画像２２Ｗ_１、２２Ｗ_２、・・・、２２Ｗ_ｉを含む。これらの画像の各々は、２次元的に配列された複数の画素を含む。図１Ｂには、画素の区切りを示す縦横の破線が例示されている。１画像当たりの実際の画素数は、例えば数万から数千万のように大きい値であり得るが、図１Ｂにおいては、わかり易さのため、画素数が極端に少ないものとして画素の区切りが示されている。対象物を光で照射した場合に生じる反射光は、イメージセンサにおける光検出素子ごとに検出される。各光検出素子によって検出される光量を示す信号が、その光検出素子に対応する画素の画素値を表す。ハイパースペクトル画像２２における各画素は、バンドごとに画素値を有する。したがって、ハイパースペクトル画像２２を取得することにより、対象物のスペクトルの２次元分布の情報を得ることができる。対象物のスペクトルに基づいて、対象物の光に関する特性を正確に分析することができる。

次に、ハイパースペクトル画像を生成する方法の例を簡単に説明する。ハイパースペクトル画像は、例えばプリズムまたはグレーティングなどの分光素子を用いた撮像によって取得することができる。プリズムを用いる場合、対象物からの反射光または透過光がプリズムを通過すると、当該光はプリズムの出射面から波長に応じた出射角で出射される。グレーティングを用いる場合、対象物からの反射光または透過光がグレーティングに入射すると、当該光は波長に応じた回折角で回折される。対象物からの光をプリズムまたはグレーティングによってバンド分光し、バンド分離された光をバンドごとに検出することにより、ハイパースペクトル画像を得ることができる。

ハイパースペクトル画像は、特許文献２に開示された圧縮センシングの技術を利用して取得することもできる。特許文献２に開示された圧縮センシングの技術では、符号化素子と呼ばれるフィルタアレイを通して対象物で反射された光がイメージセンサによって検出される。フィルタアレイは、２次元的に配列された複数のフィルタを含む。それらのフィルタは、それぞれに固有の透過スペクトルを有する。そのようなフィルタアレイを用いた撮像により、複数のバンドの画像情報が１つの２次元画像として圧縮された圧縮画像が得られる。当該圧縮画像には、対象物のスペクトル情報が画素ごとに１つの画素値として圧縮されて記録される。

図２Ａは、フィルタアレイ９０の例を模式的に示す図である。フィルタアレイ９０は、２次元的に配列された複数のフィルタを含む。各フィルタは、個別に設定された透過スペクトルを有する。透過スペクトルは、入射光の波長をλとして、関数Ｔ（λ）で表される。透過スペクトルＴ（λ）は、０以上１以下の値を取り得る。図２Ａに示す例において、フィルタアレイ９０は、６行８列に配列された４８個の矩形状のフィルタを有している。これはあくまで例示であり、実際の用途では、これよりも多くのフィルタが設けられ得る。フィルタアレイ９０に含まれるフィルタの個数は、イメージセンサの画素数と同程度であってもよい。

図２Ｂおよび図２Ｃは、それぞれ、図２Ａのフィルタアレイ９０に含まれる複数のフィルタのうち、第１フィルタＡ１および第２フィルタＡ２の透過スペクトルの例を示す図である。第１フィルタＡ１の透過スペクトルと第２フィルタＡ２の透過スペクトルとは、互いに異なっている。このように、フィルタアレイ９０の透過スペクトルは、フィルタによって異なる。ただし、必ずしもすべてのフィルタの透過スペクトルが異なっている必要はない。フィルタアレイ９０において、複数のフィルタのうちの少なくとも２つ以上のフィルタの透過スペクトルが互いに異なる。すなわち、フィルタアレイ９０は、透過スペクトルが互いに異なる２つ以上のフィルタを含む。ある例では、フィルタアレイ９０に含まれる複数のフィルタの透過スペクトルのパターンの数は、対象波長域に含まれるバンドの数ｉと同じか、それ以上であり得る。フィルタアレイ９０は、半数以上のフィルタの透過スペクトルが異なるように設計されていてもよい。

図２Ｄは、対象波長域に含まれる複数のバンドＷ_１、Ｗ_２、・・・、Ｗ_ｉのそれぞれの光の透過率の空間分布の例を示す図である。図２Ｄに示す例において、各フィルタの濃淡の違いは、光透過率の違いを表している。淡いフィルタほど透過率が高く、濃いフィルタほど透過率が低い。図２Ｄに示すように、バンドによって光透過率の空間分布が異なっている。本明細書では、フィルタアレイにおけるバンドごとの光透過率の空間分布を示すデータを「マスクデータ」と称する。圧縮センシングの技術により、マスクデータを用いて圧縮画像からハイパースペクトル画像を復元することができる。圧縮センシングの技術ではプリズムまたはグレーティングを用いる必要がないので、ハイパースペクトルカメラを小型化することができる。さらに、圧縮センシングの技術では、圧縮画像により、処理回路が処理するデータ量を低減することができる。圧縮センシングの技術によってハイパースペクトル画像を得る方法の詳細は、特許文献２に開示されている。特許文献２の開示内容の全体を本明細書に援用する。

従来のハイパースペクトルカメラを用いて対象物に混入した異物などの異常を検出する場合、異常についてのスペクトル情報が予めわかっている場合を除き、ハイパースペクトル画像におけるすべてのバンドの情報を分析することが求められる。例えば、機械学習などのアルゴリズムを利用して、対象物が正常な状態におけるハイパースペクトル画像のデータを教師データとして予め学習しておき、検査対象について取得されたハイパースペクトル画像の異常の有無を教師データに基づいて判定する方法が考えられる。そのような方法においては、検査対象について取得されたハイパースペクトル画像のすべてのバンドの情報に基づく分析が行われる。ハイパースペクトル画像のデータ量はＲＢＧ画像のデータ量よりも大きいので、すべてのバンドの情報を利用する場合、ハイパースペクトル画像のデータを記憶するために大容量の記憶媒体が必要である。さらに、すべてのバンドの情報を分析する場合、その分析に用いられる処理回路への演算負荷が高くなる。リアルタイムで高速な検査を実現するためには、そのような高い演算負荷に耐えられる高性能の処理回路が必要である。

本発明者らは、記憶媒体の容量および処理回路への演算付加を低減できる検査方法について検討を重ね、本開示の実施形態による検査方法に想到した。本開示のある実施形態による方法では、検査対象である対象物のスペクトルデータを取得し、そのスペクトルデータから前記対象物の異常を検査するための検査用バンドについての部分スペクトルデータを生成し、その部分スペクトルデータに基づいて、対象物の異常の有無が決定される。検査用バンドには、非特徴バンドを用いることができる。上記の非特徴バンドは、異常がない状態における対象物のスペクトルデータの波長域に含まれる複数のバンドから、当該スペクトルデータの値が相対的に大きいバンドを除く１つ以上のバンドである。本明細書において、異常がない状態における対象物のスペクトルデータを「第１スペクトルデータ」とも称し、部分スペクトルデータを「第２スペクトルデータ」とも称する。

本実施形態による方法では、検査対象の対象物のハイパースペクトル画像をすべて分析する必要がないので、大容量の記憶媒体および高性能の処理回路を用いることなく対象物の異常の有無を簡単に検査することができる。したがって、ハイパースペクトルカメラを内蔵した軽量および安価なモバイル端末を用いて、本実施形態による方法を実行することができる。以下に、本開示の実施形態による対象物の検査方法を簡単に説明する。

第１の項目に係る方法は、検査システムによって実行される方法である。前記方法は、異常がない状態における対象物の第１スペクトルデータを取得することと、前記第１スペクトルデータの波長域に含まれる複数のバンドを、前記第１スペクトルデータの値の大きさに基づき分類することと、分類された前記複数のバンドの一部を、前記対象物の異常を検査するための１つ以上の検査用バンドとして決定することと、前記検査用バンドを示すバンドデータを記憶装置に記憶することと、を含む。

この方法では、対象物の異常を検査するための検査用バンドを決定し、そのバンドデータを記録することにより、この後に対象物を簡単に検査することができる。

第２の項目に係る方法は、第１の項目に係る方法において、検査対象の前記対象物の前記検査用バンドにおける第２スペクトルデータを取得することと、前記第２スペクトルデータに基づいて、検査対象の前記対象物の異常の有無を決定することと、前記異常の有無を示す検査データを出力することと、をさらに含む。

この方法では、検査用バンドにおける第２スペクトルデータに基づいて対象物を簡単に検査することができる。

第３の項目に係る方法は、第１または第２の項目に係る方法において、前記検査用バンドが、前記第１スペクトルデータの値の大きさが所定の閾値よりも小さいバンドである。

この方法では、所定の閾値に基づいて、第１スペクトルデータから検査用バンドを決定することができる。

第４の項目に係る方法は、第１から第３の項目のいずれかに係る方法において、前記第１スペクトルデータが更新された場合に、更新された前記第１スペクトルデータに基づいて、前記検査用バンドを更新することをさらに含む。

この方法では、過去の検査用バンドのデータを、必要に応じて新しい検査用バンドのデータに更新することができる。

第５の項目に係る方法は、第１から第４の項目のいずれかに係る方法において、前記検査用バンドの設定の開始をユーザが指示するためのＧＵＩを表示装置に表示させることをさらに含む。

この方法では、ユーザが、ＧＵＩを介して検査用バンドの設定を開始することができる。

第６の項目に係る方法は、第１から第５の項目のいずれかに係る方法において、前記対象物の検査の開始をユーザが指示するためのＧＵＩを表示装置に表示させることをさらに含む。

この方法では、ユーザが、ＧＵＩを介して対象物の検査を開始することができる。

第７の項目に係る方法は、第５または第６の項目に係る方法において、前記ＧＵＩが、ユーザの指示により、前記検査用バンドの設定の開始と、前記対象物の検査の開始との間で切り替えることが可能である。

この方法では、ユーザが、１つのＧＵＩを介して検査用バンドの設定または対象物の検査を開始することができる。

第８の項目に係る方法は、第１から第７の項目のいずれかに係る方法において、前記第１スペクトルデータが、異常がない状態における前記対象物の第１ハイパースペクトル画像データである。

この方法では、ハイパースペクトル画像データを用いて対象物を検査することができる。

第９の項目に係る方法は、第８の項目に係る方法において、前記第１ハイパースペクトル画像データが、異常がない状態における前記対象物の第１圧縮画像データから復元された画像データである。前記第１圧縮画像データは、前記複数のバンドの画像情報が圧縮された２次元画像データである。

この方法では、圧縮画像データを用いることにより、処理回路が処理するデータ量を低減することができる。

第１０の項目に係る方法は、第９の項目に係る方法において、前記第１圧縮画像データが、フィルタアレイを通して前記対象物からの光を検出することによって取得される。前記フィルタアレイは、２次元的に配列された複数のフィルタを備える。前記複数のフィルタのうちの少なくとも２つ以上のフィルタの透過スペクトルは互いに異なっている。前記第１ハイパースペクトル画像データは、前記フィルタアレイについてのバンドごとの光透過率の空間分布を示すマスクデータによって前記第１圧縮画像データから復元される。

この方法では、フィルタアレイによって圧縮画像データを取得し、マスクデータによって圧縮画像データからハイパースペクトル画像データを復元することができる。

第１１の項目に係る方法は、第１から第１０の項目のいずれかに係る方法において、検査対象の前記対象物の前記検査用バンドにおける第２スペクトルデータを取得することと、前記第２スペクトルデータに基づく画像を表示装置に表示することと、を含む。

この方法では、ユーザが、表示装置に表示された画像に基づいて対象物を簡単に検査することができる。

第１２の項目に係る処理装置は、プロセッサと、前記プロセッサによって実行されるコンピュータプログラムを格納したメモリと、を備えた処理装置である。前記コンピュータプログラムは、前記プロセッサに、異常がない状態における対象物の第１スペクトルデータを取得することと、前記第１スペクトルデータの波長域に含まれる複数のバンドを、前記第１スペクトルデータの値の大きさに基づき分類することと、分類された前記複数のバンドの一部を、前記対象物の異常を検査するための１つ以上の検査用バンドとして決定することと、前記検査用バンドを示すバンドデータを記憶装置に記憶することと、を実行させる。

この処理装置では、対象物の異常を検査するための検査用バンドを決定し、そのバンドデータを記録することにより、この後に、対象物を簡単に検査することができる。

第１３の項目に係る検査システムは、センサと、処理装置とを備える検査システムである。前記処理装置は、プロセッサと、前記プロセッサによって実行されるコンピュータプログラムを格納したメモリと、を含む。前記コンピュータプログラムは、前記プロセッサに、異常がない状態における対象物の第１スペクトルデータを前記センサから取得することと、前記第１スペクトルデータの波長域に含まれる複数のバンドを、前記第１スペクトルデータの値の大きさに基づき分類することと、分類された前記複数のバンドの一部を、前記対象物の異常を検査するための１つ以上の検査用バンドとして決定することと、前記検査用バンドを示すバンドデータを記憶装置に記憶することと、検査対象の前記対象物の前記検査用バンドにおける第２スペクトルデータを前記センサから取得することと、前記第２スペクトルデータに基づいて、検査対象の前記対象物の異常の有無を決定することと、前記異常の有無を示す検査データを出力することと、を実行させる。

この検査システムでは、検査用バンドにおける第２スペクトルデータに基づいて対象物を簡単に検査することができる。

第１４の項目に係る検査システムは、センサと、処理装置と、表示装置とを備える検査システムである。前記処理装置は、プロセッサと、前記プロセッサによって実行されるコンピュータプログラムを格納したメモリと、を含む。前記コンピュータプログラムは、前記プロセッサに、異常がない状態における対象物の第１スペクトルデータを前記センサから取得することと、前記第１スペクトルデータの波長域に含まれる複数のバンドを、前記第１スペクトルデータの値の大きさに基づき分類することと、分類された前記複数のバンドの一部を、前記対象物の異常を検査するための１つ以上の検査用バンドとして決定することと、前記検査用バンドを示すバンドデータを記憶装置に記憶することと、検査対象の前記対象物の前記検査用バンドにおける第２スペクトルデータを前記センサから取得することと、前記第２スペクトルデータに基づく画像を前記表示装置に表示することと、を実行させる。

この検査システムでは、ユーザが、表示装置に表示された画像に基づいて対象物を簡単に検査することができる。

（実施形態１）
まず、図３を参照して、異常がない状態における対象物のスペクトルの例を説明する。図３は、異常がない状態における対象物のスペクトルの例を模式的に示すグラフである。このグラフは、対象物が写る複数の画素におけるスペクトルを平均化したグラフ、または当該複数の画素の１つにおけるスペクトルのグラフである。グラフの縦軸は画素値を表し、グラフの横軸は波長を表す。図３に示す破線は対象物の本来のスペクトルを表し、図３に示す実線は、本来のスペクトルがバンドごとに平均化されたスペクトルを表す。ハイパースペクトルカメラによって実際に得られる対象物のスペクトルは、このようにバンドごとに平均化されたスペクトルである。図３に示す例において、対象波長域ＷはバンドＷ_１からＷ_１２を含む。対象物のスペクトルに含まれる複数のバンドは、各バンドにおけるスペクトルの値の大きさに基づき分類される。以下、分類方法の一例を説明する。

対象物のスペクトルは、あるバンドにおいて、その対象物に特有の大きい値を有する。図３に示す例において、対象物のスペクトルは、バンドＷ_３、Ｗ_７、およびＷ_１１において、極大値に起因する大きい値を示す。本明細書において、対象波長域Ｗに含まれるすべてのバンドのうち、異常がない状態における対象物のスペクトルにおいて、予め設定された閾値以上の値を有するバンドを「特徴バンド」と称し、それ以外のバンドを「非特徴バンド」と称する。非特徴バンドは、対象波長域に含まれる複数のバンドのうち、スペクトルデータの値が相対的に大きいバンドを除いたバンドである。閾値の設定は任意である。図３に示す例において、当該閾値は、バンドごとに平均化されたスペクトルが有する最大画素値の１／４の値である。最大画素値は任意単位で０．８であり、その１／４の値は０．２である。図３に示す例において、非特徴バンドは、ハッチングによって表されたバンドＷ_１、Ｗ_２、Ｗ_４、Ｗ_５、およびＷ_９である。特徴バンドは、それら以外のバンドＷ_３、バンドＷ_６からＷ_８、およびバンドＷ_１０からＷ_１２である。閾値は、対象波長域においてバンドごとに平均化されたスペクトルが有する最大画素値の１／２の値としてもよい。

次に、図４Ａから図４Ｃを参照して、異常がある状態における対象物の例を説明する。図４Ａから図４Ｃは、異常がある状態の対象物１０の例を模式的に示す図である。図４Ａから図４Ｃでは、それぞれ、対象物１０として、りんご、弁当、および人の顔が示されている。図４Ａに示す例において、りんごは黒く窪んだ部分を有する。黒く窪んだ部分が異常部分１０Ａである。図４Ｂに示す例において、弁当は、上部にある４つのおにぎり、左下部にある２つの卵焼き、および右下部にある２つの唐揚げを含む。弁当には髪の毛が混入している。髪の毛が異常部分１０Ａである。図４Ｃに示す例において、対象物１０である人の顔は、破線によって囲まれた領域においてニキビおよびシミを有する。上部にニキビがあり、下部にシミがある。ニキビおよびシミが異常部分１０Ａである。図４Ａから図４Ｃに示す例の他に、異常がある状態の対象物は、例えば、錆を有する金属、塗装が薄くなったりはがれたりした塗装面、または傷を有するコンクリートであり得る。

なお、本開示における検査装置は、同一の物体の経時変化による異常を検査する場合、および同一種類の多数の物体の各々についての異常の有無を検査する場合の両方に用いることができる。後者の場合、「対象物」は１つ物体を意味するのではなく、検査対象となる多数の同種の物体の総称である。例えば、類似したスペクトルを示す多数のりんごの各々について異常を検査する場合、あるいは内容物が同じである多数の弁当の各々について異常を検査する場合が、これに該当する。

次に、図５Ａおよび図５Ｂを参照して、異常がある状態における対象物のスペクトルの例を説明する。図５Ａは、異常がある状態における対象物のスペクトルの例を模式的に示すグラフである。このグラフは、対象物の異常部分が写るある画素における対象物のスペクトルのグラフである。図５Ａに示す例では、図３に示す例とは異なり、対象物のスペクトルは、非特徴バンドのうち、バンドＷ_１およびＷ_５において異常に起因するピークを有する。図５Ｂは、図５Ａに示すバンドごとに平均化されたスペクトルから抽出された非特徴バンドについてのスペクトルを模式的に示すグラフである。図５Ｂに示す実線は、異常がある状態の非特徴バンドについての対象物のスペクトルを表す。図５Ｂに示す破線は、図３に示す異常がない状態の非特徴バンドについての対象物のスペクトルを表す。図５Ｂに示すように、非特徴バンドについての対象物のスペクトルは、異常に起因して上昇する。したがって、対象物１０に異常部分１０Ａがあると、非特徴バンドについての複数の画像の少なくとも１つにおいて、異常部分１０Ａがそれ以外の部分よりも明るく表示される。異常部分１０Ａが強調された画像により、異常部分１０Ａを容易に発見することができる。

異常の有無は、例えば以下のようにして判断され得る。非特徴バンドについての複数の画像の少なくとも１つにおいて、ある画素の画素値が前述の閾値を超える場合、当該画素に対応する箇所に異常部分１０Ａが存在すると判断できる。あるいは、非特徴バンドについての複数の画像を重畳した１つの重畳画像によって異常部分１０Ａの有無を判断してもよい。重畳画像における画素ごとの画素値は、例えば、複数の画像における画素値を画素ごとに平均化した値に等しい。非特徴バンドについての重畳画像において、ある画素の画素値が、異常がない状態における非特徴バンドについての平均画素値よりも所定の値だけ大きい場合、当該画素に対応する箇所に異常部分１０Ａが存在すると判断できる。このように、対象物の異常を検査する検査用バンドとして非特徴バンドを用いることができる。

実施形態１による対象物の検査方法では、ハイパースペクトル画像に含まれるすべての画像を分析する必要はなく、検査用バンドについての画像を分析するだけで、従来よりも簡単に対象物の異常を検出することができる。また、発生し得る異常に起因するスペクトルの特徴が予め分からない場合であっても、簡単に対象物の異常を検出することができる。

以下に、図６を参照して、本開示の実施形態１による検査装置の例を説明する。ここでは、圧縮センシングの技術を用いずにハイパースペクトル画像のデータを生成する例を説明する。図６は、本開示の実施形態１による検査装置１００の例を模式的に示すブロック図である。図１に示す例において、検査対象の対象物１０はりんごであるが、これに限られない。対象物１０は、例えば弁当または人の肌のように任意の物体であり得る。

図６に示すように、検査装置１００は、ハイパースペクトルカメラ２０と、記憶装置３０と、表示装置４０と、処理回路５０と、メモリ５２とを備える。処理回路５０は、ハイパースペクトルカメラ２０、記憶装置３０、および表示装置４０の動作を制御する。処理回路５０によって実行されるコンピュータプログラムは、ＲＯＭまたはＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリ５２に格納されている。本明細書において、処理回路５０およびメモリ５２を備える装置を「処理装置」とも称する。処理回路５０およびメモリ５２は、１つの回路基板に集積されていてもよいし、別々の回路基板に設けられていてもよい。図６に示す検査装置１００の構成は、例えば、モバイル端末またはパーソナルコンピュータの構成の一部であってもよい。あるいは、図６に示す検査装置１００は、対象物１０の異常の有無を検査する専用の装置であってもよい。

対象物１０は、検査用の光源から出射された光または環境光で照射される。検査用の光源から出射される光または環境光は、例えば、可視光、または可視光および近赤外線を含み得る。

ハイパースペクトルカメラ２０は、光の照射によって対象物１０で生じた反射光を検出することによって対象物１０を撮像する。図６に示す矢印付きの破線は、対象物１０で生じた反射光を表す。ハイパースペクトルカメラ２０は、上記の検査用の光源を備えていてもよい。ハイパースペクトルカメラ２０は、対象物１０のハイパースペクトル画像のデータを生成して出力する。

記憶装置３０は、非特徴バンドのデータを記憶する。非特徴バンドは対象物によって異なる。非特徴バンドのデータは、対象物１０の検査前に記憶装置３０に記憶されている場合もあれば、記憶されていない場合もある。非特徴バンドのデータが記憶装置３０に記憶されていない場合における非特徴バンドの設定方法については後述する。

処理回路５０は、ハイパースペクトルカメラ２０から対象物１０のハイパースペクトル画像のデータを取得し、記憶装置３０から非特徴バンドのデータを取得する。処理回路５０は、取得したこれらのデータに基づいて対象物１０の異常の有無を検査する。この検査方法については後述する。

表示装置４０は、非特徴バンドの設定の開始をユーザが指示するための設定モードのＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）、および対象物１０の検査の開始をユーザが指示するための検査モードのＧＵＩを表示する。さらに、表示装置４０は対象物１０の検査結果を表示する。表示装置４０は、例えばモバイル端末またはパーソナルコンピュータのディスプレイであり得る。

次に、図７Ａから図７Ｃを参照して、実施形態１における処理回路５０が実行する動作の例を説明する。まず、対象物１０についての非特徴バンドが設定される。図７Ａは、非特徴バンドを設定する場合の、実施形態１における処理回路５０が実行する動作の例を示すフローチャートである。これ以降の図に示す「ＨＳ画像」はハイパースペクトル画像を表し、「ＨＳカメラ」はハイパースペクトルカメラを表す。ユーザは、対象物１０を検査する前に、対象物１０についての非特徴バンドのデータが記憶装置３０に記憶されているか否かを確認する。非特徴バンドのデータが記憶装置３０に記憶されていないことをユーザが確認した場合、ユーザは、表示装置４０に表示されるＧＵＩを介して非特徴バンドの設定を開始する信号を処理回路５０に送信する。処理回路５０は、当該信号を受けて以下のステップＳ１０１からＳ１０４の動作を実行する。

＜ステップＳ１０１＞
処理回路５０は、ハイパースペクトルカメラ２０に対象物１０の正常部分を撮像させてそのハイパースペクトル画像のデータを生成させる。対象物１０の正常部分についてはユーザが目視で決定してもよい。対象物１０の正常部分は、異常がない状態の同種類の他の対象物の一部であってよい。ユーザは、撮像の前に、対象物１０の正常部分をハイパースペクトルカメラ２０の前に配置する。

＜ステップＳ１０２＞
処理回路５０は、正常部分のハイパースペクトル画像のデータをハイパースペクトルカメラ２０から取得する。

＜ステップＳ１０３＞
処理回路５０は、ステップＳ１０２において取得したデータから非特徴バンドを決定する。この具体的な動作は以下の通りである。処理回路５０は、取得したデータから正常部分のスペクトルデータを生成する。正常部分のスペクトルデータは、例えば、正常部分が写る複数の画素のスペクトルデータを平均化したスペクトルデータ、または当該複数の画素の１つのスペクトルデータであり得る。処理回路５０は、正常部分のスペクトルデータに基づいて、図３を参照して説明した方法によって対象波長域から非特徴バンドを自動的に選択してもよい。あるいは、処理回路５０は表示装置４０に正常部分のスペクトルデータに基づく画像を表示させ、ユーザが目視により、表示された画像から非特徴バンドを選択してもよい。

＜ステップＳ１０４＞
処理回路５０は、非特徴バンドのデータを記憶装置３０に記憶させる。

非特徴バンドを設定した後、対象物１０の異物の有無が検査される。図７Ｂは、対象物１０の異物の有無を検査する場合の、実施形態１における処理回路５０が実行する動作の例を示すフローチャートである。非特徴バンドのデータが記憶装置３０に記憶されていることをユーザが確認した場合、ユーザは、表示装置４０に表示されるＧＵＩを介して対象物１０の検査を開始する信号を処理回路５０に送信する。処理回路５０は、当該信号を受けて以下のステップＳ２０１およびＳ２０６の動作を実行する。この動作により、検査対象の対象物１０の異物の有無を検査することができる。

＜ステップＳ２０１＞
処理回路５０は、ハイパースペクトルカメラ２０に検査対象の対象物１０を撮像させて対象物１０のハイパースペクトル画像のデータを生成させる。

＜ステップＳ２０２＞
処理回路５０は、ハイパースペクトルカメラ２０から対象物１０のハイパースペクトル画像のデータを取得し、記憶装置３０から非特徴バンドのデータを取得する。

＜ステップＳ２０３＞
処理回路５０は、ステップＳ２０２において取得したデータから非特徴バンドについての部分スペクトルデータを生成する。非特徴バンドについての部分スペクトルデータは、非特徴バンドに含まれるすべてのバンドについてのすべての画像データであってもよい。あるいは、非特徴バンドについての部分スペクトルデータは、非特徴バンドに含まれるすべてのバンドについてのすべての画像データを重畳した１つの重畳画像データであってもよい。重畳画像データにより、次のステップＳ２０４において分析するデータ量を減らすことができる。

非特徴バンドについての部分スペクトルデータと比較するために、処理回路５０は、対象波長域のうち、特徴バンドについてのスペクトルデータをさらに生成してもよい。特徴バンドについてのスペクトルデータは、特徴バンドに含まれるすべてのバンドについてのすべての画像データであってもよい。あるいは、特徴バンドについてのスペクトルデータは、特徴バンドに含まれるすべてのバンドについてのすべての画像データを重畳した１つの重畳画像データであってもよい。

＜ステップＳ２０４＞
処理回路５０は、部分スペクトルデータに基づいて、対象物１０の異常の有無を決定する。処理回路５０は、図５Ａおよび図５Ｂを参照して説明した方法により、非特徴バンドについてのすべての画像データの各々または重畳画像データを分析して対象物１０の異常の有無を決定してもよい。処理回路５０は、異常の有無を示すデータを表示装置４０に出力する。対象物１０に異常がある場合、処理回路５０はステップＳ２０５の動作を実行する。対象物１０に異常がない場合、処理回路５０はステップＳ２０６の動作を実行する。

＜ステップＳ２０５＞
処理回路５０は、対象物１０に異常があることを表示装置４０に表示させる。

＜ステップＳ２０６＞
処理回路５０は、対象物１０に異常がないことを表示装置４０に表示させる。なお、対象物１０に異常がない場合、処理回路５０は、ステップＳ２０６の動作を実行せずに処理動作を終了してもよい。

部分スペクトルデータに基づく対象物１０の検査は、ユーザが行ってもよい。図７Ｃは、対象物１０の異物の有無を検査する場合の、実施形態１における処理回路５０が実行する動作の他の例を示すフローチャートである。処理回路５０は、ステップＳ２０１からＳ２０３の後に、ステップＳ２０７の動作を実行する。

＜ステップＳ２０７＞
処理回路５０は、部分スペクトルデータに基づく画像を表示装置４０に表示させる。ユーザは、表示された画像から目視で対象物１０の異常の有無を決定する。部分スペクトルデータに基づく画像は、例えば非特徴バンドについてのすべての画像、またはそれらすべての画像を重畳した１つの重畳画像であり得る。非特徴バンドについてのすべての画像の少なくとも１つまたは重畳画像において、他の部分よりも明るく表示されている部分があれば、ユーザは当該部分に異常部分が存在すると判断できる。

前述した例とは異なる例として、ステップＳ２０１からＳ２０３の代わりに、処理回路５０は以下の動作を実行してもよい。処理回路５０は、記憶装置３０から非特徴バンドのデータを取得する。次に、処理回路５０は、取得したデータに基づいて、ハイパースペクトルカメラ２０に、対象波長域におけるすべてのバンドについてのすべての画像データを生成させることなく、非特徴バンドについての部分スペクトルデータだけを生成させる。その後、処理回路５０はステップＳ２０４の動作を実行する。

実施形態１による対象物の検査方法において、非特徴バンドのデータを記憶するのに大容量の記憶媒体は必要ない。さらに、実施形態１による対象物の検査方法において、非特徴バンドについての部分スペクトルデータを分析するのに高性能の処理回路は必要ない。したがって、実施形態１による対象物の検査方法では、大容量の記憶媒体および高性能の処理回路を必要とせずに、対象物の異常をより簡単に検出することができる。

次に、図８を参照して、実施形態１における記憶装置３０に記憶される非特徴バンドのデータの例を説明する。図８は、実施形態１における記憶装置３０に記憶される非特徴バンドのデータの例を模式的に示すテーブルである。図８に示す例では、りんご、弁当、人の肌などのユースケースごとに非特徴バンドのデータが記憶されている。例えば、ケースＡにおいて、非特徴バンドは、バンドＷ_１、Ｗ_２、Ｗ_５、およびＷ_８などのバンドを含む。ケースＢにおいて、非特徴バンドは、バンドＷ_２、Ｗ_４、Ｗ_６、およびＷ_８などのバンドを含む。ケースＣにおいて、非特徴バンドは、バンドＷ_５、Ｗ_８、Ｗ_１１、およびＷ_１５などのバンドを含む。ユースケースのデータと一緒に、以下の関連情報のデータを記憶してもよい。当該関連情報は、例えば、ゲインおよび露光時間などのハイパースペクトルカメラ２０の設定情報、ならびにユーザが任意に入力した照明の明るさ、温度、および湿度などの撮像環境の情報、撮像時の天候情報、対象物の名前、ならびにハイパースペクトル画像のサイズであり得る。

次に、図９Ａおよび図９Ｂを参照して、表示装置４０に表示されるＧＵＩの例を説明する。図９Ａおよび図９Ｂは、それぞれ、実施形態１における表示装置４０に表示される、設定モードおよび検査モードのＧＵＩの例を模式的に示す図である。図９Ａおよび図９Ｂに示すように、ＧＵＩには設定ボタンおよび検査ボタンが表示されている。ユーザはこれらのボタンのどちらかを押して、設定モードまたは検査モードを選択する。このように、当該ＧＵＩは、設定モードと検査モードとの間で切り替えることが可能である。

図９Ａに示す設定モードにおいて、撮像対象が対象物１０の正常部分であることがわかるように、確認画像として対象波長域のあるバンドについての画像を表示してもよい。図９Ａに示す例では、りんごの正常部分が拡大された画像が表示されている。正常部分が明瞭にわかる画像であれば、ＲＧＢ画像またはモノクロ画像であってもよい。ユーザは、対象物１０の正常部分をハイパースペクトルカメラ２０の前に配置し、ＧＵＩ中の撮像ボタンを押して正常部分のハイパースペクトル画像を撮像する。処理回路５０は、図７Ａに示すステップＳ１０１からＳ１０３の動作を実行して非特徴バンドを決定する。ＧＵＩにおいて、ハイパースペクトル画像を撮像するためのボタンと、非特徴バンドを決定するためのボタンとが分かれていてもよい。決定された非特徴バンドの情報、およびユースケースとして登録する対象物の名前などの情報をＧＵＩに表示してもよい。処理回路５０は、図７Ａに示すステップＳ１０４の動作を実行して非特徴バンドのデータをユースケースのデータとともに記憶装置３０に記憶させる。処理回路５０は、前述の関連情報のデータを記憶装置３０にさらに記憶させてもよい。

図９Ｂに示す検査モードにおいて、設定した非特徴バンドの情報、ユーザが選択したユースケースの情報、および非特徴バンドについての画像をＧＵＩに表示してもよい。非特徴バンドについての画像は、非特徴バンドに含まれるすべての画像、またはそれらすべての画像を重畳した１つの重畳画像であってもよい。あるいは、非特徴バンドについての画像は、非特徴バンドについてのすべての画像のうち、異常部分が最も明瞭にわかる１つの画像であってもよい。すべての画像をＧＵＩに表示する場合、すべての画像を一度にＧＵＩに表示してもよいし、各画像をスライド形式で表示してもよい。図９Ｂに示す例では、重畳画像が示されている。非特徴バンドについての画像は静止画であっても動画であってもよい。

さらに、非特徴バンドについての画像との比較のために、特徴バンドについての画像をＧＵＩに表示してもよい。特徴バンドについての画像は、特徴バンドに含まれるすべての画像、またはそれらすべての画像を重畳した１つの重畳画像であってもよい。すべての画像をＧＵＩに表示する方法については前述した通りである。特徴バンドについての画像は静止画であっても動画であってもよい。

処理回路５０は、非特徴バンドについての画像データ、または非特徴バンドおよび特徴バンドについての画像データを記憶装置３０に記憶させてもよい。

図９Ｂに示す例では、りんごに黒い窪みがある。この黒い窪みを実線で囲み、異物があるという警告を検査モードのＧＵＩに表示してもよい。

（実施形態２）
次に、圧縮センシングの技術を用いてハイパースペクトル画像のデータを生成する、実施形態２による検査装置の例を説明する。これ以降の実施形態において、前述の説明と重複する説明については省略する。実施形態２による検査装置は、図６に示す検査装置１００と同じ構成を備える。実施形態２における記憶装置３０は、図８に示す非特徴バンドに含まれるバンドのデータに加えて、復元テーブルを記憶する。「復元テーブル」は、圧縮センシングを用いて取得された圧縮画像からハイパースペクトル画像を復元する際の演算に用いられるデータである。ハイパースペクトルカメラ２０が前述したようなフィルタアレイにより対象物のスペクトルの圧縮センシングを行うカメラであった場合、フィルタアレイの光透過率の空間分布を示す「マスクデータ」が、この「復元テーブル」に相当する。以降、本実施形態では、ハイパースペクトルカメラ２０としてこのようなフィルタアレイを用いて圧縮センシングを行うカメラを用いるが、圧縮センシングの方式はこれに限定されず、周知の他の圧縮センシングの方式を適用することができる。

本実施形態における記憶装置３０は、復元テーブルとして、すべてのバンド情報を含むマスクデータおよび非特徴バンドについてのマスクデータを記憶する。すべてのバンド情報を含むマスクデータは、対象物１０の検査前に記憶装置３０に記憶されている。これに対して、非特徴バンドに含まれるバンドのデータおよび非特徴バンドについてのマスクデータは、対象物１０の検査前に記憶装置３０に記憶されている場合もあれば、記憶されていない場合もある。

図１０Ａは、実施形態２における記憶装置３０に記憶されるすべてのバンド情報を含むマスクデータの例を示すテーブルである。図１０Ｂは、実施形態２における記憶装置３０に記憶される非特徴バンドについてのマスクデータの例を示すテーブルである。図１０Ａおよび図１０Ｂに示すフィルタ１、フィルタ２などのフィルタ番号は、フィルタアレイに含まれる２次元的に配列された複数のフィルタの識別番号である。図１０Ａおよび図１０Ｂに示す数値はフィルタごとの光透過率を表す。図１０Ｂに示す例では、図８に示すケースＡの非特徴バンドについてのマスクデータが示されている。

次に、図１１Ａから図１１Ｃを参照して、実施形態２における処理回路５０が実行する動作の例を説明する。まず、対象物１０についての非特徴バンドが設定される。図１１Ａは、非特徴バンドを設定する場合の、実施形態２における処理回路５０が実行する動作の例のフローチャートである。処理回路５０は、以下のステップＳ３０１からＳ３０５の動作を実行する。

＜ステップＳ３０１＞
処理回路５０は、ハイパースペクトルカメラ２０に対象物１０の正常部分を撮像させてその圧縮画像のデータを生成させる。

＜ステップＳ３０２＞
処理回路５０は、ハイパースペクトルカメラ２０から正常部分の圧縮画像のデータを取得し、記憶装置３０からマスクデータを取得する。

＜ステップＳ３０３＞
処理回路５０は、ステップＳ３０２において取得したデータから正常部分のハイパースペクトル画像のデータを復元する。

＜ステップＳ３０４およびＳ３０５＞
ステップＳ３０４およびＳ３０５の動作は、それぞれ、図７Ａに示すステップＳ１０３およびＳ１０４の動作と同一である。圧縮センシングの技術を用いる場合、非特徴バンドのデータは、非特徴バンドに含まれるバンドのデータ、および非特徴バンドについてのマスクデータを含む。

非特徴バンドを設定した後、対象物１０の異物の有無が検査される。図１１Ｂは、対象物１０の異物の有無を検査する場合の、実施形態２における処理回路５０が実行する動作の例を示すフローチャートである。処理回路５０は、以下のステップＳ４０１からＳ４０６の動作を実行する。この動作により、検査対象の対象物１０の異物の有無を検査することができる。

＜ステップＳ４０１＞
処理回路５０は、ハイパースペクトルカメラ２０に検査対象の対象物１０を撮像させて対象物１０の圧縮画像のデータを生成して出力させる。

＜ステップＳ４０２＞
処理回路５０は、ハイパースペクトルカメラ２０から対象物１０の圧縮画像のデータを取得し、記憶装置３０からマスクデータおよび非特徴バンドのデータを取得する。

＜ステップＳ４０３＞
処理回路５０は、ステップＳ４０２において取得したデータから非特徴バンドについての部分スペクトルデータを生成する。具体的な動作は以下の通りである。処理回路５０は、マスクデータを用いて対象物１０の圧縮画像のデータから対象波長域に含まれるすべての画像データを復元し、復元した当該データから非特徴バンドについての画像データを抽出して部分スペクトルデータを生成してもよい。非特徴バンドについての部分スペクトルデータと比較するために、処理回路５０は、特徴バンドについてのスペクトルデータを生成してもよい。非特徴バンドおよび特徴バンドについての部分スペクトルデータについては、図７Ｂに示すステップＳ２０３において説明した通りである。

あるいは、処理回路５０は、マスクデータを再構成し、その再構成したマスクデータを用いることにより、非特徴バンドに含まれるすべてのバンドについてのすべての画像データを重畳した１つの重畳画像データと、特徴バンドに含まれるすべてのバンドについてのすべての画像データを重畳した１つの重畳画像のデータとを生成してもよい。この方法では、２つの画像データを生成するだけなので、処理回路５０への演算負荷を低くすることができる。当該方法の詳細は、特願２０２０－０５６３５３に開示されている。

＜ステップＳ４０４からＳ４０６＞
ステップＳ４０４からＳ４０６の動作は、それぞれ、図７Ｂに示すステップＳ２０４からＳ２０６の動作と同一である。

実施形態１と同様に、部分スペクトルデータに基づく対象物１０の検査は、ユーザが行ってもよい。図１１Ｃは、対象物１０の異物の有無を検査する場合の、実施形態２における処理回路５０が実行する動作の他の例を示すフローチャートである。処理回路５０は、ステップＳ４０１からＳ４０３の後に、ステップＳ４０７の動作を実行する。ステップＳ４０７の動作は、図７Ｃに示すステップＳ２０７の動作と同一である。

（実施形態３）
実施形態１および２では、検査装置１００に含まれる処理回路５０が非特徴バンドを決定する。検査装置１００に通信ネットワーク介して外部のサーバが接続される場合、外部のサーバに含まれる処理回路が非特徴バンドを決定してもよい。非特徴バンドの決定を外部のサーバに任せるのは、例えば、正常部分のスペクトルから非特徴バンドを決定することが容易ではない場合、または検査装置１００に含まれる処理回路５０の演算負荷を低くしたい場合である。本明細書において、検査装置およびサーバをまとめて「検査システム」と称する。以下に、図１２を参照して、実施形態３による検査システムの例を説明する。ここでは、圧縮センシングを用いずにハイパースペクトル画像を生成する例を説明する。

図１２は、実施形態３による検査システム２００の例を模式的に示すブロック図である。図１２に示すように、検査システム２００は、有線または無線の通信ネットワークを介して互いに接続された検査装置１００およびサーバ１１０を備える。検査装置１００は、図６に示す構成に加えて、送信回路１２ｓおよび受信回路１２ｒを備える。サーバ１１０は、送信回路１４ｓおよび受信回路１４ｒと、記憶装置６０と、処理回路７０と、メモリ７２とを備える。記憶装置６０には、複数の対象物についての非特徴バンドの過去データが記憶され得る。サーバ１１０における処理回路７０およびメモリ７２の関係は、検査装置１００における処理回路５０およびメモリ５２の関係と同様である。検査装置１００は、送信回路１２ｓおよび受信回路１２ｒによってサーバ１１０とデータの送受信を行う。サーバ１１０は、送信回路１４ｓおよび受信回路１４ｒによって検査装置１００とデータの送受信を行う。本明細書において、検査装置１００に含まれる処理回路５０を「第１処理回路５０」と称し、サーバ１１０に含まれる処理回路７０を「第２処理回路７０」と称する。

実施形態３による検査システム２００では、第１処理回路５０ではなく、第２処理回路７０が非特徴バンドを決定する。第２処理回路７０は、外部の入出力装置８０を用いて非特徴バンドを決定してもよい。

次に、図１３Ａおよび図１３Ｂを参照して、実施形態３における第１処理回路５０および第２処理回路７０の動作の例を説明する。図１３Ａは、非特徴バンドを設定する場合の、実施形態３における第１処理回路５０が実行する動作の例を示すフローチャートである。第１処理回路５０は、以下のステップＳ５０１からＳ５０４の動作を実行する。

＜ステップＳ５０１およびＳ５０４＞
ステップＳ５０１およびＳ５０４の動作は、それぞれ図７Ａに示すステップＳ１０１およびＳ１０４の動作と同一である。

＜ステップＳ５０２＞
第１処理回路５０は、送信回路１２ｓに、正常部分のハイパースペクトル画像のデータをサーバ１１０に向けて送信させる。当該データは対象物の名前の情報も含む。

＜ステップＳ５０３＞
第１処理回路５０は、受信回路１２ｒが非特徴バンドのデータをサーバ１１０から受信したか否かを判定する。判定がＹｅｓの場合、第１処理回路５０はステップＳ５０４の動作を実行する。判定がＮｏの場合、第１処理回路５０はステップＳ５０３の動作を再度実行する。

図１３Ｂは、非特徴バンドを設定する場合の、実施形態３における第２処理回路７０が実行する動作の例を示すフローチャートである。第２処理回路７０は、以下のステップＳ６０１からＳ６１０の動作を実行する。これらの動作は、図１３Ａに示すステップＳ５０２とステップＳ５０３との間に実行される。

＜ステップＳ６０１＞
第２処理回路７０は、受信回路１４ｒが正常部分のハイパースペクトル画像のデータを受信したか否かを判定する。判定がＹｅｓの場合、第２処理回路７０はステップＳ６０２の動作を実行する。判定がＮｏの場合、第２処理回路７０はステップＳ６０１の動作を再度実行する。

＜ステップＳ６０２＞
第２処理回路７０は、正常部分のハイパースペクトル画像のデータを受信回路１４ｒから取得する。

＜ステップＳ６０３＞
第２処理回路７０は、過去データを検索することにより、正常部分のハイパースペクトル画像のデータと同様の過去データが記憶装置６０に記憶されているか否かを判定する。過去データにラベルとして対象物の名前が付されている場合、第２処理回路７０は、検査装置１００から送信されたデータに含まれる対象物１０の名前が、過去データに付された対象物の名前と一致するか否かを調べてもよい。判定がＹｅｓの場合、第２処理回路７０は、ステップＳ６０４の動作を実行する。判定がＮｏの場合、処理回路７０はステップＳ６０５の動作を実行する。

＜ステップＳ６０４＞
第２処理回路７０は、ステップＳ６０３における検索によって見つけ出したデータを、対象物１０についての非特徴バンドのデータとして決定する。

＜ステップＳ６０５＞
第２処理回路７０は、正常部分のスペクトルデータから非特徴バンドを決定するプログラムがメモリ７２に格納されているか否かを判定する。当該プログラムは、例えば、図３を参照して説明した方法を実行するプログラムであり得る。判定がＹｅｓの場合、第２処理回路７０は、ステップＳ６０６の動作を実行する。判定がＮｏの場合、第２処理回路７０は、ステップＳ６０７の動作を実行する。

＜ステップＳ６０６＞
第２処理回路７０は、プログラムを実行して正常部分のハイパースペクトル画像のデータから非特徴バンドを決定する。第２処理回路７０は、記憶装置６０に記憶されたハイパースペクトル画像の過去データに基づいて非特徴バンドのデータを類推してもよい。

＜ステップＳ６０７＞
第２処理回路７０は、正常部分のハイパースペクトル画像のデータを入出力装置８０に出力する。入出力装置８０は当該データから非特徴バンドを決定する。入出力装置８０では、外部の専門家がデータを分析して非特徴バンドを決定してもよい。対象物１０が例えば複数の具材を含む弁当である場合、正常部分のスペクトルは、ある具材が写る画素と他の具材が写る画素とにおいて異なる。このため、スペクトルデータの分析が複雑になり得る。複雑な分析は外部の専門家が行ってもよい。

＜ステップＳ６０８＞
第２処理回路７０は、非特徴バンドのデータを入出力装置８０から取得する。上記の弁当の場合、非特徴バンドのデータは、複数の具材の各々についての非特徴バンドのデータである。

＜ステップＳ６０９＞
第２処理回路７０は、対象波長域のデータを送信回路１４ｓに出力する。

＜ステップＳ６１０＞
第２処理回路７０は、送信回路１４ｓに、非特徴バンドのデータを検査装置１００に向けて送信させる。

対象物１０の異物の有無を検査する場合の、実施形態３における第１処理回路５０が実行する動作は、図７Ｂまたは図７Ｃに示すステップの動作と同一である。

次に、図１４を参照して、実施形態３における検査装置１００とサーバ１１０との間で実行される処理動作の流れを説明する。図１４は、実施形態３における検査装置１００およびサーバ１１０の動作の例を示すシーケンス図である。図１４では、第１処理回路５０および第２処理回路７０が実行する代表的な動作が示されている。

図１４に示すように、非特徴バンドの設定、対象物の検査、および非特徴バンドの更新の動作がこの順に実行される。非特徴バンドの設定の動作については、図１３Ａに示すステップＳ５０１からＳ５０４、および図１３Ｂに示すステップＳ６０１からＳ６１０において説明した通りである。対象物の検査の動作については、図７Ｂに示すステップＳ２０１からＳ２０６において説明した通りである。非特徴バンドの更新の動作については、新たな対象物の正常部分を撮像する以外は、非特徴バンドの設定の動作と同一である。第２処理回路７０は、正常部分のハイパースペクトル画像のデータが更新された場合に、当該データに基づいて非特徴バンドを更新する。

非特徴バンドの更新は定期的に実行されてもよいし、ユーザまたはサーバ１１０の判断によって実行されてもよい。定期的な更新は、例えば日単位、週単位、月単位、または年単位の周期の更新であり得る。ユーザが判断する場合は、例えば、ユーザが検査装置１００の使用環境が変わったと判断する場合、またはユーザがこれまで異常として扱っていた状態を異常な状態ではないと判断する場合である。サーバ１１０が判断する場合は、例えば、サーバ１１０が正常部分のスペクトルデータを定期的に分析し、ユーザが気づかないわずかな違いを発見する場合である。

（実施形態４）
次に、圧縮センシングの技術を用いてハイパースペクトル画像のデータを生成する、本開示の実施形態４による検査システムの例を説明する。実施形態４による検査システムは、図１２に示す検査システム２００と同じ構成を備える。実施形態４における検査装置１００に含まれる記憶装置３０は、図８に示す非特徴バンドに含まれるバンドのデータに加えて、図１０Ａに示すすべてのバンド情報を含むマスクデータを記憶する。

次に、図１５を参照して、実施形態４における第１処理回路５０が実行する動作の例を説明する。図１５は、非特徴バンドを設定する場合の、実施形態４における第１処理回路５０が実行する動作の例を示すフローチャートである。第１処理回路５０は、以下のステップＳ７０１からＳ７０６の動作を実行する。

＜ステップＳ７０１からＳ７０３、およびステップＳ７０６＞
ステップＳ７０１からＳ７０３、およびステップＳ７０６の動作は、それぞれ、図１１Ａに示すステップＳ３０１からＳ３０３、およびステップＳ３０５の動作と同一である。

＜ステップＳ７０４＞
第１処理回路５０は、送信回路１２ｓに、正常部分のハイパースペクトル画像のデータをサーバ１１０に向けて送信させる。

＜ステップＳ７０５＞
第１処理回路５０は、受信回路１２ｒが非特徴バンドのデータをサーバ１１０から受信したか否かを判定する。判定がＹｅｓの場合、第１処理回路５０はステップＳ７０６の動作を実行する。判定がＮｏの場合、第１処理回路５０はステップＳ７０５の動作を再度実行する。

非特徴バンドを設定する場合の、実施形態４における第２処理回路７０の動作は、図１３Ｂに示すステップの動作と同一である。対象物１０の異物の有無を検査する場合の、実施形態４における第１処理回路５０が実行する動作は、図１１Ｂまたは図１１Ｃに示すステップの動作と同一である。実施形態４による検査システム２００における検査装置１００とサーバ１１０との間で実行される処理動作の流れは、図１４に示す処理動作の流れと同一である。

（実施形態５）
次に、圧縮センシングの技術を用いてハイパースペクトル画像のデータを生成する、本開示の実施形態５による検査システムの例を説明する。実施形態５による検査システムは、図１２に示す検査システム２００と同じ構成を備える。実施形態５による検査システムが実施形態４による検査システムとは異なる点は、検査装置１００における記憶装置３０だけでなく、サーバ１１０における記憶装置６０も、図１０Ａに示すすべてのバンド情報を含むマスクデータを記憶することである。

次に、図１６Ａおよび図１６Ｂを参照して、実施形態５における第１処理回路５０および第２処理回路７０の動作を説明する。図１６Ａは、非特徴バンドを設定する場合の、第１処理回路５０の動作のフローチャートである。第１処理回路５０は、以下のステップＳ８０１からＳ８０４の動作を実行する。

＜ステップＳ８０１、Ｓ８０３、およびＳ８０４＞
ステップＳ８０１、Ｓ８０３、およびＳ８０４の動作は、それぞれ、図１５に示すステップＳ７０１、Ｓ７０５、およびＳ７０６の動作と同一である。

＜ステップＳ８０２＞
第１処理回路５０は、送信回路１２ｓに、正常部分の圧縮画像のデータをサーバ１１０に向けて送信させる。実施形態５による検査システムでは、サーバ１１０における記憶装置６０がマスクデータを記憶しているので、検査装置１００において正常部分の圧縮画像のデータをハイパースペクトル画像のデータに復元する必要はない。したがって、第１処理回路５０への演算負荷を低くすることができる。

図１６Ｂは、非特徴バンドを設定する場合の、実施形態５における第２処理回路７０が実行する動作の例を示すフローチャートである。第２処理回路７０は、以下のステップＳ９０１からＳ９１１の動作を実行する。これらの動作は、図１６Ａに示すステップＳ８０２とステップＳ８０３との間に実行される。

＜ステップＳ９０１＞
第２処理回路７０は、受信回路１４ｒが正常部分の圧縮画像のデータを受信したか否かを判定する。判定がＹｅｓの場合、第２処理回路７０はステップＳ９０２の動作を実行する。判定がＮｏの場合、第２処理回路７０はステップＳ９０１の動作を再度実行する。

＜ステップＳ９０２＞
第２処理回路７０は、受信回路１４ｒから正常部分の圧縮画像のデータを取得し、記憶装置６０からマスクデータを取得する。

＜ステップＳ９０３＞
第２処理回路７０は、ステップＳ９０２において取得したデータから正常部分のハイパースペクトル画像のデータを復元する。

＜ステップＳ９０４からＳ９１１＞
ステップＳ９０４からＳ９１１の動作は、それぞれ、図１３Ｂに示すステップＳ６０３からＳ６１０の動作と同一である。

対象物１０の異物の有無を検査する場合の、実施形態５における第１処理回路５０が実行する動作は、図１１Ｂまたは図１１Ｃに示すステップの動作と同一である。

次に、図１７を参照して、実施形態５における検査装置１００とサーバ１１０との間で実行される処理動作の流れを説明する。図１７は、実施形態５における検査装置１００およびサーバ１１０の動作の例を示すシーケンス図である。図１７に示すシーケンス図が図１４に示すシーケンス図とは異なる点は、非特徴バンドの設定および更新において検査装置からサーバに向けて送信する正常部分の画像データがハイパースペクトル画像のデータではなく圧縮画像のデータであることである。

１０ 対象物
１０Ａ 異常部分
１２ｓ、１４ｓ 送信部
１２ｒ、１４ｒ 受信部
２０ ハイパースペクトルカメラ
３０、６０ 記憶装置
４０ 表示装置
５０、７０ 処理回路
５２、７２ メモリ
８０ 入出力装置
９０ フィルタアレイ
１００ 検査装置
１１０ サーバ
２００ 検査システム

Claims (14)

1. 検査システムによって実行される方法であって、
   異常がない状態における対象物の第１スペクトルデータを取得することと、
   前記第１スペクトルデータの波長域に含まれる複数のバンドを、前記第１スペクトルデータの値の大きさに基づき分類することと、
   分類された前記複数のバンドの一部を、前記対象物の異常を検査するための１つ以上の検査用バンドとして決定することと、
   前記検査用バンドを示すバンドデータを記憶装置に記憶することと、
   を含む方法。
2. 検査対象の前記対象物の前記検査用バンドにおける第２スペクトルデータを取得することと、
   前記第２スペクトルデータに基づいて、検査対象の前記対象物の異常の有無を決定することと、
   前記異常の有無を示す検査データを出力することと、
   をさらに含む、
   請求項１に記載の方法。
3. 前記検査用バンドは、前記第１スペクトルデータの値の大きさが所定の閾値よりも小さいバンドである、
   請求項１または２に記載の方法。
4. 前記第１スペクトルデータが更新された場合に、更新された前記第１スペクトルデータに基づいて、前記検査用バンドを更新することをさらに含む、
   請求項１から３のいずれかに記載の方法。
5. 前記検査用バンドの設定の開始をユーザが指示するためのＧＵＩを表示装置に表示させることをさらに含む、
   請求項１から４のいずれかに記載の方法。
6. 前記対象物の検査の開始をユーザが指示するためのＧＵＩを表示装置に表示させることをさらに含む、
   請求項１から５のいずれかに記載の方法。
7. 前記ＧＵＩは、ユーザの指示により、前記検査用バンドの設定の開始と、前記対象物の検査の開始との間で切り替えることが可能である、
   請求項５または６に記載の方法。
8. 前記第１スペクトルデータは、異常がない状態における前記対象物の第１ハイパースペクトル画像データである、
   請求項１から７のいずれかに記載の方法。
9. 前記第１ハイパースペクトル画像データは、異常がない状態における前記対象物の第１圧縮画像データから復元された画像データであり、
   前記第１圧縮画像データは、前記複数のバンドの画像情報が圧縮された２次元画像データである、
   請求項８に記載の方法。
10. 前記第１圧縮画像データは、フィルタアレイを通して前記対象物からの光を検出することによって取得され、
    前記フィルタアレイは、２次元的に配列された複数のフィルタを備え、
    前記複数のフィルタのうちの少なくとも２つ以上のフィルタの透過スペクトルは互いに異なっており、
    前記第１ハイパースペクトル画像データは、前記フィルタアレイについてのバンドごとの光透過率の空間分布を示すマスクデータによって前記第１圧縮画像データから復元される、
    請求項９に記載の方法。
11. 検査対象の前記対象物の前記検査用バンドにおける第２スペクトルデータを取得することと、
    前記第２スペクトルデータに基づく画像を表示装置に表示することと、
    を含む、
    請求項１から１０のいずれかに記載の方法。
12. プロセッサと、
    前記プロセッサによって実行されるコンピュータプログラムを格納したメモリと、
    を備えた処理装置であって、
    前記コンピュータプログラムは、前記プロセッサに、
    異常がない状態における対象物の第１スペクトルデータを取得することと、
    前記第１スペクトルデータの波長域に含まれる複数のバンドを、前記第１スペクトルデータの値の大きさに基づき分類することと、
    分類された前記複数のバンドの一部を、前記対象物の異常を検査するための１つ以上の検査用バンドとして決定することと、
    前記検査用バンドを示すバンドデータを記憶装置に記憶することと、
    を実行させる、
    処理装置。
13. センサと、処理装置とを備える検査システムであって、
    前記処理装置は、
    プロセッサと、
    前記プロセッサによって実行されるコンピュータプログラムを格納したメモリと、
    を含み、
    前記コンピュータプログラムは、前記プロセッサに、
    異常がない状態における対象物の第１スペクトルデータを前記センサから取得することと、
    前記第１スペクトルデータの波長域に含まれる複数のバンドを、前記第１スペクトルデータの値の大きさに基づき分類することと、
    分類された前記複数のバンドの一部を、前記対象物の異常を検査するための１つ以上の検査用バンドとして決定することと、
    前記検査用バンドを示すバンドデータを記憶装置に記憶することと、
    検査対象の前記対象物の前記検査用バンドにおける第２スペクトルデータを前記センサから取得することと、
    前記第２スペクトルデータに基づいて、検査対象の前記対象物の異常の有無を決定することと、
    前記異常の有無を示す検査データを出力することと、
    を実行させる、検査システム。
14. センサと、処理装置と、表示装置とを備える検査システムであって、
    前記処理装置は、
    プロセッサと、
    前記プロセッサによって実行されるコンピュータプログラムを格納したメモリと、
    を含み、
    前記コンピュータプログラムは、前記プロセッサに、
    異常がない状態における対象物の第１スペクトルデータを前記センサから取得することと、
    前記第１スペクトルデータの波長域に含まれる複数のバンドを、前記第１スペクトルデータの値の大きさに基づき分類することと、
    分類された前記複数のバンドの一部を、前記対象物の異常を検査するための１つ以上の検査用バンドとして決定することと、
    前記検査用バンドを示すバンドデータを記憶装置に記憶することと、
    検査対象の前記対象物の前記検査用バンドにおける第２スペクトルデータを前記センサから取得することと、
    前記第２スペクトルデータに基づく画像を前記表示装置に表示することと、
    を実行させる、検査システム。

Images