JP2017053699A - 物質判別に用いる近赤外画像撮像用の波長決定方法および近赤外画像を用いた物質判別方法 - Google Patents

Abstract

【課題】検出対象物質と検出対象以外の物質とを正確に判別するための撮像用の近赤外線の波長を決定する方法を提供する。また、複数の種類の検出対象物を含む画像から、各検出対象物質が撮像されている領域と検出対象物質以外が撮像されている領域とを正確に判別する方法を提供する。
【解決手段】検出対象物質と検出対象以外の物質にそれぞれラベル値とを決定し、複数の近赤外線画像から検出対象物に属する画素と検出対象以外の物質に属する一群の画素を抽出してそれぞれのラベル付けを行い、検出対象物質の画素値と検出対象以外の物質の画素値とを説明変数とし、それぞれに設定したラベル値を目的変数として回帰分析を行い、回帰分析の結果から識別器の識別性能への寄与度の高い波長を複数選択して撮像用の光の波長とする。複数の検出対象物質のそれぞれについて識別器で２クラス分類を行い、得られた結果を組み合わせて多クラス分類を行い、画像に含まれる検出対象物質を判別する。
【選択図】図２

Description

本発明は、画像に撮像されている検出対象物質を判別するための方法に関する。特に、近赤外線を用いて検出対象物を含む画像を撮像して画像中の検出対象物を高い精度で判別するための、撮像に使用する近赤外線の波長を決定する方法と、近赤外光を用いた画像から複数の検出対象物質を判別する物質判別方法に関するものである。

従来から、可視光または赤外線を用いて撮像された画像に含まれる検出対象物を判別するための画像処理技術が知られている。たとえば、特許文献１が開示する人的障害物検出装置は、赤外画像に撮像された人を検出するために、人体の露出部の温度をしきい値として二値化処理し、処理後の画像から検出を行う技術を開示している。しかしながら、赤外線装置によって撮像される画像の中には、自動車のヘッドライトや排気管など、人体の露出部と温度がほぼ同じ物体が存在する可能性があり、誤検出が発生する可能性が排除できない。またたとえば、特許文献２に開示される顔面内部位認識方法は、遠赤外光画像と可視光画像とを一組として、遠赤外画像から特定の温度の領域を抽出し、可視光画像から肌色の領域を抽出して人の顔を精度高く認識しようとしている。しかしながら可視光の利用は、光を検出対象の人に照射することで相手に不快感をあたえる可能性があり、また撮影時の時刻や天候の影響を受けて光のスペクトル分布が変動しやすく、対象物の色を正確に検出して抽出することが困難となる場合がある。

そこで近年、近赤外線（波長８００ｎｍ〜２５００ｎｍ）の反射量に対応して輝度を定義した近赤外画像を使用して、物質を判別しようとする試みがなされている。一般的な物質は、近赤外領域の複数の波長で反射率が低下する固有のパターンを持つ。近赤外線に対応する画像では、反射率の低下を画素値の低下として数値化することができる。

特許文献３の物体識別装置は、近赤外光及び可視光の複数の波長帯の光の各々の受光強度で示される画像データを取得して、得られた画像を複数の領域に分割し、各々の領域毎に各波長帯毎の情報を示し、波長数に応じた次元数の情報で示される領域情報を抽出し、抽出された領域情報の次元を圧縮して、予め用意しておいたサンプルデータに基づき、物体を識別している。特許文献３の物体識別装置では、使用する近赤外光の具体的な波長の選択方法は記載されておらず、また撮像を行う具体的な波長は記載されていない。特許文献４は、物体識別装置及びプログラムを開示している。特許文献４の物体識別装置は、近赤外光波長領域の異なる３つの波長帯の３枚の撮影画像を取得し、取得した画像の各々について、識別対象領域内の画素値を平均し、抽出する。そして、抽出された画素値をＨＳＶ色空間の特徴量Ｈ、Ｓ、Ｖに変換し、予め学習しておいた分布状況と照合することで、物質を識別している。特許文献４の物体識別装置は、撮像に使用する近赤外線の第一波長帯、第二波長帯、第三波長帯の波長は具体的に記載されておらず、また波長を選択する具体的な方法は開示されていない。特許文献５の機器は、生体内の血管を１１００〜１３５０ｎｍの波長の近赤外線で走査し、血管壁の病変の分析を行う機器を開示している。

特開平０９−３２６０９６号公報 特開平０８−２８７２１６号公報 特開２００９−０７６０１２号公報 特開２００９−０７６０１２号公報 特表２００５−５３４４２８号公報

任意の検出対象物質を撮像した画像に含まれる検出対象物質と検出対象物以外とを正確に判別するための、撮像に用いる近赤外線の波長を決定する技術が必要とされている。また、複数の種類の検出対象物を含む画像から、各検出対象物質が撮像されている領域と検出対象物質以外が撮像されている領域とを正確に判別する技術が必要とされている。

上述した課題を解決するために、本発明の近赤外画像の撮像用の波長決定方法は、以下の工程を備えていることを特徴とする。すなわち、近赤外領域の複数の波長を用いて、検出対象物質と検出対象以外の物質とを含む複数の画像を撮像する工程と、検出対象物質に用いる第一のラベル値と、検出対象以外の物質に用いる第二のラベル値とを決定する工程と、撮像した複数の画像から、検出対象物質に属する一群の画素を抽出し、各々の画素値を撮像に用いた光の波長および第一のラベル値と関連づけを行う工程と、同じ複数の画像から、検出対象以外の物質に属する一群の画素を抽出し、各々の画素値を撮像に用いた光の波長および第二のラベル値と関連づけを行う工程と、を備えている。さらに本発明の方法は、検出対象物質に属する一群の画素の画素値及び検出対象以外の物質に属する一群の画素の画素値を説明変数とし、第一のラベル値及び第二のラベル値を目的変数として回帰分析を行い、この回帰分析の結果から検出対象物質の二クラス分類を行うための識別器を生成する工程と、回帰分析の結果から、識別器の識別性能への寄与度の高い波長を複数選択して撮像用の光の波長とする工程と、を備えていることを特徴とする。

本発明の近赤外画像の撮像用の波長決定方法は、回帰分析としてＰＬＳ回帰分析（部分的最小二乗法）を行うことが好ましい。そして、ＰＬＳ回帰分析の結果から、識別器の識別性能への寄与度の高い波長を複数選択して撮像用の光の波長とする工程が、次式、すなわち、


Ｋは全次元数であり、ｉは１〜Ｋ次元であり、Ｗ，ｕ，ｔは計算パラメータである式によって表されるＶＩＰ_ｉの値を波長ごとに計算し、得られたＶＩＰ_ｉの値に基づいて、識別器の識別性能への寄与度が高い波長を特定することが好ましい。

また、本発明の近赤外画像の撮像用の波長決定方法は、回帰分析としてＰＬＳ回帰分析を行い、ＰＬＳ回帰分析によって求められた回帰係数の値を用いて、識別器の識別性能への寄与度が高い波長を特定することが好ましい。

本発明は、また、近赤外線に対応して撮像された近赤外画像の中に含まれる複数の検出対象物質と検出対象以外の物質とを判別する方法を提供する。本発明の近赤外画像を用いた物質判別方法は、近赤外領域の複数の波長を用いて、複数の検出対象物質と検出対象以外の物質とが撮像された複数のサンプル画像を得る撮像工程と、複数の検出対象物質および検出対象以外の物質のそれぞれについてラベル値を設定するラベル値設定工程と、複数のサンプル画像から、複数の検出対象物質の中の一つの検出対象物質について、検出対象物質に属する一群の画素を抽出し、画素値と、撮像した光の波長と、設定したラベル値との関連づけを行う第一の画素値抽出工程と、複数のサンプル画像から、検出対象以外の物質に属する一群の画素を抽出し、画素値と、撮像した光の波長と、設定したラベル値との関連づけを行う第二の画素値抽出工程と、検出対象物質に属する一群の画素の画素値及び検出対象以外の物質に属する一群の画素の画素値を説明変数とし、各々のラベル値を目的変数として回帰分析を行い、この回帰分析の結果から検出対象物質を識別する識別器を生成する第一の識別器生成工程と、各々の検出対象物質ごとに、第一の画素値抽出工程、第二の画素値抽出工程、第一の識別器生成工程を繰り返して行い、個々の検出対象物質に対応する識別器をそれぞれ生成する工程と、を備えている。さらに本発明の物質判別方法は、複数の近赤外線画像から画素を抽出し、この抽出した画素の画素値を各々の検出対象物質に対応する識別器の説明変数に入力して各々の識別器から推定値を出力し、得られた複数の推定値の結果を組み合わせることによって、画素がいずれかの検出対象物質に属しているか否かを判別する多クラス分類を行うことを特徴とする。

本発明の複数の検出対象物質と検出対象以外の物質とを判別する物質判別方法は、各々の検出対象物質について、回帰分析の結果から、検出対象物質ごとの識別器の識別性能への寄与度の高い波長を複数選択して識別に適した光の波長を選択する波長選択工程と、波長選択工程で選択された波長の近赤外画像のみを用いて、検出対象物質に属する一群の画素の画素値及び検出対象以外の物質に属する一群の画素の画素値を説明変数とし、各々のラベル値を目的変数として回帰分析を行い、当該回帰分析の結果から検出対象物質を識別するための物質検出用識別器を生成する第二の識別器生成工程と、検出対象物質の全てに対して、第一の画素値抽出工程、第二の画素値抽出工程、第一の識別器生成工程に加えて、波長選択工程および第二の識別器生成工程を各々の検出対象物質に対して繰り返して行い、各々の検出対象物質の識別に適した光の波長を複数決定して各々の検出対象物質に対応する物質検出用識別器をそれぞれ生成する工程と、を備えていることが好ましい。そして、複数の検出対象物質を判別するために、各々の検出対象物質の識別に適した波長で撮像した複数の近赤外線画像から画素を抽出し、抽出した画素の画素値を各々の検出対象物質に対応する物質検出用識別器の説明変数に入力して各々の物質検出用識別器から推定値を出力し、得られた複数の推定値の結果を組み合わせることによって、画素がいずれかの検出対象物質に属しているか否かを判別する多クラス分類を行うことを特徴とする。

本発明の物質判別方法は、多クラス分類が、推定値の符号の組み合わせから判別する方法、推定値に閾値を設定して組み合わせる方法、推定値を特徴量としてＮＮ法もしくはｋ−ＮＮ法を適用する方法、および識別関数に対する推定値の値で判別する方法のいずれかで行われることが好ましい。

本発明にかかる波長決定方法によって決定した波長の光を用いて、検出対象物質を含む近赤外画像を撮像することで、得られた画像の中から検出対象物質が撮像されている領域のみを正確に抽出することが可能となる。

本発明にかかる複数の検出対象物質と検出対象以外の物質とを判別する方法によって、複数の種類の検出対象物を含む近赤外画像から、それぞれの検出対象物質と検出対象以外の物質とを正確に判別することが可能となる。

図１は、本発明に係る波長決定方法のフローチャートである。（実施例１） 図２は、本発明に係る物質検出方法のフローチャートである。（実施例２） 図３は、本発明に係る物質検出方法の代替例のフローチャートである。（実施例４） 図４は、実施例２の画像の画素値から物質を判別する工程を模式的に示す図である。 図５は、実施例２の推定値から物質を判別する条件の例を模式的に示す図である。 図６は、実施例３の推定値から物質を判別する条件の例を模式的に示す図である。 図７は、実施例５の画像の画素値から物質を判別する工程を模式的に示す図である。 図８は、実施例５の選択した波長で撮像した画像から物質を判別する工程を模式的に示す図である。 図９は、検出対象物質が３個撮像されているサンプル画像を示す図面代用写真である。 図１０は、実施例２の方法で第一の物質Ａを判別した結果を示す図面代用写真である。 図１１は、実施例２の方法で第二の物質Ｂを判別した結果を示す図面代用写真である。 図１２は、実施例２の方法で第三の物質Ｃを判別した結果を示す図面代用写真である。 図１３は、実施例２の方法で複数の物質を判別した結果を示す図面代用写真である。 図１４は、実施例３の方法で複数の物質を判別した結果を示す図面代用写真である。 図１５は、実施例４の方法で物質を判別した結果を示す図面代用写真である。 図１６は、検出対象物質が４個撮像されているサンプル画像を示す図面代用写真である。 図１７は、実施例２の方法で４個の物質を判別した結果を示す図面代用写真である。 図１８は、実施例３の方法で４個の物質を判別した結果を示す図面代用写真である。 図１９は、実施例４の方法で物質を判別した結果を示す図面代用写真である。 図２０は、検出対象物質の近赤外線の波長に対するＶＩＰ値を示すグラフである。 図２１は、検出対象物質の近赤外線の波長に対するＶＩＰ値の平準化処理後の値を示すグラフである。 図２２は、検出対象物質の近赤外線の波長に対するＶＩＰ値の極大点の抽出結果を示すグラフである。

以下、検出対象物質の判別に適した画像撮像用の近赤外線の波長を決定する方法を実施例１で、図面を参照しつつ詳細に述べる。また、近赤外画像に含まれる複数の検出対象物質と検出対象物質以外とを判別する方法を、実施例２から実施例５で、図面を参照しつつ詳細に述べる。なお、以下の実施例で撮像に用いた近赤外線は、波長６５０ｎｍ〜１１００ｎｍの範囲の近赤外線である。

図１は、本発明の実施例１の、画像撮像用の近赤外線の波長を決定する方法のフローチャートである。実施例１は、一または複数の検出対象物質を含む画像に適用することができる。以下、フローチャートに従って、説明する。本実施例の近赤外画像の撮像用の波長決定方法は、まず準備段階として、近赤外領域の複数の波長を用いて、複数の検出対象物質と検出対象以外の物質を含む複数の画像を撮像してデータを保存する。一例として、検出対象物質を含む領域の近赤外線の反射率を、６５０ｎｍから１１００ｎｍまでの範囲で２ｎｍごとに２２６枚撮像し、それぞれの画像の中の各画素値を１６ビットのデータとして保存する。

次に、検出対象物質に用いる第一のラベル値と、検出対象以外の物質に用いる第二のラベル値とを決定する（工程Ｓ１）。ラベル値の例としては、例えば、検出対象物質に値「＋１」を付し、検出対象物質以外に値「−１」を付すことができる。本実施例では、１枚の画像から複数の検出対象物質を判別する場合であっても、判別に適した波長を選択する工程は物質ごとに独立して行うため、異なる検出対象物質に同一の値のラベル値を決定することが可能である。また、検出対象物質ごとに異なるラベル値を決定することも可能である。

次に、撮像されている全ての近赤外画像を読み込み（工程Ｓ２）、これらの画像から、検出対象物質に属する一群の画素の抽出を行う（工程Ｓ３）。検出対象物質に属する画素であるかか否かは、作業者が目視にて判定する。そして、抽出した各々の画素の画素値を、近赤外画像の撮像に用いた光の波長および第一のラベル値と関連づけを行って、保存する。同様に、工程Ｓ４で、近赤外画像から、検出対象物質以外の範囲の一群の画素を抽出する。検出対象物質以外の画素であるかか否かは、作業者が目視にて判定する。そして、抽出した各々の画素の画素値を、近赤外画像の撮像に用いた光の波長および第二のラベル値と関連づけを行って、保存する。本実施例では、波長ｎで撮像した画像について、検出対象物質と判定した画素の画素値データの配列をｆ_ｎとし、検出対象物質以外と判定した画素の画素値データの配列をｇ_ｎとし、それぞれの画素の画像内の座標を（ｘ、ｙ）として、それぞれのデータ配列を保存している。

工程Ｓ５で、検出対象物質に属する一群の画素値のデータ配列ｆ_ｎと、検出対象以外の物質に属する一群の画素の画素値のデータ配列ｇ_ｎを説明変数とし、第一のラベル値「＋１」及び第二のラベル値「−１」を目的変数として回帰分析を行う。得られた回帰係数をＢとすると、ラベル値と画素値のデータ配列と、回帰係数Ｂとの関係は、以下のようになる。

本実施形態では、回帰分析としてＰＬＳ回帰分析を行っている。ＰＬＳ回帰分析によって得られた回帰係数から、検出対象物質と検出対象物質以外を分類する識別器を生成することができる。複数の検出対象物質がある場合には、全ての検出対象物質について、２クラス分類を行うための識別器を作成するために、工程Ｓ３から工程Ｓ５を繰り返す。全ての検出対象物質についての識別器の作成が完了すると工程Ｓ６がｙｅｓとなり、検出対象物質の判別に適した画像撮像用の近赤外線の波長の決定を開始することができる。ＰＬＳ回帰分析を用いることの利点は主に三つ挙げられる。一つ目は多重共線性を含むデータや従属変数が非常に膨大なデータ、ノイズを含むデータなど複雑な解析に対しても有効な結果が得られること。二つ目は回帰式が低次元に収束すること。三つ目は説明変数だけでなく、目的変数にも考慮した計算を行うことから、主成分回帰分析等よりも従属変数と目的変数の相関が高い回帰式が得られることである。

工程Ｓ７で、識別性能への寄与度の高い波長を複数選択して、特定の検出対象物質に対応する撮像用の光の波長を決定する。全波長を用いたＰＬＳ回帰分析のパラメータによって、波長ごとのＶＩＰ値（ｖａｒｉａｂｌｅ ｉｍｐｏｒｔａｎｃｅ ｉｎ ｔｈｅ ｐｒｏｊｅｃｔｉｏｎ）を計算することができる。ＶＩＰ値の計算式を以下に示す。識別性能への寄与度が高く重要度の高い特徴量（波長）は、ＶＩＰ値も高くなる。

Ｋは全特徴次元数であり、ｉは１〜Ｋ次元を表し、、Ｗ は ＰＬＳ回帰分析により求められたＷａの行列であり、ｕ は ＰＬＳ回帰分析により求められたＸのスコアであり、ｔはＰＬＳ回帰分析により求められたｙのスコアである。

ＶＩＰ値を波長ごとに計算し、得られたＶＩＰ値に基づいて、２クラス分類を行う識別器の識別性能への寄与度が高い波長を特定することができる。図２０に、波長ごとに計算した実際のＶＩＰ値の一例を示す。本実施例では、ＶＩＰ値の平準化処理を行い、さらに、極大点の抽出を行って、識別性能への寄与度の高い波長を特定し、選択する。図２１に、前後４波長のＶＩＰ値の移動平均を用いて、ＶＩＰ値を平準化した結果を示す。さらに図２２に、極大点を抽出した結果を示す。本実施例では、図２２に示した５つの極大点を、特定の検出対象物質に対応する波長として選択した。

検出対象物質が複数ある場合には、全ての検出対象物質についてのＰＬＳ回帰分析の結果からＶＩＰ値の値を計算することにより、複数の物質の全てを判別に適した画像撮像用の近赤外線の波長を決定できる（工程Ｓ８）。たとえば、第一の物質の判定に適した撮像用の波長が６５０ｎｍと６８０ｎｍの２つの波長であり、第二の物質の判定に適した撮像用の波長が６５０ｎｍ、６８４ｎｍ、１０８０ｎｍの３つの波長であり、第三の物質の判定に適した撮像用の波長が６５０ｎｍ、７１８ｎｍであった場合、第一の物質の判定に適した波長６８０ｎｍと第二の物質の判定に適した画像６８４ｎｍは近接した波長であるために、よりＶＩＰ値の高い一方に統合して、６５０ｎｍ、６８０ｎｍ、７１８ｎｍ、１０８０ｎｍの近赤外線画像を用いることにより、３つの物質をいずれも精度高く判別することが可能であった。

本実施例では、検出対象物質の判別に適した画像撮像用の近赤外線の波長を決定する方法を説明した。検出対象物を撮像した画素の画素値と、検出対象物以外の画像の画素値とを抽出してクラス分けのためのＰＬＳ回帰分析を行い、ＶＩＰ値から画像撮像用の波長を決定することで、検出対象物質の判別に適した波長を決定することができる。なお、ＶＩＰ値に基づいて波長を選択する方法の他、回帰係数の値が大きい波長を選択する方法と、回帰係数の値とＶＩＰ値の値の両方を用いて、検出対象物質の判別に適した波長を選択する方法もまた、同様に有効である。

以下に、本発明を、画像の中に複数の検出対象物質が含まれる場合の判別に適用した例を説明する。図２は、本発明の実施例２の、近赤外画像に含まれる複数の検出対象物質と検出対象物質以外とを判別する方法のフローチャートである。図４は、本実施例の画像の画素値から物質を判別する工程を模式的に示す図である。図５は、本実施例の推定値から物質を判別する条件を模式的に示す図である。以下、フローチャートに従って、説明する。

本実施例の検出対象物質の判別方法は、最初に判別を行う検出対象物質を決定し、それぞれの検出対象物質について対応付けを行うラベル値を設定し、さらに検出対象物質以外のものが撮像されている領域のそれぞれに対応付けるラベル値を設定する（工程Ｓ１１）。本実施例では、ラベル値として、検出対象物質に値「＋１」を付し、検出対象物質以外に値「−１」を付している。本実施例では、１枚の画像から複数の検出対象物質を判別するために、検出対象物質ごとに異なる判別器を作成して、物質ごとに判別処理を独立して行うため、異なる検出対象物質に同一の値のラベル値を決定することが可能である。

次に、近赤外領域の複数の波長を用いて、検出対象物質と検出対象以外の物質とを含む複数のサンプル画像を撮像し、この画像を読み込む（工程Ｓ１２）。たとえば、実施例１と同様に、検出対象物質を含む領域の近赤外線の反射率を、６５０ｎｍから１１００ｎｍまでの範囲で２ｎｍごとに２２６枚撮像し、それぞれの画像の中の各画素値を１６ビットのデータとして保存する。

引き続き、全てのサンプル画像から、検出対象物質に属する一群の画素の抽出を行う（工程Ｓ１３）複数の検出対象物質の中から、任意の一つの検出対象物質を対象として選択し、全ての画像について選択した検出対象物質に属する一群の画素を抽出し、画素値と、撮像した光の波長と、設定した前記ラベル値との関連づけを行う。検出対象物質に属する画素であるか否かは、作業者が目視にて判定する（工程Ｓ１３）。同様に、全てのサンプル画像から、選択した検出対象物質以外の領域に属する一群の画素を抽出し、画素値と、撮像した光の波長と、設定したラベル値との関連づけを行う。このとき抽出する検出対象物質以外の領域には、検出を予定している物質であって、工程Ｓ１３では選択していない検出対象物質を含める必要がある（工程Ｓ１４）。そして、検出対象物質に属する一群の画素の画素値と、検出対象以外の物質に属する一群の画素の画素値とを説明変数とし、各々のラベル値を目的変数として回帰分析を行い、回帰分析の結果から検出対象物質を識別する識別器を生成する（工程Ｓ１５）。回帰分析によって得られた波長毎の回帰係数の一例を、以下の表１に示す。この回帰係数の値は、識別器に用いることができる。すなわち、識別の際、画素ごとに全波長の画素値を抽出して、この回帰係数と掛け合わせることで一つの画素の推定値が得られる。

複数の前記検出対象物質ごとに、工程Ｓ１３から工程Ｓ１５までを繰り返して行い、個々の検出対象物質に対応する識別器をそれぞれ生成する（工程Ｓ１６）。図４では、３つの検出対象物質Ａ，Ｂ，Ｃを選択し、それぞれに対応する３つの識別器Ｂ_Ａ，Ｂ_Ｂ，Ｂ_Ｃを作成したことを例として示している。

個々の検出対象物質に対応する識別器が全て完成したことで、判別処理を進めることができる。解析用の複数の近赤外線画像を撮像し読み込んで（工程Ｓ１７）、画素を抽出し（工程Ｓ１８）、抽出した画素の画素値を各々の検出対象物質に対応する識別器の説明変数に入力して各々の識別器から推定値を出力し、得られた複数の推定値の結果を組み合わせることによって、画素がいずれかの検出対象物質に属しているか否かを判別する多クラス分類を行うことができる（工程Ｓ１９）。結果を画像として出力することで（工程Ｓ２０）、複数の検出対象物質と検出対象以外の物質とを精度高く判別することができる。

本実施例では、ラベル値として検出対象物質に値「＋１」を付し、検出対象物質以外であれば値「−１」を付しているので、解析用の画像から抽出した画素の画素値を識別器に入力した時、その画素が検出対象物質に近ければ＋１に近い推定値ｙが出力され、検出対象物質以外であれば−１ に近い推定値ｙが出力される。ここで、画素値を、検出対象物質Ａを識別する識別器Ｂ_Ａに説明変数として入力すれば、画素が検出対象物質Ａを撮像しているか否かの推定に用いる推定値ｙ_Ａを出力することができ、推定値を用いて２クラス分類ができる。同じ画素の画素値を検出対象物質Ｂを識別する識別器Ｂ_Ｂに入力すれば推定値ｙ_Ｂを出力することができ、検出対象物質Ｃを識別する識別器Ｂ_Ｃに入力すれば推定値ｙ_Ｃを出力することができる。本実施例では、このようにラベル値として＋１と−１の二種類の値を用いたことにより、推定値の符号の組み合わせから、検出対象物質の種類を判別することができる。すなわち、図５に挙げるように、ｙ_Ａの値が正で、ｙ_Ｂとｙ_Ｃが負の数となった画素は、検出対象物質Ａを撮像していると判別できる。同様に、ｙ_Ｂの値が正でｙ_Ａとｙ_Ｃが負の数となった画素は検出対象物質Ｂを撮像していると判別し、ｙ_Ｃの値が正でｙ_Ａとｙ_Ｂが負の数となった画素は検出対象物質Ｃを撮像していると判別することができる。ｙ_Ａ，ｙ_Ｂ，ｙ_Ｃの全ての値が負の数となったときは、いずれの検出対象物質も撮像されていない領域の画素であると判別することができる。

図９から図１３に、本実施例の物質の判別方法を、画像の中に３種類の検出対象物質が含まれる場合の判別に適用した結果を示す。図９は、手１１と、アスファルト１２と、植物の葉１３からなる３種類の検出対象物が撮像されているサンプル画像の一例を示す図面代用写真である。ここでは、手１１を検出対象物Ａとし、アスファルト１２を検出対象物Ｂとし、植物の葉１３を検出対象物Ｃとして、判別処理を進めた。図１０に、識別器ｙ_Ａを用いて、第一の検出対象物質Ａである手１１を判別した結果を示す。図１１に、識別器ｙ_Ｂを用いて、第二の検出対象物質Ｂであるアスファルト１２を判別した結果を示す。図１２に、識別器ｙ_Ｃを用いて、第三の検出対象物質Ｃである植物の葉１３を判別した結果を示す。図１０から図１２では、推定値の値が高いときに赤色、低いときに青色となるように、グラデーションで色分けを行った。いずれの判別結果にも、十分な精度が得られていることが示されている。さらに、これらの判別結果を組み合わせて多クラス分類を行うことで、図１３に示すように、３種類の検出対象物質が含まれている画像から、それぞれの検出対象物質が確実に判別できた。図１３では、判別結果が手１１であれば赤色、アスファルト１２であれば水色、植物の葉１３であれば青色となるように表示している。

以下に、実施例２の代替例である近赤外画像に含まれる複数の検出対象物質と検出対象物質以外とを判別する方法を説明する。本実施例の判別方法は、ラベル値の設定が実施例２の判別方法と異なっており、推定値から検出対象物質を判別するための判別基準が異なっている。その他の、実施例２と同一である処理の内容については、重複説明を割愛する。

本実施例では、ラベル値としてそれぞれの検出対象物質毎に任意の数値を設定し、検出対象物質以外に対して、検出対象物質よりも小のラベル値を設定している。そして、サンプル画像の画素値を説明変数とし、これらの設定したラベル値を目的変数として回帰分析を行い、検出対象物質毎の判別器を作成する。本実施例でもまた、１枚の画像から複数の検出対象物質を判別するために、検出対象物質ごとに異なる判別器を作成して物質ごとに判別処理を独立して行うため、異なる検出対象物質に同一の値のラベル値を決定することが可能である。

本実施例では、完成した識別器によって得られた推定値に対して、検出対象物質ごとに異なる閾値を設定して判別を行う。実施例２と同一の３つの検出対象物質Ａ，Ｂ，Ｃを選択し、実施例２とは異なるレベル値を設定し、それぞれに対応する３つの識別器Ｂ_Ａ，Ｂ_Ｂ，Ｂ_Ｃを作成した例について説明する。最初に、検出対象物質Ａについて、所定の下限値以上であり、且つ所定の上限値以下であった場合は物質Ａであると分類するような上限値と下限値からなる閾値の初期値を設定する。その閾値を順に変動させ、その都度物質Ａの分類精度を求める。そして、一番精度よく物質Ａを分類できる上限と下限の閾値Ｔａ１，Ｔａ２を求める。検出対象物質Ｂ，Ｃについても同様に閾値Ｔｂ１，Ｔｂ２，Ｔｃ１，Ｔｃ２を求める。この結果、閾値Ｔａ１，Ｔａ２，Ｔｂ１，Ｔｂ２，Ｔｃ１，Ｔｃ２は、それぞれ検出対象物質Ａ、Ｂ、Ｃ を一番精度良く分類できるように設定した閾値となる。全ての推定値を、閾値Ｔａ１，Ｔａ２，Ｔｂ１，Ｔｂ２，Ｔｃ１，Ｔｃ２を用いて２クラス分類し、この分類の結果を組み合わせて、図６に示した基準で分類することにより、検出対象物質Ａ，Ｂ，Ｃおよび検出対象物質以外の多クラスに分類することができる。図１４に多クラス分類を行った結果を示す。実施例２の判別方法と同等以上に、検出対象物質が確実に判別できている。

以下に、実施例２の更なる代替例である、近赤外画像に含まれる複数の検出対象物質と検出対象物質以外とを判別する方法を説明する。本実施例では、２クラス分類にｋ−ＮＮ法（ｋ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ Ａｌｇｏｒｉｔｈｍ、ｋ近傍法）を用いることを特徴とする。その他の実施例２および実施例３と同一である処理の内容については、重複説明を割愛する。

ｋ−ＮＮ法を適用して近赤外画像の中の検出対象物質と検出対象物質以外とを判別した方法の概要は、以下のとおりである。サンプル画像の画素値を用いて検出対象物質ごとの推定値を求めておき、これを学習データとして用いる。解析対象画像の中の画素の画素値について、それぞれの検出対象物質に対応した識別器で推定値を求める。そして、全ての学習データとの間の距離を求め、距離が最も近いデータからｋ番目に近い学習データまでを参照し、学習データが属している検出対象物質の種類について多数決を取ることにより、クラス分類を行う。このとき、考慮するデータの数であるｋの値は任意に設定することができる。また、学習データまでの距離は一般的にはユークリッド距離を用いるが、別の方法で求めることも可能である。本実施例では、ｋ−ＮＮ法を用いて判別を行ったが、同様にＮＮ法による判別も可能である。図１５に本実施例のｋ−ＮＮ法を用いた多クラス分類の結果を示す。実施例２および実施例３の判別方法と同等以上に、検出対象物質が確実に判別できている。

実施例２から４までの判別方法の比較
実施例２の推定値の符号の組み合わせから検出対象物質を判別する方法のＦ値（Ｐｒｅｃｉｓｉｏｎ（適合率）とＲｅｃａｌｌ（再現率）の総合的な評価の際に利用される指標）は、０．５９７であった。実施例３の推定値に閾値を設定して組み合わせることで検出対象物質を判別する方法のＦ値は、０．９４９であった。実施例４のｋ−ＮＮ法を適用した検出対象物質の判別方法のＦ値は、０．９１８であった。いずれの実施例も、判別方法として有効であることが検証できた。さらに、図１６に示すように、検出対象物質を、手１１，アスファルト１２、植物の葉１３，およびコンクリート１４の４個として、実施例２から実施例４の方法で判別を行った結果を以下に示す。図１７は、実施例２の方法で４個の物質を判別した結果であり、このときのＦ値は０．７３３であった。図１８は、実施例３の方法で４個の物質を判別した結果であり、このときのＦ値は０．９７０であった。図１９は、実施例４の方法で４個の物質を判別した結果であり、このときのＦ値は０．９７５であった。判別の結果、手と判別された画素を赤色、植物の葉と判別された画素を青色、アスファルトと判別された画素を水色、コンクリートと判別された画素を緑色で示している。いずれの判別方法も、検出対象物質が確実に判別できている。

実施例２から実施例４の判別方法の精度を評価した結果を、以下の表２と表３に示す。表の中のＴＰで示した値は、各検出対象物質を撮像した領域を検出対象物質であると正しく判別した画素数である。ＦＮで示した値は、各検出対象物質を撮像した領域を検出対象以外の物質であると誤って判別した画素数である。ＦＰで示した値は、各検出対象以外の物質を撮像した領域を検出対象物質であると誤って判別した画素数である。ＴＮで示した値は、各検出対象以外の物質を撮像した領域を検出対象以外の物質であると正しく判別した画素数である。

３種類の検出対象物を判別した例

４種類の検出対象物を判別した例

以下に、本発明の実施例１で説明した波長を選択する方法を適用して近赤外画像に含まれる複数の検出対象物質と検出対象物質以外とを判別する場合に、撮像に用いる波長を選択してより少ない画像から高精度に検出対象物質を検出する方法を示す。図３は、本実施例の方法を示すフローチャートである。図７は、本実施例の画像の画素値から物質を判別する工程を模式的に示す図である。図８は、本実施例の画像を撮像する波長の選択内容を模式的に示す図である。以下、フローチャートに従って、説明する。

本実施例の検出対象物質の判別方法は、最初に判別を行う検出対象物質を決定し、この検出対象物質に付すラベル値を決定する（工程Ｓ２１）。次に、近赤外領域の複数の波長を用いて、検出対象物質と検出対象以外の物質とを含む複数のサンプル画像を撮像し、この画像を読み込む（工程Ｓ２２）。全てのサンプル画像から、検出対象物質に属する一群の画素の抽出を抽出し、画素値と設定したラベル値と撮像の波長との関連づけを行う（工程Ｓ２３）。同様に、全てのサンプル画像から選択した検出対象物質以外の領域に属する一群の画素を抽出し、画素値と撮像した光の波長と設定したラベル値との関連づけを行う。（工程Ｓ２４）。検出対象物質に属する一群の画素の画素値と、検出対象以外の物質に属する一群の画素の画素値とを説明変数とし、各々のラベル値を目的変数として回帰分析を行い、回帰分析の結果から検出対象物質を識別する識別器を生成する（工程Ｓ２５）。

回帰分析の結果から、たとえばＶＩＰ値を計算してこのＶＩＰ値の高い波長を選択することで、検出対象物質ごとに識別器の識別性能への寄与度の高い波長を選択する（工程Ｓ２６、以下、波長選択工程とも言う）。波長選択工程の実質的な処理は、実施例１の工程Ｓ８と同一であってよい。さらに、波長選択工程で選択した波長の近赤外画像を用いて、検出対象物質に属する一群の画素の画素値及び検出対象以外の物質に属する一群の画素の画素値を説明変数とし、各々のラベル値を目的変数として再度回帰分析を行い、回帰分析の結果から検出対象物質を識別するための物質検出用識別器を生成する（工程Ｓ２７）。検出対象物質の全てに対して、工程Ｓ２３から工程Ｓ２７を行うことによって、全ての検出対象物質の識別に適した光の波長を複数決定して各々の検出対象物質に対応する物質検出用識別器をそれぞれ生成する（工程Ｓ２８）。図７に示すように、工程Ｓ２１で３つの検出対象物質Ａ，Ｂ，Ｃを選択し、工程Ｓ２５でそれぞれに対応する３つの識別器Ｂ_Ａ，Ｂ_Ｂ，Ｂ_Ｃを作成した場合、工程Ｓ２７で作成する物質検出用識別器は、説明変数が異なってくることから、最初の工程Ｓ２５で得られた識別器とは異なる識別器Ｂ_Ａ’，Ｂ_Ｂ’，Ｂ_Ｃ’となる。

次に、波長選択工程で選択した近赤外線の波長を用いて、検出対象物質を判別するための解析用画像を撮像する（工程Ｓ２９）。得られた近赤外線画像から画素を抽出し（工程Ｓ３０）、画素の画素値を各々の物質検出用識別器に説明変数として入力して推定値を出力し、得られた複数の推定値の結果を組み合わせることによって、抽出した画素が検出対象物質のいずれかに属しているか否かを判別する多クラス分類を行う（工程Ｓ３０）。

本実施例においては、たとえば、図８に示すように、検出対象物質Ａの判定に適した撮像用の波長が７００ｎｍ、８３０ｎｍ、１０４０ｎｍの３つの波長であり、検出対象物質Ｂの判定に適した撮像用の波長が６５０ｎｍ、７１０ｎｍ、８５０ｎｍの３つの波長であり、検出対象物質Ｃの判定に適した撮像用の波長が８３０ｎｍ、９２０ｎｍ、１０２０ｎｍであった場合、近接した７００ｎｍと７１０ｎｍ、８３０ｎｍと８５０ｎｍ、１０２０ｎｍと１０４０ｎｍの３組の波長をよりＶＩＰ値の大きい方に統合し、６５０ｎｍ、７１０ｎｍ、８５０ｎｍ、９２０ｎｍ、１０２０ｎｍの合計５枚の近赤外線画像を用いることにより、３つの物質をいずれも精度高く判別することが可能であった。

本実施例で説明した検出対象物質に対応した撮像用の光の波長を決定する方法および検出対象物質を判別する方法の構成は、適宜変更が可能である。例えば、検出対象物質を判別する方法において、クラス分類の方法として、識別関数を用いたり、ＳＶＭ法を用いたりすることができる。また、撮像用の光を決定する方法において、波長選択工程で選択された波長が近接しているとき、一方の波長を選択するためには、より多くの検出対象物質で識別性能の寄与度が高いとされた波長を選択することが可能である。

本発明に係る方法は、自動車運転技術、運転者支援システム、セキュリティシステム、異物混入検査等に適用が可能である。

１１ 手
１２ アスファルト
１３ 植物の葉
１４ コンクリート

Claims (6)

1. 近赤外線に対応して撮像された近赤外画像の中の検出対象物質と検出対象以外の物質とを判別するために、検出対象物質に対応した撮像用の光の波長を決定する方法であって、
   近赤外領域の複数の波長を用いて、検出対象物質と検出対象以外の物質とを含む複数の画像を撮像する工程と、
   検出対象物質に用いる第一のラベル値と、検出対象以外の物質に用いる第二のラベル値とを決定する工程と、
   複数の前記画像から、検出対象物質に属する一群の画素を抽出し、各々の画素値を撮像に用いた光の波長および第一のラベル値と関連づけを行う工程と、
   複数の前記画像から、検出対象以外の物質に属する一群の画素を抽出し、各々の画素値を撮像に用いた光の波長および第二のラベル値と関連づけを行う工程と、
   前記検出対象物質に属する一群の画素の画素値及び前記検出対象以外の物質に属する一群の画素の画素値を説明変数とし、第一のラベル値及び第二のラベル値を目的変数として回帰分析を行い、当該回帰分析の結果から検出対象物質の二クラス分類を行うための識別器を生成する工程と、
   前記回帰分析の結果から、前記識別器の識別性能への寄与度の高い波長を複数選択して撮像用の光の波長とする工程と、
   を備えていることを特徴とする近赤外画像の撮像用の波長決定方法。
2. 前記回帰分析がＰＬＳ回帰分析であり、
   前記ＰＬＳ回帰分析の結果から、前記識別器の識別性能への寄与度の高い波長を複数選択して撮像用の光の波長とする工程が、次式、すなわち、
   
   Ｋは全次元数であり、ｉは１〜Ｋ次元を表し、Ｗ，ｕ，ｔは計算パラメータである式によって表されるＶＩＰ_ｉの値を波長ごとに計算し、当該ＶＩＰ_ｉの値に基づいて、前記識別器の識別性能への寄与度が高い波長を特定することを特徴とする請求項１記載の近赤外画像撮像用の波長決定方法。
3. 前記回帰分析がＰＬＳ回帰分析であり、
   当該ＰＬＳ回帰分析によって求められた回帰係数の値を用いて、前記識別器の識別性能への寄与度が高い波長を特定することを特徴とする請求項１または２記載の近赤外画像撮像用の波長決定方法。
4. 近赤外線に対応して撮像された近赤外画像の中に含まれる複数の検出対象物質と検出対象以外の物質とを判別する方法であって、
   近赤外領域の複数の波長を用いて、複数の前記検出対象物質と検出対象以外の物質とが撮像された複数のサンプル画像を得る撮像工程と、
   複数の前記検出対象物質および検出対象以外の物質のそれぞれについてラベル値を設定するラベル値設定工程と、
   複数の前記サンプル画像から、複数の前記検出対象物質の中の一つの検出対象物質について、前記検出対象物質に属する一群の画素を抽出し、画素値と、撮像した光の波長と、設定した前記ラベル値との関連づけを行う第一の画素値抽出工程と、
   複数の前記サンプル画像から、検出対象以外の物質に属する一群の画素を抽出し、画素値と、撮像した光の波長と、設定したラベル値との関連づけを行う第二の画素値抽出工程と、
   前記検出対象物質に属する一群の画素の画素値及び前記検出対象以外の物質に属する一群の画素の画素値を説明変数とし、各々のラベル値を目的変数として回帰分析を行い、当該回帰分析の結果から前記検出対象物質を識別する識別器を生成する第一の識別器生成工程と、
   各々の前記検出対象物質ごとに、前記第一の画素値抽出工程、前記第二の画素値抽出工程、前記第一の識別器生成工程を繰り返して行い、個々の前記検出対象物質に対応する識別器をそれぞれ生成する工程と、
   を備えており、
   複数の近赤外線画像から画素を抽出し、当該画素の画素値を各々の前記検出対象物質に対応する前記識別器の説明変数に入力して各々の前記識別器から推定値を出力し、得られた複数の推定値の結果を組み合わせることによって、前記画素がいずれかの検出対象物質に属しているか否かを判別する多クラス分類を行うことを特徴とする、複数の検出対象物質と検出対象以外の物質とを判別する方法。
5. 各々の前記検出対象物質について、前記回帰分析の結果から、前記検出対象物質ごとの前記識別器の識別性能への寄与度の高い波長を複数選択して識別に適した光の波長を選択する波長選択工程と、
   前記波長選択工程で選択された波長の近赤外画像のみを用いて、前記検出対象物質に属する一群の画素の画素値及び前記検出対象以外の物質に属する一群の画素の画素値を説明変数とし、各々のラベル値を目的変数として回帰分析を行い、当該回帰分析の結果から前記検出対象物質を識別するための物質検出用識別器を生成する第二の識別器生成工程と、
   前記検出対象物質の全てに対して、前記第一の画素値抽出工程、前記第二の画素値抽出工程、および前記第一の識別器生成工程に加えて、前記波長選択工程、および前記第二の識別器生成工程を各々の検出対象物質に対して繰り返して行い、各々の前記検出対象物質の識別に適した光の波長を複数決定して各々の前記検出対象物質に対応する物質検出用識別器をそれぞれ生成する工程と、
   を備えており、
   各々の検出対象物質の識別に適した前記波長で撮像した複数の近赤外線画像から画素を抽出し、当該画素の画素値を各々の前記検出対象物質に対応する物質検出用識別器の説明変数に入力して各々の物質検出用識別器から推定値を出力し、得られた複数の推定値の結果を組み合わせることによって、前記画素がいずれかの検出対象物質に属しているか否かを判別する多クラス分類を行うことを特徴とする、請求項４記載の複数の検出対象物質と検出対象以外の物質とを判別する方法。
6. 前記多クラス分類が、前記推定値の符号の組み合わせから判別する方法、前記推定値に閾値を設定して組み合わせる方法、前記推定値を特徴量としてＮＮ法もしくはｋ−ＮＮ法を適用する方法、および識別関数に対する推定値の値で判別する方法のいずれかで行われることを特徴とする請求項４又は５記載の複数の検出対象物質と検出対象以外の物質とを判別する方法。