JP2023019929A - 画像処理方法、画像処理装置、及び分光カメラ - Google Patents

Abstract

【課題】撮像対象の分光反射率特性が不明なものに対しても適切に鏡面反射領域を検出可能な画像処理方法、画像処理装置、及び分光カメラを提供する。【解決手段】一つまたは複数のプロセッサーを用いた画像処理方法であって、当該一つまたは複数のプロセッサーに、撮像対象の複数の波長の分光画像を撮像画像として取得することと、撮像画像の複数の領域の分光スペクトルを分光画像の対応する領域の信号値に基づいて算出することと、分光スペクトルに基づいて明るさ情報と色彩情報とを含む色座標値を領域毎に算出することと、色座標値に基づいて撮像画像内の鏡面反射領域と拡散反射領域と、を特定することと、を実施させる。【選択図】図４

Description

本発明は、撮像画像の鏡面反射成分と拡散反射成分とを分離する画像処理方法、画像処理装置、及び分光カメラに関する。

従来、撮像対象の分析を行う画像分析装置が知られている。このような画像分析装置では、例えば、撮像対象で吸収される特定の吸収波長の光を検出し、当該吸収波長に基づいて撮像対象に含まれる成分等の分析を行うことができる。しかしながら、撮像対象を撮像した撮像画像に、光源の光が鏡面反射した領域が含まれると、その領域の分析を適正に行うことが困難となる。これに対して、鏡面反射成分と、拡散反射成分とを分離する画像処理方法が提案されている（例えば、特許文献１参照）。

特許文献１に記載の画像処理方法では、撮像対象の分光反射率特性に基づいて吸収波長を特定しておく。そして、撮像対象のＲ（赤），Ｇ（緑）、Ｂ（青）画像から、撮像対象の吸収波長の光に対応する画像を選択し、その画像で所定信号値以上となる領域を正反射領域（鏡面反射領域）として特定する。

特開２０００－２４２７９１号公報

しかしながら、特許文献１に記載の画像処理方法では、撮像対象の分光反射率特性を予め把握しておく必要がある。よって、撮像対象の分光反射率特性が不明なものに対して鏡面反射領域を検出することができない。

本開示の第一態様に係る画像処理方法は、撮像対象で反射された光を撮像素子により撮像した撮像画像を一つまたは複数のプロセッサーにより処理する画像処理方法であって、前記一つまたは複数のプロセッサーに、互いに異なる複数の波長の分光画像を含む前記撮像画像を取得することと、前記撮像画像を複数の領域に分割した場合の各前記領域の分光スペクトルを、複数の前記分光画像の対応する前記領域の信号値に基づいて算出することと、前記分光スペクトルに基づいて、少なくとも明るさに関する明るさ情報と、色彩に関する色彩情報と、を含む色座標値を、前記領域毎に算出することと、前記色座標値に基づいて、前記撮像対象で反射される光のうち鏡面反射成分が拡散反射成分よりも多いことを示す前記撮像画像内の鏡面反射領域と、前記撮像対象で反射される光のうち鏡面反射成分が拡散反射成分よりも少ないことを示す前記撮像画像内の拡散反射領域と、を特定することと、を実施させる。

本態様の画像処理方法において、前記鏡面反射領域と前記拡散反射領域とを特定することは、各前記領域の前記色座標値に基づいて、表色座標系における前記領域間の前記色座標値の距離が近い複数のクラスに前記領域を分類して、前記鏡面反射領域が属する前記クラスと、前記拡散反射領域が属する前記クラスとを特定することを含む。

本態様の画像処理方法において、前記鏡面反射領域と前記拡散反射領域とを特定することは、ｋ－ｍｅａｎｓ法によるクラスタリングにより前記領域を複数の前記クラスに分類することを含む。

本態様の画像処理方法において、前記鏡面反射領域と前記拡散反射領域とを特定することは、前記色彩情報が所定の第一閾値以下となる前記クラスに属する前記領域を前記鏡面反射領域として特定することを含む。

本態様の画像処理方法において、前記鏡面反射領域と前記拡散反射領域とを特定することは、さらに、前記明るさ情報が所定の第二閾値以上となる前記領域を前記鏡面反射領域として特定することを含む。

本態様の画像処理方法において、前記分光スペクトルを算出することは、前記撮像対象で反射された光に対する複数の前記分光画像と、前記撮像対象に入射する光の光強度を示す基準値とに基づいて、前記分光スペクトルとして、反射率スペクトルを算出することを含む。

本態様の画像処理方法において、前記一つまたは複数のプロセッサーに、前記撮像画像の前記拡散反射領域に基づいて、前記撮像対象を解析することをさらに実施させる。

本態様の第二態様に係る画像処理装置は、撮像対象で反射された光を撮像素子により撮像した撮像画像を処理する一つまたは複数のプロセッサーを備えた画像処理装置であって、前記一つまたは複数のプロセッサーは、互いに異なる複数の波長の分光画像を含む前記撮像画像を取得することと、前記撮像画像を複数の領域に分割した場合の各前記領域の分光スペクトルを、複数の前記分光画像の対応する前記領域の信号値に基づいて算出することと、前記分光スペクトルに基づいて、少なくとも明るさに関する明るさ情報と、色彩に関する色彩情報と、を含む色座標値を、前記領域毎に算出することと、前記色座標値に基づいて、前記撮像対象で反射される光のうち鏡面反射成分が拡散反射成分よりも多いことを示す前記撮像画像内の鏡面反射領域と、前記撮像対象で反射される光のうち鏡面反射成分が拡散反射成分よりも少ないことを示す前記撮像画像内の拡散反射領域と、を特定することと、を実施するように構成されている。

本態様の第三態様に係る分光カメラは、撮像対象で反射された光から所定の分光波長の光を分光し、かつ、前記分光波長を切り替え可能な分光素子と、前記分光素子により分光された光を撮像する撮像素子と、前記分光素子及び前記撮像素子を制御するとともに、前記撮像素子により撮像された撮像画像を処理する一つまたは複数のプロセッサーと、を備えた分光カメラであって、前記一つまたは複数のプロセッサーは、前記分光素子及び前記撮像素子を制御して、互いに異なる複数の波長の分光画像を含む前記撮像画像を取得することと、前記撮像画像を複数の領域に分割した場合の各前記領域の分光スペクトルを、複数の前記分光画像の対応する前記領域の信号値に基づいて算出することと、前記分光スペクトルに基づいて、少なくとも明るさに関する明るさ情報と、色彩に関する色彩情報とを含む色座標値を、前記領域毎に算出することと、前記色座標値に基づいて、前記撮像対象で反射される光のうち鏡面反射成分が拡散反射成分よりも多いことを示す前記撮像画像内の鏡面反射領域と、前記撮像対象で反射される光のうち鏡面反射成分が拡散反射成分よりも少ないことを示す前記撮像画像内の拡散反射領域と、を特定することと、を実施するように構成されている。

本発明の第一実施形態に係る分光カメラの概略構成を示す図。 本実施形態の分光デバイスの概略断面図。 本実施形態の制御部の概略構成を示す機能ブロック図。 本実施形態の画像処理方法を示すフローチャート。 ステップＳ１により得られた撮像画像を示す図。 図５の範囲Ａ１における反射率スペクトルを示す図。 図５の範囲Ａ２における反射率スペクトルを示す図。 基準値の反射率スペクトルの一例を示す図。 色座標値をＬａｂ表色座標にプロットした一例を示す図。 第二実施形態における画像処理システムの一例を示す図。

［第一実施形態］
以下、本発明に係る第一実施形態の分光カメラについて説明する。
（分光カメラの概略構成）
図１は、本実施形態に係る分光カメラ１の概略構成を示す図である。
本実施形態の分光カメラ１は、例えば、スマートフォン等の携帯型の端末装置や、ドローン等の小型飛翔体等に搭載することができる。
分光カメラ１は、図１に示すように、フィルターユニット２と、撮像ユニット３と、これらのフィルターユニット２及び撮像ユニット３を収納するカメラケース１００と、を備えている。カメラケース１００には、図示略のレンズユニットが着脱可能であり、分光カメラ１は、レンズユニットを介して入射した入射光を、フィルターユニット２に設けられた分光デバイス２１０に導き、分光デバイス２１０で分光された所定波長の光を撮像ユニット３に設けられた撮像部３１０で撮像する。これにより、分光カメラ１は、撮像対象Ｗに対する前記所定波長の分光画像を撮像することができる。
ここで、分光カメラ１で撮像対象Ｗを撮像する際に、撮像対象Ｗからの入射光が入射する方向をＺ方向とし、Ｚ方向に直交する一方向をＸ方向とし、Ｚ方向及びＸ方向に直交する方向をＹ方向とする。
以下、このような分光カメラ１の各構成について、詳細に説明する。

（フィルターユニットの概略構成）
フィルターユニット２は、分光デバイス２１０と、分光デバイス２１０が組み込まれたフィルター基板２２０とを備える。
分光デバイス２１０は、Ｚ方向に沿って入射した入射光から所定の波長の光を分光する。

図２は、本実施形態の分光デバイス２１０の概略断面図である。
分光デバイス２１０は、図２に示すように、本開示の分光素子である干渉フィルター２３０と、パッケージ筐体２４０とを備える。
干渉フィルター２３０は、本開示の分光素子であり、第一基板２３１、及び第二基板２３２を含んで構成されている。
第一基板２３１及び第二基板２３２は、分光カメラ１で撮像する分光画像の波長、つまり、分光デバイス２１０で分光する分光波長に対して透光性を有する基板である。例えば、可視光域の所定波長の分光画像を撮像する場合、分光デバイス２１０は、入射光から可視光域の所定波長の光を分光して透過させる。この場合、第一基板２３１及び第二基板２３２は、石英ガラス等の可視光を透過可能な基板により構成されていればよい。また、例えば近赤外域の所定波長の分光画像を撮像する場合、分光デバイス２１０は入射光から近赤外域の所定波長の光を分光して透過させる。よって、第一基板２３１及び第二基板２３２として、シリコン等の近赤外光を透過可能な基板により構成されていればよい。
これらの第一基板２３１及び第二基板２３２は、図示略の接合層を介して接合されている。

そして、図２に示すように、第一基板２３１の第二基板２３２に対向する面には、第一反射膜２３３Ａと、静電アクチュエーター２３４を構成する第一電極２３４Ａとが設けられている。
第二基板２３２の第一基板２３１に対向する面には、第二反射膜２３３Ｂと、静電アクチュエーター２３４を構成する第二電極２３４Ｂと、が設けられている。
第一基板２３１の第二基板２３２に対向する面は、例えばエッチング等によって凹部が形成されている。これにより、第一反射膜２３３Ａ及び第二反射膜２３３Ｂが所定の第一ギャップＧ１を介して対向し、第一電極２３４Ａ及び第二電極２３４Ｂが、所定の第二ギャップＧ２を介して対向する。
一方、第二基板２３２の第一基板２３１とは反対側の面には、図２に示すように、例えば円環状の凹部が形成されることで、基板中央部の可動部２３２Ａと可動部２３２Ａを保持するダイアフラム部２３２Ｂとが構成される。可動部２３２Ａの第一基板２３１に対向する面には、第二反射膜２３３Ｂが設けられている。なお、第二電極２３４Ｂは、可動部２３２Ａに設けられてもよく、ダイアフラム部２３２Ｂに設けられてもよく、可動部２３２Ａからダイアフラム部２３２Ｂに亘って設けられてもよい。

また、本実施形態では、図２に示すように、第一基板２３１は、第二基板２３２の外周縁よりも外側に突出する第一突出部２３１Ｃを有する。同様に、第二基板２３２は、第一基板２３１の外周縁よりも外側に突出する第二突出部２３２Ｃを有する。
図示は省略するが、第一突出部２３１Ｃには、第一電極２３４Ａに接続される電極端子部が設けられ、第二突出部２３２Ｃには、第二電極２３４Ｂに接続される電極端子部が設けられている。なお、第一突出部２３１Ｃに、第一電極２３４Ａに接続される電極端子部、及び第二電極２３４Ｂに接続される電極端子部の双方が設けられる構成としてもよく、第二突出部２３２Ｃに、第一電極２３４Ａに接続される電極端子部、及び第二電極２３４Ｂに接続される電極端子部の双方が設けられる構成としてもよい。
これらの電極端子部は、例えばワイヤボンディング等により、パッケージ筐体２４０に設けられる配線部に接続される。

このような構成の干渉フィルター２３０では、静電アクチュエーター２３４がギャップ変更部として機能し、電圧が印加されることで静電引力によりダイアフラム部２３２Ｂを撓ませて、可動部２３２ＡをＺ方向に変位させる。これにより、第一反射膜２３３Ａ及び第二反射膜２３３Ｂの間の第一ギャップＧ１の寸法が変化し、干渉フィルター２３０を透過する光の波長が変化する。なお、可動部２３２Ａの厚みがダイアフラム部２３２Ｂの厚みよりも厚いため、可動部２３２Ａの撓み、つまり、第二反射膜２３３Ｂの撓みは抑制される。

パッケージ筐体２４０は、内部空間が減圧環境に維持された箱状の筐体であり、内部に干渉フィルター２３０を収納する。
このパッケージ筐体２４０は、例えば、図２に示すように、台座２４１と、リッド２４２と、を備えて構成され、台座２４１及びリッド２４２が接合されることで、内部に収容空間が形成される。
台座２４１は、例えばセラミック等により構成され、ベース部２４１Ａ及び側壁部２４１Ｂを備える。
ベース部２４１Ａは、Ｚ方向に直交するＸＹ平面において、例えば矩形状の外形を有する平板状に構成されており、このベース部２４１Ａの外周部から筒状の側壁部２４１Ｂがリッド２４２に向かって立ち上がる。

ベース部２４１Ａには、Ｚ方向に沿って貫通する開口部２４１Ｃを有する。この開口部２４１Ｃは、パッケージ筐体２４０に干渉フィルター２３０を収容した状態で、Ｚ方向から見た平面視において第一反射膜２３３Ａ及び第二反射膜２３３Ｂと重なる。
また、ベース部２４１Ａのリッド２４２とは反対側の面には、開口部２４１Ｃを覆うガラス基板２４１Ｄが接合されている。

さらに、ベース部２４１Ａのリッド２４２に対向する内面には、干渉フィルター２３０の第一電極２３４Ａ及び第二電極２３４Ｂに接続される、図示略の配線部が設けられている。この配線部は、例えば貫通電極によってベース部２４１Ａの外面の図示略の外部端子部に接続され、当該外部端子を介してフィルター基板２２０に設けられた図示略の回路部に接続される。

側壁部２４１Ｂは、ベース部２４１Ａの縁部から立ち上がる枠状に形成されており、ベース部２４１Ａとは反対側の端面が、Ｚ方向に直交する平坦面となり、リッド２４２が接合される。リッド２４２は、例えば、平面視において矩形状の外形を有する透明部材であり、例えばガラス等により構成される。

（フィルター基板の概略構成）
フィルター基板２２０は、パッケージ筐体２４０が固定される基板である。
フィルター基板２２０は、Ｚ方向から平面視で、第一反射膜２３３Ａ及び第二反射膜２３３Ｂと重なる位置に、Ｚ方向に沿った貫通孔が設けられている。これにより、干渉フィルター２３０により分光された光が、貫通孔を通過して、撮像ユニット３に設けられた撮像部３１０に受光され、分光画像が撮像される。

また、図示は省略するが、フィルター基板２２０には、パッケージ筐体２４０に設けられた外部端子部と接続される回路部が設けられている。この回路部には、干渉フィルター２３０を制御する各種回路が設けられている。各種回路としては、例えば、干渉フィルター２３０の静電アクチュエーター２３４に印加する電圧を演算するマイコン、マイコンの指令により静電アクチュエーター２３４に電圧を印加する電圧制御回路等が挙げられる。

具体的には、マイコンは、例えばメモリー等の記憶部を備え、静電アクチュエーター２３４を制御するための駆動データを記憶する。駆動データとしては、例えば、干渉フィルター２３０を透過させる分光波長に対する駆動電圧を記録したＶ－λデータ等が挙げられる。また、干渉フィルター２３０に、第一反射膜２３３Ａ及び第二反射膜２３３Ｂの静電容量を検出する容量検出電極が設けられている場合では、分光波長に対する静電容量を記録したＣ－λデータ等を記憶してもよい。そして、マイコンは、例えば撮像ユニット３からの指令に基づいて、電圧制御回路に目標とする分光波長に対応する駆動電圧を出力する。
電圧制御回路は、マイコンから入力された指令に基づいて、静電アクチュエーター２３４に駆動電圧を印加する。また、干渉フィルター２３０に、第一反射膜２３３Ａ及び第二反射膜２３３Ｂの静電容量を検出する容量検出電極が設けられている場合では、検出された静電容量に基づいて、静電アクチュエーター２３４に印加する電圧をフィードバック制御してもよい。

（撮像ユニット３の構成）
撮像ユニット３は、撮像部３１０と、撮像部３１０が固定される撮像基板３２０とを備える。
撮像部３１０は、例えばＣＣＤ(Charge-Coupled Device)やＣＭＯＳ(Complementary Metal-Oxide Semiconductor)等の撮像素子を含んで構成され、入射光を受光して画素毎の受光信号を出力する。ここで、本実施形態では、Ｚ方向から見た際に、撮像部３１０の光受光面は、第一反射膜２３３Ａ及び第二反射膜２３３Ｂと重なり、干渉フィルター２３０を透過した所定の分光波長の光を受光することで、分光画像を撮像する。

撮像基板３２０には、フィルターユニット２や撮像ユニット３を含む分光カメラ１全体の動作を制御する制御部４００が設けられている。
図３は、本実施形態の制御部４００の概略構成を示す機能ブロック図である。
制御部４００は、コンピューターの基本構成を備え、例えばメモリー等の記憶回路により構成される記憶部４１０と、ＣＰＵ(Central Processing Unit)等の演算回路により構成される一つまたは複数のプロセッサー４２０とを備える。
記憶部４１０には、分光カメラ１の動作を制御する各種プログラムや各種データが記憶される。
プロセッサー４２０は、記憶部４１０に記憶された各種プログラムを読み出し実行することで、分光カメラ１の動作を制御したり、撮像画像の画像処理を行ったりする。
具体的には、プロセッサー４２０は、図３に示すように、画像取得部４２１、スペクトル算出部４２２、色座標値算出部４２３、領域特定部４２４、及び解析部４２５として機能する。

画像取得部４２１は、干渉フィルター２３０及び撮像部３１０を制御して、撮像対象Ｗを撮像し、撮像画像を取得する。本実施形態の撮像画像には複数の分光画像が含まれ、画像取得部４２１は、分光波長が異なる複数の分光画像を撮像する。

スペクトル算出部４２２は、撮像画像を複数の領域に分割した際の各々の領域における分光スペクトルを算出する。例えば、本実施形態では、撮像画像における画素毎の分光スペクトルを算出する。すなわち、各分光画像の画素（ｉ，ｊ）に対する信号値に基づいて、その画素（ｉ，ｊ）における分光スペクトルを算出する。
なお、本実施形態では、撮像画像を分割した領域として、画素を例示するが、これに限定されず、複数の画素を含む領域に分割してもよい。例えば、画素（ｉ，ｊ）、画素（ｉ＋１，ｊ）、画素（ｉ，ｊ＋１）、及び画素（ｉ＋１，ｊ＋１）の４つの画素を領域（ｍ、ｎ）として、撮像画像を複数の領域に分割するなどとしてもよい。この場合、例えば、各画素の信号値の平均を用いて、各領域における分光スペクトルを算出すればよい。

より具体的には、スペクトル算出部４２２は、分光スペクトルとして、反射率スペクトルを算出する。すなわち、スペクトル算出部４２２は、撮像対象Ｗの撮像により得られる各画素の信号値を、撮像対象Ｗに入射する光源Ｕ（図１参照）の光強度である基準値で除算して反射率を算出し、各画素に対する反射率スペクトル（波長毎の反射率）を算出する。
なお、基準値は、所定の参照体に対する分光画像を撮像することで測定することができる。参照体としては、反射率が既知である撮像対象Ｗを用いることが好ましく、例えば白色基準体等を用いる。この場合、撮像画像の全体が白色基準体に含まれるように、白色基準体を撮像し、各画素における基準値を取得する。これにより、撮像対象Ｗに入射する光の波長毎の光強度のばらつきの影響を抑制でき、かつ、撮像部３１０の各画素の撮像感度のばらつきの影響も抑制することができる。
なお、参照体としては、反射率が既知となる他の色の参照体であってもよく、この場合、当該参照体を撮像した各分光画像の信号値と既知の反射率とを用いることで、撮像対象Ｗに入射する光の波長毎の光強度を算出することができる。さらに、反射率が既知の参照体がない場合でも、例えば白色タイルや白色紙面等、各分光波長に対して反射率が極めて高い対象物を参照体として用いて、各画素における基準値を取得してもよい。
本実施形態では、参照体で反射された光の分光画像を取得することで、基準値を取得する例を示すが、記憶部４１０に予め基準値を記憶しておいてもよい。例えば、外光が存在しない暗空間において光源Ｕのみの光を用いて撮像対象Ｗを撮像する場合では、光源Ｕの発光スペクトルを基準値として記憶部４１０に記憶しておいてもよい。また、撮像部３１０の各画素の撮像感度を予め測定しておき、光源Ｕの発光スペクトルに撮像感度を掛け合わせた、画素毎の基準値を記憶しておいてもよい。

色座標値算出部４２３は、各画素に対して算出された分光スペクトルに基づいて、各画素の色座標値を算出する。算出される色座標値は、明るさを示す明るさ情報、及び色彩を示す色彩情報を有する表色座標系の色座標値であり、例えば、明るさ情報としてＬ＊値、色彩情報としてａ＊値及びｂ＊値を有するＬａｂ表色系のＬ＊ａ＊ｂ＊値、明るさ情報としてＹ値、色彩情報してＸ値及びＺ値を有するＸＹＺ表色系のＸＹＺ値等が挙げられる。

領域特定部４２４は、撮像画像の各画素に対して算出された色座標値に基づいて、撮像画像内における鏡面反射領域（鏡面反射画素）と、拡散反射領域（拡散反射画素）とを特定する。鏡面反射画素は、撮像対象Ｗで反射される光のうち鏡面反射成分が拡散反射成分よりも多いことを示す画素であり、拡散反射画素は、鏡面反射成分が拡散反射成分よりも少ないことを示す画素である。

解析部４２５は、撮像画像のうちの拡散反射領域に基づいて、撮像対象Ｗの解析処理を実施する。すなわち、解析処理において、鏡面反射領域は除外される。なお、解析処理としては、例えば、分光スペクトルに基づいた、撮像対象Ｗに含まれる成分の解析、撮像対象Ｗの種類の分析、撮像対象Ｗに付着する異物等の検出等が挙げられる。

（画像処理方法）
次に、本実施形態における分光カメラ１による画像処理方法について説明する。
本実施形態の分光カメラ１は、撮像対象Ｗにおける分光画像を撮像し、当該分光画像に基づいて、撮像対象Ｗの解析処理を実施する。
図４は、本実施形態の画像処理方法を示すフローチャートである。
分光カメラ１において、ユーザーにより、撮像対象Ｗの解析処理を実施する旨の入力操作が実施されると、画像取得部４２１は、撮像対象Ｗに対する撮像画像を撮像する（ステップＳ１：画像取得ステップ）。
すなわち、画像取得部４２１は、干渉フィルター２３０の静電アクチュエーター２３４に印加する電圧を順次切り替えて、干渉フィルター２３０を透過させる光の波長を順次切り替える。そして、画像取得部４２１は干渉フィルター２３０を透過させる光の波長が切り替わる毎に、撮像部３１０により撮像処理を実施させる。これにより、互いに異なる複数の分光波長に対する分光画像が撮像画像として取得される。
図５は、ステップＳ１により得られた撮像画像の一例を示す図である。
ステップＳ１では、図５に示すように、複数の分光画像に対応するそれぞれの分光画像が撮像画像として撮像される。
なお、撮像する分光画像の波長としては、解析処理の解析内容により適宜設定することができる。例えば、本実施形態では、可視光域の分光スペクトルに基づいて撮像対象Ｗの色を解析する。この場合、例えば４００ｎｍから７００ｎｍの可視光域において所定波長間隔となる複数の分光波長の分光画像を取得すればよい。また、撮像対象Ｗに含まれる成分を解析する場合では、解析対象の成分を検出可能な波長域を選択すればよく、例えば、近赤外域から赤外域の所定波長間隔となる複数の分光波長の分光画像を取得すればよい。

次に、画像取得部４２１は、基準値を取得する（ステップＳ２）。
具体的には、画像取得部４２１は、ユーザーに、白色基準物等の参照体に対して撮像処理を実施する旨の要求情報を、例えば図示略のディスプレイに表示させたり、図示略の音声出力部から音声出力させたりする。そして、ユーザーが白色基準物に対する撮像処理を実施することで、画像取得部４２１は、白色基準物に対して、ステップＳ１と同様の処理を実施して、複数の分光画像を取得する。

この後、スペクトル算出部４２２は、ステップＳ１で得られた撮像対象Ｗに対する複数の分光画像、及びステップＳ２で得られた基準値に基づき、撮像画像の各画素の分光スペクトルとして、反射率スペクトルを算出する（ステップＳ３：スペクトル算出ステップ）。ステップＳ３により、光源Ｕの各波長に対する光強度のばらつきや、撮像部３１０の画素毎の撮像感度のばらつきの影響を抑制することができる。
図６は、図５の範囲Ａ１における反射率スペクトルを示す図であり、図７は、図５の範囲Ａ２における反射率スペクトルを示す図である。また、図８は、基準値であり、例えば各波長に対する反射率が極めて高い白色基準物を撮像した撮像画像の１つの画素位置における反射率スペクトルを示している。図８に示すように、基準値は、波長によらず略一定の値となり、本実施形態のように、白色基準物を用いる場合では、反射率は、各波長においてほぼ１００％となる。撮像対象Ｗの撮像画像では、例えば、鏡面感謝成分が支配的となる範囲Ａ１では、基準値と同様、各波長の反射率が高い値を示す。一方、拡散反射成分が支配的となる範囲Ａ２では、撮像対象Ｗに応じた吸光波長の光が吸収されることで、図７に示すように一部の波長において反射率が低くなる。

次に、色座標値算出部４２３は、算出された各画素の反射率から、当該画素における色座標値を算出する（ステップＳ４：色座標値算出ステップ）。例えば本実施形態では、ステップＳ３で得られた反射率スペクトル等を用いて、Ｌａｂ表色系におけるＬ＊ａ＊ｂ＊値を算出する。

この後、領域特定部４２４は、撮像画像の各画素が、鏡面反射画素であるか、拡散反射画素であるかを特定する領域特定ステップを実施する。
領域特定ステップでは、まず、領域特定部４２４は、各画素を色座標値に基づいてクラスタリングし、複数のクラスに分類する（ステップＳ５）。ここで、通常は、撮像画像において、どの部分で鏡面反射が多く、どの部分で拡散反射が多いかは不明である。したがって、クラスタリングするクラスの数と、各画素のクラスへの分類を同時に行うことが好ましい。このようなクラスタリングとして、本実施形態では、領域特定部４２４は、ｋ－ｍｅａｎｓ法を用いたクラスタリングを行う。すなわち、クラスの数を予めｋ個として設定して分割し、複数の画素からｋ個の種子点となる画素をランダムに選択し、種子点に最も距離が近い画素を当該種子点のクラスに分類する。各クラスの色座標値の重心を求め直して、その位置に種子点を移動させる。以降、ｋの値を変えながら、これを繰り返すことで、クラス数ｋと、各画素が属する最適なクラスを求める。
図９は、色座標値をＬａｂ表色座標にプロットした図である。
上記のようなクラスタリング処理により例えば図９に示すように、各画素がクラスに分類される。

そして、領域特定部４２４は、鏡面反射成分が支配的となる鏡面反射画素と、拡散反射成分が支配的となる拡散反射画素とを特定する（ステップＳ６）。
光源Ｕとして白色光や自然光を用いる場合では、光源Ｕのスペクトルには色情報がない。つまり、各波長に対する反射率が略一定となる。したがって、鏡面反射成分が拡散反射成分よりも多くなる鏡面反射画素では、図９のクラスＣ１のように、色彩情報であるａ＊値及びｂ＊値が小さくなる。一方、拡散反射成分が鏡面反射成分よりも多くなる拡散反射画素では、図９のクラスＣ２，Ｃ３のように、色彩情報であるａ＊値及びｂ＊値の値が大きくなる。
したがって、領域特定部４２４は、複数のクラスのうち、ａ＊値及びｂ＊値が第一閾値Ｋ１以下となるクラスを鏡面反射画素が属するクラスとして特定する。つまり、図９に示すようなＬａｂ表色系において、Ｌ軸を中心として第一閾値Ｋ１の範囲の画素が属するクラスが、鏡面反射画素の属するクラスとして特定される。
より好ましくは、領域特定部４２４は、ａ＊値及びｂ＊値が第一閾値Ｋ１以下となるクラスに属する画素のうち、Ｌ＊値が第二閾値Ｋ２以上となる画素を鏡面反射画素として特定する。これにより、撮像対象Ｗの色がグレーである場合でも、鏡面反射画素を適切に特定できる。なお、クラスタリングにおいて、明るさ情報が第二閾値以上のクラスと、第二閾値未満のクラスとに分割されている場合は、当該第二閾値Ｋ２以上のクラスを鏡面反射画素が属するクラスとして特定し、当該第二閾値Ｋ２未満のクラスを拡散反射画素が属するクラスとして特定すればよい。

また、同一の光源Ｕを用いて複数回の撮像画像の解析を行う場合等では、得られた撮像画像の各画素の色座標値が、クラスタリングにより得られた各クラスの代表値のうち、いずれのクラスの代表値に最も近いかを判定してもよい。すなわち、初回の撮像画像に基づいて、鏡面反射画素を含むクラスを鏡面反射クラスとして特定する。新たに得られた撮像画像の各画素の色座標値と、うち各クラスの代表値との距離を算出し、最も距離が近いクラスにその画素を分類する。このような処理により、２回目以降のクラスタリングの処理を省略してもよい。なお、初回の撮像画像に基づくクラスタリングの結果を利用する場合を説明したが、複数回の撮像画像に基づいて、クラスタリングを行う機械学習を行ってもよい。この場合、鏡面反射クラスに属する画素をより精度よく特定することができる。
なお、代表値としては、クラスに属する画素の色座標値の重心値であってもよく、平均値や中央値であってもよい。

この後、解析部４２５は、撮像画像から、ステップＳ６によって特定された、鏡面反射画素を除外して、撮像画像の解析処理を実施する（ステップＳ７：画像解析ステップ）。

［本実施形態の作用効果］
本実施形態の分光カメラ１は、撮像対象Ｗで反射された光から所定の分光波長の光を分光し、かつ、分光波長を切り替え可能な干渉フィルター２３０と、干渉フィルター２３０により分光された光を撮像する撮像部３１０と、干渉フィルター２３０及び撮像部３１０を制御するとともに、撮像部３１０により撮像された撮像画像を処理する制御部４００と、を備える。そして、制御部４００のプロセッサー４２０は記憶部４１０に記憶されたプログラムを読み込み実行することで、画像取得部４２１、スペクトル算出部４２２、色座標値算出部４２３、及び領域特定部４２４として機能する。
すなわち、画像取得部４２１は、撮像対象に対する複数の分光波長の分光画像を撮像し、各分光画像を撮像画像として取得する。スペクトル算出部４２２は、撮像画像の各画素の分光スペクトルを、対応する画素の信号値に基づいて算出する。色座標値算出部４２３は、分光スペクトルに基づいて、明るさ情報と、色彩情報とを含む色座標値を、画素毎に算出する。領域特定部４２４は、各画素の色座標値に基づいて、撮像画像内での鏡面反射画素と、拡散反射画素とを特定する。
そして、本実施形態の画像処理方法では、制御部４００は、ステップＳ１により、画像取得部４２１が、撮像対象Ｗに対する複数の分光波長の分光画像を撮像し、各分光画像を撮像画像として取得する。ステップＳ３により、スペクトル算出部４２２が、撮像画像の各画素の分光スペクトルを、対応する画素の信号値に基づいて算出する。ステップＳ４により、色座標値算出部４２３が、分光スペクトルに基づいて、明るさ情報と、色彩情報とを含む色座標値を、画素毎に算出する。ステップＳ５及びステップＳ６により、領域特定部４２４が、各画素の色座標値に基づいて、撮像画像内での鏡面反射画素と、拡散反射画素とを特定する。

このような本実施形態では、撮像画像の各画素の色座標値に基づいて、撮像画像の鏡面反射画素と拡散反射画素とを特定する。つまり、鏡面反射成分が、拡散反射成分よりも多い画素では、色座標値における色彩情報が小さくなり、明るさ情報が大きくなる。したがって、領域特定部４２４は、色彩情報及び明るさ情報に基づいて、撮像画像の色座標値に基づいて、適切に鏡面反射画素を特定することができる。これにより、撮像対象Ｗの色が不明な場合、つまり、撮像対象Ｗにおける吸光波長が不明である場合でも、機械学習等を行うことなく、撮像画像における鏡面反射画素と、拡散反射画素とを容易に特定することができる。

本実施形態では、ステップＳ５において、領域特定部４２４は、各画素の色座標値に基づいて、表色座標系における画素間の色座標値の距離が近い複数のクラスに、各画素を分類して、鏡面反射領域が属するクラスと、拡散反射領域が属するクラスとを特定する。
このように、複数の画素の色座標値に基づいて、各画素をクラスに分類することで、例えば個々の画素毎に鏡面反射画素か否かを判定する場合に比べて処理の短縮化を図れる。例えば、同一環境で複数回の撮像を行う場合等では、複数の撮像画像に基づいたクラスタリングを行うことで、鏡面反射クラスの学習を行うことができ、色座標値に基づいて、即座に鏡面反射画素か拡散反射画素かの特定を実施できる。

本実施形態では、ステップＳ５において、領域特定部４２４は、ｋ－ｍｅａｎｓ法によるクラスタリングにより各画素を複数のクラスに分類する。
これにより、最適なクラス数を自動で設定することができる。

本実施形態では、ステップＳ６において、領域特定部４２４は、色彩情報が第一閾値Ｋ１以下となるクラスに属する画素を鏡面反射領域として特定する。
鏡面反射成分が支配的となる部分は、色情報を有さない光源Ｕの光がそのまま撮像部３１０に入射した部分となる。したがって、本実施形態のように、色彩情報が第一閾値Ｋ１以下となるクラスを特定することで、容易に鏡面反射画素を特定することができる。

本実施形態では、ステップＳ６において、前記領域特定ステップは、さらに、明るさ情報が第二閾値Ｋ２以上となる画素を鏡面反射領域として特定する。
クラスタリングによって、色座標値が近い画素をまとめた場合でも、同一クラスにおいて、明るさ情報が異なる場合がある。特に、撮像対象Ｗの色がグレーの場合等では、拡散反射画素が含まれる可能性がある。これに対して、本実施形態では、明るさ情報であるＬ＊値が第二閾値Ｋ２以上となる画素を鏡面反射画素として特定する。これにより、鏡面反射画素を適切に判定することができる。

本実施形態では、ステップＳ３において、スペクトル算出部４２２は、撮像対象Ｗで反射された光に対する複数の分光画像と、撮像対象Ｗに入射する光の光強度を示す基準値とに基づいて、反射率スペクトルを算出する。
これにより、光源Ｕの各波長の光量のばらつきの影響を抑制した、精度の高い反射率を算出することができ、鏡面反射画素を適切に特定できる。
また、本実施形態では、白色基準物を撮像した撮像画像に基づいて基準値を取得する。つまり、撮像画像の全画素において白色基準物の反射光が受光されるように、基準値を測定する。この場合、撮像部３１０の画素毎の受光感度（撮像感度）のばらつきの影響も抑制することができる。

本実施形態では、ステップＳ７において、解析部４２５は、撮像画像の拡散反射領域に基づいて、撮像対象を解析する。
すなわち、解析部４２５は、撮像対象Ｗの吸光波長が不明となる鏡面反射画素を除外して、撮像対象Ｗの解析を行う。これにより、鏡面反射画素に基づいた解析精度の低下を抑制でき、精度の高い解析処理を行うことができる。

［第二実施形態］
上記第一実施形態では、分光カメラ１が、撮像画像から鏡面反射画素を特定する画像処理装置として機能する例を示した。これに対して、画像処理装置としては、分光カメラ１に接続された端末装置であってもよい。第二実施形態では、端末装置が画像処理装置として機能する例を説明する。

図１０は、第二実施形態における画像処理システムの一例を示す図である。
本実施形態では、分光カメラ１Ａと、端末装置１Ｂとを備えた画像処理システムである。
分光カメラ１Ａは、第一実施形態と略同様の構成を有し、干渉フィルター２３０を含むフィルターユニット２と、干渉フィルター２３０を透過した光を撮像する撮像ユニット３とを備える。なお、本実施形態の分光カメラ１Ａは、撮像画像から鏡面反射画素と拡散反射画素とを特定する手段を有さず、端末装置１Ｂの制御の元、撮像対象Ｗに対する複数の分光波長の分光画像を撮像する。
一方、端末装置１Ｂは、例えばパーソナルコンピューターやスマートフォン等の一般的なコンピューターにより構成された画像処理装置であり、例えばメモリー等の記憶回路により構成される記憶部５１０と、ＣＰＵ(Central Processing Unit)等の演算回路により構成されるプロセッサー５２０とを備える。

そして、本実施形態では、端末装置１Ｂのプロセッサー５２０は、記憶部５１０に記憶された各種プログラムを読み出し実行することで、図１０に示すように、画像取得部４２１、スペクトル算出部４２２、色座標値算出部４２３、領域特定部４２４、及び解析部４２５として機能する。
ここで、本実施形態の画像取得部４２１は、ユーザーによる入力操作に基づいて、分光カメラ１Ａに撮像指令を出力し、分光カメラ１Ａで複数の分光波長の分光画像を撮像させ、分光カメラ１Ａから送信されたこれらの分光画像を撮像画像として取得する。
その他の機能構成に関しては、第一実施形態と同様である。

以上のような本実施形態では、第一実施形態と同様の作用効果を奏することができる。さらに、本実施形態では、分光カメラ１Ａとして、複数の分光波長に対応する分光画像を撮像できればよく、撮像基板に高度な画像処理を行うための高性能なＣＰＵ等を搭載していなくてもよい。

［変形例］
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

（変形例１）
例えば、上記第一実施形態において、分光素子として干渉フィルター２３０を用いる例を示したが、これに限定されない。分光素子としては、入射光から所定の分光波長の光を分離し、かつ、分光波長を変更可能な素子であれば、いかなる素子を用いてもよい。このような素子としては、例えば、ＡＯＴＦ（Acousto-Optic Tunable Filter）、ＬＣＴＦ（Liquid crystal tunable filter）等を例示することができる。

（変形例２）
上記実施形態において、制御部４００が、解析部４２５として機能する例を示したが、解析部４２５は必須ではなく、撮像画像における鏡面反射画素と、拡散反射画素とを特定可能であればよい。

（変形例３）
上記実施形態では、ステップＳ２において、白色基準物を撮像することで基準値を取得する例を示したが、これに限定されない。
例えば、撮像環境で、光源Ｕの光量に変化がない場合等では、予めステップＳ２の処理を実施しておき、得られた基準値、つまり、白色基準物に対する各波長の分光画像を記憶部４１０に記憶してもよい。この場合は、ステップＳ２の処理を省略でき、ステップＳ３において、記憶部４１０に記憶された基準値を読み込み、反射率を算出すればよい。

（変形例４）
また、上記実施形態では、ステップＳ１の後にステップＳ２を実施したが、ステップＳ２を実施した後にステップＳ１を実施してもよい。

（変形例５）
上記実施形態では、領域特定部４２４は、非階層クラスタリングの手法であるｋ－ｍｅａｎｓ法により、クラスタリングを実施したが、これに限定されず、例えば、階層型クラスタリングを用いてもよい。

（変形例６）
また、各画素をクラスタリングにより複数のクラスに分類する例を示したが、これに限定されない。領域特定部４２４は、各画素の色座標値の色彩情報（ａ＊値、ｂ＊値）が、第一閾値Ｋ１以下か否か、明るさ情報（Ｌ＊値）が第二閾値以上か否かに基づいて、画素毎に、鏡面反射画素と拡散反射画素とを特定してもよい。

（変形例７）
上記実施形態では、スペクトル算出部４２２が、各画素（各領域）の分光スペクトルとして、反射率スペクトルを算出したが、これに限定されない。例えば、各画素の各波長に対する光吸収率を示す吸光スペクトルであってもよい。また、光源Ｕの各波長の光の発光量が同一であり、撮像部３１０の撮像感度も一定である場合では、複数の分光画像の各画素の信号値をそのまま分光スペクトルとしてもよい。

１，１Ａ…分光カメラ、１Ｂ…端末装置（画像処理装置）、２…フィルターユニット、３…撮像ユニット、２３０…干渉フィルター（分光素子）、３１０…撮像部、４００…制御部、４１０，５１０…記憶部、４２０，５２０…プロセッサー、４２１…画像取得部、４２２…スペクトル算出部、４２３…色座標値算出部、４２４…領域特定部、４２５…解析部。

Claims (9)

1. 撮像対象で反射された光を撮像素子により撮像した撮像画像を一つまたは複数のプロセッサーにより処理する画像処理方法であって、
   前記一つまたは複数のプロセッサーに、
   互いに異なる複数の波長の分光画像を含む前記撮像画像を取得することと、
   前記撮像画像を複数の領域に分割した場合の各前記領域の分光スペクトルを、複数の前記分光画像の対応する前記領域の信号値に基づいて算出することと、
   前記分光スペクトルに基づいて、少なくとも明るさに関する明るさ情報と、色彩に関する色彩情報と、を含む色座標値を、前記領域毎に算出することと、
   前記色座標値に基づいて、前記撮像対象で反射される光のうち鏡面反射成分が拡散反射成分よりも多いことを示す前記撮像画像内の鏡面反射領域と、前記撮像対象で反射される光のうち鏡面反射成分が拡散反射成分よりも少ないことを示す前記撮像画像内の拡散反射領域と、を特定することと、
   を実施させる、画像処理方法。
2. 前記鏡面反射領域と前記拡散反射領域とを特定することは、各前記領域の前記色座標値に基づいて、表色座標系における前記領域間の前記色座標値の距離が近い複数のクラスに前記領域を分類して、前記鏡面反射領域が属する前記クラスと、前記拡散反射領域が属する前記クラスとを特定することを含む、
   請求項１に記載の画像処理方法。
3. 前記鏡面反射領域と前記拡散反射領域とを特定することは、ｋ－ｍｅａｎｓ法によるクラスタリングにより前記領域を複数の前記クラスに分類することを含む、
   請求項２に記載の画像処理方法。
4. 前記鏡面反射領域と前記拡散反射領域とを特定することは、前記色彩情報が所定の第一閾値以下となる前記クラスに属する前記領域を前記鏡面反射領域として特定することを含む、
   請求項２または請求項３に記載の画像処理方法。
5. 前記鏡面反射領域と前記拡散反射領域とを特定することは、さらに、前記明るさ情報が所定の第二閾値以上となる前記領域を前記鏡面反射領域として特定することを含む、
   請求項４に記載の画像処理方法。
6. 前記分光スペクトルを算出することは、前記撮像対象で反射された光に対する複数の前記分光画像と、前記撮像対象に入射する光の光強度を示す基準値とに基づいて、前記分光スペクトルとして、反射率スペクトルを算出することを含む、
   請求項１から請求項５のいずれか１項に記載の画像処理方法。
7. 前記一つまたは複数のプロセッサーに、前記撮像画像の前記拡散反射領域に基づいて、前記撮像対象を解析することをさらに実施させる、
   請求項１から請求項６のいずれか１項に記載の画像処理方法。
8. 撮像対象で反射された光を撮像素子により撮像した撮像画像を処理する一つまたは複数のプロセッサーを備えた画像処理装置であって、
   前記一つまたは複数のプロセッサーは、
   互いに異なる複数の波長の分光画像を含む前記撮像画像を取得することと、
   前記撮像画像を複数の領域に分割した場合の各前記領域の分光スペクトルを、複数の前記分光画像の対応する前記領域の信号値に基づいて算出することと、
   前記分光スペクトルに基づいて、少なくとも明るさに関する明るさ情報と、色彩に関する色彩情報と、を含む色座標値を、前記領域毎に算出することと、
   前記色座標値に基づいて、前記撮像対象で反射される光のうち鏡面反射成分が拡散反射成分よりも多いことを示す前記撮像画像内の鏡面反射領域と、前記撮像対象で反射される光のうち鏡面反射成分が拡散反射成分よりも少ないことを示す前記撮像画像内の拡散反射領域と、を特定することと、
   を実施するように構成されている、画像処理装置。
9. 撮像対象で反射された光から所定の分光波長の光を分光し、かつ、前記分光波長を切り替え可能な分光素子と、
   前記分光素子により分光された光を撮像する撮像素子と、
   前記分光素子及び前記撮像素子を制御するとともに、前記撮像素子により撮像された撮像画像を処理する一つまたは複数のプロセッサーと、を備えた分光カメラであって、
   前記一つまたは複数のプロセッサーは、
   前記分光素子及び前記撮像素子を制御して、互いに異なる複数の波長の分光画像を含む前記撮像画像を取得することと、
   前記撮像画像を複数の領域に分割した場合の各前記領域の分光スペクトルを、複数の前記分光画像の対応する前記領域の信号値に基づいて算出することと、
   前記分光スペクトルに基づいて、少なくとも明るさに関する明るさ情報と、色彩に関する色彩情報とを含む色座標値を、前記領域毎に算出することと、
   前記色座標値に基づいて、前記撮像対象で反射される光のうち鏡面反射成分が拡散反射成分よりも多いことを示す前記撮像画像内の鏡面反射領域と、前記撮像対象で反射される光のうち鏡面反射成分が拡散反射成分よりも少ないことを示す前記撮像画像内の拡散反射領域と、を特定することと、
   を実施するように構成されている、分光カメラ。

Images