JP2020169834A

JP2020169834A - 撮像条件評価装置および撮像条件評価方法

Info

Publication number: JP2020169834A
Application number: JP2019070079A
Authority: JP
Inventors: 雄樹山本; Takeki Yamamoto; 龍平久利; Ryuhei Kuri
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2019-04-01
Filing date: 2019-04-01
Publication date: 2020-10-15
Anticipated expiration: 2039-04-01
Also published as: US20200309600A1; JP7238552B2; US11099071B2

Abstract

【課題】撮像条件の適切性を簡単に評価できる撮像条件評価装置を提供する。【解決手段】本発明の撮像条件評価装置は、任意に設定された撮像条件において分光画像を撮像する分光測定器と、前記分光画像において互いに異なる第１領域および第２領域を設定し、前記第１領域の分光スペクトルと、前記第２領域の分光スペクトルとに基づいて、前記撮像条件の評価値を算出する評価部と、を備える。【選択図】図１

Description

本発明は、撮像条件評価装置および撮像条件評価方法に関する。

従来、対象物の分光画像に基づいて、当該対象物の成分や状態などを推定する分析方法が存在する。このような分析方法を利用した装置として、例えば特許文献１には、印刷媒体のスペクトル情報を測定し、当該スペクトル情報に基づいて多変量解析を行うことにより、印刷媒体の種別を判別する印刷装置が開示されている。

特開２０１３−１０７２６９号公報

一般に、分析対象のスペクトル情報は、光源の種類やカメラの姿勢などによる撮像条件に応じて変化する。そこで、特許文献１などの従来技術では、既知サンプルの分光画像を様々な撮像条件で取得し、各分光画像に基づいて多変量解析などの本分析と同様の分析を行うことにより、良好な分析精度が確保できる撮像条件を探る必要がある。しかし、撮像条件を変える毎に本分析と同様の分析を行う必要があるため、複数の撮像条件を評価するためにかかる時間が長くなってしまう。

本発明の撮像条件評価装置は、任意に設定された撮像条件において分光画像を撮像する分光測定器と、前記分光画像において互いに異なる第１領域および第２領域を設定し、前記第１領域の分光スペクトルと、前記第２領域の分光スペクトルとに基づいて、前記撮像条件の評価値を算出する評価部と、を備えることを特徴とする。

本発明の撮像条件評価装置において、前記評価部は、前記第１領域の分光スペクトルと前記第２領域の分光スペクトルとの離れ度合を表すスペクトル分離度を、前記評価値として算出することが好ましい。

本発明の撮像条件評価装置において、前記評価部は、前記分光画像における第１対象物の配置範囲内に前記第１領域を設定し、前記分光画像における前記第１対象物とは異なる第２対象物の配置範囲内に前記第２領域を設定することが好ましい。

本発明の撮像条件評価装置において、前記評価部は、前記分光画像における同一対象物の配置範囲内に前記第１領域および前記第２領域を設定することが好ましい。

本発明の撮像条件評価装置において、前記分光測定器は、照明光を照射する照明部と、前記照明部の姿勢を変更させる照明方向変更機構と、を備えており、前記撮像条件は、前記照明部の姿勢によって調整されることが好ましい。

本発明の撮像条件評価装置において、前記分光測定器は、前記分光画像を撮像する撮像部と、前記撮像部の姿勢を変更させる変更機構と、を備えており、前記撮像条件は、前記撮像部の姿勢によって調整されることが好ましい。

本発明の撮像条件評価方法は、任意に設定された撮像条件において分光画像を撮像する分光画像撮像ステップと、前記分光画像において互いに異なる第１領域および第２領域を設定する領域設定ステップと、前記第１領域の分光スペクトルと、前記第２領域の分光スペクトルとに基づいて、前記撮像条件の評価値を算出する評価ステップと、を含むことを特徴とする。

本発明の一実施形態である分析装置の概略構成を示すブロック図。本実施形態の分光測定器の概略構成を示す模式図。本実施形態の分析方法を説明するためのフローチャート。本実施形態における分光画像の例を示す模式図。変形例における分光画像の例を示す模式図。

以下、本発明の一実施形態について説明する。
図１は、本実施形態の分析装置１の概略構成を示すブロック図である。本実施形態の分析装置１は、図１に示すように、分光測定器１０と、この分光測定器１０を制御する制御部２０と、を備えている。分析装置１は、分析対象の分光画像Ｉに基づいて、当該分析対象の種類や状態等を判別する装置である。また、分析装置１は、本発明の撮像条件評価装置として、分光画像Ｉを撮像するための撮像条件を評価する機能を有する。

［分光測定器１０の構成］
図２は、分光測定器１０の概略構成を示す模式図である。
分光測定器１０は、所定の撮像範囲の分光画像Ｉを取得するものであり、図２に示すように、照明部１１、入射光学系１２と、光学フィルター１３および撮像部１４を備えている。
照明部１１は、複数の種類の光源を含んで構成されており、制御部２０の制御により選択された種類の光源が撮像範囲に対して照明光を照射する。
入射光学系１２は、例えばテレセントリック光学系等により構成され、撮像範囲に配置された物体で反射された光を光学フィルター１３に導く。
光学フィルター１３は、例えば波長可変干渉フィルターである。この光学フィルター１３は、ギャップＧを挟んで互いに対向する一対の反射膜１３１，１３２と、各反射膜に設けられた電極によって構成される静電アクチュエーター１３３とを備えている。この光学フィルター１３では、静電アクチュエーター１３３への印加電圧が制御され、一対の反射膜１３１，１３２間のギャップＧの寸法が変動することにより、当該寸法に応じた波長の光が透過する。
撮像部１４は、光学フィルター１３を透過した光の強度に応じた分光画像Ｉを撮像し、後述の記憶部２１に蓄積させる。撮像部１４としては、例えばＣＣＤやＣＭＯＳを用いることができる。

また、本実施形態の分光測定器１０は、図２に示すように照明部１１の姿勢（照明方向）を変更させる照明方向変更機構１５と、撮像部１４の姿勢（撮像角度）を変更させる撮像角度変更機構１６と、を備えている。これらの各機構は、制御部２０による制御に従ってそれぞれ駆動される。

以上の分光測定器１０による撮像条件は、１以上の条件要素によって定まる。例えば、撮像条件を決定する条件要素として、照明部１１の光源種類および照明方向、撮像部１４の露光時間および撮像角度、ならびに、入射光学系１２の倍率などが挙げられる。

［制御部２０の構成］
制御部２０は、分光測定器１０の制御や分析処理を行う装置であり、図１に示すように、記憶部２１および演算処理部２２を備えている。
記憶部２１は、例えばメモリーやハードディスクドライブ等により構成されている。この記憶部２１には、分析装置１の全体動作を制御するためのＯＳ（Operating System）、各種プログラムおよび各種データが記憶されている。

演算処理部２２は、例えばＣＰＵ（Central Processing Unit）等の演算回路や記憶回路により構成されている。この演算処理部２２は、記憶部２１に記憶された各種プログラムを読み込み、実行することで、図１に示すように、測定器制御部２２１、分析部２２２、候補条件設定部２２３、撮像環境調整部２２４、評価部２２５および撮像条件決定部２２６として機能する。

測定器制御部２２１は、分光測定器１０の各構成を制御することにより、分光測定器１０の撮像範囲にセットされた物体の分光画像Ｉを取得する。
分析部２２２は、分光測定器１０により撮像された分析対象の分光画像Ｉに基づいて、分析対象の分析を行う。分析部２２２による分析の種別は特に限定されないが、例えば成分分析や異物検出等が可能である。
候補条件設定部２２３、撮像環境調整部２２４、評価部２２５および撮像条件決定部２２６は、後述する撮像条件決定方法を協働して実施する。

［撮像条件決定方法］
本実施形態の撮像条件決定方法について、図３のフローチャートを参照して説明する。
なお、本実施形態の撮像条件決定方法は、撮像条件の各候補の評価を行い、各候補の評価値に基づいて最適な候補を選択するものであり、本発明の撮像条件評価方法を含んでいる。
また、本実施形態の撮像条件決定方法は、組成が互いに異なる２つの対象物（第１対象物Ｘ１および第２対象物Ｘ２）の各分光スペクトルを好適に判別できる撮像条件を決定するものである。例えば、本実施形態の撮像条件決定方法は、食品分析等、１つのプレートに載置された複数の食品を同時に分析する際、各食品の分光スペクトルを好適に判別できる撮像条件の決定に利用できる。

まず、事前準備として、ユーザーは、組成が互いに異なる第１対象物Ｘ１および第２対象物Ｘ２を分光測定器１０の撮像範囲に配置する。上述したような食品分析を想定する場合、第１対象物Ｘ１および第２対象物Ｘ２は、それぞれ異なる種類の食品である。
ここで、ユーザーは、操作部３０を介して、分光測定器１０の撮像範囲における第１対象物Ｘ１および第２対象物Ｘ２の各設定位置を記憶部２１に記憶させておいてもよい。

また、ユーザーは、所望する分析の種別に応じて、撮像条件の候補（撮像候補条件）に関する情報を、操作部３０を介して分析装置１に入力する。候補条件設定部２２３は、入力された情報に基づいて、複数の撮像候補条件を設定し、記憶部２１に記憶させる（ステップＳ１）。

次いで、撮像環境調整部２２４は、記憶部２１に記憶された複数の撮像候補条件のうち測定未実施の撮像候補条件を選択し、当該撮像候補条件に基づいて分光測定器１０の各構成を制御する。これにより、撮像環境調整部２２４は、分光測定器１０による撮像環境を撮像候補条件に合わせて調整する（ステップＳ２）。
例えば、撮像候補条件が、照明方向および撮像角度を組み合わせたものである場合、撮像環境調整部２２４は、撮像候補条件に基づいて、照明方向変更機構１５および撮像角度変更機構１６をそれぞれ制御する。なお、撮像候補条件は、これに限られず、照明部１１の光源種類や撮像部１４の露光時間などを組み合わせ可能である。

次に、測定器制御部２２１は、分光測定器１０を制御して、第１対象物Ｘ１および第２対象物Ｘ２を含む分光画像Ｉを撮像させる（ステップＳ３；分光画像撮像ステップ）。具体的には、照明部１１が第１対象物Ｘ１および第２対象物Ｘ２に対して照明光を照射する間、光学フィルター１３が第１対象物Ｘ１および第２対象物Ｘ２のそれぞれで反射された光のうち静電アクチュエーター１３３への印可電圧に応じた波長の光を透過させる。ここで、静電アクチュエーター１３３への印可電圧は順次変更されるため、光学フィルター１３を透過する光の波長は順次変更される。撮像部１４は、光学フィルター１３を透過した各波長の光による分光画像Ｉを撮像し、記憶部２１に記憶させる。

図４は、本実施形態における分光画像Ｉの一例を示す模式図である。
評価部２２５は、ステップＳ３で撮像された分光画像Ｉを分光測定器１０から取得し、図４に示すように、分光画像Ｉにおいて互いに異なる第１領域Ａ１および第２領域Ａ２を設定する（ステップＳ４；領域設定ステップ）。
具体的には、評価部２２５は、分光画像Ｉにおける第１対象物Ｘ１の配置範囲内に第１領域Ａ１を設定し、分光画像Ｉにおける第２対象物Ｘ２の配置範囲内に第２領域Ａ２を設定する。この設定方法は、例えば、予め記憶部２１に記憶されている第１対象物Ｘ１および第２対象物Ｘ２の各位置情報を利用してもよいし、画像認識技術を利用してもよい。第１領域Ａ１および第２領域Ａ２の各大きさ（各画素数）は、それぞれ任意に設定可能である。

次に評価部２２５は、第１領域Ａ１の分光スペクトルと、第２領域Ａ２の分光スペクトルとに基づいて、撮像条件の評価値を算出する（ステップＳ５；評価ステップ）。
本実施形態では、撮像条件の評価値として、スペクトル分離度を利用する。スペクトル分離度とは、分光画像Ｉにおける第１領域Ａ１および第２領域Ａ２間での分光スペクトルの離れ度合を表すものである。このスペクトル分離度は、分光画像Ｉの波長毎に第１領域Ａ１および第２領域Ａ２間の分離度を算出し、波長毎に算出された分離度を足し合わせることにより算出できる。

具体的には、スペクトル分離度Ｓは、以下の式（１）により算出できる。

ここで、第１領域Ａ１のピクセル数をω_１とし、第２領域Ａ２のピクセル数をω_２とする。また、第１領域Ａ１について、波長λでのスペクトルの平均をｍ_λ１とし、波長λでのスペクトルの分散をσ_λ１ ^２とする。同様に、第２領域Ａ２について、波長λでのスペクトルの平均をｍ_λ２とし、波長λでのスペクトルの分散をσ_λ２ ^２とする。また、第１領域Ａ１と第２領域Ａ２とを合わせた合計領域（Ａ１＋Ａ２）について、波長λでのスペクトルの平均をｍ_λｔとし、その分散をσ_λｔ ^２とする。波長λは、例えば、任意の波長範囲において所定間隔毎に設定されている。

また、スペクトル分離度Ｓは、以下の式（２）により算出することもできる。

上記式（２）は、データの自由度を考慮した計算方式である。すなわち、上記式（２）では、領域間自由度をｆ_Ｂとし、領域内自由度をｆ_Ｗとする。領域間自由度ｆ_Ｂは、分光画像Ｉに設定される領域数から１を引いたものであり、範囲内自由度ｆ_Ｗは、合計領域の全ピクセル数から領域数を引いたものである。なお、本実施形態では、分光画像Ｉに設定される領域数は２である。
なお、スペクトル分離度Ｓの算出方法は、上述した例に限定されるものではなく、任意の式を利用できる。
評価部２２５は、以上により算出したスペクトル分離度Ｓを、撮像候補条件に対応付けて記憶部２１に記憶させる。

次に、撮像条件決定部２２６は、記憶部２１に記憶された複数の撮像候補条件について、全ての撮像候補条件でスペクトル分離度Ｓが算出されているか否かを判断する（ステップＳ６）。
ステップＳ６でＮｏと判断した場合、ステップＳ２に戻り、撮像環境調整部２２４は、スペクトル分離度Ｓが未算出の撮像候補条件に基づいて、分光測定器１０の撮像条件を調整する。
一方、ステップＳ６でＹｅｓと判断した場合、撮像条件決定部２２６は、記憶部２１に記憶された全ての撮像候補条件のうち、最も高いスペクトル分離度Ｓに対応する撮像候補条件を選択し、選択した撮像候補条件を本分析の撮影条件として決定する（ステップＳ７）。

以上により、撮像条件決定方法のフローが終了する。このように決定された撮影条件を本分析の撮像条件として利用することにより、第１対象物Ｘ１および第２対象物Ｘ２の各分光スペクトルを好適に判別できる。これにより、第１対象物Ｘ１および第２対象物Ｘ２を含む分析対象全体の分析精度が向上する。

［本実施形態の作用効果］
本実施形態の分析装置１は、任意に設定された撮像条件において分光画像Ｉを撮像する分光測定器１０と、分光画像Ｉにおいて互いに異なる第１領域Ａ１および第２領域Ａ２を設定し、第１領域Ａ１の分光スペクトルと、第２領域Ａ２の分光スペクトルとに基づいて、撮像条件の評価値を算出する評価部２２５と、を備える。
このような本実施形態によれば、既知サンプルを本分析と同様に分析するといった手間を必要とせず、撮像条件の適切性を簡単に評価できる。このため、複数の撮像条件から最適な撮像条件を探索するためにかかる時間を短縮できる。

本実施形態において、評価部２２５は、第１領域Ａ１の分光スペクトルと第２領域Ａ２の分光スペクトルとの離れ度合を表すスペクトル分離度Ｓを、撮像条件の評価値として算出する。特に、本実施形態において、評価部２２５は、分光画像Ｉにおける第１対象物Ｘ１の配置範囲内に第１領域Ａ１を設定し、分光画像Ｉにおける第２対象物Ｘ２の配置範囲内に第２領域Ａ２を設定する。
このような本実施形態によれば、スペクトル分離度Ｓは、第１対象物Ｘ１の分光スペクトルおよび第２対象物Ｘ２の分光スペクトルについて、両者の分離の度合いを示すことになる。仮に、スペクトル分離度Ｓが低い場合、分光画像Ｉに対して外光成分や照明光の正反射成分が強く影響しており、第１対象物Ｘ１の分光スペクトルと第２対象物Ｘ２の分光スペクトルとの区別が困難になっていると考えられる。一方、スペクトル分離度Ｓが高い場合、分光画像Ｉに対する外光成分や照明光の正反射成分の影響が小さく、第１対象物Ｘ１の分光スペクトルと第２対象物Ｘ２の分光スペクトルとに明確な違いが表れていると考えられる。よって、スペクトル分離度Ｓがより高い撮像条件をより適切な撮像条件として評価できる。
従って、本実施形態では、スペクトル分離度Ｓを利用することにより、撮像条件の適切性をより好適に評価することができる。

本実施形態において、分光測定器１０は、第１対象物Ｘ１および第２対象物Ｘ２に対して照明光を照射する照明部１１と、照明部１１の姿勢を変更させる照明方向変更機構１５と、を備えている。
また、本実施形態において、分光測定器１０は、分光画像Ｉを撮像する撮像部１４と、撮像部１４の姿勢を変更させる変更機構と、を備えている。
このような本実施形態によれば、分光画像Ｉに対する外光成分や照明光の正反射成分の影響が小さくなる撮像条件を、好適に探ることができる。

［変形例］
本発明は、前記各実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形または改良などは、本発明に含まれる。

前記実施形態では、組成が互いに異なる２つの対象物の分光スペクトルを好適に判別できる撮像条件を探索しているが、本発明はこれに限られない。すなわち、本発明の撮像条件評価方法は、撮像範囲における領域に依らずに、同一の対象物について同一の分光スペクトルが安定して得られる撮像条件を探索できる。
ここで、図５は、変形例における分光画像Ｉの例を示す模式図である。この分光画像Ｉは、少なくとも１つの対象物Ｘを撮像したものであればよい。
この変形例において、評価部２２５は、図５に示すように、分光画像Ｉにおける同一の対象物Ｘの配置範囲内に第１領域Ａ１および第２領域Ａ２を設定する。また、撮像条件決定部２２６は、複数の撮像候補条件のうち最も低いスペクトル分離度Ｓが算出される撮像候補条件を、本分析の撮影条件として決定することが好ましい。
このような方法で決定された撮影条件を本分析に利用することにより、撮像範囲における領域に依らずに、同一の対象物について同一の分光スペクトルを安定して取得することができる。これにより、分析対象の種別判定や異物検出などの精度が向上する。

前記実施形態では、分光画像Ｉにおいて第１領域Ａ１および第２領域Ａ２という２つの領域を設定しているが、より多くの領域を設定してもよい。例えば、分光画像Ｉにおいて、第１領域Ａ１および第２領域Ａ２に加えて、第１領域Ａ１および第２領域Ａ２とは異なる第３領域を設定してもよい。この場合、第１領域Ａ１および第２領域Ａ２間のスペクトル分離度、第２領域域Ａ２および第３領域間のスペクトル分離度、ならびに、第１領域Ａ１および第３領域間のスペクトル分離度を、それぞれ算出してもよい。撮像条件の評価値として、これらの３つのスペクトル分離度を利用することにより、撮像条件の適切性をより精度よく評価することができる。

前記実施形態では、撮像条件の評価値として、スペクトル分離度Ｓを利用しているが、本発明はこれに限られず、分光画像Ｉにおける第１領域Ａ１の分光スペクトルと第２領域Ａ２の分光スペクトルとの相関関係を評価する任意の指標を評価値として利用できる。

前記実施形態では、本発明の撮像条件評価装置が分析装置１として構成されているが、本発明はこれに限られない。例えば、本発明の撮像条件評価装置は、分析機能を備えない装置として構成されてもよいし、他の機能を備える電子機器に組み込まれていてもよい。

１…分析装置、１０…分光測定器、１１…照明部、１２…入射光学系、１３…光学フィルター、１３１，１３２…反射膜、１３３…静電アクチュエーター、１４…撮像部、１５…照明方向変更機構、１６…撮像角度変更機構、２０…制御部、２１…記憶部、２２…演算処理部、２２１…測定器制御部、２２２…分析部、２２３…候補条件設定部、２２４…撮像環境調整部、２２５…評価部、２２６…撮像条件決定部、３０…操作部。

Claims

任意に設定された撮像条件において分光画像を撮像する分光測定器と、
前記分光画像において互いに異なる第１領域および第２領域を設定し、前記第１領域の分光スペクトルと、前記第２領域の分光スペクトルとに基づいて、前記撮像条件の評価値を算出する評価部と、を備える
ことを特徴とする撮像条件評価装置。
請求項１に記載の撮像条件評価装置において、
前記評価部は、前記第１領域の分光スペクトルと前記第２領域の分光スペクトルとの離れ度合を表すスペクトル分離度を、前記評価値として算出する
ことを特徴とする撮像条件評価装置。
請求項１または請求項２に記載の撮像条件評価装置において、
前記評価部は、前記分光画像における第１対象物の配置範囲内に前記第１領域を設定し、前記分光画像における前記第１対象物とは異なる第２対象物の配置範囲内に前記第２領域を設定する
ことを特徴とする撮像条件評価装置。
請求項１または請求項２に記載の撮像条件評価装置において、
前記評価部は、前記分光画像における同一対象物の配置範囲内に前記第１領域および前記第２領域を設定する
ことを特徴とする撮像条件評価装置。
請求項１から請求項４のいずれか一項に記載の撮像条件評価装置において、
前記分光測定器は、照明光を照射する照明部と、前記照明部の姿勢を変更させる照明方向変更機構と、を備えており、
前記撮像条件は、前記照明部の姿勢によって調整される
ことを特徴とする撮像条件評価装置。
請求項１から請求項５のいずれか一項に記載の撮像条件評価装置において、
前記分光測定器は、前記分光画像を撮像する撮像部と、前記撮像部の姿勢を変更させる変更機構と、を備えており、
前記撮像条件は、前記撮像部の姿勢によって調整される
ことを特徴とする撮像条件評価装置。
任意に設定された撮像条件において分光画像を撮像する分光画像撮像ステップと、
前記分光画像において互いに異なる第１領域および第２領域を設定する領域設定ステップと、
前記第１領域の分光スペクトルと、前記第２領域の分光スペクトルとに基づいて、前記撮像条件の評価値を算出する評価ステップと、を含む
ことを特徴とする撮像条件評価方法。