JP2020160041A

JP2020160041A - ハイパースペクトル撮像装置及びその方法

Info

Publication number: JP2020160041A
Application number: JP2019125204A
Authority: JP
Inventors: 雅也荒井; Masaya Arai
Original assignee: Cleartec Kk
Current assignee: Cleartec Kk
Priority date: 2019-07-04
Filing date: 2019-07-04
Publication date: 2020-10-01

Abstract

【課題】波長領域ごとの２次元空間で表される高品質な画像を生成できるハイパースペクトル撮像装置を提供することを目的とする。【解決手段】光学系１１及びセンサ１３を基軸部４１に固定して吊り下げ、これらをモータ４７からの駆動力によって一体となって上下移動しながら撮像を行う。画像生成部１９は、光学系駆動部１５によるスリット３１ａのＹ方向の移動に応じたＹ方向の複数の位置において、センサ１３が生成した電気信号に基づいて、２次元画像を前記波長領域毎に生成する。【選択図】図１

Description

本発明は、ハイパースペクトル撮像装置及びハイパースペクトル撮像方法に関する。

ハイパースペクトルカメラは、被写体からの光をハイパースペクトルで定義される複数の波長領域に分光して、波長領域ごとの画像を取得する撮像装置である。ハイパースペクトルセンサーは、衛星及び航空機に搭載されて農業分野、環境分野などに使用されている。

ハイパースペクトル技術によれば、従来の色の概念をスペクトル領域に拡張でき、人間の目には見えない現象を可視化することができる。特許文献１では、ハイパースペクトル技術を内視鏡システムに応用した技術が開示されている。
ハイパースペクトルカメラによって取得される画像を使用できる技術分野は、上述した分野に限定されない。例えば、移動する物体や、形状が時間と共に変化する物体などを被写体として撮影し、ハイパースペクトル技術を用いてこれらの物体を計測することで従来にない物体認識や特性解析が可能となる。

特開２０１１−８９８９５号公報

ところで、従来のハイパースペクトルカメラは、波長領域ごとの２次元空間で表される画像を取得できるが、電子的にスリットの位置が上下に動くため、入ってきた光が中間レンズの中心からずれ入射し、結像が歪むという問題がある。

本発明は上述した従来技術の問題点に鑑みてなされ、波長領域ごとの２次元空間で表される高品質な画像を生成できるハイパースペクトル撮像装置及びその方法を提供することを目的とする。

上述した従来技術の問題点を解決し、上述した目的を達成するために、本発明のハイパースペクトル画像生成装置は、被写体からの光をハイパースペクトルで規定された複数の波長領域に分光する光学手段と、前記吊り下げ手段で固定された前記光学手段によって分光された光を前記複数の波長領域毎に受光して受光結果に応じた電気信号を生成するセンサと、前記光学手段及び前記センサを吊り下げて固定する吊り下げ手段と、吊り下げ手段の移動を駆動する駆動手段と、前記吊り下げ手段が前記駆動手段によって移動された複数の位置において前記センサが生成した電気信号に基づいて、２次元画像を前記波長領域毎に生成する画像生成手段と、を有する。

この構成によれば、吊り下げ手段により、前記光学手段及び前記センサを吊り下げて固定するため、これらを下から支持する場合に比べて、重力による位置ずれが生じにくく高精度な撮像が可能になる。また、このような吊り下げ構造にすることで、上方から見やすくなり、容易に手を入れられるため、完成した状態で常に容易に手作業による調整ができる。

好適には、前記光学手段は、前記被写体からの光を線状の光として透過させるスリットを備えたスリット手段と、前記スリットを透過した光を複数の波長領域に分光する回折格子と、前記回折格子から入射した光を前記センサに向けて結像するレンズとを有する。

好適には、前記駆動手段は、前記回折格子が前記光を分光する方向に、前記光学手段及び前記センサを移動する。

好適には、前記回折格子は、前記スリット手段に固定されており、前記回折格子、前記レンズ及び前記センサが所定の基軸部に吊り下げられており、前記駆動手段は、前記基軸部を上下に移動する。

好適には、前記画像生成手段は、前記センサが生成した前記電気信号に基づいて前記波長領域ごとの光の強度を算出し、前記スリットの移動に応じて一つの２次元画像を前記波長領域ごとに生成する。

好適には、前記吊り下げ手段は、前記駆動手段からの回転駆動力を前記基軸部の上下駆動力に変換する伝達するスクリュー歯車を有する。

本発明のハイパースペクトル画像生成方法は、被写体からの光をハイパースペクトルで規定された複数の波長領域に分光する光学手段と、前記光学手段によって分光された光を前記複数の波長領域毎に受光して受光結果に応じた電気信号を生成するセンサとを吊り下げ手段で吊り下げた状態で上下移動する第１の工程と、前記第１の工程で前記光学手段及び前記センサを上下移動する過程で、上下方向の複数の位置において前記センサが生成した電気信号に基づいて、２次元画像を前記波長領域毎に生成する第２の工程とを有する。

好適には、前記光学手段は、前記被写体からの光を線状の光として透過させるスリットを備えたスリット手段と、前記スリットを透過した光を複数の波長領域に分光する回折格子と、前記回折格子から入射した光を前記センサに向けて結像するレンズとを有し、前記第１の工程は、前記回折格子が前記光を分光する方向に、前記光学手段及び前記センサを移動する。

本発明によれば、波長領域ごとの２次元空間で表される高品質な画像を生成できるハイパースペクトル撮像装置及びその方法を提供することができる。

図１は、本発明の実施形態に係わるハイパースペクトル画像生成装置について説明するための図であり、スリットが中央に位置する場合の図である。図２は、スリットが中央から上方に位置する場合の図である。図３は、スリットの形状を説明するための図である。図４は、スリットの移動を説明するための図である。図５は、スリットの移動を説明するための図である。図６は、スリットの移動を説明するための図である。図７は、スリットの移動を説明するための図である。図８は、スリットの移動を説明するための図である。図９は、ハイパースペクトル画像生成装置の動作を説明するためのフローチャートである。

以下、本発明の実施形態に係わるハイパースペクトル画像生成装置について説明する。
図１は、本発明の実施形態に係わるハイパースペクトル画像生成装置１について説明するための図であり、スリット３１ａが中央に位置する場合の図である。
図２は、スリット３１ａが中央から上方に位置する場合の図である。

図１に示すように、ハイパースペクトル画像生成装置１は、例えば、対物レンズ９、光学系１１、センサ１３、光学系駆動部１５、画像生成部１９を有する。

対物レンズ９は、被写体からの光が入射され、入射された光を光学系１１に照射する。対物レンズ９は、図示しないフォーカス駆動部によって駆動される。
フォーカス駆動部は、例えばアクチュエータであり、対物レンズ９を駆動させる。フォーカス駆動部は、光学系１１によって分光された光のうち０次回折光がセンサ１３の撮像素子面上で合焦しているかを判断し、撮像素子上で合焦するように対物レンズ９を駆動させる。なお、対物レンズ９のフォーカス合わせを手動で行ってもよい。

光学系１１は、例えば、スリット部３１、回折格子３３及びレンズ３５を有する。
スリット部３１は、被写体からの光を図３に示すようにＸ方向（第１の方向）に延びる線状の光として透過して回折格子３３に入射させるスリット３１ａを備えている。
スリット３１ａは、微細な幅を有する開口が設けられており、対物レンズ９を通過した光を絞って、回折格子３３に絞られた光を照射する。スリット３１ａは、一の方向（Ｘ軸方向）に平行なラインの光を回折格子３３に照射させることができる。

回折格子３３は、スリット部３１ａを透過した光を複数の波長領域にＹ方向に分光してレンズ３５に入射させる。
回折格子３３は、例えば多数の溝が平行に等間隔で形成された基板であり、スリット部３１ａを通過したＸ軸方向に平行なラインの光を複数の波長領域に分光する。回折格子３３は、例えば、透過型回折格子を用いることができる。なお、回折格子は、機械刻線回折格子やホログラフィック回折格子などの反射型回折格子を用いてもよい。
回折格子３３は、スリット部３１に固定されている。

レンズ３５は、回折格子３３で分光された光が入射される。レンズ３５は、分光された光をセンサ１３に照射し、センサ１３の撮像面に被写体からの分光された光を結像させる。

センサ１３は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳのイメージセンサであり、レンズ３５を通過し撮像面に結像された光を光電変換によって電気信号に変換する。センサ１３は、生成された電気信号を画像生成部１９に出力する。

光学系駆動部１５は、基軸部４１、上下移動部４３ａ，４３ｂ及びスクリュー歯車４５を有する。

基軸部４１は、スリット部３１、レンズ３５、センサ１３を吊り下げている。具体的には、基軸部４１の下方にスリット部３１、レンズ３５、センサ１３を固定されている。
上下移動部４３ａ，４３ｂは、基軸部４１上下移動可能に保持している。
スクリュー歯車４５は、モータ４７からの回転駆動力を上下移動部４３ａ，４３ｂの上下移動駆動力として伝達する。スクリュー歯車４５を用いることで、モータ４７の振動とＹ方向の移動誤差を滑らかすることができる。
ドライバ４９は、モータ４７の駆動を制御する。

ドライバ４９からの駆動により、光学系１１及びセンサ１３は、対物レンズ９からの光の入射方向に対して垂直方向、かつスリット３１ａの開口方向であるＸ軸方向に対して垂直方向（Ｙ軸方向：分光方向）に移動される光学系１１及びセンサ１３を移動させ、Ｘ軸に平行なラインをＹ軸方向に移動させることで被写体を２次元的に走査することができる。

図４〜図８は、光学系駆動部１５による光学系１１の移動を説明するための図である。
図４〜図８に示すように、光学系駆動部１５は、モータ４７からの駆動力によって基軸部４１をＹ方向（上下方向）に移動し、これによりスリット３１ａの位置をＹ方向に移動する。例えば、図２に示すようにＹ方向の上方に移動する

本実施形態では、図１及び図２に示すように、光学系１１及びセンサ１３を基軸部４１に固定して吊り下げ、これらをモータ４７からの駆動力によって一体となって上下移動しながら撮像を行う。
このように光学系１１及びセンサ１３を上から吊り下げて保持することで、下から支持する場合に比べて、重力による位置ずれが生じにくく高精度な撮像が可能になる。
また、光学系及びセンサを下から支持する構造だと、裏返して組立・調整したり最終調整のときには下に隠れて手が入らないので勘でやる必要がある。本実施形態のように吊り下げ構造にすることで、上方から見やすくなり、容易に手を入れられるため、完成した状態で常に容易に手作業による調整ができる。

画像生成部１９は、光学系駆動部１５による図４〜図８に示すスリット３１ａのＹ方向の移動に応じたＹ方向の複数の位置において、センサ１３が生成した電気信号に基づいて、２次元画像を前記波長領域毎に生成する
画像生成部１９は、センサ１３が出力した電気信号に基づいて、被写体からの光の成分分析、光の強度などの物理量の２次元平面における分布の算出などを行う。
画像生成部１９は、センサ１３で生成された電気信号を受信し、ハイパースペクトルデータ（ＨＳＤ）としてＨＳＤ記録部に被写体のスペクトルデータを記録させる。

ＨＳＤ記録部は、被写体のスペクトルデータをＨＳＤとして記録する。ＨＳＤは、例えば、６４０×８００ピクセルの画像領域を有しており、それぞれのピクセルごとに複数のバンド（波長領域）のスペクトル情報が含まれている。即ち、各ピクセルは（ｘ，ｙ，λ）の３次元のデータセットを有する。ここで、ｘ、ｙは画像平面の位置を表し、λは波長を表す。そして、ピクセルごとのスペクトル情報は、個々に読み出しが可能である。

画像生成部１９は、センサ１３から出力された電気信号に基づいて各ピクセルの画像平面の位置（ｘ，ｙ）を算出する。また、画像生成部１９は、ピクセルの画像平面の位置（ｘ，ｙ）と、波長λとの対応付けを行う。

画像生成部１９は、各ピクセルの（ｘ，ｙ，λ）の３次元のデータセットに基づいて、複数の波長領域ごとに画像平面上の物理量の分布を算出する。

画像生成部１９は、上記算出された結果を視覚的に表示することができる。画像生成部１９は、複数の波長領域ごとに画像平面上の物理量（光の強度）の分布などを表示することができる。

図９は、ハイパースペクトル画像生成装置１の動作を説明するためのフローチャートである。

ステップＳＴ１：
特定の撮影対象の映像が、対物レンズ９から取り込まれ、スリット部３１に照射される。

ステップＳＴ２：
ドライバ４９からの制御により、上下移動部４３ａ，４３ｂが駆動され、基軸部４１が図４〜図８に示すように、最下位置から最上位置までＹ方向に移動を開始する。
このとき、基軸部４１と一体となってスリット部３１、回折格子３３、レンズ３５及びセンサ１３が移動する。

ステップＳＴ３：
Ｙ方向における各位置において、スリット３１ａを透過したライン（Ｘ軸方向）の光が回折格子３３において波長方向に分光され、レンズ３５を透過してセンサ１３に入光する。撮像素子１２０は。Ｙ方向の所定の位置のラインの分光された光を受光し、その光から生成された電気信号を画像生成部１９に出力する。

ステップＳＴ４：
画像生成部１９は、スリット３１ａのＹ方向の所定の各位置でのＸ軸方向位置ｘと波長領域の値λとを対応付けて記録する。当該記録が、各位置において繰り返される。スリットの所定位置がＹ＝ｙ１〜ｙｎまでのＸ軸方向位置ｘと波長領域の値をデータセットとして蓄積していく。

画像生成部１９は、蓄積されたハイパースペクトルデータを用いることで、各λに対応する（ｘ，ｙ）画像を再構成することができる。

以上説明したように、ハイパースペクトル画像生成装置１によれば、光学系１１及びセンサ１３が一体となってＹ方向（分光方向）に移動するため、スリット３１ａから回折格子３３を透過した光をレンズ３５の中心に入光させることができ、センサ１３への結像が歪むことはない。そのため、歪みがない高精度な画像を得ることができる。

また、ハイパースペクトル画像生成装置１では、図１及び図２に示すように、光学系１１及びセンサ１３を基軸部４１に固定して吊り下げ、これらをモータ４７からの駆動力によって一体となって上下移動しながら撮像を行う。
このように光学系１１及びセンサ１３を上から吊り下げて保持することで、下から支持する場合に比べて、重力による位置ずれが生じにくく高精度な撮像が可能になる。また、このような吊り下げ構造にすることで、上方から見やすくなり、容易に手を入れられるため、完成した状態で常に容易に手作業による調整ができる。

本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
上述した実施形態では、上下移動部４３ａ，４３ｂ及びスクリュー歯車４５により、光学系１１及びセンサ１３を上下移動する場合を例示したが、それ以外の機構で上下移動するようにしてもよい。
また、画像生成部１９による画像生成方法は前述したものに限定されない。

また、上述した実施形態では、スリット部３１、レンズ３５及びセンサ１３を同じあ４１に固定した場合を例示したが、異なる部材に固定して吊り下げてもよい。

本発明は、ハイパースペクトル撮像システムに適用可能である。

１…ハイパースペクトル画像生成装置
９…対物レンズ
１１…光学系
１３…センサ
１９…画像生成部
３１…スリット部
３１ａ…スリット
３３…回折格子
３５…レンズ
４３ａ，４３ｂ…上下移動部
４５…スクリュー歯車
４７…モータ
４９…ドライバ

Claims

被写体からの光をハイパースペクトルで規定された複数の波長領域に分光する光学手段と、
前記吊り下げ手段で固定された前記光学手段によって分光された光を前記複数の波長領域毎に受光して受光結果に応じた電気信号を生成するセンサと、
前記光学手段及び前記センサを吊り下げて固定する吊り下げ手段と、
前記吊り下げ手段が移動された複数の位置において前記センサが生成した電気信号に基づいて、２次元画像を前記波長領域毎に生成する画像生成手段と、
を有するハイパースペクトル画像生成装置。
被写体からの光をハイパースペクトルで規定された複数の波長領域に分光する光学手段と、前記光学手段によって分光された光を前記複数の波長領域毎に受光して受光結果に応じた電気信号を生成するセンサとを吊り下げ手段で吊り下げた状態で移動する第１の工程と、
前記第１の工程で前記光学手段及び前記センサを移動する過程で、移動方向の複数の位置において前記センサが生成した電気信号に基づいて、２次元画像を前記波長領域毎に生成する第２の工程と
を有するハイパースペクトル画像生成方法。