JP2015075352A - Hyper-spectral camera and program for hyper-spectral camera - Google Patents

Hyper-spectral camera and program for hyper-spectral camera Download PDF

Info

Publication number
JP2015075352A
JP2015075352A JP2013210093A JP2013210093A JP2015075352A JP 2015075352 A JP2015075352 A JP 2015075352A JP 2013210093 A JP2013210093 A JP 2013210093A JP 2013210093 A JP2013210093 A JP 2013210093A JP 2015075352 A JP2015075352 A JP 2015075352A
Authority
JP
Japan
Prior art keywords
light
subject
scanning mechanism
spectroscope
slit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013210093A
Other languages
Japanese (ja)
Other versions
JP5632060B1 (en
Inventor
佐鳥 新
Arata Satori
新 佐鳥
賢英 青柳
Kenei Aoyagi
賢英 青柳
那知 伊藤
Tomonori Ito
那知 伊藤
善弘 上山
Yoshihiro Ueyama
善弘 上山
佑介 竹内
Yusuke Takeuchi
佑介 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2013210093A priority Critical patent/JP5632060B1/en
Application granted granted Critical
Publication of JP5632060B1 publication Critical patent/JP5632060B1/en
Publication of JP2015075352A publication Critical patent/JP2015075352A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Spectrometry And Color Measurement (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a hyper-spectral camera which can accelerate a scan speed without requiring complex arithmetic processing.SOLUTION: A hyper-spectral camera 1 for acquiring hyper-spectral data associated with spectral information for each pixel constituting a two-dimensional image of a subject by spectrally dividing light from a subject into a plurality of wavelength regions with a spectroscope 6 and making an image pick-up device 7 receive light for each wavelength region, includes: a scan mechanism 3 which reflects light from the subject and scans the reflected light along a prescribed direction; a correction lens 4 which is provided between the scan mechanism 3 and the spectroscope 6 and adjusts the focal position of the light scanned by the scan mechanism 3; and a slit 5 which is arranged on the focal position of the correction lens 4, makes the light incident on the spectroscope 6, and whose longer direction is formed along a direction substantially vertical to the scan direction of the scan mechanism 3.

Description

本発明は、被写体のハイパースペクトルデータを取得するハイパースペクトルカメラに関するものである。   The present invention relates to a hyperspectral camera that acquires hyperspectral data of a subject.

従来、図10に示すような、被写体の2次元画像を構成する各ピクセルごとにスペクトル情報を対応付けてなるハイパースペクトルデータを取得するものとして、例えば、特開2011−89895号公報に記載のハイパースペクトル撮像装置が知られている(特許文献1)。また、特許文献1の従来技術として、スキャン機構によって、回折格子やCCD等を搭載したステージを移動させるステージスキャン方式が開示されている(特許文献1の段落[0058],特許文献1の図12)。   Conventionally, as shown in FIG. 10, hyperspectral data obtained by associating spectral information with each pixel constituting a two-dimensional image of a subject is acquired, for example, as described in JP2011-89895A. A spectral imaging apparatus is known (Patent Document 1). Further, as a conventional technique of Patent Document 1, a stage scanning method is disclosed in which a stage mounted with a diffraction grating, a CCD, or the like is moved by a scanning mechanism (paragraph [0058] of Patent Document 1 and FIG. 12 of Patent Document 1). ).

特開2011−89895号公報JP 2011-89895 A

しかしながら、従来のステージスキャン方式では、回折格子やCCD等を搭載したステージ全体を移動させている。このため、スキャン速度の高速化には限界があり、ハイパースペクトルデータを取得するのに時間がかかるという問題がある。   However, in the conventional stage scanning method, the entire stage on which the diffraction grating, the CCD, etc. are mounted is moved. For this reason, there is a limit to increasing the scanning speed, and there is a problem that it takes time to acquire hyperspectral data.

また、特許文献1に記載された発明においては、スリットを上下動させてスキャニングするため、当該スリットの移動に伴って分光スペクトルの結像位置も移動する。このため、イメージセンサ上のy座標と、投影される波長との対応関係を示す波長テーブルをスリットの移動位置ごとに多数用意する必要がある。しかも、スリットを移動させる度に、波長テーブルを用いてy座標を波長に換算しなければならず、複雑なデータ処理を必要とする。   Further, in the invention described in Patent Document 1, since scanning is performed by moving the slit up and down, the imaging position of the spectral spectrum moves with the movement of the slit. For this reason, it is necessary to prepare a large number of wavelength tables indicating the correspondence between the y coordinate on the image sensor and the projected wavelength for each movement position of the slit. In addition, every time the slit is moved, the y coordinate must be converted into a wavelength using a wavelength table, which requires complicated data processing.

本発明は、このような問題点を解決するためになされたものであって、複雑な演算処理を必要とせずにスキャン速度を高速化することができるハイパースペクトルカメラを提供することを目的としている。   The present invention has been made to solve such problems, and an object of the present invention is to provide a hyperspectral camera that can increase the scanning speed without requiring complicated arithmetic processing. .

本発明に係るハイパースペクトルカメラは、被写体からの光を分光器によって複数の波長領域に分光し、各波長領域ごとの光を撮像素子に受光させることにより、前記被写体の2次元画像を構成する各ピクセルごとにスペクトル情報を対応付けてなるハイパースペクトルデータを取得するハイパースペクトルカメラであって、前記被写体からの光を反射させるとともに、当該反射された光を所定の方向に沿って走査させるスキャン機構と、前記スキャン機構と前記分光器との間に設けられているとともに、前記スキャン機構によって走査された光の焦点位置を調整する補正レンズと、前記補正レンズの焦点位置に配置されて前記分光器に前記光を入射させるとともに、前記スキャン機構の走査方向と略垂直な方向に沿って長手方向が形成されているスリットとを有している。   The hyperspectral camera according to the present invention splits light from a subject into a plurality of wavelength regions by a spectrometer, and causes each imaging region to receive light for each wavelength region, thereby forming each two-dimensional image of the subject. A hyperspectral camera that acquires hyperspectral data in which spectral information is associated with each pixel, and a scanning mechanism that reflects light from the subject and scans the reflected light along a predetermined direction; A correction lens that is provided between the scanning mechanism and the spectroscope, adjusts a focal position of light scanned by the scanning mechanism, and is disposed at the focal position of the correction lens. The light is incident and a longitudinal direction is formed along a direction substantially perpendicular to the scanning direction of the scanning mechanism. And a slit are.

また、本発明の一態様として、前記スキャン機構は、前記光を反射させる反射ミラーと、この反射ミラーを前記スリットの長手方向と略平行な回転軸周りに駆動する回転駆動手段とを有していてもよい。   Further, as one aspect of the present invention, the scanning mechanism includes a reflection mirror that reflects the light, and a rotation driving unit that drives the reflection mirror around a rotation axis that is substantially parallel to the longitudinal direction of the slit. May be.

さらに、本発明の一態様として、前記スキャン機構は、前記被写体の光が最初に入射する対物レンズの焦点位置に設けられたMEMS(Micro Electro Mechanical Systems)ミラーであってもよい。   Furthermore, as one aspect of the present invention, the scanning mechanism may be a MEMS (Micro Electro Mechanical Systems) mirror provided at a focal position of an objective lens on which light of the subject first enters.

また、本発明の一態様として、前記スキャン機構が前記スリットの幅に相当する距離を走査するごとに、外乱光の影響を除去するための外乱光除去用光源を照射する光源制御部と、前記外乱光除去用光源の分光スペクトルを用いて前記スペクトル情報を補正するスペクトル情報補正部とを有していてもよい。   Further, as one aspect of the present invention, each time the scanning mechanism scans a distance corresponding to the width of the slit, a light source control unit that irradiates a disturbance light removing light source for removing the influence of disturbance light, and You may have a spectrum information correction | amendment part which correct | amends the said spectrum information using the spectrum of the light source for disturbance light removal.

さらに、本発明の一態様として、前記撮像素子で得られた前記2次元画像において、前記被写体のエッジ部分を検出するエッジ部分検出部と、前記エッジ部分における光強度の一次微分関数の半値幅を算出する半値幅算出部と、前記半値幅が最小となるように対物レンズを駆動するレンズ駆動部とを有していてもよい。   Furthermore, as one aspect of the present invention, in the two-dimensional image obtained by the imaging device, an edge part detection unit that detects an edge part of the subject, and a half-value width of a first derivative function of light intensity in the edge part You may have the half value width calculation part to calculate, and the lens drive part which drives an objective lens so that the said half value width may become the minimum.

本発明によれば、複雑な演算処理を必要とせずにスキャン速度を高速化することができるハイパースペクトルカメラを実現することができる。   According to the present invention, it is possible to realize a hyperspectral camera capable of increasing the scan speed without requiring complicated arithmetic processing.

本発明に係るハイパースペクトルカメラの一実施形態を示す図である。It is a figure which shows one Embodiment of the hyperspectral camera which concerns on this invention. 本発明に係るハイパースペクトルカメラの他の実施形態を示す図である。It is a figure which shows other embodiment of the hyperspectral camera which concerns on this invention. 本実施形態の記憶手段及び演算処理手段を示すブロック図である。It is a block diagram which shows the memory | storage means and arithmetic processing means of this embodiment. 本実施形態において、光強度の一次微分関数の半値幅を示す図である。In this embodiment, it is a figure which shows the half value width of the primary differential function of light intensity. 本実施形態のハイパースペクトルカメラの動作を示すフローチャート図である。It is a flowchart figure which shows operation | movement of the hyperspectral camera of this embodiment. 本実施例1における撮影画像を示す写真である。2 is a photograph showing a captured image in Example 1. FIG. 本実施例1における反射率の変化を示すグラフである。3 is a graph showing changes in reflectance in Example 1. 本実施例1における正規化植生指数を示すグラフである。It is a graph which shows the normalization vegetation index in the present Example 1. 本実施例2におけるハイパースペクトルカメラの使用例を示す図である。It is a figure which shows the usage example of the hyperspectral camera in the present Example 2. FIG. ハイパースペクトルデータの一例を示す図である。It is a figure which shows an example of hyperspectral data.

以下、本発明に係るハイパースペクトルカメラの一実施形態について図面を用いて説明する。   Hereinafter, an embodiment of a hyperspectral camera according to the present invention will be described with reference to the drawings.

図1に示すように、本実施形態のハイパースペクトルカメラ1は、主として、被写体からの光を受光する対物レンズ2と、この対物レンズ2からの光を所定の方向に沿って走査させるスキャン機構3と、光の焦点位置を調節する補正レンズ4と、スキャンされた光を直線状に絞るスリット5と、このスリット5を透過した光を複数の波長領域に分光する分光器6と、各波長領域ごとの光を受光する撮像素子7と、外乱光の影響を除去する外乱光除去用光源8と、各種のデータ等を記憶する記憶手段9と、各種の演算処理を行う演算処理手段10とから構成されている。以下、各構成について詳細に説明する。   As shown in FIG. 1, the hyperspectral camera 1 of this embodiment mainly includes an objective lens 2 that receives light from a subject, and a scanning mechanism 3 that scans the light from the objective lens 2 along a predetermined direction. A correction lens 4 that adjusts the focal position of the light, a slit 5 that squeezes the scanned light in a straight line, a spectrometer 6 that splits the light transmitted through the slit 5 into a plurality of wavelength regions, and each wavelength region An imaging element 7 that receives each light, a disturbance light removing light source 8 that removes the influence of disturbance light, a storage unit 9 that stores various data, and an arithmetic processing unit 10 that performs various arithmetic processes. It is configured. Hereinafter, each configuration will be described in detail.

対物レンズ2は、被写体からの光を受光し、当該光をスキャン機構3に向けて照射するものである。対物レンズ2は、後述するレンズ駆動部19によって制御されるアクチュエータ(図示せず)によって光軸方向に駆動され、自動的に被写体像を撮像素子7上に合焦させるようになっている。   The objective lens 2 receives light from the subject and irradiates the light toward the scanning mechanism 3. The objective lens 2 is driven in the optical axis direction by an actuator (not shown) controlled by a lens driving unit 19 to be described later, so that the subject image is automatically focused on the image sensor 7.

スキャン機構3は、被写体からの光を反射させるとともに、当該反射された光を所定の方向に沿って走査させるものである。本実施形態において、スキャン機構3は、図1に示すように、対物レンズ2からの光を反射させる反射ミラー31と、この反射ミラー31をスリット5の長手方向と略平行な回転軸周りに駆動する回転駆動手段32とを有している。この回転駆動手段32は、後述する走査制御部11によって制御され、反射ミラー31を回転駆動するようになっている。   The scanning mechanism 3 reflects light from the subject and scans the reflected light along a predetermined direction. In the present embodiment, as shown in FIG. 1, the scanning mechanism 3 drives a reflection mirror 31 that reflects light from the objective lens 2, and drives the reflection mirror 31 around a rotation axis that is substantially parallel to the longitudinal direction of the slit 5. Rotating drive means 32. The rotation driving unit 32 is controlled by the scanning control unit 11 described later, and drives the reflection mirror 31 to rotate.

なお、反射ミラー31および回転駆動手段32は適宜、選択することができる。例えば、反射ミラー31として片面のみに鏡面を有する平面ミラーを選択した場合、回転駆動手段32としてリニアモータや超音波モータ等を採用し、当該平面ミラーを回転軸周りに回転駆動してもよい。また、反射ミラー31として両面に鏡面を有する両面ミラーや、三角柱や六角柱の各面に鏡面を有する多面ミラーを選択した場合、回転駆動手段32としてエンコーダ付きのサーボモータやステッピングモータ等を採用し、多面ミラーを回転軸周りに回転駆動してもよい。   Note that the reflection mirror 31 and the rotation driving means 32 can be appropriately selected. For example, when a plane mirror having a mirror surface only on one side is selected as the reflection mirror 31, a linear motor, an ultrasonic motor, or the like may be adopted as the rotation drive means 32, and the plane mirror may be rotated around the rotation axis. Further, when a double-sided mirror having mirror surfaces on both sides as a reflecting mirror 31 or a multi-sided mirror having mirror surfaces on each surface of a triangular prism or a hexagonal column is selected, a servo motor with an encoder, a stepping motor, or the like is employed as the rotation driving means 32 The polyhedral mirror may be driven to rotate around the rotation axis.

また、本実施形態では、スキャン機構3が機械的に駆動されているが、この構成に限定されるものではなく、電気的に駆動してもよい。例えば、図2に示すように、被写体の光が最初に入射する対物レンズ2の焦点位置にMEMS(Micro Electro Mechanical Systems)ミラー33を設け、ミラー素子を電気的に傾斜させるようにしてもよい。これにより、機械的なスキャン機構3が不要となるため、より一層小型化および軽量化される。なお、MEMSミラー33と分光器6を物理的に近接させられない場合、図2に示すように、MEMSミラー33と分光器6との間にリレーレンズ34を挿入し、クリアランスを確保することが好ましい。   In the present embodiment, the scanning mechanism 3 is mechanically driven, but is not limited to this configuration, and may be electrically driven. For example, as shown in FIG. 2, a MEMS (Micro Electro Mechanical Systems) mirror 33 may be provided at the focal position of the objective lens 2 where the light of the subject first enters, and the mirror element may be electrically tilted. Thereby, since the mechanical scanning mechanism 3 becomes unnecessary, it is further reduced in size and weight. When the MEMS mirror 33 and the spectroscope 6 cannot be physically brought close to each other, as shown in FIG. 2, a relay lens 34 is inserted between the MEMS mirror 33 and the spectroscope 6 to ensure a clearance. preferable.

補正レンズ4は、スキャン機構3と分光器6との間に設けられ、スキャン機構3によって走査された光の焦点位置を調整するものである。本実施形態において、補正レンズ4は、スキャン機構3によって走査された光の焦点位置をスリット5に一致させるようになっている。   The correction lens 4 is provided between the scanning mechanism 3 and the spectroscope 6 and adjusts the focal position of the light scanned by the scanning mechanism 3. In the present embodiment, the correction lens 4 matches the focal position of the light scanned by the scanning mechanism 3 with the slit 5.

スリット5は、図1に示すように、スキャン機構3の走査方向と略垂直な方向に沿って長手方向を有する細長い隙間である。スリット5は、補正レンズ4の焦点位置に配置され、補正レンズ4からの光を略水平な直線状の光に絞って分光器6に入射させるようになっている。なお、本実施形態において、スリット5はスリット板51に形成されており、分光器6の入射部に固定されている。しかしながら、この構成に限定されるものではなく、分光器の筐体前方にスリット5を直接形成するようにしてもよい。   As shown in FIG. 1, the slit 5 is an elongated gap having a longitudinal direction along a direction substantially perpendicular to the scanning direction of the scanning mechanism 3. The slit 5 is disposed at the focal position of the correction lens 4 so that the light from the correction lens 4 is focused on a substantially horizontal linear light and is incident on the spectroscope 6. In the present embodiment, the slit 5 is formed in the slit plate 51 and is fixed to the incident portion of the spectrometer 6. However, the present invention is not limited to this configuration, and the slit 5 may be directly formed in front of the spectroscope housing.

分光器6は、被写体からの光を複数の波長領域に分光するものである。分光器6には、分光光学素子61が設けられており、この分光光学素子61が、例えば可視光から近赤外光までの領域を適用範囲とし、当該領域を複数のバンド(波長領域)に分光する。なお、分光光学素子61は、特に限定されるものではなく、平行な多数の溝を有する回折格子や、入射光をスペクトル分解できるプリズムや光音響素子でもよい。   The spectroscope 6 separates light from a subject into a plurality of wavelength regions. The spectroscope 6 is provided with a spectroscopic optical element 61. The spectroscopic optical element 61 has, for example, a region from visible light to near-infrared light as an application range, and the region covers a plurality of bands (wavelength regions). Spectroscopy. The spectroscopic optical element 61 is not particularly limited, and may be a diffraction grating having a large number of parallel grooves, a prism that can spectrally decompose incident light, or a photoacoustic element.

撮像素子7は、分光器6によって分光された各波長領域ごとの光を結像させ、その像の光による明暗を電荷の量に光電変換し、電気信号として出力するものである。なお、撮像素子7は、特に限定されるものではなく、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサや、CCD(Charge Coupled Device)イメージセンサ等を使用することができる。   The imaging device 7 forms an image of light for each wavelength region dispersed by the spectroscope 6, photoelectrically converts light and darkness of the image light into an amount of electric charge, and outputs it as an electrical signal. The imaging element 7 is not particularly limited, and for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, a CCD (Charge Coupled Device) image sensor, or the like can be used.

外乱光除去用光源8は、被写体の正確な光強度を取得するために、周囲の外乱光の影響を除去するものである。通常、蛍光灯のように、輝線スペクトルを多く含む光源のもとでハイパースペクトルデータを取得した場合、特定の波長しか見えない等の問題が生じる。このため、正確なハイパースペクトルデータを取得するには、光源がスペクトル的に連続的であることが必要とされる。   The disturbance light removing light source 8 removes the influence of ambient disturbance light in order to acquire the accurate light intensity of the subject. Usually, when hyperspectral data is acquired under a light source that has a lot of emission line spectra, such as a fluorescent lamp, there arises a problem that only a specific wavelength is visible. For this reason, to obtain accurate hyperspectral data, the light source needs to be spectrally continuous.

そこで、本実施形態では、光源がスペクトル的に連続的ではない環境下においては、外乱光除去用光源8として、外乱光よりも十分に強い光を照射するストロボやLED等の光源を使用する。以下、外乱光の除去方法について説明する。まず、外乱光(ノイズ)の無い時の被写体からの純粋な光強度I(λ)は、反射率R(λ)と、連続スペクトル光源のスペクトル強度L(λ)とを用いて下記式(1)で表される。
(λ)=R(λ)・L(λ) …式(1)
Therefore, in this embodiment, in an environment where the light source is not spectrally continuous, a light source such as a strobe or LED that emits light sufficiently stronger than the disturbance light is used as the disturbance light removal light source 8. Hereinafter, a method for removing disturbance light will be described. First, pure light intensity I 0 (λ) from a subject when there is no disturbance light (noise) is expressed by the following formula (1) using reflectance R (λ) and spectral intensity L (λ) of a continuous spectrum light source: 1).
I 0 (λ) = R (λ) · L (λ) Formula (1)

しかしながら、例えば、下記式(2)で表される植生の分布状況や活性度を示す指標であるNDVI(Normalized Difference Vegetation Index:正規化植生指数)等は、光源が変わるとL(λ)という重みが変わり、数値が異なるものとなってしまう。
NDVI=(I(λ)−I(λ))/(I(λ)+I(λ))
=(R(λ)・L(λ)−R(λ)・L(λ))
/(R(λ)・L(λ)+R(λ)・L(λ))
=(R(λ)−R(λ)・α) /(R(λ)+R(λ)・α) …式(2)
ここで、α=L(λ)/L(λ
However, for example, NDVI (Normalized Difference Vegetation Index), which is an index indicating the distribution status and activity of vegetation represented by the following formula (2), is weighted as L (λ) when the light source changes. Will change and the numbers will be different.
NDVI = (I 02 ) −I 01 )) / (I 02 ) + I 01 ))
= (R (λ 2 ) · L (λ 2 ) −R (λ 1 ) · L (λ 1 ))
/ (R (λ 2 ) · L (λ 2 ) + R (λ 1 ) · L (λ 1 ))
= (R (λ 2 ) −R (λ 1 ) · α) / (R (λ 2 ) + R (λ 1 ) · α) (2)
Here, α = L (λ 1 ) / L (λ 2 )

一方、外乱光(ノイズ)をN(λ)とすると、撮像素子7が受ける光強度I(λ)は、上記I(λ)を用いて下記式(3)で表される。
I(λ)=I(λ)+N(λ) …式(3)
しかしながら、上記式(3)から導かれるI(λ)=I(λ)−N(λ)という値は一般的に精度が悪い。そこで、本実施形態では、外乱光除去用光源8によってI(λ)≫N(λ)という条件を課すことにより、I(λ)≒I(λ)と見なし、外乱光の影響を排除するようになっている。
On the other hand, when the disturbance light (noise) is N (λ), the light intensity I (λ) received by the image sensor 7 is expressed by the following formula (3) using the above I 0 (λ).
I (λ) = I 0 (λ) + N (λ) (3)
However, the value of I 0 (λ) = I (λ) −N (λ) derived from the above equation (3) is generally inaccurate. Therefore, in the present embodiment, by imposing the condition of I 0 (λ) >> N (λ) by the disturbance light removing light source 8, it is assumed that I (λ) ≈I 0 (λ), and the influence of disturbance light is eliminated. It is supposed to be.

記憶手段9は、各種のデータを記憶するとともに、演算処理手段10が演算処理を行う際のワーキングエリアとして機能するものである。本実施形態において、記憶手段9は、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリ等で構成されており、図3に示すように、プログラム記憶部91と、波長テーブル記憶部92と、分光スペクトル記憶部93とを有している。以下、各構成部についてより詳細に説明する。   The storage unit 9 stores various data and functions as a working area when the arithmetic processing unit 10 performs arithmetic processing. In the present embodiment, the storage means 9 is composed of a ROM (Read Only Memory), a RAM (Random Access Memory), a flash memory, etc. As shown in FIG. 3, a program storage unit 91, a wavelength table storage unit, and the like. 92 and a spectral spectrum storage unit 93. Hereinafter, each component will be described in more detail.

プログラム記憶部91には、本実施形態のハイパースペクトルカメラ1を制御するためのハイパースペクトルカメラ用プログラム1aがインストールされている。そして、演算処理手段10が、当該ハイパースペクトルカメラ用プログラム1aを実行することにより、後述する各構成部として機能するようになっている。   The program storage unit 91 is installed with a hyperspectral camera program 1a for controlling the hyperspectral camera 1 of the present embodiment. And the arithmetic processing means 10 functions as each structure part mentioned later by running the said program 1a for hyperspectral cameras.

波長テーブル記憶部92は、撮像素子7上のy座標(走査方向の座標)に対応する波長を示す波長テーブルを記憶するものである。本実施形態では、スリット5が固定されているとともに、分光器6内部の位置関係が変わらないため、スキャン動作に伴って撮像素子7上に結像される分光スペクトルの結像領域が移動することがない。このため、波長テーブル記憶部92には、スリット5の位置に対応する波長テーブルを一つ用意するだけでよい。   The wavelength table storage unit 92 stores a wavelength table indicating wavelengths corresponding to y-coordinates (coordinates in the scanning direction) on the image sensor 7. In the present embodiment, the slit 5 is fixed, and the positional relationship inside the spectroscope 6 does not change, so that the imaging region of the spectral spectrum formed on the image sensor 7 moves in accordance with the scanning operation. There is no. For this reason, it is only necessary to prepare one wavelength table corresponding to the position of the slit 5 in the wavelength table storage unit 92.

分光スペクトル記憶部93は、外乱光除去用光源8の分光スペクトルを記憶するものである。本実施形態では、ハイパースペクトルデータを取得する前に、予め外乱光除去用光源8の分光スペクトルをハイパースペクトルカメラ1によって測定しておく。そして、後述するスペクトル情報補正部16が、当該分光スペクトルから被写体の分光反射率を算出するようになっている。   The spectral spectrum storage unit 93 stores the spectral spectrum of the disturbance light removing light source 8. In this embodiment, before acquiring hyperspectral data, the spectral spectrum of the disturbance light removing light source 8 is measured in advance by the hyperspectral camera 1. A spectrum information correction unit 16 to be described later calculates the spectral reflectance of the subject from the spectral spectrum.

演算処理手段10は、撮像素子7から取得した電気信号に基づいてハイパースペクトルデータを演算するものである。本実施形態において、演算処理手段10は、CPU(Central Processing Unit)や、FPGA(Field Programmable Gate Array)等で構成されており、記憶手段9にインストールされたハイパースペクトルカメラ用プログラム1aを実行することにより、図3に示すように、走査制御部11と、画像データ取得部12と、スペクトル情報取得部13と、HSD(ハイパースペクトルデータ)取得部14として機能するようになっている。   The arithmetic processing means 10 calculates hyperspectral data based on the electrical signal acquired from the image sensor 7. In the present embodiment, the arithmetic processing means 10 is composed of a CPU (Central Processing Unit), an FPGA (Field Programmable Gate Array), and the like, and executes the hyperspectral camera program 1a installed in the storage means 9. Accordingly, as shown in FIG. 3, the scanning control unit 11, the image data acquisition unit 12, the spectrum information acquisition unit 13, and the HSD (hyperspectral data) acquisition unit 14 function.

また、オプション的機能として、演算処理手段10は、光源制御部15と、スペクトル情報補正部16として機能することにより、外乱光除去機能を実現し、エッジ部分検出部17と、半値幅算出部18と、レンズ駆動部19として機能することにより、オートフォーカス機能を実現するようになっている。以下、各構成部についてより詳細に説明する。   As an optional function, the arithmetic processing means 10 functions as a light source control unit 15 and a spectrum information correction unit 16 to realize a disturbance light removal function, and includes an edge portion detection unit 17 and a half-value width calculation unit 18. By functioning as the lens driving unit 19, an autofocus function is realized. Hereinafter, each component will be described in more detail.

走査制御部11は、スキャン機構3の回転駆動手段32を制御して、反射ミラー31を回転駆動するものである。例えば、回転駆動手段32としてエンコーダ付きのサーボモータを使用する場合、走査制御部11は、エンコーダにより回転角度を検出しながら、パルス信号を出力してモータを駆動制御し、被写体全体を所定方向に走査するようになっている。   The scanning control unit 11 controls the rotational driving means 32 of the scanning mechanism 3 to rotationally drive the reflection mirror 31. For example, when a servo motor with an encoder is used as the rotation driving means 32, the scanning control unit 11 outputs a pulse signal while controlling the rotation angle by the encoder and controls the motor to drive the entire subject in a predetermined direction. It is designed to scan.

画像データ取得部12は、撮像素子7から出力された電気信号に基づいて画像データを取得するものである。本実施形態において、スリット5の長手方向をx方向、当該x方向に垂直な方向をy方向とした場合、スリット5によってx方向に直線状に絞られた光が、分光器6によってy方向に分光されて結像する。このため、画像データ取得部12は、(x,y)成分を有する複数のピクセルからなる2次元画像を取得する。   The image data acquisition unit 12 acquires image data based on the electrical signal output from the image sensor 7. In this embodiment, when the longitudinal direction of the slit 5 is the x direction and the direction perpendicular to the x direction is the y direction, the light that is linearly narrowed in the x direction by the slit 5 is reflected in the y direction by the spectroscope 6. Spectroscopically forms an image. Therefore, the image data acquisition unit 12 acquires a two-dimensional image composed of a plurality of pixels having (x, y) components.

スペクトル情報取得部13は、2次元画像を構成する各ピクセルごとにスペクトル情報を取得するものである。本実施形態において、スペクトル情報取得部13は、画像データ取得部12が取得した2次元画像における各ピクセルの位置(x,y)を算出するとともに、波長テーブル記憶部92内の波長テーブルを参照し、各y座標に対応する波長λを取得するようになっている。   The spectrum information acquisition unit 13 acquires spectrum information for each pixel constituting the two-dimensional image. In the present embodiment, the spectrum information acquisition unit 13 calculates the position (x, y) of each pixel in the two-dimensional image acquired by the image data acquisition unit 12 and refers to the wavelength table in the wavelength table storage unit 92. The wavelength λ corresponding to each y coordinate is acquired.

HSD取得部14は、ハイパースペクトルデータを取得するものである。本実施形態において、HSD取得部14は、画像データ取得部12が取得した2次元画像を構成する各ピクセルの位置(x,y)に、スペクトル情報取得部13が取得した波長λを対応付けることにより、各ピクセルの(x,y,λ)のデータセットであるハイパースペクトルデータを取得するようになっている。   The HSD acquisition unit 14 acquires hyperspectral data. In the present embodiment, the HSD acquisition unit 14 associates the wavelength λ acquired by the spectrum information acquisition unit 13 with the position (x, y) of each pixel constituting the two-dimensional image acquired by the image data acquisition unit 12. Hyperspectral data that is a data set of (x, y, λ) of each pixel is acquired.

光源制御部15は、外乱光除去用光源8の照射を制御するものである。具体的には、光源制御部15は、スリット5を通過した1ライン分の画像データを取得するタイミングに同期させて、すなわち、スキャン機構3がスリット5の幅に相当する距離を走査するごとに、外乱光除去用光源8を照射するように制御する。例えば、回転駆動手段32としてエンコーダ付きのサーボモータを使用する場合、光源制御部15は、走査制御部11からサーボモータへ出力されるパルス信号の積算値を監視し、当該積算値が1ライン分に相当するパルス数になるたびに、外乱光除去用光源8に対してトリガーパルスを出力する。   The light source control unit 15 controls the irradiation of the disturbance light removing light source 8. Specifically, the light source control unit 15 synchronizes with the timing of acquiring image data for one line that has passed through the slit 5, that is, every time the scanning mechanism 3 scans a distance corresponding to the width of the slit 5. Then, control is performed so that the disturbance light source 8 is irradiated. For example, when a servo motor with an encoder is used as the rotation driving means 32, the light source control unit 15 monitors the integrated value of the pulse signal output from the scanning control unit 11 to the servo motor, and the integrated value is equivalent to one line. A trigger pulse is output to the disturbance light removing light source 8 every time the number of pulses is equal to.

スペクトル情報補正部16は、スペクトル情報をより正確な値に補正するものである。本実施形態において、スペクトル情報補正部16は、分光スペクトル記憶部93から外乱光除去用光源8の分光スペクトルを取得し、被写体の分光反射率を算出する。そして、当該分光反射率を用いることにより、各波長ごとに光強度が一定となるようにスペクトル情報を補正する。   The spectrum information correction unit 16 corrects the spectrum information to a more accurate value. In the present embodiment, the spectrum information correction unit 16 acquires the spectral spectrum of the disturbance light removing light source 8 from the spectral spectrum storage unit 93 and calculates the spectral reflectance of the subject. Then, by using the spectral reflectance, the spectral information is corrected so that the light intensity is constant for each wavelength.

エッジ部分検出部17は、撮像素子7で得られた2次元画像において、被写体のエッジ部分を検出するものである。具体的には、エッジ部分検出部17は、2次元画像の明るさが鋭敏にまたは不連続に変化している箇所を特定する。例えば、エッジ部分検出部17は、各ピクセルについて輝度値のラプラシアン(二次微分)を算出し、正と負の境界でゼロとなる位置をエッジとして検出する。なお、エッジの検出方法は、特に限定されるものではなく、キャニー法等を適用してもよい。   The edge part detection unit 17 detects the edge part of the subject in the two-dimensional image obtained by the image sensor 7. Specifically, the edge portion detection unit 17 specifies a portion where the brightness of the two-dimensional image changes sharply or discontinuously. For example, the edge portion detection unit 17 calculates a Laplacian (secondary derivative) of the luminance value for each pixel, and detects a position that becomes zero at the positive / negative boundary as an edge. The edge detection method is not particularly limited, and a canny method or the like may be applied.

なお、本実施形態において、エッジ部分を検出するにあたっては、走査制御部11がスキャン機構3によって被写体を大まかにスキャンし、画像データ取得部12がエッジ検出用の画像データを取得するようになっている。   In the present embodiment, when detecting the edge portion, the scanning control unit 11 roughly scans the subject by the scanning mechanism 3, and the image data acquisition unit 12 acquires the image data for edge detection. Yes.

半値幅算出部18は、2次元画像のエッジ部分における光強度の一次微分関数の半値幅を算出するものである。本実施形態において、半値幅算出部18は、エッジ部分検出部17が検出したエッジ部分において、撮像素子7上に分光された0次回折光の光強度を微分し、図4に示すように、当該一次微分関数における半値幅(ピーク値の半分の値におけるピクセル幅)を算出するようになっている。   The half-value width calculation unit 18 calculates the half-value width of the first derivative function of the light intensity at the edge portion of the two-dimensional image. In the present embodiment, the full width at half maximum calculation unit 18 differentiates the light intensity of the 0th-order diffracted light that has been dispersed on the image sensor 7 at the edge portion detected by the edge portion detection unit 17, and as shown in FIG. The half-value width (pixel width at half the peak value) in the first-order differential function is calculated.

レンズ駆動部19は、被写体にピントが合うように対物レンズ2を駆動するものである。本実施形態において、レンズ駆動部19は、対物レンズ2を駆動しながら半値幅算出部18により算出される半値幅をリアルタイムで取得し、当該半値幅が最小となるように対物レンズ2をフィードバック制御する。   The lens driving unit 19 drives the objective lens 2 so that the subject is in focus. In the present embodiment, the lens driving unit 19 acquires the half-value width calculated by the half-value width calculation unit 18 in real time while driving the objective lens 2, and feedback-controls the objective lens 2 so that the half-value width is minimized. To do.

なお、本実施形態では、分光光学素子61による回折を受けない0次回折光を使用しているが、これに限定されるものではなく、分光スペクトル情報を含む1次回折光を使用してもよい。なお、通常、1次回折光はスペクトル方向に光強度が連続的に変化しているため、ピントが合っているのか否かを確認するのは困難である。しかしながら、本実施形態では、エッジのシャープさを指標としてピントを合わせるため、1次回折光でも問題なく使用することができる。   In the present embodiment, 0th-order diffracted light that is not diffracted by the spectroscopic optical element 61 is used, but the present invention is not limited to this, and 1st-order diffracted light including spectral spectrum information may be used. In general, since the light intensity of the first-order diffracted light continuously changes in the spectral direction, it is difficult to confirm whether or not it is in focus. However, in this embodiment, since the focus is set using the sharpness of the edge as an index, even first-order diffracted light can be used without any problem.

つぎに、本実施形態のハイパースペクトルカメラ1による作用について、図5を用いて説明する。   Next, the operation of the hyperspectral camera 1 of this embodiment will be described with reference to FIG.

まず、本実施形態のハイパースペクトルカメラ1を用いて被写体のハイパースペクトルデータを取得する場合、走査制御部11がスキャン機構3により被写体を低精度でスキャンし(ステップS1)、画像データ取得部12がオートフォーカス用の画像データを取得する(ステップS2)。これは、スキャン精度を下げることで合焦処理速度が向上し、リアルタイムなオートフォーカスを実現するためである。   First, when acquiring hyperspectral data of a subject using the hyperspectral camera 1 of the present embodiment, the scanning control unit 11 scans the subject with low accuracy by the scanning mechanism 3 (step S1), and the image data acquiring unit 12 Image data for autofocus is acquired (step S2). This is because the focus processing speed is improved by lowering the scanning accuracy, and real-time autofocus is realized.

つぎに、エッジ部分検出部17が、ステップS2で得られた画像において、被写体のエッジ部分を検出すると(ステップS3)、半値幅算出部18が当該エッジ部分における光強度の一次微分関数の半値幅を算出する(ステップS4)。そして、レンズ駆動部19が、当該半値幅が最小となるように対物レンズ2をフィードバック制御する(ステップS5)。これにより、別途、オートフォーカス用のカメラ等を用意することなく、オートフォーカスが可能となる。   Next, when the edge portion detection unit 17 detects the edge portion of the subject in the image obtained in step S2 (step S3), the half-value width calculation unit 18 uses the half-value width of the first derivative function of the light intensity at the edge portion. Is calculated (step S4). Then, the lens driving unit 19 performs feedback control of the objective lens 2 so that the half width is minimized (step S5). As a result, it is possible to perform autofocus without preparing an autofocus camera or the like separately.

ステップS5で被写体にピントが合うと、走査制御部11がスキャン機構3をスタートさせる(ステップS6)。このとき、本実施形態では、分光器6の前段における反射ミラー31が、光の視線方向を変更させるため、テレセントリック光学系のフォーカス面がスリット5に対して平行移動することとなり、被写体のスキャニングが可能となる。   When the subject is in focus in step S5, the scanning control unit 11 starts the scanning mechanism 3 (step S6). At this time, in the present embodiment, since the reflection mirror 31 in the front stage of the spectroscope 6 changes the direction of the line of sight of the light, the focus surface of the telecentric optical system moves in parallel with the slit 5, and scanning of the subject is performed. It becomes possible.

また、本実施形態では、従来のステージスキャン方式と異なり、分光器6全体を移動させることがなく、軽量な反射ミラー31のみを回転させるため、スキャニングが高速化される。特に、ハイパースペクトルカメラ1が小型化・軽量化されれば、従来のステージスキャン方式のように分光器6全体を移動させることと比較して、反射ミラー31のみを駆動することの重量的なメリットが大きくなる。   Further, in this embodiment, unlike the conventional stage scanning method, the entire spectroscope 6 is not moved, and only the light reflecting mirror 31 is rotated, so that the scanning speed is increased. In particular, if the hyperspectral camera 1 is reduced in size and weight, the weight advantage of driving only the reflecting mirror 31 compared to moving the entire spectrometer 6 as in the conventional stage scanning method. Becomes larger.

つぎに、光源制御部15が外乱光除去用光源8を照射すると同時に(ステップS7)、画像データ取得部12が画像データを取得する(ステップS8)。このとき、外乱光除去用光源8は、外乱光よりも十分に強い光を照射するため、被写体の光強度における外乱光の影響が除去される。   Next, at the same time when the light source control unit 15 irradiates the disturbance light source 8 (step S7), the image data acquisition unit 12 acquires image data (step S8). At this time, the disturbance light removing light source 8 emits light sufficiently stronger than the disturbance light, so that the influence of the disturbance light on the light intensity of the subject is removed.

つぎに、スペクトル情報取得部13が、ステップS8で得られた2次元画像における各ピクセルの位置(x,y)を算出し、各y座標に対応する波長λを波長テーブル記憶部92から取得する(ステップS9)。このとき、本実施形態では、スリット5を移動させることがないため、分光器6内部の位置関係も変わることがない。このため、波長テーブルをスリット5の移動位置ごとに用意する必要がなく、y座標から波長への換算処理も容易である。   Next, the spectrum information acquisition unit 13 calculates the position (x, y) of each pixel in the two-dimensional image obtained in step S8, and acquires the wavelength λ corresponding to each y coordinate from the wavelength table storage unit 92. (Step S9). At this time, in this embodiment, since the slit 5 is not moved, the positional relationship inside the spectroscope 6 is not changed. For this reason, it is not necessary to prepare a wavelength table for each movement position of the slit 5, and conversion processing from the y coordinate to the wavelength is easy.

また、本実施形態では、スペクトル情報補正部16が、分光スペクトル記憶部93から外乱光除去用光源8の分光スペクトルを取得して分光反射率を算出し、当該分光反射率を用いてスペクトル情報を補正する(ステップS10)。これにより、どのような光源の環境下であっても、より正確なスペクトル情報を得ることができる。   Moreover, in this embodiment, the spectrum information correction | amendment part 16 acquires the spectral spectrum of the light source 8 for disturbance light removal from the spectral spectrum memory | storage part 93, calculates a spectral reflectance, and uses the said spectral reflectance and spectral information is calculated | required. Correction is performed (step S10). Thereby, more accurate spectral information can be obtained under any light source environment.

つづいて、HSD取得部14が、画像データ取得部12により取得された2次元画像を構成する各ピクセルに、スペクトル情報取得部13により取得された波長を対応付け、各ピクセルごとに(x,y,λ)のデータセットであるハイパースペクトルデータを取得する(ステップS11)。これにより、スリット5を透過した被写体画像のうち、1ライン分のハイパースペクトルデータが記憶手段9に蓄積される。   Subsequently, the HSD acquisition unit 14 associates the wavelength acquired by the spectrum information acquisition unit 13 with each pixel constituting the two-dimensional image acquired by the image data acquisition unit 12, and sets (x, y) for each pixel. , Λ) is acquired (step S11). Thereby, hyperspectral data for one line in the subject image that has passed through the slit 5 is accumulated in the storage means 9.

被写体をスキャニングしている間、光源制御部15は、走査制御部11からのパルス信号の積算値が、1ライン分に相当するパルス数になったか否かを監視する(ステップS12)。そして、当該積算値が1ライン分に相当するパルス数になった場合のみ(ステップS12:YES)、走査制御部11が被写体のスキャンが完了したか否かを判断する(ステップS13)。そして、スキャンが完了しない限り(ステップS13:NO)、上述したステップS7〜ステップS12の処理をループする。これにより、被写体に関する完全なハイパースペクトルデータが取得される。   While scanning the subject, the light source control unit 15 monitors whether or not the integrated value of the pulse signal from the scanning control unit 11 has reached the number of pulses corresponding to one line (step S12). Then, only when the integrated value becomes the number of pulses corresponding to one line (step S12: YES), the scanning control unit 11 determines whether or not the scanning of the subject is completed (step S13). Then, as long as the scan is not completed (step S13: NO), the processing of step S7 to step S12 described above is looped. Thereby, complete hyperspectral data regarding the subject is acquired.

以上のような本実施形態によれば、以下のような効果を奏する。
1.分光器6全体を動かすことなく反射ミラー31の回転のみで走査でき、スキャン速度を高速化することができる。
2.分光器6内部の位置関係が変わらないため、スペクトル情報を取得する演算処理を簡素化することができる。
3.外乱光の影響を除去し、正確なハイパースペクトルデータを取得することができる。
4.0次回折光のみならず、1次回折光を使用してもオートフォーカス機能を実現することができる。
5.スキャン機構3の小型化・軽量化により、携帯端末や工業用ロボット等への組み込みが可能な超小型ハイパースペクトルカメラ1モジュールを実現することができる。
6.ハイパースペクトルデータをデジタルカメラ画像と融合させることにより、野菜の鮮度や職人の目など、普通の人には目に見えない現象を可視化・数値化することができる。
することができる。
According to the present embodiment as described above, the following effects can be obtained.
1. Scanning can be performed only by rotating the reflection mirror 31 without moving the entire spectroscope 6, and the scanning speed can be increased.
2. Since the positional relationship inside the spectroscope 6 does not change, the arithmetic processing for acquiring the spectrum information can be simplified.
3. The influence of disturbance light can be removed and accurate hyperspectral data can be acquired.
The autofocus function can be realized using not only the 4.0th-order diffracted light but also the first-order diffracted light.
5. By making the scanning mechanism 3 smaller and lighter, it is possible to realize an ultra-small hyperspectral camera 1 module that can be incorporated into a portable terminal, an industrial robot, or the like.
6). By fusing hyperspectral data with digital camera images, phenomena that are invisible to ordinary people, such as freshness of vegetables and the eyes of craftsmen, can be visualized and digitized.
can do.

つぎに、本発明に係るハイパースペクトルカメラ1の具体的な実施例について説明する。なお、本発明の技術的範囲は、以下の各実施例によって示される特徴に限定されるものではない。   Next, specific examples of the hyperspectral camera 1 according to the present invention will be described. Note that the technical scope of the present invention is not limited to the features shown by the following embodiments.

本実施例1では、ハイパースペクトルカメラ1を用いて葉物野菜を撮影し、その鮮度を測定する実験を行った。具体的には、ほうれん草に250Wのハロゲンランプを10時間あて続け鮮度を劣化させつつ、1時間ごとにハイパースペクトルカメラ1で撮影し反射スペクトルを計測した。このときのハイパースペクトルカメラ1およびデジタルカメラの撮影画像を図6に示し、各波長における反射率の変化を図7にす。   In Example 1, an experiment was performed in which a leafy vegetable was photographed using the hyperspectral camera 1 and its freshness was measured. Specifically, a 250 W halogen lamp was applied to spinach for 10 hours and the freshness was deteriorated, and the reflection spectrum was measured with the hyperspectral camera 1 every hour. The captured images of the hyperspectral camera 1 and the digital camera at this time are shown in FIG. 6, and the change in reflectance at each wavelength is shown in FIG.

図6および図7に示すように、時間の経過に伴って、緑色(495〜570nm)に対する赤色(620〜750nm)の比率が大きくなるため、見た目の色は徐々に黄色く枯れていくことがわかる。また、葉緑素(クロロフィル)の吸収帯(680nm)では、時間の経過に伴って反射率が増大している。すなわち、光合成に必要な光の吸収量が減少しているといえるから、光合成能力が低下しているといえる。   As shown in FIGS. 6 and 7, the ratio of red (620 to 750 nm) to green (495 to 570 nm) increases with the passage of time, so it can be seen that the apparent color gradually fades to yellow. . In the absorption band (680 nm) of chlorophyll (chlorophyll), the reflectance increases with time. That is, since it can be said that the amount of light absorption necessary for photosynthesis is decreasing, it can be said that the photosynthesis capability is reduced.

また、葉物野菜は、赤領域の波長(R)を吸収し、近赤外波長領域(IR)を反射する特性がある。これは植物の葉に含まれるクロロフィルが関係している。これら2つの波長域を上述したNDVI(正規化植生指数)に適用することにより、植生の分布状況や活性度を示す指数NDVI[=(IR−R)/(IR+R)]が得られる。本実施例1において、時間経過に伴うNDVI値のグラフを図7に示す。   Leafy vegetables have the property of absorbing the wavelength (R) in the red region and reflecting the near-infrared wavelength region (IR). This is related to chlorophyll contained in the leaves of plants. By applying these two wavelength ranges to the above-described NDVI (normalized vegetation index), an index NDVI [= (IR−R) / (IR + R)] indicating the vegetation distribution state and activity is obtained. In the present Example 1, the graph of the NDVI value with time passage is shown in FIG.

図8に示すとおり、葉物野菜のNDVIは、上下に変動しながらも時間経過とともに平均的に減少し、ある臨界点(=NDVImin)から急激に減少するという傾向を示す。このため、NDVImin以下では植物としての生命活動を停止することになる。また、植物としてとりうるNDVIの最大値をNDVImaxとすると、葉物野菜の鮮度値は下記式(4)で表すことができる。 As shown in FIG. 8, the NDVI of leafy vegetables shows a tendency to averagely decrease over time while fluctuating up and down, and to rapidly decrease from a certain critical point (= NDVI min ). For this reason, below NDVI min , the life activity as a plant will be stopped. When the maximum value of NDVI that can be taken as a plant is NDVI max , the freshness value of leafy vegetables can be expressed by the following formula (4).

鮮度値=[(NDVI−NDVImin)/(NDVImax−NDVImin)]×100 …式(4)
ただし、NDVImaxおよびNDVIminは葉物野菜の種類に依存し、個別に決める必要がある。様々な葉物野菜などを計測することで、専用の鮮度値を作り出すことができる。
Freshness value = [(NDVI−NDVI min ) / (NDVI max −NDVI min )] × 100 Equation (4)
However, NDVI max and NDVI min depend on the type of leafy vegetable and must be determined individually. By measuring various leafy vegetables, a dedicated freshness value can be created.

以上の本実施例1により、本発明に係るハイパースペクトルカメラ1によれば、葉物野菜の鮮度を可視化および数値化できることが示された。   From the above Example 1, it was shown that the hyperspectral camera 1 according to the present invention can visualize and digitize the freshness of leafy vegetables.

本実施例2では、ハイパースペクトルカメラ1を携帯端末に搭載する一方、解析処理については別途、解析センターで実行させた。具体的には、上述した波長テーブル記憶部92、スペクトル情報取得部13およびHSD取得部14を解析センター側に設けた。具体的な使用方法としては、図9に示すように、携帯端末に解析センターから解析用アプリをダウンロードし、ハイパースペクトルカメラ1で被写体を撮影する。   In the second embodiment, the hyperspectral camera 1 is mounted on a portable terminal, while the analysis processing is separately performed at the analysis center. Specifically, the wavelength table storage unit 92, the spectrum information acquisition unit 13, and the HSD acquisition unit 14 described above are provided on the analysis center side. As a specific usage method, as shown in FIG. 9, the analysis application is downloaded from the analysis center to the mobile terminal, and the subject is photographed by the hyperspectral camera 1.

これにより、解析用アプリがバンドを選択し、当該バンドに対応するデータを解析センターへ送信して解析させ、解析結果としてスペクトル画像を解析センターから受信し、当該スペクトル画像をデジタルカメラ画像と融合させ、当該融合結果を表示する、という一連の処理を自動で実行するようになっている。   As a result, the analysis application selects a band, transmits data corresponding to the band to the analysis center for analysis, receives a spectrum image from the analysis center as an analysis result, and fuses the spectrum image with the digital camera image. A series of processes for displaying the fusion result is automatically executed.

以上の本実施例2によれば、演算処理能力の弱い携帯端末であっても、演算処理が必要な解析部分を解析センタに行わせることにより、本発明に係るハイパースペクトルカメラ1を組み込めることが示された。   According to the second embodiment described above, it is possible to incorporate the hyperspectral camera 1 according to the present invention by causing the analysis center to perform an analysis part that requires arithmetic processing even in a portable terminal having weak arithmetic processing capability. Indicated.

なお、本発明に係るハイパースペクトルカメラ1は、前述した実施例に限定されるものではなく、以下に示すとおり、様々な分野への適用が見込まれる。
(1)医療分野への応用(悪性腫瘍の可視化等)
(2)リモートセンシング分野への応用(ヘリコプターからの植生の観察等)
(3)バイオ分野への応用(顕微鏡との接続による観察等)
(4)工業分野への応用(電子回路の配線チェック等)
(5)食品分野への応用(肉や魚の鮮度の可視化等)
(6)化粧品分野への応用(顔のシミや肌水分量の可視化等)
(7)セキュリティ分野への応用(侵入者の検知等)
(8)農業分野への応用(生育状況のモニタリング、開花時期・収穫時期の予測等)
(9)工業分野への応用(POSシステムとの連動による検品、異物・疲労検査等)
Note that the hyperspectral camera 1 according to the present invention is not limited to the above-described embodiments, and is expected to be applied to various fields as described below.
(1) Application to the medical field (visualization of malignant tumors, etc.)
(2) Application in the field of remote sensing (observation of vegetation from helicopters, etc.)
(3) Application in the bio field (observation through connection with a microscope, etc.)
(4) Application to the industrial field (electronic circuit wiring check, etc.)
(5) Application to food field (visualization of freshness of meat and fish)
(6) Application in the cosmetics field (facial stains, visualization of skin moisture, etc.)
(7) Application in the security field (detection of intruders, etc.)
(8) Application to agriculture (growth monitoring, flowering / harvest time prediction, etc.)
(9) Application to the industrial field (inspection in conjunction with POS system, foreign matter / fatigue inspection, etc.)

1 ハイパースペクトルカメラ
1a ハイパースペクトルカメラ用プログラム
2 対物レンズ
3 スキャン機構
4 補正レンズ
5 スリット
6 分光器
7 撮像素子
8 外乱光除去用光源
9 記憶手段
10 演算処理手段
11 走査制御部
12 画像データ取得部
13 スペクトル情報取得部
14 HSD取得部
15 光源制御部
16 スペクトル情報補正部
17 エッジ部分検出部
18 半値幅算出部
19 レンズ駆動部
31 反射ミラー
32 回転駆動手段
33 MEMSミラー
34 リレーレンズ
61 分光光学素子
91 プログラム記憶部
92 波長テーブル記憶部
93 分光スペクトル記憶部
DESCRIPTION OF SYMBOLS 1 Hyperspectral camera 1a Hyperspectral camera program 2 Objective lens 3 Scan mechanism 4 Correction lens 5 Slit 6 Spectroscope 7 Imaging device 8 Light source for disturbance light removal 9 Storage means 10 Arithmetic processing means 11 Scan control part 12 Image data acquisition part 13 Spectral information acquisition unit 14 HSD acquisition unit 15 Light source control unit 16 Spectral information correction unit 17 Edge portion detection unit 18 Half width calculation unit 19 Lens drive unit 31 Reflection mirror 32 Rotation drive unit 33 MEMS mirror 34 Relay lens 61 Spectral optical element 91 Program Storage unit 92 Wavelength table storage unit 93 Spectral spectrum storage unit

Claims (5)

被写体からの光を分光器によって複数の波長領域に分光し、各波長領域ごとの光を撮像素子に受光させることにより、前記被写体の2次元画像を構成する各ピクセルごとにスペクトル情報を対応付けてなるハイパースペクトルデータを取得するハイパースペクトルカメラであって、
前記被写体からの光を反射させるとともに、当該反射された光を所定の方向に沿って走査させるスキャン機構と、
前記スキャン機構と前記分光器との間に設けられているとともに、前記スキャン機構によって走査された光の焦点位置を調整する補正レンズと、
前記補正レンズの焦点位置に配置されて前記分光器に前記光を入射させるとともに、前記スキャン機構の走査方向と略垂直な方向に沿って長手方向が形成されているスリットと
を有しているハイパースペクトルカメラ。
Spectral information is associated with each pixel constituting the two-dimensional image of the subject by dispersing the light from the subject into a plurality of wavelength regions by a spectroscope and causing the image sensor to receive light for each wavelength region. A hyperspectral camera that acquires hyperspectral data
A scanning mechanism that reflects light from the subject and scans the reflected light along a predetermined direction;
A correction lens that is provided between the scanning mechanism and the spectroscope and adjusts the focal position of the light scanned by the scanning mechanism;
And a hyper slit that is disposed at the focal position of the correction lens and causes the light to enter the spectroscope and has a longitudinal direction formed in a direction substantially perpendicular to the scanning direction of the scanning mechanism. Spectrum camera.
前記スキャン機構は、前記光を反射させる反射ミラーと、この反射ミラーを前記スリットの長手方向と略平行な回転軸周りに駆動する回転駆動手段とを有している請求項1に記載のハイパースペクトルカメラ。   2. The hyperspectrum according to claim 1, wherein the scanning mechanism includes a reflection mirror that reflects the light, and a rotation driving unit that drives the reflection mirror around a rotation axis substantially parallel to a longitudinal direction of the slit. camera. 前記スキャン機構は、前記被写体の光が最初に入射する対物レンズの焦点位置に設けられたMEMS(Micro Electro Mechanical Systems)ミラーである請求項1に記載のハイパースペクトルカメラ。   2. The hyperspectral camera according to claim 1, wherein the scanning mechanism is a micro electro mechanical systems (MEMS) mirror provided at a focal position of an objective lens on which light of the subject first enters. 3. 前記スキャン機構が前記スリットの幅に相当する距離を走査するごとに、外乱光の影響を除去するための外乱光除去用光源を照射する光源制御部と、
前記外乱光除去用光源の分光スペクトルを用いて前記スペクトル情報を補正するスペクトル情報補正部と
を有する請求項1から請求項3のいずれかに記載のハイパースペクトルカメラ。
A light source controller that irradiates a disturbance light removing light source for removing the influence of disturbance light every time the scanning mechanism scans a distance corresponding to the width of the slit;
The hyperspectral camera according to any one of claims 1 to 3, further comprising: a spectrum information correction unit that corrects the spectrum information using a spectrum of the disturbance light removing light source.
前記撮像素子で得られた前記2次元画像において、前記被写体のエッジ部分を検出するエッジ部分検出部と、
前記エッジ部分における光強度の一次微分関数の半値幅を算出する半値幅算出部と、
前記半値幅が最小となるように対物レンズを駆動するレンズ駆動部と
を有する請求項1から請求項4のいずれかに記載のハイパースペクトルカメラ。
An edge part detection unit for detecting an edge part of the subject in the two-dimensional image obtained by the imaging device;
A full width at half maximum for calculating a full width at half maximum of a first derivative function of light intensity at the edge portion;
The hyperspectral camera according to claim 1, further comprising: a lens driving unit that drives the objective lens so that the half-width is minimized.
JP2013210093A 2013-10-07 2013-10-07 Hyperspectral camera and hyperspectral camera program Active JP5632060B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013210093A JP5632060B1 (en) 2013-10-07 2013-10-07 Hyperspectral camera and hyperspectral camera program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013210093A JP5632060B1 (en) 2013-10-07 2013-10-07 Hyperspectral camera and hyperspectral camera program

Publications (2)

Publication Number Publication Date
JP5632060B1 JP5632060B1 (en) 2014-11-26
JP2015075352A true JP2015075352A (en) 2015-04-20

Family

ID=52145010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013210093A Active JP5632060B1 (en) 2013-10-07 2013-10-07 Hyperspectral camera and hyperspectral camera program

Country Status (1)

Country Link
JP (1) JP5632060B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018072314A (en) * 2016-07-15 2018-05-10 アイメック・ヴェーゼットウェーImec Vzw Method and device for acquiring images having two-dimensional spatial resolution and spectral resolution
CN108323182A (en) * 2018-01-02 2018-07-24 深圳达闼科技控股有限公司 A kind of spectral measurement system
CN110266917A (en) * 2019-05-30 2019-09-20 华为技术有限公司 A kind of imaging device
JPWO2021132630A1 (en) * 2019-12-27 2021-07-01
JP2021123897A (en) * 2020-02-03 2021-08-30 株式会社安藤・間 Floor concrete mirror finishing device and mirror finishing method
CN113970548A (en) * 2021-09-09 2022-01-25 联宝(合肥)电子科技有限公司 Scanning device and visual detection system
JP7555356B2 (en) 2019-12-27 2024-09-24 富士フイルム株式会社 Hyperspectral sensor, hyperspectral camera

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107741273B (en) * 2017-10-13 2023-05-05 中国科学院上海技术物理研究所 Wide-width wide-spectrum long-wave infrared hyperspectral imaging system based on line detector
CN112258560B (en) * 2020-11-04 2024-02-06 深圳市海谱纳米光学科技有限公司 Method and device for acquiring hyperspectral image of object
CN114878094B (en) * 2022-04-28 2023-05-12 西安交通大学 Multispectral excitation oil mark imaging device and detection method

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6394212A (en) * 1986-10-08 1988-04-25 Canon Inc Focusing detecting device
US5420681A (en) * 1993-08-03 1995-05-30 Ball Corporation Modular multiple spectral imager and spectral imager
JPH11164100A (en) * 1997-11-27 1999-06-18 Fuji Photo Film Co Ltd Image reader
JP2000227360A (en) * 1999-02-08 2000-08-15 Shimadzu Corp Spectrophotometer
JP2001109840A (en) * 1999-09-22 2001-04-20 Eastman Kodak Co Device and method for reading coded pattern
JP2004515778A (en) * 2000-10-30 2004-05-27 モンサント テクノロジー エルエルシー Method and apparatus for analyzing crops
US20060017924A1 (en) * 2004-07-22 2006-01-26 Kowarz Marek W Programmable spectral imaging system
JP2007179002A (en) * 2005-12-02 2007-07-12 Nano Photon Kk Optical microscope and method of measuring spectrum
JP2007298278A (en) * 2006-04-27 2007-11-15 Sony Corp Display inspection system
JP2008275477A (en) * 2007-04-27 2008-11-13 Tokyo Institute Of Technology Region extraction device and method
JP2009538697A (en) * 2006-05-31 2009-11-12 インディアナ・ユニバーシティ・リサーチ・アンド・テクノロジー・コーポレーション Laser scanning digital camera with simple optical system and multiple scattered light imaging function
JP2010060548A (en) * 2008-09-03 2010-03-18 National Central Univ Hyper-spectral scanning device and method for the same
US20100238440A1 (en) * 2009-03-17 2010-09-23 Bae Systems Information And Electronic Systems Integration, Inc. (Delaware Corp.) Airborne hyperspectral imaging system
JP2012047502A (en) * 2010-08-24 2012-03-08 Ebara Jitsugyo Co Ltd Spectroscopic image acquisition device and method
WO2012115793A1 (en) * 2011-02-23 2012-08-30 Corning Incorporated Optical homogenizing elements to reduce spectral noise in hyperspectral imaging system

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6394212A (en) * 1986-10-08 1988-04-25 Canon Inc Focusing detecting device
US5420681A (en) * 1993-08-03 1995-05-30 Ball Corporation Modular multiple spectral imager and spectral imager
JPH11164100A (en) * 1997-11-27 1999-06-18 Fuji Photo Film Co Ltd Image reader
JP2000227360A (en) * 1999-02-08 2000-08-15 Shimadzu Corp Spectrophotometer
JP2001109840A (en) * 1999-09-22 2001-04-20 Eastman Kodak Co Device and method for reading coded pattern
JP2004515778A (en) * 2000-10-30 2004-05-27 モンサント テクノロジー エルエルシー Method and apparatus for analyzing crops
US20060017924A1 (en) * 2004-07-22 2006-01-26 Kowarz Marek W Programmable spectral imaging system
JP2007179002A (en) * 2005-12-02 2007-07-12 Nano Photon Kk Optical microscope and method of measuring spectrum
JP2007298278A (en) * 2006-04-27 2007-11-15 Sony Corp Display inspection system
JP2009538697A (en) * 2006-05-31 2009-11-12 インディアナ・ユニバーシティ・リサーチ・アンド・テクノロジー・コーポレーション Laser scanning digital camera with simple optical system and multiple scattered light imaging function
JP2008275477A (en) * 2007-04-27 2008-11-13 Tokyo Institute Of Technology Region extraction device and method
JP2010060548A (en) * 2008-09-03 2010-03-18 National Central Univ Hyper-spectral scanning device and method for the same
US20100238440A1 (en) * 2009-03-17 2010-09-23 Bae Systems Information And Electronic Systems Integration, Inc. (Delaware Corp.) Airborne hyperspectral imaging system
JP2012047502A (en) * 2010-08-24 2012-03-08 Ebara Jitsugyo Co Ltd Spectroscopic image acquisition device and method
WO2012115793A1 (en) * 2011-02-23 2012-08-30 Corning Incorporated Optical homogenizing elements to reduce spectral noise in hyperspectral imaging system

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018072314A (en) * 2016-07-15 2018-05-10 アイメック・ヴェーゼットウェーImec Vzw Method and device for acquiring images having two-dimensional spatial resolution and spectral resolution
CN108323182A (en) * 2018-01-02 2018-07-24 深圳达闼科技控股有限公司 A kind of spectral measurement system
CN110266917A (en) * 2019-05-30 2019-09-20 华为技术有限公司 A kind of imaging device
JPWO2021132630A1 (en) * 2019-12-27 2021-07-01
WO2021132630A1 (en) * 2019-12-27 2021-07-01 富士フイルム株式会社 Hyper-spectral sensor and hyper-spectral camera
JP7555356B2 (en) 2019-12-27 2024-09-24 富士フイルム株式会社 Hyperspectral sensor, hyperspectral camera
US12098951B2 (en) 2019-12-27 2024-09-24 Fujifilm Corporation Hyperspectral sensor and hyperspectral camera
JP2021123897A (en) * 2020-02-03 2021-08-30 株式会社安藤・間 Floor concrete mirror finishing device and mirror finishing method
JP7461704B2 (en) 2020-02-03 2024-04-04 株式会社安藤・間 Concrete floor mirror finishing device and method
CN113970548A (en) * 2021-09-09 2022-01-25 联宝(合肥)电子科技有限公司 Scanning device and visual detection system
CN113970548B (en) * 2021-09-09 2023-09-01 联宝(合肥)电子科技有限公司 Scanning device and vision detection system

Also Published As

Publication number Publication date
JP5632060B1 (en) 2014-11-26

Similar Documents

Publication Publication Date Title
JP5632060B1 (en) Hyperspectral camera and hyperspectral camera program
US10168215B2 (en) Color measurement apparatus and color information processing apparatus
CN109863377B (en) Device for measuring spectra
CN106908146B (en) Spectrometer module
DE102014226342B4 (en) Thermal camera
JP6322939B2 (en) Imaging system and color inspection system
US20230213386A1 (en) Imaging device with spectrometer and methods for use therewith
US20080144013A1 (en) System and method for co-registered hyperspectral imaging
US10063785B2 (en) Colorimetry method, colorimetry device, spectral measurement method, spectral measurement device and electronic apparatus
US20170195586A1 (en) User device
Monsalve et al. Characterization of a multispectral imaging system based on narrow bandwidth power LEDs
US20220299369A1 (en) System, Method and Apparatus for Wide Wavelength Range Imaging with Focus and Image Correction
JP2005351871A (en) Object information input system and object information generating system
CA2957004A1 (en) Microscope
KR101656879B1 (en) Apparatus and method for measuring optical characteristics
JP4672498B2 (en) Concrete degradation factor detection method and detection apparatus
JP4904377B2 (en) Hyperspectral image processing apparatus and hyperspectral image processing method
JP5246798B2 (en) Biological tissue identification apparatus and method
EP3184977B1 (en) User device
JP5812735B2 (en) Spectral imaging device
JP4400450B2 (en) Stray light correction method and two-dimensional spectral luminance meter using the same
JP7284457B2 (en) Quantum efficiency distribution acquisition method, quantum efficiency distribution display method, quantum efficiency distribution acquisition program, quantum efficiency distribution display program, spectrofluorophotometer and display device
WO2015133475A1 (en) Microscope device and analysis method
Pekkala Characterizing the Spectral Responsivity of a Hyperspectral Camera
WO2024155636A1 (en) Fourier transform spectrometer

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141008

R150 Certificate of patent or registration of utility model

Ref document number: 5632060

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R255 Notification that request for automated payment was rejected

Free format text: JAPANESE INTERMEDIATE CODE: R2525

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250