JP2001165775A - Spectrum image sensor - Google Patents

Spectrum image sensor

Info

Publication number
JP2001165775A
JP2001165775A JP34831099A JP34831099A JP2001165775A JP 2001165775 A JP2001165775 A JP 2001165775A JP 34831099 A JP34831099 A JP 34831099A JP 34831099 A JP34831099 A JP 34831099A JP 2001165775 A JP2001165775 A JP 2001165775A
Authority
JP
Japan
Prior art keywords
image sensor
image
filter
optical
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP34831099A
Other languages
Japanese (ja)
Inventor
Tetsuya Nagashima
哲也 長島
Masanori Okuyama
雅則 奥山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hochiki Corp
Original Assignee
Hochiki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hochiki Corp filed Critical Hochiki Corp
Priority to JP34831099A priority Critical patent/JP2001165775A/en
Publication of JP2001165775A publication Critical patent/JP2001165775A/en
Pending legal-status Critical Current

Links

Landscapes

  • Spectrometry And Color Measurement (AREA)

Abstract

PROBLEM TO BE SOLVED: To create a correct differential spectrum image without being affected by the movements of a subject, illumination, etc. SOLUTION: Real images divided into two onto an image pickup element 4 such as a CCD are simultaneously formed by an optical system 2. An optical filter 3 with regions 3a and 3b of different transmission spectral characteristics different from each other is arranged in the optical system 2 to form spectrum images A and B on the image pickup element 4. Differential values between pixels at the corresponding locations of the spectrum images A and B are extracted to create the differential spectrum image of a subject.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、複数のスペクトル
画像の相対する位置の差分をとることで監視対象の微分
スペクトル画像を生成して異常等を判断するスペクトル
イメージセンサに関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a spectral image sensor for generating a differential spectrum image to be monitored by calculating a difference between positions of a plurality of spectral images and determining an abnormality or the like.

【0002】[0002]

【従来の技術】近年、種々のスペクトルイメージングが
高度情報認識に非常に有効であることが注目されてい
る。特に、医学、生物学、リモートセンジング、食品の
品質管理、火災監視等のさまざまな分野で、簡便に高度
な分光解析が二次元画像として行える分光画像処理技術
が求められている。
2. Description of the Related Art In recent years, it has been noted that various kinds of spectral imaging are very effective for advanced information recognition. In particular, in various fields such as medicine, biology, remote sending, food quality control, and fire monitoring, there is a demand for a spectral image processing technology that can easily perform advanced spectral analysis as a two-dimensional image.

【0003】これまで開発された分光画像処理技術とし
ては、液晶フィルタを用いた高空間分解能カラーカメラ
や分光器一体型マルチスペクトルカメラ、またフーリエ
変換型マルチスペクトルイメージング等があるしかし、
これらは光学系の超精密制御が必要である、スペクトル
の整合に手間がかかる、空間分解能が悪い、装置が大き
すぎる等の問題点があり、この問題を解決する微分スペ
クトルイメージセンサを本願発明者等は提案している。
The spectral image processing techniques developed so far include a high spatial resolution color camera using a liquid crystal filter, a multispectral camera integrated with a spectroscope, and a Fourier transform type multispectral imaging.
These have the problems that ultra-precision control of the optical system is required, it takes time to match the spectrum, the spatial resolution is poor, the device is too large, and the like. Etc. have proposed.

【0004】この微分スペクトルイメージセンサは、分
光透過率を変化させることのできる波長可変干渉フィル
タ(特開平8−285688号)とカラーCCDカメラ
及びコンピュータからなり、波長可変干渉フィルタによ
り得られる複数の狭帯域スペクトル特性を周期的に変化
させ、変化前と変化後の狭帯域スペクトル画像の差分を
とる画像間演算をすることにより、微分スペクトル画像
を簡単且つ迅速に得ることができる。
This differential spectrum image sensor comprises a wavelength variable interference filter (Japanese Patent Laid-Open No. 8-285688) capable of changing the spectral transmittance, a color CCD camera and a computer, and a plurality of narrow wavelength filters obtained by the wavelength variable interference filter. A differential spectrum image can be obtained easily and quickly by changing the band spectrum characteristic periodically and performing an inter-image operation that takes the difference between the narrow band spectrum image before and after the change.

【0005】[0005]

【発明が解決しようとする課題】しかしながら、この微
分スペクトルイメージセンサでは、被写対象が高速で移
動したり、照明が高周波的に変化したりすると、波長可
変干渉フィルタの特性を周期的に変化させる間に被写対
象の位置や明度が変化してしまい、正しいスペクトル画
像が取得できないという問題があった。
However, in this differential spectrum image sensor, when the object moves at a high speed or the illumination changes at a high frequency, the characteristics of the wavelength variable interference filter are periodically changed. In the meantime, the position and brightness of the subject change, and there is a problem that a correct spectral image cannot be obtained.

【0006】本発明は、被写対象の移動や、照明等の影
響を受けることなく、正しい微分スペクトルイメージを
得ることができるスペクトルイメージセンサを提供する
ことを目的とする。
SUMMARY OF THE INVENTION It is an object of the present invention to provide a spectrum image sensor capable of obtaining a correct differential spectrum image without being affected by movement of a subject or illumination.

【0007】[0007]

【課題を解決するための手段】この目的を達成するため
本発明は、次のように構成する。本発明のスペクトルイ
メージセンサは、1つの撮像素子と、撮像素子上に複数
個に分割された実像を結像させる光学系と、この光学系
により分割される実像の結像系に配置されて各々異なる
透過スペクトル特性をもつ光学フィルタと、撮像素子で
同時に撮像した複数のスペクトル画像から、相対する位
置の画素間の差分値をとることで、被写対象の微分スペ
クトル画像を生成する差分画像生成部とを備えたことを
特徴とする。
In order to achieve this object, the present invention is configured as follows. The spectral image sensor of the present invention is arranged on one image sensor, an optical system for forming a plurality of real images on the image sensor, and a real image forming system split by the optical system. A difference image generation unit that generates a differential spectrum image of a subject by taking a difference value between pixels at opposing positions from an optical filter having different transmission spectrum characteristics and a plurality of spectrum images simultaneously imaged by an image sensor. And characterized in that:

【0008】このような本発明のイメージスペクトルセ
ンサによれば、撮像素子上に同時に異なるスペクトル特
性をもつ複数の画像が結像されており、微分画像を生成
するために差分をとる元の画像に時間的なずれがなく、
被写対象が高速で移動したり、照明が変化しても、常に
正しい微分スペクトル画像を取得することができる。同
時に、画像処理系の演算速度が遅くても、正しい微分ス
ペクトル画像が得られる。
According to such an image spectrum sensor of the present invention, a plurality of images having different spectral characteristics are formed on the image sensor at the same time. There is no time lag,
Even if the subject moves at a high speed or the illumination changes, a correct differential spectrum image can always be obtained. At the same time, a correct differential spectrum image can be obtained even if the operation speed of the image processing system is low.

【0009】ここでスペクトルイメージセンサの光学系
は、撮像素子上に複数個に分割された実像を結像させる
複数の光軸を持つレンズ系で構成される。
Here, the optical system of the spectrum image sensor is composed of a lens system having a plurality of optical axes for forming a plurality of divided real images on an image sensor.

【0010】またスペクトルイメージセンサの光学系し
て、撮像素子の前方に配置され、撮像素子に複数個に分
割された実像を結像させるビームスプリッターを設けて
もよい。
The optical system of the spectrum image sensor may be provided with a beam splitter which is disposed in front of the image sensor and forms a plurality of divided real images on the image sensor.

【0011】更に、スペクトルイメージセンサの光学系
及び光学フィルタとして、撮像素子上を複数分割した微
小領域に対応して異なるスペクトル特性を持つ微小光学
フィルタを分散配置し、撮像素子に同一被写対象物の異
なるスペクトル特性の像を撮像させてもよい。この場
合、光学フィルタは、異なるスペクトル特性を持つ微小
光学フィルタを千鳥状又はライン状に配置する。
Further, as an optical system and an optical filter of the spectrum image sensor, minute optical filters having different spectral characteristics corresponding to minute regions obtained by dividing the image sensor into a plurality of parts are dispersedly arranged, and the same object to be imaged is picked up on the image sensor. May have different spectral characteristics. In this case, as the optical filter, minute optical filters having different spectral characteristics are arranged in a staggered or linear manner.

【0012】スペクトルイメージセンサの撮像素子とし
ては、CCD又は2以上の素子を備えた受光素子を用い
ることができる。
As the image pickup device of the spectrum image sensor, a CCD or a light receiving device having two or more devices can be used.

【0013】[0013]

【発明の実施の形態】図1は、本発明によるスペクトル
イメージセンサの実施形態のブロック図である。
FIG. 1 is a block diagram showing an embodiment of a spectral image sensor according to the present invention.

【0014】図1において、本発明のスペクトルイメー
ジセンサは、監視カメラ1、信号処理装置5及びモニタ
10で構成される。監視カメラ1には光学系2、光学フ
ィルタ3及びCCD等の撮像素子4が設けられる。光学
系2は撮像素子4上に、例えば2個に分割された被写対
象の実像を結像させる。
In FIG. 1, the spectrum image sensor of the present invention comprises a monitoring camera 1, a signal processing device 5, and a monitor 10. The monitoring camera 1 is provided with an optical system 2, an optical filter 3, and an image sensor 4 such as a CCD. The optical system 2 forms, for example, a real image of the object to be divided into two on the image sensor 4.

【0015】光学フィルタ3は、光学系2により分割さ
れる2つの実像の結像系に各々異なる透過スペクトル特
性を持つフィルタ部を配置し、撮像素子4上に透過スペ
クトル特性の異なる2分割された実像を結像させる。
The optical filter 3 has a filter section having different transmission spectrum characteristics arranged in an imaging system of two real images divided by the optical system 2, and is divided into two with different transmission spectrum characteristics on an image pickup device 4. A real image is formed.

【0016】信号処理装置5は、MPU6、AD変換器
7、画像メモリ8及び出力インタフェース9で構成され
る。AD変換器7は、監視カメラ1の撮像素子4に同時
に結像された透過スペクトル特性の異なる2分割された
実像の画像信号をディジタルデータに変換し、画像メモ
リ8に画像データとして記憶する。
The signal processing device 5 comprises an MPU 6, an AD converter 7, an image memory 8, and an output interface 9. The AD converter 7 converts an image signal of a real image divided into two with different transmission spectrum characteristics simultaneously formed on the image sensor 4 of the monitoring camera 1 into digital data, and stores the digital data in the image memory 8 as image data.

【0017】このため、画像メモリ8の画像データに
は、同時に取得された透過スペクトル特性の異なる同じ
被写対象についてのスペクトル画像AとBが格納される
ことになる。MPU6は、画像メモリ8に記憶された透
過スペクトル特性の異なる同一被写対象の2つのスペク
トル画像A,Bについて、両者の相対する位置の画素間
の差分値をとることで、被写対象の微分スペクトル画像
Cを生成し、出力インタフェース9を介して出力してモ
ニタ10に表示する。更にMPU6にあっては、生成し
た微分スペクトル画像Cに基づいて、例えば火災判定等
の異常判定を行う。
For this reason, in the image data of the image memory 8, the spectral images A and B of the same object having different transmission spectral characteristics acquired at the same time are stored. The MPU 6 differentiates the object by taking the difference between the pixels at the opposite positions of the two spectral images A and B of the same object having different transmission spectrum characteristics stored in the image memory 8. A spectrum image C is generated, output via the output interface 9, and displayed on the monitor 10. Further, the MPU 6 performs an abnormality determination such as a fire determination based on the generated differential spectrum image C.

【0018】図2は、図1の監視カメラ1の第1実施形
態の説明図である。図2において、本発明で使用する監
視カメラ1は、光学系2として2つの結像レンズ2a,
2bを備え、撮像素子4の上下に分けたエリア4a,4
bのそれぞれに、独立した光軸を持つ結像レンズ2a,
2bによって被写対象11の実像A,Bを独立に結像し
ている。
FIG. 2 is an explanatory diagram of the first embodiment of the monitoring camera 1 of FIG. In FIG. 2, a surveillance camera 1 used in the present invention has two image forming lenses 2a,
2b, areas 4a, 4 divided above and below the image sensor 4.
b, the imaging lenses 2a, 2a,
2b, the real images A and B of the object 11 are independently imaged.

【0019】この2つの光軸を持つ結像レンズ2a,2
bによる光学系2に対し、結像レンズ2a,2bと撮像
素子4との間に光学フィルタ3を配置している。光学フ
ィルタ3は、結像レンズ2aからの光を透過する第1フ
ィルタ部3aと、結像レンズ2bからの光を透過する第
2フィルタ部3bに分けられている。
The imaging lenses 2a, 2 having these two optical axes
The optical filter 3 is disposed between the imaging lenses 2a and 2b and the image pickup device 4 with respect to the optical system 2 based on b. The optical filter 3 is divided into a first filter section 3a that transmits light from the imaging lens 2a and a second filter section 3b that transmits light from the imaging lens 2b.

【0020】第1フィルタ部3aは、中心波長λ1の狭
帯域透過スペクトル特性を持ち、これに対し第2フィル
タ部3bは異なる中心波長λ2の狭帯域透過スペクトル
特性を持っている。
The first filter section 3a has a narrow band transmission spectrum characteristic of a center wavelength λ1, while the second filter section 3b has a narrow band transmission spectrum characteristic of a different center wavelength λ2.

【0021】このため撮像素子4の分割されたエリア4
aには、第1フィルタ部3aの中心波長λ1の狭帯域透
過スペクトル特性を持った被写対象11の実像Aが結像
され、同時にエリア4bには第2フィルタ部3bの中心
波長λ2の狭帯域透過スペクトル特性を持った実像Bが
結像される。
For this reason, the divided area 4 of the image sensor 4
a, a real image A of the object 11 having a narrow band transmission spectrum characteristic of the center wavelength λ1 of the first filter unit 3a is formed, and the area 4b is narrowed at the center wavelength λ2 of the second filter unit 3b. A real image B having a band transmission spectrum characteristic is formed.

【0022】図2の狭帯域透過スペクトル特性を持つ第
1フィルタ部3a及び第2フィルタ部3bとしては、特
開平8−285688号に示される波長可変フィルタを
使用することができる。波長可変フィルタを使用するこ
とで、透過スペクトルの帯域を任意に可変することがで
きる。
As the first filter section 3a and the second filter section 3b having the narrow-band transmission spectrum characteristic shown in FIG. 2, a tunable filter disclosed in Japanese Patent Application Laid-Open No. 8-285688 can be used. By using the wavelength tunable filter, the band of the transmission spectrum can be arbitrarily varied.

【0023】図3は本発明の光学フィルタ3の2分割さ
れたフィルタ部3a,3bに使用する波長可変干渉フィ
ルタの構造説明図である。波長可変干渉フィルタ13
は、Au等の金属膜15,17を蒸着した一対のガラス
基板14,16を上下に配置した圧電素子18を介して
対向配置し、その間にd1の空隙を形成している。圧電
素子18は駆動電圧源19による直流電圧の印加を受け
て間隙d1を変化させることができる。
FIG. 3 is an explanatory view of the structure of the wavelength variable interference filter used for the two divided filter sections 3a and 3b of the optical filter 3 of the present invention. Wavelength variable interference filter 13
Are arranged to face each other via a piezoelectric element 18 in which a pair of glass substrates 14 and 16 on which metal films 15 and 17 of Au or the like are vapor-deposited are vertically arranged, and a gap d1 is formed therebetween. The piezoelectric element 18 can change the gap d1 by receiving a DC voltage from the drive voltage source 19.

【0024】この波長可変干渉フィルタ13は、ガラス
基板16側からの入射光に対し金属膜15,17を光が
透過することによって生ずる多重干渉に起因して、複数
種類のスペクトルを有する光が間隙D1に対応して選択
的に透過されるようになる。
The wavelength tunable interference filter 13 causes light having a plurality of types of spectrums to pass through due to multiple interference caused by transmission of the light from the glass substrate 16 through the metal films 15 and 17. The light is selectively transmitted corresponding to D1.

【0025】図4は、図3の波長可変干渉フィルタ13
について、波長帯域を例えば火災時の炎特有のCO2
共鳴放射の中心波長λ1=4.3μmを持つ波長帯域
と、中心波長λ1=4.3μmを含まない中心波長λ2
=3.8μmの波長帯域を設定した場合のスペクトル特
性である。
FIG. 4 shows the tunable interference filter 13 of FIG.
For example, a wavelength band having a center wavelength λ1 = 4.3 μm of resonance radiation in CO 2 peculiar to a flame at the time of fire and a center wavelength λ2 not including the center wavelength λ1 = 4.3 μm.
= Spectrum characteristics when a wavelength band of 3.8 μm is set.

【0026】即ち図4(A)は火災による炎特有の波長
スペクトルであり、中心波長λ1=4.3μm付近に炎
に特有のCO2 の共鳴放射によるピークを持っている。
図4(B)は、図3の波長可変干渉フィルタ13によっ
て図2の第1フィルタ部3a及び第2フィルタ部3bに
使用されるフィルタの帯域通過特性である。
That is, FIG. 4A is a wavelength spectrum peculiar to a flame caused by a fire, and has a peak due to resonance radiation of CO 2 peculiar to the flame near a center wavelength λ1 = 4.3 μm.
FIG. 4B shows bandpass characteristics of filters used in the first filter unit 3a and the second filter unit 3b in FIG. 2 by the wavelength variable interference filter 13 in FIG.

【0027】例えば駆動電圧0Vの状態で実線のように
中心波長4.3μmの波長帯域を持つ多重干渉による狭
帯域透過スペクトル特性を設定することで、図1の第1
フィルタ部3aの機能を実現する。これに対し、駆動電
圧源19による圧電素子18の駆動電圧の変化により、
図4(B)の破線のように中心波長λ2=3.8μmの
波長帯域の通過特性となるように波長軸上でシフトさせ
た多重干渉による複数の狭帯域透過スペクトル特性を設
定することで、図1の第2フィルタ部3bの機能を実現
できる。
For example, by setting a narrow-band transmission spectrum characteristic due to multiple interference having a wavelength band of a center wavelength of 4.3 μm as shown by a solid line at a driving voltage of 0 V, the first band in FIG.
The function of the filter unit 3a is realized. On the other hand, a change in the drive voltage of the piezoelectric element 18 by the drive voltage source 19 causes
By setting a plurality of narrow-band transmission spectrum characteristics due to multiple interference shifted on the wavelength axis so as to have a transmission characteristic in a wavelength band of center wavelength λ2 = 3.8 μm as shown by a broken line in FIG. The function of the second filter unit 3b in FIG. 1 can be realized.

【0028】もし図4(A)の炎のように予め被写対象
の波長スペクトルが分かっている場合には、フィルタ部
3a,3bの中心波長λ1,λ2が定まることで波長可
変干渉フィルタの図3における間隙d1は一義的に決ま
ることから、この場合には駆動電圧源19による圧電素
子18の代わりに、中心波長λ1,λ2に対応した間隙
d1を与える部材を介在することで、固定的に狭帯域透
過スペクトル特性を決めれば良い。
If the wavelength spectrum of the object to be photographed is known in advance, as in the flame of FIG. 4A, the center wavelengths λ1 and λ2 of the filter sections 3a and 3b are determined so that the wavelength tunable interference filter can be obtained. 3, the gap d1 is uniquely determined. In this case, a member for providing the gap d1 corresponding to the center wavelengths λ1 and λ2 is interposed instead of the piezoelectric element 18 by the drive voltage source 19, so that the gap d1 is fixed. What is necessary is just to determine the narrow band transmission spectrum characteristic.

【0029】また、いずれか一方のフィルタ部について
図3のような波長可変干渉フィルタを設け、駆動電圧源
19により間隙d1を変えることで一方のフィルタ部に
よる実像の波長スペクトル特性を変えるようにしても良
い。
A wavelength variable interference filter as shown in FIG. 3 is provided for one of the filter sections, and the gap d1 is changed by the drive voltage source 19 so that the wavelength spectrum characteristic of the real image by the one filter section is changed. Is also good.

【0030】図5は、図1の信号処理装置5に設けたM
PU6のプログラム制御により実現される処理機能のブ
ロック図である。図5において、画像メモリ8には、図
2の構造を持つ監視カメラ1で撮像素子4上の分割した
エリア4a,4bに結像された透過スペクトル特性の異
なる2つの画像A,Bが同時に得られており、AD変換
器7により撮像素子4の画像信号を画像メモリ8により
取り込むことで、透過スペクトル特性の異なる2つの画
像データA,Bが得られる。
FIG. 5 is a block diagram of the signal processing device 5 shown in FIG.
It is a block diagram of the processing function realized by program control of PU6. 5, in the image memory 8, two images A and B having different transmission spectrum characteristics formed on the divided areas 4a and 4b on the image sensor 4 by the surveillance camera 1 having the structure of FIG. The image signal of the image sensor 4 is fetched by the image memory 8 by the AD converter 7, so that two image data A and B having different transmission spectrum characteristics can be obtained.

【0031】差分画像生成部12aは、画像メモリ8に
格納された画像データAとBの画素ごとの差分の絶対値
を演算して差分画像データSを生成する。このようにし
て生成された差分画像データSは、火災判定処理部12
bに与えられ、差分画像データS即ち微分スペクトル画
像データSから火災による炎の有無を判定する。
The difference image generator 12a calculates the absolute value of the difference between the pixels of the image data A and B stored in the image memory 8 to generate the difference image data S. The difference image data S generated in this manner is transmitted to the fire determination processing unit 12.
b, the presence or absence of a flame due to a fire is determined from the differential image data S, that is, the differential spectrum image data S.

【0032】図6は、図5の信号処理における処理画像
の具体例を示している。図6(A)は監視カメラの光学
フィルタ3を通さないで撮像した可視画像であり、可視
画像には例えば高温物体の例として電球40、火災によ
る炎41及び、室温と同じ物体の例として家具42が含
まれている。
FIG. 6 shows a specific example of a processed image in the signal processing of FIG. FIG. 6A is a visible image taken without passing through the optical filter 3 of the surveillance camera. The visible image includes, for example, a light bulb 40 as an example of a high-temperature object, a flame 41 due to a fire, and furniture as an example of an object at the same room temperature. 42 are included.

【0033】このような可視画像について、図2の第1
フィルタ部3aの持つ炎に特有のCO2 共鳴放射の中心
波長λ1=4.3μmの波長帯域の赤外線を通過させて
撮像素子4から得られた出力画像Aは、図6(B)のよ
うになる。この出力画像Aは、λ1=4.3μmを中心
波長とした波長帯域に波長スペクトルを持つ電球40及
び火災による炎41の画像が明瞭に得られ、家具42は
画像としてほとんど得られない。
With respect to such a visible image, the first image shown in FIG.
The output image A obtained from the image sensor 4 by passing infrared rays in the wavelength band of the center wavelength λ1 = 4.3 μm of the CO 2 resonance radiation peculiar to the flame of the filter unit 3a as shown in FIG. Become. In the output image A, an image of the light bulb 40 having a wavelength spectrum in a wavelength band around λ1 = 4.3 μm and a flame 41 caused by a fire are clearly obtained, and the furniture 42 is hardly obtained as an image.

【0034】一方、図2の第2フィルタ部3bの持つ炎
特有の中心波長λ1=4.3μmを含まない隣接した中
心波長λ2=3.8μmの波長帯域を通過した赤外線に
より得られた画像の出力画像Bは、中心波長λ2=3.
8μmを含む広い波長帯域に亘り分布する電球40の画
像は明瞭に得られる。これに対し、炎による赤外線の強
度は炎固有の中心波長λ1に比べると少ないことから、
不明瞭な炎41の画像となる。更に家具42は画像とし
てはほとんど得られない。
On the other hand, the image obtained by the infrared ray which has passed through the adjacent center wavelength λ2 = 3.8 μm which does not include the center wavelength λ1 = 4.3 μm peculiar to the flame of the second filter portion 3b of FIG. The output image B has a center wavelength λ2 = 3.
An image of the bulb 40 distributed over a wide wavelength band including 8 μm can be obtained clearly. On the other hand, since the intensity of infrared rays due to the flame is smaller than the center wavelength λ1 inherent in the flame,
An unclear image of the flame 41 is obtained. Furthermore, the furniture 42 is hardly obtained as an image.

【0035】このように出力画像Aと出力画像Bについ
て、図5の差分画像生成部12aで画素ごとの差分の絶
対値を演算することで、図6(D)のような差分画像S
を生成する。この差分画像Sにあっては、出力画像A,
Bの両方で同様な出力となる電球40及び家具42の画
像は除去され、出力画像Aと出力画像Bの差分による絶
対値が大きい炎41は、出力画像Aよりは若干劣るが差
分画像Sの中に明瞭に得ることができる。
By calculating the absolute value of the difference of each pixel for the output image A and the output image B by the difference image generation unit 12a in FIG. 5, the difference image S shown in FIG.
Generate In the difference image S, output images A,
B, the images of the light bulb 40 and the furniture 42 that have similar outputs are removed, and the flame 41 having a large absolute value due to the difference between the output image A and the output image B is slightly inferior to the output image A but the difference image S Can be obtained clearly inside.

【0036】このようにして生成された差分画像データ
Sは、図5の火災判定処理部12bに与えられ、火災に
よる炎か否かの判定処理が行われる。
The difference image data S generated in this manner is supplied to the fire determination processing unit 12b shown in FIG. 5, and the determination processing as to whether or not the flame is caused by a fire is performed.

【0037】図7は、図1に示した信号処理装置5によ
る火災監視処理のフローチャートである。まずステップ
S1で撮像素子4より画像メモリ8に画像データを転送
する。このとき撮像素子には、図2の2分割したエリア
4a,4bのそれぞれに被写対象11の透過スペクトル
特性の異なる実像A,Bが結像されており、この実像
A,Bが画像メモリ8に画像データA,Bとして記憶さ
れる。
FIG. 7 is a flowchart of the fire monitoring process by the signal processing device 5 shown in FIG. First, image data is transferred from the image sensor 4 to the image memory 8 in step S1. At this time, real images A and B having different transmission spectral characteristics of the subject 11 are formed on the two divided areas 4a and 4b in FIG. Are stored as image data A and B.

【0038】次にステップS2で画像メモリ8に格納し
た画像データの中から中心波長λ1の領域(エリア4
a)を画像データAとして抽出する。続いてステップS
3で画像メモリ8の画像データの中から中心波長λ2の
領域(エリア4b)を画像データBとして抽出する。続
いてステップS4で画像データA,Bについて各画素ご
とに差の絶対値を求めて差分画像データSを生成する。
Next, in step S2, the area of the center wavelength λ1 (area 4) is selected from the image data stored in the image memory 8.
a) is extracted as image data A. Then step S
In step 3, the area (area 4b) of the center wavelength λ2 is extracted as image data B from the image data in the image memory 8. Subsequently, in step S4, the difference image data S is generated by obtaining the absolute value of the difference between the image data A and B for each pixel.

【0039】続いてステップS5で差分画像データSに
基づく異常判定処理、例えば火災判定処理を行う。ステ
ップS6で異常の有無をチェックし、異常があればステ
ップS7で警報出力等を行う。
Subsequently, in step S5, an abnormality determination process based on the difference image data S, for example, a fire determination process is performed. In step S6, the presence or absence of an abnormality is checked. If there is an abnormality, an alarm is output in step S7.

【0040】ここで生成された差分画像データSは、同
時に撮像された画像データA,Bから生成されており、
炎のちらつきによる影響を受けることなく正しい微分ス
ペクトルイメージを表すことができる。
The difference image data S generated here is generated from the image data A and B taken simultaneously.
The correct differential spectrum image can be represented without being affected by the flicker of the flame.

【0041】本発明の微分スペクトルイメージセンサに
よる具体的な実施形態として、果実の自動選別装置を説
明する。
As a specific embodiment using the differential spectrum image sensor of the present invention, an automatic fruit sorting apparatus will be described.

【0042】従来より近赤外線分光法は、果実の糖度を
非破壊的に測定する有効な方法として用いられている
(文献:「光センサによるモモの糖度選別」,木村美紀
夫,果実日本,46(2) '91 ) 近赤外線分光法とは、物質中の特定の分子による、特定
の波長の近赤外線吸収を測定することにより、物質の成
分分析を行なうものである。糖の場合、1200nm,
1750nm, 2270nmに吸収が認められる(文
献:「近赤外分光法」、図4.2.38(P155)、平成10年3
月20日、(株)アイピーシー発行)。
Conventionally, near-infrared spectroscopy has been used as an effective method for non-destructively measuring the sugar content of fruits (Literature: "Sifting of peach by light sensor", Mikio Kimura, Fruit Japan, 46 (2) '91) Near-infrared spectroscopy is to analyze the components of a substance by measuring near-infrared absorption at a specific wavelength by a specific molecule in the substance. In the case of sugar, 1200 nm,
Absorption is observed at 1750 nm and 2270 nm (Reference: “Near-infrared spectroscopy”, FIG. 4.2.38 (P155), 1998)
Published by IPC Co., Ltd. on March 20.

【0043】モモ等の果実に対しランプ等により光を当
て、この際の散乱反射光をレンズ等の光学系で集光し、
分光器で解析して必要な波長の光を取り出し、それぞれ
の波長における反射強度(吸収度)を測定することで、
検査された果実の糖度が測定できる。木村はこれを反射
法もしくは透過法により測定している。
Light such as a peach is illuminated by a lamp or the like, and the scattered reflected light at this time is collected by an optical system such as a lens.
By analyzing light with a spectrometer and extracting light of the required wavelength, and measuring the reflection intensity (absorbance) at each wavelength,
The sugar content of the tested fruit can be measured. Kimura measures this by the reflection method or the transmission method.

【0044】しかしながら、木村の方法ではモモの部位
による糖度の違いを防止するため、モモの位置をあらか
じめそろえてから測定する必要があった。さらにモモの
大きさ、形状なども品質検査上の重要項目となるが、こ
れについては別途の測定原理による手段を講じなければ
ならなかった。
However, according to Kimura's method, in order to prevent the difference in the sugar content between the peach parts, it was necessary to arrange the peach positions beforehand before measurement. In addition, the size and shape of the peach are important items for quality inspection, but a separate measurement principle must be used for this.

【0045】本発明の微分スペクトルイメージセンサを
モモ等の果実の品質検査に応用することにより、糖度、
大きさ、形状、さらには変色、汚れといった全ての検査
項目を一度に検査することが可能となる。
By applying the differential spectrum image sensor of the present invention to quality inspection of fruits such as peach, the sugar content,
It is possible to inspect all inspection items such as size, shape, discoloration, and stain at once.

【0046】糖度測定はモモの原スペクトルにおける1
200nm付近の微分スペクトルイメージをとることで
測定される。モモの平均的な糖度を表している部位は、
縫合線横90度の赤道上の部分であることから、微分ス
ペクトルイメージセンサによりまずこの部位を特定す
る。これは測定されたイメージの内、モモの頂頭部と縫
合線の形状的特徴から特定できる。
The measurement of the sugar content was performed in the original peach spectrum.
It is measured by taking a differential spectrum image around 200 nm. The part showing the average sugar content of peach is
Since the portion is on the equator at 90 degrees lateral to the suture line, this portion is first specified by the differential spectrum image sensor. This can be identified from the measured images by the topological features of the peach apex and the suture line.

【0047】微分スペクトルイメージセンサの光学フィ
ルタの透過波長は、糖度による微分スペクトルイメージ
を取得するために、図2に示されたフィルタ部λ1を1
200nmに、λ2を1100nmに設定する。この部
位についての微分スペクトルイメージを取得すると、糖
度に応じた明るさの微分スペクトルイメージが現れる。
同時に、得られたイメージにより、果実の大きさ、形状
が検査される。
The transmission wavelength of the optical filter of the differential spectrum image sensor is determined by setting the filter unit λ1 shown in FIG.
Set λ2 to 1100 nm and 200 nm. When a differential spectrum image for this part is obtained, a differential spectrum image with brightness according to the sugar content appears.
At the same time, the size and shape of the fruit are inspected based on the obtained images.

【0048】更に光学フィルタとして波長可変フィルタ
を用いて、可視光域での画像を撮像することにより、変
色、汚れ等の検査が可能となる。即ち図2において、波
長可変フィルタ3aの波長λ1を1200nmに、波長
可変フィルタ3bの波長λ2を1100nmに設定する
ことにより糖度の測定を行った後、フィルタ3aの波長
λ1を例えば600nm、フィルタ3bの波長λ2を5
00nmに設定することで可視光域における変色、汚れ
等の検査が行われる。
Further, by using a wavelength variable filter as an optical filter to capture an image in the visible light range, it is possible to inspect for discoloration, dirt, and the like. That is, in FIG. 2, after measuring the sugar content by setting the wavelength λ1 of the wavelength tunable filter 3a to 1200 nm and setting the wavelength λ2 of the wavelength tunable filter 3b to 1100 nm, the wavelength λ1 of the filter 3a is set to 600 nm, for example. Wavelength λ2 is 5
By setting it to 00 nm, inspection for discoloration, dirt, etc. in the visible light range is performed.

【0049】図8は本発明のイメージセンサによるモモ
の糖度測定処理のフローチャートである。まずステップ
S1で撮像素子4より画像メモリ8にモモの画像データ
を転送する。このときフィルタ3aの波長λ1を120
0nmに設定され、フィルタ3bの波長λ2を1100
nmに設定されており、図2の2分割したエリア4a,
4bのそれぞれに透過スペクトル特性が1200nmと
1100nmで異なるモモの画像が結像され、この画像
が画像メモリ8に画像データとして記憶される。尚、測
定に当っては、被写対象となるモモに対しランプ等によ
り光が投射され、この際の散乱反射光が結像レンズ2
a,2bにより撮像素子4a,4bに結像される。
FIG. 8 is a flowchart of the peach sugar content measuring process by the image sensor of the present invention. First, in step S1, peach image data is transferred from the image sensor 4 to the image memory 8. At this time, the wavelength λ1 of the filter 3a is set to 120
The wavelength λ2 of the filter 3b is set to 1100.
nm, and the two divided areas 4a, 4a in FIG.
A peach image having transmission spectrum characteristics different between 1200 nm and 1100 nm is formed on each of 4b, and this image is stored in the image memory 8 as image data. In the measurement, light is projected by a lamp or the like onto the peach to be imaged, and the scattered reflected light at this time is reflected by the imaging lens 2.
The images are formed on the image pickup devices 4a and 4b by a and 2b.

【0050】次ステップS2で画像中からモモの縫合線
横90°の糖度測定部位を特定する。次にステップS3
で画像メモリ8に格納した画像データの中から波長λ1
が1200nmの領域(エリア4a)を画像データAと
して抽出する。
In the next step S2, a site for measuring the sugar content at 90 ° beside the peach suture line is specified from the image. Next, step S3
From the image data stored in the image memory 8 with the wavelength λ1
Extracts an area (area 4a) of 1200 nm as image data A.

【0051】次にステップS4で画像メモリ8の画像デ
ータの中から波長λ2が1100nmの領域(エリア4
b)を画像データBとして抽出する。続いてステップS
5で画像データA,Bについて各画素ごとに差の絶対値
を求めて差分画像データSを生成し、ステップS6で糖
度測定部位の差分画像データSによりモモの糖度を判定
する。
Next, in step S4, a region (area 4) where the wavelength λ2 is 1100 nm is selected from the image data in the image memory 8.
b) is extracted as image data B. Then step S
In step 5, the absolute value of the difference is determined for each pixel for the image data A and B to generate difference image data S. In step S6, the sugar content of the peach is determined from the difference image data S of the sugar content measurement site.

【0052】図9は本発明のイメージセンサによるモモ
の可視光検査処理のフローチャートである。この可視光
検査処理は、図8の糖度測定処理の直後に行われる。
FIG. 9 is a flowchart of a peach visible light inspection process by the image sensor of the present invention. This visible light inspection processing is performed immediately after the sugar content measurement processing in FIG.

【0053】まずステップS1で図2のフィルタ3aの
波長λ1を600nmに設定し、次にステップS2で図
2のフィルタ3bの波長λ2を500nmに設定し、ス
テップS3で撮像素子4より画像メモリ8にモモの画像
データを転送する。このため画像メモリには、透過スペ
クトル特性が600nmと500nmで異なるモモの画
像データが画像メモリ8に記憶される。
First, at step S1, the wavelength λ1 of the filter 3a of FIG. 2 is set to 600 nm, then at step S2, the wavelength λ2 of the filter 3b of FIG. 2 is set to 500 nm, and at step S3, the image memory 8 Peach image data. Therefore, in the image memory, peach image data whose transmission spectrum characteristics are different between 600 nm and 500 nm is stored in the image memory 8.

【0054】次ステップS4でで画像メモリ8に格納し
た画像データの中から波長λ1が600nmの領域(エ
リア4a)を画像データCとして抽出し、ステップS5
で画像メモリ8の画像データの中から波長λ2が500
nmの領域(エリア4b)を画像データDとして抽出す
る。続いてステップS6で画像データCによりモモの大
きさ、形状を選別する。
In the next step S4, an area (area 4a) having a wavelength λ1 of 600 nm is extracted as image data C from the image data stored in the image memory 8 in step S5.
And the wavelength λ2 is 500 from the image data in the image memory 8.
The area of nm (area 4b) is extracted as image data D. Subsequently, in step S6, the size and shape of the peach are selected based on the image data C.

【0055】続いてステップS7で画像データC,Dの
各画素につき差の絶対値を求めて差分画像データS2を
生成し、ステップS8で差分画像データSにより変色、
汚れを識別する。そしてステップS9で変色や汚れのあ
るモモを取り除き、ステップS10で糖度、大きさ別に
仕分して出荷する。
Subsequently, in step S7, the absolute value of the difference is determined for each pixel of the image data C and D to generate difference image data S2. In step S8, the color is changed by the difference image data S.
Identify dirt. Then, in step S9, the peach with discoloration or dirt is removed, and in step S10, the peach is sorted according to the sugar content and the size and shipped.

【0056】尚、図8の糖度測定と図9の可視光測定
は、図2のイメージセンサにおける光学フィルタ3a,
3bの設定波長を切替えることで1台で行ってもよい
し、同じ撮影位置となるように本発明のイメージセンサ
を2台設置して別々に行ってもよい。
The measurement of the sugar content shown in FIG. 8 and the measurement of the visible light shown in FIG. 9 are performed by the optical filters 3a and 3a in the image sensor shown in FIG.
The switching may be performed by one unit by switching the setting wavelength of 3b, or two image sensors of the present invention may be installed separately so as to be at the same shooting position.

【0057】このように本発明のイメージセンサを用い
た果実の自動選別装置によれば、ベルトコンベア上を高
速で流れるモモ等の果実を、その速度に惑わされること
なく、糖度、形状等の検査、選別を行うことができる。
As described above, according to the automatic fruit sorting apparatus using the image sensor of the present invention, fruits such as peach flowing at high speed on a belt conveyor can be inspected for sugar content, shape, etc. without being confused by the speed. , Sorting can be performed.

【0058】さらには果実を採取する以前の栽培状態に
おいて、果実の熟度測定を行うことが可能である。これ
により適切な時期に適切な熟度の果実のみを採取、出荷
する事ができ、いわゆる精密農業(プレシジョンファー
ミング)の実現を視点する有力な技術となりうる。
Further, it is possible to measure the ripeness of fruits in a cultivation state before the fruits are collected. As a result, only fruits having an appropriate ripeness can be collected and shipped at an appropriate time, which can be an effective technique for realizing so-called precision agriculture (precision farming).

【0059】図10は、図1の監視カメラ1の第2実施
形態の説明図であり、この実施形態にあっては、ビーム
スプリッタを用いて被写対象を2つの画像に分割して結
像するようにしたことを特徴とする。
FIG. 10 is an explanatory diagram of a second embodiment of the surveillance camera 1 of FIG. 1. In this embodiment, a subject is divided into two images by using a beam splitter to form an image. It is characterized by doing.

【0060】図10において、まず光学系2は、図2の
2つの光軸を持ったレンズ系に対し、1つの光軸のみを
もったレンズ系を構成する結像レンズ14を使用し、結
像レンズ14の画像をビームスプリッタ20により2つ
に分割して、撮像素子4のエリア4a,4bのそれぞれ
に実像A,Bを結像している。
In FIG. 10, first, the optical system 2 uses an imaging lens 14 constituting a lens system having only one optical axis with respect to the lens system having two optical axes shown in FIG. The image of the image lens 14 is divided into two by the beam splitter 20, and real images A and B are formed on the areas 4a and 4b of the image sensor 4, respectively.

【0061】また撮像素子4の直前には光学フィルタ3
が配置され、光学フィルタ3はフィルタ部3a,3bに
分けられており、フィルタ部3aは中心波長λ1の狭帯
域透過スペクトル特性を持ち、またフィルタ部3bは異
なる中心波長λ2の狭帯域透過スペクトル特性を持って
おり、例えばλ1,λ2としては図4のような波長が設
定される。
The optical filter 3 is located immediately before the image pickup device 4.
Are arranged, and the optical filter 3 is divided into filter sections 3a and 3b. The filter section 3a has a narrow band transmission spectrum characteristic of a center wavelength λ1, and the filter section 3b has a narrow band transmission spectrum characteristic of a different center wavelength λ2. For example, wavelengths as shown in FIG. 4 are set as λ1 and λ2.

【0062】またフィルタ部3a,3bとしては、図3
のような波長可変干渉フィルタとするかあるいは駆動電
圧源19を持たずに固定的に各波長λ1,λ2に対応し
た間隙d1を持つ干渉フィルタを使用する。
As the filter sections 3a and 3b, FIG.
Or an interference filter having a gap d1 corresponding to each of the wavelengths λ1 and λ2 without having the drive voltage source 19 is used.

【0063】図11は、図10のビームスプリッタ20
を取り出している。ビームスプリッタ20は、フレネル
レンズと同様なライン状フィルタで構成されており、ビ
ームスプリッタ20に対する入射光21を、下向きの偏
向方向を持つ出射光22と上向きの偏向方向を持つ出射
光23に2分割して出射する。
FIG. 11 shows the beam splitter 20 of FIG.
Has been taken out. The beam splitter 20 is composed of a linear filter similar to a Fresnel lens, and splits the incident light 21 to the beam splitter 20 into an outgoing light 22 having a downward deflection direction and an outgoing light 23 having an upward deflection direction. And emit.

【0064】これによって、図10のように結像レンズ
14からの光を2分割して、撮像素子4のエリア4a,
4bのそれぞれに、直前に配置した光学フィルタ3のフ
ィルタ部3a,3bの異なる透過スペクトル特性を持っ
た実像A,Bを同時に結像することができる。
As a result, as shown in FIG. 10, the light from the imaging lens 14 is divided into two parts,
4b, real images A and B having different transmission spectrum characteristics of the filter portions 3a and 3b of the optical filter 3 arranged immediately before can be simultaneously formed.

【0065】図12は図1の監視カメラの第3実施形態
であり、この実施形態にあっては被写対象を2分割する
と共に分割した画像に異なる波長スペクトル特性を与え
る光学系2及び光学フィルタ3の機能を、1つのフィル
タユニットで実現するようにしたことを特徴とする。
FIG. 12 shows a third embodiment of the surveillance camera shown in FIG. 1. In this embodiment, an optical system 2 and an optical filter which divide an object into two and give different wavelength spectrum characteristics to the divided images. The third feature is realized by one filter unit.

【0066】図12において、監視カメラ1の光学系2
は、図10の第2実施形態と同様、1つの光軸のみを持
ったレンズ系を構成する結像レンズ2cで実現してお
り、撮像素子4の直前に微小光学フィルタ24を配置し
ている。微小光学フィルタ24は、CCD等の撮像素子
4に1対1に対応する微小狭帯域フィルタ素子を縦及び
横方向に配列している。
In FIG. 12, the optical system 2 of the monitoring camera 1
Is realized by an imaging lens 2c constituting a lens system having only one optical axis, as in the second embodiment of FIG. 10, and a micro optical filter 24 is disposed immediately before the image sensor 4. . In the micro optical filter 24, minute narrow band filter elements corresponding to the image pickup device 4 such as a CCD in a one-to-one correspondence are arranged in the vertical and horizontal directions.

【0067】この微小狭帯域フィルタ素子は例えば中心
波長λ1,λ2,λ3の各狭帯域透過スペクトル特性を
持っており、千鳥状に均等配置される。
The minute narrow band filter elements have, for example, narrow band transmission spectrum characteristics of center wavelengths λ1, λ2, λ3, and are arranged in a staggered manner.

【0068】図13(A)は、カラーカメラに使用され
るRGBフィルタ25である。このRGBフィルタ25
には、撮像素子としてのCCDの受光画素に対応して、
Rフィルタ素子25a、Gフィルタ素子25b、及びB
フィルタ素子25cを千鳥状に均等配置している。
FIG. 13A shows an RGB filter 25 used in a color camera. This RGB filter 25
Corresponds to the light receiving pixels of the CCD as an image sensor,
R filter element 25a, G filter element 25b, and B
The filter elements 25c are evenly arranged in a staggered manner.

【0069】そこで、このようなRGBフィルタ25に
ついて本発明の微小光学フィルタ24のフィルタ構造を
適用すると、例えば図13(B)のようになる。図13
(B)の微小光学フィルタ24は、図13(A)のRG
Bフィルタ25のR,G,Bフィルタ素子25a〜25
cに対応して、それぞれのフィルタ素子に中心波長λ
1,λ2,λ3の異なる特性の微小狭帯域フィルタ素子
24a,24b,24cを配置している。
Therefore, when the filter structure of the micro optical filter 24 of the present invention is applied to such an RGB filter 25, for example, the result is as shown in FIG. FIG.
The micro optical filter 24 shown in FIG.
R, G, B filter elements 25a to 25 of B filter 25
corresponding to the center wavelength λ of each filter element.
Micro narrow bandpass filter elements 24a, 24b and 24c having different characteristics of 1, λ2 and λ3 are arranged.

【0070】このような微小光学フィルタ24を使用す
ることで、撮像素子4から画像を読み出す際に、例えば
中心波長λ1,λ2,λ3の順番に微小狭帯域フィルタ
素子24a,24b,24cに対応する画素を読み出せ
ば、画像メモリに中心波長λ1の狭帯域透過スペクトル
特性を持つ画像データA、中心波長λ2の狭帯域透過ス
ペクトル特性を持つ画像データB、更に中心波長λ3の
狭帯域透過スペクトル特性を持つ画像データCを得るこ
とができる。
By using such a micro optical filter 24, when an image is read from the image pickup device 4, for example, the center wavelengths λ1, λ2, λ3 correspond to the micro narrow band filter elements 24a, 24b, 24c in this order. When the pixels are read out, image data A having a narrow band transmission spectrum characteristic of the center wavelength λ1, image data B having a narrow band transmission spectrum characteristic of the center wavelength λ2, and a narrow band transmission spectrum characteristic of the center wavelength λ3 are stored in the image memory. Image data C can be obtained.

【0071】この場合、図4に示したように炎判定のた
めの中心波長λ1,λ2を使用する場合には、微小狭帯
域フィルタ素子24a,24bのそれぞれについて撮像
素子4の読出しを行うことで、画像メモリ8に図5のよ
うに画像データA,Bを記憶し、ここから差分画像生成
部12aによって差分画像データSを生成することがで
きる。
In this case, when the center wavelengths λ1 and λ2 for flame determination are used as shown in FIG. 4, the image sensor 4 is read out for each of the minute narrow band filter elements 24a and 24b. The image data A and B are stored in the image memory 8 as shown in FIG. 5, from which the difference image data S can be generated by the difference image generation unit 12a.

【0072】図14は、図1の監視カメラ1の第4実施
形態であり、図12の微小光学フィルタ24に代えて光
学ラインフィルタを使用したことを特徴とする。
FIG. 14 shows a fourth embodiment of the surveillance camera 1 of FIG. 1, which is characterized in that an optical line filter is used in place of the micro optical filter 24 of FIG.

【0073】図14において、光学系2は図12の実施
形態と同様、1つの光軸のみを持ったレンズ系を構成す
る結像レンズ2cで構成され、撮像素子4の直前に被写
対象11を2分割した画像データと各画像に異なる透過
スペクトル特性を与える光学ラインフィルタ26を設け
ている。
In FIG. 14, the optical system 2 comprises an imaging lens 2c constituting a lens system having only one optical axis, similarly to the embodiment of FIG. And an optical line filter 26 for giving different transmission spectrum characteristics to each image.

【0074】この光学ラインフィルタ26は、中心波長
λ1の狭帯域透過スペクトル特性を持つ狭帯域ラインフ
ィルタ素子26aと、中心波長λ2の狭帯域透過スペク
トル特性を持つ狭帯域ラインフィルタ素子26bを縦方
向に交互に配置している。
The optical line filter 26 has a narrow band line filter element 26a having a narrow band transmission spectrum characteristic of a center wavelength λ1 and a narrow band line filter element 26b having a narrow band transmission spectrum characteristic of a center wavelength λ2 in the vertical direction. They are arranged alternately.

【0075】図15(A)は、図14の光学ラインフィ
ルタの一部を横から見ており、光学ラインフィルタ26
は中心波長λ1,λ2が異なる狭帯域ラインフィルタ素
子26a,26bを上下に交互に配置している。
FIG. 15A is a side view of a part of the optical line filter of FIG.
Has narrow band line filter elements 26a and 26b having different center wavelengths λ1 and λ2, which are alternately arranged vertically.

【0076】このような光学ラインフィルタ26に入射
光27が入射すると、狭帯域ラインフィルタ素子26a
では中心波長λ1の狭帯域透過スペクトル特性に従った
出射光28が出射され、一方、狭帯域ラインフィルタ素
子26bの部分からは中心波長λ2の狭帯域透過スペク
トル特性を持った出射光29が出力される。
When the incident light 27 enters such an optical line filter 26, the narrow band line filter element 26a
Then, the outgoing light 28 according to the narrow band transmission spectrum characteristic of the center wavelength λ1 is emitted, while the outgoing light 29 having the narrow band transmission spectrum characteristic of the center wavelength λ2 is output from the narrow band line filter element 26b. You.

【0077】図15(B)は、光学ラインフィルタ26
を横から見た構造であり、干渉フィルタを使用してい
る。狭帯域ラインフィルタ素子26aは基板30の内部
に空隙33を形成しており、空隙33の内側に反射層3
1,32を設けている。
FIG. 15B shows an optical line filter 26.
Is viewed from the side, and an interference filter is used. The narrow band line filter element 26a has a gap 33 formed inside the substrate 30, and the reflection layer 3 is formed inside the gap 33.
1, 32 are provided.

【0078】ここで狭帯域ラインフィルタ素子26aの
空隙33の間隙d1は干渉距離を与え、この干渉距離に
よって入射光が反射層31,32を通過するときに多重
干渉を起こし、図4に示したような特定波長λ1に中心
波長を持つ狭帯域透過スペクトル特性を一部に含む複数
種類のスペクトルが得られる。
Here, the gap d1 of the gap 33 of the narrow band line filter element 26a gives an interference distance, and this interference distance causes multiple interference when incident light passes through the reflection layers 31, 32, as shown in FIG. A plurality of types of spectra including a part of the narrow band transmission spectrum characteristic having the center wavelength at the specific wavelength λ1 are obtained.

【0079】一方、狭帯域ラインフィルタ素子26b
は、空隙33の間隙d2で決まる干渉距離が、間隙d1
とは異なっており、この干渉距離d2によって中心波長
λ2の狭帯域透過スペクトル特性を含む複数のスペクト
ルを持つ特性となる。
On the other hand, the narrow band line filter element 26b
Is that the interference distance determined by the gap d2 of the gap 33 is the gap d1
This is a characteristic having a plurality of spectra including a narrow band transmission spectrum characteristic of the center wavelength λ2 by the interference distance d2.

【0080】このような図15(B)の干渉フィルタを
利用したフィルタ素子の構造は、図13(B)の微小光
学フィルタ24における微小狭帯域フィルタ素子24a
〜24cについて適用しても良い。
The structure of the filter element using the interference filter shown in FIG. 15B is similar to the structure of the minute narrow band filter element 24 a in the minute optical filter 24 shown in FIG.
-24c may be applied.

【0081】この図14の光学ラインフィルタ26を使
用した場合にあっては、撮像素子4からの画像信号の読
出しを狭帯域ラインフィルタ素子26a,26bに分け
て行うことで、異なる透過スペクトル特性を持った同じ
被写対象11の実像を画像データA,Bとして得て差分
画像データSを生成することができる。
In the case where the optical line filter 26 shown in FIG. 14 is used, the readout of the image signal from the image sensor 4 is performed separately for the narrow band line filter elements 26a and 26b, so that different transmission spectrum characteristics can be obtained. The difference image data S can be generated by obtaining the real images of the same subject 11 as image data A and B.

【0082】更に上記の実施形態では、火災監視装置や
果実の自動選別装置に適用した場合を例にとっている
が、本発明はこれに限定されず、医学、生物学、リモー
トセンシング、食品管理等の様々な分野で行われる微分
スペクトルイメージングのセンサとしてそのまま適用す
ることができ、特に被写対象が時間的に変化したり動い
たりした場合に正確な微分スペクトル画像を生成でき
る。
Further, in the above-described embodiment, the case where the present invention is applied to a fire monitoring device and an automatic fruit sorting device is taken as an example. However, the present invention is not limited to this, and is applied to medicine, biology, remote sensing, food management and the like. The present invention can be applied as it is as a sensor for differential spectrum imaging performed in various fields, and can generate an accurate differential spectrum image particularly when the subject changes with time or moves.

【0083】[0083]

【発明の効果】以上説明してきたように本発明によれ
ば、1つの撮像素子上に全く同時に異なるスペクトル特
性を持つ複数の画像を結像でき、これによって各画像の
差分から微分画像を生成する際に、元の画像に時間的な
ずれがなく、被写対象が高速で移動したり照明が変化し
ても、常に正しい微分スペクトル画像を取得することが
できる。同時に、画像処理系の演算速度が遅くとも、こ
の処理系の時間遅れに関係なく撮像素子から画像メモリ
に対する画像データの記憶が行われれば、常に正しい微
分スペクトル画像を生成することができる。
As described above, according to the present invention, a plurality of images having completely different spectral characteristics can be formed on one image sensor at the same time, whereby a differential image is generated from the difference between the images. At this time, there is no time lag in the original image, and a correct differential spectrum image can always be obtained even if the subject moves at high speed or the illumination changes. At the same time, even if the operation speed of the image processing system is low, a correct differential spectrum image can always be generated if image data is stored in the image memory from the image sensor regardless of the time delay of the processing system.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施形態のブロック図FIG. 1 is a block diagram of an embodiment of the present invention.

【図2】2つのレンズ系を用いた図1における監視カメ
ラの第1実施形態の説明図
FIG. 2 is an explanatory diagram of a first embodiment of the surveillance camera in FIG. 1 using two lens systems.

【図3】本発明で使用する波長可変干渉フィルタの構造
説明図
FIG. 3 is a structural explanatory view of a wavelength variable interference filter used in the present invention.

【図4】火災による炎の波長スペクトルとフィルタ透過
波長帯域の説明図
FIG. 4 is an explanatory diagram of a wavelength spectrum of a fire flame and a filter transmission wavelength band.

【図5】図1の信号処理装置の機能ブロック図FIG. 5 is a functional block diagram of the signal processing device of FIG. 1;

【図6】図1の信号処理装置に得られる波長帯域の異な
る2つの画像と差分画像を可視像と共に示した説明図
FIG. 6 is an explanatory diagram showing two images having different wavelength bands obtained by the signal processing device of FIG. 1 and a difference image together with a visible image;

【図7】図1の信号処理装置の処理動作のフローチャー
FIG. 7 is a flowchart of a processing operation of the signal processing device of FIG. 1;

【図8】本発明のシメージセンサによるモモの糖度測定
処理のフローチャート
FIG. 8 is a flowchart of a peach sugar content measurement process performed by the image sensor according to the present invention.

【図9】本発明のイメージセンサによるモモの可視光検
査処理のフローチャート
FIG. 9 is a flowchart of peach visible light inspection processing by the image sensor of the present invention.

【図10】ビームスプリッターを用いた図1における監
視カメラの第2実施形態の説明図
FIG. 10 is an explanatory diagram of a second embodiment of the monitoring camera in FIG. 1 using a beam splitter.

【図11】図10のビームスプリッターの説明図11 is an explanatory diagram of the beam splitter in FIG.

【図12】撮像素子上に微小光学フィルタを千鳥状に配
置した図1における監視カメラの第3実施形態の説明図
FIG. 12 is an explanatory diagram of a third embodiment of the surveillance camera in FIG. 1 in which micro optical filters are arranged in a zigzag on an image sensor.

【図13】図12の微小光学フィルタの説明図FIG. 13 is an explanatory diagram of the micro optical filter of FIG.

【図14】撮像素子上に光学ラインフィルタを配置した
図1における監視カメラの第4実施形態の説明図
FIG. 14 is an explanatory diagram of a fourth embodiment of the monitoring camera in FIG. 1 in which an optical line filter is arranged on an image sensor.

【図15】図14の光学ラインフィルタの説明図FIG. 15 is an explanatory diagram of the optical line filter of FIG. 14;

【符号の説明】[Explanation of symbols]

1:監視カメラ 2:光学系 2a〜2c,14:結像レンズ 3:光学フィルタ 3a:第1フィルタ 3b:第2フィルタ 4:撮像素子(CCD) 5:信号処理装置 6:MPU 7:AD変換器 8:画像メモリ 9:出力インタフェース(出力IF) 10:モニタ 11:被写対象 12a:差分画像生成部 12b:火災判定処理部 13:波長可変干渉フィルタ 14,16:ガラス基板 15,17:金属膜 18:圧電素子 19:駆動電圧言 20:ビームスプリッター 21:入射光 22,23:偏向光 24:微小光学フィルタユニット 24a〜24c:微小狭帯域フィルタ素子 26:光学ラインフィルタ 26a,26b:狭帯域ラインフィルタ素子 30:ガラス基板 31,32:反射層 33:空隙(干渉距離) 1: Surveillance camera 2: Optical system 2a to 2c, 14: Imaging lens 3: Optical filter 3a: First filter 3b: Second filter 4: Image sensor (CCD) 5: Signal processing device 6: MPU 7: AD conversion 8: Image memory 9: Output interface (output IF) 10: Monitor 11: Object to be imaged 12a: Difference image generation unit 12b: Fire determination processing unit 13: Wavelength variable interference filter 14, 16: Glass substrate 15, 17: Metal Film 18: Piezoelectric element 19: Driving voltage 20: Beam splitter 21: Incident light 22, 23: Deflected light 24: Micro optical filter unit 24a to 24c: Micro narrow band filter element 26: Optical line filter 26a, 26b: Narrow band Line filter element 30: Glass substrate 31, 32: Reflective layer 33: Void (interference distance)

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】1つの撮像素子と、 前記撮像素子上に、複数個に分割された実像を結像させ
る光学系と、 前記光学系により分割される実像の結像系に配置された
各々異なる透過スペクトル特性をもつ光学フィルタと、 前記撮像素子で同時に撮像した複数のスペクトル画像か
ら、相対する位置の画素間の差分値をとることで、被写
対象の微分スペクトル画像を生成する差分画像生成部
と、を備えたことを特徴とするスペクトルイメージセン
サ。
1. An image sensor, an optical system for forming a plurality of real images on the image sensor, and different optical systems arranged on an image system for real images divided by the optical system An optical filter having a transmission spectrum characteristic, and a difference image generation unit that generates a differential spectrum image of a subject by taking a difference value between pixels at opposite positions from a plurality of spectrum images simultaneously captured by the image sensor. And a spectral image sensor comprising:
【請求項2】請求項1記載のスペクトルイメージセンサ
に於いて、前記光学系は、前記撮像素子上に複数個に分
割された実像を結像させる複数の光軸を持つレンズ系で
構成されたことを特徴とするスペクトルイメージセン
サ。
2. The spectral image sensor according to claim 1, wherein said optical system is constituted by a lens system having a plurality of optical axes for forming a plurality of divided real images on said image pickup device. A spectral image sensor, comprising:
【請求項3】請求項1記載のスペクトルイメージセンサ
に於いて、前記光学系は、前記撮像素子の前方に配置さ
れ、前記撮像素子に複数個に分割された実像を結像させ
るビームスプリッターを設けたことを特徴とするスペク
トルイメージセンサ。
3. The spectral image sensor according to claim 1, wherein the optical system is provided in front of the image sensor, and a beam splitter that forms a plurality of divided real images on the image sensor is provided. A spectral image sensor.
【請求項4】請求項1記載のスペクトルイメージセンサ
に於いて、前記光学系及び光学フィルタは、前記撮像素
子上を複数分割した微小領域に対応して異なるスペクト
ル特性を持つ微小光学フィルタを分散配置し、前記撮像
素子に同一被写対象物の異なるスペクトル特性の像を撮
像させることを特徴とするスペクトルイメージセンサ。
4. The spectral image sensor according to claim 1, wherein the optical system and the optical filter are arranged by dispersing minute optical filters having different spectral characteristics corresponding to a plurality of minute regions on the image sensor. A spectrum image sensor for causing the image sensor to capture images of the same object having different spectral characteristics.
【請求項5】請求項4記載のスペクトルイメージセンサ
に於いて、前記光学フィルタは、異なるスペクトル特性
を持つ微小光学フィルタを千鳥状又はライン状に配置し
たことを特徴とするスペクトルイメージセンサ。
5. The spectral image sensor according to claim 4, wherein said optical filters include micro optical filters having different spectral characteristics arranged in a staggered or linear manner.
【請求項6】請求項1乃至5に記載のスペクトルイメー
ジセンサに於いて、前記撮像素子としてCCDを用いた
ことを特徴とするスペクトルイメージセンサ。
6. A spectral image sensor according to claim 1, wherein a CCD is used as said image pickup device.
JP34831099A 1999-12-08 1999-12-08 Spectrum image sensor Pending JP2001165775A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP34831099A JP2001165775A (en) 1999-12-08 1999-12-08 Spectrum image sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34831099A JP2001165775A (en) 1999-12-08 1999-12-08 Spectrum image sensor

Publications (1)

Publication Number Publication Date
JP2001165775A true JP2001165775A (en) 2001-06-22

Family

ID=18396176

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34831099A Pending JP2001165775A (en) 1999-12-08 1999-12-08 Spectrum image sensor

Country Status (1)

Country Link
JP (1) JP2001165775A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010268343A (en) * 2009-05-18 2010-11-25 Olympus Imaging Corp Photographing device and photographing method
JP2013033126A (en) * 2011-08-02 2013-02-14 Seiko Epson Corp Real image display device
US8723124B2 (en) 2009-05-29 2014-05-13 Toyota Jidosha Kabushiki Kaisha Spectrum measuring apparatus for mover
US8755048B2 (en) 2009-05-29 2014-06-17 Toyota Jidosha Kabushiki Kaisha Spectrum measuring apparatus for mover
US9036147B2 (en) 2009-05-29 2015-05-19 Toyota Jidosha Kabushiki Kaisha Spectrum measuring apparatus
KR101669197B1 (en) * 2009-12-17 2016-10-25 엘지이노텍 주식회사 Apparatus for generating wide angle image
CN112490258A (en) * 2020-12-25 2021-03-12 联合微电子中心有限责任公司 Color CMOS image sensor pixel array, sensor and preparation process

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010268343A (en) * 2009-05-18 2010-11-25 Olympus Imaging Corp Photographing device and photographing method
US8723124B2 (en) 2009-05-29 2014-05-13 Toyota Jidosha Kabushiki Kaisha Spectrum measuring apparatus for mover
US8755048B2 (en) 2009-05-29 2014-06-17 Toyota Jidosha Kabushiki Kaisha Spectrum measuring apparatus for mover
US9036147B2 (en) 2009-05-29 2015-05-19 Toyota Jidosha Kabushiki Kaisha Spectrum measuring apparatus
KR101669197B1 (en) * 2009-12-17 2016-10-25 엘지이노텍 주식회사 Apparatus for generating wide angle image
JP2013033126A (en) * 2011-08-02 2013-02-14 Seiko Epson Corp Real image display device
CN112490258A (en) * 2020-12-25 2021-03-12 联合微电子中心有限责任公司 Color CMOS image sensor pixel array, sensor and preparation process
CN112490258B (en) * 2020-12-25 2022-09-16 联合微电子中心有限责任公司 Color CMOS image sensor pixel array, sensor and preparation process

Similar Documents

Publication Publication Date Title
US7046359B2 (en) System and method for dynamic chemical imaging
Cao et al. A prism-mask system for multispectral video acquisition
US8130380B2 (en) Spectrometer and interferometric method
US9880094B2 (en) Infrared detection and imaging device with no moving parts
US7495762B2 (en) High-density channels detecting device
US5606413A (en) Real time spectroscopic imaging system and method
US9052290B2 (en) SWIR targeted agile raman system for detection of unknown materials using dual polarization
JP2016008956A (en) Imaging device and method
JP2001228024A (en) Spectral image pickup device
JP2022165355A (en) Imaging apparatus
JPH01320441A (en) Color brightness meter
JP2558864B2 (en) Spectroscopic analyzer
JP2001165775A (en) Spectrum image sensor
US6355931B1 (en) System and method for 100% moisture and basis weight measurement of moving paper
FR2729220A1 (en) COLORIMETRIC MEASUREMENT DEVICE OF A DISPLAY SCREEN
EP1082748A1 (en) Plant chlorophyll content imager
JP3316012B2 (en) Temperature measuring device using a micro-Raman spectrophotometer
JPH09105673A (en) Spectral apparatus
US20060231779A1 (en) Exterior inspection apparatus and exterior inspection method
Vunckx et al. Accurate video-rate multi-spectral imaging using imec snapshot sensors
JP3657345B2 (en) Film thickness inspection system
US20230003660A1 (en) Method for optical monitoring and/or determination of properties of sample
US11867615B2 (en) Field calibration for near real-time Fabry Perot spectral measurements
JPH0820309B2 (en) Spectroscopic operation device
US12099009B2 (en) Method and apparatus for surface plasmon resonance imaging

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050301

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050628