CN113439203A - 光学滤波器阵列、光检测装置及光检测系统 - Google Patents

光学滤波器阵列、光检测装置及光检测系统 Download PDF

Info

Publication number
CN113439203A
CN113439203A CN202080007402.8A CN202080007402A CN113439203A CN 113439203 A CN113439203 A CN 113439203A CN 202080007402 A CN202080007402 A CN 202080007402A CN 113439203 A CN113439203 A CN 113439203A
Authority
CN
China
Prior art keywords
wavelength
filter array
optical
light
transmittances
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080007402.8A
Other languages
English (en)
Inventor
石川笃
稻田安寿
久田和也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN113439203A publication Critical patent/CN113439203A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/26—Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/28—Interference filters
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2806—Array and filter array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2813—2D-array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0112—Apparatus in one mechanical, optical or electronic block

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

有关本发明的一形态的光学滤波器阵列在生成N个(N是4以上的整数)波段各自的图像数据的光检测装置中使用。上述光学滤波器阵列具备多个光学滤波器。上述多个光学滤波器包括上述N个波段各自中的透射率互不相同的多个种类的光学滤波器。当设上述多个光学滤波器对于上述N个波段中的第i波段(i是1以上且N以下的整数)的光的透射率的平均值为μi时，对于上述N个波段的上述透射率的平均值μi的标准偏差是0.13以下。

Description

光学滤波器阵列、光检测装置及光检测系统
技术领域
本发明涉及光学滤波器阵列、光检测装置及光检测系统。
背景技术
通过利用分别为窄带的多个波段(band)、例如几十个波段的光谱信息，能够掌握通过以往的RGB图像不能掌握的对象物的详细的物性。取得这样的多波长的信息的相机被称作“超光谱相机”。超光谱相机在食品检查、生物体检查、医药品开发及矿物的成分分析等各种领域中被利用。
专利文献1及2公开了利用压缩感测的超光谱相机的例子。例如专利文献1公开了一种摄像装置，具备：编码元件，其是光透射率的波长依赖性互不相同的多个光学滤波器的阵列；以及图像传感器，检测透射了编码元件的光。图像传感器通过按每个像素同时检测多个波段的光，取得1个波长复用图像。通过对所取得的波长复用图像应用压缩感测，重构关于多个波段各自的图像。
现有技术文献
专利文献
专利文献1：美国专利申请公开第2016/138975号说明书
专利文献2：日本特开2016－100703号公报
发明内容
发明要解决的课题
本发明的目的是提供一种用来减小伴随于多个波段的图像的重构的误差的技术。
用来解决课题的手段
有关本发明的一技术方案的光学滤波器阵列，在生成N个(N是4以上的整数)波段各自的图像数据的光检测装置中使用。上述光学滤波器阵列具备多个光学滤波器。上述多个光学滤波器包括上述N个波段各自中的透射率互不相同的多个种类的光学滤波器。当设上述多个光学滤波器对于上述N个波段中的第i波段(i是1以上且N以下的整数)的光的透射率的平均值为μi时，对于上述N个波段的上述透射率的平均值μi的标准偏差σμ由下述数式1表示：
[数式1]
Figure BDA0003132460810000021
上述透射率的平均值μi的标准偏差σμ是0.13以下。
有关本发明的另一技术方案的光学滤波器阵列，在生成N个(N是4以上的整数)波段各自的图像数据的光检测装置中使用。上述光学滤波器阵列具备多个光学滤波器。上述多个光学滤波器包括上述N个波段各自中的透射率互不相同的多个种类的光学滤波器。当设上述多个光学滤波器对于上述N个波段中的第i波段(i是1以上且N以下的整数)的光的透射率的标准偏差为σi时，对于上述N个波段的上述透射率的标准偏差σi的平均值是0.07以上。
有关本发明的再另一技术方案的光学滤波器阵列，在生成N个(N是4以上的整数)波段各自的图像数据的光检测装置中使用。上述光学滤波器阵列具备多个光学滤波器。上述多个光学滤波器包括上述N个波段各自中的透射率互不相同的多个种类的光学滤波器。当设上述多个光学滤波器对于上述N个波段中的第i波段(i是1以上且N以下的整数)的光的透射率的平均值为μi，上述多个光学滤波器对于上述第i波段的光的透射率的标准偏差为σi，并且Ri＝(μi+3σi)/(μi－3σi)时，对于上述N个波段的Ri的平均值是2.0以上。
发明效果
根据本发明的一技术方案，能够减小伴随于多个波段的图像的重构的误差。
附图说明
图1A是用来说明光学滤波器阵列的光学特性的图。
图1B是表示透射率的直方图的一例的图。
图2是表示法布里－珀罗滤波器的透射光谱的一例的图。
图3A是用来说明对应于峰值线宽与带宽的大小关系而滤波器阵列的每个波段的平均透射率变化的第1图。
图3B是用来说明对应于峰值线宽与带宽的大小关系而滤波器阵列的每个波段的平均透射率变化的第2图。
图4A是用来说明对应于峰值线宽与带宽的大小关系而滤波器阵列的每个波段的透射率的标准偏差变化的第1图。
图4B是用来说明对应于峰值线宽与带宽的大小关系而滤波器阵列的每个波段的透射率的标准偏差变化的第2图。
图5A是示意地表示本发明的例示性的实施方式的光检测系统的图。
图5B是示意地表示本发明的例示性的实施方式的光检测系统的变形例的图。
图5C是示意地表示本发明的例示性的实施方式的光检测系统的另一变形例的图。
图6A是示意地表示滤波器阵列的例子的图。
图6B是表示滤波器阵列的光透射率的空间分布的一例的图。
图6C是表示滤波器的透射光谱的例子的图。
图6D是表示滤波器的透射光谱的另一例的图。
图7A是用来说明对象波长域W与包含于其中的多个波段W1、W2、…、WN的关系的图。
图7B是用来说明对象波长域W与包含于其中的多个波段W1、W2、…、WN的关系的图。
图8A是用来说明滤波器阵列的某区域中的透射光谱的特性的图。
图8B是表示将图8A所示的透射光谱按每个波长域W1、W2、…、WN进行平均化的结果的图。
图9是示意地表示例示性的实施方式的光检测装置的截面的一部分的图。
图10是用来说明滤波器的透射光谱的例子的图。
图11是示意地表示法布里－珀罗滤波器的例子的图。
图12是示意地表示法布里－珀罗滤波器的另一例的图。
图13是用来说明使用透射特性针对任何波段都为相同程度的理想的滤波器阵列的情况下的复原特性的图。
图14是表示图13的例子的关于各波段的滤波器阵列的透射率分布的直方图的图。
图15是表示图13的例子的各波段的正解图像与复原图像的误差的图。
图16是用来说明滤波器阵列的一部分波段的平均透射率较低的情况下的复原特性的图。
图17是表示图16的例子中的关于波段4、5、6的滤波器阵列的透射率的直方图的图。
图18是表示图16的例子中的各波段的正解图像与复原图像的误差的图。
图19是用来说明如果滤波器阵列的平均透射率的标准偏差变大则复原变差的图。
图20是用来说明滤波器阵列的关于一部分波段的透射率的标准偏差较小的情况下的复原特性的图。
图21是表示图20的例子中的关于波段4、5、6的滤波器阵列的透射率的直方图的图。
图22是表示图20的例子中的各波段的正解图像与复原图像的误差的图。
图23是用来说明如果滤波器阵列的透射率的标准偏差的平均值变小则复原变差的图。
图24是表示指标值Ri的关于全波段的平均值与MSE的增加量的关系的曲线图。
具体实施方式
在说明本发明的实施方式之前，说明由本发明的发明人发现的认识。
在利用压缩感测的超光谱相机中，编码元件即光学滤波器阵列的光学性质影响被重构的图像的品质。在光学滤波器阵列的特性不适当的情况下，被复原的图像的误差变大，所以不能得到高品质的重构图像。在数学上，优选的是在空间上及频率上(即波长上)进行随机性的采样的理想的光学滤波器阵列。但是，在现实中难以制作这样的理想的随机性的光学滤波器阵列。即，关于能够减小伴随于多个波段的图像的重构的误差的光学滤波器阵列的具体的结构，有改善的余地。
以下，说明本发明的实施方式的概要。
图1A是用来说明本发明的实施方式的滤波器阵列10的光学特性的图。图1A所示的滤波器阵列10包括多个光学滤波器。多个光学滤波器以二维排列。多个光学滤波器包括光透射特性不同的多个种类的光学滤波器。滤波器阵列10被用在生成多个波段各自的图像数据的光检测装置中。设波段的数量为N(N是4以上的整数)。按每个波段，滤波器阵列10的光透射率的分布不同。在图1中，将关于各波段的光透射率的空间图案表现为马赛克图案。
这里，关于第i(i是1以上且N以下的整数)波段，考虑滤波器阵列10中的多个光学滤波器的透射率的直方图。图1B表示本发明的实施方式的滤波器阵列10的透射率的直方图的一例。该直方图表示将横轴设为透射率、将纵轴设为具有该透射率的滤波器的数量的分布。根据该直方图，能得到关于第i波段的光的平均透射率μi和标准偏差σi。本发明的实施方式的滤波器阵列10的透射率的直方图具有有限的标准偏差σi。
直方图能够通过使用以规定的灰阶数对光强度进行检测的光检测器计测滤波器阵列10的各光学滤波器的透射率而得到。例如，可以使用能够以8位或16位等的规定的灰阶数检测光强度的二维分布的图像传感器等的光检测器得到直方图。具体而言，根据在配置有滤波器阵列10的状态下检测到的第i波段的光的强度与在没有配置滤波器阵列10的状态下检测到的第i波段的光的强度的比，能够求出滤波器阵列10中的各滤波器的第i波段的光的透射率。根据用上述的方法取得的各滤波器的透射率的数据，能够得到如在图1B中例示的直方图。另外，在图1B中，为了简单而例示了接近于正态分布的直方图。在实际的滤波器阵列10中，可以取得与图1B不同的形状的直方图。由于透射率的波长依赖性根据滤波器而不同，所以直方图的形状按每个波段而不同。因而，多个滤波器的透射率的平均值及标准偏差也按每个波段而不同。
例如，可以使用包括多层膜、有机材料、衍射光栅结构或含有金属的微细结构来构成滤波器阵列10的各滤波器。
这里，作为一例，对由法布里－珀罗滤波器(以下称作FP滤波器)构成滤波器阵列10的各滤波器的情况进行说明。FP滤波器具备第1反射层、第2反射层、以及第1反射层与第2反射层之间的中间层。各反射层可以由电介质多层膜或金属薄膜中的某一种形成。中间层具有形成具有至少1个共振模的共振结构的厚度及折射率。在共振结构中，与共振模对应的波长的光的透射率变高，其他波长的光的透射率变低。通过将中间层的折射率或厚度按每个滤波器改变，能够实现按每个滤波器而不同的透射光谱。
图2是表示FP滤波器的透射光谱的一例的图。这里，将检测对象的波长域称作“对象波长域W”。在对象波长域W内，包括上述的第1至第N波段。在图2的例子中，对象波长域W是400nm以上700nm以下的波长域，但对象波长域W也可以是其他的波长域。如图2所示，在FP滤波器中，在其原理上，在长波长侧，峰值线宽变粗(即变宽)，峰值彼此的间隔(FreeSpectral Range：FSR)也变宽。因此，在短波长侧和长波长侧，滤波器阵列10的透射特性大为不同。可知起因于该透射特性的差异，生成的各波段的图像的误差变大。
图3A及图3B是对应于峰值线宽与带宽的大小关系而滤波器阵列10的各波段的平均透射率变化的图。这里，着眼于多个透射峰值中的某特定的峰值。如图3A所示，在峰值线宽比带宽小的情况下，由于在波段内所占的峰值的面积较小，所以该波段的平均透射率变小。另一方面，如图3B所示，在峰值线宽较粗的情况下，该波段的平均透射率变大。在FP滤波器的性质上，在长波长侧，由于峰值线宽较粗，所以平均透射率变大，在短波长侧，由于峰值线宽较细，所以平均透射率变小。因此，难以在对象波长域W的整个域上使平均透射率均匀，容易按每个波段在平均透射率中发生偏差。因此，难以实现在空间及频率上(即波长上)随机性的理想的滤波器阵列10。
图4A及图4B是用来说明对应于峰值线宽与带宽的大小关系而滤波器阵列10的各波段的透射率的标准偏差变化的图。如图4A所示，在峰值线宽比带宽充分小的情况下，包含在滤波器阵列10中的不同的多个种类的滤波器(在图4A的例子中为A、B及C)对于该波段的光的透射率都为相同程度。因此，对于该波段的滤波器阵列10的透射率的标准偏差变小。另一方面，在如图4B所示峰值线宽比带宽大的情况下，透射率接近于1，不同的多个种类的滤波器对于该波段的透射率成为相同程度。在此情况下，滤波器阵列10对于该波段的透射率的标准偏差也变小。因而，在FP滤波器的性质上，在长波长侧和短波长侧，滤波器阵列10的透射率的标准偏差变小。因此，难以在对象波长域W的整个域上使透射率的标准偏差均匀，容易按每个波段在透射率的标准偏差中发生偏差。从这一点看，也难以实现空间上及频率上(即波长上)随机性的理想的滤波器阵列10。
根据本发明者们的研究，如果滤波器阵列的透射率的平均值及标准偏差的每个波段的偏差较大，则图像的再现性下降，复原运算的收敛性变差。此外，还已知在每个波段的透射率的标准偏差的平均值过小的情况下图像的再现性也下降。
本发明者们发现了上述课题，研究了用来解决这些课题的滤波器阵列的结构。根据本发明的一实施方式，设计滤波器阵列，以使全波段的平均透射率的标准偏差(或方差)成为特定的值以下。根据其他的实施方式，设计滤波器阵列，以使每个波段的透射率的标准偏差的平均值成为特定的值以上。通过这样的设计，能够减小每个波段的图像的复原误差。
有关本发明的一实施方式的光学滤波器阵列，在生成N个(N是4以上的整数)波段各自的图像数据的光检测装置中使用。上述光学滤波器阵列具备多个光学滤波器。上述多个光学滤波器包括上述N个波段各自的透射率互不相同的多个种类的光学滤波器。如果设上述多个光学滤波器对于上述N个波段中的第i波段(i是1以上且N以下的整数)的光的透射率的平均值为μi，则对于上述N个波段的上述透射率的平均值μi的标准偏差σμ由如下数式表示：
[数式2]
Figure BDA0003132460810000071
上述透射率的平均值μi的标准偏差σμ是0.13以下。
根据上述结构，设计各光学滤波器以使关于上述N个波段的上述透射率的平均值μi的标准偏差σμ成为0.13以下的比较小的值。由此，能够提高光学滤波器阵列对于各波段的平均透射率的均匀性。结果，能够减小例如通过使用压缩感测的处理生成的各波段的图像的误差。
有关本发明的另一实施方式的光学滤波器阵列，在生成N个(N是4以上的整数)波段各自的图像数据的光检测装置中使用。上述光学滤波器阵列具备多个光学滤波器。上述多个光学滤波器包括上述N个波段各自中的透射率互不相同的多个种类的光学滤波器。如果设上述多个光学滤波器对于上述N个波段中的第i波段(i是1以上且N以下的整数)的光的透射率的标准偏差为σi，则对于上述N个波段的上述透射率的标准偏差σi的平均值是0.07以上。
根据上述结构，设计各光学滤波器，以使对于上述N个波段的上述透射率的标准偏差σi的平均值成为0.07以上的比较大的值。由此，能够提高光学滤波器阵列对于各波段的透射率的分散性。结果，能够减小例如通过使用压缩感测的处理生成的各波段的图像的误差。
有关本发明的再另一实施方式的光学滤波器阵列，在生成N个(N是4以上的整数)波段各自的图像数据的光检测装置中使用。上述光学滤波器阵列具备多个光学滤波器。上述多个光学滤波器包括上述N个波段各自的透射率互不相同的多个种类的光学滤波器。如果设上述多个光学滤波器对于上述N个波段中的第i波段(i是1以上且N以下的整数)的光的透射率的平均值为μi，上述多个光学滤波器对于上述第i波段的光的透射率的标准偏差为σi，并且Ri＝(μi+3σi)/(μi－3σi)，则对于上述N个波段的Ri的平均值是2.0以上。
根据上述结构，设计各光学滤波器，以使Ri的平均值成为2.0以上的比较大的值。由此，能够提高光学滤波器阵列对于各波段的透射率的分散性。结果，能够减小通过例如使用压缩感测的处理生成的各波段的图像的误差。
在一实施方式中，也可以是，通过使用以规定的灰阶数对光强度进行检测的光检测器计测上述多个光学滤波器各自对于上述第i波段的光的透射率而得到的上述透射率的直方图中的峰值的透射率，小于上述多个光学滤波器对于上述第i波段的光的透射率的平均值μi。
也可以是，上述多个光学滤波器中的至少1个是法布里－珀罗滤波器。法布里－珀罗滤波器能够比例如由有机材料形成的其他种类的滤波器更容易制作。
也可以是，上述多个滤波器中的至少1个包括共振结构，该共振结构包括第1反射层、第2反射层、以及上述第1反射层与上述第2反射层之间的中间层，并且具有模数互不相同的多个共振模。根据这样的结构，能够实现对于多个波长透射率较高的滤波器。
也可以是，上述第i波段的中心波长λi和对于上述第i波段的光的上述多个光学滤波器的透射率的平均值μi具有正相关。在各光学滤波器是上述的法布里－珀罗滤波器的情况下，能典型地得到这样的特性。
有关本发明的再另一实施方式的光检测装置具备：上述的任一项所述的光学滤波器阵列；以及图像传感器，检测透射了上述光学滤波器阵列的光。
有关本发明的再另一实施方式的光检测系统具备：上述的光检测装置；以及信号处理电路，基于从上述图像传感器输出的信号，生成对于上述N个波段各自的图像数据。
在本发明中，电路、单元、装置、部件或部的全部或一部分、或框图中的功能块的全部或一部分例如也可以由包括半导体装置、半导体集成电路(IC)或LSI(large scaleintegration)的1个或多个电子电路执行。LSI或IC既可以集成到1个芯片上，也可以将多个芯片组合而构成。例如，也可以将存储元件以外的功能块集成到1个芯片上。这里称作LSI或IC，但根据集成的程度而叫法变化，也可以称作系统LSI、VLSI(very large scaleintegration)或ULSI(ultra large scale integration)。也可以以相同的目的使用可在LSI的制造后编程的Field Programmable Gate Array(FPGA)、或能够进行LSI内部的接合关系的重构或LSI内部的电路划分的设置的reconfigurable logic device。
进而，电路、单元、装置、部件或部的全部或一部分的功能或操作可以通过软件处理来执行。在此情况下，将软件记录到1个或多个ROM、光盘、硬盘驱动器等的非暂时性记录介质中，在软件被处理装置(processor)执行时，由该软件确定的功能被处理装置(processor)及周边装置执行。系统或装置也可以具备记录有软件的1个或多个非暂时性记录介质、处理装置(processor)及需要的硬件设备、例如接口。
以下，说明本发明的更具体的实施方式。但是，有将所需以上详细的说明省略的情况。例如，有将已经周知的事项的详细说明及对于实质上相同的结构的重复的说明省略的情况。这是为了避免以下的说明不必要地变得冗长，使本领域技术人员的理解变得容易。另外，发明者们为了本领域技术人员充分地理解本发明而提供附图及以下的说明，不是要由它们限定权利要求书所记载的主题。在以下的说明中，对于相同或类似的构成要素赋予相同的标号。在本说明书中，有将表示图像的信号(即，表示各像素的像素值的信号的集合)简单称作“图像”的情况。在以下的说明中，使用图中表示的xyz坐标。
(实施方式)
<光检测系统>
图5A是示意地表示本发明的例示性的实施方式的光检测系统400的图。光检测系统400具备光学系统40、滤波器阵列10、图像传感器60和信号处理电路200。滤波器阵列10具有与在专利文献1中公开的“编码元件”同样的功能。因此，也可以将滤波器阵列10称作“编码元件”。光学系统40及滤波器阵列10配置在从对象物70入射的光的光路上。
滤波器阵列10具备以行及列状排列的透光性的多个区域。滤波器阵列10是光的透射光谱、即光透射率的波长依赖性根据区域而不同的光学元件。滤波器阵列10将入射的光的强度调制而使其通过。关于滤波器阵列10的结构的详细情况在后面叙述。
滤波器阵列10可以配置在图像传感器60的附近或紧上面。这里，“附近”是指以来自光学系统40的光的像以某种程度鲜明的状态形成在滤波器阵列10的面上的程度接近。“紧上面”是指两者以几乎不发生间隙的程度接近。滤波器阵列10及图像传感器60也可以被一体化。将具备滤波器阵列10及图像传感器60的装置称作“光检测装置300”。
滤波器阵列10也可以从图像传感器60分离而配置。图5B及图5C表示滤波器阵列10从图像传感器60分离而配置的结构的例子。在图5B的例子中，滤波器阵列10配置在光学系统40与图像传感器60之间。在图5C的例子中，滤波器阵列10配置在对象物70与光学系统40之间。在这些例子中，由滤波器阵列10编码的像在图像传感器60的摄像面上以模糊的状态被取得。因而，通过预先保持该模糊信息，并使该模糊信息反映到在后述的运算处理中使用的系统矩阵H，能够重构分离图像220。这里，模糊信息由点扩散函数(Point SpreadFunction：PSF)表示。PSF是规定点像向周边像素的扩散的程度的函数。例如，在图像上相当于1像素的点像在通过模糊而扩散到该像素的周围的k×k像素的区域的情况下，PSF可以被规定为表示对该区域内的各像素的亮度的影响的系数组即矩阵。通过使基于PSF的编码样式的模糊的影响反映到后述的系统矩阵H，能够重构分光分离图像。配置滤波器阵列10的位置是任意的，但可以选择滤波器阵列10的编码样式不过度扩散而消失的位置。
光学系统40包括至少1个透镜。在图5A中表示为1个透镜，但光学系统40也可以是多个透镜的组合。光学系统40经由滤波器阵列10在图像传感器60的摄像面上形成像。
图像传感器60是具有以二维排列的多个光检测元件(在本说明书中也称作“像素”)的单色型的光检测器。图像传感器60例如可以是CCD(Charge－Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)传感器、红外线阵列传感器、太赫兹阵列传感器、毫米波阵列传感器。光检测元件例如包括光电二极管。图像传感器60并不需要一定是单色型的传感器。例如，也可以使用具有R/G/B、R/G/B/IR或R/G/B/W的滤波器的彩色型的传感器。通过使用彩色型的传感器，能够增加关于波长的信息量，能够提高分光分离图像的重构的精度。但是，在使用彩色型的传感器的情况下，由于空间方向(x、y方向)的信息量下降，所以关于波长的信息量和分辨率处于权衡关系。取得对象的波长范围可以任意地决定，并不限于可视的波长范围，也可以是紫外、近红外、中红外、远红外、微波/电波的波长范围。
信号处理电路200基于由图像传感器60取得的图像120，重构包含多波长的信息的多个分离图像220W1、220W2、220W3、…、220WN。关于多个分离图像220W1、220W2、220W3、…、220WN及信号处理电路200的图像信号的处理方法的详细情况在后面叙述。另外，信号处理电路200既可以组装到光检测装置300中，也可以是通过有线或无线与光检测装置300电连接的信号处理装置的构成要素。
以下，说明本实施方式的滤波器阵列10。滤波器阵列10配置在从对象物70入射的光的光路上，将入射光的强度按每个波长进行调制并输出。将由滤波器阵列进行的该过程在本说明书中称作“编码”。
图6A是示意地表示滤波器阵列10的例子的图。滤波器阵列10具有以二维排列的多个区域。在本说明书中，有将该区域称作“单元”的情况。在各区域中，配置有具有单独设定的透射光谱的光学滤波器。设入射光的波长为λ，透射光谱由函数T(λ)表示。透射光谱T(λ)可以取0以上1以下的值。
在图6A所示的例子中，滤波器阵列10具有被排列为6行8列的48个矩形区域。这只不过是例示，在实际用途中可以设置比其多的区域。其数量可以是与例如图像传感器等的通常的光检测器的像素数相同程度。该像素数例如可以是几十万至几千万。在图5A的例子中，滤波器阵列10配置在图像传感器60的紧上面，以各区域与光检测器的1个像素对应的方式配置。各区域例如与图像传感器60的1个像素对置。
图6B是表示包含于对象波长域中的多个波段W1、W2、…、WN各自的光的透射率的空间分布的一例的图。在图6B所示的例子中，各区域的浓淡的差异表示透射率的差异。越淡的区域，透射率越高；越浓的区域，透射率越低。如图6B所示，光透射率的空间分布根据波段而不同。
图6C及图6D分别是表示图6A所示的滤波器阵列10的多个区域所包含的区域A1及区域A2的透射光谱的例子的图。区域A1的透射光谱和区域A2的透射光谱互不相同。这样，滤波器阵列10的透射光谱根据区域而不同。但是，并不需要必定全部的区域的透射光谱不同。在滤波器阵列10中，多个区域中的至少一部分区域的透射光谱互不相同。滤波器阵列10包括透射光谱互不相同的2个以上的滤波器。在某例子中，滤波器阵列10所包含的多个区域的透射光谱的样式的数量可以与包含于对象波长域中的波段的数量N相同或是其以上。滤波器阵列10也可以被设计为，使一半以上的区域的透射光谱不同。
图7A及图7B是用来说明对象波长域W与包含于其中的多个波段W1、W2、…、WN的关系的图。对象波长域W根据用途可以设定为各种范围。对象波长域W例如可以是从约400nm到约700nm的可视光的波长域、从约700nm到约2500nm的近红外线的波长域、从约10nm到约400nm的近紫外线的波长域、此外中红外、远红外、太赫兹波或毫米波等的电波域。这样，使用的波长域并不限于可视光域。在本说明书中，并不限于可视光，而为了方便将近紫外线、近红外线及电波等的非可视光也称作“光”。
在图7A所示的例子中，设N为4个以上的任意的整数，设将对象波长域W进行N等分的各个波长域为波段W1、W2、…、WN。但是，并不限定于这样的例子。包含于对象波长域W中的多个波段也可以任意地设定。例如，也可以根据波段将带宽设为不均匀。也可以在相邻的波段之间有间隙或重叠。在图7B所示的例子中，根据波段而带宽不同，并且在相邻的2个波段之间有间隙。这样，多个波段只要互不相同就可以，其决定方式是任意的。波长的分割数N也可以是3以下。
图8A是用来说明滤波器阵列10的某区域中的透射光谱的特性的图。在图8A所示的例子中，透射光谱关于对象波长域W内的波长具有多个极大值P1至P5以及多个极小值。在图8A所示的例子中，以使对象波长域W内的光透射率的最大值为1、最小值为0的方式进行标准化。在图8A所示的例子中，在波段W2及波段WN－1等的波长域中，透射光谱具有极大值。这样，在本实施方式中，各区域的透射光谱在多个波段W1至WN中的至少2个多个波长域中具有极大值。根据图8A可知，极大值P1、极大值P3、极大值P4及极大值P5是0.5以上。
如以上这样，各区域的光透射率根据波长而不同。因而，滤波器阵列10使入射的光中的某波长域的成分较多地透射，使其他波长域的成分几乎不透射。例如可以是，关于N个波段中的k个波段的光，透射率大于0.5，关于其余的N－k个波长域的光，透射率小于0.5。k是满足2≤k<N的整数。假如在入射光是均等地包含全部可视光的波长成分的白色光的情况下，滤波器阵列10将入射光按每个区域调制为关于波长具有离散的多个强度的峰值的光，将这些多波长的光叠加并输出。
图8B是作为一例而表示将图8A所示的透射光谱按每个波长域W1、W2、…、WN进行平均化的结果的图。通过将透射光谱T(λ)按每个波段进行积分并除以该波段的带宽而得到平均化的透射率。在本说明书中，将像这样按每个波段平均化的透射率的值设为该波段的透射率。在该例子中，在取极大值P1、P3及P5的3个波长域中，透射率突出地变高。特别是，在取极大值P3及P5的2个波长域中，透射率超过0.8。
在将滤波器阵列10配置在光检测器的附近或紧上面的情况下，作为滤波器阵列10中的多个区域彼此的间隔的单元间距也可以与光检测器的像素间距大致一致。如果这样，则从滤波器阵列10射出的被编码的光的像的分辨率与像素的分辨率大致一致。通过使透射了各单元的光仅入射到对应的1个像素，能够使后述的运算变得容易。在将滤波器阵列10远离光检测器而配置的情况下，也可以对应于其距离而使单元间距变窄。
在图6A至图6D所示的例子中，设想了各区域的透射率可以取0以上且1以下的任意值的灰色标度的透射率分布。但是，并不需要一定设为灰色标度的透射率分布。例如，也可以采用各区域的透射率能够取大致0或大致1中的某值的二进制标度的透射率分布。在二进制标度的透射率分布中，各区域使对象波长域所包含的多个波长域中的至少2个波长域的光的大部分透射，不使其余的波长域的光的大部分透射。这里“大部分”是指大约80％以上。
也可以将全单元中的一部分、例如一半的单元替换为透明区域。这样的透明区域使包含于对象波长域中的全部波长域W1至WN的光以相同程度的高透射率、例如80％以上的透射率透射。在这样的结构中，多个透明区域例如可以配置为棋盘格状。即，在滤波器阵列10的多个区域的2个排列方向上，可以交替地排列光透射率根据波长而不同的区域和透明区域。
<信号处理的例子>
接着，说明信号处理电路200的处理的例子。信号处理电路200基于从图像传感器60输出的图像120及滤波器阵列10的每个波长的透射率的空间分布特性，重构多波长的分离图像220。这里多波长是指比例如由通常的彩色相机取得的RGB3色的波长域多的波长域。该波长域的数量例如可以是4至100个左右的数量。将该波长域的数量称作波段数。根据用途，波段数也可以超过100。
想要求出的数据是分离图像220，设其数据为f。如果设分光波段数为N，则f是将各波段的图像数据f1、f2、…、fN合并的数据。如果设应求出的图像数据的x方向的像素数为n，设y方向的像素数为m，则图像数据f1、f2、…、fN分别是n×m像素的二维数据的集合。因而，数据f是要素数n×m×N的三维数据。另一方面，由滤波器阵列10编码及复用而取得的图像120的数据g的要素数是n×m。本实施方式的数据g可以由以下的式(1)表示。
[数式3]
Figure BDA0003132460810000151
这里，f1、f2、…、fN是具有n×m个要素的数据。因而，右边的向量严格地讲是n×m×N行1列的一维向量。关于向量g，变换为n×m行1列的一维向量而表示并计算。矩阵H表示将向量f的各成分f1、f2、…、fN用按每个波段而不同的编码信息进行编码及强度调制、并将它们相加的变换。因而，H是n×m行n×m×N列的矩阵。在本说明书中，有将矩阵H称作“系统矩阵”的情况。
另外，如果给出了向量g和矩阵H，则通过解式(1)的逆问题，就应该能够计算f。但是，由于求出的数据f的要素数n×m×N比取得数据g的要素数n×m多，所以该问题成为不良设定问题，不能直接求解。所以，本实施方式的信号处理电路200利用数据f所包含的图像的冗余性，使用压缩感测的方法来求解。具体而言，通过解以下的式(2)，来估计要求出的数据f。
[数式4]
Figure BDA0003132460810000152
这里，f’表示估计出的f的数据。上式的括号内的第1项表示估计结果Hf与取得数据g的偏差量、所谓的残差项。这里将平方和作为残差项，但也可以将绝对值或平方和平方根等作为残差项。括号内的第2项是后述的正规化项或稳定化项。式(2)意味着求出使第1项与第2项之和最小化的f。信号处理电路200通过递归性的反复运算使解收敛，能够计算最终的解f’。
式(2)的括号内的第1项意味着求出取得数据g与将估计过程的f通过矩阵H进行系统变换后的Hf的差分的平方和的运算。第2项的Φ(f)是f的正规化中的制约条件，是反映估计数据的稀疏信息的函数。作为作用，有使估计数据变得平滑或稳定的效果。正规化项例如可以通过f的离散余弦变换(DCT)、小波变换、傅里叶变换或总变分(TV)等表示。例如，在使用总变分的情况下，能够取得抑制了观测数据g的噪声的影响的稳定的推测数据。各个正规化项的空间中的对象物70的稀疏性根据对象物70的纹理而不同。也可以选择对象物70的纹理在正规化项的空间中变得更稀疏的正规化项。或者，也可以在运算中包括多个正规化项。τ是权重系数。权重系数τ越大，冗余的数据的削减量越多，压缩的比例越高。权重系数τ越小，则对解的收敛性越弱。权重系数τ被设定为f某种程度收敛并且不成为过压缩的适度的值。
另外，这里表示了式(2)所示的使用压缩感测的运算例，但也可以使用其他的方法求解。例如，可以使用最大似然估计法或贝叶斯估计法等的其他的统计方法。此外，分离图像220的数量是任意的，各波段也可以任意地设定。在专利文献1中公开了重构方法的详细情况。在本说明书中引用专利文献1的全部公开内容。
<光学滤波器阵列的详细结构>
接着，说明减小所重构的图像的误差的滤波器阵列10的具体的结构例。
在以下的说明中，假设滤波器阵列10中的各滤波器是法布里－珀罗(FP)滤波器。FP滤波器具备第1反射层、第2反射层、以及第1反射层与第2反射层之间的中间层。各反射层可以由电介质多层膜或金属薄膜的某一种形成。中间层具有形成具有至少1个共振模的共振结构的厚度及折射率。与共振模对应的波长的光的透射率变高，其他波长的光的透射率变低。通过将中间层的折射率或厚度按每个滤波器改变，能够实现按每个滤波器而不同的透射光谱。
图9是示意地表示本实施方式的光检测装置300的截面的一部分的图。该光检测装置300具备滤波器阵列10和图像传感器60。滤波器阵列10具备以二维排列的多个滤波器100。多个滤波器100以行及列状排列。图9示意地表示1个行的截面结构。多个滤波器100分别具备共振结构。共振结构是指某波长的光在内部形成驻波而稳定地存在的结构。将该光的状态称作“共振模”。图9所示的共振结构包括第1反射层28a、第2反射层28b、以及第1反射层28a与第2反射层28b之间的中间层26。第1反射层28a及第2反射层28b分别可以由电介质多层膜或金属薄膜形成。中间层26可以由在特定的波长域中为透明的电介质或半导体形成。中间层26例如可以由从由Si、Si3N4、TiO2、Nb2O5、Ta2O5构成的组中选择的至少1种形成。多个滤波器100的中间层26的折射率及厚度中的至少一方根据滤波器而不同。图9所示的例子的多个滤波器100各自的透射光谱在多个波长下具有透射率的极大值。该多个波长分别对应于上述共振结构中的模数不同的多个共振模。在本实施方式中，滤波器阵列10中的全部的滤波器100具备上述的共振结构。滤波器阵列10也可以包括不具有上述共振结构的滤波器。例如，也可以在滤波器阵列10中包括透明滤波器或ND滤波器(Neutral DensityFilter：中性密度滤波器)等的不具有光透射率的波长依赖性的滤波器。
图像传感器60具备多个光检测元件60a。多个光检测元件60a分别与多个滤波器100中的1个对置地配置。多个光检测元件60a分别对特定波长域的光具有灵敏度。该特定波长域相当于上述的对象波长域W。另外，在本发明中“对某波长域的光具有灵敏度”，是指具有检测该波长域的光所需要的实质上的灵敏度。例如，是指该波长域中的外部量子效率是1％以上。光检测元件60a的外部量子效率也可以是10％以上。光检测元件60a的外部量子效率也可以是20％以上。各滤波器100的光透射率取极大值的多个波长都包含于对象波长域W中。
在本说明书中，将具备上述共振结构的滤波器100称作“法布里－珀罗滤波器”。在本说明书中，将具有极大值的透射光谱的部分称作“峰值”，将透射光谱具有极大值的波长称作“峰值波长”。
在滤波器100中，设中间层26的厚度为L，设折射率为n，设向滤波器100入射的光的入射角为θi，设共振模的模数为m。m是1以上的整数。此时，滤波器100的透射光谱的峰值波长λm由以下的式(3)表示。
[数式5]
Figure BDA0003132460810000181
设对象波长域W中的最短波长为λi，设最长波长为λe。在本说明书中，将存在1个满足λi≤λm≤λe的m的滤波器100称作“单模滤波器”。将存在2个以上满足λi≤λm≤λe的m的滤波器100称作“多模滤波器”。以下，说明对象波长域W的最短波长是λi＝400nm、最长波长是λe＝700nm的情况下的例子。
例如，在厚度L＝300nm、折射率n＝1.0、垂直入射θi＝0°的滤波器100中，m＝1时的峰值波长是λ1＝600nm，m≥2的时的峰值波长是λm≥2≤300nm。因而，该滤波器100是在对象波长域W中包含1个峰值波长的单模滤波器。
另一方面，如果使厚度L大于300nm，则在对象波长域W中包含多个峰值波长。例如，在厚度L＝3000nm、n＝1.0、垂直入射θi＝0的滤波器100中，1≤m≤8时的峰值波长是λ1≤m≤8≥750nm，9≤m≤15时的峰值波长是400nm≤λ9≤m≤15≤700nm，m≥16时的峰值波长是λm≥16≤375nm。因而，该滤波器100是在对象波长域W中包含7个峰值波长的多模滤波器。
如以上这样，通过适当地设计滤波器100的中间层26的厚度，能够实现多模滤波器。也可以代替中间层26的厚度而适当地设计滤波器100的中间层26的折射率。或者，也可以适当地设计滤波器100的中间层26的厚度及折射率双方。
图10是示意地表示透射光谱互不相同的多个多模滤波器分别配置在分别为像素的多个光检测元件60a上的情况下的各像素中的透射光谱的例子的图。在图10中，例示了像素A、像素B及像素C中的透射光谱。多个多模滤波器被设计为，按每个像素而峰值波长稍稍不同。这样的设计可以通过使式(3)中的厚度L及/或折射率n稍稍变化来实现。在此情况下，在各像素中，在对象波长域W中出现多个峰值。该多个峰值各自的模数在各像素中相同。图10所示的多个峰值的模数是m、m+1及m+2。本实施方式的光检测装置300能够同时检测按每个作为像素的光检测元件60a而不同的多个峰值波长的光。
接着，说明第1反射层28a及第2反射层28b分别由电介质多层膜形成的情况下的结构例。
图11是示意地表示各反射层由电介质多层膜形成的滤波器100的例子的图。滤波器100设置在基板80上。第1反射层28a及第2反射层28b分别由电介质多层膜形成。即，第1反射层28a及第2反射层28b分别具备多个低折射率层27l和多个高折射率层27h交替地配置的结构。多个低折射率层27l分别具有折射率nl，多个高折射率层27h分别具有比折射率nl高的折射率nh。第1反射层28a中的低折射率层27l和第2反射层28b中的低折射率层27l既可以具有相同的折射率，也可以具有不同的折射率。第1反射层28a中的高折射率层27h和第2反射层28b中的高折射率层27h既可以具有相同的折射率，也可以不具有不同的折射率。
电介质多层膜具备多个成对层。1个成对层包括1个低折射率层27l及1个高折射率层27h。在图11所示的例子中，第1反射层28a及第2反射层28b分别具备包括10层折射率层的5个成对层。在图11所示的例子中，为了在对象波长域W内的特定的波长λ0下得到较高的反射率，将高折射率层27h的厚度设定为th＝λ0/(4nh)，将低折射率层27l的厚度设定为tl＝λ0/(4nl)。换言之，高折射率层27h的厚度th的光学长度及低折射率层27l的厚度tl的光学长度是λ0/4。这里，光学长度是指对厚度乘以折射率而得到的值。特定的波长λ0例如可以设定为对象波长域W的中心波长(λi+λe)/2。
图12是示意地表示各反射层由电介质多层膜形成的滤波器100的另一例的图。在图12所示的例子中，与图11所示的例子不同，在第1反射层28a及第2反射层28b各自中，多个高折射率层27h的厚度及多个低折射率层27l的厚度不均匀。在第1反射层28a及第2反射层28b各自中，低折射率层27l的至少2个具有互不相同的厚度，高折射率层27h的至少2个具有互不相同的厚度。在第1反射层28a及第2反射层28b各自中，多个低折射率层27l各自的光学长度等于与低折射率层27l相邻的高折射率层27h的光学长度。图12所示的电介质多层膜例如可以被设计为，将从波长λs到λl的波长域的光反射。波长λs既可以与上述的波长λi相同，也可以不同。同样，波长λl既可以与上述的波长λe相同，也可以不同。在第1反射层28a及第2反射层28b各自中，如果将多个成对层以距中间层26从远到近的顺序如n＝0到n＝3那样赋予编号，则高折射率层27h的厚度是th(n)＝[λs+n(λl－λs)/3]/(4nh)，低折射率层27l的厚度是tl(n)＝[λs+n(λl－λs)/3]/(4nl)。这样，在第1反射层28a及第2反射层28b各自中，高折射率层27h的厚度th(n)及低折射率层27l的厚度tl(n)双方都从λs/4到λl/4被线性地调制。例如，如果设波长λs＝350nm及波长λl＝700nm，则成对层的各厚度的光学长度从λs/4＝87.5nm到λl/4＝175nm线性地变化。
在图12所示的例子中，较细的线的第1环29a及较粗的线的第2环29b分别表示被限制在滤波器100内的波长λs及波长λl的光。波长λs的光被第1反射层28a中的入射面侧的成对层和第2反射层28b中的基板80侧的成对层反射。波长λl的光被第1反射层28a中的中间层26侧的成对层和第2反射层28b中的中间层26侧的成对层反射。这样，入射光被与其波长对应的成对层反射。由此，电介质多层膜的对象波长域W中的反射率的不均匀被抑制。根据图12所示的结构，能够实现例如如图2所示的透射光谱。
<减小复原误差的光学滤波器阵列的结构例>
接着，说明用来减小复原误差的滤波器阵列10的构成例。
首先，说明将由多个FP滤波器构成的滤波器阵列10用在进行基于压缩感测的复原处理的超光谱相机中的情况下的影响。
图13是用来说明使用在以下的讨论中作为比较对象的、滤波器阵列10的透射特性关于任何波段都为相同程度的理想的滤波器阵列10的情况下的复原特性的图。在图13的例子中，假定有10个波段1至10。关于各波段的透射率分布，用遵循平均透射率0.5、标准偏差0.1的正态分布的0.0至1.0的范围的随机数给出。图14表示对于波段1至10各自的滤波器阵列10的透射率分布的直方图。在该例子中，将包括以矩阵状排列的24个颜色样本的彩色图作为被摄体。在图13的下段示出了通过对由超光谱相机取得的图像进行上述的压缩感测处理而复原的每个波段的图像的例子。图13的中段表示正解图像。在该例子中，使用640×480的二维的滤波器阵列10。此外，使用由8位(即，0至256)的灰阶数表现像素值的图像传感器60。根据从图像传感器60的各像素的像素值换算的透射率的值得到透射率的直方图。
图15是表示每个波段的正解图像与复原图像的误差的图。在该例子中，作为误差而使用平均平方误差(Mean Square Error：MSE)。MSE通过以下的式(4)计算。
[数式6]
Figure BDA0003132460810000211
这里，n及m分别表示纵向及横向的像素数。Ii，j表示位置(i，j)的像素的正解图像的像素值。I’i，j表示位置(i，j)的像素的所重构的各波段的图像的像素值。
在该例子中，由于滤波器阵列10的透射特性在全部波段中是均匀的，所以如图15所示，MSE关于哪个波段都被抑制得较低。MSE的全部波段的平均值是35.6。该值如果换算为图像传感器60的像素值，则大约是5.97，相对于像素值的最大值255，相当于大约2.3％的误差。这样，在滤波器阵列10的透射率的每个波段的平均值及标准偏差均匀的情况下，能够高精度地复原各波段的图像。
图16是用来说明滤波器阵列10的一部分波段的平均透射率低的情况下的复原特性的图。在该例子中，假定使波段4、5、6的平均透射率从0.5变低到0.25的情况。图17表示对于波段4、5、6的滤波器阵列10的透射率的直方图。对于其他的波段，与图14所示的直方图是同样的。图18是表示每个波段的正解图像与复原图像的误差的图。如果滤波器阵列10的特性(在该例中是平均透射率)不均匀，则如图18所示，波段4、5、6的MSE显著地变差，进而其他波段的复原特性也受到其影响而变差。MSE的全部波段的平均值是132。该值如果换算为图像传感器60的像素值，则是约11.5，相对于像素值的最大值255相当于大约4.5％的误差。在该例子中，以波段4至6为对象使平均透射率下降，但在其他任意的波段中也能够观测到相同的趋势。根据该结果可知，通过平均透射率的偏差而复原误差增加。
图19是用来说明如果滤波器阵列10的平均透射率的标准偏差(或方差)变大则MSE增加(即复原变差)的图。图19的纵轴表示从图13所示的例子的MSE的增加量。如图19所示，可知随着平均透射率的标准偏差的增加而MSE以指数函数增加。
这里，对于N个波段中的第i波段(i是1以上且N以下的整数)的光，设包含于滤波器阵列10中的多个光学滤波器的透射率的平均值为μi。滤波器阵列10包括M个(M是4以上的整数)的滤波器，设M个滤波器中的第j个(j是1以上且M以下的整数)滤波器对于第i波段的光的透射率为Tij。于是，透射率的平均值μi由以下的式(5)表示。
[数式7]
Figure BDA0003132460810000221
如果设对于N个波段的透射率的平均值μi的标准偏差为σμ，则σμ由以下的式(6)表示。
[数式8]
Figure BDA0003132460810000222
根据图19所示的曲线图可知，为了构成再现性良好的滤波器阵列10，只要将平均透射率的标准偏差σμ设为某值以下就可以。例如，通过将平均透射率的标准偏差σμ抑制为0.13以下，能够将MSE的增加量抑制为大约100以下。在将平均透射率的标准偏差σμ抑制为0.1以下的情况下，能够将MSE的增加量抑制为大约60以下。在将平均透射率的标准偏差σμ抑制为0.05以下的情况下，能够将MSE的增加量抑制为大约10以下。
图20是用来说明滤波器阵列10对于一部分波段的透射率的标准偏差较小的情况下的复原特性的图。在该例子中，假定了使波段4、5、6的标准偏差从0.1减小到0.04的情况。图21表示对于波段4、5、6的滤波器阵列10的透射率的直方图。对于其他的波段，与图14所示的直方图是同样的。图22是表示每个波段的正解图像与复原图像的误差的图。如果滤波器阵列10的透射特性(在该例中是透射率的标准偏差)不均匀，则如图22所示，除了波段4、5、6以外，其他波段的复原特性也受到其影响而变差。在该例子中，MSE的全部波段的平均值是63.2。该值如果换算为图像传感器60的像素值则大约是7.95，相对于像素值的最大值255相当于大约3.1％的误差。在该例子中，以波段4至6为对象使透射率的标准偏差下降，但在其他任意的波段中也能够观测到相同的趋势。根据其结果可知，通过透射率的标准偏差的下降或偏差而复原误差增加。
图23是用来说明如果滤波器阵列10的透射率的标准偏差的平均值变小则MSE增加(即复原变差)的图。图23中的纵轴表示图13所示的例子中的从MSE的增加量。可知如果透射率的标准偏差的平均值变小，则MSE以指数函数增加。
这里，对于N个波段中的第i波段(i是1以上且N以下的整数)的光，设包含于滤波器阵列10中的多个光学滤波器的透射率的标准偏差为σi。σi由以下的式(7)表示。
[数式9]
Figure BDA0003132460810000231
对于N个波段的透射率的标准偏差σi的平均值μσ，由以下的式(8)表示。
[数式10]
Figure BDA0003132460810000232
根据图23所示的曲线图可知，为了构成再现性良好的滤波器阵列10，只要将透射率的标准偏差σi的平均值μσ设为某值以上就可以。例如，在将标准偏差σi的平均值μσ设为0.05以上的情况下，能够将MSE的增加量抑制为大约200以下。在将标准偏差σi的平均值μσ设为0.07以上的情况下，能够将MSE的增加量抑制为大约100以下。在将标准偏差σi的平均值μσ设为0.08以上的情况下，能够将MSE的增加量抑制为大约50以下。
也可以代替用上述的标准偏差σi的平均值μσ评价，使用表示滤波器阵列10的每个波段的明暗差(即动态范围)的其他指标值进行评价。例如，也可以使用考虑到平均透射率的指标值Ri＝(μi+3σi)/(μi－3σi)。
图24是将该指标值Ri关于全部波段的平均值与MSE的增加量的关系进行标绘的曲线图。该曲线图的趋势与图23是同样的。
指标值Ri关于全部波段的平均值μR由以下的式(9)表示。
[数式11]
Figure BDA0003132460810000233
根据图24所示的曲线图可知，为了构成再现性良好的滤波器阵列10，只要将Ri的平均值μR设为某值以上就可以。例如，在将Ri的平均值μR设为2.0以上的情况下，能够将MSE的增加量抑制为大约200以下。在将Ri的平均值μR设为2.5以上的情况下，能够将MSE的增加量抑制为大约100以下。在将Ri的平均值μR设为3.0以上的情况下，能够将MSE的增加量抑制为大约50以下。
以上的讨论中的滤波器阵列10的光学性质、即对于各波段的平均透射率及透射率的标准偏差，通过对包括大约纵6像素×横6像素的任意区域中的直方图进行计测及解析而能够变得清楚。在这样的滤波器阵列10的透射光谱的测量在技术上较困难的情况下，通过测量对于各波段的反射光谱也同样能够对直方图进行计测及解析。此外，如在滤波器阵列10被集成在图像传感器60中的情况下，也能够计测及解析包括图像传感器60自身的灵敏度特性的直方图。进而，在构成滤波器阵列10的各滤波器为FP滤波器的情况下，通常在由第1反射层、第2反射层以及配置在第1反射层与第2反射层之间的中间层构成的滤波器的厚度与直方图之间有相关。因此，通过测量大约包括纵6像素×横6像素的任意区域中的厚度的分布也能够取得同样的信息。
在构成滤波器阵列10的各滤波器是FP滤波器的情况下，如参照图2说明那样，有越是长波长侧的波段则透射率越高的趋势。因而，在由FP滤波器形成的滤波器阵列10中，第i波段的中心波长λi与对于第i波段的光的多个光学滤波器的透射率的平均值μi具有正相关的情况较多。另外，在上述的实施方式中，主要对多个滤波器以二维排列的滤波器阵列10进行了说明，但多个滤波器也可以以一维排列。在此情况下，作为光检测器也可以使用一维的图像传感器。在测量对象是一维的区域的情况下，也可以采用这样的结构。
产业上的可利用性
本发明的技术例如对于取得多波长的图像的相机及测量设备是有用的。本发明的技术例如也能够应用于面向生物体/医疗/美容的感测、食品的异物/残留农药检查系统、遥感系统及车载感测系统。
标号说明
10 滤波器阵列
40 光学系统
60 图像传感器
70 对象物
80 基板
100 滤波器
120 图像
200 信号处理电路
220 分离图像
300 光检测装置

Claims (9)

1.一种光学滤波器阵列，在生成N个波段各自的图像数据的光检测装置中使用，N是4以上的整数，其中，
具备多个光学滤波器；
上述多个光学滤波器包括上述N个波段各自中的透射率互不相同的多个种类的光学滤波器；
当设上述多个光学滤波器对于上述N个波段中的第i波段的光的透射率的平均值为μi时，
对于上述N个波段的上述透射率的平均值μi的标准偏差σμ由下述数式1表示：
[数式1]
Figure FDA0003132460800000011
i是1以上且N以下的整数；
上述透射率的平均值μi的标准偏差σμ是0.13以下。
2.一种光学滤波器阵列，在生成N个波段各自的图像数据的光检测装置中使用，N是4以上的整数，其中，
具备多个光学滤波器；
上述多个光学滤波器包括上述N个波段各自中的透射率互不相同的多个种类的光学滤波器；
当设上述多个光学滤波器对于上述N个波段中的第i波段的光的透射率的标准偏差为σi时，
对于上述N个波段的上述透射率的标准偏差σi的平均值是0.07以上，i是1以上且N以下的整数。
3.一种光学滤波器阵列，在生成N个波段各自的图像数据的光检测装置中使用，N是4以上的整数，其中，
具备多个光学滤波器；
上述多个光学滤波器包括上述N个波段各自中的透射率互不相同的多个种类的光学滤波器；
当设上述多个光学滤波器对于上述N个波段中的第i波段的光的透射率的平均值为μi，上述多个光学滤波器对于上述第i波段的光的透射率的标准偏差为σi，并且Ri＝(μi+3σi)/(μi－3σi)时，
对于上述N个波段的Ri的平均值是2.0以上，i是1以上且N以下的整数。
4.如权利要求1～3中任一项所述的光学滤波器阵列，其中，
通过使用以规定的灰阶数对光强度进行检测的光检测器计测上述多个光学滤波器各自对于上述第i波段的光的透射率而得到的上述透射率的直方图中的峰值的透射率，小于上述多个光学滤波器对于上述第i波段的光的透射率的平均值μi。
5.如权利要求1～4中任一项所述的光学滤波器阵列，其中，
上述多个光学滤波器中的至少1个是法布里－珀罗滤波器。
6.如权利要求1～4中任一项所述的光学滤波器阵列，其中，
上述多个滤波器中的至少1个具有共振结构，该共振结构包括第1反射层、第2反射层、以及上述第1反射层与上述第2反射层之间的中间层，并且具有模数互不相同的多个共振模。
7.如权利要求1～6中任一项所述的光学滤波器阵列，其中，
上述第i波段的中心波长λi和上述多个光学滤波器对于上述第i波段的光的透射率的平均值μi具有正相关。
8.一种光检测装置，其中，具备：
权利要求1～7中任一项所述的光学滤波器阵列；以及
图像传感器，检测透射了上述光学滤波器阵列的光。
9.一种光检测系统，其中，具备：
权利要求8所述的光检测装置；以及
信号处理电路，基于从上述图像传感器输出的信号，生成对于上述N个波段各自的图像数据。
CN202080007402.8A 2020-01-16 2020-11-06 光学滤波器阵列、光检测装置及光检测系统 Pending CN113439203A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-005094 2020-01-16
JP2020005094 2020-01-16
PCT/JP2020/041439 WO2021145054A1 (ja) 2020-01-16 2020-11-06 光学フィルタアレイ、光検出装置、および光検出システム

Publications (1)

Publication Number Publication Date
CN113439203A true CN113439203A (zh) 2021-09-24

Family

ID=76864154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080007402.8A Pending CN113439203A (zh) 2020-01-16 2020-11-06 光学滤波器阵列、光检测装置及光检测系统

Country Status (5)

Country Link
US (1) US11843876B2 (zh)
EP (1) EP4092397A4 (zh)
JP (1) JP6952283B1 (zh)
CN (1) CN113439203A (zh)
WO (1) WO2021145054A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115461657A (zh) * 2020-05-29 2022-12-09 松下知识产权经营株式会社 滤波器阵列及光检测系统
WO2023106143A1 (ja) 2021-12-08 2023-06-15 パナソニックＩｐマネジメント株式会社 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法
WO2023106142A1 (ja) * 2021-12-08 2023-06-15 パナソニックＩｐマネジメント株式会社 信号処理方法、プログラム、およびシステム
WO2024142683A1 (ja) * 2022-12-27 2024-07-04 パナソニックＩｐマネジメント株式会社 光検出装置、光検出システム、およびフィルタアレイ

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1306288C (zh) * 2005-04-27 2007-03-21 中国科学院上海技术物理研究所 具有平整谐振腔层的滤光片列阵
WO2013116253A1 (en) * 2012-01-30 2013-08-08 Scanadu Incorporated Spatial resolution enhancement in hyperspectral imaging
WO2016057125A1 (en) * 2014-08-25 2016-04-14 Montana State University Microcavity array for spectral imaging
CN105611117B (zh) 2014-11-19 2018-12-07 松下知识产权经营株式会社 摄像装置以及分光系统
JP6478579B2 (ja) 2014-11-20 2019-03-06 キヤノン株式会社 撮像ユニット、撮像装置、及び画像処理システム
US10066990B2 (en) * 2015-07-09 2018-09-04 Verifood, Ltd. Spatially variable filter systems and methods
FR3050526B1 (fr) * 2016-04-25 2018-05-25 Commissariat A L'energie Atomique Et Aux Energies Alternatives Dispositif de detection de rayonnement electromagnetique a structure d’encapsulation comportant au moins un filtre interferentiel
WO2017199988A1 (ja) * 2016-05-18 2017-11-23 旭硝子株式会社 エレクトロクロミック素子
JP6756288B2 (ja) * 2017-03-24 2020-09-16 株式会社リコー 画像処理システム、マルチバンドフィルタ、及び撮像装置
RU2758202C2 (ru) * 2017-05-25 2021-10-26 10103560 Кэнэда Лтд. Высокоэффективное мультиплексирование
JP2019114602A (ja) * 2017-12-21 2019-07-11 ソニーセミコンダクタソリューションズ株式会社 電磁波処理装置
JP7284502B2 (ja) * 2018-06-15 2023-05-31 大学共同利用機関法人情報・システム研究機構 画像処理装置及び方法

Also Published As

Publication number Publication date
US20210377498A1 (en) 2021-12-02
JPWO2021145054A1 (zh) 2021-07-22
WO2021145054A1 (ja) 2021-07-22
EP4092397A1 (en) 2022-11-23
JP6952283B1 (ja) 2021-10-20
EP4092397A4 (en) 2023-06-07
US11843876B2 (en) 2023-12-12

Similar Documents

Publication Publication Date Title
US9880053B2 (en) Image pickup apparatus, spectroscopic system, and spectroscopic method
CN113439203A (zh) 光学滤波器阵列、光检测装置及光检测系统
JP2016156801A (ja) 撮像装置および分光システム
JP6945195B2 (ja) 光学フィルタ、光検出装置、および光検出システム
WO2021085014A1 (ja) フィルタアレイおよび光検出システム
CN113167649B (zh) 光检测装置、光检测系统及滤光器阵列
US20210341657A1 (en) Photodetection device, photodetection system, and filter array
JP7142251B2 (ja) フィルタアレイおよび光検出システム
CN117178290A (zh) 图像处理装置、摄像系统及估计复原图像的误差的方法
WO2023286613A1 (ja) フィルタアレイ、光検出装置、および光検出システム
WO2023106143A1 (ja) 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法
WO2023106142A1 (ja) 信号処理方法、プログラム、およびシステム
WO2021235151A1 (ja) フィルタアレイおよび光検出システム
JP2021110869A (ja) 光学フィルタ、および光検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination