CN117546061A - 滤波器阵列、光检测装置及光检测系统 - Google Patents

滤波器阵列、光检测装置及光检测系统 Download PDF

Info

Publication number
CN117546061A
CN117546061A CN202280044198.6A CN202280044198A CN117546061A CN 117546061 A CN117546061 A CN 117546061A CN 202280044198 A CN202280044198 A CN 202280044198A CN 117546061 A CN117546061 A CN 117546061A
Authority
CN
China
Prior art keywords
light
filter array
wavelength
bands
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280044198.6A
Other languages
English (en)
Inventor
石川笃
八子基树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN117546061A publication Critical patent/CN117546061A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/26—Reflecting filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/28—Interference filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/28—Interference filters
    • G02B5/285—Interference filters comprising deposited thin solid films
    • G02B5/288—Interference filters comprising deposited thin solid films comprising at least one thin film resonant cavity, e.g. in bandpass filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4228—Photometry, e.g. photographic exposure meter using electric radiation detectors arrangements with two or more detectors, e.g. for sensitivity compensation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2806—Array and filter array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

一种滤波器阵列，是在生成N个(N为4以上的整数)波段各自的图像数据的光检测系统中使用的滤波器阵列(10)，包括上述N个波段各自中的光透射率互不相同的多个光学滤波器，在设关于上述N个波段中的第i波段(i为1以上且N以下的整数)的光的与上述多个光学滤波器一对一地对应的多个透射率的平均值为μi，设关于上述第i波段的光的与上述多个光学滤波器一对一地对应的上述多个透射率的标准偏差为σi的情况下，(σ1/μ1)≥0.1，…，(σN/μN)≥0.1。

Description

滤波器阵列、光检测装置及光检测系统
技术领域
本公开涉及滤波器阵列、光检测装置及光检测系统。
背景技术
通过利用分别为窄带的许多个波段、例如几十个波段的光谱信息，能够掌握通过以往的RGB图像不能掌握的对象物的详细的物性。取得这样的多波长的信息的相机被称为“高光谱相机”。高光谱相机利用于食品检查、生物体检查、医药品开发及矿物的成分分析等各种领域。
专利文献1及2公开了利用压缩感测的高光谱相机的例子。例如，专利文献1公开了一种摄像装置，具备：编码元件，其是光透射率的波长依赖性互不相同的多个光学滤波器的阵列；以及图像传感器，检测透射了编码元件的光。图像传感器通过按每个像素同时检测多个波段的光，取得1个波长复用图像。通过对所取得的波长复用图像应用压缩感测，重构关于多个波段各自的图像。
现有技术文献
专利文献
专利文献1：美国专利申请公开第2016/138975号说明书
专利文献2：日本特开2016－100703号公报
发明内容
本公开提供用来减小伴随于多个波段的图像的重构(reconstruction)的误差的技术。
有关本公开的一技术方案的滤波器阵列，是在生成N个(N为4以上的整数)波段各自的图像数据的光检测系统中使用的滤波器阵列，包括上述N个波段各自中的光透射率互不相同的多个光学滤波器，在设关于上述N个波段中的第i波段(i为1以上且N以下的整数)的光的与上述多个光学滤波器一对一地对应的多个透射率的平均值为μi，设关于上述第i波段的光的与上述多个光学滤波器一对一地对应的上述多个透射率的标准偏差为σi的情况下，(σ1/μ1)≥0.1，…，(σN/μN)≥0.1。
本公开的包含性或具体的形态也可以由系统、装置、方法、集成电路、计算机程序或计算机可读取的记录介质实现，也可以由系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合实现。计算机可读取的记录介质例如包括CD-ROM(Compact Disc—ReadOnly Memory)等的非易失性的记录介质。装置也可以由1个以上的装置构成。在装置由两个以上的装置构成的情况下，该两个以上的装置既可以配置在1个设备内，也可以分开配置在分离的两个以上的设备内。在本说明书及权利要求书中，“装置”不仅可以指1个装置，还可以指由多个装置构成的系统。“系统”所包含的多个装置中也可以包括设置在离开其他装置的远程地且经由通信网络连接的装置。
根据本公开的一技术方案，能够减小伴随于多个波段的图像的重构的误差。
附图说明
图1A是用来说明滤波器阵列的光学特性的图。
图1B是表示透射率的直方图的一例的图。
图2A是示意地表示本公开的例示性的实施方式的光检测系统的图。
图2B是示意地表示本公开的例示性的实施方式的光检测系统的变形例的图。
图2C是示意地表示本公开的例示性的实施方式的光检测系统的另一变形例的图。
图3A是示意地表示滤波器阵列的例子的图。
图3B是表示滤波器阵列的光透射率的空间分布的一例的图。
图3C是表示滤波器的透射光谱的例子的图。
图3D是表示滤波器的透射光谱的另一例的图。
图4A是用来说明对象波长域W与其中包含的多个波段W1、W2、…、WN的关系的图。
图4B是用来说明对象波长域W与其中包含的多个波段W1、W2、…、WN的关系的图。
图5A是用来说明滤波器阵列的某个区域中的透射光谱的特性的图。
图5B是表示将图5A所示的透射光谱按波长域W1、W2、…、WN的每一个进行平均化的结果的图。
图6是示意地表示例示性的实施方式的光检测装置的截面的一部分的图。
图7是示意地表示法布里-珀罗滤波器的例子的图。
图8A是示意地表示图6所示的光检测装置中包含的滤波器阵列的透射光谱的图。
图8B是示意地表示图6所示的光检测装置中包含的图像传感器的灵敏度谱的图。
图8C是示意地表示图6所示的光检测装置的输出光谱的图。
图9是示意地表示考虑图像传感器的灵敏度的波长依赖性的情况和不考虑的情况下的关于某波段的像素值的直方图的图。
图10是表示关于全部波段的σ/μ与MSE的全部波段的平均值的关系的曲线图。
图11是用来说明使用透射特性关于哪个波段都为相同程度的理想的滤波器阵列的情况下的复原特性的图。
具体实施方式
在本公开中，电路、单元、装置、部件或部的全部或一部分、或框图中的功能块的全部或一部分例如也可以由包括半导体装置、半导体集成电路(IC)或LSI(large scaleintegration)的1个或多个电子电路执行。LSI或IC既可以集成到1个芯片上，也可以将多个芯片组合而构成。例如，也可以将存储元件以外的功能块集成到1个芯片上。这里称为LSI或IC，但根据集成的程度而叫法变化，也可以称为系统LSI、VLSI(very large scaleintegration)或ULSI(ultra large scale integration)。也可以以相同的目的使用可在LSI的制造后编程的Field Programmable Gate Array(FPGA)、或能够进行LSI内部的接合关系的重构或LSI内部的电路划分的设置的reconfigurable logic device。
进而，电路、单元、装置、部件或部的全部或一部分的功能或操作可以通过软件处理来执行。在此情况下，将软件记录到1个或多个ROM、光盘、硬盘驱动器等的非暂时性记录介质中，在软件被处理装置(processor)执行时，由该软件确定的功能被处理装置(processor)及周边装置执行。系统或装置也可以具备记录有软件的1个或多个非暂时性记录介质、处理装置(processor)及需要的硬件设备、例如接口。
以下，说明本公开的例示性的实施方式。另外，以下说明的实施方式都表示包含性或具体的例子。在以下的实施方式中表示的数值、形状、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，不是限定本发明的意思。此外，关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。此外，各图是示意图，并不一定是严密地图示的。进而，在各图中，对于实质上相同的构成要素赋予相同的标号，有将重复的说明省略或简化的情况。
在说明本公开的实施方式之前，说明由本申请发明人们发现的认识。
在利用压缩感测的高光谱相机中，编码元件即光学滤波器阵列的光学性质影响重构的图像的品质。在本说明书中，将光学滤波器阵列简单称作“滤波器阵列”。在滤波器阵列的特性不适当的情况下，被复原的图像的误差变大，所以不能得到高品质的重构图像。在数学上来讲，也可以是在空间上及频率上(即波长上)进行随机的采样的理想的滤波器阵列。但是，现实上制作这样的理想的随机的滤波器阵列并不容易。此外，如后述那样要求设计还考虑了图像传感器60的灵敏度特性的滤波器阵列，所以关于能够减小伴随于多个波段的图像的重构的误差的滤波器阵列的具体的结构，有改善的余地。
以下，说明本公开的实施方式的概要。
图1A是用来说明本公开的实施方式的滤波器阵列10的光学特性的图。图1A所示的滤波器阵列10包括多个光学滤波器。多个光学滤波器二维地排列。多个光学滤波器包括光透射特性不同的多种光学滤波器。多个光学滤波器例如可以使用多层膜、有机材料、衍射光栅结构或含有金属的微细结构构成。滤波器阵列10在生成多个波段各自的图像数据的光检测装置中使用。设波段的数量为N(N为4以上的整数)。按每个波段，滤波器阵列10的光透射率的分布不同。在图1中，关于各波段的光透射率的空间样式被表现为马赛克样式。
这里，关于第i(i为1以上且N以下的整数)波段，考虑滤波器阵列10中的多个光学滤波器的透射率的直方图。图1B表示本公开的实施方式的滤波器阵列10的透射率的直方图的一例。该直方图表示将横轴设为透射率、将纵轴设为具有该透射率的滤波器的数量的分布。根据该直方图，能得到关于第i波段的光的平均透射率μi和标准偏差σi。本公开的实施方式的滤波器阵列10的透射率的直方图具有有限的标准偏差σi。平均透射率μi及标准偏差σi可以如以下这样导出。
设关于N个波段中的第i波段(i为1以上且N以下的整数)的光，滤波器阵列10中包含的多个光学滤波器的透射率的平均值为μi。设滤波器阵列10包括M个(M为4以上的整数)滤波器，M个滤波器中的第j个(j为1以上且M以下的整数)滤波器的关于第i波段的光的透射率为Tij。于是，透射率的平均值μi由以下的式(1)表示。
[数式1]
如果设关于N个波段的透射率的平均值μi的标准偏差为σμ，则σμ由以下的式(2)表示。
[数式2]
与第i波段的光的透射率对应的滤波器阵列10中包含的滤波器数的直方图可以通过使用以规定的灰阶数检测光强度的光检测器对滤波器阵列10中的各光学滤波器的透射率进行计测来得到。例如，能够使用能够以8比特或16比特等的规定的灰阶数检测光强度的二维分布的图像传感器等的光检测器来得到直方图。具体而言，能够根据在配置有滤波器阵列10的状态下检测到的第i波段的光的强度与在没有配置滤波器阵列10的状态下检测到的第i波段的光的强度之比，求出滤波器阵列10中的各滤波器的第i波段的光的透射率。根据用上述的方法取得的各滤波器的透射率的数据，能够得到如图1B所例示的直方图。此外，在难以取得滤波器的透射率的数据的情况下，可以基于从检测经由滤波器阵列10的光的图像传感器输出的像素值，得到考虑了图像传感器的灵敏度的波长依赖性的直方图。基于从图像传感器输出的像素来取得的该直方图反映了滤波器的透射率的特性。另外，在图1B中，为了简单而例示了接近于正态分布的直方图。通过实际的滤波器阵列10，能够取得与图1B不同形状的直方图。由于透射率的波长依赖性根据滤波器而不同，所以直方图的形状按每个波段不同。因而，多个滤波器的透射率的平均值及标准偏差也按每个波段不同。
在利用压缩感测的高光谱相机中，通过使用压缩感测方法来求解以滤波器阵列10的光学性质为参数的不良设定问题，可估计/取得多个波段的图像。详细情况后述，但本申请发明人们发现，在压缩感测中使用的递归性的反复运算的情况下，滤波器阵列10的多个滤波器的每个波段的透射率的平均值是均匀的，透射率的标准偏差越大则解的收敛性越好，所重构的图像的误差也越减小。
即，本申请发明人们想到，为了减小伴随于多个波段的图像的重构的误差，优选的是设计为，使滤波器阵列10的每个波段的平均透射率均匀，并且使透射率的标准偏差为一定值以上。但是，由于穿过滤波器阵列10后的光被灵敏度具有波长依赖性的图像传感器检测，所以在具备滤波器阵列10及图像传感器的光检测装置中，所输出的像素值的平均值及标准偏差与滤波器阵列10的透射率的平均值及标准偏差分别不同。因而，实际上需要考虑图像传感器的灵敏度的波长依赖性来设计滤波器阵列10。
本申请发明人们发现上述的课题，研究了用来解决这些课题的滤波器阵列10的结构。根据本公开的某实施方式，滤波器阵列10被设计为，关于全部波段，使透射率的标准偏差除以平均透射率而得到的值为一定值以上。通过这样的设计，能够与图像传感器的灵敏度的波长依赖性无关地减小每个波段的图像的复原误差。以下，说明本公开的实施方式的滤波器阵列、光检测装置及光检测系统。
有关第1技术方案的滤波器阵列，是在生成N个(N为4以上的整数)波段各自的图像数据的光检测系统中使用的滤波器阵列，包括上述N个波段各自中的光透射率互不相同的多个光学滤波器，在设关于上述N个波段中的第i波段(i为1以上且N以下的整数)的光的与上述多个光学滤波器一对一地对应的多个透射率的平均值为μi，设关于上述第i波段的光的与上述多个光学滤波器一对一地对应的上述多个透射率的标准偏差为σi的情况下，(σ1/μ1)≥0.1，…，(σN/μN)≥0.1。
在该滤波器阵列中，能够减小伴随于多个波段的图像的重构的误差。
有关第2技术方案的滤波器阵列在有关第1技术方案的滤波器阵列中，上述多个光学滤波器中的至少1个光学滤波器是法布里-珀罗滤波器。
在该滤波器阵列中，通过使用法布里-珀罗滤波器，能够实现σi/μi为0.1以上。
有关第3技术方案的滤波器阵列在有关第1或第2技术方案的滤波器阵列中，上述多个光学滤波器中的至少1个光学滤波器具备共振结构，该共振结构包括第1反射层、第2反射层以及上述第1反射层与上述第2反射层之间的中间层，并且具有阶数互不相同的多个共振模。
在该滤波器阵列中，通过将中间层的折射率或厚度按每个滤波器改变，能够实现按每个滤波器而不同的透射光谱。
有关第4技术方案的光检测装置，是在生成N个(N为4以上的整数)波段各自的图像数据的光检测系统中使用的光检测装置。上述光检测装置具备：多个光学滤波器，上述N个波段各自中的光透射率互不相同；以及图像传感器，检测经由上述多个光学滤波器的光。上述图像传感器通过仅检测与上述N个波段中的第i波段(i为1以上且N以下的整数)对应的光，输出表示与上述第i波段对应的像素值分布的数据。在设与上述第i波段对应的上述像素值分布的像素值的平均值为μi，设与上述第i波段对应的上述像素值分布的像素值的标准偏差为σi的情况下，(σ1/μ1)≥0.1，…，(σN/μN)≥0.1。
在该光检测装置中，能够减小伴随于多个波段的图像的重构的误差。
有关第5技术方案的光检测装置在有关第4技术方案的光检测装置中，上述多个光学滤波器中的至少1个光学滤波器是法布里-珀罗滤波器。
在该光检测装置中，通过使用法布里-珀罗滤波器，能够实现σi/μi为0.1以上。
有关第6技术方案的光检测装置在有关第4或第5技术方案的光检测装置中，上述多个光学滤波器中的至少1个光学滤波器具备共振结构，该共振结构包括第1反射层、第2反射层以及上述第1反射层与上述第2反射层之间的中间层，并且具有阶数互不相同的多个共振模。
在该滤波器阵列中，通过将中间层的折射率或厚度按每个滤波器改变，能够实现按每个滤波器而不同的透射光谱。
有关第7技术方案的光检测装置在有关第4至第6技术方案的任一项的光检测装置中，上述多个光学滤波器各自的透射光谱在对象波长域所包含的多个波长各自中具有透射率的极大值。上述图像传感器包括多个光检测元件。上述多个光检测元件分别配置在接受透射了上述多个光学滤波器中的至少1个光学滤波器的透射光的位置，并且检测上述透射光中包含的上述多个波长的光。
在该光检测装置中，通过对由检测到上述光的图像传感器输出的信号进行处理，能够重构多个波段的图像。
有关第8技术方案的光检测系统具备：有关第4至第7技术方案的任一项的光检测装置；以及信号处理电路，基于从上述图像传感器输出的信号，生成关于上述N个波段各自的上述图像数据。
在该光检测系统中，能够减小伴随于多个波段的图像的重构的误差。
有关第9技术方案的光检测系统在有关第8技术方案的光检测系统中，上述信号处理电路通过进行利用压缩感测的运算，生成上述图像数据。
在该光检测系统中，能够高精度地生成关于N个波段各自的图像数据。
在本说明书中，有时将表示图像的信号(即，表示各像素的像素值的信号的集合)简单称作“图像”。在以下的说明中，使用图中所示的xyz坐标。
(实施方式)
<光检测系统>
图2A是示意地表示本公开的例示性的实施方式的光检测系统400的图。光检测系统400具备光学系统40、滤波器阵列10、图像传感器60和信号处理电路200。滤波器阵列10具有与专利文献1中公开的“编码元件”同样的功能。因此，也可以将滤波器阵列10称作“编码元件”。光学系统40及滤波器阵列10配置在从对象物70入射的光的光路上。
滤波器阵列10具备以行及列状排列的透光性的多个区域。滤波器阵列10是光的透射光谱即光透射率的波长依赖性根据区域而不同的光学元件。滤波器阵列10将入射的光的强度调制并使其穿过。关于滤波器阵列10的结构的详细情况在后面叙述。
滤波器阵列10可以配置在图像传感器60的附近或紧上方。这里“附近”是指以来自光学系统40的光的像在某种程度鲜明的状态下形成于滤波器阵列10的面上的程度接近。“紧上方”是指两者以几乎不发生间隙的程度接近。滤波器阵列10及图像传感器60也可以被一体化。将具备滤波器阵列10及图像传感器60的装置称为“光检测装置300”。
滤波器阵列10也可以从图像传感器60离开而配置。图2B及图2C表示滤波器阵列10从图像传感器60离开而配置的结构的例子。在图2B的例子中，滤波器阵列10配置在光学系统40与图像传感器60之间。在图2C的例子中，滤波器阵列10配置在对象物70与光学系统40之间。在这些例子中，由滤波器阵列10编码的像在图像传感器60的摄像面上以模糊的状态被取得。因而，预先保存该模糊信息，通过使该模糊信息反映到在后述的运算处理中使用的系统矩阵H中，能够重构分离图像220。这里，模糊信息由点扩散函数(Point SpreadFunction：PSF)表示。PSF是规定点像向周边像素的扩散程度的函数。例如，在图像上相当于1个像素的点像通过模糊而向该像素的周围的k×k像素的区域扩散的情况下，PSF可以规定为表示对该区域内的各像素的像素值的影响的系数群、即矩阵。通过使基于PSF的编码样式的模糊的影响反映到后述的系统矩阵H中，能够重构分离图像220。配置滤波器阵列10的位置是任意的，但可以选择滤波器阵列10的编码样式不会过度扩散而消失的位置。
光学系统40至少包括1个透镜。在图1中表示为1个透镜，但光学系统40也可以是多个透镜的组合。光学系统40经由滤波器阵列10在图像传感器60的摄像面上形成像。
图像传感器60是具有二维地排列的多个光检测元件(在本说明书中也称作“像素”)的单色型的光检测器。图像传感器60例如可以是CCD(Charge－Coupled Device：电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)传感器、红外线阵列传感器、太赫兹阵列传感器、毫米波阵列传感器。光检测元件例如包括光电二极管。图像传感器60并不需要一定是单色型的传感器。例如，图像传感器60也可以使用彩色型的传感器。彩色型的传感器包括具有使红色光透射的滤波器、使绿色光透射的滤波器、使蓝色光透射的滤波器的传感器、具有使红色光透射的滤波器、使绿色光透射的滤波器、使蓝色光透射的滤波器、使红外线透射的滤波器的传感器、或者具有使红色光透射的滤波器、使绿色光透射的滤波器、使蓝色光透射的滤波器、使白色光透射的滤波器的传感器。通过使用彩色型的传感器，能够增加与波长有关的信息量，能够提高分离图像220的重构精度。但是，在使用彩色型的传感器的情况下，由于空间方向(x、y方向)的信息量下降，所以与波长有关的信息量和分辨率处于折衷(trade-off)关系。取得对象的波长范围可以任意地决定，并不限于可视的波长范围，也可以是紫外、近红外、中红外、远红外、微波/电波的波长范围。
信号处理电路200基于由图像传感器60取得的图像120，重构包含多波长的信息的多个分离图像220。关于多个分离图像220及信号处理电路200的图像信号的处理方法的详细情况在后面叙述。另外，信号处理电路200既可以组装在光检测装置300中，也可以是通过有线或无线与光检测装置300电连接的信号处理装置的构成要素。
以下，说明本实施方式的滤波器阵列10。滤波器阵列10配置在从对象物70入射的光的光路上，将入射光的强度按每个波长调制并输出。在本说明书中将由滤波器阵列进行的该过程称作“编码”。
图3A是示意地表示滤波器阵列10的例子的图。滤波器阵列10具有二维地排列的多个区域。在本说明书中，有时将该多个区域分别称作“单元”。在各区域中，配置有具有单独地设定的透射光谱的光学滤波器。设入射光的波长为λ时，透射光谱由函数T(λ)表示。透射光谱T(λ)能够取0以上且1以下的值。
在图3A的例子中，滤波器阵列10具有以6行8列排列的48个矩形区域。这只不过是例示，在实际的用途中可以设置比这多的区域。其数量例如可以是与图像传感器等的一般的光检测器的像素数相同的程度。该像素数例如可以是几十万到几千万。在图2A的例子中，滤波器阵列10配置在图像传感器60的紧上方，以各区域与光检测器的1个像素对应的方式配置。各区域例如与图像传感器60的1个像素对置。
图3B是表示对象波长域中包含的波段W1、波段W2、…、波段WN各自的光的透射率的空间分布的一例的图。在图3B的例子中，各区域的深浅的差异表示透射率的差异。越浅的区域则透射率越高，越深的区域则透射率越低。如图3B所示，光透射率的空间分布根据波段而不同。
图3C及图3D分别是表示图3A所示的滤波器阵列10的多个区域中包含的区域A1及区域A2的透射光谱的例子的图。区域A1的透射光谱和区域A2的透射光谱互不相同。这样，滤波器阵列10的透射光谱根据区域而不同。但是，并不一定需要全部区域的透射光谱不同。在滤波器阵列10中，多个区域中的至少一部分区域的透射光谱互不相同。滤波器阵列10包括透射光谱互不相同的两个以上的滤波器。在一例中，滤波器阵列10中包含的多个区域的透射光谱的样式的数量可以与对象波长域中包含的波段的数量N相同或为其以上。滤波器阵列10也可以被设计为，半数以上的区域的透射光谱不同。此外，如图3C及图3D所示，各个滤波器也可以被设计为，在对象波长域中使与多个峰值对应的波长的光透射。
图4A及图4B是用来说明对象波长域W与其中包含的波段W1、波段W2、…、波段WN的关系的图。对象波长域W根据用途可以设定为各种各样的范围。对象波长域W例如可以是从约400nm到约700nm的可视光的波长域、从约700nm到约2500nm的近红外线的波长域、从约10nm到约400nm的近紫外线的波长域，除此以外可以是中红外、远红外、太赫兹波或毫米波等的电波域。这样，使用的波长域并不限于可视光域。在本说明书中，并不限于可视光，为方便起见，将近紫外线、近红外线及电波等的非可视光也称作“光”。
在图4A所示的例子中，设N为4以上的任意的整数，设将对象波长域W进行N等分后的各个波长域为波段W1、波段W2、…、波段WN。但是，并不限定于这样的例子。对象波长域W中包含的多个波段也可以任意地设定。例如，也可以根据波段而将带宽设为不均匀。也可以在相邻的波段之间有间隙或重叠。在图4B所示的例子中，根据波段而带宽不同，并且在相邻的两个波段之间有间隙。这样，多个波段只要互不相同即可，其决定方式是任意的。波长的分割数N也可以是3以下。
图5A是用来说明滤波器阵列10的某区域中的透射光谱的特性的图。在图5A所示的例子中，透射光谱关于对象波长域W内的波长具有多个极大值(即，极大值P1、～、极大值P5)及多个极小值。在图5A所示的例子中进行了标准化，以使对象波长域W内的光透射率的最大值为1、最小值为0。在图5A所示的例子中，在波段W2及波段WN－1等的波长域中，透射光谱具有极大值。这样，在本实施方式中，各区域的透射光谱在多个波段W1至WN中的至少两个波段中具有极大值。结果，各区域的透射光谱在对象波长域W中包含的多个波长各自中具有透射率的极大值。根据图5A可知，极大值P1、极大值P3、极大值P4及极大值P5是0.5以上。
如以上这样，各区域的光透射率根据波长而不同。因而，滤波器阵列10使入射的光中的某波长域的成分较多地透射，使其他波长域的成分不怎么透射。例如可以是，关于N个波段中的k个波段的光，透射率比0.5大，关于其余的N－k个波长域的光，透射率小于0.5。k是满足2≤k<N的整数。假如入射光是均等地包含全部可视光的波长成分的白色光的情况下，滤波器阵列10将入射光调制为按每个区域关于波长具有离散的多个强度的峰值的光，将这些多波长的光叠加并输出。
图5B是表示作为一例而将图5A所示的透射光谱按波长域W1、波长域W2、…、波长域WN的每一个进行了平均化的结果的图。平均化的透射率通过将透射光谱T(λ)按每个波段积分并除以该波段的带宽而得到。在本说明书中，将这样按每个波段进行了平均化的透射率的值设为该波段中的透射率。在该例中，在取极大值P1、极大值P3及极大值P5的3个波长域中，透射率突出地变高。特别是，在取极大值P3及极大值P5的两个波长域中，透射率超过0.8。
在将滤波器阵列10配置在光检测器的附近或者紧上方的情况下，也可以使滤波器阵列10中的多个区域的相互的间隔即单元间距与光检测器的像素间距大致一致。如果这样，则从滤波器阵列10射出的编码后的光的像的分辨率与像素的分辨率大致一致。通过使透射了各单元的光仅入射到对应的1个像素中，能够使后述的运算变得容易。在将滤波器阵列10从光检测器分离而配置的情况下，也可以根据其距离使单元间距变窄。
在图3A至图3D所示的例子中，设想了各区域的透射率可以取0以上且1以下的任意的值的灰色标度的透射率分布。但是，并不一定需要设为灰色标度的透射率分布。例如，也可以采用各区域的透射率能够取大致0或大致1的某个值的二进制标度的透射率分布。在二进制标度的透射率分布中，各区域使对象波长域中包含的多个波长域中的至少两个波长域的光的大部分透射，使其余的波长域的光的大部分不透射。这里，“大部分”是指大约80％以上。
也可以将全部单元中的一部分、例如一半的单元替换为透明区域。这样的透明区域使对象波长域中包含的全部的波长域W1至WN的光以相同程度的高透射率、例如80％以上的透射率透射。在这样的结构中，多个透明区域例如可以配置为棋盘格状。即，在滤波器阵列10中的多个区域的两个排列方向上，可以将光透射率根据波长而不同的区域和透明区域交替地排列。
<信号处理的例子>
接着，说明信号处理电路200的处理的例子。信号处理电路200基于从图像传感器60输出的图像120及滤波器阵列10的每个波长的透射率的空间分布特性，重构多波长的分离图像220。这里，多波长是指例如比由通常的彩色相机取得的RGB这3色的波长域多的波长域。该波长域的数量例如可以是4至100左右的数量。将该波长域的数量称作波段数。根据用途，波段数也可以超过100。
想要求出的数据是分离图像220，将其数据设为f。如果设分光频带数为N，则f是包括与波段W1对应的图像数据f1、与波段W2对应的图像数据f2、…、与波段WN对应的图像数据fN的数据。如果设应求出的图像数据的x方向的像素数为n，设y方向的像素数为m，则图像数据f1、图像数据f2、…、图像数据fN分别是n×m像素的二维数据。因而，数据f是要素数n×m×N的三维数据。另一方面，由滤波器阵列10编码及复用而取得的图像120的数据g的要素数是n×m。本实施方式的图像120的数据g可以由以下的式(3)表示。
[数式3]
这里，f1、f2、…、fN分别是具有n×m个要素的数据。因而，右边的向量是n×m×N行1列的一维向量。式(3)中的图像120的数据g是n×m行1列的一维向量。矩阵H表示将向量f的各成分f1、f2、…、fN用按每个波段而不同的编码信息进行编码及强度调制并将它们相加的变换。因而，H是n×m行n×m×N列的矩阵。在本说明书中，有时将矩阵H称作“系统矩阵”。式(3)中的系统矩阵H的作用相当于由图像传感器60取得通过滤波器阵列10编码及强度调制后的图像。矩阵H的要素根据滤波器阵列10的各光学滤波器的透射率和图像传感器60的灵敏度的波长依赖性来决定。
如果给出了向量g和矩阵H，则通过求解式(3)的逆问题，应该能够计算f。但是，由于要求出的数据f的要素数n×m×N比取得数据g的要素数n×m多，所以该问题是不良设定问题，在这个状态下不能求解。所以，本实施方式的信号处理电路Pr利用数据f中包含的图像的冗余性，使用压缩感测方法来求解。具体而言，通过解以下的式(4)，来估计要求出的数据f。
[数式4]
这里，f’表示估计出的f的数据。上式的括号内的第1项表示估计结果Hf与取得数据g的偏差量、所谓的残差项。这里将平方和设为残差项，但也可以将绝对值或平方和平方根等作为残差项。括号内的第2项是后述的正则化项或稳定化项。式(4)意味着求出使第1项与第2项之和最小化的f。信号处理电路200能够通过递归性的反复运算使解收敛，计算出最终的解f’。
式(4)的括号内的第1项是指求出取得数据g与通过矩阵H对估计过程的f进行系统变换而得到的Hf的差分的平方和的运算。第2项的Φ(f)是f的正则化的制约条件，是反映了估计数据的稀疏信息的函数。作为作用，有使估计数据变得平滑或稳定的效果。正则化项例如可以通过f的离散余弦变换(DCT)、小波变换、傅里叶变换或总变分(TV)等表示。例如，在使用总变分的情况下，能够取得抑制了观测数据g的噪声的影响的稳定的估计数据。各个正则化项的空间中的对象物70的稀疏性根据对象物70的纹理(Texture)而不同。也可以选择对象物70的纹理在正则化项的空间中更稀疏的正则化项。或者，也可以在运算中包含多个正则化项。Τ是权重系数。权重系数τ越大，则冗余的数据的削减量越多，压缩的比例越高。权重系数τ越小，则向解的收敛性越弱。权重系数τ被设定为，f以某种程度收敛并且不会成为过压缩的适当的值。
式(3)、式(4)中包含的
[数式6]
g
在与式(3)、式(4)关联的记载中有时被标记为g。
这里，定性地说明本申请发明人们对滤波器阵列10的光学性质对式(4)的解的收敛性带来的影响进行研究的结果。首先，多个滤波器的每个波段的透射率的标准偏差相当于每个波段的编码中的随机性。因而可以想到，通过增大标准偏差，能够提高编码性能，能够提高解的收敛性。接着，在多个滤波器的透射率的平均值按每个波段不均匀的情况下，通过基于系统矩阵H的变换的作用，估计过程的数据f也不会按每个波段均匀。结果，使式(4)的正则化项的估计数据平滑或稳定的效果按每个波段而不同，有可能降低解的收敛性。改变视角可以想到，通过使多个滤波器的透射率的平均值按每个波段均匀，能够提高解的收敛性。
总结以上，本申请发明人们发现，为了减小伴随于多个波段的图像的重构的误差，优选的是设计为使滤波器阵列10的每个波段的平均透射率均匀、并且使透射率的标准偏差成为一定值以上。
另外，这里表示了使用式(4)所示的压缩感测的运算例，但也可以使用其他的方法求解。例如，可以使用最大似然估计法或贝叶斯估计法等的其他的统计学方法。此外，分离图像220的数量是任意的，各波段也可以任意地设定。在专利文献1中公开了重构方法的详细情况。在本说明书中援用专利文献1的公开内容整体。
<滤波器阵列的详细结构>
接着，说明减小重构的图像的误差的滤波器阵列10的具体的结构例。
在以下的说明中，假设滤波器阵列10的各滤波器是法布里-珀罗(FP)滤波器。FP滤波器具备第1反射层、第2反射层以及第1反射层与第2反射层之间的中间层。各反射层可以由电介质多层膜或金属薄膜中的某一种形成。中间层具有形成至少具有1个共振模的共振结构的厚度及折射率。共振结构是指某波长的光在内部形成驻波而稳定地存在的结构。将该光的状态称作“共振模”。与共振模对应的波长的光的透射率变高，其他波长的光的透射率变低。通过将中间层的折射率或厚度按每个滤波器改变，能够实现按每个滤波器而不同的透射光谱。
图6是示意地表示本实施方式的光检测装置300的截面的一部分的图。该光检测装置300具备滤波器阵列10和图像传感器60。滤波器阵列10具备二维地排列的多个滤波器100。多个滤波器100以行及列状排列。图6示意地表示1个行的截面结构。多个滤波器100分别具备共振结构。图6所示的共振结构包括第1反射层28a、第2反射层28b以及第1反射层a与第2反射层28b之间的中间层26。第1反射层28a及第2反射层28b分别可以由电介质多层膜或金属薄膜形成。中间层26可以由在特定的波长域中透明的电介质或半导体形成。中间层26例如可以由从Si、Si3N4、TiO2、Nb2O5、Ta2O5构成的组中选择的至少1个形成。多个滤波器100的中间层26的折射率及厚度的至少一方根据滤波器而不同。图6所示的例子中的多个滤波器100各自的透射光谱在多个波长各自中具有透射率的极大值。该多个波长分别对应于上述的共振结构中的阶数不同的多个共振模。在本实施方式中，滤波器阵列10的全部的滤波器100具备上述的共振结构。滤波器阵列10只要包含至少1个FP滤波器即可，也可以包含FP滤波器以外的滤波器。例如，滤波器阵列10也可以包含透明滤波器或ND滤波器(NeutralDensity Filter：中性密度滤波器)等的不具有光透射率的波长依赖性的滤波器。
图像传感器60具备多个光检测元件60a。多个光检测元件60a分别例如可以配置在接受透射了多个滤波器100中的至少1个滤波器的透射光的位置。各光检测元件60a检测各滤波器100的透射光谱呈现极大值的多个波长的光。在图6的例子中，多个光检测元件60a分别与多个滤波器中的1个滤波器对置而配置。
多个光检测元件60a分别对特定的波长域的光具有灵敏度。该特定的波长域相当于上述的对象波长域W。另外，在本公开中“对某波长域的光具有灵敏度”，是指具有检测该波长域的光所需要的实质上的灵敏度。例如，是指该波长域中的外部量子效率为1％以上。光检测元件60a的外部量子效率也可以是10％以上。光检测元件60a的外部量子效率也可以是20％以上。各滤波器100的光透射率取极大值的多个波长都包含于对象波长域W中。即，本实施方式的光检测装置300能够同时检测透射了按每个像素60a而不同的至少1个滤波器的多个波长的光。
接着，说明第1反射层28a及第2反射层28b分别由电介质多层膜形成的情况下的结构例。
图7是示意地表示各反射层由电介质多层膜形成的滤波器100的例子的图。滤波器100设置在基板80上。第1反射层28a及第2反射层28b分别由电介质多层膜形成。即，第1反射层28a及第2反射层28b分别具备多个低折射率层27l和多个高折射率层27h交替地配置的结构。多个低折射率层27l分别具有折射率nl，多个高折射率层27h分别具有比折射率nl高的折射率nh。第1反射层28a中的低折射率层27l和第2反射层28b中的低折射率层27l既可以具有相同的折射率，也可以具有不同的折射率。第1反射层28a中的高折射率层27h和第2反射层28b中的高折射率层27h既可以具有相同的折射率，也可以具有不同的折射率。
电介质多层膜具备多个成对层。1个成对层包括1个低折射率层27l及1个高折射率层27h。在图7的例子中，第1反射层28a及第2反射层28b分别具备包括8层的折射率层的4个成对层。在图7的例子中，为了在对象波长域W内的特定的波长λ0下得到较高的反射率，将高折射率层27h的厚度设定为th＝λ0/(4nh)，将低折射率层27l的厚度设定为tl＝λ0/(4nl)。换言之，高折射率层27h的厚度th的光学长度及低折射率层27l的厚度tl的光学长度是λ0/4。这里，光学长度是指对厚度乘以折射率而得到的值。特定的波长λ0例如可以设定为对象波长域W的中心波长(λi+λe)/2。
<减小复原误差的滤波器阵列的结构例>
接着，说明用来减小复原误差的滤波器阵列10的结构例。
首先，说明将由多个FP滤波器构成的滤波器阵列10用在进行基于压缩感测的复原处理的高光谱相机中的情况下的影响。根据上述的讨论，通过适当地设计FP滤波器的各反射层和中间层，能够设计为，使滤波器阵列10的每个波段的平均透射率均匀、并且使透射率的标准偏差成为一定值以上。结果，似乎能够提高压缩感测的不良设定问题中的解的收敛性，能够减小伴随于多个波段的图像的重构的误差。
但是，通常，图像传感器60的灵敏度具有波长依赖性。在利用压缩感测的高光谱相机中，图像传感器60检测穿过滤波器阵列10的光，基于从该图像传感器60输出的像素值的信号来重构多波长的分离图像220。因而，在多波长的分离图像220的重构中，除了滤波器阵列10的透射特性以外，还需要考虑图像传感器60的灵敏度特性。
因此，在考虑图像传感器的灵敏度的波长依赖性的情况下，为了减小复原误差，要求将从图像传感器输出的每个波段的像素值的平均值在全部波段中均匀化，而不是将滤波器阵列10的透射率的平均值在全部波段中均匀化。同样，要求使从图像传感器输出的每个波段的像素值的标准偏差在全部波段中成为一定值以上，而不是使滤波器阵列10的透射率的标准偏差在全部波段中成为一定值以上。
另外，在本说明书中，关于某波段的像素值可以指通过经由滤波器阵列10仅检测与该波段对应的光而输出的信号值。作为使光检测装置300仅检测与某波段对应的光的方法，可以列举例如使用波长可变激光器和积分球的方法。具体而言，使由波长可变激光器射出的与某波段对应的光入射到积分球，使光检测装置300检测由积分球在空间上均匀化的光。此外，在使光检测装置300仅检测与某波段对应的光的情况下，也可以入射从与某波段对应的波长域偏离了几nm的波长的光。即，也可以是比与某波段对应的波长域的下限小几nm的波长的光、或比与该某波段对应的波长域的上限大几nm的波长的光入射到光检测装置300中。
接着，参照图8A至图8C，说明从图6所示的光检测装置300输出的信号的波长依赖性。图8A是示意地表示图6所示的光检测装置300中包含的滤波器阵列10的透射光谱的图。图8B是示意地表示图6所示的光检测装置300中包含的图像传感器60的灵敏度谱的图。图8C是示意地表示图6所示的光检测装置300的输出光谱的图。光检测装置300的输出信号包含像素值的信息。
如图8A所示，滤波器阵列10的透射光谱在对象波长域W中具有多个透射率的极大值。如图8B所示，图像传感器60的灵敏度在对象波长域W的某波长下成为最大，在对象波长域W的长波长侧及短波长侧下降。例如，在用于可视光区域的光检测的硅传感器中，在波长500nm附近灵敏度最高，在可视光区域的短波长侧及长波长侧灵敏度下降。并不限于硅传感器，不论是怎样的图像传感器，灵敏度都呈现出由光电变换材料及/或传感器结构带来的某种波长依赖性。如图8C所示，光检测装置300的输出光谱相应于乘以图8B所示的图像传感器60的灵敏度谱，具有与滤波器阵列10的透射光谱不同的形状。图8C所示的虚线表示图8B所示的灵敏度谱。
假设通过FP滤波器的设计及加工技术的提高，制作出了具有在空间及波长上为随机的理想的透射率分布的滤波器阵列10。在这样的情况下，也由于图像传感器60的灵敏度具有波长依赖性，所以在一体地形成了滤波器阵列10及图像传感器60的光检测装置300中，从输出信号得到的像素值分布有可能在空间及波长上不是随机的。为了得到在空间及波长上为随机的理想的像素值分布，也可以考虑图像传感器60的灵敏度谱来设计滤波器阵列10。但是，在图像传感器60的灵敏度谱逐年变化的情况下，这样的滤波器阵列10的设计并不有效。
这里，考虑通过对从图像传感器输出的信号实施适当的信号处理，以将图像传感器的灵敏度的波长依赖性消除的形式进行传感器输出。即，考虑通过对关于图像传感器的灵敏度下降的波长域中包含的某波段的像素值进行增益调整，使从图像传感器输出的每个波段的像素值的平均值在全部波段中变得均匀。设进行增益调整前的像素值的平均值为μ，设进行增益调整后的像素值的平均值为μ’。同样，设进行增益调整前的像素值的标准偏差为σ，设进行增益调整后的像素值的标准偏差为σ’。图9是示意地表示对某波段进行增益调整前后的像素值的直方图的图。如图9所示，假设对某波段进行了增益调整，以使得例如像素值的平均值从μ＝40成为μ’＝80。在此情况下，像素值的标准偏差从σ＝50-30＝20成为σ’＝100-60＝40，可知通过增益调整，像素值的标准偏差也与平均值一起发生变动。
通过增益调整等，能够均匀地设定从图像传感器输出的像素值的平均值，但增益调整的结果并不一定是像素值的标准偏差在全部波段中具有能减小复原误差的程度的值。因此，本申请发明人们发现必须设计考虑了图像传感器的灵敏度的波长依赖性及用于消除图像传感器的灵敏度的波长依赖性的增益调整的滤波器阵列10这样的课题。本申请发明人们想到，通过使用关于全部波段将透射率的标准偏差σ除以平均透射率μ而得到的值σ/μ为一定值以上的滤波器阵列10，能够与图像传感器60的灵敏度的波长依赖性无关地减小每个波段的正解图像与复原图像的误差。
如上述那样，通过对每个波段的像素值进行增益调整，能够使像素值的平均值在全部波段中均匀。σ/μ可以是将标准偏差σ用平均值μ标准化的物理量。即，σ/μ为一定值以上是指在通过增益调整等使全部波段的像素值的平均值均匀时，关于全部波段的像素值的标准偏差为一定值以上。
此外，σ/μ不依赖于图像传感器的灵敏度的波长依赖性及增益调整等的信号处理。即，在某波段中，如果设将滤波器阵列10的平均透射率除以透射率的标准偏差而得到的值为σ1/μ1、将由图像传感器输出的像素值的平均值除以像素值的标准偏差而得到的值为σ2/μ2，则σ1/μ1＝σ2/μ2成立。此外，如参照图9说明那样，即使关于各波段将全部像素的像素值进行常数倍，σ/μ的指标也不变化。
总之，通过以能够规定由图像传感器输出的像素值的标准偏差、并且不依赖于图像传感器的灵敏度的波长依赖性、增益调整等的信号处理的值σ/μ为指标来设计滤波器阵列10，能够减小复原误差。
接着，参照图10说明复原特性怎样依赖于关于全部波段的σ/μ。在以下的例子中，作为误差而使用均方误差(MeanSquare Error：MSE)。MSE用以下的式(5)计算。
[数式5]
这里，n及m分别表示纵向及横向的像素数。Ii，j表示位置(i，j)的像素的正解图像的像素值。I’i，j表示位置(i，j)的像素的被重构的各波段的图像的像素值。图10是表示关于全部波段的σ/μ与MSE的全部波段的平均值的关系的曲线图。在图10所示的例子中，全部波段中的像素值的平均值及标准偏差是均匀的。如图10所示，MSE的全部波段的平均值随着关于全部波段的σ/μ的增加而以指数函数减小。在关于全部波段的σ/μ为0.1以上的情况下，MSE的全部波段的平均值小于30。在关于全部波段的σ/μ为0.2以上的情况下，MSE的全部波段的平均值小于10。在关于全部波段的σ/μ为0.3以上的情况下，MSE的全部波段的平均值小于6。在本实施方式中，可以设定为，使得N个波段中的任意的第i波段的σi/μi例如成为0.1以上、0.2以上或0.3以上。
满足这样的条件的滤波器阵列10可以通过适当地设计滤波器阵列10中包含的滤波器100来实现。具体而言，在图7所示的滤波器100中，适当地设计第1反射层28a及第2反射层28b各自中包含的高折射率层27h及低折射率层27l的层数、折射率及厚度、以及中间层26的折射率及厚度。滤波器阵列10能够通过公知的半导体工艺被一体地形成在图像传感器60之上。
图11是用来说明使用各个波段中的σ/μ为0.2的滤波器阵列10的情况下的复原特性的图。在图11的例子中，假定了10个波段1～10。各波段的透射率分布由遵循平均透射率为0.5、标准偏差为0.1的正态分布的0.0到1.0的范围的随机数给出。在该例中，将包含以矩阵状排列的24个颜色样本的彩色图作为被摄体。在图11的下段表示了通过对由高光谱相机取得的图像进行上述的压缩感测处理而复原的每个波段的图像的例子。图11的中段表示正解图像。在该例中，使用640×480的二维的滤波器阵列10。此外，使用以8比特(即，0～255)的灰阶数表现像素值的图像传感器60。
在该例中，在10个波段1～10中满足σ/μ>0.1，所以MSE关于任何波段都能抑制得较低，MSE的全部波段的平均值是8.88。该值如果换算为图像传感器60的像素值则大约是3，相对于像素值的最大值255大约相当于1％的误差。这样，在滤波器阵列10的透射率的每个波段的σ/μ超过0.1的情况下，能够以高精度复原各波段的图像。
在本实施方式的滤波器阵列10中，关于透射率分布，只要全部波段中的透射率的平均值μ及标准偏差σ满足σ/μ≥0.1即可，不需要透射率的平均值μ在全部波段中是均匀的。同样，在本实施方式的光检测装置300中，关于像素值分布，只要全部波段中的像素值的平均值μ及标准偏差σ满足σ/μ≥0.1即可，不需要像素值的平均值μ在全部波段中是均匀的。即使透射率的平均值μ或像素值的平均值μ不是在全部波段中是均匀的，信号处理电路200也能够通过信号处理，将像素值的平均值μ进行常数倍而修正为使其在全部波段中均匀。即使这样修正，在修正前后，全部波段中的σ/μ也不变，满足σ/μ≥0.1。因而，在本实施方式中，能够减小伴随于多个波段的图像的重构的误差。
以上的讨论中的滤波器阵列10的光学性质、即关于各波段的平均透射率及透射率的标准偏差，可以通过对大约包含纵8像素×横8像素的任意的区域的直方图进行计测及解析来知道。在这样的滤波器阵列10的透射光谱的测定在技术上困难的情况下，通过测定关于各波段的反射光谱也同样能够对直方图进行计测及解析。此外，在滤波器阵列10集成在图像传感器60上那样的情况下，还能够对包含图像传感器60自身的灵敏度特性的直方图进行计测及解析。进而，在构成滤波器阵列10的各滤波器为FP滤波器的情况下，通常在由第1反射层、第2反射层以及配置在第1反射层与第2反射层之间的中间层构成的滤波器的厚度与直方图之间有相关性。因此，通过测定大约包含纵8像素×横8像素的任意区域中的厚度的分布，也能够取得同样的信息。
另外，在上述的实施方式中，主要对二维地排列有多个滤波器的滤波器阵列10进行了说明，但也可以将多个滤波器一维地排列。在此情况下，作为光检测器也可以使用一维的图像传感器。在测定对象是一维的区域的情况下，也可以采用这样的结构。
另外，以下这样的情况也包含在本公开中。
也可以是使用与滤波器阵列不同的编码元件的光检测装置。例如，光检测装置300也可以是检测经由超透镜等的光学元件的光的结构。这样的光学元件也可以被导入到光学系统40的至少一部分中。或者，光检测装置300也可以代替滤波器阵列10而具备光学元件。该光学元件使入射到光学元件的光入射面中的入射光在空间上且在波长上变化，并从光学元件的光射出面射出。图像传感器60检测从光学元件的光射出面射出的光。
即，一种光检测装置，在生成N个(N为4以上的整数)波段各自的图像数据的光检测系统中使用，具备：编码元件，上述N个波段各自的光透射率根据位置而不同；以及图像传感器，检测经由上述编码元件的光；上述图像传感器通过仅检测与上述N个波段中的第i波段(i为1以上且N以下的整数)对应的光，输出表示与上述第i波段对应的像素值分布的数据；在设与上述第i波段对应的上述像素值分布的像素值的平均值为μi，设与上述第i波段对应的上述像素值分布的像素值的标准偏差为σi的情况下，(σ1/μ1)≥0.1，…，(σN/μN)≥0.1。
工业实用性
本公开的技术例如对于取得多波长的图像的相机及测定设备是有用的。本公开的技术例如也能够应用于面向生物体/医疗/美容的感测、食品的异物/残留农药检查系统、遥感系统及车载感测系统。
标号说明
10 滤波器阵列
40 光学系统
60 图像传感器
70 对象物
80 基板
100 滤波器
120 图像
200 信号处理电路
220 重构图像
300 光检测装置。

Claims (10)

1.一种滤波器阵列，在生成N个波段各自的图像数据的光检测系统中使用，N为4以上的整数，其中，
上述滤波器阵列包括上述N个波段各自中的光透射率互不相同的多个光学滤波器，
在设关于上述N个波段中的第i波段的光的与上述多个光学滤波器一对一地对应的多个透射率的平均值为μi，i为1以上且N以下的整数，
设关于上述第i波段的光的与上述多个光学滤波器一对一地对应的上述多个透射率的标准偏差为σi的情况下，
(σ1/μ1)≥0.1，…，(σN/μN)≥0.1。
2.如权利要求1所述的滤波器阵列，其中，
上述多个光学滤波器中的至少1个光学滤波器是法布里-珀罗滤波器。
3.如权利要求1或2所述的滤波器阵列，其中，
上述多个光学滤波器中的至少1个光学滤波器具备共振结构，该共振结构包括第1反射层、第2反射层以及上述第1反射层与上述第2反射层之间的中间层，并且具有阶数互不相同的多个共振模。
4.一种光检测装置，在生成N个波段各自的图像数据的光检测系统中使用，N为4以上的整数，其中，
上述光检测装置具备：
多个光学滤波器，上述N个波段各自中的光透射率互不相同；以及
图像传感器，检测经由上述多个光学滤波器的光，
上述图像传感器通过仅检测与上述N个波段中的第i波段对应的光，输出表示与上述第i波段对应的像素值分布的数据，i为1以上且N以下的整数，
在设与上述第i波段对应的上述像素值分布的像素值的平均值为μi，
设与上述第i波段对应的上述像素值分布的像素值的标准偏差为σi的情况下，
(σ1/μ1)≥0.1，…，(σN/μN)≥0.1。
5.如权利要求4所述的光检测装置，其中，
上述多个光学滤波器中的至少1个光学滤波器是法布里-珀罗滤波器。
6.如权利要求4或5所述的光检测装置，其中，
上述多个光学滤波器中的至少1个光学滤波器具备共振结构，该共振结构包括第1反射层、第2反射层以及上述第1反射层与上述第2反射层之间的中间层，并且具有阶数互不相同的多个共振模。
7.如权利要求4～6中任一项所述的光检测装置，其中，
上述多个光学滤波器各自的透射光谱在对象波长域所包含的多个波长各自中具有透射率的极大值，
上述图像传感器包括多个光检测元件，
上述多个光检测元件分别配置在接受透射了上述多个光学滤波器中的至少1个光学滤波器的透射光的位置，并且检测上述透射光中包含的上述多个波长的光。
8.一种光检测系统，其中，具备：
权利要求4～7中任一项所述的光检测装置；以及
信号处理电路，基于从上述图像传感器输出的信号，生成关于上述N个波段各自的上述图像数据。
9.如权利要求8所述的光检测系统，其中，
上述信号处理电路通过进行利用压缩感测的运算，生成上述图像数据。
10.一种光检测装置，在生成N个波段各自的图像数据的光检测系统中使用，N为4以上的整数，其中，
上述光检测装置具备：
编码元件，上述N个波段各自中的光透射率根据位置而不同；以及
图像传感器，检测经由上述编码元件的光，
上述图像传感器通过仅检测与上述N个波段中的第i波段对应的光，输出表示与上述第i波段对应的像素值分布的数据，i为1以上且N以下的整数，
在设与上述第i波段对应的上述像素值分布的像素值的平均值为μi，
设与上述第i波段对应的上述像素值分布的像素值的标准偏差为σi的情况下，
(σ1/μ1)≥0.1，…，(σN/μN)≥0.1。
CN202280044198.6A 2021-07-12 2022-06-29 滤波器阵列、光检测装置及光检测系统 Pending CN117546061A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021115073 2021-07-12
JP2021-115073 2021-07-12
PCT/JP2022/026078 WO2023286613A1 (ja) 2021-07-12 2022-06-29 フィルタアレイ、光検出装置、および光検出システム

Publications (1)

Publication Number Publication Date
CN117546061A true CN117546061A (zh) 2024-02-09

Family

ID=84920065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280044198.6A Pending CN117546061A (zh) 2021-07-12 2022-06-29 滤波器阵列、光检测装置及光检测系统

Country Status (5)

Country Link
US (1) US20240171870A1 (zh)
EP (1) EP4372430A1 (zh)
JP (1) JPWO2023286613A1 (zh)
CN (1) CN117546061A (zh)
WO (1) WO2023286613A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4950544B2 (ja) * 2006-04-10 2012-06-13 キヤノン株式会社 マルチバンド撮像装置のカラーフィルタのパラメータを決定する方法
JP2010021791A (ja) * 2008-07-10 2010-01-28 Canon Inc 撮像装置、その画像処理方法及びプログラム
CN105611117B (zh) 2014-11-19 2018-12-07 松下知识产权经营株式会社 摄像装置以及分光系统
JP6478579B2 (ja) 2014-11-20 2019-03-06 キヤノン株式会社 撮像ユニット、撮像装置、及び画像処理システム
JP6789792B2 (ja) * 2016-12-13 2020-11-25 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器

Also Published As

Publication number Publication date
WO2023286613A1 (ja) 2023-01-19
JPWO2023286613A1 (zh) 2023-01-19
EP4372430A1 (en) 2024-05-22
US20240171870A1 (en) 2024-05-23

Similar Documents

Publication Publication Date Title
JP6617915B2 (ja) 撮像装置および分光システム
JP6945195B2 (ja) 光学フィルタ、光検出装置、および光検出システム
US11843876B2 (en) Optical filter array, photodetection device, and photodetection system
JP7257644B2 (ja) 光検出装置、光検出システム、およびフィルタアレイ
JP7457952B2 (ja) 光検出装置、光検出システム、およびフィルタアレイ
WO2021085014A1 (ja) フィルタアレイおよび光検出システム
JP7142251B2 (ja) フィルタアレイおよび光検出システム
CN117178290A (zh) 图像处理装置、摄像系统及估计复原图像的误差的方法
WO2022044692A1 (ja) フィルタアレイおよび撮像システム
CN117546061A (zh) 滤波器阵列、光检测装置及光检测系统
WO2021235151A1 (ja) フィルタアレイおよび光検出システム
WO2023106143A1 (ja) 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法
WO2021241122A1 (ja) フィルタアレイおよび光検出システム
WO2023106142A1 (ja) 信号処理方法、プログラム、およびシステム
JP2024020922A (ja) 復元画像の評価方法および撮像システム、

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination