CN106331442B - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN106331442B
CN106331442B CN201610320008.5A CN201610320008A CN106331442B CN 106331442 B CN106331442 B CN 106331442B CN 201610320008 A CN201610320008 A CN 201610320008A CN 106331442 B CN106331442 B CN 106331442B
Authority
CN
China
Prior art keywords
light
image
image pickup
wavelength
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610320008.5A
Other languages
English (en)
Other versions
CN106331442A (zh
Inventor
藤井俊哉
安藤贵真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN106331442A publication Critical patent/CN106331442A/zh
Application granted granted Critical
Publication of CN106331442B publication Critical patent/CN106331442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/65—Raman scattering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0229—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2846—Investigating the spectrum using modulation grid; Grid spectrometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2889—Rapid scan spectrometers; Time resolved spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00—Investigating fluid-tightness of structures
    • G01M3/38—Investigating fluid-tightness of structures by using light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J2003/1213—Filters in general, e.g. dichroic, band
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/4795—Scattering, i.e. diffuse reflection spatially resolved investigating of object in scattering medium
    • G01N2021/4797—Scattering, i.e. diffuse reflection spatially resolved investigating of object in scattering medium time resolved, e.g. analysis of ballistic photons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/069—Supply of sources
    • G01N2201/0696—Pulsed
    • G01N2201/0697—Pulsed lasers

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Neurology (AREA)
  • Electromagnetism (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Neurosurgery (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

有关本申请的一技术方案的摄像装置具备：光源，射出包含波长不同的多个成分的脉冲光；编码元件，具有使来自被照射上述脉冲光的对象物的入射光透射的、光透射率不同的多个区域；分光元件，使透射了上述多个区域的上述入射光根据上述波长分散为多个光；摄像元件，接受由上述分光元件分散后的上述多个光；以及控制电路，控制上述光源及上述摄像元件。

Description

摄像装置
技术领域
本发明涉及取得气体及生物体等对象物的内部信息的摄像装置。
背景技术
气体的泄漏检测、生物体计测、材料分析等用途中，使用向对象物照射光(包括可见光、红外线或紫外线)、通过检测其透射光、反射光或散射光来取得对象物的内部信息的方法。
例如在特开2005－91343号公报、特开2008－149154号公报、国际公开第13/002350号及美国专利第7283231号说明书中，公开了使用这样的方法的摄像系统的例子。
发明内容
有关本申请的一技术方案的摄像装置具备：光源，射出包含波长不同的多个成分的脉冲光；编码元件，具有使来自被照射上述脉冲光的对象物的入射光透射的、光透射率不同的多个区域；分光元件，使透射了上述多个区域的上述入射光按照上述波长分散为多个光；摄像元件，接受由上述分光元件分散后的上述多个光；以及控制电路，控制上述光源及上述摄像元件。
有关本申请的另一技术方案的摄像装置具备：光源，射出包含多个波长的成分的脉冲光；编码分光元件，具有使来自被照射上述脉冲光的对象物的入射光透射的、光透射率的波长分布不同的多个区域；摄像元件，接受透射了上述多个区域的上述入射光；以及控制电路，控制上述光源及上述摄像元件。
有关本申请的另一技术方案的摄像装置具备：第1光源，射出包含第1波长的第1脉冲光；第2光源，射出包含与上述第1波长不同的第2波长的第2脉冲光；编码元件，具有使来自被照射上述第1脉冲光及上述第2脉冲光的对象物的入射光透射的、光透射率不同的多个区域；分光元件，使透射了上述多个区域的上述入射光分散为包含上述第1波长的第1入射光和包含上述第2波长的第2入射光；摄像元件，接受上述第1入射光及上述第2入射光；以及控制电路，控制上述第1光源、上述第2光源以及上述摄像元件；上述控制电路，在第1时间中，使上述第1光源射出上述第1脉冲光；在与上述第1时间不同的第2时间中，使上述第2光源射出上述第2脉冲光。
有关本申请的另一技术方案的摄像装置具备：第1光源，射出包含第1波长的第1脉冲光；第2光源，射出包含与上述第1波长不同的第2波长的第2脉冲光；编码分光元件，具有使来自被照射上述第1脉冲光及上述第2脉冲光的对象物的入射光透射的、光透射率的波长分布不同的多个区域；摄像元件，接受透射了上述多个区域的上述入射光；以及控制电路，控制上述第1光源、上述第2光源以及上述摄像元件；上述控制电路，在第1时间中，使上述第1光源射出上述第1脉冲光；在与上述第1时间不同的第2时间中，使上述第2光源射出上述第2脉冲光。
附图说明
图1是示意地表示本申请的实施方式1的摄像装置的结构的图。
图2A是表示本申请的实施方式1的编码元件104的光透射率的2维分布的一例的图。
图2B是表示本申请的实施方式1的编码元件104的光透射率的2维分布的另一例的图。
图3是表示本申请的实施方式1的摄像元件106的1个像素201的概略性的结构例的图。
图4是表示本申请的实施方式1的摄像动作的流程图。
图5是说明本申请的实施方式1的光源107的脉冲光的发光定时、由检测对象的气体分子带来的拉曼散射光到达摄像元件106的定时和摄像元件106的各漂移扩散层的受光定时的关系的图。
图6是表示本申请的实施方式1的摄像元件106的整体结构的一例的图。
图7是表示本申请的实施方式1的分光分离处理的形象的概念图。
图8是表示本申请的实施方式1的由第2信号处理部110进行的3D图像生成处理的概要的图。
图9是表示本申请的实施方式2的结构的图。
图10是示意地表示本申请的实施方式2的编码分光元件901的结构的图。
图11A是用来说明本申请的实施方式2的编码分光元件901的某个区域的分光透射率的特性的图。
图11B是表示将图11A所示的分光透射率按每个波带W1，W2，…，Wi平均化的结果的图。
图12是表示本申请的实施方式3的摄像装置的结构的图。
图13是表示本申请的实施方式3的摄像元件1106的像素结构的概略的图。
图14是表示本申请的实施方式3的发光脉冲、各距离范围的扩散光、向8个漂移扩散层的信号蓄积脉冲、和向漏极1202的排出脉冲的定时的图。
图15是表示本申请的实施方式3的摄像元件1106的整体结构的一例的图。
图16A是表示氧合血红蛋白、脱氧血红蛋白及水的吸收系数的波长依赖性的曲线图。
图16B是表示生物体组织中的光的散射系数的波长依赖性的曲线图。
图17是表示本申请的实施方式3的信号处理的流程的流程图。
图18是表示本申请的实施方式3的向1个像素到达的光量的时间变化的一例的图。
图19是表示本申请的实施方式4的摄像装置的结构的图。
标号说明
101 测定对象物
102 成像光学系统
103 中继光学系统
104 编码元件
105 分光元件
106 摄像元件
107 光源
108 控制电路
109 第1信号处理部
110 第2信号处理部
111 激励光截止滤波器
112 信号处理电路
201 像素
202 信号电荷排出部(漏极)
203 光电变换部(光电二极管)
204 第1漂移扩散层(FD1)
205 第2漂移扩散层(FD2)
206 第3漂移扩散层(FD3)
207 第4漂移扩散层(FD4)
302 行选择电路
303 列选择电路
304 垂直信号线
305 源极跟随器电源
306 源极跟随器负载
307 AD变换电路
308 FD信号读出晶体管
309 源极跟随晶体管
310 复位晶体管
901 编码分光元件
1101 头部表面
1102 头盖骨
1103 脑组织
1104 近红外激光脉冲光源
1105 遮光板
1106 摄像元件
1107 编码分光元件
1108 控制电路
1109 信号处理部1
1110 信号处理部2
1112 信号处理电路
1201 像素
1202 信号电荷排出部(漏极部)
1203 光电变换部(光电二极管)
1204 第1漂移扩散层(FD1)
1205 第2漂移扩散层(FD2)
1206 第3漂移扩散层(FD3)
1207 第4漂移扩散层(FD4)
1208 第5漂移扩散层(FD5)
1209 第6漂移扩散层(FD6)
1210 第7漂移扩散层(FD7)
1211 第8漂移扩散层(FD8)
具体实施方式
(作为本申请的基础的认识)
在说明本申请的实施方式之前，说明作为本申请的基础的认识。
本发明者们关于以往的气体泄漏检测系统及生物体信息检测系统，发现有以下的课题。
以往的通常的气体泄漏检测系统使吸引的气体与传感器直接接触，基于传感器内的电阻及电流值等物理量的变化来计测检测对象的气体的浓度。但是，在这样的方法中，由于需要使气体与传感器直接接触，所以不能进行远离传感器的场所中的气体的检测。进而，有包含较多的基于风向及设置场所等环境条件的不确定因素的缺点。
特开2005－91343号公报公开了解决这样的缺点的气体检测系统的例子。特开2005－91343号公报的系统向气体照射紫外激光，引起拉曼散射。拉曼散射是产生波长与入射到分子中的光的波长不同的散射光的现象。该现象通过分子在受光而暂且成为高能量的中间状态后向振动激励状态或基础状态变迁而发生。在从基础状态经过中间状态变迁为振动激励状态的情况下，产生与入射光相比波长长的散射光。该波长的移位被称作斯托克斯移位。相反，在从振动激励状态经过中间状态变迁为基础状态的情况下，产生与入射光相比波长短的散射光。该波长的移位被称作反斯托克斯移位。
特开2005－91343号公报的系统通过检测拉曼散射光的斯托克斯移位，非接触地检测气体的泄漏及其种类。通过使表示检测出的气体的分布的图像叠加在监视对象空间的可视图像上，能够将气体的泄漏作为二维图像显示。记载了由此，能够从远处安全地进行气体的泄漏的监视及泄漏部位的确定。
在特开2005－91343号公报中，记载了根据检测对象的距离范围使摄影的定时变化。通过与光源的发光同步的短时间的曝光，能够进行单一的距离范围的摄影。但是，不能同时进行多个距离范围的摄影。
在本申请的实施方式中，使用称作“时间分解摄像”的方法能够进行多个距离范围的摄影。以下，对在本申请的实施方式中利用的时间分解摄像进行说明。
通过激光照射技术的发展，能够将纳秒(ns)至皮秒(ps)量级的极短时间的脉冲光向对象物反复照射，并与其同步地高速控制摄像元件的受光时间。将这样的高速控制光源及摄像元件来进行的摄像称作“时间分解摄像”。作为代表性的应用例，采用基于光的飞行时间以像素单位检测到被摄体的距离的称作TOF(Time of Flight)的方法的测距摄像装置已被商品化。
通过时间分解摄像的应用，还能够将在发光时反复同样发生的现象与发光协同而反复进行极短时间的受光并将信号蓄积，将短时间的现象的变化作为运动图像再现。例如，还能够将光传播的状况作为运动图像进行可视化。
关于时间分解摄像技术，不仅研究了对光透射的空间的应用，还研究了向生物体等光散射体的应用。例如，已知有使用对于水及血红蛋白这两者光吸收率比较小的2波长的近红外线、将氧合血红蛋白及脱氧血红蛋白的生物体内的浓度分布进行断层图像化的时间分解扩散光层析X射线照相术。
特别在以生物体为对象的情况下，与作为图像诊断方法广泛普及的伦琴射线及X射线CT相比，使用对生物体安全的红外线(以下也称作“红外光”)，从而能够进行完全没有辐射的非侵袭性的生物体观测。此外，基于近红外光的摄像与利用核磁共振的MRI等的装置相比，适合于装置的小型化、轻量化及低成本化。因此，基于近红外光的摄像开始在与生物体组织的功能的揭示有关的研究的最前端被广泛利用。
但是，近红外光在穿过生物体组织中时非常强地散射，结果在生物体组织中发生剧烈的光的扩散。有该光的扩散使摄像的空间分辨率显著下降的课题。
作为解决该课题的方法之一，已知有如下图像重构算法：假定检测对象的生物体组织的、作为散射体的光学特性值(例如吸收系数及散射系数)的空间分布，将该散射体内的光传播在数值上进行计算(正问题)，将其结果与通过时间分解摄像实际得到的数据进行比较，重复空间分布的假定直到双方一致(反问题)。通过使用这样的算法，能够重构空间分辨率提高的3维图像。
以往的时间分解扩散光层析X射线照相术在关于脑的活性化的研究、以及用于乳腺癌的筛查的光乳房X射线照相(mammography)等用途中是有效的。但是，由于使用有限的2～3波长的光源，所以不能取得多波段的分光信息。因而，不能从活的组织检测特异度高的分子的信息。
特开2008－149154号公报公开了一种从活的组织检测特异度高的分子的信息的系统的例子。在特开2008－149154号公报中公开的系统包括提供入射光的近红外光源、用来从两个以上的不同的激励点向生物体内引导光的多点入射光照射阵列、用来从光源向多点入射光照射阵列的各点传送光的多个光纤、用来将从对象物放出的荧光从两个以上的不同的收集点收集的多点检测阵列、用来将从对象物放出的光向检测器传送的二维发光阵列、用来从各收集点向二维发光阵列上的对应的点传送光的多个光纤、和用来检测从二维发光阵列的各点放出的光并变换为与从对象物放出的光对应的数字信号的检测器。记载有通过这样的结构能够以高灵敏度取得作为疾病的原因的异常分子的三维位置信息。
但是，在特开2008－149154号公报中，关于用1帧的摄影取得多个距离范围的信息那样的摄像方法没有记载。
有关本申请的实施方式的摄像装置通过1帧的摄影取得多个距离范围的信息，并且还一并取得多个波长的信息。在多个波长的信息的取得中，使用称作压缩传感的技术。以下，对压缩传感进行说明。
通过利用分别是窄带的许多波段(例如数十波段以上)的光谱信息，能够掌握通过以往的RGB图像是不可能的观测物的详细的物性。取得该多波长的信息的照相机被称作“超光谱照相机”。超光谱照相机在食品检查、生物体检查、医药品开发、矿物的成分分析等各种领域中被利用。例如，国际公开第13/002350号公开了一种通过生成将观测对象的波长限定于窄带而取得的图像来进行被验体的肿瘤部位和非肿瘤部位的判别的装置。该装置通过激励光的照射，蓄积在癌细胞内的原卟啉IX发出635nm的荧光，光－原卟啉(photo－protoporphyrin)发出675nm的荧光。由此，进行肿瘤部位和非肿瘤部位的识别。
美国专利第7283231号说明书公开了使用压缩传感的超光谱照相机的例子。在美国专利第7283231号说明书中公开的装置将来自测定对象的光用棱镜等第1分光元件分光后，用编码掩码进行标记，再通过第2分光元件将光线的路径返回。由此，由传感器取得被编码且关于波长轴被多重化的图像。从被多重化的图像，通过压缩传感的应用而重构多波长的多张图像。
压缩传感是从较少的样本数的取得数据将比其多的数据复原的技术。如果设测定对象的2维坐标为(x，y)，设波长为λ，则想要求出的数据f是x，y，λ的3维的数据。相对于此，由传感器得到的图像数据g是在λ轴方向上被压缩及多重化的2维数据。根据数据量相对较少的取得图像g求出数据量相对较多的数据f的问题是所谓的不适定问题，在该状态下不能解出。但是，通常自然图像的数据具有冗余性，通过将其灵活地利用，能够将该不适定问题变换为适定问题。在利用图像的冗余性削减数据量的技术的例中有jpeg压缩。jpeg压缩使用将图像信息变换为频率成分、将数据的非本质性的部分例如视觉辨认性较低的成分除去的方法。在压缩传感中，将这样的技法运用到运算处理中、将想要求出的数据空间变换为用冗余性表示的空间，由此能够削减未知数而得到解。在该变换中，例如使用离散余弦变换(DCT)、小波变换、傅立叶变换、总变差(TV)等。
在美国专利第7283231号说明书中，公开了以上这样的压缩传感技术，但没有公开同时取得多个波长的信息、空间分布的信息和多个时间(距离范围)的信息的方法。
在以往的技术中，不牺牲空间分辨率而同时进行时间分解摄像和分光摄像是非常困难的。这些同时成立的摄像装置目前并不存在。为了取得多个波长的信息，只有将发光波长不同的光源分时地照射的方法、或按照检测对象的波长将检测器分离的方法。在前者中牺牲了同时性，在后者中牺牲了空间分辨率。
本发明者们发现以往技术中的以上的问题，专门研究了用来解决这些问题的方法。结果想到，通过使用射出包含多个波长的成分的脉冲光的光源、将从对象物入射的光分时地高速检测的时间分解摄像元件、和将向摄像元件入射的光的强度根据位置而进行调制的编码元件，能够不牺牲空间分辨率而取得多个距离范围的信息和多个波长的信息。尤其对于生物体，如果使用安全的红外光，则能够非侵袭性地进行没有X射线那样的辐射的摄像。以下，说明具有这样的结构的摄像装置的例子。
本申请包括在以下的项目中记载的摄像装置。
[项目1]
一种摄像装置，具备：光源，射出包含波长不同的多个成分的脉冲光；编码元件，具有使来自被照射上述脉冲光的对象物的入射光透射的、光透射率不同的多个区域；分光元件，使透射了上述多个区域的上述入射光根据上述波长分散为多个光；摄像元件，接受由上述分光元件分散的上述多个光；以及控制电路，控制上述光源及上述摄像元件。
[项目2]
一种摄像装置，具备：光源，射出包含多个波长的成分的脉冲光；编码分光元件，具有使来自被照射上述脉冲光的对象物的入射光透射的、光透射率的波长分布不同的多个区域；摄像元件，接受透射了上述多个区域的上述入射光；以及控制电路，控制上述光源及上述摄像元件。
[项目3]
如项目1或2所述的摄像装置，上述对象物具有第1部分及第2部分；上述控制电路在第1时间中，使上述光源射出上述脉冲光；在比上述第1时间靠后的第2时间中，使上述摄像元件蓄积基于来自上述对象物的上述第1部分的第1入射光的第1信号电荷；在比上述第2时间靠后的第3时间中，使上述摄像元件蓄积基于来自上述对象物的上述第2部分的第2入射光的第2信号电荷；使上述摄像元件输出基于上述第1信号电荷的第1图像信号和基于上述第2信号电荷的第2图像信号。
[项目4]
如项目3所述的摄像装置，上述摄像元件具有分别包括第1电荷蓄积部及第2电荷蓄积部的多个光检测单元；上述控制电路在上述第2时间中，使上述多个光检测单元各自的上述第1电荷蓄积部蓄积上述第1信号电荷；在上述第3时间中，使上述多个光检测单元各自的上述第2电荷蓄积部蓄积上述第2信号电荷。
[项目5]
如项目3或4所述的摄像装置，上述控制电路在使上述光源及上述摄像元件反复进行多次上述第1时间中的上述脉冲光的上述射出、上述第2时间中的上述第1信号电荷的上述蓄积和上述第3时间中的上述第2信号电荷的上述蓄积后，使上述摄像元件输出上述第1图像信号和上述第2图像信号。
[项目6]
如项目3～5中任一项所述的摄像装置，还具备将上述第1图像信号根据上述波长分离为多个第1分离图像信号、将上述第2图像信号根据上述波长分离为多个第2分离图像信号的信号处理电路。
[项目7]
如项目6所述的摄像装置，上述信号处理电路基于上述多个第1分离图像信号和上述多个第2分离图像信号生成上述对象物的3维图像。
[项目8]
如项目7所述的摄像装置，上述对象物是光散射体；上述信号处理电路假定上述对象物的光学特性值分布；计算上述对象物内的光传播；将上述光传播的计算结果与上述多个第1分离图像信号及上述多个第2分离图像信号进行比较；反复进行上述光学特性值分布的假定，直到比较结果一致；基于上述比较结果一致时的上述光学特性值分布，生成上述3维图像。
[项目9]
如项目1～8中任一项所述的摄像装置，上述对象物是气体。
[项目10]
如项目1～7中任一项所述的摄像装置，上述对象物是光散射体。
[项目11]
如项目1～10中任一项所述的摄像装置，上述脉冲光是紫外线或红外线。
[项目12]
一种摄像装置，具备：第1光源，射出包含第1波长的第1脉冲光；第2光源，射出包含与上述第1波长不同的第2波长的第2脉冲光；编码元件，具有使来自被照射上述第1脉冲光及上述第2脉冲光的对象物的入射光透射的、光透射率不同的多个区域；分光元件，使透射了上述多个区域的上述入射光分散为包含上述第1波长的第1入射光和包含上述第2波长的第2入射光；摄像元件，接受上述第1入射光及上述第2入射光；以及控制电路，控制上述第1光源、上述第2光源以及上述摄像元件；上述控制电路在第1时间中，使上述第1光源射出上述第1脉冲光；在与上述第1时间不同的第2时间中，使上述第2光源射出上述第2脉冲光。
[项目13]
一种摄像装置，具备：第1光源，射出包含第1波长的第1脉冲光；第2光源，射出包含与上述第1波长不同的第2波长的第2脉冲光；编码分光元件，具有使来自被照射上述第1脉冲光及上述第2脉冲光的对象物的入射光透射的、光透射率的波长分布不同的多个区域；摄像元件，接受透射了上述多个区域的上述入射光；以及控制电路，控制上述第1光源、上述第2光源以及及上述摄像元件；上述控制电路在第1时间中，使上述第1光源射出上述第1脉冲光；在与上述第1时间不同的第2时间中，使上述第2光源射出上述第2脉冲光。
以下，参照附图详细地说明本申请的实施方式。另外，以下说明的实施方式都表示整体性或具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置及连接形态、步骤、步骤的顺序等是一例，不是限定本申请的意思。在本说明书中说明的各种形态只要不发生矛盾就能够相互组合。此外，以下的实施方式的构成要素中的在表示最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。在以下的说明中，有将实质上具有相同功能的构成要素用共通的标号表示而省略说明的情况。
(实施方式1)
图1是示意地表示本申请的实施方式1的摄像装置的结构的图。在图1中，除了摄像装置的构成要素以外还表示了检测对象物101。该摄像装置进行作为检测对象物101的气体的种类和浓度的检测，能够生成气体的浓度的空间分布的3维(3D)图像。
摄像装置具备将具有两个波长的成分的紫外线朝向对象物101照射的光源107、配置在从对象物101入射的光的光路上的光学系统(成像光学系统102、激励光截止滤波器111、编码元件104、中继光学系统103及分光元件105)、检测穿过了分光元件105的光的摄像元件(图像传感器)106、和控制光源107及摄像元件106的控制电路108。在图1中，还描绘了对从摄像元件106输出的图像信号进行处理的信号处理电路112。信号处理电路112既可以装入到摄像装置中，也可以是以有线或无线电连接在摄像装置上的信号处理装置的构成要素。在图1中，成像光学系统102及中继光学系统103分别如单一的透镜那样被描绘，但也可以是多个透镜的集合体。
本实施方式的光源107是射出具有两个波长的成分的紫外区域的脉冲光的激光源。光源107根据从控制电路108输入的控制信号，反复射出短脉冲的紫外光线。该短脉冲的紫外光线将检测对象空间内的对象物101(气体)激励，使其产生与气体分子对应的伴随着波长移位的拉曼散射光。此时，产生与入射的紫外光线(也称作“激励光”)的波长相比向长波长侧移位的各气体分子所特有的拉曼斯托克斯光。
气体分子的拉曼斯托克斯光的移位波长被公开在特开2005－91343号公报中，已知是以下的表1所示的数值。在本实施方式中，说明将从光源107射出的激光脉冲光的波长设定为355nm及266nm的情况下的例子。另外，这些波长是一例，也可以使用其他波长。此外，也可以构成为，光源107射出具有3个以上的波长的成分的脉冲光。
[表1]
Figure BDA0000989252390000131
另外，本实施方式中的从光源107射出的光是紫外线的波带(约10nm～约400nm)，而来自光源107的光的波长可以根据用途而适当选择。例如，如在实施方式3中说明那样，在计测生物体组织的摄像装置中，可以使用近红外线的波带(约700nm～约2500nm)。除此以外，还可以使用可见光的波带(约400nm～约700nm)、中红外线、远红外线、太赫兹波或毫米波等电波域的电磁波。在本说明书中，并不限于可见光，将近紫外线、近红外线及电波等非可见光也为了方便而称作“光”。
本实施方式的摄像装置将由于脉冲光的照射而从各气体分子产生的拉曼斯托克斯光经由光学系统用摄像元件106检测。此时，通过高时间分解摄像，以不同的定时高速地进行多次检测。由此，按对象物101的每个距离范围取得多个波长的成分重叠的图像。将表示该每个距离范围的图像的信号(有称作“图像信号”的情况)向信号处理电路112发送，在那里处理。信号处理电路112具有第1信号处理部109及第2信号处理部110。第1信号处理部109生成将每个距离范围的各图像信号按每个波长成分分离而得到的新的多个图像信号。在本说明书中，有将该处理称作“分光分离处理”的情况。第2信号处理部110从按每个波长成分分离而得到的图像信号生成3维图像的数据。在某个形态中，第1信号处理部109及第2信号处理部110可以作为信号处理电路112内的单独的模块来实现。第1信号处理部109及第2信号处理部110也可以通过由1个处理器执行不同的图像处理程序来实现。信号处理电路112的处理的详细情况后述。
以下，说明各构成要素的详细情况。
控制电路108例如可以是中央运算处理装置(CPU)或微型计算机(微机)等集成电路。控制电路108例如通过执行记录在未图示的存储器中的控制程序，进行对光源107的点亮指示、对摄像元件106的摄像指示及对信号处理电路112的运算指示等的控制。
信号处理电路112是对从摄像元件106输出的图像信号进行处理的电路。信号处理电路112例如可以通过数字信号处理器(DSP)、现场可编程逻辑门阵列(FPGA)等可编程逻辑器件(PLD)、或者中央运算处理装置(CPU)或图像处理用运算处理器(GPU)与计算机程序的组合实现。另外，控制电路108和信号处理电路112也可以由合并的1个电路实现。
摄像装置将从各气体分子产生的拉曼斯托克斯光用成像光学系统102聚光，向成像面成像。此时，将作为噪声的2波长的脉冲光的基于瑞利散射等的波长成分通过激励光截止滤波器111截止。
在成像光学系统102的成像面上配置编码元件104。编码元件104是具有光透射率的空间分布的掩码，具有二维排列的光透射率不同的多个区域。更具体地讲，具备具有第1光透射率的多个区域、和具有比第1光透射率低的第2光透射率的多个区域。编码元件104将入射的光的强度根据位置进行调制而使其透射。将由编码元件104进行的该过程称作“编码”。
图2A是表示编码元件104的光透射率的2维分布的一例的图。在图2A中，黑色部分表示几乎不使光透射的区域(称作“遮光区域”)，白色部分表示使光透射的区域(称作“透光区域”)。在该例中，透光区域的光透射率大约是100％，遮光区域的光透射率大约是0％。编码元件104被划分为多个矩形区域，各矩形区域是透光区域或遮光区域。编码元件104中的透光区域及遮光区域的2维分布例如可以是随机分布或准随机分布。
随机分布及准随机分布的考虑方式如下。首先，编码元件104的各矩形区域根据光透射率，可看作具有例如1或0的值的向量要素。换言之，将排列为一列的矩形区域的集合看作具有1或0的值的多维的向量。因而，编码元件104在行方向上具备多个多维向量。此时，所谓随机分布，是指任意的2个多维向量独立(不平行)。此外，所谓准随机分布，是指包括在一部分多维向量间不独立的结构。
由编码元件104进行的编码过程可以说是进行用于将由后续的分光元件105分光后的各波长的光所形成的图像进行区别的标记的过程。只要能够进行这样的标记，透射率的分布可以任意地设定。在图2A所示的例子中，黑色部分的数量与白色部分的数量的比率是1：1，但并不限定于这样的比率。例如，也可以是白色部分的数量：黑色部分的数量＝1：9那样的向一方有偏倚的分布。在图1中示意地表示的编码元件104具有比遮光区域多(宽)的透光区域。
图2B是表示编码元件104的光透射率的2维分布的另一例的图。如图2B所示，编码元件104也可以是具有灰阶的透射率分布的掩码。所谓灰阶的透射率分布，是指包括具有透射率大于0％且小于100％的中间的透射率的区域的分布。这样的编码元件104具有有与第1及第2光透射率不同的光透射率的多个矩形区域。关于编码元件104的透射率分布的信息，根据设计数据或实测校准而事前取得，用于后述的信号处理。
再次参照图1。本实施方式的分光元件105是使入射的光束根据波长而分散的元件。分光元件105通过由两种材料形成的棱镜的组合构成。两种材料选自对特定波长的光的折射率大致一致、关于该波长的光的阿贝数不同的材料、例如关于该波长的光的阿贝数背离的材料。特定波长例如可以设定为希望的分光波长范围内的代表性的波长(主波长)。主波长例如可以是测定对象的波长范围中的中心波长或重视的波长。这里所谓阿贝数“背离”，是指两种材料的阿贝数之差是10以上。两种材料的阿贝数之差既可以是15以上，也可以是20以上。所谓两种材料的折射率大致一致，是指两者的折射率之差是0.05以下。所谓两种材料的折射率大致一致，也可以是指两者的折射率之差是0.02以下。
本说明书中的阿贝数并不限于关于通常使用的夫琅和费线的波长的阿贝数，也可以对任意的波长定义。在本申请中，可以对满足λa<λb<λc的任意的波长λa，λb，λc，如以下的(数式1)那样定义阿贝数νb。
[数式1]
Figure BDA0000989252390000151
这里，na，nb，nc分别表示波长λa，λb，λc下的折射率。λa及λc也可以是任意的波长，例如可以选择与使用波带的起始端或末端较近的波长。
通过在分光元件105中使光线入射的面与光线射出的面大致平行，能够抑制彗形像差的发生。这里，所谓“大致平行”，并不限于严格平行的情况，也包括两个面所成的角度是3°以下的情况。该角度也可以设定为1°以下，也可以设定为0.5°以下。通过使用如图1所示的分光元件105，能够得到能降低所生成的每个波带的图像的分辨率的劣化的效果。
另外，分光元件105并不一定需要是上述那样的将两种材料接合的结构。例如，也可以由通常的棱镜或衍射光学元件构成。
由编码元件104编码的光被中继光学系统103聚光并向分光元件105入射。分光元件105进行分光，以使形成在摄像元件106的摄像面上的光的像根据波长向相当于图像的垂直方向的方向(图1所示的纵向)偏移。其偏移的程度(也有称作“分光量”的情况)由构成分光元件105的材料的折射率、阿贝数、接合面的倾斜角、以及分光元件105与摄像元件106之间的距离决定。在分光元件105是衍射光学元件的情况下，通过改变衍射栅格的间距能够调整分光量。在本实施方式中，分光元件105向相当于图像的垂直方向的方向分光，但也可以向水平方向或其以外的方向分光。
由分光元件105带来的在摄像元件106的摄像面上的像的移位量，可以基于设计规格通过运算、或通过实测校准而事前计算出。由分光元件105带来的分光移位不是计测对象的每个波带的离散性的移位，而是连续性的移位。另一方面，在信号处理电路112中，如后述那样，按规定宽度的每个波带重构分光分离图像。因此，严格地讲，即使在重构的每个图像的波带内，各波长的图像在摄像元件106上也移位。为了使分光分离图像的重构的精度提高，也可以将波带内的图像的移位进行修正。该修正可以通过计算机运算进行，但如果还考虑光学系统的像差及安装误差的影响，则也可以通过实测校准来进行。例如可以通过作为被摄体而将白板设置在规定的位置，经由希望的波带的带通滤波器在摄像元件106上形成编码元件104的像来进行校准。也可以按每个波带更换带通滤波器来取得希望的全部波带的数据，但也可以选择一些波带进行测定，关于其以外的波带通过测定出的数据的插补来计算。通过该方法，能够计算出由分光元件105带来的分光移位量，并且还能够取得每个波带的编码元件104的透射率信息。基于这里计算出的校准的数据，决定后述的(数式2)中的矩阵H的要素。
在摄像元件106的成像面上，具有基于编码元件104的编码信息的分离后的多个像作为相互重叠的多重像而按每个波长在垂直方向上偏移地被成像。摄像元件106拍摄该多重像。此时，通过进行高速的时间分解摄像，按对象物101的每个距离范围取得多个图像。以下，说明摄像元件106的结构及动作。
摄像元件106具有在摄像面上2维排列的多个光检测单元(在本说明书中也称作“像素”)。各光检测单元具有多个电荷蓄积部(例如漂移扩散层)。
图3是表示摄像元件106的1个像素201的概略性的结构例的图。另外，图3示意地表示1个像素201的结构，并不一定反映实际的构造。像素201具有进行光电变换的光电变换部(光电二极管)203、蓄积信号电荷的4个漂移扩散层(Floating Difusion：FD)204～207、和将信号电荷排出的信号电荷排出部(漏极)202。
通过1次的脉冲光的射出而入射到各像素中的光子被光电二极管203变换为信号电子(信号电荷)。变换后的信号电子按照从控制电路108输入的控制信号被排出至漏极202，或被分配至漂移扩散层204～207的某个。
从光源107的脉冲光的射出、向第1漂移扩散层(FD1)204、第2漂移扩散层(FD2)205、第3漂移扩散层(FD3)206及第4漂移扩散层(FD4)207的信号电荷的蓄积、和向漏极202的信号电荷的排出以该顺序反复进行。该反复动作是高速的，例如在运动图像的1帧的时间(例如约1/30秒)内可以反复几万次到几亿次。摄像元件106最终生成基于蓄积在4个漂移扩散层204～207中的信号电荷的4个图像信号并输出。
图4是表示该动作的流程的流程图。控制电路108首先在第1时间中使光源107射出包含多个波长的成分的脉冲光(步骤S101)。在接着的第2时间中，使摄像元件106的第1漂移扩散层204蓄积基于从对象物101的第1部分入射的光的信号电荷(步骤S102)。在接着的第3时间中，使摄像元件106的第2漂移扩散层205蓄积基于从对象物101的第2部分入射的光的信号电荷(步骤S103)。以后，同样使第3漂移扩散层206及第4漂移扩散层207依次蓄积信号电荷(步骤S104及S105)。接着，控制电路108判断执行了上述信号蓄积的循环的次数是否达到了规定的次数(步骤S107)。在该判定为“否”的情况下，重复步骤S101～S107，直到判定为“是”。如果在步骤S107中判定为“是”，则控制电路108使摄像元件106生成基于蓄积在各漂移扩散层中的信号电荷的图像信号并输出(步骤S108)。
以下，参照图5，说明光源107的脉冲光的发光定时、由检测对象的气体分子产生的拉曼散射光到达摄像元件106的定时和摄像元件106的各漂移扩散层中的受光定时的关系。
图5是表示发光脉冲、来自对象物101的各距离范围的部分的反射光、指示向漂移扩散层(FD1～FD4)204～207各自的信号电荷的蓄积的控制信号(称作“信号蓄积脉冲”)、和指示向漏极202的信号电荷的排出的控制信号(称作“漏极排出脉冲”)的时间图。
在本实施方式中，使测定距离范围为最大9m(往复18m)，每隔2m地设定4个距离范围。由于光速是秒速30万km，所以光在最大距离9m间往复所需要的时间是60ns。如果将发光脉冲宽度设定为5ns，则1循环所需要的时间是从9m的距离的位置反射来的发光脉冲的后端的光成分到达摄像元件106的摄像面的时间即65ns。在本实施方式中，为了将来自比最大距离范围更远的拉曼散射光的影响除去，将边际(margin)期间取富余而设定为35ns，将1循环的合计时间设为100ns。因而，发光脉冲的反复循环的频率是其倒数10MHz。
从紫外线激励光照射气体分子起到产生拉曼散射光的延迟时间通常是皮秒(ps)的量级，是在本实施方式的测定距离范围中几乎不能忽视的量级。由此，该延迟时间的说明省略，但如果需要，则只要考虑拉曼散射所需要的时间来设定摄像元件106的受光定时就可以。
发光波长、发光脉冲定时及摄像元件106的驱动定时根据距离范围、对象气体、受光元件的灵敏度而适当设定为最优的值。在本实施方式中使用的数值是例示，绝不限制权利要求的范围。
作为10MHz、5ns宽度的脉冲光的紫外激励光向对象空间的一氧化碳CO、硫化氢H2S、氨NH3等气体照射。结果，产生与气体分子对应的波长的拉曼散射光。与在本实施方式中使用的355nm及266nm的各个激励光对应的拉曼散射光的波长如表1所示。
光源107根据从控制电路108输入的控制信号而射出发光脉冲。在图5的例子中，以0ns的定时发光，以5ns的定时消光。此时，为了将由在测定对象范围外的不到1m的近距离中产生的无用的拉曼散射带来的信号电荷除去，将漏极排出脉冲设定为ON。在此期间中，将由光电二极管203产生的无用的信号电荷从漏极202排出。
包含多个波长的成分的拉曼散射光如图5所示，与距离对应地延迟而到达摄像元件106。该拉曼散射光成像为被编码及在垂直方向上分光后的多重像，由光电二极管203变换为信号电荷。
来自不到1m的近距离的无用的拉曼散射光的成分和距离1m～3m的拉曼散射光的成分原理上包含与相当于发光脉冲宽度5ns的时间相应的串扰。因此，在本实施方式中，从串扰成为中央值的定时开始受光。具体而言，从自反射光(1m～3m)的成分开始到达摄像元件106的摄像面的定时6.67ns起加上发光脉冲宽度的一半2.5ns而得到的9.17ns的定时开始受光。
控制电路108以图5所示的9.17ns的定时将漏极排出脉冲设为OFF，同时将向第1漂移扩散层(FD1)204的信号蓄积脉冲设为ON。并且，在反射光(1m～3m)的成分衰减而成为50％的光量的22.50ns的定时，将向第1漂移扩散层204的信号蓄积脉冲设为OFF。由此，向第1漂移扩散层204传送及蓄积信号电荷。同样，控制电路108将向第2～第4漂移扩散层(FD2～FD4)205～207的信号蓄积脉冲以图5所示的定时依次设为ON。由此，向第1～第4漂移扩散层205～207依次传送及蓄积包含发光脉冲宽度5ns量的串扰的被时间分解的信号电荷。控制电路108在将向第4漂移扩散层207的信号蓄积脉冲设为OFF的62.5ns的定时，将漏极排出脉冲设为ON。由此，将由在测定距离范围外的远方发生的拉曼散射带来的无用的信号电荷从漏极202排出。
通过将以上的一系列的动作以10MHz的频率反复进行几万次到根据需要反复进行几亿次，蓄积摄像元件106的1帧的信号电荷。反复次数根据光源107的发光强度和摄像元件106的灵敏度调整。由于拉曼散射光是微弱的，所以通过将与该激光激励光的高速同步摄像反复进行对应的次数，能够补偿灵敏度的不足。
另外，在本实施方式中，将多个漂移扩散层的时间分解数设为4，但时间分解数根据目的也可以设计为4以外的数。
接着，参照图6说明摄像元件106中的信号蓄积后的信号的读出动作。
图6是表示摄像元件106的整体结构的一例的图。在图6中，由双点划线的框包围的区域相当于1个像素201。像素201包括4个漂移扩散层204～207。向4个漂移扩散层204～207蓄积的信号如通常的CMOS图像传感器的4像素的信号那样被处理，并从摄像元件106输出。
各像素201具有4个信号检测电路。各信号检测电路包括源极跟随晶体管(放大晶体管)309、FD信号读出晶体管(行选择晶体管)308和复位晶体管310。在该例中，复位晶体管310对应于图3所示的漏极202，向复位晶体管310的栅极输入的脉冲对应于上述漏极排出脉冲。各晶体管例如是形成在半导体基板上的电场效应晶体管，但并不限定于此。如图示那样，源极跟随晶体管309的输入端子及输出端子中的一方(典型地是源极)与FD信号读出晶体管308的输入端子及输出端子中的一方(典型地是漏极)连接。源极跟随晶体管309的控制端子(栅极)连接在光电二极管203。由光电二极管203生成的信号电荷(空穴或电子)蓄积在作为光电二极管203与源极跟随晶体管309之间的电荷蓄积节点的漂移扩散层203～207。
虽然在图6中没有表示，但4个漂移扩散层204～207连接在光电二极管203，在光电二极管203与各漂移扩散层之间设有开关。该开关根据来自控制电路108的信号蓄积脉冲，切换光电二极管203与漂移扩散层203～207各自之间的导通状态。由此，控制向漂移扩散层203～207各自的信号的蓄积的开始和停止。
通过上述反复动作蓄积在漂移扩散层204～207中的信号电荷通过由行选择电路302将FD信号读出晶体管308的栅极设为ON而被读出。此时，根据漂移扩散层204～207的信号电位，从源极跟随器电源305向源极跟随晶体管309及源极跟随器负载306流入的电流被放大。从垂直信号线304读出的该电流的模拟信号被与每列连接的模拟－数字(AD)变换电路307变换为数字信号数据。该数字信号数据被列选择电路303按每个列读出，并由摄像元件106输出。行选择电路302及列选择电路303在进行1个行的读出后，进行下一行的读出，以下同样，读出全部行的漂移扩散层的信号电荷的信息。控制电路108在将全部的信号电荷读出后将复位晶体管310的栅极设为导通，从而将全部的漂移扩散层复位。由此，1个帧的摄像完成。以下同样，通过反复进行帧的高速摄像，由摄像元件106进行的一系列的帧的摄像完结。
在本实施方式中，说明了CMOS型的摄像元件106的例子，但摄像元件也可以是CCD型，也可以是单光子计数型元件，也可以是放大型图像传感器(EMCCD、ICCD)。
接着，说明将从摄像元件106输出的被时间分解的4个图像分别按每个波长成分分离的处理(分光分离处理)。该处理由图1所示的信号处理电路112中的第1信号处理部109进行。
图7是表示该分光分离处理的形象的概念图。在图7中，为了传达形象而使用苹果的图像，但这是用来说明多重像的方便性的图。第1信号处理部109将按每个波长在垂直方向上偏移地重叠的多重像按照以下的次序分离为每个波长的多个图像。该图像的分离对基于蓄积在漂移扩散层204～207中的信号电荷的4个图像分别进行。更具体地讲，对于4个图像，分别将各波长成分的像的垂直方向的地址的偏移修正，根据波长生成没有重叠的地址一致的w个图像F1～Fw。这里生成的图像的数量w可以是2以上的任意的数。例如可以是4以上且100以下的数。
想要求出的数据是分光分离图像F1～Fw，将该数据表示为f。由于分光波带数(波段数)是w，所以f是将各波带的图像数据f1，f2，…，fw合并的数据。如果设要求出的图像数据的x方向的像素数为n，设y方向的像素数为m，则图像数据f1，f2，…，fw分别是n×m像素的2维数据的集合。因而，数据f是要素数n×m×w的3维数据。如果分光元件P按要求出的每个分光波带使分光图像在y方向上各移位1像素，则取得的摄影图像G的数据g的要素数是n×(m+w－1)。本实施方式的数据g可以用以下的(数式2)表示。
[数式2]
Figure BDA0000989252390000221
这里，由于f1，f2，…，fw是具有n×m个要素的数据，所以右边的向量严格地讲是n×m×w行1列的1维向量。向量g变换为n×(m+w－1)行1列的1维向量而被表示及计算出。矩阵H表示将向量f通过编码进行强度调制，将各成分f1，f2，…，fw在y方向上各移位1像素、并将它们相加的变换。因而，H是n(m+w－1)行n×m×w列的矩阵。
这里，由于设想了各波带的图像各移位1像素，所以使g的要素数为n×(m+w－1)，但并不需要一定使各图像各移位1像素。移位的像素数也可以是2像素或其以上。移位的像素数依赖于怎样设计被重构的分光分离图像F的分光波带/分光波带数。g的要素数根据移位的像素数而变化。此外，分光方向也并不限定于y方向，也可以在x方向上移位。如果一般化，则在设ky，kx为任意的自然数、使像在y方向上各移位ky像素、在x方向上各移位kx像素的情况下，数据g的要素数为{n+kx·(w－1)}×{m+ky·(w－1)}。
另外，只要给出向量g和矩阵H，就应该可以通过解(数式2)的反问题来计算f。但是，由于求出的数据f的要素数n×m×w比取得数据g的要素数n(m+w－1)多，所以该问题为不适定问题，在此状态下不能解开。所以，本实施方式的信号处理电路112可以利用数据f中包含的图像的冗余性，使用压缩传感的方法求解。具体而言，通过解以下的(数式3)的式子，推测求出的数据f。
[数式3]
Figure BDA0000989252390000222
这里，f’表示推测出的f的数据。上式的括弧内的第1项表示推测结果Hf与取得数据g的偏移量、所谓的残差项。这里将平方和作为残差项，但也可以将绝对值或平方和的平方根等作为残差项。括弧内的第2项是后述的正规化项(或稳定化项)。(数式3)意味着求出使第1项与第2项之和最小的f。信号处理电路112通过递归性的反复运算使解收敛，能够计算出最终的解f’。
(数式3)的括弧内的第1项意味着求出取得数据g与将推测过程的f通过矩阵H而系统变换后的Hf的差量的平方和的运算。第2项的Φ(f)是f的正规化的制约条件，是反映推测数据的稀疏信息的函数。作为作用，有使推测数据变得平滑或稳定的效果。正规化项例如可以通过f的离散余弦变换(DCT)、小波变换、傅立叶变换或总变差(TV)等表示。例如，在使用总变差的情况下，能够取得抑制了观测数据g的噪声的影响的稳定的推测数据。各个正规化项的空间中的测定对象物的稀疏性根据测定对象物的纹理(texture)而不同。也可以选择测定对象物的纹理在正规化项的空间中更稀疏的正规化项。或者也可以在运算中包含多个正规化项。Τ是权重系数，该值越大，冗余性的数据的削减量越多(压缩的比例变高)，该值越小则向解的收敛性越弱。权重系数τ被设定为f某种程度收敛并且不为过压缩的适当的值。
另外，这里表示了使用(数式3)所示的压缩传感的运算例，但也可以使用其他方法来解。例如可以使用最优推测法及贝叶斯推测法等其他统计方法。此外，分光分离图像F1～Fw的数量是任意的，各波带也可以任意地设定。
接着，说明由图1所示的第2信号处理部110进行的3D图像生成处理。
图8是表示由第2信号处理部110进行的3D图像生成处理的概要的图。通过上述时间分解摄像，能够得到每个距离范围的4张2维(2D)图像FD1(1m～3m)，FD2(3m～5m)，FD3(5m～7m)，FD4(7m～9m)。第2信号处理部110使空间高频强调滤波器适当作用于这些2D图像中的各图像间的相同像素地址的等级变化。由此，将因脉冲光源107的发光脉冲时间具有有限的长度(例如5ns)而发生的串扰的影响、即相同地址的像素值的变化变小的影响进行修正。
接着，基于由第1信号处理部109生成的每个波带的多个图像，识别出气体的种类。例如在使用355nm及266nm的2波长的激励光检测3种气体(CO，NH3，H2S)的情况下，根据上述表1，只要着眼于282.1nm，285.9nm，289.2nm，384.3nm，391.3nm，402.7nm的各波长的成分就可以。在第1信号处理部109按每个这些波长的成分生成分光分离图像的情况下，通过检测强度为峰值的波长，能够识别出气体的种类，能够根据该峰值波长的光的强度等级来检测浓度。
由于本实施方式的摄像对象空间是光透射体，所以FD1～FD4的4张图像数据的XY坐标(像素地址)直接表示从摄像装置(照相机)的位置起的横向及纵向上的相对于正面方向的角度。另一方面，FD1至FD4直接对应于距摄像装置的距离范围。因此，通过对FD1～FD4的各图像实施简单的地址变换，能够计算出XYZ的3维坐标。由此，能够得到希望的气体的3D空间浓度分布图像。
(实施方式2)
接着，说明本申请的实施方式2。本实施方式的摄像装置与实施方式1同样，以气体的种类和浓度的检测为目的，能够将气体的浓度的空间分布进行3D图像化。与实施方式1的不同点在于以下的点：如图9所示，将编码元件及分光元件一体化而得到的编码分光元件901被配置在时间分解摄像元件106的紧前，随之删除中继光学系统。以下，以与实施方式1的不同点为中心，参照图9、图10说明本实施方式。
由于拉曼散射光入射到激励光截止滤波器111中为止的动作与实施方式1完全相同，所以省略说明。
图10是示意地表示编码分光元件901的结构的图。如图10的(a)所示，编码分光元件901具有2维排列的多个区域。各区域由透光性的部件形成，具有单独设定的分光透射率。这里，所谓“分光透射率”，是指光透射率的波长分布。对分光透射率而言，设入射光的波长为λ，用函数T(λ)表示。分光透射率T(λ)可以取0以上且1以下的值。在图10的(a)中，例示了以6行8列排列的48个矩形区域，但在实际的用途中，可以设置远比这多的区域。其数量，例如可以是与摄像元件106的像素数(例如几十万到几千万)相同程度。在某个例子中，编码分光元件901配置在摄像元件的正上方，各区域可以以与摄像元件的1个像素对应(对置)的方式配置。
图10的(b)表示检测对象的多个波带W1，W2，…，Wi各自的光的透射率的空间分布的一例。在该图中，各区域(单元)的浓淡的差异表示透射率的差异。越淡的区域透射率越高，越浓的区域透射率越低。如图10(b)所示，光透射率的空间分布根据波带而不同。
图10的(c1)、(c2)表示编码分光元件901的2个区域A1、A2中的分光透射率的例。区域A1的分光透射率与区域A2的分光透射率不同。这样，编码分光元件901的分光透射率根据区域而不同。但是，并不需要一定是全部区域的分光透射率不同。只要编码分光元件901的多个区域中的至少一部分(2个以上)区域的分光透射率相互不同就可以。在某个例子中，编码分光元件901中包含的多个区域的分光透射率的模式(pattern)的数量可以与对象波带中包含的波带的数量i相同或是其以上。典型地，编码分光元件901设计为，在半数以上的区域中分光透射率不同。
图11A是用来说明编码分光元件901的某个区域的分光透射率的特性的图。该例中的分光透射率关于对象波带W内的波长具有多个极大值P1～P5及多个极小值。在该例中，在波带W2、Wi－1等中具有分光透射率的极大值。这样，在本实施方式中，各区域的分光透射率在多个波带W1～Wi中的多个(至少两个)波带中具有极大值。
由于各区域的光透射率根据波长而不同，所以编码分光元件901使入射的光中的某个波带的成分较多地透射，使其他波带的成分没那么多地透射。例如，关于i个波带中的k个(k是满足2≤k<i的整数)波带的光，透射率大于0.5(50％)，关于其余的i－k个波带的光，透射率可以小于0.5(50％)。假如在入射光是均等地包含全部的可见光的波长成分的白色光的情况下，编码分光元件901将入射光按每个区域调制为关于波长具有离散性的多个强度的峰值的光，将这些多波长的光叠加而输出。
图11B作为一例而表示将图11A所示的分光透射率按每个波带W1，W2，…，Wi平均化的结果的图。平均化的透射率通过将分光透射率T(λ)按每个波带进行积分并除以该波带的宽度(带宽)而得到。在本说明书中，将这样按每个波带平均化的透射率的值称作该波带的透射率。在该例中，在取极大值P1，P3，P5的3个波带中，透射率突出地高。特别是，在取极大值P3，P5的2个波带中，透射率超过0.8(80％)。
各区域的分光透射率的波长方向的分解度可以设定为希望的波带的宽度(带宽)左右。换言之，分光透射率曲线的包含1个极大值(峰值)的波长范围中的、取与该极大值最接近的极小值和该极大值的平均值以上的值的范围的宽度可以设定为希望的波带的宽度(带宽)左右。在此情况下，如果将分光透射率使用傅立叶变换等分解为频率成分，则相当于该波带的频率成分的值相对地变大。
编码分光元件901典型地如图10的(a)所示，被划分为以栅格状分区的多个区域(单元)。这些单元具有相互不同的分光透射率特性。编码分光元件901的各区域的光透射率的波长分布及空间分布例如可以是上述随机分布或准随机分布。
在将编码分光元件901配置在摄像元件106的附近或正上方的情况下，编码分光元件901的多个区域的相互的间隔(单元间距)也可以与摄像元件106的像素间距大致一致。如果这样，则从编码分光元件901射出的被编码的光的像的分辨率与像素的分辨率大致一致。通过透射了各单元的光仅向对应的1个像素入射，能够使后述的运算变容易。在将编码分光元件901远离摄像元件106而配置的情况下，也可以根据该距离而使单元间距变细。
在图10所示的例子中，设想了各区域的透射率可以取0以上且1以下的任意值的灰阶的透射率分布。但是，并不需要一定设为灰阶的透射率分布。例如也可以采用各区域的透射率可以取大致0或大致1的某个值的二值的透射率分布。在二值的透射率分布中，各区域使对象波带中包含的多个波带中的至少两个波带的光的大部分透射，不使其余的波带的光的大部分透射(遮光)。这里所谓“大部分”，是指大约80％以上。
也可以将全单元中的一部分(例如一半)单元替换为透明区域。这样的透明区域使对象波带中包含的全部的波带W1～Wi的光以同程度的高透射率(例如0.8以上)透射。在这样的结构中，多个透明区域例如可以配置为棋盘格状。即，在编码分光元件901的多个区域的2个排列方向(图10的(a)中的横向及纵向)上，光透射率根据波长而不同的区域和透明区域可以交替地排列。
编码分光元件901可以使用多层膜、有机材料、衍射栅格构造、含有金属的微细构造中的至少1种而构成。在使用多层膜的情况下，例如可以使用包含电介体多层膜或金属层的多层膜。在此情况下形成为，按每个单元，各多层膜的厚度、材料及层叠顺序的至少1个不同。由此，能够实现根据单元而不同的分光特性。通过使用多层膜，能够实现分光透射率的尖锐的上升及下降。使用有机材料的结构可以通过根据单元而使含有的颜料或染料不同、或使不同种类的材料层叠来实现。使用衍射栅格构造的结构可以通过设置按每个单元而不同的衍射间距或深度的衍射构造来实现。在使用含有金属的微细构造的情况下，可以利用基于等离激元效应的分光来制作。
根据本实施方式，在摄像元件106的成像面上，按每个波带而具有不同的编码信息的像被成像为相互重叠的多重像。与实施方式1不同，由于不使用棱镜等分光元件，所以不发生像的空间方向的移位。因此，即使是多重像，也能够将空间分辨率维持得较高。
由摄像元件106进行的时间分解摄像的动作与实施方式1完全相同，所以省略说明。此外，关于信号处理，也除了取得没有发生空间性偏移的分光多重像以外，与实施方式1没有差异。除了进行垂直方向的地址修正的处理以外，能够用与实施方式1同样的处理生成分光分离图像及3D图像。因此，省略关于信号处理的说明。
本实施方式通过使用编码分光元件，能够将中继光学系统省略。因此，与实施方式1的结构相比，能够用小型的设备实现同等的功能。
(实施方式3)
实施方式3的摄像装置将生物体等光散射体作为检测对象物。能够确定应检测的分子，将其浓度分布重构为3D图像。本实施方式的摄像装置检测脑内的血液的氧合血红蛋白及脱氧血红蛋白的浓度分布和其时间变化。对于生物体，也可以使用被水分和血红蛋白这两者都比较难以吸收的称作生物窗的700nm～900nm的近红外光。因此，在本实施方式中也主要使用该波带的近红外光。
图12是表示本实施方式的摄像装置的概略性的结构的图。摄像装置具备近红外激光脉冲光源1104、编码分光元件1107、摄像元件1106、控制电路1108和信号处理电路1112。
近红外激光脉冲光源1104将具有700nm～900nm的较宽的分光特性的近红外线朝向作为检测对象的脑组织1103照射。该照射按照来自控制电路1108的控制信号，以短脉冲反复进行。
在本实施方式中，为了减少由头部表面1101上的反射造成的损失、将近红外光高效地向脑内引导，使光源1104密接于头部表面1101而使用。此外，也可以使用凝胶片或乳剂等使反射减少。在图12所示的例子中，以将来自表皮的泄漏光截止的目的而使用遮光板1105。
被照射的短脉冲的红外光线的一部分透射头盖骨1102，在脑组织1103内反复吸收及弹性散射，一边衰减一边传播。其一部分再次透射头盖骨1102，透射头部表面1101，经由编码分光元件1107到达摄像元件1106的受光面而进行光电变换。
另外，在图12中，为了简单而描绘了一组光源1104、编码分光元件1107及摄像元件1106，但实际上可以作为包括多组光源1104、编码分光元件1107及摄像元件1106的系统实施。多组光源1104、编码分光元件1107及摄像元件1106例如可以二维地以均等的间隔(例如3cm)配置多组。在使用多组光源1104及摄像元件1106的情况下，为了抑制光源间的串扰，只要进行激光的高速分时照射等应对就可以。
以下，对使用一组光源1104及摄像元件1106的例子说明详细情况。
编码分光元件1107可以利用与实施方式2的编码分光元件相同的元件。因此，省略编码分光元件1107的详细的说明。
在本实施方式中，与实施方式1及实施方式2不同，从光源1104射出的光的波长分布较宽。进而，由于没有成像光学系统，所以将编码分光元件1107设置在摄像元件1106的紧前。
在摄像元件1106的受光面，按每个波带具有不同编码信息的像被成像为相互重叠的多重像。在本实施方式中，由于没有使用棱镜等分光元件，所以不发生像的空间方向的移位。因此，即使是多重像，也能够将空间分辨率维持得较高。
图13是表示本实施方式的摄像元件1106的像素结构的概略的图。本实施方式的摄像元件1106与实施方式1的摄像元件相比，具有较多的漂移扩散层，更高速地动作。以下，说明摄像元件1106的结构及动作。
在像素1201内配置有光电变换部(光电二极管)1203。光电二极管1203将入射的光子变换为信号电子。变换后的信号电子按照从控制电路1108输入的控制信号被排出至信号电荷排出部(漏极)1202，或被高速地分配至蓄积信号电荷的8个漂移扩散层(FD1～FD8)1204～1211中的某一个。
在本实施方式中，由于对象物是光散射体，所以通过摄像元件1106的时间分解功能根据到达时间来分配，由此按在头部内散射的光的每个光路长分配光。
图14是表示本实施方式的发光脉冲、每个距离范围的扩散光、向8个漂移扩散层的信号蓄积脉冲和向漏极1202的排出脉冲的定时的图。在本实施方式中，作为一例，将最大光路长设定为99cm(真空中的换算值)。由于光速是秒速30万km，所以光在99cm的距离中传播所需要的时间是3300皮秒(ps)。如果将发光脉冲宽度设定为200ps，则1循环中需要的时间是发光脉冲的后端的光成分到达摄像元件1106的受光面的定时，所以是图14所示的3500ps。在本实施方式中，为了将光路长比最大光路长99cm长的光的影响除去，将边际期间设定为6500ps，将1循环的合计时间设为10ns。因而，发光脉冲的反复循环的频率是其倒数100MHz。
在使用多个光源的情况下，只要控制各光源以使其在该边际期间中发光就可以。在使用许多光源的情况下，只要根据需要而调整边际期间或每1个光源的发光频率就可以。
上述的发光脉冲的定时及摄像元件的驱动定时是一例，并不限定于该例。这些数值只要根据生物体内的光路长、对象分子、受光元件的灵敏度而适当设定为最优的值就可以。
以下，说明图14所示的动作的详细情况。按照从控制电路1108输入的控制信号，光源1104在图14所示的0ns的定时发光，在200ps的定时消光。此时，为了将与从头部的外部回绕的泄漏光及测定对象范围外的光路长3cm以下的光对应的信号电荷排除，将漏极排出脉冲设定为ON。在此期间中，将由光电二极管1203产生的无用的信号电荷从漏极1202排出。
被照射的近红外光如图14所示，根据各光路长而延迟，并作为被编码及分光的多重像而成像在摄像元件1106。该多重像被光电二极管1203变换为信号电荷。
不到3cm的光路长的光的成分和光路长3cm～15cm的光的成分在原理上包含与发光脉冲宽度200ps对应的时间的串扰。因此，在本实施方式中，从串扰成为中央值的定时开始受光。具体而言，从自扩散光(光路长3cm～15cm)的光的成分开始到达摄像元件1106的成像面的定时100ps起加上发光脉冲宽度200ps的一半100ps后的200ps开始受光。
控制电路1108在图14所示的200ps的定时将漏极排出脉冲设为OFF，同时将向第1漂移扩散层(FD1)1204的信号蓄积脉冲设为ON。并且，在扩散光(光路长3cm～12cm)的光的成分衰减而成为50％的光量的600ps的定时，将向第1漂移扩散层1204的信号蓄积脉冲设为OFF。由此，向第1漂移扩散层1204转送及蓄积信号电荷。同样，控制电路1108将向第2～第8漂移扩散层(FD2～FD8)1205～1211的信号蓄积脉冲在图14所示的定时依次设为ON。由此，向第1～第8漂移扩散层1204～1211依次转送及蓄积包含发光脉冲宽度200ps量的串扰的被时间分解的信号电荷。控制电路1108在将向第8漂移扩散层1211的信号蓄积脉冲设为OFF的3400ps的定时，将漏极排出脉冲设为ON。由此，将由比测定光路长长的99cm以上的光路长的波段来的无用的信号电荷从漏极1202排出。
通过将以上的一系列的动作以100MHz的频率反复进行几十万次、根据需要反复进行几兆次，将摄像元件1106的1帧的信号电荷蓄积。反复次数根据光源1104的发光强度和摄像元件1106的灵敏度来调整。由于从脑内返回来的近红外扩散光是极微弱的光，所以通过将与激光发光的高速同步摄像反复进行相应的次数，能够补偿灵敏度的不足。
另外，在本实施方式中，将多个漂移扩散层的时间分解数设为8，但时间分解数也可以根据目的而设计为8以外的数。
图15是表示本实施方式的摄像元件1106的整体结构的一例的图。在图15中，由双点划线的框包围的区域相当于1个像素1201。像素1201包括8个漂移扩散层1204～1211。蓄积到8个漂移扩散层1204～1211中的信号如通常的CMOS图像传感器的8像素的信号那样被处理，并由摄像元件1106输出。
关于由该摄像元件1106进行的时间分解摄像后的信号的读出的动作，除了漂移扩散层的数量较多这一点以外，与实施方式1是同样的，所以省略说明。
接着，说明信号处理电路1112的动作。首先，对在本实施方式中使用的波带进行说明。
图16A是表示氧合血红蛋白、脱氧血红蛋白及水的吸收系数的波长依赖性的曲线图。图16B是表示生物体组织中的光的散射系数的波长依赖性的曲线图。图中的被两条虚线夹着的波带(700nm～900nm)被称作生物窗，具有生物体内的分子的吸收率较低的特征。以100MHz、200ps宽度的脉冲照射的700nm～900nm的具有较宽的分光特性的近红外光在头部内部散射扩散。此时，根据图16A所示的生物体内的氧合血红蛋白及脱氧血红蛋白的吸收系数，光按每个波长被吸收。没有被吸收而传播的光的一部分到达摄像元件1106的受光面而被受光。在波长700nm～800nm下，脱氧血红蛋白的吸收系数比氧合血红蛋白的吸收系数高，在800nm～900nm下，该关系相反。因此，在脑内散射光中，作为分光特性信息而包含这些分子的浓度信息。在本实施方式中，按每波带宽10nm设定20波段的分光分离数。另外，分光分离数并不限定于该例，只要根据使用的应用的要求而适当设定就可以。
信号处理电路1112的第1信号处理部1109将从摄像元件1106输出的时间分解后的8个图像各自的多波长的分光多重像按每个波带分离。关于该方法，与实施方式1、2是同样的，所以这里省略说明。
接着，第2信号处理部1110进行用来重构3D图像的信号处理。
图17是表示该信号处理的流程的流程图。通过上述时间分解摄像，从摄像元件1106输出与FD1(3cm～15cm)，FD2(15cm～27cm)，FD3(27cm～39cm)，FD4(39cm～51cm)，FD5(51cm～63cm)，FD6(63cm～75cm)，FD7(75cm～87cm)，FD8(87cm～99cm)对应的8张2D图像(步骤S301)。通过由第1信号处理部1109进行分光分离的处理，按每个光路长生成例如20波段的分光图像(步骤S302)。即，每1个摄像元件1106从1帧的摄像测定结果生成8光路长20波段分光的共计160张2D图像。
接着，第2信号处理部1110使高频强调滤波器适当作用于各光路长的图像间的同一像素地址的等级变化。由此，将由于近红外激光脉冲光源1107的发光脉冲时间具有有限的长度(例如200ps)而发生的串扰的影响、即同一像素地址的像素值的变化变小的影响进行修正。第2信号处理部1110将该修正后的结果作为摄像测定结果，进行与后述的模拟结果的比较。
图18是表示到达1个像素的光量的时间变化的一例的图。如图示那样，对应于来自光源1107的光路长，光连续地到达1个像素。按每个光路长(FD1～FD8)检测其积分值。因此，在各像素的信号中，在原理上包含串扰的成分。在步骤S303中，进行用来减小该串扰的影响的处理。
接着，说明图17所示的模拟的流程。
在生物体组织内，近红外光较强地散射，吸收比较弱。因此，已知在生物体组织内发生的光学现象可以近似为光扩散现象。如果生物体组织的厚度超过几mm则散射模式也成为各向同性，光能量向所有的方向扩散性地传播。散射的强度用散射系数表示，吸收的强度用吸收系数表示。这些系数的倒数表示距离。在记述生物体内的光传播时最常用的是光扩散方程式。
图17所示的3D图像重构算法首先假定生物体内的氧合血红蛋白及脱氧血红蛋白等的分子密度分布(步骤S401)。接着，计算光学特性值(吸收系数及散射系数)的分布(步骤S402)。接着，使用生物体内的光传播模型进行将光的传播在数值上解开的正问题解析(步骤S403)。进而，在与摄像条件相同的条件下计算各光路长及各波长的图像信号的成分(步骤S404)。将其结果与在摄像测定中得到的结果比较(步骤S405)。如果全部一致，则认为假定的分子密度分布正确，判断为重构了3D图像。如果不一致，则判断为假定的分子密度错误，将分子密度分布重新假定，再次执行步骤S401～S405的处理。第2信号处理部1110反复进行该操作，直到在步骤S405中两者一致(反问题)。
以上的处理与在通常的光扩散层析X射线照相中进行的处理是同样的。
第2信号处理部1110基于得到的结果和图16A所示的氧合血红蛋白及脱氧血红蛋白的吸收光谱的信息，生成表示血液状态的图像并输出。
此外，能够详细地模拟图16B所示的每个波长的散射系数的差异，通过利用该结果，解反问题的精度提高。本实施方式通过使用宽带光源的分光压缩传感，能够得到例如20波段的分光图像。进而，通过时间分解摄像元件1106，能够得到具有充分的空间采样点数(像素数)的图像(帧)。结果，能够同时满足希望的3D重构图像的高分辨率化和测定时间的缩短化。
(实施方式4)
实施方式4的摄像装置与实施方式3同样，以生物体等光散射体为对象，能够将应观测的分子的确定和其浓度分布重构为3D图像。
图19是表示本实施方式的摄像装置的概略性的结构的图。摄像装置具备：射出包含相互不同的波长的脉冲光的第1近红外激光脉冲光源1904、第2近红外激光脉冲光源1905、第3近红外激光脉冲光源1906及第4近红外激光脉冲光源1907、编码分光元件1910、摄像元件1909、包括延迟调整电路1915的控制电路1911、以及包括第1信号处理部1912及第2信号处理部1913的信号处理电路1914。实施方式4的摄像装置在具备多个光源这一点、以及控制电路包括延迟调整电路这一点上，与实施方式3的摄像装置不同。在本实施方式中，表示了光源是4个的例子，但光源的数量并不限定于4。
以下，以与实施方式3的摄像装置的动作的差异为主体进行说明。第1近红外激光脉冲光源1904、第2近红外激光脉冲光源1905、第3近红外激光脉冲光源1906及第4近红外激光脉冲光源1907分别将波长750nm的脉冲光、波长800nm的脉冲光、波长850nm的脉冲光及波长900nm的脉冲光朝向作为检测对象的脑组织1903照射。该照射按照来自控制电路1911的控制信号以短脉冲反复进行。
各脉冲光的脑组织1903内的扩散系数及散射系数因波长不同而相互不同。为了消除该差异，控制电路1911内的延迟调整电路1915进行第1近红外激光脉冲光源1904、第2近红外激光脉冲光源1905、第3近红外激光脉冲光源1906及第4近红外激光脉冲光源1907的发光的定时的微小的调整。
在本实施方式中，为了减少由头部表面1901上的反射造成的损失、将近红外光高效地向脑内导引，使第1近红外激光脉冲光源1904、第2近红外激光脉冲光源1905、第3近红外激光脉冲光源1906及第4近红外激光脉冲光源1907密接于头部表面1901而使用。此外，也可以使用凝胶片或乳剂等减少反射。在图19所示的例子中，以将来自表皮的泄漏光截止的目的而使用遮光板1908。
被照射的短脉冲的红外光线的一部分透射头盖骨1902，在脑组织1903内反复吸收及弹性散射，一边衰减一边传播。其一部分再次透射头盖骨1902，透射头部表面1901，经由编码分光元件1910到达摄像元件1909的受光面，被进行光电变换。
关于摄像元件1909的层结构及时间分解功能，与实施方式3的摄像元件1106是同样的，所以省略说明。
接着，说明信号处理电路1914的动作。首先，对在本实施方式中使用的波带进行说明。
图16A是表示氧合血红蛋白、脱氧血红蛋白及水的吸收系数的波长依赖性的曲线图。图16B是表示生物体组织中的光的散射系数的波长依赖性的曲线图。以100MHz、200ps宽度的脉冲照射的具有750nm、800nm、850nm及900nm的波长的近红外光在头部内部散射扩散。此时，根据图16A所示的生物体内的氧合血红蛋白及脱氧血红蛋白的吸收系数，光按每个波长被吸收。没有被吸收而传播的光的一部分到达摄像元件1909的受光面而被受光。在波长700nm～800nm下，脱氧血红蛋白的吸收系数比氧合血红蛋白的吸收系数高，在800nm～900nm下，该关系相反。因此，在脑内散射光中，作为分光特性信息而包含这些分子的浓度信息。在本实施方式中，设定750nm、800nm、850nm及900nm这4波段的分光分离数。另外，分光分离数并不限定于该例，只要根据使用的应用的要求适当设定就可以。
第2信号处理部1913进行用来重构3D图像的信号处理。图17是表示该信号处理的流程的流程图。通过时间分解摄像，从摄像元件1909输出与FD1(3cm～15cm)，FD2(15cm～27cm)，FD3(27cm～39cm)，FD4(39cm～51cm)，FD5(51cm～63cm)，FD6(63cm～75cm)，FD7(75cm～87cm)，FD8(87cm～99cm)对应的8张2D图像(步骤S301)。通过由第1信号处理部1912进行分光分离的处理，按每个光路长生成4波段的分光图像(步骤S302)。即，每1个摄像元件1909从1帧的摄像测定结果生成8光路长4波段分光的共计32张2D图像。
接着，第2信号处理部1913使高频强调滤波器适当作用于各光路长的图像间的相同像素地址的等级变化。由此，将因各近红外激光脉冲光源的发光脉冲时间具有有限的长度而发生的串扰的影响进行修正。第2信号处理部1913将该修正后的结果作为摄像测定结果，进行与后述的模拟结果的比较。
接着，说明图17所示的模拟的流程。
在图17所示的3D图像重构算法中，首先，假定生物体内的氧合血红蛋白及脱氧血红蛋白等的分子密度分布(步骤S401)。接着，计算作为光学特性值的吸收系数及散射系数的分布(步骤S402)。接着，使用生物体内的光传播模型进行将光的传播在数值上解开的正问题解析(步骤S403)。进而，在与摄像条件相同的条件下计算各光路长及各波长的图像信号的成分(步骤S404)。将其结果与通过摄像测定而得到的结果进行比较(步骤S405)。如果全部一致，则认为假定的分子密度分布正确，判断为重构了3D图像。如果不一致，则判断为假定的分子密度错误，重新假定分子密度分布，再次执行步骤S401～S405的处理。第2信号处理部1913反复进行该操作，直到在步骤S405中两者一致。
以上的处理与在通常的光扩散层析X射线照相中进行的处理同样。
第2信号处理部1913基于得到的结果、和图16A所示的氧合血红蛋白及脱氧血红蛋白的吸收光谱的信息，生成表示血液状态的图像并输出。
本实施方式通过分光压缩传感，能够得到4波段的分光图像。进而，通过摄像元件1909，能够得到具有充分的空间采样点数的图像。结果，能够同时满足希望的3D重构图像的高分辨率化和测定时间的缩短化。
如以上这样，根据本申请的实施方式，能够实现满足高时间分解、高分辨率、多波长这3个要求的摄像装置。在摄影对象是光透射空间的情况下，进行将对象物按每个距离分离而摄像的范围选通(range gate)摄像，能够得到与相对于距摄像装置的距离的范围相应的每个波长的2D图像。此外，根据由各气体分子所特有的拉曼散射带来的光的波长移位或由荧光带来的光的波长移位，检测气体分子的种类和浓度。通过按每多个距离范围同时进行范围选通摄像，能够用一台摄像装置实现确定泄漏气体的种类、并且非接触地检测气体的浓度的3维分布的功能。
此外，在对象物是光散射体的情况下，还通过进行皮秒量级的高时间分解摄像，能够得到按散射体内的每个光路长及每个波带分离的2D图像。基于这些2D图像、和散射体内的分子的特有的吸收分光、散射分光或荧光分光等的特性，能够检测散射体内的分子的种类和浓度。进而，能够根据每个光路长的多个2D图像，通过运算重构检测对象的散射体内的3D分布图像。具有以下优点：通过使用多个波带的图像信息，基于每个波带的散射体内的散射系数的差异，能够期待所生成的3D图像的分辨率的进一步提高。

Claims (22)

1.一种摄像装置，其特征在于，具备：
光源，射出包含波长不同的多个成分的脉冲光；
编码元件，具有使来自被照射上述脉冲光的对象物的入射光透射的、光透射率不同的多个区域；
分光元件，使透射了上述多个区域的上述入射光根据上述波长分散为多个光；
摄像元件，具有以二维排列的多个光检测单元，由上述多个光检测单元拍摄由上述编码元件编码、并由上述分光元件分散后的上述多个光的二维像；以及
控制电路，控制上述光源及上述摄像元件。
2.如权利要求1所述的摄像装置，其特征在于，
上述对象物具有第1部分及第2部分；
上述控制电路，
在第1时间中，使上述光源射出上述脉冲光；
在比上述第1时间靠后的第2时间中，使上述摄像元件蓄积基于来自上述对象物的上述第1部分的第1入射光的第1信号电荷；
在比上述第2时间靠后的第3时间中，使上述摄像元件蓄积基于来自上述对象物的上述第2部分的第2入射光的第2信号电荷；
使上述摄像元件输出基于上述第1信号电荷的第1图像信号和基于上述第2信号电荷的第2图像信号。
3.如权利要求2所述的摄像装置，其特征在于，
上述多个光检测单元分别包括第1电荷蓄积部及第2电荷蓄积部；
上述控制电路，
在上述第2时间中，使上述多个光检测单元各自的上述第1电荷蓄积部蓄积上述第1信号电荷；
在上述第3时间中，使上述多个光检测单元各自的上述第2电荷蓄积部蓄积上述第2信号电荷。
4.如权利要求2所述的摄像装置，其特征在于，
上述控制电路在使上述光源及上述摄像元件反复进行多次上述第1时间中的上述脉冲光的上述射出、上述第2时间中的上述第1信号电荷的上述蓄积、以及上述第3时间中的上述第2信号电荷的上述蓄积后，使上述摄像元件输出上述第1图像信号和上述第2图像信号。
5.如权利要求2所述的摄像装置，其特征在于，
还具备信号处理电路，该信号处理电路将上述第1图像信号根据上述波长分离为多个第1分离图像信号，将上述第2图像信号根据上述波长分离为多个第2分离图像信号。
6.如权利要求5所述的摄像装置，其特征在于，
上述信号处理电路基于上述多个第1分离图像信号和上述多个第2分离图像信号，生成上述对象物的3维图像。
7.如权利要求6所述的摄像装置，其特征在于，
上述对象物是光散射体；
上述信号处理电路，
假定上述对象物的光学特性值分布；
计算上述对象物内的光传播；
将上述光传播的计算结果与上述多个第1分离图像信号及上述多个第2分离图像信号进行比较；
反复进行上述光学特性值分布的假定，直到比较结果一致；
基于上述比较结果一致时的上述光学特性值分布，生成上述3维图像。
8.如权利要求1所述的摄像装置，其特征在于，
上述对象物是气体。
9.如权利要求1所述的摄像装置，其特征在于，
上述对象物是光散射体。
10.如权利要求1所述的摄像装置，其特征在于，
上述脉冲光是紫外线或红外线。
11.一种摄像装置，其特征在于，具备：
光源，射出包含多个波长的成分的脉冲光；
编码分光元件，具有使来自被照射上述脉冲光的对象物的入射光透射的、光透射率的波长分布不同的多个区域；
摄像元件，具有以二维排列的多个光检测单元，由上述多个光检测单元拍摄由上述编码分光元件编码及分光后的上述入射光的二维像；以及
控制电路，控制上述光源及上述摄像元件。
12.如权利要求11所述的摄像装置，其特征在于，
上述对象物具有第1部分及第2部分；
上述控制电路，
在第1时间中，使上述光源射出上述脉冲光；
在比上述第1时间靠后的第2时间中，使上述摄像元件蓄积基于来自上述对象物的上述第1部分的第1入射光的第1信号电荷；
在比上述第2时间靠后的第3时间中，使上述摄像元件蓄积基于来自上述对象物的上述第2部分的第2入射光的第2信号电荷；
使上述摄像元件输出基于上述第1信号电荷的第1图像信号和基于上述第2信号电荷的第2图像信号。
13.如权利要求12所述的摄像装置，其特征在于，
上述多个光检测单元分别包括第1电荷蓄积部及第2电荷蓄积部；
上述控制电路，
在上述第2时间中，使上述多个光检测单元各自的上述第1电荷蓄积部蓄积上述第1信号电荷；
在上述第3时间中，使上述多个光检测单元各自的上述第2电荷蓄积部蓄积上述第2信号电荷。
14.如权利要求12所述的摄像装置，其特征在于，
上述控制电路在使上述光源及上述摄像元件反复进行多次上述第1时间中的上述脉冲光的上述射出、上述第2时间中的上述第1信号电荷的上述蓄积、以及上述第3时间中的上述第2信号电荷的上述蓄积后，使上述摄像元件输出上述第1图像信号和上述第2图像信号。
15.如权利要求12所述的摄像装置，其特征在于，
还具备信号处理电路，该信号处理电路将上述第1图像信号根据上述波长分离为多个第1分离图像信号，将上述第2图像信号根据上述波长分离为多个第2分离图像信号。
16.如权利要求15所述的摄像装置，其特征在于，
上述信号处理电路基于上述多个第1分离图像信号和上述多个第2分离图像信号，生成上述对象物的3维图像。
17.如权利要求16所述的摄像装置，其特征在于，
上述对象物是光散射体；
上述信号处理电路，
假定上述对象物的光学特性值分布；
计算上述对象物内的光传播；
将上述光传播的计算结果与上述多个第1分离图像信号及上述多个第2分离图像信号进行比较；
反复进行上述光学特性值分布的假定，直到比较结果一致；
基于上述比较结果一致时的上述光学特性值分布，生成上述3维图像。
18.如权利要求11所述的摄像装置，其特征在于，
上述对象物是气体。
19.如权利要求11所述的摄像装置，其特征在于，
上述对象物是光散射体。
20.如权利要求11所述的摄像装置，其特征在于，
上述脉冲光是紫外线或红外线。
21.一种摄像装置，其特征在于，具备：
第1光源，射出包含第1波长的第1脉冲光；
第2光源，射出包含与上述第1波长不同的第2波长的第2脉冲光；
编码元件，具有使来自被照射上述第1脉冲光及上述第2脉冲光的对象物的入射光透射的、光透射率不同的多个区域；
分光元件，使透射了上述多个区域的上述入射光分散为包含上述第1波长的第1入射光和包含上述第2波长的第2入射光；
摄像元件，具有以二维排列的多个光检测单元，由上述多个光检测单元拍摄由上述编码元件编码后的上述第1入射光及上述第2入射光的二维像；以及
控制电路，控制上述第1光源、上述第2光源以及上述摄像元件；
上述控制电路，
在第1时间中，使上述第1光源射出上述第1脉冲光；
在与上述第1时间不同的第2时间中，使上述第2光源射出上述第2脉冲光。
22.一种摄像装置，其特征在于，具备：
第1光源，射出包含第1波长的第1脉冲光；
第2光源，射出包含与上述第1波长不同的第2波长的第2脉冲光；
编码分光元件，具有使来自被照射上述第1脉冲光及上述第2脉冲光的对象物的入射光透射的、光透射率的波长分布不同的多个区域；
摄像元件，具有以二维排列的多个光检测单元，由上述多个光检测单元拍摄由上述编码分光元件编码及分光后的上述入射光的二维像；以及
控制电路，控制上述第1光源、上述第2光源以及上述摄像元件；
上述控制电路，
在第1时间中，使上述第1光源射出上述第1脉冲光；
在与上述第1时间不同的第2时间中，使上述第2光源射出上述第2脉冲光。
CN201610320008.5A 2015-07-02 2016-05-13 摄像装置 Active CN106331442B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-133891 2015-07-02
JP2015133891 2015-07-02

Publications (2)

Publication Number Publication Date
CN106331442A CN106331442A (zh) 2017-01-11
CN106331442B true CN106331442B (zh) 2021-01-15

Family

ID=57683025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610320008.5A Active CN106331442B (zh) 2015-07-02 2016-05-13 摄像装置

Country Status (3)

Country Link
US (3) US10215636B2 (zh)
JP (1) JP6726888B2 (zh)
CN (1) CN106331442B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10212303B2 (en) * 2015-04-17 2019-02-19 Hewlett-Packard Development Company, L.P. Scanner
CN106331442B (zh) * 2015-07-02 2021-01-15 松下知识产权经营株式会社 摄像装置
US10288483B2 (en) * 2017-04-09 2019-05-14 Cymer, Llc Recovering spectral shape from spatial output
JP6862255B2 (ja) * 2017-04-12 2021-04-21 キヤノン株式会社 撮像装置、撮像方法および撮像プログラム
CN107121709B (zh) * 2017-06-01 2023-07-25 华南师范大学 一种基于压缩感知的对象成像系统及其成像方法
CN109596538B (zh) * 2017-10-03 2023-08-25 株式会社堀场制作所 分析装置和分析方法
EP3477246A1 (en) * 2017-10-27 2019-05-01 Nokia Technologies Oy Apparatus, systems and methods for detecting light
US11231197B2 (en) * 2017-12-01 2022-01-25 Johnson Controls Technology Company Ultraviolet (UV) light-based refrigerant leak detection system and method
WO2019181969A1 (ja) * 2018-03-20 2019-09-26 日本電気株式会社 撮像装置及び撮像方法
WO2019230306A1 (ja) * 2018-05-30 2019-12-05 パナソニックＩｐマネジメント株式会社 識別装置および識別方法
US20230010572A1 (en) * 2018-07-13 2023-01-12 The University Of Tokyo Image generating apparatus and image generating method
CN112005101A (zh) * 2018-08-28 2020-11-27 松下知识产权经营株式会社 传感器基板及其制造方法
CN112106064A (zh) * 2018-10-15 2020-12-18 松下知识产权经营株式会社 物体识别方法、车辆控制方法、信息显示方法以及物体识别装置
JP7192447B2 (ja) * 2018-11-30 2022-12-20 セイコーエプソン株式会社 分光カメラおよび電子機器
US11910125B2 (en) * 2018-12-13 2024-02-20 Lg Innotek Co., Ltd. Camera device
EP3980923A1 (en) * 2019-06-07 2022-04-13 BASF Coatings GmbH Method and device for detecting a fluid by a computer vision application
US11686847B2 (en) 2019-06-20 2023-06-27 Cilag Gmbh International Pulsed illumination in a fluorescence imaging system
US11304456B2 (en) 2019-07-28 2022-04-19 Holovisions LLC Smart bra with optical sensors to detect abnormal breast tissue
US11950881B2 (en) 2019-07-28 2024-04-09 Holovsions LLC Smart bra for optical scanning of breast tissue to detect abnormal tissue with selectively-expandable components to reduce air gaps
CN116235031A (zh) * 2020-10-05 2023-06-06 松下知识产权经营株式会社 处理装置、系统、方法和计算机程序
US20220121940A1 (en) * 2020-10-20 2022-04-21 The Regents Of The University Of California Device and method for neural-network based on-chip spectroscopy using a plasmonic encoder
JPWO2023282069A1 (zh) * 2021-07-06 2023-01-12
CN113852738B (zh) * 2021-09-13 2023-08-08 维沃移动通信有限公司 摄像模组、电子设备、图像获取方法和装置
CN115128113A (zh) * 2022-06-21 2022-09-30 上海科技大学 自参考x射线自由电子激光脉冲到达时间诊断装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1493890A (zh) * 2002-09-12 2004-05-05 夏普株式会社 微透镜阵列的曝光装置和曝光方法
CN101251684A (zh) * 2007-02-19 2008-08-27 精工爱普生株式会社 液晶装置及其制造方法、以及电子设备
CN101373323A (zh) * 2007-08-22 2009-02-25 Hoya株式会社 光掩模和光掩模的制造方法

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5627639A (en) * 1995-06-06 1997-05-06 Lockheed Missiles & Space Company, Inc. Coded aperture imaging spectrometer
JP3699761B2 (ja) * 1995-12-26 2005-09-28 オリンパス株式会社 落射蛍光顕微鏡
US7180588B2 (en) * 1999-04-09 2007-02-20 Plain Sight Systems, Inc. Devices and method for spectral measurements
JP2003523509A (ja) 2000-02-15 2003-08-05 ベアリアン・オーストラリア・プロプライエタリー・リミテッド 分光計器のための光シャッタ
US6615063B1 (en) 2000-11-27 2003-09-02 The General Hospital Corporation Fluorescence-mediated molecular tomography
WO2003077263A2 (en) * 2002-03-06 2003-09-18 Advanced Photometrics, Inc. Method and apparatus for radiation encoding and analysis
WO2003102558A1 (en) * 2002-06-04 2003-12-11 Visen Medical, Inc. Imaging volumes with arbitrary geometries in contact and non-contact tomography
JP4235729B2 (ja) * 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
JP3783019B2 (ja) * 2003-03-07 2006-06-07 株式会社四国総合研究所 ガス漏洩監視方法、及びそのシステム
JP2004347454A (ja) * 2003-05-22 2004-12-09 Mitsubishi Rayon Co Ltd シェーディング補正方法
US7283231B2 (en) * 2004-07-20 2007-10-16 Duke University Compressive sampling and signal inference
WO2006078687A2 (en) 2005-01-19 2006-07-27 Optopo Inc. D/B/A. Centice Corporation Static two-dimensional aperture coding for multimodal multiplex spectroscopy
JP2006314557A (ja) * 2005-05-12 2006-11-24 Olympus Medical Systems Corp 生体観測装置
US7336353B2 (en) * 2005-10-17 2008-02-26 Duke University Coding and modulation for hyperspectral imaging
EP1952106B1 (en) * 2005-11-04 2014-08-27 George Themelis System for multispectral imaging
US20090012405A1 (en) * 2006-01-20 2009-01-08 Takemi Hasegawa Imaging system
EP1959250A4 (en) * 2006-01-20 2011-10-12 Sumitomo Electric Industries ANALYZER, DEVICE AND METHOD FOR ASSESSING THE AUTHENTICITY AND UNDERGROUND SEARCH PROCESS
GB0602380D0 (en) 2006-02-06 2006-03-15 Qinetiq Ltd Imaging system
JP5055936B2 (ja) 2006-10-11 2012-10-24 株式会社島津製作所 分光光度計
AU2007351440B2 (en) * 2006-10-24 2012-12-06 Thermo Niton Analyzers Llc Apparatus for inspecting objects using coded beam
JP5271643B2 (ja) * 2008-09-19 2013-08-21 スタンレー電気株式会社 光飛行時間型距離画像センサの制御方法およびそのシステム
US8873059B2 (en) * 2009-03-02 2014-10-28 Genia Photononics Inc. Method for assessing an interaction of a sample with light beams having different wavelengths and a plurality of intensity modulating functions
US8149400B2 (en) * 2009-04-07 2012-04-03 Duke University Coded aperture snapshot spectral imager and method therefor
JP5370246B2 (ja) * 2009-05-27 2013-12-18 セイコーエプソン株式会社 光フィルター、光フィルター装置、分析機器、および光フィルターの製造方法
CA2782235A1 (en) 2009-11-30 2011-06-03 Imec Integrated circuit for spectral imaging system
US8345132B2 (en) * 2010-07-23 2013-01-01 Omnivision Technologies, Inc. Image sensor with dual element color filter array and three channel color output
JP5658993B2 (ja) 2010-12-15 2015-01-28 株式会社日立製作所 生体計測装置
CN103608662B (zh) 2011-06-29 2016-09-28 京都府公立大学法人 肿瘤部位的识别装置以及识别方法
US8570442B2 (en) * 2011-07-12 2013-10-29 Xerox Corporation Hyperspectral image reconstruction via a compressed sensing framework
JP6002232B2 (ja) * 2011-10-25 2016-10-05 センター フォー スペース サイエンス アンド アプライド リサーチ、 チャイニーズ アカデミー オブ サイエンスズＣｅｎｔｅｒ Ｆｏｒ Ｓｐａｃｅ Ｓｃｉｅｎｃｅ Ａｎｄ Ａｐｐｌｉｅｄ Ｒｅｓｅａｒｃｈ， Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ Ｏｆ Ｓｃｉｅｎｃｅｓ 時間分解単一光子計数イメージングスペクトルシステム
JP5439630B2 (ja) * 2011-12-07 2014-03-12 オリンパスメディカルシステムズ株式会社 内視鏡装置
US9658463B2 (en) * 2012-02-03 2017-05-23 Panasonic Intellectual Property Management Co., Ltd. Imaging device and imaging system
JP2013231662A (ja) * 2012-04-27 2013-11-14 Mitsubishi Chemicals Corp 積層体の検査方法、積層体の製造方法、及び積層体の検査装置
JP2013244343A (ja) * 2012-05-29 2013-12-09 Mitsubishi Electric Engineering Co Ltd 生体情報提示装置および生体情報提示方法
US9766382B2 (en) * 2012-06-05 2017-09-19 Hypermed Imaging, Inc. Single-sensor hyperspectral imaging device
BR112014028811B1 (pt) * 2013-03-19 2020-11-17 Koninklijke Philips N.V. sistema de imagem, método para registrar uma imagem de um objeto em uma faixa espectral de radiação de terahertz através da radiografia e visualização da imagem em luz visível, e meio de armazenamento
US9343491B2 (en) * 2013-05-06 2016-05-17 Gonzalo Arce Spectral imaging sensors and methods
US10274420B2 (en) 2014-07-24 2019-04-30 Ecole Polytechnique Federale De Lausanne (Epfl) Compact multifunctional system for imaging spectroscopy
JP6478579B2 (ja) 2014-11-20 2019-03-06 キヤノン株式会社 撮像ユニット、撮像装置、及び画像処理システム
CN106331442B (zh) * 2015-07-02 2021-01-15 松下知识产权经营株式会社 摄像装置
JP2017168822A (ja) 2016-02-12 2017-09-21 ヴァイアヴィ・ソリューションズ・インコーポレイテッドＶｉａｖｉ Ｓｏｌｕｔｉｏｎｓ Ｉｎｃ． センサデバイスの製造方法
CN113167649A (zh) * 2019-01-16 2021-07-23 松下知识产权经营株式会社 光检测装置、光检测系统及滤光器阵列

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1493890A (zh) * 2002-09-12 2004-05-05 夏普株式会社 微透镜阵列的曝光装置和曝光方法
CN101251684A (zh) * 2007-02-19 2008-08-27 精工爱普生株式会社 液晶装置及其制造方法、以及电子设备
CN101373323A (zh) * 2007-08-22 2009-02-25 Hoya株式会社 光掩模和光掩模的制造方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高分辨和超分辨光学成像技术在空间和生物中的应用;姚保利 等;《光子学报》;20111115;全文 *

Also Published As

Publication number Publication date
US20170003168A1 (en) 2017-01-05
JP2017015694A (ja) 2017-01-19
CN106331442A (zh) 2017-01-11
US20190162596A1 (en) 2019-05-30
US11965778B2 (en) 2024-04-23
US11079276B2 (en) 2021-08-03
US20210325246A1 (en) 2021-10-21
JP6726888B2 (ja) 2020-07-22
US10215636B2 (en) 2019-02-26

Similar Documents

Publication Publication Date Title
CN106331442B (zh) 摄像装置
CN106257915B (zh) 摄像装置
US9883833B2 (en) Systems and methods for hyperspectral medical imaging using real-time projection of spectral information
CN107277303B (zh) 摄像装置
JP2016080429A (ja) 分光測定装置
Dalla Mora et al. The SiPM revolution in time-domain diffuse optics
Li et al. A Stare-down video-rate high-throughput hyperspectral imaging system and its applications in biological sample sensing
WO2020121705A1 (ja) 撮像装置
Galeano et al. Analysis of multispectral images of excised colon tissue samples based on genetic algorithms
KR20170004180A (ko) 백색광 간섭계를 이용한 다층 표면형상 획득 신호처리
US20210255096A1 (en) Optical assembly for the hyperspectral illumination and evaluation of an object
CN115670452A (zh) 一种组织血氧显微层析成像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant