CN106256313B - 摄像装置 - Google Patents
摄像装置 Download PDFInfo
- Publication number
- CN106256313B CN106256313B CN201610288643.XA CN201610288643A CN106256313B CN 106256313 B CN106256313 B CN 106256313B CN 201610288643 A CN201610288643 A CN 201610288643A CN 106256313 B CN106256313 B CN 106256313B
- Authority
- CN
- China
- Prior art keywords
- light
- image sensor
- light source
- measurement object
- control circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 77
- 238000009825 accumulation Methods 0.000 claims abstract description 46
- 238000005259 measurement Methods 0.000 claims description 122
- 230000003287 optical effect Effects 0.000 claims description 50
- 230000008859 change Effects 0.000 claims description 25
- 230000000737 periodic effect Effects 0.000 claims description 3
- 230000010287 polarization Effects 0.000 claims description 2
- 238000009792 diffusion process Methods 0.000 description 32
- 238000001514 detection method Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 26
- 230000007177 brain activity Effects 0.000 description 20
- 238000000034 method Methods 0.000 description 19
- 210000001061 forehead Anatomy 0.000 description 11
- 239000000463 material Substances 0.000 description 9
- 239000008280 blood Substances 0.000 description 8
- 210000004369 blood Anatomy 0.000 description 7
- 230000017531 blood circulation Effects 0.000 description 7
- 238000010521 absorption reaction Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 6
- 238000002835 absorbance Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 238000002366 time-of-flight method Methods 0.000 description 5
- 230000003727 cerebral blood flow Effects 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000012916 structural analysis Methods 0.000 description 4
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical compound N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 description 3
- 108010064719 Oxyhemoglobins Proteins 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 108010002255 deoxyhemoglobin Proteins 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000031700 light absorption Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 240000006829 Ficus sundaica Species 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 101000694017 Homo sapiens Sodium channel protein type 5 subunit alpha Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005685 electric field effect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 210000004884 grey matter Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
- A61B5/4064—Evaluating the brain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14532—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring glucose, e.g. by tissue impedance measurement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Neurology (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Psychology (AREA)
- Neurosurgery (AREA)
- Optics & Photonics (AREA)
- Hematology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Light Receiving Elements (AREA)
- Studio Devices (AREA)
Abstract
本发明的一个方式的摄像装置具有:光源,发出包括第1脉冲光和第2脉冲光的脉冲光;图像传感器,包括光电二极管以及至少一个像素,该至少一个像素包含蓄积来自所述光电二极管的信号电荷的第1电荷蓄积部和第2电荷蓄积部;以及控制电路,控制所述光源及所述图像传感器,所述控制电路在所述光源开始发出所述第1脉冲光后,隔开时间差使所述第1电荷蓄积部中的所述信号电荷的蓄积开始,在所述光源开始发出所述第2脉冲光后,隔开所述时间差使所述第2电荷蓄积部中的所述信号电荷的蓄积开始。
Description
技术领域
本发明涉及摄像装置。
背景技术
在生物体计测及材料分析的领域中,采用向对象物照射光,从透射过对象物内部的光的信息取得对象物的内部信息的方法。在该方法中,来自对象物表面的反射成分成为噪声,有时成为问题。作为将这些基于表面反射成分的噪声清除、仅取得期望的内部信息的方法,例如在生物体计测的领域中有日本特开平11-164826号公报公开的方法。日本特开平11-164826号公报公开了使光源和光检测器以隔开一定间隔的状态紧密地贴在测定部位上进行测定的方法。
发明内容
用于解决问题的手段
本发明的一个方式的摄像装置具有:光源,发出包括第1脉冲光和第2脉冲光的脉冲光;图像传感器,包括光电二极管以及至少一个像素,该至少一个像素包含蓄积来自所述光电二极管的信号电荷的第1电荷蓄积部和第2电荷蓄积部;以及控制电路,控制所述光源及所述图像传感器,所述控制电路在所述光源开始发出所述第1脉冲光后,隔开时间差使所述第1电荷蓄积部中的所述信号电荷的蓄积开始,在所述光源开始发出所述第2脉冲光后,隔开所述时间差使所述第2电荷蓄积部中的所述信号电荷的蓄积开始。
附图说明
图1A是表示实施方式1的摄像装置D1及摄像装置D1拍摄测定对象O的状态的示意图。
图1B是表示传感器检测光量的时间特性的脉宽依存性的图。
图1C是表示传感器检测光量的脉宽依存性的图。
图1D是表示图像传感器的一个像素的概略结构例的图。
图1E是表示图像传感器的结构的一例的图。
图1F是表示在1帧内的第1脉冲光的发光和第2脉冲光的发光的图。
图1G是表示控制电路的动作的概况的流程图。
图2是表示从光源发出矩形脉冲光、并从测定对象反射而到达图像传感器的光的光信号的图。
图3A是表示实施方式2的在图像传感器上的光信号、及快门定时和检测出的光信号的关系的图。
图3B是表示实施方式2的光源发出的脉冲光、在图像传感器上的光信号、及快门定时的关系的图。
图4A是表示实施方式2的摄像装置的动作的流程图。
图4B是表示与图4A不同的方式的摄像装置的动作的流程图。
图5是表示实施方式3的摄像装置及摄像装置拍摄测定对象的状态的示意图。
图6A是表示在实施方式4中使用了本发明的摄像装置的脑部活动变化的测定例的图。
图6B是表示在实施方式4中使用了本发明的摄像装置的脑部活动变化的另一测定例的图。
图7A是表示光的照射区域的图。
图7B是表示检测区域中的二维脑部活动分布的图。
图8A是表示在实施方式5中使用本发明的摄像装置进行测定对象内部的材料分析、构造分析的示例的图。
图8B是表示在实施方式5中使用本发明的摄像装置进行测定对象内部的材料分析、构造分析的另一例的图。
图9A是表示在实施方式5中使用本发明的摄像装置将来自测定对象的光中的内部散射成分从表面反射成分分离,从而进行测定对象内部的材料分析、构造分析的示例的图。
图9B是表示在实施方式5中使用本发明的摄像装置取得内部散射成分的多波长信息,从而进行测定对象内部的材料分析、构造分析的示例的图。
图10是表示实施方式6的内部散射成分的时间分解的结构的图。
图11是表示在实施方式7中检测到达比较远离表面的部位的内部散射成分I2的结构的图。
图12是表示实施例1的测定结果的图。
图13是表示实施例1的脑部活动变化的测定结果的图。
具体实施方式
下面在说明本发明的实施方式之前,作为非接触地测定对象物的内部信息的现有技术,说明对日本特开平4-189349号公报所记载的方法进行研究的结果。
在日本特开平4-189349号公报中,对于位于对象物的内部的深度方向上的不同部位的信息,利用时间分解法区别地加以测定。从光源射出并透射对象物内部的光,越是到达更深的位置的光,到达光检测器的时间越迟。利用该时间差来对深度方向的信息加以区别。在日本特开平4-189349号公报中,向对象物照射脉宽约几百飞秒(femto second)~几皮秒(pico second)左右的超短脉冲光,以便以2~3mm测定深度方向的空间分辨率。并且,具有相同程度(大约是将2~3mm除以光速得到的程度)的时间分辨率的条纹相机(streamcamera)对光进行检测。条纹相机将到达受光部(光电变换部)的光变换为电子,相对于行进方向垂直地高速扫描该电子。于是,按照到达受光部的光子的时间而产生空间性的位移。通过在二维的荧光面上检测该位移,能够将时间信息变换为空间信息并取得信息。
根据本申请发明人们的研究,日本特开平4-189349号公报所记载的方法使用二维的荧光面进行测定,但其中的一维被用于时间信息。即,关于对象物的空间信息,只能取得剩余一维的信息。并且,由于使用脉宽约几百飞秒~几皮秒量级的超短脉冲光源或者条纹相机,因而存在非常昂贵的问题。
因此,本发明的第一方式的摄像装置具有:光源,发出包括第1脉冲光和第2脉冲光的脉冲光;图像传感器,包括光电二极管以及至少一个像素,该至少一个像素包含蓄积来自所述光电二极管的信号电荷的第1电荷蓄积部和第2电荷蓄积部;以及控制电路,控制所述光源及所述图像传感器,所述控制电路在所述光源开始发出所述第1脉冲光后,隔开时间差使所述第1电荷蓄积部中的所述信号电荷的蓄积开始,在所述光源开始发出所述第2脉冲光后,隔开所述时间差使所述第2电荷蓄积部中的所述信号电荷的蓄积开始。
本发明的第二方式的摄像装置,在第一方式的摄像装置中,所述图像传感器还包括对所述第1电荷蓄积部及所述第2电荷蓄积部中的所述信号电荷的所述蓄积的实施和停止进行切换的电子快门,在所述脉冲光的一部分从测定对象的表面反射并到达所述图像传感器的期间,所述控制电路通过所述电子快门使所述第1电荷蓄积部及所述第2电荷蓄积部中的所述信号电荷的所述蓄积停止,在所述脉冲光的另一部分在所述测定对象的内部散射并到达所述图像传感器的期间,所述控制电路通过所述电子快门使所述第1电荷蓄积部及所述第2电荷蓄积部中的所述信号电荷的所述蓄积被实施。
本发明的第三方式的摄像装置,在第一或者第二方式的摄像装置中,所述至少一个像素具有多个像素,所述多个像素呈二维配置。
本发明的第四方式的摄像装置,在第二方式的摄像装置中,在所述脉冲光的后端从所述测定对象的表面反射并到达所述图像传感器的时刻或者在比所述时刻靠后的时刻,所述控制电路通过所述电子快门使所述第1电荷蓄积部及所述第2电荷蓄积部中的所述信号电荷的所述蓄积开始。
本发明的第五方式的摄像装置,在第一~第三方式的任意一个方式的摄像装置中,所述控制电路根据在所述第1电荷蓄积部及所述第2电荷蓄积部中蓄积的所述信号电荷的强度,决定所述时间差。
本发明的第六方式的摄像装置,在第一方式的摄像装置中,所述控制电路计算从所述图像传感器到测定对象的距离,根据计算出的所述距离决定所述时间差。
本发明的第七方式的摄像装置,在第一方式的摄像装置中,在所述脉冲光的后端从测定对象的表面反射并到达所述图像传感器的时刻或者在作为比所述时刻靠后的时刻的多个时刻,所述控制电路进行所述第1电荷蓄积部及所述第2电荷蓄积部中的所述信号电荷的蓄积,所述控制电路根据在所述多个时刻蓄积的所述信号电荷的强度变化,取得所述脉冲光中的在所述测定对象的内部散射的成分的光路长度分布。
本发明的第八方式的摄像装置,在第一方式的摄像装置中,所述摄像装置还具有校正测定对象的运动的校正电路。
本发明的第九方式的摄像装置,在第八方式的摄像装置中,所述校正电路通过检测所述测定对象的周期振动来校正所述测定对象的运动。
本发明的第十方式的摄像装置,在第一~第九方式的任意一个方式的摄像装置中,所述第2脉冲光具有与所述第1脉冲光不同的波长。
本发明的第十一方式的摄像装置,在第一~第九方式的任意一个方式的摄像装置中,所述第2脉冲光具有与所述第1脉冲光不同的偏振特性。
另外,下面说明的实施方式均用于示出概括性的或者具体的示例。在下面的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置等仅是一例,其主旨不是限定本发明。并且,关于下面的实施方式的构成要素中、没有在表示最上位概念的独立权利要求中记载的构成要素,作为任意的构成要素进行说明。
下面,参照附图具体说明实施方式。
(实施方式1)
[1.摄像装置]
首先,使用图1A~图2说明第1实施方式的摄像装置D1的结构。
图1A是表示本实施方式的摄像装置D1的示意图。摄像装置D1具有光源Ls、图像传感器S和控制电路Sy。
[1-1.光源Ls]
光源Ls向测定对象O照射光。从光源Ls照射并到达测定对象O的光成为在测定对象O的表面反射的成分(表面反射成分I1)、和在测定对象O的内部反射1次或者散射1次、或者多重散射的成分(内部散射成分I2)。表面反射成分I1包括直接反射成分、扩散反射成分及散射反射成分这三种。直接反射成分是指入射角和反射角相等的反射成分。扩散反射成分是指根据表面的凹凸形状而扩散并反射的成分。散射反射成分是指通过表面附近的内部组织而散射并反射的成分。在测定对象O为人的皮肤的情况下,散射反射成分是指在表皮内部散射并反射的成分。以下,在本发明中,假设在测定对象O的表面反射的成分(表面反射成分I1)包括这三种成分进行说明。并且,假设内部散射成分I2不包括通过表面附近的内部组织而散射并反射的成分进行说明。表面反射成分I1及内部散射成分I2的行进方向通过反射或者散射而变化,其中一部分到达图像传感器S。光源Ls按照规定的时间间隔或者时机多次产生脉冲光。光源Ls产生的脉冲光的下降时间也可以接近零,例如是矩形波。光源Ls产生的脉冲光的上升时间是任意的。这是因为在后述的使用本发明的摄像装置的测定中,使用脉冲光的时间轴中的下降部分,不使用上升部分。光源Ls例如是脉冲光的下降部分相对于时间轴近似垂直(时间响应特性急剧变化)的LD等的激光。
在测定对象O是生物体的情况下,能够将光源Ls的波长设定为例如大约650nm以上大约950nm以下。该波长范围包含在红色~近红外线的波长范围中。在本说明书中,不仅对可见光,对于红外线也使用“光”这样的用语。
本发明的摄像装置D1非接触地对测定对象O进行测定,因而在测定对象O是人的情况下,要考虑对视网膜的影响。因此,也可以满足各个国家分别保有的激光安全基准的1级。在这种情况下,向测定对象O照射可达发射极限AEL低于1mW左右的低照度的光。其中,光源Ls自身也可以不满足1级。例如,通过在光源Ls前方设置扩散板或者ND滤波器等使光扩散或者衰减,从而满足激光安全基准的1级即可。
日本特开平4-189349号公报等所记载的以往的条纹相机,是为了区别并检测位于生物体内部的深度方向上的不同部位的信息(例如吸收系数或者散射系数)而使用的。因此,为了能够以期望的空间分辨率进行测定,使用脉宽为飞秒或者皮秒的极短脉冲光。另一方面,本发明的摄像装置D1是为了从表面反射成分I1区别并检测内部散射成分I2而使用的。因此,光源Ls发出的脉冲光不需要是极短脉冲光,脉宽是任意的。在为了计测脑血流而使光照射额部的情况下,内部散射成分I2的光量与表面反射成分I1的光量相比非常小,达到几千~几万分之一。另外,考虑到激光安全基准,能够照射的光的光量减小,内部散射成分I2的检测非常困难。因此,通过使光源Ls产生脉宽比较宽的脉冲光,能够增加检测光量,提高SN比。
光源Ls发出例如脉宽3ns以上的脉冲光。通常在脑部等生物体内散射的光的时间性的宽度约是4ns。因此,如图1B所示,随着使光源Ls的脉冲光的宽度扩展,在从测定对象O返回来的脉冲光的后端部出现的内部散射成分I2的光量增加。图1C是横轴表示输入脉冲光的宽度、纵轴表示传感器检测光量的图。图像传感器S具有电子快门。在脉冲光的紧挨着后端的后方,表面反射成分I1相对于内部散射成分I2的比率较高,因而在从后端起1ns后将电子快门打开。根据图1C,在将光源Ls发出的脉冲光的脉宽设为3ns以上时,能够使传感器检测光量最大化。
光源Ls也可以发出脉宽5ns以上、乃至10ns以上的脉冲光。另一方面,在脉宽过宽时,不使用的光增加而成为浪费,因而使光源Ls产生例如脉宽50ns以下的脉冲光。或者,也可以使光源Ls发出脉宽30ns以下、乃至20ns以下的脉冲光。
另外,作为光源Ls的照射图案,在照射区域内既可以是均匀的强度分布,也可以是点状的强度分布、环状的强度分布。
[1-2.图像传感器S]
图像传感器S接受从光源Ls射出并从测定对象O反射的光。图像传感器S具有呈二维状配置的多个像素(受光元件),一次性地取得测定对象O的二维信息。图像传感器S例如是CCD图像传感器或者CMOS图像传感器。
图像传感器S具有电子快门。电子快门是控制用于将接受的光变换为有效的电信号并进行蓄积的1次信号蓄积的期间即曝光期间(也称为“摄影期间”)的长度(称为“快门宽度”)、和从1次的曝光期间结束起到下一次的曝光期间开始为止的时间(称为“快门定时”)的电路。以下,有时将电子快门进行曝光(摄影)的状态作为“OPEN(开启状态)”、将电子快门停止曝光(摄影)的状态作为“CLOSE(关闭状态)”进行说明。图像传感器S能够通过电子快门以亚纳秒例如30ps~1ns调整快门定时。以距离测定为目的的以往的TOF摄影机为了校正被摄体的明亮度,检测光源Ls发出的脉冲光从被摄体反射并返回来的所有光。因此,在以往的TOF摄影机中,需要使快门宽度大于光的脉宽。与此相对,本实施方式的摄像装置D1不需要校正被摄体的光量,因而快门宽度不需要大于光的脉宽,例如约为1~30ns。根据本实施方式的摄像装置D1,由于缩小了快门宽度,因而能够降低检测信号中包含的暗电流。
在测定对象O是人的额部、检测脑血流等的信息的情况下,光在内部的衰减率非常大(一百万分之一的程度)。因此,为了检测内部散射成分I2,仅仅靠1脉冲的照射,有时光量不足。在这种情况下,通过使光源Ls多次发出脉冲光,与此对应地,图像传感器S也通过电子快门多次曝光,将检测信号累计来提高敏感度。
下面,说明图像传感器S的结构例。
图像传感器S具有在摄像面上呈二维状排列的多个光检测单元(在本说明书中也称为“像素”)。各像素具有受光元件(例如光电二极管)。
图1D是表示图像传感器S的一个像素201的概略结构例的图。另外,图1D仅是示意地示出一个像素201的结构,不一定反映出实际的构造。像素201包括进行光电变换的光电二极管203、蓄积信号电荷的电荷蓄积部即第1~第4浮动扩散层(Floating Diffusion:FD)204、205、206、207、以及排出信号电荷的信号电荷排出部即漏极202。
由于1次的脉冲光的射出而入射到各像素的光子通过光电二极管203被变换为信号电荷即信号电子。被变换后的信号电子按照从控制电路Sy输入的控制信号被排出到漏极202、或者被分配到第1~第4浮动扩散层204、205、206、207中的某个。
来自光源Ls的脉冲光的射出、向第1浮动扩散层(FD1)204、第2浮动扩散层(FD2)205、第3浮动扩散层(FD3)206及第4浮动扩散层(FD4)207的信号电荷的蓄积、和向漏极202的信号电荷的排出是按照该顺序反复进行的。该反复动作是高速进行的,例如在动态图像的1帧的时间(例如约1/30秒)内能够反复进行几万次~几亿次。像素201最终生成基于在第1~第4浮动扩散层204、205、206、207中蓄积的信号电荷的4个图像信号并进行输出。
控制电路Sy在开始发出第1脉冲光后隔开时间差在第1浮动扩散层(FD1)204中蓄积来自光电二极管203的信号电荷,在开始发出第2脉冲光后隔开所述时间差在第2浮动扩散层(FD2)205中蓄积来自光电二极管203的信号电荷。由此,在第1浮动扩散层(FD1)204和第2浮动扩散层(FD2)205中能够分别使第1脉冲光的后端部的相位和第2脉冲光的后端部的相位对准相同位置,并开始信号电荷的蓄积。因此,此时在使测定对象O的距离例如每次变化±50cm时,在第1浮动扩散层(FD1)204和第2浮动扩散层(FD2)205中所蓄积的信号电荷量都增加或者都减少。另外,为了估计外部干扰光及环境光的光量,也可以在使光源Ls灭灯的状态下在第3浮动扩散层(FD3)206中蓄积电荷。通过从第1浮动扩散层(FD1)204或者第2浮动扩散层(FD2)205的信号电荷量减去第3浮动扩散层(FD3)206的信号电荷量,能够得到去除了外部干扰光及环境光成分的信号。并且,也可以在第4浮动扩散层(FD4)207中蓄积第3脉冲光。
第1脉冲光和第2脉冲光也可以是不同波长的光。通过选择对测定对象O的吸收率不同的两种波长,能够分析测定对象O的特性。例如,通过将比805nm长的波长的光用作第1脉冲光、将比805nm短的波长的光用作第2脉冲光,能够检测测定对象的血流的氧合血红蛋白(oxyhemoglobin)浓度和脱氧血红蛋白(deoxyhemoglobin)浓度的变化量。
另外,在本实施方式中将浮动扩散层数设为4,但也可以根据目的而设计为2以上的多个的数。
图1E是表示图像传感器S的结构的一例的图。在图1E中,由双点划线的框包围的区域相当于一个像素201。在图1E中仅示出了呈2行2列排列的4像素,但实际上配置了更多的像素。像素201包括4个浮动扩散层即第1~第4浮动扩散层204、205、206、207。在4个浮动扩散层中蓄积的信号好像如同一般的CMOS图像传感器的4像素的信号那样进行处理,并从图像传感器S进行输出。
各像素201具有4个信号检测电路。各信号检测电路包括源级跟随晶体管(放大晶体管)309、FD信号读出晶体管(行选择晶体管)308、复位晶体管310。在该例中,复位晶体管310对应于图1D所示的漏极202,输入到复位晶体管310的栅极的脉冲对应于前述的漏极排出脉冲。各晶体管例如是形成于半导体基板的电场效应晶体管,但不限于此。如图所示,源级跟随晶体管309的输入端子及输出端子中一方(典型的是源级)和FD信号读出晶体管308的输入端子及输出端子中一方(典型的是漏极)连接。源级跟随晶体管309的控制端子(栅极)与光电二极管203连接。由光电二极管203生成的信号电荷(空穴或者电子)被蓄积在光电二极管203和源级跟随晶体管309之间的电荷蓄积部即浮动扩散层中。
在图1E中没有图示,但第1~第4浮动扩散层204、205、206、207可与光电二极管203连接,在光电二极管203和浮动扩散层之间可设置开关。该开关按照来自控制电路Sy的信号蓄积脉冲,切换光电二极管203和各个第1~第4浮动扩散层204、205、206、207之间的导通状态。由此,控制向各个第1~第4浮动扩散层204、205、206、207的信号电荷的蓄积的开始和停止。本实施方式中的电子快门具有这样的曝光控制用的机构。
通过由行选择电路302将行选择晶体管308的栅极设为开启(ON),在第1~第4浮动扩散层204、205、206、207中蓄积的信号电荷被读出。此时,按照第1~第4浮动扩散层204、205、206、207的信号电位,从源级跟随电源305向源级跟随晶体管309及源级跟随负载306流入的电流被放大。从垂直信号线304读出的基于该电流的模拟信号,通过对每列连接的模拟-数字(AD)变换电路307被变换为数字信号数据。该数字信号数据按照每列被列选择电路303读出,从图像传感器S输出。行选择电路302及列选择电路303在进行了一个行的读出后进行下一个行的读出,以后同样地读出所有行的浮动扩散层的信号电荷的信息。控制电路Sy在读出了所有的信号电荷后使复位晶体管310的栅极开启,由此将所有的浮动扩散层复位。由此,完成一个帧的摄像。以后同样地反复帧的高速摄像,由此通过图像传感器S进行的一系列的帧的摄像完成。
在本实施方式中说明了CMOS型的图像传感器S的示例,但摄像元件也可以是CCD型,也可以是单一光子计数型元件,还可以是放大型图像传感器(EMCCD、ICCD)。
在本实施方式中,如图1F所示,也可以在1帧内交替地多次切换第1脉冲光的发光和第2脉冲光的发光。这样,能够减少两种检测图像的取得定时的时间差,即使是运动的测定对象O,也能够基本同时进行第1及第2脉冲光的摄影。
[1-3.控制电路Sy]
控制电路Sy调整光源Ls的脉冲光发光定时和图像传感器S的快门定时的时间差。以下,有时将该时间差称为“相位”或者“相位延迟”。光源Ls的“发光定时”是指光源Ls发出的脉冲光开始上升的时间。控制电路Sy既可以改变发光定时来调整相位,也可以改变快门定时来调整相位。
控制电路Sy也可以构成为从在图像传感器S的受光元件检测出的信号中去除偏置成分。偏置成分是指基于太阳光、荧光灯等环境光、外部干扰光的信号成分。在光源Ls不发光的状态下即将光源Ls的驱动设为OFF的状态下,图像传感器S检测信号,由此估计基于环境光、外部干扰光的偏置成分。
控制电路Sy例如是具有中央运算处理装置(CPU)或者微型计算机(微处理器)等处理器、和存储器的集成电路。控制电路Sy通过执行例如记录在存储器中的程序,进行发光定时和快门定时的调整、偏置成分的估计及偏置成分的去除等。另外,控制电路Sy也可以具有进行图像处理等运算处理的运算电路。这样的运算电路例如能够由数字信号处理器(DSP)、现场可编程门阵列(FPGA)等可编程逻辑装置(PLD)来实现、或者利用由中央运算处理装置(CPU)或图像处理用运算处理器(GPU)和计算机程序的组合来实现。另外,控制电路Sy和运算电路也可以是被整合的一个电路,也可以是分离的单体电路。
图1G是表示控制电路Sy的动作的概况的流程图。详细情况在后面进行说明,但概略地讲,控制电路Sy执行图1G所示的动作。控制电路Sy首先使光源Ls发出规定时间的脉冲光(步骤S101)。此时,处于图像传感器S的电子快门停止曝光的状态。控制电路Sy使电子快门停止曝光,一直到脉冲光的一部分从测定对象O的表面反射并到达图像传感器S的期间结束为止。然后,控制电路Sy在该脉冲光的另一部分在测定对象O的内部散射并到达图像传感器S的定时,使电子快门开始曝光(步骤S103)。在经过规定的时间后,控制电路Sy使电子快门停止曝光(步骤S103)。然后,控制电路Sy判定执行上述的信号蓄积的次数是否达到了规定的次数(步骤S104)。在该判定为否的情况下,反复步骤S101~S103,一直到判定为是为止。当在步骤S104判定为是时,控制电路Sy使图像传感器S生成表示基于在各浮动扩散层蓄积的信号电荷的图像的信号并进行输出(步骤S105)。
通过以上的动作,能够以较高的敏感度检测在测定对象的内部散射的光的成分。另外,多次的发光及曝光不是必须的,可以根据需要进行。
[1-4.其它]
摄像装置D1也可以具有在图像传感器S的受光面上形成测定对象O的二维像的成像光学系统。成像光学系统的光轴与图像传感器S的受光面大致垂直。成像光学系统也可以包括变焦透镜。在变焦透镜的位置变化时,测定对象O的二维像的放大率变更,图像传感器S上的二维像的分辨率变化。因此,即使是与测定对象O的距离较远时,也能够将想要测定的区域放大进行详细观察。
另外,摄像装置D1也可以具有仅使从光源Ls发出的波长的频带或者其附近的光在测定对象O和图像传感器S之间通过的带通滤波器。由此,能够降低环境光等外部干扰成分的影响。带通滤波器由多层膜滤波器或者吸收滤波器构成。也可以考虑光源Ls的温度和随着向滤波器的倾斜入射而形成的频带移动,使带通滤波器的频带宽度具有大约20~100nm的宽度。
另外,摄像装置D1也可以在光源Ls和测定对象O之间、以及图像传感器S和测定对象O之间分别具有偏振片。在这种情况下,配置在光源Ls侧的偏振片和配置在图像传感器侧的偏振片是正交尼科尔(crossed nicol)的关系。由此,能够防止测定对象O的表面反射成分I1中的正反射成分(入射角和反射角相同的成分)到达图像传感器S。即,能够减少表面反射成分I1到达图像传感器S的光量。
[2.动作]
本发明的摄像装置D1从表面反射成分I1中区别并检测内部散射成分I2。在将测定对象O设为人的额部的情况下,想要检测的内部散射成分I2的信号强度非常小。因为如前面所述,除照射满足激光安全基准的非常小的光量的光以外,基于头皮、脑髓液体、头盖骨、灰质、白质及血流的光的散射及吸收较大。另外,基于脑部活动时的血流量或者血流内成分的变化的信号强度的变化非常小,相当于几十分之一的大小。因此,尽可能地不混入想要检测的信号成分的几千~几万倍的表面反射成分I1地进行摄影。
下面,说明本实施方式的摄像装置D1的动作。
如图1A所示,在光源Ls向测定对象O照射脉冲光时产生表面反射成分I1和内部散射成分I2。表面反射成分I1和内部散射成分I2的一部分到达图像传感器S。内部散射成分I2在从光源Ls发出并到达图像传感器S以前在测定对象O的内部通过,因而光路长度比表面反射成分I1长。因此,内部散射成分I2到达图像传感器S的时间相对于表面反射成分I1延迟。图2是表示从光源Ls发出矩形脉冲光、并从测定对象O反射的光到达图像传感器S的光信号的图。在图2的(a)~(d)中横轴都表示时间(t),在(a)~(c)中纵轴表示强度,在(d)中纵轴表示电子快门的开启或者关闭的状态。(a)表示表面反射成分I1。(b)表示内部散射成分I2。(c)表示表面反射成分I1和内部散射成分I2的合计成分。如(a)所示,表面反射成分I1维持矩形。另一方面,如(b)所示,内部散射成分I2是经过各种光路长度后的光的合计,因而示出了诸如在脉冲光的厚度拖尾的(下降时间比表面反射成分I1长)的特性。为了从(c)的光信号中提取内部散射成分I2,如(d)所示从表面反射成分I1的后端起(表面反射成分I1已经下降时或者之后)使电子快门开始曝光即可。该快门定时能够通过控制电路Sy进行调整。如上所述,本发明的摄像装置D1只要能够从表面反射成分I1区别并检测内部散射成分I2即可,因而发光脉冲宽度及快门宽度是任意的。因此,与使用以往的条纹相机的方法不同,能够利用简便的结构实现,能够大幅降低成本。
另外,在测定对象不是平面的情况下,光的到达时间在图像传感器的各像素之间不同。在这种情况下,按照属于测定对象O的关注区域的像素决定(d)所示的快门定时即可。并且,也可以利用已知的方法预先检测测定对象O的表面的进深信息,根据该信息使快门定时按照每个像素而变化。进深信息是指将成像光学系统的光轴方向设为z时的z方向的位置信息。因此,能够按照测定对象O的表面的弯曲在各个位置形成用于提取内部散射成分I2的最佳的快门定时。
在图2的(a)中,表面反射成分I1的后端垂直下降。换言之,表面反射成分I1从开始下降起到结束下降为止的时间是零。但是,现实中光源Ls照射的脉冲光自身有时不是完全的垂直,或者在测定对象O的表面具有微细的凹凸,表面反射成分I1的后端不是垂直下降。并且,测定对象O通常往往是不透明的物体,因而相比内部散射成分I2,表面反射成分I1的光量非常大。因此,即使是从表面反射成分I1的后端垂直下降的位置稍微溢出的情况下,也存在内部散射成分I2被埋没的问题。并且,因随着电子快门的读出期间中的电子移动而形成的时间延迟,有时不能实现如图2(d)所示的理想的二值化的读出。因此,控制电路Sy也可以使电子快门的快门定时比表面反射成分I1刚刚下降后稍微延迟。例如,也可以延迟大约0.5ns~5ns。并且,为了仅取得比测定对象O的期望深度深的部分的信息,控制电路Sy也可以使电子快门的快门定时进一步延迟。另外,也可以是控制电路Sy调整光源Ls的发光定时,来取代调整电子快门的快门定时。控制电路Sy调整电子快门的快门定时和光源Ls的发光定时的时间差即可。此外,在非接触地计测脑部活动时的血流量或者血流内成分的变化的情况下,如果使快门定时过度延迟,将导致本来就小的内部散射成分I2进一步减少,因而也可以使快门定时停留在表面反射成分I1的后端附近。
也可以是,光源Ls多次发出脉冲光,针对各脉冲光在相同相位的快门定时多次曝光,由此将内部散射成分I2的检测光量放大。
另外,也可以是,取代在测定对象O和图像传感器S之间配置带通滤波器,或者在该配置的基础上,控制电路Sy在使光源Ls不发光的状态下以相同的曝光时间进行摄影,由此估计偏置成分。将所估计的偏置成分从在图像传感器S的受光元件检测的信号中进行差分去除。由此,能够去除在图像传感器S上产生的暗电流成分。
如上所述,本发明的摄像装置的控制电路Sy使光源Ls发出脉冲光,在脉冲光的一部分从测定对象的表面反射并到达图像传感器S的期间使电子快门停止曝光。另一方面,在脉冲光的另一部分在测定对象的内部散射并到达图像传感器S的期间使电子快门曝光。由此,能够在抑制了基于来自表面的反射成分的噪声的状态下取得测定对象O的内部信息。并且,电子快门开始曝光的时刻只要是脉冲光的后端从测定对象的表面反射并到达图像传感器S的时刻或者比该时刻靠后的时刻即可。因此,能够在基于来自表面的反射成分的噪声几乎不存在的状态下取得测定对象的内部信息。
(实施方式2)
本实施方式2与实施方式1的不同之处在于,控制电路Sy决定快门定时的相位。在此,对于本实施方式中实质上与实施方式1相同的内容省略详细说明。
在光源Ls射出的光从测定对象O反射并返回到图像传感器S上的时间依赖于该光的移动距离。因此,按照从摄像装置D1到测定对象O的距离调整快门定时的相位。图3A是表示调整快门定时的示例的图。图3A中的(a)表示到达图像传感器S的光信号的时间响应波形。图3A中的(a)所示的光信号是包括表面反射成分I1和内部散射成分I2双方的信号。图3A中的(b)是表示将图3A中的(a)所示的光信号开始下降的时刻作为基准、在足够延迟的相位将快门打开的快门定时(t=t1)的图。其中,在周期地多次发出光源的脉冲光的情况下,在图3A中的(a)所示的光信号下降后到下一次上升的期间设定相位t。此时,来自测定对象的光信号完全检测不到或者仅检测出在后端残留的微小的光信号I。该光信号I是相对包含较多光路长度比较长、即测定对象O的较深的部位的信息的信号。图3A中的(c)表示从图3A中的(b)进一步提前Δt的快门定时(t=t2)。这样,所检测的光信号I的光量也增加了将快门定时提前的量。图3A中的(d)和(e)表示调整成使相位比图3A中的(c)进一步提前的定时(t=t3、t=t4、t3>t4)。这样逐渐提前快门定时,图像传感器S检测的光信号I开始急剧增加的部位是相当于表面反射光I1的后端部的部位。因此,如果将快门定时设定在即将开始该急剧增加之前,则能够检测主要由内部散射光I2构成的信号。将快门定时提前的量Δt是比内部散射成分I2的后端的扩展(下降时间)小的值。Δt例如是30ps~1ns。图3B在时间轴上示出光源的发光脉冲、到达图像传感器S的光信号、及快门定时的关系。光源Ls周期地发出脉冲光。在图3B中,在快门关闭后发出下一个脉冲光,但快门打开的期间和发光期间也可以重复。例如,光源Ls发出的连续的两个脉冲光之间的灭灯期间可以是快门宽度的4倍以下,也可以是2倍以下,也可以是1.5倍以下。灭灯期间是指从光源Ls发出的脉冲光的下降结束起到下一次开始上升为止的时间。并且,该灭灯期间可以是光源Ls的脉冲光的脉宽的4倍以下,也可以是2倍以下,也可以是1.5倍以下。由此,能够增加图像传感器S的每单位时间的曝光量,因而能够以相同的帧速率提高敏感度。该灭灯期间在以往的TOF摄影机中有可能在距离测定时产生误检测,因而是不采用的较短期间。
另外,作为搜索最佳的快门定时的相位的方法,除图3A所示的使相位逐渐变化的方法以外,也可以使用二分法、牛顿法等反复法或者数值计算手法。采用这些方法能够减少摄影次数,能够缩短搜索时间。
另外,也可以通过使用复眼/双目取景摄影机的三角测量或者使用TOF方式的飞翔时间的测定,来直接测定到测定对象O的距离并决定快门定时的相位。根据所测定的距离,估计从光源发出脉冲光到表面反射成分I1的后端到达图像传感器S的时间。控制电路Sy只要设定成在经过了所估计的时间时或者在其之后快门打开即可。另外,这种情况下,控制电路Sy包括计算从摄像装置D1到测定对象O的距离或者依赖于距离的值的运算电路。
图4A是表示本实施方式的摄像装置D1的动作的流程图。控制电路Sy执行例如记录在存储器中的程序并控制各构成要素,由此实现摄像装置D1的动作。
首先,控制电路Sy控制快门定时的相位使进行多次的摄影。多次的摄影分别在彼此不同的相位的快门定时实施(步骤S101)。即,控制电路Sy进行使光源的脉冲光的发光定时和图像传感器S的快门定时的时间差彼此不同的多次摄影。
然后,控制电路Sy根据通过步骤S101的多次摄影而得到的检测信号的强度推移,判定例如强度的变化率是否超过了规定的阈值。在判定为超过该阈值的情况下,根据自此以后的快门定时决定适当的快门定时的相位(步骤S102)。适当的相位例如可以是超过该阈值的瞬间的定时,也可以是从该瞬间起延迟了规定时间后的定时。
然后,控制电路Sy在基于通过步骤S102决定的相位的快门定时拍摄测定对象O(步骤S103)。即,使光源的脉冲光的发光定时和快门定时按照所决定的时间差同步地拍摄测定对象O。由此,摄像装置D1能够检测几乎都由内部散射光I2构成的光信号。另外,在步骤S101使用的光源的脉宽和快门宽度可以与在步骤S103使用的相同也可以不同。图4B是表示与图4A不同的方式的摄像装置D1的动作的流程图。
首先,控制电路Sy测定从摄像装置D1到控制电路Sy的距离(步骤S201)。具体而言,是使用以往的TOF方式的飞翔时间的测定、或者摄像装置D1使用另外设置的复眼摄影机测定距离。
然后,控制电路Sy根据在步骤S201测定的距离决定快门定时的相位(步骤S202)。
然后,控制电路Sy在基于通过步骤S202决定的相位的快门定时,拍摄测定对象O(步骤S203)。即,使光源的脉冲光的发光定时和快门定时按照所决定的时间差同步地拍摄测定对象O。由此,摄像装置D1能够检测几乎都由内部散射光I2构成的光信号。
另外,步骤S101或者步骤S201例如可以在用户进行了指示使用的输入的情况下执行,也可以当在摄影区域内检测出测定对象O例如头部的情况下执行。
如上所述,控制电路Sy决定光源Ls开始发出脉冲光的定时和电子快门开始曝光的定时的时间差。具体而言,作为一例,控制电路Sy使光源Ls开始发出脉冲光的定时和电子快门开始曝光的定时的时间差不同来进行多次摄影。并且,控制电路Sy根据通过多次摄影由图像传感器S生成的电信号的强度决定一个时间差。作为另一例,控制电路Sy计算从图像传感器S到测定对象的距离,根据计算出的距离决定该时间差。由此,能够实现使来自测定对象表面的反射成分几乎不被用于曝光中的快门定时。
(实施方式3)
本实施方式3与实施方式1的不同之处在于,摄像装置D2具有多个光源Ls。在此,对于本实施方式中与实施方式1相同的内容省略详细说明。
图5是本实施方式3的摄像装置D2的示意图。摄像装置D2具有光源Ls1和光源Ls2。并且,摄像装置D2具有运算电路Pr。
光源Ls1和光源Ls2发出不同的波长频带的光。通常,测定对象O的吸收特性及散射特性根据波长而不同,因而通过检测基于内部散射成分I2的光信号的波长依存性,能够进行测定对象O的更加详细的成分分析。例如,在测定对象O为生物体组织的情况下,在波长800nm以上时,氧合血红蛋白(HbO2)的吸光度大于脱氧血红蛋白(Hb)的吸光度。另一方面,在波长800nm以下时显示出相反的特性。因此,例如假设光源Ls1发出750nm附近的波长的光,光源Ls2发出850nm附近的波长的光。在这种情况下,通过测定基于来自光源Ls1的光的内部散射成分I2和基于来自光源Ls2的光的内部散射成分I2的各自的光强度,并求解联立方程式,能够求出HbO2和Hb的血中浓度相对于初始值的变化量。
运算电路Pr使用基于来自光源Ls1的光的内部散射成分I2和基于来自光源Ls2的光的内部散射成分I2的各自的光强度求解联立方程式,由此计算例如HbO2和Hb的血中浓度相对于初始值的变化量。根据计算出的变化量估计脑部活动。
运算电路Pr例如能够由数字信号处理器(DSP)、现场可编程门阵列(FPGA)等可编程逻辑装置(PLD)来实现、或者利用由中央运算处理装置(CPU)或图像处理用运算处理器(GPU)和计算机程序的组合来实现。另外,运算电路Pr和控制电路Sy也可以由被整合的一个电路来实现。
摄像装置D2也可以具有使光源Ls1和光源Ls2分别发出的波长的光在图像传感器S和测定对象O之间通过的带通滤波器。
控制电路Sy分别利用实施方式2所记载的方法,决定光源Ls1的发光定时和图像传感器S的快门定时的时间差、以及光源Ls2的发光定时和图像传感器S的快门定时的时间差。控制电路Sy也可以调整光源Ls1及/或光源Ls2的发光定时,也可以调整图像传感器S的发光定时。
从光源Ls1和光源Ls2分别发出的光经由测定对象O到达图像传感器S的光的光路长度也可以一致。因此,也可以使图像传感器S和光源Ls1之间的距离与图像传感器S和光源Ls2之间的距离一致。例如,也可以将光源Ls1和光源Ls2配置在以图像传感器S为中心的旋转对称的位置。
摄像装置D2也可以具有两个图像传感器S。在这种情况下,使光源Ls1发出的波长的光有选择地透射的带通滤波器也可以配置在一个图像传感器S的前方。并且,使光源Ls2发出的波长的光有选择地透射的带通滤波器也可以配置在另一个图像传感器S的前方。由此,能够使光源Ls1和光源Ls2在相同的时间段发光,因而能够使用两个图像传感器S同时进行摄影。摄像装置D2在具有一个图像传感器S的方式中,通过在不同的时间段进行使用光源Ls1的摄影和使用光源Ls2的摄影,能够取得两种波长的图像。
另外,如果是示出更加复杂的分光特性的测定对象O,则通过进一步增加波长数量,能够进行更加准确的材料分析。增加波长数量的摄影方法除了按照波长增加光源的数量的方法以外,也能够利用已知的方法实现。
(实施方式4)
本实施方式4表示使用实施方式1~3的摄像装置拍摄人的头部的测定例。在此,对于本实施方式中与实施方式1~3相同的内容省略详细说明。
图6A表示使用实施方式3所示的(具有两个光源的)摄像装置测定脑部活动的变化的示例。图6A是表示检测内部散射成分I2的检测区域M、在检测区域M中测定的(i)血中HbO2浓度相对于初始值的变化量、(ii)血中Hb浓度相对于初始值的变化量、以及(iii)血中HbO2浓度的变化量和血中Hb浓度的变化量的合计值的随时间变化的图。当平常状态、集中状态、放松状态等测定对象O的脑部活动状态随时间而变化时,该变化表现为(i)~(iii)所示的随时间变化。在(i)~(iii)的测定时间内,检测区域M也可以尽量维持相同位置。因为根据每个部位而存在脑部活动的差异和吸收/散射系数的差异。在观察脑部活动的随时间变化的情况下,即使是不清楚血中HbO2浓度或者血中Hb浓度的绝对值或者真值时,也能够根据吸光度(或者不吸收特定波长的光而到达图像传感器S的光量)的时间性变化估计测定对象O的感情状态。并且,脑部活动的随时间变化的检测不一定需要使用两个波长频带,也可以使用一个波长频带。即,也可以使用如实施方式1所示的仅具有一个光源Ls的摄像装置。在这种情况下,光源Ls可以构成为发出810~880nm内的任意波长的光。因为脑部活动变化时的吸光度的变化往往是HbO2大于Hb,仅仅在HbO2的光吸收率较大的波长范围内进行测定,也能够读取脑部活动变化的倾向。
图6B是同时测定检测区域M内的多个点的示例。作为光源Ls的照射图案,例如在检测区域M内可以是均匀的强度分布、点状的强度分布、环状的强度分布。在照射均匀的强度分布的光的情况下,测定对象O上的照射位置的调整可以省略或者简化。并且,由于光从较广的范围向测定对象O入射,因而能够增强在图像传感器S检测的信号。另外,只要是在照射区域内,就能够在任意的空间位置进行测定。如果是诸如点状的强度分布、环状的强度分布那样的局部照射,则仅通过使检测区域M偏离该照射区域,即可降低表面反射成分I1的影响。在这种情况下,例如图像传感器S也可以在摄影图像内的各像素中判定是照射区域还是非照射区域,将包括被判定为非照射区域的像素的区域作为检测区域,进行检测内部散射光I2的测定。照射区域/非照射区域的判定也可以根据各像素中的亮度值大于还是小于规定的阈值来进行。由于表面反射成分I1和内部散射成分I2的强度差较大,因而当在检测区域M内残留有即使微小的照射区域时,也无法测定内部散射成分I2,因而并用本方法比较有效。
图7A表示光源Ls的照射区域Ia,图7B表示检测区域M中的脑部活动的二维分布。在非接触地测定脑血流的情况下,检测光量按照测定对象O和图像传感器S之间的距离的平方而衰减,这成为问题。因此,也可以在周边像素中累计在图像传感器S检测的各像素的信号来进行增强。这样,能够在维持SN的状态下降低基于光源Ls的发光脉冲数量,因而能够提高帧速率。在脑血流测定中,测定在从平常状态下产生脑部活动时的血流的差分,由此读取脑部活动的变化。在本申请中使用具有呈二维配置的像素的图像传感器S,因而能够取得如图7B所示的脑部活动的二维分布。因此,即使不事前取得平常状态,也能够根据相对的强度分布检测出脑部活动活跃的部位。
图7B中的(b)表示在测定中测定对象O因呼吸等而运动,图像传感器S的检测区域M发生了变化的状态。通常,脑部活动分布在极短时间内不急剧变化,因而根据所检测出的二维分布的帧间的图案匹配等,能够校正检测区域M的偏移。或者,如果是如呼吸那样周期性的运动,则也可以仅提取其频率成分进行校正或者去除。
(实施方式5)
本实施方式5表示使用实施方式1~3的摄像装置的测定例。在此,对于本实施方式中与实施方式1~3相同的内容省略详细说明。
在实施方式5中诊断测定对象O的内部构造。为了诊断测定对象O的内部构造而抑制表面反射成分I1的影响。本实施方式5使用实施方式1~3的摄像装置诊断测定对象O的内部构造。如图8A和图8B所示,在材料内部出现如裂痕802或者空洞804等这样的劣化或者构造变化时,由于折射率的变化或者界面反射,内部散射成分I2的光路长度产生变化。在内部散射成分I2的光路长度变化时,内部散射成分I2到达图像传感器S的时刻及光的相干性的状态变化。本实施方式5通过检测该变化,进行材料内部的劣化或者加工状态的检查。
图9A是使用实施方式1~3的摄像装置取得水果内部的信息的示例。在以往需要削皮进行测定,以排除水果的果皮的影响。通过使用实施方式1~3的摄像装置进行测定,能够实现不需破坏且去除了果皮的信息的内部检查。图9B的图像传感器S还包括多波长取得部Sp。多波长取得部Sp是取得多种波长的图像的摄影机,例如能够使用配置了按照每个像素使不同的波长通过的滤波器的摄影机、或者具有液晶可调谐滤波器或者音响光学元件的摄影机。多种波长例如指4~100个波长。并且,也可以使用压缩感知相机(compressivesensing camera),通过统计运算将对叠加的多种波长的信息进行编码得到的信息复原,并生成多种波长的每个波长的图像(多波长信息)。通过取得多波长信息,能够对测定对象O的糖分、成熟度及劣化状态等进行测定。
(实施方式6)
本实施方式6与实施方式1~3的不同之处在于,按照每个光路长度来分解测定对象O的内部散射成分I2。在此,对于本实施方式中与实施方式1~3相同的内容省略详细说明。
图10中的(a)表示到达图像传感器S的光信号的时间响应波形。在光源Ls的脉宽在某种程度上比较小的情况下,对于图10中的(a)也能够考虑为光路长度分布。即,在光路长度越长时,到达图像传感器S的时刻越迟,因而在比较大的t(较迟的时刻)进行检测。即,时间响应波形具有与光路长度分布对应的宽度。
图10中的(b)~(e)分别表示相位t=t1、t2、t3、t4(t1>t2>t3>t4)的快门定时。相位是指光源的脉冲光的发光定时和图像传感器S的快门定时的时间差。图10中的(f)是表示将横轴设为图10中的(b)~(e)的各快门定时的相位、将纵轴设为各快门定时的关注像素的检测信号I的图。检测信号I在最迟的时刻即t=t1包括光路长度比较长的光,随着朝向较早的时刻即t=t4,包括光路长度比较短的光。因此,通过对图10中的(f)的曲线进一步取微分或者在各相位差之间获取检测信号的差分,能够取得与图10中的(a)所示的光信号的后端部相当的光路长度分布。光路长度分布与测定对象O内部的进深信息相关联,因而关系到测定对象O的深度信息的估计。
另外,相位的变更也可以通过变化快门定时来实现,还可以通过变化光源Ls的发光定时来实现。
在光源Ls的脉宽较大的情况下,光源Ls的脉冲光能够视为脉宽较短的脉冲光相连续。因此,图10中的(a)所示的光信号是各较短脉冲光的检测信号的卷积。因此,通过对图10中的(f)的微分进一步进行微分(即2阶微分),能够取得期望的光路长度分布。
如上所述,控制电路在脉冲光的后端从测定对象的表面反射并到达图像传感器S的时刻或者比该时刻靠后的时刻,检测进一步实施了时间分解的信号。具体而言,使相位不同来进行多次摄影。根据通过该摄影而得到的信号的强度变化,取得内部散射成分I2的光路长度分布。
(实施方式7)
本实施方式7表示使用实施方式1~3的摄像装置检测远离测定对象O的表面部的内部散射成分I2的示例。对与实施方式1~3相同的内容省略详细说明。
图11是在测定对象O内部散射的成分中、比较多地检测远离表面的内部散射成分I2的摄像装置的说明图。通过调整图像传感器S的快门定时使其比表面反射成分I1的后端部延迟,能够取得远离测定对象O的表面的内部散射成分I2。并且,如果是不包含表面反射成分I1的快门定时,则也可以使快门宽度相对于发光脉冲宽度足够大。例如,可以使快门宽度是发光脉冲宽度的5倍、10倍、或者100倍。
(实施例1)
示出将测定对象O设为人的额部进行摄影的示例。图12的横轴表示各快门定时相对于发光定时的时间差即相位延迟,纵轴表示在各快门定时进行摄影得到的来自图像传感器S的光信号I强度。使快门定时按照200ps间隔变化进行摄影。用于检测光信号I的检测区域M是50×50像素。光源Ls发出的光的波长使用850nm。将额部和光源Ls/图像传感器S的距离设为10cm。并且,以部分地覆盖额部的方式粘贴不透射近红外光的纸,在测定额部的同时也测定了纸。图12分别示出了来自额部的返回光和来自纸的返回光。图12中的纵轴的值表示另外取得在使额部、纸部不饱和的程度拍摄脉冲光整体时的像素值,并将这些像素值规范化得到的值。在图12中,在相位延迟1ns附近强度急剧下降的部位相当于脉冲光的后端部分。如图12所示,在脉冲光后端之后,来自额部的返回光大于来自纸的返回光。即,可知来自额部的返回光在脉冲光后端之后的较迟时刻包括内部散射成分I2。因此,可知能够非接触地仅检测人的大脑内部的信息。
图13表示在将相位延迟固定于4ns的位置的快门定时拍摄额部的结果。在进行摄影的期间,被检验者每隔30秒交替地反复放松状态和集中状态(计算时)。隔30秒进行测定,按照最大值、最小值将测定结果规范化。在图13中,与放松状态相比,计算时的检测光强度较小。这可以理解为是由于所使用的850nm波长的光的基于HbO2的吸收大于基于Hb的吸收,在被检验者的计算时增大了的基于HbO2的光吸收而引起的。
标号说明
D1、D2摄像装置;O测定对象;I1表面反射成分;I2内部散射成分;Ls、Ls1、Ls2光源;S图像传感器;Sy控制电路;Pr运算电路;I光信号;M检测区域;Ia照射区域:Sp多波长取得部。
Claims (10)
1.一种摄像装置,具有:
光源,发出包括第1脉冲光和第2脉冲光的脉冲光;
图像传感器,包括至少一个像素,该至少一个像素包含光电二极管、以及蓄积来自所述光电二极管的信号电荷的第1电荷蓄积部和第2电荷蓄积部;以及
控制电路,控制所述光源及所述图像传感器,
所述控制电路在所述光源开始发出所述第1脉冲光后,隔开时间差使所述第1电荷蓄积部中的所述信号电荷的蓄积开始,在所述光源开始发出所述第2脉冲光后,隔开所述时间差使所述第2电荷蓄积部中的所述信号电荷的蓄积开始,
所述图像传感器还包括对所述第1电荷蓄积部及所述第2电荷蓄积部中的所述信号电荷的所述蓄积的实施和停止进行切换的电子快门,
在所述脉冲光的一部分从测定对象的表面反射并到达所述图像传感器的期间,所述控制电路通过所述电子快门使所述第1电荷蓄积部及所述第2电荷蓄积部中的所述信号电荷的所述蓄积停止,
在所述脉冲光的另一部分在所述测定对象的内部散射并到达所述图像传感器的期间,所述控制电路通过所述电子快门使所述第1电荷蓄积部及所述第2电荷蓄积部中的所述信号电荷的所述蓄积被实施。
2.根据权利要求1所述的摄像装置,
所述至少一个像素具有多个像素,所述多个像素呈二维配置。
3.根据权利要求1所述的摄像装置,
在所述脉冲光的后端从所述测定对象的表面反射并到达所述图像传感器的时刻或者在比所述时刻靠后的时刻,所述控制电路通过所述电子快门使所述第1电荷蓄积部及所述第2电荷蓄积部中的所述信号电荷的所述蓄积开始。
4.根据权利要求1所述的摄像装置,
所述控制电路根据在所述第1电荷蓄积部及所述第2电荷蓄积部中蓄积的所述信号电荷的强度,决定所述时间差。
5.根据权利要求1所述的摄像装置,
所述控制电路计算从所述图像传感器到测定对象的距离,根据计算出的所述距离决定所述时间差。
6.根据权利要求1所述的摄像装置,
在所述脉冲光的后端从测定对象的表面反射并到达所述图像传感器的时刻或者在作为比所述时刻靠后的时刻的多个时刻,所述控制电路进行所述第1电荷蓄积部及所述第2电荷蓄积部中的所述信号电荷的蓄积,
所述控制电路根据在所述多个时刻蓄积的所述信号电荷的强度变化,取得所述脉冲光中的在所述测定对象的内部散射的成分的光路长度分布。
7.根据权利要求1所述的摄像装置,
所述摄像装置还具有校正测定对象的运动的校正电路。
8.根据权利要求7所述的摄像装置,
所述校正电路通过检测所述测定对象的周期振动来校正所述测定对象的运动。
9.根据权利要求1所述的摄像装置,
所述第2脉冲光具有与所述第1脉冲光不同的波长。
10.根据权利要求1所述的摄像装置,
所述第2脉冲光具有与所述第1脉冲光不同的偏振特性。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-122390 | 2015-06-17 | ||
JP2015122390 | 2015-06-17 | ||
JP2015-133892 | 2015-07-02 | ||
JP2015133892 | 2015-07-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106256313A CN106256313A (zh) | 2016-12-28 |
CN106256313B true CN106256313B (zh) | 2021-02-05 |
Family
ID=57588683
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110191104.5A Active CN112969030B (zh) | 2015-06-17 | 2016-05-04 | 摄像装置 |
CN202110191112.XA Active CN112969031B (zh) | 2015-06-17 | 2016-05-04 | 摄像装置 |
CN201610288643.XA Active CN106256313B (zh) | 2015-06-17 | 2016-05-04 | 摄像装置 |
CN201610288847.3A Active CN106257915B (zh) | 2015-06-17 | 2016-05-04 | 摄像装置 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110191104.5A Active CN112969030B (zh) | 2015-06-17 | 2016-05-04 | 摄像装置 |
CN202110191112.XA Active CN112969031B (zh) | 2015-06-17 | 2016-05-04 | 摄像装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610288847.3A Active CN106257915B (zh) | 2015-06-17 | 2016-05-04 | 摄像装置 |
Country Status (3)
Country | Link |
---|---|
US (6) | US10104315B2 (zh) |
JP (6) | JP6172550B2 (zh) |
CN (4) | CN112969030B (zh) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016208214A1 (ja) * | 2015-06-24 | 2016-12-29 | 株式会社村田製作所 | 距離センサ |
WO2017169732A1 (ja) * | 2016-03-28 | 2017-10-05 | オリンパス株式会社 | 計測装置及び計測方法 |
CN108259702B (zh) | 2016-12-28 | 2022-03-11 | 手持产品公司 | 一种用于同步多传感器成像器中的照明定时的方法和系统 |
WO2018198292A1 (ja) | 2017-04-27 | 2018-11-01 | オリンパス株式会社 | 計測装置及び計測方法 |
CN107341498A (zh) * | 2017-05-22 | 2017-11-10 | 深圳市奇脉电子技术有限公司 | 一种基于cis的生物识别装置启动照明设备及启动方法 |
CN108926340B (zh) * | 2017-05-23 | 2023-04-28 | 松下知识产权经营株式会社 | 计测装置 |
CN107595295B (zh) * | 2017-06-09 | 2019-10-29 | 苏州大学 | 一种基于大脑血红蛋白信息的下肢运动阻力状态识别方法 |
CN109247945A (zh) | 2017-07-12 | 2019-01-22 | 松下知识产权经营株式会社 | 计测装置 |
CN109247931A (zh) * | 2017-07-12 | 2019-01-22 | 松下知识产权经营株式会社 | 计测装置 |
JP2019032206A (ja) | 2017-08-07 | 2019-02-28 | ソニーセミコンダクタソリューションズ株式会社 | 距離センサ、距離測定装置、および画像センサ |
CN109413371B (zh) * | 2017-08-17 | 2021-08-03 | 成都鼎桥通信技术有限公司 | 视频帧率计算方法及装置 |
CN111213049B (zh) * | 2017-12-13 | 2023-08-04 | 松下知识产权经营株式会社 | 光感测装置 |
WO2019124023A1 (ja) * | 2017-12-19 | 2019-06-27 | パナソニックIpマネジメント株式会社 | 生体計測装置、生体計測方法、及び判定装置 |
EP3740117A1 (en) * | 2018-01-18 | 2020-11-25 | Briteseed, LLC | System and method for detecting and/or determining characteristics of tissue |
JP7308430B2 (ja) * | 2018-03-15 | 2023-07-14 | パナソニックIpマネジメント株式会社 | ユーザの心理状態を推定するためのシステム、記録媒体、および方法 |
CN110389328B (zh) * | 2018-04-16 | 2021-04-23 | 宁波飞芯电子科技有限公司 | 基于动态门限电压的像素单元与光电调制方法及其应用 |
US10598936B1 (en) * | 2018-04-23 | 2020-03-24 | Facebook Technologies, Llc | Multi-mode active pixel sensor |
JP7542192B2 (ja) * | 2018-05-30 | 2024-08-30 | パナソニックIpマネジメント株式会社 | 識別装置および識別方法 |
JP7182244B2 (ja) * | 2018-06-15 | 2022-12-02 | 国立大学法人静岡大学 | 撮像装置 |
JP7154924B2 (ja) * | 2018-10-03 | 2022-10-18 | 株式会社日立エルジーデータストレージ | 測距撮像装置 |
WO2020105360A1 (ja) * | 2018-11-19 | 2020-05-28 | パナソニックIpマネジメント株式会社 | 光センサ及び光検出システム |
WO2020121704A1 (ja) * | 2018-12-10 | 2020-06-18 | パナソニックIpマネジメント株式会社 | 光計測装置 |
JP7386438B2 (ja) | 2018-12-20 | 2023-11-27 | パナソニックIpマネジメント株式会社 | 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム |
TWI748460B (zh) * | 2019-06-21 | 2021-12-01 | 大陸商廣州印芯半導體技術有限公司 | 飛時測距裝置及飛時測距方法 |
WO2021006048A1 (ja) * | 2019-07-08 | 2021-01-14 | ソニー株式会社 | 信号処理装置および信号処理方法 |
JP7463671B2 (ja) * | 2019-08-01 | 2024-04-09 | Toppanホールディングス株式会社 | 距離画像撮像装置、及び距離画像撮像方法 |
CN114846355A (zh) * | 2020-01-17 | 2022-08-02 | 松下知识产权经营株式会社 | 测距装置 |
US20210338090A1 (en) * | 2020-05-01 | 2021-11-04 | Viavi Solutions Inc. | Optical sensor device |
JP7282238B2 (ja) * | 2020-06-23 | 2023-05-26 | Semitec株式会社 | 熱伝導率測定装置及び熱伝導率測定方法 |
WO2022058016A1 (de) * | 2020-09-17 | 2022-03-24 | Berthold Limbach | Verfahren und analysegerät zur analyse einer probenflüssigkeit |
KR20240112952A (ko) * | 2021-07-08 | 2024-07-19 | 라모트 앳 텔-아비브 유니버시티 리미티드 | 시간적 수퍼-해상도 |
WO2024209907A1 (ja) * | 2023-04-05 | 2024-10-10 | 株式会社ジャパンディスプレイ | 検出装置 |
Family Cites Families (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5305759A (en) | 1990-09-26 | 1994-04-26 | Olympus Optical Co., Ltd. | Examined body interior information observing apparatus by using photo-pulses controlling gains for depths |
JP3162070B2 (ja) | 1990-11-22 | 2001-04-25 | オリンパス光学工業株式会社 | 被検体内部情報観察装置 |
JPH04135551A (ja) | 1990-09-27 | 1992-05-11 | Olympus Optical Co Ltd | 光三次元像観察装置 |
JPH0622968A (ja) | 1992-07-03 | 1994-02-01 | Olympus Optical Co Ltd | 散乱体内観察装置 |
JPH11164826A (ja) | 1997-12-04 | 1999-06-22 | Hitachi Ltd | 生体光計測装置 |
US6291824B1 (en) * | 1998-04-13 | 2001-09-18 | Board Of Supervisors Of Louisiana State University And Agricultural And Mechanical College | Apparatus and method for high-bandwidth optical tomography |
JPH11299760A (ja) * | 1998-04-17 | 1999-11-02 | Mitsubishi Electric Corp | 脳活動計測装置 |
US7904139B2 (en) * | 1999-08-26 | 2011-03-08 | Non-Invasive Technology Inc. | Optical examination of biological tissue using non-contact irradiation and detection |
US7840257B2 (en) | 2003-01-04 | 2010-11-23 | Non Invasive Technology, Inc. | Examination of biological tissue using non-contact optical probes |
US7239909B2 (en) | 2000-01-19 | 2007-07-03 | Luminetx Technologies Corp. | Imaging system using diffuse infrared light |
US6556858B1 (en) | 2000-01-19 | 2003-04-29 | Herbert D. Zeman | Diffuse infrared light imaging system |
JP2001264439A (ja) * | 2000-03-17 | 2001-09-26 | Olympus Optical Co Ltd | 距離測定装置及び距離測定方法 |
JP2003010189A (ja) | 2001-07-04 | 2003-01-14 | Communication Research Laboratory | 生体機能情報撮像装置 |
JP2003106993A (ja) * | 2001-09-28 | 2003-04-09 | Communication Research Laboratory | 生体情報撮像装置 |
JP3809803B2 (ja) * | 2002-02-15 | 2006-08-16 | オムロン株式会社 | 変位センサ |
CA2506207A1 (en) * | 2002-11-18 | 2004-06-03 | Virginia Tech Intellectual Properties, Inc. | System, device, and method for detecting perturbations |
CN100525701C (zh) * | 2002-12-12 | 2009-08-12 | 奥林巴斯株式会社 | 成像装置 |
JP4280993B2 (ja) * | 2003-12-24 | 2009-06-17 | ソニー株式会社 | 撮像装置及びその方法並びにプログラム |
JP4409332B2 (ja) * | 2004-03-30 | 2010-02-03 | 株式会社トプコン | 光画像計測装置 |
US8634014B2 (en) * | 2004-04-05 | 2014-01-21 | Hewlett-Packard Development Company, L.P. | Imaging device analysis systems and imaging device analysis methods |
JP4566685B2 (ja) | 2004-10-13 | 2010-10-20 | 株式会社トプコン | 光画像計測装置及び光画像計測方法 |
WO2006120798A1 (ja) | 2005-05-12 | 2006-11-16 | Olympus Medical Systems Corp. | 生体観測装置 |
JP2006314557A (ja) * | 2005-05-12 | 2006-11-24 | Olympus Medical Systems Corp | 生体観測装置 |
US7330746B2 (en) * | 2005-06-07 | 2008-02-12 | Chem Image Corporation | Non-invasive biochemical analysis |
WO2007000879A1 (ja) * | 2005-06-29 | 2007-01-04 | National University Corporation NARA Institute of Science and Technology | 固体撮像素子及びその信号読み出し方法 |
DE102005033863A1 (de) * | 2005-07-20 | 2007-01-25 | Robert Bosch Gmbh | Bildaufnahmesystem |
JP2007260123A (ja) * | 2006-03-28 | 2007-10-11 | Olympus Medical Systems Corp | 撮像システムおよび撮像方法 |
WO2007105495A1 (ja) | 2006-03-13 | 2007-09-20 | Olympus Medical Systems Corp. | 散乱媒質内部観察装置、撮像システム、撮像方法及び内視鏡装置 |
WO2007112099A2 (en) * | 2006-03-24 | 2007-10-04 | Chemimage Corporation | System and method to perform raman imaging without luminescence |
JP4345836B2 (ja) * | 2007-03-28 | 2009-10-14 | セイコーエプソン株式会社 | 画像読取装置及び画像読取方法 |
US7703923B2 (en) * | 2008-09-05 | 2010-04-27 | Heidelberg Engineering Gmbh | System and method for imaging retinal tissue with tissue generated light |
JP2010194291A (ja) * | 2009-01-30 | 2010-09-09 | Fujifilm Corp | 内視鏡装置及びその駆動方法 |
JP2010232477A (ja) | 2009-03-27 | 2010-10-14 | Panasonic Corp | 固体撮像装置、固体撮像装置の駆動方法、固体撮像装置の信号処理方法およびカメラ |
CN102245078B (zh) * | 2009-05-14 | 2014-03-19 | 奥林巴斯医疗株式会社 | 摄像装置 |
JP5431810B2 (ja) * | 2009-07-03 | 2014-03-05 | 株式会社豊田中央研究所 | 画像センサとその画像センサに用いられる受光装置 |
WO2011043432A1 (ja) * | 2009-10-09 | 2011-04-14 | 国立大学法人静岡大学 | 半導体素子及び固体撮像装置 |
JP5467343B2 (ja) * | 2009-12-02 | 2014-04-09 | 学校法人北里研究所 | オプティカル・コヒーレンス・トモグラフィー装置及び断層像の撮影方法 |
EP2547992A4 (en) * | 2010-03-17 | 2014-06-18 | Haishan Zeng | METHODS AND APPARATUS FOR QUICK MULTISPECTRAL IMAGING AND CANCER DETECTION AND LOCATION APPLICATIONS |
CN101931755B (zh) * | 2010-07-06 | 2012-05-23 | 上海洪剑智能科技有限公司 | 一种人脸识别用的调制光滤光装置和滤光方法 |
JP5674094B2 (ja) * | 2010-07-12 | 2015-02-25 | セイコーエプソン株式会社 | 濃度定量装置及び濃度定量方法並びにプログラム |
JP5218513B2 (ja) * | 2010-09-30 | 2013-06-26 | オムロン株式会社 | 変位センサ |
JP5396377B2 (ja) * | 2010-12-15 | 2014-01-22 | 本田技研工業株式会社 | 空席判定装置、及び、空席判定方法 |
JP5658993B2 (ja) | 2010-12-15 | 2015-01-28 | 株式会社日立製作所 | 生体計測装置 |
JP2013224838A (ja) * | 2012-04-20 | 2013-10-31 | Seiko Epson Corp | 成分濃度測定装置及び成分濃度測定方法 |
CN102920464B (zh) * | 2012-11-23 | 2014-12-24 | 扬州奥泰光电生物技术有限公司 | 血红蛋白浓度和血氧饱和度测定仪及测定方法 |
JP2014132992A (ja) * | 2013-01-10 | 2014-07-24 | Mitsubishi Electric Corp | 血管検知装置 |
JP6190690B2 (ja) * | 2013-10-21 | 2017-08-30 | 本田技研工業株式会社 | 距離測定システム及び補正用データの取得方法 |
JP6184014B2 (ja) * | 2013-11-20 | 2017-08-23 | オメガウェーブ株式会社 | 生体組織診断装置 |
JP6594620B2 (ja) | 2013-12-20 | 2019-10-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 光脳機能計測装置 |
CN104363983B (zh) * | 2014-08-06 | 2017-03-01 | 中国科学院自动化研究所 | 脑活动检测方法和系统 |
CN104224198A (zh) * | 2014-10-07 | 2014-12-24 | 复旦大学 | 基于拉曼散射的多功能无创便携医疗检测装置及检测方法 |
US10194809B2 (en) | 2015-08-24 | 2019-02-05 | Verily Life Sciences Llc | Integrated electronics for photoplethysmography and electrocardiography |
US10383576B2 (en) | 2016-10-04 | 2019-08-20 | David R. Hall | Synthetic aperture photoplethysmography sensor |
-
2016
- 2016-05-04 CN CN202110191104.5A patent/CN112969030B/zh active Active
- 2016-05-04 CN CN202110191112.XA patent/CN112969031B/zh active Active
- 2016-05-04 CN CN201610288643.XA patent/CN106256313B/zh active Active
- 2016-05-04 CN CN201610288847.3A patent/CN106257915B/zh active Active
- 2016-05-26 JP JP2016105060A patent/JP6172550B2/ja active Active
- 2016-05-26 JP JP2016105059A patent/JP6108282B2/ja active Active
- 2016-06-07 US US15/175,340 patent/US10104315B2/en active Active
- 2016-06-08 US US15/176,165 patent/US10194099B2/en active Active
-
2017
- 2017-06-21 JP JP2017121369A patent/JP6264629B2/ja active Active
- 2017-06-21 JP JP2017121368A patent/JP6205518B1/ja active Active
- 2017-12-06 JP JP2017233944A patent/JP6399373B2/ja active Active
-
2018
- 2018-08-22 JP JP2018155408A patent/JP2019039918A/ja active Pending
- 2018-09-14 US US16/131,605 patent/US10334188B2/en active Active
-
2019
- 2019-05-13 US US16/410,900 patent/US10652482B2/en active Active
-
2020
- 2020-04-09 US US16/844,753 patent/US10911697B2/en active Active
- 2020-12-18 US US17/127,699 patent/US11303828B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20190273876A1 (en) | 2019-09-05 |
JP6172550B2 (ja) | 2017-08-02 |
US10911697B2 (en) | 2021-02-02 |
CN106256313A (zh) | 2016-12-28 |
US10104315B2 (en) | 2018-10-16 |
JP2017009584A (ja) | 2017-01-12 |
JP6264629B2 (ja) | 2018-01-24 |
US20190028660A1 (en) | 2019-01-24 |
JP2017202328A (ja) | 2017-11-16 |
US11303828B2 (en) | 2022-04-12 |
CN112969031B (zh) | 2022-11-15 |
CN112969030A (zh) | 2021-06-15 |
US20200244898A1 (en) | 2020-07-30 |
JP6399373B2 (ja) | 2018-10-03 |
JP2017211389A (ja) | 2017-11-30 |
CN112969030B (zh) | 2023-04-28 |
US20210152755A1 (en) | 2021-05-20 |
US10652482B2 (en) | 2020-05-12 |
US20160373652A1 (en) | 2016-12-22 |
US10334188B2 (en) | 2019-06-25 |
CN106257915A (zh) | 2016-12-28 |
CN106257915B (zh) | 2021-02-26 |
JP2017011693A (ja) | 2017-01-12 |
JP6205518B1 (ja) | 2017-09-27 |
JP6108282B2 (ja) | 2017-04-05 |
US20160373669A1 (en) | 2016-12-22 |
JP2018054632A (ja) | 2018-04-05 |
JP2019039918A (ja) | 2019-03-14 |
CN112969031A (zh) | 2021-06-15 |
US10194099B2 (en) | 2019-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106256313B (zh) | 摄像装置 | |
CN108209867B (zh) | 摄像装置 | |
CN107468209B (zh) | 摄像装置 | |
CN108234892B (zh) | 摄像装置及摄像方法 | |
JP2017187471A (ja) | 撮像装置 | |
CN112188866A (zh) | 生物体计测装置及生物体计测方法 | |
JP7142246B2 (ja) | 生体計測装置、ヘッドマウントディスプレイ装置、および生体計測方法 | |
CN112236084A (zh) | 光计测装置 | |
US20230301536A1 (en) | Biological measurement device, biological measurement method, and non-transitory computer-readable recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |