CN107277303B - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN107277303B
CN107277303B CN201710130213.XA CN201710130213A CN107277303B CN 107277303 B CN107277303 B CN 107277303B CN 201710130213 A CN201710130213 A CN 201710130213A CN 107277303 B CN107277303 B CN 107277303B
Authority
CN
China
Prior art keywords
light
time
light source
image
pulse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710130213.XA
Other languages
English (en)
Other versions
CN107277303A (zh
Inventor
藤井俊哉
安藤贵真
中村达也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN107277303A publication Critical patent/CN107277303A/zh
Application granted granted Critical
Publication of CN107277303B publication Critical patent/CN107277303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0064Body surface scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14553Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases specially adapted for cerebral tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064Evaluating the brain
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Neurology (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Hematology (AREA)
  • Cardiology (AREA)
  • Neurosurgery (AREA)
  • Psychology (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

有关本申请的一技术方案的摄像装置具备:第1光源,发出第1脉冲光而在被摄体的规定的区域内投影第1图案的第1像,并且发出第2脉冲光而在上述被摄体的上述规定的区域内的与上述第1像的位置不同的位置投影第2图案的第2像;图像传感器,包括多个像素,上述多个像素分别包括将接受到的光变换为信号电荷的光检测器、和蓄积上述信号电荷的第1蓄积部及第2蓄积部;以及控制电路,控制上述第1光源及上述图像传感器。

Description

摄像装置
技术领域
本申请涉及以非接触的方式取得测定对象的内部信息的技术。例如,本申请涉及基于来自作为被摄体的光散射体的表面附近的反射光形成的图像与基于到达光散射体的内部并再次回到表面的光形成的图像进行分离的技术。
背景技术
在生物体计测及材料分析的领域中,使用向对象物照射光、从透射了对象物内部的光的信息取得对象物的内部信息的方法。在该方法中,有来自对象物表面的反射成分成为噪声而成为问题的情况。作为将由这些表面反射成分带来的噪声除去而仅取得希望的内部信息的方法,例如在生物体计测的领域中已知有在特开2012-125370号公报中记载的方法。在特开2012-125370号公报中,通过使光源和光检测器中的某一个为非接触,控制部使照射点或检测点随时变化。由此,光检测器检测由透射了被检者内的不同路径的光带来的多个信号,解析部在由光检测器得到的多个信号中选择规定的信号,能够使用所选择的信号计算被检者内的光吸收特性。
此外,在特开2012-230005号公报中,公开了一种缺陷检查装置,其特征在于,具有:将明暗图案的照射光进行1次曝光期间内的切换和照射亮度的调制的机构、和检测被检查面上的缺陷的处理部。
发明内容
有关本申请的一技术方案的摄像装置具备:第1光源,发出第1脉冲光而在被摄体的规定的区域内投影第1图案的第1像,并且发出第2脉冲光而在上述被摄体的上述规定的区域内的与上述第1像的位置不同的位置投影第2图案的第2像;图像传感器,包括多个像素,上述多个像素分别包括将接受到的光变换为信号电荷的光检测器和蓄积上述信号电荷的第1蓄积部及第2蓄积部;以及控制电路,控制上述第1光源及上述图像传感器。上述控制电路进行以下处理:使上述第1光源发出上述第1脉冲光;使上述第1蓄积部蓄积对应于上述第1脉冲光的发光而由上述光检测器产生的第1信号电荷;使上述第1光源在与上述第1脉冲光的发光不同的时刻发出上述第2脉冲光;使上述第2蓄积部蓄积对应于上述第2脉冲光的发光而由上述光检测器产生的第2信号电荷。
有关本申请的另一技术方案的摄像装置具备:光源,发出第1脉冲光而在被摄体的规定的区域投影规定图案的像;图像传感器,包括多个像素,上述多个像素分别包括将接受到的光变换为信号电荷的光检测器和蓄积上述信号电荷的第1蓄积部及第2蓄积部;以及控制电路,控制上述光源及上述图像传感器;上述控制电路进行以下处理:在第1时刻使上述光源发出上述第1脉冲光;在上述第1时刻后且第2时刻之前,使上述第1蓄积部蓄积上述信号电荷;在超过上述第2时刻后使上述第2蓄积部蓄积上述信号电荷。
上述通常且特定的形态可以利用系统、方法及计算机程序来安装,或者可以利用系统、方法及计算机程序的组合来实现。
附图说明
图1是表示摄像装置1001的结构的图。
图2是包括摄像装置1001的摄像系统图。
图3A是表示本实施方式的摄像装置1001的利用场景200的图。
图3B是表示向头部102(额头)照射的光照射图案202的例子的图。
图4是表示用来使750nm和850nm的光透射、将其以外的波长的光成分遮光的光学双带通滤光器112的分光透射率的曲线图。
图5是时间分解图像传感器113的1个像素401的结构图。
图6是本实施方式的时间分解图像传感器113的结构图。
图7A是表示实施方式1的摄像装置的动作的时间图。
图7B是表示实施方式1的摄像装置的动作的时间图。
图8是表示实施方式1的摄像装置的详细的动作的时间图。
图9A是表示环状的照射图案的例子的图。
图9B是表示线状的照射图案的例子的图。
图10是表示实施方式1的时间分解图像传感器113上的点照射图案与像素位置的关系的图。
图11是表示摄像装置1001的处理的次序的流程图。
图12是包括实施方式2的摄像装置1002的摄像系统图。
图13A是表示实施方式2的摄像装置1002的利用场景1200的图。
图13B是表示向头部102(额头)照射的光照射图案1102的例子的图。
图14A是表示实施方式2的摄像装置的动作的时间图。
图14B是表示实施方式2的摄像装置的动作的时间图。
图15A是表示实施方式2的摄像装置的详细的动作的时间图。
图15B是表示实施方式2的摄像装置的详细的动作的时间图。
图16是表示实施方式2的时间分解图像传感器113上的点照射图案与像素位置的关系的图。
图17A是表示实施方式3的摄像装置的动作的时间图。
图17B是表示实施方式3的摄像装置的动作的时间图。
图18A是表示实施方式3的摄像装置的详细的动作的时间图。
图18B是表示实施方式3的摄像装置的详细的动作的时间图。
图19是包括实施方式4的摄像装置1003的摄像系统图。
图20A是表示实施方式4的摄像装置1003的利用场景2200的图。
图20B是表示向头部102(额头)照射的光照射图案2102的例子的图。
图21是时间分解图像传感器201的1个像素401的结构图。
标号说明
1001、1002 摄像装置
103、104、105、106 第1光源
107、108、109、110 第2光源
111 结像光学系统
112 光学双带通滤光器
113 时间分解图像传感器
114 控制电路
115 第1信号处理电路
116 第2信号处理电路
600 光源
602 图像传感器
604 信号处理电路
606 表面反射成分
608 内部散射成分
具体实施方式
本发明者们专门研究的结果表明,在上述特开2012-125370号公报及特开2012-230005号公报中,在高精度化、高密度化及高速化方面是有限的。
在说明本申请的实施方式之前,以下,作为针对对象物的内部信息将浅部和深部分离观测的以往技术,说明特开2012-125370号公报所记载的方法。
特开2012-125370号公报公开了在使用可见光或近红外光的生物体光计测装置中,用来将混合在信号成分中的皮肤血流成分等的表层成分的影响分离、除去的技术。该文献的目的大体上存在3个。第1个,是将信号中包含的、包括局部性的皮肤血流在内的来源于脑以外的组织的成分的影响除去,仅分离并提取来源于脑或大脑皮质的信号。第2个,是更通用地分离并提取来源于脑及来源于皮肤的成分、以及在脑、皮肤中共通地包含的成分。第3个,是考虑来源于脑的信号和来源于皮肤的信号的贡献率的个人差异的基础上将两信号分离。
为了将来源于脑的信号与来源于皮肤的信号分离,在特开2012-125370号公报中,配置各个送光器及受光器,以实现基于多个送光器-受光器间距离进行的计测、并且使由各受光器所接受的光在灰白质及头皮中都传播。在计测时,根据需要来切换各光源电源的ON/OFF或强弱、或者检测器的ON/OFF或增益强弱等来实施计测,以使得在信号检测时来自多个光源的信号不相互干涉、并且各个受光器接受适当的强度等级的光。进而,在解析时,使用各计测点处的数据实施独立成分分析等的信号分离方法,利用得到的1个或多个分离成分的、各计测点处的权重值的送光器-受光器间距离依赖性,判定各个分离成分是来源于脑的信号成分还是来源于皮肤的信号成分。并且,仅用使用的1个或多个分离成分,重构各个送光器-受光器间距离的计测信号。
控制部使照射点或检测点随时变化,由此光检测器检测由透射了被检者内的不同的路径的光带来的多个信号。解析部在由光检测器得到的多个信号中选择规定的信号,使用所选择的信号计算被检者内的光吸收特性。
根据本发明者们的研究,在特开2012-125370号公报中记载的方法需要使照射点或检测点的位置随时变化而计测。由于仅能够同时检测一个送光器-受光器间距离的数据,所以可知具有高速性和解析力的兼顾较困难的课题。
此外,在特开2012-230005号公报中,记载有进行1次曝光期间内的照明图案的切换。但是,在该方法中,图像传感器的各像素检测照明光的图案变化的积分值。为了进行被检体的深部、浅部的运算,需要进行多个帧间的运算处理。
本发明者们实现了进行向被检体表面的多个位置的光照射、并且使用许多点的时间分解图像传感器输出的摄像装置。该摄像装置通过1帧内的运算处理,能够将被检体的浅部及深部的生物体成分的分布高精度、高密度、高速地成像。
本申请的一技术方案的概要是以下这样的。
有关本申请的一技术方案的摄像装置具备:第1光源,发出第1脉冲光而向被摄体的规定的区域内投影第1图案的第1像,并且发出第2脉冲光而向上述被摄体的上述规定的区域内的与上述第1像的位置不同的位置投影第2图案的第2像;图像传感器,包括多个像素,上述多个像素分别包括将接受到的光变换为信号电荷的光检测器和蓄积上述信号电荷的第1蓄积部及第2蓄积部;以及控制电路,控制上述第1光源及上述图像传感器。上述控制电路进行以下处理:使上述第1光源发出上述第1脉冲光;使上述第1蓄积部蓄积对应于上述第1脉冲光的发光而由上述光检测器产生的第1信号电荷;使上述第1光源在与上述第1脉冲光的发光不同的时刻发出上述第2脉冲光;使上述第2蓄积部蓄积对应于上述第2脉冲光的发光而由上述光检测器产生的第2信号电荷。
上述摄像装置也可以还具备基于上述第1信号电荷及上述第2信号电荷生成图像信息的信号处理电路。
上述第1图案及上述第2图案例如是包含多个点的图案。
上述第1图案及上述第2图案例如是包含多个环的图案。
上述第1图案及上述第2图案例如是包含多个直线的图案。
也可以是,上述控制电路使上述第1光源发出多个第1脉冲光,上述多个第1脉冲光分别是上述第1脉冲光;使上述第1光源发出多个第2脉冲光,上述多个第2脉冲光分别是上述第2脉冲光。
上述摄像装置也可以是,还具备第2光源,该第2光源发出第3脉冲光而向上述被摄体的上述规定的区域内的与上述第1像及第2像的位置不同的位置投影第3图案的第3像,并且发出第4脉冲光而向上述被摄体的上述规定的区域内的与上述第1像、第2像及第3像的位置不同的位置投影第4图案的像;上述图像传感器的上述多个像素分别还包括蓄积上述信号电荷的第3蓄积部及第4蓄积部;上述第1光源发出第1波长范围的光;上述第2光源发出与上述第1波长范围不同的第2波长范围的光;上述控制电路还控制上述第2光源;上述控制电路进行以下处理:使上述第2光源发出上述第3脉冲光;使上述第3蓄积部蓄积对应于上述第3脉冲光的发光而由上述光检测器产生的第3信号电荷;使上述第2光源在与上述第3脉冲光的发光不同的时刻发出上述第4脉冲光;使上述第4蓄积部蓄积对应于上述第4脉冲光的发光而由上述光检测器产生的第4信号电荷。
上述信号处理电路也可以基于上述第1信号电荷至第4信号电荷生成上述图像信息。
在上述摄像装置中,也可以是,上述被摄体是光学散射体;上述第1信号电荷是从上述被摄体到达的、来源于上述第1脉冲光的内部散射光成分;上述第2信号电荷是从上述被摄体到达的来源于上述第2脉冲光的内部散射光成分。
在上述摄像装置中,也可以是,上述图像传感器的上述多个像素分别还包括蓄积上述信号电荷的第3蓄积部及第4蓄积部;上述控制电路使上述第1脉冲光在第1时刻及第2时刻分别发出;在从上述第1时刻起经过第1时间后,使上述第1蓄积部蓄积上述第1信号电荷;在从上述第2时刻起经过比上述第1时间长的第2时间后,使上述第3蓄积部蓄积上述第1信号电荷;使上述第2脉冲光在第3时刻及第4时刻分别发出;在从上述第3时刻起经过第3时间后,使上述第2蓄积部蓄积上述第2信号电荷;在从上述第4时刻起经过比上述第3时间长的第4时间后,使上述第4蓄积部蓄积上述第2信号电荷。
有关本申请的另一技术方案的摄像装置具备:光源,发出第1脉冲光而向被摄体的规定的区域投影规定图案的像;图像传感器,包括多个像素,上述多个像素分别包括将接受到的光变换为信号电荷的光检测器和蓄积上述信号电荷的第1蓄积部及第2蓄积部;以及控制电路,控制上述光源及上述图像传感器;上述控制电路进行以下处理:在第1时刻使上述光源发出上述第1脉冲光;在上述第1时刻后且第2时刻之前,使上述第1蓄积部蓄积上述信号电荷;在超过上述第2时刻后使上述第2蓄积部蓄积上述信号电荷。
在本申请中,电路、单元、装置、部件或部的全部或一部分、或框图的功能块的全部或一部分也可以由包括半导体装置、半导体集成电路(IC)或LSI(large scaleintegration)的一个或多个电子电路执行。LSI或IC既可以集成到一个芯片上,也可以将多个芯片组合而构成。例如,存储元件以外的功能块也可以集成到一个芯片上。这里称作LSI或IC,但根据集成程度而叫法变化,也可以称作系统LSI、VLSI(very large scaleintegration)或ULSI(ultra large scale integration)。也可以将在LSI的制造后编程的Field Programmable Gate Array(FPGA)、或能够进行LSI内部的接合关系的重构或LSI内部的电路划分的设置的reconfigurable logic device以相同的目的使用。
进而,电路、单元、装置、部件或部的全部或一部分的功能或操作也可以通过软件处理来执行。在此情况下,软件被记录到一个或多个ROM、光盘、硬盘驱动器等非暂时性记录介质中,当软件被处理装置(processor)执行时,由该软件确定的功能被处理装置(processor)及周边装置执行。系统或装置也可以具备记录有软件的一个或多个非暂时性记录介质、处理装置(processor)及需要的硬件设备例如接口。
以下,参照附图说明本申请的摄像装置的实施方式。
在摄像装置的各实施方式的说明之前,说明该摄像装置的动作的概要。
图1表示摄像装置1001的结构。摄像装置1001具备控制电路114、由控制电路114控制的光源600及图像传感器602、和对图像传感器602的输出信号进行处理的信号处理电路604。另外,摄像装置1001在其内部具有光源600不是必须的,只要能够由控制电路114控制,光源600也可以外装。以下,在本说明书中也是同样的。
从光源600射出的光被被检者的包括额头的头部102反射,向图像传感器602入射。图像传感器602将入射的光变换为电信号并输出。控制电路114基于从图像传感器602输出的信号,调整光源600的光的照射位置及功率。
控制电路114进行两个初始动作。即,是到头部102的距离测定动作及照射调整动作。
首先,说明控制电路114进行的距离测定动作。控制电路114基于在光源600的发光中从图像传感器602输出的电信号(例如表示图像的信号),确定头部102的位置及到头部102的距离。例如控制电路114能够使用TOF(Time-of-Flight)技术计测到头部102的距离。在TOF技术中,计测照射光(例如脉冲光)被头部102反射、该反射光到达图像传感器602所需要的时间即飞行时间。控制电路114能够基于从光源600射出脉冲光起到图像传感器602检测到该脉冲光为止的时间来检测到头部102的距离。飞行时间可以基于由图像传感器602的各检测元件检测到的光的相位与光源600的光的相位之差来计测。作为图像传感器602也可以使用复眼照相机。复眼照相机具有多个图像传感器,能够基于所取得的多个图像间的视差来计测距离。这样,图像传感器602也可以是能够取得图像信息和距离信息双方的设备。
接着,说明控制电路114进行的照射调整动作。控制电路114基于所确定的头部102的位置及距离,决定在头部102中被照射光的位置及光的功率。例如控制未图示的MEMS反射镜等光学元件,以使光正确地照射到头部102的位置。并且,使光源600以到达图像传感器602的光的功率大致成为规定值的方式发光。例如,到头部102的距离越大,使光源600发出的光的功率越高,该距离越小,使光源600发出的光的功率越低。
控制电路114例如在开始生物体信息的检测时(初始动作时)首先进行上述动作。由此,以适当的功率向头部102照射光,能够以较高的精度进行生物体信息的检测。
在上述初始动作后,控制电路114进行生物体信息的计测动作。
控制电路114从光源600向头部102照射光。在被照射了光121的头部102反射及散射的光(表述为“返回光”)到达图像传感器602。返回光包括在头部102的表面上反射的成分(表面反射成分606)、和在头部102的内部1次反射(包括扩散反射)、散射或多重散射的成分(内部散射成分608)。其中,想要检测的成分是内部散射成分608。
但是,通常内部散射成分608的信号强度较小。这是因为,除了被照射满足激光安全基准的非常小的光量的光以外,还由头皮、脑髄液、头盖骨、灰白质、白质及血流进行的光的散射及吸收较大。进而,由脑活动时的血流量或血流内成分的变化带来的信号强度的变化相当于内部散射成分608的信号强度的几十分之1的大小,非常小。因而,希望尽可能不使想要检测的信号成分的几千~几万倍的表面反射成分606混入而检测内部散射成分608。
所以,利用具有电子快门的功能的图像传感器602。通过由控制电路114适当控制快门定时,能够仅检测内部散射成分608。这样的结构在例如特愿2015-122390号的说明书中公开。在本申请中援用特愿2015-122390号的全部公开内容。
信号处理电路604接受从图像传感器602输出的关于内部散射成分608的信号,进行来自被检体的浅部的反射成分及来自深部的反射成分的分离。进而,信号处理电路604根据得到的明暗信息,得到氧化血红蛋白和脱氧血红蛋白的浓度变化,根据得到的氧化血红蛋白和脱氧血红蛋白的浓度变化,通过运算将脑活动作为成像数据输出。
(实施方式1)
本实施方式1的摄像装置1001中,作为被检体而将生物体等光散射体作为对象。具体而言,摄像装置1001检测要观测的脑内的氧化血红蛋白、脱氧血红蛋白的浓度分布和其时间变化,将上述浓度分布构建为2D图像。本摄像装置1001能够以非接触的方式高速且高精度地执行作为伪差(artefact)的头皮血流的除去减轻。
图2是表示包括本实施方式的摄像装置1001的摄像系统的图。提出了在计测脑内的氧化血红蛋白、脱氧血红蛋白的浓度的情况下,使用700~950nm的近红外光。其理由是因为,在生物体内,这些波长比较不易被水分和血红蛋白这两者吸收。将这些波段称作“生物窗”。所以,本实施方式的摄像装置1001中作为光源600(图1)而使用射出波长750nm的激光脉冲光的4个第1光源103、104、105、106、以及射出波长850nm的激光脉冲光的4个第2光源107、108、109、110。
第1光源103、104、105、106及第2光源107、108、109、110分别以短脉冲高速反复并以决定的后述的图案进行激光的照射。详细情况后述。
摄像装置1001还具有结像光学系统111、光学双带通滤光器112、时间分解图像传感器113、控制电路114、第1信号处理电路115和第2信号处理电路116。
结像光学系统111是所谓的照相机透镜。
光学双带通滤光器112是使750nm和850nm的二波长的光透射的滤光器。光学双带通滤光器112被设置在透镜的结像面。
控制电路114例如是运算处理器,控制摄像装置1001中的第1光源103、104、105、106及第2光源107、108、109、110的脉冲发光、和时间分解图像传感器113中的受光的曝光期间。此外,控制电路114将通过受光而蓄积的信号电荷进行数字变换,向第1信号处理电路115及第2信号处理电路116命令得到的图像数据的处理。
第1信号处理电路115及第2信号处理电路116对应于图1中的信号处理电路604。即,信号处理电路604作为第1信号处理电路115及第2信号处理电路116实现。但是,这是一例。如图1那样,也可以由1个电路实现。
第1信号处理电路115进行将来自头部102内的作为浅部的头皮血流的反射光的特征与来自作为深部的大脑皮质的脑血流的反射光的特征分离的运算。运算的结果,第1信号处理电路115输出从脑血流得到的明暗信息。
第2信号处理电路116根据得到的明暗信息,根据氧化血红蛋白和脱氧血红蛋白的浓度变化,通过运算将脑活动作为成像数据输出。
图3A表示本实施方式的摄像装置1001的利用场景200。摄像装置1001装入在平板终端201中。摄像装置1001例如在不同的时刻1、2、3、4分别放射第1~第4照射光。作为第1~第4照射光,首先从第1光源103、104、105、106放射波长750nm的光。如果该放射结束,则接着从第2光源107、108、109、110放射波长850nm的光。关于第1~第4照射光,预先决定了头部102(额头)的多个特定的位置,以使各光分别向该位置入射而形成光的像。在本说明书中将通过照射形成的像的图案称作“光照射图案”。
图3B表示向头部102(额头)照射的光照射图案202的例子。
在图3B中表示的用带圈数字1、2、3、4表示的多个位置203、204、205、206分别表示形成在额头上的、从第1光源103、104、105、106及第2光源107、108、109、110放射的激光的光点的位置。将由相同的带圈数字形成的光点的排列称作“光点图案”。光点图案是光照射图案的一例。例如,在位置203处形成从第1光源103照射的激光的光点,进而在位置203上,还形成以与从第1光源103的照射不同的定时从第2光源107照射的激光的光点。位置204、205、206也分别是同样的。它们在后述的动作定时,在1帧内被分时地照射。第1光源103及第2光源107形成相同的光点图案。第1光源104及第2光源108形成相同的光点图案。第1光源105及第2光源109形成相同的光点图案。第1光源106及第2光源110形成相同的光点图案。
另外,“帧”是指从图像传感器的输出单位,通过某输出动作得到的信号或数据是构成1个帧的信号或数据。
图4是表示用来使750nm和850nm的光透射、将其以外的波长的光成分遮光的光学双带通滤光器112的分光透射率的曲线图。通过设置光学双带通滤光器112,在时间分解图像传感器113中能够有效地取得从第1光源103、104、105、106及第2光源107、108、109、110放射的激光的反射光。
图5是时间分解图像传感器113的1个像素401的结构图。1个像素401具有作为电荷排出部的漏极402、作为光电变换部的光检测器(PD)403、作为蓄积信号电荷的蓄积部的8个浮动扩散层(FD)404、405、406、407、408、409、410、411和高速定时控制电路412。
光检测器403将入射光子变换为信号电子(信号电荷)。高速定时控制电路412输出控制信号,切换是将信号电荷向漏极402排出、还是向浮动扩散层404、405、406、407、408、409、410、411中的某一个蓄积。向浮动扩散层404、405、406、407、408、409、410、411中的哪一个分配依赖于后述的定时。该定时中需要的动作速度是纳秒量级。为了实现这样的高速动作,高速定时控制电路412例如由CMOS逻辑电路形成。
图6是本实施方式的时间分解图像传感器113的结构图。1像素区域501是用双点划线的圆表示的区域,包括8个浮动扩散层404、405、406、407、408、409、410、411。在1像素区域501中,将蓄积的电荷如通常的CMOS图像传感器的8像素(2行4列)的信号那样处理,从时间分解图像传感器113输出。
对实际的时间分解图像传感器113而言,双点划线的圆区域在水平垂直上配置m行n列而构成,但在图面说明的关系上,在本例中以2行1列的简单的例子进行说明。
以下说明简单的本图像传感器113的基本动作。为了记载的方便,有将“浮动扩散层”的表述省略而单记述为“FD”的情况。
另外,在图6中,省略了图5中记载的漏极402、光检测器403、高速定时控制电路412的记载。这是因为,它们与在信号电荷向各浮动扩散层的蓄积完成后、将FD内的信号电荷从时间分解图像传感器113输出的低速读出动作没有直接关系。
如果行选择电路502读出信号且使晶体管508导通,则蓄积在各浮动扩散层中的信号电荷经由源极跟随器晶体管509和源极跟随器负载506而被放大,被读出到垂直信号线504。然后,按浮动扩散层的每一列设置的AD变换器507将读出的信号变换为数字信号数据。列选择电路503将数字信号从时间分解图像传感器113输出。时间分解图像传感器113在将同一行的信号输出后,进行下一行的读出,以同样的次序将全部的浮动扩散层的信息读出,在读出后使复位晶体管510导通。由此,设置全部的浮动扩散层。在下一帧的高速反复摄像开始的定时,图像传感器的一系列的帧动作完结。
在本实施方式中,举出了CMOS型的图像传感器的例子,但图像传感器既可以是CCD型,也可以是单一光子计数型元件,也可以是放大型图像传感器(EMCCD、ICCD)。
接着,参照图1的系统结构图、图7A的时间图、图7B的时间图及图8的时间图说明本申请的形态1的摄像装置的详细动作。
在图7A及图7B中,信号A1、A2、A3、A4、A5、A6、A7、A8分别表示第1光源103、104、105、106,第2光源107、108、109、110的发光的定时,信号B表示电子快门的开(OPEN)、关(CLOSE)的定时,信号C1、C2、C3、C4、C5、C6、C7、C8分别表示浮动扩散层404、405、406、407、408、409、410、411的ON(即在浮动扩散层中蓄积电荷的状态)、OFF(即在浮动扩散层中不蓄积电荷的状态)的定时。此外,在图8中,信号A表示光源的发光的定时,信号B表示电子快门的开(OPEN)、关(CLOSE)的定时,信号D表示到达了时间分解图像传感器113的表面反射成分的强度,信号E表示到达了时间分解图像传感器113的内部散射光成分的强度,信号F表示信号D与信号E之和。
图2及图1的控制电路114以约10ns脉冲宽度、约10MHz的频率,使第1光源103如图7A所示多次发光。通常以例如约1000次、约100μsec左右的期间进行反复照射。例如,在图7A中记载了第1光源103进行3个脉冲发光,但意味着该脉冲发光在约100μsec左右的期间内进行约1000次。通过各发光,在头部102(额头)上形成规定的光的像(照射点图案)。该照射点图案形成在图3B的带圈数字1的头部额头上的位置。带圈数字1的位置的间隔例如设定为约6cm。
被照射在头部额头上的带圈数字1的位置上的波长750nm的光成分的大部分如图1所示,被头部102的表面反射。反射光作为返回光向作为照相机透镜的结像光学系统111入射。没有由头部102的表面反射的一部分的光成分一边在头部102的内部散射一边到达大脑皮质。并且,到达了大脑皮质的该一部分的光成分再继续散射,其中的少量的光成分作为内部散射光成分再次到达头部102的额头表面。从头部102的额头表面对外放射的光成分的再一部分向结像光学系统111入射,到达时间分解图像传感器113而被进行光电变换。向结像光学系统111入射的光成分是表面反射成分606(图1)、内部散射光成分608(图1)及750nm、850nm以外的波长的干扰光成分。其中750nm、850nm以外的波长的干扰光成分被光学双带通滤光器112截断。
结果,到达时间分解图像传感器113的内部散射光的能量衰减为到达时间分解图像传感器113的表面反射光的能量的1万分之1左右。在该衰减的光中包含脑活动的信息。因此,怎样将作为能量高的噪声的表面反射光除去而检测内部散射光,成为重要的要件。
以下,参照图8说明该机理。
图8表示图7A及图7B的a-b区间的定时的详细情况。
如图8所示,通过由高速定时控制电路412(图5)进行的不需要电荷向漏极402的排出控制,时间分解图像传感器113被控制为在漏极排出期间中电子快门关(CLOSE),在不向漏极排出的期间中电子快门开(OPEN)。高速定时控制电路412将电子快门OPEN的开始的时刻设定在表面反射成分消失的时刻附近。其理由是为了将表面反射成分排除而检测较多内部散射光。与表面反射成分相比,内部散射光的向时间分解图像传感器113入射的时刻延迟进行散射的时间量。在表面反射成分消失的时刻附近以后能够检测内部散射光。
表面反射成分消失的时刻是从激光脉冲光源的发光起经过若干时间后。具体而言,表面反射成分消失的时刻,是以激光脉冲光源发光的时刻为起点、到激光到达头部102的额头表面而在额头表面反射的表面反射成分606入射到时间分解图像传感器113为止的时间经过后。在本实施方式中,在从表面反射成分消失的时刻起经过约100皮秒以后将电子快门OPEN。高速定时控制电路412进行控制,以在对应于发光脉冲宽度的期间中维持电子快门OPEN期间,在其之后电子快门为CLOSE。
由于第1光源103(图2)反复脉冲发光,所以电子快门也如图7A所示对应于第1光源103的发光而动作。
在第1光源103的发光期间中,通过高速定时控制电路412,只有蓄积信号电荷的图5的浮动扩散层404、405、406、407、408、409、410、411中的浮动扩散层404活动(active),其他浮动扩散层OFF。因此,电子快门开的有效期间的信号电荷仅蓄积到浮动扩散层404。另外,本设备被设计为,在漏极排出为活动时将光检测器内的电荷全部向漏极排出。
控制电路114从表面反射光成分从图像传感器结像面上消失、并且仅内部散射光存在于图像传感器结像面上之后的时刻起,将电子快门设为OPEN,将产生的信号电荷向浮动扩散层蓄积。由此,能够高效地将表面反射光除去,而仅检测包含脑活动的信息的内部散射光。
当被检体是人体头部102且检测脑血流等的信息时,内部中的光的衰减率非常大。如上述那样,内部散射光的能量衰减为表面反射光的能量的1万分之1左右。为了仅检测内部散射光,仅通过1脉冲的照射,光量不足。所以,在本实施方式中,使脉冲光源多次发光,与其对应地图像传感器也由电子快门多次曝光,由此将检测信号累积而使灵敏度提高。由此,才能够以非接触的方式检测脑血流等的信息。
接着,同样通过图1及图2的控制电路114,以约10ns脉冲宽度、约10MHz的频率,使第1光源104如图7A所示那样多次发光。在本实施方式中,例如在约100μsec左右的期间中,反复照射约1000次。该照射点图案形成在图3B所示的带圈数字2的头部额头上的位置。带圈数字2的位置的间隔例如是约6cm,设定在带圈数字1的位置的中间点。
在使第1光源104发光后,到内部散射光到达时间分解图像传感器113为止的动作与之前的例子相同,所以省略说明。
由于第1光源104反复脉冲发光,所以电子快门也如图7A所示那样对应于第1光源104的发光而动作。
此时,蓄积信号电荷的图5的浮动扩散层404、405、406、407、408、409、410、411通过高速定时控制电路412,仅浮动扩散层405活动,其他的浮动扩散层被设为OFF。因此,将电子快门开的有效期间的信号电荷仅蓄积到浮动扩散层405。
以下,如图7A所示,使第1光源105、第1光源106也同样地动作。
通过这样,信号电荷独立地如以下这样被蓄积。
通过由第1光源103以带圈数字1的照射图案进行脉冲发光,内部散射光的信号电荷向浮动扩散层404蓄积。
通过由第1光源104以带圈数字2的照射图案进行脉冲发光,内部散射光的信号电荷向浮动扩散层405蓄积。
通过由第1光源105以带圈数字3的照射图案进行脉冲发光,内部散射光的信号电荷向浮动扩散层406蓄积。
通过由第1光源106以带圈数字4的照射图案进行脉冲发光,内部散射光的信号电荷向浮动扩散层407蓄积。
接着,如图7B所示,通过接着使第2光源107、108、109、110也同样地动作,信号电荷独立地如以下这样被蓄积。
通过由第2光源107以带圈数字1的照射图案进行脉冲发光,内部散射光的信号电荷向浮动扩散层408蓄积。
通过由第2光源108以带圈数字2的照射图案进行脉冲发光,内部散射光的信号电荷向浮动扩散层409蓄积。
通过由第2光源109以带圈数字3的照射图案进行脉冲发光,内部散射光的信号电荷向浮动扩散层410蓄积。
通过由第2光源110以带圈数字4的照射图案进行脉冲发光,内部散射光的信号电荷向浮动扩散层411蓄积。
将这些动作作为1组,在1帧内反复动作多组,直到蓄积了需要的信号电荷。1组的数据的蓄积所需要的时间是约800μsec左右,是充分高速的。例如,即使将这些动作反复进行几十组左右的情况下,也仅需要几十毫秒左右。
通过该反复动作,如果将1帧看作信号电荷的蓄积期间,则能够实现第1光源103、104、105、106及第2光源107、108、109、110的照射的模拟同时化。
接着,时间分解图像传感器113进行将蓄积在浮动扩散层404、405、406、407、408、409、410、411中的信号电荷读出的动作。在读出动作的定时,第1及第2光源基本上灭掉。读出动作的内容如参照图6说明的内容。
本发明者们使用上述两种波长的理由是因为,在脑血流中,氧化血红蛋白和脱氧血红蛋白的光吸收系数以805nm为界限反转。因此,能够与单波长相比更高精度地检测出氧化血红蛋白、脱氧血红蛋白的各自的浓度变化。
另外,到此为止说明的激光脉冲光源的两种波长(750nm及850nm)是一例。只要在700~950nm的波段中,以805nm为边界,选择比其短的波长和比其长的波长就可以。
在本例中,光照射图案以光点图案的例子进行了说明,但也可以采用环状或线状的图案。例如,图9A表示环状的照射图案的例子,图9B表示线状的照射图案的例子。带圈数字1至4的各照射图案是由第1光源103、104、105、106及第2光源107、108、109、110形成的像。图9A所示的各环的直径例如是约6cm。此外,与连续的两个带圈数字对应的两个环的中心间隔例如是约3cm。图9B所示的各线的间隔例如是约3cm。
接着,第1信号处理电路115使用从时间分解图像传感器113输出的8张图像的数据进行浅部与深部的分离。8张图像分别对应于蓄积在浮动扩散层404、405、406、407、408、409、410、411的各自中的、根据二波长的各照射图案取得的信号电荷。关于分离法,已知有在特开2012-125370号公报中也记载的根据多SD(Source Detector/送光-受光)间距离的受光数据使用联立方程式求解的方法、使用自适应滤光器的减法方式的方法等。
在本实施方式中,如图10所示,通过使用分时光图案照射和时间分解图像传感器,能够使用图像传感器全像素和各点图案的光照射点间的距离的组合,所以能够取得许多SD间距离数据。
图10表示时间分解图像传感器113上的点照射图案与像素位置的关系。图10的各方格状的方块表示相当于被检体的额头表面的图像传感器的像素位置,带圈数字1~4表示各激光脉冲的照射图案位置。例如从带圈数字1伸出的箭头的尖部,表示入射到带圈数字1的位置的激光脉冲作为内部散射光成分再次出现在额头表面时的位置。但是,这不过表示一例。内部散射光成分以带圈数字1的位置为中心可能出现在各种方向上。在从激光脉冲的照射位置离开的像素中,也能够检测到内部散射光成分。另外,有内部散射光成分从两个带圈数字1分别到达位于其之间的带圈数字2的位置的情况。在该位置的像素的浮动扩散层404或浮动扩散层408中包含该两者的内部散射光成分的信息。另外,在图10中没有表示与带圈数字2及4关联的内部散射光成分的箭头,而这是为了记载的简单化。
根据从各像素的浮动扩散层404、405、406、407、408、409、410、411得到的信息,能够取得起因于4个不同位置的光照射点图案的内部散射光成分的信息和相当于(被检体的长度/图像传感器像素数)的距离的步长下的信号。例如在水平方向具有200像素的图像传感器和在水平方向具有20cm的被检体长的情况下,能够以1mm步长取得各点图案的SD间距离的信号,所以能够提高浅部、深部的分离精度。此外,通过使用高速的时间分解图像传感器,能够进行1帧下的高速的摄像。
在第1信号处理电路115进行750nm和850nm的各自的浅部深部的分离后,第2信号处理电路116根据2波长的深部分离图像,使用氧化血红蛋白及脱氧血红蛋白的各波长的光吸收系数,运算氧化血红蛋白及脱氧血红蛋白的各像素中的相对变化。由此,能够提供高速且高精度的脑功能的成像。
本实施例的时间分解图像传感器中每1像素具备8个浮动扩散层。因此,在被检体是光散射体的情况下所得到的光学析像力的空间频率较低,所以像素数即使比通常的照相机少也足够。如果设想相同的图像区,则像素尺寸能够设计得较大,所以合理性较高。
图11是表示摄像装置1001的处理的次序的流程图。设动作的主体为控制电路114(图1、图2),设控制电路114向其他构成要素输出命令而进行说明。另外,图11的处理是取得1组的数据的例子。
首先,控制电路114检测被检者的头部102(例如额头)的位置及第1光源103、104、105、106或第2光源107、108、109、110与额头之间的距离(步骤S1)。具体而言,控制电路114利用从时间分解图像传感器113输出且由多个帧图像构成的运动图像,通过图像识别取得帧图像中的额头的位置信息。此时,时间分解图像传感器113只要进行通常的摄像动作就可以,不需要向浮动扩散层404、405、406、407、408、409、410、411依次蓄积信号电荷。
额头的位置例如通过使用与人的额头建立了关联的模板的图案匹配来确定。位置信息例如可以是表示检测到的图案的图像中的中心的位置的信息等。模板预先保存在未图示的存储器中。图像识别中可以广泛地使用周知的方法,并不限定于特定的方法。此外,控制电路114基于包含表示从时间分解图像传感器113输出的光的功率的相位差的信息在内的信号,计算到被检者的距离。
测距还可以使用TOF技术进行。例如将光的脉冲照射多次,由时间分解图像传感器的多个浮动扩散层分别依次接受各反射光。也可以通过计测从脉冲发光时到反射光受光时的光的飞行时间,直接测定到头部的距离。
控制电路114控制第1光源103、104、105、106或第2光源107、108、109、110。
当由摄像装置1001开始生物体信息的计测时,控制电路114向第1光源103、104、105、106或第2光源107、108、109、110输出用于发光的控制信号。此时的光的功率及射出方向被设定为预先设定的初始值。控制电路114执行初始动作,取得表示被检部的位置及距离的初始信息。
接着,控制电路114基于初始信息,设定从光源射出的光的射出方向及功率的初始值(步骤S2)。各光源将具有与初始值对应的功率的光向被检者射出。通过以上的动作,不论面对摄像装置1001的被检者的位置如何,都能够向与该位置对应的适当的方向以适当的功率射出光。
进而,控制电路114,作为变量而对M、N及k分别设定1。“M”是1或2,如“第M光源”那样表现而表示与光源的波长对应的值。“N”是1以上且4以下的整数,如“第1光源N”那样表现而表示确定光源的值。这里,第1光源103相当于“第1光源1”,第1光源104相当于“第1光源2”,第1光源105相当于“第1光源3”,第1光源106相当于“第1光源4”,第2光源107相当于“第2光源1”,第2光源108相当于“第2光源2”,第2光源109相当于“第2光源3”,第2光源110相当于“第2光源4”。“k”是1以上且8以下的整数,如“浮动扩散层k”那样表现,表示确定蓄积信号电荷的浮动扩散层的值。这里,浮动扩散层404对应于“浮动扩散层1”,浮动扩散层405对应于“浮动扩散层2”,浮动扩散层406对应于“浮动扩散层3”,浮动扩散层407对应于“浮动扩散层4”,浮动扩散层408对应于“浮动扩散层5”,浮动扩散层409对应于“浮动扩散层6”,浮动扩散层410对应于“浮动扩散层7”,浮动扩散层411对应于“浮动扩散层8”。
接着,控制电路114输出控制信号而使第M光源N发光,向被检者的头部102的区域投影规定图案的像(步骤S3)。
接着,控制电路114向高速定时控制电路412发送控制信号,在表面反射成分消失的时刻附近将电子快门设为OPEN,将内部散射光成分用浮动扩散层k受光(步骤S4)。使电子快门OPEN的期间是相当于发光脉冲宽度的期间。
接着,控制电路114判定是否使第M光源N发光了规定次数(步骤S5)。规定次数例如是1000次。如果发光次数满足条件,则处理向步骤S6前进。如果不满足,则处理向步骤S3返回,控制电路114再次进行发光和内部散射光成分的受光。
接着,控制电路114判定N是否是4(步骤S6)。即,控制电路114判定是否完成到第1光源4的发光为止。如果N是4,则处理向步骤S7前进。另一方面,如果N不到4,则处理向步骤S3返回。此时,将N及k增加1个。由此,能够变更接着要发光的光源,变更在受光时动作的浮动扩散层。
接着,控制电路114判定M是否是2(步骤S7)。即,控制电路114判定是否完成到第2光源4的发光为止。如果M是2,则处理向步骤S8前进。另一方面,如果M不到2(即M=1),则处理向步骤S3返回。此时,在M中代入2,在N中代入1,将k增加1个。由此,能够使第2光源1发光。
接着,控制电路114生成用来将蓄积在各像素401的浮动扩散层404、405、406、407、408、409、410、411中的信号电荷读出的控制信号,向时间分解图像传感器113发送。由此,蓄积在浮动扩散层404、405、406、407、408、409、410、411中的信号电荷分别被作为模拟信号读出。同时,控制电路114向AD变换器507命令,将读出的模拟信号变换为数字数据,取得图像数据(步骤S8)。
最后,控制电路114向第1信号处理电路115及第2信号处理电路116命令,将来自头部102内的作为浅部的头皮血流的反射光的特征与来自作为深部的大脑皮质的脑血流的反射光的特征分离,生成从脑血流得到的明暗信息,根据得到的明暗信息,根据氧化血红蛋白和脱氧血红蛋白的浓度变化运算脑活动,得到成像数据并输出(步骤S9)。
(实施方式2)
接着,对本申请的实施方式2进行说明。本实施方式的摄像装置中作为被检体而将生物体等光散射体作为对象。具体而言,摄像装置检测要观测的脑内的氧化血红蛋白、脱氧血红蛋白的浓度分布和其时间变化,将上述浓度分布构建为2D图像。
本实施方式的目的与实施方式1的目的相同,但将浅部的头皮血流与深部的脑血流分离的方法不同。具体而言,在本实施方式中,在同一发光图案、同一波长下,利用不同的两个相位的电子快门期间。通过对多SD方法加上时间分解方法,能够更高精度地将浅部的头皮血流和深部的脑血流分离。
以下,以有与实施方式1的差异的部分为中心进行说明。没有特别说明的构成要素的构造及/或功能与实施方式1的摄像装置1001的结构相同。
图12是包括本实施方式的摄像装置1002的摄像系统图。
摄像装置1002与实施方式1的摄像装置1001不同的点,是光源的数量及时间分解图像传感器113的动作。随着这些差异,控制电路114的动作也不同。但是,作为硬件是相同的,所以赋予相同的名称及标号。以下,详细地说明包括控制电路114的动作在内的摄像装置1002的动作。
摄像装置1002具有射出波长750nm的激光脉冲光的两个第1光源103、104、以及射出波长850nm波长的激光脉冲光的两个第2光源107、108。各个光源以短脉冲高速地且反复地以决定的后述的图案进行照射。
图13A表示本实施方式的摄像装置1002的利用场景1200。摄像装置1002装入在平板终端1201中。摄像装置1002例如在不同的时刻1及2分别放射第1及第2照射光。作为第1及第2照射光,首先从第1光源103、104放射波长750nm的光。如果该放射结束,则接着从第2光源107、108放射波长850nm的光。以使哪个照射光都向头部102的特定的位置入射的方式该位置被预先决定。即,作为通过照射形成的像的图案的光照射图案被预先决定。
图13B表示向头部102照射的光照射图案1102的例子。
图13B所示的由带圈数字1、2表示的多个位置1103、1104分别表示由从第1光源103、104及第2光源107、108放射的激光形成的光点图案的位置。它们以后述的动作定时在1帧内的分别不同的时刻被分时地照射。
在本实施方式中,光学双带通滤光器112的特性、时间分解图像传感器113的各像素的结构及整体结构分别如图4~图6记载那样。因此,省略它们的再次的说明。
另外,在本实施方式中,也作为时间分解图像传感器113而举出了CMOS型的图像传感器的例子,但图像传感器除此以外也可以是CCD型,也可以是单一光子计数型元件,也可以是放大型图像传感器(EMCCD、ICCD)。
以下,参照图12的系统结构图、图14A的时间图、图14B的时间图、图15A的时间图及图15B的时间图说明本申请的实施方式2的摄像装置的详细动作。
在图14A及图14B中,信号A1、A2、A5、A6分别表示第1光源103、104,第2光源107、108的发光的定时,信号B表示电子快门的OPEN(开)、CLOSE(关)的定时,信号C1、C2、C3、C4、C5、C6、C7、C8分别表示浮动扩散层404、405、406、407、408、409、410、411的ON(即在浮动扩散层中蓄积有电荷的状态)、OFF(即在浮动扩散层中不蓄积电荷的状态)的定时。此外,在图15A及图15B中,信号A表示光源的发光的定时,信号B1表示从时刻a到b之间的电子快门的OPEN、CLOSE的定时,信号B2表示从时刻c到d之间的电子快门的OPEN、CLOSE的定时,信号D表示到达了时间分解图像传感器113的表面反射成分的强度,信号E表示到达了时间分解图像传感器113的内部散射光成分的强度,信号F表示信号D与信号E之和。
通过图1及图12的控制电路114,以约10ns脉冲宽度、约10MHz的频率,使第1光源103如图14A所示那样多次发光。通常,例如在约100μsec左右的期间中反复照射约1000次。此时,照射点图案被照射在图13B的带圈数字1的头部额头上的位置。例如,带圈数字1的位置的间隔在水平垂直上设定为约6cm,在斜方向上设定为作为该间隔的“2的平方根”倍的8.49cm。
入射到额头上的各波长的光成分的动态及内部散射光成分的检测原理与实施方式1相同。内部散射光成分的衰减的程度也相同。
以下,说明本实施方式的内部散射光成分的检测机理。
图15A表示图14A及图14B的a-b区间的时刻的详细情况。
如图15A所示,通过由高速定时控制电路412(图5)进行的向漏极的不需要电荷的排出控制,时间分解图像传感器113控制为在漏极排出期间中电子快门CLOSE,在不向漏极排出的期间中电子快门OPEN。
这里,图15B是将图15A的时间图中的从时刻f到时刻ge附近放大表示的时间图。基于来自控制电路114的命令,高速定时控制电路412将电子快门OPEN的开始的时刻设定为表面反射成分刚消失后的时刻f。时刻f例如是从表面反射光成分消失起约100皮秒。进而,高速定时控制电路412在相当于发光脉冲宽度的期间中维持电子快门OPEN期间,在其之后将电子快门设为CLOSE。
第1光源103反复脉冲发光,所以电子快门也如图14A所示那样对应于第1光源103的发光而动作。
在第1光源103的发光期间中,通过高速定时控制电路412,只有蓄积信号电荷的图5的浮动扩散层404、405、406、407、408、409、410、411中的浮动扩散层404成为活动,其他浮动扩散层被设为OFF。因此,电子快门开的有效期间的信号电荷仅蓄积到浮动扩散层404。另外,本设备设计为,在漏极排出为活动时光检测器内的电荷全部向漏极排出。
控制电路114在表面反射光成分从图像传感器结像面上消失、并且仅内部散射光存在于图像传感器结像面上之后的时刻使电子快门为OPEN,将产生的信号电荷向浮动扩散层蓄积。由此,能够高效地将表面反射光除去。
如上述那样,当被检体是人的额头且检测脑血流等的信息时,内部中的光的衰减率非常大(1万分之1左右)。因此,为了仅检测内部散射光,仅通过1脉冲的照射时光量不足。因此,通过将脉冲光源多次发光、与其对应而图像传感器也由电子快门多次曝光,将检测信号累积而使灵敏度提高,由此才能够以非接触的方式检测脑血流等的信息。
接着,通过图1及图12的控制电路114,以约10ns脉冲宽度、约10MHz的频率,使第1光源104如图14A所示那样多次发光。在本实施方式中,例如在约100μsec左右的期间中反复照射约1000次。此时,照射点图案形成在图13B的带圈数字2的头部额头上的位置。带圈数字2的位置的间隔例如是约6cm,设定在带圈数字1的位置的中间点。
电子快门的动作定时与图15A所示的上述的a-b间是同样的。
由于第1光源104反复脉冲发光,所以电子快门也如图14A所示,对应于第1光源104的发光而动作。
此时,图5的浮动扩散层404、405、406、407、408、409、410、411通过高速定时控制电路412,仅浮动扩散层405成为活动,其他浮动扩散层被设为OFF。因此,电子快门开的有效期间的信号电荷仅蓄积到浮动扩散层405。
控制电路114在表面反射光成分在图像传感器结像面上消失后的时刻使电子快门成为OPEN,将产生的信号电荷向浮动扩散层蓄积。由此,能够高效地将表面反射光除去而仅检测包含脑活动的信息的内部散射光。另外,使第1光源104也多次发光,与此对应地,图像传感器也由电子快门多次曝光,能够将检测信号累积而提高灵敏度。
接着,对第1光源104的第2次发光进行说明。
通过图1及图12的控制电路114,以约10ns脉冲宽度、约10MHz的频率使第1光源104如图14A所示那样多次发光。在本实施方式中,例如在约100μsec左右的期间中反复照射约1000次。此时照射点图案被形成在图13B所示的带圈数字1的头部额头上的位置。
电子快门的动作定时与图15A所示的上述的a-b间是同样的。
如图15A所示,通过由高速定时控制电路412(图5)进行的不需要电荷向漏极的排出控制,时间分解图像传感器113控制为在漏极排出期间中电子快门CLOSE,在不向漏极排出的期间中电子快门OPEN。
图15A还表示图14A及图14B的c-d间的详细的定时。具体而言,基于来自控制电路114的命令,高速定时控制电路412在将表面反射成分消失后的几纳秒(ns)后的e部放大表示的时刻g,设定电子快门OPEN的开始的时刻。时刻g例如是在表面反射成分消失后约2~3ns后的时刻。进而,高速定时控制电路412在相当于发光脉冲宽度的期间中维持电子快门OPEN期间,在其之后将电子快门设为CLOSE。在该几ns期间(f-g期间,例如3ns)中返回来的内部散射光成分由于光路长较短,所以相比深部更多地包含浅部的信息。即,由于在比g的时刻靠后到达图像传感器的光成分的比率为散射光路长较长的成分,所以深部的信息的比率变高。
由于第1光源104反复脉冲发光,所以电子快门也如图14A所示,对应于第1光源104的发光而动作。
在第1光源104的第2次的发光期间中,通过高速定时控制电路412,只有蓄积信号电荷的图5的浮动扩散层404、405、406、407、408、409、410、411中的浮动扩散层406成为活动,其他的浮动扩散层被设为OFF。因此,电子快门开的有效期间的信号电荷仅蓄积到浮动扩散层406。
在从时刻f起使电子快门为OPEN而得到的信号电荷成分中,浅部信息相比深部信息充分多,结果,相比脑血流成分更充分多地包含头皮血流成分。
另一方面,在从时刻g起使电子快门为OPEN的信号电荷成分中,与从时刻f起取得的信号电荷成分相比,深部信息的比例增加,结果,脑血流成分的信息的比例增加。
本发明者们着眼于在电子快门的开及闭的时刻上述比率变化是重要的。
控制电路114在表面反射光成分从图像传感器结像面上消失、并且仅内部散射光存在于图像传感器结像面上之后的时刻,通过将电子快门设为OPEN、将产生的信号电荷向浮动扩散层蓄积,能够高效地将表面反射光除去。在内部散射光中,也如上述那样,蓄积在浮动扩散层406中的信号电荷比蓄积在浮动扩散层404中的信号电荷,深部的脑血流成分比率更高。
接着,对第1光源104的第2次发光进行说明。
通过图1及图12的控制电路114,以约10ns脉冲宽度、约10MHz的频率,使第1光源104如图14A所示那样多次发光。在本实施方式中,例如在约100μsec左右的期间中反复照射约1000次。此时,照射点图案被形成在图13B所示的带圈数字2的头部额头上的位置。
如图15A所示,通过由高速定时控制电路412(图5)进行的不需要电荷向漏极的排出控制,时间分解图像传感器113控制为在漏极排出期间中电子快门CLOSE,在不向漏极排出的期间中电子快门OPEN。
图15A还表示图14A及图14B的c-d间的详细的定时。具体而言,基于来自控制电路114的命令,高速定时控制电路412在表面反射成分消失后的几纳秒(ns)后的时刻g,设定电子快门OPEN的开始的时刻。进而,高速定时控制电路412在相当于发光脉冲宽度的期间中维持快门OPEN期间,在其之后将电子快门设为CLOSE。在该几ns期间(f-g期间)中返回来的内部散射光成分由于光路长较短,所以相比深部更多地包含浅部的信息。即,在比g的时刻靠后到达图像传感器113的光成分中,深部的信息的比率变高。
由于第1光源104反复脉冲发光,所以电子快门也如图14A所示,对应于第1光源104的发光而动作。
在第1光源104的第2次的发光期间中,通过高速定时控制电路412,只有蓄积信号电荷的图5的浮动扩散层404、405、406、407、408、409、410、411中的浮动扩散层407成为活动,其他的浮动扩散层被设为OFF。因此,电子快门开的有效期间的信号电荷仅蓄积到浮动扩散层407。
因此,在从时刻f起使电子快门为OPEN的信号电荷成分中,浅部信息比深部信息充分多,结果,相比脑血流成分更充分多地包含头皮血流成分。
在从时刻g起使电子快门为OPEN的信号电荷成分中,与从时刻f起取得的信号电荷成分相比,深部信息的比例增加,结果,脑血流成分的信息的比例增加。
控制电路114通过在表面反射光成分从图像传感器结像面上消失、并且仅内部散射光存在于图像传感器结像面上之后的时刻将电子快门设为OPEN、将产生的信号电荷向浮动扩散层蓄积,能够高效地将表面反射光除去。在内部散射光中,也如上述那样,蓄积在浮动扩散层407中的信号电荷比蓄积在浮动扩散层405中的信号电荷,深部的脑血流成分比率更高。
通过以上说明动作,如以下这样独立地蓄积信号电荷。
通过由第1光源103以带圈数字1的照射图案进行脉冲发光,电子快门OPEN的相位时刻f的信号电荷向浮动扩散层404蓄积。
通过由第1光源104以带圈数字2的照射图案进行脉冲发光,电子快门OPEN的相位时刻f的信号电荷向浮动扩散层405蓄积。
通过由第1光源103以带圈数字1的照射图案进行脉冲发光,电子快门OPEN的相位时刻g的信号电荷向浮动扩散层406蓄积。
通过由第1光源104以带圈数字2的照射图案进行脉冲发光,电子快门OPEN的相位时刻g的信号电荷向浮动扩散层407蓄积。
接着,如图14B所示,通过接着使第2光源107、108也同样地动作,第2光源107以带圈数字1的照射图案进行脉冲发光,由此电子快门OPEN的相位时刻f的信号电荷向浮动扩散层408蓄积。
通过由第2光源108以带圈数字2的照射图案进行脉冲发光,电子快门OPEN的相位时刻f的信号电荷向浮动扩散层409蓄积。
通过由第2光源107以带圈数字1的照射图案进行脉冲发光,电子快门OPEN的相位时刻g的信号电荷向浮动扩散层410蓄积。
通过由第2光源108以带圈数字2的照射图案进行脉冲发光,电子快门OPEN的相位时刻g的信号电荷向浮动扩散层411蓄积。
将这些动作作为1组,在1帧内反复动作多组,直到蓄积需要的信号电荷。也可以反复几十组左右。
在该反复动作中,如果将1帧看作信号电荷的蓄积期间,则能够实现第1光源103、104及第2光源107、108的照射的模拟同时化。
接着,将蓄积在浮动扩散层404、405、406、407、408、409、410、411中的信号电荷与实施方式1同样进行从图像传感器输出的读出动作。
图像传感器的信号读出与实施方式1是同样的,所以省略说明。
在本例中,以光照射图案为两种点图案的例子进行了说明,但光源的照射图案数也只要根据需要增加就可以,作为图案形状,也可以是环状或线状的图案。
此时,只要根据需要进行增加图像传感器的浮动扩散层的数量的设计就可以。
接着,第1信号处理电路115使用从时间分解图像传感器113输出的8张图像数据进行浅部和深部的分离。8张图像分别与蓄积在浮动扩散层404、405、406、407、408、409、410、411的各自中的、对应于二波长的各照射图案而取得的信号电荷对应。关于分离法,已知有在特开2012-125370号公报中也记载的根据多SD(Source Detector/送光-受光)间距离的受光数据使用联立方程式求解的方法、以及使用自适应滤光器的减法方式的方法等。
除此以外,通过根据由电子快门OPEN的相位时刻f、g的差异带来的浅部深部比率的变化、加上基于正规化的差分方法以及联立方程式,能够使求出的解的精度、可靠度提高。
另外,如上述那样,在相位时刻f,能较多地得到表面反射收敛后的光的成分、以及在头部的较浅的部分内部散射的光的成分。另一方面,在相位时刻g,相应于从表面反射进一步延迟而较多地检测到散射光路长较长的光的成分。由于相对较浅的位置的信号成分的比率减小,所以浅部深部比率可能对应于时刻而变化。
在本申请的形态中,如图16所示,通过采用分时光图案照射和时间分解图像传感器,能够使用图像传感器全像素和各点图案的光照射点间的距离的组合,所以能够取得许多的SD间距离数据。
图16的各方格状的方块表示相当于被检体的额头表面的图像传感器的像素位置,带圈数字1及2表示各激光脉冲的照射图案位置。箭头的意思与图10相同。
能够取得两个不同位置的光照射点图案和相当于(被检体的长度/图像传感器像素数)的距离的步长下的信号。例如在水平方向具有200像素的图像传感器和在水平方向具有20cm的被检体长的情况下,能够以1mm步长取得各点图案的SD间距离,所以能够提高浅部、深部的分离精度。此外,通过使用高速的时间分解图像传感器,能够进行1帧下的高速的摄像。
在第1信号处理电路115进行750nm和850nm的各自的浅部深部的分离后,第2信号处理电路116根据2波长的深部分离图像,使用氧化血红蛋白及脱氧血红蛋白的各波长的光吸收系数,运算氧化血红蛋白及脱氧血红蛋白的各像素中的相对变化。由此,能够提供高速且高精度的脑功能的成像。
另外,根据计测对象,可能有上述两种波长的光的吸收率不同的情况。所以,如果吸收率是已知的,则也可以根据该吸收率,在波长750nm的光和波长850nm的光中,变更从时刻f到时刻g的时间间隔及从时刻f到时刻i的时间间隔。
(实施方式3)
接着,对本申请的实施方式3进行说明。与有关实施方式2的摄像装置1002相比,有关本实施方式的摄像装置在具备将1个发光脉冲的反射光划分为两个相位而光电变换的功能这一点上不同。作为硬件的结构与实施方式2相同,所以在本实施方式中参照图12。
以下,以与从实施方式2的不同点为中心进行说明。
图13A是表示本申请的形态3的光照射图案的图,由于与实施方式2相同,所以说明省略。
以下,参照图17A的时间图、图17B的时间图、图1及图12的表示整体系统的示意图、图18A的时间图及图18B的时间图说明本申请的形态3的摄像装置的详细动作。
在图17A及图17B中,信号A1、A2、A5、A6分别表示第1光源103、104,第2光源107、108的发光的定时,信号B表示电子快门的OPEN、CLOSE的定时,信号C1、C2、C3、C4、C5、C6、C7、C8分别表示浮动扩散层404、405、406、407、408、409、410、411的ON(即在浮动扩散层中蓄积电荷的状态)、OFF(即在浮动扩散层中不蓄积电荷的状态)的定时。此外,在图18A及图18B中,信号A表示光源的发光的定时,信号B表示从时刻a到b之间的电子快门的OPEN、CLOSE的定时,信号C1、C3、C5、C7表示浮动扩散层404、406、408、410的ON、OFF的定时,信号C2、C4、C6、C8表示浮动扩散层405、407、409、411的ON、OFF的定时,信号D表示到达了时间分解图像传感器113的表面反射成分的强度,信号E表示到达了时间分解图像传感器113的内部散射光成分的强度,信号F表示信号D与信号E之和。
通过图1及图12的控制电路114,以约10ns脉冲宽度、约10MHz的频率,使第1光源103如图17A所示多次发光。通常也可以例如在约100μsec左右的期间中反复照射约1000次。
如图18A所示,通过由高速定时控制电路412(图5)进行的不需要电荷向漏极的排出控制,时间分解图像传感器113控制为在漏极排出期间中电子快门CLOSE,在不向漏极排出的期间中电子快门OPEN。
这里,图18B是将图18A的时间图中的从时刻f到时刻i附近放大表示的时间图。基于来自控制电路114的命令,高速定时控制电路412将电子快门OPEN的开始的时刻设定为表面反射成分消失的时刻f。进而,高速定时控制电路412在相当于发光脉冲宽度的期间中维持电子快门OPEN期间,在其之后将电子快门设为CLOSE。
此时,通过高速定时控制电路412,浮动扩散层404在电子快门OPEN时已经是活动,在作为电子快门OPEN的中途的图18B的时刻i被设为off。同时,通过高速定时控制电路412,在时刻i使浮动扩散层405为活动,浮动扩散层405继续活动直到电子快门CLOSE的定时,然后被设为OFF。
由于第1光源103反复脉冲发光,所以电子快门和浮动扩散层404、405的控制也如图17A所示,对应于第1光源103的发光而动作。
通过高速定时控制电路412的控制,电子快门开的有效期间的前半(到时刻i为止)的信号电荷向浮动扩散层404蓄积,电子快门开的有效期间的后半(从时刻i以后)的信号电荷向浮动扩散层405蓄积。在此期间中,其他浮动扩散层是OFF。另外,本设备设计为,在漏极排出为活动时,光检测器内的电荷全部向漏极排出。
与实施方式2同样,在浮动扩散层404的信号电荷成分中,浅部信息也相比深部信息充分多,结果,相比脑血流成分更充分多地包含头皮血流成分。
另一方面,在浮动扩散层405的信号电荷成分中,与从时刻f起取得的信号电荷成分相比,深部信息的比例增加,结果脑血流成分的信息的比例增加。
通过将电子快门的动作定时划分为前半后半、将信号电荷向浮动扩散层404和浮动扩散层405蓄积,上述比率变化。
接着,通过图1及图12的控制电路114,以约10ns脉冲宽度、约10MHz的频率,使第1光源104如图17A所示多次发光。
如图18A所示,通过由高速定时控制电路412(图5)进行的不需要电荷向漏极的排出控制,时间分解图像传感器113控制为在漏极排出期间中电子快门CLOSE,在不向漏极排出的期间中电子快门OPEN。
基于来自控制电路114的命令,高速定时控制电路412将电子快门OPEN的开始的时刻设定为表面反射成分消失的时刻f。进而,高速定时控制电路412在相当于发光脉冲宽度的期间中维持电子快门OPEN期间,在其之后将电子快门设为CLOSE。
通过高速定时控制电路412,浮动扩散层406在电子快门OPEN时已经是活动,在作为电子快门OPEN的中途的图18B的时刻i被设为off。同时,通过高速定时控制电路412,在时刻i使浮动扩散层407成为活动,浮动扩散层407继续活动直到电子快门CLOSE的定时,然后被设为OFF。
由于第1光源104反复脉冲发光,所以电子快门和浮动扩散层406、407的控制也如图17A所示,对应于第1光源104的发光而动作。
通过高速定时控制电路412的控制,电子快门开的有效期间的前半(到时刻i为止)的信号电荷向浮动扩散层406蓄积,电子快门开的有效期间的后半(从时刻i以后)的信号电荷向浮动扩散层407蓄积。在此期间中,其他浮动扩散层是OFF。另外,本设备设计为,在漏极排出为活动时,光检测器内的电荷全部向漏极排出。
通过以上的动作,如以下这样独立地蓄积信号电荷。
通过由第1光源103以带圈数字1的照射图案进行脉冲发光,到电子快门开的前半的时刻i为止的信号电荷向浮动扩散层404蓄积,从电子快门开的后半的时刻i起的信号电荷向浮动扩散层405蓄积。
通过由第1光源104以带圈数字2的照射图案进行脉冲发光,到电子快门开的前半的时刻i为止的信号电荷向浮动扩散层406蓄积,从电子快门开的后半的时刻i起的信号电荷向浮动扩散层407蓄积。
接着,如图17B所示,通过接着使850nm的激光脉冲光源1及2同样地动作,如以下这样独立地蓄积信号电荷。
通过由第2光源107以带圈数字1的照射图案进行脉冲发光,到电子快门开的前半的时刻i为止的信号电荷向浮动扩散层408蓄积,从电子快门开的后半的时刻i起的信号电荷向浮动扩散层409蓄积。
通过由第2光源108以带圈数字2的照射图案进行脉冲发光,到电子快门开的前半的时刻i为止的信号电荷向浮动扩散层410蓄积,从电子快门开的后半的时刻i起的信号电荷向浮动扩散层411蓄积。
将这些动作作为1组,在1帧内反复动作多组直到蓄积需要的信号电荷。也可以反复几十组左右。
接着,使用从时间分解图像传感器113输出的相当于各个浮动扩散层404、405、406、407、408、409、410、411的二波长的各照射图案的8张图像数据,由第1信号处理电路115进行浅部与深部的分离。关于分离法,基本上是与实施方式2相同的原理,所以省略说明。
与实施方式2相比,能够以1个脉冲的发光检测两个相位的信号电荷,所以能够提供更高速的摄像装置。
(实施方式4)
接着,对本申请的实施方式4进行说明。本实施方式的摄像装置中作为被检体而将生物体等光散射体作为对象。具体而言,摄像装置检测要观测的脑内的氧化血红蛋白、脱氧血红蛋白的浓度分布和其时间变化,将上述浓度分布构建为2D图像。
本实施方式的目的与实施方式1的目的相同,但在具备射出波长750nm的激光脉冲光的1个第1光源103及射出波长850nm的激光脉冲光源的1个第2光源107这一点上与实施方式1不同。
以下,以有与实施方式1的差异的部分为中心进行说明。没有特别说明的构成要素的构造及/或功能与实施方式1的摄像装置1001的结构相同。
图19是包括本实施方式的摄像装置1003的摄像系统图。
摄像装置1003与实施方式1的摄像装置1001不同的点,是光源的数量及时间分解图像传感器213的结构及动作。随着这些差异,控制电路114的动作也不同。时间分解图像传感器213的结构以外作为硬件是相同的,所以赋予相同的名称及标号。以下,详细地说明包括控制电路114的动作的摄像装置1003的动作。
摄像装置1003具有射出波长750nm的激光脉冲光的1个第1光源103、以及射出波长850nm波长的激光脉冲光的1个第2光源107。各个光源以短脉冲高速地反复以决定的后述的图案进行照射。
图20A表示本实施方式的摄像装置1003的利用场景2200。摄像装置1003装入在平板终端2201中。摄像装置1003例如在不同的时刻1及2分别放射第1及第2照射光。作为第1及第2照射光,首先从第1光源103放射波长750nm的光。如果该放射结束,则接着从第2光源107放射波长850nm的光。以哪个照射光都向头部102的特定的位置入射的方式该位置被预先设定。即,作为通过照射形成的像的图案的光照射图案被预先决定。
图20B表示向头部102照射的光照射图案2102的例子。
在图20B中表示的用带圈数字1表示的多个位置2103表示由从第1光源103及第2光源107放射的激光形成的光点图案的位置。第1光源103和第2光源107在后述的动作定时在1帧内的分别不同的时刻分时地照射。在本实施方式中,由从第1光源103和第2光源107放射的激光形成的光点图案的位置相同。
在本实施方式中,由于光学双带通滤光器112的特性是如在图4中记载那样,所以省略再次的说明。
图21由于本实施方式的时间分解图像传感器213的各像素的结构与实施方式1不同,所以说明这一点。
图21是时间分解图像传感器213的1个像素301的结构图。1个像素301具有作为电荷排出部的漏极302、作为光电变换部的光检测器(PD)303、作为蓄积信号电荷的蓄积部的两个浮动扩散层(FD)304、305和高速定时控制电路212。
光检测器204将入射光子变换为信号电子(信号电荷)。高速定时控制电路212输出控制信号,切换是将信号电荷向漏极302排出、还是向浮动扩散层304、305中的某一个蓄积。向浮动扩散层304、305中的哪一个分配依赖于后述的定时。在该定时需要的动作速度是纳秒量级。为了实现这样的高速动作,高速定时控制电路212例如由CMOS逻辑电路形成。
在本实施方式的时间分解图像传感器213的结构中,与实施方式1的时间分解图像传感器113不同的是在1个像素区域中包括两个浮动扩散层304、305这一点。由此,在1个像素区域中,将蓄积的电荷如通常的CMOS图像传感器的两个像素(1行2列或2行1列)的信号那样处理,并从时间分解图像传感器213输出。
以下,参照图19的系统结构图说明本申请的实施方式4的摄像装置的详细动作。
通过图19的控制电路114,以约10ns脉冲宽度、约10MHz的频率,使第1光源103例如如图7A所示多次发光。通常例如在约100μsec左右的期间中反复照射约1000次。此时,照射点图案被照射在图20B的带圈数字1的头部额头上的位置。例如,带圈数字1的位置的间隔在水平垂直上被设定为约3cm,在斜方向上被设定为作为该间隔的“2的平方根”倍的4.24cm。
入射到额头上的各波长的光成分的动态及内部散射光成分的检测原理与实施方式1相同。内部散射光成分的衰减的程度也相同。
此外,关于第1光源103及第2光源107的动作,也可以使其与实施方式1、2、3的某个同样地动作,关于与它们对应的电子快门的OPEN及/或CLOSE的动作、以及浮动扩散层304、305的ON及/或OFF动作也可以使其同样地动作,所以省略说明。
接着,对本实施方式的信号电荷的蓄积进行说明。
通过由第1光源103以图20B中的带圈数字1的照射图案进行脉冲发光,图15A中的电子快门OPEN的相位时刻f或g的信号电荷向浮动扩散层304蓄积。
此外,通过由第2光源107以图20B中的带圈数字1的照射图案进行脉冲发光,图15A中的电子快门OPEN的相位时刻f或g的信号电荷向浮动扩散层305蓄积。
此时,电子快门OPEN的相位时刻优选的是在蓄积于浮动扩散层304、305中的信号电荷的两者间一致。
将这些动作作为1组,在1帧内反复动作多组,直到蓄积需要的信号电荷。也可以反复几十组左右。
在该反复动作中,如果将1帧看作信号电荷的蓄积期间,则能够实现第1光源103及第2光源107的照射的模拟同时化。
接着,将蓄积在浮动扩散层304、305中的信号电荷与实施方式1同样进行从图像传感器输出的读出动作。
由于图像传感器的信号读出与实施方式1是同样的,所以省略说明。
在本例中,以光照射图案为1种点图案的例子进行了说明,但光源的照射图案数也只要根据需要而增加就可以,作为图案形状也可以是环状或线状的图案。
此时,只要根据需要进行增加图像传感器的浮动扩散层的数量的设计就可以。
接着,第1信号处理电路115使用从时间分解图像传感器213输出的两张图像数据进行浅部和深部的分离。两张图像分别对应于蓄积在浮动扩散层304、305的各自中的、根据二波长的照射图案取得的信号电荷。关于分离法,已知有在特开2012-125370号公报中也记载的根据多SD(Source Detector/送光-受光)间距离的受光数据使用联立方程式求解的方法、以及使用自适应滤光器的减法方式的方法等。
另外,如上述那样,在相位时刻f,较多地得到表面反射收敛之后的光的成分、以及在头部的较浅的部分处内部散射的光的成分。另一方面,在相位时刻g,相应于从表面反射进一步延迟而更多地检测到散射光路长较长的光的成分。由于相对较浅的位置的信号成分的比率减小,所以对应于时刻而浅部深部比率可能变化。
在第1信号处理电路115进行750nm和850nm的各自的浅部深部的分离后,第2信号处理电路116根据2波长的深部分离图像,使用氧化血红蛋白及脱氧血红蛋白的各波长的光吸收系数运算氧化血红蛋白及脱氧血红蛋白的各像素中的相对变化。由此,能够提供高速且高精度的脑功能的成像。
以上,说明了本申请的例示性的各实施方式。
根据上述各实施方式,在摄像装置中,设有按每个像素具有蓄积独立的信号电荷的蓄积部即浮动扩散层的图像传感器。该图像传感器具有电子快门功能。一边使脉冲光源的照射光图案在1帧内分时地使位置变化一边发光,每当各脉冲光照射时将各个照射图案的信号以同相位的高速电子快门功能反复向蓄积部蓄积。结果,能够高精度地进行被检体的浅部和深部的运算分离,例如在以往是困难的头部深部的脑血流成像时,能够将由头皮血流带来的伪差高速且高精度地去除。
在上述实施方式中,说明了利用两种波长的光源的例子。但是,使用1种波长的光源进行摄像的摄像装置也能够应用本申请。
进而,在实施方式的说明中,举出了设有8个浮动扩散层的时间分解图像传感器113,但这也是一例。浮动扩散层的数量只要至少设置两个就可以。只要能够在1帧内关于多个照射图案分别在各脉冲光照射时将信号电荷以高速快门功能反复蓄积,浮动扩散层的数量也可以是两个,也可以是3个以上。
另外,在以上的实施方式中,表示了将有关本申请的一技术方案的摄像装置用于生物体计测的例子,但并不限定于此。也可以将有关本申请的一技术方案的摄像装置例如用在采摘机器人等中。进而,例如也可以用在材料分析装置及食品分析装置等中。
此外,在以上的实施方式中,表示了从1个光源射出的光照射图案是1种的例子,但并不限定于此。也可以通过将从1个光源射出的光照射图案切换而能够从1个光源射出多个光照射图案。

Claims (11)

1.一种摄像装置,其特征在于,具备:
第1光源,发出第1脉冲光而在被摄体的规定的区域内投影第1图案的第1像,并且发出第2脉冲光而在上述被摄体的上述规定的区域内的与上述第1像的位置不同的位置投影第2图案的第2像;
图像传感器,包括多个像素,上述多个像素分别包括将接受到的光变换为信号电荷的光检测器、和蓄积上述信号电荷的第1蓄积部及第2蓄积部;以及
控制电路,控制上述第1光源及上述图像传感器;
上述第1脉冲光不照射上述第2像的位置的至少一部分;
上述第2脉冲光不照射上述第1像的位置的至少一部分;
上述控制电路进行以下处理:
使上述第1光源发出上述第1脉冲光;
使上述第1蓄积部蓄积对应于上述第1脉冲光的发光而由上述光检测器产生的第1信号电荷;
使上述第1光源在与上述第1脉冲光的发光不同的时刻发出上述第2脉冲光;
使上述第2蓄积部蓄积对应于上述第2脉冲光的发光而由上述光检测器产生的第2信号电荷。
2.如权利要求1所述的摄像装置,其特征在于,
还具备基于上述第1信号电荷及上述第2信号电荷生成图像信息的信号处理电路。
3.如权利要求1所述的摄像装置,其特征在于,
上述第1图案及上述第2图案是包含多个点的图案。
4.如权利要求1所述的摄像装置,其特征在于,
上述第1图案及上述第2图案是包含多个环的图案。
5.如权利要求1所述的摄像装置,其特征在于,
上述第1图案及上述第2图案是包含多个直线的图案。
6.如权利要求1所述的摄像装置,其特征在于,
上述控制电路使上述第1光源发出多个第1脉冲光,上述多个第1脉冲光分别是上述第1脉冲光;
上述控制电路使上述第1光源发出多个第2脉冲光,上述多个第2脉冲光分别是上述第2脉冲光。
7.如权利要求1所述的摄像装置,其特征在于,
还具备第2光源,该第2光源发出第3脉冲光而在上述被摄体的上述规定的区域内的与上述第1像及第2像的位置不同的位置投影第3图案的第3像,并且发出第4脉冲光而在上述被摄体的上述规定的区域内的与上述第1像、第2像及第3像的位置不同的位置投影第4图案的像;
上述图像传感器的上述多个像素分别还包括蓄积上述信号电荷的第3蓄积部及第4蓄积部;
上述第1光源发出第1波长范围的光;
上述第2光源发出与上述第1波长范围不同的第2波长范围的光;
上述控制电路还控制上述第2光源;
上述控制电路进行以下处理:
使上述第2光源发出上述第3脉冲光;
使上述第3蓄积部蓄积对应于上述第3脉冲光的发光而由上述光检测器产生的第3信号电荷;
使上述第2光源在与上述第3脉冲光的发光不同的时刻发出上述第4脉冲光;
使上述第4蓄积部蓄积对应于上述第4脉冲光的发光而由上述光检测器产生的第4信号电荷。
8.如权利要求7所述的摄像装置,其特征在于,
还具备基于上述第1信号电荷至第4信号电荷生成图像信息的信号处理电路。
9.如权利要求1所述的摄像装置,其特征在于,
上述被摄体是光学散射体;
上述第1信号电荷是从上述被摄体到达的、来源于上述第1脉冲光的内部散射光成分;
上述第2信号电荷是从上述被摄体到达的、来源于上述第2脉冲光的内部散射光成分。
10.如权利要求1所述的摄像装置,其特征在于,
上述图像传感器的上述多个像素分别还包括蓄积上述信号电荷的第3蓄积部及第4蓄积部;
上述控制电路进行以下处理:
在第1时刻及第2时刻分别使上述第1脉冲光发出;
从上述第1时刻起经过第1时间后开始,使上述第1蓄积部蓄积上述第1信号电荷;
从上述第2时刻起经过比上述第1时间长的第2时间后开始,使上述第3蓄积部蓄积上述第1信号电荷;
在第3时刻及第4时刻分别使上述第2脉冲光发出;
从上述第3时刻起经过第3时间后开始,使上述第2蓄积部蓄积上述第2信号电荷;
从上述第4时刻起经过比上述第3时间长的第4时间后开始,使上述第4蓄积部蓄积上述第2信号电荷。
11.一种摄像装置,其特征在于,具备:
光源,发出第1脉冲光而在被摄体的规定的区域内投影第1图案的第1像,并且发出第2脉冲光而在上述被摄体的上述规定的区域内的与上述第1像的位置不同的位置投影第2图案的第2像;
图像传感器,包括多个像素,上述多个像素分别包括将接受到的光变换为信号电荷的光检测器和蓄积上述信号电荷的第1蓄积部及第2蓄积部;以及
控制电路,控制上述光源及上述图像传感器;
上述第1脉冲光不照射上述第2像的位置的至少一部分;
上述第2脉冲光不照射上述第1像的位置的至少一部分;
上述控制电路进行以下处理:
在第1时刻使上述光源发出上述第1脉冲光;
在上述第1时刻后且第2时刻之前,使上述第1蓄积部蓄积上述信号电荷;
从超过上述第2时刻起使上述第2蓄积部蓄积上述信号电荷;
在第3时刻使上述光源发出上述第2脉冲光;
在上述第3时刻后且第4时刻之前,使上述第1蓄积部蓄积上述信号电荷;
从超过上述第4时刻起使上述第2蓄积部蓄积上述信号电荷。
CN201710130213.XA 2016-03-31 2017-03-07 摄像装置 Active CN107277303B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016072346 2016-03-31
JP2016-072346 2016-03-31

Publications (2)

Publication Number Publication Date
CN107277303A CN107277303A (zh) 2017-10-20
CN107277303B true CN107277303B (zh) 2021-01-05

Family

ID=59959941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710130213.XA Active CN107277303B (zh) 2016-03-31 2017-03-07 摄像装置

Country Status (3)

Country Link
US (1) US10200637B2 (zh)
JP (1) JP2017187471A (zh)
CN (1) CN107277303B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6928906B2 (ja) * 2016-01-07 2021-09-01 パナソニックIpマネジメント株式会社 生体情報計測装置
JP6500849B2 (ja) * 2016-06-23 2019-04-17 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
SI3480571T1 (sl) * 2017-10-10 2023-09-29 Poettinger Landtechnik Gmbh Naprava za optično zaznavanje objektov
JP2019083501A (ja) 2017-10-27 2019-05-30 ソニーセミコンダクタソリューションズ株式会社 撮像装置
WO2019082686A1 (ja) * 2017-10-27 2019-05-02 ソニーセミコンダクタソリューションズ株式会社 撮像装置
WO2019230306A1 (ja) * 2018-05-30 2019-12-05 パナソニックIpマネジメント株式会社 識別装置および識別方法
WO2020122628A1 (ko) * 2018-12-13 2020-06-18 엘지이노텍 주식회사 카메라 장치
JP7386438B2 (ja) * 2018-12-20 2023-11-27 パナソニックIpマネジメント株式会社 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム
CN112270693B (zh) * 2020-11-11 2022-10-11 杭州蓝芯科技有限公司 一种飞行时间深度相机运动伪差检测方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011013138A (ja) * 2009-07-03 2011-01-20 Toyota Central R&D Labs Inc 画像センサとその画像センサに用いられる受光装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06261107A (ja) 1993-03-04 1994-09-16 Matsushita Electric Ind Co Ltd 携帯無線電話装置
JP3954300B2 (ja) 2000-11-24 2007-08-08 ペンタックス株式会社 3次元画像検出装置
JP4409332B2 (ja) * 2004-03-30 2010-02-03 株式会社トプコン 光画像計測装置
JP2006314557A (ja) * 2005-05-12 2006-11-24 Olympus Medical Systems Corp 生体観測装置
JP2007260123A (ja) * 2006-03-28 2007-10-11 Olympus Medical Systems Corp 撮像システムおよび撮像方法
JP2009008537A (ja) * 2007-06-28 2009-01-15 Fujifilm Corp 距離画像装置及び撮像装置
JP2010098260A (ja) * 2008-10-20 2010-04-30 Honda Motor Co Ltd 発光装置、受光システム及び撮像システム
JP2010194291A (ja) * 2009-01-30 2010-09-09 Fujifilm Corp 内視鏡装置及びその駆動方法
JP5658993B2 (ja) * 2010-12-15 2015-01-28 株式会社日立製作所 生体計測装置
JP5744557B2 (ja) 2011-02-10 2015-07-08 キヤノン株式会社 音響波取得装置
WO2012143977A1 (ja) * 2011-04-22 2012-10-26 株式会社日立製作所 血管画像撮影装置及び生体認証装置
JP5741186B2 (ja) 2011-04-26 2015-07-01 富士通株式会社 欠陥検査装置及び欠陥検査方法
JP5623348B2 (ja) * 2011-07-06 2014-11-12 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
US9001326B2 (en) * 2011-12-13 2015-04-07 Welch Allyn, Inc. Method and apparatus for observing subsurfaces of a target material
JP2013224838A (ja) * 2012-04-20 2013-10-31 Seiko Epson Corp 成分濃度測定装置及び成分濃度測定方法
US9807322B2 (en) * 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
JP6245863B2 (ja) 2013-07-01 2017-12-13 キヤノン株式会社 被検体情報取得装置、被検体情報取得装置の制御方法
KR20160023441A (ko) * 2014-08-22 2016-03-03 서울바이오시스 주식회사 발광소자가 구비된 카메라와, 이를 이용한 피부 촬영 방법 및 피부 상태 측정 방법
WO2016164900A1 (en) * 2015-04-09 2016-10-13 The General Hospital Corporation Systems and methods for time-resolved diffuse correlation spectroscopy
KR101716663B1 (ko) * 2015-12-09 2017-03-15 (주)아이에스엠아이엔씨 무채혈 혈당 측정 보정 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011013138A (ja) * 2009-07-03 2011-01-20 Toyota Central R&D Labs Inc 画像センサとその画像センサに用いられる受光装置

Also Published As

Publication number Publication date
US20170289468A1 (en) 2017-10-05
CN107277303A (zh) 2017-10-20
US10200637B2 (en) 2019-02-05
JP2017187471A (ja) 2017-10-12

Similar Documents

Publication Publication Date Title
CN107277303B (zh) 摄像装置
US11303828B2 (en) Imaging apparatus including light source that emits pulsed light, image sensor, and control circuit
CN108209867B (zh) 摄像装置
US11079276B2 (en) Imaging device provided with light source that emits pulsed light and image sensor
CN107528998B (zh) 摄像装置
CN107468209B (zh) 摄像装置
US20190017932A1 (en) Measuring device including light source that emits at least one light pulse group, photodetector, and control circuit
US20170289469A1 (en) Imaging apparatus including light source, photodetector, and control circuit
US20230301536A1 (en) Biological measurement device, biological measurement method, and non-transitory computer-readable recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant