CN115052530A - 计测装置以及对计测装置进行控制的方法 - Google Patents

计测装置以及对计测装置进行控制的方法 Download PDF

Info

Publication number
CN115052530A
CN115052530A CN202180013265.3A CN202180013265A CN115052530A CN 115052530 A CN115052530 A CN 115052530A CN 202180013265 A CN202180013265 A CN 202180013265A CN 115052530 A CN115052530 A CN 115052530A
Authority
CN
China
Prior art keywords
signal
light
light pulse
reflected light
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180013265.3A
Other languages
English (en)
Inventor
今井俊辅
安藤贵真
富永仁志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN115052530A publication Critical patent/CN115052530A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/04—Arrangements of multiple sensors of the same type
    • A61B2562/046—Arrangements of multiple sensors of the same type in a matrix array
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Hematology (AREA)
  • Cardiology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • Psychology (AREA)
  • Neurosurgery (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

计测装置具备：光源；传感器，包括多个光检测单元，该多个光检测单元包括第1光检测单元及第2光检测单元；以及电子电路。所述电子电路使所述光源出射光脉冲，所述电子电路使第1光检测单元在第1曝光期间中检测由于所述光脉冲而产生的来自对象物的反射光脉冲从而生成第1信号，该第1曝光期间包括从所述反射光脉冲的强度开始增加起直到开始减少为止的期间的至少一部分，所述电子电路使所述第2光检测单元在第2曝光期间中检测所述反射光脉冲从而生成第2信号，该第2曝光期间包括从所述反射光脉冲的强度开始减少起直到结束减少为止的下降期间的至少一部分。所述电子电路基于所述第1信号生成表示所述对象物的表面的状态的第1数据并输出，基于所述第2信号生成表示所述对象物的内部的状态的第2数据并输出。

Description

计测装置以及对计测装置进行控制的方法
技术领域
本公开涉及计测装置以及对计测装置进行控制的方法。
背景技术
正在开发对由于对象者的脑活动而产生的生物体信号进行计测的各种方法。例如专利文献1公开了一种摄像装置的例子，在与对象物不接触的状态下，取得表示对象者的脑血流的历时变化的信息。
在先技术文献
专利文献
专利文献1：日本特开2017―009584号公报
发明内容
本发明所要解决的课题
本公开提供能够以比以往高的时间分辨率取得计测对象中的浅部及深部的信息的技术。
用于解决课题的手段
本公开的一个方式所涉及的计测装置具备：光源，朝向对象物出射第1光脉冲；传感器，包括多个光检测单元，该多个光检测单元包括第1光检测单元及第2光检测单元；以及电子电路，对所述光源及所述传感器进行控制，对从所述传感器输出的信号进行处理。所述电子电路使所述光源出射第1光脉冲，所述电子电路使所述第1光检测单元在第1曝光期间中检测由于所述第1光脉冲而产生的来自所述对象物的第1反射光脉冲从而生成第1信号，该第1曝光期间包括从所述第1反射光脉冲的强度开始增加起直到开始减少为止的期间的至少一部分，所述电子电路使所述第2光检测单元在第2曝光期间中检测所述第1反射光脉冲从而生成第2信号，该第2曝光期间包括从所述第1反射光脉冲的强度开始减少起直到结束减少为止的下降期间的至少一部分，所述电子电路基于所述第1信号，生成表示所述对象物的表面的状态的第1数据并输出，基于所述第2信号，生成表示所述对象物的内部的状态的第2数据并输出。
本公开的概括性或者具体性的方式也可以通过系统、装置、方法、集成电路、计算机程序或者计算机可读取的记录盘等记录介质实现，也可以通过系统、装置、方法、集成电路、计算机程序及记录介质的任意组合实现。计算机可读取的记录介质例如可以包括CD-ROM(紧凑盘只读存储器(Compact Disc-Read Only Memory))等非易失性的记录介质。装置也可以由1个以上的装置构成。在装置由2个以上的装置构成的情况下，该2个以上的装置既可以配置在1个设备内，也可以分开配置在分离的2个以上的设备内。在本说明书及权利要求书中，“装置”不仅可以指1个装置，也可以指由多个装置构成的系统。
发明效果
根据本公开的计测装置，能够以比以往高的时间分辨率取得计测对象中的浅部及深部的信息。
附图说明
图1是表示实施方式1所涉及的计测装置的示意图。
图2A是表示发光脉冲具有脉冲波形的例子的图。
图2B是表示发光脉冲具有矩形的波形的例子的图。
图3是表示图像传感器的构成的一例的图。
图4A是表示1帧内的动作的例子的图。
图4B是表示通过2个种类的波长的光进行的检测动作的其他例的图。
图5是用于说明发光脉冲及反射光脉冲的定时与各曝光期间之间的关系的示意图。
图6A是表示图像传感器中的曝光期间不同的2个种类的像素的排列模式的例子的图。
图6B是表示图像传感器中的曝光期间不同的2个种类的像素的排列模式的其他例的图。
图6C是表示图像传感器中的曝光期间不同的2个种类的像素的排列模式的再其他例的图。
图6D是表示图像传感器中的曝光期间不同的2个种类的像素的排列模式的再其他例的图。
图7是表示实施方式1中的动作的概略的流程图。
图8是用于说明实施方式1中的发光脉冲及反射光脉冲的定时与各曝光期间之间的关系的示意图。
图9A是表示图像传感器中的曝光期间不同的3个种类的像素的排列模式的例子的图。
图9B是表示图像传感器中的曝光期间不同的3个种类的像素的排列模式的其他例的图。
图9C是表示图像传感器中的曝光期间不同的3个种类的像素的排列模式的再其他例的图。
图9D是表示图像传感器中的曝光期间不同的3个种类的像素的排列模式的再其他例的图。
图10是表示实施方式2中的动作的概略的流程图。
图11是表示实施方式2的变形例的定时图。
图12是表示实施方式2的其他变形例的定时图。
图13是用于说明距离运算的原理的图。
图14是表示再其他的变形例的图。
图15是表示生成的3个种类的图像的时间变化的例子的图。
图16是表示距离图像的例子的图。
图17是示意性地表示生成在校正处理中使用的校正值图像的动作的流程的图。
图18是示意性地表示使用校正值图像的校正处理的图。
图19是表示再其他变形例所涉及的计测动作的图。
具体实施方式
以下说明的实施方式均表示概括性或者具体性的例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骤及步骤的顺序是一例，其主旨不在于限定本公开的技术。以下的实施方式中的构成要素之中的未记载在表示最上位概念的独立权利要求中的构成要素，作为任意的构成要素进行说明。各图是示意图，不一定是严密的图示。进而，在各图中，针对在实质上相同或者相似的构成要素赋予相同的标记。有时省略或者简化重复的说明。
在本公开中，电路、单元、装置、部件或者部的全部或者一部分、或者框图中的功能模块的全部或者一部分，例如能够由半导体装置、半导体集成电路(IC)或者包含LSI(largescale integration：大规模集成电路)的1个或者多个电子电路执行。LSI或者IC既可以被集成于1个芯片，也可以组合多个芯片而构成。例如，存储元件以外的功能模块也可以被集成于1个芯片。在此称为LSI或者IC，但根据集成的程度而叫法改变，也可以是被称为系统LSI、VLSI(very large scale integration：超大规模集成电路)或ULSI(ultra largescale integration：特大规模集成电路)的电路。在LSI的制造后被编程的现场可编程逻辑门阵列(FPGA、Field Programmable Gate Array)或者能够重构LSI内部的接合关系或者设置LSI内部的电路划分的可重构逻辑器件(reconfigurable logic device)也能够以相同的目的使用。
进而，电路、单元、装置、部件或者部的全部或者一部分的功能或者操作，也能够通过软件处理来执行。在该情况下，软件被记录于1个或者多个ROM、光盘、硬盘驱动器等非易失性记录介质，在软件由处理装置(processor)执行时，由该软件确定的功能由处理装置(processor)及周边装置执行。系统或者装置也可以具备记录了软件的1个或者多个非易失性记录介质、处理装置(processor)、以及所需的硬件设备例如接口。
首先，说明本公开的实施方式的概要。
本公开的例示性的实施方式所涉及的计测装置具备：光源，朝向对象物出射第1光脉冲；传感器，包括多个光检测单元，该多个光检测单元包括第1光检测单元及第2光检测单元；以及电子电路，对所述光源及所述传感器进行控制，对从所述传感器输出的信号进行处理。所述电子电路执行以下的(a)至(e)的动作。
(a)所述电子电路使所述光源出射第1光脉冲。
(b)所述电子电路使所述第1光检测单元在第1曝光期间中检测由于所述第1光脉冲而产生的来自所述对象物的第1反射光脉冲从而生成第1信号，该第1曝光期间包括从所述第1反射光脉冲的强度开始增加起直到开始减少为止的期间的至少一部分。
(c)所述电子电路使所述第2光检测单元在第2曝光期间中检测所述第1反射光脉冲从而生成第2信号，该第2曝光期间包括从所述第1反射光脉冲的强度开始减少起直到结束减少为止的下降期间的至少一部分。
(d)所述电子电路基于所述第1信号，生成表示所述对象物的表面的状态的第1数据并输出。
(e)所述电子电路基于所述第2信号，生成表示所述对象物的内部的状态的第2数据并输出。
在此，“对象物”例如可以是人的头部等生物体。来自光源的光脉冲例如可以朝向人的前额部出射。如果光脉冲入射至前额部，则在其表面及内部发生反射或者散射，产生反射光脉冲。反射光脉冲包括：在对象物的表面反射的表面反射成分、以及在对象物的内部散射的内部散射成分。传感器在第1曝光期间中由第1光检测单元接受反射光脉冲，生成与受光量相应的第1信号。传感器另外在第2曝光期间中由第2光检测单元接受该反射光脉冲，生成与受光量相应的第2信号。第1信号反映出在对象物的表面附近被反射或者散射而返回的光的成分的强度。第2信号反映出在对象物的更深部的内部组织被散射而返回的光的成分的强度。电子电路基于第1信号，生成反映了对象物的表面的状态的第1数据。在以下的说明中，有时将第1数据称为“表层数据”。电子电路另外基于第2信号，生成反映了对象物的内部的状态的第2数据。在以下的说明中，有时将第2数据称为“深部数据”。电子电路既可以将第1信号自身作为第1数据输出，也可以将通过使用第1信号的运算而新生成的数据作为第1数据输出。同样，电子电路既可以将第2信号自身作为第2数据输出，也可以将通过使用第2信号的运算而新生成的信号作为第2数据输出。在计测对象部位为人的前额部的情况下，第2数据例如依赖于人的脑活动的状态。
根据上述的构成，传感器能够由第1光检测单元检测反射光脉冲之中的较早返回的成分，并由第2光检测单元检测反射光脉冲之中的较晚返回的成分。因此，与由1个光检测单元检测这2个成分的情况相比，能够提高时间分辨率。
所述第2曝光期间也可以在所述第1反射光脉冲的所述下降期间的开始之后开始。根据这样的构成，能够以更高的精度取得对象物的更深部的信息。
所述第1曝光期间也可以包括从所述第1反射光脉冲的强度开始增加起直到结束增加为止的上升期间的至少一部分。根据这样的构成，能够以更高的精度取得对象物的更表层的信息。
所述第1曝光期间也可以在所述下降期间的开始之前结束。根据这样的构成，能够减少第1曝光期间与第2曝光期间的重叠，因此能够以更高的精度取得表层的信息和深部的信息。
在本说明书中，光脉冲的“上升期间”是指：从该光脉冲在传感器的受光面的位置处的强度开始增加的时刻起直到结束增加的时刻为止的期间。更严密地说，“上升期间”被定义为：从该光脉冲的强度超过预先设定的下限值的时刻起直到达到预先设定的上限值的时刻为止的期间。下限值可以被设定为该光脉冲的强度的峰值的例如10％的值，上限值可以被设定为该峰值的例如90％的值。另一方面，光脉冲的“下降期间”是指：从该光脉冲在传感器的受光面的位置处的强度开始减少的时刻起直到结束减少的时刻为止的期间。更严密地说，“下降期间”意味着：从该光脉冲的强度低于预先设定的上限值的时刻起直到达到预先设定的下限值的时刻为止的期间。关于下降期间，上限值也可以被设定为该光脉冲的强度的峰值的例如90％的值，下限值也可以被设定为该峰值的例如10％的值。
所述多个光检测单元也可以包括：包括所述第1光检测单元的多个第1光检测单元、以及包括所述第2光检测单元的多个第2光检测单元。在该情况下，所述电子电路也可以执行以下的动作。
(b1)所述电子电路使所述多个第1光检测单元中的各个第1光检测单元在所述第1曝光期间中检测所述第1反射光脉冲从而生成所述第1信号。
(c1)所述电子电路使所述多个第2光检测单元中的各个第2光检测单元在所述第2曝光期间中检测所述第1反射光脉冲从而生成所述第2信号。
(d1)所述电子电路基于包括从所述多个第1光检测单元中的各个第1光检测单元输出的所述第1信号的多个第1信号，生成所述第1数据并输出。
(e1)所述电子电路基于包括从所述多个第2光检测单元中的各个第2光检测单元输出的所述第2信号的多个第2信号，生成所述第2数据并输出。
根据上述的构成，能够在更大范围中取得对象物的表层的信息和深部的信息。
所述多个第1光检测单元的数量既可以比所述多个第2光检测单元的数量少，也可以比其多，也可以与其是相同的数量。
所述传感器也可以是图像传感器。所述多个光检测单元也可以以矩阵状排列。所述电子电路也可以生成基于所述多个第1信号的图像数据作为所述第1数据，并生成基于所述多个第2信号的图像数据作为所述第2数据。根据这样的构成，能够输出表示对象物的表层的状态的图像数据、以及表示对象物的内部的状态的图像数据。通过将基于这些图像数据的图像显示在显示器上，能够使对象物的表层及内部的状态可视化。
以矩阵状排列的多个光检测单元的排列模式可以考虑各种方式。例如，由所述多个第1光检测单元构成的行或列、以及由所述多个第2光检测单元构成的行或列也可以交替排列。或者，所述多个第1光检测单元及所述多个第2光检测单元也可以以棋盘(checkerboard)状排列。
在所述对象物包括人的头部的情况下，所述第1数据也可以表示所述头部中的面部的外观。另外，所述第2数据也可以表示所述头部的脑血流的状态。根据这样的构成，能够生成面部图像和表示脑血流的状态的图像并进行显示。
所述多个光检测单元也可以还包括第3光检测单元。所述电子电路也可以在与所述第1曝光期间及所述第2曝光期间不同的第3曝光期间中，使所述第1光检测单元或者所述第3光检测单元检测所述第1反射光脉冲从而进一步生成第3信号。电子电路也可以进一步生成基于第3信号的第3数据并输出。第3数据例如也可以表示头皮血流的状态。根据这样的构成，例如能够生成表示面部的外观的第1数据、表示脑血流的状态的第2数据、以及表示头皮血流的状态的第3数据这3个种类的数据。
所述电子电路也可以在所述第3曝光期间中，使所述第1光检测单元生成所述第3信号，基于所述第1信号和所述第3信号，生成表示从所述传感器到所述对象物的距离的数据并输出。根据这样的构成，不仅能够取得对象物的表层的信息及内部的信息，而且还能够取得距离的信息。
所述光源也可以朝向所述对象物进一步出射第2光脉冲。所述电子电路也可以进一步执行以下的动作。
(a2)所述电子电路使所述光源在出射所述第1光脉冲后出射所述第2光脉冲。
(b2)所述电子电路使所述第1光检测单元在第3曝光期间中检测由于所述第2光脉冲而产生的来自所述对象物的第2反射光脉冲从而生成第3信号，该第3曝光期间包括从所述第2反射光脉冲的强度开始减少起直到结束减少为止的下降期间的至少一部分。在此，从所述第1光脉冲的出射开始时刻起直到所述第1曝光期间的开始时刻为止的长度，也可以与从所述第2光脉冲的出射开始时刻起直到所述第3曝光期间的开始时刻为止的长度不同。
(c2)所述电子电路使所述第2光检测单元在包括所述第2反射光脉冲的下降期间的至少一部分且与第3曝光期间不同的第4曝光期间中，检测所述第2反射光脉冲从而生成第4信号。
(d2)所述电子电路基于所述第1信号及所述第3信号，生成表示从所述传感器到所述对象物的距离的数据并输出。
在此，既可以生成表示距离的数据作为上述的“第1数据”，也可以生成表示距离的数据作为与上述的“第1数据”独立的数据。
在所述对象物包括人的头部的情况下，所述电子电路也可以基于所述第1信号和所述第2信号，生成表示所述人的心理状态或者身体状态的数据并输出。所述数据例如也可以表示所述人的兴趣、情绪、睡意、集中度或者疲劳等状态。例如，通过将第1信号所示的表情的信息与第2信号所示的脑活动的信息组合，能够估计人的心理状态或者身体状态。
在所述传感器生成所述第3信号及所述第4信号的情况下，所述电子电路也可以不仅利用所述第1信号及所述第2信号而且还利用所述第3信号及所述第4信号，生成表示所述人的心理状态或者身体状态的数据。例如，在所述第3信号表示头皮血流的状态的情况下，通过不仅利用表示人的表情及脑血流的状态的信息，而且还利用表示头皮血流的状态的信息，能够以更高的精度估计心理状态或者身体状态。
所述光源也可以朝向所述对象物进一步出射第2光脉冲。所述第2光脉冲的波长也可以与所述第1光脉冲的波长不同。所述第1曝光期间也可以在从所述第1光脉冲的出射开始时刻经过了第1时间时开始。所述电子电路也可以进一步执行以下的动作。
(a3)所述电子电路在第1计测期间及第2计测期间各自中，使所述光源出射所述第1光脉冲和所述第2光脉冲。
(b3)所述电子电路使所述第1光检测单元在所述第1计测期间所包括的所述第1曝光期间中检测所述第1反射光脉冲，而且在所述第1计测期间中的在从所述第2光脉冲的出射开始时刻经过了第2时间时开始的第3曝光期间中检测由于所述第2光脉冲而产生的来自所述对象物的第2反射光脉冲，从而生成所述第1信号。
(c3)所述电子电路使所述第1光检测单元在所述第2计测期间中的在从所述第1光脉冲的出射开始时刻经过了第3时间时开始的第4曝光期间中检测所述第1反射光脉冲，而且在所述第2计测期间中的在从所述第2光脉冲的出射开始时刻经过了第4时间时开始的第5曝光期间中检测所述第2反射光脉冲，从而生成第3信号。
(d3)所述电子电路基于所述第1信号和所述第3信号，生成表示从所述传感器到所述对象物的距离的数据。
在该例中也可以是，所述第3时间与所述第1时间不同，所述第4时间与所述第2时间不同。
通过上述的动作，如之后参照图19所说明的那样，能够按每2个连续的计测期间生成表示从传感器到对象物的距离的数据。在传感器为图像传感器的情况下，所述电子电路也可以反复生成基于第1信号及第3信号的距离图像、以及基于第2信号的图像。在该情况下，有时将第1计测期间及第2计测期间分别称为第1帧期间及第2帧期间。
所述电子电路也可以执行以下的动作。
(a4)所述电子电路使所述光源出射1个以上的光脉冲。
(b4)所述电子电路使所述传感器中的所述第1光检测单元检测由于所述1个以上的光脉冲而产生的来自生物体的1个以上的反射光脉冲的第1成分从而生成第1信号。
(c4)所述电子电路使所述传感器中的所述第2光检测单元检测所述1个以上的反射光脉冲的第2成分从而生成第2信号。
(d4)所述电子电路使所述传感器中的所述第1光检测单元检测所述1个以上的反射光脉冲的第3成分从而生成第3信号。
(e4)所述电子电路基于所述第1信号及所述第3信号，生成表示从所述传感器到所述生物体的距离的第1数据。
(f4)基于所述第2信号，生成表示所述生物体的血流的状态的第2数据。
通过这样的动作，能够以高分辨率生成表示距离的第1数据、以及表示生物体的血流的状态的第2数据。
所述电子电路也可以基于所述第1数据，对所述第2数据进行校正。通过进行这样的校正，即使在计测中生物体移动的情况下，也能够以高精度取得生物体的血流信息。
所述电子电路也可以基于表示所述1个以上的光脉冲的照度的空间分布的数据、以及所述第1数据，对所述第2数据进行校正。表示照度的空间分布的数据可以在计测前预先准备，并存放于存储介质。关于基于表示从所述传感器到对象物的距离的第1数据以及表示照度的空间分布的数据对表示生物体的血流状态的第2数据进行校正的方法的详细内容，参照图15至图18后述。
本公开的一个方式所涉及的方法是对计测装置进行控制的方法，该计测装置具备光源、以及包括多个光检测单元的传感器，该多个光检测单元包括第1光检测单元及第2光检测单元，该方法包括：使所述光源出射光脉冲；使所述第1光检测单元在第1曝光期间中检测由于所述光脉冲而产生的来自对象物的反射光脉冲从而生成第1信号，该第1曝光期间包括从所述反射光脉冲的强度开始增加起直到开始减少为止的期间的至少一部分；使所述第2光检测单元在第2曝光期间中检测所述反射光脉冲从而生成第2信号，该第2曝光期间包括从所述反射光脉冲的强度开始减少起直到结束减少为止的下降期间的至少一部分；基于所述第1信号，生成表示所述对象物的表面的状态的第1数据并输出；以及基于所述第2信号，生成表示所述对象物的内部的状态的第2数据并输出。
本公开的其他一个方式所涉及的方法是对计测装置进行控制的方法，该计测装置具备光源、以及包括多个光检测单元的传感器，该多个光检测单元包括第1光检测单元及第2光检测单元，该方法包括：使所述光源出射1个以上的光脉冲；使所述第1光检测单元检测由于所述1个以上的光脉冲而产生的来自生物体的1个以上的反射光脉冲的第1成分从而生成第1信号；使所述第2光检测单元检测所述1个以上的反射光脉冲的第2成分从而生成第2信号；使所述第1光检测单元检测所述1个以上的反射光脉冲的第3成分从而生成第3信号；基于所述第1信号及所述第3信号，生成表示从所述传感器到所述生物体的距离的第1数据；以及基于所述第2信号，生成表示所述生物体的血流的状态的第2数据。
本公开的其他实施方式所涉及的装置具备：1个以上的处理器；以及存储介质，存放由所述1个以上的处理器执行的计算机程序。所述处理器也可以通过执行所述计算机程序，执行上述任一个例子中的电子电路的功能。
本公开包括规定上述的电子电路的功能的计算机程序、以及上述的电子电路所执行的控制方法。
以下，参照附图更具体地说明本公开的例示性的实施方式。
(实施方式1)
[1.计测装置100]
图1是表示本公开的例示性的第1实施方式所涉及的计测装置100的示意图。该计测装置100具备光源110、图像传感器120和电子电路130。图像传感器120具备多个光检测单元。各光检测单元包括光电转换部122、以及1个以上的电荷积蓄部124。电子电路130包括控制电路132、信号处理电路134、以及存储器136等存储介质。
在图1中，还表示了作为计测装置100所计测的对象物的对象者50的头部。此外，对象物不限于人的头部。对象物也可以是人以外的动物或者植物等其他种类的生物体。根据用途，对象物也可以是生物体以外的物体。例如，也可以将液体、气体、食品等散射体作为对象物。
本实施方式的计测装置100能够以非接触方式取得表示要观测的对象者50的头皮血流及脑血流的状态的信息。计测装置100例如也可以生成表示对象者50的脑内的氧化血红蛋白及脱氧血红蛋白中的至少一方的浓度分布的2维图像的数据。或者，计测装置100也可以生成由于对象者50的脑活动而变动的其他种类的数据。
图像传感器120中的多个光检测单元包括第1光检测单元和第2光检测单元。在以下的说明中，有时将光检测单元称为“像素”，将第1光检测单元称为“第1像素P1”，将第2光检测单元称为“第2像素P2”。图像传感器120例如能够由第1光检测单元取得与对象者50的面部的外观或者头皮血流相关的信息，并由第2光检测单元取得与脑血流相关的信息。信号处理电路134能够以高时间分辨率执行生成表示对象者50的面部的外观或者头皮血流的状态的表层数据以及表示脑血流的状态的深部数据的处理。
以下，详细说明各构成要素。
[1-1.光源110]
光源110配置为朝向包括对象者50的头部例如前额的对象部出射光。从光源110出射并到达了对象者50的光，分为在对象者50的表面反射的表面反射成分I1、以及在对象者50的内部散射的内部散射成分I2。内部散射成分I2是在生物体内部发生1次反射或散射或者发生多重散射的成分。在像本实施方式那样朝向人的前额部出射光的情况下，内部散射成分I2是指：到达从前额部的表面向里8mm至16mm程度的部位例如脑、并再次返回至计测装置100的成分。表面反射成分I1包含直接反射成分、扩散反射成分及漫反射成分这3个成分。直接反射成分是入射角与反射角相等的反射成分。扩散反射成分是由表面的凹凸形状扩散并反射的成分。漫反射成分是由表面附近的内部组织散射而反射的成分。在朝向人的头部出射光的情况下，漫反射成分是在表皮内部散射并反射的成分。表面反射成分I1可以包括这3个成分。表面反射成分I1及内部散射成分I2根据反射或者散射而行进方向变化，其一部分到达图像传感器120。表面反射成分I1包括对象者50的表面信息、例如面部及头皮的血流信息。内部散射成分I2包括对象者50的内部信息、例如脑血流信息。
在本实施方式中，检测从对象者50的头部返回来的反射光之中的表面反射成分I1及内部散射成分I2。表面反射成分I1反映出对象者50的面部的外观或者头皮血流的状态。因此，通过对表面反射成分I1的历时变化进行解析，能够估计对象者50的面部的外观或者头皮血流的状态的变化。另一方面，内部散射成分I2反映对象者50的脑活动而其强度变动。因此，通过对内部散射成分I2的历时变化进行解析，能够估计对象者50的脑活动的状态。
说明内部散射成分I2的取得方法。光源110依照来自控制电路132的指示，以规定的时间间隔或者规定的定时多次反复出射光脉冲。从光源110出射的光脉冲例如可以是从光脉冲的强度开始减少起直到结束减少为止的期间即下降期间的长度接近于零的矩形波。一般而言，入射到对象者50的头部的光以各种路径在头部内传播，伴随着时间差从其表面出射。因此，光脉冲的内部散射成分I2在时间上的后端部分具有时间上的扩展。在对象部为前额的情况下，内部散射成分I2在时间上的后端的扩展为4ns程度。如果考虑到该情况，则从光脉冲的强度开始减少起直到结束减少为止的期间即下降期间的长度例如可以设定为作为其一半以下的2ns以下。下降期间也可以是其再一半的1ns以下。从光源110出射的光脉冲的上升期间的长度是任意的。在本实施方式中的内部散射成分I2的检测中，使用光脉冲之中的强度下降的部分即下降部分，而不使用光脉冲之中的强度上升的部分即上升部分。光脉冲的上升部分在表面反射成分I1的检测中被使用。
光源110例如可以包括激光二极管(LD)等激光元件。从激光元件出射的光可以被调整为具有光脉冲的下降部分在时间轴上为大致直角的陡峭的时间响应特性。光源110也可以包括对LD的驱动电流进行控制的驱动电路。驱动电路例如可以包括包含氮化镓(GaN)半导体的场效应晶体管(GaN FET)等增强型功率晶体管。通过使用这样的驱动电路，能够使从LD输出的光脉冲的下降陡峭。
从光源110出射的光的波长可以是例如650nm以上且950nm以下的波长范围中包含的任意的波长。该波长范围被包含在从红色到近红外线的波长范围中。上述的波长范围被称为“生物窗”，具有光比较难以被生物体内的水分及皮肤吸收的性质。在将生物体设为检测对象的情况下，通过使用上述的波长范围的光，能够提高检测灵敏度。如本实施方式那样，在检测人的脑的血流变化的情况下，认为所使用的光主要被氧化血红蛋白(HbO 2)及脱氧血红蛋白(Hb)吸收。氧化血红蛋白与脱氧血红蛋白相比，光吸收的波长依赖性不同。一般而言，如果血流产生了变化，则氧化血红蛋白及脱氧血红蛋白的浓度发生变化。伴随着该变化，光的吸收程度也发生变化。因此，如果血流发生变化，则检测的光量也以时间性发生变化。
光源110既可以出射上述的波长范围中包含的单一波长的光，也可以出射2个以上的波长的光。多个波长的光也可以从多个光源分别出射。
一般而言，生物体组织根据波长而吸收特性及散射特性不同。因此，通过检测内部散射成分I2对光信号的波长依赖性，能够对测定对象进行更详细的成分分析。例如，在生物体组织中，在波长为650nm以上且小于805nm时，脱氧血红蛋白的光吸收系数比氧化血红蛋白的光吸收系数大。在波长比805nm长且为950nm以下时，氧化血红蛋白的光吸收系数比脱氧血红蛋白的光吸收系数大。
因此，光源110也可以构成为出射650nm以上且小于805nm(例如大致750nm)的波长的光、以及比805nm长且为950nm以下(例如大致850nm)的波长的光。在该情况下，对由于例如大致750nm的波长的光而产生的内部散射成分I2的光强度、以及由于例如大致850nm的波长的光而产生的内部散射成分I2的光强度进行计测。光源110也可以包括：出射650nm以上且小于805nm的波长的光的第1发光元件、以及出射超过805nm且为950nm以下的波长的光的第2发光元件。信号处理电路134通过基于按每个像素输入的光强度的信号值对预定的联立方程式求解，能够求出血液中的HbO 2和Hb的各浓度相对于初始值的变化量。
在本实施方式中的计测装置100中，以非接触方式计测对象者50的脑血流。因此，可以使用考虑对视网膜的影响而设计的光源110。例如，可以使用满足各国策划制定的激光安全标准的类1的光源110。在满足了类1的情况下，将可接受发射极限(AEL)低于1mW程度的低照度的光向对象者50照射。此外，光源110自身也可以不满足类1。例如，也可以通过将漫射板或者ND滤光器配置在光源110与对象者50之间来使光漫射或者衰减，来满足激光安全标准的类1。
以往，为了对生物体内部的深度方向上的不同位置处的吸收系数或者散射系数等的信息进行区别来检测，使用了条纹相机。例如，日本特开平4-189349公开了这样的条纹相机的一例。在这些条纹相机中，为了以期望的空间分辨率进行测定，使用了脉冲宽度为毫微微秒(飞秒)或者微微秒(皮秒)的极超短光脉冲。
相对于此，本实施方式的计测装置100能够对表面反射成分I1与内部散射成分I2进行区别来检测。因此，光源110所发出的光脉冲不需要是极超短光脉冲，能够任意选择脉冲宽度。
在为了计测脑血流而用光照射人的头部的情况下，内部散射成分I2的光量可能成为表面反射成分I1的光量的数千分之1到数万分之1程度的非常小的值。进而，如果考虑激光的安全基准，则能够照射的光的光量变得极小。因此，内部散射成分I2的检测非常困难。在该情况下，如果光源110出射脉冲宽度较大的光脉冲，则能够增加伴随着时间延迟的内部散射成分I2的累计量。由此，能够增加检测光量，提高信噪(SN)比。
图2A及图2B是表示发光脉冲Ie、反射光脉冲中的表面反射成分I1及内部散射成分I2的强度的时间变化的例子的图。图2A表示发光脉冲Ie具有脉冲(impulse)波形的情况下的各波形的例子。图2B表示发光脉冲Ie具有矩形的波形的情况下的各波形的例子。内部散射成分I2在实际上很微弱，但在图2A及图2B中，对内部散射成分I2的强度进行强调表示。
如图2A所示，在发光脉冲Ie具有脉冲波形的情况下，表面反射成分I1具有与光脉冲Ie同样的脉冲波形，内部散射成分I2具有比表面反射成分I1延迟的脉冲响应波形。这是因为，内部散射成分I2相当于经过了皮肤内部的各种路径后的光线的组合。
如图2B所示，在光脉冲Ie具有矩形形状的波形的情况下，表面反射成分I1具有与光脉冲Ie同样的矩形的波形，内部散射成分I2具有多个脉冲响应波形重叠而成的波形。本发明人们确认到，通过多个的脉冲响应波形的重叠，与光脉冲Ie具有脉冲波形的情况相比，能够放大图像传感器120所检测的内部散射成分I2的光量。通过在反射光脉冲的强度的下降开始的定时以后使电子快门的开放开始，能够有效地检测内部散射成分I2。图2B的右侧的图中的虚线框表现图像传感器120的电子快门开放的快门开放期间的例子。将该快门开放期间也称为“曝光期间”。如果矩形脉冲的脉冲宽度为1ns到10ns的量级，则能够以较低的电压驱动光源110，能够实现计测装置100的小型化及低成本化。为了有效地检测内部散射成分I2，在本实施方式中，在到达图像传感器120的表面反射成分I1的强度的下降开始的定时以后开始曝光。
光源110例如可以包括基于通用的半导体激光器的发光元件。在以低电压驱动通用的半导体激光器的情况下，如果使脉冲宽度过短，则光的点灯及熄灯的驱动难以追随于此。因此，按每次脉冲发光而成为不同的发光波形，容易表现出不稳定的行为，容易引起测距结果的偏差。为了使用通用的半导体激光器来得到稳定的波形，光源110例如可以被控制为发出脉冲宽度3ns以上的光脉冲。或者，为了使其更加稳定，光源110也可以发出脉冲宽度5ns以上、进而10ns以上的光脉冲。另一方面，如果脉冲宽度过大，则在快门关闭时向电荷积蓄部124的光流出、也就是说寄生光灵敏度(Parasitic Light Sensitivity：PLS)变大，有可能引起计测误差。于是，光源110例如可以被控制为发出脉冲宽度50ns以下的光脉冲。或者，光源110也可以发出脉冲宽度30ns以下、进而20ns以下的光脉冲。
作为光源110的照射模式，例如可以选择在照射区域内均一的强度分布的模式。在该情况下，能够在空间上以同等的照度向对象者50照射光，在图像传感器120的任意像素中都容易使检测信号的强度处于动态范围内。
[1-2.图像传感器120]
图像传感器120接受从光源110出射并从对象者50反射的光。图像传感器120具有以2维配置的多个光检测单元，能够一次取得对象者50的2维信息。图像传感器120例如可以是CCD图像传感器或者CMOS图像传感器等任意的摄像元件。图像传感器120是本公开中的传感器的一例。本公开中的传感器不限于具有以2维排列的多个光检测单元的传感器，例如也可以是具有以1维排列的多个光检测单元的传感器。另外，对于如果仅能够取得1点的信息就足够的用途而言，也可以将光探测器等具有单一的光检测元件的光检测器用作传感器。在该情况下，能够将相邻的2个光检测元件分别作为“第1光检测单元”及“第2光检测单元”而适用本公开的技术。
本实施方式中的图像传感器120具备电子快门。电子快门是对曝光的定时进行控制的电路。电子快门对将接受的光转换为有效的电信号并积蓄的1次信号积蓄期间、以及停止信号积蓄的期间进行控制。将信号积蓄期间称为“曝光期间”。将1次曝光期间结束直到下一曝光期间开始为止的时间称为“非曝光期间”。以下，有时将正曝光的状态称为“开(OPEN)”，将停止了曝光的状态称为“关(CLOSE)”。
图像传感器120通过电子快门，能够以亚纳秒、例如30ps至1ns的精度调整曝光期间及非曝光期间。各曝光期间例如可以设定为1ns以上且30ns以下的值。
在用光照射对象者50的前额并取得脑血流等的信息的情况下，在生物体内部的光的衰减率非常大。例如，相对于入射光，出射光可能衰减至100万分之1程度。因此，为了检测内部散射成分I2，仅通过1个脉冲的照射有时光量不足。作为基于激光安全性基准的类1的照射，光量尤其微弱。在该情况下，控制电路132使光源110多次发出光脉冲，并与其同步地使图像传感器120的各光检测单元多次曝光。由此，能够多次累计信号并提高灵敏度。
以下，说明图像传感器120的构成例。
图像传感器120具备在摄像面上以2维排列的多个像素。各像素具备例如光电二极管等光电转换元件、以及1个以上的电荷积蓄部。
图3是表示图像传感器120的构成的一例的图。在图3中，由二点划线的框包围的区域相当于1个像素201。在像素201中包括未图示的光电二极管等光电转换元件。在图3中仅表示了以2行4列排列的8个像素，但在实际上可以配置更多个像素。各像素201包括作为电荷积蓄部的第1浮动扩散层204及第2浮动扩散层206。在此，设为光源110出射650nm以上且小于805nm的波长的第1光脉冲、以及超过805nm且为950nm以下的波长的第2光脉冲。第1浮动扩散层204积蓄通过接受第1光脉冲的反射光脉冲而产生的电荷。第2浮动扩散层206积蓄通过接受第2光脉冲的反射光脉冲而产生的电荷。将第1浮动扩散层204及第2浮动扩散层206中积蓄的信号如同一般性的CMOS图像传感器的2个像素的信号那样对待，并从图像传感器120输出。此外，在按每帧切换进行对第1光脉冲的反射光脉冲的检测与对第2光脉冲的反射光脉冲的检测的构成中，各像素201也可以包括单个的电荷积蓄部。另外，在光源110出射单一波长的光的构成中，各像素201也可以包括单个的电荷积蓄部。在本实施方式中，相邻的2个像素201中的一方对反射光脉冲的表面反射成分I1进行检测，而另一方对反射光脉冲的内部散射成分I2进行检测。
在图3所示的例中，各像素201具有2个信号检测电路。各信号检测电路包含源极跟随器晶体管309、行选择晶体管308和复位晶体管310。各晶体管例如是形成于半导体基板的场效应晶体管，但不限定于此。如图所示，源极跟随器晶体管309的输入端子及输出端子的一方与行选择晶体管308的输入端子及输出端子之中的一方连接。源极跟随器晶体管309的输入端子及输出端子的上述一方典型地是源极。行选择晶体管308的输入端子及输出端子的上述一方典型地是漏极。作为源极跟随器晶体管309的控制端子的栅极与光电二极管连接。由光电二极管生成的基于空穴或者电子的信号电荷被积蓄在光电二极管与源极跟随器晶体管309之间的作为电荷积蓄部的浮动扩散层中。
虽然在图3中未表示，但第1浮动扩散层204及第2浮动扩散层206与未图示的光电二极管连接。在光电二极管与第1浮动扩散层204及第2浮动扩散层206各自之间，可以设置开关。该开关与来自控制电路132的控制信号相应地，切换光电二极管与第1浮动扩散层204及第2浮动扩散层206各自之间的导通状态。由此，控制信号电荷向第1浮动扩散层204及第2浮动扩散层206各自的积蓄的开始和停止。本实施方式中的电子快门具有用于这样的曝光控制的机构。
各浮动扩散层中积蓄的信号电荷通过由行选择电路302使行选择晶体管308的栅极导通从而被读出。此时，与该浮动扩散层的信号电位相应地，从源极跟随器电源305向源极跟随器晶体管309及源极跟随器负载306流入的电流被放大。基于从垂直信号线304读出的该电流的模拟信号由与每列连接的模拟-数字(AD)转换电路307转换为数字信号数据。该数字信号数据由列选择电路303按每列读出，从图像传感器120输出。行选择电路302及列选择电路303在进行了1行的读出之后，进行下一行的读出，以下同样地读出全部行的浮动扩散层的信号电荷的信息。控制电路132在读出了全部信号电荷之后，通过使复位晶体管310的栅极导通，将全部浮动扩散层复位。由此，1帧的摄像完成。通过以下同样地反复进行帧的高速摄像，图像传感器120对一系列帧的摄像完结。
在本实施方式中，说明了CMOS型的图像传感器120的例子，但图像传感器120也可以是其他种类的摄像元件。图像传感器120例如也可以是CCD型，也可以是单一光子计数型元件，还可以是EMCCD或者ICCD等放大型图像传感器。另外，也可以替代多个光检测单元以2维排列而成的图像传感器120，而使用多个光检测单元以1维排列而成的传感器。或者，也可以使用各自具有单个光检测单元的多个传感器。在使用单像素的传感器的情况下，虽然仅能够针对1点进行生物体计测，但能够以高速率进行计测。
图4A是表示1帧内的动作的例子的图。如图4A所示，也可以在1帧内交替地多次切换第1光脉冲的发光与第2光脉冲的发光。通过像这样，能够减小基于2个种类的波长的检测图像的取得定时的时间差，即使在对象者50有动作的情况下，也能够大致同时地基于第1及第2光脉冲进行摄像。
图4B是表示通过2个种类的波长的光进行的检测动作的其他例的图。如图4B所示，也可以按每帧切换对第1光脉冲的反射光脉冲的检测与对第2光脉冲的反射光脉冲的检测。这样的动作例如可以通过按每帧切换第1光脉冲的发光与第2光脉冲的发光来进行。在该情况下，各像素201也可以具备单个的电荷积蓄部。根据这样的构成，能够减少各像素201的电荷积蓄部的数量，因此能够增大各像素201的大小，能够提高灵敏度。
此外，光源110所出射的光的波长也可以是1个种类。在该情况下，也能够估计脑活动的大体的状态。
[1-3.电子电路130]
电子电路130包括控制电路132、信号处理电路134和存储器136。控制电路132对从光源110出射光脉冲的出射定时与图像传感器120的快门定时的时间差进行调整。在本说明书中，有时将该时间差称为“相位差”。光源110的“出射定时”是从光源110出射的光脉冲开始上升的定时。“快门定时”是指开始曝光的定时。
控制电路132也可以构成为从由图像传感器120的各像素检测出的信号中除去偏置成分。偏置成分是由于太阳光或荧光灯等环境光、或者干扰光引起的信号成分。通过在使光源110的驱动关闭而从光源110不出射光的状态下由图像传感器120检测信号，能够评估由于环境光或者干扰光引起的偏置成分。
控制电路132例如可以是中央运算处理装置(CPU)等处理器、或者内置处理器及存储器的微控制器等集成电路。控制电路132例如通过处理器执行存储器136中记录的计算机程序，来进行出射定时和快门定时的调整。
信号处理电路134是处理从图像传感器120输出的图像信号的电路。信号处理电路134进行图像处理等运算处理。信号处理电路134例如可以通过数字信号处理器(DSP)、现场可编程逻辑门阵列(FPGA)等可编程逻辑器件(PLD)、或者中央运算处理装置(CPU)或图像处理用运算处理器(GPU)实现。信号处理电路134通过处理器执行存储器136中存放的计算机程序来执行后述的处理。
控制电路132及信号处理电路134既可以是综合而成的1个电路，也可以是分离的个别的电路。信号处理电路134例如也可以是在远程地点设置的服务器等外部的装置的构成要素。在该情况下，服务器等外部的装置通过无线通信或者有线通信，与具备光源110、图像传感器120及控制电路132的计测装置相互进行数据的收发。信号处理电路134基于从图像传感器120输出的信号，生成反映了表面反射成分I1的表层信号、以及反映了内部散射成分I2的深部信号。信号处理电路70也可以在该处理之前，进行由于干扰光引起的偏置成分的评估、以及偏置成分的去除。
[2.动作例]
接下来，说明本实施方式的动作的例子。
在本实施方式中，图像传感器120中的多个像素包括多个第1像素P1和多个第2像素P2。控制电路132使各第1像素P1在第1曝光期间中检测反射光脉冲在时间上的前端部分。控制电路132另外使各第2像素P2在第2曝光期间检测反射光脉冲在时间上的后端部分。在此，“检测前端部分”，意味着检测上升期间中的反射光脉冲的至少一部分的成分。另一方面，“检测后端部分”，意味着检测下降期间中的反射光脉冲的至少一部分的成分。由此，第1像素P1取得头部的较浅的部分的信息，第2像素P2取得头部的较深的部分的信息。通过这样的构成，与由1个像素取得浅部的信息和深部的信息的情况相比，能够以高时间分辨率生成生物体信号。
图5是用于说明发光脉冲及反射光脉冲的定时与第1曝光期间及第2曝光期间之间的关系的示意图。图5的部分(a)表示来自光源110的发光脉冲的波形的例子。图5的部分(b)表示到达图像传感器120的反射光脉冲的波形的例子。图5的部分(c)表示第1像素P1的快门开放的第1曝光期间的例子。图5的部分(d)表示第2像素P2的快门开放的第2曝光期间的例子。
反射光脉冲的上升的开始定时比光源110的发光脉冲的上升的开始定时晚。反射光脉冲的上升的开始定时根据对象者50与图像传感器120的距离而变化。反射光脉冲的下降期间中的强度如上所述，由于脉冲响应波形的重叠而平缓地减少。快门定时越晚，则所取得的信号整体中包含的内部散射成分I2的比例越高。内部散射成分I2主要包括：较多地包含前额浅部的头皮血流的信息的头皮血流成分I2―1、以及较多地包含前额深部的脑血流的信息的脑血流成分I2―2。在本实施方式中，如图5的部分(c)及(d)所示，像素P1以较多地包含头皮血流成分I2―1的相位曝光，像素P2以较多地包含脑血流成分I2―2的相位曝光。
在本实施方式中，在第1曝光期间结束之后，开始第2曝光期间。第1曝光期间被设定为：在对象物位于距计测装置100为预先设定的距离的位置的情况下，包含到达图像传感器120的反射光脉冲的上升期间的至少一部分。第1曝光期间既可以被设定为包含反射光脉冲的上升期间的整体，也可以被设定为仅包含上升期间的一部分。第1曝光期间例如可以被设定为：在反射光脉冲的上升期间的结束之前开始，且在下降期间的开始之前结束。第2曝光期间被设定为：在对象物位于距计测装置100为预先设定的距离的位置的情况下，包含到达图像传感器120的反射光脉冲的下降期间的至少一部分。第2曝光期间例如可以被设定为：在反射光脉冲的下降期间开始后直到下降期间结束为止的期间中开始。第1曝光期间与第2曝光期间也可以部分地重叠。
图6A至图6D是表示图像传感器120中的作为曝光期间不同的2个种类的像素的第1像素P1及第2像素P2的排列模式的例子的图。通过变更排列模式，能够与测定的目的相应地取得最佳的信息。
图6A表示了由第1像素P1构成的行与由第2像素P2构成的行交替排列的排列模式的例子。在该情况下，在偶数行与奇数行中，曝光期间的相位不同。该排列在希望捕捉横向上的急剧变化的情况下是有用的。例如，如希望检测左脑活化而右脑不变化等事象的情况那样，在希望比较前额的左右的信号的差异的情况下，图6A的排列是有效的。
图6B表示了由第1像素P1构成的列与由第2像素P2构成的列交替排列的排列模式的例子。在该情况下，在偶数列与奇数列中，曝光期间的相位不同。该排列在希望捕捉纵向上的急剧变化的情况下是有用的。例如，如希望检测在脑血流与面部的一部分的皮肤血流中发生不同倾向的变化的事象的情况那样，在希望比较前额的上下的信号的差异的情况下，图6B的排列是有效的。
图6C表示多个第1像素P1及多个第2像素P2以棋盘(checkerboard)状排列的例子。在该排列模式下，能够针对前额整体的信号在上下方向及左右方向上都均等地进行评价。
多个像素P1及P2的排列模式也可以是以N行×M列(N、M为任意的自然数)的像素块作为构成单位的反复模式。也可以采用例如图6D所示的以2行×2列的像素作为构成单位的反复模式。在图6D的例中，第2像素P2的数量为第1像素P1的数量的3倍。如上所述，内部散射成分I2的信号很微弱。因此，通过使第2像素P2的数量比第1像素P1的数量多，并计算第2像素P2的信号值的平均，能够提高SN比。
另外，也可以调换图6D所示的例中的第1像素P1与第2像素P2。在该情况下，第1像素P1的数量比第2像素P2的数量多。第1像素P1较多地包含面部的外观等对象者50的表层信息，因此能够提高表情或视线的分析、或者身体的动作的大小或速度的估计等处理的精度。
图7是表示本实施方式中的电子电路130所进行的动作的概略的流程图。在此为了简化，设想光源110出射1个种类的波长的光的构成。控制电路132首先使光源110以规定时间出射光脉冲(步骤S101)。控制电路132使图像传感器120在第1定时开始向各第1像素P1积蓄电荷(步骤S102)。接下来，控制电路132使图像传感器120在第2定时停止向各第1像素P1积蓄电荷(步骤S103)。第1定时至第2定时的期间是第1曝光期间。通过步骤S102及S103的动作，在各第1像素P1中积蓄与反射光脉冲的前端部分的强度相应的电荷。接下来，控制电路132使图像传感器120在第3定时开始向各第2像素P2积蓄电荷(步骤S104)。接下来，控制电路132使图像传感器120在第4定时停止向各第2像素P2积蓄电荷(步骤S105)。第3定时至第4定时的期间是第2曝光期间。通过步骤S104及S105的动作，在各第2像素P2中积蓄与反射光脉冲的后端部分的强度相应的电荷。
接下来，控制电路132判定执行上述的电荷积蓄的次数是否达到了规定的次数(步骤S106)。在该判定为否的情况下，反复进行步骤S101至S105的动作，直到判定为是为止。如果在步骤S106中判定为是，则信号处理电路134读出图像传感器120的各像素中积蓄的电荷的信号。信号处理电路134生成基于多个第1像素P1中积蓄的电荷的第1强度映射(图(map))、以及基于多个第2像素P2中积蓄的电荷的第2强度映射并输出(步骤S107)。
在步骤S107中，信号处理电路134基于如图6A至6D所例示的排列模式，从由图像传感器120取得的图像数据中提取同种像素的数据并进行综合，从而生成各强度映射的图像数据。具体而言，信号处理电路134从取得的图像数据中，仅提取第1像素P1的数据来生成第1强度映射，仅提取第2像素P2的数据来生成第2强度映射。例如在图6A的例中，根据奇数行的第1像素P1的数据生成第1强度映射，根据偶数行的第2像素P2的数据生成第2强度映射。此时，针对没有数据的像素，也可以基于周围的像素的数据进行插值。第1强度映射是表层数据的一例，例如可以是表示对象者50的面部的外观或者头皮血流的分布的图像数据。第2强度映射是深部数据的一例，例如可以是表示对象者50的脑血流的分布的图像数据。信号处理电路134也可以通过进行将表层的强度映射的特征与深部的强度映射的特征分离的运算，来将作为伪影的头皮血流的成分去除。通过该处理，能够以高精度且高时间分辨率取得对象者50的脑血流的历时变化的信息。
以下，说明将表层的强度映射的特征与深部的强度映射的特征分离的运算的一例。在此，说明步骤S101至S106的电荷积蓄动作针对具有650nm以上且小于805nm的波长的第1光脉冲以及具有超过805nm且为950nm以下的波长的第2光脉冲分别进行的情况下的例子。在该情况下，第1强度映射及第2强度映射各自中的各像素具有第1光脉冲的反射光强度的值(以下称为“第1值”)以及第2光脉冲的反射光强度的值(以下称为“第2值”)。信号处理电路134根据各强度映射，计算氧化血红蛋白(HbO 2)及脱氧血红蛋白(Hb)的浓度相对于初始值的变化量。具体而言，信号处理电路134通过使用第1强度映射中的各像素的第1值和第2值对预定的联立方程式求解，计算表层处的HbO 2的浓度相对于初始值的变化量Δ[HbO2]_表层、以及表层处的Hb的浓度相对于初始值的变化量Δ[Hb]_表层。同样，信号处理电路134通过使用第2强度映射中的各像素的第1值和第2值对预定的联立方程式求解，计算深部处的HbO 2的浓度相对于初始值的变化量Δ[HbO 2]_深部、以及深部处的Hb的浓度相对于初始值的变化量Δ[Hb]_深部。信号处理电路134通过以下的计算式，计算脑血流中的HbO 2及Hb各自的浓度相对于初始值的变化量Δ[HbO 2]_脑血流及Δ[Hb]_脑血流。
Δ[HbO 2]_脑血流＝Δ[HbO 2]_深部-kΔ[HbO 2]_表层
Δ[Hb]_脑血流＝Δ[Hb]_深部-kΔ[Hb]_表层
在此，系数k是事先使用模拟人类的模型(phantom)而计算的已知的值。系数k是“深部的头皮血流成分的大小”相对于“表层的头皮血流成分的大小”之比。即，k＝(深部的头皮血流成分的大小)/(表层的头皮血流成分的大小)。
通过图7所示的动作，能够按每帧生成表层和深部这2个种类的图像数据。电子电路130也可以反复多次进行该一系列动作从而生成动态图像的数据。此外，多次的发光及电荷积蓄并不是必须的，而根据需要进行。
本实施方式中的信号处理电路134能够基于从图像传感器120按每帧输出的图像数据，生成表示脑血流的时间变化的动态图像数据以及表示面部的外观的时间变化的动态图像数据。信号处理电路134不限于生成这样的动态图像数据，也可以生成其他信息。例如，也可以通过与其他设备同步，生成脑中的血流量、血压、血氧饱和度或者心率数等生物体信息。另外，也可以基于由图像传感器120所包含的各像素检测出的表面反射成分I1，生成皮肤血流量、心率数或者出汗量等生物体信息。
已知脑血流量或者血红蛋白等血液内成分的变化与人的神经活动之间存在紧密的关系。例如，神经细胞的活动与人的兴趣度相应地变化，从而脑血流量或者血液内的成分发生变化。因此，如果能够计测脑血流量或者面部的外观信息等生物体信息，则能够估计用户的心理状态或者身体状态。用户的心理状态例如可以是心情、情绪、健康状态或者温度感受。心情例如可以包含愉快或者不愉快等心情。情绪例如可以包含安心、不安、悲哀或者愤怒等情绪。健康状态例如可以包含有精神或者倦怠等状态。温度感受例如可以包含热、冷或者闷热等感受。从这些衍生而来，表示脑活动的程度的指标例如兴趣度、熟练度、熟悉度及集中度也可以包含在心理状态中。进而，疲劳度、睡意或者由于饮酒引起的醉意的程度等身体状态也包含在信号处理电路134的估计对象中。信号处理电路134能够基于脑血流状态的变化、头皮血流状态的变化以及面部的外观的变化之中的至少1个，估计用户的心理状态或者身体状态，并输出表示估计结果的信号。
(实施方式2)
接下来，说明本公开的例示性的第2实施方式。在本实施方式中，图像传感器120的多个像素包括作为3个种类的像素的第1像素P1、第2像素P2、第3像素P3。在这些第1像素P1、第2像素P2、第3像素P3中，设定有不同的曝光期间。根据本实施方式，能够以高时间分辨率取得与对象者50的外观、头皮血流及脑血流的历时变化相关的信息。
以下，以与实施方式1的不同点为中心进行说明，省略重复事项的说明。
图8是用于说明本实施方式中的发光脉冲及反射光脉冲的定时与第1至第3曝光期间之间的关系的示意图。图8的部分(a)表示来自光源110的发光脉冲的波形的例子。图8的部分(b)表示到达图像传感器120的反射光脉冲的波形的例子。图8的部分(c)表示第1像素P1的快门开放的第1曝光期间的例子。图8的部分(d)表示第2像素P2的快门开放的第2曝光期间的例子。图8的部分(e)表示第3像素P3的快门开放的第3曝光期间的例子。
第1像素P1以较多地包含表面反射成分I1的相位曝光。第2像素P2以较多地包含脑血流成分I2―2的相位曝光。第3像素P3以较多地包含头皮血流成分I2―1的相位曝光。
图9A至图9D是表示图像传感器120中的作为曝光期间不同的3个种类的像素的第1像素P1、第2像素P2、第3像素P3的排列模式的例子的图。在本实施方式中，通过变更排列模式，也能够与测定的目的相应地取得最佳的信息。
图9A表示了由第1像素P1构成的行、由第2像素P2构成的行以及由第3像素P3构成的行依次反复的排列模式的例子。该排列在希望捕捉横向上的急剧变化的情况下是有用的。例如，如希望检测左脑活化而右脑不变化等事象的情况那样，在希望比较前额的左右的信号的差异的情况下，图9A的排列是有效的。
图9B表示了由第1像素P1构成的列、由第2像素P2构成的列以及由第3像素P3构成的列依次反复的排列模式的例子。该排列在希望捕捉纵向上的急剧变化的情况下是有用的。例如，如希望检测在脑血流与面部的一部分的皮肤血流中发生不同倾向的变化的事象的情况那样，在希望比较前额的上下的信号的差异的情况下，图9B的排列是有效的。
图9C表示了多个第1像素P1、多个第2像素P2及多个第3像素P3以棋盘(checkerboard)状排列的例子。在该排列模式下，能够针对前额整体的信号在上下方向及左右方向上都均等地进行评价。
如图9D所示，第1像素P1、第2像素P2、第3像素P3的排列模式也可以是以N行×M列(N、M为任意的自然数)的像素块作为构成单位的反复模式。
图10是表示本实施方式2中的电子电路130所进行的动作的概略的流程图。在此为了简化，也说明所使用的光的波长为1个种类的例子。控制电路132首先使光源110以规定时间发出光脉冲(步骤S201)。控制电路132使图像传感器120开始向各第1像素P1积蓄电荷(步骤S202)。接下来，控制电路132使图像传感器120开始向各第3像素P3积蓄电荷(步骤S203)。如果从步骤S202经过了相当于第1曝光期间的时间，则控制电路132使图像传感器120停止向各第1像素P1积蓄电荷(步骤S204)。如果从步骤S203经过了相当于第3曝光期间的时间，则控制电路132使图像传感器120停止向各第3像素P3积蓄电荷(步骤S205)。在从步骤S204经过规定时间后，控制电路132使图像传感器120开始向各第2像素P2积蓄电荷(步骤S206)。如果从步骤S206经过了相当于第2曝光期间的时间，则控制电路132使图像传感器120停止向各第2像素P2积蓄电荷(步骤S207)。
接下来，控制电路132判定执行上述的电荷积蓄的次数是否达到了规定的次数(步骤S208)。在该判定为否的情况下，反复进行步骤S201至S207的动作，直到判定为是为止。如果在步骤S208中判定为是，则信号处理电路134读出图像传感器120的各像素中积蓄的电荷的信号。信号处理电路134生成基于多个第1像素P1中积蓄的电荷的第1强度映射、基于多个第2像素P2中积蓄的电荷的第2强度映射、以及基于多个第3像素P3中积蓄的电荷的第3强度映射并输出(步骤S209)。
通过图10所示的动作，能够按每1帧生成分别反映了表面反射成分I1、头皮血流成分I2-1、脑血流成分I2-2的强度分布的3个种类的图像数据。电子电路130也可以反复多次进行该一系列动作从而生成动态图像的数据。此外，在本实施方式中，多次的发光及电荷积蓄也不是必须的，而根据需要进行。
如上，根据本实施方式，能够以高时间分辨率取得外观信息、头皮血流信息及脑血流信息。
在图8及图10的例中，在第1曝光期间结束之前开始第3曝光期间。不限于这样的例子，例如也可以在第1曝光期间结束之后开始第3曝光期间。另外，第3曝光期间与第2曝光期间也可以部分地重叠。
图11是表示本实施方式的变形例的定时图。在该变形例中，不设置第3像素P3，而第1像素P1在第1曝光期间及第3曝光期间中曝光。因此，各第1像素P1如图3所示的例子那样具备多个电荷积蓄部。向各第1像素P1中的第1电荷积蓄部及第2电荷积蓄部分别分配第1曝光期间及第3曝光期间。由此，能够使用2个种类的像素取得3个种类的生物体信号。在该情况下，第1像素P1和第2像素P2的配置例如是图6A至图6D中的任一个所示的配置皆可。与设定3个种类的像素的情况相比，能够以更高的空间分辨率进行计测。
图12是表示本实施方式的再其他变形例的定时图。在该例中，与图11的例子不同，第3曝光期间在反射光脉冲的下降期间刚要开始前开始。第1曝光期间与图11的例子同样，在反射光脉冲的上升期间开始前开始，在上升期间刚结束后结束。该例中的信号处理电路134根据基于在第1曝光期间中第1像素P1的第1电荷积蓄部所积蓄的电荷的第1信号、以及基于在第3曝光期间中第1像素P1的第2电荷积蓄部所积蓄的电荷的第3信号，生成表示从图像传感器120到对象者50的距离的数据并输出。
图13是用于说明距离运算的原理的图。在图13中，例示了发光脉冲Ie、反射光脉冲Ir、第1曝光期间、第2曝光期间和第3曝光期间。将发光脉冲及反射光脉冲的时间长度设为T0。将从光源110开始出射光脉冲起直到第1曝光期间结束为止的时间设为t1，将从光源110开始出射光脉冲起直到第3曝光期间开始为止的时间设为t2。在该例中，0＜t2-t1＜T0成立。在第1曝光期间中，积蓄通过反射光脉冲的前端部分的曝光而产生的电荷。另一方面，在第3曝光期间中，积蓄通过反射光脉冲的后端部分的曝光而产生的电荷。将表示在第1曝光期间中积蓄的电荷量的信号设为S1，将表示在第3曝光期间中积蓄的电荷量的信号设为S3。信号S1及S3各自的强度根据对象者50与图像传感器120之间的距离z而变动。距离z能够使用以下的(数1)计算。
[数1]
Figure BDA0003786155100000281
在此，c(≈3.0×10 8m/s)表示光速。
信号处理电路134基于(数1)，能够根据信号S1及S3求出距离z。
图14是表示再其他的变形例的图。在该例中，控制电路132使光源110在出射第1光脉冲141之后出射第2光脉冲142。对由于第1光脉冲141而产生的第1反射光143而言，在第1曝光期间中向各第1像素P1的第1电荷积蓄部积蓄电荷，在第2曝光期间中向各第2像素P2的电荷积蓄部积蓄电荷。由此，从各第1像素P1的第1电荷积蓄部输出信号S1，从各第2像素P2的电荷积蓄部输出信号S2。对由于第2光脉冲142而产生的第2反射光144而言，在第3曝光期间中向各第1像素P1的第2电荷积蓄部积蓄电荷，在第4曝光期间中向各第2像素P2的电荷积蓄部积蓄电荷。由此，从各第1像素P1的第2电荷积蓄部输出信号S3，从各第2像素P2的电荷积蓄部输出信号S2。在此，从第1光脉冲141的出射开始时刻到第1曝光期间的开始时刻为止的长度ta，比从第2光脉冲142的出射开始时刻到第3曝光期间的开始时刻为止的长度tb短。信号处理电路134根据信号S1及S3，基于上述的(数1)，生成表示从图像传感器120到对象物的距离z的数据并输出。
通过图13或者图14所示的方法，能够按每个像素计算从图像传感器120到对象物的距离。电子电路130通过连续地反复进行取得各像素的距离信息及脑血流信息的动作，能够生成表示2维的距离分布及脑血流分布各自的历时变化的动态图像的数据。电子电路130基于通过每次计测而取得的各像素的距离信息，能够按每个像素调整下一次计测中的第1至第4曝光期间的定时。通过这样的调整，能够以更高的精度取得脑血流的信号。
电子电路130也可以使用通过上述的方法取得的距离信息对脑血流信息进行校正。从光源110出射的光具有与光源110的特性相应的固有的照度分布。依赖于光源110所发出的光在空间上的照度分布，所取得的脑血流信号的电平根据计测点的位置而不同。另外，在计测装置100正反复取得对象者50的脑血流信号的过程中对象者50移动的情况下，从计测装置100到计测点的距离发生变动，因此所取得的脑血流的信号的电平发生变动。为了得到好的计测结果，抑制该变动的影响是重要的。于是，电子电路130能够与脑血流计测并行地进行距离计测，基于从计测装置100到计测的各计测点的距离，对各计测点处的脑血流信号进行校正。
以下，参照图15至图17，说明基于距离对脑血流信号进行校正的动作。在本说明书中，“脑血流信号”意味着表示对象者的脑血流的状态的信号，是表示来自被计测部的光的内部散射成分的强度的信号、或者通过对该信号进行处理而生成的信号。
图15是表示由电子电路130生成的3个种类的图像的时间变化的例子的图。在该例中，电子电路130通过执行图13或者图14所示的动作，反复进行生成图15所示的作为3个种类的图像的第1图像(a)、第3图像(b)、第2图像(c)的动作。在图15中，例示了初始帧中的3个种类的图像、以及当前帧中的3个种类的图像。随着时间经过，发生对象者50的动作(即身体动作)、以及头皮及脑内的血流的变动，由于这些的影响，各图像的亮度分布可能发生变动。
在图15所示的例中，电子电路130中的控制电路132使图像传感器120中的2个种类的像素(即第1像素P1及第2像素P2)在图13或者图14所示的3个种类的曝光期间中执行曝光。像素的配置例如可以是图6A至图6D所示的任一个。电子电路130中的信号处理电路134根据从图像传感器120取得的信号，提取各第1像素P1的第1电荷积蓄部的信号、各第1像素P1的第2电荷积蓄部的信号及各第2像素P2的电荷积蓄部的信号，基于这些信号生成第1图像(a)、第3图像(b)、第2图像(c)。各第1像素P1的第1电荷积蓄部在第1曝光期间中检测反射光脉冲的前端部分，并生成第1信号。信号处理电路134基于这些第1信号生成第1图像(a)。各第1像素P1的第2电荷积蓄部在第3曝光期间中检测从反射光脉冲的下降期间刚要开始前直到下降期间结束为止的成分，并生成第3信号。信号处理电路134基于这些第3信号生成第3图像(b)。各第2像素P2的电荷积蓄部在第2曝光期间中检测反射光脉冲的后端部分，并生成第2信号。信号处理电路134基于这些第2信号生成第2图像(c)。第2图像(c)表示在对象者50的脑血液中散射的内部散射成分的二维分布。
信号处理电路134根据各像素中的第1信号及第3信号进行上述的(数1)所示的计算，从而按每个像素计算距离。信号处理电路134基于计算出的各像素的距离，生成距离图像。进而，信号处理电路134基于距离图像对第2图像(c)进行校正。
图16是示意性地表示基于第1图像(a)和第3图像(b)生成的距离图像的例子的图。信号处理电路134基于这样的距离图像对第2图像(c)进行校正。更具体而言，信号处理电路134基于距离图像、以及预先准备的表示光源110的照度分布的数据，生成用于对第2图像(c)进行校正的校正值图像。信号处理电路134使用校正值图像，进行校正以从第2图像(c)中去除由于身体动作造成的影响。
图17是示意性地表示生成在信号处理电路134的校正处理中使用的校正值图像的动作的流程的图。在校正中，使用预先通过校准而取得的表示光源110的照度分布的信息。校准在进行对象者50的计测之前实施。表示照度分布的信息表现光源110所发出的光所具有的空间性的照度分布，由以下的(数2)给出。
[数2]
Icor＝f(x，y，z)
在此，Icor表现空间内的位置(x，y，z)处的亮度。(x，y)表现图像中的像素的位置，z表现通过(数1)计算出的距离。在校准中，例如以白板等物体作为计测对象，在图12所示的定时进行曝光。对于计测对象，优选使用吸收系数及散射系数具有与人接近的值的平板模型。使计测装置100与白板的距离变化，在多个距离处取得距离图像及第2图像(c)。在各距离处，取得距离图像及第2图像(c)的像素位置(x，y)处的距离z和亮度I cor的信息。通过距离z和亮度I cor的所取得的数据以及数据点间的内插及外插，得到(数2)的函数。数据点间的插值不限于内插及外插，可以适用各种回归方法。该照度分布的取得既可以在计测对象者时每次都进行，也可以仅在最初进行一次。(数2)所示的函数也可以基于表的形式记录于存储器136等存储介质。
信号处理电路134将通过上述的方法从对象者50取得的距离图像的信息向(数2)的函数输入，由此能够生成如图17的右下所示的校正值图像。
图18是示意性地表示使用校正值图像对第2图像(c)进行校正的处理的图。信号处理电路134用第2图像(c)的各像素的值除以校正值图像中的对应的像素的值，从而对第2图像(c)进行校正。通过该处理，能够去除由于光源110的照度分布对第2图像(c)的亮度变动造成的影响。通过以上的计测及运算处理，即使在发生了身体动作的情况下，也能够抑制身体动作的影响，明确地捕捉脑血流变化的区域52。
如上，通过在同一帧内取得在多个像素间不同的信息，能够抑制由于对象者50的身体动作对亮度变动造成的影响，以高时间分辨率且高精度取得人的脑血流的状态。
接下来，说明计测装置100所进行的计测动作的再其他的变形例。
图19是表示其他变形例所涉及的计测动作的图。图19是表示本变形例中的波长不同的2个种类的发光脉冲及反射光脉冲与第1像素P1及第2像素P2各自中的2个电荷积蓄部各自的曝光期间之间的关系的定时图。在本变形例中，与图4A所示的例子同样，在各帧的期间内，具有650nm以上且小于805nm的第1波长的第1光脉冲与具有超过805nm且为950nm以下的第2波长的第2光脉冲交替地反复出射。图19所示的第1帧与第2帧的动作以规定的帧率交替反复。在该方式中，在第1帧与第2帧中，各第1像素P1中的2个电荷积蓄部的曝光期间不同。在第1帧中，各第1像素P1中的第1电荷积蓄部及第2电荷积蓄部各自被控制为：在检测第1波长及第2波长的反射光脉冲的前端部分的曝光期间中曝光。该曝光期间在反射光脉冲的上升期间开始前开始，且在上升期间刚结束后结束。另一方面，在第2帧中，各第1像素P1中的第1电荷积蓄部及第2电荷积蓄部各自被控制为：在检测包括第1波长及第2波长的反射光脉冲的后端部分在内的成分的曝光期间中曝光。该曝光期间在反射光脉冲的下降期间刚要开始前开始，且在下降期间中途或者下降期间结束后结束。无论在哪一帧中，各第2像素P2中的第1电荷积蓄部及第2电荷积蓄部都各自被控制为：在检测第1波长及第2波长的反射光脉冲的后端部分的曝光期间中曝光。该曝光期间在反射光脉冲的下降期间开始后开始，在下降期间结束后结束。
在图19的例中，将进行第1帧的计测动作的期间称为“第1计测期间”，将进行第2帧的计测动作的期间称为“第2计测期间”。在第1计测期间中，将第1像素P1的第1电荷积蓄部的曝光期间设为“第1曝光期间”，将第1像素P1的第2电荷积蓄部的曝光期间设为“第3曝光期间”。在第2计测期间中，将第1像素P1的第1电荷积蓄部的曝光期间设为“第4曝光期间”，将第1像素P1的第2电荷积蓄部的曝光期间设为“第5曝光期间”。此外，在各计测期间中，将第2像素的各电荷积蓄部的曝光期间分别设为“第2曝光期间”。第1曝光期间在第1计测期间中的从第1光脉冲的出射时刻经过了第1时间t1时开始。第3曝光期间在第1计测期间中的从第2光脉冲的出射时刻经过了第2时间t2时开始。第4曝光期间在第2计测期间中的从第1光脉冲的出射时刻经过了第3时间t3时开始。第5曝光期间在第2计测期间中的从第2光脉冲的出射时刻经过了第4时间t4时开始。第3时间t3与第1时间t1不同，第4时间t4与第2时间t2不同。在图19的例中，第1时间t1与第2时间t2相等，第3时间t3与第4时间t4相等。第1时间t1与第2时间t2也可以不同，第3时间t3与第4时间t4也可以不同。
信号处理电路134根据在第1曝光期间和第4曝光期间中取得的各第1像素的第1电荷积蓄部的信号、以及/或者在第3曝光期间和第5曝光期间中取得的各第1像素的第2电荷积蓄部的信号，进行基于上述的(数1)的运算，由此能够求出从计测装置100到与该像素对应的计测点为止的距离。另外，信号处理电路134基于在第2曝光期间中取得的各第2像素的第1电荷积蓄部及第2电荷积蓄部的信号，生成表示脑血流的状态的脑血流信息。信号处理电路134也可以通过上述的方法，基于距离信息对脑血流信息进行校正。
通过在本变形例中的曝光定时进行计测，各波长的图像的取得定时的时间差变短，能够以高时间分辨率取得2个种类的波长的信息。由此，能够捕捉脑血流的更微妙的变化。
工业实用性
本公开中的计测装置能够以非接触方式且高时间分辨率进行计测，因此特别是在以人为对象的生物体传感中是有用的。
附图标记说明：
50 对象者
100 计测装置
110 光源
120 图像传感器
122 光电转换部
124 电荷积蓄部
130 电子电路
132 控制电路
134 信号处理电路

Claims (22)

1.一种计测装置，具备：
光源，朝向对象物出射第1光脉冲；
传感器，包括多个光检测单元，该多个光检测单元包括第1光检测单元及第2光检测单元；以及
电子电路，对所述光源及所述传感器进行控制，对从所述传感器输出的信号进行处理，
所述电子电路进行：
使所述光源出射第1光脉冲，
使所述第1光检测单元在第1曝光期间中检测由于所述第1光脉冲而产生的来自所述对象物的第1反射光脉冲从而生成第1信号，该第1曝光期间包括从所述第1反射光脉冲的强度开始增加起直到开始减少为止的期间的至少一部分，
使所述第2光检测单元在第2曝光期间中检测所述第1反射光脉冲从而生成第2信号，该第2曝光期间包括从所述第1反射光脉冲的强度开始减少起直到结束减少为止的下降期间的至少一部分，
基于所述第1信号，生成表示所述对象物的表面的状态的第1数据并输出，
基于所述第2信号，生成表示所述对象物的内部的状态的第2数据并输出。
2.如权利要求1所述的计测装置，
所述第2曝光期间在所述第1反射光脉冲的所述下降期间的开始之后开始。
3.如权利要求1或者2所述的计测装置，
所述第1曝光期间包括从所述第1反射光脉冲的强度开始增加起直到结束增加为止的上升期间的至少一部分。
4.如权利要求1至3中任一项所述的计测装置，
所述第1曝光期间在所述下降期间的开始之前结束。
5.如权利要求1至4中任一项所述的计测装置，
所述多个光检测单元包括：包括所述第1光检测单元的多个第1光检测单元、以及包括所述第2光检测单元的多个第2光检测单元，
所述电子电路进行：
使所述多个第1光检测单元中的各个第1光检测单元在所述第1曝光期间中检测所述第1反射光脉冲从而生成所述第1信号，
使所述多个第2光检测单元中的各个第2光检测单元在所述第2曝光期间中检测所述第1反射光脉冲从而生成所述第2信号，
基于包括从所述多个第1光检测单元中的各个第1光检测单元输出的所述第1信号的多个第1信号，生成所述第1数据并输出，
基于包括从所述多个第2光检测单元中的各个第2光检测单元输出的所述第2信号的多个第2信号，生成所述第2数据并输出。
6.如权利要求5所述的计测装置，
所述多个第1光检测单元的数量比所述多个第2光检测单元的数量少。
7.如权利要求5所述的计测装置，
所述多个第1光检测单元的数量比所述多个第2光检测单元的数量多。
8.如权利要求5至7中任一项所述的计测装置，
所述传感器是图像传感器，
所述多个光检测单元以矩阵状排列，
所述电子电路进行：
生成基于所述多个第1信号的图像数据作为所述第1数据，
生成基于所述多个第2信号的图像数据作为所述第2数据。
9.如权利要求5至8中任一项所述的计测装置，
所述多个光检测单元以矩阵状排列，
由所述多个第1光检测单元构成的行或列、以及由所述多个第2光检测单元构成的行或列交替排列。
10.如权利要求5至8中任一项所述的计测装置，
所述多个光检测单元以矩阵状排列，
所述多个第1光检测单元及所述多个第2光检测单元以棋盘状排列。
11.如权利要求5至10中任一项所述的计测装置，
所述对象物包括人的头部，
所述第1数据表示所述头部中的面部的外观。
12.如权利要求1至11中任一项所述的计测装置，
所述对象物包括人的头部，
所述第2数据表示所述头部的脑血流的状态。
13.如权利要求1至12中任一项所述的计测装置，
所述多个光检测单元还包括第3光检测单元，
所述电子电路在与所述第1曝光期间及所述第2曝光期间不同的第3曝光期间中，使所述第1光检测单元或者所述第3光检测单元检测所述第1反射光脉冲从而生成第3信号。
14.如权利要求13所述的计测装置，
所述电子电路进行：
在所述第3曝光期间中，使所述第1光检测单元生成所述第3信号，
基于所述第1信号和所述第3信号，生成表示从所述传感器到所述对象物的距离的数据并输出。
15.如权利要求1至12中任一项所述的计测装置，
所述光源朝向所述对象物进一步出射第2光脉冲，
所述电子电路进行：
使所述光源在出射所述第1光脉冲后出射所述第2光脉冲，
使所述第1光检测单元在第3曝光期间中检测由于所述第2光脉冲而产生的来自所述对象物的第2反射光脉冲从而生成第3信号，该第3曝光期间包括从所述第2反射光脉冲的强度开始减少起直到结束减少为止的下降期间的至少一部分，
使所述第2光检测单元在第4曝光期间中检测所述第2反射光脉冲从而生成第4信号，该第4曝光期间包括所述第2反射光脉冲的所述下降期间的至少一部分，且与第3曝光期间不同，
基于所述第1信号及所述第3信号，生成表示从所述传感器到所述对象物的距离的数据并输出。
16.如权利要求1至15中任一项所述的计测装置，
所述对象物包括人的头部，
所述电子电路基于所述第1信号和所述第2信号，生成表示所述人的心理状态或者身体状态的数据并输出。
17.如权利要求1至12中任一项所述的计测装置，
所述光源朝向所述对象物进一步出射第2光脉冲，
所述第2光脉冲的波长与所述第1光脉冲的波长不同，
所述第1曝光期间在从所述第1光脉冲的出射开始时刻经过了第1时间时开始，
所述电子电路进行：
在第1计测期间及第2计测期间各自中，使所述光源出射所述第1光脉冲和所述第2光脉冲，
使所述第1光检测单元在所述第1计测期间所包括的所述第1曝光期间中检测所述第1反射光脉冲，而且在所述第1计测期间中的在从所述第2光脉冲的出射开始时刻经过了第2时间时开始的第3曝光期间中检测由于所述第2光脉冲而产生的来自所述对象物的第2反射光脉冲，从而生成所述第1信号，
使所述第1光检测单元在所述第2计测期间中的在从所述第1光脉冲的出射开始时刻经过了第3时间时开始的第4曝光期间中检测所述第1反射光脉冲，而且在所述第2计测期间中的在从所述第2光脉冲的出射开始时刻经过了第4时间时开始的第5曝光期间中检测所述第2反射光脉冲，从而生成第3信号，
基于所述第1信号和所述第3信号，生成表示从所述传感器到所述对象物的距离的数据，
所述第3时间与所述第1时间不同，
所述第4时间与所述第2时间不同。
18.一种计测装置，具备：
光源，朝向生物体出射1个以上的光脉冲；
传感器，包括多个光检测单元，该多个光检测单元包括第1光检测单元及第2光检测单元；以及
电子电路，
所述电子电路进行：
使所述光源出射所述1个以上的光脉冲，
使所述第1光检测单元检测由于所述1个以上的光脉冲而产生的来自所述生物体的1个以上的反射光脉冲的第1成分从而生成第1信号，
使所述第2光检测单元检测所述1个以上的反射光脉冲的第2成分从而生成第2信号，
使所述第1光检测单元检测所述1个以上的反射光脉冲的第3成分从而生成第3信号，
基于所述第1信号及所述第3信号，生成表示从所述传感器到所述生物体的距离的第1数据，
基于所述第2信号，生成表示所述生物体的血流的状态的第2数据。
19.如权利要求18所述的计测装置，
所述电子电路基于所述第1数据，对所述第2数据进行校正。
20.如权利要求18或者19所述的计测装置，
所述电子电路基于表示所述1个以上的光脉冲的照度的空间分布的数据、以及所述第1数据，对所述第2数据进行校正。
21.一种对计测装置进行控制的方法，该计测装置具备光源、以及包括多个光检测单元的传感器，该多个光检测单元包括第1光检测单元及第2光检测单元，
所述方法包括：
使所述光源出射光脉冲；
使所述第1光检测单元在第1曝光期间中检测由于所述光脉冲而产生的来自对象物的反射光脉冲从而生成第1信号，该第1曝光期间包括从所述反射光脉冲的强度开始增加起直到开始减少为止的期间的至少一部分；
使所述第2光检测单元在第2曝光期间中检测所述反射光脉冲从而生成第2信号，该第2曝光期间包括从所述反射光脉冲的强度开始减少起直到结束减少为止的下降期间的至少一部分；
基于所述第1信号，生成表示所述对象物的表面的状态的第1数据并输出；以及
基于所述第2信号，生成表示所述对象物的内部的状态的第2数据并输出。
22.一种对计测装置进行控制的方法，该计测装置具备光源、以及包括多个光检测单元的传感器，该多个光检测单元包括第1光检测单元及第2光检测单元，
所述方法包括：
使所述光源出射1个以上的光脉冲；
使所述第1光检测单元检测由于所述1个以上的光脉冲而产生的来自生物体的1个以上的反射光脉冲的第1成分从而生成第1信号；
使所述第2光检测单元检测所述1个以上的反射光脉冲的第2成分从而生成第2信号；
使所述第1光检测单元检测所述1个以上的反射光脉冲的第3成分从而生成第3信号；
基于所述第1信号及所述第3信号，生成表示从所述传感器到所述生物体的距离的第1数据；以及
基于所述第2信号，生成表示所述生物体的血流的状态的第2数据。
CN202180013265.3A 2020-03-09 2021-02-15 计测装置以及对计测装置进行控制的方法 Pending CN115052530A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2020039728 2020-03-09
JP2020-039728 2020-03-09
JP2021012027 2021-01-28
JP2021-012027 2021-01-28
PCT/JP2021/005395 WO2021182018A1 (ja) 2020-03-09 2021-02-15 計測装置および計測装置を制御する方法

Publications (1)

Publication Number Publication Date
CN115052530A true CN115052530A (zh) 2022-09-13

Family

ID=77672257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180013265.3A Pending CN115052530A (zh) 2020-03-09 2021-02-15 计测装置以及对计测装置进行控制的方法

Country Status (4)

Country Link
US (1) US20220400964A1 (zh)
JP (1) JPWO2021182018A1 (zh)
CN (1) CN115052530A (zh)
WO (1) WO2021182018A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7308430B2 (ja) * 2018-03-15 2023-07-14 パナソニックＩｐマネジメント株式会社 ユーザの心理状態を推定するためのシステム、記録媒体、および方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014002415A1 (ja) * 2012-06-28 2014-01-03 パナソニック株式会社 撮像装置
JP6865384B2 (ja) * 2016-02-17 2021-04-28 パナソニックＩｐマネジメント株式会社 生体情報検出装置
JP6918210B2 (ja) * 2018-03-29 2021-08-11 ヌヴォトンテクノロジージャパン株式会社 距離情報取得装置、マルチパス検出装置およびマルチパス検出方法
JPWO2020044854A1 (ja) * 2018-08-30 2021-08-26 パナソニックＩｐマネジメント株式会社 生体計測装置、及び生体計測方法

Also Published As

Publication number Publication date
US20220400964A1 (en) 2022-12-22
WO2021182018A1 (ja) 2021-09-16
JPWO2021182018A1 (zh) 2021-09-16

Similar Documents

Publication Publication Date Title
CN108209867B (zh) 摄像装置
US20210152755A1 (en) Imaging apparatus including light source that emits pulsed light, image sensor, and control circuit
CN107468209B (zh) 摄像装置
CN107528998B (zh) 摄像装置
US10352853B2 (en) Measuring device including light source that emits at least one light pulse group, photodetector, and control circuit
CN112188866A (zh) 生物体计测装置及生物体计测方法
JP2018094400A (ja) 撮像装置
WO2020121705A1 (ja) 撮像装置
CN115052530A (zh) 计测装置以及对计测装置进行控制的方法
JP7417867B2 (ja) 光計測装置
JP2021141949A (ja) 測定装置、およびプログラム
WO2022138063A1 (ja) 生体計測装置、生体計測方法、及び、コンピュータプログラム
WO2020137276A1 (ja) 撮像装置
WO2023090188A1 (ja) 光検出システム、処理装置、光検出システムを制御する方法、およびプログラム
CN117377431A (zh) 推定用户的情绪状态的方法及装置
JP2020032105A (ja) 生体計測装置、生体計測システム、制御方法、およびコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination