CN118076301A - 摄像系统、处理装置及在摄像系统中由计算机执行的方法 - Google Patents

摄像系统、处理装置及在摄像系统中由计算机执行的方法 Download PDF

Info

Publication number
CN118076301A
CN118076301A CN202280067568.8A CN202280067568A CN118076301A CN 118076301 A CN118076301 A CN 118076301A CN 202280067568 A CN202280067568 A CN 202280067568A CN 118076301 A CN118076301 A CN 118076301A
Authority
CN
China
Prior art keywords
living body
imaging device
image
orientation
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280067568.8A
Other languages
English (en)
Inventor
安藤贵真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN118076301A publication Critical patent/CN118076301A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Hematology (AREA)
  • Neurology (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

摄像系统(100)具备：具有第1视野的第1摄像装置(30a)、具有比所述第1视野窄的第2视野的第2摄像装置(30b)、以及能够改变第2摄像装置(30b)的朝向的电动装置(40)，所述第1摄像装置(30a)对生物体进行摄像并生成第1图像数据，所述第2摄像装置(30b)对所述生物体的被检部进行摄像并生成第2图像数据，所述第2图像数据被发送至基于所述第2图像数据生成表示所述被检部的生物体信息的数据的处理装置(50)，所述电动装置(40)根据在基于所述第1图像数据的图像中的所述生物体的位置改变所述第2摄像装置(30b)的朝向，并维持所述被检部被包含在所述第2视野中的状态。

Description

摄像系统、处理装置及在摄像系统中由计算机执行的方法
技术领域
本公开涉及摄像系统、处理装置及在摄像系统中由计算机执行的方法。
背景技术
用光照射生物体的被检部并产生的反射光包含经由被检部的表面及内部的成分。通过对这样的反射光进行检测，能够取得被检部的生物体信息、例如表面信息以及/或者内部信息。专利文献1及2公开了取得被检部的内部信息的装置。
在先技术文献
专利文献
专利文献1：日本特开平11―164826号公报
专利文献2：日本特开平4―189349号公报
发明内容
在生物体移动的环境下，有可能无法稳定地取得被检部的生物体信息。本公开提供在生物体移动的环境下能够以非接触方式稳定地取得其被检部的生物体信息的摄像系统。
本公开的一个方式所涉及的摄像系统具备：第1摄像装置，具有第1视野；第2摄像装置，具有比所述第1视野窄的第2视野；以及电动装置，能够改变第2摄像装置的朝向，所述第1摄像装置对生物体进行摄像并生成第1图像数据，所述第2摄像装置对所述生物体的被检部进行摄像并生成第2图像数据，所述第2图像数据被发送至基于所述第2图像数据生成表示所述被检部的生物体信息的数据的处理装置，所述电动装置根据在基于所述第1图像数据的图像中的所述生物体的位置改变所述第2摄像装置的朝向，并维持所述被检部被包含在所述第2视野中的状态。
根据本公开的技术，能够实现在生物体移动的环境下能够以非接触方式稳定地取得其被检部的生物体信息的摄像系统。
附图说明
图1A是示意性地表示本公开的例示性的实施方式所涉及的摄像系统的构成的框图。
图1B是示意性地表示图1A的摄像系统之中的第1光源、第2光源、第2摄像装置及处理装置所包括的控制电路及信号处理电路的图。
图2是概略性地表示在生物体移动的情况下处理装置所执行的校正动作的例子的流程图。
图3A是用于说明电动装置的动作的图。
图3B是用于说明电动装置的动作的图。
图3C是用于说明第1图像中的偏差量Q1、偏差量Q2的图。
图3D是用于说明第1旋转量、第2旋转量的图。
图4A是示意性地表示对摄像装置进行支承的电动装置的第1例的斜视图。
图4B是示意性地表示对摄像装置进行支承的电动装置的第2例的斜视图。
图4C是示意性地表示对摄像装置进行支承的电动装置的第3例的斜视图。
图5是示意性地表示由本实施方式的变形例所涉及的摄像系统对生物体进行摄像的例子的图。
图6A是表示在使摄像装置的朝向固定的状态下取得了移动后的被检部的脑血流信息的比较例的图。
图6B是表示在与生物体的移动相应地改变摄像装置的朝向之后取得了移动后的被检部的脑血流信息的实施例的图。
图7是表示第2摄像装置的构成的一例的图。
图8A是表示出射第1光脉冲及第2光脉冲的动作的例子的图。
图8B是表示出射第1光脉冲及第2光脉冲的动作的其他例的图。
图9A是示意性地表示在光脉冲具有脉冲波形的情况下的反射光脉冲所包含的表面反射成分及内部散射成分的时间变化的例子的图。
图9B是示意性地表示在光脉冲具有矩形形状的波形的情况下的反射光脉冲所包含的表面反射成分及内部散射成分的时间变化的例子的图。
图9C是表示与第1光源、第2光源及第2摄像装置相关的处理装置的动作的概略的流程图。
具体实施方式
以下说明的实施方式均表示概括性或者具体性的例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骤及步骤的顺序是一例，其主旨不在于限定本公开的技术。以下的实施方式中的构成要素之中的未记载在表示最上位概念的独立权利要求中的构成要素，作为任意的构成要素进行说明。各图是示意图，不一定是严密的图示。进而，在各图中，针对在实质上相同或者相似的构成要素赋予相同的标记。有时省略或者简化重复的说明。
首先简单说明本公开的实施方式的概要。
如同以正在工作的人或者正在驾驶交通工具的人作为被检体而取得其前额部的表面血流信息以及/或者脑血流信息的例子那样，有时要求在生物体移动的环境下取得其被检部的生物体信息。通过取得生物体信息的摄像装置的朝向被固定的构成，有可能无法稳定地取得移动后的被检部的生物体信息。
本公开的实施方式所涉及的摄像系统具备：用于取得生物体的位置信息的视野相对较宽的第1摄像装置、以及用于取得生物体的被检部的生物体信息的视野相对较窄的第2摄像装置。在该摄像系统中，基于由第1摄像装置取得的生物体的位置信息，能够改变第2摄像装置的朝向以便能够对移动后的生物体的被检部进行摄像。结果，在生物体移动的环境下，能够以非接触方式稳定地取得其被检部的生物体信息。以下，说明本公开的实施方式所涉及的摄像系统、处理装置、以及在摄像系统中由计算机执行的方法。
第1项目所涉及的摄像系统具备：第1摄像装置，具有第1视野；第2摄像装置，具有比所述第1视野窄的第2视野；以及电动装置，能够改变第2摄像装置的朝向。所述第1摄像装置对生物体进行摄像并生成第1图像数据。所述第2摄像装置对所述生物体的被检部进行摄像并生成第2图像数据。所述第2图像数据被发送至基于所述第2图像数据生成表示所述被检部的生物体信息的数据的处理装置。所述电动装置根据在基于所述第1图像数据的图像中的所述生物体的位置改变所述第2摄像装置的朝向，并维持所述被检部被包含在所述第2视野中的状态。
在该摄像系统中，在生物体移动的环境下，能够以非接触方式稳定地取得其被检部的生物体信息。
第2项目所涉及的摄像系统在第1项目所涉及的摄像系统中，所述电动装置能够改变所述第1摄像装置的朝向。所述电动装置根据在基于所述第1图像数据的所述图像中的所述生物体的位置，使所述第1摄像装置及所述第2摄像装置的朝向同步地改变。
在该摄像系统中，与第1摄像装置及第2摄像装置的朝向无关，基于表示第1视野中的生物体的位置的第1图像数据，能够知晓第2视野与被检部的相对位置关系。
第3项目所涉及的摄像系统在第2项目所涉及的摄像系统中，所述摄像系统包括所述处理装置。
在该摄像系统中，能够由处理装置生成表示被检部的生物体信息的数据。
第4项目所涉及的摄像系统在第3项目所涉及的摄像系统中，基于所述第1图像数据的所述图像包括所述生物体的面部。所述处理装置使所述电动装置改变所述第1摄像装置的朝向，以使基于所述第1图像数据的所述图像的特定位置被包含在所述生物体的所述面部的区域中。
在该摄像系统中，作为第1摄像装置及第2摄像装置的朝向同步地变化的结果，能够使被检部处于第2视野的内侧。
第5项目所涉及的摄像系统在第4项目所涉及的摄像系统中，所述处理装置在使所述电动装置改变所述第1摄像装置的朝向之后，使所述电动装置进一步改变所述第1摄像装置的朝向，以使基于所述第1图像数据的所述图像的所述特定位置与所述生物体的所述面部的特定位置之间的偏差量减小。
在该摄像系统中，能够进一步减小偏差量。
第6项目所涉及的摄像系统在第2至第5项目的任一项所涉及的摄像系统中，所述被检部包括所述生物体的前额部。所述处理装置使所述电动装置改变所述第2摄像装置的朝向，以使所述第2视野包含所述生物体的前额部及眉毛。
在该摄像系统中，在通过基于图像处理的跟踪来使生物体移动前的被检部的位置与生物体移动后的被检部的位置相互一致的校正中，能够利用眉毛的边缘部作为特征点。
第7项目所涉及的摄像系统在第2至第6项目的任一项所涉及的摄像系统中，所述处理装置在使所述电动装置改变所述第2摄像装置的朝向以使所述第2视野包含所述被检部之后，决定基于所述第2图像数据的图像内的与所述被检部对应的部分的像素区域。
在该摄像系统中，根据决定的像素区域，能够取得被检部的生物体信息。
第8项目所涉及的摄像系统在第7项目所涉及的摄像系统中，所述像素区域与所述生物体移动前的基于所述第2图像数据的图像内的与所述被检部对应的部分的像素区域一致。
在该摄像系统中，即使生物体移动，也能够取得与生物体移动前相同的被检部的生物体信息。
第9项目所涉及的摄像系统在第1至第8项目的任一项所涉及的摄像系统中，所述生物体信息是所述生物体的脑血流信息。
在该摄像系统中，能够取得生物体的脑血流信息。
第10项目所涉及的摄像系统在第1至第9项目的任一项所涉及的摄像系统中，具备出射用于照射所述生物体的所述被检部的光脉冲的至少1个光源。
在该摄像系统中，能够对生物体的被检部进行照射并取得被检部的生物体信息。
第11项目所涉及的处理装置被用于摄像系统。所述摄像系统具备：第1摄像装置，具有第1视野；第2摄像装置，具有比所述第1视野窄的第2视野；以及电动装置，能够改变所述第2摄像装置的朝向。所述处理装置具备：处理器；以及存储器，存放由所述处理器执行的计算机程序。所述计算机程序使所述处理器执行：使所述第1摄像装置对生物体进行摄像并生成第1图像数据；使所述电动装置根据在基于所述第1图像数据的图像中的所述生物体的位置改变所述第2摄像装置的朝向，并维持所述生物体的被检部被包含在所述第2视野中的状态；使所述第2摄像装置对所述被检部进行摄像并生成第2图像数据；以及基于所述第2图像数据生成表示所述被检部的生物体信息的数据。
通过该处理装置，在生物体移动的环境下，能够以非接触方式稳定地取得其被检部的生物体信息。
第12项目所涉及的处理装置在第11项目所涉及的处理装置中，所述电动装置能够改变所述第1摄像装置的朝向。根据在基于所述第1图像数据的所述图像中的所述生物体的位置改变所述第2摄像装置的朝向的步骤包括：根据在基于所述第1图像数据的所述图像中的所述生物体的位置，使所述第1摄像装置及所述第2摄像装置的朝向同步地改变。
通过该处理装置，与第1摄像装置及第2摄像装置的朝向无关，基于表示第1视野中的生物体的位置的第1图像数据，能够知晓第2视野与被检部的相对位置关系。
第13项目所涉及的方法是在摄像系统中由计算机执行的方法。所述摄像系统具备：第1摄像装置，具有第1视野；第2摄像装置，具有比所述第1视野窄的第2视野；以及电动装置，能够改变所述第2摄像装置的朝向。所述方法包括：使所述第1摄像装置对生物体进行摄像并生成第1图像数据；使所述电动装置根据在基于所述第1图像数据的图像中的所述生物体的位置改变所述第2摄像装置的朝向，并维持所述生物体的被检部被包含在所述第2视野中的状态；使所述第2摄像装置对所述被检部进行摄像并生成第2图像数据；以及基于所述第2图像数据生成表示所述被检部的生物体信息的数据。
通过该方法，能够在生物体移动的环境下以非接触方式稳定地取得其被检部的生物体信息。
第14项目所涉及的方法在第13项目所涉及的方法中，所述电动装置能够改变所述第1摄像装置的朝向。根据在基于所述第1图像数据的所述图像中的所述生物体的位置改变所述第2摄像装置的朝向的步骤包括：根据在基于所述第1图像数据的所述图像中的所述生物体的位置，使所述第1摄像装置及所述第2摄像装置的朝向同步地改变。
通过该方法，与第1摄像装置及所述第2摄像装置的朝向无关，基于表示第1视野中的生物体的位置的第1图像数据，能够知晓第2视野与被检部的相对位置关系。
在本公开中，电路、单元、装置、部件或者部的全部或者一部分、或者框图中的功能模块的全部或者一部分，例如能够由半导体装置、半导体集成电路(IC)或者包含LSI(largescale integration：大规模集成电路)的1个或者多个电子电路执行。LSI或者IC既可以被集成于1个芯片，也可以组合多个芯片而构成。例如，存储元件以外的功能模块也可以被集成于1个芯片。在此称为LSI或者IC，但根据集成的程度而叫法改变，也可以是被称为系统LSI、VLSI(very large scale integration：超大规模集成电路)或ULSI(ultra largescale integration：特大规模集成电路)的电路。也能够以相同的目的使用在制造LSI后被编程的现场可编程门阵列(Field Programmable Gate Array(FPGA))或者能够重构LSI内部的接合关系或设置LSI内部的电路划分的可重构逻辑器件(reconfigurable logicdevice)。
进而，电路、单元、装置、部件或者部的全部或者一部分的功能或者操作，也能够通过软件处理来执行。在该情况下，软件被记录于1个或者多个ROM、光盘、硬盘驱动器等非易失性记录介质，在软件由处理装置(processor)执行时，由该软件确定的功能由处理装置(processor)及周边装置执行。系统或者装置也可以具备记录了软件的1个或者多个非易失性记录介质、处理装置(processor)、以及所需的硬件设备例如接口。
在本公开中，“光”意味着不仅包含可见光(波长为大致400nm～大致700nm)而且包含紫外线(波长为大致10nm～大致400nm)及红外线(波长为大致700nm～大致1mm)的电磁波。
以下，参照附图说明本公开的更具体的实施方式。
(实施方式)
[摄像系统]
首先，参照图1A及图1B，说明本公开的实施方式所涉及的摄像系统的构成。图1A是示意性地表示本公开的例示性的实施方式所涉及的摄像系统的构成的框图。在图1A中，以人作为生物体10，表示人的头部及躯干部。生物体10被照明光或者太阳光那样的环境光照射。生物体10例如正在工作或者正在驾驶交通工具那样，不总是静止，而有时移动。生物体10不限于人，例如也可以是动物。由图1A所示的点线包围的区域表现生物体10的被检部11。
图1A所示的摄像系统100具备第1光源20a、第2光源20b、第1摄像装置30a、第2摄像装置30b、电动装置40和处理装置50。处理装置50具备控制电路52、信号处理电路54和存储器56。在本说明书中，将第1光源20a及第2光源20b不作区别而都称为“光源20”。同样，将第1摄像装置30a及第2摄像装置30b不作区别而都称为“摄像装置30”。图1B是示意性地表示图1A的摄像系统100之中的第1光源20a、第2光源20b、第2摄像装置30b及处理装置50所包括的控制电路52及信号处理电路54的图。图1B将生物体10的被检部11扩大表示。
光源20出射用于照射生物体10的被检部11的光脉冲。第1摄像装置30a具有相对较宽的第1视野12a，根据上述的环境光被生物体10反射而产生的反射光，取得生物体10的位置信息。第2摄像装置30b具有相对较窄的第2视野12b，根据上述的光脉冲被生物体10的被检部11反射而产生的反射光脉冲，取得被检部11的生物体信息。第2视野12b位于第1视野12a的内侧。在图1A中，由一点划线包围的区域表示第1视野12a，由虚线包围的区域表示第2视野12b。电动装置40对第1摄像装置30a及第2摄像装置30b进行支承，响应于来自处理装置50的基于生物体10的位置信息的信号，改变摄像装置30的朝向。通过电动装置40基于该信号改变摄像装置30的朝向，即使在生物体10移动之后，也维持生物体10被包含在第1视野12a中而且生物体10的被检部11被包含在第2视野12b中的状态。结果，能够以非接触方式稳定地取得生物体10的被检部11的生物体信息。该生物体信息例如可以是生物体10的脑血流信息、或者面部或头皮的血流信息。
以下详细说明本实施方式中的摄像系统100的各构成要素。
＜第1光源20a及第2光源20b＞
第1光源20a如图1B所示，出射用于照射被检部11的第1光脉冲I p1。第1光脉冲I p1具有第1波长。同样，第2光源20b如图1B所示，出射用于照射被检部11的第2光脉冲I p2。第2光脉冲I p2具有比第1波长长的第2波长。在图1A及图1B所示的例中，第1光源20a的个数是1个，但也可以是多个。在图1A及图1B所示的例中，第2光源20b的个数是1个，但也可以是多个。根据用途，也可以不需要第1光源20a及第2光源20b双方，而使用其一方。
在本说明书中，对第1光脉冲I p1及第2光脉冲I p2不作区别而都称为“光脉冲I p”。光脉冲I p包括上升部分及下降部分。上升部分是光脉冲I p之中的从其强度开始增加起直到结束增加为止的部分。下降部分是光脉冲I p之中的从其强度开始减小起直到结束减小为止的部分。
在到达被检部11的光脉冲I p之中，一部分成为在被检部11的表面反射的表面反射成分I1，其他一部分成为在被检部11的内部发生1次反射或散射、或者发生多次散射的内部散射成分I 2。表面反射成分I1包括直接反射成分、漫反射成分及散射反射成分这3个。直接反射成分是入射角与反射角相等的反射成分。漫反射成分是由表面的凹凸形状漫射而反射的成分。散射反射成分是由表面附近的内部组织散射而反射的成分。在将被检部11设为生物体10的前额部的情况下，散射反射成分是在表皮内部散射而反射的成分。以下，设为在被检部11的表面反射的表面反射成分I1包括这3个成分而进行说明。设为内部散射成分I 2不包括由表面附近的内部组织散射而反射的成分而进行说明。关于表面反射成分I1及内部散射成分I 2，由于被反射或者散射，这些成分的行进方向变化，表面反射成分I1的一部分和内部散射成分I 2的一部分作为反射光脉冲到达第2摄像装置30b。表面反射成分I1反映了生物体10的表面信息、例如面部及头皮的血流信息。根据面部及头皮的血流信息，例如能够知晓生物体10的面部的外观、皮肤血流量、心率数或者出汗量。内部散射成分I 2反映了生物体10的内部信息、例如脑血流信息。根据脑血流信息，例如能够知晓生物体10的脑血流量、血压、血氧饱和度或者心率数。“对表面反射成分I1进行检测”，也可以解释为“对表面反射成分I1的一部分进行检测”。“对内部散射成分I 2进行检测”，也可以解释为“对内部散射成分I 2的一部分进行检测”。关于根据反射光脉冲检测内部散射成分I 2的方法后述。
第1光脉冲I p1的第1波长及第2光脉冲I p2的第2波长各自例如可以是650nm以上且950nm以下的波长范围所包含的任意的波长。该波长范围被包含在从红色到近红外线的波长范围中。上述的波长范围被称为“生物窗”，具有比较难以被生物体内的水分及皮肤吸收的性质。在将生物体设为检测对象的情况下，通过使用上述的波长范围的光，能够提高检测灵敏度。在检测用户的脑的血流变化的情况下，可以考虑所使用的光主要被氧化血红蛋白(HbO 2)及脱氧血红蛋白(Hb)吸收。一般而言，如果血流产生变化，则氧化血红蛋白的浓度及脱氧血红蛋白的浓度发生变化。伴随着该变化，光的吸收程度也发生变化。因此，如果血流发生变化，则检测的光量也以时间性发生变化。
氧化血红蛋白与脱氧血红蛋白相比，光吸收的波长依赖性不同。在波长为650nm以上而且比805nm短时，脱氧血红蛋白的光吸收系数比氧化血红蛋白的光吸收系数大。在波长805nm处，脱氧血红蛋白的光吸收系数与氧化血红蛋白的光吸收系数相等。在波长比805nm长而且为950nm以下时，氧化血红蛋白的光吸收系数比脱氧血红蛋白的光吸收系数大。
因此，如果将第1光脉冲I p1的第1波长设定为650nm以上而且比805nm短，将第2光脉冲I p2的第2波长设定为比805nm长而且为950nm以下，并用第1光脉冲I p1及第2光脉冲Ip2照射被检部11，则通过后述的处理装置50的处理，能够求出被检部11的内部的血液所包含的氧化血红蛋白的浓度及脱氧血红蛋白的浓度。通过照射具有不同波长的2个光脉冲，能够取得被检部11的更详细的内部信息。
在本实施方式中，光源20可以考虑对用户的视网膜的影响而设计。例如，光源20是如激光二极管那样的激光源，可以满足各国策划制定的激光安全标准的类1。在满足了类1的情况下，被检部11被可接受发射极限(AEL)低于1mW程度的低照度的光照射。此外，光源20自身无需满足类1。例如，也可以通过在光源20之前设置扩散板或者ND滤光器来使光扩散或者衰减，来满足激光安全标准的类1。
＜第1摄像装置30a及第2摄像装置30b＞
第1摄像装置30a根据环境光被生物体10反射而产生的反射光，取得生物体10的位置信息。第1摄像装置30a对生物体10进行摄像并生成第1图像数据，将第1图像数据发送至处理装置50。第1图像数据不一定是图像化的数据，也可以是以2维分布的多个像素的多个像素值的原始数据。多个像素与多个像素值1对1地对应。第1图像数据反映了生物体的位置信息。将基于第1图像数据的图像称为“第1图像”。即使被检部11移动到第2视野12b之外，在生物体10存在于第1视野12a之中的期间内，第1摄像装置30a也能够追随生物体10。第1摄像装置30a例如可以是黑白相机或者RGB相机。
第2摄像装置30b根据光脉冲IP被生物体10的被检部11反射而产生的反射光脉冲，取得生物体10的被检部11的生物体信息。第2摄像装置30b对生物体10的被检部11进行摄像并生成第2图像数据，将第2图像数据发送至处理装置50。第2图像数据与第1图像数据同样，不一定是图像化的数据，也可以是以2维分布的多个像素的多个像素值的原始数据。多个像素与多个像素值1对1地对应。第2图像数据反映了生物体10的被检部11的生物体信息。将基于第2图像数据的图像称为“第2图像”。通过使第2视野12b比第1视野12a窄(小)，能够使第2图像所包含的被检部11的像素数比第1图像所包含的被检部11的像素数多。因此，通过在第2图像中对多个像素的多个像素值进行相加平均，能够减小噪声，能够提高摄像的SN比。
第2摄像装置30b可以具备在摄像面上以2维排列的多个像素。各像素例如可以具备光电二极管等光电转换元件、以及1个或者多个电荷积蓄部。第2摄像装置30b例如可以是CCD图像传感器或者CMOS图像传感器等任意的图像传感器。关于第2摄像装置30b的详细构成后述。
第2摄像装置30b检测光脉冲I p被被检部11反射而产生的反射光脉冲的上升期间的成分的至少一部分，并输出与该强度相应的信号。该信号反映了被检部11的表面信息。或者，第2摄像装置30b检测光脉冲I p被被检部11反射而产生的反射光脉冲的下降期间的成分的至少一部分，并输出与该强度相应的信号。该信号反映了被检部11的内部信息。
反射光脉冲的“上升期间”是指，在第2摄像装置30b的摄像面上从该反射光脉冲的强度开始增加的时刻直到结束增加的时刻为止的期间。反射光脉冲的“下降期间”是指，在第2摄像装置30b的摄像面上从该反射光脉冲的强度开始减小的时刻直到结束减小的时刻为止的期间。更严密而言，“上升期间”意味着，从该反射光脉冲的强度超过预先设定的下限值的时刻直到达到预先设定的上限值的时刻为止的期间。“下降期间”意味着，从该反射光脉冲的强度低于预先设定的上限值的时刻直到达到预先设定的下限值的时刻为止的期间。上限值可以被设定为该反射光脉冲的强度的峰值的例如90％的值，下限值可以被设定为该峰值的例如10％的值。
第2摄像装置30b可以具备电子快门。电子快门是对摄像的定时进行控制的电路。电子快门对将接受的光转换为有效的电信号并积蓄的1次信号积蓄的期间、以及停止信号积蓄的期间进行控制。信号积蓄期间也称为“曝光期间”。在以下的说明中，将曝光期间的宽度也称为“快门宽度”。将1次曝光期间结束直到下一曝光期间开始为止的时间，也称为“非曝光期间”。
第2摄像装置30b通过电子快门，能够在亚纳秒、例如30ps至1ns的范围内对曝光期间及非曝光期间进行调整。以计测距离为目的的以往的TOF(飞行时间(Time-of-Flight))相机检测从光源20出射并被被摄体反射而返回的全部光。在以往的TOF相机中，需要快门宽度比光的脉冲宽度大。相对于此，在本实施方式中的摄像系统100中，无需对被摄体的光量进行校正。因此，快门宽度无需比反射光脉冲的脉冲宽度大。能够将快门宽度例如设定为1ns以上且30ns以下的值。根据本实施方式中的摄像系统100，能够缩小快门宽度，因此能够减小检测信号所包含的暗电流的影响。
＜电动装置40＞
电动装置40对摄像装置30进行支承，通过利用马达进行的平移旋转以及/或者倾斜旋转，能够改变摄像装置30的朝向。通过平移旋转，能够使摄像装置30的视野在水平方向上移动，通过倾斜旋转，能够使摄像装置的视野在垂直方向上移动。通过平移旋转改变摄像装置30的朝向的动作被称为“平移校正”，通过倾斜旋转改变摄像装置30的朝向的动作被称为“倾斜校正”。
电动装置40响应于来自处理装置50的信号，追随于第1图像中的生物体10的移动而改变摄像装置30的朝向。通过这样的电动装置40的动作，即使在生物体10向上下左右移动之后，也能够维持生物体10被包含在第1视野12a中而且生物体10的被检部11被包含在第2视野12b中的状态。电动装置40例如可以使第1摄像装置30a的朝向及第2摄像装置30b的朝向同步地改变。在该情况下，第1视野12a与第2视野12b的相对位置关系不依赖于摄像装置30的朝向。因此，基于表示第1视野12a中的生物体10的位置的第1图像数据，能够知晓第2视野12b与被检部11的相对位置关系。此外，根据用途，电动装置40也可以不改变第1摄像装置30a的朝向，而改变第2摄像装置30b的朝向。
电动装置40例如可以具备从由DC马达、无刷DC马达、PM马达、步进马达、感应马达、伺服马达、超声波马达、AC马达及轮毂马达构成的组中选择的至少1个马达。电动装置40也可以分别具备平移旋转用的马达和倾斜旋转用的马达。电动装置40也可以通过马达使摄像装置30在横滚方向上旋转。横滚方向意味着绕相对于平移旋转的旋转轴及倾斜旋转的旋转轴垂直的旋转轴的方向。在生物体10的面部倾斜的情况下，通过基于第1图像数据对面部的倾斜进行追随，并使摄像装置30在横滚方向上旋转，能够维持生物体10的被检部11被包含在第2视野12b中的状态。关于电动装置40的详细构成后述。
＜处理装置50＞
处理装置50所包括的控制电路52对光源20、摄像装置30及信号处理电路54的动作进行控制。控制电路52对光源20的光脉冲I p的出射定时与第2摄像装置30b的快门定时之间的时间差进行调整。在本说明书中，将该时间差也称为“相位差”。光源20的“出射定时”是从光源20出射的光脉冲开始上升的定时。“快门定时”是开始曝光的定时。控制电路52既可以使出射定时变化来调整相位差，也可以使快门定时变化来调整相位差。
控制电路52也可以构成为从由第2摄像装置30b的各像素检测出的信号中去除偏置成分。偏置成分是由于太阳光或照明光等环境光、或者干扰光引起的信号成分。通过在使光源20的驱动关闭(OFF)而从光源20不出射光的状态下，由第2摄像装置30b对信号进行检测，能够估计由于环境光或者干扰光引起的偏置成分。
处理装置50所包括的信号处理电路54基于第1图像数据，生成表示生物体10的位置信息的数据并输出。根据该数据，能够确定第1图像内的生物体10及其被检部11的位置。信号处理电路54基于第2图像数据，生成表示生物体10的被检部11的生物体信息的数据并输出。该数据反映了被检部11的表面信息以及/或者内部信息。关于计算脑的血液中的HbO2及Hb的各浓度相对于初始值的变化量作为内部信息的方法，详细后述。
信号处理电路54基于被检部11的表面信息以及/或者内部信息，能够估计生物体10的心理状态以及/或者身体状态。信号处理电路54也可以生成表示生物体10的心理状态以及/或者身体状态的数据并输出。心理状态例如可以是心情、情绪、健康状态或者温度感受。心情例如可以包含愉快或者不愉快等心情。情绪例如可以包含安心、不安、悲哀或者愤怒等情绪。健康状态例如可以包含有精神或者倦怠等状态。温度感受例如可以包含热、冷或者闷热等感受。从这些衍生而来，表示脑活动的程度的指标例如兴趣度、熟练度、熟悉度及集中度也可以包含在心理状态中。身体状态例如可以是疲劳度、睡意或者由于饮酒引起的醉意的程度。
控制电路52例如可以是处理器及存储器的组合、或者内置有处理器及存储器的微控制器等集成电路。控制电路52通过例如由处理器执行存储器56中记录的计算机程序，例如对出射定时和快门定时进行调整，或者使信号处理电路54执行信号处理。
信号处理电路54例如可以通过数字信号处理器(DSP)、现场可编程逻辑门阵列(FPGA)等可编程逻辑器件(PLD)、或者中央运算处理装置(CPU)或图像处理用运算处理器(GPU)与计算机程序的组合来实现。信号处理电路54通过由处理器执行存储器56中记录的计算机程序，执行信号处理。
信号处理电路54及控制电路52既可以是统合的1个电路，也可以是分离的个别的电路。信号处理电路54、控制电路52及存储器56中的至少1个也可以是例如被设置在远程地点的服务器等外部的装置的构成要素。在该情况下，服务器等外部的装置通过无线通信或者有线通信，与剩余的构成要素相互进行数据的收发。
在本说明书中，将控制电路52的动作及信号处理电路54的动作汇总作为处理装置50的动作进行说明。
＜其他＞
摄像系统100也可以具备：使生物体10的2维像形成在第1摄像装置30a的摄像面上的第1成像光学系统、以及使被检部11的2维像形成在第2摄像装置30b的摄像面上的第2成像光学系统。第1成像光学系统的光轴与第1摄像装置30a的摄像面大致正交。第2成像光学系统的光轴与第2摄像装置30b的摄像面大致正交。第1及第2成像光学系统各自也可以包括变焦镜头。如果使用第1光学系统的变焦镜头使焦距变化，则由第1摄像装置30a摄像的生物体10的2维像的分辨率变化。如果使用第2光学系统的变焦镜头使焦距变化，则由第2摄像装置30b摄像的生物体10的2维像的分辨率变化。因此，即使距生物体10的距离远，也能够将期望的计测区域扩大并详细观察。
摄像系统100也可以在被检部11与第2摄像装置30b之间具备使从光源20出射的波段的光、或者从光源20出射的波段的光及该波段附近的光通过的带通滤光器。由此，能够减小环境光等干扰成分的影响。带通滤光器例如可以通过多层膜滤光器或者吸收滤光器构成。考虑到光源20的温度变化、以及与向滤光器的斜入射相伴的带移，带通滤光器的带宽也可以具有20nm以上且100nm以下程度的宽度。
在取得内部信息的情况下，摄像系统100也可以在被检部11与光源20之间具备第1偏振片，并且在被检部11与第2摄像装置30b之间具备第2偏振片。在该情况下，第1偏振片的偏振方向与第2偏振片的偏振方向可以处于正交尼科尔的关系。通过这2个偏振片的配置，能够防止被检部11的表面反射成分I1之中的正反射成分、即入射角与反射角相同的成分到达第2摄像装置30b。也就是说，能够减小表面反射成分I1到达第2摄像装置30b的光量。
[处理装置50所执行的校正动作]
接下来，参照图2至图3B，说明在生物体10移动的情况下处理装置50所执行的校正动作的例子。图2是概略性表示在生物体10移动的情况下处理装置50所执行的校正动作的例子的流程图。处理装置50执行图2所示的步骤S101至S108的动作。图3A及图3B是用于说明电动装置40的动作的图。
＜步骤S101＞
在步骤S101中，处理装置50使第1摄像装置30a对生物体10进行摄像并生成及输出第1图像数据。在第1图像中，映现出存在于第1视野12a的内侧的物体。第1图像包括生物体10的面部。
＜步骤S102＞
在步骤S102中，处理装置50基于第1图像数据，通过机器学习处理从第1图像中提取生物体10的面部，并计算所提取的面部的中心与第1图像的中心的偏差量。
处理装置50具有对人的面部进行了学习的级联识别器。该识别器读入第1图像数据，用矩形框包围第1图像内的生物体10的面部部分，并输出该框在第1图像中的坐标。图3A所示的粗线的矩形框对应于第1图像中的矩形框。图3A所示的空心双向箭头表现第1视野12a内的面部的中心与第1视野12a的中心的偏差量，对应于第1图像内的面部的中心与第1图像的中心的偏差量。
＜步骤S103＞
在步骤S103中，处理装置50判定第1图像内的面部的中心与第1图像的中心的偏差量是否为规定的阈值以下。该规定的阈值例如可以是通过机器学习处理而提取的面部的宽度的1/2以下。在偏差量为面部的宽度的1/2以下的情况下，能够将第1图像的中心包含在提取的面部的区域内，能够将面部配置在第1图像的大致中央部分。在步骤S103中判定为否的情况下，处理装置50执行步骤S104的动作。在步骤S103中判定为是的情况下，处理装置50执行步骤S106的动作。
＜步骤S104＞
在步骤S104中，处理装置50基于偏差量，估计电动装置中的平移旋转以及/或者倾斜旋转的旋转量。如图3A所示，基于距离L、以及第1视野12a内的面部的中心与第1视野12a的中心的偏差量，能够计算某种程度的应该校正的旋转角度θ。距离L是第1摄像装置30a的摄像面的中心与第1视野12a的中心的距离。通过将第1图像内的面部的中心与第1图像的中心的偏差量的像素数和实际的距离建立对应，能够知晓第1视野12a内的面部的中心与第1视野12a的中心的偏差量。
一般而言，在光学透镜没有畸变像差的情况下，摄像元件面上的实像高度h通过使用物侧的视场角θ、光学透镜的焦距f而表现为h＝f×tan(θ)。注意到这一点，在步骤S104中，处理装置50也可以如下估计电动装置中的平移旋转以及/或者倾斜旋转的旋转量。
处理装置50基于第1摄像装置30a中设置的光学透镜的焦距f、以及在第1摄像装置30a上形成的第1视野12a内的面部的中心与第1视野12a的中心的偏差量h，计算应该校正的旋转角度θ。通过将第1图像内的面部的中心与第1图像的中心的偏差量的像素数和像素大小建立对应，能够知晓在第1摄像装置30a上形成的第1视野12a内的面部的中心与第1视野12a的中心的偏差量h。应该校正的旋转角度θ被计算为θ＝atan(h/f)。
＜步骤S105＞
在步骤S105中，处理装置50如图3B所示，使电动装置40平移旋转以及/或者倾斜旋转所估计的旋转量，来使第1摄像装置30a的朝向及第2摄像装置30b的朝向同步地改变。
处理装置50反复进行步骤S101至S105的动作，直到偏差量成为阈值以下为止。换言之，处理装置50在使电动装置40同步地改变第1摄像装置30a的朝向及第2摄像装置30b的朝向之后，反复使电动装置40进行同步地进一步改变两者的朝向的动作以使偏差量减小。如上所述，在阈值为面部的宽度的1/2以下的情况下，能够将第1图像的中心包含在所提取的面部的区域内。因此，也能够说处理装置50使电动装置40改变第1摄像装置30a的朝向，以使第1图像的中心被包含在生物体10的面部的区域中。
对偏差量反复进行校正的理由是，由于被检部11的立体形状所引起的遮蔽的变化、马达的扭矩变化、以及马达的旋转轴与摄像装置的光轴之间的偏离等各种因素，有时通过计算的旋转角度θ无法一次校正偏差量。
在偏差量为阈值以下的情况下，能够使被检部11处于第2视野12b的内侧。在该情况下，由于被检部11的大小比生物体10的面部的大小小，因此也可能发生以下的课题。即，即使偏差量为阈值以下，在生物体10移动的前后，如图1A及图3B所示，第2视野12b中的被检部11的位置不同，也有可能无法准确地跟踪被检部11。
于是，在本实施方式中，除了由电动装置40对摄像装置30进行平移校正以及/或者倾斜校正之外，还基于第2图像数据进行基于图像处理的跟踪。结果，能够在生物体10的移动前后稳定地取得其被检部11的生物体信息。以下说明基于图像处理的跟踪动作。
＜步骤S106＞
在步骤S106中，处理装置50使第2摄像装置30b对被检部11进行摄像并生成及输出第2图像数据。在第2图像中，映现出存在于第2视野12b的内侧的物体。第2图像包含生物体10的前额部。
＜步骤S107＞
在步骤S107中，处理装置50通过基于第2图像数据进行的基于图像处理的跟踪，对生物体10的身体动作进行校正。通过基于图像处理的跟踪进行的身体动作校正，是将生物体10移动前后的第2图像内的与被检部11对应的部分的图像区域的位置偏差抑制为规定的阈值以下的处理。该规定的阈值例如可以是10像素或者3像素。通过这样的身体动作校正，能够在生物体10移动前后更准确地取得被检部11的生物体信息。
在基于图像处理的跟踪校正中，例如适用如KLT算法那样的基于2维图像的特征点的跟踪校正、或者利用了基于测距的3维模型而进行的基于ICP算法的利用3维匹配的跟踪校正。在利用3维匹配的跟踪校正中，除了水平方向及垂直方向上的偏差校正之外，还通过3维仿射变换进行3维的旋转校正。测距例如能够使用国际公布第2021/145090号所公开的技术。为了参考，将日本特愿2020-005761的公开内容全部通过参照引用至本说明书中。
在本实施方式所涉及的摄像系统100中，通过由电动装置40改变摄像装置30的朝向，能够将至少前额部的一部分包含在第2视野12b中。通过包含前额部，能够用从光源20出射的光脉冲隔着前额部照射脑，能够根据通过光照射而产生的反射脉冲光取得脑血流信息。
通过由电动装置40改变摄像装置30的朝向，也可以将眉毛包含在第2视野中。通过包含眉毛，能够利用眉毛的边缘部作为跟踪校正时的特征点，能够提高基于2维图像的特征点的跟踪校正或者利用3维匹配的跟踪校正的精度。进而，通过由电动装置40改变摄像装置30的朝向，也可以将鼻子包含在第2视野中。通过包含鼻子，能够增大3维匹配中的特征点的凹凸变化，能够提高跟踪校正的精度。
＜步骤S108＞
处理装置50基于对生物体的10的身体动作进行校正的结果，决定第2图像内的与被检部对应的部分的像素区域。该像素区域与生物体10移动前的第2图像内的与被检部11对应的部分的像素区域一致。在本说明书中，两个像素区域一致，意味着两个像素区域的位置偏差为10像素以下。处理装置50根据决定的像素区域，生成表示被检部11的生物体信息的数据并输出。
在参照图2说明的上述例子中，使用面部的中心与第1图像的中心的偏差量。也可以将面部的中心以外的位置作为面部的特定位置，将第1图像的中心以外的位置作为第1图像的特定位置，并通过面部的特定位置及第1图像的特定位置来规定偏差量。面部的特定位置例如可以是眼睛或者鼻子的位置。第1图像的特定位置例如可以是与将第1图像在水平方向上3等分的虚拟的2根纵线与在垂直方向上3等分的虚拟的2根横线所成的4个交点分别最近的4个像素中的任1个。
第1图像的特定位置也可以决定为能够补偿第1视野12a的中心与第2视野12b的中心的偏差。这样的视野中心的偏差可能由于第1摄像装置30a与第2摄像装置30b的设置位置不同而产生。由于视野中心的偏差，即使使第1图像的中心与生物体10的面部的中心一致，被检部11也有可能从第2视野12b超出，导致计测精度降低。
通过恰当地决定第1图像的特定位置，能够补偿视野中心的偏差并抑制计测精度降低。视野中心的偏差量能够通过事先的校准来估计。视野中心的偏差量例如能够通过以下的方法估计。该方法是，由第1摄像装置30a及第2摄像装置30b对同一对象物进行摄影来分别取得第1图像及第2图像，并对第1图像及第2图像内的该对象物的位置的坐标进行比较。基于估计的视野中心的偏差量从第1图像的中心偏移的其他位置，被决定为第1图像的特定位置。通过使像这样决定的第1图像的特定位置与面部的特定位置一致，能够补偿视野中心的偏差并使被检部11处于第2视野12b的内侧。进而，也能够使被检部11的中心与第2图像的中心一致。
在参照图2说明的上述例子中，在面部的中心与第1图像的中心的偏差量为阈值以下的情况下，生成及输出第2图像数据。如果不考虑计测精度，则与偏差量是否为阈值以下无关，可以在任意的定时生成及输出第2图像数据。
在参照图2说明的上述例子中，处理装置50使电动装置40同步地改变第1摄像装置30a及第2摄像装置30b的朝向。处理装置50也可以使电动装置40不改变第1摄像装置30a的朝向而改变第2摄像装置30b的朝向。例如，处理装置50也可以根据基于第1图像数据的生物体10的移动前后的位置信息计算生物体10的移动矢量，并以与该移动矢量相应的量改变第2摄像装置30b的朝向。
[电动装置的构成例]
接下来，参照图4A至图4C说明电动装置40的构成例。图4A是示意性地表示对摄像装置30进行支承的电动装置40的第1例的斜视图。图4A所示的电动装置40对第1摄像装置30a及第2摄像装置30b进行支承，使第1摄像装置30a的朝向及第2摄像装置30b的朝向同步地改变。在第2摄像装置30b安装有光源20。
图4A所示的电动装置40具备用于针对摄像装置30分别进行平移校正及倾斜校正的第1电动机构42a及第2电动机构42b。第1摄像装置30a具备视野相对较宽的第1透镜32a，第2摄像装置30b具备视野相对较窄的第2透镜32b。图1A所示的第1视野12a及第2视野12b由第1透镜32a及第2透镜32b分别决定。第1摄像装置30a及第2摄像装置30b配置为第1透镜32a及第2透镜32b相互接近。通过这样的配置，能够使第1透镜32a的视野中心与第2透镜32b的视野中心相互接近。通过使第1摄像装置30a的朝向及第2摄像装置30b的朝向同步地改变，能够对第1图像中的面部的中心位置进行校正，同时也能够对第2图像中的被检部11的中心位置进行校正。
第1透镜32a与第2透镜32b的光轴间距离例如可以为80mm以下。此时，在第2透镜32b的中心与被检部11的中心的距离为50cm的构成中，以第1透镜32a的中心或者第2透镜32b的中心为基准，能够将第1视野12a的中心与第2视野12b的中心的偏差角抑制为10°以下。进而，在第1透镜32a与第2透镜32b的光轴间距离例如为40mm以下的情况下，能够将上述的偏差角抑制为5°以下。在第1透镜32a与第2透镜32b的光轴间距离例如为20mm以下的情况下，能够将上述的偏差角抑制为3°以下。
图4B是示意性地表示对摄像装置30进行支承的电动装置40的第2例的斜视图。图4B所示的电动装置40具备用于针对第1摄像装置30a分别进行平移校正及倾斜校正的第1电动机构42a及第2电动机构42b。图4B所示的电动装置40还具备用于针对第2摄像装置30b分别进行平移校正及倾斜校正的第3电动机构42c及第4电动机构42d。图4B所示的电动装置40能够个别地改变第1摄像装置30a的朝向和第2摄像装置30b的朝向。因此，也能够不改变第1摄像装置30a的朝向而改变第2摄像装置30b的朝向。
在图4B所示的电动装置40中，可以进行设计以使第1透镜32a的光轴接近于第1电动机构42a及第2电动机构42b的旋转轴，而且使第2透镜32b的光轴接近于第3电动机构42c及第4电动机构42d的旋转轴。通过使各透镜的光轴接近于对应的电动机构的旋转轴，能够提高步骤S104中的平移旋转以及/或者倾斜旋转的旋转量的估计精度，能够减少反复对偏差量进行校正的次数。
图4C是示意性地表示对摄像装置30进行支承的电动装置40的第3例的斜视图。图4C所示的电动装置40具备能够使摄像装置30的朝向在6轴方向上变化的臂构造。该6轴方向包括前后方向、上下方向、左右方向、平移方向、倾斜方向及横滚方向。通过图4C所示的电动装置40，能够更准确地对第2摄像装置30b与被检部11的位置关系进行校正。特别是，在距离方向上也能够使第2摄像装置30b移动，即使在被检部11向第2摄像装置30b靠近或者从第2摄像装置30b远离的情况下，也能够将第2摄像装置30b与被检部11的距离保持为一定。结果，即使生物体10进行自由度更高的移动，也能够稳定地取得被检部11的生物体信息。
(变形例)
接下来，参照图5说明本实施方式所涉及的摄像系统100的变形例。图5是示意性地表示由本实施方式的变形例所涉及的摄像系统对生物体10进行摄像的例子的图。图5所示的摄像系统110除了图1A所示的摄像系统100的构成之外还具备显示器60。在图5中，省略图1A所示的摄像系统100的构成之中的除了摄像装置30以外的构成。在图5所示的例中，生物体10从在从生物体10观察时的显示器60的正面、右侧或者左侧，对显示器60进行视听。显示器60被配置在摄像装置30的附近，但不被配置在生物体10与摄像装置30之间。附近意味着，第1摄像装置30a及第2摄像装置30b之中的距显示器60较近一方的摄像装置与显示器60的间隙的最小距离为50cm以下。在图5所示的例中，摄像装置30处于显示器60的背面侧而且比显示器60高的位置。摄像装置30在从生物体10观察时，例如可以配置在显示器60的上下左右的任一方。显示器60例如可以是桌面PC的监视器、笔记本PC的监视器或者检查设备的监视器。
在本变形例中，无论生物体10从哪个方向对显示器60进行视听，通过针对摄像装置30进行平移校正以及/或者倾斜校正，都能够在使摄像装置30与生物体10总是正对的状态下取得被检部11的生物体信息。如果生物体10对显示器60进行视听，则第2摄像装置30b的光轴与被检部11的前额面所成的角度总是保持一定。从光源20出射的光脉冲向被检部11的前额面入射时的入射强度依赖于入射角度。因此，将第2摄像装置30b的光轴与被检部11的前额面所成的角度保持一定，对于稳定地取得被检部11的生物体信息是有效的。
进而，也可以向摄像装置30追加对生物体10的面部的朝向进行检测的功能。生物体10的面部的朝向是面部相对于摄像装置30或者显示器60的朝向。处理装置50也可以基于第1图像数据以及/或者第2图像数据对面部的朝向进行检测，在生物体10的面部面向摄像装置30或者显示器60的方向的情况下，生成并输出被检部11的生物体信息。处理装置50进而也可以将生成的生物体信息例如利用于估计生物体10的心理状态以及/或者身体状态。即，处理装置50也可以基于检测出的面部的朝向，生成并输出生物体信息，或者决定是否利用生物体信息。例如，在生物体10的面部的特定位置与第1图像的特定位置的偏差量超过某阈值的情况下，处理装置50也可以对生物体信息的生成及输出进行限制。通过这样的限制，在生物体10东张西望或者离开座位的情况下，能够排除与希望取得的生物体信息的数据不同的噪声数据。作为对面部的朝向进行检测的方法，例如也可以使用通过对面部的眼睛、鼻子、嘴及轮廓等的特征点进行检测的界标检测来估计面部的朝向的方法、或者根据面部的3维数据估计面部的朝向的方法。
(实施例)
接下来，说明本实施方式所涉及的摄像系统100的实施例以及比较例。在实施例中，在与生物体10的移动相应地改变摄像装置30的朝向之后，取得了移动后的被检部11的脑血流信息。相对于此，在比较例中，在使摄像装置30的朝向固定的状态下，取得了移动后的被检部11的脑血流信息。
在实施例及比较例中，作为生物体10而模拟了人的头部的幻影模型被近红外的光脉冲照射。幻影模型的吸收系数及散射系数分别等于人的头部的吸收系数及散射系数。为了再现生物体10的移动，由驱动台使摄像系统100移动来使摄像装置30与幻影模型的相对位置变化。该驱动台能够使摄像系统100在X方向以及/或者Y方向上移动。X方向及Y方向分别是第1图像的水平方向及垂直方向。生物体10的移动量在X方向上设为±10mm、±20mm、±30mm、±60mm及±90mm，在Y方向上设为±10mm、±20mm及±30mm。生物体10的移动量也可以更大，但为了能够将针对摄像装置30进行平移校正以及/或者倾斜校正的实施例与不进行这样的校正的比较例进行比较，生物体10的移动量设为被检部11被包含在第2视野12b中的范围。通过图4A所示的电动装置40，使第1摄像装置30a的朝向及第2摄像装置30b的朝向同步地改变。
图6A是表示在使摄像装置30的朝向固定的状态下取得了移动后的被检部11的脑血流信息的比较例的图。图6B是表示在与生物体10的移动相应地改变摄像装置30的朝向之后取得了移动后的被检部11的脑血流信息的实施例的图。各图的横轴表现生物体10的移动量(mm)，纵轴表现从第2图像数据取得的相对于初始值的信号变化量。横轴的“基础(base)”表现移动前的初始状态。在实施例及比较例中，在基于幻影的面部形状利用3维匹配进行了软件上的跟踪校正之后，计测了作为ROI(感兴趣区域(Region Of Interest))的前额部的中央区域中的相对于初始值的信号变化量。计测次数在比较例中是3次，在实施例中是7次。图6A及图6B所示的棒条的大小表现计测出的信号变化量的绝对值的平均值。误差条表现计测出的信号变化量的绝对值的从最小值到最大值的范围。在生物体10移动前后脑血流没有变化，因此信号变化量也可以是零。
在图6A所示的比较例中，随着生物体10的移动量变大，信号变化量大为变化。作为信号值变动的重要原因可以想到：伴随着大的移动，利用3维匹配的跟踪校正的误差增大；以及在ROI处照度光脉冲的照度分布误差增大。相对于此，在图6B所示的实施例中，信号变化量的绝对值在整体上小，与图6A所示的比较例相比减小到1/4至1/2左右。即使在生物体10的移动量为90mm的情况下，相对于图6A所示的比较例也观察到大幅改善。
由此，可知通过本实施方式所涉及的摄像系统100能够得到以下的效果。不仅能够将移动后的生物体10的被检部11包含在第2视野12b中，而且能够提高利用3D匹配的跟踪校正的精度，或者减小照度光脉冲的照度分布误差。结果，即使生物体10移动，也能够稳定地取得生物体信息。
在实施例中，针对摄像装置30进行平移校正以及/或者倾斜校正，以便能够追随于在X方向以及/或者Y方向上移动的生物体10。如果能够针对摄像装置30进行进一步的校正以便能够追随于在相对于X方向及Y方向垂直的Z方向上也移动的生物体10，则认为能够更稳定地取得生物体信息。
以下说明与取得被检部11的内部信息相关的事项。该事项包括：第2摄像装置30b的构成、第1光脉冲I p1及第2光脉冲I p2的出射动作、内部散射成分I 2的检测方法、以及血液中的HbO 2及Hb的各浓度相对于初始值的变化量的计算。
[第2摄像装置30b的构成]
接下来，参照图7说明第2摄像装置30b的构成例。图7是表示第2摄像装置30b的构成的一例的图。在图7中，由二点划线的框包围的区域相当于1个像素201。虽未图示，在像素201中包括1个光电二极管。在图7中表示了以2行4列排列的8个像素，但在实际上可以配置更多个像素。各像素201包括第1浮动扩散层204及第2浮动扩散层206。在此，设为第1光脉冲I p1的波长是650nm以上而且比805nm短，第2光脉冲I p2的波长比805nm长而且为950nm以下。第1浮动扩散层204积蓄通过接受第1光脉冲I p1的第1反射光脉冲而产生的电荷。第2浮动扩散层206积蓄通过接受第2光脉冲I p2的第2反射光脉冲而产生的电荷。第1浮动扩散层204及第2浮动扩散层206中积蓄的信号被如同一般的CMOS图像传感器的2个像素的信号那样对待，并从第2摄像装置30b输出。
各像素201具有2个信号检测电路。各信号检测电路包含源极跟随器晶体管309、行选择晶体管308和复位晶体管310。各晶体管例如是形成于半导体基板的场效应晶体管，但不限定于此。如图所示，源极跟随器晶体管309的输入端子及输出端子的一方与行选择晶体管308的输入端子及输出端子之中的一方连接。源极跟随器晶体管309的输入端子及输出端子的上述一方典型地是源极。行选择晶体管308的输入端子及输出端子的上述一方典型地是漏极。作为源极跟随器晶体管309的控制端子的栅极与光电二极管连接。由光电二极管生成的空穴或者电子的信号电荷被积蓄在光电二极管与源极跟随器晶体管309之间的作为电荷积蓄部的浮动扩散层中。
在图7中虽未示出，第1浮动扩散层204及第2浮动扩散层206与光电二极管连接。在光电二极管与第1浮动扩散层204及第2浮动扩散层206各自之间可以设置开关。该开关与来自处理装置50的信号积蓄脉冲相应地，切换光电二极管与第1浮动扩散层204及第2浮动扩散层206各自之间的导通状态。由此，对信号电荷向第1浮动扩散层204及第2浮动扩散层206各自的积蓄的开始和停止进行控制。本实施方式中的电子快门具有用于这样的曝光控制的机构。
第1浮动扩散层204及第2浮动扩散层206中积蓄的信号电荷通过由行选择电路302将行选择晶体管308的栅极设为导通(ON)而被读出。此时，与第1浮动扩散层204及第2浮动扩散层206的信号电位相应地，从源极跟随器电源305向源极跟随器晶体管309及源极跟随器负载306流入的电流被放大。基于从垂直信号线304读出的该电流的模拟信号由与每列连接的模拟-数字(AD)转换电路307转换为数字信号数据。该数字信号数据由列选择电路303按每列读出，并从第2摄像装置30b输出。行选择电路302及列选择电路303在进行了1行的读出之后，进行下一行的读出，以下同样地读出全部行的浮动扩散层的信号电荷的信息。处理装置50在读出了全部信号电荷之后，使复位晶体管310的栅极导通，从而将全部浮动扩散层复位。由此，1帧的摄像完成。通过以下同样地反复进行帧的高速摄像，第2摄像装置30b对一系列帧的摄像完结。
在本实施方式中，说明了CMOS型的第2摄像装置30b的例子，但第2摄像装置30b也可以是其他种类的摄像元件。第2摄像装置30b例如也可以是CCD型，也可以是单一光子计数型元件，还可以是EMCCD或者ICCD等放大型图像传感器。
[第1光脉冲I p1及第2光脉冲I p2的出射动作]
接下来，参照图8A及图8B说明第1光脉冲I p1及第2光脉冲I p2的出射动作。图8A是表示出射第1光脉冲I p1及第2光脉冲I p2的动作例的图。如图8A所示，在1帧内，也可以交替地多次切换第1光脉冲I p1的出射与第2光脉冲I p2的出射。结果，能够减小基于2个种类的波长的检测图像的取得定时的时间差，即使在被检部11有移动的情况下，也能够大致同时使用第1光脉冲I p1及第2光脉冲I p2进行摄像。
图8B是表示出射第1光脉冲I p1及第2光脉冲I p2的动作的其他例的图。如图8B所示，也可以按每帧切换第1光脉冲I p1的出射与第2光脉冲I p2的出射。结果，能够按每帧切换第1光脉冲I p1的反射光脉冲的检测与第2光脉冲I p2的反射光脉冲的检测。在该情况下，各像素201也可以具备单一的电荷积蓄部。根据这样的构成，能够减少各像素201的电荷积蓄部的数量，因此能够增大各像素201的大小，能够提高灵敏度。
[内部散射成分I 2的检测方法]
以下，参照图9A及图9C，说明内部散射成分I 2的检测方法。
图9A是示意性地表示在光脉冲I p具有脉冲波形的情况下的反射光脉冲所包含的表面反射成分I1及内部散射成分I 2的时间变化例的图。图9B是示意性地表示在光脉冲I p具有矩形形状的波形的情况下的反射光脉冲所包含的表面反射成分I1及内部散射成分I 2的时间变化例的图。各图的左侧的图表现从光源20出射的光脉冲I p的波形例，右侧的图表现反射光脉冲所包含的表面反射成分I1及内部散射成分I 2的波形例。
如图9A的右侧的图所示，在光脉冲I p具有脉冲波形的情况下，表面反射成分I1具有与光脉冲I p同样的波形，内部散射成分I 2具有比表面反射成分I1延迟的脉冲响应波形。这是因为，内部散射成分I 2相当于经过了被检部11内的各种路径后的光线的组合。
如图9B的右侧的图所示，在光脉冲I p具有矩形形状的波形的情况下，表面反射成分I1具有与光脉冲I p同样的波形，内部散射成分I 2具有将多个脉冲响应波形重叠而成的波形。本发明人们确认到，通过多个脉冲响应波形重叠，与光脉冲I p具有脉冲波形的情况相比，能够放大摄像装置30所检测的内部散射成分I 2的光量。通过在反射光脉冲的下降部分开始电子快门，能够有效地检测内部散射成分I 2。图9B的右侧的图中的由虚线包围的区域表现摄像装置30的电子快门开放的快门开放期间的例子。如果矩形脉冲的脉冲宽度为1ns至10ns的量级，则能够以低电压驱动光源20。因此，能够实现本实施方式中的摄像系统100的小型化及降低成本。
以往，为了对生物体内部的深度方向上不同位置处的光吸收系数或者光散射系数等信息进行区别并检测，使用条纹相机。例如，专利文献2公开了这样的条纹相机的一例。在这些条纹相机中，为了以期望的空间分辨率进行计测，使用脉冲宽度为毫微微秒(飞秒)或者微微秒(皮秒)的极超短光脉冲。相对于此，在本实施方式中，能够对表面反射成分I1与内部散射成分I 2进行区别并检测。因此，从光源20出射的光脉冲不需要是极超短光脉冲，能够任意选择脉冲宽度。
在用光照射生物体10的头部并对脑血流进行计测的情况下，内部散射成分I 2的光量可以成为表面反射成分I1的光量的数千分之1至数万分之1程度的非常小的值。进而，如果考虑到激光的安全标准，则能够照射的光的光量极小。因此，内部散射成分I 2非常难以检测。在该情况下，光源20如果出射脉冲宽度相对大的光脉冲I p，则也能够使伴随着时间延迟的内部散射成分I 2的累计量增加。由此，能够增加检测光量，并提高SN比。
光源20例如可以出射脉冲宽度为3ns以上的光脉冲I p。或者，光源20也可以出射脉冲宽度为5ns以上、进而为10ns以上的光脉冲I p。另一方面，脉冲宽度过大也会导致未使用的光增加而造成浪费，因此光源20例如可以出射脉冲宽度为50ns以下的光脉冲I p。或者，光源20也可以出射脉冲宽度为30ns以下、进而为20ns以下的光脉冲I p。如果矩形脉冲的脉冲宽度为数ns至数十ns，则能够以低电压驱动光源20。因此，能够降低本实施方式中的摄像系统100的成本。
光源20的照射模式例如是在照射区域内具有均一的强度分布的模式。在这一点上，本实施方式中的摄像系统100与例如专利文献1所公开的以往的装置不同。在专利文献1所公开的装置中，使检测器与光源相离3cm左右，表面反射成分在空间上与内部散射成分分离，因此照射模式不得不设为具有离散性的强度分布的模式。相对于此，在本实施方式中，能够将表面反射成分I1在时间上与内部散射成分I 2分离并减小。因此，能够使用具有均一的强度分布的照射模式的光源20。具有均一的强度分布的照射模式也可以通过利用扩散板使从光源20出射的光扩散来形成。
在本实施方式中，与现有技术不同，即使在被检部11的照射点正下，也能够检测内部散射成分I 2。通过在空间上跨大范围用光照射被检部11，也能够提高计测分辨率。
图9C是表示与第1光源20a、第2光源20b及第2摄像装置30b相关的处理装置50的动作的概略的流程图。处理装置50大体上执行图9C所示的动作，从而使第2摄像装置30b检测第1及第2反射光脉冲各自的下降期间的至少一部分的成分。
＜步骤S201＞
在步骤S201中，处理装置50使第1光源20a以规定时间出射第1光脉冲I p1。此时，第2摄像装置30b的电子快门处于停止曝光的状态。处理装置50使电子快门停止曝光，直到第1反射光脉冲之中的表面反射成分I1到达第2摄像装置30b的期间完结为止。
＜步骤S202＞
在步骤S202中，处理装置50在第1反射光脉冲之中的内部散射成分I 2到达第2摄像装置30b的定时，使电子快门开始曝光。
＜步骤S203＞
在步骤S203中，处理装置50在经过规定时间后，使电子快门停止曝光。通过步骤S102及S103，在图7所示的第1浮动扩散层204中积蓄信号电荷。将该信号电荷称为“第1信号电荷”。
＜步骤S204＞
在步骤S204中，处理装置50使第2光源20b以规定时间出射第2光脉冲I p2。此时，第2摄像装置30b的电子快门处于停止曝光的状态。处理装置50使电子快门停止曝光，直到第2反射光脉冲之中的表面反射成分I1到达第2摄像装置30b的期间完结为止。
＜步骤S205＞
在步骤S205中，处理装置50在第2反射光脉冲之中的内部散射成分I 2到达第2摄像装置30b的定时，使电子快门开始曝光。
＜步骤S206＞
在步骤S206中，处理装置50在经过规定时间后，使电子快门停止曝光。通过步骤S105及S106，在图7所示的第2浮动扩散层206中积蓄信号电荷。将该信号电荷称为“第2信号电荷”。
＜步骤S207＞
在步骤S207中，处理装置50判断执行上述的信号积蓄的次数是否达到了规定的次数。在步骤S207中判定为否的情况下，处理装置50反复进行步骤S201至步骤S206，直到判定为是为止。在步骤S207中判定为是的情况下，处理装置50执行步骤S208的动作。
＜步骤S208＞
在步骤S208中，处理装置50使第2摄像装置30b基于第1信号电荷生成并输出第1信号，而且，处理装置50使第2摄像装置30b基于第2信号电荷生成并输出第2信号。第1信号及第2信号反映了被检部11的内部信息。
总结图9C所示的动作如下。处理装置50执行使第1光源20a出射第1光脉冲I p1并使第2摄像装置30b检测第1反射光脉冲的下降期间的至少一部分的成分的第1动作。处理装置50执行使第2光源20b出射第2光脉冲I p2并使第2摄像装置30b检测第2反射光脉冲的下降期间的至少一部分的成分的第2动作。处理装置50以规定次数反复进行包括第1动作及第2动作的一系列动作。或者，处理装置50也可以以规定次数反复进行第1动作，其后以规定次数反复进行第2动作。也可以将第1动作与第2动作调换。
通过图9C所示的动作，能够以高灵敏度检测内部散射成分I 2。在用光照射生物体10的头部并取得如脑血流那样的内部信息的情况下，光在内部的衰减率非常大。例如，相对于入射光，出射光可能衰减至100万分之1程度。因此，对于检测内部散射成分I 2而言，照射1个脉冲有时光量不足。作为基于激光安全性基准的类1的照射，光量尤其微弱。在该情况下，光源20多次出射光脉冲，与其相应，第2摄像装置30b也通过电子快门多次曝光，能够将检测信号累计来提高灵敏度。此外，多次的光出射及曝光不是必须的，而根据需要进行。
进而，在上述的例中，通过使第2摄像装置30b检测第1及第2反射光脉冲各自的上升期间的至少一部分的成分，能够检测第1及第2反射光脉冲各自的表面反射成分I1，能够取得如面部及头皮的血流那样的表面信息。图7所示的各像素201所包括的第1浮动扩散层204及第2浮动扩散层206分别可以积蓄通过接受第1及第2反射光脉冲之中的上升期间的至少一部分的成分而产生的电荷。
或者，也可以将图7所示的在行方向上相互相邻的2个像素201作为1个像素对待。例如，一方的像素201所包括的第1浮动扩散层204及第2浮动扩散层206分别可以积蓄通过接受第1及第2反射光脉冲之中的下降期间的至少一部分的成分而产生的电荷。另一方的像素201所包括的第1浮动扩散层204及第2浮动扩散层206分别可以积蓄通过接受第1及第2反射光脉冲之中的上升期间的至少一部分的成分而产生的电荷。通过这样的构成，能够取得生物体10的内部信息和表面信息。
[血液中的HbO 2及Hb的各浓度相对于初始值的变化量的计算]
在第1光脉冲I p1的第1波长为650nm以上而且比805nm短，第2光脉冲I p2的第2波长比850nm长而且为950nm以下的情况下，通过使用第1信号及第2信号求解预定的联立方程式，能够求出血液中的HbO 2及Hb的各浓度相对于初始值的变化量。下式(1)及式(2)表现联立方程式的例子。
[数1]
[数2]
ΔHbO 2及ΔHb分别表现血液中的HbO 2及Hb的浓度相对于初始值的变化量。ε750 OXY及ε750 deOXY分别表现波长750nm处的HbO 2及Hb的摩尔吸光系数。ε850 OXY及ε850 deOXY分别表现波长850nm处的HbO 2及Hb的摩尔吸光系数。I 750 ini及I 750 now分别表现波长750nm处的在基准时间(初始时间)和某时间的检测强度。这些记号例如表现在脑未活化的状态和活化的状态下的检测强度。I 850 ini及I 850 now分别表现波长850nm处的在基准时间(初始时间)和某时间的检测强度。这些记号例如表现在脑未活化的状态和活化的状态下的检测强度。
也可以在受试者经历某事象A之前实施1次图9C所示的流程图的处理，并在受试者经历了某事象A之后实施1次图9C所示的流程图的处理。在该情况下，上式(1)、(2)中的变量也可以如下定义。
·I 750 ini＝(基于在受试者经历某事象A之前由第1光源朝向受试者出射的第1光脉冲所对应的第1反射光，由第2摄像装置30b生成的第1信号的强度)，
·I 850 ini＝(基于在受试者经历某事象A之前由第2光源朝向受试者出射的第2光脉冲所对应的第2反射光，由第2摄像装置30b生成的第2信号的强度)，
·I 750 now＝(基于在受试者经历了某事象A之后由第1光源朝向受试者出射的第1光脉冲所对应的第1反射光，由第2摄像装置30b生成的第1信号的强度)，
·I 850 now＝(基于在受试者经历了某事象A之后由第2光源朝向受试者出射的第2光脉冲所对应的第2反射光，由第2摄像装置30b生成的第2信号的强度)，
·ΔHbO 2＝{(受试者经历了某事象A之后的受试者的血液中的HbO 2浓度)-(受试者经历某事象A之前的受试者的血液中的HbO 2浓度)}，
·ΔHb＝{(受试者经历了某事象A之后的受试者的血液中的Hb浓度)-(受试者经历某事象A之前的受试者的血液中的Hb浓度)}
[其他1]
图2所示的S102～S106的处理也可以是如下所示的S102’～S106’的处理。使用用于说明第1图像中的偏差量Q1、偏差量Q2的图3C、用于说明第1旋转量、第2旋转量的图3D，说明这些处理。
＜步骤S102’(＝替代步骤S102的处理)＞
处理装置50基于第1图像数据，通过机器学习处理从第1图像112a中提取包含生物体10的面部的面部区域112，并计算该面部区域的中心O112与第1图像112a的中心O112a的偏差量。偏差量包括作为水平方向的偏差量的偏差量Q1、垂直方向的偏差量Q2(参照图3C)。
处理装置50包括对人的面部进行了学习的级联识别器(未图示)。该级联识别器读入第1图像数据，输出用于确定第1图像112a中的包含生物体10的面部的面部区域112的信息(例如，面部区域112的框的4个角各自的2维坐标)。
＜步骤S103’(＝替代步骤S103的处理)＞
处理装置50进行判定偏差量Q1是否为第1阈值以下的第1判定、以及/或者判定偏差量Q2是否为第2阈值以下的第2判定。第1阈值也可以是面部区域112的横向宽度Q3的1/2的值，第2阈值也可以是面部区域112的纵向宽度Q4的1/2的值。处理装置50在第1判定为是或者第2判定为是的情况下，执行步骤S106的动作。处理装置50在第1判定为否而且第2判定为否的情况下，执行步骤S104的动作。
＜步骤S104’(＝替代步骤S104的处理)＞
处理装置50决定电动装置40中的平移旋转的第1旋转量、电动装置40中的倾斜旋转的第2旋转量。
第1旋转量、第2旋转量各自基于与面部区域112的中心O112对应的第1点的3维坐标(x1，y1，z1)决定(参照图3D)。该3维坐标(x1，y1，z1)也可以利用对摄像装置30设置立体相机(stereo camera system)并对第1点进行测距(distance measurement)技术来决定。也可以向第1摄像装置搭载以单目对第1点进行测距的功能，并决定该3维坐标(x1，y1，z1)。
第1三维坐标在包括第1摄像装置30a、生物体30的3维空间中定义。该3维空间的z轴定义为与第1摄像装置30a的光轴重叠，而且，该3维空间的z轴定义为与包含第1点的第1平面垂直相交。该3维空间的原点也可以是第1摄像装置30a的焦点。
第1旋转量也可以使用x1和z1决定。第2旋转量也可以使用y1和z1决定。
＜步骤S105’(＝替代步骤S105的处理)＞
处理装置50使电动装置40以第1旋转量平移旋转，而且，处理装置50使电动装置40以第2旋转量倾斜旋转。由此，第1摄像装置30a的朝向及第2摄像装置30b的朝向同步地变化。也就是说，第1摄像装置30a的光轴与第2摄像装置30b的光轴所成的x轴方向的角度、第1摄像装置30a的光轴与第2摄像装置30b的光轴所成的y轴方向的角度、以及第1摄像装置30a的光轴与第2摄像装置30b的光轴所成的z轴方向的角度，不由于使电动装置40平移旋转而变化。第1摄像装置30a的光轴与第2摄像装置30b的光轴所成的x轴方向的角度、第1摄像装置30a的光轴与第2摄像装置30b的光轴所成的y轴方向的角度、以及第1摄像装置30a的光轴与第2摄像装置30b的光轴所成的z轴方向的角度，不由于使电动装置40倾斜旋转而变化。
[其他2]
本公开不限定于上述的实施方式。只要不脱离本公开的主旨，对本实施方式施以本领域技术人员所想到的各种变形而得到的方式、以及将不同实施方式中的构成要素组合而构筑的方式，都包含在本公开的范围内。
工业实用性
本公开中的摄像系统能够取得生物体的被检部的生物体信息。本公开中的摄像系统例如在生物体传感方面是有用的。
附图标记说明：
10生物体
11被检部
12a第1视野
12b第2视野
20光源
20a第1光源
20b第2光源
30摄像装置
30a第1摄像装置
30b第2摄像装置
32a第1透镜
32b第2透镜
40电动装置
42a第1电动机构
42b第2电动机构
42c第3电动机构
42d第4电动机构
50处理装置
52控制电路
54信号处理电路
60显示器
100、110摄像系统。

Claims (14)

1.一种摄像系统，具备：
第1摄像装置，具有第1视野；
第2摄像装置，具有比所述第1视野窄的第2视野；以及
电动装置，能够改变第2摄像装置的朝向，
所述第1摄像装置对生物体进行摄像并生成第1图像数据，
所述第2摄像装置对所述生物体的被检部进行摄像并生成第2图像数据，所述第2图像数据被发送至基于所述第2图像数据生成表示所述被检部的生物体信息的数据的处理装置，
所述电动装置根据在基于所述第1图像数据的图像中的所述生物体的位置改变所述第2摄像装置的朝向，维持所述被检部被包含在所述第2视野中的状态。
2.如权利要求1所述的摄像系统，
所述电动装置能够改变所述第1摄像装置的朝向，
所述电动装置根据在基于所述第1图像数据的所述图像中的所述生物体的位置，使所述第1摄像装置及所述第2摄像装置的朝向同步地改变。
3.如权利要求2所述的摄像系统，
所述摄像系统包括所述处理装置。
4.如权利要求3所述的摄像系统，
基于所述第1图像数据的所述图像包括所述生物体的面部，
所述处理装置使所述电动装置改变所述第1摄像装置的朝向，以使基于所述第1图像数据的所述图像的特定位置被包含在所述生物体的所述面部的区域中。
5.如权利要求4所述的摄像系统，
所述处理装置在使所述电动装置改变所述第1摄像装置的朝向之后，使所述电动装置进一步改变所述第1摄像装置的朝向，以使基于所述第1图像数据的所述图像的所述特定位置与所述生物体的所述面部的特定位置的偏差量减小。
6.如权利要求2至5中任一项所述的摄像系统，
所述被检部包括所述生物体的前额部，
所述处理装置使所述电动装置改变所述第2摄像装置的朝向，以使所述第2视野包含所述生物体的前额部及眉毛。
7.如权利要求2至6中任一项所述的摄像系统，
所述处理装置在使所述电动装置改变所述第2摄像装置的朝向以使所述第2视野包含所述被检部之后，决定基于所述第2图像数据的图像内的与所述被检部对应的部分的像素区域。
8.如权利要求7所述的摄像系统，
所述像素区域与所述生物体移动前的基于所述第2图像数据的图像内的与所述被检部对应的部分的像素区域一致。
9.如权利要求1至8中任一项所述的摄像系统，
所述生物体信息是所述生物体的脑血流信息。
10.如权利要求1至9中任一项所述的摄像系统，具备：
至少1个光源，出射用于照射所述生物体的所述被检部的光脉冲。
11.一种处理装置，用于摄像系统，
所述摄像系统具备：
第1摄像装置，具有第1视野；
第2摄像装置，具有比所述第1视野窄的第2视野；以及
电动装置，能够改变所述第2摄像装置的朝向，
所述处理装置具备：
处理器；以及
存储器，存放由所述处理器执行的计算机程序，
所述计算机程序使所述处理器执行：
使所述第1摄像装置对生物体进行摄像并生成第1图像数据；
使所述电动装置根据在基于所述第1图像数据的图像中的所述生物体的位置改变所述第2摄像装置的朝向，并维持所述生物体的被检部被包含在所述第2视野中的状态；
使所述第2摄像装置对所述被检部进行摄像并生成第2图像数据；以及
基于所述第2图像数据生成表示所述被检部的生物体信息的数据。
12.如权利要求11所述的处理装置，
所述电动装置能够改变所述第1摄像装置的朝向，
根据在基于所述第1图像数据的所述图像中的所述生物体的位置改变所述第2摄像装置的朝向的步骤包括：根据在基于所述第1图像数据的所述图像中的所述生物体的位置，使所述第1摄像装置及所述第2摄像装置的朝向同步地改变。
13.一种在摄像系统中由计算机执行的方法，
所述摄像系统具备：
第1摄像装置，具有第1视野；
第2摄像装置，具有比所述第1视野窄的第2视野；以及
电动装置，能够改变所述第2摄像装置的朝向，
所述方法包括：
使所述第1摄像装置对生物体进行摄像并生成第1图像数据；
使所述电动装置根据在基于所述第1图像数据的图像中的所述生物体的位置改变所述第2摄像装置的朝向，并维持所述生物体的被检部被包含在所述第2视野中的状态；
使所述第2摄像装置对所述被检部进行摄像并生成第2图像数据；以及
基于所述第2图像数据生成表示所述被检部的生物体信息的数据。
14.如权利要求13所述的方法，
所述电动装置能够改变所述第1摄像装置的朝向，
根据在基于所述第1图像数据的所述图像中的所述生物体的位置改变所述第2摄像装置的朝向的步骤包括：根据在基于所述第1图像数据的所述图像中的所述生物体的位置，使所述第1摄像装置及所述第2摄像装置的朝向同步地改变。
CN202280067568.8A 2021-11-05 2022-09-27 摄像系统、处理装置及在摄像系统中由计算机执行的方法 Pending CN118076301A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021181379 2021-11-05
JP2021-181379 2021-11-05
PCT/JP2022/035983 WO2023079862A1 (ja) 2021-11-05 2022-09-27 撮像システム、処理装置、および撮像システムにおいてコンピュータによって実行される方法

Publications (1)

Publication Number Publication Date
CN118076301A true CN118076301A (zh) 2024-05-24

Family

ID=86241382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280067568.8A Pending CN118076301A (zh) 2021-11-05 2022-09-27 摄像系统、处理装置及在摄像系统中由计算机执行的方法

Country Status (4)

Country Link
US (1) US20240260832A1 (zh)
JP (1) JPWO2023079862A1 (zh)
CN (1) CN118076301A (zh)
WO (1) WO2023079862A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5572596A (en) * 1994-09-02 1996-11-05 David Sarnoff Research Center, Inc. Automated, non-invasive iris recognition system and method
WO2005008567A1 (en) * 2003-07-18 2005-01-27 Yonsei University Apparatus and method for iris recognition from all direction of view
KR101070389B1 (ko) * 2010-12-30 2011-10-06 김용중 환자 상태 모니터링 시스템
CN108135515A (zh) * 2015-10-06 2018-06-08 皇家飞利浦有限公司 用于获得生命体的生命体征相关信息的设备、系统和方法
JP6865384B2 (ja) * 2016-02-17 2021-04-28 パナソニックＩｐマネジメント株式会社 生体情報検出装置
JP6843527B2 (ja) * 2016-06-03 2021-03-17 株式会社ニデック 眼科装置、および眼科装置制御プログラム
WO2022085276A1 (ja) * 2020-10-20 2022-04-28 日本電気株式会社 情報処理システム、目状態測定システム、情報処理方法および非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
US20240260832A1 (en) 2024-08-08
WO2023079862A1 (ja) 2023-05-11
JPWO2023079862A1 (zh) 2023-05-11

Similar Documents

Publication Publication Date Title
JP6998529B2 (ja) 撮像装置
JP6399373B2 (ja) 撮像装置
US10397496B2 (en) Imaging device provided with light source, image sensor including first accumulator and second accumulator, and controller
JP7542192B2 (ja) 識別装置および識別方法
CN112188866A (zh) 生物体计测装置及生物体计测方法
CN118076301A (zh) 摄像系统、处理装置及在摄像系统中由计算机执行的方法
JP7417867B2 (ja) 光計測装置
CN110891481B (zh) 生物体计测装置及头戴式显示器装置
JP4953292B2 (ja) 画像入力装置、個人認証装置及び電子機器
WO2021182018A1 (ja) 計測装置および計測装置を制御する方法
WO2023090188A1 (ja) 光検出システム、処理装置、光検出システムを制御する方法、およびプログラム
WO2022138063A1 (ja) 生体計測装置、生体計測方法、及び、コンピュータプログラム
JP7449226B2 (ja) 生体状態検出装置および生体状態検出方法
JP2020032105A (ja) 生体計測装置、生体計測システム、制御方法、およびコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication