CN112932416A - 生物体信息检测装置及生物体信息检测方法 - Google Patents

Abstract

本申请提供生物体信息检测装置及生物体信息检测方法。一个方式所涉及的生物体信息检测装置具备：光源，将由光形成的多个光点以所述多个光点在生物体的表面离散排列的方式投影至所述生物体；摄像系统，包括检测所述光的多个光检测单元，生成并输出表示所述多个光点被投影至的所述生物体的图像的图像信号；以及运算电路，使用从所述摄像系统输出的所述图像信号，生成并输出与所述生物体有关的信息，所述图像信号包括进入到所述生物体的内部并散射之后从所述生物体的所述内部射出的散射光的成分，所述运算电路基于所述散射光的成分，生成与所述生物体有关的生物体信息。

Description

生物体信息检测装置及生物体信息检测方法

本申请是2016年4月25日提交的，中国专利申请号为201610261204.X，发明名称为“生物体信息检测装置”的专利申请的分案申请。

技术领域

本申请涉及生物体信息检测装置。尤其涉及非接触地检测心跳等生物体信息的生物体信息检测装置、生物体信息检测方法以及心理变化检测方法。

背景技术

作为用于判断人的健康状态的基础性的参数，广泛使用心跳、血流量、血压、血氧饱和度等。与血液有关的这些生物体信息通常通过接触型的测量仪进行测量。由于接触型的测量仪束缚受验者的生物体，尤其在长时间连续进行测量时，会导致受验者不舒服。

对简单地测量用于判断人的健康状态的基础性的生物体信息进行了各种各样的尝试。例如，日本特开2005-218507号公报公开了如下方法，根据由摄像机拍摄的面部等的图像信息来非接触地检测心率。日本特表2003-517342号公报公开了如下方法，使用白光光源与激光光源，利用在生物体表面的后方散射的激光的激光多普勒效应来测量血氧饱和度。日本特表2014-527863号公报公开了如下方法，使用普通的彩色摄像机并消除周围光的影响来测量血氧饱和度。

另一方面，也提出了很多推测人的心理变化的方法。例如，日本特开平6-54836号公报以及日本特开2008-237244号公报公开了如下方法，通过热敏成像法检测人因感觉到应激(紧张)或集中而产生的鼻子周围部分的温度下降。

发明内容

本申请的一个方式所涉及的生物体信息检测装置具备：光源，将由光形成的多个光点以所述多个光点在生物体的表面离散排列的方式投影至所述生物体；摄像系统，包括检测所述光的多个光检测单元，生成并输出表示所述多个光点被投影至的所述生物体的图像的图像信号；以及运算电路，使用从所述摄像系统输出的所述图像信号，生成并输出与所述生物体有关的信息，所述图像信号包括进入到所述生物体的内部并散射之后从所述生物体的所述内部射出的散射光的成分，所述运算电路基于所述散射光的成分，生成与所述生物体有关的生物体信息。

本申请的一个方式所涉及的生物体信息检测方法包括：将由光形成的多个光点以所述多个光点在生物体的表面离散排列的方式投影至所述生物体；生成并输出表示所述多个光点被投影至的所述生物体的图像的图像信号；以及使用所述图像信号，生成并输出与所述生物体有关的信息，所述图像信号包括进入到所述生物体的内部并散射之后从所述生物体的所述内部射出的散射光的成分，所述方法还包括：基于所述散射光的成分，生成与所述生物体有关的生物体信息。

本申请的一个方式所涉及的生物体信息检测装置具备：第一光源，将由第一光形成的至少一个第一光点投影至生物体；第二光源，将由第二光形成的至少一个第二光点投影至所述生物体；摄像系统，包括检测所述第一光的多个第一光检测单元、以及检测所述第二光的多个第二光检测单元，生成并输出表示所述至少一个第一光点被投影至的所述生物体的第一图像的第一图像信号、以及表示所述至少一个第二光点被投影至的所述生物体的第二图像的第二图像信号；以及运算电路，使用从所述摄像系统输出的所述第一图像信号以及所述第二图像信号，生成并输出与所述生物体有关的信息；所述第一光的波长以及所述第二光的波长均为650nm以上且950nm以下，所述第二光的所述波长与所述第一光的所述波长相比长50nm以上。

上述整体或具体的方式也可以通过元件、装置、系统、方法或其任意组合来实现。

附图说明

图1A为用于说明本申请的某一实施方式中取得生物体信息的基本想法的图。

图1B为用于说明由摄像机取得的生物体表面的图像的特性的图。

图2为表示作为生物体的主要成分的血红蛋白、黑色素、水在可见光～近红外光范围内的吸光系数与散射系数的图。

图3A为表示实施方式1的生物体信息检测装置的构成的图。

图3B为表示实施方式1中的摄像机的构成以及输出的图像的例子的图。

图3C为表示实施方式1中的计算机20的构成的框图。

图4A为表示实施了实施方式1的生物体检测方法的例子的第1图。

图4B为表示实施了实施方式1的生物体检测方法的例子的第2图。

图5为表示实施方式1中的对比度的计算方法的图。

图6A为表示实施方式2中的构成以及生成的生物体信息(心率)的例子的图。

图6B为表示实施方式2中的图像处理的流程的流程图。

图7为表示实施方式3中的生物体信息检测装置的构成的图。

图8为表示实施方式3中的使用2台摄像机的生物体信息感测的概要的图。

图9为表示实施方式3中的2个带通滤光器的透射特性的图。

图10为表示通过实施方式3的方法测量的脉搏波的例子的图。

图11为表示通过实施方式3的方法以及以往的方法测量血氧饱和度而得的结果的图。

图12为表示实施方式4中的立体摄像机方式的生物体信息检测装置的构成的图。

图13为表示实施方式5中的立体透镜方式的生物体信息检测装置的构成的图。

图14A为表示使用实施方式5的生物体信息检测装置来进行应激感测而得的结果的图。

图14B为表示实施方式5中的图像中的鼻部与脸颊部的图。

图14C为表示使用实施方式5的生物体信息检测装置而得的血流量以及血氧饱和度的变化的图。

图15为示意地表示实施方式6中的生物体信息检测装置的构成的剖面图。

图16A为表示实施方式6中的图像中的鼻部与额部的图。

图16B为表示实施方式6中在诱发笑的情感时的总血流量(氧化血红蛋白以及脱氧血红蛋白)的时间变化与氧化血红蛋白的血流量的比例(氧饱和度)的时间变化的图。

图17A为示意地表示实施方式7中的生物体信息检测装置的构成的图。

图17B为表示实施方式7中的多个滤色器的图。

图17C为表示实施方式7中生成的图像的例子的图。

图18A为表示实施方式8中的生物体信息检测装置的构成的图。

图18B为表示实施方式8中的多个滤色器的图。

图18C为表示实施方式8中生成的图像的例子的图。

图18D为表示具有R、G、B、IR这4种滤色器的多谱段传感器的构成例的图。

标号说明：

1、101、102 光源

2、201、202 摄像机

3 生物体

4 生物体表面

5、501、502 镜头(透镜)

6 摄像机箱体

7、701、702、703、704 图像传感器

8、801、802 带通滤光器

901、902、151、152、153、154反射镜

11 快门按钮

20 计算机

21 输入接口

22 运算电路

23 输出接口

24 存储器

25 控制电路

31 毛细血管

32 小动静脉

33 表皮

34 真皮

35 皮下组织

L0 光

L1 表面反射光

L2 体内散射光。

具体实施方式

(成为本申请的基础的见解)

在说明本申请的实施方式之前，说明成为本申请的基础的见解。

如前述，对测量用于判断人的健康状态的基础性的生物体信息进行了各种各样的尝试。例如，日本特开2005-218507号公报提出了一种方法，根据由摄像机拍摄的面部等的图像的信息来非接触地检测心跳数。日本特开2005-218507号公报的方法通过分析所取得的彩色图像的空间频率成分来求出心率。但是，在该方法中，由于受室内的照明光等环境光影响而精度下降，因此无法进行稳定的检测。

血氧饱和度的测量一般使用脉搏血氧仪。脉搏血氧仪以夹入手指的方式对手指照射红色～近红外的波段所包含的2个波长的光，并测量其透射率。据此，能够求出血液中的氧化血红蛋白的浓度与还原血红蛋白的浓度之比。脉搏血氧仪能够以简便的构成测量血氧饱和度。但是，由于是接触型的装置，因此存在造成束缚感的问题。

在日本特表2003-517342号公报中，公开了非接触型的血氧饱和度测量装置的一例。该装置使用白光光源与激光光源，利用在生物体表面的后方散射的激光所引起的激光多普勒效应来测量血氧饱和度。但是，在该方法中，存在装置的构成变得复杂而且所得的信号也很微弱的问题。

日本特表2014-527863号公报提出了如下方法，使用普通的彩色摄像机并消除周围光的影响来测量血氧饱和度。在该方法中皮肤的表面的反射光的影响很大，因此也难以高精度且稳定地测量血氧饱和度。

如此地，以往的非接触式的血氧饱和度的测量方法在精度以及稳定性上存在问题。当前不存在适于实用的非接触式的血氧饱和度测量装置。

另一方面，提出了很多使用热敏成像法推测人的心理变化的方法(例如日本特开平6-54836号公报以及日本特开2008-237244号公报)。这些方法通过热敏成像法检测鼻部的体温的下降。在人的鼻部多有动静脉吻合血管，血液循环易受自主神经系统的影响而被阻碍。因应激以及紧张等心理变化，鼻部的血流受自主神经的影响而低下，随之产生鼻部的温度下降。日本特开平6-54836号公报、日本特开2008-237244号公报所公开的装置通过热敏成像法检测该温度变化，由此推测受验者的心理变化。

使用热敏成像法的方法存在如下等不足：到温度下降为止需要时间，因此响应性差，而且还受到环境温度影响。可以想到，若能准确地测量面部的表面的血流，则能确立响应性好且不受环境温度影响的心理变化的推测方法。可是，现状下并未确立非接触地以高精度测量皮肤下的血流量的方法。因此，使用热敏成像法的方法虽然存在如上述那样的问题并且装置价格也高，但目前仍是主流。

本发明人着眼于上述的问题，研究了用于解决上述问题的构成。其结果发现：使用将光点图案投影至生物体表面的光源来取得图像，并通过信号处理分离该图像中的直接反射光的成分与生物体内部的扩散光的成分，由此能够解决上述问题。本申请的一个方式所涉及的生物体信息检测装置具备：至少一个光源，将由光形成的光点图案投影至包括生物体的对象物；摄像系统，具有多个光检测单元，生成并输出表示所述光点图案被投影至的所述对象物的图像的图像信号；以及运算电路，连接到所述摄像系统，处理从所述摄像系统输出的所述图像信号。所述运算电路使用所述图像信号生成并输出与所述生物体有关的信息。通过这样的构成，能够高精度地取得生物体信息。

(原理)

以下，说明能够高精度地取得生物体信息的生物体信息检测装置的原理。

图1A为表示本申请的例示的实施方式中的生物体信息检测装置的概略的构成的图。该装置具备：作为将离散排列的多个点像(在本说明书中有时称作“排列点像”或“光点图案”)投影到包括生物体的对象物上的排列点像光源的光源1、以及作为摄像系统的摄像机2。光源1配置为将多个点像投影至生物体3。摄像机2具有图像传感器，拍摄生物体表面4，生成并输出图像信号。

图1B为用于说明由摄像机2取得的生物体表面的图像的特性的图。从光源1射出的光L0在生物体表面4反射。在生物体表面4反射的表面反射光L1保持着光源1的排列点像的图像。与之相对，进入到生物体3的内部并在生物体内部散射而从生物体表面4射出的体内散射光L2因在生物体内的强散射而失去了光源1的排列点像的图像。通过使用光源1，能够在空间上容易地分离表面反射光L1与体内散射光L2。

图1A所示的生物体3为人的皮肤，包括表皮33、真皮34以及皮下组织35。在表皮33没有血管，但在真皮34存在毛细血管31以及小动静脉32。由于在表皮33没有血管，因此表面反射光L1不包括与血液有关的信息。由于表皮33包括强吸收光的黑色素，因此来自表皮33的表面反射光L1对于取得血液的信息而言是噪声。因此，表面反射光L1不仅无益于取得血液信息，还会妨碍准确地取得血液信息。为了高精度地检测生物体信息，抑制表面反射光的影响并高效地取得体内散射光的信息是极为重要的。

本申请的实施方式为了解决上述的问题，具有使用排列点像光源与摄像系统来在空间上分离直接反射光与体内散射光这样新颖的构成。据此，能够非接触地以高精度测量生物体内的信息。

以往，为了分离这样的生物体表面的直接反射光，一直使用例如日本特开2002-200050号公报所公开的利用偏振光照明的方法。在利用偏振光照明的方法中，使用具有与从拍摄对象反射的照明光的偏振光方向正交的偏振光透射轴的偏振器。经由这样的偏振器并由摄像机进行摄像，能够抑制表面反射光的影响。可是，对于从像皮肤那样具有凹凸的表面的反射，存在表面反射光的偏振度因位置而异，无法充分分离直接反射光的问题。根据本申请的方法，由于能够在空间上分离直接反射光与散射光，因此能够更有效地抑制表面反射光的影响。

在本申请的实施方式的生物体信息检测装置中，来自排列点像光源的光的波长也是重要的。排列点像光源的波长例如能设定为大致650nm以上且大致950nm以下。该波段包含在红色～近红外线的波段内。在本说明书中，不仅针对可见光也针对红外线都使用“光”这一用语。上述的波段称作“生物窗”，已知在体内的吸收率低。

图2为表示氧化血红蛋白、还原血红蛋白、黑色素以及水各自的光的吸收系数、以及在体内的光的散射系数的波长依赖性的图。在650nm以下的可见光域中，血液(即血红蛋白)的吸收强，在长于950nm的波段中水的吸收强。因此，这些波段的光并不适于取得生物体内的信息。另一方面，在大致650nm以上且大致950nm以下的波段内，血红蛋白以及水的吸收系数比较小，散射系数比较大。因此，该波段内的光在进入体内之后，受到强散射而返回到体表面。因此，能够有效地取得体内的信息。

本申请的实施方式中的生物体信息检测装置主要利用与该“生物窗”相当的波段的光。据此，由于能够高精度地分离并检测在生物体表面直接反射的光与在体内散射并返回的光，因此能够有效地取得体内的信息。

本申请例如包括以下的项目所述的方式。

[项目1]

一种生物体信息检测装置，具备：

第一光源，将由第一光形成的至少一个第一光点(dot)投影至生物体；

第二光源，将由第二光形成的至少一个第二光点投影至所述生物体；

摄像系统，包括检测所述第一光的多个第一光检测单元、以及检测所述第二光的多个第二光检测单元，生成并输出表示所述至少一个第一光点被投影至的所述生物体的第一图像的第一图像信号、以及表示所述至少一个第二光点被投影至的所述生物体的第二图像的第二图像信号；

运算电路，使用从所述摄像系统输出的所述第一图像信号以及所述第二图像信号，生成并输出与所述生物体有关的信息，

所述第一光的波长以及所述第二光的波长均为650nm以上且950nm以下，

所述第二光的所述波长与所述第一光的所述波长相比长50nm以上。

在项目1所述的生物体信息检测装置中，至少一个第一光点也可以具备由第一光形成的多个第一光点。

在项目1所述的生物体信息检测装置中，至少一个第二光点也可以具备由第二光形成的多个第二光点。

在项目1所述的生物体信息检测装置中，至少一个第一光点也可以具备由第一光形成的多个第一光点，多个第一光点以线状配置。

在项目1所述的生物体信息检测装置中，至少一个第二光点也可以具备由第二光形成的多个第二光点，多个第二光点以线状配置。

在项目1所述的生物体信息检测装置中，至少一个第一光点也可以具备由第一光形成的多个第一光点，多个第一光点以阵列状配置。

在项目1所述的生物体信息检测装置中，至少一个第二光点也可以具备由第二光形成的多个第二光点，多个第二光点以阵列状配置。

[项目2]

如项目1所述的生物体信息检测装置，所述摄像系统还包括：

摄像元件，具有被分割成第一区域和第二区域的摄像面，该第一区域配置有所述多个第一光检测单元，该第二区域配置有所述多个第二光检测单元；

第一光学系统，在所述第一区域形成所述第一图像；以及

第二光学系统，在所述第二区域形成所述第二图像。

[项目3]

如项目2所述的生物体信息检测装置，所述摄像系统还包括：

第一带通滤光器，配置在向所述第一区域入射的所述第一光的路径上，供所述第一光透射；以及

第二带通滤光器，配置在向所述第二区域入射的所述第二光的路径上，供所述第二光透射。

[项目4]

如项目1所述的生物体信息检测装置，还包括：

摄像元件，具有：配置有所述多个第一光检测单元以及所述多个第二光检测单元的摄像面、与所述多个第一光检测单元对置且供所述第一光透射的多个第一带通滤光器、以及与所述多个第二光检测单元对置且供所述第二光透射的多个第二带通滤光器；以及

光学系统，在所述摄像面形成所述第一图像以及所述第二图像。

[项目5]

如项目1所述的生物体信息检测装置，所述摄像系统具有：

摄像元件，具有：配置有所述多个第一光检测单元、所述多个第二光检测单元和多个第三光检测单元的摄像面、与所述多个第一光检测单元对置且供所述第一光透射的多个第一带通滤光器、与所述多个第二光检测单元对置且供所述第二光透射的多个第二带通滤光器、以及与所述多个第三光检测单元对置且供可见光透射的多个第三带通滤光器；以及

光学系统，在所述摄像面形成所述第一图像以及所述第二图像，

所述多个第三带通滤光器包括透射波段相互不同的多个滤色器，

所述摄像元件使用所述多个第三光检测单元生成并输出彩色图像信号。

[项目6]

如项目1～5中的任一项所述的生物体信息检测装置，所述运算电路使用所述第一图像信号以及所述第二图像信号，生成并输出表示所述生物体的血氧饱和度的信息。

[项目7]

如项目1～5中的任一项所述的生物体信息检测装置，所述运算电路基于所述第一图像信号以及所述第二图像信号，计算所述生物体的血流量以及血氧饱和度，基于所述血流量以及所述血氧饱和度，生成并输出表示从由所述生物体的身体状况、情感及集中度构成的组中选择的至少一个的信息。

[项目8]

如项目1～5中的任一项所述的生物体信息检测装置，在所述第一图像以及所述第二图像中包括从由所述生物体的额部以及鼻部构成的组中选择的至少一个时，

所述运算电路基于所述第一图像信号以及所述第二图像信号，计算从由所述额部以及所述鼻部构成的组中选择的所述至少一个处的血流量以及血氧饱和度，基于所述血流量的时间变化以及所述血氧饱和度的时间变化，生成并输出表示从由所述生物体的身体状况、情感及集中度构成的组中选择的至少一个的信息。

[项目9]

如项目1～5中的任一项所述的生物体信息检测装置，在所述第一图像以及所述第二图像中包括所述生物体的额部以及鼻部时，

所述运算电路基于所述第一图像信号以及所述第二图像信号，计算所述额部以及所述鼻部各自的血流量以及血氧饱和度，基于所述额部处的所述血流量的时间变化以及所述血氧饱和度的时间变化与所述鼻部处的所述血流量的时间变化以及所述血氧饱和度的时间变化的比较，生成并输出表示从由所述生物体的身体状况、情感及集中度构成的组中选择的至少一个的信息。

[项目10]

如项目1～9中的任一项所述的生物体信息检测装置，所述第一光源以及所述第二光源为激光光源。

在项目10所述的生物体信息检测装置中，激光光源也可以投影随机的光点图案。

[项目11]

如项目1所述的生物体信息检测装置，所述摄像系统还包括：

摄像元件，具有配置有所述多个第一光检测单元以及所述多个第二光检测单元的摄像面；

光学系统，在所述摄像面形成所述第一图像以及所述第二图像；以及

调整机构，调整所述光学系统的焦点，

所述调整机构通过调整所述焦点，使所述第一图像以及所述第二图像的对比度最大。

[项目12]

如项目1～11中的任一项所述的生物体信息检测装置，所述运算电路使用所述第一图像信号以及所述第二图像信号进行面部识别处理，在所述第一图像以及所述第二图像中包括从由所述生物体的额、鼻、口、眉毛及毛发构成的组中选择的至少一个时，生成并输出与所述生物体有关的信息。

[项目13]

如项目1～5中的任一项所述的生物体信息检测装置，与所述生物体有关的信息是从由黑色素的浓度、斑的有无及痣的有无构成的组中选择的至少一个。

[项目21]

一种生物体信息检测装置，具备：

至少一个光源，将由光形成的光点图案投影至包括生物体的对象物；

摄像系统，具有多个光检测单元，生成并输出表示所述光点图案被投影至的所述对象物的图像的图像信号；以及

运算电路，连接到所述摄像系统，使用从所述摄像系统输出的所述图像信号，生成并输出与所述生物体有关的信息。

[项目22]

如项目21所述的生物体信息检测装置，所述光包括650nm以上且950nm以下的波长的光。

[项目23]

如项目21或22所述的生物体信息检测装置，与所述生物体有关的所述信息包括所述图像中的所述生物体的位置、所述生物体的心率、所述生物体的血流量及所述生物体的血氧饱和度中的至少一个的信息。

[项目24]

如项目21～23中的任一项所述的生物体信息检测装置，所述摄像系统具有：

带通滤光器，供包括所述光源所发出的所述光的波段的至少一部分在内的波段的光透射；以及

摄像元件，具有排列有所述多个光检测单元的摄像面，配置为使得透射了所述带通滤光器的光入射至所述摄像面。

[项目25]

如项目21～24中的任一项所述的生物体信息检测装置，所述运算电路基于所述图像所包含的特定像素、以及配置在所述特定像素的周围的多个像素的像素值的标准差与平均值之比，判定在与所述特定像素对应的位置上是否存在生物体，输出表示是否存在所述生物体的信息。

[项目26]

如项目21～25中的任一项所述的生物体信息检测装置，所述运算电路基于对所述图像信号的至少一部分实施低通滤波处理而得的信号的时间变化，生成并输出所述生物体的心率、血压及血流量中的至少一个的信息。

以下，更详细地说明本申请的实施方式。以下的实施方式主要涉及将人的面部作为生物体表面、非接触地测量生物体信息的生物体信息检测装置。其中，本申请的技术不限于人的面部，也能够适用到面部以外的部位或人以外的动物的皮肤部。

(实施方式1)

作为第一实施方式，说明将本申请的技术应用到生物体检测中的系统。生物体检测例如以探知在灾害现场被埋在瓦砾等下的受灾者为目的而不断开发。在灾害后72小时以内发现受灾者决定了受灾者的存活率。因此，需要简单且稳定的生物体检测系统。生物体检测技术也利用于安全领域以及交通领域。在安全领域中为了发现入侵者，在交通领域中为了检测行人，生物体检测技术起到重要的作用。能够从包括各种构造物或物体的图像之中选择性地检测生物体(尤其是人)的系统的必要性也日益提高。

图3A为表示本实施方式的生物体检测系统的概略的构成的图。如图3A所示，本实施方式的生物体检测系统具备：光源1，配置在与生物体3相离的位置且射出近红外的波段的光线；摄像系统(即摄像装置或摄像机)2，能够记录受照射的生物体表面4的图像；以及计算机20，从拍摄的图像中分离并测量生物体表面的直接反射光的成分与体内的散射光的成分，根据直接反射光的强度与散射光的强度计算并输出生物体信息。

光源1设计为将光点图案投影到生物体表面4上。光点图案典型的是二维排列的微小的亮点的集合。根据用途也可以使用一维排列的光点图案。在本实施方式中，例如使用美国Osela公司的随机光点图案激光投影仪RPP017ES作为光源1。该激光光源为发出830nm的近红外激光的光源，在45°×45°的视场角内投影57446点的激光光点图案。

图3B为表示摄像系统的构成以及生成的图像的一例的图。摄像机2具有镜头5与摄像机箱体6。镜头5可为多个透镜的集合体。在摄像机箱体6的内部，搭载有图像传感器7以及仅透射光源1的波长即830nm±10nm的波长的光的带通滤光器8。

若以人为被摄体，则如图3B的中央的图所示，图像传感器7取得如下图像，该图像包括具有与各位置的红外线反射率相应的亮度的多个点像。如图3B的右侧的图所示，计算机20内的运算电路根据该图像能够通过图像信号处理仅检测生物体。如上述，生物体具有针对红色～近红外线的波长的被称作“生物窗”的特殊的光学特性。由于人体的皮肤在该波段内吸收系数小而散射系数大，因此透射了作为生物体表面4的皮肤的表面的光在体内反复多次散射并扩散，以大范围从生物体表面4射出。在上述波段中，生物体的特征是散射光相对于直接反射光的比例高。与之相对，在生物体以外的物体中，与散射光相比表面反射光的比例更高。因此，能够基于直接光与散射光的比例检测生物体。

图3C为表示计算机20的构成的框图。计算机20具备：输入接口(IF)21，与摄像机2电连接；运算电路22，进行上述的信号处理；存储器24，记录各种数据；控制电路25，控制装置整体的动作；输出接口(IF)23，输出数据；以及显示器26，显示处理结果。运算电路22例如可为数字信号处理器(DSP)等图像处理电路。控制电路25可为例如中央运算处理装置(CPU)或微型计算机(微机)等集成电路。控制电路25通过例如执行记录在存储器24中的控制程序，进行对光源1的点亮指示、对摄像机2的摄像指示以及对运算电路22的运算指示等控制。控制电路25与运算电路22也可以通过统合的1个电路来实现。在本例中，计算机20具备显示器26，但显示器26也可以为通过有线或无线方式电连接的外部的装置。计算机20也可以通过未图示的通信电路从远程的摄像机2取得图像信息。

以下，说明使用实际的数据来进行的生物体检测方法的一例。

图4A表示通过检测可见光的普通的摄像机取得的图像的一例。在中央部看到人的面部F。图4B的左侧的图表示由本实施方式的摄像机2取得的由830nm的波长的光源1照明的与图4A相同的场景。在该图像中，由于在近前配置的箱B的强反射，难以识别面部F。于是，为了检测人体，运算电路22根据近红外的图像计算直接反射光与散射光的对比度。

图5为表示用于计算对比度的像素区域的一例的图。图像数据作为二维的强度数据记录到存储器24中。设横(x)方向第i个且纵(y)方向第j个的像素的数据为Pij。定义该(i，j)像素的对比度Cij如下。

Cij＝Sij/Aij

在此，Sij以及Aij分别为以(i、j)像素为中心的7×7像素的区域内的像素数据的标准差值以及平均值，由图5所示的式子表现。由于散射光相对于直接反射光的比率越高则标准差值Sij越小，因此Cij的值越小。在针对全部像素反复进行了该处理之后，运算电路22仅提取Cij的值为规定的范围内的像素。作为一例，显示了0.2<Cij<0.47的区域的一部分而成的图像是图4B的右侧的图。在该图中，使Cij的值处于上述的范围内的像素显示得白，使之外的像素显示得黑。可知正确地提取了生物体(即面部F)的部分。

如此地，本实施方式中的运算电路22计算图像所包含的特定像素以及配置在该像素的周围的多个像素的像素值的标准差与平均值之比即对比度Cij。基于该值，能够判定在与上述特定像素对应的位置是否存在生物体，输出表示其是否存在的信息。

根据本实施方式，能够利用生物体的特殊的光学特性来有效地检测隐藏在多个物体之中的生物体。在此，为了求出图像的对比度(即直接反射光与散射光的对比度)，而求出了7×7像素的区域内的平均值与标准差值，但这仅是一例。用于运算对比度的像素区域的尺寸(即像素数)需要根据由光源1形成的多个点像的密度与摄像机2的分辨率来适当地进行设定。为了控制计算结果的偏差，也可以在运算对象的像素区域内包括多个(例如3个以上)点像。通过使运算对象的区域的像素数增加，对比度的计算值的精度得以提高，但所得的生物体的图像的分辨率会下降。因此，运算对象的区域的像素数需要根据系统的构成与使用目的来适当地进行设定。同样地，对比度的规定范围不限于0.2<Cij<0.47，而根据系统的构成与使用目的适当地进行设定。

如本实施方式那样地，能根据拍摄的图像实时检测生物体的系统能够适用于多种用途。以下叙述代表性的适用例。

(1)灾害时发现受灾者

在发生地震、海啸、泥石流等自然灾害时，从救助生命的观点出发，早期发现被埋在瓦砾下的受灾者特别重要。存在若超过3天则生存率大幅下降的所谓“黄金72小时”，需要在混乱的状况下迅速发现受灾者。通过使用本实施方式的系统，即便在瓦砾散乱的状况下，也能够拍摄并实时检测被瓦砾遮挡的受灾者。由于系统是小型的，例如也能够搭载在无人机上。据此，即使是存在二次灾害的危险而难以接近的灾害现场，也能够远程通过遥控取得图像并搜寻生存者。

(2)监视用途

监视摄像机广为普及，有益于市民生活的安全以及安心。监视摄像机台数越增多，由谁如何确认该监视摄像机的影像变得越重要。在现状下，由于难以由人总是确认图像，因此多采用如下利用方法：事先蓄积图像，在发生问题(案件)之后确认该图像从而把握状况。也可以采用如下利用方法：根据实时的图像捕捉发生问题的瞬间，并即时应对问题。通过使用本申请的技术，能够构筑如下系统：在人进入监视摄像机的画面时对其进行识别，对负责人发出警告并使其实时确认该图像。能够构筑如下系统：负责人不一定需要在监视摄像机的监视器前待命，而在检测到人时在负责人所携带的便携终端上出现警告并显示图像。这样的系统适于监视普通人不入内的仓库或建筑物的后门、或者限制入内的场所。此外，在如大厦等集中多台摄像机进行监视的场所中，通过对检测出人的摄像机影像进行强调显示，能够有利于防止忽略异常，有利于早期发现异常并进行应对。

在监视用途中，从以往的由人判断监视图像的方式，随着图像识别技术的进步，正在开发由计算机进行物体识别的方式。在这样的用途中，一般的方式是，将图像发送到主计算机并在主计算机侧进行识别。但是，需要将图像数据发送到计算机，会产生通信量增大、通信速度下降、主计算机的负荷增大等问题。如果能够通过监视摄像机进行一次性的图像的识别与判定，就能够大幅减轻通信、记录、运算的负荷。但是，若该识别没有充分的可靠性，则会发生导致将事态忽略等问题。在本实施方式的人检测方式中，由于能够以高可靠性检测出人，因此在检测出人时能够选择性地仅将包含人的部分图像发送到主计算机。其结果是，能够实现监视系统的有效运用。

此外，随着图像识别技术的进步，能够根据图像来高精度地确定个人。关于根据图像确定个人，在现状下一般的方式也是将图像发送到主计算机并在主计算机侧进行识别，但如前述，通信、记录、运算的负荷存在问题。在运算时，为了面部识别而提取面部的操作会引起很大负荷。如果使用本实施方式的检测方式，就能够从图像内容易地提取面部部分。因此，能够仅将面部部分发送到主计算机并进行个人确定，能够大幅减轻个人确定的负荷。再有，如果人数有限，则通过事先将特征登记到监视摄像机侧，能够不经由主计算机地即时在摄像机侧进行个人的确定。

(3)车

通过将本实施方式的系统搭载到汽车上，能够常时识别路上的行人，实现更为安全的驾驶。即使在人被物体遮挡而视觉辨认性差的情况下，也能够检测出人并对驾驶员进行警告。在自动驾驶中，设想在无法通过制动器停止、无论向左右哪一方向转向都不能避免事故的局面下产生了向哪个方向躲避的问题。在这样的情况下，通过本系统检测人体并将前进方向变更为躲避人的方向是有效的。在这样的用途时，由于要求以高精度且高速地检测人体，因此本实施方式的系统特别适合。

(4)人体检测开关

检测人体并切换电源的导通以及断开的用途广泛存在。例如，存在检测室内的人并控制空调或电灯等设备的开关、或者高精度地控制自动门、或者在人行横道检测行人并控制行人信号灯、或者变更自动售货机的照明的照度等用途。本实施方式能够适用于这些用途。使用本实施方式的系统，能够实现对物体以及宠物没反应而仅对人有感应的高性能的开关。在这样的用途中，也可以构成将本系统中的光源、摄像机(摄像系统)以及信号处理装置(运算电路)一体化而得的小型的人体检测传感器单元。

(5)生物体认证

指纹认证、虹膜认证以及静脉认证等生物体认证作为个人认证的方法广为使用。随着利用不断扩展，生物体认证的伪装的事例以及风险增加。在使用图像的认证中，迄今为止使用拷贝等的图像复制技术。最近，随着虹膜认证以及3D打印机的利用不断扩展，使用更高精度的复制进行伪装的风险变高。作为这种风险的对策，二段认证系统是有效的。例如，在由本实施方式的生物体检测系统确认了对象为生物体之后进行正常的生物体认证的方式是有效的。通过使用本系统的生物体检测系统来确认是生物体，能够提高生物体认证的可靠性。

(实施方式2)

作为第二实施方式，说明将本申请的技术应用到生物体信息感测的系统。随着保健意识的提高，稳定的生物体信息感测的重要性日益增加。能够非接触地常时测量生物体信息的系统不仅对医院而且对日常生活中的健康管理都是重要的。

本实施方式的系统能够非接触地监视心率以及心跳变动。本系统的物理构成与图1所示的实施方式1中的构成相同。与实施方式1不同之处在于运算电路22的信号处理的方法。以下，参照图6A以及图6B说明本实施方式中的信号处理。

图6A为表示本实施方式中的信号处理的概要的图。图6B为表示该信号处理的流程的流程图。运算电路22进行公知的面部识别处理，从由图像传感器7取得的动态图像之中，提取面部的特定部位(例如额的部分)的区域(步骤S101)。图6A的右端的图表示所提取的区域的各像素的值(像素值)的一例。运算电路22对该区域内的像素值的数据(即图像信号)的至少一部分进行二维低通滤波处理，除去直接反射光成分(即高频成分)(步骤S102)。而且，计算测量区域内的像素值(即反射光强度)的平均值(步骤S103)。该反射光强度的平均值如图6A的下图所示随时间变动。由于由心脏射出的动脉血具有称作“脉搏波”的波动并在血管内移动，因此近红外线的吸收量与脉动联动地变化。能够根据该变动的周期求出心率。再有，能够根据脉动的振幅推测血压或血流量(步骤S104)。如此地，运算电路22能够基于对图像信号的至少一部分实施低通滤波处理而得的信号的时间变化，生成生物体的心率、血压及血流量中的至少一个信息。

已知心理性应激能够根据心率的时间性的波动推测。已知在自主神经正常发挥功能时，心跳的间隔发生波动，但心跳间隔的波动因应激而减少。本实施方式中的运算电路22也能够基于该心跳间隔的波动的变化，检测有无心理性应激或其程度。为了在生活中稳定地进行应激感测，如本实施方式那样的非束缚且非接触的心跳感测技术是重要的。

关于使用普通的可视摄像机或近红外摄像机来非接触地监视心跳的方法，提出了许多方法。在这些以往的方法中，由于表面反射光的成分与散射光的成分的分离不充分，因此在非接触下易受环境光影响，难以稳定地进行高精度的测量。通过如本实施方式那样地在空间上分离表面反射光成分与散射光成分，能够稳定地进行高精度的心跳测量。

通过使用本实施方式的系统，能够不受束缚地包括就寝时在内常时监视心率或血压。据此，能够构筑如下系统：例如在医院常时监视患者的状态，并在发生异常时对医务人员发出警告。在普通家庭中，例如也能够对罹患呼吸暂停综合症的患者进行夜间的心率监视。再有，在日常生活中，也由于能够如上述那样地简便地进行应激感测，因此能够带来更为充实的日常生活。

(实施方式3)

作为第三实施方式，说明非接触地测量血氧饱和度的系统。血液的重要作用在于，从肺接受氧并运输到组织，从组织接受二氧化碳并使之循环到肺。在100ml血液中存在约15g的血红蛋白。将与氧结合的血红蛋白称作“氧化血红蛋白(HbO₂)”，将未与氧结合的血红蛋白称作“还原血红蛋白(Hb)”。如图2所示，氧化血红蛋白以及还原血红蛋白的光吸收特性不同。氧化血红蛋白较好地吸收超过约830nm的波长的红外线，还原血红蛋白较强地吸收红色光(例如660nm的波长)。针对830nm的波长的近红外线，二者的吸收率并无差异。于是，在本实施方式中，测量660nm以及830nm这2个波长下的透射光。根据这些红外光与红色光的透射光的比率，能够求出2种血红蛋白的比率(氧饱和度)。氧饱和度为表示血液中的血红蛋白之中多少已与氧结合的值。氧饱和度由下式定义。

氧饱和度＝C(HbO₂)/[C(HbO₂)+C(Hb)]×100(％)

在此，C(Hb)表示还原血红蛋白的浓度，C(HbO₂)表示氧化血红蛋白的浓度。

在生物体内，虽然在血液以外也包括吸收红色～近红外的波长的光的成分，但光的吸收率随时间变动主要起因于动脉血中的血红蛋白。因此，基于吸收率的变动，能够高精度地测量血氧饱和度。从心脏射出的动脉血形成脉搏波并在血管内移动。另一方面，静脉血不具有脉搏波。照射到生物体上的光在动静脉以及血液以外的组织等生物体的各层中被吸收而透射生物体，但动脉以外的组织的厚度不随时间变动。因此，来自生物体内的散射光与由脉动引起的动脉血层的厚度的变化相应地表现出时间性的强度变化。该变化反映动脉血层的厚度的变化，不包括静脉血以及组织的影响。因此，通过仅关注散射光的变动成分，能够得到动脉血的信息。通过测量与时间相应地变化的成分的周期，还能够求出脉搏。

图7为表示本实施方式的系统的构成的图。本系统具备：光源101、102，是配置在与生物体3相离的位置上且分别射出近红外的波长的光线(例如波长830nm)以及红色的波长的光线(例如波长660nm)的2个排列点像光源；摄像机201、202，是能够记录被照射的生物体表面的2个摄像系统；计算机20，根据所取得的图像分离并测量生物体表面的直接反射光强度与体内的散射光的强度，根据直接反射光的强度与散射光的强度计算生物体信息。在此，为了测量血氧饱和度，配备作为波长不同的2个排列点像光源的光源101、102、以及与各个光源对应的摄像机201、202。

图8为表示摄像系统的构成的图。作为摄像系统的摄像机201、202分别具有镜头5与摄像机箱体6。在摄像机201的摄像机箱体6中，搭载有图像传感器7、以及选择性地供近红外光(波长830nm)透射的带通滤光器801。在摄像机202的摄像机箱体6中，搭载有图像传感器7、以及选择性地供红色的光(波长660nm)透射的带通滤光器802。

光源101例如能够使用美国Osela公司的随机光点图案激光投影仪RPP017ES。该激光光源为830nm的近红外激光光源，在45×45°的视场角内投影57446点的激光光点图案。光源102例如能够使用美国Osela公司的随机光点图案激光投影仪RPP016ES。该激光光源为660nm的红色激光光源，在35×35°的视场角内投影23880点的激光光点图案。

计算机20控制2台摄像机201、202以及光源101、102，以使这些摄像机联动地同时进行摄像。据此，例如图8的右侧所示，由摄像机201、202生成波长不同的光的2个图像。

图9为表示带通滤光器801、802的透射率特性的图。带通滤光器801具有透射中心波长为830nm且通带宽度为10nm的透射特性。带通滤光器802具有透射中心波长为660nm且通带宽度为10nm的特性。带通滤光器801、802的透射中心波长分别与光源101、102的波长的中心值一致。因此，在作为摄像系统的摄像机201中，取得由830nm的波长的光形成的图像，在作为摄像系统的摄像机202中，取得由660nm的波长的光形成的图像。

计算机20内的运算电路22与实施方式2同样地，首先根据动态图像进行公知的面部识别处理，提取面部的特定部分(例如额的部分)。对该区域内的像素的数据进行二维的低通滤波处理，除去直接反射光成分。而且，计算测量区域内的像素值的平均值。针对830nm、660nm的各个摄像机执行以上的处理。如此地计算而得的平均值表示来自生物体的扩散反射光的强度。

图10为表示得到的扩散反射光强度的时间变化的一例的图。针对近红外光(波长830nm)、红色光(波长660nm)这双方，反射光强度随时间变动。在此，设来自光源101、102的光在生物体表面的强度分别为Ii(830)、Ii(660)，设来自生物体的扩散反射光的变动成分的时间平均值分别为ΔI(830)、ΔI(660)。血氧饱和度SpO2按照下式进行计算。

SpO2＝a+b*(log(ΔI(660)/Ii(660))/(log(ΔI(830)/Ii(830)))

上式中的a、b能够根据与现有的脉搏血氧仪的测量值的关系来决定。

为了确认测量装置的精度，使用本系统不仅测量了额而且还测量了指尖的氧饱和度。使用用于血压测量的皮带(袖带)，以固定压力(200mmHg)对上臂部进行加压，来止住血流并在指先测量氧饱和度。

在食指上穿戴市售的夹入手指方式的脉搏血氧仪，并通过本系统非接触地测量中指的氧饱和度。通过最初的测量决定上述的a，b，通过第2次以后的测量对血氧饱和度SpO2进行测量。

图11表示使用脉搏血氧仪时的测量值与本实施方式中的测量值的比较结果。因为二者的结果大致一致，所以可知高精度地完成了测量。在本实施方式的方式中，不仅能够测量血氧饱和度，而且还能够根据图10所示的脉搏波同时测量心率。

已知能够根据脉搏波的波动或频率特性测量应激以及疲劳。通过使用本实施方式的系统，能够根据脉搏波非接触地推测受验者的应激等心理状态以及身体状况。

(实施方式4)

作为第四实施方式，说明使用1台摄像机来测量血氧饱和度的方式。在第三实施方式中，使用2台摄像机并通过各个摄像机取得不同的光源波长的信号。该方式具有能够沿用现有的摄像机这一长处，但由于需要使2台摄像机联动地进行摄像，因此系统构成变得复杂。由于所取得的数据也为2台量的独立的动态图像数据，因此还存在使时间匹配的数据处理变得复杂的问题。为了避免这些问题，在本实施方式中，实现能够通过一台摄像机同时取得2个波长量的图像的数据的摄像机。

图12为表示本实施方式的生物体信息检测装置的构成的图。该装置具备具有2个摄像光学系统201、202的双镜头立体摄像机的结构。于是，在本说明书中，将这样的方式称作“立体摄像机方式”。生物体信息检测装置(也称作“摄像机”)具有作为第一激光点像光源的光源101(波长830nm)与作为第二激光点像光源的光源202(760nm)。来自由光源101、102照明的生物体的反射光分别穿过带通滤光器801、802，前进方向经反射镜901、902折曲90度，由镜头501，502成像在图像传感器701、702的摄像面上。带通滤光器801、802各自为仅供与2个光源的波长对应的830±15nm、760±15nm的波长的光透射的窄带带通滤光器。

若按下快门按钮11，则2个光源101、102点亮，同时图像传感器701、702取得生物体的图像。所取得的图像通过图像处理处理器(与图3C中的运算电路22相当)变换为立体图像的格式，在进行图像信号处理之后蓄积至存储装置(与图3C中的存储器24相当)。其后的处理与实施方式2或3相同。

根据本实施方式，通过将摄像系统设为一台立体摄像机的构成，系统整体变得紧凑，能够使从后级的图像信号处理至氧饱和度计算为止的信号处理系统的构成简单。据此，能够兼顾操作的简便性与高速性。

作为2个光源的波长，例如能够使用近红外域的760nm以及830nm。氧化血红蛋白与还原血红蛋白的吸收差在实施方式2及3中使用的660nm比760nm大，因此能够更高精度地测量氧饱和度。但是，由于660nm的波长为可见光域，因此若使用该波长则存在给受验者造成负担的可能性。再有，由于在荧光灯以及LED照明中包括660nm的波长的成分，因此存在易受环境光影响的问题。在本实施方式中，考虑该情况而选择了760nm的波长。由于还原血红蛋白的局部的吸收峰处于760nm，因此在将短波长侧的光源设定为近红外域时，使用760-780nm的波长是有效的。所使用的波长不限于上述，根据用途与使用环境适当选择即可。

(实施方式5)

作为第五实施方式，说明使用1台摄像机来测量血氧饱和度的其他方式。在第四实施方式中，1台摄像机为包括2个光学系统与2个图像传感器的立体摄像机方式的构成。在本实施方式中使用如下系统：通过使用多个镜头来分割图像，以1个图像传感器取得与2个波长对应的不同的2个图像。将本实施方式的方式称作“立体镜头方式”。参照图13说明立体镜头方式的系统。

图13为示意地表示本实施方式的生物体信息检测装置的一部分的剖面图。本实施方式中的图像传感器7的摄像面包括配置有第一光检测单元组的第一区域7a、以及配置有第二光检测单元组的第二区域7b。在图13中省略，但生物体信息检测装置例如在摄像机箱体6内具备投影由830nm以及760nm这2个波长的光形成的光点图案的2个光源。如图13所示，作为光学系统的镜头5在内部具有2组镜头501、502。作为光学系统的镜头501、502设计为分别成像在图像传感器7的摄像面的不同区域7a、7b。在镜头501、502的前方，分别配置有供与2个光源的波长对应的830nm以及760nm的光分别透射的2个窄带带通滤光器801、802。即，带通滤光器801配置在向第一区域7a入射的光的路径上，带通滤光器802配置在向第二区域7b入射的光的路径上。

根据这样的构成，能够使用1个图像传感器7取得同时刻的2个波长的光所形成的2个图像。运算电路22按照与实施方式2～4同样的方法根据这2个图像计算血氧饱和度。根据本实施方式，由于在1个图像信号中包括与不同的2个波长对应的同时刻的2个图像的信息，因此运算处理变得容易。

以下说明使用该立体镜头方式的系统来进行应激感测的结果。如已述，提出了通过热敏成像法检测由应激(紧张)或集中而引起的鼻部的温度下降的方法。鼻部的血流因心理变化而低下，随之引起鼻部的温度下降。一般采用通过热敏成像法对其进行检测的方法。因血流的变化而产生面部的温度的变化。如果能够高精度地测量血流的变化，则与测量作为血流的变化的结果所引起的表面温度的变化相比，能够以更高精度且响应性好地进行应激感测。

图14A为表示使用本实施方式的生物体信息检测装置来进行应激感测而得的结果的图。作为应激进行将右手放入冷水(冰水)的冷水负荷。为了比较，使用热敏成像法测量了在图14B用虚线包围的鼻部和脸颊部的温度变化。图14A表示该测量结果。鼻部的温度在开始冷水负荷后，用时3分钟左右缓缓下降，下降约1.2℃而达到稳定。已知在负荷结束后，还是用时3分钟左右温度复原。另一方面，已知脸颊部的温度几乎不受冷水负荷的影响而保持稳定。

图14C为表示利用使用了立体镜头方式的本实施方式的生物体信息检测装置而得的血流量以及血氧饱和度的变化的图。从脸部的血流量与氧饱和度(SpO2)的数据之中，提取在图14B中由虚线所示的鼻部与脸颊部的区域的数据。实线表示血流量的时间变化，虚线表示氧饱和度(ΔSpO2)的时间变化。如图14C所示，鼻部的血流量从刚发生冷温刺激后就表现出下降倾向，示出了时间响应性好。另一方面，脸颊部的血流量则几乎未变化。关于氧饱和度，在鼻部与血流量的下降一起还观测到氧饱和度的下降，而在脸颊部则几乎没有变化。

根据本结果可知，通过在面部的不同部位测量血流量以及氧饱和度能够得到很多数据。基于这些数据，能够高精度地进行情绪(即情感)、身体状况或集中度的检测。由于自主神经系统的影响所致的血流量的变化因面部的部位而不同，因此使用摄像机测量特定部位的血流量的变化特别重要。此时，通过同时测量血流量的变化小的部位来作为参考，能够提高测量的精度。

(实施方式6)

作为第六实施方式，说明使用1台摄像机来测量血氧饱和度的其他方式。

图15为示意地表示本实施方式中的生物体信息检测装置的构成的剖面图。该装置具备能安装到普通的镜头5上的立体适配器10。立体适配器10为具备4片反射镜151、152、153、154以及2个带通滤光器801、802的附件。通过使用立体适配器10，能够将与2个波长对应的2个图像分别形成在图像传感器7的摄像面的不同的2个区域。将该方式称作“立体适配器方式”。

在立体适配器方式中，使用2组对置的反射镜，能够通过1个图像传感器7取得与2个波长对应的不同的2个图像。在图15中省略，但实际上将分别发出830nm以及760nm这2个波长的光的2个光源内置在摄像机箱体6内。立体适配器10装配在摄像机的镜头5的前端。2组反射镜(反射镜151、152所成的对、反射镜153、154所成的对)将光路变向2次并导入到镜头5。在镜头5与反射镜151、152、153、154之间搭载有供与光源的波长对应的830nm以及760nm的波长的光透射的窄带带通滤光器801、802。

该生物体信息检测装置能够通过1个图像传感器7取得同时刻的2个波长的图像。基本想法与实施方式5相同。立体镜头方式由于能够使镜头小型，因此具有能够使系统整体小型化的长处。另一方面，在立体适配器方式中，系统整体虽然大型化，但具有能够使用高性能的摄像机镜头并能够提高分辨率，并且能够使用倍率不同的镜头以及变焦镜头的优点。能够提高系统的自由度是立体适配器方式的优点。

针对使用本实施方式的生物体信息检测装置(即摄像机)检测人的情绪进行了研究。如实施方式5所述，能够基于血流量稳定地检测人的应激等情感或情绪。随着人的情感或情绪的变化，自主神经活跃，皮肤表面的血流量变化。面部颜色根据该血流量的变化而变化。人平时根据该面部颜色的微妙的变化检知对象人物的情绪以及身体状况。可以想到，被称作“名医”的医生仅通过观察患者的面部就能诊断身体状况以及病因，其原因在于能够根据患者的微妙的面部颜色的变化来辨别身体的变化。此外，据说感觉敏锐的人在读取对方的情感时，微妙的面部颜色的变化也与微妙的表情的变化一同起到重要的作用。再有，在最近发展显著的游戏、动画以及计算机图形的领域中，为了将自然的印象以及真实感融入情景，针对使人物的面部颜色微妙变化广泛进行了研究。根据这些例子可知，面部颜色表现人的情绪以及身体状况，想要通过计测面部颜色来读取情感的研究日益进步(例如黑田等著“情動変動に伴う顔色と顔面皮膚温の分析とその顔色合成(与情绪变动相伴的面部颜色和面部皮肤温度的分析及其面部颜色合成)”、人机界面学会研究报告集1(1)、15-20、1999)。可是，通过面部颜色直接计测情绪的尝试难以实现稳定的测量而不适于实用。其原因在于，因为面部颜色的变化存在个人差异，面部颜色的变化是微妙的而且受到环境光以及摄像机的严重影响，所以难以实现稳定的测量。希望通过计测面部颜色以外的方法更稳定且高精度地测量面部颜色的变化的方法。

已知人的面部颜色主要由皮肤表面(真皮)所包含的黑色素的量、以及血液中的血红蛋白(氧化血红蛋白以及脱氧(还原)血红蛋白)的浓度决定。由于黑色素在短时间内不变动(长期变化、因晒黑等而变化)，因此情绪的变化能够通过测量血流量稳定进行测量。在本实施方式中，为了检测情绪的变化，不仅计测面部颜色，还直接测量使面部颜色变化的氧化血红蛋白以及脱氧血红蛋白的血流量。如实施方式5所述，面部的血流量的变化因部位而不同。这是因为，易受自主神经系统影响的程度因面部的部位而不同。例如具有如下等特征：在鼻部动静脉吻合血管多而易受自主神经系统影响，与之相对，前额部难以受皮肤血管收缩神经影响。本实施方式中运算电路22通过运算求出不同的多个部位的血流量，通过比较这些血流量，能够高精度地检测情绪的变化。

以下，说明与情绪的变化相伴的血流量的变化的计测。将图15所示的立体适配器方式的摄像机用于血流量的测量。受验者坐在摄像机的正面，由摄像机拍摄面部。从稳定的状态，受验者视听带来恐怖、笑、吃惊、厌恶感等的视频，取得受验者的面部的彩色图像。根据视频的场景与彩色图像中的表情的变化读取情绪的变动，测量此时的血流量的变化。如在图16A中由虚线所示，针对鼻部以及额部进行测量。

图16B为表示在诱发笑的感情时的总血流量(氧化血红蛋白以及脱氧血红蛋白)的时间变化与氧化血红蛋白的血流量的比例(氧饱和度)的时间变化的图。可知由于笑的情绪变化，血液总血流量与血氧饱和度的值都大为变化。针对其他情绪也进行同样的研究。与上述同样地通过计算求出在诱发悲哀、吃惊、忧郁、恐惧、厌恶、愤怒、集中、幸福等其他情绪时的总血流量以及血氧饱和度的变化量。对12名受验者进行相同的测量。虽然存在个人差异，但几乎在全部受验者中总血流量以及血氧饱和度的变化都示出了同样的倾向。根据该结果，示出了能够通过血流量以及氧饱和度的至少一方检测情绪的变化。

如图16B所示，氧饱和度与血流量的关系因面部的部位而不同。因此，通过求出面部的多个部位的血流量与氧饱和度，能够更高精度地进行情绪的感测。在针对本实施方式进行的情绪感测的实验中，进行额、脸颊和鼻这3点的测量。在额与脸颊与鼻之间，情绪变化所引起的氧饱和度以及血流量的变化不同。因此，通过事先制作表示各个部位的氧饱和度以及血流量的变化量的关系的表，计算氧饱和度与血流量的实测值和相关，能够高精度地检测情绪的变化。

(实施方式7)

作为第七实施方式，说明不通过光学系统进行图像分割而使用1台摄像机测量血氧饱和度的方式。在实施方式2～6中，说明了对来自与2个波长对应的2个光源的光进行分割并感测，通过运算求出氧饱和度等生物体信息的方法。本实施方式的生物体信息检测装置不进行图像的分割，而通过图像传感器取得不同波长的2个图像信号。

图17A为示意地表示本实施方式中的生物体信息检测装置的构成的图。该装置不是通过光学系统而是通过图像传感器703分离与2个波长对应的2个图像。在图17A中，省略点像光源，但实际上将分别发出830nm与760nm这2个波长的光的2个光源内置在摄像机箱体6内。在摄像机的镜头5的前面，配置有供730nm以上且850nm以下的波长的光透射的带通滤光器8。带通滤光器8滤掉可见光以及长波长的红外线。透射了带通滤光器8的光由镜头5成像在图像传感器703的摄像面上。在此所使用的图像传感器703不同于普通的图像传感器，具有供近红外线透射的2种带通滤光器(以下称作“滤色器”)。

图17B为表示与在图像传感器703的摄像面上排列的多个光检测单元对置的多个滤色器的图。图像传感器703具有：选择性地供680-800nm的光透射的多个滤色器IR1(也称作“第一带通滤光器组)、以及选择性地供800nm以上的波长的光透射的多个滤色器IR2(也称作“第二带通滤光器组”)。滤色器IR1、IR2排列成棋盘格状。图17B中的下图为表示滤色器IR1、IR2的透射率的波长依赖性的一例的图。图像传感器703通过多个光检测单元(也称作“像素”)检测由作为2个光源的波长的760nm以及830nm的光形成的2个图像。

运算电路22(图3C)从图像传感器703个别地读出与760nm的波长对应的多个光检测单元的数据、以及与830nm的波长对应的多个光检测单元的数据。如图17C所示，对各个数据中的不足的像素的数据进行插补，并生成760nm的波长的图像与830nm的波长的图像。由于该2张图像完全重叠，因此与根据分割后的2张图像计算血流量与氧饱和度相比，运算变得简单。该方法的问题在于，相对于使用与各个光源对应的带通滤光器，滤光器的遮断能力较低，因此有可能引起光源之间的混色。

(实施方式8)

作为第八实施方式，说明不仅能够不分割图像地取得与2个波长的光源对应的2个图像，而且还能够一并取得彩色图像的生物体信息检测装置。

图18A为表示本实施方式中的生物体信息检测装置的构成的图。在图18A中也省略了点像光源，但分别发出830nm与760nm这2个波长的光的2个光源内置在摄像机箱体6内。在本实施方式中，为了取得彩色图像，在镜头5的前面未设置带通滤光器。可见光以及激光光源的照明光由镜头5成像在图像传感器704的摄像面上。在此所使用的图像传感器704不同于通常的图像传感器，包括用于取得彩色图像的光检测单元、以及用于取得近红外图像的2种光检测单元。

图18B为表示在图像传感器704的摄像面上排列的多个带通滤光器(或滤色器)的图。图18B中的下图表示与各滤光器对置的像素的相对灵敏度的波长依赖性。如图18B所示，分别供蓝色、绿色、红色的光透射的3种滤色器(R、G、B滤光器)、供650nm以上的光透射的滤色器IR-1、以及供800nm以上的光透射的滤色器IR-2排列在摄像面上。将滤光器IR-1的组称作“第一带通滤光器组”，将滤光器IR-2的组称作“第二带通滤光器组”，将R、G、B滤光器的组称作“第三带通滤光器组”。在斜向上相邻地配置有2个绿滤光器，且在其对角侧配置有红及蓝的滤光器，该排列与普通的图像传感器的拜耳(Bayer)排列相同。在拜耳排列的4个滤光器的基本单位旁边配置有2个滤光器IR-1、IR-2，这一点不同于以往的图像传感器。

在实施方式7的滤光器IR1与本实施方式的滤光器IR-1中，透射波段不同。实施方式7中的滤光器IR1为供650-800nm的波段的光透射的相对窄带的滤光器，与之相对，在本实施方式中，使用供650nm以上的波段的光透射的滤光器。这是为了简化图像传感器703的制造工艺。但是不限于此，也能够使用实施方式7所示的滤色器。本实施方式的滤光器IR-1对760nm以及830nm双方拥有灵敏度。因此，运算电路22从与滤光器IR-1对置的光检测单元的信号中减去与滤光器IR-2对置的光检测单元的信号来计算与760nm相当的信号，据此求出血氧饱和度。据此，如图18C所示，通过图像传感器704求出红、蓝、绿的图像(彩色图像)以及760nm、830nm的各波长的图像。

在该方式中，与第七实施方式相比更容易发生混色。但是，能够通过使用简单的1台摄像机的系统同时得到彩色图像与血流量以及血氧饱和度。

在此，叙述了使用与红外域的2个波长以及可见区域的3个波长(红、蓝、绿)这5个波长对应的多谱段传感器的生物体信息感测摄像机的构成例。只要是在实施方式1说明的人体检测方式的摄像机，就能够通过红外域1个波长以及可见光域3个波长(红、蓝、绿)这4个波长的计测进行彩色摄像与人体检测。在这样的用途中，能够利用具有例如图18D所示的、与4个波长对应的4种滤色器的多谱段传感器。滤色器对图像传感器中通常所使用的拜耳排列的2个绿像素之中的1个像素分配近红外(IR)像素。在此设想为与点亮850nm的近红外照明的系统对应的摄像机，作为近红外滤光器，选择如选择性地供850nm透射的滤光器。通过使用这样的摄像机，能够由一台摄像机系统兼作普通的彩色摄像机与生物体检测摄像机。监视摄像机为一台即可，切出检测出人体的部分的彩色图像也与使用2台摄像机相比变得更容易。在此，使用与850nm对应的滤色器，但能够根据所使用的近红外光源变更近红外滤光器。

(其他实施方式)

以上例示出了本申请的实施方式，但本申请不限于上述的实施方式，能够进行多种多样的变形。关于上述的各实施方式说明的处理有时在其他实施方式中也能够适用。以下说明其他实施方式的例子。

在以上的实施方式中，排列点像光源使用了激光光源，但也可以使用其他种类的光源。例如，也能够使用更廉价的LED光源。但是，与激光光源相比，LED光源的直线度差而容易扩散。因此，在使用时需要注意，是使用专用的聚光光学系统，还是限制摄像对象物与摄像机的距离等。关于排列点像光源的个数，也不限于1个或2个，也可以使用3个以上的光源。

生物体信息检测装置也可以具备调整光学系统的焦点的调整机构。这样的调整机构例如能够通过未图示的电动机以及图3C所示的控制电路25来实现。这样的调整机构调整光学系统的焦点以使通过光源投影到对象物上的光点图案的像的对比度最大。据此，在实施方式1中说明的对比度的计算的精度得以提高。

运算电路22也可以使用从摄像元件输出的图像信号进行面部识别处理，仅在图像中包括生物体的额、鼻、口、眉毛及毛发中的至少一个时，生成并输出与生物体有关的信息。也可以实现如下系统：在生物体的额、鼻、口、眉毛及毛发中的任一个都未包含在图像中时，进行错误显示。

运算电路22也可以基于图像信号，生成包括黑色素的浓度、斑的有无、痣的有无中的至少一个在内的表皮内的信息。如前述，表皮含有强烈吸收光的黑色素。斑及痣因黑色素的增加而产生。因此，能够基于来自生物体的表面的光的强度分布检测黑色素的浓度、斑、痣。

在本申请中，说明了使用2台摄像机的双摄像机方式(图7)、将2组光学系统与2组图像传感器搭载到1台摄像机上的立体摄像机方式(图12)、使用2组镜头与1个图像传感器的立体镜头方式(图13)、使用镜头适配器并利用1个镜头与1个图像传感器的立体适配器方式(图15)、使用图像传感器分割图像的方式(图17A、图18A)。如上述，由于各个方式都存在优点与缺点，因此能够根据用途选择最佳的方式。

如上述，根据本申请的实施方式，能够不束缚受验者且不使传感器等检测装置与受验者接触地，不仅测量心率以及血流量而且还测量血氧饱和度。根据受验者的不同部位的血流量以及氧饱和度的测量值，还能够推测受验者的情绪或身体状况。

Claims (13)

1.一种生物体信息检测装置，具备：

光源，将由光形成的多个光点以所述多个光点在生物体的表面离散排列的方式投影至所述生物体；

摄像系统，包括检测所述光的多个光检测单元，生成并输出表示所述多个光点被投影至的所述生物体的图像的图像信号；以及

运算电路，使用从所述摄像系统输出的所述图像信号，生成并输出与所述生物体有关的信息，

所述图像信号包括进入到所述生物体的内部并散射之后从所述生物体的所述内部射出的散射光的成分，

所述运算电路基于所述散射光的成分，生成与所述生物体有关的生物体信息。

2.如权利要求1所述的生物体信息检测装置，

所述图像信号还包括在所述生物体的表面反射的直接反射光的成分，

所述运算电路除去所述直接反射光的成分。

3.如权利要求2所述的生物体信息检测装置，

所述运算电路对所述图像信号的至少一部分进行低通滤波处理，从而除去所述直接反射光的成分。

4.如权利要求1所述的生物体信息检测装置，

所述生物体信息包括从由与所述生物体的心率有关的信息、与血压有关的信息以及与血流量有关的信息构成的组中选择的至少一个信息。

5.如权利要求1所述的生物体信息检测装置，

所述光包括650nm以上且950nm以下的波长的光。

6.如权利要求1～5中任一项所述的生物体信息检测装置，

所述光源投影随机的光点图案。

7.如权利要求1所述的生物体信息检测装置，

所述摄像系统还包括：

带通滤光器，供包括所述光源所发出的所述光的波段的至少一部分在内的波段的光透射；以及

摄像元件，具有配置有所述多个光检测单元的摄像面，透射了所述带通滤光器的光向所述摄像面入射。

8.如权利要求1所述的生物体信息检测装置，

所述摄像系统还包括：

摄像元件，具有配置有所述多个光检测单元的摄像面；

光学系统，在所述摄像面形成所述图像；以及

调整机构，调整所述光学系统的焦点，

所述调整机构通过调整所述焦点，使所述图像的对比度最大。

9.如权利要求1所述的生物体信息检测装置，

所述运算电路使用所述图像信号进行面部识别处理，在所述图像中包括从由人体的额、鼻、口、眉毛及毛发构成的组中选择的至少一个时，生成并输出与所述人体有关的所述信息。

10.如权利要求1所述的生物体信息检测装置，

所述运算电路使用所述图像信号进行面部识别处理，从而提取与所述生物体的特定部位对应的在所述图像信号中包括的像素，

所述像素包括具有与所述散射光对应的数据的至少一个第一像素，

所述运算电路基于来自所述第一像素的数据，生成所述生物体信息。

11.一种生物体信息检测方法，包括：

将由光形成的多个光点以所述多个光点在生物体的表面离散排列的方式投影至所述生物体；

生成并输出表示所述多个光点被投影至的所述生物体的图像的图像信号；以及

使用所述图像信号，生成并输出与所述生物体有关的信息，

所述图像信号包括进入到所述生物体的内部并散射之后从所述生物体的所述内部射出的散射光的成分，

所述方法还包括：基于所述散射光的成分，生成与所述生物体有关的生物体信息。

12.如权利要求11所述的生物体信息检测方法，

所述图像信号还包括在所述生物体的表面反射的直接反射光的成分，

所述方法还包括：除去所述直接反射光的成分。

13.如权利要求12所述的生物体信息检测方法，

在除去所述直接反射光的成分中，对所述图像信号的至少一部分进行低通滤波处理。

Images