CN116269262A

CN116269262A - 生物体信息检测装置、生物体信息检测方法及存储介质

Info

Publication number: CN116269262A
Application number: CN202310202680.4A
Authority: CN
Inventors: 渡边尚志
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2016-12-01
Filing date: 2017-09-21
Publication date: 2023-06-23
Also published as: US10842393B2; JP7065361B2; CN108125673A; US20180153422A1; CN108125673B; US11490825B2; JP2018089369A; JP2022084884A; JP7336696B2; JP2023139294A; US20210030291A1; CN116269261A

Abstract

本发明提供生物体信息检测装置、生物体信息检测方法及存储介质。生物体信息检测装置具备：光源，将由第1光形成的多个点投影到生物体；摄像系统，检测通过多个点的投影而产生的第2光，并且生成包含多个像素信号的图像信号；以及运算电路；第2光包含作为在生物体的表面反射的光的表面反射光、以及在生物体的内部散射的内部散射光；运算电路从多个像素信号中选择多个第1像素信号以及多个第2像素信号，多个第1像素信号对应于生物体中的作为射出表面反射光的区域的第1区域，多个第2像素信号对应于生物体中的作为射出内部散射光的区域的第2区域；运算电路基于多个第1像素信号以及上述多个第2像素信号，生成与上述生物体相关的生物体信息。

Description

生物体信息检测装置、生物体信息检测方法及存储介质

本申请是申请日为2017年9月21日、申请号为201710857842.2、发明名称为“生物体信息检测装置”的发明专利申请的分案申请。

技术领域

本发明涉及生物体信息检测装置。例如涉及以非接触方式检测心跳等的生物体信息的生物体信息检测装置。

背景技术

作为用来判断人的健康状态的基础性的参数，广泛地使用心跳、血流量、血压、血中氧饱和度等。关于血液的这些生物体信息通常用接触型的测量器测量。接触型的测量器由于被装在被检者的生物体上，所以特别在持续长时间连续测量的情况下导致被检者的不适感。

进行了简单地测量用来判断人的健康状态的基础性的生物体信息的各种各样的尝试。例如，日本特开2005－218507号公报公开了一种根据用照相机拍摄的脸等的图像信息非接触地检测心率的方法。日本特表2003－517342号公报公开了一种使用白色光源和激光源利用在生物体表面的后方散射的激光的激光多普勒效应测量血中氧饱和度的方法。日本特表2014－527863号公报公开了一种使用通常的彩色照相机将周边光的影响排除来测量血中氧饱和度的方法。

另一方面，还提出了许多推测人的心理的变化的方法。例如，日本特开平6－54836号公报及特开2008－237244号公报公开了一种通过体表温度分布测定装置检测人因感到压力(紧张)或集中注意力而发生的鼻的周边部分的温度下降的方法。

发明内容

有关本公开的一技术方案的生物体信息检测装置具备：光源，将由第1光形成的多个点投影到生物体；摄像系统，检测通过多个点的投影而产生的第2光，并且生成包含多个像素信号的图像信号；以及运算电路；第2光包含作为在生物体的表面反射的光的表面反射光、以及在生物体的内部散射的内部散射光；运算电路从多个像素信号中选择多个第1像素信号以及多个第2像素信号，多个第1像素信号对应于生物体中的作为射出表面反射光的区域的第1区域，多个第2像素信号对应于生物体中的作为射出内部散射光的区域的第2区域；运算电路基于多个第1像素信号以及上述多个第2像素信号，生成与上述生物体相关的生物体信息。

附图说明

图1A是表示本公开的一实施方式的生物体信息检测装置的结构的概略图。

图1B是用来说明由照相机取得的生物体表面的图像的特性的图。

图2是用来说明由照相机取得的生物体信息的不同波长的特性的图。

图3是表示作为生物体的主要的成分的血红蛋白、黑色素、水的从可视光到近红外光下的吸光系数和散射系数的图。

图4A是表示实施方式1的生物体信息检测装置的结构和输出的图像数据的概略的图。

图4B是表示实施方式1的近红外图像传感器的特性的图。

图4C是表示实施方式1的彩色图像传感器的特性的图。

图4D是表示实施方式1的计算机的结构的框图。

图5A是表示实施方式1的信号处理的流程的概略的说明图。

图5B是表示实施方式1的身体运动修正的效果的说明图。

图5C是表示实施方式1的用于生物体信息取得的信号处理的效果的说明图。

图6是表示实施方式1的对比度的计算方法的说明图。

图7A是表示实施方式2的生物体信息检测装置的结构的一例的图。

图7B是表示实施方式2的生物体信息检测装置的结构的一例的图。

图8是表示实施方式2的内部散射光强度的时间变化的一例的图。

图9是表示用实施方式2的方法及以往的方法测量血中氧饱和度的结果的图。

图10是表示实施方式3的生物体信息检测装置的结构的图。

图11A是表示在实施方式3中取得的图像中的鼻部和脸颊部的图。

图11B是表示使用体表温度分布测定装置进行压力感测的结果的图。

图11C是表示使用实施方式3的生物体信息检测装置得到的血流量及血中氧饱和度的变化的图。

图12是表示实施方式4的生物体信息检测装置的结构的图。

图13A是使用实施方式4的生物体信息检测装置的监护系统的说明图。

图13B是表示使用实施方式4的生物体信息检测装置的监护系统的算法的图。

图14是表示实施方式5的驾驶员监视的流程的图。

图15A是示意地表示实施方式6的生物体信息检测装置的结构的图。

图15B是表示实施方式6的多个滤色器的图。

图15C是表示实施方式6的滤色器的透射率的波长依存性的图。

图15D是表示实施方式6的图像传感器的截面构造图。

图16A是示意地表示实施方式6的另一生物体信息检测装置的结构的图。

图16B是表示实施方式6的其他的多个滤色器的图。

图16C是表示实施方式6的图像传感器相对灵敏度的波长依存性的图。

具体实施方式

(作为本公开的基础的认识)

在说明本公开的实施方式之前，说明作为本公开的基础的认识。

如上述那样，进行了测量用来判断人的健康状态的基础性的生物体信息的各种各样的尝试。例如，特开2005－218507号公报公开了一种根据用照相机拍摄的脸等的图像信息非接触地检测心率的方法。特开2005－218507号公报的方法通过分析所取得的彩色图像的空间频率成分来求出心率。但是，在该方法中，由于因室内的照明光等的杂光的影响而精度下降，所以稳定的检测是困难的。

在血中氧饱和度的测量中通常使用脉波氧饱和度仪。脉波氧饱和度仪将手指夹入，将包含在红色～近红外的波长域中的2个波长的光向手指照射，测量其透射率。由此，能够求出血液中的氧化血红蛋白的浓度与还原血红蛋白的浓度的比。脉波氧饱和度仪能够以简便的结构测量血中氧饱和度。但是，由于是接触型的装置，所以有存在约束感的问题。

在特表2003－517342号公报中公开了非接触型的血中氧饱和度测量装置的一例。该装置使用白色光源和激光源，利用由在生物体表面的后方散射的激光带来的激光多普勒效应测量血中氧饱和度。但是，在该方法中，有装置的结构变得复杂、得到的信号也较微弱的问题。

特表2014－527863号公报提出了一种使用通常的彩色照相机将周边光的影响排除来测量心跳及血中氧饱和度的方法。在该方法中，由于环境光的变动的影响较大，所以难以以高精度稳定地测量心跳及血中氧饱和度。

这样，以往的非接触式的血中氧饱和度的测量方法在精度及稳定性上有问题。在目前不存在能用于实用的非接触式的血中氧饱和度测量装置。

另一方面，提出了许多使用体表温度分布测定装置(thermography)推测人的心理的变化的方法(例如，特开平6－54836号公报及特开2008－237244号公报)。这些方法通过体表温度分布测定装置检测鼻部的体温的下降。在人的鼻部中动静脉吻合血管较多，容易受到自律神经系统的影响而血液循环受到阻碍。因压力或紧张等的心理的变化，受到自律神经的影响，鼻部的血流会下降，随之发生鼻部的温度下降。在特开平6－54836号公报及特开2008－237244号公报中公开的装置通过用体表温度分布测定装置检测其温度变化，推测被检者的心理的变化。使用体表温度分布测定装置的方法由于到温度的下降为止需要时间，所以响应性较低，还有受到环境温度的影响等的缺点。

可以考虑如果能够正确地测量脸的表面的血流，则能够确立响应性更高、不受环境温度的影响的心理变化的推测方法。

在以上叙述的方法中，使用通常的照相机的方式由于具有装置便宜、响应速度快、分辨率高的优点，所以可以认为是最有希望的。由于问题在于测量的稳定性，所以对用来使用通常的照相机稳定而高精度地进行生物体信息的检测的方法进行了研究。首先使用对通常的可视光具有灵敏度的彩色照相机和对近红外具有灵敏度的近红外照相机对人的脸进行拍摄，抽取相当于额部的像素区域，计测各颜色的像素信号的平均值。用彩色照相机取得蓝、绿、红的3色的信号，用近红外照相机取得750nm、850nm的信号。图2对应于时间而示出各颜色的额部的各像素的信号平均值。在图2中，信号A、B、C、D、E分别表示蓝色、绿色、红色、波长750nm、波长850nm的信号。由接触式脉波氧饱和度仪测量出的被检者的拍摄时的心率是80(拍/分)(0.75秒/拍)。在绿色的信号中得到了相当于心率的明确的0.75秒周期的信号，但在红色及蓝色的信号中没有得到相当于心跳的信号。与红色、蓝色的信号相比，在波长750、850nm的近红外的信号中能稍稍看到心跳的信号的痕迹。通过将波长750、850nm的近红外的信号在某个时间范围中储存并进行频率解析，能够取得相当于心跳的频率。已经提出了实际用怎样的方法使用近红外光进行心跳测量的方法。但是，根据图2所示的信号波形可知，使用近红外光的方式信噪比差，难以提高测量精度。因此，作为使用照相机的生物体信息取得技术，使用由可视光照相机得到的绿色的信号的方式为主流。通过有选择地使用绿色的信号，能够提高信噪比而高精度地进行生物体信息取得。但是在这一使用绿色的信号的方法中存在问题。有想要进行就寝时的监视(婴儿、高龄者监护、入院患者的监护、睡眠时无呼吸症候群患者监护等)、汽车驾驶者监视等，在暗处取得生物体信息的要求，但使用绿色的信号的生物体信息取得不适于这样的目的。这是因为，在暗处不能取得信号。此外，在环境光变化那样的条件下，通过使用绿色的信号的方式难以稳定地测量生物体信息。

本申请发明者着眼于上述问题，研究了用来解决上述问题的结构。如果考虑夜间或暗处的测量，则希望进行人的眼睛看不到的近红外光的利用。但是，如图2所示，即使单纯使用近红外光图像也仅能得到信噪比较差的信号，难以得到充分的测量精度。本公开的一技术方案涉及通过使用图案化的近红外照明在空间上将生物体信息分离来改善信号品质的方法。此外，本公开的的一技术方案涉及使用将近红外光的图案向生物体表面投影的光源取得近红外光图像，同时相应地取得不包含近红外光的可视光图像，并且运算近红外光图像和可视图像来取得生物体信息的方法。

(原理)

以下，说明能够实现生物体信息的高精度的取得的生物体信息检测装置的原理。有关本公开的一技术方案的生物体信息检测装置由近红外图案照明、近红外摄像系统和可视光摄像系统构成，适当地运算两者的摄像系统的信号，不论环境如何都能够进行稳定的生物体信息的感测。通过在稳定的明亮的照明环境中提高来自可视光摄像系统的信号的比率，相反在不稳定的照明条件或较暗的照明条件下提高近红外摄像系统的信号的比率，实现了不依存于环境的稳定的生物体信息的感测。

图1A是表示本公开的例示性的实施方式的生物体信息检测装置的概略性的结构的图。该装置具备向包括生物体的对象物投影近红外光L0的光源1、和作为摄像系统的照相机201、照相机202。这里，照相机201将近红外光摄像，照相机202将可视光摄像。在图1A中，作为近红外图案光，将作为离散地排列的多个点像的点图案(dot pattern)投影在生物体上。照射近红外光的光源1配置为，将多个点像向生物体3投影。照相机201、202具有图像传感器，将生物体表面4摄像，生成图像信号并输出。照相机202将来自生物体3的可视波长域的反射光L3摄像。

在图1A中表示作为对象的生物体3的皮肤表面的构造。作为被生物体表面4反射的光的表面反射光保持着由光源1带来的点图案的像。相对于此，作为侵入到生物体3的内部中并被生物体内部散射而从生物体表面4出来的光的内部散射光，因生物体内的较强的散射而失去了光源1的点图案的像。通过使用照射点图案的光源1，能够将表面反射光L1和内部散射光L2在空间上容易地分离。

图1A中表示的生物体3是人的皮肤，包括表皮33、真皮34及皮下组织35。在表皮33中没有血管，但在真皮34中存在毛细血管31及细动静脉32。由于在表皮33中没有血管，所以表面反射光L1不包含关于血液的信息。由于表皮33包含将光较强地吸收的黑色素，所以来自表皮33的表面反射光L1在取得血液的信息方面成为噪声。由此，表面反射光L1不仅对血液信息的取得没有作用，还妨碍正确的血液信息的取得。为了以较高的精度检测生物体信息，抑制表面反射光的影响、效率良好地取得内部散射光的信息是重要的。

本公开的一实施方式具有使用照射近红外的图案光的光源1和将近红外光摄像的照相机201将表面反射光和内部散射光在空间上分离的新的结构。由此，能够将生物体内的信息以非接触方式，以较高的精度测量。图1B是用来说明照相机201的图像输出的2维分布的概略图。由光源1投影的离散地排列的多个点像被用黑圈表示。表面反射光由该皮肤表面的黑圈的部分反射。另一方面，内部散射光在皮肤的内部扩散，向黑圈的部分的外侧扩散。内部散射光的分布被用图1B的白圈表示。能够从由照相机201摄像的图像容易地将表面反射光和内部散射光分离。在2维图像中，作为由黑圈表示的区域的光强度较强的部分主要为包含表面反射光的区域，黑圈以外的区域为主要包含内部散射光的区域。通过这样使用照射图案的光源，能够容易地将表面反射光与内部散射光分离。

以往，为了将这样的生物体表面的表面反射光分离，例如采用在特开2002－200050号公报中公开那样的使用偏振光照明的方法。在使用偏振光照明的方法中，使用具有与从拍摄对象反射的照明光的偏振方向正交的偏振光透射轴的起偏镜。通过经由这样的起偏镜用照相机摄像，能够抑制表面反射光的影响。但是，关于来自皮肤那样的具有凹凸的表面的反射，表面反射光的偏振度根据位置而不同，有不能充分地将表面反射光分离的问题。此外，由于皮肤是较强的散射体，所以由皮肤表面的较浅的部分散射而反射的光不包含血液信息，所以为应分离的信号，但由于偏振光在皮肤的较浅的部分中丢失，所以有不能将该成分分离而不能提高信噪比的问题。相对于此，在本公开的方法中，由于皮肤较浅的部分中的散射光位于光源的图案的附近，所以能够容易地与从皮肤的深部反射的包含生物体信息的信号在空间上分离。根据本公开的方法，由于能够将表面反射光和内部散射光在空间上分离，所以能够更有效地抑制表面反射光的影响。

在本公开的实施方式中的生物体信息检测装置中，来自将点图案投影的光源的光的波长也很重要。光源的波长例如可以设定为约650nm以上约950nm以下。该波长范围包含在从红色到近红外线的波长范围中。在本说明书中，不仅是可视光，关于红外线也使用“光”的用语。上述波长范围被称作“生物体之窗”，通过体内的吸收率较低而被知晓。

图3是表示氧化血红蛋白、还原血红蛋白、黑色素及水的各自的光的吸收系数、以及体内的光的散射系数的波长依存性的图。在650nm以下的可视光区域中，血液即血红蛋白的吸收较大，在比950nm长的波长域中，水的吸收较大。由此，这些波长域的光不适合于生物体内的信息的取得。另一方面，在约650nm以上约950nm以下的波长范围内，血红蛋白及水的吸收系数比较低，散射系数比较大。由此，该波长范围内的光在侵入到体内之后，受到较强的散射而向体表面返回。因此，能够有效率地取得体内的信息。

本公开的实施方式的生物体信息检测装置利用符合该“生物体之窗”的波长域的光。由此，由于能够将被生物体表面反射的光与在体内散射返回来的光以较高的精度分离而检测，所以能够有效率地取得体内的信息。

通过使用近红外光，与以往的使用可视光的方式相比，能够包括夜间而在更多的场合中稳定地取得生物体信息。但是，在测量环境是太阳光照明或电灯泡照明那样的情况下，有在使用近红外光的方式中发生问题的情况。太阳光及电灯泡光不仅是可视光，还包括许多近红外光。在这样的环境中使用近红外图案照射的情况下，来自环境的太阳光或来自电灯泡光的近红外光也被照射到被照射近红外图案的区域以外。在这样的情况下，也能够从摄像的2维分布中进行表面反射光和内部散射光的分离，但是有因太阳光或电灯泡光的影响而信噪比劣化、测量精度下降的担心。在这样的情况下，通过使用同时取得的来自照相机202的可视波长域的信号能够提高精度。如已经叙述那样，在明亮而稳定的照明环境中，通过使用绿色信号能够得到较高的测量精度。另一方面，在暗处通过使用近红外光能够实现较高的测量精度。通过根据测量环境切换近红外信息和可视光信息、或将两者并用来运算，对于各种各样的环境能够稳定地取得生物体信息。由于在明亮而稳定的环境光下能够使用绿色信号稳定地计测，所以在这样的环境下通过将近红外照明灭掉，能够消除照明所需要的耗电，能够节能地进行测量。

本公开例如包括以下的项目中记载的技术方案。

[项目1]

有关本公开的项目1的生物体信息检测装置具备：光源，将由近红外光形成的图案向包括生物体的对象物投影；1个以上的摄像系统，包括检测近红外波长域的光的多个第1光检测单元、和检测可视波长域的光的多个第2光检测单元，生成表示第1图像的第1图像信号，并且生成表示第2图像的第2图像信号，上述第1图像是被投影了上述图案的上述对象物的近红外波长域的图像，上述第2图像是上述对象物的可视波长域的图像；以及运算电路，使用从由上述第1图像信号及上述第2图像信号构成的群中选择的至少1个，运算与上述生物体有关的生物体信息。

[项目2]

在项目1所记载的生物体信息检测装置中，也可以是，上述图案包含多个点。

[项目3]

在项目1或2所记载的生物体信息检测装置中，也可以是，上述近红外光包含650nm以上950nm以下的波长的光；上述可视波长域的光包含500nm以上620nm以下的波长的光。

[项目4]

在项目1～3中任一项所记载的生物体信息检测装置中，也可以是，上述生物体信息至少包括从上述生物体的心率、上述生物体的血压、上述生物体的血流量、上述生物体的血中氧饱和度、上述生物体的皮肤的黑色素的浓度、上述生物体的皮肤上的斑点的有无、以及上述生物体的皮肤上的痣的有无构成的群中选择的至少1个。

[项目5]

在项目1～4中任一项所记载的生物体信息检测装置中，也可以是，上述运算电路使用上述第1图像信号，检测上述第1图像中的与上述生物体对应的第1部分。

[项目6]

在项目5所记载的生物体信息检测装置中，也可以是，上述运算电路基于与上述第1图像中包含的像素对应的上述第1图像信号的强度及与配置在上述像素的周围的多个像素分别对应的上述第1图像信号的强度的偏差与平均值之比，决定在与上述像素对应的位置是否存在上述生物体。

[项目7]

在项目5或6所记载的生物体信息检测装置中，也可以是，上述运算电路基于从上述第1图像的上述第1部分中包含的像素及配置在上述像素的周围的多个像素中的、(i)按照与各像素对应的上述第1图像信号的强度由强到弱的顺序选择的一部分像素所分别对应的上述第1图像信号的强度的平均值、和(ii)按照与各像素对应的上述第1图像信号的强度由弱到强的顺序选择的其他一部分像素所分别对应的上述第1图像信号的强度的平均值之比，运算上述生物体信息。

[项目8]

在项目5或6所记载的生物体信息检测装置中，也可以是，上述运算电路使用与上述第1图像的上述第1部分对应的上述第2图像的第2部分中包含的多个像素所分别对应的上述第2图像信号的强度的平均值，运算上述生物体信息。

[项目9]

在项目1～8中任一项所记载的生物体信息检测装置中，也可以是，上述1个以上的摄像系统还包括：摄像元件，具有被分割为配置有上述多个第1光检测单元的第1区域、和配置有上述多个第2光检测单元的第2区域的摄像面；第1光学系统，在上述第1区域中形成上述第1图像；以及第2光学系统，在上述第2区域中形成上述第2图像。

[项目10]

在项目9所记载的生物体信息检测装置中，也可以是，上述1个以上的摄像系统还包括：第1带通滤波器，使上述近红外波长域的光透过；以及第2带通滤波器，使上述可视波长域的光透过。

[项目11]

在项目9所记载的生物体信息检测装置中，也可以是，上述1个以上的摄像系统还包括：第1带通滤波器，使上述近红外波长域的光透过；直线偏振滤波器，以与上述光源的偏振方向垂直的方式配置；以及第2带通滤波器，使上述可视波长域的光透过；上述近红外光是直线偏振光；上述直线偏振滤波器配置为，使上述直线偏振滤波器透过的直线偏振光的偏振方向相对于上述近红外光的偏振方向垂直。

[项目12]

在项目9所记载的生物体信息检测装置中，也可以是，上述摄像元件包括与上述多个第1光检测单元对置并使上述近红外波长域的光透过的第1滤色器、与上述多个第2光检测单元对置并使上述可视波长域的光透过的第2滤色器、和与上述多个第2光检测单元及上述第2滤色器对置并将上述近红外波长域的光吸收的近红外吸收滤波器。

[项目13]

在项目1～8中任一项所记载的生物体信息检测装置中，也可以是，上述1个以上的摄像系统包括第1摄像系统及第2摄像系统；上述第1摄像系统包括：第1摄像元件，具有配置有上述多个第1光检测单元的第1摄像面；以及第1光学系统，在上述第1摄像面上形成上述第1图像；上述第2摄像系统包括：第2摄像元件，具有配置有上述多个第2光检测单元的第2摄像面；以及第2光学系统，在上述第2摄像面上形成上述第2图像。

[项目14]

在项目13所记载的生物体信息检测装置中，也可以是，上述第1摄像系统还包括使上述近红外波长域的光透过的第1带通滤波器；上述第2摄像系统还包括使上述可视波长域的光透过的第2带通滤波器。

[项目15]

在项目1～14中任一项所记载的生物体信息检测装置中，也可以是，上述运算电路，基于上述第1图像信号及上述第2图像信号运算上述生物体的血流量及上述生物体的血中氧饱和度；并且基于上述生物体的血流量及上述生物体的血中氧饱和度，生成表示从由上述生物体的身体状况、感情及注意力集中程度构成的群中选择的至少1个的信息。

[项目16]

在项目1～14中任一项所记载的生物体信息检测装置中，也可以是，当上述第1图像及上述第2图像中包含从由上述生物体的脸颊及鼻构成的群中选择的至少1个部位时，上述运算电路使用上述第1图像信号及上述第2图像信号，运算从由上述脸颊及上述鼻构成的群中选择的上述至少1个部位的血流量的时间变化及血中氧饱和度的时间变化；并且使用上述血流量的时间变化及上述血中氧饱和度的时间变化，生成表示从上述生物体的身体状况、感情及注意力集中程度构成的群中选择的至少1个的信息。

[项目17]

在项目1～14中任一项所记载的生物体信息检测装置中，也可以是，当上述第1图像及上述第2图像中包含上述生物体的脸颊及鼻时，上述运算电路使用上述第1图像信号及上述第2图像信号，运算上述脸颊的血流量的时间变化及血中氧饱和度的时间变化、以及上述鼻的血流量的时间变化及血中氧饱和度的时间变化；基于上述脸颊的上述血流量的时间变化及上述血中氧饱和度的时间变化与上述鼻的上述血流量的时间变化及上述血中氧饱和度的时间变化的比较，生成表示从由上述生物体的身体状况、感情及注意力集中程度构成的群中选择的至少1个的信息。

[项目18]

在项目1～17中任一项所记载的生物体信息检测装置中，也可以是，上述1个以上的摄像系统还包括：摄像元件，具有配置有上述多个第1光检测单元的摄像面；光学系统，在上述摄像面上形成上述第1图像；以及调整机构，调整上述光学系统的焦点；上述调整机构通过调整上述焦点，使上述第1图像的对比度成为最大。

[项目19]

在项目1所记载的生物体信息检测装置中，也可以是，上述运算电路运算使用上述第1图像信号运算出的上述生物体信息的可靠性和使用上述第2图像信号运算出的上述生物体信息的可靠性，并进行比较。

[项目20]

在项目1～8中任一项所记载的生物体信息检测装置中，也可以是，上述1个以上的摄像系统还包括：摄像元件，具有被分割为配置有上述多个第1光检测单元的第1区域、和配置有上述多个第2光检测单元的第2区域的摄像面；投影光学系统，在上述第1区域及上述第2区域形成图像；反射光学系统，将上述近红外波长域的光及上述可视波长域的光向上述投影光学系统入射。

在本公开中，电路、单元、装置、部件或部的全部或一部分，或框图的功能块的全部或一部分，也可以由包括半导体装置、半导体集成电路(IC)，LSI(large scaleintegration：大规模集成电路)的一个或多个电子电路执行。LSI或IC既可以集成在一个芯片上，也可以将多个芯片组合而构成。例如，也可以将存储元件以外的功能块集成到一个芯片上。这里称作LSI或IC，但根据集成程度而叫法变化，也可以称作系统LSI、VLSI(verylarge scale integration：超大规模集成电路)或ULSI(ultra large scaleintegration：特大规模集成电路)。在LSI的制造后编程的现场可编程门阵列(FPGA)、或能够进行LSI内部的接合关系的再构成或LSI内部的电路划分的设置的可重构逻辑器件也能够以相同的目的使用。

进而，电路、单元、装置、部件或部的全部或一部分的功能或操作可以通过软件处理来执行。在此情况下，软件被记录到一个或多个ROM、光盘、硬盘驱动器等的非暂时性记录媒体中，当软件被处理装置(processor)执行时，由该软件确定的功能被处理装置(processor)及周边装置执行。系统或装置也可以具备记录有软件的一个或多个非暂时性记录媒体、处理装置(processor)及需要的硬件设备、例如接口。

以下，更详细地说明本公开的实施方式。以下的实施方式关于主要将人的颜面作为生物体表面、非接触地测量生物体信息的生物体信息检测装置。但是，本公开的技术并不限于人的颜面，对于颜面以外的部位或人以外的动物的皮肤的部分也能够应用。

(实施方式1)

作为第1实施方式，说明将本公开的技术应用于非接触的心跳计测的系统。随着健康意识的提高，稳定的生物体信息感测的重要性增加。能够非接触第而经常性测量生物体信息的系统，不仅对于医院、对于日常生活中的健康管理也很重要。本实施方式的系统能够非接触地监视心率及心跳变动。

图4A是表示本实施方式的生物体检测系统的概略性的结构的图。本实施方式的生物体检测系统如图4A所示，具备：配置在从生物体3离开的位置处的射出近红外的波长域的光线的光源1；能够将被照射的生物体表面的图像记录、将近红外光摄像的照相机201；被调整为具有大致同样的摄像范围而将可视光摄像的照相机202；和根据摄像的图像计算生物体信息并输出的计算机20。照相机201、202相当于摄像系统。计算机20包含运算电路。

照射近红外图案的光源1将点图案向生物体表面投影。点图案典型的是2维排列的微小的亮点的集合。根据用途，也可以使用1维排列的点图案。在本实施方式中，例如可以使用Osela公司的随机点图案激光投影机RPP017ES作为光源1。该激光源是发出830nm的近红外激光的光源，向45°×45°的视野角内投影57446个点的激光点图案。

照相机201具有作为第1光学系统的透镜501和壳体601。透镜501可以是多个透镜的集合体。在壳体601的内部，搭载有作为固体摄像元件的图像传感器701、和仅使830nm±10nm的波长的光透过的带通滤波器801。图像传感器701接收近红外光。另一方面，照相机202与照相机201同样，具备作为第2光学系统的透镜502、壳体602、图像传感器702和带通滤波器802。带通滤波器802的透过波长使从520到600nm的绿色波长透过。图像传感器702接收可视光。

在图4B中用实线表示图像传感器701、702的特性。在本实施例中，图像传感器701、702都不具有滤色器，使用对从紫外光到近红外光(波长300－1200nm)具有灵敏度的黑白硅图像传感器。通常的黑白图像传感器如在图4B中用点线表示那样，对于550－600nm左右的波长具有灵敏度峰值。相对于此，图像传感器701、702有灵敏度的波长范围与通常的黑白图像传感器大致相同，但是是设计为通过增加光敏二极管的深度而使长波长侧的灵敏度增加的图像传感器。在本说明书中，将具有这样的特性的图像传感器称作近红外图像传感器。为了以更高灵敏度检测近红外信号，不仅是图像传感器701，在图像传感器702中也使用近红外图像传感器。这是为了通过使两个图像传感器的特性一致而使以后的信号处理变容易。关于图像传感器702，也可以使用价格更低的通常的黑白图像传感器。

进而，关于图像传感器702，也可以使用图4C所示的通常的彩色图像传感器。彩色图像传感器通过将红、绿、蓝的滤色器配置到像素上，能够将3色的颜色信号分离而检测。但是，在此情况下，将配置在图像传感器702的前部的带通滤波器802的透过波长扩大到从400至650nm左右，使可视光全域的波长透过。如已经叙述那样，在生物体信息的感测中使用绿色光是有效的，可以认为不需要蓝色光和红色光的像素。但是，如后述那样，为了被检者的运动(身体运动)的修正，进行使用较多包含生物体信息的绿色的信号和不包含生物体信息的红或蓝色的信号的运算是有效的。所以，在身体运动较大的状况下使用的情况下，图4C所示的彩色图像传感器的利用是有效的。

在将人作为对象物的情况下，如图4A的(a)部分所示，照相机201取得包含具有与各个位置的红外线反射率对应的亮度的多个点像的图像。如上所述，生物体对于红色到近红外线的波长具有被称作“生物体之窗”的特殊的光学特性。由于人体的皮肤在该波长范围中吸收系数较小而散射系数较大，所以透过了皮肤的表面的光在体内反复多重散射而扩散，遍及大范围从皮肤表面射出。在上述波长范围中，内部散射光相对于表面反射光比例较高是生物体的特征。相对于此，在生物体以外的物体中，与内部散射光相比，表面反射光的比例较高。由此，能够基于表面反射光与内部散射光的比例来检测生物体。由此，能够检测图像内的生物体区域。进而，能够使用图像内的仅生物体区域的像素信号高速地取得生物体信息。这是因为，利用皮肤的光学特性的人体区域的检测与以往的利用图像识别的方法相比更高速、高精度。这里，如图4A的(b)部分所示，从检测到的皮肤区域中，提取能够实现稳定的生物体信息的取得的额部(用长方形的框显示)，用于生物体信息的检测。由于照相机202被调整为具有大致同样的摄像范围，所以根据由照相机201得到的额区域的坐标能够确定照相机202的额位置。在来自可视光图像的生物体信息检测中使用该额区域内的信号。这里，由于近红外光图像和可视光图像将相同的对象物摄像，所以通过绿色图像的图像识别，还能够高精度地在可视图像上正确地确定额位置，但由于图像识别处理计算负荷较大，所以也可以将处理简略化。在近红外图像中，根据扩散光成分和表面反射光成分能够高速、高精度地进行生物体信息检测区域的检测。利用该图像信号，能够决定绿色信号的生物体信息检测区域。如果将2台照相机的配置充分高精度地调整，则通过从近红外图像的坐标移位一定值，就能够决定绿色图像的生物体信息检测区域。在没有充分调整2台照相机的配置的情况下，通过将从近红外图像得到的生物体信息检测区域和绿色图像的阈值以上的反射光强度的区域进行AND处理，能够决定绿色图像的生物体信息检测区域。

如图4A的(c)部分所示，从由照相机201取得的近红外光图像中将表面反射光L1和内部散射光L2在空间上分离，通过利用该两者来运算生物体信息。另一方面，根据由照相机202取得的绿色图像运算生物体信息。如上所述，通过根据测量环境来切换近红外信息和可视光信息或将两者并用来运算，对于各种各样的环境能够稳定地取得生物体信息。

图4D是表示作为生物体信息运算装置的计算机20的结构的框图。计算机20具备：电连接在照相机201、202上的输入接口21；进行检测图像内的人体的信号处理的运算电路22；使用检测出的人体区域内的图像数据计算生物体信息的运算电路23；记录各种数据的存储器25；控制装置整体的动作的控制电路26；输出数据的输出接口24；和显示处理结果的显示器27。运算电路22、23例如可以是数字信号处理器(DSP)等的图像处理电路。控制电路26例如可以是中央运算处理装置(CPU)或微型计算机等的集成电路。控制电路26通过将例如记录在存储器25中的控制程序执行，进行向光源1的点亮指示、向照相机201、202的摄像指示、以及向运算电路22、23的运算指示等的控制。控制电路26和运算电路22、23也可以由合并的1个电路实现。在该例中，计算机20具备显示器27，但显示器也可以是以有线或无线电连接的外部的装置。计算机20也可以由未图示的通信电路从远程的照相机取得图像信息。

这里，对使用照射近红外的图案光的光源1的方法和其效果进行说明。如图2所示，有使用近红外的均匀光源拍摄的近红外图像相对于生物体信息的信噪比较低、难以得到充分的精度的问题。在本公开中使用近红外的图案光。如上所述，根据由照相机对近红外的图案光的生物体表面上的反射光进行摄像的图像，能够容易地将生物体表面上的表面反射光和入射到生物体内部中并在生物体内扩散而从表面射出的内部散射光在空间上分离。表面反射光不包含生物体内部的信息，但由于内部散射光是在皮肤内部中散射而再释放的光，所以包含生物体内部的信息。通过有选择地使用内部散射光，能够高精度地检测生物体信息。关于具体的检测方法，使用图5A、图5B、图5C详细地说明。图5A的(a)部分是将由随机点图案构成的近红外图案照明向人体投影并用近红外照相机进行拍摄的图像。这里，选择能够稳定地检测生物体信息的额区域进行生物体信息的取得。从近红外光图像中提取皮肤区域而进行运算。如果观察图5A的(b)部分所示的额区域的图像，则能够判别出与照明图案对应的浓淡。如图5A的(c)、(d)部分所示，将额区域划分为以5×5像素为单位的多个部分。如图5A的(e)部分所示，关于各部分，在25个像素中比较像素的光强度，求出用A表示的光强度较强的前10个像素的光强度的平均值，定义为该区域内的表面反射光的成分的强度。另一方面，在25像素中，求出用B表示的光强度较弱的后10个像素的光强度的平均值，定义为该区域内的内部散射光的成分的强度。通过按照每25个像素求出额区域整体的表面反射光和内部散射光的成分并将其分别平均化，运算额区域的平均表面反射光和平均内部散射光的成分的强度。这里，表面反射光和内部散射光由于是在空间上接近的像素的信息，所以为相似的信号。在非接触的生物体信息感测中，总是成为较大的问题的干扰因素(环境光的变动、测量系统及被检者的运动)的影响在表面反射光和内部散射光中大致是同样的。唯一的差别是内部散射光更多包含生物体内的信息。能够利用该特性将身体运动等的信号检测时的干扰因素修正。作为具体的修正方法，有利用内部散射光与表面反射光的强度比、或从内部散射光的强度减去对表面反射光的强度乘以一定值后的值等的方法。为了求出与表面反射光的强度相乘的常数，也可以使用独立成分进行分析。这里，仅通过内部散射光的强度与表面反射光的强度的单纯的除法就能得到充分的修正效果，所以通过除法进行了干扰因素的修正。在图5B中表示修正的效果。图5B表示额区域的全部像素对于时间的平均值的信号A、和用图5A所示的方式求出的内部散射光与表面反射光的强度比的信号B。是从静止的状态过了35秒后进行了摇头运动的状态的数据。哪种数据都进行额区域的跟踪，使得额区域成为测量区域而进行测量。全部像素平均值通过摇头而较大地变动，可知看起来如摆动那样的较小的心跳信号难以检测。相对于此，在内部散射光与表面反射光的比中虽然能看到摇头的影响，但在输出信号中能清晰地看到脉动的信号，可知尽管有较大的身体运动也能够进行生物体信息的检测。在图5C中表示得到的心跳信号。在用作为以往方式的使用全部像素的方式求出的信号A中，心跳信息的信噪比低，难以进行稳定的生物体信息的取得。在通过使用近红外图案光源将内部散射光与表面反射光分离而计测并实施信号运算而求出的信号B中，信噪比大幅地改善了。在图5C所示的例子中，与使用全部像素的平均值的情况相比信噪比改善了30倍。这样使用近红外图案光源的方式对于使用近红外光检测生物体信息是很有效的。另外，在上述例子中，使用5×5像素、前10像素及后10像素的信号，但这些值根据光源的图案和照相机的分辨率、被检者与照相机的距离等而最优值不同，所以只要根据系统和使用条件将这些值可变地设定就可以。

到此为止，对使用近红外图案光源的使用近红外照相机的生物体信息感测的信号处理进行了说明。在使用并用的绿色光的生物体信息感测中，如上所述，由于绿色光的信噪比高，所以不需要使用特殊的光源，能够将环境光作为光源而进行生物体信息感测。因此，绿色光的信号处理可以在决定测量区域(例如额区域)后、利用该区域内的平均光强度简单地运算。但是，在使用绿色光的情况下，平均光强度也较强地受到身体运动的影响。为了稳定的信号检测，也可以对绿色光也实施身体运动修正。关于身体运动的影响的除去，如已经在近红外光图像中的身体运动修正方法中说明那样，能够通过被摄像的被检者的相同场景中的生物体信息的比例较低的图像数据和较多包含生物体信息的图像数据的运算来将身体运动的影响除去。在近红外光图像的情况下，作为生物体信息的比例较低的图像数据而使用表面反射光成分，作为较多包含生物体信息的图像数据而使用内部散射光。在绿色光的情况下，由于绿色光的图像是较多包含生物体信息的数据，所以可以使用由近红外光取得的表面反射光成分作为生物体信息的比例较低的图像数据。通过在绿色光的平均光强度与近红外光的表面反射光成分之间进行运算，能够进行绿色光的身体运动修正。作为具体的运算方法，如上所述，通过两者的除法或乘以一定值后的减法，能够将身体运动的影响除去而进行高精度的计测。关于绿色光的身体运动修正也可以使用别的方法。在图4A所示的测量系统中的图像传感器702是彩色图像传感器的情况下，从可视光照相机输出红、绿、蓝的3色的图像数据。通过使用其中较多包含生物体信息的绿色数据和包含生物体信息的比例较低的红色或蓝色的信号进行运算，能够进行身体运动修正。在该方式中，有不仅修正身体运动，还能够将环境光的变动也修正的优点，和能够实现相同视野内的对位精度较高的修正的优点，但也有绿色光的信号减少、分辨率下降的问题。

在上述生物体信息感测中，为了有效率地决定测量区域，利用近红外图案照明检测人体的皮肤区域。在以往方法中，用图像识别提取脸部位，但图像识别计算负荷较大，为了高速的处理而需要高性能的计算机，导致装置的大型化、昂贵化。在本公开的一技术方案中，通过使用近红外图案照明，能够以较轻的计算负荷高精度、高速地进行人体检测。关于人体检测的具体的方法，使用图6进行说明。图6是表示在检测区域内的对比度的计算中使用的像素区域的一例的图。图像数据被作为2维的强度数据记录在存储器25中。设横(x)向上第i个、纵(y)向上第j个像素的数据为P_ij。如以下这样定义该(i，j)像素的对比度C_ij。

C_ij＝S_ij/A_ij

这里，S_ij及A_ij分别是以(i，j)像素为中心的7×7像素的区域内的像素数据的标准偏差值及平均值。由于内部散射光相对于表面反射光的比率越高则标准偏差值S_ij越小，所以C_ij的值变小。在将该处理对全部像素反复进行后，运算电路22仅提取C_ij的值是规定的范围内的像素。作为一例，在图5A所示的近红外光图像中，通过设为0.2<C_ij<0.47，正确地提取了人体区域。

这样，根据本实施方式，利用皮肤的特异的光学特性，能够有效率地从对象物中检测s皮肤区域。这里，为了求出图像的对比度(即表面反射光与散射光的对比度)而求出了5×5像素的区域内的平均值和分散标准偏差值，但这是一例。在对比度的运算中使用的像素区域的尺寸(即像素数)根据由近红外的图案光形成的多个点像的密度和照相机202的分辨率而适当地设定。为了抑制计算结果的离差，也可以在运算对象的像素区域内包含多个(例如3个点以上)的照明点像。通过使运算对象的区域的像素数增加，对比度的计算值的精度提高，但得到的生物体的像的分辨率下降。因此，运算对象的区域的像素数根据系统的结构和使用目的而适当地设定。进而，不仅是运算对象的像素数，重复该处理的像素的间隔也影响处理速度。在上述处理中，为了高速化而以5像素间隔进行运算。通过减小像素间隔而处理速度变慢，但能够提高分辨率。关于运算的重复像素间隔，也是只要根据系统的结构和使用目的适当地设定就可以。同样，对比度的规定的范围也并不限于0.2<C_ij<0.47，只要根据系统的结构和使用目的适当地设定就可以。

关于使用通常的可视照相机或近红外照相机非接触地监测心跳的方法提出了许多方法。在这些以往的方法中，由于表面反射光的成分与散射光的成分的分离是不充分的，所以在非接触时容易受到杂光的影响，难以进行稳定而高精度的测量。通过如本实施方式那样将表面反射光成分和散射光成分在空间上分离，能够进行稳定而高精度的心跳测量。例如，在以往的使用照相机的远程心跳测量中，在有身体运动的情况下，检测变得不稳定，不能进行精度较高的心跳测量。通过使用本方法，即使有身体运动，也能够稳定地测量心跳。

通过使用本实施方式的生物体信息检测装置，能够不妨碍被检者的运动，包括就寝时而经常性地监测心率或血压。由此，例如在医院中能够构建经常性地监测患者的状态，在异常发生时向医疗工作人员发出警告那样的系统。在一般家庭中，也能够进行例如罹患了无呼吸症候群的患者的夜间的心率的监测。进而，在日常生活中，也能够如上述那样简便地进行压力感测，所以能够渡过更充实的日常生活。

(实施方式2)

作为第2实施方式，说明非接触地测量血中氧饱和度的系统。血液的较大的作用，是从肺获取氧并向组织运送，从组织获取二氧化碳并使其向肺循环。在血液100ml中存在约15g的血红蛋白。将与氧结合的血红蛋白称作氧化血红蛋白(HbO₂)，将没有与氧结合的血红蛋白称作还原血红蛋白(Hb)。如图3所示，氧化血红蛋白及还原血红蛋白的光吸收特性不同。在有关本公开的一技术方案的系统中，能够根据红外波长域的反射光和绿色波长域的反射光的信号，求出作为两种血红蛋白的比率的氧饱和度。所谓氧饱和度，是表示血液中的血红蛋白中的多少已经与氧结合的值。氧饱和度用下述的数式定义。

氧饱和度＝C(HbO₂)/[C(HbO₂)+C(Hb)]×100(％)

这里，C(Hb)表示还原血红蛋白的浓度，C(HbO2)表示氧化血红蛋白的浓度。

在生物体内，在血液以外还包含对从可视到近红外的波长的光进行吸收的成分，但光的吸收率随着时间变动主要起因于动脉血中的血红蛋白。由此，能够基于吸收率的变动，以较高的精度测量血中氧饱和度。从心脏搏动出的动脉血成为脉波而在血管内移动。另一方面，静脉血不具有脉波。照射在生物体上的光在动静脉及血液以外的组织等生物体的各层中受到吸收而透过生物体，但动脉以外的组织厚度不随着时间而变动。因此，来自生物体内的内部散射光对应于由脉动带来的动脉血层的厚度的变化而呈现随着时间的强度变化。该变化反映动脉血层的厚度的变化，而不包含静脉血及组织的影响。由此，通过仅着眼于内部散射光的变动成分，能够得到动脉血的信息。通过测量对应于时间而变化的成分的周期，还能够求出脉搏。

作为本实施方式，对使用1台照相机测量生物体信息的例子进行说明。在第1实施方式中，使用2台照相机，用各自的照相机取得不同的光源波长的信号。该方式虽然有能够利用已有的照相机的优点，但由于将2台照相机连动摄像，所以系统结构变复杂。取得的数据也为2台的独立的运动图像数据，所以将时间匹配的数据处理变得复杂。在本公开的一技术方案中，实现了能够用一台照相机同时取得2个波长的图像的数据的生物体信息检测装置。

在本实施方式中，对测量血中氧饱和度的例子进行说明。图7A是表示本实施方式的生物体信息检测装置的结构的图。该装置具备内置2个作为摄像系统的照相机201、202的双眼立体照相机的构造。所以，在本说明书中，将这样的方式称作“立体照相机方式”。在生物体信息检测装置中，来自由照射波长830nm的近红外的图案光的光源1照明的生物体的反射光分别穿过带通滤波器801、802，行进方向被反射镜901、902弯折90度，由透镜501，502成像到图像传感器701、702的摄像面上。带通滤波器801、802分别是仅使波长830±15nm的近红外光、波长520到600nm的绿色光透过的带通滤波器。这里，作为将近红外光受光的图像传感器701可以使用近红外图像传感器，作为将可视光受光的图像传感器702，可以使用通常的黑白图像传感器、近红外图像传感器或通常的彩色图像传感器。但是，在使用彩色图像传感器的情况下，带通滤波器802变更为仅使400至650nm的可视光波长透过的特性。进而，如图7B所示，也可以向近红外摄像照相机的光路内插入直线偏振滤波器1001。在本实施方式中，使用照射波长830nm的近红外的图案光的作为激光源的光源1。激光具有直线偏振光的特性，由皮肤表面反射的表面反射光维持光源的直线偏振光的性质。另一方面，侵入到皮肤内部并反复散射、从皮肤射出的内部散射光失去了直线偏振光的性质。如上所述，由于生物体内部的信息(例如血流信息)包含在散射反射光中，所以通过将直线偏振滤波器1001与激光源的偏振方向垂直地配置(即，正交尼科尔配置)，能够防止来自皮肤表面的表面反射光到达近红外图像传感器701而有效率地取得内部散射光。但是，通过使用偏振滤波器，能够取得的信号量减少。因此，是否使用直线偏振滤波器只要根据测量条件和系统规格适当地决定就可以。在使用来自照射点图案的光源的光向被以点状照射的区域以外的区域(即，不是本来应被照射光的区域)的光泄漏较大的光源的情况下，通过偏振滤波器的利用，能够大幅提高生物体信息的信噪比。

如果快门按钮11被按下，则图像传感器701、702取得生物体的运动图像。

计算机20内的运算电路22与实施方式1同样，首先根据近红外光运动图像进行人体的皮肤检测，提取颜面的特定的部分(例如额的部分)。根据从图像传感器701输出的近红外光图像，将表面反射光成分与内部散射光成分分离而测量，根据这些运算取得表示心跳信息的信号。也根据从图像传感器702输出的绿色光运动图像而取得表示心跳信息的信号。

图8是表示得到的信号强度的时间变化的一例的图。根据近红外光运动图像得到的信号A的强度、以及根据绿色光运动图像得到的信号B的强度都随着时间而变动。这里，设近红外光、绿色光各自的生物体表面上的强度分别为Ii(IR)、Ii(G)，设近红外波长域及绿色波长域的内部散射光的变动成分的时间平均值分别为ΔI(IR)、ΔI(G)。血中氧饱和度SpO₂用以下的式子计算。

SpO₂＝a+b×(log(ΔI(G)/Ii(G))/(log(ΔI(IR)/Ii(IR)))

上式的a、b可以根据与已有的脉波氧饱和度仪的测量值的关系来决定。

为了确认测量装置的精度，使用本系统测量指尖的氧饱和度。使用在血压测量中使用的带子将上臂部用一定压力(200mmHg)加压，止住血流而在指尖测量氧饱和度。

在食指上安装市售的将手指夹入的方式的脉波氧饱和度仪，用本系统非接触地测量中指的氧饱和度。在通过最初的测量决定上述a、b后，通过测量来测量血中氧饱和度SpO₂。

图9表示纵轴所示的使用脉波氧饱和度仪的情况下的测量值、和横轴所示的本实施方式的测量值的比较结果。由于两者的结果大致一致，所以可知能够精度良好地测量。在本实施方式的方式中，不仅是血中氧饱和度，还能够根据图8所示的脉波也同时测量脉搏数。

根据本实施方式，通过使摄像系统为一台立体照相机的结构，系统整体变得紧凑，能够使从后段的图像信号处理到氧饱和度计算的信号处理系统的结构变得简单。由此，能够兼顾操作的简便性和高速性。

(实施方式3)

作为第3实施方式，说明使用1台照相机测量血中氧饱和度的其他方式。在第2实施方式中，是1台照相机包括2个光学系统和2个图像传感器的立体照相机方式的结构。在本实施方式中，采用通过使用多个透镜将图像分割、用1个图像传感器取得与2个波长对应的不同的2个图像的系统。将本实施方式的方式称作“立体透镜方式”。参照图10对立体透镜方式的系统进行说明。

图10是示意地表示本实施方式的生物体信息检测装置的一部分的截面图。生物体信息检测装置具有照射850nm的近红外的图案光的光源1，在透镜5的内部具有2组透镜501、502，设计为，向一个图像传感器7的摄像面的不同区域分别成像。在透镜501、502的前方，分别配置有使波长850nm的光及波长520到600nm的光分别透过的2个带通滤波器801、802。

通过这样的结构，能够使用1个图像传感器7取得由同时刻的2个波长的光形成的2个图像。作为图像传感器7而使用图4B所示的近红外图像传感器。控制电路26用与实施方式1至3同样的方法，根据这2个图像计算生物体信息。根据本实施方式，由于在1个图像信号中包含与不同的2个波长对应的同时刻的2个图像的信息，所以运算处理变得容易。

以下，说明使用该立体透镜方式的系统进行压力感测的结果。提出了通过体表温度分布测定装置检测因压力或注意力集中带来的鼻部的温度下降的方法。通过心理的变化，鼻部的血流下降，随之发生鼻部的温度下降。通常进行用体表温度分布测定装置检测该情况的方法。颜面的温度的变化通过血流的变化而发生。如果能够以较高的精度测量血流的变化，则与测量作为血流的变化的结果发生的表面温度的变化相比，能够以更高的精度，以良好的响应性进行压力感测。

将压力感测通过使用以往方法的体表温度分布测定装置的方法和使用有关本公开的一技术方案的生物体信息检测装置的方式进行，并进行比较。作为压力，采用将右手放入到冷水中的冷水负荷。关于图11A的由点线包围的鼻部和脸颊部，使用通过有关本公开的一技术方案的生物体信息检测装置得到的图像信号测量血流信息，使用体表温度分布测定装置测量温度变化。图11B是表示使用以往方法的体表温度分布测定装置进行压力感测的结果的图。鼻部的温度在冷水负荷开始后花费3分钟左右逐渐下降，下降约1.2℃而稳定。在负荷结束后，可知还是花费3分钟左右而温度复原。另一方面，可知脸颊部的温度几乎不受冷水负荷的影响而稳定。

图11C是表示使用采用了立体透镜方式的本实施方式的生物体信息检测装置得到的血流量及血中氧饱和度的变化的图。从脸部的血流量和氧饱和度(SpO₂)的数据中，提取出在图11A中用点线表示的鼻部和脸颊部的区域的数据。实线表示血流量的时间变化，点线表示氧饱和度(ΔSpO₂)的时间变化。如图11C所示，鼻部的血流量从冷温刺激之后立即就呈现下降趋向，显示出时间响应性较高。另一方面，脸颊部的血流量几乎不变化。关于氧饱和度，在鼻部在血流量的下降的同时也观测到氧饱和度的下降，而在脸颊部几乎没有变化。

根据本结果可知，通过在脸的不同的部位测量血流量及氧饱和度，能得到许多数据。基于这些数据，能够以较高的精度进行情绪变动、身体状况或注意力集中程度的检测。由于因自律神经系统的影响带来的血流量的变化根据脸的部位而不同，所以使用照相机测量特定的部位的血流量的变化是特别重要的。此时，通过同时测量血流量的变化较少的部位作为参照，能够提高测量的精度。

在该结构中，图像传感器仅是一个，不能以近红外光和可视光区分图像传感器。在上述例示中，作为图像传感器7而使用近红外图像传感器，但也可以使用彩色图像传感器。如图4C所示，在彩色图像传感器中，红、绿、蓝像素也具有对于800nm以上的近红外光的灵敏度。因此，使带通滤波器801为使与光源的波长对应的850nm的波长的光透过的结构，使带通滤波器802为使作为可视光波长的400到650nm的波长的光透过的结构。由此，用透过带通滤波器801而成像的图像传感器区域能够取得近红外的图像，用透过带通滤波器802而成像的图像传感器区域能够取得红、绿、蓝的3色的图像。实际上，在近红外区域中，有时因红、绿、蓝滤色器的微妙的近红外透过特性的差异而发生近红外光的灵敏度差。

在这样的情况下，例如只要预先取得各自的灵敏度差而进行灵敏度修正就可以。通过使用彩色图像传感器，如已述那样能够高精度地进行身体运动修正。

(实施方式4)

作为第4实施方式，表示组合使用人体检测和人体信息感测的例子。根据有关本公开的一技术方案的系统，能够迅速地检测人体，并根据检测出的人体区域的数据高速、高精度地测量心跳等的生物体信息。利用该特点，能够实现浴室、厕所、卧室等的个人空间中的监护系统。在个人空间中，对于隐私的考量是特别重要的。在用较高分辨率的照相机随时进行对象者拍摄并使用其图像的系统中，发生因图像的外流带来的隐私侵害的担心，以及因照相机的存在带来的拍摄时的心理上的负荷。

随着高龄化的发展，日本国内的入浴中的死亡者据说每年有1万到2万人。该数量远比交通事故死者数的4千至5千人多。浴室中死亡者的原因为事故和病死两者。死亡者高龄者较多，在冬季较多发生，随着高龄化每年的件数也增加。关于浴室内的死亡，不论是事故还是疾病，都包含许多只要在异常发生时能较早地发现就有可能能够挽救生命的事例。由于浴室是封闭的隐私空间，所以发现较晚而导致死亡的情形较多。强烈地希望有能够在对隐私考量的同时监护浴室内的对象者的系统。

作为本实施方式的照相机系统，采用与使用1台照相机测量生物体信息的实施方式3不同的方式。图12是示意地表示本实施方式的生物体信息检测装置的结构的截面图。该装置具备能够安装到通常的照相机透镜上的立体适配器100。立体适配器100是具备4片反射镜101、102、103、104和2个带通滤波器801、802的附件。通过使用立体适配器100，能够在图像传感器7的摄像面的不同的2个区域中分别形成与2个波长对应的2个图像。将该方式称作“立体适配器方式”。

在立体适配器方式中，使用2组对置的反射镜，能够用1个图像传感器7取得与2个波长对应的不同的2个图像。由在透镜5的前端上装接着立体适配器100的照相机取得用波长830nm的近红外的图案光照明的被检者的图像。成对的反射镜101、102和成对的反射镜103、104将光路两次弯折，向透镜5导入。在透镜5与反射镜101、102、103、104之间，搭载有使波长830nm的光及波长520～600nm的光分别透过的带通滤波器801、802。

该生物体信息检测装置能够用1个图像传感器7取得同时刻的2个波长的图像。这里，作为图像传感器7也使用图4B所示的近红外图像传感器。基本的考虑方式与实施方式3是同样的。立体透镜方式由于能够使透镜小型化，所以有能够使系统整体小型化的优点。另一方面，在立体适配器方式中，虽然系统整体大型化，但是有能够使用高性能的照相机透镜而能够使分辨率提高、以及能够使用倍率不同的透镜及变焦透镜的优点。能够提高系统的自由度这一点是立体适配器方式的优点。此外，在立体透镜方式中，由于透镜的数值孔径较小，所以不能充分地将光取入，成为低灵敏度，相对于此，在该方式中，能够使用数值孔径较大的透镜，能够构建高灵敏度的系统，有在更暗的条件下也能够感测的优点。

在本实施例中，也与在第3实施例中叙述的同样，作为图像传感器7也可以使用彩色图像传感器。在此情况下，作为带通滤波器802，只要使用使作为可视光波长的从400到650nm的光透过的带通滤波器就可以。

使用图13A、图13B对本实施例的实际的监护的算法进行说明。图12所示的生物体信息检测装置被设置在浴室角落，如图13A的(a)部分所示，能够监视浴室整体。根据摄像的近红外光图像，进行人体检测(图13A的(b)部分)、身体运动检测(图13A的(c)部分)及心跳异常的检测(图13A的(d)部分)。在检测到人体后，在没有身体运动的情况下，例如向入浴中的本人发出第1警报(警报1)，进行唤起注意。进而，在检测到心跳异常的情况下，例如向浴室外的人发出第2警报(警报2)。以下，参照图13B的流程图，更详细地说明本实施方式的监护系统的动作。

图13B是表示本实施方式的监护系统的动作的流程图。首先，运算电路22基于所取得的近红外图像的数据，通过与实施方式1相同的方法进行人体的检测(步骤S201)。这里，在检测到人体的情况下，向接着的身体运动检测的步骤S202转移。此时，在人体检测中使用的图像的数据没有被记录到存储装置中，仅保留人体区域的数据，用运动图像的下一帧的图像的数据改写。这样，不保留能够确定个人的图像数据，所以保护了隐私。

接着，运算电路23关于检测到的人体区域，通过将连续的多个帧间的数据比较来检测身体运动(步骤S202)。例如，在一定时间(例如30秒)以上没有身体运动的情况下，对本人发出警报1(步骤S203)。这可以是例如“醒着吗？在浴室中是危险的。如果醒着请按下OK按钮。”的警报。警报1以进行对于本人的注意唤起和状态的确认为目的。在没有身体运动的情况下，运算电路23再测量脉动(步骤S204)。在脉动较少的情况或不能检测到脉动的情况下，发出警报2(步骤S205)。这是对于浴室外的人(家人、看护者、救护车等)的警报。可以是以对于由系统预先设定的对象者经由声音警报、电话或因特网的确认及救援委托为目的的警报。

根据本实施方式，由于能够以简单的系统结构进行(1)人体检测、(2)身体运动检测、(3)心跳测量的3阶段的检测，所以能够实现可靠性较高的监护。

在上述例子中，沿着步骤进行(1)人体检测、(2)身体运动检测、(3)心跳测量的3阶段的检测，但也可以在人体检测后并行地进行身体运动检测和心跳测量。由此，能够稳定地监测入浴者的心跳，对入浴者进行适当的建议。由伴随着因脱衣处与浴室的温度差带来的血管收缩的心跳变化、以及由伴随着体表面血流的上升的脑及心脏的血流的下降和随之而来的起立性低血压的发生所引起的站立眩晕(热水头晕)所造成的溺死的发生较多。通过实时地用心跳监测来测量入浴者的身体状况变化、向入浴者反馈，能够防止这样的事故。例如，在心率的上升较大的情况下，能够发出“注意站立眩晕。在站起时请抓住扶手缓慢地站起。”那样的消息。

在浴室、厕所及卧室等的隐私空间中的监护系统中，隐私的保护是特别重要的。在本实施方式中，在图像信号处理中摄像的图像仅被用于人体检测和心跳测量，图像数据自身不会被记录到存储介质中，在人体检测处理后总是被下一帧的数据改写。此外，本实施方式的系统设计为不具有图像数据的输出机构。因此，为不能从外部取得图像数据的结构，进行了即使遭到有恶意的黑客等的攻击、隐私也不会被侵害那样的考量。在隐私空间中的监护系统中，这样的硬件上的及心理上的隐私确保是特别重要的。通过本系统，能够进行考量到隐私的家庭内的监护。

进而，关于卧室、病房等中的长时间的监护，有测量环境在白天较亮而受到直射日光的情况，在夜间的就寝时将照明关掉而形成黑暗的环境。在这样环境较大地不同的情况下稳定地检测生物体信息、实现长时间的监护，通过以往的生物体信息检测系统是困难的，通过有关本公开的一技术方案的使用近红外光和绿光的生物体信息检测装置，能够实现不受环境变化的影响的监护系统。

(实施方式5)

作为第5实施方式，对驾驶员监视的应用例进行说明。目前，汽车的自动驾驶技术的开发正在被推进。在人不进行驾驶的完全自动驾驶以外，还希望顺畅地进行人的驾驶和自动驾驶的切换。特别是，要求有随时监测驾驶员的状态，当驾驶者为不适合于驾驶的状态时迅速地切换为自动驾驶的机制。为了实现这样的驾驶切换，希望有能够随时监视驾驶员的状态的驾驶员监视系统。在驾驶员监视的情况下，测量环境也较大地变化。明亮度较大地变化，白天较亮，在傍晚有受到直射日光的情况，夜间的车内较暗，所以难以进行通过可视光的检测。进而，车内因车的晃动被检者相对于照相机振动。此外，还受到因驾驶操作带来的身体运动的影响。这样，驾驶员监视作为生物体信息检测的环境是非常苛刻的。如上所述，有关本公开的一技术方案的生物体信息检测装置对于照明环境的变动的耐受力较强，有还能够将身体运动的影响也除去优点，适合于驾驶员监视。

作为本实施方式的照相机系统，采用在实施方式4中说明的、图12所示的立体适配器方式。但是，在近红外的图案光中，使用通过水蒸气的吸收而在太阳光中包含的比例较低的940nm的波长。与其对应，在带通滤波器801、802中，使用分别使940nm及从520到600nm的波长的光透过的带通滤波器。

使用图12所示的生物体信息检测装置进行驾驶员监视。根据近红外光图像和绿色光图像，测量脉搏数、血流量、氧饱和度。这里，血流量根据脉动的大小即脉波信号的振幅来计算。根据脉搏的随着时间的波动，能够判定压力、注意力集中程度、困倦。在图14中表示驾驶员监视的流程图。

使用生物体信息检测装置测量脉搏数、血流量及氧饱和度(步骤S301)。根据这些信息，在检测到脉搏数、血流量或氧饱和度在第1阈值以上的急剧的下降的情况下，判断为驾驶者的身体状况的变化，在警告后强制地自动切换驾驶(步骤S302)。由于脉搏数的平缓的下降和脉搏数波动的扩大可以考虑为表示注意力集中程度的下降或有困倦的信号，所以再次测量脉搏数(步骤S303)，在脉搏数的波动中检测到第2阈值以上的变动的情况下，向驾驶者发出唤起注意的警报(步骤S304)。再次测量脉搏数(步骤S305)，在通过警报而脉搏数的波动的变动也没有比第2阈值缩小的情况下，在警告后强制地自动切换驾驶(步骤S306)。这样的驾驶员监视系统不仅对自动驾驶，对通常的车的驾驶也能够适用。当身体状况变化时或注意力集中程度下降时，仅通过向驾驶员发出唤起注意的警告，也能够增加驾驶的安全性。

(实施方式6)

作为第6实施方式，对不用光学系统进行图像分割而使用1台照相机测量血中氧饱和度的方式进行说明。在实施方式3至5中，说明了将2个波长的光分割而进行感测、通过运算求出氧饱和度等的生物体信息的方法。本实施方式的生物体信息检测装置不进行图像的分割，而用图像传感器取得不同波长的2个图像信号。

图15A是示意地表示本实施方式的生物体信息检测装置的结构的图。该装置将与2个波长对应的2个图像不是用光学系统、而是用图像传感器703分离。将从用波长860nm的近红外的图案光照明的被检者返回来的近红外光和绿色光用透镜5向图像传感器703的摄像面上成像。这里使用的图像传感器703与通常的图像传感器不同，具有作为使绿色光透过的带通滤波器的滤色器G和作为使近红外光透过的带通滤波器的滤色器IR。

图15B表示与在图像传感器703的摄像面上排列的多个光检测单元对置的多个滤色器图。图像传感器703具有有选择地使520－600nm的光透过的滤色器G、和有选择地使800nm以上的波长的光透过的滤色器IR。滤色器G、IR以棋盘格状排列。图15C是表示滤色器G及滤色器IR的透射率的波长依存性的一例的图。图像传感器703用多个光检测单元(也称作像素)检测由绿色光和860nm的近红外光形成的2个图像。这里，如果能够选择有选择地使波长520－600nm的光透过的滤色器，则能够以简单的结构形成图像传感器，但由于实际在通常图像传感器中使用的绿色滤色器具有使红外光透过的特性，所以即使单单使用绿色滤色器，在存在近红外光的条件下也不能得到绿色图像。而得到将绿色光及近红外光加在一起的图像。一个解决对策是，通过从将绿色光及近红外光加在一起的图像信号中按照每个像素减去近红外光图像信号，能够计算绿色图像。但是，在该方法中，信噪比变差，难以进行高精度的检测。所以，在本实施方式中，如图15D所示，为在邻接于近红外光滤色器803的绿色滤色器804上形成近红外吸收滤波器805、使得绿色光向绿色像素入射那样的结构。通过采用该构造，绿色像素成为图15B所示的那样的仅对绿色具有灵敏度。

在图16A中表示使用具有与图15A不同的滤色器结构的图像传感器704的例子。这里，可视光及近红外光的像被透镜5成像到图像传感器704的摄像面上。这里使用的图像传感器704包括用来取得彩色图像的光检测单元、和用来取得近红外光图像的光检测单元。

图16B是表示在图像传感器704的摄像面上排列的多个滤色器的图。图16C表示与各滤波器对置的像素的相对灵敏度的波长依存性。如图16B所示，在摄像面上排列有使红色、绿色、蓝色的光分别透过的3种滤色器R、G、B、和使650nm以上的光透过的滤色器IR。这里，也实际上在滤色器R、G、B之上形成有近红外吸收滤波器，实现了不包含近红外的R、G、B的像素。在通常的拜耳配置的滤色器中，在斜向上邻接而配置2个绿滤波器，在其对角侧配置红及蓝的滤波器，而在本实施方式中，2个绿色的像素中的一个像素为近红外光的像素。如图2所示，红色和蓝色的信号在检测生物体信息的方面不是有效的。这里设置红色和蓝色的像素，是为了使用蓝色和红色的像素数据从绿色的信号中将身体运动及环境光的变化的影响除去。如图5A至图5C所示，在近红外光中使用表面反射光和内部散射光将身体运动的影响除去。同样，通过使用红色或蓝色的信号，能够从绿色信号中排除身体运动及环境光的变动的影响。

(其他实施方式)

以上，例示了本公开的实施方式，但本公开并不限定于上述实施方式，能够进行多种多样的变形。对上述各实施方式说明的处理有在其他实施方式中也能够适用的情况。以下，说明其他实施方式的例子。

在以上的实施方式中，在将点图案投影的光源中使用激光源，但也可以使用其他种类的光源。例如也可以使用更便宜的LED光源。但是，与激光源相比，LED光源直线传播性较低而容易扩散。因此，只要使用专用的聚光光学系统、或限制摄像对象物与照相机的距离就可以。

生物体信息检测装置也可以具备调整光学系统的焦点的调整机构。这样的调整机构例如可以由未图示的马达及图4D所示的控制电路26实现。这样的调整机构调整光学系统的焦点，以使由光源向对象物投影的点图案的像的对比度成为最大。由此，在实施方式1中说明的对比度的计算的精度提高。

运算电路22也可以从图像信号中提取来自生物体的表面的表面反射光成分，基于该表面反射光成分生成包含黑色素的浓度、斑点的有无、痣的有无的至少1个的表皮内的信息。表面反射光成分例如可以根据实施方式1中的对比度是否超过了规定的阈值、或通过将图像信号中的低频成分除去来得到。

在本公开中，说明了使用2台照相机的双照相机方式(图1A)、在一台照相机中搭载有两组光学系统和两组图像传感器的立体照相机方式(图7A及图7B)、使用两组透镜和一个图像传感器的立体透镜方式(图10)、使用透镜适配器并使用一个透镜和一个图像传感器的立体适配器方式(图12)、使用图像传感器将图像分割的方式(图15A、图16A)。如已经叙述那样，在各个方式中有优点和缺点，所以可以根据用途选择最优的方式。

在本公开中，表示了作为近红外图案光源而使用点图案的例子，但也可以采用其他的图案。例如也可以采用线间隔图案、棋盘格图案、栅格图案等。

此外，在本公开中，在绿像素中使用520－600nm的波长的带通滤波器，但并不限于该波长域。最多包含生物体信息的波长是570－590nm，如果远离则信噪比劣化。因而，如果仅考虑信噪比，则也可以使用波长570－590nm的带通滤波器或580nm的窄频带光源。但，由于绿色的光利用环境光是有效率的，所以窄频带带通滤波器的采用使灵敏度下降，使较暗的环境下的测量精度下降。根据灵敏度与信噪比的平衡，在本公开的实施例中使用520－600nm的波长的带通滤波器，但根据使用环境能够变更波长范围。如果以明亮的环境中的使用为前提，则也可以使用570－590nm的窄频带滤波器。另一方面，在设想较暗的环境的情况下波长域最好较宽，但如果考虑信噪比，则也可以控制为从500到620nm的波长域。

如以上说明，根据本公开的实施方式，能够在各种各样的环境中，不约束被检者，并且不使传感器等的检测装置与被检者接触，而且不仅是测量心率及血流量，还测量血中氧饱和度。还能够根据被检者的不同部位的血流量及氧饱和度的测量值推测被检者的情绪变动或身体状况。

标号说明

1 光源

2、201、202 照相机

3 生物体

4 生物体表面

5、501、502 透镜

6，601，602 壳体

7、701、702、703、704 图像传感器

8、801、802 带通滤波器

901、902 反射镜

100 立体适配器

101、102、103、104 反射镜

11 快门按钮

20 计算机

21 输入接口

22、23 运算电路

24 输出接口

25 存储器

26 控制电路

27 显示器

31 毛细血管

32 细动静脉

33 表皮

34 真皮

35 皮下组织

L0 来自排列点光源的光

L1 表面反射光

L2 内部散射光

L3 可视波长域的反射光

Claims

1.一种生物体信息检测装置，其特征在于，具备：

光源，将由第1光形成的多个点投影到生物体；

摄像系统，检测通过上述多个点的投影而产生的第2光，并且生成包含多个像素信号的图像信号；以及

运算电路；

上述第2光包括作为在上述生物体的表面反射的光的表面反射光、以及在上述生物体的内部散射的内部散射光；

上述运算电路从上述多个像素信号中选择多个第1像素信号以及多个第2像素信号，上述多个第1像素信号对应于上述生物体中的作为射出上述表面反射光的区域的第1区域，上述多个第2像素信号对应于上述生物体中的作为射出上述内部散射光的区域的第2区域；

上述运算电路基于上述多个第1像素信号以及上述多个第2像素信号，生成与上述生物体相关的生物体信息。

2.如权利要求1所述的生物体信息检测装置，其特征在于，

上述生物体信息包括从上述生物体的心率、上述生物体的血压、上述生物体的血流量、上述生物体的血中氧饱和度、上述生物体的皮肤的黑色素的浓度、上述生物体的皮肤上的斑点的有无、以及上述生物体的皮肤上的痣的有无构成的群中选择的至少1个。

3.如权利要求1所述的生物体信息检测装置，其特征在于，

上述第1光包含650nm以上且950nm以下的波长的光。

4.如权利要求1所述的生物体信息检测装置，其特征在于，

上述运算电路基于上述多个第1像素信号各自的强度的平均值、以及上述多个第2像素信号各自的强度的平均值，生成上述生物体信息。

5.如权利要求1所述的生物体信息检测装置，其特征在于，

上述运算电路基于上述多个第1像素信号的强度与上述多个第2像素信号的强度之比，生成上述生物体信息。

6.如权利要求1所述的生物体信息检测装置，其特征在于，

上述运算电路通过从上述多个第2像素信号的强度减去对上述多个第1像素信号的强度乘以一定值而得到的值，生成上述生物体信息。

7.如权利要求1所述的生物体信息检测装置，其特征在于，

上述多个第1像素信号是上述多个像素信号中的具有相对强的强度的像素信号；

上述多个第2像素信号是上述多个像素信号中的具有相对弱的强度的像素信号。

8.一种生物体信息检测方法，其是由计算机执行的方法，其特征在于，包括以下处理：

利用光源使由第1光形成的多个点投影到生物体；以及

使摄像系统检测通过上述多个点的投影而产生的第2光，并且使上述摄像系统生成包含多个像素信号的图像信号；

上述生物体信息检测方法还包括以下处理：

从上述多个像素信号中选择多个第1像素信号以及多个第2像素信号，上述多个第1像素信号对应于上述生物体中的作为射出上述表面反射光的区域的第1区域，上述多个第2像素信号对应于上述生物体中的作为射出上述内部散射光的区域的第2区域；以及

基于上述多个第1像素信号以及上述多个第2像素信号，生成与上述生物体相关的生物体信息。

9.一种存储介质，其特征在于，记录有使计算机执行权利要求8所述的生物体信息检测方法的程序。