CN107427233A - 脉波检测装置、以及脉波检测程序 - Google Patents

Abstract

本发明涉及脉波检测装置、以及脉波检测程序，进行针对干扰要素具有鲁棒性的脉波检测。脉波检测装置(1)将动态图像的帧图像从RGB成分色变换为HSV成分，使用预先由H成分准备的用户的皮肤的颜色，确定皮肤的部分。接下来，脉波检测装置(1)将帧图像的皮肤的部分变换为YIQ成分，将对各像素的Q值进行了平均的Qm作为脉波信号。脉波检测装置(1)针对各帧图像进行上述的处理并取得脉波信号Qm的时间序列的变化，将其作为脉波而输出。这样，能够将背景等干扰要素从脉波检测对象中除去而良好地检测脉波。此外，对于皮肤的部分的确定而言，使用H成分来确定候补像素，将该候补像素作为对象并使用S成分而进行缩减从而使更高精度的皮肤部分的确定成为可能。

Description

脉波检测装置、以及脉波检测程序

技术领域

本发明涉及脉波检测装置、以及脉波检测程序，例如涉及使用图像处理来检测脉波的装置。

背景技术

在把握人的生理学的状态的基础上进行脉波的检测是极其重要的，被要求远程非接触地对其进行检测的技术。

作为这样的技术存在非专利文献的由马萨诸塞理工学院进行的研究。

该技术是利用网络摄像头对受检者的脸部进行动态图像拍摄，利用笔记本电脑将该动态图像在拍摄后(即、不是实时处理而是之后的处理)解析来检测脉波的技术。

本研究相对于以往使用激光、多普勒雷达等特殊的昂贵的装置来检测脉波，是使用廉价的通用机器和简便的方法来实现脉波的非接触检测的技术。

这里，使用图16对该技术的概要进行说明。

首先，如图16(a)所示那样，对动态图像的画面设定矩形形状的评价区域101，以受检者的脸部进入评价区域101的方式使受检者入座，以动态图像拍摄静止的状态的脸部。实验在屋内进行，从窗进入的日光被作为光源来使用。

若将得到的动态图像分离为R成分、G成分、B成分的各成分并平均则如图16(b)所示那样得到载有脉波的变动。

在这些各成分中包含根据血红蛋白的光的吸收特性等而赋予权重的脉波信号，若对其进行ICA(Independent Component Analysis：独立成分分析)等则得到脉波。

这样根据动态图像得到脉波是因为通过伴随着受检者的心跳而血管的体积变化，日光透过皮肤的光学距离变化，其表现为来自脸部的反射光的变化。

但是，该技术是在实验室的理想的环境下进行的技术，存在例如将脉波检测装置安装于车辆来检测驾驶者的脉波等实用场景的利用因各种干扰要素是困难的这样的问题。

例如，在脉波检测的对象者移动的情况下，对象者的脸部离开评价区域101之外，无法检测脉波。

并且，由于脸部以外的背景102、头发、眼睛、眉毛、口等无法进行脉波的检测的区域也包含于评价区域101，所以存在检测精度降低这样的问题。

非专利文献1：Advancementsin Noncontact，Multiparameter PhysiologicalMeasurements Usinga Webcam，Ming-ZherPoh，Daniel J.McDuff，and RosalindW.Picard，IEEE Transactionson Biomedical Engineering，Vol.58，No.1，January2011

发明内容

本发明目的在于进行针对干扰要素具有鲁棒性的脉波检测。

(1)本发明为了实现上述目的，在技术方案1记载的发明中，提供一种脉波检测装置，其特征在于具备：动态图像取得单元，取得拍摄了包含对象者的至少皮肤的区域的动态图像；皮肤部分确定单元，确定被拍摄入上述已取得的动态图像的上述对象者的皮肤的部分；脉波取得单元，根据上述确定出的皮肤的部分中的规定的色空间成分的时间变化取得上述对象者的脉波；以及输出单元，输出上述已取得的脉波。

(2)在技术方案2中记载的发明中，提供根据技术方案1所述的脉波检测装置，其特征在于，包含上述对象者的至少皮肤的区域包含上述对象者的脸部。

(3)在技术方案3中记载的发明中，提供根据技术方案1或2所述的脉波检测装置，其特征在于，具备基准成分登记单元，登记成为用于确定上述对象者的皮肤的部分的基准的色空间成分亦即基准成分，上述皮肤部分确定单元将上述动态图像中规定的色空间成分与上述已登记的基准成分对应的部分确定为上述皮肤的部分。

(4)在技术方案4中记载的发明中，提供根据技术方案1、2或3所述的脉波检测装置，其特征在于，上述皮肤部分确定单元为了确定上述皮肤的部分而使用的色空间成分、与上述脉波取得单元为了取得上述脉波而使用的色空间成分，是不同的色空间成分。

(5)在技术方案5中记载的发明中，提供根据技术方案4所述的脉波检测装置，其特征在于，上述皮肤部分确定单元为了确定上述皮肤的部分而使用的色空间成分，是由色成分(H)、彩度成分(S)、以及明度成分(V)构成的HSV色空间的上述色成分(H)，上述脉波取得单元为了取得上述脉波而使用的色空间成分，是由明度成分(Y)、以及色度成分(I、Q)构成的YIQ色空间的上述色度成分(Q)。

(6)在技术方案6中记载的发明中，提供根据技术方案1至5中任一项所述的脉波检测装置，其特征在于，具备色空间变换单元，变换动态图像的色空间，上述皮肤部分确定单元与上述脉波取得单元，通过由上述色空间变换单元变换了上述已取得的动态图像的色空间来取得色空间成分。

(7)在技术方案7中记载的发明中，提供根据技术方案3所述的脉波检测装置，其特征在于，具备：脸部图像取得单元，取得拍摄了上述对象者的脸部的脸部图像；以及区域确定单元，在上述已取得的脸部图像中，利用脸部识别处理，确定上述脸部的皮肤露出的规定的区域，上述基准成分登记单元将上述确定出的区域的色空间成分作为上述基准成分而登记。

(8)在技术方案8中记载的发明中，提供根据技术方案7所述的脉波检测装置，其特征在于，上述规定的区域是上述对象者的鼻子的区域。

(9)在技术方案9中记载的发明中，提供根据技术方案7或8所述的脉波检测装置，其特征在于，上述基准成分登记单元将对上述确定出的区域中的色空间成分的分布实施了规定的统计处理的值作为上述基准成分而登记。

(10)在技术方案10中记载的发明中，提供根据技术方案1至9中任一项所述的脉波检测装置，其特征在于，上述皮肤部分确定单元以上述动态图像的像素单位来确定上述皮肤的部分。

(11)在技术方案11中记载的发明中，提供根据技术方案1至10中任一项所述的脉波检测装置，其特征在于，上述对象者是输送设备的搭乘者，上述脉波检测装置具备使用上述输出的脉波对上述搭乘者的身体状况进行监视的监视单元。

(12)在技术方案12中记载的发明中，提供一种脉波检测程序，使计算机实现以下功能：动态图像取得功能，取得拍摄了包含对象者的至少皮肤的区域的动态图像；皮肤部分确定功能，确定被拍摄入上述已取得的动态图像的上述对象者的皮肤的部分；脉波取得功能，根据上述确定出的皮肤的部分中的规定的色空间成分的时间变化取得上述对象者的脉波；以及输出功能，输出上述已取得的脉波。

(13)在技术方案13中记载的发明中，提供根据技术方案5所述的脉波检测装置，其特征在于，上述皮肤部分确定单元用HSV色空间的上述色成分(H)确定皮肤部分候补，通过用彩度成分(S)对该皮肤部分候补进行缩减来确定上述皮肤的部分。

(14)在技术方案14中记载的发明中，提供根据技术方案13所述的脉波检测装置，其特征在于，上述皮肤部分确定单元对构成上述已取得的动态图像的每个帧图像确定上述皮肤的部分，上述脉波取得单元根据与对每个上述帧图像确定出的皮肤的部分所对应的上述色成度分(Q)的时间变化取得上述脉波。

(15)在技术方案15中记载的发明中，提供根据技术方案14所述的脉波检测装置，其特征在于，上述皮肤部分确定单元使用预先登记的上述彩度成分(S)的下限值Slo与上限值Shi进行缩减。

(16)在技术方案16中记载的发明中，提供根据技术方案15所述的脉波检测装置，其特征在于，上述皮肤部分确定单元将上述预先登记的下限值Slo与上限值Shi设为初始值，根据上述确定出的皮肤部分候补推断脸部区域，在该脸部区域的像素数小于规定的阈值P2的情况下，使上述下限值Slo与上限值Shi的范围扩展，利用上述扩展后的下限值与上限值，再次进行上述皮肤部分候补的缩减，重复上述再次的缩减直至上述脸部区域的像素数成为规定的阈值P2以上。

(17)技术方案17中记载的发明中，提供根据技术方案16所述的脉波检测装置，其特征在于，上述皮肤部分确定单元在上述推断出的脸部区域以外的像素数比规定的阈值P1多的情况下，使上述下限值Slo与上限值Shi的范围变窄，利用上述变窄后的下限值与上限值，再次进行上述皮肤部分候补的缩减，重复上述再次的缩减直至上述脸部区域以外的像素数成为规定的阈值P1以下。

(18)在技术方案18中记载的发明中，提供根据技术方案15、16或17所述的脉波检测装置，其特征在于，具备下限上限值变更单元，求出针对多个上述帧图像的色度成分(Q)的相对于时间变化的频谱密度，基于该频谱密度的规定频率区域的峰值，变更上述预先登记的下限值Slo与上限值Shi，上述皮肤部分确定单元使用上述变更后的下限值Slo与上限值Shi来确定针对以后的帧图像的上述皮肤的部分。

(1)根据技术方案1所记载的发明，能够除去被拍摄入动态图像的干扰要素而仅取出皮肤的部分，并根据其检测脉波，因此能够提高脉波检测的精度。

(2)根据技术方案2所记载的发明，能够从日常皮肤露出而容易拍摄的脸部检测脉波。

(3)根据技术方案3所记载的发明，能够通过与基准成分的对比而从动态图像容易地抽出皮肤的部分。

(4)根据技术方案4所记载的发明，能够通过采用适合于(因在皮肤与脉波中，用光观察的对象不同)观察对象的色空间成分的组合而提高相对于干扰要素的鲁棒性。

(5)根据技术方案5所记载的发明，通过组合发现了适合于皮肤的部分的确定的H成分、与发现了适合于脉波检测的Q成分，能够提高相对于干扰要素的鲁棒性。

(6)根据技术方案6所记载的发明，通过使脉波检测装置内部具备色空间变换处理而不是外部装置，使处理速度提高，根据动态图像实时地检测脉波变得容易。

(7)根据技术方案7所记载的发明，通过从对象者自身采取皮肤的颜色的基准成分，能够容易地取得包含了每个人的微妙的皮肤颜色的差异的基准值。

(8)根据技术方案8所记载的发明，能够从皮肤露出并容易确定地方的鼻子的区域采取皮肤的颜色的基准值。

(9)根据技术方案9所记载的发明，能够通过统计处理对个人差大的皮肤的颜色的分布的偏差进行平均，由此，能够提高基准成分的可靠性。

(10)根据技术方案10所记载的发明，不是由闭曲线包围的(不符合皮肤的部分的像素也散布)区域，而是以像素单位提取皮肤的部分，因此能够从评价对象除去作为干扰要素而起作用的像素，能够提高检测精度。

(11)根据技术方案11所记载的发明，能够对输送设备的搭乘者的身体状况进行监视。

(12)根据技术方案12所记载的发明，通过使脉波检测程序流通，将其安装于通用的计算机，能够容易并且廉价地构成脉波检测装置。

根据(13)～(18)所记载的发明，能够更高精度地确定皮肤的部分。

附图说明

图1是表示脉波检测装置的构成的图。

图2是用于对色空间进行说明的图。

图3是用于对根据动态图像检测脉波的结构进行说明的图。

图4是用于对整体的处理的顺序进行说明的流程图。

图5是用于对皮肤颜色数据采取处理的顺序进行说明的流程图。

图6是用于对脉波检测处理的顺序进行说明的流程图。

图7是表示了基于实验的结果的图。

图8是用于对明度的变化的修正方法进行说明的图。

图9是用于对第2实施方式中的整体的处理的顺序进行说明的流程图。

图10是用于对眼睛颜色数据采取处理的顺序进行说明的流程图。

图11是用于对明度变化对策处理的顺序进行说明的流程图。

图12是用于对色度的偏差进行说明的图。

图13是用于对第3实施方式中的整体的处理的顺序进行说明的流程图。

图14是用于对照相机特性数据更新处理的顺序进行说明的流程图。

图15是用于对照相机特性对策处理的顺序进行说明的流程图。

图16是用于对以往技术进行说明的图。

图17是第4实施方式中的、原理说明图。

图18是第4实施方式中的、皮肤颜色数据采取处理的流程图。

图19是第4实施方式中的、脉波检测处理的流程图。

图20是测定区域狭窄的情况下、第1调整处理的原理说明图。

图21是干扰多的情况下、第1调整处理的原理说明图。

图22是第1调整处理中的关于调整宽度的说明图。

图23是第1调整处理的流程图。

图24是干扰的峰值大的情况下、第2调整处理的原理说明图。

图25是脉波的峰值小的情况下、第2调整处理的原理说明图。

图26是第2调整处理中的关于调整宽度的说明图。

图27是第2调整处理的流程图。

具体实施方式

(1)实施方式的概要

在第1实施方式中，脉波检测装置1将动态图像的帧图像从RGB成分色变换为HSV成分，使用预先以H成分准备的用户的皮肤的颜色，确定皮肤的部分。使用H成分是因为关于皮肤的确定若使用H成分则鲁棒性提高。

接下来，脉波检测装置1将帧图像的皮肤的部分变换为YIQ成分，将对各像素的Q值进行了平均而得到的Qm作为脉波信号。使用Q成分是因为关于脉波信号的检测若使用Q成分则鲁棒性提高。

脉波检测装置1针对各帧图像进行上述的处理并取得脉波信号Qm的时间序列的变化，将其作为脉波输出。

这样，脉波检测装置1能够在动态图像中将皮肤的部分设定成评价区域(ROI；Region of Interest)，因此能够从脉波检测对象中除去背景等干扰要素而良好地检测脉波。

在第2实施方式中，脉波检测装置1将动态图像的帧图像从RGB成分色变换为YIQ成分，使用预先以Q成分准备的用户的眼睛的颜色，确定眼睛的部分。

而且，脉波检测装置1通过眼睛的部分的Y值对拍摄环境的明度进行检测。在眼睛的部分不出现脉波信号，因此能够作为明度的检测对象而利用。

接下来，脉波检测装置1根据帧图像的皮肤的部分的Q值的平均对脉波信号Qm进行检测，进而，通过从其减去眼睛的部分的Y值的平均值Ye而对明度的变化分进行修正，并输出明度修正后的Qm。

由此，即使在用户因车辆等移动而明度变化的情况下，也能够良好地检测脉波。

在第3实施方式中，脉波检测装置1具备对由照相机特性引起的像素的特性的偏差进行修正的照相机特性数据。而且，通过照相机特性数据修正帧图像的皮肤的部分的Q值。

脉波检测装置1使用因通过用户的活动而皮肤的部分在画面内移动所产生的皮肤的部分的Q值的变化来更新照相机特性数据。

另外，脉波检测装置1将修正对象的色限定为皮肤的颜色，由此不需要复杂的算法、计算，因此能够使计算负荷变低，能够良好地进行动态图像的实时处理。

(2)实施方式的详细

(第1实施方式)

图1是表示本实施方式的脉波检测装置1的构成的图。

脉波检测装置1例如被安装于车辆，监视搭乘者(驾驶者、助手席的乘客等)的脉波，把握驾驶者的身体状况、紧张状态等的生理状态。

另外，能够用于在医疗现场、灾害现场等检测/监视患者、受灾者的脉波。

脉波检测装置1由CPU(Central Processing Unit：中央处理器)2、ROM(Read OnlyMemory：只读存储器)3、RAM(Random Access Memory：随机存取存储器)4、显示部5、输入部6、输出部7、照相机8、存储部9等构成，检测(或推断)用户10(脉波检测的对象者)的脉波。

CPU2是根据存储于存储部9、ROM3等的程序，进行各种的信息处理、控制的中央处理装置。

在本实施方式中，对照相机8拍摄的动态图像进行图像处理并检测用户10的脉波。

ROM3是只读存储器，存储有用于使脉波检测装置1动作的基本的程序、参数等。

RAM4是能够读写的存储器，提供CPU2动作时的工作存储器。

在本实施方式中，对构成动态图像的帧图像(1帧的静止图像)进行展开并存储，或存储计算结果，从而辅助CPU2根据帧图像的皮肤的部分(以下，皮肤部分)检测脉波。

显示部5使用液晶画面等显示装置而构成，显示脉波检测装置1的操作画面、脉波的显示等脉波检测装置1的运用中必要的信息。

输入部6使用与显示装置重叠地设置的触摸面板等输入装置而构成，根据针对画面显示的触摸的有无等接受各种的信息的输入。

输出部7是将各种的信息向外部装置输出的接口，例如输出检测出的脉波，或输出根据脉波得到的脉搏，或能够在脉波出现变化的情况下输出报警。

而且输出部7能够向控制车辆的控制装置等的其他的控制设备输出。在从输出部7接受了脉波、脉搏的输出的控制设备中，例如判断驾驶者的昏昏欲睡、紧张状态等(后述)，能够进行针对驾驶者的控制、例如为了使从昏昏欲睡清醒而使方向盘、坐席振动的控制、警告音、消息的输出等。另外，作为对车辆的控制，根据基于脉波而判断的驾驶者的紧张状态，能够进行车间距离控制、车速控制、或者制动器控制的至少一个。例如，控制设备在判断为驾驶者处于超过规定值的高度紧张状态的情况下，以将车间距离设定为比基准值大的方式进行控制，以使车速成为规定车速以下的方式进行控制，若是规定车速以上就进行基于自动制动器操作的减速处理等。

照相机8使用由透镜构成的光学系统、将由此成像的图像变换为电信号的图像传感器而构成，被设置为使用户10的脸部附近成为拍摄画面。

作为照相机8虽能够使用昂贵的，但在脉波检测装置1中，使用了网络摄像头等通用品。

在脉波检测装置1中，由于利用通用品的照相机8也能够良好地检测脉波，因此能够减少成本。

照相机8以规定的帧率拍摄被拍摄体，输出由这些连续的帧图像(静止图像)构成的动态图像。

帧图像由构成图像的最小单位亦即像素(像素)的排列而构成，各像素通过RGB空间的颜色成分(R值、G值、B值)而被配色。

存储部9使用硬盘、EEPROM(Electrically Erasable Programmable Read-OnlyMemory：电可擦除可编程只读存储器)等存储介质而构成，存储用于CPU2检测脉波的程序、数据。

在存储部9中存储有脉波检测程序12、用户数据库14、照相机特性数据15等。

此外，这些中的照相机特性数据15是在第3实施方式中使用的数据，将在后面进行说明。

脉波检测程序12是使CPU2进行脉波检测处理的程序。

CPU2通过执行脉波检测程序，进行动态图像中的用户的皮肤部分的确定、以及根据已确定的皮肤部分的脉波的检测。

用户数据库14是登记了利用脉波检测装置1的用户的数据库。

在用户数据库14中，按用户1、用户2、…等每个用户存储有登记数据。

而且，在登记数据中登记有脸部数据、皮肤颜色数据、眼睛颜色数据…这样的用户所固有的信息。

脸部数据是将用户的脸部的特征进行了数据化的数据，用于对在照相机8前就坐的用户进行脸部识别而识别。

皮肤颜色数据是成为用于由帧图像确定用户的皮肤部分的皮肤的颜色的基准的数据。通过帧图像与皮肤颜色数据的对比确定皮肤部分。

眼睛颜色数据是在第2实施方式中使用的数据，因此将在后面进行说明。

图2是用于对色空间进行说明的图。

脉波检测装置1在进行脉波的检测时，变换帧图像的色空间(称为色变换)，因此首先对其进行说明。

通常彩色图像通过3个颜色成分来表现。更详细而言，图像的各像素所具有的颜色信息作为以3个颜色成分为轴而展开的色空间中的点的坐标值来表现。

在通用的摄像机中，作为颜色成分使用RGB空间的R成分、G成分、B成分的情况较多，在以往技术中，也保持原样地使用视频信号所包含的R、G、B成分来进行脉波的检测。

与此相对，本申请发明者反复试验，来探索相对于干扰要素更具鲁棒的(具有耐性的)颜色成分。

其结果，发现了在皮肤部分的确定中HSV空间的H成分适合，在脉波检测中YIQ空间的Q成分适合。

因此，在脉波检测装置1中，根据目的而分开使用颜色成分。

这样，因观察对象而光的反射特性不同，因此通过选择与对象对应的最佳的组合能够提高相对于干扰的鲁棒性。

图2(a)是表示RGB空间的图。

RGB空间由表示RGB成分的相互正交的R轴、G轴、B轴构成。

在RGB空间中，通过R值(红)、G值(绿)、B值(蓝)表示颜色信息，通过RGB空间的点的坐标值规定像素的RGB值。

RGB方式是最一般的彩色模型，照相机8也以RGB方式输出动态图像。

图2(b)是表示了HSV空间的图。

HSV空间由具有圆形的底面的圆锥表示，圆锥面方向的旋转角表示H成分，距底面的中心的距离表示S成分，从圆锥的顶点向底面引出的垂线的距离表示V成分。

在HSV空间中，通过H值(颜色)、S值(彩度)、V值(明度)表示颜色信息，通过HSV空间的点的坐标值规定像素的HSV值。

HSV方式主要在计算机图形等中被使用。

此外，HSV空间除了由图2(b)所示的圆锥表示的情况以外，还可以用圆柱来表示。该情况下也与由圆锥表示的情况相同，色相(H)沿圆柱的外圆周而变化，彩度(S)伴随距中心的距离而变化，明度(V)从顶点朝向底而变化。

图2(c)是表示了YIQ空间的图。

YIQ空间由表示YIQ成分的相互正交的Y轴、I轴、Q轴构成。

在YIQ空间中，通过Y值(明度)、I值(色度：暖色系)、Q值(色度：冷色系)表示颜色信息，通过YIQ空间的点的坐标值规定像素的YIQ值。

Y值能够取正的值，I值与Q值能够取正负的值。

YIQ方式作为生成NTSC信号的分量信号的方式，主要在视频设备内使用。

图3是用于对根据动态图像检测脉波的结构进行说明的图。

图3(a)是表示脉波检测装置1从用户的脸部采取皮肤颜色数据的方法的图。

脉波检测装置1通过照相机8对用户的脸部的静止图像30进行拍摄，对鼻子进行检测并设定鼻区域20。鼻子的检测使用一般的脸部识别技术来进行。

而且，脉波检测装置1将鼻区域20的色空间从RGB空间变换为HSV空间，根据各像素的H值生成皮肤颜色数据。

将采取皮肤颜色数据的区域作为鼻区域20是因为通过脸部识别容易确定，并且，露出了标准的皮肤的颜色。

除了鼻子以外，也能够构成为例如从额头、脸颊等其他的区域采取皮肤颜色数据。

图3(b)是用于对从帧图像31提取脉波信号的方法进行说明的图。

在帧图像31中，除了皮肤部分以外，头发21、眉毛22、眼睛23、嘴唇24、背景25等也进入帧图像31中。

这些皮肤以外的部分不包含脉波信号，或者，是不适于检测脉波信号的部分，在脉波检测处理中作为使精度降低的干扰要素而起作用。

因此，脉波检测装置1将帧图像31色变换而生成HSV图像32，将与皮肤颜色数据对应的部分确定为皮肤部分26。

皮肤部分26以像素单位被确定，脖子等的皮肤露出的部分被全部确定。

这样，通过除去干扰要素并且最大限度确保包含脉波信号的部分，能够提高脉波检测精度。

脉波检测装置1从HSV图像32中的皮肤部分26的位置，提取帧图像31中的皮肤部分，变换为YIQ图像。其结果，得到YIQ空间中的皮肤部分26a。

脉波检测装置1对皮肤部分26a的各像素的Q值进行平均并计算Qm，将Qm作为脉波信号输出。

此外，在本实施方式中，将帧图像31变换为YIQ图像而得到了皮肤部分26a，但也可将HSV图像32的皮肤部分26变换为YIQ图像而得到皮肤部分26a。

图3(c)是表示根据动态图像检测出的脉波的图。

脉波检测装置1将从各帧图像输出的脉波信号Qm以时间序列(帧图像的顺序)排列并形成脉波35。

这样，脉波检测装置1通过由各帧图像确定用户的皮肤部分，能够匹配于用户的动作来追踪/提取皮肤部分并且检测脉波。由此，得到以下那样的特征。

(与实时处理的适合性)

在以往技术中，受检者在将脸部对准了评价区域101的状态下保持静止来拍摄动态图像。在拍摄中存在脸部偏离评价区域101的可能性，因此对拍摄结束的动态图像进行解析。

与此相对，脉波检测装置1在动态图像的各帧图像中确定皮肤部分26，因此评价区域以固定于用户的皮肤的状态在动态图像内移动。

即使脸部移动皮肤部分也不偏离评价区域而能够实时地检测脉波。

另外，假设利用各帧图像对用户的脸部进行脸部识别并追踪的情况下，需要计算机的高处理能力，而且脸部识别失败的可能性高。

与此相对，脉波检测装置1能够通过将HSV图像与皮肤颜色数据对比来确定皮肤部分的简单的处理追踪皮肤部分。因此，适合于实时处理。

进而，由于以简单且低负荷的处理检测脉波，因此即使进行实时处理也能够抑制因计算机的处理能力而产生的帧图像的脱落(所谓丢帧)。

处理完的帧图像的间隔成为脉波的测定间隔(取样率)，因此通过防止丢帧能够防止测定间隔变大。

由此能够维持脉波的高时间分辨率，提高脉波的检测精度。

另外，脸部识别处理仅在皮肤颜色数据登记时进行，皮肤颜色数据使用已经登记的，因此能够避免在现场使脸部识别失败而无法采取皮肤颜色数据，无法进行脉波检测这样的情况，提高测定的可靠性。

脉波的检测主要用于监视对象者的现在的生理状态的情况，能够实时处理是重要的。

(背景的除去)

在以往技术中，使评价区域101与受检者的脸部的形状一致是困难的，因此存在背景等的干扰要素进入评价区域101，使脉波的检测精度降低的可能性。

与此相对，在脉波检测装置1中，评价区域与皮肤部分26总是一致，因此能够防止脸部以外的背景等的干扰要素进入评价区域，由此，能够进行正确的脉波检测。

(与脉波无关的脸部的部分的除去)

在以往技术中，即使在将受检者的脸部正确地设定于评价区域101的情况下，由于与脉波无关的脸部的部分(头发、眼睛、嘴等)进入评价区域，因此存在这些成为干扰要素而对脉波的检测精度造成影响的可能性。

与此相对，在脉波检测装置1中，这些的脸部的要素被从皮肤部分26除去，因此能够提高脉波的检测精度。

进而，即使用户眨眼、或开闭口，由于与脸部的动作匹配而动态地设定皮肤部分26，所以也能够将脸部的动作引起的干扰要素从评价区域除去。

图4用于对脉波检测装置1进行的整体的处理的顺序进行说明的流程图。

以下的处理是CPU2根据脉波检测程序12来进行的。

首先，CPU2若根据照相机8的图像的变化检测出用户就坐在指定位置，则取得用户的脸部的图像并存储于RAM4(步骤5)。

该图像也可作为静止图像而拍摄，也可从动态图像的帧图像中取出。

这样，脉波检测装置1具备取得对包含对象者的至少皮肤的区域进行了拍摄的动态图像的动态图像取得单元，包含该皮肤的区域包含对象者的脸部。

接下来，CPU2对已存储于RAM4的脸部的图像进行脸部识别，通过将其与用户数据库14的脸部数据比较来进行检索(步骤10)。

在检索到脸部的情况下，CPU2判断为该用户已登记完毕(步骤15；是)，从用户数据库14取得该用户的皮肤颜色数据并存储于RAM4(步骤20)。

另一方面，在未检索到脸部的情况下，CPU2判断为该用户未登记(步骤15；否)，进行皮肤颜色数据采取处理，从脸部的图像采取皮肤颜色数据(步骤25)。

而且，脉波检测装置1根据脸部的图像形成脸部数据，将脸部数据与皮肤颜色数据建立对应地存储于用户数据库14从而进行用户登记(步骤27)。

CPU2若取得皮肤颜色数据，则根据从照相机8发送来的动态图像取得帧图像并存储于RAM4(步骤30)。

接下来，CPU2进行根据存储于RAM4的帧图像检测脉波的脉波检测处理(步骤35)。

接下来，CPU2判断是否继续脉波的检测(步骤40)。

在继续脉波的检测的情况下(步骤40；是)，脉波检测装置1返回步骤30，针对动态图像的下一个帧图像进行脉波检测处理。

另一方面，在用户按动停止按钮等而不继续脉波的检测的情况下(步骤40；否)，脉波检测装置1结束处理。

图5是用于对步骤25的皮肤颜色数据采取处理的顺序进行说明的流程图。

首先，CPU2从RAM4读出脸部的图像，对其进行脸部识别(步骤50)，而且，检测鼻子(步骤55)。

接下来，CPU2针对检测出的鼻子设定皮肤颜色数据采取用的鼻区域(步骤60)。

这样，脉波检测装置1具备取得拍摄了对象者的脸部的图像的脸部图像取得单元；及通过脸部识别处理，确定脸部的皮肤露出的规定的区域(鼻子的区域)的区域确定单元。

接下来，CPU2将鼻区域的色空间从RGB空间色变换为HSV空间(步骤65)，取得各像素的H值(步骤70)。

接下来，CPU2对各像素的H值进行平均并计算Hm(步骤75)，进而，计算H值的标准偏差σ(步骤80)。

接下来，CPU2根据Hm和σ计算H值的下限值Hlo＝Hm-n×σ并存储于RAM4(步骤85)。关于n将在后述。

进而，CPU2计算H值的上限值Hlo＝Hm+n×σ并存储于RAM4(步骤90)。

而且，CPU2将H值的下限值与上限值作为皮肤颜色数据而输出(步骤95)，返回主程序(图5)。

输出的皮肤颜色数据(Hlo和Hhi)作为成为用于确定对象者的皮肤的部分的基准的色空间成分亦即基准成分发挥功能，在步骤27(图4)的用户登记中登记。

这样，脉波检测装置1具备登记基准成分的基准成分登记单元，针对鼻区域的色空间成分实施基于平均值与标准偏差的统计处理并登记。

n是σ的乘数，规定以Hm为中心的H值的范围。如后述那样，脉波检测装置1根据帧图像将H值处于该范围内的部分确定为皮肤部分，因此通过实验等能够将n调节为适当的值。

例如，若使n＝3，则将H值处于Hm±3σ的范围的部分确定为皮肤部分。

图6是用于对步骤35(图5)的脉波检测处理的顺序进行说明的流程图。

首先，CPU2将存储于RAM4的帧图像的色空间从RGB空间变换为HSV空间，将变换后的HSV图像存储于RAM4(步骤100)。

接下来，CPU2将对像素的顺序进行计数的计数器i设定为i＝0(步骤103)。

接下来，CPU2取得存储于RAM4的HSV图像的各像素中的、第i个像素的H值亦即Hi(步骤105)。

而且，CPU2判断Hi是否满足Hlo＜Hi＜Hhi，即、判断Hi是否进入皮肤颜色数据的范围(步骤110)。

CPU2在Hi处于该范围的情况下，判断为该像素与皮肤颜色数据对应。

在Hi满足该不等式的情况下，即、Hi与皮肤颜色数据对应的情况下(步骤110；是)，CPU2将该像素的位置坐标存储于RAM4(步骤115)。

在步骤115中存储了位置坐标后，或者，在步骤110中Hi未处于皮肤颜色数据的范围的情况下(步骤110；否)，CPU2判断关于HSV图像的全部的像素是否进行了步骤110的判断(步骤120)。

在还存在未判断的像素的情况下(步骤120；否)，CPU2使i自加1而更新为i＝i+1(步骤123)，返回步骤105针对下一个像素重复相同的处理。

通过进行以上的步骤100～步骤123，与皮肤部分对应的像素(评价对象像素)的位置坐标被存储于RAM4。

接下来，CPU2通过利用帧图像确定位于存储于RAM4的位置坐标的像素，取得帧图像中的评价对象像素(步骤125)。

这样，脉波检测装置1具备确定被拍摄入动态图像的对象者的皮肤的部分(评价对象像素)的皮肤部分确定单元。

另外，该确定通过将在动态图像中规定的色空间成分与登记的基准成分对应的部分以像素单位作为皮肤的部分来进行。

接下来，CPU2将评价对象像素的色空间从RGB空间色变换为YIQ空间(步骤130)。

而且，CPU2对各像素的Q值进行平均并求出平均值Qm(步骤135)，将其作为脉波信号输出(步骤140)，返回主程序(图4)。

在评价对象像素的Q值含有脉波信号，将其平均化而作为Qm，从而能够减少噪声的影响。

通过以上的处理，根据一个帧图像对脉波信号Qm进行检测，但若针对将其连续的各帧图像进行，将脉波信号Qm按照帧图像的顺序排列，则利用脉波信号Qm的时间变化而得到图3(c)所示的脉波。

这样，脉波检测装置1具备根据皮肤的部分中的规定的色空间成分的时间变化取得脉波的脉波取得单元，及输出其的输出单元。

如以上说明那样，脉波检测装置1以HSV空间的H成分进行皮肤部分的确定，以YIQ空间的Q成分进行脉波检测。

因此，皮肤部分确定单元为了确定皮肤的部分而使用的色空间成分，与脉波取得单元为了取得脉波而使用的色空间成分是不同的色空间成分。

而且，脉波检测装置1具备变换动态图像的色空间的色空间变换单元，皮肤部分确定单元和脉波取得单元利用由色空间变换单元变换后的色空间取得色空间成分。

进而，在脉波检测装置1中能够具备通过脉波监视输送设备的搭乘者的身体状况的监视单元。

此外，在本实施方式中，从帧图像提取皮肤部分之后将该提取的皮肤部分从RGB空间色变换为YIQ空间，但也可在将帧图像的整体色变换为YIQ空间之后提取皮肤部分。

(第2实施方式)

在以往技术中，在基于从实验室的窗射入的日光的稳定的明度下进行脉波的检测。

另一方面，在车辆、医疗现场中使用脉波检测装置1的情况下，以怎样的拍摄环境使用是各种各样的，预想在脉波检测中特别是明度发生变化。特别是在车辆中对驾驶员、搭乘者等的脉波进行检测的情况下，根据车辆的行驶位置、朝向的变化、时间段等，明度的变化容易频繁地发生。

因此，对因实际使用脉波检测装置1时产生的明度变化对检测结果是否产生影响进行了调查。即，本申请发明者试着在基于荧光灯的照明下进行脉波的检测，并且用扇子对受检者的脸部形成阴影而使明度变化。

图7是表示了基于该实验的结果的图。

图7(a)是环境的明度未变化时的脉波信号Qm的时间变化。

如图所示那样，脉波被顺利地检测。

另一方面，图7(b)是通过利用扇子对受检者的脸部形成阴影而仅使明度发生变化时的脉波信号Qm的时间变化。

期间41是没有阴影的期间，期间42是有阴影的期间。

如图所示那样，脉波信号Qm因明度的变化而较大地变化，该变化隐没了Qm的变化而使脉波的检测变得困难。

针对这样的问题本申请发明者进行了研究，发现了眼睛的部分(以下，眼睛部分)中没有出现脉波信号Qm。

从皮肤部分检测重叠了明度的变化的脉波信号Qm，从眼睛部分检测不包含脉波的明度的变化(或明度的大小)，因此通过从前者减去后者，能够对明度的变化进行修正。

另外，本申请发明者发现了在明度的变化的检测中YIQ空间的Y成分是合适的，因此在本实施方式中，通过Y成分对明度的变化进行检测。

进而，脉波信号Qm于明度的Y值属于相同的色空间，因此只要简单地减去即可。

图8的各图是用于对明度的变化的修正方法进行说明的图。

图8(a)是表示用于明度的变化的检测的眼睛部分45的图。

眼睛部分45由颜色浓的大致中央的瞳孔部分48、瞳孔部分48的周围的虹膜部分47、接近白色的虹膜部分47更外侧的白眼球部分46构成。

脉波检测装置1将眼部分45中的Q值的最小值设为Qlo，眼部分45中的Q值的最大值设为Qhi，将这些作为眼睛颜色数据而登记。

此外，脉波检测装置1也可将白眼球部分46的Q值设为Qlo，瞳孔部分48的Q值设为Qhi，将这些作为眼睛颜色数据而登记。

如后述那样，脉波检测装置1使用眼睛颜色数据从用户的脸部的眼睛区域提取眼睛部分45，根据该提取的眼睛部分45的Y值的变化来对明度的变化进行检测。

图8(b)是表示明度信号51的图。

脉波检测装置1对从眼睛部分45检测出的Y值进行平均，生成明度信号Ym。若将其以时间序列进行曲线化则得到明度信号51。

在图示的例子中，在期间42对脸部形成了阴影，因此期间42的明度比期间41小。

图8(c)是表示修正前脉波信号52的图。

修正前脉波信号52是以时间序列对修正明度的变化之前的脉波信号Qm进行了曲线化的信号。

在修正前的脉波信号52中，如图8(c)所示那样，受到明度的降低的影响，期间42中的脉波信号Qm也降低。

图8(d)是表示修正后脉波信号53的图。

脉波检测装置1通过从修正前的脉波信号Qm中减去明度信号Ym，生成修正后脉波信号53。若以时间序列对其进行了曲线化则得到修正后脉波信号53。

在修正后脉波信号53中，由明度的变化引起的影响被除去，因此即使在明度降低的期间42也得到适当的脉波。

图8(e)(f)是用于对脉波检测装置1利用动态图像的帧图像确定眼睛部分45的方法进行说明的图。

首先，脉波检测装置1如图8(e)所示那样，针对帧图像进行脸部识别处理，提取包含眼睛部分45的眼睛区域55。

而且，脉波检测装置1相对于眼睛区域55使用眼睛颜色数据来提取眼睛部分45。

这样，从眼睛区域55提取眼睛部分45是基于以下的理由。

若相对于帧图像使用眼睛颜色数据，则与例如在背景等偶尔提取与眼睛颜色数据对应的部分的情况相比，因为眼睛区域55由皮肤部分和眼睛部分45构成，与眼睛颜色数据对应的部分仅是眼睛部分45，因此能够可靠地确定眼睛部分45。

另外，通过脸部识别，也能够直接确定眼睛部分45，但需要提高脸部识别的精度，失败率也高，因此这样在图像识别中大致地确定眼睛区域55。

图9是用于对脉波检测装置1进行的整体的处理的顺序进行说明的流程图。

对与第1实施方式相同的步骤，赋予相同的步骤编号，简化或省略说明。

在用户是登记用户的情况下(步骤15；是)，CPU2从用户数据库14取得皮肤颜色数据(步骤20)，进一步取得眼睛颜色数据(步骤150)。

另一方面，在不是登记用户的情况下(步骤15；否)，CPU2进行皮肤颜色数据采取处理(步骤25)，进一步进行眼睛颜色数据采取处理(步骤155)，通过将脸部数据、皮肤颜色数据、眼睛颜色数据等存储于用户数据库14而进行用户登记(步骤27)。

CPU2取得帧图像(步骤30)，进行脉波检测处理(步骤35)，对修正前的脉波信号Qm进行检测。

接下来，CPU2对修正前的脉波信号Qm进行明度变化对策处理(步骤160)，输出修正后的脉波信号Qm。

图10是用于对步骤155的眼睛颜色数据采取处理的顺序进行说明的流程图。

首先，CPU2对在皮肤颜色数据采取处理中使用的脸部的图像进行脸部识别(步骤180)，检测眼睛部分(步骤185)。

这样脉波检测装置1具备在脸部图像中通过脸部识别处理，确定脸部的眼睛的区域(此时是眼睛部分)的区域确定单元。

接下来，CPU2将眼睛部分设定为评价区域(步骤190)，将包含于眼睛部分的全部的像素的色空间从RGB空间变换为YIQ空间(步骤200)。

接下来，CPU2按照包含于眼睛部分的每个像素取得Q值并存储于RAM4(步骤205)。

而且，CPU2将存储于RAM4的Q值中的最低值设为Qlo(步骤210)，并且将最高值设为Qhi(步骤215)，将其作为眼睛颜色数据，与该用户的脸部数据与皮肤颜色数据建立对应地登记于用户数据库14(步骤220)，返回主程序(图9)。

这样，脉波检测装置1具有将该确定的区域的色空间成分设为成为用于确定眼睛的部分的基准的基准成分(Qlo和Qhi)而登记的基准成分登记单元。

而且，基准成分登记单元登记针对确定出的区域中的色空间成分的分布实施了确定最小值与最大值的统计处理而得的值。

图11是用于对步骤160的明度变化对策处理的顺序进行说明的流程图。

首先，脉波检测装置1的CPU2利用存储于RAM4的帧图像进行脸部识别而对脸部进行检测(步骤230)，进而，对眼睛区域进行检测(步骤235)，将检测出的眼睛区域设定为评价区域(步骤240)。

接下来，CPU2将眼睛区域的色空间从RGB空间变换为YIQ空间并存储于RAM4(步骤245)。

接下来，CPU2将计数器j设定为0(步骤250)，从RAM4取得眼睛区域的第j个像素的Q值亦即Qj(步骤253)。

而且，CPU2判断Qj与Qlo、Qhi的大小关系(步骤255)。

若Qj为Qlo＜Qj＜Qhi(步骤255；是)，则CPU2判断为该像素包含于眼睛部分，取得该像素的Y值并存储于RAM4(步骤260)。

在取得Y值后，或者，Qj不满足Qlo＜Qj＜Qhi的情况下(步骤255；否)，CPU2判断是否针对全部的像素进行了判断(步骤265)。

在存在还没有进行判断的像素的情况下(步骤265；否)，CPU2将j自加1并更新为j＝j+1(步骤270)，其后返回步骤253针对下一个像素重复相同的处理。

通过以上的处理，取得从眼睛区域除去了皮肤部分的眼睛部分的各像素的Y值。

这样，脉波检测装置1具备通过将在动态图像中规定的色空间成分与登记的基准成分对应的部分确定为眼睛的部分，以像素单位确定被拍摄入动态图像的眼睛的部分的眼睛部分确定单元。

CPU2若这样将全部的像素的Y值存储于RAM4，则对其平均并计算平均值Ye(步骤275)。

平均值Ye与拍摄环境的明度对应，其与前后的帧图像的Ye之差表示明度的变化。

因此通过从各帧图像减去各自的明度的平均值Ye，能够对明度的变化量进行修正。

这样，脉波检测装置1具备根据眼睛的部分的规定的色空间成分的变化取得由动态图像的拍摄环境的变化所产生的明度的变化的明度变化取得单元。

接下来，CPU2取得修正前的脉波信号Qm(步骤276)，从其减去平均值Ye并计算修正后的脉波信号Qm(步骤277)，输出计算出的修正后的脉波信号Qm(步骤278)，返回主程序(图9)。

这样，脉波检测装置1具备使用明度的变化以像素单位对动态图像的明度进行修正的明度修正单元，和根据已修正的皮肤的部分中的规定的色空间成分的时间变化取得脉波的脉波取得单元。

另外，脉波检测装置1利用Y成分取得明度的变化，利用H成分确定皮肤部分，利用Q成分检测脉波，利用不同的色成分进行处理。

而且，脉波检测装置1具备变换这些色空间的色空间变换单元。

根据以上说明的第2实施方式，能够得到以下的效果。

(1)即使在因外光的变化、用户的动作等拍摄环境的变化导致明度发生了变化的情况下也能够检测脉波。

(2)能够一边根据脸部的皮肤检测脉波，一边同时根据眼睛检测明度的变化。

(3)即使没有特别的装置也能够对明度的变化进行修正。

此外，在本实施方式中，从帧图像提取皮肤部分后进行了该皮肤部分的明度的修正，但也可对帧图像的全体进行了明度的修正后，提取皮肤部分。

(第3实施方式)

例如，虽然在使用通用品的照相机8的情况、人鉴赏动态图像的情况下无法知晓，但在检测脉波中存在成为障碍的程度的每个像素的特性的偏差。

在本实施方式中，通过色成分检测脉波，因此受到色度(色质)特性的偏差的影响。

图12是用于对基于照相机特性的色度的偏差进行说明的图。

图12(a)是用浓淡表示了照相机8的像素的色度特性的偏差的图。

这样由于色度特性不一样，因此若在画面内用户动作，则色度的值变化，对脉波检测的精度造成影响。

图12(b)是使受检者在画面内移动，对在画面的左区域61、中央区域62、右区域63检测出的脉波进行比较的图。

如图所示那样，本来应以相同的电平检测出脉波，但因色度之差电平的高度产生差。

在以往中，照相机的色度特性的修正例如专家使用校准图表，针对各种颜色来进行。这需要专门的知识而且还花费工时，对于一般的用户来说是困难的。

另外，由于进行针对各种颜色的修正，因此修正处理复杂，若对脉波实时处理，则存在产生丢帧而处理相关的帧率降低的可能性。

因此，在本实施方式中，将修正对象颜色限定于用户的脸部的颜色，并且将因画面内中的用户的动作而产生的各像素的色度的平均值作为照相机特性数据而存储。

能够通过使用照相机特性数据来对色度的变化进行修正而检测正确的脉波。

另外，因用户在画面内动作而皮肤部分扫过(扫描)画面，脉波检测装置1依次修正皮肤的部分扫过的区域的像素。

这样，在本实施方式中，能够伴随着画面内的用户的动作而自动地创建修正值。

图13是用于对脉波检测装置1进行的整体的处理的顺序进行说明的流程图。

对第1实施方式、以及第2实施方式相同的步骤赋予相同的步骤编号，简化、或省略说明。

在步骤5～步骤30之后，CPU2进行了脉波检测处理后(步骤35)，进行照相机特性数据更新处理(步骤305)。

而且，CPU2取得更新后的最新的照相机特性数据(步骤310)，使用其对脉波信号Qm进行基于照相机特性处理的修正(步骤315)。

其后，CPU2对进行了基于照相机特性的修正的脉波信号Qm进行明度变化对策处理(步骤160)。

图14是用于对步骤305(图13)的照相机特性数据更新处理的顺序进行说明的流程图。

步骤230～265与图6的步骤100～130相同。

即、CPU2在帧图像中将符合皮肤部分的像素指定为评价对象像素，将该色空间从RGB空间变换为YIQ空间(步骤265)。

接下来，CPU2选择评价对象像素中的、处于位置坐标(x，y)的像素(选择方法以任意的算法进行即可)，取得其Q值并存储于RAM4(步骤270)。

接下来，CPU2根据照相机特性数据15取得针对该位置坐标的最新的修正值(即，到前次修正为止的最新值)Qc(x、y、k)并存储于RAM4(步骤275)。

这里，k是按每个像素设定的计数器，是表示到前次为止的该像素的修正次数的参数。

接下来，CPU2使用存储于RAM4的这些值，以下面的式子计算新的Qc值，将其结果存储于RAM4(步骤280)。

Qc(x，y，k+1)＝{Qc(x，y，k)×k+Q(x，y)}/(k+1)

接下来，CPU2用Qc(x，y，k+1)更新照相机特性数据15的Qc(x，y，k)(步骤285)。

这样，脉波检测装置1为了使用基于上述的式子的统计处理按每个像素更新修正值，具备通过对伴随着脸部的移动而在皮肤的部分产生的色空间成分的变化实施规定的统计处理来按照每个像素对修正值进行更新的更新单元。

接下来，CPU2判断是否针对全部的评价对象像素Qc值进行了更新(步骤290)。

在还存在没有更新的像素的情况下(步骤290；否)，CPU2选择下一个评价对象像素(x，y)(步骤295)，其后返回步骤270，在对全部的像素进行了更新的情况下(步骤290；是)，结束更新处理而返回主程序(图13)。

图15是用于对步骤315(图13)的照相机特性对策处理的顺序进行说明的流程图。

CPU2按照在帧图像被设定为评价对象像素的每个像素从Q值减去Qc来计算Qa(利用照相机特性对策修正后的Q值)(步骤380)，计算Qa的平均值，将其作为脉波信号Qm(步骤385)，返回主程序。

这样脉波检测装置1具备按照每个像素使用与该像素对应的修正值修正因照相机的特性而在动态图像中产生的规定的色空间成分的偏差的偏差修正单元、根据被修正后的皮肤的部分中的色空间成分的时间变化取得脉波的脉波取得单元以及输出脉波的输出单元。

进而，脉波检测装置1通过以相同的循环处理进行步骤305(图13)的照相机特性数据更新处理和步骤315(图13)的照相机特性对策处理，在更新修正值的期间使用最新的修正值对偏差进行修正，从用最新的修正值修正后的皮肤的部分取得脉波。

如以上说明的那样，脉波检测装置1对照相机特性进行修正，并且使用最新的修正值输出脉波信号Qm。

另外，照相机特性对策处理能够构成为在修正值收敛到一定程度的情况下，结束修正。

此时，持续进行修正直至至少与脉波信号的变动相比照相机特性的变动变小。

这样完成照相机特性数据15，以后使用该数据，由此在脉波检测中不必进行照相机特性数据更新处理。由此能够减少CPU2的负荷，相应的负荷能够用于其他的处理。

此时，脉波检测装置1在因照相机的特性引起的色空间成分的偏差的大小至少收敛到比基于脉波的色空间成分的变化的大小小的值的情况下，使修正值的更新结束。

根据第3实施方式，能够得到以下的效果。

(1)能够一边利用脉波检测装置1一边对照相机特性进行检测并进行修正。因此，不必预先的调节。

(2)由于伴随着用户的动作而创建修正值，所以例如适合于安装于车辆并将搭乘者作为对象的情况。

(3)将作为修正的对象的颜色限定为脸部的颜色，因此不需要复杂的校准计算，能够抑制动态图像处理中的丢帧。

(4)作为丢帧的抑制的结果，脉波的时间分辨率得以提高。因此，适合于实时处理，另外，脉冲间隔(脉搏的间隔)解析的精度也得以提高。

接下来，对已说明的第1实施方式至第3实施方式中的、开始脉波检测装置1的处理(图4、图9、图13)的定时进行说明。

在各实施方式中，以以下的任一个定时开始脉波检测装置1的脉波检测处理。作为各开始定时，将定时1设为默认，用户也能够以任意的定时进行变更。

(1)定时1

在检测出作为脉波的监视对象的驾驶员就坐于驾驶席的情况下，开始处理。

此外，在驾驶者以外的搭乘者(助手席、后部座席的乘客)也作为脉波的监视对象的情况下，在检测出已就坐于成为对象的搭乘者席的任一个的情况下开始处理。

此时，关于搭乘者的检测，在作为对象的坐席(座面、靠背部分等)中配置负载传感器并在检测出阈值以上的负载的情况、佩戴了安全带的情况、点火开关被打开的情况(驾驶席用)的任一个的情况下，判断为已就坐。

(2)定时2

在任一个脉波检测装置1配置开始按钮，在任一个搭乘者选择了开始按钮的情况下，开始处理。

作为此时的开始按钮由显示部5和输入部6构成。即，脉波检测装置1在显示部5图像显示开始按钮，在输入部6的触摸面板检测到该部分被触摸的情况下，开始处理。

另外，作为输入部6也可设置独立的硬件开关。

此外，情况开始按钮也可按作为监视对象的各搭乘者而设置。

(3)定时3

在安装了脉波检测装置1的车辆的驾驶席的门打开的情况下，开始处理。

此外，在驾驶者以外的搭乘者也成为监视对象的情况下，在与相应的搭乘者对应的门打开的情况下也开始处理。

关于门的开闭，通过门部的开闭传感器(接触传感器)等公知的技术来检测。

根据该定时3，与其他的定时相比，能够迅速地使脉波的监视开始。

特别是在门打开后直至搭乘者就坐的期间，能够使皮肤颜色数据的取得等的、脉波检测处理(步骤35)以前的处理结束，因此能够更长时间地检测脉波。

接着对检测出的脉波的利用法进行说明。即，利用由本实施方式的脉波检测装置1检测出的脉波，能够对昏昏欲睡、紧张状态、疲劳等的清醒状态这样的驾驶员的状态进行判断并应对。

例如，作为根据脉波检测驾驶员的昏昏欲睡的技术，例如存在日本特开平2014-20678“昏昏欲睡预测装置以及昏昏欲睡预测系统”。作为一个例子，通过使用该技术，能够根据驾驶员的脉波对昏昏欲睡的有无进行监视。

详细而言，使用由脉波检测装置1检测出的脉波来测定驾驶员的脉搏和HF。HF是表示心跳间隔的变动量(心率的波动)的公知的指标。

驾驶员的昏昏欲睡能够通过下面的昏昏欲睡数值Z来计算。

Z＝P×10+(Q-1)×100

P是对脉搏相对于通常时的值的降低量(单位是bpm)，Q是规定期间(例如，过去500秒)中的HF的增加率。

在存在昏昏欲睡的征兆的状态下，交感神经活动从亢奋状态向抑制状态变化，因此脉搏数降低。另外，在产生昏昏欲睡的状态下，通过副交感神经向亢奋状态变化而脉搏数下降HF上升。

脉波检测装置1对脉波、根据脉波求出的脉搏、HF、昏昏欲睡数值Z等进行监视，在发现了昏昏欲睡的征兆的情况下、产生了昏昏欲睡的情况下通过输出振动、声音，能够唤起驾驶员的注意。

另外，脉搏除了昏昏欲睡以外，还根据紧张状态、疲劳等而变化，因此脉波检测装置1能够利用脉波监视包含了这些概念的驾驶员的清醒度。

以上对3个实施方式进行了说明，根据第2实施方式能够得到以下的各构成。

(1)第201的构成

脉波检测装置的特征在于具备：取得拍摄了包含对象者的脸部的区域的动态图像的动态图像取得单元；确定被拍摄入上述动态图像的上述对象者的眼睛的部分的眼睛部分确定单元；根据上述确定出的眼睛的部分的规定的色空间成分的变化取得通过上述动态图像的拍摄环境的变化而产生的明度的变化的明度变化取得单元；使用上述已取得的明度的变化对上述动态图像的明度进行修正的明度修正单元；根据上述被修正的上述对象者的皮肤的部分中的规定的色空间成分的时间变化取得上述对象者的脉波的脉波取得单元；以及输出上述已取得的脉波的输出单元。

(2)第202的构成

第201的构成的脉波检测装置的特征在于，具备确定被拍摄入上述已取得的动态图像的上述对象者的皮肤的部分的皮肤部分确定单元，上述脉波取得单元根据上述确定出的皮肤的部分中的规定的色空间成分的时间变化取得上述对象者的脉波。

(3)第203的构成

第202的构成的脉波检测装置的特征在于，具备对成为用于确定上述对象者的眼睛的部分的基准的色空间成分亦即基准成分进行登记的基准成分登记单元，上述眼睛部分确定单元将上述动态图像中规定的色空间成分与上述已登记的基准成分对应的部分确定为上述眼睛的部分。

(4)第204的构成

第202的构成或者第203的构成的脉波检测装置的特征在于，上述皮肤部分确定单元将上述动态图像中规定的色空间成分与已预先登记的规定的基准成分对应的部分确定为上述皮肤的部分。

(5)第205的构成

第202的构成、第203的构成或者第204的构成的脉波检测装置的特征在于，上述明度变化取得单元为了取得明度的变化而使用的色空间成分、上述脉波取得单元为了取得上述脉波而使用的色空间成分、以及上述皮肤部分确定单元为了确定上述皮肤的部分而使用的色空间成分是不同的色空间成分。

(6)第206的构成

第205的构成的脉波检测装置的特征在于，上述明度变化取得单元为了取得明度的变化而使用的色空间成分与上述脉波取得单元为了取得上述脉波而使用的色空间成分分别是由明度成分(Y)、以及色度成分(I、Q)构成的YIQ色空间的上述明度成分(Y)与上述色度成分(Q)，上述皮肤部分确定单元为了确定上述皮肤的部分而使用的色空间成分是由色成分(H)、彩度成分(S)以及明度成分(V)构成的HSV色空间的上述色成分(H)。

(7)第207的构成

第202的构成至第206的构成中的任一个构成的脉波检测装置的特征在于，具备变换色空间的色空间变换单元，上述脉波取得单元、上述明度变化取得单元以及上述皮肤部分确定单元通过由上述色空间变换单元对上述已取得的动态图像进行变换后的色空间取得色空间成分。

(8)第208的构成

第203的构成的脉波检测装置的特征在于，具备取得拍摄了上述对象者的脸部的脸部图像的脸部图像取得单元；在上述已取得的脸部图像中，通过脸部识别处理确定上述脸部的眼睛的区域的区域确定单元，上述基准成分登记单元将上述确定出的区域的色空间成分作为上述基准成分而登记。

(9)第209的构成

第208的构成的脉波检测装置的特征在于，上述基准成分登记单元将针对上述确定出的区域中的色空间成分的分布实施了规定的统计处理的值作为上述基准成分而登记。

(10)第210的构成

第201的构成至第207的构成中的任一个构成的脉波检测装置的特征在于，上述眼睛部分确定单元以上述动态图像的像素单位确定上述眼睛的部分。

(11)第211的构成

第201的构成至第210的构成中的任一个构成的脉波检测装置的特征在于，上述明度修正单元以上述动态图像的像素单位进行上述修正。

(12)第212的构成

第201的构成至第211的构成中的任一个构成的脉波检测装置的特征在于，上述对象者是输送设备的搭乘者，上述脉波检测装置具备使用上述输出的脉波对上述搭乘者的身体状况进行监视的监视单元。

(13)第213的构成

一种脉波检测程序，使计算机实现以下功能：取得拍摄了包含对象者的脸部的区域的动态图像的动态图像取得功能；确定被拍摄入上述动态图像的上述对象者的眼睛的部分的眼睛部分确定功能；根据上述确定出的眼睛的部分的规定的色空间成分的变化取得因上述动态图像的拍摄环境的变化而产生的明度的变化的明度变化取得功能；使用上述已取得的明度的变化对上述动态图像的明度进行修正的明度修正功能；根据上述被修正的上述对象者的皮肤的部分中的规定的色空间成分的时间变化取得上述对象者的脉波的脉波取得功能；输出上述已取得的脉波的输出功能。

根据以上的构成，能够得到以下的效果。

(1)根据第201的构成，能够从对象者的眼睛的部分取得明度的变化并对动态图像的明度进行修正。

(2)根据第202的构成，能够除去被拍摄入动态图像的干扰要素而仅取得皮肤的部分，根据其检测脉波，因此能够提高脉波检测的精度。

(3)根据第203的构成，能够除去被拍摄入动态图像的干扰要素而仅取出眼睛的部分，能够提高明度的修正精度。

(4)根据第204的构成，能够通过与基准成分的对比而从动态图像中容易地提取皮肤的部分。

(5)根据第205的构成，能够通过采用适合于(明度的变化、皮肤以及在脉波中，通过光观察的对象不同)观察对象的色空间成分的组合来提高相对于干扰要素的鲁棒性。

(6)根据第206的构成，能够通过组合发现了适合于明度的变化的检测的Y成分、发现了适合于皮肤的部分的确定的H成分、发现了适合于脉波检测的Q成分，进一步提高相对于干扰要素的鲁棒性。

(7)根据第207的构成，通过在脉波检测装置内部具备色空间变换处理而不是外部装置，处理速度得以提高，使根据动态图像实时地检测脉波变得容易。

(8)根据第208的构成，能够通过从对象者自身采取眼睛的颜色的基准值，容易地取得包含了每个人的微妙的眼睛的颜色的差异的基准值。

(9)根据第209的构成，能够通过统计处理使个人差大的眼睛的颜色的分布的偏差均匀，由此，能够提高基准成分的可靠性。

(10)根据第210的构成，不是由闭曲线包围的(与眼睛的部分不相应的像素也散布)区域，而是按每个像素提取眼睛的部分，因此能够从评价对象中除去作为干扰要素而起作用的像素，能够提高检测精度。

(11)根据第211的构成，不是用代表值对被闭曲线包围的区域进行修正，而是按每个像素进行修正，因此能够提高检测精度。

(12)根据第212的构成，能够对输送设备的搭乘者的身体状况进行监视。

(13)根据第213的构成，通过使脉波检测程序流通，将其安装于通用的计算机，能够容易并且廉价地构成脉波检测装置。

而且根据第3实施方式，能够得到以下的各构成。

(1)第301的构成

脉波检测装置的特征在于具备：取得用规定的照相机拍摄了包含对象者的至少皮肤的区域的动态图像的动态图像取得单元；确定被拍摄入上述已取得的动态图像的上述对象者的皮肤的部分的皮肤部分确定单元；对因上述照相机的特性而在上述动态图像中产生的规定的色空间成分的偏差进行修正的偏差修正单元；根据上述被修正的上述皮肤的部分中的上述色空间成分的时间变化取得上述对象者的脉波的脉波取得单元；输出上述已取得的脉波的输出单元。

(2)第302的构成

第301的构成的脉波检测装置的特征在于，包含上述对象者的至少皮肤的区域包含上述对象者的脸部。

(3)第303的构成

第302的构成的脉波检测装置的特征在于，具备针对伴随着上述脸部的移动而上述皮肤的部分产生的上述色空间成分的变化实施规定的统计处理，由此来更新用于上述修正的修正值的更新单元。

(4)第304的构成

第303的构成的脉波检测装置的特征在于，上述更新单元按构成上述动态图像的每个像素更新上述修正值，上述偏差修正单元按每个上述像素使用与该像素对应的修正值对上述色空间成分进行修正。

(5)第305的构成

第303的构成、或者第304的构成的脉波检测装置的特征在于，上述更新单元在因上述照相机的特性引起的上述色空间成分的偏差的大小至少收敛到比上述对象者的脉波的上述色空间成分的变化的大小小的值的情况下，结束上述更新。

(6)第306的构成

第303的构成、第304的构成或者第305的构成的脉波检测装置的特征在于，上述偏差修正单元在上述更新单元更新上述修正值的期间使用最新的修正值对上述偏差进行修正，上述脉波取得单元从用上述最新的修正值修正的上述皮肤的部分取得上述脉波。

(7)第307的构成

第301的构成至第306的构成中的任一个构成的脉波检测装置的特征在于，具备取得因上述动态图像的拍摄环境的变化而产生的明度的变化的明度变化取得单元、使用上述已取得的明度的变化而对上述动态图像的明度进行修正的明度修正单元，上述脉波取得单元根据被上述明度修正单元进一步修正的上述皮肤的部分中的上述色空间成分的时间变化取得上述对象者的脉波。

(8)第308的构成

第301的构成至第307的构成中的任一个构成的脉波检测装置的特征在于，成为上述偏差修正单元的修正的对象的色空间成分与上述脉波取得单元为了取得上述脉波而使用的色空间成分是由明度成分(Y)、以及色度成分(I、Q)构成的YIQ色空间的上述色度成分(Q)。

(9)第309的构成

第301的构成至第308的构成中的任一个构成的脉波检测装置的特征在于，上述对象者是输送设备的搭乘者，上述脉波检测装置具备使用上述输出的脉波对上述搭乘者的身体状况进行监视的监视单元。

(10)第310的构成

一种脉波检测程序，使计算机实现以下功能：取得用规定的照相机拍摄了包含对象者的至少皮肤的区域的动态图像的动态图像取得功能；确定被拍摄入上述已取得的动态图像的上述对象者的皮肤的部分的皮肤部分确定功能；对因上述照相机的特性而在上述动态图像中产生的规定的色空间成分的偏差进行修正的偏差修正功能；根据上述被修正的上述皮肤的部分中的上述色空间成分的时间变化取得上述对象者的脉波的脉波取得功能；输出上述已取得的脉波的输出功能。

以上的构成，能够得到以下的效果。

(1)根据第301的构成，通过对因照相机的特性而在上述动态图像中产生的规定的色空间成分的偏差进行修正，能够良好地检测脉波。

(2)根据第302的构成，能够根据日常皮肤露出而容易拍摄的脸部检测脉波。

(3)根据第303的构成，利用因脸部的移动而产生的色空间成分的变化更新修正值，此时能够通过统计处理使修正值的偏差平均。

(4)根据第304的构成，通过按每个像素进行修正而不是用代表值修正区域，能够提高修正的精度。

(5)根据第305的构成，通过使修正收敛直至色空间成分的偏差与脉波的变动相比变小，能够良好地进行脉波的检测。

(6)根据第306的构成，能够一边进行修正一边进行脉波的检测。

(7)根据第307的构成，通过还进行明度的变化，提高相对于环境变化的鲁棒性，即使在明度变化的环境中也能够检测脉波。

(8)根据第308的构成，通过将用于脉波检测的色空间成分设为发现了适合于脉波检测的Q成分，能够提高相对于干扰要素的鲁棒性。

(9)根据第309的构成，能够对输送设备的搭乘者的身体状况进行监视。

(10)根据第310的构成，通过使脉波检测程序流通，将其安装于通用的计算机，能够容易并且廉价地构成脉波检测装置。

接着对第4实施方式进行说明。

在已说明的第1实施方式中，对作为用于测定脉波的评价区域，不是被固定的区域，而是使用动态图像的各帧图像的HSV成分中的、H(色相)成分来确定皮肤的部分并设为评价区域(ROI)，将对评价区域的YIQ成分中的各像素的Q(色度)值进行了平均的Qm作为该帧图像的脉波信号的情况进行了说明。

与此相对，在第4实施方式中，在决定评价区域时，除了H成分，还使用S(彩度)成分来更高精度地确定皮肤部分(评价区域)。

图17是对第4实施方式中的、使用S成分来确定皮肤部分的原理进行说明的图。

图17(a)与在第1实施方式中说明的图3(b)的左侧所示的帧图像31对应。

在对该图17(a)的帧图像31进行色变换而生成HSV图像32，根据各像素的H成分确定出皮肤部分26的情况下，在第1实施方式中作为能够测定的皮肤部分使用图3(b)的右侧的图对脉波进行说明，但实际如图17(b)所示，存在本来欲确定为评价区域的脸部的皮肤部分26以外也包含背景的干扰251，或在帧图像31中拍摄入测定者的手200的情况下也作为干扰301包含于评价区域的可能性。

因此，在本实施方式中，为了将该背景、脸部的皮肤以外的部分(干扰)从评价区域除去，进行使用了S成分的调整处理。

图17(c)是表示亮度变化了的情况下的、H成分的变化的状态。在图中的纵轴是对各成分进行标准化的值。

如图17(c)所示，即使亮度变化，皮肤部分的H成分的变化也在0.5至0.6的范围内，相对于明度变化的独立性高。在包含本实施方式的本发明中，着眼于皮肤部分的H成分的独立性高这一点，确定评价区域。

另一方面，图17(d)表示亮度变化了的情况下的、皮肤部分的S成分的变化的状态。

如图17(d)所示，对于皮肤部分的S成分而言，对应于亮度的变化的变化幅度与H成分相比大，相对于明度的S成分的独立性低。

因此，在本实施方式中，通过使用最佳的S成分的阈值(Slo～Shi)，将成为干扰的像素从评价区域除去。

最佳的S成分的阈值在图17(d)的最大幅度Y1与最小幅度Y2的范围内一边变化一边被决定。

以下对利用第4实施方式检测脉波的处理进行说明。

此外，关于本实施方式的脉波检测装置1的构成与图1中已说明的第1实施方式不同点是，用户数据库14的按每个用户登记的皮肤颜色数据，在第1实施方式中是作为阈值而使用的Hlo与Hhi，与此相对在第4实施方式中保存作为进一步缩减用的阈值而使用的下限值Slo与上限值Shi。其他与第1实施方式相同而省略说明。

另外，关于第4实施方式的脉波检测装置1进行的整体的处理的顺序与图4中已说明的第1实施方式相同。

接下来，对图4的步骤25中的、本实施方式的皮肤颜色数据采取处理进行说明。

图18是第4实施方式中的、从脸部的图像采取皮肤颜色数据的皮肤颜色数据采取处理的流程图。

在该皮肤颜色数据采取处理中，CPU2进行与第1实施方式的图5中说明过的步骤50～步骤95相同的处理，设定鼻区域并将H值的下限值Hlo与上限值Hhi作为皮肤数据输出。

而且，CPU2取得在步骤65中色变换为HSV空间后的鼻区域中的、各像素的S值(步骤170)，将各像素的S值平均并计算Sm(步骤175)，进而，计算S值的标准偏差β(步骤180)。

接下来，CPU2根据Sm与β计算S值的下限值Slo＝Sm-q×β并存储于RAM4(步骤185)。关于q将在后述。

进而，CPU2计算S值的上限值Shi＝Sm+q×β并存储于RAM4(步骤190)。

而且，CPU2将S值的下限值与上限值作为皮肤颜色数据输出(步骤195)，返回主程序(图4)。

输出的皮肤颜色数据(Slo与Shi)作为成为用于确定对象者的皮肤的部分的基准的色空间成分亦即基准成分而发挥功能，在步骤27的用户登记中进行登记。

这样，脉波检测装置1具备登记基准成分的基准成分登记单元，对鼻区域的色空间成分实施基于平均值与标准偏差的统计处理并登记。

这里，q是β的乘数，规定以Sm为中心的S值的幅度。如后述那样，脉波检测装置1根据帧图像将S值处于该幅度内的部分作为皮肤部分而确定，能够通过实验等将q调节为适当的值。

例如，若q＝3，则将S值位于Sm±3β的范围的部分作为皮肤部分而确定。

接下来，对图4的步骤35中的、本实施方式的脉波检测处理进行说明。

图19是第4实施方式中的、脉波检测处理的流程图。

图19与图6中已说明的第1实施方式的脉波检测处理对应，关于与图6相同的处理赋予相同的步骤编号而省略其说明，以不同点为中心进行说明。

即，在第1实施方式中的步骤115中，将满足步骤110的条件的像素作为评价对象像素并存储该像素的位置(步骤115)，但在第4实施方式的步骤115中，CPU2将满足步骤110的条件的像素不作为评价对象像素而作为候补像素并将该像素的位置坐标存储于RAM4。

而且，在针对1帧图像的全部的像素进行了是否是候补图像的判断后(步骤120；是)，CPU2基于S成分进行第1调整处理(步骤122)，决定评价对象图像。

而且CPU2针对规定的多个帧图像量的Qm，使用S成分并进行第2调整处理(步骤145)。

第1调整处理、第2调整处理的详细内容将在后述。

这里利用图20～图22对第1调整处理的原理进行说明。

图20是测定区域狭窄的情况下的、第1调整处理的原理说明图，图21是干扰多的情况下的、第1调整处理的原理说明图，图22是关于第1调整处理中的调整幅度的说明图。

在第1调整处理中，将以皮肤颜色数据保存的Hlo～Hhi内的像素作为候补像素而确定，进而，以Slo～Shi进行缩减。图20、21上的图表示进行了缩减后的全部缩减像素。

而且，确定(推断)为缩减后的全像素中的、脸部的皮肤部分亦即脸部区域26a、26c。该脸部区域的确定例如预先确定应存在于帧图像内的脸部图像的中心部分(例如，帧图像的中心点)，将包含该中心部分的像素的块(邻接的像素的集合)作为脸部区域。另外，在将车辆内的特定人物、例如驾驶员作为被测定者的情况下，也可将已缩减的全像素中的、最大的像素的块作为脸部区域而确定(推断)。

如图20(a)所示，若该脸部区域的像素数比预先规定的阈值P2小，则连续地记录了针对各帧图像求出的平均值Qm的原始信号的振幅小(下图)，无法正确测定脉波。这被认为是在进行缩减时使用的皮肤颜色数据的Slo～Shi的范围过窄而过度地进行了缩减的结果。

因此，如图20(b)中央的图所示，求出脸部区域的像素数成为阈值P2的Slo～Shi的范围并进行缩减。即，从皮肤颜色数据的范围缓缓地扩展Slo～Shi的范围，决定脸部区域的像素数成为P2的范围。

通过扩展Slo～Shi的范围，如图20(b)的上图所示包含于缩减像素的脸部区域26b的像素增加，如下图所示连续地记录的原始信号的振幅变大，能够进行脉波的测定。

此外，通过扩展Slo～Shi的范围，干扰252b、253b的像素也增加，但由于增加的干扰的像素数不多，因此基于干扰的增加的影响小。

另一方面，在将全缩减像素中的脸部区域以外的像素作为干扰的情况下，如图21(a)中央所示那样若干扰的像素数比预先规定的阈值P1大，则如下图所示在连续地记录了平均值Qm的原始信号中含有干扰信号而无法进行脉波的测定。这被认为是皮肤颜色数据的Slo～Shi的范围过宽而包含多的干扰的结果。

因此，如图21(b)中央的图所示，求出干扰的像素数成为P1的Slo～Shi的范围并进行缩减。即，通过从基于皮肤颜色数据的范围缓缓地使Slo～Shi的范围变窄，决定干扰的像素数成为P1的范围。

通过使Slo～Shi的范围变窄，如图21(b)上图所示，包含于缩减像素的干扰252d、253d的像素减少，如下图所示，连续地记录的原始信号表示脉波。

此外，通过使Slo～Shi的范围变窄，虽脸部区域26d的像素也减少，Qm的值是平均值因此没有问题。

此外，相对于脸部区域的像素数的阈值P2、与相对于干扰的像素数的阈值P1基于帧图像的尺寸、从照相机到脸部的假定距离等而被预先决定最佳值。

例如，在车辆内的驾驶员是测定对象者，帧图像的尺寸是480×640像素的情况下，被设定为P1＝1000、P2＝71000。

接下来，对第1调整处理中的调整幅度进行说明。

图22(a)表示了保存于用户数据库14的皮肤颜色数据的Slo～Shi的范围狭窄时的调整状态。如该图所示在皮肤颜色数据的范围狭窄的(Slo是0.3，Shi是0.35)情况下，如图20中已说明的那样，脸部区域的像素数变少。因此，通过使Slo减少而使Shi增加，使Slo～Shi的范围扩展，利用扩展的值再次求出脸部区域的像素数。若该像素数小于P2，则进一步使Slo～Shi的范围扩展，直至脸部区域的像素数成为P2以上为止进行重复。

在图22(a)的左纵轴上所示的是第1调整处理前的图20(a)的缩减像素，在右纵轴上所示的是第1调整处理后的图20(b)的缩减像素。

图22(b)表示皮肤颜色数据的Slo～Shi的范围宽广时的调整状态。

如该图22(b)所示在皮肤颜色数据的范围宽广的(Slo是0.05，Shi是0.71)情况下，如在图21中已说明的那样，脸部区域以外的干扰变多。因此，通过使Slo增加而使Shi减少，使Slo～Shi的范围变窄，利用变窄的值再次求出干扰的像素数。若该像素数比P1多，则进一步使Slo～Shi的范围变窄，直至干扰的像素数成为P1为止进行重复。

图22(b)的左纵轴上所示的是第1调整处理前的图21(a)的缩减像素，右纵轴上所示的是第1调整处理后的图21(b)的缩减像素。

此外，图22所示的横轴表示重复次数，直至脸部区域的像素数成为P2以上，干扰的像素数成为P1以下为止进行重复，最多重复规定次数(在图22的例中为65次)。该重复次数能够变更。

此外，在本实施方式中，通过以0.002的幅度增加、减少，设定为在每一次重复中范围变化0.004，但该增加、减少幅度是任意的。例如，也可为了加速处理并减少负荷而使幅度变大，在相反的情况下使幅度变窄。

接下来，对图19中的第1调整处理(步骤122)的详细的动作进行说明。

图23是第1调整处理的流程图。

首先，CPU2从用户数据库14读入皮肤颜色数据Slo、Shi，作为S成分的初始值保持于RAM4(步骤300)。

接着CPU2将对像素的顺序进行计数的计数器j设为j＝0(步骤303)。

接下来，CPU2取得存储于RAM4的HSV图像的各像素中的、第j个像素的S值亦即Sj(步骤305)。对于这里取得的各像素而言，本实施方式的步骤115(图19)中存储于RAM4的各候补像素是Sj的对象、取得在步骤100中变换后的HSV像素中的、与存储于RAM4的该候补像素Sj的位置坐标对应的HSV像素。

而且，CPU2判断候补像素Sj是否满足Slo＜Sj＜Shi，即、判断Sj是否进入皮肤颜色数据的范围(步骤310)。

在候补像素Sj处于该范围Slo～Shi的情况下(步骤310；是)，CPU2将该候补像素Sj作为缩减像素，将其位置坐标存储于RAM4(步骤315)。

在步骤315中存储了缩减像素的位置坐标后，或者，候补像素Sj不在范围Slo～Shj的情况下(步骤310；否)，CPU2判断是否针对全部的候补像素进行了步骤310的判断(步骤320)。

在还存在未进行判断的候补像素的情况下(步骤320；否)，CPU2将j自加1并更新为j＝j+1(步骤323)，返回步骤305对下一个候补像素重复相同的处理。

通过进行以上的步骤303～步骤323而将与皮肤部分对应的像素(缩减像素)的位置坐标存储于RAM4。

接下来，CPU2从全部的缩减像素中限定脸部区域(步骤325)。

即，CPU2将全部缩减像素作为对象，确定缩减像素的像素块。例如，在图21(a)上图所示的缩减像素的情况下，确定像素块26c、252c、253c。

而且，将该像素块26c、252c、253c中的、如上述那样包含应存在于帧图像内的脸部图像的中心部分(例如，作为帧图像的中心点而预先规定的)的像素块26c作为脸部区域。

接着CPU2对限定的脸部区域的像素数进行计数，判断计数的像素数是否小于阈值P2(步骤330)。

在脸部区域的像素数小于P2的情况下(步骤330；是)，如图20(a)说明的那样，因过于缩减而无法从连续的Qm的原始信号取出脉波，CPU2通过使在步骤300中保存于RAM4的Slo减少并使Shi增加，使S成分的缩减范围扩展(步骤332)。

其后，CPU2返回步骤303，针对相同的帧图像的全部候补图像Sj进行再次变更后的S成分的缩减(步骤303～步骤323)，根据再次缩减后的候补图像限定脸部区域(步骤325)，直至通过再次的缩减脸部区域的像素数成为P2以上为止进行重复。

在脸部区域的像素数是P2以上的情况下(步骤330；否)，CPU2对干扰(脸部区域以外的像素)的像素数进行计数，判断计数的像素数是否比阈值P1多(步骤335)。

在干扰的像素数比P1多的情况下(步骤335；是)，如图21(a)中说明那样，在连续的Qm的原始信号中过多地进入了干扰成分，因此CPU2通过使在步骤300中保存于RAM4的Slo增加并使Shi减少，使S成分的缩减范围变窄(步骤340)。

其后，CPU2返回步骤303，针对相同的帧图像的全部候补图像Sj进行再次变更后的S成分的缩减(步骤303～步骤323)，根据再次缩减后的候补图像限定脸部区域(步骤325)，直至通过再次的缩减干扰的像素数成为P1以下为止进行重复。

在干扰的像素数成为P1以下的情况下(步骤335；否)，CPU2结束第1调整处理并返回主程序。

若第1调整处理结束，则CPU2移至图19的步骤125并继续处理。

即，CPU2确定位于在步骤315中存储于RAM的缩减像素的位置坐标的、帧图像的像素(在步骤100中变换为HSV的像素)，作为评价对象像素取得其全部(步骤125)。

而且，CPU2将评价对象像素的色空间从RGB空间色变换为YIQ空间(步骤130)，对各像素的Q值进行平均并计算平均值Qm(步骤135)，将其作为脉波信号输出(步骤140)。

接下来，对步骤145的第2调整处理进行说明。

从包含第1调整处理的步骤100到步骤140的处理是针对在图4的步骤30中从动态图像取得的1帧的处理，计算包含相对于该1帧图像的脉波成分的Qm。

与此相对，第2调整处理是用于根据从连续的多个帧图像取得的Qm的原始信号，能够更高效地检测脉波信号的处理，调整皮肤颜色数据的范围Slo～Shi的初始值。成为第2调整处理的对象的初始值Slo、Shi是在图23的步骤300中从用户数据库14的皮肤颜色数据读出并保存于RAM4的值。

这里利用图24～图26对第2调整处理的原理进行说明。

图24是干扰的峰值大的情况的原理说明图，图25是脉波的峰值小的情况的原理说明图。

图24、图25的上段表示多个帧图像的缩减像素(评价对象像素)，中段表示根据各评价对象像素求出的多个Qm值的时间变化的脉波的原始信号，下段表示脉波的原始信号的频谱密度(PSD：Power Spectral Density：功率谱密度)。

在第2调整处理中，根据基于多个Qm值的脉波的原始信号求出每个频率的频谱密度，基于能够假定为干扰的频率范围的峰值、以及能够假定为是脉波检测范围的信号的频率范围的峰值，调整在对各帧图像进行基于S成分的缩减时的皮肤颜色数据的范围Slo～Shi(保存于RAM4的初始值)。

实际的脉波信号的频谱密度在其频率中存在上限频率F。

因此，如图24、25的下段所示，若求出原始信号的频谱密度K，则能够判断为上限频率F以下的部分与脉波信号对应，超过上限频率F的部分与干扰对应。

而且，如图24(a)下段所示，在超过上限频率F的干扰部分的峰值k1比规定的干扰基准值C1大的发情况下，如24图(a)的中段所示那样，因过多地包含干扰成分而无法精度良好地检测脉波信号。

因此，为了减少干扰成分，通过使在步骤300中作为初始值而使用的皮肤颜色数据的范围Slo～Shi变窄，使干扰部分的峰值k1下降。

与针对一个帧图像通过重复范围Slo～Shi的调整而求出针对该帧图像的最佳的范围的第1调整处理不同，在该第2调整处理中，由于将多个帧图像的Qm作为对象因此进行一次初始值的范围Slo～Shi的调整，并反映于下一个帧图像。

其结果，经由针对多个帧图像的第2调整处理，如图24(b)下段所示，干扰部分的峰值k2成为干扰基准值C1以下。

另一方面，如图25(a)下段所示，在作为上限频率F以下的脉波信号的峰值k3比规定的脉波基准值C2小的情况下，如图25(a)的中段所示那样，原始信号(Qm)的变化幅度小而无法检测脉波信号。

这被认为是基于S成分的缩减过多的原因，为了使原始信号的变化幅度变大，通过使在图23的步骤300中作为初始值而使用的皮肤颜色数据的范围Slo～Shi扩展，使脉波信号部分的峰值k3变大。

其结果，经由针对多个帧图像的第2调整处理，如图25(b)下段所示，干扰部分的峰值k4成为脉波基准值C2以上。

图26是关于第2调整处理中的调整幅度的说明图。

图26(a)、(b)分别与图24、图25对应，表示S成分的初始值的范围Slo～Shi减少的情况、增加的情况的一个例子。

相对于在第1调整处理中针对1帧图像直至满足条件为止进行多次的调整(图23的步骤332、340)，在第2调整处理中是1次调整，因此与第1调整处理相比较大地设定调整幅度。在本实施方式中，在1次调整处理中，以0.02为单位来增减Slo、Shi。这是因为为了使在针对后续的帧图像的第1调整处理中干扰部分的峰值k1尽快地成为干扰基准值C1以下(k2)，另外，脉波信号部分的峰值k3尽快地成为脉波基准值C2以上(k4)。

另外Slo、Shi增减的幅度是例示，能够适当地变更、调整，另外，增加、减少的幅度也可采用不同的值而不必是相同的值。该点也与第1调整处理相同。

关于针对干扰部分的峰值的干扰基准值C1、与针对脉波信号部分的峰值的脉波基准值C2，也是预先基于经验而决定的值，因频谱密度的计算方法、计算时所使用的长度而不同。

在本实施方式中，通过128点韦尔奇法频谱密度推断来计算频谱密度，将干扰基准值C1设为60，将脉波基准值C2设为100，当然也能够采用其他的值。

接下来，对图19中的第2调整处理(步骤145)的详细内容进行说明。

图27是第2调整处理的流程图。

CPU2判断是否有W帧的Qm(步骤405)。即，CPU2判断在步骤140(图19)中输出的Qm的数是否是W以上。这里W的值只要是能够推断脉波的数以上则是任意的，在本实施方式中设定为W＝60。

在没有W帧的Qm的情况下(步骤405；否)，CPU2无法进行关于脉波的判断因此返回。由此，移至针对下一个帧图像的处理(图4的步骤30)。

另一方面，在存在W帧的Qm的情况下(步骤405；是)，CPU2根据最新的W帧的Qm计算频谱密度(PSD)(步骤410)。即，求出图24、25下段的频谱密度K。

而且，CPU2判断干扰部分的PSD峰值是否比干扰基准值C1大(步骤415)。即，在图24(a)的例子的情况下，CPU2求出比计算出的频谱密度K中的上限频率F大的干扰部分的峰值k1，判断该峰值是否比干扰基准值C1大。

在干扰部分的峰值比干扰基准值C1大的情况下(步骤415；是)，CPU2使保存于RAM4的S成分的初始值亦即Slo增加而使Shi减少(步骤420)，返回主程序。

另一方面，在干扰部分的峰值是干扰基准值C1以下的情况下(步骤415；否)，CPU2判断脉波信号部分的峰值是否比脉波基准值C2小(步骤425)。

在脉波信号部分的峰值小于C2的情况下(步骤425；是)，CPU2使保存于RAM4的S成分的初始值亦即Slo减少而使Shi增大(步骤430)，返回主程序。

而且在脉波信号部分的峰值是C2以上的情况下(步骤425；否)，CPU2返回主程序。

如以上说明那样，根据第4实施方式，皮肤的部分的确定使用H成分来确定候补像素，以该候补像素为对象而使用S成分并进行缩减从而能够进行精度高的皮肤部分的确定。即，在决定用于求出Qm的评价区域时，通过帧图像的H成分来决定候补像素，针对该候补信号进行基于S成分的缩减，从而更高精度地确定皮肤部分(评价区域)。

另外，在进行基于S成分的缩减的第1调整处理中，通过直至针对1帧图像成为最佳的缩减范围为止进行重复并增减范围Slo～Shi，能够进行基于最佳的范围的缩减。

并且，在第2调整处理中，通过对从多枚的帧图像求出的原始信号求出频谱密度，对用于针对下一个帧图像进行缩减的初始值Slo和Shi而言，在干扰部分的峰值大的情况下使初始值的范围变窄，在脉波信号部分的峰值小的情况下使初始值的范围变宽。通过这样调整为了进行缩减而使用的S成分的初始值，能够减少针对其以后的帧图像的处理(第1调整处理的重复次数)，使高速处理成为可能。

在以上已说明的第4实施方式中，虽对进行第1调整处理与第2调整处理这两者的情况进行了说明，但也可是省略了任一方而采用另一方。

在仅采用第2调整处理的情况下，因没有第1调整处理，所以优选与已说明的实施方式相比使调整幅度变小。例如，在已说明的实施方式中，对使初始值Slo与Shi以0.02为单位进行增减的情况进行了说明，但其也可是以0.1、0.005为单位来进行增减。其中该增减幅度是任意的。

另外，已说明的第4实施方式是以在第1实施方式中添加了第1调整处理与第2调整处理的情况为例进行了说明，但第4实施方式也可以用于第2实施方式、第3实施方式。

附图标记的说明

1…脉波检测装置；2…CPU；3…ROM；4…RAM；5…显示部；6…输入部；7…输出部；8…照相机；9…存储部；10…用户；12…脉波检测程序；14…用户数据库；15…照相机特性数据；20…鼻区域；21…头发；22…眉毛；23…眼睛；24…嘴唇；25…背景；26…皮肤部分；30…静止图像；31…帧图像；32…HSV图像；35…脉波；41、42…期间；45…眼睛部分；46…白眼球部分；47…虹膜部分；48…瞳孔部分；51…明度信号；52…修正前脉波信号；53…修正后脉波信号；55…眼睛区域；61…左区域；62…中央区域；63…右区域；101…评价区域；102…背景。

Claims (18)

1.一种脉波检测装置，其特征在于，具备：

动态图像取得单元，取得拍摄了包含对象者的至少皮肤的区域而得的动态图像；

皮肤部分确定单元，确定被拍摄入上述取得的动态图像中的上述对象者的皮肤的部分；

脉波取得单元，根据上述确定出的皮肤的部分中的规定的色空间成分的时间变化取得上述对象者的脉波；以及

输出单元，输出上述取得的脉波。

2.根据权利要求1所述的脉波检测装置，其特征在于，

包含上述对象者的至少皮肤的区域包含上述对象者的脸部。

3.根据权利要求1或2所述的脉波检测装置，其特征在于，

具备登记成为用于确定上述对象者的皮肤的部分的基准的色空间成分亦即基准成分的基准成分登记单元，

上述皮肤部分确定单元将上述动态图像中规定的色空间成分与上述登记的基准成分对应的部分确定为上述皮肤的部分。

4.根据权利要求1、2或3所述的脉波检测装置，其特征在于，

上述皮肤部分确定单元为了确定上述皮肤的部分而使用的色空间成分与上述脉波取得单元为了取得上述脉波而使用的色空间成分是不同的色空间成分。

5.根据权利要求4所述的脉波检测装置，其特征在于，

上述皮肤部分确定单元为了确定上述皮肤的部分而使用的色空间成分是由色成分(H)、彩度成分(S)、以及明度成分(V)构成的HSV色空间的上述色成分(H)，

上述脉波取得单元为了取得上述脉波而使用的色空间成分是由明度成分(Y)、以及色度成分(I、Q)构成的YIQ色空间的上述色度成分(Q)。

6.根据权利要求1至5中任一项所述的脉波检测装置，其特征在于，

具备变换动态图像的色空间的色空间变换单元，

上述皮肤部分确定单元与上述脉波取得单元通过由上述色空间变换单元变换了上述取得的动态图像而得的色空间来取得色空间成分。

7.根据权利要求3所述的脉波检测装置，其特征在于，具备：

脸部图像取得单元，取得拍摄了上述对象者的脸部的脸部图像；以及

区域确定单元，在上述取得的脸部图像中，利用脸部识别处理，确定上述脸部的皮肤露出的规定的区域，

上述基准成分登记单元将上述确定出的区域的色空间成分作为上述基准成分而登记。

8.根据权利要求7所述的脉波检测装置，其特征在于，

上述规定的区域是上述对象者的鼻子的区域。

9.根据权利要求7或8所述的脉波检测装置，其特征在于，

上述基准成分登记单元将对上述确定出的区域中的色空间成分的分布实施了规定的统计处理而得的值作为上述基准成分而登记。

10.根据权利要求1至9中任一项所述的脉波检测装置，其特征在于，

上述皮肤部分确定单元以上述动态图像的像素单位来确定上述皮肤的部分。

11.根据权利要求1至10中任一项所述的脉波检测装置，其特征在于，

上述对象者是输送设备的搭乘者，上述脉波检测装置具备使用上述输出的脉波对上述搭乘者的身体状况进行监视的监视单元。

12.一种脉波检测程序，使计算机实现以下功能：

动态图像取得功能，取得拍摄了包含对象者的至少皮肤的区域而得的动态图像；

皮肤部分确定功能，确定被拍摄入上述取得的动态图像中的上述对象者的皮肤的部分；

脉波取得功能，根据上述确定出的皮肤的部分中的规定的色空间成分的时间变化取得上述对象者的脉波；以及

输出功能，输出上述取得的脉波。

13.根据权利要求5所述的脉波检测装置，其特征在于，

上述皮肤部分确定单元用HSV色空间的上述色成分(H)确定皮肤部分候补，通过用彩度成分(S)对该皮肤部分候补进行缩减来确定上述皮肤的部分。

14.根据权利要求13所述的脉波检测装置，其特征在于，

上述皮肤部分确定单元对构成上述取得的动态图像的每个帧图像确定上述皮肤的部分，

上述脉波取得单元根据与对每个上述帧图像确定出的皮肤的部分对应的上述色成度分(Q)的时间变化取得上述脉波。

15.根据权利要求14所述的脉波检测装置，其特征在于，

上述皮肤部分确定单元使用预先登记的上述彩度成分(S)的下限值Slo与上限值Shi进行缩减。

16.根据权利要求15所述的脉波检测装置，其特征在于，

上述皮肤部分确定单元进行如下处理：

将上述预先登记的下限值Slo与上限值Shi设为初始值，

根据上述确定出的皮肤部分候补推断脸部区域，

在该脸部区域的像素数小于规定的阈值P2的情况下，使上述下限值Slo与上限值Shi的范围扩展，

利用上述扩展后的下限值与上限值，再次进行上述皮肤部分候补的缩减，

重复上述再次的缩减直至上述脸部区域的像素数成为规定的阈值P2以上。

17.根据权利要求16所述的脉波检测装置，其特征在于，

上述皮肤部分确定单元进行如下处理：

在上述推断出的脸部区域以外的像素数比规定的阈值P1多的情况下，使上述下限值Slo与上限值Shi的范围变窄，

利用上述变窄后的下限值与上限值，再次进行上述皮肤部分候补的缩减，

重复上述再次的缩减直至上述脸部区域以外的像素数成为规定的阈值P1以下。

18.根据权利要求15、16或17所述的脉波检测装置，其特征在于，

具备下限上限值变更单元，该下限上限值变更单元求出针对多个上述帧图像的色度成分(Q)的相对于时间变化的频谱密度，基于该频谱密度的规定频率区域的峰值，变更上述预先登记的下限值Slo与上限值Shi，

上述皮肤部分确定单元使用上述变更后的下限值Slo与上限值Shi来确定针对以后的帧图像的上述皮肤的部分。