CN107427242A - 脉波检测装置、以及脉波检测程序 - Google Patents

脉波检测装置、以及脉波检测程序 Download PDF

Info

Publication number
CN107427242A
CN107427242A CN201680019452.1A CN201680019452A CN107427242A CN 107427242 A CN107427242 A CN 107427242A CN 201680019452 A CN201680019452 A CN 201680019452A CN 107427242 A CN107427242 A CN 107427242A
Authority
CN
China
Prior art keywords
mentioned
pulse wave
composition
lightness
skin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680019452.1A
Other languages
English (en)
Other versions
CN107427242B (zh
Inventor
迈克尔·琼斯
山田英夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Equos Research Co Ltd
Original Assignee
Equos Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Equos Research Co Ltd filed Critical Equos Research Co Ltd
Publication of CN107427242A publication Critical patent/CN107427242A/zh
Application granted granted Critical
Publication of CN107427242B publication Critical patent/CN107427242B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A61B5/02108—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1241—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes specially adapted for observation of ocular blood flow, e.g. by fluorescein angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Hematology (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Ophthalmology & Optometry (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及脉波检测装置、以及脉波检测程序，进行相对于明度的变化具有鲁棒性的脉波检测。脉波检测装置(1)将动态图像的帧图像从RGB成分色变换为YIQ成分，使用预先以Q成分准备的用户的眼睛的颜色，确定眼睛的部分。并且，脉波检测装置(1)通过眼睛的部分的Y值来检测拍摄环境的明度。接着，脉波检测装置(1)根据帧图像的皮肤的部分的Q值的平均来检测脉波信号Qm，进而，通过从其减去眼睛的部分的Y值的平均值Ye来对明度的变化量进行修正，输出明度修正后的Qm。由此，即使在用户因车辆等移动而明度变化的情况下，也能够良好地检测脉波。

Description

脉波检测装置、以及脉波检测程序
技术领域
本发明涉及脉波检测装置、以及脉波检测程序，例如涉及使用图像处理来检测脉波的装置。
背景技术
在把握人的生理学的状态的基础上进行脉波的检测是极其重要的，需要远程非接触地对其进行检测的技术。
作为这样的技术存在非专利文献的由马萨诸塞理工学院进行的研究。
该技术是利用网络摄像头对受检者的脸部进行动态图像拍摄，利用笔记本电脑将其动态图像在拍摄后(即、不是实时处理而是之后的处理)解析来检测脉波的技术。
本研究相对于以往使用激光、多普勒雷达等特殊的昂贵的装置来检测脉波，是使用廉价的通用机器和简便的方法来实现脉波的非接触检测的技术。
这里，使用图16对该技术的概要进行说明。
首先，如图16(a)所示那样，在动态图像的画面中设定矩形形状的评价区域101，以受检者的脸部进入评价区域101的方式使受检者入座，以动态图像拍摄已静止的状态的脸部。实验在屋内进行，从窗进入的日光被作为光源来使用。
若将得到的动态图像分离为R成分、G成分、B成分的各成分并平均则如图16(b)所示那样得到载有脉波的变动。
在这些各成分中包含根据血红蛋白的光的吸收特性等而赋予权重的脉波信号，若对其进行ICA(Independent Component Analysis：独立成分分析)等则得到脉波。
这样根据动态图像得到脉波是因为通过伴随着受检者的心跳而血管的体积变化，日光透过皮肤的光学距离变化，其表现为来自脸部的反射光的变化。
但是，该技术是在实验室的理想的环境下进行的技术，例如在将脉波检测装置安装于车辆并检测驾驶者的脉波等的实用场景中利用的情况下，存在明度的变化成为干扰要素而脉波的检测变得困难这样的问题。
非专利文献1：Advancements in Noncontact，Multiparameter PhysiologicalMeasurements Usinga Webcam，Ming-ZherPoh，DanielJ.McDuff，and Rosalind W.Picard，IEEE Transactionson Biomedical Engineering，Vol.58，No.1，January2011
发明内容
本发明目的在于针对明度的变化进行具有鲁棒性的脉波检测。
(1)本发明为了实现上述目的，在技术方案1中记载的发明中，提供一种脉波检测装置，其特征在于，具备：动态图像取得单元，取得拍摄了包含对象者的脸部的区域的动态图像；眼睛部分确定单元，确定被拍摄入上述动态图像的上述对象者的眼睛的部分；明度变化取得单元，根据上述确定出的眼睛的部分的规定的色空间成分的变化取得因上述动态图像的拍摄环境的变化而产生的明度的变化；明度修正单元，使用上述已取得的明度的变化来对上述动态图像的明度进行修正；脉波取得单元，根据上述修正后的皮肤的部分中的规定的色空间成分的时间变化取得上述对象者的脉波；以及输出单元，输出上述已取得的脉波。
(2)在技术方案2中记载的发明中，提供根据技术方案1所述的脉波检测装置，其特征在于，具备确定被拍摄入上述已取得的动态图像的上述对象者的皮肤的部分的皮肤部分确定单元，上述脉波取得单元根据上述确定出的皮肤的部分中的规定的色空间成分的时间变化取得上述对象者的脉波。
(3)在技术方案3中记载的发明中，提供根据技术方案2所述的脉波检测装置，其特征在于，具备登记成为用于确定上述对象者的眼睛的部分的基准的色空间成分亦即基准成分的基准成分登记单元，上述眼睛部分确定单元将上述动态图像中规定的色空间成分与上述已登记的基准成分对应的部分确定为上述眼睛的部分。
(4)在技术方案4中记载的发明中，提供根据技术方案2或3所述的脉波检测装置，其特征在于，上述皮肤部分确定单元将上述动态图像中规定的色空间成分与已预先登记的规定的基准成分对应的部分确定为上述皮肤的部分。
(5)在技术方案5中记载的发明中，提供根据技术方案2、3或4所述的脉波检测装置，其特征在于，上述明度变化取得单元为了取得明度的变化而使用的色空间成分、上述脉波取得单元为了取得上述脉波而使用的色空间成分以及上述皮肤部分确定单元为了确定上述皮肤的部分而使用的色空间成分，是不同的色空间成分。
(6)在技术方案6中记载的发明中，提供根据技术方案5所述的脉波检测装置，其特征在于，上述明度变化取得单元为了取得明度的变化而使用的色空间成分与上述脉波取得单元为了取得上述脉波而使用的色空间成分，分别是由明度成分(Y)以及色度成分(I、Q)构成的YIQ色空间的上述明度成分(Y)与上述色度成分(Q)，上述皮肤部分确定单元为了确定上述皮肤的部分而使用的色空间成分，是由色成分(H)、彩度成分(S)以及明度成分(V)构成的HSV色空间的上述色成分(H)。
(7)在技术方案7中记载的发明中，提供根据技术方案2至6中任一项所述的脉波检测装置，其特征在于，具备变换色空间的色空间变换单元，上述脉波取得单元、上述明度变化取得单元以及上述皮肤部分确定单元，通过由上述色空间变换单元变换了上述已取得的动态图像的色空间来取得色空间成分。
(8)在技术方案8中记载的发明中，提供根据技术方案3所述的脉波检测装置，其特征在于，具备：脸部图像取得单元，取得拍摄了上述对象者的脸部的脸部图像；区域确定单元，在上述已取得的脸部图像中，利用脸部识别处理，确定上述脸部的眼睛的区域，上述基准成分登记单元将上述确定出的区域的色空间成分作为上述基准成分而登记。
(9)在技术方案9中记载的发明中，提供根据技术方案8所述的脉波检测装置，其特征在于，上述基准成分登记单元将对上述确定出的区域中的色空间成分的分布实施了规定的统计处理而得的值作为上述基准成分而登记。
(10)权利要求10中记载的发明中，提供根据技术方案1至7中任一项所述的脉波检测装置，其特征在于，上述眼睛部分确定单元以上述动态图像的像素单位来确定上述眼睛的部分。
(11)在技术方案11中记载的发明中，提供根据技术方案1至10中任一项所述的脉波检测装置，其特征在于，上述明度修正单元以上述动态图像的像素单位来进行上述修正。
(12)在技术方案12中记载的发明中，提供根据技术方案1至11中任一项所述的脉波检测装置，其特征在于，上述对象者是输送设备的搭乘者，上述脉波检测装置具备使用上述输出的脉波对上述搭乘者的身体状况进行监视的监视单元。
(13)在技术方案13中记载的发明中，提供一种脉波检测程序，由计算机实现以下功能：动态图像取得功能，取得拍摄了包含对象者的脸部的区域的动态图像；眼睛部分特定功能，确定被拍摄入上述动态图像的上述对象者的眼睛的部分；明度变化取得功能，根据上述确定出的眼睛的部分的规定的色空间成分的变化取得因上述动态图像的拍摄环境的变化而产生的明度的变化；明度修正功能，使用上述已取得的明度的变化来对上述动态图像的明度进行修正；脉波取得功能，根据上述修正后的上述对象者的皮肤的部分中的规定的色空间成分的时间变化来取得上述对象者的脉波；以及输出功能，输出上述已取得的脉波。
(1)根据技术方案1所记载的发明，能够从对象者的眼睛的部分取得明度的变化并对动态图像的明度进行修正。
(2)根据技术方案2所记载的发明，能够除去被拍摄入动态图像的干扰要素而仅取出皮肤的部分，据此检测脉波，因此能够提高脉波检测的精度。
(3)根据技术方案3所记载的发明，能够除去被拍摄入动态图像的干扰要素而仅取出眼睛的部分，能够提高明度的修正精度。
(4)根据技术方案4所记载的发明，能够通过与基准成分的对比从动态图像中容易地提取皮肤的部分。
(5)根据技术方案5所记载的发明，能够通过采用适合于(因在明度的变化、皮肤和脉波中，通过光观察的对象不同)观察对象的色空间成分的组合来提高相对于干扰要素的鲁棒性。
(6)根据技术方案6所记载的发明，能够通过组合发现了适合于明度的变化的检测的Y成分、发现了适合于皮肤的部分的特定的H成分、发现了适合于脉波检测的Q成分，进一步提高相对于干扰要素的鲁棒性。
(7)根据技术方案7所记载的发明，通过在脉波检测装置内部具备色空间变换处理而不是外部装置，处理速度得以提高，使根据动态图像实时地检测脉波变得容易。
(8)根据技术方案8所记载的发明，能够通过从对象者自身采取眼睛的颜色的基准值，容易地取得包含了每个人的微妙的眼睛的颜色的差异的基准值。
(9)根据技术方案9所记载的发明，能够通过统计处理对个人差大的眼睛的颜色的分布的偏差进行平均，由此，能够提高基准成分的可靠性。
(10)根据技术方案10所记载的发明，不是由闭曲线包围的(不符合眼睛的部分的像素也散布)区域，而是按每个像素提取眼睛的部分，因此能够从评价对象除去作为干扰要素而起作用的像素，能够提高检测精度。
(11)根据技术方案11所记载的发明，不是用代表值来修正被闭曲线包围的区域而是能够按每个像素来修正，因此能够提高检测精度。
(12)根据技术方案12所记载的发明，能够对输送设备的搭乘者的身体状况进行监视。
(13)根据技术方案13所记载的发明，通过使脉波检测程序流通，将其安装于通用的计算机，能够容易并且廉价地构成脉波检测装置。
附图说明
图1是表示脉波检测装置的构成的图。
图2是用于对色空间进行说明的图。
图3是用于对根据动态图像检测脉波的结构进行说明的图。
图4是液压对整体的处理的顺序进行说明的流程图。
图5是用于对皮肤色数据采取处理的顺序进行说明的流程图。
图6是用于对脉波检测处理的顺序进行说明的流程图。
图7是表示实验的结果的图。
图8是用于对明度的变化的修正方法进行说明的图。
图9是用于对第2实施方式中的整体的处理的顺序进行说明的流程图。
图10是用于对眼睛颜色数据采取处理的顺序进行说明的流程图。
图11是用于对明度变化对策处理的顺序进行说明的流程图。
图12是用于对色度的偏差进行说明的图。
图13是用于对第3实施方式中的整体的处理的顺序进行说明的流程图。
图14是用于对照相机特性数据更新处理的顺序进行说明的流程图。
图15是用于对照相机特性对策处理的顺序进行说明的流程图。
图16是用于对以往技术进行说明的图。
具体实施方式
(1)实施方式的概要
在第1实施方式中，脉波检测装置1将动态图像的帧图像从RGB成分色变换为HSV成分，使用预先以H成分准备的用户的皮肤的颜色，确定皮肤的部分。使用H成分是因为关于皮肤的确定若使用H成分则鲁棒性提高。
接下来，脉波检测装置1将帧图像的皮肤的部分变换为YIQ成分，将对各像素的Q值进行了平均而得到的Qm作为脉波信号。使用Q成分是因为关于脉波信号的检测若使用Q成分则鲁棒性提高。
脉波检测装置1针对各帧图像进行上述的处理并取得脉波信号Qm的时间序列的变化，将其作为脉波输出。
这样，脉波检测装置1能够在动态图像中将皮肤的部分设定成评价区域(ROI；Region of Interest)，因此能够从脉波检测对象中除去背景等干扰要素而良好地检测脉波。
在第2实施方式中，脉波检测装置1将动态图像的帧图像从RGB成分色变换为YIQ成分，使用预先以Q成分准备了的用户的眼睛的颜色，确定眼睛的部分。
而且，脉波检测装置1通过眼睛的部分的Y值对拍摄环境的明度进行检测。在眼睛的部分不出现脉波信号，因此能够作为明度的检测对象而利用。
接下来，脉波检测装置1根据帧图像的皮肤的部分的Q值的平均对脉波信号Qm进行检测，进而，通过从其减去眼睛的部分的Y值的平均值Ye而对明度的变化量进行修正，并输出明度修正后的Qm。
由此，即使在用户因车辆等移动而明度变化的情况下，也能够良好地检测脉波。
在第3实施方式中，脉波检测装置1具备对由照相机特性引起的像素的特性的偏差进行修正的照相机特性数据。而且，通过照相机特性数据修正帧图像的皮肤的部分的Q值。
脉波检测装置1使用因通过用户的活动而皮肤的部分在画面内移动所产生的皮肤的部分的Q值的变化来更新照相机特性数据。
另外，脉波检测装置1将修正对象的颜色限定为皮肤的颜色，由此不需要复杂的算法、计算，因此能够使计算负荷变低，能够良好地进行动态图像的实时处理。
(2)实施方式的详细内容
(第1实施方式)
图1是表示本实施方式的脉波检测装置1的构成的图。
脉波检测装置1例如被安装于车辆，监视搭乘者(驾驶者、助手席的乘客等)的脉波，把握驾驶者的身体状况、紧张状态等的生理状态。
另外，也能够用于在医疗现场、灾害现场等检测/监视患者、受灾者的脉波。
脉波检测装置1由CPU(Central Processing Unit：中央处理器)2、ROM(Read OnlyMemory：只读存储器)3、RAM(Random Access Memory：随机存取存储器)4、显示部5、输入部6、输出部7、照相机8、存储部9等构成，检测(或推断)用户10(脉波检测的对象者)的脉波。
CPU2是根据存储于存储部9、ROM3等的程序，进行各种信息处理、控制的中央处理装置。
在本实施方式中，对照相机8拍摄的动态图像进行图像处理并检测用户10的脉波。
ROM3是只读存储器，存储有用于使脉波检测装置1动作的基本的程序、参数等。
RAM4是能够读写的存储器，提供CPU2动作时的工作存储器。
在本实施方式中，对构成动态图像的帧图像(1帧的静止图像)进行展开并存储，或存储计算结果，从而辅助CPU2根据帧图像的皮肤的部分(以下，皮肤部分)检测脉波。
显示部5使用液晶画面等显示装置而构成，显示脉波检测装置1的操作画面、脉波的显示等脉波检测装置1的运用中必要的信息。
输入部6使用与显示装置重叠地设置的触摸面板等输入装置而构成，根据针对画面显示的触摸的有无等接受各种的信息的输入。
输出部7是将各种的信息向外部装置输出的接口，例如输出检测出的脉波，或输出从脉波得到的脉搏，或能够在脉波出现变化的情况下输出报警。
而且输出部7能够向控制车辆的控制装置等的其他的控制设备输出。在从输出部7接受了脉波、脉搏的输出的控制设备中，例如判断驾驶者的昏昏欲睡、紧张状态等(后述)，能够进行针对驾驶者的控制、例如为了使从昏昏欲睡中清醒而使方向盘、坐席振动的控制、警告音、消息的输出等。另外，作为对车辆的控制，也能够根据基于脉波而判断的驾驶者的紧张状态，进行车间距离控制、车速控制、或者制动器控制的至少一个。例如，控制设备在判断为驾驶者处于超过规定值的高度紧张状态的情况下，以将车间距离设定为比基准值大的方式进行控制，以使车速成为规定车速以下的方式进行控制，若是规定车速以上就进行基于自动制动器操作的减速处理等。
照相机8使用由透镜构成的光学系统、将由此成像的图像变换为电信号的图像传感器而构成，被设置为使用户10的脸部附近成为拍摄画面。
作为照相机8虽能够使用昂贵的，但在脉波检测装置1中使用了网络摄像头等通用品。
在脉波检测装置1中，由于利用通用品的照相机8也能够良好地检测脉波，因此能够减少成本。
照相机8以规定的帧率拍摄被拍摄体，输出由这些连续的帧图像(静止图像)构成的动态图像。
帧图像由构成图像的最小单位亦即像素(像素)的排列而构成，各像素通过RGB空间的颜色成分(R值、G值、B值)而被配色。
存储部9使用硬盘、EEPROM(Electrically Erasable Programmable Read-OnlyMemory：电可擦除可编程只读存储器)等存储介质而构成，存储CPU2用于检测脉波的程序、数据。
在存储部9中存储有脉波检测程序12、用户数据库14、照相机特性数据15等。
此外，这些中的、照相机特性数据15是在第3实施方式中使用的数据，将在后面进行说明。
脉波检测程序12是使CPU2进行脉波检测处理的程序。
CPU2通过执行脉波检测程序，进行动态图像中的用户的皮肤部分的确定、以及根据已确定的皮肤部分的脉波的检测。
用户数据库14是登记了利用脉波检测装置1的用户的数据库。
在用户数据库14中，按用户1、用户2、…等每个用户存储有登记数据。
而且，在登记数据中登记有脸部数据、皮肤颜色数据、眼睛颜色数据…这样的用户所固有的信息。
脸部数据是将用户的脸部的特征进行了数据化的数据，用于对在照相机8前就坐的用户进行脸部识别而识别。
皮肤颜色数据是成为用于由帧图像确定用户的皮肤部分的皮肤的颜色的基准的数据。通过帧图像与皮肤颜色数据的对比来确定皮肤部分。
眼睛颜色数据是在第2实施方式中使用的数据，因此将在后面进行说明。
图2是用于对色空间进行说明的图。
脉波检测装置1在进行脉波的检测时，变换帧图像的色空间(称为色变换)，因此首先对其进行说明。
通常彩色图像通过3个颜色成分来表现。更详细而言，图像的各像素所具有的颜色信息表现为以3个颜色成分为轴而展开的色空间中的点的坐标值。
在通用的摄像机中，作为颜色成分使用RGB空间的R成分、G成分、B成分的情况较多，在以往技术中，也保持原样地使用视频信号所包含的R、G、B成分来进行脉波的检测。
与此相对，本申请发明者反复试验，来探索相对于干扰要素更具鲁棒性的(具有耐性的)颜色成分。
其结果，发现了在皮肤部分的确定中HSV空间的H成分适合，在脉波检测中YIQ空间的Q成分适合。
因此，在脉波检测装置1中，根据目的而分开使用颜色成分。
这样，因根据观察对象而光的反射特性不同，因此通过选择与对象对应的最佳的组合能够提高相对于干扰的鲁棒性。
图2(a)是表示RGB空间的图。
RGB空间由表示RGB成分的相互正交的R轴、G轴、B轴构成。
在RGB空间中，通过R值(红)、G值(绿)、B值(蓝)表示颜色信息，通过RGB空间的点的坐标值规定像素的RGB值。
RGB方式是最一般的彩色模型，照相机8也以RGB方式输出动态图像。
图2(b)是表示了HSV空间的图。
HSV空间由具有圆形的底面的圆锥表示，圆锥面方向的旋转角表示H成分，距底面的中心的距离表示S成分，从圆锥的顶点向底面引出的垂线的距离表示V成分。
在HSV空间中，通过H值(颜色)、S值(彩度)、V值(明度)表示颜色信息，通过HSV空间的点的坐标值规定像素的HSV值。
HSV方式主要在计算机图形等中被使用。
此外，HSV空间除了由图2(b)所示的圆锥表示的情况以外，还可以用圆柱来表示。该情况下也与由圆锥表示的情况相同，色相(H)沿圆柱的外圆周而变化，彩度(S)伴随距中心的距离而变化，明度(V)从顶点朝向底而变化。
图2(c)是表示了YIQ空间的图。
YIQ空间由表示YIQ成分的相互正交的Y轴、I轴、Q轴构成。
在YIQ空间中，通过Y值(明度)、I值(色度：暖色系)、Q值(色度：冷色系)表示颜色信息，通过YIQ空间的点的坐标值规定像素的YIQ值。
Y值能够取正的值，I值与Q值能够取正负的值。
YIQ方式作为生成NTSC信号的分量信号的方式，主要在视频设备内使用。
图3是用于对根据动态图像检测脉波的结构进行说明的图。
图3(a)是表示脉波检测装置1从用户的脸部采取皮肤颜色数据的方法的图。
脉波检测装置1通过照相机8对用户的脸部的静止图像30进行拍摄，对鼻子进行检测并设定鼻区域20。鼻子的检测使用一般的脸部识别技术来进行。
而且，脉波检测装置1将鼻区域20的色空间从RGB空间变换为HSV空间，根据各像素的H值生成皮肤颜色数据。
将采取皮肤颜色数据的区域作为鼻区域20是因为通过脸部识别容易确定，并且，露出了标准的皮肤的颜色。
除了鼻子以外，例如也能够构成为从额头、脸颊等其他的区域采取皮肤颜色数据。
图3(b)是用于对从帧图像31提取脉波信号的方法进行说明的图。
在帧图像31中，除了皮肤部分以外，头发21、眉毛22、眼睛23、嘴唇24、背景25等也进入帧图像31中。
这些皮肤以外的部分不包含脉波信号，或者，是不适于检测脉波信号的部分，在脉波检测处理中作为使精度降低的干扰要素而起作用。
因此，脉波检测装置1将帧图像31色变换而生成HSV图像32，将与皮肤颜色数据对应的部分确定为皮肤部分26。
皮肤部分26以像素单位被确定，脖子等的皮肤露出的部分被全部确定。
这样，通过除去干扰要素并且最大限度确保包含脉波信号的部分，能够提高脉波检测精度。
脉波检测装置1从HSV图像32中的皮肤部分26的位置，提取帧图像31中的皮肤部分，变换为YIQ图像。其结果，得到YIQ空间中的皮肤部分26a。
脉波检测装置1对皮肤部分26a的各像素的Q值进行平均并计算Qm，将Qm作为脉波信号输出。
此外，在本实施方式中，将帧图像31变换为YIQ图像而得到了皮肤部分26a，但也可将HSV图像32的皮肤部分26变换为YIQ图像而得到皮肤部分26a。
图3(c)是表示根据动态图像检测出的脉波的图。
脉波检测装置1将从各帧图像输出的脉波信号Qm以时间序列(帧图像的顺序)排列并形成脉波35。
这样，脉波检测装置1通过由各帧图像确定用户的皮肤部分，能够匹配于用户的动作来追踪/提取皮肤部分并且检测脉波。由此，得到以下那样的特征。
(与实时处理的适合性)
在以往技术中，在受检者将脸部对准了评价区域101的状态下保持静止来拍摄动态图像。在拍摄中存在脸部偏离评价区域101的可能性，因此对拍摄结束的动态图像进行解析。
与此相对，脉波检测装置1在动态图像的各帧图像中确定皮肤部分26，因此评价区域以固定于用户的皮肤的状态在动态图像内移动。
即使脸部移动，皮肤部分也不偏离评价区域，因此能够实时地检测脉波。
另外，假设利用各帧图像对用户的脸部进行脸部识别并追踪的情况下，需要计算机的高处理能力，此外脸部识别失败的可能性高。
与此相对，脉波检测装置1能够通过将HSV图像与皮肤颜色数据对比来确定皮肤部分的简单的处理追踪皮肤部分。因此，适合于实时处理。
进而，以简单且低负荷的处理检测脉波，因此即使作为实时处理也能够抑制因计算机的处理能力而产生的帧图像的脱落(所谓丢帧)。
处理完的帧图像的间隔成为脉波的测定间隔(取样率)，因此通过防止丢帧能够防止测定间隔变大。
由此能够维持脉波的高时间分辨率，提高脉波的检测精度。
另外，脸部识别处理仅在皮肤颜色数据登记时进行，皮肤颜色数据使用已经登记的，因此能够避免在现场使脸部识别失败而无法采取皮肤颜色数据，无法进行脉波检测这样的情况，提高测定的可靠性。
脉波的检测主要用于监视对象者的现在的生理状态的情况，能够实时处理是重要的。
(背景的除去)
在以往技术中，使评价区域101与受检者的脸部的形状一致是困难的，因此存在背景等的干扰要素进入评价区域101，使脉波的检测精度降低的可能性。
与此相对，在脉波检测装置1中，评价区域与皮肤部分26总是一致，因此能够防止脸部以外的背景等的干扰要素进入评价区域，由此，能够进行正确的脉波检测。
(与脉波无关的脸部的部分的除去)
在以往技术中，即使在将受检者的脸部正确地设定于评价区域101的情况下由于与脉波无关的脸部的部分(头发、眼睛、嘴等)进入评价区域，因此存在这些成为干扰要素而对脉波的检测精度造成影响的可能性。
与此相对，在脉波检测装置1中，这些脸部的要素被从皮肤部分26除去，因此能够提高脉波的检测精度。
进而，即使用户眨眼、或开闭口，由于与脸部的动作匹配而动态地设定皮肤部分26，所以也能够将脸部的动作引起的干扰要素从评价区域除去。
图4用于对脉波检测装置1进行的整体的处理的顺序进行说明的流程图。
以下的处理是CPU2根据脉波检测程序12来进行的。
首先，CPU2若根据照相机8的图像的变化检测出用户就坐在指定位置，则取得用户的脸部的图像并存储于RAM4(步骤5)。
该图像也可作为静止图像而拍摄，也可从动态图像的帧图像中取出。
这样，脉波检测装置1具备取得对至少包含对象者的皮肤的区域进行了拍摄而得的动态图像的动态图像取得单元，包含该皮肤的区域包含对象者的脸部。
接下来，CPU2对已存储于RAM4的脸部的图像进行脸部识别，通过将其与用户数据库14的脸部数据比较来进行检索(步骤10)。
在检索到脸部的情况下，CPU2判断为该用户已登记完毕(步骤15；是)，从用户数据库14取得该用户的皮肤颜色数据并存储于RAM4(步骤20)。
另一方面，在未检索到脸部的情况下，CPU2判断为该用户未登记(步骤15；否)，进行皮肤颜色数据采取处理，从脸部的图像采取皮肤颜色数据(步骤25)。
而且，脉波检测装置1根据脸部的图像形成脸部数据，将脸部数据与皮肤颜色数据建立对应地存储于用户数据库14从而进行用户登记(步骤27)。
CPU2若取得皮肤颜色数据，则根据从照相机8发送来的动态图像取得帧图像并存储于RAM4(步骤30)。
接下来，CPU2进行根据存储于RAM4的帧图像检测脉波的脉波检测处理(步骤35)。
接下来，CPU2判断是否继续脉波的检测(步骤40)。
在继续脉波的检测的情况下(步骤40；是)，脉波检测装置1返回步骤30，针对动态图像的下一个帧图像进行脉波检测处理。
另一方面，在用户按动停止按钮等而不继续脉波的检测的情况下(步骤40；否)，脉波检测装置1结束处理。
图5是用于对步骤25的皮肤颜色数据采取处理的顺序进行说明的流程图。
首先，CPU2从RAM4读出脸部的图像，对其进行脸部识别(步骤50)，然后检测鼻子(步骤55)。
接下来，CPU2针对检测出的鼻子设定皮肤颜色数据采取用的鼻区域(步骤60)。
这样，脉波检测装置1具备取得拍摄了对象者的脸部的图像的脸部图像取得单元；及通过脸部识别处理，确定脸部的皮肤露出的规定的区域(鼻子的区域)的区域确定单元。
接下来，CPU2将鼻区域的色空间从RGB空间色变换为HSV空间(步骤65)，取得各像素的H值(步骤70)。
接下来，CPU2对各像素的H值进行平均并计算Hm(步骤75)，进而，计算H值的标准偏差σ(步骤80)。
接下来，CPU2根据Hm和σ计算H值的下限值Hlo＝Hm-n×σ并存储于RAM4(步骤85)。关于n将在后述。
进而，CPU2计算H值的上限值Hlo＝Hm+n×σ并存储于RAM4(步骤90)。
而且，CPU2将H值的下限值与上限值作为皮肤颜色数据而输出(步骤95)，返回主程序(图5)。
输出的皮肤颜色数据(Hlo和Hhi)作为成为用于确定对象者的皮肤的部分的基准的色空间成分亦即基准成分发挥功能，在步骤27(图4)的用户登记中登记。
这样，脉波检测装置1具备登记基准成分的基准成分登记单元，针对鼻区域的色空间成分实施基于平均值与标准偏差的统计处理并登记。
n是σ的乘数，规定以Hm为中心的H值的范围。如后述那样，脉波检测装置1根据帧图像将H值处于该范围内的部分确定为皮肤部分，因此通过实验等能够将n调节为适当的值。
例如，若使n＝3，则将H值处于Hm±3σ的范围的部分确定为皮肤部分。
图6是用于对步骤35(图5)的脉波检测处理的顺序进行说明的流程图。
首先，CPU2将存储于RAM4的帧图像的色空间从RGB空间变换为HSV空间，将变换后的HSV图像存储于RAM4(步骤100)。
接下来，CPU2将对像素的顺序进行计数的计数器i设定为i＝0(步骤103)。
接下来，CPU2取得存储于RAM4的HSV图像的各像素中的、第i个像素的H值亦即Hi(步骤105)。
而且，CPU2判断Hi是否满足Hlo＜Hi＜Hhi，即、判断Hi是否进入皮肤颜色数据的范围(步骤110)。
CPU2在Hi处于该范围的情况下，判断为该像素与皮肤颜色数据对应。
在Hi满足该不等式的情况下，即、Hi与皮肤颜色数据对应的情况下(步骤110；是)，CPU2将该像素的位置坐标存储于RAM4(步骤115)。
在步骤115中存储了位置坐标后，或者，在步骤110中Hi未处于皮肤颜色数据的范围的情况下(步骤110；否)，CPU2判断关于HSV图像的全部的像素是否进行了步骤110的判断(步骤120)。
在还存在未判断的像素的情况下(步骤120；否)，CPU2使i自加1而更新为i＝i+1(步骤123)，返回步骤105针对下一个像素重复相同的处理。
通过进行以上的步骤100～步骤123，与皮肤部分对应的位置坐标被存储于RAM4。
接下来，CPU2通过利用帧图像确定位于存储于RAM4的位置坐标的像素，取得帧图像中的评价对象像素(步骤125)。
这样，脉波检测装置1具备确定被拍摄入动态图像的对象者的皮肤的部分(评价对象像素)的皮肤部分确定单元。
另外，该确定通过将在动态图像中与规定的色空间成分登记的基准成分对应的部分以像素单位作为皮肤的部分来进行。
接下来，CPU2将评价对象像素的色空间从RGB空间色变换为YIQ空间(步骤130)。
而且，CPU2对各像素的Q值进行平均并求出平均值Qm(步骤135)，将其作为脉波信号输出(步骤140)，返回主程序(图4)。
在评价对象像素的Q值含有脉波信号，将其平均化而作为Qm，从而能够减少噪声的影响。
通过以上的处理，根据一个帧图像对脉波信号Qm进行检测，但若针对将其连续的各帧图像进行，将脉波信号Qm按照帧图像的顺序排列，则利用脉波信号Qm的时间变化而得到图3(c)所示的脉波。
这样，脉波检测装置1具备根据皮肤的部分中的规定的色空间成分的时间变化取得脉波的脉波取得单元，及输出其的输出单元。
如以上说明那样，脉波检测装置1以HSV空间的H成分进行皮肤部分的确定，以YIQ空间的Q成分进行脉波检测。
因此，皮肤部分确定单元为了确定皮肤的部分而使用的色空间成分，与脉波取得单元为了取得脉波而使用的色空间成分是不同的色空间成分。
而且，脉波检测装置1具备变换动态图像的色空间的色空间变换单元，皮肤部分确定单元和脉波取得单元利用由色空间变换单元变换后的色空间取得色空间成分。
进而，在脉波检测装置1中能够具备通过脉波监视输送设备的搭乘者的身体状况的监视单元。
此外，在本实施方式中，从帧图像提取皮肤部分之后将该提取的皮肤部分从RGB空间色变换为YIQ空间，但也可在将帧图像的整体色变换为YIQ空间之后提取皮肤部分。
(第2实施方式)
在以往技术中，在基于从实验室的窗射入的日光的稳定的明度下进行脉波的检测。
另一方面，在车辆、医疗现场中使用脉波检测装置1的情况下，以怎样的拍摄环境使用是各种各样的，预想在脉波检测中特别是明度发生变化。特别是在车辆中对驾驶员、搭乘者等的脉波进行检测的情况下，根据车辆的行驶位置、朝向的变化、时间段等，明度的变化容易频繁地发生。
因此，对是否因实际使用脉波检测装置1时产生的明度变化而对检测结果产生影响进行了调查。即，本申请发明者试着一边在基于荧光灯的照明下进行脉波的检测，一边用扇子对受检者的脸部形成阴影而使明度变化。
图7是表示了基于该实验的结果的图。
图7(a)是环境的明度未变化时的脉波信号Qm的时间变化。
如图所示那样，脉波被顺利地检测。
另一方面，图7(b)是通过利用扇子对受检者的脸部形成阴影而仅使明度发生变化时的脉波信号Qm的时间变化。
期间41是没有阴影的期间，期间42是有阴影的期间。
如图所示那样，脉波信号Qm因明度的变化而较大地变化，该变化隐没了Qm的变化而使脉波的检测变得困难。
针对这样的问题本申请发明者进行了研究，发现了眼睛的部分(以下，眼睛部分)中没有出现脉波信号Qm。
从皮肤部分检测重叠了明度的变化的脉波信号Qm，从眼睛部分检测不包含脉波的明度的变化(或明度的大小)，因此通过从前者减去后者，能够对明度的变化进行修正。
另外，本申请发明者发现了在明度的变化的检测中YIQ空间的Y成分是合适的，因此在本实施方式中，通过Y成分对明度的变化进行检测。
进而，脉波信号Qm与明度的Y值属于相同的色空间，因此只要简单地减去即可。
图8的各图是用于对明度的变化的修正方法进行说明的图。
图8(a)是表示用于明度的变化的检测的眼睛部分45的图。
眼睛部分45由颜色浓的大致中央的瞳孔部分48、瞳孔部分48的周围的虹膜部分47、接近白色的虹膜部分47更外侧的白眼球部分46构成。
脉波检测装置1将眼部分45中的Q值的最小值设为Qlo，眼部分45中的Q值的最大值设为Qhi，将这些作为眼睛颜色数据而登记。
此外，脉波检测装置1也可将白眼球部分46的Q值设为Qlo，瞳孔部分48的Q值设为Qhi，将这些作为眼睛颜色数据而登记。
如后述那样，脉波检测装置1使用眼睛颜色数据从用户的脸部的眼睛区域提取眼睛部分45，根据该提取的眼睛部分45的Y值的变化来对明度的变化进行检测。
图8(b)是表示明度信号51的图。
脉波检测装置1对从眼睛部分45检测出的Y值进行平均，生成明度信号Ym。若将其以时间序列进行曲线化则得到明度信号51。
在图示的例子中，在期间42对脸部形成了阴影，因此期间42的明度比期间41小。
图8(c)是表示修正前脉波信号52的图。
修正前脉波信号52是以时间序列对修正明度的变化之前的脉波信号Qm进行了曲线化的信号。
在修正前的脉波信号52中，如图8(c)所示那样，受到明度的降低的影响，期间42中的脉波信号Qm也降低。
图8(d)是表示修正后脉波信号53的图。
脉波检测装置1通过从修正前的脉波信号Qm中减去明度信号Ym，生成修正后脉波信号53。若以时间序列对其进行了曲线化则得到修正后脉波信号53。
在修正后脉波信号53中，由明度的变化引起的影响已被除去，因此即使在明度降低的期间42也得到适当的脉波。
图8(e)(f)是用于对脉波检测装置1利用动态图像的帧图像确定眼睛部分45的方法进行说明的图。
首先，脉波检测装置1如图8(e)所示那样，针对帧图像进行脸部识别处理，提取包含眼睛部分45的眼睛区域55。
而且，脉波检测装置1相对于眼睛区域55使用眼睛颜色数据并提取眼睛部分45。
这样，从眼睛区域55提取眼睛部分45是基于以下的理由。
若对帧图像使用眼睛颜色数据，则相对于例如在背景等偶尔提取与眼睛颜色数据对应的部分，因为眼睛区域55由皮肤部分与眼睛部分45构成，与眼睛颜色数据对应的部分仅是眼睛部分45，因此能够可靠地确定眼睛部分45。
另外，通过脸部识别，也能够直接确定眼睛部分45，但需要提高脸部识别的精度，另外失败率也高，因此这样在图像识别中大致地确定眼睛区域55。
图9是用于对脉波检测装置1进行的整体的处理的顺序进行说明的流程图。
对与第1实施方式相同的步骤，赋予相同的步骤编号，简化或省略说明。
在用户是登记用户的情况下(步骤15；是)，CPU2从用户数据库14取得皮肤颜色数据(步骤20)，进一步取得眼睛颜色数据(步骤150)。
另一方面，在不是登记用户的情况下(步骤15；否)，CPU2进行皮肤颜色数据采取处理(步骤25)，进一步进行眼睛颜色数据采取处理(步骤155)，通过将脸部数据、皮肤颜色数据、眼睛颜色数据等存储于用户数据库14而进行用户登记(步骤27)。
CPU2取得帧图像(步骤30)，进行脉波检测处理(步骤35)，对修正前的脉波信号Qm进行检测。
接下来，CPU2对修正前的脉波信号Qm进行明度变化对策处理(步骤160)，输出修正后的脉波信号Qm。
图10是用于对步骤155的眼睛颜色数据采取处理的顺序进行说明的流程图。
首先，CPU2对在皮肤颜色数据采取处理中使用的脸部的图像进行脸部识别(步骤180)，检测眼睛部分(步骤185)。
这样脉波检测装置1具备在脸部图像中通过脸部识别处理，确定脸部的眼睛的区域(此时是眼睛部分)的区域确定单元。
接下来，CPU2将眼睛部分设定成评价区域(步骤190)，将包含于眼睛部分的全部的像素的色空间从RGB空间变换为YIQ空间(步骤200)。
接下来，CPU2按照包含于眼睛部分的每个像素取得Q值并存储于RAM4(步骤205)。
而且，CPU2将存储于RAM4的Q值中的最低值设为Qlo(步骤210)，并且，将最高值设为Qhi(步骤215)，将其作为眼睛颜色数据，并与该用户的脸部数据与皮肤颜色数据建立对应地登记于用户数据库14(步骤220)，返回主程序(图9)。
这样，脉波检测装置1具有将该确定的区域的色空间成分作为成为用于确定眼睛的部分的基准的基准成分(Qlo和Qhi)而登记的基准成分登记单元。
而且，基准成分登记单元登记针对确定出的区域中的色空间成分的分布实施了确定最小值与最大值的统计处理而得的值。
图11是用于对步骤160的明度变化对策处理的顺序进行说明的流程图。
首先，脉波检测装置1的CPU2利用存储于RAM4的帧图像进行脸部识别而对脸部进行检测(步骤230)，进而，对眼睛区域进行检测(步骤235)，将检测出的眼睛区域设定为评价区域(步骤240)。
接下来，CPU2将眼睛区域的色空间从RGB空间变换为YIQ空间并存储于RAM4(步骤245)。
接下来，CPU2将计数器j设定为0(步骤250)，从RAM4取得眼睛区域的第j个像素的Q值亦即Qj(步骤253)。
而且，CPU2判断Qj与Qlo、Qhi的大小关系(步骤255)。
若Qj为Qlo＜Qj＜Qhi(步骤255；是)，则CPU2判断为该像素包含于眼睛部分，取得该像素的Y值并存储于RAM4(步骤260)。
在取得Y值后，或者，Qj不满足Qlo＜Qj＜Qhi的情况下(步骤255；否)，CPU2判断是否针对全部的像素进行了判断(步骤265)。
在存在还没有进行判断的像素的情况下(步骤265；否)，CPU2将j自加1并更新为j＝j+1(步骤270)，其后返回步骤253针对下一个像素重复相同的处理。
通过以上的处理，取得从眼睛区域除去了皮肤部分的眼睛部分的各像素的Y值。
这样，脉波检测装置1具备通过将在动态图像中规定的色空间成分与登记的基准成分对应的部分确定为眼睛的部分，以像素单位确定被拍摄入动态图像的眼睛的部分的眼睛部分确定单元。
CPU2若这样将全部的像素的Y值存储于RAM4，则对其平均并计算平均值Ye(步骤275)。
平均值Ye与拍摄环境的明度对应，其与前后的帧图像的Ye之差表示明度的变化。
因此通过从各帧图像减去各自的明度的平均值Ye，能够对明度的变化量进行修正。
这样，脉波检测装置1具备根据眼睛的部分的规定的色空间成分的变化取得由动态图像的拍摄环境的变化所产生的明度的变化的明度变化取得单元。
接下来，CPU2取得修正前的脉波信号Qm(步骤276)，从其减去平均值Ye并计算修正后的脉波信号Qm(步骤277)，输出计算出的修正后的脉波信号Qm(步骤278)，返回主程序(图9)。
这样，脉波检测装置1具备使用明度的变化以像素单位对动态图像的明度进行修正的明度修正单元，和根据已修正的皮肤的部分中的规定的色空间成分的时间变化取得脉波的脉波取得单元。
另外，脉波检测装置1利用Y成分取得明度的变化，利用H成分确定皮肤部分，利用Q成分检测脉波，利用不同的颜色成分进行处理。
而且，脉波检测装置1具备变换这些色空间的色空间变换单元。
根据以上说明的第2实施方式，能够得到以下的效果。
(1)即使在因外光的变化、用户的动作等拍摄环境的变化导致明度发生了变化的情况下也能够检测脉波。
(2)能够一边根据脸部的皮肤检测脉波、一边同时从眼睛检测明度的变化。
(3)即使没有特别的装置也能够对明度的变化进行修正。
此外，在本实施方式中，从帧图像提取皮肤部分后进行了该皮肤部分的明度的修正，但也可对帧图像的全体进行了明度的修正后，提取皮肤部分。
(第3实施方式)
例如，虽然在使用通用品的照相机8的情况下，人鉴赏动态图像的情况下无法知晓，但在检测脉波中存在成为障碍的程度的每个像素的特性的偏差。
在本实施方式中，通过颜色成分检测脉波，因此受到色度(色质)特性的偏差的影响。
图12是用于对基于照相机特性的色度的偏差进行说明的图。
图12(a)是用浓淡表示了照相机8的像素的色度特性的偏差的图。
这样由于色度特性不一样，因此若在画面内用户动作，则色度的值变化，对脉波检测的精度造成影响。
图12(b)是让受检者在画面内移动，对在画面的左区域61、中央区域62、右区域63检测出的脉波进行比较的图。
如图所示那样，本来应以相同的电平检测出脉波，但因色度之差导致电平的高度产生差。
在以往中，照相机的色度特性的修正例如由专家使用校准图表，针对各种颜色来进行。这需要专门的知识而且还要花费工时，对于一般的用户来说是困难的。
另外，由于进行针对各种颜色的修正，因此修正处理复杂，若对脉波实时处理，则存在产生丢帧而处理相关的帧率降低的可能性。
因此，在本实施方式中，将修正对象颜色限定于用户的脸部的颜色，并且将因画面内中的用户的动作而产生的各像素的色度的平均值作为照相机特性数据而存储。
能够通过使用照相机特性数据来对色度的变化进行修正而检测正确的脉波。
另外，用户在画面内动作由此皮肤部分扫过(扫描)画面，脉波检测装置1依次修正皮肤的部分扫过的区域的像素。
这样，在本实施方式中，能够伴随着画面内的用户的动作而自动地创建修正值。
图13是用于对脉波检测装置1进行的整体的处理的顺序进行说明的流程图。
对第1实施方式、以及第2实施方式相同的步骤赋予相同的步骤编号，简化、或省略说明。
在步骤5～步骤30之后，CPU2进行了脉波检测处理后(步骤35)，进行照相机特性数据更新处理(步骤305)。
而且，CPU2取得更新后的最新的照相机特性数据(步骤310)，使用其对脉波信号Qm进行基于照相机特性处理的修正(步骤315)。
其后，CPU2对进行了基于照相机特性的修正的脉波信号Qm进行明度变化对策处理(步骤160)。
图14是用于对步骤305(图13)的照相机特性数据更新处理的顺序进行说明的流程图。
步骤230～265与图6的步骤100～130相同。
即、CPU2在帧图像中将符合皮肤部分的像素指定为评价对象像素，将该色空间从RGB空间变换为YIQ空间(步骤265)。
接下来，CPU2选择评价对象像素中的、处于位置坐标(x、y)的像素(选择方法以任意的算法进行即可)，取得其Q值并存储于RAM4(步骤270)。
接下来，CPU2从照相机特性数据15取得针对该位置坐标的最新的修正值(即，到前次修正为止的最新值)Qc(x、y、k)并存储于RAM4(步骤275)。
这里，k是按每个像素设定的计数器，是表示到前次为止的该像素的修正次数的参数。
接下来，CPU2使用存储于RAM4的这些值，以下面的式子计算新的Qc值，将其结果存储于RAM4(步骤280)。
Qc(x、y、k+1)＝{Qc(x、y、k)×k+Q(x、y)}/(k+1)
接下来，CPU2用Qc(x、y、k+1)更新照相机特性数据15的Qc(x、y、k)(步骤285)。
这样，脉波检测装置1为了使用基于上述的式子的统计处理按每个像素更新修正值，而具备通过对伴随着脸部的移动而在皮肤的部分产生的色空间成分的变化实施规定的统计处理来按照每个像素对修正值进行更新的更新单元。
接下来，CPU2判断是否针对全部的评价对象像素对Qc值进行了更新(步骤290)。
在还存在没有更新的像素的情况下(步骤290；否)，CPU2选择下一个评价对象像素(x、y)(步骤295)，其后返回步骤270，在对全部的像素进行了更新的情况下(步骤290；是)，结束更新处理而返回主程序(图13)。
图15是用于对步骤315(图13)的照相机特性对策处理的顺序进行说明的流程图。
CPU2按照在帧图像被设定为评价对象像素的每个像素从Q值减去Qc来计算Qa(利用照相机特性对策修正后的Q值)(步骤380)，计算Qa的平均值，将其作为脉波信号Qm(步骤385)，返回主程序。
这样脉波检测装置1具备按照每个像素使用与该像素对应的修正值来修正因照相机的特性而在动态图像中产生的规定的色空间成分的偏差的偏差修正单元、根据被修正后的皮肤的部分中的色空间成分的时间变化取得脉波的脉波取得单元以及输出脉波的输出单元。
进而，脉波检测装置1通过以相同的循环处理进行步骤305(图13)的照相机特性数据更新处理和步骤315(图13)的照相机特性对策处理，在更新修正值的期间使用最新的修正值对偏差进行修正，从用最新的修正值修正后的皮肤的部分取得脉波。
如以上说明的那样，脉波检测装置1对照相机特性进行修正，并且使用最新的修正值输出脉波信号Qm。
另外，照相机特性对策处理能够构成为在修正值收敛到一定程度的情况下，结束修正。
该情况下，持续进行修正直至至少与脉波信号的变动相比照相机特性的变动变小。
这样完成照相机特性数据15，以下通过使用该数据，在脉波检测中不必进行照相机特性数据更新处理。由此能够减少CPU2的负荷，相应地能够补充至其他的处理。
此时，脉波检测装置1在因照相机的特性引起的色空间成分的偏差的大小至少收敛到比基于脉波的色空间成分的变化的大小小的值的情况下，使修正值的更新结束。
根据第3实施方式，能够得到以下的效果。
(1)能够一边利用脉波检测装置1一边对照相机特性进行检测并进行修正。因此，不必预先调节。
(2)由于伴随着用户的动作而创建修正值，所以例如适合于安装于车辆并将搭乘者作为对象的情况。
(3)将作为修正的对象的颜色限定为脸部的颜色，因此不需要复杂的校准计算，能够抑制动态图像处理中的丢帧。
(4)作为丢帧的抑制的结果，脉波的时间分辨率得以提高。因此，适合于实时处理，另外，脉冲间隔(脉搏的间隔)解析的精度也得以提高。
接下来，对已说明的第1实施方式至第3实施方式中的、开始脉波检测装置1的处理(图4、图9、图13)的定时进行说明。
在各实施方式中，以以下的任一个定时开始脉波检测装置1的脉波检测处理。作为各开始定时，将定时1设为默认，用户也能够以任意的定时进行变更。
(1)定时1
在检测出作为脉波的监视对象的驾驶员就坐于驾驶席的情况下，开始处理。
此外，在驾驶者以外的搭乘者(助手席、后部座席的乘客)也作为脉波的监视对象的情况下，在检测出已就坐于作为对象的搭乘者席的任一个的情况下开始处理。
此时，关于搭乘者的检测，在作为对象的坐席(座面、靠背部分等)中配置负载传感器并在检测出阈值以上的负载的情况、佩戴了安全带的情况、点火开关被打开的情况(驾驶席用)的任一个的情况下，判断为已就坐。
(2)定时2
在任一个脉波检测装置1配置开始按钮，在任一个搭乘者选择了开始按钮的情况下，开始处理。
作为此时的开始按钮由显示部5和输入部6构成。即，脉波检测装置1在显示部5图像显示开始按钮，在输入部6的触摸面板检测到该部分被触摸的情况下，开始处理。
另外，作为输入部6也可设置独立的硬件开关。
此外，情况开始按钮也可按作为监视对象的各搭乘者而设置。
(3)定时3
在安装了脉波检测装置1的车辆的驾驶席的门打开的情况下，开始处理。
此外，在驾驶者以外的搭乘者也成为监视对象的情况下，在与相应的搭乘者对应的门打开的情况下也开始处理。
关于门的开闭，通过门部的开闭传感器(接触传感器)等公知的技术来检测。
根据该定时3，与其他的定时相比，能够迅速地使脉波的监视开始。
特别是在门打开后至搭乘者就坐的期间，能够使皮肤颜色数据的取得等的、脉波检测处理(步骤35)以前的处理结束，因此能够更长时间地检测脉波。
接着对检测出的脉波的利用法进行说明。即，利用由本实施方式的脉波检测装置1检测出的脉波，能够对昏昏欲睡、紧张状态、疲劳等的清醒状态这样的驾驶员的状态进行判断并应对。
例如，作为根据脉波检测驾驶员的昏昏欲睡的技术，例如有日本特开平2014-20678“昏昏欲睡预测装置以及昏昏欲睡预测系统”。作为一个例子，通过使用该技术，能够根据驾驶员的脉波对昏昏欲睡的有无进行监视。
详细而言，使用由脉波检测装置1检测出的脉波来测定驾驶员的脉搏和HF。HF是表示心跳间隔的变动量(心率的波动)的公知的指标。
驾驶员的昏昏欲睡能够通过下面的昏昏欲睡数值Z来计算。
Z＝P×10+(Q-1)×100
P是脉搏相对于通常时的值的降低量(单位是bpm)，Q是规定期间(例如，过去500秒)中的HF的增加率。
在存在昏昏欲睡的征兆的状态下，交感神经活动从亢奋状态向抑制状态变化，因此脉搏数降低。另外，在产生昏昏欲睡的状态下，通过副交感神经向亢奋状态变化而脉搏数下降HF上升。
脉波检测装置1对脉波、根据脉波求出的脉搏、HF、昏昏欲睡数值Z等进行监视，在发现了昏昏欲睡的征兆的情况下、产生了昏昏欲睡的情况下通过输出振动、声音，能够唤起驾驶员的注意。
另外，脉搏除了昏昏欲睡以外，还根据紧张状态、疲劳等而变化，因此脉波检测装置1能够利用脉波监视包含了这些概念的驾驶员的清醒度。
以上，对3个实施方式进行了说明，根据第1实施方式，能够得到以下的构成。
(1)第101的构成
脉波检测装置的特征在于，具备：取得拍摄了包含对象者的至少皮肤的区域的动态图像的动态图像取得单元；确定被拍摄入上述已取得的动态图像的上述对象者的皮肤的部分的皮肤部分确定单元；根据上述确定出的皮肤的部分中的规定的色空间成分的时间变化取得上述对象者的脉波的脉波取得单元；输出上述已取得的脉波的输出单元。
(2)第102的构成
根据第101的构成的脉波检测装置的特征在于，包含上述对象者的至少皮肤的区域包含上述对象者的脸部。
(3)第103的构成
根据第101的构成、或者第102的构成的脉波检测装置，其特征在于，具备：登记成为用于确定上述对象者的皮肤的部分的基准的色空间成分亦即基准成分的基准成分登记单元，上述皮肤部分确定单元将上述动态图像中规定的色空间成分与上述已登记的基准成分对应的部分确定为上述皮肤的部分。
(4)第104的构成
根据第101的构成、第102的构成或者第103的构成的脉波检测装置，其特征在于，上述皮肤部分确定单元为了确定上述皮肤的部分而使用的色空间成分、与上述脉波取得单元为了取得上述脉波而使用的色空间成分是不同的色空间成分。
(5)第105的构成
根据第104的构成的脉波检测装置，其特征在于，上述皮肤部分确定单元为了确定上述皮肤的部分而使用的色空间成分，是由色成分(H)、彩度成分(S)以及明度成分(V)构成的HSV色空间的上述色成分(H)，上述脉波取得单元为了取得上述脉波而使用的色空间成分，是由明度成分(Y)、以及色度成分(I、Q)构成的YIQ色空间的上述色度成分(Q)。
(6)第106的构成
根据第101的构成至第105的构成中任一项构成的脉波检测装置，其特征在于，具备：变换动态图像的色空间的色空间变换单元，上述皮肤部分确定单元与上述脉波取得单元通过由上述色空间变换单元变换了上述已取得的动态图像的色空间来取得色空间成分。
(7)第107的构成
根据第103的构成的脉波检测装置，其特征在于，具备：取得拍摄了上述对象者的脸部的脸部图像的脸部图像取得单元；及在上述已取得的脸部图像中，利用脸部识别处理，确定上述脸部的皮肤露出的规定的区域的区域确定单元，上述基准成分登记单元将上述确定出的区域的色空间成分作为上述基准成分而登记。
(8)第108的构成
根据第107的构成的脉波检测装置，其特征在于，上述规定的区域是上述对象者的鼻子的区域。
(9)第109的构成
根据第107的构成或者第108的构成的脉波检测装置，其特征在于，上述基准成分登记单元将对上述确定出的区域中的色空间成分的分布实施了规定的统计处理的值作为上述基准成分而登记。
(10)第110的构成
根据第101的构成至第109的构成中任一项构成的脉波检测装置，其特征在于，上述皮肤部分确定单元以上述动态图像的像素单位来确定上述皮肤的部分。
(11)第111的构成
根据第101的构成至第110的构成中任一项构成的脉波检测装置，其特征在于，上述对象者是输送设备的搭乘者，上述脉波检测装置具备使用上述输出的脉波对上述搭乘者的身体状况进行监视的监视单元。
(12)第112的构成
一种脉波检测程序，由计算机实现以下功能：取得拍摄了包含对象者的至少皮肤的区域的动态图像的动态图像取得功能；确定被拍摄入上述已取得的动态图像的上述对象者的皮肤的部分的皮肤部分确定功能；根据上述确定出的皮肤的部分中的规定的色空间成分的时间变化取得上述对象者的脉波的脉波取得功能；以及输出上述已取得的脉波的输出功能。
根据以上的构成，能够得到以下的效果。
(1)根据第101的构成，能够除去被拍摄入动态图像的干扰要素而仅取出皮肤的部分，据此检测脉波，能够提高脉波检测的精度。
(2)根据第102的构成，能够根据日常皮肤露出而容易拍摄的脸部来检测脉波。
(3)根据第103的构成，能够通过与基准成分的对比来从动态图像中容易地提取皮肤的部分。
(4)根据第104的构成，能够通过采用适合于观察对象(因在皮肤和脉波中，通过光观察的对象不同)的色空间成分的组合来提高相对于干扰要素的鲁棒性。
(5)根据第105的构成，能够通过组合发现了适合于皮肤的部分的确定的H成分、发现了适合于脉波检测的Q成分，进一步提高相对于干扰要素的鲁棒性。
(6)根据第106的构成，通过在脉波检测装置内部具备色空间变换处理而不是外部装置，处理速度得以提高，使根据动态图像实时地检测脉波变得容易。
(7)根据第107的构成，能够通过从对象者自身采取皮肤的颜色的基准成分，容易地取得包含了每个人的微妙的皮肤颜色的差异的基准值。
(8)根据第108的构成，能够从皮肤露出并容易确定地方的鼻子的区域采取皮肤的颜色的基准值。
(9)根据第109的构成，能够通过统计处理对个人差大的皮肤的颜色的分布的偏差进行平均，由此，能够提高基准成分的可靠性。
(10)根据第110的构成，不是由闭曲线包围的(不符合皮肤的部分的像素也散布)区域，而是按每个像素提取皮肤的部分，因此能够从评价对象除去作为干扰要素而起作用的像素，能够提高检测精度。
(11)根据第111的构成，能够对输送设备的搭乘者的身体状况进行监视。
(12)根据第112的构成，通过使脉波检测程序流通，将其安装于通用的计算机，能够容易并且廉价地构成脉波检测装置。
根据第3实施方式，能够得到以下的各构成。
(1)第301的构成
一种脉波检测装置，其特征在于，具备：取得用规定的照相机拍摄了包含对象者的至少皮肤的区域而得的动态图像的动态图像取得单元；确定被拍摄入上述已取得的动态图像的上述对象者的皮肤的部分的皮肤部分确定单元；对因上述照相机的特性而在上述动态图像中产生的规定的色空间成分的偏差进行修正的偏差修正单元；根据上述被修正的上述皮肤的部分中的上述色空间成分的时间变化取得上述对象者的脉波的脉波取得单元；以及输出上述已取得的脉波的输出单元。
(2)第302的构成
根据第301的构成的脉波检测装置，其特征在于，上述包含对象者的至少皮肤的区域包含上述对象者的脸部。
(3)第303的构成
根据第302的构成的脉波检测装置，其特征在于，具备通过针对伴随着上述脸部的移动而上述皮肤的部分产生的上述色空间成分的变化，实施规定的统计处理来更新用于上述修正的修正值的更新单元。
(4)第304的构成
根据第303的构成的脉波检测装置，其特征在于，上述更新单元按构成上述动态图像的每个像素更新上述修正值，上述偏差修正单元按每个上述像素使用与该像素对应的修正值对上述色空间成分进行修正。
(5)第305的构成
根据第303的构成、或者第304的构成的脉波检测装置，其特征在于，上述更新单元在因上述照相机的特性引起的上述色空间成分的偏差的大小至少收敛到比上述对象者的脉波的上述色空间成分的变化的大小小的值的情况下，结束上述更新。
(6)第306的构成
根据第303的构成、第304的构成或者第305的构成的脉波检测装置，其特征在于，上述偏差修正单元在上述更新单元更新上述修正值的期间使用最新的修正值对上述偏差进行修正，上述脉波取得单元从用上述最新的修正值修正的上述皮肤的部分取得上述脉波。
(7)第307的构成
根据第301的构成至第306的构成中的任一个构成的脉波检测装置，其特征在于，具备取得因上述动态图像的拍摄环境的变化而产生的明度的变化的明度变化取得单元、使用上述已取得的明度的变化而对上述动态图像的明度进行修正的明度修正单元，上述脉波取得单元根据被上述明度修正单元进一步修正的上述皮肤的部分中的上述色空间成分的时间变化取得上述对象者的脉波。
(8)第308的构成
根据第301的构成至第307的构成中的任一个构成的脉波检测装置，其特征在于，成为上述偏差修正单元的修正的对象的色空间成分与上述脉波取得单元为了取得上述脉波而使用的色空间成分是由明度成分(Y)、以及色度成分(I、Q)构成的YIQ色空间的上述色度成分(Q)。
(9)第309的构成
根据第301的构成至第308的构成中的任一个构成的脉波检测装置，其特征在于，上述对象者是输送设备的搭乘者，上述脉波检测装置具备使用上述输出的脉波对上述搭乘者的身体状况进行监视的监视单元。
(10)第310的构成
一种脉波检测程序，由计算机实现以下功能：取得用规定的照相机拍摄了包含对象者的至少皮肤的区域而得的动态图像的动态图像取得功能；确定被拍摄入上述已取得的动态图像的上述对象者的皮肤的部分的皮肤部分确定功能；对因上述照相机的特性而在上述动态图像中产生的规定的色空间成分的偏差进行修正的偏差修正功能；根据被修正的上述皮肤的部分中的上述色空间成分的时间变化取得上述对象者的脉波的脉波取得功能；以及输出上述已取得的脉波的输出功能
根据以上的构成，能够得到以下的效果。
(1)根据第301的构成，通过对因照相机的特性而在上述动态图像中产生的规定的色空间成分的偏差进行修正，能够良好地检测脉波。
(2)根据第302的构成，能够根据日常皮肤露出而容易拍摄的脸部检测脉波。
(3)根据第303的构成，利用因脸部的移动而产生的色空间成分的变化来更新修正值，此时能够通过统计处理使修正值的偏差平均。
(4)根据第304的构成，通过对每个像素进行修正而不是用代表值修正区域，能够提高修正的精度。
(5)根据第305的构成，通过使修正收敛直至色空间成分的偏差与脉波的变动相比变小，能够良好地进行脉波的检测。
(6)根据第306的构成，能够一边进行修正一边进行脉波的检测。
(7)根据第307的构成，还通过进行明度的变化，提高相对于环境变化的鲁棒性，即使在明度变化的环境中也能够检测脉波。
(8)根据第308的构成，通过将用于脉波检测的色空间成分设为发现了适合于脉波检测的Q成分，能够提高相对于干扰要素的鲁棒性。
(9)根据第309的构成，能够对输送设备的搭乘者的身体状况进行监视的。
(10)根据第310的构成，通过使脉波检测程序流通，将其安装于通用的计算机，能够容易并且廉价地构成脉波检测装置。
附图标记的说明
1…脉波检测装置；2…CPU；3…ROM；4…RAM；5…显示部；6…输入部；7…输出部；8…照相机；9…存储部；10…用户；12…脉波检测程序；14…用户数据库；15…照相机特性数据；20…鼻区域；21…头发；22…眉毛；23…眼睛；24…嘴唇；25…背景；26…皮肤部分；30…静止图像；31…帧图像；32…HSV图像；35…脉波；41、42…期间；45…眼睛部分；46…白眼球部分；47…虹膜部分；48…瞳孔部分；51…明度信号；52…修正前脉波信号；53…修正后脉波信号；55…眼睛区域；61…左区域；62…中央区域；63…右区域；101…评价区域；102…背景。

Claims (13)

1.一种脉波检测装置，其特征在于，具备：
动态图像取得单元，取得拍摄了包含对象者的脸部的区域的动态图像；
眼睛部分确定单元，确定被拍摄入上述动态图像中的上述对象者的眼睛的部分；
明度变化取得单元，根据上述确定出的眼睛的部分的规定的色空间成分的变化取得因上述动态图像的拍摄环境的变化而产生的明度的变化；
明度修正单元，使用上述取得的明度的变化来对上述动态图像的明度进行修正；
脉波取得单元，根据上述修正后的上述对象者的皮肤的部分中的规定的色空间成分的时间变化取得上述对象者的脉波；以及
输出单元，输出上述取得的脉波。
2.根据权利要求1所述的脉波检测装置，其特征在于，
具备确定被拍摄入上述取得的动态图像中的上述对象者的皮肤的部分的皮肤部分确定单元，
上述脉波取得单元根据上述确定出的皮肤的部分中的规定的色空间成分的时间变化取得上述对象者的脉波。
3.根据权利要求2所述的脉波检测装置，其特征在于，
具备登记成为用于确定上述对象者的眼睛的部分的基准的色空间成分亦即基准成分的基准成分登记单元，
上述眼睛部分确定单元将上述动态图像中规定的色空间成分与上述登记的基准成分对应的部分确定为上述眼睛的部分。
4.根据权利要求2或3所述的脉波检测装置，其特征在于，
上述皮肤部分确定单元将上述动态图像中规定的色空间成分与预先登记的规定的基准成分对应的部分确定为上述皮肤的部分。
5.根据权利要求2、3或4所述的脉波检测装置，其特征在于，
上述明度变化取得单元为了取得明度的变化而使用的色空间成分、上述脉波取得单元为了取得上述脉波而使用的色空间成分以及上述皮肤部分确定单元为了确定上述皮肤的部分而使用的色空间成分是不同的色空间成分。
6.根据权利要求5所述的脉波检测装置，其特征在于，
上述明度变化取得单元为了取得明度的变化而使用的色空间成分与上述脉波取得单元为了取得上述脉波而使用的色空间成分分别是由明度成分(Y)以及色度成分(I、Q)构成的YIQ色空间的上述明度成分(Y)与上述色度成分(Q)，
上述皮肤部分确定单元为了确定上述皮肤的部分而使用的色空间成分是由色成分(H)、彩度成分(S)以及明度成分(V)构成的HSV色空间的上述色成分(H)。
7.根据权利要求2至6中任一项所述的脉波检测装置，其特征在于，
具备变换色空间的色空间变换单元，
上述脉波取得单元、上述明度变化取得单元以及上述皮肤部分确定单元通过由上述色空间变换单元变换了上述取得的动态图像后的色空间来取得色空间成分。
8.根据权利要求3所述的脉波检测装置，其特征在于，具备：
脸部图像取得单元，取得拍摄了上述对象者的脸部的脸部图像；
区域确定单元，在上述取得的脸部图像中，利用脸部识别处理，确定上述脸部的眼睛的区域，
上述基准成分登记单元将上述确定出的区域的色空间成分作为上述基准成分而登记。
9.根据权利要求8所述的脉波检测装置，其特征在于，
上述基准成分登记单元将对上述确定出的区域中的色空间成分的分布实施了规定的统计处理而得的值作为上述基准成分而登记。
10.根据权利要求1至7中任一项所述的脉波检测装置，其特征在于，
上述眼睛部分确定单元以上述动态图像的像素单位来确定上述眼睛的部分。
11.根据权利要求1至10中任一项所述的脉波检测装置，其特征在于，
上述明度修正单元以上述动态图像的像素单位来进行上述修正。
12.根据权利要求1至11中任一项所述的脉波检测装置，其特征在于，
上述对象者是输送设备的搭乘者，上述脉波检测装置具备使用上述输出的脉波对上述搭乘者的身体状况进行监视的监视单元。
13.一种脉波检测程序，由计算机实现以下功能：
动态图像取得功能，取得拍摄了包含对象者的脸部的区域的动态图像；
眼睛部分确定功能，确定被拍摄入上述动态图像中的上述对象者的眼睛的部分；
明度变化取得功能，根据上述确定出的眼睛的部分的规定的色空间成分的变化取得因上述动态图像的拍摄环境的变化而产生的明度的变化；
明度修正功能，使用上述取得的明度的变化来对上述动态图像的明度进行修正；
脉波取得功能，根据上述修正后的上述对象者的皮肤的部分中的规定的色空间成分的时间变化来取得上述对象者的脉波；以及
输出功能，输出上述取得的脉波。
CN201680019452.1A 2015-03-31 2016-03-30 脉波检测装置、以及脉波检测程序 Active CN107427242B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-073964 2015-03-31
JP2015073964A JP6308161B2 (ja) 2015-03-31 2015-03-31 脈波検出装置、及び脈波検出プログラム
PCT/JP2016/060508 WO2016159151A1 (ja) 2015-03-31 2016-03-30 脈波検出装置、及び脈波検出プログラム

Publications (2)

Publication Number Publication Date
CN107427242A true CN107427242A (zh) 2017-12-01
CN107427242B CN107427242B (zh) 2020-09-08

Family

ID=57005803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680019452.1A Active CN107427242B (zh) 2015-03-31 2016-03-30 脉波检测装置、以及脉波检测程序

Country Status (5)

Country Link
US (1) US10595732B2 (zh)
EP (1) EP3278722B1 (zh)
JP (1) JP6308161B2 (zh)
CN (1) CN107427242B (zh)
WO (1) WO2016159151A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112020323A (zh) * 2018-04-23 2020-12-01 夏普株式会社 数据解析装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6614547B2 (ja) * 2015-08-17 2019-12-04 パナソニックＩｐマネジメント株式会社 視聴状態検出装置、視聴状態検出システムおよび視聴状態検出方法
GB201601143D0 (en) 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for health and safety monitoring of a subject in a room
GB201601140D0 (en) 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for estimating heart rate
GB201601217D0 (en) 2016-01-22 2016-03-09 Oxehealth Ltd Signal processing method and apparatus
GB201615899D0 (en) 2016-09-19 2016-11-02 Oxehealth Ltd Method and apparatus for image processing
US10885349B2 (en) 2016-11-08 2021-01-05 Oxehealth Limited Method and apparatus for image processing
WO2018088358A1 (ja) * 2016-11-10 2018-05-17 シャープ株式会社 脈波検出装置、画像解析装置および生体情報生成システム
JP6796525B2 (ja) * 2017-03-23 2020-12-09 株式会社日立製作所 画像処理装置、画像処理システム及び画像処理方法
JP6717424B2 (ja) * 2017-03-29 2020-07-01 日本電気株式会社 心拍推定装置
JP6765678B2 (ja) * 2017-03-30 2020-10-07 株式会社エクォス・リサーチ 脈波検出装置および脈波検出プログラム
US10515199B2 (en) * 2017-04-19 2019-12-24 Qualcomm Incorporated Systems and methods for facial authentication
GB201706449D0 (en) 2017-04-24 2017-06-07 Oxehealth Ltd Improvements in or realting to in vehicle monitoring
GB201803508D0 (en) 2018-03-05 2018-04-18 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
JP7229676B2 (ja) * 2018-05-21 2023-02-28 株式会社日立製作所 生体情報検出装置および生体情報検出方法
JP7204077B2 (ja) * 2018-09-07 2023-01-16 株式会社アイシン 脈波検出装置、車両装置、及び脈波検出プログラム
JP7212499B2 (ja) * 2018-10-31 2023-01-25 株式会社日立製作所 生体情報検出装置及び生体情報検出方法
GB201900032D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
GB201900034D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
GB201900033D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Mrthod and apparatus for monitoring of a human or animal subject
JP7204785B2 (ja) * 2019-01-09 2023-01-16 シャープ株式会社 血圧測定装置、モデル設定装置、および血圧測定方法
JP7174359B2 (ja) * 2019-03-29 2022-11-17 株式会社アイシン 脈波検出装置、及び脈波検出プログラム
JP7106126B2 (ja) * 2019-05-28 2022-07-26 学校法人立命館 自律神経系活動評価装置
WO2020246615A1 (ja) * 2019-06-07 2020-12-10 ダイキン工業株式会社 判定システム
JP2023055137A (ja) * 2021-10-05 2023-04-17 キヤノン株式会社 映像処理装置及びその制御方法及びプログラム
JPWO2023195149A1 (zh) * 2022-04-08 2023-10-12
JPWO2023195148A1 (zh) * 2022-04-08 2023-10-12

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1641699A (zh) * 2004-01-13 2005-07-20 富士施乐株式会社 图像处理装置、图像处理方法及其程序产品
JP2006192288A (ja) * 2006-03-13 2006-07-27 Toshiba Corp 脈波計測モジュール
CN1905629A (zh) * 2005-07-26 2007-01-31 佳能株式会社 摄像装置和摄像方法
CN101334841A (zh) * 2007-06-28 2008-12-31 株式会社日立制作所 指静脉认证装置以及信息处理装置
US20140079295A1 (en) * 2012-09-18 2014-03-20 Electronics And Telecommunications Research Institute Apparatus and method for discriminating disguised face
JP2014198201A (ja) * 2013-03-29 2014-10-23 富士通株式会社 脈波検出プログラム、脈波検出方法および脈波検出装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3620529B2 (ja) 2002-03-18 2005-02-16 日本ビクター株式会社 映像補正装置及び方法、並びに、映像補正プログラム及びこれを記録した記録媒体
US20040015098A1 (en) * 2002-07-19 2004-01-22 Souvestre Philippe A. Dynamic ocular visual monitoring system
WO2004057314A2 (en) * 2002-12-20 2004-07-08 Fiso Technologies Inc. Polarisation interferometric method and sensor for detecting a chemical substance
DE602006009191D1 (de) * 2005-07-26 2009-10-29 Canon Kk Bildaufnahmegerät und -verfahren
JP4706415B2 (ja) 2005-09-27 2011-06-22 カシオ計算機株式会社 撮像装置、画像記録装置およびプログラム
JP5027604B2 (ja) 2007-09-21 2012-09-19 富士通株式会社 指先適正押圧状態報知方法及び装置
US8615479B2 (en) * 2007-12-13 2013-12-24 The Invention Science Fund I, Llc Methods and systems for indicating behavior in a population cohort
JP5181741B2 (ja) 2008-03-10 2013-04-10 株式会社デンソー 生体情報生成装置、生体情報管理システム
KR100970328B1 (ko) 2008-04-04 2010-07-15 엔에이치엔(주) 성인물 판단 방법 및 시스템
JP2010239499A (ja) 2009-03-31 2010-10-21 Brother Ind Ltd 通信端末装置、通信制御装置、通信端末装置の通信制御方法、通信制御プログラム
US8666116B2 (en) * 2009-10-06 2014-03-04 Koninklijke Philips N.V. Method and system for obtaining a first signal for analysis to characterize at least one periodic component thereof
JP5195741B2 (ja) * 2009-12-25 2013-05-15 株式会社デンソー 生体活動計測装置
US10452894B2 (en) 2012-06-26 2019-10-22 Qualcomm Incorporated Systems and method for facial verification
WO2014038077A1 (ja) 2012-09-07 2014-03-13 富士通株式会社 脈波検出方法、脈波検出装置及び脈波検出プログラム
JP6306022B2 (ja) * 2012-09-21 2018-04-04 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 遠隔的に検出された電磁放射線から導出可能なデータを処理する装置及び方法
JP6020015B2 (ja) * 2012-10-02 2016-11-02 富士通株式会社 脈波検出装置、脈波検出プログラム及び脈波検出方法
JP6098304B2 (ja) 2013-03-29 2017-03-22 富士通株式会社 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP6186820B2 (ja) 2013-04-10 2017-08-30 株式会社デンソー 眠気予測装置及び眠気予測システム
JP6142664B2 (ja) * 2013-05-14 2017-06-07 富士通株式会社 脈波検出装置、脈波検出プログラム、脈波検出方法及びコンテンツ評価システム
WO2015045554A1 (ja) * 2013-09-26 2015-04-02 シャープ株式会社 生体情報取得装置および生体情報取得方法
US10262203B2 (en) * 2014-09-02 2019-04-16 Samsung Electronics Co., Ltd. Method for recognizing iris and electronic device therefor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1641699A (zh) * 2004-01-13 2005-07-20 富士施乐株式会社 图像处理装置、图像处理方法及其程序产品
CN1905629A (zh) * 2005-07-26 2007-01-31 佳能株式会社 摄像装置和摄像方法
JP2006192288A (ja) * 2006-03-13 2006-07-27 Toshiba Corp 脈波計測モジュール
CN101334841A (zh) * 2007-06-28 2008-12-31 株式会社日立制作所 指静脉认证装置以及信息处理装置
US20140079295A1 (en) * 2012-09-18 2014-03-20 Electronics And Telecommunications Research Institute Apparatus and method for discriminating disguised face
JP2014198201A (ja) * 2013-03-29 2014-10-23 富士通株式会社 脈波検出プログラム、脈波検出方法および脈波検出装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
万铮结: "《基于人脸视频图像的心率检测研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112020323A (zh) * 2018-04-23 2020-12-01 夏普株式会社 数据解析装置

Also Published As

Publication number Publication date
EP3278722B1 (en) 2020-02-12
US10595732B2 (en) 2020-03-24
JP6308161B2 (ja) 2018-04-11
US20180085010A1 (en) 2018-03-29
CN107427242B (zh) 2020-09-08
JP2016193021A (ja) 2016-11-17
EP3278722A4 (en) 2018-10-17
EP3278722A1 (en) 2018-02-07
WO2016159151A1 (ja) 2016-10-06

Similar Documents

Publication Publication Date Title
CN107427242A (zh) 脉波检测装置、以及脉波检测程序
CN107427233A (zh) 脉波检测装置、以及脉波检测程序
Zhang et al. Driver drowsiness detection using multi-channel second order blind identifications
EP2404283B1 (en) Processing images of at least one living being
JP6256488B2 (ja) 信号処理装置、信号処理方法及び信号処理プログラム
CN109044314B (zh) 一种基于欧拉视频放大的非接触式心率监测方法
CN109477951A (zh) 在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法
CN106778695A (zh) 一种基于视频的多人快速心率检测方法
CN106845395A (zh) 一种基于人脸识别进行活体检测的方法
CN109389806A (zh) 基于多信息融合的疲劳驾驶检测预警方法、系统及介质
US20200146622A1 (en) System and method for determining the effectiveness of a cosmetic skin treatment
CN109820499A (zh) 基于视频的高抗干扰心率检测方法、电子设备及存储介质
CN110399836A (zh) 用户情绪识别方法、装置以及计算机可读存储介质
CN114648354A (zh) 一种基于眼动追踪和情绪状态的广告测评方法和系统
US20200311388A1 (en) Human body physiological parameter monitoring method based on face recognition for workstation
Jeanne et al. Camera-based heart rate monitoring in highly dynamic light conditions
JP6455761B2 (ja) 脈波検出装置、及び脈波検出プログラム
Nihei et al. Brain activity related to the judgment of face-likeness: correlation between EEG and face-like evaluation
Kurihara et al. Non-contact heart rate estimation via adaptive rgb/nir signal fusion
JP2021058361A (ja) 生体情報取得装置およびプログラム
Arppana et al. Real time heart beat monitoring using computer vision
US20240138692A1 (en) Method and system for heart rate extraction from rgb images
Liu et al. Real-time and efficient eyes and mouth state detection: an artificial intelligence application based on embedded systems
Zheng et al. Hand-over-face occlusion and distance adaptive heart rate detection based on imaging photoplethysmography and pixel distance in online learning
CN106725364B (zh) 基于概率统计方法的管制员疲劳检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant