CN107960989B - 脉搏波计测装置以及脉搏波计测方法 - Google Patents

脉搏波计测装置以及脉搏波计测方法 Download PDF

Info

Publication number
CN107960989B
CN107960989B CN201710820357.8A CN201710820357A CN107960989B CN 107960989 B CN107960989 B CN 107960989B CN 201710820357 A CN201710820357 A CN 201710820357A CN 107960989 B CN107960989 B CN 107960989B
Authority
CN
China
Prior art keywords
pulse wave
light
visible light
user
waveform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710820357.8A
Other languages
English (en)
Other versions
CN107960989A (zh
Inventor
村上健太
小泽顺
吉冈元贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017122794A external-priority patent/JP6832506B2/ja
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN107960989A publication Critical patent/CN107960989A/zh
Application granted granted Critical
Publication of CN107960989B publication Critical patent/CN107960989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427—Details of sensor
    • A61B5/02433—Details of sensor for infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains

Abstract

本公开涉及脉搏波计测装置以及脉搏波计测方法。脉搏波计测装置(140)包括具有第1表面的可见光受光部(102A)和脉搏波算出部(109A)，在侧视包括可见光受光部(102A)的车辆的情况下，第1表面位于第1反射光的第1光路与第2反射光的第2光路之间的第1区域，坐在车辆的座椅上的用户的眼睛出射第1光，所述用户的脸颊出射第2光，车辆的室内后视镜的上端反射第1光而输出第1反射光，上端反射第2光而输出第2反射光，脉搏波算出部(109A)基于可见光受光部(102A)经由第1表面接受的可见光的波形来算出用户的脉搏波，输出所算出的脉搏波。

Description

脉搏波计测装置以及脉搏波计测方法
技术领域
本公开涉及脉搏波计测装置以及脉搏波计测方法。
背景技术
专利文献1中公开了用于使用叠加两片反射镜(mirror)得到的装置作为汽车内的室内镜来拍摄用户的眼睛附近的红外图像的技术。在该技术中，通过由距用户近的反射镜反射可见光并透射红外光、由离用户远的反射镜反射红外光，由此拍摄用户的眼睛附近的红外图像。由此，可使得用户不会通过反射镜看到摄像头。
现有技术文献
专利文献1：日本特开2006-248365号公报
发明内容
但是，在专利文献1所公开的以往技术中，将以用户的眼睛为中心进行拍摄作为目的，使用两片反射镜。使用两片反射镜的结构复杂，另外，会导致高成本化。
因此，本公开的非限定性且例示性的一个技术方案，提供通过更简易的结构来拍摄用户并计测脉搏波的脉搏波计测装置。
本公开的一个技术方案涉及的脉搏波计测装置，包括：具有第1表面的可见光受光部；和脉搏波算出部，在侧视包括所述可见光受光部的车辆的情况下，所述第1表面位于第1反射光的第1光路与第2反射光的第2光路之间的第1区域，坐在所述车辆的座椅上的用户的眼睛出射第1光，所述用户的脸颊出射第2光，所述车辆的室内后视镜的上端反射所述第1光而输出所述第1反射光，所述上端反射所述第2光而输出所述第2反射光，所述脉搏波算出部基于所述可见光受光部经由所述第1表面接受的可见光的波形来算出所述用户的脉搏波，输出所算出的脉搏波。
此外，这些总括性或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或计算机可读取的记录介质来实现，也可以通过装置、系统、方法、集成电路、计算机程序和记录介质的任意组合来实现。计算机可读取的记录介质例如包括CD-ROM(Compact Disc-Read Only Memory)等非易失性记录介质。
根据本公开，能够通过更简易的结构来拍摄用户并计测脉搏波。从本说明书及附图中可知晓本公开的一个技术方案的附加的益处及优点。该益处和/或优点可以单独地由本说明书及附图所公开的各种实施方式及特征而得到，无需为了获得一个以上益处和/或优点而实施所有的实施方式及特征。
附图说明
图1是表示实施方式的脉搏波计测装置的构成的框图。
图2是从上方观察供实施方式的脉搏波计测装置配置的车辆内的示意图。
图3是表示由实施方式的脉搏波计测装置计测用户的脉搏波的场景的说明图。
图4A是表示实施方式的车辆的侧视下的用户能够通过室内镜看到的区域的说明图。
图4B是实施方式的室内镜的上端部、下端部、左端部以及右端部的说明图。
图5是表示实施方式的车辆的侧视下的、可供能够通过室内镜拍摄用户脸颊的可见光拍摄部设置的区域的说明图。
图6A是表示实施方式的车辆的侧视下的、可供能够通过室内镜拍摄用户脸颊且从用户看不到的可见光拍摄部设置的区域的说明图。
图6B是针对图6A所示的区域认为用户的眼睛和脸颊分别是具有有限大小的区域时的说明图。
图7是表示实施方式的车辆的俯视下的、用户能够通过室内镜看到的区域的说明图。
图8是表示实施方式的车辆的俯视下的、可供能够通过室内镜拍摄用户脸颊的可见光拍摄部配置的区域的说明图。
图9A是表示实施方式的车辆的俯视下的可供可见光拍摄部设置的区域的图。
图9B是表示实施方式的车辆的俯视下的可供可见光拍摄部设置的区域的局部放大部。
图9C是针对图9A所示的区域认为用户的眼睛和脸颊分别是具有有限大小的区域时的说明图。
图10是对实施方式的设置摄像头的方法进行说明的图。
图11A是对实施方式的用户戴着眼镜的情况下的设置摄像头的方法进行说明的图。
图11B是表示实施方式的按车辆类型的可见光拍摄部的设置位置的例子的说明图。
图12是表示实施方式的可见光图像以及红外光图像的辉度变化的一例的坐标图。
图13是表示实施方式的算出脉搏波时刻的一例的坐标图。
图14是表示按时间序列取得的心跳间隔时间的例子的坐标图。
图15是用于说明从脉搏波中提取拐点的方法的坐标图。
图16是表示用于说明对可见光波形的从顶点到底点之间的斜率进行运算的方法的可见光波形的坐标图。
图17是按红外光光源的光量不同的等级表示由红外光摄像头取得了人的皮肤图像的情况下的红外光波形的坐标图。
图18是表示将第1心跳间隔时间和第2心跳间隔时间分别按时间序列顺序的数据进行了描绘的坐标图。
图19是用于对判定心跳间隔时间是否适当的具体例进行说明的图。
图20是用于说明在可见光波形中作出峰值点的过剩取得并在对应的红外光波形中未作出峰值点的过剩取得的情况下的例子的图。
图21是用于说明使用拐点来算出相关度的情况的图。
图22是用于说明虽然峰值点的个数过剩但不符合第1预定期间内的峰值点的个数超过第1阈值这一条件的例子的图。
图23是表示用于说明将在光源的光量的调整期间所取得的峰值点不用于可见光波形与红外光波形之间的相关度的运算这一情况的例子的图。
图24是表示使用脉搏波计测装置使可见光光源的光量减少至0、且使红外光光源的光量增加至适当光量的最简单步骤的例子的图。
图25是用于说明在可见光波形和红外光波形的各波形中，使光源控制待机，直到在第2预定期间内从该波形中提取到连续的2个以上的预定特征点为止的图。
图26是表示向提示装置显示的显示例的图。
图27是表示实施方式的脉搏波计测装置的初始设定的处理流程的流程图。
图28是表示实施方式的脉搏波计测装置的处理流程的流程图。
图29是表示实施方式的变形例的脉搏波计测装置的构成的框图。
标号的说明
101可见光光源
102可见光拍摄部
102A、103A表面
102B可见光受光部
103红外光拍摄部
104红外光光源
105可见光波形运算部
106红外光波形运算部
107相关度运算部
108光源控制部
109生物体信息算出部
109A脉搏波算出部
110信息提示部
120发光装置
130脉搏波拍摄装置
140、140A脉搏波计测装置
200记号
202臂
G眼镜
M室内镜
N法线
P1、P2、P3、P4、P5、P6、P7、P8光路
R1、R2、R3、R4、R5、R6区域
U用户
具体实施方式
为了解决上述问题，本公开的一个技术方案涉及的脉搏波计测装置，具备：可见光受光部，其设置于从包括从用户出射并由车辆的室内镜反射的光的光路上的区域在内的区域中将所述用户能够用所述室内镜目视的区域排除在外的区域；和脉搏波算出部，其基于所述可见光受光部接受的可见光的波形来算出所述用户的脉搏波，输出所算出的脉搏波。
由此，可见光受光部能够通过室内镜取得用户的图像，并且，用户不会看到可见光受光部。由此，用户能够不被作为可见光受光部的摄像头吸引注意力地进行驾驶，另外，脉搏波计测装置能够取得驾驶中的用户的脉搏波。在此，室内镜通常通过用户进行调整以便驾驶(具体是确保后方视野等)。由此，用户并不需要为了脉搏波的取得而调整室内镜的姿势。另外，该室内镜是通常搭载在车辆中的室内镜，并没有超出必要的特别性能或功能。如此，脉搏波计测装置能够通过更简易的结构来拍摄用户并计测脉搏波。
例如，所述脉搏波计测装置还具备红外光受光部，所述红外光受光部设置于从包括从所述用户出射并由所述室内镜反射的光的光路上的区域在内的区域中将所述用户能够用所述室内镜目视的区域排除在外的区域，所述脉搏波算出部基于所述可见光受光部接受的可见光的波形和所述红外光受光部接受的红外光的波形来算出所述脉搏波。
根据上述技术方案，与可见光受光部同样地，红外光受光部也能够通过室内镜取得用户的图像，并且，用户不会看到红外光受光部。由此，用户能够不被作为红外光受光部的摄像头吸引注意力地进行驾驶，另外，脉搏波计测装置能够取得驾驶中的用户的脉搏波。
另外，本公开的一个技术方案涉及的脉搏波计测装置，包括：具有第1表面的可见光受光部；和脉搏波算出部，在侧视包括所述可见光受光部的车辆的情况下，所述第1表面位于第1反射光的第1光路与第2反射光的第2光路之间的第1区域，坐在所述车辆的座椅上的用户的眼睛出射第1光，所述用户的脸颊出射第2光，所述车辆的室内后视镜的上端反射所述第1光而输出所述第1反射光，所述上端反射所述第2光而输出所述第2反射光，所述脉搏波算出部基于所述可见光受光部经由所述第1表面接受的可见光的波形来算出所述用户的脉搏波，输出所算出的脉搏波。
根据上述技术方案，通过车辆的侧视下的可见光受光部的设置位置，可具体地实现可见光受光部能够通过室内镜取得用户脸颊的图像、且用户不会看到可见光受光部这一情况。
例如，所述脉搏波计测装置还包括红外光受光部，所述红外光受光部具有位于所述第1区域的第2表面，所述脉搏波算出部还基于所述红外光受光部经由所述第2表面接受的红外光的波形来算出所述脉搏波。
根据上述技术方案，通过车辆的侧视下的红外光受光部的设置位置，可具体地实现红外光受光部能够通过室内镜取得用户脸颊的图像、且用户不会看到红外光受光部这一情况。
另外，本公开的一个技术方案涉及的脉搏波计测装置，包括：具有第1表面的可见光受光部；和脉搏波算出部，(a)在俯视包括所述可见光受光部的右方向盘的车辆的情况下，所述第1表面位于第1反射光的第1光路与第2反射光的第2光路之间的第1区域，坐在距所述车辆的所述右方向盘最近的座椅上的用户的左眼出射第1光，所述用户的左脸颊出射第2光，所述车辆的室内后视镜的右端反射所述第1光而输出所述第1反射光，所述右端反射所述第2光而输出所述第2反射光，所述右端比所述车辆的室内后视镜的左端靠近所述右方向盘，或者，(b)在俯视包括所述可见光受光部的左方向盘的车辆的情况下，所述第1表面位于第3反射光的第3光路与第4反射光的第4光路之间的第2区域，坐在距所述车辆的所述左方向盘最近的座椅上的所述用户的右眼出射第3光，所述用户的右脸颊出射第4光，所述左端反射所述第3光而输出所述第3反射光，所述左端反射所述第4光而输出所述第4反射光，所述左端比所述右端靠近所述左方向盘，所述脉搏波算出部基于所述可见光受光部经由所述第1表面接受的可见光的波形来算出所述用户的脉搏波，输出所算出的脉搏波。
根据上述技术方案，通过车辆的俯视下的可见光受光部的设置位置，可具体地实现可见光受光部能够通过室内镜取得用户脸颊的图像、且用户不会看到可见光受光部。
例如，所述脉搏波计测装置还包括红外光受光部，所述红外光受光部具有位于所述第1区域的第2表面，所述脉搏波算出部还基于所述红外光受光部经由所述第2表面接受的红外光的波形来算出所述脉搏波。
根据上述技术方案，通过车辆的俯视下的红外光受光部的设置位置，可具体地实现红外光受光部能够通过室内镜取得用户脸颊的图像、且用户不会看到红外光受光部。
例如，所述脉搏波计测装置还包括红外光光源，所述红外光光源配置于比所述用户就坐的座位靠近所述车辆的左右方向的中央的位置。
根据上述技术方案，脉搏波计测装置能够将用于由红外光受光部用红外光拍摄用户的照射光(红外光)照射到用户脸的适合计测用户脉搏波的区域。适合计测用户脉搏波的区域例如是用户脸的包含脸颊的区域。另外，因为在车辆的左右方向的中央通常配置有车载导航装置或者空调机的控制器等，所以具有比较容易在这些装置中追加红外光光源或在这些装置的附近配置红外光光源这一优点。汇集有车辆的信号配线以及电力配线也是理由之一。
例如，所述第1表面的位置是在所述车辆的侧视下比所述第1光路靠车辆的上方且向所述车辆的前方前进了第一距离的位置。
根据上述技术方案，可具体地实现可见光受光部能够通过室内镜取得用户脸颊的图像、且用户不会看到可见光受光部这一情况。特别是，从用户的眼睛出射并由室内镜的上端部反射的光的光路上的位置，是用户自身能够在室内镜中确认而标上记号的位置。由此，具有用户自身能够容易地决定可见光受光部的位置的效果。
例如，所述脉搏波计测装置还包括：判定部，其通过图像处理来判定所述用户是否戴着眼镜；和可动部，其在所述判定部判定为所述用户戴着眼镜的情况下，使所述第1表面位于在车辆的侧视下比所述第1光路靠车辆的上方、且向所述车辆的前方前进了比所述第一距离大的第二距离的位置。
根据上述技术方案，即使在用户戴着眼镜的情况下，也能够适当地计测用户的脉搏波。当用户戴着眼镜时，在用于计测脉搏波的图像中，眼镜的框架有可能会与脸颊重叠，是为了防止该重叠。
另外，本公开的一个技术方案涉及的脉搏波计测方法，包括：(a)具有第1表面的可见光受光部经由所述第1表面接受可见光，在侧视包括所述可见光受光部的车辆的情况下，所述第1表面位于第1反射光的第1光路与第2反射光的第2光路之间的第1区域，坐在所述车辆的座椅上的用户的眼睛出射第1光，所述用户的脸颊出射第2光，所述车辆的室内后视镜的上端反射所述第1光而输出所述第1反射光，所述上端反射所述第2光而输出所述第2反射光；(b)脉搏波算出部基于所述接受的可见光的波形来算出所述用户的脉搏波，输出所算出的脉搏波。
由此，获得与上述脉搏波计测装置同样的效果。
另外，本公开的一个技术方案涉及的脉搏波计测方法，包括：(a)具有第1表面的可见光受光部经由所述第1表面接受可见光，(a-1)在俯视包括所述可见光受光部的右方向盘的车辆的情况下，所述第1表面位于第1反射光的第1光路与第2反射光的第2光路之间的第1区域，坐在距所述车辆的所述右方向盘最近的座椅上的用户的左眼出射第1光，所述用户的左脸颊出射第2光，所述车辆的室内后视镜的右端反射所述第1光而输出所述第1反射光，所述右端反射所述第2光而输出所述第2反射光，所述右端比所述车辆的室内后视镜的左端靠近所述右方向盘，或者，(a-2)在俯视包括所述可见光受光部的左方向盘的车辆的情况下，所述第1表面位于第3反射光的第3光路与第4反射光的第4光路之间的第2区域，坐在距所述车辆的所述左方向盘最近的座椅上的用户的右眼出射第3光，所述用户的右脸颊出射第4光，所述左端反射所述第3光而输出所述第3反射光，所述左端反射所述第4光而输出所述第4反射光，所述左端比所述右端靠近所述左方向盘；(b)脉搏波算出部基于经由所述第1表面接受的所述可见光的波形来算出所述用户的脉搏波，输出所算出的脉搏波。
由此，获得与上述脉搏波计测装置同样的效果。
此外，这些总括性或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序和记录介质的任意组合来实现。
以下，参照附图对实施方式进行具体说明。
此外，以下说明的实施方式均表示总括性或具体的例子。以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等是一例，并非限定本公开的意思。另外，关于以下的实施方式中的构成要素中的未记载在表示最上位概念的独立权利要求中的构成要素，作为任意的构成要素来说明。
(实施方式)
在本实施方式中，对通过简易的结构来拍摄用户并计测脉搏波的脉搏波计测装置以及脉搏波计测方法(换言之，脉搏波计测装置的控制方法)进行说明。具体而言，本实施方式的脉搏波计测装置利用设置于车辆的室内镜，以非接触的方式取得用户的可见光区域和红外光区域中的脉搏波。此外，脉搏波计测装置也可以作为由多个装置构成的脉搏波计测系统来实现。
此外，在本实施方式中，以可通过车辆的驾驶员(用户)调整室内镜的姿势作为前提。该调整是驾驶员通常为了确保车辆后方的视野而进行的调整，并不是为了使用本实施方式所示的脉搏波计测装置而进行的调整。
对本实施方式涉及的脉搏波计测装置140进行说明。图1是表示本实施方式的脉搏波计测装置140的构成的框图。图2和图3是表示本实施方式的脉搏波计测装置140被用户利用的情形的示意图。
如图1所示，脉搏波计测装置140具备可见光光源101、可见光拍摄部102、红外光拍摄部103、红外光光源104、可见光波形运算部105、红外光波形运算部106、相关度运算部107、光源控制部108、生物体信息算出部109和信息提示部110。
可见光光源101出射可见光，用可见光照射用户的皮肤(身体表面)。
可见光拍摄部102在可见光区域拍摄用户的皮肤。可见光拍摄部102相当于可见光受光部。可见光拍摄部102的表面的一部分相当于可见光受光部的第1表面。可见光拍摄部102从该表面的一部分取来可见光。
红外光拍摄部103在红外光区域拍摄用户的皮肤。红外光拍摄部103相当于红外光受光部。红外光拍摄部103的表面的一部分相当于红外光受光部的第2表面。红外光拍摄部103从该表面的一部分取来红外光。
红外光光源104用红外光照射用户的皮肤。
可见光波形运算部105从可见光拍摄部102用可见光拍摄到的图像中提取脉搏波的波形。
红外光波形运算部106从红外光拍摄部103用红外光拍摄到的图像中提取脉搏波的波形。
相关度运算部107对利用可见光得到的脉搏波(以下，也称为可见光脉搏波)的波形与利用红外光得到的脉搏波(以下，也称为红外光脉搏波)的波形进行比较，运算其相关度。
光源控制部108基于从可见光拍摄部102接受的可见光中提取的波形和从红外光拍摄部103接受的红外光中提取的波形，控制可见光光源101和红外光光源104。
生物体信息算出部109根据可见光脉搏波和红外光脉搏波，算出表示用户的脉搏波的脉搏波信息。
信息提示部110对生物体信息算出部109算出的脉搏波信息进行提示。
此外，脉搏波计测装置140也可以构成为具备发光装置120和脉搏波拍摄装置130，发光装置120具备上述的可见光光源101、红外光光源104和信息提示部110，脉搏波拍摄装置130具备上述的可见光拍摄部102、红外光拍摄部103、可见光波形运算部105、红外光波形运算部106、相关度运算部107、光源控制部108和生物体信息算出部109，以下说明该构成。
关于图1所示的这些功能框图，在后面进行详细说明。
图2和图3表示在车辆内设置脉搏波计测装置140的方法的一例。图2是从上方进行观察供脉搏波计测装置140配置的车辆内的示意图。图3是表示通过本实施方式的脉搏波计测装置140计测用户U的脉搏波的场景的说明图。
此外，有时也将车辆的行进方向称为“前”或“前方”，将车辆的行进方向的相反方向称为“后”或“后方”。另外，有时也将对车辆的驾驶员而言的左、右以及左右方向分别称为左、右以及左右方向，将对车辆的驾驶员而言的上、下以及上下方向简称为上、下以及上下方向。
如图2所示，脉搏波计测装置140所具备的发光装置120和脉搏波拍摄装置130配置在车辆内。
发光装置120如上述一样，具备可见光光源101、红外光光源104和信息提示部110。特别是，可见光光源101和红外光光源104例如也可以嵌入在车载导航装置等的显示画面的边缘(bezel)部分。此外，信息提示部110也可以不包含在发光装置120的内部。该情况下，也可以将以能够通信的方式与发光装置120连接的智能手机等移动终端的显示画面作为信息提示部110来使用。另外，可见光光源101例如也可以是出射可见光的车载导航装置的显示画面。该情况下，为了取得用户U的脉搏波，也可以自如地变更车载导航装置的显示画面的辉度。
另外，如图2所示，在车辆内的前方设置发光装置120，在车辆内的中心附近设置脉搏波拍摄装置130。
如图3所示，可见光光源101和红外光光源104例如位于车载导航装置的显示画面的边缘部分中的比较靠近用户U的位置。脉搏波计测装置140通过室内镜M(隔着室内镜M)拍摄用户U的一边脸颊。脉搏波计测装置140要拍摄的脸颊是用户U的左右脸颊中的靠近室内镜M的脸颊(如果车辆是右方向盘车则是左脸颊，如果车辆是左方向盘车则是右脸颊)。由此，通过如上述那样可见光光源101和红外光光源104不是位于车载导航装置的左右方向的中央而是位于靠近用户U的位置，由此具有容易照射用户U的靠近室内镜M的脸颊这一优点。由此，可见光光源101和红外光光源104能够更切实地向更易于取得用户U的脉搏波的脸颊照射各波长段的光。也将室内镜M称为室内后视镜。
另外，根据图3，脉搏波拍摄装置130具备2个图像传感器来作为可见光拍摄部102和红外光拍摄部103。可见光拍摄部102从可见光拍摄部102的表面的一部分即第1表面(表面102A)取来可见光，红外光拍摄部103从红外光拍摄部103的表面的一部分即第2表面(表面103A)取来红外光。此外，第1表面和第2表面既可以具有相交的区域，也可以不具有相交的区域。另外，第1表面和第2表面也可以完全一致。在此，第1表面位于第1反射光的第1光路与第2反射光的第2光路之间的第1区域。另外，坐在车辆的座椅上的用户的眼睛出射第1光，用户的脸颊出射第2光。车辆的室内后视镜的上端反射第1光而输出第1反射光，上述上端反射第2光而输出第2反射光。
另外，脉搏波拍摄装置130可以设为，在俯视包括可见光拍摄部102的右方向盘的车辆的情况下，第1表面位于第1反射光的第1光路与第2反射光的第2光路之间的第1区域。坐在距车辆的右方向盘最近的座椅上的用户的左眼出射第1光，用户的左脸颊出射第2光。车辆的室内后视镜的右端反射第1光而输出第1反射光，上述右端反射第2光而输出第2反射光。上述右端比车辆的室内后视镜的左端靠近右方向盘。
另外，对于脉搏波拍摄装置130，在俯视包括可见光拍摄部102的左方向盘的车辆的情况下，第1表面位于第3反射光的第3光路与第4反射光的第4光路之间的第2区域，坐在距车辆的左方向盘最近的座椅上的用户的右眼出射第3光，用户的右脸颊出射第4光。上述左端反射第3光而输出第3反射光，上述左端反射第4光而输出第4反射光。上述左端比上述右端靠近左方向盘。
另外，脉搏波拍摄装置130在其壳体中具备可见光波形运算部105、红外光波形运算部106、相关度运算部107、光源控制部108和生物体信息算出部109。另外，通过将所获得的信息发送给发光装置120，在发光装置120中的信息提示部110显示生物体信息等。
关于上述的各构成要素，以下进行详细说明。
(可见光光源101)
可见光光源101对用户U照射可见光区域的光。可见光光源101照射的光的光量通过光源控制部108来调整。具体而言，可见光光源101发出400nm～800nm的波长域的光。可见光光源101例如通过白色LED(Light Emitting Diode，发光二极管)等或者车载导航装置的显示画面来实现。
另外，具备可见光光源101的发光装置120与以往的车载导航装置同样地设置于车辆的仪表盘(dashboard)的中心附近。该情况下，当由设置在仪表盘的中心附近的可见光光源101照射可见光时，光会碰到用户U的脸颊附近。因为用户U的脸颊即使在用户U的脸中也是易于准确地取得脉搏波的部位，所以具有如下优点：通过如上述那样照射可见光，能够准确地取得用户U的脉搏波。
具体而言，发光装置120向用户U的脸的左右的某一边脸、例如在用户U为驾驶员且车辆为右方向盘车的情况下向用户U的脸的左侧的一边脸(在左方向盘车的情况下是用户U的脸的右侧的一边脸)照射光。在可见光拍摄部102通过室内镜M拍摄用户U的脸的情况下，会从比用户U的正面稍靠侧方进行拍摄。如此，具有如下优点：因为在拍摄的对象中没有眼睛或鼻子等特征部位，所以容易取得用户U的更准确的脉搏波。
此外，可见光光源101的照射量的控制，设为通过光源控制部108来进行，但并不限于此。例如，也可以是用户U自己使用控制器手动地控制光的照射量。另外，也可以是用户U自己调整从可见光光源101照射的光的方向。例如，也可以是：为了让用户U自己调整发光装置120的倾斜而使所照射的可见光以及红外光碰到用户U，在发光装置120的里侧具备万向节(universal joint)机构等，通过用户U自己的手使发光装置120的姿势变化。由此，脉搏波计测装置140能够应对车辆的驾驶员的脸的位置发生变化的情况。特别是，对于男性和女性而言，驾驶时的脸相对于车辆的位置往往不同。因此，通过使得驾驶员能够自由地变更发光装置120的姿势，脉搏波计测装置140能够计测用户U的更准确的脉搏波。
另外，在本实施方式中，设为在车载导航装置的显示画面的边缘部分设置可见光光源101，但也可以将车载导航装置的显示画面本身设为可见光光源101。通常而言，车载导航装置的显示画面往往被用于确认地图和/或当前地，另外，车载导航装置在车辆的俯视下往往设置在车辆内的中心位置。因此，当用户U正在驾驶时，车载导航装置发出的可见光主要被照射到用户U的脸的侧向部分。
另外，在通过以往那样的车载导航装置的导航时的显示画面的光量无法从用户U的脸颊取得脉搏波的情况下，也可以使车载导航装置的显示画面的光量增加。由此，即使在用户U通过车载导航装置进行地图的确认时，脉搏波计测装置140也会使用来自车载导航装置的可见光来容易地取得更准确的脉搏波。
此外，设为发光装置120设置在车辆的仪表盘的中心附近，但并不限于此。例如，也可以设置在用户U的眼睛的前方。此时，可见光光源101也可以从用户U的正面向整个脸而非脸的左右的某一边照射光。由此，用户U的脸上的能够取得脉搏波的范围扩大，脉搏波计测装置140能够更准确地取得可见光脉搏波以及红外光脉搏波。
例如，在发光装置120设置在仪表盘的中心附近的情况下，主要是用户U的左右脸的与车辆的左右方向的中央近的一边脸(即，离车窗远的一边脸)被照到，但也存在光的照射量不足而无法取得用户U的脉搏波的情况。此时，若发光装置120设置在用户U的眼睛的前方，则也能够将用户U的左右脸的离车辆的左右方向的中央远的一边脸(即，与车窗近的一边脸)设为取得脉搏波的对象区域，因此具有所测定的脉搏波成为更准确的脉搏波的优点。
对可见光光源101出射的光的光量进行说明。可见光光源101在周围处于难以利用可见光从用户U的脸取得脉搏波的亮度时(例如，夜间或者车辆位于隧道内时)启动了车辆的发动机的情况下打开、或者在驾驶中周围变为难以利用可见光从用户U的脸取得脉搏波的亮度时打开。
例如，在可见光光源101在发动机启动时打开的情况下，在该打开之前，可见光光源101出射的光的光量为0。并且，可见光光源101在发动机启动的同时将光量提高到使车辆内的照度例如成为1000勒克司，控制各光源的光量以使得可见光波形运算部105要取得的可见光脉搏波与红外光波形运算部106要取得的红外光脉搏波一致。此外，关于可见光脉搏波与红外光脉搏波的相关度的运算方法以及光源控制的具体方法，通过后述的相关度运算部107和光源控制部108进行说明。
另外，例如，当在驾驶中周围变暗而不再能够取得可见光脉搏波的情况下，周围变暗前的车辆内的照度为50勒克司左右。这是用户U使用车载导航装置的导航功能的情况下的照度的一例。在该状态下，在可见光波形运算部105不再能够取得可见光脉搏波的情况下，从光源控制部108对可见光光源101进行控制，将光量提高到使车辆内的照度例如成为1000勒克司。然后，与发动机启动时同样地，对可见光脉搏波与红外光脉搏波的波形进行比较，控制可见光光源101和红外光光源104以使得能够取得红外光脉搏波。由此，即使在室外光不容易进入车辆内的隧道或者室内停车场中，也能够通过脉搏波计测装置140检测脉搏波。特别是，在车辆较长时间地位于隧道内时(具体而言，在距离较长的隧道中行驶时、或者无关于隧道的长度而因拥堵等在隧道内低速行驶或停止时等)能够提取用户U的心跳信息。
此外，在发动机启动时周围环境变暗时，设为控制可见光光源101以使车辆内的照度成为1000勒克司，但并不限于此。只要是能够从用户U的脸取得脉搏波的照度即可，因此也可以是更小的值(例如500勒克司)。另一方面，当照度过大时，车辆内成为过于明亮的状态，用户U可能会觉得刺眼而引发事故。考虑该情况，因可见光光源101照射的光实现的车辆内的亮度可以被控制在500勒克司～2500勒克司左右的范围内。另外，也可以：在曾经取得过一次脉搏波的用户U的情况下，存储在取得了脉搏波时的可见光波形运算部105和光源控制部108的控制下取得了脉搏波时的照度，设定可见光光源101的光量以使得成为所存储的该照度。由此，具有可削减脉搏波的取得所花费的时间以及削减每次的光量调节的工夫这样的优点。这是利用了如下情况：如果是相同用户U，则脸表面的颜色的特征等每次都相同的可能性高，因此如果用存储过一次的照度照射用户U的脸，则能够取得脉搏波的可能性高。
另外，也可以：可见光光源101记录能够通过可见光波形运算部105取得可见光脉搏波且该取得时的脉搏波的峰-谷(peak-bottom)间的斜率最大时的可见光光源101的光量，每当为了取得脉搏波而使可见光光源101的光量增大时，使该光量成为所记录的值。
此外，对于可见光光源101，设为通过用户U自己调整发光装置120的姿势等，使光碰到用户U的脸，但并不限于此。若在用户U正在驾驶时可见光光源101照射的光朝向用户U的眼睛，则用户U可能会觉得刺眼而引发事故。因此，例如也可以：在用户U预先有机会调整发光装置120的姿势的情况下，设定成用户U的脸颊达到相对强的照度，用户U的眼睛附近达到相对弱的照度。另外，也可以设定成使可见光光源101发出的光束的中心位于比脸颊的中心部分靠下侧的位置。由此，能够不妨碍用户U驾驶地进行照度的调整。
另外，也可以：当在用户U正在驾驶车辆时光量急剧变大的情况下，先前通过可见光拍摄部102进行了面部识别，基于面部识别结果从用户U的脸颊向下巴周边最先照射可见光，然后慢慢地使照射范围向上移动，在照射到用户U的眼睛之前停止。这可以通过使得作为面部识别结果得到的眼睛位置的辉度值的信号的基础不会提高的方式来实现。
(可见光拍摄部102)
可见光拍摄部102在可见光区域拍摄被可见光光源101照射了可见光的照射对象。可见光拍摄部102设置于从包括从用户U出射并由车辆的室内镜M反射的光的光路上的区域在内的区域中将用户U能够通过室内镜M目视的区域排除在外的区域。另外，也可以说成可见光拍摄部102设置于从用户U的脸颊出射并由车辆的室内镜M反射的光的光路上的位置中的、将从用户U的眼睛出射并由室内镜M反射的光的光路上的位置排除在外的位置。可见光拍摄部102相当于可见光受光部。
具体而言，可见光拍摄部102将通过在可见光区域(例如，彩色)拍摄拍摄对象而得到的可见光图像输出给脉搏波计测装置140的可见光波形运算部105。可见光拍摄部102例如将通过对拍摄对象进行拍摄而得到的皮肤图像作为可见光图像进行输出。皮肤图像是在时间上连续的多个时刻对拍摄对象的同一部位进行了拍摄的图像，例如，由动态图像或多张静止图像构成。
可见光拍摄部102既可以通过拍摄图像来取得皮肤图像，也可以通过取得由其他装置等拍摄到的皮肤图像的数据来取得皮肤图像。可见光拍摄部102在拍摄图像的情况下，例如通过具备CCD(Charge Coupled Device，电荷耦合器件)或者CMOS(ComplementaryMetal Oxide Semiconductor Image Sensor，金属氧化物半导体元件图像传感器)等图像传感器的可见光摄像头等来实现。
可见光拍摄部102通过对图像传感器应用滤波器，捕捉可见光即400-800nm的波长段的光，取得RGB(Red，Green，Blue)的3种信号。
另外，可见光拍摄部102配置于在车辆内的大致中心位置设置的脉搏波拍摄装置130。以下，针对车辆的侧视和俯视分别说明可见光拍摄部102的设置位置。
首先，使用图4A～图6对车辆的侧视下的可见光拍摄部102的设置位置进行说明。
图4A是表示车辆的侧视下的用户U能够通过室内镜M看到的区域的说明图。室内镜M通常设置在比作为驾驶员的用户U的头的位置靠上的位置。另外，通常而言，室内镜M的朝向向下，也就是说，室内镜M的反射面的法线矢量相比于水平方向而向下。这是为了让驾驶员通过后玻璃窗观察车辆的后方。
在图4A中，用户U能够通过室内镜M看到的区域是被光路P1与光路P2夹着的区域R1。换言之，用户U能够通过室内镜M对区域R1内进行视觉辨认，也就是说，无法对区域R1外进行视觉辨认。
在此，光路P1是从用户U的眼睛出射并由室内镜M的上端反射的光的光路。光路P1与室内镜M的法线N形成角度θ1的角。另外，光路P2是从用户U的眼睛出射并由室内镜M的下端反射的光的光路。光路P2与室内镜M的法线N形成角度θ2的角。
此外，室内镜M的上端以及下端也可以分别指上端部以及下端部。在此，室内镜M的上端部以及下端部也可以分别意味着室内镜M的反射面中的距上端以及下端数mm左右的范围(参照图4B)。
图5是表示本实施方式的车辆的侧视下的可供能够通过室内镜M拍摄用户U的脸颊的可见光拍摄部102设置的区域的说明图。
在图5中，能够拍摄用户U的脸颊的可见光拍摄部102的位置，是被光路P3和光路P4夹着的区域R2。换言之，设置在区域R2内的可见光拍摄部102能够拍摄用户U的脸颊。
在此，光路P3是从用户U的脸颊出射并由室内镜M的上端部反射的光的光路。光路P3与室内镜M的法线N形成角度θ3的角。另外，光路P4是从用户U的脸颊出射并由室内镜M的下端部反射的光的光路。光路P4与室内镜M的法线N形成角度θ4的角。
图6A是表示本实施方式的车辆的侧视下的、可供能够通过室内镜M拍摄用户U的脸颊、且从用户U看不到的可见光拍摄部102(更详细而言是第1表面即表面102A)设置的区域的说明图。此外，图6A中的光路、角度以及区域与图4A以及图5中示出的相同标号的光路、角度以及区域相同。
在图6A中，能够通过室内镜M拍摄用户U的脸颊且从用户U看不到的区域，是被光路P1和光路P3夹着的区域R3。换言之，区域R3是区域R2中的除区域R1之外的区域。
由此，当在区域R3内设置可见光拍摄部102时，可见光拍摄部102能够通过室内镜M拍摄用户U的脸颊的图像，并且，用户U不会看到可见光拍摄部102。由此，用户U能够不被可见光拍摄部102吸引注意力地进行驾驶，另外，脉搏波计测装置140能够取得驾驶中的用户U的脉搏波。
此外，在图6A中，对将用户的眼睛以及脸颊视为点的情况进行了说明，但在认为用户的眼睛和脸颊分别是具有有限大小的区域的情况下，以下这样的说明成立。
图6B是针对图6A所示的区域认为用户的眼睛和脸颊分别是具有有限大小的区域时的说明图。
在认为用户的眼睛和脸颊分别是具有有限大小的区域的情况下，上述说明中的光路P1设为是从用户U的眼睛的下端出射并由室内镜M的上端反射的光的光路。另外，上述说明中的光路P3设为是从用户U的脸颊的下端出射并由室内镜M的上端部反射的光的光路。通过如此设定的光路P1以及P3，可设定作为优选区域的区域R3。
接着，使用图7～图9C对车辆的俯视下的可见光拍摄部102的设置位置进行说明。此外，在此，对车辆为右方向盘车的情况进行说明。在车辆为左方向盘车的情况下，使下述说明中的左右反转来改换说法。
在图7中，用户U能够通过室内镜M看到的区域，是被光路P5和光路P6夹着的区域R4。区域R4是通过用户U的左眼和右眼的至少一方可见的区域的最大限。换言之，用户U能够通过室内镜M对区域R4内进行视觉辨认，也就是说，无法对区域R4外进行视觉辨认。
在此，光路P5是从用户U的左眼出射并由室内镜M的右端反射的光的光路。光路P5与室内镜M的法线N形成角度θ5的角。另外，光路P6是从用户U的右眼出射并由室内镜M的左端反射的光的光路。光路P6与室内镜M的法线N形成角度θ6的角。
此外，室内镜M的左端以及右端也可以分别指左端部以及右端部。在此，室内镜M的左端部以及右端部也可以分别意味着室内镜M的反射面中的距左端以及右端数mm左右的范围(参照图4B)。
图8是表示本实施方式的车辆的俯视下的、可供能够通过室内镜M拍摄用户U的脸颊的可见光拍摄部102设置的区域的说明图。
在图8中，能够拍摄用户U的脸颊的可见光拍摄部102的位置是被光路P7和光路P8夹着的区域R5。换言之，设置在区域R5内的可见光拍摄部102能够拍摄用户U的脸颊。
在此，光路P7是从用户U的脸颊出射并由室内镜M的右端部反射的光的光路。光路P7与室内镜M的法线N形成角度θ7的角。另外，光路P8是从用户U的脸颊出射并由室内镜M的左端部反射的光的光路。光路P8与室内镜M的法线N形成角度θ8的角。
图9A以及图9B是表示本实施方式的车辆的俯视下的、可供能够通过室内镜M拍摄拍摄用户U的脸颊且从用户U看不到的可见光拍摄部102(更详细而言是第1表面即表面102A)设置的区域的说明图。图9A是示出了车辆整体的图，图9B是室内镜M附近的局部放大部。此外，图9A以及图9B中的光路、角度以及区域与图7以及图8中示出的相同标号的光路、角度以及区域相同。
在图9A以及图9B中，能够通过室内镜M拍摄用户U的脸颊且从用户U看不到的区域，是被光路P5和光路P7夹着的区域R6。换言之，区域R6是区域R5中的除区域R4之外的区域。
由此，当在区域R6内设置可见光拍摄部102时，可见光拍摄部102能够通过室内镜M拍摄用户U的脸颊的图像，并且，用户U不会看到可见光拍摄部102。由此，用户U能够不被可见光拍摄部102吸引注意力地进行驾驶，另外，脉搏波计测装置140能够取得驾驶中的用户U的脉搏波。
如上所述，通过在车辆的侧视下的区域R3(图6A)内或者在车辆的俯视下的区域R6(图9A以及图9B)内设置可见光拍摄部102，用户U能够不会意识到作为可见光拍摄部102的摄像头而进行驾驶，并且，脉搏波计测装置140能够取得驾驶中的用户U的脉搏波。此外，换言之“车辆的侧视下的区域R3或者车辆的俯视下的区域R6”，是作为车辆的侧视下的区域R3和车辆的俯视下的区域R6的和集合的区域。此外，也将该区域称为“优选区域”。
此外，在图9A以及图9B中，对将用户的眼睛以及脸颊视为点的情况进行了说明，但在认为用户的眼睛和脸颊分别是具有有限大小的区域的情况下，以下这样的说明成立。
图9C是针对图9A以及图9B所示的区域认为用户的眼睛和脸颊分别是具有有限大小的区域时的说明图。
在认为用户的眼睛和脸颊分别是具有有限大小的区域的情况下，上述说明中的光路P5设为是从用户U的左眼的左端(左眼的眼角)出射并由室内镜M的右端反射的光的光路。另外，上述说明中的光路P7设为是从用户U的脸颊的左端出射并由室内镜M的右端部反射的光的光路。通过如此设定的光路P5以及P7，可设定作为优选区域的区域R6。
此外，可见光拍摄部102也可以限定车辆的侧视下的位置，设置于在俯视下可见光拍摄部102能够拍摄用户U的眼睛的位置。当在俯视下的区域R6(图9A以及图9B)设置了可见光拍摄部102的情况下，当车辆的顶棚比较低或用户U的坐高比较高时，存在从可见光拍摄部102看而室内镜M会处于用户U的头的背阴处而无法拍摄室内镜M的可能性。此时，可见光拍摄部102的设置位置也可以限定为在侧视下无法拍摄用户U的眼睛且能够拍摄用户U的脸颊的区域，限定为在俯视下不会处于用户U的头的背阴处而能够拍摄用户U的脸颊的区域。由此，即使在驾驶员被坐高高的用户取代的情况下，也能够通过挪动设置位置来从脸颊取得脉搏波。
接着，对可见光拍摄部102的设置方法进行说明。可见光拍摄部102如前述那样需要设置在从用户U通过室内镜M看不到的位置。根据以下所示的方法，基于用户U通过室内镜M看到的区域，可决定应设置可见光拍摄部102的位置。
首先，如图10所示，在用户U通过室内镜M的上端部看到的位置标上记号200。也就是说，记号200被标在从用户U的眼睛出射并由室内镜M的上端部反射的光的光路P1上的位置、例如光路P1与车辆的内部空间的顶棚的交点。此外，记号200既可以通过由记号笔(marker)等着色来实现，也可以通过粘贴贴纸来实现，还可以是螺钉或钩等结合部件或卡合部件。
接着，在记号200安装臂202。臂202的一端固定于记号200，在另一端安装作为可见光拍摄部102的摄像头。臂202例如是具有预定长度(图11A的(a)中的长度L，例如10cm左右)的棒体。此外，上述预定长度相当于第一距离。此外，若记号200是结合部件或者卡合部件，则具有容易将臂202的一端固定于记号200这一优点。
如此，可见光拍摄部102使用臂202设置在比光路P1靠车辆的上方且从光路P1上的位置向车辆的前方前进了第一距离的位置。
进而，在记号200对用户U而言会妨碍视野的情况下，也可以在摄像头的设置后消除(取下)记号200。
该设置方法具有用户U自己一个人就能进行的优点。通过凭用户U自己标上记号200并以记号200为基准将摄像头向前方安装，能够容易地将摄像头设置于优选区域。另外，也可以：在设置后，在用户U确认到能够通过室内镜M看到后续车辆时，脉搏波计测装置140检查是否能够取得脉搏波，通过信息提示部110来提示该结果。由此，用户U能够一边调整室内镜M中的视野，一边了解脉搏波计测装置140是否能够取得脉搏波，根据需要采取用于改善的行动。
进而，在调整完成后，可见光拍摄部102也可以存储调整完成后的位置处的姿势、更具体而言是上下方向的角度和左右方向的角度。例如，可见光拍摄部102也可以具备2个方向的角度传感器。另外，也可以将能够确认到可见光波形运算部105能取得脉搏波且室内镜M的调整完成时的角度由脉搏波计测装置140存储。此时，通过将上述角度与用户U的脸或眼睛、鼻子的图像一起保存，也可以在相同用户后来乘车时自动地设定为该存储的摄像头的角度。由此，用户U每次乘车对室内镜M的角度进行调整的量减少，能够削减用户U的工夫。
进而，在用户U戴着眼镜G的情况下，有可能会在脸颊的区域重叠眼镜G(参照图11A)。因此，与没有戴眼镜G的用户U相比，在戴着眼镜G的用户U的情况下，也可以通过由可见光拍摄部102拍摄脸颊的相对下侧的区域来取得脉搏波。
图11A的(a)示出了用户U没戴眼镜G的情况下的可见光拍摄部102(更详细而言是第1表面即表面102A)的位置，图11A的(b)示出了用户U戴着眼镜G的情况下的可见光拍摄部102的位置。
根据图11A的(a)与(b)的比较可知，在图11A的(b)中，由于用户U戴着眼镜G，可见光拍摄部102要拍摄的脸颊的区域位于下方。因此，用于取得戴着眼镜G的用户U的脉搏波的可见光拍摄部102，需要相比于没有戴眼镜G的用户U的情况而设置在前方。
因此，脉搏波计测装置140在用户U戴着眼镜G的情况下，也可以使臂202的长度成为比上述预定长度长的长度(图11A的(b)中的长度L’，例如20cm)来设置可见光拍摄部102的摄像头。另外，也可以采用通过伸缩等的机构使臂202的长度可变的结构。此外，比上述预定长度长的长度相当于第二距离。此外，对于用户U是否戴着眼镜G，例如能够通过对可见光拍摄部102拍摄的用户U的脸图像进行图像处理来判断。
更具体而言，脉搏波计测装置140也可以具备：判定部(未图示)，其通过图像处理来判定用户U是否戴着眼镜G；和可动部(未图示)，其在判定部判定为用户U戴着眼镜G的情况下，在车辆的侧视下，使可见光拍摄部位于比光路P3靠车辆的上方且从光路P3上的位置向车辆的前方前进了比第一距离大的第二距离的位置。
由此，即使是戴着眼镜G的用户U，也能够不会注意到摄像头地进行驾驶，另外，脉搏波计测装置140能够取得驾驶中的用户U的脉搏波信息。
此外，对于车辆，存在各种类型的车辆。按车辆的类型，车辆的形状以及用户的眼睛及脸颊的位置不同，因此可见光拍摄部102的设置位置不同。因此，对按车辆类型的可见光拍摄部102的设置位置，举例来说明。
图11B是表示本实施方式的按车辆类型的可见光拍摄部102的设置位置的例子的说明图。在图11B中，(a)示出了小轿车类型的车辆中的区域R3，(b)示出了棚车类型的车辆中的区域R3，(c)示出了跑车类型的车辆中的区域R3。
对于图11B的(a)所示的小轿车类型的车辆，与在此之前说明的一样。
在图11B的(b)所示的棚车类型的车辆的情况下，与小轿车类型的车辆相比，车辆内的顶棚高，另外，室内镜的位置高。并且，可供可见光拍摄部102设置的优选区域即区域R3比小轿车类型的车辆窄。
在图11B的(c)所示的跑车类型的车辆的情况下，与小轿车类型的车辆相比，车辆内的顶棚低，另外，室内镜的角度向下。并且，可供可见光拍摄部102设置的优选区域即区域R3比小轿车类型的车辆宽。
如此，作为优选区域的区域3，按车辆类型而不同。可见光拍摄部102能够按车辆类型而设置在不同的位置并拍摄用户。
(红外光拍摄部103)
红外光拍摄部103在红外光区域拍摄被红外光光源104照射了红外光的照射对象。红外光拍摄部103设置于从包括从用户U出射并由室内镜M反射的光的光路上的区域在内的区域中将用户U能够通过室内镜M目视的区域排除在外的区域。另外，红外光拍摄部103也可以说成设置于从用户U的脸颊出射并由室内镜M反射的光的光路上的位置中的将从用户U的眼睛出射并由室内镜M反射的光的光路上的位置排除在外的位置。红外光拍摄部103相当于红外光受光部。
具体而言，红外光拍摄部103将通过在红外光区域(例如，单色)将用户U的皮肤作为照射对象进行拍摄而获得的红外光图像输出给脉搏波计测装置140的红外光波形运算部106。红外光拍摄部103拍摄与用可见光拍摄部102拍摄的部位相同的部位。红外光拍摄部103例如将通过拍摄包含人的脸或手的皮肤而获得的皮肤图像作为红外光图像进行输出。这是因为：通过在红外光拍摄部103中也拍摄与可见光拍摄部102所拍摄的部位相同的部位，能够在可见光区域和红外光区域中取得同样的脉搏波，容易对特征量进行比较。
此外，作为相同部位的拍摄方法，设定对可见光拍摄部102和红外光拍摄部104而言相同大小的关心区域(ROI)。并且，针对由可见光拍摄部102和红外光拍摄部104拍摄到的该ROI内的图像，例如也可以通过使用模式识别进行比较来判断是否拍摄了相同部位。另外，也可以：在由可见光拍摄部102获得的可见光图像和由红外光拍摄部103获得的红外光图像的各图像中进行面部识别，取得眼、鼻、口等特征点的坐标和大小，考虑眼、鼻、口等的大小之比，运算从眼、鼻、口等特征点起的坐标(相对位置)，由此确定相同部位。
由红外光拍摄部103获得的皮肤图像，与由可见光拍摄部102获得的皮肤图像同样地，是在时间上连续的多个时刻拍摄包含人的脸或手的皮肤中的同一部位而得到的图像，例如，由动态图像或多张静止图像构成。
可与可见光拍摄部102同样地确定红外光拍摄部103的设置位置。也就是说，红外光拍摄部103设置在车辆的侧视下的区域R3(图6A)内、或者车辆的俯视下的区域R6(图9A以及图9B)内，也就是说，设置在优选区域内。由此，用户U能够不会意识到作为红外光拍摄部103的摄像头而进行驾驶，并且，脉搏波计测装置140能够取得驾驶中的用户U的脉搏波。
此外，也可以在脉搏波拍摄装置130的壳体中并排地配置可见光拍摄部102和红外光拍摄部103。这是因为：红外光拍摄部103尽可能地取得与可见光拍摄部102相同部位的图像的话，可实现更适当的脉搏波的取得。
此外，在有意地将红外光拍摄部103和可见光拍摄部102并排配置时，红外光拍摄部103或者可见光拍摄部102有时可能会从优选区域脱离。该情况下，也可以使红外光拍摄部103和可见光拍摄部102的上下方向的高度整齐，沿左右方向并排设置。例如，在优选区域的上下方向的宽度仅为与一个摄像头的程度相当的量的情况下，也可以将2个摄像头(红外光拍摄部103和可见光拍摄部102)沿左右方向并排配置。由此，能够避免只能设置红外光拍摄部103和可见光拍摄部102的一方的摄像头的情况，能够进行从基于可见光的拍摄向基于红外光的拍摄的切换。
另外，红外光拍摄部103的设置方法与前述的可见光拍摄部102的设置方法相同。
(红外光光源104)
红外光光源104对用户U照射红外光。红外光光源104照射的光的光量，通过光源控制部108来调整。具体而言，红外光光源104发出800nm～2500nm的波长域的光，例如，通过红外LED等来实现。
此外，若持续向人的眼睛照射红外光，则有可能会导致视力下降，因此也可以在用户U的脸中限定ROI来照射。例如，也可以：在向用户U的脸照射光的情况下，虽然特别是在脸颊容易取得脉搏波，但此时利用红外光拍摄部103拍摄到的图像进行面部识别并向眼睛下方的部分照射。另外，也可以在红外光的功率为预定阈值以上且经过了预定时间以上的情况下，抑制光量。
另外，与可见光光源101同样地，也可以：具备驱动部，在光源控制部108中红外光的光量超过预定阈值且在红外光波形运算部106中无法取得脉搏波的特征点的情况下，针对由红外光拍摄部103获得的图像，使用面部识别程序确定用户U的脸，向脸的方向变更光的照射方向。
另外，如前所述，在红外光的情况下，由于会对用户U的视力产生影响，因此也可以根据用户U的面部识别来确定脸颊部位，以使得向用户U的脸颊照射红外光的方式缩小照射区域。
红外光光源104例如也可以配置在比用户U就座的座位(驾驶座)靠近车辆的左右方向的中心线的位置。例如，红外光光源104设置在用户U要利用的车载导航装置的显示画面的边缘部分。如此，具有如下特征：在用户U在驾驶中面向正面(前方)的情况下，能够从用户U的侧方照射光，因此容易取得脉搏波特征。
(可见光波形运算部105)
可见光波形运算部105从可见光拍摄部102取得可见光图像，从所取得的可见光图像中提取作为表示用户U的可见光脉搏波的波形的可见光波形。可见光波形运算部105也可以提取多个第1特征点，该第1特征点是所提取出的可见光波形中的预定特征点。预定特征点例如是用户U的脉搏波的一个周期的波形中的顶点或底点即峰值点。此外，可见光波形运算部105相当于脉搏波算出部。
可见光波形运算部105取得脉搏波的时刻作为可见光波形的特征点，根据相邻的脉搏波的时刻来运算心跳间隔时间。也就是说，可见光波形运算部105针对所提取出的多个第1特征点的各第1特征点，算出该第1特征点和与该第1特征点相邻的其他的第1特征点之间的时间来作为第1心跳间隔时间。
具体而言，可见光波形运算部105基于从与进行了拍摄的时刻分别关联的多个可见光图像中提取的辉度的时间变化，提取可见光波形。也就是说，从可见光拍摄部102取得的多个可见光图像分别与在可见光拍摄部102中拍摄到该可见光图像的时刻(time point)相关联。可见光波形运算部105通过取得可见光波形的预定特征点的间隔，取得用户U的脉搏波的时刻(以下，也称为脉搏波时刻)。并且，可见光波形运算部105针对所取得的多个脉搏波时刻的各脉搏波时刻，算出该脉搏波时刻与后一个脉搏波时刻的间隔来作为心跳间隔时间。
例如，可见光波形运算部105使用所提取出的可见光波形，确定辉度的变化最大的时刻，将所确定出的时刻确定为脉搏波时刻。或者，可见光波形运算部105使用预先保持的脸或手的图案(pattern)，确定多个可见光图像中的脸或手的位置，使用所确定出的位置的辉度的时间变化来确定可见光波形。可见光波形运算部105使用所确定出的可见光波形，算出脉搏波时刻。在此，脉搏波时刻是辉度的时间波形、即脉搏波的时间波形中的预定特征点的时刻。预定特征点例如是辉度的时间波形中的峰值位置(顶点的时刻)。峰值位置例如可以使用包括使用了爬山法、自相关法以及微分函数的方法的公知的局部搜索法来确定。
一般而言，脉搏波是伴随心脏跳动的末梢血管系内的血压或体积的变化。也就是说，脉搏波是通过心脏收缩导致从心脏送出血液并到达脸或手等时的血管的体积的变化。如此，当脸或手等处的血管的体积发生变化时，通过血管的血液的量会发生变化，皮肤的颜色取决于血红蛋白等血液中的成分的量而发生变化。因此，所拍摄到的图像中的脸或手的辉度根据脉搏波而发生变化。也就是说，如果使用从在多个时刻拍摄脸或手而得到的图像中获得的脸或手的辉度的时间变化，则能够取得与血液的移动有关的信息。如此，可见光波形运算部105通过根据按时间序列拍摄到的多个图像运算与血液的移动有关的信息，由此取得脉搏波时刻。
对于可见光区域的脉搏波时刻的取得，也可以使用可见光图像中的拍摄到绿色波长域的辉度的图像。因为在可见光区域拍摄到的图像中，在绿色附近的波长域的辉度上出现较大的因脉搏波引起的变化。在包含多个像素的可见光图像中，与流入较多血液的状态的脸或手相当的像素的绿色波长域的辉度，小于与流入较少血液的状态的脸或手相当的像素的绿色波长域的辉度。
图12的(a)是表示本实施方式的可见光图像的辉度变化、特别是绿色的辉度变化的一例的坐标图。具体而言，图12的(a)示出由可见光拍摄部102拍摄到的可见光图像中的用户U的脸颊区域的绿色成分(G)的辉度变化。在图12的(a)的坐标图中，横轴表示时间，纵轴表示绿色成分(G)的辉度。对于图12的(a)所示的辉度变化，可知因为脉搏波而导致辉度周期性地变化。
在日常环境下、即在可见光区域拍摄皮肤的情况下，由于照明的散射光或各种要因，可见光图像包含噪声。由此，可见光波形运算部105也可以对从可见光拍摄部102取得的可见光图像实施基于滤波器等的信号处理，取得包含较多因脉搏波引起的皮肤的辉度变化的可见光图像。用于信号处理的滤波器的例子是低通滤波器。也就是说，在本实施方式中，可见光波形运算部105使用经过了低通滤波器的绿色成分(G)的辉度变化，进行可见光波形的提取处理。
图13的(a)是表示本实施方式的算出脉搏波时刻的一例的坐标图。在图13的(a)的坐标图中，横轴表示时间，纵轴表示辉度。在图13的(a)的坐标图的时间波形中，时刻t1～t5的各个点是拐点或顶点。该坐标图的时间波形中的各点，包括作为特征点的拐点和峰值点(顶点以及底点)。此外，顶点是在时间波形中向上凸的极大值的点，底点是在时间波形中向下凸的极小值的点。在时间波形所包含的上述的各点中，辉度比前后时刻的点都大的点(顶点)的时刻或辉度比前后时刻的点都小的点(底点)的时刻是脉搏波时刻。
使用图13的(a)所示的坐标图的辉度时间波形，对确定顶点位置的方法、即峰值搜索的方法进行说明。可见光波形运算部105在该辉度的时间波形中，将当前的参照点设为时刻t2的点。可见光波形运算部105对时刻t2的点和前一个时刻t1的点进行比较，并且对时刻t2的点和后一个时刻t3的点进行比较。可见光波形运算部105在参照点的辉度比前一个时刻的点以及后一个时刻的点的各个点的辉度大的情况下，判定为正。也就是说，该情况下，可见光波形运算部105判定为参照点是峰值点(顶点)、且该参照点的时刻是脉搏波时刻。
另一方面，可见光波形运算部105在参照点的辉度比前一个时刻的点以及后一个时刻的点的至少一方的辉度小的情况下，判定为否。也就是说，该情况下，可见光波形运算部105判定为参照点不是峰值点(顶点)、且该参照点的时刻不是脉搏波时刻。
在图13的(a)中，时刻t2的点的辉度比时刻t1的点的辉度大，但时刻t2的点的辉度比时刻t3的点的辉度小，因此可见光波形运算部105将时刻t2的点判定为否。接着，可见光波形运算部105将参照点递增一个，将接下来的时刻t3的点设为参照点。时刻t3的点的辉度比时刻t3的前一个时刻t2的点以及时刻t3的后一个时刻t4的点的各个点的辉度大，因此可见光波形运算部105将时刻t3的点判定为正。可见光波形运算部105将判定为正的点的时刻作为脉搏波时刻输出到相关度运算部107。由此，如图13的(b)所示，白圈标记的时刻被确定为脉搏波时刻。
另外，可见光波形运算部105在脉搏波时刻的确定中，也可以基于一般的心跳数(例如60bpm～180bpm)的知识，考虑心跳间隔时间例如处于333ms～1000ms之间这一情况来确定脉搏波时刻。可见光波形运算部105通过考虑一般的心跳间隔时间，不需要对所有的点进行上述的辉度比较，只要对一部分点进行辉度比较，就能够确定适当的脉搏波时刻。也就是说，使用从最近取得的脉搏波时刻起处于333ms以后且1000ms以前的范围的各点作为参照点来进行上述的辉度比较即可。该情况下，能够不进行使用该范围以前的点作为参照点的辉度比较而确定下一个脉搏波时刻。因此，能够在日常环境时稳健地取得脉搏波时刻。
可见光波形运算部105进一步通过算出所取得的相邻的脉搏波时刻的时间差来算出心跳间隔时间。心跳间隔时间按时间序列发生变动。因此，通过与根据在同一期间所取得的红外光波形确定出的脉搏波的心跳间隔时间进行比较，能够利用于可见光波形与红外光波形的预定特征点的相关度的运算。
图14是表示按时间序列取得的心跳间隔时间的例子的坐标图。在图14的坐标图中，横轴表示与按时间序列取得的心跳间隔时间关联的数据编号，纵轴表示心跳间隔时间。如图14所示，可知心跳间隔时间随着时刻发生变动。此外，数据编号表示数据(在此为心跳间隔时间)被存储于存储器的顺序。也就是说，与第n个(n为自然数)记录的心跳间隔时间对应的数据编号成为“n”。
可见光波形运算部105也可以进一步在可见光波形中提取紧接脉搏波时刻之后的拐点的时刻。具体而言，可见光波形运算部105通过算出可见光波形的辉度值的一次微分来取得可见光微分辉度的极小点，将成为该极小点的时刻作为拐点的时刻(以下，称为拐点时刻)来算出。也就是说，可见光波形运算部105也可以提取多个从顶点到底点之间的拐点来作为预定特征点。
另外，可见光波形运算部105在拐点时刻的算出中，也可以基于一般的心跳数的知识，考虑心跳间隔时间例如处于333ms～1000ms之间这一情况来算出拐点时刻。由此，即使可见光波形中包含与心跳完全没有关系的拐点，由于没有确定该拐点，因此能够更准确地算出拐点时刻。
图15是用于说明从脉搏波中提取拐点的方法的坐标图。具体而言，图15的(a)是表示从可见光图像获得的可见光波形的坐标图，图15的(b)是对图15的(a)的一次微分值进行了描绘的坐标图。在图15的(a)中，圈标记表示峰值点中的顶点，X标记表示拐点。在图15的(b)中，圈标记表示与图15的(a)中的顶点对应的点，X标记表示与图15的(a)中的拐点对应的点。在图15的(a)的坐标图中，横轴表示时间，纵轴表示辉度值。另外，在图15的(b)的坐标图中，横轴表示时间，纵轴表示辉度值的微分系数。
在可见光波形的提取中，如前述那样使用特别是拍摄了绿色光的可见光图像。说明该可见光波形的提取的原理。在脸或手等的血管中的血液量随着脉搏波发生了增减的情况下，血中的血红蛋白的量随着血液量而增减。也就是说，随着血管中的血液量的增减，吸收绿色波长域的光的血红蛋白的量发生增减。因此，在可见光拍摄部102中拍摄到的可见光图像中，随着血液量的增减，血管附近的皮肤的颜色会发生变化，可见光的特别是绿色成分的辉度值发生变动。具体而言，由于血红蛋白吸收绿色的光，因此可见光图像中的辉度值减少与被血红蛋白吸收的量相当的量。
进而，可见光波形具有与从底点到顶点的梯度相比从顶点到下一个底点的梯度陡这一特征。因此，在从底点到顶点之间，比较容易受到噪声的影响。另一方面，在从顶点到下一个底点之间，由于梯度陡，因此不容易受到噪声的影响。因此，位于从顶点到底点之间的拐点时刻也还具有不容易受到噪声的影响且比较容易稳定地取得这一特征。根据以上所述，可见光波形运算部105也可以将位于从顶点到底点的拐点间的时间差作为心跳间隔时间来算出。
另外，前述的可见光波形的峰值点是在紧接拐点之前微分系数成为0的部分。具体而言，如图15的(b)所示，可知紧接作为拐点的X标记之前的微分系数成为0的点的时刻，成为表示图15的(a)的顶点的圈标记的时刻。使用该特征，可见光波形运算部105也可以将从可见光波形取得的顶点限定为紧接拐点之前的顶点。
可见光波形运算部105进一步算出可见光波形的从顶点到底点的斜率。也就是说，可见光波形运算部105在可见光波形中算出由心跳间隔时间定义的用户U的脉搏波的一个周期的波形中的从顶点到底点的斜率。斜率最好尽可能大。这是因为：斜率越大，则可见光波形中的顶点的尖度就越大，因滤波器处理等引起的脉搏波时刻的时间偏离就越小。
图16是表示用于说明在可见光波形中运算从顶点到底点之间的斜率的方法的可见光波形的坐标图。在图16的坐标图中，横轴表示时间，纵轴表示辉度值，圈标记表示顶点，三角标记表示底点。在可见光波形运算部105中，用直线连接顶点(圈标记)和位于其之后的底点(三角标记)，算出该直线的斜率。在此算出的斜率根据可见光光源101的光源发出的光的光量、由可见光拍摄部102取得的用户U的皮肤的部位等而不同。因此，为了能够清晰地取得脉搏波，例如为了在心跳间隔时间处于333ms～1000ms之间持续取得脉搏波，可以分别设定可见光光源101的光量、可见光拍摄部102中的与用户U的部位对应的ROI，记录斜率信息，并与红外光的脉搏波的斜率信息进行比较。另外，可见光波形运算部105将从初始状态即可见光光源101开启到通过光源控制部108使可见光光源101的可见光的光量或红外光光源104的红外光的光量发生变化为止的状态下的、可见光波形的从顶点到底点之间的斜率作为第1斜率A记录于存储器。脉搏波计测装置140的特征在于：一边对可见光波形与红外光波形之间的特征点进行比较，一边逐渐使可见光光源101的光量成为0并使红外光光源104的光量增加。如此，由于使可见光的光量逐渐减少，因此可见光波形的从顶点到底点的斜率最大的是初始状态。
(红外光波形运算部106)
红外光波形运算部106从红外光拍摄部103取得红外光图像，从所取得的红外光图像中提取作为表示用户U的脉搏波的波形的红外光波形。红外光波形运算部106也可以提取多个第2特征点，该第2特征点是所提取出的红外光波形中的预定特征点。预定特征点例如是用户U的脉搏波的一个周期的波形中的顶点或底点即峰值点。
红外光波形运算部106与可见光波形运算部105同样地，取得脉搏波的时刻作为红外光波形的特征点，根据相邻的脉搏波的时刻来运算心跳间隔时间。也就是说，红外光波形运算部106针对所提取出的多个第2特征点的各第2特征点，算出该第2特征点和与该第2特征点相邻的其他的第2特征点之间的时间来作为第2心跳间隔时间。具体而言，红外光波形运算部106基于从多个红外光图像中提取的辉度的时间变化，提取红外光波形。也就是说，从红外光拍摄部103取得的多个红外光图像分别与在红外光拍摄部103中拍摄到该红外光图像的时刻(time point)相关联。红外光波形运算部106通过取得红外光波形的预定特征点的间隔来取得用户U的脉搏波时刻。并且，红外光波形运算部106针对所获得的多个脉搏波时刻的各脉搏波时刻，将该脉搏波时刻与后一个脉搏波时刻的间隔算出为心跳间隔时间。
在此，红外光波形运算部106与可见光波形运算部105同样地，例如使用包括使用了爬山法、自相关法以及微分函数的方法在内的公知的局部搜索法，能够确定红外光波形的作为预定特征点的峰值位置。
一般而言，在红外光图像中，与可见光图像同样地，图像中的皮肤区域、例如脸或手的辉度取决于血红蛋白等血液中的成分的量而发生变化。也就是说，如果使用从在多个时刻拍摄脸或手而得到的图像中获得的脸或手的辉度的时间变化，则能够取得与血液的移动有关的信息。如此，红外光波形运算部106通过根据按时间序列拍摄到的多个图像运算与血液的移动有关的信息，由此取得脉搏波时刻。
对于红外光区域的脉搏波时刻的取得，也可以使用红外光图像中的拍摄到800nm以上的波长域的辉度的图像。因为在红外光区域拍摄到的图像中，在800～950nm附近的波长域的辉度上出现较大的因脉搏波引起的变化。
图12的(b)是表示本实施方式的红外光图像的辉度变化的一例的坐标图。具体而言，图12的(b)示出由红外光拍摄部103拍摄到的红外光图像中的用户U的脸颊区域的辉度变化。在图12的(b)的坐标图中，横轴表示时间，纵轴表示辉度。对于图12的(b)所示的辉度变化，可知因为脉搏波导致辉度周期性地变化。
但是，在红外光区域拍摄皮肤的情况下，与在可见光区域拍摄皮肤的情况相比，由血红蛋白吸收的红外光的吸收量少。也就是说，由于体动等各种要因，在红外光区域拍摄到的红外光图像容易包含噪声。由此，也可以对所拍摄到的红外光图像实施基于滤波器等的信号处理，将适当的光量的红外光照射到用户U的皮肤区域，由此取得包含较多因脉搏波引起的皮肤的辉度变化的红外光图像。用于信号处理的滤波器的例子是低通滤波器。也就是说，在本实施方式中，红外光波形运算部106使用经过了低通滤波器的红外光的辉度变化，进行红外光波形的提取处理。此外，关于由红外光光源104进行的红外光的光量的决定方法，在相关度运算部107或光源控制部108中进行记述。
接着，对红外光波形运算部106中的峰值搜索的方法进行说明。红外光波形中的峰值搜索，可以利用与可见光波形中的峰值搜索同样的方法。
红外光波形运算部106在脉搏波时刻的确定中，与可见光波形运算部105同样地，也可以基于一般的心跳数(例如60bpm～180bpm)的知识，考虑心跳间隔时间例如处于333ms～1000ms之间这一情况来确定脉搏波时刻。红外光波形运算部106通过考虑一般的心跳间隔时间，不需要对所有的点进行上述的辉度比较，只要对一部分点进行辉度比较，就能够确定适当的脉搏波时刻。也就是说，使用从最近取得的脉搏波时刻起处于333ms以后且1000ms以前的范围的各点作为参照点来进行上述的辉度比较即可。该情况下，能够不进行使用该范围以前的点作为参照点的辉度比较而确定下一个脉搏波时刻。
红外光波形运算部106与可见光波形运算部105同样地，通过算出所取得的相邻的脉搏波时刻的时间差来算出心跳间隔时间。另外，红外光波形运算部106也可以进一步在红外光波形中提取紧接脉搏波时刻之后的拐点的时刻。具体而言，红外光波形运算部106通过算出红外光波形的辉度值的一次微分来取得红外光微分辉度的极小点，将成为该极小点的时刻作为拐点的时刻(拐点时刻)来算出。也就是说，红外光波形运算部106也可以提取多个从顶点到底点之间的拐点来作为预定特征点。
另外，红外光波形运算部106与可见光波形运算部105同样地，进行关于红外光波形的从顶点到底点的斜率的运算。
如上所述，红外光波形运算部106通过进行与可见光波形运算部105同样的处理，提取多个预定特征点作为第2特征点。但是，红外光波形相比于可见光波形，因从光源发出的红外光的光量而发生较大变化。也就是说，红外光波形相比于可见光波形更容易受到光源的光量的影响。
图17是按红外光光源的光量不同的等级表示由红外光摄像头取得了人的皮肤图像的情况下的红外光波形的坐标图。在图17中，从(a)到(d)依次使红外光光源的光量的等级增加。即，对于光源等级，光源等级1表示光量最少，光源等级每次增加，光量增多，光源等级4表示光量最多。此外，光源等级示出等级每增加一级光源的控制电压增加约0.5V。另外，图17的各坐标图中的圈标记表示脉搏波的峰值位置(顶点)。如图17的(a)所示，若光源的光量少，则噪声会比来自红外光光源的红外光多，难以进行脉搏波时刻的确定。另一方面，如图17的(c)、(d)那样，若光源的光量多，则与脉搏波相应的皮肤的辉度变化会被光源的光量掩埋，脉搏波的形状减小，难以进行脉搏波时刻的确定。
可是，在使用照射可见光并在可见光区域拍摄到的图像来取得脉搏波的情况下，即使以对用户U的眼睛而言不会过强的光量照射可见光，也能够以该照射量充分地取得脉搏波。然而，在使用照射红外光并在红外光区域拍摄到的图像来确定脉搏波的情况下，即使对红外光的光量进行控制，也会如上述那样包含噪声或红外光的光量过多。因此，只是在相当小的光量的范围内，难以进行脉搏波的取得。另外，即使将红外光光源的光量预先决定为预定值，也会因要取得的皮肤的部位和/或用户U的肤质、皮肤的颜色等而发生变化，因此难以预先决定适当的光量。因此，需要通过下面叙述的相关度运算部107，一边缩小可见光的光量一边进行使红外光的光量成为适当的值的控制，以使得可见光波形与红外光波形一致。
(相关度运算部107)
相关度运算部107运算从可见光波形运算部105获得的可见光波形与从红外光波形运算部106获得的红外光波形之间的相关度。并且，相关度运算部107根据所算出的相关度，决定用于调整可见光光源101以及红外光光源104的各光量的指令，将所决定的指令发送给光源控制部108。
相关度运算部107从可见光波形运算部105和红外光波形运算部106分别取得根据可见光波形算出的多个第1心跳间隔时间和根据红外光波形算出的多个第2心跳间隔时间来作为特征量。并且，相关度运算部107运算在时间序列上互相对应的多个第1心跳间隔时间与多个第2心跳间隔时间之间的相关度。
图18是表示将第1心跳间隔时间和第2心跳间隔时间分别按时间序列顺序的数据进行了描绘的坐标图。在图18的坐标图中，横轴表示时间序列上的数据编号，纵轴表示与各数据编号对应的心跳间隔时间。此外，在此，数据编号表示各心跳间隔时间的数据被存储于存储器的顺序。也就是说，在第1心跳间隔时间，与第n个(n为自然数)记录的心跳间隔时间对应的数据编号成为“n”。另外，在第2心跳间隔时间，与第n个(n为自然数)记录的心跳间隔时间对应的数据编号成为“n”。进而，第1心跳间隔时间和第2心跳间隔时间是对同一时刻的脉搏波进行了计测的结果，因此，只要原则上没有计测误差，如果数据编号相同则可以说是对大致相同时刻的脉搏波进行了计测的结果。也就是说，多个第1心跳间隔时间以及多个第2心跳间隔时间包含在时间序列上互相对应的一组第1心跳间隔时间及第2心跳间隔时间。
相关度运算部107使用相关法，进行多个第1心跳间隔时间和多个第2心跳间隔时间的相关度的运算。例如，如果作为相关度的相关系数为第2阈值、例如0.8以上，则相关度运算部107判断为多个第1心跳间隔时间和多个第2心跳间隔时间大致一致，向光源控制部108发送例如“TRUE”的信号来作为表示大致一致的信号。另一方面，如果相关系数是小于第2阈值、例如0.8的值，则相关度运算部107判断为多个第1心跳间隔时间和多个第2心跳间隔时间不一致，向光源控制部108发送例如“FALSE”的信号来作为表示不一致的信号。
另外，相关度运算部107也可以判断第1心跳间隔时间和第2心跳间隔时间的相关度是否适当，进一步判定各心跳间隔时间是否适当，将判定结果发送给光源控制部108。具体而言，相关度运算部107在多个第1心跳间隔时间以及多个第2心跳间隔时间中，判定在时间序列上互相对应的第1心跳间隔时间和第2心跳间隔时间之间的绝对误差是否超过第3阈值(例如200ms)。相关度运算部107例如算出数据编号相同的第1心跳间隔时间和第2心跳间隔时间的绝对误差，判定该绝对误差是否超过第3阈值。并且，相关度运算部107例如在判定为该绝对误差超过第3阈值的情况下，判定为可见光波形和红外光波形中的某一方的峰值点的个数过剩。并且，相关度运算部将峰值点的个数过剩一方的波形(可见光波形或红外光波形)发送给光源控制部108。此外，绝对误差的运算通过下述的式1来进行。
e＝RRIRGB-RRIIR (式1)
在式1中，e表示对应的第1心跳间隔时间和第2心跳间隔时间的绝对误差，RRIRGB表示第1心跳间隔时间，RRIIR表示第2心跳间隔时间。
另外，相关度运算部107，如果e小于(-1)×第3阈值(例如，-200ms)，则判定为可见光中的峰值点的个数过剩，如果e大于第3阈值(例如，200ms)，则判断为红外光中的峰值点的个数过剩。并且，相关度运算部107将表示峰值点的个数过剩一方的波形是可见光波形还是红外光波形的信息作为判定结果发送给光源控制部108。如此，根据2个波形的对应的心跳间隔时间的偏离，能够确定在哪个波形中过剩地取得了峰值点或者峰值点的取得失败。
相关度运算部107例如在判定为对应的第1心跳间隔时间和第2心跳间隔时间的绝对误差超过第3阈值、且在可见光波形中过剩地取得了峰值点的情况下，向光源控制部108发送表示该判定结果的“False，RGB”的信号。此外，相关度运算部107在判定为绝对误差超过第3阈值、且在红外光波形中过剩地取得了峰值点的情况下，向光源控制部108发送表示该判定结果的“False，IR”的信号。
图19是用于对判定心跳间隔时间是否适当的具体例进行说明的图。图19的(a)是表示所取得的多个心跳间隔时间不适当的情况的坐标图。图19的(b)是与图19的(a)对应的表示可见光波形或红外光波形的一例的坐标图。在图19的(a)的坐标图中，横轴表示时间序列上的数据编号，纵轴表示与各数据编号对应的心跳间隔时间。在图19的(b)的坐标图中，横轴表示时间，纵轴表示图像中的辉度。
在图19的(a)中，由虚线包围的部分是2个点的心跳间隔时间不适当的部分。心跳间隔时间虽然通常晃动地变动，但急剧变动的情况几乎没有。例如，在如图19的(a)所示由虚线包围的部分以外的区域，平均值约为950ms，其方差约为50ms。但是，对于由虚线包围的2个点的心跳间隔时间，值急剧变化为约600～700ms。这是由于取得了图19的(b)中划了虚线的部分作为峰值点而引起的。即，由于在可见光波形运算部105或红外光波形运算部106中过剩地取得了峰值点而引起。
在可见光波形运算部105或红外光波形运算部106的某一方中得到了图19所示那样的结果的情况下，当对多个第1心跳间隔时间和多个第2心跳间隔时间的数据数进行比较时，数据数会不一致。
图20中示出该情形。图20是用于说明在可见光波形中作出了峰值点的过剩取得、且在对应的红外光波形中未作出峰值点的过剩取得的情况下的例子的图。
多个第1或第2心跳间隔时间的数据例如以(数据No，心跳间隔时间)这一形式进行存储。表示在可见光波形中取得的多个第1心跳间隔时间的数据例如成为(x，t20-t11)、(x+1，t12-t20)、(x+2，t13-t12)。另外，表示在红外光波形中取得的多个第2心跳间隔时间的数据例如成为(x，t12-t11)、(x+1，t13-t12)。由此，当对在可见光波形和红外光波形中分别取得的数据进行比较时，尽管是在同一时间区间t11～t13之间取得的数据，但数据数发生了偏离。由此，之后的第1心跳间隔时间和第2心跳间隔时间之间的数据的对应关系全部偏离，心跳间隔时间的时间变动的相关度会发生偏离。
因此，相关度运算部107在由可见光波形运算部105和红外光波形运算部106得到的第1或第2心跳间隔时间的各数据编号的心跳间隔时间的绝对误差为第3阈值、例如200ms以上时，将峰值点的个数较多一方的脉搏波峰值删除一个。并且，相关度运算部107进行将从与进行了删除的峰值对应的数据编号起以后的数据编号逐个减一的处理。
也就是说，相关度运算部107在如上述那样判定为过剩地取得了峰值点(即，预定特征点)的情况下，也可以将预定特征点较多一方的波形(可见光波形或红外光波形)中的成为了心跳间隔时间的运算基准的预定特征点从该心跳间隔时间的运算对象中排除。也就是说，如果e小于(-1)×第3阈值，则相关度运算部107将成为了用于算出该e的RRIRGB的运算基准的峰值点从第1心跳间隔时间的运算对象中排除。如果e大于第3阈值，则相关度运算部107将成为了用于算出该e的RRIIR的运算基准的峰值点从第2心跳间隔时间的运算对象中排除。
另外，峰值点的过剩取得是由于在所取得的波形(可见光波形或红外光波形)中噪声多而引起的。因此，掌握发生了过剩取得一方的波形是可见光波形还是红外光波形，例如如上述那样生成“FALSE，RGB”这样的信号，将所生成的信号发送给光源控制部108。也就是说，光源控制部108如果接收到“FALSE，RGB”的信号，则能够掌握可见光波形与红外光波形之间的心跳间隔时间不一致以及不一致的原因是可见光波形。如此，能够掌握可见光波形和红外光波形的峰值点的取得中的数据偏离，能够将表示所掌握的结果的信息发送给光源控制部108，因此能够更准确地取得可见光波形以及红外光波形中的用户U的脉搏波。
此外，在相关度运算部107中，在第1心跳间隔时间与第2心跳间隔时间的相关度的判定中，将第2阈值作为0.8进行了判定，但并不限于此。具体而言，也可以根据用户想要计测的生物体信息的准确性来改变第2阈值。例如，在想要通过严格地进行用户U睡眠时的红外光下的脉搏波提取来更准确地取得睡眠中的生物体信息例如心跳和/或血压等信息的情况下，也可以使成为判定基准的第2阈值加大，例如成为0.9等值。
另外，在调整了成为基准的相关系数的第2阈值的情况下，也可以根据调整后的第2阈值，在信息提示部110中显示取得数据的可靠度。例如，在可见光波形与红外光波形之间的特征量不怎么一致、在睡眠时等无法减少来自可见光的光源的光量的情况下，也可以将成为基准的相关系数的第2阈值变更为例如0.6等小于0.8的值。此时，因为与相关度有关的准确性小，所以也可以在信息提示部110显示可靠度变小这一情况。
相关度运算部107在从可见光波形以及红外光波形中按时间序列取得的第1以及第2心跳间隔时间的相关系数小于第2阈值的情况下，或者在可见光波形运算部105以及红外光波形运算部106中过剩取得了第1预定期间的峰值点的情况下，也可以使用可见光波形以及红外光波形各自的拐点来判定可见光波形与红外光波形的相关度。具体而言，如前所述，在可见光波形以及红外光波形中的第1以及第2心跳间隔时间的相关系数小于第2阈值例如0.8的情况下，或者在由可见光波形运算部105以及红外光波形运算部106取得的峰值点的个数在第1预定区间(例如，5秒间)并不一致、至少一方的波形中的峰值点的个数超过了第1阈值(例如，10个)的情况下，也可以使用可见光波形和红外光波形这两方的波形中的拐点，在各波形中判定拐点间的时间间隔信息的相关度。
也就是说，相关度运算部107判定可见光波形或红外光波形中的峰值点的个数在第1预定期间是否超过第1阈值。相关度运算部107在判定为该峰值点的个数在第1预定期间超过第1阈值的情况下，也可以进行下面的处理。也就是说，相关度运算部107使可见光波形运算部105提取可见光波形中的从顶点到底点之间的多个拐点来作为第1特征点。另外，相关度运算部107使红外光波形运算部106提取红外光波形中的从顶点到底点之间的多个拐点来作为第2特征点。另外，相关度运算部107使可见光波形运算部105针对所提取出的多个第1特征点的各第1特征点，算出该第1特征点和与该第1特征点相邻的其他的第1特征点之间的时间来作为第1心跳间隔时间。另外，相关度运算部107使红外光波形运算部106针对所提取出的多个第2特征点的各第2特征点，算出该第2特征点和与该第2特征点相邻的其他的第2特征点之间的时间来作为第2心跳间隔时间。并且，相关度运算部107将在时间序列上互相对应的多个第1心跳间隔时间与多个第2心跳间隔时间之间的相关度运算为相关度。
图21是用于说明使用拐点算出相关度的情况的图。图21的(a)是表示在可见光波形中取得的峰值点(顶点)的坐标图，图21的(b)是表示在红外光波形中取得的峰值点(顶点)的坐标图。在图21的(a)以及(b)中，都是横轴表示时间，纵轴表示辉度，黑点表示所取得的顶点，白圈表示所取得的拐点。
在图21的(a)中，可知：在可见光波形中过剩地取得了峰值点，在第1预定期间(5秒间)，峰值点存在第1阈值以上或超过第1阈值的10个或11个。另一方面，在图21的(b)中，在红外光波形中以一定的心跳间隔时间取得了峰值点，方差为100ms以下。此时，表示可见光波形以及红外光波形中的第1以及第2心跳间隔时间的时间序列的数据编号会发生偏离。
因此，相关度运算部107也可以利用由可见光波形运算部105和红外光波形运算部106取得的位于各脉搏波的顶点-底点间的拐点，运算可见光波形与红外光波形之间的相关度。相关度运算部107例如使可见光波形运算部105以及红外光波形运算部106算出使用拐点算出的第1心跳间隔时间和第2心跳间隔时间，运算该第1和第2心跳间隔时间之间的相关度。作为具体的运算方法，通过可见光波形和红外光波形的拐点间的心跳间隔时间的相关以及/或者绝对误差来进行评价。
此外，在相关度运算部107中，设为在可见光波形或红外光波形中的心跳间隔时间的相关系数小于第2阈值的情况下，或者对于可见光波形或红外光波形中的峰值点的个数而在第1预定期间至少一方的波形中的峰值点的个数多于第1阈值的情况下，使用拐点间的心跳间隔时间来运算可见光波形与红外光波形之间的相关度，但并不限于此。例如，相关度运算部107也可以不使用峰值点而从最初就使用拐点间的心跳间隔时间来运算可见光波形与红外光波形之间的相关度。由此，即使在未能高精度地从可见光波形或红外光波形中取得峰值点的情况下，也能够通过算出拐点间的心跳间隔时间来算出与心跳间隔时间类似的时间。但是，拐点间的心跳间隔时间相比于能够从峰值点取得的心跳间隔时间，具有虽然不容易附着噪声但拐点在顶点-底点间容易发生变动这一特征。即，具有如下趋势：顶点-顶点的心跳间隔时间稳定，例如方差容易达到100ms以内，与拐点-拐点间的心跳间隔时间相比，时间误差小。因此，在本公开中，只要没有特别预告，优先使用根据峰值点运算的心跳间隔时间。
另外，相关度运算部107在上述之外，也可以在满足了下述条件的情况下，取代根据峰值点运算的心跳间隔时间而将拐点间的心跳间隔时间用于相关度的运算。该条件例如是：多个心跳间隔时间以及多个心跳间隔时间中的、与可见光波形和红外光波形中的峰值点的个数较少一方的波形对应的心跳间隔时间的方差为第4阈值(例如，100ms)以下。这存在如下可能性：在通过第1预定期间内的峰值点的个数来判定是否过剩地取得了峰值点的情况下，实际上，虽然峰值点的个数过剩，但却不符合第1预定期间内的峰值点的个数超过第1阈值这一条件，而是看漏掉过剩取得的峰值点。
例如，图22是用于说明虽然峰值点的个数过剩但却不符合第1预定期间内的峰值点的个数超过第1阈值这一条件的例子的图。在图22的(a)以及(b)中，都是横轴表示时间，纵轴表示辉度，黑点表示所取得的顶点，白圈表示所取得的拐点。
如图22的(a)所示，在可见光波形中，在5秒间取得的峰值点的个数为8个的情况下，不符合第1预定期间内的峰值点的个数超过第1阈值这一条件，而是取得了与在图22的(b)所示的红外光波形中取得的峰值点的个数不同个数的峰值点。此时，如前所述，当过剩地取得即使一个峰值点时，如果能够示出存在第1心跳间隔时间和第2心跳间隔时间的数据编号逐个偏离一个这一问题、那么可见光波形和红外光波形的某一方的心跳间隔时间大致恒定这一情况，则能够根据该波形的峰值点的个数来进行调整(删除)。峰值点的调整的详细情况，如使用图20说明的那样。
此外，相关度运算部107在可见光波形和红外光波形这两方的波形中第1预定期间的心跳间隔时间的方差超过第4阈值的情况下，判定为无法从两方的波形取得适当的脉搏波时刻，向光源控制部108发送表示无法从两方的波形取得适当的脉搏波时刻这一情况的“False，Both”的信号。
相关度运算部107在开始使用脉搏波计测装置140时、且通过可见光波形运算部105无法在第1预定期间适当地取得峰值点的情况(即，心跳间隔时间的方差小于第4阈值的情况)下，将使可见光波形运算部105运算可见光波形的顶点-底点间的斜率作为第1斜率A而得到的结果存储于存储器。并且，相关度运算部107在每次通过光源控制部108使可见光光源101或红外光光源104的光量变化时，向光源控制部108发送指令，使得红外光波形的顶点-底点间的第2斜率成为第1斜率A。进而，相关度运算部107也可以不将在光源控制部108调整光源光量的调整期间所取得的峰值点用于可见光波形与红外光波形之间的相关度的运算。
图23是用于说明不将在光源的光量的调整期间所取得的峰值点用于可见光波形与红外光波形之间的相关度的运算的例子的图。在图23的坐标图中，横轴表示时间，纵轴表示辉度，示出了在斜线的区域正在调整光源的光量的情形。另外，白圈以及黑点表示所取得的峰值点。
如图23所示，通过调整光源的光量，可见光波形或红外光波形的辉度的增益发生变化，与此相应地，峰值点的尖度也发生变化。若在可见光波形运算部105或红外光波形运算部106中对尖度发生了变化后的峰值点实施滤波，则由于实施滤波之前的原波形的峰值的尖度，导致峰值点的位置在时间轴上发生前后上的变化。如果是算出心跳数作为生物体信息的程度，则该误差不会成为问题，但在根据脉搏波传播时间算出血压等情况下，因该误差导致的影响很大。因此，在本公开的脉搏波计测装置140中，也可以不从通过控制信号控制可见光光源101或红外光光源104的光量的期间所取得的可见光波形或红外光波形中提取预定特征点(即，峰值点)。
此外，相关度运算部107在可见光波形和红外光波形中的心跳间隔时间的相关系数小于第2阈值的情况下，作为某一方或两方的波形的峰值点的个数过剩这一情况，算出心跳间隔时间的误差以及/或者各心跳间隔时间的方差，在满足了预定条件的情况下，使用波形的从顶点到底点之间的拐点间的心跳间隔时间，但并不限于此。相关度运算部107例如在即使第1心跳间隔时间和第2心跳间隔时间的相关系数小于第2阈值但已适当地取得了两波形中的峰值点(例如，两波形的心跳间隔时间的方差都为第4阈值以下)的情况下，向光源控制部108发送“False”的信号。
如此，相关度运算部107向光源控制部108发送与所运算出的相关度和从可见光波形以及红外光波形中提取预定特征点的提取结果相应的信号(例如，“True”、“False”、“False，RGB”、“False，IR”以及“False，Both”的某一方)。
(光源控制部108)
光源控制部108根据从相关度运算部107接收到的信号，控制可见光光源101和红外光光源104出射的可见光和红外光的光量。
另外，光源控制部108例如在接收到“False，IR”的信号的情况下，能够判断为红外光波形运算部106在红外光波形中无法适当地取得预定特征点。也就是说，例如，“False，IR”的信号示出了在红外光波形中噪声多这一情况。因此，不调整可见光光源101的光源的量而使红外光光源104的光源的量增加。
另外，光源控制部108在接收到“False，RGB”的信号的情况下，能够判断为可见光波形运算部105在可见光波形中无法适当地取得预定特征点。另外，光源控制部108在该情况下，无法判断红外光波形运算部106是否在红外光波形中已适当地取得了预定特征点。因此，例如，如果在红外光波形中的第1预定期间的心跳间隔时间的方差为第4阈值以下，则光源控制部108使可见光光源101的光源的光量减少，使红外光光源104的光源的光量增加，直到红外光波形的从顶点到底点之间的斜率成为A为止。另外，如果红外光波形中的上述方差超过第4阈值，则光源控制部108判定为都无法取得信号，将信号变更为“False，Both”。
另外，光源控制部108在接收到“FALSE，Both”的信号的情况下，能够判断为无论在可见光波形中还是在红外光波形中都无法取得预定特征点。光源控制部108在该情况下，使可见光光源101的光量增加，直到可见光波形的从顶点到底点的斜率成为第1斜率A为止。此外，如果存储器中存储有可见光波形的初始的光量，则光源控制部108也可以使可见光光源101的光量增加到该初始的光量为止。另外，光源控制部108使红外光光源104的光量减少至0。也就是说，光源控制部108在可见光波形和红外光波形这两方中都无法取得预定特征点的情况下，将能够最切实地进行取得的状态的可见光光源101的光量以及红外光光源104的光量设为初始状态，再次进行光量的调整。
也就是说，光源控制部108在多个第1心跳间隔时间的方差超过第4阈值、且多个第2心跳间隔时间的方差超过第4阈值、且在时间序列上互相对应的第1心跳间隔时间与第2心跳间隔时间之差小于第5阈值((-1)×第3阈值)的情况下，使可见光光源101的可见光的光量减少，并且使红外光光源104的红外光的光量增加，在红外光的光量的增加中，使红外光的光量增加，直到红外光波形的第2斜率成为存储器所存储的第1斜率A为止。
另外，光源控制部108在多个第1心跳间隔时间的方差超过第4阈值、且多个第2心跳间隔时间的方差超过第4阈值、且在时间序列上互相对应的第1心跳间隔时间与第2心跳间隔时间之差大于第6阈值(即第3阈值)的情况下，使红外光光源104的红外光的光量增加，在红外光的光量的增加中，使红外光的光量增加，直到红外光波形的第2斜率成为存储器所存储的第1斜率A为止。
另外，光源控制部108在多个第1心跳间隔时间的方差超过第4阈值、且多个第2心跳间隔时间的方差超过第4阈值、且在时间序列上互相对应的第1心跳间隔时间与第2心跳间隔时间之差为从第5阈值到第6阈值之间的值的情况下，使可见光光源101的可见光的光量增加，并且使红外光光源104的红外光的光量减少。
此外，光源控制部108设为在除了“False，Both”等在可见光波形和红外光波形这两方中都无法取得预定特征点的情况以外的情况下，使红外光光源104的光量增加，直到红外光波形的第2斜率成为第1斜率A为止，但并不限于此。对于光源控制部108，例如在ROI中的平均辉度值超过第7阈值例如240的情况下，光源的光量会过强，导致从用户U的皮肤拍摄的图像被噪声信息掩埋。因此，光源控制部108在该情况下，认为红外光波形的第2斜率超过了第1斜率A，因此也可以使红外光的光量减少，直到第2斜率成为第1斜率A为止。
图24是表示使用脉搏波计测装置140使可见光光源101的光量减少到0，并且使红外光光源104的光量增加到适当光量的最简单的步骤的例子的图。在图24的(a)～(d)的所有的坐标图中，横轴表示时间，纵轴表示辉度。另外，在图24中，将可见光波形标记为RGB，将红外光波形标记为IR。
图24的(a)是表示在用户U通过脉搏波计测装置140将可见光光源101开启的初始状态下所取得的可见光波形以及红外光波形的图。图24的(a)的可见光波形是图24的(a)～(d)的可见光波形中的从顶点到底点的斜率最大的波形。因此，将此时的可见光波形的从顶点到底点的斜率作为第1斜率A存储于存储器。
另外，此时，红外光光源104关闭。因此，几乎没有取得红外光波形。在该状态下，相关度运算部107向光源控制部108发送例如“False，IR”这一信号。因此，光源控制部108使红外光光源104的光量增加。此时，随着使红外光光源104的光量增加，在红外光波形运算部106中，变得能够取得红外光波形的预定特征点，能够取得第2心跳间隔时间。另外，所取得的第2心跳间隔时间的方差会收敛在第4阈值以内。并且，如图24的(b)所示，一边维持将第2心跳间隔时间的方差收敛在第4阈值以内的状态，一边使红外光光源104的光量增加，直到红外光波形的顶点-底点间的第2斜率成为第1斜率A为止。在第2斜率成为了第1斜率A的情况下，相关度运算部107向光源控制部108发送例如“TRUE，AMP＝A”的信号。因此，光源控制部108在接收到“TRUE，AMP＝A”的信号的时间点，暂时中止光源的调整。
接着，从图24的(b)的状态开始，光源控制部108使可见光光源101的可见光源的光量减少。图24的(c)是在红外光波形运算部106中心跳间隔时间的方差为第4阈值以下、可见光光源101的光源成为关闭的状态。另外，图24的(d)是进一步可见光光源101的光源成为关闭、且红外光波形的第2斜率成为第1斜率A的状态、即最终指向的状态。
在从图24的(b)的状态变为图24的(c)的状态的过程中，使可见光的光量每隔一定间隔例如减少1W。并且，每当使可见光的光量减少时，红外光波形运算部106以及相关度运算部107确认在红外光波形中是否适当地取得了预定特征点。另外，红外光波形运算部106以及相关度运算部107如果确认到在红外光波形中适当地取得了预定特征点，则如图24的(d)所示，使红外光光源104的光源的光量增加，直到红外光波形的第2斜率成为第1斜率A为止。
因此，在从图24的(b)的状态变为图24的(c)的状态的过程中，相关度运算部107向光源控制部108发送“True”的信号或“False，IR”的信号，光源控制部108每接收到“False，IR”的信号时调整红外光光源104的光量，直到成为“True”为止。并且，光源控制部108在通过使可见光光源101的光量减少而从相关度运算部107接收到“False，RGB”时，结束该过程。
或者，在从图24的(c)的状态变为图24的(d)的状态的过程中，相关度运算部107向光源控制部108发送“False，RGB”的信号，光源控制部108使红外光光源104的光源的光量持续增加，直到红外光波形的第2斜率成为第1斜率A为止，例如，如果从相关度运算部107接收到表示无法取得可见光波形、且第2斜率成为了第1斜率A的“False，RGB，AMP＝A”的信号，则结束光源控制部108对光源光量的控制。
另外，光源控制部108具有如下特征：在可见光波形运算部105或红外光波形运算部106中，对于可见光波形和红外光波形的各波形，在从该波形取得了连续的2个以上的预定特征点之后，进行光源的控制。也就是说，光源控制部108使控制可见光光源101的可见光的光量的控制信号或控制红外光光源104中的红外光的光量的控制信号的输出待机，直到在可见光波形和红外光波形的各波形中在第2预定期间内从该波形中提取到连续的2个以上的预定特征点为止。
图25是用于说明对于可见光波形和红外光波形的各波形，使光源控制待机，直到在第2预定期间内从该波形提取到连续的2个以上的预定特征点为止的图。图25的坐标图表示可见光波形或红外光波形。在图21的坐标图中，横轴表示时间，纵轴表示辉度。
当光源控制部108使可见光光源101或红外光光源104的光量变化时，可见光波形或红外光波形的辉度的增益发生变化。并且，当辉度的增益变化时，脉搏波时刻的位置发生偏离，因此在心跳间隔时间等的时刻的算出中会产生很大误差。另外，在本公开中，作为可见光波形与红外光波形的相关度的判定材料，主要使用了心跳间隔时间，为了算出心跳间隔时间而需要2个连续的峰值点。因此，如图25所示，光源控制部108在可见光波形或红外光波形中确认到了连续地提取了2个以上峰值点之后，对光源量进行调整。
(生物体信息算出部109)
生物体信息算出部109使用由可见光波形运算部105取得的可见光波形和由红外光波形运算部106取得的红外光波形的各波形的特征量的某一方，算出用户U的生物体信息。具体而言，生物体信息算出部109在可见光光源101为开启且在可见光波形运算部105中能够取得可见光波形的情况下，从可见光波形运算部105取得第1心跳间隔时间。并且，生物体信息算出部109使用第1心跳间隔时间，算出例如心跳数、压力指数等生物体信息。
另一方面，生物体信息算出部109在可见光光源101为关闭或在可见光波形运算部105中无法取得可见光波形、且在红外光波形运算部106中能够取得红外光波形的情况下，从红外光波形运算部106取得第2心跳间隔时间。并且，生物体信息算出部109使用第2心跳间隔时间，同样地算出例如心跳数、压力指数等生物体信息。
此外，生物体信息算出部109在可见光波形运算部105和红外光波形运算部106这两方中都能够提取各波形(可见光波形以及红外光波形)的特征量(心跳间隔时间)的情况下，使用来自可见光波形运算部105的第1心跳间隔时间，算出生物体信息。这是因为：相比于红外光，可见光具有应对体动等噪声的稳健性，可靠性高。
此外，要算出的生物体信息设为了心跳数和/或压力指数，但并不限于此。例如，也可以根据所获得的脉搏波来算出加速度脉搏波，算出动脉硬化指数。另外，也可以从用户U的不同的2个地方的部位准确地取得脉搏波的时刻，根据其时间差(脉搏波传播时间)推定血压。另外，也可以根据心跳间隔时间的变动算出交感神经、副交感神经的占优性，算出用户U的睡意。
(信息提示部110)
信息提示部110对可见光拍摄部102拍摄到的用户U的脸图像进行提示，提示对用户U的指示以使用户U的脸被可见光拍摄部102拍到。另外，信息提示部110对由生物体信息算出部109得到的生物体信息进行提示。具体而言，信息提示部110将由生物体信息算出部109得到的心跳数、压力指数或者用户U的睡意信息等显示于显示画面。此外，信息提示部110提示上述信息的显示画面既可以是专门设置于脉搏波计测装置140的显示画面，也可以与车载导航装置的显示画面兼用。在与车载导航装置的显示画面兼用的情况下，脉搏波计测装置140具备向车载导航装置发送要显示的信息的发送部(未图示)。此外，在与车载导航装置的显示画面兼用的情况下，如上述那样，具有该显示画面也可以进一步兼有作为可见光光源101的功能的优点。
另外，信息提示部110也可以通过与用户U的移动体终端进行通信来向用户U的移动体终端进行信息提示。另外，也可以是，脉搏波计测装置140具备信息存储部(未图示)，将所获得的生物体信息记录并蓄积于信息存储部，能够供之后用户U自己确认睡眠中和/或睡眠前后的生物体信息。
此外，设为信息提示部110对由生物体信息算出部109得到的生物体信息进行提示，但不限于此。信息提示部110例如也可以一直提示可见光光源101照射的光的光量或者红外光光源104照射的光的光量。另外，信息提示部110也可以将通过相关度运算部107得到的当前时间点的一致度例如作为可靠度以％的显示方式进行提示。具体而言，信息提示部110也可以提示可见光波形与红外光波形之间的相关系数。
图26中示出信息提示部110的显示例。在图26中，信息提示部110显示有用户U的心跳数、压力指数、睡意指数、当前的脉搏波取得可靠度(当前时间点的所取得的脉搏波的可靠度)、可见光光源101与红外光光源104的光量之比、以及用户U的清醒状态。在此，当前的脉搏波取得可靠度表示可见光脉搏波与红外光脉搏波的心跳间隔时间的一致度的相关系数。另外，可见光光源101与红外光光源104的光量之比是当前时间点的可见光光源101的光量与红外光光源104的光量的强度之比。用户U的清醒状态根据上述的各信息来判定，是用户U驾驶时的清醒状态，例如，在心跳数为65以下、压力指数为40以下、睡意指数为40以下的情况下设为“GOOD”。此外，这些显示内容除了进行显示之外，例如也可以用声音等进行通知。另外，在用户U的清醒指数低下等情况下，也可以用警报声进行警告等。这是因为：因为用户U正在驾驶车辆，相比于将信息作为视觉数据来获取，有时用声音等获取信息更适当。
图27表示本实施方式的脉搏波计测装置140的初始设定的处理流程的流程图。
在步骤S101中，用户U为了确保室内镜M中的后方视野而调节室内镜M。该调节是与车辆是否设置有脉搏波计测装置140无关地用户U为了适当地驾驶车辆而进行的行动。
在步骤S102中，判定在可见光拍摄部102或者红外光拍摄部103中是否能够取得用户U的脉搏波。在判定为能够取得用户U的脉搏波的情况下，进入步骤S103，在判定为无法取得的情况下，进入步骤S101(室内镜M的再调整)。
在步骤S103中，脉搏波计测装置140存储可见光拍摄部102的姿势。可见光拍摄部102的姿势具体通过可见光拍摄部102的上下方向的朝向和左右方向的朝向来规定。这是为了在下次相同用户乘车的情况下减少调整量。
图28表示本实施方式的脉搏波计测装置140的处理流程的流程图。
在步骤S201中，可见光光源101通过已有用户U上车、已调整了室内镜M、或者由用户U自己进行的明确的开启操作来打开。
在步骤S202中，可见光拍摄部102拍摄用户U的脸和/或手等的皮肤图像，通过可见光波形运算部105算出可见光脉搏波的峰-谷间的斜率并记录。
在步骤S203中，红外光光源104基于光源控制部108的控制，提高要出射的红外光的光量。
在步骤S204中，相关度运算部107运算由可见光波形运算部105和红外光波形运算部106取得的跳间隔时间等特征量的相关度。
在步骤S205中，根据通过步骤S204得到的相关度和脉搏波峰值取得率，通过光源控制部108来调节可见光光源101要出射的可见光的光量和红外光光源104要出射的红外光的光量。
在步骤S206中，判定可见光光源101的电源是否变为关闭。在判定为可见光光源101的电源变为关闭的情况下(步骤S106：是)，结束处理。另一方面，在判定为可见光光源101的电源未关闭(即开启)的情况下(步骤S106：否)，进入步骤S204。
此外，以上说明的脉搏波计测装置140使用可见光脉搏波和红外光脉搏波适当地计测用户的脉搏波。本公开并非将脉搏波计测装置140的所有的构成要素设为必须，可以通过其一部分的构成要素发挥效果。关于在本公开中发挥效果的最小限的构成，通过以下的变形例进行说明。
(实施方式的变形例)
在本变形例中，示出上述实施方式的脉搏波计测装置的必须的构成要素。
图29是表示本变形例的脉搏波计测装置140A的构成的框图。
如图29所示，脉搏波计测装置140A具备可见光受光部102B和脉搏波算出部109A。在侧视包括可见光受光部102B的车辆的情况下，第1表面(即表面102A)位于第1反射光的第1光路与第2反射光的第2光路之间的第1区域。坐在车辆的座椅上的用户的眼睛出射第1光，用户的脸颊出射第2光。车辆的室内后视镜(即室内镜M)的上端反射第1光而输出第1反射光。上述上端反射第2光而输出第2反射光。脉搏波算出部109A基于可见光受光部102B经由第1表面接受的可见光的波形来算出用户的脉搏波，输出所算出的脉搏波。
此外，可见光受光部102B相当于实施方式的可见光拍摄部102。另外，脉搏波算出部109A相当于实施方式的可见光波形运算部105和生物体信息算出部109。脉搏波计测装置140A通过采用上述的构成，能够通过更简易的结构来拍摄用户并计测脉搏波。
如上所述，对于本实施方式涉及的脉搏波计测装置，可见光受光部能够通过室内镜取得用户的图像，并且，用户不会看到可见光受光部。由此，用户能够不被作为可见光受光部的摄像头吸引注意力地进行驾驶，另外，脉搏波计测装置能够取得驾驶中的用户的脉搏波。在此，室内镜通常通过用户进行调整以便驾驶(具体是确保后方视野等)。由此，用户并不需要为了脉搏波的取得而调整室内镜的姿势。另外，该室内镜是通常搭载在车辆中的室内镜，并没有超出必要的特别性能或功能。如此，脉搏波计测装置能够通过更简易的结构来拍摄用户并计测脉搏波。
另外，红外光受光部与可见光受光部同样地，也能够通过室内镜取得用户的图像，并且，用户不会看到红外光受光部。由此，用户能够不被作为红外光受光部的摄像头吸引注意力地进行驾驶，另外，脉搏波计测装置能够取得驾驶中的用户的脉搏波。
另外，根据车辆的侧视下的可见光受光部的位置，可具体地实现可见光受光部能够通过室内镜取得用户脸颊的图像、且用户不会看到可见光受光部。
另外，根据车辆的侧视下的红外光受光部的位置，可具体地实现红外光受光部能够通过室内镜取得用户脸颊的图像、且用户不会看到红外光受光部。
根据上述技术方案，通过车辆的俯视下的可见光受光部的位置，可具体地实现可见光受光部能够通过室内镜取得用户脸颊的图像、且用户不会看到可见光受光部。
根据上述技术方案，通过车辆的俯视下的红外光受光部的位置，可具体地实现红外光受光部能够通过室内镜取得用户脸颊的图像、且用户不会看到红外光受光部。
另外，脉搏波计测装置能够将用于由红外光受光部用红外光照射用户的照射光(红外光)照射到用户的脸上的适合计测用户脉搏波的区域。适合计测用户脉搏波的区域例如是用户的脸的包含脸颊的区域。另外，因为在车辆的左右方向的中央通常配置有车载导航装置或者空调机的控制器等，所以具有比较容易在这些装置中追加红外光光源或在这些装置的附近配置红外光光源这一优点。汇集有车辆的信号配线以及电力配线也是理由之一。
另外，可具体地实现可见光受光部能够通过室内镜取得用户脸颊的图像、且用户不会看到可见光受光部。特别是，从用户的眼睛出射并由室内镜的上端部反射的光的光路上的位置，是用户自己能够在室内镜中确认并标上记号的位置。由此，具有用户自己能够容易地决定可见光受光部的位置的效果。
另外，即使在用户戴着眼镜的情况下，也能够适当地计测用户的脉搏波。当用户戴着眼镜时，在用于计测脉搏波的图像中，眼镜的框架有可能会与脸颊重叠，是为了防止该重叠。
此外，脉搏波计测装置等所包含的各构成要素也可以是电路。这些电路既可以作为整体构成一个电路，也可以分别是不同的电路。另外，这些电路分别既可以是通用的电路，也可以是专用的电路。也就是说，在上述各实施方式中，各构成要素也可以通过由专用的硬件构成或执行与各构成要素相适合的软件程序来实现。
另外，各构成要素也可以通过CPU或处理器等程序执行部读出硬盘或半导体存储器等记录介质所记录的软件程序并执行来实现。在此，实现上述各实施方式的脉搏波计测方法等的软件是如下这样的程序。
即，该程序使计算机执行如下的脉搏波计测方法，该脉搏波计测方法包括：可见光受光步骤，通过可见光受光部接受可见光，所述可见光受光部设置于从包括从用户出射并由车辆的室内镜反射的光的光路上的区域在内的区域中将所述用户能够用所述室内镜目视的区域排除在外的区域；和脉搏波算出步骤，基于通过所述可见光受光步骤接受的可见光的波形来算出所述用户的脉搏波，输出所算出的脉搏波。
以上，基于实施方式对一个或多个技术方案涉及的脉搏波计测装置等进行了说明，但本公开并不限定于该实施方式。在不脱离本公开的主旨的范围内，在本实施方式中实施本领域技术人员能想到的各种变形而得到的方式、组合不同实施方式中的构成要素而构成的方式，也可以包含在一个或多个技术方案的范围内。
例如，在上述实施方式中，也可以取代特定的构成要素而由另外的构成要素来执行特定的构成要素所执行的处理。另外，也可以变更多个处理的顺序，也可以并行地执行多个处理。
本公开作为在车辆内以非接触的方式取得用户的脉搏波的脉搏波计测装置等而有用。

Claims (10)

1.一种脉搏波计测装置，包括：
具有第1表面的可见光受光部；和
脉搏波算出部，
在侧视包括所述可见光受光部的车辆的情况下，所述第1表面位于第1反射光的第1光路与第2反射光的第2光路之间的第1区域，
坐在所述车辆的座椅上的用户的眼睛出射第1光，所述用户的脸颊出射第2光，
所述车辆的室内后视镜的上端反射所述第1光而输出所述第1反射光，
所述上端反射所述第2光而输出所述第2反射光，
所述脉搏波算出部基于所述可见光受光部经由所述第1表面接受的可见光的波形来算出所述用户的脉搏波，输出所算出的脉搏波。
2.根据权利要求1所述的脉搏波计测装置，
所述脉搏波计测装置还包括红外光受光部，所述红外光受光部具有位于所述第1区域的第2表面，
所述脉搏波算出部还基于所述红外光受光部经由所述第2表面接受的红外光的波形来算出所述脉搏波。
3.根据权利要求1或2所述的脉搏波计测装置，
所述脉搏波计测装置还包括红外光光源，所述红外光光源配置于比所述用户就坐的座位靠近所述车辆的左右方向上的中央的位置。
4.根据权利要求1所述的脉搏波计测装置，
所述第1表面的位置是在所述车辆的侧视下比所述第1光路靠车辆的上方且向所述车辆的前方前进了第一距离的位置。
5.根据权利要求4所述的脉搏波计测装置，
所述脉搏波计测装置还包括：
判定部，其通过图像处理来判定所述用户是否戴着眼镜；和
可动部，其在所述判定部判定为所述用户戴着眼镜的情况下，使所述第1表面位于在车辆的侧视下比所述第1光路靠车辆的上方、且向所述车辆的前方前进了比所述第一距离大的第二距离的位置。
6.一种脉搏波计测装置，包括：
具有第1表面的可见光受光部；和
脉搏波算出部，
(a)在俯视包括所述可见光受光部的右方向盘的车辆的情况下，所述第1表面位于第1反射光的第1光路与第2反射光的第2光路之间的第1区域，坐在距所述车辆的所述右方向盘最近的座椅上的用户的左眼出射第1光，所述用户的左脸颊出射第2光，所述车辆的室内后视镜的右端反射所述第1光而输出所述第1反射光，所述右端反射所述第2光而输出所述第2反射光，所述右端比所述车辆的室内后视镜的左端靠近所述右方向盘，或者，
(b)在俯视包括所述可见光受光部的左方向盘的车辆的情况下，所述第1表面位于第3反射光的第3光路与第4反射光的第4光路之间的第2区域，坐在距所述车辆的所述左方向盘最近的座椅上的所述用户的右眼出射第3光，所述用户的右脸颊出射第4光，所述左端反射所述第3光而输出所述第3反射光，所述左端反射所述第4光而输出所述第4反射光，所述左端比所述右端靠近所述左方向盘，
所述脉搏波算出部基于所述可见光受光部经由所述第1表面接受的可见光的波形来算出所述用户的脉搏波，输出所算出的脉搏波。
7.根据权利要求6所述的脉搏波计测装置，
所述脉搏波计测装置还包括红外光受光部，所述红外光受光部具有位于所述第1区域的第2表面，
所述脉搏波算出部还基于所述红外光受光部经由所述第2表面接受的红外光的波形来算出所述脉搏波。
8.根据权利要求6或7所述的脉搏波计测装置，
所述脉搏波计测装置还包括红外光光源，所述红外光光源配置于比所述用户就坐的座位靠近所述车辆的左右方向上的中央的位置。
9.一种脉搏波计测方法，包括：
(a)具有第1表面的可见光受光部经由所述第1表面接受可见光，
在侧视包括所述可见光受光部的车辆的情况下，所述第1表面位于第1反射光的第1光路与第2反射光的第2光路之间的第1区域，坐在所述车辆的座椅上的用户的眼睛出射第1光，所述用户的脸颊出射第2光，所述车辆的室内后视镜的上端反射所述第1光而输出所述第1反射光，所述上端反射所述第2光而输出所述第2反射光；
(b)脉搏波算出部基于所述接受的可见光的波形来算出所述用户的脉搏波，输出所算出的脉搏波。
10.一种脉搏波计测方法，包括：
(a)具有第1表面的可见光受光部经由所述第1表面接受可见光，
(a-1)在俯视包括所述可见光受光部的右方向盘的车辆的情况下，所述第1表面位于第1反射光的第1光路与第2反射光的第2光路之间的第1区域，坐在距所述车辆的所述右方向盘最近的座椅上的用户的左眼出射第1光，所述用户的左脸颊出射第2光，所述车辆的室内后视镜的右端反射所述第1光而输出所述第1反射光，所述右端反射所述第2光而输出所述第2反射光，所述右端比所述车辆的室内后视镜的左端靠近所述右方向盘，或者，
(a-2)在俯视包括所述可见光受光部的左方向盘的车辆的情况下，所述第1表面位于第3反射光的第3光路与第4反射光的第4光路之间的第2区域，坐在距所述车辆的所述左方向盘最近的座椅上的用户的右眼出射第3光，所述用户的右脸颊出射第4光，所述左端反射所述第3光而输出所述第3反射光，所述左端反射所述第4光而输出所述第4反射光，所述左端比所述右端靠近所述左方向盘；
(b)脉搏波算出部基于经由所述第1表面接受的所述可见光的波形来算出所述用户的脉搏波，输出所算出的脉搏波。
CN201710820357.8A 2016-10-20 2017-09-13 脉搏波计测装置以及脉搏波计测方法 Active CN107960989B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016-205859 2016-10-20
JP2016205859 2016-10-20
JP2017-122794 2017-06-23
JP2017122794A JP6832506B2 (ja) 2016-10-20 2017-06-23 脈波計測装置、及び、脈波計測方法

Publications (2)

Publication Number Publication Date
CN107960989A CN107960989A (zh) 2018-04-27
CN107960989B true CN107960989B (zh) 2022-02-08

Family

ID=61971665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710820357.8A Active CN107960989B (zh) 2016-10-20 2017-09-13 脉搏波计测装置以及脉搏波计测方法

Country Status (2)

Country Link
US (1) US11147464B2 (zh)
CN (1) CN107960989B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112019003225T5 (de) * 2018-06-28 2021-03-11 Murakami Corporation Herzschlagdetektionsvorrichtung, Herzschlagdetektionsverfahren und Programm
JP7230409B2 (ja) * 2018-10-02 2023-03-01 カシオ計算機株式会社 判定装置、判定方法及び判定プログラム
JP7417867B2 (ja) * 2018-12-10 2024-01-19 パナソニックＩｐマネジメント株式会社 光計測装置
US11208039B2 (en) * 2019-07-25 2021-12-28 Adam Benjamin Tannenbaum Vehicular surveillance system
CN112437213A (zh) * 2020-10-28 2021-03-02 青岛小鸟看看科技有限公司 图像采集方法、手柄设备、头戴设备及头戴系统
CN112527102B (zh) * 2020-11-16 2022-11-08 青岛小鸟看看科技有限公司 头戴式一体机系统及其6DoF追踪方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4893915A (en) * 1988-10-18 1990-01-16 Kunito Taguma Back mirror device for vehicle
CN1291320A (zh) * 1998-01-15 2001-04-11 卡鲁斯·马格努斯有限公司 检测困倦及避免汽车司机入睡的方法与装置
CN1856269A (zh) * 2002-04-22 2006-11-01 马尔西奥·马克·阿布雷乌 用于测量生物学参数的装置和方法
CN101583898A (zh) * 2007-11-20 2009-11-18 松下电器产业株式会社 光束扫描式显示装置、显示方法以及汽车
WO2013016007A2 (en) * 2011-07-25 2013-01-31 Valencell, Inc. Apparatus and methods for estimating time-state physiological parameters
CN103796892A (zh) * 2011-07-05 2014-05-14 沙特阿拉伯石油公司 用于监测车辆司机的健康状态和人体工程学状态的系统、计算机介质和计算机实现方法
CN105212890A (zh) * 2006-01-26 2016-01-06 诺基亚公司 眼睛跟踪器设备
WO2016146790A1 (en) * 2015-03-18 2016-09-22 Jaguar Land Rover Limited Situational awareness monitoring method and apparatus
CN105966405A (zh) * 2015-03-13 2016-09-28 哈曼国际工业有限公司 驾驶员分心检测系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400835B1 (en) * 1996-05-15 2002-06-04 Jerome H. Lemelson Taillight mounted vehicle security system employing facial recognition using a reflected image
AU2003214595A1 (en) * 2002-03-07 2003-09-16 Yechezkal Evan Spero Enhanced vision for driving
JP2006248365A (ja) 2005-03-10 2006-09-21 Omron Corp 移動体の後方監視ミラー、運転者撮影装置、運転者監視装置および安全運転支援装置
JP2007249477A (ja) 2006-03-15 2007-09-27 Denso Corp 車載用情報伝達装置
JP2010125882A (ja) 2008-11-25 2010-06-10 Toyota Motor Corp 乗員状態検出装置
US8576081B2 (en) * 2009-02-13 2013-11-05 Toyota Jidosha Kabushiki Kaisha Physiological condition estimation device and vehicle control device
JP5327194B2 (ja) 2010-10-29 2013-10-30 株式会社デンソー 生体状態検出装置
US20140276090A1 (en) * 2011-03-14 2014-09-18 American Vehcular Sciences Llc Driver health and fatigue monitoring system and method using optics
JP6102433B2 (ja) 2013-03-29 2017-03-29 富士通株式会社 脈波検出プログラム、脈波検出方法および脈波検出装置
CN106575454A (zh) * 2014-06-11 2017-04-19 威尔蒂姆Ip公司 基于生物特征信息帮助用户访问车辆的系统和方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4893915A (en) * 1988-10-18 1990-01-16 Kunito Taguma Back mirror device for vehicle
CN1291320A (zh) * 1998-01-15 2001-04-11 卡鲁斯·马格努斯有限公司 检测困倦及避免汽车司机入睡的方法与装置
CN1856269A (zh) * 2002-04-22 2006-11-01 马尔西奥·马克·阿布雷乌 用于测量生物学参数的装置和方法
CN105212890A (zh) * 2006-01-26 2016-01-06 诺基亚公司 眼睛跟踪器设备
CN101583898A (zh) * 2007-11-20 2009-11-18 松下电器产业株式会社 光束扫描式显示装置、显示方法以及汽车
CN103796892A (zh) * 2011-07-05 2014-05-14 沙特阿拉伯石油公司 用于监测车辆司机的健康状态和人体工程学状态的系统、计算机介质和计算机实现方法
WO2013016007A2 (en) * 2011-07-25 2013-01-31 Valencell, Inc. Apparatus and methods for estimating time-state physiological parameters
CN105966405A (zh) * 2015-03-13 2016-09-28 哈曼国际工业有限公司 驾驶员分心检测系统
WO2016146790A1 (en) * 2015-03-18 2016-09-22 Jaguar Land Rover Limited Situational awareness monitoring method and apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
The effect of communicational signals on drivers" subjective appraisal and visual attention during interactive driving scenarios;Ba, Yutao; Zhang, Wei; Reimer, Bryan; 等.;《BEHAVIOUR & INFORMATION TECHNOLOGY 》;20151130;第34卷(第11期);1107-1118 *
神秘的疲劳监测;高振华;《汽车观察 》;20140831;112-113 *

Also Published As

Publication number Publication date
US11147464B2 (en) 2021-10-19
CN107960989A (zh) 2018-04-27
US20180110428A1 (en) 2018-04-26

Similar Documents

Publication Publication Date Title
CN107960989B (zh) 脉搏波计测装置以及脉搏波计测方法
JP4780088B2 (ja) 顔画像撮像装置、顔画像撮像方法、及びそのプログラム
US20150238087A1 (en) Biological information measurement device and input device utilizing same
US8538044B2 (en) Line-of-sight direction determination device and line-of-sight direction determination method
RU2453884C1 (ru) Устройство для формирования изображения водителя и способ формирования изображения водителя
JP4452833B2 (ja) 視線移動検出方法及び視線移動検出装置
JP6346525B2 (ja) 視線検出装置
JP6617662B2 (ja) 視線検出装置、視線検出方法、及びコンピュータプログラム
KR20120057033A (ko) Ｉｐｔｖ 제어를 위한 원거리 시선 추적 장치 및 방법
WO2011105004A1 (ja) 瞳孔検出装置及び瞳孔検出方法
JP6832506B2 (ja) 脈波計測装置、及び、脈波計測方法
US20160063334A1 (en) In-vehicle imaging device
EP3011894B1 (en) Eye gaze detection apparatus and eye gaze detection method
TWI522257B (zh) 車用安全系統及其運作方法
WO2020203915A1 (ja) 脈波検出装置、及び脈波検出プログラム
CN105193402A (zh) 用于求取车辆的驾驶员的心率的方法
JP2018038553A (ja) 車載表示装置、車載表示装置の制御方法、及び、プログラム
JP6717330B2 (ja) 視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、及びコンピュータプログラム
WO2019176492A1 (ja) 算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体
KR20130013711A (ko) 자동 미러 제어 장치 및 그 방법
JP2016028669A (ja) 瞳孔検出装置、および瞳孔検出方法
KR101360412B1 (ko) 머리 움직임 정보를 이용하는 산만/졸음 운전 감시 시스템
JP2022012829A (ja) ドライバモニタ装置及びドライバモニタ方法
JP5145194B2 (ja) 顔検出システム
US20230394702A1 (en) Device, method, and computer program for estimating seat position

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant