CN106687026A - 驾驶员健康以及疲劳监控系统和方法 - Google Patents

驾驶员健康以及疲劳监控系统和方法 Download PDF

Info

Publication number
CN106687026A
CN106687026A CN201580024581.5A CN201580024581A CN106687026A CN 106687026 A CN106687026 A CN 106687026A CN 201580024581 A CN201580024581 A CN 201580024581A CN 106687026 A CN106687026 A CN 106687026A
Authority
CN
China
Prior art keywords
driver
vehicle
face
image
ability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201580024581.5A
Other languages
English (en)
Inventor
戴维·博里德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Automotive Technologies International Inc
Original Assignee
Automotive Technologies International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/275,409 external-priority patent/US20140276090A1/en
Application filed by Automotive Technologies International Inc filed Critical Automotive Technologies International Inc
Publication of CN106687026A publication Critical patent/CN106687026A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0209—Special features of electrodes classified in A61B5/24, A61B5/25, A61B5/283, A61B5/291, A61B5/296, A61B5/053
    • A61B2562/0214—Capacitive electrodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/30—Input circuits therefor
    • A61B5/302—Input circuits therefor for capacitive or ionised electrodes, e.g. metal-oxide-semiconductor field-effect transistors [MOSFET]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Pulmonology (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Hematology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)

Abstract

用于监控车载驾驶员的方法和系统，其中，使用图像获取设备(200)获取驾驶员的图像，使用驾驶员穿戴的安全带(304)上的一个或多个传感器(310)可以获取驾驶员的脑波。处理器(210)分析图像以得出在乘员的脸上至少一个血管、毛细管以及静脉中血流量的测量，然后分析一段时间内的血流量和所获取的脑波以确定驾驶员是否已经失去继续控制车辆的能力。失去继续控制车辆的能力示例为在初始已经清醒或者以其他方式能够控制车辆之后驾驶员变得昏昏欲睡、睡着或者以其他方式不能够控制车辆。

Description

驾驶员健康以及疲劳监控系统和方法
技术领域
本发明通常涉及用于光学以及电容地监控车辆驾驶员的系统和方法以确定至少一个特性、条件、性质和/或驾驶员状态，例如，是否车辆驾驶员或者操作员睡着或者以其他方式不能够操作车辆。
背景技术
存在若干不同的车载状况，这些车载状况合在一起并且称为驾驶员分心或者疏忽问题。这些状况包括的情形为：车辆驾驶员完全清醒但是吃东西、化妆、发短信以及讲电话；驾驶员身体疲劳的情形，可能或者不可能瞌睡；医疗条件的情形，驾驶员经受的医疗条件诸如中风或者心脏病；驾驶员在酒精或者药物影响下的情形；以及驾驶员刚刚瞌睡的情形。本发明的至少一个实施例主要关注检测昏昏欲睡或者瞌睡的驾驶员，但是分心驾驶员的多个其他起因还影响本发明的实施例聚焦的参数，因而还将被解决，并且以其整体包含在本发明的范围内。本发明的至少一个实施例的主要焦点是使用光学方式测量驾驶员的心率以及呼吸率，并且通过分析这些率，预测驾驶员是否失去他/她安全地操作车辆的能力。驾驶员粗心是比驾驶瞌睡和疲劳更大的问题。当可能时，还分析脑波以进一步改善基于心跳的预测。
多个专利以及技术论文解决了用于检测昏昏欲睡驾驶员的系统，但是，尽管潜在地用于这种系统，研究人员已经在很大程度上成功开发了一种可行的方式来识别瞌睡或者粗心。在专利以及非专利文献中已经描述了许多系统，这些系统尝试使用光学方法，诸如摄影机来检测眨眼睛、头部移动、打哈欠等，作为昏昏欲睡驾驶员的迹象。最成功的研究已经导致PERCLOS方法的进展，由此，眼睛闭合的时间百分比用来测量睡意。不幸地是，这些系统中没有一个能够揭露预测成功率，允许及时对驾驶员采取行动，以到达他/她离开车辆及时行驶的道路的位置。研究已经表明，仅ECG以及EEG测量具有在驾驶员不能够操作车辆以使车辆离开道路之前在充足时间内预测驾驶员睡着的能力。当使用光学技术时，本发明的至少一个实施例中提供了光学地测量心率和呼吸率的方法，利用对这些率的适当分析，能够实现高精度预测驾驶员的睡意状态。当增加脑波分析时，进一步改善了该准确度。
常见的可获取的设备，脉搏血氧计，使用光来确定患者的脉搏率以及血中的含氧量。这是这样一种设备，其通常夹紧至手指、耳垂或者身体的其他部分，即物理地互动以及接触患者的身体。脉搏血氧计通常被认为是一种医疗设备，其间接监控患者的血中的氧饱和度(与直接通过血样本测量氧饱和度相反)并且改变皮肤中的血容量，产生血管容积图。下文将公开的是，这还能够以不引起车辆驾驶员注意的方式完成。正如美国专利7,277,741报到的，脉搏血氧测定法的优势是，在活的人体组织中，血红素对波长为500和1100nm光是一种强吸收体。使用在该波长范围被血红素吸收的光，通过组织的动脉血液的脉搏易于测量。动脉脉搏波形的图形作为时间的函数被称为光体积描记仪。体积描记仪波形的振幅变化作为用于测量其的光的波长的函数，被通过动脉的血脉搏的吸收性质确定。通过结合多个不同波长范围(其中，氧基-血红素和无氧基-血红素具有不同的吸收系数，例如，两种这种波长)的体积描记仪测量，能够估计动脉血的氧饱和度。在商用脉搏血氧计中采用的典型波长为660nm和890nm。
但是，对心跳的光学测量不像使用脉搏血氧计获取的那样精确。包含附接多个传感器至人的皮肤上的ECG提供了更好的测量；但是，这对于驾驶员应用是不切实际的。但是，已经发现，使用电容感测设备(诸如公开于美国专利8,694,084的)的中间技术提供了几乎像正常ECG一样精确的心跳测量，但是不需要皮肤附接。可达到的准确度成比例于设备与皮肤的距离，因而，当该距离超过几厘米时，优选光学方法。最终，已经发现，正如美国专利8,391,967报到的，当定位成靠近人的皮肤时，能够通过这种基于传感器的电容获取包含心跳信息以及脑波信息的信号，类似于ECG和EEG两者，提供适当的分析技术，用以分离两个信号。在美国专利7,885,700中，使用两个传感器的技术允许移除“噪声”，结果得到更清晰的心跳信号。“噪声”包含脑波数据。
发明内容
根据本发明的一种用于光学地监控车辆驾驶员的方法包括：使用至少一个图像获取设备获取驾驶员的图像；使用至少一个传感器获取来自驾驶员的脑波；使用处理器分析图像以得出在乘客的脸上至少一个血管、毛细管以及静脉中血流量的测量；以及使用相同处理器或者额外处理器分析一段时间内的血流量和获取脑波以确定驾驶员是否已经失去继续控制车辆的能力。失去继续控制车辆的能力，这出现在例如在初始已经清醒或者以其他方式能够控制车辆之后，驾驶员变得昏昏欲睡、睡着或者以其他方式不能够控制车辆。
作为确定出驾驶员失去继续控制车辆的能力的结果，可以自动采取行动以实现车辆的操作的改变，例如，制动器控制、节流阀控制、转向控制或者这些的组合。额外地或者可替换地，驾驶员的行为可能需要指示重新获取控制车辆的移动的能力。额外地或者可替换地，驾驶员可以被通知他们已经失去继续控制车辆的能力的确定，需要对该通知生成响应，该响应可以被监控，然后基于对驾驶员对通知的响应的监控来控制车载操作。
分析图像可以使得需要确定驾驶员的心跳，在该情形下，分析一段时间内脸的属性以确定驾驶员是否已经失去继续控制车辆的能力使得需要分析驾驶员的心跳的变化性。
分析图像可以额外地或者可替换地使得需要确定血氧、乘员的脸颜色或者运动，在该情形下，分析一段时间内的脸以确定驾驶员是否已经失去继续控制车辆的能力使得需要分析驾驶员的脸颜色或者运动的变化性。
可以选择电磁辐射的频率以确保驾驶员的血的反射。例如，频率可以在500nm至大约600nm之间，或更具体地，大约540nm至大约580nm之间。照明还可以被调制。
可以从驾驶员穿戴的安全带上的至少一个以及可能两个或多个电容传感器获取来自驾驶员的脑波。
根据本发明的用于光学地监控车辆驾驶员的系统包括：至少一个照射设备，其利用电磁辐射来照射驾驶员的一部分；至少一个图像获取设备，其获取被照射的驾驶员的图像；以及处理器，其联接至图像获取设备并且分析图像以得出血流量、氧气、乘员的脸的颜色或者运动，然后分析一段时间内的脸以确定驾驶员是否已经失去继续控制车辆的能力。
本发明的至少一个实施例进一步关注当安全带被穿戴并且定位成靠近驾驶员的胸部时，并行使用安装在安全带上的一对电容传感器以提供更好的心跳信息。由于这不是经常的情形，因此，例如当驾驶员穿戴厚的冬天外套时，使用该技术以提供改进的心跳测量，加上接近EEG以允许更精确的分析，因而能够较早预测驾驶员损害。
附图说明
以下附图是使用此处公开的本发明的至少一个教导开发或修改的系统的示意性实施例，并不意味着限制权利要求包含的本发明的范围。
图1是图示出根据本发明的乘员感测单元和车辆安全系统之间的关系的框图。
图2是示出根据本发明驾驶员健康以及疲劳监控例程的操作的流程图。
图3是示出根据本发明警告以及反馈系统例程的操作的流程图。
图4A是根据本发明的光学监控系统的视图，光学监控系统从成像器监控驾驶员的脸的一部分，成像器安装得靠近挡风玻璃的顶部，可选的安装位置是在后视镜上。
图4B是根据本发明的光学监控系统的另一实施例，光学监控系统从安装在仪表板中的成像器监控驾驶员的脸的一部分，仪表板面向使得其反射挡风玻璃的一部分。
图5图示了安装在定位得靠近驾驶员胸部的安全带上的一对电容传感器。
具体实施方式
虽然下文的许多例子涉及特定车辆、汽车，但是本发明并不限于任何特定车辆，因而本发明适用于所有相关车辆，包括车辆的所有舱，例如，包括汽车、卡车、农场拖拉机、施工机械、火车、飞机以及轮船的乘客火车舱。
在说明书以及权利要求书中使用的“或”以及“和”应该被阅读为连词以及反义连词，它们看起来是必要的以使文章是包含性的而不是排他性的，这些词语也不应该被解释为对文章的范围的限制。
需要不断认识到的是，当驾驶员分心时，需要在这种分心导致的事故之前重新获取他的注意力。
通过监控他或她的心跳和/或呼吸率能够检测醉酒驾驶员。指示醉酒的驾驶员行为能够利用图案识别软件光学地检测，和/或通过相对于地图数据库以及精确车辆定位系统监控驾驶员的驾驶行为或者光学地使用监控道路上的车辆位置的照相机来检测。在这两者情形下，通过计算机或者其他处理单元所施加或者实施的图案识别软件能够被训练以认出非正常行为。这种图案识别软件典型地实施在处理器可获取的非瞬时性计算机可读介质上，处理器联接至提供关于驾驶员或者操作员信息的任何系统。图案识别软件还可以呈存储在非瞬时性介质上的计算机程序的形式，并且可以在销售给消费者之前安装在车辆上。软件和计算机程序可以经由有线链路或者无线链路更新，例如，经由因特网或者另一通信网络。
检测昏昏欲睡或者健康受损的驾驶员是不同的问题，通常需要不同的硬件和软件。当眼睛可以看得见时，监控驾驶员的眼睛是一个途径。但是，通过他的眼睛运动或缺乏眼睛运动难以诊断具有心脏病的驾驶员，不能及时采取治疗行动。而且，带着太阳镜或者甚至普通眼睛或者具有遮蔽的帽子或者口罩的驾驶员会对眼睛跟踪软件程序产生很大困难，于是驾驶员在事件发生时无法看着照相机。
检测昏昏欲睡或者具有心脏病、中风或者其他健康相关事件之一的驾驶员的各种方案公开于美国专利以及转让给本发明的受让者或者其相关公司的公开的申请中，包括：在公告时转让给自动技术国际公司(Automotive Technologies International,Inc.)的5829782、5845000、20070025597、6116639、7887089、7769513、6513833、7660437、7009502、6950022、7788008、7676062、7738678、6793242、7596242以及在公告时转让给自动车辆服务公司(Automotive Vehicular Services,Inc)的20080195261、7629899、7983802和7295925。在这些专利和申请中，公开的方法涉及光学、雷达以及与例如地图相关的驾驶行为。在公开的专利和申请中未全部讨论的以及此处将讨论的一种方法是测量由于心跳、呼吸率、血压和温度导致的驾驶员脸上的一块皮肤或者整个脸的外表的变化。额外方法还使用来自安装在安全带上的电容传感器或者一对这种传感器的数据，以当可能时获取更精确的测量驾驶员的心跳以及测量他的/她的脑波(见图5讨论的)。
通过监控驾驶员心率和/或呼吸率，能够确定出驾驶员是否昏昏欲睡以及处于睡着的风险和/或是否他或者她正在经历将妨碍他或她操作车辆的能力的健康事件。利用精确心跳测量以及脑波测量能够显著改进该确定。
MIT媒体实验室正开发的并且已经考虑用于患者监控的脸部监控方法使用脸部图像以确定脸血管中的血流量，然后能够得出精确脉搏读数。呼吸率和血压读数还能够从脸部图像确定。尽管这些技术处于实验阶段，但是它们并入车辆用于驾驶员健康监控目的还未被其他人考虑，并且对于此处公开的发明来说被认为是独特的。利用该系统，仅存在一台能够利用绿色查看驾驶员的脸的照相机，并且在一些情况下利用IR照明。绿色或者IR照明都未公开于MIT研究中，但是讨论了脸自然反色的绿色频率或者宽谱照明。因而，单个照相机能够确定眼镜跟踪、闭合状态、眨眼率以及脉搏和呼吸测量、以及血压和血氧。
正如以上讨论的，当可能时，通过使用安装在靠近驾驶员胸部的安全带上的一个或者更好的两个电容传感器，能够获取心脏率以及额外脑波测量的更精确测量。
所有驾驶员监控系统都是不精确的，因而经受错误警报，因此，在采取任何行为以控制任何车辆系统之前，理想地，诊断应该通过驾驶员反馈被验证。该反馈能够呈许多形式，诸如在挡风玻璃上或者在驾驶员的视野中采用显示要求驾驶员响应的询问的抬头显示器，诸如口头说，或者通过按压喇叭或者其他开关或者按钮，或者做手势，例如。其他反馈系统包括要求驾驶员进行响应的口头警报或者语言陈述；或者需要驾驶员注意的任何其他视觉或者听觉警报或者消息；以及指示感测的事件是错误警报的后续行为。未接收到适当的响应时，驾驶员监控系统能够多次重复请求，其中，具体数量可以取决于状况的紧急性，或者由状况的紧急性确定(即，更迫切状况可以比不太迫切状况需要更多请求)。在一个例子中，驾驶员监控系统能够询问驾驶员“你好吗？”，如果驾驶员用比如“我很好”响应，那么系统能够重新设定。如果驾驶员不能够对简单的语言请求响应出简单的语言响应，那么请求能够被改变为更复杂的请求，诸如“你好吗，按下喇叭按钮或者举起你的手”。如果驾驶员不能够适当地响应该更复杂的请求，那么车辆系统能够取决于对车辆来说什么是最适当的估计来采取一种或多种行为。
尤其监控对应于人体心跳(大约30Hz至大约200Hz)和呼吸率(大约0.05至大约2Hz)的特定频率范围的变化，将其作为睡意的指示。此外，如果安全带上安装的电容传感器足够靠近驾驶员的胸部，那么通过电容传感器捕获的脑波能够确定德尔塔(达3Hz)、塞他(4Hz至8H z)、阿尔法(8Hz至12Hz)、倍他(12Hz至大约30Hz)以及伽马(约26Hz至300Hz)脑波的存在以及其相对量值。正如美国专利8,391,967描述的，这些波能够提供对驾驶员的注意状态的良好的指示。
乘员总移动或者甚至他或她的极端移动还能够被监控，甚至无需知道所检测的准确运动，该信息能够用以合作、确认和/或核验对呼吸、心跳以及脑波信号的分析。乘客能够陈述驾驶员是否具有心脏病或者睡着。因此，光学或者其他监控系统也能够进行这种陈述。
因而，根据本发明的驾驶员监控系统包括实施在存储介质上的算法，其能够被处理器访问以部分地基于内存单元中可保存且也被处理器所访问的请求历史来选择请求，即请求选择算法。可以采取的行为能够包括：逐步减慢车辆以及闪烁紧急灯、捏喇叭，例如在脉冲报警模式，如果可获取的话使用车道监控照相机或者使用具有精确地图数据库的GPS或者等同物(如果可获取)进行控制转向以维持车辆在其车道上以及避免碰撞，通知远程站点，允许远程站点评估状况并且对车辆进行局部控制等。例如，通过实施在处理器能访问的存储介质上的行为选择算法来确定一个或多个行为，行为选择算法能够计入各种因素，包括状况的严重性。
如果系统命令驾驶员要制动或者放缓车辆运动，并且不存在驾驶员这样做的迹象，那么系统可以使用该信息并且连同其他信息推断出驾驶员丧失能力，并且可推定车辆的局部控制或者总控制或者采取其他行为(此处描述的类型)，并且通知驾驶员：光学监控系统检测到他或者她可能不再能够操作车辆并且要求反馈。给驾驶员的消息能够是任何形式，诸如显示、声音、光或者能够得到驾驶员注意的任何其他系统。如图4B所示，健康监控系统电子控制单元210还能够从光学乘员信息提供传感器接收信息，该传感器可以使用照明并且获得图像以能够确定关于乘员的信息。
在优选实施方式中，记录的或者合成的声音能够使用扬声器-麦克风206向驾驶员说出消息，并且要求他或者她执行一些任务，诸如通过说一个词语或者通过按下喇叭或者按钮或者执行手势(诸如抬起他的/她的手或者指向)而进行响应。电子控制单元210能够包括适当的命令电路系统(硬件/软件)以能够使扬声器-麦克风206生成声音消息，例如，消息记录在扬声器-麦克风206或者电子控制单元210处的存储介质中。
消息和驾驶员行为之间的时间延迟能够是驾驶员的条件的良好迹象。该时间延迟被处理器计算，例如，健康监控系统电子控制单元210设置有时间，在该时间消息经由扬声器-麦克风206或者其他设备被传送至驾驶员，在该时间驾驶员向那里提供了要求的响应。
在一些装置中，当他/她启动车辆时期望测试以及记下驾驶员的反应。如上所述，健康监控系统能够为来自驾驶员的一个响应询问一次或多次以确定驾驶员的警告响应时间以及训练驾驶员关于预期会发生什么，使得他/她在稍后的时间不惊讶。在一些情况下，该初始测试能够确定出驾驶员不适合驾驶车辆并且(经由本领域的技术人员公知的任何车辆操作抑制系统)防止他/她驾驶车辆。如果驾驶员是车辆的所有者，那么他/她应该熟悉该系统的操作，如果他/她与先前时间的响应不同，那么车辆操作能够再次被抑制。
图示于图1的框图图示出乘员感测单元120以及车辆安全系统130之间的一个可行关系。光学以及电容监控系统121连接至诊断和数据记录模块123，诊断和数据记录模块123核验系统121是具有操作性的并且记录任何错误代码。如果识别了一组个人偏好并且关联于车辆的正常驾驶员，那么光学以及电容监控系统121还能够记录特定驾驶员的特定特性。记录错误代码以及识别的驾驶员的特定特性可以以本领域的技术人员公知的方式执行，利用存储在处理器可访问的存储介质中的记录数据。
以这种方式，光学以及电容监控系统121将获知驾驶员1的正常心率和呼吸率以及正常警告脑波图案是什么，一旦通过访问先前输入存储介质的记录数据而识别驾驶员，那么当它们发生时能够更好地识别异常。例如，这种驾驶员可具有心跳暂停的历史，而且必须公知的是，这不应该是健康监控系统关注的内容，除非心跳暂停率增加，这能够归因于潜在医疗问题、酒精或者药物滥用。在驾驶员的脑波中能够检测到类似引起的异常。例如，这种系统还可以用作生物计量测量以连同正常脑波、心率以及呼吸率一起识别驾驶员。
光学以及电容监控系统121还能够向乘客乘员识别以及定位系统122、常规使用光学传感器以及驾驶员健康以及疲劳监控系统124(见图1)提供数据。乘员识别以及定位系统122连接于车辆空气气囊系统131并且控制车辆空气气囊系统131，这种控制是可变的并且包括引起气囊系统131中的一个或多个气囊的膨胀或者展开，气囊系统131将被抑制用于面向后方的儿童座椅，例如。
驾驶员健康以及疲劳监控系统124类似地连接至车辆警告以及核验系统132，其测试驾驶员以观察是否他或者她能够操作车辆，如果不能，则由车辆控制系统133接管对车辆的控制。
图2示出了示例性、非限制流程图，示出驾驶员健康以及疲劳监控例程的操作，用于此处描述的任何实施例。例程大致图示在140，当调用时启动，以在141获得光学图像和脑波数据，获得足够图像以允许确定驾驶员的心率、呼吸率、颜色以及运动，以及获得足够脑波以确定相关频率数据。能够使用颜色以辅助确定心率以及作为驾驶员健康的指示器。一旦获得足够图像和脑波数据，控制进行至这样的模块：在142获得呼吸、在143获得心跳、在144获得运动以及颜色，在160从心波160分离脑波，以及在145建立或者记录正常呼吸、在146建立或记录正常心跳、在147建立或者记录正常运动频率以及颜色，以及在161建立或者记录正常脑波，这些被称为建立的呼吸率、心率、颜色以及典型乘员运动以及脑波。
用于每个这些功能的时间周期将通常显著不同。小于一分钟通常足以建立代表性脑波、颜色以及心率，若干分钟通常足以建立代表性呼吸率，可能需要较长时间来建立特定驾驶员在操作车辆的同时如何典型地移动。正常运动的建立是这四个中最不重要的，这是由于当心跳、脑波、颜色或者呼吸率已经检测到异常时，正常运动的建立将主要变得重要。如果当存在显著心跳事件时驾驶员已经停止他的正常运动，那么这可以确认出驾驶员可能存在问题，而不是光学以及电容监控系统121(可替换地考虑为健康监控系统)发生故障。此后，分别在148、149、150以及162获得呼吸、心跳、运动以及脑波。
步骤151、152、153和163确定出所测量出的心跳、颜色、呼吸、运动以及脑波率中的任何一个是否是正常的，如果没有，即如果一个是异常的，那么在步骤154，将警告以及反馈系统起动或激活。如果在步骤155驾驶员错过由警告以及反馈系统生成的反馈测试，那么在步骤156，起动或激活控制车辆的例程。例如，在步骤156起动的车辆控制例程可以涉及：发送信号至用于尝试与驾驶员通信以及然后实施车辆控制的远程站点或者设备，假设车辆上存在足够装备以允许远程操作员观察驾驶条件、交通等，因而允许远程操作员减速车辆并且引导车辆停到路肩。因为在大多数情形下这是不可能的，所以车辆上必须有足够装置以允许该例程进行闪烁紧急灯、捏喇叭和/或使车辆安全停止。此时，例程能够可选地联系合适的专家，使得一些人能够被派遣至车辆。
当需要时一旦被所实施的软件程序所命令，车辆控制例程156还可以通过车辆上的装备部分地或者整体地执行。控制单元起动车辆控制所需的装备包括但并不限于这样的设备，其联接至转向轮或者转向系统、制动器或者制动系统、油门系统、变速器和/或发动机。这些设备可以通过软件控制以降低车辆速度至停止并且指挥车辆到达安全区域，例如道路的侧面或者路肩。因此车辆控制例程156可以对应于或者包含联接至车载部件的处理器以及控制装备，车载部件实现车辆的操作，例如制动器、转向轮以及油门，以及可能的伺服电动机或者致动器。鉴于此处公开的内容，汽车领域的这些技术人员将易于理解实现车载控制的该结构的操作方式。
虽然流程图中未图示，但是车辆乘员的心跳和脑波的存在以及特性能够是有价值的信息，该信息能够并且应该通过通信单元传递至EMS人员，作为自动碰撞通知消息的一部分，如果该信息是可获取的。因此，EMS人员将获知乘员是否活着以及关于他们健康状态的一些指示。这可以通过使用车辆(未示出)上的通信系统或者通信系统来实现，车辆联接至车辆安全系统130或者其一部分，并且获取以及传递关于车辆乘员的信息。传递可以伴随着车辆的定位，使用车辆上的或者远离车辆的定位确定系统获取，并且可以使用任何公知通信协议(包括使用因特网)来实现。
图3示出了示例性、非限制流程，图示出用于此处描述的任何实施例的示例性、非限制性的警告以及反馈系统例程的操作。在180大致图示了该例程。在例程180的第一步骤，在181，初始化警告设定计数器。第二步骤182是生成以及发送呈某些形式的消息以得到驾驶员的注意。该消息能够为若干形式中的任何形式，例如听觉的、视觉的、触觉的，诸如能够满足要求的警告蜂鸣器或者闪光灯，但是这会混淆不熟悉系统的驾驶员。如果车辆装备有将得到警觉的驾驶员注意的抬头显示器或者其他显示器，那么消息能够显示在一个或多个这种显示器上。优选的消息使得合成的或者记录的声音向驾驶员发布消息。上述警告的组合仍然能够更好。消息能够命令驾驶员采取一些慎重行为，这些行为将不干涉他操作车辆的能力，但是将指示他已经接收消息并且以及时方式作出响应。
当足够数据可获取时能够使用另一显示器，其是光学或者其他视觉显示器，其示出了或者以其他方式图示出计算的驾驶员的清醒状态。驾驶员能够监控该显示器并且得到一个指示，该指示是关于系统是否认为他/她睡着或者以其他方式经历他/她操作车辆的能力的减小。看到他/她逐渐变得昏昏欲睡的驾驶员能够理想地计划何时停车及休息或者喝杯咖啡。如果驾驶员确认系统是错误的，那么他/她还能够提供反馈至系统，系统能够考虑该反馈以改善系统准确度。一个候选设备是来自麻州剑桥的环境设备公司(AmbientDevices)的环境球体(Ambient Orb)，该球体被编程以基于状态检测系统的输出而改变颜色。
在步骤182将消息发送至驾驶员之后，在183计数器递增，在184系统等待响应。如果响应不是预期的响应，或者如果响应是迟延的(所确定的迟延是相对于预定时间阈值，例如预定时间阈值可以是消息或者当前状况的函数)，那么在步骤185响应被评定为不可接受。如果响应被评定为可接受，那么在步骤188控制返回健康监控例程。在不可接受的驾驶员响应之后，在步骤186核查计数器的计数，如果计数器超过一些预定限值，诸如三个，那么在步骤187起动车辆控制例程。如果计数器低于其限值，那么控制进行至步骤182，给予驾驶员响应消息的另一机会。如图3所示，例程返回步骤182以发送消息至驾驶员。但是，如果消息是连续消息，诸如在显示器上的一个消息，那么例程能够被编程以返回至递增计数的步骤183(见图3中的虚线)。
由于状况能够是威胁生命的，因此重要的是向驾驶员仅提供有限量时间来对消息进行反应(在184的接收驾驶员响应步骤)。在昏昏欲睡驾驶员的情形下，系统还能够提供一些建议，尤其在多次检测的异常之后，建议为驾驶员或许应该进行休息。如果驾驶员不采纳建议，以及存在驾驶员将实际上睡着的可能性，那么专家能够被通知。这种通知可以是额外的或者可替换的以起动车辆控制例程187，见图3的步骤189。该通知可以由通信系统或者传递系统(未示出在图3中)提供，通信系统或者传递系统联接至光学以及电容监控系统121并且生成以及发送关于驾驶员未对所发送的消息在预定时间量提供响应的适当消息。
已经提议另一反馈系统以对要求驾驶员响应的车辆操作提供一些改变，然后测量响应时间。一个这种观点是利用脉冲或者利用逐渐漂移车辆至道路一侧而干扰转向轮，然后测量时间有多快，即使驾驶员进行了响应也如此。
图2和图3示出了可以被图1中的乘员感测单元120以及警告以及车辆安全系统130的一个或多个处理器或其部件实施的算法。因此处理器的内部结构是实施在可读计算机介质中的一个或多个计算机程序，当被处理器执行时，可读计算机介质执行图2和图3图示的流程图中陈述的行为。用于处理器的指令将是根据图2和图3示出的算法所编译的计算机代码。
图4A是光学监控系统的视图，光学监控系统根据安装在天花板204上或者天花板204附近的照相机和照明系统200来监控驾驶员的脸。例如，一个优选定位是在后视镜202上或者邻近后视镜202(示意地图示的)，这是因为该位置通常能够很好的看到驾驶员的脸并且不被遮阳板阻碍。光学监控系统包括照相机(代表至少一个图像获取系统)和照明源(代表至少一个照射设备)，它们共同由照相机和照明系统200代表，其能够是绿色或者电磁谱中的不可见部分，尤其，电磁谱中的红外线(IR)部分。光学监控系统还包括处理器或者处理单元，其联接至照相机以及可选地照明源(处理器可以安置在参考图4B描述的电子控制单元210中或者是电子控制单元210的一部分)。该处理器构造为分析图像以从图像获取信息或者数据，具体地从图像血管、毛细管和/或静脉或者通常被成像的乘员(驾驶员)的脸中代表性皮肤区块来获取信息或数据。处理器还构造为确定驾驶员的脸的正常颜色，然后分析当前颜色相对于正常颜色(例如，对比)以判断驾驶员是否已经失去继续控制车辆的能力。
虽然在该描述的实施例中，驾驶员的脸被照射，在照射期间获取其图像，这部分地是由于脸是驾驶员最可能暴露的部分(即，未被阻挡照射的材料所覆盖)的结果。不过，驾驶员的其他部分也可以被照射并且获取其图像。这些部分将优选是驾驶员的暴露部分，从此处可以获取从皮肤以及血管、毛细管和/或静脉以及皮肤以及血的颜色的反射。
尤其，血将反射谱中的IR部分，因而允许获取驾驶员的脸的血管、毛细管以及静脉中血的更清晰的图像，并且可见于由照相机和照明系统200的照相机所获取的图像中。然后血流的脉动能够用以测量驾驶员的心率。尤其，通过处理器能够分析心跳变化性，这是由于这允许确定驾驶员的睡意和/或其他属性，或者更通常来讲，确定驾驶员失去继续控制车辆的能力(以下讨论的)。
该技术的另一用途是使用驾驶员的脸中的血管、毛细管以及静脉的图案作为驾驶员的生物标识符。处理器将执行该分析以识别驾驶员，然后基于关于生物识别的驾驶员的预设信息来控制车辆的启动、调节就座条件、调节环境条件等。
如果照相机对较长波IR敏感，或者如果使用单独的成像器，驾驶员的脸或者其部分的温度还能够通过温度测量设备或者算法测量，并且相比于由温度传感器测量的环境温度，以确定驾驶员的温度是否正常或者指示医疗问题。驾驶员的脸颜色以及总体运动还能够被处理器跟踪，例如使用跟踪算法或者在处理器可访问的软件的控制或者命令下，以确定驾驶员的呼吸率。使用例如由处理器操作的图案识别技术，能够在图像中确定脸的位置。最终，由处理器所确定的在跳动或者它们绝对尺寸期间血毛细管、血管或者静脉的尺寸改变程度能够提供对驾驶员血压的测量。
除了近红外照明及远红外照明，已经发现脉搏率最好从光谱的绿色部分中确定。因为血特定地能吸收500nm至600nm范围的频率，所以照明能够包含该范围中的频率。因为绿色光能够使驾驶员和车辆乘员分心，所以必须注意练习如何使用绿色光。一旦通过实施在通过处理器实施的计算机可读介质上的适当分析软件已经确定出驾驶员的脸位置，能够选择前额、脸颊、颈部或者其他方便位置上的区块作为要照射的点。然后，经由通过处理器控制照明源或者更通常控制单元，能够调节照射的量以及频率，使得其几乎没有不高于，典型地不高于目前环境光水平的1％至10％。最终，其能够仔细地聚焦，使得其不溢出以及照射驾驶员的眼睛。还应该仔细选择照明源的定位，使得反射不引起其他车辆乘客的注意。多个照明源可以还提供并且独立使用或者组合使用以确保选择地点能够始终被照射。
绿色光还能够经由调制设备或者技术被调制，使得其能够与环境光反射分离。这可能需要用于绿色光的接收设备是光电二极管或者等同结构，以允许调制被感测以及与环境光分离。
若干研究已经发现，由于绿色频率，特定地540nm和580nm的绿色频率最容易被吸收，反射的光的变化性最大，因而血流量率的变化性最易于被识别以及从该频率范围的光中被测量。
一旦照相机、处理器以及处理软件已经选择一个点来监控驾驶员的脸，那么在一段时间内跟踪该点是有益的。用于实现该跟踪的技术讨论于博尔戈贝洛●布丽奇特的"MIT开发的基于webcam的健康监控镜"，MIT新闻办公室，2010年10月5日，以及MIT关于该主题的其他公开物US20140276090，它们都可以使用在本发明中。
照相机和照明系统200还能够用以跟踪驾驶员的眼睛和眼睑运动，正如在用于确定驾驶员警告的现有技术的眼睛跟踪系统中讨论的。正如以上提到的，这种系统能够用以增强此处讨论的监控系统，但是，当依靠单独一个时，会产生与太阳镜以及甚至普通眼镜关联的问题，这些镜会频繁挡住IR。
图4B图示了用于监控驾驶员的脸的可选布置。在该实施方式中，照相机206安装于仪表板的顶表面下方，在这种位置以通过挡风玻璃的表面208的反射以类似于抬头显示器的方式查看驾驶员的脸。该实施方式具有的优势为，较大照相机能够使用较大分辨率，并且能够包含聚焦硬件以及甚至在电子控制单元210的控制下的定向硬件以获取更好地查看驾驶员的脸以及更精确地投影人造照明，尤其以上讨论的绿色或其他颜色光的片段(patch)。在处理器以及适当的控制算法或者在电子控制单元210中的程序的控制下，该片段投影将随着驾驶员头部的移动而移动。在这两者情形下，可选方法是利用绿色或其他颜色光来照射驾驶员的脸的显著部分，但是为了这样做，以稍微高于环境光水平，并且仔细地使用以从环境反射中将其分离出。以其他方式，图4B中的操作类似于图4A的操作。如上所述，相同的电子控制单元210能够用以分析驾驶员以用于疲劳信号，并且初始化警告，诸如要求驾驶员的反馈响应的光214，诸如按下按钮212、说出一个词语、指向等。
在许多情形下，期望从接收器移动照明源，这能够更容易观察到血流量的改变。
存在许多额外监控方法，这些方法能够产生关于车辆驾驶员的健康以及状态的重要信息。现在将提到这些方法中的一些，但是许多其他方法出现在关于患者监控的医疗文献中。
对于用于监控心率及其变化特别有用的技术公开于参考文献27和28US20140276090，其中普通照相机的使用协同适当算法以允许清晰测量驾驶员的心率。额外参考文献29US20140267090公开了使用热成像确定酒醉驾驶员。公开于这些参考文献的所有技术都包含在本发明中用于使用驾驶员监控。
期望的是，当可获取时，分析程序将考虑其他信息，诸如温度、血压和血氧水平。这将取决于所使用的传感器的特定系列，例如如果光学传感器是仅使用的传感器，这种信息将不可获取。还能够包括的其他信息包括车道偏离、转向轮运动、车辆速度以及加速、当日时间、头部和身体运动、眼睛的状态和眨眼率、注视方向和持续时间、以及乘员和车辆的任何其他测量的属性，以及车辆如何被驾驶。和/或环境。
取决于可获取的信息，分析中能够包括的其他因素包括：
1.通过移除频率低于大约0.67Hz(40bmp)且高于大约1.67Hz(100bmp)的信号来辅助脉冲恢复。
2.在睡眠期间心率减小大约5-40％。
3.在睡眠期间血压减小至驾驶员清醒时其值的大约77-80％。
4.总谱功率以及其各分量的绝对值在睡眠的不同阶段HF(ms2)1148±1148(失眠)2277±2878(阶段2，非REM)1777±2789(阶段4，非REM)2073±3158(REM睡眠)
5.在入睡过程中LF/HF比降低。
6.在睡眠期间“HRV”非常大。也即，睡着的人的一个心跳间隔可以是大约0.9秒，下一个心跳间隔是大约1.3秒，而清醒的人是大约0.7至大约0.8秒。(心率随着时间变化，心率变化性公知为首字母缩写HRV。HRV是连续心跳之间的间隔的振荡的测量)
7.典型地，睡眠和清醒阶段期间心脏诊断中的差异反应在心跳间隔的平均偏差(睡着时更高)和标准偏差(睡着时更低)中。
重要的是记住，EEG结果证明，精确地在数量上估计驾驶性能是可行的。因而，最佳系统将测量EEG，这在现在不是经济可行的，但是在未来可能是经济可行的。尤其，普莱思EPIC传感器系列示出了提供该能力的期望。
以上提到的其他因素包括血氧、乘员的脸的颜色或者运动。
图5图示了电容传感器310的布置，其用于获取脑波，安装在乘员302穿戴的安全带304上。这些传感器310的构造描述于以上提到的专利并且通过参考并入此处。对于本发明的一些实施例来说，传感器310布置、安装在安全带304上或者集成至安全带304中，使得当安全带304被穿戴时，传感器310将位于安全带304的在乘员302前面的部分上，并且理想地靠近乘员心脏或者在乘员心脏的前面。通过使不同尺寸的乘员坐在座椅中，该定位可以在预制造阶段被确定，然后将安全带304放在座椅上，然后在安全带30 4上标记他们的心脏所在的位置。然后标记的位置能够被认为用于放置传感器310，视野尽可能多的覆盖很多不同尺寸的乘员。不同的安全带304可以具有不同位置的传感器310。
乘员302可以是车辆驾驶员，在该情形下，根据上述技术可以使用从传感器310的数据或者信号得出的关于驾驶员的数据。代替电容传感器310，可以使用能够获取相同数据或者信号的其他传感器或者一个或多个传感器的传感器布置，将其他布置或者安装在安全带304上或者集成至安全带304中。
其他反应部件可以联接至处理器并且执行感知测试，包括需要对提示进行口头响应、视觉响应或者手势响应，例如。因而，反应部件可以是这样的，其要求来自驾驶员的反馈，即语音检测。换句话说，如果驾驶员已经在看着道路，那么他能够口头地告诉系统他是清醒的以及集中注意的。
处理器使用的另一因素是驾驶员不向前看道路时的时间量。如果时间量超过例如2秒，那么处理器将在确定其不专心时使用该因素。又一因素是头部方位，这可以通过分析驾驶员的图像来确定。大多数时间驾驶员向前看，因此在大多数时间驾驶员的头部的位置可以认为是正常位置，该位置的变化持续一延长时间段可以指示驾驶员的不专心。
虽然上文公开的技术的主要应用是用于防止由于驾驶员睡意引起的事故，但是其他应用可是应用该技术至飞机飞行员以及火车指挥者(或者更通常是车载操作员)以及汽车和飞机的其他乘客(或者更通常是车载乘员)以检测应该接收立即注意的医疗条件，诸如正如以下将讨论的心脏病、癫痫以及中风。因而，正如此处使用的，驾驶员应该被认为包括操作员或者车辆、车辆的指挥者、车辆的驾驶者等。
本发明能够以多种方式实施，包括潜在地作为一个处理；装置；系统；实施为计算机可读存储介质上的计算机程序产品；和/或处理器，诸如构造为实施存储在联接至处理器的内存中的指令和/或由联接至处理器的内存提供的指令的处理器。在该说明书中，这些实施方式，或者本发明可以采用的任何其他形式可以称为技术。总之，在本发明的范围内公开的处理的步骤的顺序可以更改。
虽然上文图示了以及描述了若干优选实施例，但是存在可能的组合，这些组合使用其他几何构造、传感器、材料以及用于执行相同功能的部件的不同尺寸。至少此处公开的发明中的一个并不限于上述实施例，而是应该通过以下权利要求确定。除了上述这些应用还存在多个额外应用。但是，在考虑本说明书和公开其优选实施例的附图之后，本发明的许多改变、修改、变化以及其他用途以及应用对本领域的技术人员将变得显而易见。不背离本发明的精神和范围的所有这种改变、修改、变化以及其他用途以及应用将被视为被仅由以下权利要求限制的本发明覆盖。
权利要求书(按照条约第19条的修改)
1.一种用于监控车辆中的驾驶员的方法，包括：
使用至少一个图像获取设备获取驾驶员的图像；
使用至少一个传感器获取来自驾驶员的脑波；
使用处理器分析所述图像以得出在乘员脸上至少一个血管、毛细管以及静脉中血流量的测量；以及
使用相同的所述处理器或者额外处理器分析一段时间内血流量和所获取的脑波以基于一段时间内血流量和所获取的脑波来确定驾驶员是否已经失去继续控制车辆的能力，失去继续控制车辆的能力出现在初始已经清醒或者以其他方式能够控制车辆之后驾驶员变得昏昏欲睡、睡着或者以其他方式不能够控制车辆时。
2.根据权利要求1所述的方法，进一步包括一旦确定出驾驶员已经失去继续控制车辆的能力，就采取行动以实现所述车辆的操作的改变。
3.根据权利要求1所述的方法，进一步包括在已经确定出驾驶员已经失去继续控制车辆的能力之后，需要由驾驶员行动以指示重新获取控制车辆的移动的能力。
4.根据权利要求1所述的方法，进一步包括：
通知驾驶员其已经失去继续控制车辆的能力的确定；
需要驾驶员对所述通知产生响应；
监控驾驶员对所述通知的响应；然后
基于监控驾驶员对所述通知的响应来控制车载操作。
5.根据权利要求1所述的方法，进一步包括使用相同的所述处理器或者额外处理器分析所获取的图像以得出驾驶员的脸颜色的测量，分析一段时间内血流量和所获取的脑波的步骤包括分析一段时间内驾驶员的脸颜色结合分析一段时间内的血流量以及所获取的脑波以基于一段时间内驾驶员的脸颜色、一段时间内血流量和所获取的脑波来确定驾驶员是否已经失去继续控制车辆的能力，所述步骤包括分析驾驶员的脸颜色的变化。
6.根据权利要求5所述的方法，其中，使用处理器分析所述图像以得出驾驶员的脸颜色的测量的步骤包括确定驾驶员的脸的正常颜色，分析一段时间内驾驶员的脸颜色以确定驾驶员是否已经失去继续控制车辆的能力的步骤包括比较驾驶员的脸的当前颜色与驾驶员的脸的正常颜色。
7.根据权利要求1所述的方法，进一步包括使用图案识别以从通过所述至少一个成像设备获取的图像中确定驾驶员的脸的位置。
8.根据权利要求1所述的方法，其中，使用至少一个图像获取设备获取驾驶员的图像的所述步骤包括获取至少一个初始图像，
进一步包括分析所述至少一个初始图像以确定驾驶员的脸的位置以及选择用于红外照明的驾驶员的脸的一部分；然后
使用至少一个照射设备用电磁辐射仅照射驾驶员的脸的选定部分。
9.根据权利要求1所述的方法，进一步包括分析所述图像以检测在乘员脸上至少一个血管、毛细管以及静脉中的血液中酒精或者药物的存在。
10.根据权利要求1所述的方法，进一步包括在使用至少一个图像获取设备获取被照射的驾驶员的图像之前，使用至少一个照射设备用电磁辐射来照射驾驶员的一部分，使得所述图像是驾驶员的被照射部分的图像。
11.根据权利要求10所述的方法，其中，所述至少一个照射设备和所述至少一个成像设备安置在共享单元中。
12.根据权利要求10所述的方法，其中，使用至少一个照射设备用电磁辐射来照射驾驶员的所述步骤包括利用范围从大约500nm至大约600nm的红外照明来照射驾驶员。
13.根据权利要求10所述的方法，其中，所述至少一个照射设备、所述至少一个成像设备和所述处理器共同定位，进一步包括将对一段时间内的血流量和获取的脑波的分析传递至远程位置，所述远程位置与所述至少一个照射设备、所述至少一个成像设备和所述处理器共同定位的位置分离且隔开。
14.根据权利要求10所述的方法，其中，所述至少一个照射设备和所述至少一个成像设备布置在共享框架上。
15.根据权利要求10所述的方法，进一步包括通过如下步骤来确定使用所述至少一个照射设备利用电磁辐射要照射的驾驶员的所述一部分：
使用所述至少一个照射设备利用电磁辐射来照射人；
使用所述至少一个图像获取设备获取被照射的人的初始图像；
使用所述处理器分析所述初始图像以确定人的脸的位置；然后
基于确定的脸位置来选择被照射的人的一部分，选定部分小于获取所述初始图像所照射的人的部分。
16.根据权利要求15所述的方法，进一步包括监控所选择的用于照射的驾驶员的脸的部分的移动。
17.根据权利要求1所述的方法，其中，使用至少一个传感器获取来自驾驶员的脑波的所述步骤包括从驾驶员穿戴的安全带上的至少一个电容传感器获取脑波数据。
18.一种用于监控车辆中的驾驶员的系统，包括：
光学感测单元，其包括：
至少一个图像获取设备，其获取驾驶员的图像；
至少一个传感器，其获取关于驾驶员的脑波数据；以及
处理器，其联接至所述至少一个图像获取设备以及所述至少一个传感器，分析所获取的图像以及所获取的脑波数据以得出在所述乘员的脸上至少一个血管、毛细管以及静脉中血流量的测量，然后分析一段时间内的血流量和所获取的脑波以基于一段时间内的血流量和所获取的脑波来确定驾驶员是否已经失去继续控制车辆的能力，失去继续控制车辆的能力出现在初始已经清醒或者以其他方式能够控制车辆之后驾驶员变得昏昏欲睡、睡着或者以其他方式不能够控制车辆时；以及
车辆安全系统，其联接至所述乘员感测单元并且包括：
警告以及核验系统，其构造为在已经确定出其已经失去继续控制车辆的能力之后，测试驾驶员以观察驾驶员是否能够操作所述车辆；以及
车辆控制系统，当所述警告以及核验系统确定出驾驶员不能够操作所述车辆时其控制车辆。
19.根据权利要求18所述的系统，进一步包括安全带，其构造为被驾驶员穿戴；所述至少一个传感器布置于所述安全带的当驾驶员穿戴所述安全带时适于位于驾驶员前面的一部分上。
20.根据权利要求18所述的系统，其中，所述处理器进一步构造为分析所获取的图像以得出驾驶员的脸颜色的测量，然后分析一段时间内驾驶员的脸颜色结合分析一段时间内的血流量以及获取的脑波以基于一段时间内驾驶员的脸颜色、一段时间内血流量和所获取的脑波来确定驾驶员是否已经失去继续控制车辆的能力，失去继续控制车辆的能力出现在初始已经清醒或者以其他方式能够控制车辆之后驾驶员变得昏昏欲睡、睡着或者以其他方式不能够控制车辆时。

Claims (20)

1.一种用于监控车辆中的驾驶员的方法，包括：
使用至少一个图像获取设备获取驾驶员的图像；
使用至少一个传感器获取来自驾驶员的脑波；
使用处理器分析所述图像以得出在乘员脸上至少一个血管、毛细管以及静脉中血流量的测量；以及
使用相同的所述处理器或者额外处理器分析一段时间内血流量和所获取的脑波以确定驾驶员是否已经失去继续控制车辆的能力，失去继续控制车辆的能力出现在初始已经清醒或者以其他方式能够控制车辆之后驾驶员变得昏昏欲睡、睡着或者以其他方式不能够控制车辆时。
2.根据权利要求1所述的方法，进一步包括一旦确定出驾驶员已经失去继续控制车辆的能力，就采取行动以实现所述车辆的操作的改变。
3.根据权利要求1所述的方法，进一步包括在已经确定出驾驶员已经失去继续控制车辆的能力之后，需要由驾驶员行动以指示重新获取控制车辆的移动的能力。
4.根据权利要求1所述的方法，进一步包括：
通知驾驶员其已经失去继续控制车辆的能力的确定；
需要驾驶员对所述通知产生响应；
监控驾驶员对所述通知的响应；然后
基于监控驾驶员对所述通知的响应来控制车载操作。
5.根据权利要求1所述的方法，进一步包括使用相同的所述处理器或者额外处理器分析所获取的图像以得出驾驶员的脸颜色的测量，分析一段时间内血流量和所获取的脑波的步骤包括分析一段时间内驾驶员的脸颜色结合分析一段时间内的血流量以及所获取的脑波以确定驾驶员是否已经失去继续控制车辆的能力，所述步骤包括分析驾驶员的脸颜色的变化。
6.根据权利要求5所述的方法，其中，使用处理器分析所述图像以得出驾驶员的脸颜色的测量的步骤包括确定驾驶员的脸的正常颜色，分析一段时间内驾驶员的脸颜色以确定驾驶员是否已经失去继续控制车辆的能力的步骤包括比较驾驶员的脸的当前颜色与驾驶员的脸的正常颜色。
7.根据权利要求1所述的方法，进一步包括使用图案识别以从通过所述至少一个成像设备获取的图像中确定驾驶员的脸的位置。
8.根据权利要求1所述的方法，其中，使用至少一个图像获取设备获取驾驶员的图像的所述步骤包括获取至少一个初始图像，
进一步包括分析所述至少一个初始图像以确定驾驶员的脸的位置以及选择用于红外照明的驾驶员的脸的一部分；然后
使用至少一个照射设备用电磁辐射仅照射驾驶员的脸的选定部分。
9.根据权利要求1所述的方法，进一步包括分析所述图像以检测在乘员脸上至少一个血管、毛细管以及静脉中的血液中酒精或者药物的存在。
10.根据权利要求1所述的方法，进一步包括在使用至少一个图像获取设备获取被照射的驾驶员的图像之前，使用至少一个照射设备用电磁辐射来照射驾驶员的一部分，使得所述图像是驾驶员的被照射部分的图像。
11.根据权利要求10所述的方法，其中，所述至少一个照射设备和所述至少一个成像设备安置在共享单元中。
12.根据权利要求10所述的方法，其中，使用至少一个照射设备用电磁辐射来照射驾驶员的所述步骤包括利用范围从大约500nm至大约600nm的红外照明来照射驾驶员。
13.根据权利要求10所述的方法，其中，所述至少一个照射设备、所述至少一个成像设备和所述处理器共同定位，进一步包括将对一段时间内的血流量和获取的脑波的分析传递至远程位置，所述远程位置与所述至少一个照射设备、所述至少一个成像设备和所述处理器共同定位的位置分离且隔开。
14.根据权利要求10所述的方法，其中，所述至少一个照射设备和所述至少一个成像设备布置在共享框架上。
15.根据权利要求10所述的方法，进一步包括通过如下步骤来确定使用所述至少一个照射设备利用电磁辐射要照射的驾驶员的所述一部分：
使用所述至少一个照射设备利用电磁辐射来照射人；
使用所述至少一个图像获取设备获取被照射的人的初始图像；
使用所述处理器分析所述初始图像以确定人的脸的位置；然后
基于确定的脸位置来选择被照射的人的一部分，选定部分小于获取所述初始图像所照射的人的部分。
16.根据权利要求15所述的方法，进一步包括监控所选择的用于照射的驾驶员的脸的部分的移动。
17.根据权利要求1所述的方法，其中，使用至少一个传感器获取来自驾驶员的脑波的所述步骤包括从驾驶员穿戴的安全带上的至少一个电容传感器获取脑波数据。
18.一种用于监控车辆中的驾驶员的系统，包括：
光学感测单元，其包括：
至少一个图像获取设备，其获取驾驶员的图像；
至少一个传感器，其获取关于驾驶员的脑波数据；以及
处理器，其联接至所述至少一个图像获取设备以及所述至少一个传感器，分析所获取的图像以及所获取的脑波数据以得出在所述乘员的脸上至少一个血管、毛细管以及静脉中血流量的测量，然后分析一段时间内的血流量和所获取的脑波以确定驾驶员是否已经失去继续控制车辆的能力，失去继续控制车辆的能力出现在初始已经清醒或者以其他方式能够控制车辆之后驾驶员变得昏昏欲睡、睡着或者以其他方式不能够控制车辆时；以及
车辆安全系统，其联接至所述乘员感测单元并且包括：
警告以及核验系统，其构造为在已经确定出其已经失去继续控制车辆的能力之后，测试驾驶员以观察驾驶员是否能够操作所述车辆；以及
车辆控制系统，当所述警告以及核验系统确定出驾驶员不能够操作所述车辆时其控制车辆。
19.根据权利要求18所述的系统，进一步包括安全带，其构造为被驾驶员穿戴；所述至少一个传感器布置于所述安全带的当驾驶员穿戴所述安全带时适于位于驾驶员前面的一部分上。
20.根据权利要求18所述的系统，其中，所述处理器进一步构造为分析所获取的图像以得出驾驶员的脸颜色的测量，然后分析一段时间内驾驶员的脸颜色结合分析一段时间内的血流量以及获取的脑波以确定驾驶员是否已经失去继续控制车辆的能力，失去继续控制车辆的能力出现在初始已经清醒或者以其他方式能够控制车辆之后驾驶员变得昏昏欲睡、睡着或者以其他方式不能够控制车辆时。
CN201580024581.5A 2014-05-12 2015-05-11 驾驶员健康以及疲劳监控系统和方法 Withdrawn CN106687026A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/275,409 US20140276090A1 (en) 2011-03-14 2014-05-12 Driver health and fatigue monitoring system and method using optics
US14/275,409 2014-05-12
PCT/US2015/030219 WO2015175435A1 (en) 2014-05-12 2015-05-11 Driver health and fatigue monitoring system and method

Publications (1)

Publication Number Publication Date
CN106687026A true CN106687026A (zh) 2017-05-17

Family

ID=54480510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580024581.5A Withdrawn CN106687026A (zh) 2014-05-12 2015-05-11 驾驶员健康以及疲劳监控系统和方法

Country Status (2)

Country Link
CN (1) CN106687026A (zh)
WO (1) WO2015175435A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109215434A (zh) * 2017-07-06 2019-01-15 新华网股份有限公司 用于车辆驾驶的数据处理方法和装置
CN109835331A (zh) * 2017-11-28 2019-06-04 现代自动车株式会社 用于调整车辆的驾驶控制权限的方法及系统
CN110422174A (zh) * 2018-04-26 2019-11-08 李尔公司 生物特征传感器融合以对车辆乘客状态进行分类
CN110632973A (zh) * 2019-09-24 2019-12-31 中国航空工业集团公司沈阳飞机设计研究所 一种电磁辐射控制方法及其装置
US10881357B1 (en) 2019-09-18 2021-01-05 Panasonic Avionics Corporation Systems and methods for monitoring the health of vehicle passengers using camera images
US11524691B2 (en) 2019-07-29 2022-12-13 Lear Corporation System and method for controlling an interior environmental condition in a vehicle

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10457281B2 (en) 2017-01-23 2019-10-29 Ge Global Sourcing Llc Vehicle communication system
US10370012B2 (en) 2017-03-09 2019-08-06 Ge Global Sourcing Llc Adaptive vehicle control system
CN108712879B (zh) * 2016-02-29 2021-11-23 大金工业株式会社 疲劳状态判定装置及疲劳状态判定方法
US10279825B2 (en) 2017-01-10 2019-05-07 General Electric Company Transfer of vehicle control system and method
US11065958B2 (en) 2017-01-03 2021-07-20 Transportation Ip Holdings, Llc Control system and method
CN106681328B (zh) * 2017-01-13 2021-02-09 深圳市元征科技股份有限公司 基于智能穿戴设备的自动驾驶方法及智能穿戴设备
US11610441B1 (en) * 2017-05-23 2023-03-21 State Farm Mutual Automobile Insurance Company Detecting and mitigating local individual driver anomalous behavior
JP7014951B2 (ja) * 2017-06-20 2022-02-02 テイ・エス テック株式会社 乗物用シート
EP3730054B1 (en) * 2017-12-19 2024-03-27 Panasonic Intellectual Property Management Co., Ltd. Biological measurement apparatus
WO2019188398A1 (ja) * 2018-03-30 2019-10-03 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、および方法、並びにプログラム
KR20210074601A (ko) * 2019-12-12 2021-06-22 현대자동차주식회사 뇌파 신호를 이용한 긴급 주행 상황 제어 장치 및 방법
FR3107495A1 (fr) 2020-02-26 2021-08-27 Psa Automobiles Sa Dispositif de surveillance pour surveiller une personne qui conduit un véhicule
CN112124073B (zh) * 2020-09-23 2022-05-20 上海商汤临港智能科技有限公司 基于酒精检测的智能驾驶控制方法及装置
DE102021201461A1 (de) 2021-02-16 2022-08-18 Continental Automotive Gmbh System zur Überwachung von Vitaldaten eines Insassen eines Fahrzeugs
US11861916B2 (en) 2021-10-05 2024-01-02 Yazaki Corporation Driver alertness monitoring system
CN117115894A (zh) * 2023-10-24 2023-11-24 吉林省田车科技有限公司 一种非接触式驾驶员疲劳状态分析方法、装置和设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5689241A (en) * 1995-04-24 1997-11-18 Clarke, Sr.; James Russell Sleep detection and driver alert apparatus
CN1613425A (zh) * 2004-09-15 2005-05-11 南京大学 司机疲劳预警生物识别的方法和系统
CN101466305A (zh) * 2006-06-11 2009-06-24 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法与装置
US20090261979A1 (en) * 1992-05-05 2009-10-22 Breed David S Driver Fatigue Monitoring System and Method
CN101579232A (zh) * 2008-05-14 2009-11-18 横滨橡胶株式会社 车辆的行驶条件评价方法及其评价装置
CN101789078A (zh) * 2010-03-01 2010-07-28 江西财经大学 鲁棒红外人脸识别技术
CN101902958A (zh) * 2007-11-28 2010-12-01 加利福尼亚大学董事会 无接触生物电势传感器
CN102309315A (zh) * 2011-09-07 2012-01-11 周翊民 无接触式光学生理检测仪
CN202383802U (zh) * 2011-12-31 2012-08-15 长安大学 货车疲劳驾驶声光警告系统
CN103622682A (zh) * 2013-11-14 2014-03-12 成都博约创信科技有限责任公司 一种检测驾驶员健康状况的系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4497081B2 (ja) * 2005-10-31 2010-07-07 トヨタ自動車株式会社 人の状態検出装置
EP1955553A2 (en) * 2005-11-23 2008-08-13 Koninklijke Philips Electronics N.V. Rendering views for a multi-view display device
US20080242947A1 (en) * 2007-03-30 2008-10-02 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Configuring software for effective health monitoring or the like
KR100921092B1 (ko) * 2008-07-04 2009-10-08 현대자동차주식회사 스티어링 휠에 장착된 카메라를 이용하는 운전자 상태 감시시스템
US8698639B2 (en) * 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090261979A1 (en) * 1992-05-05 2009-10-22 Breed David S Driver Fatigue Monitoring System and Method
US5689241A (en) * 1995-04-24 1997-11-18 Clarke, Sr.; James Russell Sleep detection and driver alert apparatus
CN1613425A (zh) * 2004-09-15 2005-05-11 南京大学 司机疲劳预警生物识别的方法和系统
CN101466305A (zh) * 2006-06-11 2009-06-24 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法与装置
CN101902958A (zh) * 2007-11-28 2010-12-01 加利福尼亚大学董事会 无接触生物电势传感器
CN101579232A (zh) * 2008-05-14 2009-11-18 横滨橡胶株式会社 车辆的行驶条件评价方法及其评价装置
CN101789078A (zh) * 2010-03-01 2010-07-28 江西财经大学 鲁棒红外人脸识别技术
CN102309315A (zh) * 2011-09-07 2012-01-11 周翊民 无接触式光学生理检测仪
CN202383802U (zh) * 2011-12-31 2012-08-15 长安大学 货车疲劳驾驶声光警告系统
CN103622682A (zh) * 2013-11-14 2014-03-12 成都博约创信科技有限责任公司 一种检测驾驶员健康状况的系统及方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109215434A (zh) * 2017-07-06 2019-01-15 新华网股份有限公司 用于车辆驾驶的数据处理方法和装置
CN109835331A (zh) * 2017-11-28 2019-06-04 现代自动车株式会社 用于调整车辆的驾驶控制权限的方法及系统
CN110422174A (zh) * 2018-04-26 2019-11-08 李尔公司 生物特征传感器融合以对车辆乘客状态进行分类
US11524691B2 (en) 2019-07-29 2022-12-13 Lear Corporation System and method for controlling an interior environmental condition in a vehicle
US10881357B1 (en) 2019-09-18 2021-01-05 Panasonic Avionics Corporation Systems and methods for monitoring the health of vehicle passengers using camera images
CN110632973A (zh) * 2019-09-24 2019-12-31 中国航空工业集团公司沈阳飞机设计研究所 一种电磁辐射控制方法及其装置
CN110632973B (zh) * 2019-09-24 2021-07-09 中国航空工业集团公司沈阳飞机设计研究所 一种电磁辐射控制方法及其装置

Also Published As

Publication number Publication date
WO2015175435A1 (en) 2015-11-19

Similar Documents

Publication Publication Date Title
CN106687026A (zh) 驾驶员健康以及疲劳监控系统和方法
US11383721B2 (en) System and method for responding to driver state
CN105144199B (zh) 支持多种功能的基于成像装置的乘坐者监控系统
EP3683623B1 (en) System and method for responding to driver state
US8725311B1 (en) Driver health and fatigue monitoring system and method
RU2395228C2 (ru) Биосенсоры, коммуникаторы и контроллеры для мониторинга движения глаз и способы их применения
US20140276090A1 (en) Driver health and fatigue monitoring system and method using optics
CN109878527A (zh) 分心感测系统
WO2015174963A1 (en) Driver health and fatigue monitoring system and method
US11751784B2 (en) Systems and methods for detecting drowsiness in a driver of a vehicle
KR20160112213A (ko) 차량, 및 차량의 제어방법
CN114746311A (zh) 用于载具中的识别和生物监测的管理系统和方法
KR20160109243A (ko) 운전자의 사고를 예방할 수 있는 스마트 감성조명 장치
Mabry et al. Commercial motor vehicle operator fatigue detection technology catalog and review
Murthy et al. An Automated System for Speed Control and Accident Prevention based on Multiple Parameters
KR20230143246A (ko) 차량 운전자를 위한 헬스 케어 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20170517

WW01 Invention patent application withdrawn after publication