CN103347446B - 用于监控车辆驾驶员的系统 - Google Patents

用于监控车辆驾驶员的系统 Download PDF

Info

Publication number
CN103347446B
CN103347446B CN201180066594.0A CN201180066594A CN103347446B CN 103347446 B CN103347446 B CN 103347446B CN 201180066594 A CN201180066594 A CN 201180066594A CN 103347446 B CN103347446 B CN 103347446B
Authority
CN
China
Prior art keywords
driver
vehicle
view data
controller
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180066594.0A
Other languages
English (en)
Other versions
CN103347446A (zh
Inventor
W·T·沃森
A·V·穆雷尚
J·K·克劳斯
汤鹏
汤一鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TK Holdings Inc
Original Assignee
TK Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TK Holdings Inc filed Critical TK Holdings Inc
Publication of CN103347446A publication Critical patent/CN103347446A/zh
Application granted granted Critical
Publication of CN103347446B publication Critical patent/CN103347446B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80—Circuits; Control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/301—Sensors for position or displacement
    • B60Y2400/3015—Optical cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Multimedia (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

提供一种被配置成接收图像数据和改善图像数据的质量的系统，所述图像数据用于确定车辆驾驶员的状况。该系统和方法包括被设置以检测车辆驾驶员的图像数据的相机、被设置以照亮车辆内部的照明系统以及控制器，该控制器被配置成接收所检测的图像数据并确定图像数据的质量，基于所确定的图像数据质量来改变照明系统，并基于所接收的图像数据来确定驾驶员的状况。

Description

用于监控车辆驾驶员的系统
相关申请的交叉引用
本申请要求2010年12月10日提交的美国临时专利申请No.61/422,116的优先权和权益。前述临时申请以其全部内容通过引用的方式并入本文。
技术领域
本公开内容总体上涉及生物和生理信号监控领域。生物或生理参数、测量量或数据通过人体的生物活动而被生成，并且可以包括例如心率或呼吸率。生物测量可以被用来对人进行监控并且确定该人是否敏捷。例如，在车辆中，生物测量可以用来确定驾驶员的行为并且将该行为维持在最佳范围内。生物测量可以指示出驾驶员压力、兴奋、疲劳或放松度，这些会增加驾驶员犯错误、安全驾驶行为降低等的可能性。
背景技术
当前的基于相机的系统能够执行例如人面部的光学监控以获得生物或生理信号。然而，光学监控在低环境光的状况下(诸如在某些驾驶状况期间的车辆中)是非常困难或不精确的。某些驾驶状况降低了车辆中环境光的量，从而导致生物测量的较小的信噪比(SNR)。需要一种系统和方法，其允许位于车辆中的基于相机的系统与其它车辆系统(诸如照明系统和各种传感器)一起使用光学技术来获得监控驾驶员的行为所需的精确生物测量。
发明内容
根据本发明的一方面，提供了一种被配置成接收图像数据和改善图像数据的质量的系统，所述图像数据用于确定车辆驾驶员的状况，所述系统包括：相机，其被设置以检测所述车辆驾驶员的图像数据；照明系统，其被设置以可见光或以从可见光向紫外光转变处的光照亮所述车辆的内部；控制器，其被配置成接收所检测的图像数据并确定所述图像数据的质量；其中，所述控制器还被配置成基于所确定的图像数据质量来改变所述照明系统；并且其中，所述控制器被配置成分析所述图像数据来确定所述驾驶员的生物或生理状况，其中所述驾驶员的生物或生理状况是下列中的至少一个：所述驾驶员的心率，以及所述驾驶员的呼吸率。
根据本发明的另一方面，提供了一种被配置成接收数据和改善数据的质量的系统，所述数据用于确定车辆驾驶员的状况，所述系统包括：相机，其被设置以检测所述车辆驾驶员的图像数据；照明系统，其被设置以照亮所述车辆的内部；及控制器，其被配置成接收所检测的图像数据并确定所述图像数据的质量；其中，所述控制器被配置成分析所述图像数据来确定所述驾驶员的生物或生理状况，其中所述驾驶员的生物或生理状况是下列中的至少一个：所述驾驶员的心率，以及所述驾驶员的呼吸率；其中，所述控制器还被配置成接收来自非图像传感器的输入；并且其中，根据所确定的图像数据质量，所述控制器被配置成用来自所述非图像传感器的输入来补充所述车辆驾驶员的图像数据。
根据所公开的实施例，提供了用于监控车辆驾驶员的系统。本文所公开的该系统被配置成接收图像数据和改善图像数据的质量，所述图像数据用于确定车辆驾驶员的状况。根据一个实施例，该系统包括被设置以检测车辆驾驶员的图像数据的相机、被设置以照亮车辆内部的照明系统以及控制器，该控制器被配置成接收所检测的图像数据并确定图像数据的质量，基于所确定的图像数据质量来改变照明系统，并基于所接收的图像数据来确定驾驶员的状况。
另外，该系统可以包括被设置以检测车辆驾驶员的图像数据的相机、位于车辆内部的照明系统以及控制器，该控制器被配置成接收所检测的图像数据并确定图像数据的质量，接收来自非图像传感器的输入，并基于车辆驾驶员的图像数据和来自非图像传感器的输入这两者来确定驾驶员的状况。
附图说明
根据以下描述以及附图中示出的示例性实施例中，本发明的这些以及其它特征、方面和优点将变得显而易见，下面简要描述了附图。
图1A-B是车辆和车辆内部的透视图，其中可以使用驾驶员监控系统的控制器。
图2是连接到各种车辆系统的系统控制器的框图。
图3是用在监控车辆驾驶员的系统中的控制器的框图。
图4是用于调整用在监控车辆驾驶员的系统中的相机的照明水平的过程的流程图。
图5是用在监控车辆驾驶员的系统中的系统控制器的框图。
图6是用于车辆驾驶员监控系统的控制器的框图。
图7是使用传感器和换能器信号来改善生物测量的质量的过程的流程图。
具体实施方式
本文一般性地描述了用于使用系统控制器来监控车辆驾驶员的生物测量的视图、系统和方法。参照图2，系统控制器200耦合到用于获得生物或生理信号(诸如心率和呼吸率)的相机或多个相机210。根据一个示例性实施例，与系统控制器相结合的相机或多个相机可以以在2011年3月16日提交的、名称为"M ethod and System for M easuremen t of PhysiologicalParam eters"的美国专利申请No.13/048,965中所描述的方式来获得关于车辆的乘客的生物或生理信息，该美国专利申请以其全部内容通过引用的方式并入本文。一旦获得了生物或生理参数，该系统控制器200就可以确定驾驶员12是否处于操作车辆的最佳状态。
系统控制器200和相机210还可以包括或耦合到用于调整驾驶员身体12的一部分的照明水平的照明系统206。照明系统206可以包括车辆的照明系统，其中光源被设置在整个车辆中。该照明系统还可以包括与耦合到系统控制器200的相机210相关联的光或者除了车辆照明系统之外的补充光源。例如，如果车辆中的环境光水平是低的，则系统控制器200可以确定应当提供附加照明并且可以将该照明系统配置成提供附加光，以使得相机210可以更精确地获得用于系统控制器的生物测量。例如，系统控制器还可以耦合或可操作地连接到附加传感器208(诸如红外传感器、光传感器)以及非图像传感器(诸如压力传感器)。相机210可以包括红外检测器和通过使用滤光器的多频率检测性能。
附加传感器208可以被用来测量驾驶员的生物状况，并且系统控制器200可以使用来自非图像传感器208和相机210这两者的输入，以在来自相机210的图像数据具有差的质量时更精确地测量生物状况。另外，来自非图像传感器208的一些信号可能具有不同程度的可靠性。例如，一些信号可以因信号扰动(诸如振动和靠近正被感测的人)而具有低的SNR。因此，系统控制器200可以接收来自相机210的图像信号和来自附加感测单元208的非图像信号这两者，并且通过盲源分离或其它相关性技术来使信号相关。另外，系统控制器200和相机210可以被配置成通过滤光技术来仅测量包含感兴趣的较强生物信息的特定频率。另外，对由相机210检测的光进行滤光可以减小或去除存在于由相机210所获得的信号中的噪声。应当理解的是，本文描述的系统的任意组合可由系统控制器200用来获得和使用生物测量。
现在参照图1A-B，示出了车辆10和驾驶员12的透视图。车辆10可以包括耦合到相机30和/或32的系统控制器40。相机30和/或32可以位于车辆10的仪表盘显示器20上或附近、位于车辆10的方向盘22中、或位于车辆10的任意其它位置中，使得相机30和/或32具有驾驶员12的面部和/或身体的清晰视界，以便相机30和/或32能够检测车辆驾驶员的图像数据。相机30和/或32可以向系统控制器40提供包含图像数据的连续帧的信号。该图像数据能够随后由系统控制器40进行分析，以获得从驾驶员12的被感测生物测量中得到的生物参数，诸如心率或呼吸数。
车辆10还可以包括可以为系统控制器提供附加照明的光源。该附加照明可以允许例如相机30和/或32更易于获得来自驾驶员12的生物测量。可以将光源合并到仪表盘显示器20、方向盘22、后视镜24、用于车辆的平视显示器的按钮灯26、车辆的中控台28或其它位置中。
车辆10还可以包括位于车辆10中的、被配置成获得驾驶员的生物测量的传感器或其它设备，诸如非图像传感器208。非图像传感器208和其它设备可以包括例如压电传感器、压力传感器、超声波换能器、电场换能器、红外传感器或麦克风。由非图像传感器208获得的生物测量可以与由相机30和/或32获得的生物测量相组合，以改善所确定的生物参数的精度。非图像传感器可以位于例如座椅靠背14、座底16(例如压力传感器)、座椅安全带18(例如，压力传感器、压电传感器)、方向盘22(例如指向驾驶员12的红外传感器或光传感器)、或车辆中的别的地方中。系统控制器40可以位于车辆10中，并且可以耦合到各种相机30和/或32、非图像传感器208或各种其它车辆部件中。系统控制器40可以向各种车辆部件传送信号，并且基于所接收的信号向车辆部件提供警告、警报或其它输出。
现在参照图2，示出了系统控制器200和各种车辆系统的框图，包括车辆部件204。车辆部件204可以包括例如显示器、车辆电子控制单元(ECU)、照明系统、中断系统、以及麦克风或声音系统。系统控制器200可以向一个或若干个车辆部件204提供输出信号，其中所述信号携载与车辆操作相关的指令。例如，系统控制器200可以提供输出信号，其利用信息促使显示以在仪表盘显示器、车辆的中控台或车辆的HUD上显示数据。输出信号可以包含包括基于从相机210接收的驾驶员的图像数据中得到的状况信号而得出驾驶员12没有进行最佳驾驶或者未处于驾驶状态的警告或警报的信息。
系统控制器200可以向车辆ECU提供与车辆的操作相关的输出信号。系统控制器200可以向车辆ECU提供包含指令的输出信号。例如，如果系统控制器200确定驾驶员的状况正在阻碍驾驶员正确地操作车辆，系统控制器200可以指示车辆ECU 204停止车辆。系统控制器200可以提供使得一个或多个车辆部件204向驾驶员12提供建议或警告的输出信号。另外，系统控制器200可以传送使得或引导改变车辆10的操作的输出信号。
系统控制器200可以向车辆的照明系统206提供信息。照明系统206可以根据来自系统控制器200的命令而调整车辆内部的照明。例如，如果系统控制器200确定相机210需要更多的光，则可以增加来自照明系统206的光源的光的强度。也可以调整光源的方向以照亮(或变暗)驾驶员身体的合适部位。系统控制器200可以具有存储在存储器中的预定阈值，以确定在车辆中检测到的环境光是否足够用于产生驾驶员12的图像数据。系统控制器200可以向车辆的麦克风或声音系统208提供信息。声音系统208可以向车辆的驾驶员或其它乘客提供驾驶员的状况的声响警报。系统控制器200还耦合到用于获得生物测量的相机210。系统控制器200还可以耦合到与车辆的操作相关的车辆部件204，并且可以基于与车辆驾驶员的基于图像数据的生物或生理状况相关联的状况信号向那些部件204提供输出信号。作为示例，该状况信号可以是车辆乘客的心率或呼吸率的测量值。
现在参照图3，更详细地示出了示例性的系统控制器300。该系统控制器300包括相机302、照明模块304、信号相关性模块306、驾驶员警报模块308、至少一个处理器322、以及至少一个存储器324。例如，控制器300用在诸如图2所示的用于监控车辆驾驶员的系统中。各种模块可以包括存储在存储器324中并由处理器322执行的软件指令。例如，照明模块304可以从相机302接收输入并确定照明水平的变化。基于该确定，系统控制器300的照明模块304可以向照明系统310发送输出信号，以增加一个或多个光源的强度或开启附加的光源。可替换地，照明模块304可以确定在车辆中存在着可用的足够的环境光，以使得相机302能够根据在相机302捕获的图像数据来检测生物测量。
照明模块304可以确定和/或设定所提供的附加光的光频率。一些光频率与其它光频率相比允许更大的生物测量检测。具体来说，由相机302通过体积描记技术进行的心血管脉冲波的检测可以在使用对应于在大约520-585纳米(nm)的黄/绿可见光的频率时被增强。然而，以该频率在驾驶员的脸上投射显著的光会妨碍处于低环境光状况中的驾驶员。已知血红蛋白在大约400nm的频率(即从可见光向紫外光转变的频率)处具有较高的吸收率，其中人眼对光不太敏感。因此，在该频率下提供的补充光源是更为期望的，这是因为驾驶员不太会注意这样的光。光源可以被设置在车辆内的各种位置(诸如仪表盘显示器、中控面板显示器、方向盘照明、按钮照明)中或者在相机302上。光频率可以以减小的占空比进行脉冲，以使得相机302的快门可以与这些脉冲同步。在这样的情况下，较低的整体光强度被投射到驾驶员的脸上，同时保持在相机302处所检测的图像数据的SNR是高的。
另外，由相机302执行的脸部和眼睛跟踪可以被用来在减小投射至驾驶员的眼睛的可见光的方向或模式上将照明系统310内的补充光源校准和/或引向驾驶员的脸部。照明系统310和相机302还可以被引向驾驶员的手或其它暴露的皮肤，以便避免将光引向驾驶员的眼睛。
信号相关性模块306从相机302接收信号，并且信号被配置成对这些信号进行分析。例如，信号相关性模块306可以接收这些信号并使用滤波来将噪声从信号中分离出。
系统控制器300还包括驾驶员警报模块308。驾驶员警报模块308可以接收并分析来自照明模块304和/或信号相关性模块306的数据。驾驶员警报模块308可以基于驾驶员的心率、呼吸率或者生物状态的其它度量来确定驾驶员不能正确操作车辆或者存在无法正确操作车辆的风险。驾驶员警报模块306可以向车辆部件204或与该确定相关的触觉警告设备提供包含消息的输出信号。
处理器322和存储器324可以用来实现本文描述的过程。处理器322可以是被配置成执行存储在存储器324中的计算机代码或指令的通用处理器、ASIC、或者另外合适的处理器。存储器324可以是用于存储软件对象和/或计算机指令的硬盘存储器、闪存、网络存储器、RAM、ROM、计算机可读介质的组合或任意其它适当的存储器。当处理器322执行存储在存储器324中的指令以用于完成本文描述的各种动作时，处理器322通常配置系统控制器300以完成这样的动作。处理器322可以耦合到系统控制器300的各种模块或者包括系统300的各种模块，诸如驾驶员警报模块306。这些模块可以是软件或硬件，并且可以是模拟的或数字的。每个模块还可以包括类似于处理器322的附加处理器。在这样的实施例中，可以省略处理器322。
还参照图4，示出了使用系统控制器300来调整照明水平的示例性过程400的流程图。在步骤402中，在从相机302接收到车辆驾驶员的图像数据并确定图像质量(诸如车辆中的环境光水平)是高于还是低于预定阈值之后，在步骤404中，照明模块可以确定相机302能够检测或者查看能够测量生物状况的某些属性所处的合适的照明水平或光设定。一旦在步骤404中确定了合适的光设定，就在步骤406中向照明系统(诸如照明系统206)提供该光设定。根据一个实施例，随后在步骤408中，基于来自系统控制器300的输出信号来调整车辆的光。图4所示的过程可以是迭代或非迭代的。
现在参见图5，示出了另一示例性系统控制器500。例如，控制器500被用在诸如如图2所示的用于监控车辆驾驶员的系统中。所示相机302耦合到滤光器504，以用于对由相机302检测的光进行滤光。使用滤光器504，系统控制器500可以通过仅测量包含感兴趣的较强生物测量的频率，来增强从相机302接收的信号的SNR。例如，已知血红蛋白在黄-绿频率范围(近似在520-585nm之间)内以及在紫色频率范围(近似在390-420nm之间)内更强列地吸收光。使用滤光器504对光进行滤波以仅检测黄-绿或紫色频率范围的一部分将去除存在于其它相邻频带内的噪声，从而改善SNR。所改善的信号随后可以由信号相关性模块306和驾驶员警报模块308使用，以更精确地确定驾驶员的状况。系统控制器500还包括如图3所描述的处理器和存储器。
现在参见图6，示出了系统控制器600。例如，控制器600被用在诸如如图2所示的用于监控车辆驾驶员的系统中。在图6中，所示各种传感器和换能器602耦合到系统控制器600并且可以向系统600和信号相关性模块306提供与由传感器和换能器602所检测的生物测量有关的数据。来自传感器和换能器602的信号可以与来自相机302的信号相关联，以确定车辆驾驶员的生物参数。系统控制器600可以在对于相机302而言没有足够的环境光时使用来自传感器和换能器602的信号。例如，如果系统控制器600确定由相机302所捕获的图像数据具有差的图像质量，例如图像质量低于存储在存储器324中的预定阈值，使得驾驶员12的生物参数不能从图像数据中得到，则系统控制器600可以改变照明系统206或者从非图像传感器208中取得数据，以利用非图像传感器数据来改善图像数据质量或者来补充图像数据，以便取得与驾驶员12的生物状况有关的状况信号。
来自相机302的信号可以与来自各种传感器602(诸如非干扰地检测感兴趣的生物测量的非图像传感器)的信号相关联。由传感器检测的每个单独的生物测量可以会具有内在的弱点，诸如在机械振动期间的低SNR、在电场撞击下的低SNR、或者在传感器距驾驶员的距离增加时的低SNR。然而，当由信号相关性模块306将这些信号与来自其它传感器、换能器和相机302的低SNR信号相关联时，针对驾驶员的改进的生理状况指示可以通过信号相关性模块306来取得并被提供给驾驶员警报模块308。
传感器602可以包括一个或多个压电传感器610。压电传感器610可以位于车辆中并且耦合到系统控制器600。压电传感器610可以位于车辆10的座位14、16、座位安全带18或方向盘22中，并且可以测量由车辆10的驾驶员12施加给与驾驶员12相接触的车辆10的座位14、16、座位安全带18、方向盘22或其它部分的动态压力或力。
传感器602可以包括一个或多个压力传感器612。压力传感器612可以位于车辆中并耦合到系统控制器600。压力或力传感器612可以位于车辆的座位14、16、座位安全带18或方向盘22中。压力传感器612可以包括气囊/流体囊、压力敏感油墨、力敏感电阻器、或应变计，并且向系统控制器600提供与由车辆10的驾驶员12施加给与驾驶员12相接触的车辆10的座位14、16、座位安全带18、方向盘轮缘22或其它部分的动态压力或力有关的信号。
传感器602可以包括超声波换能器614。超声波换能器614可以位于车辆中，并且向系统控制器600提供与已经从驾驶员的身体和/或衣服反射的高频声波有关的信号。超声波换能器614可以位于车辆10的座位安全带18、仪表盘20、方向盘22或另外区域中。容性耦合的电场换能器616可以位于车辆10的座位14、16、座位安全带18、方向盘22或另外区域中，并且向系统控制器600提供与电场有关的信号。
传感器602可以包括红外传感器618。红外传感器618或光电二极管可以被包括在车辆10中，例如被包括在仪表板20或方向盘22中，并且可以指向驾驶员12的脸或手。红外传感器618通过补充的或自然的红外光源来测量从驾驶员12自然辐射或从驾驶员12反射的红外光，并且向系统控制器600提供与所测量的动态红外光强度有关的信号。更普遍地，光传感器620还可以被包括在车辆10中(例如，被包括在车辆的方向盘或仪表板中)，并且可以指向驾驶员12的脸或手。光传感器620检测光和光变化，并且向系统控制器600提供与光变化有关的信号。光传感器620由大部分地不可见光源来补充。另外，光传感器620和红外传感器618以及任意的传感器602可根据期望的实现方式而与照明系统206、非图像传感器208、车辆部件204、或相机210相关联。
传感器620可以包括麦克风，其用于检测声音并向系统控制器600提供与由驾驶员12制造的声音有关的信号。麦克风622可以位于座位14、16、座位安全带18、方向盘22或其它位置中。
所示系统控制器600包括用于检测多个光频率的一个或多个带通滤波器624。可以将带通滤波器624应用于由相机302提供的图像信号或来自相机302的图像的像素子集。
信号相关性模块306可以从传感器和换能器602以及从相机302接收各种信号。感兴趣的生物参数可以由信号相关性模块306通过使用各种相关性技术进行识别。例如，盲源分离(BSS)可以被用来分离和识别相关的生物测量。对于诸如心率和呼吸率之类的生理参数，可以通过带通滤波(例如通过带通滤波器624)来实现与噪声分离的一些信号，这是因为针对信号的期望频率范围是已知的。然而，具有无法通过传统硬件/软件滤波来去除的与噪声源重叠的频率。因此，可以使用BSS技术，包括主分量分析(PCA)、独立分量分析(ICA)或稀疏分量分析(SCA)。驾驶员警报模块308可以使用来自信号相关性模块306的信号并且确定是否应当响应于驾驶员的当前状况来进行车辆操作中的警报或另一改变。在应用BSS技术之后，可以应用快速傅里叶变换(FFT)技术以进一步处理这些信号，以便提取基于频率的生物测量，诸如呼吸率和呼吸数。
还参照图7，示出了使用来自附加传感器602(诸如非图像传感器208)的信号来改善生物测量的质量的过程700的流程图。在步骤704中，系统控制器600可以接收来自相机302的图像数据并且确定该图像数据的质量是否足够用于得到车辆驾驶员12的生物参数。例如，图像数据的质量可以基于SNR、检测的环境光、或信号强度中的一种或多种。如果图像数据足够用于产生驾驶员12的可靠生物参数，则在步骤710中，该过程确定车辆驾驶员12的至少一个生物参数。然而，如果来自相机302的图像数据是不足够的，例如未能满足或超过预定图像质量阈值，则在步骤706中，系统控制器600请求来自其中一个或多个传感器602(诸如非图像传感器)的信号。一旦在步骤706中接收到来自传感器602的附加信号，则过程700将例如在信号相关性模块306处将图像和非图像数据相关联，以在步骤710中确定可靠的生物参数。如前所述，所确定的生物参数随后可以由驾驶员警报模块308使用，以向车辆部件204发送输出信号，以便向驾驶员警报不适合的状况。生物参数可以是呼吸数，而且如果呼吸数太低的话，输出信号促使扬声器为了警觉驾驶员的目的而发出听得见的命令。
虽然所示的系统控制器包括彼此结合而被使用的多个特征，但是该系统可以可替换地利用比所有指出的机制或特征更多或更少的特征。例如，在其它示例性实施例中，具有比所示传感器更多或更少的传感器，图3、5和6的实施例中的各种模块可以被组合等。另外，系统控制器可以在车辆之外的环境中使用。
虽然已经在附图中阐述了每个元件的特定形状和位置，但是每个元件可以具有便于由该元件所执行的功能的任意其它形状或位置。例如，相机和光源已经被示为位于特定的车辆位置中；然而，在其它示例性实施例中，感测元件可以位于车辆中的任意位置中。
为了该公开内容的目的，术语“耦合”意味着两个部件(电气地、机械地或磁性地)直接或间接的彼此结合。这种结合可以是自然静止的或自然移动的。这种结合可以利用整体上被定义为单个单一体的两个部件(电气的或机械的)以及任意附加的中间构件来实现，或者利用彼此附接的两个部件或两个部件和任意附加构件来实现。这种结合可以是本质上永久的，或者可替换地可以是本质上可去除的或可释放的。
虽然已经参照示例性实施例对本公开内容进行了描述，但是本领域技术人员能够认识到，在不背离所公开主题的精神和范围的情况下，可以在形式和细节方面做出多种改变。例如，虽然已经将不同的示例性实施例描述为包括用于提供一个或多个益处的一个或多个特征，但是可以设想，在所描述的示例性实施例或在其它可替换实施例中，所描述的特征可以彼此互换或可替换地彼此组合。由于本公开内容的技术是相对复杂的，所以不是该技术中的所有改变都是能预测的。参照示例性实施例所描述的本公开内容显然意欲尽可能地广泛。例如，除非以其它方式特别指出，否则引用单个特定元件的示例性实施例也涵盖了多个这样的特定元件。
示例性实施例可以包括程序产品，该程序产品包括用于执行或具有存储于其上的机器可执行指令或数据结构的计算机或机器可读介质。例如，系统控制器可受计算机驱动。在附图的方法中所示出的示例性实施例可以由程序产品所控制，该程序产品包括用于执行或具有存储于其上的机器可执行指令或数据结构的计算机或机器可读介质。这种计算机或机器可读介质可以是可由具有处理器的通用或专用计算机或其它机器所访问的任意可用介质。通过示例的方式，这样的计算机或机器可读介质可以包括RAM、ROM、EPROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁存储设备，或可用于携载或存储以机器可执行指令或数据结构的形式的期望程序代码且可由具有处理器的通用或专用计算机或其它机器访问的任何其它介质。上述的组合也包括在计算机或机器可读介质的范围内。计算机或机器可执行指令包括例如使得通用计算机、专用计算机、或专用处理机器执行特定功能或功能组的指令和数据。本发明的软件实现方式能够利用具有基于规则的逻辑和其它逻辑以实现各种连接步骤、处理步骤、比较步骤和决定步骤的标准编程技术来实现。
重要的是，应注意在优选和其它示例性实施例中所示出的该系统的元件的结构和布置仅是说明性的。虽然在本公开内容中仅详细描述了一些实施例，但阅读本公开内容的本领域技术人员将容易理解，在未实质性背离所列举的主题的新颖性教导和优点的情况下，许多修改均是可能的(例如，各种元件的大小、尺寸、结构、形状以及比例、参数值、安装布局、材料使用、颜色、方位等的变化)。例如，被示为整体形成的元件可以由被示为可被整体形成的多个零件的多个零件或元件来构成，组件的操作可以被反向或者以其它方式被改变，结构的长度或宽度和/或该系统的构件或连接件或其它元件可以被改变，设置在元件之间的调整或附接位置的属性或数量可以改变。应当注意的是，该系统的元件和/或组件可以由提供足够的强度或耐用性的广泛种类的材料中的任意材料来构成。因此，所有这些修改均意欲被包含在本公开内容的范围内。任何处理或方法步骤的顺序或次序均可根据可替换实施例进行改变或重排序。在不背离本公开主题的精神的情况下，可对优选和其它示例性实施例的设计、操作条件和布置进行其它替换、修改、改变和/或省略。

Claims (19)

1.一种被配置成接收图像数据和改善图像数据的质量的系统，所述图像数据用于确定车辆驾驶员的状况，所述系统包括：
相机，其被设置以检测所述车辆驾驶员的图像数据；
照明系统，其被设置以可见光或以从可见光向紫外光转变处的光照亮所述车辆的内部；
控制器，其被配置成接收所检测的图像数据并确定所述图像数据的质量；
其中，所述控制器还被配置成基于所确定的图像数据质量来改变所述照明系统；并且
其中，所述控制器被配置成分析所述图像数据来确定所述驾驶员的生物或生理状况，其中所述驾驶员的生物或生理状况是下列中的至少一个：所述驾驶员的心率，以及所述驾驶员的呼吸率。
2.根据权利要求1所述的系统，其中，所述控制器还被配置成基于所确定的所述驾驶员的生物或生理状况来向车辆部件发送输出信号。
3.根据权利要求1所述的系统，其中，所述控制器还被配置成接收来自非图像传感器的输入；并且其中，根据所确定的图像数据质量，所述控制器被配置成基于所述车辆驾驶员的图像数据和来自所述非图像传感器的输入这两者来确定所述驾驶员的生物或生理状况。
4.根据权利要求1所述的系统，其中，改变所述照明系统包括增加在所述照明系统中的至少一个光源的强度。
5.根据权利要求2所述的系统，其中，所述输出信号促使显示数据呈现在位于所述车辆的内部的显示设备上。
6.根据权利要求2所述的系统，其中，所述输出信号促使听得见的数据从声音系统发出。
7.根据权利要求1所述的系统，其中，所述图像数据质量是信噪比的测量量。
8.根据权利要求1所述的系统，其中光频率以减小的占空比发射脉冲且所述相机的快门与这些脉冲同步。
9.根据权利要求1所述的系统，其中所述控制器和相机被配置以通过滤光仅测量包含感兴趣的较强生物信息的特定频率。
10.一种被配置成接收数据和改善数据的质量的系统，所述数据用于确定车辆驾驶员的状况，所述系统包括：
相机，其被设置以检测所述车辆驾驶员的图像数据；
照明系统，其被设置以照亮所述车辆的内部；及
控制器，其被配置成接收所检测的图像数据并确定所述图像数据的质量；
其中，所述控制器被配置成分析所述图像数据来确定所述驾驶员的生物或生理状况，其中所述驾驶员的生物或生理状况是下列中的至少一个：所述驾驶员的心率，以及所述驾驶员的呼吸率；
其中，所述控制器还被配置成接收来自非图像传感器的输入；并且
其中，根据所确定的图像数据质量，所述控制器被配置成用来自所述非图像传感器的输入来补充所述车辆驾驶员的图像数据。
11.根据权利要求10所述的系统，其中，所述控制器还被配置成基于所确定的所述驾驶员的生物或生理状况来向车辆部件发送输出信号。
12.根据权利要求10所述的系统，其中，所述控制器还被配置成基于对所述图像数据质量的确定来改变所述照明系统。
13.根据权利要求10所述的系统，其中，所述非图像传感器包括压力传感器、电场换能器和超声波换能器中的至少一个。
14.根据权利要求13所述的系统，其中，所述非图像传感器包括压电传感器。
15.根据权利要求13所述的系统，其中，所述非图像传感器包括麦克风。
16.根据权利要求11所述的系统，其中，所述输出信号促使显示数据呈现在位于所述车辆的内部的显示设备上。
17.根据权利要求11所述的系统，其中，所述输出信号促使听得见的数据从声音系统发出。
18.根据权利要求11所述的系统，其中，所述输出信号促使改变从所述照明系统发出的光。
19.根据权利要求10所述的系统，其中，所述图像数据质量是信噪比的测量量。
CN201180066594.0A 2010-12-10 2011-12-09 用于监控车辆驾驶员的系统 Active CN103347446B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US42211610P 2010-12-10 2010-12-10
US61/422,116 2010-12-10
PCT/US2011/064185 WO2012078996A2 (en) 2010-12-10 2011-12-09 System for monitoring a vehicle driver

Publications (2)

Publication Number Publication Date
CN103347446A CN103347446A (zh) 2013-10-09
CN103347446B true CN103347446B (zh) 2016-10-26

Family

ID=46200170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180066594.0A Active CN103347446B (zh) 2010-12-10 2011-12-09 用于监控车辆驾驶员的系统

Country Status (5)

Country Link
US (1) US20120150387A1 (zh)
EP (1) EP2648618B1 (zh)
JP (1) JP5997871B2 (zh)
CN (1) CN103347446B (zh)
WO (1) WO2012078996A2 (zh)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129505B2 (en) 1995-06-07 2015-09-08 American Vehicular Sciences Llc Driver fatigue monitoring system and method
US9142142B2 (en) 2010-12-10 2015-09-22 Kaarya, Llc In-car driver tracking device
CN104755355B (zh) * 2012-10-23 2018-01-26 Tk控股公司 转向盘灯条
DE112013005118T5 (de) * 2012-10-23 2015-08-27 Tk Holdings Inc. Lenkrad-Lichtbalken
BR112015022115A2 (pt) * 2013-03-14 2017-07-18 Koninklijke Philips Nv dispositivo para obter informações de sinais vitais de um indivíduo, método para obter informações de sinais vitais de um indivíduo, aparelho de processamento para obter informações de sinais vitais de um indivíduo, método de processamento para obter informações de sinais vitais de um indivíduo, e, programa de computador
US20140375785A1 (en) * 2013-06-19 2014-12-25 Raytheon Company Imaging-based monitoring of stress and fatigue
US20150077556A1 (en) * 2013-09-13 2015-03-19 Ford Global Technologies, Llc Vehicle system for automated video recording
US20160228011A1 (en) * 2013-09-26 2016-08-11 Sharp Kabushiki Kaisha Bio-information acquiring device and bio-information acquiring method
JP6107595B2 (ja) * 2013-10-23 2017-04-05 株式会社デンソー 状態監視装置
US10277837B2 (en) * 2013-11-05 2019-04-30 Visteon Global Technologies, Inc. System and method for monitoring a driver of a vehicle
CN103680058A (zh) * 2013-12-09 2014-03-26 灏泷智能科技（上海）有限公司 一种疲劳驾驶监测提醒系统
DE102014200783A1 (de) * 2014-01-17 2015-07-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung und Computerprogrammprodukt zum Betreiben eines Kraftfahrzeugs
DE102014211882A1 (de) * 2014-06-20 2015-12-24 Robert Bosch Gmbh Verfahren zur Ermittlung der Herzfrequenz des Fahrers eines Fahrzeugs
CN106536280B (zh) 2014-07-23 2019-06-18 Tk控股公司 转向握柄灯条系统
JP6442942B2 (ja) * 2014-09-11 2018-12-26 株式会社デンソー ドライバ状態判定装置
ES2836849T3 (es) * 2014-11-21 2021-06-28 Nokia Technologies Oy Un aparato, procedimiento y programa de ordenador para identificar rasgos biométricos
KR101619651B1 (ko) * 2014-11-26 2016-05-10 현대자동차주식회사 운전자 감시장치 및 그의 조명제어방법
CN104434077A (zh) * 2014-12-23 2015-03-25 芜湖市汽车产业技术研究院有限公司 一种车载心率监测装置及方法
US10614328B2 (en) * 2014-12-30 2020-04-07 Joyson Safety Acquisition LLC Occupant monitoring systems and methods
US9533687B2 (en) * 2014-12-30 2017-01-03 Tk Holdings Inc. Occupant monitoring systems and methods
US10532659B2 (en) 2014-12-30 2020-01-14 Joyson Safety Systems Acquisition Llc Occupant monitoring systems and methods
FR3032919B1 (fr) * 2015-02-19 2017-02-10 Renault Sa Procede et dispositif de detection d'un changement de comportement de conducteur d'un vehicule automobile
KR102381140B1 (ko) * 2015-02-25 2022-03-31 엘지전자 주식회사 디지털 디바이스 및 그의 운전자 모니터링 방법
US9580012B2 (en) 2015-03-02 2017-02-28 Tk Holdings Inc. Vehicle object detection and notification system
US9454904B1 (en) * 2015-03-16 2016-09-27 Ford Global Technologies, Llc Safety pedal obstruction and command intention detection
CN105759677B (zh) * 2015-03-30 2018-11-20 公安部第一研究所 一种适于视觉终端作业岗位的多模态行为分析与监控系统及方法
WO2016156462A1 (en) * 2015-03-31 2016-10-06 Philips Lighting Holding B.V. Lighting system and method for improving the alertness of a person
CN107531265B (zh) 2015-04-24 2020-09-15 Tk控股公司 转向盘灯条
US20170032250A1 (en) * 2015-07-29 2017-02-02 Ching-Ping Chang Machine Status And User Behavior Analysis System
KR101730321B1 (ko) * 2015-08-03 2017-04-27 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
CN105966307A (zh) * 2015-11-02 2016-09-28 乐卡汽车智能科技（北京）有限公司 一种在车辆内部进行安全检测的方法及装置
DE102016121890A1 (de) * 2015-11-23 2017-05-24 Ford Global Technologies, Llc System und Verfahren zur Fernaktivierung von Fahrzeugbeleuchtung
JP6763719B2 (ja) * 2015-12-07 2020-09-30 パナソニック株式会社 生体情報測定装置、生体情報測定方法及びプログラム
US10912516B2 (en) 2015-12-07 2021-02-09 Panasonic Corporation Living body information measurement device, living body information measurement method, and storage medium storing program
CN108430321B (zh) * 2015-12-23 2023-01-10 皇家飞利浦有限公司 用于确定人的生命体征的设备、系统和方法
KR102549797B1 (ko) * 2016-05-10 2023-06-30 삼성전자주식회사 전자 장치 및 그의 운전자 상태 판단 방법
US10065651B2 (en) 2016-05-10 2018-09-04 Samsung Electronics Co., Ltd Electronic device and method for determining a state of a driver
CN106650644B (zh) * 2016-12-07 2017-12-19 上海交通大学 驾驶员危险行为识别方法及系统
US10696217B2 (en) 2017-01-04 2020-06-30 Joyson Safety Systems Acquisition Vehicle illumination systems and methods
DE102017205386A1 (de) * 2017-03-30 2018-10-04 Robert Bosch Gmbh Fahrerbeobachtungsvorrichtung und Verfahren zum Beobachten eines Fahrers in einem Fahrzeug zum Bestimmen zumindest einer Position des Fahrers in dem Fahrzeug
EP3609756A4 (en) * 2017-05-08 2021-01-27 Joyson Safety Systems Acquisition LLC INTEGRATION OF OCCUPANT MONITORING SYSTEMS THROUGH VEHICLE CONTROL SYSTEMS
US9953210B1 (en) 2017-05-30 2018-04-24 Gatekeeper Inc. Apparatus, systems and methods for improved facial detection and recognition in vehicle inspection security systems
US11538257B2 (en) 2017-12-08 2022-12-27 Gatekeeper Inc. Detection, counting and identification of occupants in vehicles
EP3727135B1 (en) * 2017-12-22 2024-02-28 ResMed Sensor Technologies Limited Apparatus, system, and method for motion sensing
JP7510346B2 (ja) 2017-12-22 2024-07-03 レスメッド センサー テクノロジーズ リミテッド 車両内生理学的感知のための装置、システムおよび方法
EP3727134B8 (en) * 2017-12-22 2023-03-08 ResMed Sensor Technologies Limited Processor readable medium and corresponding method for health and medical sensing
WO2019173750A1 (en) 2018-03-08 2019-09-12 Joyson Safety Systems Acquisition Llc Vehicle illumination systems and methods
US10821890B2 (en) * 2018-05-04 2020-11-03 Lumileds Llc Light engines with dynamically controllable light distribution
FR3087029B1 (fr) * 2018-10-08 2022-06-24 Aptiv Tech Ltd Systeme de detection faciale d’un conducteur et methode associee
EP3882884A4 (en) * 2018-11-13 2022-01-05 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US11299174B2 (en) * 2018-11-16 2022-04-12 Kyndryl, Inc. Dual-test operator assessment
RU2703341C1 (ru) * 2018-12-17 2019-10-16 Федеральное государственное бюджетное учреждение науки Санкт-Петербургский институт информатики и автоматизации Российской академии наук (СПИИРАН) Способ определения опасных состояний на дорогах общего пользования на основе мониторинга ситуации в кабине транспортного средства
JP7159858B2 (ja) * 2018-12-26 2022-10-25 トヨタ紡織株式会社 脈波情報処理装置、脈波情報処理システム、車両、脈波情報処理方法、および脈波情報処理プログラム
CN109948729A (zh) * 2019-03-28 2019-06-28 北京三快在线科技有限公司 司机身份识别方法及装置、电子设备
TWI684433B (zh) * 2019-04-19 2020-02-11 鉅怡智慧股份有限公司 生物影像處理方法以及生理資訊檢測裝置
CN110077396B (zh) * 2019-04-29 2021-09-24 北京地平线机器人技术研发有限公司 可移动设备的控制方法、控制装置及电子设备
US10867193B1 (en) 2019-07-10 2020-12-15 Gatekeeper Security, Inc. Imaging systems for facial detection, license plate reading, vehicle overview and vehicle make, model, and color detection
US11433906B2 (en) * 2019-07-11 2022-09-06 Magna Electronics Inc. Vehicular driver monitoring system with heart rate measurement
US11150665B2 (en) * 2019-09-17 2021-10-19 Ha Q Tran Smart vehicle
US11196965B2 (en) 2019-10-25 2021-12-07 Gatekeeper Security, Inc. Image artifact mitigation in scanners for entry control systems
GB2591518B (en) * 2020-02-03 2022-03-02 Perkins Engines Co Ltd Vehicle lighting control using image processing of changes in ambient light intensity
DE102020204731A1 (de) * 2020-04-15 2021-10-21 Continental Automotive Gmbh Verfahren zum Betreiben eines Kraftfahrzeugs und System
WO2022047342A1 (en) * 2020-08-28 2022-03-03 Aguilera Jr Rogelio System and method for using deep neural networks for adding value to video streams
US11507194B2 (en) * 2020-12-02 2022-11-22 Huawei Technologies Co., Ltd. Methods and devices for hand-on-wheel gesture interaction for controls

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101224113A (zh) * 2008-02-04 2008-07-23 电子科技大学 机动车驾驶员状态监控方法及系统
CN201337458Y (zh) * 2009-01-10 2009-11-04 山西智济电子科技有限公司 人员疲劳状态实时监测装置
CN101803928A (zh) * 2010-03-05 2010-08-18 北京智安邦科技有限公司 基于视频的驾驶员疲劳检测装置
CN101808575A (zh) * 2007-09-25 2010-08-18 皇家飞利浦电子股份有限公司 用于监控就座者的生命体征的方法和系统

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6856873B2 (en) * 1995-06-07 2005-02-15 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
US8604932B2 (en) * 1992-05-05 2013-12-10 American Vehicular Sciences, LLC Driver fatigue monitoring system and method
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
DE10003643A1 (de) 2000-01-28 2001-08-02 Reitter & Schefenacker Gmbh Überwachungseinrichtung für Fahrzeuge, vorzugsweise für Kraftfahrzeuge
WO2002050792A1 (en) 2000-12-21 2002-06-27 Todor Stankovic The procedure and device intended for the man-machine system security preservation under a man's drowsiness conditions
US7027621B1 (en) * 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
US7136513B2 (en) * 2001-11-08 2006-11-14 Pelco Security identification system
US7280678B2 (en) * 2003-02-28 2007-10-09 Avago Technologies General Ip Pte Ltd Apparatus and method for detecting pupils
JP4111062B2 (ja) * 2003-05-27 2008-07-02 株式会社デンソー 眠気度合検出装置
ZA200608191B (en) * 2004-04-01 2008-07-30 William C Torch Biosensors, communicators, and controllers monitoring eye movement and methods for using them
EP1799483A1 (en) * 2004-06-09 2007-06-27 H-icheck Ltd. A security device
US7777778B2 (en) * 2004-10-27 2010-08-17 Delphi Technologies, Inc. Illumination and imaging system and method
JP2006248363A (ja) * 2005-03-10 2006-09-21 Omron Corp 運転者照明装置、運転者撮影装置および運転者監視装置
US7578593B2 (en) * 2006-06-01 2009-08-25 Delphi Technologies, Inc. Eye monitoring method with glare spot shifting
US8102417B2 (en) * 2006-10-25 2012-01-24 Delphi Technologies, Inc. Eye closure recognition system and method
US20080166052A1 (en) * 2007-01-10 2008-07-10 Toshinobu Hatano Face condition determining device and imaging device
JP2008188108A (ja) * 2007-02-01 2008-08-21 Toyota Motor Corp 覚醒度推定装置
JP5045212B2 (ja) * 2007-04-25 2012-10-10 株式会社デンソー 顔画像撮像装置
JP4585553B2 (ja) * 2007-08-07 2010-11-24 日立オートモティブシステムズ株式会社 装置
US7869705B2 (en) * 2008-01-21 2011-01-11 Microsoft Corporation Lighting array control
US20090203998A1 (en) * 2008-02-13 2009-08-13 Gunnar Klinghult Heart rate counter, portable apparatus, method, and computer program for heart rate counting
JP5233322B2 (ja) * 2008-02-28 2013-07-10 オムロン株式会社 情報処理装置および方法、並びに、プログラム
US8106783B2 (en) * 2008-03-12 2012-01-31 Denso Corporation Input apparatus, remote controller and operating device for vehicle
KR100975590B1 (ko) * 2008-05-22 2010-08-13 (주) 텔트론 졸음 감지방법
US8052311B2 (en) * 2008-11-26 2011-11-08 Ilo Kristo Xhunga Pull-down self-supportive lighting mounted on hand-reachable ceilings
JP4788786B2 (ja) * 2009-02-09 2011-10-05 株式会社デンソー 眠気検出装置，プログラムおよび眠気検出方法
FR2943236A1 (fr) * 2009-03-18 2010-09-24 Imra Europ Sas Procede de surveillance d'un parametre biologique d'une personne au moyen de capteurs
US8659436B2 (en) * 2010-02-08 2014-02-25 Oes, Inc. Vehicle operator alertness monitoring system
US20110251493A1 (en) * 2010-03-22 2011-10-13 Massachusetts Institute Of Technology Method and system for measurement of physiological parameters

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101808575A (zh) * 2007-09-25 2010-08-18 皇家飞利浦电子股份有限公司 用于监控就座者的生命体征的方法和系统
CN101224113A (zh) * 2008-02-04 2008-07-23 电子科技大学 机动车驾驶员状态监控方法及系统
CN201337458Y (zh) * 2009-01-10 2009-11-04 山西智济电子科技有限公司 人员疲劳状态实时监测装置
CN101803928A (zh) * 2010-03-05 2010-08-18 北京智安邦科技有限公司 基于视频的驾驶员疲劳检测装置

Also Published As

Publication number Publication date
WO2012078996A3 (en) 2012-09-20
US20120150387A1 (en) 2012-06-14
CN103347446A (zh) 2013-10-09
JP5997871B2 (ja) 2016-09-28
EP2648618A4 (en) 2014-05-21
EP2648618B1 (en) 2021-07-14
EP2648618A2 (en) 2013-10-16
WO2012078996A2 (en) 2012-06-14
JP2014504191A (ja) 2014-02-20

Similar Documents

Publication Publication Date Title
CN103347446B (zh) 用于监控车辆驾驶员的系统
JP4551925B2 (ja) 運転者の知覚適性検査の方法およびシステム
US8314707B2 (en) Eye closure detection using structured illumination
US20060290516A1 (en) Distress signaling system, a body area network for anabling a distress signaling, method for signaling a condition of a distress and a vehicle arranged witha distress signaling system
US20150238087A1 (en) Biological information measurement device and input device utilizing same
CN106687026A (zh) 驾驶员健康以及疲劳监控系统和方法
EP2649935A2 (en) Evaluation method, evaluation device, program, and recording medium
WO1995033403A1 (en) Method and apparatus for monitoring and estimating the awakeness of a person
CN103927848A (zh) 一种基于生物识别技术的安全驾驶辅助系统
Fei et al. Imaging breathing rate in the co 2 absorption band
KR20220082422A (ko) 운전자 감시 장치, 차량 및 그 제어 방법
CN106228756A (zh) 车辆的智能驾驶安全辅助系统
CN104146684A (zh) 一种眼罩式眩晕检测仪
CN109381201A (zh) 车载疲劳监测系统
CN108182377A (zh) 基于摄影测量技术的人眼视线检测方法及装置
CN107289987A (zh) 模拟人体生理信号的装置和测试生理信号采集器的方法
Rundo et al. Advanced 1d temporal deep dilated convolutional embedded perceptual system for fast car-driver drowsiness monitoring
KR20230137221A (ko) 이미지 검증 방법, 그를 수행하는 진단 시스템 및 그를 수행하는 방법이 기록된 컴퓨터로 판독가능한 기록매체
CN105987717A (zh) 驾驶员视觉传感器性能测试系统
CN212353957U (zh) 健康调节系统
Solovey et al. Brain Sensing with fNIRS in the Car
CN114088422A (zh) 车辆的故障诊断方法、装置和电子设备
Rundo et al. Intelligent Saliency-based Deep Pedestrian Tracking System for Advanced Driving Assistance
KR100637797B1 (ko) 무구속 호흡측정 기반 졸음 운전 검출 장치
CN106725322B (zh) 确定处于睡眠临界区的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C53 Correction of patent for invention or patent application
CB03 Change of inventor or designer information

Inventor after: Watson William Todd

Inventor after: Muresan Adrian Valentin

Inventor after: Krause Joseph Kae

Inventor after: Tang Yipeng

Inventor before: Watson William Todd

Inventor before: Muresan Adrian Valentin

Inventor before: Krause Joseph Kae

Inventor before: Y *tang

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant