CN103442925B - 用于确定驾驶员警觉性的系统和方法 - Google Patents

用于确定驾驶员警觉性的系统和方法 Download PDF

Info

Publication number
CN103442925B
CN103442925B CN201280015051.0A CN201280015051A CN103442925B CN 103442925 B CN103442925 B CN 103442925B CN 201280015051 A CN201280015051 A CN 201280015051A CN 103442925 B CN103442925 B CN 103442925B
Authority
CN
China
Prior art keywords
driver
head
vigilance
described driver
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280015051.0A
Other languages
English (en)
Other versions
CN103442925A (zh
Inventor
G·G·尚普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TK Holdings Inc
Original Assignee
TK Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TK Holdings Inc filed Critical TK Holdings Inc
Publication of CN103442925A publication Critical patent/CN103442925A/zh
Application granted granted Critical
Publication of CN103442925B publication Critical patent/CN103442925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Abstract

驾驶员警觉性检测系统包括：配置成对车厢中的驾驶员的头部所位于的区域进行成像的成像单元；配置成从成像单元接收图像并确定驾驶员的头部和眼睛的位置的图像处理单元；以及配置成基于如图像处理单元所输出的驾驶员的头部和眼睛的所确定的位置来确定驾驶员是处于警觉状态还是处于非警觉状态中并在驾驶员被确定为处于非警觉状态中时向驾驶员输出警告的警告单元。

Description

用于确定驾驶员警觉性的系统和方法
技术领域
本申请要求通过引用被全部并入本文的于2011年3月25日提交的临时申请61/467849的优先权。本公开通常涉及驾驶员监视系统的领域。更具体地，本公开涉及用于使用图像处理来评估驾驶员的头部位置和眼睛矢量以确定驾驶员的警觉性的系统和方法。
背景技术
驾驶员监视系统变得越来越流行地被包括在车辆中，以便当驾驶员被检测到在非警觉状态中时警告驾驶员。
发明内容
根据一个示例性实施例，一种驾驶员警觉性检测系统包括：配置成对车辆的车厢中的驾驶员的头部所位于的区域进行成像的成像单元；配置成从成像单元接收图像并确定驾驶员的头部和眼睛的位置的图像处理单元；以及配置成基于如图像处理单元所输出的驾驶员的头部和眼睛的所确定的位置来确定驾驶员是在警觉状态还是在非警觉状态中并在驾驶员被确定为在非警觉状态中时向驾驶员输出警告的警告单元其中，当所述驾驶员的头部的所确定的位置被确定为不在所述车厢内的预定的驾驶员头部区域内时或当确定所述驾驶员的眼睛的转向角度到达一定程度以致未观察车辆的前方的区域时，所述警告单元确定所述驾驶员处于所述非警觉状态中。
根据另一示例性实施例，一种检测驾驶员警觉性的方法包括：对车辆的车厢中的驾驶员的头部所位于的区域进行成像，以获得成像数据；基于成像数据确定驾驶员的头部和眼睛的位置；基于驾驶员的头部和眼睛的所确定的位置来确定驾驶员是在警觉状态还是在非警觉状态中；以及当驾驶员被确定为在非警觉状态中时向驾驶员输出警告，其中，当所述驾驶员的头部的所确定的位置被确定为不在所述车厢内的预定的驾驶员头部区域内时或当确定所述驾驶员的眼睛的转向角度到达一定程度以致未观察车辆的前方的区域时，确定所述驾驶员处于所述非警觉状态中。
附图说明
根据下面的描述和在下面简要描述的附图中所示的附随的示例性实施例中，本发明的这些和其它特征、方面和优点将变得清楚。
图1是根据示例性实施例的驾驶员警觉性系统的摄像机放置和覆盖范围的示意图。
图2是根据示例性实施例的驾驶员警觉性系统的摄像机放置和覆盖的示意图。
图3是根据示例性实施例的由驾驶员警觉性系统的摄像机捕捉的平面二维强度图像和相应的2.5维伪深度图像。
图4是根据示例性实施例的示出各种头部运动的驾驶员的一系列图像。
图5是根据示例性实施例的多个驾驶员的头部运动的图像的合成。
图6是根据示例性实施例的从图5的合成图像确定的高占有率感兴趣区。
图7A是根据示例性实施例的示出摄像机坐标系和面部特征检测点的为驾驶员警觉性系统捕捉的图像。
图7B是示出主轴旋转角的在图7A的图像中的驾驶员的头部部的所检测的轮廓。
图7C是在被旋转以使图7B中的主轴与摄像机坐标系对齐之后图7A的图像。
图7D是在与摄像机坐标网格对齐之后的图7A的所捕捉的图像的检测到的面部区域。
图8A-8C是根据示例性实施例的示出在各种头部和眼睛运动下的面部结构之间的几何关系和用于在看车辆内的预定点时记录驾驶员注意力的校准步骤的一系列图像。
图9是根据示例性实施例的驾驶员警觉性系统的图形用户界面的图像。
图10是根据示例性实施例的驾驶员警觉性系统的算法的流程图。
图11是根据示例性实施例的驾驶员警觉性系统。
具体实施方式
由于从日益复杂的通信和娱乐设备引起的驾驶员分心，单车辆和多车辆事故的发生率持续增加。驾驶员越来越多地被可起到各种设备(例如即时信使、摄像机、GPS导航系统、互联网web浏览器、电影播放器和电子数据表分析工具)的作用的手机分心。这些应用的诱惑引诱新手和有经验的驾驶员不能有效地领会他们的车道位置、与其它车辆的距离、交通信号和道路边界。
根据示例性实施例，一种驾驶员警觉性系统被提供来监视驾驶员的警觉性，且如果确定驾驶员持续一段足够的时间是分心的则发出警告。参考图1和图2，驾驶员警觉性系统使用安装在仪器面板中或方向盘中的单目摄像机来计算驾驶员的头部的位置和眼睛矢量。仪器面板安装提供对乘客厢的较宽覆盖，使驾驶员离开视场变得不可能。方向盘安装强调驾驶员的面部特征，但可容易被手覆盖。方向盘的旋转被认为是有意的操纵，表明驾驶员处于高度警觉。因此，驾驶员警觉性算法被禁用，直到返回到中央位置(例如，偏离垂直线+/-15度)。
驾驶员的头部和眼睛矢量的瞬时位置报告在短持续时间内被聚集，并被用于使用驾驶员警觉性算法来确定驾驶员的注意力集中在哪里。如果驾驶员的注意力没有足够集中在已校准的向前看的区域上，警告信号将被给予驾驶员。警告信号是不管驾驶员的注意力在哪里都能够被传送到驾驶员的信号。可发出各种各样的音频警告信号、视觉警告信号或触觉警告信号，包括内置式蜂鸣器或利用在座椅板上工作的机动化凸轮通过驾驶员的座椅发送的振动。
根据示例性实施例，驾驶员警觉性算法包括对图像数据(例如752列x480行的10位强度图像)进行操作的两个独立的检测模块。第一检测模块区分开背景结构与驾驶员的轮廓，并计算头部旋转(向左或向右转)和倾斜/摇摆(使耳朵接触肩部)。第二检测模块识别头部俯仰、离可辨别的面部结构(眼睛、鼻孔和嘴唇)的控制点以及点间度量的矩阵。这两个模块都使用高洛德明暗处理(Gouraudshading)模型或其它适当的明暗处理模型从图像强度梯度得到伪深度大小。参考图3，这种技术将平面二维强度图像转换成2.5维伪深度图像。到伪深度图像的转换便于隔离面部特征并丢弃不想要的背景杂波。2.5维伪深度图像转换是用于恢复相对于摄像机的焦平面阵列的景深的技术。
参考图4，在躯干保持基本上静止的情况下，头部的运动可通过旋转轴来分类。绕着垂直轴的旋转使头部向左和向右转。绕着从前到后定向的水平轴的旋转使头部倾斜或摇摆到左边或右边。绕着从左到右定向的水平轴的旋转使头部向前和向后俯仰。
参考图5和图6，可通过形成多个驾驶员的头部运动(例如，图4所示的运动)的合成来构造高占有率感兴趣区。根据一个示例性实施例，从在驾驶时间的组合的30分钟期间对八个不同的驾驶员的研究来构造高占有率感兴趣区。高占有率感兴趣区提供驾驶员的头部位置的2维可能性并显示被认为是杂波的低概率区。可利用反曲(sigmoidal)滤波器或其它适当的滤波器来增强在高概率区内的对比，允许优化的强度梯度和在高度动态照明条件下的鲁棒的检测结果。
参考图7A-7D，主轴转换用于使驾驶员的轮廓和面部控制点与摄像机的坐标网格对齐。从与摄像机的坐标网格对齐的检测到的轮廓、面部控制点和点间度量(在检测到的控制点之间的几何关系)得到驾驶员的注意力状态的分类。驾驶员的脸的图像由摄像机(见图7A和图7C)捕捉。驾驶员的轮廓被检测到，且相对于坐标网格的倾斜被确定(见图7B)。驾驶员注意力算法接着将所捕捉的图像的检测到的面部区旋转成与摄像机的坐标网格对齐(见图7D)，而具有眼睛和嘴唇的对称性。
使用主轴转换进行的与坐标网格对齐使面部几何结构标准化并简化对有关面部特征的搜索。驾驶员的眼睛、鼻孔和嘴唇上的控制点被旋转成共线的，减小了系统混淆眼睛与鼻孔的可能性。在没有主轴转换的情况下，点间度量的矩阵可能包含来自失配的面部控制点的不可靠的测量结果。
参考图8A-8C，示出在面部结构之间的几何关系和用于记录驾驶员看车辆内的预定点时的注意力的校准步骤的例子。分类训练过程用于配准在特定的车辆内的几个预定的点(例如，A立柱、仪器面板、外部反射镜、后视镜、风挡、乘客地板、中央控制台、防滑轮胎和空调控制器)处的驾驶员的头部位置和眼睛矢量。点间度量的矩阵被保存并用于驾驶员的注意力状态的查找表分类。图8A是示出处于完全警觉状态中的驾驶员的图像，图8B是示出处于注意力部分转移的状态中的驾驶员的图像，而图8C示出处于注意力完全转移的状态中的驾驶员的图像。基于检测到的状态，将适当的警告提供给驾驶员。例如，如果检测到驾驶员在注意力部分转移的状态中，则例如通过第一声音水平的可听警告将轻微的警告提供给驾驶员，且当检测到驾驶员在注意力完全转移的状态中时，例如通过在强度上比第一声音水平大(例如，在声音水平上更大20dB)的第二声音水平的可听警告将大声的警告提供给驾驶员，由此，在这两种情况下，也可将蜂鸣器或其它类型的触觉警告提供给驾驶员(针对注意力完全转移的状态，振动较大)。
参考图9，示出了示例性界面和警告尺度。驾驶员注意力状态的瞬时分类被积累在1秒持续时间的移动平均滤波器中。与向前看的位置的角偏差和该角偏差的持续时间决定了是否向驾驶员发出警告。这个警告的敏感度被调节以避免过多的错误积极性，过多的错误积极性可能减少驾驶员的敏感度和使驾驶员恼怒并减小驾驶员警觉性系统的有效性。
参考图10，根据示例性实施例示出了驾驶员警觉性算法的流程图。在步骤101中由图像帧预处理器捕捉图像。接着在步骤1020中使用预先校准的高占有率感兴趣区来处理图像。在步骤1030中利用背景滤波器处理在高占有率感兴趣外部的图像的部分。在步骤1040中利用前景滤波器处理在高占有率感兴趣内部的图像的部分。在被滤波之后，图像接着被处理以检测头部位置和面部控制点的位置。
在步骤1045中该算法检测头部并描画头部的边界的轮廓。接着在步骤1050中绕着主轴旋转头部以使它与摄像机的坐标系对齐，由此旋转矩阵1052被创建。在步骤1055中接着分析头部对称性以确定驾驶员的头部相对于面向前面方位的方位。
在步骤1060中该算法还从所捕捉的图像检测面部控制点。接着在步骤1065中旋转面部控制点以匹配头部绕着主轴的旋转(使用旋转矩阵1052)。接着在步骤1070中使用点间度量来分析面部控制点以确定驾驶员的脸相对于面向前面方位的方位。点间度量，或控制点之间的关系，可包括连接控制点的一组矢量(例如，在瞳孔、鼻孔、嘴角或其它适当的控制点的任何组合之间的矢量)。
在步骤1055和步骤1070中，可将帧间度量用于确定头部的位置随着时间(即，在图像帧之间)的变化。当驾驶员的头部移动时，控制点改变位置。相应地，在控制点之间的矢量偏移(见例如图8A-8C)。为了跟踪所捕捉的图像帧之间的运动，可测量在矢量之间的角。例如，可分析在控制点之间的矢量的内角的变化以跟踪变化的头部位置。
在步骤1075中，使用头部和面部控制点的位置，该算法对驾驶员的注意力状态进行分类。接着在步骤1080中基于持续时间和驾驶员与面向前面方向的偏差的大小来分配警告状态。警告状态可用于激活向驾驶员的视觉、音频或触觉警告信号。警告状态和所捕捉的图像也可被输出到图形用户界面。
驾驶员警觉性算法基于驾驶员特性(头部位置和眼睛矢量)而不是车辆相对于道路车道标志正做什么(车道偏离警告系统)来确定驾驶员的注意力状态。驾驶员警觉性算法具有在他的车辆从道路边界偏离之前警告不注意的驾驶员的优点。驾驶员警觉性算法使用在夜间和高动态范围状态(正通过具有迎面而来的车辆头部灯的隧道)期间比外部感测更鲁棒的内部视觉感测。
参考图11，根据示例性实施例示出了驾驶员警觉性系统的流程图。成像单元1110对车厢中的驾驶员的头部所位于的区域进行成像。成像单元1110可包括例如安装在车辆的仪器面板中或方向盘中的单目摄像机。图像处理单元1120从成像单元1110接收图像并确定驾驶员的头部和眼睛的位置。图像处理单元1120可包括如上所述的两个检测模块。警告单元1130基于如图像处理单元1120所输出的驾驶员的头部和眼睛的所确定的位置来确定驾驶员是在警觉状态还是在非警觉状态中。当驾驶员被确定为在非警觉状态中时，警告单元1130向驾驶员输出警告。还提供了禁用单元1140，其当驾驶员警觉性信号被接收到时可暂时禁用驾驶员警觉性检测系统。驾驶员警觉性信号由方向盘的旋转位置触发。如果方向盘已经从中央位置旋转了至少预定的量，则驾驶员警觉性信号将被发送到禁用单元1140。禁用单元1140将接着防止警告单元1130向驾驶员输出警告(因为方向盘的旋转被认为是表明高度警觉的有意操纵)。另一方面，当方向盘返回到基本上中央的位置时，驾驶员警觉性信号将停止。如果基于如图像处理单元1120所输出的驾驶员的头部和眼睛的位置来确定驾驶员在非警觉状态中，警告单元1130将接着发出警告。禁用单元1140可在任何适当的时间干扰如图11所示的任何其它单元的输出。
已参考示例性实施例描述了本公开，然而，本领域技术人员将认识到，可在形式和细节上作出改变而不偏离所公开的主题的精神和范围。例如，虽然不同的示例性实施例可被描述为包括提供一个或多个益处的一个或多个特征，但是设想到，在所述示例性实施例中或在其它可选的实施例中所述特征可彼此交换或可替代地彼此组合。因为本公开的技术相对复杂，不是该技术中的所有变化都是可预见到的。参考示例性实施例描述的本公开明显被预期尽可能宽。例如，除非另外特别提到，列举单个特定的元件的示例性实施例也包括多个这样的特定元件。
示例性实施例可包括程序产品，该程序产品包括用于承载或具有存储在其上的机器可执行指令或数据结构的计算机或机器可读介质。例如，驾驶员监视系统可以是计算机驱动的。在附图的方法中示出的示例性实施例可由包括用于承载或具有存储在其上的机器可执行指令或数据结构的计算机或机器可读介质的程序产品控制。这样的计算机或机器可读介质可以是可由通用或专用计算机或具有处理器的其它机器访问的任何可用的介质。作为例子，这样的计算机或机器可读介质可包括RAM、ROM、EPROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储设备或可用于承载或存储以机器可执行指令或数据结构的形式的期望程序代码并可由通用或专用计算机或具有处理器的其它机器访问的任何其它介质。上述介质的组合也被包括在计算机或机器可读介质的范围内。计算机或机器可执行指令包括例如使通用计算机、专用计算机或专用处理机器执行某个功能或某组功能的指令和数据。本发明的软件实现可使用标准编程技术以用于完成各种连接步骤、处理步骤、比较步骤和判定步骤的基于规则的逻辑和其它逻辑来实现。
还重要的是注意到，如在优选和其它示例性实施例中示出的系统的元件的结构和布置仅仅是例证性的。虽然在本公开中仅详细描述了某个数量的实施例，审核本公开的本领域技术人员将容易认识到，很多修改是可能的(例如，各种元件的尺寸、大小、结构、形状和比例、参数的值、安装布置、材料的使用、颜色、方位等中的变化)，而实质上不偏离所述主题的新颖教导和优点。例如，被示为整体地形成的元件可由多个零件构成，或被示为多个零件的元件可整体地形成，组件的操作可反转或以另外方式变化，系统的结构和/或构件或连接器或其它元件的长度或宽度可改变，在元件之间提供的调节或附着位置的性质或数量可改变。应注意，系统的元件和/或组件可由提供足够的强度或耐久性的各种材料中的任一种构造。相应地，所有这样的修改被预期包括在本公开的范围内。任何过程或方法步骤的顺序或次序可改变或根据可替代的实施例重新排序。可在优选和其它示例性实施例的设计、操作条件和布置中做出其它替换、修改、改变和省略，而不偏离本主题的精神。

Claims (21)

1.一种驾驶员警觉性检测系统，包括：
成像单元，其被配置成对车辆的车厢中的驾驶员的头部所位于的区域进行成像；
图像处理单元，其被配置成从所述成像单元接收图像并确定所述驾驶员的头部和眼睛的位置；以及
警告单元，其被配置成基于所述图像处理单元所输出的所述驾驶员的头部和眼睛的所确定的位置来确定所述驾驶员是处于警觉状态还是处于非警觉状态中，并在所述驾驶员被确定为处于所述非警觉状态中时向所述驾驶员输出警告，
其中，当所述驾驶员的头部的所确定的位置被确定为不在所述车厢内的预定的驾驶员头部区域内时或当确定所述驾驶员的眼睛的转向角度到达一定程度以致未观察车辆的前方的区域时，所述警告单元确定所述驾驶员处于所述非警觉状态中。
2.根据权利要求1所述的驾驶员警觉性检测系统，还包括：
禁用单元，其被配置成当驾驶员警觉性信号被接收到时暂时禁用所述驾驶员警觉性检测系统。
3.根据权利要求2所述的驾驶员警觉性检测系统，其中，在车辆的方向盘旋转了至少预定的旋转量时，输出所述驾驶员警觉性信号。
4.根据权利要求3所述的驾驶员警觉性检测系统，其中，所述预定的旋转量对应于偏离所述方向盘的中心位置+/-15度。
5.根据权利要求3所述的驾驶员警觉性检测系统，其中，当所述驾驶员警觉性信号正被输出时，所述驾驶员警觉性信号在所述车辆的所述方向盘返回到基本上中心位置时被停止输出。
6.根据权利要求1所述的驾驶员警觉性检测系统，其中，所述成像单元包括安装在车辆的仪器面板和所述车辆的方向盘中的至少一个中的单目摄像机。
7.根据权利要求1所述的驾驶员警觉性检测系统，其中，当所述图像处理单元所输出的所述驾驶员的头部的所确定的位置持续至少第一预定时间量不在预定的头部位置区内时或当所述驾驶员的眼睛的所确定的位置持续至少第二预定时间量不在所述车厢内的预定的眼睛位置区内时，所述警告单元确定所述驾驶员处于所述非警觉状态中。
8.根据权利要求1所述的驾驶员警觉性检测系统，其中，所述警告单元输出的警告对应于内置式蜂鸣器或通过所述驾驶员的座椅发送的振动中的一个。
9.根据权利要求1所述的驾驶员警觉性检测系统，其中，所述图像处理单元包括：
第一检测模块，其将背景结构与所述驾驶员的轮廓区分开，并计算所述驾驶员的头部的旋转和所述驾驶员的头部的倾斜或摇摆；以及
第二检测模块，其区分所述驾驶员的头部的俯仰，根据所述驾驶员的头部的可辨别的面部结构来计算控制点，并计算关于所述驾驶员的头部的点间度量的矩阵。
10.根据权利要求9所述的驾驶员警觉性检测系统，其中，所述可辨别的面部结构包括眼睛、鼻孔和嘴唇中的至少一个。
11.根据权利要求9所述的驾驶员警觉性检测系统，其中，所述第一检测模块和所述第二检测模块利用高洛德明暗处理模型来区分开所述驾驶员的头部的运动和位置。
12.一种检测驾驶员警觉性的方法，包括：
对车辆的车厢中的驾驶员的头部所位于的区域进行成像，以获得成像数据；
基于所述成像数据来确定所述驾驶员的头部和眼睛的位置；
基于所述驾驶员的头部和眼睛的所确定的位置来确定所述驾驶员是处于警觉状态还是处于非警觉状态中；以及
当所述驾驶员被确定为处于所述非警觉状态中时向所述驾驶员输出警告，
其中，当所述驾驶员的头部的所确定的位置被确定为不在所述车厢内的预定的驾驶员头部区域内时或当确定所述驾驶员的眼睛的转向角度到达一定程度以致未观察车辆的前方的区域时，确定所述驾驶员处于所述非警觉状态中。
13.根据权利要求12所述的方法，还包括：
当驾驶员警觉性信号被接收到时暂时禁止警告的输出。
14.根据权利要求13所述的方法，还包括：
检测车辆的方向盘的旋转，
其中，在所述车辆的方向盘旋转了至少预定的旋转量时，输出所述驾驶员警觉性信号。
15.根据权利要求14所述的方法，其中，所述预定的旋转量对应于偏离所述方向盘的中心位置+/-15度。
16.根据权利要求14所述的方法，其中，当所述驾驶员警觉性信号正被输出时，在所述车辆的所述方向盘返回到基本上中心位置时停止输出所述驾驶员警觉性信号。
17.根据权利要求12所述的方法，其中，由安装在车辆的仪器面板和所述车辆的方向盘中的至少一个中的单目摄像机获得所述成像数据。
18.根据权利要求12所述的方法，其中，当图像处理单元所输出的所述驾驶员的头部的所确定的位置持续至少第一预定时间量不在预定的头部位置区内时或当所述驾驶员的眼睛的所确定的位置持续至少第二预定时间量不在所述车厢内的预定的眼部位置区内时，确定所述驾驶员处于所述非警觉状态中。
19.根据权利要求12所述的方法，其中，所述警告对应于内置式蜂鸣器或通过所述驾驶员的座椅发送的振动中的一个。
20.根据权利要求12所述的方法，其中，确定所述驾驶员的头部的位置包括：
将背景结构与所述驾驶员的轮廓区分开，并计算所述驾驶员的头部的旋转和所述驾驶员的头部的倾斜或摇摆；以及
区分所述驾驶员的头部的俯仰，根据所述驾驶员的头部的可辨别的面部结构来计算控制点，并计算关于所述驾驶员的头部的点间度量的矩阵。
21.根据权利要求20所述的方法，其中，所述可辨别的面部结构包括眼睛、鼻孔和嘴唇中的至少一个。
CN201280015051.0A 2011-03-25 2012-03-23 用于确定驾驶员警觉性的系统和方法 Active CN103442925B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161467849P 2011-03-25 2011-03-25
US61/467,849 2011-03-25
PCT/US2012/030336 WO2012135018A2 (en) 2011-03-25 2012-03-23 System and method for determining driver alertness

Publications (2)

Publication Number Publication Date
CN103442925A CN103442925A (zh) 2013-12-11
CN103442925B true CN103442925B (zh) 2016-08-17

Family

ID=46877036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280015051.0A Active CN103442925B (zh) 2011-03-25 2012-03-23 用于确定驾驶员警觉性的系统和方法

Country Status (5)

Country Link
US (1) US9041789B2 (zh)
EP (1) EP2688764A4 (zh)
JP (1) JP2014515847A (zh)
CN (1) CN103442925B (zh)
WO (1) WO2012135018A2 (zh)

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8566011B2 (en) * 2010-09-30 2013-10-22 Siemens Corporation Data collection and traffic control using multiple wireless receivers
DE102011110486A1 (de) * 2011-08-17 2013-02-21 Daimler Ag Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
JP6288653B2 (ja) * 2012-10-19 2018-03-07 オートリブ ディベロップメント エービー 運転者注意力検出方法および装置
US8635000B1 (en) * 2012-11-14 2014-01-21 Caterpillar Inc. Brake monitoring system
US8937552B1 (en) * 2013-01-02 2015-01-20 The Boeing Company Heads down warning system
CN105324268A (zh) * 2013-04-25 2016-02-10 通用汽车环球科技运作有限责任公司 处境获知系统和方法
TWI474264B (zh) * 2013-06-14 2015-02-21 Utechzone Co Ltd 行車警示方法及車用電子裝置
TWI493511B (zh) 2013-09-04 2015-07-21 Ind Tech Res Inst 駕駛狀態偵測系統、駕駛狀態偵測方法與電子裝置
US10115164B1 (en) 2013-10-04 2018-10-30 State Farm Mutual Automobile Insurance Company Systems and methods to quantify and differentiate individual insurance risk based on actual driving behavior and driving environment
CN103661375A (zh) * 2013-11-25 2014-03-26 同济大学 一种考虑驾驶分心状态的车道偏离报警方法及系统
US10417486B2 (en) * 2013-12-30 2019-09-17 Alcatel Lucent Driver behavior monitoring systems and methods for driver behavior monitoring
CN103770780B (zh) * 2014-01-15 2017-10-03 中国人民解放军国防科学技术大学 一种车辆主动安全系统告警屏蔽装置
US9189692B2 (en) 2014-02-14 2015-11-17 GM Global Technology Operations LLC Methods and systems for detecting driver attention to objects
DE102014003302B3 (de) * 2014-03-08 2015-06-11 Audi Ag Verfahren zum Betreiben eines Lenksystems, Lenksystem und Fahrzeug
US9827992B2 (en) * 2014-03-19 2017-11-28 Ford Global Technologies, Llc Driver anomaly detection
CN103942961A (zh) * 2014-04-30 2014-07-23 中国计量学院 一种面向危险驾驶行为的智能监控识别系统
JP6265146B2 (ja) * 2014-05-27 2018-01-24 株式会社デンソー 注意喚起装置
JP6372388B2 (ja) 2014-06-23 2018-08-15 株式会社デンソー ドライバの運転不能状態検出装置
US10503987B2 (en) 2014-06-23 2019-12-10 Denso Corporation Apparatus detecting driving incapability state of driver
US9669759B2 (en) * 2014-09-12 2017-06-06 Yazaki Corporation In-vehicle device
US10614328B2 (en) 2014-12-30 2020-04-07 Joyson Safety Acquisition LLC Occupant monitoring systems and methods
US10532659B2 (en) 2014-12-30 2020-01-14 Joyson Safety Systems Acquisition Llc Occupant monitoring systems and methods
USD751437S1 (en) 2014-12-30 2016-03-15 Tk Holdings Inc. Vehicle occupant monitor
US9533687B2 (en) 2014-12-30 2017-01-03 Tk Holdings Inc. Occupant monitoring systems and methods
KR101714515B1 (ko) 2015-01-21 2017-03-22 현대자동차주식회사 웨어러블 기기를 이용한 안전운전 알림 시스템 및 그 방법
US9773179B2 (en) * 2015-01-30 2017-09-26 GM Global Technology Operations LLC Vehicle operator monitoring system and method
FR3034560A1 (fr) * 2015-03-30 2016-10-07 Peugeot Citroen Automobiles Sa Dispositif d’avertissement d’un conducteur de vehicule au moyen d’une imagette representative de sa position de conduite
FR3034561A1 (fr) * 2015-03-30 2016-10-07 Peugeot Citroen Automobiles Sa Dispositif d’avertissement d’un conducteur de vehicule du niveau de son etat de somnolence et/ou du niveau de son etat de distraction au moyen d’imagette(s)
US9924085B2 (en) 2015-04-09 2018-03-20 Bendix Commercial Vehicle Systems Llc Apparatus and method for disabling a driver facing camera in a driver monitoring system
FR3038770B1 (fr) * 2015-07-10 2021-03-19 Innov Plus Systeme de surveillance de l'etat de vigilance d'un operateur
CN108351343A (zh) * 2015-11-20 2018-07-31 福特全球技术公司 增强的消息传递
DE102015224555A1 (de) * 2015-12-08 2017-06-08 Robert Bosch Gmbh Verfahren zum Betreiben eines Fahrzeugs
DE102016208405A1 (de) * 2015-12-16 2017-06-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrerassistenzsystems, Fahrerassistenzsystem
GB201601140D0 (en) 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for estimating heart rate
GB201601143D0 (en) 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for health and safety monitoring of a subject in a room
DE102016215291A1 (de) * 2016-01-21 2017-07-27 Robert Bosch Gmbh Verfahren zur Klassifikation von Fahrerbewegungen
GB201601217D0 (en) 2016-01-22 2016-03-09 Oxehealth Ltd Signal processing method and apparatus
US9908464B2 (en) * 2016-04-10 2018-03-06 Toyota Motor Engineering & Manufacturing North America, Inc. Apprising a driver of confidence in operation of a vehicle
CN110167823B (zh) * 2016-07-01 2022-08-12 视力移动技术有限公司 用于驾驶员监测的系统和方法
US9874934B1 (en) 2016-07-29 2018-01-23 International Business Machines Corporation System, method, and recording medium for tracking gaze with respect to a moving plane with a camera with respect to the moving plane
US9809167B1 (en) 2016-08-29 2017-11-07 Ford Global Technologies, Llc Stopped vehicle traffic resumption alert
GB201615899D0 (en) 2016-09-19 2016-11-02 Oxehealth Ltd Method and apparatus for image processing
US10885349B2 (en) 2016-11-08 2021-01-05 Oxehealth Limited Method and apparatus for image processing
JP6870294B2 (ja) * 2016-11-25 2021-05-12 株式会社アイシン 乗員情報検出装置およびプログラム
JP2018128974A (ja) * 2017-02-10 2018-08-16 トヨタ自動車株式会社 ドライバ状態監視装置
US10445559B2 (en) * 2017-02-28 2019-10-15 Wipro Limited Methods and systems for warning driver of vehicle using mobile device
JP6717235B2 (ja) * 2017-03-02 2020-07-01 オムロン株式会社 見守り支援システム及びその制御方法
US10380438B2 (en) * 2017-03-06 2019-08-13 Honda Motor Co., Ltd. System and method for vehicle control based on red color and green color detection
US10614326B2 (en) * 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
CN110268456A (zh) * 2017-03-14 2019-09-20 欧姆龙株式会社 驾驶员监视装置、驾驶员监视方法、学习装置及学习方法
DE102017205386A1 (de) * 2017-03-30 2018-10-04 Robert Bosch Gmbh Fahrerbeobachtungsvorrichtung und Verfahren zum Beobachten eines Fahrers in einem Fahrzeug zum Bestimmen zumindest einer Position des Fahrers in dem Fahrzeug
FR3064791A1 (fr) * 2017-04-04 2018-10-05 Peugeot Citroen Automobiles Sa Dispositif d’assistance d’un conducteur de vehicule par determination d’un niveau d’inattention par comparaison d’images
GB201706449D0 (en) 2017-04-24 2017-06-07 Oxehealth Ltd Improvements in or realting to in vehicle monitoring
KR101950476B1 (ko) 2017-04-25 2019-04-29 만도헬라일렉트로닉스(주) 운전자 상태 감지 시스템, 운전자 상태 감지 방법 및 운전자 감지 시스템을 장착한 차량
TWI659400B (zh) * 2017-04-25 2019-05-11 元智大學 駕駛人生理訊號偵測系統及方法
WO2018208776A1 (en) 2017-05-08 2018-11-15 Joyson Safety Systems Acquisition Llc Integration of occupant monitoring systems with vehicle control systems
JP7014951B2 (ja) * 2017-06-20 2022-02-02 テイ・エス テック株式会社 乗物用シート
FR3068158B1 (fr) * 2017-06-26 2019-08-23 Valeo Comfort And Driving Assistance Dispositif electronique et systeme embarque d'evaluation d'une position et/ou d'une orientation associee a un element situe dans un habitacle de vehicule
EP3480729B1 (en) * 2017-11-07 2023-03-01 Tata Consultancy Services Limited System and method for face position tracking and alerting user
US10339401B2 (en) 2017-11-11 2019-07-02 Bendix Commercial Vehicle Systems Llc System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device
US10572745B2 (en) * 2017-11-11 2020-02-25 Bendix Commercial Vehicle Systems Llc System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device
FR3078407A1 (fr) * 2018-02-23 2019-08-30 Airbus Operations (S.A.S.) Procede de mesure de l'etat de vigilance d'un pilote
JP6669182B2 (ja) * 2018-02-27 2020-03-18 オムロン株式会社 乗員監視装置
GB201803508D0 (en) 2018-03-05 2018-04-18 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
JP7102850B2 (ja) * 2018-03-28 2022-07-20 マツダ株式会社 ドライバ状態判定装置
US11417122B2 (en) * 2018-11-21 2022-08-16 Lg Electronics Inc. Method for monitoring an occupant and a device therefor
FR3090172B1 (fr) * 2018-12-13 2020-11-20 Continental Automotive France Procédé de détermination d’un niveau de vigilance d’un conducteur
GB201900032D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
GB201900034D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
GB201900033D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Mrthod and apparatus for monitoring of a human or animal subject
CN113994403B (zh) * 2019-03-13 2023-12-29 联邦快递公司 缓解飞行器的操作风险
CN110491126B (zh) * 2019-08-25 2021-11-16 安徽深蓝大健康智能科技有限公司 一种基于物联网技术的非机动车路口行驶控制方法和系统
CN111376909A (zh) * 2020-03-21 2020-07-07 东风汽车集团有限公司 一种间接疲劳监测方法
WO2021262166A1 (en) * 2020-06-25 2021-12-30 Hitachi America, Ltd. Operator evaluation and vehicle control based on eyewear data
CN112277830B (zh) * 2020-11-23 2022-07-26 浙江吉利控股集团有限公司 一种用于驾驶员状态监测摄像头的升降控制方法
US11654922B2 (en) * 2021-08-09 2023-05-23 Ford Global Technologies, Llc Driver attention and hand placement systems and methods
US11861916B2 (en) * 2021-10-05 2024-01-02 Yazaki Corporation Driver alertness monitoring system
CN116476848B (zh) * 2023-06-15 2023-08-22 深圳市知酷信息技术有限公司 基于大数据的汽车规范操作诊断系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6927694B1 (en) * 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
EP1610278A1 (en) * 1998-10-16 2005-12-28 Fuji Jukogyo Kabushiki Kaisha Vehicle Driver Arousal Level Estimating Apparatus
CN201457079U (zh) * 2009-07-06 2010-05-12 浙江理工大学 一种可保证驾驶员唯一性的防酒后驾车车载系统
CN101951828A (zh) * 2008-05-12 2011-01-19 丰田自动车株式会社 驾驶员成像装置以及驾驶员成像方法

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5034679A (en) 1989-12-14 1991-07-23 Sundstrand Corporation Polarization feedback control of polarization rotating sensor
US7788008B2 (en) 1995-06-07 2010-08-31 Automotive Technologies International, Inc. Eye monitoring system and method for vehicular occupants
US5351044A (en) * 1992-08-12 1994-09-27 Rockwell International Corporation Vehicle lane position detection system
US6553130B1 (en) * 1993-08-11 2003-04-22 Jerome H. Lemelson Motor vehicle warning and control system and method
JP2809338B2 (ja) 1994-08-23 1998-10-08 住友電気工業株式会社 ナビゲーション装置
JP3336793B2 (ja) 1995-01-21 2002-10-21 三菱自動車工業株式会社 自動車の前方道路状況対応制御装置
JPH08290726A (ja) * 1995-04-21 1996-11-05 Mitsubishi Electric Corp 居眠り警報装置
US5689241A (en) * 1995-04-24 1997-11-18 Clarke, Sr.; James Russell Sleep detection and driver alert apparatus
US8036788B2 (en) 1995-06-07 2011-10-11 Automotive Technologies International, Inc. Vehicle diagnostic or prognostic message transmission systems and methods
US7426437B2 (en) 1997-10-22 2008-09-16 Intelligent Technologies International, Inc. Accident avoidance systems and methods
DE69731585T2 (de) 1996-07-15 2005-12-01 Toyota Jidosha K.K., Toyota Fahrzeugfahrzustandsvorhersagevorrichtung und Warnvorrichtung, welche die Vorrichtung verwendet
JPH1067252A (ja) * 1996-08-29 1998-03-10 Aisin Seiki Co Ltd 車両走行状態検出装置
GB9700090D0 (en) * 1997-01-04 1997-02-19 Horne James A Sleepiness detection for vehicle driver
US7899616B2 (en) 1997-10-22 2011-03-01 Intelligent Technologies International, Inc. Method for obtaining information about objects outside of a vehicle
US7647180B2 (en) 1997-10-22 2010-01-12 Intelligent Technologies International, Inc. Vehicular intersection management techniques
US8000897B2 (en) 1997-10-22 2011-08-16 Intelligent Technologies International, Inc. Intersection collision avoidance techniques
US20060285207A1 (en) 2001-01-09 2006-12-21 Hay Ranald J Techniques for controlling observed glare using polarized optical transmission and reception devices
US7190374B2 (en) * 2001-02-28 2007-03-13 Intel Corporation Shading polygons from a three-dimensional model
JP2002260190A (ja) 2001-02-28 2002-09-13 Fujikura Ltd 安全運転支援システム
US20020180608A1 (en) * 2001-05-04 2002-12-05 Sphericon Ltd. Driver alertness monitoring system
US8331621B1 (en) * 2001-10-17 2012-12-11 United Toll Systems, Inc. Vehicle image capture system
US7734500B1 (en) * 2001-10-17 2010-06-08 United Toll Systems, Inc. Multiple RF read zone system
EP1638801A1 (en) 2003-06-06 2006-03-29 Volvo Technology Corporation Method and arrangement for controlling vehicular subsystems based on interpreted driver activity
JP2005108033A (ja) * 2003-09-30 2005-04-21 Toshiba Corp 運転者状況判定装置および運転者状況判定方法
US7057532B2 (en) 2003-10-15 2006-06-06 Yossef Shiri Road safety warning system and method
JP2005196567A (ja) * 2004-01-08 2005-07-21 Nissan Motor Co Ltd 顔向き検出装置
JP4059224B2 (ja) 2004-04-13 2008-03-12 株式会社デンソー 運転者の外観認識システム
US7362885B2 (en) * 2004-04-20 2008-04-22 Delphi Technologies, Inc. Object tracking and eye state identification method
US7751973B2 (en) 2004-05-04 2010-07-06 Visteon Global Technologies, Inc. Curve warning system
US20060048800A1 (en) * 2004-09-09 2006-03-09 Rast Rodger H Automated building exterior cleaning apparatus
JP4494162B2 (ja) 2004-10-15 2010-06-30 富士通テン株式会社 運転支援装置
ES2258399B1 (es) * 2005-02-04 2007-11-16 Fico Mirrors, S.A. Metodo y sistema para mejorar la supervision de un ambiente exterior de un vehiculo automovil.
US20060215076A1 (en) 2005-03-22 2006-09-28 Karim John H Selective light transmitting and receiving system and method
US7835834B2 (en) 2005-05-16 2010-11-16 Delphi Technologies, Inc. Method of mitigating driver distraction
JP2007106170A (ja) 2005-10-11 2007-04-26 Fujifilm Corp 運転支援システム
US8164628B2 (en) * 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US8005297B2 (en) 2006-01-18 2011-08-23 Qualcomm Incorporated Method and apparatus for adaptive and self-calibrated sensor green channel gain balancing
US7970172B1 (en) 2006-01-24 2011-06-28 James Anthony Hendrickson Electrically controlled optical shield for eye protection against bright light
US7755682B2 (en) 2006-03-29 2010-07-13 Ite Tech. Inc. Color interpolation method for Bayer filter array images
US7724962B2 (en) * 2006-07-07 2010-05-25 Siemens Corporation Context adaptive approach in vehicle detection under various visibility conditions
JP4922715B2 (ja) * 2006-09-28 2012-04-25 タカタ株式会社 乗員検出システム、警報システム、制動システム、車両
US8085139B2 (en) * 2007-01-09 2011-12-27 International Business Machines Corporation Biometric vehicular emergency management system
JP4241834B2 (ja) * 2007-01-11 2009-03-18 株式会社デンソー 車載霧判定装置
JP2008197916A (ja) * 2007-02-13 2008-08-28 Toyota Motor Corp 車両用居眠り運転防止装置
JP4458146B2 (ja) * 2007-02-16 2010-04-28 株式会社デンソー 眠気判定装置およびプログラム
US7876957B2 (en) 2007-05-31 2011-01-25 Aptina Imaging Corporation Methods and apparatuses that reduce noise in image signals
JP2009116742A (ja) * 2007-11-08 2009-05-28 Aisin Seiki Co Ltd 車載用画像処理装置、画像処理方法、および、プログラム
GB0722079D0 (en) * 2007-11-09 2007-12-19 Univ Bristol Detecting driver impairment
US8035704B2 (en) 2008-01-03 2011-10-11 Aptina Imaging Corporation Method and apparatus for processing a digital image having defective pixels
DE102009008959A1 (de) 2008-02-15 2009-09-03 Continental Teves Ag & Co. Ohg Fahrzeugsystem zur Navigation und/oder Fahrerassistenz
JP5125745B2 (ja) * 2008-05-12 2013-01-23 トヨタ自動車株式会社 運転支援装置、運転支援方法
JP5093602B2 (ja) * 2008-06-04 2012-12-12 アイシン精機株式会社 周辺認知支援装置
US8004588B2 (en) 2008-08-27 2011-08-23 Seiko Epson Corporation Image processing procedure for receiving mosaic image data and calculating vertical and horizontal-direction color difference components for each pixel
JP5114351B2 (ja) * 2008-09-17 2013-01-09 富士重工業株式会社 覚醒度判定装置
JP5066123B2 (ja) 2009-03-24 2012-11-07 日立オートモティブシステムズ株式会社 車両運転支援装置
EP2237237B1 (en) * 2009-03-30 2013-03-20 Tobii Technology AB Eye closure detection using structured illumination
US8315756B2 (en) 2009-08-24 2012-11-20 Toyota Motor Engineering and Manufacturing N.A. (TEMA) Systems and methods of vehicular path prediction for cooperative driving applications through digital map and dynamic vehicle model fusion
TWI488149B (zh) * 2009-09-22 2015-06-11 Automotive Res & Testing Ct Driver monitoring method and its monitoring system
US20110098922A1 (en) 2009-10-27 2011-04-28 Visteon Global Technologies, Inc. Path Predictive System And Method For Vehicles
JP5325765B2 (ja) * 2009-12-28 2013-10-23 日立オートモティブシステムズ株式会社 路肩検出装置及び路肩検出装置を用いた車両
WO2011118393A1 (ja) * 2010-03-23 2011-09-29 アイシン精機株式会社 覚醒度判定装置、覚醒度判定方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1610278A1 (en) * 1998-10-16 2005-12-28 Fuji Jukogyo Kabushiki Kaisha Vehicle Driver Arousal Level Estimating Apparatus
US6927694B1 (en) * 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
CN101951828A (zh) * 2008-05-12 2011-01-19 丰田自动车株式会社 驾驶员成像装置以及驾驶员成像方法
CN201457079U (zh) * 2009-07-06 2010-05-12 浙江理工大学 一种可保证驾驶员唯一性的防酒后驾车车载系统

Also Published As

Publication number Publication date
EP2688764A2 (en) 2014-01-29
EP2688764A4 (en) 2014-11-12
WO2012135018A3 (en) 2013-01-03
US9041789B2 (en) 2015-05-26
US20120242819A1 (en) 2012-09-27
CN103442925A (zh) 2013-12-11
JP2014515847A (ja) 2014-07-03
WO2012135018A2 (en) 2012-10-04

Similar Documents

Publication Publication Date Title
CN103442925B (zh) 用于确定驾驶员警觉性的系统和方法
KR102043060B1 (ko) 자율 주행 장치 및 이를 구비한 차량
KR102193269B1 (ko) 차량 주변의 측방 및/또는 후방 구역을 재생하기 위한 방법 및 장치
JP5120249B2 (ja) 監視装置および監視方法、制御装置および制御方法、並びにプログラム
US10703299B2 (en) Rear view mirror simulation
CN107878466A (zh) 用于具有自主模式的车辆的唤醒警报
CN104786933A (zh) 一种全景影像驾驶辅助装置及方法
CN106027749A (zh) 车辆、移动终端及其控制方法
CN102632840B (zh) 车辆周围监测装置
US20110050886A1 (en) System and method for providing guidance information to a driver of a vehicle
JP2014515847A5 (zh)
CN107415602A (zh) 用于车辆的监测方法、设备和系统、计算机可读存储介质
ES2603002T3 (es) Sistema de asistencia al conductor para vehículos, en particular vehículos industriales
CN106143308A (zh) 基于智能后视镜的车道偏离预警系统
US20220075057A1 (en) Universal sensor assembly for vehicles
CN110431613A (zh) 信息处理装置、信息处理方法、程序和移动物体
JP2019088522A (ja) 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
JP6967042B2 (ja) 運転評価装置、運転評価システム、運転評価方法、プログラム、及び交差点属性判別方法
CN116572846A (zh) 一种车载电子后视镜的显示方法、系统及存储介质
CN107640111B (zh) 基于百核微处理器控制的汽车视觉图像处理系统及方法
JP7068606B2 (ja) 運転評価装置、車載機、運転評価方法、及びコンピュータプログラム
JP7070827B2 (ja) 運転評価装置、車載機、これらを備えた運転評価システム、運転評価方法、及び運転評価プログラム
JP7298351B2 (ja) 状態判定装置、車載機、運転評価システム、状態判定方法、及びプログラム
CN114684062A (zh) 约束设备定位
JP7075048B2 (ja) 安全確認評価装置、車載機、これらを備えた安全確認評価システム、安全確認評価方法、及び安全確認評価プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant