CN106043308A - 用于对汽车驾驶员进行专注性识别的方法和设备 - Google Patents

用于对汽车驾驶员进行专注性识别的方法和设备 Download PDF

Info

Publication number
CN106043308A
CN106043308A CN201610212053.9A CN201610212053A CN106043308A CN 106043308 A CN106043308 A CN 106043308A CN 201610212053 A CN201610212053 A CN 201610212053A CN 106043308 A CN106043308 A CN 106043308A
Authority
CN
China
Prior art keywords
driver
orientation
automobile
situation
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610212053.9A
Other languages
English (en)
Inventor
O.海姆
C.阿萨夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN106043308A publication Critical patent/CN106043308A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/30—Auxiliary equipments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2900/00—Indexing codes relating to the purpose of, or problem solved of road vehicle drive control systems not otherwise provided for in groups B60W30/00

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明涉及用于对汽车驾驶员进行专注性识别的方法和设备。用于对汽车驾驶员进行专注性识别的方法包括：通过汽车的系统检测潜在危险的情况；估计汽车驾驶员的视觉感知区；通过将潜在危险的情况的取向或者位置与汽车驾驶员的视觉感知区相比较来识别汽车驾驶员的专注性。

Description

用于对汽车驾驶员进行专注性识别的方法和设备
技术领域
本发明涉及一种用于对汽车驾驶员、尤其是在头上戴着可穿戴式传感器单元的汽车驾驶员进行专注性识别（Aufmerksamkeitserkennung）的方法和设备。
背景技术
借助于雷达和/或视频传感器技术使汽车自主地（autonom）在危险情况下制动的主动的司机辅助系统或者安全系统（PSS，预测安全系统（Predictive Safety System））得到广泛使用。可是，这样的系统不知道潜在危险的情况是否原因在于司机的专注性。因而，所述系统始终是在使用与误报警之间的折衷。这样，也许必须减少使用，以便不过早地向专心的司机发出警报。另一方面，必须容忍误报警，以便及时地向当前不专心的司机发出警报。
因而，在所述系统中必要的是：收集尽可能多的关于司机的当前的专注性的信息，以便及时地但是不过早地指出危险情况或者对危险情况做出反应。当前的系统根据汽车大小和/或根据行驶状况推断出汽车驾驶员的专注性。
发明内容
按照本发明的用于对汽车驾驶员进行专注性识别的方法原则上包括如下步骤：
－ 通过汽车的系统检测潜在危险的情况；
－ 估计汽车驾驶员的视觉感知区（visuelles Wahrnehmungsfeld）；
－ 通过将潜在危险的情况的取向（Orientierung）或者位置与汽车驾驶员的视觉感知区相比较来识别汽车驾驶员的专注性。
按照本发明的方法有如下优点：视觉感知区被估计或者被确定，由此可以关于汽车驾驶员的专注性或专注性的方向发表看法。视觉感知区例如可以通过可穿戴式传感器单元被确定，所述可穿戴式传感器单元例如可以是增强现实系统（Augmented-Reality-System）或者如数据眼镜那样的可穿戴设备（wearable）的组成部分。通过将视觉感知区与潜在危险的情况的取向或者位置相比较可以具体地确定汽车驾驶员在每个时间点的专注性。汽车驾驶员的专注性的实时确定比迄今的专注性度量明确地更精确并且更有现实意义，所述迄今的专注性度量仅仅是迄今存在（des bisher Gewesenen）的集成和对一般的司机专注性的由此实现的推论。
视觉感知区可以依据汽车驾驶员的头部取向和/或视向被估计。可以依据所述两个准则中的至少一个估计该视觉感知区，所述视觉感知区在驾驶汽车时是针对汽车驾驶员的专注性的重要的度量。
如果潜在危险的情况的取向与视觉感知区不一致或彼此有偏差，那么可以输出报警信号和/或可以干涉汽车的行驶运行。如果汽车驾驶员的专注性没有集中于潜在危险的情况或如果他的专注性被指向另一方向，那么本方法的在报警信号的意义上的被动的（passive）构建方案向汽车驾驶员发出警报。该报警可以通过汽车和/或摄影机单元的系统来实现。
如果汽车驾驶员的专注性没有集中于潜在危险的情况，那么本方法的在干涉的意义上的主动的构建方案干涉行驶运行。干涉例如被理解为制动过程或者制动过程的准备和/或安全系统的激活。
报警信号和/或干涉的强度、持续时间、类型和/或起始时间点可以与专注性程度有关。专注性程度例如可以基于潜在危险的情况的取向或者位置与汽车驾驶员的视觉感知区的比较被限定。这样，在取向与视觉感知区之间的较大的差可以表明较低的专注性程度，而在取向与视觉感知区之间的较小的差对应于较高的专注性程度。该报警或该干涉可以根据专注性在时间上较早地或者是较晚地被输出。诸如在信号音量或者制动冲击强度（Bremsruckintensitaet）的情况下，也可以较强地或者较弱地输出报警或干涉。这样，可以情境适配报警或干涉。
视觉感知区可以借助于戴在汽车驾驶员的头部上的传感器单元被估计，并且可以依据汽车的在可穿戴式传感器单元的摄影机单元的记录中的至少一个光学特征、用于检测可穿戴式传感器单元的方位的设备的至少一个方位说明和/或可穿戴式传感器单元的加速度传感器的至少一个信号被确定。所述记录可包括图像、视频或者诸如红外光谱那样的光谱的记录。所述光学特征可以是汽车的已经存在的特征，诸如转向轮、外后视镜或者汽车的内部或者外部空间的其它元件。但是，所述光学特征也可以是特意作出的标记，所述特意作出的标记有利地分布在汽车驾驶员的观看区域上。通过所述特征的数目和/或布局可以设置（einstellen）头部取向的检测的分辨率或者精确度。光学特征例如可以是如红外LED（IR-LED）那样的对于司机来说不可感知的并且因而不进行干扰的红外源。这有如下额外的优点：通过摄像机单元的感知在昏暗中也是可能的。作为替换方案或者作为扩展方案：方位或者取向的说明可以被考虑。例如可以借助于可穿戴式传感器单元的罗盘、磁强计或者霍尔传感器来产生所述信号或者测量值。可替换地或者作为扩展方案地，可以使用可穿戴式传感器单元的一个或者多个加速度传感器的测量值，关于其可识别头部的倾斜和/或转动。这些特征可以相互结合或者作为单独的特征被使用。不同的测量值例如可以被用于对情况和/或各个测量值进行可信性检查（Plausibilisierung）。
潜在危险的情况可以通过对象的取向或者位置而被说明。安全或者辅助系统常常基于对象地工作，使得通过诸如汽车或者物体那样的对象可能大多更精确地表示。此外，为了确定专注性，还可以考虑记录的对象识别。
按照本发明的用于对具有用于检测潜在危险的情况的系统的汽车的汽车驾驶员进行专注性识别的设备的特征在于：设置有传感器单元，所述传感器单元被设立用于估计汽车驾驶员的视觉感知区；设置有用于与系统和传感器单元通信的通信模块并且设置有计算单元，所述计算单元被设立为：通过将潜在危险的情况的取向或者位置与汽车驾驶员的视觉感知区相比较来识别汽车驾驶员的专注性。可穿戴式传感器单元可以被布置在增强现实系统或者可穿戴式计算机中。该系统例如可以是数据眼镜或者数据隐形眼镜。在这些情况下，不仅可以使用这样的系统的摄像机单元，而且可以使用描绘的（darstellend）单元，以便向汽车驾驶员通知报警和/或信息。与以前所描述的相同的优点和修改适用。
计算单元可以被布置在系统中和/或在传感器单元中。诸如驾驶辅助控制设备、DAS-ECU（驾驶员辅助系统电子控制单元（Driver Assistent System-Electronic Control Unit））那样的控制设备包括可以快速地实施这样的计算的计算单元。在摄像机单元中或者在包含所述摄像机单元的诸如增强现实系统那样的系统中，也可以具有这样的计算单元。该计算单元也可以被包含在与所述系统和所述摄像机单元进行通信的另一系统中。
在汽车上可以设置至少一个光学特征、尤其是红外发射机，用于感知为在传感器单元的记录中的参考点。通过该光学特征及其在汽车上的已知的位置可以有利地确定汽车驾驶员的视觉感知区。该光学特征可以是为了该目的额外作出的标记或者诸如转向轮或者外后视镜那样的已经存在的特征。已经存在的特征可以与其位置一起被寄存在数据库中，以便可以通过识别例程被标识在摄像机单元的记录中。汽车驾驶员没有感知到红外发射机，使得可以不形成专注性干扰。
该系统可具有至少一个摄像机，所述至少一个摄像机被设立用于检测司机的瞳孔并且借此检测司机的视向，并且其中所述计算单元被设立为将视向与视觉感知区重叠。此外，通过在司机的瞳孔方向上使用一个/多个摄像机还可以检测视向并且将该视向与头部取向重叠。这使得提高的精确度和/或另一可信性检查成为可能。
附图说明
本发明的实施例依据附图和随后的描述进一步被解释。
图1示出了具有专心的汽车驾驶员的情况的示意图；
图2示出了具有不专心的汽车驾驶员的情况的示意图，并且
图3示出了用于进行专注性识别的设备的示意图。
具体实施方式
在图1中示意性地示出了具有驾驶汽车1的汽车驾驶员2的汽车1。该汽车例如可以是陆基汽车或者机动车（如轿车（PKW）、载重汽车（LKW）、公共汽车、摩托车）、有轨车辆（诸如机车或者有轨电车）、飞行器（诸如飞机）或者水上运输工具（诸如船舶或者渡船）。
汽车驾驶员2的头部3位于确定的取向中，其中所述头部取向一般对应于汽车驾驶员2的专注性的方向。附加地或者可替换地，除了头部取向之外，还可以考虑汽车驾驶员2的视向，以便估计汽车驾驶员2的视觉感知区。在随后的附图描述中示例性地以确定头部取向为出发点的同时，一同包括检测或者估计视觉感知区。
为了在图1中将头部取向解释清楚，绘出了汽车驾驶员2的视野4。因此，头部取向在汽车1的行驶方向上。这里对汽车驾驶员2的主要在汽车1的移动平面内、即在X-Y平面内的头部取向感兴趣。换种表达来说，这里感兴趣的是汽车驾驶员2是向左还是向右看或者是向前还是向后看。因为汽车驾驶员2的专注性主要在行驶方向上、即在正常情况下指向前方，所以也许可以检测到Y平面上的头部取向，也就是说也许可以被限制在向行驶方向的左侧或右侧的方向上。
这里，也可以观察在Z平面内、也就是说从上向下的头部取向。这样，也可以检测Z方向。因此可以检测其中司机或其专注性被指向在正常的视域或防风玻璃下面或者上面的区域中的情况。如果例如司机在如收音机那样的操作元件上忙碌或者看向滑动天窗的操作单元，那么这可以是这种情况。换种表达来说，可以检测的是头部是向下还是向上倾斜。
在汽车1中布置了诸如司机辅助系统或者安全系统那样的系统5，所述系统5根据潜在危险的情况6监控周围环境或者至少在行驶方向上在汽车1前面的区域。可导致与潜在危险的对象7碰撞的情况被看作潜在危险的情况6。如果汽车1和/或对象7保持其迄今的线路或其迄今的速度。为了检测周围环境，系统5例如包含可以立体声或者单声道地被实施的雷达和/或视频传感器技术。
在图1中所示出的情况下，头部取向和借此机动车驾驶员2的视角4被定位为使得该机动车驾驶员2可以感知到对象7。因此，所述危险的情况6或危险的对象7在汽车驾驶员2的注意中。
在图2中示出了相似的情况，在所述情况下，由汽车驾驶员2驾驶的汽车1和对象7位于碰撞线路上。系统5已经检测到了危险的对象7。而汽车驾驶员2的专注性没有集中于对象7，如通过所示出的视角4是可识别的那样。汽车驾驶员2的头部取向避开了对象7或潜在危险的情况6。在汽车1的行驶运行中没有向汽车驾驶员2发出警报和/或干涉系统5的情况下，在汽车1与对象7之间存在巨大的碰撞危险。
在图3中示意性地示出了用于对汽车驾驶员2进行专注性识别的设备8。汽车1的系统5包括摄像机9，所述摄像机9检测在汽车1之前的空间、尤其是具有对象7的潜在危险的情况6。传感器值供系统5的控制设备10支配。控制设备10包含计算单元11，在所述计算单元11上至少部分地实施用于进行专注性识别的方法。
增强现实系统或者可穿戴式传感器单元12（这里示例性地以数据眼镜的形式示出）包括摄像机单元13，所述摄像机单元13从汽车驾驶员2的角度制成诸如图像或者录像带（Videofilm）那样的记录。此外，增强现实系统12还包括计算单元14。有利地，可穿戴式传感器单元12包括其它的传感器技术：例如罗盘或者用于确定方位或者取向的类似物和/或加速度传感器。
在附图中所示出的实施例的上下文中描述了可穿戴式传感器单元的同时，可替换地或者附加地可以将传感器单元集成在汽车中。
通信连接15连接增强现实系统12与系统5或控制设备10。通信连接15可以是诸如CAN或者Flexray那样的汽车总线系统的组成部分。通信连接15可以与其它的电缆连接的或者无电缆的连接类型或者连接协议（诸如蓝牙（Bluetooth）、W-LAN、USB等等）兼容。
在下文，依据附图描述了汽车驾驶员2的专注性如何被识别。
系统5通过观察汽车1的周围环境检测潜在危险的情况6（诸如对象7在汽车1的当时所选取的行驶路程上的移动）。
接着或者并行地，汽车驾驶员2的头部取向借助于可穿戴式传感器单元12的传感器技术被检测。在此，例如摄像机单元13的记录被使用并且必要时通过其它的传感器技术的测量值补充。为此，例如摄像机单元13的一个或者多个图像被分析，这可以在计算单元14或者计算单元11中发生。通过将记录或记录的片段或者部分与汽车的在表现（Erscheinung）和位置方面已知的光学特征（诸如换向轮或者特意作出的标记）相比较，确定了汽车驾驶员2的头部取向。
例如，在图1中，汽车驾驶员2的头部取向是笔直的或者针对汽车1的行驶方向为0°。在图2中，汽车驾驶员2的头部取向在左侧，或者换种表达来说，该头部取向针对汽车1的行驶方向计为大约-30°。
现在，将汽车驾驶员2的头部取向与潜在危险的情况6或对象7的取向或者位置相比较。对象7的取向、也就是说对当时的行驶方向的定位在图1和2中计为大约20°。
在按照图1的情况下，位置与头部位置之间的差计为20°，而在按照图2的情况下，位置与头部位置之间的差计为50°。现在，可以限定说明了容许的差的准则。对于强烈地与安全相关的应用来说，该准则或者边界值可计为0°或者近似0°，使得只有在位置与头部位置精确的一致的情况下推断出汽车驾驶员2的足够的专注性。在其它情况下，该准则例如可以计为25°，使得针对按照图1的情况确定了汽车驾驶员2的足够的专注性。针对按照图2的情况，确定了汽车驾驶员2的不足够的专注性。
执行专注性识别的计算单元11和/或14获得对象7的取向和/或位置以及可选地获得诸如所算出的碰撞时间、对象7的移动方向等等那样的其它信息。依据摄像机单元13的一个或者多个记录，计算单元11和/或14通过例如识别出确定的汽车内部空间特征、汽车外部空间特征、特定光学特征或者依据诸如道路标记（这例如可以是在汽车前面的线）那样的在汽车之外的特征来检查司机的视向。
如果如在图2中所勾画出的那样，汽车驾驶员2例如在变换车道时实施回头看（Schulterblick），则因为该汽车驾驶员2没有在危险的对象7的方向上看，所以根据汽车驾驶员2的所确定的头部取向或视向，计算单元11和/或14判定其是否已经必须向司机2发出警报。或者如在图1中所示出的那样，计算单元11和/或14判定：司机2的专注性足以还不必发出警报。这有助于避免误报警。
如果应该进行报警，那么通过适当的信号及时地向汽车驾驶员2发出警报。这可以是例如增强现实系统12或者汽车信息单元的光学信号。也可以设置声音报警信号，所述声音报警信号由汽车1和/或增强现实单元12的音频单元输出。此外，（例如在汽车1的换向轮上的）触觉报警是可能的。
如果取向和头部取向不一致或具有过大的差别，那么针对专注性识别的主动的反应干涉汽车的行驶运行。在这种情况下，如果在控制设备10不曾实施计算，则关于汽车驾驶员2的专注性或不专注性的信息被发还给该控制设备10。接着，控制设备10例如引起自主的制动过程或者制动的预激活，以便缩短制动距离。

Claims (10)

1.用于对汽车驾驶员（2）进行专注性识别的方法，其特征在于如下步骤：
－ 通过汽车（1）的系统（5）检测潜在危险的情况（6）；
－ 估计汽车驾驶员（2）的视觉感知区；
－ 通过将潜在危险的情况（6）的取向或者位置与汽车驾驶员（2）的视觉感知区相比较来识别汽车驾驶员（2）的专注性。
2.根据权利要求1所述的方法，其中，如果所述潜在危险的情况（6）的取向与视觉感知区不一致，那么报警信号被输出。
3.根据权利要求1或2所述的用于干涉行驶运行的方法，其中，如果所述潜在危险的情况（6）的取向与视觉感知区不一致，那么干涉汽车（1）的行驶运行。
4.根据权利要求2或3所述的方法，其中，报警信号和/或干涉的强度、持续时间、类型和/或起始时间点与专注性程度有关。
5.根据权利要求1至4之一所述的方法，其中，所述视觉感知区依据汽车（1）的在可穿戴式传感器单元（12）的摄像机单元（13）的记录中的至少一个光学特征、用于检测可穿戴式传感器单元（12）的方位的设备的至少一个方位说明和/或可穿戴式传感器单元（12）的加速度传感器的至少一个信号被确定。
6.根据权利要求1至5之一所述的方法，其中，所述潜在危险的情况通过对象（7）的取向或者位置被说明。
7.用于对汽车的汽车驾驶员（2）进行专注性识别的设备，所述汽车具有用于检测潜在危险的情况（6）的系统（5），其特征在于：设置有传感器单元（12），所述传感器单元（12）被设立用于估计汽车驾驶员（2）的视觉感知区；设置有用于与系统（5）和传感器单元（12）进行通信的通信模块并且设置有计算单元（11、14），所述计算单元（11、14）被设立为：并且通过将潜在危险的情况（6）的取向或者位置与汽车驾驶员（2）的视觉感知区相比较来识别汽车驾驶员（2）的专注性。
8.根据权利要求7所述的设备，其中，所述计算单元（11、14）被布置在系统（5）中和/或在可穿戴式传感器单元（12）中。
9.根据权利要求7或8所述的设备，其中，在汽车（1）上设置至少一个光学特征、尤其是红外发射机，用于感知为在可穿戴式传感器单元（12）的记录中的参考点。
10.根据权利要求7至9之一所述的设备，其中，所述系统（5）具有至少一个摄像机，所述至少一个摄像机被设立用于检测司机的瞳孔并且借此检测司机的视向，并且其中所述计算单元（11、14）被设立为将所述视向与所述视觉感知区重叠。
CN201610212053.9A 2015-04-08 2016-04-07 用于对汽车驾驶员进行专注性识别的方法和设备 Pending CN106043308A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015206200.7 2015-04-08
DE102015206200.7A DE102015206200A1 (de) 2015-04-08 2015-04-08 Verfahren und Vorrichtung zur Aufmerksamkeitserkennung eines Fahrzeugführers

Publications (1)

Publication Number Publication Date
CN106043308A true CN106043308A (zh) 2016-10-26

Family

ID=56986108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610212053.9A Pending CN106043308A (zh) 2015-04-08 2016-04-07 用于对汽车驾驶员进行专注性识别的方法和设备

Country Status (3)

Country Link
US (1) US9731727B2 (zh)
CN (1) CN106043308A (zh)
DE (1) DE102015206200A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110741424A (zh) * 2017-06-22 2020-01-31 三菱电机株式会社 危险信息收集装置
CN111077903A (zh) * 2019-12-12 2020-04-28 南京航空航天大学 一种基于窗口决策的高容错性的天钩回收方法
US20220126688A1 (en) 2017-05-02 2022-04-28 Motional Ad Llc Visually obstructed object detection for automated vehicle using v2v/v2i communications

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112016023042B1 (pt) * 2014-04-02 2022-01-11 Nissan Motor Co. Ltd Aparelho de apresentação de informações de veículo
WO2018009567A1 (en) 2016-07-05 2018-01-11 Nauto Global Limited System and method for automatic driver identification
EP3497405B1 (en) 2016-08-09 2022-06-15 Nauto, Inc. System and method for precision localization and mapping
US10719724B2 (en) * 2016-08-23 2020-07-21 Blinkeyelabs Electronics Private Limited Safety system for an automobile
US10733460B2 (en) 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
WO2018053175A1 (en) 2016-09-14 2018-03-22 Nauto Global Limited Systems and methods for near-crash determination
JP7290567B2 (ja) 2016-11-07 2023-06-13 ナウト，インコーポレイテッド 運転者の注意散漫決定のためのシステム及び方法
DE102016014383A1 (de) * 2016-12-02 2018-06-07 Lucas Automotive Gmbh Erweitertes Fahreraufmerksamkeitsmodul für Fahrerassistenzsysteme
US10118628B2 (en) 2017-02-21 2018-11-06 Allstate Insurance Company Data processing system for guidance, control, and testing autonomous vehicle features and driver response
DE102017206585B4 (de) * 2017-04-19 2023-05-04 Bayerische Motoren Werke Aktiengesellschaft Insassenunterstützungsverfahren, Insassenunterstützungssystem und Fahrzeug
EP3638542B1 (en) 2017-06-16 2022-01-26 Nauto, Inc. System and method for contextualized vehicle operation determination
WO2018229549A2 (en) 2017-06-16 2018-12-20 Nauto Global Limited System and method for digital environment reconstruction
US10453150B2 (en) 2017-06-16 2019-10-22 Nauto, Inc. System and method for adverse vehicle event determination
DE102017213499A1 (de) 2017-08-03 2019-02-07 Ford Global Technologies, Llc Tragbare Anzeigeeinrichtung in einem Kraftfahrzeug
DE102017214505A1 (de) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem
JP6965727B2 (ja) * 2017-12-21 2021-11-10 株式会社デンソー 居眠り警報装置
WO2019169031A1 (en) 2018-02-27 2019-09-06 Nauto, Inc. Method for determining driving policy
US11042156B2 (en) * 2018-05-14 2021-06-22 Honda Motor Co., Ltd. System and method for learning and executing naturalistic driving behavior
DE102019201407A1 (de) * 2019-02-04 2020-08-06 Continental Automotive Gmbh Verfahren und Vorrichtung zum Steuern der Aufmerksamkeit eines Fahrers
US10882398B2 (en) * 2019-02-13 2021-01-05 Xevo Inc. System and method for correlating user attention direction and outside view
KR102658769B1 (ko) 2019-09-11 2024-04-18 주식회사 에이치엘클레무브 운전자 보조 장치 및 그 제어 방법
JP7358958B2 (ja) * 2019-12-11 2023-10-11 トヨタ自動車株式会社 運転意識推定装置
SE2030301A1 (en) * 2020-09-30 2022-03-31 Chadalavada Ravi Teja Method and system for driving skill feedback
US11341786B1 (en) 2020-11-13 2022-05-24 Samsara Inc. Dynamic delivery of vehicle event data
US11352013B1 (en) * 2020-11-13 2022-06-07 Samsara Inc. Refining event triggers using machine learning model feedback
US11643102B1 (en) 2020-11-23 2023-05-09 Samsara Inc. Dash cam with artificial intelligence safety event detection
DE102021200467A1 (de) 2021-01-20 2022-07-21 Zf Friedrichshafen Ag Computerimplementiertes Verfahren, Steuergerät und Computerprogramm zum Regeln und/oder Steuern einer Fahrfunktion eines automatisiert betreibbaren Fahrzeuges und zum Aufbauen einer Warnkaskade für ein Auslösen der Fahrfunktion und automatisches Notbremsungs- und/oder Notlenkungsmodul für ein automatisiert betreibbares Fahrzeug umfassend ein derartiges Steuergerät
DE102021101985A1 (de) 2021-01-28 2022-07-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtungen zum Bereitstellen von Referenzpunkten in der Umgebung eines Fahrzeugs von dem Fahrzeug an ein mobiles Endgerät
DE102021003159A1 (de) 2021-06-18 2022-12-22 Mercedes-Benz Group AG Verfahren zur Prädiktion eines Verhaltens von Verkehrsteilnehmern
US11352014B1 (en) * 2021-11-12 2022-06-07 Samsara Inc. Tuning layers of a modular neural network
US11386325B1 (en) 2021-11-12 2022-07-12 Samsara Inc. Ensemble neural network state machine for detecting distractions
DE102021214286B3 (de) 2021-12-14 2023-03-23 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Betreiben eines Kollisionswarnsystems eines Fahrzeugs
DE102022212291A1 (de) 2022-11-18 2024-05-23 Robert Bosch Gesellschaft mit beschränkter Haftung Interaktionsvorrichtung zur Steuerung eines Fahrzeugs

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101549648A (zh) * 2008-03-31 2009-10-07 现代自动车株式会社 用于警告驾驶员存在目标物体的警报系统
CN102442248A (zh) * 2010-10-11 2012-05-09 现代自动车株式会社 与驾驶员视角方向结合的用于警告前方碰撞危险的系统和方法及使用所述系统和方法的车辆
US20120154441A1 (en) * 2010-12-16 2012-06-21 Electronics And Telecommunications Research Institute Augmented reality display system and method for vehicle
CN102712317A (zh) * 2010-01-14 2012-10-03 丰田自动车工程及制造北美公司 使驾驶员与环境感测结合的车辆安全性系统
CN202795232U (zh) * 2012-09-17 2013-03-13 武汉元宝创意科技有限公司 一种基于视线追踪技术的演示系统
CN103561635A (zh) * 2011-05-11 2014-02-05 谷歌公司 视线追踪系统
CN103941864A (zh) * 2014-04-03 2014-07-23 北京工业大学 一种基于人眼双目视角的体感控制器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2339537B1 (en) * 2009-12-23 2016-02-24 Metaio GmbH Method of determining reference features for use in an optical object initialization tracking process and object initialization tracking method
EP2564766B1 (en) * 2011-09-02 2018-03-21 Volvo Car Corporation Visual input of vehicle operator

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101549648A (zh) * 2008-03-31 2009-10-07 现代自动车株式会社 用于警告驾驶员存在目标物体的警报系统
CN102712317A (zh) * 2010-01-14 2012-10-03 丰田自动车工程及制造北美公司 使驾驶员与环境感测结合的车辆安全性系统
CN102442248A (zh) * 2010-10-11 2012-05-09 现代自动车株式会社 与驾驶员视角方向结合的用于警告前方碰撞危险的系统和方法及使用所述系统和方法的车辆
US20120154441A1 (en) * 2010-12-16 2012-06-21 Electronics And Telecommunications Research Institute Augmented reality display system and method for vehicle
CN103561635A (zh) * 2011-05-11 2014-02-05 谷歌公司 视线追踪系统
CN202795232U (zh) * 2012-09-17 2013-03-13 武汉元宝创意科技有限公司 一种基于视线追踪技术的演示系统
CN103941864A (zh) * 2014-04-03 2014-07-23 北京工业大学 一种基于人眼双目视角的体感控制器

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220126688A1 (en) 2017-05-02 2022-04-28 Motional Ad Llc Visually obstructed object detection for automated vehicle using v2v/v2i communications
CN114802221A (zh) * 2017-05-02 2022-07-29 动态Ad有限责任公司 自动化交通工具和用于自动化交通工具的方法
US11772489B2 (en) 2017-05-02 2023-10-03 Motional Ad Llc Visually obstructed object detection for automated vehicle using V2V/V2I communications
CN110741424A (zh) * 2017-06-22 2020-01-31 三菱电机株式会社 危险信息收集装置
CN110741424B (zh) * 2017-06-22 2022-02-18 三菱电机株式会社 危险信息收集装置
CN111077903A (zh) * 2019-12-12 2020-04-28 南京航空航天大学 一种基于窗口决策的高容错性的天钩回收方法
CN111077903B (zh) * 2019-12-12 2021-11-16 南京航空航天大学 一种基于窗口决策的高容错性的天钩回收方法

Also Published As

Publication number Publication date
US9731727B2 (en) 2017-08-15
US20160297449A1 (en) 2016-10-13
DE102015206200A1 (de) 2016-10-13

Similar Documents

Publication Publication Date Title
CN106043308A (zh) 用于对汽车驾驶员进行专注性识别的方法和设备
CN108068698B (zh) 车辆系统以及车辆
US10810877B2 (en) Vehicle control device
EP2578464B1 (en) Video-based warning system for a vehicle
US11273835B2 (en) System for a vehicle
JPWO2018061294A1 (ja) 周辺監視装置
US20160321920A1 (en) Vehicle surroundings monitoring device
JP6365385B2 (ja) 立体物検出装置及び立体物検出方法
WO2007069489A1 (ja) 安全走行支援装置
CN107791951B (zh) 显示控制装置
WO2019093176A1 (ja) 周辺監視装置
WO2018150642A1 (ja) 周辺監視装置
JP4622544B2 (ja) 車両の運転支援装置
CN108725454B (zh) 安全驾驶辅助系统及其控制方法
JP2018063294A (ja) 表示制御装置
US11858414B2 (en) Attention calling device, attention calling method, and computer-readable medium
JP4751894B2 (ja) 自動車の前方にある障害物を検知するシステム
CN113060156B (zh) 车辆周围监视装置、车辆、车辆周围监视方法和程序
JP2019001298A (ja) 衝突判定装置
JP7234614B2 (ja) 異常検出装置、異常検出システム及び異常検出プログラム
JP4762939B2 (ja) 車両用監視装置
US11608071B2 (en) Vehicle control device
JP4768499B2 (ja) 車載周辺他車検出装置
JP5040851B2 (ja) 脇見運転判定装置
CN103661370A (zh) 驻车辅助设备及其驻车辅助方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161026