CN108698606B - 用于分类驾驶员运动的方法 - Google Patents

用于分类驾驶员运动的方法 Download PDF

Info

Publication number
CN108698606B
CN108698606B CN201680079615.5A CN201680079615A CN108698606B CN 108698606 B CN108698606 B CN 108698606B CN 201680079615 A CN201680079615 A CN 201680079615A CN 108698606 B CN108698606 B CN 108698606B
Authority
CN
China
Prior art keywords
movement
head
driver
speed
dyn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680079615.5A
Other languages
English (en)
Other versions
CN108698606A (zh
Inventor
A.科特豪尔
W.克劳特
H-J.比格
J.菲舍尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN108698606A publication Critical patent/CN108698606A/zh
Application granted granted Critical
Publication of CN108698606B publication Critical patent/CN108698606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

根据本发明的一种用于在驾驶机动车时利用用于拍摄驾驶员的至少一部分的内部空间摄像机对驾驶员运动进行分类以获取驾驶员注意力的方法,其特征在于,基于所述拍摄,评估代表所述驾驶员的头部运动的运动参量,并且当所述运动参量相当于限定的条件时,驾驶员运动被分类为安全观察。附图关于时间示出了在回头观察时头部的典型的运动、旋转。

Description

用于分类驾驶员运动的方法
技术领域
本发明涉及一种用于在驾驶机动车时,利用用于拍摄驾驶员的至少一部分的内部空间摄像机,对驾驶员运动进行分类以获取驾驶员注意力的方法,其特征在于,基于所述拍摄,评估代表所述驾驶员的头部运动的运动参量并且当所述运动参量相当于限定的条件时,驾驶员运动被分类为安全观察。此外,本发明涉及一种被设置用于实施该方法的装置和计算机程序。
背景技术
由现有技术中已知例如专利申请DE 10 2013 210 941 A1。该文献涉及一种用于运行车辆的方法,其中,监控车辆的驾驶员的车辆驾驶,以便基于所监控的车辆驾驶形成描述驾驶者的驾驶风格的驾驶参数,所述驾驶参数被提供给驾驶员辅助系统,从而在借助于驾驶员辅助系统对车辆进行控制的过程中至少部分地映射驾驶员的驾驶风格。例如,对驾驶员的车辆驾驶的监控在此可以借助于至少一个传感器执行。基于传感器的相应的测量数据,可以形成驾驶参数。例如,可以借助于包括视频传感器的内部空间摄像机来检查:驾驶员例如在车道变换意图中或转弯过程中是否定期地执行回头观察(Schulterblick)。
此外,由现有技术已知专利申请DE 10 2009 005 730。该文献涉及一种用于监控机动车的车辆驾驶员的注意力的方法,其包括以下步骤:获取当前观察方向、即车辆驾驶员观察的方向;获取理论观察方向、即车辆驾驶员应该观察的方向,从而安全地驾驶机动车;借助于理论观察方向评估当前观察方向以确定机动车驾驶员的注意力或注意力不集中;获取时间预值,在该时间预值内可容忍机动车驾驶员的注意力不集中,在对机动车驾驶员的注意力不集中的确定的过程中检测注意力不集中的持续时间并且与该时间预值进行比较;在超过持续时间的情况下警告车辆驾驶员,其中,该方法的特征在于,根据行驶方向显示器的位置、关于处于机动车前方的道路走势的信息和/或车道保持辅助的信息来获取所述理论观察方向和/或所述时间预值。
此外一般来说,对驾驶员的观察方向的估计是有用的,以便例如检查驾驶员是否观察着他前方的行驶车道并观测当前的交通状况。例如,行驶安全系统和驾驶员辅助功能通过根据注意力匹配警告级别,从而可以从所述信息中受益。用于检查驾驶员关于交通状况方面的注意力的方法通常(A)使用观测系统,该观测系统实现估计驾驶员的头部方位和/或驾驶员的观察方向并且(B)将头部方位和/或观察方向与交通事件的待关注的平面(感兴趣的区域ROI和感兴趣的面积AOI)进行比较。如果识别到例如头部方位/观察方向与限定的ROI之间的偏差,于是假定走神或注意力不集中。然而,当驾驶员显示出虽然表示注意力、然而也导致驾驶员将其头部方位/观察方向与ROI远离、例如在回头观察或朝向侧视镜的观察的驾驶行为时,则该方案会导致困难。
发明内容
然而,有利的是,根据本发明的方法可以降低对驾驶员运动的错误解读的风险并优化系统的可靠性。这一点根据本发明能够通过下述特征得到实现:基于所述拍摄,评估代表所述驾驶员的头部运动的运动参量,并且当所述运动参量相当于限定的条件时,驾驶员运动被分类为安全观察,其中,当横向的头部运动被识别为运动参量时,将所述驾驶员运动分类为安全观察,其中,当从第一头部定向开始获取在第一方向上的头部旋转的开始时,识别到横向的头部运动,并且其中,当在第一方向上的头部旋转的速度相当于限定的第一速度阈值或者超过限定的第一速度阈值时,获取在第一方向上的头部旋转的开始。本发明的改进方案包括:当在第一方向上的头部旋转的速度相当于限定的第二速度阈值或超过限定的第二速度阈值时,识别到横向的头部运动;当在低于所述第二速度阈值之后,在第一方向上的头部旋转的速度低于第二速度限制时,未识别到横向的头部运动;当在第一方向上的头部旋转的运动范围相当于限定的第一运动阈值或超过限定的第一运动阈值时,识别到横向的头部运动;当横向的头部运动以及内旋的头部运动被识别为运动参量时,所述驾驶员运动被分类为安全观察;当紧接着横向的头部运动获取在第二方向上的头部旋转的开始时,识别到内旋的头部运动;当头部旋转的速度相当于限定的第四速度阈值或超过限定的第四速度阈值时,识别到内旋的头部运动;当在第二方向上的头部旋转的运动范围相当于限定的第二运动阈值或者超过限定的第二运动阈值时,或者当在第二方向上的头部旋转的速度低于限定的第三速度限制时,识别到内旋的头部运动;当在第一方向上的横向的头部运动和随后的内旋的头部运动以及在第二方向上的横向的头部运动和随后的在第一方向上的内旋的头部运动被检测为运动参量时,驾驶员运动被分类为安全观察;当运动参量在限定的时间限制内相当于限定的条件时,所述驾驶员运动被分类为安全观察;当在低于所述第一速度阈值之后,在第一方向上的头部旋转的速度低于第一速度限制时,未识别到横向的头部运动;当在第二方向上的头部旋转的速度相当于限定的第三速度阈值或者超过限定的第三速度阈值时,获取在第二方向上的头部旋转的开始。
一种用于在驾驶机动车时,利用用于拍摄驾驶员的至少一部分的内部空间摄像机对驾驶员运动进行分类以获取驾驶员注意力的根据本发明的方法,其特征在于,基于所述拍摄,评估代表所述驾驶员的头部运动的运动参量,并且当所述运动参量相当于限定的条件时,驾驶员运动被分类为安全观察。
这意味着,当驾驶员的运动满足一个或多个特定的要求时,将所述驾驶员的运动视为安全观察。作为要求可以限定,运动方面相当于限定的阈值或超过或低于该阈值。替代性地,边界值也可以被限定为要求。此外可以限定,特定的方面必须在限定的时间间隔内进行,使得条件被视为得到满足。在此,尤其将回头观察(单一地朝向一个方向或双重地朝向两个相反的方向)、朝向侧视镜中的观察(同样,单一地朝向一个侧视镜或双重地朝向两个侧视镜)以及朝向后视镜中的观察理解为安全观察。
有利地,可以由此避免对驾驶员运动的错误分类。也就是说,该方法允许例如避免对实际占据驾驶员注意力的、但是在先前的算法中在没有使用根据本发明的方法的情况下被识别为代表走神的运动的错误的分类。由此,该方法可以优化对驾驶员注意力的获取。在此,得到了用于获取驾驶员注意力的整个系统的可靠性的改善。用于注意力识别的系统的结论质量同样得到提升。
在一个有利的实施方式中,该方法的特征在于,当横向的头部运动被识别为运动参量时,驾驶员运动被分类为安全观察。
这意味着所提及的限定的条件是横向的头部运动。横向的头部运动是从起始位置到侧面的头部运动。起始位置可以是尤其对于在行驶方向上向前或者替代性地在朝向感兴趣的区域的方向上的观察方向的合适的方位。从这个意义上说,横向的头部运动可以被看作在一个方向上的头部旋转。在此,横向的头部运动的简单的识别被证明是有利的。此外,由此在安全观察的识别和驾驶员注意力的获取方面已经获得了可接受的有效性。
在一个可能的设计方案中,该方法的特征在于,当从第一头部定向开始获取在第一方向上的头部旋转的开始时,识别到横向的头部运动,其中,当在第一方向上的头部旋转的速度相当于限定的第一速度阈值或超过限定的第一速度阈值时,尤其获取在第一方向上的头部旋转的开始。
这意味着,当识别到头部旋转的开始时,该方法获取头部旋转的开始并且得出横向的头部运动的结论。对此特别地,获取并研究头部运动的速度。在此,头部的运动速度代表必定相当于限定的条件的运动参量。令人惊讶的是,在50°/秒的速度的情况下可以假定头部旋转的开始。此外,已经发现头部旋转不会以显著更低的速度进行。所限定的第一速度阈值因此可以有利地以50°/秒的数量级来进行限定。在此,速度阈值被理解为这样的一个量。例如,所述量针对向左的头部旋转可以被设为+50°/秒,以及针对向右的头部旋转被设为-50°/秒。在此,符号被有利地用于识别头部旋转在哪个方向上进行。此外,由此可以在随后的步骤中检查是否在一个方向和另一个方向上进行头部旋转并且在每种情况下都满足相应的条件。用于识别横向的头部运动的条件对于两个方向有利地是相同的(除了不同的符号)。然而,这些也可能不同。例如,它们对于识别到的第一旋转(左或右)和识别到的第二旋转(右或左)可能不同。在此,速度(例如,作为运动的导数)的简单的获取被证明是有利的。此外,该方案尤其提高了在识别安全观察时的安全性。第一头部定向尤其应理解为带有朝向行驶方向观察和/或朝向限定的ROI观察的头部的定向。
在优选的实施方案中,该方法的特征在于,当在第一方向上的头部旋转的速度相当于限定的第二速度阈值或超过限定的第二速度阈值时,识别到横向的头部运动。
这意味着当识别到具有第二速度的头部旋转时,该方法得出横向的头部运动的结论。令人惊讶地发现,横向的头部运动大多达到90°/秒的速度。已经发现,当测量到90°/秒的运动速度时,以较高的概率进行横向的头部运动。所限定的第一速度阈值因此可以有利地以90°/秒的数量级来进行限定。在此,速度的相对简单的获取重新被证明是有利的。此外,借助于该标准的头部旋转的良好的识别质量尤其被证明是有利的。
在优选的设计方案中,该方法的特征在于,当在达到或超过第一或第二速度阈值之后,在第一方向上的头部旋转的速度低于第一或第二速度限制时,未识别到横向的头部运动。
这应该被理解为,如果已达到或超过第一(替代性地,第二)速度阈值,然而接下来在时间限制到期之前,低于限定的第一(替代性地:限定的第二)速度限制,则否定识别到横向的头部运动。在这种情况下,否定识别到横向的头部运动并且重新开始获取。该条件有利地在达到下一个分析步骤时终止。例如,对低于第二速度限制的检查可以以检查达到第一运动阈值终止。有利地,通过实施用于获取安全观察的另一个标准来进一步提升结果质量。
在一个替代性的改进方案中,该方法的特征在于,当在第一方向上的头部旋转的运动范围相当于限定的第一运动阈值或超过限定的第一运动阈值时,识别到横向的头部运动。
应该理解的是,头部旋转的运动范围必须相当于限定的条件,以便将头部运动分类为安全观察。在此,尤其头部运动的旋转角度可以被理解为运动范围。令人惊讶地发现,在45°的运动范围的情况下可以假定安全观察、尤其回头观察。限定的第一运动阈值因此可以有利地以45°的数量级进行限定。有利地,通过使用所述另一个标准,可以改善结果质量。此外,可实现以简单的方式并且利用现有的传感装置来获取运动范围。
在一个可能的实施方式中,该方法的特征在于,当横向的头部运动以及内旋的头部运动被识别为运动参量时,驾驶员运动被分类为安全观察。
这被理解为,如果首先进行横向的并且随后进行内旋的头部运动,则将头部运动视为安全观察。内旋的头部运动可以被理解为这样的头部旋转,该头部旋转与横向的头部旋转相反地进行、即已旋转的头部返回到起始位置的返回运动。因此相应的方向被设置为相反的。例如,从行驶方向上向左侧的头部旋转作为横向的头部运动进行以越过左侧肩部进行观察。随后,从该位置向右侧作为内旋的头部运动进行头部旋转,直到再次存在行驶方向上的观察。在此被证明为有利的是,不仅监控旋转的头部位置中的运动,而且监控到起始位置中的返回运动。由此,例如当进行朝向车辆侧面的持久的观察时,可以避免将特定的运动错误解读为安全观察。
在一个优选的设计方案中,该方法的特征在于,当在横向的头部运动之后获取在第二方向上的头部旋转的开始时,识别到内旋的头部运动,其中当在第二方向上的头部旋转的速度相当于限定的第三速度阈值或超过限定的第三速度阈值时,尤其获取在第二方向上的头部旋转的开始。
该特征应该被理解为类似于获取横向的头部运动的开始,其差异在于,现在首先检查横向的头部运动并且随后检查内旋的头部运动的开始。用于识别内旋的头部运动的开始的第三速度阈值(如第一速度阈值)为50°/秒。然而,符号相对于第一速度阈值是相反的,因为头部的运动必须在另一个方向上进行以便能够返回到起始点。有利地,该方法步骤证明,借助于对内旋的头部旋转的更详细的检查,使得结论质量得到提高并且可以减少错误分类。
在一个有利的改进方案中,该方法的特征在于,当头部旋转的速度相当于限定的第四速度阈值或超过限定的第四速度阈值时,识别到内旋的头部运动。
该特征被理解为类似于借助于第二运动速度来获取横向的头部运动。用于识别内旋的头部运动(如第二速度阈值)的第四速度阈值是90°/秒。然而,该符号相对于第二速度阈值是相反的,因为头部的运动必须在另一方向上进行以便能够返回到起始点。有利的是,通过使用这个标准,对运动特性进行更详细的检查并对当前的注意力的估计进行适配。这由此提高了安全观察的识别的质量。
在一个优选的实施方案中,该方法的特征在于,当在第二方向上的头部旋转的运动范围相当于限定的第二运动阈值或超过限定的第二运动阈值时或者当在第二方向上的头部旋转的速度低于限定的第三速度限制时,识别到内旋的头部运动。
所述特征速度限制被理解为类似于获取横向的头部运动;然而差别在于,达到或低于速度限制不会导致否定,而是确认内旋的头部运动。已经获取的是,在低于50°/秒的情况下,可以假定内旋的头部运动的结束。速度限制因此可以设置在50°/秒的数量级上。替代性地,当头部已经再次返回其起始位置时,于是实现确认内旋的头部运动。为此,限定了“第二运动阈值”的条件。在此,这可以表示角度阈值,其中该角度阈值尤其相当于横向的运动的角度阈值。替代性地,作为条件,也可以限定相对于初始的头部定向的“过零”(Zero-crossing)或关于ROI的所需的头部定向。有利的是,通过该条件可以获取内旋的头部运动的结束。这导致更详细地检查运动特性并且适配对当前的注意力的估计。由此,可以提高关于所识别到的安全观察的结论质量。
在一个替代性的改进方案中,该方法的特征在于,如果带有随后的内旋的头部运动的在第一方向上的横向的头部运动以及带有随后的在第一方向上的内旋的头部运动的在第二方向上的横向的头部运动被检测作为运动参量,则驾驶员运动被分类为安全观察。
应该理解的是,如果例如首先头部旋转朝向左侧的车辆侧面,并且然后头部旋转朝向右侧的车辆侧面,分别伴随头部方位返回到起始位置中,于是驾驶员运动被识别为安全观察。替代性地,当然可以以以不同的顺序。由此,可以获取驾驶员的双重的观察作为安全观察、例如越过左侧的和右侧的肩部或朝向左侧的和右侧的外后视镜。类似于获取第一横向的和/或内旋的头部运动的方法步骤和条件,可以获取第二横向的和/或内旋的头部运动。在此应该指出的是,必要时必须相应地考虑速度和运动的符号切换。由此,其他的运动模式有利地被识别为安全观察并且由此在获取注意力方面实现了提高的质量。
特别地,根据本发明的方法有利地包括以下步骤中的至少一个:数据获取、数据的预处理以及对经预处理的数据的分析。
在一个优选的改进方案中,该方法的特征在于,当运动参量在限定的时间限制内相当于限定的条件时,驾驶员运动被分类为安全观察。
这意味着,所描述的条件相应地必须在特定的时间段内得到满足。如果在限定的时间内没有得到满足,则得出驾驶员运动不是安全观察的结论。只要限定的时间(或其他限制)仍未到期,将进一步检查相应的条件是否得到满足。在此,对于不同的方法步骤的条件,可以分别限定不同的(或者当然相同的)时间限制。但是尤其规定,对于所有方法步骤仅设置一个时间限制。在此已经证实的是,(单一的)安全观察在通常情况下不超过2秒。因此,有利地,可以限定2秒的数量级的时间限制。也就是说,如果在2秒内满足所有要求的条件,则驾驶员运动被分类为单一的安全观察。在获取双重的安全观察时,可以考虑两个时间限制(分别针对一个方向上的安全观察),然而有利的是每个时间限制分别为2秒。通过考虑时间限制,引入了一个附加的标准。这有利地辅助对驾驶员运动的正确的分类并优化结论质量。
在一个可能的设计方案中,提供了一种用于确定驾驶员的注意力的方法,其中,当驾驶员的观察远离所限定的区域时,得出驾驶员的注意力下降的结论。该方法的特征在于,根据上述方法步骤之一,检查驾驶员运动是否应当被分类为安全观察,并且当驾驶员运动被分类为安全观察时,得出驾驶员的注意力未下降的结论和/或该运动在评估注意力时未被考虑。
这意味着获取驾驶员的注意力。注意力通常通过驾驶员的观察方向来进行确定。在此,远离ROI的观察表示注意力不集中。由驾驶员运动、尤其由头部运动可以得出驾驶员的观察方向的结论。如果该观察方向处于ROI之外,则在当前的注意力系统中得出注意力不集中的结论。然而,在所提出的对注意力的获取中,现在分析,相当于所描述的条件,驾驶员运动是否能够被视为安全观察。如果是这种情况,则相应的驾驶员运动不被评估为注意力不集中。例如,在获取注意力时不能考虑该运动。反之,例如该运动可以相反地被评估为用于注意力的指标。由此得到了对实际的注意力的改善的获取并且避免错误分类。有利地,可以通过对实际的注意力的更精确的认知来实现对驾驶员的警告策略进行调整,并且例如可以避免不必要的警告。
根据本发明,此外设置了一种装置,其被设置用于实施所描述的方法。
这意味着,设置有用于机动车的控制器和/或其他的计算单元,所述控制器和/或其他的计算单元被设计、也就是说被设置并且/或者具有机构以执行或者辅助如之前所描述的方法。例如,在驾驶机动车时利用用于拍摄驾驶员的至少一部分的内部空间摄像机对驾驶员运动进行分类以获取驾驶员注意力的装置的特征在于,基于所述拍摄,评估代表所述驾驶员的头部运动的运动参量,并且当所述运动参量相当于限定的条件时,驾驶员运动可被分类为安全观察。
根据本发明,此外设置有一种计算机程序,该计算机程序被设置用于实施所描述的方法。
附图说明
需要指出的是,在说明书中单个地列举的特征可以以任意的、在技术上有意义的方式彼此组合并且表明本发明的其他的设计方案。本发明的其他的特征和效用从借助于附图对实施例所作的说明中产生。
在附图中示出:
图1示出了根据一种可能的设计方案的用于在机动车中应用所述方法的装置的示意图,并且
图2示出了根据一种可能的设计方案的方法的过程图,并且
图3示出了根据一种可能的设计方案在安全观察情况下头部运动关于时间的曲线。
图1示出了用于在机动车中应用所述方法的示例性的装置的示意图。在此,示出了车辆3中的驾驶员1。所述车辆3具有用于获取驾驶员1的注意力的驾驶员辅助系统4。为此,借助于内部空间传感装置7来观测注意力特征。在所示出的实施方案中,借助于设计为摄像机的内部空间传感装置7来观测驾驶员1的眼睛2的观察方向。同样对驾驶员1的头部9的运动、尤其安全观察(Sicherheitsblick)进行监控。回头观察或朝向一个或多个侧视镜10的观察可以被理解为安全观察。此外,设置有用于执行所述方法的调节和控制器8。该调节和控制器也可以被设置用于对借助于内部空间传感装置7获取的数据进行预处理和/或执行参数计算。此外,设有用于将信息6输出给驾驶员1的装置5。该装置5被设计为显示器,该显示器在注意力不足时将视觉的警告提示作为信息6输出给驾驶员。当然也能够考虑这样的装置(例如,扬声器),所述装置能够将信息6通过听觉(例如,通过扬声器)或者通过触觉(例如,借助于方向盘或者座椅振动)传输给驾驶员1。
图2示出了根据一种可能的设计方案的方法11的过程图。方法11在第一步“开始”中开始。随后,开始时间检测“开始_计时器”。随后,检查是否已达到或超过第一速度阈值“Sp_dyn_l”。该第一速度阈值“Sp_dyn_1”表示在第一方向上的横向的头部运动的起点。该第一速度阈值在第一方向上约为50°/秒。如果未达到“N”第一速度阈值“Sp_dyn_l”,则检查是否低于第一速度限制“Sp_end_1”。此外,检查是否超过第一时间限制“Sc_timer_l”。如果已经低于“Y”限定的第一速度阈值“Sp_dyn_l”,则停止时间检测并且设置为“零”“重置_计时器”。随后,重新开始该方法并重新开始时间检测“开始_计时器”。当已超过“Y”第一时间限制“Sc_timer_l”时,进行相同的过程。在此,如果已经满足两个条件中的一个,则停止并重新开始。如果仍未超过“N”第一时间限制“Sc_timer_1”并且不低于“N”第一速度限制“Sp_end_1”,则进一步检查在下一个测量步骤中是否达到第一速度阈值“Sp_dyn_1”。
如果已达到“Y”第一速度阈值“Sp_dyn_1”,则进一步检查是否已达到第二速度阈值“Sp_dyn_2”。该第二速度阈值“Sp_dyn_2”表示在第一方向上的横向的头部运动的参考速度。该第二速度阈值约为90°/秒。如果未达到“N”第二速度阈值“Sp_dyn_2”,则检查是否低于第二速度限制“Sp_end_2”。此外,检查是否超过第二时间限制“Sc_timer_2”。如果已经低于“Y”限定的第二速度阈值“Sp_dyn_2”,则停止时间检测并设置为“零”“重置_计时器”。随后,再次开始该方法并重新开始时间检测“开始_计时器”。当已超过“Y”第二时间限制“Sc_timer_2”时,将进行相同的过程。在此,如果已经满足两个条件中的一个,则停止并重新开始。如果仍未超过“N”第二时间限制“Sc_timer_2”并且不低于“N”第二速度限制“Sp_end_2”,则进一步检查在下一个测量步骤中是否达到第二速度阈值“Sp_dyn_2”。
如果已达到或超过“Y”第二速度阈值“Sp_dyn_2”,则检查是否已达到第一运动阈值“Sp_Ampl_1”。该第一运动阈值“Sp_Ampl_1”表示在第一方向上的横向的头部运动的参考偏转。该第一运动阈值约为45°。如果未达到“N”第一运动阈值“Sp_Ampl_1”,则检查是否已超过第三时间限制“Sc_timer_3”。如果超过了“Y”限定的第三时间限制“Sp_timer_3”,则停止时间检测并设置为“零”“重置_计时器”。如果仍未超过“N”第三时间限制“Sc_timer_3”,则进一步检查在下一测量步骤中是否达到第一运动阈值“Sp_Ampl_1”。
如果已达到或超过“Y”第一运动阈值“Sp_Ampl_1”,则检查是否已达到第三速度阈值“Sp_dyn_3”。该第三速度阈值“Sp_dyn_3”表示在与第一方向相反的第二方向上的横向的头部运动的起点。“Sp_dyn_2”在第二个方向上约为50°/秒。如果未达到“N”第三速度阈值“Sp_dyn_3”,则检查是否超过第四时间限制“Sc_timer_4”。如果已超过“Y”限定的第四时间限制“Sp_timer_4”,则停止时间检测并设置为“零”“重置_计时器”。如果仍未超过“N”第四时间限制“Sc_timer_4”,则进一步检查在下一个测量步骤中是否达到第三速度阈值“Sp_dyn_3”。
如果已达到或超过“Y”第三速度阈值“Sp_dyn_3”,则检查是否已达到第四速度阈值“Sp_dyn_4”。该第四速度阈值“Sp_dyn_4”表示在与第一方向相反的第二方向上的横向的头部运动的参考值。“Sp_dyn_4”在该第二方向上约为90°/秒。如果未达到“N”第四速度阈值“Sp_dyn_4”,则检查是否超过第五时间限制“Sc_timer_5”。如果已超过“Y”限定的第五时间限制“Sp_timer_5”,则停止时间检测并设置为“零”“重置_计时器”。如果仍未超过“N”第五时间限制“Sc_timer_5”,则进一步检查在下一个测量步骤中是否达到第四速度阈值“Sp_dyn_4”。
如果已达到或超过“Y”第四速度阈值“Sp_dyn_4”,则检查是否已达到或低于第三速度限制“Sp_end_3”或是否已达到或超过相反的运动阈值“Sp_zero”。该第三速度限制“Sp_end_3”表示内旋的头部运动的最小速度。该第三速度限制约为50°/秒。该相反的运动阈值“Sp_zero”表示内旋的头部运动的参考偏转。它与横向的头部运动“Sp_zero”的运动阈值“Sp_Ampl_1”大小大致相同。特别地,“Sp_zero”也可以被限定为头部旋转相对于行驶方向上的观察方向或相对于ROI的“过零(Nulldurchgang)”。如果未达到“N”第三速度限制“Sp_end_3”,则检查是否超过第六时间限制“Sc_timer_6”。如果超过“Y”限定的第六时间限制“Sp_timer_6”,则停止时间检测并设置为“零”“重置_计时器”。如果仍未超过“N”第六时间限制“Sc_timer_6”,则进一步检查在下一个测量步骤中是否达到或低于第三速度限制“Sp_end_3”或者在下一个测量步骤中是否达到或超过相反的运动阈值“Sp_zero”。
如果已达到或低于“Y1”第三速度限制“Sp_end_3”或者已达到或超过“Y1”相反的运动阈值“Sp_zero”,则假定存在单一的回头观察“Sc_l”。随后,停止时间检测“重置_计时器”并重新启动“开始_计时器”。此外,在第二通道中检查是否存在双重的回头观察 “Sc_2”。在此,重新进行该方法,其中仅速度和运动的符号被反转。
时间限制“Sp_end”可以针对每个步骤而被单独地限定。然而尤其规定,为所有步骤限定一个时间限制。在此,时间检测以步骤“开始_计时器”开始并且运行直至该方法的结束或直到步骤“重置_计时器”。
速度限制“Sp_dyn”可以针对第一横向的和内旋的头部运动与第二横向的和内旋的头部运动单独地进行限定。然而尤其规定,针对两个运动的速度限制是相同的。
图3示出了在根据本发明的一种可能的设计方案的安全观察中的头部运动关于时间的曲线。在此,所示的线条关于时间[t]示出头部旋转角度[deg.]。此外,绘制了第一速度阈值“Sp_dyn_1”、第一运动阈值“Sp_Ampl_1”、第四速度阈值“Sp_dyn_4”的点。同样地,示出了从第一速度阈值“Sp_dyn_l”开始的时间限制“Sc_timer”。

Claims (15)

1.一种用于在驾驶机动车(3)时利用用于拍摄驾驶员(1)的至少一部分的内部空间摄像机(7)对驾驶员运动进行分类以获取驾驶员注意力的方法(11),其特征在于,基于所述拍摄,评估代表所述驾驶员(1)的头部运动的运动参量,并且当所述运动参量相当于限定的条件时,驾驶员运动被分类为安全观察,其中,当横向的头部运动被识别为运动参量时,将所述驾驶员运动分类为安全观察,其中,当从第一头部定向开始获取在第一方向上的头部旋转的开始时,识别到横向的头部运动,并且
其中,当在第一方向上的头部旋转的速度相当于限定的第一速度阈值(Sp_dyn_l)或者超过限定的第一速度阈值(Sp_dyn_l)时,获取在第一方向上的头部旋转的开始。
2.根据权利要求1所述的方法(11),其特征在于,当在第一方向上的头部旋转的速度相当于限定的第二速度阈值(Sp_dyn_2)或超过限定的第二速度阈值(Sp_dyn_2)时,识别到横向的头部运动。
3.根据权利要求2所述的方法(11),其特征在于,当在低于所述第二速度阈值(Sp_dyn_2)之后,在第一方向上的头部旋转的速度低于第二速度限制(Sp_end_2)时,未识别到横向的头部运动。
4.根据权利要求1或2所述的方法(11),其特征在于,当在第一方向上的头部旋转的运动范围相当于限定的第一运动阈值(Sp_Ampl_1)或超过限定的第一运动阈值(Sp_Ampl_1)时,识别到横向的头部运动。
5.根据权利要求1或2所述的方法(11),其特征在于,当横向的头部运动以及内旋的头部运动被识别为运动参量时,所述驾驶员运动被分类为安全观察。
6.根据权利要求5所述的方法(11),其特征在于,当紧接着横向的头部运动获取在第二方向上的头部旋转的开始时,识别到内旋的头部运动。
7.根据权利要求5所述的方法(11),其特征在于,当头部旋转的速度相当于限定的第四速度阈值(Sp_dyn_4)或超过限定的第四速度阈值(Sp_dyn_4)时,识别到内旋的头部运动。
8.根据权利要求5所述的方法(11),其特征在于,
- 当在第二方向上的头部旋转的运动范围相当于限定的第二运动阈值(Sp_zero)或者超过限定的第二运动阈值(Sp_zero)时,或者
- 当在第二方向上的头部旋转的速度低于限定的第三速度限制(Sp_end_3)时,
识别到内旋的头部运动。
9.根据权利要求1或2所述的方法(11),其特征在于,当在第一方向上的横向的头部运动和随后的内旋的头部运动以及在第二方向上的横向的头部运动和随后的在第一方向上的内旋的头部运动被检测为运动参量时,驾驶员运动被分类为安全观察。
10.根据权利要求1或2所述的方法(11),其特征在于,当运动参量在限定的时间限制(Sc_timer)内相当于限定的条件时,所述驾驶员运动被分类为安全观察。
11.根据权利要求1所述的方法(11),其特征在于,当在低于所述第一速度阈值(Sp_dyn_1)之后,在第一方向上的头部旋转的速度低于第一速度限制(Sp_end_l)时,未识别到横向的头部运动。
12.根据权利要求7所述的方法(11),其特征在于,当在第二方向上的头部旋转的速度相当于限定的第三速度阈值(Sp_dyn_3)或者超过限定的第三速度阈值(Sp_dyn_3)时,获取在第二方向上的头部旋转的开始。
13.一种用于确定驾驶员的注意力的方法,其中在驾驶员(1)的观察从限定的区域移开的情况下得出所述驾驶员(1)的注意力下降的结论,其特征在于,相当于根据权利要求1至12中任一项所述的方法(11)检查驾驶员运动是否应当被分类为安全观察,并且在将驾驶员运动分类为安全观察时得出所述驾驶员(1)的注意力未下降的结论,和/或所述运动在对注意力的评估时未被考虑。
14.一种被设置用于实施根据权利要求1至13中任一项所述的方法的装置(7、8)。
15.一种机器可读的存储介质,在该机器可读的存储介质上存储了计算机程序,该计算机程序被设置用于实施根据权利要求1至13中任一项所述的方法。
CN201680079615.5A 2016-01-21 2016-12-14 用于分类驾驶员运动的方法 Active CN108698606B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE102016200856 2016-01-21
DE102016200856.0 2016-01-21
DE102016215291.2 2016-08-17
DE102016215291.2A DE102016215291A1 (de) 2016-01-21 2016-08-17 Verfahren zur Klassifikation von Fahrerbewegungen
PCT/EP2016/080972 WO2017125211A1 (de) 2016-01-21 2016-12-14 Verfahren zur klassifikation von fahrerbewegungen

Publications (2)

Publication Number Publication Date
CN108698606A CN108698606A (zh) 2018-10-23
CN108698606B true CN108698606B (zh) 2022-02-01

Family

ID=59295583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680079615.5A Active CN108698606B (zh) 2016-01-21 2016-12-14 用于分类驾驶员运动的方法

Country Status (5)

Country Link
US (1) US10430677B2 (zh)
EP (1) EP3405375B1 (zh)
CN (1) CN108698606B (zh)
DE (1) DE102016215291A1 (zh)
WO (1) WO2017125211A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7043795B2 (ja) * 2017-11-06 2022-03-30 日本電気株式会社 運転支援装置、運転状況情報取得システム、運転支援方法及びプログラム
JP2019091281A (ja) * 2017-11-15 2019-06-13 オムロン株式会社 脇見判定装置、脇見判定方法及び脇見判定のためのプログラム
DE102018215969A1 (de) * 2018-09-19 2020-03-19 Robert Bosch Gmbh Verfahren zum Klassifizieren einer fahraufgabenfremden Aktivität eines Fahrers hinsichtlich einer Unterbrechbarkeit der fahraufgabenfremden Aktivität bei einer Übernahmeaufforderung der Fahraufgabe und Verfahren zur Wiederfreigabe einer fahraufgabenfremden Aktivität nach einer Unterbrechung der fahraufgabenfremden Aktivität aufgrund einer Übernahmeaufforderung der Fahraufgabe
FR3090172B1 (fr) 2018-12-13 2020-11-20 Continental Automotive France Procédé de détermination d’un niveau de vigilance d’un conducteur
DE102019123612A1 (de) * 2019-09-04 2021-03-04 Audi Ag Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Betreiben des Kraftfahrzeugs, Fahrtrainereinrichtung, und Kraftfahrzeug
JP2021105958A (ja) * 2019-12-27 2021-07-26 マツダ株式会社 ドライバ状態推定装置およびドライバ状態推定方法
JP7450396B2 (ja) 2020-02-10 2024-03-15 株式会社今仙電機製作所 酔い予測システム及び酔い予測システムを備えた車両、酔い予測システムの制御方法及びプログラム
USD968497S1 (en) 2020-11-04 2022-11-01 Godwin Nkwocha Vehicle interior camera
CN112849149A (zh) * 2021-01-28 2021-05-28 上海商汤临港智能科技有限公司 驾驶员状态检测方法、装置、设备、介质及程序产品
DE102021209194B3 (de) 2021-08-20 2022-10-20 Continental Autonomous Mobility Germany GmbH Vorrichtung und Verfahren zur Stabilitätsüberwachung eines Ego-Fahrzeugs

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6927694B1 (en) * 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
DE102005021141A1 (de) * 2005-05-06 2006-11-09 Bayerische Motoren Werke Ag Verfahren zum Aktivieren eines Warnsystems zum Vermeiden von Personen- und Sachschäden durch Kraftfahrzeugtüren
CN103442925A (zh) * 2011-03-25 2013-12-11 Tk控股公司 用于确定驾驶员警觉性的系统和方法
DE102012021249A1 (de) * 2012-10-30 2014-05-28 Audi Ag Verfahren zum Absichern eines Ausstiegsvorgangs einer Person aus einem Fahrzeug
DE102013000131A1 (de) * 2013-01-05 2014-07-10 Volkswagen Aktiengesellschaft Feedbacksystem für ein Kraftfahrzeug und Verfahren zum Bereitstellen eines Feedbacks
DE102013210941A1 (de) * 2013-06-12 2014-12-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
DE102013013227A1 (de) * 2013-08-08 2015-02-12 Audi Ag Kraftwagen mit Anzeigeeinheit und Sicherung gegen eine Fahrerablenkung
DE102014201282A1 (de) * 2014-01-24 2015-07-30 Volkswagen Aktiengesellschaft Verfahren für ein Fahrerassistenzsystem

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5689241A (en) * 1995-04-24 1997-11-18 Clarke, Sr.; James Russell Sleep detection and driver alert apparatus
ATE454849T1 (de) * 2002-10-15 2010-01-15 Volvo Technology Corp Verfahren für die auswertung der kopf- und augenaktivität einer person
DE102009005730A1 (de) 2009-01-22 2010-07-29 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zur Überwachung der Aufmerksamkeit eines Fahrzeugführers
US20140276090A1 (en) * 2011-03-14 2014-09-18 American Vehcular Sciences Llc Driver health and fatigue monitoring system and method using optics
DE102011085825A1 (de) * 2011-11-07 2013-05-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum Warnen des Fahrers eines Kraftfahrzeugs bei mangelnder Aufmerksamkeit
JP6047318B2 (ja) * 2012-07-06 2016-12-21 矢崎総業株式会社 ドライバ状態検出装置及びドライバ状態報知装置
US9707973B2 (en) * 2012-07-24 2017-07-18 Toyota Jidosha Kabushiki Kaisha Drive assist device
US20140052333A1 (en) * 2012-08-14 2014-02-20 Guy Elder Image Recognition System For A Vehicle
US8930269B2 (en) * 2012-12-17 2015-01-06 State Farm Mutual Automobile Insurance Company System and method to adjust insurance rate based on real-time data about potential vehicle operator impairment
DE102014213285B4 (de) * 2014-07-09 2023-12-07 Bayerische Motoren Werke Aktiengesellschaft Kopfrichtungsabhängige Anzeige von Inhalten auf einer Datenbrille

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6927694B1 (en) * 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
DE102005021141A1 (de) * 2005-05-06 2006-11-09 Bayerische Motoren Werke Ag Verfahren zum Aktivieren eines Warnsystems zum Vermeiden von Personen- und Sachschäden durch Kraftfahrzeugtüren
CN103442925A (zh) * 2011-03-25 2013-12-11 Tk控股公司 用于确定驾驶员警觉性的系统和方法
DE102012021249A1 (de) * 2012-10-30 2014-05-28 Audi Ag Verfahren zum Absichern eines Ausstiegsvorgangs einer Person aus einem Fahrzeug
DE102013000131A1 (de) * 2013-01-05 2014-07-10 Volkswagen Aktiengesellschaft Feedbacksystem für ein Kraftfahrzeug und Verfahren zum Bereitstellen eines Feedbacks
DE102013210941A1 (de) * 2013-06-12 2014-12-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
DE102013013227A1 (de) * 2013-08-08 2015-02-12 Audi Ag Kraftwagen mit Anzeigeeinheit und Sicherung gegen eine Fahrerablenkung
DE102014201282A1 (de) * 2014-01-24 2015-07-30 Volkswagen Aktiengesellschaft Verfahren für ein Fahrerassistenzsystem

Also Published As

Publication number Publication date
WO2017125211A1 (de) 2017-07-27
DE102016215291A1 (de) 2017-07-27
US10430677B2 (en) 2019-10-01
US20190005341A1 (en) 2019-01-03
CN108698606A (zh) 2018-10-23
EP3405375A1 (de) 2018-11-28
EP3405375B1 (de) 2023-06-21

Similar Documents

Publication Publication Date Title
CN108698606B (zh) 用于分类驾驶员运动的方法
US11854276B2 (en) Vehicle driver monitoring system for determining driver workload
EP1801730B1 (en) Method of detecting vehicle-operator state
EP3489066A2 (en) Method for controlling vehicle based on condition of driver
US10000210B2 (en) Lane recognition apparatus
EP2559016B1 (en) Video based intelligent vehicle control system
US9662977B2 (en) Driver state monitoring system
KR101950476B1 (ko) 운전자 상태 감지 시스템, 운전자 상태 감지 방법 및 운전자 감지 시스템을 장착한 차량
US11440473B2 (en) Driving assistance apparatus
CN110087965B (zh) 用于车辆的系统
WO2008090451A2 (en) Anti-drowsing device and anti-drowsing method
EP2511121B1 (en) Device and method for generating an indication signal to the driver of a vehicle
CN107757625B (zh) 用于在机动车中对驾驶员更换进行鉴别的方法
JP2009294753A (ja) 画像処理装置および画像処理方法
US10745025B2 (en) Method and device for supporting a vehicle occupant in a vehicle
CN105374163B (zh) 具有疲劳识别的驾驶员辅助系统和用于预见疲劳度的方法
KR20210086014A (ko) 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템
US10271723B2 (en) Method and apparatus for providing a reference level for an eye-opening width
CN111105594A (zh) 车辆及驾驶员疲劳驾驶的识别方法、装置
EP2347940A1 (en) An object collision warning system and method for a motor vehicle
JP2014146267A (ja) 歩行者検出装置、運転支援装置
JP6565305B2 (ja) 車両の安全運転促進方法及び車両の安全運転促進装置
US10945651B2 (en) Arousal level determination device
CN111626334B (zh) 一种车载高级辅助驾驶系统的关键控制目标选择方法
KR20180024479A (ko) 전방 차량과의 거리 표시장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant