CN106372568B - 用于对车辆乘客的视线进行预测的方法和装置 - Google Patents
用于对车辆乘客的视线进行预测的方法和装置 Download PDFInfo
- Publication number
- CN106372568B CN106372568B CN201610576462.7A CN201610576462A CN106372568B CN 106372568 B CN106372568 B CN 106372568B CN 201610576462 A CN201610576462 A CN 201610576462A CN 106372568 B CN106372568 B CN 106372568B
- Authority
- CN
- China
- Prior art keywords
- vehicle occupant
- sight
- head
- model
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000004424 eye movement Effects 0.000 claims abstract description 64
- 230000004886 head movement Effects 0.000 claims abstract description 62
- 230000006978 adaptation Effects 0.000 claims description 14
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000007476 Maximum Likelihood Methods 0.000 claims description 5
- 238000010972 statistical evaluation Methods 0.000 claims description 2
- 210000003128 head Anatomy 0.000 description 97
- 230000033001 locomotion Effects 0.000 description 27
- 238000001514 detection method Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 7
- 230000004434 saccadic eye movement Effects 0.000 description 6
- 230000004418 eye rotation Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Eye Examination Apparatus (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- User Interface Of Digital Computer (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种用于对车辆（100）的车辆乘客（102）的视线（120）进行预测的方法。该方法包括：读入所述车辆乘客（102）的初始视线（114）的步骤；在使用关于所述车辆乘客（102）的代表当前的头部和/或眼睛运动的视角变化的传感器数据（118）的情况下，求取所述车辆乘客（102）的从所述初始视线（114）开始的当前的头部和/或眼睛运动的最大速度的步骤；在使用所求取的最大速度的情况下确定所述当前的头部和/或眼睛运动的、通过预定义的模型来代表的所期望的大小的步骤；以及使用所述初始视线（114）和所述当前的头部和/或眼睛运动的所期望的大小的步骤，以便预测所述车辆乘客（102）的视线（120）。
Description
技术领域
本发明涉及用于对车辆乘客的视线进行预测的方法或者装置。一种计算机程序也是本发明的主题。
背景技术
对于人的观察者的视线的估计被用在不同的技术上的系统中。例如车辆中的协助系统测量驾驶员的头部和/或眼睛运动，用于获知，驾驶员是否还看着道路并且留心地跟踪交通情况。
对于观察者的视线的估计可以用不同的方法来获得。一种重要的估计通过对于例如形式为观察者的头部和眼睛运动的定向或者定位行为的测量来获得。对于观察者的头部和眼睛运动的测量可以用基于视频的、用于头部和眼睛运动的跟踪系统来获得。这样的系统在德国也被称为头部或者眼睛追踪系统，并且一般来说根据所显现的面部特征来估计观察者的头部运动。在第二步骤中，检测观察者的眼睛和特定的眼睛特征，例如瞳孔、巩膜或者角膜反射。将这些特征用于估计眼睛转动并且提供对于所述观察者的视线的更为准确的估计。头部或者眼睛追踪系统是否能够确定当前的头部或者眼睛位置，取决于相应的传感器的检测范围。
发明内容
在这种背景下，用这里所介绍的方案来介绍一种用于对车辆乘客的视线进行预测的方法、此外一种使用这种方法的装置以及最后相应的计算机程序。有利的拓展方案和改进方案包括：通过接口从所述车辆的光学传感器处读入关于所述车辆乘客的代表当前的头部和/或眼睛运动的视角变化的传感器数据的步骤；当在所述求取的步骤中所求得的最大速度超过预定义的速度阈值时，执行确定所述当前的头部和/或眼睛运动的所期望的大小的步骤；在所述确定的步骤中使用一种能够用所保存的公式来计算的模型来作为所述预定义的模型；在所述确定的步骤中使用一种作为查阅表格来实现的模型来作为所述预定义的模型；在所述确定的步骤中作为所述预定义的模型来使用一种模型，该模型以对人和/或车辆乘客的头部和/或眼睛运动的凭经验的分析为基础；在所述确定的步骤中，作为所述预定义的模型来使用一种模型，该模型能够在使用至少一个适应处理参数的情况下调整；作为所述适应处理参数来使用一种根据车辆乘客特点能够确定并且/或者得到确定的适应处理参数；作为根据车辆乘客特点能够确定的和/或得到确定的适应处理参数来使用一种根据车辆乘客特点能够确定的和/或得到确定的适应处理参数，该适应处理参数借助于统计学上的估计法来求取；在所述确定的步骤中，作为所述预定义的模型来使用一种模型，该模型能够通过所述至少一个适应处理参数与车辆内的使用环境相匹配；该适应处理参数借助于最大似然估计来求取。
这里所介绍的、用于对车辆乘客的视线进行预测的方案利用车辆乘客的头部或者眼睛运动的幅度或者大小与速度之间的生物力学上的关系，并且由此能够实现在对于头部或者眼睛运动的速度的分析的基础上预测所述头部或者眼睛运动的终点。
这种新颖的方案也能够有利地实现视线估计，如果所述头部或者眼睛离开所述检测范围、也就是可以由所述头部或者眼睛追踪系统可靠地检测的范围。由此可以克服传感器数据中的缺陷，用于广泛地提高所述头部或者眼睛追踪系统的可靠性。
按照这里所介绍的方案能够实现的、对于视线的预测也能够在由于检测范围的限制而具有少量的传感器数据的环境中提高对于观察者的视线变化的估计的可靠性。
介绍了一种用于对车辆的车辆乘客的视线进行预测的方法，其中所述方法具有以下步骤：
读入所述车辆乘客的初始视线；
在使用关于所述车辆乘客的、代表当前的头部和/或眼睛运动的视角变化的传感器数据的情况下，求取所述车辆乘客的从所述初始视线开始的当前的头部和/或眼睛运动的最大速度；
在使用所求取的最大速度的情况下确定所述当前的头部和/或眼睛运动的、通过预定义的模型来代表的所期望的大小；
使用所述初始视线和所述当前的头部和/或眼睛运动的所期望的大小，用于预测所述车辆乘客的视线。
所述方法可以在处于道路上的（straßengebunden）车辆中执行。所述车辆乘客可以是车辆的驾驶员。所述视线可以是所述车辆乘客的所估计的视线。所述初始视线可以借助于矢量在三维空间中表示，并且可以提供关于在所述当前的头部和/或眼睛运动之前所述车辆乘客在视觉上盯着将该乘客包围的环境的哪个区域的信息。所述初始视线可以由对准所述乘客的光学传感器来检测，并且可以借助于传感器数据而被提供，以用于读入。“所述头部和/或眼睛运动的大小”可以是指一种角度，以该角度为幅度来改变所述眼睛和/或头部的视线。
所述头部和/或眼睛运动可以是所述车辆乘客的头部或者单眼或者双眼围绕着偏转轴线和横向轴线（俯仰轴线）的转动运动。例如可以大约在所述头部和/或眼睛运动的中心达到所述最大速度。所述视线变化可以代表关于静止位置偏离所述车辆乘客的、通过所述初始视线来预先给定的视角的偏差。所述传感器数据可以是所述车辆的光学传感器的电信号。
所述预定义的模型可以借助于数学公式来描绘和构成，用于表达头部和/或眼睛运动的大小和速度之间的生物力学上的关系的主要参数。所述当前的头部和/或眼睛运动的所期望的大小例如可以借助于所述头部或者眼睛在初始视线与待估计的视线之间的转动运动的度数来表达。
所述车辆乘客的待预测的视线也可以在使用至少两个位置数据的情况下例如借助于矢量在三维空间中示出，并且可以提供关于在所述当前的头部和/或眼睛运动结束时所述车辆乘客盯着将该车辆乘客包围的环境的哪个区域的信息。
这种方法例如可以以软件或者硬件的形式或者以由软件和硬件构成的混合形式例如在控制仪中来实现。
按照一种实施方式，所述方法可以具有下述步骤:通过接口从所述车辆的光学传感器处读入关于所述车辆乘客的、代表当前的头部和/或眼睛运动的视角变化的传感器数据。因此，始终可以及时地提供当前的传感器数据。
按照另一种实施方式，如果在所述求取的步骤中所求得的最大速度超过并且/或者已经超过预定义的速度阈值，则可以执行确定所述当前的头部和/或眼睛运动的所期望的大小的步骤。由此可以有利地节省计算能力，方法是：只有当所述当前的头部和/或眼睛运动以所期望的方式在所述提供传感器数据的传感器的检测范围之外结束时才执行所述方法。
在这里所建议的方案的另一种实施方式中，可以在所述确定的步骤中作为所述预定义的模型来使用一种能够用所保存的公式来计算的模型。因此，该模型可以更好地与所述当前的头部和/或眼睛运动相匹配。
作为替代方案，可以在所述确定的步骤中将作为查阅表格来实现的模型用作所述预定义的模型。用这种实施方式可以节省计算能力并且可以更快地提供所述模型。
此外，可以在所述确定的步骤中作为所述预定义的模型来使用一种模型，该模型以对于人和/或车辆乘客的头部和/或眼睛运动的凭经验的分析为基础。因此，可以有利地个性化地对所述模型进行调整。
按照另一种实施方式，可以在所述确定的步骤中作为所述预定义的模型来使用一种模型，该模型能够在使用至少一个适应处理参数的情况下来调整，尤其该模型能够通过所述至少一个适应处理参数来与车辆内的使用环境相匹配。因此，所述模型还可以更加精确地与所述当前的头部和/或眼睛运动相匹配。
例如，作为所述适应处理参数可以使用一种适应处理参数，该适应处理参数根据车辆乘客特点或者说特定于车辆乘客地（fahrzeuginsassenspezifisch）能够确定并且/或者得到了确定。这能够实现对于所述模型的在很大程度上个性化的调整。
按照一种实施方式，作为根据车辆乘客特点能够确定的并且/或者得到确定的适应处理参数，可以使用一种根据车辆乘客特点能够确定的并且/或者得到确定的适应处理参数，该适应处理参数借助于统计学上的估计法、例如最大似然估计来求取。由此，可以以简单的方式用一种较好地展开的和经过验证的处理方式根据具体的使用场合来对所述模型或者一个/多个适应处理参数进行调整。
此外，这里所介绍的方案提供了一种装置，该装置被构造用于在相应的机构中实施、操控或者实现这里所介绍的方法的一种变型方案的步骤。通过本发明的形式为装置的这种实施变型方案也可以快速并且有效地解决本发明所基于的任务。
“装置”在此可以是指一种电设备，该电设备处理传感器信号并且据此输出控制和/或数据信号。所述装置可以具有接口，该接口可以按照硬件的方式并且/或者按照软件的方式来构成。在按照硬件方式来构成时，所述接口例如可以是所谓的系统ASIC的一部分，该部分包括所述装置的极为不同的功能。但是也可能的是，所述接口是自身的所集成的开关电路或者至少部分地由分立的结构元件所构成。在按照软件的方式构成时，所述接口可以是软件模块，所述软件模块除了其他软件模块之外也例如在微型控制器上存在。
也有利的是一种具有程序代码的计算机程序产品或者计算机程序，所述程序代码可以被保存在机器可读的载体或者存储介质、例如半导体存储器、硬盘存储器或者光学的存储器上，并且尤其当所述程序产品或者程序在计算机或者装置上执行时被用于实施、实现并且/或者操控按前面所描述的实施方式之一所述的方法的步骤。
附图说明
本发明的实施例在附图中示出并且在下面的描述中进行详细解释。附图示出：
图1是具有按照一种实施例的、用于对车辆的车辆乘客的视线进行预测的装置的车辆的原理图；
图2是按照一种实施例的、用于对车辆的车辆乘客的视线进行预测的方法的流程图；
图3是按照一种实施例的、用于示出眼睛运动的大小与最大速度之间的关系的图表；并且
图4到6是按照实施例的、以典型的速度曲线转头的示意图。
在接下来对本发明的有利的实施例所作的描述中，为在不同的附图中示出的并且类似地起作用的元件使用相同的或者类似的附图标记，其中放弃对于这些元件的重复的说明。
具体实施方式
图1示出了车辆100的原理图。所述车辆100是在处于道路上的车辆、例如轿车或者载货车。此外，示出了所述车辆100的车辆乘客102、这里是驾驶员102。
所述车辆100配备有用于对所述车辆乘客102的运动进行跟踪或者追踪的运动跟踪系统104。所述运动跟踪系统104可以设计为头部追踪系统或者眼睛追踪系统。在作为头部追踪系统的设计方案中，所述运动跟踪系统104被构造用于追踪所述乘客102的头部运动、尤其是转头运动。在作为眼睛追踪系统的设计方案中，所述运动跟踪系统104被构造用于追踪所述乘客102的眼睛运动、尤其是眼睛转动运动。
所述头部或者眼睛追踪系统104的任务是，确定所述车辆乘客102尤其是当其是所述车辆100的驾驶员时是否将目光投向了交通事件。因此，下面将所述车辆乘客102也称为观察者102。在使用所述头部或眼睛追踪系统104的相应的数据的情况下，必要时可以激活所述车辆100的驾驶员协助系统或者警告系统。
所述头部或眼睛追踪系统104包括一具有光学传感器108的车辆摄像头106和按第一种实施例的、用于对所述车辆乘客102的视线进行预测或者估计的装置110。所述车辆摄像头106布置在车辆客舱中并且对准所述车辆乘客102的头部112。
所述摄像头106的光学传感器108被构造用于：检测所述车辆乘客102的初始视线114以及所述车辆乘客102的、由所述初始视线114开始的-在图1中未示出的-头部或者眼睛运动。在所述光学传感器108的预先给定的检测范围之内，这个光学传感器能够完全检测所述车辆乘客102的头部或者眼睛运动。所述乘客102的、在所述检测范围之外进行的运动不再能够由所述传感器108来检测。
所述初始视线114借助于矢量在图1中示出。所述头部或者眼睛运动尤其可以是所述车辆乘客102的头部112或者眼睛116朝侧面、向下或者向上的转动运动。
所述装置110在图1中所示出的实施例中被集成到所述头部或者眼睛追踪系统104中。按照一种替代的实施例，所述装置110也可以布置在所述头部或者眼睛追踪系统104之外并且通过电导线与所述头部或者眼睛追踪系统104相连接。
所述装置110被构造用于通过合适的接口从所述车辆摄像头106处读入所述车辆乘客102的初始视线114以及关于所述车辆乘客102的、代表当前的头部和/或眼睛运动的视角变化的传感器数据118。然后所述装置110在使用所得到的信息的情况下求取由所述视角变化所代表的、当前的头部和/或眼睛运动的峰值速度或者最大速度。
随后，所述装置110使用人的头部或者眼睛运动的、所求取的最大速度以及预定义的模型，以便确定所述当前的头部和/或眼睛运动的所期望的大小。所述大小在此描绘所述头部或者眼睛运动的范围，也就是表明，所述头部112或者眼睛116从所述初始视线114开始直至达到在所述运动结束时的视线转动了多少度。所述大小由此也可以被称为幅度。
在知道所述初始视线和所述当前的头部和/或眼睛运动的所期望的大小的情况下，所述装置110能够预测所述车辆乘客102的视线120。所预测的视线120作为划虚线的矢量在图1中示出。
图1示出了一种具有基于视频的头部或者眼睛追踪系统104的结构，所述头部或者眼睛追踪系统具有一个单个的、在正面对准所述观察者102的摄像头106。不过，这里所介绍的装置110也可以在与其他装置或者具有多个摄像头的系统或者不基于视频的头部或者眼睛追踪系统的组合中使用。
所述头部或者眼睛追踪系统104以恒定的时间间隔、例如每秒60次采样来提供所述当前的视角的测量。所述系统104没有受制于特定的采样率。所述装置110被构造用于对所提供的角度信息进行分析。相应地，所述装置110计算所提供的角度信号的速度。
按照实施例，以这种所推导的信号为基础，用于在使用速度阈值的情况下确定个性化的运动的开始、这里是当前的头部或者眼睛运动的开始。在第二步骤中，所述装置110确定这种特定的运动的峰值速度或者最大速度。一旦达到并且由所述系统104测量到所述运动的峰值速度，则以如下方式来计算所述运动的所期望的大小或者幅度A、也就是运动终点：
Vpeak表示所测量的最大速度；In表示自然对数；Vmax和C表示常数，所述常数与相应的运动、也就是头部或者眼睛运动相匹配。对于人的眼睛运动来说，示范性的数值是Vmax=500度/秒，C=15度；也可以考虑所述常数的其它数值。所述关系的其他表达也是可行的。
实施方案要么可以直接计算所述幅度，要么可以从预先计算的查阅表格中读出所述数值。也可以自动化地个性化地确定用于每个单个的观察者102的常数。这一点得到实现，方法是：测量完全在所述传感器范围之内进行的、较小的头部或者眼睛运动的幅度和最大速度。所述参数可以借助于标准方法从统计学上的估计、例如所述最大似然估计法中来获得。
给所述头部或者眼睛追踪系统104扩增了所述装置110，这能够实现可靠地预测所述车辆乘客102的运动的终点，所述运动在所述光学传感器108的检测范围之内开始，但是最终所述车辆乘客102的头部112或者眼睛116从所述检测范围中运动出来。
图2示出了用于对车辆的车辆乘客的视线进行预测的方法200的一种实施例的流程图。所述方法200可以由在图1中示出的、用于对车辆的车辆乘客的视线进行预测的装置来执行。
在读入的一个步骤202中读入所述车辆乘客的初始视线。在所述读入的另一个步骤204中，通过接口从所述车辆的光学传感器处读入关于所述车辆乘客的视角变化的传感器数据，其中所述视角变化代表所述车辆乘客的当前的头部和/或眼睛运动。
在求取的步骤206中，在使用关于所述车辆乘客的视角变化的传感器数据的情况下，求取所述车辆乘客的头部和/或眼睛运动的最大速度。在确定的步骤208中使用所述在步骤206中所求取的最大速度，用于确定所述当前的头部和/或眼睛运动的、通过预定义的模型来代表的所期望的大小。在使用的步骤210中使用所述初始视线和所述当前的头部和/或眼睛运动的所期望的大小，用于预测或者估计所述车辆乘客的视线。
按照所述方法200的一种实施例，只有当在求取的步骤206中所求得的最大速度超过预定义的速度阈值时，才实施确定所述当前的头部和/或眼睛运动的、所期望的大小的步骤208。由此保证，只有在所述车辆乘客的运动在一个位置处结束的可能性较高时才对所述车辆乘客的视线进行估计，其中在所述位置处头部或者眼睛已经从所述传感器的检测范围中运动出来。
在所述确定的步骤208中，按所述方法200的实施例，可以使用不同的预定义的模型，用于确定所述当前的头部和/或眼睛运动的所期望的大小。
例如可以使用一种模型，该模型能够用在所述车辆的头部或者眼睛追踪系统中或者在控制仪中所保存的公式来计算。作为替代方案，可以使用作为查阅表格在所述头部或者眼睛追踪系统中所实现的模型。尤其可以使用一种模型，该模型以对所述当前的车辆乘客的头部和/或眼睛运动模型的凭经验的分析为基础。
也能够设想以一种在使用一个或者多个适应处理参数的情况下能够调整的模型为基础。按照一种实施例，所述适应处理参数能够根据车辆乘客特点来确定，例如借助于最大似然估计来求取。
图3示出了按照一种实施例的、用于示出眼睛运动或者眼睛飞快扫视的大小或者幅度与其最大速度之间的典型的关系的图表。“眼睛飞快扫视”在这里可以是指眼睛的转动运动。
在此示出了一种笛卡尔坐标系。在横坐标上以处于0与20之间的度数绘示出用于眼睛飞快扫视的示范性的幅度的数值。在纵坐标上绘示出用于每秒0度到每秒600度的眼睛飞快扫视的示范性的最大速度的数值。曲线300表示眼睛飞快扫视的大小与最大速度之间的关系。如所述图示所示出的那样，在原点开始的曲线300严格地单调上升，其中其斜率首先很大并且然后逐渐变得较小。
图3中的图表示出，具有较小的最大速度的眼睛运动通过较小的幅度来表示并且随着最大速度的增大所述幅度变得较大。
眼睛飞快扫视的大小与最大速度之间的这种关系可以用指数函数来建模。可以将在这方面所描述的反函数用于确定所述眼睛运动的终点。
在所述眼睛运动方面的在图3中示范性地示出的动态基本上也描绘了在头部运动方面的动态。
图4到6示出了按照实施例的、以典型的速度曲线转头的示意图。相应地以俯视图示出了所述观察者102的头部112。一个扇形的原点处于所述头部112的、代表该头部112的旋转轴线400的中心中，这个扇形代表对准所述头部112的-在图4到6中未示出的-传感器系统的检测范围402。
所述检测范围402是围绕所述头部中心400的范围，在该范围之内所述传感器系统可以检测所述头部112的精确的位置。所述传感器系统如在图1中所示出的那样例如可以是在正面对准所述观察者102的摄像头。所述传感器系统被构造用于检测所述观察者102的视角变化，所述视角变化代表所述观察者102的当前的头部和/或眼睛转动运动。安放在所述旋转轴线400上的矢量表示所述观察者102在视角变化的特定的角度位置上的相应的视线。
图4示出了所述头部112处于在这里被定义为静止位置404的位置中，在该位置中所述观察者102将头部112保持正立的状态并且一直向前看。所述静止位置404在图4中的图示中借助于虚线来表示。图4中的矢量表示所述观察者102在转头之前的初始视线114。所述矢量的、有待由所述传感器系统检测的角度位置根据按照一种实施例被定义为静止位置的所示出的头部位置处于零度处。在图4中的图示中，所述头部112处于所述检测范围402的中心处并且由所述传感器系统来检测。
在图4中在下方示出的图表关于时间示出了特定大小的转头的典型的曲线。在笛卡尔坐标系的横坐标上绘示出时间t，并且在所述笛卡尔坐标系的纵坐标上绘示出速度v。曲线406表明预先确定的大小的转头的典型的曲线。
在时刻t1，所述头部112还处于所述初始视线114中，转头的速度为零。如果所述观察者102从所述初始视线114开始向左或者向右转头，则所述转动速度在所述转动运动的前一半中快速上升，以便在达到通过所述曲线406的顶点表示的最大速度之后在更加平缓的曲线中直至转头的结束又下降到零。所述曲线406可以用作用于所述观察者102的、具有相同的幅度的转头的模型。
图5又从上方示出了所述观察者102的头部112。在这里，所述观察者102的、从所述初始视线向左的转头已经开始，并且如所述在图示中在下面所示出的图表所表明的那样示出了所述头部112处于在时刻t2在达到所述转头的最大速度Vpeak500时的位置中的情况。所述观察者102的当前的视线502关于所述静止位置404中的视线处于大约15度的角度中。
图5中的图示示出，所述观察者102的头部112在所述转头的时刻t2还处于所述传感器系统的检测范围402之内，并且所述观察者102的头部运动由此还可靠地被所述传感器系统检测到。
图6示出了所述观察者102的头部112在所述示范性的转头结束时的情况。在这里，所述头部112处于所述传感器系统的检测范围402之外，因而所述传感器系统不再能够探测到转头的终点并且由此不再能够检测到所述观察者102的当前的视线。
在这里，在这方面所介绍的对转头进行速度检测的方案起了用于对在离开所述传感器范围102之后的视线进行估计的作用。在使用在图5中示出的、用于转头的模型的情况下，自上一个所检测的传感器数值起外插另外的、用于所述转动运动的数值，用于定义所述转动运动在时刻t3的终点。根据t3来估计新的、处于所述传感器检测范围402之外的视线120。
图4到6示出，所述头部112的范围大的侧向的转动导致不再能够精确地由所述传感器系统来确定的转头，因为所述转头处于所述检测范围402之外。按照在这里所介绍的方案，使用对于所述检测范围402之内的头部运动的运动学的分析，用于确定所述转头在所述传感器的检测范围402之外的终点。
可能的、用于这里所介绍的方案的使用范围例如在于用于对人的运动进行检测的传感器技术中、尤其在于用于结合驾驶员监控摄像头及系统对头部或眼睛运动进行跟踪的技术中。
如果一种实施例包括第一特征与第二特征之间的“与/或”联结，那么这一点应该如此解读，使得所述实施例按照一种实施方式不仅具有所述第一特征而且具有所述第二特征，并且按照另一种实施方式要么仅仅具有所述第一特征要么仅仅具有所述第二特征。
Claims (13)
1.一种用于对车辆（100）的车辆乘客（102）的视线（120）进行预测的方法（200），其中该方法（200）包括以下步骤：
-读入（202）所述车辆乘客（102）的初始视线（114）；
-在使用关于所述车辆乘客（102）的代表当前的头部和/或眼睛运动的视角变化的传感器数据（118）的情况下，求取（206）所述车辆乘客（102）的从所述初始视线（114）开始的当前的头部和/或眼睛运动的最大速度（500）；
-在使用所求取的最大速度（500）的情况下确定（208）所述当前的头部和/或眼睛运动的、通过预定义的模型（406）来代表的所期望的大小；以及
-使用（210）所述初始视线（114）和所述当前的头部和/或眼睛运动的所期望的大小，以便预测所述车辆乘客（102）的视线（120）。
2.按权利要求1所述的方法（200），其特征在于通过接口从所述车辆（100）的光学传感器（108）处读入（204）关于所述车辆乘客（102）的代表当前的头部和/或眼睛运动的视角变化的传感器数据（118）的步骤。
3.按权利要求1或2所述的方法（200），其特征在于，当在所述求取（206）的步骤中所求得的最大速度（500）超过预定义的速度阈值时，执行确定（208）所述当前的头部和/或眼睛运动的所期望的大小的步骤。
4.按权利要求1或2所述的方法（200），其特征在于，在所述确定（208）的步骤中使用一种能够用所保存的公式来计算的模型来作为所述预定义的模型（406）。
5.按权利要求1或2所述的方法（200），其特征在于，在所述确定（208）的步骤中使用一种作为查阅表格来实现的模型来作为所述预定义的模型（406）。
6.按权利要求1或2所述的方法（200），其特征在于，在所述确定（208）的步骤中作为所述预定义的模型（406）来使用一种模型，该模型以对人和/或车辆乘客的头部和/或眼睛运动的凭经验的分析为基础。
7.按权利要求1或2所述的方法（200），其特征在于，在所述确定（208）的步骤中，作为所述预定义的模型（406）来使用一种模型，该模型能够在使用至少一个适应处理参数的情况下调整。
8.按权利要求7所述的方法（200），其特征在于，作为所述适应处理参数来使用一种根据车辆乘客特点能够确定并且/或者得到确定的适应处理参数。
9.按权利要求8所述的方法（200），其特征在于，作为根据车辆乘客特点能够确定的和/或得到确定的适应处理参数来使用一种根据车辆乘客特点能够确定的和/或得到确定的适应处理参数，该适应处理参数借助于统计学上的估计法来求取。
10.按权利要求1或2所述的方法（200），其特征在于，在所述确定（208）的步骤中，作为所述预定义的模型（406）来使用一种模型，该模型能够通过所述至少一个适应处理参数与车辆内的使用环境相匹配。
11.按权利要求9所述的方法（200），其特征在于，该适应处理参数借助于最大似然估计来求取。
12.一种被设计用于执行按前述权利要求1到11中任一项所述的方法（200）的装置（110）。
13.一种机器可读的存储介质，在该机器可读的存储介质上面保存了计算机程序，该计算机程序被设计用于执行按前述权利要求1到11中任一项所述的方法（200）。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102015213769.4A DE102015213769A1 (de) | 2015-07-22 | 2015-07-22 | Verfahren und Vorrichtung zum Prädizieren einer Blickrichtung eines Fahrzeuginsassen |
| DE102015213769.4 | 2015-07-22 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106372568A CN106372568A (zh) | 2017-02-01 |
| CN106372568B true CN106372568B (zh) | 2021-06-29 |
Family
ID=57738649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610576462.7A Active CN106372568B (zh) | 2015-07-22 | 2016-07-21 | 用于对车辆乘客的视线进行预测的方法和装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10074023B2 (zh) |
| JP (1) | JP6762157B2 (zh) |
| CN (1) | CN106372568B (zh) |
| DE (1) | DE102015213769A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10962780B2 (en) * | 2015-10-26 | 2021-03-30 | Microsoft Technology Licensing, Llc | Remote rendering for virtual images |
| JP6895837B2 (ja) | 2017-07-25 | 2021-06-30 | 三菱電機株式会社 | 表示装置 |
| FR3069657A1 (fr) * | 2017-07-31 | 2019-02-01 | Valeo Comfort And Driving Assistance | Dispositif optique pour l'observation d'un habitacle de vehicule |
| CN107770561A (zh) * | 2017-10-30 | 2018-03-06 | 河海大学 | 一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法 |
| DE102017221871A1 (de) * | 2017-12-05 | 2019-06-06 | Volkswagen Aktiengesellschaft | Verfahren zur Berechnung der Bewegungsdaten des Kopfes eines Fahrers eines Fahrzeuges, Datenbrille sowie Fahrzeug zur Verwendung bei dem Verfahren und Computerprogramm |
| CN111731311B (zh) * | 2020-05-29 | 2023-04-07 | 阿波罗智联(北京)科技有限公司 | 车机行驶的安全控制方法、装置、设备以及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1705454A (zh) * | 2002-10-15 | 2005-12-07 | 沃尔沃技术公司 | 解释对象的头部和眼睛活动的方法和装置 |
| CN102656613A (zh) * | 2009-12-18 | 2012-09-05 | 本田技研工业株式会社 | 使用眼睛注视技术、盲点指示器和驾驶员经验的预测人机接口 |
| CN102963298A (zh) * | 2012-09-29 | 2013-03-13 | 重庆长安汽车股份有限公司 | 基于视线检测的异常行为监控方法 |
| CN104391574A (zh) * | 2014-11-14 | 2015-03-04 | 京东方科技集团股份有限公司 | 视线处理方法、系统、终端设备及穿戴式设备 |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2758023B2 (ja) * | 1989-05-17 | 1998-05-25 | 日本放送協会 | 画像表示装置 |
| JP2688526B2 (ja) * | 1989-09-25 | 1997-12-10 | 日本電信電話株式会社 | 注視方向予測装置 |
| US5287437A (en) * | 1992-06-02 | 1994-02-15 | Sun Microsystems, Inc. | Method and apparatus for head tracked display of precomputed stereo images |
| US5793310A (en) * | 1994-02-04 | 1998-08-11 | Nissan Motor Co., Ltd. | Portable or vehicular navigating apparatus and method capable of displaying bird's eye view |
| US20060209013A1 (en) * | 2005-03-17 | 2006-09-21 | Mr. Dirk Fengels | Method of controlling a machine connected to a display by line of vision |
| US8085140B2 (en) * | 2006-09-04 | 2011-12-27 | Panasonic Corporation | Travel information providing device |
| JP4811259B2 (ja) * | 2006-12-11 | 2011-11-09 | 日産自動車株式会社 | 視線方向推定装置及び視線方向推定方法 |
| WO2009041055A1 (ja) * | 2007-09-26 | 2009-04-02 | Panasonic Corporation | ビーム走査型表示装置、その表示方法、プログラム、及び集積回路 |
| JP2011047902A (ja) * | 2009-08-28 | 2011-03-10 | Honda Motor Co Ltd | 乗員移動量算出装置 |
| KR101544524B1 (ko) * | 2010-12-16 | 2015-08-17 | 한국전자통신연구원 | 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법 |
| US8885882B1 (en) * | 2011-07-14 | 2014-11-11 | The Research Foundation For The State University Of New York | Real time eye tracking for human computer interaction |
| WO2013109869A1 (en) * | 2012-01-20 | 2013-07-25 | Magna Electronics, Inc. | Vehicle vision system with free positional virtual panoramic view |
| KR101970577B1 (ko) * | 2013-04-09 | 2019-04-19 | 엘지디스플레이 주식회사 | 입체 영상 표시 장치 및 그의 아이-트랙킹 방법 |
| DE102013210746A1 (de) * | 2013-06-10 | 2014-12-11 | Robert Bosch Gmbh | System und Verfahren zum Überwachen und/oder Bedienen einer technischen Anlage, insbesondere eines Fahrzeugs |
| EP3031388B1 (en) * | 2013-08-08 | 2020-01-15 | Panasonic Intellectual Property Management Co., Ltd. | Visual field-calculating unit and visual field-calculating method |
| CN103439801B (zh) * | 2013-08-22 | 2016-10-26 | 北京智谷睿拓技术服务有限公司 | 视力保护成像装置及方法 |
| KR20160044528A (ko) * | 2013-08-22 | 2016-04-25 | 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 | 운전자 안전을 위한 시선의 영향 |
| JP2015087824A (ja) * | 2013-10-28 | 2015-05-07 | オムロン株式会社 | 画面操作装置および画面操作方法 |
| US9523856B2 (en) * | 2014-01-21 | 2016-12-20 | Osterhout Group, Inc. | See-through computer display systems |
| US9563805B2 (en) * | 2014-09-02 | 2017-02-07 | Hong Kong Baptist University | Method and apparatus for eye gaze tracking |
| US9857871B2 (en) * | 2015-09-04 | 2018-01-02 | Sony Interactive Entertainment Inc. | Apparatus and method for dynamic graphics rendering based on saccade detection |
| JP6692650B2 (ja) * | 2016-02-02 | 2020-05-13 | 株式会社デンソーテン | 情報処理装置および情報処理方法 |
-
2015
- 2015-07-22 DE DE102015213769.4A patent/DE102015213769A1/de active Pending
-
2016
- 2016-07-15 US US15/211,186 patent/US10074023B2/en active Active
- 2016-07-20 JP JP2016142095A patent/JP6762157B2/ja active Active
- 2016-07-21 CN CN201610576462.7A patent/CN106372568B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1705454A (zh) * | 2002-10-15 | 2005-12-07 | 沃尔沃技术公司 | 解释对象的头部和眼睛活动的方法和装置 |
| CN102656613A (zh) * | 2009-12-18 | 2012-09-05 | 本田技研工业株式会社 | 使用眼睛注视技术、盲点指示器和驾驶员经验的预测人机接口 |
| CN102963298A (zh) * | 2012-09-29 | 2013-03-13 | 重庆长安汽车股份有限公司 | 基于视线检测的异常行为监控方法 |
| CN104391574A (zh) * | 2014-11-14 | 2015-03-04 | 京东方科技集团股份有限公司 | 视线处理方法、系统、终端设备及穿戴式设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6762157B2 (ja) | 2020-09-30 |
| US20170024624A1 (en) | 2017-01-26 |
| JP2017024711A (ja) | 2017-02-02 |
| DE102015213769A1 (de) | 2017-01-26 |
| US10074023B2 (en) | 2018-09-11 |
| CN106372568A (zh) | 2017-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106372568B (zh) | 用于对车辆乘客的视线进行预测的方法和装置 | |
| CN106406515B (zh) | 推测车辆乘客视线的方法和机构 | |
| US10159436B2 (en) | Method and apparatus for recognizing fatigue affecting a driver | |
| EP3033999B1 (en) | Apparatus and method for determining the state of a driver | |
| US10346697B2 (en) | Driver state monitoring using corneal reflection detection | |
| US9405982B2 (en) | Driver gaze detection system | |
| JP5585648B2 (ja) | 覚醒度判定装置、覚醒度判定方法及びプログラム | |
| US10152642B2 (en) | Method for detecting driving behavior and system using the same | |
| KR101950476B1 (ko) | 운전자 상태 감지 시스템, 운전자 상태 감지 방법 및 운전자 감지 시스템을 장착한 차량 | |
| US20160159217A1 (en) | System and method for determining drowsy state of driver | |
| US20190005341A1 (en) | Method for classifying driver movements | |
| EP2564776B1 (en) | Method, system and computer readable medium embodying a computer program product for determining a vehicle operator's expectation of a state of an object | |
| CN108725451A (zh) | 用于控制车辆自动驾驶的装置和方法以及车辆系统 | |
| JP6479272B1 (ja) | 視線方向較正装置、視線方向較正方法および視線方向較正プログラム | |
| CN109716411A (zh) | 用以监测驾驶员的活动水平的方法和设备 | |
| JP2018511376A (ja) | 車両のドライバの疲労状態及び／又は睡眠状態を判定する方法及び装置 | |
| EP3440592B1 (en) | Method and system of distinguishing between a glance event and an eye closure event | |
| JP2016115117A (ja) | 判定装置および判定方法 | |
| CN109955740B (zh) | 用于测量车辆中的驾驶员的面部的方向的系统和方法 | |
| JP6572538B2 (ja) | 下方視判定装置および下方視判定方法 | |
| JP7267467B2 (ja) | 注意方向判定装置および注意方向判定方法 | |
| EP3270764B1 (en) | Situational awareness monitoring method and apparatus | |
| CN116486386A (zh) | 一种视线分心范围确定方法和装置 | |
| CN116597425B (zh) | 一种驾驶员的样本标签数据的确定方法、装置及电子设备 | |
| CN108140315B (zh) | 增强的后方障碍物检测 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |