CN110576847A - 基于焦点的对传感器数据的标记 - Google Patents

Abstract

本公开提供了“基于焦点的对传感器数据的标记”。捕获来自车辆的传感器的数据以及追踪驾驶员的注视的数据。还可以捕获所述车辆行进的路线。相对于所述传感器数据来评估所述驾驶员的注视以确定所述驾驶员关注的特征。针对所述特征来创建焦点记录。可以聚集很多驾驶员的焦点记录以确定对所述特征的观看频率。可以使用所述焦点记录来训练机器学习模型，以识别给定场景的感兴趣区域，以便更快速地识别相关危险。

Description

基于焦点的对传感器数据的标记

技术领域

本发明涉及捕获驾驶员行为。

背景技术

自主车辆是大力研究和开发的领域。自主车辆的控制器通常接收各种传感器的输出，诸如相机、雷达传感器、激光雷达传感器等等。然后处理这些输出以识别道路表面、车道边界、其他车辆、行人和潜在的障碍物。这通常需要在极短量的时间内处理大量的数据以便适当地应对变化的条件。

本文中公开的系统和方法提供一种用于训练机器学习模型来控制自主车辆的改进方法。

发明内容

在本发明的一个方面，一种方法包括从车辆控制器接收传感器数据并且接收车辆内的驾驶员的捕获的注视方向。针对所述注视方向的至少一部分的每个注视方向，所述方法可以包括：识别所述传感器数据中的与所述注视方向相交的一个或多个特征；以及针对所述一个或多个特征创建焦点记录，所述焦点记录指示驾驶员对所述一个或多个特征的关注。

所述方法还可以包括，针对所述注视方向的所述至少所述部分的每个注视方向：将在捕获所述每个注视方向的时间处的驾驶员控制添加到所述一个或多个特征的所述焦点记录。在一些实施例中，所述控制描述由所述车辆在捕获所述每个注视方向的所述时间处呈现的导航数据指示的驾驶操纵。

所述方法可以包括将所述车辆在捕获所述每个注视方的向时间处的位置添加到所述一个或多个特征的所述焦点记录。

所述方法可以包括将所述驾驶员注视所述一个或多个特征的持续时间和频率添加到所述焦点记录。

所述方法可以包括相对于所述一个或多个特征而聚集多个不同驾驶员的焦点记录，以获得所述一个或多个特征的相关性度量。

所述方法可以包括根据所述焦点记录来训练机器学习模型以确定主焦点区域。可以将所述机器学习模型输入到自主车辆，所述自主车辆使用它来识别危险。

可以从具有围绕所述车辆的360度视野的传感器接收所述传感器数据。所述传感器数据可以包括光探测和测距(激光雷达)点云、相机图像和雷达传感器输出中的至少一者。

还公开了一种用于执行所述方法的系统。

附图说明

为了容易理解本发明的优点，将参考附图中示出的具体实施例呈现对上文简略地描述的本发明的更具体描述。应理解，这些附图仅描绘了本发明的典型实施例并因此不被认为是对本发明范围的限制，将通过使用附图以另外的特性和细节来描述和解释本发明，在附图中：

图1A是根据本发明的实施例的实施车辆的部件的示意框图；

图1B是根据本发明的实施例的车辆的示意框图；

图2是根据本发明的实施例的适合于实施方法的示例计算装置的示意框图；

图3是根据本发明的实施例的用于生成焦点记录的部件的示意图；以及

图4是根据本发明的实施例的用于生成焦点记录的方法的过程流程图。

具体实施方式

参考图1A和图1B，车辆100(见图1B)可以包括本领域已知的任何车辆。车辆100可以具有本领域已知的任何车辆的所有结构和特征，包括车轮、联接到车轮的传动系、联接到传动系的发动机、转向系统、制动系统和本领域已知的要包括在车辆中的其他系统。

如本文更详细地论述，安装在车辆100中的控制器102可以执行以下一者或两者：(a)收集用于焦点记录的数据，如本文所述；以及(b)自主导航和碰撞避免。控制器102可以从一个或多个外部传感器104接收输出。例如，一个或多个相机106a可以安装到车辆100并且将接收到的图像流输出到控制器102。在一些实施例中，相结合的外部传感器104提供围绕车辆100的360度视野。在其他实施例中，可以由外部传感器104实现较小的视角，诸如在180度与270度之间的角度。

外部传感器104可以包括诸如超声传感器106b、雷达(无线电探测和测距)传感器106c、激光雷达(光探测和测距)传感器106d、声纳(声音导航和测距)传感器106e等传感器。

控制器102可以执行自主操作模块108，所述自主操作模块108接收外部传感器104的输出。自主操作模块108可以包括障碍物识别模块110a、碰撞预测模块110b和决策模块110c。障碍物识别模块110a分析外部传感器104的输出并识别潜在的障碍物，包括人、动物、车辆、建筑物、路沿以及其他物体和结构。具体地，障碍物识别模块110a可以识别传感器输出中的车辆图像。

碰撞预测模块110b基于车辆的当前轨迹或当前预期路径而预测哪些障碍物图像可能会与车辆100碰撞。碰撞预测模块110b可以评估与由障碍物识别模块110a识别的物体碰撞的可能性。决策模块110c可以做出停止、加速、转弯等决策，以便避免障碍物。碰撞预测模块110b预测潜在碰撞的方式和决策模块110c采取行动以避免潜在碰撞的方式可以根据自主车辆领域中已知的任何方法或系统。

决策模块110c可以通过致动控制车辆100的方向和速度的一个或多个致动器112来控制车辆的轨迹。例如，致动器112可以包括转向致动器114a、加速器致动器114b和制动致动器114c。致动器114a至114c的配置可以根据自主车辆领域中已知的此类致动器的任何实现方式。

在本文公开的实施例中，自主操作模块108可以执行自主导航到指定位置、自主停车和本领域中已知的其他自动化驾驶活动。

控制器102还可以耦合到一个或多个内部相机116，所述内部相机116在其视野内具有车辆100的内部。具体地，一个或多个内部相机116可以在其视野中具有驾驶员118的面部(见图1B)。具体地，多个相机116可以使得能够确定乘客眼睛(具体地，其瞳孔)的三维位置以便确定乘客118的注视方向。应注意，本领域中已知用于确定个人的注视的各种方法。因此，相机116、它们的定位和用来确定个人的注视方向的逻辑可以根据这些现有方法中的任一者。例如，诸如神经网络和光学追踪的现代计算机视觉技术可以用来估计驾驶员的注意点并在三维场景中识别驾驶员所观看的物体。

如下文所述，如使用内部相机116检测到的注视方向和使用外部传感器104检测到的特征可以用来创建焦点记录120，所述焦点记录120可以存储在数据库122中。例如，控制器102可以与服务器系统124数据通信。控制器102可以通过耦合到网络128的蜂窝数据天线126与服务器系统124通信，服务器系统124也连接到所述网络128。焦点记录120中的数据可以由控制器102或由服务器124组合在焦点记录120中。例如，控制器102可以将注视跟踪数据和传感器104的输出传输到服务器系统124，所述服务器系统124随后组合焦点记录120，如下文所述(见图3和图4的论述)。

在一些实施例中，根据本文中公开的方法，非自主车辆可以用于捕获数据以包括在焦点记录120中。因此，可以使用内部相机116，而可以省略致动器112和自主操作模块108。在其他实施例中，致动器112和自主操作模块108可以用于提供事故避免辅助而不是完全自主操作。同样地，根据本文中公开的方法，在人类操作的车辆中可以省略外部传感器104来捕获用于构成焦点记录120的数据。在其他实施例中，包括一些或全部外部传感器104以提供事故避免辅助。对于具有根据本文中公开的方法使用焦点记录120训练的控制算法的自主车辆，可以省略内部相机116。

焦点记录120包括描述驾驶员在特定时刻的注视方向和被确定为驾驶员在所述时刻观看的物体。因此，可以针对驾驶员被确定为将驾驶员的注视指向的每个物体创建焦点记录120。单个焦点记录120可以表示驾驶员注视物体的时段或者可以表示驾驶员的注视指向物体的单个时间步长，使得每个焦点记录120表示在单个时间步长期间观看物体，其中时间步长是评估驾驶员的注视以确定驾驶员所观看的物体的时期。

焦点记录120可以包括以下一些或全部：在所述时刻与驾驶员的注视方向相交的物体的位置130a、由驾驶员在包括所述时刻的时间窗口中执行或估计要执行的控制130b、最接近所述时刻测量到的驾驶员车辆的位置130c、驾驶员的注视指向物体的持续时间130d，以及驾驶员的注视指向物体的频率130e。

焦点记录120可以用于如本文中论述的各种目的。一个特别有用的应用是训练焦点模型132来确定自主车辆的传感器104的视野的哪个区域应优先用于识别潜在危险。焦点模型132可以是使用焦点模型132训练的机器学习模型。

处理来自三维或二维传感器的整个场景在计算方面昂贵且耗费时间。通过训练焦点模型132来集中于特别重要的区域，减少了计算量和识别潜在危险所需的延迟。

现有技术已经尝试使用深度学习与RCNN(基于区域的卷积神经网络)和快速-RCNN。然而，这些网络倾向于使用先选择感兴趣区域然后再执行物体检测的区域方案。然而，识别这些区域是中间步骤并且现有方法缺乏向学习算法反馈以识别这些区域。

图2是示出示例计算装置200的框图。计算装置200可以用于执行各种程序，诸如本文中讨论的那些程序。控制器102和服务器系统124可以具有计算装置200的一些或全部属性。

计算装置200包括一个或多个处理器202、一个或多个存储器装置204、一个或多个接口206、一个或多个大容量存储装置208、一个或多个输入/输出(I/O)装置210和显示装置230，所有这些装置都耦合到总线212。处理器202包括执行存储在存储器装置204和/或大容量存储装置208中的指令的一个或多个处理器或控制器。处理器202还可以包括各种类型的计算机可读介质，诸如高速缓存存储器。

存储器装置204包括各种计算机可读介质，诸如易失性存储器(例如，随机存取存储器(RAM)214)和/或非易失性存储器(例如，只读存储器(ROM)216)。存储器装置204还可以包括可重写ROM，诸如快闪存储器。

大容量存储装置208包括各种计算机可读介质，诸如磁带、磁盘、光盘、固态存储器(例如，快闪存储器)等。如图2所示，特定的大容量存储装置是硬盘驱动器224。各种驱动器也可以被包括在大容量存储装置208中，以使得能够从各种计算机可读介质读取和/或写入各种计算机可读介质。大容量存储装置208包括可移动介质226和/或不可移动介质。

I/O装置210包括允许将数据和/或其他信息输入到计算装置200或从计算装置200检索数据和/或其他信息的各种装置。示例性I/O装置210包括光标控制装置、键盘、小键盘、传声器、监视器或其他显示装置、扬声器、打印机、网络接口卡、调制解调器、镜头、CCD或其他图像捕获装置等。

显示装置230包括能够向计算装置200的一个或多个用户显示信息的任何类型的装置。显示装置230的示例包括监视器、显示终端、视频投影装置等等。

接口206包括允许计算装置200与其他系统、装置或计算环境交互的各种接口。示例接口206包括任何数量的不同网络接口220，诸如到局域网(LAN)、广域网(WAN)、无线网络和互联网的接口。其他接口包括用户接口218和外围装置接口222。接口206还可以包括一个或多个外围接口，诸如用于打印机、指向装置(鼠标、跟踪板等)、键盘等的接口。

总线212允许处理器202、存储器装置204、接口206、大容量存储装置208、I/O装置210和显示装置230彼此通信，以及与耦合到总线212的其他装置或部件通信。总线212表示若干种类型的总线结构中的一种或多种，诸如系统总线、PCI总线、IEEE 1394总线、USB总线等等。

出于说明的目的，程序和其他可执行程序部件在本文中被示为离散框，但应理解，此类程序和部件可以在不同时间驻留在计算装置200的不同存储部件中，并且由处理器202执行。替代地，本文中描述的系统和程序可以用硬件或者硬件、软件和/或固件的组合来实施。例如，一个或多个专用集成电路(ASIC)可以被编程为实施本文中描述的系统和程序中的一者或多者。

图3示出了大体上可以如何创建焦点记录120。焦点模块300可以生成焦点记录120，诸如根据图4的方法400。焦点模块300可以由控制器102、服务器系统124执行，或者其功能可以分布在控制器102与服务器系统124之间。

焦点模块300采取来自车辆100的外部传感器104的传感器输出302和在输出302从传感器104输出的时期期间车辆100的当前路径304作为输入。当前路径304可以是以下一者或两者：(a)由控制器102用来提供导航辅助的路线，以及(b)由车辆在捕获传感器输出302的时段期间通过的所捕获的路线。

焦点模块300还采取注视追踪输出306作为输入，所述注视追踪输出306包括一系列数据点，每个数据点包括驾驶员眼睛在捕获传感器输出302的时段中的点处的位置和注视方向。如上文所述，注视追踪可以通过使用本领域中已知的任何方法处理内部相机116的输出来执行，以确定人眼睛的位置和注视方向。

焦点模块300还可以采取地图数据308作为输入，所述地图数据308描述在捕获传感器输出302的时段期间通过的车辆周围区域(例如，50至200英尺半径范围)。

焦点模块300输出焦点记录120，所述焦点记录120各自标记在特定时刻与驾驶员的注视相交的物体或空间区域。

图4示出了可以创建焦点记录120的方法400。方法400可以由控制器102、服务器系统124执行，或者分布在这两个装置之间。

方法400包括接收402来自外部传感器104的在某一时段(“所述时段”)内的传感器数据输出。所述传感器数据输出可以体现为读数流，每个读数对应于所述时段中的时间点。所述传感器数据输出可以体现为对应于所述时间段中的点的数据帧(相机图像、雷达输出、激光雷达点云)。对于大多数装置，可以在采样时期检测数据帧，诸如激光雷达传感器的扫描时期、视频相机的帧速率或雷达的刷新率。因此，传感器的每个数据帧对应于在采样时期期间收集的数据，其可以最够小以便出于方法400的目的而被视作瞬间。

方法400可以包括接收404在所述时段内的注视追踪数据。例如，在用于注视追踪的采样时期，可以评估内部相机116的输出以确定驾驶员眼睛的位置和注视方向。在一些实施例中，可以仅使用注视方向并且使用基于典型驾驶员高度和位置的驾驶员眼睛的假定位置来实现足够的准确性。可以使用本领域中已知的用于注视追踪的任何方法。

方法400可以包括接收406以下形式的路线数据：(a)在所述时段接收到的驾驶员控制(转向、制动、加速)，(b)如使用GPS(全球定位系统)接收器或其他手段测量到的车辆在所述时段期间行进的路线，或(c)由控制器102用来在所述时段期间提供导航辅助的规划路线(例如，逐路段方向)。

方法400可以包括接收408车辆100在沿着路线的各个点处的位置周围的区域中的局部地图数据。具体地，可以检索驾驶员周围的可见区域的地图数据，诸如在所述时段期间的给定时间点处的车辆100周围的50至200英尺半径范围内。

方法400的步骤410至414可以重复地执行，每个迭代是针对所述时段期间的不同时间(“主题时间”)，诸如在大于或等于来自步骤402至406的数据源中的任一者的采样时期的采样时期处，分布在所述时段上的时间点。在步骤410至414的描述中，评估对应于主题时间的传感器数据、注视追踪数据和车辆位置数据以针对主题时间生成焦点记录120。归因于不同的采样时期和采样时期的偏差，对来自主题时间的数据的参考可以被理解为包括以下至少一者：(a)相对于每个源的数据流中的其他数据，来自与在最接近主题时间执行的测量对应的每个数据源的数据帧；(b)来自紧跟在主题时间之前的每个源的数据流中的数据帧；(c)来自紧跟在主题时间之后的每个源的数据流中的数据帧；(d)来自紧跟在主题时间之后和紧跟在其之前的每个源的数据帧的插值。

方法400可以包括识别410由车辆100的驾驶员在主题时间处所观看的空间中的区域。可以通过限定源于驾驶员眼睛的位置(测量或假定的)并在主题时间处指向驾驶员的确定的注视方向的射线来确定410用于主题时间的空间中的区域。在其他实施例中，所述区域可以被限定为在射线上居中并且具有源于驾驶员眼睛的小端的圆锥或棱锥。

方法400可以包括根据来自步骤402的传感器数据和来自步骤408的地图数据来识别412来自步骤410的区域中的物体(如果有的话)。

例如，对于激光雷达数据，可以识别412用于主题时间的点云中的在圆锥或棱锥内的点。在另一方法中，可以从点云中识别物体并且可以识别412与射线相交的那些物体。

以类似方式，可以在相机116的输出中识别物体和其位置。可以识别412与射线相交或在圆锥或棱锥内的那些物体。

可以将使用雷达识别的物体与穿过射线、圆锥或棱锥的位置进行比较。可以识别412与射线相交或与圆锥或棱锥重叠的那些物体。

对于地图数据，可以将道路设施(标识、交通灯、栅栏等)、建筑物和由地图数据指示的其他特征与射线、圆锥或棱锥的路径进行比较。可以识别412地图数据中的与射线相交或与圆锥或棱锥重叠的那些特征。

用来识别412物体的传感器和地图数据全部可与位置相关。例如，根据车辆在主题时间处的全局坐标和取向，包括局部二维或三维坐标的传感器数据可以与全局坐标(例如，GPS坐标)相关联。因此，识别412物体可以包括通过将局部坐标转换成全局坐标来识别物体的全局位置。

再次转到图4，如果任何物体在步骤412处被识别为在主题时间处与驾驶员的注视相交，则方法400可以包括针对主题时间创建414一个或多个焦点记录120，每个焦点记录120对应于在步骤412处识别的物体。焦点记录包括描述以下一些或全部的数据：

·车辆在主题时间处的位置；

·由车辆在主题时间处执行或将执行的操纵(转弯、停止、车道变换、融入车流、U形转弯等)(例如，主题时间在步骤406的路线数据中指示的操纵之前某一阈值时间，车辆位置在距路线数据所指示的操纵的阈值距离内，或者主题时间出现在路线数据所指示的操纵的执行期间等等)。

·在步骤412处识别的物体，诸如采用物体的全局位置(例如，用于物体的边界框的质心和/或顶点)和如果可能的话，物体的分类器(标识、行人、建筑物等)的形式。

·包括物体的区域中的地图数据，诸如包括物体的位置和车辆在主题时间处的位置的区域。

在一些实施例中，驾驶员可以被确定为在所述时段期间的多个不同时间注视某一物体。因此，可以计算驾驶员在所述时段期间注视所述物体的持续时间和频率并且存储在物体的焦点记录120中。可以针对所述时间段内的每个不同时间创建物体的焦点记录120，或者所述焦点记录120可以合并成单个焦点记录120，所述单个焦点记录120包括在所述时段期间的确定驾驶员注视所述物体的不同时间中的每一者的数据(车辆位置、操纵)。

方法400还可以包括使用针对单个驾驶员或针对很多驾驶员创建的焦点记录来生成焦点层级416。具体地，在给定位置处，可以识别所述位置周围的焦点记录120，即，具有在距所述位置的预定义距离内的物体位置的焦点记录。

可以确定驾驶员在他们的车辆处于给定的位置时注视物体的频率。例如，所述频率可以像参考物体的焦点记录120的数量那么简单。应注意，位置的测量中可能会存在误差，并且诸如行人的物体每次将不在同一地点。因此，可以确定具有在彼此的预定义公差(例如，2cm至30cm)内的物体位置的焦点记录120以对应于同一物体。

因此，步骤416的结果是针对给定位置的层级，其中通过位置和驾驶员在给定位置处注视物体的频率来标记物体。因此，结果是非常有助于确定空间中的哪些区域特别受关注的数据集。替代地，可以在不参考观看位置的情况下确定所述层级。因此，可以从参考物体的位置(在预定义公差内)的焦点记录120的数量来确定物体的频率，而不论由焦点记录指示的车辆的位置如何。

得自方法400的数据集具有很多应用。例如，城市规划者可以注意到，驾驶员并未看向应该由驾驶员注意到的物体。因此可以采取措施来加强物体的可见性，例如照明、更明亮的颜色、更大的尺寸等。

另一有用的应用是训练机器学习模型来确定用于执行危险检测的空间区域的优先顺序。因此，对于给定的情形和期望的操纵，可以训练机器学习模型以集中于空间中的人类驾驶员在类似情况下感兴趣的区域。随后可以将机器学习模型上传到自主车辆并且如训练那样操作。

例如，可以训练机器学习模型以在根据层级具有较低或零频率的区域之前识别空间中的根据层级具有最高频率的那些区域并且评估它们，由此减少识别危险的延迟。同样地，接近十字路口的自主车辆可以在实际到达十字路口之前针对十字路口处的驾驶员来评估空间中的具有高频率的区域，由此进一步减少识别潜在危险的延迟。

处理来自三维或二维传感器数据的整个场景在计算方面昂贵且耗费时间。人类驾驶员倾向于通过在任何给定时刻集中于与特定驾驶任务相关联的特定感兴趣区域并将其余区域留给外围视觉来执行这个功能。人类驾驶员还倾向于在他们变得更有经验时变得更好。

其他方法已经尝试使用深度学习与R-CNN(区域卷积神经网络)和快速-RCNN来模拟人类行为。这些网络倾向于使用先选择感兴趣区域然后再执行物体检测的区域方案。然而，识别这些区域是中间步骤，并且现有方法没有提供向学习算法给出反馈的良好方式。因此，本公开的系统和方法提供一种用于训练R-CNN来针对广泛多种情形识别感兴趣区域的改进方法。

焦点记录可以用来根据以下方法训练机器学习：

1.将特定时间处的场景的传感器数据，例如360度传感器数据输入到训练算法。

2.提供场景和特定时间的焦点记录120或焦点记录层级作为机器学习模型的期望输出。

3.基于预定义度量来评估机器学习模型的性能，以向机器学习模型提供反馈，诸如所识别的焦点区域上的交除并(IoU)。在其他实施例中，可以使用均值平均精度(mAP)或平均精度(AP)，诸如在YOLO(你只需看一遍)和类似网络中实施。度量可以是类似于多级分类问题的精度数量。一个简单的度量可以是捕获场景中的焦点区域中有多少被机器学习模型捕获并且下一次测量将捕获焦点区域的层级的精度。

在上述公开中，参考了形成其一部分的附图，并且附图中以图解方式示出了可以实践本公开的具体实现方式。应理解，在不脱离本公开的范围的情况下，可以利用其他实现方式并且可以进行结构改变。说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可能未必包括所述特定特征、结构或特性。此外，这类短语不一定是指相同的实施例。此外，当结合实施例描述特定特征、结构或特性时，应当认为无论是否明确描述，本领域技术人员在其知识范围内都可以结合其他实施例来实现这种特征、结构或特性。

本文所公开的系统、装置和方法的实现方式可以包括或利用专用或通用计算机，所述专用或通用计算机包括诸如像一个或多个处理器和系统存储器等计算机硬件，如本文所讨论。本公开范围内的实现方式还可以包括用于承载或存储计算机可执行指令和/或数据结构的物理介质和其他计算机可读介质。这种计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。承载计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实现方式可以包括至少两种完全不同的计算机可读介质：计算机存储介质(装置)和传输介质。

计算机存储介质(装置)包括RAM、ROM、电可擦除可编程只读存储器(EEPROM)、CD-ROM、固态驱动器(“SSD”)(例如，基于RAM)、快闪存储器、相变存储器(“PCM”)、其他类型的存储器、其他光盘存储装置、磁盘存储装置或其他磁存储装置，或者可以用于以计算机可执行指令或数据结构的形式存储所需程序代码手段并且可以由通用或专用计算机访问的任何其他介质。

本文所公开的装置、系统和方法的实现方式可以通过计算机网络进行通信。“网络”被定义为使得电子数据能够在计算机系统和/或模块和/或其他电子装置之间传输的一条或多条数据链路。当信息通过网络或另一通信连接(硬连线、无线或者硬连线或无线的组合)传输或提供给计算机时，计算机适当地将所述连接视为传输介质。传输介质可以包括可以用于以计算机可执行指令或数据结构的形式承载所需程序代码手段并且可以由通用或专用计算机访问的网络和/或数据链路。上述项的组合也应被包括在计算机可读介质的范围内。

计算机可执行指令包括例如在处理器处执行时致使通用计算机、专用计算机或专用处理装置执行某个功能或一组功能的指令和数据。计算机可执行指令可以是例如二进制文件、诸如汇编语言的中间格式指令或者甚至是源代码。尽管已经用结构特征和/或方法动作专用的语言描述了主题，但是应当理解，所附权利要求中限定的主题不一定限于所描述的特征或上文所描述的动作。相反，所描述的特征和动作是作为实现权利要求的示例形式而公开。

本领域技术人员将理解，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实践，所述计算机系统配置包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式装置、多处理器系统、基于微处理器的或可编程的消费电子设备、网络PC、小型计算机、大型计算机、移动电话、PDA、平板电脑、寻呼机、路由器、交换机、各种存储装置等等。本公开还可以在分布式系统环境中实践，其中通过网络(通过硬连线数据链路、无线数据链路或者通过硬连线和无线数据链路的组合)链接的本地和远程计算机系统两者都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储器存储装置两者中。

此外，在适当的情况下，本文所描述的功能可以在以下中的一者或多者中执行：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(ASIC)可以被编程为执行本文所描述的系统和程序中的一者或多者。在整个说明书和权利要求中使用了某些术语来指代特定系统部件。如本领域技术人员将理解，部件可以由不同的名称指代。本文件并不意图区分名称不同但功能相同的部件。

应当注意，上文讨论的传感器实施例可以包括计算机硬件、软件、固件或它们的任何组合以执行它们的功能的至少一部分。例如，传感器可以包括被配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例装置在本文中被提供用于说明目的，而不意图限制。本公开的实施例可以在其他类型的装置中实施，如相关领域的技术人员将公知。

本公开的至少一些实施例涉及计算机程序产品，所述计算机程序产品包括存储在任何计算机可用介质上的此类逻辑(例如，以软件的形式)。此类软件在一个或多个数据处理装置中执行时致使装置如本文所描述的那样进行操作。

虽然上文已经描述了本公开的各种实施例，但是应当理解，所述实施例仅以示例而非限制的方式呈现。相关领域技术人员将明白，在不脱离本公开的精神和范围的情况下，可以在其中进行形式和细节的各种改变。因此，本公开的宽度和范围不应受任何上述示例性实施例限制，而应仅根据所附权利要求及其等同物来限定。前述描述是为了说明和描述的目的而呈现。并非意图详尽或者将本公开限制于所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。此外，应当注意，任何或所有上述替代实现方式可以按形成本公开的另外混合实现方式所需的任何组合来使用。

Claims (15)

1.一种方法，所述方法包括由计算机系统：

从车辆控制器接收传感器数据并且接收车辆内的驾驶员的捕获的注视方向；以及

针对所述注视方向的至少一部分的每个注视方向：

识别所述传感器数据中的与所述注视方向相交的一个或多个特征；以及

针对所述一个或多个特征创建焦点记录，所述焦点记录指示驾驶员对所述一个或多个特征的关注。

2.如权利要求1所述的方法，所述方法还包括针对所述注视方向的所述至少所述部分的每个注视方向：

对于每个注视方向，将在捕获所述每个注视方向的时间处的驾驶员控制添加到所述一个或多个特征的所述焦点记录；

其中所述控制描述由所述车辆在捕获所述每个注视方向的所述时间处呈现的导航数据指示的驾驶操纵。

3.如权利要求1所述的方法，所述方法还包括针对所述注视方向的所述至少所述部分的每个注视方向：

将所述车辆在捕获所述每个注视方向的时间处的位置添加到所述一个或多个特征的所述焦点记录。

4.如权利要求1所述的方法，所述方法还包括：

将所述驾驶员注视所述一个或多个特征的持续时间和频率添加到所述焦点记录。

5.如权利要求1所述的方法，所述方法还包括：

相对于所述一个或多个特征而聚集多个不同驾驶员的焦点记录，以获得所述一个或多个特征的相关性度量。

6.如权利要求1所述的方法，所述方法还包括：

根据所述焦点记录来训练机器学习模型以根据所述焦点记录来确定主焦点区域；

将所述机器学习模型输入到自主车辆；以及

由所述自主车辆使用所述机器学习模型来识别危险。

7.如权利要求1所述的方法，所述方法还包括从具有围绕所述车辆的360度视野的传感器接收所述传感器数据。

8.如权利要求1所述的方法，其中所述传感器数据包括光探测和测距(激光雷达)点云、相机图像和雷达传感器输出中的至少一者。

9.一种系统，所述系统包括：一个或多个处理装置；以及可操作地耦合到所述一个或多个处理装置的一个或多个存储器装置，所述一个或多个存储器装置存储可执行代码，所述可执行代码有效地使所述在一个或多个处理装置进行以下操作：

从车辆的车辆控制器接收传感器数据并且接收所述车辆内的驾驶员的捕获的注视方向；

针对所述注视方向的至少一部分的每个注视方向：

识别所述传感器数据中的与所述注视方向相交的一个或多个特征；

针对所述一个或多个特征创建焦点记录，所述焦点记录指示驾驶员对所述一个或多个特征的关注；以及

将在捕获所述每个注视方向的时间处的驾驶员控制添加到所述一个或多个特征的所述焦点记录。

10.如权利要求9所述的系统，其中所述控制描述由所述车辆在捕获所述每个注视方向的所述时间处呈现的导航数据指示的驾驶操纵。

11.如权利要求9所述的系统，其中所述可执行代码进一步有效地使所述一个或多个处理装置进行以下操作：针对所述注视方向的所述至少所述部分的每个注视方向：

将所述车辆在捕获所述每个注视方向的时间处的位置添加到所述一个或多个特征的所述焦点记录。

12.如权利要求9所述的系统，其中所述可执行代码进一步有效地使所述一个或多个处理装置进行以下操作：

将所述驾驶员注视所述一个或多个特征的持续时间和频率添加到所述焦点记录。

13.如权利要求9所述的系统，其中所述可执行代码进一步有效地使所述一个或多个处理装置进行以下操作：

相对于所述一个或多个特征而聚集多个不同驾驶员的焦点记录，以获得对所述一个或多个特征的观看频率。

14.如权利要求9所述的系统，其中所述可执行代码进一步有效地使所述一个或多个处理装置进行以下操作：

使用所述焦点记录来训练机器学习模型以确定焦点区域；以及

将所述机器学习模型输入到自主车辆。

15.如权利要求9所述的系统，其中所述传感器数据包括具有围绕所述车辆的360度视野的传感器的传感器数据。