CN115398496A - 车辆黑匣子数据的基于人工智能的持久性 - Google Patents

车辆黑匣子数据的基于人工智能的持久性 Download PDF

Info

Publication number
CN115398496A
CN115398496A CN202180012974.XA CN202180012974A CN115398496A CN 115398496 A CN115398496 A CN 115398496A CN 202180012974 A CN202180012974 A CN 202180012974A CN 115398496 A CN115398496 A CN 115398496A
Authority
CN
China
Prior art keywords
data
vehicle
classifying
event
collision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180012974.XA
Other languages
English (en)
Inventor
G·戈洛夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Micron Technology Inc
Original Assignee
Micron Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micron Technology Inc filed Critical Micron Technology Inc
Publication of CN115398496A publication Critical patent/CN115398496A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station

Abstract

所公开的实施例针对于提高车辆中的事故前数据的持久性。在一个实施例中，公开一种方法，其包括接收经由车辆总线广播的事件；使用机器学习模型将所述事件分类，所述分类包括指示即将发生碰撞；和响应于所述分类而将数据从黑匣子装置的循环缓冲器复制到长期存储装置中。

Description

车辆黑匣子数据的基于人工智能的持久性
相关申请案
本申请案主张2020年2月6日申请的标题为“车辆黑匣子数据的基于人工智能的持久性(ARTIFICIAL INTELLIGENCE-BASED PERSISTENCE OF VEHICLE BLACK BOX DATA)”的美国专利申请案序列号16/783,377的优先权，其全部公开内容由此以引用的方式并入本文中。
技术领域
所公开的实施例针对汽车系统且针对用于基于机器学习(ML)模型调整车辆电子数据记录器装置(也被称作黑匣子装置)的操作的系统，所述ML模型预测碰撞隐患或其它需要增加数据持久性的情形。
背景技术
在美国，每年发生大约六百万次车辆碰撞。许多这类车辆配备有事件数据记录器(EDR)装置，还被称作黑匣子。这些装置记录车辆产生的数据，例如速度数据、控制数据(例如，方向灯的使用)和其它数据。通常，汽车中的黑匣子仅将有限持续时间(例如，几分钟)的数据记录于循环缓冲器中。在此情境下，随时间推移，黑匣子连续地用新数据覆写最旧的数据。这类装置被静态地配置并且始终操作而不考虑车辆的操作。因此，当前黑匣子可能常常无法捕获出现在装置的记录“窗口”外部的大量数据。
虽然这类配置可证明适用于识别刚好在碰撞之前发生的数据，但无法捕获导致碰撞的相关数据。除了上文之外，所有汽车装置还受空间和电源问题限制。因此，简单记录车辆运动时所有可能的数据并非实际可行的。这类朴素方法将需要大量电力和存储空间，这些要求在当前汽车中并非可行的。
所公开的实施例通过提供基于机器学习的方法来解决这些和其它技术问题，所述基于机器学习的方法用于在预测可发生碰撞之后智能地永久保持黑匣子数据。
附图说明
实施例是借助于实例而非限制在附图的图中来说明的，在附图中相似参考指示类似元件。
图1是说明根据本公开的一些实施例的黑匣子系统的框图。
图2是说明根据本公开的一些实施例的基于预测的碰撞永久保持车辆事件数据的方法的流程图。
图3是说明根据本公开的一些实施例的基于事故数据重新训练机器学习模型的方法的流程图。
图4是说明根据本公开的一些实施例的基于错误肯定和错误否定事件优化机器学习模型的方法的流程图。
图5是说明根据本公开的一些实施例的车辆计算系统的框图。
具体实施方式
所公开的实施例描述用于使用机器学习(ML)模型永久保持黑匣子数据的装置、方法和计算机可读媒体。在所说明的实施例中，训练的ML模式安装于车辆中并且监测车辆中广播的事件数据。ML模型将这些事件数据点分类并且确定所述事件数据是否指示有可能发生碰撞。如果是，那么所述方法开始复制来自黑匣子的循环缓冲器的数据，因此相较于当前黑匣子，永久保持明显在碰撞之前的黑匣子数据。另外，公开用于基于在上述过程的操作期间累积的数据提高ML模型的性能的技术。
图1是说明根据本公开的一些实施例的黑匣子系统的框图。
在所说明的实施例中，黑匣子系统(100)和车辆系统(102)连接到总线(118)。在图5中提供车辆系统(102)和总线(118)的类型的细节且此处不重复。通常，车辆系统(102)经由总线(118)发射与车辆的操作有关的事件或数据。
在所说明的实施例中，黑匣子系统(100)包含传统的黑匣子(104)和永久性黑匣子(110)。在所说明的实施例中，黑匣子(104)可包括车辆中目前使用的任何类型的标准黑匣子硬件。在其它实施例中，可具体地作为安装于车辆中的黑匣子系统(100)的部分来提供黑匣子(104)。以此方式，永久性黑匣子(110)可用以改造现有黑匣子，而在新的生产中，整个黑匣子系统(100)可安装于车辆中。
所说明的黑匣子(104)包含控制器(106)和循环缓冲器(108)。控制器(106)监测用于相关事件的总线(118)并将这些事件存储于循环缓冲器(108)中。在一个实施例中，控制器(106)转发循环缓冲器(108)中的所有检测到的事件。在其它实施例中，控制器(106)可选择性地启用和停用记录事件到循环缓冲器(108)中。举例来说，在一些系统中，控制器(106)可仅在检测到碰撞之后(例如，当安全气囊展开，碰撞传感器被触发时，或当另一电子控制单元ECU指示碰撞时)即刻将数据记录到循环缓冲器中。作为一个实例，控制器(106)可仅当防抱死刹车系统(ABS)激活(这通常是在事故之前)时记录数据。
循环缓冲器(108)包括被配置成将数据存储于逻辑环中的存储装置。也就是说，如果被写入的第一方位是缓冲器(108)中的第一方位，那么控制器(106)继续将数据写入于缓冲器(108)中的依序方位处。在到达缓冲器(108)的末端之后，控制器(106)随后即刻覆写缓冲器(108)的第一方位并且继续覆写数据，因此模拟环状结构。控制器(106)可开始在缓冲器(108)中的任何方位处写入但始终依序写入，当到达缓冲器(108)的末端时折回到缓冲器(108)的前部。具体地，循环缓冲器的操作细节在所属领域中已知且本文中不重复那些细节。
在当前车辆中，可存在黑匣子(104)、总线(118)和车辆系统(102)并将有限量的数据记录于循环缓冲器(108)中。然而，如图1的改进系统中所说明，改进的黑匣子系统(100)配备有永久性黑匣子(PBB)(110)。PBB(110)包含其自身的控制器(112)、一或多个ML模型(114)和长期存储装置(LTS)(116)。在一个实施例中，控制器(112)可包括芯片上系统、专用微处理器、微控制器、现场可编程门阵列或其它处理元件。控制器(112)可包含控制所述装置并且充当操作系统的固件。ML模型(114)通常存储于持久性存储器中。在一些实施例中，ML模型(114)存储于快闪存储装置或类似存储装置上。在其它实施例中，ML模型(114)可存储于电可擦除可编程只读存储器(EEPROM)上。特定存储装置类型不具限制性，只要存储装置永久地存储所述模型即可。类似地，长期存储装置(116)包括在丢失电力之后仍维持数据的永久性存储媒体。在一些实施例中，LTS(116)包括防篡改的安全存储器装置。在一些实施例中，LTS(116)包含从严重数据丢失(例如，归因于碰撞)中恢复的显著错误校正能力。
在所说明的实施例中，控制器(112)从总线(118)接收事件。因此，在所说明的实施例中，控制器(112)处理被黑匣子(104)处理的相同事件。在所说明的实施例中，控制器(112)经由接口接收事件并将事件输入到ML模型(114)中。在一些实施例中，控制器(112)可将事件加窗并将多个事件作为输入提供到ML模型(114)。在一些实施例中，控制器(112)执行ML模型并检索定义来自ML模型(114)的模型的参数。
在其它实施例中，ML模型(114)可包括专用人工智能(AI)处理器，例如张量处理单元(TPU)或另一AI加速器。在此实施例中，控制器(112)将输入数据(车辆事件)发射到执行分类操作的AI加速器。
在任一情境中，控制器(112)接收事件数据的分类来指示是否有事故或碰撞隐患。如本文中所使用，“事故”是指其中对事件数据的存取可为有用的的任何事件，例如车辆碰撞、系统失效或其它条件。在一些实施例中，此分类是二进制的。在其它实施例中，其可为基于基础数据表示发生事故的可能性的连续值。如将描述，ML模型可包括使用在事故之前发生的事件数据训练的神经网络或类似类型的机器学习模型。另外，可使用不在事故之前发生的事件数据训练ML模型。因此，事件数据(例如加速和刹车模式、ECU警示和其它数据)可整体处理为训练数据并且用以产生用于分类所有事件数据的通用模型。
当控制器(112)接收对有可能发生事故的指示时，控制器(112)开始将事件数据写入到LTS(116)。在一个实施例中，控制器(112)将事件数据从总线(118)直接复制到LTS(116)。
在其它实施例中，控制器(112)可经由控制器(106)存取存储于循环缓冲器(108)中的数据。在此实施例中，PBB(110)避免增加筛选事件数据的复杂性而是替代地尝试利用控制器(106)的功能性。也就是说，黑匣子(104)可预配置为仅将相关数据处理给循环缓冲器(108)。因此，控制器(112)可“监听”此数据并将所述数据存储到LTS(116)，进而减小控制器(112)和PBB(110)的工作负载。在其它实施例中，控制器(106)被配置成当检测到准备覆写缓冲器(108)中的数据时，将循环缓冲器(108)“清空”到控制器(112)(并且最终清空到LTS 116)。
在任何情境中，LTS(116)中的所得数据包括在预测的事故之前发生的事件数据。在图2到4的描述中更完整地描述前述操作等。
图2是说明根据本公开的一些实施例的基于预测的碰撞永久保持车辆事件数据的方法的流程图。在所说明的实施例中，所述方法可完全由永久性黑匣子装置的控制器执行(如图1中所描述)。在其它实施例中，特定框可由中央服务器执行，如将在以下描述中所指示。
在框202中，所述方法接收车辆数据。
在所说明的实施例中，车辆数据包括由一或多个车辆计算系统(例如，ECU装置)经由总线发射的数据报。在一些实施例中，可经由总线广播或多播信号。在一些实施例中，所述总线被配置成在车辆内的计算系统的组件之间传送数据信号或控制信号，或这两者。在一些实施例中，总线包括车辆总线，不过可使用其它总线。实例包含但不限于加速/刹车数据、ABS系统事件、碰撞传感器信号、稳定性控制系统消息等。在所说明的实施例中，事件数据包含来自车辆总线的原始事件数据。此原始数据包含比现有黑匣子系统捕获的数据更多的数据。作为一个实例，所述方法可收集正常不被黑匣子系统处理的数据，例如娱乐系统产生的数据。在此实例中，指示用户正在操控内置式娱乐装置或其它中心控制台装置的数据可用于预测事故的可能性。类似地，中心控制台的频繁的方向重新计算或对地图图像的请求可指示用户正专注于车辆上的屏幕并且不在路上。通常，在给定有限容量的缓冲器的情况下，此类型的数据不被黑匣子记录器记录。此外，取决于缓冲器的大小，可不记录可远在碰撞之前发生的此数据实例。在一些实施例中，此类型的数据可明显在事故之前发生且通常可指示驱动器正以有风险的方式操作车辆，不过碰撞可在初始检测到的事件之后某一时间(例如，三十分钟)发生。因此，原始事件的使用实现用户行为的更整体建模。
在框204中，所述方法使用ML模型将车辆数据分类。
在所说明的实施例中，ML模型包括使用经分类数据训练的预测模型。在一个实施例中，ML模型包括神经网络，例如人工神经网络(ANN)、卷积神经网络(CNN)、递归神经网络(RNN)、自动编码器等。在所说明的实施例中，可基于实验和训练配置模型的层数。替代地，预测模型可包括非神经网络，例如支持向量机(SVM)、决策树，或朴素贝叶斯分类器。
在所说明的实施例中，使用经分类事件数据训练ML模型。具体地，基于已知事故(或没有事故)来记录和标记车辆产生的事件数据。此经标记事件数据随后用以训练ML模型，所述ML模型最终产生权重(例如，在神经网络的情况下)和其它模型参数集。这些参数随后由车辆存储并用以预测当前事件数据是否指示事故。在一些实施例中，车辆可被配置成基于所捕获的事件数据和确认的事故重新训练网络。举例来说，如果ML模型预测可能发生事故，但稍后所述预测被识别为错误肯定，那么与所述预测相关联的事件数据可被恰当地分类并且用以重新训练ML模型。
替代地，或结合上文，可远程存储上文所描述的ML模型。在此实施例中，中央服务器管理所有ML模型。因此，当在框202中捕获到事件时，将这些事件发射到中央服务器以进行分类。中央服务器随后将分类结果返回到车辆。以此方式，所述系统将ML模型的总数目降到最低并且可集中进行模型训练和重新训练，因此快速提高模型的预测准确度。
替代地，或结合上文，中央服务器产生的模型可分布到相关车辆。在此实施例中，随着模型优化，服务器可周期性地更新车载ML模型。以此方式，中央服务器可利用收集的大量数据，而个别车载模型可用于快速预测(包含不接入广域(例如蜂窝)网络的区域中的预测)。
在所说明的实施例中，ML模型的输出是风险等级。在此实施例中，风险等级可包括二进制值(例如，高或低)或可包括连续值(例如，介于1和0之间)。
在框206中，所述方法确定ML模型的输出是指示事故发生的低风险还是高风险。在一些实施例中，所述分类包括将信号提取是否有可能在置信度阈值水平内发生的行为进行分类。在一些实施例中，ML模型输出置信度阈值水平。
如上文所描述，在一些实施例中，ML的输出是二进制且因此所述方法确定两个标记中的哪一个应用于事件数据。
在其它实施例中，ML模型的输出包括连续值。在此情境下，所述方法可将所述值与阈值进行比较以确定是否应执行框208中的进一步处理。举例来说，阈值可为0.5(50％)。因此，所述方法仅在ML模型的输出等于或高于0.5的情况下执行框208。
在另一实施例中，ML模型的输出可包括标记(例如，高或低)和与所述标记相关联的置信度水平。在此实施例中，所述方法可仅在所述标记指示高事故可能性且置信度高于阈值集(例如，50％)的情况下执行框208。
在另一实施例中，ML模型的输出可包括风险可能性(离散或连续的)并且还可包含事故可能发生之前的时间。在一些实施例中，此时间可用于配置LTS装置的记录性质(下文描述)。
在框208中，所述方法将车辆数据存储于长期存储装置中。
在一个实施例中，所述方法将在总线上发射的所有车辆数据存储于长期存储装置中达特定持续时间(下文描述)。在另一实施例中，所述方法可基于识别的子系统仅存储所有数据的子集。举例来说，所述方法可忽略与事故预测不相关的一些子系统。在另一实施例中，所述方法仅存储已经处理的数据并且作为长期存储数据存储于传统的黑匣子的循环缓冲器中。在所说明的实施例中，所述方法实际上不受长期存储装置的大小限制。也就是说，相较于传统的黑匣子中的有限循环缓冲器，长期存储装置可包括高容量存储装置以使得记录相对有限持续时间(例如，三十分钟)内的所有数据是可行的。
在一个实施例中，ML模型还预测时间到事故(TTA)值。此TTA值可从过去的事故数据中学习并且可供所述方法用于配置所述方法操作多长时间(如由框212门控)。
如所说明，所述方法继续将车辆数据存储于长期存储装置中直到发生两个条件中的一个为止。
在框210中，所述方法确定是否发生第一条件。在所说明的实施例中，所述第一条件包括确定所述车辆是否涉及事故(例如，碰撞)。在一个实施例中，实施框210的方法可监测传入事件数据并确定是否有任何数据指示事故。举例来说，所述方法可确定来自车辆的碰撞传感器的数据是否是所发射数据。替代地，或结合上文，所述方法可确定是否有任何事件数据指示安全气囊展开。
在框214中，如果所述方法确定事故已发生，那么所述方法执行事故后处置操作。在所说明的实施例中，这些操作可依据车辆而变化，且在一些情境中，依据系统的配置而变化。在一个实施例中，所述方法可自动尝试将长期存储装置的全部内容上传到中央服务器以用于存档。此操作可需要PBB配备有专用蜂窝或卫星收发器和电池。此硬件确保PBB可在车辆的通信接口不起作用的情况下上传数据。替代地，或结合上文，后处置操作可包含硬化LTS以防止窜改。举例来说，黄金加密密钥可用以在事故发生之后加密LTS。在一些实施例中，LTS可始终被加密。替代地，或结合上文，后处置操作可包括将循环缓冲器的内容清空到LTS中以确保已经记录所有可能的数据。
在框216中，所述方法使用LTS中的事件数据更新ML模型。
在所说明的实施例中，从检测到事故起，所述方法可使用LTS中的数据作为训练数据，标记为高风险。在一些实施例中，事件数据包括事件集。每个事件随后标记为高风险且所得的两个元素式元组(事件、高风险)用作训练数据。在一些实施例中，所述方法可另外将TTA值增加到元组(事件、TTA、高风险)以使得ML模型能够预测多久之后发生事故。为了计算TTA，所述方法可使用事件数据的现有时间戳。此时间戳可包含在经由总线发射的数据中或可通过所述方法当在框202中接收到车辆数据时添加。所述方法随后计算事故事件(例如，碰撞传感器值)与事件时间戳之间的微秒数以产生例如事件与事故之间的微秒数。
在框212中，所述方法在确定尚无事故发生后即刻确定是否仍有事故风险。
在一些实施例中，框212可包括将预置定时器倒计时。举例来说，所述方法可在无事故的一个小时内执行框208。替代地，在一些实施例中，所述方法可在LTS中存在存储容量时执行框208。在此实施例中，框212中的决策是基于是否仍有存储容量且没有事故隐患的风险。
在另一实施例中，所述方法动态地评估在框208中存储数据多长时间。在第一实施例中，所述方法从ML模型接收估计的TTA。所述方法接着可使用此时间设置框212中使用的定时器。因此，如果所述模型预测二十分钟后发生事故，那么所述方法将在至少二十分钟内执行框208。类似地，在其中不返回TTA的一些实施例中，所述方法可使用置信度水平或事故可能性作为确定在框208中存储数据多长时间的度量。也就是说，对于不大可能的事故，所述方法可在框208中仅记录有限时间内的数据。相比之下，对于高可能性的事故，所述方法可在框208中记录较长时间内的数据。
最终，在框212中，所述方法将确定不发生撞车且数据应不再记录到LTS，这是因为风险已过或不存在余下的存储容量。在任一情况下，所述方法随后转到框218。
在框218中，所述方法停用车辆数据的长期存储。在此步骤中，所述方法停用正在存取LTS的任何例程并且暂时停止所有的未来数据记录(即，直到满足框206中的条件为止)。
在框220中，所述方法用负数据样本更新ML模型。在所说明的实施例中，框220中执行的程序类似于框216中执行的程序且先前提供的具体细节在此不重复。具体地，框220中的主要差异是指配给任何事件的标记设置为低事故可能性或无事故可能性。另外，由于没有发生事故，因此TTA值(如果经实施的话)将设置为零或空。在所说明的实施例中，使用负数据样本增加模型的准确度。当与216中的正数据样本组合时尤其如此。
在框222中，所述方法清除长期存储。在一些实施例中，此框是任选的。如果经实施，那么所述方法可通过将零或一写入到数据中的所有方位来清除LTS，实际上擦除所有记录的数据。在一些实施例中，所述方法还可以执行自测试以确定LTS在此阶段是否恰当地起作用。所述清除确保数据完整性不受剩余数据的不利影响。
在所说明的实施例中，框216和220可由车辆或在中心方位处执行，如先前所描述。下文在图3和4中提供关于ML模型重新训练的细节。
图3是说明根据本公开的一些实施例的基于事故数据重新训练机器学习模型的方法的流程图。
在框302中，所述方法使用分类的数据训练事故模型。
在一个实施例中，图3中所描绘的方法可由中央服务器或其它远端数据系统实施。在所说明的实施例中，分类的数据可包括由车辆记录并且与已知事故相关联或与已知非事故事件相关联的数据点。在一些实施例中，可在事故之后分析传统的黑匣子，从所述传统的黑匣子产生数据。因此，黑匣子缓冲器中的数据可标记为与事故相关联。在所说明的实施例中，所述方法使用分类的数据训练ML模型，例如神经网络。
在框304中，所述方法将事故模型发射到一或多个车辆。
在一个实施例中，中央服务器可管理ML模型的产生并且将ML模型(例如，模型参数)分布到被配置成接收这类ML模型数据的任何车辆。在一些实施例中，车辆可被配置成周期性地刷新ML模型。在其它实施例中，中央服务器可被配置成在训练之后将ML模型推送到车辆。
在框306中，所述方法接收事件数据和事故标记。
在所说明的实施例中，事件数据包括存储于车辆的长期存储装置中的数据。如所描述，车辆可在使用框304中发射的ML模型并且预测事故之后存储此数据。在一些实施例中，所述方法接收事件集和指示实际上是否发生碰撞或事故的旗标。所述方法可使用此旗标相应地标记所有数据。因此，在框306中，所述方法获得新的经标记训练数据集。
在一些实施例中，所述方法可对原始事件数据进行操作。然而，在其它实施例中，所述方法可执行将数据归一化为标准型式。为此目的，可扩展样式表语言变换(XSLT)或类似机制(例如，解析器)可用于将各种格式的事件数据转换成标准型式。因此，在一些实施例中，所述方法可使用来自多个车辆和多个设备品牌/型号的数据训练所有车辆的单个模型。
在其它实施例中，所述方法可产生用于每个品牌的单独模型，且在其它实施例中，产生用于每个品牌的每个型号的单独模型。在一些实施例中，所述方法可产生全局模型并且使用此全局模型产生用于每个品牌和/或型号的子模型。这确保低产量的品牌/型号仍可利用稳健的全局模型。
在框308中，所述方法使用新接收的数据重新训练模型。此过程可以与框302中的执行方式相同的方式执行，不过是针对新数据执行。
在框310中，所述方法将训练的事故模型重新发射到车辆。如同框308一样，此框可以与框304中的执行方式类似的方式执行。
如在所说明的实施例中所指示，可在中央服务器的寿命期间连续地执行框306到310。也就是说，中央服务器可在接收到新数据时连续地重新训练模型。在一些实施例中，这可为按需过程。在其它实施例中，所述方法可累积来自车辆的经标记事件数据并且仅当已经汇总足够数据时以规律时间间隔重新训练模型。以此方式，所述方法可基于实际数据和可靠标记技术将连续优化的模型提供给车辆。
图4是说明根据本公开的一些实施例的基于错误肯定和错误否定事件优化机器学习模型的方法的流程图。
在框402中，所述方法从车辆或在一些实施例中，从如图3中所描述存储于中央服务器处的数据接收事件数据和事故标记。事件数据和事故标记的细节在先前图中已提供且在此不再重复。
在框404中，所述方法计算错误肯定率。在所说明的实施例中，可通过比较标记为不与事故相关联的事件的数目来计算错误肯定率。
具体地，框402中接收到的数据包括存储于PBB装置的LTS中的数据。仅当ML模型预测将发生事故时记录此数据。如图2中所描述，此数据用以重新训练模型且基于实际上是否检测到事故或碰撞产生所述标记。如图3中所描述，在一些实施例中，此事件和标记数据发射到中央服务器以用于模型重新训练。因此，图4中的方法可存取被标记为在事故之前发生或不在事故之前发生的事件集。由于仅当预测到事故时记录数据，因此被标记为不在事故之前发生的事件可被视为错误肯定。
在所说明的实施例中，所述方法可一次对一批事件进行操作。在一些实施例中，此批次可被配置成分析系统的性能特性。举例来说，所述方法可对一年的数据执行或可对从所述方法最后一次执行起的数据集执行以量化ML模型的性能。
在框406中，所述方法确定错误肯定率是否高于预设阈值。在一些实施例中，可基于用于将数据存储于LTS中的成本系数来调整此阈值。也就是说，所述阈值可经设置以平衡存储事件数据的成本(货币和带宽)对模型的准确度。在所说明的实施例中，可通过计算标记的事件总数目内错误肯定的数目来计算错误肯定率。如果错误肯定率小于阈值，那么所述方法结束。
在框408中，所述方法调整ML模型以在错误肯定阈值高于所述阈值的情况下减少错误肯定。
可采用各种技术调整ML模型。作为一个实例，可分析错误肯定数据集以确定数据的任何趋势。在此实例中，集群算法可用于将数据集群。所述集群的结果随后可用以识别与错误肯定相关联的突出特征。举例来说，挡风玻璃刮水器的操作可错误地与事故相关。在此情况下，所述方法可减少用于此特征的加权。替代地，所述方法可指定应忽略所述整个特征。
替代地，或结合上文，可基于错误肯定数据调整神经网络的各个权重和函数。举例来说，基于错误肯定率，所述方法可相应地调整神经网络的激活函数或损失函数。在一些实施例中，这可包括调整激活/损失函数的参数并且针对错误肯定数据测试ML模型。随后，可用经更新ML模型测试恰当分类的数据点集以确认ML模型的改进。
在又一实施例中，所述方法可为支持ML模型技术改变提供证据。举例来说，可测试CNN而非测试RNN，并且可比较这两个模型的性能。
在调整模型并且验证性能改进之后，所述方法结束且随后如图3中所描述使用经更新模型。
图5是说明根据本公开的一些实施例的车辆计算系统的框图。
图5中说明的系统可完全安装于车辆内。在一些实施例中，一些组件(例如，除子系统(100)以外的组件和子系统)可包括现有自主和非自主车辆子系统。
所述系统任选地包含任选自主车辆子系统(502)。在所说明的实施例中，自主车辆子系统(502)包含地图数据库(502a)、雷达装置(502b)、光达装置(502c)、数码相机(502d)、声纳装置(502e)、GPS接收器(502f)和惯性测量单元(502g)。自主车辆子系统(502)的组件中的每一个包括最新的自主车辆中提供的标准组件。在一个实施例中，地图数据库(502a)存储用于路线选择和导航的多个高清三维地图。如在所属领域中已知，雷达装置(502b)、光达装置(502c)、数码相机(502d)、声纳装置(502e)、GPS接收器(502f)和惯性测量单元(502g)可包括安装于整个自主车辆的各个位置处的各个相应装置。举例来说，这些装置可沿着自主车辆的周界安装以提供方位感知、碰撞避免和其它标准自主车辆功能性。在一些实施例中，自主子系统(502)建构到车辆中，而在其它实施例中，自主子系统(502)包括售后系统。
车辆子系统(506)另外包含于系统内。车辆子系统(506)包含各个防抱死刹车系统(506a)、引擎控制单元(502b)和传输控制单元(502c)。这些组件可用以响应于自主车辆子系统(502)和/或黑匣子系统(100)产生的数据而控制车辆的操作。自主车辆子系统(502)和车辆子系统(506)之间的标准自主车辆交互在所属领域中一般是已知的并且在本文中不进行详细地描述。
系统的处理侧包含一或多个处理器(510)、短期存储器(512)、RF系统(518)、图形处理单元(GPU)(516)、长期存储装置(518)和一或多个接口(520)。
一或多个处理器(510)可包括中央处理单元、FPGA，或支持自主车辆的操作所需的任何范围的处理装置。存储器(512)包括用于临时存储处理器(510)所需的数据的DRAM或其它合适的易失性RAM。RF系统(518)可包括蜂窝式收发器和/或卫星收发器。长期存储装置(514)可包括一或多个大容量固态驱动器(SSD)。一般来说，长期存储装置(514)可用以存储例如高清地图、路线选择数据和需要永久或半永久存储的任何其它数据。GPU(516)可包括用于处理从自主车辆子系统(502a)接收的数据的一或多个高处理量GPU装置。最后，接口(520)可包括定位于自主车辆内的各个显示单元(例如，内置式屏幕)。
所述系统另外包含黑匣子系统(100)，其执行前图中说明的方法所需的操作。黑匣子系统(100)的细节在图1中更完整地描述且图1的随附描述在此不再重复。
在一些实施例中，应理解，上文所描述的方法步骤可实施为连续过程，例如每个步骤可通过监测输入数据、执行操作并且将数据输出到后续步骤而独立地运行。并且，用于每一方法的此类步骤可实施为离散事件过程，例如每一步骤可由其应触发且产生某一输出的事件触发。还应理解，每个图表示比描述中展现的计算机系统更复杂的计算机系统的可能较大方法内的最小方法。因此，每个图中所描绘的步骤可与供应出入与较复杂系统的较大方法相关联的其它步骤的其它步骤组合。
应理解，除非另外规定车辆，否则本文所描述的车辆可以是任何类型的车辆。车辆可包含汽车、卡车、船和飞机以及用于军事、建筑、农学或休闲用途的车辆或车辆设备。车辆、车辆部分或车辆的驾驶者或乘客使用的电子器件可被视为车辆电子器件。车辆电子器件可包含用于引擎管理、点火器、无线电、车载计算机、车载信息服务、车载娱乐系统和车辆的其它部分的电子器件。车辆电子器件可与点火器和引擎及变速箱控制一起使用或通过点火器和引擎及变速箱控制使用，所述点火器和引擎及变速箱控制可在具有例如汽油驱动的汽车、卡车、摩托车、船、飞机、军用车辆、铲车、拖拉机和挖掘机等内燃驱动的机械的车辆中见到。并且，车辆电子器件可以由相关元件使用或与相关元件一起使用以用于控制例如混合动力汽车或电动汽车等混合动力车辆和电动车辆中所见的电气系统。例如，电动车辆可使用电力电子器件以用于主要推进马达控制，以及管理电池系统。并且，自主车辆几乎完全依赖于车辆电子器件。
已在针对计算机存储器内的数据位的操作的算法和符号表示方面呈现了先前详细描述的一些部分。这些算法描述和表示是数据处理领域的技术人员用以将其工作的主旨最有效地传达给所属领域的其他技术人员的方式。在本文中，且一般将算法构想为产生所要结果的操作的自洽序列。操作是要求对物理量进行物理操纵的操作。通常(但未必)，这些量采用能够存储、组合、比较以及以其它方式操纵的电或磁信号的形式。已经证实，主要出于常用的原因，将这些信号称为位、值、元素、符号、字符、项、编号等等有时是便利的。
然而，应牢记，所有这些和类似术语将与适当物理量相关联，且仅仅为应用于这些量的便利标记。本公开可以指操控和变换计算机系统的寄存器和存储器内的表示为物理(电子)数量的数据为计算机系统存储器或寄存器或其它这类信息存储系统内的类似地表示为物理量的其它数据的计算机系统或类似电子计算装置的动作和过程。
本公开还涉及用于执行本文中的操作的设备。此设备可以出于所需目的而专门构造，或其可以包含通过存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。此类计算机程序可存储在计算机可读存储媒体中，例如任何类型的盘(包含软盘、光盘、CD-ROM和磁性光盘)、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡，或适合于存储电子指令的任何类型的媒体，其各自耦合到计算机系统总线。
本文中呈现的算法和显示在本质上不与任何计算机或其它设备相关。各种通用系统可以与根据本文中的教示的程序一起使用，或所述通用系统可以证明为便于构造以用以执行所述方法更加专用的设备。将如下文描述中所阐述的那样来呈现各种这些系统的结构。另外，未参考任何编程语言来描述本公开。应了解，可使用各种编程语言来实施如本文中所描述的本公开的教示内容。
本公开可提供为计算机程序产品或软件，其可包含在其上储存有可用以编程计算机系统(或其它电子装置)以执行根据本公开的过程的指令的机器可读媒体。机器可读媒体包含用于以机器(例如，计算机)可读的形式存储信息的任何机构。在一些实施例中，机器可读(例如计算机可读)媒体包含机器(例如计算机)可读存储媒体，例如只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储媒体、光学存储媒体、闪存存储器组件等。
在前述说明书中，本公开的实施例已经参照其特定实例实施例进行描述。将显而易见的是，可在不脱离如所附权利要求书中阐述的本公开的实施例的更广精神和范围的情况下对本公开进行各种修改。因此，应在说明性意义上而非限制性意义上看待说明书和图式。

Claims (20)

1.一种方法，其包括：
接收指示与车辆有关的事件的信令，经由总线广播或多播所述信令，所述总线被配置成在所述车辆内的计算系统的组件之间传送数据信号或控制信号或这两者；
使用机器学习模型至少部分地基于所述接收到的信令将所述事件分类，所述分类包括指示所述车辆与另一物体之间的碰撞即将发生；和
响应于所述分类而将数据从所述计算系统内的第一装置的循环缓冲器复制到存储装置中。
2.根据权利要求1所述的方法，所述接收指示事件的所述信令包括从所述车辆的多个子系统接收原始事件数据。
3.根据权利要求1所述的方法，所述指示即将发生碰撞包括识别所述碰撞有可能在置信度阈值水平内发生。
4.根据权利要求1所述的方法，所述将所述事件分类包括使用神经网络将所述事件分类。
5.根据权利要求4所述的方法，其另外包括使用存储于所述存储装置中的所述数据重新训练所述神经网络。
6.根据权利要求5所述的方法，所述重新训练另外包括基于在所述分类之后是否检测到实际碰撞来标记存储于所述长期存储装置中的所述数据。
7.根据权利要求1所述的方法，其另外包括识别错误肯定和错误否定事件集并且基于所述错误肯定和错误否定事件来调整所述机器学习模型的参数。
8.一种非暂时性计算机可读存储媒体，其用于有形地存储能够由计算机处理器执行的计算机程序指令，所述计算机程序指令定义以下步骤：
接收指示与车辆有关的事件的信令，经由总线广播或多播所述信令，所述总线被配置成在所述车辆内的计算系统的组件之间传送数据信号或控制信号或这两者；
使用机器学习模型至少部分地基于所述接收到的信令将所述事件分类，所述分类包括指示所述车辆与另一物体之间的碰撞即将发生；和
响应于所述分类而将数据从所述计算系统内的第一装置的循环缓冲器复制到存储装置中。
9.根据权利要求8所述的非暂时性计算机可读存储媒体，所述接收指示事件的所述信令包括从所述车辆的多个子系统接收原始事件数据。
10.根据权利要求8所述的非暂时性计算机可读存储媒体，指示即将发生碰撞包括识别所述碰撞有可能在置信度阈值水平内发生。
11.根据权利要求8所述的非暂时性计算机可读存储媒体，所述将所述事件分类包括使用神经网络将所述事件分类。
12.根据权利要求11所述的非暂时性计算机可读存储媒体，所述指令另外定义使用存储于所述存储装置中的所述数据重新训练所述神经网络的步骤。
13.根据权利要求12所述的非暂时性计算机可读存储媒体，所述重新训练另外包括基于在所述分类之后是否检测到实际碰撞来标记存储于所述长期存储装置中的所述数据。
14.根据权利要求8所述的非暂时性计算机可读存储媒体，所述指令另外定义识别错误肯定和错误否定事件集并且基于所述错误肯定和错误否定事件来调整所述机器学习模型的参数的步骤。
15.一种设备，其包括：
处理器；和
存储媒体，其用于在其上有形地存储供所述处理器执行的编程逻辑，所述所存储的编程逻辑致使所述处理器执行以下操作：
接收指示与车辆有关的事件的信令，经由总线广播或多播所述信令，所述总线被配置成在所述车辆内的计算系统的组件之间传送数据信号或控制信号或这两者；
使用机器学习模型至少部分地基于所述接收到的信令将所述事件分类，所述分类包括指示所述车辆与另一物体之间的碰撞即将发生；和
响应于所述分类而将数据从所述计算系统内的第一装置的循环缓冲器复制到存储装置中。
16.根据权利要求15所述的设备，指示即将发生碰撞包括识别所述碰撞有可能在置信度阈值水平内发生。
17.根据权利要求15所述的设备，所述将所述事件分类包括使用神经网络将所述事件分类。
18.根据权利要求17所述的设备，所述所存储的编程逻辑致使所述处理器执行使用存储于所述存储装置中的所述数据重新训练所述神经网络的操作。
19.根据权利要求18所述的设备，所述重新训练另外包括基于在所述分类之后是否检测到实际碰撞来标记存储于所述长期存储装置中的所述数据。
20.根据权利要求15所述的设备，所述所存储的编程逻辑致使所述处理器执行识别错误肯定和错误否定事件集并且基于所述错误肯定和错误否定事件来调整所述机器学习模型的参数的操作。
CN202180012974.XA 2020-02-06 2021-02-03 车辆黑匣子数据的基于人工智能的持久性 Pending CN115398496A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/783,377 US20210245659A1 (en) 2020-02-06 2020-02-06 Artificial intelligence-based persistence of vehicle black box data
US16/783,377 2020-02-06
PCT/US2021/016403 WO2021158655A1 (en) 2020-02-06 2021-02-03 Artificial intelligence-based persistence of vehicle black box data

Publications (1)

Publication Number Publication Date
CN115398496A true CN115398496A (zh) 2022-11-25

Family

ID=77177949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180012974.XA Pending CN115398496A (zh) 2020-02-06 2021-02-03 车辆黑匣子数据的基于人工智能的持久性

Country Status (5)

Country Link
US (1) US20210245659A1 (zh)
EP (1) EP4100929A4 (zh)
KR (1) KR20220133934A (zh)
CN (1) CN115398496A (zh)
WO (1) WO2021158655A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220172606A1 (en) * 2020-12-01 2022-06-02 Ridecell, Inc. Systems and Methods for Extracting Data From Autonomous Vehicles
EP4210018A1 (en) * 2022-01-11 2023-07-12 GEOTAB Inc. Systems and methods for vehicle reversing detection using edge machine learning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080147267A1 (en) * 2006-12-13 2008-06-19 Smartdrive Systems Inc. Methods of Discretizing data captured at event data recorders
US20100268423A1 (en) * 1995-06-07 2010-10-21 Automotive Technologies International, Inc. Occupant Protection Systems Control Techniques
US20190228596A1 (en) * 2018-01-25 2019-07-25 Micron Technology, Inc. In-Vehicle Monitoring and Reporting Apparatus for Vehicles
US20190302766A1 (en) * 2018-03-28 2019-10-03 Micron Technology, Inc. Black Box Data Recorder with Artificial Intelligence Processor in Autonomous Driving Vehicle

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9098956B2 (en) * 2013-09-26 2015-08-04 Lytx, Inc. Dynamic uploading protocol
US9928432B1 (en) * 2016-09-14 2018-03-27 Nauto Global Limited Systems and methods for near-crash determination
KR102280376B1 (ko) * 2016-12-22 2021-07-23 키티 호크 코포레이션 분산형 비행 제어 시스템
US10752239B2 (en) * 2017-02-22 2020-08-25 International Business Machines Corporation Training a self-driving vehicle
US11022971B2 (en) * 2018-01-16 2021-06-01 Nio Usa, Inc. Event data recordation to identify and resolve anomalies associated with control of driverless vehicles
US10699137B2 (en) * 2018-08-14 2020-06-30 Verizon Connect Ireland Limited Automatic collection and classification of harsh driving events in dashcam videos
US11182986B2 (en) * 2018-10-10 2021-11-23 Micron Technology, Inc. Real-time selection of data to collect in autonomous vehicle
US20200017114A1 (en) * 2019-09-23 2020-01-16 Intel Corporation Independent safety monitoring of an automated driving system
US20200057896A1 (en) * 2019-09-26 2020-02-20 Intel Corporation Vehicle risk recognition and avoidance

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100268423A1 (en) * 1995-06-07 2010-10-21 Automotive Technologies International, Inc. Occupant Protection Systems Control Techniques
US20080147267A1 (en) * 2006-12-13 2008-06-19 Smartdrive Systems Inc. Methods of Discretizing data captured at event data recorders
US20190228596A1 (en) * 2018-01-25 2019-07-25 Micron Technology, Inc. In-Vehicle Monitoring and Reporting Apparatus for Vehicles
US20190302766A1 (en) * 2018-03-28 2019-10-03 Micron Technology, Inc. Black Box Data Recorder with Artificial Intelligence Processor in Autonomous Driving Vehicle

Also Published As

Publication number Publication date
US20210245659A1 (en) 2021-08-12
EP4100929A4 (en) 2024-03-06
KR20220133934A (ko) 2022-10-05
WO2021158655A1 (en) 2021-08-12
EP4100929A1 (en) 2022-12-14

Similar Documents

Publication Publication Date Title
US11893835B2 (en) In-vehicle monitoring and reporting apparatus for vehicles
US10268909B2 (en) Systems and methods for near-crash determination
Carvalho et al. Exploiting the use of recurrent neural networks for driver behavior profiling
EP3523155B1 (en) Method and system for detecting vehicle collisions
US10909782B1 (en) Data management for vehicle event data recorder
CN112673407A (zh) 用于预测的车辆事故警告和规避的系统和方法
CN111311914A (zh) 车辆行驶事故监控方法、装置和车辆
CN115398496A (zh) 车辆黑匣子数据的基于人工智能的持久性
CN113994362A (zh) 计算车辆的驾驶员的责任的系统和方法
US10977882B1 (en) Driver health profile
CN114545890A (zh) 用于自动驾驶系统体验监控和/或管理的方法和系统
US20210287530A1 (en) Applying machine learning to telematics data to predict accident outcomes
US11222213B2 (en) Vehicle behavior detection system
US11263837B2 (en) Automatic real-time detection of vehicular incidents
US20230059485A1 (en) Black box operations controlled by driver mental state evaluation
US20230103670A1 (en) Video analysis for efficient sorting of event data
WO2023077020A1 (en) Data collection policy management for vehicle sensor data
CN116601065A (zh) 一种自动驾驶数据采集和闭环管理的方法及系统
CN115640828A (zh) 一种基于对抗生成网络的车载数字孪生欺骗检测方法
US11514733B1 (en) Extended time scale event detection
US20240127636A1 (en) In-vehicle monitoring and reporting apparatus for vehicles
US11580336B1 (en) Leveraging machine vision and artificial intelligence in assisting emergency agencies
US20220105958A1 (en) Autonomous driving apparatus and method for generating precise map
US20230303101A1 (en) Systems and methods for automated vehicle fleet management according to dynamic pedagogical behavior reinforcement
Chapman PUBLISHED PROJECT REPORT PPR2017

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination