CN112415978A - 监测用于车辆控制的控制器区域网络总线 - Google Patents

监测用于车辆控制的控制器区域网络总线 Download PDF

Info

Publication number
CN112415978A
CN112415978A CN202010848085.4A CN202010848085A CN112415978A CN 112415978 A CN112415978 A CN 112415978A CN 202010848085 A CN202010848085 A CN 202010848085A CN 112415978 A CN112415978 A CN 112415978A
Authority
CN
China
Prior art keywords
vehicle
bus
data
neural network
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010848085.4A
Other languages
English (en)
Inventor
R·R·N·比尔比
P·卡利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Micron Technology Inc
Original Assignee
Micron Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micron Technology Inc filed Critical Micron Technology Inc
Publication of CN112415978A publication Critical patent/CN112415978A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0208—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
    • G05B23/0213—Modular or universal configuration of the monitoring system, e.g. monitoring system having modules that may be combined to build monitoring program; monitoring system that can be applied to legacy systems; adaptable monitoring system; using different communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L12/40006—Architecture of a communication node
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L12/403—Bus networks with centralised control, e.g. polling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/24—Pc safety
    • G05B2219/24065—Real time diagnostics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40208—Bus networks characterized by the use of a particular bus standard
    • H04L2012/40215—Controller Area Network CAN
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40267—Bus for use in transportation systems
    • H04L2012/40273—Bus for use in transportation systems the transportation system being a vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Computing Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请案涉及一种用于车辆控制的监测控制器区域网络总线。本发明涉及车辆控制的系统、方法及设备。举例来说，一种车辆包含：多主串行总线(例如控制器区域网络CAN总线)；电子控制单元，其连接到所述总线且经配置以通过所述总线彼此通信；收发器，其连接到所述总线且经配置以监测所述总线上产生输入的通信业务；及人工神经网络，其经配置以基于所述输入产生所述总线上的所述通信业务的异常分类。所述车辆经配置以响应于所述总线上的所述通信业务的所述异常分类应用安全措施。

Description

监测用于车辆控制的控制器区域网络总线
技术领域
本文中揭示的至少一些实施例大体上涉及车辆，且更特定来说(但不限于)，涉及监测用于车辆控制的控制器区域网络总线。
背景技术
自主驾驶技术领域的新近发展允许计算系统在无需车辆的人类操作者辅助的情况下至少在一些条件下操作机动车辆的控制元件。
举例来说，可将传感器(例如摄像机及雷达)安装于机动车辆上以检测在道路上行驶的车辆的周围环境的条件。安装于车辆上的计算系统分析传感器输入以识别条件且在具有或不具有来自车辆的人类操作者的任何输入的情况下产生用于车辆的方向及/或速度的自主调整的控制信号或命令。
在一些布置中，当计算系统辨识其中计算系统可能无法以安全方式继续操作车辆的情况时，计算系统警告车辆的人类操作者且请求人类操作者接管车辆的控制且手动驾驶以代替允许计算系统自主驾驶车辆。
自主驾驶及/或高级驾驶辅助系统(ADAS)通常涉及用于识别在传感器输入中捕获的事件及/或对象的人工神经网络(ANN)。
一般来说，人工神经网络(ANN)使用神经元网络处理到网络的输入及从网络产生输出。
举例来说，网络中的每一神经元接收一组输入。到神经元的部分输入可为网络中的特定神经元的输出；且到神经元的部分输入可为提供到神经网络的输入。网络中的神经元之间的输入/输出关系表示网络中的神经元连通性。
举例来说，每一神经元可具有偏压、激活函数及分别用于其输入的一组突触权重。激活函数可呈阶梯函数、线性函数、对数S型函数等的形式。网络中的不同神经元可具有不同激活函数。
举例来说，每一神经元可产生其输入及其偏压的加权和且接着产生使用神经元的激活函数计算的作为加权和的函数的输出。
ANN的输入与输出之间的关系一般由ANN模型定义，ANN模型包含表示网络中的神经元的连通性的数据，以及每一神经元的偏压、激活函数及突触权重。使用给定ANN模型，计算装置根据到网络的一组给定输入计算网络的输出。
举例来说，可基于摄像机输入产生到ANN网络的输入；且来自ANN网络的输出可为例如事件或对象的项目的识别。
脉冲神经网络(SNN)是高度模仿自然神经网络的一种类型的ANN。SNN神经元在神经元的激活电平足够高时产生脉冲作为输出。SNN神经元的激活电平模仿自然神经元的膜电势。SNN神经元的输出/脉冲可改变接收输出的其它神经元的激活电平。SNN神经元随时间变化的电流激活电平通常使用微分方程来建模且被认为是SNN神经元的状态。来自其它神经元的传入脉冲可将神经元的激活电平推高以达到脉冲的阈值。一旦神经元发生脉冲，则使其激活电平复位。在脉冲之前，SNN神经元的激活电平可随时间推移而衰减，如由微分方程控制。SNN神经元的行为的时间元素使SNN适用于处理时空数据。SNN的连通性通常是稀疏的，这有利于减少计算工作量。
一般来说，ANN可使用有监督方法训练，其中ANN中的参数经调整以最小化或减小由相应输入造成的已知输出与从将输入应用于ANN产生的计算输出之间的误差。有监督学习/训练方法的实例包含强化学习及具有错误校正的学习。
替代地或组合地，ANN可使用无监督方法训练，其中由一组给定输入造成的准确输出在训练完成之前是未知的。ANN可经训练以将项目分类为多个类别或将数据点分类为集群。
多种训练算法可用于复杂机器学习/训练范例。
标题为“用于电动车辆的电子控制设备(Electronic Control Apparatus forElectrically-Driven Vehicle)”且在2017年1月3日发布的第9,533,579号美国专利揭示一种具有自诊断功能的车辆的电子控制设备。
通常基于预定操作里程碑来安排汽车维修。举例来说，可每三个月或六个月或在预定行驶距离(例如3000英里、6000英里或15000英里)之后安排一次例行维修服务。
当机动车辆的组件在车辆的操作期间损坏或发生故障时，此事件可为安全隐患。在此事件发生之后，不能在方便时尽快安排车辆的服务行程。
发明内容
根据实施例，一种车辆包括多主串行总线、多个电子控制单元、收发器及人工神经网络。所述多个电子控制单元连接到所述总线且经配置以通过所述总线彼此通信。所述收发器连接到所述总线且经配置以监测所述总线上产生输入的通信业务。所述人工神经网络经配置以基于所述输入产生所述总线上的所述通信业务的异常分类。所述车辆经配置以响应于所述总线上的所述通信业务的所述异常分类应用安全措施。
根据另一实施例，一种方法包括：由连接到车辆的多主串行总线的收发器监测连接到所述车辆上的所述总线的多个电子控制单元之间的通信业务；基于所述通信业务的所述监测产生输入到人工神经元；将所述输入提供到人工神经网络；由所述人工神经网络且基于所述输入产生所述总线上的所述通信业务的异常分类；及由所述车辆响应于所述总线上的所述通信业务的所述异常分类应用安全措施。
根据另一实施例，一种设备包括收发器及数据存储装置。所述收发器经配置以连接到车辆的多主串行总线且经配置以监测所述车辆中连接到所述总线的电子控制单元之间的通信业务。所述数据存储装置经配置以存储人工神经网络的模型数据，其中响应于基于所述总线上的所述电子控制单元之间的所述通信业务产生的到所述人工神经网络的输入，所述数据存储装置经配置以根据所述通信业务是否异常分类。所述设备经配置以将致使所述车辆在所述通信业务异常时应用安全措施的异常分类传递到所述车辆的计算机系统。
附图说明
实施例通过实例而非限制来说明于附图的图中，其中相似参考元件符号指示类似元件。
图1展示根据一些实施例的其中车辆经配置具有用以收集及处理传感器数据的数据存储装置的系统。
图2展示根据一个实施例的具有数据存储装置的自主车辆。
图3到5说明根据一些实施例的用于维修服务预测的人工神经网络的训练。
图6展示根据一个实施例的预测维修方法。
图7展示根据一个实施例的用以加速神经网络计算的数据存储装置。
图8展示根据一个实施例的用以加速神经网络计算的存储媒体组件。
图9展示根据一个实施例的用以加速机动车辆中的神经网络计算的方法。
图10展示根据一个实施例的经配置以支持神经网络计算的数据存储装置。
图11说明根据一个实施例的用于人工神经网络(ANN)模型的命名空间的配置。
图12说明根据一个实施例的用于到人工神经元的输入的命名空间的配置。
图13说明根据一个实施例的用于来自人工神经元的输出的命名空间的配置。
图14到16展示根据一个实施例的由模型分区、输入分区及输出分区支持的预测维修方法。
图17展示根据一个实施例的与用以实施神经网络计算的数据存储装置的通信。
图18展示根据一个实施例的用以实施神经网络计算的数据存储装置内的通信。
图19展示根据一个实施例的与用以实施神经网络计算的数据存储装置通信的方法。
图20展示根据一个实施例的用以基于监测控制器区域网络总线控制车辆的系统。
图21展示根据一个实施例的基于控制器区域网络总线的监测的车辆控制方法。
具体实施方式
本文中揭示的至少一些实施例提供用以处理机动车辆或具有或不具有高级驾驶辅助系统(ADAS)的另一车辆中产生的传感器数据的系统、方法及设备。
在机动车辆的组件在车辆的操作期间损坏或发生故障之前，可指示组件是需要更换还是维修。此类指示对典型驾驶员或乘客来说可能并不明显。然而，可收集及分析传感器数据以预测组件失效的概率。所述预测可用于安排维修服务，此可降低或消除其中车辆的组件在车辆操作于道路上期间损坏或发生故障的事件的机会。此外，预测允许在方便时安排服务行程。
举例来说，传感器可安装于汽车系统中以在其例行操作期间收集数据；且传感器数据可用于预测组件是否需要更换或维修及组件多久之后需要更换或维修。传感器数据可在其中预期车辆正常操作的时间周期中可作为输入提供到人工神经网络(ANN)(例如用以自我训练(例如，使用无监督机器学习技术)的人工智能(AI)系统的脉冲神经网络(SNN))。训练针对车辆的驾驶员、乘客或用户的特定操作环境及车辆乘员的个性化操作习惯定制神经网络。随后，当操作数据偏离正常模式时，人工神经网络可检测异常条件。AI系统可用于建议维修服务及/或识别可能需要更换或维修的组件。
图1展示根据一些实施例的其中车辆经配置具有用以收集及处理传感器数据的数据存储装置的系统。
图1的系统包含具有数据存储装置101的车辆111。任选地，车辆111具有高级驾驶辅助系统(ADAS)105及将传感器数据输入提供到ADAS 105及/或数据存储装置101的一或多个传感器103。数据存储装置101经配置以使用人工神经网络(ANN)125基于由传感器103收集的数据预测/识别维修服务的需要。可省略ADAS 105，而不影响预测维修特征。在一些实施方案中，由传感器103产生的数据的至少一部分用于驾驶辅助的ADAS 105及维修预测的ANN 125两者中。任选地，ANN 125的输出可用于数据存储装置101及ADAS 105两者中。
传感器103可包含数码摄像机、激光雷达、雷达、超声声呐、制动传感器、速度传感器、加速传感器、气囊传感器、GPS(全球定位系统)接收器、音频传感器/麦克风、振动传感器、力/应力传感器、变形传感器、运动传感器、温度传感器等。部分传感器103可主要经配置以监测车辆111的环境；且其它传感器103可主要经配置以监测车辆111的一或多个组件(例如内燃机、排气系统、电动机、制动器、轮胎、电池等)的操作条件。
传感器103随时间变化的输出作为传感器数据流提供到ADAS 105及/或ANN 125以提供驾驶辅助(例如自主驾驶)及维修预测。
举例来说，车辆111可具有经由无线信号113及通信网络117与远程服务器119通信的无线通信装置。远程服务器119通常配置于远离车辆111在其上运行的公路102的位置处。举例来说，车辆111可将一些传感器数据121提供到服务器119及从服务器119接收ANN 125的更新。
通信网络117的一个实例是具有用以接收无线信号(例如113)的一或多个基站(例如115)的手机网络。通信网络117的另一实例是因特网，其中在接入点(例如115)中接收由车辆113传输的无线局域网信号(例如113)用于进一步传递到服务器119。在一些实施方案中，车辆111使用到卫星109及通信气球的通信链路107与服务器119通信。
服务器119还可与一或多个维修服务设施(例如127)通信以接收车辆(例如111)的维修服务数据123。维修服务数据123可包含车辆(例如111)的组件的检验记录及/或服务记录。举例来说，检验记录及/或服务记录可指示在其服务于维修服务设施(例如127)处期间检验的组件的磨损度、失效或发生故障组件的识别等。车辆(例如111)在服务之前的时间周期中的传感器数据121及维修服务数据123可用于训练ANN 125预测组件需要维修服务的概率。更新ANN 125可用于基于在最近时间周期中接收的传感器数据121预测及建议车辆111的维修服务。替代地，更新ANN 125可经传输到车辆111；且车辆111可使用在车辆111的例行操作期间从传感器103产生的数据预测及建议维修服务。
车辆111的数据存储装置101可经配置以在一时间周期内记录可用于在ANN中预测维修的传感器数据。维修预测通常针对相对较长时间周期(例如几天、几周及/或几个月)。相比而言，经记录用于检视涉及自主车辆的事故、碰撞或近似碰撞的传感器数据通常针对短时间周期(例如30秒到几分钟)。因此，经配置以记录用于检视/分析事故或碰撞的传感器数据的典型黑盒数据记录器不足用于预测维修。
任选地，数据存储装置101存储连通到维修服务设施(例如127)的一时间周期的传感器数据。维修服务设施(例如127)可从数据存储装置101下载传感器数据121及将传感器数据121及对应维修服务数据123提供到服务器119以促进ANN 125训练。
任选地或组合地，数据存储装置101经配置具有机器学习模块以定制及/或训练安装于车辆111中用于预测维修的ANN 125。
举例来说，数据存储装置101的机器学习模块可用于校准ANN 125以说明其中操作车辆111的典型/日常环境及/或车辆111的驾驶员的驾驶偏好/习惯。
举例来说，在预期车辆在典型/日常环境下以健康组件操作的时间周期期间，由传感器103产生的传感器数据可用于训练ANN 125辨识表示无故障操作的传感器数据的模式。此类模式可针对不同车辆(例如111)基于其例行操作环境及其驾驶员的驾驶习惯/特性而不同。训练允许ANN 125检测从经辨识正常模式的偏离且报告异常以进行维修预测。
举例来说，ANN 125可包含SNN，其经配置以分类传感器数据的基于时间的变化及/或检测从在正常/健康条件下但在个性化环境(例如驾驶员/乘客的日常路线)中操作及/或在个性化驾驶习惯/模式下操作的车辆111的传感器数据的已知模式的偏离。
图2展示根据一个实施例的具有数据存储装置101的自主车辆111。举例来说，图1的系统中的车辆111可使用图2的自主车辆111实施。
图2的车辆111经配置以具有高级驾驶辅助系统(ADAS)105。车辆111的ADAS 105可具有用于对象检测、辨识、识别及/或分类的人工神经网络(ANN)125。ANN 125及/或另一神经网络(例如，经配置于数据存储装置101中)可用于预测车辆111的组件需要维修服务(例如修理、更换或调整)的概率。
优选地，数据存储装置101经配置以在经任务分配以操作ADAS 105及/或其它组件(例如信息娱乐系统149)的处理器133的计算负担减小的情况下处理至少部分用于预测维修的传感器数据。
车辆111通常包含信息娱乐系统149、通信装置139、一或多个传感器103及连接到车辆111的一些控制(例如用于导引车辆111的转向控制141、用于停止车辆111的制动控制143、用于车辆111的速度的加速控制145等)的计算机系统131。在一些实施例中，图1的系统中的车辆111具有类似配置及/或类似组件。
ADAS 105的操作需要部分传感器103；且部分传感器103用于收集与车辆111的组件的健康相关的数据，其可不用于ADAS 105中。任选地，由传感器103产生的传感器数据还可用于预测组件即将失效的可能性。此预测可用于在ADAS 105中采取紧急动作以使车辆处于安全状态中(例如，通过降低速度及/或停靠路边)。
车辆111的计算机系统131包含一或多个处理器133、数据存储装置101及存储包含计算机指令及ADAS 105的数据模型的固件(或软件)147的存储器135。
车辆的一或多个传感器103可包含可见光摄像机、红外摄像机、激光雷达、雷达或声呐系统、外围传感器、全球定位系统(GPS)接收器、卫星定位系统接收器、制动传感器及/或气囊传感器。此外，传感器103可包含经配置以监测来自车辆111中的各种组件及位置的噪声的音频传感器(例如麦克风)、经配置以测量车辆111的组件上的载荷的振动传感器、压力传感器、力传感器、应力传感器及/或变形传感器、测量车辆111的一些组件的运动的加速度计及/或陀螺仪传感器等。此类传感器可用于监测组件的操作状态及/或健康以进行预测维修。
传感器103可将实时传感器数据流提供到计算机系统131。由车辆111的传感器103产生的传感器数据可包含使用使用人眼可见的光成像的摄像机、或使用红外光成像的摄像机、或声呐、雷达或LIDAR系统捕获对象的图像。从车辆的至少一个传感器获得的图像数据是用于在数据存储装置101中记录及/或作为到ANN 125的输入的收集传感器数据的部分。举例来说，摄像机可用于获得车辆111行驶的道路信息，其可由ANN 125处理以产生车辆111的控制信号。举例来说，摄像机可用于监测车辆111的组件的操作状态/健康，其可由ANN125处理以预测或安排维修服务。
由车辆111的传感器103产生的传感器数据可包含捕获车辆111上的一位置处的声音特性的音频流，位置例如靠近引擎、发动机、传动系统、车轮、车门、车窗等。从车辆111的至少一个传感器103获得的音频数据可为用于在数据存储装置101中记录及/或作为到ANN125的输入的收集传感器数据的部分。举例来说，音频流可用于监测车辆111的组件(例如内燃机、排气系统、电动机、制动器)的操作状态/健康，其可由ANN 125处理以预测或安排维修服务。
信息娱乐系统149可用于呈现经预测或安排维修服务。任选地，通信装置139可建立到车辆111的驾驶员的移动装置的连接以通知驾驶员推荐维修服务及/或所述服务的推荐数据以将预约排上日程等。
当车辆111经配置具有ADAS 105时，ADAS 105的输出可用于在自主驾驶期间控制(例如141、143、145)车辆111的加速、车辆111的速度及/或车辆111的方向。
图3到5说明根据一些实施例的用于维修服务预测的人工神经网络的训练。
在图3中，有监督机器学习模块171用于训练人工神经网络125最小化从传感器数据121产生的服务预测129与维修服务数据123之间的差异。
举例来说，维修服务数据123可识别组件随时间变化的测量磨损度以预测到推荐服务的时间。传感器数据121可用于在ANN 125中产生推荐服务的预测时间。有监督机器学习模块171可调整人工神经网络125以减小/最小化基于传感器数据121预测的时间与从磨损测量计算的时间之间的差异。
举例来说，维修服务数据123可识别在维修服务设施127中更换或修理的组件。组件更换或修理之前的时间周期内记录的传感器数据121可用于计算更换或修理的时间。此外，更换或修理之前的时间周期中的传感器数据流的片段可用于在ANN 125中产生更换或修理时间的预测。有监督学习171可用于调整ANN 125以减少更换或修理的预测时间及更换或修理的实际时间。
图2的有监督学习171可基于一车辆群体的传感器数据及其维修服务数据123应用于服务器119中以产生车辆群体的通用ANN。
图2的有监督学习171可基于车辆的传感器数据及其维修服务数据123应用于车辆111中以产生车辆群体的定制/个性化ANN。举例来说，通用ANN可最初用于车辆111中；且车辆111的传感器数据及其维修服务数据123可用于针对车辆111中的ANN 125的定制/个性化进一步训练车辆的ANN 125。
在图4中，无监督机器学习的模块175用于训练或改善人工神经网络125以促进异常检测173。无监督机器学习模块175经配置以调整ANN(例如SNN)、传感器数据121的分类、聚类或经辨识模式，使得从最近时间周期中产生的传感器数据121的分类、聚类或经辨识模式的偏离程度可用于发信号通知异常检测173。异常检测173允许安排车辆111在维修服务设施127中进行检验。任选地，在检验之后，维修服务数据123可用于应用有监督学习171来产生服务的更精确预测，如同图3。
通常，可担保车辆111在特定时间周期在正常/健康条件下操作。举例来说，在最初交付新车111供服务之后，可担保车辆111在至少一时间周期(例如几个月)内提供无故障服务。举例来说，在组件更换或修理之后的一时间周期之后，可担保组件在至少一时间周期(例如几个月或1年)内提供无故障服务。因此，此时间周期期间获得的传感器数据121可被预先分类为“正常”以使用无监督学习175(如同图4)或有监督学习171(如同图5)训练ANN125。
举例来说，经由车辆111或组件的“正常”服务时间周期期间收集的传感器数据121可经由无监督学习175分类为数个聚类。不同聚类可对应于不同类型的正常条件(例如在不同路线上行驶、在具有不同路面条件的公路上行驶、在具有不同天气条件的日子行驶、在一天的不同时间周期中行驶、一周内的不同日子、驾驶员不同心情的驾驶习惯)。当后续传感器数据121被分类在“正常”聚类外时，检测异常。
任选地，有监督机器学习171可用于训练ANN 125，如图5中说明。在车辆111或组件的“正常”服务周期期间，预期分类177可用于标记传感器数据121。有监督学习171可用于最小化使用ANN 125根据传感器数据121所作的预测179与预期分类177之间的分类差异。此外，当已知传感器数据121是“异常”时(例如，在维修服务设施127中或由车辆111的用户、驾驶员或乘客作出的诊断之后)，可将预期分类177变成“异常”以进一步训练ANN 125以直接辨识异常(例如，代替依赖从已知“正常”聚类的偏离推断异常)。
因此，ANN 125可经训练以识别异常传感器数据且估计异常的严重程度以安排维修服务。
图6展示根据一个实施例的预测维修方法。举例来说，图6的方法可经实施于图1或2的车辆111中的数据存储装置101中或图2的车辆111中的计算机系统131中。
在框201，安装于车辆111中的传感器(例如103)在车辆111操作于公路102上期间产生传感器数据流(例如121)。
在框203，将传感器数据流(例如121)提供到人工神经网络(ANN)125中。举例来说，ANN 125可包含脉冲神经网络(SNN)。
在框205，人工神经网络(ANN)125基于传感器数据流(例如121)产生维修服务的预测。
在框207，经配置于车辆上的数据存储装置101存储传感器数据流(例如121)的至少一部分。
在框209，使用从车辆离开工厂或维修服务设施127起的预定时间周期内收集的传感器数据流(例如121)训练人工神经网络(ANN)。
举例来说，人工神经网络(ANN)可经配置以识别车辆111中需要在维修服务中修理或更换的组件及/或识别组件失效或发生故障的预测时间周期或组件失效或发生故障之前组件的推荐维修服务的建议时间周期。因此，预期维修服务的执行可避免组件在车辆111操作于公路102上时失效或发生故障的事件。
举例来说，传感器103可为安装于组件附近的麦克风、附接到组件的振动传感器、安装于组件中的压力传感器、安装于组件上或附接到组件的力或应力传感器、附接到组件的变形传感器、经配置以测量组件的运动参数的加速度计。
任选地，数据存储装置101、车辆111的计算机系统131及/或远离车辆的服务器119可具有机器学习模块，其经配置以在其中担保车辆111处于健康状态的时间周期(例如从车辆111离开工厂或维修服务设施127起的预定时间周期)期间训练人工神经网络(ANN)125。
举例来说，机器学习模块可使用无监督机器学习175训练ANN 125辨识/分类传感器数据121的正常模式且因此具有基于从正常模式的偏离检测异常的能力，如图4中说明。替代地，可使用有监督机器学习171，如图3或5中说明。
举例来说，可在其中已知车辆及/或组件在无故障或降级的情况下操作的预定时间周期期间由车辆111的数据存储装置101或计算机系统131应用无监督机器学习175。
替代地或组合地，可将存储于车辆111的数据存储装置101中的部分传感器数据121上传到服务器119用于训练ANN 125。
在本文中揭示的至少一些实施例中，数据存储装置101经配置以加速车辆111的人工神经网络(ANN)125的计算。
举例来说，除用以支持数据存取及存储的典型操作之外，数据存储装置101可进一步经配置以执行涉及人工神经网络(ANN)125的计算的至少部分，例如从传感器数据121产生预测(例如129或173)或分类(例如179)及/或通过无监督机器学习175(例如，如图4中说明)及/或有监督机器学习171(例如，如图3或5中说明)调整ANN 125。
举例来说，经配置于数据存储装置101中的计算可用于减少传输到处理器133以使用或应用ANN 125的数据量及/或减少处理器133在评估ANN 125的输出及/或训练ANN 125时的计算任务。此布置可导致从数据存储装置101的较快输出及/或较低能量使用，因为数据不必移入存储器中及从存储器移出到专用独立神经网络加速度计。数据存储装置101在处理与ANN 125相关的数据时的计算能力使机动车辆111的计算机系统131能够在减少影响或不影响关键任务使命(例如，通过ADAS 105自主驾驶)的处理的情况下监测汽车组件的健康(例如，以非实时方式或伪实时方式)。此外，数据存储装置101的计算能力可用于加速ADAS 105的传感器数据的处理且因此改进关键任务使命的处理。
图7展示根据一个实施例的用以加速神经网络计算的数据存储装置101。举例来说，图7的数据存储装置101可用于实施图1或2中说明的车辆111的数据存储装置101。
在图7中，数据存储装置101具有经配置以与处理器(例如133)通信的主机接口157。举例来说，处理器(例如133)与主机接口157之间的通信可至少部分根据外围组件互联高速(PCIe)总线、串行高级技术附接(SATA)总线、通用串行总线(USB)总线及/或存储区域网络(SAN)的通信协议。
举例来说，主机接口157可用于接收由车辆111的传感器103产生的传感器数据121以将传感器数据121的一部分任选地存储于存储媒体组件161到163中。
举例来说，存储媒体组件161到163中的每一者可为经配置以存储数据的存储器集成电路。举例来说，媒体组件161或163可包含嵌入于集成电路封装中的一或多个集成电路裸片。集成电路裸片可具有形成于其上以存储数据的许多存储器单元。
一般来说，一些存储器集成电路是易失性的且需要电力来维持所存储的数据；且一些存储器集成电路是非易失性的且甚至可在未通电时保存所存储的数据。
非易失性存储器的实例包含快闪存储器、基于“与非(NAND)”逻辑门、“或非(NOR)”逻辑门形成的存储器单元、相变存储器(PCM)、磁性存储器(MRAM)、电阻随机存取存储器、交叉点存储装置及存储器装置。交叉点存储器装置使用无晶体管存储器元件，其中每一者具有一起堆叠为一柱的存储器胞元及选择器。存储器元件柱经由两个垂直电线层连接，其中一个层在存储器元件柱上方且另一层在存储器元件柱下方。可个别选择两个层中的每一者上的一个电线的交叉点处的每一存储器元件。交叉点存储器装置很快且是非易失性的且可用作用于处理及存储的统一存储器集区。非易失性存储器的另外实例包含只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)及电可擦除可编程只读存储器(EEPROM)存储器等。易失性存储器的实例包含动态随机存取存储器(DRAM)及静态随机存取存储器(SRAM)。
数据存储装置101可具有包含易失性本地存储器153及至少一个处理装置155的控制器151。
控制器151的本地存储器可为嵌入式存储器，其经配置以存储用于执行控制处理装置155的操作的各种过程、操作、逻辑流及例程(包含处理车辆111的数据存储装置101与处理器(例如133)之间的通信及本文中描述的其它功能)的指令。控制器151的本地存储器153可包含用于存储微代码的只读存储器(ROM)及/或存储(例如)存储器指针、提取数据等的存储器寄存器及/或易失性存储器，例如动态随机存取存储器(DRAM)及静态随机存取存储器(SRAM)。
在图7中，数据存储装置101包含耦合到控制器151及/或存储媒体组件161到163的神经网络加速器159。
举例来说，神经网络加速器159可经配置以执行矩阵算术计算。涉及ANN 125的计算具有矩阵乘法及累加运算，对于通用处理器(例如133)来说，其可为计算密集的。使用神经网络加速器159执行矩阵算术计算可减少数据传输到车辆111的处理器133且降低处理器133的计算工作量。
举例来说，当ANN 125包含脉冲神经网络(SNN)时，用于控制SNN神经元的激活电平的微分方程的模拟对于通用处理器(例如133)来说可为计算密集的。神经网络加速器159可使用特殊硬件模拟微分方程且因此总体上提高计算机系统131的计算效率。
在一些实施方案中，神经网络加速器159是与控制器151及/或存储媒体组件161到163分离的集成电路装置。替代地或组合地，神经网络加速器159与控制器151集成于集成电路封装中。此外，神经网络加速器159可经集成于存储媒体组件161到163中的至少一者中，如图8中说明。
图8展示根据一个实施例的用以加速神经网络计算的存储媒体组件160。举例来说，图7中的存储媒体组件161到163中的每一者或一些可使用图8的存储媒体组件160实施。
在图8中，存储媒体组件160可容置于集成电路封装内。存储媒体组件160的输入/输出接口171经配置以处理集成电路封装的引脚中的输入/输出信号。举例来说，输入/输出信号可包含用以指定媒体单元175中的位置的地址信号及表示写入于媒体单元175中经由地址信号指定的位置处的数据或从媒体单元175中的位置检索的数据的数据信号。
在图8中，神经网络加速器159与控制逻辑173及/或媒体单元175耦合以执行用于评估ANN 125的输出及/或训练ANN 125的计算。
举例来说，输入/输出接口171可接收识别存储于媒体单元中且经由神经网络加速器159操作的矩阵的地址。存储媒体组件160可响应于地址提供神经网络加速器159的计算结果作为输出数据，将输出数据存储于缓冲器中用于进一步操作，将输出数据存储到经由地址信号指定的媒体单元175中的位置中。因此，由神经网络加速器159执行的计算可在存储媒体组件160内，其靠近其中存储矩阵数据的媒体单元175。举例来说，媒体单元175中的每一者可为其上形成非易失性存储器的存储器单元的集成电路裸片。
举例来说，SNN神经元的状态数据可根据预定模式存储于媒体单元175中。神经网络加速器159可根据用于随时间推移控制SNN神经元的激活电平的微分方程自动更新SNN神经元的状态。任选地，神经网络加速器159经配置以处理神经网络中的神经元的脉冲。替代地，数据存储装置101的神经网络加速器159及/或处理器133可经配置以处理神经元的脉冲及/或到SNN的输入累加。
图9展示根据一个实施例的用以加速机动车辆中的神经网络计算的方法。举例来说，图9的方法可使用图7的数据存储装置101及/或图8的存储媒体组件160实施于图1或2的车辆111中。举例来说，图9的方法可结合图6的方法使用。
在框221，车辆111的数据存储装置101从经配置于车辆111上的至少一个传感器(例如103)接收传感器数据流。
在框223，数据存储装置101存储传感器数据流的至少一部分。
在框225，经配置于数据存储装置101内的神经网络加速器159基于人工神经网络125及传感器数据流执行计算的至少一部分。
在框227，至少部分基于由经配置于数据存储装置101内的神经网络加速器159执行的计算预测车辆111的维修服务。
任选地，在框229，至少部分使用神经网络加速器及使用预定时间周期(例如从工厂交付新车111之后或在维修服务设施127中更换组件之后的周期)内收集的传感器数据流在车辆111中训练人工神经网络(ANN)。
举例来说，神经网络加速器159可经配置于与数据存储装置的控制器151分离及/或与存储媒体组件161到163分离的集成电路装置上。
举例来说，神经网络加速器159可经配置于包含数据存储装置101的控制器151的集成电路装置上，或经配置于包含数据存储装置101的存储媒体组件160、161或163的集成电路装置上。
举例来说，神经网络加速器159可经配置以使用存储于数据存储装置101中的数据执行计算，例如ANN的矩阵算术计算及/或SNN的微分方程模拟。
矩阵算术计算的实例包含矩阵乘法及累加运算。在使用存储于数据存储装置101中的数据产生矩阵算术计算的结果的计算之后，神经网络加速器159可提供结果作为数据存储装置101检索数据(例如，响应于读取命令)的输出。替代地或组合地，矩阵算术计算的结果可经缓冲于数据存储装置101中作为下一矩阵计算的操作数，所述下一矩阵计算结合经由主机接口157中接收的读取命令从非易失性存储器检索的数据矩阵执行。
当人工神经网络(ANN)125包含脉冲神经网络(SNN)时，神经网络加速器可经配置以模拟控制脉冲神经网络(SNN)中的神经元的激活电平的微分方程。任选地，存储媒体组件经配置以根据预定模式将神经元的状态存储于脉冲神经网络中；且神经网络加速器经配置以根据微分方程自动更新神经元随时间推移的状态。举例来说，神经网络加速器159可经配置以经由无监督机器学习训练脉冲神经网络(SNN)检测异常。
由神经网络加速器159根据人工神经网络(ANN)125执行的计算涉及具有数据存储装置101的不同使用模式的不同类型的数据。
举例来说，使用人工神经网络(ANN)125作出预测包含使用指定人工神经网络(ANN)125的模型的数据、提供到人工神经元的输入数据及由人工神经元产生的输出数据。
数据存储装置101的存储容量可针对不同类型的ANN相关数据分割为不同部分。不同部分可单独经配置以由其中配置数据存储装置101的计算机系统131的神经网络加速器159及/或处理器133根据其使用模式优化对应数据的存取及存储。
人工神经网络(ANN)125的模型可包含指定ANN 125中的个别人工神经元的静态属性及ANN 125中的神经元连通性的参数。ANN 125的模型数据是静态的且在使用ANN 125进行的预测计算期间不改变。因此，多半读取模型数据的使用模式。然而，ANN 125的模型数据可在安装更新ANN 125时改变。举例来说，车辆111可从服务器119下载更新ANN 125到车辆111的数据存储装置101以更新其预测能力。ANN 125的模型数据也可在使用机器学习技术(例如171或175)训练ANN 125期间或之后改变。配置数据存储装置101的单独分区或命名空间存储模型数据是首选，其中分区或命名空间根据针对模型数据的特定使用模式(例如多半读取、少有更新)优化存储器单元的配置参数操作。举例来说，当存储器单元使用基于NAND逻辑门的快闪存储器实施时，ANN模型分区/命名空间中的存储器单元可经配置以操作于多层胞元(MLC)模式、三层胞元(TLC)模式或四层胞元(QLC)模式中，其中每一存储器胞元存储两个、三个或四个位以增加存储容量。
提供到ANN 125中的人工神经元的输入数据可包含外部输入及内部输入。外部输入通常由车辆111的传感器103而非ANN 125中的人工神经元产生。可以循环方式保存外部输入，使得可在数据存储装置101中找到预定驾驶长度的最近时间周期的输入数据。因此，配置数据存储装置101的单独分区或命名空间存储外部输入数据是首选，其中分区或命名空间根据针对外部输入数据的存储模式(例如增强耐久性、循环重写)优化存储器单元的配置参数操作。举例来说，当存储器单元使用基于NAND逻辑门的快闪存储器实施时，ANN输入分区/命名空间中的存储器单元可经配置以操作于单层胞元(SLC)模式中，其中每一存储器胞元存储一个数据位以改进循环重写操作的耐久性。
在一些实施方案中，人工神经元可具有在预测计算期间响应于输入而随时间推移改变的状态变量。举例来说，脉冲神经元的激活电平可随时间推移改变且被认为是脉冲神经元的动态状态变量。在一些实施方案中，人工神经元的此状态变量数据具有类似于外部输入数据的存储使用模式；因此，状态变量数据可经存储于经配置用于外部输入数据的分区或命名空间中。在其它实施方案中，人工神经元的状态变量数据经保存于缓冲器中且没有外部输入那么频繁被存储；因此，另一分区/命名空间可经配置用于存储人工神经元的动态状态变量数据。
由ANN 125中的人工神经元产生的输出数据可经缓冲用于由计算机系统131的神经网络加速器159及/或处理器133进一步存取。输出数据可包含外部输出及内部输出。外部输入由人工神经元产生作为来自ANN 125的输出，例如由ANN 125所作的分类或预测的结果。ANN 125的输出通常由计算机系统131的处理器133进一步处理。可周期性保存外部输入(例如，以类似于状态变量数据的存储的方式)。内部输出及/或部分外部输出可为到ANN125中的人工神经元的内部输入。一般来说，无需将内部输出从数据存储装置的缓冲器存储到存储媒体组件。在一些实施方案中，当数据存储装置101的缓冲器容量不足以保存全部状态变量数据及/或内部输出时，数据存储装置101可使用交换分区/命名空间扩展缓冲器的容量。交换分区/命名空间可经配置用于优化随机存取及改进耐久性。
神经元的外部输出及/或动态状态可以循环方式保存于单独输出分区或命名空间中，使得可周期性存储神经元的外部输出数据及/或动态状态且可在数据存储装置101中找到最近几组外部输出及/或动态状态。可选择性存储神经元的外部输出及/或动态状态，因为部分此类数据可由ANN从存储于输入分区或命名空间中的外部输入再生。优选地，输出分区或命名空间经配置以存储无法从存储于输入分区或命名空间中的外部输入创建的一或多组外部输出及/或动态状态。在以循环方式将数据存储于输入/输出分区或命名空间中时，擦除最旧存储数据组以留出空间给最近数据组。ANN输入/输出分区/命名空间可经配置用于优化顺序写入流以将数据从数据存储装置的缓冲器复制到数据存储装置的存储媒体组件中的存储器单元中。
图10展示根据一个实施例的经配置以支持神经网络计算的数据存储装置101。举例来说，数据存储装置101可用于在图1或2中的车辆111中促进预测维修及/或支持ADAS105。
图10的数据存储装置101包含主机接口157及控制器151，类似于图7的数据存储装置101。
图10的数据存储装置101的存储容量181可使用一组存储媒体组件实施，类似于图7的数据存储装置101中的存储媒体组件161到163。
可在数据存储装置101的存储容量181上创建一组命名空间183、185、187、…。命名空间(例如183、185或187)中的每一者对应于存储容量181的命名部分。在每一命名空间内定义逻辑地址。地址映射表191经配置以映射于定义于命名空间183、185、187、…中的逻辑地址与存储媒体组件(例如图7中说明的161到163)中的存储器单元的物理地址之间。
地址映射表191可包含命名空间183、185及187的命名空间优化设置192。
举例来说，ANN模型命名空间183可为经配置用于人工神经网络(ANN)125的模型数据的存储器/存储分区。命名空间优化设置192根据ANN模型的数据使用模式(例如多半读取、少有更新中心)优化ANN模型命名空间183中的存储器操作。
举例来说，神经元输入命名空间185可为经配置用于到人工神经网络(ANN)125的外部输入数据的存储器/存储分区。命名空间优化设置192根据外部输入数据的数据使用模式(例如，用于增强支持顺序写入的连续输入数据的循环重写的耐久性)优化神经元输入命名空间185中的存储器操作。
举例来说，神经元输出命名空间187可为经配置用于从人工神经网络(ANN)125提供的外部输出数据的存储器/存储分区。命名空间优化设置192根据外部输出数据的数据使用模式(例如，改进在随机读取/写入存取时周期性重写数据的耐久性)优化神经元输出命名空间187中的存储器操作。
数据存储装置101包含缓冲器152，其经配置以存储人工神经网络(ANN)125的临时/中间数据，例如ANN 125中的人工神经元的内部输入/输出。
任选地，交换命名空间可经配置于存储容量181中以扩展缓冲器152的容量。
任选地，地址映射表191包含在主机接口157中接收以存取人工神经元的数据及人工神经元的身份的逻辑存储器地址之间的映射。因此，用以存取一个命名空间中的人工神经元的一种类型的数据的读取或写入命令可致使控制器151存取另一命名空间中的人工神经元的另一类数据。
举例来说，响应于将神经元的外部输入数据写入到数据存储装置101的存储容量181中的请求，地址映射表191可用于计算ANN模型命名空间183中的神经元的模型参数的地址及将模型参数读取到缓冲器152中以允许神经网络加速器159执行神经元的输出的计算。神经元的输出可经保存于缓冲器152中作为到其它神经元的内部输入(例如，以减小写入放大)。此外，连接到神经元的其它神经元的身份也可从ANN模型命名空间183检索到缓冲器152中，此允许神经网络加速器159及/或处理器进一步处理ANN 125中的输出的传播。从ANN模型命名空间183检索模型数据可与将外部输入数据存储到神经元输入命名空间185中并行执行。因此，车辆111的计算机系统131的处理器133不必在读取命令中明确发送从ANN模型命名空间183检索模型数据。
类似地，响应于读取神经元的输出数据，地址映射表191可用于计算存储于ANN模型命名空间183中的神经元的模型参数的地址及将模型参数读取到缓冲器152中以允许神经网络加速器159在缓冲器152中应用内部输入以执行神经元的输出的计算。计算得到的输出可经提供作为对读取神经元的输出数据的响应，而数据存储装置101不必将输出数据存储于存储媒体组件(例如161到163)中。因此，处理器133及/或神经网络加速器159可经由将输入写入到神经元及/或从神经元读取输出来控制神经元的计算。
一般来说，到ANN 125的传入外部输入数据可为由传感器103直接产生而无需由处理器133及/或神经网络加速器159处理的原始传感器数据121。替代地，已由ANN 125的处理器133根据来自传感器103的信号处理的间接传感器数据121可经提供作为外部输入数据。传入外部输入数据可经接受于主机接口157中且以循环方式写入到神经元输入命名空间185中，且自动缓冲于神经网络加速器159的缓冲器152中以使用存储于ANN模型命名空间183中的模型产生神经元输出。由神经网络加速器159产生的输出可进一步经缓冲作为内部输入以将模型进一步应用于ANN模型命名空间183中。当外部输出变为可用时，数据存储装置101可用外部输出的可用性的指示报告写入请求完成。任选地，控制器151及/或神经网络加速器159可在产生外部输出时产生在ANN 125中传播信号的内部读取命令。替代地，主机处理器133可通过选择性读取神经元的输出来控制信号在ANN 125中传播；且数据存储装置101可主动缓冲在缓冲器152中加速ANN计算可能需要的数据。
图11说明根据一个实施例的用于人工神经网络(ANN)模型的命名空间183的配置。举例来说，图11的配置可经实施于图7及/或10中说明的数据存储装置101中。举例来说，图11的设置193可为图10的命名空间优化设置192的部分。
图11的配置将ANN模型命名空间183映射到至少一个存储媒体组件A 161。优选地，至少一个存储媒体组件A 161可与管控ANN数据的其它命名空间(例如185及187)的存储媒体组件(例如163)并行由控制器151使用。举例来说，存储媒体组件A 161可在与其它命名空间(例如185及187)的集成电路封装分离的集成电路封装中。替代地，存储媒体组件161到163形成于嵌入于相同集成电路封装中的单独集成电路裸片上。替代地，存储媒体组件161到163可形成于集成电路裸片的单独区域上，其中单独区域可基本上并行操作(例如用于读取、用于擦除及/或用于写入)。
在图11中，针对多半读取及少有更新的使用模式优化设置197。
图12说明根据一个实施例的用于到人工神经元的输入的命名空间185的配置。举例来说，图12的配置可经实施于图7及/或10中说明的数据存储装置101中。举例来说，图12的设置195可为图10的命名空间优化设置192的部分。
图12的配置将神经元输入命名空间185映射到至少一个存储媒体组件B 163。优选地，至少一个存储媒体组件B 163可与管控ANN数据的其它命名空间(例如183及187)的存储媒体组件(例如161)并行由控制器151使用。举例来说，存储媒体组件B 163可在与其它命名空间(例如183及187)的集成电路封装分离的集成电路封装中。替代地，存储媒体组件161到163形成于嵌入于相同集成电路封装中的单独集成电路裸片上。替代地，存储媒体组件161到163可形成于集成电路裸片的单独区域上，其中单独区域可基本上并行操作(例如用于读取、用于擦除及/或用于写入)。
在图12中，针对在记录以固定时间间隔取样的连续输入数据流时增强循环顺序重写的耐久性的使用模式优化设置197。
图13说明根据一个实施例的用于来自人工神经元的输出的命名空间187的配置。举例来说，图13的配置可经实施于图7及/或10中说明的数据存储装置101中。举例来说，图13的设置197可为图10的命名空间优化设置192的部分。
图13的配置将神经元输出命名空间187映射到至少一个存储媒体组件C 162。优选地，至少一个存储媒体组件C 162可与管控ANN数据的其它命名空间(例如183及185)的存储媒体组件(例如161及163)并行由控制器151使用。举例来说，存储媒体组件C 162可在与其它命名空间(例如183及185)的集成电路封装分离的集成电路封装中。替代地，存储媒体组件161到163形成于嵌入于相同集成电路封装中的单独集成电路裸片上。替代地，存储媒体组件161到163可形成于集成电路裸片的单独区域上，其中单独区域可基本上并行操作(例如用于读取、用于擦除及/或用于写入)。
在图13中，针对在随机存取中缓冲周期性重写的数据的使用模式优化设置197。举例来说，存储器单元经由优化设置193到197配置以在神经元输出命名空间187中以高于ANN模型命名空间183中但低于神经元输入命名空间185中的频率的频率更新/重写。
图14展示根据一个实施例的由模型分区支持的预测维修方法。举例来说，图14的方法可使用图7或10的数据存储装置101及/或图8的存储媒体组件160实施于图1或2的车辆111中。举例来说，图14的方法可结合图6及/或9的方法使用。
在框241，将数据存储装置101的非易失性存储器配置到多个分区(例如183、185、187、…)中。举例来说，非易失性存储器可具有用于存储数据的相同类型的存储器单元(例如NAND快闪存储器单元)；且不同分区(例如183到187)中的相同类型的存储器单元可经不同配置以根据存储于不同分区(例如183到187)中的数据的使用模式优化其性能。
在框243，数据存储装置101分别针对分区(例如183、185、187、…)存储与人工神经网络125相关的不同类型数据的几组不同存储器操作设置(例如193、195、197)，其中分区(例如183、185、187、…)包含经配置以存储人工神经网络125的模型数据的模型分区(例如193)。
在框245，数据存储装置101从经配置于车辆111上的至少一个传感器103接收传感器数据流(例如121)。
在框247，数据存储装置101的控制器151响应于传感器数据流(例如121)而根据存储器操作设置组(例如193、195、197)操作分区183、185、187、…中的存储器单元。
在框249，具有数据存储装置101的计算机系统131使用人工神经网络125基于传感器数据流(例如121)预测车辆111的维修服务。
举例来说，存储器操作设置配置模型分区(例如183)每存储器胞元存储三个或三个以上位。存储器操作设置可包含用以映射于ANN 125中的神经元与到神经元的输入之间的地址映射表191。当接收到人工神经网络125中的神经元的输入的第一地址时，可将与模型分区(例如183)分离的输入分区(例如185)中的第一地址转换成与神经元相关联的模型数据的至少一个第二地址，使得可从模型分区(例如183)检索神经元的属性及连接到神经元的神经元的身份而无需来自处理器133的明确命令。控制器151可响应于接收第一地址而使用至少一个第二地址从模型分区(例如183)自动检索与神经元相关联的模型数据。神经网络加速器159可从神经元的输入及与神经元相关联的模型数据产生神经元的输出。一般来说，神经元的输入可包含来自连接到ANN 125中的神经元的多个神经元的输出。控制器151可将神经元的输出保存于数据存储装置101中的缓冲器152中以促进由主机处理器133及/或神经网络加速器159加速存取输出。
通常，模型数据在预测维修服务的计算期间不改变。举例来说，模型数据可包含人工神经网络的神经元连通性数据及人工神经网络中的神经元的静态属性。存储器操作设置(例如192)可配置模型分区(例如183)基于模型数据的多半读取、少有更新的使用模式在非易失性存储器中每存储器胞元存储一个以上位。
举例来说，数据存储装置中的分区(例如183、185、187、…)可经实施作为其中定义逻辑地址的命名空间；且数据存储装置中的地址映射表191经配置以将命名空间183、185、187、…映射到单独存储媒体组件(例如161、163、162、…)。
模型命名空间183中的模型数据可在经由机器学习171或175训练期间或在从服务器119空中更新ANN 125期间更新。
在一些实施方案中，控制器151经由地址映射表191配置以响应于到寻址于与模型分区183分离的分区中的神经元的输入或来自所述神经元的输出而从模型分区检索与人工神经网络中的神经元相关联的模型数据。此外，控制器151可从模型分区183检索与神经元相关联的模型数据，同时将输入存储到与模型分区183分离的分区(例如185)中的神经元。
图15展示根据一个实施例的由输入分区支持的预测维修方法。举例来说，图15的方法可使用图7或10的数据存储装置101及/或图8的存储媒体组件160实施于图1或2的车辆111中。举例来说，图15的方法可结合图6、9及/或14的方法使用。
在框261，将数据存储装置101的非易失性存储器配置到多个分区(例如183、185、187、…)中。举例来说，非易失性存储器可具有实施于多个存储媒体组件(例如161到163)中的相同类型的存储器单元(例如NAND快闪存储器单元)。
在框263，数据存储装置101分别针对分区(例如183、185、187、…)存储与人工神经网络125相关的不同类型数据的几组不同存储器操作设置(例如193、195、197)，其中分区(例如183、185、187、…)包含经配置以循环存储人工神经网络125的输入数据的输入分区(例如185)。
举例来说，输入分区185可经配置以存储人工神经网络125的外部输入而非内部输入。存储于输入分区185中的输入数据独立于来自人工神经网络125中的神经元的输出。
举例来说，存储于输入分区185中的输入数据可包含传感器数据流(例如121)的一部分。在一些实施例中，针对人工神经网络125中的神经元子集从传感器数据流(例如121)计算存储于输入分区185中的输入数据。
举例来说，存储器操作设置(例如195)配置输入分区185在非易失性存储器中每NAND存储器胞元存储一个位以增强重复数据擦除及数据编程的耐久性。
举例来说，存储器操作设置(例如195)配置控制器将输入数据循序写入到输入分区185中及用接收于数据存储装置101中的最近输入数据重写输入分区185中的最旧输入数据。
在框265，数据存储装置101从经配置于车辆111上的至少一个传感器103接收传感器数据流(例如121)。
在框267，数据存储装置101的控制器151响应于传感器数据流(例如121)而根据存储器操作设置组(例如193、195、197)操作分区183、185、187、…中的存储器单元。
在框269，具有数据存储装置101的计算机系统131使用人工神经网络125基于传感器数据流(例如121)预测车辆111的维修服务。
图16展示根据一个实施例的由输入分区支持的预测维修方法。举例来说，图16的方法可使用图7或10的数据存储装置101及/或图8的存储媒体组件160实施于图1或2的车辆111中。举例来说，图16的方法可结合图6、9、14及/或15的方法使用。
在框281，将数据存储装置101的非易失性存储器配置到多个分区(例如183、185、187、…)中。非易失性存储器可具有用于存储数据的相同类型的存储器单元(例如NAND快闪存储器单元)。
在框283，数据存储装置101分别针对分区(例如183、185、187、…)存储与人工神经网络125相关的不同类型数据的几组不同存储器操作设置(例如193、195、197)，其中分区(例如183、185、187、…)包含经配置以存储人工神经网络125的输出数据的输出分区(例如187)。
举例来说，存储于输出分区(例如187)中的输出数据可包含人工神经网络125中的神经元的状态数据。举例来说，人工神经网络中的神经元的状态数据可识别脉冲神经网络中的脉冲的神经元的激活电平。激活电平可经由微分方程控制。因此，激活电平可响应于到人工神经网络125的输入及/或响应于经过的时间而改变。
举例来说，输出数据可包含由人工神经网络125响应于传感器数据流产生的预测或分类。
举例来说，存储器操作设置配置输出分区在非易失性存储器中每存储器胞元存储不超过两个位。
在框285，数据存储装置101从经配置于车辆111上的至少一个传感器103接收传感器数据流(例如121)。
在框287，数据存储装置101的控制器151响应于传感器数据流(例如121)而根据存储器操作设置组(例如193、195、197)操作分区183、185、187、…中的存储器单元。
在框289，具有数据存储装置101的计算机系统131使用人工神经网络125基于传感器数据流(例如121)预测车辆111的维修服务。
举例来说，数据存储装置101可包含缓冲器152。缓冲器152可经由易失性存储器(例如SRAM或DRAM)实施以使存取性能快于数据存储装置101的非易失性存储器(例如NAND快闪存储器)。存储器操作设置配置控制器151将输出数据存储于缓冲器152中以在将输出数据存储到输出分区187中期间或之后由处理器(例如133)经由主机接口157存取。
举例来说，数据存储装置101可包含耦合到控制器151的神经网络加速器159。神经网络加速器经配置以将提供到人工神经网络125中的神经元的输入应用于人工神经网络125的模型数据以由人工神经网络125中的一或多个输出神经元产生输出数据。响应于神经网络加速器159完成输出数据的计算，控制器经配置以向处理器(例如133)提供由人工神经网络125产生的输出数据的可用性的指示，使得处理器(例如133)可请求数据存储装置101传输输出数据。
任选地，控制器151经配置以将输出数据提供到处理器，同时将输出数据存储到输出分区中。举例来说，控制器151可经配置以在处理器(例如133)未在预定时间周期内或输出数据的下一版本可用之前请求将输出数据传输到处理器(例如133)时自动丢弃针对传感器数据流的先前片段计算的输出数据。任选地，在向处理器(例如133)报告输出数据的可用性之后，控制器151可经配置以基于处理器(例如133)对到处理器(例如133)的输出数据的响应来选择性丢弃针对传感器数据流的先前片段计算的输出数据。举例来说，在一些情况中，处理器(例如133)可请求将输出数据传输到处理器(例如133)而无需将输出数据保存到输出分区(例如187)中；且在其它情况中，处理器(例如133)可请求将输出数据传输到处理器(例如133)及将输出数据存储到输出分区(例如187)中。
任选地，来自人工神经网络125的输出数据也可以循环方式存储到输出分区中(例如，针对由处理器(例如133)选择的时间周期内的输出数据片段)。
举例来说，可在最后时间周期T1内将到人工神经网络125的外部输入连续记录于输入命名空间185中。当传感器数据以预定时间间隔T2取样时，输入命名空间185可保存最新T1/T2输入数据组。相比而言，可将来自人工神经网络125的外部输出选择性记录到输出命名空间187中(例如，每一预定时间周期T3一次，其中T3是T2的倍数)。可以较低频率将输出数据记录到输出命名空间187中；且输出命名空间187可经分配以存储预定数目组输出数据(例如，经由顺序写入及以循环方式写入以保存最后输出数据组)。
本文中揭示的至少一些实施例包含通信协议/接口，其允许数据存储装置在减少到主机处理器(例如中央处理单元(CPU))的数据业务的情况下即时执行神经网络加速。
举例来说，车辆111的主机处理器(例如133)可提供写入命令到数据存储装置101以将人工神经网络的模型存储于模型分区(例如183)中。因为神经网络加速器159经配置以应用模型，所以可减少或消除将ANN 125的模型的数据发送回到处理器的数据通信。
为了在分类及/或预测中使用ANN模型，车辆111的主机处理器(例如133)可使ANN125的输入数据串流到神经元输入分区(例如185)中。存储装置101的神经网络加速器159可根据地址映射表191将输入数据自动应用于存储于ANN模型分区(例如183)中的模型。数据存储装置101使计算得到的输出可用于在ANN125中传播。优选地，可通过缓冲器152使计算得到的输出可用于神经网络加速器159，而无需将中间输出存储到存储媒体组件(例如161到163)中。因此，可减少主机处理器(例如133)与数据存储装置101之间用于传输神经元的输出的数据通信。当输出已传播到ANN 125中的输出神经元时，数据存储装置101可提供对与将一组输入数据写入到神经元输入分区(例如185)中相关联的写入请求的响应。响应指示来自ANN 125中的神经元的外部输出可用。作为响应，车辆111的主机处理器(例如133)可任选地发布检索外部输出用于进一步处理的读取命令。
图17展示根据一个实施例的与用以实施神经网络计算的数据存储装置101的通信。举例来说，图17中说明的通信可用图7或10中说明的数据存储装置101实施于图1或2的车辆111中。
在图17中，处理器133可经配置具有用以执行神经网络计算的一组简化指令301，因为涉及ANN 125的部分计算由数据存储装置101内的神经网络加速器159执行。因此，无需在使用ANN 125来预测及/或分类期间将模型数据传输回到处理器133。
传感器103可基于用于取样数据的速率产生传感器数据121的连续流。可以固定预定时间间隔取样传感器数据121(例如，在车辆111的操作期间)。处理器133可执行将传感器数据121转换成用于ANN 125中的输入神经元的输入流303的指令301。ANN 125中的输入神经元经配置以接受到ANN 125的外部输入；且输出神经元经配置以从ANN125提供外部输出。
一般来说，ANN 125在某一时刻的一组完整输入包含ANN 125的整组输入神经元的输入。输入流303包含根据固定预定时间间隔彼此间隔开的一系列时刻内的一系列输入组。
数据存储装置101以循环方式将输入流303存储到神经元输入命名空间185中，其中擦除对应于当前存储于神经元输入命名空间185中的数据组的最旧时刻的数据取样的最旧输入组以存储输入流303中的最新输入组。
针对每一输入数据组，神经网络加速器159应用存储于ANN模型命名空间183中的ANN 125的模型。神经网络加速器159(或处理器133)可控制信号在神经网络内的传播。当ANN 125的输出神经元响应于输入数据组而产生其输出时，数据存储装置101可向处理器133提供神经元输出准备好供检索的指示。指示可响应于来自处理器133的将输入数据组写入到神经元输入命名空间185中的请求来配置。处理器133可任选地检索输出数据305(例如，根据编程于指令中的条件及/或准则)。
在一些实施例中，触发参数经配置于数据存储装置101中。当外部输出317中的输出参数满足由触发参数指定的要求时，数据存储装置提供对来自处理器133的将输入数据组写入到神经元输入命名空间185中的请求的响应。
图18展示根据一个实施例的用以实施神经网络计算的数据存储装置内的通信。举例来说，图18的通信可结合图17的通信实施于图7及/或10中说明的数据存储装置101中。
在图18中，模型命名空间183存储整个ANN 125的模型313。响应于从缓冲器152中的输入流303接收某一时刻内的一组外部输入315，数据存储装置101可将外部输入315写入到输入命名空间185中，同时检索含有对应于输入神经元的参数及/或连接到输入神经元的神经元的身份的ANN模型313的一部分的神经元模型312。缓冲器152允许神经网络加速器159组合神经元模型312及外部输入325以产生输入神经元的输出327。
一般来说，神经元输出327可包含是用于在ANN 125内进一步传播的内部输出316的一部分及/或是处理器133的外部输出317的一部分。
内部输出316作为内部输入316存储于缓冲器152中以类似于从外部输入315产生神经元输出327的方式在ANN 125中进一步传播。举例来说，内部输入316的一部分可致使控制器151及/或神经网络加速器159检索与内部输入相关的对应神经元模型312，使得内部输入在神经网络加速器159中应用于对应神经元模型312以产生其神经元输出327。
当整组外部数据317可用于缓冲器152中时，外部输出317可经存储于输出命名空间187中。
任选地，存储装置101不存储对应于在某一时刻取样的一组经存储外部输入315的每一组外部输出317。举例来说，存储装置101可经配置以存储每预定数目个外部输入(例如315)组的一组外部输出317。替代地或组合地，处理器133可确定是否存储外部输出317。举例来说，存储装置101可经配置以响应于处理器133检索外部输出317用于进一步处理而存储外部输出317。举例来说，存储装置101可经配置以在处理器133中处理外部输出317之后响应于来自处理器133的写入命令而存储外部输出317。
图19展示根据一个实施例的与用以实施神经网络计算的数据存储装置通信的方法。举例来说，图19的方法可使用图7或10的数据存储装置101及/或图8的存储媒体组件160实施于图1或2的车辆111中。举例来说，图19的方法可结合图6、9、14、15及/或16的方法使用。
在框341，车辆111的一或多个处理器133将人工神经网络(例如125)的模型数据(例如313)存储到数据存储装置101中。
在框343，车辆111的一或多个处理器133从经配置于车辆111上的至少一个传感器103接收一组传感器数据。
在框345，车辆111的一或多个处理器133基于传感器数据产生一组输入到人工神经网络(例如125)。
在框347，车辆111的一或多个处理器133将输入组提供到数据存储装置101。响应于输入组，数据存储装置101经配置以使用人工神经网络(例如125)的模型数据313产生一组输出。
在框349，车辆111的一或多个处理器133从数据存储装置101检索输出组。
举例来说，数据存储装置101使用存储于数据存储装置中的模型数据183的至少一部分产生输出组，而无需在接收输入组与完成输出组的计算之间将模型数据183的部分传输到一或多个处理器133。
举例来说，模型数据183的部分可包含人工神经网络(例如125)中的神经元的静态属性及/或人工神经网络(例如125)的神经元连通性数据。
举例来说，为了将输入组提供到数据存储装置101，车辆111的一或多个处理器133可将一或多个写入命令传输到数据存储装置101。一或多个写入命令经配置以指示数据存储装置101将输入组存储于数据存储装置101中。在数据存储装置101中完成输出组的计算之后，数据存储装置101的控制器151可将对一或多个写入命令的响应传输到一或多个处理器133。响应可包含输出组可用于由一或多个处理器133检索的指示。
响应于指示，一或多个处理器133可通过针对输出组将读取命令传输到数据存储装置101来从数据存储装置101任选地检索输出组(例如，在确定要从数据存储装置101检索输出组用于处理之后)。
替代地或组合地，车辆111的一或多个处理器133可确定是否将输出组存储于数据存储装置的非易失性存储器中。响应于确定要将输出组存储于数据存储装置101的非易失性存储器中，车辆111的一或多个处理器133可将写入命令传输到数据存储装置101。
因为输出组最初产生于数据存储装置101中且接着缓冲于缓冲器152(例如易失性存储器)中，所以数据存储装置101可执行将输出组存储到输出命名空间187中的写入命令，而无需响应于写入命令将输出组传输到一或多个处理器133及/或从一或多个处理器133接收输出组。
举例来说，在从经配置于车辆111上的至少一个传感器103接收另一组传感器数据121之后，车辆111的一或多个处理器133基于另一组传感器数据产生另一组输入到人工神经网络125。
一或多个处理器133传输将另一组输入写入到数据存储装置101中的另一命令；且数据存储装置101使用人工神经网络125的模型数据183及另一组输入产生另一组输出。在接收对写入另一组输入的另一命令的响应之后，一或多个处理器133可决定跳过另一组输出的处理且将存储另一组输出的后续写入命令传输到数据存储装置101。作为响应，数据存储装置101可将经缓冲于数据存储装置101内的另一组输出写入到输出命名空间187中，而无需将另一组输出从车辆111的一或多个处理器133传输到数据存储装置101及/或无需将另一组输出从数据存储装置101传输到车辆111的一或多个处理器133。
上文论述的神经网络技术可用于基于控制器区域网络(CAN)总线的监测改进车辆的安全性。
控制器区域网络(CAN)总线是多主串行总线，其实施微控制器及装置彼此通信的标准化协议，而无需依赖主机来促进微控制器与装置之间的通信。
人工神经网络可经配置以监测车辆的控制器区域网络(CAN)总线上的通信以检测可指示黑客活动在发生的异常通信模式。当经由控制区域网络(CAN)总线的监测检测到黑客活动时，车辆可升级安全措施、减弱或关闭远程存取能力及/或需要在车辆中使用物理控制来操作车辆。
图20展示根据一个实施例的用以基于监测控制器区域网络总线来控制车辆的系统。举例来说，图20的系统可用图7或10的数据存储装置101实施于图1或2中说明的车辆111中。
在图20中，系统包含总线业务监测器353，其经配置以监测使车辆111的计算机系统131及/或车辆111的其它电子控制单元(ECU)(例如引擎控制单元359、转向控制单元358等)互连的控制器区域网络(CAN)总线351上的通信业务。
总线业务监测器353可为与车辆111的计算机系统131及/或车辆111的电子控制单元(ECU)(例如358、…、359)分离的装置。总线业务监测器353具有经配置以监测总线351上的通信业务的控制器区域网络(CAN)收发器。
替代地，总线业务监测器353可使用车辆111的计算机系统131的控制器区域网络(CAN)收发器或使用车辆111的电子控制单元(ECU)(例如358、…、359)中的一者的控制器区域网络(CAN)收发器实施。
基于在其CAN收发器中检测到的CAN总线351上的通信，总线业务监测器353计算人工神经网络(ANN)125的输入。输入可指示通信的大小及频率及通信的发送者及接收者。
ANN 125经配置以辨识CAN总线351上的正常通信模式。
举例来说，当车辆111在无远程装置能够远程存取的通信连接的情况下操作时，可认为车辆111操作于正常条件下(例如，未经由远程存取被侵入)。当车辆111操作于此条件下时，来自总线业务监测器353的输入可用于训练ANN 125针对车辆的例行使用辨识CAN总线351上的正常通信模式。
随后，当车辆111允许经由通信连接远程存取时，ANN 125可确定CAN总线351上的通信是否从正常模式偏离。当发生从正常模式偏离时，ANN 125产生CAN总线351上的通信的异常分类357。异常分类357经配置以致使车辆111采取安全措施来提高车辆111的安全性。
举例来说，可经由与CAN总线351分离的连接将异常分类357从ANN 125提供到车辆111的计算机系统131。替代地，可经由CAN总线351将异常分类357传输到车辆111的计算机系统131。
响应于异常分类357，计算机系统131可停用对车辆111的远程存取以防止从远程位置侵入。
任选地，作为对异常分类357的响应，计算机系统131可降低由高级驾驶辅助系统(ADAS)105执行车辆111驾驶的自主等级。
举例来说，车辆111可请求车辆111中的乘员接管车辆111的控制且使转向控制141、制动控制143、加速控制145的操作受限于由经配置于车辆111上的物理输入装置产生的信号。
任选地，ANN 125经配置于数据存储装置101(例如，如图17中说明)中。当从CAN总线351上的通信的监测产生的输入数据经接收于数据存储装置101中时，数据存储装置101的神经网络加速器159经配置以使用存储于数据存储装置101中的ANN模型(例如313)计算分类，而无需将ANN模型(例如313)传输到数据存储装置101外部。
任选地，数据存储装置101将导致异常分类357的输入数据的副本自动存储到ANN125。与异常相关联的输入数据及/或通信随后可提供到服务器119及/或维修服务设施127以识别异常的来源或原因。
任选地，总线业务监测器353可与具有ANN 125的数据存储装置101集成以形成连接到CAN总线351的模块。模块经由有线或无线连接或经由CAN总线351将其异常分类357传递到计算机系统131。替代地，车辆111的计算机系统131的数据存储装置101的一部分用于处理来自总线业务监测器353的输入，总线业务监测器353可具有专用CAN接收器或与计算机系统131共享CAN接收器。
图21展示根据一个实施例的基于控制器区域网络总线的监测的车辆控制方法。举例来说，图21的方法可使用图7或10的数据存储装置101及/或图8的存储媒体组件160实施于图1或2的车辆111中。举例来说，图21的方法可结合图6、9、14、15、16及/或19的方法使用。
在框361，连接到车辆111的多主串行总线(例如351)的收发器监测连接到车辆111上的总线(例如351)的多个电子控制单元(例如358、…、359)之间的通信业务。
在框363，总线业务监测器(例如353)基于通信业务的监测(例如361)产生输入到人工神经元。
举例来说，输入经配置以指示总线上的通信业务的大小、频率、来源或目的地、或其任何组合。
在框365，总线业务监测器(例如353)将输入提供到人工神经网络125。
在框367，人工神经网络(例如125)基于输入产生总线351上的通信业务的异常分类(例如357)。
在框369，车辆111响应于总线上的通信业务的异常分类357应用安全措施。
举例来说，在其中预先确定总线上的通信业务是正常的时间周期期间，由总线业务监测器353产生的输入可用于训练人工神经网络125辨识总线351上的通信业务的正常模式。举例来说，人工神经网络125可包含脉冲神经网络；且无监督机器学习技术可用于训练脉冲神经网络。
举例来说，可基于在某时间周期期间停用对车辆的远程存取来选择预先确定总线是正常的时间周期。停用远程存取可防止从远程位置侵入车辆。响应于异常分类357，车辆111可通过至少停用对车辆111的远程存取来应用安全措施。
任选地，车辆111包含高级驾驶辅助系统105；且安全措施可包含降低由高级驾驶辅助系统105执行的自主驾驶等级。
任选地，安全措施可包含将车辆111的控制从高级驾驶辅助系统105转移到车辆111中的乘员。
举例来说，车辆111可包含经配置以从车辆的乘员接收物理交互的控制元件；且安全措施可包含需要从控制元件(例如方向盘、制动踏板、加速踏板)引发用于操作车辆111的驾驶的控制信号。
举例来说，数据存储装置101可经配置以存储人工神经网络125的模型数据313且经配置以响应于来自总线业务监测器353的输入产生异常分类357。
在一些实施方案中，总线业务监测器353经配置以具有收发器且经配置以产生人工神经网络125的输入；且总线业务监测器353及数据存储装置101可经配置为耦合到总线351的模块。响应于异常分类357，耦合到总线351的计算机系统131可经配置以应用安全措施。举例来说，模块可经配置以经由总线351或经由与总线351分离的有线或无线连接将异常分类357传递到计算机系统。
服务器119、计算机系统131及/或数据存储装置101可各自实施为一或多个数据处理系统。
本发明包含执行上述方法的方法及设备，其包含执行这些方法的数据处理系统及含有指令的计算机可读媒体，指令在执行于数据处理系统上时致使系统执行这些方法。
典型数据处理系统可包含使微处理器及存储器互连的互连件(例如总线及系统核心逻辑)。微处理器通常耦合到高速缓存存储器。
互连件使微处理器及存储器互连在一起且还使其等经由I/O控制器互连到输入/输出(I/O)装置。I/O装置可包含显示器装置及/或外围装置，例如鼠标、键盘、调制解调器、网络接口、打印机、扫描仪、摄像机及所属领域中已知的其它装置。在一个实施例中，当数据处理系统是服务器系统时，部分I/O装置(例如打印机、扫描仪、鼠标及/或键盘)是任选的。
互连件可包含通过各种桥接器、控制器及/或适配器彼此连接的一或多个总线。在一个实施例中，I/O控制器包含用于控制USB外围设备的USB(通用串行总线)适配器及/或用于控制IEEE-1394外围设备的IEEE-1394总线适配器。
存储器可包含以下中的一或多者：ROM(只读存储器)、易失性RAM(随机存取存储器)及非易失性存储器，例如硬盘、快闪存储器等。
易失性RAM通常经实施为动态RAM(DRAM)，其需要持续电力来刷新或维持存储器中的数据。非易失性存储器通常是磁性硬盘、磁性光驱、光驱(例如DVD RAM)或甚至在从系统移除电源之后维持数据的其它类型的存储器系统。非易失性存储器也可为随机存取存储器。
非易失性存储器可为直接耦合到数据处理系统中的剩余组件的本地装置。也可使用远离系统的非易失性存储器，例如通过网络接口(例如调制解调器或以太网接口)耦合到数据处理系统的网络存储装置。
在本发明中，将一些功能及操作描述为由软件代码执行或所致以简化描述。然而，此类表达也用于指定功能是由处理器(例如微处理器)执行代码/指令所致。
替代地或组合地，本文中描述的功能及操作可在使用或不使用软件指令的情况下使用专用电路系统实施，例如使用专用集成电路(ASIC)或场可编程门阵列(FPGA)。实施例可在不使用软件指令的情况下或结合软件指令使用硬接线电路系统实施。因此，技术既不受限于硬件电路系统与软件的任何特定组合，也不受限于由数据处理系统执行的指令的任何特定来源。
虽然一个实施例可经实施于全功能计算机及计算机系统中，但各种实施例能够经分布作为呈各种形式的计算产品且能够被应用，不论用于实际引起分布的特定类型的机器或计算机可读媒体为何。
所揭示的至少一些方面可至少部分体现于软件中。也就是说，技术可响应于其处理器(例如微处理器)执行存储器(例如ROM、易失性RAM、非易失性存储器、高速缓存存储器或远程存储装置)中所含的指令序列而实施于计算机系统或其它数据处理系统中。
经执行以实施实施例的例程可经实施作为操作系统或特定应用程序、组件、程序、对象、模块或指令序列的部分，称为“计算机程序”。计算机程序通常包含计算机中的各种存储器及存储装置中的各个时间设置的一或多个指令，且在由计算机中的一或多个处理器读取及执行时致使计算机执行执行涉及各个方面的元素所需的操作。
机器可读媒体可用于存储在由数据处理系统执行时致使系统执行各种方法的软件及数据。可执行软件及数据可经存储于各个地方，包含例如ROM、易失性RAM、非易失性存储器及/或高速缓存存储器。此软件及/或数据的部分可经存储于这些存储装置中的任一者中。此外，可从集中式服务器或对等网络获得数据及指令。可在不同时间及在不同通信会话或相同通信会话中从不同集中式服务器及/或对等网络获得数据及指令的不同部分。可在执行应用程序之前完全获得数据及指令。替代地，可仅在需要执行时动态获得数据及指令的部分。因此，无需数据及指令在特定时刻完全在机器可读媒体上。
计算机可读媒体的实例包含(但不限于)非暂时性、可记录及不可记录型媒体，例如易失性及非易失性存储器装置、只读存储器(ROM)、随机存取存储器(RAM)、快闪存储器装置、软盘及其它可移动磁盘、磁盘存储媒体、光盘存储媒体(例如光盘只读存储器(CD ROM)、数字多功能磁盘(DVD)等)等。计算机可读媒体可存储指令。
指令也可体现于用于电、光、声或其它形式的传播信号(例如载波、红外信号、数字信号等)的数字及模拟通信链路中。然而，传播信号(例如载波、红外信号、数字信号等)不是有形机器可读媒体且无法经配置用于存储指令。
一般来说，机器可读媒体包含以可由机器(例如计算机、网络装置、个人数字助理、制造工具、具有一组一或多个处理器的任何装置等)存取的形式提供(即，存储及/或传输)信息的任何机构。
在各种实施例中，硬接线电路系统可结合软件指令用于实施技术。因此，技术既不受限于硬件电路系统与软件的任何特定组合，也不受限于由数据处理系统执行的指令的任何特定来源。
以上描述及图式是说明性的且不应被理解为限制。描述众多特定细节以提供详尽理解。然而，在特定例子中，未描述众所周知或常规细节以免模糊描述。在本发明中参考一个或一实施例未必是参考相同实施例；且此类参考意味着至少一个。
在上述说明中，已参考本发明的特定示范性实施例描述本发明。显而易见，可在不背离以下权利要求书中所陈述的更广精神及范围的情况下对本发明做出各种修改。说明书及图式应相应地被视为意在说明而非限制。

Claims (20)

1.一种车辆，其包括：
多主串行总线；
多个电子控制单元，其连接到所述总线且经配置以通过所述总线彼此通信；
收发器，其连接到所述总线且经配置以监测所述总线上产生输入的通信业务；及
人工神经网络，其经配置以基于所述输入产生所述总线上的所述通信业务的异常分类；
其中所述车辆经配置以响应于所述总线上的所述通信业务的所述异常分类应用安全措施。
2.根据权利要求1所述的车辆，其中所述总线包含控制器区域网络CAN总线；且所述收发器包含控制器区域网络CAN收发器。
3.根据权利要求2所述的车辆，其中所述安全措施包含停用对所述车辆的远程存取。
4.根据权利要求3所述的车辆，其进一步包括：
高级驾驶辅助系统；
其中所述安全措施包含降低由所述高级驾驶辅助系统驾驶所述车辆的自主等级。
5.根据权利要求3所述的车辆，其中所述安全措施包含将所述车辆的控制转移到所述车辆中的乘员。
6.根据权利要求3所述的车辆，其进一步包括：
控制元件，其经配置以从所述车辆的乘员接收物理交互；
其中所述安全措施包含需要从所述控制元件引发控制信号。
7.根据权利要求6所述的车辆，其中所述控制元件经配置以使乘员控制转向、加速或制动或其任何组合。
8.根据权利要求7所述的车辆，其进一步包括：
数据存储装置，其经配置以存储所述人工神经网络的模型数据且经配置以响应于所述输入产生所述异常分类。
9.根据权利要求8所述的车辆，其进一步包括：
总线业务监测器，其具有所述收发器且经配置以产生所述输入。
10.根据权利要求9所述的车辆，其中所述总线业务监测器及所述数据存储装置经配置为耦合到所述总线的模块。
11.根据权利要求10所述的车辆，其进一步包括：
计算机系统，其耦合到所述总线且经配置以响应于所述总线上的所述通信业务的所述异常分类应用所述安全措施。
12.根据权利要求11所述的车辆，其中所述模块经配置以经由所述总线将所述异常分类传递到所述计算机系统。
13.根据权利要求11所述的车辆，其中所述模块经配置以经由与所述总线分离的有线或无线连接将所述异常分类传递到所述计算机系统。
14.一种方法，其包括：
由连接到车辆的多主串行总线的收发器监测连接到所述车辆上的所述总线的多个电子控制单元之间的通信业务；
基于所述通信业务的所述监测产生输入到人工神经元；
将所述输入提供到人工神经网络；
由所述人工神经网络且基于所述输入产生所述总线上的所述通信业务的异常分类；及
由所述车辆响应于所述总线上的所述通信业务的所述异常分类应用安全措施。
15.根据权利要求14所述的方法，其进一步包括：
在所述车辆中训练所述人工神经网络使用到所述人工神经网络的输入辨识所述总线上的通信业务的模式，所述输入在其中预先确定所述总线上的通信业务是正常的时间周期期间产生。
16.根据权利要求15所述的方法，其中所述人工神经网络包含脉冲神经网络。
17.根据权利要求16所述的方法，其中所述时间周期是基于在所述时间周期期间停用对所述车辆的远程存取来选择。
18.根据权利要求17所述的方法，其中所述安全措施的所述应用包含停用对所述车辆的远程存取。
19.一种设备，其包括：
收发器，其经配置以连接到车辆的多主串行总线且经配置以监测所述车辆中连接到所述总线的电子控制单元之间的通信业务；及
数据存储装置，其经配置以存储人工神经网络的模型数据，其中响应于基于所述总线上的所述电子控制单元之间的所述通信业务产生的到所述人工神经网络的输入，所述数据存储装置经配置以根据所述通信业务是否异常来分类；
其中所述设备经配置以将致使所述车辆在所述通信业务异常时应用安全措施的异常分类传递到所述车辆的计算机系统。
20.根据权利要求19所述的设备，其中所述输入指示所述总线上的所述通信业务的大小、频率、来源或目的地、或其任何组合。
CN202010848085.4A 2019-08-21 2020-08-21 监测用于车辆控制的控制器区域网络总线 Pending CN112415978A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/547,149 US20210053574A1 (en) 2019-08-21 2019-08-21 Monitoring controller area network bus for vehicle control
US16/547,149 2019-08-21

Publications (1)

Publication Number Publication Date
CN112415978A true CN112415978A (zh) 2021-02-26

Family

ID=74646629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010848085.4A Pending CN112415978A (zh) 2019-08-21 2020-08-21 监测用于车辆控制的控制器区域网络总线

Country Status (2)

Country Link
US (1) US20210053574A1 (zh)
CN (1) CN112415978A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077017A (zh) * 2021-05-24 2021-07-06 河南大学 基于脉冲神经网络的合成孔径图像分类方法

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11551028B2 (en) 2017-04-04 2023-01-10 Hailo Technologies Ltd. Structured weight based sparsity in an artificial neural network
US10387298B2 (en) 2017-04-04 2019-08-20 Hailo Technologies Ltd Artificial neural network incorporating emphasis and focus techniques
US11238334B2 (en) 2017-04-04 2022-02-01 Hailo Technologies Ltd. System and method of input alignment for efficient vector operations in an artificial neural network
US11615297B2 (en) 2017-04-04 2023-03-28 Hailo Technologies Ltd. Structured weight based sparsity in an artificial neural network compiler
US11544545B2 (en) 2017-04-04 2023-01-03 Hailo Technologies Ltd. Structured activation based sparsity in an artificial neural network
US11586194B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network models of automotive predictive maintenance
US11853863B2 (en) 2019-08-12 2023-12-26 Micron Technology, Inc. Predictive maintenance of automotive tires
US11586943B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network inputs in automotive predictive maintenance
US12061971B2 (en) 2019-08-12 2024-08-13 Micron Technology, Inc. Predictive maintenance of automotive engines
US11748626B2 (en) 2019-08-12 2023-09-05 Micron Technology, Inc. Storage devices with neural network accelerators for automotive predictive maintenance
US11635893B2 (en) 2019-08-12 2023-04-25 Micron Technology, Inc. Communications between processors and storage devices in automotive predictive maintenance implemented via artificial neural networks
US11775816B2 (en) 2019-08-12 2023-10-03 Micron Technology, Inc. Storage and access of neural network outputs in automotive predictive maintenance
US11498388B2 (en) 2019-08-21 2022-11-15 Micron Technology, Inc. Intelligent climate control in vehicles
US11702086B2 (en) 2019-08-21 2023-07-18 Micron Technology, Inc. Intelligent recording of errant vehicle behaviors
US11361552B2 (en) 2019-08-21 2022-06-14 Micron Technology, Inc. Security operations of parked vehicles
US11435946B2 (en) 2019-09-05 2022-09-06 Micron Technology, Inc. Intelligent wear leveling with reduced write-amplification for data storage devices configured on autonomous vehicles
US11693562B2 (en) 2019-09-05 2023-07-04 Micron Technology, Inc. Bandwidth optimization for different types of operations scheduled in a data storage device
US11650746B2 (en) 2019-09-05 2023-05-16 Micron Technology, Inc. Intelligent write-amplification reduction for data storage devices configured on autonomous vehicles
US11409654B2 (en) 2019-09-05 2022-08-09 Micron Technology, Inc. Intelligent optimization of caching operations in a data storage device
US11436076B2 (en) 2019-09-05 2022-09-06 Micron Technology, Inc. Predictive management of failing portions in a data storage device
US11716338B2 (en) * 2019-11-26 2023-08-01 Tweenznet Ltd. System and method for determining a file-access pattern and detecting ransomware attacks in at least one computer network
US11250648B2 (en) 2019-12-18 2022-02-15 Micron Technology, Inc. Predictive maintenance of automotive transmission
US11709625B2 (en) 2020-02-14 2023-07-25 Micron Technology, Inc. Optimization of power usage of data storage devices
US11531339B2 (en) 2020-02-14 2022-12-20 Micron Technology, Inc. Monitoring of drive by wire sensors in vehicles
US11704945B2 (en) * 2020-08-31 2023-07-18 Nissan North America, Inc. System and method for predicting vehicle component failure and providing a customized alert to the driver
US11811421B2 (en) 2020-09-29 2023-11-07 Hailo Technologies Ltd. Weights safety mechanism in an artificial neural network processor
US11237894B1 (en) 2020-09-29 2022-02-01 Hailo Technologies Ltd. Layer control unit instruction addressing safety mechanism in an artificial neural network processor
US11221929B1 (en) * 2020-09-29 2022-01-11 Hailo Technologies Ltd. Data stream fault detection mechanism in an artificial neural network processor
US11263077B1 (en) 2020-09-29 2022-03-01 Hailo Technologies Ltd. Neural network intermediate results safety mechanism in an artificial neural network processor
US11874900B2 (en) 2020-09-29 2024-01-16 Hailo Technologies Ltd. Cluster interlayer safety mechanism in an artificial neural network processor
CN113263993B (zh) * 2021-05-17 2023-08-15 深圳市元征科技股份有限公司 故障预警方法、装置、通信设备及存储介质
CN113428167B (zh) * 2021-08-25 2021-11-26 长沙德壹科技有限公司 一种ecu异常识别方法
DE102021129085B3 (de) * 2021-11-09 2023-02-02 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Erzeugung eines Modells zur automatisierten Vorhersage von Interaktionen eines Benutzers mit einer Benutzerschnittstelle eines Kraftfahrzeugs, außerdem Datenverarbeitungseinheit für ein Kraftfahrzeug und Kraftfahrzeug

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070200671A1 (en) * 2006-02-28 2007-08-30 Kelley Nia L Methods and apparatuses for remote control of vehicle devices and vehicle lock-out notification
CN106992912A (zh) * 2015-10-30 2017-07-28 法拉第未来公司 用于安全关键系统的控制器局域网络只听配置
US20180186376A1 (en) * 2016-12-29 2018-07-05 Automotive Research & Testing Center Interactive autonomous safe driving system and deciding method thereof
WO2018121879A1 (en) * 2016-12-30 2018-07-05 U-Blox Ag Gnss receiver protection levels
CN108881364A (zh) * 2017-05-08 2018-11-23 李尔公司 车辆通信网络
CN109286614A (zh) * 2018-01-05 2019-01-29 南京知行新能源汽车技术开发有限公司 用于加强机动车辆中的网络安全的方法、设备及存储介质
CN109421630A (zh) * 2017-08-28 2019-03-05 通用汽车环球科技运作有限责任公司 用于监测自主车辆的健康的控制器架构

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007503034A (ja) * 2003-08-19 2007-02-15 フロインホーファー−ゲゼルシャフト ツール フェルデルング デア アンゲヴァンテン フォルシュング イー ファウ データストリーム中の異常オブジェクトを自動的にオンラインで検出及びクラス分類するための方法及び装置
US20190362725A1 (en) * 2005-08-17 2019-11-28 Tamiras Per Pte. Ltd., Llc Providing access with a portable device and voice commands
EP2396761A4 (en) * 2008-11-14 2013-09-25 Thinkeco Power Inc SYSTEM AND METHOD FOR DEMOCRATIZING POWER TO PRODUCE A META EXCHANGE
US9015093B1 (en) * 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9971037B2 (en) * 2013-10-29 2018-05-15 Northrop Grumman Systems Corporation Anomaly detection using an antenna baseline constraint
WO2016088304A1 (ja) * 2014-12-01 2016-06-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 不正検知電子制御ユニット、車載ネットワークシステム及び不正検知方法
KR101714520B1 (ko) * 2015-10-30 2017-03-09 현대자동차주식회사 차량 내 네트워크 공격 탐지 방법 및 장치
JP6423402B2 (ja) * 2015-12-16 2018-11-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ セキュリティ処理方法及びサーバ
US20170278330A1 (en) * 2016-03-22 2017-09-28 Ford Global Technologies, Llc Method and apparatus for wireless vehicular access device authentication
CN109661801B (zh) * 2016-06-06 2022-05-03 英特托拉斯技术公司 异常检测系统和方法
JP6846991B2 (ja) * 2016-07-05 2021-03-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 異常検知電子制御ユニット、車載ネットワークシステム及び異常検知方法
IT201600081122A1 (it) * 2016-08-02 2018-02-02 Octo Telematics Spa Metodo di rilevamento e validazione di sollecitazioni anomale di un veicolo di trasporto registrate da un dispositivo di bordo atto ad acquisire dati relativi a parametri di moto e/o di guida di un veicolo di trasporto
CN108401491B (zh) * 2016-12-06 2021-08-10 松下电器（美国）知识产权公司 信息处理方法、信息处理系统以及程序
EP3602517A1 (en) * 2017-03-31 2020-02-05 Airprox USA, Inc. Virtual radar apparatus and method
US10819724B2 (en) * 2017-04-03 2020-10-27 Royal Bank Of Canada Systems and methods for cyberbot network detection
US20180300477A1 (en) * 2017-04-13 2018-10-18 Argus Cyber Security Ltd. In-vehicle cyber protection
US10762201B2 (en) * 2017-04-20 2020-09-01 Level Effect LLC Apparatus and method for conducting endpoint-network-monitoring
US11048218B2 (en) * 2017-05-10 2021-06-29 Katerra, Inc. Method and apparatus for controlling devices in a real property monitoring and control system
US10728265B2 (en) * 2017-06-15 2020-07-28 Bae Systems Information And Electronic Systems Integration Inc. Cyber warning receiver
US10124764B1 (en) * 2017-09-29 2018-11-13 Intel Corporation Intrusion detection system based on 2-point profiling of signal characteristics
EP4106298B1 (en) * 2018-01-22 2023-11-29 Panasonic Intellectual Property Corporation of America Vehicle anomaly detection server, vehicle anomaly detection system, and vehicle anomaly detection method
US11934520B2 (en) * 2018-03-28 2024-03-19 Nvidia Corporation Detecting data anomalies on a data interface using machine learning
JP7178408B2 (ja) * 2018-05-23 2022-11-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 異常検出装置、異常検出システム及び制御方法
US11700270B2 (en) * 2019-02-19 2023-07-11 The Aerospace Corporation Systems and methods for detecting a communication anomaly
WO2020178811A1 (en) * 2019-03-04 2020-09-10 Saferide Technologies Ltd A system and method for labeling bits of controller area network (can) messages
EP4111340A4 (en) * 2020-02-28 2024-03-27 Jubilant Pharma Holdings Inc. RADIOPHARMACEUTICAL PERFUSION SYSTEM

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070200671A1 (en) * 2006-02-28 2007-08-30 Kelley Nia L Methods and apparatuses for remote control of vehicle devices and vehicle lock-out notification
CN106992912A (zh) * 2015-10-30 2017-07-28 法拉第未来公司 用于安全关键系统的控制器局域网络只听配置
US20180186376A1 (en) * 2016-12-29 2018-07-05 Automotive Research & Testing Center Interactive autonomous safe driving system and deciding method thereof
WO2018121879A1 (en) * 2016-12-30 2018-07-05 U-Blox Ag Gnss receiver protection levels
CN108881364A (zh) * 2017-05-08 2018-11-23 李尔公司 车辆通信网络
CN109421630A (zh) * 2017-08-28 2019-03-05 通用汽车环球科技运作有限责任公司 用于监测自主车辆的健康的控制器架构
CN109286614A (zh) * 2018-01-05 2019-01-29 南京知行新能源汽车技术开发有限公司 用于加强机动车辆中的网络安全的方法、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077017A (zh) * 2021-05-24 2021-07-06 河南大学 基于脉冲神经网络的合成孔径图像分类方法

Also Published As

Publication number Publication date
US20210053574A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
US11409654B2 (en) Intelligent optimization of caching operations in a data storage device
US11586194B2 (en) Storage and access of neural network models of automotive predictive maintenance
CN112415978A (zh) 监测用于车辆控制的控制器区域网络总线
US11635893B2 (en) Communications between processors and storage devices in automotive predictive maintenance implemented via artificial neural networks
US11853863B2 (en) Predictive maintenance of automotive tires
US12061971B2 (en) Predictive maintenance of automotive engines
US11436076B2 (en) Predictive management of failing portions in a data storage device
CN112406894B (zh) 错误车辆行为的智能记录
US11586943B2 (en) Storage and access of neural network inputs in automotive predictive maintenance
US11693562B2 (en) Bandwidth optimization for different types of operations scheduled in a data storage device
US11498388B2 (en) Intelligent climate control in vehicles
US11650746B2 (en) Intelligent write-amplification reduction for data storage devices configured on autonomous vehicles
US10993647B2 (en) Drowsiness detection for vehicle control
US11775816B2 (en) Storage and access of neural network outputs in automotive predictive maintenance
US20210049480A1 (en) Predictive maintenance of automotive battery
US20210049833A1 (en) Predictive maintenance of automotive powertrain
US20210049834A1 (en) Predictive maintenance of automotive lighting
US20210072921A1 (en) Intelligent Wear Leveling with Reduced Write-Amplification for Data Storage Devices Configured on Autonomous Vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination