CN112406881A - 用于车辆控制的疲劳驾驶检测 - Google Patents

Abstract

本发明提供用于车辆控制的疲劳驾驶检测的系统、方法和设备。举例来说，一种车辆包含：相机，其被配置成面向所述车辆的驾驶者并且产生驾驶所述车辆的所述驾驶者的图像序列；人工神经网络，其被配置成分析所述图像序列并且基于所述图像序列，对所述驾驶者是否处于疲劳状态进行分类；和信息娱乐系统，其被配置成响应于所述人工神经网络对所述驾驶者处于所述疲劳状态的分类而将指令提供给所述驾驶者。

Description

用于车辆控制的疲劳驾驶检测

技术领域

本文中所公开的至少一些实施例一般来说涉及车辆，并且更具体地说，但不限于，涉及对车辆驾驶者疲劳驾驶的检测。

背景技术

自主驾驶技术领域的最新发展允许计算系统至少在一些条件下操作机动车辆的控制元件而无需车辆的人类操作者的辅助。

举例来说，传感器(例如，相机和雷达)可安装在机动车辆上以检测在车行道上行驶的车辆的周围环境。在具有或不具有来自车辆的人类操作者的任何输入的情况下，安装在车辆上的计算系统分析传感器输入以识别条件并且产生用于车辆的方向和/或速度的自主调整的控制信号或命令。

在一些布置中，当计算系统辨识到其中计算系统可能无法继续以安全方式操作车辆的情境时，计算系统警报车辆的人类操作者并且请求人类操作者接管对车辆的控制并进行手动驾驶来代替允许计算系统自主驾驶车辆。

自主驾驶和/或高级驾驶辅助系统(ADAS)通常涉及用于识别在传感器输入中所捕获的事件和/或对象的人工神经网络(ANN)。

一般来说，人工神经网络(ANN)使用神经元网络处理发到所述网络的输入并且产生来自所述网络的输出。

举例来说，网络中的每一神经元接收输入集。发到神经元的输入中的一些可为网络中的某些神经元的输出；且发到神经元的输入中的一些可为提供给神经网络的输入。网络中的神经元当中的输入/输出关系表示网络中的神经元连接性。

举例来说，每一神经元可具有偏向、激活函数，以及分别用于其输入的突触权重集。激活函数可呈阶跃函数、线性函数、对数S型(log-sigmoid)函数等形式。网络中的不同神经元可具有不同激活函数。

举例来说，每一神经元可产生其输入和其偏向的加权总和并且接着产生为加权总和的函数的输出，所述输出是使用神经元的激活函数经计算。

ANN的输入和输出之间的关系一般由ANN模型定义，所述ANN模型包含表示网络中的神经元的连接性的数据，以及每一神经元的偏向、激活函数和突触权重。使用既定ANN模型，计算装置从发到网络既定输入集计算网络的输出。

举例来说，可基于相机输入产生发到ANN网络的输入；且来自ANN网络的输出可为例如事件或对象等项目的识别。

脉冲神经网络(SNN)是紧密模拟自然神经网络的ANN的类型。当神经元的激活水平足够高时，SNN神经元产生脉冲作为输出。SNN神经元的激活水平模拟自然神经元的膜电势。SNN神经元的输出/脉冲可改变接收输出的其它神经元的激活水平。SNN神经元随时间变化的当前激活水平通常使用微分方程建模并且被视为SNN神经元的状态。来自其它神经元的传入脉冲可将神经元的激活水平推到较高以达到脉冲的阈值。一旦神经元产生脉冲，便重置其激活水平。在产生脉冲之前，如受微分方程控制，SNN神经元的激活水平可随着时间推移衰减。SNN神经元的行为中的时间要素使得SNN适用于处理时空数据。SNN的连接性通常是稀疏的，这有利于减少计算工作负荷。

一般来说，可使用监督方法训练ANN，在所述监督方法中，调整ANN中的参数以使由相应输入产生的已知输出和从将输入应用于ANN产生的经计算输出之间的错误。监督学习/训练方法的实例包含强化学习，以及进行错误校正的学习。

替代地或组合地，可使用非监督方法训练ANN，在所述非监督方法中，由既定输入集产生的精确输出在完成训练之前未知。ANN可经训练以将项目分类成多个类别，或将数据点分类成群集。

可采用多个训练算法用于复杂机器学习/训练范例。

2017年1月3日公开的标题为“用于电动车辆的电子控制设备(ElectronicControl Apparatus for Electrically-Driven Vehicle)”的第9,533,579号美国专利公开具有自诊断功能的车辆的电子控制设备。

常规地，基于预定的运行里程碑来安排汽车维护。举例来说，可每三个或六个月安排一次例行维护服务，或在行驶预定距离(例如，3000英里、6000英里或15000英里)之后安排一次例行维护服务。

当机动车辆的组件在车辆运行期间出现故障或失灵时，这类事故可有安全隐患。在这类事故发生之后，即使在不方便时间也要尽快安排行程以获得车辆服务。

发明内容

在一个方面中，本申请案针对于一种车辆，其包括：相机，其被配置成面向所述车辆的驾驶者并且产生驾驶所述车辆的所述驾驶者的图像序列；人工神经网络，其被配置成分析所述图像序列并且基于所述图像序列，对所述驾驶者是否处于疲劳状态进行分类；和信息娱乐系统，其被配置成响应于所述人工神经网络对所述驾驶者处于所述疲劳状态的分类而将指令提供给所述驾驶者。

在另一方面中，本申请案针对于一种方法，其包括：通过被配置成面向车辆的驾驶者的相机，产生驾驶所述车辆的所述驾驶者的图像序列；通过人工神经网络，分析随时间变化的所述图像序列；通过所述人工神经网络，对所述驾驶者是否处于疲劳状态进行分类；和通过所述车辆的信息娱乐系统，响应于所述人工神经网络对所述驾驶者处于所述疲劳状态的分类而将指令提供给所述驾驶者。

在另一方面中，本申请案针对于一种设备，其包括：相机，其被配置成面向车辆的驾驶者并且产生驾驶所述车辆的所述驾驶者的图像序列；和数据存储装置，其被配置成存储人工神经网络的模型数据，其中响应于在所述数据存储装置中接收到所述图像序列，所述数据存储装置被配置成分析所述图像序列并且基于所述图像序列，对所述驾驶者是否处于疲劳状态进行分类；其中所述设备被配置成将所述人工神经网络对所述驾驶者处于所述疲劳状态的分类传送到所述车辆的计算机系统，以致使所述车辆的信息娱乐系统将指令提供给所述驾驶者以测试所述驾驶者的警醒度。

附图说明

实施例是借助于实例而非限制在附图的图式中示出，在附图中相似参考指示类似元件。

图1示出根据一些实施例的其中车辆配置有数据存储装置以收集和处理传感器数据的系统。

图2示出根据一个实施例的具有数据存储装置的自主车辆。

图3-5说明根据一些实施例的用于维护服务预测的人工神经网络的训练。

图6示出根据一个实施例的预测性维护的方法。

图7示出根据一个实施例的加速神经网络计算的数据存储装置。

图8示出根据一个实施例的加速神经网络计算的存储媒体组件。

图9示出根据一个实施例的加速机动车辆中的神经网络计算的方法。

图10示出根据一个实施例的被配置成支持神经网络计算的数据存储装置。

图11说明根据一个实施例的用于人工神经网络(ANN)模型的名称空间的配置。

图12说明根据一个实施例的用于发到人工神经元的输入的名称空间的配置。

图13说明根据一个实施例的用于来自人工神经元的输出的名称空间的配置。

图14-16示出根据一个实施例的模型分区、输入分区和输出分区支持的预测性维护的方法。

图17示出根据一个实施例与数据存储装置通信以实施神经网络计算。

图18示出根据一个实施例与数据存储装置通信以实施神经网络计算。

图19示出根据一个实施例与数据存储装置通信以实施神经网络计算的方法。

图20示出根据一个实施例的用以基于疲劳驾驶检测来控制车辆的系统。

图21示出根据一个实施例的用于车辆控制的疲劳驾驶检测的方法。

具体实施方式

本文中所公开的至少一些实施例提供用以处理在机动车辆，或具有或不具有高级驾驶辅助系统(ADAS)的另一车辆中产生的传感器数据的系统、方法和设备。

在机动车辆的组件在车辆的运行期间出现故障或失灵之前，可存在所述组件是否需要更换或维护的指示。这类指示对于典型驾驶者或乘客来说可能并不显眼。然而，可收集和分析传感器数据以预测组件故障的概率。所述预测可用以安排维护服务，这可减小或消除在车辆的组件在车辆在车行道上运行期间出现故障或失灵的事故的几率。此外，所述预测允许在方便的时间安排服务行程。

举例来说，传感器可安装于汽车系统中以在其例行操作期间收集数据；且传感器数据可用以预测组件是否需要更换或维护以及多久以后需要。传感器数据可提供为发到人工智能(AI)系统的人工神经网络(ANN)(例如脉冲神经网络(SNN))的输入，以在其中车辆预期正常操作的时间段内对其自身进行训练(例如，使用非监督机器学习技术)。所述训练定制用于车辆的驾驶者、乘客或用户的特定操作环境和车辆乘客的个性化操作习惯的神经网络。随后，当操作数据偏离正常模式时，人工神经网络可检测到异常条件。AI系统可用以建议维护服务和/或识别可能需要更换或维护的组件。

图1示出根据一些实施例的其中车辆配置有数据存储装置以收集和处理传感器数据的系统。

图1的系统包含具有数据存储装置101的车辆111。任选地，车辆111具有高级驾驶辅助系统(ADAS)105以及将传感器数据输入提供到ADAS 105和/或数据存储装置101的一或多个传感器103。数据存储装置101被配置成使用人工神经网络(ANN)125基于由传感器103收集的数据来预测/识别对维护服务的需要。在不影响预测性维护特征的情况下，可省略ADAS 105。在一些实施方案中，由传感器103产生的数据的至少一部分在用于驾驶辅助的ADAS 105中和用于维护预测的ANN 125中。任选地，ANN 124的输出可用于数据存储装置101中和ADAS 105中。

传感器103可包含数码相机、光达、雷达、超声波声纳、刹车传感器、速度传感器、加速度传感器、安全气囊传感器、全球定位系统(GPS)接收器、音频传感器/麦克风、振动传感器、力/应力传感器、变形传感器、运动传感器、温度传感器等。传感器103中的一些可被主要配置成监测车辆111的环境；且其它传感器103可被主要配置成监测车辆111的一或多个组件(例如内燃引擎、排气系统、电动机、刹车片、轮胎、电池等)的操作条件。

传感器103随时间变化的输出提供为发到ADAS 105和/或ANN 125的传感器数据流以提供驾驶辅助(例如，自主驾驶)和维护预测。

举例来说，车辆111可具有经由无线信号113和通信网络117与远程服务器119通信的无线通信装置。远程服务器119通常被配置在与上面的车辆111正在运行中的道路102远离的方位处。举例来说，车辆111可将一些传感器数据121提供到服务器119并且从服务器119接收ANN 125的更新。

通信网络117的一个实例是具有接收无线信号(例如，113)的一或多个基站(例如，115)的蜂窝电话网络。通信网络117的另一实例是因特网，其中在接入点(例如，115)中接收车辆113发射的无线局域网信号(例如，113)以用于进一步传送到服务器119。在一些实施方案中，车辆111使用通到卫星109的通信链路107或与服务器119通信的通信气球。

服务器119也可与一或多个维护服务设施(例如，127)通信以接收车辆(例如，111)的维护服务数据123。维护服务数据123可包含车辆(例如，111)的组件的检查记录和/或服务记录。举例来说，检查记录和/或服务记录可指示在组件的服务期间在维护服务设施(例如，127)处检查的所述组件的磨损程度、有故障或失灵组件的识别等。车辆(例如，111)的在服务之前的时间段内的传感器数据121和维护服务数据123可用以训练ANN 125预测组件需要维护服务的概率。经更新ANN 125可用以基于在最近时间段内接收到的传感器数据121来预测和建议对车辆111的维护服务。替代地，更新ANN 125可发射到车辆111；且车辆111可使用在车辆111的例行操作期间从传感器103产生数据来预测和建议维护服务。

车辆111的数据存储装置101可被配置成可在ANN中用于预测性维护所使用的时间段内记录传感器数据。维护预测通常是针对相对长的时间段(例如，数天、数周和/或数月)。相比之下，为审查涉及自主车辆的事故、碰撞或将近碰撞所记录的传感器数据通常是针对短时间段(例如，30秒到数分钟)。因此，被配置成记录用于审查/分析事故或碰撞的传感器数据的典型黑匣子数据记录器不足以用于预测性维护。

任选地，数据存储装置101存储关于引起到维护服务设施(例如，127)的行程的时间段的传感器数据。维护服务设施(例如，127)可从数据存储装置101下载传感器数据121并且将传感器数据121和对应维护服务数据123提供到服务器119以促进ANN 125的训练。

任选地，或以组合方式，数据存储装置101配置有机器学习模块以定制和/或训练安装于车辆111中的用于预测性维护的ANN 125。

举例来说，数据存储装置101的机器学习模块可用以校准ANN 125以考虑操作车辆111的典型/日常环境和/或车辆111的驾驶者的驾驶偏好/习惯。

举例来说，在当车辆预期以健康组件在典型/日常环境下操作时的时间段期间，传感器103产生的传感器数据可用以训练ANN 125来辨识表示无障碍操作的传感器数据的模式。这类模式可针对不同车辆(例如，111)基于其例行操作环境和其驾驶者的驾驶习惯/特性而不同。所述训练允许ANN 125检测与辨识的正常模式的偏离并且报告维护预测的异常。

举例来说，ANN 125可包含SNN，其被配置成将传感器数据的基于时间的变化分类且/或检测与在正常/健康条件下操作但处于个性化环境(例如，驾驶者/乘客的日常路线)中和/或在个性化驾驶习惯/模式下操作的车辆111的已知传感器数据模式的偏离。

图2示出根据一个实施例的具有数据存储装置101的自主车辆111。举例来说，可使用图2的自主车辆111实施图1的系统中的车辆111。

图2的车辆111被配置成具有高级驾驶辅助系统(ADAS)105。车辆111的ADAS 105可具有用于对象检测、辨识、识别和/或分类的人工神经网络(ANN)125。ANN 125和/或另一神经网络(例如，被配置于数据存储装置101中)可用以预测车辆111的组件需要维护服务(例如，修理、更换或调整)的概率。

优选地，数据存储装置101被配置成至少部分地针对预测性维护来处理传感器数据，在负责操作ADAS 105和/或其它组件(例如信息娱乐系统149)的处理器133上造成的计算负担减小。

车辆111通常包含信息娱乐系统149、通信装置139、一或多个传感器103，以及连接到车辆111的一些控件(例如用于车辆111的方向的转向控件141、用于停止车辆111的刹车控件143、用于车辆111的速度的加速度控件145等)的计算机系统131。在一些实施例中，图1的系统中的车辆111具有类似配置和/或类似组件。

ADAS 105的操作需要传感器103中的一些；且传感器103中的一些用以收集与车辆111的组件的健康状况相关的数据，所述数据可能不用于ADAS 105中。任选地，传感器103产生的传感器数据也可用以预测组件即将故障的可能性。这类预测可在ADAS 105中用于采取紧急动作以使车辆处于安全状态(例如，通过减低速度和/或停车)。

车辆111的计算机系统131包含一或多个处理器133、数据存储装置101，以及存储固件(或软件)147(包含用于ADAS 105的计算机指令和数据模型)的存储器135。

车辆的一或多个传感器103可包含可见光相机、红外相机、光达、雷达或声纳系统、外围设备传感器、全球定位系统(GPS)接收器、卫星定位系统接收器、刹车传感器和/或安全气囊传感器。此外，传感器103可包含被配置成监测来自车辆111中的各种组件和方位的噪声的音频传感器(例如，麦克风)、振动传感器压力传感器、力传感器、应力传感器，和/或被配置成测量车辆111的组件上的负载的变形传感器、测量车辆111的一些组件的运动的加速度计和/或陀螺仪传感器等。这类传感器可用以针对预测性维护，监测组件的操作状态和/或健康状况。

传感器103可将实时时间传感器数据流提供到计算机系统131。车辆111的传感器103产生的传感器数据可包含使用相机、或声纳、雷达或光达系统捕获对象的图像，所述相机是使用人类眼睛可见的光捕获所述图像的相机，或使用红外光捕获所述图像的相机。从车辆的至少一个传感器获得的图像数据是在数据存储装置101中记录和/或作为发到ANN125的输入的所收集传感器数据的部分。举例来说，相机可用以获得用于车辆111行驶的车行道信息，ANN 125可处理所述车行道信息以产生用于车辆111的控制信号。举例来说，相机可用以监测车辆111的组件的操作状态/健康状况，ANN 125可处理所述操作状态/健康状况以预测或安排维护服务。

车辆111的传感器103产生的传感器数据可包含捕获车辆111上的方位(例如靠近引擎、电机、变速系统、轮、门、窗等的方位)处的声音的特性的音频流。从车辆111的至少一个传感器103获得的音频数据可以是在数据存储装置101中记录和/或作为发到ANN 125的输入的所收集传感器数据的部分。举例来说，音频流可用以监测车辆111的组件(例如，内燃引擎、排气系统、电动机、刹车器)的操作状态/健康状况，ANN 125可处理所述操作状态/健康状况以预测或安排维护服务。

信息娱乐系统149可用以呈现所预测或安排的维护服务。任选地，通信装置139可确立到车辆111的驾驶者的移动装置的连接以通知驾驶者推荐的维护服务和/或推荐的服务数据，将约会排入日程表等。

当车辆111配置有ADAS 105时，ADAS 105的输出可用以在自主驾驶期间控制(例如，141、143、145)车辆111的加速度、车辆111的速度和/或车辆111的方向。

图3-5说明根据一些实施例的用于维护服务预测的人工神经网络的训练。

在图3中，监督机器学习的模块171用以训练人工神经网络125以使从传感器数据121产生的服务预测129与维护服务数据123之间的差异降到最低。

举例来说，维护服务数据123可识别组件随时间变化的所测量磨损以预测将要进行所推荐的服务的时间。传感器数据121可在ANN 125中用以产生将要进行所推荐服务的所预测时间。监督机器学习模块171可调整人工神经网络125以减小/最小化基于传感器数据121预测的时间与从磨损测量值计算的时间之间的差。

举例来说，维护服务数据123可识别在维护服务设施127中更换或维修的组件。在更换或修理组件之前的时间段内所记录的传感器数据121可用以计算将要进行更换或修理的时间。此外，在更换或修理之前的时间段内的传感器数据流的片段可在ANN 125中用以产生对将要进行更换或修理的时间的预测。监督学习171可用以调整ANN 125，从而减少将要进行更换或修理的所预测时间和进行更换或修理的实际时间。

图2的监督学习171可应用于服务器119中基于车辆群体的传感器数据和其维护服务数据123产生用于所述车辆群体的通用ANN。

图2的监督学习171可应用于车辆111中基于车辆的传感器数据和其维护服务数据123产生用于车辆群体的定制/个性化ANN。举例来说，通用ANN可初始用于车辆111中；且车辆111的传感器数据和其维护服务数据123可用以针对车辆111中的ANN 125的定制/个性化，进一步训练车辆的ANN 125。

在图4中，非监督机器学习的模块175用以训练或优化人工神经网络125以促进异常检测173。非监督机器学习模块175被配置成针对传感器数据121中的分类、群集或所辨识模式来调整ANN(例如，SNN)，使得与在最近时间段内产生的传感器数据121中的分类、群集或所辨识模式的偏离程度可用以用信号表示对异常的检测173。异常检测173允许安排车辆111在维护服务设施127中进行检查。任选地，在检查之后，如在图3中，维护服务数据123可用以应用监督学习171以产生对服务的更精确预测。

通常，可假设车辆111在特定时间段内在正常/健康条件下操作。举例来说，在新车辆111初始交付使用之后，可假设车辆111至少在一时间段(例如，数月)内提供无障碍服务。举例来说，在更换或修理组件之后的一时间段之后，可假设组件至少在一时间段内提供无障碍服务(例如，数月或一年)。因此，在此时间段期间获得的传感器数据121可预分类为“正常”以使用如图4中的无监督学习175或图5中的监督学习171训练ANN 125。

举例来说，经由在车辆111或组件的“正常”服务时间段期间收集的传感器数据121可经由无监督学习175分类成数个群集。不同群集可对应于不同类型的正常条件(例如，在不同路线上行驶、在具有不同路面条件的道路上行驶、在不同天气条件下行驶、在一天的不同时间段内行驶、在一周中的不同日期中行驶、在驾驶者的驾驶习惯的不同情绪下行驶)。当连续传感器数据121分类在“正常”群集外部时，检测到异常。

任选地，如图5中所说明，监督机器学习171可用以训练ANN 125。在车辆111或组件的“正常”服务周期期间，预期分类177可用以标记传感器数据121。监督学习171可用以最小化使用ANN 125根据传感器数据121进行的预测179与预期分类177之间的分类差异。此外，当传感器数据121已知为“异常”(例如，在维护服务设施127中或通过车辆111的用户、驾驶者或乘客进行的诊断之后)时，预期分类177可改变为“异常”以用于进一步训练ANN 125来直接辨识异常(例如，代替依赖于与已知“正常”群集的偏离来推断异常)。

因此，可训练ANN 125以识别异常传感器数据并且通过估计异常的严重程度来安排维护服务。

图6示出根据一个实施例的预测性维护的方法。举例来说，图6的方法可实施于图1或2的车辆111中的数据存储装置101中或图2的车辆111中的计算机系统131。

在框201处，安装于车辆111中的传感器(例如，103)在车辆111在道路102上运行期间产生传感器数据流(例如，121)。

在框203处，将传感器数据流(例如，121)提供到人工神经网络(ANN)125中。举例来说，ANN 125可包含脉冲神经网络(SNN)。

在框205处，人工神经网络(ANN)125基于传感器数据流(例如，121)，产生维护服务的预测。

在框207处，配置于车辆上的数据存储装置101存储传感器数据流(例如，121)的至少一部分。

在框209处，使用在从车辆离开工厂或维护服务设施127起的预定时间段内收集的传感器数据流(例如，121)训练人工神经网络(ANN)。

举例来说，人工神经网络(ANN)可被配置成在维护服务中识别车辆111的需要修理或更换的组件和/或识别到组件故障或失灵的所预测时间段，或在组件故障或失灵之前到组件的所推荐维护服务的所建议时间段。因此，所预测维护服务的执行可避免当车辆111在道路102上运行时，组件发生故障或失灵的事故。

举例来说，传感器103可为安装于组件附近的麦克风、附接到组件的振动传感器、安装于组件中的压力传感器、安装到或附接到组件的力或应力传感器、附接到组件的变形传感器、被配置成测量组件的运动参数的加速度计。

任选地，数据存储装置101、计算机系统131的车辆111和/或远离车辆的服务器119可具有机器学习模块，其被配置成在假设车辆111处于健康状态中的时间段(例如从车辆111离开工厂或维护服务设施127时起的预定时间段)期间训练人工神经网络(ANN)125。

举例来说，如图4中所说明，机器学习模块可使用非监督机器学习175训练ANN 125来辨识/分类传感器数据121的正常模式且因此具有基于与正常模式的偏离来检测异常的能力。替代地，如图3或5中所说明，可使用监督机器学习171。

举例来说，可在已知车辆和/或组件在无障碍或降级的情况下操作的预定时间段期间，通过车辆111的数据存储装置101或计算机系统131应用非监督机器学习175。

替代地或组合地，存储于车辆111的数据存储装置101中的传感器数据121中的一些可上传到服务器119以用于训练ANN 125。

在本文中所公开的至少一些实施例中，数据存储装置101被配置成加速车辆111的人工神经网络(ANN)125的计算。

举例来说，除了支持数据存取和存储的典型操作之外，数据存储装置101还可被进一步配置成执行涉及人工神经网络(ANN)125的计算的至少一部分，例如从传感器数据121产生预测(例如，129或173)或分类(例如，179)和/或通过非监督机器学习175(例如，如图4中所说明)和/或监督机器学习171(例如，如图3或5中所说明)调整ANN 125。

举例来说，被配置于数据存储装置101中的计算可用以减小传输到处理器133供ANN 125使用或应用的数据量和/或减小处理器133在评估ANN 125的输出时和/或在训练ANN 125时的计算任务。这类布置可引起从数据存储装置101更快输出和/或能量使用量降低，这是由于不必将进出存储器的数据移动到专用的独立神经网络加速器。数据存储装置101在处理与ANN 125相关的数据时的计算能力允许机动车辆111的计算机系统131监测汽车组件的健康状况(例如，以非实时方式，或伪实时方式)，对任务关键型任务(例如，通过ADAS 105自主驾驶)的处理具有减小的影响，或无影响。此外，数据存储装置101的计算能力可用以加速用于ADAS 105的传感器数据的处理且因此改进任务关键型任务的处理。

图7示出根据一个实施例的加速神经网络计算的数据存储装置101。举例来说，图7的数据存储装置101可用以实施图1或2中所说明的车辆111的数据存储装置101。

在图7中，数据存储装置101具有被配置成与处理器(例如，133)通信的主机接口157。举例来说，处理器(例如，133)和主机接口157之间的通信可至少部分地根据用于外围组件互连高速(PCIe)总线、串行高级技术附件(SATA)总线、通用串行总线(USB)总线和/或存储区域网络(SAN)的通信协议。

举例来说，主机接口157可用以接收车辆111的传感器103产生的传感器数据121，以任选地将传感器数据121的一部分存储于存储媒体组件161到163中。

举例来说，存储媒体组件161到163中的每一个可为被配置成存储数据的存储器集成电路。举例来说，媒体组件161或163可包含嵌入于集成电路封装中的一或多个集成电路裸片。集成电路裸片可具有形成于其上以存储数据的多个存储器单元。

一般来说，一些存储器集成电路是易失性的并且需要电力来维持所存储的数据；且一些存储器集成电路是非易失性的并且即使在不被供电时仍可保持所存储的数据。

非易失性存储器的实例包含快闪存储器、基于“与非”(NAND)逻辑门、“或非”(NOR)逻辑门形成的存储器单元、相变存储器(PCM)、磁存储器(MRAM)、电阻式随机存取存储器、交叉点存储装置和存储器装置。交叉点存储器装置使用具有较少晶体管的存储器元件，所述晶体管中的每一个具有在一起堆叠成列的存储器单元和选择器。存储器元件列经由两个垂直线材层连接，其中一个层处于存储器元件列上方和另一层处于存储器元件列下方。可个别地在两个层中的每一个上的一个电线的交叉点处选择每一存储器元件。交叉点存储器装置为快速且非易失性的，且可用作统一存储器池以供处理和存储。非易失性存储器的其它实例包含只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)和电子可擦除可编程只读存储器(EEPROM)存储器等。易失性存储器的实例包含动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)。

数据存储装置101可具有包含易失性本地存储器153和至少一个处理装置155的控制器151。

控制器151的本地存储器可为嵌入式存储器，其被配置成存储指令以用于执行各种过程、操作、逻辑流和控制处理装置155的操作的例程，包含操控车辆111的数据存储装置101和处理器(例如，133)之间的通信，以及本文中所描述的其它功能。控制器151的本地存储器151可包含用于存储微码的只读存储器(ROM)和/或存储例如存储器指针、提取的数据等的存储器寄存器，和/或易失性存储器，例如动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)。

在图7中，数据存储装置101包含耦合到控制器151和/或存储媒体组件161到163的神经网络加速器159。

举例来说，神经网络加速器159可被配置成执行矩阵算术计算。所述计算涉及ANN125具有矩阵乘法和累加操作，其对通用处理器(例如，133)来说可为计算密集型。使用神经网络加速器159执行矩阵算术计算可减少将传输到车辆111的处理器133的数据并且减小处理器133的计算工作负荷。

举例来说，当ANN 125包含脉冲神经网络(SNN)时，用于控制SNN神经元的激活水平的微分方程的模拟对于通用处理器(例如，133)来说可为计算密集型。神经网络加速器159可使用专门硬件模拟微分方程并且因此整体改进计算机系统131的计算效率。

在一些实施方案中，神经网络加速器159是与控制器151和/或存储媒体组件161到163隔开的集成电路装置。替代地或组合地，神经网络加速器159与控制器151一起集成于集成电路封装中。此外，如图8中所说明，神经网络加速器159可集成在存储媒体组件161到163中的至少一个中。

图8示出根据一个实施例的加速神经网络计算的存储媒体组件160。举例来说，可使用图8的存储媒体组件160实施图7中的存储媒体组件161到163中的每一个或一些。

在图8中，存储媒体组件160可容纳于集成电路封装内。存储媒体组件160的输入/输出(I/O)接口171被配置成处理集成电路封装的引脚中的输入/输出信号。举例来说，输入/输出信号可包含指定媒体单元175中方位的地址信号，以及表示在经由地址信号指定的方位处写入于媒体单元175中的数据，或从媒体单元175中的方位检索的数据的数据信号。

在图8中，神经网络加速器159与控制逻辑173和/或媒体单元175耦合以执行在评估ANN 125的输出时和/或在训练ANN 125时使用的计算。

举例来说，输入/输出接口171可接收识别存储于媒体单元中并且经由神经网络加速器159被操作的矩阵的地址。存储媒体组件160可提供神经网络加速器159的计算结果作为响应于地址的输出数据，将输出数据存储于缓冲器中以用于另外的操作，将输出数据存储到媒体单元175中的经由地址信号指定的方位中。因此，由神经网络加速器159执行的计算可处于存储媒体组件160内，所述存储媒体组件160靠近其中存储矩阵数据的媒体单元175。举例来说，媒体单元175中的每一个可为上面形成有非易失性存储器的存储器单元的集成电路裸片。

举例来说，SNN神经元的状态数据可根据预定模式存储于媒体单元175中。神经网络加速器159可根据用于控制SNN神经元的激活水平的微分方程，随着时间自动更新SNN神经元的状态。任选地，神经网络加速器159被配置成处理神经网络中的神经元的脉冲。替代地，数据存储装置101的神经网络加速器159和/或处理器133可被配置成处理神经元的脉冲和/或发到SNN的输入的累加。

图9示出根据一个实施例的加速机动车辆中的神经网络计算的方法。举例来说，图9的方法可使用图7的数据存储装置101和/或图8的存储媒体组件160实施于图1或2的车辆111中。举例来说，图9的方法可与图6的方法组合使用。

在框221处，车辆111的数据存储装置101从配置于车辆111上的至少一个传感器(例如，103)接收传感器数据流。

在框223处，数据存储装置101存储传感器数据流的至少一部分。

在框225处，配置于数据存储装置101内的神经网络加速器159基于人工神经网络125和传感器数据流，执行计算的至少一部分。

在框227处，至少部分地基于由配置于数据存储装置101内的神经网络加速器159执行的计算，预测车辆111的维护服务。

任选地，在框229处，在车辆111中，至少部分地使用神经网络加速器并且使用在预定时间段(例如在新车辆111出厂之后或在维护服务设施127中更换组件之后的时段)内收集的传感器数据流，训练人工神经网络(ANN)。

举例来说，神经网络加速器159可配置于与数据存储装置的控制器151隔开和/或与存储媒体组件161到163隔开的集成电路装置上。

举例来说，神经网络加速器159可配置于包含数据存储装置101的控制器151的集成电路装置上，或配置于包含数据存储装置101的存储媒体组件160、161或163的集成电路装置上。

举例来说，神经网络加速器159可被配置成使用存储于数据存储装置101中的数据执行计算，例如用于ANN的矩阵算术计算和/或用于SNN的微分方程模拟。

矩阵算术计算的实例包含矩阵乘法和累加操作。在使用存储于数据存储装置101中的数据进行计算以产生矩阵算术计算的结果之后，神经网络加速器159可在检索数据时(例如，响应于读取命令)提供所述结果作为数据存储装置111的输出。替代地或组合地，矩阵算术计算的结果可缓冲于数据存储装置101中以作为用于结合经由在主机接口157中接收到的读取命令从非易失性存储器检索的数据矩阵执行的下一矩阵计算的操作数。

当人工神经网络(ANN)125包含脉冲神经网络(SNN)时，神经网络加速器可被配置成模拟控制脉冲神经网络(SNN)中的神经元的激活水平的微分方程。任选地，存储媒体组件被配置成根据预定模式存储脉冲神经网络中的神经元的状态；且神经网络加速器被配置成根据微分方程，随着时间自动更新神经元的状态。举例来说，神经网络加速器159可被配置成经由非监督机器学习训练脉冲神经网络(SNN)来检测异常。

由神经网络加速器159根据人工神经网络(ANN)125执行的计算涉及具有对数据存储装置101的不同使用模式的不同数据类型。

举例来说，使用人工神经网络(ANN)125进行预测包含使用指定人工神经网络(ANN)125的模型的数据、提供给人工神经元的输入数据，以及人工神经元产生的输出数据。

数据存储装置101的存储容量可分割成所述不同类型的ANN相关数据的不同部分。所述不同部分可单独地被配置成根据神经网络加速器159和/或其中配置有数据存储装置101的计算机系统131的处理器133的使用模式，优化对应数据的存取和存储。

人工神经网络(ANN)125的模型可包含指定ANN 125中的个别人工神经元的静态属性和ANN 125中的神经元连接性的参数。ANN 125的模型数据是静态的并且在使用ANN 125进行的预测计算期间不改变。因此，通常是读取模型数据的使用模式。然而，当安装经更新ANN 125时，ANN 125的模型数据可改变。举例来说，车辆111可将经更新ANN 125从服务器119下载到车辆111的数据存储装置101以更新其预测能力。ANN 125的模型数据也可在使用机器学习技术(例如，171或175)训练ANN 125期间或之后改变。优选的是配置数据存储装置101的单独分区或名称空间以存储模型数据，其中所述分区或名称空间根据针对模型数据的特定使用模式(例如，大多是读取，少有更新)，优化存储器单元的配置参数进行操作。举例来说，当使用基于NAND逻辑门的快闪存储器实施存储器单元时，ANN模型分区/名称空间中的存储器单元可被配置成在多层级单元(MLC)模式、三层级单元(TLC)模式或四层级单元(QLC)模式中操作，其中每一存储器单元存储两个、三个或四个位以用于增加存储能力。

提供给ANN 125中的人工神经元的输入数据可包含外部输入和内部输入。外部输入通常是由车辆111的传感器103产生而非由ANN 125中的人工神经元产生。外部输入可以循环方式保存，使得可在数据存储装置101中找到预定驾驶长度的最新时间段的输入数据。因此，优选的是，配置数据存储装置101的单独分区或名称空间以存储外部输入数据，其中所述分区或名称空间根据针对外部输入数据的存储模式优化存储器单元(例如，增强循环覆写的耐久性)的配置参数进行操作。举例来说，当使用基于NAND逻辑门的快闪存储器实施存储器单元时，ANN输入分区/名称空间中的存储器单元可被配置成在单层级单元(SLC)模式中操作，其中每一存储器单元存储一个位的数据以用于改进循环覆写操作中的耐久性。

在一些实施方案中，人工神经元可具有响应于在预测计算期间的输入而随着时间改变的状态变量。举例来说，脉冲神经元的激活水平可随着时间改变并且被视为脉冲神经元的动态状态变量。在一些实施方案中，人工神经元的这类状态变量数据具有类似存储使用模式作为外部输入数据；且因此，所述状态变量数据可存储于被配置成用于外部输入数据的分区或名称空间中。在其它实施方案中，人工神经元的状态变量数据保持于缓冲器中并且与外部输入相比较不频繁地被存储；且因此，另一分区/名称空间可被配置成用于存储人工神经元的动态状态变量数据。

可缓冲ANN 125中的人工神经元产生的输出数据以供神经网络加速器159和/或计算机系统131的处理器133进一步存取。输出数据可包含外部输出和内部输出。所述外部输入是由人工神经元产生以作为来自ANN 125的输出，例如通过ANN 125进行的分类或预测的结果。ANN 125的输出通常由计算机系统131的处理器133进一步处理。可周期性地(例如，以类似于存储状态变量数据的方式)保存外部输入。内部输出和/或外部输出中的一些可为发到ANN 125中的人工神经元的内部输入。一般来说，将来自数据存储装置的缓冲器的内部输出存储到存储媒体组件可能并非必需的。在一些实施方案中，当数据存储装置101的缓冲能力不足以保存整个状态变量数据和/或内部输出时，数据存储装置101可使用交换分区/名称空间扩展缓冲器的容量。交换分区/名称空间可被配置成用于优化随机存取并且用于改进耐久性。

外部输出和/或神经元的动态状态可以循环方式保存于单独输出分区或名称空间中，使得可周期性地存储神经元的外部输出数据和/或动态状态，且可在数据存储装置101中发现最新外部输出和/或动态状态集。可选择性地存储外部输出和/或神经元的动态状态，这是由于可通过ANN从存储于输入分区或名称空间中的外部输入重新产生这类数据中的一些。优选地，输出分区或名称空间被配置成存储无法从存储于输入分区或名称空间中的外部输入产生的外部输出和/或动态状态的一或多个集合。在以循环方式将数据存储于输入/输出分区或名称空间中时，擦除最旧的所存储数据集以腾出用于最新数据集的空间。ANN输入/输出分区/名称空间可被配置成用于经优化连续写入流以将来自数据存储装置的缓冲器的数据复制到数据存储装置的存储媒体组件中的存储器单元中。

图10示出根据一个实施例的被配置成支持神经网络计算的数据存储装置101。举例来说，数据存储装置101可用于图1或2中的车辆111中以促进预测性维护和/或支持ADAS105。

类似于图7的数据存储装置101，图10的数据存储装置101包含主机接口157和控制器151。

类似于图7的数据存储装置101中的存储媒体组件161到163，可使用存储媒体组件集实施图10的数据存储装置101的存储容量181。

名称空间集183、185、187、…可创建于数据存储装置101的存储容量181上。名称空间(例如，183、185或187)中的每一个对应于存储容量181的被命名部分。逻辑地址定义于每一名称空间内。地址映射191被配置成在名称空间183、185、187…中定义的逻辑地址到存储媒体组件(例如，图7中所说明的161到163)中的存储器单元的物理地址之间映射。

地址映射191可包含用于名称空间183、185和187的名称空间优化设置192。

举例来说，ANN模型名称空间183可为被配置成用于人工神经网络(ANN)125的模型数据的存储器/存储分区。名称空间优化设置192根据ANN模型的数据使用模式(例如，大多是读取，少有以更新为中心)，优化ANN模型名称空间183中的存储器操作。

举例来说，神经元输入名称空间185可为被配置成用于发到人工神经网络(ANN)125的外部输入数据的存储器/存储分区。名称空间优化设置192根据外部输入数据的数据使用模式(例如，支持用于连续写入的连续输入数据流的循环覆写的经增强耐久性)，优化神经元输入名称空间185中的存储器操作。

举例来说，神经元输出名称空间187可为存储器/存储分区/被配置成用于从人工神经网络(ANN)125提供的外部输出数据。名称空间优化设置192根据外部输出数据的数据使用模式(例如，改进通过随机读取/写入存取周期性地覆写数据的耐久性)，优化神经元输出名称空间187中的存储器操作。

数据存储装置101包含缓冲器152，其被配置成存储人工神经网络(ANN)125的临时/中间数据，例如ANN 125中的人工神经元的内部输入/输出。

任选地，交换名称空间可被配置于存储容量181中以扩展缓冲器152的容量。

任选地，地址映射191包含主机接口157中接收到的逻辑存储器地址到人工神经元的存取数据和人工神经元的身份标识之间的映射。因此，存取一个名称空间中的人工神经元的一种类型的数据的读取或写入命令可致使控制器151存取另一名称空间中的人工神经元的另一类型的数据。

举例来说，响应于对将用于神经元的外部输入数据写入到数据存储装置185的存储容量181中的请求，地址映射191可用以计算ANN模型名称空间183中的神经元的模型参数的地址并且将模型参数读取到缓冲器152中，以允许神经网络加速器159执行神经元的输出的计算。神经元的输出可作为发到其它神经元的内部输入保存于缓冲器152中(例如，以减小写入放大)。此外，连接到神经元的其它神经元的身份标识也可从ANN模型名称空间183检索到缓冲器152中，这允许神经网络加速器159和/或处理器进一步处理ANN 125中的输出的传播。可与将外部输入数据存储到神经元输入名称空间185中并行地执行模型数据从ANN模型名称空间183的检索。因此，车辆111的计算机系统131的处理器133不必明确发送对从ANN模型名称空间183检索模型数据的读取命令。

类似地，响应于读取神经元的输出数据，地址映射191可用以计算存储于ANN模型名称空间183中的神经元的模型参数的地址并且将模型参数读取到缓冲器152中以允许神经网络加速器159应用缓冲器152中的内部输入来执行神经元的输出的计算。计算的输出可作为对读取神经元的输出数据的响应来提供，而不必使数据存储装置101将输出数据存储于存储媒体组件(例如，161到163)。因此，处理器133和/或神经网络加速器159可经由将输入写入到神经元和/或从神经元读取输出来控制神经元的计算。

一般来说，传入所述ANN 125的外部输入数据可为由传感器103直接产生而未经处理器133和/或神经网络加速器159处理的原始传感器数据121。替代地，已由ANN 125的处理器133从来自传感器103的信号进行处理的间接传感器数据121可提供为外部输入数据。传入的外部输入数据可在主机接口157中接受并且以循环方式写入到神经元输入名称空间185中，并且自动缓冲于神经网络加速器159的缓冲器152中以使用存储于ANN模型名称空间183中的模型产生神经元输出。神经网络加速器159产生的输出可进一步缓冲为内部输入以进一步应用ANN模型名称空间183中的模型。当外部输出变成可用时，数据存储装置101可通过外部输出的可用性的指示来报告写入请求的完成。任选地，控制器151和/或神经网络加速器159可产生内部读取命令以在产生外部输出时使信号在ANN 125中传播。替代地，主机处理器133可通过选择性地读取神经元的输出，控制ANN 125中的信号的传播；且数据存储装置101可主动地将可能需要的数据缓冲于缓冲器152中以加速ANN计算。

图11说明根据一个实施例的用于人工神经网络(ANN)模型的名称空间183的配置。举例来说，图11的配置可实施于图7和/或10中说明的数据存储装置101中。举例来说，图11的设置193可以是图10的名称空间优化设置192的部分。

图11的配置将ANN模型名称空间183映射到至少一个存储媒体组件A 161。优选地，至少一个存储媒体组件A 161可与托管ANN数据的其它名称空间(例如，185和187)的存储媒体组件(例如，163)并行地供控制器151使用。举例来说，存储媒体组件A 161可处于与用于其它名称空间(例如，185和187)的集成电路封装隔开的集成电路封装中。替代地，存储媒体组件161到163形成于嵌入于同一集成电路封装中的单独集成电路裸片上。替代地，存储媒体组件161到163可形成于集成电路裸片的单独区上，其中单独区可基本并行地操作(例如，用于读取、用于擦除和/或用于写入)。

在图11中，将设置197优化为大多是读取且少有更新的使用模式。

图12说明根据一个实施例的用于发到人工神经元的输入的名称空间185的配置。举例来说，图11的配置可实施于图7和/或10中说明的数据存储装置101中。举例来说，图11的设置195可以是图10的名称空间优化设置192的部分。

图12的配置将神经元输入名称空间185映射到至少一个存储媒体组件B 163。优选地，至少一个存储媒体组件B 163可与托管ANN数据的其它名称空间(例如，183和187)的存储媒体组件(例如，161)并行地供控制器151使用。举例来说，存储媒体组件B 163可处于与用于其它名称空间(例如，183和187)的集成电路封装隔开的集成电路封装中。替代地，存储媒体组件161到163形成于嵌入于同一集成电路封装中的单独集成电路裸片上。替代地，存储媒体组件161到163可形成于集成电路裸片的单独区上，其中单独区可基本并行地操作(例如，用于读取、用于擦除和/或用于写入)。

在图12中，设置197优化为在记录以固定时间间隔取样的连续输入数据流的循环连续覆写中增强耐久性的使用模式。

图13说明根据一个实施例的用于来自人工神经元的输出的名称空间187的配置。举例来说，图11的配置可实施于图7和/或10中说明的数据存储装置101中。举例来说，图11的设置197可以是图10的名称空间优化设置192的部分。

图13的配置将神经元输出名称空间187映射到至少一个存储媒体组件C 162。优选地，至少一个存储媒体组件C 162可与托管ANN数据的其它名称空间(例如，183和185)的存储媒体组件(例如，161和163)并行地供控制器151使用。举例来说，存储媒体组件C 162可处于与用于其它名称空间(例如，183和185)的集成电路封装隔开的集成电路封装中。替代地，存储媒体组件161到163形成于嵌入于同一集成电路封装中的单独集成电路裸片上。替代地，存储媒体组件161到163可形成于集成电路裸片的单独区上，其中单独区可基本并行地操作(例如，用于读取、用于擦除和/或用于写入)。

在图13中，设置197被优化成通过随机存取周期性覆写经缓冲数据的使用模式。举例来说，经由优化设置193到197来配置存储器单元以在神经元输出名称空间187中以高于ANN模型名称空间183中的频率，但低于神经元输入名称空间185中的频率的频率进行更新/覆写。

图14示出根据一个实施例的模型分区支持的预测性维护的方法。举例来说，图14的方法可使用图7或10的数据存储装置101和/或图8的存储媒体组件160实施于图1或2的车辆111中。举例来说，图14的方法可与图6和/或9的方法组合使用。

在框241处，数据存储装置101的非易失性存储器被配置到多个分区(例如，183、185、187、…)中。举例来说，非易失性存储器可具有用于存储数据的相同类型的存储器单元(例如，NAND快闪存储器单元)；且不同分区(例如，183到187)中的相同类型的存储器单元可以不同方式被配置成根据存储于不同分区(例如，183到187)中的数据的使用模式来优化其性能。

在框243处，数据存储装置101分别针对分区(例如，183、185、187、…)，存储用于与人工神经网络125相关的不同类型的数据的不同存储器操作设置集(例如，193、195、197)，其中分区(例如，183、185、187、…)包含被配置成存储人工神经网络125的模型数据的模型分区(例如，193)。

在框245处，数据存储装置101从配置于车辆111上的至少一个传感器103接收传感器数据流(例如，121)。

在框247处，数据存储装置101的控制器151响应于传感器数据流(例如，121)而根据存储器操作设置集(例如，193、195、197)操作分区183、185、187、…中的存储器单元。

在框249处，具有数据存储装置101的计算机系统131使用人工神经网络125，基于传感器数据流(例如，121)预测车辆111的维护服务。

举例来说，存储器操作设置将模型分区(例如，183)配置成每存储器单元存储三个或更多个位。存储器操作设置可包含在ANN 125中的神经元和发到神经元的输入之间进行映射的地址映射191。当接收到发往人工神经网络125中神经元输入的第一地址时，与模型分区(例如，183)隔开的输入分区(例如，185)中的第一地址可转换成与神经元相关联的模型数据的至少一个第二地址，使得可在无来自处理器133的显式命令的情况下，从模型分区(例如，183)检索神经元的属性和连接到所述神经元的神经元的身份标识。控制器151可响应于接收到第一地址，使用至少一个第二地址从模型分区(例如，183)自动检索与神经元相关联的模型数据。神经网络加速器159可从发到神经元的输入和与神经元相关联的模型数据产生神经元的输出。一般来说，发到神经元的输入可包含来自连接到ANN 125中的神经元的多个神经元的输出。控制器151可将神经元的输出保存于数据存储装置101中缓冲器152中，以促进通过主机处理器133和/或神经网络加速器159对所述输出的加速存取。

通常，模型数据不在用以预测维护服务的计算期间发生改变。举例来说，模型数据可包含人工神经网络的神经元连接性数据和人工神经网络中的神经元的静态属性。存储器操作设置(例如，192)可将模型分区(例如，183)配置成基于对模型数据大多是读取且少有更新的使用模式，针对非易失性存储器中的每存储器单元存储多于一个位。

举例来说，数据存储装置中的分区(例如，183、185、187、…)可实施为在其中定义逻辑地址的名称空间；且数据存储装置中的地址映射191被配置成将名称空间183、185、187、…映射到单独存储媒体组件(例如，161、163、162、…)。

模型名称空间183中的模型数据可在经由机器学习171或175的训练或在从服务器119对ANN 125的空中更新期间期间进行更新。

在一些实施方案中，控制器151被配置成响应于发到神经元的正在与模型分区183隔开的分区中被寻址的输入或来自所述神经元的输出，经由地址映射191从所述模型分区检索与人工神经网络中的神经元相关联的模型数据。此外，控制器151可与将输入存储到与模型分区183隔开的分区(例如，185)中的神经元并行地从模型分区183检索与神经元相关联的模型数据。

图15示出根据一个实施例的输入分区支持的预测性维护的方法。举例来说，图15的方法可使用图7或10的数据存储装置101和/或图8的存储媒体组件160实施于图1或2的车辆111中。举例来说，图15的方法可与图6、9和/或14的方法组合使用。

在框261处，数据存储装置101的非易失性存储器被配置到多个分区(例如，183、185、187、…)中。举例来说，非易失性存储器可具有实施于多个存储媒体组件(例如，161到163)中的相同类型的存储器单元(例如，NAND快闪存储器单元)。

在框263处，数据存储装置101分别针对分区(例如，183、185、187、…)，存储用于与人工神经网络125相关的不同类型的数据的不同存储器操作设置集(例如，193、195、197)，其中分区(例如，183、185、187、…)包含被配置成循环地存储用于人工神经网络125的输入数据的输入分区(例如，185)。

举例来说，输入分区185可被配置成存储用于人工神经网络125的外部输入而非内部输入。存储于输入分区185中的输入数据独立于来自人工神经网络125中的神经元的输出。

举例来说，存储于输入分区185中的输入数据可包含传感器数据流(例如，121)的一部分。在一些实施例中，从用于人工神经网络125中的神经元子集的传感器数据流(例如，121)计算存储于输入分区185中的输入数据。

举例来说，存储器操作设置(例如，195)将输入分区185配置成非易失性存储器中的每NAND存储器单元存储一个位以用于增强重复数据擦除和数据编程的耐久性。

举例来说，存储器操作设置(例如，195)将控制器配置成将输入数据依序写入到输入分区185中，并且用数据存储装置101中接收到的最新输入数据覆写输入分区185中的最旧输入数据。

在框265处，数据存储装置101从配置于车辆111上的至少一个传感器103接收传感器数据流(例如，121)。

在框267处，数据存储装置101的控制器151响应于传感器数据流(例如，121)，根据存储器操作设置集(例如，193、195、197)操作分区183、185、187、…中的存储器单元。

在框269处，具有数据存储装置101的计算机系统131使用人工神经网络125，基于传感器数据流(例如，121)预测车辆111的维护服务。

图16示出根据一个实施例的输入分区支持的预测性维护的方法。举例来说，图16的方法可使用图7或10的数据存储装置101和/或图8的存储媒体组件160实施于图1或2的车辆111中。举例来说，图16的方法可与图6、9、14和/或15的方法组合使用。

在框281处，数据存储装置101的非易失性存储器被配置到多个分区(例如，183、185、187、…)中。举例来说，非易失性存储器可具有用于存储数据的相同类型的存储器单元(例如，NAND快闪存储器单元)。

在框283处，数据存储装置101分别针对分区(例如，183、185、187、…)，存储用于与人工神经网络125相关的不同类型的数据的不同存储器操作设置集(例如，193、195、197)，其中分区(例如，183、185、187、…)包含被配置成存储用于人工神经网络125的输出数据的输出分区(例如，187)。

举例来说，存储于输出分区(例如，187)中的输出数据可包含人工神经网络125中神经元的状态数据。举例来说，人工神经网络中的神经元的状态数据可识别神经元的用于在脉冲神经网络中产生脉冲的激活水平。可经由微分方程控制所述激活水平。因此，激活水平可响应于发到人工神经网络125的输入和/或响应于时光流逝而改变。

举例来说，输出数据可包含通过人工神经网络125响应于传感器数据流而产生的预测或分类。

举例来说，存储器操作设置将输出分区配置成非易失性存储器中的每存储器单元存储不大于两个位。

在框285处，数据存储装置101从配置于车辆111上的至少一个传感器103接收传感器数据流(例如，121)。

在框287处，数据存储装置101的控制器151响应于传感器数据流(例如，121)，根据存储器操作设置集(例如，193、195、197)操作分区183、185、187、…中的存储器单元。

在框289处，具有数据存储装置101的计算机系统131使用人工神经网络125，基于传感器数据流(例如，121)预测车辆111的维护服务。

举例来说，数据存储装置101可包含缓冲器152。缓冲器152可经由易失性存储器(例如，SRAM或DRAM)实施以获得与数据存储装置101的非易失性存储器(例如，NAND快闪存储器)相比更快的存取性能。存储器操作设置将控制器151配置成在将输出数据存储到输出分区187中期间或之后，将输出数据存储于缓冲器152中以供处理器(例如，133)经由主机接口157存取。

举例来说，数据存储装置101可包含耦合到控制器151的神经网络加速器159。神经网络加速器被配置成将提供给人工神经网络125中神经元的输入应用于人工神经网络125的模型数据，以通过人工神经网络125中的一或多个输出神经元产生输出数据。响应于神经网络加速器159完成输出数据的计算，控制器被配置成为处理器(例如，133)提供对人工神经网络125产生的输出数据的可用性的指示，使得处理器(例如，133)可请求数据存储装置101发射输出数据。

任选地，控制器151被配置成与将输出数据存储到输出分区中并行地将输出数据提供到处理器。举例来说，控制器151可被配置成在处理器(例如，133)不请求在预定时间段内或在输出数据的下一个版本可用之前将输出数据发射到处理器(例如，133)的情况下，自动丢弃针对传感器数据流的先前片段计算的输出数据。任选地，在向处理器(例如，133)报告输出数据的可用性之后，控制器151可被配置成基于处理器(例如，133)对发到处理器(例如，133)的输出数据的响应，选择性地丢弃针对传感器数据流的先前片段计算的输出数据。举例来说，在一些情况下，处理器(例如，133)可在不将输出数据保存到输出分区(例如，187)中的情况下请求将输出数据发射到处理器(例如，133)；且在其它情况下，处理器(例如，133)可请求将输出数据发射到处理器(例如，133)并且将输出数据存储到输出分区(例如，187)中。

任选地，来自人工神经网络125的输出数据也可以循环方式存储到输出分区中(例如，针对在处理器(例如，133)选择的时间段内的输出数据的片段)。

举例来说，发到人工神经网络125的外部输入可在上一个时间段T1内连续地记录于输入名称空间185中。当以预定时间间隔T2对传感器数据取样时，输入名称空间185可保存最新T1/T2输入数据集。相比之下，来自人工神经网络125的外部输出可选择性地记录到输出名称空间187中(例如每个预定时间段T3记录一次，其中T3是T2的倍数)。输出数据可在较低频率下记录到输出名称空间187中；且可分配输出名称空间187来存储预定数目的输出数据集(例如，经由连续写入和以循环发生的写入来保持最后一个输出数据集)。

本文中所公开的至少一些实施例包含通信协议/接口来允许数据存储装置以通到主机处理器(例如，中央处理单元(CPU))的减小的数据流量执行运行中的神经网络加速度。

举例来说，车辆111的主机处理器(例如，133)可将写入命令提供到数据存储装置101以将人工神经网络模型模型存储于模型分区(例如，183)中。由于神经网络加速器159被配置成应用所述模型，因此可以减少或消除将ANN 125的模型的数据发送回到处理器的数据通信。

为在分类和/或预测中使用ANN模型，车辆111的主机处理器(例如，133)可将用于ANN 125的输入数据流式传输到神经元输入分区(例如，185)中。存储装置101的神经网络加速器159可根据地址映射191，将输入数据自动应用于存储于ANN模型分区(例如，183)中的模型。数据存储装置101使计算的输出可用于ANN 125中的传播。优选地，通过缓冲器152使计算的输出可用于神经网络加速器159而不需要将中间输出存储到存储媒体组件(例如，161到163)中。因此，可以减少主机处理器(例如，133)和数据存储装置101之间的用于输送神经元的输出的数据通信。当输出已传播到ANN 125中的输出神经元时，数据存储装置101可将响应提供到与将输入数据集写入到神经元输入分区(例如，185)中相关联的写入请求。所述响应指示来自ANN 125中的神经元的外部输出是可用的。作为响应，车辆111的主机处理器(例如，133)可任选地发出读取命令以检索外部输出供进一步处理。

图17示出根据一个实施例与数据存储装置101通信以实施神经网络计算。举例来说，如图17中所说明的通信可通过图7或10中所说明的数据存储装置101实施于图1或2的车辆111中。

在图17中，处理器133可配置有用以执行神经网络计算的简化指令集301，这是由于涉及ANN 125的计算中的一些是由数据存储装置101内的神经网络加速器159执行。因此，不必在使用ANN 125进行预测和/或分类期间将模型数据传输回到处理器133。

传感器103可基于数据的取样速率产生连续传感器数据121流。可以固定的预定时间间隔(例如，在车辆111的操作期间)对传感器数据121取样。处理器133可执行指令301以将传感器数据121转换成用于ANN 125中的输入神经元的输入流303。ANN 125中的输入神经元被配置成接受发到ANN 125的外部输入；且输出神经元被配置成提供来自ANN 125的外部输出。

一般来说，在某个时刻用于ANN 125的完整输入集包含用于ANN 125的整个输入神经元集的输入。输入流303包含针对根据固定的预定时间间隔彼此间隔开的时刻序列的输入集序列。

数据存储装置101以循环方式将输入流303存储到神经元输入名称空间185中，其中擦除与对目前存储于神经元输入名称空间185中的数据集的数据取样的最早时刻对应的最旧输入集以将最新输入集存储于输入流303中。

对于每一输入数据集，神经网络加速器159应用存储于ANN模型名称空间183中的ANN 125的模型。神经网络加速器159(或处理器133)可控制神经网络内的信号的传播。当ANN 125的输出神经元响应于输入数据集而产生其输出时，数据存储装置101可将对神经元输出准备好用于检索的指示提供到处理器133。所述指示可被配置于对来自处理器133的对将输入数据集写入到神经元输入名称空间185中的请求的响应中。处理器133可任选地检索输出数据305(例如，根据编程于指令中的条件和/或准则)。

在一些实施例中，触发参数被配置于数据存储装置101中。当外部输出317中的输出参数复合触发参数指定的要求时，数据存储装置提供对来自处理器133的对将输入数据集写入到神经元输入名称空间185中的请求的响应。

图18示出根据一个实施例与数据存储装置通信以实施神经网络计算。举例来说，图18的通信可结合图17的通信实施图7或10中所说明的数据存储装置101。

在图18中，模型名称空间183存储整个ANN 125的模型313。响应于接收到针对来自缓冲器152中的输入流303的时刻的外部输入集315，数据存储装置101可与检索含有ANN模型313的与输入神经元的参数和/或连接到输入神经元的神经元的身份标识对应的部分的神经元模型312并行地将外部输入315写入到输入名称空间185中。缓冲器152允许神经网络加速器159组合神经元模型312和外部输入325以产生输入神经元的输出327。

一般来说，神经元输出327可包含即用于在ANN 125内进一步传播的内部输出316的部分和/或即用于处理器133的外部输出317的部分。

内部输出316作为内部输入316存储于缓冲器152中以用于在ANN 125中以从外部输入315产生神经元输出327类似的方式进一步传播。举例来说，内部输入316的一部分可致使控制器151和/或神经网络加速器159检索与内部输入相关的对应神经元模型312，使得内部输入在神经网络加速器159中应用于对应神经元模型312以产生其神经元输出327。

当完整外部输出集317在缓冲器152中可用时，外部输出317可存储于输出名称空间187中。

任选地，存储装置101不存储与在一时刻取样的所存储外部输入集315对应的每一外部输出集317。举例来说，存储装置101可被配置成针对每预定数目的外部输入集(例如，315)存储一个外部输出集317。替代地或组合地，处理器133可确定是否存储外部输出317。举例来说，存储装置101可被配置成响应于处理器133检索外部输出317而存储外部输出317以供进一步处理。举例来说，存储装置101可被配置成在处理器133中对外部输出317进行处理之后，响应于来自处理器133的写入命令而存储外部输出317。

图19示出根据一个实施例与数据存储装置通信以实施神经网络计算的方法。举例来说，图19的方法可使用图7或10的数据存储装置101和/或图8的存储媒体组件160实施于图1或2的车辆111中。举例来说，图19的方法可与图6、9、14、15和/或16的方法组合使用。

在框341处，车辆111的一或多个处理器133将人工神经网络(例如，125)的模型数据(例如，313)存储到数据存储装置101中。

在框343处，车辆111的一或多个处理器133从配置于车辆111上的至少一个传感器103接收传感器数据集。

在框345处，车辆111的一或多个处理器133基于传感器数据产生发到人工神经网络(例如，125)的输入集。

在框347处，车辆111的一或多个处理器133将输入集提供到数据存储装置101。响应于所述输入集，数据存储装置101被配置成使用人工神经网络(例如，125)的模型数据313产生输出集。

在框349处，车辆111的一或多个处理器133从数据存储装置101检索输出集。

举例来说，数据存储装置101使用存储于数据存储装置中的模型数据183的至少一部分产生输出集而无需在收输入集于完成输出集的计算之间，将模型数据183的部分发射到一或多个处理器133。

举例来说，模型数据183的部分可包含人工神经网络(例如，125)中的神经元的静态属性和/或人工神经网络(例如，125)的神经元连接性数据。

举例来说，为将输入集提供到数据存储装置101，车辆111的一或多个处理器133可将一或多个写入命令发射到数据存储装置101。所述一或多个写入命令被配置成指示数据存储装置101将输入集存储于数据存储装置101中。在完成数据存储装置101中的输出集的计算之后，数据存储装置101的控制器151可将对一或多个写入命令的响应发射到一或多个处理器133。所述响应可包含对输出集可用于由一或多个处理器133检索的指示。

响应于所述指示，一或多个处理器133可任选地通过将读取命令发射到数据存储装置101以获得输出集(例如，在确定从数据存储装置101检索输出集以进行处理之后)，从数据存储装置101检索输出集。

替代地或组合地，车辆111的一或多个处理器133可确定是否将输出集存储于数据存储装置的非易失性存储器中。响应于确定将输出集存储于数据存储装置101的非易失性存储器中，车辆111的一或多个处理器133可将写入命令发射到数据存储装置101。

由于输出集初始地在数据存储装置101中产生并且接着缓冲于缓冲器152(例如，易失性存储器)中，因此数据存储装置101可执行写入命令以将输出集存储到输出名称空间187中，而无需响应于写入命令，将输出集发射到一或多个处理器133和/或从一或多个处理器133接收输出集。

举例来说，在从配置于车辆111上的至少一个传感器103接收到另一传感器数据121集之后，车辆111的一或多个处理器133基于所述另一传感器数据集产生发到人工神经网络125的另一输入集。

一或多个处理器133发射将另一输入集写入到数据存储装置101中的另一命令；且数据存储装置101使用人工神经网络125的模型数据183和所述另一输入集产生另一输出集。在接收到对写入另一输入集的另一命令的响应之后，一或多个处理器133可确定跳过对另一输出集的处理，并且将存储另一输出集的连续写入命令发射到数据存储装置101。作为响应，数据存储装置101可将缓冲于数据存储装置101内的另一输出集写入到输出名称空间187中，而无需将来自车辆111的一或多个处理器133的另一输出集发射到数据存储装置101和/或无需将来自数据存储装置101的另一输出集发射到车辆111的一或多个处理器133。

上文所论述的神经网络技术可用在根据一个实施例的用于车辆控制的驾驶者疲劳驾驶检测中。

举例来说，可训练人工神经网络来确定车辆的驾驶者是否处于疲劳状态。轿厢(cabin)相机可用以产生驾驶者的静态和/或视频图像，包含驾驶者的面部图像和/或驾驶者的姿势。通过人工神经网络实时地处理所述图像以对驾驶者是保持警醒的还是疲劳的进行分类。当人工神经网络将驾驶者的图像分类为处于疲劳状态时，车辆的计算机系统可被配置成向驾驶者提供温和指令并且检测来自驾驶的响应。可进一步分析对所述指令的反应以更准确地识别驾驶者疲劳驾驶。响应于驾驶者疲劳驾驶，车辆可采取进一步的动作，例如高级驾驶辅助系统(ADAS)以采取应急措施。举例来说，ADAS可将车辆减速和/或停止，和/或启用自主驾驶模式以避免可由驾驶者疲劳驾驶引起的事故隐患。

图20示出根据一个实施例的用以基于疲劳驾驶检测来控制车辆的系统。举例来说，图20的系统可通过图7或10的数据存储装置101实施于图1或2中所说明的车辆111。

在图20中，所述系统包含被配置成监测车辆111的驾驶者351的相机353。

举例来说，相机353可配置于车辆111的后视镜上、车辆111的侧视图镜上、车辆111的仪表盘上，或车辆111的信息娱乐系统149的显示面板上等。相机353被配置成面向驾驶者351以捕获展示驾驶者351的面部图像和/或驾驶者351的姿势的图像。驾驶者351的姿势可包含驾驶者351的头部相对于驾驶者351的驱干和/或车辆111的方向盘的方位和/或定向。

相机343可捕获驾驶者351的图像序列以用于在人工神经网络125中进行分析。所述图像可为以预定时间间隔所捕获的静态图像，或视频流中的视频图像。可分析所述图像中的每一个以提取与疲劳驾驶分类355相关的特征。举例来说，可识别图像中的驾驶者351的眼睛以测量眼睑的开度。举例来说，可从驾驶者351的面部图像识别面部上的关键特征以确定驾驶者351的面部表情。举例来说，可从图像测量驾驶者351的头部相对于车辆111和/或驾驶者351的驱干的取向。

ANN 125被配置成分析从相机353捕获的图像所提取的特征中的改变的时间序列。特征改变的时间分析可捕获指示疲劳驾驶的模式。

最初，可使用在已知个人疲劳的时间段期间和在已知个人保持警醒的其它时间段期间从所述个人所捕获的图像来训练ANN 125。

随后和/或替代地，可使用在预定驾驶者351不疲劳(例如，在早晨和/或在行程开头期间)的时间段期间的驾驶者351的图像来训练ANN 125。所述训练可针对驾驶者351定制ANN 125以辨识与驾驶者351的保持警醒状态相关联的模式，使得在当前状态与所辨识的保持警醒状态偏离时，可进行疲劳驾驶分类355。

当ANN 125检测到指示驾驶者351处于疲劳状态的疲劳驾驶分类355时，疲劳驾驶分类355致使车辆111的计算机系统131经由信息娱乐系统149与驾驶者351交互。举例来说，计算机系统131可指示驾驶者快速扫视后视镜或侧视镜，或瞥视车辆的左前侧或右前侧，或提供手势，例如点头或摇头、举手等。可经由不同音量的语音提供所述指令以测试驾驶者的意识。可经由相机353检测到对指令的响应。从所述测试，计算机系统131可确认疲劳驾驶的先前分类或将先前分类作为假警报给拒绝掉。

任选地，数据存储装置101自动存储发往ANN 125的输入数据的副本，以产生对疲劳驾驶的分类355。当随后确认或拒绝分类355时，所存储的输入数据可用以进一步训练ANN125以改进ANN 125的准确度。

任选地，具有ANN 125的相机353和数据存储装置101可配置为疲劳驾驶检测模块。所述模块将其疲劳驾驶分类355经由有线或无线连接传送到计算机系统131。替代地，车辆111的计算机系统131的数据存储装置101的一部分用以处理来自被配置成面向驾驶者351的相机353的输入。

当计算机系统131确定驾驶者351处于疲劳状态时，计算机系统131可任选地将来自驾驶者351的控制传送到车辆111的高级驾驶辅助系统(ADAS)105。举例来说，当ADAS 105具有完全自主驾驶能力时，ADAS 105可操作车辆控制357。可对照来自ADAS 105的决策验证来自驾驶者351的控制信号和/或任选地丢弃所述控制信号。举例来说，当计算机系统131确定驾驶者351处于疲劳状态时，ADAS 105可激活车辆111的应急灯并且使车辆111逐渐减速和/或限制车辆111的速度。

图21示出根据一个实施例的用于车辆控制的疲劳驾驶检测的方法。举例来说，图21的方法可使用图7或10的数据存储装置101和/或图8的存储媒体组件160实施于图1或2的车辆111中。举例来说，图21的方法可与图6、9、14、15、16和/或19的方法组合使用。

在框361处，被配置成面向车辆111的驾驶者351的相机353产生驾驶车辆111的驾驶者351的图像序列。

在框363处，人工神经网络125分析相机353产生的图像序列。

在框365处，人工神经网络125对驾驶者351是否处于疲劳状态进行分类。

在框367处，响应于人工神经网络125对驾驶者351处于疲劳状态的分类355，车辆111的信息娱乐系统149将指令提供给驾驶者351。

举例来说，信息娱乐系统149可被配置成经由语音提供指令。所述语音指令可以不同的音量提供以测试驾驶者351的警醒度/意识。

举例来说，所述指令可被配置成请求驾驶者351提供可在由相机353捕获的后续图像中检测的响应。举例来说，所请求的响应可为驾驶者351做出的手势。驾驶者351可通过移动驾驶者351的眼睛的观看方向，通过移动驾驶者351的头部，通过移动驾驶者351的手部，和/或通过移动驾驶者351的一或多个手指，做出手势。在一些实施方案中，所述手势可针对驾驶者351进行定制；且驾驶者351可通过做出移动并且训练人工神经网络125辨识所述手势来预先定义用以指示警醒度的手势。

人工神经网络125可被进一步配置成分析由相机353捕获的后续图像，以基于经由指令所请求的响应的缺失，确认疲劳驾驶的分类。

任选地，驾驶者351可经由语音提供指示非疲劳驾驶的响应。麦克风可被配置成接收语音响应；且人工神经网络125可被进一步配置成分析来自麦克风的输入以检测语音响应或语音响应的不存在。

任选地，车辆111可包含高级驾驶辅助系统(ADAS)105。举例来说，响应于疲劳驾驶分类355的确认，ADAS 105可至少部分地控制车辆111，例如激活完全控制车辆111的驾驶的自主驾驶功能；限制车辆111的速度；使车辆111减速和停止；将车辆111置于安全状态和/或方位；和/或验证驾驶者351提供的控制信号。

任选地，可训练人工神经网络125来辨识相机353产生的训练图像中的模式，其中所述模式是与驾驶者处于警醒状态相关联且所述训练图像是在驾驶者预定处于警醒状态的时间段期间产生。

举例来说，人工神经网络125可包含被配置成用于对从来自相机353的图像提取的特征进行时间分析的脉冲神经网络。

任选地，相机353和数据存储装置101可配置为疲劳驾驶检测模块。数据存储装置101存储人工神经网络125的模型数据(例如，313)。响应于接收到数据存储装置101中的图像序列，数据存储装置101使用其神经网络加速器159和模型数据(例如，313)分析图像序列并且对驾驶者是否处于疲劳状态进行分类。响应于疲劳驾驶分类355，疲劳驾驶检测模块将分类355传送到车辆111的计算机系统131，其致使车辆111的信息娱乐系统149将测试驾驶者351的警醒度的指令提供到驾驶者351。

服务器119、计算机系统131和/或数据存储装置101可各自实施为一或多个数据处理系统。

本公开包含执行上文所描述的方法的方法和设备，包含执行这些方法的数据处理系统，以及含有在数据处理系统上执行时致使所述系统执行这些方法的计算机可读媒体。

典型数据处理系统可包含互连件(例如，总线和系统核心逻辑)，其将微处理器和存储器互连。微处理器通常耦合到高速缓冲存储器。

互连件将微处理器和存储器互连在一起并且还将其经由I/O控制器互连到输入/输出(I/O)装置。I/O装置可包含显示装置和/或外围装置，例如鼠标、键盘、调制解调器、网络接口、打印机、扫描器、摄像机和所属领域中已知的其它装置。在一个实施例中，当数据处理系统为服务器系统时，I/O装置中的一些(例如打印机、扫描器、鼠标及/或键盘)是任选的。

互连件可以包含通过各种桥、控制器和/或适配器彼此连接的一或多个总线。在一个实施例中，I/O控制器包含用于控制通用串行总线(USB)外围装置的USB配接器，和/或用于控制IEEE-1394外围装置的IEEE-1394总线配接器。

存储器可包含以下中的一或多个：只读存储器(ROM)、易失性随机存取存储器(RAM)，和非易失性存储器，例如硬盘驱动器、快闪存储器等。

易失性RAM通常被实现为动态RAM(DRAM)，动态RAM需要不断供电以刷新或维护存储器中的数据。非易失性存储器通常是磁性硬盘驱动器、磁性光盘驱动器、光盘驱动器(例如，DVD RAM)，或即使在从系统去除电力之后仍维持数据的其它类型的存储器系统。非易失性存储器也可为随机存取存储器。

非易失性存储器可以是与数据处理系统中的其余组件直接耦合的本地装置。也可使用远离系统的非易失性存储器，例如通过例如调制解调器或以太网接口的网络接口耦合到数据处理系统的网络存储装置。

在本公开中，一些功能和操作被描述为由软件代码执行或由软件代码引起以简化描述。然而，此表达也用于指定所述功能是由例如微处理器的处理器执行代码/指令产生。

替代地或组合地，如此处所描述的功能和操作可使用具有或不具有软件指令的专用电路实施，例如使用专用集成电路(ASIC)或现场可编程门阵列(FPGA)。可使用并无软件指令的固线式电路或结合软件指令实施实施例。因此，技术不限于硬件电路系统和软件的任何特定组合，也不限于由数据处理系统执行的指令的任何特定来源。

虽然一个实施例可实施于全功能计算机和计算机系统中，但各种实施例能够分布为多种形式的计算产品，且能够不论实际上用于实现分布的机器或计算机可读媒体的特定类型如何都适用。

所公开的至少一些方面可至少部分体现于软件中。也就是说，这些技术可以在计算机系统或其它数据处理系统中执行，以响应于其处理器，如微处理器，执行存储器(例如ROM、易失性RAM、非易失性存储器、高速缓存或远程存储装置)中含有的指令序列。

经执行以实施实施例的例程可实施为操作系统或特定应用程序、组件、程序、物件、模块或被称作“计算机程序”的指令序列的部分。计算机程序通常包含计算机中的各种存储器和存储装置中在各种时间处的一或多个指令集，且所述指令集在由计算机中的一或多个处理器读取和执行时导致计算机执行必需操作以执行涉及各种方面的元件。

机器可读媒体可用于存储当由数据处理系统执行时使系统执行各种方法的软件和数据。可执行软件和数据可存储于包含例如ROM、易失性RAM、非易失性存储器和/或高速缓冲存储器的各处。此软件和/或数据的部分可以存储在这些存储装置中的任何一个中。此外，数据和指令可从集中式服务器或对等网络获得。数据和指令的不同部分可在不同时间处和在不同通信会话或相同通信会话中从不同集中式服务器和/或对等网络获得。可在执行应用程序之前获得全部数据和指令。替代地，可动态地、及时地在需要执行时获得数据和指令的部分。因此，并不要求数据和指令在特定时刻处全部在机器可读媒体上。

计算机可读媒体的实例包含但不限于非暂时性的可记录和不可记录类型的媒体，例如易失性和非易失性存储器装置、只读存储器(ROM)、随机存取存储器(RAM)、快闪存储器装置、软性和其它可装卸式磁盘、磁盘存储媒体、光学存储媒体(例如，光盘只读存储器(CDROM)、数字通用光盘(DVD)等)等等计算机可读媒体可存储指令。

指令也可体现在数字和模拟通信链路中以用于电学、光学、声学或其它形式的传播信号，例如载波、红外信号、数字信号等。然而，例如载波、红外信号、数字信号等的传播信号并非有形机器可读媒体且不能被配置成存储指令。

一般来说，机器可读媒体包含以可由机器(例如，计算机、网络装置、个人数字助理、制造工具、具有一或多个处理器集的任何装置等)存取的形式提供(即，存储和/或发射)信息的任何机制。

在各种实施例中，硬接线电路可与软件指令组合使用以实施技术。因此，技术既不限于硬件电路和软件的任何特定组合，也不限于由数据处理系统执行的指令的任何特定来源。

以上描述和图式是说明性的，且不应理解为限制性的。描述许多特定细节为提供透彻理解。然而，在某些情况下，不描述众所周知的或常规的细节以免混淆描述。本公开中对一个或一实施例的提及未必是指同一实施例；且此类提及意指至少一个。

在前述说明书中，已参考本公开的具体示例性实施例描述了本公开。将显而易见的是，可在不脱离如所附权利要求书中阐述的更广精神和范围的情况下进行各种修改。因此，应在说明性意义上而非限制性意义上看待说明书和图式。

Claims (20)

1.一种车辆，其包括：

相机，其被配置成面向所述车辆的驾驶者并且产生驾驶所述车辆的所述驾驶者的图像序列；

人工神经网络，其被配置成分析所述图像序列并且基于所述图像序列，对所述驾驶者是否处于疲劳状态进行分类；和

信息娱乐系统，其被配置成响应于所述人工神经网络对所述驾驶者处于所述疲劳状态的分类而将指令提供给所述驾驶者。

2.根据权利要求1所述的车辆，其中所述信息娱乐系统被配置成经由语音提供所述指令。

3.根据权利要求2所述的车辆，其中所述信息娱乐系统被配置成经由不同音量的语音提供所述指令以测试所述驾驶者的警醒度。

4.根据权利要求2所述的车辆，其中所述指令被配置成请求所述驾驶者提供可在所述相机所捕获的后续图像中检测的响应。

5.根据权利要求4所述的车辆，其中所述响应包含所述驾驶者做出的手势。

6.根据权利要求4所述的车辆，其中所述人工神经网络被进一步配置成分析由所述相机捕获的所述后续图像，以基于经由所述指令所请求的所述响应的缺失，确认疲劳驾驶的所述分类。

7.根据权利要求6所述的车辆，其另外包括：

高级驾驶辅助系统，其被配置成至少部分地响应于所述分类的确认来控制所述车辆。

8.根据权利要求7所述的车辆，其中所述高级驾驶辅助系统具有响应于所述分类的所述确认被激活的自主驾驶功能。

9.根据权利要求7所述的车辆，其中所述高级驾驶辅助系统被配置成响应于所述分类的所述确认而将所述车辆置于安全状态。

10.根据权利要求7所述的车辆，其中所述高级驾驶辅助系统被配置成响应于所述分类的所述确认而使所述车辆减速和停止。

11.根据权利要求7所述的车辆，其中所述高级驾驶辅助系统被配置成响应于所述分类的所述确认而限制所述车辆的速度。

12.根据权利要求7所述的车辆，其中所述高级驾驶辅助系统被配置成响应于所述分类的所述确认而验证由所述驾驶者提供的控制信号。

13.一种方法，其包括：

通过被配置成面向车辆的驾驶者的相机，产生驾驶所述车辆的所述驾驶者的图像序列；

通过人工神经网络，分析随时间变化的所述图像序列；

通过所述人工神经网络，对所述驾驶者是否处于疲劳状态进行分类；和

通过所述车辆的信息娱乐系统，响应于所述人工神经网络对所述驾驶者处于所述疲劳状态的分类而将指令提供给所述驾驶者。

14.根据权利要求13所述的方法，其另外包括：

在所述车辆中，训练所述人工神经网络辨识所述相机产生的训练图像中的模式，其中所述模式是与所述驾驶者处于警醒状态相关联且所述训练图像是在所述驾驶者预定处于所述警醒状态的时间段期间产生。

15.根据权利要求14所述的方法，其中所述人工神经网络包含脉冲神经网络。

16.根据权利要求13所述的方法，其另外包括：

响应于疲劳驾驶的所述分类，将指令提供给所述驾驶者以请求可经由所述相机检测的响应。

17.根据权利要求16所述的方法，其另外包括：

在所述指令之后，通过所述相机产生后续图像；和

基于所述后续图像的分析，确定对疲劳驾驶的所述分类的确认。

18.根据权利要求13所述的方法，其中所述后续图像的所述分析是由所述人工神经网络执行。

19.一种设备，其包括：

相机，其被配置成面向车辆的驾驶者并且产生驾驶所述车辆的所述驾驶者的图像序列；和

数据存储装置，其被配置成存储人工神经网络的模型数据，其中响应于在所述数据存储装置中接收到所述图像序列，所述数据存储装置被配置成分析所述图像序列并且基于所述图像序列，对所述驾驶者是否处于疲劳状态进行分类；

其中所述设备被配置成将所述人工神经网络对所述驾驶者处于所述疲劳状态的分类传送到所述车辆的计算机系统，以致使所述车辆的信息娱乐系统将指令提供给所述驾驶者以测试所述驾驶者的警醒度。

20.根据权利要求19所述的设备，其中所述指令被配置成请求所述驾驶者提供可经由所述相机检测的响应；且所述相机被进一步配置成在所述指令之后产生后续图像，且所述数据存储装置被进一步配置成基于在所述人工神经网络中对所述后续图像的分析，确定对疲劳驾驶的所述分类的确认。

Images