CN116080688B

CN116080688B - 一种类脑启发的智能驾驶视觉辅助方法、装置及存储介质

Info

Publication number: CN116080688B
Application number: CN202310193706.3A
Authority: CN
Inventors: 邓岳; 张宇轩
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2023-03-03
Filing date: 2023-03-03
Publication date: 2023-07-11
Anticipated expiration: 2043-03-03
Also published as: CN116080688A

Abstract

本发明公开了一种类脑启发的智能驾驶视觉辅助方法、装置及存储介质，方法包括：根据脉冲神经元放电特性，构建异质记忆脉冲神经元模型；基于异质记忆脉冲神经元模型，构建星形胶质细胞调控的液体状态机网络模型；将星形胶质细胞调控的液体状态机网络模型嵌入前馈式卷积脉冲神经网络，获得用于驾驶端实时视频处理的神经形态模型，并使用学习‑睡眠机制启发的交错训练策略进行模型训练学习；将驾驶端获取的实时视频输入训练后的神经形态模型，输出智能驾驶过程中的决策指令；该方法可以满足自动驾驶视觉辅助功能的实时性、鲁棒性以及功耗的要求，有助于提升自动驾驶的稳定性及安全性，适用于多变的真实驾驶场景。

Description

一种类脑启发的智能驾驶视觉辅助方法、装置及存储介质

技术领域

本发明涉及自动驾驶及类脑计算技术领域，更具体的说是涉及一种类脑启发的智能驾驶视觉辅助方法、装置及存储介质。

背景技术

自动驾驶技术源于人工智能和计算机科学，旨在依托非人工的方法实现车辆的路径规划、速率控制、自动避障等功能，能够有效提高车辆的出行效率，极大程度上避免因司机不当操作而导致的交通事故。然而，在数据处理方面，自动驾驶汽车的车载计算系统需要完成对大量异构传感器数据的实时处理，其中仅摄像头每秒就产生1.8GB的数据。为解决该问题，有研究者提出了自动驾驶与云计算相结合的方案，将数据上传到云端处理。尽管云端有充沛的算力资源，但数据传输过程的时延问题、核心网络的带宽问题，都无法满足自动驾驶较高的实时性、稳定性和安全性的要求。因此，对于自动驾驶场景中的视频智能处理任务，受制于通信延迟和带宽等问题，需要依托于车载边缘计算设备。

虽然现阶段基于ANN的大型视频分析与处理模型在诸如目标检测、车道保持等自动驾驶视觉任务上表现出良好的性能，但这种模型对算力的需求、部署所需能耗都较高，不利于在边缘计算场景下直接使用。并且由于实时解算的速度较低，难以在高速行驶的自动驾驶汽车上实现高帧率实时化运行，依然存在安全性问题，容易导致出现交通事故。

当前，前馈式脉冲神经网络模型已经能够结合诸如卷积、注意力等深度学习方法，完成多样化的定制任务，但网络本身只能通过脉冲神经元的电势积累形成短期的记忆。现有模型不具备贴合真实大脑网络中的记忆功能，在复杂多变的输入下计算精度及适应性和鲁棒性不足，无法应对多变的真实驾驶场景；智能驾驶的安全性及稳定性都有待于提高。

因此，如何满足自动驾驶视觉辅助功能的实时性、鲁棒性以及低功耗的要求，以便于提升自动驾驶的稳定性及安全性，适用于多变的真实驾驶场景，是本领域技术人员亟需解决的问题。

发明内容

鉴于上述技术问题，本发明提供至少解决上述部分技术问题的一种类脑启发的智能驾驶视觉辅助方法、装置及存储介质，该方法可以满足自动驾驶视觉辅助功能的实时性、鲁棒性以及低功耗的要求，有助于提升自动驾驶的稳定性及安全性，适用于多变的真实驾驶场景。

为实现上述目的，本发明采取的技术方案为：

第一方面，本发明实施例提供一种类脑启发的智能驾驶视觉辅助方法，包括以下步骤：

S1、根据脉冲神经元放电特性，构建异质记忆脉冲神经元模型；

S2、基于所述异质记忆脉冲神经元模型，构建星形胶质细胞调控的液体状态机网络模型；

S3、将所述星形胶质细胞调控的液体状态机网络模型嵌入前馈式卷积脉冲神经网络，获得用于驾驶端实时视频处理的神经形态模型，并使用学习-睡眠机制启发的交错训练策略进行模型训练学习；

S4、将驾驶端获取的实时视频输入训练后的神经形态模型，输出智能驾驶过程中的决策指令。

进一步地，所述步骤S1中，所述异质记忆脉冲神经元模型为：

I^k(t)＝∑_i∈N(k)w_ikOⁱ(t-1)

u^k(t)＝f[(1-τ^k)u^k(t-1)+C^kI^k(t)]

u^k(t)＝(1-O^k(t))u^k(t)

其中，I^k(t)代表神经元k在第t步时接收到的外部邻接神经元脉冲刺激，N(k)表示所有与神经元k相连的神经元集合，w_ik表示神经元i与神经元k之间的突触连接权重，0ⁱ(t-1)是神经元i在上一步的最终脉冲输出；u^k(t)表示神经元k在第t步时的膜电位，

表示膜电位阈值，f(·)是Leaky-ReLU方程，τ^k和C^k分别代表膜电位衰减常数与电容常数；0^k(t)表示神经元k在第t步时的脉冲输出，Θ(·)表示阶跃函数。

进一步地，所述步骤S2中，所述星形胶质细胞调控的液体状态机网络模型的液体状态机由三部分组成，分别是输入层、液体状态层和输出层，其中输入输出层与经典的全连接层无异，液体状态层包含稀疏随机循环式连接，使模型具备结构记忆性；其工作流程为一组时间脉冲序列u(t)输入到液体状态层L^M中，液体状态层包含了M个异质神经元，经过神经元的信息交互和状态更新后得到M维的状态向量X^M(t)，通过映射函数f^M将其连接到输出层，最终得到输出y(t)；

X^M(t)＝L^M(u(t))

y(t)＝f^M(X^M(t))

使用STDP算法构建星形胶质细胞对突触权重的调节模型为：

其中，σ_a表示星形胶质细胞的调节因子，τ_a为调节因子随时间的衰减常数，W_a为相应的权重因子，表征胶质细胞对外界输入的敏感程度，δ为脉冲函数，N_input和N_liquid分别表示输入与液体状态神经元的集合，i和j为神经元序号。

进一步地，所述步骤S3中，所述使用学习-睡眠机制启发的交错训练策略进行模型训练学习，具体为：

将输入的视频序列中的图像帧转化为脉冲序列，将所述脉冲序列送入脉冲卷积模块中得到时空特征编码，通过星形胶质细胞调控的液体状态机网络模型得到加工处理后的记忆信息，并由额外的读出层转换为决策所需的输出向量；

每个训练轮次都分为监督阶段和无监督阶段进行双层优化，其中：

在监督阶段基于STBP算法进行权重的更新，损失函数使用平方差损失；输出层共有S个神经元，记输出脉冲序列的时间长度为T，第s个输出神经元在第t个时间步长时的响应为

标签值对应的脉冲个数为y_S，相应的损失函数为：

在无监督阶段使用STDP算法进行权重的更新；

液体状态机网络模型使用星形胶质细胞对突触权重调节的STDP算法进行学习。

第二方面，本发明实施例还提供一种类脑启发的智能驾驶视觉辅助装置，应用上述的一种类脑启发的智能驾驶视觉辅助方法，输出智能驾驶过程中的决策指令，该装置包括：

模型构建模块，根据脉冲神经元放电特性，构建异质记忆脉冲神经元模型；基于所述异质记忆脉冲神经元模型，构建星形胶质细胞调控的液体状态机网络模型；将所述星形胶质细胞调控的液体状态机网络模型嵌入前馈式卷积脉冲神经网络，获得用于驾驶端实时视频处理的神经形态模型；

模型训练模块，使用学习-睡眠机制启发的交错训练策略进行模型训练学习；

指令输出模块，将驾驶端获取的实时视频输入训练后的神经形态模型，输出智能驾驶过程中的决策指令。

第三方面，本发明实施例还提供一种存储介质，其上存储有计算设备可读的一个或多个程序，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述的一种类脑启发的智能驾驶视觉辅助方法。

与现有技术相比，本发明至少具有如下有益效果：

1、本发明提供了一种类脑启发的智能驾驶视觉辅助方法、装置及存储介质，本发明方法中构建了类脑启发的脉冲神经形态模型用于智能驾驶视觉辅助，该方法可以满足自动驾驶视觉辅助功能的实时性、鲁棒性以及低功耗的要求，有助于提升自动驾驶的稳定性及安全性，适用于多变的真实驾驶场景。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明实施例提供的一种类脑启发的智能驾驶视觉辅助方法的流程步骤示意图。

图2为本发明实施例提供的类脑启发的异质记忆脉冲神经元模型示意图。

图3a为本发明实施例提供的星形胶质细胞调控的液体状态机网络示意图。

图3b为本发明实施例提供的自适应STDP无监督学习策略示意图。

图4为本发明实施例提供的学习-睡眠机制启发的交错训练策略示意图。

图5为本发明实施例提供的一种用于驾驶端实时视频处理的神经形态模型示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

首先需要阐述的是：就微观神经细胞机理层面而言，大脑中一种长期被忽视的非神经元细胞，即星形胶质细胞，在修改突触可塑性到促进认知状态之间的切换等功能方面发挥着关键作用。星形胶质细胞用以调节神经元的机制包括将成千上万个突触的活动整合成一个缓慢变化的胞内连续信号，以及通过影响突触可塑性将信号反馈给周围的神经元。因此，本发明提出了星形胶质细胞调控的液体状态机模型(Astrocyte-based LiquidState Machine，A-LSM)，一方面，细化了异质神经元的动力学模型，用以构建异质脉冲神经网络。另一方面，本发明通过在液体状态机模型中引入具有突触总体调控功能的星形胶质细胞，使得模型具备自行调节神经元活动至液体动力学临界稳态的能力。将A-LSM模块引入前馈脉冲神经网络中，可以在增强网络记忆性的同时，从网络结构上赋予其表征动态多变输入的能力。

就宏观记忆环路学习范式层面而言，与当前的人工智能模型相比，大脑能够终身学习新任务，而不会影响其执行先前记忆的任务的能力，并且早有研究表明，当学习轮次穿插在睡眠期间时，人脑的学习效果最好。即睡眠有助于将最近的经历纳入长期记忆库。在该生物视角下，最新的研究揭示了将任务训练与离线重新激活的时期交织在一起，模仿生物睡眠的方法有助于缓解神经网络的灾难性遗忘问题。因此，本发明提出将监督/无监督的交错训练策略用于上述脉冲神经网络的权重学习，从学习过程上赋予针对多场景、全地形输入的处理鲁棒性。

下面结合附图，对本发明的一些实施方式作详细说明。

实施例1：

参照图1所示，本发明提供了一种类脑启发的智能驾驶视觉辅助方法，该方法包括以下步骤：

S1、根据脉冲神经元放电特性，构建类脑启发的异质记忆脉冲神经元模型；

下面对上述各个步骤进行详细的说明：

在上述步骤S1中，根据脉冲神经元放电特性，构建类脑启发的异质记忆脉冲神经元模型为；

I^k(t)＝∑_i∈N(k)w_ikOⁱ(t-1)

u^k(t)＝f[(1-τ^k)u^k(t-1)+C^kI^k(t)]

u^k(t)＝(1-O^k(t))u^k(t)

四个方程分别独立地描述了神经元接受外部刺激、膜电位更新、脉冲信号产生和膜电位的重置机制。

类脑启发的异质记忆脉冲神经元模型及其信号处理流程如图2所示，图2中I_t和O_t分别表示神经元的输入、输出脉冲信号，u_t表示膜电位，τ、C和u_th分别表示代表神经元属性的膜电位衰减常数、电容常数和膜电位阈值常数，图中左下箭头代表脉冲频率。

每个神经元都具有独立的一组内参数集合

在相应内参的控制作用下，神经元根据输入信号I_t更新自身的膜电位u_t，从而决定是否发放脉冲，产生输出响应O_t。在相同输入刺激下，具有不同内参的神经元将具有截然不同的响应，如图中α¹、α²和α³所对应的图形所示。

具体的，上述的类脑启发的异质记忆脉冲神经元模型中：

第一个方程定义了神经元接受外部刺激的过程：其中I^k(t)代表神经元k在第t步时接收到的外部邻接神经元脉冲刺激，N(k)表示所有与神经元k相连的神经元集合，w_ik表示神经元i与神经元k之间的突触连接权重，0ⁱ(t-1)是神经元i在上一步的最终脉冲输出。

第二个方程描述了膜电位的更新：其中，u^k(t)表示神经元k在第t步时的膜电位，f(·)是Leaky-ReLU方程，τ^k和C^k分别代表膜电位衰减常数与电容常数。

第三个方程描绘了脉冲信号的产生：其中，0ⁱ(t-1)是神经元i在上一步的最终脉冲输出，利用阶跃函数Θ(·)比较当前膜电位u^k(t)和膜电位阈值

前者高于后者时神经元将发放脉冲信号。

第四个方程实现了膜电位的重置：一旦神经元发放脉冲信号，其膜电位就将被重置为静息状态。

通过参数化神经元内部变量，能够使得网络整体对于脉冲输入而言具备更强大的表征能力和记忆功能。

在上述步骤S2中，

基于异质记忆脉冲神经元模型，构建星形胶质细胞调控的液体状态机网络模型(Astrocyte-based Liquid State Machine，A-LSM)。如图3a所示，液体状态机主要由三部分组成，分别是输入层、液体状态层和输出层，其中输入输出层与经典的全连接层无异，液体状态层包含大量的稀疏随机循环式连接，从而使模型具备结构记忆性。其工作流程为一组时间脉冲序列u(t)输入到液体状态层L^M中，液体状态层包含了M个异质神经元，经过神经元的信息交互和状态更新后得到M维的状态向量X^M(t)，通过映射函数f^M将其连接到输出层，最终得到输出y(t)；

X^M(t)＝L^M(u(t))

y(t)＝f^M(X^M(t))

本实施例中，在无监督状态(睡眠状态)下，使用脉冲时间依赖可塑性改进的自适应STDP学习算法(Spike-Timing-Dependent Plasticity，STDP)训练脉冲神经网络，其中突触权重根据突触前和突触后神经元的脉冲发放时间更新：每当突触后神经元在突触前神经元之前发放脉冲时，对应二者之间权重正向增强，反之则减弱。为衡量权重变化的相对量，建模前/后突触迹变量x_pre/post如下，该变量可解释为反传的动作电位在突触处引起的电压，或者是由于反向传播的动作电位引起的钙离子进入：

其中，

和a_+/-分别为正向/负向迹变量的衰减时间常数和累积常数。/>

代表第i个突触前神经元的放电时间，/>

代表第o个突触后神经元的放电时间。由此建立STDP突触权重更新规则：

其中，σ_a为星形胶质细胞的调节因子，δ为脉冲函数。建立星形胶质细胞对突触权重的调节模型如下：

上式展示了在输入神经元与液体状态神经元的脉冲序列刺激下，星形胶质细胞的调节因子随时间变化的过程。其中，τ_a为调节因子随时间的衰减常数，W_a为相应的权重因子，表征胶质细胞对外界输入的敏感程度N_input和N_liquid分别表示输入与液体状态神经元的集合，i和j为神经元序号。星形胶质细胞模型通过计算输入神经元与液体状态神经元产生的脉冲数量差异，动态调节网络中的权重整体偏向增长或衰减，从而使得液体状态脉冲模式能够与特定的输入模式相匹配，克服网络活动过饱和或过稀疏的情况，增强对于复杂输入的鲁棒性。如图3b所示，不同的σ值对应网络整体在更新突触权重时倾向不同。记单个突触在STDP学习过程中，t_pre代表突触前神经元的放电时间，t_post代表突触后神经元的放电时间。σ值较大时，突触在学习前后的变化值ΔW将会受到正向加强，负向抑制的作用；反之，较小的σ值则对应ΔW正向抑制，负向加强。

在上述步骤S3中，利用A-LSM嵌入前馈式卷积脉冲神经网络后，使用学习-睡眠机制启发的交错训练策略进行模型学习，学习-睡眠机制启发的交错训练策略如图4所示。

如图4所示，图4中α和W表示网络中的神经元内参数和突触权重参数。每个训练轮次都分为监督阶段和无监督阶段进行双层优化，上层优化目标为提高网络在给定任务下的精度表现，使用基于标签信息使用脉冲时空反向传播算法(Spatio-temporalbackpropagation，STBP)进行权重的更新，损失函数使用平方差损失(Mean Square Error,MSE)：在输出层共有S个神经元的情况下，记输出脉冲序列的时间长度为T，第s个输出神经元在第t个时间步长时的响应为

标签值对应的脉冲个数为y_S，则相应的损失函数为：

下层优化目标为强化模型对已学习信息的记忆性，对无用和有用的突触连接实现自衰减与自更新，使用STDP算法进行权重的更新，针对A-LSM中液体状态层的神经元使用星形胶质细胞调控的STDP算法。

进一步地，如图5所示，在训练学习完成后，将驾驶端前置摄像头获取的实时视频输入训练后的神经形态模型，若视频采集源为事件相机，则可直接使用摄像头所采集的事件流脉冲序列；若视频采集源为普通RGB相机，则需要将视频序列中的图像帧通过泊松编码或其他常见的频率编码方式脉冲化。接着将脉冲序列送入脉冲卷积模块中得到输出的特征图，进一步通过星形胶质细胞调控的液体状态机网络模型(A-LSM)得到加工处理后的时空特征编码，并由额外的读出层(脉冲读出模块)转换为任务所需的输出向量，以自动驾驶车道保持任务为例，能够根据给定的驾驶视角视频实时输出左右转向的决策指令。在较复杂的目标检测、语义分割等自动驾驶视觉辅助任务上，只需将模型前后端更换为相应的检测、分割读入和输出头网络即可。

由上述实施例的描述，本领域技术人员可获知本发明提供了一种类脑启发的智能驾驶视觉辅助方法，依托于基于脉冲的液体状态机(Liquid State Machine，LSM)技术来模拟大脑的混沌动力学，同时满足自动驾驶场景下对于视觉任务训练和推理过程高实时、低能耗、轻量化的要求；通过构建异质记忆脉冲神经元模型，丰富网络的表征能力；通过引入并建模星形胶质细胞(一种在功能上调节突触可塑性和大脑动力学的非神经元脑细胞)，调控网络的记忆能力，适应上下强关联的连续视频流输入；通过借鉴大脑的训练期与睡眠期交错进行的记忆巩固机制，在监督学习的过程中引入无监督学习阶段，以突触自修复功能增强算法对于复杂输入模式的适应性和鲁棒性，有助于提升自动驾驶的稳定性及安全性，更适用于多变的真实驾驶场景。

实施例2：

本发明还提供了一种类脑启发的智能驾驶视觉辅助装置，该装置包括：

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容，在此不再赘述。

实施例3：

本发明实施例还提供一种存储介质，其上存储有计算设备可读的一个或多个程序，一个或多个程序包括指令，指令当由计算设备执行时，使得计算设备执行实施例1中的温度传感器使用寿命快速验证方法。

本发明实施例中，存储介质例如可以是电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备以及上述的任意合适的组合。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种类脑启发的智能驾驶视觉辅助方法，其特征在于，包括以下步骤：

S4、将驾驶端获取的实时视频输入训练后的神经形态模型，输出智能驾驶过程中的决策指令；

所述步骤S1中，所述异质记忆脉冲神经元模型为：

I^k(t)＝∑_i∈N(k)w_ikOⁱ(t-1)

u^k(t)＝f[(1-τ^k)u^k(t-1)+C^kI^k(t)]

u^k(t)＝(1-O^k(t))u^k(t)

表示膜电位阈值，f(·)是Leaky-ReLU方程，τ^k和C^k分别代表膜电位衰减常数与电容常数；0^k(t)表示神经元k在第t步时的脉冲输出，Θ(·)表示阶跃函数；

所述步骤S2中，所述星形胶质细胞调控的液体状态机网络模型的液体状态机由三部分组成，分别是输入层、液体状态层和输出层，其中输入输出层与经典的全连接层无异，液体状态层包含稀疏随机循环式连接，使模型具备结构记忆性；其工作流程为一组时间脉冲序列u(t)输入到液体状态层L^M中，液体状态层包含了M个异质神经元，经过神经元的信息交互和状态更新后得到M维的状态向量X^M(t)，通过映射函数f^M将其连接到输出层，最终得到输出y(t)；

X^M(t)＝L^M(u(t))

y(t)＝f^M(X^M(t))

使用STDP算法构建星形胶质细胞对突触权重的调节模型为：

2.根据权利要求1所述的一种类脑启发的智能驾驶视觉辅助方法，其特征在于，所述步骤S3中，所述使用学习-睡眠机制启发的交错训练策略进行模型训练学习，具体为：

标签值对应的脉冲个数为ys，相应的损失函数为：

在无监督阶段使用STDP算法进行权重的更新；

3.一种类脑启发的智能驾驶视觉辅助装置，其特征在于，应用如权利要求1-2任一项所述的一种类脑启发的智能驾驶视觉辅助方法，输出智能驾驶过程中的决策指令。

4.根据权利要求3所述的一种类脑启发的智能驾驶视觉辅助装置，其特征在于，该装置包括：

5.一种存储介质，其上存储有计算设备可读的一个或多个程序，其特征在于：所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1至2中任一项所述的一种类脑启发的智能驾驶视觉辅助方法。