CN113938397B - 一种车载时间敏感网络中sr类流量时延预测方法及装置 - Google Patents

Abstract

本发明公开了一种车载时间敏感网络中SR类流量时延预测方法及装置，包括建立车载时间敏感网络中SR类流量时延协议数学模型；以以太网交换机作为智能体，采用Sarsa强化学习算法对所建立的协议数学模型进行学习，建立车载时间敏感网络传输时延智能体模型；基于所建立的SR类流量时延智能体模型计算SR类流量时延。本发明通过建立车载TSN时延模型，结合Sarsa强化学习方法拟合车载TSN数据转发规则，有效的提高了车载TSN中SR类流量传输时延值预测的准确性。

Description

一种车载时间敏感网络中SR类流量时延预测方法及装置

技术领域

本发明涉及车载以太网技术领域，具体涉及一种车载时间敏感网络中SR类流量时延预测方法及装置。

背景技术

在自动驾驶和车联网的大背景下，汽车向智能化、网联化、电动化和共享化快速发展。汽车在功能与性能上得到了很大的丰富与提升。TSN(车载时间敏感网络)由于低成本、低时延、高带宽的优势备受关注，并成为了汽车骨干网络的选择之一。在此大环境下，车载TSN快速的发展。因此，车载TSN的传输时延研究显得尤为重要。

虽然近年来TSN时延分析和建模取得很大进展，但大部分流预留类流量(SR)传输时延分析的模型中，并未考虑到相应的随机过程。最小时延分析考虑的是不受干扰理想条件下的时延大小，而最差时延分析是指所有干扰都考虑下的时延大小，即时延的最大边界值。在实际网络中，其时延可能永远达不到这个边界值，因此现有的分析模型不适用于车载TSN中SR类数据传输时延分析，迫切需要发展一套更为精确的数学模型来分析和估计车载TSN中SR类数据传输时延。

发明内容

为了解决上述问题，提高车载TSN的SR类流量传输时延分析的准确性，本发明提出了一种车载时间敏感网络中SR类流量时延预测方法及装置，根据车载以太网交换机处各类数据流的种类、预留带宽、帧长及链路负载等时延影响因素，基于Sarsa强化学习方法拟合以太网交换机处数据流转发规则，建立车载TSN时延预测方法，使时延预测更加精确。

本发明采取的技术方案如下：

本发明提供一种车载时间敏感网络中SR类流量时延预测方法，包括：

建立车载时间敏感网络中SR类流量时延协议数学模型；

以以太网交换机作为智能体，采用Sarsa强化学习算法对所建立的协议数学模型进行学习，建立车载时间敏感网络传输时延智能体模型；

基于所建立的车载时间敏感网络传输时延智能体模型计算SR类流量时延。

进一步的，所述建立车载时间敏感网络中SR类流量时延协议数学模型，包括：

R_SR＝R_FIFO+R_CBS+R_TAS；

其中，R_SR为SR类流量的时延，R_FIFO为先进先出时延，R_CBS为基于信用整形时延，R_TAS为时间感知整形时延；

先进先出时延表示为：

其中，M为待转发的数据帧帧长，C为传输速率，R为预留带宽，M′_τ为同类型数据帧阻塞等效帧，为同类型数据帧的信用值下降速率，/>为同类型数据帧的信用值增长速率；

基于信用整形时延表示为：

M^A′＝MA′_B，或M^A′＝M^A′ _BE

其中，为A类数据帧的基于信用整形时延，/>为A类数据帧的低优先级流量阻塞时延，M^A′ _B表示B类数据帧阻塞A类数据帧传输时的等效帧长度，M^A′ _BE表示BE类数据帧阻塞A类数据帧传输时的等效帧长度，/>为B类数据帧的基于信用整形时延，/>为B类数据帧的低优先级流量阻塞时延，/>为B类数据帧的高优先级流量阻塞时延，M^B′ _BE为BE类数据帧阻塞B类数据帧传输时的等效帧长度，R_FIFO(A)为A类数据帧先进先出时延；SR类数据帧包括A类音频数据帧和B类视频数据帧，BE类数据帧为最大努力流量类数据帧；

当A类数据帧被B类数据帧阻塞时，M^A′＝M^A′ _B，当A类数据帧被BE类数据帧阻塞时，M^A′＝M^A′ _BE；时间感知整形时延模型为：

R_TAS＝L_CDT；

其中，L_CDT为控制消息流量CDT时间槽长度。

进一步的，所述车载时间敏感网络传输时延智能体模型以以太网交换机缓冲区的数据流的状态作为Q值表输入，以交换机转发某类数据帧的行为作为动作。

进一步的，所述车载时间敏感网络传输时延智能体模型的动作空间表示为：

其中，A为智能体模型的动作空间，车载时间敏感网络中的流量分为：控制消息流量CDT类数据帧，流预留类流量SR类数据帧和最大努力流量BE类数据帧，SR类数据帧包括A类音频数据帧和B类视频数据帧。

进一步的，采用Sarsa强化学习算法对所建立的协议数学模型进行学习中，

将智能体模型的动作空间量化为：A＝[1,2,3,4,5,6]；

其中，1表示空闲，2表示传输CDT帧，3表示传输A类帧，4表示传输B类帧，5表示传输BE类帧，6表示继续当前传输动作。

进一步的，采用Sarsa强化学习算法对所建立的协议数学模型进行学习中，

将智能体模型的状态表示为：

其中，S为智能体模型的状态空间，Credit_C，Amount_C，Transmit_C表示CDT类数据帧的信用值、待转发数量和该帧是否正在传输，Credit_A，Amount_A，Transmit_A表示A类音频数据帧的信用值、待转发数量和该帧是否正在传输，Credit_B，Amount_B，Transmit_B表示B类视频数据帧的信用值、待转发数量和该帧是否正在传输，Credit_BE，Amount_BE，Transmit_BE表示BE类数据帧的信用值、待转发数量和该帧是否正在传输。

进一步的，采用Sarsa强化学习算法对所建立的协议数学模型进行学习中，

根据各状态量与0的关系，将智能体模型的状态空间划分为若干子状态。

进一步的，采用Sarsa强化学习算法对所建立的协议数学模型进行学习中，

设定每个子状态下的最优动作的回报值为10，其余动作回报值为0。

进一步的，基于所建立的车载时间敏感网络传输时延智能体模型计算SR类流量时延，包括：

初始化智能体模型状态，即各数据帧的Credit、Amount、Transmit参数；

写入TSN流量各数据帧入队时间；

根据Q值表采用ε-greedy算法确定动作量a；

基于确定的动作量a确定传输数据类型，更新Credit、Amount、Transmit参数；

根据所建立的时延协议数学模型计算该状态下相应数据帧的时延；

更新智能体模型状态，重新根据Q值表选择动作量a，直到达到终止条件，计算SR类流量数据帧时延。

进一步的，所述根据Q值表采用ε-greedy算法确定动作a，包括：

初始化Q(s、a)为任意值，并初始化状态s；

根据Q值表在当前状态s_k下，采用ε-greedy算法选择动作量a_k；

更新Q值表和状态，判断是否达到结束条件，若是则输出选择的动作量a，否则继续迭代选择动作量。

进一步的，

Q值表更新如下：

Q(s_k，a_k)←Q(s_k，a_k)+a[r_k+1+yQ(s_k+1，a_k+1)-Q(s_k，a_k)]

其中，r_k+l为第k+1次迭代的收益，为回报的累加，α为学习率，γ为遗忘率。

本发明还提供一种车载时间敏感网络中SR类流量时延预测装置，包括：

构建模块，用于建立车载时间敏感网络中SR类流量时延协议数学模型；

智能体模块，用于以以太网交换机作为智能体，采用Sarsa强化学习算法对所建立的协议数学模型进行学习，建立车载时间敏感网络传输时延智能体模型；

以及，

计算模块，用于基于所建立的车载时间敏感网络传输时延智能体模型计算SR类流量时延。

本发明的有益效果为：本发明对车载TSN流量类型进行分类，分析SR类流量时延组成；在此基础上，结合车载TSN协议构建计算非时延边界值的数学模型；最后基于Sarsa强化学习方法拟合车载TSN转发规则，构建基于Sarsa强化学习算法的车载TSN中SR类流量的时延分析模型。本发明建立一套计算非时延边界值的传输时延协议数学模型，因此可以更加精确的预测系统中SR类流量的传输时延；同时，基于Sarsa强化学习算法拟合协议数学模型，使模型具有更好的适应性。

附图说明

图1是车载TSN数据类型划分图；

图2是CBS机制对同类型数据帧传输影响图；

图3是CBS机制对SR类流量干扰图；

图4是时间感知整形器机制干扰图；

图5是本发明中车载TSN的SR类流量传输时延计算流程图。

具体实施方式

下面对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明实施例提供一种车载时间敏感网络中SR类流量时延预测方法，具体如下：

建立车载时间敏感网络中SR类流量时延协议数学模型；

以以太网交换机作为智能体，采用Sarsa强化学习算法对所建立的协议数学模型进行学习，建立车载时间敏感网络传输时延智能体模型；

基于所建立的SR类流量时延智能体模型计算SR类流量时延。

本发明实施例中，将车载TSN中的流量分为：控制消息流量(CDT)、预留流量(SR)和最大努力流量(BE)。具体如图1所示。SR类数据帧包括音频数据流SR_A和视频数据流SR_B，交换机转发数据帧的优先级由高到低为SR_A类、SR_B类、CDT类和BE类。

其中，车载TSN中SR类数据帧的时延包括：先进先出时延R_FIFO、基于信用整形时延R_CBS及时间感知整形时延R_TAS，即：

R_SR＝R_FIFO+R_CBS+R_TAS

式中：R_SR为SR类流量的时延，R_FIFO为先进先出时延，R_CBS为基于信用整形时延，R_TAS为时间感知整形时延。

本发明实施例中，建立车载TSN中SR类流量时延模型具体如下：

A、建立先进先出时延模型：

当以太网交换机处有多个同类型数据帧等待转发时，交换机会采用先进先出机制对数据帧进行转发，从而产生先进先出时延。在仅受到先进先出调度机制的影响时，等待转发的数据帧的时延为该帧到达交换机的时刻至该帧传输完成时间段内同类型数据帧的传输时延之和，即：

式中：M为待转发的数据帧帧长，C为传输速率，M′_τ为同类型数据帧阻塞等效帧。

参见图2，在考虑CBS(基于信用整形)机制的影响下，等待转发的数据帧的先进先出时延为：

式中：R为预留带宽，为该类型数据帧的信用值下降速率，/>为该类型数据帧的信用值增长速率。

B、建立基于信用整形时延模型：

如图3所示，综合考虑交换机处待转发数据帧的优先级与信用值，建立SR_A和SR_B的基于信用整形时延模型，即：

M^A′＝M^A′ _B，或M^A′＝M^A′ _BE

式中：为A类数据帧的基于信用整形时延，/>为A类数据帧的低优先级流量阻塞时延，M^A′ _B表示B类数据帧阻塞A类数据帧传输时的等效帧长度，M^A′ _BE表示BE类数据帧阻塞A类数据帧传输时的等效帧长度，BE类数据帧即最大努力流量类数据帧。当A类数据帧被B类数据帧阻塞时，M^A′＝M^A′ _B，当A类数据帧被BE类数据帧阻塞时，M^A′＝M^A′ _BE。

式中：为B类数据帧的基于信用整形时延，/>为B类数据帧的低优先级流量阻塞时延，/>为B类数据帧的高优先级流量阻塞时延，M^B′ _BE为BE类数据帧阻塞B类数据帧传输时的等效帧长度，R_FIFO(A)为A类数据帧先进先出时延。

C、建立时间感知整形时延模型：

如图4所示，车载TSN协议规定在CDT时间槽内，其他类型流量无法传输，即：

R_TAS＝L_CDT

式中：L_CDT为CDT时间槽长度。

本发明实施例中，拟合车载TSN数据转发规则，建立车载TSN数据传输时延智能体模型具体如下：

S1、将以太网交换机看作智能体，将在其缓冲区的数据流的状态作为Q值表输入，交换机转发某类数据帧的行为看作对应的动作。

式中：A为交换机的动作。

S2、量化动作A

为了能够用于计算，将动作A进行量化，各个动作对应的量如下表所示：

表1动作量化表

即：A＝[1,2,3,4,5,6]。

S3、定义状态

A、B类流量的信用值一直在变化更新，而CDT流量与BE类流量无信用值概念，为了保持一致性，设定CDT流量与BE类流量的信用值为0，即Credit_C≡0，Credit_BE≡0。

式中：S为交换机的状态，Credit、Amount、Transmit为各类帧的信用值、待转发数量和该帧是否正在传输。C为CDT流量，A为SR_A流量，B为SR_B流量，BE为BE流量。

S4、状态划分

基于各状态量与0的关系，对交换机的状态S进行划分，最终子状态s的划分如下表2所示，表中a为动作量，

表2状态划分表

S5、确定回报值

给定交换机每个状态下的每个动作一个回报值，每个状态都有最佳动作，该动作的回报值设定为10，其余动作回报值为0。针对表2中每个子状态对应的动作量a回报值设为10，该子状态下其余动作量a回报值设为0。

S6、确定算法与递归公式

为了避免选取动作量时获得是局部最优策略，确定采用ε-greedy算法，算法如下：

式中：s_k+1为第k+1次迭代的状态量，a_k为第k次迭代选取的动作量，a为动作量，A为动作空间，x为每一步操作时产生0～1之间的随机数，ε(0<ε<1)为探索率。

Q值表的递归公式如下：

Q(s_k，a_k)←Q(s_k，a_k)+α[r_k+1+γQ(s_k+1，a_k+1)-Q(s_k，a_k)]

式中：r_k+1为第k+1次迭代的收益，α为学习率，γ为遗忘率，其中，收益指回报的累加。

最后，采用基于Sarsa强化学习算法建立智能体，计算SR类流量时延如图5所示，具体如下：

初始化交换机状态并根据表2进行状态划分；

写入TSN流量各数据帧入队时间；

根据Q值表采用ε-greedy算法确定动作a；

根据确定的动作a确定传输数据类型，更新Credit、Amount、Transmit参数；

根据所建立的时延协议数学模型计算该状态下相应数据帧的时延；

更新状态s，重新根据Q值表选择动作a，直到达到终止条件，计算SR类流量数据帧的平均时延。SR类流量分为两种，SR_A和SR_B，每次迭代都会计算一次时延。平均时延是值迭代完成后，计算两类流量各自平均时延。

根据步骤S3，交换机状态即各类帧参数(Credit、Amount、Transmit)。

本发明实施例中，终止条件为设置迭代时间t为10000000微秒。

其中，根据Q值表采用ε-greedy算法确定动作a，具体过程为：

初始化Q(s、a)为任意值，并初始化状态s；

根据Q值表在状态s下，应用贪婪算法等选择动作量a；

更新Q值表和状态s，判断是否达到结束条件，若是则输出选择的动作量a，否则继续迭代选择动作量。

本发明另一个实施例提供一种车载时间敏感网络中SR类流量时延预测装置，包括：

构建模块，用于建立车载时间敏感网络中SR类流量时延协议数学模型；

智能体模块，用于以以太网交换机作为智能体，采用Sarsa强化学习算法对所建立的协议数学模型进行学习，建立车载时间敏感网络传输时延智能体模型；

以及，

计算模块，用于基于所建立的车载时间敏感网络传输时延智能体模型计算SR类流量时延。

值得指出的是，该装置实施例是与上述方法实施例对应的，上述方法实施例的实现方式均适用于该装置实施例中，并能达到相同或相似的技术效果，故不在此赘述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (9)

1.一种车载时间敏感网络中SR类流量时延预测方法，其特征在于，包括：

建立车载时间敏感网络中SR类流量时延协议数学模型；

以以太网交换机作为智能体，采用Sarsa强化学习算法对所建立的协议数学模型进行学习，建立车载时间敏感网络传输时延智能体模型；

基于所建立的车载时间敏感网络传输时延智能体模型计算SR类流量时延；

所述建立车载时间敏感网络中SR类流量时延协议数学模型，包括：

;

其中，为SR类流量的时延，/>为先进先出时延，/>为基于信用整形时延，为时间感知整形时延；

先进先出时延表示为：

；

；

；

其中，M为待转发的数据帧帧长，C为传输速率，R为预留带宽，为同类型数据帧阻塞等效帧，/>为同类型数据帧的信用值下降速率，/>为同类型数据帧的信用值增长速率；

基于信用整形时延表示为：

，或/> 其中，/>为A类数据帧的基于信用整形时延，/>为A类数据帧的低优先级流量阻塞时延，/>表示B类数据帧阻塞A类数据帧传输时的等效帧长度，/>表示BE类数据帧阻塞A类数据帧传输时的等效帧长度，/>为B类数据帧的基于信用整形时延，/>为B类数据帧的低优先级流量阻塞时延，/>为B类数据帧的高优先级流量阻塞时延，/>为BE类数据帧阻塞B类数据帧传输时的等效帧长度，/>为A类数据帧先进先出时延；SR类数据帧包括A类音频数据帧和B类视频数据帧，BE类数据帧为最大努力流量类数据帧；

当A类数据帧被B类数据帧阻塞时，，当A类数据帧被BE类数据帧阻塞时，；

时间感知整形时延模型为：

；

其中，为控制消息流量CDT时间槽长度。

2.根据权利要求1所述的一种车载时间敏感网络中SR类流量时延预测方法，其特征在于，所述车载时间敏感网络传输时延智能体模型以以太网交换机缓冲区的数据流的状态作为Q值表输入，以交换机转发CDT类数据帧、A类数据帧、B类数据帧或BE类数据帧的行为作为动作。

3.根据权利要求2所述的一种车载时间敏感网络中SR类流量时延预测方法，其特征在于，所述车载时间敏感网络传输时延智能体模型的动作空间表示为：

，其中，A为智能体模型的动作空间，车载时间敏感网络中的流量分为：控制消息流量CDT类数据帧，流预留类流量SR类数据帧和最大努力流量BE类数据帧，SR类数据帧包括A类音频数据帧和B类视频数据帧。

4.根据权利要求3所述的一种车载时间敏感网络中SR类流量时延预测方法，其特征在于，采用Sarsa强化学习算法对所建立的协议数学模型进行学习中，

将智能体模型的动作空间量化为：A=[1,2,3,4,5,6]；

其中，1表示空闲，2表示传输CDT帧，3表示传输A类帧，4表示传输B类帧，5表示传输BE类帧，6表示继续当前传输动作。

5.根据权利要求4所述的一种车载时间敏感网络中SR类流量时延预测方法，其特征在于，采用Sarsa强化学习算法对所建立的协议数学模型进行学习中，

将智能体模型的状态表示为：

其中，S为智能体模型的状态空间，Credit _C 、Amount _C 、Transmit _C 表示CDT类数据帧的信用值、待转发数量和该帧是否正在传输，Credit _A 、Amount _A 、Transmit _A 表示A类音频数据帧的信用值、待转发数量和该帧是否正在传输，Credit _B 、Amount _B 、Transmit _B 表示B类视频数据帧的信用值、待转发数量和该帧是否正在传输，Credit _BE 、Amount _BE 、Transmit _BE 表示BE类数据帧的信用值、待转发数量和该帧是否正在传输。

6.根据权利要求5所述的一种车载时间敏感网络中SR类流量时延预测方法，其特征在于，采用Sarsa强化学习算法对所建立的协议数学模型进行学习中，

根据各状态量与0的关系，将智能体模型的状态空间划分为若干子状态。

7.根据权利要求6所述的一种车载时间敏感网络中SR类流量时延预测方法，其特征在于，采用Sarsa强化学习算法对所建立的协议数学模型进行学习中，

设定每个子状态下的最优动作的回报值为10，其余动作回报值为0。

8.根据权利要求7所述的一种车载时间敏感网络中SR类流量时延预测方法，其特征在于，基于所建立的车载时间敏感网络传输时延智能体模型计算SR类流量时延，包括：

初始化智能体模型状态，即各数据帧的Credit、Amount、Transmit参数；

写入TSN流量各数据帧入队时间；

根据Q值表采用ε-greedy算法确定动作量a；

基于确定的动作量a确定传输数据类型，更新Credit、Amount、Transmit参数；

根据所建立的时延协议数学模型计算该状态下相应数据帧的时延；

更新智能体模型状态，重新根据Q值表选择动作量a，直到达到终止条件，计算SR类流量数据帧时延。

9.一种车载时间敏感网络中SR类流量时延预测装置，其特征在于，包括：

构建模块，用于建立车载时间敏感网络中SR类流量时延协议数学模型；

智能体模块，用于以以太网交换机作为智能体，采用Sarsa强化学习算法对所建立的协议数学模型进行学习，建立车载时间敏感网络传输时延智能体模型；

以及，

计算模块，用于基于所建立的车载时间敏感网络传输时延智能体模型计算SR类流量时延；

所述建立车载时间敏感网络中SR类流量时延协议数学模型，包括：

；

其中，为SR类流量的时延，/>为先进先出时延，/>为基于信用整形时延，为时间感知整形时延；

先进先出时延表示为：

；

；

；

其中，M为待转发的数据帧帧长，C为传输速率，R为预留带宽，为同类型数据帧阻塞等效帧，/>为同类型数据帧的信用值下降速率，/>为同类型数据帧的信用值增长速率；

基于信用整形时延表示为：

,

，或/>,

,

其中，为A类数据帧的基于信用整形时延，/>为A类数据帧的低优先级流量阻塞时延，/>表示B类数据帧阻塞A类数据帧传输时的等效帧长度，/>表示BE类数据帧阻塞A类数据帧传输时的等效帧长度，/>为B类数据帧的基于信用整形时延，/>为B类数据帧的低优先级流量阻塞时延，/>为B类数据帧的高优先级流量阻塞时延，/>为BE类数据帧阻塞B类数据帧传输时的等效帧长度，/>为A类数据帧先进先出时延；SR类数据帧包括A类音频数据帧和B类视频数据帧，BE类数据帧为最大努力流量类数据帧；

当A类数据帧被B类数据帧阻塞时，，当A类数据帧被BE类数据帧阻塞时，；

时间感知整形时延模型为：

；

其中，为控制消息流量CDT时间槽长度。