CN112907970A - 一种基于车辆排队长度变化率的可变车道转向控制方法 - Google Patents

Abstract

本发明涉及一种基于车辆排队长度变化率的可变车道转向控制方法，包括以下步骤：S1：通过主控台获取路网状态数据，并根据路网状态数据计算路口的车辆排队长度变化率；S2：根据车辆排队长度变化率，计算当前时间执行的控制动作的单步动作分数值；S3：根据单步动作分数值，计算所执行控制动作的长期期望分数值；S4：构建两个结构相同用于计算长期期望分数值和训练模型参数的深度学习网络，并进行优化；S5：计算备选控制动作的长期期望分数值，选择最高分的转向动作进行可变车道控制。够将复杂多变的路网状态数据参数化，训练深度神经网络学习可变车道转向方法，提高决策效率，有效减少了道路资源浪费问题和交通拥堵情况。

Description

一种基于车辆排队长度变化率的可变车道转向控制方法

技术领域

本发明属于深度学习技术领域，具体涉及一种基于车辆排队长度变化率的可变车道转向控制方法。

背景技术

随着城市的发展，中心城区土地价值日益高昂，个人住宅区不断向城外移动，车辆流动在工作单位和住所移动时出现潮汐规律。这种潮汐规律具体表现在早高峰进入城市的车流量大，离开城市的车流量小；晚高峰离开城市的车流量大，进入城市的车流量小。潮汐现象使得城市交通拥堵加剧并且道路基础设施利用率较低。通过可变车道改变道路转向的方法可以有效减少道路拥堵和提高道路资源的利用率。

为了解决上述问题，公开号为CN109920244A的中国专利公开了一种可变车道实时控制系统及方法，通过设备监测子系统、车道状态子系统、方案研判子系统和方案决策子系统进行路网状态获取和可变车道转向控制决策。在该方法中，可变车道可以依据实时路网状态进行自适应变化，缓解交通拥堵，提升道路资源的利用率。但由于实际应用中可变车道转向控制所面对的路网状态复杂多变，仅通过规则决策方式难以覆盖巨大的路网状态空间，对道路资源的均衡优化问题所提升的性能是十分有限的。

而公开号为CN110648536A的中国专利公开了一种基于多交通指标的可变车道信号控制方法，通过实时交通数据获得绿灯时段的开始排队长度和结束排队长度以及期间的饱和度作为交通特征数据，每一特征指标均达到阈值条件触发可变车道转向请求，对方案进行评估后判断是否进行可变车道转向控制。在实际操作的过程中，指标和阈值的设置具有一定的主观局限性，与实际交通流变化不相适应。在复杂多变的路网状态下，与综合评估所有路网状态特征再进行直接比较的方式相比，上述方法难以达到理论分析的性能。

在公开号为CN111667700A的中国专利还公开了一种基于短时交通状态预测的交叉口可变车道控制方法，通过电子地图获取交叉口相邻关系，根据历史统计数据计算交叉路口汇入比和监控对象的滞留量评估监控对象的堵塞风险，调整可变车道转向控制方案。该方案通过过去历史数据估计实时汇入交叉口的车流量会造成一定的偏差，所采取的可变车道转向控制不一定能够应对实时的交通流变化，依据过去经验设置的堵塞风险阈值难以达到全局最优。

而深度学习通过模拟人类大脑认知方式对数据进行处理，具有强大的特征分析能力。将复杂多变的路网状态数据参数化，训练深度神经网络学习可变车道转向控制决策方法，保证方法的实时性；通过深度神经网络计算不同路网状态下可选转向控制动作的长期期望分数，选取分数值最高的动作作为最优转向控制决策，保证方法的有效性。通过及时有效的可变车道控制决策方法，有助于减少道路资源浪费问题和交通拥堵情况，解决“高峰期”出行困难的交通痛点问题。

发明内容

本发明提供了一种基于车辆排队长度变化率的可变车道转向控制方法，能够将复杂多变的路网状态数据参数化，训练深度神经网络学习可变车道转向方法，提高决策效率，且在面对不断变化的路网状态信息，有效减少了道路资源浪费问题和交通拥堵情况。

本发明的技术方案如下：

一种基于车辆排队长度变化率的可变车道转向控制方法，包括以下步骤：

S1：通过主控台获取路网状态数据，并根据路网状态数据计算路口的车辆排队长度变化率；

S2：根据车辆排队长度变化率，计算当前时间执行的控制动作的单步动作分数值；

S3：根据单步动作分数值，计算所执行控制动作的长期期望分数值；

S4：构建两个结构相同用于计算长期期望分数值和训练模型参数的深度学习网络，并进行优化；

S5：计算备选控制动作的长期期望分数值，选择最高分的转向动作进行可变车道控制。

优选的，所述主控台和路网状态的交互问题采用马尔可夫决策过程描述。

优选的，所述路网状态数据包括当前路口车道组车辆排队长度、车辆延误时长、车道饱和度、上游路口车辆排队长度以及下游路口车辆排队长度。

优选的，所述车辆排队长度变化率的计算过程为：对路网状态数据进行预处理并进行归一化处理，并将被归一化处理后的数据等比例划分到预设区间。

优选的，所述单步动作分数值的计算方法为：对当前路口分数、上游路口分数、左转下游路口分数和直行下游路口分数进行加权计算，所述路口分数均通过计算车辆排队长度绝对分数值和车辆排队长度变化分数值的乘积来获得。

优选的，所述长期期望分数值通过单步动作分数值以及深度神经网络计算的下一状态备选动作的长期期望分数值来计算获得，计算公式为：

Score_expect＝Score_current+λmaxScore_expect(s′,a′,θ)；

其中Score_expect为长期期望分数值，Score_current为单步动作分数值，λ表示对于深度神经网络估计分数值的接纳程度，s′和a′分别表示下一时刻路网状态和转向控制动作，θ表示深度神经网络参数。

优选的，所述步骤S4的具体过程包括：

S4.1：确定可变车道控制的路网状态空间和可变车道的转向控制动作集合；

S4.2：由路网状态空间得出深度神经网络的输入维度尺寸；

S4.3：确定转向控制动作长期期望分数作为目标函数；

S4.4：通过深度神经网络预估当前状态下选取的不同转向控制动作的分数值；

S4.5：定义损失函数，采用梯度下降的反向传播算法对模型参数进行优化；

S4.6：计算两个深度神经网络的余弦相似度，并根据计算结果对两个深度神经网络的参数进行同步；

S4.7：对上述步骤不断迭代训练直至网络收敛。

优选的，所述深度学习网络的训练模型的训练样本通过采样方式存储在缓冲池中，通过随机抽取的方式获取。

优选的，所述步骤S4.6中参数进行同步的过程为：在模型训练中记录网络相似度阈值，在一次模型训练完成后，计算两个深度神经网络参数的余弦相似度，并与网络相似度阈值相比较，若余弦相似度大于网络相似度阈值则同步两个深度神经网络的参数。

优选的，所述网络相似度阈值通过采用每跳参数余弦相似度进行更新，每跳参数余弦相似度计算公式为：

T＝Cos_similarity/(c_n-c_n-1)；

其中，c_n表示从训练开始到当前的时间步数；c_n-1表示从训练开始到上一次更新阈值的时间步数。

本发明的有益效果为：

1、本发明将复杂多变的路网状态数据参数化，训练深度神经网络学习可变车道转向方法，提高决策效率。

2、本发明通过深度神经网络计算不同路网状态下可选转向控制动作的长期期望分数，选取分数值最高者作为最优动作，有效进行可变车道决策控制。

3、本发明在面对不断变化的路网状态信息，有效减少了道路资源浪费问题和交通拥堵情况。

附图说明

图1为本发明提供的可变车道转向控制方法。

图2为可变车道转向控制决策流程图。

图3为深度学习网络训练流程图。

具体实施方式

下面将结合说明书附图对本发明的实施例进行详细说明。

如图1所示，本发明提供了一种基于车辆排队长度变化率的可变车道转向控制方法，包括以下步骤：

S1：通过主控台获取路网状态数据，并根据路网状态数据计算路口的车辆排队长度变化率；

S2：根据车辆排队长度变化率，计算当前时间执行的控制动作的单步动作分数值；

S3：根据单步动作分数值，计算所执行控制动作的长期期望分数值；

S4：构建两个结构相同用于计算长期期望分数值和训练模型参数的深度学习网络，并进行优化；

S5：计算备选控制动作的长期期望分数值，选择最高分的转向动作进行可变车道控制。

如图1所示，作为本发明的一种实施方式，可变车道转向控制决策流程包括：

获取路网状态；

计算车辆排队长度变化率；

计算直行、左转单步动作分数；

计算直行、左转下一状态期望分数；

利用单步动作分数和下一状态期望分数分别计算直行、左转期望分数；

判断左转期望分数是否大于直行期望分数，是则左转，否则直行。

主控台对路网状态的实时观测获取包含以下数据：当前路口车道组车辆排队长度x、车辆延误时长y、车道饱和度z、上游路口车辆排队长度m以及下游路口车辆排队长度n。

步骤S1中车辆排队长度变化率计算过程如下：

1、利用数据预处理对上述观测得到的数据进行归一化，消除不同标度的影响。得到处理后的当前路口车道组车辆排队长度x′、车辆延误时长y′、车道饱和度z′、上游路口车辆排队长度m′以及下游路口车辆排队长度n′。

2、利用X＝ceil(100x′)将归一化数据等比例划分到区间[0,100]，其中x′∈[0,1]。计算单位时间内车辆排队长度变化率D，计算公式为D＝X_t+1-X_t，t表示分钟数。

作为本发明的一种实施方式：当前路口车道组排队长度x′＝0.58，归一化数据计算得到X＝ceil(100*0.58)＝ceil(58)＝58，其中X₈＝58、X₇＝62，单位时间内车辆排队长度变化率计算得到D＝X₈-X₇＝58-62＝-4。

步骤S1中归一化处理的数据映射为区间[0,100]中的整数，当车辆排队绝对长度在区间之间，数值逐渐变小，且变化率逐渐变小；在区间之间，数值逐渐变大，且变化率逐渐变大，在步骤S2中当前时间步所执行控制动作的单步动作分数值的计算过程为：

计算车辆排队长度绝对分数值，计算公式为：R_绝对值＝k×(αX-C)²。

本发明预设系数k为4，α为0.1，C为5。

作为本发明的一种实施方式：当前路口车道组排队长度X＝58，车辆排队长度绝对分数值计算得到R_绝对值＝4×(0.1×58-5)²＝2.56。

当车辆排队长度变化率为正值的时候，分数值为负值；反之，变化率为负值的时候，分数值为正值，其范围在[0,100]。

计算车辆排队长度变化分数值，计算公式为：R_变化值＝-D。

作为本发明的一种实施方式：单位时间内车辆排队长度变化率D＝-4，车辆排队长度变化分数值计算得到R_变化值＝4。

计算路口反馈分数值，计算公式为：R＝R_绝对值×R_变化值。

作为本发明的一种实施方式：R_绝对值＝2.56、R_变化值＝4，路口反馈分数值计算得到R＝2.56×4＝10.24。

利用上述路口反馈分数值的计算方式，对当前路口分数Score_当前路口、上游路口分数Score_上游路口、左转下游路口分数Score_{左转下游路口}和直行下游路口分数Score_{直行下游路口}进行计算并经加权计算获得单步动作分数值Score_current，计算公式如下：

Score_current＝α₁×Score_当前路口+α₂×Score_上游路口+α₃×Score_{左转下游路口}

+α₄×Score_{直行下游路口}；

作为本发明的一种实施方式，预设系数α₁,α₂,α₃,α₄，其中α₁为0.8，α₂,α₃,α₄均为0.5。

作为本发明的一种实施方式：根据上述路口分数值计算实例，Score_当前路口＝10.24，Score_上游路口＝15.89，Score_{左转下游路口}＝-8.76，Score_{直行下游路口}＝22.86，单步动作分数值计算得到：Score_current＝0.8×10.24+0.5×15.89+0.5×(-8.76)+0.5×22.86＝23.187。

步骤S3中长期期望分数值的计算方式为由单步分数值加上深度神经网络计算的下一状态备选动作的长期期望分数值，计算公式为：

Score_expect＝Score_current+λmaxScore_expect(s′,a′,θ)；

其中s′和a′分别表示下一状态和动作，θ表示深度神经网络参数，λ表示对于深度神经网络估计分数值的接纳程度，本实施例中设置为0.9。

作为本发明的一种实施方式：Score_current＝23.187；a′∈{左转,直行}，通过深度神经网络计算得到：

Score_expect(s′,a′,θ)∈{5.185,16.290}，

maxScore_expect(s′,a′,θ)＝16.290，

Score_expect＝23.187+0.9×16.290＝37.848。

步骤S4中深度学习网络的构建过程如图3所示：

构建两个结构相同的深度神经网络；

对深度神经网络的训练；

随机采样样本进行动作长期期望分数的计算；

计算网络参数的每跳余弦相似度，判断余弦相似度是否大于预设的阈值，是则同步两个深度神经网络的参数，

其中主控台与路网状态之间的交互问题采用马尔可夫决策过程描述：MDP＝{S，A，P，R，λ}，其中S为路网状态集合；A为转向控制动作集合；P为状态转移概率，表示在状态S下采取动作A进入状态S’的概率；R为奖励函数，表示在状态S下采取动作A进入状态S’获得的奖励；λ表示奖励折扣因子，即为步骤S3中提到的对于估计分数值的接纳程度系数。

确定可变车道控制的路网状态空间S。

确定可变车道的转向控制动作集合A。

由路网状态空间S得出深度神经网络的输入维度尺寸。

确定动作长期期望分数作为目标函数，计算公式为：

Score_target＝Score_current+λmaxScore_expect(s′,a′,θ^-)。其中，s′为下一时刻路网状态，s′∈S；a′为下一时刻路网状态采取的转向控制动作动作，a′∈A；θ^-为计算长期期望分数值模型参数，本实施例中预设λ＝0.9。

作为本发明的一种实施方式：Score_current＝26.123；a′∈{左转,直行}，通过深度神经网络计算得到Score_expect(s′,a′,θ^-)∈{12.562,0.558}，则

maxScore_expect(s′,a′,θ^-)＝12.562，

Score_target＝26.123+0.9×12.562＝37.4288。

通过深度神经网络估计当前状态采取不同转向控制动作的分数值，为Score(s,a,θ)。其中，s为当前时刻路网状态，s∈S；a为当前状态下采取的转向控制动作动作，a∈A；θ为训练模型参数。

作为本发明的一种实施方式：Score(s,a,θ)＝37.558。

定义损失函数：

Loss＝[Score_current+λmaxScore(s′,a′,θ^-)-Score(s,a,θ)]²。

作为本发明的一种实施方式：

Score_target＝Score_current+λmaxScore(s′,a′,θ^-)＝37.4288，

Score(s,a,θ)＝37.558，损失值计算得到：

Loss＝[37.4288-37.558]²＝0.01669264。

其中模型训练的样本通过采样方式存储在缓冲池中，通过随机抽取的方式获取样本进行深度学习网络的模型训练。

采用梯度下降的反向传播算法对模型参数进行优化。

训练过程中记录网络相似度阈值T，改参数初始化为0。

每次模型训练之后，计算两个网络的参数余弦相似度并与网络相似度阈值T比较，若大于阈值则进行两个网络的参数同步，并且采用每跳参数余弦相似度更新网络相似度阈值。

每跳参数余弦相似度计算公式为：T＝Cos_similarity/(c_n-c_n-1)。其中，c_n表示从训练开始到当前的时间步数；c_n-1表示上一次更新时阈值的时间步数。

作为本发明的一种实施方式，Cos_similarity＝1.25，c_n＝12，c_n-1＝4，进行每跳余弦相似度值得更新为T＝1.25÷(12-4)＝0.15625。

作为本发明的一种实施方式：

c_n-1＝4，T₄＝0.12586，由于T₁₂＝0.15625＞T₄＝0.12586，所以进行两个神经网络参数的同步，经过不断迭代训练直至网络收敛。

步骤S5中根据深度学习网络计算备选控制动作的长期期望分数值，长期期望分数越高代表执行该备选动作进行交通疏导的效果越好，选取该动作作为最优转向动作进行可变车道控制。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于车辆排队长度变化率的可变车道转向控制方法，其特征在于，包括以下步骤：

S1：通过主控台获取路网状态数据，并根据路网状态数据计算路口的车辆排队长度变化率；

S2：根据车辆排队长度变化率，计算当前时间执行的控制动作的单步动作分数值；

S3：根据单步动作分数值，计算所执行控制动作的长期期望分数值；

S4：构建两个结构相同用于计算长期期望分数值和训练模型参数的深度学习网络，并进行优化；

S5：计算备选控制动作的长期期望分数值，选择最高分的转向动作进行可变车道控制。

2.根据权利要求1所述的基于车辆排队长度变化率的可变车道转向控制方法，其特征在于，所述主控台和路网状态的交互问题采用马尔可夫决策过程描述。

3.根据权利要求1所述的基于车辆排队长度变化率的可变车道转向控制方法，其特征在于，所述路网状态数据包括当前路口车道组车辆排队长度、车辆延误时长、车道饱和度、上游路口车辆排队长度以及下游路口车辆排队长度。

4.根据权利要求1所述的基于车辆排队长度变化率的可变车道转向控制方法，其特征在于，所述车辆排队长度变化率的计算过程为：对路网状态数据进行预处理并进行归一化处理，并将被归一化处理后的数据等比例划分到预设区间。

5.根据权利要求1所述的基于车辆排队长度变化率的可变车道转向控制方法，其特征在于，所述单步动作分数值的计算方法为：对当前路口分数、上游路口分数、左转下游路口分数和直行下游路口分数进行加权计算，所述路口分数均通过计算车辆排队长度绝对分数值和车辆排队长度变化分数值的乘积来获得。

6.根据权利要求1所述的基于车辆排队长度变化率的可变车道转向控制方法，其特征在于，所述长期期望分数值通过单步动作分数值以及深度神经网络计算的下一状态备选动作的长期期望分数值来计算获得，计算公式为：

Score_expect＝Score_current+λmaxScore_expect(s′,a′,θ)；

其中Score_expect为长期期望分数值，Score_current为单步动作分数值，λ表示对于深度神经网络估计分数值的接纳程度，s′和a′分别表示下一时刻路网状态和转向控制动作，θ表示深度神经网络参数。

7.根据权利要求1所述的基于车辆排队长度变化率的可变车道转向控制方法，其特征在于，所述步骤S4的具体过程包括：

S4.1：确定可变车道控制的路网状态空间和可变车道的转向控制动作集合；

S4.2：由路网状态空间得出深度神经网络的输入维度尺寸；

S4.3：确定转向控制动作长期期望分数作为目标函数；

S4.4：通过深度神经网络预估当前状态下选取的不同转向控制动作的分数值；

S4.5：定义损失函数，采用梯度下降的反向传播算法对模型参数进行优化；

S4.6：计算两个深度神经网络的余弦相似度，并根据计算结果对两个深度神经网络的参数进行同步；

S4.7：对上述步骤不断迭代训练直至网络收敛。

8.根据权利要求7所述的基于车辆排队长度变化率的可变车道转向控制方法，其特征在于，所述深度学习网络的训练模型的训练样本通过采样方式存储在缓冲池中，通过随机抽取的方式获取。

9.根据权利要求7所述的基于车辆排队长度变化率的可变车道转向控制方法，其特征在于，所述步骤S4.6中参数进行同步的过程为：在模型训练中记录网络相似度阈值，在一次模型训练完成后，计算两个深度神经网络参数的余弦相似度，并与网络相似度阈值相比较，若余弦相似度大于网络相似度阈值则同步两个深度神经网络的参数。

10.根据权利要求9所述的基于车辆排队长度变化率的可变车道转向控制方法，其特征在于，所述网络相似度阈值通过采用每跳参数余弦相似度进行更新，每跳参数余弦相似度计算公式为：

T＝Cos_similarity/(c_n-c_n-1)；

其中，c_n表示从训练开始到当前的时间步数；c_n-1表示从训练开始到上一次更新阈值的时间步数。

Images