CN110246345B - 一种基于HydraCNN的信号灯智能控制方法和系统 - Google Patents

Abstract

本发明公开了一种基于Hydra CNN的信号灯智能控制方法和系统，在道路的交叉路口实时采集车流影像，基于Hydra CNN模型分析车流图像中的车辆数量；在采集的车流图像数据集上获得当前路口的车辆数量和相邻路口涌入当前路口的涌入流量，并将这些参数输入到已训练的线性回归模型，模型即可返回当前路口车辆通行所需的绿灯总时长。本发明将人工智能技术应用于路口的交通信号灯的智能控制，在道路的交叉路口实时采集车流影像，通过系统分析车辆拥塞情况，设置最佳的红灯和绿灯时长，实现多路口的信号灯群的智能协同，在保证通行安全的同时，提高交叉路口的通行能力，对解决现代都市交通拥堵现象有着非常积极的作用。

Description

一种基于HydraCNN的信号灯智能控制方法和系统

技术领域

本发明涉及道路信号灯领域，尤其涉及一种基于HydraCNN的信号灯智能控制系统和方法。

背景技术

交通是城市经济活动的命脉，对城市经济发展、人民生活水平的提高起着十分重要的作用。城市交通问题自人类进入21世纪以来，一直是困扰城市发展、制约城市经济建设的重要因素。可以肯定的说，城市道路增长的有限与车辆增加的无限这一对矛盾是导致城市交通拥挤的根本原因。车辆的不断增加给道路容量带来的压力仍然很高，短期内还不可能改变。当前使用的信号灯系统多使用固定红灯和绿灯时长，也无法根据车辆的实时通行情况给出智能调控策略，因此已经无法满足城市交通发展需求。

智能化和集成化是城市交通信号控制系统的发展趋势和研究前沿，智能决策的交通拥塞处理是智能交通控制优化管理的关键和突破口。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种信号灯智能控制系统和方法，将人工智能技术应用于路口的智能信号灯的智能控制，在道路的交叉路口实时采集车流影像，通过系统分析车辆拥塞情况，设置最佳的红灯和绿灯时长，实现多路口的信号灯群的智能协同，提高交叉路口的通行能力。

为实现上述目的，本发明提供了一种基于HydraCNN的信号灯智能控制方法，包括以下步骤：

步骤1，摄像头每m秒拍摄一次车流图像，并将车流图像发送至服务器端，所述车流图像包括当前路口的车流图像和相邻路口涌入当前路口的车流图像；

步骤2，服务器基于Hydra CNN模型统计车流图像中当前路口各方向的车辆数量，并统计相邻路口涌入当前路口各方向的涌入流量；

步骤3，服务器基于线性回归模型，根据当前路口各方向的车辆数量和涌入容量，预测绿灯延时时长T，并返回当前路口的绿灯总时长G_T，G_T＝G_min+T，其中，G_min为最短绿灯时长。

进一步的，所述步骤2中基于Hydra CNN模型统计车辆数量的算法，包括：

步骤21，以当前路口的车流图像为原图；

步骤22，基于Hydra CNN模型，以原图的图像中心为基准，从中提取不同比例的图像补丁；

步骤23，通过非线性回归函数模型返回图像补丁的密度图，并将返回的图像补丁的密度图汇总成与原图对应的密度图；

步骤24，不断迭代损失函数，降低模型生成的密度图与训练集图像的密度图之间的差距；

步骤25，对密度图积分，获得原图中车辆数量。

进一步的，所述步骤3中的基于线性回归模型的绿灯延时时长T的公式为：

其中，w1、w2、w3、w4和w5为特征参数；v_h和v_z为横向车道和纵向车道的平均涌入流量，

和

为横向车道和纵向车道的平均车辆数量。

进一步的，所述平均涌入流量和平均车辆数量的公式为：

其中，k为一个红灯时长内拍摄次数；N_i,z为纵向车道上的总车辆数；

分别为第i次交叉路口纵向车道上四个摄像头拍摄的车辆数；N_i+1,z-N_i,z为纵向车道上第i+1次和第i次拍摄间的车辆差值；N_i,h为横向车道上总车辆数；

分别为第i次交叉路口横向车道上四个摄像头拍摄的车辆数；N_i+1,h-N_i,h为横向车道上第i+1次和第i次拍摄间的车辆差值。

进一步的，w1、w2、w3、w4和w5通过训练获得，所述训练包括:

所述训练集以横向平均涌入流量v_h和纵向平均涌入流量v_z，及横向平均车辆数量

和纵向平均车辆数量

作为模型的输入特征，并将交叉路口的平均车流通过时长T_avg作为标签；

获取回归模式的特征参数，在得到的训练集上训练线性回归模型，将T_avg代入T，获得模型中各特征参数w1、w2、w3、w4和w5。

本发明还提供了一种基于HydraCNN的信号灯智能控制系统，包括设置于交叉路口的摄像头、信号灯和用于控制摄像头和信号灯的服务器；所述摄像头用于拍摄交叉路口的车流图像，并发送给服务器；所述服务器用于部署Hydra CNN模型和线性回归模型，所述Hydra CNN模型用于分析车流图像以获得当前路口的车辆数量和相邻路口涌入当前路口的车辆流量；所述线性回归模型根据当前路口的车辆数量和相邻路口涌入当前路口的车辆流量，分析得到当前路口的车辆通行所需的绿灯总时长，并对信号灯进行控制。

本发明将人工智能技术应用于路口的智能信号灯的智能控制，在道路的交叉路口实时采集车流影像，通过系统分析车辆拥塞情况，设置最佳的红灯和绿灯时长，实现多路口的信号灯群的智能协同，提高交叉路口的通行能力。本发明的信号灯智能控制方法能在保证通行安全的同时减少路口的车辆拥堵，对解决现代都市交通拥堵现象有着非常积极的作用。

附图说明

图1是本发明实施例所应用的Hydra CNN模型的结构；

图2是本发明实施例的多路口的俯视图；

图3是本发明实施例的单路口的俯视图；

图4是本发明实施例的获取绿灯总时长的流程图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

现结合附图和具体实施方式对本发明进一步说明。

本发明公开了一种基于HydraCNN的信号灯智能控制系统，包括设置于交叉路口的摄像头、信号灯和用于控制摄像头和信号灯的服务器；所述摄像头用于拍摄摄像头所部署的路口的车流图像，并发送给服务器；所述服务器用于部署Hydra CNN模型和线性回归模型，所述Hydra CNN模型用于分析车流图像以获得当前路口的车辆数量和相邻路口涌入当前路口车辆流量；所述线性回归模型根据当前路口的车辆数量和相邻路口涌入当前路口的车辆流量，分析得到当前路口的车辆通行所需的绿灯总时长。

如图4所示，本发明公开了一种基于HydraCNN的信号灯智能控制方法，包括以下步骤：

步骤1、摄像头每m秒拍摄路口的车流图像，并将车流图像发送至服务器端；

步骤2、基于Hydra CNN模型统计车流图像中的车辆数量，获得当前路口的车辆数量和涌入流量；

步骤3、根据当前路口的车辆数量和涌入流量，基于线性回归模型预测绿灯延时时长T；

步骤四、返回当前路口的绿灯总时长G_T，G_T＝G_min+T，为保障系统安全设置G_min，G_min为最短绿灯时长。

一、Hydra CNN模型的图像统计方法

利用摄像头获取路口车流图像，Hydra CNN模型以图片中心为基准，从中提取不同比例的图像补丁(patch)，如图1左边的S₀，S₁所示。通过一个非线性回归函数模型返回patch的密度图，并将返回的密度图汇总成原图对应的密度图。不断迭代损失函数，降低模型生成的密度图与训练集图片的密度图之间的差距。最后对密度图积分，获得原图中车辆的计数。

Hydra CNN具有很多个“head”，每个“head”都负责学习不同比例大小的patch，第一“head”是原图片(即整个patch)，其大小定义为s。剩下的“head”输入的是以原图片中心为基准，s/n比例缩放的patch(n为“head”的数量)。例如，模型中有三个“head”，第二个“head”与第三个“head”的输入分别是原始图片大小的66％和33％。图1中的CCNN是由五个卷积层组成，Conv1和Conv2层有大小为7x7x32的过滤器；其次是最大池化层(内核大小为2x2)，Conv3层有5x5x64过滤器；然后是另一个2x2内核的最大池化层；Conv4和Conv5层分别由深度为1000和400的1x1滤波器组成。将每个“head”得出的特征用全连接层Fc6、Fc7连接，跟着一个线性整流函数(ReLU)和一个退出函数，最后通过Fc8输出密度图像。

训练模型时我们需要一组带标注的图像I，图像中所有的车辆都被标记，图像I通过2D高斯函数求和，得到的密度映射值如公式(1)所示。

D_I(p)＝∑_μ∈AIN(p；μ,∑) (1)

其中A_I是图像I标注的一组2D点，N(p；μ,∑)表示归一化2D高斯函数的值。采用均值μ和协方差矩阵∑，按p定义的像素位置计算N(p；μ,∑)。这一等式表示以p为中心，位于每一标记点上的高斯函数总和。使用此密度映射值D_I，通过将密度映射值D_I积分到整个图像中，可以直接获得总对象计数N_I，可表示为公式(2)。

N_I＝∑_p∈ID_I(p) (2)

基于这一计算模型的定义，学习一个非线性回归函数R，将patch作为输入，返回预测的密度图

可表示为公式(3)：

其中Ω是CNN模型的一组参数；对于图像补丁P∈R^h×ω×c，h、ω和c分别对应于patch的高度、宽度和通道数；在密度上

h′和ω′代表预测的密度图的高度和宽度。因此，给定一个测试图，模型从中提取出多个patch，将生成相应的密度图汇总成原图的密度图。最后，通过如公式(4)所示的欧式距离回归损失函数降低损失。公式(4)中的N对应于训练集中的patch数，

表示相关训练补丁Pn的真实密度图。

二、车流图像数据的采集和处理

系统考虑当前路口和相邻路口摄像头拍摄的车流图像，因此在统计当前路口的车辆数量和涌入流量时，每次需要拍摄的车流图像有8张，即当前路口拍摄4张准备进入当前路口的车流图像和相邻4个路口各拍摄一张从相邻路口涌入当前路口的车流图像，如图2所示。摄像头1、4、5、7在当前路口(如路口1)拍摄到车流图像I₁、I₄、I₅、I₇，摄像头2、3、6、8在分别的四个相邻路口拍摄到车流图像I₂、I₃、I₆、I₈。为方便描述和计算，我们按车道将当前路口和四个相邻路口的四条车道记为横向左车道、横向右车道、纵向左车道和纵向右车道，在纵向左车道采集驶入纵向左车道的车流图像I₂和准备驶出纵向左车道的车流图像I₁，在纵向右车道采集驶入纵向右车道的车流图像I₃和准备驶出纵向右车道的车流图像I₄，在横向左车道采集驶入横向左车道的车流图像I₆和准备驶出横向左车道的车流图像I₅，在横向右车道采集驶入横向右车道的车流图像I₈和准备驶出横向右车道的车流图像I₇。

图2中，①②③...⑧为摄像头编号，车流图像I₁、I₂、I₃、I₄、I₅、I₆、I₇、I₈为摄像头①-⑧对应的摄像头所拍摄的车流图像，其中，车流图像I₁、I₄、I₅、I₇拍摄到的是当前路口1中阴影区域的车辆，箭头方向驶入的车辆分别由相邻的四个路口：路口2、路口4、路口5、路口3的摄像头②、③、⑥、⑧所拍摄，即图片I₂、I₃、I₆、I₈。

系统每m秒拍摄一次车流图像，因此每个路口的红灯时长内将有k次拍摄，对应于当前路口，每次拍摄将采集8张车流图像，如图2中的车流图像I₁-I₈。根据Hydra CNN模型得到每张车流图像中的车辆数量，因此可以计算第i次拍摄的车流图像I₁--I₈中的车辆数量分别为

交叉路口纵向车道上四个摄像头拍摄的车辆数分别为

纵向车道上的总车辆数N_i,z如公式(5)所示，k次拍摄的图片集上的平均车辆数

为公式(6)，平均涌入流量为v_z定义为公式(7)，其中N_i+1,z-N_i,z为纵向车道上第i+1次和第i次拍摄间(间隔为m秒)的车辆差值。

同理，横向车道上总车辆数N_i,h、平均车辆数量

和平均涌入流量为v_h分别如公式(8)、(9)和(10)所示：

三、通过线性回归模型预测绿灯延时时长

一个交叉路口的交通通畅与当前路口的车辆数量和涌入的车辆流量有关，因此本发明根据当前路口的车辆数量和涌入流量两个影响因素来确定当前路口的绿灯延时时长T。在给定当前路口的车辆数量和涌入流量后，本发明基于训练的机器模型自动预测出绿灯延时时长T。本发明选用线性回归模型，将当前路口的车辆数量和涌入流量作为输入特征，在获取的训练集上迭代训练模型，进而根据训练完成的模型，将当前路口的车辆数量和涌入流量输入预测当前路口的绿灯延时时长。

在本实施例中，路口为十字交叉路口，信号灯按横向双向通行和纵向的双向通行交互的方式设置，即路口的横向为红灯时，纵向为绿灯，横向为绿灯时，纵向则为红灯，横向的绿灯点亮时长为纵向的红灯点亮时长。若横向此时为红灯，纵向便为绿灯，则得到的绿灯时长便是横向红灯结束后(即横向下一状态)的绿灯点亮时长，若横向此时为绿灯，纵向为红灯，则得到的绿灯时长即为纵向下一状态的绿灯点亮时长。

(1)获取训练集

在收集的车流图像数据集上，将横向和纵向的平均涌入流量(v_h和v_z)和平均车辆数量(

和

)作为线性回归模型的输入特征，并将交叉路口的平均车流通过时长T_avg作为标签。在交叉路口横向方向，从信号灯变为绿灯时刻(t₁＝0)开始，直到交叉路口通行车辆满足v≤v_T且N≤N_T的时刻(t2＝T_h)，记T_h为横向方向的平均车流通过时长(其中v_T和N_T分别为涌入车辆和总车辆非常少的阈值，可以根据真实场景动态设置)。同理，可得纵向方向的平均车流通过时长T_z。交叉路口的平均车流通过时长T_avg即为(T_h+T_z)/2。

在不同路口多次采集的车流图像数据集上，根据Hydra CNN模型和公式(5)-(10)可以得到“横向平均涌入流量v_h”、“纵向平均涌入流量v_z”、“横向平均车辆数量

”、“纵向平均车辆数量

”特征的众多样本，以及样本的标签“平均车辆通过时长T_avg”。获得的样本如表1所示，第一个样本的横向平均涌入流量v_h,1＝3辆/秒，第二个样本的横向平均涌入流量v_h,2＝4辆/秒。若将样本以向量的形式表示，则编号为q的样本s_q可以表示为

因此第3号样本可以表示为s₃＝(8辆/秒,4辆/秒,34辆,36辆,41秒)。

表1-采集得到的训练集

(2)预测绿灯延时时长

在得到的训练集上训练线性回归模型，可以得出模型中各特征的参数分别为w₁、w₂、w₃、w₄和w₅，训练完成的回归模型如公式(11)所示：

若一个交叉路口拍摄的车流图像的横向和纵向的平均涌入流量和平均车辆数量分别为x₁、x₂和x₃、x₄，则可以根据公式(11)得到路口的绿灯延时时长为：

T＝w₁·x₁+w₂·x₂+w₃·w₃+w₄·x₄+w₅

(3)绿灯总时长的计算

为了防止系统因网络或硬件故障无法及时返回绿灯延时时长(即T＝0)，我们为系统设置了最短绿灯时长G_min，红灯结束后信号灯的绿灯点亮时长G_T如公式(12)所示：

G_T＝G_min+T(12)

通过横向和纵向车道的绿灯总时长的预测，减少了车辆在交叉路口的滞留，提高了交叉路口的通行能力。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (5)

1.一种基于Hydra CNN的信号灯智能控制方法，其特征在于：包括以下步骤：

步骤1，摄像头每m秒拍摄一次车流图像，并将车流图像发送至服务器端，所述车流图像包括当前路口的车流图像和相邻路口涌入当前路口的车流图像；

步骤2，服务器基于Hydra CNN模型统计车流图像中当前路口各方向的车辆数量，并统计相邻路口涌入当前路口各方向的涌入流量；

步骤3，服务器基于线性回归模型，根据当前路口各方向的车辆数量和涌入流量，预测绿灯延时时长T，并返回当前路口的绿灯总时长G_T，G_T＝G_min+T，其中，G_min为最短绿灯时长；

所述步骤2中基于Hydra CNN模型统计车辆数量的算法，包括：

步骤21，以当前路口的车流图像为原图；

步骤22，基于Hydra CNN模型，以原图的图像中心为基准，从中提取不同比例的图像补丁；

步骤23，通过非线性回归函数模型返回图像补丁的密度图，并将返回的图像补丁的密度图汇总成与原图对应的密度图；

步骤24，不断迭代损失函数，降低模型生成的密度图与训练集图像的密度图之间的差距；

步骤25，对密度图积分，获得原图中车辆数量。

2.如权利要求1所述的信号灯智能控制方法，其特征在于：所述步骤3中的基于线性回归模型的绿灯延时时长T的公式为：

其中，w₁、w₂、w₃、w₄和w₅为特征参数；v_h和v_z为横向车道和纵向车道的平均涌入流量，

和

为横向车道和纵向车道的平均车辆数量。

3.如权利要求2所述的信号灯智能控制方法，其特征在于：所述平均涌入流量和平均车辆数量的公式为：

其中，k为一个红灯时长内拍摄次数；N_i，z为纵向车道上的总车辆数；

分别为第i次交叉路口纵向车道上四个摄像头拍摄的车辆数；N_i+1，z-N_i，z为纵向车道上第i+1次和第i次拍摄间的车辆差值；N_i，h为横向车道上总车辆数；

分别为第i次交叉路口横向车道上四个摄像头拍摄的车辆数；N_i+1，h-N_i，h为横向车道上第i+1次和第i次拍摄间的车辆差值。

4.如权利要求2所述的信号灯智能控制方法，其特征在于：w1、w2、w3、w4和w5通过训练获得，所述训练包括:

获取训练集，所述训练集以横向平均涌入流量v_h和纵向平均涌入流量v_z，及横向平均车辆数量

和纵向平均车辆数量

作为模型的输入特征，并将交叉路口的平均车流通过时长T_avg作为标签；

获取回归模式的特征参数，在得到的训练集上训练线性回归模型，将T_avg代入T，获得模型中各特征参数w₁、w₂、w₃、w₄和w₅。

5.一种基于Hydra CNN的信号灯智能控制系统，其特征在于：应用如权利要求1-4任一项所述的信号灯智能控制方法，包括设置于交叉路口的摄像头、信号灯和用于控制摄像头和信号灯的服务器；

所述摄像头用于拍摄交叉路口的车流图像，并发送给服务器；

所述服务器用于部署Hydra CNN模型和线性回归模型，所述Hydra CNN模型用于分析车流图像以获得当前路口的车辆数量和相邻路口涌入当前路口的车辆流量；所述线性回归模型根据当前路口的车辆数量和相邻路口涌入当前路口的车辆流量，分析得到当前路口的车辆通行所需的绿灯总时长，并对信号灯进行控制。

Images