CN116778748A - 基于深度学习的车辆转弯盲区智能预警方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的车辆转弯盲区智能预警方法，方法步骤为：在转弯盲区路口处，将边缘计算服务器安装于智慧灯杆上，与云计算平台进行无线连接；边缘计算服务器利用深度学习算法对智慧灯杆上摄像头采集的实时视频流进行视频结构化处理，得到AI算法；对智慧灯杆上摄像头采集的实时视频流进行行人识别和车辆识别，判断是否存在人车冲突；若存在人车冲突，则边缘计算服务器控制智慧灯杆上的广播音箱进行语音提醒，同时向车辆发送预警信息。本发明面向车辆运行中视野盲点等问题，在智慧灯杆上部署边缘计算服务器，利用高清摄像头进行图像检测，在边缘侧实现行人及车辆的识别跟踪，预判人车冲突，并进行预警保障行人过街和车辆行驶安全。

Description

基于深度学习的车辆转弯盲区智能预警方法

技术领域

本发明属于交通安全预警及图像处理的技术领域，具体涉及一种基于深度学习的车辆转弯盲区智能预警方法。

背景技术

随着交通和物流行业的快速发展，车辆保有量不断增加，相应地，车辆交通事故也不断发生，车辆，特别是大型车辆，具有事故风险较高、事故后果较为严重等特点，在群死群伤的重特大交通事故中，几乎都有大型车辆的影子，因此车辆管理一直是交通安全治理过程中的重点及难点。由于车辆两侧盲区和内轮差的存在，驾驶员在转弯时的视野受到限制，不能及时通过后视镜观察到车辆两侧的环境状况，尤其在路口转弯中安全隐患较大，当行人或电单车突然闯出，车辆制动速度慢，驾驶员无法做出及时的控制，可能会导致严重的安全事故。因此对道路中行人和车辆进行识别跟踪，提前预判车辆与行人是否有冲突，并对司机及行人进行提前预警显得尤为重要。

现有技术中，张卫华等人在《半挂车转弯盲区实时监测预警与安全保障》一文中针对半挂车转弯内轮差和视觉盲区引发的交通安全问题，基于汽车转弯原理构造动态直角坐标系下半挂车转弯轨迹方程，结合现有雷达检测技术建立转弯盲区障碍物危险判别轨迹模型，并据此提出一个包括车侧相控探测雷达、可调后视镜、声光报警、夜间补光等硬件设施和以单片机为核心的软件程序的实时监测预警与安全保障一体化系统；但由于设备及安装成本较高，难以在车辆中推广使用。刘雨萌等人在文献《基于车路协同的货车右转弯盲区预警系统》中提出了一种货车右转弯盲区预警系统，从人、车、路三位一体的角度出发，通过安装雷达和检测器等设备采集信息，利用路侧单片机进行数据处理和计算，应用5G和V2N技术实现信息交互，从而达到全方位实时预警的效果；但是由于考虑的目标群体不够全面，没有安装相应的语音广播设备，因此无法向道路中行人发出预警，难以保护行人安全。

目前国内一二线城市已开展智慧道路建设，以深圳为例，已建设侨香路、福田中心区、前湾一路等40余条智慧道路、8000余根智慧灯杆，已逐步形成以福田中心区为中心的规模化网络，具备全息感知、精准管控、全程服务等功能。借此契机，本发明利用现有智慧道路基础设施，针对车辆实际运行中存在视野盲点的问题，结合深度学习技术，提出一种车辆转弯盲区路侧预警方法。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于深度学习的车辆转弯盲区智能预警方法，通过在道路智慧灯杆上部署边缘计算服务器，对高清摄像头采集的视频流进行实时行人及车辆检测，在边缘侧实现行人及车辆的识别及跟踪，结合车辆的实时状态预判车辆与行人是否有冲突，并通过语音广播对行人进行语音提示，保障行人过街和车辆行驶安全。

为了达到上述目的，本发明采用以下技术方案：

基于深度学习的车辆转弯盲区智能预警方法，包括下述步骤：

在转弯盲区路口处，将边缘计算服务器安装于智慧灯杆上，与云计算平台进行无线连接；

边缘计算服务器利用深度学习算法对智慧灯杆上摄像头采集的实时视频流进行视频结构化处理，得到AI算法；所述视频结构化处理包括视频流采集、视频解码、视频预处理及模型训练；

使用AI算法对智慧灯杆上摄像头采集的实时视频流进行行人识别和车辆识别，判断是否存在人车冲突；

若存在人车冲突，则边缘计算服务器控制智慧灯杆上的广播音箱进行语音提醒，同时向车辆发送预警信息。

作为优选的技术方案，所述智慧灯杆安装有气象传感器、高清摄像头、LED显示屏、广播音箱和RSU；所述边缘计算服务器分别与气象传感器、高清摄像头、LED显示屏、广播音箱和RSU进行连接；

所述车辆装载有OBU；所述RSU与OBU进行无线通信。

作为优选的技术方案，所述视频结构化处理采用NVIDIA DeepStream SDK进行视频流式分析；

所述视频流采集通过高清摄像头实时获取RTSP视频流；

所述视频解码由多个线程并行执行并将输入的RTSP视频流输送到视频解码器中解码；

所述视频预处理对解码的视频流进行图像矫正、颜色空间转换和图像滤波去噪处理；

所述模型训练基于目标检测模型及角点跟踪算法，在预处理后的视频数据上进行训练，优化网络参数，得到AI算法；

所述目标检测模型嵌入DeepStream应用程序框架中，使用TensorRT进行加速推理。

作为优选的技术方案，所述模型训练包括：

构建数据集：从预处理后的视频数据中获取交通事故、行人穿行马路和车辆的大量图片并保存在本地文件夹中；对图片中的不同目标进行标注，保存为txt标注文件存入本地文件夹中；将标注后图片按照8:2的比例随机划分为训练集和测试集；

构建模型：基于卷积神经网络构建目标检测模型，包括特征提取层、区域候选网络、区域池化层及目标分类网络；其中：特征提取层用于提取输入图像的特征图；区域候选网络用于依据特征图生成建议区域图像块；区域池化层用于对输入的特征图和建议区域图像块综合提取目标区域特征图；目标分类网络用于根据目标区域特征图进行分类得到目标检测框的位置；

目标跟踪：使用角点跟踪算法在视频中进行目标跟踪，对目标进行唯一ID标记。

作为优选的技术方案，所述图片格式为JPG格式；所述txt标注文件名称采用对应的图片名；

所述txt标注文件采用KITTI数据集格式，包括图片中所有目标的类别、被截断程度、被遮挡程度、鸟瞰图夹角、2D框像素位置、长宽高、相机坐标系下的坐标和绕相机y轴的弧度值。

作为优选的技术方案，所述目标检测模型的训练步骤为：

将大小为P*Q的图片缩放至固定大小M*N的图片，输入特征提取层提取大小为M*N的特征图；

区域候选网络依据特征图通过softmax网络分类锚点，判断锚点是为正样本还是负样本；再利用边界框回归修正锚点的边界框偏移量，获得建议区域图像块；

区域池化层结合特征提取层输出的特征图和区域候选网络输出的建议区域图像块，统一图像大小，提取目标区域特征图；

在目标分类网络利用获得的目标区域特征图通过全连接层和softmax网络计算每个建议区域图像块的类别，输出概率向量；并再利用边界框回归进行修正，获得目标检测框位置。

作为优选的技术方案，所述使用角点跟踪算法进行目标跟踪，对目标进行唯一ID标记，具体为：

在视频中选取一个合适的序列帧作为参考帧；

从参考帧中选择角点用于目标跟踪的特征点；

所述角点的选取步骤为：

在参考帧中随机选取一点o，以该点为中心，W为窗口，计算图像灰度梯度在点o窗口内的自相关矩阵G；

基于G矩阵的两个特征值进行选择，若满足：min(λ₁,λ₂)>λ，则选取点o为角点；其中，λ₁为G矩阵的第一特征值，λ₂为G矩阵的第二特征值，λ为设定阈值；

沿着参考帧中角点的运动方向，利用灰度平方差寻找角点在相邻帧中对应的特征点，获得位移向量，公式为：

∫_w(h-g.D)gωdA＝0

(∫_wgg^TωdA)D＝∫_whgωdA

G＝∫_wgg^TωdA及e＝∫_w(I-J)gωdA

所以GD＝e

其中，ε为以角点为中心的窗口和以角点在相邻帧对应的特征点为中心的窗口中两者图像灰度差的平方和，表示两个窗口中的像素灰度差异程度；I(x)为参考帧中角点x在相邻帧I中对应的特征点；J(x)参考帧中角点x在相邻帧J中对应的特征点；g为强度梯度，表示图像中的灰度变化率；D为位移向量，表示角点在两个相邻帧中的位移向量；ω为权重函数，h为窗口内像素的加权平均值，G为梯度矩阵，e为误差向量；

根据位移向量大小和方向预测目标的运动速度和方向，并结合当前帧时间戳和目标检测模型，预测下一帧目标位置，完成对目标的跟踪并使用唯一ID进行标记。

作为优选的技术方案，所述统一图像大小，具体为：

将区域候选网络输出的大小为M*N的建议区域图像块映射回(M/r)*(N/r)大小，r表示特征提取层进行卷积操作时每次移动的步长；

将每个建议区域图像块在特征图上对应的区域水平划分为pooled_w*pooled_h个的网格，pooled_w与pooled_h相等，均为区域池化层的超参数，两者乘积用以表示网格数；

对每一网格进行最大池化处理；使得大小不同的建议区域图像块统一为大小为pooled_w*pooled_h的建议区域图像块。

作为优选的技术方案，所述判断是否存在人车冲突，具体为：

使用AI算法对智慧灯杆上摄像头采集的实时视频流进行行人识别和车辆识别，获取车辆和行人的位置信息；

通过分析车辆和行人的运动轨迹，确定车辆和行人的运动方向及状态；

根据车辆和行人的位置信息和运动方向及状态，计算车辆和行人之间的最短距离；

通过比较车辆和行人的运动方向及状态，参考车辆和行人的最短距离，判断是否有发生人车冲突的可能；

如果判断存在人车冲突，计算车辆和行人的轨迹交点的时间和位置，并据此做出相应的预警提示。

作为优选的技术方案，若存在人车冲突，边缘计算服务器通过LTE-V/5G或者RSU车路协同通讯单元实时将预警信息发送给装载有车载单元OBU的车辆，对司机进行毫秒级预警；

同时通过网关控制智慧灯杆上的广播音箱对行人进行语音预警；并通过网关控制智慧灯杆上的LED显示屏对行人及司机进行视觉预警；

边缘计算服务器还将预警信息上传至云计算平台保存。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明基于卷积神经网络CNN构建目标检测模型进行训练，相比于传统的目标检测方法，卷积神经网络CNN结构简单，能够共享特征提取层，降低模型复杂度，提高训练速度，在更短的时间内完成模型的训练和优化；同时目标检测模型能够自动学习特征，减少特征提取的人工工作量，提高检测准确度；此外通过在目标检测模型中引入残差结构，提高模型的鲁棒性和泛化能力，对不同场景均有很好的适应性，可以在保证准确度的情况下有效检测和跟踪行人和车辆。

2、本发明基于角点跟踪KLT算法进行目标跟踪，通过计算梯度矩阵的特征值，比较特征值大小选取特征点进行跟踪，与现有技术相比，KLT算法能够对物体进行连续跟踪，适用于在视频中跟踪运动物体；并且通过计算特征点的移动向量，可以精确定位目标物体的位置，提高跟踪精度；此外KLT算法运算速度较快，可以实现实时跟踪，保证盲区内交通安全问题的及时响应。

3、本发明基于边缘计算服务器和多设备结合提供毫秒级预警信息，通过在道路两端的智慧灯杆上部署边缘计算服务器，结合广播音箱、LED显示屏及车载单元OBU等设备，全面地为行人及司机提供毫秒级的预警信息，相比于现有技术，本发明将边缘计算服务器作为预警系统的中心节点，调用和整合各种设备的数据；同时边缘计算服务器能够对高清摄像头采集的视频流进行实时处理和分析，确保预警信息的准确性和实时性；此外，由于边缘计算服务器只要是允许调用视频的系统，均可以嵌入直接使用，适用范围广，大大提高系统的实用性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中基于深度学习的车辆转弯盲区智能预警方法的流程图；

图2为本发明实施例中边缘服务器与智慧灯杆各部件的连接示意图；

图3为本发明实施例中边缘计算服务器安装于智慧灯杆的场景示意图；

图4为本发明实施例中目标检测模型的结构示意图；

图5为本发明实施例中行人及车辆识别结果图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。

如图1所示，本实施例基于深度学习的车辆转弯盲区智能预警方法，包括下述步骤：

S1、在转弯盲区路口处，将边缘计算服务器安装于智慧灯杆上，与云计算平台进行无线连接；

具体的，智慧灯杆安装有气象传感器、高清摄像头、LED显示屏、广播音箱和车路协同通讯单元RSU等设备；如图2所示，边缘计算服务器分别与气象传感器、高清摄像头、LED显示屏、广播音箱和RSU进行连接；RSU再与车辆上装载的车载单元OBU进行无线通信。

如图3所示，在路口转弯盲区处，通过在智慧灯杆上部署边缘计算服务器，实现对行人及车辆的识别及追踪；特别地，只要是允许调用视频的系统，均可将边缘计算服务器嵌入直接使用，大大增强了适用范围，实用性强。

S2、边缘计算服务器利用深度学习算法对智慧灯杆上摄像头采集的实时视频流进行视频结构化处理，得到AI算法；

具体的，视频结构化处理采用NVIDIADeepStream SDK进行视频流式分析，包括视频流采集、视频解码、视频预处理及模型训练四个部分；

其中，视频流采集：通过高清摄像头实时获取RTSP视频流；

视频解码：由多个线程并行执行并将输入的RTSP视频流输送到视频解码器中解码；

视频预处理：对解码的视频流进行图像矫正、颜色空间转换和图像滤波去噪等处理，从而达到改善图片的目的，方便后续的操作；

模型训练：基于目标检测模型及角点跟踪算法，在预处理后的视频数据上进行训练，优化网络参数，得到AI算法；

进一步的，本实施例中的目标检测模型嵌入DeepStream应用程序框架中，使用TensorRT进行加速推理。

具体的，模型训练还包括：

(1)构建数据集：从预处理后的视频数据中获取交通事故、行人穿行马路和车辆的大量图片并保存在本地文件夹中；对图片中的不同目标进行标注，保存为txt标注文件存入本地文件夹中；将标注后图片按照8:2的比例随机划分为训练集和测试集；

本实施例中，首先在交通监控场景下，从预处理后的视频数据中获取交通事故、行人穿行马路和车辆的大量图片，并以jpg格式保存到本地image文件夹下，其中每张图片的分辨率为1080*1920；然后对图片中包含的不同目标进行标注，每张图片标注好的信息以txt格式和对应的图片名保存(例如图片名为image.jpg，则标注文件保存为image.txt)，并保存到label文件夹下；其中，txt标注文件采用的是KITTI数据集格式，包括每一张图片中的所有目标的类别、被截断程度、被遮挡程度、鸟瞰图夹角、2D框像素位置、长宽高、相机坐标系下的坐标、绕相机y轴的弧度值。

随机抽取image文件夹中80％的图片作为训练集放入training文件夹，剩下的20％则为测试集放入testing文件夹，然后将数据集打包放到高性能GPU服务器中深度学习模型训练环境的相应目录下，至此数据集构建完毕。

(2)构建模型：基于卷积神经网络构建目标检测模型，如图4所示，包括特征提取层Conv layers、区域候选网络Region Proposal Networks(RPN)、区域池化层RoIPooling及目标分类网络Classification；

其中：特征提取层Conv layers使用一组基础的conv+relu+pooling层提取输入图像的特征图；区域候选网络RPN用于依据特征图生成建议区域图像块(region proposals)；区域池化层RoIPooling用于对输入的特征图和建议区域图像块综合提取目标区域特征图(proposal feature maps)；目标分类网络Classification用于根据目标区域特征图进行分类得到目标检测框的位置；

目标检测模型的训练步骤为：

Step1：将大小为P*Q的图片缩放至固定大小M*N的图片，输入特征提取层Convlayers提取大小为M*N的特征图；

Step2：区域候选网络RPN依据特征图通过softmax网络分类锚点anchors，判断锚点anchors是为正样本还是负样本；再利用边界框回归修正锚点anchors的边界框偏移量，获得建议区域图像块proposal boxes；

Step3：区域池化层RoIPooling结合特征提取层输出的特征图和区域候选网络输出的建议区域图像块，统一图像大小，提取目标区域特征图；

由于CNN网络(如VGG-16)经过训练之后接收输入的图像尺寸是固定值，同样输出的向量和矩阵也是固定值；而RPN网络生成的建议区域图像块proposal boxes是大小形状各不相同的，所以RoIPooling网络需要解决这个问题，具体为：

首先将区域候选网络RPN输出的大小为M*N的建议区域图像块proposal box映射回(M/r)*(N/r)大小，r表示特征提取层进行卷积操作时每次移动的步长(stride)。由于在特征提取层中，卷积和池化操作不改变输入图像的尺寸，但是每个卷积层都会将图像尺寸缩小一些，因此特征提取层的输出大小会缩小到输入大小的1/r。在目标检测中，RPN网络会生成不同大小和形状的proposal boxes，为了能够将这些proposal boxes对应到特征提取层的输出上，需要将它们映射回特征提取层输出的尺寸；因此，将proposal boxes映射回(M/r)*(N/r)大小可以使它们与特征提取层的输出对应起来，便于后续的处理；

将每个建议区域图像块在特征图上对应的区域水平划分为pooled_w*pooled_h个的网格；这个过程是建议区域图像块proposal在特征图上对应的区域上进行的，而不是在整个特征图上进行划分；pooled_w和pooled_h是RoIPooling层的超参数，通常设定为相同的值；其乘积表示将每个proposal对应的特征图区域划分为多少个网格；例如7*7代表每个proposal对应的特征图区域被划分为一个7×7的网格；在每个网格中，RoIPooling层会对特征图中落入该网格的像素值进行池化操作，以便后续的分类等任务使用；

对每一网格进行最大池化max pooling处理；

最终使得大小不同的建议区域图像块proposal boxes统一为大小为pooled_w*pooled_h的建议区域图像块proposal boxes。

Step4：在目标分类网络Classification利用获得的目标区域特征图proposalfeature map通过全连接层full connect和softmax网络计算每个建议区域图像块proposal box的类别，输出概率向量；并再利用边界框回归进行修正，获得目标检测框位置。

(3)目标跟踪：使用角点跟踪算法进行目标跟踪，对目标进行唯一ID标记。

KLT算法是一种基于特征点的光流跟踪方法，它能够在连续的图像帧之间跟踪目标物体的位置，其原理是选择一些特征不变的角点，对角点进行跟踪，具体步骤如下：

(1)选择参考帧：在视频中选取一个合适的序列帧作为参考帧；

(2)特征点提取：从参考帧中提取特征点，这些特征点应该具有稳定的外观和光照条件，并且在整个序列中都能被跟踪到。角点通常比较容易被检测到，而且其运动方向较为稳定，因此角点是比较适合用于跟踪的特征点，故从参考帧中选择角点用于目标跟踪的特征点，选取步骤为：

在参考帧中随机选取一点o，以该点为中心，W为窗口，计算图像灰度梯度在点o窗口内的自相关矩阵G；在KLT目标跟踪算法中，G矩阵是计算图像灰度梯度在特征点窗口内的自相关矩阵，其是一个2×2的对称矩阵，其特征值λ₁和λ₂可以用来判断特征点是否适合用于跟踪；

基于G矩阵的两个特征值进行选择，若满足：min(λ₁,λ₂)>λ，则选取点o为角点；其中，λ₁为G矩阵的第一特征值，λ₂为G矩阵的第二特征值，λ为设定阈值；否则，点o可能是噪声或者运动模糊等因素的影响，不适合作为特征点用于跟踪。

(3)特征点匹配：对于参考帧中的每个特征点，在相邻的帧中寻找其对应的位置；具体来说，沿着参考帧中角点的运动方向寻找最可能匹配的特征点；LT算法利用灰度平方差来定义同一目标在两帧图像I，J中出现；如果图像中两点匹配，那么分别以这两点为中心，W为窗口存在极小的灰度平方差，定义为：

所以GD＝e

其中，ε为以角点为中心的窗口和以角点在相邻帧对应的特征点为中心的窗口中两者图像灰度差的平方和，表示两个窗口中的像素灰度差异程度，是一个关于位移向量D的函数；I(x)为参考帧中角点x在相邻帧I中对应的特征点，表示参考帧中角点在相邻帧I中的位置；J(x)参考帧中角点x在相邻帧J中对应的特征点，表示参考帧中角点在另一相邻帧J中的位置；g为强度梯度，表示图像中的灰度变化率；D为位移向量，表示角点在两个相邻帧中的位移向量；ω为权重函数，表示在计算灰度平方差时对不同位置的像素给予不同的权重；h为当前窗口内像素的加权平均值，表示当前窗口内像素的平均灰度值；G为梯度矩阵，表示当前窗口内像素的梯度信息；e为误差向量，表示当前窗口内像素的灰度值与其平均灰度值的差；由上式，当e值解得足够小(设定的阈值)，即可认为是跟踪到的角点，从而获得位移向量D；

(4)目标跟踪与预测：获得目标在相邻帧之间的位移向量后，可以利用该向量的大小和方向预测目标的运动速度和方向，并结合当前帧的时间戳和目标检测模型，来预测目标在下一帧中的位置，以完成目标的跟踪并使用位移ID进行标记。本实施例中识别出的行人及车辆对象的结果如图5所示，使用目标框标注并跟踪。

S3、使用AI算法对智慧灯杆上摄像头采集的实时视频流进行行人识别和车辆识别，判断是否存在人车冲突；

具体的，判断步骤具体为：

获取车辆和行人的位置信息：使用AI算法对智慧灯杆上摄像头采集的实时视频流进行行人识别和车辆识别，获取车辆和行人的位置信息；

确定车辆和行人的运动方向及状态：通过分析车辆和行人的运动轨迹，确定车辆和行人的运动方向及状态；如行人是在行走，奔跑或者停留；车辆是在左转、右转或者直行；

计算车辆和行人的最短距离：根据车辆和行人的位置信息和运动方向及状态，计算车辆和行人之间的最短距离；如果行人和车辆之间的最短距离小于某个阈值，那么就可能存在人车冲突；

判断车辆和行人的相对位置和运动：通过比较车辆和行人的运动方向及状态，参考车辆和行人的最短距离，判断是否有发生人车冲突的可能；例如：如果车辆正在左转，行人正向车辆靠近，并且它们的距离已经趋近于最短距离的阈值，则存在人车冲突的可能；

计算人车冲突的时间和位置：如果判断存在人车冲突，计算车辆和行人的轨迹交点的时间和位置，并据此做出相应的预警提示。

S4、若存在人车冲突，则边缘计算服务器控制智慧灯杆上的广播音箱进行语音提醒，同时向车辆发送预警信息。

具体的，若存在人车冲突，边缘计算服务器通过LTE-V/5G或者RSU车路协同通讯单元实时将预警信息发送给装载有车载单元OBU的车辆，对司机进行毫秒级预警；

同时通过网关控制智慧灯杆上的广播音箱对行人进行语音预警；并通过网关控制智慧灯杆上的LED显示屏对行人及司机进行视觉预警，全面的对行人及司机进行预警，切实保护双方的人身安全，避免交通事故发生。还将预警信息通过无线网络上传至云计算平台保存，便于后续AI算法的优化。

现有方法中有基于超声波雷达设备，通过监测车辆与障碍物之间的距离来对盲区进行监测的方法，根据超声波在发射和遇到障碍物后反射回来被接收的时间差来计算距离；但是超声波是一种波长较长的电磁波，由于电磁波波长越长、频率越低、分辨率就越低，故超声波的检测精度较低；除此之外，超声波雷达监测范围也较小，反应速度较慢，故其可靠性不高。还有基于车载摄像头设备进行盲区视频监测的方法，主要利用摄像头的成像原理与视频识别对盲区内的障碍物进行监测；但在车辆相对速度过快时该系统工作效率降低明显，并且光线对车载摄像头影响较大，在夜晚等光线较暗的情况下车载摄像头的成像效果不好，视频识别更加困难。

而本发明通过基于现有智慧道路的基础设施，通过在这些基础设施上部署边缘计算服务器，只要该基础设备允许调用视频，则可以嵌入直接使用，部署简单、适用范围广、实用性强；同时基于卷积神经网络的目标检测模型和基于角点跟踪KLT算法的目标跟踪，实现精准识别道路中的车辆和行人，进一步提高了检测效率及计算速度；同时结合广播音箱、LED显示屏及车载单元OBU等设备全面地为行人及司机提供毫秒级的预警信息，保障了行人与司机的人身安全，减少了交通事故的发生。

需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于深度学习的车辆转弯盲区智能预警方法，其特征在于，包括下述步骤：

在转弯盲区路口处，将边缘计算服务器安装于智慧灯杆上，与云计算平台进行无线连接；

边缘计算服务器利用深度学习算法对智慧灯杆上摄像头采集的实时视频流进行视频结构化处理，得到AI算法；所述视频结构化处理包括视频流采集、视频解码、视频预处理及模型训练；

使用AI算法对智慧灯杆上摄像头采集的实时视频流进行行人识别和车辆识别，判断是否存在人车冲突；

若存在人车冲突，则边缘计算服务器控制智慧灯杆上的广播音箱进行语音提醒，同时向车辆发送预警信息。

2.根据权利要求1所述的基于深度学习的车辆转弯盲区智能预警方法，其特征在于，所述智慧灯杆安装有气象传感器、高清摄像头、LED显示屏、广播音箱和RSU；所述边缘计算服务器分别与气象传感器、高清摄像头、LED显示屏、广播音箱和RSU进行连接；

所述车辆装载有OBU；所述RSU与OBU进行无线通信。

3.根据权利要求2所述的基于深度学习的车辆转弯盲区智能预警方法，其特征在于，所述视频结构化处理采用NVIDIA DeepStream SDK进行视频流式分析；

所述视频流采集通过高清摄像头实时获取RTSP视频流；

所述视频解码由多个线程并行执行并将输入的RTSP视频流输送到视频解码器中解码；

所述视频预处理对解码的视频流进行图像矫正、颜色空间转换和图像滤波去噪处理；

所述模型训练基于目标检测模型及角点跟踪算法，在预处理后的视频数据上进行训练，优化网络参数，得到AI算法；

所述目标检测模型嵌入DeepStream应用程序框架中，使用TensorRT进行加速推理。

4.根据权利要求3所述的基于深度学习的车辆转弯盲区智能预警方法，其特征在于，所述模型训练包括：

构建数据集：从预处理后的视频数据中获取交通事故、行人穿行马路和车辆的大量图片并保存在本地文件夹中；对图片中的不同目标进行标注，保存为txt标注文件存入本地文件夹中；将标注后图片按照8:2的比例随机划分为训练集和测试集；

构建模型：基于卷积神经网络构建目标检测模型，包括特征提取层、区域候选网络、区域池化层及目标分类网络；其中：特征提取层用于提取输入图像的特征图；区域候选网络用于依据特征图生成建议区域图像块；区域池化层用于对输入的特征图和建议区域图像块综合提取目标区域特征图；目标分类网络用于根据目标区域特征图进行分类得到目标检测框的位置；

目标跟踪：使用角点跟踪算法在视频中进行目标跟踪，对目标进行唯一ID标记。

5.根据权利要求4所述的基于深度学习的车辆转弯盲区智能预警方法，其特征在于，所述图片格式为JPG格式；所述txt标注文件名称采用对应的图片名；

所述txt标注文件采用KITTI数据集格式，包括图片中所有目标的类别、被截断程度、被遮挡程度、鸟瞰图夹角、2D框像素位置、长宽高、相机坐标系下的坐标和绕相机y轴的弧度值。

6.根据权利要求4所述的基于深度学习的车辆转弯盲区智能预警方法，其特征在于，所述目标检测模型的训练步骤为：

将大小为P*Q的图片缩放至固定大小M*N的图片，输入特征提取层提取大小为M*N的特征图；

区域候选网络依据特征图通过softmax网络分类锚点，判断锚点是为正样本还是负样本；再利用边界框回归修正锚点的边界框偏移量，获得建议区域图像块；

区域池化层结合特征提取层输出的特征图和区域候选网络输出的建议区域图像块，统一图像大小，提取目标区域特征图；

在目标分类网络利用获得的目标区域特征图通过全连接层和softmax网络计算每个建议区域图像块的类别，输出概率向量；并再利用边界框回归进行修正，获得目标检测框位置。

7.根据权利要求4所述的基于深度学习的车辆转弯盲区智能预警方法，其特征在于，所述使用角点跟踪算法进行目标跟踪，对目标进行唯一ID标记，具体为：

在视频中选取一个合适的序列帧作为参考帧；

从参考帧中选择角点用于目标跟踪的特征点；

所述角点的选取步骤为：

在参考帧中随机选取一点o，以该点为中心，W为窗口，计算图像灰度梯度在点o窗口内的自相关矩阵G；

基于G矩阵的两个特征值进行选择，若满足：min(λ₁,λ₂)>λ，则选取点o为角点；其中，λ₁为G矩阵的第一特征值，λ₂为G矩阵的第二特征值，λ为设定阈值；

沿着参考帧中角点的运动方向，利用灰度平方差寻找角点在相邻帧中对应的特征点，获得位移向量，公式为：

∫_w(h-g.D)gωdA＝0

(∫_wgg^TωdA)D＝∫_whgωdA

G＝∫_wgg^TωdA及e＝∫_w(I-J)gωdA

所以GD＝e

其中，ε为以角点为中心的窗口和以角点在相邻帧对应的特征点为中心的窗口中两者图像灰度差的平方和，表示两个窗口中的像素灰度差异程度；I(x)为参考帧中角点x在相邻帧I中对应的特征点；J(x)参考帧中角点x在相邻帧J中对应的特征点；g为强度梯度，表示图像中的灰度变化率；D为位移向量，表示角点在两个相邻帧中的位移向量；ω为权重函数，h为窗口内像素的加权平均值，G为梯度矩阵，e为误差向量；

根据位移向量大小和方向预测目标的运动速度和方向，并结合当前帧时间戳和目标检测模型，预测下一帧目标位置，完成对目标的跟踪并使用唯一ID进行标记。

8.根据权利要求6所述的基于深度学习的车辆转弯盲区智能预警方法，其特征在于，所述统一图像大小，具体为：

将区域候选网络输出的大小为M*N的建议区域图像块映射回(M/r)*(N/r)大小，r表示特征提取层进行卷积操作时每次移动的步长；

将每个建议区域图像块在特征图上对应的区域水平划分为pooled_w*pooled_h个的网格，pooled_w与pooled_h相等，均为区域池化层的超参数，两者乘积用以表示网格数；

对每一网格进行最大池化处理；使得大小不同的建议区域图像块统一为大小为pooled_w*pooled_h的建议区域图像块。

9.根据权利要求1所述的基于深度学习的车辆转弯盲区智能预警方法，其特征在于，所述判断是否存在人车冲突，具体为：

使用AI算法对智慧灯杆上摄像头采集的实时视频流进行行人识别和车辆识别，获取车辆和行人的位置信息；

通过分析车辆和行人的运动轨迹，确定车辆和行人的运动方向及状态；

根据车辆和行人的位置信息和运动方向及状态，计算车辆和行人之间的最短距离；

通过比较车辆和行人的运动方向及状态，参考车辆和行人的最短距离，判断是否有发生人车冲突的可能；

如果判断存在人车冲突，计算车辆和行人的轨迹交点的时间和位置，并据此做出相应的预警提示。

10.根据权利要求1所述的基于深度学习的车辆转弯盲区智能预警方法，其特征在于，若存在人车冲突，边缘计算服务器通过LTE-V/5G或者RSU车路协同通讯单元实时将预警信息发送给装载有车载单元OBU的车辆，对司机进行毫秒级预警；

同时通过网关控制智慧灯杆上的广播音箱对行人进行语音预警；并通过网关控制智慧灯杆上的LED显示屏对行人及司机进行视觉预警；

边缘计算服务器还将预警信息上传至云计算平台保存。