CN113378787B - 一种基于多特征视觉的智能交通电子提示装置检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于多特征视觉的智能交通电子提示装置检测方法及系统，包括视频流采集单元对道路视频进行采集；预处理单元将采集到的视频转换成易于模型分析、传送和进一步处理的形式；输入单元将交通道路数据传输到模型中；检测单元中由目标检测模型对输入模型中的数据进行特征提取，输出特征图，由语义分割模型对特征图进行特征点分类并预测结果；输出单元将结果输出；语音提醒单元将结果进行语音播报。本发明利用目标检测与语义分割相结合的思想，将目标检测的准确率精确到具体的特征点，提高了检测精度，利用优秀网络模型自动从原始图像中提取高层语义信息，提高了特征提取效率，减少人工成本，使驾驶者拥有良好的体验感和舒适性。

Description

一种基于多特征视觉的智能交通电子提示装置检测方法及 系统

技术领域

本发明属于技术领域，具体涉及一种基于多特征视觉的智能交通电子提示装置检测方法及系统。

背景技术

在当前实时地图导航的场景下，对于不同种类的交通电子提示装置的实时提醒，在规范车主驾驶行为、保障用户出行等方面至关重要。而各类电子提示装置分布于道路的大街小巷，这类物体普遍目标小，不易发现，通过常规的数据采集和人力手段很难识别，为实现导航规划增加了额外成本。在现有技术中关于电子装置的提示采用的方式一般是通过驾驶者目视检查，但这种方式不仅加大了驾驶人员的操作难度、还容易分散注意力，且效果往往不甚理想。此外，有些车辆通过配合卫星定位系统来进行电子装置的提醒，但一般的卫星定位系统不适用于快速移动的车辆，并且定位系统都存在响应时间滞后的缺陷，因此不能给驾驶员提供实时精确的提醒。另一方面，采用图像识别技术来检测电子提示装置的方法逐渐发展起来，这种方法主要通过对图像中交通电子提示装置的特征点进行分辨，因此对特征点分类的准确率和效率将直接影响检测精度。与传统的图像识别技术不同，深度学习能够自动根据原始图像提取高层语义信息，并且可以直接确定图像中电子提示装置的确切类别和位置，这为电子提示装置的自动化检测提供了新途径。而现有的目标检测算法效率和准确性较低，这容易导致驾驶者对路况做出错误的判断。

发明内容

为克服上述技术问题，本发明提供了一种基于多特征视觉的智能交通电子提示装置检测方法及系统，采用多种神经网络模型进行特征提取，将检测过程分为目标检测阶段与语义分割阶段，将检测精度从目标物具体到特征点，让目标检测模型专注于检测图像中复杂背景下的交通电子提示装置目标，而语义分割模型则专注于对第一阶段检测到的目标进行特征点分类，最终提高交通电子提示装置识别的准确性和效率。

为实现上述目的，本发明采用下述技术方案：

一种基于多特征视觉的智能交通电子提示装置检测方法，包括：

通过高清摄像机对交通道路实况视频进行采集；将视频转换成易于模型分析、传送和进一步处理的形式传输到模型中；分阶段对交通道路数据进行处理，由目标检测模型对输入模型中的数据进行特征提取，输出带有类别标签和矩形定位边界框的特征图，由语义分割模型对目标检测模型中输出的带有类别标签和矩形定位边界框的特征图进行特征点的分类并预测结果；将结果输出并进行语音播报提醒。

所述易于模型分析、传送和进一步处理的形式为图片或视频帧。

具体的，在目标检测模型内部，首先利用EfficientNets、MobileNets、HRNet、ResNets、GhostNet和T2T-ViT等一系列优秀的神经网络模型共同对图像进行特征层的提取。由于特征提取网络的不同，所以在对图像中的目标进行特征提取时所关注的边缘特征也存在差异。因此，将不同网络提取到的相同尺寸的特征层存储在特征池中并进行下一步通道数的堆叠，使特征层能够保留不同特征提取网络提取的有效特征。显然，将太多的通道数进行堆叠，会影响网络的推理速度。因此，依次对堆叠后的特征层进行通道数的压缩，压缩后的有效特征层通道数依次为64，128，256，512，1024。之后将特征池里通道数压缩后的五个特征层B＝{B₁,B₂,B₃,B₄,B₅}与i-FPN无限堆叠模块里的初始化金字塔特征P＝{P₁,P₂,P₃,P₄,P₅}进行加权，将其作为非线性转换器G_θ的输入，最后使用平衡特征求解器得到特征金字塔P＝{P₁ ^*,P₂ ^*,P₃ ^*,P₄ ^*,P₅ ^*}，即隐式模型的解。增强后的特征用于输出带有类别标签保证概率和矩形定位边界框的目标检测特征图。

具体的，在语义分割模型内部，首先由优选的神经网络所组成的主干特征提取网络对目标检测模型得到的特征图进行特征提取，获得五个初步的有效特征层，然后利用这五个有效特征层进行下一步的特征融合。在加强特征提取阶段，利用主干特征提取部分获得的五个初步有效特征层进行特征融合，特征融合的方式就是对提取到的特征层进行上采样和堆叠，获得一个最终的且融合了所有特征的有效特征层，根据最终的融合了所有特征的有效特征层对结果进行预测。

一种基于多特征视觉的智能交通电子提示装置检测系统，包括：

视频流采集单元，采用高清摄像机对交通道路实况视频进行实时采集；

预处理单元，将采集到的视频转换成易于模型分析、传送和进一步处理的形式；

输入单元，将交通道路数据传输到模型中；

检测单元，分阶段对交通道路数据进行处理，由目标检测模型对输入模型中的数据进行特征提取，输出带有类别标签和矩形定位边界框的特征图，由语义分割模型对目标检测模型中输出的带有类别标签和矩形定位边界框的特征图进行特征点的分类并预测结果；

输出单元，将结果输出；

语音提醒单元，将结果进行语音播报。

与现有技术相比，本发明的有益效果是：

1.相比现有技术中单一的的目标检测或语义分割模型，基于多特征视觉的智能交通电子提示装置检测方法将目标检测任务和语义分割任务相结合并采用将多种优秀的特征提取网络模型相结合的思想，使模型能够自动从原始图像中提取检测目标中的高层语义信息，提高了特征提取的效率；

2.本发明将目标检测模型的输出作为语义分割模型的输入，这种双阶段的目标检测与分割模型思想，在提高目标检测准确率的同时将传统的目标检测任务中的边界框检测与具体的特征点分类相结合，让第一阶段中目标检测模型专注于检测图像中复杂背景下的交通电子提示装置目标，而第二阶段中的语义分割模型则专注于对第一阶段检测到的目标进行特征点分割；

3.与传统的驾驶者目视检查、卫星定位和图像识别技术相比，本发明可以直接使用捕获到的街景视频作为输入，能够自动分析和处理视频，减少了人工成本的同时提高了检测精度，使驾驶者拥有良好的体验感和舒适性。

附图说明

图1是本发明步骤流程图；

图2是本发明中检测单元步骤示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

实施例一

如图1、2，一种基于多特征视觉的智能交通电子提示装置检测方法，包括：

通过高清摄像机对交通道路实况视频进行采集；

将视频转换成易于模型分析、传送和进一步处理的形式传输到模型中；

分阶段对交通道路数据进行处理，由目标检测模型对输入模型中的数据进行特征提取，输出带有类别标签和矩形定位边界框的特征图，由语义分割模型对目标检测模型中输出的带有类别标签和矩形定位边界框的特征图进行特征点的分类并预测结果；

将结果输出并进行语音播报提醒。

具体步骤为：

S1.事先准备数据集对模型进行预训练，训练出模型权重后投入使用；

S2.随车行驶时，高清摄像机对交通道路实况进行采集，数据预处理单元将采集到的视频转换成易于模型分析、传送和进一步处理的图片或视频帧的形式，并输入模型；

S3.在目标检测模型内部，首先利用EfficientNets、MobileNets、HRNet、ResNets、GhostNet和T2T-ViT等一系列优秀的神经网络模型共同对图像进行特征层的提取。由于特征提取网络的不同，所以在对图像中的目标进行特征提取时所关注的边缘特征也存在差异。因此，将不同网络提取到的相同尺寸的特征层存储在特征池中并进行下一步通道数的堆叠，使特征层能够保留不同特征提取网络提取的有效特征。显然，将太多的通道数进行堆叠，会影响网络的推理速度。因此，依次对堆叠后的特征层进行通道数的压缩，压缩后的有效特征层通道数依次为64，128，256，512，1024。之后将特征池里通道数压缩后的五个特征层B＝{B₁,B₂,B₃,B₄,B₅}与i-FPN无限堆叠模块里的初始化金字塔特征P＝{P₁,P₂,P₃,P₄,P₅}进行加权，将其作为非线性转换器G_θ的输入，最后使用平衡特征求解器得到特征金字塔P＝{P₁ ^*,P₂ ^*,P₃ ^*,P₄ ^*,P₅ ^*}，即隐式模型的解，增强后的特征用于输出带有类别标签保证概率和矩形定位边界框的目标检测特征图；

S4.在语义分割模型内部，首先经过主干特征提取网络对目标检测模型得到的特征图进行特征提取，获得五个初步的有效特征层，然后利用这五个有效特征层进行下一步的特征融合。在加强特征提取阶段，利用主干特征提取部分获得的五个初步有效特征层进行特征融合，特征融合的方式就是对提取到的特征层进行上采样和堆叠，获得一个最终的且融合了所有特征的有效特征层，根据最终的融合了所有特征的有效特征层对结果进行预测；

S5.将结果输出并对结果进行语音播报提醒。

实施例二

本实施例目的是提供一种基于多特征视觉的智能交通电子提示装置检测系统，包括：

视频流采集单元，对交通道路实况视频进行采集；

预处理单元，将采集到的视频转换成易于模型分析、传送和进一步处理的图片或视频帧的形式；

输入单元，将交通道路数据传输到模型中；

检测单元，分两个阶段对交通道路数据进行处理，第一阶段由目标检测模型对输入模型中的数据进行特征提取，输出带有类别标签和矩形定位边界框的特征图，在第一阶段中，神经网络模型对图像进行特征层提取，特征池存储不同网络模型提取到的相同尺寸的特征层并进行通道数的堆叠与压缩得到五个特征层B＝{B₁,B₂,B₃,B₄,B₅}，i-FPN模块将特征池输出的五个特征层与i-FPN模块内部的初始金字塔特征P＝{P₁,P₂,P₃,P₄,P₅}进行加权，非线性转换器将i-FPN模块输出的特征进行非线性变换，平衡特征求解器将非线性转换器输出结果求解得到金字塔特征P＝{P₁ ^*,P₂ ^*,P₃ ^*,P₄ ^*,P₅ ^*}，利用此特征得到带有类别标签保证概率和矩形定位边界框的特征图；第二阶段由语义分割模型对目标检测模型中输出的特征图进行特征点的分类并预测结果，在第二阶段中，主干特征提取网络对目标检测模型得到的检测特征图进行特征提取，获得多个初步的有效特征层，加强特征提取网络对多个初步有效特征层进行特征融合，从而获得最终的融合了所有特征的有效特征层；

输出单元，将结果输出；

语音提醒单元，将结果进行语音播报。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对以上实施例进行多种变化、修改、替换和变形，本发明的范围由权利要求及其等同物限定。

Claims (4)

1.一种基于多特征视觉的智能交通电子提示装置检测方法，其特征在于，包括：

对交通道路实况视频进行采集；

将视频转换成易于模型分析、传送和进一步处理的形式传输到模型中；

分阶段对交通道路数据进行处理，由目标检测模型对输入模型中的数据进行特征提取，输出带有类别标签和矩形定位边界框的特征图，由语义分割模型对目标检测模型中输出的带有类别标签和矩形定位边界框的特征图进行特征点的分类并预测结果；

将结果输出并进行语音播报提醒；

所述目标检测模型包括：

神经网络模型，采用多种神经网络模型共同对图像进行特征层提取；

特征池，用于存储不同网络模型提取到的相同尺寸的特征层，并进行通道数的堆叠与压缩，得到多个特征层；

i-FPN模块，将特征池输出的多个特征层与i-FPN模块内部的初始金字塔特征进行加权；

非线性转换器，将i-FPN模块输出的特征进行非线性变换；

平衡特征求解器，将非线性转换器输出结果求解得到金字塔特征；

所述语义分割模型包括：

主干特征提取网络，对目标检测模型得到的检测特征图进行特征提取，获得多个初步的有效特征层；

加强特征提取网络，对主干特征提取阶段获得的多个初步有效特征层进行特征融合，从而获得最终的融合了所有特征的有效特征层；

所述语义分割模型根据最终的融合了所有特征的有效特征层对结果进行预测。

2.根据权利要求1所述的一种基于多特征视觉的智能交通电子提示装置检测方法，其特征在于，所述易于模型分析、传送和进一步处理的形式为图片或视频帧。

3.根据权利要求1所述的一种基于多特征视觉的智能交通电子提示装置检测方法，其特征在于，所述对交通道路实况视频进行采集为通过高清摄像机对交通道路视频进行实时采集。

4.一种基于多特征视觉的智能交通电子提示装置检测系统，其特征在于，包括：

视频流采集单元，对交通道路实况视频进行采集；

预处理单元，将采集到的视频转换成易于模型分析、传送和进一步处理的形式；

输入单元，将交通道路数据传输到模型中；

检测单元，分阶段对交通道路数据进行处理，由目标检测模型对输入模型中的数据进行特征提取，输出带有类别标签和矩形定位边界框的特征图，由语义分割模型对目标检测模型中输出的带有类别标签和矩形定位边界框的特征图进行特征点的分类并预测结果；

输出单元，将结果输出；

语音提醒单元，将结果进行语音播报；

所述目标检测模型包括：

神经网络模型，采用多种神经网络模型共同对图像进行特征层提取；

特征池，用于存储不同网络模型提取到的相同尺寸的特征层，并进行通道数的堆叠与压缩，得到多个特征层；

i-FPN模块，将特征池输出的多个特征层与i-FPN模块内部的初始金字塔特征进行加权；

非线性转换器，将i-FPN模块输出的特征进行非线性变换；

平衡特征求解器，将非线性转换器输出结果求解得到金字塔特征；

所述语义分割模型包括：

主干特征提取网络，对目标检测模型得到的检测特征图进行特征提取，获得多个初步的有效特征层；

加强特征提取网络，对主干特征提取阶段获得的多个初步有效特征层进行特征融合，从而获得最终的融合了所有特征的有效特征层；

所述语义分割模型根据最终的融合了所有特征的有效特征层对结果进行预测。

Images