CN117649632A - 基于多源交通数据的高速公路事件识别方法及识别装置 - Google Patents
基于多源交通数据的高速公路事件识别方法及识别装置 Download PDFInfo
- Publication number
- CN117649632A CN117649632A CN202410119655.4A CN202410119655A CN117649632A CN 117649632 A CN117649632 A CN 117649632A CN 202410119655 A CN202410119655 A CN 202410119655A CN 117649632 A CN117649632 A CN 117649632A
- Authority
- CN
- China
- Prior art keywords
- expressway
- event
- training
- highway
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 60
- 230000004927 fusion Effects 0.000 claims abstract description 51
- 238000012544 monitoring process Methods 0.000 claims abstract description 31
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 10
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 230000008447 perception Effects 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 40
- 230000002159 abnormal effect Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000005266 casting Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000003631 expected effect Effects 0.000 claims description 2
- 238000011161 development Methods 0.000 description 7
- 230000018109 developmental process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000001737 promoting effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明提供了基于多源交通数据的高速公路事件识别方法及识别装置，其中基于多源交通数据的高速公路事件识别方法，其具体步骤如下：S1，获取高速公路监控视频流作为训练样本；S2，搭建包括视频图像信息和雷达点云信息的特征融合模块和时空一致性语义对齐模块作为高速公路事件识别模型；S3，高速公路事件识别模型进行训练，每一个训练样本首先输入到特征融合模块在特征层、图像时序层和标签层进行双向融合，然后采用基于类别感知的时空一致性语义对齐模块，实现高速公路事件的语义解析；S4，获取待测的监控视频流，输入到训练完成的高速公路事件识别模型中进行高速公路事件识别，进而得到高速公路事件的识别结果。
Description
技术领域
本发明属于计算机视觉技术领域，涉及基于多源交通数据的高速公路事件识别方法及识别装置。
背景技术
高速公路作为现代交通基础设施的重要组成部分，对于促进经济发展、便利人民出行、推动物流运输、减少能源消耗等方面具有重要意义。它不仅连接城市与城市之间的联系，也是各种产业和商业活动的重要纽带，对于提高交通运输效率、促进区域经济一体化发展具有重要作用。同时，高速公路的建设还有助于改善交通流通状况，提升道路安全性，减少交通拥堵，提高交通运输的便捷性和效率，促进社会发展与交通运输的智能化发展。高速公路事件检测的重要性体现在保障人民生命财产安全、提高交通运输效率、推进智能交通发展和提升交通管理能力等方面。通过实时监测和预警，事件检测系统能减少事故发生、降低伤亡和损失，疏导交通、减少拥堵，提供便利、安全、高效的出行服务，并为交通管理部门提供决策支持和应急处置能力，促进交通运输行业的智能化发展。综上所述，高速公路事件检测在保障人民安全、提升效率和推动智能交通发展方面具有重要意义。
针对高速公路收费站拥堵问题，目前多采用人工检测或者基于深度神经网络的人工智能的方法。人工检测的方式是通过值班工作人员观看高速公路收费站的实时监控，人为判断当前高速公路的收费站是否处于拥堵情况，这种人工检测方式存在成本较高，且无法实现实时准确的全天候检测的问题。人工智能的方式是基于摄像头或者雷达的目标检测的方法，使用摄像头、激光或毫米波雷达等设备对高速公路范围内的车辆进行识别和跟踪，实时监测车通行状态的交通参数等信息，同时对车辆类型、速度、密度等进行实时监测和分析，及时发现和预警交通事件和拥堵情况；但是此类基于目标识别和追踪的算法通常依赖单一传感器获取的数据信息，局限性在于无法全面覆盖整个高速公路、获取丰富的交通参数数据，可能受到环境和设备因素的影响，同时故障会导致系统失效。为了克服这些问题，现代高速公路事件检测系统采用多源数据融合的方式，结合视频监控、雷达等技术，以提高监测范围、信息获取和准确性，确保及时检测和处理各类交通事件，保障高速公路的安全和畅通。
发明内容
本发明提供了一种基于多源交通数据的高速公路事件识别方法及识别装置，采用多源数据融合的方式，结合视频监控、雷达等技术，以提高监测范围、信息获取和准确性，确保及时检测和处理各类交通事件，保障高速公路的安全和畅通。
本发明采用的技术方案是：
基于多源交通数据的高速公路事件识别方法，其具体步骤如下：
S1，获取高速公路包括拥堵缓行、异常停车、异常行驶、行人非机动车和路面抛洒物的每类至少10段监控视频流作为训练样本；
S2，搭建包括视频图像信息和雷达点云信息的特征融合模块和时空一致性语义对齐模块作为高速公路事件识别模型；
S3，将步骤S1中的训练样本输入到步骤S2中高速公路事件识别模型中进行训练，每一个训练样本首先输入到特征融合模块在特征层、图像时序层和标签层进行双向融合，然后采用基于类别感知的时空一致性语义对齐模块，实现高速公路事件的语义解析；
S4，获取待测的监控视频流，并将监控视频流输入到步骤S3中训练完成的高速公路事件识别模型中进行高速公路事件识别，进而得到高速公路事件的识别结果。
进一步，步骤S1中的训练样本需要预训练，具体包括：
通过特征提取网络提取每一视频图像帧中对应货车、轿车和巴士的车辆目标；
标记车辆目标并对标记车辆目标的图像进行预训练，以从视频图像帧中识别车辆目标。
进一步，步骤S1中的特征提取网络采用YoloV5，将时间长度为T的训练样本VT输入到特征提取网络中输出提取的特征，设输入的视频图像帧的宽和高为w×h。
进一步，步骤S2的高速公路事件识别模型的构建具体如下：
YoloV5网络Conv2，Conv3，Conv4和Conv5输出的特征图分别为C2，C3，C4和C5，输出的特征图通过YoloV5网络的后续阶段生成时间长度为T的视频特征域为，雷达点云特征域为/>，其中X表示序列，x表示单帧，/>表示时刻t的特征矩阵，
将经过特征提取得到的特征域和/>进行双向融合，得到融合域，其中/>为基于特征域的点乘运算；/>为识别的事件类型的类别掩码，/>，其中/>为二值化操作的指示函数，/>为高速公路事件类别域，k表示高速公路事件类型；
将融合域进行基于时空的语义对齐，采用基于光流法实现输出特征空间的一致性，即实现时空语义对齐：
；
通过将融合域和在时刻t-1变化到时刻t的基于光流的特征/>进行融合算法/>的计算，得到基于连续时间序列的语义融合域/>；
获得语义融合域后，在检测阶段对训练获得的权重文件高速公路事件类别域内的事件进行匹配，最终输出识别的高速公路事件类型，即高速公路事件识别结果：
；
其中为检测结果，即t时间内检测出类别为k的事件；
为预测概率，即t＇时刻检测出类别为k的事件的发生概率；
为经过序列长度T训练得到的权重。
进一步，获得语义融合域后先采用双线性插值进行数据预处理，即，其中，/>为经过双线性插值后的语义融合域值，W为双线性插值操作，/>为时刻t-1到时刻t变化过程。
进一步，步骤S3中训练后采用准确率Pr、召回率Rec和F1-评分F1-score对无监督的训练效果进行评估，当评估达到预计效果时则停止训练，其中各种评估指标的计算公式如下：
；
；
；
其中TP为正确检出数量，FP为误检数量，FN为漏检数量。
基于多源交通数据的高速公路事件识别装置，用于执行上述基于多源交通数据的高速公路事件识别方法，包括处理器，所述处理器内设置有：
训练样本获取模块，用于获取高速公路包括拥堵缓行、异常停车、异常行驶、行人非机动车和路面抛洒物的每类至少10段监控视频流作为训练样本；
特征提取模块，用于对训练文本进行预训练，提取标记车辆目标的图像的特征；
模型搭建模块，用于搭建包括视频图像信息和雷达点云信息的特征融合模块和时空一致性语义对齐模块作为高速公路事件识别模型；
模型训练模块，用于将训练样本输入到高速公路事件识别模型中进行训练，每一个训练样本首先输入到特征融合模块在特征层、图像时序层和标签层进行双向融合，然后采用基于类别感知的时空一致性语义对齐模块，实现高速公路事件的语义解析；
识别结果输出模块，用于将待测监控视频流输入到训练完成的高速公路事件识别模型中进行高速公路事件识别，进而得到高速公路事件的识别结果。
进一步，所述处理器上连接有用于存储数据或指令的存储器。
进一步，所述处理器上连接有用于与外部设备数据传输的传输设备。
进一步，所述处理器上连接有用于与输入或输出信息的输入输出设备。
本发明的有益效果：相对于传统高速公路事件检测依赖于监控视频或者雷达的单一传感器无法全面覆盖整个高速公路和丰富的交通参数，且易受到环境和设备因素影响，具有更好的全天候检测的实时检测效果。其次，结合基于时序的特征融合，对高速公路事件检测提供更稳定和准确的检测效果。本发明采用多源数据融合的方式，结合视频监控、雷达等技术，以提高监测范围、信息获取和准确性，确保及时检测和处理各类交通事件，保障高速公路的安全和畅通。
附图说明
图1是本发明的高速公路事件识别模型的构建逻辑示意图。
图2是本发明的高速公路事件识别模型的构建方法的示意图。
图3是本发明的基于多源交通数据的高速公路事件识别装置的结构示意图。
具体实施方式
下面结合具体实施例来对本发明进行进一步说明，但并不将本发明局限于这些具体实施方式。本领域技术人员应该认识到，本发明涵盖了权利要求书范围内所可能包括的所有备选方案、改进方案和等效方案。
参见图1、图2，本发明提供了一种基于多源交通数据的高速公路事件识别方法，其具体步骤如下：
S1，获取高速公路包括拥堵缓行、异常停车、异常行驶、行人非机动车和路面抛洒物的每类至少10段监控视频流作为训练样本；
其中的训练样本需要预训练，具体包括：
通过特征提取网络提取每一视频图像帧中对应货车、轿车和巴士的车辆目标；
标记车辆目标并对标记车辆目标的图像进行预训练，以可从视频图像帧中识别车辆目标。
本实施例中特征提取网络采用YoloV5，将时间长度为T的训练样本VT输入到特征提取网络中输出提取的特征，设输入的视频图像帧的宽和高为w×h（412×412），YoloV5骨干网络使用的各阶段输出如下表一表示：
表一 图像分割网络各个阶段的输出
| 阶段 | 输出 |
| Conv1 | （h/2）×（w/2） |
| Conv2 | （h/4）×（w/4） |
| Conv3 | （h/8）×（w/8） |
| Conv4 | （h/16）×（w/16） |
| Conv5 | （h/32）×（w/32） |
S2，搭建包括视频图像信息和雷达点云信息的特征融合模块和时空一致性语义对齐模块作为高速公路事件识别模型；
高速公路事件识别模型的构建具体如下：
YoloV5网络Conv2，Conv3，Conv4和Conv5输出的特征图分别为C2，C3，C4和C5，这些特征图通过YoloV5网络的后续阶段生成时间长度为T的视频特征域为，雷达点云特征域为/>，其中X表示序列，x表示单帧，/>表示时刻t的特征矩阵，
将经过特征提取得到的特征域和/>进行双向融合，得到融合域，其中/>为基于特征域的点乘运算；/>为识别的事件类型的类别掩码，/>，其中/>为二值化操作的指示函数，/>为高速公路事件类别域，k表示高速公路事件类型；高速事件类别包括拥堵缓行、异常停车、异常行驶、行人非机动车和路面抛洒物等。
将融合域进行基于时空的语义对齐，因为监控视频和雷达点云捕获的特征均按照时间顺序发展变化的，因此采用基于光流法实现输出特征空间的一致性，即实现时空语义对齐：
。
通过将融合域和在时刻t-1变化到时刻t的基于光流的特征/>进行融合算法/>的计算，得到基于连续时间序列的语义融合域/>；同时为了消除特征中噪点的干扰，获得语义融合域后先采用双线性插值进行数据预处理，即，其中/>为经过双线性插值后的语义融合域值，W为双线性插值操作，/>为时刻t-1到时刻t变化过程。
获得语义融合域后，在检测阶段可以对训练获得的权重文件高速公路事件类被域内的事件进行匹配，最终输出识别的高速公路事件类型，即高速公路事件识别结果：
；
其中为检测结果，即t时间内检测出类别为k的事件；
为预测概率，即t＇时刻检测出类别为k的事件的发生概率；
为经过序列长度T训练得到的权重。
将步骤S1中的训练样本输入到步骤S2中高速公路事件识别模型中进行训练，每一个训练样本首先输入到特征融合模块在特征层、图像时序层和标签层进行双向融合，然后采用基于类别感知的时空一致性语义对齐模块，实现高速公路事件的语义解析；
训练后采用准确率Pr、召回率Rec和F1-评分F1-score对无监督的训练效果进行评估，当评估达到预计效果时则停止训练，其中各种评估指标的计算公式如下：
；
；
；
其中TP为正确检出数量，FP为误检数量，FN为漏检数量。
S4，获取待测的监控视频流，并将监控视频流输入到步骤S3中训练完成的高速公路事件识别模型中进行高速公路事件识别，进而得到高速公路事件的识别结果。
本发明实现高速公路事件检测是基于视频检测，通过将视频图像信息和雷达点云信息进行特征提取和融合，并且结合时空一致性的语义对齐，进而实现高速公路事件的语义解析；目的是基于一段连续的时序数据进行识别和判断，避免由于一帧的静态图片导致的事件的漏检和误检。
本发明相对于传统高速公路事件检测依赖于监控视频或者雷达的单一传感器无法全面覆盖整个高速公路和丰富的交通参数，且易受到环境和设备因素影响，具有更好的全天候检测的实时检测效果。其次，结合基于时序的特征融合，对高速公路事件检测提供更稳定和准确的检测效果。本发明采用多源数据融合的方式，结合视频监控、雷达等技术，以提高监测范围、信息获取和准确性，确保及时检测和处理各类交通事件，保障高速公路的安全和畅通。
实施例二
本实施例提供了一种基于多源交通数据的高速公路事件识别装置，用于执行实施例一所述的基于多源交通数据的高速公路事件识别方法，如图3所示，包括处理器402，所述处理器402内设置有：
训练样本获取模块，用于获取高速公路包括拥堵缓行、异常停车、异常行驶、行人非机动车和路面抛洒物的每类至少10段监控视频流作为训练样本；
特征提取模块，用于对训练文本进行预训练，提取标记车辆目标的图像的特征；
模型搭建模块，用于搭建包括视频图像信息和雷达点云信息的特征融合模块和时空一致性语义对齐模块作为高速公路事件识别模型；
模型训练模块，用于将训练样本输入到高速公路事件识别模型中进行训练，每一个训练样本首先输入到特征融合模块在特征层、图像时序层和标签层进行双向融合，然后采用基于类别感知的时空一致性语义对齐模块，实现高速公路事件的语义解析；
识别结果输出模块，用于将待测监控视频流输入到训练完成的高速公路事件识别模型中进行高速公路事件识别，进而得到高速公路事件的识别结果。
本实施例所述处理器402可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecificIntegratedCircuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。
本实施例所述处理器402上连接有用于存储数据或指令的存储器404。存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器（Hard Disk Drive，简称为HDD）、软盘驱动器、固态驱动器（Solid State Drive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（Universal Serial Bus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性（Non-Volatile）存储器。在特定实施例中，存储器404包括只读存储器（Read-Only Memory，简称为ROM）和随机存取存储器（Random AccessMemory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（Programmable Read-Only Memory，简称为PROM）、可擦除PROM（Erasable ProgrammableRead-Only Memory，简称为EPROM）、电可擦除PROM（Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM）、电可改写ROM（Electrically Alterable Read-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（Static Random-Access Memory，简称为SRAM）或动态随机存取存储器（Dynamic Random Access Memory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器404（Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM）、同步动态随机存取内存（Synchronous Dynamic Random-Access Memory，简称SDRAM）等。
存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。处理器402通过读取并执行存储器404中存储的计算机程序指令。
本实施例所述处理器402上连接有用于与外部设备数据传输的传输设备406。传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
本实施例所述处理器402上连接有用于与输入或输出信息的输入输出设备408。输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是监控视频流等，输出的信息可以是当前高速公路收费站的通行状态等。
通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.基于多源交通数据的高速公路事件识别方法，其具体步骤如下：
S1，获取高速公路包括拥堵缓行、异常停车、异常行驶、行人非机动车和路面抛洒物的每类至少10段监控视频流作为训练样本；
S2，搭建包括视频图像信息和雷达点云信息的特征融合模块和时空一致性语义对齐模块作为高速公路事件识别模型；
S3，将步骤S1中的训练样本输入到步骤S2中高速公路事件识别模型中进行训练，每一个训练样本首先输入到特征融合模块在特征层、图像时序层和标签层进行双向融合，然后采用基于类别感知的时空一致性语义对齐模块，实现高速公路事件的语义解析；
S4，获取待测的监控视频流，并将监控视频流输入到步骤S3中训练完成的高速公路事件识别模型中进行高速公路事件识别，进而得到高速公路事件的识别结果。
2.根据权利要求1所述的基于多源交通数据的高速公路事件识别方法，其特征在于：步骤S1中的训练样本需要预训练，具体包括：
通过特征提取网络提取每一视频图像帧中对应货车、轿车和巴士的车辆目标；
标记车辆目标并对标记车辆目标的图像进行预训练，以从视频图像帧中识别车辆目标。
3.根据权利要求2所述的基于多源交通数据的高速公路事件识别方法，其特征在于：步骤S1中的特征提取网络采用YoloV5，将时间长度为T的训练样本VT输入到特征提取网络中输出提取的特征，设输入的视频图像帧的宽和高为w×h。
4.根据权利要求3所述的基于多源交通数据的高速公路事件识别方法，其特征在于：步骤S2的高速公路事件识别模型的构建具体如下：
YoloV5网络Conv2，Conv3，Conv4和Conv5输出的特征图分别为C2，C3，C4和C5，输出的特征图通过YoloV5网络的后续阶段生成时间长度为T的视频特征域为，雷达点云特征域为/>，其中X表示序列，x表示单帧，/>表示时刻t的特征矩阵，
将经过特征提取得到的特征域和/>进行双向融合，得到融合域，其中/>为基于特征域的点乘运算；/>为识别的事件类型的类别掩码，/>，其中/>为二值化操作的指示函数，/>为高速公路事件类别域，k表示高速公路事件类型；
将融合域进行基于时空的语义对齐，采用基于光流法实现输出特征空间的一致性，即实现时空语义对齐：
；
通过将融合域和在时刻t-1变化到时刻t的基于光流的特征/>进行融合算法/>的计算，得到基于连续时间序列的语义融合域/>；
获得语义融合域后，在检测阶段对训练获得的权重文件高速公路事件类被域内的事件进行匹配，最终输出识别的高速公路事件类型，即高速公路事件识别结果：
；
其中为检测结果，即t时间内检测出类别为k的事件；
为预测概率，即t＇时刻检测出类别为k的事件的发生概率；
为经过序列长度T训练得到的权重。
5.根据权利要求4所述的基于多源交通数据的高速公路事件识别方法，其特征在于：获得语义融合域后先采用双线性插值进行数据预处理，即，其中，为经过双线性插值后的语义融合域值，W为双线性插值操作，/>为时刻t-1到时刻t变化过程。
6.根据权利要求4所述的基于多源交通数据的高速公路事件识别方法，其特征在于：步骤S3中训练后采用准确率Pr、召回率Rec和F1-评分F1-score对无监督的训练效果进行评估，当评估达到预计效果时则停止训练，其中各种评估指标的计算公式如下：
；
；
；
其中TP为正确检出数量，FP为误检数量，FN为漏检数量。
7.基于多源交通数据的高速公路事件识别装置，用于执行权利要求1-6任意一项所述基于多源交通数据的高速公路事件识别方法，包括处理器，其特征在于：所述处理器内设置有：
训练样本获取模块，用于获取高速公路包括拥堵缓行、异常停车、异常行驶、行人非机动车和路面抛洒物的每类至少10段监控视频流作为训练样本；
特征提取模块，用于对训练文本进行预训练，提取标记车辆目标的图像的特征；
模型搭建模块，用于搭建包括视频图像信息和雷达点云信息的特征融合模块和时空一致性语义对齐模块作为高速公路事件识别模型；
模型训练模块，用于将训练样本输入到高速公路事件识别模型中进行训练，每一个训练样本首先输入到特征融合模块在特征层、图像时序层和标签层进行双向融合，然后采用基于类别感知的时空一致性语义对齐模块，实现高速公路事件的语义解析；
识别结果输出模块，用于将待测监控视频流输入到训练完成的高速公路事件识别模型中进行高速公路事件识别，进而得到高速公路事件的识别结果。
8.根据权利要求7所述的基于多源交通数据的高速公路事件识别装置，其特征在于：所述处理器上连接有用于存储数据或指令的存储器。
9.根据权利要求7所述的基于多源交通数据的高速公路事件识别装置，其特征在于：所述处理器上连接有用于与外部设备数据传输的传输设备。
10.根据权利要求7所述的基于多源交通数据的高速公路事件识别装置，其特征在于：所述处理器上连接有用于与输入或输出信息的输入输出设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410119655.4A CN117649632B (zh) | 2024-01-29 | 2024-01-29 | 基于多源交通数据的高速公路事件识别方法及识别装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410119655.4A CN117649632B (zh) | 2024-01-29 | 2024-01-29 | 基于多源交通数据的高速公路事件识别方法及识别装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117649632A true CN117649632A (zh) | 2024-03-05 |
| CN117649632B CN117649632B (zh) | 2024-05-07 |
Family
ID=90049920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410119655.4A Active CN117649632B (zh) | 2024-01-29 | 2024-01-29 | 基于多源交通数据的高速公路事件识别方法及识别装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117649632B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953470A (zh) * | 2024-03-26 | 2024-04-30 | 杭州感想科技有限公司 | 全景拼接相机的高速公路事件识别方法及装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210111052A (ko) * | 2020-03-02 | 2021-09-10 | 건국대학교 산학협력단 | 의미론적 영상을 활용한 포인트 클라우드 분류 장치 및 방법 |
| US20210398427A1 (en) * | 2020-06-23 | 2021-12-23 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for identifying traffic accident, device and computer storage medium |
| US20220101272A1 (en) * | 2020-09-30 | 2022-03-31 | GoodRoads, Inc. | System and Method for Optimized Road Maintenance Planning |
| CN114639243A (zh) * | 2022-03-31 | 2022-06-17 | 四川九洲视讯科技有限责任公司 | 智能交通预测与决策方法、系统及可读存储介质 |
| CN114926807A (zh) * | 2022-02-14 | 2022-08-19 | 成都臻识科技发展有限公司 | 车辆事件识别方法、装置、设备及存储介质 |
| CN115019512A (zh) * | 2022-07-05 | 2022-09-06 | 北京动视元科技有限公司 | 一种基于雷达视频融合的道路事件检测系统 |
| CN115618932A (zh) * | 2022-09-23 | 2023-01-17 | 清华大学 | 基于网联自动驾驶的交通事件预测方法、装置及电子设备 |
| CN116434159A (zh) * | 2023-04-13 | 2023-07-14 | 西安电子科技大学 | 一种基于改进YOLO V7和Deep-Sort的交通流量统计方法 |
| CN116630866A (zh) * | 2023-07-24 | 2023-08-22 | 中电信数字城市科技有限公司 | 音视频雷达融合的异常事件监控方法、装置、设备及介质 |
| CN116721393A (zh) * | 2023-06-13 | 2023-09-08 | 浙江省机电设计研究院有限公司 | 一种基于多模态融合的高速公路拥堵检测方法及系统 |
| US20230386221A1 (en) * | 2022-05-31 | 2023-11-30 | Hon Hai Precision Industry Co., Ltd. | Method for detecting road conditions and electronic device |
| CN117409381A (zh) * | 2023-12-14 | 2024-01-16 | 杭州像素元科技有限公司 | 基于场景图像分割的高速公路收费站拥堵检测模型及方法 |
-
2024
- 2024-01-29 CN CN202410119655.4A patent/CN117649632B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210111052A (ko) * | 2020-03-02 | 2021-09-10 | 건국대학교 산학협력단 | 의미론적 영상을 활용한 포인트 클라우드 분류 장치 및 방법 |
| US20210398427A1 (en) * | 2020-06-23 | 2021-12-23 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for identifying traffic accident, device and computer storage medium |
| US20220101272A1 (en) * | 2020-09-30 | 2022-03-31 | GoodRoads, Inc. | System and Method for Optimized Road Maintenance Planning |
| CN114926807A (zh) * | 2022-02-14 | 2022-08-19 | 成都臻识科技发展有限公司 | 车辆事件识别方法、装置、设备及存储介质 |
| CN114639243A (zh) * | 2022-03-31 | 2022-06-17 | 四川九洲视讯科技有限责任公司 | 智能交通预测与决策方法、系统及可读存储介质 |
| US20230386221A1 (en) * | 2022-05-31 | 2023-11-30 | Hon Hai Precision Industry Co., Ltd. | Method for detecting road conditions and electronic device |
| CN115019512A (zh) * | 2022-07-05 | 2022-09-06 | 北京动视元科技有限公司 | 一种基于雷达视频融合的道路事件检测系统 |
| CN115618932A (zh) * | 2022-09-23 | 2023-01-17 | 清华大学 | 基于网联自动驾驶的交通事件预测方法、装置及电子设备 |
| CN116434159A (zh) * | 2023-04-13 | 2023-07-14 | 西安电子科技大学 | 一种基于改进YOLO V7和Deep-Sort的交通流量统计方法 |
| CN116721393A (zh) * | 2023-06-13 | 2023-09-08 | 浙江省机电设计研究院有限公司 | 一种基于多模态融合的高速公路拥堵检测方法及系统 |
| CN116630866A (zh) * | 2023-07-24 | 2023-08-22 | 中电信数字城市科技有限公司 | 音视频雷达融合的异常事件监控方法、装置、设备及介质 |
| CN117409381A (zh) * | 2023-12-14 | 2024-01-16 | 杭州像素元科技有限公司 | 基于场景图像分割的高速公路收费站拥堵检测模型及方法 |
Non-Patent Citations (3)
| Title |
|---|
| KHAN, S ETC.: "An Intelligent Monitoring System of Vehicles on Highway Traffic", 《 ARXIV》, 19 November 2019 (2019-11-19), pages 1 - 5 * |
| 杨樱: "基于多源数据的交通事件识别主动管控系统研究", 《江苏科技信息》, 31 March 2023 (2023-03-31), pages 62 - 68 * |
| 董鸣: "视觉感知增强的智能汽车轨迹预测与孪生测试系统构建", 《万方》, 6 July 2023 (2023-07-06), pages 14 - 92 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953470A (zh) * | 2024-03-26 | 2024-04-30 | 杭州感想科技有限公司 | 全景拼接相机的高速公路事件识别方法及装置 |
| CN117953470B (zh) * | 2024-03-26 | 2024-06-18 | 杭州感想科技有限公司 | 全景拼接相机的高速公路事件识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117649632B (zh) | 2024-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117649632B (zh) | 基于多源交通数据的高速公路事件识别方法及识别装置 | |
| CN103325259B (zh) | 一种基于多核并行的违章停车检测方法 | |
| CN115294767B (zh) | 一种高速公路车道线实时检测与交通安全预警方法及装置 | |
| CN109661692B (zh) | 交通事件预测方法、装置及终端设备 | |
| Wang et al. | Vehicle reidentification with self-adaptive time windows for real-time travel time estimation | |
| CN114387785A (zh) | 一种基于智慧公路的安全管控方法、系统及可存储介质 | |
| CN111541751B (zh) | 一种轨迹监测的方法及装置 | |
| Thiruppathiraj et al. | Automatic pothole classification and segmentation using android smartphone sensors and camera images with machine learning techniques | |
| CN115311229A (zh) | 基于激光雷达的路面病害检测分类方法、系统和存储介质 | |
| Saha et al. | Developing a framework for vehicle detection, tracking and classification in traffic video surveillance | |
| Do et al. | A novel algorithm for estimating fast-moving vehicle speed in intelligent transport systems | |
| Singh et al. | Road pothole detection from smartphone sensor data using improved LSTM | |
| Radi et al. | Enhanced Implementation of Intelligent Transportation Systems (ITS) based on Machine Learning Approaches | |
| CN116229396B (zh) | 高速路面病害识别及告警方法 | |
| CN110633609B (zh) | 基于人脸对象位置分析的定位平台 | |
| Ghosh | An improved you only look once based intelligent system for moving vehicle detection | |
| Jin et al. | An intelligent traffic detection approach for vehicles on highway using pattern recognition and deep learning | |
| Ramadan et al. | Real-time Automated License Plate Recognition and Tracking of Runaway Vehicles | |
| CN114446042B (zh) | 预警交通事故的方法、装置、设备以及存储介质 | |
| CN111027365B (zh) | 基于人脸对象位置分析的定位方法 | |
| Ibryaeva et al. | A study of the impact of the transport queue structure on the traffic capacity of a signalized intersection using neural networks | |
| CN105205500A (zh) | 基于多目标跟踪与级联分类器融合的车辆检测 | |
| CN114565793B (zh) | 一种道路交通裂缝监测方法以及系统 | |
| CN117275232B (zh) | 基于车路协同的动态感知方法及装置 | |
| Upadhyay et al. | Traffic Monitoring System using YOLOv3 Model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |