CN117115752A - 一种高速公路视频监控方法及系统 - Google Patents
一种高速公路视频监控方法及系统 Download PDFInfo
- Publication number
- CN117115752A CN117115752A CN202311237934.2A CN202311237934A CN117115752A CN 117115752 A CN117115752 A CN 117115752A CN 202311237934 A CN202311237934 A CN 202311237934A CN 117115752 A CN117115752 A CN 117115752A
- Authority
- CN
- China
- Prior art keywords
- target vehicle
- target
- video
- abnormal behavior
- video monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 title claims abstract description 46
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 100
- 230000004927 fusion Effects 0.000 claims abstract description 58
- 238000001514 detection method Methods 0.000 claims abstract description 55
- 239000013598 vector Substances 0.000 claims abstract description 38
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 7
- 238000010276 construction Methods 0.000 description 7
- 206010039203 Road traffic accident Diseases 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种高速公路视频监控方法及系统，属于视频监控技术领域，视频监控方法包括：实时获取高速公路上特定路段的多个视频监控数据；将多个视频监控数据进行视频融合，生成视频融合数据；根据视频融合数据进行目标车辆检测和特征提取，得到目标车辆的实时位置信息和特征向量；基于目标车辆的特征向量，对视频融合数据中多个视角的目标车辆进行目标匹配；根据目标匹配结果进行多个视角的目标跟踪，得到目标车辆的多视角跟踪结果；基于目标车辆的多视角跟踪结果，对目标车辆进行异常行为检测，得到目标车辆的异常行为检测结果。本申请实现了车辆行为异常的准确判断和及时发现，以便于提前预警潜在的交通安全风险，提高了交通安全性。
Description
技术领域
本申请涉及视频监控技术领域，尤其是涉及一种高速公路视频监控方法及系统。
背景技术
随着社会经济的快速增长以及交通运输量的日益提高，高速公路成为了现代交通网络中的重要组成部分。保安全、保畅通是高速公路上最重要的准则。
为了提高安全性，高速公路通常会采用视频监控技术，通过高速公路沿路安装的摄像头进行实时监测和录像，以获取车辆行为异常等信息，为交通管理部门提供决策依据。
目前，面对高速公路上的一些特殊路段，例如施工路段、山区弯道路段以及事故高发路段等，针对单一或寥寥几个摄像头所采集到的视频数据进行单独分析往往不够全面，无法覆盖整个特殊路段，尤其是当车辆从一个摄像头的监测范围内消失并进入另一个摄像头的视野时，无法实现车辆的连续跟踪，进而可能导致车辆行为异常判断不准确或发现不及时的情况发生，降低了交通安全性。
发明内容
为了提高交通安全性，本申请提供了一种高速公路视频监控方法及系统。
第一方面，本申请提供一种高速公路视频监控方法，采用如下的技术方案：
一种高速公路视频监控方法，所述视频监控方法包括：
实时获取高速公路上特定路段的多个视频监控数据；
将所述多个视频监控数据进行视频融合，生成视频融合数据；
根据所述视频融合数据进行目标车辆检测和特征提取，得到目标车辆的实时位置信息和特征向量；
基于所述目标车辆的特征向量，对所述视频融合数据中多个视角的目标车辆进行目标匹配；
基于所述目标车辆的实时位置信息，根据所述目标匹配结果进行多个视角的目标跟踪，得到所述目标车辆的多视角跟踪结果；
基于所述目标车辆的多视角跟踪结果，对所述目标车辆进行异常行为检测，得到所述目标车辆的异常行为检测结果。
通过采用上述技术方案，在面对高速公路上的事故高发路段、施工路段、山区弯道陡坡路段等特定路段时，可利用该特定路段上的各个摄像头采集的视频监控数据进行联合分析，通过视频融合、目标检测、特征提取、目标匹配、目标跟踪等上述步骤的有机结合，基于视角互补和场景重叠的策略，以提高监控覆盖率和目标识别的准确性；通过对多个目标车辆在多个视角下的准确跟踪，进一步实现了车辆行为异常的准确判断和及时发现，以便于提前预警潜在的交通安全风险，提高了交通安全性。
可选的，根据所述多个视频监控数据进行视频融合的步骤包括：
对所述多个视频监控数据进行视频对齐；其中，所述视频对齐包括时间对齐和空间对齐；
将对齐后的视频监控数据进行视频配准；
将配准后的视频监控数据进行加权平均融合；
对融合后的视频监控数据进行修正，得到视频融合数据。
通过采用上述技术方案，将多个视频监控数据进行融合，能够得到更加全面准确的监控视角，提供更全面的监控信息，提高了交通安全性和管理效率。
可选的，基于所述目标车辆的特征向量，对所述视频融合数据中多个视角的目标车辆进行目标匹配的步骤包括：
提取所述视频融合数据中多个视角的目标车辆的特征向量；
将多个视角的目标车辆的特征向量分别进行比较，并计算得到相似度得分；
将多个视角的相似度得分高于预设阈值的特征向量对应的目标车辆匹配为同一所述目标车辆。
通过采用上述技术方案，比较目标车辆的特征向量并计算相似度得分，根据相似度得分确定不同视角的同一目标车辆，从而确保不同视角下的目标能够正确匹配，便于在后续的多视角目标跟踪中使用，以实现更准确的目标识别和跟踪。
可选的，基于所述目标车辆的实时位置信息，根据所述目标匹配结果进行多个视角的目标跟踪，得到所述目标车辆的多视角跟踪结果的步骤包括：
根据所述目标匹配结果，获取所述目标车辆在每个视角下的实时位置信息；
将每个视角下的实时位置信息输入滤波模型中进行目标跟踪，得到所述目标车辆的多视角跟踪结果；其中，所述多视角跟踪结果包括连续跟踪轨迹和状态信息。
通过采用上述技术方案，在正确匹配不同视角下的同一目标车辆后，利用滤波算法进行目标位置和状态的预测与更新，最终得到目标车辆的多视角连续跟踪轨迹和状态信息，从而提供更全面、准确的目标车辆信息，帮助更精确地分析目标车辆的行为。
可选的，基于所述目标车辆的多视角跟踪结果，对所述目标车辆进行异常行为检测，得到所述目标车辆的异常行为检测结果的步骤包括：
根据所述目标车辆的多视角跟踪结果，提取连续跟踪轨迹和状态信息；
将所述连续跟踪轨迹和状态信息进行数据预处理；
提取所述目标车辆的异常行为特征；
将所述目标车辆的异常行为特征输入至预先训练的异常行为检测模型中，得到目标车辆的异常行为检测结果。
通过采用上述技术方案，根据目标车辆的异常行为特征来反映目标车辆的异常行为，通过机器学习或深度学习等技术来训练异常行为检测模型，以学习和识别目标车辆的异常行为，提高了对目标车辆异常行为的检测准确性和可靠性，为实时监测、交通安全管理等领域提供有效的技术支持。
可选的，在得到所述目标车辆的异常行为检测结果之后还包括：
根据所述异常行为检测结果，判断所述目标车辆是否存在异常行为；
若是，则根据所述异常行为，发送异常行为警示信息至所述目标车辆对应的用户终端。
通过采用上述技术方案，及时警示该目标车辆的驾驶员可能存在超速、逆行或违法变道等异常行为，以提醒驾驶员采取必要的措施来避免后续可能发生的交通事故。
第二方面，本申请提供一种高速公路视频监控系统，采用如下的技术方案：
一种高速公路视频监控系统，所述视频监控系统包括：
视频监控数据获取模块，用于实时获取高速公路上特定路段的多个视频监控数据；
视频融合模块，用于将所述多个视频监控数据进行视频融合，生成视频融合数据；
目标车辆检测模块，用于根据所述视频融合数据进行目标车辆检测，得到目标车辆的实时位置信息；
特征提取模块，用于根据所述视频融合数据进行特征提取，得到目标车辆的特征向量；
目标车辆匹配模块，用于基于所述目标车辆的特征向量，对所述视频融合数据中多个视角的目标车辆进行目标匹配；
目标车辆跟踪模块，用于基于所述目标车辆的实时位置信息，根据所述目标匹配结果进行多个视角的目标跟踪，得到所述目标车辆的多视角跟踪结果；
异常行为检测模块，用于基于所述目标车辆的多视角跟踪结果，对所述目标车辆进行异常行为检测，得到所述目标车辆的异常行为检测结果。
通过采用上述技术方案，在面对高速公路上的事故高发路段、施工路段、山区弯道陡坡路段等特定路段时，可利用该特定路段上的各个摄像头采集的视频监控数据进行联合分析，通过视频融合、目标检测、特征提取、目标匹配、目标跟踪等上述步骤的有机结合，基于视角互补和场景重叠的策略，以提高监控覆盖率和目标识别的准确性；通过对多个目标车辆在多个视角下的准确跟踪，进一步实现了车辆行为异常的准确判断和及时发现，以便于提前预警潜在的交通安全风险，提高了交通安全性。
可选的，所述视频监控系统还包括：
异常行为判断模块，用于根据所述异常行为检测结果，判断所述目标车辆是否存在异常行为；若是，则输出异常行为检测结果；
异常行为警示信息发送模块，响应于所述异常行为检测结果，根据所述异常行为发送异常行为警示信息至所述目标车辆对应的用户终端。
通过采用上述技术方案，及时警示该目标车辆的驾驶员可能存在超速、逆行或违法变道等异常行为，以提醒驾驶员采取必要的措施来避免后续可能发生的交通事故。
第三方面，本申请提供一种计算机设备，采用如下的技术方案：
一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的方法。
第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：
一种计算机可读存储介质，存储有能够被处理器加载并执行如第一方面中任一种方法的计算机程序。
综上所述，本申请包括以下至少一种有益技术效果：在面对高速公路上的事故高发路段、施工路段、山区弯道陡坡路段等特定路段时，可利用该特定路段上的各个摄像头采集的视频监控数据进行联合分析，通过视频融合、目标检测、特征提取、目标匹配、目标跟踪等上述步骤的有机结合，基于视角互补和场景重叠的策略，以提高监控覆盖率和目标识别的准确性；通过对多个目标车辆在多个视角下的准确跟踪，进一步实现了车辆行为异常的准确判断和及时发现，以便于提前预警潜在的交通安全风险，提高了交通安全性。
附图说明
图1是本申请其中一个实施例的高速公路视频监控方法的第一流程示意图。
图2是本申请其中一个实施例的高速公路视频监控方法的第二流程示意图。
图3是本申请其中一个实施例的高速公路视频监控方法的第三流程示意图。
图4是本申请其中一个实施例的高速公路视频监控方法的第四流程示意图。
图5是本申请其中一个实施例的高速公路视频监控方法的第五流程示意图。
图6是本申请其中一个实施例的高速公路视频监控方法的第六流程示意图。
图7是本申请其中一个实施例的高速公路视频监控系统的结构框图。
附图标记说明：101、视频监控数据获取模块；102、视频融合模块；103、目标车辆检测模块；104、特征提取模块；105、目标车辆匹配模块；106、目标车辆跟踪模块；107、异常行为检测模块。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图1-7及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例公开一种高速公路视频监控方法。
参照图1，一种高速公路视频监控方法，视频监控方法包括：
步骤S101，实时获取高速公路上特定路段的多个视频监控数据；
在本申请的其中一个实施例中，特定路段可以为事故高发路段、施工路段、山区弯道陡坡路段等交通事故发生概率较高的特殊路段；
其中，通过分析历史交通事故数据、道路特征等，即可确定高速公路上的事故高发路段和其他需要格外监控的特殊路段，以提高交通安全水平。
在一些实施例中，视频监控数据可通过该特定路段上布置的各个摄像头采集得到；可以理解的是，不同角度和视野的摄像头可以提供不同的信息，例如，一个摄像头可能主要监控道路的前方，而另一个摄像头可能主要监控道路的侧面，通过多个摄像头的多个视角的相互补充，能够获得更加全面的监控信息；
需要说明的是，在布局摄像头时，可根据交通流量、道路类型、道路拓扑等因素，选择适当的位置和数量设置摄像头，以便确定视角互补和场景重叠的策略。
步骤S102，将多个视频监控数据进行视频融合，生成视频融合数据；
其中，通过对多个摄像头采集的视频监控数据进行融合，以提供全景视角或更加广阔的监控范围；
步骤S103，根据视频融合数据进行目标车辆检测和特征提取，得到目标车辆的实时位置信息和特征向量；
其中，特征向量可以为外观特征向量，以表示目标车辆的外观特征；
在一些实施例中，可通过目标检测算法（例如YOLO算法）对每个视频帧进行目标车辆检测，即可得到视频内每个目标车辆的位置坐标信息，再利用特征提取算法（例如CNN、HOG算法等）提取提取每个目标车辆的特征向量，即可得到对应的外观特征向量；
步骤S104，基于目标车辆的特征向量，对视频融合数据中多个视角的目标车辆进行目标匹配；
其中，对于视频融合数据中的不同视角，将每个视角的目标车辆进行匹配；例如，在一些实施例中，可以使用基于外观相似度、运动信息或时空关系等匹配算法来确定不同视角下目标车辆之间的对应关系。
步骤S105，基于目标车辆的实时位置信息，根据目标匹配结果进行多个视角的目标跟踪，得到目标车辆的多视角跟踪结果；
其中，利用目标检测算法在每个视角下检测到目标车辆并获取其位置坐标信息，结合目标匹配结果对来自不同视角的目标车辆进行跟踪，以确保同一目标车辆在不同视角下的连续跟踪；
可以理解的是，在视频监控过程中，由于目标车辆可能会有多个，因此在确定多视角跟踪结果时，所对应的目标车辆应为多个视角下的同一目标车辆，即需要先根据目标匹配结果确定不同视角下的同一目标车辆，进而再进行跟踪，即可得到多个视角下同一目标车辆的多视角跟踪结果；
步骤S106，基于目标车辆的多视角跟踪结果，对目标车辆进行异常行为检测，得到目标车辆的异常行为检测结果。
在一些实施例中，异常行为包括但不限于逆行、超速、违法变道等交通违法行为，可通过机器学习或深度学习技术进行识别得到。
上述实施方式中，在面对高速公路上的事故高发路段、施工路段、山区弯道陡坡路段等特定路段时，可利用该特定路段上的各个摄像头采集的视频监控数据进行联合分析，通过视频融合、目标检测、特征提取、目标匹配、目标跟踪等上述步骤的有机结合，基于视角互补和场景重叠的策略，以提高监控覆盖率和目标识别的准确性；通过对多个目标车辆在多个视角下的准确跟踪，进一步实现了车辆行为异常的准确判断和及时发现，以便于提前预警潜在的交通安全风险，提高了交通安全性。
参照图2，作为步骤S102的一种实施方式，根据多个视频监控数据进行视频融合的步骤包括：
步骤S1021，对多个视频监控数据进行视频对齐；其中，视频对齐包括时间对齐和空间对齐；
在本申请的一个实施例中，为了确保多个视频监控数据均具有相同的时间和空间参考框架，可通过相机标定技术获取每个摄像头的内部和外部参数，例如相机焦距、畸变参数等，根据已知的摄像头位置和朝向，通过三维重建或图像拼接等方法，对视频监控数据进行空间对齐；再利用图像特征匹配算法，如SIFT、SURF等，找到多个视频监控数据之间的对应关系，从而进行时间对齐。
步骤S1022，将对齐后的视频监控数据进行视频配准；
其中，为了使得多个视频监控数据在时间轴上对应的部分能够对齐，可通过计算光流估计算法或特征点匹配等方式，将相邻视频帧之间的位置变换关系求解出来，再利用得到的变换关系，将每个视频帧与参考视频帧进行配准，即可得到配准后的视频帧；
步骤S1023，将配准后的视频监控数据进行加权平均融合；
其中，对配准后的视频帧进行加权平均，以合成融合后的视频融合数据，可通过设置权重来调整每个视频帧的重要性，使得融合后的视频更加平衡；
步骤S1024，对融合后的视频监控数据进行修正，得到视频融合数据。
在本申请的一个实施例中，可通过校正算法或图像增强技术对融合后的视频进行校正和修正，以消除可能存在的图像畸变、光线变化等影响。
上述实施方式中，将多个视频监控数据进行融合，能够得到更加全面准确的监控视角，提供更全面的监控信息，提高了交通安全性和管理效率。
参照图3，作为步骤S104的一种实施方式，基于目标车辆的特征向量，对视频融合数据中多个视角的目标车辆进行目标匹配的步骤包括：
步骤S1041，提取视频融合数据中多个视角的目标车辆的特征向量；
其中，对于多个视角中的目标车辆，通过特征提取算法（如CNN、HOG等）即可获得它们的特征向量，特征向量可以为外观特征向量，以表示目标车辆的外观特征。
步骤S1042，将多个视角的目标车辆的特征向量分别进行比较，并计算得到相似度得分；
其中，将多个视角的特征向量分别进行两两比较，以计算相似度得分；
在一些实施例中，可以使用余弦相似度计算相似度得分，计算方法为将两个特征向量进行点积，并除以它们的模的乘积，即可得到对应的相似度得分，以表示两个特征向量的相似程度。
步骤S1043，将多个视角的相似度得分高于预设阈值的特征向量对应的目标车辆匹配为同一目标车辆。
其中，预设阈值可根据实际情况或历史经验进行预先配置和调整。
需要说明的是，在进行目标匹配时，也可以直接选择相似度最高的目标对应关系作为同一目标车辆。
上述实施方式中，比较目标车辆的特征向量并计算相似度得分，根据相似度得分确定不同视角的同一目标车辆，从而确保不同视角下的目标能够正确匹配，便于在后续的多视角目标跟踪中使用，以实现更准确的目标识别和跟踪。
参照图4，作为步骤S105的一种实施方式，基于目标车辆的实时位置信息，根据目标匹配结果进行多个视角的目标跟踪，得到目标车辆的多视角跟踪结果的步骤包括：
步骤S1051，根据目标匹配结果，获取目标车辆在每个视角下的实时位置信息；
其中，根据目标匹配结果，即可确定多个视角下的同一目标车辆，利用目标检测算法即可获取同一目标车辆在每个视角下的实时位置关系；
步骤S1052，将每个视角下的实时位置信息输入滤波模型中进行目标跟踪，得到目标车辆的多视角跟踪结果；其中，多视角跟踪结果包括连续跟踪轨迹和状态信息。
其中，连续跟踪轨迹由目标车辆在各个时间步骤的位置坐标组成，用于描述目标车辆在不同时间步骤下的运动路径；状态信息则包括不同时间步骤下的目标车辆的位置、速度、加速度等特征，用于对目标的运动行为进行分析和预测。
上述实施方式中，在正确匹配不同视角下的同一目标车辆后，利用滤波算法进行目标位置和状态的预测与更新，最终得到目标车辆的多视角连续跟踪轨迹和状态信息，从而提供更全面、准确的目标车辆信息，帮助更精确地分析目标车辆的行为。
在一些实施例中，滤波模型可采用卡尔曼滤波模型或粒子滤波模型，其中，以卡尔曼滤波为例进行说明详细步骤：
在时间步骤t-1时，获取得到目标车辆在第一视角中的位置坐标为（x1，y1）；
利用卡尔曼滤波的状态转移方程和动态模型，预测目标车辆在时间步骤t时的位置坐标和速度；
通过观测更新，在时间步骤t时，获取得到目标车辆在第二视角中的位置坐标为（x2，y2）；
利用卡尔曼滤波的状态更新方程，将预测的时间步骤t时的位置坐标和速度与观测更新的第二视角中的位置坐标进行加权融合，得到更新后的目标状态估计值；
根据卡尔曼滤波模型的输出结果，得到目标车辆的连续跟踪轨迹和状态信息。
参照图5，作为步骤S106的一种实施方式，基于目标车辆的多视角跟踪结果，对目标车辆进行异常行为检测，得到目标车辆的异常行为检测结果的步骤包括：
步骤S1061，根据目标车辆的多视角跟踪结果，提取连续跟踪轨迹和状态信息；
步骤S1062，将连续跟踪轨迹和状态信息进行数据预处理；
其中，多视角跟踪结果包括不同时间步骤下的连续跟踪轨迹和状态信息；
在一些实施例中，数据预处理包括对连续跟踪轨迹和状态信息进行平滑处理、去除噪声等，以便进行后续的异常行为检测；例如，可以使用滑动平均滤波器对轨迹进行平滑处理，以消除短期内的噪声。
步骤S1063，提取目标车辆的异常行为特征；
其中，异常行为特征包括但不限于速度突变特征、方向突变特征、轨迹曲折程度特征等，这些特征可以反映目标车辆的行驶状态和行为模式；
在一些实施例中，可以通过计算相邻轨迹点之间的速度差值或方向差值，来检测速度突变和方向突变；可以通过计算轨迹的曲率，来检测轨迹曲折程度。
步骤S1064，将目标车辆的异常行为特征输入至预先训练的异常行为检测模型中，得到目标车辆的异常行为检测结果。
其中，根据提取的异常行为特征，可以使用机器学习或深度学习模型对目标车辆的异常行为进行检测。
在一些实施例中，可采用支持向量机（SVM）、循环神经网络（RNN）、卷积神经网络（CNN）等模型，根据训练数据集学习目标车辆的正常行为模式并训练异常行为检测模型，然后根据提取的异常行为特征即可检测出不符合正常模式的异常行为；例如，可以使用支持向量机算法模型对速度突变和方向突变进行分类检测，进而即可根据目标车辆的异常行为特征判断其是否存在超速、变道等异常行为。
上述实施方式中，根据目标车辆的异常行为特征来反映目标车辆的异常行为，通过机器学习或深度学习等技术来训练异常行为检测模型，以学习和识别目标车辆的异常行为，提高了对目标车辆异常行为的检测准确性和可靠性，为实时监测、交通安全管理等领域提供有效的技术支持。
参照图6，作为高速公路视频监控方法进一步的实施方式，在步骤S106中得到目标车辆的异常行为检测结果之后还包括：
步骤S107，根据异常行为检测结果，判断目标车辆是否存在异常行为；若是，则跳转至步骤S108；若否，则不执行任何操作；
步骤S108，根据异常行为，发送异常行为警示信息至目标车辆对应的用户终端。
其中，警示信息可以以文本、声音或图像的形式发送给目标车辆对应的用户终端；用户终端可以为与目标车辆绑定的用户移动终端，也可以为目标车辆上的车载导航终端；
上述实施方式中，及时警示该目标车辆的驾驶员可能存在超速、逆行或违法变道等异常行为，以提醒驾驶员采取必要的措施来避免后续可能发生的交通事故。
本申请实施例还公开一种高速公路视频监控系统。
参照图7，一种高速公路视频监控系统，视频监控系统包括：
视频监控数据获取模块101，用于实时获取高速公路上特定路段的多个视频监控数据；
视频融合模块102，用于将多个视频监控数据进行视频融合，生成视频融合数据；
目标车辆检测模块103，用于根据视频融合数据进行目标车辆检测，得到目标车辆的实时位置信息；
特征提取模块104，用于根据视频融合数据进行特征提取，得到目标车辆的特征向量；
目标车辆匹配模块105，用于基于目标车辆的特征向量，对视频融合数据中多个视角的目标车辆进行目标匹配；
目标车辆跟踪模块106，用于基于目标车辆的实时位置信息，根据目标匹配结果进行多个视角的目标跟踪，得到目标车辆的多视角跟踪结果；
异常行为检测模块107，用于基于目标车辆的多视角跟踪结果，对目标车辆进行异常行为检测，得到目标车辆的异常行为检测结果。
上述实施方式中，在面对高速公路上的事故高发路段、施工路段、山区弯道陡坡路段等特定路段时，可利用该特定路段上的各个摄像头采集的视频监控数据进行联合分析，通过视频融合、目标检测、特征提取、目标匹配、目标跟踪等上述步骤的有机结合，基于视角互补和场景重叠的策略，以提高监控覆盖率和目标识别的准确性；通过对多个目标车辆在多个视角下的准确跟踪，进一步实现了车辆行为异常的准确判断和及时发现，以便于提前预警潜在的交通安全风险，提高了交通安全性。
作为视频监控系统进一步的实施方式，视频监控系统还包括：
异常行为判断模块，用于根据异常行为检测结果，判断目标车辆是否存在异常行为；若是，则输出异常行为检测结果；
异常行为警示信息发送模块，响应于异常行为检测结果，根据异常行为发送异常行为警示信息至目标车辆对应的用户终端。
上述实施方式中，及时警示该目标车辆的驾驶员可能存在超速、逆行或违法变道等异常行为，以提醒驾驶员采取必要的措施来避免后续可能发生的交通事故。
本申请实施例的高速公路视频监控系统能够实现上述高速公路视频监控方法的任一种方法，且高速公路视频监控系统中各个模块的具体工作过程可参考上述方法实施例中的对应过程。
在本申请所提供的几个实施例中，应该理解到，所提供的方法和系统，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的；例如，某个模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本申请实施例还公开一种计算机设备。
计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述的高速公路视频监控方法。
本申请实施例还公开一种计算机可读存储介质。
计算机可读存储介质，存储有能够被处理器加载并执行如上述的高速公路视频监控方法中任一种方法的计算机程序。
其中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用；计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
需要说明的是，在上述实施例中，对各个实施例的描述各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
Claims (10)
1.一种高速公路视频监控方法，其特征在于，所述视频监控方法包括：
实时获取高速公路上特定路段的多个视频监控数据；
将所述多个视频监控数据进行视频融合，生成视频融合数据；
根据所述视频融合数据进行目标车辆检测和特征提取，得到目标车辆的实时位置信息和特征向量；
基于所述目标车辆的特征向量，对所述视频融合数据中多个视角的目标车辆进行目标匹配；
基于所述目标车辆的实时位置信息，根据所述目标匹配结果进行多个视角的目标跟踪，得到所述目标车辆的多视角跟踪结果；
基于所述目标车辆的多视角跟踪结果，对所述目标车辆进行异常行为检测，得到所述目标车辆的异常行为检测结果。
2.根据权利要求1所述的一种高速公路视频监控方法，其特征在于：根据所述多个视频监控数据进行视频融合的步骤包括：
对所述多个视频监控数据进行视频对齐；其中，所述视频对齐包括时间对齐和空间对齐；
将对齐后的视频监控数据进行视频配准；
将配准后的视频监控数据进行加权平均融合；
对融合后的视频监控数据进行修正，得到视频融合数据。
3.根据权利要求1所述的一种高速公路视频监控方法，其特征在于，基于所述目标车辆的特征向量，对所述视频融合数据中多个视角的目标车辆进行目标匹配的步骤包括：
提取所述视频融合数据中多个视角的目标车辆的特征向量；
将多个视角的目标车辆的特征向量分别进行比较，并计算得到相似度得分；
将多个视角的相似度得分高于预设阈值的特征向量对应的目标车辆匹配为同一所述目标车辆。
4.根据权利要求3所述的一种高速公路视频监控方法，其特征在于，基于所述目标车辆的实时位置信息，根据所述目标匹配结果进行多个视角的目标跟踪，得到所述目标车辆的多视角跟踪结果的步骤包括：
根据所述目标匹配结果，获取所述目标车辆在每个视角下的实时位置信息；
将每个视角下的实时位置信息输入滤波模型中进行目标跟踪，得到所述目标车辆的多视角跟踪结果；其中，所述多视角跟踪结果包括连续跟踪轨迹和状态信息。
5.根据权利要求4所述的一种高速公路视频监控方法，其特征在于：基于所述目标车辆的多视角跟踪结果，对所述目标车辆进行异常行为检测，得到所述目标车辆的异常行为检测结果的步骤包括：
根据所述目标车辆的多视角跟踪结果，提取连续跟踪轨迹和状态信息；
将所述连续跟踪轨迹和状态信息进行数据预处理；
提取所述目标车辆的异常行为特征；
将所述目标车辆的异常行为特征输入至预先训练的异常行为检测模型中，得到目标车辆的异常行为检测结果。
6.根据权利要求1到5任一所述的一种高速公路视频监控方法，其特征在于，在得到所述目标车辆的异常行为检测结果之后还包括：
根据所述异常行为检测结果，判断所述目标车辆是否存在异常行为；
若是，则根据所述异常行为，发送异常行为警示信息至所述目标车辆对应的用户终端。
7.一种高速公路视频监控系统，其特征在于，所述视频监控系统包括：
视频监控数据获取模块（101），用于实时获取高速公路上特定路段的多个视频监控数据；
视频融合模块（102），用于将所述多个视频监控数据进行视频融合，生成视频融合数据；
目标车辆检测模块（103），用于根据所述视频融合数据进行目标车辆检测，得到目标车辆的实时位置信息；
特征提取模块（104），用于根据所述视频融合数据进行特征提取，得到目标车辆的特征向量；
目标车辆匹配模块（105），用于基于所述目标车辆的特征向量，对所述视频融合数据中多个视角的目标车辆进行目标匹配；
目标车辆跟踪模块（106），用于基于所述目标车辆的实时位置信息，根据所述目标匹配结果进行多个视角的目标跟踪，得到所述目标车辆的多视角跟踪结果；
异常行为检测模块（107），用于基于所述目标车辆的多视角跟踪结果，对所述目标车辆进行异常行为检测，得到所述目标车辆的异常行为检测结果。
8.根据权利要求7所述的一种高速公路视频监控系统，其特征在于，所述视频监控系统还包括：
异常行为判断模块，用于根据所述异常行为检测结果，判断所述目标车辆是否存在异常行为；若是，则输出异常行为检测结果；
异常行为警示信息发送模块，响应于所述异常行为检测结果，根据所述异常行为发送异常行为警示信息至所述目标车辆对应的用户终端。
9.一种计算机设备，其特征在于，包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1到6任意一种所述方法。
10.一种计算机可读存储介质，其特征在于：存储有能够被处理器加载并执行如权利要求1到6中任意一种方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311237934.2A CN117115752A (zh) | 2023-09-25 | 2023-09-25 | 一种高速公路视频监控方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311237934.2A CN117115752A (zh) | 2023-09-25 | 2023-09-25 | 一种高速公路视频监控方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117115752A true CN117115752A (zh) | 2023-11-24 |
Family
ID=88802270
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311237934.2A Pending CN117115752A (zh) | 2023-09-25 | 2023-09-25 | 一种高速公路视频监控方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115752A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953470A (zh) * | 2024-03-26 | 2024-04-30 | 杭州感想科技有限公司 | 全景拼接相机的高速公路事件识别方法及装置 |
-
2023
- 2023-09-25 CN CN202311237934.2A patent/CN117115752A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953470A (zh) * | 2024-03-26 | 2024-04-30 | 杭州感想科技有限公司 | 全景拼接相机的高速公路事件识别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108053427B (zh) | 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置 | |
| CN109948582B (zh) | 一种基于跟踪轨迹分析的车辆逆行智能检测方法 | |
| US11380105B2 (en) | Identification and classification of traffic conflicts | |
| CN112883819A (zh) | 多目标跟踪方法、装置、系统及计算机可读存储介质 | |
| WO2021170030A1 (zh) | 一种用于目标追踪的方法、设备及系统 | |
| CN110264495B (zh) | 一种目标跟踪方法及装置 | |
| CN111491093B (zh) | 一种摄像头视场角的调整方法和装置 | |
| CN104378582A (zh) | 一种基于ptz摄像机巡航的智能视频分析系统及方法 | |
| KR101326943B1 (ko) | 추월차량 경고 시스템 및 추월차량 경고 방법 | |
| CN111105437B (zh) | 车辆轨迹异常判断方法及装置 | |
| CN107909012B (zh) | 一种基于视差图的实时车辆跟踪检测方法与装置 | |
| CN112298194B (zh) | 一种车辆的换道控制方法及装置 | |
| CN114925747A (zh) | 车辆异常行驶检测方法、电子设备、存储介质 | |
| CN113255439B (zh) | 一种障碍物识别方法、装置、系统、终端及云端 | |
| US20210397187A1 (en) | Method and system for operating a mobile robot | |
| CN117115752A (zh) | 一种高速公路视频监控方法及系统 | |
| CN109343051A (zh) | 一种用于高级辅助驾驶的多传感器数据融合方法 | |
| CN114898326A (zh) | 基于深度学习的单行道车辆逆行检测方法、系统及设备 | |
| JP3562278B2 (ja) | 環境認識装置 | |
| Bourja et al. | Real time vehicle detection, tracking, and inter-vehicle distance estimation based on stereovision and deep learning using YOLOv3 | |
| CN113537170A (zh) | 一种交通路况智能监测方法和计算机可读存储介质 | |
| JP2013069045A (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
| CN114783181B (zh) | 一种基于路侧感知的交通流量统计方法和装置 | |
| KR102566525B1 (ko) | 교통 상황 분석 방법 및 장치 | |
| CN110333517B (zh) | 障碍物感知方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: 610041 No.2, 1st floor, building 4, No.11, Wuke East 4th Road, Wuhou District, Chengdu City, Sichuan Province Applicant after: Sichuan Road and Bridge Expressway Maintenance Co.,Ltd. Address before: 610041 No.2, 1st floor, building 4, No.11, Wuke East 4th Road, Wuhou District, Chengdu City, Sichuan Province Applicant before: Sichuan Road and Bridge Construction Group Traffic Engineering Co.,Ltd. Country or region before: China |
|
| CB02 | Change of applicant information |