CN116645810A - 基于视频识别的移动式交通感知边缘计算装置、交通流量统计系统及方法 - Google Patents

基于视频识别的移动式交通感知边缘计算装置、交通流量统计系统及方法 Download PDF

Info

Publication number
CN116645810A
CN116645810A CN202310578109.2A CN202310578109A CN116645810A CN 116645810 A CN116645810 A CN 116645810A CN 202310578109 A CN202310578109 A CN 202310578109A CN 116645810 A CN116645810 A CN 116645810A
Authority
CN
China
Prior art keywords
frame
video
edge computing
computing device
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310578109.2A
Other languages
English (en)
Other versions
CN116645810B (zh
Inventor
张伟斌
吴培源
刘煜哲
刘小秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinyan Zhanyun Information Technology Nanjing Co ltd
Nanjing University of Science and Technology
Original Assignee
Jinyan Zhanyun Information Technology Nanjing Co ltd
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinyan Zhanyun Information Technology Nanjing Co ltd, Nanjing University of Science and Technology filed Critical Jinyan Zhanyun Information Technology Nanjing Co ltd
Priority to CN202310578109.2A priority Critical patent/CN116645810B/zh
Publication of CN116645810A publication Critical patent/CN116645810A/zh
Application granted granted Critical
Publication of CN116645810B publication Critical patent/CN116645810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/012—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from other sources than vehicle or roadside beacons, e.g. mobile networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于视频识别的移动式交通感知边缘计算装置，所述USB摄像头与边缘计算设备Jetson Xavier NX相连；所述19v直流电压降压器分别与直流移动电源和所述边缘计算设备Jetson Xavier NX相连；所述4G/5G模块与所述边缘计算设备Jetson Xavier NX相连；所述边缘计算设备Jetson Xavier NX对交通视频数据进行实时的识别运算，获得画面中识别区域内的车辆ID及位置坐标，并根据设定的车道线坐标、起始线坐标和停止线坐标提取交通流信息，包括车流量、车头时距以及车道占有率。本发明具有体积小、结构简单、识别准确、成本低、连接调试方便、便于部署等优点，可及时应对突发和临时性交通感知需求。

Description

基于视频识别的移动式交通感知边缘计算装置、交通流量统 计系统及方法
技术领域
本发明涉及视频识别及智能设备领域，具体涉及一种基于视频识别的移动式交通感知边缘计算装置、交通流量统计系统及方法。
背景技术
深度学习网络有着随着训练的数据量增大，识别准确率提高的特点，而视频感知正好可以获得庞大的数据量，所以多采用视频识别用于统计交通流量的场合。传统的视频识别交通感知方式，需要使用者将采集到的视频上传到云端后再处理，具有一定的延时性，且较为占用网络资源和存储资源。本发明采用了边缘计算设备作为处理数据的设备，可以对采集到的视频数据进行实时处理，具有很强的实时性，并针对边缘计算设备的有限算力，优化了视频识别的部分网络，尤其是对于跟踪器的修改，再经由本发明设计的交通流参数提取算法得到最终的结果，在保证准确率的同时也更加易于部署。
发明内容
本发明的目的在于提出一种基于视频识别的移动式交通感知边缘计算装置、交通流量统计系统及方法。
实现本发明目的的技术解决方案为：一种基于视频识别的移动式交通感知边缘计算装置，包括
USB摄像头、直流移动电源、19v直流电压降压器、4G/5G模块、边缘计算设备JetsonXavier NX，其中：
所述USB摄像头与边缘计算设备Jetson Xavier NX相连；所述19v直流电压降压器分别与直流移动电源和所述边缘计算设备Jetson Xavier NX相连；所述4G/5G模块与所述边缘计算设备Jetson Xavier NX相连；
所述边缘计算设备Jetson Xavier NX对交通视频数据进行实时的识别运算，获得画面中识别区域内的车辆ID及位置坐标，并根据设定的车道线坐标、起始线坐标和停止线坐标提取交通流信息，包括车流量、车头时距以及车道占有率。
进一步的，所述边缘计算设备Jetson Xavier NX基于深度学习模型对交通视频数据进行实时的识别运算，获得画面中识别区域内的车辆ID及位置坐标，其中：
深度学习模型由yolov4-tiny目标检测网络模型和Deepsort跟踪模块两部分组成，通过yolov4-tiny目标检测网络模型将交通视频中需要检测的车辆ID和检测框的位置坐标提取出来，并输入到Deepsort跟踪模块中进行后续的跟踪，输出最终的车辆ID与位置坐标；
Deepsort跟踪模块主要由卡尔曼滤波，级联匹配和iou匹配3部分组成，主要步骤如下：
步骤1，根据得到的目标出现在视频中第一帧的检测框初始化卡尔曼滤波的输入，卡尔曼滤波的输入为一个8维向量(x,y,a,h,Vx,Vy,Va,Vh)。其中(x,y)为目标检测框的中心点坐标，a表示目标检测框的纵横比，h表示目标检测框的高度，(Vx,Vy,Va,Vh)表示这四个向量方向上的速度，他们的初始值为0。由于速度的初始值为0与实际值不符，此时卡尔曼滤波对目标的状态估计是错误的，故deepsort跟踪算法会跳过每个目标输入的前二帧的级联匹配和iou匹配阶段，直接输入第三帧的目标检测框，此时卡尔曼滤波通过第一帧与第二帧的表征目标位置状态的前4维向量估算出第二帧的表征速度的后4维向量，与第二帧输入的目标检测框后更新的前4维表征位置的向量参数组成了第三帧的卡尔曼滤波的输入，由于有了速度参数，卡尔曼滤波会得出一个对目标位置的预测值。卡尔曼滤波器也借由上一帧的检测框给出的位置信息与由上一帧的检测框和上上一帧的检测框得到的速度信息预测当前帧的位置信息，画出预测框的位置。
步骤2，在得到目标的预测框后，跟踪算法会直接进入iou匹配阶段，iou为预测框面积和检测框面积的交集与并集的比值，取值范围在0到1之间，1则表示完全重合，对于iou满足条件的预测框(本发明采用了iou>0.5作为判断预测框满足的条件)，跟踪算法会认为他是匹配的目标轨迹，否则则会认为不匹配。出现不匹配的目标轨迹时，跟踪算法会初始化卡尔曼滤波器的参数，在下一帧继续重复使用卡尔曼滤波跟踪执行步骤1的逻辑，直至iou匹配成功，如果iou匹配连续数次未成功则会将该目标从跟踪器中剔除，这个次数一般设定为3。出现匹配的目标轨迹时，跟踪算法会将此时的目标检测框的位置信息输入的卡尔曼滤波中更新卡尔曼滤波中的参数。在下一帧卡尔曼滤波给出新的预测值后增加级联匹配阶段。
步骤3，对于已经iou匹配成功过一次的目标，在下一帧卡尔曼滤波给出新的预测值后会进入级联匹配阶段。由于Deepsort跟踪算法是多目标跟踪算法，级联匹配会通过深度特征提取网络提取当前帧下跟踪器内所有的目标检测框和目标预测框的外观特征，根据外观特征计算出每个目标检测框与各个目标预测框之间的余弦距离，结合每个目标检测框和各个目标预测框之间的马氏距离构建出一个代价矩阵，通过匈牙利算法得到一个最小代价矩阵下目标预测框和目标检测框的匹配关系并作为级联匹配的输出。之后将直接输出的已匹配的目标检测框的位置信息用于对应的目标预测框的卡尔曼滤波的参数更新。剩下的未匹配的目标检测框和目标预测框则继续做iou匹配，计算出每个目标检测框与各个目标预测框的iou值并构建代价矩阵，利用匈牙利算法得出最小代价下的匹配的目标检测框和目标预测框，将已匹配的目标检测框的位置信息用于对应的目标预测框的卡尔曼滤波的参数更新。对于跟踪器中已经匹配上的目标会持续循环执行步骤3的逻辑，而剩下的未匹配的目标检测框则对应生成新的卡尔曼滤波器，在下一帧回到步骤2的直接进入iou匹配的阶段，执行步骤2的逻辑。
更进一步的，由于目标出现在视频的初始帧中时的速度为0，这与实际情况不符，卡尔曼滤波需要先对速度参数进行更新，在速度接近真实值且iou匹配成功后跟踪器才能初步匹配车辆id的检测框。而速度更新的依据则只有目标进入视频的前几帧的位置信息，由于所用的计算设备算力有限，摄像头采集到的视频帧数不能实时且连续，这对卡尔曼滤波更新速度参数时的准确率造成了影响，继而影响到iou匹配的成功率，如果发生了iou匹配连续3次都没有成功的现象则很容易造成漏检，误检的问题。做出如下改进：
(1)改进后的Deepsort跟踪算法修改了卡尔曼滤波的状态更新步骤，在常规的卡尔曼更新后得到的后四维向量(Vx,Vy,Va,Vh)增加带有系数的iou值作为惩罚项，其中iou值由上一帧跟踪算法中的iou匹配给出，得到的最终结果为(Vx+K1*ln(iou),Vy+K2*ln(iou),Va+K3*ln(iou),Vh+K4*ln(iou))，其中K1、K2、K3、K4为常数系数，将其作为当前帧的卡尔曼更新的结果输入到下一帧卡尔曼滤波的输入中作为表征速度的向量。这样使得每次更新后给出的速度的预测值能够更快地收敛于实际值，从而使得跟踪算法针对视频前几帧数据给出的预测框更加准确。
(2)改进后的Deepsort跟踪算法还针对视频本身低帧率的情况，在本次得到的检测框坐标和上一次得到的检测框坐标之间等距离的插入n个检测框输入到卡尔曼滤波中，通过这种方式将一次卡尔曼滤波拆解成多次卡尔曼滤波，优化了跟踪算法卡尔曼滤波给出的预测框的准确率，缓解了Deepsort跟踪算法在低帧率下易发生ID跳变的问题。其中，被插入的检测框的个数n的计算公式为：
n＝[T*fps-1]
其中T为检测与跟踪一帧视频所花费的时间，fps表示摄像头采集视频的帧率，这里为25帧每秒。当检测目标速度为0时，n也一同置0，不再插入检测框。
进一步的，所述边缘计算设备Jetson Xavier NX根据设定的车道线坐标、起始线坐标和停止线坐标提取交通流信息，包括车流量、车头时距以及车道占有率，其中车流量的提取方法为：
根据预先设定好的停止线和车道线，采用“越线”计数的方式，以停止线作为计数线，根据采集到的每一帧车辆外接矩阵下边框的中点与计数线位置计算点到直线距离，当距离小于某一设定阈值时，则认为车辆经过计数线，并记录下此时的外接矩阵下边框的中点的坐标，计算出它在停止线上的投影点的坐标，将该坐标与停止线和各车道线的交点坐标位置做比对，即获得车辆经过计数线时所在的车道信息，最终输出到该车道的车流量统计下。在目标检测和跟踪程序对视频的每一帧获得的车辆ID和车辆坐标信息后，加入对“越线”计数的判断作为后处理，并将判断的结果累加在对应车道下作为每个车道的流量结果，将每一帧的车道流量结果按帧序记录下来，将帧序转换为时间序列，即可得到实时的车流量信息。
进一步的，所述边缘计算设备Jetson Xavier NX根据设定的车道线坐标、起始线坐标和停止线坐标提取交通流信息，包括车流量、车头时距以及车道占有率，其中计算车头时距的具体公式如下：
其中Q为车头时距，fi为第i辆车车头越过预先设定的停止线时对应的视频帧数，fps为视频的帧率，一般为25帧每秒。
进一步的，所述边缘计算设备Jetson Xavier NX根据设定的车道线坐标、起始线坐标和停止线坐标提取交通流信息，包括车流量、车头时距以及车道占有率。计算车道占有率的具体公式如下：
其中R为车道占有率，T为观察时间，stop和start指预先设定的停止线和起始线，并将由stop，start和车道线划分的区域视为观察区域，N表示T时间内所有经过观察区域的车辆总数，为和/>分别为车辆ID为i的车辆越过预先设定的停止线和起始线时对应的视频帧数，fps仍为视频的帧率。
进一步的，所述边缘计算设备在接入多路视频的情况下，通过轮换的处理方式，一路视频连续处理8帧，随后其他路视频各处理1帧，然后下一路视频再连续处理8帧，其余路视频再处理1帧，然后开始下一路的轮换，保证多路视频达成轮换状态下只有1路在做目标检测和跟踪计算的状态，并在1路视频的连续帧处理完成后，其余路视频同时再处理1帧作为校对帧以防止视频跳帧过多造成信息偏差过大。
一种基于视频识别的交通流量统计系统，包括所述的基于视频识别的移动式交通感知边缘计算装置，以及MQTT服务器和数据应用模块，边缘计算设备Jetson Xavier NX将交通流信息转换成结构化数据并通过4G移动网络实时上传至MQTT服务器，MQTT服务器接收从边缘计算设备Jetson Xavier NX传输过来的数据，并发送给数据应用端；数据应用模块利用传输过来的交通流量信息进行交通管理优化工作。
一种基于视频识别的交通流量统计方法，基于所述的交通流量统计系统，实现基于视频识别的交通流量统计。
本发明与现有技术相比，其显著优点为：1)使用边缘计算设备作为视频识别的硬件资源，直接在采集到的原始视频数据上作识别，本地实时处理，不需要发送数据给第三方服务器来识别，有效提高了处理效率。2)将边缘计算设备，摄像头，4G/5G模块，移动电源统一整合在同一设备盒内，具有环境适应性和机动性强，易于部署，成本低廉的特点。3)针对边缘计算设备硬件性能不足，处理视频的帧数实时性不足，识别算法中采用轻量化的网络模型对低帧率视频进行识别，可实现实时处理。4)针对Deepsort跟踪算法面对低帧率视频时的识别准确率不高的状况，本发明在卡尔曼滤波算法中对速度参数更新中增加带系数的iou值作为惩罚项来加快Deepsort跟踪算法对前几帧目标的跟踪收敛速度，从而提高识别准确率。本发明还根据低帧率下视频实时处理的帧数，在每连续的两帧实际检测框下插入检测框作为Deepsort跟踪器的卡尔曼滤波输入，增加了Deepsort跟踪算法对后续帧目标跟踪的准确率。5)针对多路视频接入的情形，本发明采用了轮转配时的算法，保证边缘计算设备始终能够检测一路视频的连续帧，对未处在连续检测状态的视频以跳帧检测的方式处理，从而使得边缘计算设备在保证一定准确率的前提下实时检测出最多四路视频流的交通流信息，解决了交叉路口下，多方向路口视频接入同一个计算设备的感知需求，优化了边缘计算设备部署在路口情景下的成本。
附图说明
图1为本发明交通流量统计系统的架构图；
图2为本发明交通流量统计方法的原理流程图；
图3为本发明基于视频识别的移动式交通感知边缘计算装置的结构图。
图4为本发明交通流参数提取算法的流程图。
图5为本发明的观察区域划定示意图。
图6为本发明的四路视频下的帧配时轮转示意图。
具体实施方式
为使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本发明选择利用信息量相比其它感知方式较大的摄像头获取指定路端的视频感知信息，并通过有关视频识别的深度学习网络和自主设计的交通流参数提取算法识别并得到该路端的交通流量信息。选择将摄像头与边缘计算设备直接相连然后处理并直接生成本地结构化数据文件的方式在一定程度上解决延时、占用网络资源和存储资源的问题。同时，选择将边缘计算设备，摄像头，4G/5G网络模块和移动电源等整合成一个设备，具有易于部署在路端的特点，善于应对路端发生突发事件例如道路交通杆施工情况下的交通流量统计。
一种基于视频识别的交通流量统计系统，如图1所示，包括：视频数据采集模块、边缘计算模块、MQTT服务器、数据应用模块。视频数据采集模块用于采集视频的原始交通视频数据集；边缘计算模块用于进行交通视频数据实时识别，并通过4G/5G网络上传识别结果；MQTT服务器用于识别结果的上传和下发；数据应用模块用于分析识别结果，进而优化路端交通管理。
上述模块中，视频数据采集模块、边缘计算模块与其他外围设备集成在一起，构成移动式交通感知边缘计算装置，视频数据采集模块安装于待测道路的路端，面向待测道路的信号灯朝向，所述边缘计算模块与视频数据采集模块通过有线方式连接，安装在同一设备盒内，电源由移动电源提供一并放入盒内。其结构主体如图3所示，包括USB摄像头1、直流移动电源；2、19V直流电压降压器；3、4G/5G模块；4、边缘计算设备Jetson Xavier NX；5，所述USB摄像头1与所述边缘计算设备边缘计算设备Jetson Xavier NX5相连；所述19V直流电压降压器3分别与所述直流移动电源2和所述边缘计算设备Jetson Xavier NX5相连；所述4G模块4与所述边缘计算设备Jetson Xavier NX5相连。
下面对各模块的优化设计进行展开介绍。
(一)视频数据采集模块
视频数据采集模块采用USB摄像头，其中USB摄像头通过USB接口连接JetsonXavier NX开发套件，由摄像头获取交通视频数据，并通过USB接口实时传输数据到边缘计算模块。摄像头模组采用imx3.5mm90°无畸变200w像素的镜头，由于连接边缘计算设备，摄像头模组对linux系统具有免驱动支持。
(二)边缘计算模块
边缘计算模块利用Jetson Xavier NX开发套件上的深度学习模型，对采集到的视频进行视频识别得到识别区域内的车辆ID与位置坐标，根据设定的车道线坐标、起始线坐标和停止线坐标，通过设计好的交通流参数提取算法计算出车流量、车头时距和时间占有率最后输出结构化数据，具体为记录分车道和时间统计出的车流量，车头时距，时间占有率的csv文件。
本发明中，边缘计算模块采用Jetson Xavier NX开发套件。Jetson Xavier NX套件搭载一块六核NVIDIA Carmel ARM处理器，一块拥有384个NVIDIA CUDA核心的NVIDIAVolta架构的显卡，同时还配备48个Tensor核心。具有8G的内存以及128G的SSD作为存储设备。它的核心板大小仅有70x45mm，配上官方配套的开发者套件作为散热和接口扩展，它的体积也仅有103mmx90.5mmx29mm的大小，而其功耗最高仅为20w，如果部署在无外接电源的情况下，配置本发明中的移动电源也可以保证24小时的工作续航。下面简要介绍算法的流程。
第一步，首先将装置部署在待测的路端，摄像头对准所要统计的道路，然后启动算法程序，进入算法程序的标记部分。主要为在画面上标记需要识别的车道线、车辆起始线和车辆停止线，其中车道线需要按照从左到右，从上到下的顺序进行设定，设定好车道线后，算法会只将车道线内的区域当做待识别的区域。然后是设定车辆停止线和车辆起始线，这也是后面计算车头时距和时间占有率的依据。
第二步，标记结束后进入对视频的目标识别与分类部分。为能对视频上指定的区域内的车辆实现检测，需要搭建好的深度学习模型。本发明采用了yolov4-tiny目标检测网络，该网络模型具有CSPDarkenet-53tiny残差网络结构、FPN特征金字塔融合网络结构以及目标的分类与回归两个检测结构。与传统的yolo目标检测网络相比，使用更精简的残差网络，同时对输入的图片通过残差网络后输出的不同尺寸图片减小到2个，虽然准确率严格来说不如传统yolo但是轻量化后的运行速度有较大提升。对于本发明利用的yolov4-tiny目标检测网络的训练模型，由于只要对车辆进行检测，因此对于feature分类屏蔽了除大中小车外其他的物品的信息，即feature参数只保留“2,5,7”。
第三步，为能得到被识别目标的完整信息而进入跟踪部分。由于硬件资源有限，即时使用轻量化的深度学习网络，边缘计算设备仍然只能处理较低帧率的视频，对摄像头传来的视频数据的处理可能出现跳帧后准确率不足的现象。针对这一现象，本发明采用了改进后的Deepsort跟踪算法。由于目标出现在视频的初始帧中时的速度为0，这一般与实际值不符，针对视频的前几帧会由于每次速度更新的不准确导致后续iou匹配多次匹配不上的问题，本发明修改了Deepsort跟踪算法的卡尔曼滤波中对速度参数的卡尔曼更新方式，使速度在常规的卡尔曼更新下引入了一个带系数的iou值作为惩罚项，iou值由跟踪器的上一轮的iou匹配得出，由此加速了Deepsort跟踪算法的预测值对被跟踪目标的检测值的收敛，尤其是对目标进入视频内的前几帧尤为明显。与此同时，为了保证进入视频内的目标的后续几帧的跟踪更加准确，本发明在得到两次连续的实测的检测框的坐标后，根据程序处理的实际用时T和摄像头采集视频的帧率fps，计算出实时处理时跳过的帧数n，其中计算公式为：
n＝[T*fps-1]
在当前由目标检测器实际输出的检测框与上一个由目标检测器实际输出的检测框之间等距离地插入n个检测框作为Deepsort跟踪算法中卡尔曼滤波的输入，将他们作为跟踪器中的卡尔曼滤波的输入，从而将一次卡尔曼滤波拆解为多次卡尔曼滤波，利用有限帧数信息获取到更为精确的预测值，显著提升了跟踪器对视频内目标的后续帧数的跟踪效果，也缓解了Deepsort跟踪算法在低帧率下易发生ID跳变的问题。
第四步，得到了被识别和跟踪车辆的信息后进入交通流参数提取的部分。得到车辆ID和位置坐标后，交通流参数提取算法基于越线计数的方法得以实现。对车辆识别的外接矩阵左上角点的坐标和计数线位置坐标计算点到直线的距离在设定的阈值之内即可达成越线计数。对于车流量参数，在越线计数的基础上结合车道线坐标分析车辆计数时对应的车道位置情况即可得到；对于车头时距，通过计算前后相邻两辆车辆通过同一计数线时帧数的差值即可计算得到；对于车道时间占有率，利用两条越线标记构建一个观察区域，计算一段时间内所有通过观察区域的车辆所用的平均时间，进而可以计算得到。
第五步，由于边缘计算设备的算力有限，在需要接入多路视频的情况下还需要额外设置轮转配时算法，保证设备在接入多路视频的情况下能够依次连续处理一路，对其余路视频跳帧处理，以充分利用设备的算力，完成对多路视频的实时处理。具体配置要求则是根据视频接入的路数，选择合适的连续帧数和跳帧数作为配置参数写入算法内，其中跳帧数与连续帧数的设置是一样的。
以最多可接入的四路视频为例，通过轮换的处理方式，一路视频连续处理8帧，随后其他路视频各处理1帧，然后下一路视频再连续处理8帧，其余3路视频再处理1帧，然后开始下一路的轮换。保证4路视频达成轮换状态下只有1路在做目标检测和跟踪计算的状态，并在1路视频的连续帧处理完成后，其余3路视频同时再处理1帧作为校对帧以防止视频跳帧过多造成信息偏差过大。这样整个装置能够通过配时轮转的算法在保证准确率的条件下，实时生成每一路视频的交通流信息。该算法可以灵活配置，也可以通过修改配时算法参数应对2路或者3路视频流接入时的情况。
第六步，程序根据计算的结果生成有关交通流量的结构化信息并自动输出为csv文件，借助连接在边缘计算设备上的4G/5G模块连上4G/5G公网，并通过4G/5G网络将csv文件上传至MQTT服务器。
(三)数据应用模块
数据应用模块为终端，将MQTT服务器上的交通流量信息下载下来，分析并完成对路段的信号优化。
基于此，本发明还提出一种交通流量统计方法，首先视频数据采集模块对路段的视频原始数据进行采集；边缘计算模块从视频数据模块中获得视频原始数据并通过深度学习模型进行识别操作，然后将识别结果转为结构化数据存储并通过4G/5G网络发送到MQTT服务器；最后由数据应用模块将MQTT服务器上的路段的交通流量信息下载下来后，分析并进行信号优化处理，具体实现方案可设计为：
视频原始数据采集：将摄像头连接边缘计算设备开机运行程序后，通过划线的方式设定所测路段的车道线，车辆起始和停止线，规定好所要进行视频识别的区域。
车辆识别与跟踪：采用python语言，应用yolov4-tiny目标检测网络，输入为视频每帧下的图片信息，输出为识别到的车辆在图片上的车辆ID、坐标信息和特征参数。应用改进后的Deepsort跟踪算法作为跟踪器，输入为由目标检测网络得到的输出，输出为被跟踪车辆的ID和坐标信息。
交通流参数提取：采用python语言，根据得到的车辆ID和位置坐标，结合设定的车道线坐标、车辆起始线和停止线的坐标基于越线计数的方法，通过设计好的交通流参数提取方法计算得出车流量、车头时距和时间占有率。
结构化数据：采用python语言，在程序中结合目标检测器和跟踪器的输出信息与手工设定的车道线和车辆停止线的坐标信息，计算并生成所需要的按车道和时间分类统计出的车流量、车头时距和时间占有率的csv文件。
轮转配时算法：采用python语言，在多路视频流同时接入的情况下，先初始化读取到的各路视频，分别对他们进行车道线，车辆起始和停止线的划定，然后通过轮转配时算法，根据视频接入的路数选择合适的连续帧数和跳帧数，通过轮转配时的程序完成对各路视频执行车辆识别与跟踪步骤的控制，最后对应每一路视频的交通流参数输出一个csv文件。
数据转发到服务器：由边缘计算模块连接的4G/5G模块连上4G/5G公网，通过4G/5G网络将csv文件发送到MQTT服务器上。
分析并进行信号优化处理：由MQTT服务器将路端的交通流量信息下发至终端，在终端完成分析和交通信号优化处理。
综上所述，本发明具有以下优势：体积小，连接调试方便，结构简单，识别结果准确，成本低，易于部署，适用于实时交通流量的统计，能够有效的进行路段实时的交通流量获取，达到更好的交通管理优化的目的。特别是，本发明针对一个路口或者路段场景下的多路视频接入的轮转配时算法，极大提高了设备的处理效率，在有限算力下可同时完成最多四路视频的交通流信息实时提取，有效地进行边缘计算场景下交通流信息的实时检测。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应指出，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于视频识别的移动式交通感知边缘计算装置，其特征在于，包括USB摄像头、直流移动电源、19v直流电压降压器、4G/5G模块、边缘计算设备Jetson XavierNX，其中：
所述USB摄像头与边缘计算设备Jetson Xavier NX相连；所述19v直流电压降压器分别与直流移动电源和所述边缘计算设备Jetson Xavier NX相连；所述4G/5G模块与所述边缘计算设备Jetson Xavier NX相连；
所述边缘计算设备Jetson XavierNX对交通视频数据进行实时的识别运算，获得画面中识别区域内的车辆ID及位置坐标，并根据设定的车道线坐标、起始线坐标和停止线坐标提取交通流信息，包括车流量、车头时距以及车道占有率。
2.根据权利要求1所述的基于视频识别的移动式交通感知边缘计算装置，其特征在于，所述边缘计算设备Jetson Xavier NX基于深度学习模型对交通视频数据进行实时的识别运算，获得画面中识别区域内的车辆ID及位置坐标，其中：
深度学习模型由yolov4-tiny目标检测网络模型和Deepsort跟踪模块两部分组成，通过yolov4-tiny目标检测网络模型将交通视频中需要检测的车辆ID和检测框的位置坐标提取出来，并输入到Deepsort跟踪模块中进行后续的跟踪，输出最终的车辆ID与位置坐标；
Deepsort跟踪模块由卡尔曼滤波、级联匹配和iou匹配模块组成，步骤如下：
步骤1，根据目标出现在视频中第三帧的检测框初始化卡尔曼滤波的输入，卡尔曼滤波的输入为一个8维向量(x,y,a,h,Vx,Vy,Va,Vh)，其中(x,y)为目标检测框的中心点坐标，a表示目标检测框的纵横比，h表示目标检测框的高度，(Vx,Vy,Va,Vh)表示这四个向量方向上的速度；
其中卡尔曼滤波通过第一帧与第二帧的表征目标位置状态的前4维向量估算出第二帧的表征速度的后4维向量，与第二帧输入的目标检测框后更新的前4维表征位置的向量参数组成了第三帧的卡尔曼滤波的输入；
步骤2，在得到目标的预测框后，会直接进入iou匹配阶段，其中iou为预测框面积和检测框面积的交集与并集的比值，取值范围在0到1之间，对于iou满足条件的预测框，判定预测框是匹配的目标轨迹，否则则会认为不匹配，出现不匹配的目标轨迹时，转至步骤1重新初始化卡尔曼滤波器，如果iou匹配连续数次未成功则会将该目标从跟踪器中剔除，出现匹配的目标轨迹时，将此时的目标检测框的位置信息输入卡尔曼滤波中，在下一帧卡尔曼滤波给出新的预测值后转至步骤3的级联匹配阶段；
步骤3，级联匹配通过深度特征提取网络提取当前帧下跟踪器内所有的目标检测框和目标预测框的外观特征，根据外观特征计算出每个目标检测框与各个目标预测框之间的余弦距离，结合每个目标检测框和各个目标预测框之间的马氏距离构建出一个代价矩阵，通过匈牙利算法得到一个最小代价矩阵下目标预测框和目标检测框的匹配关系并作为级联匹配的输出，之后将直接输出的已匹配的目标检测框的位置信息用于对应的目标预测框的卡尔曼滤波的状态更新；剩下的未匹配的目标检测框和目标预测框则继续做iou匹配，计算出每个目标检测框与各个目标预测框的iou值并构建代价矩阵，利用匈牙利算法得出最小代价下的匹配的目标检测框和目标预测框，将已匹配的目标检测框的位置信息用于对应的目标预测框的卡尔曼滤波的状态更新，在下一帧回到步骤2进入iou匹配的阶段。
3.根据权利要求2所述的基于视频识别的移动式交通感知边缘计算装置，其特征在于，卡尔曼滤波的状态更新中，增加带有系数的iou值作为惩罚项更新卡尔曼滤波的后四维向量(Vx,Vy,Va,Vh)，得到结果为(Vx+K1*ln(iou),Vy+K2*ln(iou),Va+K3*ln(iou),Vh+K4*ln(iou))，其中K1、K2、K3、K4为常数系数。
4.根据权利要求2所述的基于视频识别的移动式交通感知边缘计算装置，其特征在于，针对视频本身低帧率的情况，在本次得到的检测框坐标和上一次得到的检测框坐标之间等距离的插入n个检测框输入到卡尔曼滤波中，将一次卡尔曼滤波拆解成多次卡尔曼滤波，被插入的检测框的个数n的计算公式为：
n＝[T*fps-1]
其中T为检测与跟踪一帧视频所花费的时间，fps表示摄像头采集视频的帧率。
5.根据权利要求1所述的基于视频识别的移动式交通感知边缘计算装置，其特征在于，所述边缘计算设备Jetson Xavier NX根据设定的车道线坐标、起始线坐标和停止线坐标提取交通流信息，包括车流量、车头时距以及车道占有率，其中车流量的提取方法为：
根据预先设定好的停止线和车道线，采用“越线”计数的方式，以停止线作为计数线，根据采集到的每一帧车辆外接矩阵下边框的中点与计数线位置计算点到直线距离，当距离小于某一设定阈值时，则认为车辆经过计数线，并记录下此时的外接矩阵下边框的中点的坐标，计算出它在停止线上的投影点的坐标，将该坐标与停止线和各车道线的交点坐标位置做比对，即获得车辆经过计数线时所在的车道信息，最终输出到该车道的车流量统计下；将每一帧的车道流量结果按帧序记录下来，将帧序转换为时间序列，即可得到实时的车流量信息。
6.根据权利要求1所述的基于视频识别的移动式交通感知边缘计算装置，其特征在于，所述边缘计算设备Jetson Xavier NX根据设定的车道线坐标、起始线坐标和停止线坐标提取交通流信息，包括车流量、车头时距以及车道占有率，其中计算车头时距的具体公式如下：
其中Q为车头时距，fi为第i辆车车头越过预先设定的停止线时对应的视频帧数，fps为视频的帧率，一般为25帧每秒。
7.根据权利要求1所述的基于视频识别的移动式交通感知边缘计算装置，其特征在于，所述边缘计算设备Jetson Xavier NX根据设定的车道线坐标、起始线坐标和停止线坐标提取交通流信息，包括车流量、车头时距以及车道占有率。计算车道占有率的具体公式如下：
其中R为车道占有率，T为观察时间，stop和start指预先设定的停止线和起始线，并将由stop，start和车道线划分的区域视为观察区域，N表示T时间内所有经过观察区域的车辆总数，为和/>分别为车辆ID为i的车辆越过预先设定的停止线和起始线时对应的视频帧数，fps仍为视频的帧率。
8.根据权利要求1所述的基于视频识别的移动式交通感知边缘计算装置，其特征在于，所述边缘计算设备在接入多路视频的情况下，通过轮换的处理方式，一路视频连续处理8帧，随后其他路视频各处理1帧，然后下一路视频再连续处理8帧，其余路视频再处理1帧，然后开始下一路的轮换，保证多路视频达成轮换状态下只有1路在做目标检测和跟踪计算的状态，并在1路视频的连续帧处理完成后，其余路视频同时再处理1帧作为校对帧以防止视频跳帧过多造成信息偏差过大。
9.一种基于视频识别的交通流量统计系统，其特征在于，包括权利要求1-8任一项所述的基于视频识别的移动式交通感知边缘计算装置，以及MQTT服务器和数据应用模块，边缘计算设备Jetson Xavier NX将交通流信息转换成结构化数据并通过4G/5G移动网络实时上传至MQTT服务器，MQTT服务器接收从边缘计算设备Jetson Xavier NX传输过来的数据，并发送给数据应用端；数据应用模块利用传入的交通流量信息进行交通管理优化工作。
10.一种基于视频识别的交通流量统计方法，其特征在于，基于权利要求9所述的交通流量统计系统，实现基于视频识别的交通流量统计。
CN202310578109.2A 2023-05-22 2023-05-22 基于视频识别的移动式交通感知边缘计算装置、交通流量统计系统及方法 Active CN116645810B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310578109.2A CN116645810B (zh) 2023-05-22 2023-05-22 基于视频识别的移动式交通感知边缘计算装置、交通流量统计系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310578109.2A CN116645810B (zh) 2023-05-22 2023-05-22 基于视频识别的移动式交通感知边缘计算装置、交通流量统计系统及方法

Publications (2)

Publication Number Publication Date
CN116645810A true CN116645810A (zh) 2023-08-25
CN116645810B CN116645810B (zh) 2024-06-07

Family

ID=87618146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310578109.2A Active CN116645810B (zh) 2023-05-22 2023-05-22 基于视频识别的移动式交通感知边缘计算装置、交通流量统计系统及方法

Country Status (1)

Country Link
CN (1) CN116645810B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899515A (zh) * 2020-09-29 2020-11-06 深圳市城市交通规划设计研究中心股份有限公司 一种基于智慧道路边缘计算网关的车辆检测系统
JP2021128761A (ja) * 2020-02-14 2021-09-02 富士通株式会社 道路監視ビデオのオブジェクト追跡装置及び方法
CN114023062A (zh) * 2021-10-27 2022-02-08 河海大学 一种基于深度学习和边缘计算的交通流信息监测方法
CN114972418A (zh) * 2022-03-30 2022-08-30 北京航空航天大学 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法
US20230057931A1 (en) * 2021-08-23 2023-02-23 François VAUDRIN Practical method to collect and measure real-time traffic data with high accuracy through the 5g network and accessing these data by cloud computing
CN116109986A (zh) * 2023-03-03 2023-05-12 同济大学 一种基于激光雷达和视频技术互补的车辆轨迹提取方法
CN116109671A (zh) * 2023-01-20 2023-05-12 南京理工大学 一种基于视频跳帧处理的交通车辆跟踪方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021128761A (ja) * 2020-02-14 2021-09-02 富士通株式会社 道路監視ビデオのオブジェクト追跡装置及び方法
CN111899515A (zh) * 2020-09-29 2020-11-06 深圳市城市交通规划设计研究中心股份有限公司 一种基于智慧道路边缘计算网关的车辆检测系统
US20230057931A1 (en) * 2021-08-23 2023-02-23 François VAUDRIN Practical method to collect and measure real-time traffic data with high accuracy through the 5g network and accessing these data by cloud computing
CN114023062A (zh) * 2021-10-27 2022-02-08 河海大学 一种基于深度学习和边缘计算的交通流信息监测方法
CN114972418A (zh) * 2022-03-30 2022-08-30 北京航空航天大学 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法
CN116109671A (zh) * 2023-01-20 2023-05-12 南京理工大学 一种基于视频跳帧处理的交通车辆跟踪方法
CN116109986A (zh) * 2023-03-03 2023-05-12 同济大学 一种基于激光雷达和视频技术互补的车辆轨迹提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王承梅 等: "基于YOLO算法的复杂交通环境中车辆目标检测方法", 《交通与运输》, vol. 39, no. 2, 25 March 2023 (2023-03-25), pages 20 - 24 *

Also Published As

Publication number Publication date
CN116645810B (zh) 2024-06-07

Similar Documents

Publication Publication Date Title
US20190287254A1 (en) Lidar noise removal using image pixel clusterings
CN107851318A (zh) 用于对象跟踪的系统和方法
Peng et al. Drone-based vacant parking space detection
JP7111175B2 (ja) 物体認識システム、認識装置、物体認識方法および物体認識プログラム
WO2021139049A1 (zh) 检测方法、检测装置、监控设备和计算机可读存储介质
CN107798313A (zh) 一种人体姿态识别方法、装置、终端和存储介质
CN112052815B (zh) 一种行为检测方法、装置及电子设备
CN115797873B (zh) 一种人群密度检测方法、系统、设备、存储介质及机器人
Chang et al. Video analytics in smart transportation for the AIC'18 challenge
CN106851229B (zh) 一种基于图像识别的安防智能决策的方法与系统
KR20140095333A (ko) 영상에서 객체 추적 방법 및 장치
EP3929801A1 (en) Training of an object recognition neural network
CN111898485A (zh) 一种停车位车辆检测处理方法及装置
CN112906471A (zh) 一种交通信号灯识别方法及装置
CN113033468A (zh) 一种基于多源图像信息的特定人员重识别方法
CN112183431A (zh) 实时行人数量统计方法、装置、相机和服务器
Raktrakulthum et al. Vehicle classification in congested traffic based on 3D point cloud using SVM and KNN
CN112631333B (zh) 无人机的目标跟踪方法、装置及图像处理芯片
CN116645810B (zh) 基于视频识别的移动式交通感知边缘计算装置、交通流量统计系统及方法
KR102240638B1 (ko) 영상내 차량 이미지 추정 경계 픽셀 데이터와 차량 모델 뷰포인트 분석을 이용한 주차 안내 방법 및 시스템
CN109960965A (zh) 基于无人机识别动物行为的方法、装置和系统
EP4287145A1 (en) Statistical model-based false detection removal algorithm from images
CN109034171B (zh) 视频流中的无牌车辆检测方法和装置
CN112037255A (zh) 目标跟踪方法和装置
WO2022127576A1 (zh) 站点模型更新方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant