CN116468755A - 一种车速检测方法 - Google Patents
一种车速检测方法 Download PDFInfo
- Publication number
- CN116468755A CN116468755A CN202310448319.XA CN202310448319A CN116468755A CN 116468755 A CN116468755 A CN 116468755A CN 202310448319 A CN202310448319 A CN 202310448319A CN 116468755 A CN116468755 A CN 116468755A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- frame
- data
- picture
- next frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明属于交通技术领域,提供了一种车速检测方法。该方法包括构建车辆识别模型;然后对交通视频数据中的每一帧画面进行处理,获得车辆的模型数据;再在获取当前帧画面中的车辆模型数据的基础上,对当前帧画面中的车辆的下一帧画面中的车辆模型数据进行预测,获得当前帧画面中的车辆在下一帧画面中的预测车辆模型数据;再将交通视频数据中的每一帧画面中的车道辅助线位置以及车辆的物理空间位置,转换为图像像素空间坐标系中的数字空间坐标位置;最后计算获得车辆的运行速度。本发明提供的方法可以充分利用车道辅助线,快速准确地获得车速,实现交通流基本参数的精准获取。
Description
技术领域
本发明属于交通技术领域,特别涉及一种车速检测方法。
背景技术
快速发展的机器视觉和深度学习等先进技术作为智能交通系统的重要组成部分,已受到越来越多的关注。在车辆参数检测中,传统方法常采用人工肉眼检测和各种不同用途的仪器(应变计、测速仪、超载检测仪、测距仪等)来进行车辆参数检测,费时费力且检测精度不高。机器视觉技术可以充分利用交通摄像头提供的车辆信息,准确有效地识别车辆参数信息。基于机器视觉的非接触式交通参数识别方法具有测量范围广、无需任何额外传感设备、不用封闭交通、长期稳定工作和易于信息集成等优势。机器视觉与深度学习的结合,成为车辆检测与参数识别领域的研究热点。
应用深度学习进行车辆识别、并采用机器学习中的相关目标跟踪算法实现车辆移动轨迹跟踪,同时开展摄像机图像像素尺寸与实际距离尺寸的坐标系转换,可快速、精准提取交通视频中移动车辆的运行速度,以交通流运行特征分析,进而分析交通拥堵的形成、演化及消散等现象的成因,为交通控制管理措施的实施提供一定支撑。既有摄像机坐标系标定转换方法通常将已知尺寸的参考物放置于不同角度、不同位置的图像中,使参考物物体尽量布满整个视频采集画面,并采用图像像素提取技术获取每张图像中参考物物体角点的位置坐标,在此基础上,通过理论模型推演,实现图像像素尺寸与实际物体尺寸的关联,该方法可有效获取景深距离近的视频画面的物体尺寸,但由于其理论模型的移植性较差,应用效果不理想,且对于景深较远交通视频中的参考物工程实施难度大,并存在一定安全风险,导致既有方法在交通流参数检测方面受到限制。
发明内容
为了解决现有技术中存在的上述至少一个问题,本发明提供了一种车速检测方法,该方法基于具有车道辅助线的交通监控视频数据获得。
一种车速检测方法,其特征在于,所述方法包括:
步骤1:构建车辆识别模型;
步骤2:对交通视频数据中的每一帧画面进行处理,获得车辆的模型数据;
步骤3:在采用步骤2的操作获取当前帧画面中的车辆模型数据的基础上,对当前帧画面中的车辆的下一帧画面中的车辆模型数据进行预测,获得当前帧画面中的车辆在下一帧画面中的预测车辆模型数据;
按照如下规则进行级联匹配:若下一帧画面中出现了不完整的车辆的情形,则将直接采纳根据上述当前帧画面中的该车辆的车辆模型数据预测得到的下一帧画面中该车辆的车辆模型数据,作为该车辆在下一帧画面中的车辆模型数据,并且不再对该车辆在下下一帧画面中的车辆模型数据进行预测;
将当前帧画面中的车辆在下一帧画面中的预测车辆模型数据,与采用步骤2的操作获取的下一帧画面中的车辆模型数据进行IOU匹配;根据IOU匹配结果实现车辆的轨迹更新;
步骤4:将交通视频数据中的每一帧画面中的车道辅助线位置,转换为图像像素空间坐标系中的数字空间坐标位置;将交通视频数据中的每一帧画面中的车辆的物理空间位置,转换为图像像素空间坐标系中的坐标位置;
步骤5:基于步骤4获得的交通视频数据中的每一帧画面中的车道辅助线位置在图像像素空间坐标系中的数字空间坐标位置,以及交通视频数据中的每一帧画面中的车辆的中心点对应的图像像素空间坐标系中的坐标位置,按照如下公式计算获得车辆的运行速度:
式(1)中,v为车辆的运行速度,d为车道辅助线的长度,T1为在图像像素空间坐标系中车辆的位置经过第一个车道辅助线的起点的时刻,T2为在图像像素空间坐标系中车辆的位置经过第一个车道辅助线的终点的时刻。
本发明提供的车速检测方法,可以充分利用车道辅助线和道路监控视频,自动、快速、准确地获得交通监控视频中的车辆的车速,实现交通流基本参数的精准获取。
附图说明
图1为本发明实施例1中10分钟交通视频数据中快速路车辆运行速度的检测结果。
图2为本发明实施例1中激光雷达设备获取的点云数据。
图3为本发明实施例1中车速检测方法对比效果图。
具体实施方式
为使本发明的技术方案、目的和优点更加清楚,下面通过具体的实施例子对本发明做进一步的详细描述。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
本发明提供了一种车速检测方法,所述方法基于具有车道辅助线的交通监控视频数据建立。所述车速检测方法包括如下步骤:
步骤1、构建车辆识别模型。
其中,所述车辆识别模型可以为YOLOV5车辆识别模型。
所述YOLOV5车辆识别模型的训练可以包括如下的操作:将开源数据库中人工标记的车辆目标的信息,包括车辆的描框数据、车辆类型信息输入YOLOV5车辆识别模型;针对不同类型的车辆设置车辆的初始描框数据,并将不同车辆类型的初始描框数据输入YOLOV5车辆识别模型。YOLOV5车辆识别模型在初始描框数据的基础上输出每个车辆的预测框数据,然后计算每个车辆的预测框数据和真实框数据的准确度,再反向更新模型参数;通过这样不断的迭代,实现YOLOV5车辆识别模型的训练过程。
在本发明的一个具体实施方式中,所述YOLOV5车辆识别模型由包含超过14万帧视频图像和8250辆人工标记的车辆目标信息的开源数据库训练得到。
其中,所述车辆的描框数据包括车辆在图像像素空间坐标系中的位置信息和车辆的尺寸信息。所述图像像素空间坐标系用来表示每一帧画面中的车辆的尺寸和物理空间位置在图像像素空间上的像素投影。所述图像像素空间坐标系与实际尺寸坐标系相对应。所述实际尺寸坐标系建立在每一帧画面上,坐标原点位于每一帧画面的左上角,横轴水平向右,纵轴竖直向下。相应地,所述图像像素空间坐标系的坐标原点与实际尺寸坐标系的坐标原点对应,图像像素空间坐标系的横轴对应于实际尺寸坐标系的横轴,图像像素空间坐标系的纵轴对应于实际尺寸坐标系的纵轴。
所述车辆在图像像素空间坐标系中的位置(使用(x,y)来表示),对应于车辆在实际尺寸坐标系中的车辆中心点位置。所述车辆中心点是指车辆在每一帧画面中的正投影(只体现车辆的长度和宽度,不体现车辆的高度的投影)的几何中心。
所述车辆在图像像素空间坐标系中的尺寸信息对应于车辆在实际尺寸坐标系中的车辆长度和宽度。所述车辆在实际尺寸坐标系中的车辆长度为从车辆的车头到车尾的距离。所述车辆在实际尺寸坐标系中的车辆宽度为:不考虑后视镜等明显突出车身的组件时,从车身的左侧到右侧的距离。
所述车辆类型包括公交车、货车、小汽车、摩托车。
本发明中,根据如下标准来划分车型:车辆长度为1.6-2.4m、宽度为0.7-0.8m、高度为1.1-1.2m时,将该车辆定义为摩托车;车辆长度为3.8-4.3m、宽度为1.6-1.8m、高度为1.4-1.6m时将该车辆定义为小汽车;车辆长度为4.8-7.5m、宽度为1.9-2.4m、高度为1.9-2.7m时,将该车辆定义为货车;车辆长度为10-15m、宽度为2.2-2.5m、高度为2.5-3.5m时,将该车辆定义为公交车。
所述车辆的初始描框是指:实际尺寸坐标系中的车辆,在前述的图像像素空间坐标系中的对应矩形框,该矩形框的长度与实际尺寸坐标系中的车辆的长度相对应,该矩形框的宽度与实际尺寸坐标系中的车辆的宽度相对应。
由于本发明是对采集的视频进行分析检测来测定车速的,因此需要将车辆的实际尺寸(也即实际尺寸坐标系中的尺寸)转换到图像像素空间坐标系中。车辆在实际尺寸坐标系中的长度对应于在图像像素空间坐标系中横轴上的对应像素个数;车辆在实际尺寸坐标系中的宽度对应于在图像像素空间坐标系中纵轴上的对应像素个数。车辆的实际尺寸与图像像素空间坐标系中的像素个数的比例一般为1:(15-20),优选为1:18;也即,例如实际长度为10米的公交车,在图像像素空间坐标系中的像素个数为150-200个,优选为180个。
所述预测框数据是指:基于上一帧画面中的车辆的描框数据(包括车辆在图像像素空间坐标系中的位置信息和车辆的尺寸信息),采用卡尔曼滤波器算法预测得到的当前帧画面中的车辆的描框数据。
所述真实框数据是指:当前帧画面中,通过车辆检测模型计算输出的车辆的描框数据。
所述预测框和真实框的准确度是指:车辆的预测框数据和真实框数据的匹配程度;也即,预测框数据中的车辆在图像像素空间坐标系中的位置信息和车辆的尺寸信息,与真实框数据中的车辆在图像像素空间坐标系中的位置信息和车辆的尺寸信息的匹配程度。预测框数据和真实框数据的匹配程度越高,准确度越高。
步骤2、对交通视频数据中的每一帧画面进行处理,获得车辆的模型数据。
其中,所述交通视频数据为含有具有前后间隔的交通辅助线的交通视频数据。所述具有前后间隔的交通辅助线例如可以为:长度为六米、前后相距九米的车道辅助线(简称“六九线”)。
所述交通视频数据例如可以为通过摄像机采集的施划有“六九线”的道路中行驶的机动车的移动轨迹图像。在本发明的一个具体实施方式中,可以采用基于HDR-CX680的Sony摄像机,将摄像机安装在三脚架上,然后将三脚架置于人行天桥上采集施划有“六九线”的快速路中车辆的移动轨迹图像;或者将摄像机安装在施划有“六九线”的快速路或高速路的龙门架上,采集车辆的移动轨迹图像。摄像机采集的图像尺寸一般为1920×1080,需要将图像尺寸转换为960×540,以便车辆识别模型检测。
其中,所述对交通视频数据中的每一帧画面进行处理包括:提取获得的交通视频数据中的每一帧画面,并将每一帧画面输入步骤1中已训练完成的YOLOV5车辆识别模型中,通过已训练完成的YOLOV5车辆识别模型,输出包括车辆类型、车辆的描框数据的车辆模型数据。
本发明中采用YOLOV5车辆识别模型对交通视频数据中的每一帧画面进行目标识别,YOLOV5的图像处理速度最快达0.007s,即每秒可处理140帧,可以满足视频图像实时监测需求,同时结构小巧,比YOLOV4网络结构单元小90%,速度却是YOLOV4网络结构单元的两倍。
步骤3、在采用步骤2的操作获取当前帧画面中的车辆模型数据的基础上,对当前帧画面中的车辆的下一帧画面中的车辆模型数据进行预测,获得当前帧画面中的车辆在下一帧画面中的预测车辆模型数据。
在一个具体实施方式中,可以采用卡尔曼滤波器算法,对当前帧画面中的车辆的下一帧画面中的车辆模型数据进行预测。
按照如下规则进行级联匹配:若下一帧画面中出现了不完整的车辆的情形(例如该车辆被其他车辆遮挡、该车辆的一部分移出画面外、或该车辆的边界模糊不清等至少一种情形),则将直接采纳根据上述当前帧画面中的该车辆的车辆模型数据预测得到的下一帧画面中该车辆的车辆模型数据,作为该车辆在下一帧画面中的车辆模型数据,并且不再对该车辆在下下一帧(此处的“下下一帧”,也即下一帧的下一帧)画面中的车辆模型数据进行预测。
将当前帧画面中的车辆在下一帧画面中的预测车辆模型数据,与采用步骤2的操作获取的下一帧画面中的车辆模型数据进行IOU(Intersection over Union)匹配。
在一个具体实施方式中,可以采用匈牙利算法,将当前帧画面中的车辆在下一帧画面中的预测车辆模型数据,与采用步骤2的操作获取的下一帧画面中的车辆模型数据进行IOU匹配。
根据IOU匹配结果实现车辆的轨迹更新,具体地:
当IOU匹配的结果为大于0.6小于等于1.0(即0.6-1.0,但不包括0.6)时,即认为当前帧画面中的车辆与下一帧画面中的相应车辆为同一辆车,则可以将采用步骤2的操作获取的下一帧画面中的车辆模型数据输入车辆识别模型中,从而对车辆的移动轨迹进行更新;
当IOU匹配的结果为小于或等于0.6时,分为以下两种情况:
情况1:当采用步骤2的操作获取的下一帧画面中的车辆模型数据,在当前帧画面中的车辆在下一帧画面中的预测车辆模型数据中找不到对应的数据时,即认为下一帧画面中出现了当前帧画面中未出现的新车辆,则需要为下一帧画面中新出现的车辆分配新的车辆ID号;
情况2:当当前帧画面中的车辆在下一帧画面中的预测车辆模型数据,在采用步骤2的操作获取的下一帧画面中的车辆模型数据中找不到对应的数据时,说明在当前帧画面中的相应车辆在下一帧画面中超出图像区域,也即可以认为该相应车辆在下一帧画面中消失;一般来说,若该车辆在当前帧画面以后连续至少20帧画面中均消失,则需要消除对应车辆的移动轨迹。
步骤4、将交通视频数据中的每一帧画面中的车道辅助线位置,转换为图像像素空间坐标系中的数字空间坐标位置;将交通视频数据中的每一帧画面中的车辆的物理空间位置,转换为图像像素空间坐标系中的坐标位置。
所述将交通视频数据中的每一帧画面中的车道辅助线位置,转换为图像像素空间坐标系中的数字空间坐标位置具体可以为:将交通视频数据中的每一帧画面中的车道辅助线(例如“六九线”)的起点和终点,分别在图像像素空间坐标系中标示出来;在一个具体实施方式中,可以采用LabelImg工具箱将交通视频数据中的每一帧画面中的车道辅助线的起点和终点分别在图像像素空间坐标系中标示出来。
所述将交通视频数据中的每一帧画面中的车辆的物理空间位置,转换为图像像素空间坐标系中的坐标位置,也即将实际尺寸坐标系中车辆的中心点在图像像素空间坐标系中的坐标标示出来。所述车辆的中心点如前所述。在一个具体实施方式中,可以采用Matlab中的bwboundaries、regionprops函数将交通视频数据中的每一帧画面中的车辆的中心点在图像像素空间坐标系中标示出来。
如前所述,所述图像像素空间坐标系的坐标原点(0,0)对应于实际尺寸坐标系的坐标原点(也即每一帧画面的左上角)。
步骤5、基于步骤4获得的交通视频数据中的每一帧画面中的车道辅助线位置在图像像素空间坐标系中的数字空间坐标位置,以及交通视频数据中的每一帧画面中的车辆的中心点对应的在图像像素空间坐标系中的坐标位置,按照如下公式计算获得车辆的运行速度:
式(1)中,v为车辆的运行速度,d为车道辅助线的长度(对于“六九线”来说为15米),T1为在图像像素空间坐标系中车辆的位置(即每一帧画面中的车辆的中心点对应的在图像像素空间坐标系中的坐标位置)经过第一个车道辅助线的起点(对于“六九线”来说,为第一个白色实线的起点)的时刻,T2为在图像像素空间坐标系中车辆的位置(即每一帧画面中的车辆的中心点对应的在图像像素空间坐标系中的坐标位置)经过第一个车道辅助线的终点(对于“六九线”来说,为第一个相邻白色实线之间间隔的终点/第二个白色实线的起点)的时刻。
实施例1
本实施例用来说明本发明提供的基于车道辅助线建立的车速检测方法。
将基于HDR-CX680的Sony摄像机,架设在横跨封闭的城市快速路的过街天桥上,以采集在施划有六米长的车道辅助线、且前后相邻车道辅助线的间距为九米(简称六九线)的城市快速路道路中行驶的机动车的移动轨迹图像。
然后,采用如下方法检测机动车的速度:
1、构建车辆识别模型
使用YOLOV5车辆识别模型构建车辆识别模型,具体地,将包含超过14万帧视频图像和8250辆人工标记的车辆目标的开源数据库中人工标记的车辆目标的信息,包括车辆的描框数据、车辆类型信息输入YOLOV5车辆识别模型;针对不同类型的车辆设置车辆的初始描框数据,并将不同车辆类型的初始描框数据输入YOLOV5车辆识别模型。YOLOV5车辆识别模型在初始描框的基础上输出每个车辆的预测框,然后计算每个车辆的预测框和真实框的准确度,再反向更新模型参数;通过这样不断的迭代,实现YOLOV5车辆识别模型的训练过程。
2、提取获得的交通视频数据中的每一帧画面,并将每一帧画面输入步骤1中已训练完成的YOLOV5车辆识别模型中,通过已训练完成的YOLOV5车辆识别模型,输出包括车辆的描框数据、以及车辆类型信息的车辆模型数据。
3、车辆轨迹移动跟踪
采用以上步骤2的操作获取当前帧画面中的车辆模型数据,并在获取的当前帧画面中的车辆模型数据的基础上,采用卡尔曼滤波器算法预测下一帧画面中的车辆模型数据。然后按照前述的级联匹配和IOU匹配进行处理,从而对车辆的运行轨迹进行更新。
4、物理空间与图像空间坐标系互相转化
采用LabelImg工具箱将交通视频数据中的每一帧画面中的车道辅助线的起点和终点分别在图像像素空间坐标系中标示出来。采用Matlab中的bwboundaries、regionprops函数将交通视频数据中的每一帧画面中的车辆的中心点在图像像素空间坐标系中标示出来。
5、计算车辆运行速度
基于以上步骤4获得的的图像像素空间坐标系中的车道辅助线的坐标,和车辆的位置(即每一帧画面中的车辆的中心点对应的在图像像素空间坐标系中的坐标位置),按照如下公式计算获得车辆的运行速度:
上式中,v为车辆的运行速度,d为车道辅助线的长度(对于“六九线”来说为15米),T1为在图像像素空间坐标系中车辆的位置经过第一个车道辅助线的起点(对于“六九线”来说,为第一个白色实线的起点)的时刻,T2为在图像像素空间坐标系中车辆的位置经过第一个车道辅助线的终点(对于“六九线”来说,为第一个相邻白色实线之间间隔的终点/第二个白色实线的起点)的时刻。
本实施例提取了10分钟交通视频数据中快速路车辆运行速度的检测结果,具体如图1所示。图1中,横坐标为采用本发明的方法检测得到的车辆的运行速度值分布区间,纵坐标为车辆的数量。由图1可见,车辆运行速度在50-60km/h的数量最多,0-40km/h以及80-90km/h的车辆数为0。
在摄像机镜头旁边,架设VLP-16激光雷达同时、同步采集车辆的移动信息。
激光雷达采集的部分数据如表1所示。
表1
第一至三列表示以激光雷达为原点的笛卡尔坐标系中x,y,z坐标值;第四列表示该激光束打到目标上的反射强度,取值范围为1至255;第五列表示激光束的ID号,共16束激光,取值范围为0至15,其中ID为偶数时代表向下发射的激光束,ID为奇数时代表向上发射的激光束;第六列表示水平角度值,单位为0.01°,当水平角度值为34时,表示水平角度值为0.34°;第七列表示目标点与激光雷达原点之间的直线距离;第八列表示时间戳,微秒数。
激光雷达车辆速度提取步骤主要分为以下三个步骤:
1、背景点云剔除、目标点云提取
获取的激光雷达点云数据结果如图2所示,主要包含静止不动的背景信息点和待提取的车辆前景信息点,以同一激光雷达光束可探测的最远距离为依据,删除背景信息,提取车辆点云信息。
2、多帧数据融合的车辆检测与跟踪
在提取车辆点云信息后,考虑了车辆点云存在遮挡问题,融合车辆5帧运行数据,增加点云数据量,对车辆点云数据进行聚类,将聚类结果即车辆ID信息分配给单帧车辆数据,并以聚类中心点代表车辆信息进行多帧车辆数据跟踪,实现车辆时空轨迹信息的提取。
3、车辆运行速度提取
随机挑选了采用本发明的方法中测试的上述10分钟的录像数据中的52辆车的激光雷达采集的运行速度,并与前述交通视频中车辆进行匹配,验证结果如图3所示。
结果发现,采用本发明的方法测得的速度与激光雷达测速测得的车速的平均相对误差为93.6%,与现有的基于摄像机标定方法的精度在80%-85%范围内,精度得到明显提升,说明本发明提供的基于车道辅助线的车速检测方法准确性高、有效性可靠。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种车速检测方法,其特征在于,所述方法包括:
步骤1:构建车辆识别模型;
步骤2:对交通视频数据中的每一帧画面进行处理,获得车辆的模型数据;
步骤3:在采用步骤2的操作获取当前帧画面中的车辆模型数据的基础上,对当前帧画面中的车辆的下一帧画面中的车辆模型数据进行预测,获得当前帧画面中的车辆在下一帧画面中的预测车辆模型数据;
按照如下规则进行级联匹配:若下一帧画面中出现了不完整的车辆的情形,则将直接采纳根据上述当前帧画面中的该车辆的车辆模型数据预测得到的下一帧画面中该车辆的车辆模型数据,作为该车辆在下一帧画面中的车辆模型数据,并且不再对该车辆在下下一帧画面中的车辆模型数据进行预测;
将当前帧画面中的车辆在下一帧画面中的预测车辆模型数据,与采用步骤2的操作获取的下一帧画面中的车辆模型数据进行IOU匹配;根据IOU匹配结果实现车辆的轨迹更新;
步骤4:将交通视频数据中的每一帧画面中的车道辅助线位置,转换为图像像素空间坐标系中的数字空间坐标位置;将交通视频数据中的每一帧画面中的车辆的物理空间位置,转换为图像像素空间坐标系中的坐标位置;
步骤5:基于步骤4获得的交通视频数据中的每一帧画面中的车道辅助线位置在图像像素空间坐标系中的数字空间坐标位置,以及交通视频数据中的每一帧画面中的车辆的中心点对应的图像像素空间坐标系中的坐标位置,按照如下公式计算获得车辆的运行速度:
式(1)中,v为车辆的运行速度,d为车道辅助线的长度,T1为在图像像素空间坐标系中车辆的位置经过第一个车道辅助线的起点的时刻,T2为在图像像素空间坐标系中车辆的位置经过第一个车道辅助线的终点的时刻。
2.根据权利要求1所述的方法,其特征在于:
所述车辆识别模型为YOLOV5车辆识别模型。
3.根据权利要求2所述的方法,其特征在于:
所述YOLOV5车辆识别模型的训练包括如下的操作:将开源数据库中人工标记的车辆的描框数据、以及车辆类型信息输入YOLOV5车辆识别模型;针对不同类型的车辆设置车辆的初始描框数据,并将不同车辆类型的初始描框数据输入YOLOV5车辆识别模型;YOLOV5车辆识别模型在初始描框数据的基础上输出每个车辆的预测框数据,然后计算每个车辆的预测框和真实框的准确度,再反向更新模型参数。
4.根据权利要求3所述的方法,其特征在于:
所述交通视频数据为含有具有前后间隔的交通辅助线的交通视频数据。
5.根据权利要求4所述的方法,其特征在于:
所述具有前后间隔的交通辅助线为:长度为六米、前后相距九米的车道辅助线。
6.根据权利要求5所述的方法,其特征在于:
所述对交通视频数据中的每一帧画面进行处理包括:提取获得的交通视频数据中的每一帧画面,并将每一帧画面输入步骤1中已训练完成的YOLOV5车辆识别模型中,通过已训练完成的YOLOV5车辆识别模型,输出包括车辆类型、车辆的描框数据的车辆模型数据。
7.根据权利要求1所述的方法,其特征在于:
采用卡尔曼滤波器算法,对当前帧画面中的车辆的下一帧画面中的车辆模型数据进行预测。
8.根据权利要求7所述的方法,其特征在于:
采用匈牙利算法,将当前帧画面中的车辆在下一帧画面中的预测车辆模型数据,与采用步骤2的操作获取的下一帧画面中的车辆模型数据进行IOU匹配。
9.根据权利要求8所述的方法,其特征在于:
所述根据IOU匹配结果实现车辆的轨迹更新,包括:
当IOU匹配的结果为大于0.6小于或等于1.0时,即认为当前帧画面中的车辆与下一帧画面中的相应车辆为同一辆车,则可以将采用步骤2的操作获取的下一帧画面中的车辆模型数据输入车辆识别模型中,从而对车辆的移动轨迹进行更新;
当IOU匹配的结果为小于或等于0.6时,分为以下两种情况:
情况1:当采用步骤2的操作获取的下一帧画面中的车辆模型数据,在当前帧画面中的车辆在下一帧画面中的预测车辆模型数据中找不到对应的数据时,即认为下一帧画面中出现了当前帧画面中未出现的新车辆,则需要为下一帧画面中新出现的车辆分配新的车辆ID号;
情况2:当当前帧画面中的车辆在下一帧画面中的预测车辆模型数据,在采用步骤2的操作获取的下一帧画面中的车辆模型数据中找不到对应的数据时,说明在当前帧画面中的相应车辆在下一帧画面中超出图像区域,也即认为该相应车辆在下一帧画面中消失;若该车辆在当前帧画面以后连续至少20帧画面中均消失,则消除对应车辆的移动轨迹。
10.根据权利要求1所述的方法,其特征在于:
所述将交通视频数据中的每一帧画面中的车道辅助线位置,转换为图像像素空间坐标系中的数字空间坐标位置为:将交通视频数据中的每一帧画面中的车道辅助线的起点和终点,分别在图像像素空间坐标系中标示出来;
所述将交通视频数据中的每一帧画面中的车辆的物理空间位置,转换为图像像素空间坐标系中的坐标位置,也即标出车辆的中心点在图像像素空间坐标系中的坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310448319.XA CN116468755A (zh) | 2023-04-24 | 2023-04-24 | 一种车速检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310448319.XA CN116468755A (zh) | 2023-04-24 | 2023-04-24 | 一种车速检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116468755A true CN116468755A (zh) | 2023-07-21 |
Family
ID=87180452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310448319.XA Pending CN116468755A (zh) | 2023-04-24 | 2023-04-24 | 一种车速检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116468755A (zh) |
-
2023
- 2023-04-24 CN CN202310448319.XA patent/CN116468755A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100201739B1 (ko) | 물체 관측 방법 및 그 방법을 이용한 물체 관측장치와,이 장치를 이용한 교통흐름 계측장치 및 주차장 관측장치 | |
CN110992683B (zh) | 一种基于动态图像感知的交叉口盲区预警方法及系统 | |
EP2549457B1 (en) | Vehicle-mounting vehicle-surroundings recognition apparatus and vehicle-mounting vehicle-surroundings recognition system | |
EP2820632B1 (en) | System and method for multipurpose traffic detection and characterization | |
US7046822B1 (en) | Method of detecting objects within a wide range of a road vehicle | |
CN112700470B (zh) | 一种基于交通视频流的目标检测和轨迹提取方法 | |
CN103176185B (zh) | 用于检测道路障碍物的方法及系统 | |
CN110097762B (zh) | 一种道路视频图像低能见度刻度估算方法及系统 | |
CN110379168B (zh) | 一种基于Mask R-CNN的交通车辆信息获取方法 | |
JP2018092501A (ja) | 車載用画像処理装置 | |
JP2006184276A (ja) | 視覚検知による全天候障害物衝突防止装置とその方法 | |
CN102208013A (zh) | 风景匹配参考数据生成系统和位置测量系统 | |
CN105825185A (zh) | 车辆防碰撞预警方法及装置 | |
CN114359181B (zh) | 一种基于图像和点云的智慧交通目标融合检测方法及系统 | |
EP3806062A1 (en) | Detection device and detection system | |
JP7050763B2 (ja) | カメラ画像からのオブジェクトの検出 | |
CN113160527A (zh) | 一种道路限高预警系统及方法 | |
JP7507930B2 (ja) | 事故分析装置 | |
CN113591941B (zh) | 一种基于多传感器融合的智能限高警示系统及方法 | |
CN114926984B (zh) | 一种实时交通冲突收集与道路安全评价方法 | |
CN115240471A (zh) | 一种基于图像采集的智慧厂区避撞预警方法和系统 | |
KR20190134303A (ko) | 영상 인식 장치 및 그 방법 | |
CN112562061A (zh) | 一种基于激光雷达图像的驾驶视觉增强的系统及方法 | |
CN115512542B (zh) | 一种基于路侧激光雷达的考虑遮挡的轨迹复原方法及系统 | |
Yu et al. | MPP: A novel algorithm for estimating vehicle space headways from a single image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |