CN113257005B - 一种基于关联度量的车流量统计方法 - Google Patents

一种基于关联度量的车流量统计方法 Download PDF

Info

Publication number
CN113257005B
CN113257005B CN202110708750.4A CN202110708750A CN113257005B CN 113257005 B CN113257005 B CN 113257005B CN 202110708750 A CN202110708750 A CN 202110708750A CN 113257005 B CN113257005 B CN 113257005B
Authority
CN
China
Prior art keywords
vehicle
frame
sub
counted
vehicles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110708750.4A
Other languages
English (en)
Other versions
CN113257005A (zh
Inventor
黄倩
季玮
李道勋
吴戡
徐图
朱永东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202110708750.4A priority Critical patent/CN113257005B/zh
Publication of CN113257005A publication Critical patent/CN113257005A/zh
Application granted granted Critical
Publication of CN113257005B publication Critical patent/CN113257005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于关联度量的车流量统计方法，该方法基于高速道路路侧监控视频，采用视觉分析方法，统计通过虚拟断面的车流量。本发明引入基于深度学习的车辆检测方法，在连续视频帧中对运动车辆外框进行准确贴合的检测，通过提出一种融合前后视频帧中运动车辆的位置重叠度和基于车辆检测框子区域的特征向量的特征匹配度这两个度量因子的关联度量，分析运动车辆在前后帧的关联关系，从而实现对经过虚拟断面车辆的持续稳定跟踪，减少由于车辆换道、互相遮挡造成的统计结果不准的问题。本发明提出了一种基于关联度量的车流量统计方法，有效统计出通过高速道路虚拟断面的车流量，为高速道路路网管理和交通精准管控提供可靠依据。

Description

一种基于关联度量的车流量统计方法
技术领域
本发明涉及智能交通技术领域，尤其涉及一种基于关联度量的车流量统计方法。
背景技术
当前，高速公路已经进入数字信息化建设时代，基于云-边的高速道路大型化信息综合管理平台，利用多模态传感器技术，通过对高速道路全方位、全时段的监控、监测，实现对高速路网综合监控管理运营。其中，视频监控设备由于布设简单、成本低，被广泛的安装在道路路侧，而传统的线圈检测器由于布设困难，安装率逐渐降低，激光雷达等设备由于价格昂贵普及率仍然较低。因此，对大规模监控视频进行数据分析，实时监测路网车流量、车速等信息，及时发现道路拥堵指数、饱和度等的异常变化，并将异常信息上报至监控平台，已成为路网管理和交通精准管控的重要手段。
目前基于路侧监控视频的交通流量统计方法，由于不能很好的跟踪车辆行为，造成漏检、误检率较高，且缺乏一个有效的车辆关联关系度量方法，造成场景迁移困难，无法对多个不同路段场景提供准确的统计结果，难以应用于精准的交通监测。因此，本发明引入深度学习方法，提出一种高效准确的基于关联度量的车流量统计方法，通过持续跟踪经过虚拟断面的车辆行为，减少由于车辆换道、互相遮挡带来的漏检、误检问题，为精准交通监测提供可靠依据。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于关联度量的车流量统计方法，解决现有的车流量统计方法由于不能准确持续跟踪车辆行为，造成的对通过虚拟断面车辆的漏检、误检而造成的车流量统计精准度缺失的问题。本发明方法引入基于深度学习的车辆检测方法，在连续视频帧中对运动车辆外框进行准确贴合的检测，通过融合前后视频帧中运动车辆的位置重叠度和特征匹配度这两个度量因子，分析车辆的关联关系，从而达到对经过虚拟断面车辆的持续稳定跟踪，减少由于车辆换道、互相遮挡造成的统计结果不准的问题。
本发明的目的是通过以下技术方案来实现的：一种基于关联度量的车流量统计方法，该方法包括以下步骤：
步骤一：根据高速道路路侧监控视频，在视频画面中的单向车道区域无视觉遮挡部分设置一条水平虚拟断面线；
步骤二：定义虚拟断面线在视频画面中的高度为H；定义一个已统计车辆列表 L，存储已经过虚拟断面线的车辆信息，初始化为空；定义一个变量C = {car_id，bbox，Embedding_set，frame_id}，表示一辆车的信息，其中car_id 表示车辆id，编号唯一；bbox表示车辆检测框位置，包含检测框的左上角坐标，检测框的右下角坐标；Embedding_set表示车辆检测框区域内所有子区域的特征向量的集合，一个车辆检测框区域根据车辆检测框的长宽比划分为多个子区域，每个子区域被ResNet50网络编码为特征向量；frame_id表示当前视频帧序列号，初始化为0，每过一帧，frame_id加1；定义车流量统计数目N，初始化为0；
步骤三：采用基于深度学习的目标检测方法检测出当前视频帧中的车辆，并过滤出车辆外边框和虚拟断面线交叉的车辆为待关联车辆，并对这些待关联车辆的检测框划分成多个子区域，并对每个子区域利用神经网络进行Embedding特征编码，将每个子区域编码为一个二进制的特征向量；
步骤四：分别计算待关联车辆和已统计车辆列表中车辆的特征匹配度和位置重叠 度；特征匹配度计算方法具体为：对任意一辆待关联车辆
Figure 347785DEST_PATH_IMAGE001
，其特征向量集合为
Figure 95161DEST_PATH_IMAGE002
，
Figure 633459DEST_PATH_IMAGE003
为第i个子区域的二进制特征向量，对任意一辆已统计车辆列表中 的车辆
Figure 517101DEST_PATH_IMAGE004
，其特征向量集合为
Figure 131753DEST_PATH_IMAGE005
，对任一
Figure 228410DEST_PATH_IMAGE006
，采用暴力匹配法，计算其 和Q中所有子区域的特征向量的Hamming距离；其Hamming距离为两个二进制特征向量的不 同位的个数；按照
Figure 180185DEST_PATH_IMAGE007
和Q间所有子区域的Hamming距离大小进行排序，返回Q中和
Figure 59279DEST_PATH_IMAGE007
距离最小 的两个最近邻匹配，并计算次小距离和最小距离的比率，若比率满足大于某比率阈值
Figure 156417DEST_PATH_IMAGE008
，说 明这两个最近邻匹配区别足够大，则认为距离最近的子区域是
Figure 488173DEST_PATH_IMAGE007
的正确匹配，生成一组子 区域匹配对；否则，不生成子区域匹配对；
对集合P中所有的子区域匹配完毕后，统计正确匹配的组数，并计算车辆
Figure 243639DEST_PATH_IMAGE001
和
Figure 960928DEST_PATH_IMAGE004
的 特征匹配度；特征匹配度的计算公式为：
特征匹配度（
Figure 776437DEST_PATH_IMAGE001
，
Figure 595489DEST_PATH_IMAGE004
）= 正确匹配的子区域匹配对组数 / 集合P中子区域总数
按此方法，计算出每一辆待关联车辆和已统计车辆列表中车辆间的特征匹配度；
步骤五：融合位置重叠度和特征匹配度这两个度量因子，对每一辆待关联车辆，计算其和已统计车辆列表中的车辆的关联度；关联度计算公式为：
关联度= 位置重叠度*λ + 特征匹配度*（1-λ）
其中λ为这两个度量因子的融合超参数，按实际具体的视频数据设定；
步骤六：步骤五中计算得到的关联度的最大值大于等于阈值的待关联车辆，说明其和已统计车辆列表中的车辆关联上了，该车已被统计，更新其在已统计车辆列表中的信息；对关联度的最大值小于阈值的，新建变量C，生成其车辆信息，并将其添加至已统计车辆列表，车流量统计数目N加1；
步骤七：将已统计车辆列表中视频序列号和当前视频帧序列号差值大于M的车辆删除，认为M帧前的车辆已驶离虚拟断面线；其中M值和当前监控视频中车辆大小相关，通过观测车辆从到达虚拟断面线至驶离虚拟断面线所经历的最长视频帧数得到；
步骤八：重复步骤三~步骤七，直至待车流量统计视频结束。
进一步地，根据车辆检测框的长宽比划分为多个子区域具体过程为：按照车辆检测框的长宽比，将检测框区域划分为M=A*B个子区域，A表示垂直划分等份数，B表示水平划分等份数；其中，A，B表示如下：
Figure 154646DEST_PATH_IMAGE009
其中，
Figure 992021DEST_PATH_IMAGE010
表示垂直等分系数，
Figure 712852DEST_PATH_IMAGE011
表示水平等分系数，
Figure 284779DEST_PATH_IMAGE012
，
Figure 775191DEST_PATH_IMAGE013
，且均为正整 数，系数和车辆外形特点相关。
进一步地，所述步骤三通过以下子步骤来实现：
（3.1）将当前帧图像输入目标检测模型，检测出当前视频帧图像中的车辆；其中，目标检测模型基于CenterNet网络模型，通过采用高速道路车辆的标注数据进行训练，能准确稳定的检测出贴合车辆的矩形外边框；
（3.2）计算检测出的车辆的矩形外边框是否和虚拟断面线相交；假设一辆车的检 测框位置的左上角坐标为
Figure 342438DEST_PATH_IMAGE014
，右下角坐标为
Figure 109537DEST_PATH_IMAGE015
，若
Figure 27815DEST_PATH_IMAGE016
时，则认为该车辆 和虚拟断面线交叉，过滤出该车辆为待关联车辆；
（3.3）将待关联车辆根据车辆检测框的长宽比划分为多个子区域，每个子区域分 别输入ResNet50网络，所述ResNet50网络通过数据集ImageNet训练完成，且将最后一层特 征层维度修改为K，则最后一层特征层即为该子区域的特征向量，将该特征向量中数值大于 等于
Figure 53408DEST_PATH_IMAGE017
的编码为1，小于
Figure 475162DEST_PATH_IMAGE017
的编码为0，
Figure 678742DEST_PATH_IMAGE017
设为0，从而将其转换为二进制向量；则一辆待关 联车辆的检测框区域特征向量集合描述为
Figure 818736DEST_PATH_IMAGE018
，其中
Figure 648021DEST_PATH_IMAGE003
为第i个子区域的二进制 特征向量，维度为K，K取2的指数。
进一步地，所述步骤四中，位置重叠度计算方法具体为；假设某一待关联车辆检测 框的左上角坐标为
Figure 189861DEST_PATH_IMAGE019
，右下角坐标为
Figure 564341DEST_PATH_IMAGE020
，某一已统计车辆列表中的车辆边框的 左上角坐标为
Figure 191632DEST_PATH_IMAGE021
，右下角坐标为
Figure 559028DEST_PATH_IMAGE022
，则位置重叠度计算公式：
Figure 955374DEST_PATH_IMAGE023
按此方法，计算出每一辆待关联车辆和已统计车辆列表中车辆间的位置重叠度。
进一步地，所述步骤六通过以下子步骤来实现：
（6.1）对某一辆待关联车辆，最大关联度值大于等于阈值
Figure 500756DEST_PATH_IMAGE024
，则认为该待关联车 辆在已统计车辆列表中找到了相关联车辆，说明该车已被统计，并在当前视频帧中被持续 跟踪到了，更新其在已统计车辆列表中的信息，更新车辆检测框信息bbox为车辆在当前帧 中的检测框信息，车辆检测框区域的Embedding_set为车辆在当前帧中的检测框区域的特 征向量集合信息，将视频序列帧号frame_id更新为当前视频帧序列号；其中阈值
Figure 615343DEST_PATH_IMAGE024
通过观 察一定量的连续视频帧，同一车辆在连续变化的帧间的关联度值和不同车辆之间的关联度 值，同一车辆的关联度值簇的中心点和不同车辆之间的关联度值簇的中心点的算术平均值 即可设置为阈值；
（6.2）对某一辆待关联车辆，最大关联度值小于阈值的则认为未关联上，该车第一次被检测到通过虚拟断面线，车流量统计数目N加1，新建变量C为该车的车辆信息，并将该车辆信息C添加至已统计车辆列表。
本发明的有益效果是，本发明提出一种高效准确的基于关联度量的车流量统计方法，采用深度学习的目标检测方法对运动车辆进行检测，通过对连续视频帧中的运动车辆进行关联度分析，实现对经过虚拟断面车辆的持续稳定跟踪，显著减少由于车辆换道、互相遮挡造成的车流量统计结果不准的问题。其实现方法简单高效，能有效的运用于广泛布设的视频摄像头的高速道路的交通监控，为交通管理精准决策提供可靠支撑。
附图说明
图1是本发明基于关联度量的车流量统计方法流程图。
图2是在高速道路杭向、甬向车道区域分别放置一条水平虚拟断面线示意图。
图3是基于目标检测模型检测出视频帧中的车辆，并过滤出外边框和虚拟断面线交叉的车辆示意图。
图4是杭向车道区域车辆car_39第一次被检测到通过杭向车道虚拟断面线示意图。
图5是杭向车道区域车辆car_39被持续跟踪经过杭向车道虚拟断面线示意图。
图6是高速道路杭向、甬向车道最近5分钟的车流量统计结果示意图。
具体实施方式
下面根据附图详细说明本发明，本发明的目的和效果将变得更加明白。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明提出了一种基于关联度量的车流量统计方法，包括以下步骤：
步骤一：根据沪杭甬高速道路路侧监控视频，在视频画面中的杭向车道区域无视觉遮挡部分设置一条水平虚拟断面线。虚拟线设置如图2所示。
步骤二：定义虚拟断面线在视频画面中的高度为H；定义一个已统计车辆列表 L，存储已经过虚拟断面线的车辆信息，初始化为空；定义一个变量C = {car_id，bbox，Embedding_set，frame_id}，表示一辆车的信息，其中car_id 表示车辆id，编号唯一；bbox表示车辆检测框位置，包含检测框的左上角坐标，检测框的右下角坐标；Embedding_set表示车辆检测框区域内所有子区域的特征向量的集合，一个车辆检测框区域根据车辆检测框的长宽比划分为多个子区域，每个子区域被ResNet50网络编码为特征向量；frame_id表示当前视频帧序列号，初始化为0，每过一帧，frame_id加1；定义车流量统计数目N，初始化为0。
步骤三：采用基于深度学习的目标检测方法检测出当前视频帧中的车辆，并过滤出车辆外边框和虚拟断面线交叉的车辆为待关联车辆，如图3所示。并对这些待关联车辆的检测框划分成多个子区域，并对每个子区域利用神经网络进行Embedding特征编码，将每个子区域编码为一个二进制的特征向量；
该步骤是本发明的核心，分为以下子步骤。
（3.1）将当前帧图像输入目标检测模型，检测出当前视频帧图像中的车辆。其中，目标检测模型基于CenterNet网络模型，通过采用高速道路车辆的标注数据进行训练，能准确稳定的检测出贴合车辆的矩形外边框。
（3.2）计算检测出的车辆的边框是否和虚拟断面线相交。假设一辆车的检测框位 置的左上角坐标为
Figure 347999DEST_PATH_IMAGE014
，右下角坐标为
Figure 864431DEST_PATH_IMAGE015
，若
Figure 580714DEST_PATH_IMAGE016
时，则认为该车辆和虚拟 断面线交叉，过滤出该车辆为待关联车辆。
（3.3）将待关联车辆按照车辆检测框的长宽比，将检测框区域划分为M=A*B个子区域，A表示垂直划分等份数，B表示水平划分等份数。其中，A，B表示如下：
Figure 182597DEST_PATH_IMAGE025
其中，
Figure 157375DEST_PATH_IMAGE010
表示垂直等分系数，取值为3，
Figure 528314DEST_PATH_IMAGE011
表示水平等分系数，取值为2，该取值和车 辆外形有关，车辆垂直方向可分为车头，车窗，车厢等部分，车辆水平方向大致对称，可分为 左右两部分。
（3.4）将每个子区域分别输入ResNet50网络，该网络已用大型数据集ImageNet训 练好了，且最后一层特征层维度已修改为256。该网络具备提取图像的浅层和深层特征的能 力，该网络的最后一层特征层即为该子区域的特征向量，将该特征向量中数值大于等于0.0 的编码为1，小于0.0的编码为0，转换为二进制向量。则一辆待关联车辆的检测框区域特征 编码描述为
Figure 415498DEST_PATH_IMAGE018
，其中
Figure 239098DEST_PATH_IMAGE003
为第i个子区域的二进制特征向量，维度为256。
步骤四：分别计算待关联车辆和已统计列表中车辆的位置重叠度和特征匹配度。
该步骤是本发明的核心，分为以下子步骤。
（4.1）分别计算待关联车辆和已统计车辆列表中车辆的检测框的位置重叠度。假 设某一待关联车辆检测框的左上角坐标为
Figure 751987DEST_PATH_IMAGE026
，右下角坐标为
Figure 977432DEST_PATH_IMAGE027
，某一已统计车 辆列表中的车辆边框的左上角坐标为
Figure 769939DEST_PATH_IMAGE028
，右下角坐标为
Figure 611993DEST_PATH_IMAGE029
，则位置重叠度计算公 式：
Figure 397415DEST_PATH_IMAGE030
按此方法，计算出每一辆待关联车辆和已统计车辆列表中车辆间的位置重叠度。
（4.2）分别计算待关联车辆和历史车辆列表中车辆的特征匹配度。
对任意一辆待关联车辆
Figure 477367DEST_PATH_IMAGE001
，其特征向量集合为
Figure 971933DEST_PATH_IMAGE002
，对任意一辆已 统计车辆列表中的车辆
Figure 770125DEST_PATH_IMAGE004
，其特征向量集合为
Figure 627747DEST_PATH_IMAGE005
，对任一
Figure 562205DEST_PATH_IMAGE006
，采用暴力 匹配法，计算其和Q中所有子区域的特征向量的Hamming距离。其Hamming距离为两个二进制 特征向量的不同位的个数。按照
Figure 227673DEST_PATH_IMAGE007
和Q间所有子区域的的Hamming距离大小进行排序，返回Q 中和
Figure 513161DEST_PATH_IMAGE007
距离最小的两个最近邻匹配，并计算最小距离和次小距离的比率，若比率满足小于 某比率阈值
Figure 905965DEST_PATH_IMAGE008
，按经验，
Figure 960508DEST_PATH_IMAGE008
一般可以设成1/2，说明这两个最近邻匹配区别足够大，则认为距离 最近的子区域是
Figure 796877DEST_PATH_IMAGE007
的正确匹配，生成一组子区域匹配对。否则，不生成子区域匹配对。
对集合P中所有的子区域匹配完毕后，统计正确匹配的组数，并计算车辆
Figure 304082DEST_PATH_IMAGE031
和
Figure 766156DEST_PATH_IMAGE004
的 特征匹配度。特征匹配度的计算公式为：
特征匹配度（
Figure 940786DEST_PATH_IMAGE032
，
Figure 682477DEST_PATH_IMAGE004
）= 正确匹配的子区域匹配对组数 / 集合P中子区域总数
按此方法，计算出每一辆待关联车辆和已统计车辆列表中车辆间的特征匹配度。
步骤五：融合位置重叠度和特征匹配度这两个度量因子，对每一辆待关联车辆，计算其和已统计列表中的车辆的关联度。关联度计算公式为：
关联度= 位置重叠度*λ + 特征匹配度*（1-λ）
其中λ按实际视频数据设定为0.6。在沪杭甬高速道路监控视频中车辆前后帧运动确定性较高，通过车辆位置重叠度能有效关联前后帧的车辆，且融合特征匹配度能很好的减少车辆变道或相互遮挡带来的目标丢失问题，有效关联前后帧的车辆。
步骤六：对关联度的最大值大于等于阈值的待关联车辆，更新其在已统计车辆列表中的信息；对关联度的最大值小于阈值的，车流量统计数目加1，并将其添加至已统计车辆列表。
该步骤是本发明的核心，分为以下子步骤。
（6.1）对某一辆待关联车辆，最大关联度值大于等于阈值
Figure 942557DEST_PATH_IMAGE024
，阈值
Figure 411584DEST_PATH_IMAGE024
通过观察一 定量的连续视频帧，同一车辆在连续变化的帧间的关联度值和不同车辆之间的关联度值， 同一车辆的关联度值簇的中心点和不同车辆之间的关联度值簇的中心点的算术平均值即 可设置为阈值；此处根据实际数据分析结果设置阈值为0.5，则认为该待关联车辆在已统计 车辆列表中找到了相关联车辆，说明该车已被统计，并在当前视频帧中被持续跟踪到了。更 新其在已统计车辆列表中的信息，更新车辆检测框信息bbox为车辆在当前帧中的检测框信 息，车辆检测框区域的特征点Embedding_set为车辆在当前帧中的检测框区域的特征向量 集合信息，将视频序列帧号frame_id更新为当前视频帧序列号。
（6.2）对关联度小于阈值的则认为未关联上，该车第一次被检测到通过该虚拟断面线，车流量统计数目N加1，新建变量C为该车的车辆信息，并将该车辆信息C添加至已统计车辆列表。
杭向车道区域车辆car_39被持续跟踪效果如图4和图5所示。图4是杭向车道区域车辆car_39第一次被检测到通过杭向虚拟断面线。图5是杭向车道区域车辆car_39最后一次被检测通过杭向虚拟断面线。
步骤七：将已统计车辆列表中视频序列号和当前视频帧序列号差值大于M的车辆删除，其目的在于减少关联搜索空间，认为M帧前的车辆已驶离虚拟断面线；其中M值和当前监控视频中车辆大小相关，通过观测车辆从到达虚拟断面线至驶离虚拟断面线所经历的最长视频帧数得到；M可设置为10。
步骤八：重复步骤三~步骤七，直至待统计车流量视频结束。
杭向车道区域车辆最近5分钟车流量统计结果如图6所示。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (5)

1.一种基于关联度量的车流量统计方法，其特征在于，该方法包括以下步骤：
步骤一：根据高速道路路侧监控视频，在视频画面中的单向车道区域无视觉遮挡部分设置一条水平虚拟断面线；
步骤二：定义虚拟断面线在视频画面中的高度为H；定义一个已统计车辆列表 L，存储已经过虚拟断面线的车辆信息，初始化为空；定义一个变量C = {car_id，bbox，Embedding_set，frame_id}，表示一辆车的信息，其中car_id 表示车辆id，编号唯一；bbox表示车辆检测框位置，包含检测框的左上角坐标，检测框的右下角坐标；Embedding_set表示车辆检测框区域内所有子区域的特征向量的集合，一个车辆检测框区域根据车辆检测框的长宽比划分为多个子区域，每个子区域被ResNet50网络编码为特征向量；frame_id表示当前视频帧序列号，初始化为0，每过一帧，frame_id加1；定义车流量统计数目N，初始化为0；
步骤三：采用基于深度学习的目标检测方法检测出当前视频帧中的车辆，并过滤出车辆外边框和虚拟断面线交叉的车辆为待关联车辆，并对这些待关联车辆的检测框划分成多个子区域，并对每个子区域利用神经网络进行Embedding特征编码，将每个子区域编码为一个二进制的特征向量；
步骤四：分别计算待关联车辆和已统计车辆列表中车辆的特征匹配度和位置重叠度； 特征匹配度计算方法具体为：对任意一辆待关联车辆
Figure DEST_PATH_IMAGE001
，其特征向量集合为
Figure 258900DEST_PATH_IMAGE002
，
Figure DEST_PATH_IMAGE003
为第i个子区域的二进制特征向量，对任意一辆已统计车辆列表中 的车辆
Figure 261491DEST_PATH_IMAGE004
，其特征向量集合为
Figure DEST_PATH_IMAGE005
，对任一
Figure 253717DEST_PATH_IMAGE006
，采用暴力匹配法，计算其 和Q中所有子区域的特征向量的Hamming距离；其Hamming距离为两个二进制特征向量的不 同位的个数；按照
Figure DEST_PATH_IMAGE007
和Q间所有子区域的Hamming距离大小进行排序，返回Q中和
Figure 634627DEST_PATH_IMAGE007
距离最小 的两个最近邻匹配，并计算次小距离和最小距离的比率，若比率满足大于某比率阈值
Figure DEST_PATH_IMAGE009
，说 明这两个最近邻匹配区别足够大，则认为距离最近的子区域是
Figure 141831DEST_PATH_IMAGE007
的正确匹配，生成一组子 区域匹配对；否则，不生成子区域匹配对；
对集合P中所有的子区域匹配完毕后，统计正确匹配的组数，并计算车辆
Figure 416955DEST_PATH_IMAGE001
和
Figure 263688DEST_PATH_IMAGE004
的特征 匹配度；特征匹配度的计算公式为：
特征匹配度（
Figure 864434DEST_PATH_IMAGE001
，
Figure 593355DEST_PATH_IMAGE004
）= 正确匹配的子区域匹配对组数 / 集合P中子区域总数
按此方法，计算出每一辆待关联车辆和已统计车辆列表中车辆间的特征匹配度；
步骤五：融合位置重叠度和特征匹配度这两个度量因子，对每一辆待关联车辆，计算其和已统计车辆列表中的车辆的关联度；关联度计算公式为：
关联度= 位置重叠度*λ + 特征匹配度*（1-λ）
其中λ为这两个度量因子的融合超参数，按实际具体的视频数据设定；
步骤六：步骤五中计算得到的关联度的最大值大于等于阈值的待关联车辆，说明其和已统计车辆列表中的车辆关联上了，该车已被统计，更新其在已统计车辆列表中的信息；对关联度的最大值小于阈值的，新建变量C，生成其车辆信息，并将其添加至已统计车辆列表，车流量统计数目N加1；
步骤七：将已统计车辆列表中视频序列号和当前视频帧序列号差值大于M的车辆删除，认为M帧前的车辆已驶离虚拟断面线；其中M值和当前监控视频中车辆大小相关，通过观测车辆从到达虚拟断面线至驶离虚拟断面线所经历的最长视频帧数得到；
步骤八：重复步骤三~步骤七，直至待车流量统计视频结束。
2.根据权利要求1所述的一种基于关联度量的车流量统计方法，其特征在于，根据车辆 检测框的长宽比划分为多个子区域具体过程为：假设一辆车的检测框位置的左上角坐标为
Figure 875432DEST_PATH_IMAGE010
，右下角坐标为
Figure DEST_PATH_IMAGE011
，按照车辆检测框的长宽比，将检测框区域划分为M=A*B个 子区域，A表示垂直划分等份数，B表示水平划分等份数；其中，A，B表示如下：
Figure 638989DEST_PATH_IMAGE012
其中，
Figure DEST_PATH_IMAGE013
表示垂直等分系数，
Figure 613898DEST_PATH_IMAGE014
表示水平等分系数，
Figure DEST_PATH_IMAGE015
，
Figure 830116DEST_PATH_IMAGE016
，且均为正整数，系数 和车辆外形特点相关。
3.根据权利要求1所述的一种基于关联度量的车流量统计方法，其特征在于，所述步骤三通过以下子步骤来实现：
（3.1）将当前帧图像输入目标检测模型，检测出当前视频帧图像中的车辆；其中，目标检测模型基于CenterNet网络模型，通过采用高速道路车辆的标注数据进行训练，能准确稳定的检测出贴合车辆的矩形外边框；
（3.2）计算检测出的车辆的矩形外边框是否和虚拟断面线相交；假设一辆车的检测框 位置的左上角坐标为
Figure DEST_PATH_IMAGE017
，右下角坐标为
Figure 165151DEST_PATH_IMAGE018
，若
Figure DEST_PATH_IMAGE019
时，则认为该车辆和虚 拟断面线交叉，过滤出该车辆为待关联车辆；
（3.3）将待关联车辆根据车辆检测框的长宽比划分为多个子区域，每个子区域分别输 入ResNet50网络，所述ResNet50网络通过数据集ImageNet训练完成，且将最后一层特征层 维度修改为K，则最后一层特征层即为该子区域的特征向量，将该特征向量中数值大于等于
Figure 783214DEST_PATH_IMAGE020
的编码为1，小于
Figure 929025DEST_PATH_IMAGE020
的编码为0，
Figure 366959DEST_PATH_IMAGE020
设为0，从而将其转换为二进制向量；则一辆待关联车 辆的检测框区域特征向量集合描述为
Figure DEST_PATH_IMAGE021
，其中
Figure 53156DEST_PATH_IMAGE003
为第i个子区域的二进制特征 向量，维度为K，K取2的指数。
4.根据权利要求1所述的一种基于关联度量的车流量统计方法，其特征在于，所述步骤 四中，位置重叠度计算方法具体为；假设某一待关联车辆检测框的左上角坐标为
Figure 728988DEST_PATH_IMAGE022
， 右下角坐标为
Figure DEST_PATH_IMAGE023
，某一已统计车辆列表中的车辆边框的左上角坐标为
Figure 108016DEST_PATH_IMAGE024
，右下角 坐标为
Figure DEST_PATH_IMAGE025
，则位置重叠度计算公式：
Figure 236509DEST_PATH_IMAGE026
按此方法，计算出每一辆待关联车辆和已统计车辆列表中车辆间的位置重叠度。
5.根据权利要求1所述的一种基于关联度量的车流量统计方法，其特征在于，所述步骤六通过以下子步骤来实现：
（6.1）对某一辆待关联车辆，最大关联度值大于等于阈值
Figure DEST_PATH_IMAGE027
，则认为该待关联车辆在 已统计车辆列表中找到了相关联车辆，说明该车已被统计，并在当前视频帧中被持续跟踪 到了，更新其在已统计车辆列表中的信息，更新车辆检测框信息bbox为车辆在当前帧中的 检测框信息，车辆检测框区域的Embedding_set为车辆在当前帧中的检测框区域的特征向 量集合信息，将视频序列帧号frame_id更新为当前视频帧序列号；其中阈值
Figure 726397DEST_PATH_IMAGE027
通过观察一 定量的连续视频帧，同一车辆在连续变化的帧间的关联度值和不同车辆之间的关联度值， 同一车辆的关联度值簇的中心点和不同车辆之间的关联度值簇的中心点的算术平均值即 可设置为阈值；
（6.2）对某一辆待关联车辆，最大关联度值小于阈值的则认为未关联上，该车第一次被检测到通过虚拟断面线，车流量统计数目N加1，新建变量C为该车的车辆信息，并将该车辆信息C添加至已统计车辆列表。
CN202110708750.4A 2021-06-25 2021-06-25 一种基于关联度量的车流量统计方法 Active CN113257005B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110708750.4A CN113257005B (zh) 2021-06-25 2021-06-25 一种基于关联度量的车流量统计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110708750.4A CN113257005B (zh) 2021-06-25 2021-06-25 一种基于关联度量的车流量统计方法

Publications (2)

Publication Number Publication Date
CN113257005A CN113257005A (zh) 2021-08-13
CN113257005B true CN113257005B (zh) 2021-12-10

Family

ID=77189706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110708750.4A Active CN113257005B (zh) 2021-06-25 2021-06-25 一种基于关联度量的车流量统计方法

Country Status (1)

Country Link
CN (1) CN113257005B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114333356B (zh) * 2021-11-30 2023-12-15 中交第二公路勘察设计研究院有限公司 基于视频多区域标记的道路平面交叉口交通量统计方法
CN116129653B (zh) * 2023-04-17 2023-07-07 创意信息技术股份有限公司 卡口车辆检测方法、装置、设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292297A (zh) * 2017-08-09 2017-10-24 电子科技大学 一种基于深度学习和重叠率跟踪的视频车流量检测方法
CN108364466B (zh) * 2018-02-11 2021-01-26 金陵科技学院 一种基于无人机交通视频的车流量统计方法
CN110111565A (zh) * 2019-04-18 2019-08-09 中国电子科技网络信息安全有限公司 一种基于实时视频流下的人车流量统计系统与方法
CN110472496B (zh) * 2019-07-08 2022-10-11 长安大学 一种基于目标检测与跟踪的交通视频智能分析方法
CN110443142B (zh) * 2019-07-08 2022-09-27 长安大学 一种基于路面提取与分割的深度学习车辆计数方法
CN111554105B (zh) * 2020-05-29 2021-08-03 浙江科技学院 一种复杂交通路口的智能流量识别与统计方法
CN111932908B (zh) * 2020-08-05 2021-07-23 浙江工业大学 一种基于深度学习的转向比及车流量统计方法

Also Published As

Publication number Publication date
CN113257005A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN110610271B (zh) 一种基于长短记忆网络的多重车辆轨迹预测方法
CN113257005B (zh) 一种基于关联度量的车流量统计方法
CN109459045B (zh) 一种针对低频gps轨迹的改进交互式投票匹配方法
CN110400332A (zh) 一种目标检测跟踪方法、装置及计算机设备
Völz et al. Feature relevance estimation for learning pedestrian behavior at crosswalks
CN111554105B (zh) 一种复杂交通路口的智能流量识别与统计方法
CN115995063A (zh) 作业车辆检测与跟踪方法和系统
CN108241819B (zh) 路面标记的识别方法及装置
CN111524350B (zh) 车路协同异常行驶状况检测方法、系统、终端设备及介质
CN104299243A (zh) 一种基于霍夫森林的目标跟踪方法
CN112818935B (zh) 基于深度学习的多车道拥堵检测及持续时间预测方法及系统
CN109740609A (zh) 一种轨距检测方法及装置
Zhang et al. Vehicle re-identification for lane-level travel time estimations on congested urban road networks using video images
CN114372503A (zh) 一种集群车辆运动轨迹预测方法
CN114926984B (zh) 一种实时交通冲突收集与道路安全评价方法
CN117372969B (zh) 一种面向监控场景的异常事件检测方法
CN113870312B (zh) 基于孪生网络的单目标跟踪方法
CN113516853B (zh) 一种针对复杂监控场景的多车道车流量检测方法
CN117456482B (zh) 一种面向交通监控场景的异常事件识别方法及系统
CN113092807B (zh) 基于多目标跟踪算法的城市高架道路车辆测速方法
CN107103268A (zh) 一种目标跟踪方法和装置
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN114463720B (zh) 一种基于线段交并比损失函数的车道线检测方法
CN114937060A (zh) 一种地图语义引导的单目行人室内定位预测方法
CN113901932A (zh) 融合人工鱼与粒子群算法的工程机械图像识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant