CN112100435A - 一种基于边缘端交通音视频同步样本的自动标注方法 - Google Patents

一种基于边缘端交通音视频同步样本的自动标注方法 Download PDF

Info

Publication number
CN112100435A
CN112100435A CN202010939383.4A CN202010939383A CN112100435A CN 112100435 A CN112100435 A CN 112100435A CN 202010939383 A CN202010939383 A CN 202010939383A CN 112100435 A CN112100435 A CN 112100435A
Authority
CN
China
Prior art keywords
vehicle
video
gaussian
target vehicle
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010939383.4A
Other languages
English (en)
Other versions
CN112100435B (zh
Inventor
郭军
王馨悦
刘韬
闫永明
刘艳伟
李晨光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Dixin Artificial Intelligence Industry Research Institute Co ltd
Original Assignee
Shenyang Dixin Artificial Intelligence Industry Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Dixin Artificial Intelligence Industry Research Institute Co ltd filed Critical Shenyang Dixin Artificial Intelligence Industry Research Institute Co ltd
Priority to CN202010939383.4A priority Critical patent/CN112100435B/zh
Publication of CN112100435A publication Critical patent/CN112100435A/zh
Application granted granted Critical
Publication of CN112100435B publication Critical patent/CN112100435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种基于边缘端交通音视频同步样本的自动标注方法，涉及智能交通及边缘计算技术领域。该方法首先在边缘计算设备上连接麦克风和摄像头，同步采集高速公路交通音频和视频数据并存储；再采用基于混合高斯模型的背景差分法和简单在线实时跟踪算法相结合的车辆检测跟踪计数方法，统计高速公路交通视频数据中的交通流量；最后用高速公路交通视频中车流量的统计结果给同步的高速公路交通音频数据做标签，并将音频数据的文件名和车流量的统计结果写入到文件中，生成高速公路交通流量音频样本。该方法采用音视频结合的方式，用视频给音频作标签，避免了现有的视频监测方法存在摄像头受外界环境影响大、图像处理计算量大等问题。

Description

一种基于边缘端交通音视频同步样本的自动标注方法
技术领域
本发明涉及边缘计算技术领域，尤其涉及一种基于边缘端交通音视频同步样本的自动标注方法。
背景技术
近年来，随着大数据、云计算、人工智能技术的飞速发展，互联网产业正处在变革之中，传统云计算面临带宽和延迟两大问题时，边缘计算应运而生。在边缘计算中，由于带宽和能耗问题，不同类型的物联网设备生成的海量数据可以在网络边缘进行处理，而不是传输到集中式云基础设施，而随着边缘计算技术的发展，也越来越广泛应用于智慧交通领域。
目前高速公路交通监测常用方法有环形线圈检测，电磁波感应检测和视频检测等。随着图像处理技术、模式识别、机器学习和深度学习算法的不断发展，计算机数据处理能力的提高，基于视频检测的高速公路交通异常分析方法逐渐成为当前智能交通领域研究的主流方法。
但是上述方法中电磁感应线圈检测有易损坏、破坏路面的缺点；视频检测方法受环境影响大，在一些条件下视频检测会失效，如在雾霾，沙尘等极端天气条件和火灾引起的浓烟环境下，视频设备拍摄的画面不清或者无效；当前与高速公路上车辆有关的音频数据集比较少，而且在高速公路环境下音频数据采集难度非常大。
此外，边缘计算设备所处的环境不同造成高速公路交通音频样本差异较大，每个边缘端都需要根据具体环境特点建立个性化的分析模型，然而为每一个边缘计算设备采集和标注高速公路交通流量音频样本需要耗费的时间和人力资源很大，缺乏可操作性。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于边缘端交通音视频同步样本的自动标注方法，实现对基于边缘端交通音视频同步样本进行自动标注。
为解决上述技术问题，本发明所采取的技术方案是：一种基于边缘端交通音视频同步样本的自动标注方法，包括以下步骤：
步骤1：在边缘计算设备上连接安装麦克风和摄像头，同步采集高速公路交通音频和视频数据并存储；
步骤2：采用基于混合高斯模型的背景差分法和简单在线实时跟踪算法(SimpleOnline and Realtime Tracking，即SORT)相结合的车辆检测跟踪计数方法，统计高速公路交通视频数据中的交通流量，具体方法为：
步骤2.1：采用基于混合高斯模型的背景差分法对采集的视频数据进行车辆检测；
步骤2.1.1：边缘计算设备采集的高速公路交通视频图像中每个像素点的观测值相互独立，对高速公路交通视频图像中的每一个像素点分别用含有N个高斯分布的混合高斯模型来建立高速公路交通图像背景模型；
所述视频图像中像素点j在t时刻的混合高斯模型P(xj)如下公式所示：
Figure BDA0002673102580000021
Figure BDA0002673102580000022
其中，N为混合高斯模型中高斯分布的个数，
Figure BDA0002673102580000023
表示像素点j在t时刻第i个高斯分布的权重系数，η()表示高斯分布概率密度函数，xj表示像素点j在t时刻的取值，
Figure BDA0002673102580000024
和
Figure BDA0002673102580000025
分别表示像素点j在t时刻第i个高斯分布的均值向量和协方差矩阵，d是xj向量的维度；
步骤2.1.2：用高速公路交通视频的第一帧图像的像素值初始化混合高斯模型，将混合高斯模型中的第一个高斯分布的均值赋值为第一帧图像的像素值，权重值赋值为1，第一个以外的高斯分布的均值和权重值都初始化为0；
步骤2.1.3：在t时刻，将高速公路交通视频图像中的像素值Xt同当前的N个高斯分布的均值进行比较，找到与高速公路交通视频图像中像素值Xt匹配的高斯分布，并对混合高斯模型中的参数进行更新；
所述找到与高速公路交通视频图像中像素值Xt匹配的高斯分布模型，即使高速公路交通视频图像中的像素值Xt与高斯分布的均值满足以下关系式：
Figure BDA0002673102580000026
其中，Xt表示为t时刻高速公路交通视频图像中的像素值，
Figure BDA0002673102580000027
表示为t-1时刻第i个高斯分布的均值，
Figure BDA0002673102580000028
表示为t-1时刻第i个高斯分布的标准差；
如果t时刻的像素值Xt与混合高斯分布模型中的任一高斯分布均不匹配时，则删除权重最小的高斯分布，加入一个新的高斯分布；
如果t时刻的像素值Xt与混合高斯分布模型中的至少一个高斯分布匹配时：
若Xt与第i个高斯分布匹配，则该高斯分布的参数按照如下公式进行更新：
Figure BDA0002673102580000029
Figure BDA0002673102580000031
Figure BDA0002673102580000032
其中，ρ表示为高斯分布参数的更新速率，α表示为学习速率，
Figure BDA0002673102580000033
表示为t时刻的像素值Xt的高斯分布概率，
Figure BDA0002673102580000034
和
Figure BDA0002673102580000035
分别表示为t和t-1时刻混合高斯模型中第i个高斯分布的均值，
Figure BDA0002673102580000036
和
Figure BDA0002673102580000037
分别表示为t和t-1时刻混合高斯模型中第i个高斯分布的方差；
若Xt与第i个高斯分布不匹配，则该高斯分布的均值和标准差不变；
步骤2.1.4：更新混合高斯模型中各高斯分布的权重系数，并将各高斯分布的权重值进行归一化；
所述更新混合高斯模型中各高斯分布的权重系数，如下公式所示：
Figure BDA0002673102580000038
Figure BDA0002673102580000039
其中，
Figure BDA00026731025800000310
和
Figure BDA00026731025800000311
分别表示为t和t-1时刻混合高斯模型中第i个高斯分布的权重系数；
步骤2.1.5：将构建的高速公路交通图像背景模型中的N个高斯分布根据权重和标准差之比ω/σ由大到小排序；
步骤2.1.6：从步骤2.1.5所得排序中选择前B个高斯分布作为背景模型，且B满足如下公式：
Figure BDA00026731025800000312
其中，T表示为高速公路交通视频图像背景占整个高速公路交通视频图像的比例；
步骤2.1.7：将t时刻边缘计算设备拍摄的高速公路视频图像中的所有像素值与t时刻得到的前B个高斯分布进行匹配：
若某像素值与前B个高斯分布某一个分布匹配，则该像素为高速公路交通图像的背景点；
若某像素值与前B个高斯分布均不匹配，则该像素为高速公路交通图像的前景点；
步骤2.1.8：根据t时刻边缘计算设备拍摄的高速公路图像中的前景点检测车辆的轮廓，并用矩形轮廓将车辆标识出来，车辆的矩形轮廓表示如公式：
BBox＝[x,y,x+w,y+h] (10)
其中，BBox表示车辆的矩形轮廓，x为矩形轮廓的左边界，y为矩形轮廓的右边界，w为矩形轮廓的宽度，h为矩形轮廓的高度；
步骤2.2：利用简单在线实时跟踪(Simple Online and Realtime Tracking,即SORT)算法对高速公路上的车辆进行实时跟踪；
步骤2.2.1：使用高速公路交通视频的第一帧图像中检测到的车辆轮廓创建并初始化车辆跟踪器，并初始化车辆跟踪器中每个目标车辆的状态信息state；
所述车辆跟踪器中每个目标车辆的状态建模表示为如下公式所示：
state＝[x',y',s,r,vx,vy,vs] (11)
其中，x'表示为目标车辆中心点的水平坐标，y'表示为目标车辆中心点的垂直坐标，s表示为目标车辆边界框面积，r表示为目标车辆边界框纵横比，vx表示为目标车辆运动速度在水平方向上的分量，vy表示为目标车辆运动速度在垂直方向上的分量，vs表示为目标车辆边界框的面积变化率；
步骤2.2.2：用t时刻之后的高速公路交通视频图像中的车辆轮廓更新车辆跟踪器；
步骤2.2.2.1：预测车辆跟踪器中每个目标车辆t时刻的状态和卡尔曼估计误差协方差矩阵，公式如下：
Figure BDA0002673102580000041
Figure BDA0002673102580000042
其中，
Figure BDA0002673102580000043
表示t时刻的目标车辆状态预测向量，F表示目标状态转移矩阵，statet-1表示t-1时刻的目标车辆的状态向量，B'表示增益矩阵，ut表示t时刻的目标车辆矩阵，
Figure BDA0002673102580000044
表示t时刻预测的目标车辆的卡尔曼估计误差协方差矩阵，FT表示目标车辆的状态转移矩阵的转置矩阵，Pt-1表示t-1时刻状态转移误差协方差矩阵，Q表示状态噪声协方差矩阵；
步骤2.2.2.2：将t时刻车辆跟踪器中目标车辆的预测状态转换成目标车辆的矩形轮廓，并计算其和t时刻高速公路交通视频检测到的车辆矩形轮廓的IOU(IntersectionOver Union，即交并比)矩阵，得到当前帧的多个车辆检测框与车辆跟踪器中多个目标车辆的矩形轮廓的IOU矩阵；
步骤2.2.2.3：利用匈牙利指派算法得到最大匹配的IOU组合索引对；
步骤2.2.2.4：对最大匹配的IOU组合索引对进行筛选，去掉小于IOU阈值的索引对；
步骤2.2.2.5：根据车辆检测框和车辆跟踪器中目标车辆的匹配关系，将车辆检测框和车辆跟踪器中目标分为三个数组，分别为车辆检测框和车辆跟踪器中目标匹配数组、不匹配车辆检测框目标数组和不匹配车辆跟踪器目标数组；
对于车辆检测框和车辆跟踪器中目标匹配数组，用车辆检测框更新车辆跟踪器中目标状态，并计算卡尔曼增益系数，修正车辆跟踪器中目标车辆的状态和卡尔曼估计误差协方差矩阵，公式如下：
Figure BDA0002673102580000051
Figure BDA0002673102580000052
Figure BDA0002673102580000053
其中，Kt表示t时刻的卡尔曼增益系数，H和HT表示目标车辆的状态观测矩阵及其转置矩阵，R表示观测噪声协方差矩阵，
Figure BDA0002673102580000054
表示t时刻目标车辆的修正状态预测向量，Yt表示t时刻目标车辆的状态观测向量，即与该目标车辆匹配的车辆检测框信息，
Figure BDA0002673102580000055
表示t时刻目标车辆的卡尔曼估计误差协方差的修正矩阵，I表示单位矩阵；
对于不匹配车辆检测框目标数组，若车辆跟踪器中没有目标车辆与车辆检测框匹配，则为车辆检测框创建和初始化新的车辆跟踪器，并用卡尔曼滤波初始化目标车辆的状态信息；
对于不匹配车辆跟踪器目标数组，若连续T帧都没有车辆检测框与车辆跟踪器中目标车辆匹配，则该目标车辆消失，从车辆跟踪器中移除该目标车辆；
步骤2.2.3：将车辆跟踪器中每个目标车辆的状态转换为如下公式表示：
track＝[x,y,x+w,y+h,id] (17)
其中，track为车辆跟踪器中目标车辆的状态，id为车辆跟踪器中目标车辆的标识符；
步骤2.3：根据各帧的车辆跟踪器中目标车辆的标识符，统计高速公路交通视频中车流量；
步骤2.3.1：比较相邻帧的车辆跟踪器，若当前帧的车辆跟踪器中的目标车辆标识符id存在于前一帧跟踪器中，则此目标车辆为同一辆车；
步骤2.3.2：连接当前帧目标车辆下边框中心点和前一帧目标车辆下边框中心点；
步骤2.3.3：判断步骤2.3.2所得连接线与视频中的计数线是否相交，如果相交，则车辆计数器加一；否则执行步骤2.3.4；
步骤2.3.4：重复执行步骤2.3.1-2.3.3，直到视频结束，完成高速公路交通视频中车流量的统计；
步骤3：用高速公路交通视频中车流量的统计结果给同步的高速公路交通音频数据做标签，并将音频数据的文件名和车流量的统计结果写入到文件中，生成高速公路交通流量音频样本。
采用上述技术方案所产生的有益效果在于：本发明提供的一种基于边缘端交通音视频同步样本的自动标注方法，采用音视频结合的方式，用视频给音频作标签，避免了现有的视频监测方法存在摄像头受外界环境影响大、图像处理计算量大、网络传输带宽压力大和数据缺乏时空关系等问题，充分考虑了边缘计算设备的存储和计算能力，解决了面向特定边缘端的音频数据样本的个性化标注问题，减少了人工标注样本的作业量，同时适应样本多样性。
附图说明
图1为本发明实施例提供的一种基于边缘端交通音视频同步样本的自动标注方法的流程图；
图2为本发明实施例提供的边缘计算设备简易连接图；
图3为本发明实施例提供的高速公路交通视频原图；
图4为本发明实施例提供的背景差分效果图；
图5为本发明实施例提供的车辆轮廓标注图；
图6为本发明实施例提供的基于视频的高速公路交通流量计数可视化图；
图7为本发明实施例提供的高速公路交通流量计数结果图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本实施例以树莓派3Model B作为边缘计算设备，采用本发明的一种基于边缘端交通音视频同步样本的自动标注方法对采集的某高速公路交通音频和视频数据进行标注。
一种基于边缘端交通音视频同步样本的自动标注方法，如图1所示，包括以下步骤：
步骤1：在边缘计算设备上连接安装麦克风和摄像头，同步采集高速公路交通音频和视频数据并存储；
步骤2：采用基于混合高斯模型的背景差分法和简单在线实时跟踪算法(SimpleOnline and Realtime Tracking，即SORT)相结合的车辆检测跟踪计数方法，统计高速公路交通视频数据中的交通流量，具体方法为：
步骤2.1：采用基于混合高斯模型的背景差分法对采集的视频数据进行车辆检测；
步骤2.1.1：边缘计算设备采集的高速公路交通视频图像中每个像素点的观测值相互独立，对高速公路交通视频图像中的每一个像素点分别用含有N个高斯分布的混合高斯模型来建立高速公路交通图像背景模型；
所述视频图像中像素点j在t时刻的混合高斯模型P(xj)如下公式所示：
Figure BDA0002673102580000071
Figure BDA0002673102580000072
其中，N为混合高斯模型中高斯分布的个数，一般取值为3～5，
Figure BDA0002673102580000073
表示像素点j在t时刻第i个高斯分布的权重系数，η()表示高斯分布概率密度函数，xj表示像素点j在t时刻的取值，
Figure BDA0002673102580000074
和
Figure BDA0002673102580000075
分别表示像素点j在t时刻第i个高斯分布的均值向量和协方差矩阵，d是xj向量的维度，因为高速公路交通图像的像素为RGB三通道，所以d＝3；
步骤2.1.2：用高速公路交通视频的第一帧图像的像素值初始化混合高斯模型，将混合高斯模型中的第一个高斯分布的均值赋值为第一帧图像的像素值，权重值赋值为1，第一个以外的高斯分布的均值和权重值都初始化为0；
步骤2.1.3：为了使高速公路交通图像中的背景模型鲁棒性更强，需要在t时刻，将高速公路交通视频图像中的像素值Xt同当前的N个高斯分布的均值进行比较，找到与高速公路交通视频图像中像素值Xt匹配的高斯分布，并对混合高斯模型中的参数进行更新；
所述找到与高速公路交通视频图像中像素值Xt匹配的高斯分布模型，即使高速公路交通视频图像中的像素值Xt与高斯分布的均值满足以下关系式：
Figure BDA0002673102580000076
其中，Xt表示为t时刻高速公路交通视频图像中的像素值，
Figure BDA0002673102580000077
表示为t-1时刻第i个高斯分布的均值，
Figure BDA0002673102580000078
表示为t-1时刻第i个高斯分布的标准差；
如果t时刻的像素值Xt与混合高斯分布模型中的任一高斯分布均不匹配时，则删除权重最小的高斯分布，加入一个新的高斯分布；
如果t时刻的像素值Xt与混合高斯分布模型中的至少一个高斯分布匹配时：
若Xt与第i个高斯分布匹配，则该高斯分布的参数按照如下公式进行更新：
Figure BDA0002673102580000079
Figure BDA00026731025800000710
Figure BDA00026731025800000711
其中，ρ表示为高斯分布参数的更新速率，α表示为学习速率，由用户指定，
Figure BDA0002673102580000081
表示为t时刻的像素值Xt的高斯分布概率，
Figure BDA0002673102580000082
和
Figure BDA0002673102580000083
分别表示为t和t-1时刻混合高斯模型中第i个高斯分布的均值，
Figure BDA0002673102580000084
和
Figure BDA0002673102580000085
分别表示为t和t-1时刻混合高斯模型中第i个高斯分布的方差；
若Xt与第i个高斯分布不匹配，则该高斯分布的均值和标准差不变；
步骤2.1.4：更新混合高斯模型中各高斯分布的权重系数，并将各高斯分布的权重值进行归一化；
所述更新混合高斯模型中各高斯分布的权重系数，如下公式所示：
Figure BDA0002673102580000086
Figure BDA0002673102580000087
其中，
Figure BDA0002673102580000088
和
Figure BDA0002673102580000089
分别表示为t和t-1时刻混合高斯模型中第i个高斯分布的权重系数；
步骤2.1.5：将构建的高速公路交通图像背景模型中的N个高斯分布根据权重和标准差之比ω/σ由大到小排序；
步骤2.1.6：从步骤2.1.5所得排序中选择前B个高斯分布作为背景模型，且B满足如下公式：
Figure BDA00026731025800000810
其中，T表示为高速公路交通视频图像背景占整个高速公路交通视频图像的比例；
步骤2.1.7：将t时刻边缘计算设备拍摄的高速公路视频图像中的所有像素值与t时刻得到的前B个高斯分布进行匹配：
若某像素值与前B个高斯分布某一个分布匹配，则该像素为高速公路交通图像的背景点；
若某像素值与前B个高斯分布均不匹配，则该像素为高速公路交通图像的前景点；
步骤2.1.8：根据t时刻边缘计算设备拍摄的高速公路图像中的前景点检测车辆的轮廓，并用矩形轮廓将车辆标识出来，车辆的矩形轮廓表示如公式：
BBox＝[x,y,x+w,y+h] (10)
其中，BBox表示车辆的矩形轮廓，x为矩形轮廓的左边界，y为矩形轮廓的右边界，w为矩形轮廓的宽度，h为矩形轮廓的高度；
步骤2.2：利用简单在线实时跟踪(Simple Online and Realtime Tracking,即SORT)算法对高速公路上的车辆进行实时跟踪；
步骤2.2.1：将步骤2.1所得结果作为输入，在进行高速公路车辆跟踪时，使用高速公路交通视频的第一帧图像中检测到的车辆轮廓创建并初始化车辆跟踪器，并初始化车辆跟踪器中每个目标车辆的状态信息state；
所述车辆跟踪器中每个目标车辆的状态建模表示为如下公式所示：
state＝[x',y',s,r,vx,vy,vs] (11)
其中，x'表示为目标车辆中心点的水平坐标，y'表示为目标车辆中心点的垂直坐标，s表示为目标车辆边界框面积，r表示为目标车辆边界框纵横比，vx表示为目标车辆运动速度在水平方向上的分量，vy表示为目标车辆运动速度在垂直方向上的分量，vs表示为目标车辆边界框的面积变化率；
步骤2.2.2：用t时刻之后的高速公路交通视频图像中的车辆轮廓更新车辆跟踪器；
步骤2.2.2.1：预测车辆跟踪器中每个目标车辆t时刻的状态和卡尔曼估计误差协方差矩阵，公式如下：
Figure BDA0002673102580000091
Figure BDA0002673102580000092
其中，
Figure BDA0002673102580000093
表示t时刻的目标车辆状态预测向量，F表示目标状态转移矩阵，statet-1表示t-1时刻的目标车辆的状态向量，B'表示增益矩阵，ut表示t时刻的目标车辆矩阵，
Figure BDA0002673102580000094
表示t时刻预测的目标车辆的卡尔曼估计误差协方差矩阵，FT表示目标车辆的状态转移矩阵的转置矩阵，Pt-1表示t-1时刻状态转移误差协方差矩阵，Q表示状态噪声协方差矩阵；
步骤2.2.2.2：将t时刻车辆跟踪器中目标车辆的预测状态转换成目标车辆的矩形轮廓，并计算其和t时刻高速公路交通视频检测到的车辆矩形轮廓的IOU(IntersectionOver Union，即交并比)矩阵，得到当前帧的多个车辆检测框与车辆跟踪器中多个目标车辆的矩形轮廓的IOU矩阵；
步骤2.2.2.3：利用匈牙利指派算法得到最大匹配的IOU组合索引对；
步骤2.2.2.4：对最大匹配的IOU组合索引对进行筛选，去掉小于IOU阈值的索引对，IOU阈值一般设置为0.3；
步骤2.2.2.5：根据车辆检测框和车辆跟踪器中目标车辆的匹配关系，将车辆检测框和车辆跟踪器中目标分为三个数组，分别为车辆检测框和车辆跟踪器中目标匹配数组(matches)、不匹配车辆检测框目标数组(unmatched_detections)和不匹配车辆跟踪器目标数组(unmatched_trackers)；
对于车辆检测框和车辆跟踪器中目标匹配数组，用车辆检测框更新车辆跟踪器中目标状态，并计算卡尔曼增益系数，修正车辆跟踪器中目标车辆的状态和卡尔曼估计误差协方差矩阵，公式如下：
Figure BDA0002673102580000101
Figure BDA0002673102580000102
Figure BDA0002673102580000103
其中，Kt表示t时刻的卡尔曼增益系数，H和HT表示目标车辆的状态观测矩阵及其转置矩阵，R表示观测噪声协方差矩阵，
Figure BDA0002673102580000104
表示t时刻目标车辆的修正状态预测向量，Yt表示t时刻目标车辆的状态观测向量，即与该目标车辆匹配的车辆检测框信息，
Figure BDA0002673102580000105
表示t时刻目标车辆的卡尔曼估计误差协方差的修正矩阵，I表示单位矩阵；
对于不匹配车辆检测框目标数组，若车辆跟踪器中没有目标车辆与车辆检测框匹配，则为车辆检测框创建和初始化新的车辆跟踪器，并用卡尔曼滤波初始化目标车辆的状态信息；
对于不匹配车辆跟踪器目标数组，若连续T帧都没有车辆检测框与车辆跟踪器中目标车辆匹配，则该目标车辆消失，从车辆跟踪器中移除该目标车辆；
步骤2.2.3：将车辆跟踪器中每个目标车辆的状态转换为如下公式表示：
track＝[x,y,x+w,y+h,id] (17)
其中，track为车辆跟踪器中目标车辆的状态，id为车辆跟踪器中目标车辆的标识符；
步骤2.3：根据各帧的车辆跟踪器中目标车辆的标识符，统计高速公路交通视频中车流量；
步骤2.3.1：比较相邻帧的车辆跟踪器，若当前帧的车辆跟踪器中的目标车辆标识符id存在于前一帧跟踪器中，则此目标车辆为同一辆车；
步骤2.3.2：连接当前帧目标车辆下边框中心点和前一帧目标车辆下边框中心点；
步骤2.3.3：判断步骤2.3.2所得连接线与视频中的计数线是否相交，如果相交，则车辆计数器加一；否则执行步骤2.3.4；
步骤2.3.4：重复执行步骤2.3.1-2.3.3，直到视频结束，完成高速公路交通视频中车流量的统计；
步骤3：用高速公路交通视频中车流量的统计结果给同步的高速公路交通音频数据做标签，并将音频数据的文件名和车流量的统计结果写入到文件中，生成高速公路交通流量音频样本。
本实施例中，树莓派参数如表1所示。
表1树莓派参数表
项目 参数
CPU类型 BCM2837
CPU主频 1.2GHz
内存类型 ARM cortex-A53
内存容量 1GB
网络介入 以太网、蓝牙、WiFi
扩展接口 40
USB 2.0 4
总体尺寸 85*56*17mm
操作系统 Raspbian
本实施例使用树莓派官方500万像素摄像头，采集高速公路交通视频数据，摄像头与树莓派通过一条15芯的排线进行连接，然后修改树莓派配置开启摄像头模块。使用树莓派双麦克风扩展板ReSpeaker 2-Mics Pi HAT采集高速公路交通音频数据，麦克风扩展板与树莓派通过树莓派40针头相连接，修改树莓派配置开启声音模块，设备简易连接如图2所示。
树莓派采集高速公路交通音视频同步数据，然后对高速公路交通视频数据应用背景差分法检测视频中的车辆，应用SORT算法对视频中的车辆进行跟踪，统计高速公路交通视频中交通流量。用得到的交通流量数据给高速公路交通视频相应的高速公路交通音频数据做标签，最后生成基于音频高速公路交通流量计数模型的样本数据，本实施例分为一下三部分：
(1)车辆检测
使用背景差分法检测视频中的车辆，视频某一帧经过背景差分后得到前景车辆，然后用矩形框标注车辆轮廓。结果如图3-5所示，其中由上到下为视频原图，背景差分后效果图，车辆轮廓标注图，由图3-5可见，背景差分法可以有效地对视频中的车辆进行检测和标注。
(2)车辆跟踪并计数
对背景差分法检测的车辆进行跟踪，然后判断车辆是否经过交通流量计数线，当经过计数线时，计数器加一。由于车辆在相邻帧之间位移较小，为了减少处理时间同时保证结果的正确性，在处理视频时，每隔一帧进行车辆检测和跟踪，由于交通流量数据时间越长，没有车辆经过的时间累积越长，因此本实施例选择每隔5秒采集高速公路交通流量音频和视频数据。
一般情况下，将车辆在相邻帧之间的运动视为匀速直线运动，卡尔曼滤波有7个状态变量和4个观测输入，卡尔曼滤波的状态转移矩阵F，观测矩阵H，观测噪声协方差矩阵R，目标状态协方差矩阵P，系统噪声协方差矩阵Q初始化为：
Figure BDA0002673102580000121
Figure BDA0002673102580000122
本实施例对300段高速公路交通视频数据做处理分析，交通流量计数结果主要为0辆车、1辆车、2辆车和3辆车。将一段视频的交通流量计数过程可视化，计数过程如图6所示。
由此可以得出，本实施例提出的背景差分法和SORT结合的高速公路交通流量计数算法是一个有效的交通流量计数算法。据统计，用高速公路交通视频数据给音频数据做标签的实验结果准确率为88％，证明了基于边缘端交通音视频同步样本的自动标签方法的可行性和有效性。
(3)样本生成
同步采集高速公路交通音频和视频数据，同步的高速公路交通视频文件和音频文件的命名相同，因此将高速公路交通视频数据的交通流量计数结果以“文件名：交通流量计数结果”写入到文件中，生成高速公路交通流量音频样本，保存结果如图7所示。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (4)

1.一种基于边缘端交通音视频同步样本的自动标注方法，其特征在于：包括以下步骤：
步骤1：在边缘计算设备上连接安装麦克风和摄像头，同步采集高速公路交通音频和视频数据并存储；
步骤2：采用基于混合高斯模型的背景差分法和简单在线实时跟踪算法相结合的车辆检测跟踪计数方法，统计高速公路交通视频数据中的交通流量，具体方法为：
步骤2.1：采用基于混合高斯模型的背景差分法对采集的视频数据进行车辆检测，得到每帧图像中的车辆轮廓；
步骤2.2：基于高速公路交通视频每帧图像中的车辆轮廓，利用简单在线实时跟踪算法对高速公路上的车辆进行实时跟踪；
步骤2.3：根据各帧的车辆跟踪器中目标车辆的标识符，统计高速公路交通视频中车流量；
步骤2.3.1：比较相邻帧的车辆跟踪器，若当前帧的车辆跟踪器中的目标车辆标识符存在于前一帧跟踪器中，则此目标车辆为同一辆车；
步骤2.3.2：连接当前帧目标车辆下边框中心点和前一帧目标车辆下边框中心点；
步骤2.3.3：判断步骤2.3.2所得连接线与视频中的计数线是否相交，如果相交，则车辆计数器加一；否则执行步骤2.3.4；
步骤2.3.4：重复执行步骤2.3.1-2.3.3，直到视频结束，完成高速公路交通视频中车流量的统计；
步骤3：用高速公路交通视频中车流量的统计结果给同步的高速公路交通音频数据做标签，并将音频数据的文件名和车流量的统计结果写入到文件中，生成高速公路交通流量音频样本。
2.根据权利要求1所述的一种基于边缘端交通音视频同步样本的自动标注方法，其特征在于：所述步骤2.1的具体方法为：
步骤2.1.1：边缘计算设备采集的高速公路交通视频图像中每个像素点的观测值相互独立，对高速公路交通视频图像中的每一个像素点分别用含有N个高斯分布的混合高斯模型来建立高速公路交通图像背景模型；
所述视频图像中像素点j在t时刻的混合高斯模型P(xj)如下公式所示：
Figure FDA0002673102570000011
Figure FDA0002673102570000012
其中，N为混合高斯模型中高斯分布的个数，
Figure FDA0002673102570000013
表示像素点j在t时刻第i个高斯分布
的权重系数，η()表示高斯分布概率密度函数，xj表示像素点j在t时刻的取值，
Figure FDA0002673102570000021
和
Figure FDA0002673102570000022
分别表示像素点j在t时刻第i个高斯分布的均值向量和协方差矩阵，d是xj向量的维度；
步骤2.1.2：用高速公路交通视频的第一帧图像的像素值初始化混合高斯模型，将混合高斯模型中的第一个高斯分布的均值赋值为第一帧图像的像素值，权重值赋值为1，第一个以外的高斯分布的均值和权重值都初始化为0；
步骤2.1.3：在t时刻，将高速公路交通视频图像中的像素值Xt同当前的N个高斯分布的均值进行比较，找到与高速公路交通视频图像中像素值Xt匹配的高斯分布，并对混合高斯模型中的参数进行更新；
所述找到与高速公路交通视频图像中像素值Xt匹配的高斯分布模型，即使高速公路交通视频图像中的像素值Xt与高斯分布的均值满足以下关系式：
Figure FDA0002673102570000023
其中，Xt表示为t时刻高速公路交通视频图像中的像素值，
Figure FDA0002673102570000024
表示为t-1时刻第i个高斯分布的均值，
Figure FDA0002673102570000025
表示为t-1时刻第i个高斯分布的标准差；
如果t时刻的像素值Xt与混合高斯分布模型中的任一高斯分布均不匹配时，则删除权重最小的高斯分布，加入一个新的高斯分布；
如果t时刻的像素值Xt与混合高斯分布模型中的至少一个高斯分布匹配时：
若Xt与第i个高斯分布匹配，则该高斯分布的参数按照如下公式进行更新：
Figure FDA0002673102570000026
Figure FDA0002673102570000027
Figure FDA0002673102570000028
其中，ρ表示为高斯分布参数的更新速率，α表示为学习速率，
Figure FDA0002673102570000029
表示为t时刻的像素值Xt的高斯分布概率，
Figure FDA00026731025700000210
和
Figure FDA00026731025700000211
分别表示为t和t-1时刻混合高斯模型中第i个高斯分布的均值，
Figure FDA00026731025700000212
和
Figure FDA00026731025700000213
分别表示为t和t-1时刻混合高斯模型中第i个高斯分布的方差；
若Xt与第i个高斯分布不匹配，则该高斯分布的均值和标准差不变；
步骤2.1.4：更新混合高斯模型中各高斯分布的权重系数，并将各高斯分布的权重值进行归一化；
所述更新混合高斯模型中各高斯分布的权重系数，如下公式所示：
Figure FDA0002673102570000031
Figure FDA0002673102570000032
其中，
Figure FDA0002673102570000033
和
Figure FDA0002673102570000034
分别表示为t和t-1时刻混合高斯模型中第i个高斯分布的权重系数；
步骤2.1.5：将构建的高速公路交通图像背景模型中的N个高斯分布根据权重和标准差之比ω/σ由大到小排序；
步骤2.1.6：从步骤2.1.5所得排序中选择前B个高斯分布作为背景模型，且B满足如下公式：
Figure FDA0002673102570000035
其中，T表示为高速公路交通视频图像背景占整个高速公路交通视频图像的比例；
步骤2.1.7：将t时刻边缘计算设备拍摄的高速公路视频图像中的所有像素值与t时刻得到的前B个高斯分布进行匹配：
若某像素值与前B个高斯分布某一个分布匹配，则该像素为高速公路交通图像的背景点；
若某像素值与前B个高斯分布均不匹配，则该像素为高速公路交通图像的前景点；
步骤2.1.8：根据t时刻边缘计算设备拍摄的高速公路图像中的前景点检测车辆的轮廓，并用矩形轮廓将车辆标识出来，车辆的矩形轮廓表示如公式：
BBox＝[x,y,x+w,y+h] (10)
其中，BBox表示车辆的矩形轮廓，x为矩形轮廓的左边界，y为矩形轮廓的右边界，w为矩形轮廓的宽度，h为矩形轮廓的高度。
3.根据权利要求2所述的一种基于边缘端交通音视频同步样本的自动标注方法，其特征在于：所述步骤2.2的具体方法为：
步骤2.2.1：使用高速公路交通视频的第一帧图像中检测到的车辆轮廓创建并初始化车辆跟踪器，并初始化车辆跟踪器中每个目标车辆的状态信息state；
所述车辆跟踪器中每个目标车辆的状态建模表示为如下公式所示：
state＝[x',y',s,r,vx,vy,vs] (11)
其中，x'表示为目标车辆中心点的水平坐标，y'表示为目标车辆中心点的垂直坐标，s表示为目标车辆边界框面积，r表示为目标车辆边界框纵横比，vx表示为目标车辆运动速度在水平方向上的分量，vy表示为目标车辆运动速度在垂直方向上的分量，vs表示为目标车辆边界框的面积变化率；
步骤2.2.2：用t时刻之后的高速公路交通视频图像中的车辆轮廓更新车辆跟踪器；
步骤2.2.3：将车辆跟踪器中每个目标车辆的状态转换为如下公式表示：
track＝[x,y,x+w,y+h,id] (17)
其中，track为车辆跟踪器中目标车辆的状态，id为车辆跟踪器中目标车辆的标识符。
4.根据权利要求3所述的一种基于边缘端交通音视频同步样本的自动标注方法，其特征在于：所述步骤2.2.2的具体方法为：
步骤2.2.2.1：预测车辆跟踪器中每个目标车辆t时刻的状态和卡尔曼估计误差协方差矩阵，公式如下：
Figure FDA0002673102570000041
Figure FDA0002673102570000042
其中，
Figure FDA0002673102570000043
表示t时刻的目标车辆状态预测向量，F表示目标状态转移矩阵，statet-1表示t-1时刻的目标车辆的状态向量，B'表示增益矩阵，ut表示t时刻的目标车辆矩阵，
Figure FDA0002673102570000044
表示t时刻预测的目标车辆的卡尔曼估计误差协方差矩阵，FT表示目标车辆的状态转移矩阵的转置矩阵，Pt-1表示t-1时刻状态转移误差协方差矩阵，Q表示状态噪声协方差矩阵；
步骤2.2.2.2：将t时刻车辆跟踪器中目标车辆的预测状态转换成目标车辆的矩形轮廓，并计算其和t时刻高速公路交通视频检测到的车辆矩形轮廓的IOU矩阵，得到当前帧的多个车辆检测框与车辆跟踪器中多个目标车辆的矩形轮廓的IOU矩阵；
步骤2.2.2.3：利用匈牙利指派算法得到最大匹配的IOU组合索引对；
步骤2.2.2.4：对最大匹配的IOU组合索引对进行筛选，去掉小于IOU阈值的索引对；
步骤2.2.2.5：根据车辆检测框和车辆跟踪器中目标车辆的匹配关系，将车辆检测框和车辆跟踪器中目标分为三个数组，分别为车辆检测框和车辆跟踪器中目标匹配数组，不匹配车辆检测框目标数组和不匹配车辆跟踪器目标数组；
对于车辆检测框和车辆跟踪器中目标匹配数组，用车辆检测框更新车辆跟踪器中目标状态，并计算卡尔曼增益系数，修正车辆跟踪器中目标车辆的状态和卡尔曼估计误差协方差矩阵，公式如下：
Figure FDA0002673102570000051
Figure FDA0002673102570000052
Figure FDA0002673102570000053
其中，Kt表示t时刻的卡尔曼增益系数，H和HT表示目标车辆的状态观测矩阵及其转置矩阵，R表示观测噪声协方差矩阵，
Figure FDA0002673102570000054
表示t时刻目标车辆的修正状态预测向量，Yt表示t时刻目标车辆的状态观测向量，即与该目标车辆匹配的车辆检测框信息，
Figure FDA0002673102570000055
表示t时刻目标车辆的卡尔曼估计误差协方差的修正矩阵，I表示单位矩阵；
对于不匹配车辆检测框目标数组，若车辆跟踪器中没有目标车辆与车辆检测框匹配，则为车辆检测框创建和初始化新的车辆跟踪器，并用卡尔曼滤波初始化目标车辆的状态信息；
对于不匹配车辆跟踪器目标数组，若连续T帧都没有车辆检测框与车辆跟踪器中目标车辆匹配，则该目标车辆消失，从车辆跟踪器中移除该目标车辆。
CN202010939383.4A 2020-09-09 2020-09-09 一种基于边缘端交通音视频同步样本的自动标注方法 Active CN112100435B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010939383.4A CN112100435B (zh) 2020-09-09 2020-09-09 一种基于边缘端交通音视频同步样本的自动标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010939383.4A CN112100435B (zh) 2020-09-09 2020-09-09 一种基于边缘端交通音视频同步样本的自动标注方法

Publications (2)

Publication Number Publication Date
CN112100435A true CN112100435A (zh) 2020-12-18
CN112100435B CN112100435B (zh) 2023-11-07

Family

ID=73751124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010939383.4A Active CN112100435B (zh) 2020-09-09 2020-09-09 一种基于边缘端交通音视频同步样本的自动标注方法

Country Status (1)

Country Link
CN (1) CN112100435B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192322A (zh) * 2021-03-19 2021-07-30 东北大学 一种基于云边协同的高速公路交通流量计数方法
CN113592799A (zh) * 2021-07-22 2021-11-02 象山电力实业有限公司 一种电力海缆的防护方法与系统
CN114067314A (zh) * 2022-01-17 2022-02-18 泗水县锦川花生食品有限公司 一种基于神经网络的花生霉变识别方法及系统
CN115472014A (zh) * 2022-09-16 2022-12-13 苏州映赛智能科技有限公司 一种交通追溯方法、系统、服务器及计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106201400A (zh) * 2016-06-30 2016-12-07 惠州华阳通用电子有限公司 一种车载输入视频显示控制装置及方法
CN106780548A (zh) * 2016-11-16 2017-05-31 南宁市浩发科技有限公司 基于交通视频的运动车辆检测方法
CN107507221A (zh) * 2017-07-28 2017-12-22 天津大学 结合帧差法和混合高斯模型的运动目标检测与跟踪方法
US20200143279A1 (en) * 2018-11-06 2020-05-07 DeepSig Inc. Radio frequency band segmentation, signal detection and labelling using machine learning
CN111476059A (zh) * 2019-01-23 2020-07-31 北京奇虎科技有限公司 目标检测方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106201400A (zh) * 2016-06-30 2016-12-07 惠州华阳通用电子有限公司 一种车载输入视频显示控制装置及方法
CN106780548A (zh) * 2016-11-16 2017-05-31 南宁市浩发科技有限公司 基于交通视频的运动车辆检测方法
CN107507221A (zh) * 2017-07-28 2017-12-22 天津大学 结合帧差法和混合高斯模型的运动目标检测与跟踪方法
US20200143279A1 (en) * 2018-11-06 2020-05-07 DeepSig Inc. Radio frequency band segmentation, signal detection and labelling using machine learning
CN111476059A (zh) * 2019-01-23 2020-07-31 北京奇虎科技有限公司 目标检测方法、装置、计算机设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KENAN MU ET AL.: "Multiscale edge fusion for vehicle detection based on difference of Gaussian", 《OPTIK》, pages 4797 - 4798 *
后士浩: "面向嵌入式换道决策辅助系统的视觉车辆检测和测距算法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, pages 035 - 157 *
洪峰: "智能汽车交通车辆的综合认知及其虚拟测试方法研究", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》, pages 035 - 18 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192322A (zh) * 2021-03-19 2021-07-30 东北大学 一种基于云边协同的高速公路交通流量计数方法
CN113592799A (zh) * 2021-07-22 2021-11-02 象山电力实业有限公司 一种电力海缆的防护方法与系统
CN114067314A (zh) * 2022-01-17 2022-02-18 泗水县锦川花生食品有限公司 一种基于神经网络的花生霉变识别方法及系统
CN114067314B (zh) * 2022-01-17 2022-04-26 泗水县锦川花生食品有限公司 一种基于神经网络的花生霉变识别方法及系统
CN115472014A (zh) * 2022-09-16 2022-12-13 苏州映赛智能科技有限公司 一种交通追溯方法、系统、服务器及计算机存储介质
CN115472014B (zh) * 2022-09-16 2023-10-10 苏州映赛智能科技有限公司 一种交通追溯方法、系统、服务器及计算机存储介质

Also Published As

Publication number Publication date
CN112100435B (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
Kim et al. Deep-hurricane-tracker: Tracking and forecasting extreme climate events
Ke et al. Multi-dimensional traffic congestion detection based on fusion of visual features and convolutional neural network
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN112100435A (zh) 一种基于边缘端交通音视频同步样本的自动标注方法
CN113034548B (zh) 一种适用于嵌入式终端的多目标跟踪方法及其系统
US20230289979A1 (en) A method for video moving object detection based on relative statistical characteristics of image pixels
CN103295242B (zh) 一种多特征联合稀疏表示的目标跟踪方法
CN108304798A (zh) 基于深度学习及运动一致性的街面秩序事件视频检测方法
Rout A survey on object detection and tracking algorithms
CN101493943B (zh) 一种粒子滤波跟踪方法和跟踪装置
CN111340855A (zh) 一种基于轨迹预测的道路移动目标检测方法
CN107730889B (zh) 一种基于交通视频的目标车辆检索方法
CN110415260B (zh) 基于字典与bp神经网络的烟雾图像分割与识别方法
CN105046714A (zh) 一种非监督的基于超像素和目标发现机制的图像分割方法
Charouh et al. Improved background subtraction-based moving vehicle detection by optimizing morphological operations using machine learning
CN112417937B (zh) 一种基于时间序列的变电站视频目标检测方法
CN107247967B (zh) 一种基于r-cnn的车窗年检标检测方法
Chen et al. A video-based method with strong-robustness for vehicle detection and classification based on static appearance features and motion features
CN113327248B (zh) 一种基于视频的隧道车流量统计方法
CN117557600A (zh) 一种车载影像处理方法及系统
CN112861682B (zh) 基于朴素贝叶斯云计算路面图像采集分类方法及其装置
CN115731211A (zh) 一种采用四级级联架构的接触网紧固件故障检测方法
CN115311617A (zh) 城轨车站区域客流信息获取方法及系统
CN112614158B (zh) 一种采样框自适应的多特征融合在线目标跟踪方法
CN114663835A (zh) 一种行人跟踪方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant