CN110956800A - 一种路段交通数据预处理方法、装置及电子设备 - Google Patents

一种路段交通数据预处理方法、装置及电子设备 Download PDF

Info

Publication number
CN110956800A
CN110956800A CN201811134904.8A CN201811134904A CN110956800A CN 110956800 A CN110956800 A CN 110956800A CN 201811134904 A CN201811134904 A CN 201811134904A CN 110956800 A CN110956800 A CN 110956800A
Authority
CN
China
Prior art keywords
data
traffic
processed
historical
actual data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811134904.8A
Other languages
English (en)
Other versions
CN110956800B (zh
Inventor
汤静
杨宇辰
郝勇刚
沈烨峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision System Technology Co Ltd
Original Assignee
Hangzhou Hikvision System Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision System Technology Co Ltd filed Critical Hangzhou Hikvision System Technology Co Ltd
Priority to CN201811134904.8A priority Critical patent/CN110956800B/zh
Publication of CN110956800A publication Critical patent/CN110956800A/zh
Application granted granted Critical
Publication of CN110956800B publication Critical patent/CN110956800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0129Traffic data processing for creating historical data or processing based on historical data

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请的实施例公开一种路段交通数据预处理方法、装置及电子设备,涉及交通数据处理技术领域,能够提高数据预处理的准确性。所述路段交通数据预处理方法,包括:从视频检测器输出的数据中,选取待处理交通参数的实际数据;根据待处理交通参数的实际数据,在同一坐标系中,绘制待处理交通参数的实际数据分布图,并根据待处理交通参数之间的约束关系,在所述坐标系中绘制待处理交通参数的拟合曲线;确定待处理交通参数的实际数据与所述拟合曲线之间的偏离度;将偏离度大于第一阈值的待处理交通参数的实际数据,标记为异常数据。本申请适用于对交通源数据进行预处理。

Description

一种路段交通数据预处理方法、装置及电子设备
技术领域
本申请涉及交通数据处理技术领域,尤其涉及一种路段交通数据预处理方法、装置及电子设备。
背景技术
基于固定式车辆检测器(环形线圈式车辆检测器)采集的动态交通流基础数据是重要的智能运输系统(ITS)数据源。由于固定式车辆检测器受自身工作状态、网络传输、道路交通状况及周围环境等不确定性因素影响,采集的数据存在错误、丢失、噪声过大等问题。如果对原始数据不加以预处理直接应用,则会影响上层智能运输应用系统对城市道路交通状况及性能评价指标估计与预测的准确性和可靠性。数据预处理的主要目的是控制道路采集交通流数据的质量,降低问题数据对整体数据精确度的影响,保证道路交通流数据的精确处理和安全应用,也为改善城市道路动态交通流数据采集系统提供反馈信息和理论依据。
现有技术中,进行预处理的原始交通流数据,来自固定式车辆检测器,由于固定式车辆检测器采集的交通流数据不够直观,导致对路段交通参数进行预处理后获得的数据准确性不高。
发明内容
有鉴于此,本申请实施例提供一种路段交通数据预处理方法、装置及电子设备,对路段交通数据进行预处理后获得的数据准确性较高。
第一方面,本申请实施例提供一种路段交通数据预处理方法,包括:
从视频检测器输出的数据中,选取待处理交通参数的实际数据;
根据待处理交通参数的实际数据,在同一坐标系中,绘制待处理交通参数的实际数据分布图,并根据待处理交通参数之间的约束关系,在所述坐标系中绘制待处理交通参数的拟合曲线;
确定待处理交通参数的实际数据与所述拟合曲线之间的偏离度;
将偏离度大于第一阈值的待处理交通参数的实际数据,标记为异常数据。
根据本申请实施例的一种具体实现方式,所述待处理交通参数包括时间占有率和流量;
其中,在将偏离度大于第一阈值的待处理交通参数的实际数据,标记为异常数据之前,所述方法还包括:
根据视频检测器输出的历史数据,计算时间占有率的历史理论数据;
计算时间占有率的历史理论数据和历史实际数据之间的差值;
确定时间占有率的历史理论数据和历史实际数据之间的差值的频率分布,根据该频率分布确定时间占有率的历史理论数据和历史实际数据之间的差值的阈值,并将时间占有率的历史理论数据和历史实际数据之间的差值的阈值,作为所述第一阈值。
根据本申请实施例的一种具体实现方式,所述根据视频检测器输出的数据,计算时间占有率的理论数据包括:
根据如下公式计算时间占有率的理论数据Occ
Occ=c*k;
其中,
c表示车身长度与视频检测器长度之和;
k表示交通流密度,
Figure BDA0001813562430000021
其中,Q表示流量,
Figure BDA0001813562430000022
表示平均速度。
根据本申请实施例的一种具体实现方式,在将偏离度大于第一阈值的待处理交通参数的实际数据,标记为异常数据之后,所述方法还包括:
在视频检测器输出的视频中,标出所述视频中的可疑数据;
将所述异常数据与所述可疑数据进行对比,若所述异常数据与所述可疑数据相匹配,则确定所述异常数据为真的异常数据,并将确定为真的异常数据删除。
根据本申请实施例的一种具体实现方式,所述待处理交通参数包括车辆排队长度;其中,在将确定为真的异常数据删除之后,所述方法还包括:根据视频检测器输出的数据,计算车辆排队长度的理论数据;在剩余的待处理交通参数的实际数据中,计算车辆排队长度的实际数据与理论数据之间的差值;若剩余的待处理交通参数的实际数据中,车辆排队长度的实际数据与理论数据之间的差值的绝对值大于第二阈值,则将相应的车辆排队长度的实际数据删除。
根据本申请实施例的一种具体实现方式,在剩余的待处理交通参数的实际数据中,判断是否有大于第二阈值的车辆排队长度之前,所述方法还包括:
从视频检测器输出的历史数据中,选取车辆排队长度的历史实际数据;
根据视频检测器输出的历史数据,计算车辆排队长度的历史理论数据;
根据车辆排队长度的历史理论数据和历史实际数据,计算车辆排队长度的历史理论数据和历史实际数据之间的差值;确定车辆排队长度的历史理论数据和历史实际数据之间的差值的频率分布,根据该频率分布确定车辆排队长度的差值的阈值,并将车辆排队长度的差值的阈值作为所述第二阈值。
第二方面,本申请实施例提供一种路段交通数据预处理装置,包括:
数据获取模块,用于从视频检测器输出的数据中,选取待处理交通参数的实际数据;
绘图模块,用于根据待处理交通参数的实际数据,在同一坐标系中,绘制待处理交通参数的实际数据分布图,并根据待处理交通参数之间的约束关系,在所述坐标系中绘制待处理交通参数的拟合曲线;
偏离度确定模块,用于确定待处理交通参数的实际数据与所述拟合曲线之间的偏离度;
第一标记模块,用于将偏离度大于第一阈值的待处理交通参数的实际数据,标记为异常数据。
根据本申请实施例的一种具体实现方式,所述待处理交通参数包括时间占有率和流量;所述装置还包括:
第一计算模块,用于根据视频检测器输出的历史数据,计算时间占有率的历史理论数据;
第二计算模块,用于计算时间占有率的历史理论数据和历史实际数据之间的差值;
第一阈值确定模块,用于确定时间占有率的历史理论数据和历史实际数据之间的差值的频率分布,根据该频率分布确定时间占有率的历史理论数据和历史实际数据之间的差值的阈值,并将时间占有率的历史理论数据和历史实际数据之间的差值的阈值,作为所述第一阈值。
根据本申请实施例的一种具体实现方式,所述第一计算模块,具体用于:根据如下公式计算时间占有率的理论数据Occ
Occ=c*k;
其中,
c表示车身长度与视频检测器长度之和;
k表示交通流密度,
Figure BDA0001813562430000041
其中,Q表示流量,
Figure BDA0001813562430000042
表示平均速度。
第三方面,本申请实施例提供一种电子设备,包括处理器及存储器;其中,所述存储器存储有可被处理器调用的程序;其中,所述处理器执行所述程序时,实现前述任意一实现方式所述的路段交通数据预处理方法。
本申请实施例提供的一种路段交通数据预处理方法、装置及电子设备,待处理的数据通过视频检测器采集,以视频的形式呈现,更加直观;并且通过绘制的待处理交通参数的拟合曲线(对应于待处理交通参数的理论数据),将待处理交通参数的实际数据与拟合曲线进行比对,确定二者之间的偏离度,能够更客观及直观地对数据进行筛选,使得数据处理的结果准确性较高。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本申请一实施例路段交通数据预处理方法的流程示意图;
图2为本申请另一实施例路段交通数据预处理方法的流程示意图;
图3为本申请又一实施例路段交通数据预处理方法的流程示意图;
图4为本申请一实施例路段交通数据预处理装置的结构示意图;
图5为本申请另一实施例路段交通数据预处理装置的结构示意图;
图6为本申请又一实施例路段交通数据预处理装置的结构示意图;
图7为本申请再一实施例路段交通数据预处理装置的结构示意图;
图8为本申请电子设备一个实施例的结构示意图。
具体实施方式
下面结合附图对本申请实施例进行详细描述。
应当明确,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
图1为本申请一实施例路段交通数据预处理方法的流程示意图,如图1所示,本实施例的方法可以包括步骤:
S101、从视频检测器输出的数据中,选取待处理交通参数的实际数据。
视频检测器是指采用视频图像处理技术实现断面交通流参数或者交通时间检测的设备。视频检测器设置在交通路段的预定位置,如交通路段的交叉口,用来对交通状况进行实时的视频采集。对视频检测器采集的交通流视频数据,通过图像处理技术可得到交通参数的实际数据。
视频检测器种类较多,如可包括枪机、球机等。本实施例中,在对某一路段的交通流进行视频采集时,可采用相同种类的视频检测器,也可采用不同种类的视频检测器。当采用不同种类的视频检测器时,可提高数据来源的多样性,从而有利于提高数据的准确性。
视频检测器输出的数据,分别存储在数据库中的多个表中,比如同一车道的流量、时间占有率和平均速度可分别存储在不同的表中。在选取待处理交通参数的实际数据时,可从多个表中将相关信息进行提取,以形成一个包含有待处理交通参数的实际数据的表,在该表中,字段可包括路段编号、设备编号、车道编号、时间戳、流量、时间占有率、平均速度、车头时距、车辆排队长度等。对字段中的值,可按照设备编号及时间戳等进行排序。
其中,时间占有率是指在一定的观测时间内,车辆通过视频检测器时所占用的时间与观测总时间的比值。流量,也可称为交通量,其是指在给定时间间隔通过车道、道路某一点或某一断面的车辆总数。流量可以按年、日、小时或不足1小时的时间间隔来计量。
作为示例,下表为一经过相关信息提取后形成的、包含待处理交通参数的实际数据的表:
Figure BDA0001813562430000061
在上表中,字段包括路段编号、车道编号、设备编号、时间戳、流量、时间占有率等。
本实施例中,可将视频检测器输出的某一时间段(比如最近一周、最近一个月,等等)的数据,作为待处理交通参数的实际数据,以对该实际数据进行预处理,去除掉异常数据。
S102、根据待处理交通参数的实际数据,在同一坐标系中,绘制待处理交通参数的实际数据分布图,并根据待处理交通参数之间的约束关系,在所述坐标系中绘制待处理交通参数的拟合曲线。
待处理交通参数之间的约束关系,即为根据交通流理论确定的待处理交通参数之间的关系表达式。在绘制拟合曲线时,可以一个待处理交通参数为横坐标,以另一个待处理交通参数为纵坐标,根据待处理交通参数之间的关系表达式,绘制待处理交通参数的拟合曲线,该拟合曲线为一连续曲线。在同一个坐标系绘制的待处理交通参数的实际数据分布图,为离散数据的分布图。
比如,待处理交通参数为时间占有率和流量,二者之间的约束关系,即为根据交通流理论确定的时间占有率和流量之间的关系表达式,具体地,时间占有率和流量之间的关系表达式,可为:
Figure BDA0001813562430000062
其中,Occ表示时间占有率,Q表示流量,
Figure BDA0001813562430000063
良示平均速度,c表示车身长度与视频检测器长度之和。在绘制拟合曲线时,可以流量为横坐标,以时间占有率为纵坐标,根据时间占有率和流量之间的上述关系表达式,绘制时间占有率和流量之间的拟合曲线。在同一个坐标系绘制的时间占有率和流量的实际数据分布图,该实际数据分布图为离散数据的分布图。
上面仅是以时间占有率和流量作为待处理交通参数为例,举例说明待处理交通参数的实际数据分布图及拟合曲线的绘制,本申请实施例不限于此,待处理交通参数也可以其它交通参数,比如也可以是车头时距和流量,相应的,所述约束关系为车头时距和流量的关系表达式,比如,车头时距和流量的关系表达式可为:
Figure BDA0001813562430000071
其中,h表示车头时距,Q表示流量。
在同一坐标系中,绘制待处理交通参数的实际数据分布图和待处理交通参数的拟合曲线,便于确定待处理交通参数的实际数据与所述拟合曲线之间的偏离度。
S103、确定待处理交通参数的实际数据与所述拟合曲线之间的偏离度。
本实施例中,偏离度表明待处理交通参数的实际数据与所述拟合曲线之间的距离远近。实际数据与所述拟合曲线之间的距离较远,则偏离度就大,实际数据与所述拟合曲线之间的距离较近,则偏离度就小。因此,根据待处理交通参数的实际数据与所述拟合曲线之间的距离远近,即可确定待处理交通参数的实际数据与所述拟合曲线之间的偏离度。
S104、将偏离度大于第一阈值的待处理交通参数的实际数据,标记为异常数据。
本实施例中,当待处理交通参数的实际数据中的某个数据或某些数据距离所述拟合曲线较远时,即当偏离度大于第一阈值时,表明这些数据可能为非正常数据,则将这些数据标记为异常数据。
本实施例中,待处理的数据通过视频检测器采集,以视频的形式呈现,更加直观;并且通过绘制的待处理交通参数的拟合曲线(对应于待处理交通参数的理论数据),将待处理交通参数的实际数据与拟合曲线进行比对,确定二者之间的偏离度,能够更客观及直观地对数据进行筛选,使得数据处理的结果准确性较高。此外,视频检测器的种类繁多,包括枪机、球机等,这样可保证数据来源的准确性及多样性。
在前述实施例中,所述第一阈值可为预先确定的固定值。本申请不限于此,第一阈值可根据与待处理交通参数有关的历史数据来确定。在本申请一实施例中,所述待处理交通参数为时间占有率,第一阈值可根据时间占有率的历史实际数据和历史理论数据来确定,具体地,在将偏离度大于第一阈值的待处理交通参数的实际数据,标记为异常数据(步骤S104)之前,所述方法还可包括确定第一阈值的步骤,该步骤可包括:
A1、根据视频检测器输出的历史数据,计算时间占有率的历史理论数据。
A2、计算时间占有率的历史理论数据和历史实际数据之间的差值。
A3、确定时间占有率的历史理论数据和历史实际数据之间的差值的频率分布,根据该频率分布确定时间占有率的历史理论数据和历史实际数据之间的差值的阈值,并将时间占有率的历史理论数据和历史实际数据之间的差值的阈值,作为所述第一阈值。
本实施例中,通过分析预定时间段内的所有历史数据“差值-频率”二维分布情况(呈现正态分布),根据3倍标准差原则,差值在(μ-3σ,μ+3σ)之外可以认为是不可信数据,也就是异常数据或错误数据。由此可以认为,3倍标准差所在位置即差值的阈值。应当理解的是,在具体应用时,可对该阈值做一定的调整。
视频检测器输出的历史数据,反映了其所监视的路段和时段的历史交通流状况。本实施例中,由于第一阈值是根据视频检测器输出的历史数据来确定的,不同的路段,同一路段的不同时段,第一阈值的取值可能不同,也就是说,第一阈值为自适应阈值,与相应路段和时段的交通流状况相适应,可根据不同路段的实际情况进行修正。
在本申请一实施例中,所述根据视频检测器输出的数据,计算时间占有率的理论数据(步骤A1)包括:
根据如下公式计算时间占有率的理论数据Occ
Occ=c·k;
其中,
c表示车身长度与视频检测器长度之和;比如,若车身长度取4m,视频检测器长度取2m,则c的取值为6m;视频检测器长度可为车身长度的一半,本实施例不限于此,视频检测器长度也可为车身长度的三分之一、四分之一,等等。
k表示交通流密度,
Figure BDA0001813562430000091
其中,Q表示流量,
Figure BDA0001813562430000092
表示平均速度。
在一可选实施例中,时间占有率的理论数据Occ和交通流密度k之间的关系,可推导如下:
Figure BDA0001813562430000093
其中,vi为第i个车辆的速度,li为第i个车辆的车长,d为视频检测器本身的长度;
H为车头时距的总和;车头时距指的是在同一车道上行驶的车辆队列中,两连续车辆车头端部通过某一断面的时间间隔;
将上式第二项的分子分母同时乘以N,再将流量定义式和区间平均速度表达式代入可得:
Figure BDA0001813562430000094
将基本公式
Figure BDA0001813562430000095
代入得:
Figure BDA0001813562430000096
其中,k为交通流密度,将上式的分子分母同时除以N得:
Figure BDA0001813562430000097
车身长度取定值l,则上式可简化为:
Figure BDA0001813562430000101
上述实施例中,将偏离度大于第一阈值的待处理交通参数的实际数据,标记为异常数据的过程,可以理解为是异常数据的检测过程。为进一步提高数据预处理的准确性,可利用视频检测器输出的视频对标记为异常的数据做进一步的筛选。
视频检测器输出的视频更能较为直观和真实地反映交通流状况,在将偏离度大于第一阈值的待处理交通参数的实际数据,标记为异常数据之后,可利用视频检测器输出的视频对标记为异常的数据做进一步的筛选,以确定标记为异常的数据是否真的是异常数据,以提高数据预处理的准确性。具体地,参考图2,在本申请一实施例中,在将偏离度大于第一阈值的待处理交通参数的实际数据,标记为异常数据(步骤S104)之后,所述方法还可包括步骤:
S105、在视频检测器输出的视频中,标出所述视频中的可疑数据。
本步骤中,可通过图像识别技术,标出视频中的可疑数据,也可通过人工的方式标出视频中的可疑数据。所述可疑数据可以是视频中显示的局部可疑区域,比如视频中显示的树荫区域或积水区域等。
S106、将所述异常数据与对应的视频进行对比,确定所述异常数据是否为真的异常数据。
所述异常数据所对应的视频,是指根据所述异常数据所对应的车道编号、设备编号及时间戳所唯一确定的一段视频。比如,一异常数据对应的车道编号为line1,设备编号为C01,对应的时间戳为20180901 9:30-9:35,据此可确定该异常数据所对应的视频为位于车道line1的设备C01,在20180901 9:30-9:35这段时间内所采集的视频。
本步骤中,判断所述异常数据与所对应的视频中的可疑数据是否相匹配或相对应,若相匹配或相对应,则可确定所述异常数据为真的异常数据,并将确定为真的异常数据删除;若不匹配或不对应,则取消所述异常数据的标注。
当所述异常数据与所对应的视频中的可疑数据相匹配或相对应时,在一定程度上表明所述异常数据是由视频中的所述可疑数据所引起的,从而可确定所述异常数据为真的异常数据。当所述异常数据与所对应的视频中的可疑数据不匹配或不对应时,在一定程度上表明所述异常数据是非真的异常数据,此时可取消所述异常数据的标注。
本实施例中,根据标记为异常的数据所对应的视频,可判断标记为异常的数据是否为真的异常数据,并可确定数据的异常是否是由树荫、积水等影响因素造成。也就是说,当标记为异常的数据与所对应的视频中的树荫、积水等可疑因素导致的可疑数据相匹配或相对应时,则可确定数据的异常是由树荫、积水等影响因素造成的。
在本申请一实施例中,为进一步提高预处理后的数据的准确性,可在以第一阈值作为筛选阈值进行数据筛选之后,可适当调整第一阈值(比如将第一阈值调小),重复上述筛选过程,对筛选后的数据再次进行筛选,直至获得一合适的第一阈值,通过该合适的第一阈值对数据进行筛选后,既可获得更为精确的数据,又可获得预期数量的预处理后的数据,使得预处理后的数据量不至于过少。
在本申请一实施例中,所述待处理交通参数还包括车辆排队长度。为便于对剩余的待处理交通参数做进一步的预处理,使得处理结果更加准确,参考图3,在将确定为真的异常数据删除(步骤S106)之后,所述方法还可包括步骤:
S107、根据视频检测器输出的数据,计算车辆排队长度的理论数据。
本实施例中,当排队地点在检测点(即视频检测器)下游时,可根据如下公式计算车辆排队长度的理论数据L(t):
Figure BDA0001813562430000111
排队地点在检测点(即视频检测器)上游时,可根据如下公式计算车辆排队长度的理论数据L(t):
Figure BDA0001813562430000121
其中,N1为车辆到达时,上游信号周期剩余时间Δ1内到达的车辆数,N2为排队消散时,上游信号周期剩余时间Δ2内到达的车辆数;
t为通行周期,ts为周期内车辆排队时间,c1为上游路口信号周期;
Figure BDA0001813562430000122
为车辆到达率,
Figure BDA0001813562430000123
其中,λ1为稳定流的到达率,λ2为离散流的到达率,g1为上游路口直行车道放行的持续时间;
qi为采样周期内车辆的离去率;
kj是路段阻塞密度,取值范围为100-150辆车/公里;
l0为排队位置与检测点距离。
S108、在剩余的待处理交通参数的实际数据中,计算车辆排队长度的实际数据与理论数据之间的差值。
S109、若剩余的待处理交通参数的实际数据中,车辆排队长度的实际数据与理论数据之间的差值的绝对值大于第二阈值,则将相应的车辆排队长度的实际数据删除。
所述第二阈值可以是预定确定的固定值。本申请实施例不限于此,所述第二阈值可通过对视频检测器输出的历史数据进行处理而得到,具体地,在本申请一实施例中,在剩余的待处理交通参数的实际数据中,判断是否有大于第二阈值的车辆排队长度(步骤S107)之前,所述方法还可包括步骤:
B1、从视频检测器输出的历史数据中,选取车辆排队长度的历史实际数据。
所述历史数据是当前预处理的数据周期之前预定时间段内的数据。比如,若当前预处理的数据为视频检测器输出的最近一周的数据,则历史数据可以是最近一周前的一周、两周或三周的数据等等。
B2、根据视频检测器输出的历史数据,计算车辆排队长度的历史理论数据。
本实施例中,计算车辆排队长度的历史理论数据的过程,与上述实施例中计算车辆排队长度的理论数据相似,在此不再赘述。
B3、根据车辆排队长度的历史理论数据和历史实际数据,确定车辆排队长度的差值的阈值,并将车辆排队长度的差值的阈值作为所述第二阈值。
根据以上公式计算出的车辆排队长度的历史理论数据(即历史理论车辆排队长度),再比对车辆排队长度的历史实际数据(即视频检测器输出的历史实际车辆排队长度),计算车辆排队长度的历史理论数据和历史实际数据之间的差值;确定车辆排队长度的历史理论数据和历史实际数据之间的差值的频率分布,根据该频率分布,得到合适的差值的阈值T,作为所述第二阈值。
本实施例中,通过分析预定时间段内的所有历史数据“差值-频率”二维分布情况(呈现正态分布),根据3倍标准差原则,差值在(μ-3σ,μ+3σ)之外可以认为是不可信数据,也就是异常数据或错误数据。由此可以认为,3倍标准差所在位置即差值的阈值。应当理解的是,在具体应用时,可对该阈值做一定的调整。
视频检测器输出的历史数据,反映了其所监视的路段和时段的历史交通流状况。本实施例中,由于第二阈值是根据视频检测器输出的历史数据来确定的,不同的路段,同一路段的不同时段,第二阈值的取值可能不同,也就是说,第二阈值为自适应阈值,与相应路段和时段的交通流状况相适应,可根据不同路段的实际情况进行修正。
本实施例中,以车辆排队长度作为二次检测的检测指标,当剩余的待处理交通参数的实际数据中的车辆排队长度,与计算得到的车辆排队长度的理论数据的差值的绝对值大于第二阈值时,即做进一步删除,如此通过二次检测进一步保证数据的准确性。
为进一步提高预处理后的数据的准确性,可在以车辆排队长度作为二次检测的检测指标,以第二阈值作为筛选阈值进行数据筛选之后,可适当调整第二阈值(比如将第二阈值调小),重复上述步骤S107-S109的筛选过程,对筛选后的数据再次进行筛选,直至获得一合适的第二阈值,通过该合适的第二阈值对数据进行筛选后,可获得预期数量的预处理后的数据,这样,既可获得更为精确的数据,又可获得预期数量的预处理后的数据,使得预处理后的数据不至于过少。
参看图4,本申请实施例还提供一种路段交通数据预处理装置,包括:数据获取模块11、绘图模块12、偏离度确定模块13、以及第一标记模块14;其中,数据获取模块11,用于从视频检测器输出的数据中,选取待处理交通参数的实际数据;绘图模块12,用于根据待处理交通参数的实际数据,在同一坐标系中,绘制待处理交通参数的实际数据分布图,并根据待处理交通参数之间的约束关系,在所述坐标系中绘制待处理交通参数的拟合曲线;偏离度确定模块13,用于确定待处理交通参数的实际数据与所述拟合曲线之间的偏离度;第一标记模块14,用于将偏离度大于第一阈值的待处理交通参数的实际数据,标记为异常数据。
本实施例的装置,可以用于执行图1所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
在本申请一实施例中,所述待处理交通参数包括时间占有率和流量;参看图5,所述装置还包括:第一计算模块15、第二计算模块16、以及第一阈值确定模块17;其中,第一计算模块15,用于根据视频检测器输出的数据,计算时间占有率的理论数据;第二计算模块16,用于计算时间占有率的理论数据和实际数据之间的差值;第一阈值确定模块17,用于根据时间占有率的理论数据和实际数据之间的差值,确定时间占有率的理论数据和实际数据之间的差值的阈值,并将时间占有率的理论数据和实际数据之间的差值的阈值,作为所述第一阈值。
在本申请一实施例中,所述第一计算模块15,具体用于:根据如下公式计算时间占有率的理论数据Occ
Occ=c*k;
其中,c表示车身长度与视频检测器长度之和;k表示交通流密度,
Figure BDA0001813562430000141
其中,Q表示流量,
Figure BDA0001813562430000142
良示平均速度。
参看图6,在本申请一实施例中,所述装置还包括:第二标记模块18和第一删除模块19;其中,第二标记模块18,用于在视频检测器输出的视频中,标出所述视频中的可疑数据;第一删除模块19,用于将所述异常数据与所述可疑数据进行对比,若所述异常数据与所述可疑数据相匹配,则确定所述异常数据为真的异常数据,并将确定为真的异常数据删除。
本实施例的装置,可以用于执行图2所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
参看图7,在本申请一实施例中,所述待处理交通参数包括车辆排队长度;
所述装置还包括:第三计算模块20、第四计算模块21、以及第二删除模块22;其中,第三计算模块20,用于根据视频检测器输出的数据,计算车辆排队长度的理论数据;第四计算模块21,用于在剩余的待处理交通参数的实际数据中,计算车辆排队长度的实际数据与理论数据之间的差值;第二删除模块22,用于若剩余的待处理交通参数的实际数据中,车辆排队长度的实际数据与理论数据之间的差值的绝对值大于第二阈值,则将相应的车辆排队长度的实际数据删除。
本实施例的装置,可以用于执行图3所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
在本申请一实施例中,所述装置还包括:第二阈值确定模块23,用于从视频检测器输出的历史数据中,选取车辆排队长度的历史实际数据;根据视频检测器输出的历史数据,计算车辆排队长度的历史理论数据;根据车辆排队长度的历史理论数据和历史实际数据,确定车辆排队长度的差值的阈值,并将车辆排队长度的差值的阈值作为所述第二阈值。
图8为本发明实施例电子设备的结构示意图。参看图8,本实施例电子设备,包括处理器31及存储器32;其中,所述存储器32存储有可被处理器31调用的程序;其中,所述处理器31执行所述程序时,实现如前述任一实施例所述的路段交通数据预处理方法。
该电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子设备。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将
一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
为了描述的方便,描述以上装置是以功能分为各种单元/模块分别描述。当然,在实施本申请时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种路段交通数据预处理方法,其特征在于,包括:
从视频检测器输出的数据中,选取待处理交通参数的实际数据;
根据待处理交通参数的实际数据,在同一坐标系中,绘制待处理交通参数的实际数据分布图,并根据待处理交通参数之间的约束关系,在所述坐标系中绘制待处理交通参数的拟合曲线;
确定待处理交通参数的实际数据与所述拟合曲线之间的偏离度;
将偏离度大于第一阈值的待处理交通参数的实际数据,标记为异常数据。
2.根据权利要求1所述的路段交通数据预处理方法,其特征在于,所述待处理交通参数包括时间占有率和流量;
其中,在将偏离度大于第一阈值的待处理交通参数的实际数据,标记为异常数据之前,所述方法还包括:
根据视频检测器输出的历史数据,计算时间占有率的历史理论数据;
计算时间占有率的历史理论数据和历史实际数据之间的差值;
确定时间占有率的历史理论数据和历史实际数据之间的差值的频率分布,根据该频率分布确定时间占有率的历史理论数据和历史实际数据之间的差值的阈值,并将时间占有率的历史理论数据和历史实际数据之间的差值的阈值,作为所述第一阈值。
3.根据权利要求2所述的路段交通数据预处理方法,其特征在于,所述根据视频检测器输出的数据,计算时间占有率的历史理论数据包括:
根据如下公式计算时间占有率的理论数据Occ
Occ=c*k;
其中,
c表示车身长度与视频检测器长度之和;
k表示交通流密度,
Figure FDA0001813562420000011
其中,Q表示流量,
Figure FDA0001813562420000012
表示平均速度。
4.根据权利要求1或2所述的路段交通数据预处理方法,其特征在于,
在将偏离度大于第一阈值的待处理交通参数的实际数据,标记为异常数据之后,所述方法还包括:
在视频检测器输出的视频中,标出所述视频中的可疑数据;
将所述异常数据与所述可疑数据进行对比,若所述异常数据与所述可疑数据相匹配,则确定所述异常数据为真的异常数据,并将确定为真的异常数据删除。
5.根据权利要求4所述的路段交通数据预处理方法,其特征在于,所述待处理交通参数包括车辆排队长度;
其中,在将确定为真的异常数据删除之后,所述方法还包括:
根据视频检测器输出的数据,计算车辆排队长度的理论数据;
在剩余的待处理交通参数的实际数据中,计算车辆排队长度的实际数据与理论数据之间的差值;
若剩余的待处理交通参数的实际数据中,车辆排队长度的实际数据与理论数据之间的差值的绝对值大于第二阈值,则将相应的车辆排队长度的实际数据删除。
6.根据权利要求5所述的路段交通数据预处理方法,其特征在于,在剩余的待处理交通参数的实际数据中,判断是否有大于第二阈值的车辆排队长度之前,所述方法还包括:
从视频检测器输出的历史数据中,选取车辆排队长度的历史实际数据;
根据视频检测器输出的历史数据,计算车辆排队长度的历史理论数据;
根据车辆排队长度的历史理论数据和历史实际数据,计算车辆排队长度的历史理论数据和历史实际数据之间的差值;
确定车辆排队长度的历史理论数据和历史实际数据之间的差值的频率分布,根据该频率分布确定车辆排队长度的差值的阈值,并将车辆排队长度的差值的阈值作为所述第二阈值。
7.一种路段交通数据预处理装置,其特征在于,包括:
数据获取模块,用于从视频检测器输出的数据中,选取待处理交通参数的实际数据;
绘图模块,用于根据待处理交通参数的实际数据,在同一坐标系中,绘制待处理交通参数的实际数据分布图,并根据待处理交通参数之间的约束关系,在所述坐标系中绘制待处理交通参数的拟合曲线;
偏离度确定模块,用于确定待处理交通参数的实际数据与所述拟合曲线之间的偏离度;
第一标记模块,用于将偏离度大于第一阈值的待处理交通参数的实际数据,标记为异常数据。
8.根据权利要求7所述的路段交通数据预处理装置,其特征在于,所述待处理交通参数包括时间占有率和流量;
所述装置还包括:
第一计算模块,用于根据视频检测器输出的历史数据,计算时间占有率的历史理论数据;
第二计算模块,用于计算时间占有率的历史理论数据和历史实际数据之间的差值;
第一阈值确定模块,用于确定时间占有率的历史理论数据和历史实际数据之间的差值的频率分布,根据该频率分布确定时间占有率的历史理论数据和历史实际数据之间的差值的阈值,并将时间占有率的历史理论数据和历史实际数据之间的差值的阈值,作为所述第一阈值。
9.根据权利要求8所述的路段交通数据预处理装置,其特征在于,所述第一计算模块,具体用于:
根据如下公式计算时间占有率的理论数据Occ
Occ=c*k;
其中,
c表示车身长度与视频检测器长度之和;
k表示交通流密度,
Figure FDA0001813562420000031
其中,Q表示流量,
Figure FDA0001813562420000032
表示平均速度。
10.一种电子设备,其特征在于,包括处理器及存储器;其中,所述存储器存储有可被处理器调用的程序;其中,所述处理器执行所述程序时,实现如权利要求1-6中任意一项所述的路段交通数据预处理方法。
CN201811134904.8A 2018-09-27 2018-09-27 一种路段交通数据预处理方法、装置及电子设备 Active CN110956800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811134904.8A CN110956800B (zh) 2018-09-27 2018-09-27 一种路段交通数据预处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811134904.8A CN110956800B (zh) 2018-09-27 2018-09-27 一种路段交通数据预处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110956800A true CN110956800A (zh) 2020-04-03
CN110956800B CN110956800B (zh) 2021-07-23

Family

ID=69975268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811134904.8A Active CN110956800B (zh) 2018-09-27 2018-09-27 一种路段交通数据预处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110956800B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833616A (zh) * 2020-07-10 2020-10-27 北京交通大学 面向网联货车超载识别的数据质量控制方法及装置
WO2021237465A1 (zh) * 2020-05-26 2021-12-02 华为技术有限公司 数据处理方法、装置及设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1645402A (zh) * 2005-01-19 2005-07-27 北京交通大学 一种道路交通流数据质量控制方法与装置
JP2006344188A (ja) * 2005-06-07 2006-12-21 Asia Kaientai:Kk 交通渋滞と「つるつる路面」検知装置および河川流量計測監視装置と防災防犯監視および防災救助装置
CN101154295A (zh) * 2006-09-28 2008-04-02 长江航道规划设计研究院 航道三维仿真电子图
CN102034353A (zh) * 2010-11-04 2011-04-27 东南大学 基于固定检测器的城市道路交通事故排队长度测算方法
CN102136194A (zh) * 2011-03-22 2011-07-27 浙江工业大学 基于全景计算机视觉的道路交通状态检测装置
CN102496266A (zh) * 2011-12-07 2012-06-13 北京云星宇交通工程有限公司 一种交通流数据预处理方法
CN104121985A (zh) * 2013-04-29 2014-10-29 艾默生电气(美国)控股公司(智利)有限公司 过采样数据的选择性抽取和分析
CN105303833A (zh) * 2015-11-05 2016-02-03 安徽四创电子股份有限公司 基于微波车辆检测器的高架桥突发事件判别方法
CN105513357A (zh) * 2015-12-30 2016-04-20 银江股份有限公司 一种基于微波数据的交通流基本图参数标定方法
CN108062349A (zh) * 2017-10-31 2018-05-22 深圳大学 基于视频结构化数据及深度学习的视频监控方法和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1645402A (zh) * 2005-01-19 2005-07-27 北京交通大学 一种道路交通流数据质量控制方法与装置
JP2006344188A (ja) * 2005-06-07 2006-12-21 Asia Kaientai:Kk 交通渋滞と「つるつる路面」検知装置および河川流量計測監視装置と防災防犯監視および防災救助装置
CN101154295A (zh) * 2006-09-28 2008-04-02 长江航道规划设计研究院 航道三维仿真电子图
CN102034353A (zh) * 2010-11-04 2011-04-27 东南大学 基于固定检测器的城市道路交通事故排队长度测算方法
CN102136194A (zh) * 2011-03-22 2011-07-27 浙江工业大学 基于全景计算机视觉的道路交通状态检测装置
CN102496266A (zh) * 2011-12-07 2012-06-13 北京云星宇交通工程有限公司 一种交通流数据预处理方法
CN104121985A (zh) * 2013-04-29 2014-10-29 艾默生电气(美国)控股公司(智利)有限公司 过采样数据的选择性抽取和分析
CN105303833A (zh) * 2015-11-05 2016-02-03 安徽四创电子股份有限公司 基于微波车辆检测器的高架桥突发事件判别方法
CN105513357A (zh) * 2015-12-30 2016-04-20 银江股份有限公司 一种基于微波数据的交通流基本图参数标定方法
CN108062349A (zh) * 2017-10-31 2018-05-22 深圳大学 基于视频结构化数据及深度学习的视频监控方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MORGAN W. TINGLEY ET AL.: ""Detecting range shifts from historical species occurrences: new perspectives on old data"", 《TRENDS IN ECOLOGY&EVOLUTION》 *
陆化普 等: ""基于动态阈值的交通流故障数据实时识别方法"", 《土木工程学报》 *
陆明伟 等: ""一种基于曲线拟合异常检测的交通数据预处理方法"", 《计算机研究与发展》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021237465A1 (zh) * 2020-05-26 2021-12-02 华为技术有限公司 数据处理方法、装置及设备
CN111833616A (zh) * 2020-07-10 2020-10-27 北京交通大学 面向网联货车超载识别的数据质量控制方法及装置
CN111833616B (zh) * 2020-07-10 2021-11-16 北京交通大学 面向网联货车超载识别的数据质量控制方法及装置

Also Published As

Publication number Publication date
CN110956800B (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
US9797740B2 (en) Method of determining trajectories through one or more junctions of a transportation network
US9818295B2 (en) Methods and systems for detecting a closure of a navigable element
CN100535957C (zh) 交通信息系统
WO2017133627A1 (zh) 用户通勤轨迹管理方法、装置及系统
US20110153189A1 (en) Historical traffic data compression
WO2022142042A1 (zh) 异常数据的检测方法、装置、计算机设备和存储介质
EP3349200A1 (en) Method and device for processing traffic road information
CN110458854A (zh) 一种道路边缘检测方法和装置
CN105120433A (zh) 基于连续采样及模糊聚类处理的wlan室内定位方法
CN106767772B (zh) 地磁指纹分布图的构建方法和装置及定位方法和装置
US10830604B2 (en) Methods and systems for detecting a closure of a navigable element
CN107665289B (zh) 一种运营商数据的处理方法及系统
CN110956800B (zh) 一种路段交通数据预处理方法、装置及电子设备
CN105910612A (zh) 一种个性化导航的方法及系统
JPWO2018190428A1 (ja) 需要予測装置
CN109115257A (zh) 传感器特性曲线的修正方法、装置、设备及存储介质
JENG et al. Vehicle reidentification with the inductive loop signature technology
CN112530163A (zh) 交通事故预测方法、装置、电子设备及存储介质
CN111046895A (zh) 一种确定目标区域的方法和装置
CN109063727B (zh) 计算轨迹频繁度的方法、装置、存储介质及电子设备
Hashemi Automatic inference of road and pedestrian networks from spatial-temporal trajectories
CN113159457A (zh) 一种智能路径规划的方法、系统及电子设备
CN110942019B (zh) 一种用于找出两条轨迹的最长伴随子路径的分析方法
JP2007188340A (ja) 通過時間提供装置
CN110264725B (zh) 路段流量的确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant