CN117975742A - 基于大数据的智慧城市交通管理系统及方法 - Google Patents
基于大数据的智慧城市交通管理系统及方法 Download PDFInfo
- Publication number
- CN117975742A CN117975742A CN202410370503.1A CN202410370503A CN117975742A CN 117975742 A CN117975742 A CN 117975742A CN 202410370503 A CN202410370503 A CN 202410370503A CN 117975742 A CN117975742 A CN 117975742A
- Authority
- CN
- China
- Prior art keywords
- data
- time period
- time
- period
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000008859 change Effects 0.000 claims abstract description 58
- 238000005070 sampling Methods 0.000 claims abstract description 51
- 238000012937 correction Methods 0.000 claims abstract description 19
- 238000007726 management method Methods 0.000 claims description 20
- 230000000737 periodic effect Effects 0.000 claims description 17
- 230000007704 transition Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000003252 repetitive effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 7
- 238000007906 compression Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 206010039203 Road traffic accident Diseases 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明涉及数据处理技术领域,具体涉及基于大数据的智慧城市交通管理系统及方法,包括:将原始时序数据序列划分为若干个时间段,计算时间段内每个数据的唯一性,再将时间段等分为若干个小时间段,根据小时间段对应的权重,确定时间段内数据值大小的复杂性,结合时间段内数据变化的周期规律性,确定时间段内数据变化的复杂性,再结合时间段对应的重复特征以及原始时序数据序列的校正系数,确定时间段的重要性,由此确定时间段对应的数据采样时间间隔,完成时间段的数据采样,从而完成原始时序数据序列的数据采样,对采样数据进行压缩存储。本发明通过自适应数据采样时间间隔,令采样数据较少的同时,保障数据的精度和准确性。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及基于大数据的智慧城市交通管理系统及方法。
背景技术
基于大数据的智慧城市交通管理是指利用大数据技术和分析方法来获取、处理和应用交通领域的海量数据,以优化城市交通运行和管理的方式。通过收集和分析交通数据、出行数据、环境数据等,可以深入了解交通系统的运行状况和城市居民的出行需求,从而制定更有效的交通规划、管理和决策,用以提高交通系统的效率和安全性,减少交通拥堵和排放,提升出行体验和城市居民的生活质量。
而采集的交通领域的海量数据会消耗大量的存储空间,因此需要对采集的数据进行高效的压缩处理,减少存储空间的占用,并且可以快速的读取和写入数据,加快数据处理速度,从而高效、及时的制定出交通规划。
对采集数据进行数据采样,对采样数据进行压缩存储,可以有效的减少需要存储的数据、减少存储空间的占用,但数据采样会引起信息损失,降低数据的精度和准确性。因此,在选择数据采样时间间隔时,需要权衡存储需求和数据质量,并确保压缩后的数据仍能满足分析、查询和决策等需求。
现有的问题:交通数据会受到大型活动、突发交通事故、恶劣的天气、道路施工养护等因素的影响,且影响时长不定,因此不同时间上的交通数据对后续的交通规划精准制定的影响不同,当数据采样时间间隔过小时,数据压缩效率较低,当数据采样时间间隔过大时,会较大的降低数据的精度和准确性,影响制定出的交通规划的可行性。
发明内容
本发明提供基于大数据的智慧城市交通管理系统及方法,以解决现有的问题。
本发明的基于大数据的智慧城市交通管理系统及方法采用如下技术方案:
本发明一个实施例提供了基于大数据的智慧城市交通管理方法,该方法包括以下步骤:
使用地磁传感器采集城市内待管理路段的交通流量数据,记为原始时序数据序列,将原始时序数据序列划分为若干个时间段;根据原始时序数据序列中的数据特征,确定原始时序数据序列中每个数据的出现概率和数值差异;
根据时间段内每个数据的出现概率和数值差异,确定时间段内每个数据的唯一性;将时间段等分为若干个小时间段,根据小时间段内所有数据的唯一性,确定小时间段对应的权重;根据时间段内所有小时间段对应的权重和数据值大小,确定时间段内数据值大小的复杂性;
区分时间段内若干个单周期时间段,根据时间段内所有单周期时间段之间的特征,确定时间段内数据变化的周期规律性;根据时间段内数据变化的周期规律性和时间段内数据值大小的复杂性,确定时间段内数据变化的复杂性;
根据时间段对应的重复特征和时间段内数据变化的复杂性,确定时间段的初始重要性;根据时间段的初始重要性和原始时序数据序列的校正系数,确定时间段的重要性;
根据时间段的重要性,确定时间段对应的数据采样时间间隔;根据时间段对应的数据采样时间间隔,确定时间段对应的采样数据;根据所有时间段对应的采样数据,确定原始时序数据序列对应的总采样数据,对总采样数据进行压缩存储。
进一步地,所述根据原始时序数据序列中的数据特征,确定原始时序数据序列中每个数据的出现概率和数值差异,包括的具体步骤如下:
根据原始时序数据序列中每个数据值的大小,将原始时序数据序列中每个数据的数据值在原始时序数据序列中出现的次数除以原始时序数据序列内的数据数量的商,记为出现概率;
将原始时序数据序列中每个数据减去其相邻数据均值的差的绝对值,记为数值差异。
进一步地,所述根据时间段内每个数据的出现概率和数值差异,确定时间段内每个数据的唯一性;将时间段等分为若干个小时间段,根据小时间段内所有数据的唯一性,确定小时间段对应的权重,包括的具体步骤如下:
将数据的数值差异与一减去数据的出现概率的差的乘积,记为数据的唯一性;
根据预设的等分数量,将时间段等分为若干个小时间段;将小时间段内每个数据的唯一性除以小时间段内所有数据的唯一性之和的商,记为小时间段内每个数据的唯一性的权重;
将小时间段内所有数据的唯一性的权重和小时间段内所有数据的唯一性的乘积之和,记为小时间段对应的权重。
进一步地,所述根据时间段内所有小时间段对应的权重和数据值大小,确定时间段内数据值大小的复杂性对应的具体计算公式为:
其中D为时间段内数据值大小的复杂性,t为预设的等分数量,为时间段等分的第j个小时间段内的数据均值,/>为时间段内的数据均值,/>为时间段等分的第j个小时间段对应的权重,/>为时间段等分的所有小时间段对应的权重之和。
进一步地,所述区分时间段内若干个单周期时间段,根据时间段内所有单周期时间段之间的特征,确定时间段内数据变化的周期规律性;根据时间段内数据变化的周期规律性和时间段内数据值大小的复杂性,确定时间段内数据变化的复杂性,包括的具体步骤如下:
使用最小二乘法对时间段内的数据进行波动曲线拟合,使用拟合的波动曲线上的波谷点分割时间段,将时间段内相邻两波谷点之间的局部时间段,记为单周期时间段;
若时间段内的单周期时间段的数量大于预设的单周期时间段的数量阈值时,将单周期时间段内相邻数据的差值的绝对值,记为相邻数据的趋势值;
将单周期时间段内所有相邻数据的趋势值构成的序列,记为趋势值序列;
依次计算趋势值序列中前一个数据减去后一个数据的差值,得到趋势差值序列;
将趋势差值序列中为负的数据记为-1、为正的数据记为1、为零的数据记为0,得到趋势变化序列;
将趋势变化序列中相邻数据不相同的出现次数,记为单周期时间段内的趋势状态转变次数;
将单周期时间段内的趋势状态转变次数除以数据数量,记为单周期时间段对应的权重;
根据时间段内所有单周期时间段对应的权重、时间段内所有单周期时间段内的数据数量,确定时间段内数据变化的周期规律性;
若时间段内的单周期时间段的数量小于等于预设的单周期时间段的数量阈值时,将预设的周期规律性,记为时间段内数据变化的周期规律性;
将时间段内数据变化的周期规律性和时间段内数据值大小的复杂性的乘积的归一化值,记为时间段内数据变化的复杂性。
进一步地,所述根据时间段内所有单周期时间段对应的权重、时间段内所有单周期时间段内的数据数量,确定时间段内数据变化的周期规律性对应的具体计算公式为:
其中K为时间段内数据变化的周期规律性,x为时间段内的单周期时间段的数量,m为时间段内的数据数量,为时间段内的第i个单周期时间段内的数据数量,/>为时间段内所有单周期时间段内的数据数量均值,/>为时间段内的第i个单周期时间段对应的权重,/>为时间段内所有单周期时间段对应的权重之和。
进一步地,所述根据时间段对应的重复特征和时间段内数据变化的复杂性,确定时间段的初始重要性,包括的具体步骤如下:
使用DTW算法分别计算原始时序数据序列中一个时间段与其它时间段内数据的DTW距离,将所有DTW距离中的最小值,记为重复特征;
将时间段对应的重复特征和时间段内数据变化的复杂性的乘积,记为时间段的初始重要性。
进一步地,所述根据时间段的初始重要性和原始时序数据序列的校正系数,确定时间段的重要性,包括的具体步骤如下:
根据时间段对应的重复特征和所有时间段对应的重复特征之和,确定时间段对应的权重;
将选取的若干组历史交通流量时序数据序列,记为参考时序数据序列;
根据所有参考时序数据序列中相同时间点上数据的均值,得到标准参考时序数据序列;将标准参考时序数据序列划分为若干个时间段,记为标准参考时间段;
根据时间点的大小,得到每个时间段对应的相同时间点上的标准参考时间段;
使用DTW算法计算每个时间段与其对应的标准参考时间段内数据的DTW距离,根据所有时间段与其对应的标准参考时间段内数据的DTW距离和所有时间段对应的权重,确定原始时序数据序列的校正系数;
将时间段的初始重要性和原始时序数据序列的校正系数的乘积的归一化值,记为时间段的重要性。
进一步地,所述根据所有时间段与其对应的标准参考时间段内数据的DTW距离和所有时间段对应的权重,确定原始时序数据序列的校正系数对应的具体计算公式为:
其中U为原始时序数据序列的校正系数,为原始时序数据序列中第h个时间段与其对应的标准参考时间段内数据的DTW距离,/>为原始时序数据序列中第h个时间段对应的权重,/>为原始时序数据序列中所有时间段对应的权重之和,y为原始时序数据序列划分的时间段的数量,/>为以自然常数为底的指数函数,k为预设的指数函数调整值。
本发明还提出了基于大数据的智慧城市交通管理系统,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述存储器存储的计算机程序,以实现前述所述的基于大数据的智慧城市交通管理方法的步骤。
本发明的技术方案的有益效果是:
本发明实施例中,交通数据会受到大型活动、突发交通事故、恶劣的天气、道路施工养护等因素的影响,且影响时长不定,因此先将原始时序数据序列划分为若干个时间段,考虑到交通流量时序数据序列通常具有规律的周期性的波动,根据时间段内每个数据的出现概率和数值差异,确定时间段内每个数据的唯一性,再将时间段等分为若干个小时间段,根据小时间段内所有数据的唯一性,确定小时间段对应的权重,进而获取时间段内数据值大小的复杂性,结合时间段内数据变化的周期规律性,确定时间段内数据变化的复杂性,再结合时间段对应的重复特征,确定时间段的初始重要性,考虑到恶劣的天气、道路施工养护等长时间的影响,使用原始时序数据序列的校正系数进行校正,以及原始时序数据序列的校正系数,确定时间段的重要性,由此确定时间段对应的数据采样时间间隔,完成时间段的数据采样,从而完成原始时序数据序列的数据采样,对采样数据进行压缩存储。对于重要性较大,且难以准确还原的时间段内数据,赋予较小的数据采样时间间隔,保障数据的精度和准确性,令采样压缩后的数据仍能满足分析、查询和决策等需求;对于重要性较小,且容易准确还原的时间段内数据,赋予较大的数据采样时间间隔,减少采样数据的数量,提高压缩效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于大数据的智慧城市交通管理方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于大数据的智慧城市交通管理系统及方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于大数据的智慧城市交通管理系统及方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的基于大数据的智慧城市交通管理方法的步骤流程图,该方法包括以下步骤:
步骤S001:使用地磁传感器采集城市内待管理路段的交通流量数据,记为原始时序数据序列,将原始时序数据序列划分为若干个时间段;根据原始时序数据序列中的数据特征,确定原始时序数据序列中每个数据的出现概率和数值差异。
交通数据中的交通流量,即在单位时间内待管理路段所经过的车辆数,其可以直观的反映车辆在一定的时间和道路上的运行状态。因此本实施例以交通流量数据为例进行数据高效压缩存储。本实施例以一个待管理路段为例进行分析,其他待管理路段均适合用本实施例进行分析。
使用地磁传感器采集城市内待管理路段的交通流量数据,本实施例设定的采集数据时长为正常工作日的周一至周五,采集数据的单位时间为一分钟,即每分钟采集一次数据,其它实施方式中可设置为其它值,本实施例不进行限定,由此获取交通流量时序数据序列,记为原始时序数据序列。
由于人的工作和活动规划大多在时间整点开始和结束的,因此本实施例根据时间整点将原始时序数据序列划分为若干个时间段,即每个时间段的时长为一小时。
已知对采集数据进行数据采样会引起信息损失,降低数据的精度和准确性。因此需要先分析数据变化的复杂性,判断数据采样后是否能通过插值、反采样等方法,较好的还原数据。
由于交通信号灯的调控原因,交通流量时序数据序列通常具有规律的周期性的波动,其拥有固定时段的高峰交通流量和非高峰交通流量,但当出现短时间的大型活动、突发交通事故、恶劣的天气等影响时,交通流量数据会出现突然的异常波动,因此可先根据每个数据在原始时序数据序列中的冗余程度和相邻数据之间的差异,获取时间段内数据值大小的复杂性。
根据原始时序数据序列中每个数据值的大小,将原始时序数据序列中每个数据的数据值在原始时序数据序列中出现的次数除以原始时序数据序列内的数据数量的商,记为出现概率,由此获取出现概率序列,其中n为原始时序数据序列内的数据数量,/>为原始时序数据序列第n个数据的出现概率。
计算原始时序数据序列中每个数据减去其相邻数据均值的差的绝对值,记为数值差异,由此获取数值差异序列,其中n为原始时序数据序列内的数据数量,/>为原始时序数据序列第n个数据的数值差异。所需说明的是,原始时序数据序列中第一个和最后一个数据对应的相邻数据只有一个,则其相邻数据均值就是对应的一个相邻数据值。
步骤S002:根据时间段内每个数据的出现概率和数值差异,确定时间段内每个数据的唯一性;将时间段等分为若干个小时间段,根据小时间段内所有数据的唯一性,确定小时间段对应的权重;根据时间段内所有小时间段对应的权重和数据值大小,确定时间段内数据值大小的复杂性。
取一个时间段为例,获取原始时序数据序列中该时间段内数据对应的出现概率序列和数值差异序列/>,其中m表示时间段内的数据数量。本实施例设定的等分数量/>为例进行叙述,其它实施方式中可设置为其它值,本实施例不进行限定,将该时间段等分为t个小时间段。
由此可知该时间段内数据值大小的复杂性D的计算公式为:
其中D为该时间段内数据值大小的复杂性,t为设定的等分数量,为该时间段等分的第j个小时间段内的数据均值,/>为该时间段内的数据均值,/>为该时间段等分的第j个小时间段对应的权重,/>为该时间段等分的所有小时间段对应的权重/>之和,/>为该时间段内第d个数据的唯一性,/>为该时间段内第d个数据的出现概率,/>为该时间段内第d个数据的数值差异,m为时间段内的数据数量,/>为该时间段等分的第j个小时间段内第g个数据的唯一性/>,/>为该时间段等分的第j个小时间段内所有数据的唯一性之和,z为该时间段等分的小时间段内的数据数量。
所需说明的是:交通流量时序数据序列通常具有周期性的波动,当数据的出现概率的出现概率越大,且与相邻数据的数值差异/>越小时,说明该数据在出现在交通流量时序数据序中的多个周期内,且与相邻数据值相似,则该数据采样后的可还原性较好,因此用/>为/>的调整值,两者乘积为该数据的唯一性,其值越大,说明该数据越重要,且越不好准确还原。已知交通流量数据可分为高峰时段和非高峰时段,各时段内数据长期趋势无较大变化,但在高峰时段和非高峰时段的转变过程中,或者其它原因导致数据突变时,数据长期趋势存在明显的上升或者下降趋势,其越重要,因此进一步分析该时间段内数据值的平稳性和唯一性较大的数据在时间上的分布,当数据值随时间变化越平稳,即数据长期趋势无较大变化,则数据越好准确还原,故将时间段等分为小时间段,当小时间段内多为较大的唯一性数据时,该小时间段越重要,故以归一化的/>为/>的权重,加权平均获取小时间段对应的权重/>,进而以其对时间段等分的所有小时间段内的数据均值的方差进行加权,获取该时间段内数据值大小的复杂性D,其值越大,该时间段越重要,且越不好准确还原。
步骤S003:区分时间段内若干个单周期时间段,根据时间段内所有单周期时间段之间的特征,确定时间段内数据变化的周期规律性;根据时间段内数据变化的周期规律性和时间段内数据值大小的复杂性,确定时间段内数据变化的复杂性。
进一步分析时间段内的周期性特征和周期内的数据变化趋势的特征,获取时间段内数据变化的复杂性。
仍以上述举例的时间段为例,使用最小二乘法对该时间段内的数据进行波动曲线拟合,根据拟合的波动曲线上的波谷点分割该时间段,将该时间段内相邻两波谷点之间的局部时间段,记为单周期时间段。
取该时间段内的一个单周期时间段为例,依次计算该单周期时间段内相邻数据之差的绝对值,记为趋势值,获得趋势值序列,其中q为该单周期时间段内的数据数量,/>为该单周期时间段内第q-1和第q个数据之差的绝对值。
由于在数据递增或者递减趋势中会存在三种状态,分别为匀速递增或者递减、加速递增或者递减、减速递增或者递减,故再依次趋势值序列中前一个数据减去后一个数据的差,获取趋势差值序列/>,其中/>为趋势值序列/>中第q-2个数据减去第q-1个数据之差。记趋势差值序列/>中为负的数据为-1,为正的数据为1,为零的数据为0,进而得到趋势变化序列,统计趋势变化序列中相邻数据不相同的出现次数,记为趋势状态转变次数。所需说明的是,当趋势差值序列/>中的数据数量不满足两个时,说明单周期时间段内不存在趋势状态转变,则趋势状态转变次数为0。
按照上述方式,获取该时间段内的每个单周期时间段内的趋势状态转变次数。
由此可知该时间段内数据变化的复杂性H的计算公式为:
当时,K的获取方式如下:
当时,K的获取方式如下:
其中H为该时间段内数据变化的复杂性,K为该时间段内数据变化的周期规律性,为预设的周期规律性,D为该时间段内数据值大小的复杂性,x为该时间段内的单周期时间段的数量,/>为设定的单周期时间段的数量阈值,m为时间段内的数据数量,/>为该时间段内的第i个单周期时间段内的数据数量,/>为该时间段内所有单周期时间段内的数据数量均值,/>为该时间段内的第i个单周期时间段对应的权重,/>为该时间段内所有单周期时间段对应的权重之和,/>为该时间段内的第i个单周期时间段内的趋势状态转变次数,/>为线性归一化函数,将数据值归一化至[0,1]区间内。本实施例中以/>,为例进行叙述,其它实施方式中可设置为其它值,本实施例不进行限定。
所需说明的是:当时间段内的单周期时间段的数量小于等于设定的单周期时间段的数量阈值时,说明该时间段内无多个周期性波动,即该时间段较为异常,其越重要,则令该时间段内数据变化的周期规律性为设定的周期规律。当时间段内的单周期时间段的数量等于设定的单周期时间段的数量阈值时,说明该时间段内存在多个周期性波动,需要进一步分析其规律性,当单周期时间段内的趋势状态转变次数越多,且时间越短,说明该单周期时间段内数据变化越不规律,故以为该单周期时间段对应的权重/>,再以其对该时间段内所有单周期时间段内的数据数量的标准方差进行加权,即分析各单周期时间段时长之间的相似性,进而对加权的标准方差进行归一化处理,获取该时间段内数据变化的周期规律性K。至此以K为D的调整值,两者乘积的归一化值为该时间段内数据变化的复杂性H,其值越大,该时间段越重要,且越不好准确还原。
步骤S004:根据时间段对应的重复特征和时间段内数据变化的复杂性,确定时间段的初始重要性;根据时间段的初始重要性和原始时序数据序列的校正系数,确定时间段的重要性。
当受到长时间的恶劣的天气或者道路施工养护影响时,则采集的周一至周五正常工作日的交通流量数据受到同一因素的影响,若只通过交通流量时序数据序列内数据之间的特征,分析数据异常的,会导致分析的数据异常相较于实际的数据异常较小,因此需要根据历史数据的参考,获取准确的数据采样时间间隔。
按照上述方式,人为的选取若干组与上述同路段区域内无大量活动、突发交通事故、恶劣的天气等因素影响的历史交通流量时序数据序列,记为参考时序数据序列,根据正常工作日的周一至周五内的时间点,计算这几组参考时序数据序列中,相同时间点上数据的均值,获取一组标准参考时序数据序列。再按照上述方式,将标准参考时序数据序列划分为若干个时间段,记为标准参考时间段。
已知正常情况下,工作日中每天的交通流量数据具有一定程度的重复性,而突发的短时间的交通事故对交通流量数据的影响大小不定、出现时间随机。由此使用DTW算法分别计算原始时序数据序列中一个时间段与其它时间段内数据的DTW距离,将这些DTW距离中的最小值,记为重复特征。其中,DTW算法为公知技术,具体方法在此不做介绍。
按照上述方式,获取原始时序数据序列中每个时间段对应的重复特征。
根据正常工作日的周一至周五内的时间点,在原始时序数据序列和标准参考时序数据序列中,使用DTW算法分别计算同时间点上每个时间段与其对应的标准参考时间段内数据的DTW距离。
仍以上述举例的时间段为例,由此可知该时间段的重要性R的计算公式为:
其中R为该时间段的重要性,U为原始时序数据序列的校正系数,H为该时间段内数据变化的复杂性,为该时间段对应的重复特征,/>为原始时序数据序列中第h个时间段与其对应的标准参考时间段内数据的DTW距离,/>为原始时序数据序列中第h个时间段对应的权重,/>为原始时序数据序列中所有时间段对应的权重之和,/>为原始时序数据序列中第h个时间段对应的重复特征,/>为原始时序数据序列中所有时间段对应的重复特征之和,y为原始时序数据序列划分的时间段的数量,/>为线性归一化函数,将数据值归一化至[0,1]区间内,/>为以自然常数为底的指数函数,k为设定的指数函数调整值。本实施例中以/>为例进行叙述,其它实施方式中可设置为其它值,本实施例不进行限定。
所需说明的是:工作日中每天的交通流量数据具有一定程度的重复性,故取原始时序数据序列中一个时间段与其它时间段内数据的DTW距离中的最小值,表示数据段内数据的重复性,即越大,说明该正常工作日的周一至周五时间内,该时间段内出现突发交通事故的概率越大,该数据段越重要,故以H为/>的调整值,两者乘积为该时间段的初始重要性。由于原始时序数据序列中的时间段可分为正常时间段和异常时间段,异常时间段与其对应的标准参考时间段内数据的DTW距离本身就较大,不能代表原始时序数据序列和标准参考时序数据序列的差异,故需要用正常时间段与其对应的标准参考时间段内数据的DTW距离表示原始时序数据序列和标准参考时序数据序列的差异,即/>越小,说明该正常工作日的周一至周五时间内,第h个时间段内数据越正常,则其与对应的标准参考时间段内数据的DTW距离/>越可信,因此用归一化反比的/>为时间段对应的权重/>,由此对/>加权平均后的归一化值U为原始时序数据序列的校正系数,用其对该时间段的初始重要性进行校正,确定该时间段的重要性R。
步骤S005:根据时间段的重要性,确定时间段对应的数据采样时间间隔;根据时间段对应的数据采样时间间隔,确定时间段对应的采样数据;根据所有时间段对应的采样数据,确定原始时序数据序列对应的总采样数据,对总采样数据进行压缩存储。
仍以上述举例的时间段为例,本实施例设定数据采样时间间隔的取值范围为[1,10],单位为分钟,以其为例进行叙述,其它实施方式中可设置为其它值,本实施例不进行限定。则该时间段对应的数据采样时间间隔P的计算公式为:
其中P为该时间段对应的数据采样时间间隔,R为该时间段的重要性,⌊ ⌋为向下取整。
所需说明的是:该时间段的重要性R越大,则该时间段越重要、越不好准确还原,需要较小的数据采样时间间隔,保障数据的精度和准确性。
根据该时间段对应的数据采样时间间隔P,在该时间段内每隔P分钟进行一次数据采样,获得该时间段对应的采样数据。
按照上述方式,获得原始时序数据序列中每个时间段对应的采样数据,根据原始时序数据序列中所有时间段对应的采样数据构成原始时序数据序列对应的总采样数据。使用霍夫曼编码对总采样数据进行压缩处理。其中,霍夫曼编码为公知技术,具体方法在此不做介绍。
按照上述方式,对周六和周天采集的交通流量时序数据序列进行数据采样和压缩处理,而对于春节、端午等节假日,每种节假日每年只有一次,数据量较少,且每种节假日需要针对性的交通规划,因此直接对节假日采集的交通流量时序数据序列进行压缩处理。
将采样并压缩后的数据存储到大数据平台中,利用数据挖掘、机器学习和统计分析等技术对交通数据进行分析,实时监测交通状况、拥堵情况和交通事件。再基于历史数据和实时数据,使用预测模型和算法进行交通预测,包括拥堵预测、交通流量预测等,从而制定相应的交通规划,对交通信号灯进行协调调度,并通过移动应用程序、电子显示屏等渠道向驾驶员和市民提供实时的交通信息,包括路况信息、最佳路径规划等。
至此,本发明完成。
综上所述,在本发明实施例中,将原始时序数据序列划分为若干个时间段,根据时间段内每个数据的出现概率和数值差异,确定时间段内每个数据的唯一性,再将时间段等分为若干个小时间段,根据小时间段内所有数据的唯一性,确定小时间段对应的权重,进而获取时间段内数据值大小的复杂性。结合时间段内数据变化的周期规律性,确定时间段内数据变化的复杂性。再结合时间段对应的重复特征以及原始时序数据序列的校正系数,确定时间段的重要性,由此确定时间段对应的数据采样时间间隔,完成时间段的数据采样,从而完成原始时序数据序列的数据采样,对采样数据进行压缩存储。对于重要性较大,且难以准确还原的时间段内数据,赋予较小的数据采样时间间隔,保障数据的精度和准确性,令采样压缩后的数据仍能满足分析、查询和决策等需求;对于重要性较小,且容易准确还原的时间段内数据,赋予较大的数据采样时间间隔,减少采样数据的数量,提高压缩效率。
本发明还提供了基于大数据的智慧城市交通管理系统,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述存储器存储的计算机程序,以实现前述所述的基于大数据的智慧城市交通管理方法的步骤。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.基于大数据的智慧城市交通管理方法,其特征在于,该方法包括以下步骤:
使用地磁传感器采集城市内待管理路段的交通流量数据,记为原始时序数据序列,将原始时序数据序列划分为若干个时间段;根据原始时序数据序列中的数据特征,确定原始时序数据序列中每个数据的出现概率和数值差异;
根据时间段内每个数据的出现概率和数值差异,确定时间段内每个数据的唯一性;将时间段等分为若干个小时间段,根据小时间段内所有数据的唯一性,确定小时间段对应的权重;根据时间段内所有小时间段对应的权重和数据值大小,确定时间段内数据值大小的复杂性;
区分时间段内若干个单周期时间段,根据时间段内所有单周期时间段之间的特征,确定时间段内数据变化的周期规律性;根据时间段内数据变化的周期规律性和时间段内数据值大小的复杂性,确定时间段内数据变化的复杂性;
根据时间段对应的重复特征和时间段内数据变化的复杂性,确定时间段的初始重要性;根据时间段的初始重要性和原始时序数据序列的校正系数,确定时间段的重要性;
根据时间段的重要性,确定时间段对应的数据采样时间间隔;根据时间段对应的数据采样时间间隔,确定时间段对应的采样数据;根据所有时间段对应的采样数据,确定原始时序数据序列对应的总采样数据,对总采样数据进行压缩存储;
所述区分时间段内若干个单周期时间段,根据时间段内所有单周期时间段之间的特征,确定时间段内数据变化的周期规律性;根据时间段内数据变化的周期规律性和时间段内数据值大小的复杂性,确定时间段内数据变化的复杂性,包括的具体步骤如下:
使用最小二乘法对时间段内的数据进行波动曲线拟合,使用拟合的波动曲线上的波谷点分割时间段,将时间段内相邻两波谷点之间的局部时间段,记为单周期时间段;
若时间段内的单周期时间段的数量大于预设的单周期时间段的数量阈值时,将单周期时间段内相邻数据的差值的绝对值,记为相邻数据的趋势值;
将单周期时间段内所有相邻数据的趋势值构成的序列,记为趋势值序列;
依次计算趋势值序列中前一个数据减去后一个数据的差值,得到趋势差值序列;
将趋势差值序列中为负的数据记为-1、为正的数据记为1、为零的数据记为0,得到趋势变化序列;
将趋势变化序列中相邻数据不相同的出现次数,记为单周期时间段内的趋势状态转变次数;
将单周期时间段内的趋势状态转变次数除以单周期时间段内的数据数量,记为单周期时间段对应的权重;
根据时间段内所有单周期时间段对应的权重、时间段内所有单周期时间段内的数据数量,确定时间段内数据变化的周期规律性;
若时间段内的单周期时间段的数量小于等于预设的单周期时间段的数量阈值时,将预设的周期规律性,记为时间段内数据变化的周期规律性;
将时间段内数据变化的周期规律性和时间段内数据值大小的复杂性的乘积的归一化值,记为时间段内数据变化的复杂性。
2.根据权利要求1所述基于大数据的智慧城市交通管理方法,其特征在于,所述根据原始时序数据序列中的数据特征,确定原始时序数据序列中每个数据的出现概率和数值差异,包括的具体步骤如下:
根据原始时序数据序列中每个数据值的大小,将原始时序数据序列中每个数据的数据值在原始时序数据序列中出现的次数除以原始时序数据序列内的数据数量的商,记为出现概率;
将原始时序数据序列中每个数据减去其相邻数据均值的差的绝对值,记为数值差异。
3.根据权利要求1所述基于大数据的智慧城市交通管理方法,其特征在于,所述根据时间段内每个数据的出现概率和数值差异,确定时间段内每个数据的唯一性;将时间段等分为若干个小时间段,根据小时间段内所有数据的唯一性,确定小时间段对应的权重,包括的具体步骤如下:
将数据的数值差异与一减去数据的出现概率的差的乘积,记为数据的唯一性;
根据预设的等分数量,将时间段等分为若干个小时间段;将小时间段内每个数据的唯一性除以小时间段内所有数据的唯一性之和的商,记为小时间段内每个数据的唯一性的权重;
将小时间段内所有数据的唯一性的权重和小时间段内所有数据的唯一性的乘积之和,记为小时间段对应的权重。
4.根据权利要求1所述基于大数据的智慧城市交通管理方法,其特征在于,所述根据时间段内所有小时间段对应的权重和数据值大小,确定时间段内数据值大小的复杂性对应的具体计算公式为:
其中D为时间段内数据值大小的复杂性,t为预设的等分数量,为时间段等分的第j个小时间段内的数据均值,/>为时间段内的数据均值,/>为时间段等分的第j个小时间段对应的权重,/>为时间段等分的所有小时间段对应的权重之和。
5.根据权利要求1所述基于大数据的智慧城市交通管理方法,其特征在于,所述根据时间段内所有单周期时间段对应的权重、时间段内所有单周期时间段内的数据数量,确定时间段内数据变化的周期规律性对应的具体计算公式为:
其中K为时间段内数据变化的周期规律性,x为时间段内的单周期时间段的数量,m为时间段内的数据数量,为时间段内的第i个单周期时间段内的数据数量,/>为时间段内所有单周期时间段内的数据数量均值,/>为时间段内的第i个单周期时间段对应的权重,为时间段内所有单周期时间段对应的权重之和。
6.根据权利要求1所述基于大数据的智慧城市交通管理方法,其特征在于,所述根据时间段对应的重复特征和时间段内数据变化的复杂性,确定时间段的初始重要性,包括的具体步骤如下:
使用DTW算法分别计算原始时序数据序列中一个时间段与其它时间段内数据的DTW距离,将所有DTW距离中的最小值,记为重复特征;
将时间段对应的重复特征和时间段内数据变化的复杂性的乘积,记为时间段的初始重要性。
7.根据权利要求1所述基于大数据的智慧城市交通管理方法,其特征在于,所述根据时间段的初始重要性和原始时序数据序列的校正系数,确定时间段的重要性,包括的具体步骤如下:
根据时间段对应的重复特征和所有时间段对应的重复特征之和,确定时间段对应的权重;
将选取的若干组历史交通流量时序数据序列,记为参考时序数据序列;
根据所有参考时序数据序列中相同时间点上数据的均值,得到标准参考时序数据序列;将标准参考时序数据序列划分为若干个时间段,记为标准参考时间段;
根据时间点的大小,得到每个时间段对应的相同时间点上的标准参考时间段;
使用DTW算法计算每个时间段与其对应的标准参考时间段内数据的DTW距离,根据所有时间段与其对应的标准参考时间段内数据的DTW距离和所有时间段对应的权重,确定原始时序数据序列的校正系数;
将时间段的初始重要性和原始时序数据序列的校正系数的乘积的归一化值,记为时间段的重要性。
8.根据权利要求7所述基于大数据的智慧城市交通管理方法,其特征在于,所述根据所有时间段与其对应的标准参考时间段内数据的DTW距离和所有时间段对应的权重,确定原始时序数据序列的校正系数对应的具体计算公式为:
其中U为原始时序数据序列的校正系数,为原始时序数据序列中第h个时间段与其对应的标准参考时间段内数据的DTW距离,/>为原始时序数据序列中第h个时间段对应的权重,/>为原始时序数据序列中所有时间段对应的权重之和,y为原始时序数据序列划分的时间段的数量,/>为以自然常数为底的指数函数,k为预设的指数函数调整值。
9.基于大数据的智慧城市交通管理系统,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的基于大数据的智慧城市交通管理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410370503.1A CN117975742A (zh) | 2024-03-29 | 2024-03-29 | 基于大数据的智慧城市交通管理系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410370503.1A CN117975742A (zh) | 2024-03-29 | 2024-03-29 | 基于大数据的智慧城市交通管理系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117975742A true CN117975742A (zh) | 2024-05-03 |
Family
ID=90846372
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410370503.1A Pending CN117975742A (zh) | 2024-03-29 | 2024-03-29 | 基于大数据的智慧城市交通管理系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117975742A (zh) |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110738855A (zh) * | 2019-10-29 | 2020-01-31 | 王程 | 一种数据稀疏时间段的道路交通流状况预测方法 |
CN115801901A (zh) * | 2023-01-05 | 2023-03-14 | 安徽皖欣环境科技有限公司 | 一种企业生产排放数据压缩处理方法 |
CN115955251A (zh) * | 2023-03-15 | 2023-04-11 | 北京智蚁杨帆科技有限公司 | 一种基于大数据应用的可再生能源智慧管理方法及系统 |
CN115994137A (zh) * | 2023-03-23 | 2023-04-21 | 无锡弘鼎软件科技有限公司 | 一种基于物联网应用服务系统的数据管理方法 |
CN116226691A (zh) * | 2023-05-08 | 2023-06-06 | 深圳市魔样科技有限公司 | 用于手势姿态感知的智能戒指数据处理方法 |
CN116320042A (zh) * | 2023-05-16 | 2023-06-23 | 陕西思极科技有限公司 | 边缘计算的物联终端监测控制系统 |
CN116400870A (zh) * | 2023-06-08 | 2023-07-07 | 西安品盛互联网技术有限公司 | 一种基于物联网的现场施工在线管理系统 |
CN116756493A (zh) * | 2023-08-15 | 2023-09-15 | 湖南湘江智慧科技股份有限公司 | 一种安消防集指平台数据管理方法 |
CN116821833A (zh) * | 2023-08-29 | 2023-09-29 | 好林(威海)新材料有限公司 | 一种机器滤布粘连的数据异常检测方法 |
US11792303B1 (en) * | 2022-09-30 | 2023-10-17 | International Business Machines Corporation | Fast clear memory of system memory |
CN117093828A (zh) * | 2023-10-16 | 2023-11-21 | 张家港市友明机械制造有限公司 | 一种液压缸缸体密封性检测方法及系统 |
CN117131530A (zh) * | 2023-10-20 | 2023-11-28 | 合肥亚明汽车部件有限公司 | 一种智慧工厂敏感数据加密防护方法 |
CN117411947A (zh) * | 2023-12-15 | 2024-01-16 | 安徽中科大国祯信息科技有限责任公司 | 基于云边协同的水务数据快速传输方法 |
CN117423230A (zh) * | 2023-10-10 | 2024-01-19 | 智慧互通科技股份有限公司 | 一种用于智能交通的导流控制方法及系统 |
CN117435873A (zh) * | 2023-12-21 | 2024-01-23 | 山东中都机器有限公司 | 一种基于智能喷雾降尘的数据管理方法 |
CN117708459A (zh) * | 2023-11-07 | 2024-03-15 | 福建省九龙江流域中心 | 一种水利多变量时序数据加载处理优化方法及终端 |
-
2024
- 2024-03-29 CN CN202410370503.1A patent/CN117975742A/zh active Pending
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110738855A (zh) * | 2019-10-29 | 2020-01-31 | 王程 | 一种数据稀疏时间段的道路交通流状况预测方法 |
US11792303B1 (en) * | 2022-09-30 | 2023-10-17 | International Business Machines Corporation | Fast clear memory of system memory |
CN115801901A (zh) * | 2023-01-05 | 2023-03-14 | 安徽皖欣环境科技有限公司 | 一种企业生产排放数据压缩处理方法 |
CN115955251A (zh) * | 2023-03-15 | 2023-04-11 | 北京智蚁杨帆科技有限公司 | 一种基于大数据应用的可再生能源智慧管理方法及系统 |
CN115994137A (zh) * | 2023-03-23 | 2023-04-21 | 无锡弘鼎软件科技有限公司 | 一种基于物联网应用服务系统的数据管理方法 |
CN116226691A (zh) * | 2023-05-08 | 2023-06-06 | 深圳市魔样科技有限公司 | 用于手势姿态感知的智能戒指数据处理方法 |
CN116320042A (zh) * | 2023-05-16 | 2023-06-23 | 陕西思极科技有限公司 | 边缘计算的物联终端监测控制系统 |
CN116400870A (zh) * | 2023-06-08 | 2023-07-07 | 西安品盛互联网技术有限公司 | 一种基于物联网的现场施工在线管理系统 |
CN116756493A (zh) * | 2023-08-15 | 2023-09-15 | 湖南湘江智慧科技股份有限公司 | 一种安消防集指平台数据管理方法 |
CN116821833A (zh) * | 2023-08-29 | 2023-09-29 | 好林(威海)新材料有限公司 | 一种机器滤布粘连的数据异常检测方法 |
CN117423230A (zh) * | 2023-10-10 | 2024-01-19 | 智慧互通科技股份有限公司 | 一种用于智能交通的导流控制方法及系统 |
CN117093828A (zh) * | 2023-10-16 | 2023-11-21 | 张家港市友明机械制造有限公司 | 一种液压缸缸体密封性检测方法及系统 |
CN117131530A (zh) * | 2023-10-20 | 2023-11-28 | 合肥亚明汽车部件有限公司 | 一种智慧工厂敏感数据加密防护方法 |
CN117708459A (zh) * | 2023-11-07 | 2024-03-15 | 福建省九龙江流域中心 | 一种水利多变量时序数据加载处理优化方法及终端 |
CN117411947A (zh) * | 2023-12-15 | 2024-01-16 | 安徽中科大国祯信息科技有限责任公司 | 基于云边协同的水务数据快速传输方法 |
CN117435873A (zh) * | 2023-12-21 | 2024-01-23 | 山东中都机器有限公司 | 一种基于智能喷雾降尘的数据管理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105069525B (zh) | 全天候96点日负荷曲线预测及优化修正系统 | |
CN109376906B (zh) | 基于多维度轨迹的出行时间预测方法、系统及电子设备 | |
CN112734135B (zh) | 一种电力负荷预测方法、智能终端及计算机可读存储介质 | |
CN112215442A (zh) | 电力系统短期负荷预测方法、系统、设备及介质 | |
CN110853347A (zh) | 一种短时交通路况预测方法、装置及终端设备 | |
CN116073436B (zh) | 一种光伏新能源电力系统容量优化控制方法 | |
CN111667093B (zh) | 中长期风电发电计算方法及装置 | |
CN115953186A (zh) | 一种网约车需求模式识别与短时需求预测方法 | |
CN113743673A (zh) | 一种台风期间的电力负荷预测方法 | |
Junyou et al. | Application of support vector machine in bus travel time prediction | |
CN111798066A (zh) | 一种城市尺度下小区流量多维度预测方法及系统 | |
CN113673822B (zh) | 一种弹性调度方法及系统 | |
CN111815941B (zh) | 一种基于历史路况的常发拥堵瓶颈识别方法及装置 | |
CN111680712A (zh) | 基于日内相似时刻的变压器油温预测方法、装置及系统 | |
CN108154259B (zh) | 热泵的负荷预测方法及装置、存储介质、处理器 | |
CN113222245A (zh) | 居民用户月度电量电费异常核查方法及系统、存储介质 | |
CN111145535B (zh) | 一种复杂场景下的行程时间可靠性分布预测方法 | |
CN117975742A (zh) | 基于大数据的智慧城市交通管理系统及方法 | |
CN112686442A (zh) | 基于运行多样性空调末端能耗预测方法和系统 | |
CN116646917A (zh) | 一种校园多步概率电力负荷预测方法及系统 | |
CN101908274B (zh) | 道路交通事件信息的处理方法和装置 | |
CN114648163A (zh) | 一种适用于智慧城市的能耗数据管理系统及方法 | |
Mougeot et al. | Forecasting intra day load curves using sparse functional regression | |
CN113077163A (zh) | 耦合预报的梯级水库群两阶段弃水风险评估方法 | |
CN105260948A (zh) | 一种城市供水系统日计划调度决策方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |