CN117608499A - 一种基于物联网的智慧交通数据优化存储方法 - Google Patents
一种基于物联网的智慧交通数据优化存储方法 Download PDFInfo
- Publication number
- CN117608499A CN117608499A CN202410089895.4A CN202410089895A CN117608499A CN 117608499 A CN117608499 A CN 117608499A CN 202410089895 A CN202410089895 A CN 202410089895A CN 117608499 A CN117608499 A CN 117608499A
- Authority
- CN
- China
- Prior art keywords
- data
- period
- vehicle
- curve
- vehicle density
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000007906 compression Methods 0.000 claims abstract description 30
- 230000006835 compression Effects 0.000 claims abstract description 30
- 230000002776 aggregation Effects 0.000 claims abstract description 8
- 238000004220 aggregation Methods 0.000 claims abstract description 8
- 238000001595 flow curve Methods 0.000 claims description 17
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000013144 data compression Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 3
- 230000014759 maintenance of location Effects 0.000 abstract description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及数据处理技术领域,具体涉及一种基于物联网的智慧交通数据优化存储方法,该方法包括:根据不同数据之间的各组匹配数据分析其聚集情况,构建整体关联性,评估不同数据之间的相关性;结合各组匹配数据中不同数据在各自类型数据中的波动差异构建任意两类数据之间的动态关联指数;根据动态关联指数结合自身数据点的波动情况和其在不同周期中的离散情况,获取到每类数据中的每个数据点的重要性;通过重要性调整容差参数的大小,结合旋转门压缩算法进行压缩存储。从而实现智慧交通数据优化存储,避免旋转门压缩算法的容差参数选取不当导致压缩效果较差的问题,在保证压缩效率的同时提高了对重要信息的保留能力。
Description
技术领域
本申请涉及数据处理技术领域,具体涉及一种基于物联网的智慧交通数据优化存储方法。
背景技术
智慧交通是通过各种物联网设备采集交通数据,通过大数据分析采集的交通数据,及时的对交通各个街道的压力情况进行调整。要通过采集的数据进行调整各种道路的压力情况,例如对街道上的红绿灯时长等条件进行调整避免拥堵问题。对上述进行调整时需要大量的数据进行支持,由于智慧交通会获取到大量的数据,为了提高对采集的智慧交通数据的处理效率,需要对采集的数据进行压缩存储。
旋转门压缩算法可以将平滑的数据使用斜率和压缩节点的方式拟合,其压缩率和其容差参数有关,容差参数越大其压缩的效率越高但是数据信息的损失情况越严重,对获取的智慧交通数据进行压缩时,需要根据获取数据调整容差参数,对可能产生问题的数据进行压缩时要保留其信息能力,对正常数据可以增加其损失情况提高其压缩效率,本发明通过自适应容差参数使得保留压缩效率的同时提高对重要信息的保留能力。
发明内容
为了解决上述技术问题,本发明提供一种基于物联网的智慧交通数据优化存储方法,以解决现有的问题。
本发明的一种基于物联网的智慧交通数据优化存储方法采用如下技术方案:
本发明一个实施例提供了一种基于物联网的智慧交通数据优化存储方法,该方法包括以下步骤:
采集各时刻的道路中车辆的各类数据,包括车辆密度、车流量及平均车速数据;
预设固定时间长度作为一个周期;获取各周期车辆密度时间序列及车流量时间序列;根据各周期的车辆密度数据及车流量数据得到各周期的车辆密度曲线及车流量曲线;根据车辆密度时间序列与车流量时间序列之间的匹配情况得到每个周期的各匹配数据组;结合直角坐标系获取各周期的第一直角坐标图,拟合获取各周期的第一曲线;根据各周期第一直角坐标图中数据聚集情况及第一曲线的波动变化得到各周期内车辆密度与车流量之间的整体关联性;根据整体关联性结合车辆密度曲线及车流量曲线波动变化得到车辆密度与车流量之间的动态关联指数;通过车辆密度与车流量之间的动态关联指数的获取方式得到任意两类数据之间的动态关联指数;根据动态关联指数结合各周期各类数据之间的差异得到各周期各类数据中每个数据点的重要性;根据各数据点的重要性结合预设初始容差参数得到各数据点的自适应容差参数;
通过旋转门压缩算法结合各数据点的自适应容差参数对各类数据进行旋转门压缩,实现数据压缩存储。
优选的,所述平均车速数据为:各时刻道路中所有车辆的平均速度。
优选的,所述获取各周期车辆密度时间序列及车流量时间序列,具体为:
将各周期内所有时刻的车辆密度数据组成的序列作为各周期的车辆密度时间序列;
将各周期内所有时刻的车流量数据组成的序列作为各周期的车流量时间序列。
优选的,所述根据各周期的车辆密度数据及车流量数据得到各周期的车辆密度曲线及车流量曲线,具体为:
将各周期内所有时刻的车辆密度数据通过最小二乘法进行曲线拟得到的拟合曲线作为各周期的车辆密度曲线;通过各周期的车辆密度曲线的获取方式结合车辆密度数据得到各周期的车流量曲线。
优选的,所述根据车辆密度数据与车流量数据之间的匹配情况得到每个周期的各匹配数据组,具体为:
在各周期中,将车辆密度时间序列中数据与车流量时间序列中数据通过动态时间规整算法进行匹配得到各组匹配数据,记为各匹配数据组。
优选的,所述结合直角坐标系获取各周期的第一直角坐标图,拟合获取各周期的第一曲线,具体为:
以车辆密度为横坐标、以车流量为纵坐标构建直角坐标系,在各周期内,通过各匹配数据组的车辆密度及车流量数据在直角坐标系中绘制坐标点,将所有坐标点构成的直角坐标图作为周期的第一直角坐标图,将所有坐标点进行曲线拟合得到的曲线记为周期的第一曲线。
优选的,所述根据各周期第一直角坐标图中数据聚集情况及第一曲线的波动变化得到各周期内车辆密度与车流量之间的整体关联性,具体包括:
在各周期内,计算第一直角坐标图中任意两个坐标点之间的欧氏距离;将所有欧
氏距离的最大值作为第一欧氏距离,计算车辆密度与车流量之间的整体关联性的表达
式为:式中,为第i周期内车辆密度与车
流量u之间的整体关联性,为以为半径所画圆的面积,为所述圆内包含的坐标点
的个数,为第i周期内、u数据对应的第一曲线上所有坐标点处斜率的方差,为以
e为底的指数函数。
优选的,所述根据整体关联性结合车辆密度曲线及车流量曲线波动变化得到车辆密度与车流量之间的动态关联指数,具体包括:
在各周期中,计算各匹配数据组中车辆密度在车辆密度曲线上的斜率的导数,记为车辆密度二阶导;计算各匹配数据组中车流量在车流量曲线上的斜率的导数,记为车流量二阶导;计算各匹配数据组的车辆密度二阶导绝对值与车流量二阶导绝对值之间的差值;计算以自然常数为指数、以所述差值的绝对值的相反数为指数的指数函数的计算结果;计算所有匹配数据组的所述计算结果的平均值;计算周期内车辆密度与车流量之间的整体关联性与所述平均值的乘积;
将所有周期的所述乘积的和值的归一化值作为车辆密度与车流量之间的动态关联指数。
优选的,所述根据动态关联指数结合各周期各类数据之间的差异得到各周期各类
数据中每个数据点的重要性,表达式为:式中,表示第i个周期
的第a类数据的第q个数据点的重要性,为归一化函数,表示第i个周期的第a
类数据中第q个数据点与其前一个数据点的数据值之间的差值绝对值,表示周期个数,表示第i个周期的第a类数据中第q个数据点的数据值,表示第j个周期的第a类数据
中第q个数据点的数据值,表示数据种类,表示第i周期中第a类数据与第b类数据之间
的动态关联指数,表示第i个周期的第a类数据中第q个数据点的邻域中的数据的方差,
其中将同周期同类数据中第到第个数据点作为第q个数据点的邻域。
优选的,所述根据各数据点的重要性结合预设初始容差参数得到各数据点的自适应容差参数,具体包括:
计算1与各数据点的重要性的差值;将所述差值与预设初始容差参数的乘积作为各数据点的自适应容差参数。
本发明至少具有如下有益效果:
本发明通过采集智慧交通的各类数据,分析不同周期中数据之间的波动相似情况,根据不同数据之间各组匹配数据构建直角坐标图,分析各组匹配数据的聚集情况,构建整体关联性,评估不同数据之间的相关性;结合不同数据中匹配数据点在各自类型数据中的波动差异构建任意两类数据之间的动态关联指数,更准确的判断出两类数据之间的关联程度;根据动态关联指数结合自身数据点的波动情况和其在不同周期中的离散情况,分析不同数据对这个数据点的影响,确定这个数据点在多维空间中的波动情况,根据两个波动情况获取到每类数据中的每个数据点的重要性;通过重要性去调整容差参数的大小,避免旋转门压缩算法的容差参数选取的过大导致数据信息损失严重或容差参数过小导致压缩的效率不明显的问题,在保证压缩效率的同时提高了对重要信息的保留能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明提供的一种基于物联网的智慧交通数据优化存储方法的流程图;
图2为基于物联网的智慧交通数据优化存储方法的步骤示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于物联网的智慧交通数据优化存储方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于物联网的智慧交通数据优化存储方法的具体方案。
本发明一个实施例提供的一种基于物联网的智慧交通数据优化存储方法。
具体的,提供了如下的一种基于物联网的智慧交通数据优化存储方法,请参阅图1,该方法包括以下步骤:
步骤S001,通过物联网设备采集智慧交通的相关数据。
通过物联网设备采集智慧交通的车辆数据,包括道路中的车辆密度、车流量以及
平均车速数据,其中平均车速为每个时刻道路中所有车辆的平均速度。设置数据采集的时
间间隔,每经过秒采集一次道路中的车辆密度、车流量以及平均车速数据,需要说明的
是,的值实施者可自行设定,本实施例将的值设定为1。将车辆密度、车流量和平均车速分
别用、u和v表示。
步骤S002,根据智慧交通的相关数据进行分析其波动情况,根据波动情况对旋转门压缩算法的容差参数进行自适应调整。
由于一般情况下人们每天的出行时间大致相同,从而每天车辆数据的变化大致相同,因此以一天作为一个周期,需要说明的是,实施者也可采用其他时间长度作为一个周期,本实施例不做具体限制。将每个周期内所有采集时刻的车辆密度数据按时间升序排列组成的序列作为每个周期的车辆密度时间序列;同理,分别将每个周期内所有采集时刻的车流量、平均车速数据按时间升序排列组成的序列作为每个周期的车流量时间序列、平均车速时间序列。
若持续进行数据采集,则采集的数据将趋于无限多个,不利于数据分析,因此本实施例采集连续M个周期内的数据,需要说明的是,M的值实施者可自行设定,本实施例将M的值设定为10。
对每个周期的车辆密度时间序列中所有数据点通过曲线拟合算法进行拟合,得到的拟合曲线记为车辆密度曲线;通过车辆密度曲线的获取方式获取每个周期的车流量曲线。其中曲线拟合算法实施者可自行选取,本实施例通过最小二乘法进行曲线拟合。
在每个周期内,通过动态时间规整(DTW)算法将车辆密度时间序列中的车辆密度
数据与车流量时间序列中的车流量数据进行匹配,可以得到各组匹配数据,其中每组匹配
数据包含一个车辆密度数据和一个车流量数据。将各组匹配数据作为各匹配数据组,用表示,其中表示第i个匹配数据组,表示第i个匹配数据组的车辆密度,
表示第i个匹配数据组的车流量。以车辆密度为横坐标、以车流量为纵坐标构建直角坐标
系,通过每个匹配数据组的车辆密度及车流量数据得到每个匹配数据点在直角坐标系中对
应的坐标点,将直角坐标系中所有坐标点构成的直角坐标图记为第一直角坐标图,将直角
坐标图中所有匹配数据组对应的坐标点进行曲线拟合得到的曲线记为第一曲线。
由于不同类数据之间的关联性越高,数据越正常,数据的重要程度越低,越不需要担心旋转门压缩算法进行压缩时的数据损失;相反,若不同类数据之间的关联性越低,数据越异常,数据的重要程度越高,则越需要避免压缩时数据损失。因此,为分析数据的关联性,构建各类数据之间的动态关联指数,来判断任意两类数据之间的关联性,作为一种示例,动态关联指数可以通过第一直角坐标图中匹配数据组对应的坐标点的聚集情况构建整体关联性,再结合各匹配数据组中两个数据分别在车辆密度曲线和车流量曲线上的变化趋势之间的差异构建这两类数据之间的动态关联指数,进而获取任意两类数据之间的动态关联指数来实现,动态关联指数可以包括:
首先,在每个周期内,将车辆密度数据结合车流量数据得到的第一直角坐标图用表示,在第一直角坐标图中,计算任意两个匹配数据组对应的坐标点之间的欧氏
距离,将其中最大的欧氏距离确定为第一欧氏距离L,以L为半径、以任意一个匹配数据组对
应的坐标点为圆心画圆,计算该圆的面积S,并统计该圆内包含的匹配数据组对应的坐标点
的个数X。基于上述数据计算整体关联性:式
中,为第i周期内车辆密度与车流量u之间的整体关联性,为第i周期内、u数据对
应的第一欧氏距离,为以为半径所画圆的面积,为该圆内包含的匹配数据组对
应坐标点的个数,为第i周期内、u数据对应的第一曲线上所有匹配数据组对应坐标点
的斜率的方差,为以e为底的指数函数。
表示第一直角坐标图中所有匹配数据组对应的坐标点的分布密度情
况,其值越大说明获取到的坐标点的分布越聚集,则车辆密度与车流量两类数据之间的关
联性可能越好。表示第一曲线的平滑程度,其值越大说明曲线越平滑,两类数据
之间的关联性越强。其中当第一直角坐标图中所有坐标点的分布越聚集,说明两类数据在
某些时刻存在关联性,当第一直角坐标图中所有坐标点的分布越趋于线性分布,说明两类
数据之间的关联性越好,上述两种情况都可以表征两类数据之间存在关联性,分析两种情
况的表征能力确定其整体数据的分布情况,从而获取两类数据之间的整体关联性。综上,越大,两类数据之间的关联性越强。
通过上述方法获取每个周期内车辆密度与车流量u之间的整体关联性。
然后,对于通过各个周期内车辆密度与车流量数据匹配得到的每个匹配数据组,获取匹配数据组中车辆密度在车辆密度曲线上的斜率的导数,记为该匹配数据组的车辆密度二阶导;获取匹配数据组中车流量在车流量曲线上的斜率的导数,记为该匹配数据组的车流量二阶导。
基于上述数据结合整体关联性分析车辆密度曲线、车流量曲线及第一曲线上数据
点波动情况,计算车辆密度数据与车流量数据之间的动态关联指数:式中,为车辆密度与车流量u之间的动
态关联指数,为归一化函数,为周期个数,为第i个周期的车辆密度与车流量
数据匹配得到的匹配数据组的组数,为以e为底的指数函数,为第q个匹配数据组
的车辆密度二阶导绝对值与车流量二阶导绝对值之间的差值,为第i周期内车辆密度
与车流量u之间的整体关联性。
公式逻辑:表示车辆密度曲线和车流量曲线中对应的匹配数据点
之间的的变化相似情况的累计均值,其值越大说明车辆密度数据与车流量数据之间的关联
性越强,其中表示第个匹配数据组中车辆密度与车流量数据之间的变化趋势
的一致性,其值越大说明第个匹配数据组中车辆密度与车流量数据之间的关联性越好。表示车辆密度数据与车流量数据在整体分布中的关联性,其值越大说明两类数据之间
存在的关联性越好。从而动态关联指数越大,两类数据之间的关联性越强。
最后,根据车辆密度和车流量之间的动态关联指数的获取方式得到采集的所有类型数据中任意两类数据之间的动态关联指数。
根据动态关联指数可以获取多类数据之间的影响。在进行旋转门压缩时其是通过压缩节点对数据进行压缩的,其压缩节点的选取会根据容差参数和采集的数据点的自身波动情况所选取的,自身的变化大于容差参数这个数据点会被选取为压缩节点,这个数据点的信息损失情况会降低。可以调整容差参数在设定的重要区域降低其大小,使得这个区域的压缩节点选取更多。在进行计算每个数据的重要性时需要考虑到该数据点在自身所在周期的波动情况,以及该数据点在不同周期中的离散情况,分析各类数据对该数据点的影响,根据影响确定该数据点在多维空间中的波动情况,根据两个波动情况获取到每个维度中的每个数据点的重要性。
计算每个数据点的重要性的表达式为:式中,表示第i个周期
的第a类数据的第q个数据点的重要性,为归一化函数,表示第i个周期的第a
类数据中第q个数据点与其前一个数据点的数据值之间的差值绝对值,其中由于第一个数
据点的前一个数据点不存在,则将第一个数据点的设置为0,表示周期个数,表示
第i个周期的第a类数据中第q个数据点的数据值,表示第j个周期的第a类数据中第q个
数据点的数据值,表示数据种类,本实施例采集了车辆密度、车流量和平均车速三种数
据,则本实施例中,表示第i周期中第a类数据与第b类数据之间的动态关联指数,表示第i个周期的第a类数据中第q个数据点的邻域中的数据的方差,其中将该周期该类
数据中第到第个数据点作为第q个数据点的邻域,需要说明的是,n的值实施者
可自行设定,本实施例将n的值设定为2。
公式逻辑:表示数据点q所在周期内信息的波动情况,其
值越大说明该数据点的重要性越大,其中表示数据点q所在类型数据的波动变化,其增
量值越大说明该数据点处变化越明显,该数据点是异常情况造成的波动的可能性越大,该
数据点的重要性越大,表示数据点q在不同周期中的数据值的离散情况,
其值越大说明不同周期中该数据点对应采集时刻处数值变化越离散,该数据点在历史变化
中越特殊,则该数据点的重要性越高。表示数据点q在不同种类数据中
的波动情况,其在不同的种类数据中同采集时刻处数据波动越剧烈说明该时刻对应的数据
点越有可能是异常点,针对该时刻对应的数据点的重要性要调大。
根据上述操作对获取的每个数据点都进行计算获取到每个数据点的重要性,在对
采集的数据进行旋转门压缩时,设置初始容差参数,需要说明的是,初始容差参数
实施者可自行设定,本实施例不做具体限制。根据每个数据点的重要性对每个数据点进行
压缩时的容差参数进行调整:式中,为数据点的调整后的容
差参数,为数据点的重要性。通过数据点的调整后的容差参数的获取方式得到各数
据点的调整后的容差参数。将各数据点的调整后的容差参数记为各数据点的自适应容差参
数。
步骤S003,根据自适应容差参数对获取的多维数据进行压缩存储。
根据上述获取到的每个数据点的容差参数根据旋转门压缩算法的后续操作进行压缩存储,针对每一类数据都进行旋转门压缩,将采集的多维数据进行压缩存储。旋转门压缩算法为公知技术,具体过程不再赘述。
综上所述,本发明实施例通过采集智慧交通的各类数据,分析不同周期中数据之间的波动相似情况,根据不同数据之间各组匹配数据构建直角坐标图,分析各组匹配数据的聚集情况,构建整体关联性,评估不同数据之间的相关性;结合不同数据中匹配数据点在各自类型数据中的波动差异构建任意两类数据之间的动态关联指数,更准确的判断出两类数据之间的关联程度;根据动态关联指数结合自身数据点的波动情况和其在不同周期中的离散情况,分析不同数据对这个数据点的影响,确定这个数据点在多维空间中的波动情况,根据两个波动情况获取到每类数据中的每个数据点的重要性;通过重要性去调整容差参数的大小,避免旋转门压缩算法的容差参数选取的过大导致数据信息损失严重或容差参数过小导致压缩的效率不明显的问题,在保证压缩效率的同时提高了对重要信息的保留能力。上述方法的步骤示意图如图2所示。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于物联网的智慧交通数据优化存储方法,其特征在于,该方法包括以下步骤:
采集各时刻的道路中车辆的各类数据,包括车辆密度、车流量及平均车速数据;
预设固定时间长度作为一个周期;获取各周期车辆密度时间序列及车流量时间序列;根据各周期的车辆密度数据及车流量数据得到各周期的车辆密度曲线及车流量曲线;根据车辆密度时间序列与车流量时间序列之间的匹配情况得到每个周期的各匹配数据组;结合直角坐标系获取各周期的第一直角坐标图,拟合获取各周期的第一曲线;根据各周期第一直角坐标图中数据聚集情况及第一曲线的波动变化得到各周期内车辆密度与车流量之间的整体关联性;根据整体关联性结合车辆密度曲线及车流量曲线波动变化得到车辆密度与车流量之间的动态关联指数;通过车辆密度与车流量之间的动态关联指数的获取方式得到任意两类数据之间的动态关联指数;根据动态关联指数结合各周期各类数据之间的差异得到各周期各类数据中每个数据点的重要性;根据各数据点的重要性结合预设初始容差参数得到各数据点的自适应容差参数;
通过旋转门压缩算法结合各数据点的自适应容差参数对各类数据进行旋转门压缩,实现数据压缩存储。
2.如权利要求1所述的一种基于物联网的智慧交通数据优化存储方法,其特征在于,所述平均车速数据为:各时刻道路中所有车辆的平均速度。
3.如权利要求1所述的一种基于物联网的智慧交通数据优化存储方法,其特征在于,所述获取各周期车辆密度时间序列及车流量时间序列,具体为:
将各周期内所有时刻的车辆密度数据组成的序列作为各周期的车辆密度时间序列;
将各周期内所有时刻的车流量数据组成的序列作为各周期的车流量时间序列。
4.如权利要求1所述的一种基于物联网的智慧交通数据优化存储方法,其特征在于,所述根据各周期的车辆密度数据及车流量数据得到各周期的车辆密度曲线及车流量曲线,具体为:
将各周期内所有时刻的车辆密度数据通过最小二乘法进行曲线拟得到的拟合曲线作为各周期的车辆密度曲线;通过各周期的车辆密度曲线的获取方式结合车辆密度数据得到各周期的车流量曲线。
5.如权利要求1所述的一种基于物联网的智慧交通数据优化存储方法,其特征在于,所述根据车辆密度数据与车流量数据之间的匹配情况得到每个周期的各匹配数据组,具体为:
在各周期中,将车辆密度时间序列中数据与车流量时间序列中数据通过动态时间规整算法进行匹配得到各组匹配数据,记为各匹配数据组。
6.如权利要求1所述的一种基于物联网的智慧交通数据优化存储方法,其特征在于,所述结合直角坐标系获取各周期的第一直角坐标图,拟合获取各周期的第一曲线,具体为:
以车辆密度为横坐标、以车流量为纵坐标构建直角坐标系,在各周期内,通过各匹配数据组的车辆密度及车流量数据在直角坐标系中绘制坐标点,将所有坐标点构成的直角坐标图作为周期的第一直角坐标图,将所有坐标点进行曲线拟合得到的曲线记为周期的第一曲线。
7.如权利要求1所述的一种基于物联网的智慧交通数据优化存储方法,其特征在于,所述根据各周期第一直角坐标图中数据聚集情况及第一曲线的波动变化得到各周期内车辆密度与车流量之间的整体关联性,具体包括:
在各周期内,计算第一直角坐标图中任意两个坐标点之间的欧氏距离;将所有欧氏距离的最大值作为第一欧氏距离,计算车辆密度与车流量之间的整体关联性的表达式为:式中,/>为第i周期内车辆密度/>与车流量u之间的整体关联性,/>为以/>为半径所画圆的面积,/>为所述圆内包含的坐标点的个数,/>为第i周期内/>、u数据对应的第一曲线上所有坐标点处斜率的方差,/>为以e为底的指数函数。
8.如权利要求1所述的一种基于物联网的智慧交通数据优化存储方法,其特征在于,所述根据整体关联性结合车辆密度曲线及车流量曲线波动变化得到车辆密度与车流量之间的动态关联指数,具体包括:
在各周期中,计算各匹配数据组中车辆密度在车辆密度曲线上的斜率的导数,记为车辆密度二阶导;计算各匹配数据组中车流量在车流量曲线上的斜率的导数,记为车流量二阶导;计算各匹配数据组的车辆密度二阶导绝对值与车流量二阶导绝对值之间的差值;计算以自然常数为指数、以所述差值的绝对值的相反数为指数的指数函数的计算结果;计算所有匹配数据组的所述计算结果的平均值;计算周期内车辆密度与车流量之间的整体关联性与所述平均值的乘积;
将所有周期的所述乘积的和值的归一化值作为车辆密度与车流量之间的动态关联指数。
9.如权利要求1所述的一种基于物联网的智慧交通数据优化存储方法,其特征在于,所述根据动态关联指数结合各周期各类数据之间的差异得到各周期各类数据中每个数据点的重要性,表达式为:式中,/>表示第i个周期的第a类数据的第q个数据点的重要性,/>为归一化函数,表示第i个周期的第a类数据中第q个数据点与其前一个数据点的数据值之间的差值绝对值,/>表示周期个数,/>表示第i个周期的第a类数据中第q个数据点的数据值,/>表示第j个周期的第a类数据中第q个数据点的数据值,/>表示数据种类,/>表示第i周期中第a类数据与第b类数据之间的动态关联指数,/>表示第i个周期的第a类数据中第q个数据点的邻域中的数据的方差,其中将同周期同类数据中第/>到第/>个数据点作为第q个数据点的邻域。
10.如权利要求1所述的一种基于物联网的智慧交通数据优化存储方法,其特征在于,所述根据各数据点的重要性结合预设初始容差参数得到各数据点的自适应容差参数,具体包括:
计算1与各数据点的重要性的差值;将所述差值与预设初始容差参数的乘积作为各数据点的自适应容差参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410089895.4A CN117608499B (zh) | 2024-01-23 | 2024-01-23 | 一种基于物联网的智慧交通数据优化存储方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410089895.4A CN117608499B (zh) | 2024-01-23 | 2024-01-23 | 一种基于物联网的智慧交通数据优化存储方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117608499A true CN117608499A (zh) | 2024-02-27 |
CN117608499B CN117608499B (zh) | 2024-04-05 |
Family
ID=89944715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410089895.4A Active CN117608499B (zh) | 2024-01-23 | 2024-01-23 | 一种基于物联网的智慧交通数据优化存储方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117608499B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117807546A (zh) * | 2024-02-29 | 2024-04-02 | 山东德源电力科技股份有限公司 | 一种用于光伏协议转换器的数据高效存储方法及系统 |
CN117954037A (zh) * | 2024-03-26 | 2024-04-30 | 光大宏远(天津)技术有限公司 | 一种心理测评数据存储方法及系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090138188A1 (en) * | 2005-07-22 | 2009-05-28 | Andrej Kores | Method, device and system for modeling a road network graph |
KR20140144047A (ko) * | 2013-06-10 | 2014-12-18 | 한국건설기술연구원 | 실시간 도로 네트워크의 교통특성 정보 추정 시스템 및 방법 |
CN113392817A (zh) * | 2021-08-16 | 2021-09-14 | 成都信息工程大学 | 一种基于多列卷积神经网络的车辆密度估计的方法及装置 |
US11487453B1 (en) * | 2021-04-29 | 2022-11-01 | EMC IP Holding Company LLC | Load balancing in a storage system |
WO2022247677A1 (zh) * | 2021-05-28 | 2022-12-01 | 南京师范大学 | 基于混合深度学习模型的城市区域路网过车流量预测方法及其系统 |
CN115766607A (zh) * | 2022-11-08 | 2023-03-07 | 陕西通信规划设计研究院有限公司 | 一种基于5g物联网的数据压缩传输方法 |
CN116225347A (zh) * | 2023-05-10 | 2023-06-06 | 上海伯镭智能科技有限公司 | 一种具有数据安全保护功能的无人驾驶系统数据管理方法 |
CN116416804A (zh) * | 2022-12-26 | 2023-07-11 | 北京市生态环境监测中心 | 道路车流量估算方法、装置、电子设备及存储介质 |
CN116974490A (zh) * | 2023-08-28 | 2023-10-31 | 北京宝联之星科技股份有限公司 | 一种基于多端云计算集群的大数据存储方法及系统 |
CN116992322A (zh) * | 2023-09-25 | 2023-11-03 | 广东申创光电科技有限公司 | 一种智慧城市数据中心管理系统 |
-
2024
- 2024-01-23 CN CN202410089895.4A patent/CN117608499B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090138188A1 (en) * | 2005-07-22 | 2009-05-28 | Andrej Kores | Method, device and system for modeling a road network graph |
KR20140144047A (ko) * | 2013-06-10 | 2014-12-18 | 한국건설기술연구원 | 실시간 도로 네트워크의 교통특성 정보 추정 시스템 및 방법 |
US11487453B1 (en) * | 2021-04-29 | 2022-11-01 | EMC IP Holding Company LLC | Load balancing in a storage system |
WO2022247677A1 (zh) * | 2021-05-28 | 2022-12-01 | 南京师范大学 | 基于混合深度学习模型的城市区域路网过车流量预测方法及其系统 |
CN113392817A (zh) * | 2021-08-16 | 2021-09-14 | 成都信息工程大学 | 一种基于多列卷积神经网络的车辆密度估计的方法及装置 |
CN115766607A (zh) * | 2022-11-08 | 2023-03-07 | 陕西通信规划设计研究院有限公司 | 一种基于5g物联网的数据压缩传输方法 |
CN116416804A (zh) * | 2022-12-26 | 2023-07-11 | 北京市生态环境监测中心 | 道路车流量估算方法、装置、电子设备及存储介质 |
CN116225347A (zh) * | 2023-05-10 | 2023-06-06 | 上海伯镭智能科技有限公司 | 一种具有数据安全保护功能的无人驾驶系统数据管理方法 |
CN116974490A (zh) * | 2023-08-28 | 2023-10-31 | 北京宝联之星科技股份有限公司 | 一种基于多端云计算集群的大数据存储方法及系统 |
CN116992322A (zh) * | 2023-09-25 | 2023-11-03 | 广东申创光电科技有限公司 | 一种智慧城市数据中心管理系统 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117807546A (zh) * | 2024-02-29 | 2024-04-02 | 山东德源电力科技股份有限公司 | 一种用于光伏协议转换器的数据高效存储方法及系统 |
CN117807546B (zh) * | 2024-02-29 | 2024-04-30 | 山东德源电力科技股份有限公司 | 一种用于光伏协议转换器的数据高效存储方法及系统 |
CN117954037A (zh) * | 2024-03-26 | 2024-04-30 | 光大宏远(天津)技术有限公司 | 一种心理测评数据存储方法及系统 |
CN117954037B (zh) * | 2024-03-26 | 2024-07-30 | 光大宏远(天津)技术有限公司 | 一种心理测评数据存储方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117608499B (zh) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117608499B (zh) | 一种基于物联网的智慧交通数据优化存储方法 | |
CN102611454B (zh) | 一种实时历史数据动态无损压缩方法 | |
CN116828070B (zh) | 一种智慧电网数据优化传输方法 | |
CN117271987B (zh) | 一种配电设备环境状态数据智能采集处理方法 | |
CN117459418B (zh) | 一种实时数据采集存储方法及系统 | |
CN115329910B (zh) | 一种企业生产排放数据智能处理方法 | |
CN116225347B (zh) | 一种具有数据安全保护功能的无人驾驶系统数据管理方法 | |
CN116760908B (zh) | 基于数字孪生的农业信息优化管理方法及系统 | |
CN115359807B (zh) | 一种用于城市噪声污染的噪声在线监测系统 | |
CN116383190A (zh) | 一种海量大数据智能清洗方法及系统 | |
CN115834642B (zh) | 基于物联网技术的智慧小蚕共育室数据传输方法 | |
CN112200346B (zh) | 一种天气波动过程划分与匹配的短期风电功率预测方法 | |
CN116975503B (zh) | 一种土壤侵蚀信息管理方法及系统 | |
CN116307944A (zh) | 基于人工智能与物联网的配电箱远程监测系统 | |
CN117741450B (zh) | 一种电参数分析的储能电池检测方法 | |
CN114897242A (zh) | 一种自适应分割时段场次降雨径流的方法 | |
CN117111858B (zh) | 计算机文件数据匹配系统 | |
CN117312255B (zh) | 一种电子文档拆分优化管理方法及系统 | |
CN116743180B (zh) | 一种储能电源数据智能存储方法 | |
CN116500296B (zh) | 针对生态基流监测的智能增强测流方法、系统及其应用 | |
CN117539307A (zh) | 一种复合酶生产过程自动管理方法及系统 | |
CN116502802A (zh) | 一种基于大数据与无线传感技术的数据管理系统 | |
CN115833843A (zh) | 一种车辆运行监控数据存储优化方法及管理平台 | |
CN117767960B (zh) | 一种传感器数据优化采集存储方法 | |
CN118014288B (zh) | 基于bim的建筑设计流程动态管理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |