CN116842018A - 一种大数据的筛选方法和系统 - Google Patents
一种大数据的筛选方法和系统 Download PDFInfo
- Publication number
- CN116842018A CN116842018A CN202310826830.9A CN202310826830A CN116842018A CN 116842018 A CN116842018 A CN 116842018A CN 202310826830 A CN202310826830 A CN 202310826830A CN 116842018 A CN116842018 A CN 116842018A
- Authority
- CN
- China
- Prior art keywords
- main body
- traffic
- acquisition
- data
- congestion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012216 screening Methods 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000004458 analytical method Methods 0.000 claims abstract description 80
- 238000012544 monitoring process Methods 0.000 claims description 25
- 230000007704 transition Effects 0.000 claims description 19
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000012106 screening analysis Methods 0.000 claims description 3
- 230000006854 communication Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims description 2
- 238000013480 data collection Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2219—Large Object storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种大数据的筛选方法和系统，涉及数据筛选技术领域，解决了现有技术中，无法根据数据采集主体进行划分，以至于不能够根据数据采集主体关系类型进行针对性采集的技术问题；本发明是对待分析区域内的交通数据进行数据采集主体划分，提高数据采集主体的针对性，并对待分析区域内的交通数据进行筛选，则通过针对性采集通过大数据能够更加准确的判断区域内的交通状态，增强大数据支撑的高效性，同时还对采集主体进行交通数据采集时刻做出影响分析，判断采集主体的交通数据采集时刻是否存在时段影响或者外界影响，进而影响采集主体的交通数据采集效率，也便于对交通数据进行筛选，更加准确的判断当前区域的交通状态。
Description
技术领域
本发明涉及数据筛选技术领域，具体为一种大数据的筛选方法和系统。
背景技术
运用大数据技术不仅可以在有限的时间内提高对海量数据的分析效率，而且可以更快地获取、更新信息，捕获和筛选更有价值的信息，随着大数据应用的愈加普遍，公众在享受到大数据应用技术带来便利的同时，也发现了大数据应用过程中存在的问题；
在现有技术中，区域内进行交通大数据采集时，无法根据数据采集主体进行划分，以至于不能够根据数据采集主体关系类型进行针对性采集，造成大数据采集准确性低，同时不能够根据采集主体内外界影响进行分析，造成采集主体内交通数据无法进行筛选采集，造成交通数据采集效率低，此外也不能够根据不同阶段进行交通数据类型确定；
针对上述的技术缺陷，现提出一种解决方案。
发明内容
本发明的目的就在于为了解决上述提出的问题，而提出一种大数据的筛选方法和系统。
本发明的目的可以通过以下技术方案实现：一种大数据的筛选系统，包括数据筛选平台，数据筛选平台通讯连接有数据采集主体划分单元、影响分析单元、分阶段分析单元以及数据汇总单元；
数据筛选平台对待分析区域交通数据采集，其中交通数据包括通行量、拥堵率，并对采集的交通数据进行数据筛选；数据采集主体划分单元对待分析区域内交通数据进行数据采集主体划分，将待分析区域内通行道路设置为采集主体，设置标号i，i为大于1的自然数，将采集主体对应交通数据的采集时刻进行统计，以交通数据内车辆拥堵量作为分析参数，通过数据分析将采集主体对应关系类型划分为风险主影响主体、风险受影响主体、确定主影响主体、确定受影响主体、无主影响主体以及无受影响主体，并将其发送至数据筛选平台；
影响分析单元对采集主体进行交通数据采集时刻进行影响分析，通过采集主体实时采集过程是否存在外界影响，对采集数据进行筛选，外界影响为恶劣天气或者大型活动举办；
分阶段分析单元对采集主体的交通数据进行筛选分析，根据不同阶段的采集主体进行交通状态判定，并在交通状态判定后对不同阶段的数据类型进行筛分；
数据筛选平台在完成数据筛选后将实时待分析区域内采集主体的交通数据同步至数据汇总单元，通过数据汇总单元进行交通数据存储并设定时间戳。
作为本发明的一种优选实施方式，数据采集主体划分单元的运行过程如下：
选取任一数据采集时刻，并将其标记为中间时刻，根据中间时刻对应车辆拥堵量将对应采集主体划分为拥堵主体和非拥堵主体；根据数据采集时刻间隔阈值周期获取到中间时刻的前相邻时刻和后相邻时刻；
选取相邻采集主体并建立主体分析组，获取到待分析区域内前相邻时刻主体分析组内采集主体对应车辆通行量差值扩大量，同时获取到主体分析组内采集主体存在拥堵主体后对应非拥堵主体在中间时刻与后相邻时刻间隔时间内转变为拥堵主体的概率；若待分析区域内前相邻时刻主体分析组内采集主体对应车辆通行量差值扩大量超过差值扩大量阈值，则将中间时刻对应主体分析组内对应拥堵主体标记为非拥堵主体的风险主影响主体，反之非拥堵主体标记为拥堵主体的风险受影响主体；若待分析区域内前相邻时刻主体分析组内采集主体对应车辆通行量差值扩大量未超过差值扩大量阈值，则将进行后相邻时刻分析。
作为本发明的一种优选实施方式，后相邻时刻分析的过程如下：
若主体分析组内采集主体存在拥堵主体后对应非拥堵主体在中间时刻与后相邻时刻间隔时间内转变为拥堵主体的概率超过转变概率阈值，则将中间时刻对应主体分析组内拥堵主体标记为已转变非拥堵主体的确定主影响主体，且已转变非拥堵主体标记为对应拥堵主体的确定受影响主体；
反之，主体分析组内采集主体存在拥堵主体后对应非拥堵主体在中间时刻与后相邻时刻间隔时间内转变为拥堵主体的概率未超过转变概率阈值，则将中间时刻对应主体分析组内拥堵主体标记为已转变非拥堵主体的无主影响主体，且已转变非拥堵主体标记为拥堵主体的无受影响主体；其中，若拥堵主体标记为确定主影响主体时，已设定为风险影响主体则将其设定为确定主影响主体，若拥堵主体标记为无主影响主体时，已设定为风险影响主体则仍将其原设定不变；
并将采集主体对应关系类型：风险主影响主体、风险受影响主体、确定主影响主体、确定受影响主体、无主影响主体以及无受影响主体发送至数据筛选平台。
作为本发明的一种优选实施方式，数据筛选平台接收后，将采集主体的交通数据进行筛分，任一采集主体车辆拥堵量呈增长趋势时，对当前采集主体的确定主影响主体进行及时疏导并将对应确定受影响主体进行车辆提前分流，并对采集主体对应的风险主影响主体和风险受影响主体进行持续监测，则当前采集主体的无主影响主体以及无受影响主体可作为分流对象。
作为本发明的一种优选实施方式，影响分析单元的运行过程如下：
获取到采集主体的交通数据采集时间段，并将采集时间段每天同一采集时刻进行分析，若采集时间段内每天同一采集时刻采集主体设定为拥堵主体与非拥堵主体的数量差值未超过差值阈值，则将对应采集主体交通状态设定为非单一状态；若采集时间段内每天同一采集时刻采集主体设定为拥堵主体与非拥堵主体的数量差值超过差值阈值，则将对应采集主体交通状态设定为单一状态。
作为本发明的一种优选实施方式，对非单一状态的采集主体进行分析，获取到非单一状态的采集主体对应外界影响产生频率以及外界影响产生后采集主体状态转变的概率，并将其分别与影响产生频率阈值和状态转变概率阈值进行比较：
若非单一状态的采集主体对应外界影响产生频率超过影响产生频率阈值，或者外界影响产生后采集主体状态转变的概率超过状态转变概率阈值，则判定当前非单一状态采集主体的外界影响异常，生成影响智能管控信号并将影响智能管控信号发送至数据筛选平台；
若非单一状态的采集主体对应外界影响产生频率未超过影响产生频率阈值，且外界影响产生后采集主体状态转变的概率未超过状态转变概率阈值，则判定当前非单一状态采集主体的外界影响正常，生成记录筛选信号并将记录筛选信号发送至数据筛选平台。
作为本发明的一种优选实施方式，对单一状态的采集主体进行分析，获取到单一状态的采集主体对应通行车辆峰值未增长时产生通行拥堵的频率以及采集主体内通行拥堵路段的间距，并将其分别与通行拥堵频率阈值和道路间距阈值进行比较：
若单一状态的采集主体对应通行车辆峰值未增长时产生通行拥堵的频率超过通行拥堵频率阈值，或者采集主体内通行拥堵路段的间距未超过道路间距阈值，则判定单一状态的采集主体交通数据存在影响，生成持续监测信号并将持续监测信号发送至数据筛选平台，数据筛选平台接收后，对持续采集的交通数据进行依次监测；若单一状态的采集主体对应通行车辆峰值未增长时产生通行拥堵的频率未超过通行拥堵频率阈值，且采集主体内通行拥堵路段的间距超过道路间距阈值，则判定单一状态的采集主体交通数据不存在影响，生成间隔监测信号并将间隔监测信号发送至数据筛选平台，数据筛选平台接收后，对间隔采集的交通数据进行随机抽取监测。
作为本发明的一种优选实施方式，分阶段分析单元的运行过程如下：
将采集时间段内采集主体的设定拥堵主体和非拥堵主体对应阶段分别标记为高需求阶段和低需求阶段，并对高需求阶段和低需求阶段进行数据筛选；通过数据筛选获取到高需求阶段内采集主体中峰值拥堵量的最快通行耗时以及低需求阶段内采集主体中时间阈值内通行车辆的最大通行量，并将其分别与最快通行耗时阈值和最大通行量阈值进行比较。
作为本发明的一种优选实施方式，若高需求阶段内采集主体中峰值拥堵量的最快通行耗时超过最快通行耗时阈值，或者低需求阶段内采集主体中时间阈值内通行车辆的最大通行量未超过最大通行量阈值，则生成多类型采集信号并将多类型采集信号发送至数据筛选平台，数据筛选平台接收到多类型采集信号后，对采集主体的高需求阶段和低需求阶段进行交通数据采集划分；若高需求阶段内采集主体中峰值拥堵量的最快通行耗时未超过最快通行耗时阈值，且低需求阶段内采集主体中时间阈值内通行车辆的最大通行量超过最大通行量阈值，则判定对应采集主体分阶段分析正常，生成单一类型采集信号并将单一类型采集信号发送至数据筛选平台，数据筛选平台接收到单一类型采集信号后，将采集主体内不同阶段的交通数据类型进行同步。
一种大数据的筛选方法，具体筛选方法如下：
步骤一、采集主体划分，对待分析区域交通数据采集，其中交通数据包括通行量、拥堵率，并对采集的交通数据进行数据筛选；对待分析区域内交通数据进行数据采集主体划分，提高数据采集主体的针对性，便于对待分析区域内交通数据进行筛选，通过针对性采集通过大数据能够更加准确的判断区域内交通状态；
步骤二、影响分析，对采集主体进行交通数据采集时刻进行影响分析，判断采集主体的交通数据采集时刻是否存在时段影响或者外界影响，从而影响采集主体的交通数据采集效率；
步骤三、分阶段分析，对采集主体的交通数据进行筛选分析，根据不同阶段的采集主体进行交通状态判定；
步骤四、筛选存储，将实时待分析区域内采集主体的交通数据同步至数据汇总单元，通过数据汇总单元进行交通数据存储并设定时间戳。
与现有技术相比，本发明的有益效果是：
1、本发明中，对待分析区域内交通数据进行数据采集主体划分，提高数据采集主体的针对性，便于对待分析区域内交通数据进行筛选，通过针对性采集通过大数据能够更加准确的判断区域内交通状态，增强了大数据支撑的高效性；对采集主体进行交通数据采集时刻进行影响分析，判断采集主体的交通数据采集时刻是否存在时段影响或者外界影响，比如恶劣天气或者大型活动举办，从而影响采集主体的交通数据采集效率，也便于对交通数据进行筛选，更加准确地判断当前区域的交通状态。
2、本发明中，对采集主体的交通数据进行筛选分析，根据不同阶段的采集主体进行交通状态判定，通过数据采集更加精准的判断交通状态是否合格，提高了大数据筛选的合理性和准确性。
附图说明
为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。
图1为本发明的原理框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
请参阅图1所示，一种大数据的筛选系统，包括数据筛选平台，数据筛选平台通讯连接有数据采集主体划分单元、影响分析单元、分阶段分析单元以及数据汇总单元，其中，数据筛选平台与数据采集主体划分单元、影响分析单元、分阶段分析单元以及数据汇总单元均为双向通讯连接；
本系统用于对交通大数据进行筛分，并在完成数据筛分后进行汇总分析，对区域内交通状况进行判定；数据筛选平台对待分析区域交通数据采集，其中交通数据包括通行量、拥堵率等相关数据，并对采集的交通数据进行数据筛选；数据筛选平台生成数据采集主体划分信号并将数据采集主体划分信号发送至数据采集主体划分单元，数据采集主体划分单元接收到数据采集主体划分信号后，对待分析区域内交通数据进行数据采集主体划分，提高数据采集主体的针对性，便于对待分析区域内交通数据进行筛选，通过针对性采集通过大数据能够更加准确的判断区域内交通状态，增强了大数据支撑的高效性；
将待分析区域内通行道路设置为采集主体，设置标号i，i为大于1的自然数，将采集主体对应交通数据的采集时刻进行统计，以交通数据内车辆拥堵量作为分析参数，本系统中选取任一数据作为分析参数，列分穷举且选取其他数据本系统仍适宜，选取任一数据采集时刻，并将其标记为中间时刻，根据中间时刻对应车辆拥堵量将对应采集主体划分为拥堵主体和非拥堵主体；根据数据采集时刻间隔阈值周期获取到中间时刻的前相邻时刻和后相邻时刻；
选取相邻采集主体并建立主体分析组，获取到待分析区域内前相邻时刻主体分析组内采集主体对应车辆通行量差值扩大量，同时获取到主体分析组内采集主体存在拥堵主体后对应非拥堵主体在中间时刻与后相邻时刻间隔时间内转变为拥堵主体的概率；若待分析区域内前相邻时刻主体分析组内采集主体对应车辆通行量差值扩大量超过差值扩大量阈值，则将中间时刻对应主体分析组内对应拥堵主体标记为非拥堵主体的风险主影响主体，反之非拥堵主体标记为拥堵主体的风险受影响主体；若待分析区域内前相邻时刻主体分析组内采集主体对应车辆通行量差值扩大量未超过差值扩大量阈值，则将进行后相邻时刻分析；
若主体分析组内采集主体存在拥堵主体后对应非拥堵主体在中间时刻与后相邻时刻间隔时间内转变为拥堵主体的概率超过转变概率阈值，则将中间时刻对应主体分析组内拥堵主体标记为已转变非拥堵主体的确定主影响主体，且已转变非拥堵主体标记为对应拥堵主体的确定受影响主体；
反之，主体分析组内采集主体存在拥堵主体后对应非拥堵主体在中间时刻与后相邻时刻间隔时间内转变为拥堵主体的概率未超过转变概率阈值，则将中间时刻对应主体分析组内拥堵主体标记为已转变非拥堵主体的无主影响主体，且已转变非拥堵主体标记为拥堵主体的无受影响主体；其中，若拥堵主体标记为确定主影响主体时，已设定为风险影响主体则将其设定为确定主影响主体，若拥堵主体标记为无主影响主体时，已设定为风险影响主体则仍将其原设定不变；
并将采集主体对应关系类型：风险主影响主体、风险受影响主体、确定主影响主体、确定受影响主体、无主影响主体以及无受影响主体发送至数据筛选平台，数据筛选平台接收后，将采集主体的交通数据进行筛分，任一采集主体车辆拥堵量呈增长趋势时，对当前采集主体的确定主影响主体进行及时疏导并将对应确定受影响主体进行车辆提前分流，并对采集主体对应的风险主影响主体和风险受影响主体进行持续监测，则当前采集主体的无主影响主体以及无受影响主体可作为分流对象；
数据筛选平台生成影响分析信号并将影响分析信号发送至影响分析单元，影响分析单元接收到影响分析信号后，对采集主体进行交通数据采集时刻进行影响分析，判断采集主体的交通数据采集时刻是否存在时段影响或者外界影响，比如恶劣天气或者大型活动举办，从而影响采集主体的交通数据采集效率，也便于对交通数据进行筛选，更加准确地判断当前区域的交通状态；
获取到采集主体的交通数据采集时间段，并将采集时间段每天同一采集时刻进行分析，若采集时间段内每天同一采集时刻采集主体设定为拥堵主体与非拥堵主体的数量差值未超过差值阈值，则将对应采集主体交通状态设定为非单一状态；若采集时间段内每天同一采集时刻采集主体设定为拥堵主体与非拥堵主体的数量差值超过差值阈值，则将对应采集主体交通状态设定为单一状态；
对非单一状态的采集主体进行分析，获取到非单一状态的采集主体对应外界影响产生频率以及外界影响产生后采集主体状态转变的概率，并将非单一状态的采集主体对应外界影响产生频率以及外界影响产生后采集主体状态转变的概率分别与影响产生频率阈值和状态转变概率阈值进行比较：
若非单一状态的采集主体对应外界影响产生频率超过影响产生频率阈值，或者外界影响产生后采集主体状态转变的概率超过状态转变概率阈值，则判定当前非单一状态采集主体的外界影响异常，生成影响智能管控信号并将影响智能管控信号发送至数据筛选平台，数据筛选平台接收到影响智能管控信号后，若当前外界影响对采集主体影响大，则对应采集时刻的交通数据进行记录，表明当前采集主体设定无法满足当前环境；若当前外界影响对采集主体影响小，则对应采集时刻的交通数据不进行记录，表明当前采集主体设定可以满足当前环境，则当前异常数据对交通状态判定无实际意义；
若非单一状态的采集主体对应外界影响产生频率未超过影响产生频率阈值，且外界影响产生后采集主体状态转变的概率未超过状态转变概率阈值，则判定当前非单一状态采集主体的外界影响正常，生成记录筛选信号并将记录筛选信号发送至数据筛选平台，数据筛选平台接收到记录筛选信号后，对当前采集主体的交通数据进行筛分，如外界影响导致交通数据数值浮动，则不进行记录；
对单一状态的采集主体进行分析，获取到单一状态的采集主体对应通行车辆峰值未增长时产生通行拥堵的频率以及采集主体内通行拥堵路段的间距，并将单一状态的采集主体对应通行车辆峰值未增长时产生通行拥堵的频率以及采集主体内通行拥堵路段的间距分别与通行拥堵频率阈值和道路间距阈值进行比较：
若单一状态的采集主体对应通行车辆峰值未增长时产生通行拥堵的频率超过通行拥堵频率阈值，或者采集主体内通行拥堵路段的间距未超过道路间距阈值，则判定单一状态的采集主体交通数据存在影响，生成持续监测信号并将持续监测信号发送至数据筛选平台，数据筛选平台接收后，对持续采集的交通数据进行依次监测；若单一状态的采集主体对应通行车辆峰值未增长时产生通行拥堵的频率未超过通行拥堵频率阈值，且采集主体内通行拥堵路段的间距超过道路间距阈值，则判定单一状态的采集主体交通数据不存在影响，生成间隔监测信号并将间隔监测信号发送至数据筛选平台，数据筛选平台接收后，对间隔采集的交通数据进行随机抽取监测；
数据筛分平台生成分阶段分析信号并将分阶段分析信号发送至分阶段分析单元，分阶段分析单元接收到分阶段分析信号后，对采集主体的交通数据进行筛选分析，根据不同阶段的采集主体进行交通状态判定，通过数据采集更加精准的判断交通状态是否合格，提高了大数据筛选的合理性和准确性；
将采集时间段内采集主体的设定拥堵主体和非拥堵主体对应阶段分别标记为高需求阶段和低需求阶段，并对高需求阶段和低需求阶段进行数据筛选；通过数据筛选获取到高需求阶段内采集主体中峰值拥堵量的最快通行耗时以及低需求阶段内采集主体中时间阈值内通行车辆的最大通行量，并将高需求阶段内采集主体中峰值拥堵量的最快通行耗时以及低需求阶段内采集主体中时间阈值内通行车辆的最大通行量分别与最快通行耗时阈值和最大通行量阈值进行比较：
若高需求阶段内采集主体中峰值拥堵量的最快通行耗时超过最快通行耗时阈值，或者低需求阶段内采集主体中时间阈值内通行车辆的最大通行量未超过最大通行量阈值，则判定对应采集主体分阶段分析异常，生成多类型采集信号并将多类型采集信号发送至数据筛选平台，数据筛选平台接收到多类型采集信号后，对采集主体的高需求阶段和低需求阶段进行交通数据采集划分，即高需求阶段内以解决拥堵类型的数据为主，如疏导量、疏导时间等，低需求阶段内以预防拥堵类型的数据为主，如分流量、通行速度可控量等；
若高需求阶段内采集主体中峰值拥堵量的最快通行耗时未超过最快通行耗时阈值，且低需求阶段内采集主体中时间阈值内通行车辆的最大通行量超过最大通行量阈值，则判定对应采集主体分阶段分析正常，生成单一类型采集信号并将单一类型采集信号发送至数据筛选平台，数据筛选平台接收到单一类型采集信号后，将采集主体内不同阶段的交通数据类型进行同步；
数据筛选平台在完成数据筛选后将实时待分析区域内采集主体的交通数据同步至数据汇总单元，通过数据汇总单元进行交通数据存储并设定时间戳。
一种大数据的筛选方法，具体筛选方法如下：
步骤一、采集主体划分，对待分析区域交通数据采集，其中交通数据包括通行量、拥堵率，并对采集的交通数据进行数据筛选；对待分析区域内交通数据进行数据采集主体划分，提高数据采集主体的针对性，便于对待分析区域内交通数据进行筛选，通过针对性采集通过大数据能够更加准确的判断区域内交通状态；
步骤二、影响分析，对采集主体进行交通数据采集时刻进行影响分析，判断采集主体的交通数据采集时刻是否存在时段影响或者外界影响，从而影响采集主体的交通数据采集效率；
步骤三、分阶段分析，对采集主体的交通数据进行筛选分析，根据不同阶段的采集主体进行交通状态判定；
步骤四、筛选存储，将实时待分析区域内采集主体的交通数据同步至数据汇总单元，通过数据汇总单元进行交通数据存储并设定时间戳。
本发明在使用时，数据筛选平台对待分析区域交通数据采集，数据采集主体划分单元对待分析区域内交通数据进行数据采集主体划分，将待分析区域内通行道路设置为采集主体，将采集主体对应交通数据的采集时刻进行统计，以交通数据内车辆拥堵量作为分析参数，通过数据分析将采集主体对应关系类型划分为风险主影响主体、风险受影响主体、确定主影响主体、确定受影响主体、无主影响主体以及无受影响主体，并将其发送至数据筛选平台；影响分析单元对采集主体进行交通数据采集时刻进行影响分析，通过采集主体实时采集过程是否存在外界影响，对采集数据进行筛选，外界影响为恶劣天气或者大型活动举办；分阶段分析单元对采集主体的交通数据进行筛选分析，根据不同阶段的采集主体进行交通状态判定，并在交通状态判定后对不同阶段的数据类型进行筛分；数据筛选平台在完成数据筛选后将实时待分析区域内采集主体的交通数据同步至数据汇总单元，通过数据汇总单元进行交通数据存储并设定时间戳。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (10)
1.一种大数据的筛选系统，其特征在于，包括数据筛选平台，数据筛选平台通讯连接有数据采集主体划分单元、影响分析单元、分阶段分析单元以及数据汇总单元；
数据筛选平台对待分析区域交通数据采集，其中交通数据包括通行量、拥堵率，并对采集的交通数据进行数据筛选；数据采集主体划分单元对待分析区域内交通数据进行数据采集主体划分，将待分析区域内通行道路设置为采集主体，设置标号i，i为大于1的自然数，将采集主体对应交通数据的采集时刻进行统计，以交通数据内车辆拥堵量作为分析参数，通过数据分析将采集主体对应关系类型划分为风险主影响主体、风险受影响主体、确定主影响主体、确定受影响主体、无主影响主体以及无受影响主体，并将其发送至数据筛选平台；
影响分析单元对采集主体进行交通数据采集时刻进行影响分析，通过采集主体实时采集过程是否存在外界影响，对采集数据进行筛选，外界影响为恶劣天气或者大型活动举办；
分阶段分析单元对采集主体的交通数据进行筛选分析，根据不同阶段的采集主体进行交通状态判定，并在交通状态判定后对不同阶段的数据类型进行筛分；
数据筛选平台在完成数据筛选后将实时待分析区域内采集主体的交通数据同步至数据汇总单元，通过数据汇总单元进行交通数据存储并设定时间戳。
2.根据权利要求1所述的一种大数据的筛选系统，其特征在于，数据采集主体划分单元的运行过程如下：
选取任一数据采集时刻，并将其标记为中间时刻，根据中间时刻对应车辆拥堵量将对应采集主体划分为拥堵主体和非拥堵主体；根据数据采集时刻间隔阈值周期获取到中间时刻的前相邻时刻和后相邻时刻；
选取相邻采集主体并建立主体分析组，获取到待分析区域内前相邻时刻主体分析组内采集主体对应车辆通行量差值扩大量，同时获取到主体分析组内采集主体存在拥堵主体后对应非拥堵主体在中间时刻与后相邻时刻间隔时间内转变为拥堵主体的概率；若待分析区域内前相邻时刻主体分析组内采集主体对应车辆通行量差值扩大量超过差值扩大量阈值，则将中间时刻对应主体分析组内对应拥堵主体标记为非拥堵主体的风险主影响主体，反之非拥堵主体标记为拥堵主体的风险受影响主体；若待分析区域内前相邻时刻主体分析组内采集主体对应车辆通行量差值扩大量未超过差值扩大量阈值，则将进行后相邻时刻分析。
3.根据权利要求2所述的一种大数据的筛选系统，其特征在于，后相邻时刻分析的过程如下：
若主体分析组内采集主体存在拥堵主体后对应非拥堵主体在中间时刻与后相邻时刻间隔时间内转变为拥堵主体的概率超过转变概率阈值，则将中间时刻对应主体分析组内拥堵主体标记为已转变非拥堵主体的确定主影响主体，且已转变非拥堵主体标记为对应拥堵主体的确定受影响主体；
反之，主体分析组内采集主体存在拥堵主体后对应非拥堵主体在中间时刻与后相邻时刻间隔时间内转变为拥堵主体的概率未超过转变概率阈值，则将中间时刻对应主体分析组内拥堵主体标记为已转变非拥堵主体的无主影响主体，且已转变非拥堵主体标记为拥堵主体的无受影响主体；其中，若拥堵主体标记为确定主影响主体时，已设定为风险影响主体则将其设定为确定主影响主体，若拥堵主体标记为无主影响主体时，已设定为风险影响主体则仍将其原设定不变；
并将采集主体对应关系类型：风险主影响主体、风险受影响主体、确定主影响主体、确定受影响主体、无主影响主体以及无受影响主体发送至数据筛选平台。
4.根据权利要求3所述的一种大数据的筛选系统，其特征在于，数据筛选平台接收后，将采集主体的交通数据进行筛分，任一采集主体车辆拥堵量呈增长趋势时，对当前采集主体的确定主影响主体进行及时疏导并将对应确定受影响主体进行车辆提前分流，并对采集主体对应的风险主影响主体和风险受影响主体进行持续监测，则当前采集主体的无主影响主体以及无受影响主体可作为分流对象。
5.根据权利要求1所述的一种大数据的筛选系统，其特征在于，影响分析单元的运行过程如下：
获取到采集主体的交通数据采集时间段，并将采集时间段每天同一采集时刻进行分析，若采集时间段内每天同一采集时刻采集主体设定为拥堵主体与非拥堵主体的数量差值未超过差值阈值，则将对应采集主体交通状态设定为非单一状态；若采集时间段内每天同一采集时刻采集主体设定为拥堵主体与非拥堵主体的数量差值超过差值阈值，则将对应采集主体交通状态设定为单一状态。
6.根据权利要求5所述的一种大数据的筛选系统，其特征在于，对非单一状态的采集主体进行分析，获取到非单一状态的采集主体对应外界影响产生频率以及外界影响产生后采集主体状态转变的概率，并将其分别与影响产生频率阈值和状态转变概率阈值进行比较：
若非单一状态的采集主体对应外界影响产生频率超过影响产生频率阈值，或者外界影响产生后采集主体状态转变的概率超过状态转变概率阈值，则判定当前非单一状态采集主体的外界影响异常，生成影响智能管控信号并将影响智能管控信号发送至数据筛选平台；
若非单一状态的采集主体对应外界影响产生频率未超过影响产生频率阈值，且外界影响产生后采集主体状态转变的概率未超过状态转变概率阈值，则判定当前非单一状态采集主体的外界影响正常，生成记录筛选信号并将记录筛选信号发送至数据筛选平台。
7.根据权利要求5所述的一种大数据的筛选系统，其特征在于，对单一状态的采集主体进行分析，获取到单一状态的采集主体对应通行车辆峰值未增长时产生通行拥堵的频率以及采集主体内通行拥堵路段的间距，并将其分别与通行拥堵频率阈值和道路间距阈值进行比较：
若单一状态的采集主体对应通行车辆峰值未增长时产生通行拥堵的频率超过通行拥堵频率阈值，或者采集主体内通行拥堵路段的间距未超过道路间距阈值，则判定单一状态的采集主体交通数据存在影响，生成持续监测信号并将持续监测信号发送至数据筛选平台，数据筛选平台接收后，对持续采集的交通数据进行依次监测；若单一状态的采集主体对应通行车辆峰值未增长时产生通行拥堵的频率未超过通行拥堵频率阈值，且采集主体内通行拥堵路段的间距超过道路间距阈值，则判定单一状态的采集主体交通数据不存在影响，生成间隔监测信号并将间隔监测信号发送至数据筛选平台，数据筛选平台接收后，对间隔采集的交通数据进行随机抽取监测。
8.根据权利要求1所述的一种大数据的筛选系统，其特征在于，分阶段分析单元的运行过程如下：
将采集时间段内采集主体的设定拥堵主体和非拥堵主体对应阶段分别标记为高需求阶段和低需求阶段，并对高需求阶段和低需求阶段进行数据筛选；通过数据筛选获取到高需求阶段内采集主体中峰值拥堵量的最快通行耗时以及低需求阶段内采集主体中时间阈值内通行车辆的最大通行量，并将其分别与最快通行耗时阈值和最大通行量阈值进行比较。
9.根据权利要求8所述的一种大数据的筛选系统，其特征在于，若高需求阶段内采集主体中峰值拥堵量的最快通行耗时超过最快通行耗时阈值，或者低需求阶段内采集主体中时间阈值内通行车辆的最大通行量未超过最大通行量阈值，则生成多类型采集信号并将多类型采集信号发送至数据筛选平台，数据筛选平台接收到多类型采集信号后，对采集主体的高需求阶段和低需求阶段进行交通数据采集划分；若高需求阶段内采集主体中峰值拥堵量的最快通行耗时未超过最快通行耗时阈值，且低需求阶段内采集主体中时间阈值内通行车辆的最大通行量超过最大通行量阈值，则判定对应采集主体分阶段分析正常，生成单一类型采集信号并将单一类型采集信号发送至数据筛选平台，数据筛选平台接收到单一类型采集信号后，将采集主体内不同阶段的交通数据类型进行同步。
10.一种大数据的筛选方法，其特征在于，包括权利要求1-9任意一项所述的一种大数据的筛选系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310826830.9A CN116842018B (zh) | 2023-07-06 | 2023-07-06 | 一种大数据的筛选方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310826830.9A CN116842018B (zh) | 2023-07-06 | 2023-07-06 | 一种大数据的筛选方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116842018A true CN116842018A (zh) | 2023-10-03 |
| CN116842018B CN116842018B (zh) | 2024-02-23 |
Family
ID=88164847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310826830.9A Active CN116842018B (zh) | 2023-07-06 | 2023-07-06 | 一种大数据的筛选方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116842018B (zh) |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008152577A (ja) * | 2006-12-18 | 2008-07-03 | Xanavi Informatics Corp | 交通情報配信方法、交通情報配信装置および車載端末装置 |
| JP2011113547A (ja) * | 2009-11-30 | 2011-06-09 | Sumitomo Electric Ind Ltd | 交通情報推定装置、交通情報推定のためのコンピュータプログラム、及び交通情報推定方法 |
| CN103106793A (zh) * | 2013-01-11 | 2013-05-15 | 福州大学 | 基于实时行车方向和通行时段信息的交通状态判别方法 |
| CN103903433A (zh) * | 2012-12-27 | 2014-07-02 | 中兴通讯股份有限公司 | 一种道路交通状态的实时动态判别方法及装置 |
| CN104123833A (zh) * | 2013-04-25 | 2014-10-29 | 北京搜狗信息服务有限公司 | 一种道路状况的规划方法和装置 |
| CN105046957A (zh) * | 2015-07-02 | 2015-11-11 | 清华大学 | 一种用于事故分析与安全评价的平衡采样方法 |
| CN106326358A (zh) * | 2016-08-10 | 2017-01-11 | 东方网力科技股份有限公司 | 一种基于大数据的车辆通行信息的查询方法及装置 |
| CN109035778A (zh) * | 2018-08-29 | 2018-12-18 | 深圳市赛为智能股份有限公司 | 拥堵成因分析方法、装置、计算机设备及存储介质 |
| CN110555568A (zh) * | 2019-09-12 | 2019-12-10 | 重庆交通大学 | 一种基于社交网络信息的道路交通运行状态实时感知方法 |
| CN111159247A (zh) * | 2019-11-20 | 2020-05-15 | 北京交通大学 | 一种区域交通拥堵传播轨迹挖掘方法 |
| WO2020121069A1 (en) * | 2018-12-12 | 2020-06-18 | Datacorp Traffic Private Limited | System and method of traffic data collection and analysis |
| CN113674528A (zh) * | 2021-08-23 | 2021-11-19 | 田继伟 | 一种基于大数据共建共享的智慧交通系统及方法 |
| CN113689697A (zh) * | 2021-08-13 | 2021-11-23 | 南京理工大学 | 一种基于规则匹配和知识图谱的交通事件影响分析方法 |
| US20220004909A1 (en) * | 2020-06-15 | 2022-01-06 | Beihang University | Method and system for predicting road network congestion propagation situation based on epidemic model |
| CN115019525A (zh) * | 2022-06-20 | 2022-09-06 | 杭州海康威视数字技术股份有限公司 | 行程时间数据的筛选方法和交通信号控制方法 |
| CN115147006A (zh) * | 2022-08-01 | 2022-10-04 | 无锡永德宏门业有限公司 | 一种具有视觉分析可视化控制系统 |
| CN115578850A (zh) * | 2022-06-23 | 2023-01-06 | 江苏嘉和天盛信息科技有限公司 | 一种基于交通信息化的城市交通智能控制方法及系统 |
| CN115691125A (zh) * | 2022-10-25 | 2023-02-03 | 北京磁浮有限公司 | 基于城市轨道交通设施系统的可靠度分析方法及相关装置 |
| CN115713858A (zh) * | 2022-11-15 | 2023-02-24 | 江苏抖灵网络科技有限公司 | 一种基于交通大数据的智慧交通运行管控系统 |
| CN116363891A (zh) * | 2023-05-31 | 2023-06-30 | 江西科技学院 | 基于车联网的智慧城市网外运算方法及系统 |
-
2023
- 2023-07-06 CN CN202310826830.9A patent/CN116842018B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008152577A (ja) * | 2006-12-18 | 2008-07-03 | Xanavi Informatics Corp | 交通情報配信方法、交通情報配信装置および車載端末装置 |
| JP2011113547A (ja) * | 2009-11-30 | 2011-06-09 | Sumitomo Electric Ind Ltd | 交通情報推定装置、交通情報推定のためのコンピュータプログラム、及び交通情報推定方法 |
| CN103903433A (zh) * | 2012-12-27 | 2014-07-02 | 中兴通讯股份有限公司 | 一种道路交通状态的实时动态判别方法及装置 |
| CN103106793A (zh) * | 2013-01-11 | 2013-05-15 | 福州大学 | 基于实时行车方向和通行时段信息的交通状态判别方法 |
| CN104123833A (zh) * | 2013-04-25 | 2014-10-29 | 北京搜狗信息服务有限公司 | 一种道路状况的规划方法和装置 |
| CN105046957A (zh) * | 2015-07-02 | 2015-11-11 | 清华大学 | 一种用于事故分析与安全评价的平衡采样方法 |
| CN106326358A (zh) * | 2016-08-10 | 2017-01-11 | 东方网力科技股份有限公司 | 一种基于大数据的车辆通行信息的查询方法及装置 |
| CN109035778A (zh) * | 2018-08-29 | 2018-12-18 | 深圳市赛为智能股份有限公司 | 拥堵成因分析方法、装置、计算机设备及存储介质 |
| WO2020121069A1 (en) * | 2018-12-12 | 2020-06-18 | Datacorp Traffic Private Limited | System and method of traffic data collection and analysis |
| CN110555568A (zh) * | 2019-09-12 | 2019-12-10 | 重庆交通大学 | 一种基于社交网络信息的道路交通运行状态实时感知方法 |
| CN111159247A (zh) * | 2019-11-20 | 2020-05-15 | 北京交通大学 | 一种区域交通拥堵传播轨迹挖掘方法 |
| US20220004909A1 (en) * | 2020-06-15 | 2022-01-06 | Beihang University | Method and system for predicting road network congestion propagation situation based on epidemic model |
| CN113689697A (zh) * | 2021-08-13 | 2021-11-23 | 南京理工大学 | 一种基于规则匹配和知识图谱的交通事件影响分析方法 |
| CN113674528A (zh) * | 2021-08-23 | 2021-11-19 | 田继伟 | 一种基于大数据共建共享的智慧交通系统及方法 |
| CN115019525A (zh) * | 2022-06-20 | 2022-09-06 | 杭州海康威视数字技术股份有限公司 | 行程时间数据的筛选方法和交通信号控制方法 |
| CN115578850A (zh) * | 2022-06-23 | 2023-01-06 | 江苏嘉和天盛信息科技有限公司 | 一种基于交通信息化的城市交通智能控制方法及系统 |
| CN115147006A (zh) * | 2022-08-01 | 2022-10-04 | 无锡永德宏门业有限公司 | 一种具有视觉分析可视化控制系统 |
| CN115691125A (zh) * | 2022-10-25 | 2023-02-03 | 北京磁浮有限公司 | 基于城市轨道交通设施系统的可靠度分析方法及相关装置 |
| CN115713858A (zh) * | 2022-11-15 | 2023-02-24 | 江苏抖灵网络科技有限公司 | 一种基于交通大数据的智慧交通运行管控系统 |
| CN116363891A (zh) * | 2023-05-31 | 2023-06-30 | 江西科技学院 | 基于车联网的智慧城市网外运算方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 许彬: "基于分辨矩阵的交通拥堵关键影响因素提取及解析", 《长安大学学报(自然科学版)》, vol. 32, no. 05, pages 91 - 96 * |
| 郭庚麒 等: "城市道路状况概率神经网络判别方法", 《计算机工程与应用》, vol. 45, no. 13, pages 214 - 216 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116842018B (zh) | 2024-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190355244A1 (en) | Method for anticipating tipping point of traffic resilience based on percolation analysis | |
| CN112512020B (zh) | 一种基于多源数据融合的交通状态弱信号感知研判方法 | |
| CN110379169B (zh) | 基于视频号牌设备的待转区车道饱和车头时距计算方法 | |
| CN101814237A (zh) | 一种基于车牌识别技术的道路状态判别器及其判别方法 | |
| CN112633120B (zh) | 一种基于半监督学习的智能路侧感知系统的模型训练方法 | |
| CN104778821B (zh) | 一种交通设备自动报警系统及方法 | |
| CN108922172B (zh) | 基于车辆特征矩阵序列变化分析的道路拥堵监测系统 | |
| CN114333313B (zh) | 一种基于高速公路监控的智能巡检方法 | |
| CN100440972C (zh) | 一种移动式测速抓拍装置 | |
| CN116842018B (zh) | 一种大数据的筛选方法和系统 | |
| CN108665699A (zh) | 一种预测车辆出现地点的方法及装置 | |
| CN109246192A (zh) | 基于北斗rdss的区块链系统及其实现方法 | |
| CN110556014B (zh) | 智能公交调度平台系统 | |
| CN101540101A (zh) | 道路交通事件检测方法与系统 | |
| CN106846808B (zh) | 一种基于车牌数据的车辆停车次数计算方法 | |
| CN109584564A (zh) | 一种适用多设备的信控方案实施优化方法及其系统和装置 | |
| CN104715608A (zh) | 基于HBase的全天候全域出租车聚集实时监测方法 | |
| CN111951572B (zh) | 一种城市道路交叉口多时段信号控制方案的时段划分优化方法 | |
| CN111182496B (zh) | 一种路测单元休眠唤醒方法及其系统 | |
| CN110751119B (zh) | 一种车流量统计与车型分类方法及装置 | |
| CN102006455A (zh) | 基于视频的智能河道监控系统 | |
| CN114220280A (zh) | 人车可控式交通信号灯 | |
| WO2012010005A1 (zh) | 道路交通事件信息的处理方法和装置 | |
| CN114489079A (zh) | 一种基于信号规则的自动驾驶前车切入场景提取方法 | |
| CN110097761B (zh) | 光照自适应视频车辆流量检测模式切换系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240131 Address after: 200137 building C, No. 888, Huanhu West 2nd Road, Lingang New Area, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai Applicant after: Shanghai Bizite Information Technology Co.,Ltd. Country or region after: China Address before: Room 202, 2nd Floor, Building 6, Aixi Village Industrial Park, Chuangxin Second Road, Nanchang High tech Industrial Development Zone, Nanchang City, Jiangxi Province, 330000 Applicant before: Jiangxi Jubei Technology Co.,Ltd. Country or region before: China |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |