CN103678716B - 一种基于格式数据集的分布式数据存储与计算方法 - Google Patents

一种基于格式数据集的分布式数据存储与计算方法 Download PDF

Info

Publication number
CN103678716B
CN103678716B CN201310752910.0A CN201310752910A CN103678716B CN 103678716 B CN103678716 B CN 103678716B CN 201310752910 A CN201310752910 A CN 201310752910A CN 103678716 B CN103678716 B CN 103678716B
Authority
CN
China
Prior art keywords
data
formatted data
formatted
record
data collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310752910.0A
Other languages
English (en)
Other versions
CN103678716A (zh
Inventor
邹瑜斌
张昕
胡斌
须成忠
张帆
穆德全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen E Traffic Technology Co ltd
Zhongke Wenxun Science & Technology Shenzhen Co ltd
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen E Traffic Technology Co ltd
Zhongke Wenxun Science & Technology Shenzhen Co ltd
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen E Traffic Technology Co ltd, Zhongke Wenxun Science & Technology Shenzhen Co ltd, Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen E Traffic Technology Co ltd
Priority to CN201310752910.0A priority Critical patent/CN103678716B/zh
Publication of CN103678716A publication Critical patent/CN103678716A/zh
Application granted granted Critical
Publication of CN103678716B publication Critical patent/CN103678716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及计算机技术领域，本发明采用一种基于格式数据集的分布式数据存储与计算方法，包括：将计算统计的过滤条件转换为一个规则集；根据规则集，将原始无序的数据记录转换为格式数据集；将转换后的格式数据集进行存储；基于存储的格式数据集，执行统计计算。本发明可以极大地缩短海量数据的统计计算时间，并且易于计算规模的扩展，能够有效地应对数据的多样性和异常数据。

Description

一种基于格式数据集的分布式数据存储与计算方法
技术领域
本发明涉及计算机技术领域，特别是涉及一种基于格式数据集的分布式数据存储与计算方法。
背景技术
随着大数据时代的到来，数据以爆炸式方式地增长，海量数据的计算不但可以服务社会或者企业的各个方面，为公众的生活和企业的运营决策提供服务。而海量数据的有效利用很大程度上取决于对这些数据的有效存储和快速计算，在通常情况下，数据的时效性非常强，如果不能在可以忍受的时间内完成数据计算并得到可靠的计算结果，那么数据的价值将会极大地降低。因此如何海量数据的有效计算成为了当前大数据研究的一个热门课题。
当前，海量数据的统计计算不但受到了存储介质的读写性能的影响，集群节点之间数据传输性能的影响，而且受制于计算的计算能力，总结起来有以下特点：1、数据量巨大，由于数据的维度、范围、量级都不受限制，因此数据常常是TB级，甚至PB级。2、异常数据复杂，数据源多样，且数据收集收到了设备缺陷、或者网络信号等多种客观并且不可预知的因素的影响，导致数据中存在大量不可预知的数据，异常数据的种类繁多。3、统计要求的条件多样，常常夹杂着需要进行动态计算的过滤条件，导致计算复杂度高。
现有的方法通常是采用传统的关系数据库，基于SQL语言来进行计算，导致计算复杂度高，SQL脚本编写困难，无法应对海量数据和复杂的异常数据。
发明内容
本发明采用一种基于格式数据集的分布式数据存储与计算方法，极大地缩短了海量数据的统计计算的时间，易于计算规模的扩展，并且能够有效地应对数据的多样性和异常数据。
本发明采用如下方案：
一种基于格式数据集的分布式数据存储与计算方法，用于快速执行统计计算，包括：
将计算统计的过滤条件转换为一个规则集；
根据所述规则集，将原始无序的数据记录转换为格式数据集；
将转换后的格式数据集进行存储；
基于存储的格式数据集，执行统计计算。
优选地，所述过滤条件包括不同记录条件的点过滤条件和范围过滤条件。
优选地，所述将原始无序的数据记录转换为格式数据集，包括：
根据所述规则集，将原始无序的数据记录划分为具有不同属性的集合；
格式数据集中的每一个元素为一个格式对，对于一个格式数据对来说，格式数据为一组特定的属性值，数据集为满足该组特定属性值，且按其中某些属性值进行排序的数据记录的集合；
点过滤条件的记录属性和范围过滤条件中的记录属性，过滤掉原始数据集中无法推导出所涉及属性值的数据记录，形成格式数据集；
优选地，所述转换后的格式数据集通过分布式存储方法进行存储。
优选地，所述基于存储的格式数据集，执行统计计算，包括：
先执行点过滤过程：对于格式数据集中的每个格式数据对，检查其格式数据对中的格式数据描述的属性值，并以此过滤掉不符合点过滤条件的格式数据对，剩下的格式数据对组成中间结果数据集；对于中间结果数据集中的每个格式数据对，对数据集中的数据记录进行所需要的统计计算，然后检查计算结果，依据点过滤条件过滤格式数据对，剩下的格式数据对组成中间结果数据集；
然后执行范围过滤：对于中间结果数据中的每个格式数据，使用二分查找算法，找到数据集中的一组满足范围过滤条件的数据记录，组成中间结果数据集；中间结果数据集中的所有格式数据集就是满足要求的点过滤条件和范围过滤条件的数据记录；对中间数据集中的每个格式数据集中的数据记录执行指定的计算操作，输出结果。
优选地，所述统计计算采用分布式计算来执行点过滤过程、范围过滤过程，统计计算，分布在不同的计算节点并行执行。
本发明公开的一种基于格式数据集的分布式数据存储于计算方法，通过将计算统计的过滤条件转换为一个规则集；根据规则集，将原始无序的数据记录转换为格式数据集；将转换后的格式的数据集进行存储；基于存储的格式数据集，执行统计计算。极大地缩短了海量数据的统计计算的时间，易于计算规模的扩展，并且能够有效地应对数据的多样性和异常数据。
附图说明
图1为本发明实施例1提供的一种基于格式数据集的分布式数据存储于计算方法的流程图；
图2为本发明实施例1统计计算需求的条件；
图3为本发明实施例1统计计算项。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供了一种基于格式数据集的分布式数据存储与计算方法，包括：
将计算统计的过滤条件转换为一个规则集；
根据所述规则集，将原始无序的数据记录转换为格式数据集；
将转换后的格式数据集进行存储；
基于存储的格式数据集，执行统计计算。
本发明实施例实现了基于格式数据集的分布式数据存储与计算。且能够极大地缩短了海量数据的统计计算的时间，易于计算规模的扩展，并且能够有效地应对数据的多样性和异常数据。下面对本发明进行详细阐述。
实施例1：
请参阅图1所示，为本发明一种基于格式数据集的分布式数据存储与计算方法流程图。该方法包括下述步骤：
有一个原始无序的数据集，每一个数据项为一个出租车交易记录，包括：号牌号码、经度、纬度、汇报时间、车辆状态、车牌种类、上车时间、下车时间、营业里程、计时时间、消费金额、空驶里程、所属出租车公司。
统计计算需求的条件如图2所示，点过滤条件有：出租车类型、交易日期类型、所属出租车公司、单次交易营运时间、单次交易营运里程、单车单天营运交易数、单车单天营运金额、单车单天行驶里程。其中，有记录属性与之直接对应的点过滤条件有：出租车类型、交易日期类型、所属出租车公司、单次交易营运时间、单次交易营运里程；没有记录属性与之直接对应的点过滤条件有：单车单天营运交易数、单车单天营运金额、单车单天行驶里程。范围过滤条件有：营业日期范围。
统计计算项如图3所示，包括：平均营业里程、平均空闲里程、平均行驶里程、平均营业金额、平均营业次数、平均里程利用率。
S1、将计算统计的过滤条件转换为一个规则集。
遍历原始数据集，过滤掉无法推导出点过滤条件和范围过滤条件的交易记录。
S2、根据规则集，将原始无序的数据记录转换为格式数据集。
首先，以出租车类型、交易日期类型、所属出租车公司、单次交易营运时间、单次交易营运里程等组成格式数据，把原始数据集划分为格式数据集，不同格式数据值的交易记录存放在不同的数据中，于是原始数据集被转换为格式数据集TmpSetA。
然后，对于TmpSetA中的每个格式数据对，使用数据集中的所有交易记录，计算单车单天营运交易数、单车单天营运金额及单车单天行驶里程，并把计算结果放入格式数据中，生成新的格式数据集TmpSetB。
接下来，对于营业日期范围，针对TmpSetB中的每个格式数据对其中的所有交易记录，按营业日期排序，生成新的格式数据集TmpSetC。
S3、将转换后的格式数据集进行存储。
把格式数据集TmpSetC分布在不同的计算节点上进行存储，且格式数据集TmpSetC中的每个格式数据对是不可分割的。
S4、基于存储的格式数据集，执行统计计算。
假定有一个查询请求：出租车类型＝红的、交易日期类型＝工作日、所属出租车公司＝公司A、单次交易营运时间＝{7，12}、单次交易营运里程<100km、单车单天营运交易数＝{100,200}、单车单天营运金额>800、单车单天行驶里程>200km、营业日期范围＝{2012-02-01,2012-03-15}。
执行查询时，不同的计算节点只针对存储在本地的格式数据集TmpSetC的子数据集进行计算。
所以，对于一个计算节点执行以下过程：
首先，对于本地的格式数据集TmpSetC子数据集，根据条件：出租车类型＝红的、交易日期类型＝工作日、所属出租车公司＝公司A、单次交易营运时间＝{7，12}、单次交易营运里程<100km}，仅保留符合该条件的格式数据对，生成中间数据集TmpData1。
其次，对于中间数据集TmpData1中的每个格式数据对中的数据记录，计算单车单天营运交易数、单车单天营运金额、单车单天行驶里程，仅保留单车单天营运交易数＝{100,200}、单车单天营运金额>800、单车单天行驶里程>200km的格式数据对，生成中间数据集TmpData2。
再次，对于范围过滤条件(营业日期范围＝{2012-02-01,2012-03-15})，使用二分查找算法对中间数据集TmpData2中每个格式数据对的交易记录进行处理。由于每个格式数据对的交易记录已经针对营业日期进行了排序，因此只需进行两次查找就可以找到所有符合该范围过滤条件的交易记录，生成最终结果数据集TmpData3。
最后，对于最终结果数据集TmpData3中每个格式数据对的交易记录，计算平均营业里程、平均空闲里程、平均行驶里程、平均营业金额、平均营业次数、平均里程利用率，生成最终统计计算结果输出。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (5)

1.一种基于格式数据集的分布式数据存储与计算方法，用于快速执行统计计算，其特征在于，包括：
将计算统计的过滤条件转换为一个规则集；
根据所述规则集，将原始无序的数据记录转换为格式数据集；
将转换后的格式数据集进行存储；
基于存储的格式数据集，执行统计计算；
所述基于存储的格式数据集，执行统计计算，包括：
先执行点过滤过程：对于格式数据集中的每个格式数据对，检查其格式数据对中的属性值，过滤掉不符合点过滤条件的格式数据对，剩下的格式数据对组成第一中间结果数据集；对于第一中间结果数据集中的每个格式数据对，对数据集中的数据记录进行所需要的统计计算，然后依据点过滤条件过滤格式数据对，剩下的格式数据对组成第二中间结果数据集；
然后执行范围过滤：对于第二中间结果数据集中的每个格式数据，使用二分查找算法，找到数据集中的一组满足范围过滤条件的数据记录，组成第三中间结果数据集；第三中间结果数据集中的所有格式数据集就是满足要求的点过滤条件和范围过滤条件的数据记录；对第三中间结果数据集中的每个格式数据集中的数据记录执行指定的计算操作，输出结果。
2.根据权利要求1所述的方法，其特征在于，所述过滤条件包括不同记录条件的点过滤条件和范围过滤条件。
3.根据权利要求2所述的方法，其特征在于，所述将原始无序的数据记录转换为格式数据集，包括：
根据所述规则集，将原始无序的数据记录划分为具有不同属性的集合；
格式数据集中的每一个元素为一个格式对，对于一个格式数据对来说，格式数据为一组特定的属性值，数据集为满足该特定属性值的数据记录的集合；
点过滤条件的记录属性和范围过滤条件中的记录属性，过滤掉原始数据集中无法推导出所涉及属性值的数据记录，形成格式数据集。
4.根据权利要求1所述的方法，其特征在于，所述转换后的格式数据集通过分布式存储方法进行存储。
5.根据权利要求1所述的方法，其特征在于，所述统计计算采用分布式计算来执行点过滤过程、范围过滤过程，统计计算，分布在不同的计算节点并行执行。
CN201310752910.0A 2013-12-31 2013-12-31 一种基于格式数据集的分布式数据存储与计算方法 Active CN103678716B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310752910.0A CN103678716B (zh) 2013-12-31 2013-12-31 一种基于格式数据集的分布式数据存储与计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310752910.0A CN103678716B (zh) 2013-12-31 2013-12-31 一种基于格式数据集的分布式数据存储与计算方法

Publications (2)

Publication Number Publication Date
CN103678716A CN103678716A (zh) 2014-03-26
CN103678716B true CN103678716B (zh) 2017-01-04

Family

ID=50316260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310752910.0A Active CN103678716B (zh) 2013-12-31 2013-12-31 一种基于格式数据集的分布式数据存储与计算方法

Country Status (1)

Country Link
CN (1) CN103678716B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105094707B (zh) * 2015-08-18 2018-03-13 华为技术有限公司 一种数据存储、读取方法及装置
CN108230720B (zh) * 2016-12-09 2020-11-03 深圳市易行网交通科技有限公司 停车管理方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431760A (zh) * 2007-11-07 2009-05-13 中兴通讯股份有限公司 业务报表实现方法及系统
CN102129469A (zh) * 2011-03-23 2011-07-20 华中科技大学 一种面向虚拟实验的非结构化数据访问方法
CN102411593A (zh) * 2010-09-26 2012-04-11 腾讯数码（天津）有限公司 展示好友动态的方法及系统
CN102945254A (zh) * 2012-10-18 2013-02-27 福建省海峡信息技术有限公司 在tb级海量审计数据中发现异常数据的方法
CN103049556A (zh) * 2012-12-28 2013-04-17 中国科学院深圳先进技术研究院 一种海量医疗数据的快速统计查询方法
CN103164510A (zh) * 2013-02-05 2013-06-19 广东全通教育股份有限公司 一种动态数据报表生成方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431760A (zh) * 2007-11-07 2009-05-13 中兴通讯股份有限公司 业务报表实现方法及系统
CN102411593A (zh) * 2010-09-26 2012-04-11 腾讯数码（天津）有限公司 展示好友动态的方法及系统
CN102129469A (zh) * 2011-03-23 2011-07-20 华中科技大学 一种面向虚拟实验的非结构化数据访问方法
CN102945254A (zh) * 2012-10-18 2013-02-27 福建省海峡信息技术有限公司 在tb级海量审计数据中发现异常数据的方法
CN103049556A (zh) * 2012-12-28 2013-04-17 中国科学院深圳先进技术研究院 一种海量医疗数据的快速统计查询方法
CN103164510A (zh) * 2013-02-05 2013-06-19 广东全通教育股份有限公司 一种动态数据报表生成方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
电信经营分析中的数据预处理技术研究;杨巍;《中国优秀硕士学位论文全文数据库信息科技辑 》;20071115(第5期);第I138-646页 *

Also Published As

Publication number Publication date
CN103678716A (zh) 2014-03-26

Similar Documents

Publication Publication Date Title
CN104317789B (zh) 构建乘客社交网络的方法
CN107529651A (zh) 一种基于深度学习的城市交通客流预测方法和设备
US20160314174A1 (en) Data mining method
CN105279964B (zh) 一种基于低秩算法的路网交通数据的补全方法
CN102567807B (zh) 加油卡客户流失预测方法
CN103077604B (zh) 交通传感器管理方法和系统
CN107844914B (zh) 基于集团管理的风险管控系统和实现方法
CN111160867A (zh) 大范围地域停车场大数据分析系统
CN109243173A (zh) 基于道路高清卡口数据的车辆轨迹分析方法及系统
CN106297304A (zh) 一种基于MapReduce面向大规模卡口数据的套牌车识别方法
CN106651732A (zh) 一种高速公路异车换卡逃费车辆筛查方法及系统
CN110097661A (zh) 一种车辆里程数据统计方法及装置
CN105608895A (zh) 一种基于局部异常因子的城市交通拥堵路段检测方法
CN105355047A (zh) 多交通检测源动态时间粒度的数据融合处理方法
CN103678716B (zh) 一种基于格式数据集的分布式数据存储与计算方法
Xu et al. A novel algorithm for urban traffic congestion detection based on GPS data compression
CN114969263A (zh) 一种城市交通知识图谱的构建方法、构建装置及应用
CN104391910B (zh) 一种基于HBase的税收统计报表存储与计算的方法
CN113254517A (zh) 一种基于互联网大数据的服务提供方法
CN112883195B (zh) 个体出行的交通知识图谱构建方法及系统
CN103700264B (zh) 基于etc收费数据的高速公路路段行程速度计算方法
CN114416686B (zh) 一种车辆设备指纹carid识别系统及识别方法
CN115034917A (zh) 一种社保资金发放数据风险信息的筛查方法及装置
Shi et al. Prediction and Impact Analysis of Passenger Flow in Urban Rail Transit in the Postpandemic Era
Sun et al. Analysis of bus trip characteristics and demand forecasting based on NARX neural network model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant