CN104598475A - 基于行车用量模型事件的存储及索引方法及系统 - Google Patents

基于行车用量模型事件的存储及索引方法及系统 Download PDF

Info

Publication number
CN104598475A
CN104598475A CN201310532545.2A CN201310532545A CN104598475A CN 104598475 A CN104598475 A CN 104598475A CN 201310532545 A CN201310532545 A CN 201310532545A CN 104598475 A CN104598475 A CN 104598475A
Authority
CN
China
Prior art keywords
data
index
tree
model event
subspace
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310532545.2A
Other languages
English (en)
Other versions
CN104598475B (zh
Inventor
黄晓庆
饶佳
刘祎
杨景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201310532545.2A priority Critical patent/CN104598475B/zh
Priority to PCT/CN2014/090016 priority patent/WO2015062540A1/zh
Publication of CN104598475A publication Critical patent/CN104598475A/zh
Application granted granted Critical
Publication of CN104598475B publication Critical patent/CN104598475B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2272—Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries

Abstract

本发明公开了一种基于行车用量模型事件的存储及索引方法及系统，设置行车用量模型事件，该用量模型事件包括不同信息主体的不同项目所对应的行车用量关联规则。车联网数据包括各个信息主体提供的车联网原始数据及历史数据，其中，将车联网原始数据采用行车用量模型事件及该行车用量模型事件下的子空间的粗粒度级别索引，为行车用量模型事件中的历史数据设置为记录级别的细粒度级别索引。因此，本发明提供的方法及系统在对车联网数据进行存储及索引时，索引更新次数少，且使得车联网数据分布均匀。

Description

基于行车用量模型事件的存储及索引方法及系统
技术领域
本发明涉及车联网领域，特别涉及一种基于行车用量模型事件的存储及索引方法及系统。
背景技术
随着车联网相关技术的不断成熟，传感器技术、移动通信技术、大数据技术和智能计算技术等均开始与车联网产业深度融合。在市场需求的带动下，车联网的Telemaitcs终端设备有望迎来爆发式的增长，其中，Telemaitcs指应用无线通信技术的车载电脑系统，从而为运营商开拓数据服务模式带来可观的增值收入和持续增长的机遇。区别于传统的智能交通系统（ITS，Intelligent Transport System），车联网更注重车与车、车与路、车与人之间的交互通信，可以说车联网的出现重新定义车辆交通运行方式。
对信息主体提供的车联网原始数据进行存储及索引，是实现对车辆交通运行方式优化和资源有效利用的重要基础和前提。在车联网环境下，数以百万计的信息主体会周期产生车联网原始数据，导致传统的车联网关系型数据库在扩展性方面遇到了瓶颈，使得车联网系统吞吐量达不到要求，无法支持数万、甚至是数十万的并发操作，因此，就需要提供一种新的车联网原始数据的存储及索引方法来适应车联网原始数据的管理需要。
现有的云数据管理系统具有高可扩展性、高容错性和高可用性等技术特点，天然具有很好的扩展性，同时支持高度并发，常常被选择成为解决车联网原始数据存储及索引的方式，一些云数据管理系统还支持映射化简（MapReduce）模型提高查询的性能和效率，在索引时，采用双层索引的方式，解决数据的海量性及系统的可扩展性。
DF10-131105
目前，针对数据存储及索引的方式主要有两种：
第一种方式，基于分布式存储的数据管理系统。与常见的集中式存储方式不同，分布式存储方式并不是将数据存储在某个或多个特定的节点上，而是通过网络使用限定范围的不同机器的存储空间，使得这些存储空间构成一个虚拟的存储设备，数据存储分散在网络中的各个角落。分布式存储方式采用Key-Value的键值存储方式，在行主键（rowkey）上支持高效的点查询和范围查询，对于非主键（rowkey）的查询则需要全表扫描比较，虽然可以利用MapReduce模型提高查询的效率，但是对于选择率比较低的查询来说，性能比较差；
第二种方式，基于云存储的双层索引方式。在双层索引方式下，对网络中每个计算机节点的数据建立一个本地的局部索引，该局部索引只负责本地节点的数据，除局部索引外，每个计算机节点还需要共享一部分存储空间用来存储全局索引，全局索引是由部分局部索引组成的，由于存储空间的限制和查询效率的要求，不可能将所有的局部索引都发布到全局索引中，所以需要按照设定的规则选择部分局部索引进行索引，对于被选择的局部索引，在全局索引可以采用设定的不同方式进行组织。
虽然上述两种方式都可以实现数据的存储及索引。但是，对车联网原始数据采用何种方式存储及索引，优化资源存储和管理，仍然是个问题。这是因为，将上述两种方式应用到对车联网原始数据的存储及索引，存在以下问题：首先，采用基于分布式存储的数据管理系统对车联网原始数据存储及索引时，由于该系统采用的是分布式的架构设计，所以对于选择率比较低的车联网原始数据查询来说，性能比较差；其次，基于云存储的双层索引方式采用的R-Tree方式作为局部索引和全局索引，在车联网原始数据的索引过程中，需要对计算机节点进行不断的分裂调整，索引的维护代价过高，对车联网系统的吞吐量产生很大影响。最重要地是，上述两种方式并未充分考虑“人-车-路”各个车联网原始数据信息主体间的关联关系，缺乏针对性，无法对后续的基于交通事件的分析和处理提供便利。
发明内容
有鉴于此，本发明提供一种基于行车用量模型事件的存储及索引方法，采用该方法存储及索引对车联网数据进行处理，索引更新次数少，且使得车联网数据分布均匀。
本发明还提供一种基于行车用量模型事件的存储及索引系统，采用该系统存储及索引对车联网数据进行处理，索引更新次数少，且使得车联网原始数据分布均匀。
为达到上述目的，本发明实施的技术方案具体是这样实现的：
一种基于行车用量模型事件的存储及索引方法，该方法包括：
建立行车用量模型事件，行车用量模型事件包括不同信息主体的不同项目所对应的行车用量关联规则；
获取车联网原始数据，根据行车用量模型事件划分为车联网原始数据块，将对应行车用量模型事件的车联网原始数据块划分为多个子空间数据段存储；
将行车用量模型事件采用多路搜索树B+tree进行索引，其中的B+tree的叶子节点上为n叉树R-tree，索引对应行车用量模型事件的车联网原始数据块所划分的多个子空间数据段；
将对应行车用量模型事件的历史数据存储在设定区域中，为所设定区域建立记录级别的索引。
所述多个子空间数据段采用K维索引树K-dimension Tree或平均四叉树Bucket PR Quadtree划分，通过划分，得到若干个互补重叠的矩形子空间数据段，对应存储在采用R-tree索引的存储区域。
所述记录级别的索引为局部索引，该局部索引采用R树方式或网格索引方式。
将对应行车用量模型事件的车联网原始数据块划分为多个子空间数据段存储之后，该方法进一步包括：
根据子空间数据段大小及子空间数据段所在对应行车用量模型时间的行车用量原始数据段的树深度，确定划分策略是否合理，如果否，则调整划分策略，重新根据划分策略将对应行车用量模型事件的车联网原始数据块划分为多个子空间数据段存储。
所述确定划分策略是否合理为：
根据子空间数据段大小计算该子空间数据方差，当判断计算得到的该子空间数据方差大于等于设置的第一阈值且该树深度大于等于设置的第二阈值时，则调整划分策略为缩小子空间数据段；当判断计算得到的该子空间数据方差小于设置的第一阈值，且该树深度小于设置的第二阈值时，则调整划分策略为扩大子空间数据段。
一种基于行车用量模型事件的存储及索引系统，该系统包括：建立模型模块、存储指示模块及索引模块，其中，
建立模型模块，用于建立行车用量模型事件，行车用量模型事件包括不同信息主体的不同项目所对应的行车用量关联规则；
存储指示模块，用于获取车联网原始数据后，根据行车用量模型事件划分为车联网原始数据块，将对应行车用量模型事件的车联网原始数据块划分为多个子空间数据段进行存储；将对应行车用量模型事件的历史数据存储在设定区域；
索引模块，用于将行车用量模型事件采用B+tree索引，其中的B+tree的叶子节点上为R-tree，索引对应行车用量模型事件的车联网原始数据块所划分的多个子空间数据段；为所设定区域建立记录级别的索引。
所述存储指示模块，还用于将对应行车用量模型事件的车联网原始数据块划分为多个子空间数据段进行存储时采用K-dimension Tree或Bucket PRQuadtree划分，通过划分，得到若干个互补重叠的矩形子空间数据段，对应存储在采用R-tree索引的存储区域。
该系统还包括更新划分模块，用于根据子空间数据段大小及子空间数据段所在对应行车用量模型时间的行车用量原始数据段的树深度，确定划分策略是否合理，如果否，则调整划分策略；
所述存储指示模块，还用于重新根据划分策略将对应行车用量模型事件的车联网原始数据块划分为多个子空间数据段存储。
所述更新划分模块，还用于根据子空间数据段大小计算该子空间数据方差，当判断计算得到的该子空间数据方差大于等于设置的第一阈值且该树深度大于等于设置的第二阈值时，则调整划分策略为缩小子空间数据段；当判断计算得到的该子空间数据方差小于设置的第一阈值，且该树深度小于设置的第二阈值时，则调整划分策略为扩大子空间数据段。
由上述方案可以看出，本发明设置行车用量模型事件，该用量模型事件包括不同信息主体的不同项目所对应的行车用量关联规则。车联网数据包括各个信息主体提供的车联网原始数据及历史数据，其中，将车联网原始数据采用行车用量模型事件及该行车用量模型事件下的子空间的粗粒度级别索引，为行车用量模型事件中的历史数据设置为记录级别的细粒度级别索引。由于与行车用量模型事件相关的车联网原始数据在索引时是采用已有的行车用量模型事件索引，所以不需要更新索引，且将车联网原始数据包含在行车用量模型事件下的一定范围内的子空间内且均匀分布，因此索引的维度代价也控制在有效的范围内，不会影响存储性能及索引更新次数。因此，本发明提供的方法及系统在对车联网数据进行存储及索引时，索引更新次数少，且使得车联网数据分布均匀。
附图说明
图1为本发明实施例提供的“人-车-路”信息主体间的关联关系结构示意图；
图2为本发明实施例提供的基于行车用量模型索引车联网原始数据的方法流程图；
图3为本发明实施例提供的对行车用量模型相关数据具体进行粗粒度级别索引过程示意图；
图4为本发明实施例提供的从索引层面及存储层面对基于行车用量模型存储及索引车联网原始数据的过程示意图；
图5为本发明实施例提供的基于行车用量模型事件的存储及索引系统结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明作进一步详细说明。
为了解决本发明提供的方案，本发明提供了基于“人-车-路”三维信息主体间的行车用量模型，并提出了“行车用量”的概念，以下详细说明。
行车用量，用量是使用量的简称，是一种对资源使用的行为计量，而用量管理规则则是对使用量的管理。从单一维度说，最熟悉的通过电表对电力使用的行为进行计量管理就是用量管理的一个实例。如果将电力使用的行为扩展到以时间维度进行计量，通过掌握电力使用量随时间的变化关系，进而调节定价和市场供需关系，可以达到对电力资源供给和使用的优化，即苏伟的阶梯定价策略。可见，基于用量管理的模型设计资源供给和使用资源的行为，两者之间的关系可以采用多维空间描述，描述的空间维度越高，可以用于资源配置的变量越多，受益空间越大。在这里，行车用量是车联网平台中通过建立多方契约关系实现产业协同的重要数据概念，其资源涉及多个行为主体，比如车主、车厂、交通管理及保险等，针对车主而言，其对资源的使用行为又包括：车的折旧、交通事故的损失、车险保费的支出、违章罚款和处罚等，随着资源项的增加，可以为行车用量带来新的语义和新的功能，进而为车联网产业中的更多受益者服务。
行车用量模型，车联网产业内的不同产业主体，因为不同的经营目标，关心行车过程中不同的参数。因此，提供给这些不同主体的所需行车用量的过程，就是将行车用量通过一定的数据处理在相应信息主体需求空间进行数据投影的过程，而这个数据模型即为用量模型。举一个例子说明，比如：对于公安交通管理局，其主要职责包括道路交通管理控制和交通安全安保，获取道路交通事故的行车用量，则成为以公安交通管理局为主体的需求投影；对于保险公司，其从减少事故赔付率、降低投保风险及赚取盈利出发，提取投保车量驾驶评估的行车用量，则成为以保险公司为主体的需求投影；对于车主，其从保障车辆行驶安全、规避道路拥塞为主要诉求，获取交通通行能力的行车用量，则成为以车为主体的需求投影。
“人-车-路”信息主体间的关联关系
图1为本发明实施例提供的“人-车-路”信息主体间的关联关系结构示意图，该图形成了包含四个界面且彼此影响的闭环关系结构图，其中，
人-车界面，即驾驶行为协同，涉及的信息主体为人和车，包括驾驶人通过加速踏板、制动和转向盘，操纵方向，控制行车速度，实现对车辆的控制；
人-路界面，即交通信息匹配协同，涉及的信息主体为人和路，包括驾驶人在行驶过程中根据掌握车辆、道路及交通变化特征，不断作出正确的判断与反应，以适应道路环境的变化；
车-路界面，即车辆行驶协同，涉及的信息主体为车和路，包括通过车车、车路信息交互和共享，实现车辆和道路基础设施之间协同与配合；
人-车-路界面，即交通行为协同，涉及的信息主体为人、车和路，包括在驾驶人控制车量按着预定目标，按照交通规则运行的动态过程中，同时车辆也受到道路和环境状况的影响，共同完成交通行为事件。
在本发明中，建立的行车用量模型包括了不同信息主体的不同项目所对应的行车用量关联规则。
在对车联网数据进行存储及索引时，索引更新次数少，且使得车联网数据分布均匀，本发明设置行车用量模型事件，该用量模型事件包括不同信息主体的不同项目所对应的行车用量关联规则。车联网数据包括各个信息主体提供的车联网原始数据及历史数据，其中，将车联网原始数据采用行车用量模型事件及该行车用量模型事件下的子空间的粗粒度级别索引，为行车用量模型事件中的历史数据设置为记录级别的细粒度级别索引。更进一步地，由于车联网原始数据的时空特性，所以在索引过程中采用自适应的数据划分方式，使得对车联网原始数据的索引比较均匀。
由于与行车用量模型事件相关的车联网原始数据在索引时是采用已有的行车用量模型事件索引，所以不需要更新索引，且将车联网原始数据包含在行车用量模型事件下的一定范围内的子空间内且均匀分布，因此索引的维度代价也控制在有效的范围内，不会影响存储性能及索引更新次数。
图2为本发明实施例提供的基于行车用量模型索引车联网原始数据的方法流程图，其具体步骤为：
步骤201、建立行车用量模型事件，行车用量模型事件包括不同信息主体的不同项目所对应的行车用量关联规则；
步骤202、获取车联网原始数据后，根据行车用量模型事件划分为车联网原始数据块，将对应行车用量模型事件的车联网原始数据块划分为多个子空间数据段存储；
在本步骤中，多个子空间数据段采用K维索引树（K-dimension Tree）或平均四叉树（Bucket PR Quadtree）划分，通过划分，得到若干个互补重叠的矩形子空间数据段，对应存储于采用R-tree索引的存储区域；
步骤203、将行车用量模型事件采用多路搜索树（B+tree）进行索引，其中的B+tree的叶子节点上为n叉树（R-tree），索引对应行车用量模型事件的车联网原始数据块所划分的多个子空间数据段；
步骤204、将对应行车用量模型事件的历史数据存储在设定区域中，为所设定区域建立记录级别的索引；
在本步骤中，记录级别的索引可以为局部索引，该局部索引可以采用R树或网格索引两种方式。
在步骤202中，将对应行车用量模型事件的车联网原始数据块划分为多个子空间数据段存储之后，该方法进一步包括：
根据子空间数据段大小及子空间数据段所在对应行车用量模型时间的行车用量原始数据段的树深度，确定划分策略是否合理，如果否，则调整划分策略，重新根据划分策略将对应行车用量模型事件的车联网原始数据块划分为多个子空间数据段存储。
所述确定划分策略是否合理为：
根据子空间数据段大小计算该子空间数据方差，当判断计算得到的该子空间数据方差大于等于设置的第一阈值且该树深度大于等于设置的第二阈值时，则调整划分策略为缩小子空间数据段；当判断计算得到的该子空间数据方差小于设置的第一阈值，且该树深度小于设置的第二阈值时，则调整划分策略为扩大子空间数据段。
图3为本发明实施例提供的对行车用量模型相关数据具体进行粗粒度级别索引过程示意图，如图所示，首先，需要根据行车用量模型事件，对车联网原始数据分区，得到行车用量模型事件相关数据；然后，对行车用量模型事件相关数据进行对应的行车用量模型事件更新，且为该更新后的行车用量模型事件创建子空间，将该行车用量模型事件相关数据分为多个数据段设置在子空间中，这些子空间对应车联网数据库中的一个存储区域，该数据库为分布式数据库，采用R树索引。
以下对图3所示的过程详细说明。
首先，根据行车用量模型事件对车联网原始数据进行划分
由于“人-车-路”三个信息主体提供的车联网原始数据相互关联又彼此影响的闭环关系，根据不同信息组团对行车用量的需求投影，可以形成行车用量模型事件，包括不同信息主体的不同项目所对应的行车用量关联规则。
车联网原始数据是随着行车用量模型事件分布，所以按照某一行车用量模型事件发生和结束锚，可以将车联网原始数据分为若干个与行车用量模型事件相关的数据块（Event Data Block），锚采用A表示，车联网原始数据DBS＝{[As1,Ae1),[As2,Ae2),...,[Asi,Aei),...}，其中[Asi,Aei)是一个左闭右开的数据区间，表示针对行车用量模型事件的车联网原始数据块，这些区间是不重叠的。
在具体实现上，首先根据行车用量模型事件在事件维度上将车联网原始数据分成若干个块，针对每个块，在二维空间中进行划分，划分为若干个数据段，若干个数据段分别存储在若干个子空间内。
为了保证存储数据段的子空间划分合理，则需要监控每个子空间大小及计算子空间的深度和偏移量；根据计算结果确定划分是否合理，如果不合理，比如超过设置的分割数据段阈值，则调整子空间的分割策略。
将车联网原始数据存储到对应的行车用量模型事件的存储节点上
当将车联网原始数据划分完成后，将行车用量模型事件开始锚和结束锚之间的车联网原始数据块[As1,Ae1)存储到对应的行车用量模型事件的存储节点上，如果该对应的行车用量模型事件是采用云存储系统存储，则通过云存储系统的接口确定该对应的行车用量模型事件的存储节点，将车联网原始数据块[As1,Ae1)更新到该存储节点上。
更新对应的行车用量模型事件的索引
为了加快行车用量模型事件的点查询和范围查询，利用B+Tree索引行车用量模型事件，B+Tree的叶子节点对应一棵R-Tree，该R-Tree用来索引该行车用量模型事件的车联网原始数据块[As1,Ae1)所划分的子空间，当将车联网原始数据块[As1,Ae1)存储到对应的行车用量模型事件的存储节点时，更新对应的B+Tree索引。
创建车联网原始数据块[As1,Ae1)的子空间索引
对于大多数车联网应用环境中，存储节点在空间上分布范围大都是固定的，所以对某个车联网原始数据块[As1,Ae1)内的子空间，可以采用K-dimensionTree或Bucket PR Quadtree进行划分，通过划分，最终得到若干个互补重叠的矩形子空间区域，对这些重叠的矩形子空间区域，采用R树索引。
对车联网原始数据块[As1,Ae1)的历史数据建立记录级别的索引[As2,Ae2)
当车联网原始数据块[As1,Ae1)更新了对应的行车用量模型事件后，原来的行车用量模型事件中的车联网原始数据块[As1,Ae1)成为历史数据，对于历史数据，为了进一步加快查询速度，可以为每个区域建立一个记录级别的局部索引，局部索引采用R树或网格索引两种方式，索引各个行车用量模型事件中的历史数据。
为了方便叙述，以下从索引层面及存储层面对基于行车用量模型存储及索引车联网原始数据的过程进行详细说明，图4为本发明实施例提供的从索引层面及存储层面对基于行车用量模型事件存储及索引车联网原始数据的过程示意图。
从图4可以看出，在存储层面上，按照行车用量模型事件维度，将车联网原始数据划分为行车用量模型事件相关数据及行车用量模型事件无关数据；然后，根据行车用量模型事件的发生锚和结束锚，将行车用量模型事件相关数据分为对应行车用量模型事件的数据块；再次，针对每个数据块，在二维空间上划分，划分为若干个子空间，每个数据块中的多个子空间数据段存储到分布式存储系统中的一个区域内，保证对应某一行车用量模型事件的行车用量模型事件相关数据块的子空间数据段尽量存在在相同的区域内，减少查询过程中需要扫描的区域数量，提高查询效率。
在索引层面上，主要包括三个层次，其中的行车用量模型事件索引以及子空间索引针对的是当前车联网原始数据，网格索引针对的是行车用量模型事件对应的历史数据索引。
具体地，在索引时，在行车用量模型事件维度上，将数据分为当前车联网原始数据和历史数据。对于当前车联网原始数据，仅仅对其所在的数据段及所在的子空间索引，而不对数据记录本身索引，这样在当前车联网原始数据存储时大大减少更新索引的次数，其中的行车用量模型事件索引采用B+tree方式进行，由于行车用量模型事件的多个子空间数据段都存储在不同的区域中，所以采用R-tree索引。当行车用量模型事件更新后，历史数据不再改变，所以可以批量地对历史数据存储并建立记录级别的索引，比如可以采用R-tree索引或网格索引。这样，索引更新维护的代价比较低，对车联网原始数据存储的影响比较小，保证车联网系统能够支持大规模的频繁更新。
具体说明一下子空间数据段如何划分且优化
在实际应用中，车联网原始数据在时间维度上是单调增加的，行车用量模型也可以随着时间发生改变，这就需要将车联网原始数据流划分为若干个反馈周期，并在反馈周期内对行车用量模型事件及子空间划分策略进行自适应的逐步优化：
第一步骤，根据具体的应用场景，将设定反馈周期内的行车用量模型事件记录总数N，假设每个子空间最多为S条记录，则每个事件段内的数据平均划分为R个子空间，第一个反馈周期内的对应行车用量模型事件的行车用量数据块划分成块，分别为E11,E12,E13…E1k。
第二步骤，分别对E11,E12,E13…E1k采用Bucket PR KD-tree进行子空间划分的，记录下树的深度Depi，并监控每个子空间数据段的大小，根据公式（1）计算得到对应行车用量模型的行车用量数据块内各子空间数据段的数据量方差：
D i = 1 N i - 1 Σ m = 1 N i ( x m - x ‾ ) 2 公式（1），
其中Ni表示Ei内子空间的数目，xm表示第Ei第m个子空间的大小，Di表示Ei内子空间大小的方差。Di的大小反应了该子空间数据段内数据划分的均匀程度。
第三个步骤，根据对应行车用量模型的行车用量数据块内各子空间数据段的数据量方差Di和数据划分的层数Depi调整数据段的划分：如果Di大于等于设定的第一阈值，说明对应行车用量模型的行车用量数据块内各子空间数据段分布不均匀，并且当Depi大于等于设定的第二阈值时，则需要缩小划分的子空间数据段；如果Di小于设定的第一阈值，说明对应行车用量模型的行车用量数据块内各子空间数据段分布比较均匀，此时如果Depi小于设定第二阈值，则说明数据量太少，把相邻的两个子空间数据段合并；
第四个步骤，通过对划分策略进行监测，如果数据段的划分和区域的划分策略在连续一段反馈周期内保持不变，则可以把划分策略固定下来，不再进行动态划分。这样就可以预先确定好划分方案，车联网原始数据在存储时就不需要再动态划分了，从而进一步提高存储的性能。
更进一步地，在系统运行过程中，仍需要对数据分布情况进行监控，一旦发现数据分布出现不均衡的情况，则重新采用动态划分策略。
图5为本发明实施例提供的基于行车用量模型事件的存储及索引系统结构示意图，如图所示，包括：建立模型模块、存储指示模块及索引模块，其中，
建立模型模块，用于建立行车用量模型事件，行车用量模型事件包括不同信息主体的不同项目所对应的行车用量关联规则；
存储指示模块，用于获取车联网原始数据后，根据行车用量模型事件划分为车联网原始数据块，将对应行车用量模型事件的车联网原始数据块划分为多个子空间数据段进行存储；将对应行车用量模型事件的历史数据存储在设定区域；
索引模块，用于将行车用量模型事件采用B+tree索引，其中的B+tree的叶子节点上为R-tree，索引对应行车用量模型事件的车联网原始数据块所划分的多个子空间数据段；为所设定区域建立记录级别的索引。
在本发明中，存储指示模块，还用于将对应行车用量模型事件的车联网原始数据块划分为多个子空间数据段进行存储时采用K-dimension Tree或Bucket PR Quadtree划分，通过划分，得到若干个互补重叠的矩形子空间数据段，对应存储于采用R-tree索引的存储区域。
在本发明实施例中，该系统还包括更新划分模块，用于根据子空间数据段大小及子空间数据段所在对应行车用量模型时间的行车用量原始数据段的树深度，确定划分策略是否合理，如果否，则调整划分策略；
所述存储指示模块，还用于重新根据划分策略将对应行车用量模型事件的车联网原始数据块划分为多个子空间数据段存储。
在本发明实施例中，所述更新划分模块，还用于根据子空间数据段大小计算该子空间数据方差，当判断计算得到的该子空间数据方差大于等于设置的第一阈值且该树深度大于等于设置的第二阈值时，则调整划分策略为缩小子空间数据段；当判断计算得到的该子空间数据方差小于设置的第一阈值，且该树深度小于设置的第二阈值时，则调整划分策略为扩大子空间数据段。
本发明提供的方法及系统充分考虑了针对行车用量进行有效计量的需求，实现对车联网相关资源数据的优化存储及利用。本发明提供的方法及系统充分考虑了车联网原始数据在不断的生成，而历史数据一般生成后不会改变，另外对应行车用量模型事件的车联网原始数据分布往往具有倾斜性，随着时间的推移行车用量模型事件也会发生变化，在进行子空间数据段划分的时候同时考虑数据分布上的不均衡性，满足行车用量资源计量的需求，对于车联网解决方案具有实操指导意义。
本发明提供的方法及系统适用场景和实例包括但不限于以下车联网应用：智能交通系统、海量数据存储和索引、以及资源使用计量等，可以满足现有车联网数据存储应用的需求。
以上举较佳实施例，对本发明的目的、技术方案和优点进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于行车用量模型事件的存储及索引方法，其特征在于，该方法包括： 
建立行车用量模型事件，行车用量模型事件包括不同信息主体的不同项目所对应的行车用量关联规则； 
获取车联网原始数据，根据行车用量模型事件划分为车联网原始数据块，将对应行车用量模型事件的车联网原始数据块划分为多个子空间数据段存储； 
将行车用量模型事件采用多路搜索树B+tree进行索引，其中的B+tree的叶子节点上为n叉树R-tree，索引对应行车用量模型事件的车联网原始数据块所划分的多个子空间数据段； 
将对应行车用量模型事件的历史数据存储在设定区域中，为所设定区域建立记录级别的索引。 
2.如权利要求1所述的方法，其特征在于，所述多个子空间数据段采用K维索引树K-dimension Tree或平均四叉树Bucket PR Quadtree划分，通过划分，得到若干个互补重叠的矩形子空间数据段，对应存储在采用R-tree索引的存储区域。 
3.如权利要求1所述的方法，其特征在于，所述记录级别的索引为局部索引，该局部索引采用R树方式或网格索引方式。 
4.如权利要求1所述的方法，其特征在于，将对应行车用量模型事件的车联网原始数据块划分为多个子空间数据段存储之后，该方法进一步包括： 
根据子空间数据段大小及子空间数据段所在对应行车用量模型时间的行车用量原始数据段的树深度，确定划分策略是否合理，如果否，则调整划分策略，重新根据划分策略将对应行车用量模型事件的车联网原始数据块划分为多个子空间数据段存储。
5.如权利要求4所述的方法，其特征在于，所述确定划分策略是否合理为： 
根据子空间数据段大小计算该子空间数据方差，当判断计算得到的该子空间数据方差大于等于设置的第一阈值且该树深度大于等于设置的第二阈值时，则调整划分策略为缩小子空间数据段；当判断计算得到的该子空间数据方差小于设置的第一阈值，且该树深度小于设置的第二阈值时，则调整划分策略为扩大子空间数据段。 
6.一种基于行车用量模型事件的存储及索引系统，其特征在于，该系统包括：建立模型模块、存储指示模块及索引模块，其中， 
建立模型模块，用于建立行车用量模型事件，行车用量模型事件包括不同信息主体的不同项目所对应的行车用量关联规则； 
存储指示模块，用于获取车联网原始数据后，根据行车用量模型事件划分为车联网原始数据块，将对应行车用量模型事件的车联网原始数据块划分为多个子空间数据段进行存储；将对应行车用量模型事件的历史数据存储在设定区域； 
索引模块，用于将行车用量模型事件采用B+tree索引，其中的B+tree的叶子节点上为R-tree，索引对应行车用量模型事件的车联网原始数据块所划分的多个子空间数据段；为所设定区域建立记录级别的索引。 
7.如权利要求6所述的系统，其特征在于，所述存储指示模块，还用于将对应行车用量模型事件的车联网原始数据块划分为多个子空间数据段进行存储时采用K-dimension Tree或Bucket PR Quadtree划分，通过划分，得到若干个互补重叠的矩形子空间数据段，对应存储在采用R-tree索引的存储区域。 
8.如权利要求6所述的系统，其特征在于，该系统还包括更新划分模块，用于根据子空间数据段大小及子空间数据段所在对应行车用量模型时间的行车用量原始数据段的树深度，确定划分策略是否合理，如果否，则调整划分策略； 
所述存储指示模块，还用于重新根据划分策略将对应行车用量模型事件的车联网原始数据块划分为多个子空间数据段存储。 
9.如权利要求8所述的系统，其特征在于，所述更新划分模块，还用于根据子空间数据段大小计算该子空间数据方差，当判断计算得到的该子空间数据方差大于等于设置的第一阈值且该树深度大于等于设置的第二阈值时，则调整划分策略为缩小子空间数据段；当判断计算得到的该子空间数据方差小于设置的第一阈值，且该树深度小于设置的第二阈值时，则调整划分策略为扩大子空间数据段。 
CN201310532545.2A 2013-10-31 2013-10-31 基于行车用量模型事件的存储及索引方法及系统 Active CN104598475B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201310532545.2A CN104598475B (zh) 2013-10-31 2013-10-31 基于行车用量模型事件的存储及索引方法及系统
PCT/CN2014/090016 WO2015062540A1 (zh) 2013-10-31 2014-10-31 基于行车用量模型事件的存储及索引方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310532545.2A CN104598475B (zh) 2013-10-31 2013-10-31 基于行车用量模型事件的存储及索引方法及系统

Publications (2)

Publication Number Publication Date
CN104598475A true CN104598475A (zh) 2015-05-06
CN104598475B CN104598475B (zh) 2018-02-23

Family

ID=53003386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310532545.2A Active CN104598475B (zh) 2013-10-31 2013-10-31 基于行车用量模型事件的存储及索引方法及系统

Country Status (2)

Country Link
CN (1) CN104598475B (zh)
WO (1) WO2015062540A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105302879A (zh) * 2015-10-12 2016-02-03 百度在线网络技术（北京）有限公司 用于确定用户需求的方法与装置
CN106447724A (zh) * 2016-09-12 2017-02-22 厦门大学 一种基于扫描转换算法和网格压缩的区域限定判断方法
CN109242227A (zh) * 2017-07-10 2019-01-18 卢照敢 汽车驾驶行为的行车风险及评估模型
CN110209884A (zh) * 2018-01-10 2019-09-06 杭州海康威视数字技术股份有限公司 一种索引校对方法和装置
CN111443401A (zh) * 2020-04-01 2020-07-24 南通大学 基于高速路网的天气预测与信息传递系统
CN111800742A (zh) * 2020-05-20 2020-10-20 北京掌行通信息技术有限公司 一种移动位置数据的管理方法、装置、存储介质及终端

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3467502A4 (en) * 2016-05-24 2020-01-01 JSR Corporation COMPOSITE PARTICLES, COATED PARTICLES, METHOD FOR THE PRODUCTION OF COMPOSITE PARTICLES, LIGAND-CONTAINING SOLID PHASE CARRIERS, AND METHOD FOR DETECTING OR SEPARATING THE TARGET SUBSTANCE IN THE SAMPLE
JP6914035B2 (ja) 2016-12-28 2021-08-04 スリーエム イノベイティブ プロパティズ カンパニー シート状積層体の製造方法、シート状積層体を成形する金型、及びシート状積層体
CN116978232B (zh) * 2023-09-21 2024-01-12 深圳市领航者汽车智能技术开发有限公司 一种基于车联网的车辆数据管理系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055800A (zh) * 2010-12-13 2011-05-11 南京大学 基于信息汇聚的交通物联网分层体系架构
US20110137684A1 (en) * 2009-12-08 2011-06-09 Peak David F System and method for generating telematics-based customer classifications
CN102314519A (zh) * 2011-10-11 2012-01-11 中国软件与技术服务股份有限公司 一种基于公安领域知识本体模型的信息搜索方法
CN103049464A (zh) * 2012-03-30 2013-04-17 北京峰盛博远科技有限公司 基于空间对象类化模型及网格体索引的异构地理空间数据管理技术
CN103324642A (zh) * 2012-03-23 2013-09-25 日电（中国）有限公司 为数据建立索引的系统和方法以及数据查询方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577555A (zh) * 2013-10-21 2014-02-12 汕头大学 一种基于车联网的大数据分析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110137684A1 (en) * 2009-12-08 2011-06-09 Peak David F System and method for generating telematics-based customer classifications
CN102055800A (zh) * 2010-12-13 2011-05-11 南京大学 基于信息汇聚的交通物联网分层体系架构
CN102314519A (zh) * 2011-10-11 2012-01-11 中国软件与技术服务股份有限公司 一种基于公安领域知识本体模型的信息搜索方法
CN103324642A (zh) * 2012-03-23 2013-09-25 日电（中国）有限公司 为数据建立索引的系统和方法以及数据查询方法
CN103049464A (zh) * 2012-03-30 2013-04-17 北京峰盛博远科技有限公司 基于空间对象类化模型及网格体索引的异构地理空间数据管理技术

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105302879A (zh) * 2015-10-12 2016-02-03 百度在线网络技术（北京）有限公司 用于确定用户需求的方法与装置
CN105302879B (zh) * 2015-10-12 2019-03-08 百度在线网络技术（北京）有限公司 用于确定用户需求的方法与装置
CN106447724A (zh) * 2016-09-12 2017-02-22 厦门大学 一种基于扫描转换算法和网格压缩的区域限定判断方法
CN109242227A (zh) * 2017-07-10 2019-01-18 卢照敢 汽车驾驶行为的行车风险及评估模型
CN110209884A (zh) * 2018-01-10 2019-09-06 杭州海康威视数字技术股份有限公司 一种索引校对方法和装置
CN110209884B (zh) * 2018-01-10 2022-08-05 杭州海康威视数字技术股份有限公司 一种索引校对方法和装置
CN111443401A (zh) * 2020-04-01 2020-07-24 南通大学 基于高速路网的天气预测与信息传递系统
CN111800742A (zh) * 2020-05-20 2020-10-20 北京掌行通信息技术有限公司 一种移动位置数据的管理方法、装置、存储介质及终端
CN111800742B (zh) * 2020-05-20 2022-10-28 北京掌行通信息技术有限公司 一种移动位置数据的管理方法、装置、存储介质及终端

Also Published As

Publication number Publication date
WO2015062540A1 (zh) 2015-05-07
WO2015062540A9 (zh) 2015-06-18
CN104598475B (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
CN104598475A (zh) 基于行车用量模型事件的存储及索引方法及系统
Yi et al. Data-driven optimal charging decision making for connected and automated electric vehicles: A personal usage scenario
Yi et al. Energy impact evaluation for eco-routing and charging of autonomous electric vehicle fleet: Ambient temperature consideration
Ma et al. Large-scale demand driven design of a customized bus network: A methodological framework and Beijing case study
CN110390409A (zh) 配送方案的确定方法、装置以及计算机可读存储介质
Li-ying et al. Multiple charging station location-routing problem with time window of electric vehicle.
CN107392400A (zh) 计及实时交通与温度的ev充电负荷时空分布预测方法
Noruzoliaee et al. Truck platooning in the US national road network: A system-level modeling approach
Lu et al. Optimizing resource recharging location-routing plans: A resource-space-time network modeling framework for railway locomotive refueling applications
Wang et al. Heuristic method for automakers' technological strategy making towards fuel economy regulations based on genetic algorithm: A China's case under corporate average fuel consumption regulation
Li et al. A hybrid simulated annealing heuristic for multistage heterogeneous fleet scheduling with fleet sizing decisions
CN112766611A (zh) 一种三维装车方法及装置
CN114529241A (zh) 一种基于运筹学理论的公路零担货运物流路径规划算法
CN106295864A (zh) 一种求解单配送中心物流运输调度问题的方法
Miao et al. Highly Automated Electric Vehicle (HAEV)-based mobility-on-demand system modeling and optimization framework in restricted geographical areas
Terelius et al. An efficiency measure for road transportation networks with application to two case studies
Chen Free-floating bike-sharing green relocation problem considering greenhouse gas emissions
CN104331746A (zh) 一种分离式的动态路径优化系统及其方法
Liu et al. A construction-and-repair based method for vehicle scheduling of bus line with branch lines
Liang et al. A multi-objective location and channel model for ULS network
Coltorti et al. Ant colony optimization for real-world vehicle routing problems
Chisuwa et al. Solutions for dealing with changes in logistics operations environment
Dai et al. Semi-autonomous bus platooning service optimization with surrogate modeling
CN112926769A (zh) 一种物流配送路径规划方法及装置
Safia et al. Optimization of vehicle routing for smart city: Real case study in Casablanca

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant