CN102111452B - 利用分布式数据存储程序存储车载信息的系统及其存储方法 - Google Patents
利用分布式数据存储程序存储车载信息的系统及其存储方法 Download PDFInfo
- Publication number
- CN102111452B CN102111452B CN 201110052357 CN201110052357A CN102111452B CN 102111452 B CN102111452 B CN 102111452B CN 201110052357 CN201110052357 CN 201110052357 CN 201110052357 A CN201110052357 A CN 201110052357A CN 102111452 B CN102111452 B CN 102111452B
- Authority
- CN
- China
- Prior art keywords
- data
- cassandra
- distributed storage
- server
- storage program
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000013500 data storage Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 41
- 230000000712 assembly Effects 0.000 claims description 3
- 238000000429 assembly Methods 0.000 claims description 3
- 238000013499 data model Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Multi Processors (AREA)
Abstract
本发明利用分布式数据存储程序存储车载信息的系统及其存储方法涉及分布式数据存储软件的企业应用，尤其是一种利用分布式数据存储程序存储车载信息终端位置信息数据的系统及其存储方法。包括车载信息终端、服务器集群、数据处理服务器DP、数据访问服务器DAP和存储程序，车载信息终端安装在车辆上，服务器集群由至少五台PC机组成，存储程序安装在服务器集群中的PC机上；存储程序包括开源的分布式数据存储程序软件Cassandra；其存储方法包括1）配置分布式数据存储系统的运行环境；2）建立数据存储结构；3）设置数据处理服务器DP和数据访问服务器DAP；4）启动数据处理服务器DP和数据访问服务器DAP。
Description
技术领域
本发明利用分布式数据存储程序存储车载信息的系统及其存储方法涉及分布式数据存储软件的企业应用，尤其是一种利用分布式数据存储程序存储车载信息终端位置信息数据的系统及其存储方法。
背景技术
随着现代社会向信息化的快速推进，数据的海量性在各方面的体现越来越突出，从网络流量数据，到移动通信用户行为记录；从搜索引擎的日志数据，到银行的客户操作记录，等等。这些海量信息与生俱来的数字化与网络化性质，在给人们带来了改善服务机遇的同时也提出了许多新的技术挑战。以往当人们需要存储结构化数据时，数据库通常是首选的解决方案，在数据规模不大时，其可以提供便捷、稳定的服务。然而随着数据量的增长，特别是当Web时代来临后，针对动辄TB级的庞大数据，传统的数据库在处理海量的数据时显得力不从心。对于企业的数据中心而言，Oracle数据库无法解决这样的问题，随着车载信息终端数量的不断增长，怎样处理和存储这些车载信息终端产生的庞大的位置信息数据是一个必须解决的问题。
发明内容
本发明的目的是针对上述不足之处提供一种利用分布式数据存储程序存储车载信息的系统及其存储方法，相对于传统的数据存储和处理方案具有高扩展性，高容错性，高处理性能和低成本的特点。
利用分布式数据存储程序存储车载信息的系统及其存储方法是采取以下技术方案实现的：利用分布式数据存储程序存储车载信息的装置包括车载信息终端、服务器集群、数据处理服务器DP、数据访问服务器DAP和存储程序，车载信息终端安装在车辆上，用以向服务器集群发送车辆位置信息，服务器集群由至少五台PC机组成，存储程序安装在服务器集群中的PC机上。存储程序包括开源的分布式数据存储程序软件Cassandra， Cassandra是一个混合型的非关系的数据库，具有模式灵活、真正的可扩展性、多数据中心识别、列表数据结构、范围查询以及分布式写操作的特点。对Cassandra的一个写操作，会被复制到其他节点上去，对Cassandra的读操作，也会被路由到某个节点上面去读取。对于一个Cassandra群集来说，扩展性能是比较简单的事情，只管在群集里面添加服务器(PC机)就可以了。由于数据在物理上是分布的，但是在逻辑上仍然是统一的整体，多台服务器组成的集群可以使数据处理的压力得到良好分配，在数据存储空间和性能到达极限的情况下，还可以通过在集群中增加服务器来解决这些问题。
数据处理服务器DP包括三个模块，分别是企业提供的第三方接口控件模块、数据处理模块和分布式数据存储程序软件Cassandra 客户端插件Hector。数据处理服务器DP通过分布式数据存储程序软件Cassandra 客户端插件Hector建立和分布式数据库的连接并管理这些连接，然后通过企业提供的第三方接口控件模块接收来自数据中心的车载信息终端位置信息数据，由数据处理模块解析成符合分布式数据存储程序软件Cassandra数据模型的数据后,再从分布式数据存储程序软件Cassandra 客户端插件Hector中调取可用的连接，将数据从这个连接中写入分布式数据存储程序软件Cassandra分布式集群。
数据访问服务器DAP包括3个模块，分别是：HTTP服务模块、数据处理模块和分布式数据存储程序软件Cassandra 客户端插件Hector。数据访问服务器DAP通过HTTP服务模块接收HTTP客户端的请求，经过数据处理模块的处理将请求转化成符合分布式数据存储程序软件Cassandra数据请求格式的数据，由分布式数据存储程序软件Cassandra 客户端插件Hector发送给服务器集群，再把分布式数据存储程序软件Cassandra 客户端插件Hector返回的结果(终端位置信息数据)转化成XML的数据格式返回给HTTP客户端。
所述的PC机为台式机或者专业的数据库服务器，该系统可以兼用不同的硬件环境，集群中的服务器硬件可以采用台式PC机，也可以采用专业的服务器硬件。把该系统部署在普通的台式PC机上，在节约成本上更具有优势，6-7台3000元的台式PC机的性能和存储容量即可和一台专业10万元的数据库服务器媲美。
利用分布式数据存储程序存储车载信息的系统的存储方法包括以下步骤：
1）配置分布式数据存储系统的运行环境，建立服务器集群，并将分布式数据存储程序软件Cassandra安装在服务器集群中的PC机上。
2）建立数据存储结构，根据车载信息终端位置信息的数据内容和分布式数据存储程序软件Cassandra框架支持的数据结构的特点设置一套便于存储和查询的数据结构。
Cassandra的数据结构包括Keyspace，Key， Column，SuperColumn，ColumnFamily，SuperColumnFamily。
在车载信息终端上传的位置信息数据主要以终端IMEI作为标识，来区分不同的终端，每一个终端会在不同时间点上传一条数据，所以根据这样的情况和Cassandra数据结构的特点建立数据结构。
首先建立一个默认的KeySpace名位GPS，然后用一个SuperColumnFamily-名为LocationInfo存储终端位置信息数据。这个SuperColumnFamily 的每个key表示为IMEI，也就是每个ColumnFamily 保存一个终端的数据。每个ColumnFamily 中的每一个Key表示为GPS-Time (终端上传数据的时间点), 也就是每个SuperColumn保存一条GPS位置信息数据。每个SuperColumn中的每一个Key表示为某一条GPS数据中的每一个数据项 ( 比如：经度)，每个Column表示一个数据项，例如经度：127.2365。
3）设置数据处理服务器DP和数据访问服务器DAP，数据处理服务器DP连接itrackstar数据处理中心连接，从中读取数据车载信息终端的位置信息数据，然后该服务器通过Cassandra的客户端驱动连接至分布式数据存储集群，写入位置信息数据。
数据访问服务器DAP通过Http服务向企业内其他的应用平台提供对 位置信息数据的查询。其内部也是由Cassandra客户端驱动与分布式数据存储集群相连。
4）启动数据处理服务器DP和数据访问服务器DAP。
本发明的优点：
1）数据容量优势
以往只能满足为客户保存1年的数据，现在通过加入更多的硬件，可以保存5-10年的数据，甚至更长时间的数据。
2）系统兼容性优势
对于传统的oracle数据库而言，在存储车载信息采集终端的数据时，采用以不同的采集终端分表的方式存储，这就意味着每当有新的终端加入系统时，需要新建一张表。而该项目采用的特殊的key/value数据结构，无需新建表。大大减少了数据存储系统的复杂性。同时对于不同协议的数据和不同厂家生产的传感器加入系统时，无需更改数据结构和表结构。大大增加了系统的兼容性。
3）高容错性，灾难性恢复，无单点故障
4）扩展简单，数据增容时只需要增加硬件即可
5）节约成本，使用不同的PC机搭建的集群，和符合传统的数据存储要求的大型服务器相比， 减少了相当的硬件成本。一台具有500G 硬盘的PC价格大约在3000元，6台这样的PC的性能和存储容量就相当于一台专业10万的数据存储服务器。虽然初期部署时需要进行大量的准备工作，但简单的扩展增容方式，维护和管理成本也得到了降低。
附图说明
以下将结合附图对本发明作进一步说明：
图1是本发明的系统架构图。
图2是本发明的数据处理服务器DP的数据处理流程图。
图3是本发明的数据访问服务器DAP的数据处理流程图。
具体实施方式
参照附图1～3，利用分布式数据存储程序存储车载信息的装置包括车载信息终端、服务器集群、数据处理服务器DP、数据访问服务器DAP和存储程序，车载信息终端安装在车辆上，用以向服务器集群发送车辆位置信息，服务器集群由至少五台PC机组成，存储程序安装在服务器集群中的PC机上。存储程序包括开源的分布式数据存储程序软件Cassandra， Cassandra是一个混合型的非关系的数据库，具有模式灵活、真正的可扩展性、多数据中心识别、列表数据结构、范围查询以及分布式写操作的特点。对Cassandra的一个写操作，会被复制到其他节点上去，对Cassandra的读操作，也会被路由到某个节点上面去读取。对于一个Cassandra群集来说，扩展性能是比较简单的事情，只管在群集里面添加服务器(PC机)就可以了。由于数据在物理上是分布的，但是在逻辑上仍然是统一的整体，多台服务器组成的集群可以使数据处理的压力得到良好分配，在数据存储空间和性能到达极限的情况下，还可以通过在集群中增加服务器来解决这些问题。
数据处理服务器DP包括三个模块，分别是企业提供的第三方接口控件模块、数据处理模块和分布式数据存储程序软件Cassandra 客户端插件Hector。数据处理服务器DP通过分布式数据存储程序软件Cassandra 客户端插件Hector建立和分布式数据库的连接并管理这些连接，然后通过企业提供的第三方接口控件模块接收来自数据中心的车载信息终端位置信息数据，由数据处理模块解析成符合分布式数据存储程序软件Cassandra数据模型的数据后,再从分布式数据存储程序软件Cassandra 客户端插件Hector中调取可用的连接，将数据从这个连接中写入分布式数据存储程序软件Cassandra分布式集群。
数据访问服务器DAP包括3个模块，分别是：HTTP服务模块、数据处理模块和分布式数据存储程序软件Cassandra 客户端插件Hector。数据访问服务器DAP通过HTTP服务模块接收HTTP客户端的请求，经过数据处理模块的处理将请求转化成符合分布式数据存储程序软件Cassandra数据请求格式的数据，由分布式数据存储程序软件Cassandra 客户端插件Hector发送给服务器集群，再把分布式数据存储程序软件Cassandra 客户端插件Hector返回的结果(终端位置信息数据)转化成XML的数据格式返回给HTTP客户端。
所述的PC机为台式机或者专业的数据库服务器。
利用分布式数据存储程序存储车载信息的系统的存储方法包括以下步骤：
1）配置分布式数据存储系统的运行环境，建立服务器集群，并将分布式数据存储程序软件Cassandra安装在服务器集群中的PC机上；
2）建立数据存储结构，根据车载信息终端位置信息的数据内容和分布式数据存储程序软件Cassandra框架支持的数据结构的特点设置一套便于存储和查询的数据结构；
3）设置数据处理服务器DP和数据访问服务器DAP，数据处理服务器DP连接itrackstar数据处理中心连接，从中读取数据车载信息终端的位置信息数据，然后该服务器通过Cassandra的客户端驱动连接至分布式数据存储集群，写入位置信息数据；
数据访问服务器DAP通过Http服务向企业内其他的应用平台提供对 位置信息数据的查询。其内部也是由Cassandra客户端驱动与分布式数据存储集群相连；
4）启动数据处理服务器DP和数据访问服务器DAP。
Claims (3)
1.一种利用分布式数据存储程序存储车载信息的系统，其特征在于包括车载信息终端、服务器集群、数据处理服务器DP、数据访问服务器DAP和存储程序，车载信息终端安装在车辆上，服务器集群由至少五台PC机组成，存储程序安装在服务器集群中的PC机上；存储程序包括开源的分布式数据存储程序软件Cassandra；
数据处理服务器DP包括三个模块，分别是企业提供的第三方接口控件模块、数据处理模块和分布式数据存储程序软件Cassandra 客户端插件Hector，数据处理服务器DP通过分布式数据存储程序软件Cassandra 客户端插件Hector建立和分布式数据库的连接并管理这些连接，然后通过企业提供的第三方接口控件模块接收来自数据中心的车载信息终端位置信息数据，由数据处理模块解析成符合分布式数据存储程序软件Cassandra数据模型的数据后,再从分布式数据存储程序软件Cassandra 客户端插件Hector中调取可用的连接，将数据从这个连接中写入分布式数据存储程序软件Cassandra分布式集群；
数据访问服务器DAP包括3个模块，分别是：HTTP服务模块、数据处理模块和分布式数据存储程序软件Cassandra 客户端插件Hector，数据访问服务器DAP通过HTTP服务模块接收HTTP客户端的请求，经过数据处理模块的处理将请求转化成符合分布式数据存储程序软件Cassandra数据请求格式的数据，由分布式数据存储程序软件Cassandra 客户端插件Hector发送给服务器集群，再把分布式数据存储程序软件Cassandra 客户端插件Hector返回的结果转化成XML的数据格式返回给HTTP客户端。
2.根据权利要求1所述的利用分布式数据存储程序存储车载信息的系统，其特征在于所述的PC机为台式机或者专业的数据库服务器。
3.一种如权利要求1所述的利用分布式数据存储程序存储车载信息的系统的存储方法，包括以下步骤：
1）配置分布式数据存储系统的运行环境，建立服务器集群，并将分布式数据存储程序软件Cassandra安装在服务器集群中的PC机上；
2）建立数据存储结构，根据车载信息终端位置信息的数据内容和分布式数据存储程序软件Cassandra框架支持的数据结构的特点设置一套便于存储和查询的数据结构；
3）设置数据处理服务器DP和数据访问服务器DAP，数据处理服务器DP连接itrackstar数据处理中心连接，从中读取数据车载信息终端的位置信息数据，然后该服务器通过Cassandra 客户端插件连接至分布式数据存储集群，写入位置信息数据；
数据访问服务器DAP通过Http服务向企业内其他的应用平台提供对位置信息数据的查询，其内部也是由Cassandra 客户端插件与分布式数据存储集群相连；
4）启动数据处理服务器DP和数据访问服务器DAP。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110052357 CN102111452B (zh) | 2011-03-04 | 2011-03-04 | 利用分布式数据存储程序存储车载信息的系统及其存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110052357 CN102111452B (zh) | 2011-03-04 | 2011-03-04 | 利用分布式数据存储程序存储车载信息的系统及其存储方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102111452A CN102111452A (zh) | 2011-06-29 |
| CN102111452B true CN102111452B (zh) | 2013-04-17 |
Family
ID=44175478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201110052357 Expired - Fee Related CN102111452B (zh) | 2011-03-04 | 2011-03-04 | 利用分布式数据存储程序存储车载信息的系统及其存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102111452B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103064890B (zh) * | 2012-12-11 | 2015-12-23 | 泉州豪杰信息科技发展有限公司 | 一种gps海量数据处理方法 |
| CN103607312B (zh) * | 2013-11-29 | 2017-02-15 | 广州华多网络科技有限公司 | 用于服务器系统的数据请求处理方法及系统 |
| CN103795793B (zh) * | 2014-01-23 | 2017-04-12 | 北京大学工学院南京研究院 | 一种基于双服务器集群的道路车辆监控平台系统 |
| CN104008176A (zh) * | 2014-06-09 | 2014-08-27 | 济南观澜数据技术有限公司 | 基于分布式处理和消息驱动模式的业务处理方法 |
| CN105786413A (zh) * | 2016-03-04 | 2016-07-20 | 成都中蓝信息技术有限责任公司 | 非结构性大数据分析处理系统 |
| CN107092691A (zh) * | 2017-04-24 | 2017-08-25 | 中科院微电子研究所昆山分所 | 一种基于车联网的数据存储方法及系统 |
| CN113050875A (zh) * | 2019-12-27 | 2021-06-29 | 北京百度网讯科技有限公司 | 数据搬迁系统、方法、电子设备及存储介质 |
| CN113220454A (zh) * | 2021-05-17 | 2021-08-06 | 杭州圆点科技有限公司 | 一种车联网数据采集、存储、查询系统及车联网数据查询方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101291229A (zh) * | 2007-02-23 | 2008-10-22 | 通用汽车环球科技运作公司 | 控制移动平台上信息访问的系统和方法 |
| CN101587639A (zh) * | 2009-06-23 | 2009-11-25 | 华中科技大学 | 一种基于网格的城市公交信息管理与调度决策支持系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2003221817A1 (en) * | 2002-04-08 | 2003-10-27 | Cyanea Systems Corp. | Method and system for problem determination in distributed enterprise applications |
| US8024396B2 (en) * | 2007-04-26 | 2011-09-20 | Microsoft Corporation | Distributed behavior controlled execution of modeled applications |
-
2011
- 2011-03-04 CN CN 201110052357 patent/CN102111452B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101291229A (zh) * | 2007-02-23 | 2008-10-22 | 通用汽车环球科技运作公司 | 控制移动平台上信息访问的系统和方法 |
| CN101587639A (zh) * | 2009-06-23 | 2009-11-25 | 华中科技大学 | 一种基于网格的城市公交信息管理与调度决策支持系统 |
Non-Patent Citations (2)
| Title |
|---|
| Cassandra 数据库安全性分析与改进;刘欣;《电脑知识与技术》;20101215;第6卷(第35期);全文 * |
| 刘欣.Cassandra 数据库安全性分析与改进.《电脑知识与技术》.2010,第6卷(第35期), |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102111452A (zh) | 2011-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102111452B (zh) | 利用分布式数据存储程序存储车载信息的系统及其存储方法 | |
| CN103095829B (zh) | 实现版本管理和权限管理的网络通讯录系统 | |
| CN103268336A (zh) | 一种快数据和大数据结合的数据处理方法及其系统 | |
| US20150227538A1 (en) | Method and apparatus for eventually consistent delete in a distributed data store | |
| CN103699557B (zh) | 报表处理方法及系统 | |
| CN101697166B (zh) | 一种加速异构平台数据整合的方法 | |
| CN102713904A (zh) | 利用可缩放的数据结构的方法和装置 | |
| CN100458790C (zh) | 访问数据库的方法和系统 | |
| CN103761102B (zh) | 一种统一数据服务平台及其实现方法 | |
| CN103051671A (zh) | 一种集群文件系统重复数据删除方法 | |
| CN103853714A (zh) | 一种数据处理方法和装置 | |
| CN109862090A (zh) | 一种高安全度分布式云存储系统 | |
| CN103246727A (zh) | 一种多用户森林资源时空数据库构建的方法 | |
| CN103581229A (zh) | 分布式文件系统、文件访问方法以及客户端 | |
| CN102591935A (zh) | 一种分布式数据存储管理方法及系统 | |
| CN108268588B (zh) | 广告数据汇总查询方法及装置 | |
| CN103095784A (zh) | 一种云端用户映射系统和方法 | |
| US8527478B1 (en) | Handling bulk and incremental updates while maintaining consistency | |
| CN104618471A (zh) | 面向不同终端的应用程序状态转移方法 | |
| CN111104408A (zh) | 基于地图数据的数据交换方法、装置及存储介质 | |
| Zeng et al. | A tracking system supporting large-scale users based on GPS and G-sensor | |
| CN113887927A (zh) | 酒店订单数据的处理方法、设备和介质 | |
| CN201403204Y (zh) | 基于互联网的移动通讯录管理系统 | |
| CN113283833A (zh) | 一种用于互联网业务的业务中台系统 | |
| CN111161047A (zh) | 银行业务数据处理、查询方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20110629 Assignee: JIANGSU SEA LEVEL DATA TECHNOLOGY Co.,Ltd. Assignor: TIANZE INFORMATION INDUSTRY Corp. Contract record no.: X2020320000015 Denomination of invention: System for storing vehicle-mounted information by using distributed data storage program and storage method thereof Granted publication date: 20130417 License type: Exclusive License Record date: 20200518 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130417 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |