CN103281383B - 一种面向分布式数据源的时序信息记录方法 - Google Patents
一种面向分布式数据源的时序信息记录方法 Download PDFInfo
- Publication number
- CN103281383B CN103281383B CN201310213228.4A CN201310213228A CN103281383B CN 103281383 B CN103281383 B CN 103281383B CN 201310213228 A CN201310213228 A CN 201310213228A CN 103281383 B CN103281383 B CN 103281383B
- Authority
- CN
- China
- Prior art keywords
- data
- value
- back end
- time sequence
- recording method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种面向分布式数据源的时序信息记录方法，属于计算机数据信息存储技术领域。该方法以一个主数据服务器作为数据中心，以多个从数据服务器作为数据节点，数据中心与数据节点之间采用偶连接方式，且相同类型的数据记录在同一数据节点上；该方法采用时序信息存储理念，利用数据的时序性，分步存储记录数据，节约上层的系统资源；采用相异存储策略，提高数据记录效率，以应对海量数据存储，及并发存储需求。本发明所述的信息数据记录方法提高了数据录入效率，提高了信息服务响应速度，从而提高企业的运作效率。
Description
技术领域
本发明属于计算机数据信息存储技术领域，涉及一种面向分布式数据源的时序信息记录方法。
背景技术
传统的网络存储系统采用集中的存储服务器存放所有数据，虽然采用集中信息服务的方式具有信息服务的全面性和综合性的优点，但随着规模的扩大，灵活性就降低了，削弱了信息服务的响应能力。这就导致存储服务器成为了系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。
分布式存储系统是将数据分散存储在多台独立的设备上，采用可扩展的系统结构，利用多台存储服务器分担存储负荷，这不但提高了系统的可靠性、可用性和存取效率，还易于扩展。然而，现有的分布式数据记录体系在对数据记录高并发性和数据的海量性的处理上，能力不足，并且数据记录未针对数据的时序性来进行精细处理，就需要耗费更多的上层系统资源来对数据进行抓取，处理。
发明内容
有鉴于此，本发明的目的在于提供一种面向分布式数据源的时序信息记录方法，该方法采用时序信息存储理念，利用数据的时序性，分步存储记录数据，节约上层的系统资源；采用相异存储策略，提高数据记录效率，以应对海量数据存储，及并发存储需求。
为达到上述目的，本发明提供如下技术方案：
一种面向分布式数据源的时序信息记录方法，以一个主数据服务器作为数据中心，以多个从数据服务器作为数据节点，数据中心与数据节点之间采用偶连接方式，且相同类型的数据记录在同一数据节点上。
进一步，采用增量同步的方式记录数据，当数据中心和数据节点的数据增加时，选择上次同步以来未同步的数据进行上传和下载。
进一步，采用相异存储策略，设置初始值为标记值，后来的值如果与该标记值相同，则不存储该值，如果该值与标记值不同则记录该值，并把该值赋给标记值作为新的标记起点。
进一步，根据数据热度来存储数据，将数据按热度从高到低分别存储于内存表、暂态表、恒久表；新鲜数据更新时会先把数据更新入内存表，然后采用一定的分钟级更新策略把数据更新入暂态表，暂态表中的数据则按天导入恒久表，新的一天到来时创建一张新的暂态表用来存储新一天的数据。
进一步，所述数据中心和数据节点的数据服务器采用HBase数据库。
本发明的有益效果在于：本发明所述方法提高了数据录入效率，提高了信息服务响应速度，从而提高企业的运作效率。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为分布式数据存储系统结构示意图。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
图1为分布式数据存储系统结构示意图，如图所示，本发明提供的一种面向分布式数据源的时序信息记录方法，以一个主数据服务器作为数据中心，以多个从数据服务器作为数据节点，数据中心与数据节点之间采用偶连接方式，采用偶连接的方式允许数据交换有一定延迟(非数据记录)。各从数据库（数据节点）是数据中心的一个数据分区（即数据中心的一部分数据），数据中心与各远程数据库在平时不保持连接状态，数据中心与各远程数据库均可能有数据变更。在需要的时候，各远程数据库与数据中心通过数据交换模块连接，交换必要的数据。在本方法中，相同类型的数据记录在同一数据节点上，可以是多类型数据对应同一节点，对于数据量大的则做到专机专职，这样既有利于提高存储效率，又可以降低系统成本。
作为一种改进，采用增量同步的方式记录数据，当数据中心和数据节点的数据增加时，选择上次同步以来未同步的数据进行上传和下载。当系统运行了一段时间以后，数据中心和各数据节点的数据都会发生膨胀，此时需要对数据进行同步，选择上次同步以来新增加的未同步的数据，组织它们进行上传下载，这种方法可以缩短网络连接时间，节约网络资源。
作为本方法的又一种改进，在本方法中采用相异存储策略，设置初始值为标记值，后来的值如果与该标记值相同，则不存储该值，如果该值与标记值不同则记录该值，并把该值赋给标记值作为新的标记起点。即利用数据的时间局部性带来的信息冗余而实现。这样也是为了节约系统资源和提高系统效率。
作为进一步改进，在本方法中根据数据热度来存储数据，将数据按热度从高到低分别存储于内存表、暂态表、恒久表；新鲜数据更新时会先把数据更新入内存表，然后采用一定的分钟级更新策略把数据更新入暂态表，暂态表中的数据则按天导入恒久表，新的一天到来时创建一张新的暂态表用来存储新一天的数据。
此外，数据中心和数据节点的数据服务器采用HBase数据库，HBase是面向亿行级别的表格设计的，可以很好地满足观测设备扩张的要求。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。
Claims (2)
1.一种面向分布式数据源的时序信息记录方法，以一个主数据服务器作为数据中心，以多个从数据服务器作为数据节点，其特征在于：数据中心与数据节点之间采用偶连接方式，且相同类型的数据记录在同一数据节点上；
采用增量同步的方式记录数据，当数据中心和数据节点的数据增加时，选择上次同步以来未同步的数据进行上传和下载；
采用相异存储策略，设置初始值为标记值，后来的值如果与该标记值相同，则不存储该值，如果该值与标记值不同则记录该值，并把该值赋给标记值作为新的标记起点；
根据数据热度来存储数据，将数据按热度从高到低分别存储于内存表、暂态表、恒久表；
新鲜数据更新时会先把数据更新入内存表，然后采用一定的分钟级更新策略把数据更新入暂态表，暂态表中的数据则按天导入恒久表，新的一天到来时创建一张新的暂态表用来存储新一天的数据。
2.根据权利要求1所述的面向分布式数据源的时序信息记录方法，其特征在于：所述数据中心和数据节点的数据服务器采用HBase数据库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310213228.4A CN103281383B (zh) | 2013-05-31 | 2013-05-31 | 一种面向分布式数据源的时序信息记录方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310213228.4A CN103281383B (zh) | 2013-05-31 | 2013-05-31 | 一种面向分布式数据源的时序信息记录方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103281383A CN103281383A (zh) | 2013-09-04 |
| CN103281383B true CN103281383B (zh) | 2016-03-23 |
Family
ID=49063828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310213228.4A Active CN103281383B (zh) | 2013-05-31 | 2013-05-31 | 一种面向分布式数据源的时序信息记录方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103281383B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105786917B (zh) * | 2014-12-26 | 2020-01-14 | 亿阳信通股份有限公司 | 时序数据并发入库的方法和装置 |
| CN104765792B (zh) * | 2015-03-24 | 2018-06-15 | 华为技术有限公司 | 一种维度数据存储的方法、装置及系统 |
| CN108282668B (zh) * | 2018-01-26 | 2020-11-24 | 北京奇艺世纪科技有限公司 | 一种视频的获取方法及系统 |
| CN108802282A (zh) * | 2018-06-05 | 2018-11-13 | 中国联合网络通信集团有限公司 | 有害气体浓度预测的方法、装置、设备及可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101026744A (zh) * | 2007-03-30 | 2007-08-29 | Ut斯达康通讯有限公司 | 分布式流媒体分发系统及流媒体内存缓冲及调度分发方法 |
| CN101388808A (zh) * | 2008-10-24 | 2009-03-18 | 中兴通讯股份有限公司 | 一种基于简单网络管理协议的trap处理方法 |
| CN102129478A (zh) * | 2011-04-26 | 2011-07-20 | 广州从兴电子开发有限公司 | 数据库同步方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9063993B2 (en) * | 2008-01-31 | 2015-06-23 | Microsoft Technology Licensing, Llc | Coexistence tools for synchronizing properties between on-premises customer locations and remote hosting services |
-
2013
- 2013-05-31 CN CN201310213228.4A patent/CN103281383B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101026744A (zh) * | 2007-03-30 | 2007-08-29 | Ut斯达康通讯有限公司 | 分布式流媒体分发系统及流媒体内存缓冲及调度分发方法 |
| CN101388808A (zh) * | 2008-10-24 | 2009-03-18 | 中兴通讯股份有限公司 | 一种基于简单网络管理协议的trap处理方法 |
| CN102129478A (zh) * | 2011-04-26 | 2011-07-20 | 广州从兴电子开发有限公司 | 数据库同步方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103281383A (zh) | 2013-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103503414B (zh) | 一种计算存储融合的集群系统 | |
| CN103294710B (zh) | 一种数据存取方法和装置 | |
| CN102999584B (zh) | 电力gis跨平台空间数据服务方法及系统 | |
| CN105138615A (zh) | 一种构建大数据分布式日志的方法和系统 | |
| CN103312791B (zh) | 物联网异构数据存储方法及系统 | |
| CN103379159B (zh) | 一种分布式Web站点数据同步的方法 | |
| CN109743137B (zh) | 一种支持更新的分布式延迟消息队列处理系统 | |
| CN104113597A (zh) | 一种多数据中心的hdfs数据读写系统及方法 | |
| CN104317800A (zh) | 一种海量智能用电数据混合存储系统及方法 | |
| CN104778225A (zh) | 一种非结构化数据多存储系统中同步数据的方法 | |
| CN103281383B (zh) | 一种面向分布式数据源的时序信息记录方法 | |
| CN105740248B (zh) | 一种数据同步方法、装置及系统 | |
| CN102855239A (zh) | 一种分布式地理文件系统 | |
| CN104050250A (zh) | 一种分布式键-值查询方法和查询引擎系统 | |
| CN102567495A (zh) | 一种海量信息存储系统及实现方法 | |
| CN103246616A (zh) | 一种长短周期访问频度的全局共享缓存替换方法 | |
| CN102937964B (zh) | 基于分布式系统的智能数据服务方法 | |
| CN101519078A (zh) | 综合监控系统多区域数据同步方法 | |
| CN109815026A (zh) | 基于分布式组件的电力时序数据库 | |
| CN103150304A (zh) | 云数据库系统 | |
| CN105426427A (zh) | 基于raid 0 存储的mpp 数据库集群副本实现方法 | |
| CN103440290A (zh) | 大数据加载系统和方法 | |
| CN104699723A (zh) | 数据交换适配器、异构系统之间数据同步系统和方法 | |
| CN112015517A (zh) | 一种基于k8s集群的区块链节点动态迁移方法和系统 | |
| CN104735110A (zh) | 元数据管理方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20170628 Address after: 301700 Tianjin city Wuqing District Keihin Industrial Zone No. 7 Keihin wisdom city building 7 layer Patentee after: Tianjin Borui, Polytron Technologies Inc Address before: 400044 Shapingba District Sha Street, No. 174, Chongqing Patentee before: Chongqing University |