CN102073706A - 分布式文件存储系统和关系数据库的结合应用方法 - Google Patents
分布式文件存储系统和关系数据库的结合应用方法 Download PDFInfo
- Publication number
- CN102073706A CN102073706A CN 201010616483 CN201010616483A CN102073706A CN 102073706 A CN102073706 A CN 102073706A CN 201010616483 CN201010616483 CN 201010616483 CN 201010616483 A CN201010616483 A CN 201010616483A CN 102073706 A CN102073706 A CN 102073706A
- Authority
- CN
- China
- Prior art keywords
- data
- distributed file
- file storage
- database
- storage system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000007405 data analysis Methods 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 5
- 238000007418 data mining Methods 0.000 claims description 4
- 230000008676 import Effects 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 238000013075 data extraction Methods 0.000 abstract 1
- 238000004458 analytical method Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Images
Abstract
本发明公开了一种分布式文件存储系统和关系数据库的结合应用方法，包括下列步骤：1)将待录入数据库的数据区分为高实时性数据和低实时性数据；2)将高实时性数据输入关系型数据库；3)将低实时性数据输入分布式文件系统，进行数据后续处理；4)将数据后续处理的结果输入关系型数据库。采用本发明的方法可带来良好的用户体验，对数据后续处理提供有力的基础保障；数据的分类带来良好的数据结构和关系；后续处理工作是实时查询工作的剥离，将直接提升数据的提炼效果；缓解了当前关系型数据库的压力，同时对数据的分析更加完善。
Description
技术领域
本发明涉及数据挖掘领域，具体涉及分布式文件存储系统和关系数据库(RDBMS)的结合应用方法。
背景技术
当前的关系型数据库应用分为两种方式：
对数据进行实时的查询，及时响应用户的请求，对数据分析做到及时反馈。
在已有的数据的基础上进行数据挖掘的工作，也就是针对历史数据进行分析从而从中提炼出有用的数据结果集合。
以上两种数据库的应用模式，在数据量不大的情况下，对数据的读写操作是相当有优势的。但是对于数据呈数量级的增长之后，数据的频繁录入和频繁读取，将直接导致I/O(输入/输出接口)的操作出现瓶颈，数据查询效率低下。因为所有的数据都在实时的录入和读取，同时，一些常规的数据挖掘工作也在进行，所以写入和读出的操作同时进行将导致数据查询速度缓慢，严重影响用户体验和数据库使用的效果。
发明内容
本发明的目的是提供一种技术方案来解决关系数据库因频繁录入和读取导致的查询速度降低的问题，本发明的申请人通过分析得知，一部分数据内容并非是需要实时的反馈结果，而是需要更进一步挖掘和分析的数据；但有些数据确实是需要实时的结果反馈。所以基于此，对数据的实时性要求就可以做出区分。通过区分数据的实时性要求，可设计出数据库压力缓解的方法。因此，本发明的技术方案———分布式文件存储系统和关系型数据库的结合应用方法，就解决了关系型数据库在应用中I/O瓶颈导致的查询效率低下的问题。
本发明的内容如下：
1、将待录入数据库的数据区分为高实时性数据和低实时性数据；
2、将高实时性数据输入关系型数据库，用以配合高实时的查询请求，给用户带来更为人性化的体验和感受。
3、将低实时性数据输入分布式文件系统，进行数据后续处理；
4、将数据后续处理的结果输入关系型数据库，提供用户进行查询或是提供给数据库做二次分析的依据。
所述高实时性数据是查询响应时间低于阈值的数据；低实时性数据是查询响应时间高于阈值的数据。
所述关系数据库在线响应数据查询请求。
所述分布式文件存储系统线下进行数据后续处理。
所述数据后续处理包括线下数据挖掘和分析。
所述查询响应时间的阈值为8-10秒。
所述数据后续处理的结果转换为符合关系型数据库的数据格式后输入关系型数据库。
本发明的优点和积极效果如下：
在现实数据分析领域，尤其是近年来电子商务的兴起，数据量成指数级增长，单纯的关系数据库已无法应付这样大级别的数据查询和分析，而本发明将数据查询和分析分开进行，达到了解决这个问题的目的。，本发明的方法降低了关系数据库的查询压力，提高了查询的响应速度。
其具体的优点如下：
1、可带来良好的用户体验，对数据后续处理提供有力的基础保障。
2、数据的分类带来良好的数据结构和关系。
3、挖掘分析工作是实时查询工作的剥离，将直接提升数据的提炼效果。
4、缓解了当前关系型数据库的压力，同时对数据的分析更加完善。
附图说明
图1是本发明的框架结构图
具体实施方式
下面详细说明本发明的方法的步骤。
a)制定数据拆分的实时性原则，响应的阈值时间要求是8-10秒以内为高实时性数据，否则为低实时性数据。具体阈值时间可以结合实际应用的具体业务进行确定。
b)对数据源的数据进行拆分，主要是2个部分的内容，高实时性数据集合和低实时性数据集合。
c)将划分完成的数据内容进行存放。高实时性数据存放在关系型数据库，低实时性数据存放在分布式文件存储系统中。
d)分布式文件存储系统安装，并接收低实时性的数据结果集合
e)对接收的数据结果集合进行存放。
f)进行数据结果的线下挖掘和分析工作，并产出数据结果集合。
挖掘的结果集合的输出：
1.对挖掘的数据结果集合进行格式转换，转换为符合关系型数据库要求的数据格式。
2.将转换后的数据的结果集合存放到关系型数据库。
关系型数据库的数据存放：
1、对关系型数据库的内容进行数据存放。
2、存放的数据类型主要是高实时性的数据以及分布式文件系统挖掘分析后的数据结果集合。
关系数据库中的数据可供用户进行在线的实时查询。具有比常规技术中的关系数据库更快的查询响应速度。本发明的框架结构参见图1。
尽管为说明目的公开了本发明的具体实施例和附图，其目的在于帮助理解本发明的内容并据以实施，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书最佳实施例和附图所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。
Claims (7)
1.分布式文件存储系统和关系数据库的结合应用方法，包括下列步骤：
1)将待录入数据库的数据区分为高实时性数据和低实时性数据；
2)将高实时性数据输入关系型数据库；
3)将低实时性数据输入分布式文件系统，进行数据后续处理；
4)将数据后续处理的结果输入关系型数据库。
2.根据权利要求1所述的分布式文件存储系统和关系数据库的结合应用方法，其特征在于所述高实时性数据是查询响应时间低于阈值的数据；低实时性数据是查询响应时间高于阈值的数据。
3.根据权利要求1所述的分布式文件存储系统和关系数据库的结合应用方法，其特征在于所述关系数据库在线响应数据查询请求。
4.根据权利要求1所述的分布式文件存储系统和关系数据库的结合应用方法，其特征在于所述分布式文件存储系统线下进行数据后续处理。
5.根据权利要求2所述的分布式文件存储系统和关系数据库的结合应用方法，其特征在于所述查询响应时间的阈值为8-10秒。
6.根据权利要求1所述的分布式文件存储系统和关系数据库的结合应用方法，其特征在于所述数据后续处理的结果转换为符合关系型数据库的数据格式后输入关系型数据库。
7.根据权利要求1或4所述的分布式文件存储系统和关系数据库的结合应用方法，其特征在于所述数据后续处理包括线下数据挖掘和分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010616483 CN102073706B (zh) | 2010-12-30 | 2010-12-30 | 分布式文件存储系统和关系数据库的结合应用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010616483 CN102073706B (zh) | 2010-12-30 | 2010-12-30 | 分布式文件存储系统和关系数据库的结合应用方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102073706A true CN102073706A (zh) | 2011-05-25 |
| CN102073706B CN102073706B (zh) | 2013-02-13 |
Family
ID=44032245
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201010616483 Active CN102073706B (zh) | 2010-12-30 | 2010-12-30 | 分布式文件存储系统和关系数据库的结合应用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102073706B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102646121A (zh) * | 2012-02-23 | 2012-08-22 | 武汉大学 | 结合RDBMS和Hadoop云存储的两级存储方法 |
| CN102929933A (zh) * | 2012-09-21 | 2013-02-13 | 北京世纪高通科技有限公司 | 数据处理的方法和装置 |
| CN105205183A (zh) * | 2015-10-29 | 2015-12-30 | 哈尔滨工业大学 | 一种基于xml的dds分布式系统自动构建方法 |
| CN105243140A (zh) * | 2015-10-10 | 2016-01-13 | 中国科学院软件研究所 | 一种面向高速列车实时监控的海量数据管理方法 |
| CN105426308A (zh) * | 2015-11-11 | 2016-03-23 | 百度在线网络技术（北京）有限公司 | 一种线下数据的构建方法及装置 |
| CN105512167A (zh) * | 2015-10-30 | 2016-04-20 | 广东广信通信服务有限公司 | 一种基于混合数据库的多业务用户数据管理系统及其方法 |
| CN107169110A (zh) * | 2017-05-19 | 2017-09-15 | 肇庆市智高电机有限公司 | 一种基于云服务的大数据收集方法及系统 |
| CN103858120B (zh) * | 2011-09-19 | 2017-12-15 | Varonis系统公司 | 用于多平台系统中的事件处理的方法和装置 |
| CN108038181A (zh) * | 2017-12-08 | 2018-05-15 | 山东浪潮商用系统有限公司 | 一种数据处理系统及数据处理方法 |
| CN110515898A (zh) * | 2019-07-31 | 2019-11-29 | 济南浪潮数据技术有限公司 | 一种日志处理方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1535435A (zh) * | 2001-07-30 | 2004-10-06 | Ӧ�ò��Ϲ�˾ | 用于分析制造数据的方法和装置 |
| CN101183382A (zh) * | 2007-12-14 | 2008-05-21 | 北京康拓科技开发总公司 | 一种航天测试系统专用的实时海量的存储设备 |
| CN101692226A (zh) * | 2009-09-25 | 2010-04-07 | 中国人民解放军国防科学技术大学 | 海量归档流数据存储方法 |
-
2010
- 2010-12-30 CN CN 201010616483 patent/CN102073706B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1535435A (zh) * | 2001-07-30 | 2004-10-06 | Ӧ�ò��Ϲ�˾ | 用于分析制造数据的方法和装置 |
| CN101183382A (zh) * | 2007-12-14 | 2008-05-21 | 北京康拓科技开发总公司 | 一种航天测试系统专用的实时海量的存储设备 |
| CN101692226A (zh) * | 2009-09-25 | 2010-04-07 | 中国人民解放军国防科学技术大学 | 海量归档流数据存储方法 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103858120B (zh) * | 2011-09-19 | 2017-12-15 | Varonis系统公司 | 用于多平台系统中的事件处理的方法和装置 |
| CN102646121A (zh) * | 2012-02-23 | 2012-08-22 | 武汉大学 | 结合RDBMS和Hadoop云存储的两级存储方法 |
| CN102929933A (zh) * | 2012-09-21 | 2013-02-13 | 北京世纪高通科技有限公司 | 数据处理的方法和装置 |
| CN105243140A (zh) * | 2015-10-10 | 2016-01-13 | 中国科学院软件研究所 | 一种面向高速列车实时监控的海量数据管理方法 |
| CN105243140B (zh) * | 2015-10-10 | 2018-07-06 | 中国科学院软件研究所 | 一种面向高速列车实时监控的海量数据管理方法 |
| CN105205183B (zh) * | 2015-10-29 | 2018-06-22 | 哈尔滨工业大学 | 一种基于xml的dds分布式系统自动构建方法 |
| CN105205183A (zh) * | 2015-10-29 | 2015-12-30 | 哈尔滨工业大学 | 一种基于xml的dds分布式系统自动构建方法 |
| CN105512167A (zh) * | 2015-10-30 | 2016-04-20 | 广东广信通信服务有限公司 | 一种基于混合数据库的多业务用户数据管理系统及其方法 |
| CN105512167B (zh) * | 2015-10-30 | 2018-01-23 | 广东广信通信服务有限公司 | 一种基于混合数据库的多业务用户数据管理系统及其方法 |
| CN105426308A (zh) * | 2015-11-11 | 2016-03-23 | 百度在线网络技术（北京）有限公司 | 一种线下数据的构建方法及装置 |
| CN107169110A (zh) * | 2017-05-19 | 2017-09-15 | 肇庆市智高电机有限公司 | 一种基于云服务的大数据收集方法及系统 |
| CN108038181A (zh) * | 2017-12-08 | 2018-05-15 | 山东浪潮商用系统有限公司 | 一种数据处理系统及数据处理方法 |
| CN110515898A (zh) * | 2019-07-31 | 2019-11-29 | 济南浪潮数据技术有限公司 | 一种日志处理方法及装置 |
| CN110515898B (zh) * | 2019-07-31 | 2022-04-22 | 济南浪潮数据技术有限公司 | 一种日志处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102073706B (zh) | 2013-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102073706B (zh) | 分布式文件存储系统和关系数据库的结合应用方法 | |
| CN102163214B (zh) | 一种数字地图生成装置及方法 | |
| AUPR824301A0 (en) | Methods and systems (npw001) | |
| CN102073692A (zh) | 基于农业领域本体库的语义检索系统和方法 | |
| CN105095433A (zh) | 实体推荐方法及装置 | |
| CN104794247A (zh) | 一种多结构数据库集成查询方法 | |
| CN103679012A (zh) | 一种可移植可执行文件的聚类方法和装置 | |
| CN108334596B (zh) | 一种面向大数据平台的海量关系数据高效并行迁移方法 | |
| CN108932278B (zh) | 基于语义框架的人机对话方法及系统 | |
| CN102915335A (zh) | 基于用户操作记录和资源内容的信息关联方法 | |
| CN107729371A (zh) | 区块链的数据索引及查询方法、装置、设备及存储介质 | |
| CN104281698A (zh) | 一种高效的大数据查询方法 | |
| CN104361031A (zh) | 一种政务大数据预处理系统及处理方法 | |
| CN106649578A (zh) | 一种基于社交网络平台的舆情分析方法及系统 | |
| CN102982099B (zh) | 一种个性化并行分词处理系统及其处理方法 | |
| CN103871402A (zh) | 语言模型训练系统、语音识别系统及相应方法 | |
| CN104516976A (zh) | 一种基于云数据库的知识产权侵权提醒系统 | |
| LU503512B1 (en) | Operating method for construction of knowledge graph based on naming rule and caching mechanism | |
| CN104317899A (zh) | 一种大数据分析与处理系统及访问方法 | |
| CN104504406A (zh) | 一种快速高效的近似重复图像匹配方法 | |
| CN106685707A (zh) | 一种分布式基础设施系统中的资产信息控制方法 | |
| CN104462588A (zh) | 一种基于云数据库的知识产权检索系统 | |
| CN103853771A (zh) | 一种搜索结果的推送方法及系统 | |
| CN101609449A (zh) | 一种基于布鲁姆过滤器的数据块快速比较系统 | |
| CN204557477U (zh) | 基于数据仓库和olap技术的聚类挖掘系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Combined application method of distributed file storage system and relation database Effective date of registration: 20140623 Granted publication date: 20130213 Pledgee: China Co truction Bank Corp Beijing Zhongguancun branch Pledgor: Rui-an Science and Technology Co., Ltd., Beijing Registration number: 2014990000497 |
|
| PLDC | Enforcement, change and cancellation of contracts on pledge of patent right or utility model | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20180327 Granted publication date: 20130213 Pledgee: China Co truction Bank Corp Beijing Zhongguancun branch Pledgor: Rui-an Science and Technology Co., Ltd., Beijing Registration number: 2014990000497 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Combined application method of distributed file storage system and relation database Effective date of registration: 20180627 Granted publication date: 20130213 Pledgee: China Co truction Bank Corp Beijing Zhongguancun branch Pledgor: Rui-an Science and Technology Co., Ltd., Beijing Registration number: 2018110000015 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20210128 Granted publication date: 20130213 Pledgee: China Co. truction Bank Corp Beijing Zhongguancun branch Pledgor: Run Technologies Co.,Ltd. Beijing Registration number: 2018110000015 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |