CN102637200A - 一种使多级关联数据分配到集群相同节点的方法 - Google Patents
一种使多级关联数据分配到集群相同节点的方法 Download PDFInfo
- Publication number
- CN102637200A CN102637200A CN2012100580084A CN201210058008A CN102637200A CN 102637200 A CN102637200 A CN 102637200A CN 2012100580084 A CN2012100580084 A CN 2012100580084A CN 201210058008 A CN201210058008 A CN 201210058008A CN 102637200 A CN102637200 A CN 102637200A
- Authority
- CN
- China
- Prior art keywords
- data
- cluster
- associated data
- same node
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims abstract description 5
- 230000005540 biological transmission Effects 0.000 claims abstract description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 239000012141 concentrate Substances 0.000 claims description 2
- 238000013075 data extraction Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明的目的是提供一种数据分发方法，通过理解多级关联数据之间的关系，来进行数据分发，将相关数据分发至同一节点，从而提升数据提取、合并、搜索和分析的效率，降低分布式集群的网络传输时间并节约网络带宽，提升系统整体性能和吞吐量。
Description
技术领域
本发明涉及集群分布式计算领域。
背景技术
在信息技术高速发展的今天，无论是互联网还是企业内部的数据量，都呈指数速度的发展和增加。海量数据的计算和处理日趋重要，其中大规模集群分布式数据处理和分布式计算两项技术成为海量数据处理的关键性技术。
为了使数据的处理更加透明和更有效率，发明了多级关系数据分发方法，该方法会通过关联性分析，将需要处理的无限层级关联数据分发至同一节点，使得关联数据的提取、合并、搜索和分析都集中在单一集群节点，这样不仅能够充分利用单一节点的运算能力，同时还能够很大程度上节约网络传输的时间和带宽，提升系统整体吞吐量。
发明内容
本发明的目的是提供一种数据分发方法，通过理解多级关联数据之间的关系，来进行数据分发，将相关数据分发至同一节点，从而提升数据提取、合并、搜索和分析，降低分布式集群的网络传输时间并节约网络带宽。
为达到上述目的，本发明设定了一种分发策略。
1.对数据进行关联关系设置，用于了解数据之间的多级主从关系。
2.对关联数据设置分发算法，用来计算数据分发到节点。
3.对主数据进行分发，写入主数据时，通过分发算法，计算出分发结点，并把该数据写入到这个节点。
4.对二级关联数据进行分发，写入主数据关联的二级数据时，写入相同节点，同时标识二级数据节点位置，通过该标识，进行下级数据的分发。
5.对三级至N级数据进行分发，通过关联至N-1级数据，取得N-1级数据的标识，通过该标识，即可将N级数据分发至同一节点。
6.关联数据的提取、合并、搜索和分析，相关数据的操作即可在同一节点完成。
附图说明
图1、图2为本发明的工作流程示意图，即集群数据分发流程，为写入两套关联数据的流程，两套关联数据会分别写入至两个数据节点，但关联的数据之间，会写入同一数据节点，达到充分利用计算和存储资源又能够节省计算的目的。
具体实施方式
下面结合附图1对本发明所述的技术方案做进一步详细描述。
图1为使多级关联数据分发到集群相同节点所涉及的各个模块的方框图，其中包括数据分发中心节点和集群节点。
数据分发的步骤如下：
1)用户进行系统设置，标识数据之间关联的字段
2)对关联数据设置分发算法
3)主节点数据分发
4)二级节点数据根据主节点标识进行分发，同时生成二级节点标识
5)三级至N级节点数据根据N-1级的节点标识进行分发至相同节点。
Claims (5)
1.一种使多级关联数据分配到集群相同节点的方法，其特征在于：
1)集群环境下数据分发至集群节点
2)无限层级的关联数据分发至相同节点
3)关联数据的提取、合并、搜索和分析不通过网络，只需要在节点内部即可完成。
2.如权利1所述的使多级关联数据分配到集群相同节点的方法，其特征在于：集群环境下，将关联数据集中于集群中单一节点的通用方法。
3.如权利1所述的使多级关联数据分配到集群相同节点的方法，其特征在于：不仅仅能够分发单一数据，同时可以分发其无限层级关联的相关数据。
4.如权利1所述的使多级关联数据分配到集群相同节点的方法，其特征在于：相关数据运算及合并集中在单一节点，提高数据利用率及计算资源利用率。
5.如权利1所述的使多级关联数据分配到集群相同节点的方法，其特征在于：将关联数据集中于集群中单一节点后，降低系统数据处理时的网络传输消耗。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210058008.4A CN102637200B (zh) | 2012-03-07 | 2012-03-07 | 一种使多级关联数据分配到集群相同节点的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210058008.4A CN102637200B (zh) | 2012-03-07 | 2012-03-07 | 一种使多级关联数据分配到集群相同节点的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102637200A true CN102637200A (zh) | 2012-08-15 |
| CN102637200B CN102637200B (zh) | 2014-05-14 |
Family
ID=46621594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210058008.4A Active CN102637200B (zh) | 2012-03-07 | 2012-03-07 | 一种使多级关联数据分配到集群相同节点的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102637200B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017092600A1 (zh) * | 2015-12-04 | 2017-06-08 | 阿里巴巴集团控股有限公司 | 一种指标统计方法和装置 |
| TWI726041B (zh) * | 2017-01-23 | 2021-05-01 | 香港商阿里巴巴集團服務有限公司 | 指標統計方法和裝置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107391541B (zh) * | 2017-05-16 | 2020-10-20 | 创新先进技术有限公司 | 一种实时数据合并方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005057427A1 (en) * | 2003-12-12 | 2005-06-23 | British Telecommunications Public Limited Company | Distributed computer system |
| CN1768519A (zh) * | 2003-09-25 | 2006-05-03 | 英国电讯有限公司 | 用于识别与相同标签匹配的多个节点的计算机网络 |
| CN102082832A (zh) * | 2011-01-24 | 2011-06-01 | 中国人民解放军国防科学技术大学 | 一种分布式文件系统中的数据存储方法和装置 |
| CN202058147U (zh) * | 2011-05-23 | 2011-11-30 | 北京六所和瑞科技发展有限公司 | 分布式实时数据库管理系统 |
-
2012
- 2012-03-07 CN CN201210058008.4A patent/CN102637200B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1768519A (zh) * | 2003-09-25 | 2006-05-03 | 英国电讯有限公司 | 用于识别与相同标签匹配的多个节点的计算机网络 |
| WO2005057427A1 (en) * | 2003-12-12 | 2005-06-23 | British Telecommunications Public Limited Company | Distributed computer system |
| CN102082832A (zh) * | 2011-01-24 | 2011-06-01 | 中国人民解放军国防科学技术大学 | 一种分布式文件系统中的数据存储方法和装置 |
| CN202058147U (zh) * | 2011-05-23 | 2011-11-30 | 北京六所和瑞科技发展有限公司 | 分布式实时数据库管理系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017092600A1 (zh) * | 2015-12-04 | 2017-06-08 | 阿里巴巴集团控股有限公司 | 一种指标统计方法和装置 |
| CN106846021A (zh) * | 2015-12-04 | 2017-06-13 | 阿里巴巴集团控股有限公司 | 一种指标统计方法和装置 |
| TWI726041B (zh) * | 2017-01-23 | 2021-05-01 | 香港商阿里巴巴集團服務有限公司 | 指標統計方法和裝置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102637200B (zh) | 2014-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103365726B (zh) | 一种面向gpu集群的资源管理方法和系统 | |
| US9053067B2 (en) | Distributed data scalable adaptive map-reduce framework | |
| CN102891896B (zh) | 用于物联网海量存储的云计算基础架构系统 | |
| Londhe et al. | Platforms for big data analytics: Trend towards hybrid era | |
| CN103970722A (zh) | 一种文本内容去重的方法 | |
| CN104317899A (zh) | 一种大数据分析与处理系统及访问方法 | |
| CN106598743A (zh) | 一种基于mpi并行求信息系统属性约简的方法 | |
| CN103279505A (zh) | 一种基于语义的海量数据处理方法 | |
| CN103559017A (zh) | 基于gpu异构计算平台的字符串匹配方法及系统 | |
| CN106202152B (zh) | 一种云平台的数据处理方法及系统 | |
| CN105468756A (zh) | 一种海量数据处理系统的设计和实现方法 | |
| Thakur et al. | Now and next-generation sequencing techniques: future of sequence analysis using cloud computing | |
| CN102637200A (zh) | 一种使多级关联数据分配到集群相同节点的方法 | |
| Mohamed et al. | Accelerating data-intensive genome analysis in the cloud | |
| WO2021208174A1 (zh) | 分布式图计算方法、终端、系统及存储介质 | |
| CN110880015B (zh) | 一种基于模糊c均值的分布式集成聚类分析方法 | |
| CN202524426U (zh) | 一种企业云计算服务应用系统 | |
| Lee et al. | ARLS: A MapReduce-based output analysis tool for large-scale simulations | |
| CN104090813A (zh) | 一种云数据中心的虚拟机cpu使用率的分析建模方法 | |
| CN102769662A (zh) | 使一类实体的数据同时分布在与之关联的多种实体所在的集群节点中的方法 | |
| CN204129738U (zh) | 测序数据分析工作站系统 | |
| CN103488853A (zh) | 一种超效率dea模型无可行解单元超效率值的计算方法 | |
| CN103218210B (zh) | 适于大数据高并发访问的文件级分条系统 | |
| CN104881293A (zh) | 一种Linux系统规则数据处理系统及方法 | |
| CN104991912A (zh) | 一种基于MapReduce架构的大规模图数据聚类算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Method of Allocating Multilevel Associated Data to the Same Node of a Cluster Effective date of registration: 20221014 Granted publication date: 20140514 Pledgee: Bank of China Limited by Share Ltd. Nanjing Jiangning branch Pledgor: JIANGSU YINPAO NETWORK TECHNOLOGY CO.,LTD. Registration number: Y2022980018313 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Granted publication date: 20140514 Pledgee: Bank of China Limited by Share Ltd. Nanjing Jiangning branch Pledgor: JIANGSU YINPAO NETWORK TECHNOLOGY CO.,LTD. Registration number: Y2022980018313 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |