CN110636112A - Es双集群解决方案及数据最终一致性的实现方法 - Google Patents
Es双集群解决方案及数据最终一致性的实现方法 Download PDFInfo
- Publication number
- CN110636112A CN110636112A CN201910781014.4A CN201910781014A CN110636112A CN 110636112 A CN110636112 A CN 110636112A CN 201910781014 A CN201910781014 A CN 201910781014A CN 110636112 A CN110636112 A CN 110636112A
- Authority
- CN
- China
- Prior art keywords
- cluster
- memory
- state
- proposal
- double
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种ES双集群解决方案及数据最终一致性的实现方法，通过集群A和B的操作运行，观察集群B并查看集群状态，发现集群为单节点运行时，查看集群B日志，若集群B受到集群A的干扰，对集群B配置文件添加命令并恢复。本发明的ES双集群解决方案及数据最终一致性的实现方法，给出了双集群具体的实现操作步骤，使双集群操作直观的展示出来，为用户提供了便利，同时通过本发明中的数据一致性实现方法可高效的实现存储器集群的一致性，其较于现有的一致性实现方式更为简单。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种ES双集群解决方案及数据最终一致性的实现方法。
背景技术
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
现有技术中对ES双集群还没有很好的解决方案，同时数据一致性的实现方法较为复杂，不够高效。为解决上述问题，本申请中提出一种ES双集群解决方案及数据最终一致性的实现方法。
发明内容
(一)发明目的
为解决背景技术中存在的技术问题，本发明提出一种ES双集群解决方案及数据最终一致性的实现方法。
(二)技术方案
为解决上述问题，本发明提出的一种ES双集群解决方案，其具体方法如下：
(1)集群A:端口16780；节点一；操作环境10.10.13.17；集群B:端口16789；节点二；操作环境10.10.13.18；
(2)运行集群A，若集群B正常启动，则查看集群状态，发现集群为单节点运行：“http://10.10.13.17:16789/_nodes/stats？pretty”；
(3)查看集群B日志，集群B提出警告：“WARN：faild send ping to10.10.13.18:16789”；
(4)判定结果：集群B受到集群A的干扰，对集群B配置文件添加下列命令：“transport.tcp.port:9900”；
(5)重新启动，集群状态正常。
优选的，默认情况下，ES使用0.0.0.0地址，并为http传输开启9200-9300端口，为节点到节点的通信开启9300-9400端口。
优选的，可定制该节点与其他节点交互的端口：transport.tcp.port:9900(默认为9300)。
优选的，节点一与节点二必须能ping通。
另外，本发明中还提供了一种数据最终一致性的实现方法，用户操作客户端通过网络传输与多个存储器实现数据传输，存储器中有数据库，具体方法如下：
S1:用户通过客户端发出操作指令；
S2:存储器集群中生成对应的准备阶段编号，并将准备阶段编号存储在存储器集群中一个存储器的列表；
S3:将该存储器列表状态与其他存储器镜像状态同步，并根据该存储器集群状态列表获取存储器集群中准备阶段编号的存储器数量；
S4:当准备阶段编号的存储器数量满足发起条件时,发起对应准备阶段编号的提议，令提议阶段的提议编号等于准备阶段的提议编号，并将提议阶段的提议编号和相应的提议值更新到本机的集群状态列表所包括的本机状态中；
S5:将该存储器列表状态与其他存储器镜像状态同步，并根据该存储器集群状态列表获取存储器集群中准备阶段编号的存储器数量；
S6:当接收提议的存储器数量满足提议条件时，将提议值提交至数据库。
优选的，所述操作指令包括读操作和写操作。
再有，本发明中还提供了一种计算机设备，用于对ES双集群解决方案及数据最终一致性的实现的处理，包括主机和显示器，主机内有存储设备、操作系统和处理器，存储设备用于存储软件和程序等，处理器用于对软件和程序操作。
本发明的上述技术方案具有如下有益的技术效果：
本发明的ES双集群解决方案及数据最终一致性的实现方法，给出了双集群具体的实现操作步骤，使双集群操作直观的展示出来，为用户提供了便利，同时通过本发明中的数据一致性实现方法可高效的实现存储器集群的一致性，其较于现有的一致性实现方式更为简单。
附图说明
图1为本发明提出的ES双集群解决方案的流程框图。
图2为本发明提出的数据最终一致性的实现方法的总体框图。
图3为本发明提出的数据最终一致性的实现方法的具体流程图。
图4为本发明中计算机设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
如图1所示，本发明提出的一种ES双集群解决方案，其具体方法如下：
(1)集群A:端口16780；节点一；操作环境10.10.13.17；集群B:端口16789；节点二；操作环境10.10.13.18；
(2)运行集群A，若集群B正常启动，则查看集群状态，发现集群为单节点运行：“http://10.10.13.17:16789/_nodes/stats？pretty”；
(3)查看集群B日志，集群B提出警告：“WARN：faild send ping to10.10.13.18:16789”；
(4)判定结果：集群B受到集群A的干扰，对集群B配置文件添加下列命令：“transport.tcp.port:9900”；
(5)重新启动，集群状态正常。
在一个可选的实施例中，默认情况下，ES使用0.0.0.0地址，并为http传输开启9200-9300端口，为节点到节点的通信开启9300-9400端口。
在一个可选的实施例中，可定制该节点与其他节点交互的端口：transport.tcp.port:9900(默认为9300)。
在一个可选的实施例中，节点一与节点二必须能ping通。
如图2-3所示，本发明中提供了一种数据最终一致性的实现方法，用户操作客户端通过网络传输与多个存储器实现数据传输，存储器中有数据库，具体方法如下：
S1:用户通过客户端发出操作指令；
S2:存储器集群中生成对应的准备阶段编号，并将准备阶段编号存储在存储器集群中一个存储器的列表；
S3:将该存储器列表状态与其他存储器镜像状态同步，并根据该存储器集群状态列表获取存储器集群中准备阶段编号的存储器数量；
S4:当准备阶段编号的存储器数量满足发起条件时,发起对应准备阶段编号的提议，令提议阶段的提议编号等于准备阶段的提议编号，并将提议阶段的提议编号和相应的提议值更新到本机的集群状态列表所包括的本机状态中；
S5:将该存储器列表状态与其他存储器镜像状态同步，并根据该存储器集群状态列表获取存储器集群中准备阶段编号的存储器数量；
S6:当接收提议的存储器数量满足提议条件时，将提议值提交至数据库。
在一个可选的实施例中，所述操作指令包括读操作和写操作。
如图4所示，本发明中提供了一种计算机设备，用于对ES双集群解决方案及数据最终一致性的实现的处理，包括主机和显示器，主机内有存储设备、操作系统和处理器，存储设备用于存储软件和程序等，处理器用于对软件和程序操作。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (8)
1.一种ES双集群解决方案，其特征在于，具体方法如下：
(1)集群A:端口16780；节点一；操作环境10.10.13.17；集群B:端口16789；节点二；操作环境10.10.13.18；
(2)运行集群A，若集群B正常启动，则查看集群状态，发现集群为单节点运行：“http://10.10.13.17:16789/_nodes/stats？pretty”；
(3)查看集群B日志，集群B提出警告：“WARN：faild send ping to 10.10.13.18:16789”；
(4)判定结果：集群B受到集群A的干扰，对集群B配置文件添加下列命令：“transport.tcp.port:9900”；
(5)重新启动，集群状态正常。
2.根据权利要求1所述的一种ES双集群解决方案，其特征在于，默认情况下，ES使用0.0.0.0地址，并为http传输开启9200-9300端口，为节点到节点的通信开启9300-9400端口。
3.根据权利要求2所述的一种ES双集群解决方案，其特征在于，可定制该节点与其他节点交互的端口：transport.tcp.port:9900(默认为9300)。
4.根据权利要求1所述的一种ES双集群解决方案，其特征在于，所述节点一与节点二必须能ping通。
5.一种数据最终一致性的实现方法，其特征在于，用户操作客户端通过网络传输与多个存储器实现数据传输，存储器中有数据库，具体方法如下：
S1:用户通过客户端发出操作指令；
S2:存储器集群中生成对应的准备阶段编号，并将准备阶段编号存储在存储器集群中一个存储器的列表；
S3:将该存储器列表状态与其他存储器镜像状态同步，并根据该存储器集群状态列表获取存储器集群中准备阶段编号的存储器数量；
S4:当准备阶段编号的存储器数量满足发起条件时,发起对应准备阶段编号的提议，令提议阶段的提议编号等于准备阶段的提议编号，并将提议阶段的提议编号和相应的提议值更新到本机的集群状态列表所包括的本机状态中；
S5:将该存储器列表状态与其他存储器镜像状态同步，并根据该存储器集群状态列表获取存储器集群中准备阶段编号的存储器数量；
S6:当接收提议的存储器数量满足提议条件时，将提议值提交至数据库。
6.根据权利要求5所述的一种数据最终一致性的实现方法，其特征在于，所述操作指令包括读操作和写操作。
7.一种计算机设备，包括主机和显示器，主机内有存储设备、操作系统和处理器，其特征在于，用于对ES双集群解决方案及数据最终一致性的实现的处理。
8.根据权利要求7所述的一种计算机设备，其特征在于，所述存储设备用于存储软件和程序，处理器用于对软件和程序操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910781014.4A CN110636112A (zh) | 2019-08-22 | 2019-08-22 | Es双集群解决方案及数据最终一致性的实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910781014.4A CN110636112A (zh) | 2019-08-22 | 2019-08-22 | Es双集群解决方案及数据最终一致性的实现方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110636112A true CN110636112A (zh) | 2019-12-31 |
Family
ID=68970647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910781014.4A Pending CN110636112A (zh) | 2019-08-22 | 2019-08-22 | Es双集群解决方案及数据最终一致性的实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110636112A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108090222A (zh) * | 2018-01-05 | 2018-05-29 | 中国科学院计算技术研究所 | 一种数据库集群节点间数据同步系统 |
| CN109359094A (zh) * | 2018-08-03 | 2019-02-19 | 挖财网络技术有限公司 | 一种分布式系统日志全链路追踪方法及装置 |
| CN109426435A (zh) * | 2017-08-25 | 2019-03-05 | 腾讯科技（深圳）有限公司 | 分布式系统的一致性实现方法和装置 |
-
2019
- 2019-08-22 CN CN201910781014.4A patent/CN110636112A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109426435A (zh) * | 2017-08-25 | 2019-03-05 | 腾讯科技（深圳）有限公司 | 分布式系统的一致性实现方法和装置 |
| CN108090222A (zh) * | 2018-01-05 | 2018-05-29 | 中国科学院计算技术研究所 | 一种数据库集群节点间数据同步系统 |
| CN109359094A (zh) * | 2018-08-03 | 2019-02-19 | 挖财网络技术有限公司 | 一种分布式系统日志全链路追踪方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| WANGDAOGE: ""两个es集群部署在一台机器上不成功 已解决"", 《CNDS博客》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10657061B1 (en) | Resource distribution using attributes of versioned hash rings | |
| US11157457B2 (en) | File management in thin provisioning storage environments | |
| CN105677251B (zh) | 基于Redis集群的存储系统 | |
| KR20120005490A (ko) | 지속적인 웹 어플리케이션 설계를 위한 구조적 패턴 | |
| US20220357981A1 (en) | Migrating the runtime state of a container between two nodes | |
| US9740537B2 (en) | Contention and selection of controlling work coordinator in a distributed computing environment | |
| CN105138679B (zh) | 一种基于分布式缓存的数据处理系统及处理方法 | |
| CN103166785A (zh) | 基于Hadoop的分布式日志分析系统 | |
| CN105162879B (zh) | 实现多机房数据一致性的方法、装置及系统 | |
| US11681766B2 (en) | Preserving contextual relevance of content | |
| CN106598692A (zh) | 在逻辑卷中创建镜像文件、虚拟机启动方法及服务器 | |
| EP3384384A1 (en) | Methods and devices for acquiring data using virtual machine and host machine | |
| CN108632354A (zh) | 物理机纳管方法、装置及云桌面管理平台 | |
| CN111125050B (zh) | 一种openstack环境下基于CephFS提供NFS协议的文件存储方法 | |
| CN103500108B (zh) | 系统内存访问方法、节点控制器和多处理器系统 | |
| CN109347936A (zh) | Redis代理客户端的实现方法、系统、存储介质及电子设备 | |
| CN103023704A (zh) | 虚拟网络服务设备接入方法及系统 | |
| US10949449B2 (en) | Systems and methods for efficient electronic message storage and retrieval | |
| CN115470303B (zh) | 一种数据库访问方法、装置、系统、设备及可读存储介质 | |
| CN111831221A (zh) | 一种基于云存储的分布式存储方法及系统 | |
| CN110636112A (zh) | Es双集群解决方案及数据最终一致性的实现方法 | |
| CN106790521B (zh) | 采用基于ftp的节点设备进行分布式组网的系统及方法 | |
| CN108076111B (zh) | 一种在大数据平台中分发数据的系统及方法 | |
| US11176097B2 (en) | Accelerated deduplication block replication | |
| CN116954810A (zh) | 容器应用实例的创建方法、系统、存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191231 |