CN103701633B - 对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统 - Google Patents
对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统 Download PDFInfo
- Publication number
- CN103701633B CN103701633B CN201310660947.0A CN201310660947A CN103701633B CN 103701633 B CN103701633 B CN 103701633B CN 201310660947 A CN201310660947 A CN 201310660947A CN 103701633 B CN103701633 B CN 103701633B
- Authority
- CN
- China
- Prior art keywords
- cluster
- zookeeper
- solrcloud
- core
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012423 maintenance Methods 0.000 title abstract description 7
- 230000000007 visual effect Effects 0.000 title abstract description 4
- 238000012800 visualization Methods 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 2
- 238000012217 deletion Methods 0.000 claims description 2
- 230000037430 deletion Effects 0.000 claims description 2
- 238000007726 management method Methods 0.000 description 39
- 238000005516 engineering process Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统，所述系统包括：公共资源库管理模块、Zookeeper集群管理模块、Zookeeper客户端工具以及SolrCloud集群管理模块；通过公共资源库管理模块、Zookeeper集群管理模块、Zookeeper客户端工具以及SolrCloud集群管理模块的互相交互，完成了对分布式搜索SolrCloud进行可视化集群应用搭建和维护。本发明简化SolrCloud集群应用的实施维护，降低了对实施人员的要求，节省了实施时间，同时提高了集群搜索应用的可维护性。
Description
技术领域
本发明涉及计算机通讯技术领域，尤其涉及一种对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统。
背景技术
Solr是一个流行、快速的开源搜索服务器，它起源于Web服务器软件Apache的开放源码程式库Lucene项目。开源搜索服务器Solr主要的特色包括：强大的全文搜索能力，高亮突出显示关键词，动态集群化，数据库集成，富文本搜索（例如，Word、pdf文档等）等。
Zookeeper是一个开源分布式的服务，它提供了分布式协作，分布式同步，配置管理等功能。其实现的功能与互联网搜索引擎google的粗粒度锁服务的文件系统chubby基本一致。
SolrCloud是基于开源搜索服务器Solr和分布式的服务Zookeeper的分布式搜索方案，是Solr4.0以后引入的核心组件之一，它的主要思想是使用Zookeeper作为集群的配置信息中心。它有几个特色功能：（1）集中式的配置信息；（2）自动容错；（3）近实时搜索；（4）领导选举；（5）查询时自动负载均衡。SolrCloud环境中有“核core”、“分区shard”、“集合collection”的逻辑实体，核core指的是运行在java虚拟机上的一个开源搜索服务器Solr实例，多个core在逻辑上可以组成一个shard，而多个shard又在逻辑上组成一个collection。整个Solrcloud环境就是由一个collection或多个collection构成。Solrcloud环境构成了分布式搜索SolrCloud组织结构。
在分布式搜索方案SolrCloud出现之前，通过Solr来搭建一个分布式搜索集群应用，需要业务应用程序编写大量的代码来处理负载均衡、数据同步、并发等各种复杂的底层技术问题。在Solr4.0以后，引入了SolrCloud组件，使用Zookeeper作为集群的配置信息中心，简化了分布式搜索集群应用搭建和集群环境维护的复杂度，目前SolrCloud已经成熟，可以支持分布式搜索、分布式索引等，但是企业在实际实施时，仍然需要面临纵多的细节问题，如集合collection的创建、分区shard创建、核core的创建、各结点的配置、各结点应用部署等。现有这种非可视化的开发，实施、维护比较复杂。
发明内容
本发明要解决的技术问题，在于提供一种对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统，简化SolrCloud集群应用的实施维护，降低了对实施人员的要求，节省了实施时间，同时提高了集群搜索应用的可维护性。
本发明是这样实现的：一种对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统，所述系统包括：公共资源库管理模块、Zookeeper集群管理模块、Zookeeper客户端工具以及SolrCloud集群管理模块；
所述公共资源库管理模块，用于提供系统中集群各结点所需的资源；且提供用户上传的入口，供用户上传最新的资源；并能更新系统中集群各结点，将上传的新资源更新到系统中集群各结点；所述资源包括：Zookeeper部署包、Solr部署包以及Solr配置模版；所述系统中集群各结点包括有Zookeeper集群的各结点和SolrCloud集群的各结点；
所述Zookeeper集群管理模块，提供系统中Zookeeper集群的管理；从所述公共资源库管理模块中获取所述Zookeeper部署包和Solr配置模版的资源，根据获取到的资源来实施Zookeeper集群各结点的部署；对Zookeeper集群各结点Ip地址、网络端口、存储路径进行管理；并能控制启动或停止Zookeeper集群各结点；
所述Zookeeper客户端工具，用于对存储在所述分布式的服务Zookeeper集群管理模块中的内容进行管理；
所述SolrCloud集群管理模块，用于对系统的分布式搜索SolrCloud组织结构的管理；对系统的分布式搜索SolrCloud环境中各个核core下的开源搜索服务器Solr实例的管理；对各个核core下的开源搜索服务器Solr实例的发布；以及对各个核core下的开源搜索服务器Solr实例的启动和停止管理。
本发明具有如下优点：本发明通过公共资源库管理模块、Zookeeper集群管理模块、Zookeeper客户端工具以及SolrCloud集群管理模块的互相交互，完成了对分布式搜索SolrCloud进行可视化集群应用搭建和维护，简化SolrCloud集群应用的实施维护，降低了对实施人员的要求，节省了实施时间，同时提高了集群搜索应用的可维护性；为企业节省人力成本和时间成本，最终节省企业经营成本。
附图说明
图1为本发明系统的框架原理图。
图2为本发明集群应用搭建的一具体实例示意图。
具体实施方式
本发明为一种对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统，所述系统包括：公共资源库管理模块、Zookeeper集群管理模块、Zookeeper客户端工具以及SolrCloud集群管理模块；
所述公共资源库管理模块，用于提供系统中集群各结点所需的资源；且提供用户上传的入口，供用户上传最新的资源；并能更新系统中集群各结点，将上传的新资源更新到系统中集群各结点；所述资源包括：Zookeeper部署包、Solr部署包以及Solr配置模版；所述系统中集群各结点包括有Zookeeper集群的各结点和SolrCloud集群的各结点；本发明的系统实现的可视化是即要实现对zoomkeeper集群的管理，也要实现对SolrCloud集群的管理。
所述Zookeeper集群管理模块，提供系统中Zookeeper集群的管理；从所述公共资源库管理模块中获取所述Zookeeper部署包和Solr配置模版的资源，根据获取到的资源来实施Zookeeper集群各结点的部署；Zookeeper集群各结点Ip地址、网络端口、存储路径进行管理；并能控制启动或停止Zookeeper集群各结点；
所述Zookeeper客户端工具，用于对存储在所述Zookeeper集群管理模块中的内容进行管理；且Zookeeper客户端工具将以图形界面的方式实现zkCli.cmd中的功能；所述zkCli.cmd是Zookeeper发布的用于维护Zookeeper服务端内容的命令行工具；该工具能上传配置文件到所述分布式的服务Zookeeper集群管理模块中，对Zookeeper集群管理模块中的内容进行修改，删除操作；
所述SolrCloud集群管理模块，用于对系统的分布式搜索SolrCloud组织结构的管理；对系统的分布式搜索SolrCloud环境中各个核core下的开源搜索服务器Solr实例的管理；对各个核core下的开源搜索服务器Solr实例的发布；以及对各个核core下的开源搜索服务器Solr实例的启动和停止管理。
其中，对系统的分布式搜索SolrCloud组织结构的管理具体包括：分布式搜索SolrCloud环境中集合collection的创建、集合collection下各个分区shard的创建、分区shard下各个核core的创建；各个核core的创建是为每个核core分配ip地址、网络端口、存储路径以及名称。
对系统的分布式搜索SolrCloud环境中各个核core下的开源搜索服务器Solr实例的管理，具体为：从所述公共资源库管理模块中获取Solr部署包到系统中相应的应用服务器中，修改相关配置，创建每个核core对应的部署包，从而实现对核core下的开源搜索服务器Solr实例内容的管理。
所述对各个核core下的开源搜索服务器Solr实例的发布，具体为：将开源搜索服务器Solr实例与系统中应用服务器进行集成，将开源搜索服务器Solr应用程序包发布到对应的应用服务器的容器中；该容器如：基于Javaee架构的中间件weblogic或Web应用服务器tomcat。
这里需要说明的是：
公共资源库管理模块是其它部分的基础，为后续其它模块的创建提供资源。Zookeeper客户端工具维护分布式的服务Zookeeper集群管理模块上存储的内容。SolrCloud集群管理模块需要从公共资源库管理模块中获取solr部署包，同时需要引用保存在分布式的服务Zookeeper集群管理模块上的Solr配置模版。
如图2所示，通过本发明系统对集群应用搭建的一具体实例：图中包括了一集合mycollection，该集合下有三个分区，分别为：shard_fjdl_0、shard_shdl_0、shard_P_GWBB_0分区；每个分区下均对应有两个核core，核对应的IP地址和网络端口。
总之，本发明为可视化（图形化）配置维护搭建SolrCloud集群搜索应用，提供了实现设计的思路；随着产品的深化，各项功能不断完善，使SolrCloud集群搜索应用的运维变得更加方便，对用户屏蔽了实现细节，使用企业从规划建设集群搜索应用到最终落实成本实现一条流水线操作，降低了对实施人员的要求，节省了实施时间，同时提高了集群搜索应用的可维护性，为企业节省人力成本和时间成本，最终节省企业经营成本。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (4)
1.一种对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统，其特征在于：所述系统包括：公共资源库管理模块、Zookeeper集群管理模块、Zookeeper客户端工具以及SolrCloud集群管理模块；
所述公共资源库管理模块，用于提供系统中集群各结点所需的资源；且提供用户上传的入口，供用户上传最新的资源；并能更新系统中集群各结点，将上传的新资源更新到系统中集群各结点；所述资源包括：Zookeeper部署包、Solr部署包以及Solr配置模版；所述系统中集群各结点包括有Zookeeper集群的各结点和SolrCloud集群的各结点；
所述Zookeeper集群管理模块，提供系统中Zookeeper集群的管理；从所述公共资源库管理模块中获取所述Zookeeper部署包和Solr配置模版的资源，根据获取到的资源来实施Zookeeper集群各结点的部署；对Zookeeper集群各结点IP地址、网络端口、存储路径进行管理；并能控制启动或停止Zookeeper集群各结点；
所述Zookeeper客户端工具，用于对存储在Zookeeper集群管理模块中的内容进行管理；所述Zookeeper客户端工具将以图形界面的方式实现zkCli.cmd中的功能；所述zkCli.cmd是Zookeeper发布的用于维护Zookeeper服务端内容的命令行工具；该工具能上传配置文件到所述Zookeeper集群管理模块中，对Zookeeper集群管理模块中的内容进行修改，删除操作；
所述SolrCloud集群管理模块，用于对系统的分布式搜索SolrCloud组织结构的管理；对系统的分布式搜索SolrCloud环境中各个核core下的开源搜索服务器Solr实例的管理；对各个核core下的开源搜索服务器Solr实例的发布；以及对各个核core下的开源搜索服务器Solr实例的启动和停止管理。
2.根据权利要求1所述的对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统，其特征在于：对系统的分布式搜索SolrCloud组织结构的管理具体包括：分布式搜索SolrCloud环境中集合collection的创建、集合collection下各个分区shard的创建、分区shard下各个核core的创建；各个核core的创建是为每个核core分配IP地址、网络端口、存储路径以及名称。
3.根据权利要求1所述的对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统，其特征在于：对系统的分布式搜索SolrCloud环境中各个核core下的开源搜索服务器Solr实例的管理，具体为：从所述公共资源库管理模块中获取Solr部署包到系统中相应的应用服务器中，修改相关配置，创建每个核core对应的部署包，从而实现对核core下的开源搜索服务器Solr实例内容的管理。
4.根据权利要求1所述的对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统，其特征在于：对各个核core下的开源搜索服务器Solr实例的发布，具体为：将开源搜索服务器Solr实例与系统中应用服务器进行集成，将开源搜索服务器Solr应用程序包发布到对应的应用服务器的容器中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310660947.0A CN103701633B (zh) | 2013-12-09 | 2013-12-09 | 对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310660947.0A CN103701633B (zh) | 2013-12-09 | 2013-12-09 | 对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103701633A CN103701633A (zh) | 2014-04-02 |
| CN103701633B true CN103701633B (zh) | 2017-01-11 |
Family
ID=50363036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310660947.0A Active CN103701633B (zh) | 2013-12-09 | 2013-12-09 | 对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103701633B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104102710A (zh) * | 2014-07-15 | 2014-10-15 | 浪潮(北京)电子信息产业有限公司 | 一种海量数据查询方法 |
| CN104503882B (zh) * | 2014-12-25 | 2018-10-19 | 北京京东尚科信息技术有限公司 | 容器管理方法及装置 |
| CN104899268A (zh) * | 2015-05-25 | 2015-09-09 | 浪潮集团有限公司 | 一种分布式企业信息垂直搜索方法 |
| CN106202490A (zh) * | 2016-07-19 | 2016-12-07 | 浪潮电子信息产业股份有限公司 | 一种SolrCloud配置文件修改方法、装置及系统 |
| CN106230625B (zh) * | 2016-07-26 | 2019-05-31 | 中国农业银行股份有限公司 | 一种在SolrCloud集群中动态创建域的方法及装置 |
| CN106487582A (zh) * | 2016-09-21 | 2017-03-08 | 努比亚技术有限公司 | 一种部署搜索服务器的方法和装置 |
| CN106648897B (zh) * | 2016-12-28 | 2019-11-22 | 厦门市美亚柏科信息股份有限公司 | 一种支持均衡资源的solr集群扩展方法及系统 |
| CN106792825B (zh) * | 2016-12-29 | 2019-11-22 | 河北远东通信系统工程有限公司 | 一种分布式网络设备的管理方法 |
| CN107643960A (zh) * | 2017-09-18 | 2018-01-30 | 浪潮软件集团有限公司 | 一种Solr全文检索动态配置系统及方法 |
| CN110019993B (zh) * | 2017-10-31 | 2022-11-15 | 中博信息技术研究院有限公司 | 一种基于海量标准文献数据的排序优化算法技术实现方法 |
| CN109241085B (zh) * | 2018-09-20 | 2022-06-21 | 郴州职业技术学院 | 一种针对SolrCloud的大数据SQL查询方法 |
| CN109639812A (zh) * | 2018-12-24 | 2019-04-16 | 山东浪潮云信息技术有限公司 | 一种分词包管理方法、装置及系统 |
| CN111447097A (zh) * | 2020-04-20 | 2020-07-24 | 国网甘肃省电力公司信息通信公司 | 一种云平台资源调度管理方法及系统 |
| CN112732330A (zh) * | 2021-01-04 | 2021-04-30 | 浪潮云信息技术股份公司 | 一种Solr集群配置文件修改方法及系统 |
| CN113656350A (zh) * | 2021-08-11 | 2021-11-16 | 杭州安恒信息技术股份有限公司 | 日志检索系统的构建方法、装置、计算机设备和介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101977124A (zh) * | 2010-11-05 | 2011-02-16 | 山东中创软件工程股份有限公司 | 基于ZooKeeper技术的业务集群方法及系统 |
| CN102710554A (zh) * | 2012-06-25 | 2012-10-03 | 深圳中兴网信科技有限公司 | 分布式消息系统和分布式消息系统的服务状态检测方法 |
| CN103312809A (zh) * | 2013-06-24 | 2013-09-18 | 北京汉柏科技有限公司 | 云平台中服务的分布式管理方法 |
| CN103399887A (zh) * | 2013-07-19 | 2013-11-20 | 蓝盾信息安全技术股份有限公司 | 一种海量日志的查询与统计分析系统 |
| CN103412768A (zh) * | 2013-07-19 | 2013-11-27 | 蓝盾信息安全技术股份有限公司 | 一种基于脚本程序自动化部署Zookeeper集群的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8700683B2 (en) * | 2011-10-24 | 2014-04-15 | Nokia Corporation | Method and apparatus for providing a key-value based storage interface |
-
2013
- 2013-12-09 CN CN201310660947.0A patent/CN103701633B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101977124A (zh) * | 2010-11-05 | 2011-02-16 | 山东中创软件工程股份有限公司 | 基于ZooKeeper技术的业务集群方法及系统 |
| CN102710554A (zh) * | 2012-06-25 | 2012-10-03 | 深圳中兴网信科技有限公司 | 分布式消息系统和分布式消息系统的服务状态检测方法 |
| CN103312809A (zh) * | 2013-06-24 | 2013-09-18 | 北京汉柏科技有限公司 | 云平台中服务的分布式管理方法 |
| CN103399887A (zh) * | 2013-07-19 | 2013-11-20 | 蓝盾信息安全技术股份有限公司 | 一种海量日志的查询与统计分析系统 |
| CN103412768A (zh) * | 2013-07-19 | 2013-11-27 | 蓝盾信息安全技术股份有限公司 | 一种基于脚本程序自动化部署Zookeeper集群的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于Solr的分布式全文检索系统的研究与实现;李戴维，李宁;《计算机与现代化》;20121130;第171-176页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103701633A (zh) | 2014-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103701633B (zh) | 对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统 | |
| US9557879B1 (en) | System for inferring dependencies among computing systems | |
| US10333820B1 (en) | System for inferring dependencies among computing systems | |
| CN106445484B (zh) | 通过软件开发工具包实现数据跟踪的方法及系统 | |
| CN103891209B (zh) | 网络控制系统中的控制器 | |
| CN110443010A (zh) | 一种在信息系统中权限可视化配置控制方法、装置、终端及存储介质 | |
| CN105103506B (zh) | 用于为云计算网络中的非均匀带宽请求分配带宽的方法和系统 | |
| US8676942B2 (en) | Common configuration application programming interface | |
| US10462010B2 (en) | Detecting and managing recurring patterns in device and service configuration data | |
| CN105809356A (zh) | 一种基于应用集成云平台的信息系统资源管理方法 | |
| CN107003906A (zh) | 云计算技术部件的类型到类型分析 | |
| CN105468702A (zh) | 一种大规模rdf数据关联路径发现方法 | |
| CN102819557B (zh) | 数据查询处理装置和数据查询处理方法 | |
| US11068127B2 (en) | Springboard interface for quick task transitions | |
| CN106852191A (zh) | 用于使用图形建模来管理、监控并控制广播和多媒体系统的系统和方法 | |
| CN103530379B (zh) | 树形结构数据显示方法与装置 | |
| CN107786355A (zh) | 一种智慧城市信息共享的方法和装置 | |
| CN112416923A (zh) | 一种元数据管理方法及装置、设备、存储介质 | |
| CN106254121A (zh) | 一种自动化部署与管理大数据集群的方法 | |
| US20100131619A1 (en) | Creating cross-technology configuration settings | |
| CN104993957A (zh) | 一种为使用Log4j的分布式应用提供云端日志服务的方法 | |
| CN103390018A (zh) | 一种基于SDD的Web服务数据建模与搜索方法 | |
| CN104484358A (zh) | 一种流程模板展示的方法及系统 | |
| CN104331516B (zh) | 一种合同类型管理系统 | |
| CN113542074A (zh) | 一种可视化管理kubernetes集群的东西向网络流量的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |