CN110555152A - 基于Elasticsearch框架的分布式搜索系统 - Google Patents

基于Elasticsearch框架的分布式搜索系统 Download PDF

Info

Publication number
CN110555152A
CN110555152A CN201810277705.6A CN201810277705A CN110555152A CN 110555152 A CN110555152 A CN 110555152A CN 201810277705 A CN201810277705 A CN 201810277705A CN 110555152 A CN110555152 A CN 110555152A
Authority
CN
China
Prior art keywords
data
layer
framework
elasticissearch
search system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810277705.6A
Other languages
English (en)
Inventor
王志鹏
吕伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GANSU WANWEI INFORMATION TECHNOLOGY CO LTD
Original Assignee
GANSU WANWEI INFORMATION TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GANSU WANWEI INFORMATION TECHNOLOGY CO LTD filed Critical GANSU WANWEI INFORMATION TECHNOLOGY CO LTD
Priority to CN201810277705.6A priority Critical patent/CN110555152A/zh
Publication of CN110555152A publication Critical patent/CN110555152A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于大数据基础架构领域，涉及一种分布式搜索系统，尤其涉及一种基于Elasticsearch框架的分布式搜索系统。本发明提出的基于Elasticsearch框架的分布式搜索系统解决了大数据量条件下的实时搜索查询问题。数据导入Java数据库和API接口与外部配置文件，对数据源、目标集群及索引进行灵活搭配，达到了通用性和易维护性。源数据层通过数据聚合层与支撑连接层连接，支撑连接层与数据应用层连接，经测试上述连接极大提升数据导入性能，数据导入速度达到每小时2500万条左右。采用API接口使搜索接口更贴近于具体业务并且使web端开发与Elasticsearch解耦，降低了学习成本大大提高了开发效率。

Description

基于Elasticsearch框架的分布式搜索系统
技术领域
本发明属于大数据基础架构领域，涉及一种分布式搜索系统，尤其涉及一种基于Elasticsearch框架的分布式搜索系统。
背景技术
Elasticsearch是目前主流的全文检索框架，解决了大数据量条件下的实时全文检索问题，并且支持基于get/post方法的json参数接口以及多种可视化插件和分词器，使搜索技术更容易的被应用于IT应用系统当中。
然而，Elasticsearch仅提供了数据导入及搜索的接口，并没有解决从数据源到应用端的一系列问题，而且Elasticsearch原生的搜索接口比较复杂，学习成本比较高，对于开发人员的掌握有一定困难，开发难度大。现有检索数据仅支持单一数据库，无法适用多种数据库。
发明内容
本发明解决现有技术不足提供一种适用范围广、开发难度低、实施便捷的基于Elasticsearch框架的分布式搜索系统。
为解决上述技术问题本发明采用如下技术方案：
基于Elasticsearch框架的分布式搜索系统，包括数据应用层、支撑连接层、数据聚合层和源数据层；源数据层通过数据聚合层与支撑连接层连接，支撑连接层与数据应用层连接；所述数据应用层为Web应用程序，所述支撑连接层为API接口，所述数据聚合层为Elasticsearch搜索服务器，所述源数据层为hadoop、Hive、Oracle和Mysql数据库；Elasticsearch搜索服务器通过API接口与Web应用程序连接。
所述API接口通过Java数据库与Elasticsearch搜索服务器连接。
所述基于Elasticsearch框架的分布式搜索系统，其特征在于所述Web应用程序为Java语言架构编辑。
所述基于Elasticsearch框架的分布式搜索系统，其特征在于所述Web应用程序录入检索字段，检索字段通过Java数据库和Elasticsearch搜索服务器调用源数据层。
所述源数据层为hadoop、Hive、Oracle和Mysql数据库的一种或几种。
本发明的有益效果为：
本发明提出的基于Elasticsearch框架的分布式搜索系统解决了大数据量条件下的实时搜索查询问题。数据导入Java数据库和API接口与外部配置文件，对数据源、目标集群及索引进行灵活搭配，达到了通用性和易维护性。源数据层通过数据聚合层与支撑连接层连接，支撑连接层与数据应用层连接，经测试上述连接极大提升数据导入性能，数据导入速度达到每小时2500万条左右。采用API接口使搜索接口更贴近于具体业务并且使web端开发与Elasticsearch解耦，降低了学习成本大大提高了开发效率。
附图说明
图1为本发明的结构示意图。
具体实施方式
基于Elasticsearch框架的分布式搜索系统，包括数据应用层、支撑连接层、数据聚合层和源数据层；源数据层通过数据聚合层与支撑连接层连接，支撑连接层与数据应用层连接；所述数据应用层为Web应用程序，所述支撑连接层为API接口，所述数据聚合层为Elasticsearch搜索服务器，所述源数据层为hadoop、Hive、Oracle和Mysql数据库；Elasticsearch搜索服务器通过API接口与Web应用程序连接。
所述API接口通过Java数据库与Elasticsearch搜索服务器连接。所述Web应用程序为Java语言架构编辑。所述Web应用程序录入检索字段，检索字段通过Java数据库和Elasticsearch搜索服务器调用源数据层。所述源数据层为hadoop、Hive、Oracle和Mysql数据库的一种或几种。
实施例1
系统包括如下模块：
Hive数据源，为上层服务提供数据来源和支撑。
数据导入Java数据库，负责将数据源的数据导入到Elasticsearch集群中。连接Hive数据源并调用API接口将数据导入到特定的索引中。
Elasticsearch集群，提供基础的检索服务。
Web应用，负责调用搜索服务接口实现可视化的系统业务使用界面。
实施例2
系统包括如下模块：
Oracle数据源，为上层服务提供数据来源和支撑。
数据导入Java数据库，负责将数据源的数据导入到Elasticsearch集群中。连接Oracle数据源并调用API接口将数据导入到特定的索引中。
Elasticsearch集群，提供基础的检索服务。
Web应用，负责调用搜索服务接口实现可视化的系统业务使用界面。
实施例3
系统包括如下模块：
hadoop、Hive、Oracle和Mysql数据库，为上层服务提供数据来源和支撑。
数据导入Java数据库，负责将数据源的数据导入到Elasticsearch集群中。同时连接hadoop、Hive、Oracle和Mysql数据库并调用API接口将数据导入到特定的索引中。
Elasticsearch集群，提供基础的检索服务。
Web应用，负责调用搜索服务接口实现可视化的系统业务使用界面。

Claims (5)

1.基于Elasticsearch框架的分布式搜索系统，其特征在于包括数据应用层、支撑连接层、数据聚合层和源数据层；源数据层通过数据聚合层与支撑连接层连接，支撑连接层与数据应用层连接；所述数据应用层为Web应用程序，所述支撑连接层为API接口，所述数据聚合层为Elasticsearch搜索服务器，所述源数据层为hadoop、Hive、Oracle和Mysql数据库；Elasticsearch搜索服务器通过API接口与Web应用程序连接。
2.根据权利要求1所述基于Elasticsearch框架的分布式搜索系统，其特征在于所述API接口通过Java数据库与Elasticsearch搜索服务器连接。
3.根据权利要求1所述基于Elasticsearch框架的分布式搜索系统，其特征在于所述Web应用程序为Java语言架构编辑。
4.根据权利要求3所述基于Elasticsearch框架的分布式搜索系统，其特征在于所述Web应用程序录入检索字段，检索字段通过Java数据库和Elasticsearch搜索服务器调用源数据层。
5.根据权利要求4所述基于Elasticsearch框架的分布式搜索系统，其特征在于所述源数据层为hadoop、Hive、Oracle和Mysql数据库的一种或几种。
CN201810277705.6A 2018-03-31 2018-03-31 基于Elasticsearch框架的分布式搜索系统 Pending CN110555152A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810277705.6A CN110555152A (zh) 2018-03-31 2018-03-31 基于Elasticsearch框架的分布式搜索系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810277705.6A CN110555152A (zh) 2018-03-31 2018-03-31 基于Elasticsearch框架的分布式搜索系统

Publications (1)

Publication Number Publication Date
CN110555152A true CN110555152A (zh) 2019-12-10

Family

ID=68733779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810277705.6A Pending CN110555152A (zh) 2018-03-31 2018-03-31 基于Elasticsearch框架的分布式搜索系统

Country Status (1)

Country Link
CN (1) CN110555152A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131295A (zh) * 2020-09-27 2020-12-25 平安医疗健康管理股份有限公司 基于Elasticsearch的数据处理方法及设备
CN113204588A (zh) * 2021-05-18 2021-08-03 绿漫科技有限公司 一种基于ElasticSearch快速搭建搜索平台的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080154861A1 (en) * 2006-12-22 2008-06-26 Hon Hai Precision Industry Co., Ltd. System and method for retrieving data from different types of data sources
CN102075560A (zh) * 2010-11-19 2011-05-25 福建富士通信息软件有限公司 一种基于系统耦合的福富企业搜索引擎技术
CN103412933A (zh) * 2013-08-20 2013-11-27 南京物联网应用研究院有限公司 一种云搜索平台
CN103984745A (zh) * 2014-05-23 2014-08-13 何震宇 分布式视频垂直搜索方法及系统
CN106021619A (zh) * 2016-07-14 2016-10-12 微额速达（上海）金融信息服务有限公司 全网搜索系统
WO2017063048A1 (en) * 2015-10-15 2017-04-20 Big Ip Pty Ltd A system, method, computer program and data signal for the provision of a database of information for lead generating purposes
CN107329987A (zh) * 2017-06-02 2017-11-07 广州启辰电子科技有限公司 一种基于mongo数据库的搜索系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080154861A1 (en) * 2006-12-22 2008-06-26 Hon Hai Precision Industry Co., Ltd. System and method for retrieving data from different types of data sources
CN102075560A (zh) * 2010-11-19 2011-05-25 福建富士通信息软件有限公司 一种基于系统耦合的福富企业搜索引擎技术
CN103412933A (zh) * 2013-08-20 2013-11-27 南京物联网应用研究院有限公司 一种云搜索平台
CN103984745A (zh) * 2014-05-23 2014-08-13 何震宇 分布式视频垂直搜索方法及系统
WO2017063048A1 (en) * 2015-10-15 2017-04-20 Big Ip Pty Ltd A system, method, computer program and data signal for the provision of a database of information for lead generating purposes
CN106021619A (zh) * 2016-07-14 2016-10-12 微额速达（上海）金融信息服务有限公司 全网搜索系统
CN107329987A (zh) * 2017-06-02 2017-11-07 广州启辰电子科技有限公司 一种基于mongo数据库的搜索系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131295A (zh) * 2020-09-27 2020-12-25 平安医疗健康管理股份有限公司 基于Elasticsearch的数据处理方法及设备
CN113204588A (zh) * 2021-05-18 2021-08-03 绿漫科技有限公司 一种基于ElasticSearch快速搭建搜索平台的方法

Similar Documents

Publication Publication Date Title
US20190012575A1 (en) Method, apparatus and system for updating deep learning model
CN104899295B (zh) 一种异构数据源数据关联分析方法
CN112579626A (zh) 多源异构sql查询引擎的构建方法及装置
CN107622055B (zh) 一种快速实现数据服务发布的方法
US9563650B2 (en) Migrating federated data to multi-source universe database environment
CN110019116B (zh) 数据追溯方法、装置、数据处理设备及计算机存储介质
CN111078729B (zh) 医疗数据溯源方法、装置、系统、存储介质以及电子设备
US10127617B2 (en) System for analyzing social media data and method of analyzing social media data using the same
CN104462161A (zh) 基于分布式数据库的结构化数据查询方法
CN112948492A (zh) 一种数据处理系统、方法、装置、电子设备及存储介质
CN110555152A (zh) 基于Elasticsearch框架的分布式搜索系统
CN106383701A (zh) 基于通用多协议数据访问接口技术的数据服务系统
CN105138561A (zh) 一种暗网空间数据采集方法及装置
KR20150017052A (ko) 워크플로우의 실행 방법 및 시스템
CN104516985A (zh) 一种基于HBase数据库的海量数据快速导入方法
CN103678396B (zh) 一种基于数据模型的数据备份方法和装置
CN103324764A (zh) 一种多条件任意关键字多字段模糊查询方法的Web实现
CN115168398A (zh) 数据查询方法、装置、电子设备及存储介质
CN109408580A (zh) 一种跨数据源的sql编译装置及方法
CN109145009A (zh) 一种基于SQL检索ElasticSearch的方法
CN113962597A (zh) 一种数据分析方法、装置、电子设备及存储介质
CN113419740A (zh) 程序数据流的分析方法、装置、电子设备及可读存储介质
CN113779349A (zh) 数据检索系统、装置、电子设备和可读存储介质
CN110764769B (zh) 处理用户请求的方法和装置
Tu et al. Architecture design of distributed medical big data platform based on spark

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191210

RJ01 Rejection of invention patent application after publication