CN107066595A - 一种大数据多应用搜索服务方法及系统 - Google Patents
一种大数据多应用搜索服务方法及系统 Download PDFInfo
- Publication number
- CN107066595A CN107066595A CN201710257170.1A CN201710257170A CN107066595A CN 107066595 A CN107066595 A CN 107066595A CN 201710257170 A CN201710257170 A CN 201710257170A CN 107066595 A CN107066595 A CN 107066595A
- Authority
- CN
- China
- Prior art keywords
- data
- search
- index
- solr
- operation system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
Abstract
本发明公开了一种大数据多应用搜索服务方法,属于大数据搜索领域,要解决的技术问题为不同业务系统和Solr服务器之间不适配,不同业务系统的搜索服务无法实现;其方法为:通过搜索应用服务模块在Solr服务器和不同的业务系统之间建立规范的服务接口和规范的数据格式,每个业务系统均调用搜索应用服务模块提供的规范的服务接口访问Solr服务器,每个业务系统推送的数据以及Solr服务器返回的数据均在搜索应用服务模块中按照规范的数据格式进行配置,完成每个业务系统的搜索服务和索引服务。其结构包括Solr服务器、搜索应用服务模块和多个业务系统,每个业务系统均通过搜索应用服务模块与Solr服务器连接。
Description
技术领域
本发明涉及大数据搜索领域,具体地说是一种大数据多应用搜索服务方法及系统。
背景技术
随着信息化的提高,各业务系统积累的数据越来越大,不同的业务系统数据存储方式也是多种多样,新闻以html文件以消息内存数据库存储,文档和知识文件用pdf和word存储,联系人用关系数据库存储。综上搜索内容来源于两类数据,一类是数据库、HTML的结构化数据,另一类是pdf和word等非结构化数据。
Solr服务器是一个独立的企业级搜索应用服务器,它对外提供类似于Web-service的API接口。用户可以通过http请求,向搜索引擎服务器提交一定格式的XML文件,生成索引;也可以通过Http Get操作提出查找请求,并得到XML格式的返回结果。业务系统中存储有大量的数据,Solr服务器中仅存储有少量的与搜索和索引相关的关键数据,不同的业务系统之间数据格式以及接口各不相同,Solr服务器与不同业务系统之间存在不适配的问题。
提供一种大数据多应用的搜索方法,满足不同业务系统和Solr服务器之间的适配,实现不同业务系统的搜索服务,是需要解决的技术问题。
发明内容
本发明的技术任务是针对以上不足,提供一种大数据多应用搜索服务方法及系统,来解决不同业务系统和Solr服务器之间不适配,不同业务系统的搜索服务无法实现的问题。
本发明的技术任务是按以下方式实现的:
一种大数据多应用搜索服务方法,通过搜索应用服务模块在Solr服务器和不同的业务系统之间建立规范的服务接口和规范的数据格式,每个业务系统均调用搜索应用服务模块提供的规范的服务接口访问Solr服务器,每个业务系统推送的数据以及Solr服务器返回的数据均在搜索应用服务模块中按照规范的数据格式进行配置,完成每个业务系统的搜索服务和索引服务。
搜索应用服务模块提供规范的服务接口供业务系统调用,可适配不同的业务系统,完成业务系统和Solr服务器的松耦合对接;同时搜索应用服务模块提供规范的数据格式,可适配不同格式的数据,满足了不同业务系统的服务请求。即搜索应用服务模块充当业务系统和Solr服务器之间的桥梁,解决如数据格式转换、Solr API封装、松散耦合等问题,完成大数据多应用快速搜索需求。
进一步的,搜索服务包括如下步骤:
S1、业务系统发起搜索请求,并将搜索请求以及需要搜索的数据推送至搜索服务应用模块;
S2、搜索应用服务模块提供标准的API接口,并将需要搜索的数据按照规范的数据格式进行配置,配置后的需要搜索的数据通过API接口发送至Solr服务器;
S3、Solr服务器内处理搜索请求,并将搜索结果返回至搜索应用服务模块;
S4、搜索应用服务模块将搜索结果以标准的数据格式返回至业务系统;
S5、业务系统从搜索结果中获取与搜索请求匹配的数据,根据搜索结果进行业务信息的展示,并对搜索结果按权限规则进行过滤。
进一步的,索引服务包括创建索引、更新索引和删除索引。
进一步的,创建索引包括如下步骤:
L1、业务系统增加与搜索相关的数据时,业务系统发起创建索引请求,并将创建索引请求和上述数据发送至搜索应用服务模块;
L2、搜索应用服务模块提供索引接口,并将上述数据按照规范的格式进行配置,配置后的数据通过索引接口发送至Solr服务器;
L3、Solr服务器处理创建索引请求,在Solr服务器内创建与上述数据相关的新的索引。
进一步的,更新索引包括如下步骤:
M1、业务系统修改与搜索相关的数据时,业务系统发起更新索引请求,并将更新索引请求和上述数据发送至搜索应用服务模块;
M2、搜索应用服务模块提供索引接口,并将上述数据按照规范的格式进行配置,配置后的数据通过索引接口发送至Solr服务器;
M3、Solr服务器处理更新索引请求,在Solr服务器内更新与上述数据相关的索引。
进一步的,删除索引包括如下步骤:
N1、业务系统删除与搜索相关的数据时,业务系统发起删除索引请求,并将删除索引请求和上述数据发送至搜索应用服务模块;
N2、搜索应用服务模块提供索引接口,并将上述数据按照规范的格式进行配置,配置后的数据通过索引接口发送至Solr服务器;
N3、Solr服务器处理删除索引请求,在Solr服务器内删除与上述数据相关的索引。
一种大数据多应用搜索服务系统,包括Solr服务器、搜索应用服务模块和多个业务系统,每个业务系统均通过搜索应用服务模块与Solr服务器连接;
Solr服务用于存储与搜索相关的关键数据,并能够提供搜索服务以及索引服务;
搜索应用服务模块能够提供规范的服务接口,并能够按照规范的数据格式对数据进行配置;
业务系统能够发起服务请求以及对数据进行增加、修改或删除的处理,并能够对数据进行匹配分析、对数据按权限规则进行过滤以及对数据高亮显示。
本发明的一种大数据多应用搜索服务方法及系统具有以下优点:
1、搜索应用服务模块保持独立性,完成大数据多应用快速搜索需求不被业务代码入侵,提供统一规范的服务接口,适配不同的业务系统,符合松散耦合设计原则,且实现了业务系统和Solr服务器的松散耦合;
2、搜索应用服务模块提供规范的服务接口和规范的数据格式,服务框架的规范型便于后期维护;
3、搜索应用服务模块与Solr服务器配合,充分展现了Solr服务器的大数据检索功能,实现业务系统的搜索和索引。
附图说明
下面结合附图对本发明进一步说明。
附图1为实施例1一种大数据多应用搜索服务方法的工作原理框图;
图中,索引请求为创建索引请求或者更新索引请求或者删除索引请求。
具体实施方式
参照说明书附图和具体实施例对本发明的一种大数据多应用搜索服务方法及系统作以下详细地说明。
实施例1:
如附图1所示,本发明的一种大数据多应用搜索服务方法,通过搜索应用服务模块在Solr服务器和不同的业务系统之间建立规范的服务接口和规范的数据格式,每个业务系统均调用搜索应用服务模块提供的规范的服务接口访问Solr服务器,每个业务系统推送的数据以及Solr服务器返回的数据均在搜索应用服务模块中按照规范的数据格式进行配置,完成每个业务系统的搜索服务和索引服务。
其中,搜索服务包括如下步骤:
(1)、业务系统发起搜索请求,并将搜索请求以及需要搜索的数据推送至搜索服务应用模块;
(2)、搜索应用服务模块提供规范的API接口,该API接口包括接收数据接口和输出数据接口,接收数据接口用于接收业务系统发送的需要搜索的数据,输出数据接口用于接收Solr服务器发送的数据,搜索应用服务模块接收需要搜索的数据并将需要搜索的数据转换为Solr服务器能够接收的格式后,搜索应用服务模块调用Solr服务器的API接口,将格式转换后的需要搜索的数据发送到Solr服务器;
(3)、Solr服务器内处理搜索请求,并将搜索结果返回至搜索应用服务模块的输出数据接口;
(4)、搜索应用服务模块将搜索结果以标准的数据格式返回至业务系统;
(5)、业务系统从搜索结果中获取与搜索请求匹配的数据,根据搜索结果进行业务信息的展示,并对搜索结果按权限规则进行过滤,对搜索结果按照权限进行过滤包括:搜索结果中的哪些数据不需要显示以及搜索结果中的哪些数据需要高亮显示。其中,业务系统可将搜索结果的权限规则作为搜索条件,在步骤(1)中,业务系统向搜索服务应用模块发送搜索请求以及需要搜索的数据时一并发起。
索引服务包括创建索引、更新索引和删除索引。
创建索引包括如下步骤:
(1)、业务系统增加与搜索相关的数据时,业务系统发起创建索引请求,并将创建索引请求和上述数据发送至搜索应用服务模块;
(2)、搜索应用服务模块提供索引接口,并将上述数据按照规范的格式进行配置,配置后的数据通过索引接口发送至Solr服务器;
(3)、Solr服务器处理创建索引请求,在Solr服务器内创建与上述数据相关的新的索引。
更新索引包括如下步骤:
(1)、业务系统修改与搜索相关的数据时,业务系统发起更新索引请求,并将更新索引请求和上述数据发送至搜索应用服务模块;
(2)、搜索应用服务模块提供索引接口,并将上述数据按照规范的格式进行配置,配置后的数据通过索引接口发送至Solr服务器;
(3)、Solr服务器处理更新索引请求,在Solr服务器内更新与上述数据相关的索引。
删除索引包括如下步骤:
(1)、业务系统删除与搜索相关的数据时,业务系统发起删除索引请求,并将删除索引请求和上述数据发送至搜索应用服务模块;
(2)、搜索应用服务模块提供索引接口,并将上述数据按照规范的格式进行配置,配置后的数据通过索引接口发送至Solr服务器;
(3)、Solr服务器处理删除索引请求,在Solr服务器内删除与上述数据相关的索引。
实施例2:
本发明的一种大数据多应用搜索服务系统,包括Solr服务器、搜索应用服务模块和多个业务系统,每个业务系统均通过搜索应用服务模块与Solr服务器连接; Solr服务用于存储与搜索相关的关键数据,并能够提供搜索服务以及索引服务;搜索应用服务模块能够提供规范的服务接口,并能够按照规范的数据格式对数据进行配置;业务系统能够发起服务请求以及对数据进行增加、修改或删除的处理,并能够对数据进行匹配分析、对数据按权限规则进行过滤以及对数据高亮显示。
其中,Solr服务器搜索应用服务模块以及业务系统中涉及的硬件、软件以及算法均为现有技术。
通过上面具体实施方式,所述技术领域的技术人员可容易的实现本发明。但是应当理解,本发明并不限于上述公开的具体实施方式。在公开的实施方式的基础上,所述技术领域的技术人员可任意组合不同的技术特征,从而实现不同的技术方案。
除说明书所述的技术特征外,均为本专业技术人员的已知技术。
Claims (7)
1.一种大数据多应用搜索服务方法,其特征在于通过搜索应用服务模块在Solr服务器和不同的业务系统之间建立规范的服务接口和规范的数据格式,每个业务系统均调用搜索应用服务模块提供的规范的服务接口访问Solr服务器,每个业务系统推送的数据以及Solr服务器返回的数据均在搜索应用服务模块中按照规范的数据格式进行配置,完成每个业务系统的搜索服务和索引服务。
2.根据权利要求1所述的一种大数据多应用搜索服务方法,其特征在于搜索服务包括如下步骤:
S1、业务系统发起搜索请求,并将搜索请求以及需要搜索的数据推送至搜索服务应用模块;
S2、搜索应用服务模块提供标准的API接口,并将需要搜索的数据按照规范的数据格式进行配置,配置后的需要搜索的数据通过API接口发送至Solr服务器;
S3、Solr服务器内处理搜索请求,并将搜索结果返回至搜索应用服务模块;
S4、搜索应用服务模块将搜索结果以标准的数据格式返回至业务系统;
S5、业务系统从搜索结果中获取与搜索请求匹配的数据,根据搜索结果进行业务信息的展示,并对搜索结果按权限规则进行过滤。
3.根据权利要求1所述的一种大数据多应用搜索服务方法,其特征在于索引服务包括创建索引、更新索引和删除索引。
4.根据权利要求3所述的一种大数据多应用搜索服务方法,其特征在于创建索引包括如下步骤:
L1、业务系统增加与搜索相关的数据时,业务系统发起创建索引请求,并将创建索引请求和上述数据发送至搜索应用服务模块;
L2、搜索应用服务模块提供索引接口,并将上述数据按照规范的格式进行配置,配置后的数据通过索引接口发送至Solr服务器;
L3、Solr服务器处理创建索引请求,在Solr服务器内创建与上述数据相关的新的索引。
5.根据权利要求3所述的一种大数据多应用搜索服务方法,其特征在于更新索引包括如下步骤:
M1、业务系统修改与搜索相关的数据时,业务系统发起更新索引请求,并将更新索引请求和上述数据发送至搜索应用服务模块;
M2、搜索应用服务模块提供索引接口,并将上述数据按照规范的格式进行配置,配置后的数据通过索引接口发送至Solr服务器;
M3、Solr服务器处理更新索引请求,在Solr服务器内更新与上述数据相关的索引。
6.根据权利要求3所述的一种大数据多应用搜索服务方法,其特征在于删除索引包括如下步骤:
N1、业务系统删除与搜索相关的数据时,业务系统发起删除索引请求,并将删除索引请求和上述数据发送至搜索应用服务模块;
N2、搜索应用服务模块提供索引接口,并将上述数据按照规范的格式进行配置,配置后的数据通过索引接口发送至Solr服务器;
N3、Solr服务器处理删除索引请求,在Solr服务器内删除与上述数据相关的索引。
7.一种大数据多应用搜索服务系统,其特征在于包括Solr服务器、搜索应用服务模块和多个业务系统,每个业务系统均通过搜索应用服务模块与Solr服务器连接;
Solr服务用于存储与搜索相关的关键数据,并能够提供搜索服务以及索引服务;
搜索应用服务模块能够提供规范的服务接口,并能够按照规范的数据格式对数据进行配置;
业务系统能够发起服务请求以及对数据进行增加、修改或删除的处理,并能够对数据进行匹配分析、对数据按权限规则进行过滤以及对数据高亮显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710257170.1A CN107066595A (zh) | 2017-04-19 | 2017-04-19 | 一种大数据多应用搜索服务方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710257170.1A CN107066595A (zh) | 2017-04-19 | 2017-04-19 | 一种大数据多应用搜索服务方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107066595A true CN107066595A (zh) | 2017-08-18 |
Family
ID=59600963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710257170.1A Pending CN107066595A (zh) | 2017-04-19 | 2017-04-19 | 一种大数据多应用搜索服务方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107066595A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111125176A (zh) * | 2019-12-20 | 2020-05-08 | 北京百度网讯科技有限公司 | 一种业务数据搜索方法、装置、电子设备和存储介质 |
CN111143646A (zh) * | 2018-11-06 | 2020-05-12 | 沈阳美行科技有限公司 | 一种多引擎搜索系统及其实现方法 |
CN112711578A (zh) * | 2020-12-30 | 2021-04-27 | 陈静 | 用于云计算业务的大数据去噪方法及云计算金融服务器 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103049466A (zh) * | 2012-05-14 | 2013-04-17 | 深圳市朗科科技股份有限公司 | 一种基于分布式密文存储的全文检索方法及系统 |
CN104239318A (zh) * | 2013-06-14 | 2014-12-24 | 上海众聘信息科技有限公司 | 一种电子招聘系统 |
CN104516982A (zh) * | 2015-01-06 | 2015-04-15 | 南通大学 | 一种基于Nutch的Web信息提取方法和系统 |
US20150120695A1 (en) * | 2013-10-31 | 2015-04-30 | Tata Consultancy Services Limited | Indexing of file in a hadoop cluster |
CN104811463A (zh) * | 2014-01-27 | 2015-07-29 | 上海盈灿投资管理咨询有限公司深圳分公司 | 一种云征信系统及其查询方法 |
CN104899268A (zh) * | 2015-05-25 | 2015-09-09 | 浪潮集团有限公司 | 一种分布式企业信息垂直搜索方法 |
-
2017
- 2017-04-19 CN CN201710257170.1A patent/CN107066595A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103049466A (zh) * | 2012-05-14 | 2013-04-17 | 深圳市朗科科技股份有限公司 | 一种基于分布式密文存储的全文检索方法及系统 |
CN104239318A (zh) * | 2013-06-14 | 2014-12-24 | 上海众聘信息科技有限公司 | 一种电子招聘系统 |
US20150120695A1 (en) * | 2013-10-31 | 2015-04-30 | Tata Consultancy Services Limited | Indexing of file in a hadoop cluster |
CN104811463A (zh) * | 2014-01-27 | 2015-07-29 | 上海盈灿投资管理咨询有限公司深圳分公司 | 一种云征信系统及其查询方法 |
CN104516982A (zh) * | 2015-01-06 | 2015-04-15 | 南通大学 | 一种基于Nutch的Web信息提取方法和系统 |
CN104899268A (zh) * | 2015-05-25 | 2015-09-09 | 浪潮集团有限公司 | 一种分布式企业信息垂直搜索方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111143646A (zh) * | 2018-11-06 | 2020-05-12 | 沈阳美行科技有限公司 | 一种多引擎搜索系统及其实现方法 |
CN111143646B (zh) * | 2018-11-06 | 2023-09-29 | 沈阳美行科技股份有限公司 | 一种多引擎搜索系统及其实现方法 |
CN111125176A (zh) * | 2019-12-20 | 2020-05-08 | 北京百度网讯科技有限公司 | 一种业务数据搜索方法、装置、电子设备和存储介质 |
CN111125176B (zh) * | 2019-12-20 | 2023-10-03 | 北京百度网讯科技有限公司 | 一种业务数据搜索方法、装置、电子设备和存储介质 |
CN112711578A (zh) * | 2020-12-30 | 2021-04-27 | 陈静 | 用于云计算业务的大数据去噪方法及云计算金融服务器 |
CN112711578B (zh) * | 2020-12-30 | 2021-09-21 | 深圳市全景网络有限公司 | 用于云计算业务的大数据去噪方法及云计算金融服务器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109299102B (zh) | 一种基于Elastcisearch的HBase二级索引系统及方法 | |
CN106227800B (zh) | 一种高度关联大数据的存储方法及管理系统 | |
EP2608074B1 (en) | Systems and methods for merging source records in accordance with survivorship rules | |
US10719559B2 (en) | System for identifying, associating, searching and presenting documents based on time sequentialization | |
US20160055220A1 (en) | Data driven relational algorithm formation for execution against big data | |
WO2019076062A1 (zh) | 功能页面定制方法及应用服务器 | |
WO2018036324A1 (zh) | 一种智慧城市信息共享的方法和装置 | |
AU2011247915B2 (en) | Enhancing an inquiry for a search of a database | |
CN111881223B (zh) | 数据管理方法、设备、系统及存储介质 | |
JP6542880B2 (ja) | データソースからデータターゲットにデータを転送するためのインポート手順の呼出しの単純化 | |
CN107506464A (zh) | 一种基于ES实现HBase二级索引的方法 | |
CN103064933A (zh) | 数据查询方法及系统 | |
CN103425726A (zh) | 使用业务智能工具访问开放数据 | |
EP1860603B1 (en) | Efficient calculation of sets of distinct results | |
CN101853274A (zh) | 一种实现异种数据库互联的方法 | |
US20130046798A1 (en) | Method and apparatus for visualization of infrastructure using a non-relational graph data store | |
CN107229718A (zh) | 处理报表数据的方法和装置 | |
CN101916288B (zh) | 一种移动通信用户搜索请求响应系统及其处理方法 | |
CN111160658B (zh) | 一种协同制造资源优配方法、系统和平台 | |
CN106471501A (zh) | 数据查询的方法、数据对象的存储方法和数据系统 | |
CN107066595A (zh) | 一种大数据多应用搜索服务方法及系统 | |
CN111797243A (zh) | 知识图谱数据系统构建方法、系统、终端及可读存储介质 | |
US20160179895A1 (en) | Database joins using uncertain criteria | |
CN112925954A (zh) | 用于在图数据库中查询数据的方法和装置 | |
US11914612B2 (en) | Selective synchronization of linked records |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170818 |