CN109145009A - 一种基于SQL检索ElasticSearch的方法 - Google Patents
一种基于SQL检索ElasticSearch的方法 Download PDFInfo
- Publication number
- CN109145009A CN109145009A CN201810944469.9A CN201810944469A CN109145009A CN 109145009 A CN109145009 A CN 109145009A CN 201810944469 A CN201810944469 A CN 201810944469A CN 109145009 A CN109145009 A CN 109145009A
- Authority
- CN
- China
- Prior art keywords
- elasticsearch
- sql
- retrieval
- restclient
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明涉及一种基于SQL检索ElasticSearch的方法，创建数据库连接池，对输入的SQL语言进行解析，建立与ElasticSearch的对应并将解析后的查询语言拼接为适用于ElasticSearch的查询语句，采用RestClient与数据库连接池建立数据库连接并向ElasticSearch发出检索请求，将返回结果转换为标准输出。本发明不存在因为ElasticSearch版本更新而造成的兼容性问题，RestClient利用应用层http调用传输层tcp，以短连接完成操作，降低系统开销，提高性能，数据库连接池可满足创建多个RestClient的连接需求，同时执行不同SQL，解决高并发问题。
Description
技术领域
本发明涉及保密或安全通信装置的技术领域，特别涉及一种基于SQL检索ElasticSearch的方法。
背景技术
ElasticSearch是一个开源的、基于Lucene的搜索服务器，其提供了一个分布式多用户能力的全文搜索引擎。在大数据行业里，ElasticSearch的分布式检索功能便于数据多维度呈现、分析、预测，有利于发挥数据的价值。在国内，多家大型公司，如海量、携程、新浪、百度等都使用ElasticSearch做检索分析。
现时，对于ElasticSearch的功能使用最多的是检索，作为当前流行的企业级搜索引擎，ElasticSearch能够解决人们对于搜索的众多要求，其通过HTTP使用JSON进行数据索引，不支持SQL。因此，在利用ElasticSearch查询方面，大多数人使用TransportClient，这一方面是由于ElasticSearch初次提交时就包含TransportClient，其使用TransportProtocol与ElasticSearch通信，检索效率比较高，另一方面是由于TransportClient的检索条件封装的很好，便于开发者使用。为了进一步方便开发人员对ElasticSearch进行检索，现时还出现了利用TransportClient来采用SQL检索ElasticSearch的操作。
然而，ElasticSearch到目前为止已发布34个版本，每个版本都加入了新的功能和特性，如果开发人员需要使用这些特性，则不仅需要升级ElasticSearch至新的版本，还需要升级应用程序的版本，这是由于TransportClient使用Transport Protocol与ElasticSearch通信，在传输层使用TCP长连接，内部采用RMI技术进行术语编组，而RMI依赖于Java远程消息交换协议JRMP（Java Remote Messaging Protocol），该协议为Java定制，要求服务端与客户端的代码都为java编写，RMI能够让在某个java虚拟机上的对象像调用本地对象一样调用另一个java 虚拟机中的对象上的方法。以上种种导致TransportClient与ElasticSearch实例的版本不一致时，极容易出现兼容性问题，给开发人员和应用程序升级带来负担。
进一步来说，由于TransportClient采用长连接方式，还会给系统增加开销。
发明内容
本发明解决的技术问题是，现有技术中，由于TransportClient使用TransportProtocol与ElasticSearch通信，当TransportClient与ElasticSearch实例的版本不一致时极容易出现兼容性问题，给开发人员和应用程序升级带来负担，且由于TransportClient采用长连接方式，还会给系统增加开销的问题，本发明提供了一种优化的基于SQL检索ElasticSearch的方法。
本发明所采用的技术方案是，一种基于SQL检索ElasticSearch的方法，所述方法包括以下步骤：
步骤1: 创建数据库连接池；
步骤2: 建立SQL语义；
步骤3：输入结构化查询语言SQL；
步骤4：解析查询语言SQL；
步骤5：根据SQL语义和ElasticSearch的Json语义间对应的规则库，将解析后的查询语言SQL拼接为适用于ElasticSearch的查询语句；
步骤6：针对适用于ElasticSearch的查询语句，在数据库连接池中创建RestClient对象与ElasticSearch集群的连接；利用HTTP协议向ElasticSearch集群发出检索请求；
步骤7：将ElasticSearch集群返回的结果，通过转换函数转换为标准输出。
优选地，所述步骤1中，以Druid创建数据库连接池。
优选地，所述步骤4包括以下步骤：
步骤4.1：以数据库连接池的SQL异常判断方法对当前查询语言SQL进行异常判断，如存在异常，返回导致异常的原因，返回步骤1；否则，进行下一步；
步骤4.2：获取查询语言SQL的操作类型；
步骤4.3：通过Druid提供的SQL解析方法类，对查询语言SQL的语句进行初步解析，确定是否存在子查询、多表联合查询及SQL的每个部分的内容。
优选地，所述步骤4.2中，以步骤3输入的查询语言SQL 的第一个单词得到操作类型；所述第一个单词为步骤3输入的查询语言SQL的字符串从0位开始到第一个空格的子字符串。
优选地，所述步骤5中，根据步骤4的解析结果创建对应的中间对象，以中间对象通过ElasticSearch原生的继承XContentBuilder的对象或Json字符串拼接的方式，得到ElasticSearch检索需要的Json字符串。
优选地，所述步骤6包括以下步骤：
步骤6.1：根据用户配置的ElasticSearch集群的节点的IP和端口，得到ElasticSearch集群的配置信息；
步骤6.2：根据ElasticSearch集群的配置信息，在数据库连接池中初始化RestClient对象；
步骤6.3：将RestClient数据库连接对象置入数据库连接池；
步骤6.4：利用RestClient提供的方法向ElasticSearch发出检索请求。
优选地，所述步骤6.1中，配置信息包括数据库IP、端口、数据库对象信息、连接超时时间。
优选地，所述步骤6.4中，所述方法为performRequest方法，输入的参数包括步骤5得到的适用于ElasticSearch的查询语句、检索方式和检索路径。
优选地，所述检索方式的取值为步骤4中的查询语言SQL的操作类型。
本发明提供了一种优化的基于SQL检索ElasticSearch的方法，通过创建数据库连接池，输入结构化查询语言SQL并解析，以SQL语义和ElasticSearch的Json语义间对应的规则库，将解析后的查询语言SQL拼接为适用于ElasticSearch的查询语句后，在数据库连接池中创建RestClient对象与ElasticSearch集群的连接；利用HTTP协议向ElasticSearch集群发出检索请求，将ElasticSearch集群返回的结果，通过转换函数转换为标准输出。本发明中，SQL作为关系式数据库管理系统的标准语言，是最重要的关系数据库操作语言，本发明的技术对于大部分企业的开发人员来说能更为简便的利用ElasticSearch完成查询功能。
本发明的有益效果在于：
1、本发明的技术不存在因为ElasticSearch的版本更新而造成的兼容性问题；
2、RestClient利用应用层http调用传输层tcp，以短连接的形式完成操作，大大降低系统开销，从而提高性能；
3、数据库连接池可以满足创建多个RestClient的连接的需求，可以同时执行不同的SQL，从而解决高并发问题。
具体实施方式
下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
本发明涉及一种基于SQL检索ElasticSearch的方法，所述方法包括以下步骤。
步骤1: 创建数据库连接池。
所述步骤1中，以Druid创建数据库连接池。
本发明中，Druid是一种开源高效可管理的数据库连接池组件，建立Druid数据库连接池是为了创建多个RestClient的连接，可以同时执行不同的SQL指令，从而解决高并发问题。
步骤2: 建立SQL语义。
步骤3：输入结构化查询语言SQL。
本发明中，结构化查询语言SQL的结构为本领域技术人员公知技术，如，“selectfirstname,age from index where age>=32”。
步骤4：解析查询语言SQL。
所述步骤4包括以下步骤：
步骤4.1：以数据库连接池的SQL异常判断方法对当前查询语言SQL进行异常判断，如存在异常，返回导致异常的原因，返回步骤1；否则，进行下一步；
步骤4.2：获取查询语言SQL的操作类型；
所述步骤4.2中，以步骤3输入的查询语言SQL 的第一个单词得到操作类型；所述第一个单词为步骤3输入的查询语言SQL的字符串从0位开始到第一个空格的子字符串。
步骤4.3：通过Druid提供的SQL解析方法类，对查询语言SQL的语句进行初步解析，确定是否存在子查询、多表联合查询及SQL的每个部分的内容。
本发明中，以数据库连接池的SQL异常判断方法对当前查询语言SQL进行异常判断是指以Druid所提供SQL异常判断方法对输入的SQL进行判断。
本发明中，以步骤3输入的查询语言SQL 的第一个单词得到操作类型。通过Java语言中的String对象的substring方法取步骤3输入的查询语言SQL字符串从0位开始到第一个空格的子字符串，该子字符串即SQL的第一个单词，如在“select firstname,age fromindex where age>=32”中，操作类型为“select”。
本发明中，根据步骤4 通过Durid包提供的SQL解析方法类上对SQL语句进行初步解析，确定是否有子查询、多表联合查询、SQL语句的每个部分的内容，如from、where、limit等。
步骤5：根据SQL语义和ElasticSearch的Json语义间对应的规则库，将解析后的查询语言SQL拼接为适用于ElasticSearch的查询语句。
所述步骤5中，根据步骤4的解析结果创建对应的中间对象，以中间对象通过ElasticSearch原生的继承XContentBuilder的对象或Json字符串拼接的方式，得到ElasticSearch检索需要的Json字符串。
本发明中，举例来说，将SQL中的SELECT转化为POST，而SQL中的DELETE在Json语义中亦为DELETE。
本发明中，根据SQL语句初步解析的结果创建对应的中间对象，根据Durid包解析的MySqlSelectQueryBlock对象获取from的内容，用“，“分割后得到的表名数组赋值给Select对象的List<From>对象，如select对象。
本发明中，由中间对象通过ElasticSearch原生的继承XContentBuilder的对象或Json字符串拼接的方式，完成ElasticSearch检索需要的Json字符串；需要特别提出的是，XContentBuilder 在ElasticSearch RestClient的jar中也有，未继承XContentBuilder的对象需要用到Transport Client的包，此处需避免使用。
步骤6：针对适用于ElasticSearch的查询语句，在数据库连接池中创建RestClient对象与ElasticSearch集群的连接；利用HTTP协议向ElasticSearch集群发出检索请求。
所述步骤6包括以下步骤。
步骤6.1：根据用户配置的ElasticSearch集群的节点的IP和端口，得到ElasticSearch集群的配置信息。
所述步骤6.1中，配置信息包括数据库IP、端口、数据库对象信息、连接超时时间。
步骤6.2：根据ElasticSearch集群的配置信息，在数据库连接池中初始化RestClient对象。
本发明中，RestClient是一种开源组件，其采用基于众所周知的Apache HTTP客户端，并允许在使用HTTP的任何版本中与ElasticSearch集群进行通信，解决了前述TransportClient与ElasticSearch实例的版本不一致时会有兼容性问题。
本发明中，RestClient利用应用层http调用传输层tcp，用完就关掉，是短连接，大大降低系统开销，从而提高性能。
本发明中，步骤6.1中，ElasticSearch集群的配置信息还可以根据用户配置的集群名称，类似数据库名得到。
本发明中，步骤6.2中，举例来说，根据HttpHost对象设置http请求，IP为ElasticSearch集群某个节点的IP，端口为集群RestClient的端口，默认为9200。
步骤6.3：将RestClient数据库连接对象置入数据库连接池。
步骤6.4：利用RestClient提供的方法向ElasticSearch发出检索请求。
所述步骤6.4中，所述方法为performRequest方法，输入的参数包括步骤5得到的适用于ElasticSearch的查询语句、检索方式和检索路径。
所述检索方式的取值为步骤4中的查询语言SQL的操作类型。
本发明中，步骤6.4的检索路径一般为“检索表对象名称”+“/_search”。
步骤7：将ElasticSearch集群返回的结果，通过转换函数转换为标准输出。
本发明中，转换函数是根据需求自主开发的函数，本领域技术人员可以依据需求自行设置。
本发明通过创建数据库连接池，输入结构化查询语言SQL并解析，以SQL语义和ElasticSearch的Json语义间对应的规则库，将解析后的查询语言SQL拼接为适用于ElasticSearch的查询语句后，在数据库连接池中创建RestClient对象与ElasticSearch集群的连接；利用HTTP协议向ElasticSearch集群发出检索请求，将ElasticSearch集群返回的结果，通过转换函数转换为标准输出。本发明中，SQL作为关系式数据库管理系统的标准语言，是最重要的关系数据库操作语言，本发明的技术对于大部分企业的开发人员来说能更为简便的利用ElasticSearch完成查询功能。
本发明的技术不存在因为ElasticSearch的版本更新而造成的兼容性问题，RestClient利用应用层http调用传输层tcp，以短连接的形式完成操作，大大降低系统开销，从而提高性能，数据库连接池可以满足创建多个RestClient的连接的需求，可以同时执行不同的SQL，从而解决高并发问题。
Claims (9)
1.一种基于SQL检索ElasticSearch的方法，所述方法包括以下步骤：
步骤1: 创建数据库连接池；
步骤2: 建立SQL语义；
步骤3：输入结构化查询语言SQL；
步骤4：解析查询语言SQL；
步骤5：根据SQL语义和ElasticSearch的Json语义间对应的规则库，将解析后的查询语言SQL拼接为适用于ElasticSearch的查询语句；
步骤6：针对适用于ElasticSearch的查询语句，在数据库连接池中创建RestClient对象与ElasticSearch集群的连接；利用HTTP协议向ElasticSearch集群发出检索请求；
步骤7：将ElasticSearch集群返回的结果，通过转换函数转换为标准输出。
2.根据权利要求1所述的一种基于SQL检索ElasticSearch的方法，其特征在于：所述步骤1中，以Druid创建数据库连接池。
3.根据权利要求2所述的一种基于SQL检索ElasticSearch的方法，其特征在于：所述步骤4包括以下步骤：
步骤4.1：以数据库连接池的SQL异常判断方法对当前查询语言SQL进行异常判断，如存在异常，返回导致异常的原因，返回步骤1；否则，进行下一步；
步骤4.2：获取查询语言SQL的操作类型；
步骤4.3：通过Druid提供的SQL解析方法类，对查询语言SQL的语句进行初步解析，确定是否存在子查询、多表联合查询及SQL的每个部分的内容。
4.根据权利要求3所述的一种基于SQL检索ElasticSearch的方法，其特征在于：所述步骤4.2中，以步骤3输入的查询语言SQL 的第一个单词得到操作类型；所述第一个单词为步骤3输入的查询语言SQL的字符串从0位开始到第一个空格的子字符串。
5.根据权利要求1所述的一种基于SQL检索ElasticSearch的方法，其特征在于：所述步骤5中，根据步骤4的解析结果创建对应的中间对象，以中间对象通过ElasticSearch原生的继承XContentBuilder的对象或Json字符串拼接的方式，得到ElasticSearch检索需要的Json字符串。
6.根据权利要求5所述的一种基于SQL检索ElasticSearch的方法，其特征在于：所述步骤6包括以下步骤：
步骤6.1：根据用户配置的ElasticSearch集群的节点的IP和端口，得到ElasticSearch集群的配置信息；
步骤6.2：根据ElasticSearch集群的配置信息，在数据库连接池中初始化RestClient对象；
步骤6.3：将RestClient数据库连接对象置入数据库连接池；
步骤6.4：利用RestClient提供的方法向ElasticSearch发出检索请求。
7.根据权利要求6所述的一种基于SQL检索ElasticSearch的方法，其特征在于：所述步骤6.1中，配置信息包括数据库IP、端口、数据库对象信息、连接超时时间。
8.根据权利要求6所述的一种基于SQL检索ElasticSearch的方法，其特征在于：所述步骤6.4中，所述方法为performRequest方法，输入的参数包括步骤5得到的适用于ElasticSearch的查询语句、检索方式和检索路径。
9.根据权利要求8所述的一种基于SQL检索ElasticSearch的方法，其特征在于：所述检索方式的取值为步骤4中的查询语言SQL的操作类型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810944469.9A CN109145009B (zh) | 2018-08-19 | 2018-08-19 | 一种基于SQL检索ElasticSearch的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810944469.9A CN109145009B (zh) | 2018-08-19 | 2018-08-19 | 一种基于SQL检索ElasticSearch的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109145009A true CN109145009A (zh) | 2019-01-04 |
| CN109145009B CN109145009B (zh) | 2020-10-27 |
Family
ID=64790101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810944469.9A Active CN109145009B (zh) | 2018-08-19 | 2018-08-19 | 一种基于SQL检索ElasticSearch的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109145009B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110020006A (zh) * | 2017-07-27 | 2019-07-16 | 北京国双科技有限公司 | 查询语句的生成方法及相关设备 |
| CN110716954A (zh) * | 2019-10-15 | 2020-01-21 | 北京搜狐新媒体信息技术有限公司 | 一种Elasticsearch数据查询方法及系统 |
| CN111046060A (zh) * | 2019-12-11 | 2020-04-21 | 杭州安恒信息技术股份有限公司 | 一种基于Elasticsearch的数据检索方法、装置、设备、介质 |
| WO2022052639A1 (zh) * | 2020-09-10 | 2022-03-17 | 北京达佳互联信息技术有限公司 | 数据查询方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106649630A (zh) * | 2016-12-07 | 2017-05-10 | 乐视控股（北京）有限公司 | 数据查询方法及装置 |
| CN106934062A (zh) * | 2017-03-28 | 2017-07-07 | 广东工业大学 | 一种查询elasticsearch的实现方法及系统 |
| CN107133267A (zh) * | 2017-04-01 | 2017-09-05 | 北京京东尚科信息技术有限公司 | 查询elasticsearch集群的方法、装置、电子设备和可读存储介质 |
| CN107153535A (zh) * | 2017-03-27 | 2017-09-12 | 武汉斗鱼网络科技有限公司 | 一种操作ElasticSearch的方法及装置 |
| CN108388470A (zh) * | 2018-01-26 | 2018-08-10 | 福建星瑞格软件有限公司 | 一种大数据任务处理方法及计算机设备 |
-
2018
- 2018-08-19 CN CN201810944469.9A patent/CN109145009B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106649630A (zh) * | 2016-12-07 | 2017-05-10 | 乐视控股（北京）有限公司 | 数据查询方法及装置 |
| CN107153535A (zh) * | 2017-03-27 | 2017-09-12 | 武汉斗鱼网络科技有限公司 | 一种操作ElasticSearch的方法及装置 |
| CN106934062A (zh) * | 2017-03-28 | 2017-07-07 | 广东工业大学 | 一种查询elasticsearch的实现方法及系统 |
| CN107133267A (zh) * | 2017-04-01 | 2017-09-05 | 北京京东尚科信息技术有限公司 | 查询elasticsearch集群的方法、装置、电子设备和可读存储介质 |
| CN108388470A (zh) * | 2018-01-26 | 2018-08-10 | 福建星瑞格软件有限公司 | 一种大数据任务处理方法及计算机设备 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110020006A (zh) * | 2017-07-27 | 2019-07-16 | 北京国双科技有限公司 | 查询语句的生成方法及相关设备 |
| CN110020006B (zh) * | 2017-07-27 | 2021-04-27 | 北京国双科技有限公司 | 查询语句的生成方法及相关设备 |
| CN110716954A (zh) * | 2019-10-15 | 2020-01-21 | 北京搜狐新媒体信息技术有限公司 | 一种Elasticsearch数据查询方法及系统 |
| CN111046060A (zh) * | 2019-12-11 | 2020-04-21 | 杭州安恒信息技术股份有限公司 | 一种基于Elasticsearch的数据检索方法、装置、设备、介质 |
| CN111046060B (zh) * | 2019-12-11 | 2023-04-25 | 杭州安恒信息技术股份有限公司 | 一种基于Elasticsearch的数据检索方法、装置、设备、介质 |
| WO2022052639A1 (zh) * | 2020-09-10 | 2022-03-17 | 北京达佳互联信息技术有限公司 | 数据查询方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109145009B (zh) | 2020-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11681944B2 (en) | System and method to generate a labeled dataset for training an entity detection system | |
| EP3066585B1 (en) | Generic indexing for efficiently supporting ad-hoc query over hierarchically marked-up data | |
| US11941034B2 (en) | Conversational database analysis | |
| US11544239B2 (en) | Low-latency database analysis using external data sources | |
| CN109145009A (zh) | 一种基于SQL检索ElasticSearch的方法 | |
| US8862458B2 (en) | Natural language interface | |
| US9141678B2 (en) | Distributed query cache in a database system | |
| CN106934062A (zh) | 一种查询elasticsearch的实现方法及系统 | |
| US11216474B2 (en) | Statistical processing of natural language queries of data sets | |
| US20070208738A1 (en) | Techniques for providing suggestions for creating a search query | |
| CN110688397B (zh) | 一种基于sql的分布式数据统一访问系统及方法 | |
| WO2021120707A1 (zh) | 智能问答方法、装置、计算机设备和计算机可读介质 | |
| CN110019314B (zh) | 基于数据项分析的动态数据封装方法、客户端和服务端 | |
| CN107480252A (zh) | 一种数据查询方法、客户端、服务端及系统 | |
| JP7105982B2 (ja) | 構造化レコード取得 | |
| US11429607B2 (en) | Machine language query management for low-latency database analysis system | |
| US20230090050A1 (en) | Search architecture for hierarchical data using metadata defined relationships | |
| US20240119054A1 (en) | Phrase Translation for a Low-Latency Database Analysis System | |
| US20230252022A1 (en) | Secure And Efficient Database Command Execution Support | |
| CN115329753B (zh) | 一种基于自然语言处理的智能数据分析方法和系统 | |
| US11803543B2 (en) | Lossless switching between search grammars | |
| US11768846B2 (en) | Search guidance | |
| Guo | Design and Implementation of Travel Website Based on Java Web | |
| CN112988778A (zh) | 一种处理数据库查询脚本的方法和装置 | |
| US20240061723A1 (en) | Identifying Cluster Idleness For Cluster Shutdown |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |