CN107329987A - 一种基于mongo数据库的搜索系统 - Google Patents

一种基于mongo数据库的搜索系统 Download PDF

Info

Publication number
CN107329987A
CN107329987A CN201710408158.6A CN201710408158A CN107329987A CN 107329987 A CN107329987 A CN 107329987A CN 201710408158 A CN201710408158 A CN 201710408158A CN 107329987 A CN107329987 A CN 107329987A
Authority
CN
China
Prior art keywords
elasticsearch
mongo
databases
search system
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710408158.6A
Other languages
English (en)
Inventor
马震远
李俊
林智勇
方浩生
刘少鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
QICHEN GUANGZHOU ELECTRONIC TECHNOLOGY Co Ltd
Original Assignee
QICHEN GUANGZHOU ELECTRONIC TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by QICHEN GUANGZHOU ELECTRONIC TECHNOLOGY Co Ltd filed Critical QICHEN GUANGZHOU ELECTRONIC TECHNOLOGY Co Ltd
Priority to CN201710408158.6A priority Critical patent/CN107329987A/zh
Publication of CN107329987A publication Critical patent/CN107329987A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/243—Natural language query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于mongo数据库的搜索系统，包括elasticsearch集群、mongo数据库、桥接器；所述mongo数据库用于存储elasticsearch集群索引请求、查询请求的数据源并根据规则将数据返回给elasticsearch集群；所述elasticsearch集群用于接收和处理用户的搜索和/或查询请求，通过访问mongo数据库将搜索和/或查询的结果返回给用户；所述桥接器分别与mongo副本集、elasticsearch集群连接，用于实时将mongo数据库的操作转为elasticsearch操作，并更新到elasticsearch集群中。本发明提供的搜索系统实现elasticsearch和mongo数据库的融合，实现关键字和简单的分析，以及文档搜索，部署快速简单，使用方便。

Description

一种基于mongo数据库的搜索系统
技术领域
本发明属于计算机领域，涉及一种搜索系统，特别涉及一种基于mongo数据库的搜索系统。
背景技术
Elasticsearch是建立在Lucene之上并且支持极其快速的查询和丰富的查询语法。作为全文搜索引擎，分析和可视化的特性使它的运用越来越广泛。不仅适用于数百万的文档的关键词进行定位，也可以作为一种轻量级的“NoSQL数据库”处理JSON文档。但是Elasticsearch不是一个合适的数据库引擎，对复杂的查询和聚合并不是很强，尽管统计facet可以提供一定的关于给定查询的统计信息的支持。Elasticsearch中的facet主要是用来支持分面的浏览功能。对于一些更加复杂的计算或数据库操作，例如对数据执行服务端的脚本，轻松地运行MapReduce job，那么MongoDB或者Hadoop就成为替代Elasticsearch成为必要。
MongoDB是一种高可扩展性的NoSQL数据库，并且有自动分片或一些性能优化的功能。MongoDB也是一种面向文档的数据库，以JSON的形式进行数据的存储(准确地说可以称为BSON，对JSON进行了一些增强)：例如，一个native数据类型。此外，MongoDB还提供了一个文本索引类型来支持全文检索，所以我们可以看到在Elasticsearch和MongoDB之间的界限和不同的应用场景。
进一步地，MongoDB超过Elasticsearch的地方在于其对于服务器端js脚本的支持、聚合的管道、MapReduce的支持和capped collections。通过使用聚合管道来处理一个集合中的文档，通过一个管道操作的序列来多步地对文档进行处理。管道操作可以生成全新的文档并且从最终的结果中移除文档。这是一个在检索数据时的相当强的过滤、处理和转化数据的特点。MongoDB也支持对一个数据collection进行map/reduce job的执行，使用定制的js函数进行操作的map和reduce过程。这就保证了MongoDB可以对选定的数据执行任意类型的计算或者转换的终极的灵活性。
MongoDB另一个极其强大的特性称之为“Capped collections”。使用这个特性，用户可以定义一个collection的最大size——然后这个collection可以被盲写，并且会roll-over必须的数据来获取log和其他供分析的流数据。
综上，Elasticsearch可以完成关键字和简单的分析；而MongoDB更加适合文档查询，和更加复杂的分析处理；Hadoop虽然提供了最为广泛的工具和灵活性来，但部署复杂、硬件要求高，对于轻量级(PB)的情况下无疑造成了资源的浪费。
发明内容
为解决Elasticsearch不能满足复杂的分析，和MongoDB不适用于关键字和简单的分析，本发明提供了一种基于mongo数据库的搜索系统，融合了两者的优点，解决了关键字和简单的分析、复杂的后台数据分析的问题。
为实现上述目的，本发明提供了一种基于mongo数据库的搜索系统，包括elasticsearch集群、mongo数据库、桥接器；
所述mongo数据库用于存储elasticsearch集群索引请求、查询请求的数据源并根据规则将数据返回给elasticsearch集群；
所述elasticsearch集群用于接收和处理用户的搜索和/或查询请求，通过访问mongo数据库将搜索和/或查询的结果返回给用户；
所述桥接器分别与mongo副本集、elasticsearch集群连接，用于实时将mongo数据库的操作转为elasticsearch操作，并将操作下的数据文档更新到elasticsearch集群中。
在本发明的一个实施例中，所述mongo数据库为副本集集群。
在本发明的一个实施例中，所述elasticsearch集群包括索引模块、查询模块、映射模块，所述索引模块包括mapping、setting，所述setting控制索引行为，包括自定义过滤器，同义词，停用词以及对应索引的集群配置；所述mapping定义域的关系、存储类型；
所述查询模块利用elasticsearch提供RESTful风格接口对elasticsearch进行操作。
进一步地，所述索引模块采用动态模板对非关键字字段生成索引映射，对关键字段逐个定义映射关系。
进一步地，所述索引模块在导入数据之前使用bulk批量索引，通过设置每次bulk的大小和请求数量,将分片的副本数调整为0。
在本发明的一个实施例中，所述桥接器包括mongo-connector和elastic2-doc-manager，所述mongo-connector将mongo数据库的操作实时转换为elasticsearch操作，然后发送给elastic2-doc-manager去执行，将数据更新到所述elasticsearch集群中。
进一步地,所述mongo-connector在mongo数据库开启副本集模式之后，会在主节点中加入一个oplog文件，所述oplog文件记录了mongo数据库开启副本集模式之后的对数据的所有操作及所有操作的时间戳。
进一步地,所述elastic2-doc-manager将elasticsearch操作的请求结构体加入mongo数据库中缺乏的以键值对形指明的关系依赖。
更进一步地，所述elastic2-doc-manager根据不同的elasticsearch关系修改请求体函数。
更进一步地，所述请求体函数为Upsert函数。
本发明还提供了实现上述系统的方法，具体步骤如下：
S1：搭建mongo副本集，包括相关的服务开启和权限设置；
S2：搭建Elasticsearch集群，包括节点角色确定、节点发现方式、索引分片数目确定；
S3：分析数据库结构，确定有检索需求的文档；
S4：设计Elasticsearch索引结构，包括文档关系、分词方式、字段存储方式和类型、索引setting的设计；
S5：从mongo数据库首次导入数据到Elasticsearch，包括JAVA编写、spring管理bean,spring增量更新；
S6：编写前段交互业务及接口，包括JAVA编写、spring管理bean,spring控制接口。
本发明的有益效果是：
1.实现elasticsearch和mongo数据库的融合，实现关键字和简单的分析，以及文档搜索，部署快速简单，使用方便。
2.利用时间戳的监视，实现elasticsearch的增量索引，减小了服务器的带宽负担，保证了数据的完整性。
3.针对elasticsearch请求体的函数可根据实际系统的需求而进行调整，提高了系统的灵活性。
附图说明
图1是本发明的基本原理图；
图2是本发明的桥接器的结构示意图；
图3是本发明的elasticsearch框架原理图；
图4是本发明的mongo数据库副本集原理图；
图5是本发明的oplog文件结构示意图；
图6是本发明的桥接器工作流程示意图；
图7是本发明的Elasticsearch的upsert方法的请求结构体示意图；
图8是本发明的桥接器未修改结果返回示意图；
图9是本发明的桥接器修改后的结果返回示意图；
图10是本发明的成功开启桥接器的Elasticsearch集群效果图；
图11是本发明的开启增量索引的查询结果示意图；
图12是本发明的Elasticsearch的bulk批量操作的设置示意图；
图13是本发明的搜索系统的实现流程图。
具体实施方式
为了更好的理解本发明所提出的技术方案，下面结合附图和具体的实施例对本发明作进一步阐述。
如图1至图4所示，本发明提供了一种基于mongo数据库的搜索系统，包括elasticsearch集群、mongo数据库、桥接器；所述mongo数据库用于存储elasticsearch集群索引请求、查询请求的数据源并根据规则将数据返回给elasticsearch集群；
所述elasticsearch集群用于接收和处理用户的搜索和/或查询请求，通过访问mongo数据库将搜索和/或查询的结果返回给用户；
所述桥接器分别与mongo副本集、elasticsearch集群连接，用于实时将mongo数据库的操作转为elasticsearch操作，并更新到elasticsearch中。
在本发明的一个实施例中，使用mongo官方原生api从远程mongo数据库读取有搜索需求的所有文档，利用Elasticsearch官方java api在elasticsearch集群中对所有文档建立索引，前端接口使用springMVC的controller结合javascript实现，elasticsearch、springMVC、mongo操作使用spring自动管理beans实现。
为实现elasticsearch增量索引，在本发明的一个实施例中，所述mongo数据库为副本集集群。其中primary为主节点，负责与外部的交互读写；secondary为从节点，负责外部的读，但是不负责写，分担主节点压力；arbiter则为仲裁结点，不用存储数据，负责在主节点出现故障时从余下正常从节点中选举新的主节点，确保副本集(复制集)正常运行。
在本发明的一个实施例中，所述elasticsearch集群包括索引模块、查询模块、映射模块，所述索引模块包括mapping、setting，所述setting控制索引行为，包括自定义过滤器，同义词，停用词以及对应索引的集群配置；所述mapping定义域的关系、存储类型；
所述查询模块利用elasticsearch提供RESTful风格接口对elasticsearch进行操作。Setting使用自定义分词器，使用中文分词器ik来作为主要分词器。
在本发明的一个实施例中，对elasticsearch的索引模块进行改进：
A)为防止索引过大占用磁盘过多，禁掉_all字段(索引的各个field字符串拼成的字段)，因为该字段造成数据冗余，但由此需要在查询时指定查询fields(在ES5。x_all字段被移除，查询会根据字段类型查找相应fields)。
B)为应对数据库结构变化，索引的mapping使用dynamic_template(动态模板)设计，结合ES动态mapping特性可以应对数据库加入某些待检索但结构简单的字段引起的所有结构变化。
C)索引使用别名，通过更改别名使用的所有结构来做到在运行过程中平滑的改变索引结构。对于评论这种可能分析数据需要检索但是不要求展示的字段，可以在索引下的_source字段中排除，使用store设置为yes来单独存储。
D)从数据库索引大量文档前关闭索引的刷新或增大刷新时间，另外使用bulk批量索引，合理设置每次bulk的大小和请求数量，分片的副本数调整为0，待数据导入完成，再调回之前配置，可以加快文档导入速度。具体的设置参考图12。
在本发明的一个实施例中，elasticsearch集群配置为：1)cluster中的node角色明确分开，masternode不存放数据，只负责维护集群状态，而datanode则只负责读数据，clientnode负责写数据，可以做到负载均衡。2)使用unicast方式发现新加入集群的节点，不使用multicast，保证安全性和高效性。
在本发明的一个实施例中，查询模块的改进：
A)为了保证查询准确性，操作中需要对各个字段设置boost值，为保证业务灵活性，不选择在索引时设置boost，在查询时设置能保证应对不同需求。
B)查询不使用绝对匹配的原则，比如must选项，term匹配等等尽量少使用，而采用模糊匹配，结合should，should_not等选项。
进一步地，所述索引模块采用动态模板对非关键字字段生成索引映射，对关键字段逐个定义映射关系。例如教学视频搜索中的课程、课时、视频为关键字段，课程信息、课程分类等属于非关键字段。
在本发明的一个实施例中，所述桥接器包括mongo-connector和elastic2-doc-manager，所述mongo-connector将mongo数据库的操作实时转换为elasticsearch操作，然后发送给elastic2-doc-manager去执行，将数据更新到所述elasticsearch集群中。其中mongo-connector和elastic2-doc-manager是使用python编写的第三方插件。
如图5所示,所述mongo-connector在mongo数据库开启副本集模式之后，会在主节点中加入一个oplog文件，所述oplog文件记录了mongo数据库开启副本集模式之后的对数据的所有操作及所有操作的时间戳。其中：
op，包括如下选项："i"：insert(插入)；"u"：update(上传)；"d"：delete(删除)；"c"：db cmd(命令行)；
ts：代表8字节的时间戳，由4字节unix timestamp+4字节自增计数表示。
o：操作所对应的document,即当前操作的内容(比如更新操作时要更新的的字段和值)
如图6至图7所示，在本发明的一个实施例中，所述elastic2-doc-manager将elasticsearch操作的请求结构体加入mongo数据库中缺乏的以键值对形式指明的关系依赖。
进一步地，如图7所示所述elastic2-doc-manager根据不同的elasticsearch(以下简称ES)关系修改请求体函数。具体的做法为：mongo-connector插件可以通过时间戳拿到对应操作，然后转换为ES的操作。而ES的请求结构体是JSON格式，ES中许多关系需要在导入数据时，在该结构体中以键值对形式指明的关系依赖，比如parent-child关系，需要在请求体中加入_parent：xxxx的键值对，否则该请求不能执行。然而mongo-connector在转换操作过程中并没有对这些关系的处理过程。
更进一步地，所述请求体函数为Upsert函数。
如图7所示，ES(elasticsearch)的请求结构体初始状态。针对不同的ES关系编写修改该请求体的函数，在该函数中调用，编写为使用参数形式在启动该插件时指定关系依赖情况，比如当前mongo-connector启动时命令通常为：
mongo-connecto-m localhost:27017-t localhost:9200-d elastic2_doc_manager；
-m：mongo数据库地址；
-t：ES地址；
-d：指定由elastic2_doc_manager来运行转换后的请求；
然后可以加入其他参数描述ES关系的，比如-p：indexName。typeName parent-child关系参照某个index下某个type；
-r:indexName。typeName。fieldName routing值参照某个具体域的值；
然后在Upsert函数中根据此设置加入对应键值对。在发明的一个实施例中，upsert函数中加入的部分代码示例如下:
代码中course_,lesson,video是以课程搜索举例，可根据系统涉及不同的业务关系进行调整，例如将course、lesson替换为对应于购物网站的某个商品分类product\clothes，video修改为产品的信息size。
如图8所示，在有parent-child关系和routing值时，修改前的请求体函数在执行Elasticsearch操作时，返回的结果表明routing不能为空，即请求体中必须要有_routing:xxxx键值对。
如图9所示，修改后的请求体函数均正常返回index、type、id、version等键值。
如图10至12所示，开启成功增量索引后的Elasticsearch集群查询效果图，查询5个分片，4个命中，耗时0.047秒。
由此可知改进mongo-connector后，可增大ES导入数据时的灵活性，避免了实时导入时放弃Elasticsearch的关系，一定程度上加快系统的部署进度，同时也保证了数据完整性。
如图13所示，本发明还提供上述系统的实施方法，搭建mongo副本集，包括相关的服务开启和权限设置；
搭建Elasticsearch集群，包括节点角色确定、节点发现方式、索引分片数目确定；
分析数据库结构，确定有检索需求的文档；
设计Elasticsearch索引结构，包括文档关系、分词方式、字段存储方式和类型、索引setting的设计；
从mongo数据库首次导入数据到Elasticsearch，包括JAVA编写、spring管理bean,spring处理请求；另外基于Java针对简单业务可直接使用ES原生API+springBoot轻量级框架，处理数据传输、请求处理可另外结合struts2。
编写前段交互业务及接口，包括JAVA编写、spring管理bean,springMVC控制接口。
根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式的相关模块和软件架构做适应性变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。

Claims (10)

1.一种基于mongo数据库的搜索系统，其特征在于,包括elasticsearch集群、mongo数据库、桥接器；
所述mongo数据库用于存储elasticsearch集群索引请求、查询请求的数据源并根据规则将数据返回给elasticsearch集群；
所述elasticsearch集群用于接收和处理用户的搜索和/或查询请求，通过访问mongo数据库将搜索和/或查询的结果返回给用户；
所述桥接器分别与mongo副本集、elasticsearch集群连接，用于实时将mongo数据库的操作转为elasticsearch操作，并将操作下的数据文档更新到elasticsearch集群中。
2.根据权利要求1所述的搜索系统，其特征在于,优选的，所述mongo数据库包括副本集集群。
3.根据权利要求1所述的搜索系统，其特征在于,所述elasticsearch集群包括索引模块、查询模块、映射模块，所述索引模块包括mapping、setting，所述setting控制索引行为，包括自定义过滤器、同义词、停用词以及对应索引的集群配置；所述mapping定义域的关系、存储类型；
所述查询模块利用elasticsearch提供RESTful风格接口对elasticsearch进行操作。
4.根据权利要求3所述的搜索系统，其特征在于,所述索引模块采用动态模板对非关键字字段生成索引映射，对关键字段逐个定义映射关系。
5.根据权利要求3所述的搜索系统，其特征在于,所述索引模块在导入数据之前使用bulk批量索引，通过设置每次bulk的大小和请求数量,将分片的副本数调整为0。
6.根据权利要求1所述的搜索系统，其特征在于,所述桥接器包括mongo-connector和elastic2-doc-manager，所述mongo-connector将mongo数据库的操作实时转换为elasticsearch操作，然后发送给elastic2-doc-manager去执行，将数据更新到所述elasticsearch集群中。
7.根据权利要求6所述的搜索系统，其特征在于,所述mongo-connector在mongo数据库开启副本集模式之后，会在主节点中添加一个oplog文件，所述oplog文件记录有mongo数据库开启副本集模式之后的对数据的所有操作及所有操作的时间戳。
8.根据权利要求6所述的搜索系统，其特征在于,所述elastic2-doc-manager将elasticsearch操作的请求结构体加入mongo数据库中缺乏的以键值对形式指明的关系依赖。
9.根据权利要求7所述的基于mongo数据库的搜索系统，其特征在于，所述elastic2-doc-manager根据不同的elasticsearch关系修改请求体函数。
10.根据权利要求9所述的基于mongo数据库的搜索系统，其特征在于，所述请求体函数为Upsert函数。
CN201710408158.6A 2017-06-02 2017-06-02 一种基于mongo数据库的搜索系统 Pending CN107329987A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710408158.6A CN107329987A (zh) 2017-06-02 2017-06-02 一种基于mongo数据库的搜索系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710408158.6A CN107329987A (zh) 2017-06-02 2017-06-02 一种基于mongo数据库的搜索系统

Publications (1)

Publication Number Publication Date
CN107329987A true CN107329987A (zh) 2017-11-07

Family

ID=60193863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710408158.6A Pending CN107329987A (zh) 2017-06-02 2017-06-02 一种基于mongo数据库的搜索系统

Country Status (1)

Country Link
CN (1) CN107329987A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520052A (zh) * 2018-04-04 2018-09-11 武汉斗鱼网络科技有限公司 慢查询信息检索方法、装置、服务器及可读存储介质
CN108897804A (zh) * 2018-06-15 2018-11-27 东北大学秦皇岛分校 一种互联网空间数据的搜索系统及方法
CN109063077A (zh) * 2018-07-24 2018-12-21 新华三大数据技术有限公司 一种基于弹性搜索的数据访问方法及装置
CN109376121A (zh) * 2018-08-10 2019-02-22 南京华讯方舟通信设备有限公司 一种基于ElasticSearch全文检索的文件索引系统及方法
CN109840266A (zh) * 2019-01-25 2019-06-04 网联清算有限公司 存储系统搭建方法及装置
CN110110234A (zh) * 2019-05-13 2019-08-09 重庆天蓬网络有限公司 一种大数据实时搜索系统和方法
CN110309151A (zh) * 2019-06-18 2019-10-08 精硕科技（北京）股份有限公司 一种索引建立方法、装置及计算机可读存储介质
CN110555152A (zh) * 2018-03-31 2019-12-10 甘肃万维信息技术有限责任公司 基于Elasticsearch框架的分布式搜索系统
CN111400362A (zh) * 2020-02-19 2020-07-10 北京值得买科技股份有限公司 一种基于Elasticsearch的分布式搜索系统搭建方法以及装置
CN111651479A (zh) * 2020-04-15 2020-09-11 山东中创软件工程股份有限公司 一种物品评估方法、装置及其相关设备
CN114036158A (zh) * 2021-11-18 2022-02-11 广州宸祺出行科技有限公司 一种Elasticsearch与MySQL的联合查询方法和装置
CN115455113A (zh) * 2022-08-05 2022-12-09 深圳市大头兄弟科技有限公司 NoSQL数据库的同步方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106484877A (zh) * 2016-10-14 2017-03-08 东北大学 一种基于hdfs的文件检索系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106484877A (zh) * 2016-10-14 2017-03-08 东北大学 一种基于hdfs的文件检索系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSDN博客: "mongo-connector实现MongoDB与elasticsearch实时同步深入详解", 《HTTPS://BLOG.CSDN.NET/LAOYANG360/ARTICLE/DETAILS/51842822》 *
博客园: "搭建ElasticSearch+MongoDB检索系统", 《HTTPS://WWW.CNBLOGS.COM/JAMESPEI/P/5694495.HTML》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555152A (zh) * 2018-03-31 2019-12-10 甘肃万维信息技术有限责任公司 基于Elasticsearch框架的分布式搜索系统
CN108520052A (zh) * 2018-04-04 2018-09-11 武汉斗鱼网络科技有限公司 慢查询信息检索方法、装置、服务器及可读存储介质
CN108520052B (zh) * 2018-04-04 2021-02-02 武汉斗鱼网络科技有限公司 慢查询信息检索方法、装置、服务器及可读存储介质
CN108897804A (zh) * 2018-06-15 2018-11-27 东北大学秦皇岛分校 一种互联网空间数据的搜索系统及方法
CN109063077B (zh) * 2018-07-24 2020-12-08 新华三大数据技术有限公司 一种基于弹性搜索的数据访问方法及装置
CN109063077A (zh) * 2018-07-24 2018-12-21 新华三大数据技术有限公司 一种基于弹性搜索的数据访问方法及装置
CN109376121A (zh) * 2018-08-10 2019-02-22 南京华讯方舟通信设备有限公司 一种基于ElasticSearch全文检索的文件索引系统及方法
CN109376121B (zh) * 2018-08-10 2021-07-02 南京华讯方舟通信设备有限公司 一种基于ElasticSearch全文检索的文件索引系统及方法
CN109840266A (zh) * 2019-01-25 2019-06-04 网联清算有限公司 存储系统搭建方法及装置
CN110110234A (zh) * 2019-05-13 2019-08-09 重庆天蓬网络有限公司 一种大数据实时搜索系统和方法
CN110309151A (zh) * 2019-06-18 2019-10-08 精硕科技（北京）股份有限公司 一种索引建立方法、装置及计算机可读存储介质
CN111400362A (zh) * 2020-02-19 2020-07-10 北京值得买科技股份有限公司 一种基于Elasticsearch的分布式搜索系统搭建方法以及装置
CN111651479A (zh) * 2020-04-15 2020-09-11 山东中创软件工程股份有限公司 一种物品评估方法、装置及其相关设备
CN114036158A (zh) * 2021-11-18 2022-02-11 广州宸祺出行科技有限公司 一种Elasticsearch与MySQL的联合查询方法和装置
CN114036158B (zh) * 2021-11-18 2023-05-12 广州宸祺出行科技有限公司 一种Elasticsearch与MySQL的联合查询方法和装置
CN115455113A (zh) * 2022-08-05 2022-12-09 深圳市大头兄弟科技有限公司 NoSQL数据库的同步方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107329987A (zh) 一种基于mongo数据库的搜索系统
US11836186B2 (en) Method and apparatus for retrieving image, device, and medium
US11068439B2 (en) Unsupervised method for enriching RDF data sources from denormalized data
AU2019366858B2 (en) Method and system for decoding user intent from natural language queries
US8862566B2 (en) Systems and methods for intelligent parallel searching
US9639542B2 (en) Dynamic mapping of extensible datasets to relational database schemas
US20160292591A1 (en) Streamlined analytic model training and scoring system
US11216474B2 (en) Statistical processing of natural language queries of data sets
US20220335076A1 (en) Mapping of topics within a domain based on terms associated with the topics
CN110569289B (zh) 基于大数据的列数据处理方法、设备及介质
CN111611266A (zh) 知识驱动的联合大数据查询和分析平台
CN111611304A (zh) 知识驱动的联合大数据查询和分析平台
CN111611448A (zh) 知识驱动的联合大数据查询和分析平台
US11030177B1 (en) Selectively scanning portions of a multidimensional index for processing queries
US20170124090A1 (en) Method of discovering and exploring feature knowledge
US11048887B1 (en) Cross-language models based on transfer learning
CN117112727A (zh) 适用于云计算业务的大语言模型微调指令集构建方法
CN113139558A (zh) 确定物品的多级分类标签的方法和装置
CN112989011B (zh) 数据查询方法、数据查询装置和电子设备
US11847121B2 (en) Compound predicate query statement transformation
CN115455050A (zh) 一种分布式数据库及查询方法
US20170031909A1 (en) Locality-sensitive hashing for algebraic expressions
US11379669B2 (en) Identifying ambiguity in semantic resources
CN114730310A (zh) 用于快速数据检索的通用数据索引
US11893012B1 (en) Content extraction using related entity group metadata from reference objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171107

RJ01 Rejection of invention patent application after publication