CN111460023B - 基于Elasticsearch的业务数据处理方法、装置、设备及存储介质 - Google Patents

基于Elasticsearch的业务数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111460023B
CN111460023B CN202010358044.7A CN202010358044A CN111460023B CN 111460023 B CN111460023 B CN 111460023B CN 202010358044 A CN202010358044 A CN 202010358044A CN 111460023 B CN111460023 B CN 111460023B
Authority
CN
China
Prior art keywords
data
service data
node
preset
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010358044.7A
Other languages
English (en)
Other versions
CN111460023A (zh
Inventor
刘孝林
李学志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongpu Software Co Ltd
Original Assignee
Dongpu Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongpu Software Co Ltd filed Critical Dongpu Software Co Ltd
Priority to CN202010358044.7A priority Critical patent/CN111460023B/zh
Publication of CN111460023A publication Critical patent/CN111460023A/zh
Application granted granted Critical
Publication of CN111460023B publication Critical patent/CN111460023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24532—Query optimisation of parallel queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Computing Systems (AREA)
  • Strategic Management (AREA)
  • Computational Linguistics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及物流技术领域，提供一种基于Elasticsearch的业务数据处理方法、装置、设备及存储介质，用于解决现有的物流业务数据处理方案无法满足大量物流业务数据的业务对象处理逻辑需求的问题。基于Elasticsearch的业务数据处理方法包括：接收业务数据更新请求，并根据业务数据更新请求对预置关系型数据库中的业务数据进行更新，得到更新业务数据，其中，业务数据为物流业务数据；通过预置的开源数据同步工具Canal，将更新业务数据写入预置的搜索引擎Elasticsearch集群中；对更新业务数据依次进行冷热分离、索引创建和角色分离，得到待查询业务数据；接收业务数据查询请求，并根据业务数据查询请求对搜索引擎Elasticsearch集群中的待查询业务数据进行查询，得到目标查询数据。

Description

基于Elasticsearch的业务数据处理方法、装置、设备及存储 介质
技术领域
本发明涉及物流技术领域，尤其涉及一种基于Elasticsearch的业务数据处理方法、装置、设备及存储介质。
背景技术
随着互联网技术的飞速发展以及在大数据的环境下，为了对业务数据进行管控，物流行业在各自的体系中使用了多个管理型的物流业务系统，而业务系统存在大量的物流业务对象处理逻辑现象，例如：对物流业务数据的插入、修改、删除和查询操作。现有的物流业务数据处理方案通过将业务数据存储在结构化数据库中，来应对大量的物流业务对象处理逻辑现象。
然而，随着物流业务量的增加，结构化数据库中的物流业务数据量也越来越大，当物流业务数据量的数据规模达到亿级、十亿级或百亿级时，结构化数据库无法满足大数据的存储和运行性能上的需求以及多条件查询的需求，导致现有的物流业务数据处理方案无法满足大量物流业务数据的业务对象处理逻辑需求。
发明内容
本发明的主要目的在于解决现有的物流业务数据处理方案无法满足大量物流业务数据的业务对象处理逻辑需求的问题。
本发明第一方面提供了一种基于Elasticsearch的业务数据处理方法，包括：
接收业务数据更新请求，并根据所述业务数据更新请求对预置关系型数据库中的业务数据进行更新，得到更新业务数据，其中，业务数据为物流业务数据；
通过预置的开源数据同步工具Canal，将所述更新业务数据写入预置的搜索引擎Elasticsearch集群中；
对所述更新业务数据依次进行冷热分离、索引创建和角色分离，得到待查询业务数据；
接收业务数据查询请求，并根据所述业务数据查询请求对所述搜索引擎Elasticsearch集群中的待查询业务数据进行查询，得到目标查询数据。
可选的，在本发明第一方面的第一种实现方式中，所述对所述更新业务数据依次进行冷热分离、索引创建和角色分离，得到待查询业务数据，包括：
根据预设时间节点对所述更新业务数据进行节点标记，得到热节点数据和冷节点数据，所述热节点数据对应预置的目标时间段，所述冷节点数据对应所述目标时间段之外的时段，所述目标时间段为根据预设的业务需求所确定的查询时间段；
对所述热节点数据和所述冷节点数据进行索引创建，得到已创建索引的节点数据；
获取所述搜索引擎Elasticsearch集群对应的角色配置信息，所述角色配置信息包括角色、所述角色对应的节点和所述节点的节点配置信息；
根据所述角色和所述节点配置信息，将所述已创建索引的节点数据发送至所述角色对应的节点，得到待查询业务数据。
可选的，在本发明第一方面的第二种实现方式中，所述对所述热节点数据和所述冷节点数据进行索引创建，得到已创建索引的节点数据，包括：
判断所述更新业务数据是否在预设的业务数据生命周期内；
若所述更新业务数据不在预设的业务数据生命周期内，则将所述更新业务数据确定为历史数据；
在所述热节点数据对应的节点上创建索引集群，得到对应的第一节点数据，所述第一节点数据包括节点索引以及业务数据的生成时刻；
将所述历史数据发送至所述冷节点数据对应的节点，得到目标冷节点数据；
获取当前时刻，并根据所述生成时刻与所述当前时刻确定所述节点索引中的待迁移节点索引；
通过预置接口将所述待迁移节点索引迁移到所述目标冷节点数据对应的节点上，得到对应的第二节点数据；
将所述第一节点数据和所述第二节点数据确定为已创建索引的节点数据。
可选的，在本发明第一方面的第三种实现方式中，所述对所述热节点数据和所述冷节点数据进行索引创建，得到已创建索引的节点数据，包括：
对所述热节点数据和所述冷节点数据进行索引创建，得到初始索引；
根据预置的主分片数对所述初始索引进行分片设置，得到分片后的初始索引；
对所述分片后的初始索引进行检索需求分析、聚合分析和分词需求分析，得到候选索引；
对所述候选索引进行属性设置和类型设置，得到目标索引；
将创建有所述目标索引的热节点数据和创建有所述目标索引的冷节点数据确定为已创建索引的节点数据。
可选的，在本发明第一方面的第四种实现方式中，所述接收业务数据查询请求，并根据所述业务数据查询请求对所述搜索引擎Elasticsearch集群中的待查询业务数据进行查询，得到目标查询数据，包括：
接收业务数据查询请求，提取所述业务数据查询请求中的查询时间信息；
根据所述查询时间信息和所述角色配置信息，对所述热节点数据和所述冷节点数据对应的节点进行分析，得到对应的目标节点；
对所述目标节点中已创建索引的节点数据进行检索，得到与所述业务数据查询请求对应的目标查询数据。
可选的，在本发明第一方面的第五种实现方式中，所述通过预置的开源数据同步工具Canal，将所述更新业务数据写入预置的搜索引擎Elasticsearch集群中，包括：
通过预置的开源数据同步工具Canal提取所述更新业务数据，并将所述更新业务数据发送至预置缓存区，得到缓存的更新业务数据；
根据所述开源数据同步工具Canal中的同步配置文件，将所述缓存的更新业务数据同步至预置的搜索引擎Elasticsearch集群。
可选的，在本发明第一方面的第六种实现方式中，所述接收业务数据查询请求，并根据所述业务数据查询请求对所述搜索引擎Elasticsearch集群中的待查询业务数据进行查询，得到目标查询数据之后，还包括：
对所述业务数据查询请求和所述目标查询数据进行记录和统计分析，得到统计分析数据，所述统计分析数据用于对所述更新业务数据的冷热分离进行优化。
本发明第二方面提供了一种基于Elasticsearch的业务数据处理装置，包括：
更新模块，用于接收业务数据更新请求，并根据所述业务数据更新请求对预置关系型数据库中的业务数据进行更新，得到更新业务数据，其中，业务数据为物流业务数据；
写入模块，用于通过预置的开源数据同步工具Canal，将所述更新业务数据写入预置的搜索引擎Elasticsearch集群中；
处理模块，用于对所述更新业务数据依次进行冷热分离、索引创建和角色分离，得到待查询业务数据；
查询模块，用于接收业务数据查询请求，并根据所述业务数据查询请求对所述搜索引擎Elasticsearch集群中的待查询业务数据进行查询，得到目标查询数据。
可选的，在本发明第二方面的第一种实现方式中，所述处理模块包括：
节点标记单元，用于根据预设时间节点对所述更新业务数据进行节点标记，得到热节点数据和冷节点数据，所述热节点数据对应预置的目标时间段，所述冷节点数据对应所述目标时间段之外的时段，所述目标时间段为根据预设的业务需求所确定的查询时间段；
索引创建单元，用于对所述热节点数据和所述冷节点数据进行索引创建，得到已创建索引的节点数据；
获取单元，用于获取所述搜索引擎Elasticsearch集群对应的角色配置信息，所述角色配置信息包括角色、所述角色对应的节点和所述节点的节点配置信息；
发送单元，用于根据所述角色和所述节点配置信息，将所述已创建索引的节点数据发送至所述角色对应的节点，得到待查询业务数据。
可选的，在本发明第二方面的第二种实现方式中，所述索引创建单元具体用于：
判断所述更新业务数据是否在预设的业务数据生命周期内；
若所述更新业务数据不在预设的业务数据生命周期内，则将所述更新业务数据确定为历史数据；
在所述热节点数据对应的节点上创建索引集群，得到对应的第一节点数据，所述第一节点数据包括节点索引以及业务数据的生成时刻；
将所述历史数据发送至所述冷节点数据对应的节点，得到目标冷节点数据；
获取当前时刻，并根据所述生成时刻与所述当前时刻确定所述节点索引中的待迁移节点索引；
通过预置接口将所述待迁移节点索引迁移到所述目标冷节点数据对应的节点上，得到对应的第二节点数据；
将所述第一节点数据和所述第二节点数据确定为已创建索引的节点数据。
可选的，在本发明第二方面的第三种实现方式中，所述索引创建单元还可以具体用于：
对所述热节点数据和所述冷节点数据进行索引创建，得到初始索引；
根据预置的主分片数对所述初始索引进行分片设置，得到分片后的初始索引；
对所述分片后的初始索引进行检索需求分析、聚合分析和分词需求分析，得到候选索引；
对所述候选索引进行属性设置和类型设置，得到目标索引；
将创建有所述目标索引的热节点数据和创建有所述目标索引的冷节点数据确定为已创建索引的节点数据。
可选的，在本发明第二方面的第四种实现方式中，所述查询模块具体用于：
接收业务数据查询请求，提取所述业务数据查询请求中的查询时间信息；
根据所述查询时间信息和所述角色配置信息，对所述热节点数据和所述冷节点数据对应的节点进行分析，得到对应的目标节点；
对所述目标节点中已创建索引的节点数据进行检索，得到与所述业务数据查询请求对应的目标查询数据。
可选的，在本发明第二方面的第五种实现方式中，所述写入模块具体用于：
通过预置的开源数据同步工具Canal提取所述更新业务数据，并将所述更新业务数据发送至预置缓存区，得到缓存的更新业务数据；
根据所述开源数据同步工具Canal中的同步配置文件，将所述缓存的更新业务数据同步至预置的搜索引擎Elasticsearch集群。
可选的，在本发明第二方面的第六种实现方式中，所述基于Elasticsearch的业务数据处理装置，还包括：
记录统计模块，用于对所述业务数据查询请求和所述目标查询数据进行记录和统计分析，得到统计分析数据，所述统计分析数据用于对所述更新业务数据的冷热分离进行优化。
本发明第三方面提供了一种基于Elasticsearch的业务数据处理设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于Elasticsearch的业务数据处理设备执行上述的基于Elasticsearch的业务数据处理方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于Elasticsearch的业务数据处理方法。
本发明提供的技术方案中，接收业务数据更新请求，并根据所述业务数据更新请求对预置关系型数据库中的业务数据进行更新，得到更新业务数据，其中，业务数据为物流业务数据；通过预置的开源数据同步工具Canal，将所述更新业务数据写入预置的搜索引擎Elasticsearch集群中；对所述更新业务数据依次进行冷热分离、索引创建和角色分离，得到待查询业务数据；接收业务数据查询请求，并根据所述业务数据查询请求对所述搜索引擎Elasticsearch集群中的待查询业务数据进行查询，得到目标查询数据。本发明中，通过对预置关系型数据库中的物流业务数据进行更新，通过开源数据同步工具Canal将更新的物流业务数据同步至搜索引擎Elasticsearch集群，并对搜索引擎Elasticsearch集群进行查询，满足大量物流业务数据的存储和运行性能上的需求以及多条件查询的需求，实现物流业务数据的同步和读写分离，从而解决了现有的物流业务数据处理方案无法满足大量物流业务数据的业务对象处理逻辑需求的问题。
附图说明
图1为本发明实施例中基于Elasticsearch的业务数据处理方法的一个实施例示意图；
图2为本发明实施例中基于Elasticsearch的业务数据处理方法的另一个实施例示意图；
图3为本发明实施例中基于Elasticsearch的业务数据处理装置的一个实施例示意图；
图4为本发明实施例中基于Elasticsearch的业务数据处理装置的另一个实施例示意图；
图5为本发明实施例中基于Elasticsearch的业务数据处理设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于Elasticsearch的业务数据处理方法、装置、设备及存储介质，解决了现有的物流业务数据处理方案无法满足大量业务数据的业务对象处理逻辑需求的问题。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于Elasticsearch的业务数据处理方法的一个实施例包括：
101、接收业务数据更新请求，并根据业务数据更新请求对预置关系型数据库中的业务数据进行更新，得到更新业务数据，其中，业务数据为物流业务数据。
可以理解的是，本发明的执行主体可以为基于Elasticsearch的业务数据处理装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
当服务器接收到用户端发送的业务数据更新请求时，分析业务数据更新请求中所包含的业务数据更新类型，该业务数据更新类型可为对业务数据进行插入、修改、删除和替换中的至少一种。业务数据为物流业务数据，包括物流订单的各项运营数据，比如：物流订单的货物仓库管理数据、运输车辆的行程数据和货物派送状况数据等。其中，预置关系型数据库为MySQL。通过预置关系型数据库MySQL存储实时数据(单表百万级以内)，满足实时数据的插入、修改或其他更新操作。
需要说明的是，服务器在接收业务数据更新请求，并根据业务数据更新请求对预置关系型数据库MySQL中的业务数据进行更新之前，进行参数设置，参数可包括但不限于刷新间隔、索引缓冲区大小和事务日志的写入位置，例如：设置刷新间隔Refresh Interval，以调整刷新refresh触发的频率，若设置为-1，则为禁止自动refresh；可通过参数indices.memory.index_buffer_size设置索引缓冲区index buffer的大小；通过设置Index.translog.durability为async以将事务日志transaction log设置为异步写入磁盘，若配置为异步async，则需要通过Index.translog.sync_interval设置写入磁盘的时间间隔，并通过调整参数Index.translog.flush_threshod_size来设置transaction log的值；可设置清空Flush的执行时间间隔。
102、通过预置的开源数据同步工具Canal，将更新业务数据写入预置的搜索引擎Elasticsearch集群中。
服务器调用预置的开源数据同步工具Canal，通过开源数据同步工具Canal对预置关系型数据库MySQL中业务数据的二进制日志进行监听，当Canal监听到业务数据的二进制日志存在更新，则将存在更新的业务数据(即更新业务数据)同步至预置的搜索引擎Elasticsearch集群。通过将开源数据同步工具Canal将预置关系型数据库MySQL中的更新业务数据同步至Elasticsearch集群中，以减少服务器的存储和检索压力，提高其处理效率和性能。
103、对更新业务数据依次进行冷热分离、索引创建和角色分离，得到待查询业务数据。
服务器预先根据业务需求设定时间节点，根据时间节点将更新业务数据划分为热数据和冷数据，以根据热数据和冷数据进行节点配置，例如：使用配置相对较高的节点对热数据进行处理，使用配置相对较低的节点对冷数据进行处理，以合理分配节点资源，提高处理效率。其中，该业务需求可为物流订单中的问题件查询需求，也可为物流订单的特定时段的统计需求。
服务器在对更新业务数据进行冷热分离后，对冷热分离后的热数据和冷数据进行索引创建，创建多组合型查询结构的索引，得到索引之后，服务器根据应用类型对应的分片规则对在索引进行分片，例如：若应用类型为日志类(写多读少)，则以单个分片大小不超过50G的分片规则对索引进行分片；若应用类型为搜索类(写少读多)，则以单个分片大小不超过20G的分片规则对索引进行分片。
需要说明的是，服务器得到索引之后，根据时间维度对索引进行拆分，以利于对不用时间段的更新业务数据进行管理。服务器得到索引之后，将索引拆分为多个子索引，并使用别名对多个子索引进行命名，以便于查询，通过调用对应的接口更改索引的别名来实现。根据节点配置信息对更新业务数据中的角色进行角色分离处理，从而得到待查询业务数据。通过角色分离，以有效利用节点资源，增强性能和提高处理效率。
104、接收业务数据查询请求，并根据业务数据查询请求对搜索引擎Elasticsearch集群中的待查询业务数据进行查询，得到目标查询数据。
服务器接收到用户端发送的业务数据查询请求时，分析业务数据查询请求中的查询信息，该查询信息可包括查询时间、查询事项和/或其他查询条件。服务器分析查询信息后，识别查询信息的结构类型，若该结构类型为单一型的，直接根据该查询信息对搜索引擎Elasticsearch集群中的待查询业务数据进行单表查询。若该结构类型为组合型的，则根据预置的查询优先级对搜索引擎Elasticsearch集群中的待查询业务数据进行多表查询，例如：查询信息的结构类型为组合型，包括查询时间D、发货地E和派件中F，查询优先级为：时间-最优先、地址-次优先和订单状态-最后，则先根据D对搜索引擎Elasticsearch集群中的待查询业务数据进行查询得到查询数据G1，根据E对G1进行查询得到G2，根据F对G2进行查询得到G3(目标查询数据)。
需要说明的是，服务器还可根据角色分离后对应的节点状况对对搜索引擎Elasticsearch集群中的待查询业务数据进行查询，例如：角色分离后对应的节点为H1、H2和H3，若H1处于宕机状态，则对H2和H3进行检索。
本发明实施例中，通过对预置关系型数据库中的物流业务数据进行更新，通过开源数据同步工具Canal将更新的物流业务数据同步至搜索引擎Elasticsearch集群，并对搜索引擎Elasticsearch集群进行查询，满足大量物流业务数据的存储和运行性能上的需求以及多条件查询的需求，实现物流业务数据的同步和读写分离，从而解决了现有的物流业务数据处理方案无法满足大量物流业务数据的业务对象处理逻辑需求的问题。
请参阅图2，本发明实施例中基于Elasticsearch的业务数据处理方法的另一个实施例包括：
201、接收业务数据更新请求，并根据业务数据更新请求对预置关系型数据库中的业务数据进行更新，得到更新业务数据，其中，业务数据为物流业务数据。
预置关系型数据库MySQL接收到业务数据更新请求的更新操作指令后，可根据更新操作指令中新的业务数据对存储的物流业务数据进行对应的替换更新，也可根据更新操作指令对存储的物流业务数据进行插入、修改和删除等操作，从而得到更新业务数据。
需要说明的是，预置关系型数据库MySQL接收到待处理的物流业务数据时，将待处理的物流业务数据时备份到从库，当检测到更新业务数据已被监听处理(被同步)时，清空从库的数据，以防止数据的丢失和数据错漏的更正时无备用数据。
202、通过预置的开源数据同步工具Canal，将更新业务数据写入预置的搜索引擎Elasticsearch集群中。
具体地，服务器通过预置的开源数据同步工具Canal提取更新业务数据，并将更新业务数据发送至预置缓存区，得到缓存的更新业务数据；根据开源数据同步工具Canal中的同步配置文件，将缓存的更新业务数据同步至预置的搜索引擎Elasticsearch集群。
服务器通过开源数据同步工具Canal对预置关系型数据库MySQL中业务数据的二进制日志进行监听，当Canal监听到业务数据的二进制日志存在更新，则提取存在更新的业务数据(即更新业务数据)，并将其发送至预置缓存区中，以对更新业务数据进行缓存，从而得到缓存的更新业务数据。其中，同步配置文件可包括调用的接口、数据格式转换和同步规则，例如：对于更新业务数据甲，由于数据量小，调用相对性能低的接口对更新业务数据甲进行同步处理。服务器通过将更新业务数据发送至预置缓存区，以便于对更新业务数据的访问，减少对数据库的访问压力，以及避免消息堵塞。
203、对更新业务数据依次进行冷热分离、索引创建和角色分离，得到待查询业务数据。
具体地，服务器根据预设时间节点对更新业务数据进行节点标记，得到热节点数据和冷节点数据，热节点数据对应预置的目标时间段，冷节点数据对应目标时间段之外的时段，目标时间段为根据预设的业务需求所确定的查询时间段；对热节点数据和冷节点数据进行索引创建，得到已创建索引的节点数据；获取搜索引擎Elasticsearch集群对应的角色配置信息，角色配置信息包括角色、角色对应的节点和节点的节点配置信息；根据角色和节点配置信息，将已创建索引的节点数据发送至角色对应的节点，得到待查询业务数据。
其中，目标时间段为根据预设的业务需求所确定的查询时间段，例如：预设的业务需求为问题快件的查询业务需求，问题快件为快递物流中出现状况的快件，而问题快件数据量大且主要的业务数据查询请求集中在订单建立的最近一段时间R内，则R为目标时间段。
节点标记，例如：通过bin/elasticsearch-E node.name＝hotnode-Ecluster.name＝geektime-E path.data＝hot_data-E node.attr.my_node_type＝hot进行热节点标记，通过bin/elasticsearch-E node.name＝coldnode-E cluster.name＝geektime-E path.data＝cold_data-E node.attr.my_node_type＝cold进行冷节点标记。
角色配置信息和待查询业务数据，例如：角色为master角色、ingest角色和data角色，master角色对应的节点和节点配置信息为配置为普通性能的服务器W1(资源配置30％)、W2(资源配置50％)和W3(资源配置20％)，ingest角色对应的节点和节点配置信息为性能好的服务器T1(资源配置40％)、T2(资源配置30％)和T3(资源配置30％)，data角色对应的节点和节点配置信息为配置为存储性能好的服务器O1(资源配置50％)、O2(资源配置30％)和O3(资源配置20％)，将已创建索引的节点数据中用于调度的节点数据按照30％、50％和20％分别发送至W1、W2和W3，将已创建索引的节点数据中用于数据预处理的节点数据按照40％、30％和30％分别发送至T1、T2和T3，将已创建索引的节点数据中用于调度的节点数据按照50％、30％和20％分别发送至O1、O2和O3。
具体地，服务器判断更新业务数据是否在预设的业务数据生命周期内；若更新业务数据不在预设的业务数据生命周期内，则将该更新业务数据确定为历史数据；在热节点数据对应的节点上创建索引集群，得到对应的第一节点数据，第一节点数据包括节点索引以及业务数据的生成时刻；将历史数据发送至冷节点数据对应的节点，得到目标冷节点数据；获取当前时刻，并根据生成时刻与当前时刻确定节点索引中的待迁移节点索引；通过预置接口将待迁移节点索引迁移到目标冷节点数据对应的节点上，得到对应的第二节点数据；将第一节点数据和第二节点数据确定为已创建索引的节点数据。
例如：通过"index.routing.allocation.require.my_node_type":"hot"的形式，在热节点数据对应的节点上创建索引集群，得到对应的第一节点数据，每个索引的大小在20G以内或50G以内，将历史数据发送至冷节点数据对应的节点，得到更新的冷节点数据，对第一节点数据中对应的时刻进行判断，得到节点数据J对应的时刻2020.02.01不在目标时间段2020.03内，则节点数据J对应的索引确定为待迁移节点索引complaint-2020-02-01，通过PUT complaint-2020-03/_settings{"index.routing.allocation.require.my_node_type":"co ld"}将待迁移节点索引complaint-2020-02-01迁移到目标冷节点数据对应的节点上，得到第二节点数据，第一节点数据和第二节点数据即为已创建索引的节点数据。
服务器可根据生成时刻与当前时刻之间的时长差值与预设阈值的大小，来确定节点索引中的待迁移节点索引，例如：业务数据的生成时刻为2020.02.29，当前时刻为2020.03.09，生成时刻与当前时刻之间的时长差值为9天，若预设阈值为5天，则将2020.02.29对应的节点索引确定为待迁移节点索引，若预设阈值为10天，则不对2020.02.29对应的节点索引进行迁移处理。其中，预设阈值可根据目标时间段来设定，即预设阈值可为目标时间段对应的时长。
其中，节点索引用于对热节点数据对应的节点和节点对应的业务数据进行查询。预设的业务数据生命周期为快递物流业务数据的生命周期，例如：快递单的创建、仓库管理、物流车辆运输、派件和售后客服处理。判断更新业务数据是否在预设的业务数据生命周期内，若更新业务数据不在预设的业务数据生命周期内，则将该更新业务数据确定为历史数据，例如：预设的业务数据生命周期最后一个阶段为售后客服处理阶段，更新业务数据的流程节点状态在售后客服处理阶段之后(即不在预设的业务数据生命周期内)，则该更新业务数据为历史数据。历史数据为不在预设的业务数据生命周期内的更新业务数据，可为更新业务数据当前的流程节点为最终的流程节点，且当前的流程节点处于结束状态，例如：最终的流程节点为客服仲裁管理，更新业务数据当前的流程节点为客服仲裁管理，且运行状态为完结状态，客服仲裁管理为预设的物流业务数据生命周期之外的阶段，则该更新业务数据为历史数据。
若更新业务数据在预设的业务数据生命周期内，则将该更新业务数据确定为实时数据，例如：预设的业务数据生命周期其中一个阶段为快件派送管理阶段，更新业务数据的流程节点状态为快件派送中(即在预设的业务数据生命周期内)，则该更新业务数据为实时数据。实时数据为在预设的业务数据生命周期内的更新业务数据，可为更新业务数据当前的流程节点是或不是最终的流程节点，且当前的流程节点处于运行中，例如：最终的流程节点为客服仲裁管理，若更新业务数据当前的流程节点为快件货物仓储管理(在客服仲裁管理之前)，且运行状态为进行中，则该更新业务数据为实时数据，若更新业务数据当前的流程节点为客服仲裁管理，且运行状态为进行中，则该更新业务数据为实时数据。
具体地，服务器还可以对热节点数据和冷节点数据进行索引创建，得到初始索引；根据预置的主分片数对初始索引进行分片设置，得到分片后的初始索引；对分片后的初始索引进行检索需求分析、聚合分析和分词需求分析，得到候选索引；对候选索引进行属性设置和类型设置，得到目标索引；将创建有目标索引的热节点数据和创建有目标索引的冷节点数据确定为已创建索引的节点数据。
对于根据预置的主分片数对初始索引进行分片设置，可以通过参数total_shard_per_node设置初始索引在一个节点上最多多少个分片，避免分片后的初始索引的索引分片集中分配到少量节点，导致负载不均衡。
对分片后的初始索引进行检索需求分析、聚合分析和分词需求分析，得到候选索引；对候选索引进行属性设置和类型设置，例如：如果分片后的初始索引中的字段不需要被检索，确定为候选索引，并将候选索引的该字段的索引index属性设置为失败false，这样不用构建该字段的倒排索引，提高数据写入性能；如果分片后的初始索引中的字符串字段不需要被分词，确定为候选索引，并将候选索引的字段类型设置为关键词keyword，以提高创建与检索索引的效率。
204、接收业务数据查询请求，并根据业务数据查询请求对搜索引擎Elasticsearch集群中的待查询业务数据进行查询，得到目标查询数据。
具体地，服务器接收业务数据查询请求，提取业务数据查询请求中的查询时间信息；根据查询时间信息和角色配置信息，对热节点数据和冷节点数据对应的节点进行分析，得到对应的目标节点；对目标节点中已创建索引的节点数据进行检索，得到与业务数据查询请求对应的目标查询数据。
其中，查询时间信息和角色配置信息具有对应的分析顺序，即根据查询时间信息对热节点数据和冷节点数据对应的节点进行分析，得到对应的查询节点，根据角色配置信息确定查询节点中的目标节点，例如：业务数据查询请求中的查询时间信息为2019.10.5(为热节点数据对应的时间)，角色配置信息为热节点数据中角色对应的节点为Y1和Y2，则先通过2019.10.5对热节点数据和冷节点数据对应的节点进行分析，得到为热节点数据对应的节点(即查询节点)，热节点数据对应的节点中包含Y1、Y2和Y3，再根据角色配置信息对热节点数据对应的节点进行分析，确定对应的目标节点Y1和Y2，对Y1和Y2中已创建索引的节点数据进行检索，得到与业务数据查询请求对应的目标查询数据。
在根据角色配置信息确定查询节点中的目标节点中，服务器可通过搜索引擎Elasticsearch集群中各节点的资源占比和角色配置信息确定节点中的目标节点，例如：得到查询节点为Q1、Q2和Q3，搜索引擎Elasticsearch集群中各节点的资源占比分别为Q1资源占比90％、Q2资源占比50％和Q3资源占比20％，角色配置信息为热节点数据中角色对应的节点为Q1和Q3，Q1的节点资源已被利用相对较多，会影响到查询效率，因而根据角色配置信息确定查询节点中的目标节点为Q3。
需要说明的是，通过上述操作，确保Elasticsearch集群的负载均衡，合理利用资源，便于查询，以及提高查询效率。
205、对业务数据查询请求和目标查询数据进行记录和统计分析，得到统计分析数据，统计分析数据用于对更新业务数据的冷热分离进行优化。
服务器对每次的业务数据查询请求和每次的目标查询数据进行记录，得到记录数据，对记录数据进行统计分析，得到统计分析数据，该统计分析数据可为查询次数较多的查询时间段，根据该查询时间段调整冷热分离的预设时间节点的时间段，以提高对更新业务数据的冷热数据分离的准确性，从而提高对待查询业务数据的查询准确性。
其中，服务器在对记录数据进行统计分析时，可通过生成记录数据的可视化图表，根据可视化图表确定被查询次数大于预设阈值的查询时间段和查询事项，根据查询时间段和查询事项确定最终的目标时间段，从而得到统计分析数据，以实现对记录数据进行统计分析。服务器可根据查询时间段和查询事项对应的时间段重合来确定为最终的目标时间段，例如：查询时间段为K1、K2和K3，查询事项为L1、L2和L3，L3对应的时间段为K2，K2对应的查询事项为L3，则K2为最终的目标时间段，K2以及被查询的次数为统计分析数据。
本发明实施例中，在满足大量物流业务数据的存储和运行性能上的需求以及多条件查询的需求，实现物流业务数据的同步和读写分离，解决了现有的物流业务数据处理方案无法满足大量物流业务数据的业务对象处理逻辑需求的问题的基础上，通过统计分析数据对更新业务数据的冷热分离进行优化，提高对更新业务数据的冷热数据分离的准确性，从而提高了对待查询业务数据的查询准确性。
上面对本发明实施例中基于Elasticsearch的业务数据处理方法进行了描述，下面对本发明实施例中基于Elasticsearch的业务数据处理装置进行描述，请参阅图3，本发明实施例中基于Elasticsearch的业务数据处理装置一个实施例包括：
更新模块301，用于接收业务数据更新请求，并根据业务数据更新请求对预置关系型数据库中的业务数据进行更新，得到更新业务数据，其中，业务数据为物流业务数据；
写入模块302，用于通过预置的开源数据同步工具Canal，将更新业务数据写入预置的搜索引擎Elasticsearch集群中；
处理模块303，用于对更新业务数据依次进行冷热分离、索引创建和角色分离，得到待查询业务数据；
查询模块304，用于接收业务数据查询请求，并根据业务数据查询请求对搜索引擎Elasticsearch集群中的待查询业务数据进行查询，得到目标查询数据。
上述基于Elasticsearch的业务数据处理装置中各个模块的功能实现与上述基于Elasticsearch的业务数据处理方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
本发明实施例中，通过对预置关系型数据库中的物流业务数据进行更新，通过开源数据同步工具Canal将更新的物流业务数据同步至搜索引擎Elasticsearch集群，并对搜索引擎Elasticsearch集群进行查询，满足大量物流业务数据的存储和运行性能上的需求以及多条件查询的需求，实现物流业务数据的同步和读写分离，从而解决了现有的物流业务数据处理方案无法满足大量物流业务数据的业务对象处理逻辑需求的问题。
请参阅图4，本发明实施例中基于Elasticsearch的业务数据处理装置的另一个实施例包括：
更新模块301，用于接收业务数据更新请求，并根据业务数据更新请求对预置关系型数据库中的业务数据进行更新，得到更新业务数据，其中，业务数据为物流业务数据；
写入模块302，用于通过预置的开源数据同步工具Canal，将更新业务数据写入预置的搜索引擎Elasticsearch集群中；
处理模块303，用于对更新业务数据依次进行冷热分离、索引创建和角色分离，得到待查询业务数据；
查询模块304，用于接收业务数据查询请求，并根据业务数据查询请求对搜索引擎Elasticsearch集群中的待查询业务数据进行查询，得到目标查询数据；
记录统计模块305，用于对业务数据查询请求和目标查询数据进行记录和统计分析，得到统计分析数据，统计分析数据用于对更新业务数据的冷热分离进行优化。
可选的，处理模块303包括：
节点标记单元3031，用于根据预设时间节点对更新业务数据进行节点标记，得到热节点数据和冷节点数据，热节点数据对应预置的目标时间段，冷节点数据对应目标时间段之外的时段，目标时间段为根据预设的业务需求所确定的查询时间段；
索引创建单元3032，用于对热节点数据和冷节点数据进行索引创建，得到已创建索引的节点数据；
获取单元3033，用于获取搜索引擎Elasticsearch集群对应的角色配置信息，角色配置信息包括角色、角色对应的节点和节点的节点配置信息；
发送单元3034，用于根据角色和节点配置信息，将已创建索引的节点数据发送至角色对应的节点，得到待查询业务数据。
可选的，索引创建单元3032还可以具体用于：
判断更新业务数据是否在预设的业务数据生命周期内；
若更新业务数据不在预设的业务数据生命周期内，则将更新业务数据确定为历史数据；
在热节点数据对应的节点上创建索引集群，得到对应的第一节点数据，第一节点数据包括节点索引以及业务数据的生成时刻；
将历史数据发送至冷节点数据对应的节点，得到目标冷节点数据；
获取当前时刻，并根据生成时刻与当前时刻确定节点索引中的待迁移节点索引；
通过预置接口将待迁移节点索引迁移到目标冷节点数据对应的节点上，得到对应的第二节点数据；
将第一节点数据和第二节点数据确定为已创建索引的节点数据。
可选的，索引创建单元3032还可以具体用于：
对热节点数据和冷节点数据进行索引创建，得到初始索引；
根据预置的主分片数对初始索引进行分片设置，得到分片后的初始索引；
对分片后的初始索引进行检索需求分析、聚合分析和分词需求分析，得到候选索引；
对候选索引进行属性设置和类型设置，得到目标索引；
将创建有目标索引的热节点数据和创建有目标索引的冷节点数据确定为已创建索引的节点数据。
可选的，查询模块304还可以具体用于：
接收业务数据查询请求，提取业务数据查询请求中的查询时间信息；
根据查询时间信息和角色配置信息，对热节点数据和冷节点数据对应的节点进行分析，得到对应的目标节点；
对目标节点中已创建索引的节点数据进行检索，得到与业务数据查询请求对应的目标查询数据。
可选的，写入模块302还可以具体用于：
通过预置的开源数据同步工具Canal提取更新业务数据，并将更新业务数据发送至预置缓存区，得到缓存的更新业务数据；
根据开源数据同步工具Canal中的同步配置文件，将缓存的更新业务数据同步至预置的搜索引擎Elasticsearch集群。
上述基于Elasticsearch的业务数据处理装置中各模块和各单元的功能实现与上述基于Elasticsearch的业务数据处理方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
本发明实施例中，在满足大量物流业务数据的存储和运行性能上的需求以及多条件查询的需求，实现物流业务数据的同步和读写分离，解决了现有的物流业务数据处理方案无法满足大量物流业务数据的业务对象处理逻辑需求的问题的基础上，通过统计分析数据对更新业务数据的冷热分离进行优化，提高对更新业务数据的冷热数据分离的准确性，从而提高了对待查询业务数据的查询准确性。
上面图3和图4从模块化功能实体的角度对本发明实施例中的基于Elasticsearch的业务数据处理装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于Elasticsearch的业务数据处理设备进行详细描述。
图5是本发明实施例提供的一种基于Elasticsearch的业务数据处理设备的结构示意图，该基于Elasticsearch的业务数据处理设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对基于Elasticsearch的业务数据处理设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在基于Elasticsearch的业务数据处理设备500上执行存储介质530中的一系列指令操作。
基于Elasticsearch的业务数据处理设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的基于Elasticsearch的业务数据处理设备结构并不构成对基于Elasticsearch的业务数据处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于Elasticsearch的业务数据处理方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于Elasticsearch的业务数据处理方法，其特征在于，所述基于Elasticsearch的业务数据处理方法包括：
接收业务数据更新请求，并根据所述业务数据更新请求对预置关系型数据库中的业务数据进行更新，得到更新业务数据，其中，业务数据为物流业务数据；
通过预置的开源数据同步工具Canal，将所述更新业务数据写入预置的搜索引擎Elasticsearch集群中；
对所述更新业务数据依次进行冷热分离、索引创建和角色分离，得到待查询业务数据；
接收业务数据查询请求，并根据所述业务数据查询请求对所述搜索引擎Elasticsearch集群中的待查询业务数据进行查询，得到目标查询数据；
所述对所述更新业务数据依次进行冷热分离、索引创建和角色分离，得到待查询业务数据，包括：
根据预设时间节点对所述更新业务数据进行节点标记，得到热节点数据和冷节点数据，所述热节点数据对应预置的目标时间段，所述冷节点数据对应所述目标时间段之外的时段，所述目标时间段为根据预设的业务需求所确定的查询时间段；
对所述热节点数据和所述冷节点数据进行索引创建，得到已创建索引的节点数据；
获取所述搜索引擎Elasticsearch集群对应的角色配置信息，所述角色配置信息包括角色、所述角色对应的节点和所述节点的节点配置信息；
根据所述角色和所述节点配置信息，将所述已创建索引的节点数据发送至所述角色对应的节点，得到待查询业务数据。
2.根据权利要求1所述的基于Elasticsearch的业务数据处理方法，其特征在于，所述对所述热节点数据和所述冷节点数据进行索引创建，得到已创建索引的节点数据，包括：
判断所述更新业务数据是否在预设的业务数据生命周期内；
若所述更新业务数据不在预设的业务数据生命周期内，则将所述更新业务数据确定为历史数据；
在所述热节点数据对应的节点上创建索引集群，得到对应的第一节点数据，所述第一节点数据包括节点索引以及业务数据的生成时刻；
将所述历史数据发送至所述冷节点数据对应的节点，得到目标冷节点数据；
获取当前时刻，并根据所述生成时刻与所述当前时刻确定所述节点索引中的待迁移节点索引；
通过预置接口将所述待迁移节点索引迁移到所述目标冷节点数据对应的节点上，得到对应的第二节点数据；
将所述第一节点数据和所述第二节点数据确定为已创建索引的节点数据。
3.根据权利要求1所述的基于Elasticsearch的业务数据处理方法，其特征在于，所述对所述热节点数据和所述冷节点数据进行索引创建，得到已创建索引的节点数据，包括：
对所述热节点数据和所述冷节点数据进行索引创建，得到初始索引；
根据预置的主分片数对所述初始索引进行分片设置，得到分片后的初始索引；
对所述分片后的初始索引进行检索需求分析、聚合分析和分词需求分析，得到候选索引；
对所述候选索引进行属性设置和类型设置，得到目标索引；
将创建有所述目标索引的热节点数据和创建有所述目标索引的冷节点数据确定为已创建索引的节点数据。
4.根据权利要求1所述的基于Elasticsearch的业务数据处理方法，其特征在于，所述接收业务数据查询请求，并根据所述业务数据查询请求对所述搜索引擎Elasticsearch集群中的待查询业务数据进行查询，得到目标查询数据，包括：
接收业务数据查询请求，提取所述业务数据查询请求中的查询时间信息；
根据所述查询时间信息和所述角色配置信息，对所述热节点数据和所述冷节点数据对应的节点进行分析，得到对应的目标节点；
对所述目标节点中已创建索引的节点数据进行检索，得到与所述业务数据查询请求对应的目标查询数据。
5.根据权利要求1所述的基于Elasticsearch的业务数据处理方法，其特征在于，所述通过预置的开源数据同步工具Canal，将所述更新业务数据写入预置的搜索引擎Elasticsearch集群中，包括：
通过预置的开源数据同步工具Canal提取所述更新业务数据，并将所述更新业务数据发送至预置缓存区，得到缓存的更新业务数据；
根据所述开源数据同步工具Canal中的同步配置文件，将所述缓存的更新业务数据同步至预置的搜索引擎Elasticsearch集群。
6.根据权利要求1-5中任一项所述的基于Elasticsearch的业务数据处理方法，其特征在于，所述接收业务数据查询请求，并根据所述业务数据查询请求对所述搜索引擎Elasticsearch集群中的待查询业务数据进行查询，得到目标查询数据之后，还包括：
对所述业务数据查询请求和所述目标查询数据进行记录和统计分析，得到统计分析数据，所述统计分析数据用于对所述更新业务数据的冷热分离进行优化。
7.一种基于Elasticsearch的业务数据处理装置，其特征在于，所述基于Elasticsearch的业务数据处理装置包括：
更新模块，用于接收业务数据更新请求，并根据所述业务数据更新请求对预置关系型数据库中的业务数据进行更新，得到更新业务数据，其中，业务数据为物流业务数据；
写入模块，用于通过预置的开源数据同步工具Canal，将所述更新业务数据写入预置的搜索引擎Elasticsearch集群中；
处理模块，用于对所述更新业务数据依次进行冷热分离、索引创建和角色分离，得到待查询业务数据；
查询模块，用于接收业务数据查询请求，并根据所述业务数据查询请求对所述搜索引擎Elasticsearch集群中的待查询业务数据进行查询，得到目标查询数据；
所述处理模块，具体用于：
根据预设时间节点对所述更新业务数据进行节点标记，得到热节点数据和冷节点数据，所述热节点数据对应预置的目标时间段，所述冷节点数据对应所述目标时间段之外的时段，所述目标时间段为根据预设的业务需求所确定的查询时间段；
对所述热节点数据和所述冷节点数据进行索引创建，得到已创建索引的节点数据；
获取所述搜索引擎Elasticsearch集群对应的角色配置信息，所述角色配置信息包括角色、所述角色对应的节点和所述节点的节点配置信息；
根据所述角色和所述节点配置信息，将所述已创建索引的节点数据发送至所述角色对应的节点，得到待查询业务数据。
8.一种基于Elasticsearch的业务数据处理设备，其特征在于，所述基于Elasticsearch的业务数据处理设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于Elasticsearch的业务数据处理设备执行如权利要求1-6中任意一项所述的基于Elasticsearch的业务数据处理方法。
9.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述基于Elasticsearch的业务数据处理方法。
CN202010358044.7A 2020-04-29 2020-04-29 基于Elasticsearch的业务数据处理方法、装置、设备及存储介质 Active CN111460023B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010358044.7A CN111460023B (zh) 2020-04-29 2020-04-29 基于Elasticsearch的业务数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010358044.7A CN111460023B (zh) 2020-04-29 2020-04-29 基于Elasticsearch的业务数据处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111460023A CN111460023A (zh) 2020-07-28
CN111460023B true CN111460023B (zh) 2023-06-09

Family

ID=71682651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010358044.7A Active CN111460023B (zh) 2020-04-29 2020-04-29 基于Elasticsearch的业务数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111460023B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112181987A (zh) * 2020-10-12 2021-01-05 嘉联支付有限公司 一种非时序数据处理方法
CN112181993A (zh) * 2020-10-27 2021-01-05 广州市网星信息技术有限公司 业务数据查询方法、装置、服务器及存储介质
CN112445854B (zh) * 2020-11-25 2024-05-03 北京品域互联科技有限公司 多源业务数据实时处理方法、装置、终端及存储介质
CN112800104A (zh) * 2020-12-08 2021-05-14 江苏苏宁云计算有限公司 Es查询请求链路优化的方法及装置
CN113763099A (zh) * 2020-12-29 2021-12-07 京东城市(北京)数字科技有限公司 一种数据查找方法、装置、设备和存储介质
CN112527911B (zh) * 2020-12-29 2022-12-02 上海销氪信息科技有限公司 一种数据存储方法、装置、设备及介质
CN112883252A (zh) * 2021-02-05 2021-06-01 成都新希望金融信息有限公司 业务查询方法、装置、计算机设备和可读存储介质
CN112925783A (zh) * 2021-03-26 2021-06-08 北京金山云网络技术有限公司 业务数据处理方法和装置、电子设备和存储介质
CN113282618A (zh) * 2021-06-18 2021-08-20 福建天晴数码有限公司 一种Elasticsearch活跃集群检索优化方案及系统
CN114564485A (zh) * 2022-04-28 2022-05-31 深圳竹云科技股份有限公司 基于Elastic Search的用户数据处理方法
CN116089545B (zh) * 2023-04-07 2023-08-22 云筑信息科技(成都)有限公司 一种采集存储介质变更数据入数据仓库的方法
CN116401259B (zh) * 2023-06-08 2023-08-22 北京江融信科技有限公司 一种用于ElasticSearch数据库的自动化预创建索引方法和系统
CN117093367B (zh) * 2023-08-22 2024-04-09 广州今之港教育咨询有限公司 一种业务数据的处理方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018095351A1 (zh) * 2016-11-28 2018-05-31 中兴通讯股份有限公司 搜索处理方法及装置
CN108681593A (zh) * 2018-05-16 2018-10-19 青岛海信移动通信技术股份有限公司 业务数据检索方法及装置
WO2018233364A1 (zh) * 2017-06-19 2018-12-27 华为技术有限公司 索引更新方法、系统及相关装置
CN110569302A (zh) * 2019-08-16 2019-12-13 苏宁云计算有限公司 一种基于lucene的分布式集群的物理隔离的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018095351A1 (zh) * 2016-11-28 2018-05-31 中兴通讯股份有限公司 搜索处理方法及装置
WO2018233364A1 (zh) * 2017-06-19 2018-12-27 华为技术有限公司 索引更新方法、系统及相关装置
CN108681593A (zh) * 2018-05-16 2018-10-19 青岛海信移动通信技术股份有限公司 业务数据检索方法及装置
CN110569302A (zh) * 2019-08-16 2019-12-13 苏宁云计算有限公司 一种基于lucene的分布式集群的物理隔离的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈伦跃 ; 殷峰 ; .基于搜索引擎的慢查询优化系统.现代计算机(专业版).2017,(08),全文. *

Also Published As

Publication number Publication date
CN111460023A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111460023B (zh) 基于Elasticsearch的业务数据处理方法、装置、设备及存储介质
US7624118B2 (en) Data processing over very large databases
CN111460024B (zh) 基于Elasticsearch的实时业务系统
EP3120261B1 (en) Dependency-aware transaction batching for data replication
CN111459985B (zh) 标识信息处理方法及装置
Vassiliadis et al. Near real time ETL
US7721288B2 (en) Organizing transmission of repository data
CN110147407B (zh) 一种数据处理方法、装置及数据库管理服务器
US8280917B1 (en) Batching content management operations to facilitate efficient database interactions
CN102460398A (zh) 用于在备份操作中执行去重复的源分类
CN109669925B (zh) 非结构化数据的管理方法及装置
CN101739292A (zh) 基于应用特征的异构集群作业自适应调度方法和系统
EP2380090B1 (en) Data integrity in a database environment through background synchronization
CN111506556A (zh) 一种多源异构的结构化数据同步方法
CN111858760B (zh) 一种异构数据库的数据处理方法及装置
CN114116716A (zh) 一种层次数据检索方法、装置和设备
CN102779138A (zh) 实时数据的硬盘存取方法
CN110442564B (zh) 增量数据校验方法、存储介质
US11449521B2 (en) Database management system
CN115080666A (zh) 数据同步方法、系统、电子设备及存储介质
CN110263028B (zh) 一种应用于搜索服务的全量同步方法
WO2017131795A1 (en) Processing time-varying data using an adjacency list representation of a time-varying graph
CN116186078A (zh) 一种数据检索方法及系统
CN111311329B (zh) 标签数据获取方法、装置、设备及可读存储介质
CN117349327A (zh) 一种内存数据获取优化的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant