CN113760933A - 一种数据更新方法及终端 - Google Patents
一种数据更新方法及终端 Download PDFInfo
- Publication number
- CN113760933A CN113760933A CN202110980909.8A CN202110980909A CN113760933A CN 113760933 A CN113760933 A CN 113760933A CN 202110980909 A CN202110980909 A CN 202110980909A CN 113760933 A CN113760933 A CN 113760933A
- Authority
- CN
- China
- Prior art keywords
- data
- cluster
- data set
- updating
- latest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000004590 computer program Methods 0.000 claims description 8
- 230000007958 sleep Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000005059 dormancy Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/217—Database tuning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明的一种数据更新方法及终端，接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集；根据数据集对全量更新消息的发送方的对应数据进行回调，能够主动得到数据集的最新数据信息，提高业务上的数据查询效率；在将最新数据写入ES集群之前，查询ES集群的负载水平，若负载水平低于预设值，则通过ES接入服务接口将数据集的最新数据信息更新至ES集群，否则限制ES接入服务接口将数据集的最新数据信息更新至ES集群的数量或者速率；因此通过主动回调发送方的预设数量的回调数据，便于根据ES集群资源情况进行主动控制，并且根据ES集群的负载水平确定最新数据写入集群的数量或者速率，能够在保证自身业务的前提下，减少ES集群的压力。
Description
技术领域
本发明涉及数据存储技术领域，特别涉及一种数据更新方法及终端。
背景技术
Elasticsearch(ES)是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
现在很多系统都使用ES来进行搜索数据的存储，其中很常见的方式为，创建一个ES的公共集群，很多的独立系统都向这个ES集群中写入数据。如果只是单独一条数据的更新ES数据，ES的负载情况还较低，但是还存在以下场景：比如某个系统中库表需要添加一个字段，同样的就需要把原先已经存储在ES中的所有这类型的数据都添加一个索引字段，然后，会有一个程序批量的不间断或者偶尔休眠一些时间，向统一的ES集群中更新这些数据。此时，可能会存在这样的问题：ES集群已经存在较高负载了，然后又进行这样的批量数据操作，会进一步加剧负载量，同时，自身的批量更新任务又无法完成，导致ES集群压力增加。
发明内容
本发明所要解决的技术问题是：提供一种数据更新方法及终端，能够减少ES集群的压力。
为了解决上述技术问题，本发明采用的技术方案为：
一种数据更新方法，包括步骤：
接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集；
根据所述数据集对所述全量更新消息的发送方的对应数据进行回调，得到所述数据集的最新数据信息；
判断所述ES集群的负载水平是否低于预设值，若是，则通过ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群，否则，限制ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量或者速率。
为了解决上述技术问题，本发明采用的另一种技术方案为：
一种数据更新终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集；
根据所述数据集对所述全量更新消息的发送方的对应数据进行回调，得到所述数据集的最新数据信息；
判断所述ES集群的负载水平是否低于预设值，若是，则通过ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群，否则，限制ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量或者速率。
本发明的有益效果在于：接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集；根据数据集对全量更新消息的发送方的对应数据进行回调，能够主动得到数据集的最新数据信息，提高业务上的数据查询效率；在将最新数据写入ES集群之前，查询ES集群的负载水平，若负载水平低于预设值，则通过ES接入服务接口将数据集的最新数据信息更新至ES集群，否则限制ES接入服务接口将数据集的最新数据信息更新至ES集群的数量或者速率；因此通过主动回调发送方的预设数量的回调数据，便于根据ES集群资源情况进行主动控制，并且根据ES集群的负载水平确定最新数据写入集群的数量或者速率，能够在保证自身业务的前提下，减少ES集群的压力。
附图说明
图1为本发明实施例的一种数据更新方法的流程图；
图2为本发明实施例的一种数据更新终端的示意图；
图3为现有技术的ES集群的架构示意图；
图4为本发明实施例的一种数据更新方法的ES集群的架构示意图。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
请参照图1，本发明实施例提供了一种数据更新方法，包括步骤：
接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集；
根据所述数据集对所述全量更新消息的发送方的对应数据进行回调，得到所述数据集的最新数据信息；
判断所述ES集群的负载水平是否低于预设值，若是，则通过ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群，否则，限制ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量或者速率。
从上述描述可知，本发明的有益效果在于：接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集；根据数据集对全量更新消息的发送方的对应数据进行回调，能够主动得到数据集的最新数据信息，提高业务上的数据查询效率；在将最新数据写入ES集群之前，查询ES集群的负载水平，若负载水平低于预设值，则通过ES接入服务接口将数据集的最新数据信息更新至ES集群，否则限制ES接入服务接口将数据集的最新数据信息更新至ES集群的数量或者速率；因此通过主动回调发送方的预设数量的回调数据，便于根据ES集群资源情况进行主动控制，并且根据ES集群的负载水平确定最新数据写入集群的数量或者速率，能够在保证自身业务的前提下，减少ES集群的压力。
进一步地，所述接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集包括：
接收全量更新消息，根据ES集群所包含的资源量确定每次进行数据更新的预设数量；
根据所述ES集群中的数据的唯一标识，依次从所述ES集群中查询预设数量的数据，得到对应的数据集。
由上述描述可知，接收全量更新消息后，根据ES集群的资源量确定每次进行数据更新的预设数据量，并根据ES集群中的数据唯一标识，依次从ES集群中查询预设数量的数据，能够由ES集群自身的资源情况，对进行数据同步处理，从而在避免对ES集群造成较大的查询压力的同时，提高业务数据的查询效率。
进一步地，根据所述数据集对所述全量更新消息的发送方的对应数据进行回调，得到所述数据集的最新数据信息包括：
根据所述数据集中数据的唯一标识，从所述全量更新消息的发送方的回调接口回调对应的更新后的数据，得到数据集的最新数据信息。
由上述描述可知，根据数据集中数据的唯一标识，从全量更新消息的发送方的回调接口回调对应的更新后的数据，能够主动从发送方拉取更新数据，因此能够根据ES集群的自身资源情况进行主动控制，并且发送方只需要提供回调接口即可，不需要在每个发送方都编写一套主动同步数据的功能代码，减少工作量。
进一步地，所述限制ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量或者速率包括：
根据所述负载水平，减少ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量；
或者，在所述数据集的最新数据信息更新至所述ES集群之后，进入预设时长的休眠或者延迟。
由上述描述可知，当负载水平高于或者等于预设值时，根据负载水平较少更新至ES集群的数据量，或者在更新之后进入预设时长的休眠或者延迟，能够在高负载的情况下减少ES集群的压力。
进一步地，所述接收全量更新消息之前包括：
根据数据操作类型封装ES接入服务接口；
接收发送方发送的数据操作指令，根据所述数据操作指令调用对应的所述ES接入服务接口对ES集群进行数据操作。
由上述描述可知，通过根据数据操作类型封装ES接入服务接口，能够调用对应的ES接入服务接口对ES集群进行数据操作，便于对ES集群的操作进行统一管理，从而减少ES集群的压力。
请参照图2，本发明另一实施例提供了一种数据更新终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集；
根据所述数据集对所述全量更新消息的发送方的对应数据进行回调，得到所述数据集的最新数据信息；
判断所述ES集群的负载水平是否低于预设值，若是，则通过ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群，否则，限制ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量或者速率。
由上述描述可知，接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集；根据数据集对全量更新消息的发送方的对应数据进行回调，能够主动得到数据集的最新数据信息，提高业务上的数据查询效率；在将最新数据写入ES集群之前，查询ES集群的负载水平，若负载水平低于预设值，则通过ES接入服务接口将数据集的最新数据信息更新至ES集群，否则限制ES接入服务接口将数据集的最新数据信息更新至ES集群的数量或者速率；因此通过主动回调发送方的预设数量的回调数据，便于根据ES集群资源情况进行主动控制，并且根据ES集群的负载水平确定最新数据写入集群的数量或者速率，能够在保证自身业务的前提下，减少ES集群的压力。
进一步地，所述接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集包括：
接收全量更新消息，根据ES集群所包含的资源量确定每次进行数据更新的预设数量；
根据所述ES集群中的数据的唯一标识，依次从所述ES集群中查询预设数量的数据，得到对应的数据集。
由上述描述可知，接收全量更新消息后，根据ES集群的资源量确定每次进行数据更新的预设数据量，并根据ES集群中的数据唯一标识，依次从ES集群中查询预设数量的数据，能够由ES集群自身的资源情况，对进行数据同步处理，从而在避免对ES集群造成较大的查询压力的同时，提高业务数据的查询效率。
进一步地，根据所述数据集对所述全量更新消息的发送方的对应数据进行回调，得到所述数据集的最新数据信息包括：
根据所述数据集中数据的唯一标识，从所述全量更新消息的发送方的回调接口回调对应的更新后的数据，得到数据集的最新数据信息。
由上述描述可知，根据数据集中数据的唯一标识，从全量更新消息的发送方的回调接口回调对应的更新后的数据，能够主动从发送方拉取更新数据，因此能够根据ES集群的自身资源情况进行主动控制，并且发送方只需要提供回调接口即可，不需要在每个发送方都编写一套主动同步数据的功能代码，减少工作量。
进一步地，所述限制ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量或者速率包括：
根据所述负载水平，减少ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量；
或者，在所述数据集的最新数据信息更新至所述ES集群之后，进入预设时长的休眠或者延迟。
由上述描述可知，当负载水平高于或者等于预设值时，根据负载水平较少更新至ES集群的数据量，或者在更新之后进入预设时长的休眠或者延迟，能够在高负载的情况下减少ES集群的压力。
进一步地，所述接收全量更新消息之前包括：
根据数据操作类型封装ES接入服务接口；
接收发送方发送的数据操作指令，根据所述数据操作指令调用对应的所述ES接入服务接口对ES集群进行数据操作。
由上述描述可知，通过根据数据操作类型封装ES接入服务接口，能够调用对应的ES接入服务接口对ES集群进行数据操作，便于对ES集群的操作进行统一管理，从而减少ES集群的压力。
本发明的一种数据更新方法及终端，适用于所有ES存储场景的系统，能够自动的根据ES集群负载水平，智能的主动拉取数据，并更新至ES集群中，减少ES集群的压力，提高业务上的查询效率，以下通过具体的实施方式进行说明：
实施例一
请参照图1，一种数据更新方法，包括步骤：
S1、接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集。
其中，所述接收全量更新消息之前包括：
根据数据操作类型封装ES接入服务接口；
接收发送方发送的数据操作指令，根据所述数据操作指令调用对应的所述ES接入服务接口对ES集群进行数据操作。
具体的，请参照图3和图4，在本实施例的统一ES接入服务中，代理封装一层ES对外提供的接口，主要为增、删、改、查等功能的接口均封装一层代理接口，相较于现有技术中将各个服务直接连接ES集群，本实施例则直接调用ES接入服务接口。
其中，所述S1具体包括以下步骤：
接收全量更新消息，根据ES集群所包含的资源量确定每次进行数据更新的预设数量；
根据所述ES集群中的数据的唯一标识，依次从所述ES集群中查询预设数量的数据，得到对应的数据集。
具体的，当ES接入服务收到需要全量更新数据的消息时，由ES接入服务根据ES集群自身的资源情况确定获取数据的预设数量，从ES集群中批量查询出预设数量的一批数据的主键ID。
S2、根据所述数据集对所述全量更新消息的发送方的对应数据进行回调，得到所述数据集的最新数据信息。
其中，所述S2具体包括以下步骤：
根据所述数据集中数据的唯一标识，从所述全量更新消息的发送方的回调接口回调对应的更新后的数据，得到数据集的最新数据信息。
具体的，在本实施例中使用ES进行重要数据的存储，必须保证ES中数据结构与数据库中数据结构以及数据内容一致，这样就导致了当发送方，即服务，在数据库中新增一个字段时，为了保证一致性，ES中对应的数据结构需要变更，并且ES中的存量数据也需要同步进行更新处理。例如：A服务中的某个数据库新增加了一个字段，需要全量同步更新至ES集群中；A服务需要准备两件事情，一个是通知ES接入服务，A服务中的某个库表新增加一个字段，需要全量更新旧有ES集群中的数据；另一个是提供一个回调接口供ES接入服务回调使用，该回调接口主要功能为返回新增字段的那张库表的信息，以主键ID为查询条件，返回其相关的所有信息。
因此在保证自身业务的前提下，能够友好地支持数据更新的同步。
S3、判断所述ES集群的负载水平是否低于预设值，若是，则通过ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群，否则，限制ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量或者速率。
其中，所述限制ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量或者速率包括：
根据所述负载水平，减少ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量；
或者，在所述数据集的最新数据信息更新至所述ES集群之后，进入预设时间的休眠或者延迟。
具体的，存在一个ES监控服务，该服务将实时监控ES集群相关的数据信息，包括资源使用情况，内存使用情况，负载水平以及其他一些监控项；
当ES接入服务收到需要全量更新数据的消息时，每次会从ES集群中批量的查询出一批主键ID出来，根据这批ID信息回调A服务的回调接口，获取最新的字段信息。之后，在写入ES集群之前，会预先向ES监控服务中查询此时ES的负载情况，如果负载水平低于预设值，则可以直接写入ES集群中，否则会减少消息写入ES集群的数量，或者每次处理完进行一段时间的休眠或者延迟，或者只记录数据库，不进行相关处理；待ES集群负载水平低于预设值时，再次进行更新数据的操作。
因此本实施例采用一种重新封装ES接口功能，根据实时监控ES集群的负载水平数据，通过一种自身可控制的回调方式，主动地实现数据的回调查询，并更新至数据库中，有效减少ES集群的负载压力。
实施例二
请参照图2，一种数据更新终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例一的一种数据更新方法的各个步骤。
综上所述，本发明提供的一种数据更新方法及终端，接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集，其中预设数量根据ES集群的资源量确定，从而在避免对ES集群造成较大的查询压力；根据数据集对全量更新消息的发送方的对应数据进行回调，能够主动得到数据集的最新数据信息，提高业务上的数据查询效率，并且发送方只需要提供回调接口即可，不需要在每个发送方都编写一套主动同步数据的功能代码，减少工作量；在将最新数据写入ES集群之前，查询ES集群的负载水平，若负载水平低于预设值，则通过ES接入服务接口将数据集的最新数据信息更新至ES集群，否则限制ES接入服务接口将数据集的最新数据信息更新至ES集群的数量或者速率，其中在ES接入服务中封装ES接入服务接口，能够调用ES接入服务接口对ES集群进行数据操作，便于根据ES接入服务对ES集群的操作进行统一管理；因此通过主动回调发送方的预设数量的回调数据，便于根据ES集群资源情况进行主动控制，并且根据ES集群的负载水平确定最新数据写入集群的数量或者速率，能够在保证自身业务的前提下，减少ES集群的压力。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据更新方法，其特征在于，包括步骤：
接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集；
根据所述数据集对所述全量更新消息的发送方的对应数据进行回调，得到所述数据集的最新数据信息；
判断所述ES集群的负载水平是否低于预设值，若是，则通过ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群，否则，限制ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量或者速率。
2.根据权利要求1所述的一种数据更新方法，其特征在于，所述接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集包括：
接收全量更新消息，根据ES集群所包含的资源量确定每次进行数据更新的预设数量；
根据所述ES集群中的数据的唯一标识，依次从所述ES集群中查询预设数量的数据，得到对应的数据集。
3.根据权利要求2所述的一种数据更新方法，其特征在于，根据所述数据集对所述全量更新消息的发送方的对应数据进行回调，得到所述数据集的最新数据信息包括：
根据所述数据集中数据的唯一标识，从所述全量更新消息的发送方的回调接口回调对应的更新后的数据，得到数据集的最新数据信息。
4.根据权利要求1所述的一种数据更新方法，其特征在于，所述限制ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量或者速率包括：
根据所述负载水平，减少ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量；
或者，在所述数据集的最新数据信息更新至所述ES集群之后，进入预设时长的休眠或者延迟。
5.根据权利要求1至4中任一项所述的一种数据更新方法，其特征在于，所述接收全量更新消息之前包括：
根据数据操作类型封装ES接入服务接口；
接收发送方发送的数据操作指令，根据所述数据操作指令调用对应的所述ES接入服务接口对ES集群进行数据操作。
6.一种数据更新终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集；
根据所述数据集对所述全量更新消息的发送方的对应数据进行回调，得到所述数据集的最新数据信息；
判断所述ES集群的负载水平是否低于预设值，若是，则通过ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群，否则，限制ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量或者速率。
7.根据权利要求6所述的一种数据更新终端，其特征在于，所述接收全量更新消息，依次从ES集群中查询预设数量的数据，得到数据集包括：
接收全量更新消息，根据ES集群所包含的资源量确定每次进行数据更新的预设数量；
根据所述ES集群中的数据的唯一标识，依次从所述ES集群中查询预设数量的数据，得到对应的数据集。
8.根据权利要求7所述的一种数据更新终端，其特征在于，根据所述数据集对所述全量更新消息的发送方的对应数据进行回调，得到所述数据集的最新数据信息包括：
根据所述数据集中数据的唯一标识，从所述全量更新消息的发送方的回调接口回调对应的更新后的数据，得到数据集的最新数据信息。
9.根据权利要求6所述的一种数据更新终端，其特征在于，所述限制ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量或者速率包括：
根据所述负载水平，减少ES接入服务接口将所述数据集的最新数据信息更新至所述ES集群的数量；
或者，在所述数据集的最新数据信息更新至所述ES集群之后，进入预设时长的休眠或者延迟。
10.根据权利要求6至9中任一项所述的一种数据更新终端，其特征在于，所述接收全量更新消息之前包括：
根据数据操作类型封装ES接入服务接口；
接收发送方发送的数据操作指令，根据所述数据操作指令调用对应的所述ES接入服务接口对ES集群进行数据操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110980909.8A CN113760933B (zh) | 2021-08-25 | 2021-08-25 | 一种数据更新方法及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110980909.8A CN113760933B (zh) | 2021-08-25 | 2021-08-25 | 一种数据更新方法及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113760933A true CN113760933A (zh) | 2021-12-07 |
| CN113760933B CN113760933B (zh) | 2023-11-03 |
Family
ID=78791185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110980909.8A Active CN113760933B (zh) | 2021-08-25 | 2021-08-25 | 一种数据更新方法及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113760933B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015135370A1 (zh) * | 2014-03-13 | 2015-09-17 | 北京奇虎科技有限公司 | 一种数据更新的方法和系统 |
| CN108965381A (zh) * | 2018-05-31 | 2018-12-07 | 康键信息技术（深圳）有限公司 | 基于Nginx的负载均衡实现方法、装置、计算机设备和介质 |
| CN109582758A (zh) * | 2018-12-06 | 2019-04-05 | 重庆邮电大学 | 一种Elasticsearch索引分片优化方法 |
| CN109710406A (zh) * | 2018-12-21 | 2019-05-03 | 腾讯科技（深圳）有限公司 | 数据分配及其模型训练方法、装置、及计算集群 |
| CN110008257A (zh) * | 2019-04-10 | 2019-07-12 | 深圳市腾讯计算机系统有限公司 | 数据处理方法、装置、系统、计算机设备和存储介质 |
| CN110019363A (zh) * | 2017-12-11 | 2019-07-16 | 北京京东尚科信息技术有限公司 | 一种校验数据的方法和装置 |
| CN110019259A (zh) * | 2017-09-26 | 2019-07-16 | 亿阳信通股份有限公司 | 分布式索引服务引擎的数据更新方法、装置及存储介质 |
| CN110276025A (zh) * | 2019-06-27 | 2019-09-24 | 北京首汽智行科技有限公司 | 一种基于海量数据的热力图加载及展示方法 |
| CN111367672A (zh) * | 2020-03-05 | 2020-07-03 | 北京奇艺世纪科技有限公司 | 数据缓存方法、装置、电子设备及计算机存储介质 |
| CN111787073A (zh) * | 2020-06-18 | 2020-10-16 | 多加网络科技(北京)有限公司 | 一种统一服务的限流熔断平台及其方法 |
| CN112039979A (zh) * | 2020-08-27 | 2020-12-04 | 中国平安财产保险股份有限公司 | 分布式数据缓存管理方法、装置、设备及存储介质 |
| CN112328587A (zh) * | 2020-11-18 | 2021-02-05 | 山东健康医疗大数据有限公司 | ElasticSearch的数据处理方法和装置 |
| CN112799860A (zh) * | 2021-01-27 | 2021-05-14 | 浪潮云信息技术股份公司 | 基于消息队列和搜索引擎实现服务回调的方法 |
-
2021
- 2021-08-25 CN CN202110980909.8A patent/CN113760933B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015135370A1 (zh) * | 2014-03-13 | 2015-09-17 | 北京奇虎科技有限公司 | 一种数据更新的方法和系统 |
| CN110019259A (zh) * | 2017-09-26 | 2019-07-16 | 亿阳信通股份有限公司 | 分布式索引服务引擎的数据更新方法、装置及存储介质 |
| CN110019363A (zh) * | 2017-12-11 | 2019-07-16 | 北京京东尚科信息技术有限公司 | 一种校验数据的方法和装置 |
| CN108965381A (zh) * | 2018-05-31 | 2018-12-07 | 康键信息技术（深圳）有限公司 | 基于Nginx的负载均衡实现方法、装置、计算机设备和介质 |
| CN109582758A (zh) * | 2018-12-06 | 2019-04-05 | 重庆邮电大学 | 一种Elasticsearch索引分片优化方法 |
| CN109710406A (zh) * | 2018-12-21 | 2019-05-03 | 腾讯科技（深圳）有限公司 | 数据分配及其模型训练方法、装置、及计算集群 |
| CN110008257A (zh) * | 2019-04-10 | 2019-07-12 | 深圳市腾讯计算机系统有限公司 | 数据处理方法、装置、系统、计算机设备和存储介质 |
| CN110276025A (zh) * | 2019-06-27 | 2019-09-24 | 北京首汽智行科技有限公司 | 一种基于海量数据的热力图加载及展示方法 |
| CN111367672A (zh) * | 2020-03-05 | 2020-07-03 | 北京奇艺世纪科技有限公司 | 数据缓存方法、装置、电子设备及计算机存储介质 |
| CN111787073A (zh) * | 2020-06-18 | 2020-10-16 | 多加网络科技(北京)有限公司 | 一种统一服务的限流熔断平台及其方法 |
| CN112039979A (zh) * | 2020-08-27 | 2020-12-04 | 中国平安财产保险股份有限公司 | 分布式数据缓存管理方法、装置、设备及存储介质 |
| CN112328587A (zh) * | 2020-11-18 | 2021-02-05 | 山东健康医疗大数据有限公司 | ElasticSearch的数据处理方法和装置 |
| CN112799860A (zh) * | 2021-01-27 | 2021-05-14 | 浪潮云信息技术股份公司 | 基于消息队列和搜索引擎实现服务回调的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113760933B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7587400B2 (en) | Suspending a result set and continuing from a suspended result set for transparent session migration | |
| CN106506605B (zh) | 一种基于微服务架构的SaaS应用构建方法 | |
| US7546335B2 (en) | System and method for a data protocol layer and the transfer of data objects using the data protocol layer | |
| WO2018035799A1 (zh) | 数据查询方法、应用和数据库服务器、中间件及系统 | |
| JP2016500168A (ja) | アーカイブされたリレーションを有する連続クエリの管理 | |
| CN106021468B (zh) | 分布式缓存和本地缓存的更新方法和系统 | |
| CN112612799B (zh) | 一种数据同步方法及终端 | |
| WO2019109854A1 (zh) | 分布式数据库数据处理方法、装置、存储介质及电子装置 | |
| CN108073696B (zh) | 基于分布式内存数据库的gis应用方法 | |
| US7743333B2 (en) | Suspending a result set and continuing from a suspended result set for scrollable cursors | |
| CN112000350A (zh) | 一种动态规则更新方法、装置及存储介质 | |
| CN113885780A (zh) | 数据同步方法、装置、电子设备、系统和存储介质 | |
| CN113051271B (zh) | 一种冷热数据分离方法、装置及其设备 | |
| CN104391876A (zh) | 一种静态数据存储及查询方法及系统 | |
| CN114328626A (zh) | 多数据源动态切换方法、系统及存储介质 | |
| CN111414356A (zh) | 数据存储方法、装置、非关系数据库系统及存储介质 | |
| CN113111036A (zh) | 一种基于hdfs的小文件处理方法、装置、介质及电子设备 | |
| US7613710B2 (en) | Suspending a result set and continuing from a suspended result set | |
| CN113760933A (zh) | 一种数据更新方法及终端 | |
| CN110929126A (zh) | 一种基于远程过程调用实现的分布式爬虫调度方法 | |
| CN115630122A (zh) | 一种数据同步方法、装置、存储介质和计算机设备 | |
| CN114500289B (zh) | 控制平面恢复方法、装置、控制节点及存储介质 | |
| CN112416414A (zh) | 一种基于状态机的微服务架构容器化轻量级工作流系统 | |
| CN107102901B (zh) | 一种任务处理方法和装置 | |
| CN113051244B (zh) | 数据访问方法和装置、数据获取方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |