CN117827980B - 一种基于分布式链路的es数据跨网闸交换方法 - Google Patents

Abstract

本发明公开一种基于分布式链路的ES数据跨网闸交换方法，包括以下步骤：S1、推送ES操作的操作记录至同步接收子应用，同步接收子应用将操作记录存入关系数据库的ES操作记录表；S2、在网闸中配置ES操作记录表的同步，进行数据摆渡；S3、同步执行子应用读取ES操作记录表，解析操作记录并执行对ES索引库的操作；为保证网闸两侧ES数据的一致性，因ES不支持事务，对操作记录集合内操作记录的执行异常情况，增加一致性处理机制；S4、同步执行子应用执行完成后，删除ES操作表中操作记录；S5、网闸反向摆渡ES操作记录表，删除已完成的ES数据交换记录。

Description

一种基于分布式链路的ES数据跨网闸交换方法

技术领域

本发明属于数据同步技术领域，特别是关于一种基于分布式链路追踪技术实现Elasticsearch（后续简称ES）数据跨网闸交换一致性的系统及方法。

背景技术

在一些主要用于机关非涉密公文、信息的传递和业务流转的网络中，其与国际互联网不是通过传统的防火墙来隔离，而是通过网闸，限制信息交换的方式为数据“摆渡”，以便实现公共服务和内部业务流转。在政务专网或类似网络，网闸“摆渡”是必不可少的环节，而数据的一致性要求，目前仍缺乏技术解决方案来实现和满足。

对于文档和关系型数据库的数据交换技术，在网闸中的应用已经非常成熟。而针对ES的数据交换，通用做法是利用文档或关系数据库作为暂存媒介，通过网闸“摆渡”后，再利用程序进行相应的数据解析完成入库。此方式在单体架构应用中使用，问题较少，因为其涉及数据的操作都在内部执行，通过事务机制实现回滚较容易。

随着技术的不断进步与发展，政务行业中的单体架构应用正在逐渐被淘汰，而微服务架构应用正在被越来越多的场景所采纳。相应的ES、Redis、Mongodb、等NoSql数据库也被越来越多的应用在微服务架构中，但是，在微服务架构中，一次操作可能存在多个服务进行ES数据的操作，出现问题后，难以回滚，且可能无法准确得知受影响数据的关联性。

特别在全文检索领域，ES相比关系型数据库，在检索性能、数据量级、等方面具有压倒性的优势，通过网闸实现ES数据的交换也成为一个必需解决的技术难点。

发明内容

针对上述技术问题，本发明公开了一种基于分布式链路的ES数据跨网闸交换方法，利用网闸的“摆渡”能力，完成ES数据的搬运，结合分布式链路追踪技术，建立ES数据入索引库操作的顺序性和关联性，进而实现ES操作数据的完整搬运及异常回退。

为达到上述目的，本发明采用的技术方案为：一种基于分布式链路的ES数据跨网闸交换方法，包括以下步骤：

S1、推送ES操作的操作记录至同步接收子应用；

ES操作的操作记录的属性包括：操作类型、操作对象、traceid、spanid、pspanid；

操作类型为新增、修改和删除；

操作对象为相应的ES索引库名称；

traceid在分布式链路追踪中，用于标识具体的请求ID；

spanid在分布式链路追踪中，用于标识一次调用在分布式请求中的位置；

pspanid在分布式链路追踪中，用于标识上游调用在分布式请求中的位置；

S2、在网闸中配置ES操作记录的同步规则，由网闸进行数据摆渡；

S3、同步执行子应用基于分布式链路特性读取ES操作记录表，解析操作记录并执行对ES索引库的操作；基于分布式链路的一致性处理：以traceid为分组，将同一请求内的所有ES操作记录进行汇聚，再对同一traceid中的spanid和pspanid按父子、子孙层级递进关系进行递归操作；通过重试机制，消除非程序因素导致的执行失败；确保一个分组内所有操作执行成功时才称为成功；这种方式的特点一是通过traceid、spanid、pspanid保证执行顺序不错；二是通过重试机制来提高跨网闸交换的成功率；

S4、同步执行子应用执行完成后，删除ES操作记录；

S5、网闸反向摆渡ES操作记录的删除操作，删除已完成的ES数据交换记录。

进一步的，推送ES操作记录至同步接收子应用的方法为：

S11、将ES同步操作调用封装为SDK，用于推送ES操作记录；

S12、同步接收子应用引入SDK，在ES操作处进行API调用。

作为另一种方式，应用开发者也可根据API的入参自行封装相应的调用方法，而不引入SDK。同步接收子应用引入根据API的入参封装的调用方法，在ES操作处进行API调用。

进一步的，同步接收子应用主要用途是基于关系型数据库对ES操作记录进行管理，包括创建ES操作记录表和ES操作信息的增删改查。同步接收子应用收到ES操作记录后，送入MQ队列，实现记录异步写入关系数据库的ES操作记录表，ES操作记录表主键uid为32位uuid；同步接收子应用还包括关系型数据库操作，引入ORM框架，用于适配不同的数据库；引入数据库连接池组件，提升操作数据库的性能。

进一步的，同步执行子应用主要功能为读取ES操作记录、解析操作记录和操作ES索引库，具体步骤为：

读取ES操作记录：同步执行子应用获取网闸搬运的操作记录，按traceid分组和操作时间升序排序，按traceid分组的目的是获取一次请求操作的所有ES操作记录；根据spanid和pspanid先后顺序组织成一个操作记录集合，用于解析和执行。

进一步的，解析操作记录和操作ES索引库：获取一个操作记录集合后，按顺序分别解析操作类型，进行相应执行。为保证网闸两侧ES数据的一致性，因ES不支持事务，对操作记录集合内操作记录的执行异常情况，需增加一致性处理机制，具体为：

若操作记录集合内只有一条操作记录，执行时出现异常，则进行若干次重复执行，若若干次执行均失败，将操作记录存入失败记录表，做持久化存储，同时删除ES操作记录；

若操作记录集合内含有多条操作记录，第一条操作记录执行异常，则进行若干次重复执行，若若干次执行均失败，将第一条操作记录集合存入失败记录表，做持久化存储，同时删除ES操作记录；第二条至最后一条中任意一项执行异常，且若干次重复执行均失败，根据spanid和pspanid对已执行记录进行撤回操作，直至spanid为0止，将操作记录集合存入失败队列，做持久化存储，同时删除ES操作记录。如果摆渡的是关系数据库的ES操作记录表，即是删除ES操作表记录中的操作记录集合。

进一步的，ES操作记录的属性还包括dataid、databiz；dataid为被操作数据的唯一标识；databiz为操作数据的明细。

获取一个操作记录集合后，按顺序分别解析和执行，得到操作类型、操作对象、dataid、databiz；解析操作类型，进行相应执行：

新增、修改：将解析获得的操作对象、dataid和databiz，作为索引库访问对象中新增和修改函数的参数，执行相应的函数，完成ES索引库数据的更改；

删除：将解析获得的操作对象和dataid，作为索引库访问对象中删除函数的参数，执行删除函数，完成ES索引库数据的删除。

进一步的，上述失败队列可视为另一个操作记录表，里面数据的最小单位为操作记录集合。通过独立的定时任务，重新对失败队列的操作记录集合进行解析操作记录和操作ES索引库，可对失败记录继续进行尝试，此方式可解决因网络、磁盘、ES等支撑软件导致的问题。对某些特殊情况，程序无法完成补偿操作，即执行始终失败，提供提醒，支持短信、邮件等，让人工参与处理。

进一步的，为了避免失败队列的数据因延迟造成脏数据，定时任务执行前，根据dataid查询是否有新的操作记录，如有，则放弃执行并从失败队列中删除；如无，继续执行，成功或失败触发提醒后从失败队列中删除。

进一步的，部分业务中，ES数据必须以关系数据库中记录的存在情况为前提。因此，在操作ES索引库前根据dataid和traceid去查询数据库表中记录，根据存在情况来判定集合是立即执行，还是延后执行。新增操作和修改操作：存在情况为存在则立即执行，否则放入延迟队列，延迟执行；删除操作：存在情况为不存在则立即执行，否则放入延迟队列，延迟执行。

进一步的，延迟队列可视为另一个操作记录表，里面数据的最小单位为操作记录集合。通过定时任务，重新对延迟队列的操作记录集合进行解析操作记录和操作ES索引库。为了避免延迟队列的数据因延迟执行造成脏数据，定时任务执行前，根据dataid查询是否有新的操作记录，如有，则放弃执行并从延迟队列中删除推迟执行的操作记录集合；如无，继续执行并从延迟队列中删除。

本发明具有以下有益效果：本发明提供了微服务架构下微服务应用中ES数据在专网中“摆渡”的解决办法；

本发明充分利用分布式链路追踪、“网闸”和关系数据库的特性，进而完成ES数据的“摆渡”，具备轻量级、低侵入、易接入、高可靠的特点。本发明在ES数据单向“摆渡”，速度快，能达到秒级；

本发明中的应用支持分布式部署，能满足大数据量“搬运”场景。本发明的技术方案，为微服务应用中使用的其他NOSQL数据库，如Redis、Mongodb在政务专网“摆渡”的实现，提供了技术解决方案参考。

附图说明

图1为本发明实施例的ES数据在专网和互联网之间通过网闸“摆渡”实现交换的示意图。

图2为本发明实施例的同步执行子应用进行ES数据解析和执行的流程图。

图3为本发明实施例的同步执行子应用中延迟队列处理的流程图。

图4为本发明实施例的同步执行子应用中失败队列处理的流程图。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明。

本实施例的一种基于分布式链路的ES数据跨网闸交换方法，包括以下步骤：

S1、封装ES同步操作调用为组件，即SDK，用于推送ES操作记录。开发一个工具类，包含一个推送记录的方法，入参有：所属服务、操作类型、操作对象、traceid、spanid、pspanid、dataid、databiz。前述方法中还需封装http操作，最后将该工具类和所需依赖包打成一个可供外部程序直接引用的SDK包。

S2、应用引入SKD，在ES操作处调用推送记录方法，该方法通过http方式，调用同步接收子应用的API，推送记录操作信息至同步接收子应用，后者将操作信息存入关系数据库的ES操作记录表。应用也可不引入SDK，自行根据同步接收子应用的API，编写相应的调用代码。API入参具体为：所属服务、操作类型、操作对象、traceid、spanid、pspanid、dataid、databiz。

操作类型；有新增、修改和删除，可分别用A、M和D字母表示；

操作对象：为相应的ES索引库名称；

traceid：在分布式链路追踪中，用于标识某一次具体的请求ID，全局唯一。通过traceid就可以把一次用户请求在系统中调用的路径串联起来；

spanid：在分布式链路追踪中，用于标识一次调用在分布式请求中的位置；

pspanid：在分布式链路追踪中，用于标识上游调用在分布式请求中的位置；

dataid：为被操作数据的唯一标识；

databiz：为操作数据的明细，为一个json格式的字符串，key-value形式，操作类型为删除时值为空。

在微服务架构中，分布式链路追踪可使用zipkin、Opentracing、SkyWalking、等，在微服务应用中可方便地获取本次请求操作的traceid、spanid和pspanid。

同步接收子应用在收到ES操作记录后，送入MQ队列，实现记录异步写入关系数据库的ES操作记录表，表主键uid为32位uuid。同步接收子应用还包含关系型数据库操作，引入jpa、mybatis等任一ORM框架，用于适配不同的数据库；引入数据库连接池组件，提升操作数据库的性能。

S3、事前在网闸中配置ES操作记录表的同步规则：主键uid、双向同步。网闸自行进行数据“摆渡”。

S4、如图2，同步执行子应用，读取ES操作表记录，解析操作信息并执行对ES索引库的操作。具体步骤为：

S41、读取ES操作表记录：从操作记录表中查询记录，按traceid分组和操作时间升序排序。

按traceid分组的目的是获取一次请求操作的所有ES操作记录，根据spanid和pspanid组织先后顺序组织成一个操作记录集合，用于解析和执行；

S42、解析操作记录和操作ES索引库：获取一个操作记录集合后，按顺序分别解析和执行，得到如下：所属服务、操作类型、操作对象、dataid、databiz；

根据所属服务获得其对应的索引库访问对象，根据解析操作类型，进行相应执行：

新增、修改：将解析获得的操作对象、dataid和databiz，作为前述的索引库访问对象中新增和修改函数的参数，执行相应的函数，完成ES索引库数据的更改；

删除：将解析获得的操作对象和dataid，作为前述的索引库访问对象中删除函数的参数，执行该函数，完成ES索引库数据的删除。

为保证网闸两侧ES数据的一致性，因ES不支持事务，对操作记录集合内操作记录的执行异常情况，需增加一致性处理机制，具体为：

若操作记录集合内只有一条操作记录，执行时出现异常，会进行若干次重复执行，若始终失败，将该条记录存入失败记录表，做持久化存储，同时删除ES操作表记录中该数据；

若操作记录集合内含有多条操作记录，第一条记录执行异常，会进行若干次重复执行，若始终为失败，将该记录集合存入失败记录表，做持久化存储，同时删除ES操作表记录中数据；第二条至最后一条中任意执行异常，且若干次重试失败，根据spanid和pspanid对已执行记录进行撤回操作，直至spanid为0止，将该记录集合存入失败队列，做持久化存储，同时删除ES操作表记录中数据。

S43、为满足部分业务中ES数据必须以关系数据库中记录的存在情况为前提。在操作记录集合前需根据dataid和traceid去查询数据库表中记录，根据存在情况来判定集合是立即执行，还是延后执行。新增和修改操作需存在才可执行，否则放入延迟队列；删除操作需数据库表中记录不存在才可执行，否则放入延迟队列。

S44、如图3延迟队列可视为另一个操作记录表，里面数据的最小单位为操作记录集合。通过独立的任务重新对集合进行解析操作记录和操作ES索引库。为了避免延迟队列的数据因延迟执行造成脏数据，定时任务执行前，会根据dataid查询ES操作记录表是否有新的操作记录，如有，则放弃执行并从延迟队列中删除；如无，继续执行并延迟队列中删除。

S45、如图4失败队列可视为另一个操作记录表，里面数据的最小单位为操作记录集合。通过独立的任务重新对集合进行解析操作记录和操作ES索引库，可对失败记录继续进行尝试，此方式可解决因网络、磁盘、ES等支撑软件导致的问题；对某些特殊情况，程序无法完成补偿操作，即执行始终失败，提供提醒接口，支持短信、邮件、钉钉、微信等外部系统接入，让人工参与处理。

为了避免失败队列的数据因延迟造成脏数据，定时任务执行前，会根据dataid查询ES操作记录表是否有新的操作记录，如有，则放弃执行并从失败队列中删除；如无，继续执行，成功或失败触发提醒后从失败队列中删除。

S5、同步执行子应用执行完成后，根据traceid删除ES操作表中操作记录。

S6、网闸反向“摆渡”ES操作表记录，根据traceid删除已完成的ES数据交换记录。

以上的实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (10)

1.一种基于分布式链路的ES数据跨网闸交换方法，其特征在于，包括以下步骤：

S1、推送ES操作记录至同步接收子应用；

ES操作记录的属性包括：操作类型、操作对象、traceid、spanid、pspanid；

操作类型为新增、修改和删除；

操作对象为相应的ES索引库名称；

traceid在分布式链路追踪中，用于标识具体的请求ID；

spanid在分布式链路追踪中，用于标识一次调用在分布式请求中的位置；

pspanid在分布式链路追踪中，用于标识上游调用在分布式请求中的位置；

S2、在网闸中配置ES操作记录的同步规则，由网闸进行数据摆渡；

S3、同步执行子应用基于分布式链路特性读取ES操作记录，解析操作记录并执行对ES索引库的操作，实现数据跨网闸交换一致性；

基于分布式链路的一致性处理：以traceid为分组，将同一请求内的所有ES操作记录进行汇聚，再对同一traceid中的spanid和pspanid按父子、子孙层级递进关系进行递归操作；通过重试机制，消除非程序因素导致的执行失败；

S4、同步执行子应用执行完成后，删除ES操作记录；

S5、网闸反向摆渡ES操作记录的删除操作，删除已完成的ES操作记录。

2.根据权利要求1所述的基于分布式链路的ES数据跨网闸交换方法，其特征在于，推送ES操作记录至同步接收子应用的方法为：

S11、将ES同步操作调用封装为SDK，用于推送操作记录；

S12、同步接收子应用引入SDK，在ES操作处进行API调用。

3.根据权利要求1所述的基于分布式链路的ES数据跨网闸交换方法，其特征在于，推送ES操作记录至同步接收子应用的方法为：

同步接收子应用引入根据API的入参封装的调用方法，在ES操作处进行API调用。

4.根据权利要求1所述的基于分布式链路的ES数据跨网闸交换方法，其特征在于：同步接收子应用收到ES操作记录后，送入MQ队列，实现记录异步写入关系数据库的ES操作记录表；同步接收子应用还包括关系型数据库操作，引入ORM框架、数据库连接池组件。

5.根据权利要求1或4所述的基于分布式链路的ES数据跨网闸交换方法，其特征在于，读取ES操作记录：

同步执行子应用获取网闸搬运的操作记录，按traceid分组和操作时间升序排序，取出操作记录，根据spanid和pspanid先后顺序组织成一个操作记录集合。

6.根据权利要求1或4所述的基于分布式链路的ES数据跨网闸交换方法，其特征在于，解析操作记录和操作ES索引库：

获取一个操作记录集合后，按顺序分别解析操作类型，进行相应执行：

若操作记录集合内只有一条操作记录，执行时出现异常，则进行若干次重复执行，若若干次执行均失败，将操作记录存入失败记录表，做持久化存储，同时删除ES操作记录；

若操作记录集合内含有多条操作记录，第一条操作记录执行异常，则进行若干次重复执行，若若干次执行均失败，将第一条操作记录集合存入失败记录表，做持久化存储，同时删除ES操作记录；第二条至最后一条中任意一项执行异常，且若干次重复执行均失败，根据spanid和pspanid对已执行记录进行撤回操作，直至spanid为0止，将操作记录集合存入失败队列，做持久化存储，同时删除ES操作记录。

7.根据权利要求6所述的基于分布式链路的ES数据跨网闸交换方法，其特征在于：

ES操作记录的属性还包括dataid、databiz；

dataid为被操作数据的唯一标识；

databiz为操作数据的明细；

获取一个操作记录集合后，按顺序分别解析和执行，得到操作类型、操作对象、dataid、databiz；

解析操作类型，进行相应执行：

新增、修改：将解析获得的操作对象、dataid和databiz，作为索引库访问对象中新增和修改函数的参数，执行相应的函数，完成ES索引库数据的更改；

删除：将解析获得的操作对象和dataid，作为索引库访问对象中删除函数的参数，执行删除函数，完成ES索引库数据的删除。

8.根据权利要求7所述的基于分布式链路的ES数据跨网闸交换方法，其特征在于：

通过定时任务，重新对失败队列的操作记录集合进行解析操作记录和操作ES索引库；定时任务执行前，根据dataid查询是否有新的ES操作记录，如有，则放弃执行并从失败队列中删除；如无，继续执行，成功或失败触发提醒后从失败队列中删除。

9.根据权利要求7所述的基于分布式链路的ES数据跨网闸交换方法，其特征在于：

在操作ES索引库前，根据dataid和traceid去查询数据库表中记录，根据存在情况来判定集合是立即执行，还是延后执行；

新增操作和修改操作：存在情况为存在则立即执行，否则放入延迟队列，延迟执行；

删除操作：存在情况为不存在则立即执行，否则放入延迟队列，延迟执行。

10.根据权利要求9所述的基于分布式链路的ES数据跨网闸交换方法，其特征在于：

通过定时任务，重新对延迟队列的操作记录集合进行解析操作记录和操作ES索引库；定时任务执行前，根据dataid查询是否有新的操作记录，如有，则放弃执行并从延迟队列中删除操作记录集合；如无，继续执行并从延迟队列中删除推迟执行的操作记录集合。