CN114969203A

CN114969203A - 数据实时同步方法、装置、设备及介质

Info

Publication number: CN114969203A
Application number: CN202210514011.6A
Authority: CN
Inventors: 刘阳; 郑昕
Original assignee: Shenzhen Wuyi Technology Co ltd
Current assignee: Shenzhen Wuyi Technology Co ltd
Priority date: 2022-05-11
Filing date: 2022-05-11
Publication date: 2022-08-30

Abstract

本发明涉及数据库技术领域，公开了数据实时同步方法、装置、设备及介质。该方法包括：获取更新请求，解析所述更新请求，得到数据库的更新数据，分析所述更新数据，得到更新内容信息，其中，所述更新内容信息为所述更新数据中被更新的内容信息，将所述更新内容信息发送至终端，实现仅选择更新内容信息进行反馈，达到数据更新的同时，还能有效降低数据库的计算压力。

Description

数据实时同步方法、装置、设备及介质

技术领域

本发明涉及数据库技术领域，尤其涉及数据实时同步方法、装置、设备及介质。

背景技术

用户在通过终端浏览数据库的数据时，传统的浏览方式是通过HTTP请求将需要的数据拉取下来，然后展示给用户。如果用户界面需要实时显示数据库的最新的数据，则传统的方式需要定时不断地通过HTTP请求调用来拉取数据，来展示最新数据，但这样会导致数据就算没有变更也会进行拉取，并且每次拉取都是全量拉取，把未变更的数据也拉取出，导致服务端数据库压力、计算压力、流量压力都很大，可能会使整个平台变得低效。

发明内容

本发明的主要目的在于解决现有更新数据采用全量获取的方式，加大服务端数据库的计算压力的技术问题。

本发明第一方面提供了一种数据实时同步方法，包括：

获取更新请求；

解析所述更新请求，得到数据库的更新数据；

分析所述更新数据，得到更新内容信息，其中，所述更新内容信息为所述更新数据中被更新的内容信息；

将所述更新内容信息发送至终端。

可选的，在本发明第一方面的第一种实现方式中，所述解析所述更新请求，得到更新数据包括：

获取所述更新请求的MD5摘要值；

判断所述MD5摘要值是否在SQL缓存命中；

若不命中，则对所述更新请求进行解析，得到抽象语法树，对所述抽象语法树进行解析，得到解析抽象语法树，对所述更新请求中拼接RETURNING子句，得到拓展更新请求，将所述拓展更新请求和所述解析抽象语法树储存到SQL缓存中；

若命中，则取出所述拓展更新请求以及所述解析抽象语法树；

根据所述拓展更新请求得到更新数据。

可选的，在本发明第一方面的第二种实现方式中，所述抽象语法树包括DDL、DML或DCL。

可选的，在本发明第一方面的第三种实现方式中，所述分析所述更新数据，得到更新内容信息包括：

根据所述解析抽象语法树，得到更新内容信息

可选的，在本发明第一方面的第四种实现方式中，所述将所述更新内容信息发送至终端包括：

读取所述更新内容信息的数据量；

判断所述数据量是否超过预置阈值；

若未超过阈值，则根据对应终端所支持的通信协议，将所述更新内容信息发送至终端中；

若超过阈值，则将所述更新内容信息进行分片，分割出多个信息片段，并在每个所述信息片段注入顺序标识，再根据对应终端所支持的通信协议，将每个所述信息片段按照所述顺序标识依次发送至终端中。

可选的，在本发明第一方面的第五种实现方式中，所述根据对应终端所支持的通信协议包括：

发送第一接入请求至终端，并判断终端是否响应；

若响应，则基于web-socket协议与终端建立通信，将所述更新内容信息发送至终端中；

若不响应，则发送第二接入请求，并判断终端是否响应；

若响应。则基于xhr-streaming协议与终端建立通信，将所述更新内容信息发送至终端中；

若不响应，则基于xhr-polling协议与终端建立通信，将所述更新内容信息发送至终端中。

本发明第二方面提供了一种数据实时同步的装置，包括：

获取模块，用于获取更新请求；

解析模块，用于解析所述更新请求，得到数据库的更新数据；

分析模块，用与分析所述更新数据，得到更新内容信息，其中，所述更新内容信息为所述更新数据中被更新的内容信息；

输送模块，用于将所述更新内容信息发送至终端。

本发明第三方面提供了一种数据实时同步的设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述数据实时同步的设备执行上述的数据实时同步方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的数据实时同步方法。

在本发明实施中，通过对更新请求进行解析，得到数据库的更新数据，并对该更新数据进行分析，分选出已更新的内容信息，并将已更新的内容信息反馈至终端，而未更新的内容信息不会被选出，因此实现仅选择已更新后的内容信息进行反馈，达到数据更新的同时，还能有效降低数据库的计算压力。

附图说明

图1为本发明实施例中数据实时同步方法的第一个实施例示意图；

图2为本发明实施例中数据实时同步方法的第二个实施例示意图；

图3为本发明实施例中数据实时同步方法的第三个实施例示意图；

图4为本发明实施例中数据实时同步方法的第四个实施例示意图；

图5为本发明实施例中数据实时同步的装置的一个实施例示意图；

图6为本发明实施例中数据实时同步的设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种数据实时同步方法、装置、设备及介质。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等如果存在是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中数据实时同步方法的一个实施例包括：

10、获取更新请求；

20、解析更新请求，得到数据库的更新数据；

进一步的，请参阅附图2，在步骤20中还包括：

201、获取更新请求的MD5摘要值；

202、判断MD5摘要值是否在SQL缓存命中；

203、若不命中，则对更新请求进行解析，得到抽象语法树，对抽象语法树进行解析，得到解析抽象语法树，对更新请求中拼接RETURNING子句，得到拓展更新请求，将拓展更新请求和解析抽象语法树储存到SQL缓存中；

204、若命中，则取出拓展更新请求以及解析抽象语法树；

205、根据拓展更新请求得到更新数据。

在201-205步骤中，更新请求为SQL语句，在将该SQL语句输送至数据库中并执行的工程中，需要对该SQL语句进行哈希值验证，其中哈希值的取值算法采用的是MD5摘要算法，通过验证MD5摘要值，判断该SQL语句是否在SQL缓存中存在或命中，若没有命中，便通过内置的SQL解析器对该SQL语句进行解析，得到抽象语法树，并再对抽象语法树进行解析，其中，抽象语法树包括DDL、DML或DCL，在该SQL语句中拼接上PostgreSQL语法中的RETURNING子句，得到拓展更新请求，用于帮助在执行该SQL语句后的结果中返回影响到的数据，为了方便下一次执行到相同MD5摘要值的更新请求直接从数据库中抓取数据，而不用再次经过解析步骤，便将拓展更新请求以及解析抽象语法树储存到SQL缓存中，在确定该SQL语句的MD5摘要值被SQL缓存命中后，便直接在SQL缓存中取出早已拓展更新请求和解析抽象语法数，有效减少重复工作，提高响应效率。

30、分析更新数据，得到更新内容信息，其中，更新内容信息为更新数据中被更新的内容信息；

进一步的，在步骤30中还包括：

301、根据解析抽象语法树，得到更新内容信息。

在本实施例中，解析抽象语法树中，如果是DDL，则可知道数据中对应哪些表的信息或表结构被修改；如果是DML，则可知道数据中将要操纵哪些表，以及数据的增删或修改；如果是DCL，则可知道将会有哪些用户的角色、权限发生变化，通过分析，便可快速确定数据在哪些地方进行更新，并将其整合成更新内容信息。

40、将更新内容信息发送至终端。

进一步的，请参阅附图3，在步骤40中还包括：

401、读取更新内容信息的数据量；

402、判断数据量是否超过预置阈值；

在401-402步骤中，更新内容信息的数据量同样存在大小，大量的数据更新同样会使得响应速度变慢，因此为了进一步确保数据能够实时同步，且响应快速，便在服务器内事先预置阈值。

403、若未超过阈值，则根据对应终端所支持的通信协议，将更新内容信息发送至终端中；

404、若超过阈值，则将更新内容信息进行分片，分割出多个信息片段，并在每个信息片段注入顺序标识，再根据对应终端所支持的通信协议，将每个信息片段按照顺序标识依次发送至终端中。

在403-404的步骤中，通过判断所更新的数据量是否超过该预置阈值，若未超过阈值，则数据量不影响数据的实时同步，若超过阈值，则对更新内容信息进行分片，使得每次数据量减低，提高传输效率，这处分片采用连续范围分区，可以使得key值上相邻的两个更新数据在储存上也基本是在同一个数据段上，因此在这个数据段中的分片只需要记录开始点和结束点便可，降低映射次数，平衡服务器的负载，同时也能保证数据的完整性。

进一步的，在“根据对应终端所支持的通信协议”具体可以执行：

4051、发送第一接入请求至终端，并判断终端是否响应；

4052、若响应，则基于web-socket协议与终端建立通信，将更新内容信息发送至终端中；

4053、若不响应，则发送第二接入请求，并判断终端是否响应；

4054、若响应。则基于xhr-streaming协议与终端建立通信，将更新内容信息发送至终端中；

4055、若不响应，则基于xhr-polling协议与终端建立通信，将更新内容信息发送至终端中。

在4051-4055步骤中，由于终端设备中安装的协议各异，为了能够有最佳的通信，同一对所有设备请求接入web-socket协议，由于web-socket协议的头部信息很小，因此实际有效数据占比高，所消耗的带宽较低，以及与终端建立通信协议后，仅需要一次HTTP请求，实现回调，有效解决数据存在延迟的问题，而在终端对第一接入请求没有响应时，便重新发送第二接入请求，如此反复，其中，协议的连接递减的顺序依次为xhr-streaming协议、xhr-streaming协议和xhr-polling协议，遵循能建立连接时，确保协议能够实现低带宽、低延迟，若不能，则确保能够与终端建立连接，以确保在通信的稳定性的前提下，在实现低带宽、低延迟的数据更新。

在本发明的实施例中，通过对更新请求进行解析，得到数据库的更新数据，并对该更新数据进行分析，分选出已更新的内容信息，并将已更新的内容信息反馈至终端，而未更新的内容信息不会被选出，因此实现仅选择已更新后的内容信息进行反馈，达到数据更新的同时，还能有效降低数据库的计算压力。

上面对本发明实施例中数据实时同步方法进行了描述，下面对本发明实施例中数据实时同步的装置进行描述，请参阅图5，本发明实施例中数据实时同步的装置一个实施例包括：

获取模块501，用于获取更新请求；

解析模块502，用于解析更新请求，得到数据库的更新数据；

分析模块503，用于分析更新数据，得到更新内容信息，其中，更新内容信息为更新数据中被更新的内容信息；

输送模块504，用于将更新内容信息发送至终端。

本发明实施例中，通过对更新请求进行解析，得到数据库的更新数据，并对该更新数据进行分析，分选出已更新的内容信息，并将已更新的内容信息反馈至终端，而未更新的内容信息不会被选出，因此实现仅选择已更新后的内容信息进行反馈，达到数据更新的同时，还能有效降低数据库的计算压力。

本发明实施例中数据实时同步的装置的另一个实施例包括：

获取模块501，用于获取更新请求；

解析模块502，用于解析更新请求，得到数据库的更新数据；

输送模块504，用于将更新内容信息发送至终端。

可选的，解析模块502还可以具体用于：

获取更新请求的MD5摘要值；

判断MD5摘要值是否在SQL缓存命中；

若不命中，则对更新请求进行解析，得到抽象语法树，对抽象语法树进行解析，得到解析抽象语法树，对更新请求中拼接RETURNING子句，得到拓展更新请求，将拓展更新请求和解析抽象语法树储存到SQL缓存中；

若命中，则取出拓展更新请求以及解析抽象语法树；

根据拓展更新请求得到更新数据。

可选的，分析模块503还可以具体用于：

根据所述解析抽象语法树，得到更新内容信息。

可选的，输送模块504还可以具体用于：

读取更新内容信息的数据量；

判断数据量是否超过预置阈值；

若未超过阈值，则根据对应终端所支持的通信协议，将更新内容信息发送至终端中；

若超过阈值，则将更新内容信息进行分片，分割出多个信息片段，并在每个信息片段注入顺序标识，再根据对应终端所支持的通信协议，将每个信息片段按照顺序标识依次发送至终端中。

可选的，“根据对应终端所支持的通信协议”还可以具体执行：

发送第一接入请求至终端，并判断终端是否响应；

若响应，则基于web-socket协议与终端建立通信，将更新内容信息发送至终端中；

若不响应，则发送第二接入请求，并判断终端是否响应；

若响应。则基于xhr-streaming协议与终端建立通信，将更新内容信息发送至终端中；

若不响应，则基于xhr-polling协议与终端建立通信，将更新内容信息发送至终端中。

上面图5从模块化功能实体的角度对本发明实施例中的数据实时同步的装置进行详细描述，下面从硬件处理的角度对本发明实施例中数据实时同步的设备进行详细描述。

图6是本发明实施例提供的一种数据实时同步的设备的结构示意图，该数据实时同步的设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器central processing units，CPU610例如，一个或一个以上处理器和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630例如一个或一个以上海量存储设备。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块图示没标出，每个模块可以包括对数据实时同步的设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在数据实时同步的设备600上执行存储介质630中的一系列指令操作。

基于数据实时同步的设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的数据实时同步的设备结构并不构成对基于数据实时同步的设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于数据实时同步方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备可以是个人计算机，服务器，或者网络设备等执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器read-only memory，ROM、随机存取存储器random access memory，RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种数据实时同步方法，其特征在于，包括：

获取更新请求；

解析所述更新请求，得到数据库的更新数据；

将所述更新内容信息发送至终端。

2.根据权利要求1所述的数据实时同步方法，其特征在于，所述解析所述更新请求，得到更新数据包括：

获取所述更新请求的MD5摘要值；

判断所述MD5摘要值是否在SQL缓存命中；

根据所述拓展更新请求得到更新数据。

3.根据权利要求2所述的数据实时同步方法，其特征在于，所述抽象语法树包括DDL、DML或DCL。

4.根据权利要求3所述的数据实时同步方法，其特征在于，所述分析所述更新数据，得到更新内容信息包括：

根据所述解析抽象语法树，得到更新内容信息。

5.根据权利要求1所述的数据实时同步方法，其特征在于，所述将所述更新内容信息发送至终端包括：

读取所述更新内容信息的数据量；

判断所述数据量是否超过预置阈值；

6.根据权利要求5所述的数据实时同步方法，其特征在于，所述根据对应终端所支持的通信协议包括：

发送第一接入请求至终端，并判断终端是否响应；

若不响应，则发送第二接入请求，并判断终端是否响应；

7.一种数据实时同步的装置，其特征在于，包括：

获取模块，用于获取更新请求；

输送模块，用于将所述更新内容信息发送至终端。

8.一种数据实时同步的设备，其特征在于，所述设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述设备执行如权利要求1-6中任一项所述的数据实时同步方法。

9.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的数据实时同步方法。