CN111767297A - 大数据处理方法、装置、设备及介质 - Google Patents

Abstract

本发明涉及大数据领域，提供一种大数据处理方法、装置、设备及介质，所述方法包括：实时接收到当前时刻的包含多个指令数据的疫情大数据集群；将所有指令数据区分为移动查询数据、网页查询数据和更新数据；同步执行移动查询操作、网页查询操作和数据更新操作；将相同的当前时刻的移动查询语句和网页查询语句记录为共有查询语句；通过共享网管中心判断移动查询结果以及网页查询结果是否一致；若不一致，通过共享网管中心根据更新时间进行校对并更新；通过共享网管中心，向第一客户端发送移动查询结果，同时向第二客户端发送网页查询结果；确认疫情大数据集群处理完成。本发明实现了自动校对，优化了数据库性能，提高了查询结果的准确性。

Description

大数据处理方法、装置、设备及介质

技术领域

本发明涉及大数据的数据处理领域，尤其涉及一种大数据处理方法、装置、设备及介质。

背景技术

在疫情期间，全国各地的用户无时无刻都需要关注疫情数据，用户通过各种方式实时查询或者更新当前的疫情数据，查询的方式有通过移动手机中的应用程序软件查询，也有通过访问网页查询，而且全国各地的医务人员还需要实时更新当地的疫情数据，所以同一时刻会存在对于疫情数据的大批量查询数据以及更新数据的操作，MYSQL数据库面对大批量查询数据以及更新数据的操作是十分吃力的，大大降低了MYSQL数据库的性能，往往会导致查询数据延时或者更新数据延时的情况，甚至会导致宕机，造成疫情数据未能及时提供给用户，用户就会抱怨连连，严重用户体验满意度差。

发明内容

本发明提供一种大数据处理方法、装置、计算机设备及存储介质，实现了通过利用数据库分流能够快速查询到疫情结果，并通过共享网管中心对同一时刻的来自不同客户端的查询结果进行自动校对，能够加快疫情查询速度，提高了查询结果的准确性，从而提升了用户体验满意度。

一种大数据处理方法，包括：

实时接收到当前时刻的疫情大数据集群；所述疫情大数据集群包含多个指令数据；

将所有所述指令数据区分为移动查询数据、网页查询数据和更新数据；所述移动查询数据包括移动查询语句；所述网页查询数据包括网页查询语句；

同步执行移动查询操作、网页查询操作和数据更新操作；所述移动查询操作是指在第一移动查询数据库中查询到与所述移动查询数据对应的移动查询结果；所述网页查询操作是指在第一网页查询数据库查询到与各所述网页查询数据对应的网页查询结果；所述数据更新操作是指在所述更新数据更新至MYSQL数据库之后，获得与所述更新数据对应的执行结果时，向与所述执行结果对应的客户端发送该执行结果；

将相同的所述当前时刻的所述移动查询语句和所述网页查询语句记录为共有查询语句；

通过共享网管中心判断与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果是否一致；

若与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果不一致，通过所述共享网管中心对与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果进行校对，并根据所述校对结果更新与所述共有查询语句对应的所述移动查询结果或/和网页查询结果；

通过所述共享网管中心，向第一客户端发送所述移动查询结果，同时向第二客户端发送所述网页查询结果；

在检测到所有所述移动查询结果、所有所述网页查询结果和所有所述执行结果均发送完毕时，确认所述疫情大数据集群处理完成。

一种大数据处理装置，包括：

接收模块，用于实时接收到当前时刻的疫情大数据集群；所述疫情大数据集群包含多个指令数据；

区分模块，用于将所有所述指令数据区分为移动查询数据、网页查询数据和更新数据；所述移动查询数据包括移动查询语句；所述网页查询数据包括和网页查询语句；

执行模块，用于同步执行移动查询操作、网页查询操作和数据更新操作；所述移动查询操作是指在第一移动查询数据库中查询到与所述移动查询数据对应的移动查询结果；所述网页查询操作是指在第一网页查询数据库查询到与各所述网页查询数据对应的网页查询结果；所述数据更新操作是指在所述更新数据更新至MYSQL数据库之后，获得与所述更新数据对应的执行结果时，向与所述执行结果对应的客户端发送该执行结果；

记录模块，用于将相同的所述当前时刻的所述移动查询语句和所述网页查询语句记录为共有查询语句；

判断模块，用于通过共享网管中心判断与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果是否一致；所述共享网管中心与各所述移动查询数据库以及各所述网页查询数据库通信连接；

校对模块，用于若与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果不一致，通过所述共享网管中心对与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果进行校对，并根据所述校对结果更新与所述共有查询语句对应的所述移动查询结果或/和网页查询结果；

发送模块，用于通过所述共享网管中心，向第一客户端发送所述移动查询结果，同时向第二客户端发送所述网页查询结果；

确认模块，用于在检测到所有所述移动查询结果、所有所述网页查询结果和所有所述执行结果均发送完毕时，确认所述疫情大数据集群处理完成。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述大数据处理方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述大数据处理方法的步骤。

本发明提供的大数据处理方法、装置、计算机设备及存储介质，通过实时接收到当前时刻的包含多个指令数据的疫情大数据集群；将所有所述指令数据区分为移动查询数据、网页查询数据和更新数据；所述移动查询数据包括移动查询语句；所述网页查询数据包括网页查询语句；同步执行移动查询操作、网页查询操作和数据更新操作；所述移动查询操作是指在第一移动查询数据库中查询到与所述移动查询数据对应的移动查询结果；所述网页查询操作是指在第一网页查询数据库查询到与各所述网页查询数据对应的网页查询结果；所述数据更新操作是指在所述更新数据更新至MYSQL数据库之后，获得与所述更新数据对应的执行结果时，向与所述执行结果对应的客户端发送该执行结果；将相同的所述当前时刻的所述移动查询语句和所述网页查询语句记录为共有查询语句；通过共享网管中心判断与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果是否一致；若与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果不一致，通过所述共享网管中心对与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果进行校对，并更新与所述共有查询语句对应的所述移动查询结果或/和网页查询结果；通过所述共享网管中心，向第一客户端发送所述移动查询结果，同时向第二客户端发送所述网页查询结果；确认所述疫情大数据集群处理完成，如此，实现了通过利用数据库分流能够快速查询到疫情结果，以及让MYSQL数据库仅接受更新数据的操作，加快了疫情查询速度，避免了查询延时和宕机，并且大大减少了MYSQL数据库的负荷，优化了MYSQL数据库的性能，并且实现了通过共享网管中心对同一时刻的来自不同客户端的查询结果进行自动校对，提高了查询结果的准确性，从而提升了用户体验满意度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中大数据处理方法的应用环境示意图；

图2是本发明一实施例中大数据处理方法的流程图；

图3是本发明一实施例中大数据处理方法的步骤S30的流程图；

图4是本发明另一实施例中大数据处理方法的流程图；

图5是本发明另一实施例中大数据处理方法的步骤S30的流程图；

图6是本发明一实施例中大数据处理方法的步骤S31的流程图；

图7是本发明另一实施例中大数据处理方法的步骤S31的流程图；

图8是本发明另一实施例中大数据处理方法的步骤S20的流程图；

图9是本发明一实施例中大数据处理装置的原理框图；

图10是本发明一实施例中计算机设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的大数据处理方法，可应用在如图1的应用环境中，其中，客户端(计算机设备)通过网络与服务器进行通信。其中，客户端(计算机设备)包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑、摄像头和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种大数据处理方法，其技术方案主要包括以下步骤S10-S80：

S10，实时接收到当前时刻的疫情大数据集群；所述疫情大数据集群包含多个指令数据。

可理解地，实时监测到当前时刻的所述疫情大数据集群，所述疫情大数据集群为来自全国各地或者全球各地的与疫情大数据相关的指令数据的集合，所述指令数据为基于SQL语句对疫情大数据进行相关操作的数据，其中，所述疫情大数据为与疫情相关的数据的集合体，即包含所有疫情的庞大数据。

S20，将所有所述指令数据区分为移动查询数据、网页查询数据和更新数据；所述移动查询数据包括移动查询语句；所述网页查询数据包括网页查询语句。

可理解地，对所有所述指令数据进行识别，识别出所述移动查询数据、所述网页查询数据和所述更新数据，所述移动查询数据为通过移动客户端中的移动应用程序发送的与疫情大数据相关的查询指令的数据，所述移动查询数据包括终端地点和所述移动查询语句，所述终端地点为移动客户端的所在地点或者移动应用程序的定位地点，所述移动查询语句为所述移动查询数据中的查询疫情大数据使用到的SQL语句，所述网页查询数据为通过个人计算机、笔记本电脑或固定的客户端中的网页浏览器发送的与疫情大数据相关的查询指令的数据，所述网页查询数据包括IP访问地址和所述网页查询语句，所述IP访问地址为个人计算机、笔记本电脑或固定的客户端对应的互联网协议地址，通过此互联网协议地址访问互联网，所述网页查询语句为所述网页查询数据中的查询疫情大数据使用到的SQL语句。

在一实施例中，如图8所示，所述步骤S20中，即所述将所有所述指令数据区分为移动查询数据、网页查询数据和更新数据，包括：

S201，通过快速模式匹配算法，识别所有所述指令数据中是否含有预设的更新指令。

可理解地，所述更新指令为预设的与更新疫情大数据相关的指令，所述更新指令包含有新增、删除、插入等更改了数据结构的操作指令，比如：更新指令为update、delete等，在所有所述指令数据中识别出包含有所有所述更新指令中任一个的所述指令数据，即将各所述更新指令匹配各所述指令数据中的各字符串，识别出是否存在完全匹配的字符串，其中，匹配的方法为运用所述快速模式匹配算法(KMP)进行匹配的方法。

其中，所述快速模式匹配算法的匹配过程为在模式字符串和主字符串匹配时，各有一个指针指向当前进行匹配的字符(主字符串中是指针i，模式字符串中是指针j)，在保证i指针不回溯的前提下，就只能让j指针回溯，其中，主字符串为需匹配的字符串，即所述指令数据，模式字符串为被匹配的字符串，即所述更新指令，i为主字符串中记录匹配进度的指针，j为指针回溯的距离，相当于模式字符串向右移动的距离，即当某字符匹配失败后，j指针回溯的位置，对于一个给定的模式字符串，其中每个字符都有可能会遇到匹配失败，这时对应的j指针都需要回溯，具体回溯的位置由模式字符串本身来决定的，和主字符串没有关系，模式字符串中的每个字符所对应j指针回溯的位置，可以通过算法得出，得到的结果相应地存储在一个数组中(默认数组名为next)，该算法为对于模式字符串中的某一字符来说，提取它前面的字符串，分别从字符串的两端查看连续相同的字符串的个数，在其基础上“+1”，结果就是该字符对应的j值，每个模式串的第一个字符对应的值为0，第二个字符对应的值为1，例如：求模式字符串“abcabac”的next，前两个字符对应的0和1是固定的，对于字符‘c’来说，提取字符串“ab”，‘a’和‘b’不相等，相同的字符串的个数为0，0+1＝1，所以‘c’对应的next值为1；第四个字符‘a’，提取“abc”，从首先‘a’和‘c’就不相等，相同的个数为0，0+1＝1，所以，‘a’对应的next值为1；第五个字符‘b’，提取“abca”，第一个‘a’和最后一个‘a’相同，相同个数为1，1+1＝2，所以，‘b’对应的next值为2；第六个字符‘a’，提取“abcab”，前两个字符“ab”和最后两个“ab”相同，相同个数为2，2+1＝3，所以，‘a’对应的next值为3；最后一个字符‘c’，提取“abcaba”，第一个字符‘a’和最后一个‘a’相同，相同个数为1，1+1＝2，所以‘c’对应的next值为2；所以，字符串“abcabac”对应的next数组中的值为(0，1，1，1，2，3，2)，所述快速模式匹配算法算法和普通的模式匹配算法都是从主字符串开头开始匹配，但是在匹配过程中，所述快速模式匹配算法记录了一些必要的信息，根据该信息，在后续的匹配过程中，跳过了无意义的匹配过程，例如：主字符串为“ababcabcacbab”，模式字符串为“abcac”，模式字符串对应的next值为(0，1，1，1，2)，匹配的过程为在匹配失败的时候，i指针不动，j指针根据其在next值中对应的值进行回退到指定位置，如此，可以发现快速模式匹配算法只需要匹配3次，而普通的模式匹配算法需要匹配6次，因此，所述快速模式匹配算法比普通的模式匹配算法速度要快。

S202，将含有所述更新指令的所述指令数据确认为所述更新数据。

可理解地，将通过所述快速模式匹配算法匹配后且匹配出所述更新指令的所述指令数据确定为所述更新数据。

S203，将不含有所述更新指令的所述指令数据确认为查询数据，将客户端标识符为移动标识符对应的所述查询数据确认为所述移动查询数据，将客户端标识符为网页标识符对应的所述查询数据确认为所述网页查询数据。

可理解地，将不含有所述更新指令的所述指令数据标记为所述查询数据，即在所有所述指令数据中去除所有所述更新数据后剩下的指令数据确定为所述查询数据，所述查询数据中包含有所述客户标识符，所述客户标识符包括移动标识符和网页标识符，所述客户标识符可以区分出所述查询数据是移动查询数据还是网页查询数据，所述移动标识符为通过移动应用程序发送的指令数据的标识，所述移动标识符的格式可以根据需求设定，比如所述移动标识符设定为“00”，所述网页标识符为通过网页发送的指令数据的标识，所述网页标识符的格式可以根据需求设定，比如所述网页标识符设定为“11”，将客户端标识符为移动标识符对应的所述查询数据确认为所述移动查询数据，将客户端标识符为网页标识符对应的所述查询数据确认为所述网页查询数据，在匹配的过程中，可以通过所述快速模式匹配算法进行匹配，加快匹配速度。本发明通过快速模式匹配算法，识别出更新数据，并对剩余的所有指令数据区分出移动查询数据和网页查询数据，能够为后续将移动查询数据发送至移动查询数据库，将网页查询数据发送至网页查询数据库和将更新数据发送至MYSQL数据库提供专项处理的方法，提高了疫情大数据的处理速度，缩短了数据处理的响应时间，提升了用户体验满意度。

S30，同步执行移动查询操作、网页查询操作和数据更新操作；所述移动查询操作是指在第一移动查询数据库中查询到与所述移动查询数据对应的移动查询结果；所述网页查询操作是指在第一网页查询数据库查询到与各所述网页查询数据对应的网页查询结果；所述数据更新操作是指在所述更新数据更新至MYSQL数据库之后，获得与所述更新数据对应的执行结果时，向与所述执行结果对应的客户端发送该执行结果。

可理解地，所述移动查询数据库集群为基于ClickHouse构建的移动查询数据库组成的集群，所述基于ClickHouse构建指运用ClickHouse数据库进行创建，所述ClickHouse数据库为面向数据分析(OLAP)的分布式列式数据库管理系统(DBMS)，所述ClickHouse数据库是真正的列式存储的数据库，与传统的行式存储的数据库不同，所以查询方式为列式查询，查询速度和性能都优于传统的数据库，所述基于ClickHouse构建的移动查询数据库指运用ClickHouse数据库创建用于对移动查询数据进行查询的数据库，所述基于ClickHouse构建的网页查询数据库指运用ClickHouse数据库创建用于对网页查询数据进行查询的数据库，所述MYSQL数据库为存储疫情数据的源数据库，所述更新数据直接在所述MYSQL数据库中进行执行，其中，所述第一移动查询数据库为在基于ClickHouse构建的移动查询数据库集群中查询到与所述移动查询数据的终端地点最近的移动查询数据库，所述第一网页查询数据库为在基于ClickHouse构建的网页查询数据库集群中查询到与所述网页查询数据的IP访问地址最近的网页查询数据库，所述第一移动查询数据库和所述第一网页查询数据库均为通过Canal同步工具在所述当前时刻之前对所述MYSQL数据库进行数据同步获得，如此，通过移动查询数据库集群中的第一移动查询数据库用于执行移动查询数据的查询，和通过网页查询数据库集群中的第一网页查询数据库用于执行网页查询数据的查询，针对不同终端的请求，采用与客户端最近的数据库进行查询，减少了对MYSQL数据库的查询操作，优化了查询性能，让MYSQL数据库仅对更新数据进行执行，达到数据实时更新，避免了数据处理延时或者宕机的情况。

其中，所述移动查询数据库和所述网页查询数据库均为通过Canal同步工具在所述当前时刻之前对所述MYSQL数据库进行数据同步后的数据库，所述Canal同步工具为将MYSQL数据库中变化的数据进行同步至另一个数据库的工具。

在一实施例中，如图3所示，所述步骤S30中，即所述在第一移动查询数据库中查询到与所述移动查询数据对应的移动查询结果，包括：

S301，获取所述移动查询数据中的所述终端地点。

可理解地，从所述移动查询数据中获取到所述终端地点。

S302，在所述移动查询数据集群中的集群地图上查询与所述终端地点匹配的坐标区域，判断所述坐标区域内是否存在驻扎点；一个所述驻扎点对应一个所述移动查询数据库。

可理解地，所述移动查询数据集群中存储有所述集群地图，所述集群地图为记录所有所述驻扎点的地图，一个所述驻扎点对应一个所述移动查询数据库，所述驻扎点为所述移动查询数据库驻扎的地方在所述集群地图中标记的点，在所述集群地图上查询与所述终端地点匹配的坐标区域，所述坐标区域为所述集群地图上的某一坐标范围的区域，与所述终端地点匹配的坐标区域，可以根据需求设定，比如与所述终端地点匹配的坐标区域可以为以所述终端地点为圆心，预设距离为半径的圆形区域(预设距离根据需求设定，比如100千米)，也可以为所述终端地点落在的区域范围对应的区域(在所述集群地图上已经划分好坐标区域范围，即在所述集群地图上某一范围的坐标确定为一个坐标区域)，判断所述坐标区域内是否存在所述驻扎点。

S303，若所述坐标区域内存在驻扎点，将离所述坐标区域中的中心点最近的驻扎点对应的所述移动查询数据库确定为所述移动查询数据对应的所述第一移动查询数据库。

可理解地，如果所述坐标区域的范围内存在至少一个驻扎点，就将离所述坐标区域中的中心点最近的所述驻扎点对应的所述移动查询数据库标记为该移动查询数据对应的所述第一移动查询数据库，每个所述坐标区域都有一个中心点，该中心点为该坐标区域的一个点，该点到坐标区域的边界距离都十分接近。

S304，若所述坐标区域内不存在驻扎点，以所述坐标区域中的中心点为圆心向外扩张扫描，直到扫描到驻扎点，将扫描到的该驻扎点对应的所述移动查询数据库确定为所述移动查询数据对应的所述第一移动查询数据库。

可理解地，如果所述坐标区域范围内没有任何一个驻扎点，则以所述坐标区域中的中心点为圆心向外扩张扫描，即一坐标区域中的中心点为圆心逐渐扩大扫描范围，直到扩大的范围存在一个驻扎点，将扫描到的该驻扎点对应的所述移动查询数据库标记为所述移动查询数据对应的所述第一移动查询数据库。

S305，将所述移动查询数据发送至与其对应的所述第一移动查询数据库，获得在所述第一移动查询数据库中查询与所述移动查询数据对应的所述移动查询结果。

可理解地，将所述移动查询数据发送至与该移动查询数据对应的所述第一移动查询数据库，所述第一移动查询数据库表明了该移动查询数据库离所述移动查询数据中的所述终端地点最近，通过所述第一移动查询数据库根据所述移动查询数据进行查询，即所述第一移动查询数据库执行所述移动查询数据中的移动查询语句，获取查询后的查询结果，并将查询后的查询结果确定为与所述移动查询数据对应的所述移动查询结果。

本发明实现了通过在移动查询数据库集群中查询到与移动查询数据对应的第一移动查询数据库，获得在第一移动查询数据库中查询到的与移动查询数据对应的移动查询结果，如此，通过将当前时刻的所有所述移动查询数据进行按地点分流至与各移动查询数据对应的第一移动查询数据库，获得在移动查询数据对应的第一移动查询数据库中查询到的移动查询结果，因此，采用与客户端最近的移动查询数据库进行查询移动查询数据，减少了对MYSQL数据库的查询操作，优化了查询性能。

在一实施例中，所述步骤S30中，即所述在基于ClickHouse构建的网页查询数据库集群中查询到与所述网页查询数据的IP访问地址最近的网页查询数据库，包括：

获取所述网页查询数据中的IP访问地址；

在所述网页查询数据集群中的集群IP地图上查询与所述IP访问地址匹配的IP坐标区域，判断所述IP坐标区域内是否存在IP驻扎点；一个所述IP驻扎点对应一个所述网页查询数据库；

若所述IP坐标区域内存在IP驻扎点，将离所述IP坐标区域中的中心点最近的IP驻扎点对应的所述网页查询数据库确定为所述网页查询数据对应的所述第一网页查询数据库；

若所述IP坐标区域内不存在IP驻扎点，以所述IP坐标区域中的中心点为圆心向外扩张扫描，直到扫描到IP驻扎点，将扫描到的该IP驻扎点对应的所述网页查询数据库确定为所述网页查询数据对应的所述第一网页查询数据库；

将所述网页查询数据发送至与其对应的所述第一网页查询数据库，获得在所述第一网页查询数据库中查询与所述网页查询数据对应的所述网页查询结果。

本发明实现了通过在网页查询数据库集群中查询到与网页查询数据对应的第一网页查询数据库，获得在第一网页查询数据库中查询到的与网页查询数据对应的网页查询结果，如此，通过将当前时刻的所有所述网页查询数据进行按IP地址分流至与各网页查询数据对应的第一网页查询数据库，获得在网页查询数据对应的第一网页查询数据库中查询到的网页查询结果，因此，采用与客户端最近的网页查询数据库进行查询网页查询数据，减少了对MYSQL数据库的查询操作，优化了查询性能。

在一实施例中，如图5所示，所述步骤S30之前，即所述同步执行移动查询操作、网页查询操作和数据更新操作之前，包括：

S31，通过与所述移动查询数据库对应的Canal同步工具监听所述MYSQL数据库，并获取日志数据；其中，所述日志数据为所述MYSQL数据库发生数据增量更新之后与更新的数据增量对应的数据。

可理解地，一个所述移动查询数据库对应一个所述Canal同步工具，通过各所述Canal同步工具监听所述MYSQL数据库存在数据增量变化时，获取所述日志数据，所述Canal同步工具通过向所述MYSQL数据库发送dump协议，接收到所述日志数据，所述日志数据为二进制日志文件，所述日志数据为所述MYSQL数据库发生数据增量更新之后与更新的数据增量对应的数据，即所述MYSQL进行了数据增量的更新之后，生成的与数据增量对应的数据，每发生一次更新就会生成一个日志数据。

在一实施例中，如图6所示，所述步骤S31之前，即通过与所述移动查询数据库对应的所述Canal同步工具监听所述MYSQL数据库，并获取日志数据之前，包括：

S311，接收到所述移动查询数据库的移动数据库创建指令。

可理解地，所述移动数据库创建指令为一个移动查询数据需要创建时触发的指令，即需要创建一个所述移动查询数据库的时候触发所述移动数据库创建指令，接收到所述移动查询数据库创建指令。

S312，在所述MYSQL数据库中创建与所述移动数据库创建指令对应的Canal用户，并根据所述移动数据库创建指令给所述Canal用户分配访问权限。

可理解地，根据所述移动数据库创建指令，在所述MYSQL数据中创建所述Canal用户，并给与所述移动查询数据库对应的所述Canal用户分配所述访问权限，所述访问权限为根据接收到的所述移动数据库创建指令进行设定访问所述MYSQL的操作权限，所述访问权限包括只读权限、改写权限等，所述Canal用户为与所述移动查询数据库对应的所述Canal同步工具监听所述MYSQL数据库的专属用户，所述Canal同步工具通过所述Canal用户对所述MYSQL数据库进行实时监听。S313，通过全量同步方式，将所述MYSQL数据库中的所有数据同步至所述移动查询数据库中。

可理解地，所述全量同步方式为一次性将当前MYSQL数据库中的所有数据同步至所述移动查询数据库中，所述全量同步方式只会在创建所述移动查询数据库的时候才会执行一次。

本发明实现了接收到所述移动查询数据库的移动数据库创建指令；在所述MYSQL数据库中创建与所述移动数据库创建指令对应的Canal用户，并根据所述移动数据库创建指令给所述Canal用户分配访问权限；通过全量同步方式，将所述MYSQL数据库中的所有数据同步至所述移动查询数据库中，如此，增强了MYSQL数据库对各移动查询数据库的权限管理，增加了MYSQL数据的安全性，而且只在创建的时候进行全量同步方式，能够保证数据同步的完整性。

S32，通过所述Canal同步工具中的脚本文件，对所述日志数据进行解析，生成同步执行代码。

可理解地，所述Canal同步工具包括所述脚本文件，所述脚本文件为将所述日志数据转换为所述同步执行代码的脚本，即将二进制日志文件中的内容转换成SQL语句，通过所述脚本文件对所述日志数据进行解析，生成与所述日志数据中的内容一一对应的所述同步执行代码。

S33，将所述同步执行代码以队列方式存储至所述Canal同步工具中的消息容器中。

可理解地，将所述同步执行代码以队列方式存储至所述消息容器中，所述Canal同步工具还包括所述消息容器，所述消息容器为一个消息队列，是一种异步的服务通讯方式，可理解为一个待消费容器，即为请求方将受理的内容暂存在这个待消费容器中，消费方不断的处理待消费容器中的内容，所述消息容器中所述同步执行代码被处理和删除之前一直存在，所述消息容器可以对所有所述同步执行代码进行分离重量级处理、缓冲或者批处理工作的处理，起到缓解高峰期工作负载的作用。

在一实施例中，如图7所示，所述步骤S33之后，即所述将所述同步执行代码以队列方式存储至所述Canal同步工具中的消息容器中之后，还包括：

S35，将所述消息容器中的所有所述同步执行代码推送至备份数据库并执行所有所述执行代码之后，确认所述日志数据已同步至所述备份数据库；所述备份数据库为基于MongoDB构建且用于对所述MYSQL数据库中的所述日志数据进行备份的数据库。

可理解地，将所述消息容器中的所有所述同步执行代码推送至备份数据库，并通过所述备份数据库执行所有所述执行代码，确保所述日志数据已同步至所述备份数据库，所述备份数据库为基于MongoDB构建的数据库，所述备份数据库为通过日志数据进行对MYSQL数据库备份的数据库，起到备份作用，如此，在MYSQL数据库出现宕机的时候直接替补上，避免数据丢失或者数据瘫痪的情况出现。

S34，将所述消息容器中的所有所述同步执行代码推送至所述移动查询数据库并执行所有所述同步执行代码之后，确认所述日志数据已同步至所述移动查询数据库；同时，将所述消息容器中的所有所述同步执行代码推送至所述网页查询数据库并执行所有所述同步执行代码之后，确认所述日志数据已同步至所述网页查询数据库。

可理解地，将所述消息容器中的所有所述同步执行代码推送至所述移动查询数据库，并通过所述移动查询数据库执行所有所述同步执行代码，确保所述日志数据已同步至所述移动查询数据库，同时，将所述消息容器中的所有所述同步执行代码推送至所述网页查询数据库，并通过所述网页查询数据执行所有所述同步执行代码，确保所述日志数据已同步至所述网页查询数据库。

本发明实现了通过Canal同步工具监听MYSQL数据库，并获取日志数据；通过所述Canal同步工具中的脚本文件，对所述日志数据进行解析，生成同步执行代码并存储至所述Canal同步工具中的消息容器中；将所述消息容器中的所有所述同步执行代码推送至所述移动查询数据库并执行所有所述同步执行代码之后，确认所述日志数据已同步至所述移动查询数据库；同时，将所述消息容器中的所有所述同步执行代码推送至所述网页查询数据库并执行所有所述同步执行代码之后，确认所述日志数据已同步至所述网页查询数据库。如此，通过Cannal同步工具能够根据日志数据同步至移动查询数据库和网页查询数据库，提高了同步的准确性，并且避免了MYSQL数据库宕机或者关机导致无法完成同步的情况，提高了同步质量和准确性。

S40，将相同的所述当前时刻的所述移动查询语句和所述网页查询语句记录为共有查询语句。

可理解地，在与所述当前时刻对应的所述移动查询语句和所述网页查询语句相同时，将相同的所述移动查询语句和所述网页查询语句记录为所述共有查询语句。

S50，通过共享网管中心判断与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果是否一致。

可理解地，所述共享网管中心为管理所有所述移动查询结果和所有所述网页查询结果的中心，即包括管理所有与所述共有查询语句对应的所述移动查询结果和所述网页查询结果，并且与各所述移动查询数据库和各所述网页查询数据库通信连接，通过所述共享网管中心判断与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果是否相同。

S60，若与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果不一致，通过所述共享网管中心对与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果进行校对，并根据所述校对结果更新与所述共有查询语句对应的所述移动查询结果或/和网页查询结果。

可理解地，如果判断与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果不相同，就通过所述共享网管中心获取与所述共有查询语句对应的所述移动查询数据的更新时间，以及与所述共有查询语句对应的所述网页查询数据的更新时间，通过识别出更新时间的先后，确定出最新的更新时间对应的所述校对结果，如果与所述共有查询语句对应的所述移动查询数据的更新时间滞后于与所述共有查询语句对应的所述网页查询数据的更新时间，则将与所述移动查询数据对应的所述移动查询结果确定为所述校对结果，根据所述校对结果更新与所述共有查询语句对应的所述移动查询结果或/和所述网页查询结果，即可以一起将所述校对结果更新至所述移动查询结果和所述网页查询结果，也可以单独对不同于所述校对结果的所述移动查询结果或所述网页查询结果进行更新。

S70，通过所述共享网管中心，向第一客户端发送所述移动查询结果，同时向第二客户端发送所述网页查询结果。

可理解地，通过所述共享网管中心还包括向与所述移动查询数据对应的第一客户端发送所述移动查询结果，和向与所述网页查询数据对应的第二客户端发送所述网页查询结果，所述第一客户端为发送所述移动查询数据的移动客户端，所述第二客户端为发送所述网页查询数据的个人计算机、笔记本电脑或固定的客户端。

S80，在检测到所有所述移动查询结果、所有所述网页查询结果和所有所述执行结果均发送完毕时，确认所述疫情大数据集群处理完成。

可理解地，每发送一个所述移动查询结果或所述网页查询结果或所述执行结果之后，都对其进行标识，检测到所有所有所述移动查询结果、所有所述网页查询结果和所有所述执行结果都已经被标识后，即表明所有所述移动查询结果、所有所述网页查询结果和所有所述执行结果均发送完毕，在检测到所有所述移动查询结果、所有所述网页查询结果和所有所述执行结果均发送完毕时，从而确定所述疫情大数据集群处理完毕，如此，能够快速处理当前时刻的疫情大数据集群，做到及时响应，实现了快速返回结果的效果，提高了处理性能。

本发明实现了通过实时接收到当前时刻的包含多个指令数据的疫情大数据集群；将所有所述指令数据区分为移动查询数据、网页查询数据和更新数据；所述移动查询数据包括移动查询语句；所述网页查询数据包括网页查询语句；同步执行移动查询操作、网页查询操作和数据更新操作；所述移动查询操作是指在第一移动查询数据库中查询到与所述移动查询数据对应的移动查询结果；所述网页查询操作是指在第一网页查询数据库查询到与各所述网页查询数据对应的网页查询结果；所述数据更新操作是指在所述更新数据更新至MYSQL数据库之后，获得与所述更新数据对应的执行结果时，向与所述执行结果对应的客户端发送该执行结果；将相同的所述当前时刻的所述移动查询语句和所述网页查询语句记录为共有查询语句；通过共享网管中心判断与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果是否一致；若与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果不一致，通过所述共享网管中心对与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果进行校对，并更新与所述共有查询语句对应的所述移动查询结果或/和网页查询结果；通过所述共享网管中心，向第一客户端发送所述移动查询结果，同时向第二客户端发送所述网页查询结果；确认所述疫情大数据集群处理完成，如此，实现了通过利用数据库分流能够快速查询到疫情结果，以及让MYSQL数据库仅接受更新数据的操作，加快了疫情查询速度，避免了查询延时和宕机，并且大大减少了MYSQL数据库的负荷，优化了MYSQL数据库的性能，并且实现了通过共享网管中心对同一时刻的来自不同客户端的查询结果进行自动校对，提高了查询结果的准确性，从而提升了用户体验满意度。

在一实施例中，如图4所示，所述步骤S30之后，即所述同步执行移动查询操作、网页查询操作和数据更新操作之后，还包括：

S90，将相同的所述当前时刻的所述移动查询语句和所述网页查询语句记录为单独共有查询语句；其中，所述共享网管中心包括多个所述网管中心，一个网管中心包括相同驻扎点的第一移动查询数据库和第一网页查询数据库。

可理解地，所述共享网管中心包括多个所述网管中心，一个网管中心包括相同驻扎点的第一移动查询数据库和第一网页查询数据库，所述网管中心管理相同驻扎点的第一移动查询数据库的移动查询结果和第一网页查询数据库的网页查询结果，在与同一网管中心对应的所述当前时刻的所述移动查询语句和所述网页查询语句出现相同时，将相同的所述当前时刻的所述移动查询语句和所述网页查询语句记录为所述单独共有查询语句。

S100，通过网管中心判断与所述单独共有查询语句对应的所述移动查询结果以及所述网页查询结果是否一致。

可理解地，通过网管中心判断与所述单独共有查询语句对应的所述移动查询结果以及所述网页查询结果是否相同。

S110，若与所述单独共有查询语句对应的所述移动查询结果以及所述网页查询结果不一致，通过所述网管中心根据所述第一移动查询数据库的更新时间和所述第一网页查询数据库的更新时间，对与所述单独共有查询语句对应的所述移动查询结果以及所述网页查询结果进行校对，并根据所述单独校对结果更新与所述移动查询数据对应的所述移动查询结果或/和与所述网页查询数据对应的网页查询结果。

可理解地，如果判断与所述单独共有查询语句对应的所述移动查询结果以及所述网页查询结果不相同，就通过所述网管中心获取所述第一移动查询数据库的更新时间和所述第一网页查询数据库的更新时间，通过识别出更新时间的先后，确定出最新的更新时间对应的所述校对结果，如果所述第一移动查询数据库的更新时间滞后于所述第一网页查询数据库的更新时间，则将与所述单独共有查询语句对应的所述移动查询结果确定为所述单独校对结果，根据所述单独校对结果更新与所述单独共有查询语句对应的所述移动查询结果或/和所述网页查询结果，即可以一起将所述单独校对结果更新至所述移动查询结果和所述网页查询结果，也可以单独对不同于所述单独校对结果的所述移动查询结果或所述网页查询结果进行更新。

S120，通过所述网管中心，向第三客户端发送所述移动查询结果，同时向第四客户端发送所述网页查询结果。

可理解地，通过所述网管中心还包括向与所述移动查询数据对应的第三客户端发送所述移动查询结果，和向与所述网页查询数据对应的第四客户端发送所述网页查询结果，所述第三客户端为发送所述移动查询数据且距离所述移动查询数据对应的网管中心最近的移动客户端，所述第四客户端为发送所述网页查询数据且距离所述网页查询数据对应的网管中心最近的个人计算机、笔记本电脑或固定的客户端。

S130，在检测到所有所述移动查询结果、所有所述网页查询结果和所有所述执行结果均发送完毕时，确认所述疫情大数据集群处理完成。

可理解地，通过所述共享网管中心检测到所有所述移动查询结果、所有所述网页查询结果和所有所述执行结果均发送完毕之后，确定所述疫情大数据集群处理完毕。

本发明实现了通过与客户端最近的且包含相同驻扎点的第一移动查询数据库和第一网页查询数据库的网管中心，对当前时刻的单独共有查询语句对应移动查询语句和网页查询语句进行校对，保证当前时刻该地点或区域的查询结果一致，提高查询结果的准确性。

在一实施例中，提供一种大数据处理装置，该大数据处理装置与上述实施例中大数据处理方法一一对应。如图9所示，该大数据处理装置包括接收模块11、区分模块12、执行模块13、记录模块14、判断模块15、校对模块16、发送模块17和确认模块18。各功能模块详细说明如下：

接收模块11，用于实时接收到当前时刻的疫情大数据集群；所述疫情大数据集群包含多个指令数据；

区分模块12，用于将所有所述指令数据区分为移动查询数据、网页查询数据和更新数据；所述移动查询数据包括移动查询语句；所述网页查询数据包括和网页查询语句；

执行模块13，用于同步执行移动查询操作、网页查询操作和数据更新操作；所述移动查询操作是指在第一移动查询数据库中查询到与所述移动查询数据对应的移动查询结果；所述网页查询操作是指在第一网页查询数据库查询到与各所述网页查询数据对应的网页查询结果；所述数据更新操作是指在所述更新数据更新至MYSQL数据库之后，获得与所述更新数据对应的执行结果时，向与所述执行结果对应的客户端发送该执行结果；

记录模块14，用于将相同的所述当前时刻的所述移动查询语句和所述网页查询语句记录为共有查询语句；

判断模块15，用于通过共享网管中心判断与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果是否一致；所述共享网管中心与各所述移动查询数据库以及各所述网页查询数据库通信连接；

校对模块16，用于若与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果不一致，通过所述共享网管中心对与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果进行校对，并根据所述校对结果更新与所述共有查询语句对应的所述移动查询结果或/和网页查询结果；

发送模块17，用于通过所述共享网管中心，向第一客户端发送所述移动查询结果，同时向第二客户端发送所述网页查询结果；

确认模块18，用于在检测到所有所述移动查询结果、所有所述网页查询结果和所有所述执行结果均发送完毕时，确认所述疫情大数据集群处理完成。

关于大数据处理装置的具体限定可以参见上文中对于大数据处理方法的限定，在此不再赘述。上述大数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种大数据处理方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中大数据处理方法。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中大数据处理方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种大数据处理方法，其特征在于，包括：

实时接收到当前时刻的疫情大数据集群；所述疫情大数据集群包含多个指令数据；

将所有所述指令数据区分为移动查询数据、网页查询数据和更新数据；所述移动查询数据包括移动查询语句；所述网页查询数据包括网页查询语句；

同步执行移动查询操作、网页查询操作和数据更新操作；所述移动查询操作是指在第一移动查询数据库中查询到与所述移动查询数据对应的移动查询结果；所述网页查询操作是指在第一网页查询数据库查询到与各所述网页查询数据对应的网页查询结果；所述数据更新操作是指在所述更新数据更新至MYSQL数据库之后，获得与所述更新数据对应的执行结果时，向与所述执行结果对应的客户端发送该执行结果；

将相同的所述当前时刻的所述移动查询语句和所述网页查询语句记录为共有查询语句；

通过共享网管中心判断与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果是否一致；

若与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果不一致，通过所述共享网管中心对与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果进行校对，并根据所述校对结果更新与所述共有查询语句对应的所述移动查询结果或/和网页查询结果；

通过所述共享网管中心，向第一客户端发送所述移动查询结果，同时向第二客户端发送所述网页查询结果；

在检测到所有所述移动查询结果、所有所述网页查询结果和所有所述执行结果均发送完毕时，确认所述疫情大数据集群处理完成。

2.如权利要求1所述的大数据处理方法，其特征在于，所述在第一移动查询数据库中查询到与所述移动查询数据对应的移动查询结果，包括：

获取所述移动查询数据中的终端地点；

在所述移动查询数据集群中的集群地图上查询与所述终端地点匹配的坐标区域，判断所述坐标区域内是否存在驻扎点；

若所述坐标区域内存在驻扎点，将离所述坐标区域中的中心点最近的驻扎点对应的所述移动查询数据库确定为所述移动查询数据对应的所述第一移动查询数据库；

若所述坐标区域内不存在驻扎点，以所述坐标区域中的中心点为圆心向外扩张扫描，直到扫描到驻扎点，将扫描到的该驻扎点对应的所述移动查询数据库确定为所述移动查询数据对应的所述第一移动查询数据库；

将所述移动查询数据发送至与其对应的所述第一移动查询数据库，获得在所述第一移动查询数据库中查询与所述移动查询数据对应的所述移动查询结果。

3.如权利要求1所述的大数据处理方法，其特征在于，所述同步执行移动查询操作、网页查询操作和数据更新操作之后，还包括：

将相同的所述当前时刻的所述移动查询语句和所述网页查询语句记录为单独共有查询语句；其中，所述共享网管中心包括多个所述网管中心，一个网管中心包括相同驻扎点的第一移动查询数据库和第一网页查询数据库；

通过网管中心判断与所述单独共有查询语句对应的所述移动查询结果以及所述网页查询结果是否一致；

若与所述单独共有查询语句对应的所述移动查询结果以及所述网页查询结果不一致，通过所述网管中心根据所述第一移动查询数据库的更新时间和所述第一网页查询数据库的更新时间，对与所述单独共有查询语句对应的所述移动查询结果以及所述网页查询结果进行校对，并根据所述单独校对结果更新与所述移动查询数据对应的所述移动查询结果或/和与所述网页查询数据对应的网页查询结果；

通过所述网管中心，向第三客户端发送所述移动查询结果，同时向第四客户端发送所述网页查询结果；

在检测到所有所述移动查询结果、所有所述网页查询结果和所有所述执行结果均发送完毕时，确认所述疫情大数据集群处理完成。

4.如权利要求1所述的大数据处理方法，其特征在于，所述同步执行移动查询操作、网页查询操作和数据更新操作之前，包括：

通过与所述移动查询数据库对应的Canal同步工具监听所述MYSQL数据库，并获取日志数据；其中，所述日志数据为所述MYSQL数据库发生数据增量更新之后与更新的数据增量对应的数据；

通过所述Canal同步工具中的脚本文件，对所述日志数据进行解析，生成同步执行代码；

将所述同步执行代码以队列方式存储至所述Canal同步工具中的消息容器中；

将所述消息容器中的所有所述同步执行代码推送至所述移动查询数据库并执行所有所述同步执行代码之后，确认所述日志数据已同步至所述移动查询数据库；同时，将所述消息容器中的所有所述同步执行代码推送至所述网页查询数据库并执行所有所述同步执行代码之后，确认所述日志数据已同步至所述网页查询数据库。

5.如权利要求4所述的大数据处理方法，其特征在于，所述通过所述Canal同步工具监听所述MYSQL数据库之前，包括：

接收到所述移动查询数据库的移动数据库创建指令；

在所述MYSQL数据库中创建与所述移动数据库创建指令对应的Canal用户，并给所述Canal用户分配预设的访问权限；

通过全量同步方式，将所述MYSQL数据库中的所有数据同步至所述移动查询数据库中。

6.如权利要求4所述的大数据处理方法，其特征在于，所述将所述同步执行代码以队列方式存储至所述Canal同步工具中的消息容器中之后，还包括：

将所述消息容器中的所有所述同步执行代码推送至备份数据库并执行所有所述执行代码之后，确认所述日志数据已同步至所述备份数据库；所述备份数据库为基于MongoDB构建且用于对所述MYSQL数据库中的所述日志数据进行备份的数据库。

7.如权利要求1所述的大数据处理方法，其特征在于，所述将所有所述指令数据区分为移动查询数据、网页查询数据和更新数据，包括：

通过快速模式匹配算法，识别所有所述指令数据中是否含有预设的更新指令；

将含有所述更新指令的所述指令数据确认为所述更新数据；

将不含有所述更新指令的所述指令数据确认为查询数据，将客户端标识符为移动标识符对应的所述查询数据确认为所述移动查询数据，将客户端标识符为网页标识符对应的所述查询数据确认为所述网页查询数据。

8.一种大数据处理装置，其特征在于，包括：

接收模块，用于实时接收到当前时刻的疫情大数据集群；所述疫情大数据集群包含多个指令数据；

区分模块，用于将所有所述指令数据区分为移动查询数据、网页查询数据和更新数据；所述移动查询数据包括移动查询语句；所述网页查询数据包括和网页查询语句；

执行模块，用于同步执行移动查询操作、网页查询操作和数据更新操作；所述移动查询操作是指在第一移动查询数据库中查询到与所述移动查询数据对应的移动查询结果；所述网页查询操作是指在第一网页查询数据库查询到与各所述网页查询数据对应的网页查询结果；所述数据更新操作是指在所述更新数据更新至MYSQL数据库之后，获得与所述更新数据对应的执行结果时，向与所述执行结果对应的客户端发送该执行结果；

记录模块，用于将相同的所述当前时刻的所述移动查询语句和所述网页查询语句记录为共有查询语句；

判断模块，用于通过共享网管中心判断与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果是否一致；所述共享网管中心与各所述移动查询数据库以及各所述网页查询数据库通信连接；

校对模块，用于若与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果不一致，通过所述共享网管中心对与所述共有查询语句对应的所述移动查询结果以及所述网页查询结果进行校对，并根据所述校对结果更新与所述共有查询语句对应的所述移动查询结果或/和网页查询结果；

发送模块，用于通过所述共享网管中心，向第一客户端发送所述移动查询结果，同时向第二客户端发送所述网页查询结果；

确认模块，用于在检测到所有所述移动查询结果、所有所述网页查询结果和所有所述执行结果均发送完毕时，确认所述疫情大数据集群处理完成。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述大数据处理方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述大数据处理方法。

Images