CN110619226A

CN110619226A - 一种基于平台的数据处理方法、系统、设备及存储介质

Info

Publication number: CN110619226A
Application number: CN201910864498.9A
Authority: CN
Inventors: 董振兴; 张斌; 李亚飞; 孙军锋
Original assignee: Miaozhen Systems Information Technology Co Ltd
Current assignee: Miaozhen Information Technology Co Ltd; Miaozhen Systems Information Technology Co Ltd
Priority date: 2019-09-12
Filing date: 2019-09-12
Publication date: 2019-12-27

Abstract

本申请提供了一种基于平台的数据处理方法、系统、设备及存储介质，该方法包括：接收平台服务器转发的来自用户的业务操作指令；基于业务操作指令中携带的用户信息，向平台服务器发送携带有用户信息的身份认证请求；若平台服务器返回身份认证通过的响应结果，则从平台服务器中获取对应于用户信息的目标权限信息；基于对应于用户信息的目标权限信息，确定对应于目标权限信息的用于响应业务操作指令的目标响应结果；将目标响应结果返回到平台服务器，以使平台服务器显示目标响应结果。本申请基于Hive数据仓库与平台服务器之间的交互，对访问用户进行一次安全认证，提高了业务操作的响应效率，能够适应不同应用环境，满足了用户的多样化需求。

Description

一种基于平台的数据处理方法、系统、设备及存储介质

技术领域

本申请涉及网络信息技术领域，具体而言，涉及一种基于平台的数据处理方法、系统、设备及存储介质。

背景技术

用户在进行相关业务操作时，通常是通过平台服务器访问Hive(蜂巢)数据仓库，来进行业务操作。其中，为了保障用户的访问安全性，在用户访问时需要对用户进行安全认证。

目前，平台服务器和Hive数据仓库各自具有一套自己的安全认证系统。平台服务器和Hive数据仓库要分别基于自己的安全认证系统对用户进行安全认证，具体过程如下：由平台服务器对用户进行第一次安全认证，在平台服务器认证通过后，再由Hive数据仓库进一步对该用户进行第二次安全认证，当Hive数据仓库认证用户合法后，响应来自用户的业务操作请求。

但是，由于平台服务器和Hive数据仓库各自的安全认证系统不兼容，从而使得二者需要分别对用户进行安全认证，进而导致响应用户的业务操作请求的效率低。

发明内容

有鉴于此，本申请实施例的目的在于提供一种基于平台的数据处理方法、系统、设备及存储介质，基于Hive数据仓库与平台服务器之间的交互，对访问用户进行一次安全认证，提高了业务操作的响应效率；同时，由平台服务器存储用户的安全认证信息，可以基于多种类型的安全认证信息实现安全认证，能够适应不同的应用环境，满足了用户的多样化需求。

第一方面，本申请实施例提供了一种基于平台的数据处理方法，所述方法包括：

接收平台服务器转发的来自用户的业务操作指令，所述业务操作指令中携带有用户信息；

基于所述业务操作指令，向所述平台服务器发送携带有所述用户信息的身份认证请求；

若所述平台服务器返回身份认证通过的响应结果，则从所述平台服务器中获取对应于所述用户信息的目标权限信息；

基于对应于所述用户信息的目标权限信息，确定对应于所述目标权限信息的用于响应所述业务操作指令的目标响应结果；

将所述目标响应结果返回到所述平台服务器，以使所述平台服务器显示所述目标响应结果。

在一种可选的实施方式中，所述基于对应于所述用户信息的目标权限信息，确定对应于所述目标权限信息的用于响应所述业务操作指令的目标响应结果，包括：

获取所述业务操作指令对应的元数据信息及访问所述元数据信息的第一权限信息；

若所述第一权限信息与所述目标权限信息相匹配，则确定所述元数据信息所指示的目标数据为所述目标响应结果；

若所述第一权限信息与所述目标权限信息不匹配，则生成用于指示所述业务操作指令响应失败的目标响应结果。

在一种可选的实施方式中，所述基于对应于所述用户信息的目标权限信息，确定对应于所述目标权限信息的用于响应所述业务操作指令的目标响应结果，还包括：

获取所述业务操作指令对应的动作指令及执行所述动作指令的第二权限信息；

若所述第一权限信息和所述第二权限信息分别与所述目标权限信息相匹配，则基于所述动作指令对所述元数据信息进行处理，并基于所述元数据信息的处理结果，生成所述处理结果的指示信息作为所述目标响应结果；

若所述第一权限信息和第二权限信息中的至少一个权限信息与所述目标权限信息不匹配，则生成用于指示所述业务操作指令响应失败的目标响应结果。

在一种可选的实施方式中，所述基于所述动作指令对所述元数据信息进行处理之后，所述方法还包括：

获取处理后得到的更新元数据信息；向所述平台服务器同步处理后的所述更新元数据信息，以使所述平台服务器基于所述更新元数据信息更新本地已存储的对应于所述用户信息的元数据信息；

或者，获取被处理的元数据信息的标识信息；向所述平台服务器同步所述标识信息和被处理的元数据信息对应的动作指令，以使所述平台服务器基于所述动作指令处理本地已存储的所述标识信息对应的元数据信息。

在一种可选的实施方式中，第一方面所述方法还包括：

在接收到所述平台服务器发送的快照请求后，获取当前时刻存储的元数据信息；

将所述元数据信息发送给所述平台服务器，以使所述平台服务器基于所述元数据信息制作快照信息并基于所述快照信息更新本地已存储的元数据信息。

在一种可选的实施方式中，所述将所述目标响应结果返回到所述平台服务器之后，所述方法还包括：

获取响应所述业务操作指令过程中的执行记录信息，并将所述执行记录信息发送给所述平台服务器，以使所述平台服务器基于所述执行记录信息监控用户的行为以及响应用户的业务查询请求；其中，所述执行记录信息包括但不限于以下信息：用户信息、执行时间、执行结果、执行过程中所涉及的数据资源信息。

第二方面，本申请实施例提供了一种基于平台的数据处理系统，所述系统包括：Hive数据仓库和平台服务器；

所述平台服务器，用于将接收到的业务操作指令转发给所述Hive数据仓库；其中，所述业务操作指令中携带有用户信息；

所述Hive数据仓库，用于响应于所述业务操作指令，向所述平台服务器发送携带有所述用户信息的身份认证请求；

所述平台服务器，还用于对所述用户信息进行身份认证，并将身份认证结果返回给所述Hive数据仓库；

所述Hive数据仓库，还用于在接收到针对所述身份认证请求的认证通过的反馈信息之后，则从所述平台服务器中获取对应于所述用户信息的目标权限信息；基于对应于所述用户信息的所述目标权限信息，确定对应于所述目标权限信息的用于响应所述业务操作指令的目标响应结果；将所述目标响应结果返回到所述平台服务器，以使所述平台服务器显示所述目标响应结果。

在一种可选的实施方式中，所述Hive数据仓库在基于对应于所述用户信息的目标权限信息，确定对应于所述目标权限信息的用于响应所述业务操作指令的目标响应结果时，包括：

在一种可选的实施方式中，所述Hive数据仓库在基于对应于所述用户信息的目标权限信息，确定对应于所述目标权限信息的用于响应所述业务操作指令的目标响应结果时，还包括：

第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行第一方面任一项所述的基于平台的数据处理方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面任一项所述的基于平台的数据处理方法的步骤。

本申请实施例提供的基于平台的数据处理方法、系统、设备及存储介质，平台服务器中预先存储有安全认证信息，Hive数据仓库接收到业务操作指令后，通过与平台服务器之间的交互，使平台服务器基于安全认证信息对用户进行身份认证，在身份认证通过后，Hive数据仓库通过平台服务器中的安全认证信息对用户进行权限认证，在权限认证通过后，Hive数据仓库向平台服务器返回响应于业务操作指令的目标响应结果。这样，通过Hive数据仓库与平台服务器之间的交互，实现了对访问用户进行一次安全认证，提高了业务操作的响应效率，且通过一次安全认证的方式也便于工作人员对安全认证系统进行维护。

另外，在本申请实施例中，在平台服务器中存储有用户信息，并对用户进行身份认证，平台服务器可以存储多种类型的用户信息，并基于多种类型的用户信息实现身份认证，与Hive数据仓库存储用户信息单一相比，能够适应不同的应用环境，满足了用户的多样化需求。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种基于平台的数据处理方法的流程图；

图2示出了图1所示基于平台的数据处理方法中，一种确定目标响应结果的方法的流程图；

图3示出了图1所示基于平台的数据处理方法中，第一权限认证方法的流程图；

图4示出了图1所示基于平台的数据处理方法中，另一种确定目标响应结果的方法的流程图；

图5示出了图1所示基于平台的数据处理方法中，第二权限认证方法的流程图；

图6示出了图1所示基于平台的数据处理方法中，平台服务器定时同步Hive中元数据信息的流程图；

图7示出了本申请实施例所提供的一种基于平台的数据处理系统的架构简图；

图8示出了本申请实施例所提供的一种基于平台的数据处理系统的架构图；

图9示出了本申请实施例所提供的一种基于平台的数据处理装置的示意图；

图10示出了本申请实施例所提供的一种计算机设备的示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前，在响应用户的业务操作时，平台服务器和Hive数据仓库(以下简称Hive)分别需要通过各自的安全认证系统对用户进行安全认证，这样使得响应用户的业务操作的效率低。并且，Hive的安全认证系统，其存储的用户信息单一，无法适应不同的应用环境，进而无法满足用户的多样化认证需求；若要在Hive中存储多类型的用户信息，需要对Hive进行一系列的复杂配置操作，这就增加了配置事件，同样使得响应用户的业务操作的效率低。

基于上述问题，本申请实施例提供了一种基于平台的数据处理方法、系统、设备及存储介质，通过Hive与平台服务器之间的交互，实现了对访问用户进行一次安全认证，提高了业务操作的响应效率，且通过一次安全认证的方式也便于工作人员对安全认证系统进行维护。

另外，在本申请实施例中，平台服务器中存储有用户信息，并对用户进行身份认证，平台服务器可以存储多种类型的用户信息，并基于多种类型的安全认证信息实现安全认证，与Hive存储用户信息单一相比，能够适应不同的应用环境，满足了用户的多样化需求。

针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本申请针对上述问题所提出的解决方案，都应该是发明人在本申请过程中对本申请做出的贡献。

下面将结合本申请中附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本实施例进行理解，首先对本申请实施例所公开的一种基于平台的数据处理方法进行详细介绍，本申请实施例所提供的一种基于平台的数据处理方法的执行主体可以是Hive。下面以执行主体为Hive对本申请实施例提供的一种基于平台的数据处理方法进行说明。

参见图1所示，为本申请一实施例提供的基于平台的数据处理方法的流程图，所述方法包括以下步骤：

S101、接收平台服务器转发的来自用户的业务操作指令，所述业务操作指令中携带有用户信息。

在本申请实施例中，平台服务器中显示有待处理业务的业务界面，用户可以通过业务界面对待处理业务进行业务操作。平台服务器在接收到用户业务操作后生成相应的业务操作指令，并将该业务操作指令发送给Hive。这里，平台服务器将用户信息添加到统一资源定位符(Uniform Resource Locator，URL)中，并向Hive发送URL，以便Hive基于URL获取用户信息。

上述业务操作指令包括但不限于以下指令中的至少一种：查询指令、新建指令、删除指令、更改指令等。这里，通过上述查询指令可以查询数据；通过新建指令可以新建表、库等；通过上述删除指令可以删除表、库等；通过上述更改指令可以更改表、库等。

上述用户信息包括但不限于用户名和用户预留密码；上述用户名可以为以下信息中的一种：身份标识名、身份证号码、电话号码、邮箱地址、QQ号、微信号等。

S102、基于所述业务操作指令，向所述平台服务器发送携带有所述用户信息的身份认证请求。

在本申请实施例中，平台服务器存储用户信息，Hive在接收到业务操作指令后，通过与平台服务器之间的交互，通过向平台服务器发送携带有用户信息的URL地址和身份认证请求，使平台服务器对当前用户进行身份认证。

S103、若所述平台服务器返回身份认证通过的响应结果，则从所述平台服务器中获取对应于所述用户信息的目标权限信息。

在本申请实施例中，平台服务器响应接收到的身份认证请求，将接收到的用户信息与本地预留的用户信息进行匹配，如果匹配成功，则生成身份认证通过的响应结果；如果匹配失败，则生成身份认证失败的响应结果。在生成响应结果之后，平台服务器还将身份认证的响应结果返回给Hive；并且，平台服务器还可以显示上述响应结果。

上述响应结果包括但不限于以下结果中的至少一种：诸如“身份认证成功”、“身份认证失败”类的文字、用于指示身份认证成功或者身份认证失败的提示音、用于指示身份认证成功或者身份认证失败的图片等方式。

Hive在接收到来自平台服务器的身份认证通过的反馈结果后，将该用户信息存储在该用户信息指示的用户对应的目标存储空间，以便在进行后续的权限认证过程中从该目标存储空间调取该用户信息。

平台服务器中还存储有用户信息对应的权限信息，Hive在执行业务操作指令之前，需要认证该用户是否具有执行该业务操作指令的权限。Hive若确定用户身份认证成功，则从相应的目标存储空间中调取该用户的用户信息，并将携带有用户信息的权限获取请求发送给平台服务器，平台服务器查找该用户信息匹配的目标权限信息，并将查找到的目标权限信息返回给Hive。

S104、基于对应于所述用户信息的目标权限信息，确定对应于所述目标权限信息的用于响应所述业务操作指令的目标响应结果。

在本申请实施例中，Hive获取用户的业务操作指令对应的目标响应信息以及目标响应信息对应的权限信息。这里，目标响应信息对应的权限信息是指访问或者执行目标响应信息所需要的权限信息。

Hive将用户的目标权限信息与目标响应信息对应的权限信息进行匹配，如果匹配成功，确定用户有权限处理该目标响应信息。如果匹配失败，确定用户无权限处理该目标响应信息。当确定用户有权限处理目标响应信息，则Hive基于目标响应信息生成用于响应业务操作指令的目标响应结果；当确定用户无权限处理目标响应信息，则生成用于指示业务操作指令响应失败的目标响应结果。

S105、将所述目标响应结果返回到所述平台服务器，以使所述平台服务器显示所述目标响应结果。

在本申请实施例中，Hive将用于响应业务操作指令的目标响应结果，或者，将用于指示业务操作指令响应失败或响应成功的目标响应结果返回给平台服务器。平台服务器接收目标响应结果并进行显示，以便用户查看该目标响应结果。

本申请实施例提供的基于平台的数据处理方法，通过Hive与平台服务器之间的交互，实现了对访问用户进行一次身份认证和一次权限认证，提高了业务操作的响应效率，且通过一次身份认证和一次权限认证的方式也便于工作人员对身份认证和权限认证系统进行维护。

本申请实施例中，用户发送的业务操作指令不同，对应该业务操作指令的目标响应结果也不同。下面分别对基于不同的业务操作指令确定业务操作指令的目标响应结果的方法进行说明：

第一，当业务操作指令为查询指令时，该业务操作指令对应的目标响应信息仅涉及元数据信息，此时，如图2和图3所示，基于对应于所述用户信息的目标权限信息，确定对应于所述目标权限信息的用于响应所述业务操作指令的目标响应结果，包括：

S201、获取所述业务操作指令对应的元数据信息及访问所述元数据信息的第一权限信息。

S202、若所述第一权限信息与所述目标权限信息相匹配，则确定所述元数据信息所指示的目标数据为所述目标响应结果。

S203、若所述第一权限信息与所述目标权限信息不匹配，则生成用于指示所述业务操作指令响应失败的目标响应结果。

结合步骤201-步骤203，在本申请实施例中，业务操作指令为查询指令，该查询指令用于查询目标数据；其中，Hive调用第一钩子函数获取上述目标数据对应的元数据信息以及访问该元数据信息需要的第一权限信息。这里，元数据信息用于描述上述目标数据的属性信息，比如，元数据信息可以为：库、表、函数、分区等数据的存储位置、存储大小、文件数、记录数等。

第一钩子函数将该第一权限信息与用户的目标权限信息进行匹配，得到匹配结果。若Hive检测到匹配结果为相匹配，则获取上述元数据信息对应的目标数据，作为该查询指令的第一目标响应结果；若Hive检测到匹配结果为不匹配，则生成用于指示用户无查询权限的第二目标响应结果。

上述第二目标响应结果包括但不限于以下结果中的至少一种：诸如“无查询权限”的文字、用于指示没有查询权限的提示音、用于指示没有查询权限的图片等方式。

如图3所示，Hive执行用户的业务操作指令之前，调用第一钩子函数判断用户是否有访问业务操作指令对应的元数据信息的权限。第一钩子函数获取上述业务操作指令对应的元数据信息以及访问该元数据信息需要的第一权限信息，并基于用户名从平台服务器获取该用户的目标权限信息，基于目标权限信息对获取的元数据信息进行过滤，得到过滤后的元数据信息，这里的过滤指的是：将上述第一权限信息和目标权限信息匹配，若上述第一权限信息和目标权限信息相匹配，基于该元数据信息执行上述业务操作指令，获取元数据信息所指示的目标数据，作为目标响应结果；若上述第一权限信息和目标权限信息不匹配，第一钩子函数抛出异常，这里的抛出异常可以为生成用于指示所述业务操作指令响应失败的目标响应结果，此时，Hive无法执行业务操作指令。

当业务操作指令对应的目标响应信息仅涉及元数据信息时，通过Hive调用第一钩子函数对用户是否有权限访问元数据信息进行认证，而无需在平台服务器和Hive中对用户两次进行权限认证，提高了业务操作的响应效率。

第二，当业务操作指令为新建指令或者删除指令时，该业务操作指令对应的目标响应信息既包括元数据信息又包括针对元数据信息进行处理的动作指令，此时，如图4和图5所示，基于对应于所述用户信息的目标权限信息，确定对应于所述目标权限信息的用于响应所述业务操作指令的目标响应结果，包括：

S401、获取所述业务操作指令对应的元数据信息及访问所述元数据信息的第一权限信息。

S402、获取所述业务操作指令对应的动作指令及执行所述动作指令的第二权限信息。

S403、若所述第一权限信息和所述第二权限信息分别与所述目标权限信息相匹配，则基于所述动作指令对所述元数据信息进行处理，并基于所述元数据信息的处理结果，生成所述处理结果的指示信息作为所述目标响应结果。

S404、若所述第一权限信息和第二权限信息中的至少一个权限信息与所述目标权限信息不匹配，则生成用于指示所述业务操作指令响应失败的目标响应结果。

结合步骤401-步骤404，在本申请实施例中，当业务操作指令为新建指令时，Hive调用第一钩子函数，第一钩子函数获取用户上述新建指令对应的元数据信息以及访问该元数据信息需要的第一权限信息，第一钩子函数将上述第一权限信息与用户的目标权限信息进行匹配，如果用户有访问上述新建指令对应的元数据信息的权限，则用户可以访问上述新建指令对应的元数据信息。

Hive调用第二钩子函数，第二钩子函数获取用户上述新建指令对应的新建动作指令以及执行该新建动作指令需要的第二权限信息，第二钩子函数将该第二权限信息与用户的目标权限信息进行匹配，如果用户有执行该新建动作指令的权限，则用户可以执行上述新建指令，并基于该新建指令对应的元数据信息，执行新建动作指令，生成用于指示上述新建指令执行成功的目标响应结果。

如果用户无权访问上述新建指令对应的元数据信息或无权执行上述新建动作指令，则生成用于指示上述新建指令响应失败的目标响应结果。

用于指示新建指令响应失败的目标响应结果包括但不限于以下结果中的至少一种：诸如“新建失败”、“无权执行该新建指令”的文字、用于指示新建失败的提示音、用于指示新建失败的图片等方式。

当业务操作指令为删除指令时，Hive调用第一钩子函数，第一钩子函数获取用户上述删除指令对应的元数据信息以及访问该元数据信息需要的第一权限信息，第一钩子函数将上述第一权限信息与用户的目标权限信息进行匹配，如果用户有访问上述删除指令对应的元数据信息的权限，则用户可以访问上述删除指令对应的元数据信息。

Hive调用第二钩子函数，第二钩子函数获取用户上述删除指令对应的删除动作指令以及执行该删除动作指令需要的第二权限信息，第二钩子函数将该第二权限信息与用户的目标权限信息进行匹配，如果用户有执行该删除动作指令的权限，则用户可以执行上述删除指令，并基于该删除指令对应的元数据信息，执行删除动作指令，生成用于指示上述删除指令执行成功的目标响应结果。

如果用户无权访问上述删除指令对应的元数据信息或无权执行上述删除动作指令，则生成用于指示上述删除指令响应失败的目标响应结果。

用于指示删除指令响应失败的目标响应结果包括但不限于以下结果中的至少一种：诸如“删除失败”、“无权执行该删除指令”的文字、用于指示删除失败的提示音、用于指示删除失败的图片等方式。

如图5所示，Hive执行用户的业务操作指令之前，调用第二钩子函数判断用户是否有执行业务操作指令对应的动作指令的权限。第二钩子函数获取上述业务操作指令对应的动作指令以及执行该动作指令需要的第二权限信息，并基于用户名从平台服务器获取该用户的目标权限信息，将上述第二权限信息和目标权限信息进行匹配，判断用户是否拥有响应上述业务操作指令的权限。若上述第二权限信息和目标权限信息相匹配，则用户的权限判定通过，即该用户有权执行该业务操作指令对应的动作指令，并生成指示上述动作指令已执行成功的目标响应结果；若上述第二权限信息和目标权限信息不匹配，第二钩子函数抛出异常，这里的抛出异常可以是生成用于指示上述业务操作指令响应失败的目标响应结果，即用户无权执行该业务操作指令对应的动作指令。

当业务操作指令对应的目标响应信息涉及元数据信息和动作指令时，通过Hive与平台服务器之间的交互，实现了对访问用户进行一次权限认证，提高了业务操作的响应效率，且通过一次权限认证的方式也便于工作人员对权限认证系统进行维护。

进一步的，当业务操作指令对应的目标响应信息既包括元数据信息又包括针对元数据信息进行处理的动作指令，Hive调用第一钩子函数和第二钩子函数确定用户权限认证通过后，基于动作指令处理元数据信息，得到变化后的更新元数据信息，通过调用第三钩子函数能够将更新元数据信息同步给平台服务器，以保证平台服务器和Hive的实时同步。

其中，目标响应信息包括的动作指令不同，平台服务器与Hive实时同步元数据信息的方式也不同，下面分别进行说明：

第一，本申请实施例提供的基于平台的数据处理方法，在基于所述动作指令对所述元数据信息进行处理之后，包括：

获取处理后得到的更新元数据信息；向所述平台服务器同步处理后的所述更新元数据信息，以使所述平台服务器基于所述更新元数据信息更新本地已存储的对应于所述用户信息的元数据信息。

本申请实施例中，当业务操作指令为库1的新建指令时，对应的目标响应信息包括元数据信息1(比如存储地址1、数据大小1、记录数1)和动作指令1(比如创建指令)。作为一种实施方式，Hive通过调用第一钩子函数获取上述元数据信息1，通过第二钩子函数获取上述动作指令1，当确定用户权限认证通过后，Hive基于创建指令存储上述元数据信息1，作为更新元数据信息。

当Hive在创建了新的更新元数据信息后，Hive调用第三钩子函数获取上述更新元数据信息，并将该更新元数据信息和新建指令发送给平台服务器，以便平台服务器基于更新元数据信息对相应用户的本地存储的元数据信息进行更新；这样，保证了平台服务器中存储的元数据信息与Hive中的元数据信息实时同步。

第二，本申请实施例提供的基于平台的数据处理方法，在基于所述动作指令对所述元数据信息进行处理之后，还包括：

获取被处理的元数据信息的标识信息；向所述平台服务器同步所述标识信息和对应于被处理的元数据信息的动作指令，以使所述平台服务器基于所述动作指令处理本地已存储的所述标识信息对应的元数据信息。

本申请实施例中，当业务操作指令为库2的删除指令时，对应的目标响应信息包括元数据信息2(比如存储地址2、数据大小2、记录数2)和动作指令2(比如删除指令)；作为一种实施方式，Hive通过调用第一钩子函数获取上述元数据信息2，通过第二钩子函数获取上述动作指令2，当确定用户权限认证通过后，Hive基于删除指令删除上述元数据信息2。

作为另一种实施方式，当Hive在删除了元数据信息2后，Hive调用第三钩子函数获取上述元数据信息2，并将针对该元数据信息2的删除指令发送给平台服务器，以使平台服务器基于上述删除指令删除本地存储的元数据信息2。这样，保证了平台服务器中存储的元数据信息与Hive中的元数据信息实时同步。

当业务操作指令对应的目标响应信息同时包括元数据信息和动作指令时，执行该业务操作指令后，Hive中元数据信息会发生变化，通过调用第一钩子函数和第二钩子函数，将指示业务操作指令响应成功或者响应失败的目标响应结果返回给平台服务器，通过调用第三钩子函数还能将更新元数据信息返回到平台服务器，实现平台服务器和Hive的实时同步。

本申请实施例中，平台服务器还能够定时与Hive进行元数据信息的同步，以更准确的保证平台服务器和Hive中的元数据信息一致。参见图6所示，本申请实施例提供的基于平台的数据处理方法还包括以下步骤：

S601、在接收到所述平台服务器发送的快照请求后，获取当前时刻存储的元数据信息。

S602、将所述元数据信息发送给所述平台服务器，以使所述平台服务器基于所述元数据信息制作快照信息并基于所述快照信息更新本地已存储的元数据信息。

结合S601和S602，平台服务器中预先设置有更新周期，比如，设置每一个小时作为一个更新周期。平台服务器每检测到当前时间点到达更新时间点时，向Hive发送快照请求，并基于Hive返回的当前时刻存储的元数据信息制作快照信息，并基于该快照信息更新本地已存储的元数据信息，通过这种方式，使平台服务器和Hive中元数据信息保持定时同步。

在本申请实施例中，平台服务器将更新时间点的快照信息与上一次更新时间点的快照信息进行对比，得到两个更新时间点区间内Hive中元数据信息的变化信息，并将上述元数据信息的变化信息进行展示，以便用户进行查看。

上述元数据信息的变化信息包括但不限于以下信息中的至少一种：存储量变化信息、分区波动信息、新增数据量信息等。

本申请实施例中，Hive中的元数据信息的变化可能并非用户操作产生的，针对该种情况，平台服务器定期获取Hive中实时存储的元数据信息，并基于上述元数据信息制作快照信息，用以更新平台服务器中已存储的元数据信息，使平台服务器和Hive中元数据信息保持同步。

Hive调用第三钩子函数不仅能实现平台服务器和Hive之间的数据同步，基于第三钩子函数，还能够获取业务操作指令执行过程中的执行记录信息，并在上述业务操作指令被执行后，将该执行记录信息返回给平台服务器。本申请实施例提供的基于平台的数据处理方法还包括：

获取响应所述业务操作指令过程中的执行记录信息，并在上述业务操作指令被执行后，将所述执行记录信息发送给所述平台服务器，以使所述平台服务器基于所述执行记录信息监控用户的行为以及响应用户的业务查询请求；其中，所述执行记录信息包括但不限于以下信息：用户信息、执行时间、执行结果、执行过程中所涉及的数据资源信息。

作为一种实施方式，上述执行记录信息包括用于监控用户行为的第一执行记录信息，该第一执行记录信息包括数据使用情况和用户使用情况的信息，Hive调用第三钩子函数获取上述第一执行记录信息，并在对应的业务操作指令被执行后，将该第一执行记录信息发送给平台服务器，用于监控用户的行为。

作为另外一种实施方式，上述执行记录信息还包括用于作为用户的历史业务信息的第二执行记录信息，该第二执行记录信息包括用户信息、执行时间、执行结果、业务操作指令等信息。Hive调用第三钩子函数获取上述第二执行记录信息，并在对应的业务操作指令被执行后，将该第二执行记录信息发送给平台服务器，用于用户再一次发送业务操作指令时，作为用户的历史业务信息，显示给用户。

在上述基于平台的数据处理方法中，通过Hive与平台服务器之间的交互，实现了对访问用户进行一次安全认证，提高了业务操作的响应效率，且通过一次安全认证的方式也便于工作人员对安全认证系统进行维护。

基于同一发明构思，本申请实施例中还提供了与上述基于平台的数据处理方法对应的基于平台的数据处理系统，由于本申请实施例中的基于平台的数据处理系统解决问题的原理与本申请实施例上述基于平台的数据处理方法相似，因此基于平台的数据处理系统的实施可以参见方法的实施，重复之处不再赘述。参见图7所示，为本申请一实施例提供的一种基于平台的数据处理系统的架构简图，该系统包括：平台服务器701和Hive702。

平台服务器701，用于将接收到的业务操作指令转发给Hive702；其中，所述业务操作指令中携带有用户信息。

Hive702，用于响应于所述业务操作指令，向平台服务器701发送携带有所述用户信息的身份认证请求。

平台服务器701，还用于对所述用户信息进行身份认证，并将身份认证结果返回给Hive702。

Hive702，还用于在接收到针对所述身份认证请求的认证通过的反馈信息之后，则从平台服务器701中获取对应于所述用户信息的目标权限信息；基于对应于所述用户信息的所述目标权限信息，确定对应于所述目标权限信息的用于响应所述业务操作指令的目标响应结果；将所述目标响应结果返回到平台服务器701，以使平台服务器701显示所述目标响应结果。

在一种可能的实施方式中，Hive702在基于对应于所述用户信息的目标权限信息，确定对应于所述目标权限信息的用于响应所述业务操作指令的目标响应结果时，包括：

在一种可能的实施方式中，Hive702在基于对应于所述用户信息的目标权限信息，确定对应于所述目标权限信息的用于响应所述业务操作指令的目标响应结果时，还包括：

在一种可能的实施方式中，Hive702在基于所述动作指令对所述元数据信息进行处理之后，还包括：

获取处理后得到的更新元数据信息；向平台服务器701同步处理后的所述更新元数据信息，以使平台服务器701基于所述更新元数据信息更新本地已存储的对应于所述用户信息的元数据信息；

或者，获取被处理的元数据信息的标识信息；向平台服务器701同步所述标识信息和对被处理的元数据信息的动作指令，以使平台服务器701基于所述动作指令处理本地已存储的所述标识信息对应的元数据信息。

在一种可能的实施方式中，一种基于平台的数据处理系统中的Hive702还可以用于：

在接收到所述平台服务器701发送的快照请求后，获取当前时刻存储的元数据信息；

将所述元数据信息发送给所述平台服务器701，以使所述平台服务器701基于所述元数据信息制作快照信息并基于所述快照信息更新所述平台服务器701本地已存储的元数据信息。

在一种可能的实施方式中，Hive702在将目标响应结果返回到平台服务器701之后，还包括：

获取响应所述业务操作指令过程中的执行记录信息，并将所述执行记录信息发送给平台服务器701，以使平台服务器701基于所述执行记录信息监控用户的行为以及响应用户的业务查询请求；其中，所述执行记录信息包括但不限于以下信息：用户信息、执行时间、执行结果、执行过程中所涉及的数据资源信息。

本申请实施例提供的基于平台的数据处理系统，平台服务器701中预先存储有安全认证信息，Hive702接收到业务操作请求指令后，通过与平台服务器701之间的交互，使平台服务器701基于安全认证信息对用户进行身份认证，在身份认证通过后，Hive702通过平台服务器701中的安全认证信息对用户进行权限认证，在权限认证通过后，Hive702向平台服务器701返回响应于业务操作请求指令的目标响应结果。这样，通过Hive702与平台服务器701之间的交互，实现了对访问用户进行一次安全认证，提高了业务操作的响应效率，且通过一次安全认证的方式也便于工作人员对安全认证系统进行维护。

图8示出了本申请实施例所提供的一种基于平台的数据处理系统的架构图，下面结合图8对该基于平台的数据处理系统进行简要说明：

平台服务器中存储有用户信息和用户的目标权限信息，平台服务器向Hive转发用户发送的携带有用户信息的业务操作指令，Hive响应该业务操作指令并将用户信息发送给平台服务器，平台服务器基于用户信息对该用户进行身份认证，Hive接收到用户身份认证通过的响应结果后，调用第一钩子函数基于从平台服务器中获取的用户的目标权限信息对用户的第一权限信息进行认证，再调用第二钩子函数基于从平台服务器中获取的用户的目标权限信息对用户的第二权限信息进行认证，用户权限认证通过后，Hive执行用户的业务操作指令，生成目标响应结果，并将该目标响应结果发送给平台服务器，平台服务器将目标响应结果显示给用户。Hive调用第三钩子函数在业务操作指令编译前、编译后、执行前、执行后，获取该业务操作指令的执行记录信息，并在上述业务操作指令被执行后将该执行记录信息发送给平台服务器。

基于同一发明构思，本申请实施例中还提供了与一种基于平台的数据处理方法对应的一种基于平台的数据处理装置，由于本申请实施例中的基于平台的数据处理装置解决问题的原理与本申请实施例上述基于平台的数据处理方法相似，因此基于平台的数据处理装置的实施可以参见方法的实施，重复之处不再赘述。如图9所示，本申请实施例还提供了一种基于平台的数据处理装置900，具体包括：

接收模块901，用于接收平台服务器转发的来自用户的业务操作指令，所述业务操作指令中携带有用户信息；

第一发送模块902，用于基于所述业务操作指令，向所述平台服务器发送携带有所述用户信息的身份认证请求；

第一获取模块903，用于若所述平台服务器返回身份认证通过的响应结果，则从所述平台服务器中获取对应于所述用户信息的目标权限信息；

确定模块904，用于基于对应于所述用户信息的目标权限信息，确定对应于所述目标权限信息的用于响应所述业务操作指令的目标响应结果；

第二发送模块905，用于将所述目标响应结果返回到所述平台服务器，以使所述平台服务器显示所述目标响应结果。

在一种可能的实施方式中，确定模块904，在基于对应于所述用户信息的目标权限信息，确定对应于所述目标权限信息的用于响应所述业务操作指令的目标响应结果时，包括：

在一种可能的实施方式中，确定模块904，在基于对应于所述用户信息的目标权限信息，确定对应于所述目标权限信息的用于响应所述业务操作指令的目标响应结果时，还包括：

在一种可能的实施方式中，上述基于平台的数据处理装置还包括：

第二获取模块，用于在基于所述动作指令对所述元数据信息进行处理之后，获取处理后得到的更新元数据信息；

第三发送模块，用于向所述平台服务器同步处理后的所述更新元数据信息，以使所述平台服务器基于所述更新元数据信息更新本地已存储的对应于所述用户信息的元数据信息；

或者，

第二获取模块，用于获取被处理的元数据信息的标识信息；

第三发送模块，用于向所述平台服务器同步所述标识信息和被处理的元数据信息对应的动作指令，以使所述平台服务器基于所述动作指令处理本地已存储的所述标识信息对应的元数据信息。

第三获取模块，用于在接收到平台服务器发送的快照请求后，获取当前时刻存储的元数据信息；

第四发送模块，用于将所述元数据信息发送给所述平台服务器，以使所述平台服务器基于所述元数据信息制作快照信息，并基于所述快照信息更新本地已存储的元数据信息。

第四获取模块，用于在将所述目标响应结果返回到所述平台服务器之后，获取响应所述业务操作指令过程中的执行记录信息；

第五发送模块，用于将所述执行记录信息发送给所述平台服务器，以使所述平台服务器基于所述执行记录信息监控用户的行为以及响应用户的业务查询请求；其中，所述执行记录信息包括但不限于以下信息：用户信息、执行时间、执行结果、执行过程中所涉及的数据资源信息。

本申请实施例提供的基于平台的数据处理装置，实现了对访问用户进行一次安全认证，提高了业务操作的响应效率，且通过一次安全认证的方式也便于工作人员对安全认证系统进行维护。

如图10所示，本申请实施例提供的一种电子设备1000，包括：处理器1001、存储器1002和总线，所述存储器1002存储有所述处理器1001可执行的机器可读指令，当电子设备运行时，所述处理器1001与所述存储器1002之间通过总线通信，所述处理器1001执行所述机器可读指令，以执行如上述基于平台的数据处理方法的步骤。

具体地，上述存储器1002和处理器1001能够为通用的存储器和处理器，这里不做具体限定，当处理器1001运行存储器1002存储的计算机程序时，能够执行上述基于平台的数据处理方法。

对应于上述基于平台的数据处理方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述基于平台的数据处理方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种基于平台的数据处理方法，其特征在于，所述数据处理方法包括：

2.根据权利要求1所述的基于平台的数据处理方法，其特征在于，所述基于对应于所述用户信息的目标权限信息，确定对应于所述目标权限信息的用于响应所述业务操作指令的目标响应结果，包括：

3.根据权利要求1所述的基于平台的数据处理方法，其特征在于，所述基于对应于所述用户信息的目标权限信息，确定对应于所述目标权限信息的用于响应所述业务操作指令的目标响应结果，还包括：

4.根据权利要求3所述的基于平台的数据处理方法，其特征在于，所述基于所述动作指令对所述元数据信息进行处理之后，所述方法还包括：

5.根据权利要求1所述的基于平台的数据处理方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的基于平台的数据处理方法，其特征在于，所述将所述目标响应结果返回到所述平台服务器之后，所述方法还包括：

7.一种基于平台的数据处理系统，其特征在于，所述系统包括：Hive数据仓库和平台服务器；

8.根据权利要求7所述的基于平台的数据处理系统，其特征在于，所述Hive数据仓库在基于对应于所述用户信息的目标权限信息，确定对应于所述目标权限信息的用于响应所述业务操作指令的目标响应结果时，包括：

9.根据权利要求7所述的基于平台的数据处理系统，其特征在于，所述Hive数据仓库在基于对应于所述用户信息的目标权限信息，确定对应于所述目标权限信息的用于响应所述业务操作指令的目标响应结果时，还包括：

10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至6任一项所述的基于平台的数据处理方法的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至6任一项所述的基于平台的数据处理方法的步骤。