CN108287894B - 数据处理方法、装置、计算设备及存储介质 - Google Patents

Abstract

本申请公开了数据处理方法、装置、计算设备及存储介质。其中，数据处理方法包括：获取用户标识对应的身份验证信息，其中，该身份验证信息用于登录云存储系统；获取与所述用户标识关联的一个或多个访问地址，其中，各访问地址用于访问所述云存储系统中与该访问地址对应的目标数据块；当获取到对所述一个或多个访问地址所对应目标数据块的处理指示时，通过所述身份验证信息访问所述云存储系统；当云存储系统对所述身份验证信息验证通过时，从云存储系统获取所述一个或多个访问地址所对应的目标数据块；根据处理指示，对所述一个或多个访问地址所对应的目标数据块分别进行相应的处理操作。

Description

数据处理方法、装置、计算设备及存储介质

技术领域

本申请涉及云计算领域，尤其涉及数据处理方法、装置、计算设备及存储介质。

背景技术

云服务是由网络资源提供数据计算和数据存储服务的方式。通常，云服务可以包括云计算服务和云存储服务。云计算是计算资源动态可扩展的计算方式，可以通过分布式计算节点对计算任务进行分布式处理。云存储是通过集群应用、网络技术和分布式文件系统等技术，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的技术。一些应用场景中，云计算系统和云存储系统通常分别进行部署和管理。

发明内容

根据本申请一个方面，提供了一种数据处理方法，包括：在云计算系统中获取用户标识对应的身份验证信息，其中，该身份验证信息用于登录云存储系统；获取与所述用户标识关联的一个或多个访问地址，其中，各访问地址用于访问所述云存储系统中与该访问地址对应的目标数据块；当获取到对所述一个或多个访问地址所对应目标数据块的处理指示时，通过所述身份验证信息访问所述云存储系统，以便所述云存储系统对所述身份验证信息进行验证；当所述云存储系统对所述身份验证信息验证通过时，从所述云存储系统获取所述一个或多个访问地址所对应的目标数据块；根据所述处理指示，对所述一个或多个访问地址所对应的目标数据块分别进行相应的处理操作。

在一些实施例中，在获取所述处理指示之前，该方法还包括：确定与所述所对应目标数据块关联的数据库表结构，其中，该数据库表结构用于描述所述所对应目标数据块待转换成的数据结构；所述获取所述处理指示，包括：从所述客户端获取关于所述数据库表结构的表操作指示，并将其作为所述处理指示；所述对所述一个或多个访问地址所对应的目标数据块分别进行相应的处理操作，包括：将所述所对应目标数据块中各数据文件分别按照所述数据库表结构转化为相应的数据表；根据所述处理指示，在每个数据文件对应的数据表中执行相应的处理操作。

在一些实施例中，所述确定与所述所对应目标数据块关联的数据库表结构，包括：生成与所述所对应目标数据块关联的优化记录柱格式的数据库表结构；所述将所述所对应目标数据块中各数据文件分别按照所述数据库表结构转化为相应的数据表，包括：将所述一个或多个访问地址所对应的目标数据块中各数据文件存储在相应的原始数据表中，其中，各数据文件对应的原始数据表与该数据文件的数据结构一致；通过蜂箱式数据仓库应用的表插入方式，将所述原始数据表中内容写入所述优化记录柱格式的数据库表结构，以生成所述数据表。

在一些实施例中，所述获取用户标识对应的身份验证信息，包括：从所述用户标识对应的客户端接收所述身份验证信息，所述身份验证信息包括用于登录所述云存储系统的身份标识和密码。

在一些实施例中，所述获取与所述用户标识关联的一个或多个访问地址，包括：接收所述用户标识对应的客户端所确定的一个或多个地址信息，并将其作为所述一个或多个访问地址。

在一些实施例中，所述获取与所述用户标识关联的一个或多个访问地址，包括：通过所述身份验证信息访问所述云存储系统；当所述云存储系统对所述身份验证信息验证通过时，从所述云存储系统获取所述用户标识所对应的一个或多个访问地址，其中，每个访问地址对应于一个目标数据块。

在一些实施例中，所述通过所述身份验证信息访问所述云存储系统，以及从所述云存储系统获取所述一个或多个访问地址所对应的目标数据块，包括：将所述一个或多个访问地址分配到多个计算节点，并指示各计算节点分别通过相应访问地址访问所述云存储系统，以便从获取该计算节点所分配访问地址对应的目标数据块；所述根据所述处理指示，对获取的所述目标数据块进行相应处理，包括：指示各计算节点分别根据所述处理指示对该计算节点所对应的目标数据块进行相应处理。

在一些实施例中，云计算系统包括蜂箱式数据仓库应用和用于访问云存储系统的云存储访问文件系统。所述当获取到对所述一个或多个访问地址所对应目标数据块的处理指示时，通过所述身份验证信息访问所述云存储系统，包括：当获取所述处理指示时，在所述蜂箱式数据仓库应用中建立与所述用户标识对应的连接会话，并将所述用户标识对应的身份验证信息设置为所述连接会话的属性参数，以便所述文件访问系统获取与所述用户标识对应的身份验证信息；在所述云存储访问文件系统中，利用从所述连接会话获取的身份验证信息，访问所述云存储系统。

在一些实施例中，该方法还包括：获取与所述处理操作对应的处理结果；将所述处理结果传输到所述云存储系统，以便所述云存储系统将所述处理结果与所述所对应的目标数据块关联存储。

根据本申请又一个方面，提供了一种数据处理装置，包括：第一获取单元，用于获取用户标识对应的身份验证信息，其中，该身份验证信息用于登录云存储系统；第二获取单元，用于获取与所述用户标识关联的一个或多个访问地址，其中，各访问地址用于访问所述云存储系统中与该访问地址对应的目标数据块；验证单元，用于当所述第二获取单元获取到对所述一个或多个访问地址所对应目标数据块的处理指示时，通过所述身份验证信息访问所述云存储系统，以便所述云存储系统对所述身份验证信息进行验证；第三获取单元，用于当所述云存储系统对所述身份验证信息验证通过时，从所述云存储系统获取所述一个或多个访问地址所对应的目标数据块；计算单元，用于根据所述处理指示，对所述一个或多个访问地址所对应的目标数据块分别进行相应的处理操作。

在一些实施例中，该装置还包括表创建单元；在所述第二获取单元获取所述处理指示之前，所述表创建单元，用于确定与所述所对应目标数据块关联的数据库表结构，其中，该数据库表结构用于描述所述所对应目标数据块待转换成的数据结构；所述第二获取单元根据下述方式获取所述处理指示：从所述客户端获取关于所述数据库表结构的表操作指示，并将其作为所述处理指示；所述计算单元根据下述方式对所述一个或多个访问地址所对应的目标数据块分别进行相应的处理操作：将所述所对应目标数据块中各数据文件分别按照所述数据库表结构转化为相应的数据表；根据所述处理指示，在每个数据文件对应的数据表中执行相应的处理操作。

在一些实施例中，所述表创建单元根据下述方式确定与所述所对应目标数据块关联的数据库表结构：生成与所述所对应目标数据块关联的优化记录柱格式的数据库表结构。计算单元根据下述方式所述将所述所对应目标数据块中各数据文件分别按照所述数据库表结构转化为相应的数据表：将所述一个或多个访问地址所对应的目标数据块中各数据文件存储在相应的原始数据表中，其中，各数据文件对应的原始数据表与该数据文件的数据结构一致；通过蜂箱式数据仓库应用的表插入方式，将所述原始数据表中内容写入所述优化记录柱格式的数据库表结构，以生成所述数据表。

在一些实施例中，所述第一获取单元根据下述方式获取用户标识对应的身份验证信息：从所述用户标识对应的客户端接收所述身份验证信息，所述身份验证信息包括用于登录所述云存储系统的身份标识和密码。

在一些实施例中，所述第二获取单元根据下述方式获取与所述用户标识关联的一个或多个访问地址：接收所述用户标识对应的客户端所确定的一个或多个地址信息，并将其作为所述一个或多个访问地址。

在一些实施例中，所述第二获取单元根据下述方式获取与所述用户标识关联的一个或多个访问地址：指示所述验证单元通过所述身份验证信息访问所述云存储系统；当所述云存储系统对所述身份验证信息验证通过时，从所述云存储系统获取所述用户标识所对应的一个或多个访问地址，其中，每个访问地址对应于一个目标数据块。

在一些实施例中，所述第三获取单元根据下述方式从所述云存储系统获取所述一个或多个访问地址所对应的目标数据块：将所述一个或多个访问地址分配到多个计算节点，并指示各计算节点分别通过相应访问地址访问所述云存储系统，以便从获取该计算节点所分配访问地址对应的目标数据块；所述计算单元根据下述方式对获取的所述目标数据块进行相应处理：指示各计算节点分别根据所述处理指示对该计算节点所对应的目标数据块进行相应处理。

在一些实施例中，云计算系统包括蜂箱式数据仓库应用和用于访问云存储系统的云存储访问文件系统。当获取到对所述一个或多个访问地址所对应目标数据块的处理指示时，所述验证单元根据下述方式通过所述身份验证信息访问所述云存储系统：当获取所述处理指示时，在所述蜂箱式数据仓库应用中建立与所述用户标识对应的连接会话，并将所述用户标识对应的身份验证信息设置为所述连接会话的属性参数，以便云存储访问文件系统获取与所述用户标识对应的身份验证信息；利用从所述连接会话获取的身份验证信息，访问所述云存储系统。

在一些实施例中，所述计算单元，还用于：获取与所述处理操作对应的处理结果；将所述处理结果传输到所述云存储系统，以便所述云存储系统将所述处理结果与所述所对应的目标数据块关联存储。

根据本申请又一个方面，提供一种计算设备，包括：一个或多个处理器、存储器以及一个或多个程序。程序存储在该存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行本申请的数据处理方法的指令。

根据本申请又一个方面，提供一种存储介质，存储有一个或多个程序。所述一个或多个程序包括指令。所述指令当由计算设备执行时，使得所述计算设备执行本申请的数据处理方法。

综上，根据本申请的数据处理方案，可以在云计算系统中获取用户登录云存储系统的身份验证信息和目标数据块(存储在云存储系统)的访问地址。这样，数据处理方案可以在云计算系统中访问云存储系统并获取目标数据块。在此基础上，数据处理方案可以在云计算系统中对目标数据块进行处理。

附图说明

为了更清楚地说明本申请实例中的技术方案，下面将对实例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1A示出了根据本申请一些实施例的应用场景的示意图；

图1B示出了根据本申请一些实施例的应用场景的示意图；

图2A示出了根据本申请一些实施例的应用场景的示意图；

图2B示出了根据本申请一些实施例的应用场景的示意图；

图2C示出了根据本申请一些实施例的接口系统的示意图；

图2D示出了根据本申请一些实施例的应用场景的示意图；

图3A示出了根据本申请一些实施例的终端设备110的用户界面示意图；

图3B示出了根据本申请一些实施例的终端设备110的用户界面示意图；

图3C示出了根据本申请一些实施例的终端设备110的用户界面示意图；

图4示出了根据本申请一些实施例的数据处理方法400的流程图；

图5示出了根据本申请一些实施例的数据处理方法500的示意图；

图6示出了根据本申请一些实施例的数据处理装置600的示意图；

图7示出了根据本申请一些实施例的数据处理装置700的示意图；以及

图8示出了一个计算设备的组成结构图。

具体实施方式

下面将结合本申请实例中的附图，对本申请实例中的技术方案进行清楚、完整地描述，显然，所描述的实例仅是本申请一部分实例，而不是全部的实例。基于本申请中的实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实例，都属于本申请保护的范围。

图1示出了根据本申请一些实施例的应用场景的示意图。

如图1所示，应用场景可以包括终端设备110、云计算系统120和云存储系统130。这里，云计算系统120可以被实现为各种分布式计算系统。云计算系统120例如可以是基于哈杜普(hadoop)架构的分布式计算系统，但不限于此。云存储系统130可以被实现为各种分布式存储系统。云存储系统130例如可以提供对象存储服务(云存储系统为对象存储系统)。这里，对象存储也可以称为基于对象的存储。在对象存储系统中，不同对象例如属于同一个层结构(即没有层级结构)。对象存储系统中对象可以存储在扁平化的存储池中。所存储的对象例如是非结构化数据对象，但不限于此。从硬件角度而言，云计算系统120可以包括多个计算节点。换言之，云计算系统120可以被实现为服务器集群。另外，云存储系统130可以被实现为服务器集群。终端设备110可以被实现为移动电话、台式计算机、笔记本电脑或者平板电脑等各种计算设备。这里，云计算系统120和云存储系统130均可以被独立管理(也可以称为独立部署)。终端设备110可以与云计算系统120通信，也可以与云存储系统130通信。具体而言，各种用户设备(例如终端设备110)可以登录云计算系统120，并向云计算系统120传输待处理的数据或者传输数据处理任务。用户设备可以登录云存储系统130，并向系统130传输待存储的数据或者从系统130下载已存储的数据。

另外，云计算系统120还可以从用户设备获取云存储系统130中数据资源的访问地址和对数据资源的处理任务。这样，云计算系统120可以直接访问云存储系统130，并获取访问地址所对应的数据资源，以执行处理任务。

图1B示出了根据本申请又一些实施例的应用场景的示意图。如图1B所示，应用场景包括云计算系统120、云存储系统130和网关系统150。云计算系统120可以被实现为服务器集群，例如如图1B示出的计算节点121、122和123。网管系统150可以供云计算系统120和云存储系统130进行数据交互。云存储系统130可以包括接入集群131、索引集群132和存储集群133。这里，存储集群可以存储各种数据内容，本申请对此不做限制。群索引集群132可以存储存储集群133中数据的数据索引信息(也可以称为目录信息)。接入集群131可以负责数据访问请求的管理，根据索引集群中每个索引信息，从存储集群133获取相应的数据。下面结合图2对云计算系统进一步说明。

图2A示出了根据本申请一些实施例的应用场景的示意图。如图2A所示，云计算系统200包括鉴权装置210、任务控制装置220和任务处理装置230。鉴权装置210可以存储一个或多个用户的第一身份验证信息。这里，每个用户的第一身份验证信息用于登录云计算系统200，例如包括身份标识和密码。例如，终端设备110可以向鉴权装置210发送身份验证信息。鉴权装置210可以判断终端设备110可以根据所接收的信息与本地存储的身份验证信息是否匹配。在确定匹配(即终端设备110通过身份验证)时，云计算系统200可以与终端设备110建立会话连接。在此基础上，终端设备110可以向鉴权装置210发送用户标识对应的第二身份验证信息。这里，用户标识可以代表终端设备110的用户，例如为用户账号等等。用户标识对应的第二身份验证信息用于登录云存储系统130，例如可以包括身份标识和密码。图3A示出了根据本申请一些实施例的终端设备110的用户界面示意图。如图3A所示，终端设备110可以提供第二身份验证信息的输入界面。例如，输入框301和302可以用于接收用户输入的身份标识和密码。这样，终端设备110可以向鉴权装置210发送用户输入的身份标识和密码。鉴权装置210可以存储用户标识对应的第二身份验证信息。

另外，任务控制装置220可以获取与用户标识关联的一个或多个访问地址。这里，访问地址可以指向云存储系统130的一个目录。该目录可以包括一个或多个数据文件。该目录所包含的数据可以被称为一个目标数据块。图3B示出了根据本申请一些实施例的终端设备110的用户界面示意图。如图3B所示，终端设备110可以通过输入框103获取一个目录路径，即一个目标数据块的访问地址。

另外，任务控制设备220还可以创建一个数据库表结构。这里，创建数据库表结构可以指定目标数据块的转换格式。换言之，目标数据块可以被转换为与数据库表结构一致的数据格式。例如，图3C中输入框304用于输入建立一个数据库表结构的命令。输入框304可以指定数据库表结构的行包括a、b和c字段。这里，各字段的含义根据目标数据块内容进行配置，这里不再赘述。任务控制装置220还可以获取来自终端设备110的针对一个或多个目标数据块的处理指示。这里，处理指示例如为针对数据库表结构中一个字段的查询操作等，但不限于此。从格式角度而言，处理指示例如为针对数据库表的各种结构化查询语言(例如，Structured Query Language，简称SQL)语句。任务控制设备220还可以将处理指示进行解析操作，以便获取用于由任务处理装置230执行的指令。这里，任务控制装置220例如可以被实现为蜂箱式数据仓库应用(即，Hive)架构，但不限于此。

任务控制设备可以将经过解析的处理指示发送到任务处理装置230。这样，任务处理装置230可以将处理指示拆分为多个子任务。典型的，每个子任务对应于一个目标数据块。任务处理装置230可以包括多个计算节点，例如1、2和3。任务处理装置230中各计算节点可以根据目标数据块的访问地址以及身份验证信息访问云存储系统130。这样，云存储系统130在确定计算节点通过身份验证时，返回相应目标数据块。例如，计算节点1可以获取目标数据块1，计算节点3可以获取目标数据块2。这样，计算节点可以对目标数据块执行相应的子任务。在又一个实施例中，任务处理装置230可以将对一个目标数据块的处理任务拆分为多个子任务。换言之，每个子任务对应于该目标数据块的一部分数据，即目标数据块的一个数据分片。这样，各计算节点可以向云存储系统130请求该计算节点对应的数据分片。这里，一个计算节点所发送的访问请求可以目标数据块的访问地址、该计算节点对应数据分片的长度和该数据分片在目标数据块中的偏移量(即该数据分片在目标数据块中首地址)。这样，任务处理装置230可以由各计算节点分别获取相应的数据分片并进行处理。

在一个实施例中，任务处理装置230例如可以被实现为哈杜普(hadoop)架构。任务处理装置230的文件系统可以包括哈杜普分布式文件系统(Hadoop Distributed FileSystem，简称HDFS)。任务处理装置230例如可以被实现为org.apache.hadoop.fs.FileSystem接口。该接口可以封装读写等操作。这里，该接口对应的代码(例如为JAR包)例如可以部署在HDFS的lib目录下。这样，任务处理装置230可以通过该接口访问云存储系统130。

需要说明的是，云计算系统200的架构并不限于图2所示，还可以被实现为各种能够从云存储系统130获取目标数据块并完成数据处理操作的各种合适的架构。本申请对此不作限制。

图2B示出了根据本申请又一些实施例的应用场景的示意图。如图2B所示，应用场景包括终端设备111、终端设备112、云计算系统200、云存储系统130。这里，终端设备111和112分别对应一个用户。终端设备111向鉴权装置210发送请求1(一个处理指示)时，鉴权装置210可以将终端设备111对应的身份验证信息1传输到任务控制装置220。任务控制装置220可以将请求1分配到计算节点1。计算节点1可以基于接口系统231，并利用身份验证信息1访问云存储系统130。这样，计算节点1可以从云存储系统130获取目标数据块1并进行相应数据处理。类似地，当终端设备112向鉴权装置210发送请求2时，计算节点3可以从云存储系统130获取目标数据块2并进行相应数据处理。这里，接口系统231可以被实现为分布式文件系统。图2C示出了根据本申请一些实施例的接口系统231的示意图。如图2C所示，接口系统231可以包括文件传输协议(File Transfer Protocol，简称FTP)文件系统2311、分布式文件系统2312和云存储访问文件系统2313。这里，计算节点可以通过FTP文件系统2311和分布式文件系统2312访问云计算系统200所存储的数据。云存储访问文件系统2313用于访问云存储系统130。文件系统2313可以向各计算节点提供例如读接口、写接口等调用接口。读接口对应于从云存储系统130获取目标数据块。写接口对应于向云存储系统130发送数据。

图2D示出了根据本申请又一些实施例的应用场景的示意图。如图2D所示，应用场景可以包括终端设备111、终端设备112、云计算系统200、云存储系统130。云计算系统200可以包括鉴权装置210、任务控制装置220和任务处理装置230。这里，鉴权装置210可以包括鉴权单元211和密钥管理单元212。任务控制装置220可以包括Hive应用221。Hive应用211可以包括会话管理单元2111。任务处理装置230可以包括云存储访问文件系统2313。

图2D所示的云计算系统200可以应用在多用户的应用场景中。多个用户可以各自登录云计算系统200，并指示云计算系统200从云存储系统130获取数据并处理。例如，终端设备111可以基于第一身份验证信息访问云计算系统200。鉴权单元211可以验证终端设备111的第一身份验证信息。在鉴权单元211对终端设备111验证通过后，终端设备111可以向云计算系统200发送数据处理指示，例如图2D所示请求1。响应于请求1，会话管理单元2211可以建立与终端设备111的Hive会话，例如图2D中会话1。密钥管理单元212可以管理各用户登录云存储系统130的身份验证信息，即各用户标识对应的第二身份验证信息。在一个实施例中，会话管理单元2211可以将第二身份验证信息本地存储或者存储在一个硬件独立的存储设备(未示出)中。

Hive应用221可以将终端设备111对应的身份验证信息1设置为会话1的属性参数。这样，云存储访问文件系统2313可以从会话1中获取终端设备111对应的身份验证信息1，并根据身份验证信息1访问云存储系统130。

图4示出了根据本申请一些实施例的数据处理方法400的流程图。这里，方法400例如可以在云计算系统120中执行，但不限于此。

如图4所示，在步骤S401中，获取用户标识对应的身份验证信息，该身份验证信息用于登录云存储系统130。在一个实施例中，用户标识用于代表一个用户，例如可以被实现为用户账号等等形式。身份验证信息包括身份标识和密码。步骤S401从用户标识对应的客户端(例如终端设备110)接收身份验证信息。这里，身份标识与用户标识相关联。在又一个实施例中，步骤S401的具体实施方式与鉴权装置210一致，这里不再赘述。

在步骤S402中，获取与用户标识关联的一个或多个访问地址。其中，各访问地址用于访问所述云存储系统中与该访问地址对应的目标数据块。

在一个实施例中步骤S402的实施方式与任务控制装置220一致，这里不再赘述。

在又一个实施例中，步骤S402接收用户标识对应的客户端(例如终端设备110)所确定的一个或多个地址信息，并将其作为上述的一个或多个访问地址。

在又一个实施例中，步骤S402首先通过身份验证信息访问云存储系统130。当云存储系统130对身份验证信息验证通过时，步骤S402从云存储系统130获取用户标识所对应的一个或多个访问地址，其中，每个访问地址对应于一个目标数据块。这里，用户(由用户标识代表)在云存储系统130中对步骤S402所获取的访问地址具有读权限。

当获取到对所述一个或多个访问地址所对应目标数据块的处理指示时，方法400执行步骤S403，通过所述身份验证信息访问所述云存储系统，以便所述云存储系统130对所述身份验证信息进行验证。在一个实施例中，云计算系统包括蜂箱式数据仓库应用(例如hive应用221)和用于访问云存储系统130的云存储访问文件系统2313。在该实施例中，当获取处理指示时，步骤S403可以在蜂箱式数据仓库应用中建立与用户标识对应的连接会话，并将用户标识对应的身份验证信息设置为连接会话的属性参数。这样，云存储访问文件系统可以获取与用户标识对应的身份验证信息。步骤S403可以在云存储访问文件系统中，利用从连接会话获取的身份验证信息，访问云存储系统130。

当云存储系统对所述身份验证信息验证通过时，方法400执行步骤S404，从云存储系统获取所述一个或多个访问地址所对应的目标数据块。根据本申请一个实施例，在步骤S403中，将上述一个或多个访问地址分配到多个计算节点，并指示各计算节点分别通过相应访问地址访问云存储系统130。在步骤S404中，各计算节点可以从云存储系统130获取所分配访问地址对应的目标数据块。在又一个实施例中，步骤S404的实施方式与任务处理装置230一致，这里不再赘述。

在步骤S405中，根据处理指示，对上述一个或多个访问地址所对应的目标数据块分别进行相应的处理操作。根据本申请一个实施例，在步骤S405中可以指示各计算节点分别根据处理指示对该计算节点所对应的目标数据块进行相应处理。这里，目标数据块例如是数据库表或者可以被转换为数据库表。处理操作例如是在数据库表中进行各种操作，例如针对一个行字段进行查询操作或者插入行数据等等，本申请对此不做限制。

在一个实施例中，云存储系统130为对象存储系统。步骤S401所获取的身份验证信息用于登录对象存储系统。相应地，步骤S402所获取的各访问地址所对应的目标数据块例如可以是一个对象或者多个对象。在步骤S403中，当获取对目标数据块(即对一个或多个对象)的处理指示时，通过身份验证信息访问对象存储系统，以便对象存储系统对身份验证信息进行验证。当对象存储系统对身份验证信息通过验证时，方法400可以在步骤S404中，获取与访问地址对应的对象。这样，方法400可以在步骤S405中，对所获取的对象进行处理操作。例如，将对象转换为数据库表结构，并进行数据库表操作。

综上，根据本申请的方法400，可以在云计算系统中获取用户登录云存储系统的身份验证信息和目标数据块(存储在云存储系统)的访问地址。这样，方法400可以在云计算系统中直接访问云存储系统并获取目标数据块。在此基础上，方法400可以在云计算系统中对目标数据块进行处理。

图5示出了根据本申请一些实施例的数据处理方法500的示意图。方法500例如可以在云计算系统120中执行，但不限于此。方法500包括步骤S501-S502。这里，步骤S501和S502的实施方式分别与步骤S401和S402一致，这里不再赘述。

方法400还包括步骤S503，确定与目标数据块关联的数据库表结构。这里，数据库表结构用于描述目标数据块待转换成的结构化数据结构。在一个实施例中，步骤S403的实施方式与装置220一致，这里不再赘述。在又一个实施例中，数据库表结构的表格式例如为优化记录柱(Optimized Record Columnar，简称ORC)格式。数据库表结构中行字段格式可以根据目标数据块的内容进行配置，这里不再赘述。

方法500还可以包括步骤S504-S506。S504至S506可以分别被实现为与步骤S403-S405一致的实施方式，这里不再赘述。根据本申请一个实施例，在步骤S506中，将目标数据块中各数据文件分别按照数据库表结构转化为相应的数据表。具体而言，步骤S506可以将目标数据块中各数据文件写入到一张原始数据表。该原始数据表中数据结构与数据文件的格式一致。这里，原始数据表的格式例如为逗号分隔值(CSV)格式。CSV格式是一种用来存储数据的纯文本文件，通常都是用于存放电子表格。在此基础上，步骤S506可以通过蜂箱式数据仓库应用的表插入方式，即Hive的Inserting data into Hive Tables from queries机制，将原始数据表中内容写入到上述数据库表结构，以实现格式转换，从而获取相应的数据表。例如，将目标数据块转换为ORC格式。这里，目标数据块经过格式转化，可以使得步骤S506提高对数据块的处理效率。在此基础上，步骤S506可以根据处理指示，在每个数据文件对应的数据表中执行相应的处理操作。另外说明的是，步骤S506中所获取的目标数据块可以存储在SSD上的临时目录中，例如fs.cos.buffer.dir。这样，采用SSD作为临时目录的存储介质，可以提高步骤S506的处理速度。

另外，方法500还可以包括步骤S507和步骤S508。在步骤S507中，获取与所述处理操作对应的处理结果。在步骤S509中，将处理结果传输到云存储系统。这样，云存储系统130可以将处理结果与目标数据块关联存储。

图6示出了根据本申请一些实施例的数据处理装置600的示意图。装置600例如可以驻留在云计算系统120中。如图6所示，装置600包括第一获取单元601、第二获取单元602、第三获取单元603、验证单元604和计算单元605。

第一获取单元601用于获取用户标识对应的身份验证信息，其中，该身份验证信息用于登录云存储系统。在一个实施例中，第一获取单元601可以从用户标识对应的客户端接收身份验证信息。身份验证信息包括用于登录所述云存储系统的身份标识和密码。

第二获取单元602用于获取与用户标识关联的一个或多个访问地址。其中，各访问地址用于访问云存储系统130中与该访问地址对应的目标数据块。在一个实施例中，第二获取单元602可以接收用户标识对应的客户端所确定的一个或多个地址信息，并将其作为访问地址。在又一个实施例中，第二获取单元602可以指示验证单元604通过身份验证信息访问云存储系统130。当云存储系统130对身份验证信息验证通过时，第二获取单元602从云存储系统130获取用户标识所对应的一个或多个访问地址。其中，每个访问地址对应于一个目标数据块。

验证单元604用于当第二获取单元获取到对所述一个或多个访问地址所对应目标数据块的处理指示时，通过身份验证信息访问云存储系统130，以便云存储系统130对身份验证信息进行验证。在一些实施例中，云计算系统包括蜂箱式数据仓库应用和用于访问云存储系统的云存储访问文件系统。当获取到对一个或多个访问地址所对应目标数据块的处理指示时，验证单元604可以在蜂箱式数据仓库应用中建立与用户标识对应的连接会话，并将用户标识对应的身份验证信息设置为连接会话的属性参数，以便云存储访问文件系统获取与用户标识对应的身份验证信息；验证单元604可以利用从连接会话获取的身份验证信息，访问云存储系统。

第三获取单元603用于当云存储系统130对身份验证信息验证通过时，从云存储系统130获取上述一个或多个访问地址所对应的目标数据块。计算单元605用于根据所述处理指示，对所述一个或多个访问地址所对应的目标数据块分别进行相应的处理操作。

在一个实施例中，第三获取单元603可以将上述一个或多个访问地址分配到多个计算节点，并指示各计算节点分别通过相应访问地址访问云存储系统130，以便从获取该计算节点所分配访问地址对应的目标数据块。计算单元605可以指示各计算节点分别根据处理指示对该计算节点所对应的目标数据块进行相应处理。装置600更具体的实施方式与方法400一致，这里不再赘述。

图7示出了根据本申请一些实施例的数据处理装置700的示意图。装置700例如可以驻留在云计算系统120中。如图7所示，装置700包括第一获取单元701、第二获取单元702、第三获取单元703、验证单元704、计算单元705和表创建单元706。其中，第一获取单元701、第二获取单元702、第三获取单元703、验证单元704和计算单元705可以被实现为与第一获取单元601、第二获取单元602、第三获取单元603、验证单元604和计算单元605实施方式一致，这里不再赘述。

在一些实施例中，在第二获取单元702获取处理指示之前，表创建单元706可以确定与所对应目标数据块关联的数据库表结构。其中，该数据库表结构用于描述所对应目标数据块待转换成的数据结构。第二获取单元702可以从客户端获取关于数据库表结构的表操作指示，并将其作为上述处理指示。在一个实施例中，表创建单元706可以生成与所对应目标数据块关联的优化记录柱格式(即ORC格式)的数据库表结构。

计算单元705可以将所对应目标数据块中各数据文件分别按照数据库表结构转化为相应的数据表。在一个实施例中，计算单元705可以将一个或多个访问地址所对应的目标数据块中各数据文件存储在相应的原始数据表中。其中，各数据文件对应的原始数据表与该数据文件的数据结构一致；通过蜂箱式数据仓库应用的表插入方式，计算单元705可以将原始数据表中内容写入优化记录柱格式的数据库表结构，以生成数据表。根据处理指示，计算单元705在每个数据文件对应的数据表中执行相应的处理操作。在又一个实施例中，计算单元705还可以获取与处理操作对应的处理结果。计算单元705可以将处理结果传输到云存储系统130，以便云存储系统130将处理结果与所对应的目标数据块关联存储。装置700更具体的实施方式与方法500一致，这里不再赘述。

图8示出了一个计算设备的组成结构图。如图8所示，该计算设备包括一个或者多个处理器(CPU或GPU)802、通信模块804、存储器806、用户接口810，以及用于互联这些组件的通信总线808。

处理器802可通过通信模块804接收和发送数据以实现网络通信和/或本地通信。

用户接口810包括一个或多个输出设备812，其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口810也包括一个或多个输入设备814，其包括诸如，键盘，鼠标，声音命令输入单元或扩音器，触屏显示器，触敏输入板，姿势捕获摄像机或其他输入按钮或控件等。

存储器806可以是高速随机存取存储器，诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备；或者非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备，或其他非易失性固态存储设备。

存储器806存储处理器802可执行的指令集，包括：

操作系统816，包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；

应用818，包括用于实现上述数据处理方法的各种程序，这种程序能够实现上述各实例中的处理流程，比如可以包括根据本申请的数据处理装置。数据处理装置可以包括图6所示的数据处理装置600或图7所示的数据处理装置700。

另外，本申请的每一个实例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本申请。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。

因此本申请还公开了一种非易失性存储介质，其中存储有数据处理程序，该数据处理程序用于执行本申请上述方法的任何一种实例。

另外，本申请所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述方法的硬件也可以构成本申请。

以上所述仅为本申请的较佳实例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (15)

1.一种数据处理方法，其特征在于，包括：

在云计算系统中获取用户标识对应的身份验证信息，其中，该身份验证信息用于登录云存储系统，其中，所述云计算系统与所述云存储系统各自独立部署；

获取与所述用户标识关联的一个或多个访问地址，其中，各访问地址用于访问所述云存储系统中与该访问地址对应的目标数据块；

确定与所述一个或多个访问地址所对应目标数据块关联的数据库表结构，其中，该数据库表结构用于描述所述所对应目标数据块待转换成的结构化数据结构；

当获取到关于所述数据库表结构的表操作指示时，通过所述身份验证信息访问所述云存储系统，以便所述云存储系统对所述身份验证信息进行验证；

当所述云存储系统对所述身份验证信息验证通过时，从所述云存储系统获取所述一个或多个访问地址所对应的目标数据块；以及

将所述一个或多个访问地址所对应的目标数据块中各数据文件存储在相应的原始数据表中，其中，各数据文件对应的原始数据表与该数据文件的数据结构一致；

通过蜂箱式数据仓库应用的表插入方式，将所述各数据文件对应的原始数据表中内容分别写入所述数据库表结构，以生成每个数据文件对应的数据表；

根据所述表操作指示，在每个数据文件对应的数据表中执行相应的处理操作。

2.如权利要求1所述的方法，其中，获取所述表操作指示，包括：从所述用户标识对应的客户端获取所述表操作指示。

3.如权利要求2所述的方法，其中，所述确定与所述一个或多个访问地址所对应目标数据块关联的数据库表结构，包括：生成与所述所对应目标数据块关联的优化记录柱格式的数据库表结构；

所述将所述各数据文件对应的原始数据表中内容分别写入所述数据库表结构，包括：将所述原始数据表中内容写入所述优化记录柱格式的数据库表结构。

4.如权利要求1所述的方法，其中，所述获取用户标识对应的身份验证信息，包括：从所述用户标识对应的客户端接收所述身份验证信息，所述身份验证信息包括用于登录所述云存储系统的身份标识和密码。

5.如权利要求1所述的方法，其中，所述获取与所述用户标识关联的一个或多个访问地址，包括：

接收所述用户标识对应的客户端所确定的一个或多个地址信息，并将其作为所述一个或多个访问地址。

6.如权利要求1所述的方法，其中，所述获取与所述用户标识关联的一个或多个访问地址，包括：

通过所述身份验证信息访问所述云存储系统；

当所述云存储系统对所述身份验证信息验证通过时，从所述云存储系统获取所述用户标识所对应的一个或多个访问地址，其中，每个访问地址对应于一个目标数据块。

7.如权利要求1所述的方法，其中，所述通过所述身份验证信息访问所述云存储系统，以及从所述云存储系统获取所述一个或多个访问地址所对应的目标数据块，包括：将所述一个或多个访问地址分配到多个计算节点，并指示各计算节点分别通过相应访问地址访问所述云存储系统，以便从所述云存储系统获取该计算节点所分配访问地址对应的目标数据块；

根据处理指示，对获取的所述目标数据块进行相应处理，包括：指示各计算节点分别根据所述处理指示对该计算节点所对应的目标数据块进行相应处理。

8.如权利要求1所述的方法，其中，所述云计算系统包括蜂箱式数据仓库应用和用于访问所述云存储系统的云存储访问文件系统；

当获取到对所述一个或多个访问地址所对应目标数据块的处理指示时，通过所述身份验证信息访问所述云存储系统，包括：当获取所述处理指示时，在所述蜂箱式数据仓库应用中建立与所述用户标识对应的连接会话，并将所述用户标识对应的身份验证信息设置为所述连接会话的属性参数，以便所述云存储访问文件系统获取与所述用户标识对应的身份验证信息；

在所述云存储访问文件系统中，利用从所述连接会话获取的身份验证信息，访问所述云存储系统。

9.如权利要求1所述的方法，还包括：

获取与所述处理操作对应的处理结果；

将所述处理结果传输到所述云存储系统，以便所述云存储系统将所述处理结果与所述所对应的目标数据块关联存储。

10.一种数据处理装置，其特征在于，包括：

第一获取单元，用于获取用户标识对应的身份验证信息，其中，该身份验证信息用于登录云存储系统；

第二获取单元，用于获取与所述用户标识关联的一个或多个访问地址，其中，各访问地址用于访问所述云存储系统中与该访问地址对应的目标数据块；

表创建单元，用于确定与所述一个或多个访问地址所对应目标数据块关联的数据库表结构，其中，该数据库表结构用于描述所述所对应目标数据块待转换成的结构化数据结构；

验证单元，用于当所述第二获取单元获取到关于所述数据库表结构的表操作指示时，通过所述身份验证信息访问所述云存储系统，以便所述云存储系统对所述身份验证信息进行验证；

第三获取单元，用于当所述云存储系统对所述身份验证信息验证通过时，从所述云存储系统获取所述一个或多个访问地址所对应的目标数据块；以及

计算单元，用于将所述一个或多个访问地址所对应的目标数据块中各数据文件存储在相应的原始数据表中，其中，各数据文件对应的原始数据表与该数据文件的数据结构一致；通过蜂箱式数据仓库应用的表插入方式，将所述各数据文件对应的原始数据表中内容分别写入所述数据库表结构，以生成每个数据文件对应的数据表；根据所述表操作指示，在每个数据文件对应的数据表中执行相应的处理操作。

11.如权利要求10所述的装置，

所述第二获取单元根据下述方式获取所述表操作指示：从所述用户标识对应的客户端获取所述表操作指示。

12.如权利要求10所述的装置，其中，所述第一获取单元根据下述方式获取用户标识对应的身份验证信息：从所述用户标识对应的客户端接收所述身份验证信息，所述身份验证信息包括用于登录所述云存储系统的身份标识和密码。

13.如权利要求10所述的装置，其中，所述第二获取单元根据下述方式获取与所述用户标识关联的一个或多个访问地址：接收所述用户标识对应的客户端所确定的一个或多个地址信息，并将其作为所述一个或多个访问地址。

14.一种计算设备，其特征在于包括：

一个或多个处理器；

存储器；以及

一个或多个程序，存储在该存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求1-9中任一项所述方法的指令。

15.一种存储介质，存储有一个或多个程序，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1-9中任一项所述的方法。

Images