CN107172102A - 数据访问方法、系统以及存储介质 - Google Patents

Abstract

本发明涉及一种数据访问方法、系统以及存储介质，通过接收数据访问请求消息并对数据访问请求消息进行解析，以获取请求的数据的统一资源标识符URI，从而根据请求的数据的统一资源标识符URI验证请求是否合法，若合法，则根据请求的统一资源标识符URI查询数据并返回回应消息。其通过采用URI对分散存储于集群中各个计算机的磁盘、显存中、或位于某个进程的内存地址空间以及数据库等的数据进行标识，使得数据的使用者仅仅给出URI即可访问数据，从而简化了集群系统中的数据管理和访问流程，并通过权限管理保障了数据的安全性。

Description

数据访问方法、系统以及存储介质

技术领域

本发明涉及数据管理技术，特别是涉及一种数据访问方法、系统以及存储介质。

背景技术

随着信息化技术的快速发展，一个企业的用户数量、数据量均呈现爆炸式增长，在业务量提高的同时，数据的访问量和数据量快速增长对计算机的处理能力和计算强度也相应增大，使得单一节点的集中式存储根本无法承担。因此，分布式计算机集群系统产生了，在分布式计算机集群系统中，由于数据分散存储于各个计算机的磁盘、显存中，或位于某个进程的内存地址空间等，从而导致数据访问效率低、数据管理的成本增加。

发明内容

基于此，有必要针对计算机集群系统中数据访问效率低、管理成本高的问题，提供一种数据访问方法、系统以及存储介质。

一种数据访问方法，包括：

接收数据访问请求消息；

对数据访问请求消息进行解析，以获取请求的数据的统一资源标识符；

根据请求的数据的统一资源标识符验证请求是否合法；

若确定请求合法，则根据请求的数据的统一资源标识符在计算机集群系统中查询数据并返回回应消息。

在其中一个实施例中，根据请求的数据的统一资源标识符验证请求是否合法，包括：

根据请求的数据的统一资源标识符确定请求的数据是否为开放数据；

若确定请求的数据为开放数据，则确定所述请求合法。

在其中一个实施例中，若确定请求的数据不是开放数据，则根据请求的数据的统一资源标识符验证请求是否合法，包括：

对数据访问请求消息进行解析，以获取请求的用户信息；

根据请求的用户信息判断请求的用户是否具备访问权限；

若确定请求的用户具备访问权限，则确定所述请求合法。

在其中一个实施例中，接收数据访问请求消息之前，还包括：

根据存储在计算机集群系统中的数据为每一块数据创建数据的统一资源标识符。

在其中一个实施例中，数据的统一资源标识符包括协议名称、数据存放的主机名或主机IP地址以及数据在主机上的存放位置。

在其中一个实施例中，数据访问请求消息和回应消息分别包括：消息标记部分、消息头部分和消息体部分；

消息标记部分用于记录整条消息的长度、消息头部分的长度以及消息体部分的长度；

消息头部分包含消息的类别标识、请求数据的统一资源标识符以及消息的格式，其中，类别标识用于标识消息为数据访问请求消息或回应消息，消息的格式用于定义消息的传输协议；

消息体部分用于记录消息的具体内容。

在其中一个实施例中，若消息头部分的类别标识为访问请求消息，则消息体部分的具体内容包括请求的用户信息。

在其中一个实施例中，若消息头部分的类别标识为回应消息，则消息头部分还包含对数据访问请求的处理结果，消息体部分的具体内容则包括根据处理结果返回的参数。

一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述方法的步骤。

一种数据访问系统，包括计算机集群，所述计算机集群包括数据访问计算机和数据提供计算机，所述数据访问计算机和数据提供计算机上运行有数据管理服务程序，所述数据访问计算机和数据提供计算机执行所述数据管理服务程序时实现如上所述方法的步骤。

上述数据访问方法、系统以及存储介质，通过接收数据访问请求消息并对数据访问请求消息进行解析，以获取请求的数据的统一资源标识符，从而根据请求的数据的统一资源标识符验证请求是否合法，若合法，则根据请求的统一资源标识符查询数据并返回回应消息。其通过采用统一资源标识符对分散存储于集群中各个计算机的磁盘、显存中、或位于某个进程的内存地址空间以及数据库等的数据进行标识，使得数据的使用者仅仅给出统一资源标识符即可访问数据，从而简化了集群系统中的数据管理和访问流程，并通过权限管理保障了数据的安全性。

附图说明

图1为一个实施例中计算机群的数据访问系统的结构示意图；

图2为一个实施例中数据访问方法的流程图；

图3为一个实施例中数据访问方法的流程图；

图4为一个实施例中数据访问请求消息和回应消息的结构图；

图5为一个实施例数据访问请求消息和回应消息的格式示意图；

图6为一个实施例中请求消息的消息头部分的格式示意图；

图7为一个实施例中回应消息的消息头部分的格式示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

本发明实施例提供了一种计算机集群的数据访问系统，包括计算机集群和运行于计算机集群的数据管理服务程序。计算机集群中的每台计算机中需要访问数据的进程或提供数据的进程均通过数据管理服务程序来进行管理。当数据位于共享内存上时，也可以几个进程共享一个数据管理服务程序。实际上，计算机集群中的每台计算机从逻辑上既可以是数据访问计算机，也可以是数据提供计算机。

为了描述方便，如图1所示，假设数据访问系统由三台计算机SP1、SP2以及QP组成，并相互建立网络连接，通过数据管理服务程序管理相互之间的通信。在一个具体的应用场景中，其中一台计算机QP通过数据管理服务程序提出访问请求，其余两台计算机SP1、SP2通过数据管理服务程序响应访问请求。

在本实施例中，数据管理服务程序对数据访问系统中三台计算机SP1、SP2以及QP中存储的所有数据进行管理。具体的，针对存储于SP1、SP2以及QP的磁盘、显存中、或位于某个进程的内存地址空间以及数据库等的数据，均建立目录以及位置的对应关系，进而生成全局唯一的统一资源标识符URI(Uniform Resource Identifier)，其符合当前的RFC3986规范，并在数据集中进行保存。

当在不需要某些数据时，在进行数据的删除操作时，将其对应的URI从数据集中删除；或在计算机集群系统中加入了新的数据时，对新加入的数据建立目录以及位置的对应关系，生成URI并添加到数据集中，从而实现了对数据集的更新。

在具体的访问场景中，当计算机QP(以下统称数据访问计算机)需要访问集群中SP1、SP2(以下统称数据提供计算机)的数据时，则可以通过数据管理服务程序在数据集中查询对应的数据。从而使得计算机集群系统中的数据，即位于计算机集群系统中各计算机的磁盘上、显存上、某个进程的内存地址空间内以及数据库中的数据，得到了统一管理，提高了数据访问效率。本发明实施例还提供了一种数据访问方法，如图2所示，包括如下步骤：

步骤S201，接收数据访问请求消息。

在本实施例中，当计算机集群中的数据访问计算机需要访问存储在集群中其他计算机上的数据时，则可以通过数据管理服务程序向数据提供计算机发起访问请求，其具体可以向数据管理服务程序发送数据访问请求消息。其中，数据访问请求消息中可以包括请求访问的数据的URI，数据的URI中记录了数据的存放位置。

步骤S202，对数据访问请求消息进行解析，以获取请求的数据的统一资源标识符URI。

数据管理服务程序对数据访问计算机发起的数据访问请求消息进行解析，从而获取数据访问请求消息中数据访问计算机请求的数据的URI。其中，URI包括协议名称、数据存放的主机名或主机IP地址以及数据在主机上的存放位置，其中协议名称定义了数据访问所遵循的协议，以便基于机同的协议访问对应的数据。

步骤S203，根据请求的数据的统一资源标识符URI验证请求是否合法。

在本实施例中，数据集中记录了与URI对应的数据的访问权限，具体记录了数据是否为开放数据或授权对象信息。其中，数据的访问权限包括数据对所有访问对象均开放的无限制级访问权限和数据仅对某些访问对象开放的限制级访问权限。

数据管理服务程序根据解析的数据访问请求消息中的URI在数据集中查询与URI对应的数据的访问权限。例如，如果数据管理服务程序根据数据访问计算机请求的URI查询到与该URI对应的数据为开放数据，则表示该数据的授权对象为所有访问的计算机，因此，可以确定数据访问计算机的访问请求合法。

如果数据管理服务程序根据数据访问计算机请求的URI查询到与该URI对应的数据不是开放数据，则数据管理服务程序进一步判定数据访问计算机是否为授权对象。若数据访问计算机为授权对象，则也可以确定该数据访问计算机的访问请求合法，否则确定该数据访问计算机的访问请求不合法。

步骤S204，若确定请求合法，则根据请求的统一资源标识符URI在计算机集群系统中查询数据并返回回应消息。

当数据管理服务程序确定数据访问计算机的访问请求合法时，则数据管理服务程序根据访问请求中的URI在计算机集群系统中查询对应的数据，并向数据访问计算机返回回应消息，其中回应消息中可以包括查询结果以及对应的参数。

本实施例通过数据管理服务程序对计算机集群中数据访问计算机的数据访问请求进行解析，并验证请求的合法性，当确定请求合法时，则根据请求中的URI在计算机集群系统中查询对应的数据，并向数据访问计算机返回回应消息。使得计算机集群系统中的数据得到了统一管理，提高了数据访问效率。

在一个实施例中，如图3所示，数据管理服务程序在接收数据访问请求消息之前，还包括：

步骤S301，根据存储在计算机集群系统中的数据为每一块数据创建统一资源标识符URI。

在本实施例中，数据管理服务程序对分散存储于计算机集群中各个计算机中的数据建立目录以及位置的对应关系，进而生成全局唯一的URI，并将其对应关系与URI保存在数据集中，使得在一个计算机集群系统中的每一块数据均有系统范围内的唯一标识，进而使得系统中的任一进程可通过URI访问某一块已标识的数据。其中，URI标识中可以包括协议名称、数据存放的主机名或主机IP地址以及数据在主机上的存放位置等。

举例来说，本实施例中定义的URI标识其格式如下所示：

dmap://[username:password]@host[“:”port]/path["？"query]

其中dmap为scheme名称，含义是数据管理和访问协议(data managing andaccess protocol，简称dmap)；username和password是授权使用的用户名和密码，当用户已经认证过，或者数据为任意用户均可访问的情况下，可省略；host是主机名或者主机IP地址；port是网络端口名，在端口预定义的情况下，可省略；path是数据在主机上的位置；query为查询条件，可为空，也可以有具体的内容。在本实施例中，query中包含有一operation_type的字段，该字段表示读取数据的操作类型，其值具体可以设置如下：默认为file，表示读取文件；设置为database，表示读取数据库；设置为memory，表示读取某进程地址空间内的数据；设置为graphics_memory；表示读取显卡内存中的数据；或设置为用户自定义的值。

例如，在名称为image-server的一台计算机的内存里，存储着一系列图片serialxxx，此系列图片共有100张，对应的ID为1～100。image-server有一个授权用户image-viewer，该用户的授权密码是123456，那么此用户可通过如下URI1来访问此系列图片，可通过如下URI2访问此系列图片中ID为55的单张图片，其中：

URI1为：

dmap://image-viewer:123456@image-server:1000/images/serialxxx

URI2为：

dmap://image-viewer:123456@image-server:1000/images/serialxxx？ID＝55

又例如，如果需要读取数据库M中年龄为20的所有人员的名字，授权用户名为username1，密码为password1，数据库M位于名称为hostname1的计算机上，端口号为1000，表名为table1，则对应的URI为：

dmap://username1:password1@hostname1:1000？

Location＝database&sql＝select％20name％20from％20table1％20where％20age％3D20

其中Location＝database表示本URI要从数据库中读取数据。

在一个实施例中，当数据管理服务程序根据计算机集群系统中的数据为每一块数据都创建统一资源标识符URI后，则可以接收数据访问计算机的数据访问请求消息，并对该数据访问请求消息进行解析、判断或查询后返回回应消息。在本实施例中，如图4所示，数据访问请求消息和回应消息分别包括：消息标记部分、消息头部分和消息体部分，其消息的格式如图5所示。其中，各字段对应的长度用于规定记录各字段内容所占用的空间。

在一个实施例中，消息标记部分包括字段MSG-size、Head-size以及Body-size，其中，字段MSG-size对应的长度为4Bytes(字节)，其用于记录整条消息的长度；字段Head-size对应的长度为4Bytes，其用于记录消息头部分的长度；字段Body-size对应的长度为4Bytes，其用于记录消息体部分的长度。

消息头部分即字段Head包含消息的类别标识、数据的URI以及消息的格式，该字段Head对应的长度Head-size Bytes为字段Head-size中记录的具体长度，即消息头部分的具体长度。其中，类别标识用于标识消息为数据访问请求消息还是回应消息，消息的格式用于定义消息的传输协议。

在一个实施例中，请求消息的消息头部分的格式如图6所示，其中，CRLF表示回车换行(下同)；如消息头的前三个字符为“REQ”，则表示该消息为请求该消息；URI为请求的URI，此处不包含用户名和密码；DMAP-VERSION表示协议版本。以上各字段间通过CRLF隔开，且字段内不包含回车和换行字符。

在一个实施例中，回应消息的消息头部分的格式如图7所示，其中，CRLF表示回车换行(下同)；如消息头的前三个字符为“RES”，则表示该消息为回应消息；URI为请求的URI，此处不包含用户名和密码；RET-CODE表示请求处理结果即查询结果，在本实施例中，字段RET-CODE对应的具体查询结果可以通过数字代码表示；DMAP-VERSION表示协议版本。以上各字段间使用CRLF隔开，且字段内不包含回车和换行字符。

在本实施例中，协议版本DMAP-VERSION字段用于使数据请求计算机和数据提供计算机使用相同的解析方法，以正确的解析数据。请求消息中的协议版本DMAP-VERSION字段标识了请求计算机请求特定数据的能力，回应消息中的协议版本DMAP-VERSION字段标识了数据提供计算机提供特定数据的能力。举例来说，假设协议版本1表示本协议可以使计算机集群系统能够处理磁盘文件，协议版本2表示本协议可以使计算机集群系统能够处理磁盘文件、也能够处理数据库查询数据，如果请求计算机使用的协议版本为版本2，而数据提供计算机只能处理协议版本为1的请求，因此，则可忽略此请求，或者在回应消息中返回版本错误信息。

而消息体部分即字段Body则用于记录消息的具体内容，该字段Body对应的长度Body-size Bytes为字段Body-size中记录的具体长度，即消息体部分记录的具体内容的长度。在本实施例中，请求消息的消息体其格式如下：

UsernameCRLF

PasswordCRLF

UserCustom-FieldCRLF

UserCustom-Field-valueCRLF

其中，Username表示授权用户名；Password表示授权密码；UserCustom-Field为用户自定义的字段，可定义多个；UserCustom-Field-value为用户自定义的字段的值。以上各字段及值均通过回车换行符分割，任何字段及值内部通常不建议出现回车换行字符。

在一个实施例中，由于URI具有自己独特的表达格式，因此，不能穷尽表达所有的内容，对于某些个性化的请求来说，则可以通过UserCustom-Field以及UserCustom-Field-value字段来进行自定义，以对URI进行补充。举例来说，假设请求计算机需要指定请求的数据应该从哪里获取，从而可以通过UserCustom-Field来定义字段名，假设其字段名为location，值为disk,memory,graphics_memory或者database，如果数据请求计算机要请求一个已经创建好的3维模型数据，则可以将UserCustom-Field-value对应的字段的值设定为graphics_memory。

在一个实施例中，回应消息的消息体中请求处理结果即查询结果的表示方法可以包括：如果查询结果对应的字段RET-CODE对应的代码为0则表示请求成功，RET-CODE对应的代码为1则表示授权失败，RET-CODE对应的代码为2则表示资源不存在，RET-CODE对应的代码为3则表示错误的URI，RET-CODE对应的代码为4则表示禁止访问，RET-CODE对应的代码为5则表示未知错误。

在回应消息的消息体中，如果查询结果对应的字段RET-CODE为0，即请求成功时，则消息体为请求的数据。如果查询结果对应的字段RET-CODE为4，即禁止访问时，则消息体是禁止访问的原因。如果查询结果对应的字段RET-CODE为上述代码中的其他情况，则消息体为空。

在一个实施例中，当数据管理服务程序接收到数据访问请求消息后，则对数据访问请求消息进行解析，以获取数据访问请求消息中的URI，通过URI在数据集中查询与URI对应的数据的访问权限，如与URI对应的数据是否为开放数据以及数据访问计算机是否为授权对象。例如，如果数据管理服务程序根据数据访问计算机请求的URI查询到与该URI对应的数据为开放数据，则可以确定数据访问计算机的访问请求合法。

在一个实施例中，如果数据管理服务程序通过URI在数据集中查询与URI对应的数据的访问权限，如通过查询确定与URI对应的数据不是开放数据，则数据管理服务程序进一步对数据访问请求消息进行解析，以获取数据访问请求消息的消息体中记录的授权信息，从而判定数据访问计算机是否为授权对象，以通过权限管理使得只有符合权限要求的对象才能访问数据。

例如，数据管理服务程序根据解析数据访问请求消息的消息体中记录的授权信息，即具体的授权用户名以及授权密码，从而根据数据集中记录的授权对象信息判断该数据访问计算机是否为授权对象，如果数据集中记录的授权对象信息中包括数据访问请求消息中的授权用户名以及授权密码，则判定数据访问计算机是授权对象，从而可以确定数据访问计算机的访问请求合法，否则确定该访问请求不合法。

当确定数据访问计算机的访问请求合法时，则数据管理服务程序根据该访问请求中的URI在计算机集群系统中查询与URI对应的数据，如果查询到对应的数据，则向数据访问计算机返回回应消息，其中，回应消息的消息头中查询结果对应的字段RET-CODE为0，且消息体为查询到的与请求的URI对应的数据。如经过查询后未查询到数据，则返回的回应消息的消息头中查询结果对应的字段RET-CODE为2，且消息体为空，即没有内容。如果在查询数据时检查到数据请求消息中的URI格式不符合URI标准，则返回的回应消息的消息头中查询结果对应的字段RET-CODE为3，且消息体为空，即没有内容。如果查询到的数据为加密数据，则返回的回应消息的消息头中查询结果对应的字段RET-CODE为4，且消息体是禁止访问的原因。如果在数据查询过程中因其他原因如协议版本错误、外部断电等导致数据查询未能成功，则返回的回应消息的消息头中查询结果对应的字段RET-CODE为5，且消息体为空。如果通过上述验证后判定数据访问计算机不是授权对象，则返回的回应消息的消息头中查询结果对应的字段RET-CODE为1，且消息体为空，即没有内容。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如下步骤：接收数据访问请求消息；对数据访问请求消息进行解析，以获取请求的数据的统一资源标识符URI；根据请求的数据的统一资源标识符URI验证请求是否合法；若确定请求合法，则根据请求的统一资源标识符URI在计算机集群系统中查询数据并返回回应消息。

在一个实施例中，根据请求的数据的统一资源标识符URI验证请求是否合法，包括：根据请求的数据的统一资源标识符URI确定请求的数据是否为开放数据；若确定请求的数据为开放数据，则确定请求合法。

在一个实施例中，确定请求的数据不是开放数据，则根据请求的数据的统一资源标识符URI验证请求是否合法，包括：对数据访问请求消息进行解析，以获取请求的用户信息；根据请求的用户信息判断请求的用户是否具备访问权限；若确定请求的用户具备访问权限，则确定请求合法。

在一个实施例中，接收数据访问请求消息之前，还包括：根据存储在计算机集群系统中的数据为每一块数据创建所述统一资源标识符URI。

在一个实施例中，统一资源标识符URI包括协议名称、数据存放的主机名或主机IP地址以及数据在主机上的存放位置。

在一个实施例中，数据访问请求消息和回应消息分别包括：消息标记部分、消息头部分和消息体部分；所述消息标记部分用于记录整条消息的长度、消息头部分的长度以及消息体部分的长度；所述消息头部分包含消息的类别标识、请求的统一资源标识符URI以及消息的格式，所述类别标识用于标识消息为数据访问请求消息或回应消息，所述消息的格式用于定义消息的传输协议；所述消息体部分用于记录消息的具体内容。

在一个实施例中，若消息头部分的类别标识为访问请求消息，则消息体部分的具体内容包括请求的用户信息。

在一个实施例中，若消息头部分的类别标识为回应消息，则消息头部分还包含对数据访问请求的处理结果，则消息体部分的具体内容则包括根据处理结果返回的参数。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据访问方法，其特征在于，包括：

接收数据访问请求消息；

对所述数据访问请求消息进行解析，以获取请求的数据的统一资源标识符；

根据请求的数据的统一资源标识符验证请求是否合法；

若确定所述请求合法，则根据所述请求的数据的统一资源标识符在计算机集群系统中查询数据并返回回应消息。

2.根据权利要求1所述的数据访问方法，其特征在于，所述根据请求的数据的统一资源标识符验证请求是否合法，包括：

根据请求的数据的统一资源标识符确定请求的数据是否为开放数据；

若确定所述请求的数据为开放数据，则确定所述请求合法。

3.根据权利要求2所述的数据访问方法，其特征在于，若确定所述请求的数据不是开放数据，则所述根据请求的数据的统一资源标识符验证请求是否合法，包括：

对所述数据访问请求消息进行解析，以获取请求的用户信息；

根据请求的用户信息判断请求的用户是否具备访问权限；

若确定所述请求的用户具备访问权限，则确定所述请求合法。

4.根据权利要求1所述的数据访问方法，其特征在于，所述接收数据访问请求消息之前，还包括：

根据存储在计算机集群系统中的数据为每一块数据创建所述数据的统一资源标识符。

5.根据权利要求1～4任一项所述的数据访问方法，其特征在于，所述数据的统一资源标识符包括协议名称、数据存放的主机名或主机IP地址以及数据在主机上的存放位置。

6.根据权利要求1所述的数据访问方法，其特征在于，所述数据访问请求消息和所述回应消息分别包括：消息标记部分、消息头部分和消息体部分；

所述消息标记部分用于记录整条消息的长度、消息头部分的长度以及消息体部分的长度；

所述消息头部分包含消息的类别标识、请求数据的统一资源标识符以及消息的格式，所述类别标识用于标识所述消息为数据访问请求消息或回应消息，所述消息的格式用于定义消息的传输协议；

所述消息体部分用于记录消息的具体内容。

7.根据权利要求6所述的数据访问方法，其特征在于，若所述消息头部分的类别标识为访问请求消息，则所述消息体部分的具体内容包括请求的用户信息。

8.根据权利要求6所述的数据访问方法，其特征在于，若所述消息头部分的类别标识为回应消息，则所述消息头部分还包含对所述数据访问请求的处理结果，所述消息体部分的具体内容则包括根据所述处理结果返回的参数。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1～8任一项所述方法的步骤。

10.一种数据访问系统，其特征在于，包括计算机集群，所述计算机集群包括数据访问计算机和数据提供计算机，所述数据访问计算机和数据提供计算机上运行有数据管理服务程序，所述数据访问计算机和数据提供计算机执行所述数据管理服务程序时实现如要利要求1～8任一项所述方法的步骤。