CN110110004B - 一种数据操作方法、装置和存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据操作方法、装置和存储介质；本发明实施例采用从元信息服务器中获取元信息，该元信息包括数据库集群中物理存储设备的物理网络地址和虚拟网络地址；从物理存储设备的物理网络地址和虚拟网络地址选取目标物理存储设备的目标物理网络地址和目标虚拟网络地址；根据地址选择参数从目标物理存储设备的目标物理网络地址和目标虚拟网络地址中选取相应的目标地址；根据目标地址对目标物理存储设备进行相应的数据操作。该方案可以降低云服务系统的性能损耗和数据冗余度。

Description

一种数据操作方法、装置和存储介质

技术领域

本发明涉及网络云技术领域，具体涉及一种数据操作方法、装置和存储介质。

背景技术

私有云是为一个客户单独搭建的一套云服务系统，一般包含公有云的核心功能模块比如计算虚拟化模块，网络虚拟化模块，存储虚拟化模块等。私有云对客户来说，更安全，更可靠，更可控。

Hbase(Hadoop database，分布式数据库)，是一个分布式的、面向列的开源数据库。Hbase作为一款列存储开源数据库在大数据领域越来越多的得到应用。

目前Hbase云服务系统主要基于虚拟主机构建，如图1所示为Hbase云服务系统的架构图。如图1所示，目前Hbase云服务系统中Hbase集群都是基于虚拟机之上，用户视角只能看到虚拟主机这一层，Hbase云服务全部架设在虚拟主机之上，客户端与Hbase集群通信全部是基于VIP(virtual ip address，虚拟IP地址)的方式进行通信。同时由于Hbase集群运行在虚拟主机环境内，因此集群内部之间的通信也是使用VIP的方式进行通信。

然而，由于目前Hbase云服务系统基于虚拟主机构建的，因此，一台物理机上可能会有多台虚拟主机，其他虚拟主机有可能会影响到部署了Hbase集群的虚拟主机，存在性能损耗；即使当前物理主机上只有一台虚拟主机，考虑到启动虚拟主机的进程以及虚拟地址到物理地址的转换等因素也会带来一定的性能损耗。另外，用于虚拟化的物理主机考虑到数据安全性磁盘一般都会做raid(Redundant Arrays of Independent Disks，磁盘阵列)，而Hbase集群一般都是运行在HDFS集群之上，因此，HDFS(Hadoop Distributed FileSystem，分布式文件系统)集群数据需要备份很多，导致Hbase云服务系统的数据冗余度较高。

发明内容

本发明实施例提供一种数据操作方法、装置和存储介质，可以降低云服务系统的性能损耗和数据冗余度。

本发明实施例提供一种数据操作方法，适用于分布式云服务系统中的数据操作设备，所述分布式云服务系统包括数据库集群，所述方法包括：

向分布式协调器发送地址获取请求；

接收所述分布式协调器根据所述地址获取请求返回的地址信息，所述地址信息包括：元信息服务器的物理网络地址和虚拟网络地址；

根据地址选择参数从所述元信息服务器的物理网络地址和虚拟网络地址中选取相应的地址；

根据选取的地址从所述元信息服务器中获取元信息，所述元信息包括所述数据库集群中物理存储设备的物理网络地址和虚拟网络地址；

从所述物理存储设备的物理网络地址和虚拟网络地址选取目标物理存储设备的目标物理网络地址和目标虚拟网络地址；

根据地址选择参数从目标物理存储设备的目标物理网络地址和目标虚拟网络地址中选取相应的目标地址；

根据所述目标地址对所述目标物理存储设备进行相应的数据操作。

相应的，本发明实施例还提供了一种数据操作装置，适用于分布式云服务系统中的数据操作设备，所述分布式云服务系统包括数据库集群，所述装置包括：

所述信息获取单元，包括：

请求发送子单元，用于向分布式协调器发送地址获取请求；

接收子单元，用于接收所述分布式协调器根据所述地址获取请求返回的地址信息，所述地址信息包括：元信息服务器的物理网络地址和虚拟网络地址；

选取子单元，用于根据地址选择参数从所述元信息服务器的物理网络地址和虚拟网络地址中选取相应的地址；

信息获取子单元，用于根据选取的地址从所述元信息服务器中获取元信息，所述元信息包括所述数据库集群中物理存储设备的物理网络地址和虚拟网络地址；

第一地址选取单元，用于从所述物理存储设备的物理网络地址和虚拟网络地址选取目标物理存储设备的目标物理网络地址和目标虚拟网络地址；

第二地址选取单元，用于根据地址选择参数从目标物理存储设备的目标物理网络地址和目标虚拟网络地址中选取相应的目标地址；

数据操作单元，用于根据所述目标地址对所述目标物理存储设备进行相应的数据操作。

相应的，本发明实施例还提供一种存储介质，所述存储介质存储有指令，所述指令被处理器执行时实现本发明实施例任一提供的数据操作方法。

本发明实施例采用从元信息服务器中获取元信息，该元信息包括数据库集群中物理存储设备的物理网络地址和虚拟网络地址；从物理存储设备的物理网络地址和虚拟网络地址选取目标物理存储设备的目标物理网络地址和目标虚拟网络地址；根据地址选择参数从目标物理存储设备的目标物理网络地址和目标虚拟网络地址中选取相应的目标地址；根据目标地址对目标物理存储设备进行相应的数据操作。该方案可以使得分布式服务系统同时兼容物理网络和虚拟网络通信，并该分布式云服务系统中数据库集群基于物理存储设备即物理机构建的，因此，通过该数据操作方法可以实现数据库集群在物理机之上提供云服务，可以避免数据库集群在虚拟机上提供云服务所带来的性能损耗和数据冗余度较高的问题，降低了云服务系统的性能损耗和数据冗余度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是现有Hbase云服务系统的架构示意图；

图2a是本发明实施例提供的分布式云服务系统的场景示意图；

图2b是本发明实施例提供的网络通信模型示意图；

图2c是本发明实施例提供的数据操作方法的流程示意图；

图3a是本发明实施例提供的meta表中地址信息的结构示意图；

图3b是本发明实施例提供的meta表中地址信息的另一结构示意图；

图3c是本发明实施例提供的核心数据的结构示意图；

图3d是本发明实施例提供的核心数据的另一结构示意图；

图4是本发明实施例提供的数据操作方法的另一流程示意图；

图5a是本发明实施例提供的数据操作装置的第一种结构示意图；

图5b是本发明实施例提供的数据操作装置的第二种结构示意图；

图5c是本发明实施例提供的数据操作装置的第三种结构示意图；

图6是本发明实施例提供的服务器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种分布式云服务系统，该系统包括本发明实施例任一提供的数据操作装置，该数据操作装置可以集成在服务器等网络设备中，比如，。此外，该系统还可以包括其他设备，比如，HDFS(Hadoop Distributed File System，分布式文件系统)集群、分布式协调器集群等等。

参考图2a，本发明实施例提供了一种分布式云服务系统，包括：数据库集群、HDFS集群、zookeeper集群、计算集群、服务接入集群、管控集群、任务调度集群、虚拟服务器(即用户服务器)、云服务器(如Qcloud/API服务器)。

其中，数据库集群是用来真正提供服务的集群，该数据库集群可以为Hbase集群，数据库集群可以包括多个存储设备(如服务器)，比如，Hbase集群可以包括主机服务器(Hmaster)、存储服务器(即regionserver)。

在数据库集群内的存储设备可以通过相互协商选举一台存储设备作为元信息服务器即meta服务器，该meta服务器保存有集群内各存储设备的地址(location)信息，比如，存储设备的地址(包括物理网络地址或者虚拟网络地址)、存储设备的详细信息、存储设备存储数据的地址范围等。

用户服务器即为部署的虚拟服务器(也可以成为虚拟主机)，该用户服务器需要和Hbase集群内的每个服务器之间相互通信，从而实现相应的数据操作。用户服务器通过网络分别与HDFS集群、Hbase集群、YARN计算集群通信，其中，网络中包括路由、网关等设备。比如，参考图2a，用户服务器可以通过网关设备分别与HDFS集群、Hbase集群、YARN计算集群通信。

HDFS集群为Hbase集群提供存储，该集群可以包括多个服务器(即节点)比如，数据节点(datanode)、主节点(Namenode)、zookeeper协调器的失败切换的控制器(简称zkfc)、用于主节点之间数据同步的journalnode等等。

YARN(Yet Another Resource Negotiator，另一种资源协调者)计算集群为Hbase集群提供计算能力；该集群可以包括RM(ResourceManager，资源管理)服务器和多个NM(NodeManager，节点管理)。

Zookeeper(分布式协调器)集群用来保证分布式节点各个机器之间的状态一致，该集群可以包括多个分布式协调器，一般为分布式协调器可以为服务器等设备。

管控集群负责存储Hbase集群、HDFS集群以及Yarn集群的管控数据，该管控集群可以包括多个管控服务器。

任务调度集群负责集群运维流程的调度，比如创建集群、重启节点服务等操作，该任务调度集群可以包括多个调度服务器。

服务接入集群负责用户通过api(接口)服务器的方式来操作相应的集群，该服务接入集群包括多个接入服务器。

本发明实施例提供的数据操作装置可以集成在数据库集群内的存储设备中，如存储服务器(regionsever)等，还可以集成在用户服务器等虚拟服务器中，或者其他一些需要进行数据操作的服务器。

参考图2b，为图2a所示分布式云服务系统在虚拟机视角和物理机视角下的网络通信模型。如图2b所示，在虚拟主机视角下，虚拟主机通过虚拟网络和Hbase集群通信，这个时候使用的是虚拟网络地址如VIP，而在物理机视角下Hbase集群内部各个服务节点之间也需要相互通信，而物理机之间相互通信必须使用物理网络地址，也即物理IP(PIP)，然而目前Hbase寻址模式只有一种，无法满足这种同时支持虚拟网络又支持物理网络的模式，因此必须对Hbase进行改造来满足云化的需要。

为能够支持虚拟网络和物理网络两种通信模式，本发明实施例可以对数据库的通信协议进行扩展，在数据操作时提供两种地址，也即物理网络地址和虚拟网络地址，由操作设备选择相应的地址进行相应模式的通信，比如，选取物理网络地址进行物理网络通信，选取虚拟网络地址进行虚拟网络通信，从而解决物理网络与虚拟网络之间的互通和兼容问题。此时，元信息服务器(即meta服务器)将会提供数据库集群中各存储设备如存储服务器的物理网络地址和虚拟网络地址。

比如，基于上述图2a所示的系统，当某个服务器需要进行数据操作时，该服务器可以从元信息服务器中获取元信息，元信息包括数据库集群中物理存储设备的物理网络地址和虚拟网络地址；从物理存储设备的物理网络地址和虚拟网络地址选取目标物理存储设备的目标物理网络地址和目标虚拟网络地址；根据地址选择参数从目标物理存储设备的目标物理网络地址和目标虚拟网络地址中选取相应的目标地址；根据目标地址对目标物理存储设备进行相应的数据操作。

上述图2a的例子只是实现本发明实施例的一个系统架构实例，本发明实施例并不限于上述图2a所示的系统结构，可以基于该系统架构，提出本发明各个实施例。

在一实施例中，提供了一种数据操作方法，该方法可以由分布式服务器系统中数据操作服务器的处理器执行，如图2c所示，该数据操作方法包括：

101、从元信息服务器中获取元信息，该元信息包括数据库集群中物理存储设备的物理网络地址和虚拟网络地址。

其中，数据操作服务器为需要进行数据操作如数据存储、数据修改、数据删除等操作的服务器。该数据操作服务器可以包括物理服务器或者虚拟服务器。

其中，在数据库集群内的物理存储设备可以通过相互协商选举一台物理存储设备作为元信息服务器即meta服务器，该meta服务器保存有集群内各物理存储设备的地址(location)信息，比如，存储设备的地址(包括物理网络地址和虚拟网络地址)、存储设备的详细信息、存储设备存储数据的地址范围等。

比如，元信息服务器中保存有元数据表即meta表，该meta表的每个表项包括每个存储设备的地址(location)信息。该存储设备的地址信息可以包括存储设备的详细信息(设备名称等)、存储设备的物理网络地址、存储设备的虚拟网络地址、存储设备管理数据的地址范围等等。本发明实施例可以meta表进行扩展，在每个存储设备的地址信息中添加虚拟网络地址，以实现虚拟网络和物理网络通信的互通和兼容。

例如，参考图3a和图3b，图3a为现有元数据表，该表中存储设备的地址信息结构即数据结构可以包括：索引关键字字段(RowKey)、详细信息字段(info：regionInfo)、地址范围字段(info：regionserverstartcode)、物理地址字段(info：server)。

其中，索引关键字字段(RowKey)记录了存储设备的地址信息索引关键字比如存储设备的标识(名称等)等；详细信息字段(info：regionInfo)记录了存储设备的详细信息如名称、起始键值、时间戳等信息；地址范围字段(info：regionserverstartcode)记录了存储设备存储或者管理数据的地址范围；物理地址字段(info：server)记录了存储设备的物理网络地址如IPP。

为了能够使得分布式云服务系统同时可以支持或者兼容虚拟网络通信，本发明实施例可以对图3a所示的meat数据表进行结构扩展，也即添加虚拟网络地址，扩展后的结果如图3b所示。在图3b中，可以地址数据结构扩展了一个虚拟地址字段(info：vserver)，虚拟地址字段(info：vserver)记录了存储设备的虚拟网络地址如VIP。

考虑到分布式云服务系统中数据操作服务器在从元信息服务器获取元信息之前，还需要从分布式协调器中获取元信息服务器的地址，但是现有数据库通信协议只能支持物理网络通信即分布式协调器返回的地址仅为物理网络地址，如果数据操作服务器为虚拟服务器即虚拟机(如用户服务器)时，该数据操作服务器将会无法与数据库集群内存储设备即物理机通信实现数据操作。因此，为了使得系统支持或兼容物理网络和虚拟网络通信，本发明实施例还需要对数据库的通信协议进行扩展，具体地，在分布式协调器(zookeeper)返回的元服务器地址信息中添加元服务器的虚拟网络地址。

比如，在一实施例中，步骤“从元信息服务器中获取元信息”可以包括：

向分布式协调器发送地址获取请求；

接收分布式协调器根据地址获取请求返回的地址信息，地址数据包括：元信息服务器的物理网络地址和虚拟网络地址；

根据地址选择参数从物理网络地址和虚拟网络地址中选取相应的地址；

根据选取的地址从元信息服务器中获取元信息。

其中，地址选择参数用于指示需要选取的时物理网络地址还是虚拟网络地址，该地址选择参数可以根据实际需求配置。比如，可以在数据操作服务器中添加地址选择参数(如uservhost控制项)，当地址选择参数的值为1时选择虚拟网络地址，当参数的值为0时选择物理网络地址。

本发明实施例可以设备间相互通信的核心数据结构进行扩展，添加虚拟网络地址，可以同时支持或兼容物理网络和虚拟网络通信。比如，可以对分布式协调器(zookeeper)返回的信息进行扩展，添加元信息服务器的虚拟网络地址，使得操作服务器可以通过虚拟网络与元信息服务器如数据库集群内某台设备通信。

参考图3c，为目前分布式协调器返回给数据操作服务器的地址数据结构，该地址数据结构包括：设备名称字段(ServerName)、地址字段(hostname)、端口字段(port)、范围字段(startcode)。

其中，设备名称字段(ServerName)记录了设备如分布式协调器的名称；端口字段(port)记录了设备的通信端口；地址字段(hostname)记录了设备通信的物理地址如元信息服务器的物理地址；分布式协调器记录了分布式协调器托管数据的地址范围。

为了能够使得分布式云服务系统同时可以支持或者兼容虚拟网络通信，进而使得操作服务器可以与元信息服务器进行虚拟网络通信，本发明实施例可以对图3c所示的地址数据进行结构扩展，也即添加虚拟网络地址，扩展后的结果如图3d所示。在图3d中，可以地址数据结构扩展了一个虚拟地址字段(vhostname)，虚拟地址字段((vhostname)记录了设备通信的虚拟网络地址如VIP，比如可以记录元信息服务器的虚拟网络地址。

数据操作服务器在接收到分布式协调器返回的元信息服务器的物理网络地址和虚拟网络地址后，可以根据配置的地址选择参数选取所需的地址进行通信。比如，当数据操作服务器可以虚拟服务器即虚拟机时可以选择虚拟网络地址，通过虚拟网络从元信息服务器中获取元信息；当数据操作服务器为物理服务器即物理机时可以选择物理网络地址，通过物理网络如从元信息服务器中获取元信息。

102、从物理存储设备的物理网络地址和虚拟网络地址选取目标物理存储设备的目标物理网络地址和目标虚拟网络地址。

其中，元信息中包括多个物理存储设备的设备地址信息，该设备地址信息可以包括物理存储设备的物理网络地址和虚拟网络地址。

比如，可以从多个物理存储设备的设备地址信息选取目标物理存储设备的目标设备地址信息。

在一实施例中，元信息可以包括信息索引关键字及其对应的设备地址信息；比如，参考图3a和3b，meta表包括信息索引关键字(RowKey)及其对应的物理存储设备location信息。

本发明实施例在获取元信息后需要确定需要对哪台设备进行数据操作，即获取哪个物理存储设备的设备地址信息并与该设备进行通信实现数据操作。其中，确定数据操作对象设备的方式可以有多种，比如，可以基于信息索引关键字来确定，也即步骤“从物理存储设备的物理网络地址和虚拟网络地址选取目标物理存储设备的目标物理网络地址和目标虚拟网络地址”，可以包括:

获取需要操作的目标信息索引关键字；

根据目标信息索引关键字从设备地址信息中选取目标设备地址信息，目标设备地址信息包括目标物理存储设备的目标物理网络地址和目标虚拟网络地址。

其中，选取目标物理存储设备的地址信息的方式可以有多种，比如，可以由用户选择，也可以数据操作服务器基于设备地址信息来自动选择。

比如，在用户选择时，用户可以输入需要操作(如查询)的目标信息索引关键字key，此时，数据操作服务器可以在元信息如元数据表中查询该目标信息索引关键字key对应的目标设备地址信息；即确定需要与哪台设备进行通信实现数据操作。

又比如，还可以由数据操作服务器根据物理存储设备的负载信息如任务量、存储空间剩余量等来确定目标信息索引关键字，然后，从元信息中选取目标信息索引关键字key对应的设备地址信息，即目标设备地址信息。

103、根据地址选择参数从目标物理存储设备的目标物理网络地址和目标虚拟网络地址中选取相应的目标地址。

其中，地址选择参数用于指示需要选取的时物理网络地址还是虚拟网络地址，该地址选择参数可以根据实际需求配置。比如，可以在数据操作服务器中添加地址选择参数(如uservhost控制项)。

在一实施例中可以基于地址选择参数的参数值来选择目标地址；比如，当地址选择参数的值为1时选择虚拟网络地址，当参数的值为0时选择物理网络地址。

在一实施例中，为便于用户操作，还可以对地址选择参数的值进行配置，也即数据操作方法还可以包括：

接收参数配置请求，参数配置请求携带地址选择参数需要配置的参数值；

根据配置请求对地址选择参数的参数值进行配置。

例如，可以将地址选择参数的参数值从0配置到1，或者，从1配置到0等。

104、根据目标地址对目标物理存储设备进行相应的数据操作。

其中，数据操作可以包括：数据查询、存储、修改、删除、移动等操作。

比如，当目标地址为虚拟网络地址时，根据目标地址向虚拟网络发送数据操作请求，以便通过虚拟网络向目标物理存储设备转发数据操作请求，从而实现相应的数据操作；

例如，当数据操作服务器为用户服务器即虚拟服务器时可以配置地址选择参数指示选择虚拟网络地址。在数据操作服务器从元信息服务器获取物理存储设备的物理网络地址和虚拟网络地址后，便可以根据地址选择参数选取虚拟网络地址，然后，根据该虚拟网络地址向虚拟网络发送数据操作请求，该数据操作请求携带该虚拟网络地址；虚拟网络可以将虚拟网络地址转换成相应的物理网络地址；然后，根据物理网络地址向相应的目标物理存储设备转发数据操作请求，从而实现对目标物理存储设备进行数据操作。

又比如，当目标地址为物理网络地址时，根据目标地址直接向目标物理存储设备发送数据操作请求，以便对目标物理存储设备进行相应的数据操作。

例如，当数据操作服务器为数据库集群中物理存储设备如物理存储服务器时，可以配置地址选择参数指示选择物理网络地址。在数据操作服务器从元信息服务器获取物理存储设备的物理网络地址和虚拟网络地址后，便可以根据地址选择参数选取物理网络地址，然后，根据该物理网络地址向相应的目标物理存储设备发送数据操作请求，从而实现相应的数据操作。

由上可知，本发明实施例采用从元信息服务器中获取元信息，该元信息包括数据库集群中物理存储设备的物理网络地址和虚拟网络地址；从物理存储设备的物理网络地址和虚拟网络地址选取目标物理存储设备的目标物理网络地址和目标虚拟网络地址；根据地址选择参数从目标物理存储设备的目标物理网络地址和目标虚拟网络地址中选取相应的目标地址；根据目标地址对目标物理存储设备进行相应的数据操作。该方案可以使得分布式服务系统在同时兼容物理网络和虚拟网络通信，并该分布式云服务系统中数据库集群基于物理存储设备即物理机构建的，因此，通过该数据操作方法可以实现数据库集群在物理机之上提供云服务，可以避免数据库集群在虚拟机上提供云服务所带来的性能损耗和数据冗余度较高的问题，降低了云服务系统的性能损耗和数据冗余度。

此外，本发明实施例提供的分布式云服务系统还具有低成本接入、易于运维、方便管控等优点。

比如，Hbase使用的时候只需要一个VIP和一个VPORT即可，不用关系集群拓扑等。

比如，站在用户视角看到的Hbase数据库是一种服务而不是一个技术集群，用户只需要使用该服务即可，集群出现问题云厂商能第一时间发现并解决这些问题保证用户的服务高可用。

在一实施例，根据上述所描述的方法，将作进一步详细说明。

具体地，可以基于图2a所示的系统来介绍本发明的数据操作方法。该数据操作方法可以由分布式云服务系统中数据操作服务器来执行，该数据操作服务器可以为物理服务器或者虚拟服务器，比如，可以为数据库集群中的物理存储服务器，又比如，可以为系统中的用户服务器。

如图4所示，一种数据操作方法，具体流程如下：

201、数据操作服务器向分布式协调器发送地址获取请求。

202、分布式协调器根据地址获取请求返回元信息服务器的地址信息，该地址信息包括元信息服务器的物理网络地址和虚拟网络地址。

本发明实施例可以设备间相互通信的核心数据结构进行扩展，添加虚拟网络地址，可以同时支持或兼容物理网络和虚拟网络通信。比如，可以对分布式协调器(zookeeper)返回的信息进行扩展，添加元信息服务器的虚拟网络地址，使得操作服务器可以通过虚拟网络与元信息服务器如数据库集群内某台设备通信。

参考图3c，为目前分布式协调器返回给数据操作服务器的地址数据结构，该地址数据结构包括：设备名称字段(ServerName)、地址字段(hostname)、端口字段(port)、范围字段(startcode)。

其中，设备名称字段(ServerName)记录了设备如分布式协调器的名称；端口字段(port)记录了设备的通信端口；地址字段(hostname)记录了设备通信的物理地址如元信息服务器的物理地址；分布式协调器记录了分布式协调器托管数据的地址范围。

为了能够使得分布式云服务系统同时可以支持或者兼容虚拟网络通信，进而使得操作服务器可以与元信息服务器进行虚拟网络通信，本发明实施例可以对图3c所示的地址数据进行结构扩展，也即添加虚拟网络地址，扩展后的结果如图3d所示。在图3d中，可以地址数据结构扩展了一个虚拟地址字段(vhostname)，虚拟地址字段((vhostname)记录了设备通信的虚拟网络地址如VIP，比如可以记录元信息服务器的虚拟网络地址。

203、数据操作服务器根据地址选择参数从物理网络地址和虚拟网络地址中选取相应的地址。

其中，地址选择参数用于指示需要选取的时物理网络地址还是虚拟网络地址，该地址选择参数可以根据实际需求配置。比如，可以在数据操作服务器中添加地址选择参数(如uservhost控制项)，当地址选择参数的值为1时选择虚拟网络地址，当参数的值为0时选择物理网络地址。

204、数据操作服务器根据选取的地址从元信息服务器中获取元信息。

其中，在数据库集群内的物理存储设备可以通过相互协商选举一台物理存储设备作为元信息服务器即meta服务器，该meta服务器保存有集群内各物理存储设备的地址(location)信息，比如，存储设备的地址(包括物理网络地址和虚拟网络地址)、存储设备的详细信息、存储设备存储数据的地址范围等

在一实施例中，元信息可以包括元数据表即meta表；meta表包括信息索引关键字及其对应的设备地址信息；比如，参考图3a和3b，meta表包括信息索引关键字(RowKey)及其对应的物理存储设备location信息。

为了能够使得分布式云服务系统同时可以支持或者兼容虚拟网络通信，本发明实施例可以对图3a所示的meat数据表进行结构扩展，也即添加虚拟网络地址，扩展后的结果如图3b所示。在图3b中，可以地址数据结构扩展了一个虚拟地址字段(info：vserver)，虚拟地址字段(info：vserver)记录了存储设备的虚拟网络地址如VIP。

205、数据操作服务器从元信息中选取目标物理存储设备的目标设备地址信息，目标设备地址信息包括目标物理存储设备的物理网络地址和虚拟网络地址。

本发明实施例在获取元信息后需要确定需要对哪台设备进行数据操作，即获取哪个物理存储设备的设备地址信息并与该设备进行通信实现数据操作。其中，确定数据操作对象设备的方式可以有多种，比如，可以基于信息索引关键字来确定。

比如，数据操作服务器可以获取需要操作的目标信息索引关键字；根据目标信息索引关键字从设备地址信息中选取目标设备地址信息，目标设备地址信息包括目标物理存储设备的目标物理网络地址和目标虚拟网络地址。

其中，选取目标物理存储设备的地址信息的方式可以有多种，比如，可以由用户选择，也可以数据操作服务器基于设备地址信息来自动选择。

比如，在用户选择时，用户可以输入需要操作(如查询)的目标信息索引关键字key，此时，数据操作服务器可以在元信息如元数据表中查询该目标信息索引关键字key对应的目标设备地址信息；即确定需要与哪台设备进行通信实现数据操作

206、数据操作服务器根据地址选择参数从目标物理存储设备的物理网络地址和虚拟网络地址中选取相应的目标地址。

其中，地址选择参数用于指示需要选取的时物理网络地址还是虚拟网络地址，该地址选择参数可以根据实际需求配置。比如，可以在数据操作服务器中添加地址选择参数(如uservhost控制项)。

在一实施例中可以基于地址选择参数的参数值来选择目标地址；比如，当地址选择参数的值为1时选择虚拟网络地址，当参数的值为0时选择物理网络地址。

207、数据操作服务器根据目标地址对目标物理存储设备进行相应的数据操作。

其中，数据操作可以包括：数据查询、存储、修改、删除、移动等操作。

比如，当目标地址为虚拟网络地址时，根据目标地址向虚拟网络发送数据操作请求，以便通过虚拟网络向目标物理存储设备转发数据操作请求，从而实现相应的数据操作；

例如，当数据操作服务器为用户服务器即虚拟服务器时可以配置地址选择参数指示选择虚拟网络地址。在数据操作服务器从元信息服务器获取物理存储设备的物理网络地址和虚拟网络地址后，便可以根据地址选择参数选取虚拟网络地址，然后，根据该虚拟网络地址向虚拟网络发送数据操作请求，该数据操作请求携带该虚拟网络地址；虚拟网络可以将虚拟网络地址转换成相应的物理网络地址；然后，根据物理网络地址向相应的目标物理存储设备转发数据操作请求，从而实现对目标物理存储设备进行数据操作。

又比如，当目标地址为物理网络地址时，根据目标地址直接向目标物理存储设备发送数据操作请求，以便对目标物理存储设备进行相应的数据操作。

例如，当数据操作服务器为数据库集群中物理存储设备如物理存储服务器时，可以配置地址选择参数指示选择物理网络地址。在数据操作服务器从元信息服务器获取物理存储设备的物理网络地址和虚拟网络地址后，便可以根据地址选择参数选取物理网络地址，然后，根据该物理网络地址向相应的目标物理存储设备发送数据操作请求，从而实现相应的数据操作。

由上可知，本发明实施例提供的方法可以使得分布式服务系统在同时兼容物理网络和虚拟网络通信，并该分布式云服务系统中数据库集群基于物理存储设备即物理机构建的，因此，通过该数据操作方法可以实现数据库集群在物理机之上提供云服务，可以避免数据库集群在虚拟机上提供云服务所带来的性能损耗和数据冗余度较高的问题，降低了云服务系统的性能损耗和数据冗余度。

比如，Hbase数据库基于物理机构建，一般是独享模式，且提供了多种机型来满足不同的应用场景，保证了数据性能。又比如，Hbase数据库基于物理机构建这些物理机在初始化的时候会去掉机器的raid，通过HDFS的多备份机制来保证数据的高可靠和数据快速迁移，降低了数据冗余度。

此外，本发明实施例提供的分布式云服务系统还具有低成本接入、易于运维、方便管控等优点。

比如，Hbase使用的时候只需要一个VIP和一个VPORT即可，不用关系集群拓扑等。

比如，站在用户视角看到的Hbase数据库是一种服务而不是一个技术集群，用户只需要使用该服务即可，集群出现问题云厂商能第一时间发现并解决这些问题保证用户的服务高可用。

为了便于更好的实施本发明实施例提供的数据操作方法，在一实施例中还提供了一种数据操作装置。其中名词的含义与上述数据操作方法中相同，具体实现细节可以参考方法实施例中的说明。

在一实施例中，还提供了一种数据操作装置，如图5a所示，该数据操作装置适用于本发明实施例提供的分布式云服务系统中的数据操作设备，所述分布式云服务系统包括数据库集群；该数据操作装置可以包括：信息获取单元301、第一地址选取单元302、第二地址选取单元303、以及数据操作单元304。其中：

信息获取单元301，用于从元信息服务器中获取元信息，所述元信息包括所述数据库集群中物理存储设备的物理网络地址和虚拟网络地址；

第一地址选取单元302，用于从所述物理存储设备的物理网络地址和虚拟网络地址选取目标物理存储设备的目标物理网络地址和目标虚拟网络地址；

第二地址选取单元303，用于根据地址选择参数从目标物理存储设备的目标物理网络地址和目标虚拟网络地址中选取相应的目标地址；

数据操作单元304，用于根据所述目标地址对所述目标物理存储设备进行相应的数据操作。

在一实施例中，参考图5b，信息获取单元301可以包括：

请求发送子单元3011，用于向分布式协调器发送地址获取请求；

接收子单元3012，用于接收所述分布式协调器根据所述地址获取请求返回的地址信息，所述地址信息包括：元信息服务器的物理网络地址和虚拟网络地址；

选取子单元3013，用于根据所述地址选择参数从所述物理网络地址和所述虚拟网络地址中选取相应的地址；

信息获取子单元3014，用于根据选取的地址从所述元信息服务器中获取元信息。

在一实施例中，所述元信息可以包括：信息索引关键字及其对应的设备地址信息，所述设备地址信息包括物理存储设备的物理网络地址和虚拟网络地址；

所述第一地址选取单元302，可以用于：

获取需要操作的目标信息索引关键字；

根据所述目标信息索引关键字从所述设备地址信息中选取目标设备地址信息，所述目标设备地址信息包括目标物理存储设备的目标物理网络地址和目标虚拟网络地址。

在一实施例中，参考图5c，数据操作装置还可以包括：参数配置单元305；

所述参数配置单元305，用于：

接收参数配置请求，所述参数配置请求携带地址选择参数需要配置的参数值；

根据所述配置请求对地址选择参数的参数值进行配置。

在一实施例中，所述数据操作单元304，可以用于：

当所述目标地址为虚拟网络地址时，根据所述目标地址向虚拟网络发送数据操作请求，以便通过所述虚拟网络向所述目标物理存储设备转发所述数据操作请求；

当所述目标地址为物理网络地址时，根据所述目标地址直接向所述目标物理存储设备发送数据操作请求，以便对目标物理存储设备进行相应的数据操作。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

该数据操作装置具体可以集成服务器，比如以客户端的形式集成在服务器中，该服务器可以为分布式云服务系统中的存储服务器或者虚拟服务器等设备。

由上可知，本发明实施例授权管理装置可以采用信息获取单元301从元信息服务器中获取元信息，该元信息包括数据库集群中物理存储设备的物理网络地址和虚拟网络地址；由第一地址选取单元302从物理存储设备的物理网络地址和虚拟网络地址选取目标物理存储设备的目标物理网络地址和目标虚拟网络地址；由第二地址选取单元303根据地址选择参数从目标物理存储设备的目标物理网络地址和目标虚拟网络地址中选取相应的目标地址；由数据操作单元304根据目标地址对目标物理存储设备进行相应的数据操作。该方案可以使得分布式服务系统同时兼容物理网络和虚拟网络通信，并该分布式云服务系统中数据库集群基于物理存储设备即物理机构建的，因此，通过该数据操作方法可以实现数据库集群在物理机之上提供云服务，可以避免数据库集群在虚拟机上提供云服务所带来的性能损耗和数据冗余度较高的问题，降低了云服务系统的性能损耗和数据冗余度。

在一实施例中，为了更好地实施以上方法，本发明实施例还提供了一种服务器，如云服务器。

参考图6，本发明实施例提供了一种服务器500，可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、射频(RadioFrequency，RF)电路503、电源504、输入单元505等部件。本领域技术人员可以理解，图6中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中：

处理器501是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体管控。可选的，处理器501可包括一个或多个处理核心；优选的，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。

存储器502可用于存储软件程序以及模块，处理器501通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。

RF电路503可用于收发信息过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器501处理；另外，将涉及上行的数据发送给基站。

服务器还包括给各个部件供电的电源504(比如电池)，优选的，电源可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源504还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该服务器还可包括输入单元505，该输入单元505可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

具体在本实施例中，该服务器可以为分布式云服务系统中需要数据操作的服务器，即数据操作服务器，该数据操作服务器可以为系统中的物理存储服务器或者虚拟服务器等。

其中，服务器中的处理器501会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现各种功能，如下：

从元信息服务器中获取元信息，所述元信息包括所述数据库集群中物理存储设备的物理网络地址和虚拟网络地址；

从所述物理存储设备的物理网络地址和虚拟网络地址选取目标物理存储设备的目标物理网络地址和目标虚拟网络地址；

根据地址选择参数从目标物理存储设备的目标物理网络地址和目标虚拟网络地址中选取相应的目标地址；

根据所述目标地址对所述目标物理存储设备进行相应的数据操作。

在一实施例中，在从元信息服务器中获取元信息时，处理器501可以具体执行以下步骤：

向分布式协调器发送地址获取请求；

接收所述分布式协调器根据所述地址获取请求返回的地址信息，所述地址信息包括：元信息服务器的物理网络地址和虚拟网络地址；

根据所述地址选择参数从所述物理网络地址和所述虚拟网络地址中选取相应的地址；

根据选取的地址从所述元信息服务器中获取元信息。

在一实施例中，所述元信息包括：信息索引关键字及其对应的设备地址信息，所述设备地址信息包括物理存储设备的物理网络地址和虚拟网络地址；在从所述物理存储设备的物理网络地址和虚拟网络地址选取目标物理存储设备的目标物理网络地址和目标虚拟网络地址时，处理器501可以具体执行以下步骤：

获取需要操作的目标信息索引关键字；

根据所述目标信息索引关键字从所述设备地址信息中选取目标设备地址信息，所述目标设备地址信息包括目标物理存储设备的目标物理网络地址和目标虚拟网络地址。

在一实施例中，处理器501还可以具体执行以下步骤：

接收参数配置请求，所述参数配置请求携带地址选择参数需要配置的参数值；

根据所述配置请求对地址选择参数的参数值进行配置。

在一实施例中，在根据所述目标地址对所述目标物理存储设备进行相应的数据操作时，处理器501可以具体执行以下步骤：

当所述目标地址为虚拟网络地址时，根据所述目标地址向虚拟网络发送数据操作请求，以便通过所述虚拟网络向所述目标物理存储设备转发所述数据操作请求；

当所述目标地址为物理网络地址时，根据所述目标地址直接向所述目标物理存储设备发送数据操作请求，以便对目标物理存储设备进行相应的数据操作。

由上可知，本发明实施例服务器可以从元信息服务器中获取元信息，该元信息包括数据库集群中物理存储设备的物理网络地址和虚拟网络地址；从物理存储设备的物理网络地址和虚拟网络地址选取目标物理存储设备的目标物理网络地址和目标虚拟网络地址；根据地址选择参数从目标物理存储设备的目标物理网络地址和目标虚拟网络地址中选取相应的目标地址；根据目标地址对目标物理存储设备进行相应的数据操作。该方案可以使得分布式服务系统同时兼容物理网络和虚拟网络通信，并该分布式云服务系统中数据库集群基于物理存储设备即物理机构建的，因此，通过该数据操作方法可以实现数据库集群在物理机之上提供云服务，可以避免数据库集群在虚拟机上提供云服务所带来的性能损耗和数据冗余度较高的问题，降低了云服务系统的性能损耗和数据冗余度。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。

以上对本发明实施例所提供的一种数据操作方法、装置和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种数据操作方法，其特征在于，适用于分布式云服务系统中的数据操作设备，所述分布式云服务系统包括数据库集群，所述方法包括：

向分布式协调器发送地址获取请求；

接收所述分布式协调器根据所述地址获取请求返回的地址信息，所述地址信息包括：元信息服务器的物理网络地址和虚拟网络地址；

根据地址选择参数从所述元信息服务器的物理网络地址和虚拟网络地址中选取相应的地址；

根据选取的地址从所述元信息服务器中获取元信息，所述元信息包括所述数据库集群中物理存储设备的物理网络地址和虚拟网络地址；

从所述物理存储设备的物理网络地址和虚拟网络地址选取目标物理存储设备的目标物理网络地址和目标虚拟网络地址；

根据所述地址选择参数从所述目标物理存储设备的目标物理网络地址和目标虚拟网络地址中选取相应的目标地址；

根据所述目标地址对所述目标物理存储设备进行相应的数据操作。

2.如权利要求1所述的数据操作方法，其特征在于，所述元信息包括：信息索引关键字及其对应的设备地址信息，所述设备地址信息包括物理存储设备的物理网络地址和虚拟网络地址；

从所述物理存储设备的物理网络地址和虚拟网络地址选取目标物理存储设备的目标物理网络地址和目标虚拟网络地址，包括：

获取需要操作的目标信息索引关键字；

根据所述目标信息索引关键字从所述设备地址信息中选取目标设备地址信息，所述目标设备地址信息包括目标物理存储设备的目标物理网络地址和目标虚拟网络地址。

3.如权利要求1所述的数据操作方法，其特征在于，还包括：

接收参数配置请求，所述参数配置请求携带地址选择参数需要配置的参数值；

根据所述配置请求对所述地址选择参数的参数值进行配置。

4.如权利要求1所述的数据操作方法，其特征在于，根据所述目标地址对所述目标物理存储设备进行相应的数据操作，包括：

当所述目标地址为虚拟网络地址时，根据所述目标地址向虚拟网络发送数据操作请求，以便通过所述虚拟网络向所述目标物理存储设备转发所述数据操作请求；

当所述目标地址为物理网络地址时，根据所述目标地址直接向所述目标物理存储设备发送数据操作请求，以便对所述目标物理存储设备进行相应的数据操作。

5.一种数据操作装置，其特征在于，适用于分布式云服务系统中的数据操作设备，所述分布式云服务系统包括数据库集群，所述装置包括：

信息获取单元，所述信息获取单元，包括：

请求发送子单元，用于向分布式协调器发送地址获取请求；

接收子单元，用于接收所述分布式协调器根据所述地址获取请求返回的地址信息，所述地址信息包括：元信息服务器的物理网络地址和虚拟网络地址；

选取子单元，用于根据地址选择参数从所述元信息服务器的物理网络地址和虚拟网络地址中选取相应的地址；

信息获取子单元，用于根据选取的地址从所述元信息服务器中获取元信息，所述元信息包括所述数据库集群中物理存储设备的物理网络地址和虚拟网络地址；

第一地址选取单元，用于从所述物理存储设备的物理网络地址和虚拟网络地址选取目标物理存储设备的目标物理网络地址和目标虚拟网络地址；

第二地址选取单元，用于根据所述地址选择参数从所述目标物理存储设备的目标物理网络地址和目标虚拟网络地址中选取相应的目标地址；

数据操作单元，用于根据所述目标地址对所述目标物理存储设备进行相应的数据操作。

6.如权利要求5所述的数据操作装置，其特征在于，所述元信息包括：信息索引关键字及其对应的设备地址信息，所述设备地址信息包括物理存储设备的物理网络地址和虚拟网络地址；

所述第一地址选取单元，用于：

获取需要操作的目标信息索引关键字；

根据所述目标信息索引关键字从所述设备地址信息中选取目标设备地址信息，所述目标设备地址信息包括目标物理存储设备的目标物理网络地址和目标虚拟网络地址。

7.如权利要求5所述的数据操作装置，其特征在于，还包括：参数配置单元；

所述参数配置单元，用于：

接收参数配置请求，所述参数配置请求携带地址选择参数需要配置的参数值；

根据所述配置请求对所述地址选择参数的参数值进行配置。

8.如权利要求5所述的数据操作装置，其特征在于，所述数据操作单元，用于：

当所述目标地址为虚拟网络地址时，根据所述目标地址向虚拟网络发送数据操作请求，以便通过所述虚拟网络向所述目标物理存储设备转发所述数据操作请求；

当所述目标地址为物理网络地址时，根据所述目标地址直接向所述目标物理存储设备发送数据操作请求，以便对所述目标物理存储设备进行相应的数据操作。

9.一种存储介质，其特征在于，所述存储介质存储有指令，所述指令被处理器执行时实现如权利要求1-4任一项所述数据操作方法。

Images