CN115292280A - 一种跨区域的数据调度方法、装置、设备及存储介质 - Google Patents

一种跨区域的数据调度方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115292280A
CN115292280A CN202210899880.5A CN202210899880A CN115292280A CN 115292280 A CN115292280 A CN 115292280A CN 202210899880 A CN202210899880 A CN 202210899880A CN 115292280 A CN115292280 A CN 115292280A
Authority
CN
China
Prior art keywords
data
information
data center
target
service request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210899880.5A
Other languages
English (en)
Inventor
颜嘉伟
黄润怀
林洁琬
肖露
吴文峰
陈杰
张维杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi Cloud Technology Co Ltd
Original Assignee
Tianyi Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyi Cloud Technology Co Ltd filed Critical Tianyi Cloud Technology Co Ltd
Priority to CN202210899880.5A priority Critical patent/CN115292280A/zh
Publication of CN115292280A publication Critical patent/CN115292280A/zh
Priority to PCT/CN2022/141408 priority patent/WO2024021470A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及云计算技术领域，尤其涉及一种跨区域的数据调度方法、装置、设备及存储介质，用于解决已有技术下业务请求处理效率低下，业务连续性无法保证的问题，该方法为：基于客户端发送的业务请求包含的请求操作类型，获取各个数据中心的目标信息，再基于业务请求包含的待传输数据的数据描述信息和各个目标信息，确定并发送业务请求对应的目标数据中心的数据面接口信息至客户端，其中，目标信息包括元数据信息和状态信息中的至少一种，元数据信息表征任一数据中心包含的每个逻辑磁盘单元的存量数据描述信息，状态信息表征任一数据中心的运行状态描述信息；这样，提高了业务请求处理效率，保证了业务的连续性。

Description

一种跨区域的数据调度方法、装置、设备及存储介质
技术领域
本申请涉及云计算技术领域，尤其涉及一种跨区域的数据调度方法、装置、设备及存储介质。
背景技术
随着云计算技术的发展，具有易用易接入、无需客户构建数据中心等的云存储越来越受到大家的认可。存储区域网络(Storage Area Network，SAN)是一种以网络为中心的存储结构，通常包括服务器(主机)、存储设备(逻辑磁盘单元(Logical Disk Unit，LUN)或磁盘阵列)以及桥接器和多路复用器，其中，所有设备都连接在光纤通道的交换机上，适用于要求高吞吐量和低延迟的业务。
现有技术下，云存储服务商往往在数据中心内部构建SAN，在内部实施对该数据中心的安全防护和数据保护等，这样，当该数据中心的网络质量较差或容量剩余较少时，不能及时处理客户端的业务请求，如业务I/O请求，从而造成业务请求处理效率低下，无法保证业务的连续性的问题。
发明内容
本申请实施例提供一种跨区域的数据调度方法、装置、设备及存储介质，用以提高业务请求处理效率，保证业务的连续性。
本申请实施例提供的具体技术方案如下：
第一方面，本申请实施例提供一种跨区域的数据调度方法，包括：
接收客户端发送的业务请求，其中，所述业务请求包括请求操作类型、待传输数据的数据描述信息；
基于所述请求操作类型，获取各个数据中心的目标信息，其中，每个数据中心的存储架构是基于存储区域网络搭建的，所述目标信息包括元数据信息和状态信息中的至少一种，所述元数据信息表征任一数据中心包含的每个逻辑磁盘单元的存量数据描述信息，所述状态信息表征任一数据中心的运行状态描述信息；
基于所述数据描述信息和各个目标信息，确定所述业务请求对应的目标数据中心，其中，所述目标数据中心是所述各个数据中心中的至少一个；
将所述目标数据中心的数据面接口信息返回至所述客户端，以使所述客户端基于所述数据面接口信息构建所述业务请求对应的上下行数据传输通道。
在一些可能的实施例中，若所述请求操作类型是读操作，则所述目标信息是所述元数据信息；若所述请求操作类型是写操作，则所述目标信息是所述状态信息；
所述基于所述数据描述信息和各个目标信息，确定所述业务请求对应的目标数据中心，包括：
若所述请求操作类型是读操作，则从所述各个元数据信息中，查询所述数据描述信息对应的存量数据，并将查询到的存量数据的数据中心索引信息所对应的数据中心，确定为所述目标数据中心；
若所述请求操作类型是写操作，则基于所述数据描述信息和所述各个状态信息，确定所述待传输数据对应的调度计划，并基于所述调度计划，确定所述目标数据中心，其中，所述状态信息是通过所述任一数据中心对应的状态信息接口定期采集得到的。
在一些可能的实施例中，在所述将所述目标数据中心的数据面接口信息返回至所述客户端之后，还包括：
在确定所述写操作完成后，收集所述目标数据中心的目标元数据信息；
基于所述目标元数据信息，更新所述目标信息中的已有元数据信息。
在一些可能的实施例中，所述方法包括：
将第一数据中心的目标存量数据迁移到第二数据中心中，其中，所述第一数据中心是所述各个数据中心中的任意一个，所述第二数据中心是所述各个数据中心中，除所述第一数据中心之外的任意一个数据中心；
在完成数据迁移后，基于所述第一数据中心的第一元数据信息，以及，所述第二数据中心的第二元数据信息，更新已有的元数据信息。
在一些可能的实施例中，所述状态信息包括如下信息中的部分或全部：
网络运行状态描述信息；
所述存储区域网络的网络设备运行状态描述信息；
辅助设备运行状态描述信息。
在一些可能的实施例中，所述元数据信息包括如下信息中的部分或全部：
数据中心索引信息；
每个逻辑磁盘单元的存量数据的数据偏移；
每个逻辑磁盘单元的存量数据的数据长度；
每个逻辑磁盘单元的存量数据的时间戳。
第二方面，本申请实施例提供一种跨区域的数据调度装置，包括：
接收模块，用于接收客户端发送的业务请求，其中，所述业务请求包括请求操作类型、待传输数据的数据描述信息；
获取模块，用于基于所述请求操作类型，获取各个数据中心的目标信息，其中，每个数据中心的存储架构是基于存储区域网络搭建的，所述目标信息包括元数据信息和状态信息中的至少一种，所述元数据信息表征任一数据中心包含的每个逻辑磁盘单元的存量数据描述信息，所述状态信息表征任一数据中心的运行状态描述信息；
确定模块，用于基于所述数据描述信息和各个目标信息，确定所述业务请求对应的目标数据中心，其中，所述目标数据中心是所述各个数据中心中的至少一个；
发送模块，用于将所述目标数据中心的数据面接口信息返回至所述客户端，以使所述客户端基于所述数据面接口信息构建所述业务请求对应的上下行数据传输通道。
在一些可能的实施例中，若所述请求操作类型是读操作，则所述目标信息是所述元数据信息；若所述请求操作类型是写操作，则所述目标信息是所述状态信息；
所述基于所述数据描述信息和各个目标信息，确定所述业务请求对应的目标数据中心，所述确定模块用于：
若所述请求操作类型是读操作，则从所述各个元数据信息中，查询所述数据描述信息对应的存量数据，并将查询到的存量数据的数据中心索引信息所对应的数据中心，确定为所述目标数据中心；
若所述请求操作类型是写操作，则基于所述数据描述信息和所述各个状态信息，确定所述待传输数据对应的调度计划，并基于所述调度计划，确定所述目标数据中心，其中，所述状态信息是通过所述任一数据中心对应的状态信息接口定期采集得到的。
在一些可能的实施例中，在所述将所述目标数据中心的数据面接口信息返回至所述客户端之后，所述发送模块还用于：
在确定所述写操作完成后，收集所述目标数据中心的目标元数据信息；
基于所述目标元数据信息，更新所述目标信息中的已有元数据信息。
在一些可能的实施例中，所述确定模块用于将第一数据中心的目标存量数据迁移到第二数据中心中，其中，所述第一数据中心是所述各个数据中心中的任意一个，所述第二数据中心是所述各个数据中心中，除所述第一数据中心之外的任意一个数据中心；还用于在完成数据迁移后，基于所述第一数据中心的第一元数据信息，以及，所述第二数据中心的第二元数据信息，更新已有的元数据信息。
在一些可能的实施例中，所述状态信息包括如下信息中的部分或全部：
网络运行状态描述信息；
所述存储区域网络的网络设备运行状态描述信息；
辅助设备运行状态描述信息。
在一些可能的实施例中，所述元数据信息包括如下信息中的部分或全部：
数据中心索引信息；
每个逻辑磁盘单元的存量数据的数据偏移；
每个逻辑磁盘单元的存量数据的数据长度；
每个逻辑磁盘单元的存量数据的时间戳。
第三方面，本申请实施例提供一种电子设备，所述电子设备包括处理器和存储器，
所述存储器，用于存储计算机程序或指令；
所述处理器，用于执行存储器中的计算机程序或指令，使得上述第一方面中任一项所述的方法被执行。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述第一方面中任一项所述方法的步骤。
本申请实施例中，基于接收到的客户端发送的业务请求包含的请求操作类型，获取各个数据中心的目标信息，然后，基于业务请求包含的待传输数据的数据描述信息，确定业务请求对应的目标数据中心，并将目标数据中心的数据面接口信息返回至客户端，以使客户端基于数据面接口信息构建业务请求对应的上下行数据传输通道，其中，每个数据中心的存储架构是基于存储区域网络搭建的，目标信息包括元数据信息和状态信息中的至少一种，元数据信息表征任一数据中心包含的每个逻辑磁盘单元的存量数据描述信息，状态信息表征任一数据中心的运行状态描述信息，目标数据中心是各个数据中心中的至少一个；这样，客户端可以与多个数据中心构建业务请求对应的上下行通道，解除了客户端与默认数据中心的绑定关系，提升了已搭建存储区域网络架构的存储服务的性能，从而提高了业务请求处理效率，最大限度保证了业务的连续性。
附图说明
图1为本申请实施例中一种应用场景的示意图；
图2为本申请实施例中一种跨区域数据调度系统的架构示意图；
图3为本申请实施例中一种跨区域的数据调度方法的流程示意图；
图4为本申请实施例中跨区域数据调度系统的处理逻辑示意图；
图5为本申请实施例中一种确定目标数据中心方法的流程示意图；
图6为本申请实施例中另一种确定目标数据中心方法的流程示意图；
图7为本申请实施例中跨区域数据调度系统通过调度模块进行数据调度的逻辑示意图；
图8为本申请实施例中一种更新目标信息中的已有元数据信息方法的流程示意图；
图9为本申请实施例中另一种跨区域的数据调度方法的流程示意图；
图10为本申请实施例中一种跨区域的数据调度装置的逻辑架构示意图；
图11为本申请实施例中电子设备的实体架构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够在除了这里图示或描述的那些以外的顺序实施。
为了解决已有技术下业务请求处理效率低下，无法保证业务的连续性的问题，本申请实施例中，基于接收到的客户端发送的业务请求包含的请求操作类型，获取各个数据中心的目标信息，然后，基于业务请求包含的待传输数据的数据描述信息，确定业务请求对应的目标数据中心，并将目标数据中心的数据面接口信息返回至客户端，以使客户端基于数据面接口信息构建业务请求对应的上下行数据传输通道，其中，每个数据中心的存储架构是基于存储区域网络搭建的，目标信息包括元数据信息和状态信息中的至少一种，元数据信息表征任一数据中心包含的每个逻辑磁盘单元的存量数据描述信息，状态信息表征任一数据中心的运行状态描述信息，目标数据中心是各个数据中心中的至少一个。
这样，客户端可以与多个数据中心构建业务请求对应的上下行通道，解除了客户端与默认数据中心的绑定关系，提升了已搭建存储区域网络架构的存储服务的性能，从而提高了业务请求处理效率，最大限度保证了业务的连续性。
进一步地，上述方法，根据状态信息实现了对多个数据中心进行的负载均衡调度，使得增量数据和存量数据可调度迁移，实现了无感知的扩容与迁移，也增强了存储区域整体的可拓展性。
下面结合附图对本申请优选的实施方式做出进一步详细说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请实施例及实施例中的特征可以相互组合。
图1示出了本申请实施例的一种应用场景的示意图。参阅图1所示，本申请实施例中，上述应用场景中包括客户端1、跨区域数据调度系统2和数据中心3，其中，客户端1与跨区域数据调度系统2之间通过通信网络进行通信。可选地，通信网络可以是有线网络或无线网络。客户端1以及跨区域数据调度系统2可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
相应的，跨区域数据调度系统2与数据中心3之间也可以通过通信网络进行通信，通信网络也可以是有线网络或无线网络。跨区域数据调度系统2和数据中心3可以通过有线或无线通信方式进行直接或间接地连接，本申请在此也不做限制。
在本申请实施例中，跨区域数据调度系统2为搭载本申请实施例提供的跨区域的数据调度方法的程序的电子设备，该电子设备可以是智能终端、计算机、平板电脑、笔记本、电子书阅读器等设备；也可以是独立的物理服务器，可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
图2示出了本申请实施例中提供的一种跨区域数据调度系统的架构示意图。参阅图2所示，本申请实施例中，该跨区域数据调度系统包括调度模块、采集模块和元数据服务器，其中，
元数据服务器，用于记录纳管的各个数据中心包含的每个逻辑磁盘单元的元数据信息，还用于记录各个数据中心各自对应的状态信息；其中，元数据信息和/或状态信息用于通过调度模块对业务请求在不同数据中心的数据面接口间进行数据调度。
采集模块，用于通过各个数据中心各自的状态信息接口，定期获取不同的数据中心的状态信息，并记录或更新该状态信息到元数据服务器中。
调度模块，用于收集各个数据中心的存量数据的元数据信息，将其记录到元数据服务器中；还用于记录纳管的各个数据中心的数据面接口信息，根据元数据服务器中的各个元数据信息或各个状态信息进行决策，为实时的业务请求确定目标数据中心的数据面接口信息，以及根据各个数据中心的状态信息，对存量数据进行迁移调度；也用于在业务请求(如，写入请求)完成后，基于写入后的目标数据中心的目标元数据信息，更新元数据服务器中记录的元数据信息。
需要说明的是，本申请提供的跨区域数据调度系统包含的采集模块、元数据服务器和调度模块，可以同时部署在一个实体设备中，也可以分别部署在不同的实体设备中，在此不做具体限定。
参阅图3所示，本申请实施例提供的一种跨区域的数据调度方法，具体流程如下：
步骤300：接收客户端发送的业务请求，其中，业务请求包括请求操作类型、待传输数据的数据描述信息。
参阅图4所示，本申请实施例中，在执行步骤300之前，需在纳入跨区域数据调度系统的各个数据中心中构建各自的状态信息接口，用于通过采集模块定期获取各个数据中心的状态信息，并将获取到的状态信息记录或更新到元数据服务器中。
然后，跨区域数据调度系统通过调度模块收集各个数据中心的数据面接口信息(其中，数据面接口为现有接口，本申请直接收集数据面接口信息进行使用即可)，并基于各个数据面接口信息，收集各个数据中心的存量数据的元数据信息，以及将收集到的元数据信息记录到元数据服务器中，从而得到各个数据中心的初始的元数据信息。
在将跨区域数据调度系统的架构搭建完成后，执行步骤300，接收客户端发送的业务请求。本申请实施例所涉及的业务请求包括业务I/O请求，因此，每个业务请求包括请求操作类型、待传输数据的数据描述信息，其中，数据描述信息包括数据偏移和数据长度。
一些实施例中，待传输数据可以是从某个或某些数据中心中读取的待读取数据，也可以是欲写入某个或某些数据中心的待写入数据，还可以是上述待读取数据和待写入数据。
步骤310：基于请求操作类型，获取各个数据中心的目标信息，其中，每个数据中心的存储架构是基于存储区域网络搭建的，目标信息包括元数据信息和状态信息中的至少一种，元数据信息表征任一数据中心包含的每个逻辑磁盘单元的存量数据描述信息，状态信息表征任一数据中心的运行状态描述信息。
本申请实施例中，在执行步骤310时，基于接收到的业务请求所包含的请求操作类型，获取各个数据中心的目标信息，即若请求操作类型是读操作，则获取各个数据中心的元数据信息，若请求操作类型是写操作，则获取各个数据中心的状态信息。
本申请实施例中，元数据信息包括如下信息中的部分或全部：
1、数据中心索引信息；
2、每个逻辑磁盘单元的存量数据的数据偏移；
3、每个逻辑磁盘单元的存量数据的数据长度；
4、每个逻辑磁盘单元的存量数据的时间戳。
实际应用中，参阅表1所示，可以通过表1记录每个数据中心包含的每个逻辑磁盘单元对应的元数据信息：
表1逻辑磁盘单元的元数据信息一览表
编号 数据偏移 数据长度 数据中心索引 时间戳 …
1 0 4K 3 t1 …
2 4K 128K 1 t3 …
3 … … … … …
4 … … … … …
… … … … … …
本申请实施例中，状态信息包括如下信息中的部分或全部：
1、网络运行状态描述信息；
2、所述存储区域网络的网络设备运行状态描述信息；
3、辅助设备运行状态描述信息。
实际应用中，参阅表2所示，可以通过表2记录每个数据中心对应的状态信息：
表2数据中心的状态信息一览表
数据中心编号 报文时延/ms 带宽使用率 总容量 容量使用率 温度 …
1 10 80％ 3.6PB 70％ 15℃ …
2 25 50％ 1.5PB 30％ 20℃ …
3 … … … … … …
… … … … … … …
… … … … … … …
步骤320：基于数据描述信息和各个目标信息，确定业务请求对应的目标数据中心，其中，目标数据中心是各个数据中心中的至少一个。
本申请实施例中，在执行步骤320时，通过请求操作类型的不同，执行不同的数据调度流程。
情况一，若请求操作类型是读操作，参阅图5所示，具体流程如下：
步骤3201：从各个元数据信息中，查询数据描述信息对应的存量数据。
步骤3202：将查询到的存量数据的数据中心索引信息所对应的数据中心，确定为目标数据中心。
情况二，若请求操作类型是写操作，参阅图6所示，具体流程如下：
步骤3201’：基于数据描述信息和各个状态信息，确定待传输数据对应的调度计划，其中，状态信息是通过任一数据中心对应的状态信息接口定期采集得到的。
步骤3202’：基于调度计划，确定目标数据中心。
步骤330：将目标数据中心的数据面接口信息返回至客户端，以使客户端基于数据面接口信息构建业务请求对应的上下行数据传输通道。
本申请实施例中，在执行步骤320，确定业务请求对应的目标数据中心后，由于跨区域数据调度系统通过调度模块已收集了各个数据中心的数据面接口信息，那么，在执行步骤330时，将目标数据中心的数据面接口信息返回至客户端，这样，客户端既可以根据跨区域数据调度系统返回的数据面接口信息，构建与目标数据中心的上下行数据传输通道，从而实现待传输数据的数据传输。
在实际应用中，通常业务请求同时包含读操作和写操作，那么，参阅图7所示，图7示出了本申请实施例中跨区域数据调度系统通过调度模块进行数据调度的逻辑示意图。
本申请实施中，参阅图7所示，在执行步骤300之后，执行步骤310之前，需对业务请求包含的请求操作类型进行分类，从而将读操作和写操作区分开，然后，并行执行后续数据调度流程。
具体实施中，若请求操作类型是读操作，则通过调度模块，从元数据服务器中获取各个元数据信息，执行搜索操作，即从各个元数据信息中，查询数据描述信息对应的存量数据，并将查询到的存量数据的数据中心索引信息所对应的数据中心，确定为目标数据中心；若请求操作类型是写操作，则通过调度模块，从元数据服务器中获取状态信息，执行决策操作，即基于数据描述信息和各个状态信息，确定待传输数据对应的调度计划；并基于调度计划，确定目标数据中心。
然后，将目标数据中心的数据面接口信息返回至客户端，以使客户端基于数据面接口信息构建业务请求对应的上下行数据传输通道，以便于后续顺利传输待传输数据。
相应的，本申请实施例中，在执行步骤330之后，若业务请求包含的请求操作类型为写操作，则参阅图8所示，进一步执行如下步骤：
步骤800：在确定写操作完成后，收集目标数据中心的目标元数据信息。
本申请实施例中，在执行步骤800时，在确定写操作完成后，通过调度模块收集目标数据中心的目标元数据信息。
步骤810：基于目标元数据信息，更新目标信息中的已有元数据信息。
本申请实施例中，在执行步骤810时，基于目标元数据信息，更新元数据服务器中已记录(即，已存储)的目标信息中的已有元数据信息，这样，可以保证元数据服务器中存储的元数据信息与各个数据中心的每个逻辑磁盘单元对应的元数据信息一致，便于后续准确、快速执行新接收到的业务请求，从而保证业务的连续性。
在一些实施例中，由于本申请中，在纳管的每个数据中心中部署了状态信息接口，这样，跨区域数据调度系统可以通过调度模块对某个或某些数据中心中的存量数据进行数据迁移，具体实施中，参阅图9所示，以在第一数据中心和第二数据中心之间执行数据迁移为例，具体数据调度流程包括：
步骤900：将第一数据中心的目标存量数据迁移到第二数据中心中，其中，第一数据中心是各个数据中心中的任意一个，第二数据中心是各个数据中心中，除第一数据中心之外的任意一个数据中心。
步骤910：在完成数据迁移后，基于第一数据中心的第一元数据信息，以及，第二数据中心的第二元数据信息，更新已有的元数据信息。
需要说明的是，上述步骤900-步骤910仅以在第一数据中心和第二数据中心之间执行数据迁移为例，实际应用中，可以在第一数据中心、第二数据中心、第三数据中心之间，甚至更多的数据中心之间进行数据迁移，本申请不做具体限定。
例如，将第一数据中心的目标存量数据中的部分目标存量数据，迁移至第二数据中心中，将剩余的目标存量数据迁移到第三数据中心中等等。
本申请实施例通过的一种跨区域的数据调度方法，通过上述跨区域数据调度系统提升了已搭建存储区域网络架构的存储服务的性能；通过调度模块将若干个数据中心纳管起来，方便客户端与多个数据中心构建业务请求的上下行数据传输通道，从而实现了根据状态信息进行的负载均衡调度；通过上述跨区域数据调度系统也增强了存储服务整体的拓展性，可以通过增减纳管的数据中心的数量，实现并行扩展与缩小。
进一步地，通过调度模块对增量数据和存量数据进行的数据调度和数据迁移，实现了无感知的扩容与迁移，同时，根据元数据信息进行纳管的数据中心的内部存储资源的回收，提高了每个数据中心的基础设施利用率。
基于同一发明构思，参阅图10所示，本申请实施例中提供一种跨区域的数据调度装置，包括：
接收模块1010，用于接收客户端发送的业务请求，其中，所述业务请求包括请求操作类型、待传输数据的数据描述信息；
获取模块1020，用于基于所述请求操作类型，获取各个数据中心的目标信息，其中，每个数据中心的存储架构是基于存储区域网络搭建的，所述目标信息包括元数据信息和状态信息中的至少一种，所述元数据信息表征任一数据中心包含的每个逻辑磁盘单元的存量数据描述信息，所述状态信息表征任一数据中心的运行状态描述信息；
确定模块1030，用于基于所述数据描述信息和各个目标信息，确定所述业务请求对应的目标数据中心，其中，所述目标数据中心是所述各个数据中心中的至少一个；
发送模块1040，用于将所述目标数据中心的数据面接口信息返回至所述客户端，以使所述客户端基于所述数据面接口信息构建所述业务请求对应的上下行数据传输通道。
在一些可能的实施例中，若所述请求操作类型是读操作，则所述目标信息是所述元数据信息；若所述请求操作类型是写操作，则所述目标信息是所述状态信息；
所述基于所述数据描述信息和各个目标信息，确定所述业务请求对应的目标数据中心，所述确定模块1030用于：
若所述请求操作类型是读操作，则从所述各个元数据信息中，查询所述数据描述信息对应的存量数据，并将查询到的存量数据的数据中心索引信息所对应的数据中心，确定为所述目标数据中心；
若所述请求操作类型是写操作，则基于所述数据描述信息和所述各个状态信息，确定所述待传输数据对应的调度计划，并基于所述调度计划，确定所述目标数据中心，其中，所述状态信息是通过所述任一数据中心对应的状态信息接口定期采集得到的。
在一些可能的实施例中，在所述将所述目标数据中心的数据面接口信息返回至所述客户端之后，所述发送模块1040还用于：
在确定所述写操作完成后，收集所述目标数据中心的目标元数据信息；
基于所述目标元数据信息，更新所述目标信息中的已有元数据信息。
在一些可能的实施例中，所述确定模块1030用于将第一数据中心的目标存量数据迁移到第二数据中心中，其中，所述第一数据中心是所述各个数据中心中的任意一个，所述第二数据中心是所述各个数据中心中，除所述第一数据中心之外的任意一个数据中心；还用于在完成数据迁移后，基于所述第一数据中心的第一元数据信息，以及，所述第二数据中心的第二元数据信息，更新已有的元数据信息。
在一些可能的实施例中，所述状态信息包括如下信息中的部分或全部：
网络运行状态描述信息；
所述存储区域网络的网络设备运行状态描述信息；
辅助设备运行状态描述信息。
在一些可能的实施例中，所述元数据信息包括如下信息中的部分或全部：
数据中心索引信息；
每个逻辑磁盘单元的存量数据的数据偏移；
每个逻辑磁盘单元的存量数据的数据长度；
每个逻辑磁盘单元的存量数据的时间戳。
参阅图11所示，本申请实施例中提供一种电子设备，包括：处理器1101和存储器1102；
存储器1102，用于存储处理器1101执行的计算机程序。存储器1102可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器1102也可以是非易失性存储器(non-volatile memory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器1102是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1102可以是上述存储器的段合。
处理器1101，可以包括一个或多个中央处理单元(central processing unit，CPU)，图形处理单元(Graphics Processing Unit，GPU)或者为数字处理单元等等。
本申请实施例中不限定上述存储器1102和处理器1101之间的具体连接介质。本申请实施例在图11中以存储器1102和处理器1101之间通过总线1103连接，总线1103在图11中以粗线表示，总线1103可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
其中，所述存储器存储有程序代码，当所述程序代码被所述处理器1101执行时，使得所述处理器1101执行如上述各个实施例中执行的任意一种方法。
由于该电子设备即是执行本申请实施例中的方法的电子设备，并且该电子设备解决问题的原理与该方法相似，因此该电子设备的实施可以参见方法的实施，重复之处不再赘述。
基于同一发明构思，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述各个实施例中的任意一种方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图中的一个流程或多个流程和/或方框图中的一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图中的一个流程或多个流程和/或方框图中的一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图中的一个流程或多个流程和/或方框图中的一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种跨区域的数据调度方法，其特征在于，包括：
接收客户端发送的业务请求，其中，所述业务请求包括请求操作类型、待传输数据的数据描述信息；
基于所述请求操作类型，获取各个数据中心的目标信息，其中，每个数据中心的存储架构是基于存储区域网络搭建的，所述目标信息包括元数据信息和状态信息中的至少一种，所述元数据信息表征任一数据中心包含的每个逻辑磁盘单元的存量数据描述信息，所述状态信息表征任一数据中心的运行状态描述信息；
基于所述数据描述信息和各个目标信息，确定所述业务请求对应的目标数据中心，其中，所述目标数据中心是所述各个数据中心中的至少一个；
将所述目标数据中心的数据面接口信息返回至所述客户端，以使所述客户端基于所述数据面接口信息构建所述业务请求对应的上下行数据传输通道。
2.如权利要求1所述的方法，其特征在于，若所述请求操作类型是读操作，则所述目标信息是所述元数据信息；若所述请求操作类型是写操作，则所述目标信息是所述状态信息；
所述基于所述数据描述信息和各个目标信息，确定所述业务请求对应的目标数据中心，包括：
若所述请求操作类型是读操作，则从所述各个元数据信息中，查询所述数据描述信息对应的存量数据，并将查询到的存量数据的数据中心索引信息所对应的数据中心，确定为所述目标数据中心；
若所述请求操作类型是写操作，则基于所述数据描述信息和所述各个状态信息，确定所述待传输数据对应的调度计划，并基于所述调度计划，确定所述目标数据中心，其中，所述状态信息是通过所述任一数据中心对应的状态信息接口定期采集得到的。
3.如权利要求2所述的方法，其特征在于，在所述将所述目标数据中心的数据面接口信息返回至所述客户端之后，还包括：
在确定所述写操作完成后，收集所述目标数据中心的目标元数据信息；
基于所述目标元数据信息，更新所述目标信息中的已有元数据信息。
4.如权利要求1所述的方法，其特征在于，所述方法包括：
将第一数据中心的目标存量数据迁移到第二数据中心中，其中，所述第一数据中心是所述各个数据中心中的任意一个，所述第二数据中心是所述各个数据中心中，除所述第一数据中心之外的任意一个数据中心；
在完成数据迁移后，基于所述第一数据中心的第一元数据信息，以及，所述第二数据中心的第二元数据信息，更新已有的元数据信息。
5.如权利要求1-4任一所述的方法，其特征在于，所述状态信息包括如下信息中的部分或全部：
网络运行状态描述信息；
所述存储区域网络的网络设备运行状态描述信息；
辅助设备运行状态描述信息。
6.如权利要求1-4任一所述的方法，其特征在于，所述元数据信息包括如下信息中的部分或全部：
数据中心索引信息；
每个逻辑磁盘单元的存量数据的数据偏移；
每个逻辑磁盘单元的存量数据的数据长度；
每个逻辑磁盘单元的存量数据的时间戳。
7.一种跨区域的数据调度装置，其特征在于，包括：
接收模块，用于接收客户端发送的业务请求，其中，所述业务请求包括请求操作类型、待传输数据的数据描述信息；
获取模块，用于基于所述请求操作类型，获取各个数据中心的目标信息，其中，每个数据中心的存储架构是基于存储区域网络搭建的，所述目标信息包括元数据信息和状态信息中的至少一种，所述元数据信息表征任一数据中心包含的每个逻辑磁盘单元的存量数据描述信息，所述状态信息表征任一数据中心的运行状态描述信息；
确定模块，用于基于所述数据描述信息和各个目标信息，确定所述业务请求对应的目标数据中心，其中，所述目标数据中心是所述各个数据中心中的至少一个；
发送模块，用于将所述目标数据中心的数据面接口信息返回至所述客户端，以使所述客户端基于所述数据面接口信息构建所述业务请求对应的上下行数据传输通道。
8.如权利要求7所述的装置，其特征在于，若所述请求操作类型是读操作，则所述目标信息是所述元数据信息；若所述请求操作类型是写操作，则所述目标信息是所述状态信息；
所述基于所述数据描述信息和各个目标信息，确定所述业务请求对应的目标数据中心，所述确定模块用于：
若所述请求操作类型是读操作，则从所述各个元数据信息中，查询所述数据描述信息对应的存量数据，并将查询到的存量数据的数据中心索引信息所对应的数据中心，确定为所述目标数据中心；
若所述请求操作类型是写操作，则基于所述数据描述信息和所述各个状态信息，确定所述待传输数据对应的调度计划，并基于所述调度计划，确定所述目标数据中心，其中，所述状态信息是通过所述任一数据中心对应的状态信息接口定期采集得到的。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，
所述存储器，用于存储计算机程序或指令；
所述处理器，用于执行存储器中的计算机程序或指令，使得权利要求1-6中任一项所述的方法被执行。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该计算机程序指令被处理器执行时实现权利要求1-6中任一项所述方法的步骤。
CN202210899880.5A 2022-07-28 2022-07-28 一种跨区域的数据调度方法、装置、设备及存储介质 Pending CN115292280A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210899880.5A CN115292280A (zh) 2022-07-28 2022-07-28 一种跨区域的数据调度方法、装置、设备及存储介质
PCT/CN2022/141408 WO2024021470A1 (zh) 2022-07-28 2022-12-23 一种跨区域的数据调度方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210899880.5A CN115292280A (zh) 2022-07-28 2022-07-28 一种跨区域的数据调度方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115292280A true CN115292280A (zh) 2022-11-04

Family

ID=83823298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210899880.5A Pending CN115292280A (zh) 2022-07-28 2022-07-28 一种跨区域的数据调度方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN115292280A (zh)
WO (1) WO2024021470A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024021470A1 (zh) * 2022-07-28 2024-02-01 天翼云科技有限公司 一种跨区域的数据调度方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110233865A (zh) * 2018-03-06 2019-09-13 阿里巴巴集团控股有限公司 跨区域服务调用方法、装置和系统
JP7302856B2 (ja) * 2019-06-21 2023-07-04 Ｎｅｃソリューションイノベータ株式会社 情報運搬装置、バックアップ装置、情報運搬方法、バックアップ方法、プログラム、及び記録媒体
CN111064802B (zh) * 2019-12-26 2022-04-22 北京奇艺世纪科技有限公司 一种网络请求的处理方法、装置、电子设备及存储介质
CN113992680B (zh) * 2021-11-10 2024-02-02 中国工商银行股份有限公司 应用于分布式多活系统的调度方法、装置、设备及介质
CN115292280A (zh) * 2022-07-28 2022-11-04 天翼云科技有限公司 一种跨区域的数据调度方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024021470A1 (zh) * 2022-07-28 2024-02-01 天翼云科技有限公司 一种跨区域的数据调度方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2024021470A1 (zh) 2024-02-01

Similar Documents

Publication Publication Date Title
US10795905B2 (en) Data stream ingestion and persistence techniques
US9276959B2 (en) Client-configurable security options for data streams
US9720989B2 (en) Dynamic partitioning techniques for data streams
US10635644B2 (en) Partition-based data stream processing framework
US9794135B2 (en) Managed service for acquisition, storage and consumption of large-scale data streams
US9313133B2 (en) Anticipatory warm-up of cluster resources for jobs processed on multiple cluster nodes
CN106407207B (zh) 一种实时新增数据更新方法和装置
CN111258978B (zh) 一种数据存储的方法
Lai et al. Towards a framework for large-scale multimedia data storage and processing on Hadoop platform
CN111722806A (zh) 云盘分配方法、装置、电子设备及存储介质
CN111966289A (zh) 基于Kafka集群的分区优化方法和系统
CN115129621B (zh) 一种内存管理方法、设备、介质及内存管理模块
CN111352592B (zh) 磁盘读写控制方法、装置、设备及计算机可读存储介质
CN104021088A (zh) 日志存储方法和装置
JP2012168781A (ja) 分散型データストアシステム及び分散型データストアシステムにおけるレコード管理方法
CN115292280A (zh) 一种跨区域的数据调度方法、装置、设备及存储介质
CN108153759A (zh) 一种分布式数据库的数据传输方法、中间层服务器及系统
CN116932156A (zh) 一种任务处理方法、装置及系统
WO2019196595A1 (zh) 管理应用程序的方法与装置
CN111782588A (zh) 一种文件读取方法、装置、设备和介质
US11381468B1 (en) Identifying correlated resource behaviors for resource allocation
CN117149094B (zh) 确定数据区状态的方法、装置、磁盘阵列及存储系统
CN112272237B (zh) 一种云桌面的镜像管理方法以及镜像管理装置
CN117112312B (zh) 数据处理方法、数据容错方法和装置及存储介质
CN117880288A (zh) 数据均衡方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination