CN112015326A - 集群数据处理方法、装置、设备及存储介质 - Google Patents

集群数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112015326A
CN112015326A CN201910453757.9A CN201910453757A CN112015326A CN 112015326 A CN112015326 A CN 112015326A CN 201910453757 A CN201910453757 A CN 201910453757A CN 112015326 A CN112015326 A CN 112015326A
Authority
CN
China
Prior art keywords
data processing
cluster
data
configuration information
processing configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910453757.9A
Other languages
English (en)
Other versions
CN112015326B (zh
Inventor
石岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201910453757.9A priority Critical patent/CN112015326B/zh
Publication of CN112015326A publication Critical patent/CN112015326A/zh
Application granted granted Critical
Publication of CN112015326B publication Critical patent/CN112015326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0793—Remedial or corrective actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种集群数据处理方法、装置、设备及存储介质。所述方法包括：确定当前数据处理周期使用的数据处理配置信息；根据所述数据处理配置信息执行数据迁移或数据修复操作，并确定集群的资源使用状态信息；根据集群的资源使用状态信息，确定新的数据处理配置信息，以供在进入下一数据处理周期时加载使用所述新的数据处理配置信息。采用本发明实施例的上述方案，可以实时地监测集群资源的使用状态，进而依据集群资源使用状态在执行数据迁移或数据修复操作过程中动态调整所使用的数据迁移或数据修复策略，实现动态调整集群的数据迁移或数据修复与针对客户端业务数据之间的处理压力，从而可以充分利用集群的系统资源。

Description

集群数据处理方法、装置、设备及存储介质
技术领域
本发明实施例涉及云存储技术领域，尤其涉及一种集群数据处理方法、装置、设备及存储介质。
背景技术
随着互联网技术的不断发展，以及信息数据的爆炸式增长，传统的数据存储方式已经无法满足日益增长的数据存储请求，因此推出了云存储服务。
在分布式的云存储中，当集群中出现资源增加、删除、上线以及下线等情况时均会导致集群中的数据迁移和数据修复等操作。然而，当进行数据迁移和数据修复等操作时，由于数据迁移或数据修复需要占用数据处理资源，并且系统的整体处理能力是固定不变的，因此不仅会对数据迁移进度和数据修复进度产生影响，同时也会对客户端的业务数据性能产生影响。
发明内容
鉴于上述问题，本发明实施例中提供了一种集群数据处理方法、装置、设备及存储介质，以实现自动动态调整业务数据跟迁移数据及修复数据之间的平衡关系，以及加快集群数据的处理进程。
第一方面，本发明实施例中提供了一种集群数据处理方法，包括：
确定当前数据处理周期使用的数据处理配置信息；
根据所述数据处理配置信息执行数据迁移或数据修复操作，并确定集群的资源使用状态信息；
根据集群的资源使用状态信息，确定新的数据处理配置信息，以供在进入下一数据处理周期时触发使用所述新的数据处理配置信息。
第二方面，本发明实施例中还提供了一种集群数据处理装置，包括：
当前配置确定模块，用于确定当前数据处理周期使用的数据处理配置信息；
资源状态确定模块，用于根据所述数据处理配置信息执行数据迁移或数据修复操作，并确定集群的资源使用状态信息；
更新配置确定模块，用于根据集群的资源使用状态信息，确定新的数据处理配置信息，以供在进入下一数据处理周期时加载使用所述新的数据处理配置信息。
第三方面，本发明实施例中还提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任意所述的集群数据处理方法。
第四方面，本发明实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任意所述的集群数据处理方法。
本发明实施例中提供了一种集群数据处理方案，可以在使用当前数据处理周期的数据处理配置信息执行数据迁移或数据修复操作的过程中，确定集群的资源使用状态，并根据集群资源的实际使用状态选择合适的数据处理配置信息，进而可以保证在下一数据处理周期使用重新选取的数据处理配置信息来继续执行上述的数据迁移或数据修复操作。采用本发明实施例的上述方案，可以实时地自动监测集群资源的使用状态，进而依据集群资源使用状态在执行数据迁移或数据修复操作过程中动态调整所使用的数据迁移或数据修复策略，实现自动动态调整集群的数据迁移或数据修复压力，从而可以充分利用集群的系统资源。
上述发明内容仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例中提供的一种集群数据处理方法的流程图；
图2是本发明实施例中提供的一种分布式云存储的业务网络和集群网络的网络规划示意图；
图3是本发明实施例中提供的另一种集群数据处理方法的流程图；
图4是本发明实施例中提供的一种集群数据处理装置的结构示意图；
图5是本发明实施例中提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作(或步骤)可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
图1是本发明实施例中提供的一种集群数据处理方法的流程图。本发明实施例可适用于对集群数据进行数据迁移和数据修复的情况。该集群数据处理方法可以由集群数据处理装置执行，该集群数据处理装置可以采用软件和/或硬件的方式实现，并可集成在任何具有网络通信功能的设备上。如图1所示，本发明实施例中提供的集群数据处理方法具体包括以下步骤：
S110、确定当前数据处理周期使用的数据处理配置信息。
在本实施例中，鉴于各种因素，在分布式云存储系统中，针对集群中数据需要执行数据迁移和数据修复等操作。如果执行完成整个数据迁移或数据修复操作，可能需要持续较长的时间。可选地，可以将执行完成每一个数据迁移操作或者数据修复操作所需要时间周期按照预设时间间隔依次划分为多个数据处理周期，进而可以将执行数据迁移操作或数据修复的操作的数据处理过程，分配到多个数据处理周期来执行。这样的话，在执行每一个数据迁移操作或一个数据修复操作时，需要经历多个数据处理周期才能完成整个数据迁移或数据修复操作，而不仅限于一个数据处理周期。
在本实施例中，可选地，执行数据迁移操作或者数据修复操作所经历的数据处理周期的数量和每一个数据处理周期的具体时间间隔，可以根据执行每一个数据迁移操作或每一个数据修复操作所需要完成的数据量来设定。例如，如果在执行一个数据迁移操作或一个数据修复操作时所需要完成的数据量比较大，在每一个数据处理周期的具体时间间隔不变的情况下，可以设置较多数量的数据处理周期，保证可以通过尽可能多的数据处理周期来完成整个数据迁移或数据修复操作，从而使得在每一个数据处理周期中均可加载使用最合适的数据处理配置信息；如果在执行一个数据迁移操作或一个数据修复操作时所需要完成的数据量比较小，在每一个数据处理周期的具体时间间隔不变的情况下，仅设置较少数量的数据处理周期。
在本实施例中，当前数据处理周期可以为在执行数据迁移操作或数据修复操作时对应的各个数据处理周期中的任一数据处理周期。可选地，当前数据处理周期可以为在执行每一个数据迁移操作或每一个数据修复操作时开始的第一个数据处理周期，也可以是指在执行每一个数据迁移操作或每一个数据修复操作时除第一个数据处理周期以外的其他数据处理周期。
在本实施例中，可选地，数据处理配置信息是指在执行数据迁移操作或数据修复操作时所采用的数据迁移或数据修复操作策略，该数据迁移或数据修复操作策略指示了在执行数据迁移或数据修复操作时的具体修复参数或迁移参数。在本实施例中，在针对集群数据执行数据迁移或数据修复操作时，需要确定在当前数据处理周期加载的数据处理配置信息，这样的话，在当前数据处理周期就可以使用已经加载的数据处理配置信息来执行数据迁移操作或数据修复操作。在一个可选示例中，若当前数据处理周期为执行数据迁移操作或数据修复操作时开始的第一个数据处理周期，则确定当前数据处理周期使用的数据处理配置信息，具体包括：将一开始执行数据迁移操作或数据修复操作时默认设置的数据处理配置信息，直接作为在当前数据处理周期加载使用的数据处理配置信息。在另一可选示例中，若当前数据处理周期为执行数据迁移操作或数据修复操作时除第一个数据处理周期以外的其他数据处理周期，则确定当前数据处理周期使用的数据处理配置信息，包括：获取上一数据处理周期预先确定的数据处理配置信息，作为当前数据处理周期使用的数据处理配置信息。
可以理解的是，由于执行一个数据迁移或数据修复需要经历多个数据处理周期，因此“当前数据处理周期”、“上一数据处理周期”以及“下一数据处理周期”，仅仅是用于区分在执行数据迁移操作或数据修复操作过程中所经历的不同数据处理周期，并不限定到某一个数据处理周期。
S120、根据数据处理配置信息执行数据迁移或数据修复操作，并确定集群的资源使用状态信息。
在本实施例中，当确定在当前数据处理周期将要使用的数据处理配置信息后，可以在当前数据处理周期使用已经加载的数据处理配置信息来执行对应的数据迁移或数据修复。一般的，在执行数据迁移或数据修复操作时需要占用一部分集群处理资源。考虑到在执行数据迁移或数据修复操作的过程中，还可能在执行其他数据处理操作，比如针对业务数据的处理操作，如果在执行数据迁移或数据修复操作时占用过多的集群处理资源，必然会影响其他数据处理操作的进程。为此，需要在当前数据处理周期执行数据迁移或数据修复操作的过程中，实时监测集群的资源使用状态，通过监测集群的资源使用状态确定数据迁移或数据修复操作是否占用过多的集群处理资源，以便根据集群的资源使用状态及时的确定在下一数据处理周期执行数据迁移或数据修复操作时将要使用的数据处理配置信息。
在本实施例中，图2是本发明实施例中提供的一种分布式云存储的业务网络和集群网络的网络规划示意图。参见图2，在分布式云存储的实际应用场景中可以将客户端业务网络和集群内部cluster网络进行分离规划。在分布式的云存储中，当执行云存储中集群数据的数据迁移或数据修复操作时需要占用的集群处理资源包括CPU、内存以及网络带宽及磁盘带宽。鉴于上述分析，可以将上述分析中涉及到的集群内部网口带宽、客户端业务网口带宽以及集群的读写压力的具体信息作为集群的资源使用状态信息。可选地，集群的资源使用状态信息具体包括：集群的磁盘繁忙程度、集群内部网口带宽利用率、客户端业务网口带宽利用率。
S130、根据集群的资源使用状态信息，确定新的数据处理配置信息，以供在进入下一数据处理周期时加载使用所述新的数据处理配置信息。
在本实施例中，在当前数据处理周期执行数据迁移或数据修复操作的过程中，可以实时监测集群的资源使用状态信息。当检测到当前数据处理周期临近结束时，比如当检测到在进入当前数据处理周期后执行数据迁移或数据修复操作所经历的持续时间与当前数据处理周期所指示的时间之间的差值绝对值小于预设阈值时，确定与监测到的集群的资源使用状态信息相匹配的新的数据处理配置信息。进而，可以将确定的新的数据处理配置信息在下一数据处理周期进行重新加载，自动替换当前数据处理周期所使用的数据处理配置信息，从而使得在下一数据周期可以自动使用重新加载新的数据处理配置信息，实现执行数据迁移或数据修复操作时在每一个数据处理周期所使用的数据处理策略并不是固定不变的策略，而是匹配集群处理资源使用状态的数据处理策略。
本发明实施例中提供了一种集群数据处理方案，可以在使用当前数据处理周期的数据处理配置信息执行数据迁移或数据修复操作的过程中，同时确定集群的资源使用状态，并根据集群资源的实际使用状态选择合适的数据处理配置信息，进而可以保证在下一数据处理周期使用重新选取的数据处理配置信息来继续执行数据迁移或数据修复操作。采用本发明实施例的上述方案，可以实时地监测集群资源的使用状态，进而依据集群资源使用状态在执行数据迁移或数据修复操作过程中动态调整所使用的数据迁移或数据修复策略，避免在执行数数据迁移或数据修复操作的整个过程中由于使用固定的数据迁移或数据修复策略，导致数据迁移或数据修复操作由于采用了不合理的固定的数据迁移或数据修复策略，从而占用过多的集群资源，进而影响其他数据处理操作的进程，同时还可以充分提高集群系统资源的利用率。
图3是本发明实施例中提供的另一种集群数据处理方法的流程图。本发明实施例在上述实施例的基础上进行优化，本发明实施例可以与上述一个或者多个实施例中各个可选方案结合。如图3所示，本发明实施例中提供的集群数据处理方法具体包括以下步骤：
S310、确定当前数据处理周期使用的数据处理配置信息。
S320、根据所述数据处理配置信息执行数据迁移或数据修复操作，并确定集群的资源使用状态信息。
在本实施例中，集群的资源使用状态信息具体可以包括集群的磁盘繁忙程度、集群内部网口带宽利用率以及客户端业务网口带宽利用率等。下面分别详细阐述集群的资源使用状态信息的具体描述信息。
(1)对于集群的磁盘繁忙程度而言，集群的磁盘繁忙程度可以通过iostat的util来表示或者采用dstat来计算得到的磁盘带宽利用率来表示。其中，iostat中的util代表一秒内I/O操作所占的比例，util越接近100％，表明I/O请求越多，I/O系统的负荷越大，集群的磁盘越繁忙。当util接近100％，表明I/O请求太多，I/O系统已经满负荷，集群的磁盘繁忙程度已经达到最大。
(2)对于集群内部网口带宽利用率而言，当正在执行数据迁移或数据修复操作时，在集群内部网口不仅存在有客户端的业务数据，而且在还存在有迁移数据和修复数据。假设在单独针对客户端业务数据进行数据处理操作时，集群内部网口的带宽利用率为40％，而在启动执行数据迁移操作或数据修复操作之后，集群内部网口的带宽利用率上升到70％。上述集群内部网口的带宽利用率的突然增大，说明执行数据迁移操作或数据修复操作造成集群资源的处理压力过大，已经严重影响了针对客户端业务数据进行数据处理操作，此时需要调整数据迁移操作或数据修复操作的具体参数，避免由于执行数据迁移操作或数据修复操作影响客户端业务数据的数据处理操作。
(3)对于客户端业务网口带宽利用率而言，通常实际应用中客户端业务有繁忙和空闲时刻，当客户端业务处于空闲时刻时，客户端业务网口带宽利用率变小；当客户端业务处于繁忙时刻时，客户端业务网口带宽利用率变大。通过监测客户端业务网络的网口带宽利用率可以很好的感知客户端业务变化量，以便为数据迁移和数据修复操作提供合适的修复时机。
在本实施例的一种可选方式中，确定集群的资源使用状态信息，具体包括以下步骤S3201～S3202(为了主体流程步骤表达清晰，这里仅仅对S3201～S3202做出文字说明，图3中暂未示出)：
S3201、在当前数据处理周期内，获取至少一个集群的磁盘繁忙程度、至少一个集群内部网口带宽利用率以及至少一个客户端业务网口带宽利用率。
S3202计算集群的磁盘繁忙程度、集群内部网口带宽利用率以及客户端业务网口带宽利用率的平均值，并作为集群的资源使用状态信息。
在本实施方式中，在当前数据处理周期内，可以实时监测集群的磁盘繁忙程度、集群内部网口带宽利用率以及客户端业务网口带宽利用率。可选地，可以依据分布式云存储的配置信息查询对应集群磁盘的物理接口，并依据查询到的接口查看集群磁盘的查看磁盘的util值，从而获知集群的磁盘繁忙程度。为了保证确定得到的集群资源使用状态信息的准确性，在分别获取集群的磁盘繁忙程度、集群内部网口带宽利用率以及客户端业务网口带宽利用率，可以获取多个数据值。比如在当前的数据处理周期T内每隔更小粒度的t时间间隔收集一次收集集群的磁盘繁忙程度、集群内部网口带宽利用率以及客户端业务网口带宽利用率，从而可以在当前数据处理周期T内收集到多个集群的磁盘繁忙程度数据值、多个集群内部网口带宽利用率数据值以及多个客户端业务网口带宽利用率数据值。
在本实施方式中，可以计算多个集群的磁盘繁忙程度、多个集群内部网口带宽利用率以及多个客户端业务网口带宽利用率的平均值，作为在当前数据处理周期内的最终集群资源使用状态信息。采用上述均值作为集群资源使用状态信息好处，各个数据均值可以反应集群资源的整体使用状态，避免由于采集到的单个集群的磁盘繁忙程度、单个集群内部网口带宽利用率以及单个客户端业务网口带宽利用率是一个突发异常的数据值，造成后续错误估计集群资源的使用状态信息，进而导致后续确定无效的数据处理配置信息。
S330、将集群的资源使用状态信息中包含的各个状态信息，分别与预配置的资源使用状态范围和预配置的数据处理配置信息之间的映射关系进行匹配。
S340、依据匹配结果，确定新的数据处理配置信息，以供在进入下一数据处理周期时加载使用新的数据处理配置信息；数据处理配置信息包括执行数据迁移操作时的数据迁移参数和执行数据修复操作时的数据修复参数。
在本实施例中，可以预先设置资源使用状态与数据处理配置信息之间的映射关系。在确定集群的资源使用状态信息后，可以确定集群资源状态信息位于哪个资源状态范围之内，并将确定的资源状态范围所匹配对应的数据处理配置信息作为新的数据处理配置信息。在进入下一数据处理周期时，可以加载预先在当前数据处理周期已经确定的新的数据处理配置信息，并使用加载的新的数据处理配置信息动态调整在该下一数据处理周期中客户端业务读写数据分别与修复数据和迁移数据之间的数据处理比例关系，进而可以依据调整后的数据比例关系继续执行数据迁移或数据修复操作，实现在依据不同数据处理周期的集群资源使用状态在不同数据处理周期自动调整数据迁移或数据修复策略。
示例性的，假设在执行数据迁移或数据修复操作时，预先设置了三个优先级等级的数据处理配置信息；其中，高优先级的数据处理配置信息所需要满足的资源使用状态范围为：集群内部网口带宽利用率小于等于A％，客户端业务网口带宽利用率小于等于B％，以及集群的磁盘繁忙程度小于等于C％；中优先级的数据处理配置信息所需要满足的资源使用状态范围为：集群内部网口带宽利用率为大于A％且小于等于D％，客户端业务网口带宽利用率大于B％且小于等于E％，以及集群的磁盘繁忙程度大于C％且小于等于F％；低优先级的数据处理配置信息所需要满足的资源使用状态范围为：集群内部网口带宽利用率为大于D％，客户端业务网口带宽利用率大于E％，以及集群的磁盘繁忙程度大于F％。
在设定上述映射关系的基础上，若确定集群的资源使用状态信息中包含的集群内部网口带宽利用率小于等于A％时，则认为集群内部网口带宽利用率匹配高优先级数据处理配置信息；若确定集群的资源使用状态信息中包含的客户端业务网口带宽利用率大于B％且小于等于E％，则认为客户端业务网口带宽利用率匹配中优先级数据处理配置信息。从而可以中匹配的各个数据处理配置信息中选择合适的数据配置信息作为新的数据处理配置信息。
在本实施例的一种可选方式中，依据匹配结果，确定新的数据处理配置信息，具体包括以下步骤S3401～S3402(为了主体流程步骤表达清晰，这里仅仅对S3401～S3402做出文字说明，图3中暂未示出)：
S3401、依据各个状态信息所匹配的数据处理配置信息的优先级，对各个数据配置信息进行大小排序。
S3402、依据排序结果，从各个数据处理配置信息中选取优先级小的数据处理配置信息，作为新的数据处理配置信息。
在本实施方式中，集群的资源使用状态信息中包含的各个状态信息具体为集群的磁盘繁忙程度、集群内部网口带宽利用率以及客户端业务网口带宽利用率等。考虑到依据集群资源使用状态信息中各个状态信息分别匹配得到的数据处理配置信息的优先级有所不同，为了保证在执行数据迁移或数据修复操作时尽可能的不影响其他数据处理操作，即更好地保证针对客户端业务数据的数据处理操作。为此，需要从多个不同等级的数据处理配置信息中选取优先级较低的数据处理配置信息作为新的数据处理配置信息。其中，数据处理配置信息的优先级越高，其所能执行数据迁移操作或数据修复操作的数据比例占比越大，即需要依据数据处理配置信息尽可能的加快数据迁移操作或数据修复操作的效率；数据处理配置信息的优先级越低，其所能执行数据迁移操作或数据修复操作的数据比例占比越小，即需要依据数据处理配置信息尽可能的减小数据迁移操作或数据修复操作的效率，避免过多占用集群处理资源，以保证客户端业务的正常进行。
在本实施方式中，数据处理配置信息中包含的数据修复或数据迁移参数具体包括五个方面的描述参数。例如，第一个描述参数为：每个磁盘一次能选中几个数据对象集合进行数据迁移或数据修复，且保证只有数据对象集合里的数据对象都修复完，才能选择新的数据对象集合；第二个描述参数为：每个磁盘最多能迁移或修复的数据对象个数；第三个描述参数为：每个数据对象集合一次能迁移或修复几个数据对象，用于限制单个数据对象集合里的数据对象迁移数量或修复数量，避免数据对象集合对应的某几个磁盘成为瓶颈；第四个描述参数为：每个磁盘下发迁移或修复线程的休眠时间，两次数据迁移或数据修复操作之间的时间间隔；第五个描述参数为：设置数据迁移操作或数据修复操作的优先级。
本发明实施例中提供了一种集群数据处理方案，采用本发明实施例的上述方案，可以实时地监测集群资源中磁盘繁忙程度、集群内部网口带宽利用率以及客户端业务网口带宽利用率等信息，进而依据集群资源使用状态在执行数据迁移或数据修复操作过程中动态调整所使用的数据迁移或数据修复策略，避免在执行数据迁移或数据修复操作的整个过程中由于使用固定的数据迁移或数据修复策略，导致数据迁移或数据修复处理操作采用不合理的固定的数据迁移或数据修复策略，从而占用过多的集群资源，进而影响其他数据处理操作的进程，同时还可以充分提高集群系统资源的利用率，在业务空闲时能加快数据修复和数据迁移进程，更好的对数据起到保护作用。
图4是本发明实施例中提供的一种集群数据处理装置的流程图。本发明实施例可适用于对集群数据进行数据迁移和数据修复的情况。该集群数据处理装置可以采用软件和/或硬件的方式实现，并可集成在任一具有网络通信功能的设备上。如图4所示，本发明实施例中提供的集群数据处理装置具体包括：当前配置确定模块410、资源状态确定模块420和更新配置确定模块430。其中：
当前配置确定模块410，用于确定当前数据处理周期使用的数据处理配置信息；
资源状态确定模块420，用于根据所述数据处理配置信息执行数据迁移或数据修复操作，并确定集群的资源使用状态信息；
更新配置确定模块430，用于根据集群的资源使用状态信息，确定新的数据处理配置信息，以供在进入下一数据处理周期时加载使用所述新的数据处理配置信息。
在上述实施例可选方案的基础上，可选的，当前配置确定模块410包括：
当前配置信息获取单元，用于获取上一数据处理周期预先确定的数据处理配置信息，作为当前数据处理周期使用的数据处理配置信息。
在上述实施例可选方案的基础上，可选的，所述集群的资源使用状态信息包括：集群的磁盘繁忙程度、集群内部网口带宽利用率、客户端业务网口带宽利用率。
在上述实施例可选方案的基础上，可选的，更新配置确定模块430包括：
使用状态信息匹配单元，用于将所述集群的资源使用状态信息中包含的各个状态信息，分别与预配置的资源使用状态范围和预配置的数据处理配置信息之间的映射关系进行匹配；
更新配置信息确定单元，用于依据匹配结果，确定新的数据处理配置信息；所述数据处理配置信息包括执行数据迁移操作时的数据迁移参数和执行数据修复操作时的数据修复参数。
在上述实施例可选方案的基础上，可选的，更新配置信息确定单元用于：
依据各个状态信息所匹配的数据处理配置信息的优先级，对各个数据配置信息进行大小排序；
依据排序结果，从各个数据处理配置信息中选取优先级小的数据处理配置信息，作为新的数据处理配置信息。
在上述实施例可选方案的基础上，可选的，资源状态确定模块420包括：
状态数据收集单元，用于在所述当前数据处理周期内，获取至少一个所述集群的磁盘繁忙程度、至少一个所述集群内部网口带宽利用率以及至少一个所述客户端业务网口带宽利用率；
状态数据处理单元，用于计算所述集群的磁盘繁忙程度、所述集群内部网口带宽利用率以及所述客户端业务网口带宽利用率的平均值，并作为集群的资源使用状态信息。
本发明实施例中所提供的集群数据处理装置可执行上述本发明任意实施例中所提供的集群数据处理方法，具备执行该集群数据处理方法相应的功能和有益效果，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例中所提供的集群数据处理方法。
图5是本发明实施例中提供的一种电子设备的结构示意图。如图5所示结构，本发明实施例中提供的电子设备包括：一个或多个处理器510和存储装置520；该电子设备中的处理器510可以是一个或多个，图5中以一个处理器510为例；存储装置520用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器510执行，使得所述一个或多个处理器510实现如本发明实施例中任一项所述的集群数据处理方法。
该电子设备还可以包括：输入装置530和输出装置540。
该电子设备中的处理器510、存储装置520、输入装置530和输出装置540可以通过总线或其他方式连接，图5中以通过总线连接为例。
该电子设备中的存储装置520作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例中所提供的集群数据处理方法对应的程序指令/模块(例如，附图4所示的集群数据处理装置中的模块，包括：当前配置确定模块410、资源状态确定模块420和更新配置确定模块430)。处理器510通过运行存储在存储装置520中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中集群数据处理方法。
存储装置520可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储装置520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置520可进一步包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。
并且，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器510执行时，程序进行如下操作：
确定当前数据处理周期使用的数据处理配置信息；
根据所述数据处理配置信息执行数据迁移或数据修复操作，并确定集群的资源使用状态信息；
根据集群的资源使用状态信息，确定新的数据处理配置信息，以供在进入下一数据处理周期时加载使用所述新的数据处理配置信息。
当然，本领域技术人员可以理解，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器510执行时，程序还可以进行本发明任意实施例中所提供的集群处理方法中的相关操作。
本发明实施例中提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行集群数据处理方法，该方法包括：
确定当前数据处理周期使用的数据处理配置信息；
根据所述数据处理配置信息执行数据迁移或数据修复操作，并确定集群的资源使用状态信息；
根据集群的资源使用状态信息，确定新的数据处理配置信息，以供在进入下一数据处理周期时加载使用所述新的数据处理配置信息。
可选的，该程序被处理器执行时还可以用于执行本发明任意实施例中所提供的集群数据处理方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(RadioFrequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种集群数据处理方法，其特征在于，包括：
确定当前数据处理周期使用的数据处理配置信息；
根据所述数据处理配置信息执行数据迁移或数据修复操作，并确定集群的资源使用状态信息；
根据集群的资源使用状态信息，确定新的数据处理配置信息，以供在进入下一数据处理周期时加载使用所述新的数据处理配置信息。
2.根据权利要求1所述的方法，其特征在于，确定当前数据处理周期使用的数据处理配置信息，包括：
获取上一数据处理周期预先确定的数据处理配置信息，作为当前数据处理周期使用的数据处理配置信息。
3.根据权利要求1-2任一项所述的方法，其特征在于，所述集群的资源使用状态信息包括：集群的磁盘繁忙程度、集群内部网口带宽利用率、客户端业务网口带宽利用率。
4.根据权利要求3所述的方法，其特征在于，根据集群的资源使用状态信息，确定新的数据处理配置信息，包括：
将所述集群的资源使用状态信息中包含的各个状态信息，分别与预配置的资源使用状态范围和预配置的数据处理配置信息之间的映射关系进行匹配；
依据匹配结果，确定新的数据处理配置信息；所述数据处理配置信息包括执行数据迁移操作时的数据迁移参数和执行数据修复操作时的数据修复参数。
5.根据权利要求4所述的方法，其特征在于，依据匹配结果，确定新的数据处理配置信息，包括：
依据各个状态信息所匹配的数据处理配置信息的优先级，对各个数据配置信息进行大小排序；
依据排序结果，从各个数据处理配置信息中选取优先级小的数据处理配置信息，作为新的数据处理配置信息。
6.根据权利要求3所述的方法，其特征在于，确定集群的资源使用状态信息，包括：
在所述当前数据处理周期内，获取至少一个所述集群的磁盘繁忙程度、至少一个所述集群内部网口带宽利用率以及至少一个所述客户端业务网口带宽利用率；
计算所述集群的磁盘繁忙程度、所述集群内部网口带宽利用率以及所述客户端业务网口带宽利用率的平均值，并作为集群的资源使用状态信息。
7.一种集群数据处理装置，其特征在于，包括：
当前配置确定模块，用于确定当前数据处理周期使用的数据处理配置信息；
资源状态确定模块，用于根据所述数据处理配置信息执行数据迁移或数据修复操作，并确定集群的资源使用状态信息；
更新配置确定模块，用于根据集群的资源使用状态信息，确定新的数据处理配置信息，以供在进入下一数据处理周期时加载使用所述新的数据处理配置信息。
8.根据权利要求7所述的装置，其特征在于，所述集群的资源使用状态信息包括：集群的磁盘繁忙程度、集群内部网口带宽利用率、客户端业务网口带宽利用率。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1-6中任一所述的集群数据处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一所述的集群数据处理方法。
CN201910453757.9A 2019-05-28 2019-05-28 集群数据处理方法、装置、设备及存储介质 Active CN112015326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910453757.9A CN112015326B (zh) 2019-05-28 2019-05-28 集群数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910453757.9A CN112015326B (zh) 2019-05-28 2019-05-28 集群数据处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112015326A true CN112015326A (zh) 2020-12-01
CN112015326B CN112015326B (zh) 2023-02-17

Family

ID=73500800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910453757.9A Active CN112015326B (zh) 2019-05-28 2019-05-28 集群数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112015326B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150415A (zh) * 2022-06-30 2022-10-04 联想(北京)有限公司 一种控制方法、装置、电子设备及存储介质
WO2023103519A1 (zh) * 2021-12-10 2023-06-15 苏州浪潮智能科技有限公司 集群数据迁移方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102244685A (zh) * 2011-08-11 2011-11-16 中国科学院软件研究所 一种支持负载均衡的分布式缓存动态伸缩方法及系统
US20160170882A1 (en) * 2014-12-16 2016-06-16 Samsung Electronics Co., Ltd. Adaptable data caching mechanism for in-memory cluster computing
CN107943559A (zh) * 2017-11-21 2018-04-20 广东奥飞数据科技股份有限公司 一种大数据资源调度系统及其方法
WO2018177042A1 (zh) * 2017-03-27 2018-10-04 中兴通讯股份有限公司 一种实现资源调度的方法及装置
CN109428913A (zh) * 2017-08-25 2019-03-05 浙江宇视科技有限公司 一种存储扩容方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102244685A (zh) * 2011-08-11 2011-11-16 中国科学院软件研究所 一种支持负载均衡的分布式缓存动态伸缩方法及系统
US20160170882A1 (en) * 2014-12-16 2016-06-16 Samsung Electronics Co., Ltd. Adaptable data caching mechanism for in-memory cluster computing
WO2018177042A1 (zh) * 2017-03-27 2018-10-04 中兴通讯股份有限公司 一种实现资源调度的方法及装置
CN109428913A (zh) * 2017-08-25 2019-03-05 浙江宇视科技有限公司 一种存储扩容方法及装置
CN107943559A (zh) * 2017-11-21 2018-04-20 广东奥飞数据科技股份有限公司 一种大数据资源调度系统及其方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023103519A1 (zh) * 2021-12-10 2023-06-15 苏州浪潮智能科技有限公司 集群数据迁移方法、装置、计算机设备及存储介质
CN115150415A (zh) * 2022-06-30 2022-10-04 联想(北京)有限公司 一种控制方法、装置、电子设备及存储介质
CN115150415B (zh) * 2022-06-30 2024-04-19 联想(北京)有限公司 一种控制方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112015326B (zh) 2023-02-17

Similar Documents

Publication Publication Date Title
EP3129880B1 (en) Method and device for augmenting and releasing capacity of computing resources in real-time stream computing system
CN109684228B (zh) 一种性能测试方法、装置、系统和存储介质
US11489735B2 (en) Dynamic network allocation apparatus, dynamic network allocation method and non-transitory computer-readable medium
US8572621B2 (en) Selection of server for relocation of application program based on largest number of algorithms with identical output using selected server resource criteria
CN107145388B (zh) 一种多任务环境下任务调度方法及系统
CN110196770B (zh) 云系统内存数据处理方法、装置、设备及存储介质
CN111142788B (zh) 一种数据迁移方法、装置和计算机可读存储介质
KR20200122364A (ko) 자원 스케줄링 방법 및 단말 장치
CN110362402B (zh) 一种负载均衡方法、装置、设备及可读存储介质
CN109992366B (zh) 任务调度方法及调度装置
CN111522636A (zh) 应用容器的调整方法、调整系统、计算机可读介质及终端设备
CN112015326B (zh) 集群数据处理方法、装置、设备及存储介质
US10055134B2 (en) Data compression method and storage system
CN109582649A (zh) 一种元数据存储方法、装置、设备及可读存储介质
US9436406B2 (en) Migration decision window selection based on hotspot characteristics
CN111949494B (zh) 一种任务调控方法、装置及相关设备
CN113961353A (zh) 一种ai任务的任务处理方法和分布式系统
CN111506425B (zh) 服务质量数据处理方法和装置
US20200142736A1 (en) Computer processing system with resource optimization and associated methods
US20120042322A1 (en) Hybrid Program Balancing
CN110727518B (zh) 一种数据处理方法及相关设备
CN113946274B (zh) 数据处理方法、装置、设备及介质
CN113419863B (zh) 一种基于节点能力的数据分配处理方法及装置
CN108228323B (zh) 基于数据本地性的Hadoop任务调度方法及装置
CN110928649A (zh) 资源调度的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant