CN107026708A - 数据处理的方法和装置 - Google Patents

数据处理的方法和装置 Download PDF

Info

Publication number
CN107026708A
CN107026708A CN201610073554.3A CN201610073554A CN107026708A CN 107026708 A CN107026708 A CN 107026708A CN 201610073554 A CN201610073554 A CN 201610073554A CN 107026708 A CN107026708 A CN 107026708A
Authority
CN
China
Prior art keywords
transmission speed
target
rate
threshold value
target data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610073554.3A
Other languages
English (en)
Other versions
CN107026708B (zh
Inventor
王志强
王豪迈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xingchen Tianhe Technology Co ltd
Original Assignee
Xsky Beijing Data Technology Corp ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xsky Beijing Data Technology Corp ltd filed Critical Xsky Beijing Data Technology Corp ltd
Priority to CN201610073554.3A priority Critical patent/CN107026708B/zh
Publication of CN107026708A publication Critical patent/CN107026708A/zh
Application granted granted Critical
Publication of CN107026708B publication Critical patent/CN107026708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0002—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Communication Control (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种数据处理的方法和装置。其中，该方法包括：检测目标传输速率，其中，目标传输速率为客户端和服务器之间的数据传输速率；根据检测到的目标传输速率调整目标数据恢复速率的大小，其中，目标数据恢复速率为恢复服务器中已损坏数据的速率；按照调整之后的目标数据速率恢复已损坏数据。本发明解决了现有技术中由于目标数据恢复速率为恒定的速率导致的数据恢复较慢的技术问题。

Description

数据处理的方法和装置
技术领域
本发明涉及数据处理领域，具体而言，涉及一种数据处理的方法和装置。
背景技术
随着server SAN技术的兴起，存储系统正朝着由专用硬件到通用硬件，集中到分布式的方向发展。相比于传统企业级存储，分布式存储提供了更好的可扩展性和更好的性能，同时有利于企业降低成本，减少对于大型存储厂商专用硬件的依赖。
分布式存储系统在没有集中式节点的情况下，通过特定的算法，将数据平均分布到多台服务器的多块磁盘中，并行的发挥多台服务器和多块磁盘的能力。从数据的冗余角度出发，一份数据在整个系统中一般会保存多份拷贝，或者采用纠删编码的方式，将一份原始数据及校验码分布到多台服务器多块磁盘上。当其中的某一份内容发生故障时，系统会检测到该情形，并在后台自动的恢复该份数据。在某些情况下，特别是在性能要求比较苛刻的环境中，这种后台自动的数据恢复会降低客户端IO的性能，对业务产生影响。
现有的一些分布式存储系统的实现中考虑到了这个问题，给出了一些解决方法。一种方法是直截了当的控制数据服务器或磁盘上数据恢复的带宽和IOPS，当已经在进行中的数据恢复任务的带宽或IOPS超过了一个设定的阀值后，后续的任务就需要等待下次调度时才能执行。另一种方法采取了类似漏桶算法的方法，将数据服务器或磁盘上所有的数据恢复任务都排入到一个队列中，并以一个恒定的速率从队列中取出任务来进行数据恢复。相比起第一种方法，第二种方法能够以一个比较稳定的速率来完成数据恢复的工作，避免了数据恢复所占用带宽的大幅波动。但这两种方法都存在的一个问题是无法根据系统的负载动态的调整数据恢复的速度，以使得对客户端IO产生的影响最小，并尽快的完成整个恢复过程，减少某些数据缺失所带来的数据丢失风险。
一般的业务系统都有周期性，某些时点对性能的要求高，某些时点要求低。相对应的存储系统的负载也随着业务的变化而变化，有时候负载比较大，而另一些时候则比较小，甚至可能处于闲置状态。而在一些大型的分布式存储系统集群中，当某些数据节点或者磁盘发生故障时，其恢复也是需要很长的时间。举一个简单的例子，如果一块2T的磁盘发生故障需要替换，假设以20MB/s的速率在其上恢复数据，需要29个小时才能完成整块磁盘的恢复工作。而如果是多块磁盘同时发生故障，这个恢复过程可能需要更长。因此，现有技术中无法根据客户端IO速率调整数据恢复速率的大小，具有一定的局限性。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据处理的方法和装置，以至少解决现有技术中由于目标数据恢复速率为恒定的速率导致的数据恢复较慢的技术问题。
根据本发明实施例的一个方面，提供了一种数据处理的方法，包括：检测目标传输速率，其中，所述目标传输速率为客户端和服务器之间的数据传输速率；根据检测到的所述目标传输速率调整目标数据恢复速率的大小，其中，所述目标数据恢复速率为恢复所述服务器中已损坏数据的速率；按照调整之后的目标数据速率恢复所述已损坏数据。
进一步地，根据检测到的所述目标传输速率调整目标数据恢复速率的大小包括：判断所述目标传输速率是否小于第一预设阈值；如果判断出所述目标传输速率小于所述第一预设阈值，则控制当前目标数据恢复速率在第一边界值到第二边界值的范围内逐渐升高，其中，所述第一边界值小于所述第二边界值；如果判断出所述目标传输速率大于或者等于所述第一预设阈值，则控制当前目标数据恢复速率在当前目标数据恢复速率和所述第一边界值的范围内降低。
进一步地，如果判断出所述目标传输速率大于或者等于所述第一预设阈值，则控制当前目标数据恢复速率在当前目标数据恢复速率和所述第一边界值的范围内降低包括：判断所述目标传输速率和所述第一预设阈值的差值是否大于或者等于第二预设阈值；如果判断出所述差值大于或者等于所述第二预设阈值，则控制当前目标数据恢复速率直接降低至所述第一边界值；如果判断出所述差值小于所述第二预设阈值，则控制当前目标数据恢复速率逐渐降低至所述第一边界值。
进一步地，在检测目标传输速率之后，且在根据检测到的所述目标传输速率调整目标数据恢复速率的大小之前，所述方法还包括：检测所述目标传输速率的异常变化事件，其中，所述异常变化事件为在第一预设时间内所述目标传输速率增大并超过第一速率后恢复到所述目标传输速率，或者在所述第一预设时间内所述目标传输速率降低并低于第二速率后恢复到所述目标传输速率，其中，所述第一速率大于所述第二速率；统计第二预设时间内所述异常变化事件发生的次数；根据所述次数判断是否调整所述目标数据恢复速率的大小。
进一步地，根据所述次数判断是否调整所述目标数据恢复速率的大小包括：判断所述次数是否大于或者等于第三预设阈值；如果判断出所述次数小于所述第三预设阈值，则保持当前目标数据恢复速率不变；如果判断出所述次数大于或者等于所述第三预设阈值，则确定根据检测到的所述目标传输速率在预设取值范围内调整所述目标数据恢复速率的大小。
根据本发明实施例的另一方面，还提供了一种数据处理的装置，包括：第一检测单元，用于检测目标传输速率，其中，所述目标传输速率为客户端和服务器之间的数据传输速率；调整单元，用于根据检测到的所述目标传输速率调整目标数据恢复速率的大小，其中，所述目标数据恢复速率为恢复所述服务器中已损坏数据的速率；恢复单元，用于按照调整之后的目标数据速率恢复所述已损坏数据。
进一步地，所述调整单元包括：第一判断模块，用于判断所述目标传输速率是否小于第一预设阈值；第一控制模块，用于在判断出所述目标传输速率小于所述第一预设阈值的情况下，控制当前目标数据恢复速率在第一边界值到第二边界值的范围内逐渐升高，其中，所述第一边界值小于所述第二边界值；第二控制模块，用于在判断出所述目标传输速率大于或者等于所述第一预设阈值的情况下，控制当前目标数据恢复速率在当前目标数据恢复速率和所述第一边界值的范围内降低。
进一步地，所述第二控制模块包括：判断子模块，用于判断所述目标传输速率和所述第一预设阈值的差值是否大于或者等于第二预设阈值；第一控制子模块，用于在判断出所述差值大于或者等于所述第二预设阈值的情况下，控制当前目标数据恢复速率直接降低至所述第一边界值；第二控制子模块，用于在判断出所述差值小于所述第二预设阈值的情况下，控制当前目标数据恢复速率逐渐降低至所述第一边界值。
进一步地，所述装置还包括：第二检测单元，用于在检测目标传输速率之后，且在根据检测到的所述目标传输速率调整目标数据恢复速率的大小之前，检测所述目标传输速率的异常变化事件，其中，所述异常变化事件为在第一预设时间内所述目标传输速率增大并超过第一速率后恢复到所述目标传输速率，或者在所述第一预设时间内所述目标传输速率降低并低于第二速率后恢复到所述目标传输速率，其中，所述第一速率大于所述第二速率；统计单元，用于统计第二预设时间内所述异常变化事件发生的次数；判断单元，用于根据所述次数判断是否调整所述目标数据恢复速率的大小。
进一步地，所述判断单元包括：第二判断模块，用于判断所述次数是否大于或者等于第三预设阈值；保持模块，用于在判断出所述次数小于所述第三预设阈值的情况下，保持当前数目标据恢复速率不变；确定模块，用于在判断出所述次数大于或者等于所述第三预设阈值的情况下，确定根据检测到的所述目标传输速率在预设取值范围内调整所述目标数据恢复速率的大小。
在本发明实施例中，采用检测目标传输速率，其中，所述目标传输速率为客户端和服务器之间的数据传输速率；根据检测到的所述目标传输速率调整目标数据恢复速率的大小，其中，所述目标数据恢复速率为恢复所述服务器中已损坏数据的速率；按照调整之后的目标数据速率恢复所述已损坏数据的方式，通过检测到的客户端和服务器之间的数据间传输速率可适当调整目标数据恢复速率的大小，进而按照调整之后的目标数据恢复速率恢复已损坏的数据，相对于现有技术中无法根据客户端和服务器之间的数据传输速率调整目标数据恢复速率的大小，本发明达到了通过目标传输速率调整目标数据恢复速率的目的，通过调整目标数据恢复速率从而实现了缩短已损坏数据恢复时间的技术效果，进而解决了现有技术中由于目标数据恢复速率为恒定的速率导致的数据恢复较慢的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种数据处理的方法的流程图；
图2是根据本发明实施例的一种可选地数据处理的方法的流程图；以及
图3是根据本发明实施例的一种数据处理的装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
专业术语解释：
server SAN：是由多个独立服务器直连存储组成的一个存储资源池。
根据本发明实施例，提供了一种数据处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种数据处理的方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，检测目标传输速率，其中，目标传输速率为客户端和服务器之间的数据传输速率。
在本发明实施例中，目标传输速率为客户端传输数据到服务器的速率，或者服务器传输数据到客户端之间的速率。当用户的访问量较大时，客户端和服务器之间的数据传输速率增大，当用户的访问量较小时，客户端和服务器之间的数据传输速率减小。
步骤S104，根据检测到的目标传输速率调整目标数据恢复速率的大小，其中，目标数据恢复速率为恢复服务器中已损坏数据的速率。
在本发明实施例中，除恢复服务器中已损坏的数据之外，还可以恢复磁盘中已损坏的数据，目标数据恢复速率为在分布式存储系统中恢复已损坏数据的速率。
具体地，当一些大型的分布式存储系统中，当某一个服务器发生故障时，恢复该服务器中已损坏数据的时间很长。因此，为了在缩短在分布式存储系统中数据恢复时间的同时，还能保证客户端和服务器之间数据传输的流畅性，可以根据目标传输速率调整恢复已损坏数据的速率。例如，当目标传输速率增大时，可以适当减小目标数据恢复速率的大小，当目标传输速率减小时，可以适当增大目标数据恢复速率的大小，使闲置的资源得到充分的利用，以尽快完成分布式服务器中数据恢复的工作。
步骤S106，按照调整之后的目标数据速率恢复已损坏数据。
在本发明实施例中，通过检测到的客户端和服务器之间的数据间传输速率可适当调整目标数据恢复速率的大小，进而按照调整之后的目标数据恢复速率恢复已损坏的数据，相对于现有技术中无法根据客户端和服务器之间的数据传输速率调整目标数据恢复速率的大小，本发明达到了通过目标传输速率调整目标数据恢复速率的目的，通过调整目标数据恢复速率从而实现了缩短已损坏数据恢复时间的技术效果，进而解决了现有技术中由于目标数据恢复速率为恒定的速率导致的数据恢复较慢的技术问题。
可选地，根据检测到的目标传输速率调整目标数据恢复速率的大小包括如下步骤：
步骤S1041，判断目标传输速率是否小于第一预设阈值。
步骤S1043，如果判断出目标传输速率小于第一预设阈值，则控制当前目标数据恢复速率在第一边界值到第二边界值的范围内逐渐升高，其中，第一边界值小于第二边界值。
步骤S1045，如果判断出目标传输速率大于或者等于第一预设阈值，则控制当前目标数据恢复速率在当前目标数据恢复速率和第一边界值的范围内降低。
在本发明实施例中，可以结合第一预设阈值调整目标数据恢复速率的大小。具体地，由于目标传输速率在不同时段是变化的，因此，可以实时检测目标传输速率的大小，并判断检测到的目标传输速率与第一预设阈值的大小。
如果判断出在某一时刻的目标传输速率由大于或者等于第一预设阈值变化为小于第一预设阈值，说明客户端和服务器之间的数据传输量减小，此时，可以适当地升高当前目标数据恢复速率，加速数据恢复的进度，让闲置的资源被充分的利用来做数据恢复，其中，当前目标数据恢复速率是在一个取值区间内逐渐升高，该取值区间由第一边界值和第二边界值组成，第一边界值即为该取值区间的最小值，第二边界值即为该取值区间的最大值。
如果判断出在某一时刻的目标传输速率由小于第一预设阈值变化为大于或者等于第一预设阈值，说明客户端和服务器之间的数据传输量增大，此时，可以适当地降低当前目标数据恢复速率，减慢数据恢复的进度，避免过快的目标数据恢复速率占用系统资源。其中，目标数据恢复速率是在当前目标数据恢复速率和第一边界值之间降低，作为优选，当判断出目标传输速率由小于第一预设阈值变化为大于或者等于第一预设阈值，控制当前目标数据恢复速率降低至第一边界值。
可选地，如果判断出目标传输速率大于或者等于第一预设阈值，则控制当前目标数据恢复速率在当前目标数据恢复速率和第一边界值的范围内降低包括如下步骤：
步骤S1，判断目标传输速率和第一预设阈值的差值是否大于或者等于第二预设阈值。
步骤S3，如果判断出差值大于或者等于第二预设阈值，则控制当前目标数据恢复速率直接降低至第一边界值。
步骤S5，如果判断出差值小于第二预设阈值，则控制当前目标数据恢复速率逐渐降低至第一边界值。
在本发明实施例中，如果判断出目标传输速率大于或者等于第一预设阈值，还可以结合第二预设阈值来控制降低当前目标数据恢复速率。具体地，可以计算目标传输速率与第一预设阈值的差值，判断该差值是否大于或者等于第二预设阈值，也即，判断该目标传输速率是否发生了突变，例如，突然升高。如果判断出该差值大于或者等于第二预设阈值，则表明该目标传输速率发生了突变，此时，为了保证客户端和服务器之间数据传输的流畅性，需将当前目标数据恢复速率直接降低至第一边界值，即上述取值区间内的最小值。如果判断出该差值小于第二预设阈值，则表明该目标传输速率未发生突变，此时，可以将当前目标数据恢复速率逐渐降低至第一边界值。
可选地，在检测目标传输速率之后，且在根据检测到的目标传输速率调整目标数据恢复速率的大小之前，该数据处理的方法还包括：检测目标传输速率的异常变化事件，其中，异常变化事件为在第一预设时间内目标传输速率增大并超过第一速率后恢复到目标传输速率，或者在第一预设时间内目标传输速率降低并低于第二速率后恢复到目标传输速率，其中，第一速率大于第二速率。统计第二预设时间内异常变化事件发生的次数。根据所述次数判断是否调整所述目标数据恢复速率的大小。
具体地，在实际的分布式存储系统中，可能会出现异常变化事件，例如，在第一预设时间内(例如，1至2秒)某些数据服务器或磁盘上的客户端数据传输速率(即，目标传输速率)突然大幅减少或大幅增大的情形，并在此后恢复到之前的速率。为了避免分布式存储系统上述异常变化事件对该方法造成影响，可以统计分布式存储系统在第二预设时间内该异常变化事件发生的次数，进而根据统计出的该异常变化之间发生的次数判断是否调整目标数据恢复速率的大小。
通过统计第二预设时间内异常变化事件发生的次数来调整目标数据恢复速率的大小，避免了目标传输速率的异常波动导致的目标数据恢复速率的调整过于频繁，从而保证了数据恢复的进度以及客户端和服务器之间的数据传输质量。
可选地，根据次数判断是否调整目标数据恢复速率的大小包括如下步骤：判断次数是否大于或者等于第三预设阈值；如果判断出次数小于第三预设阈值，则保持当前目标数据恢复速率不变；如果判断出次数大于或者等于第三预设阈值，则确定根据检测到的目标传输速率在预设取值范围内调整目标数据恢复速率的大小。
具体地，判断统计到的第二预设时间内的异常变化事件的次数是否大于或者等于第三预设阈值，当判断出该次数小于第三预设阈值时，表明当此种异常变化事件发生次数较少，因此，认为这是偶然的异常变化事件，并不改变当前目标数据恢复速率的大小。当判断出该次数大于或者等于第三预设阈值时，表明此种异常变化事件发生的次数较多，因此，认为目标数据传输速率确实发生了改变。此时，并采取上述步骤S1041至步骤S1045描述的方法相应的调整目标数据恢复速率。其中，预设取值范围为第一边界值和第二边界值组成的取值范围，并且，第一边界值为该预设取值范围的最小值，第二边界值为该预设取值范围的最大值。
在本发明实施例中，可以通过判断统计出的异常变化事件发生的次数是否满足第三预设阈值来调整分布式服务器中目标数据恢复速率的大小的方式，有效地避免了分布式服务器中目标数据恢复速率的频繁波动；同时保证了当目标数据传输速率确实发生了改变时，能够及时调整目标数据恢复速率的大小。
图2是根据本发明实施例的一种可选的数据处理的方法的流程图。如图2所示，VC为目标传输速率，Vt为第一预设阈值，VR为目标数据恢复速率，Vmin为第一边界值，Vmax为第二边界值。服务器或者磁盘上已损坏的数据的数据恢复任务均排入一个队列中，以目标数据恢复速率VR进行数据的恢复，如图2所示中的箭头方框内中的圆圈即为数据恢复任务，其中，圆圈越多，表示目标数据恢复速率越大，也即，在预定时间内恢复的数据越多。
如图2所示，当检测到目标传输速率VC大于或者等于第一预设阈值Vt时，作为优选，目标数据恢复速率VR的值为第一边界值Vmin。当某一时刻目标传输速率VC由大于第一预设阈值Vt变化为小于第一预设阈值Vt时，目标数据恢复速率VR的值在第一边界值Vmin和第二边界值Vmax之间逐渐升高；如果VC在VR满足Vmin<VR<Vmax关系时的任意时刻重现变化为大于或者等于第一预设阈值Vt时，则目标数据恢复速率VR由当前目标数据恢复速率重新降低至第一边界值Vmin；如果VC在VR升高至第二边界值Vmax后的任意时刻重新变化为大于或者等于第一预设阈值Vt时，则控制目标数据恢复速率VR由当前目标数据恢复速率(即，第二边界值Vmax)重新降低至第一边界值Vmin。然后，重新检测目标传输速率VC小于第一预设阈值的时刻，并重新根据检测到的目标传输速率VC调整目标数据恢复速率Vt的大小。
本发明实施例还提供了一种数据处理的装置，该数据处理的装置主要用于执行本发明实施例上述内容所提供的数据处理的方法，以下对本发明实施例所提供的数据处理的装置做具体介绍。
图3是根据本发明实施例的一种数据处理的装置的示意图，如图3所示，该数据处理的装置主要包括第一检测单元10、调整单元20和恢复单元30，其中：
第一检测单元10，用于检测目标传输速率，其中，目标传输速率为客户端和服务器之间的数据传输速率。
在本发明实施例中，目标传输速率为客户端传输数据到服务器的速率，或者服务器传输数据到客户端之间的速率。当用户的访问量较大时，客户端和服务器之间的数据传输速率增大，当用户的访问量较小时，客户端和服务器之间的数据传输速率减小。
调整单元20，用于根据检测到的目标传输速率调整目标数据恢复速率的大小，其中，目标数据恢复速率为恢复服务器中已损坏数据的速率。
在本发明实施例中，除恢复服务器中已损坏的数据之外，还可以恢复磁盘中已损坏的数据，目标数据恢复速率为在分布式服务器中恢复已损坏数据的速率。
具体地，当一些大型的分布式服务器的存储系统中，当某一个服务器发生故障时，恢复该服务器中已损坏数据的时间很长。因此，为了在缩短在分布式服务器中数据恢复时间的同时，还能保证客户端和服务器之间数据传输的流畅性，可以根据目标传输速率调整恢复已损坏数据的速率。例如，当目标传输速率增大时，可以适当减小目标数据恢复速率的大小，当目标传输速率减小时，可以适当增大目标数据恢复速率的大小，使闲置的资源得到充分的利用，以尽快完成分布式服务器中数据恢复的工作。
恢复单元30，用于按照调整之后的目标数据速率恢复已损坏数据。
在本发明实施例中，通过检测到的客户端和服务器之间的数据间传输速率可适当调整目标数据恢复速率的大小，进而按照调整之后的目标数据恢复速率恢复已损坏的数据，相对于现有技术中无法根据客户端和服务器之间的数据传输速率调整目标数据恢复速率的大小，本发明达到了通过目标传输速率调整目标数据恢复速率的目的，通过调整目标数据恢复速率从而实现了缩短了已损坏数据恢复时间的技术效果，进而解决了现有技术中由于目标数据恢复速率为恒定的速率导致的数据恢复较慢的技术问题。
可选地，调整单元20包括：第一判断模块，用于判断目标传输速率是否小于第一预设阈值；第一控制模块，用于在判断出目标传输速率小于第一预设阈值的情况下，控制当前目标数据恢复速率在第一边界值到第二边界值的范围内逐渐升高，其中，第一边界值小于第二边界值；第二控制模块，用于在判断出目标传输速率大于或者等于第一预设阈值的情况下，控制当前目标数据恢复速率在当前目标数据恢复速率和第一边界值的范围内降低。
在本发明实施例中，可以结合第一预设阈值调整目标数据恢复速率的大小。具体地，由于目标传输速率在不同时段是变化的，因此，可以通过第一检测单元10实时检测目标传输速率的大小，并通过第一判断模块判断检测到的目标传输速率与第一预设阈值的大小。
如果第一判断模块判断出在某一时刻的目标传输速率由大于或者等于第一预设阈值变化为小于第一预设阈值，说明客户端和服务器之间的数据传输量减小，此时，可以通过第一控制模块适当地升高当前目标数据恢复速率，加速数据恢复的进度，让闲置的资源被充分的利用来做数据恢复，其中，当前目标数据恢复速率是在一个取值区间内逐渐升高，该取值区间由第一边界值和第二边界值组成，第一边界值即为该取值区间的最小值，第二边界值即为该取值区间的最大值。
如果第一判断模块判断出在某一时刻的目标传输速率由小于第一预设阈值变化为大于或者等于第一预设阈值，说明客户端和服务器之间的数据传输量增大，此时，可以通过第二控制模块适当地降低当前目标数据恢复速率，减慢数据恢复的进度，避免过快的目标数据恢复速率占用系统资源。其中，目标数据恢复速率是在当前目标数据恢复速率和第一边界值之间降低，作为优选，当判断出目标传输速率由小于第一预设阈值变化为大于或者等于第一预设阈值，控制当前目标数据恢复速率降低至第一边界值。
可选地，第二控制模块包括：判断子模块，用于判断目标传输速率和第一预设阈值的差值是否大于或者等于第二预设阈值；第一控制子模块，用于在判断出差值大于或者等于第二预设阈值的情况下，控制当前目标数据恢复速率直接降低至第一边界值；第二控制子模块，用于在判断出差值小于第二预设阈值的情况下，控制当前目标数据恢复速率逐渐降低至第一边界值。
在本发明实施例中，如果通过第一判断模块判断出目标传输速率大于或者等于第一预设阈值，还可以结合第二预设阈值来控制降低当前目标数据恢复速率。具体地，可以计算目标传输速率与第一预设阈值的差值，通过判断子模块判断该差值是否大于或者等于第二预设阈值，也即，判断该目标传输速率是否发生了突变，例如，突然升高。如果通过判断子模块判断出该差值大于或者等于第二预设阈值，则表明该目标传输速率发生了突变，此时，为了保证客户端和服务器之间数据传输的流畅性，可以通过调用第一控制子模块控制当前目标数据恢复速率直接降低至第一边界值，即上述取值区间内的最小值。如果判断子模块判断出该差值小于第二预设阈值，则表明该目标传输速率未发生突变，此时，可以通过调用第二控制子模块控制当前目标数据恢复速率逐渐降低至第一边界值。
可选地，该数据处理的装置还包括：第二检测单元，用于在检测目标传输速率之后，且在根据检测到的目标传输速率在预设取值范围内调整目标数据恢复速率的大小之前，检测目标传输速率的异常变化事件，其中，异常变化事件为在第一预设时间内目标传输速率增大并超过第一速率后恢复到目标传输速率，或者在第一预设时间内目标传输速率降低并低于第二速率后恢复到目标传输速率，其中，第一速率大于第二速率；统计单元，用于统计第二预设时间内异常变化事件发生的次数；判断单元，用于根据次数判断是否调整目标数据恢复速率的大小。
通过第二检测单元检测第二预设时间内的异常变化事件，并通过调用统计单元统计第二预设时间内异常变化事件发生的次数，然后，通过判断单元判断统计得到的次数是否满足第三预设阈值，来调整目标数据恢复速率的大小，从而，避免了目标传输速率的异常波动导致的目标数据恢复速率的调整过于频繁，从而保证了数据恢复的进度以及客户端和服务器之间的数据传输质量。
可选地，判断单元包括：第二判断模块，用于判断次数是否大于或者等于第三预设阈值；保持模块，用于在判断出次数小于第三预设阈值的情况下，保持当前数目标据恢复速率不变；确定模块，用于在判断出次数大于或者等于第三预设阈值的情况下，确定根据检测到的目标传输速率在预设取值范围内调整目标数据恢复速率的大小。
在本发明实施例中，可以通过调用第二判断模块判断统计出的异常变化事件发生的次数是否满足第三预设阈值来调整目标数据恢复速率的大小。当判断出统计出的次数小于第三预设阈值时，通过调用保持模块保持目标数据恢复速率不改变；当判断出统计出的次数大于或者等于第三预设阈值时，通过调用确定模块确定出根据检测到的目标传输速率在预设取值范围内调整目标数据恢复速率的大小。通过调用第二判断模块、保持模块和确定模块来根据统计到的异常变化事件发生的次数来调整目标数据恢复速率的方式，有效地避免了目标数据恢复速率的频繁波动；同时保证了当目标数据传输速率确实发生了改变时，能够及时调整目标数据恢复速率的大小。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据处理的方法，其特征在于，包括：
检测目标传输速率，其中，所述目标传输速率为客户端和服务器之间的数据传输速率；
根据检测到的所述目标传输速率调整目标数据恢复速率的大小，其中，所述目标数据恢复速率为恢复所述服务器中已损坏数据的速率；
按照调整之后的目标数据速率恢复所述已损坏数据。
2.根据权利要求1所述的方法，其特征在于，根据检测到的所述目标传输速率调整目标数据恢复速率的大小包括：
判断所述目标传输速率是否小于第一预设阈值；
如果判断出所述目标传输速率小于所述第一预设阈值，则控制当前目标数据恢复速率在第一边界值到第二边界值的范围内逐渐升高，其中，所述第一边界值小于所述第二边界值；
如果判断出所述目标传输速率大于或者等于所述第一预设阈值，则控制当前目标数据恢复速率在当前目标数据恢复速率和所述第一边界值的范围内降低。
3.根据权利要求2所述的方法，其特征在于，如果判断出所述目标传输速率大于或者等于所述第一预设阈值，则控制当前目标数据恢复速率在当前目标数据恢复速率和所述第一边界值的范围内降低包括：
判断所述目标传输速率和所述第一预设阈值的差值是否大于或者等于第二预设阈值；
如果判断出所述差值大于或者等于所述第二预设阈值，则控制当前目标数据恢复速率直接降低至所述第一边界值；
如果判断出所述差值小于所述第二预设阈值，则控制当前目标数据恢复速率逐渐降低至所述第一边界值。
4.根据权利要求1所述的方法，其特征在于，在检测目标传输速率之后，且在根据检测到的所述目标传输速率调整目标数据恢复速率的大小之前，所述方法还包括：
检测所述目标传输速率的异常变化事件，其中，所述异常变化事件为在第一预设时间内所述目标传输速率增大并超过第一速率后恢复到所述目标传输速率，或者在所述第一预设时间内所述目标传输速率降低并低于第二速率后恢复到所述目标传输速率，其中，所述第一速率大于所述第二速率；
统计第二预设时间内所述异常变化事件发生的次数；
根据所述次数判断是否调整所述目标数据恢复速率的大小。
5.根据权利要求4所述的方法，其特征在于，根据所述次数判断是否调整所述目标数据恢复速率的大小包括：
判断所述次数是否大于或者等于第三预设阈值；
如果判断出所述次数小于所述第三预设阈值，则保持当前目标数据恢复速率不变；
如果判断出所述次数大于或者等于所述第三预设阈值，则确定根据检测到的所述目标传输速率在预设取值范围内调整所述目标数据恢复速率的大小。
6.一种数据处理的装置，其特征在于，包括：
第一检测单元，用于检测目标传输速率，其中，所述目标传输速率为客户端和服务器之间的数据传输速率；
调整单元，用于根据检测到的所述目标传输速率调整目标数据恢复速率的大小，其中，所述目标数据恢复速率为恢复所述服务器中已损坏数据的速率；
恢复单元，用于按照调整之后的目标数据速率恢复所述已损坏数据。
7.根据权利要求6所述的装置，其特征在于，所述调整单元包括：
第一判断模块，用于判断所述目标传输速率是否小于第一预设阈值；
第一控制模块，用于在判断出所述目标传输速率小于所述第一预设阈值的情况下，控制当前目标数据恢复速率在第一边界值到第二边界值的范围内逐渐升高，其中，所述第一边界值小于所述第二边界值；
第二控制模块，用于在判断出所述目标传输速率大于或者等于所述第一预设阈值的情况下，控制当前目标数据恢复速率在当前目标数据恢复速率和所述第一边界值的范围内降低。
8.根据权利要求7所述的装置，其特征在于，所述第二控制模块包括：
判断子模块，用于判断所述目标传输速率和所述第一预设阈值的差值是否大于或者等于第二预设阈值；
第一控制子模块，用于在判断出所述差值大于或者等于所述第二预设阈值的情况下，控制当前目标数据恢复速率直接降低至所述第一边界值；
第二控制子模块，用于在判断出所述差值小于所述第二预设阈值的情况下，控制当前目标数据恢复速率逐渐降低至所述第一边界值。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第二检测单元，用于在检测目标传输速率之后，且在根据检测到的所述目标传输速率调整目标数据恢复速率的大小之前，检测所述目标传输速率的异常变化事件，其中，所述异常变化事件为在第一预设时间内所述目标传输速率增大并超过第一速率后恢复到所述目标传输速率，或者在所述第一预设时间内所述目标传输速率降低并低于第二速率后恢复到所述目标传输速率，其中，所述第一速率大于所述第二速率；
统计单元，用于统计第二预设时间内所述异常变化事件发生的次数；
判断单元，用于根据所述次数判断是否调整所述目标数据恢复速率的大小。
10.根据权利要求9所述的装置，其特征在于，所述判断单元包括：
第二判断模块，用于判断所述次数是否大于或者等于第三预设阈值；
保持模块，用于在判断出所述次数小于所述第三预设阈值的情况下，保持当前数目标据恢复速率不变；
确定模块，用于在判断出所述次数大于或者等于所述第三预设阈值的情况下，确定根据检测到的所述目标传输速率在预设取值范围内调整所述目标数据恢复速率的大小。
CN201610073554.3A 2016-02-02 2016-02-02 数据处理的方法和装置 Active CN107026708B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610073554.3A CN107026708B (zh) 2016-02-02 2016-02-02 数据处理的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610073554.3A CN107026708B (zh) 2016-02-02 2016-02-02 数据处理的方法和装置

Publications (2)

Publication Number Publication Date
CN107026708A true CN107026708A (zh) 2017-08-08
CN107026708B CN107026708B (zh) 2020-06-05

Family

ID=59525049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610073554.3A Active CN107026708B (zh) 2016-02-02 2016-02-02 数据处理的方法和装置

Country Status (1)

Country Link
CN (1) CN107026708B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391317A (zh) * 2017-09-14 2017-11-24 郑州云海信息技术有限公司 一种数据恢复的方法、装置、设备及计算机可读存储介质
CN109117306A (zh) * 2018-07-24 2019-01-01 广东浪潮大数据研究有限公司 一种基于对象读写时延调整数据恢复速度的方法及装置
CN109213637A (zh) * 2018-11-09 2019-01-15 浪潮电子信息产业股份有限公司 分布式文件系统集群节点的数据恢复方法、装置及介质
CN113949825A (zh) * 2021-11-03 2022-01-18 江苏金视传奇科技有限公司 一种高信息量图像高效传输方法及系统
CN114064362A (zh) * 2021-11-16 2022-02-18 北京志凌海纳科技有限公司 用于分布式存储中的数据恢复方法、系统及计算机可读存储介质
CN115150415A (zh) * 2022-06-30 2022-10-04 联想(北京)有限公司 一种控制方法、装置、电子设备及存储介质
US12001289B2 (en) * 2019-10-25 2024-06-04 Inspur Electronic Information Industry Co., Ltd. Data recovery method, apparatus and device, and readable storage medium

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101162974A (zh) * 2007-11-21 2008-04-16 杭州华三通信技术有限公司 一种组播视频存储的方法、系统及设备
US20090092152A1 (en) * 2007-10-09 2009-04-09 Yasantha Nirmal Rajakarunanayake Method and System for Dynamically Adjusting Forward Error Correction (FEC) Rate to Adapt for Time Varying Network Impairments in Video Streaming Applications Over IP Networks
CN102143000A (zh) * 2011-03-31 2011-08-03 中兴通讯股份有限公司 一种数据恢复的控制方法、节点、控制装置及容灾系统
CN102185841A (zh) * 2011-04-25 2011-09-14 上海爱数软件有限公司 一种分类数据传输方法及系统
CN102360323A (zh) * 2011-10-28 2012-02-22 东莞市正欣科技有限公司 一种网络服务器宕机自修复的方法及系统
US20120136973A1 (en) * 2000-11-13 2012-05-31 Digital Fountain, Inc. Scheduling of multiple files for serving on a server
CN104166600A (zh) * 2014-08-01 2014-11-26 腾讯科技（深圳）有限公司 数据备份与恢复方法及装置
CN104572357A (zh) * 2014-12-30 2015-04-29 清华大学 一种用于hdfs系统的备份和恢复方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120136973A1 (en) * 2000-11-13 2012-05-31 Digital Fountain, Inc. Scheduling of multiple files for serving on a server
US20090092152A1 (en) * 2007-10-09 2009-04-09 Yasantha Nirmal Rajakarunanayake Method and System for Dynamically Adjusting Forward Error Correction (FEC) Rate to Adapt for Time Varying Network Impairments in Video Streaming Applications Over IP Networks
CN101162974A (zh) * 2007-11-21 2008-04-16 杭州华三通信技术有限公司 一种组播视频存储的方法、系统及设备
CN102143000A (zh) * 2011-03-31 2011-08-03 中兴通讯股份有限公司 一种数据恢复的控制方法、节点、控制装置及容灾系统
CN102185841A (zh) * 2011-04-25 2011-09-14 上海爱数软件有限公司 一种分类数据传输方法及系统
CN102360323A (zh) * 2011-10-28 2012-02-22 东莞市正欣科技有限公司 一种网络服务器宕机自修复的方法及系统
CN104166600A (zh) * 2014-08-01 2014-11-26 腾讯科技（深圳）有限公司 数据备份与恢复方法及装置
CN104572357A (zh) * 2014-12-30 2015-04-29 清华大学 一种用于hdfs系统的备份和恢复方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391317A (zh) * 2017-09-14 2017-11-24 郑州云海信息技术有限公司 一种数据恢复的方法、装置、设备及计算机可读存储介质
CN107391317B (zh) * 2017-09-14 2021-03-19 苏州浪潮智能科技有限公司 一种数据恢复的方法、装置、设备及计算机可读存储介质
CN109117306A (zh) * 2018-07-24 2019-01-01 广东浪潮大数据研究有限公司 一种基于对象读写时延调整数据恢复速度的方法及装置
CN109213637A (zh) * 2018-11-09 2019-01-15 浪潮电子信息产业股份有限公司 分布式文件系统集群节点的数据恢复方法、装置及介质
CN109213637B (zh) * 2018-11-09 2022-03-04 浪潮电子信息产业股份有限公司 分布式文件系统集群节点的数据恢复方法、装置及介质
US12001289B2 (en) * 2019-10-25 2024-06-04 Inspur Electronic Information Industry Co., Ltd. Data recovery method, apparatus and device, and readable storage medium
CN113949825A (zh) * 2021-11-03 2022-01-18 江苏金视传奇科技有限公司 一种高信息量图像高效传输方法及系统
CN114064362A (zh) * 2021-11-16 2022-02-18 北京志凌海纳科技有限公司 用于分布式存储中的数据恢复方法、系统及计算机可读存储介质
CN115150415A (zh) * 2022-06-30 2022-10-04 联想(北京)有限公司 一种控制方法、装置、电子设备及存储介质
CN115150415B (zh) * 2022-06-30 2024-04-19 联想(北京)有限公司 一种控制方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN107026708B (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN107026708A (zh) 数据处理的方法和装置
CN102111337B (zh) 任务调度方法和系统
CN107391317A (zh) 一种数据恢复的方法、装置、设备及计算机可读存储介质
CN104468407B (zh) 实现业务平台资源弹性分配的方法与装置
CN102681895B (zh) 一种动态自迁移云服务方法
CN106952244A (zh) 一种图像亮度的自动调整方法及装置
CN103502944A (zh) 虚拟机内存调整方法和设备
CN111190745A (zh) 一种数据处理方法、装置及计算机可读存储介质
CN101436146B (zh) 动态调节远程设备管理进程的优先级的方法及系统
CN106657191A (zh) 一种负载均衡方法及相关装置、系统
CN101964732A (zh) 计算丢包率的方法及装置、控制网络传输的方法及装置
CN106201766B (zh) 数据存储控制方法及数据服务器
CN112799817A (zh) 一种微服务资源调度系统和方法
CN114448989B (zh) 调整消息分发的方法、装置、电子设备、存储介质及产品
CN106502372A (zh) 一种应用控制的方法及移动终端
WO2018233679A1 (zh) 负荷均衡方法及装置
CN111045808A (zh) 一种分布式网络任务调度方法及装置
CN103428100A (zh) 一种基于数据分类的动态流量控制方法及装置
EP2996382B1 (en) Physical resource adjustment method, device and controller
CN109428950B (zh) Ip地址池自动调度方法和系统
CN104836679B (zh) 通信异常处理方法及网元设备
CN107070811A (zh) 一种数据发送方法、终端及数据处理系统
CN118138590A (zh) 一种数据中心负载均衡方法
CN101616473B (zh) 一种td-scdma系统中无线网络控制器的节能方法及装置
CN108073445B (zh) 基于分布式流计算的背压处理方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 100094 101, floors 1-5, building 7, courtyard 3, fengxiu Middle Road, Haidian District, Beijing

Patentee after: Beijing Xingchen Tianhe Technology Co.,Ltd.

Address before: 100190 1508, block a, Zhongguancun digital building, Haidian District, Beijing

Patentee before: XSKY BEIJING DATA TECHNOLOGY Corp.,Ltd.

CP03 Change of name, title or address