CN109857592B - 数据恢复控制方法、服务器及存储介质 - Google Patents
数据恢复控制方法、服务器及存储介质 Download PDFInfo
- Publication number
- CN109857592B CN109857592B CN201910008850.9A CN201910008850A CN109857592B CN 109857592 B CN109857592 B CN 109857592B CN 201910008850 A CN201910008850 A CN 201910008850A CN 109857592 B CN109857592 B CN 109857592B
- Authority
- CN
- China
- Prior art keywords
- data recovery
- server cluster
- server
- preset
- concurrency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
Abstract
本发明涉及数据处理技术，揭露了一种数据恢复控制方法、服务器及存储介质，该方法包括如下步骤：服务器接收客户端发出的数据恢复请求，接着，获取预设时间内所属服务器集群的IOPS及吞吐量的历史值计算出IOPS及吞吐量的预测值，根据所述预测值与预设规则判断服务器集群系统是否繁忙，当系统不繁忙时，根据所述预测值计算出可增加的数据恢复并发数调整所述服务器集群的数据恢复并发数，当系统繁忙时，根据预设的并发降低规则调整所述服务器集群的数据恢复并发数，并对所述数据恢复请求相关存储节点进行数据恢复。利用本发明，解决了数据恢复时占用大量IO的技术问题，既能保证系统的正常运行，又能防止数据副本缺失，避免数据丢失的风险。
Description
技术领域
本发明涉及数据处理领域，尤其涉及一种数据恢复控制方法、服务器及存储介质。
背景技术
在分布式存储系统里，一旦因为坏盘、服务重启等原因，造成硬盘数据需自动恢复时，往往占用硬盘的大量IO，影响当前存储系统对文件读取效率响应时间，但是存储系统自身无法对数据恢复的频率进行调整，进而影响用户正常访问使用。
发明内容
鉴于以上内容，本发明提供一种数据恢复控制方法、服务器及存储介质。其目的在于根据系统当前负载，灵活调整数据恢复方式，保证不影响系统的正常使用。
为实现上述目的，本发明提供一种数据恢复控制方法，该方法包括：
接收步骤：侦测并接收客户端发出的数据恢复请求；
预测步骤：响应所述数据恢复请求，获取预设时间内该服务器所属的服务器集群的每秒读写次数(Input/OutputOperations Per Second，IOPS)及吞吐量的历史值，根据所述历史值预测得到所述服务器集群的IOPS及吞吐量的预测值，根据所述预测值和预设检测规则，判断所述服务器集群是否繁忙；
调整步骤：当判断所述服务器集群不繁忙时，根据所述IOPS及吞吐量的预测值，计算出所述服务器集群可增加的数据恢复并发数，根据计算结果调整所述服务器集群的数据恢复并发数，当判断所述服务器集群繁忙时，根据预设的并发降低规则调整所述服务器集群的数据恢复并发数，并根据调整后的数据恢复并发数对所述数据恢复请求相关的存储节点进行数据恢复。
优选的，所述方法还包括：
所述服务器定时监控被监控的存储节点的预设指标，将所述预设指标的指标值输入预先训练好的存储节点故障预测模型，根据模型输出结果确定存储节点的故障率，当存储节点的故障率大于或等于第一预设阈值时，向所述客户端发出第一预警信息，所述客户端响应该第一预警信息向所述服务器集群发出所述数据恢复请求。
优选的，所述接收步骤还包括：
对发起所述数据恢复请求的客户端的用户进行用户身份信息鉴定，用户身份信息鉴定通过则执行所述预测步骤，用户身份信息鉴定失败则拒绝所述数据恢复请求并生成第二预警信息。
优选的，所述预设检测规则包括：
当所述预测值中任意一项指标大于或等于第二预设阈值时，判断所述服务器集群繁忙；
当所述预测值中所有指标均小于第二预设阈值时，判断所述服务器集群不繁忙。
优选的，所述预设的并发降低规则包括：
降低所述被监控的存储节点恢复数据的速率、降低所述被监控的存储节点上参与恢复的并发文件数或减少同时参与恢复的所述被监控的存储节点数量。
优选的，所述方法还包括：
获取所述服务器集群的实时访问延时，计算出访问延时的降幅，当所述访问延时的降幅大于第三预设阈值时，保持当前的数据恢复并发数，当所述访问延时的降幅小于第三预设阈值时，按所述预设的并发降低规则调整所述服务器集群的数据恢复并发数。
为实现上述目的，本发明还提供一种服务器，该服务器通信连接客户端及存储节点，该服务器包括：存储器及处理器，所述存储器上存储数据恢复控制程序，所述数据恢复控制程序被所述处理器执行，可实现如下步骤：
接收步骤：侦测并接收客户端发出的数据恢复请求；
预测步骤：响应所述数据恢复请求，获取预设时间内该服务器所属的服务器集群的IOPS及吞吐量的历史值，根据所述历史值预测得到所述服务器集群的IOPS及吞吐量的预测值，根据所述预测值和预设检测规则，判断所述服务器集群是否繁忙；
调整步骤：当判断所述服务器集群不繁忙时，根据所述IOPS及吞吐量的预测值，计算出所述服务器集群可增加的数据恢复并发数，根据计算结果调整所述服务器集群的数据恢复并发数，当判断所述服务器集群繁忙时，根据预设的并发降低规则调整所述服务器集群的数据恢复并发数，并根据调整后的数据恢复并发数对所述数据恢复请求相关的存储节点进行数据恢复。
优选的，所述接收步骤包括：
对发起所述数据恢复请求的客户端的用户进行用户身份信息鉴定，用户身份信息鉴定通过则执行所述预测步骤，用户身份信息鉴定失败则拒绝所述数据恢复请求并生成第二预警信息。
优选的，所述数据恢复控制程序被所述处理器执行时包括：
获取所述服务器集群的实时访问延时，计算出访问延时的降幅，当所述访问延时的降幅大于第三预设阈值时，保持当前的数据恢复并发数，当所述访问延时的降幅小于第三预设阈值时，按所述预设的并发降低规则调整所述服务器集群的数据恢复并发数。
为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包括数据恢复控制程序，所述数据恢复控制程序被处理器执行时，可实现如上所述数据恢复控制方法中的任意步骤。
本发明提出的数据恢复控制方法、服务器及存储介质，解决了分布式存储系统数据自动恢复时占用大量IO的技术问题，可以提高分布式存储系统数据的读取效率、恢复效率，既能保证系统的正常运行，又能防止数据副本缺失，避免数据丢失的风险。
附图说明
图1为本发明服务器较佳实施例的示意图；
图2为图1中数据恢复控制程序较佳实施例的模块示意图；
图3为本发明数据恢复控制方法较佳实施例的流程图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种服务器1。参照图1所示，为本发明服务器1较佳实施例的示意图。
所述服务器1包括但不限于存储器11、处理器12。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器11可以是所述服务器1的内部存储单元，例如该服务器1的硬盘或内存。在另一些实施例中，所述存储器11也可以是所述服务器1的外部存储设备，例如该服务器1配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器11还可以既包括所述服务器1的内部存储单元也包括其外部存储设备。本实施例中，所述存储器11通常用于存储安装于所述服务器1的操作系统和各类应用软件，例如数据恢复控制程序10的程序代码等。此外，所述存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述服务器1的总体操作，例如执行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行数据恢复控制程序10的程序代码等。
图1仅示出了具有组件11-12以及数据恢复控制程序10的服务器1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，所述服务器1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(OrganicLight-Emitting Diode，OLED)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在服务器1中处理的信息以及用于显示可视化的用户界面。
该服务器1还可以包括射频(Radio Frequency，RF)电路、传感器和音频电路等等，在此不再赘述。
在本实施例中，所述服务器1为分布式存储系统服务器集群中的任意一台服务器。分布式存储系统通常包括多台服务器，与服务器通信连接的客户端，以及一系列的存储节点。每个存储节点可能是一个存储设备，例如硬盘、磁盘或其他网络存储装置，也可能为提供存储空间的电子装置，例如个人电脑、服务器等等。在分布式存储系统，数据以多副本的形式均匀地分布在各个存储节点。当某个存储节点的数据发生损毁时，通过其他存储节点的备份副本执行数据恢复。
在上述实施例中，处理器12执行存储器11中存储的数据恢复控制程序10时可以实现如下步骤：
接收步骤：侦测并接收客户端发出的数据恢复请求；
预测步骤：响应所述数据恢复请求，获取预设时间内该服务器所属的服务器集群的IOPS及吞吐量的历史值，根据所述历史值预测得到所述服务器集群的IOPS及吞吐量的预测值，根据所述预测值和预设检测规则，判断所述服务器集群是否繁忙；
调整步骤：当判断所述服务器集群不繁忙时，根据所述IOPS及吞吐量的预测值，计算出所述服务器集群可增加的数据恢复并发数，根据计算结果调整所述服务器集群的数据恢复并发数，当判断所述服务器集群繁忙时，根据预设的并发降低规则调整所述服务器集群的数据恢复并发数，并根据调整后的数据恢复并发数对所述数据恢复请求相关的存储节点进行数据恢复。
关于上述步骤的详细介绍，请参照下述图2关于数据恢复控制程序10实施例的程序模块图以及图3关于数据恢复控制方法实施例的流程图的说明。
在其他实施例中，所述数据恢复控制程序10可以被分割为多个模块，该多个模块被存储于存储器12中，并由处理器13执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。
参照图2所示，为图1中数据恢复控制程序10一实施例的程序模块图。在本实施例中，所述数据恢复控制程序10可以被分割为：接收模块110、预测模块120和调整模块130。
所述接收模块110，用于侦测并接收客户端发出的数据恢复请求。
在其他实施例中，在接收数据恢复请求之前，还可以包括存储节点故障率预测步骤。所述接收模块110定时监控被监控的存储节点的预设指标，将所述预设指标的指标值输入预先训练好的存储节点故障预测模型，根据模型输出结果确定存储节点的故障率，当存储节点的故障率大于或等于第一预设阈值时，向所述客户端发出第一预警信息，所述客户端响应该第一预警信息向所述服务器集群发出数据恢复请求。
例如，当所述存储节点为硬盘时，获取硬盘的所有SMART信息，从SMART信息中提取关键SMART属性的类型的状态或者关键SMART属性的值的状态；根据关键SMART属性的类型或者关键SMART属性的值与数值映射关系，确定各预设指标对应的指标值，将所述各预设指标对应的指标值按照预先确定的顺序生成一维矩阵，作为模型输入。根据不同品牌硬盘的smart数据分布不平衡的情况，使用随机森林算法，对历史数据进行训练建模，生成故障预测模型，提高故障预测率。还可以根据硬盘的供货商信息确定硬盘的分类，根据硬盘的分类选择与分类对应的额硬盘故障预测模型进行硬盘故障率预测。
在另一个实施例中，所述接收模块110还对发起所述数据恢复请求的客户端的用户进行用户身份信息鉴定，用户身份信息鉴定通过则执行所述后续步骤，用户身份信息鉴定失败则拒绝所述数据恢复请求并生成第二预警信息。
例如，接收模块110将用户的身份信息与预设的具备请求权限的白名单进行匹配，当白名单中存在与用户身份信息匹配的数据时，认为用户具备权限；当白名单中不存在与用户身份信息匹配的数据时，认为用户不具备权限。例如，接收模块110获取文件恢复指令中包含的设备标识，判断设备标识是否为预先绑定的白名单，若是，则认为请求正常，若否，则认为请求不正常。再例如，接收模块110获取用户的身份信息，根据用户身份信息判断用户是否具备数据恢复请求的权限，若具备，继续执行所述预测步骤，若不具备，则拒绝所述数据恢复请求并生成第二预警信息。
所述预测模块120，用于响应所述数据恢复请求，获取预设时间内服务器集群的IOPS及吞吐量的历史值，根据所述历史值预测得到所述服务器集群的IOPS及吞吐量的预测值，根据所述预测值和预设检测规则，判断所述服务器集群是否繁忙。
在本实施例中，计算IOPS及吞吐量这两项指标的预测值可以采用指数平滑算法，指数平滑算法的基本公式为：St＝ayt+(1-a)St-1
其中，St是时间t的平滑值，yt是时间t的实际值，St-1是时间t-1的平滑值，a是平滑常数，其取值范围为[0,1]；St是yt和St-1的加权算数平均数，a取值的大小变化决定yt和St-1对St的影响程度，当a取1时，St＝yt；当a取0时，St＝St-1。
基于指数平滑算法的基本公式，进行适当演变，可以用于计算IOPS及吞吐量的预测值。
所述的预设检测规则包括：
当所述预测值中任意一项指标大于或等于第二预设阈值时，判断所述服务器集群繁忙；
当所述预测值中所有指标均小于第二预设阈值时，判断所述服务器集群不繁忙。
需要说明的是，IOPS及吞吐量预测值的触发阈值(即第二预设阈值)，来源于IOPS及吞吐量的峰值数据的统计分析结果。任意一项指标大于或等于阈值，都将触发控制。
每项指标的阈值＝集群该项指标性能上限-峰值统计分析结果。
所述的调整模块130，用于当判断所述服务器集群不繁忙时，根据所述IOPS及吞吐量的预测值，计算出所述服务器集群可增加的数据恢复并发数，根据计算结果调整所述服务器集群的数据恢复并发数，当判断所述服务器集群繁忙时，根据预设的并发降低规则调整所述服务器集群的数据恢复并发数，并根据调整后的数据恢复并发数对所述数据恢复请求相关的存储节点进行数据恢复。
所述可增加的数据恢复并发数＝(吞吐量上限值-吞吐量预测值)*响应时间。吞吐量为单位时间内系统处理的请求数，并发数为系统能同时处理的请求数，响应时间为平均响应时间。当判断所述服务器集群不繁忙时，调整所述服务器集群的数据恢复并发数包括增加所述被监控的存储节点上参与恢复的并发文件数。例如，当服务器集群不繁忙时，所述被监控的存储节点上有10个文件同时在进行恢复操作，计算出可增加的文件恢复并发数为5，那么可以设定该存储节点上同时允许15个文件进行恢复操作，这种情况会在一定程度上加快数据恢复速度。
所述的预设的并发降低规则包括降低所述被监控的存储节点数据恢复的速率、降低所述被监控的磁盘上参与恢复的并发文件数或减少同时参与恢复的所述被监控的存储节点数量。
例如，当所述存储节点为硬盘时，降低所述硬盘恢复文件的速率，可以设定为每恢复完一个文件，让恢复线程睡眠(sleep)100ms，即100ms后执行下一个文件的恢复操作。
在正常情况下，统一存储节点上可能有10个文件同时在进行恢复操作，那么当需要降低恢复速度时，降低所述被监控的存储节点上参与恢复的并发文件数，可以设定为所述被监控的存储节点只允许5个文件进行恢复操作，这种情况会在一定程度上降低恢复效率。
当所述存储节点为磁盘，数据恢复的对象是大文件时，每个文件恢复的时间都较长，通过降低单块磁盘恢复文件的速率和降低单块磁盘上参与恢复的并发文件数的方法效果不佳，这时可以采取减少同时参与恢复的所述被监控的磁盘数量的方式，例如对同时参与恢复的磁盘数减半，以此快速的减少服务器上的CPU、内存、网络等资源的占用，起到立竿见影的效果。
在另一个实施例中，调整模块130还可以包括：获取所述服务器集群的实时访问延时，计算出访问延时的降幅，当所述访问延时的降幅大于第三预设阈值时，则保持当前的数据恢复速度，当所述访问延时的降幅小于第三预设阈值时，则按所述预设的并发降低规则调整所述服务器集群的数据恢复并发数。
例如，在执行恢复并发调整5min后，获取系统的实时访问延时，并计算访问延时的降幅B，计算公式为：
B＝(实时访问延时-历史访问延时)/历史访问延时
其中，历史访问延时为执行恢复并发调整前的访问延时，实时访问延时为执行恢复并发调整后的访问延时。
当B大于或等于预设阈值40％时，认为控制有效，则保持当前的数据恢复速度，当B小于预设阈值40％时，认为控制效果不明显，需进一步按所述预设的并发降低规则调整所述服务器集群的数据恢复并发数。重复上述步骤，直到访问延时的降幅大于或等于预设阈值为止。
如图3所示，是本发明数据恢复控制方法较佳实施例的流程图。
步骤S10，侦测并接收客户端发出的数据恢复请求。在接收数据恢复指令之前，所述服务器定时监控被监控的存储节点的SMART指标，将所述SMART指标的指标值输入预先训练好的存储节点故障预测模型，根据模型输出结果确定存储节点的故障率，当存储节点的故障率大于或等于第一预设阈值时，向所述客户端发出第一预警信息，客户端向所述服务器集群发出数据恢复请求。当所述存储节点为硬盘时，还可以根据硬盘的供货商信息确定硬盘的分类，根据硬盘的分类选择与分类对应的额硬盘故障预测模型进行硬盘故障率预测。
在其他实施例中，在接收文件恢复指令后，还可以对发起所述文件恢复请求的客户端进行用户身份信息鉴定，用户身份信息鉴定通过则执行所述预测步骤，用户身份信息鉴定失败则拒绝所述数据恢复请求并生成第二预警信息。
将用户的身份信息与预设的具备请求权限的白名单进行匹配，当白名单中存在与用户身份信息匹配的数据时，认为用户具备权限；当白名单中不存在与用户身份信息匹配的数据时，认为用户不具备权限。例如，获取文件恢复指令中包含的设备标识，判断设备标识是否为预先绑定白名单，若是，则认为请求正常，若否，则认为请求不正常。再例如，获取用户的身份信息，根据用户身份信息判断用户是否具备数据恢复请求的权限，若具备，继续执行后续步骤；若不具备，生成第二预警信息。
步骤S20，响应所述数据恢复请求，获取预设时间内该服务器所属的服务器集群的IOPS及吞吐量的历史值，根据所述历史值预测得到所述服务器集群的IOPS及吞吐量的预测值，根据所述预测值和预设检测规则，判断所述服务器集群是否繁忙。在本实施例中，计算IOPS及吞吐量这两项指标的预测值可以采用指数平滑算法。
所述的预设检测规则包括：
当所述预测值中任意一项指标大于或等于第二预设阈值时，判断系统繁忙；
当所述预测值中所有指标均小于第二预设阈值时，判断系统不繁忙。
需要说明的是，IOPS及吞吐量预测值的触发阈值，来源于IOPS及吞吐量峰值数据的统计分析结果。任意一项指标大于或等于阈值，都将触发控制。
每项指标的阈值＝集群该项指标性能上限-峰值统计分析结果。
步骤S30，当判断所述服务器集群不繁忙时，根据所述IOPS及吞吐量的预测值，计算出所述服务器集群可增加的数据恢复并发数，根据计算结果调整所述服务器集群的数据恢复并发数，当判断所述服务器集群繁忙时，根据预设的并发降低规则调整所述服务器集群的数据恢复并发数，并根据调整后的数据恢复并发数对所述数据恢复请求相关的存储节点进行数据恢复。所述可增加的数据恢复并发数＝(吞吐量上限值-吞吐量预测值)*响应时间。吞吐量为单位时间内系统处理的请求数，并发数为系统能同时处理的请求数，响应时间为平均响应时间。当判断所述服务器集群不繁忙时，调整所述服务器集群的数据恢复并发数包括增加所述被监控的存储节点上参与恢复的并发文件数。例如，当服务器集群不繁忙时，所述被监控的存储节点上有10个文件同时在进行恢复操作，计算出可增加的文件恢复并发数为5，那么可以设定该存储节点上同时允许15个文件进行恢复操作，这种情况会在一定程度上加快数据恢复速度。
所述的预设的并发降低规则包括降低所述被监控的存储节点数据恢复的速率、降低所述被监控的磁盘上参与恢复的并发文件数或减少同时参与恢复的所述被监控的存储节点数量。
例如，当所述存储节点为硬盘时，降低所述硬盘恢复文件的速率，可以设定为每恢复完一个文件，让恢复线程睡眠(sleep)100ms，即100ms后执行下一个文件的恢复操作。
在正常情况下，统一存储节点上可能有10个文件同时在进行恢复操作，那么当需要降低恢复速度时，降低所述被监控的存储节点上参与恢复的并发文件数，可以设定为所述被监控的存储节点只允许5个文件进行恢复操作，这种情况会在一定程度上降低恢复效率。
当所述存储节点为磁盘，数据恢复的对象是大文件时，每个文件恢复的时间都较长，通过降低单块磁盘恢复文件的速率和降低单块磁盘上参与恢复的并发文件数的方法效果不佳，这时可以采取减少同时参与恢复的所述被监控的磁盘数量的方式，例如对同时参与恢复的磁盘数减半，以此快速的减少服务器上的CPU、内存、网络等资源的占用，起到立竿见影的效果。
在其他实施例中，在调整数据恢复并发后，还可以获取所述服务器集群的实时访问延时，计算出访问延时的降幅，当所述访问延时的降幅大于第三预设阈值时，保持当前的数据恢复速度，当所述访问延时的降幅小于第三预设阈值时，按所述预设的并发降低规则降低数据恢复速度。
例如，在执行恢复并发调整5min后，获取系统的实时访问延时，并计算访问延时的降幅B，计算公式为：
B＝(实时访问延时-历史访问延时)/历史访问延时
其中，历史访问延时为执行恢复并发调整前的访问延时，实时访问延时为执行恢复并发调整后的访问延时。
当B大于或等于预设阈值50％时，认为控制有效，当B小于预设阈值50％时，认为控制效果不明显，需进一步执行数据恢复并发控制。重复上述步骤，直到访问延时的降幅大于或等于预设阈值为止。
此外，本发明实施例还提出一种计算机可读存储介质，该计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等等中的任意一种或者几种的任意组合。所述计算机可读存储介质中包括数据恢复控制程序10，所述数据恢复控制程序10被处理器执行时实现如下操作：
接收步骤：侦测并接收客户端发出的数据恢复请求；
预测步骤：响应所述数据恢复请求，获取预设时间内该服务器所属的服务器集群的IOPS及吞吐量的历史值，根据所述历史值预测得到所述服务器集群的IOPS及吞吐量的预测值，根据所述预测值和预设检测规则，判断所述服务器集群是否繁忙；
调整步骤：当判断所述服务器集群不繁忙时，根据所述IOPS及吞吐量的预测值，计算出所述服务器集群可增加的数据恢复并发数，根据计算结果调整所述服务器集群的数据恢复并发数，当判断所述服务器集群繁忙时，根据预设的并发降低规则调整所述服务器集群的数据恢复并发数，并根据调整后的数据恢复并发数对所述数据恢复请求相关的存储节点进行数据恢复。
本发明之计算机可读存储介质的具体实施方式与上述数据恢复控制方法的具体实施方式大致相同，在此不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据恢复控制方法，应用于服务器，该服务器通信连接客户端及存储节点，其特征在于，所述方法包括以下步骤：
接收步骤：侦测并接收客户端发出的数据恢复请求；
预测步骤：响应所述数据恢复请求，获取预设时间内该服务器所属的服务器集群的每秒读写次数及吞吐量的历史值，根据所述历史值预测得到所述服务器集群的每秒读写次数及吞吐量的预测值，根据所述预测值和预设检测规则，判断所述服务器集群是否繁忙；
调整步骤：当判断所述服务器集群不繁忙时，根据所述每秒读写次数及吞吐量的预测值，计算出所述服务器集群可增加的数据恢复并发数，根据计算结果调整所述服务器集群的数据恢复并发数，当判断所述服务器集群繁忙时，根据预设的并发降低规则调整所述服务器集群的数据恢复并发数，并根据调整后的数据恢复并发数对所述数据恢复请求相关的存储节点进行数据恢复。
2.如权利要求1所述的数据恢复控制方法，其特征在于，在接收客户端发出的数据恢复请求之前，所述方法还包括：所述服务器定时监控被监控的存储节点的预设指标，将所述预设指标的指标值输入预先训练好的存储节点故障预测模型，根据模型输出结果确定存储节点的故障率，当存储节点的故障率大于或等于第一预设阈值时，向所述客户端发出第一预警信息，以供所述客户端响应该第一预警信息向所述服务器集群发出所述数据恢复请求。
3.如权利要求1所述的数据恢复控制方法，其特征在于，所述接收步骤还包括：
对发起所述数据恢复请求的客户端的用户进行用户身份信息鉴定，用户身份信息鉴定通过则执行所述预测步骤，用户身份信息鉴定失败则拒绝所述数据恢复请求并生成第二预警信息。
4.如权利要求1所述的数据恢复控制方法，其特征在于，所述预设检测规则包括：
当所述预测值中任意一项指标大于或等于第二预设阈值时，判断所述服务器集群繁忙；
当所述预测值中所有指标均小于第二预设阈值时，判断所述服务器集群不繁忙。
5.如权利要求2所述的数据恢复控制方法，其特征在于，所述预设的并发降低规则包括：
降低所述被监控的存储节点恢复数据的速率、降低所述被监控的存储节点上参与恢复的并发文件数或减少同时参与恢复的所述被监控的存储节点数量。
6.如权利要求1至5中任意一项所述的数据恢复控制方法，其特征在于，所述方法还包括：
获取所述服务器集群的实时访问延时，计算出访问延时的降幅，当所述访问延时的降幅大于第三预设阈值时，保持当前的数据恢复并发数，当所述访问延时的降幅小于第三预设阈值时，按所述预设的并发降低规则调整所述服务器集群的数据恢复并发数。
7.一种服务器，该服务器通信连接客户端及存储节点，其特征在于，所述服务器包括：存储器及处理器，所述存储器上存储数据恢复控制程序，所述数据恢复控制程序被所述处理器执行，可实现如下步骤：
接收步骤：侦测并接收客户端发出的数据恢复请求；
预测步骤：响应所述数据恢复请求，获取预设时间内该服务器所属的服务器集群的每秒读写次数及吞吐量的历史值，根据所述历史值预测得到所述服务器集群的每秒读写次数及吞吐量的预测值，根据所述预测值和预设检测规则，判断所述服务器集群是否繁忙；
调整步骤：当判断所述服务器集群不繁忙时，根据所述每秒读写次数及吞吐量的预测值，计算出所述服务器集群可增加的数据恢复并发数，根据计算结果调整所述服务器集群的数据恢复并发数，当判断所述服务器集群繁忙时，根据预设的并发降低规则调整所述服务器集群的数据恢复并发数，并根据调整后的数据恢复并发数对所述数据恢复请求相关的存储节点进行数据恢复。
8.如权利要求7所述的服务器，其特征在于，所述接收步骤包括：
对发起所述数据恢复请求的客户端的用户进行用户身份信息鉴定，用户身份信息鉴定通过则执行所述预测步骤，用户身份信息鉴定失败则拒绝所述数据恢复请求并生成第二预警信息。
9.如权利要求7所述的服务器，其特征在于，所述数据恢复控制程序被所述处理器执行，还可实现如下步骤：
获取所述服务器集群的实时访问延时，计算出访问延时的降幅，当所述访问延时的降幅大于第三预设阈值时，保持当前的数据恢复并发数，当所述访问延时的降幅小于第三预设阈值时，按所述预设的并发降低规则调整所述服务器集群的数据恢复并发数。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括数据恢复控制程序，所述数据恢复控制程序被处理器执行时，可实现如权利要求1至6中任意一项所述数据恢复控制方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910008850.9A CN109857592B (zh) | 2019-01-04 | 2019-01-04 | 数据恢复控制方法、服务器及存储介质 |
| PCT/CN2019/088629 WO2020140369A1 (zh) | 2019-01-04 | 2019-05-27 | 数据恢复控制方法、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910008850.9A CN109857592B (zh) | 2019-01-04 | 2019-01-04 | 数据恢复控制方法、服务器及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109857592A CN109857592A (zh) | 2019-06-07 |
| CN109857592B true CN109857592B (zh) | 2023-09-15 |
Family
ID=66894016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910008850.9A Active CN109857592B (zh) | 2019-01-04 | 2019-01-04 | 数据恢复控制方法、服务器及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109857592B (zh) |
| WO (1) | WO2020140369A1 (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110427311B (zh) * | 2019-06-26 | 2020-07-28 | 华中科技大学 | 基于时序特征处理与模型优化的磁盘故障预测方法和系统 |
| CN110795284B (zh) * | 2019-10-25 | 2022-03-22 | 浪潮电子信息产业股份有限公司 | 一种数据恢复方法、装置、设备及可读存储介质 |
| CN112748851A (zh) * | 2019-10-30 | 2021-05-04 | 北京白山耘科技有限公司 | 数据读取方法、装置和系统 |
| CN111400241B (zh) * | 2019-11-14 | 2024-04-05 | 杭州海康威视系统技术有限公司 | 数据重构方法和装置 |
| CN110955728A (zh) * | 2019-11-28 | 2020-04-03 | 深圳市恒泰能源科技有限公司 | 用电数据传输方法、服务器及存储介质 |
| CN111309525B (zh) * | 2020-02-24 | 2023-01-06 | 苏州浪潮智能科技有限公司 | 一种控制数据恢复精度的方法、系统、设备及介质 |
| CN112153110B (zh) * | 2020-08-14 | 2023-04-14 | 咪咕文化科技有限公司 | 系统的请求处理方法、装置、电子设备及存储介质 |
| US11435930B2 (en) * | 2020-09-17 | 2022-09-06 | EMC IP Holding Company LLC | Intelligent recovery from multiple clouds copies |
| CN112506950A (zh) * | 2020-12-10 | 2021-03-16 | 深圳前海微众银行股份有限公司 | 数据聚合处理方法、计算节点、计算集群及存储介质 |
| CN113282571A (zh) * | 2021-05-26 | 2021-08-20 | 北京金山云网络技术有限公司 | 数据转移方法、装置、电子设备和存储介质 |
| CN113805800B (zh) * | 2021-08-08 | 2023-08-18 | 苏州浪潮智能科技有限公司 | 一种基于raid条带的写io的方法、装置、设备及可读介质 |
| CN114338816A (zh) * | 2021-12-22 | 2022-04-12 | 阿里巴巴（中国）有限公司 | 无服务器架构下的并发控制方法、装置、设备及存储介质 |
| CN114546852B (zh) * | 2022-02-21 | 2024-04-09 | 北京百度网讯科技有限公司 | 一种性能测试方法、装置、电子设备和存储介质 |
| CN115080370B (zh) * | 2022-06-17 | 2024-03-22 | 天翼数字生活科技有限公司 | 软件并发能力评估方法及装置、存储介质及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102024016A (zh) * | 2010-11-04 | 2011-04-20 | 天津曙光计算机产业有限公司 | 一种分布式文件系统快速数据恢复的方法 |
| CN103345435A (zh) * | 2013-06-28 | 2013-10-09 | 环境保护部华南环境科学研究所 | 数据备份、恢复的方法以及用于备份的目的服务器系统 |
| CN106254032A (zh) * | 2016-08-08 | 2016-12-21 | 上海交通大学 | 一种基于内容感知的资源调度方法 |
| CN107391633A (zh) * | 2017-06-30 | 2017-11-24 | 北京奇虎科技有限公司 | 数据库集群自动优化处理方法、装置及服务器 |
| CN109117306A (zh) * | 2018-07-24 | 2019-01-01 | 广东浪潮大数据研究有限公司 | 一种基于对象读写时延调整数据恢复速度的方法及装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10108520B2 (en) * | 2015-10-27 | 2018-10-23 | Tata Consultancy Services Limited | Systems and methods for service demand based performance prediction with varying workloads |
| CN105825428A (zh) * | 2016-04-22 | 2016-08-03 | 中国农业银行股份有限公司 | 一种面向商业银行的生产模拟测试方法和系统 |
| CN106304166B (zh) * | 2016-09-18 | 2020-02-11 | 上海斐讯数据通信技术有限公司 | 一种无线路由器并发用户数的测试系统及方法 |
| US10824455B2 (en) * | 2016-12-02 | 2020-11-03 | Nutanix, Inc. | Virtualized server systems and methods including load balancing for virtualized file servers |
| CN107480015B (zh) * | 2017-07-04 | 2020-12-01 | 网易（杭州）网络有限公司 | 负载测试方法、装置、系统、存储介质与压测服务器 |
| CN108551465B (zh) * | 2018-03-09 | 2020-06-09 | 平安科技（深圳）有限公司 | 服务器并发数控制方法、装置、计算机设备及存储介质 |
| CN109032914A (zh) * | 2018-09-06 | 2018-12-18 | 掌阅科技股份有限公司 | 资源占用数据预测方法、电子设备、存储介质 |
-
2019
- 2019-01-04 CN CN201910008850.9A patent/CN109857592B/zh active Active
- 2019-05-27 WO PCT/CN2019/088629 patent/WO2020140369A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102024016A (zh) * | 2010-11-04 | 2011-04-20 | 天津曙光计算机产业有限公司 | 一种分布式文件系统快速数据恢复的方法 |
| CN103345435A (zh) * | 2013-06-28 | 2013-10-09 | 环境保护部华南环境科学研究所 | 数据备份、恢复的方法以及用于备份的目的服务器系统 |
| CN106254032A (zh) * | 2016-08-08 | 2016-12-21 | 上海交通大学 | 一种基于内容感知的资源调度方法 |
| CN107391633A (zh) * | 2017-06-30 | 2017-11-24 | 北京奇虎科技有限公司 | 数据库集群自动优化处理方法、装置及服务器 |
| CN109117306A (zh) * | 2018-07-24 | 2019-01-01 | 广东浪潮大数据研究有限公司 | 一种基于对象读写时延调整数据恢复速度的方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 校园网服务器集群和备份技术应用研究;高新成;;长江大学学报(自然科学版)理工卷(04);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109857592A (zh) | 2019-06-07 |
| WO2020140369A1 (zh) | 2020-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109857592B (zh) | 数据恢复控制方法、服务器及存储介质 | |
| CN110378487B (zh) | 横向联邦学习中模型参数验证方法、装置、设备及介质 | |
| CN110826071B (zh) | 软件漏洞风险预测方法、装置、设备及存储介质 | |
| CN107451040B (zh) | 故障原因的定位方法、装置及计算机可读存储介质 | |
| US8516499B2 (en) | Assistance in performing action responsive to detected event | |
| US9443082B2 (en) | User evaluation | |
| CN110061987B (zh) | 一种基于角色和终端可信性的接入访问控制方法及装置 | |
| EP3549050B1 (en) | Method and computer product and methods for generation and selection of access rules | |
| CN110602135B (zh) | 网络攻击处理方法、装置以及电子设备 | |
| CN109543891B (zh) | 容量预测模型的建立方法、设备及计算机可读存储介质 | |
| CN108989468B (zh) | 一种信任网络构建方法及装置 | |
| CN111698303A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN108255703B (zh) | 一种sql脚本的故障修复方法及其终端 | |
| CN110222243B (zh) | 确定异常行为的方法、装置和存储介质 | |
| CN111181979B (zh) | 访问控制方法、装置、计算机设备和计算机可读存储介质 | |
| CN112804333A (zh) | 出块节点的异常处理方法、装置、设备和存储介质 | |
| JP2016051447A (ja) | 障害分析システム | |
| CN108255710B (zh) | 一种脚本的异常检测方法及其终端 | |
| CN114331446B (zh) | 区块链的链外服务实现方法、装置、设备和介质 | |
| CN112130936B (zh) | 基于轮询的数据调用方法、装置、设备及存储介质 | |
| CN114944016A (zh) | 一种电子签名的获取方法及装置 | |
| US20170149831A1 (en) | Apparatus and method for verifying detection rule | |
| CN108881272B (zh) | 一种适用于冗余信息系统的攻击面建模方法及装置 | |
| CN112069909A (zh) | 污水排放实时监测方法、装置及可读存储介质 | |
| CN112328996A (zh) | 基于dcs系统的操作认证方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |