CN111831389A - 一种数据处理方法、装置以及存储介质 - Google Patents

一种数据处理方法、装置以及存储介质 Download PDF

Info

Publication number
CN111831389A
CN111831389A CN201910330054.7A CN201910330054A CN111831389A CN 111831389 A CN111831389 A CN 111831389A CN 201910330054 A CN201910330054 A CN 201910330054A CN 111831389 A CN111831389 A CN 111831389A
Authority
CN
China
Prior art keywords
samples
read
determining
characteristic data
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910330054.7A
Other languages
English (en)
Inventor
邢睿智
张东
刘畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Shanghai Huawei Technologies Co Ltd
Original Assignee
Shanghai Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Huawei Technologies Co Ltd filed Critical Shanghai Huawei Technologies Co Ltd
Priority to CN201910330054.7A priority Critical patent/CN111831389A/zh
Publication of CN111831389A publication Critical patent/CN111831389A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45579—I/O management, e.g. providing access to device drivers or storage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45591—Monitoring or debugging support

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种数据处理方法，包括：获取当前检测周期内目标存储域上多个虚拟机的读写特征数据，当前检测周期包括N个时间片；分别根据N个时间片中每个时间片对应的读写特征数据，确定N个时间片对应的N个第一样本；根据N个第一样本和目标存储域的存储时延模型，确定N个第一样本的预测结果，存储时延模型是根据样本集进行训练得到的，样本集中包括目标存储域在历史检测周期内的历史检测样本，预测结果用于指示多个虚拟机的负载是否超过阈值。本申请技术方案能够预测当前PaaS层环境上虚拟机负载是否超过阈值，从而可以提升存储时延恶化的检测结果的准确性，并能将反馈结果反馈到PaaS层，使得PaaS层业务实现联动自闭环成为可能。

Description

一种数据处理方法、装置以及存储介质
技术领域
本发明涉及云计算技术领域，具体涉及一种数据处理方法、装置以及存储介质。
背景技术
云计算作为一种全新的互联网应用模式，以虚拟化技术为基础,以网络为载体提供基础架构、平台、软件等服务为形式,整合大规模可扩展的计算、存储、数据、应用等分布式计算资源进行协同工作的超级计算模式，逐渐成为人们获取服务和信息的主导方式。随着互联网技术(internet technology，IT)与电信网技术(community technology，CT)的融合和相关技术的不断成熟，网络设备虚拟化、云化的技术演进成为新的趋势。云计算主要包括三种服务模式，即基础架构即服务(infrastructure as a Service,IaaS)，平台即服务(platform as a Service,PaaS)，软件即服务(software as a service,SaaS)，其中，PaaS基于IaaS实现，SaaS的服务层次又在PaaS之上。虚拟化是云计算的重要支撑技术，是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。通过虚拟化，可以将应用程序和数据在不同层次以不同的方式展现给客户，为的使用者和开发者提供便利。
在云计算的环境下，数据中心(data center，DC)中的虚拟机共享IaaS层的物理存储空间，例如固态硬盘(solid state drive，SSD)、硬盘驱动器。I层的存储设备亚健康故障作为云计算环境下一种常见的故障模式，会导致PaaS层的业务性能及可靠性下降，严重时还可能导致系统挂死、业务阻塞、配置、开站、升级失败。存储设备亚健康故障产生的原因主要分为硬件和软件两个方面，例如，磁头老化、磁性退化、坏道、碎片、震动、节能设计等硬件和环境问题，文件系统、虚拟化层、存储网络以及应用层的大IO冲击等软件问题。
现有技术中存在的检测存储设备亚健康故障的方法主要有两种：第一种方法依赖于磁盘的硬件能力和云计算操作系统的监控能力，主要基于自我检测、分析及报告(self-monitoring analysis and reporting technology，SMART)技术，该技术能够通过硬盘硬件内的检测指令对硬盘的硬件如磁头、盘片、马达、电路的运行情况和磁道的安全状况进行监控、记录，并将监控数据与厂商所设定的预设安全值进行比较，若监控情况或已超出预设安全值的安全范围，则通过主机的监控硬件或软件自动向用户作出警告并进行轻微的自动修复，从而提前保障硬盘数据的安全。然而，并非所有DC的硬盘硬件都配置有smart技术，以及具备监控能力的操作系统，另外，SMART监控信息也无法反馈到PaaS层，使得PaaS层业务的联动自闭环无法实现。第二种方法是操作系统通过IOSTAT命令读取存储的输入输出(input/output,I/O)时延，判断存储的I/O时延是否大于配置的时延阈值的方式来判断存储亚健康故障时间的发生。通常为了避免误检测，该方法会设置较高的时延阈值，导致无法检测轻度时延恶化的问题，除此之外，这类方法只针对物理主机进行检测，不能针对具体的虚拟机做检测，无法准确区分在大量虚拟机同时启动情况下出现的共享存储的高I/O压力峰值所导致的存储时延恶化和硬件老化所导致的存储时延恶化，因此无法保证检测结果的准确性，另外，检测结果也无法反馈到PaaS层，PaaS层的业务无法实现联动自闭环。
发明内容
本发明实施例提供一种数据处理方法，能够预测当前PaaS层环境上的虚拟机的负载是否超过阈值，从而提升存储时延恶化检测结果的准确性，使得PaaS层的业务实现联动自闭环成为可能。
为了达到上述目的，本申请实施例提供如下技术方案：
本申请第一方面提供一种数据处理方法，包括：获取当前检测周期内目标存储域上多个虚拟机的读写特征数据，当前检测周期包括N个时间片，目标存储域可以是本地存储场景、共享存储场景或磁阵存储场景等任意一个存储场景中的一个存储域，每个存储场景中都可以包含一个或多个存储域，例如本地存储场景中的一个存储域为一个物理刀片，共享存储场景中的一个存储域为一组物理存储资源池，磁阵场景中的一个存储域为一个单磁阵，读写特征数据可以是虚拟机的存储I/O时延的相关特征，多个虚拟机的读写特征数据，可以是虚拟主机通过Linux标准命令的方法获取每个虚拟机的IOSTAT数据，然后从中选取的，虚拟主机在当前检测周期内获取目标存储域上多个虚拟机的读写特征数据，可以是在IaaS层的hostOS读写调度软件、磁盘控制器、物理磁盘等硬件以及存储网络不存在问题的情况下进行获取的；分别根据N个时间片中每个时间片对应的读写特征数据，确定N个时间片对应的N个第一样本；根据N个第一样本和目标存储域的存储时延模型，确定N个第一样本的预测结果，存储时延模型是根据样本集进行训练得到的，样本集中包括目标存储域在历史检测周期内的历史检测样本，预测结果用于指示多个虚拟机的负载是否超过阈值，当预测结果指示多个虚拟机的负载超过阈值时，多个虚拟机处于亚健康存储状态。由以上第一方面可知，通过在PaaS层对虚拟机的读写特征数据进行采集和处理，训练出目标存储域上的存储时延模型，并基于当前周期内虚拟机的读写特征数据所确定的被测样本和存储时延模型，预测当前PaaS层环境上的虚拟机的负载是否超过阈值，处于亚健康存储状态，从而可以提升检测存储时延恶化的准确性，使得PaaS层的业务实现联动自闭环成为可能。
可选地，结合上述第一方面，在第一种可能的实现方式中，分别根据N个时间片中每个时间片对应的读写特征数据，确定N个时间片对应的N个第一样本，可以包括：分别将每个时间片对应的读写特征数据进行数据合并，以得到N个第一样本，虚拟主机根据I/O读写的权重，对每个时间片上对应的读写特征数据进行加权合并。
可选地，结合上述第一方面或第一方面第一种可能的实现方式，在第二种可能的实现方式中，分别根据N个时间片中每个时间片对应的读写特征数据，确定N个时间片对应的N个第一样本之前，还可以包括：根据多个虚拟机的读写特征数据确定目标集合，目标集合包括多个虚拟机的读写特征数据中满足第一预设条件的读写特征数据，第一预设条件的设置是用于对获取的多个虚拟机的读写特征数据进行数据清洗，更正多个虚拟机的读写特征数据中可以识别的数据错误，识别和删除其中的重复数据、检测数据一致性或者处理无效值和缺失值等；对应地，分别根据N个时间片中每个时间片对应的读写特征数据，确定N个时间片对应的N个第一样本，包括：分别根据目标集合中每个时间片对应的读写特征数据，对应确定N个第一样本。由以上第一方面第二种可能的实现方式可知，通过对多个虚拟机的读写特征数据进行数据清洗，从而可以更正所采集的多个虚拟机的读写特征数据中可识别的数据错误，检测数据一致性或者处理无效值和缺失值，从而提升模型训练以及预测的准确性，更好的提升检测存储时延恶化的准确性。
可选地，结合上述第一方面、第一方面第一种或第一方面第二种可能的实现方式，在第三种可能的实现方式中，根据N个第一样本和目标存储域的存储时延模型，确定N个第一样本的预测结果，可以包括：从N个第一样本中确定P个第二样本，P个第二样本为N个第一样本的子集，P个第二样本中的每个第二样本在样本集中存在K个临近样本，P为小于等于N的自然数，从N个第一样本中确定存在K个临近样本P个第二样本，可以是首先通过距离函数，例如欧几里得距离函数，计算第一样本相对于样本集中每个历史检测样本的距离，最后得到距离满足阈值的K个临近样本；若P小于预置值，则确定预测结果为第一预测值，第一预测值用于指示多个虚拟机的负载不超过阈值，第一样本在样本集中可能存在K个临近样本，也可能不存在，不存在K个临近样本的第一样本无法检测，可以认为是存储时延正常的数据，当存在K个临近样本的第一样本，及P个第二样本的数目小于设定的预置值，可以认为多个虚拟机的负载不超过阈值；若P大于预置值，则根据每个第二样本及对应的K个临近样本，对应确定每个第二样本在对应的K个临近样本中的升序时延排名，每个第二样本与K个临近样本按照时延从小到大的顺序进行排名；确定P个第二样本的升序时延排名的分布特性，P个第二样本的升序时延排名的分布特性是指P个第二样本的升序时延排名的概率分布，健康存储状态下获取的待检测样本在K个临近样本中的升序时延排名有前有后，排名分散较为均匀，而亚健康存储状态下获取的待检测样本的升序时延排名基本上都靠后，因此可以基于P个第二样本的升序时延排名的分布特性对P个第二样本进行预测，可以通过累计分布函数得到P个第二样本的升序时延排名的分布特性，若P个第二样本为健康存储状态下获取的，则其对应的K个临近样本中的升序时延排名的累计分布函数的分布曲线趋近于线性；而亚健康存储状态下获取的P个第二样本，则其升序时延排名基本上都靠后，因此其对应的K个临近样本中的升序时延排名的累计分布函数的概率分布曲线是先缓后增的变化趋势；若分布特性满足第二预设条件，第二预设条件，可以是P个第二样本的累积分布函数与坐标系的遮罩面积S是否大于预设值，则确定预测结果为第一预测值；若分布特性不满足所述第二预设条件，则预测结果为第二预测值，第二预测值用于指示多个虚拟机的负载超过阈值。由以上第一方面第三种可能的实现方式可知，通过在PaaS层对虚拟机的读写特征数据进行采集和处理，训练出目标存储域上的存储时延模型，基于当前周期内虚拟机的读写特征数据确定的被测样本和存储时延模型，预测当前PaaS层环境上的虚拟机的负载是否超过阈值，处于亚健康存储状态，从而可以提升检测存储时延恶化的准确性，使得PaaS层的业务实现联动自闭环成为可能。
可选地，结合上述第三种可能的实现方式，在第四种可能的实现方式中，还可以包括：若预测结果为第一预测值，将N个第一样本添加至样本集，预测结果为第一预测值的第一样本为多个虚拟机处于健康存储状态下采集的样本，因此可以将处于健康存储状态下采集的样本填充到存储时延模型的样本集中，从而扩大模型训练以及预测的数据量，使得预测结果更加的准确，能够更好的提升检测存储时延恶化的准确性。
可选地，结合上述第一方面、第一方面第一种至第四种可能的实现方式，在第五种可能的实现方式中，所述读写特征数据可以包括：每秒完成的读I/O次数、每秒完成的写I/O次数、每秒读K字节数、每秒写K字节数和平均每次I/O读写操作的平均等待时间。
本申请第二方面提供一种数据处理装置，包括：获取单元，用于获取当前检测周期内目标存储域上多个虚拟机的读写特征数据，当前检测周期包括N个时间片；第一确定单元，用于分别根据获取单元获取的所述N个时间片中每个时间片对应的读写特征数据，确定N个时间片对应的N个第一样本；第二确定单元，用于根据第一确定单元确定的N个第一样本和目标存储域的存储时延模型，确定N个第一样本的预测结果，存储时延模型是根据样本集进行训练得到的，样本集中包括目标存储域在历史检测周期内的历史检测样本，预测结果用于指示多个虚拟机的负载是否超过阈值。
可选地，结合上述第二方面，在第一种可能的实现方式中，该第一确定单元，用于分别将获取单元获取的每个时间片对应的读写特征数据进行数据合并，以得到N个第一样本。
可选地，结合上述第二方面或第二方面第一种可能的实现方式，在第二种可能的实现方式中，该装置还包括：第三确定单元，用于根据获取单元获取的多个虚拟机的读写特征数据确定目标集合，目标集合包括多个虚拟机的读写特征数据中满足第一预设条件的读写特征数据；对应地，第一确定单元，用于分别根据第三确定单元确定的目标集合中每个时间片对应的读写特征数据，对应确定N个第一样本。
可选地，结合上述第二方面、第二方面第一种或第二方面第二种可能的实现方式，在第三种可能的实现方式中，该第二确定单元，用于从第一确定单元确定的N个第一样本中确定P个第二样本，P个第二样本为N个第一样本的子集，P个第二样本中的每个第二样本在样本集中存在K个临近样本，P为小于等于N的自然数；若P小于预置值，则确定预测结果为第一预测值，第一预测值用于指示多个虚拟机的负载不超过阈值；若P大于预置值，则根据每个第二样本及对应的K个临近样本，对应确定每个第二样本在对应的K个临近样本中的升序时延排名；确定P个第二样本的升序时延排名的分布特性；若分布特性满足第二预设条件，则确定预测结果为第一预测值；若分布特性不满足第二预设条件，则预测结果为第二预测值，第二预测值用于指示多个虚拟机的负载超过阈值。
可选地，结合上述第三种可能的实现方式，在第四种可能的实现方式中，该装置还包括：添加单元，用于当第二确定单元确定的预测结果为第一预测值时，将N个第一样本添加至样本集。
本申请第三方面提供一种计算机设备，该计算机设备包括处理器和存储有计算机程序的计算机可读存储介质；处理器与计算机可读存储介质耦合，计算机程序被处理器执行时实现第一方面及第一方面的任一可能的实现方式中提供的数据处理方法。
本申请第四方面提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在终端上运行时，使得终端可以执行上述第一方面或第一方面任意一种可能实现方式的数据处理方法。
本申请第五方面提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机可以执行上述第一方面或第一方面任意一种可能实现方式的数据处理方法。
本发明实施例采用一种数据处理方法，通过在PaaS层对虚拟机的读写特征数据进行采集和处理，训练出目标存储域上的存储时延模型，基于当前周期内虚拟机的读写特征数据确定的被测样本和存储时延模型，能够预测当前PaaS层环境上的虚拟机的负载是否超过阈值，不但能够提升存储时延恶化的检测结果的准确性，还能将反馈结果反馈到PaaS层，使得PaaS层业务实现联动自闭环成为可能。
附图说明
图1是本申请实施例提供的一种虚拟网络设备系统的架构示意图；
图2是本申请实施例中提供的数据处理方法的一个实施例示意图；
图3是本申请实施例中提供的数据处理方法的一个实施例示意图；
图4是本申请实施例提供的存储时延模型的训练与预测方法的一个实施例示意图；
图5是本申请实施例提供的寻找待检测样本的K个临近样本的示意图；
图6是本申请实施例中提供的正常数据和慢盘数据的升序时延排名概率分布曲线的一个实施例示意图；
图7是本申请实施例提供的数据处理装置的一个实施例示意图；
图8是本申请实施例提供的计算机系统/服务器的结构示意图。
具体实施方式
下面结合附图，对本发明的实施例进行描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。本领域普通技术人员可知，随着云计算框架的演变和新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
本发明实施例提供一种数据处理方法，通过在PaaS层对虚拟机的读写特征数据进行采集和处理，训练出目标存储域上的存储时延模型，基于当前周期内虚拟机的读写特征数据确定的被测样本和存储时延模型，预测当前PaaS层环境上的虚拟机的负载是否超过阈值，处于亚健康存储状态，从而可以提升检测存储时延恶化的准确性，使得PaaS层的业务实现联动自闭环成为可能。本发明实施例还提供相应的装置和存储介质。以下分别进行详细说明。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示，为虚拟网络设备系统的架构示意图，该虚拟网络设备系统包括多个虚拟机(virtual machine，VM)、虚拟主机(virtual host)以及硬件。
在本申请实施例中，虚拟机指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。在一些可行的实施例中，虚拟机技术是虚拟化技术中的一种，所谓虚拟化技术就是将事物从一种形式转变成另一种形式，最常用的虚拟化技术有操作系统中内存的虚拟化，实际运行时用户需要的内存空间可能远远大于物理机器的内存大小，利用内存的虚拟专用网络技术在公共网络中虚拟化一条安全，稳定的“隧道”，用户感觉像是使用私有网络一样。
虚拟主机，也可以称为共享主机或虚拟服务器，是指在网络服务器上分出一定的磁盘空间，用户可以租用此部分空间，以供用户放置站点及应用组件，提供必要的数据存放和传输功能。虚拟主机技术是互联网服务器采用节省服务器硬件成本的技术，虚拟主机技术主要应用于超文本传输协议服务，将一台服务器的某项或者全部服务内容逻辑划分为多个服务单位，对外表现为多个服务器，从而充分利用服务器硬件资源。
虚拟主机是使用特殊的软硬件技术，把一台真实的物理服务器主机分割为多个逻辑存储单元。每个逻辑单元都没有物理实体，但是每个逻辑单元都能像真实的物理主机一样在网络上工作，具有单独的IP地址或共享的IP地址、独立的域名以及完整的Internet服务器功能。虚拟主机的关键技术在于，即使在同一台硬件、同一个操作系统上，运行着为多个用户打开的不同的服务器程式，也互不干扰。而各个用户拥有自己的一部分系统资源(IP地址、文档存储空间、内存、CPU等)。各个虚拟主机之间完全独立，在外界看来，每一台虚拟主机和一台单独的主机的表现完全相同。这种被虚拟化的逻辑主机被称为“虚拟主机”。
本申请实施例中，一个虚拟主机为一个或多个虚拟机服务，连接着多个虚拟机同时连接着硬件，起着为虚拟机和硬件之间传输信息的作用。例如，如图1所示，一个虚拟主机服务于两个虚拟机，可以理解的是，图1仅为示例，不应理解为本申请的限制。在一些可行的实施例中，虚拟主机可以包括虚拟设备，该虚拟设备可以包括网桥、内部网桥以及物理上联口相连的网桥。在一些可行的实施例中，虚拟主机还可以包括虚拟端口vNIC和物理端口NIC，虚拟端口用于与虚拟机连接并传输数据，物理端口用于于硬件连接。虚拟机的结构可以包括客户端操作系统，虚拟光驱和虚拟端口，虚拟机与虚拟端口与虚拟主机通过虚拟端口连接。
本申请实施例基于上述的虚拟网络设备的架构，通过在PaaS层部署检测系统，对虚拟机的读写特征数据进行采集和处理，训练出目标存储域上的存储时延模型，基于当前周期内虚拟机的读写特征数据确定的被测样本和存储时延模型，预测当前PaaS层环境上的虚拟机的负载是否超过阈值，处于亚健康存储状态，从而可以提升检测存储时延恶化的准确性，使得PaaS层的业务实现联动自闭环成为可能。
图2为本申请实施例中提供的数据处理方法的一个实施例示意图。
参阅图2，本申请实施例提供的数据处理方法的一个实施例，可以包括：
201、虚拟主机获取当前检测周期内目标存储域上多个虚拟机的读写特征数据，当前检测周期包括N个时间片。
本申请实施例可以应用于本地存储场景、共享存储场景或磁阵场景等多个存储场景，每个存储场景中都可以包含一个或多个存储域。其中本地存储场景中的一个存储域为一个物理刀片，共享存储场景中的一个存储域为一组物理存储资源池，磁阵场景中的一个存储域为一个单磁阵。本申请实施例中的目标存储域为某个存储场景中的多个存储域中的任意一个存储域。例如，本申请实施例应用于本地存储场景中，本地存储资源包括3个物理刀片，目标存储域为可以是3个物理刀片中的任意一个，需要说明的是，此处只是示例性说明，不应理解为对本申请的限制。
本申请实施例中的读写特征数据可以是虚拟机的存储I/O时延的相关特征，虚拟主机在当前检测周期内获取目标存储域上多个虚拟机的读写特征数据，可以是在IaaS层的hostOS读写调度软件、磁盘控制器、物理磁盘等硬件以及存储网络不存在问题的情况下进行获取的，虚拟主机获取多个虚拟机的读写特征数据，可以是通过Linux标准命令的方法获取每个虚拟机的IOSTAT数据，然后从中选取与存储I/O时延相关的读写特征数据。例如，虚拟主机通过Linux标准命令及方法，在当前检测周期内获取所有虚拟机的IOSTAT数据，并从中选取相应的读写特征数据，这些数据对应于不同的存储域，虚拟主机可以通过标记虚拟机标识和存储域标识的方法对获取的数据进行标识，对于每个存储域，虚拟主机都可以通过存储域标识，对获取的各个读写特征数据进行聚类，从而获取当前检测周期内目标存储域对应的多个虚拟机的读写特征数据。本申请实施例中，当前检测周期包含N个时间片，可选地，可以是将当前检测周期平均划分为N个时间间隔，每个时间间隔对应于一个时间片。
202、虚拟主机分别根据N个时间片中每个时间片对应的读写特征数据，确定N个时间片对应的N个第一样本。
本申请实施例中，在获取当前检测周期内目标存储域上的多个虚拟机的读写特征数据之后，虚拟主机分别根据每个时间片上对应的读写特征数据，确定每个时间片对应的第一样本，由于当前检测周期存在N个时间片，因此分别对应N个第一样本，每个第一样本为一个待检测样本。例如，当前检测周期被划分为10个时间片，其中，虚拟主机在第一个时间片上获取的读写特征数据为50个，因此虚拟主机根据第一时间片上的50个读写特征数据，确定第一时间片上对应的第一样本，最终得到10个时间片上对应的10个第一样本。
203、虚拟主机根据N个第一样本和所述目标存储域的存储时延模型，确定N个第一样本的预测结果，存储时延模型是根据样本集进行训练得到的，样本集中包括目标存储域在历史检测周期内的历史检测样本，预测结果用于指示多个虚拟机的负载是否超过阈值。
本申请实施例中，虚拟主机在确定当前周期的N个第一样本之后，将N个第一样本代入目标存储域对应的存储时延模型，最终得到其对应的预测结果，根据预测结果，虚拟主机可以确定当前检测周期检测的多个虚拟机的负载是否超过阈值。本申请实施例中，若多个虚拟机的负载超过阈值，则代表多个虚拟机处于亚健康存储状态。本申请实施例中的样本集中包括历史检测周期内的历史检测样本，存储时间模型是虚拟主机在历史检测周期内，根据历史检测样本训练得到的。
本申请实施例通过在PaaS层对虚拟机的读写特征数据进行采集和处理，训练出目标存储域上的存储时延模型，并基于当前周期内虚拟机的读写特征数据所确定的被测样本和存储时延模型，预测当前PaaS层环境上的虚拟机的负载是否超过阈值，处于亚健康存储状态，从而可以提升检测存储时延恶化的准确性，使得PaaS层的业务实现联动自闭环成为可能。
图3为本申请实施例中提供的数据处理方法的一个实施例示意图。
参阅图3，本申请实施例提供的数据处理方法的一个实施例，可以包括：
301、虚拟主机获取当前检测周期内目标存储域上多个虚拟机的读写特征数据，当前检测周期包括N个时间片。
本申请实施例中，虚拟主机需要获取当前检测周期内目标存储域上多个虚拟机的读写特征数据。本申请实施例中，当前检测周期包含N个时间片，具体的，可以是将当前检测周期平均划分为N个时间间隔，每个时间间隔对应于一个时间片。
本申请实施例中的读写特征数据可以是虚拟机的存储I/O时延的相关特征，虚拟主机在当前检测周期内获取目标存储域上多个虚拟机的读写特征数据，可以是在IaaS层的hostOS读写调度软件、磁盘控制器、物理磁盘等硬件以及存储网络不存在问题的情况下进行获取的。虚拟主机获取多个虚拟机的读写特征数据，可以是通过Linux标准命令的方法获取每个虚拟机的IOSTAT数据，然后从中选取与存储I/O时延相关的读写特征数据。例如，虚拟主机通过Linux标准命令及方法，在当前检测周期内获取所有虚拟机的IOSTAT数据，并从中选取相应的读写特征数据，这些数据对应于不同的存储域，虚拟主机可以通过标记各个虚拟机和各个存储域的方式对获取的数据进行区分。
具体的，本申请实施例的虚拟机是虚拟机(Virtual Machine，VM)，本申请实施例中的读写特征数据可以是如表1中所示的{X1,X2,X3,X4,y1}五个与虚拟机读写时延相关的特征。
表1读写特征数据的数据标记的属性含义
特征值 特征值名称 特征值含义
X1 r/s 每秒完成的读I/O设备次数
X2 w/s 每秒完成的写I/O设备次数
X3 rkB/s 每秒读K字节数
X4 wkB/s 每秒写K字节数
y1 await 平均每次设备I/O读写操作的平均等待时间(毫秒)
VM<sub>n</sub> 虚拟机标识 IOSTAT采集数据对应的虚拟机ID
Storage<sub>m</sub> 存储域 IOSTAT采集数据对应的存储域标识
虚拟主机通过Linux标准命令以及方法获取虚拟机IOSTAT数据，并选取其中的该五个特征进行标记，与此同时标记虚拟机标识和存储域标识，每一个数据可以标记为{{X1,X2,X3,X4,y1},vmn，Storagen}。在对当前检测周期内获取所有虚拟机的读写特征数据进行采集和标记之后，根据每个读写特征数据的存储域标识，获取目标存储域上的多个虚拟机的读写特征数据。
本申请实施例的存储场景可以是本地存储场景、共享存储场景或磁阵场景等多个存储场景，每个存储场景中都可以包含一个或多个存储域。其中本地存储场景中的一个存储域为一个物理刀片，共享存储场景中的一个存储域为一组物理存储资源池，磁阵场景中的一个存储域为一个单磁阵。本申请实施例中的目标存储域为某个存储场景中的多个存储域中的任意一个存储域，例如，本申请实施例应用于本地存储场景中，若本地存储资源包括3个物理刀片，目标存储域为可以是3个物理刀片中的任意一个，三个物理刀片可以分别被标记为storage1、storage2和storage3。
302、虚拟主机根据多个虚拟机的读写特征数据确定目标集合，目标集合包括多个虚拟机的读写特征数据中满足第一预设条件的读写特征数据。
本申请实施例中，虚拟主机在获取当前检测周期内目标存储域上多个虚拟机的读写特征数据之后，从多个虚拟机的读写特征数据中确定满足第一预设条件的读写特征数据的目标集合。本申请实施例中的第一预设条件的设置是用于对获取的多个虚拟机的读写特征数据进行数据清洗，更正多个虚拟机的读写特征数据中可以识别的数据错误，识别和删除其中的重复数据、检测数据一致性或者处理无效值和缺失值等。例如，当本申请实施例中的读写特征数据为步骤201中表1中示出的{X1,X2,X3,X4,y1}时，本申请实施例中的第一预设条件可以是X1,X2,X3,X4均不等于0，虚拟主机从多个虚拟机的读写特征数据选择出满足该第一预设条件的读写特征数据，从而得到目标集合，即目标集合中的读写特征数据，X1,X2,X3,X4均不等于0。可以理解的是，本申请实施例中的第一预设条件也可以是其他的规则，本申请实施例对此不做限定。
303、虚拟主机分别根据目标集合中N个时间片中每个时间片对应的读写特征数据，确定N个时间片对应的N个第一样本。
本申请实施例中，虚拟主机在从多个虚拟机的读写特征数据中确定满足第一预设条件的读写特征数据的目标集合之后，分别根据目标集合中所有的读写特征数据的获取时间，确定每个时间片对应的读写特征数据，并根据每个时间片对应的读写特征数据确定每个时间片对应的第一样本。当前检测周期存在N个时间片，因此分别对应N个第一样本，每个第一样本为一个待检测样本。
可选地，本申请实施例中，虚拟主机分别根据目标集合中每个时间片对应的读写特征数据，确定N个时间片对应的N个第一样本，可以是分别将每个时间片对应的读写特征数据进行数据合并，从而得到N个第一样本。例如，本申请实施例中的读写特征数据为表1中的与虚拟机读写时延相关的五个特征{X1,X2,X3,X4,y1}，当前检测周期被划分为10个时间片，其中，虚拟主机在第一个时间片上获取的读写特征数据为n个，其中，第i个读写特征数据为{Xi 1,Xi 2,Xi 3,Xi 4,yi 1}，虚拟主机将第一时间片上的n个读写特征数据进行数据合并，得到第一时间片上对应的第一样本，具体地，虚拟主机可以是按照规则1对n个读写特征数据进行数据合并，最终得到这n个读写特征数据的合并值R＝{X1',X2',X3',X4',y1'}，该合并值即为第一时间片对应的第一样本，最终虚拟主机得到10个时间片对应的10个第一样本。本申请实施例中规则1的一种具体的实施方式可以是：
Figure BDA0002037412320000091
即：合并值R中的特征值X1',X2',X3'以及X4'由第一个时间片上获取的n个读写特征数据中对应特征值的进行累加得到的累加值，y1'是按照读写权重得到的n个对应特征值的加权平均值。
需要说明的是，本申请实施例提供的规则1的实施方式仅为本申请实施例中数据合并方法的一个示例，不应理解为对本申请实施例的限制。
304、虚拟主机根据N个第一样本和目标存储域的存储时延模型，确定N个第一样本的预测结果，存储时延模型是根据样本集进行训练得到的，样本集中包括目标存储域在历史检测周期内的历史检测样本，预测结果用于指示多个虚拟机的负载是否超过阈值。
本申请实施例中，虚拟主机在确定当前周期的N个第一样本之后，将N个第一样本代入目标存储域对应的存储时延模型，最终得到其对应的预测结果，根据预测结果，虚拟主机可以确定当前检测周期检测的多个虚拟机的负载是否超过阈值。本申请实施例中的样本集中包括历史检测周期内的历史检测样本，存储时延模型是虚拟主机在历史检测周期内，根据历史检测样本训练得到的。本申请实施例中虚拟主机根据N个第一样本和目标存储域的存储时延模型，确定N个第一样本的预测结果，具体可以参阅图3进行理解。
图4为本申请实施例提供的存储时延模型的训练与预测方法的一个实施例示意图。
参阅图4，本申请实施例提供的存储时延模型的训练与预测方法的一个实施例，可以包括：
401、从N个第一样本中确定P个第二样本，P个第二样本为N个第一样本的子集，P个第二样本中的每个第二样本在样本集中存在K个临近样本，P为小于等于N的自然数。
本申请实施例中的样本集中包括虚拟主机在历史检测周期内对存储时延模型进行训练的过程中获取的历史检测样本，本申请实施例的样本集中的历史检测样本的获取方法与图3中的步骤301-步骤303中的获取方法相同，历史检测样本为通过存储时延模型进行预测，得到的预测结果指示对应的多个虚拟机的负载不超过阈值，即不处于亚健康存储状态的样本，即样本集中的历史检测样本为多个虚拟机处于健康存储状态下所获取的样本。
本申请实施例中，在虚拟主机获取当前检测周期内的N个第一样本之后，首先对每个第一样本在样本集中寻找K个临近样本。具体的，在样本集中寻找第一样本的K个临近样本的方法可以是采用K近邻算法确定第一样本的K个临近样本，可以首先通过距离函数，例如欧几里得距离函数，计算第一样本相对于样本集中每个历史检测样本的距离，最后得到距离满足阈值的K个临近样本。图5示出了本申请实施例中从样本集中寻找待检测样本的K个临近样本的示意图。
本申请实施例中，第一样本在样本集中可能存在K个临近样本，也可能不存在，不存在K个临近样本的第一样本无法检测，可以认为是存储时延正常的数据。N个第一样本可能全部都存在K个临近样本，也可能只有部分存在K个临近样本，还有可能都不存在K个临近样本。因此，N个第一样本中存在P个第一样本在样本集中存在K个临近样本，这P个存在K个临近样本的第一样本即为P个第二样本。
402、若P小于预置值，则确定预测结果为第一预测值，第一预测值用于指示多个虚拟机的负载小于阈值。
本申请实施例中，虚拟主机针对每个第一样本，在样本集中寻找K个临近样本之后确定P个第二样本，即存在K个临近样本的P个第一样本。若P小于预置值，则确定预测结果为第一预测值，即多个虚拟机的负载小于阈值，不处于亚健康存储状态。例如，预置值为N/2，即当虚拟主机对每个第一样本在样本集中寻找K个临近样本之后，判断N个第一样本中有超过50％的第一样本都不存在K个临近样本，即超过50％的第一样本都是存储时延正常的数据，则虚拟主机返回预测结果为第一预测值“0”，第一预测值“0”表示当前周期内目标存储域对应的多个虚拟机均处于健康状态；当第一预测值为“0”时，第二预测值可以是“1”，第二预测值“1”表示当前周期内目标存储域对应的多个虚拟机的负载超过阈值，均处于亚健康存储状态。可以理解的是，上述对本申请实施例中预置值及第一预测值和第二预测值的描述仅为示例性描述，不应理解为本申请实施例的限定。本申请实施例中，若第一样本在样本集中不存在K个临近样本，虚拟主机还可以将不存在K个临近样本的第一样本添加至存储时延模型的样本集中。
403、若P大于预置值，则根据每个第二样本及对应的K个临近样本，对应确定每个第二样本在对应的K个临近样本中的升序时延排名。
本申请实施例中，虚拟主机针对每个第一样本，在样本集中寻找K个临近样本之后确定P个第二样本，即存在K个临近样本的P个第一样本。若P大于预置值，则虚拟主机需要根据每个第二样本及每个第二样本对应的K个临近样本，对应确定每个第二样本在对应的K个临近样本中的升序时延排名。例如：预置值为N/2，即当虚拟主机对每个第一样本在样本集中寻找K个临近样本之后，判断N个第一样本中有超过50％的第一样本都存在K个临近样本，则针对该P个第二样本，根据每个第二样本对应的K个临近样本，可以确定每个第二样本在K个临近样本中的升序时延排名。具体地，某个第二样本为R＝{X1',X2',X3',X4',Y'}，根据该第二样本的特征YR’，以及该第二样本的K个临近样本的特征Y1’～Yk’,确定YR’在{Y1’，…,Yk’，YR’}中的排名，例如，排名可以是O1。最终，虚拟主机得到P个第二样本中每个样本在对应的K个临近样本中的升序时延排名{O1，…,OP}。
404、确定P个第二样本的升序时延排名的分布特性。
本申请实施例中，虚拟主机在确定每个第二样本在对应的K个临近样本中的升序时延排名之后，根据P个第二样本的升序时延排名，确定P个第二样本的升序时延排名的分部特性。本申请实施例中，P个第二样本的升序时延排名的分布特性是指P个第二样本的升序时延排名的概率分布。由于健康存储状态下获取的待检测样本为“正常数据”，在K个临近样本中的升序时延排名有前有后，排名分散较为均匀，而亚健康存储状态下获取的待检测样本为“慢盘数据”，若P个第二样本为“慢盘数据”，则其升序时延排名基本上都靠后。因此可以基于P个第二样本的升序时延排名的分布特性对P个第二样本进行预测。
可选地，本申请实施例中P个第二样本的升序时延排名的分布特性可以通过累计分布函数得到，例如，本申请实施例中P＝10，即有10个第二样本存在K个临近样本，假设本申请实施例采用的K临近算法中超参K设置为50，10个第二样本在对应的50个临近样本中的升序时延排名可以用序列O来表示，序列O＝{11,25,36,45,46,47,48,44,40,50}，最后采用累积分布函数的相关算法，得到序列O＝{11,25,36,45,46,47,48,44,40,50}的累计分布函数，根据序列O的累计分部函数得到的P个第二样本的升序时延排名的分部特性，最终得到的序列O的累计分部函数与虚拟机获取的读写特征数据的数量，特征取值等均完全无关。需要说明的是，使用相关算法得到序列O的累计分部函数是现有技术中的内容，本申请实施例在此不进行赘述，对于具体的规则与计算方法也不做限定。由于健康存储状态下获取的待检测样本为“正常数据”，在K个临近样本中的升序时延排名有前有后，排名分散比较均匀，因此若P个第二样本为“正常数据”，则其对应的K个临近样本中的升序时延排名的累计分布函数的分布曲线趋近于线性；而亚健康存储状态下获取的待检测样本为“慢盘数据”，若P个第二样本为“慢盘数据”，则其升序时延排名基本上都靠后，因此其对应的K个临近样本中的升序时延排名的累计分布函数的概率分布曲线是先缓后增的变化趋势，如图6中示出的正常数据和慢盘数据的升序时延排名概率分布曲线的一个实施例示意图。
405、若分布特性满足第二预设条件，则确定预测结果为第一预测值。
本申请实施例中，虚拟主机在确定P个第二样本的升序时延排名的分部特性之后，判断P个第二样本的升序时延排名的分部特性是否满足第二预设条件。具体地，本申请实施例中P个第二样本的升序时延排名的分布特性可以是通过累计分布函数得到的，P个第二样本的升序时延排名的分布特性满足第二预设条件，可以是P个第二样本的累积分布函数与坐标系的遮罩面积S是否大于预设值。P个第二样本的累积分布函数与坐标系的遮罩面积S可以参阅图6中的阴影部分“S”进行理解。例如预置值为S*，第二预设条件为遮罩面积S大于预置值S*，此时，若遮罩面积S大于预设值S*，则分部特征满足第二预设条件，则可以确定预测结果为第一预测值，即确定当前周期内目标存储域对应的多个虚拟机均处于健康状态。
可选地，本申请实施例中，若本申请实施例中的预测结果为第一预测值时，虚拟主机可以将N个第一样本添加到存储时延模型的样本集中。
406、若分布特性不满足第二预设条件，则预测结果为第二预测值，第二预测值用于指示多个虚拟机的负载超过阈值。
本申请实施例中，若P个第二样本的升序时延排名的分部特性是否满足第二预设条件，具体地，本申请实施例中P个第二样本的升序时延排名的分布特性可以是通过累计分布函数得到的，P个第二样本的升序时延排名的分布特性满足第二预设条件第二预设条件，可以是P个第二样本的累积分布函数与坐标系的遮罩面积S是否满足预置值。例如预设值为S*，第二预设条件为遮罩面积S大于预设值S*，此时，若遮罩面积S小于预设值S*，则分部特征不满足第二预设条件，则可以确定预测结果为第二预测值，即确定当前周期内目标存储域对应的多个虚拟机的负载超过阈值，均处于亚健康存储状态。
本申请实施例中，通过在PaaS层对虚拟机的读写特征数据进行采集和处理，训练出目标存储域上的存储时延模型，基于当前周期内虚拟机的读写特征数据确定的被测样本和存储时延模型，预测当前PaaS层环境上的虚拟机的负载是否超过阈值，处于亚健康存储状态，从而可以提升检测存储时延恶化的准确性，使得PaaS层的业务实现联动自闭环成为可能。
上述对本申请实施例提供的数据处理方法进行了介绍，接下来将介绍本申请实施例提供的数据处理的装置，请参阅图7。
图7为本申请实施例提供的数据处理装置50的一个实施例示意图。
参阅图7，本申请实施例中提供的数据处理装置50的一个实施例，可以包括：
获取单元501，用于获取当前检测周期内目标存储域上多个虚拟机的读写特征数据，所述当前检测周期包括N个时间片；
第一确定单元502，用于分别根据所述获取单元501获取的所述N个时间片中每个时间片对应的读写特征数据，确定所述N个时间片对应的N个第一样本；
第二确定单元503，用于根据所述第一确定单元502确定的所述N个第一样本和所述目标存储域的存储时延模型，确定所述N个第一样本的预测结果，所述存储时延模型是根据样本集进行训练得到的，所述样本集中包括所述目标存储域在历史检测周期内的历史检测样本，所述预测结果用于指示所述多个虚拟机的负载是否超过阈值。
本申请实施例通过在PaaS层对虚拟机的读写特征数据进行采集和处理，训练出目标存储域上的存储时延模型，并基于当前周期内虚拟机的读写特征数据所确定的被测样本和存储时延模型，预测当前PaaS层环境上的虚拟机的负载是否超过阈值，处于亚健康存储状态，从而可以提升检测存储时延恶化的准确性，使得PaaS层的业务实现联动自闭环成为可能。
可选地，所述第一确定单元502，用于：
分别将所述获取单元501获取的所述每个时间片对应的读写特征数据进行数据合并，以得到所述N个第一样本。
可选地，所述数据处理装置50，还包括：
第三确定单元504，用于根据所述获取单元501获取的所述多个虚拟机的读写特征数据确定目标集合，所述目标集合包括所述多个虚拟机的读写特征数据中满足第一预设条件的读写特征数据；
对应地，所述第一确定单元502，用于分别根据所述第三确定单元504确定的所述目标集合中所述每个时间片对应的读写特征数据，对应确定所述N个第一样本。
可选地，所述第二确定单元503，用于：
从所述第一确定单元502确定的所述N个第一样本中确定P个第二样本，所述P个第二样本为所述N个第一样本的子集，所述P个第二样本中的每个第二样本在所述样本集中存在K个临近样本，P为小于等于N的自然数；若所述P小于预置值，则确定所述预测结果为第一预测值，所述第一预测值用于指示所述多个虚拟机的负载不超过阈值；若所述P大于预置值，则根据所述每个第二样本及对应的K个临近样本，对应确定所述每个第二样本在对应的K个临近样本中的升序时延排名；确定所述P个第二样本的升序时延排名的分布特性；若所述分布特性满足第二预设条件，则确定所述预测结果为所述第一预测值；若所述分布特性不满足所述第二预设条件，则所述预测结果为第二预测值，所述第二预测值用于指示所述多个虚拟机的负载超过阈值。
可选地，所述数据处理装置50，还包括：
添加单元505，用于当所述第二确定单元503确定的所述预测结果为所述第一预测值时，将所述N个第一样本添加至所述样本集。
以上对数据处理装置50的描述可以参阅前述实施例中数据处理方法的相应部分内容进行理解，本处不再重复赘述。
图8是本申请实施例提供的计算机系统/服务器60的结构示意图。图8显示的计算机系统/服务器60仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，计算机系统/服务器60以通用计算设备的形式表现。计算机系统/服务器60的组件可以包括但不限于：一个或一个以上中央处理器(central processing units，CPU)622(例如，一个或一个以上处理器)和存储器632，一个或一个以上存储应用程序642或数据644的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器632和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器622可以设置为与存储介质630通信，在计算机系统/服务器60上执行存储介质630中的一系列指令操作。
该中央处理器622可以根据指令操作执行如下步骤：
获取当前检测周期内目标存储域上多个虚拟机的读写特征数据，所述当前检测周期包括N个时间片；
分别根据所述N个时间片中每个时间片对应的读写特征数据，确定所述N个时间片对应的N个第一样本；
根据所述N个第一样本和所述目标存储域的存储时延模型，确定所述N个第一样本的预测结果，所述存储时延模型是根据样本集进行训练得到的，所述样本集中包括所述目标存储域在历史检测周期内的历史检测样本，所述预测结果用于指示所述多个虚拟机的负载是否超过阈值。
可选地，中央处理器622，用于分别将所述每个时间片对应的读写特征数据进行数据合并，以得到所述N个第一样本。
可选地，中央处理器622，还用于根据所述多个虚拟机的读写特征数据确定目标集合，所述目标集合包括所述多个虚拟机的读写特征数据中满足第一预设条件的读写特征数据；对应地，分别根据所述目标集合中所述每个时间片对应的读写特征数据，对应确定所述N个第一样本。
可选地，中央处理器622，用于从所述N个第一样本中确定P个第二样本，所述P个第二样本为所述N个第一样本的子集，所述P个第二样本中的每个第二样本在所述样本集中存在K个临近样本，P为小于等于N的自然数；若所述P小于预置值，则确定所述预测结果为第一预测值，所述第一预测值用于指示所述多个虚拟机的负载不超过阈值；若所述P大于预置值，则根据所述每个第二样本及对应的K个临近样本，对应确定所述每个第二样本在对应的K个临近样本中的升序时延排名；确定所述P个第二样本的升序时延排名的分布特性；若所述分布特性满足第二预设条件，则确定所述预测结果为所述第一预测值；若所述分布特性不满足所述第二预设条件，则所述预测结果为第二预测值，所述第二预测值用于指示所述多个虚拟机的负载超过阈值。
可选地，中央处理器622，还用于当所述预测结果为所述第一预测值时，将所述N个第一样本添加至所述样本集。
计算机系统/服务器60还可以包括一个或一个以上电源626，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口658，和/或，一个或一个以上操作系统641，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由虚拟主机所执行的步骤可以基于该图8所示的计算机系统/服务器结构。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
以上对本发明实施例所提供的数据处理方法、装置及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种数据处理方法，其特征在于，包括：
获取当前检测周期内目标存储域上多个虚拟机的读写特征数据，所述当前检测周期包括N个时间片；
分别根据所述N个时间片中每个时间片对应的读写特征数据，确定所述N个时间片对应的N个第一样本；
根据所述N个第一样本和所述目标存储域的存储时延模型，确定所述N个第一样本的预测结果，所述存储时延模型是根据样本集进行训练得到的，所述样本集中包括所述目标存储域在历史检测周期内的历史检测样本，所述预测结果用于指示所述多个虚拟机的负载是否超过阈值。
2.根据权利要求1所述的方法，其特征在于，所述分别根据所述N个时间片中每个时间片对应的读写特征数据，确定所述N个时间片对应的N个第一样本，包括：
分别将所述每个时间片对应的读写特征数据进行数据合并，以得到所述N个第一样本。
3.根据权利要求1或2所述的方法，其特征在于，所述分别根据所述N个时间片中每个时间片对应的读写特征数据，确定所述N个时间片对应的N个第一样本之前，还包括：
根据所述多个虚拟机的读写特征数据确定目标集合，所述目标集合包括所述多个虚拟机的读写特征数据中满足第一预设条件的读写特征数据；
对应地，所述分别根据所述N个时间片中每个时间片对应的读写特征数据，确定所述N个时间片对应的N个第一样本，包括：
分别根据所述目标集合中所述每个时间片对应的读写特征数据，对应确定所述N个第一样本。
4.根据权利要求1-3任一所述的方法，其特征在于，所述根据所述N个第一样本和所述目标存储域的存储时延模型，确定所述N个第一样本的预测结果，包括：
从所述N个第一样本中确定P个第二样本，所述P个第二样本为所述N个第一样本的子集，所述P个第二样本中的每个第二样本在所述样本集中存在K个临近样本，P为小于等于N的自然数；
若所述P小于预置值，则确定所述预测结果为第一预测值，所述第一预测值用于指示所述多个虚拟机的负载不超过阈值；
若所述P大于预置值，则根据所述每个第二样本及对应的K个临近样本，对应确定所述每个第二样本在对应的K个临近样本中的升序时延排名；
确定所述P个第二样本的升序时延排名的分布特性；
若所述分布特性满足第二预设条件，则确定所述预测结果为所述第一预测值；
若所述分布特性不满足所述第二预设条件，则所述预测结果为第二预测值，所述第二预测值用于指示所述多个虚拟机的负载超过阈值。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
若所述预测结果为所述第一预测值，将所述N个第一样本添加至所述样本集。
6.根据权利要求1-5任一所述的方法，其特征在于，所述读写特征数据包括：每秒完成的读I/O次数、每秒完成的写I/O次数、每秒读K字节数、每秒写K字节数和平均每次I/O读写操作的平均等待时间。
7.一种数据处理的装置，其特征在于，包括：
获取单元，用于获取当前检测周期内目标存储域上多个虚拟机的读写特征数据，所述当前检测周期包括N个时间片；
第一确定单元，用于分别根据所述获取单元获取的所述N个时间片中每个时间片对应的读写特征数据，确定所述N个时间片对应的N个第一样本；
第二确定单元，用于根据所述第一确定单元确定的所述N个第一样本和所述目标存储域的存储时延模型，确定所述N个第一样本的预测结果，所述存储时延模型是根据样本集进行训练得到的，所述样本集中包括所述目标存储域在历史检测周期内的历史检测样本，所述预测结果用于指示所述多个虚拟机的负载是否超过阈值。
8.根据权利要求7所述的装置，其特征在于，
所述第一确定单元，用于分别将所述获取单元获取的所述每个时间片对应的读写特征数据进行数据合并，以得到所述N个第一样本。
9.根据权利要求7或8所述的装置，其特征在于，还包括
第三确定单元，用于根据所述获取单元获取的所述多个虚拟机的读写特征数据确定目标集合，所述目标集合包括所述多个虚拟机的读写特征数据中满足第一预设条件的读写特征数据；
所述第一确定单元，用于分别根据所述第三确定单元确定的所述目标集合中所述每个时间片对应的读写特征数据，对应确定所述N个第一样本。
10.根据权利要求7-9中任一所述的装置，其特征在于，
所述第二确定单元，用于从所述第一确定单元确定的所述N个第一样本中确定P个第二样本，所述P个第二样本为所述N个第一样本的子集，所述P个第二样本中的每个第二样本在所述样本集中存在K个临近样本，P为小于等于N的自然数；若所述P小于预置值，则确定所述预测结果为第一预测值，所述第一预测值用于指示所述多个虚拟机的负载不超过阈值；若所述P大于预置值，则根据所述每个第二样本及对应的K个临近样本，对应确定所述每个第二样本在对应的K个临近样本中的升序时延排名；确定所述P个第二样本的升序时延排名的分布特性；若所述分布特性满足第二预设条件，则确定所述预测结果为所述第一预测值；若所述分布特性不满足所述第二预设条件，则所述预测结果为第二预测值，所述第二预测值用于指示所述多个虚拟机的负载超过阈值。
11.根据权利要求10所述的装置，其特征在于，还包括：
添加单元，用于当所述第二确定单元确定的所述预测结果为所述第一预测值时，将所述N个第一样本添加至所述样本集。
12.一种计算机设备，其特征在于，所述计算机设备包括：输入/输出(I/O)接口、处理器和存储器，所述存储器中存储有程序指令；
所述处理器用于执行存储器中存储的程序指令，执行如权利要求1-6任一所述的方法。
13.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在计算机设备上运行时，使得所述计算机设备执行如权利要求1-6中任一项所述的方法。
CN201910330054.7A 2019-04-23 2019-04-23 一种数据处理方法、装置以及存储介质 Pending CN111831389A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910330054.7A CN111831389A (zh) 2019-04-23 2019-04-23 一种数据处理方法、装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910330054.7A CN111831389A (zh) 2019-04-23 2019-04-23 一种数据处理方法、装置以及存储介质

Publications (1)

Publication Number Publication Date
CN111831389A true CN111831389A (zh) 2020-10-27

Family

ID=72911932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910330054.7A Pending CN111831389A (zh) 2019-04-23 2019-04-23 一种数据处理方法、装置以及存储介质

Country Status (1)

Country Link
CN (1) CN111831389A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764910A (zh) * 2021-01-27 2021-05-07 携程旅游信息技术（上海）有限公司 处理差异任务响应的方法、系统、设备及存储介质
CN114785714A (zh) * 2022-03-01 2022-07-22 阿里巴巴（中国）有限公司 一种报文传输时延检测方法、存储介质及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160170848A1 (en) * 2014-12-16 2016-06-16 At&T Intellectual Property I, L.P. Methods, systems, and computer readable storage devices for managing faults in a virtual machine network
CN105743699A (zh) * 2016-01-27 2016-07-06 中国航空工业集团公司沈阳飞机设计研究所 一种虚拟化环境的故障预警方法及系统
CN106897178A (zh) * 2017-02-21 2017-06-27 曲阜师范大学 一种基于极限学习机的慢盘检测方法及系统
CN107025154A (zh) * 2016-01-29 2017-08-08 阿里巴巴集团控股有限公司 磁盘的故障预测方法和装置
CN108681496A (zh) * 2018-05-09 2018-10-19 北京奇艺世纪科技有限公司 磁盘故障的预测方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160170848A1 (en) * 2014-12-16 2016-06-16 At&T Intellectual Property I, L.P. Methods, systems, and computer readable storage devices for managing faults in a virtual machine network
CN105743699A (zh) * 2016-01-27 2016-07-06 中国航空工业集团公司沈阳飞机设计研究所 一种虚拟化环境的故障预警方法及系统
CN107025154A (zh) * 2016-01-29 2017-08-08 阿里巴巴集团控股有限公司 磁盘的故障预测方法和装置
CN106897178A (zh) * 2017-02-21 2017-06-27 曲阜师范大学 一种基于极限学习机的慢盘检测方法及系统
CN108681496A (zh) * 2018-05-09 2018-10-19 北京奇艺世纪科技有限公司 磁盘故障的预测方法、装置及电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764910A (zh) * 2021-01-27 2021-05-07 携程旅游信息技术（上海）有限公司 处理差异任务响应的方法、系统、设备及存储介质
CN112764910B (zh) * 2021-01-27 2024-05-10 携程旅游信息技术（上海）有限公司 处理差异任务响应的方法、系统、设备及存储介质
CN114785714A (zh) * 2022-03-01 2022-07-22 阿里巴巴（中国）有限公司 一种报文传输时延检测方法、存储介质及设备
CN114785714B (zh) * 2022-03-01 2023-08-22 阿里巴巴（中国）有限公司 一种报文传输时延检测方法、存储介质及设备

Similar Documents

Publication Publication Date Title
US7685251B2 (en) Method and apparatus for management of virtualized process collections
US8782322B2 (en) Ranking of target server partitions for virtual server mobility operations
US7882216B2 (en) Process and methodology for generic analysis of metrics related to resource utilization and performance
US7401248B2 (en) Method for deciding server in occurrence of fault
US9619314B2 (en) Management system and management program
US11303499B2 (en) Moving nodes in a distributed system
US10318325B2 (en) Host-side cache migration
US8935501B2 (en) Apparatus, method, and recording medium storing a program for selecting a destination storage based on a buffer size
CN110865867A (zh) 应用拓扑关系发现的方法、装置和系统
US8091073B2 (en) Scaling instruction intervals to identify collection points for representative instruction traces
US10169102B2 (en) Load calculation method, load calculation program, and load calculation apparatus
US10032115B2 (en) Estimating file level input/output operations per second (IOPS)
US9270539B2 (en) Predicting resource provisioning times in a computing environment
US20090292789A1 (en) Computer System, Management Server and Configuration Information Acquisition Method
US20140297842A1 (en) System, method, and recording medium
US10255124B1 (en) Determining abnormal conditions of host state from log files through Markov modeling
CN111831389A (zh) 一种数据处理方法、装置以及存储介质
US10296436B2 (en) Adjusting trace points based on overhead analysis
US9645873B2 (en) Integrated configuration management and monitoring for computer systems
US20200142803A1 (en) Hyper-converged infrastructure (hci) log system
US8255642B2 (en) Automatic detection of stress condition
US20200151002A1 (en) Identifying a delay associated with an input/output interrupt
US11334421B2 (en) Method and apparatus to identify a problem area in an information handling system based on latencies
US11144427B2 (en) Storage system performance models based on empirical component utilization
CN115373862B (zh) 基于数据中心的动态资源调度方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination