CN113485649A - 数据存储方法、系统、装置、介质与电子设备 - Google Patents

数据存储方法、系统、装置、介质与电子设备 Download PDF

Info

Publication number
CN113485649A
CN113485649A CN202110836348.4A CN202110836348A CN113485649A CN 113485649 A CN113485649 A CN 113485649A CN 202110836348 A CN202110836348 A CN 202110836348A CN 113485649 A CN113485649 A CN 113485649A
Authority
CN
China
Prior art keywords
performance
data
storage system
value
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110836348.4A
Other languages
English (en)
Other versions
CN113485649B (zh
Inventor
吴文峰
黄鹄
黄润怀
李旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi Cloud Technology Co Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202110836348.4A priority Critical patent/CN113485649B/zh
Publication of CN113485649A publication Critical patent/CN113485649A/zh
Priority to PCT/CN2021/140859 priority patent/WO2023000611A1/zh
Application granted granted Critical
Publication of CN113485649B publication Critical patent/CN113485649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供一种数据存储方法、装置、介质与电子设备。其中，数据存储方法包括：响应待存储数据的存储请求获取当前存储系统性能参数，当前存储系统性能参数包括分布式存储系统的至少一个性能参数；根据当前存储系统性能参数确定分布式存储系统的性能抖动值；当性能抖动值大于或等于第一预设值时，将待存储数据存储至固态硬盘，当系统性能抖动值小于第一预设值时，将待存储数据存储至预设缓存区。通过本公开实施例提供的技术方案，可以提高数据存储效率，并提高数据存储性能的稳定性。

Description

数据存储方法、系统、装置、介质与电子设备
技术领域
本公开涉及数据存储技术领域，具体而言，涉及一种数据存储方法、数据存储系统、数据存储装置、计算机可读存储介质与电子设备。
背景技术
目前，数据量呈现爆炸式增长的情况为数据存储技术带来了更高的挑战。
相关技术中，存储数据时存在的短时流量高峰的现象，经常会导致数据存储设备在写入大量数据时出现性能波动，造成数据读写错误率高甚至读写失败的问题。这些问题会降低数据存储效率，而数据存储效率的降低又有可能引发性能雪崩效应，甚至导致数据存储性能进一步恶化。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种数据存储方法、数据存储装置、介质与电子设备，用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的大量数据存入时存储设备的性能剧烈波动导致的数据存储状态恶化的问题。
根据本公开实施例的一方面，提供一种数据存储方法，包括：响应待存储数据的存储请求获取当前存储系统性能参数，当前存储系统性能参数包括分布式存储系统的至少一个性能参数；根据当前存储系统性能参数确定分布式存储系统的性能抖动值；当性能抖动值大于或等于第一预设值时，将待存储数据缓存至固态硬盘，当性能抖动值小于第一预设值时，将待存储数据缓存至预设缓存区。
在本公开的一种示例性实施例中，上述数据存储方法还包括：在固态硬盘内存储有待存储数据时，定时根据当前存储系统性能参数确定分布式存储系统的性能抖动值；在性能抖动值小于第一预设值时，将固态硬盘内的待存储数据转存至分布式存储系统。
在本公开的一种示例性实施例中，根据当前存储系统性能参数确定分布式存储系统的性能抖动值包括：将当前存储系统性能参数输入第一预设模型，以确定预测存储系统性能参数；根据当前存储系统性能参数确定第一性能评估值；根据预测存储系统性能参数确定第二性能评估值；将第二性能评估值与第一性能评估值的差值确定为第一差值；将第一差值与第一性能评估值的比值确定为性能抖动值。
在本公开的一种示例性实施例中，根据当前存储系统性能参数确定分布式存储系统的性能抖动值还包括：根据当前存储系统性能参数确定第一性能评估值；将第一性能评估值输入第二预设模型，以确定第二性能评估值，第二性能评估值为分布式存储系统的预测性能评估值；将第二性能评估值与第一性能评估值的差值确定为第一差值；将第一差值与第一性能评估值的比值确定为性能抖动值。
在本公开的一种示例性实施例中，当前存储系统性能参数包括n种性能参数，预测存储系统性能参数包括n种性能参数，第一预设模型的训练过程包括：获取分布式存储系统的历史性能参数，历史性能参数包括n种性能参数随时间变化的记录值；将时间间隔为预设时长的第一历史性能参数和第二历史性能参数设置为一组训练数据；根据多组训练数据训练第一预设模型，以使第一预设模型建立第一历史性能参数与第二历史性能参数的对应关系。
在本公开的一种示例性实施例中，当前存储系统性能参数包括n种性能参数，第二预设模型的训练过程包括：获取分布式存储系统的历史性能参数，历史性能参数包括n种性能参数随时间变化的记录值；根据历史性能参数确定多个时间点对应的性能评估值；根据多个时间点对应的性能评估值进行回归计算以确定性能评估值变化曲线，将性能评估值变化曲线设置为第二预设模型。
根据本公开实施例的另一方面，提供一种数据存储系统，包括：数据处理装置，用于执行上述任意一项的数据存储方法以存储待存储数据；分布式存储系统，用于存储待存储数据；预设缓存区，连接数据处理装置和分布式存储系统，用于接收数据处理装置传输的待存储数据，并定时将待存储数据转存到分布式存储系统；固态硬盘，连接数据处理装置和分布式存储系统，用于接收数据处理装置传输的待存储数据，并根据数据处理装置的指令将待存储数据转存到分布式存储系统。
根据本公开实施例的另一方面，提供一种数据存储装置，包括：性能参数获取模块，设置为响应待存储数据的存储请求获取当前存储系统性能参数，当前存储系统性能参数包括分布式存储系统的至少一个性能参数；性能抖动评估模块，设置为根据当前存储系统性能参数确定分布式存储系统的性能抖动值；数据存储控制模块，设置为当性能抖动值大于或等于第一预设值时，将待存储数据缓存至固态硬盘，当系统性能抖动值小于第一预设值时，将待存储数据缓存至预设缓存区。
根据本公开的另一方面，提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上述任意一项的数据存储方法。
根据本公开的另一方面，提供一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行如上述任意一项的数据存储方法。
本公开实施例的技术方案通过通过增加存储系统的缓存空间，并使用当前存储系统性能参数预测系统的性能抖动幅度，在性能抖动幅度较大时，将待存储数据缓存至固态硬盘，否则将待存储数据的缓存至预设缓存区，可以避免大量数据存入造成存储系统性能恶化，降低短时流量高峰中的性能抖动对数据存储效率的影响，在存储系统的性能可能发生剧烈抖动的情况下提高存储系统的性能稳定性，提高数据存储效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开示例性实施例中一种数据存储系统的示意图；
图2示出本公开示例性实施例中一种数据存储方法的流程图；
图3示出本公开示例性实施例中一种获取性能抖动值的流程图；
图4示出本公开示例性实施例中对第一预设模型进行训练的流程图；
图5示出本公开示例性实施例中另一种获取性能抖动值的流程图；
图6示出本公开示例性实施例中对第二预设模型进行训练的流程图；
图7示出本公开示例性实施例中一种数据存储的流程图；
图8示出本公开示例性实施例中一种数据存储系统的结构示意图；
图9示出本公开示例性实施例中一种数据存储过程的示意图；
图10示出本公开示例性实施例中一种数据存储装置的示意图；
图11示出本公开示例性实施例中一种获取性能抖动值的流程示意图；
图12示出本公开示例性实施例中一种电子设备的方框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略上述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。符号“/”一般表示前后关联对象是一种“或”的关系。
在本公开中，除非另有明确的规定和限定，“连接”等术语应做广义理解，例如，可以是电连接或可以互相通讯；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本公开中的具体含义。
此外，附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
在本公开实施例中，分布式存储系统例如为Ceph系统。Ceph系统是一种开源的统一的分布式存储系统，能够同时支持块存储、对象存储、文件存储等多种存储方式，可使用多个存储服务器共享存储设备，利用位置服务器定位存储位置，实现在多个独立存储设备上分发数据，其存储性能可以使用不同的系统性能参数来表征，包括集群状态、运行负载、IO时延、IO错误率、数据流量、块设备缓存值，但不限于此。
上述存储设备可例如为块设备，块设备是I/O设备中的一类，是将信息存储在固定大小的块中，每个块都有自己的地址，还可以在设备的任意位置读取一定长度的数据，例如硬盘、U盘、SD卡等。
块设备缓存值代表块设备内可存储的数据量，反映了块设备的数据存储能力。
集群状态为分布式存储系统中的多个存储设备的运行健康状态，每一个存储设备具有对应的存储节点，存储节点的节点状态可以反映数据存储过程的运行状态，此运行状态进一步用来确定运行健康状态，具体过程为：通过心跳通讯机制监测节点状态，获取存储节点的数量与对应的节点状态，将节点状态为正常时的存储节点的数量作为第一数量，将全部存储节点的数量作为第二数量，并确定第一数量和第二数量的比值为运行状态比例。当运行状态比例大于第一预设比例时，确定此时运行健康状态为OK(正常)状态。当运行状态比例大于第二预设比例，且小于第一预设比例时，确定此时运行健康状态为WARN(警告)状态。当运行状态比例小于第二预设比例时，确定此时运行健康状态为ERROR(错误)状态。上述第一预设比例和第二预设比例可以预先设置，第一预设比例可例如为98％，第二预设比例可例如为80％。
另外，分布式存储系统中还可以通过其他监测机制监测关键节点的工作状态是否为故障，如果确定关键节点为故障状态，则判定运行健康状态为WARN(错误)状态。上述关键节点可以为用于管理存储设备的管理节点或者用于提供存储设备接口的网关节点。
上述心跳通讯机制是分布式系统的一种故障检测机制，被监控的存储节点定期发送心跳信息给监控进程(或者由监控进程轮询被监控存储节点)，如果监控进程收到心跳就确认节点状态为正常，如果有一段时间监控进程没有收到心跳信息就认为节点失效，失效原因可以是网络连接失败导致的断网，也可以是网络连接正常但是连接节点的链路不通导致节点在工作状态下无法发送心跳信息。
运行负载可以根据分布式存储系统的CPU占用率和内存使用率确定，这两个都可以反映分布式存储系统运行时的繁忙程度。
IO时延为分布式存储系统中的块存储设备进行一次读写操作所需要的最小时间间隔。其中，IO时延可例如为15ms。
IO错误率为分布式存储系统中的块存储设备执行读写操作时的数据错误的概率。其中，IO错误率可例如为95％。
数据流量通过系统流量和系统带宽共同来确定，用来反映分布式存储系统传输数据的能力。数据流量是指每单位时间内在设定的系统带宽传输数据时的系统流量。系统流量是系统在单位时间内可以接收的数据量，反映了信息的体量或体积，单位为B，Byte，也就是字节。系统带宽代表系统传输数据的传输通道，反映了传输通道内可以传输的流量范围。
下面结合附图及实施例对本示例实施方式中的数据存储方法的各个步骤进行更详细的说明。
图1是本公开示例性实施例中数据存储系统的示意图。
参考图1，数据存储系统100包括数据获取装置102、数据处理装置104、预设缓存区106、固态硬盘(Solid State Disk，SSD)108和分布式存储系统110。数据获取模块102将获取到的待存储数据和当前存储系统性能参数发送至数据处理装置104，数据处理装置104执行本公开提供的数据存储方法，通过将数据存储到预设缓存区106或固态硬盘108，以将该待存储数据平稳存储到分布式存储系统110，避免待存储数据的数据量过大对分布式存储系统110造成超过限额的性能影响。
当分布式存储系统110为Ceph系统时，预设缓存区106为块存储库(与分布式存储系统110实现数据交互)内实现的一个缓存层，可以称为“RBD(Reliable AutonomicDistributed Object Store Block Devices，可靠、自动、分布式对象存储系统的块设备)缓存区”，可以通过块设备(Block Devices，BD)实现。RBD缓存区的缓存容量数值称为“RBD缓存值”。
图2是本公开示例性实施例中数据存储方法的流程图，该方法可以应用在上述图1的系统中，由数据处理装置104执行。
如图2所示，数据存储方法可以包括：
步骤S202，响应待存储数据的存储请求获取当前存储系统性能参数。
步骤S204，根据当前存储系统性能参数确定分布式存储系统的性能抖动值。
步骤S206，当性能抖动值大于或等于第一预设值时，将待存储数据存储至固态硬盘，当性能抖动值小于第一预设值时，将待存储数据存储至预设缓存区。
本公开实施例中，当性能抖动幅度较大时，将待存储数据缓存至固态硬盘；当性能抖动幅度较小时，将待存储数据缓存至预设缓存区，能够在可能发生存储系统性能剧烈抖动的情况下提高数据存储的稳定性，避免大量数据存入对存储系统造成不良影响。
参考图2，在一个实施例中，当前存储系统性能参数例如可以包括集群状态、运行负载、IO时延、IO错误率、数据流量和RBD缓存值，但不限于此。
在一个实施例中，数据处理装置104可以对当前存储系统性能参数进行预处理，预处理步骤包括数据去噪与数据归一化。
可以使用K近邻算法对当前存储系统性能参数进行数据去噪，即通过一种距离度量关系寻找与待预测点相近的K个点，根据这K个点对待预测点进行分类的预测，根据分类任务的数量进行投票，即待预测点的类别与K个点中数量最多的性能参数的类别一致。其中，K值可以通过人为设定或者以交叉验证法来选取。
在本公开中，预先设置各个性能参数的预置值，在确定待预测点所属的性能参数的类别之后，为待预测点设置对应的预置值。
其中，上述的距离度量关系可以通过以下距离公式来表示：
Figure BDA0003177194090000081
其中p是一个可变参数，k为空间维度，取值范围为[0，n]，n为自然数，x1k为缺失值(即待预测点)的位置，x2k为正常值(即上述K个点)的位置，d12为第一距离。
在一个实施例中，上述距离度量关系可以由距离公式确定，在距离公式中，根据p的不同，可以表示不同距离度量关系下的第一距离的计算结果。
通过K近邻算法完成对性能参数的去噪处理，可以提高待存储数据的准确度。
在一个实施例中，可以根据min-max标准化方法对性能参数进行数据归一化以实现对性能参数的预处理，其原理是：对于每种性能参数，将性能参数的一个原始值x通过min-max标准化映射成在区间[0，1]中的值x'，将数据进行归一化处理。上述min-max标准化方法可以通过归一化公式完成，归一化公式如下：
B＝(A-a)/(b-a) (2)
其中，B为归一化处理后的性能参数，A为性能参数，a为性能参数的最小值，b为性能参数的最大值。
可例如，对数据流量S进行归一化，获取一段时间内的数据流量S的最大值10Gbps和最小值8Gbps，则数据流量归一化值S'的表达式如下：
S'＝(S-8)/2 (3)
其中，数据流量S的取值区间为[8，10]，单位为Gbps。
接下来结合图3-图6对步骤S204中的实施例进行说明。
图3为一种获取性能抖动值的流程图，此获取性能抖动值的过程可以由上述图1中的数据处理装置104完成。
如图3所示，步骤S204可以包括：
步骤S302，将当前存储系统性能参数输入第一预设模型，以确定预测存储系统性能参数。
步骤S304，根据当前存储系统性能参数确定第一性能评估值。
步骤S306，根据预测存储系统性能参数确定第二性能评估值。
步骤S308，将第二性能评估值与第一性能评估值的差值确定为第一差值。
步骤S310，将第一差值与第一性能评估值的比值确定为性能抖动值。
在图3所示实施例中，预测存储系统性能参数为第一预设模型根据当前存储系统性能参数预测到的未来的分布式存储系统的性能参数，可以反映出分布式存储系统在一段时间后的性能抖动趋势，预测存储系统性能参数的种类与当前存储系统性能参数的种类可以相同。另外，第一预设模型的种类例如可以为BP(Back Propagation，反向传播)神经网络模型、微分方程模型、灰色预测模型等。
在一个实施例中，第一预设模型以当前存储系统性能参数为输入，如果当前存储系统性能参数为分布式存储系统的一个性能参数，则根据该性能参数自身的变化趋势确定预测存储系统性能参数。其中，可以通过曲线拟合的方式获得单个性能参数的自身变化趋势。
如果当前存储系统性能参数包括分布式存储系统的多个性能参数，则需要预先确定不同性能参数之间的关联程度，即进行关联分析，来寻找系统抖动的规律，生成有规律性的数据序列，然后建立相应的函数方程模型，从而确定不同性能参数的预测值以预测分布式存储系统的性能抖动趋势。
由于当前存储系统性能参数和预测存储系统性能参数均为多个参数，为了将二者进行比较以确定性能抖动值，本公开实施例根据当前存储系统性能参数确定第一性能评估值，根据预测存储系统性能参数确定第二性能评估值。第一性能评估值和第二性能评估值均为独立的数值，可以进行计算和比较。
上述性能评估值是对分布式存储系统的性能的量化表现，性能评估值的变化能够反映分布式存储系统的性能抖动情况。
在本公开实施例中，可以基于多元回归算法确定不同性能参数对存储性能的影响强度并根据影响强度确定性能参数对应的影响优先级，根据影响优先级分别确定不同性能参数对存储性能的影响权重，最后以性能参数与影响权重的乘积和计算得到性能评估值。例如，将IO时延对存储性能的影响优先级设置为第一优先级，将系统带宽对存储性能的影响优先级设置为第二优先级，分别设置不同优先级的影响权重，根据IO时延、系统带宽计算性能评估值。
第一性能评估值和第二性能评估值的计算方法相同。接下来，可以根据第二性能评估值与第一性能评估值的差确定第一差值，将第一差值与第一性能评估值的比值确定为性能抖动值。
在一个实施例中，结合图4对第一预设模型进行训练的过程进行说明。
图4示出了对第一预设模型进行训练的过程。
如图4所示，对第一预设模型进行训练的过程可以包括：
步骤S402，获取分布式存储系统的历史性能参数，历史性能参数包括n种性能参数随时间变化的记录值。
其中，n为正整数。可以根据历史性能参数获取不同类别的性能参数随时间变化的曲线。
步骤S404，将时间间隔为预设时长的第一历史性能参数和第二历史性能参数设置为一组训练数据。
其中，第一历史性能参数为第一时间点的历史性能参数，包括第一时间点的该n种性能参数的值；第二历史性能参数为第二时间点的历史性能参数，包括第二时间点的该n种性能参数的值。第一时间点与第二时间点之间具有上述预设时长，预设时长例如可以为1小时，本领域技术人员可以根据实际情况自行设置。
步骤S406，根据多组训练数据训练第一预设模型，以使第一预设模型建立第一历史性能参数与第二历史性能参数的对应关系。
在一个实施例中，可以根据BP神经网络构建第一预设模型，使第一预设模型根据任一组训练数据确定第一历史性能参数和第二历史性能参数之间的对应关系，并根据多组训练数据对第一预设模型进行多次训练以提高对应关系的准确性。
通过使用历史性能参数训练第一预设模型，可以建立时间间隔为预设时长的两组性能参数之间的对应关系，从而使第一预设模型可以根据当前存储系统性能参数确定预设时长后的预测存储系统性能参数。
图5为另一种获取性能抖动值的流程图，此获取性能抖动值的过程可以由上述图1中的数据处理装置104完成。
如图5所示，在另一个实施例中，步骤S204可以包括：
步骤S502，根据当前存储系统性能参数确定第一性能评估值。
步骤S504，将第一性能评估值输入第二预设模型，以确定第二性能评估值。
步骤S506，将第二性能评估值与第一性能评估值的差值确定为第一差值。
步骤S508，将第一差值与第一性能评估值的比值确定为性能抖动值。
上述第二性能评估值为分布式存储系统的预测性能评估值，预测性能评估值可以反映分布式存储系统在未来时间点的性能状态。确定第二性能评估值后，直接将其与第一性能评估值进行计算以确定性能抖动值，于此不再赘述。
图5所示实施例通过对性能评估值与时间的关联关系训练得到第二预设模型，在根据存储系统性能参数确定对应的性能预估值的基础上，确定分布式存储系统的性能抖动值，能够提高对性能参数的预测准确性。
在一个实施例中，结合图6对第二预设模型进行训练的过程进行说明。
图6示出了训练第二预设模型的过程。
如图6所示，第二预设模型的训练过程可以包括：
步骤S602，获取分布式存储系统的历史性能参数，历史性能参数包括n种性能参数随时间变化的记录值。
步骤S604，根据历史性能参数确定多个时间点对应的性能评估值。
步骤S606，根据多个时间点对应的性能评估值进行回归计算以确定性能评估值变化曲线，将性能评估值变化曲线设置为第二预设模型。
获取性能评估值的方法已经在图3所示实施例中进行描述，于此不再赘述。
在一个实施例中，可以对上述多个时间点对应的性能评估值进行回归计算以构建性能评估值变化曲线对应的曲线方程，根据性能评估值变化曲线确定性能评估值与时间的拟合关系，当拟合关系满足预设条件时，将性能评估值变化曲线设置为第二预设模型。其中，拟合关系可以包括线性拟合关系与非线性拟合关系。
图6所示实施例通过对性能评估值随着时间变化的变化规律进行分析，可以根据当前的性能评估值确定未来的性能评估值，进而能够提高性能评估值的预测准确性。
对第一性能评估值和第二性能评估值进行计算以得到性能抖动值的方法同上，于此不再赘述。
图1和图2所示实施例中的固态硬盘和预设缓存区均为数据缓存手段，缓存数据后，需要将待存储数据进行长期存储，即转存到分布式存储系统的存储设备中。
图7示出了一种数据转存的流程图。根据上述图2-图6的实施例完成数据存储后，进一步对数据进行转存的过程包括：
步骤S702，在固态硬盘内存储有待存储数据时，定时根据当前存储系统性能参数确定分布式存储系统的性能抖动值。
步骤S704，在性能抖动值小于第一预设值时，将固态硬盘内的待存储数据转存至分布式存储系统。
为了防止将固态硬盘内的存储数据转存到分布式存储系统时对分布式存储系统造成剧烈的性能影响，本公开实施例在对数据进行转存时，同样监控存储系统的性能抖动值，在确定性能抖动值小于第一预设值时，才转存待存储数据。
在一个实施例中，可以对固态硬盘中的待存储数据进行多次转存，每次转存的待存储数据的数据量均相等，每次转存时均判断存储系统的性能抖动值，根据性能抖动值和第一预设值的大小关系确定是否转存待存储数据。
图7所示实施例中，通过在性能抖动幅度较小时，将待存储数据落盘保存至分布式存储系统，能够避免转存数据对存储系统造成巨大影响，可以有效提高数据存储系统的稳定性。
图1所示数据处理装置104通过设置表征分布式存储系统110的存储性能正常的第一预设值，根据当前存储系统性能参数确定预测到的表征分布式存储系统110的存储性能状态的性能抖动值，并根据性能抖动值和第一预设值的比较结果确定分布式存储系统110的存储性能的抖动状态，以确定待存储数据的存储位置，可以将待存储数据平稳地转移到分布式存储系统110，有效提高分布式存储系统110的稳定性。
图8示出一种待存储数据的存储系统的结构示意图。
如图8所示，在数据存储系统800中，数据处理系统804和自适应性能预估系统806可以协同工作以执行图2-图7的数据存储方法。数据获取系统802将获取到的待存储数据发送给数据处理系统804，数据处理系统804通过自适应性能预估系统806预测对待存储数据进行缓存时的性能抖动情况，以根据性能抖动情况确定待存储数据在数据缓存区中的存储位置，达到降低性能波动，提升存储系统整体性能稳定性的目的。
其中，RBD缓存区808为与Ceph系统进行数据交互的块存储库内的缓存层，具有速度快效率高的优点，SSD缓存区810是将固态硬盘作为缓存，具有容量大、数据非易失的优点。
当待存储数据的缓存位置为SSD缓存区810时，根据分布式存储系统812预测待存储数据进行转存时的性能抖动情况来确定是否将待存储数据转存至分布式存储系统812。
自适应性能预估系统806对分布式存储系统812的性能参数(IO时延、IO错误率、数据流量、RBD缓存值、集群状态、运行负载)进行拉取和预处理，然后依据线性回归算法进行回归训练，综合分析预估出接下来一段时间的性能走势，实现对历史性能抖动数据进行学习以及预测接下来的一段时间的性能趋势，在兼顾硬件成本的基础上，根据存储系统的性能抖动情况选择合适的缓存方式。
自适应性能预估系统806和数据处理系统804之间是并列又相互依存的关系，自适应性能预估系统806从数据处理系统804中获取自适应学习的相关数据，数据处理系统804又从自适应性能预估系统806中获取其分析的存储性能，以该数据为基础进行下一步的处理。
自适应性能预估系统806和数据处理系统804之间的依存关系包括：
1.当缓存待存储数据时，数据处理系统804从自适应性能预估系统806获取未来时间点的存储系统性能参数。
2.将转存待存储数据时，数据处理系统804从自适应性能预估系统806获取未来时间点的存储系统性能参数。
图8所示实施例的系统可以在分布式存储系统812的性能平稳时，将待存储数据缓存至RBD缓存区808，在性能波动时，将待存储数据缓存至SSD缓存区810，综合RBD缓存区808速度快效率高和SSD缓存区810容量大的优点，以空间换时间，提高数据的读写效率，在平衡性能的波动的同时，降低数据存储时延，减少数据存储错误率，提升系统运行的稳定性，同时能够克服单独以RBD缓存区808作为缓存位置时缓存空间不能太大的问题。
图9示出一种待存储数据的存储过程的示意图。
如图9所示，该待存储数据的存储过程包括：
步骤S902，根据获取到的当前存储性能参数确定分布式存储系统的性能抖动值。
步骤S904，判断性能抖动值是否大于或等于第一预设值。若为是，则进入步骤S906，若为否，则进入步骤S912。
步骤S906，将待存储数据缓存至固态硬盘。
步骤S908，定时根据当前存储系统性能参数确定分布式存储系统的性能抖动值。
步骤S910，当性能抖动值小于第一预设值时，将固态硬盘内的待存储数据转存至分布式存储系统。
步骤S912，将待存储数据缓存至RBD缓存区。
步骤S914，在RBD缓存区的性能状态满足写入分布式存储系统的配置条件时，将RBD缓存区内的待存储数据写入到分布式存储系统。
图9所示的实施例将固态硬盘和RBD缓存区结合组成混合缓存，根据存储系统的性能抖动情况选择最优缓存组合进行数据存储，综合RBD缓存区和固态硬盘缓存区的优点，提升存储系统的存储性能稳定性。
图10示出了一种数据存储装置的示意图，该数据存储装置可以用于实现上述图2-图7所示的方法。
如图10所示，数据存储装置1000包括：性能参数获取模块1002、性能抖动评估模块1004和数据存储控制模块1006。其中，性能参数获取模块1002设置为响应待存储数据的存储请求获取当前存储系统性能参数，当前存储系统性能参数包括分布式存储系统的至少一个性能参数。
性能抖动评估模块1004，设置为根据当前存储系统性能参数确定分布式存储系统的性能抖动值。
数据存储控制模块1006，设置为当性能抖动值大于或等于第一预设值时，将待存储数据存储至固态硬盘，当系统性能抖动值小于第一预设值时，将待存储数据存储至预设缓存区。
性能抖动评估模块1004还可以设置为：将当前存储系统性能参数输入第一预设模型，以确定预测存储系统性能参数；根据当前存储系统性能参数确定第一性能评估值；根据预测存储系统性能参数确定第二性能评估值；将第二性能评估值与第一性能评估值的差值确定为第一差值；将第一差值与第一性能评估值的比值确定为性能抖动值。
在本公开实施例中，当前存储系统性能参数包括n种性能参数，预测存储系统性能参数包括n种性能参数，第一预设模型的训练过程包括：获取分布式存储系统的历史性能参数，历史性能参数包括n种性能参数随时间变化的记录值；将时间间隔为预设时长的第一历史性能参数和第二历史性能参数设置为一组训练数据；根据多组训练数据训练第一预设模型，以使第一预设模型建立第一历史性能参数与第二历史性能参数的对应关系。
性能抖动评估模块1004还可以设置为：根据当前存储系统性能参数确定第一性能评估值；将第一性能评估值输入第二预设模型，以确定第二性能评估值，第二性能评估值为分布式存储系统的预测性能评估值；将第二性能评估值与第一性能评估值的差值确定为第一差值；将第一差值与第一性能评估值的比值确定为性能抖动值。
在本公开实施例中，当前存储系统性能参数包括n种性能参数，预测存储系统性能参数包括n种性能参数，第二预设模型的训练过程包括：获取分布式存储系统的历史性能参数，历史性能参数包括n种性能参数随时间变化的记录值；根据历史性能参数确定多个时间点对应的性能评估值；根据多个时间点对应的性能评估值进行回归计算以确定性能评估值变化曲线，将性能评估值变化曲线设置为第二预设模型。
数据存储控制模块1006还可以设置为：在固态硬盘内存储有待存储数据时，定时根据当前存储系统性能参数确定分布式存储系统的性能抖动值；在性能抖动值小于第一预设值时，将固态硬盘内的待存储数据转存至分布式存储系统。
图11示出一种获取性能抖动值的流程示意图，可以由上述性能抖动评估模块1004执行此流程。
如图11所示，获取性能抖动值的过程可以包括获取初始参数、预处理参数、使用预设模型进行回归计算和确定性能抖动值的步骤。初始参数获取装置1102可以实现上述数据获取装置102或数据获取模块802的功能，参数预处理装置1104和预设模型1106能够共同实现上述数据处理装置104的功能。
初始参数获取装置1102能够实现对存储系统的初始性能参数的拉取和预处理。
预设模型1106可以结合当前系统的流量、IO相关状态信息对存储系统的性能参数进行计算和综合分析，预估出接下来一段时间的性能走势，并确定未来时间点的存储系统性能参数。
参考图11，初始参数获取装置1102将从分布式存储系统中获取到的IO时延、IO错误率、数据流量、集群状态、运行负载和RBD缓存值等初始性能参数发送给参数预处理装置1104，参数预处理装置1104对初始性能参数进行数据去噪和数据归一化以完成预处理步骤，并将预处理后的性能参数发送给预设模型1106，预设模型1106根据性能参数确定并输出性能抖动值。其中，预设模型1106例如可以为前述实施例中的第一预设模型和第二预设模型。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的征和功能可以进一步划分为由多个模块或者单元来具体化。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
本公开提出的数据存储系统能在保证存储系统性能稳定的前提下，实现待存储数据的平稳存储，且提高了数据的非易失性。另外本公开的数据存储系统的应用场景可以包括高性能高并发的数据存储系统和视频监控存储系统。
下面参照图12来描述根据本发明的这种实施方式的电子设备1200。图12显示的电子设备1200仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图12所示，电子设备1200以通用计算设备的形式表现。电子设备1200的组件可以包括但不限于：上述至少一个处理单元1210、上述至少一个存储单元1220、连接不同系统组件(包括存储单元1220和处理单元1210)的总线1230。
其中，上述存储单元存储有程序代码，上述程序代码可以被上述处理单元1210执行，使得上述处理单元1210执行本说明书上述“示例性方法”中描述的根据本发明各种示例性实施方式的步骤。例如，上述处理单元1210可以执行如本公开实施例所示的方法。
存储单元1220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)12201和/或高速缓存存储单元12202，还可以进一步包括只读存储单元(ROM)12203。
存储单元1220还可以包括具有一组(至少一个)程序模块12205的程序/实用工具12204，这样的程序模块12205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1200也可以与一个或多个外部设备1300(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1200交互的设备通信，和/或与使得该电子设备1200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1250进行。并且，电子设备1200还可以通过网络适配器1260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因网)通信。如图所示，网络适配器1260通过总线1230与电子设备1200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”中描述的根据本发明各种示例性实施方式的步骤。
根据本发明的实施方式的用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、分地在用户设备上执行、作为一个独立的软件包执行、分在用户计算设备上分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和构思由权利要求指出。

Claims (10)

1.一种数据存储方法，其特征在于，包括：
响应待存储数据的存储请求获取当前存储系统性能参数，所述当前存储系统性能参数包括分布式存储系统的至少一个性能参数；
根据所述当前存储系统性能参数确定所述分布式存储系统的性能抖动值；
当所述性能抖动值大于或等于第一预设值时，将所述待存储数据存储至固态硬盘，当所述性能抖动值小于所述第一预设值时，将所述待存储数据存储至预设缓存区。
2.根据权利要求1所述的数据存储方法，其特征在于，还包括：
在所述固态硬盘内存储有所述待存储数据时，定时根据所述当前存储系统性能参数确定所述分布式存储系统的所述性能抖动值；
在所述性能抖动值小于所述第一预设值时，将所述固态硬盘内的所述待存储数据转存至所述分布式存储系统。
3.根据权利要求1或2所述的数据存储方法，其特征在于，所述根据所述当前存储系统性能参数确定所述分布式存储系统的性能抖动值包括：
将所述当前存储系统性能参数输入第一预设模型，以确定预测存储系统性能参数；
根据所述当前存储系统性能参数确定第一性能评估值；
根据所述预测存储系统性能参数确定第二性能评估值；
将所述第二性能评估值与所述第一性能评估值的差值确定为第一差值；
将所述第一差值与所述第一性能评估值的比值确定为所述性能抖动值。
4.根据权利要求1或2所述的数据存储方法，其特征在于，所述根据所述当前存储系统性能参数确定所述分布式存储系统的性能抖动值包括：
根据所述当前存储系统性能参数确定第一性能评估值；
将所述第一性能评估值输入第二预设模型，以确定第二性能评估值，所述第二性能评估值为所述分布式存储系统的预测性能评估值；
将所述第二性能评估值与所述第一性能评估值的差值确定为第一差值；
将所述第一差值与所述第一性能评估值的比值确定为所述性能抖动值。
5.根据权利要求3所述的数据存储方法，其特征在于，所述当前存储系统性能参数包括n种性能参数，所述预测存储系统性能参数包括所述n种性能参数，所述第一预设模型的训练过程包括：
获取所述分布式存储系统的历史性能参数，所述历史性能参数包括所述n种性能参数随时间变化的记录值；
将时间间隔为预设时长的第一历史性能参数和第二历史性能参数设置为一组训练数据；
根据多组所述训练数据训练所述第一预设模型，以使所述第一预设模型建立所述第一历史性能参数与所述第二历史性能参数的对应关系。
6.根据权利要求4所述的数据存储方法，其特征在于，所述当前存储系统性能参数包括n种性能参数，所述第二预设模型的训练过程包括：
获取所述分布式存储系统的历史性能参数，所述历史性能参数包括所述n种性能参数随时间变化的记录值；
根据所述历史性能参数确定多个时间点对应的性能评估值；
根据所述多个时间点对应的性能评估值进行回归计算以确定性能评估值变化曲线，将所述性能评估值变化曲线设置为所述第二预设模型。
7.一种数据存储系统，其特征在于，包括：
数据处理装置，用于执行如权利要求1-6任一项所述的数据存储方法以存储待存储数据；
分布式存储系统，用于存储所述待存储数据；
预设缓存区，连接所述数据处理装置和所述分布式存储系统，用于接收所述数据处理装置传输的所述待存储数据，并定时将所述待存储数据转存到所述分布式存储系统；
固态硬盘，连接所述数据处理装置和所述分布式存储系统，用于接收所述数据处理装置传输的所述待存储数据，并根据所述数据处理装置的指令将所述待存储数据转存到所述分布式存储系统。
8.一种数据存储装置，其特征在于，包括：
性能参数获取模块，设置为响应待存储数据的存储请求获取当前存储系统性能参数，所述当前存储系统性能参数包括分布式存储系统的至少一个性能参数；
性能抖动评估模块，设置为根据所述当前存储系统性能参数确定所述分布式存储系统的性能抖动值；
数据存储控制模块，设置为当所述性能抖动值大于或等于第一预设值时，将所述待存储数据存储至固态硬盘，当所述系统性能抖动值小于所述第一预设值时，将所述待存储数据存储至预设缓存区。
9.一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如权利要求1-6任意一项所述的数据存储方法。
10.一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行如权利要求1-6任意一项所述的数据存储方法。
CN202110836348.4A 2021-07-23 2021-07-23 数据存储方法、系统、装置、介质与电子设备 Active CN113485649B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110836348.4A CN113485649B (zh) 2021-07-23 2021-07-23 数据存储方法、系统、装置、介质与电子设备
PCT/CN2021/140859 WO2023000611A1 (zh) 2021-07-23 2021-12-23 数据存储方法、系统、装置、介质与电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110836348.4A CN113485649B (zh) 2021-07-23 2021-07-23 数据存储方法、系统、装置、介质与电子设备

Publications (2)

Publication Number Publication Date
CN113485649A true CN113485649A (zh) 2021-10-08
CN113485649B CN113485649B (zh) 2023-03-24

Family

ID=77943247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110836348.4A Active CN113485649B (zh) 2021-07-23 2021-07-23 数据存储方法、系统、装置、介质与电子设备

Country Status (2)

Country Link
CN (1) CN113485649B (zh)
WO (1) WO2023000611A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023000611A1 (zh) * 2021-07-23 2023-01-26 天翼云科技有限公司 数据存储方法、系统、装置、介质与电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115794045B (zh) * 2023-02-07 2023-05-12 山东信息职业技术学院 基于大数据的软件开发应用数据处理方法
CN116048424B (zh) * 2023-03-07 2023-06-06 浪潮电子信息产业股份有限公司 Io数据处理方法、装置、设备及介质
CN116627920B (zh) * 2023-07-24 2023-11-07 华能信息技术有限公司 一种基于工业互联网的数据存储方法
CN117520597B (zh) * 2023-09-11 2024-04-26 北京国卫星通科技有限公司 惯导数据采集与分析系统的数据记录实现方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150317091A1 (en) * 2014-05-02 2015-11-05 Cavium, Inc. Systems and methods for enabling local caching for remote storage devices over a network via nvme controller
US20160320980A1 (en) * 2015-04-29 2016-11-03 International Business Machines Corporation Allocating storage extents in a storage system
CN108664217A (zh) * 2018-04-04 2018-10-16 安徽大学 一种降低固态盘存储系统写性能抖动的缓存方法及系统
CN108804043A (zh) * 2018-06-26 2018-11-13 郑州云海信息技术有限公司 分布式块存储系统带宽流量控制方法、装置、设备及介质
CN112162966A (zh) * 2020-09-11 2021-01-01 北京浪潮数据技术有限公司 分布式存储系统参数调节方法、装置及电子设备和介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10168953B1 (en) * 2016-05-20 2019-01-01 Nutanix, Inc. Dynamic scheduling of distributed storage management tasks using predicted system characteristics
CN107046563B (zh) * 2017-01-19 2019-01-25 无锡华云数据技术服务有限公司 一种分布式高效云盘的实现方法、系统及云平台
CN113031857B (zh) * 2021-01-30 2022-05-10 柏科数据技术（深圳）股份有限公司 数据写入方法、装置、服务器及存储介质
CN113037853B (zh) * 2021-03-22 2023-01-06 北京字节跳动网络技术有限公司 数据处理方法、装置、设备及存储介质
CN113138718A (zh) * 2021-04-27 2021-07-20 北京百度网讯科技有限公司 用于分布式块存储系统的存储方法、设备、系统和介质
CN113485649B (zh) * 2021-07-23 2023-03-24 天翼云科技有限公司 数据存储方法、系统、装置、介质与电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150317091A1 (en) * 2014-05-02 2015-11-05 Cavium, Inc. Systems and methods for enabling local caching for remote storage devices over a network via nvme controller
US20160320980A1 (en) * 2015-04-29 2016-11-03 International Business Machines Corporation Allocating storage extents in a storage system
CN108664217A (zh) * 2018-04-04 2018-10-16 安徽大学 一种降低固态盘存储系统写性能抖动的缓存方法及系统
CN108804043A (zh) * 2018-06-26 2018-11-13 郑州云海信息技术有限公司 分布式块存储系统带宽流量控制方法、装置、设备及介质
CN112162966A (zh) * 2020-09-11 2021-01-01 北京浪潮数据技术有限公司 分布式存储系统参数调节方法、装置及电子设备和介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023000611A1 (zh) * 2021-07-23 2023-01-26 天翼云科技有限公司 数据存储方法、系统、装置、介质与电子设备

Also Published As

Publication number Publication date
WO2023000611A1 (zh) 2023-01-26
CN113485649B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN113485649B (zh) 数据存储方法、系统、装置、介质与电子设备
US11550647B2 (en) Adaptive fault prediction analysis of computing components
CN109756230B (zh) 数据压缩存储方法、数据压缩方法、装置、设备及介质
KR20210042161A (ko) 분산 시스템을 위한 데이터 동기화 방법 및 장치, 매체, 및 전자 디바이스
US10684906B2 (en) Monitoring peripheral transactions
CN106802772B (zh) 数据回收的方法、装置及固态硬盘
US20240127795A1 (en) Model training method, speech recognition method, device, medium, and apparatus
KR102515853B1 (ko) 배터리 셀 단위를 기반으로 하는 이상 진단 장치, 시스템 및 방법
CN110140326A (zh) 对设备的性能数据进行采样的方法和装置
CN113672467A (zh) 运维预警方法及装置、电子设备、存储介质
CN115269108A (zh) 一种数据处理方法、装置及设备
US11487629B2 (en) Method, device and computer program product for managing data backup
CN112131274B (zh) 时间序列异常点的检测方法、装置、设备及可读存储介质
CN109308243B (zh) 数据处理方法、装置、计算机设备和介质
CN115022207B (zh) 网络稳定性确定方法、装置、计算机设备及可读存储介质
US20230095807A1 (en) Method, electronic device, and computer program product for managing storage device
CN112671590B (zh) 数据传输方法、装置、电子设备及计算机存储介质
CN115022206B (zh) 网络稳定性确定方法、装置、计算机设备及可读存储介质
CN113419879B (zh) 消息处理方法、装置、设备及存储介质
CN116820539B (zh) 一种基于互联网的系统软件运行维护系统及方法
US11146663B2 (en) Facilitating improved overall performance of remote data facility replication systems
CN116708445B (zh) 边缘计算任务的分配方法、配电网系统、装置及存储介质
EP4372613A1 (en) Service execution system and related product
US8943177B1 (en) Modifying a computer program configuration based on variable-bin histograms
JP2023532106A (ja) データ解析方法、電子機器及び記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220208

Address after: 100007 room 205-32, floor 2, building 2, No. 1 and No. 3, qinglonghutong a, Dongcheng District, Beijing

Applicant after: Tianyiyun Technology Co.,Ltd.

Address before: No.31, Financial Street, Xicheng District, Beijing, 100033

Applicant before: CHINA TELECOM Corp.,Ltd.

GR01 Patent grant
GR01 Patent grant