CN116955271A - 一种数据副本存储的方法、装置、电子设备及存储介质 - Google Patents
一种数据副本存储的方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116955271A CN116955271A CN202210406179.5A CN202210406179A CN116955271A CN 116955271 A CN116955271 A CN 116955271A CN 202210406179 A CN202210406179 A CN 202210406179A CN 116955271 A CN116955271 A CN 116955271A
- Authority
- CN
- China
- Prior art keywords
- data node
- data
- determining
- average value
- storage space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012795 verification Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/122—File system administration, e.g. details of archiving or snapshots using management policies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1727—Details of free space management performed by the file system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据副本存储的方法、装置、电子设备及存储介质，属于大数据技术领域，能够选择较优的副本存储节点，解决了在存储数据副本时不能选择较优的副本存储节点的问题。所述方法包括：获取多个数据节点中每个数据节点的网络负载和可用存储空间；将所述多个数据节点中网络负载大于或等于预设负载阈值的第一数据节点确定为第一集合，并将网络负载小于所述预设负载阈值的第二数据节点确定为第二集合；根据所述每个数据节点的可用存储空间，从所述第一集合或第二集合中确定用于存储数据副本的目标数据节点；将待存储的数据副本存储到所述目标数据节点。
Description
技术领域
本申请属于大数据技术领域，具体涉及一种数据副本存储的方法、装置、电子设备及存储介质。
背景技术
Hadoop是一种分布式系统基础架构，用户可以在不了解分布式低层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储，Hadoop实现了一个分布式文件系统，其中一个组件是分布式文件系统(Hadoop Distributed File System，HDFS)。Hadoop默认的副本存储策略假定集群中的所有数据节点都是同构的，主节点(NameNode)仅通过“机架感知”选择节点，而不考虑任何资源特性。
目前已有改进的Hadoop副本存储策略，可将集群节点动态划分为正常负载节点集和重负载节点集，副本存储时从正常负载节点集选择节点进行存放。目前的优化策略虽然考虑了节点的异构性，但在从正常负载节点集选择节点时存在一定的随机性，选择的副本存储节点不是较优的节点。
发明内容
本申请实施例提供一种数据副本存储的方法、装置、电子设备及存储介质，能够选择较优的副本存储节点，解决了在存储数据副本时不能选择较优的副本存储节点的问题。
第一方面，本申请实施例提供了一种数据副本存储的方法，该方法包括：获取多个数据节点中每个数据节点的网络负载和可用存储空间；将所述多个数据节点中网络负载大于或等于预设负载阈值的第一数据节点确定为第一集合，并将网络负载小于所述预设负载阈值的第二数据节点确定为第二集合；根据所述每个数据节点的可用存储空间，从所述第一集合或第二集合中确定所述目标数据节点；将待存储的数据副本存储到所述目标数据节点。
第二方面，本申请实施例提供了一种数据副本存储的装置，该装置包括：获取模块，用于获取多个数据节点中每个数据节点的网络负载和可用存储空间；分组模块，用于将所述多个数据节点中网络负载大于或等于预设负载阈值的第一数据节点确定为第一集合，并将网络负载小于所述预设负载阈值的第二数据节点确定为第二集合；确定模块，用于根据所述每个数据节点的可用存储空间，从所述第一集合或第二集合中确定用于存储数据副本的目标数据节点；存储模块，用于将待存储的数据副本存储到所述目标数据节点。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
在本申请实施例中，通过获取多个数据节点中每个数据节点的网络负载和可用存储空间；将所述多个数据节点中网络负载大于或等于预设负载阈值的第一数据节点确定为第一集合，并将网络负载小于所述预设负载阈值的第二数据节点确定为第二集合；根据所述每个数据节点的可用存储空间，从所述第一集合或第二集合中确定用于存储数据副本的目标数据节点；将待存储的数据副本存储到所述目标数据节点，使得在确定存储数据副本的目标数据节点的过程中，充分考虑了可用存储空间和网络负载的影响，能够根据数据节点的存储空间利用率和网络负载从高网络负载组或低网络负载组中选择较优的副本存储节点，解决了在存储数据副本时不能选择较优的副本存储节点的问题。
附图说明
图1是本申请实施例提供的一种数据副本存储的方法的流程示意图；
图2是本申请实施例提供的另一种数据副本存储的方法的流程示意图；
图3是本申请提供的一种数据副本存储的方法的验证结果的示意图；
图4是本申请的一个实施例提供的一种数据副本存储的装置的结构示意图；
图5是本申请的实施例提供的电子设备的结构示意图；
图6是本申请的实施例提供的另一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的一种数据副本存储的方法、装置、电子设备及存储介质进行详细地说明。
图1示出本发明的一个实施例提供的一种数据副本存储的方法，该方法可以由电子设备执行，该电子设备可以包括服务器。换言之，该方法可以由安装在电子设备的软件或硬件来执行，该方法包括如下步骤：
步骤102：获取多个数据节点中每个数据节点的网络负载和可用存储空间。
具体的，获取多个数据节点中每个数据节点的网络负载和可用存储空间，数据节点的网络负载为预设时段内处理的数据包的数量，数据节点的可用存储空间为数据节点中未被占用的存储空间。
步骤104：将所述多个数据节点中网络负载大于或等于预设负载阈值的第一数据节点确定为第一集合，并将网络负载小于所述预设负载阈值的第二数据节点确定为第二集合。
具体的，预设负载阈值可以由管理员预先设置，也可以动态获取多个数据节点的网络负载的平均值或者中位数作为预设负载阈值，在此不对预设负载阈值做具体限定。
将每个数据节点的网络负载与预设负载阈值进行比较，进而将所有数据节点划分为两个集合，其中，网络负载大于或等于预设负载阈值的第一数据节点确定为第一集合，因此，第一集合即为高网络负载的集合，网络负载小于预设负载阈值的第二数据节点确定为第二集合，因此，第二集合即为低网络负载的集合；即第一集合中包括网络负载大于或等于预设负载阈值的第一数据节点，第二集合中包括网络负载小于预设负载阈值的第二数据节点。
步骤106：根据所述每个数据节点的可用存储空间，从所述第一集合或第二集合中确定用于存储数据副本的目标数据节点。
具体的，根据每个数据节点的可用存储空间，从第一集合或第二集合中确定用于存储数据副本的目标数据节点。
步骤108：将待存储的数据副本存储到所述目标数据节点。
本发明实施例提供的一种数据副本存储的方法，通过获取多个数据节点中每个数据节点的网络负载和可用存储空间；将所述多个数据节点中网络负载大于或等于预设负载阈值的第一数据节点确定为第一集合，并将网络负载小于所述预设负载阈值的第二数据节点确定为第二集合；根据所述每个数据节点的可用存储空间，从所述第一集合或第二集合中确定用于存储数据副本的目标数据节点；将待存储的数据副本存储到所述目标数据节点，使得在确定存储数据副本的目标数据节点的过程中，充分考虑了可用存储空间和网络负载的影响，能够根据节点的存储空间利用率和网络负载从第一集合或第二集合中选择较优的副本存储节点，解决了在存储数据副本时不能选择较优的副本存储节点的问题。
在一种实现方式中，所述根据所述每个数据节点的可用存储空间，从所述第一集合或第二集合中确定用于存储数据副本的目标数据节点，包括：
根据所述每个数据节点的可用存储空间，获取所述第一集合中的所述第一数据节点的可用存储空间的第一平均值和所述第二集合中的所述第二数据节点的可用存储空间的第二平均值；根据所述第一平均值和所述第二平均值，从所述第一集合或第二集合中确定所述目标数据节点。
具体的，根据每个数据节点的可用存储空间，计算得到第一集合中的第一数据节点的可用存储空间的第一平均值和第二集合中的第二数据节点的可用存储空间的第二平均值，根据第一平均值和第二平均值，从第一集合或第二集合中确定用于存储数据副本的目标数据节点。
例如，获取第一集合中的第一数据节点的可用存储空间，根据第一数据节点的可用存储空间以及第一数据节点的数量，计算得到第一集合中的第一数据节点的可用存储空间的第一平均值。获取第二集合中的第二数据节点的可用存储空间，根据第二数据节点的可用存储空间以及第二数据节点的数量，计算得到第二集合中的第二数据节点的可用存储空间的第二平均值，根据第一平均值和第二平均值，从第一集合或第二集合中确定用于存储数据副本的目标数据节点。
这样，在确定存储数据副本的目标数据节点时，通过计算得到第一集合中的第一数据节点的可用存储空间的第一平均值和第二集合中的第二数据节点的可用存储空间的第二平均值，再根据第一平均值和第二平均值，使得确定目标数据节点的过程中充分考虑了存储空间利用率的影响，使得从第一集合或者第二集合中确定用于存储数据副本的目标数据节点为较优的数据节点，解决了在存储数据副本时不能选择较优的副本存储节点的问题。
在一种实现方式中，所述根据所述第一平均值和所述第二平均值，从所述第一集合或第二集合中确定所述目标数据节点，包括：
计算所述第一平均值与所述第二平均值的差值的绝对值；根据所述绝对值与预设阈值的关系，从所述第一集合或第二集合中确定所述目标数据节点。
根据第一平均值与第二平均值，确定第一平均值与第二平均值的差值的绝对值，将第一平均值与第二平均值的差值的绝对值与预设阈值进行比较，根据比较结果，从第一集合或第二集合中确定用于存储数据副本的目标数据节点，其中预设阈值可以由管理员预先设置，在此不做具体限定。
这样，通过计算得到第一平均值与第二平均值的差值的绝对值，将第一平均值与第二平均值的差值的绝对值与预设阈值进行比较，根据比较结果，能够从第一集合或第二集合中确定用于存储数据副本的较优的目标数据节点，使得确定目标数据节点的过程中充分考虑了存储空间利用率的影响，使得从第一集合或者第二集合中确定用于存储数据副本的目标数据节点为较优的数据节点，解决了在存储数据副本时不能选择较优的副本存储节点的问题。
在一中实现方式中，所述根据所述绝对值与预设阈值的关系，从所述第一集合或第二集合中确定所述目标数据节点，包括：
若所述绝对值小于所述预设阈值，则将所述第二集合中可用存储空间最大的数据节点确定为所述目标数据节点；若所述绝对值大于或等于所述预设阈值，并且所述第一平均值大于所述第二平均值，则将所述第一集合中网络负载最小的数据节点确定为所述目标数据节点；若所述绝对值大于或等于所述预设阈值，并且所述第一平均值小于所述第二平均值，则将所述第二集合中网络负载最小的数据节点确定为所述目标数据节点。
具体的，将第一平均值与第二平均值的差值的绝对值与预设阈值进行比较，其中，预设阈值可以由管理员预先设置，在此不做具体限定。
若该差值的绝对值小于预设阈值，则第一平均值与第二平均值的差值在可接受范围内，第一集合与第二集合的可用存储空间分布是均衡的，可以将网络负载较小的第一集合中可用存储空间最大的数据节点确定为目标数据节点。
若该差值的绝对值大于或等于预设阈值，则第一平均值与第二平均值的差值超出可接受范围，并且，若第一平均值大于第二平均值，则可以将第一集合中网络负载最小的数据节点确定为存储数据副本的目标数据节点。
若该差值的绝对值大于或等于预设阈值，则第一平均值与第二平均值的差值超出可接受范围，并且，若第一平均值小于第二平均值，则可以将第二集合中网络负载最小的数据节点确定为存储数据副本的目标数据节点。
这样，若所述绝对值小于所述预设阈值，则将所述第二集合中可用存储空间最大的数据节点确定为所述目标数据节点；若所述绝对值大于或等于所述预设阈值，并且所述第一平均值大于所述第二平均值，则将所述第一集合中网络负载最小的数据节点确定为所述目标数据节点；若所述绝对值大于或等于所述预设阈值，并且所述第一平均值小于所述第二平均值，则将所述第二集合中网络负载最小的数据节点确定为所述目标数据节点，使得在确定存储数据副本的目标数据节点的过程中，充分考虑了可用存储空间和网络负载的影响，能够根据节点的存储空间利用率和网络负载从第一集合或第二集合中选择较优的用于存储数据副本的数据节点，解决了在存储数据副本时不能选择较优的副本存储节点的问题。
可选的，下面结合图2，对本申请的一个实施例进行说明，在该实施例中，包括以下步骤：
步骤202：获取多个数据节点中每个数据节点的网络负载和可用存储空间。
具体的，获取多个数据节点中每个数据节点的网络负载和可用存储空间，数据节点的网络负载为预设时段内处理的数据包的数量，数据节点的可用存储空间为数据节点中未被占用的存储空间。
步骤204：将所述多个数据节点中网络负载大于或等于预设负载阈值的第一数据节点确定为第一集合，并将网络负载小于所述预设负载阈值的第二数据节点确定为第二集合。
具体的，将多个数据节点的网络负载与预设负载阈值进行比较，将网络负载大于或等于预设负载阈值的第一数据节点确定为第一集合，将网络负载小于预设负载阈值的第二数据节点确定为第二集合，即第一集合中包括网络负载大于或等于预设负载阈值的第一数据节点，第二集合中包括网络负载小于预设负载阈值的第二数据节点，其中，预设负载阈值可以由管理员预先设置，也可以动态获取多个数据节点的网络负载的平均值或者中位数作为预设负载阈值，在此不对预设负载阈值做具体限定。
步骤206：获取第一集合中数据节点的可用存储空间的第一平均值以及第二集合中的数据节点的可用存储空间的第二平均值。
具体的，根据第一集合中的第一数据节点的可用存储空间以及第一数据节点的数量，计算得到第一平均值，根据第二集合中的第二数据节点的可用存储空间以及第二数据节点的数量，计算得到第二平均值。
步骤208：根据第一平均值与第二平均值的差值的绝对值与预设阈值的关系，确定用于存储数据副本的目标数据节点。
预设阈值可以由管理员预先设置，在此不对预设阈值做具体限定。
具体的，根据第一平均值与第二平均值，确定第一平均值与第二平均值的差值的绝对值，将该绝对值与预设阈值进行比较，若该绝对值小于预设阈值，则第一平均值与第二平均值的差值在可接受范围内，第一集合与第二集合的可用存储空间分布是均衡的，可以将网络负载较小的第一集合中可用存储空间最大的数据节点确定为目标数据节点。
若该差值的绝对值大于或等于预设阈值，则第一平均值与第二平均值的差值超出可接受范围，并且，若第一平均值大于第二平均值，则可以将第一集合中网络负载最小的数据节点确定为存储数据副本的目标数据节点。
若该差值的绝对值大于或等于预设阈值，则第一平均值与第二平均值的差值超出可接受范围，并且，若第一平均值小于第二平均值，则可以将第二集合中网络负载最小的数据节点确定为存储数据副本的目标数据节点。
本发明实施例提供的一种数据副本存储的方法，通过获取多个数据节点中每个数据节点的网络负载和可用存储空间，获取第一集合中数据节点的可用存储空间的第一平均值以及第二集合中数据节点的可用存储空间的第二平均值，根据第一平均值与第二平均值的差值的绝对值与预设阈值的关系，确定用于存储数据副本的目标数据节点，使得在确定存储数据副本的目标数据节点的过程中，充分考虑了可用存储空间和网络负载的影响，能够根据数据节点的存储空间利用率和网络负载从高网络负载组或低网络负载组中选择较优的用于存储数据副本的数据节点，解决了在存储数据副本时不能选择较优的副本存储节点的问题。
下面通过具体示例对本实施例进行说明。
可选的，可以在Hadoop2.6平台进行验证，其中，该平台由25个节点(Node)组成。将Node0作为主节点(NameNode)，从node1到node24的节点作为数据节点(DataNode)，它们通过千兆网络连接在一个总机架上。
通过比较两种不同策略的副本是默认的64M，总块数是12195，验证过程中，通过加大Node1、Node13、Node17、Node19和Node20这5个节点的网络负载，使得最终的数据分布比较会更加明显。
通过比较本申请提供的数据副本存储的方法(IBPS)和默认数据副本存储策略(DBPS)来评估数据放置策略对数据分布的影响，分别使用IBPS和DBPS记录所用存储空间，并计算每个数据节点的存储空间使用率(Disk Space used Ratio)，具体结果如下表所示：
其中，DBPS的存储空间使用率标准差为6.66，IBPS的存储空间使用率标准差为1.54，由此可见，IBPS的性能比DBPS更加均衡，IBPS在数据分布中表现得更加均匀，而且，一旦调用了平衡器可以节省更多的时间，因为新的均衡策略需要迁移的不平衡块远远少于默认策略。这是因为IBPS机制考虑到了每个节点的网络负载和存储空间利用率的影响，有效地保持了系统的负载平衡。
通过比较DBPS和IBPS来确定时间成本的影响。在验证过程中，记录了为从50GB到250GB的文件大小所花费的时间。如图3所示，IBPS花费的时间比DBPS少得多。使用DBPS的平均时间为35257s，而IBPS的平均时间为25270s，节省了28.32％。这是因为IBPS机制可以防止被网络负载大的节点占用，并且倾向于优先选择网络负载小、存储空间大的最优节点。
因此，IBPS不仅在数据分布上比DBPS更加均衡，而且节省了大量的时间。
需要说明的是，本申请实施例提供的一种数据副本存储的方法，执行主体可以为数据副本存储的装置，或者该数据副本存储的装置中的用于执行数据副本存储的方法的控制模块。本申请实施例中以数据副本存储的装置执行数据副本存储的方法为例，说明本申请实施例提供的数据副本存储的装置。
图4是根据本发明实施例的数据副本存储的装置的结构示意图。如图4所示，数据副本存储的装置400包括：获取模块410、分组模块420、确定模块430、存储模块440。
获取模块410，用于获取多个数据节点中每个数据节点的网络负载和可用存储空间；分组模块420，用于将所述多个数据节点中网络负载大于或等于预设负载阈值的第一数据节点确定为第一集合，并将网络负载小于所述预设负载阈值的第二数据节点确定为第二集合；确定模块430，用于根据所述每个数据节点的可用存储空间，从所述第一集合或第二集合中确定用于存储数据副本的目标数据节点；存储模块440，用于将待存储的数据副本存储到所述目标数据节点。
在一种实现方式中，确定模块430，用于根据所述每个数据节点的可用存储空间，获取所述第一集合中的所述第一数据节点的可用存储空间的第一平均值和所述第二集合中的所述第二数据节点的可用存储空间的第二平均值；根据所述第一平均值和所述第二平均值，从所述第一集合或第二集合中确定所述目标数据节点。
在一种实现方式中，确定模块430，用于计算所述第一平均值与所述第二平均值的差值的绝对值；根据所述绝对值与预设阈值的关系，从所述第一集合或第二集合中确定所述目标数据节点。
在一种实现方式中，确定模块430，用于若所述绝对值小于所述预设阈值，则将所述第二集合中可用存储空间最大的数据节点确定为所述目标数据节点；若所述绝对值大于或等于所述预设阈值，并且所述第一平均值大于所述第二平均值，则将所述第一集合中网络负载最小的数据节点确定为所述目标数据节点；若所述绝对值大于或等于所述预设阈值，并且所述第一平均值小于所述第二平均值，则将所述第二集合中网络负载最小的数据节点确定为所述目标数据节点。
本申请实施例中的数据副本存储的装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或自助机等，本申请实施例不作具体限定。
本申请实施例中的数据副本存储的装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的数据副本存储的装置能够实现图1至图2的方法实施例中实现的各个过程，为避免重复，这里不再赘述。
可选的，如图5所示，本申请实施例还提供一种电子设备500，包括处理器501，存储器502，存储在存储器502上并可在处理器501上运行的程序或指令，该程序或指令被处理器501执行时实现上述数据副本存储的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
图6为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备600包括但不限于：射频单元601、网络模块602、音频输出单元603、输入单元604、传感器605、显示单元606、用户输入单元607、接口单元608、存储器609、以及处理器610等部件。
本领域技术人员可以理解，电子设备600还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器610逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或组合某些部件，或不同的部件布置，在此不再赘述。
其中，处理器610，用于获取多个数据节点中每个数据节点的网络负载和可用存储空间；将所述多个数据节点中网络负载大于或等于预设负载阈值的第一数据节点确定为第一集合，并将网络负载小于所述预设负载阈值的第二数据节点确定为第二集合；根据所述每个数据节点的可用存储空间，从所述第一集合或第二集合中确定用于存储数据副本的目标数据节点；将待存储的数据副本存储到所述目标数据节点。
在一种实现方式中，处理器610，用于根据所述每个数据节点的可用存储空间，获取所述第一集合中的所述第一数据节点的可用存储空间的第一平均值和所述第二集合中的所述第二数据节点的可用存储空间的第二平均值；根据所述第一平均值和所述第二平均值，从所述第一集合或第二集合中确定所述目标数据节点。
在一种实现方式中，处理器610，用于计算所述第一平均值与所述第二平均值的差值的绝对值；根据所述绝对值与预设阈值的关系，从所述第一集合或第二集合中确定所述目标数据节点。
在一种实现方式中，处理器610，用于若所述绝对值小于所述预设阈值，则将所述第二集合中可用存储空间最大的数据节点确定为所述目标数据节点；若所述绝对值大于或等于所述预设阈值，并且所述第一平均值大于所述第二平均值，则将所述第一集合中网络负载最小的数据节点确定为所述目标数据节点；若所述绝对值大于或等于所述预设阈值，并且所述第一平均值小于所述第二平均值，则将所述第二集合中网络负载最小的数据节点确定为所述目标数据节点。
本实施例可以实现上述数据副本存储的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。应理解的是，本申请实施例中，输入单元604可以包括图形处理器(Graphics Processing Unit，GPU)6041和麦克风6042，图形处理器6041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元606可包括显示面板6061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板6061。用户输入单元607包括触控面板6071以及其他输入设备6072。触控面板6071，也称为触摸屏。触控面板6071可包括触摸检测装置和触摸控制器两个部分。其他输入设备6072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器609可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器610可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器610中。
本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述数据副本存储的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或是还包括为这种过程、方法、物品或装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或网络设备等)执行本申请各个实施例的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (10)
1.一种数据副本存储的方法，其特征在于，包括：
获取多个数据节点中每个数据节点的网络负载和可用存储空间；
将所述多个数据节点中网络负载大于或等于预设负载阈值的第一数据节点确定为第一集合，并将网络负载小于所述预设负载阈值的第二数据节点确定为第二集合；
根据所述每个数据节点的可用存储空间，从所述第一集合或第二集合中确定用于存储数据副本的目标数据节点；
将待存储的数据副本存储到所述目标数据节点。
2.根据权利要求1所述的方法，其特征在于，所述根据所述每个数据节点的可用存储空间，从所述第一集合或第二集合中确定用于存储数据副本的目标数据节点，包括：
根据所述每个数据节点的可用存储空间，获取所述第一集合中的所述第一数据节点的可用存储空间的第一平均值和所述第二集合中的所述第二数据节点的可用存储空间的第二平均值；
根据所述第一平均值和所述第二平均值，从所述第一集合或第二集合中确定所述目标数据节点。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一平均值和所述第二平均值，从所述第一集合或第二集合中确定所述目标数据节点，包括：
计算所述第一平均值与所述第二平均值的差值的绝对值；
根据所述绝对值与预设阈值的关系，从所述第一集合或第二集合中确定所述目标数据节点。
4.根据权利要求3所述的方法，其特征在于，所述根据所述绝对值与预设阈值的关系，从所述第一集合或第二集合中确定所述目标数据节点，包括：
若所述绝对值小于所述预设阈值，则将所述第二集合中可用存储空间最大的数据节点确定为所述目标数据节点；
若所述绝对值大于或等于所述预设阈值，并且所述第一平均值大于所述第二平均值，则将所述第一集合中网络负载最小的数据节点确定为所述目标数据节点；
若所述绝对值大于或等于所述预设阈值，并且所述第一平均值小于所述第二平均值，则将所述第二集合中网络负载最小的数据节点确定为所述目标数据节点。
5.一种数据副本存储的装置，其特征在于，包括：
获取模块，用于获取多个数据节点中每个数据节点的网络负载和可用存储空间；
分组模块，用于将所述多个数据节点中网络负载大于或等于预设负载阈值的第一数据节点确定为第一集合，并将网络负载小于所述预设负载阈值的第二数据节点确定为第二集合；
确定模块，用于根据所述每个数据节点的可用存储空间，从所述第一集合或第二集合中确定所述目标数据节点；
存储模块，用于将待存储的数据副本存储到所述目标数据节点。
6.根据权利要求5所述的装置，其特征在于，所述确定模块，用于：
根据所述每个数据节点的可用存储空间，获取所述第一集合中的所述第一数据节点的可用存储空间的第一平均值和所述第二集合中的所述第二数据节点的可用存储空间的第二平均值；
根据所述第一平均值和所述第二平均值，从所述第一集合或第二集合中确定所述目标数据节点。
7.根据权利要求6所述的装置，其特征在于，所述确定模块，用于：
计算所述第一平均值与所述第二平均值的差值的绝对值；
根据所述绝对值与预设阈值的关系，从所述第一集合或第二集合中确定所述目标数据节点。
8.根据权利要求7所述的装置，其特征在于，所述确定模块，用于：
若所述绝对值小于所述预设阈值，则将所述第二集合中可用存储空间最大的数据节点确定为所述目标数据节点；
若所述绝对值大于或等于所述预设阈值，并且所述第一平均值大于所述第二平均值，则将所述第一集合中网络负载最小的数据节点确定为所述目标数据节点；
若所述绝对值大于或等于所述预设阈值，并且所述第一平均值小于所述第二平均值，则将所述第二集合中网络负载最小的数据节点确定为所述目标数据节点。
9.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-4任一项所述的数据副本存储的方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-4任一项所述的数据副本存储的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210406179.5A CN116955271A (zh) | 2022-04-18 | 2022-04-18 | 一种数据副本存储的方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210406179.5A CN116955271A (zh) | 2022-04-18 | 2022-04-18 | 一种数据副本存储的方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116955271A true CN116955271A (zh) | 2023-10-27 |
Family
ID=88458976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210406179.5A Pending CN116955271A (zh) | 2022-04-18 | 2022-04-18 | 一种数据副本存储的方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116955271A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117656846A (zh) * | 2024-02-01 | 2024-03-08 | 临沂大学 | 一种汽车电驱动故障数据动态存储方法 |
-
2022
- 2022-04-18 CN CN202210406179.5A patent/CN116955271A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117656846A (zh) * | 2024-02-01 | 2024-03-08 | 临沂大学 | 一种汽车电驱动故障数据动态存储方法 |
| CN117656846B (zh) * | 2024-02-01 | 2024-04-19 | 临沂大学 | 一种汽车电驱动故障数据动态存储方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2015336357B2 (en) | Composite partition functions | |
| CN109542512B (zh) | 一种数据处理方法、装置和存储介质 | |
| CN106713028B (zh) | 业务降级方法、装置和分布式任务调度系统 | |
| KR20140009074A (ko) | 동기화 애플리케이션들에 대한 스마트 스케줄링 동기화 방법 및 모바일 디바이스 | |
| CN109309735B (zh) | 连接处理方法、服务器、系统及存储介质 | |
| CN108512768B (zh) | 一种访问量的控制方法及装置 | |
| CN113282392A (zh) | 接口服务的调用方法、装置、电子设备及存储介质 | |
| WO2020094064A1 (zh) | 性能优化方法、装置、设备及计算机可读存储介质 | |
| CN116955271A (zh) | 一种数据副本存储的方法、装置、电子设备及存储介质 | |
| CN106681803B (zh) | 一种任务调度方法及服务器 | |
| EP3985988A1 (en) | Detection method for still picture of video, terminal, and computer-readable storage medium | |
| US9501321B1 (en) | Weighted service requests throttling | |
| CN113268329A (zh) | 一种请求调度方法、装置及存储介质 | |
| CN112118314A (zh) | 负载均衡方法和装置 | |
| US10264061B2 (en) | User service access allocation method and system | |
| EP2622499B1 (en) | Techniques to support large numbers of subscribers to a real-time event | |
| CN113518119B (zh) | ABTest的服务分发方法、装置、设备及存储介质 | |
| CN113225830A (zh) | 数据网络上行调度方法、装置及电子设备 | |
| CN113687952A (zh) | 一种信息处理方法、装置、设备及存储介质 | |
| JP6646340B2 (ja) | 分散装置および分散方法 | |
| CN113821349A (zh) | 负载均衡方法及装置 | |
| CN111858395B (zh) | 数据管理方法及装置 | |
| CN114428578B (zh) | 一种动态框选页面元素的方法及装置 | |
| CN114553775B (zh) | 流量控制方法、装置 | |
| CN116455756B (zh) | 基于行情推送及查询的带宽均衡方法、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |