CN116319762B - 局域网内文件批量复制方法、装置、电子设备及存储介质 - Google Patents
局域网内文件批量复制方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116319762B CN116319762B CN202310559547.4A CN202310559547A CN116319762B CN 116319762 B CN116319762 B CN 116319762B CN 202310559547 A CN202310559547 A CN 202310559547A CN 116319762 B CN116319762 B CN 116319762B
- Authority
- CN
- China
- Prior art keywords
- host
- target
- batch
- replication
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000010076 replication Effects 0.000 claims abstract description 192
- 238000004891 communication Methods 0.000 claims description 12
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000003362 replicative effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
- H04L43/0894—Packet rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种局域网内文件批量复制方法、装置、电子设备及存储介质，涉及局域网技术领域，包括：从局域网中获取复制信息；根据目标主机网卡带宽和目标文件属性，确定多个复制批次以及每个复制批次对应的主机数；基于目标主机清单和每个复制批次对应的主机数，从候选主机中确定每个复制批次对应的目标主机；从局域网中获取目标文件，并将目标文件复制至第一个复制批次对应的目标主机，以利用控制主机和第一个复制批次对应的目标主机，将目标文件复制至下一复制批次对应的目标主机，直至每个复制批次对应的目标主机均存储有目标文件。本发明可以显著提高文件批量复制的整体效率。
Description
技术领域
本发明涉及局域网技术领域，尤其是涉及一种局域网内文件批量复制方法、装置、电子设备及存储介质。
背景技术
目前，对局域网内的文件进行复制时，尤其是对局域网内的大文件进行复制时，通常将大文件进行切分，以文件块的形式均衡分发给各个主机，在局域网的带宽有限，且获取大文件的主机过多的情况下，将会导致复制大文件的整体效率较慢。
发明内容
有鉴于此，本发明的目的在于提供一种局域网内文件批量复制方法、装置、电子设备及存储介质，可以显著提高文件批量复制的整体效率。
第一方面，本发明实施例提供了一种局域网内文件批量复制方法，所述方法应用于控制主机，局域网分别与所述控制主机、多个候选主机通信连接，所述局域网内存储有待复制的目标文件，所述方法包括：
从所述局域网中获取复制信息；其中，所述复制信息至少包括目标主机清单、目标主机网卡带宽和目标文件属性；
根据所述目标主机网卡带宽和所述目标文件属性，确定第一个复制批次对应的主机数；
基于所述目标主机清单和所述第一个复制批次对应的所述主机数，从所述候选主机中确定所述第一个复制批次对应的目标主机；
从所述局域网中获取所述目标文件，并将所述目标文件复制至第一个复制批次对应的所述目标主机，以利用所述控制主机和所述第一个复制批次对应的所述目标主机，将所述目标文件复制至下一复制批次对应的所述目标主机，直至所述目标主机清单包含的每个所述候选主机均存储有所述目标文件。
在一种实施方式中，根据所述目标主机网卡带宽和所述目标文件属性，确定第一个复制批次对应的主机数，包括：
获取第一个复制批次的主机数区间；其中，所述主机数区间的最大值为所述目标主机清单包含的候选主机的主机总数量且最小值为1；
遍历所述主机数区间中的每个候选主机数；
对于每个所述候选主机数，确定该候选主机数对应的复制批次数量，根据所述复制批次数量、所述目标主机网卡带宽和所述目标文件属性确定该候选主机数对应的第一复制总耗时；
如果所述候选主机数对应的所述第一复制总耗时最小，则将所述候选主机数确定为第一个复制批次对应的主机数；其中，所述第一个复制批次对应的主机数以缓存文件形式进行存储。
在一种实施方式中，确定该候选主机数对应的复制批次数量，包括：
按照如下公式确定该候选主机数对应的复制批次数量：
；/>；
其中，为前/>个复制批次对应的主机总数量，/>为候选主机数，/>为所述主机数区间的最大值，/>为该候选主机数对应的复制批次数量。
在一种实施方式中，根据所述复制批次数量、所述目标主机网卡带宽和所述目标文件属性确定该候选主机数对应的第一复制总耗时，包括：
按照如下公式确定该候选主机数对应的第一复制总耗时：
；
其中，为该候选主机数对应的第一复制总耗时，/>为候选主机数，/>为所述目标主机网卡带宽，/>为所述目标文件属性。
在一种实施方式中，基于所述目标主机清单和所述第一个复制批次对应的所述主机数，从所述候选主机中确定所述第一个复制批次对应的目标主机，包括：
确定所述目标文件属性与所述目标主机网卡带宽的商值，并将所述商值与所述主机数区间的最大值的乘积确定为第二复制总耗时；
如果最小的所述第一复制总耗时大于所述第二复制总耗时，以文件块形式将所述目标文件复制至所述目标主机清单包含的每个所述候选主机；
如果最小的所述第一复制总耗时小于所述第二复制总耗时，基于所述目标主机清单和所述第一个复制批次对应的所述主机数，从所述候选主机中确定所述第一个复制批次对应的目标主机。
在一种实施方式中，所述候选主机经交换机与所述局域网通信连接，所述复制信息还包括交换机数量；
基于所述目标主机清单和所述第一个复制批次对应的所述主机数，从所述候选主机中确定所述第一个复制批次对应的目标主机，还包括：
如果所述交换机数量为1，则按照所述目标主机网卡带宽从高到低的顺序，对所述目标主机清单包含的候选主机的标识进行排序，并根据第一个复制批次对应的所述主机数，从所述目标主机清单中确定所述第一个复制批次对应的第一批标识，以基于所述第一批标识确定所述第一个复制批次对应的目标主机；
或者，如果所述交换机数量大于1，则将所述目标主机清单划分为每个所述交换机对应的目标主机子清单；其中，所述目标主机子清单内包含经所述交换机与所述局域网通信连接的候选主机的标识；
按照每个所述目标主机网卡带宽从高到低的顺序，对每个所述目标主机子清单中包含的候选主机的标识进行排序，并根据第一个复制批次对应的所述主机数，分别从每个所述目标主机资清单中确定所述第一个复制批次对应的至少一个第一批标识，以基于所述第一批标识确定所述第一个复制批次对应的目标主机。
在一种实施方式中，将所述目标文件复制至第一个复制批次对应的所述目标主机，以利用所述控制主机和所述第一个复制批次对应的所述目标主机，将所述目标文件复制至下一复制批次对应的所述目标主机，
直至所述目标主机清单包含的每个所述候选主机均存储有所述目标文件，包括：
将所述目标文件复制至第一个复制批次对应的每个所述目标主机；
继续基于所述目标主机清单和所述第一个复制批次对应的所述主机数，从所述候选主机中确定所述下一复制批次对应的目标主机；
将所述目标文件复制至所述下一复制批次对应的一个目标主机；以及控制第一个复制批次对应的每个所述目标主机，分别将所述目标文件复制至所述下一复制批次对应的一个目标主机中；其中，所述第一个复制批次对应的目标主机，优先将所述目标文件复制至同一交换机下的、下一复制批次对应的目标主机；
继续基于所述目标主机清单、所述第一个复制批次对应的所述主机数和所述下一复制批次对应的主机数，从所述候选主机中确定目标主机，直至所述目标主机清单包含的每个所述候选主机均存储有所述目标文件。
第二方面，本发明实施例还提供一种局域网内文件批量复制装置，所述装置应用于控制主机，局域网分别与所述控制主机、多个候选主机通信连接，所述局域网内存储有待复制的目标文件，所述装置包括：
信息获取模块，用于从所述局域网中获取复制信息；其中，所述复制信息至少包括目标主机清单、目标主机网卡带宽和目标文件属性；
主机数确定模块，用于根据所述目标主机网卡带宽和所述目标文件属性，确定第一个复制批次对应的主机数；
主机确定模块，用于基于所述目标主机清单和所述第一个复制批次对应的所述主机数，从所述候选主机中确定所述第一个复制批次对应的目标主机；
批量复制模块，用于从所述局域网中获取所述目标文件，并将所述目标文件复制至第一个复制批次对应的所述目标主机，以利用所述控制主机和所述第一个复制批次对应的所述目标主机，将所述目标文件复制至下一复制批次对应的所述目标主机，直至所述目标主机清单包含的每个所述候选主机均存储有所述目标文件。
第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现第一方面提供的任一项所述的方法。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第一方面提供的任一项所述的方法。
本发明实施例提供的一种局域网内文件批量复制方法、装置、电子设备及存储介质，应用于控制主机，局域网分别与控制主机、多个候选主机通信连接，局域网内存储有待复制的目标文件，控制主机先从局域网中获取复制信息（至少包括目标主机清单、目标主机网卡带宽和目标文件属性），再根据目标主机网卡带宽和目标文件属性，确定第一个复制批次对应的主机数，从而基于目标主机清单和第一个复制批次对应的主机数，从候选主机中确定第一个复制批次对应的目标主机，最后从局域网中获取目标文件，并将目标文件复制至第一个复制批次对应的目标主机，以利用控制主机和第一个复制批次对应的目标主机，将目标文件复制至下一复制批次对应的目标主机，直至目标主机清单包含的每个所述候选主机均存储有目标文件。上述方法利用控制主机从局域网内拉取目标主机清单、目标主机网卡带宽和目标文件属性等复制信息，从而基于目标主机网卡带宽和目标文件属性，确定第一个复制批次对应的主机数和目标主机，在控制主机将目标文件复制至第一个复制批次对应的目标主机之后，可以继续由控制主机和第一个复制批次对应的目标主机对下一个复制批次对应的目标主机进行复制，本发明实施例通过利用已完成复制的目标主机对下一个复制批次对应的目标主机进行复制，可以显著加快局域网内的目标文件批量复制的速度，另外本发明实施例以文件整体进行复制，无需进一步拆分目标文件，相较于现有技术以文件块形式进行复制的方式，本发明实施例可以省略拼接文件块以得到原始目标文件的过程，从而进一步提高了目标文件批量复制的整体效率。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种局域网内文件批量复制方法的流程示意图；
图2为本发明实施例提供的一种目标主机清单的示意图；
图3为本发明实施例提供的一种局域网内文件批量复制方法的功能框图；
图4为本发明实施例提供的另一种局域网内文件批量复制方法的流程示意图；
图5为本发明实施例提供的一种局域网内文件批量复制装置的结构示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，现有大文件批量复制方式存在整体复制效率较慢的问题，基于此，本发明实施提供了一种局域网内文件批量复制方法、装置、电子设备及存储介质，可以显著提高文件批量复制的整体效率。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种局域网内文件批量复制方法进行详细介绍，该方法应用于控制主机，局域网分别与控制主机、多个候选主机通信连接，局域网内存储有待复制的目标文件，目标文件可以为大文件，诸如大小在10G以上的文件。假设局域网内有M台主机，如果控制主机可以为M台主机之外的一台主机，此时M台主机均为候选主机；如果控制主机为M台主机之内的一台主机，此时处控制主机之外的主机称之为候选主机。
在此基础上，参见图1所示的一种局域网内文件批量复制方法的流程示意图，该方法主要包括以下步骤S102至步骤S108：
步骤S102，从局域网中获取复制信息。其中，复制信息至少包括目标主机清单、目标主机网卡带宽和目标文件属性，还可以包括交换机数量，目标主机清单内记录有至少一台待复制的候选主机的标识，目标主机网卡带宽为目标主机清单内包含的所有标识对应的候选主机的网卡带宽，目标文件属性可以为目标文件的大小。
在一种实施方式中，可以手动或自动将目标主机清单配置至局域网内，再从局域网中读取目标主机清单。考虑到实际环境中并非每次均将目标文件复制值所有候选主机中，所以可以通过手动将待复制的候选主机的标识写入目标主机清单中，在将目标主机清单上传至局域网之后，控制主机可以通过cat命令从局域网中读取目标主机清单。另外，若需要自动获取目标主机清单，则可以使用nmap命令对局域网内的所有候选主机进行扫描，将结果重定向入文件即可。
在另一种实施方式中，为获取目标主机网卡带宽，可以使用ssh+ethtool命令收集主机网卡带宽信息，收集后可根据网卡带宽速率重新排序目标主机清单，将主机清单中网卡带宽低的候选主机置于目标主机清单末尾。
在另一种实施方式中，为获取目标文件属性，可以使用du -sh命令从局域网内读取目标文件的大小信息。
在另一种实施方式中，局域网内的交换机数量不会很多，可以手动指定交换机数量。
步骤S104，根据目标主机网卡带宽和目标文件属性，确定第一个复制批次对应的主机数。在一种实施方式中，可以预先配置第一个复制批次的主机数区间，该主机数区间的最小值为1，最大值为目标主机清单中所包含的候选主机的主机总数量，该主机总数量也可用于表征目标文件的复制总份数；然后对主机数区间的每个主机数进行遍历，并确定出每个主机数对应的复制批次数量和第一复制总耗时；选择第一复制总耗时最小的主机数作为第一复制批次对应主机数。
步骤S106，基于目标主机清单和第一个复制批次对应的主机数，从候选主机中确定第一个复制批次对应的目标主机。在一种实施方式中，可以先判断交换机数量是否为1，如果为1，则可以按照目标主机网卡带宽从高到低的顺序，从目标主机清单包含的候选主机的标识中，选择第一个复制批次对应的标识，进而得到第一个复制批次对应的目标主机；如果不为1，则可以按照目标主机网卡带宽从高到低的顺序，选择每个交换机对应的至少一个候选主机，作为第一个复制批次对应的目标主机，以便于后续在确定下一复制批次时优选将同一交换机对应的目标主机，以便于后续利用第一个复制批次中该交换机对应的目标主机，对下一复制批次对应的目标主机进行复制。
步骤S108，从局域网中获取目标文件，并将目标文件复制至第一个复制批次对应的目标主机，以利用控制主机和第一个复制批次对应的目标主机，将目标文件复制至下一复制批次对应的目标主机，直至目标主机清单包含的每个候选主机均存储有目标文件。
在一种实施方式中，控制主机从局域网中下载目标文件，并将其复制至第一个复制批次对应的每个目标主机内，在进行第二个复制批次的复制时，可以由控制主机和第一个复制批次对应的目标主机，将目标文件复制至第二个复制批次对应的目标主机中；以此类推，在进行第三个复制批次的复制时，由控制主机、第一个复制批次对应的目标主机、第二个复制批次对应的目标主机，将目标文件复制至第三个复制批次对应的目标主机中，重复上述过程直至目标主机清单包含的每个候选主机均存储有目标文件。
本发明实施例提供的一种局域网内文件批量复制方法，利用控制主机从局域网内拉取目标主机清单、目标主机网卡带宽和目标文件属性等复制信息，从而基于目标主机网卡带宽和目标文件属性，确定第一个复制批次对应的主机数和目标主机，在控制主机将目标文件复制至第一个复制批次对应的目标主机之后，可以继续由控制主机和第一个复制批次对应的目标主机对下一个复制批次对应的目标主机进行复制，本发明实施例通过利用已完成复制的目标主机对下一个复制批次对应的目标主机进行复制，可以显著加快局域网内的目标文件批量复制的速度，另外本发明实施例以文件整体进行复制，无需进一步拆分目标文件，相较于现有技术以文件块形式进行复制的方式，本发明实施例可以省略拼接文件块以得到原始目标文件的过程，从而进一步提高了目标文件批量复制的整体效率。
为便于对前述步骤S104进行理解，本发明实施例提供了一种根据目标主机网卡带宽和目标文件属性，确定第一个复制批次对应的主机数的实施方式，参见如下步骤1至步骤4：
步骤1，获取第一个复制批次的主机数区间。其中，主机数区间的最大值为目标主机清单包含的候选主机的主机总数量aH且最小值为1，也即主机数区间记为[1，aH]。
步骤2，遍历主机数区间中的每个候选主机数。
步骤3，对于每个候选主机数，确定该候选主机数对应的复制批次数量，根据复制批次数量、目标主机网卡带宽和目标文件属性确定该候选主机数对应的第一复制总耗时。在一种实施方式中：
第一个复制批次的复制份数：，/>；
第n个复制批次的复制份数：，/>；
前n个复制批次的复值份数和：，其中，a1=1，q=2；
整理上述公式，得到如下用于确定该候选主机数对应的复制批次数量的公式：
；/>；
其中，为前/>个复制批次对应的主机总数量，也即前/>个复制批次的复值份数和，/>为候选主机数，/>为主机数区间的最大值，/>为该候选主机数/>对应的复制批次数量。
在实际应用中，遍历主机数区间中的每个候选主机数，将候选主机数x代入至候选主机数对应的复制批次数量的公式中，在满足这一条件下，选择最小的n值作为该候选主机数对应的复制批次数量。
在另一种实施方式中，还可以按照如下公式确定该候选主机数对应的第一复制总耗时：
；
其中，为该候选主机数对应的第一复制总耗时，/>为候选主机数，/>为目标主机网卡带宽，/>为目标文件属性。
步骤4，如果候选主机数对应的第一复制总耗时最小，则将候选主机数确定为第一个复制批次对应的主机数。在一种实施方式中，本发明实施例基于候选主机数对应的复制批次数量/>、候选主机数/>、目标主机网卡带宽/>、目标文件属性/>可求得每个候选主机数x取值所对应的第一复制总耗时/>，对第一复制总耗时/>值进行升序排列，即可得到最小的第一复制总耗时/>，同时此第一复制总耗时/>对应的候选主机数/>即为第一个复制批次的主机数（也即，份数）。
在一种实施方式中，第一个复制批次对应的主机数以缓存文件形式进行存储，通过将第一个复制批次对应的主机数、目标文件属性、目标主机网卡带宽等数据进行关联存储，后续可直接从缓存文件中读取相应的主机数，无需重复计算，从而进一步提高大文件批量复制的整体效率。
本发明实施例的重点在于选定第一个复制批次的主机数，从而理论上最大限度的提升复制速度。
在前述实施例的基础上，本发明实施例提供了一种步骤S106的实施方式，在执行基于目标主机清单和第一个复制批次对应的主机数，从候选主机中确定第一个复制批次对应的目标主机的步骤时，可以参见如下步骤a1至步骤a3：
步骤a1，确定目标文件属性与目标主机网卡带宽的商值，并将商值与主机数区间的最大值的乘积确定为第二复制总耗时。在一种实施方式中，可以按照如下公式确定传输复制算法的第二复制总耗时：
；其中，/>为第二复制总耗时，/>为目标主机网卡带宽，/>为目标文件属性。
步骤a2，如果最小的第一复制总耗时大于第二复制总耗时，则以文件块形式将目标文件复制至目标主机清单中包含的每个候选主机。在一种实施方式中，如果最小的第一复制总耗时大于第二复制总耗时/>，则表明传统复制算法速度更快，此时即可采用传统复制算法实现目标文件的复制，也即以文件块的形式将目标文件复制至目标主机清单中包含的每个候选主机。
步骤a3，如果最小的第一复制总耗时小于第二复制总耗时，则基于目标主机清单和第一个复制批次对应的主机数，从候选主机中确定第一个复制批次对应的目标主机。在一种实施方式中，如果最小的第一复制总耗时小于第二复制总耗时/>，则表明本发明实施例提供的局域网内文件批量复制方法速度更快，此时即可采用本发明实施例提供的局域网内文件批量复制方法实现目标文件的复制，也即确定出第一个复制批次对应的目标主机，并按照步骤S108将目标文件复制至目标主机清单包含的每个候选主机内。
在一种实施方式中，如果最小的第一复制总耗时等于第二复制总耗时/>，可以选择传统复制算法或者本发明实施例提供的局域网内文件批量复制方法实现目标文件的复制，优选传统复制算法。
可选的，本发明实施例还可以实现缓存功能，加快复制前的判断速度。具体的，将两种方式的复制总耗时的计算结果保存至文件中，每次复制时，先从文件中搜索是否有计算过的结果，如果有，则直接调用，没有，则执行复制总耗时的计算过程。
在前述实施例的基础上，本发明实施例提供了另一种步骤S106的实施方式，为便于理解，首先对应用场景进行介绍，候选主机经交换机与局域网通信连接，复制信息还包括交换机数量，交换机每个端口有独立带宽，如果一个端口向其他p个端口同时发送文件，则每个端口的速度约为带宽的1/p，若端口间点对点传输，则理论上是带宽全速复制。基于此，在执行基于目标主机清单和每个复制批次对应的主机数，从候选主机中确定每个复制批次对应的目标主机的步骤时，可以参见如下情况一至情况二：
情况一，如果交换机数量为1：按照目标主机网卡带宽从高到低的顺序，对目标主机清单中包含的候选主机的标识进行排序，并根据第一个复制批次对应的主机数，从目标主机清单中确定第一个复制批次对应的第一批标识，以基于第一批标识确定第一个复制批次对应的目标主机。
示例性的，假设10台候选主机经1个交换机与局域网通信连接，参见图2所示的一种目标主机清单的示意图，目标主机清单记载有“1.1.1.1（1号）”、“1.1.1.2（2号）”、“1.1.1.3（3号）”等10台候选主机的标识，假设第一个复制批次对应的主机数为1个，在具体实现时，优先按照各候选主机的目标主机网卡带宽从高到低的顺序，选择1个标识对应的候选主机作为第一个复制批次对应的目标主机，此时控制主机将目标文件复制至该目标主机内，且控制主机和该目标主机共同进行下一个复制批次的复制，也即需要选择2个标识对应的候选主机作为第二复制批次对应的目标主机。
情况二，如果交换机数量大于1：
（1）将目标主机清单划分为每个交换机对应的目标主机子清单；其中，目标主机子清单内包含经交换机与局域网通信连接的候选主机的标识。在一种实施方式中，可以通过ansible模块根据主机IP（Internet Protocol，网际互联协议）地址获取主机MAC（MediaAccess Control Address，媒体存取控制位址）地址，通过ansible模块执行远程命令获取主机MAC地址对应的端口，从而判断每个候选主机属于哪个交换机，也即确定出每个候选主机的标识与交换机之间的映射关系，生成新的主机清单，根据交换机编号排序，格式如下：“IP-MAC-交换机1”、“IP-MAC-交换机2”。
其中，根据MAC地址查看对应端口命令如下所示：“dis mac-address 448A-5BE2-5800”，查到对应结果则说明该主机对应此交换机的端口。
在一种可选的实施方式中，可以按照交换机将目标主机清单，划分为每个交换机对应的目标主机子清单，目标主机子清单包含的标识为该交换机下的每个候选主机的标识。
（2）按照每个目标主机网卡带宽从高到低的顺序，对每个目标主机子清单中包含的候选主机的标识进行排序，并根据第一个复制批次对应的主机数，分别从每个目标主机资清单中确定第一个复制批次对应的至少一个第一批标识，以基于第一批标识确定第一个复制批次对应的目标主机。 示例性的，假设交换机数量为2，包括交换机1和交换机2，则从交换机1对应的目标主机子清单中确定至少一个标识，以及从交换机2对应的目标主机子清单中确定至少一个标识，总标识数量应等于第一个复制批次对应的主机数。
在实际应用中，优先进行同一个交换机下的候选主机的复制，因此可以从一个目标主机子清单中确定出一个复制批次对应的主机数。示例性的，可以基于交换机1对应的目标主机子清单中确定第二个复制批次对应的目标主机，和/或基于交换机2对应的目标主机子清单中确定第二个复制批次对应的目标主机。
在实际应用中，如果存在多台交换机，则在第一次的目标文件优先分配到不同交换机端口对应的主机，后续复制优先在同一交换机端口内实现复制，避免因多端口跨交换机复制而拉低带宽，以进一步加快局域网内大文件批量复制的速度。
另外，由于scp的安全漏洞，可选取rsync进行同步复制，也可通过选项开启多线程复制。
本发明实施例可以根据主机网卡带宽优先级选择主机的复制顺序，还可以根据交换机的数量及主机与交换机端口的对应关系选择复制的主机，从而提升主机的复制速度。
为便于对前述步骤S108进行理解，本发明实施例提供了一种利用控制主机和第一个复制批次对应的目标主机实现后续批量复制的实施方式。具体的，参见如下（1）至（4）：
（1）将目标文件复制至第一个复制批次对应的每个目标主机；
（2）继续基于目标主机清单和第一个复制批次对应的主机数，从候选主机中确定下一复制批次对应的目标主机；
（3）将目标文件复制至下一复制批次对应的一个目标主机；以及控制第一个复制批次对应的每个目标主机，分别将目标文件复制至下一复制批次对应的一个目标主机中；其中，第一个复制批次对应的目标主机，优先将目标文件复制至同一交换机下的、下一复制批次对应的目标主机。在执行控制第一个复制批次对应的每个目标主机，分别将目标文件复制至下一复制批次对应的一个目标主机中的步骤时，可以由控制主机执行ssh命令，并@第一个复制批次对应的目标主机的IP地址，再执行scp命令即可控制第一个复制批次对应的目标主机，将目标文件复制至下一复制批次对应的一个目标主机中。
（4）继续基于目标主机清单、第一个复制批次对应的主机数和下一复制批次对应的主机数，从候选主机中确定目标主机，直至目标主机清单包含的每个候选主机均存储有目标文件。
示例性的，参见图3所示的一种局域网内文件批量复制方法的功能框图，如图3所示，以第一个复制批次的主机数是1为例，在带宽相同的情况下，控制主机先顺序选择第一台主机进行复制，也即控制主机将目标文件复制至1号主机，复制完成后，控制主机顺序选择下一台主机，同时1号主机顺序选取下一台主机，也即控制主机将目标文件复制至2号主机，1号主机将目标文件复制至3号主机，以此类推。
本发明实施例基于带宽、主机数量及文件大小，使用自定义算法选择优先复制的主机，待复制完成后，以原始主机和复制好的主机使用算法选定下一批主机进行复制，以此类推，从而充分利用有限的设备性能，加快局域网内的大文件批量传输速度。
为便于对前述实施例进行理解，本发明实施例提供了一种局域网内文件批量复制方法的具体过程，参见图4所示的另一种局域网内文件批量复制方法的流程示意图，参见如下步骤S402至步骤S422：
步骤S402，获取交换机数量、目标主机清单、网卡带宽和文件大小。
步骤S404，判断交换机数量是否大于1。如果否，执行步骤S406；如果是，执行步骤S414。
步骤S406，查看缓存文件是否有对应的最优解。如果是，执行步骤S408；如果否，执行步骤S410。应当注意的是，第一次查询的结果为空，另外判断时允许文件大小上下浮动200M，浮动大小可调。
步骤S408，根据缓存文件，选取合适的x值，从目标主机清单中选择合适的主机进行复制。
步骤S410，根据算法算出最合适的x值，或者使用传统复制算法进行复制，并执行步骤S412。其中，x值的计算过程可参见前述步骤1至步骤5，本发明实施例对此不再进行赘述。应当注意的是，第一次将计算结果写入缓存文件中，用于下次查询；第一次可多次计算，复制的主机数从1到所有，对应的结果都写入缓存文件中，后续将每次新计算的结果追加写入到缓存文件中即可。示例性的，缓存文件格式如下：交换机数量-复制的主机数-带宽-文件大小-第一次复制分数x。
步骤S412，根据计算出的x值，从目标主机清单中选择主机进行复制。
步骤S414，通过ansible模块根据主机IP地址获取主机MAC地址，通过ansible模块执行远程命令获取主机MAC地址对应的端口，从而判断每个候选主机属于哪个交换机，生成新的主机清单。
步骤S416，查看缓存文件是否有对应的最优解。如果是，执行步骤S418；如果否，执行步骤S420。应当注意的是，第一次查询结果为空，另外判断时允许文件大小上下浮动200M，浮动大小可调。
步骤S418，根据缓存文件选取合适的x值，从主机清单中选择合适的主机进行复制。在实际应用中，不同于单台交换机，第一次的副本优先分配到不同交换机端口对应的主机，后续复制优先在同一交换机端口内实现复制，避免因多端口跨交换机复制而拉低带宽。
步骤S420，根据算法算出最合适的x值，或使用传统复制算法进行复制，并执行步骤S422。应当注意的是，第一次将计算结果写入缓存文件中，用于下次查询；第一次可多次计算，复制的主机数从1到所有，对应的结果都写入缓存文件中，后续将每次新计算的结果追加写入到缓存文件中即可。示例性的，缓存文件格式如下：交换机数量-复制的主机数-带宽-文件大小-第一次复制分数x。
步骤S422，根据计算出的x值，从主机清单中选择主机进行复制。在实际应用中，不同于单台交换机，第一次的副本优先分配到不同交换机端口对应的主机，后续复制优先在同一交换机端口内实现复制，避免因多端口跨交换机复制而拉低带宽。
本发明实施例提供的局域网内文件批量复制方法可以显著加快局域网内的大文件批量复制速度。
对于前述实施例提供的局域网内文件批量复制方法，本发明实施例提供了一种局域网内文件批量复制装置，该装置应用于控制主机，局域网分别与控制主机、多个候选主机通信连接，局域网内存储有待复制的目标文件，参见图5所示的一种局域网内文件批量复制装置的结构示意图，该装置主要包括以下部分：
信息获取模块502，用于从局域网中获取复制信息；其中，复制信息至少包括目标主机清单、目标主机网卡带宽和目标文件属性；
主机数确定模块504，用于根据目标主机网卡带宽和目标文件属性，确定第一个复制批次对应的主机数；
主机确定模块506，用于基于目标主机清单和第一个复制批次对应的主机数，从候选主机中确定第一个复制批次对应的目标主机；
批量复制模块508，用于从局域网中获取目标文件，并将目标文件复制至第一个复制批次对应的目标主机，以利用控制主机和第一个复制批次对应的目标主机，将目标文件复制至下一复制批次对应的目标主机，直至目标主机清单包含的每个所述候选主机均存储有目标文件。
本发明实施例提供了一种局域网内文件批量复制装置，利用控制主机从局域网内拉取目标主机清单、目标主机网卡带宽和目标文件属性等复制信息，从而基于目标主机网卡带宽和目标文件属性，确定第一个复制批次对应的主机数和目标主机，在控制主机将目标文件复制至第一个复制批次对应的目标主机之后，可以继续由控制主机和第一个复制批次对应的目标主机对下一个复制批次对应的目标主机进行复制，本发明实施例通过利用已完成复制的目标主机对下一个复制批次对应的目标主机进行复制，可以显著加快局域网内的目标文件批量复制的速度，另外本发明实施例以文件整体进行复制，无需进一步拆分目标文件，相较于现有技术以文件块形式进行复制的方式，本发明实施例可以省略拼接文件块以得到原始目标文件的过程，从而进一步提高了目标文件批量复制的整体效率。
在一种实施方式中，主机数确定模块504还用于：
获取第一个复制批次的主机数区间；其中，主机数区间的最大值为目标主机清单包含的候选主机的主机总数量且最小值为1；
遍历主机数区间中的每个候选主机数；
对于每个候选主机数，确定该候选主机数对应的复制批次数量，根据复制批次数量、目标主机网卡带宽和目标文件属性确定该候选主机数对应的第一复制总耗时；
如果候选主机数对应的第一复制总耗时最小，则将候选主机数确定为第一个复制批次对应的主机数；其中，第一个复制批次对应的主机数以缓存文件形式进行存储。
在一种实施方式中，主机数确定模块504还用于：
按照如下公式确定该候选主机数对应的复制批次数量：
；/>；
其中，为前/>个复制批次对应的主机总数量，/>为候选主机数，/>为主机数区间的最大值，/>为该候选主机数对应的复制批次数量。
在一种实施方式中，主机数确定模块504还用于：
按照如下公式确定该候选主机数对应的第一复制总耗时：
；
其中，为该候选主机数对应的第一复制总耗时，/>为候选主机数，/>为目标主机网卡带宽，/>为目标文件属性。
在一种实施方式中，主机确定模块506还用于：
确定目标文件属性与目标主机网卡带宽的商值，并将商值与主机数区间的最大值的乘积确定为第二复制总耗时；
如果最小的第一复制总耗时大于第二复制总耗时，以文件块形式将目标文件复制至目标主机清单包含的每个候选主机；
如果最小的第一复制总耗时小于第二复制总耗时，基于目标主机清单和第一个复制批次对应的主机数，从候选主机中确定第一个复制批次对应的目标主机。
在一种实施方式中，候选主机经交换机与局域网通信连接，复制信息还包括交换机数量；主机确定模块506还用于：
如果交换机数量为1，则按照目标主机网卡带宽从高到低的顺序，对目标主机清单包含的候选主机的标识进行排序，并根据第一个复制批次对应的主机数，从目标主机清单中确定第一个复制批次对应的第一批标识，以基于第一批标识确定第一个复制批次对应的目标主机；
或者，如果交换机数量大于1，则将目标主机清单划分为每个交换机对应的目标主机子清单；其中，目标主机子清单内包含经交换机与局域网通信连接的候选主机的标识；
按照每个目标主机网卡带宽从高到低的顺序，对每个目标主机子清单中包含的候选主机的标识进行排序，并根据第一个复制批次对应的主机数，分别从每个目标主机资清单中确定第一个复制批次对应的至少一个第一批标识，以基于第一批标识确定第一个复制批次对应的目标主机。
在一种实施方式中，批量复制模块508还用于：
将目标文件复制至第一个复制批次对应的每个目标主机；
继续基于目标主机清单和第一个复制批次对应的主机数，从候选主机中确定下一复制批次对应的目标主机；
将目标文件复制至下一复制批次对应的一个目标主机；以及控制第一个复制批次对应的每个目标主机，分别将目标文件复制至下一复制批次对应的一个目标主机中；其中，第一个复制批次对应的目标主机，优先将目标文件复制至同一交换机下的、下一复制批次对应的目标主机；
继续基于目标主机清单、第一个复制批次对应的主机数和下一复制批次对应的主机数，从候选主机中确定目标主机，直至目标主机清单包含的每个候选主机均存储有目标文件。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例提供了一种电子设备，具体的，该电子设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法 。
图6为本发明实施例提供的一种电子设备的结构示意图，该电子设备100包括：处理器60，存储器61，总线62和通信接口63，所述处理器60、通信接口63和存储器61通过总线62连接；处理器60用于执行存储器61中存储的可执行模块，例如计算机程序。
其中，存储器61可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非不稳定的存储器（non-volatilememory），例如至少一个磁盘存储器。通过至少一个通信接口63（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线62可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器61用于存储程序，所述处理器60在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器60中，或者由处理器60实现。
处理器60可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器60中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器60可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器61，处理器60读取存储器61中的信息，结合其硬件完成上述方法的步骤。
本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (9)
1.一种局域网内文件批量复制方法，其特征在于，所述方法应用于控制主机，局域网分别与所述控制主机、多个候选主机通信连接，所述局域网内存储有待复制的目标文件，所述方法包括：
从所述局域网中获取复制信息；其中，所述复制信息至少包括目标主机清单、目标主机网卡带宽和目标文件属性；
根据所述目标主机网卡带宽和所述目标文件属性，确定第一个复制批次对应的主机数；
基于所述目标主机清单和所述第一个复制批次对应的所述主机数，从所述候选主机中确定所述第一个复制批次对应的目标主机；
从所述局域网中获取所述目标文件，并将所述目标文件复制至第一个复制批次对应的所述目标主机，以利用所述控制主机和所述第一个复制批次对应的所述目标主机，将所述目标文件复制至下一复制批次对应的所述目标主机，直至所述目标主机清单包含的每个所述候选主机均存储有所述目标文件；
根据所述目标主机网卡带宽和所述目标文件属性，确定第一个复制批次对应的主机数，包括：
获取第一个复制批次的主机数区间；其中，所述主机数区间的最大值为所述目标主机清单包含的候选主机的主机总数量且最小值为1；
遍历所述主机数区间中的每个候选主机数；
对于每个所述候选主机数，确定该候选主机数对应的复制批次数量，根据所述复制批次数量、所述目标主机网卡带宽和所述目标文件属性确定该候选主机数对应的第一复制总耗时；
如果所述候选主机数对应的所述第一复制总耗时最小，则将所述候选主机数确定为第一个复制批次对应的主机数；其中，所述第一个复制批次对应的主机数以缓存文件形式进行存储。
2.根据权利要求1所述的局域网内文件批量复制方法，其特征在于，确定该候选主机数对应的复制批次数量，包括：
按照如下公式确定该候选主机数对应的复制批次数量：
；/>；
其中，为前/>个复制批次对应的主机总数量，/>为候选主机数，/>为所述主机数区间的最大值，/>为该候选主机数对应的复制批次数量。
3.根据权利要求1所述的局域网内文件批量复制方法，其特征在于，根据所述复制批次数量、所述目标主机网卡带宽和所述目标文件属性确定该候选主机数对应的第一复制总耗时，包括：
按照如下公式确定该候选主机数对应的第一复制总耗时：
；
其中，为该候选主机数对应的第一复制总耗时，/>为候选主机数，/>为所述目标主机网卡带宽，/>为所述目标文件属性，/>为该候选主机数对应的复制批次数量。
4.根据权利要求1所述的局域网内文件批量复制方法，其特征在于，基于所述目标主机清单和所述第一个复制批次对应的所述主机数，从所述候选主机中确定所述第一个复制批次对应的目标主机，包括：
确定所述目标文件属性与所述目标主机网卡带宽的商值，并将所述商值与所述主机数区间的最大值的乘积确定为第二复制总耗时；
如果最小的所述第一复制总耗时大于所述第二复制总耗时，以文件块形式将所述目标文件复制至所述目标主机清单包含的每个所述候选主机；
如果最小的所述第一复制总耗时小于所述第二复制总耗时，基于所述目标主机清单和所述第一个复制批次对应的所述主机数，从所述候选主机中确定所述第一个复制批次对应的目标主机。
5.根据权利要求1所述的局域网内文件批量复制方法，其特征在于，所述候选主机经交换机与所述局域网通信连接，所述复制信息还包括交换机数量；基于所述目标主机清单和所述第一个复制批次对应的所述主机数，从所述候选主机中确定所述第一个复制批次对应的目标主机，还包括：
如果所述交换机数量为1，则按照所述目标主机网卡带宽从高到低的顺序，对所述目标主机清单包含的候选主机的标识进行排序，并根据第一个复制批次对应的所述主机数，从所述目标主机清单中确定所述第一个复制批次对应的第一批标识，以基于所述第一批标识确定所述第一个复制批次对应的目标主机；
或者，如果所述交换机数量大于1，则将所述目标主机清单划分为每个所述交换机对应的目标主机子清单；其中，所述目标主机子清单内包含经所述交换机与所述局域网通信连接的候选主机的标识；
按照每个所述目标主机网卡带宽从高到低的顺序，对每个所述目标主机子清单中包含的候选主机的标识进行排序，并根据第一个复制批次对应的所述主机数，分别从每个所述目标主机资清单中确定所述第一个复制批次对应的至少一个第一批标识，以基于所述第一批标识确定所述第一个复制批次对应的目标主机。
6.根据权利要求1所述的局域网内文件批量复制方法，其特征在于，将所述目标文件复制至第一个复制批次对应的所述目标主机，以利用所述控制主机和所述第一个复制批次对应的所述目标主机，将所述目标文件复制至下一复制批次对应的所述目标主机，直至所述目标主机清单包含的每个所述候选主机均存储有所述目标文件，包括：
将所述目标文件复制至第一个复制批次对应的每个所述目标主机；
继续基于所述目标主机清单和所述第一个复制批次对应的所述主机数，从所述候选主机中确定所述下一复制批次对应的目标主机；
将所述目标文件复制至所述下一复制批次对应的一个目标主机；以及控制第一个复制批次对应的每个所述目标主机，分别将所述目标文件复制至所述下一复制批次对应的一个目标主机中；其中，所述第一个复制批次对应的目标主机，优先将所述目标文件复制至同一交换机下的、下一复制批次对应的目标主机；
继续基于所述目标主机清单、所述第一个复制批次对应的所述主机数和所述下一复制批次对应的主机数，从所述候选主机中确定目标主机，直至所述目标主机清单包含的每个所述候选主机均存储有所述目标文件。
7.一种局域网内文件批量复制装置，其特征在于，所述装置应用于控制主机，局域网分别与所述控制主机、多个候选主机通信连接，所述局域网内存储有待复制的目标文件，所述装置包括：
信息获取模块，用于从所述局域网中获取复制信息；其中，所述复制信息至少包括目标主机清单、目标主机网卡带宽和目标文件属性；
主机数确定模块，用于根据所述目标主机网卡带宽和所述目标文件属性，确定第一个复制批次对应的主机数；
主机确定模块，用于基于所述目标主机清单和所述第一个复制批次对应的所述主机数，从所述候选主机中确定所述第一个复制批次对应的目标主机；
批量复制模块，用于从所述局域网中获取所述目标文件，并将所述目标文件复制至第一个复制批次对应的所述目标主机，以利用所述控制主机和所述第一个复制批次对应的所述目标主机，将所述目标文件复制至下一复制批次对应的所述目标主机，直至所述目标主机清单包含的每个所述候选主机均存储有所述目标文件；
主机数确定模块还用于：
获取第一个复制批次的主机数区间；其中，所述主机数区间的最大值为所述目标主机清单包含的候选主机的主机总数量且最小值为1；
遍历所述主机数区间中的每个候选主机数；
对于每个所述候选主机数，确定该候选主机数对应的复制批次数量，根据所述复制批次数量、所述目标主机网卡带宽和所述目标文件属性确定该候选主机数对应的第一复制总耗时；
如果所述候选主机数对应的所述第一复制总耗时最小，则将所述候选主机数确定为第一个复制批次对应的主机数；其中，所述第一个复制批次对应的主机数以缓存文件形式进行存储。
8.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310559547.4A CN116319762B (zh) | 2023-05-18 | 2023-05-18 | 局域网内文件批量复制方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310559547.4A CN116319762B (zh) | 2023-05-18 | 2023-05-18 | 局域网内文件批量复制方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116319762A CN116319762A (zh) | 2023-06-23 |
| CN116319762B true CN116319762B (zh) | 2023-08-04 |
Family
ID=86801725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310559547.4A Active CN116319762B (zh) | 2023-05-18 | 2023-05-18 | 局域网内文件批量复制方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116319762B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7568034B1 (en) * | 2003-07-03 | 2009-07-28 | Google Inc. | System and method for data distribution |
| CN110597664A (zh) * | 2019-09-17 | 2019-12-20 | 深信服科技股份有限公司 | 一种高可用集群资源部署方法、装置及相关组件 |
| CN111654402A (zh) * | 2020-06-23 | 2020-09-11 | 中国平安财产保险股份有限公司 | 网络拓扑创建方法、装置、设备及存储介质 |
| CN111698283A (zh) * | 2020-04-29 | 2020-09-22 | 中国平安财产保险股份有限公司 | 分布式集群主机的管控方法、装置、设备及存储介质 |
| CN111786947A (zh) * | 2020-05-18 | 2020-10-16 | 北京邮电大学 | 攻击图的生成方法、装置、电子设备及存储介质 |
| CN111818145A (zh) * | 2020-06-29 | 2020-10-23 | 苏州好玩友网络科技有限公司 | 一种文件传输方法、装置、系统、设备及存储介质 |
| CN111880967A (zh) * | 2020-07-28 | 2020-11-03 | 平安科技（深圳）有限公司 | 云场景下的文件备份方法、装置、介质和电子设备 |
| WO2021082486A1 (zh) * | 2019-10-31 | 2021-05-06 | 深圳市商汤科技有限公司 | 获取样本的方法、装置、设备、存储介质及程序 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11334532B2 (en) * | 2020-03-11 | 2022-05-17 | International Business Machines Corporation | Dynamic selection of data apply strategy during database replication |
-
2023
- 2023-05-18 CN CN202310559547.4A patent/CN116319762B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7568034B1 (en) * | 2003-07-03 | 2009-07-28 | Google Inc. | System and method for data distribution |
| CN110597664A (zh) * | 2019-09-17 | 2019-12-20 | 深信服科技股份有限公司 | 一种高可用集群资源部署方法、装置及相关组件 |
| WO2021082486A1 (zh) * | 2019-10-31 | 2021-05-06 | 深圳市商汤科技有限公司 | 获取样本的方法、装置、设备、存储介质及程序 |
| CN111698283A (zh) * | 2020-04-29 | 2020-09-22 | 中国平安财产保险股份有限公司 | 分布式集群主机的管控方法、装置、设备及存储介质 |
| CN111786947A (zh) * | 2020-05-18 | 2020-10-16 | 北京邮电大学 | 攻击图的生成方法、装置、电子设备及存储介质 |
| CN111654402A (zh) * | 2020-06-23 | 2020-09-11 | 中国平安财产保险股份有限公司 | 网络拓扑创建方法、装置、设备及存储介质 |
| CN111818145A (zh) * | 2020-06-29 | 2020-10-23 | 苏州好玩友网络科技有限公司 | 一种文件传输方法、装置、系统、设备及存储介质 |
| CN111880967A (zh) * | 2020-07-28 | 2020-11-03 | 平安科技（深圳）有限公司 | 云场景下的文件备份方法、装置、介质和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116319762A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108959370B (zh) | 一种基于知识图谱中实体相似度的社区发现方法及装置 | |
| CN104978526A (zh) | 病毒特征的提取方法及装置 | |
| WO2014094421A1 (zh) | 数据处理方法和虚拟机管理平台 | |
| JP2004172917A (ja) | パケット検索装置及びそれに用いるパケット処理検索方法並びにそのプログラム | |
| CN107807989B (zh) | 小文件处理方法及装置 | |
| WO2022142499A1 (zh) | Ip地址所属区域的确定方法、装置、电子设备及存储介质 | |
| CN114564446B (zh) | 一种文件存储的方法、装置、系统及存储介质 | |
| WO2020143181A1 (zh) | 数据存储方法、装置、计算机设备及存储介质 | |
| CN115599448A (zh) | 一种基于linux内核ko模块的加载方法及装置 | |
| WO2005093609A1 (en) | Optimizing database access for record linkage by tiling the space of record pairs | |
| CN116319762B (zh) | 局域网内文件批量复制方法、装置、电子设备及存储介质 | |
| CN113127864A (zh) | 特征码提取方法、装置、计算机设备和可读存储介质 | |
| US20160124841A1 (en) | Information processing system and data processing method | |
| CN111638925A (zh) | 一种接口方法表生成方法、函数指针查询方法及装置 | |
| CN110764711B (zh) | 一种io数据分类删除方法、装置和计算机可读存储介质 | |
| CN110910249B (zh) | 一种数据处理方法、装置、节点设备及存储介质 | |
| CN108762684B (zh) | 热点数据迁移流控方法、装置、电子设备及存储介质 | |
| CN114625805B (zh) | 一种回测配置方法、装置、设备及介质 | |
| CN105095382A (zh) | 样本分布式聚类计算方法及装置 | |
| CN114943021A (zh) | 一种tb级增量数据筛选方法和装置 | |
| CN112566096B (zh) | Lte用户位置变更信息获取的方法、装置及设备 | |
| CN114691549A (zh) | 一种文件写入方法、装置及计算设备 | |
| CN114138330A (zh) | 基于知识图谱的代码克隆检测优化方法、装置和电子设备 | |
| CN111930612A (zh) | 一种代码更新正确性的检测方法、装置及计算设备 | |
| JP6097660B2 (ja) | 入力データ集約処理装置及びシステム及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |