CN1595908A - 计算机数据批量快速复制的方法 - Google Patents
计算机数据批量快速复制的方法 Download PDFInfo
- Publication number
- CN1595908A CN1595908A CNA2004100198818A CN200410019881A CN1595908A CN 1595908 A CN1595908 A CN 1595908A CN A2004100198818 A CNA2004100198818 A CN A2004100198818A CN 200410019881 A CN200410019881 A CN 200410019881A CN 1595908 A CN1595908 A CN 1595908A
- Authority
- CN
- China
- Prior art keywords
- data
- copy
- packet
- server
- client computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
Abstract
一种计算机数据批量快速复制的方法。该方法是将客户机所需数据以映像文件分割成N个数据包连续保存在服务器端。服务器从第一个数据包开始，依次顺序向后广播数据包，循环播放。客户机可随时加入拷贝，将接收到的第一个完整的数据包，作为此客户机的开始，并将接收包中的数据按照位置信息写入到正确位置，然后接收处理下一个包，直至处理到开始位置的前一个包，则完成全部数据拷贝。本发明通过“循环广播，即时加入”技术，最大程度提升了大数据量的批量复制效率，与电脑流线式生产模式进行最佳匹配，可大幅提升生产效率。对网络硬件要求较低，使用低端服务器，就可实现高效率的硬盘系统映像批量复制，大大降低了运行成本。
Description
【技术领域】：本发明涉及计算机数据的批量快速复制领域，特别是客户机通过网络连接服务器，直接从服务器中拷贝相应的数据。
【背景技术】：在计算机生产过程中，需要为每台计算机硬盘中安装系统及应用软件，目前业内主要采用两种方法：
方法1：对每种配置机型，事先安装制作一块母盘，然后使用拷盘机将其复制到其他硬盘中，再进行装配。该方法需要人工拆装硬盘，每台拷盘机只能同时复制少量硬盘，速度慢，效率低。
方法2：网络拷贝方式，即事先制作母盘并将其映像保存于服务器，生产计算机与服务器联网，使用软件进行映像下载拷贝的方法。此方法可替代拷盘机及相关人工作业，但由于传输数据量巨大，每台客户机都要拷贝2-3GB以上数据，对服务器，网络硬件要求很高，需要高性能服务器以及千兆网络，每台服务器只能同时服务十几台客户机，客户机数量增加导致效率成倍降低，硬件投入高，限制了此模式的推广应用。
如，以每台服务器连接50台客户机计算，按照普通方式，在100Mbit网络上，(100M比特/秒，约11M字节/秒)，每台客户机理论上最多只能获得0.2M字节/秒的带宽，每分钟也最多可达到12M字节的传输速度，而实际上有效数据的传输速度，也只能达到理论值的70％左右，也就是8M字节/分钟左右。
【发明内容】：本发明目的是克服现有技术的不足，提供一种计算机数据批量快速复制的方法，实现高速大批量硬盘网络复制，并降低对服务器及网络的要求。
为实现上述目的，本发明首先需要解决的问题，就是大幅降低网络负载。因为在计算机生产时，同型号计算机所需拷贝的数据完全相同，所以可以采用“广播”式，由服务器将数据“广播”出去，每台客户机都可同时收到使用，这样，无论连接多少台客户机，同一数据在网络上只传输一次，而不是由服务器分别传输给所有客户机，成倍降低网络负载。
但因映像制作为顺序数据，需要连续顺序拷贝，这样为达到各客户机数据复用，所有客户机需要同时开始接收数据，然后依次写入到硬盘中，而实际生产为流水线方式，因此会产生等待过程，降低了生产效率。
故，本发明需要解决的第二个问题是，克服上述需要客户机同步的问题，本发明采用了“即时加入”技术，使客户机可随时加入，随时接收数据。服务器从头开始，循环广播映像数据，客户机可在任何时间加入，即时接收到当前广播的数据，根据数据中的位置信息，将其写入到硬盘中的正确位置，直至完成全部数据。
本发明提供的计算机数据批量快速复制的方法，按以下步骤完成：
第一、影像文件构成：将客户机所需数据以映像文件保存在服务器端，且将该映像文件分割成N个数据包，连续存放，分别记录目标硬盘中的有效数据，见图1；
第二、映像数据包构成：各数据包的构成可包含有包号、包长度即数据大小、位置信息、数据校验信息和有效数据内容部分，见图2。
第三、映像广播/接收过程：
服务器从第一个数据包开始，依次顺序向后广播数据包，广播完最后一个数据包，则循环重复播放第一个。客户机随时加入进来，接收到第一个完整的数据包，则作为此客户机的开始，将接收包中的数据按照位置信息写入到正确位置，然后接收处理下一个包，直至处理到开始位置的前一个包，则完成全部数据拷贝，见图3。
第四、服务器端具体工作流程：
服务器首先检查是否有客户机请求拷贝或者完成拷贝该映像；
有客户机请求拷贝，服务器从第一个数据包开始，依次顺序向后广播数据包，广播完最后一个数据包，则循环重复播放第一个；
全部客户机完成拷贝该映像，服务器停止播放，进行等待，并回复到初始状态，见图4；
第五、客户机端具体具体工作流程：
客户机可随时向服务器发送请求，加入拷贝，将接收到的第一个完整的数据包，作为此客户机的开始，并将接收包中的数据按照位置信息写入到正确位置，然后接收处理下一个包，直至处理到开始位置的前一个包，则完成全部数据拷贝，见图5。
本发明的优点和积极效果：本发明通过“循环广播，即时加入”技术，最大程度提升了大数据量的批量复制效率，与电脑流线式生产模式进行最佳匹配，使通过网络方式进行系统映像下载安装，替换人工硬盘对拷作业成为可能，大幅提升生产效率。采用本发明方法，对网络硬件要求较低，使用低端服务器，就可实现高效率的硬盘系统映像批量复制，因此大大降低了运行成本。
【附图说明】：
图1是待拷贝映像文件构成示意图；
图2是各映像数据包构成示意图；
图3是映像广播/接收过程示意图；
图4是服务器端工作流程框图；
图5是客户端工作流程框图；
图6是具体应用例系统网络架构示意图。
【具体实施方式】：
实施例1
如图1所示，待拷贝映像文件由若干个数据包组成，所有数据包连续存放，分别记录目标硬盘中的有效数据，保存在服务器端。
如图2所示，每个映像数据包，包含有效数据，位置信息，数据大小，校验等信息。其中的位置信息，与映像中的其他数据无任何关联，包括了数据应该写入位置的独立信息，根据此信息，可确定数据写入到硬盘中的物理位置(扇区号)，保证客户机接收到任何一个数据包，都能够将数据按照位置信息，写入到客户机硬盘中的正确位置。
如图3所示映像广播/接收过程：
服务器从第一个数据包开始，依次顺序向后广播数据包，广播完最后一个数据包，则循环重复播放第一个。客户机随时加入进来，接收到第一个完整的数据包，则作为此客户机的开始，将接收包中的数据按照位置信息写入到正确位置，然后接收处理下一个包，直至处理到开始位置的前一个包，则完成全部数据拷贝。
服务器端工作流程如图4所示，说明如下：
4-1：服务器开始，将要广播映像的数据包号置为0；
4-2：检查是否有客户机请求拷贝或者完成拷贝该映像；
4-3：计算当前请求拷贝的客户机数量，如大于0，则需要广播该映像数据；
4-4：开始读取当前要广播的数据包，包号为前一广播包号加1；
4-5：如已经没有客户机请求数据，则循环等待一段时间，然后进入开始状态
(4-1)；
4-6：广播已经准备好的数据包，然后返回4-2，进行广播下一数据包，重复直至完成；
客户端工作流程如图5所示，说明如下：
5-1：开始，向服务器发送请求；
5-2：服务器处理，确认请求，客户端接收服务器许可信号；
5-3：客户端加入，接收服务器广播数据；将第一个数据包进行纪录；
5-4：检查接收到的数据包，验证包号，数据内容是否正确；
5-5：如接收包数据有错误，则进行错误处理；
5-6：检查是否重复接收到了第一个包，如是，则表示完成了所有数据包；
5-7：否则，将数据包进行处理，对包中的位置信息进行解析，将有效数据写入到正确位置；然后返回到5-3，重复接收下一个数据包，直至全部完成；
5-8：完成后(无论正确或者错误)，通知服务器端本客户机完成；
通过以上流程，客户端可随时加入到服务器循环广播的序列中，加入后即可开始接收数据，直至全部完成，几乎不增加任何额外数据传输，保证最高效率。
具体应用实例
下面以电脑生产线为同一批电脑安装硬盘系统映像为实例进行说明。
系统网络架构如图6所示，因采用本发明方法，使用低端服务器，就可实现高效率的硬盘系统映像批量复制，每台服务器最多可同时连接256台客户机，即可同时为256台生产机器下载映像数据，每台客户机复制数据的速率可达到300M字节/分钟。
将事先制作好的映像数据文件保存在服务器硬盘上，当有客户机请求时，服务器就开始对此映像数据包进行按顺序循环广播，客户机可随时连接加入，完成后随即退出，空出连接供后面的客户机加入。因所有客户机都同时共享接收广播数据，然后组合成完整的数据映像，所以广播数据占用全部网络带宽，且每个数据包仅需广播一次。而如果采用普通方式，则需要同时传输不同的数据包给不同的客户机，数据量成倍增加，效率成倍降低。
以下为实验数据。
表一：测试环境
| 服务器 | 网络 | 映像数据大小 |
| P41.5G CPU256MB RAM80GB*2IDE RAID | 100MBit Switch | 2.0GB |
表二：效率数据
| 同时连接客户机数 | 本发明方式 | 独立拷贝方式 | ||||
| 服务器端网络传输速率 | 客户机数据包接收速率 | 客户机平均完成时间 | 服务器端网络传输速率 | 客户机数据包接收速率 | 客户机平均完成时间 | |
| 16台 | 510MB/分 | 450MB/分 | 4.6分钟 | 510MB/分 | 43MB/分 | 47.6分钟 |
| 64台 | 510MB/分 | 430MB/分 | 4.8分钟 | 510MB/分 | 11MB/分 | 186.1分钟 |
| 128台 | 510MB/分 | 380MB/分 | 5.4分钟 | 510MB/分 | 2MB/分 | 1024分钟 |
表二为测试结果数据，从中可以看到，采用本发明方式，客户端接收映像数据速度，与服务器端的最高发送速度接近，同时，因为所有客户端都同时接收相同的数据包，连接客户机数量成倍增加时，数据下载时间增加并不显著。
而如果采用普通拷贝方式，每台客户机需要的数据，服务器端都要独立为其发送其所需的数据，所以效率非常低，且无法支持大量的客户机同时运行。
另外，如果采用同步广播传输方式，即生产线所产机器，连接服务器后，须先等待一段时间，等同时连接的客户机数量达到一定值时，服务器开始从头至尾进行广播，完成后所有客户机同时结束。这样比独立拷贝方式效率要高，但无法实现即时加入，第一台连接的客户机，需要一直等到最后一台客户机加入后，才可以开始，如果平均每一分钟下线一台机器，连接64台客户机时，就需要等待最长64分钟，平均等待32分钟，也无法提升生产效率。
Claims (2)
1、一种计算机数据批量快速复制的方法，其特征是该方法按以下步骤完成：
第一、将客户机所需数据以映像文件保存在服务器端，且将该映像文件分割成N个数据包，连续存放；
第二、映像广播
服务器首先检查是否有客户机请求拷贝或者完成拷贝该映像；
有客户机请求拷贝，服务器从第一个数据包开始，依次顺序向后广播数据包，广播完最后一个数据包，则循环重复播放第一个；
全部客户机完成拷贝该映像，服务器停止播放，进行等待，并回复到初始状态；
第三、客户机接收过程
客户机可随时向服务器发送请求，加入拷贝，将接收到的第一个完整的数据包，作为此客户机的开始，并将接收包中的数据按照位置信息写入到正确位置，然后接收处理下一个包，直至处理到开始位置的前一个包，则完成全部数据拷贝。
2、根据权利要求1所述的计算机数据批量快速复制的方法，其特征是映像文件中的各数据包的构成可包含有包号、包长度即数据大小、位置信息、数据校验信息和有效数据内容部分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2004100198818A CN1290029C (zh) | 2004-07-06 | 2004-07-06 | 计算机数据批量快速复制的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2004100198818A CN1290029C (zh) | 2004-07-06 | 2004-07-06 | 计算机数据批量快速复制的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1595908A true CN1595908A (zh) | 2005-03-16 |
| CN1290029C CN1290029C (zh) | 2006-12-13 |
Family
ID=34663106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2004100198818A Expired - Fee Related CN1290029C (zh) | 2004-07-06 | 2004-07-06 | 计算机数据批量快速复制的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1290029C (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101242288B (zh) * | 2007-02-09 | 2010-05-19 | 武汉回归科技有限公司 | 一种变量拷贝的实现方法 |
| CN102483837A (zh) * | 2009-09-01 | 2012-05-30 | 克朗设备公司 | 用于工业车辆的包括循环重复车辆信息消息的信息系统 |
| US9984341B2 (en) | 2006-12-13 | 2018-05-29 | Crown Equipment Corporation | Information system for industrial vehicles including cyclical recurring vehicle information message |
| CN115102966A (zh) * | 2022-06-01 | 2022-09-23 | 咪咕视讯科技有限公司 | 节点管理方法、装置、设备与计算机可读存储介质 |
-
2004
- 2004-07-06 CN CNB2004100198818A patent/CN1290029C/zh not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9984341B2 (en) | 2006-12-13 | 2018-05-29 | Crown Equipment Corporation | Information system for industrial vehicles including cyclical recurring vehicle information message |
| US10810521B2 (en) | 2006-12-13 | 2020-10-20 | Crown Equipment Corporation | Information system for industrial vehicles including cyclical recurring vehicle information message |
| CN101242288B (zh) * | 2007-02-09 | 2010-05-19 | 武汉回归科技有限公司 | 一种变量拷贝的实现方法 |
| CN102483837A (zh) * | 2009-09-01 | 2012-05-30 | 克朗设备公司 | 用于工业车辆的包括循环重复车辆信息消息的信息系统 |
| CN102483837B (zh) * | 2009-09-01 | 2015-10-21 | 克朗设备公司 | 用于工业车辆的包括循环重复车辆信息消息的信息系统 |
| CN115102966A (zh) * | 2022-06-01 | 2022-09-23 | 咪咕视讯科技有限公司 | 节点管理方法、装置、设备与计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1290029C (zh) | 2006-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100484069C (zh) | 一种文件数据分发方法及相关设备 | |
| CN101764831B (zh) | 一种流媒体数据共享方法、共享系统和流媒体节点 | |
| CN1754370A (zh) | 用于广播多媒体内容的系统 | |
| CN101039281A (zh) | 一种流媒体服务器负荷分担方法 | |
| CA2840106A1 (en) | Offline download method, multimedia file download method and system thereof | |
| CN1852421A (zh) | 一种实现直播与时移播放之间切换的方法 | |
| CN101141459A (zh) | 使用http与p2p相结合实现数据传输或流媒体传输的方法 | |
| CN1339903A (zh) | 在无线电链路控制的协议数据单元中插入长度指示符的方法 | |
| CN101055591A (zh) | 一种全内存数据库的数据存取方法 | |
| CN1290029C (zh) | 计算机数据批量快速复制的方法 | |
| CN101080001A (zh) | 网络电视系统中用于实现媒体内容均衡的装置及其方法 | |
| CN1878147A (zh) | 平衡网络文件系统服务器多网卡间负载的方法 | |
| CN101068341A (zh) | 流媒体调度系统及其媒体文件调度方法 | |
| CN1866961A (zh) | 一种客户系统与服务系统数据同步的方法及系统 | |
| CN100342374C (zh) | 一种数据存储方法及装置 | |
| CN1825800A (zh) | 一种下载方法、下载系统和使用所述下载方法的移动台 | |
| CN101056252A (zh) | 压缩文件的传播方法 | |
| CN1264967A (zh) | 数据发送方法、数据发送系统、数据接收方法和接收终端 | |
| CN101039407A (zh) | 一种实现节目接收端定制播出的方法及系统 | |
| CN1277374C (zh) | 通信系统中基站与服务器数据库实时同步方法 | |
| CN101079871A (zh) | 多媒体信息流的透传方法和系统 | |
| CN1801934A (zh) | 一种igrs av播放器设备的实现方法 | |
| CN102036104A (zh) | 一种视频点播接入控制方法 | |
| CN1933450A (zh) | 板间通信方法及接口板 | |
| CN101052050A (zh) | 实现计算机设备共享的系统及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C19 | Lapse of patent right due to non-payment of the annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| C49 | Reinstatement of patent right or utility model | ||
| RR01 | Reinstatement of patent right | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20061213 Termination date: 20130706 |