CN104836632A - 网络数据传输管理方法及系统 - Google Patents
网络数据传输管理方法及系统 Download PDFInfo
- Publication number
- CN104836632A CN104836632A CN201410048740.2A CN201410048740A CN104836632A CN 104836632 A CN104836632 A CN 104836632A CN 201410048740 A CN201410048740 A CN 201410048740A CN 104836632 A CN104836632 A CN 104836632A
- Authority
- CN
- China
- Prior art keywords
- data
- characteristic value
- data block
- receiving system
- storage compartments
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
一种网络数据传输方法及系统，该方法包括：将数据资料分割为若干数据块；根据预设算法计算该数据块的特征值；当特征值字典包含数据块的特征值时，将该特征值发送至接收装置；当特征值字典中不包含该数据块的特征值时，将该特征值存储到特征值字典，并将该数据块的原始数据和特征值一起发送至接收装置；当接收装置接收到原始数据和特征值时，保存该原始数据和特征值；当接收装置只接收到特征值时，复制该特征值对应的原始数据作为该数据块的原始数据。本发明在网络数据传输过程中，使重复传输的数据块共享一个原始数据，避免了网络传输数据时，出现重复传输的数据块时，需要多次传输该数据块的原始数据而占用较大频宽。
Description
技术领域
本发明涉及一种网络数据传输方法及系统。
背景技术
在网络数据传输过程中，往往需要对要传输的数据比对分析，将重复传输的数据删除，来压缩原本庞大的数据量，达到减少网络传输时数据占用频宽，有效节省储存空间。但是当数据量很庞大时，比对查找重复传输的数据会浪费大量时间。
发明内容
鉴于以上内容，有必要提供一种网络数据传输方法及系统。
所述网络数据传输方法包括：当发送装置发送数据资料至接收装置时，将数据资料分割为若干数据块，以每个数据块为单位发送该数据资料；当发送每个数据块时，根据预设算法计算该数据块的特征值；判断发送装置的特征值字典中是否包含该数据块的特征值；
当特征值字典包含该数据块的特征值时，将该数据块的特征值发送至接收装置；当特征值字典中不包含该数据块的特征值时，将该数据块的特征值存储到该特征值字典中，并将该数据块的原始数据和特征值一起发送至接收装置；当接收装置接收到该数据块的原始数据和特征值时，将该数据块的原始数据存储至接收装置的一个存储区段，并将该数据块的特征值及上述存储区段地址成对存储至一个数据表中；当接收装置只接收到该数据块的特征值时，查询上述数据表，获取存储该特征值对应数据块原始数据的存储区段地址，并从该存储区段中复制原始数据作为该数据块的原始数据。
所述网络数据传输系统包括：分割模块，用于当发送装置发送数据资料至接收装置时，将数据资料分割为若干数据块，以每个数据块为单位发送该数据资料;计算模块，用于当发送每个数据块时，根据预设算法计算该数据块的特征值；判断模块，用于判断发送装置的特征值字典中是否包含该数据块的特征值；发送模块，用于当特征值字典包含该数据块的特征值时，将该数据块的特征值发送至接收装置；所述发送模块，还用于当特征值字典中不包含该数据块的特征值时，将该数据块的特征值存储到特征值字典中，并将该数据块的原始数据和特征值一起发送至接收装置，当接收装置接收到该数据块的原始数据和特征值时，将该数据块的原始数据存储至接收装置的一个存储区段，并将该数据块的特征值及上述存储区段地址成对存储至一个数据表中，当接收装置只接收到该数据块的特征值时，查询上述数据表，获取存储该特征值对应数据块原始数据的存储区段地址，并从该存储区段中复制原始数据作为该数据块的原始数据。
本发明在网络数据传输过程中，使重复传输的数据块共享一个原始数据，避免了网络传输数据时，出现重复传输的数据块时，需要多次传输该数据块的原始数据而占用较大频宽。
附图说明
图1是本发明网络数据传输系统的较佳实施方式的运行环境图。
图2是本发明网络数据传输系统的较佳实施方式的功能模块图。
图3是本发明网络数据传输方法的较佳实施方式的流程图。
主要元件符号说明
| 发送装置 | 1 |
| 接收装置 | 2 |
| 网络数据传输系统 | 10 |
| 第一存储器 | 12 |
| 第一处理器 | 14 |
| 特征值字典 | 16 |
| 第二存储器 | 22 |
| 第二处理器 | 24 |
| 分割模块 | 100 |
| 计算模块 | 102 |
| 第一判断模块 | 104 |
| 发送模块 | 106 |
| 第二判断模块 | 108 |
| 存储模块 | 110 |
| 复制模块 | 112 |
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
如图1所示，是本发明网络数据传输系统较佳实施例的运行环境图。该网络数据传输系统10运行在一个发送装置1和接收装置2上。该发送装置1包括第一存储器12、第一处理器14，并通过有线或者无线网络与接收装置2连接通信。该接收装置2包括第二存储器22、第二处理器24。
所述发送装置1和接收装置2可以为电脑、智能手机、个人数字助理、网络服务器等装置。
在本实施例中，所述网络数据传输系统10可以被分割成一个或多个模块，所述一个或多个模块被配置成由一个或多个处理器（本实施例为第一处理器14与第二处理器24）执行，以完成本发明。例如，参阅图2所示，所述网络数据传输系统10被分割成分割模块100、计算模块102、第一判断模块104、发送模块106、第二判断模块108、存储模块110、以及复制模块112。所述分割模块100、计算模块102、第一判断模块104、以及发送模块106存储于第一存储器12中，并运行于发送装置1上。所述第二判断模块108、存储模块110、以及复制模块112存储于第二存储器22中，并运行于接收装置2上。本发明所称的模块是完成一特定功能的程序段，比程序更适合于描述软件在发送装置1及接收装置2上的执行过程，关于各模块的功能参阅图3的描述。
如图3所示，是本发明网络数据传输方法的较佳实施方式的流程图。
步骤S10，当发送装置1发送数据资料时，分割模块100将数据资料分割为若干数据块，以每个数据块为单位发送该数据资料。例如，发送装置1要将一段100MB的影片数据传输给接收装置2，分割模块100可以32KB为单位，将该影片切分成3200个数据块，如d1, d2, …, d3200。
步骤S11，当发送装置1发送每一个数据块给接收装置2时，计算模块102根据预设算法得到该数据块的一个特征值。本实施方式中，计算模块102利用预设算法，如哈希（Hash）函数算法得到该数据块的一个特征值。此处，Hash函数算法可以把不同长度的数据经运算后得出相同长度的值，这个值作为数据块的一个特征值（Eigenvalue）。只要是原始结构相同的数据块，特征值必然是相同的，反过来说，只要是特征值相同的数据，也可判断原始数据的结构也是相同的。
步骤S12，第一判断模块104判断该数据块的特征值是否在特征值字典16中。该特征值字典16存储于发送装置1的第一存储器12中，用于记录计算得到的每个数据块的特征值。
步骤S13，当该数据块的特征值在特征值字典16中时，发送模块106将该数据块的特征值发送给接收装置2。
步骤S14，当该数据块的特征值不在特征值字典16中时，发送模块106将该数据块的特征值存储到特征值字典16中，并将该数据块的原始数据和特征值一起发送给接收装置2。
步骤S15，当接收装置2接收到从发送装置1发送的数据时，第二判断模块108查询该接收到的数据，并判断该接收到的数据是否只包含上述数据块的特征值。
步骤S16，当接收装置2接收到数据不只包含上述数据块的特征值，还包含上述数据块的原始数据时，接收装置2的存储模块110将该数据块的原始数据存储至第二存储器22的一个存储区段中，并将该数据块的特征值及该存储区段地址成对储存至第二存储器22中的一个数据表中。
步骤S17，当接收装置2接收到的数据只包含上述数据块的特征值时，接收装置2的复制模块112查询上述数据表，获取存储该特征值对应数据块原始数据的存储区段地址，并从该存储区段复制原始数据作为该数据块的原始数据。
所述步骤S10至步骤S17在网络数据传输过程中，如果一个数据块的特征值在特征值字典16中已经有存储时，发送模块106只发送该数据块的特征值给接收装置2，使重复传输的数据块共享一个原始数据，避免了网络传输数据时，出现重复传输的数据块时，需要多次传输该数据块的原始数据而占用较大频宽。
以上实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (5)
1.一种网络数据传输方法，其特征在于，该方法包括：
当发送装置发送数据资料至接收装置时，将数据资料分割为若干数据块，以每个数据块为单位发送该数据资料；
当发送每个数据块时，根据预设算法计算该数据块的特征值；
判断发送装置的特征值字典中是否包含该数据块的特征值；
当特征值字典包含该数据块的特征值时，将该数据块的特征值发送至接收装置；
当特征值字典中不包含该数据块的特征值时，将该数据块的特征值存储到该特征值字典中，并将该数据块的原始数据和特征值一起发送至接收装置；
当接收装置接收到该数据块的原始数据和特征值时，将该数据块的原始数据存储至接收装置的一个存储区段，并将该数据块的特征值及上述存储区段地址成对存储至一个数据表中；
当接收装置只接收到该数据块的特征值时，查询上述数据表，获取存储该特征值对应数据块原始数据的存储区段地址，并从该存储区段中复制原始数据作为该数据块的原始数据。
2.根据权利要求1所述的网络数据传输方法，其特征在于，所述预设算法为哈希函数演算法。
3.一种网络数据传输系统，其特征在于，该系统包括：
分割模块，用于当发送装置发送数据资料至接收装置时，将数据资料分割为若干数据块，以每个数据块为单位发送该数据资料;
计算模块，用于当发送每个数据块时，根据预设算法计算该数据块的特征值；
第一判断模块，用于判断发送装置的特征值字典中是否包含该数据块的特征值；
发送模块，用于当特征值字典包含该数据块的特征值时，将该数据块的特征值发送至接收装置；
所述发送模块，还用于当特征值字典中不包含该数据块的特征值时，将该数据块的特征值存储到特征值字典中，并将该数据块的原始数据和特征值一起发送至接收装置，当接收装置接收到该数据块的原始数据和特征值时，将该数据块的原始数据存储至接收装置的一个存储区段，并将该数据块的特征值及上述存储区段地址成对存储至一个数据表中，当接收装置只接收到该数据块的特征值时，查询上述数据表，获取存储该特征值对应数据块原始数据的存储区段地址，并从该存储区段中复制原始数据作为该数据块的原始数据。
4.根据权利要求3所述的网络数据传输系统，其特征在于，该系统还包括：
第二判断模块，用于当接收装置接收到从发送装置发送的数据时，查询该接收到的数据，并判断该接收到的数据是否只包含上述数据块的特征值；
存储模块，用于在接收到的数据不只包含上述数据块的特征值，还包含该数据块的原始数据时，将该数据块的原始数据存储至接收装置的一个存储区段，并将该数据块的特征值及上述存储区段地址成对存储至一个数据表中；
复制模块，用于在接收到的数据只包含上述数据块的特征值时，查询上述数据表，获取储存该特征值对应数据块原始数据的存储区段地址，并从该存储区段中复制原始数据作为该数据块的原始数据。
5.根据权利要求3所述的网络数据传输系统，其特征在于，所述预设算法为哈希函数演算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410048740.2A CN104836632A (zh) | 2014-02-12 | 2014-02-12 | 网络数据传输管理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410048740.2A CN104836632A (zh) | 2014-02-12 | 2014-02-12 | 网络数据传输管理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104836632A true CN104836632A (zh) | 2015-08-12 |
Family
ID=53814294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410048740.2A Pending CN104836632A (zh) | 2014-02-12 | 2014-02-12 | 网络数据传输管理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104836632A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106713422A (zh) * | 2016-12-05 | 2017-05-24 | 广州因特信息科技有限公司 | 一种基于互联网异地快速传输数据的实现方法及系统 |
| CN110418164A (zh) * | 2019-06-10 | 2019-11-05 | 西安万像电子科技有限公司 | 数据传输方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102456059A (zh) * | 2010-10-21 | 2012-05-16 | 英业达股份有限公司 | 重复数据删除的处理系统 |
| US20120150824A1 (en) * | 2010-12-10 | 2012-06-14 | Inventec Corporation | Processing System of Data De-Duplication |
| CN102624605A (zh) * | 2011-04-01 | 2012-08-01 | 北京小米科技有限责任公司 | 一种传送数据的方法 |
| US20120324203A1 (en) * | 2010-03-04 | 2012-12-20 | Nec Corporation | Storage device |
| CN103067129A (zh) * | 2012-12-24 | 2013-04-24 | 中国科学院深圳先进技术研究院 | 网络数据传输方法和系统 |
-
2014
- 2014-02-12 CN CN201410048740.2A patent/CN104836632A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120324203A1 (en) * | 2010-03-04 | 2012-12-20 | Nec Corporation | Storage device |
| CN102456059A (zh) * | 2010-10-21 | 2012-05-16 | 英业达股份有限公司 | 重复数据删除的处理系统 |
| US20120150824A1 (en) * | 2010-12-10 | 2012-06-14 | Inventec Corporation | Processing System of Data De-Duplication |
| CN102624605A (zh) * | 2011-04-01 | 2012-08-01 | 北京小米科技有限责任公司 | 一种传送数据的方法 |
| CN103067129A (zh) * | 2012-12-24 | 2013-04-24 | 中国科学院深圳先进技术研究院 | 网络数据传输方法和系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106713422A (zh) * | 2016-12-05 | 2017-05-24 | 广州因特信息科技有限公司 | 一种基于互联网异地快速传输数据的实现方法及系统 |
| CN110418164A (zh) * | 2019-06-10 | 2019-11-05 | 西安万像电子科技有限公司 | 数据传输方法及装置 |
| CN110418164B (zh) * | 2019-06-10 | 2021-06-04 | 西安万像电子科技有限公司 | 数据传输方法及装置 |
| CN113556580A (zh) * | 2019-06-10 | 2021-10-26 | 西安万像电子科技有限公司 | 数据传输方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101699822A (zh) | 一种文件上传方法、装置和海量存储系统 | |
| CN106161633B (zh) | 一种基于云计算环境下打包文件的传输方法及系统 | |
| CN102857578B (zh) | 一种网络硬盘的文件上传方法、系统及网盘客户端 | |
| CN110297680B (zh) | 一种传输虚拟桌面图像的方法及装置 | |
| CN107273213B (zh) | 一种计算控制方法、网卡及电子设备 | |
| CN107704202B (zh) | 一种数据快速读写的方法和装置 | |
| CN110209348B (zh) | 数据存储方法、装置、电子设备及存储介质 | |
| JP2021500649A (ja) | シャード・データベースのシャード・テーブルにレコードを記憶するためのコンピュータ実装方法、コンピュータ・プログラム製品、およびシステム、シャード・データベースのシャード・テーブルからレコードを検索するためのコンピュータ実装方法、コンピュータ・プログラム製品、およびシステム、ならびにシャード・データベースを記憶するためのシステム | |
| US10817178B2 (en) | Compressing and compacting memory on a memory device wherein compressed memory pages are organized by size | |
| CN103491152A (zh) | 分布式文件系统中元数据获取方法、装置及系统 | |
| CN110727738B (zh) | 基于数据分片的全局路由系统、电子设备及存储介质 | |
| US11249987B2 (en) | Data storage in blockchain-type ledger | |
| WO2022156650A1 (zh) | 访问数据的方法及装置 | |
| US20190108284A1 (en) | Information collection system, information collection method, and storage medium | |
| Widodo et al. | SDM: Smart deduplication for mobile cloud storage | |
| US20140214775A1 (en) | Scalable data deduplication | |
| CN104486442A (zh) | 分布式存储系统的数据传输方法、装置 | |
| CN104426942A (zh) | 文件上传方法及系统 | |
| CN104836632A (zh) | 网络数据传输管理方法及系统 | |
| CN104063377A (zh) | 信息处理方法和使用其的电子设备 | |
| CN113138969A (zh) | 数据传输方法、装置、电子设备和计算机可读存储介质 | |
| CN113760982A (zh) | 一种数据处理方法和装置 | |
| US20170201602A1 (en) | Network utilization improvement by data reduction based migration prioritization | |
| KR20210126773A (ko) | 파티셔닝 방법 및 그 장치 | |
| CN102685810B (zh) | 一种用于用户信息动态缓存的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150812 |