CN105653484A - 一种数据分块压缩多通道传输方法 - Google Patents

一种数据分块压缩多通道传输方法 Download PDF

Info

Publication number
CN105653484A
CN105653484A CN201511014829.8A CN201511014829A CN105653484A CN 105653484 A CN105653484 A CN 105653484A CN 201511014829 A CN201511014829 A CN 201511014829A CN 105653484 A CN105653484 A CN 105653484A
Authority
CN
China
Prior art keywords
data
block
compression
source
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201511014829.8A
Other languages
English (en)
Other versions
CN105653484B (zh
Inventor
吴江煌
黄志炜
吴世雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meiya Pico Information Co Ltd
Original Assignee
Xiamen Meiya Pico Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meiya Pico Information Co Ltd filed Critical Xiamen Meiya Pico Information Co Ltd
Priority to CN201511014829.8A priority Critical patent/CN105653484B/zh
Publication of CN105653484A publication Critical patent/CN105653484A/zh
Application granted granted Critical
Publication of CN105653484B publication Critical patent/CN105653484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明属于计算机通信技术领域，具体涉及一种非破坏性的数据分块压缩多通道传输方法。它包括以下步骤，S1，获取源数据的属性信息，并将源数据分割成多个源数据块，获取源数据块的位置信息，所有源数据块采用压缩方法进行压缩得到压缩数据块；S2，判断压缩数据块的大小是否小于源数据块，如果是，则压缩数据块为待传输数据块，如果否，则源数据块为待传输数据块；S3，采用优化调度策略为待传输数据块分配物理数据传输接口，将待传输数据块经过至少两个物理数据传输接口传输至目标路径。

Description

一种数据分块压缩多通道传输方法
技术领域
本发明属于计算机通信技术领域，具体涉及一种非破坏性的数据分块压缩传输方法。
背景技术
伴随大数据概念的出现，数据信息传输速度慢的问题也日益突出，受到人们的广泛关注。传统提升数据传输速度的方法主要是通过缓存机制、异步传输、和物理接口最优化。但随着计算机以及网络技术的不断发展,数据信息存储需求量越来越大,各类数据信息转储频度不断提升,对数据传输速度的要求也不断提高,传统的传输方法已无法满足其要求，物理接口已经成为数据传输的最大瓶颈。
目前，最新一代的USB接口为USB3.0，理论上的传输速度能达到5Gbps，但是实际传输速度并不能达到理论值，可能只有理论值的二分之一2.5Gbps。对于7200转的硬盘，读的速度一般在5.7Gbps，通过USB3.0接口来传输数据，受到接口传输速度的影响，硬盘的数据传输速度为2.5Gbps。
参考专利文献CN102063399B公开了一种多通道数据传输方法，主机配置的至少两个通用串行总线USB接口分别连接到至少两个USB数据板，该至少两个USB数据板连接到一个处理设备。该专利使用多个同一类型的传输接口传输数据，但设备上还有其他类型的数据传输接口，例如1394接口、外部串行高级技术附件eSATA接口都处于空闲状态，并没有被充分利用起来。
发明内容
针对现有技术存在的不足之处，本发明提出了一种数据分块压缩多通道传输方法，该方法将数据分块压缩后再进行传输，减小了传输数据的大小。此外，该方法能充分同时利用各种物理数据传输通道，打破传统数据传输方式速度限制，有效提高传输效率。
本发明采用如下技术方案：
一种数据分块压缩多通道传输方法，它包括以下步骤，
S1，获取源数据的属性信息，并将源数据分割成多个源数据块，获取源数据块的位置信息，所有源数据块采用压缩方法进行压缩得到压缩数据块；
S2，判断压缩数据块的大小是否小于源数据块，如果是，则压缩数据块为待传输数据块，如果否，则源数据块为待传输数据块；
S3，采用优化调度策略为待传输数据块分配物理数据传输接口，将待传输数据块经过至少两个物理数据传输接口传输至目标路径。
进一步的，步骤S1中的源数据为本地数据、远程数据或虚拟数据。
进一步的，步骤S1中压缩方法包括以下步骤，
S101，增加数据重复属性,表示源数据块内相同数据连续重复的次数；
S102，将整个源数据块里的所有数据用数据重复属性与连续重复的数据替换连续重复的相同数据，得到压缩数据块。
进一步的，步骤S1中源数据的属性信息包含数据标识、数据大小和数据校验码。
进一步的，步骤S3中的优化调度策略为优先选择传输速率更快的物理数据传输接口。
进一步的，步骤S3中的物理数据传输接口包括USB接口、1394接口、外部串行高级技术附件eSATA接口、网卡接口NIC或雷电接口的一种或多种组合。
进一步的，步骤S3中的目标路径为本地存储、远程存储或虚拟存储。
本发明提出了一种数据分块压缩多通道传输方法，利用多个数据传输接口进行数据传输，为了提高传输效率，首先将数据分块压缩，若压缩的后的数据更大，则传输源数据块。充分利用设备上的所有数据传输接口进行传输，不仅打破传统数据传输方式速度限制，有效提高传输效率。
附图说明
图1是数据分块压缩多通道传输方法的流程图；
图2是数据分块压缩多通道传输方法的传输结构图。
具体实施方式
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
现结合附图和具体实施方式对本发明进一步说明。
参阅图1所示，为本发明提出的一种数据分块压缩多通道传输方法的流程图。
S1，获取源数据的属性信息，并将源数据分割成多个源数据块，获取源数据块的位置信息，所有源数据块采用压缩方法进行压缩得到压缩数据块。
其中，源数据的属性信息包含数据标识、数据大小和数据校验码等信息。源数据为本地数据、远程数据、虚拟数据等所有二进制数据或文本数据。然后根据需要将源数据均等分割成多个源数据块，本领域的技术人员可知，将源数据分割成多个源数据块的方法有多种，可均分，也可不均分，也可依据数据的类型进行分割。分割后，获取每个源数据块在源数据中的位置信息，以供在后期将源数据块还原成源数据时，每个源数据块仍回到原始的位置。
为了提高数据传输速度，在进行数据传输前，对所有的源数据块进行压缩。本发明使用的数据压缩方法如下：
S101，增加数据重复属性,表示源数据块内相同数据连续重复的次数；
S102，将整个源数据块里的所有数据用数据重复属性与连续重复的数据替换连续重复的相同数据，得到压缩数据块。
例如源数据块为AAAABBBCCC，添加数据重复属性进行压缩后，得到的压缩数据块为4A3B3C，压缩数据块小于源数据块。若源数据块为ABCDEFFFFG，压缩后得到的压缩数据块为1A1B1C1D4F1G，压缩数据块大于源数据块。
S2，判断压缩数据块的大小是否小于源数据块，如果是，则压缩数据块为待传输数据块，如果否，则源数据块为待传输数据块。
获得压缩数据块的大小，与源数据块进行比较，比较两者的大小，传输较小的数据块。如果压缩数据块小于源数据块，则将压缩数据块定义为待传输数据块；否则，将源数据块定义为待传输数据块。待传输数据块使用物理数据传输接口进行传输。
S3，采用优化调度策略为待传输数据块分配物理数据传输接口，将待传输数据块经过至少两个物理数据传输接口传输至目标路径。
一般的计算机主机上都会有多个物理数据传输接口，目前数据传输都采用单一物理数据传输接口进行传输。但是通过单个物理数据传输接口进行数据传输的时间长，速度有限，若将多个物理数据传输接口都利用起来，使得各个物理数据传输接口能够并行进行数据传输，就可以使得数据传输的速度达到各个传输接口的传输速度之和。
参阅图2所示，为数据分块压缩传输方法的传输结构图。在为各个数据块选择物理数据传输接口时，可以是随机选择的，使得数据块可以通过不同的物理数据传输接口传输到目标路径上。当然，为了使得传输效率最大化，在为数据块选择物理数据传输接口时，还可以采用一定的优化调度策略。为待传输数据块优先选择传输速率更快的物理数据传输接口。
例如，可以预先设计数据并发传输极限速率算法，当需要为某一待传输数据块选择物理数据传输接口时，可以首先获取物理数据传输接口的实际相关参数，然后带入到算法，计算出当前可以选择的物理数据传输接口，实现最佳的调度。在此过程中，考虑到各个物理数据输入输出接口的特性，将不同类型物理数据输出接口的不同规格参数进行智能化识别，构建能够适应当前所有可能存在的物理数据传输接口，并自适应各接口数据输出速率，以达到多接口，多方式组合数据存储与传输的目的。具体包括：(1)解析待传输数据块存储结构；(2)解析各个物理数据输出设备接口数据输出技术参数；(3)统筹物理数据总线与各物理数据传输接口通道数据流无闲置数据传输；(4)协调待传输数据块快速读取与分布式多通道扇区级极速写入；(5)异步缓存还原技术。通过以上处理，能够根据待传输数据块存储结构，各物理数据传输接口参数，实时协调数据传输时序，分布式转储数据，异步还原数据，从而达到高效率数据转储。
本发明还可以对数据传输实施动态实时调节，对各物理数据传输接口与传输进程进行全面综合控制，以通道配对中的瓶颈传输速率进行极限式数据传输，发挥转储的最大时间效益。为此，具体可以进行以下操作：若源数据固化在硬盘或目标路径位置为物理硬盘，则对所涉硬盘的数据存储分区逻辑结构、接口、机械参数等特征数据，分区数据存储进行解析，生成智能化极速数据集中读取与分布式写入策略，基于数据集中读取与分散写入策略，对硬盘实施分区分场分通道传输。
通过上述方法，本领域的技术人员可以清楚了解到本发明可以借助软件加必须的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术作出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM，磁碟，光盘等，包括若干指令用以使得一台计算机设备执行本发明某些部分所述的方法。
本领域技术人员可知，物理数据传输接口可以包括但不限于USB接口,1394接口,eSATA接口,NIC接口及雷电接口等一系列数据传输接口。其中USB接口包括USB1.1，USB2.0，USB3.0接口；1394接口包括1394A与1394B接口；eSATA接口包括eSATA1与eSATA2接口，NIC网络接口包括10Mbps网卡，100Mbps以太网卡，10Mbps/100Mbps自适应网卡，1000Mbps千兆以太网卡以及最新出现的10000Mbsp万兆网卡接口，以及不同的通信传输协议，如：TCP/IP等通信协议，等等。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (7)

1.一种数据分块压缩多通道传输方法，其特征在于：它包括以下步骤，
S1，获取源数据的属性信息，并将源数据分割成多个源数据块，获取源数据块的位置信息，所有源数据块采用压缩方法进行压缩得到压缩数据块；
S2，判断压缩数据块的大小是否小于源数据块，如果是，则压缩数据块为待传输数据块，如果否，则源数据块为待传输数据块；
S3，采用优化调度策略为待传输数据块分配物理数据传输接口，将待传输数据块经过至少两个物理数据传输接口传输至目标路径。
2.如权利要求1所述的数据分块压缩多通道传输方法，其特征在于：所述步骤S1中的源数据为本地数据、远程数据或虚拟数据。
3.如权利要求1或2所述的数据分块压缩多通道传输方法，其特征在于：所述步骤S1中压缩方法包括以下步骤，
S101，增加数据重复属性,表示源数据块内相同数据连续重复的次数；
S102，将整个源数据块里的所有数据用数据重复属性与连续重复的数据替换连续重复的相同数据，得到压缩数据块。
4.如权利要求1所述的数据分块压缩多通道传输方法，其特征在于：所述步骤S1中源数据的属性信息包含数据标识、数据大小和数据校验码。
5.如权利要求1所述的数据分块压缩多通道传输方法，其特征在于：所述步骤S3中的优化调度策略为优先选择传输速率更快的物理数据传输接口。
6.如权利要求1所述的数据分块压缩多通道传输方法，其特征在于：所述步骤S3中的物理数据传输接口包括USB接口、1394接口、外部串行高级技术附件eSATA接口、网卡接口NIC或雷电接口的一种或多种组合。
7.如权利要求1所述的数据分块压缩多通道传输方法，其特征在于：所述步骤S3中的目标路径为本地存储、远程存储或虚拟存储。
CN201511014829.8A 2015-12-31 2015-12-31 一种数据分块压缩多通道传输方法 Active CN105653484B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511014829.8A CN105653484B (zh) 2015-12-31 2015-12-31 一种数据分块压缩多通道传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511014829.8A CN105653484B (zh) 2015-12-31 2015-12-31 一种数据分块压缩多通道传输方法

Publications (2)

Publication Number Publication Date
CN105653484A true CN105653484A (zh) 2016-06-08
CN105653484B CN105653484B (zh) 2018-08-17

Family

ID=56478490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511014829.8A Active CN105653484B (zh) 2015-12-31 2015-12-31 一种数据分块压缩多通道传输方法

Country Status (1)

Country Link
CN (1) CN105653484B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503165A (zh) * 2016-10-31 2017-03-15 杭州华为数字技术有限公司 压缩、解压方法、装置以及设备
CN107071286A (zh) * 2017-05-17 2017-08-18 上海杨思信息科技有限公司 转动平台上图像高速并行采集传输方法
CN109756536A (zh) * 2017-11-03 2019-05-14 株洲中车时代电气股份有限公司 一种数据传输的方法、装置及系统
CN111126589A (zh) * 2019-12-31 2020-05-08 北京百度网讯科技有限公司 神经网络数据处理装置、方法和电子设备
CN111178490A (zh) * 2019-12-31 2020-05-19 北京百度网讯科技有限公司 数据输出方法、获取方法、装置和电子设备
CN111600961A (zh) * 2020-05-22 2020-08-28 山东超越数控电子股份有限公司 一种通过can口传输位图文件的方法、系统、设备及介质
CN113347667A (zh) * 2021-06-08 2021-09-03 武汉虹信科技发展有限责任公司 一种用于uci上报的比特压缩方法及系统
CN113492890A (zh) * 2020-04-07 2021-10-12 中国航天科工飞航技术研究院（中国航天海鹰机电技术研究院） 中央控制系统数据采集存储方法及中央控制系统
CN113507728A (zh) * 2021-09-10 2021-10-15 成都特维思科技有限公司 一种加快数字信息传输速度的传输方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1561007A (zh) * 2004-02-27 2005-01-05 中兴通讯股份有限公司 用于数据传输中数据压缩解压缩的装置和方法
CN101753583A (zh) * 2010-01-18 2010-06-23 友达光电股份有限公司 一种使用网络多通道进行数据传输的方法
CN103077149A (zh) * 2013-01-09 2013-05-01 厦门市美亚柏科信息股份有限公司 一种数据传输方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1561007A (zh) * 2004-02-27 2005-01-05 中兴通讯股份有限公司 用于数据传输中数据压缩解压缩的装置和方法
CN101753583A (zh) * 2010-01-18 2010-06-23 友达光电股份有限公司 一种使用网络多通道进行数据传输的方法
CN103077149A (zh) * 2013-01-09 2013-05-01 厦门市美亚柏科信息股份有限公司 一种数据传输方法和系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503165A (zh) * 2016-10-31 2017-03-15 杭州华为数字技术有限公司 压缩、解压方法、装置以及设备
CN107071286A (zh) * 2017-05-17 2017-08-18 上海杨思信息科技有限公司 转动平台上图像高速并行采集传输方法
CN109756536B (zh) * 2017-11-03 2020-12-04 株洲中车时代电气股份有限公司 一种数据传输的方法、装置及系统
CN109756536A (zh) * 2017-11-03 2019-05-14 株洲中车时代电气股份有限公司 一种数据传输的方法、装置及系统
CN111178490B (zh) * 2019-12-31 2021-08-24 北京百度网讯科技有限公司 数据输出方法、获取方法、装置和电子设备
CN111178490A (zh) * 2019-12-31 2020-05-19 北京百度网讯科技有限公司 数据输出方法、获取方法、装置和电子设备
KR20210086936A (ko) * 2019-12-31 2021-07-09 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 데이터 출력 방법, 획득 방법, 장치 및 전자 기기
CN111126589A (zh) * 2019-12-31 2020-05-08 北京百度网讯科技有限公司 神经网络数据处理装置、方法和电子设备
US11269529B2 (en) 2019-12-31 2022-03-08 Kunlunxin Technology (Beijing) Company Limited Neural network data processing apparatus, method and electronic device
US11562241B2 (en) 2019-12-31 2023-01-24 Beijing Baidu Netcom Science and Technology Co., Ltd Data output method, data acquisition method, device, and electronic apparatus
KR102542239B1 (ko) * 2019-12-31 2023-06-12 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 데이터 출력 방법, 획득 방법, 장치 및 전자 기기
CN113492890A (zh) * 2020-04-07 2021-10-12 中国航天科工飞航技术研究院（中国航天海鹰机电技术研究院） 中央控制系统数据采集存储方法及中央控制系统
CN111600961A (zh) * 2020-05-22 2020-08-28 山东超越数控电子股份有限公司 一种通过can口传输位图文件的方法、系统、设备及介质
CN113347667A (zh) * 2021-06-08 2021-09-03 武汉虹信科技发展有限责任公司 一种用于uci上报的比特压缩方法及系统
CN113347667B (zh) * 2021-06-08 2022-07-05 武汉虹信科技发展有限责任公司 一种用于uci上报的比特压缩方法及系统
CN113507728A (zh) * 2021-09-10 2021-10-15 成都特维思科技有限公司 一种加快数字信息传输速度的传输方法

Also Published As

Publication number Publication date
CN105653484B (zh) 2018-08-17

Similar Documents

Publication Publication Date Title
CN105653484A (zh) 一种数据分块压缩多通道传输方法
US10992587B2 (en) Automated data flows using flow-based data processor blocks
CA2386272A1 (en) Collaborative design
CN105264509A (zh) 融合网络中的自适应中断联合
CN101095308A (zh) 用于队列级联和逻辑标识的系统分组接口分组交换
CN110737401B (zh) 用于管理独立冗余磁盘阵列的方法、设备和计算机程序产品
CN109756568A (zh) 文件的处理方法、设备及计算机可读存储介质
CN110741573A (zh) 在区块链网络中选择性使用网络编码传播交易的方法和系统
CN106874348A (zh) 文件存储和索引方法、装置及读取文件的方法
CN109857580A (zh) 区块链跨链合约调用方法、装置及存储介质
CN106330788B (zh) 报文分片传输方法和装置
CN105530272A (zh) 一种应用数据的同步方法和装置
CN105871739A (zh) 一种处理报文的方法及计算设备
CN107181698A (zh) 单队列多流业务整形的系统和方法
CN104468330B (zh) 分布式消息队列系统的数据处理方法和装置
CN109600373A (zh) 一种直播数据传输方法、装置、系统以及可读存储介质
CN104935612A (zh) 一种数据处理方法及服务器
CN109842652A (zh) 一种文件的上传方法、终端、云服务器和计算机存储介质
CN112764900A (zh) 结合云网融合和人工智能的业务数据处理方法及云端平台
US11023825B2 (en) Platform as a service cloud server and machine learning data processing method thereof
CN103888452B (zh) 用于报文压缩的保序方法和装置
CN106936917A (zh) 一种云存储方法及装置、电子设备
CN107124240A (zh) 一种信道时延模拟装置及方法
CN105701047B (zh) 一种多通道数据传输及虚拟还原方法
CN104506636B (zh) 一种数据同步方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant