CN105701047A - 一种多通道数据传输及虚拟还原方法 - Google Patents

一种多通道数据传输及虚拟还原方法 Download PDF

Info

Publication number
CN105701047A
CN105701047A CN201511014782.5A CN201511014782A CN105701047A CN 105701047 A CN105701047 A CN 105701047A CN 201511014782 A CN201511014782 A CN 201511014782A CN 105701047 A CN105701047 A CN 105701047A
Authority
CN
China
Prior art keywords
data
virtual
block
restoration method
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201511014782.5A
Other languages
English (en)
Other versions
CN105701047B (zh
Inventor
吴江煌
黄志炜
吴世雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meiya Pico Information Co Ltd
Original Assignee
Xiamen Meiya Pico Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meiya Pico Information Co Ltd filed Critical Xiamen Meiya Pico Information Co Ltd
Priority to CN201511014782.5A priority Critical patent/CN105701047B/zh
Publication of CN105701047A publication Critical patent/CN105701047A/zh
Application granted granted Critical
Publication of CN105701047B publication Critical patent/CN105701047B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于计算机通信技术领域，具体涉及一种多通道数据传输及虚拟还原方法。它包括以下步骤，S1，获取源数据的属性信息，并将源数据分割成多个数据块，获取数据块的位置信息；S2，采用优化调度策略为数据块分配物理数据传输接口，数据块经过至少两个物理数据传输接口而被传输至目标路径；S3，将分散在目标路径上的数据块映射成虚拟磁盘，还原数据。本发明无需对目标路径的数据块进行转储，通过将数据还原为虚拟磁盘，即可直接查看及分析源数据内容。

Description

一种多通道数据传输及虚拟还原方法
技术领域
本发明属于计算机通信技术领域，具体涉及一种多通道数据传输及虚拟还原方法。
背景技术
伴随大数据概念的出现，数据信息传输速度慢的问题也日益突出，受到人们的广泛关注。传统提升数据传输速度的方法主要是通过缓存机制、异步传输、和物理接口最优化。但随着计算机以及网络技术的不断发展,数据信息存储需求量越来越大,各类数据信息转储频度不断提升,对数据传输速度的要求也不断提高,传统的传输方法已无法满足其要求，物理接口已经成为数据传输的最大瓶颈。
一般的电脑主机上都会有多个物理数据传输接口，但是通过单个物理数据传输接口进行数据传输的时间长，速度有限，若能将多个物理数据传输接口都利用起来，使得各个物理数据传输接口能够并行进行数据传输，就可以使得数据传输的速度达到各个传输接口的传输速度之和。参考专利文献CN102063399B公开了一种多通道数据传输方法，主机配置的至少两个通用串行总线USB接口分别连接到至少两个USB数据板，该至少两个USB数据板连接到一个处理设备。该专利使用多个同一类型的传输接口传输数据，但设备上还有其他类型的数据传输接口，例如1394接口、外部串行高级技术附件eSATA接口都处于空闲状态，并没有被充分利用起来。
但是使用上述传输存储方法会造成数据的分散存放，若需要对数据进行操作，还需要进行额外的数据转储，再把数据还原在一起。不仅花费时间，而且占用计算机大量的内存，造成了资源的浪费。
发明内容
针对现有的多通道数据传输过后存在的不足之处，本发明提出了一种多通道数据传输及虚拟还原方法。该方法能充分同时利用各种数据传输通道，打破传统数据传输方式速度限制，有效提高传输效率，并通过将分散的数据块还原为完整的虚拟磁盘，可直接查看分析数据内容。
本发明采用如下技术手段：
一种多通道数据传输及虚拟还原方法，它包括以下步骤，
S1，获取源数据的属性信息，并将源数据分割成多个数据块，获取数据块的位置信息；
S2，采用优化调度策略为数据块分配物理数据传输接口，数据块经过至少两个物理数据传输接口而被传输至目标路径；
S3，将分散在目标路径上的数据块映射成虚拟磁盘，还原数据。
进一步的，步骤S2中的优化调度策略为优先选择传输速率更快的物理数据传输接口。
进一步的，步骤S3包括以下具体步骤，
S310，设置虚拟磁盘，并获取源数据的属性信息和源数据的分割信息；
S311，虚拟磁盘采用与源数据同样的方式分割成多个虚拟块，虚拟块与数据块一一对应；
S312，解析目标路径上数据块的位置信息，建立虚拟块与目标路径上数据块的一一映射关系，还原数据。
进一步的，步骤S1中的源数据为本地数据、远程数据或虚拟数据。
进一步的，步骤S1中源数据的属性信息包含数据标识、数据大小和数据校验码。
进一步的，步骤S2中的物理数据传输接口包括USB接口、1394接口、外部串行高级技术附件eSATA接口、网卡接口NIC或雷电接口的一种或多种组合。
更进一步的，步骤S2中的目标路径为本地存储、远程存储或虚拟存储。
本发明相对于现有技术，通过本发明提供的多通道数据传输及虚拟还原方法，可以实现通过多个物理数据传输接口同时将源数据传输到目标路径时，数据传输的速度都可以达到各个物理数据传输接口的传输速度总和，从而有效提升数据传输的速度，同时无需对目标路径的数据块进行转储，通过将数据块还原为虚拟磁盘，即可直接查看及分析源数据内容。
附图说明
图1是多通道数据传输及虚拟还原方法的结构图；
图2是多通道数据传输流程图；
图3是数据虚拟还原的流程图。
具体实施方式
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
现结合附图和具体实施方式对本发明进一步说明。
参阅图1至图3所示，本发明提出了一种多通道数据传输及虚拟还原方法，它包括以下步骤：
S1，获取源数据的属性信息，并将源数据分割成多个数据块，获取数据块的位置信息。
源数据包括：本地数据、远程数据、虚拟数据等所有二进制数据或文本数据。其中，源数据的属性信息包含数据标识、数据大小和数据校验码等信息。然后根据需要将源数据均等分割成多个数据块，本领域的技术人员可知，将源数据分割成多个数据块的方法有多种，可均分，也可不均分，也可依据数据的类型进行分割。分割后，获取每个数据块在源数据中的位置信息，以供在后期将数据块还原成源数据时，每个数据块仍回到原始的位置。
S2，采用优化调度策略为数据块分配物理数据传输接口，数据块经过至少两个物理数据传输接口而被传输至目标路径。
参阅图2所示，为多通道数据传输流程图。在为各个数据块选择物理数据传输接口时，可以是随机选择的，使得数据块可以通过不同的物理数据传输接口传输到目标路径上。当然，为了使得传输效率最大化，在为数据块选择物理数据传输接口时，还可以采用一定的优化调度策略。为数据块优先选择传输速率更快的物理数据传输接口。
例如，可以预先设计数据并发传输极限速率算法，当需要为某一数据块选择物理数据传输接口时，可以首先获取物理数据传输接口的实际相关参数，然后带入到算法，计算出当前可以选择的物理数据传输接口，实现最佳的调度。在此过程中，考虑到各个物理数据输入输出接口的特性，将不同类型物理数据输出接口的不同规格参数进行智能化识别，构建能够适应当前所有可能存在的物理数据传输接口，并自适应各接口数据输出速率，以达到多接口，多方式组合数据存储与传输的目的。具体包括：(1)解析数据块存储结构；(2)解析各个物理数据输出设备接口数据输出技术参数；(3)统筹物理数据总线与各物理数据传输接口通道数据流无闲置数据传输；(4)协调数据块快速读取与分布式多通道扇区级极速写入；(5)异步缓存还原技术。通过以上处理，能够根据数据块存储结构，各物理数据传输接口参数，实时协调数据传输时序，分布式转储数据，异步还原数据，从而达到高效率数据转储。
本发明还可以对数据传输实施动态实时调节，对各物理数据传输接口与传输进程进行全面综合控制，以通道配对中的瓶颈传输速率进行极限式数据传输，发挥转储的最大时间效益。为此，具体可以进行以下操作：若源数据固化在硬盘或目标路径位置为物理硬盘，则对所涉硬盘的数据存储分区逻辑结构、接口、机械参数等特征数据，分区数据存储进行解析，生成智能化极速数据集中读取与分布式写入策略，基于数据集中读取与分散写入策略，对硬盘实施分区分场分通道传输。
通过上述方法，本领域的技术人员可以清楚了解到本发明可以借助软件加必须的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术作出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM，磁碟，光盘等，包括若干指令用以使得一台计算机设备执行本发明某些部分的方法。
本领域技术人员可知，物理数据传输接口可以包括但不限于USB接口,1394接口,eSATA接口,NIC接口及雷电接口等一系列数据传输接口。其中USB接口包括USB1.1，USB2.0，USB3.0接口；1394接口包括1394A与1394B接口；eSATA接口包括eSATA1与eSATA2接口，NIC网络接口包括10Mbps网卡，100Mbps以太网卡，10Mbps/100Mbps自适应网卡，1000Mbps千兆以太网卡以及最新出现的10000Mbsp万兆网卡接口，以及不同的通信传输协议，如：TCP/IP等通信协议，等等。
S3，将分散在目标路径上的数据块映射成虚拟磁盘，还原数据。
参阅图3所示，为数据虚拟还原的流程图，步骤S3包括以下详细步骤：
S310，设置虚拟磁盘，并获取源数据的属性信息和源数据的分割信息；
S311，虚拟磁盘采用与源数据同样的方式分割成多个虚拟块，虚拟块与数据块一一对应；
S312，解析目标路径上数据块的位置信息，建立虚拟块与目标路径上数据块的一一映射关系，还原数据。
本发明无需对数据块进行再次转储，通过对数据块的位置信息进行解析，可将数据块直接映射为虚拟磁盘。其中，虚拟磁盘与源数据的内容一致，对虚拟磁盘进行数据操作时，不会影响到数据块的内容，同时可以直接使用操作源数据的方式操作虚拟磁盘。
其中，对虚拟磁盘的数据操作，会通过操作系统调用操作函数，操作函数会对数据块的位置信息进行解析，用于提供对应的数据内容。操作函数包括但不限于打开函数、读取函数、写入函数、偏移函数，关闭函数。操作函数会事先向操作系统进行注册，当对虚拟磁盘进行操作时，操作系统会自动调用对应的函数，操作函数会去处理查找数据块，并通过解析数据块的位置信息，可得知数据块的数据内容是否是所需返回的数据。例如，当需要读取虚拟磁盘第一个扇区的数据，操作系统会调用偏移函数，偏移函数对数据块的位置信息进行解析，可得到其对应的位置信息，通过位置信息可定位到第一个扇区所在的数据块，当偏移函数返回时，操作系统会继续调用读取函数，读取函数会直接返回定位到的数据块的第一个扇区数据。通过以上无需转储的，可直接映射为虚拟磁盘的方式，极大提升了数据处理效率，同时也摒除了转储过程中可能导致数据破坏的问题。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (7)

1.一种多通道数据传输及虚拟还原方法，其特征在于：它包括以下步骤，
S1，获取源数据的属性信息，并将源数据分割成多个数据块，获取数据块的位置信息；
S2，采用优化调度策略为数据块分配物理数据传输接口，数据块经过至少两个物理数据传输接口而被传输至目标路径；
S3，将分散在目标路径上的数据块映射成虚拟磁盘，还原数据。
2.如权利要求1所述的多通道数据传输及虚拟还原方法，其特征在于：所述步骤S2中的优化调度策略为优先选择传输速率更快的物理数据传输接口。
3.如权利要求1所述的多通道数据传输及虚拟还原方法，其特征在于：所述步骤S3包括以下具体步骤，
S310，设置虚拟磁盘，并获取源数据的属性信息和源数据的分割信息；
S311，虚拟磁盘采用与源数据同样的方式分割成多个虚拟块，虚拟块与数据块一一对应；
S312，解析目标路径上数据块的位置信息，建立虚拟块与目标路径上数据块的一一映射关系，还原数据。
4.如权利要求1所述的多通道数据传输及虚拟还原方法，其特征在于：所述步骤S1中的源数据为本地数据、远程数据或虚拟数据。
5.如权利要求1所述的多通道数据传输及虚拟还原方法，其特征在于：所述步骤S1中源数据的属性信息包含数据标识、数据大小和数据校验码。
6.如权利要求1所述的多通道数据传输及虚拟还原方法，其特征在于：所述步骤S2中的物理数据传输接口包括USB接口、1394接口、外部串行高级技术附件eSATA接口、网卡接口NIC或雷电接口的一种或多种组合。
7.如权利要求1-6任一项所述的多通道数据传输及虚拟还原方法，其特征在于：所述步骤S2中的目标路径为本地存储、远程存储或虚拟存储。
CN201511014782.5A 2015-12-31 2015-12-31 一种多通道数据传输及虚拟还原方法 Active CN105701047B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511014782.5A CN105701047B (zh) 2015-12-31 2015-12-31 一种多通道数据传输及虚拟还原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511014782.5A CN105701047B (zh) 2015-12-31 2015-12-31 一种多通道数据传输及虚拟还原方法

Publications (2)

Publication Number Publication Date
CN105701047A true CN105701047A (zh) 2016-06-22
CN105701047B CN105701047B (zh) 2018-10-16

Family

ID=56225947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511014782.5A Active CN105701047B (zh) 2015-12-31 2015-12-31 一种多通道数据传输及虚拟还原方法

Country Status (1)

Country Link
CN (1) CN105701047B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040316A (zh) * 2018-09-19 2018-12-18 天津字节跳动科技有限公司 Http服务处理方法和装置
CN110177021A (zh) * 2019-06-27 2019-08-27 上海金卓网络科技有限公司 基于软件定义的无线自组网节点及数据传输方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477444A (zh) * 2008-12-29 2009-07-08 成都市华为赛门铁克科技有限公司 一种虚拟存储方法和设备
CN103077149A (zh) * 2013-01-09 2013-05-01 厦门市美亚柏科信息股份有限公司 一种数据传输方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477444A (zh) * 2008-12-29 2009-07-08 成都市华为赛门铁克科技有限公司 一种虚拟存储方法和设备
CN103077149A (zh) * 2013-01-09 2013-05-01 厦门市美亚柏科信息股份有限公司 一种数据传输方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冯军等: "计算机隐含敏感信息的检测与防护", 《新疆教育学院学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040316A (zh) * 2018-09-19 2018-12-18 天津字节跳动科技有限公司 Http服务处理方法和装置
CN109040316B (zh) * 2018-09-19 2021-08-27 天津字节跳动科技有限公司 Http服务处理方法和装置
CN110177021A (zh) * 2019-06-27 2019-08-27 上海金卓网络科技有限公司 基于软件定义的无线自组网节点及数据传输方法
CN110177021B (zh) * 2019-06-27 2022-03-29 上海金卓科技有限公司 基于软件定义的无线自组网节点及数据传输方法

Also Published As

Publication number Publication date
CN105701047B (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
CN105653484A (zh) 一种数据分块压缩多通道传输方法
JP7046840B2 (ja) 二次および／または三次処理を実行するためのバイオインフォマティクスシステム、装置、および方法
CN107632842A (zh) 规则配置和发布方法、系统、设备及存储介质
US11716271B2 (en) Automated data flows using flow-based data processor blocks
CN104881466B (zh) 数据分片的处理以及垃圾文件的删除方法和装置
CN101276258A (zh) 存储设备及其控制方法
CN110287247A (zh) 基于银联系统的数据存储方法、装置、设备及存储介质
CN108268529A (zh) 一种基于业务抽象和多引擎调度的数据汇总方法和系统
CN107181698A (zh) 单队列多流业务整形的系统和方法
CN106330788B (zh) 报文分片传输方法和装置
CN105245588B (zh) 一种web业务端口分离处理的方法
CN105701047A (zh) 一种多通道数据传输及虚拟还原方法
US20190187904A1 (en) Efficient export scheduling using index and schema to determine data distribution
CN104796328B (zh) 基于knx/eib总线的多接口或协议的数据通信装置的网关主机
CN109347899A (zh) 在分布式存储系统中写入日志数据的方法
CN109213742A (zh) 日志采集方法及装置
CN109800410A (zh) 一种基于在线聊天记录的表单生成方法和系统
CN108734500A (zh) 信息投放方法、装置、设备及存储介质
CN112989364A (zh) 用于数据仿真的方法、设备和计算机程序产品
CN105701048A (zh) 一种多通道数据动态传输方法
CN110417860A (zh) 文件传输管理方法、装置、设备及存储介质
CN110211006A (zh) 合同风险分析方法、装置及存储介质
CN108182116A (zh) 一种标书分析方法、装置、设备及存储介质
TW200424841A (en) System and method for error capture and logging in computer systems
CN114218000A (zh) 日志管理方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant