CN109525589A - 一种基于高速文件传输加密压缩的优化方法及系统 - Google Patents

一种基于高速文件传输加密压缩的优化方法及系统 Download PDF

Info

Publication number
CN109525589A
CN109525589A CN201811497636.6A CN201811497636A CN109525589A CN 109525589 A CN109525589 A CN 109525589A CN 201811497636 A CN201811497636 A CN 201811497636A CN 109525589 A CN109525589 A CN 109525589A
Authority
CN
China
Prior art keywords
data
file
reading
essential information
high speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811497636.6A
Other languages
English (en)
Inventor
刘维英
陶国谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suneee Micro-Chain Technology Development Co Ltd
Original Assignee
Suneee Micro-Chain Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suneee Micro-Chain Technology Development Co Ltd filed Critical Suneee Micro-Chain Technology Development Co Ltd
Priority to CN201811497636.6A priority Critical patent/CN109525589A/zh
Publication of CN109525589A publication Critical patent/CN109525589A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04Protocols for data compression, e.g. ROHC
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Abstract

本发明公开了一种基于高速文件传输加密压缩的优化方法及系统,其中方法包括以下步骤:在目标文件夹中读取预设大小的数据,将读取的数据与该数据对应的基本信息封装为数据包;对封装好的数据包进行压缩和加密;对压缩和加密后的数据包进行传输。上述方法和系统提升了传输性能,降低了传输耗时,文件夹或文件归档、压缩、加密处理操作,与文件传输同步进行,减少了等待文件处理时间,总传输耗时减少,接近不做文件处理,只传输压缩后文件的耗时,具有很高的实用性。

Description

一种基于高速文件传输加密压缩的优化方法及系统
技术领域
本发明涉及文件读取及传输领域,特别涉及一种基于高速文件传输加密压缩的优化方法及系统。
背景技术
现有的文件传输方案上,是针对整个文件夹或文件进行的。需要对文件夹进行归档压缩,对文件只进行压缩,生成新的压缩文件;对生成的压缩文件进行加密,生成加密文件;对生成的加密文件进行文件传输。只能够在整个文件夹或文件处理(归档、压缩、加密)后,再进行传输,不能把文件处理操作和传输同时进行,除了传输耗时外,还需要额外的时间等待文件处理。
发明内容
针对上述技术问题,本发明提供一种文件夹或文件归档、压缩、加密处理与文件传输同步进行,减少了等待文件处理时间的基于高速文件传输加密压缩的优化方法及系统。
为解决上述技术问题,本发明所采取的技术方案是:提供一种基于高速文件传输加密压缩的优化方法,包括以下步骤:
在目标文件夹中读取预设大小的数据,将读取的数据与该数据对应的基本信息封装为数据包;
对封装好的数据包进行压缩和加密;
对压缩和加密后的数据包进行传输。
本发明提供的基于高速文件传输加密压缩的优化方法提升了传输性能,降低了传输耗时,文件夹或文件归档、压缩、加密处理操作,与文件传输同步进行,减少了等待文件处理时间,总传输耗时减少,接近不做文件处理,只传输压缩后文件的耗时,具有很高的实用性。
较优的,在上述技术方案中,在所述在目标文件夹中读取预设大小的数据,将读取的数据与该数据对应的基本信息封装为数据包之前,还包括以下步骤:
根据所述目标文件夹中所有文件和子文件夹的逻辑结构序列,生成节点列表;
将文件的基本信息存储至所述节点列表对应的节点内。
较优的,在上述技术方案中,所述基本信息包括父节点索引、当前节点索引、文件名长度、文件名、文件名类型以及文件大小。
较优的,在上述技术方案中,还包括以下步骤:
对接收到的所述数据包进行解密和解压缩,获取所述基本信息和所述读取的数据;
根据所述基本信息创建与所述读取的数据相对应的文件以及文件夹;
将读取的数据写入到新创建的文件或文件夹中。
本发明还提供了一种基于高速文件传输加密压缩的优化系统,其特征在于,包括:
数据读取装置,用于在目标文件夹中读取预设大小的数据,将读取的数据与该数据对应的基本信息封装为数据包;
数据封装装置,用于对封装好的数据包进行压缩和加密;
数据传输装置,用于对压缩和加密后的数据包进行传输。
本发明提供的基于高速文件传输加密压缩的优化系统提升了传输性能,降低了传输耗时,文件夹或文件归档、压缩、加密处理操作,与文件传输同步进行,减少了等待文件处理时间,总传输耗时减少,接近不做文件处理,只传输压缩后文件的耗时,具有很高的实用性。
较优的,在上述技术方案中,所述系统还包括数据预处理装置,用于根据所述目标文件夹中所有文件和子文件夹的逻辑结构序列,生成节点列表;
将文件的基本信息存储至所述节点列表对应的节点内。
较优的,在上述技术方案中,所述基本信息包括父节点索引、当前节点索引、文件名长度、文件名、文件名类型以及文件大小。
较优的,在上述技术方案中,还包括数据解封装装置,用于对接收到的所述数据包进行解密和解压缩,获取所述基本信息和所述读取的数据;
文件目录创建装置,用于根据所述基本信息创建与所述读取的数据相对应的文件以及文件夹;
数据写入装置,用于将读取的数据写入到新创建的文件或文件夹中。
附图说明
下面结合附图对本发明作进一步说明:
图1是本发明提供的基于高速文件传输加密压缩的优化方法一实施例的示意性流程图;
图2是本发明提供的基于高速文件传输加密压缩的优化方法另一施例的示意性流程图;
图3为文件写入的示意性流程图;
图4为本发明提供的基于高速文件传输加密压缩的优化系统的示意性框图。
具体实施方式
如图1所示,本发明提供的基于高速文件传输加密压缩的优化方法,包括以下步骤:
步骤S10:在目标文件夹中读取预设大小的数据,将读取的数据与该数据对应的基本信息封装为数据包;
步骤S10:对封装好的数据包进行压缩和加密;
步骤S10:对压缩和加密后的数据包进行传输。
上述方案有效的提升了传输性能,降低了传输耗时,文件夹或文件归档、压缩、加密处理操作,与文件传输同步进行,减少了等待文件处理时间,总传输耗时减少,接近不做文件处理,只传输压缩后文件的耗时,具有很高的实用性。
在图1对应实施例的基础上,还进行了改进。详见图2,图2为本发明提供的基于高速文件传输加密压缩的优化方法另一实施例的示意性流程图。为了能够更好的读取与预设大小数据所有相关的文件,在目标文件夹中读取预设大小的数据,将读取的数据与该数据对应的基本信息封装为数据包之前,还包括以下步骤:
步骤S11:根据目标文件夹中所有文件和子文件夹的逻辑结构序列,生成节点列表;
步骤S12:将文件的基本信息存储至节点列表对应的节点内。
通过生成的节点列表,能够有效的确定要读取的数据在节点列表中对应的位置,生成的节点列表即为树结构,每个数据在节点列表中的位置是唯一确定的,使得在读取文件以及新创建文件时更加的准确。
作为一种可实施方式,基本信息包括父节点索引、当前节点索引、文件名长度、文件名、文件名类型以及文件大小。
通过父节点索引以及当前节点索引,能够有效的确定要读取的数据在节点列表中的位置,并且根据父节点索引和当前节点索引,能够在进行文件创建时,能够更好的在预定位置进行文件的创建,并且根据文件名、文件名类型以及文件大小,能够创建与读取文件相同的文件。
如图3所示,图3为文件写入的示意性流程图。具体包括以下步骤:
步骤S41:对接收到的数据包进行解密和解压缩,获取基本信息和读取的数据;
步骤S42:根据基本信息创建与读取的数据相对应的文件以及文件夹;
步骤S43:将读取的数据写入到新创建的文件或文件夹中。
通过对数据包的解密和几压缩,能够获取数据包内存储的基本信息和读取的数据,可以根据读取的基本信息对目标文件夹的按照树的格式进行重建,在完成重建后,将读取的数据写入到新创建的文件或文件夹中,完成文件的写操作。
如图4所示,图4为本发明提供的基于高速文件传输加密压缩的优化系统一实施例的示意性框图。具体包括:
数据读取装置,用于在目标文件夹中读取预设大小的数据,将读取的数据与该数据对应的基本信息封装为数据包;
数据封装装置,用于对封装好的数据包进行压缩和加密;
数据传输装置,用于对压缩和加密后的数据包进行传输。
上述方案有效的提升了传输性能,降低了传输耗时,文件夹或文件归档、压缩、加密处理操作,与文件传输同步进行,减少了等待文件处理时间,总传输耗时减少,接近不做文件处理,只传输压缩后文件的耗时,具有很高的实用性。
作为一种可实施方式,系统还包括数据预处理装置,用于根据目标文件夹中所有文件和子文件夹的逻辑结构序列,生成节点列表;
将文件的基本信息存储至节点列表对应的节点内。
通过生成的节点列表,能够有效的确定要读取的数据在节点列表中对应的位置,生成的节点列表即为树结构,每个数据在节点列表中的位置是唯一确定的,使得在读取文件以及新创建文件时更加的准确。
作为一种可实施方式,基本信息包括父节点索引、当前节点索引、文件名长度、文件名、文件名类型以及文件大小。
通过父节点索引以及当前节点索引,能够有效的确定要读取的数据在节点列表中的位置,并且根据父节点索引和当前节点索引,能够在进行文件创建时,能够更好的在预定位置进行文件的创建,并且根据文件名、文件名类型以及文件大小,能够创建与读取文件相同的文件。
作为一种可实施方式,还包括数据解封装装置,用于对接收到的数据包进行解密和解压缩,获取基本信息和读取的数据;
文件目录创建装置,用于根据基本信息创建与读取的数据相对应的文件以及文件夹;
数据写入装置,用于将读取的数据写入到新创建的文件或文件夹中。
通过对数据包的解密和压缩,能够获取数据包内存储的基本信息和读取的数据,可以根据读取的基本信息对目标文件夹的按照树的格式进行重建,在完成重建后,将读取的数据写入到新创建的文件或文件夹中,完成文件的写操作。
还提供了一种存储介质,其上存储有程序指令,所述程序指令在被处理器执行时,实现方法权利要求的方法。
读者应理解,在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
上述实施方式旨在举例说明本发明可为本领域专业技术人员实现或使用,对上述实施方式进行修改对本领域的专业技术人员来说将是显而易见的,故本发明包括但不限于上述实施方式,任何符合本权利要求书或说明书描述,符合与本文所公开的原理和新颖性、创造性特点的方法、工艺、产品,均落入本发明的保护范围之内。

Claims (9)

1.一种基于高速文件传输加密压缩的优化方法,其特征在于,包括以下步骤:
在目标文件夹中读取预设大小的数据,将读取的数据与该数据对应的基本信息封装为数据包;
对封装好的数据包进行压缩和加密;
对压缩和加密后的数据包进行传输。
2.如权利要求1所述的基于高速文件传输加密压缩的优化方法,其特征在于,在所述在目标文件夹中读取预设大小的数据,将读取的数据与该数据对应的基本信息封装为数据包之前,还包括以下步骤:
根据所述目标文件夹中所有文件和子文件夹的逻辑结构序列,生成节点列表;
将文件的基本信息存储至所述节点列表对应的节点内。
3.如权利要求1或2所述的基于高速文件传输加密压缩的优化方法,其特征在于,所述基本信息包括父节点索引、当前节点索引、文件名长度、文件名、文件名类型以及文件大小。
4.如权利要求3所述的基于高速文件传输加密压缩的优化方法,其特征在于,还包括以下步骤:
对接收到的所述数据包进行解密和解压缩,获取所述基本信息和所述读取的数据;
根据所述基本信息创建与所述读取的数据相对应的文件以及文件夹;
将读取的数据写入到新创建的文件或文件夹中。
5.一种基于高速文件传输加密压缩的优化系统,其特征在于,包括:
数据读取装置,用于在目标文件夹中读取预设大小的数据,将读取的数据与该数据对应的基本信息封装为数据包;
数据封装装置,用于对封装好的数据包进行压缩和加密;
数据传输装置,用于对压缩和加密后的数据包进行传输。
6.如权利要求5所述的基于高速文件传输加密压缩的优化系统,其特征在于,所述系统还包括数据预处理装置,用于根据所述目标文件夹中所有文件和子文件夹的逻辑结构序列,生成节点列表;
将文件的基本信息存储至所述节点列表对应的节点内。
7.如权利要求5或6所述的基于高速文件传输加密压缩的优化系统,其特征在于,所述基本信息包括父节点索引、当前节点索引、文件名长度、文件名、文件名类型以及文件大小。
8.如权利要求7所述的基于高速文件传输加密压缩的优化系统,其特征在于,还包括数据解封装装置,用于对接收到的所述数据包进行解密和解压缩,获取所述基本信息和所述读取的数据;
文件目录创建装置,用于根据所述基本信息创建与所述读取的数据相对应的文件以及文件夹;
数据写入装置,用于将读取的数据写入到新创建的文件或文件夹中。
9.还提供了一种存储介质,其上存储有程序指令,所述程序指令在被处理器执行时,实现方法权利要求的方法。
CN201811497636.6A 2018-12-07 2018-12-07 一种基于高速文件传输加密压缩的优化方法及系统 Pending CN109525589A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811497636.6A CN109525589A (zh) 2018-12-07 2018-12-07 一种基于高速文件传输加密压缩的优化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811497636.6A CN109525589A (zh) 2018-12-07 2018-12-07 一种基于高速文件传输加密压缩的优化方法及系统

Publications (1)

Publication Number Publication Date
CN109525589A true CN109525589A (zh) 2019-03-26

Family

ID=65795270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811497636.6A Pending CN109525589A (zh) 2018-12-07 2018-12-07 一种基于高速文件传输加密压缩的优化方法及系统

Country Status (1)

Country Link
CN (1) CN109525589A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111177756A (zh) * 2019-12-26 2020-05-19 中国铁道科学研究院集团有限公司通信信号研究所 一种防篡改的铁路静态行车数据封装方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055580A (zh) * 2009-11-06 2011-05-11 上海可鲁系统软件有限公司 一种工业互联网中企业信息安全发送接收方法及通讯设备
CN102457442A (zh) * 2010-10-29 2012-05-16 金蝶软件(中国)有限公司 一种消息发送和读取方法、装置及中间件系统
CN103368691A (zh) * 2013-07-03 2013-10-23 深圳中科智星通科技有限公司 基于北斗卫星的数据传输方法和装置
CN105187370A (zh) * 2015-06-05 2015-12-23 北京奇虎科技有限公司 数据处理方法和系统
CN105208135A (zh) * 2015-10-26 2015-12-30 天津书生云科技有限公司 一种文件传输方法和设备
CN105791245A (zh) * 2014-12-26 2016-07-20 北京航天测控技术有限公司 一种数据发送、接收方法和装置
CN106022014A (zh) * 2016-05-16 2016-10-12 武汉斗鱼网络科技有限公司 一种资源文件的打包方法和解包方法
CN106453649A (zh) * 2016-11-29 2017-02-22 珠海市魅族科技有限公司 文件传输方法及装置
US20170251050A1 (en) * 2016-02-29 2017-08-31 Seagate Technology Llc Cloud storage accelerator
KR20180015359A (ko) * 2016-08-03 2018-02-13 주식회사 테크인모션 데이터 중계 서버

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055580A (zh) * 2009-11-06 2011-05-11 上海可鲁系统软件有限公司 一种工业互联网中企业信息安全发送接收方法及通讯设备
CN102457442A (zh) * 2010-10-29 2012-05-16 金蝶软件(中国)有限公司 一种消息发送和读取方法、装置及中间件系统
CN103368691A (zh) * 2013-07-03 2013-10-23 深圳中科智星通科技有限公司 基于北斗卫星的数据传输方法和装置
CN105791245A (zh) * 2014-12-26 2016-07-20 北京航天测控技术有限公司 一种数据发送、接收方法和装置
CN105187370A (zh) * 2015-06-05 2015-12-23 北京奇虎科技有限公司 数据处理方法和系统
CN105208135A (zh) * 2015-10-26 2015-12-30 天津书生云科技有限公司 一种文件传输方法和设备
US20170251050A1 (en) * 2016-02-29 2017-08-31 Seagate Technology Llc Cloud storage accelerator
CN106022014A (zh) * 2016-05-16 2016-10-12 武汉斗鱼网络科技有限公司 一种资源文件的打包方法和解包方法
KR20180015359A (ko) * 2016-08-03 2018-02-13 주식회사 테크인모션 데이터 중계 서버
CN106453649A (zh) * 2016-11-29 2017-02-22 珠海市魅族科技有限公司 文件传输方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111177756A (zh) * 2019-12-26 2020-05-19 中国铁道科学研究院集团有限公司通信信号研究所 一种防篡改的铁路静态行车数据封装方法
CN111177756B (zh) * 2019-12-26 2022-04-05 中国铁道科学研究院集团有限公司通信信号研究所 一种防篡改的铁路静态行车数据封装方法

Similar Documents

Publication Publication Date Title
US9400608B2 (en) Systems and methods for transformation of logical data objects for storage
EP3716123B1 (en) File packing and file package unpacking method and apparatus, and network device
KR102202473B1 (ko) 동적 데이터 저장을 위한 시스템 및 방법
US10846243B2 (en) Access management method, information processing device, program, and recording medium
CN105453105A (zh) 用于云数据安全的系统及方法
US11221992B2 (en) Storing data files in a file system
US10303783B2 (en) Distributed virtual storage of portable media files
JP5620792B2 (ja) 分散アーカイブシステム並びにデータアーカイブ装置及びデータ復元装置
CN110061840A (zh) 数据加密方法、装置、计算机设备及存储介质
CA2845342C (en) Configurable key-based data shuffling and encryption
CN101499027A (zh) 一种基于独立内核和分布式构架的智能存储系统
JP2017194762A (ja) インデックス生成プログラム、インデックス生成装置、インデックス生成方法、検索プログラム、検索装置および検索方法
US11163726B2 (en) Context aware delta algorithm for genomic files
US20220182219A1 (en) Creating deterministic ciphertext using wide-block encryption
JP6575688B2 (ja) インデックス付きデータ生成プログラム、インデックス付きデータ生成方法、インデックス付きデータ生成システム、検索プログラム、検索方法、および検索システム
CN109525589A (zh) 一种基于高速文件传输加密压缩的优化方法及系统
US20170228325A1 (en) Retrieving and converting offline data
CN110489992A (zh) 基于大数据平台的脱敏方法及系统
CN111130788B (zh) 数据处理方法和系统、数据读取方法和iSCSI服务器
US10404274B2 (en) Space compression for file size reduction
RU2656836C2 (ru) Система и способ взаимодействия пользователей с облачными объектными хранилищами данных
JP6683979B1 (ja) ファイル保存システム及びファイル保存プログラム
CN111061731B (zh) 一种加密数据全文检索方法
JP2014509138A (ja) 記憶域削減のためのデータ・パケットの作成および変更に関する方法、コンピュータ・システム、およびコンピュータ・プログラム(製品)(メモリ節約パケット変更)
Muppalaneni et al. A Survey on Efficient Data Deduplication in Data Analytics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190326

RJ01 Rejection of invention patent application after publication