CN117527708B - 基于数据流向的企业级数据链路的优化传输方法及系统 - Google Patents

基于数据流向的企业级数据链路的优化传输方法及系统 Download PDF

Info

Publication number
CN117527708B
CN117527708B CN202410019321.XA CN202410019321A CN117527708B CN 117527708 B CN117527708 B CN 117527708B CN 202410019321 A CN202410019321 A CN 202410019321A CN 117527708 B CN117527708 B CN 117527708B
Authority
CN
China
Prior art keywords
file
transmission
index
data
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410019321.XA
Other languages
English (en)
Other versions
CN117527708A (zh
Inventor
石杰
廖家林
陶嘉驹
张雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangyin Consumer Finance Co ltd
Original Assignee
Hangyin Consumer Finance Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangyin Consumer Finance Co ltd filed Critical Hangyin Consumer Finance Co ltd
Priority to CN202410019321.XA priority Critical patent/CN117527708B/zh
Publication of CN117527708A publication Critical patent/CN117527708A/zh
Application granted granted Critical
Publication of CN117527708B publication Critical patent/CN117527708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/22—Traffic shaping
    • H04L47/225—Determination of shaping rate, e.g. using a moving window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据优化传输技术领域，提出了基于数据流向的企业级数据链路的优化传输方法及系统，包括：获取文件传输数据；根据文件传输数据获取文件传输速率需求指数；根据文件传输速率需求指数和文件传输需求数据计算紧急传输指数；根据紧急传输指数和网络环境监测序列计算压缩速率优先指数；根据紧急传输指数和压缩速率优先指数计算压缩传输速度比；根据压缩传输速度比计算滑动窗口大小；根据滑动窗口大小确定搜索缓冲区和待编码区的大小；基于滑动窗口大小采用LZ77压缩算法对文件进行压缩，将压缩后的文件在企业数据链路进行传输。本发明通过压缩传输速度比获取滑动窗口大小，提高文件压缩传输速率。

Description

基于数据流向的企业级数据链路的优化传输方法及系统
技术领域
本发明涉及数据优化传输技术领域，具体涉及基于数据流向的企业级数据链路的优化传输方法及系统。
背景技术
数据链路的传输是指将数据从一个地方传输到另一个地方的过程，通常在企业内部或企业与外部系统之间进行，是企业内部通信和数据共享的关键组成部分，通过企业数据链路传输用于在不同部门、团队之间共享数据，有助于团队协作与决策制定，同时能够有效支持各种业务流程，对业务流程中的各步骤进行有效执行和监控。
企业级的应用系统情况复杂，尤其是大型企业，存在业务系统繁杂、分析系统各异、所属业务领域、业务方、数据量、时效性要求不同等问题，导致企业级的数据链路传输复杂、难于管理，经常出现数据传输错误造成多种问题，影响企业的发展，因此需要对企业级数据链路的传输进行优化。对企业级数据链路传输进行优化的方法如数据压缩技术，通过对要传输的数据文件使用压缩技术进行处理，减少数据文件传输量，进而减少带宽需求，实现对企业级数据链路传输的优化。传统的压缩技术如LZ77压缩算法，能够高效的压缩数据，且是一种无损压缩算法，对压缩数据进行解压后可以完整的将原始数据进行还原，保证了数据的有效性，但需要对其中的参数进行较准确的设定，如滑动窗口的大小，滑动窗口过大将导致压缩速率降低，无法保障及时的对数据进行传输，而滑动窗口过小将导致压缩效果降低，即压缩后的数据所占空间与原始数据所占空间相差较小，甚至压缩后的数据所占空间比原始数据所占空间要大，无法实现对企业级数据链路传输的优化。
发明内容
本发明提供基于数据流向的企业级数据链路的优化传输方法及系统，以解决企业级数据链路传输效率低的问题，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了基于数据流向的企业级数据链路的优化传输方法，该方法包括以下步骤：
获取文件传输数据，所述文件传输数据包括网络速度监测数据、文件传输时间差数据、文件大小、目标节点数量；
根据文件传输数据中文件的需求特征对文件进行分类，基于文件的分类结果和文件大小计算每个文件的传输速率需求指数；根据每个文件的传输速率需求指数和每个文件对应的文件传输时间差、目标节点数量计算每个文件的紧急传输指数；根据每个文件的传输时间获取每个文件的网络环境监测数据序列；根据每个文件的紧急传输指数和网络环境监测数据序列计算每个文件的压缩速率优先指数；根据每个文件的紧急传输指数和压缩速率优先指数计算每个文件的压缩传输速度比；
根据每个文件的压缩传输速度比计算每个文件进行压缩时的滑动窗口的大小；根据每个文件进行压缩时滑动窗口的大小确定所述滑动窗口中的搜索缓冲区、待编码区；根据每个文件对应的滑动窗口大小采用LZ77压缩算法对每个文件进行压缩，将压缩后的文件在企业数据链路中进行传输。
优选的，所述根据文件传输数据中文件的需求特征对文件进行分类，基于文件的分类结果和文件大小计算每个文件的传输速率需求指数的方法为：
将企业资源规划系统、订单处理系统等操作类应用系统作为北侧系统；将报表生成系统、数据挖掘系统、数据仓库管理系统等分析类应用系统作为南侧系统；根据所述北侧系统和南侧系统的系统功能不同将企业中的文件划分为北侧系统文件和南侧系统文件；将北侧系统文件的指示系数置为0，将南侧系统文件的指示系数置为1；
将以自然常数为底数，以任意一个文件的指示系数为指数的映射结果作为所述文件的第一需求指数，将所述文件对应的文件传输数据中文件大小数据作为所述文件的第二需求指数，将所述文件的第一需求指数与第二需求指数的乘积作为所述文件的传输速率需求指数。
优选的，所述根据每个文件的传输速率需求指数和每个文件对应的文件传输时间差、目标节点数量计算每个文件的紧急传输指数的方法为：
将任意一个文件在企业数据链路传输时目标节点数量作为所述文件的第一传输指数，将所述文件对应的传输速率需求指数作为分子，将所述文件对应的文件传输时间差与预设参数的和作为所述文件的第二传输指数，将所述文件的第一传输指数与第二传输指数的乘积作为分母，将所述分子和分母的比值作为所述文件的紧急传输指数。
优选的，所述根据每个文件的传输时间获取每个文件的网络环境监测数据序列的方法为：
将任意一个文件进行传输时的时间作为所述文件的第一特征时间，将所述第一特征时间前预设数量的时间点对应的网络速度数据按照时间升序顺序组成的序列作为所述文件的网络环境监测数据序列。
优选的，所述根据每个文件的紧急传输指数和网络环境监测数据序列计算每个文件的压缩速率优先指数的方法为：
，式中，/>表示在企业数据链路中传输第/>个文件的压缩速率优先指数；/>表示第/>个文件的紧急传输指数；/>表示第/>个文件对应的网络环境监测数据序列中元素的数量；/>表示第/>个文件对应的网络环境监测数据序列中所有元素的均值；/>和/>分别表示第/>个文件对应的网络环境监测数据序列中第/>个和第/>个数据；/>表示调节参数。
优选的，所述根据每个文件的紧急传输指数和压缩速率优先指数计算每个文件的压缩传输速度比的方法为：
将任意一个文件对应的紧急传输指数作为分子，将所述文件对应的压缩速率优先指数作为分母，将所述分子和分母的比值作为所述文件的第一压缩传输系数，将所述文件的第一压缩传输系数的归一化结果作为所述文件的压缩传输速度比。
优选的，所述根据每个文件的压缩传输速度比计算每个文件进行压缩时的滑动窗口的大小的方法为：
，式中，/>表示在企业数据链路传输过程中对第/>个文件进行压缩时滑动窗口的大小，/>表示第/>个文件的压缩传输速度比，/>表示对文件进行压缩时滑动窗口大小取值的最大值，/>表示对文件进行压缩时滑动窗口大小取值的最小值，/>表示对/>的计算结果进行向上取整。
优选的，所述根据每个文件进行压缩时滑动窗口的大小确定所述滑动窗口中的搜索缓冲区、待编码区的方法为：
将任意一个文件对应的滑动窗口的大小与预设参数的乘积作为所述文件对应的滑动窗口中搜索缓冲区的大小；将所述文件对应的滑动窗口的大小与所述搜索缓冲区域的大小差值的绝对值作为所述文件对应的滑动窗口中待编码区的大小。
优选的，所述根据每个文件对应的滑动窗口大小采用LZ77压缩算法对每个文件进行压缩，将压缩后的文件在企业数据链路中进行传输的方法为：
基于每个文件对应的滑动窗口的大小和所述滑动窗口中搜索缓冲区大小、待编码区大小采用LZ77压缩算法对每个文件进行压缩，将每个文件的压缩结果在企业级数据链路中进行优化传输。
第二方面，本发明实施例还提供了基于数据流向的企业级数据链路的优化传输系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述基于数据流向的企业级数据链路的优化传输方法的步骤。
本发明的有益效果是：本发明通过分析企业数据链路传输时的文件特征，即根据文件大小与发出文件所在系统构建文件传输速率需求指数，反映文件对传输速率的需求程度，基于文件的目标节点数量、当前时间与文件截止时间之间的时间差构建紧急传输指数，反映文件在企业数据链路传输中的紧急程度，进而结合网络环境情况构建压缩速率优先指数，反映文件在企业数据链路传输中的压缩需求程度，基于紧急传输指数与压缩速率优先指数构建压缩传输速度比，反映对企业数据链路中传输的文件进行压缩时的传输速率与压缩速率之间的均衡程度，基于压缩传输速度比计算得到使用LZ77压缩算法对企业数据链路中传输的文件进行压缩时的滑动窗口大小，其有益效果在于根据企业数据链路中的网络环境情况、文件紧急程度、文件大小等动态调整滑动窗口，进而对文件的压缩程度进行动态调整，使压缩文件满足企业数据链路的实际传输需求，实现对企业级数据链路传输的优化。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例所提供的基于数据流向的企业级数据链路的优化传输方法的流程示意图；
图2为本发明一个实施例所提供的文件的起始节点和目标节点的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，其示出了本发明一个实施例提供的基于数据流向的企业级数据链路的优化传输方法的流程图，该方法包括以下步骤：
步骤S001，获取文件传输数据，所述文件传输数据包括网络速度监测数据、文件传输时间差数据、目标节点数量等数据。
通过网络监控工具采集网络速度监测数据，采集间隔为，/>的大小取经验值100ms，采集数据的数量为/>，/>大小取经验值18000；通过企业数据链路中传输文件的请求报文和文件系统管理工具采集文件的文件名数据、文件传输的源地址与目的地地址、文件大小、文件访问权限、文件传输时间差等数据，其中文件传输时间差为文件传输时间与文件截止时间的时间差，具体的，将文件传输时间与文件截止时间的时间差转化为具体的小时数据，例如文件的传输时间为2023.10.12上午10点，文件传输截止时间为2023.10.13中午12点，则文件传输时间与文件截止时间的时间差为23小时，即文件对应的文件传输时间差为23。
进一步的，文件在企业数据链路中传输的节点越少，则表示文件保密程度越高。具体的，如图2所示文件的传输的源地址为起始节点，文件传输的目的地地址为目标节点，根据文件在企业数据链路中传输时目标节点的数量表示文件的传输的重要和紧急程度，例如企业数据链路中传输的文件需要南北侧系统中较少的员工浏览到文件内容，则此类文件在企业数据链路中传输路径较短，文件的保密等级高，根据文件传输数据中文件的源地址和目的地获取文件传输时目标节点的数量，即目的地地址越多则文件的传输的目标节点越多。
将每个文件对应的文件名数据、文件传输的源地址与目的地地址、文件大小、文件传输时间差数据、网络速度监测数据、目标节点数量等数据作为每个文件的文件传输数据。
步骤S002，根据文件传输数据的需求特征将文件分为北侧系统文件、南侧系统文件，基于文件的分类结果和文件大小计算文件传输速率需求指数，根据文件传输速率需求指数和文件传输时间差、目标节点数量计算紧急传输指数。
由于企业中应用系统复杂，尤其是大型企业中业务系统繁多，分析系统各异，导致不同文件的流向、文件大小、文件时效性要求等不同，导致在企业数据链路传输过程中，不同文件对传输速率的需求程度不同，根据传输速率的不同计算文件传输速率需求指数。
具体的，将企业资源规划（Enterprise Resource Planning）系统、订单处理系统等操作类应用系统记为北侧系统，即北侧系统的数据为原始数据，通常对此类文件传输速率的需求相对较低；将报表生成系统、数据挖掘系统、数据仓库系统等分析类应用系统记为南侧系统，即南侧系统的数据为分析后的结果数据，由于企业需要尽早得到结果，进而做出决策，提高生产效率，故对于从南侧系统开始传输的文件传输速率的需求相对较高。同时对于文件越小，在企业数据链路中传输时，由于文件本身小，在传输时速度较快，故对传输速率的要求相对较低；文件越大，则对传输速率的要求相对较高。
进一步的，根据所述北侧系统和南侧系统的划分将企业中的文件分为北侧系统文件和南侧系统文件；将北侧系统文件中每个文件的指示系数置为0；将南侧系统文件中每个文件的指示系数置为1。根据每个文件的指数系数和文件的大小计算文件传输速率需求指数，具体的计算公式如下：
，式中，/>表示在企业数据链路传输中第/>个文件的文件传输速率需求指数；/>表示第/>个文件的指示系数；/>表示第/>个文件的所占空间大小；/>表示以自然常数为底以/>指数的映射结果。
当第个文件从北侧系统开始传输时，即第/>个文件属于原始数据文件，对此类文件的传输速率需求相对较低，即/>取0，同时若第/>个文件所占空间越小，即/>的值越小，则对第/>个文件的传输速率需求相对较小，计算得到第/>个文件的文件传输速率需求指数/>较小；当第/>个文件从南侧系统开始传输时，即第/>个文件属于分析后的结果数据文件，对此类文件的传输速率要求相对较高，即/>取1，同时若该文件所占空间越大，即/>越大，对第/>个文件的传输速率需求相对较大，计算得到第/>个文件的文件传输速率需求指数/>较大。
进一步的，对企业数据链路中传输的文件进行压缩时，文件的实时性要求越高、文件越重要，则对应的压缩程度越高，使压缩后的文件尽可能的小，以达到较高的传输速率，使文件尽可能快的传输到目的地，因此根据每个文件传输速率需求指数和每个文件对应的传输时间、访问权限计算每个文件的紧急传输指数，具体的计算公式如下：
，式中，/>表示在企业数据链路传输中第/>个文件的紧急传输指数；/>表示第/>个文件的文件传输速率需求指数；/>为第一传输指数，/>的大小等于第/>个文件传输时的目标节点数量；/>表示第/>个文件的文件传输时间差；/>表示调节参数，大小取经验值0.01。
第个文件的文件传输速率需求指数越大，同时若第/>个文件的文件传输时间差越小，且该文件传输时目标节点数量越少，则/>的值越大、第二传输指数/>的值越小、第一传输指数/>的值越小，表示第/>个文件越需要尽快进行传输、处理，则计算得到的第/>个文件的紧急传输指数越大；若第/>个文件的文件传输速率需求指数越小，同时若当前时间与该文件的截止时间之间的时间差越长，该文件传输时目标节点数量越多，则/>的值越小、第二传输指数/>的值越大、第一传输指数/>的值越大，表明该文件的紧急程度、重要程度相对较低，对于该文件的传输、处理速度则可以适当放缓，则计算得到的第/>个文件的紧急传输指数较小。
至此，获取了企业数据链路传输中每个文件的紧急传输指数。
步骤S003，根据紧急传输指数和网络环境监测序列计算压缩速率优先指数，根据紧急传输指数和压缩速率优先指数计算压缩传输速度比，根据压缩传输速度比计算滑动窗口大小。
对企业数据链路中传输的文件进行压缩时，当网络环境越好、文件紧急程度越低，则对文件的压缩程度可以相对降低，即可以通过减小LZ77压缩算法中的窗口大小，提高算法的压缩速率。
将企业数据链路传输中任意一个文件进行传输时的时间作为所述文件的第一特征时间，将所述第一特征时间前个时间点对应的网络速度数据按照时间升序顺序组成的序列作为所述文件的网络环境监测数据序列，根据每个文件的紧急传输指数和网络环境监测序列计算压缩速率优先指数，具体对计算公式如下：
，式中，/>表示在企业数据链路中传输第/>个文件的压缩速率优先指数；/>表示第/>个文件的紧急传输指数；/>表示第/>个文件对应的网络环境监测数据序列中元素的数量；/>表示第/>个文件对应的网络环境监测数据序列中所有元素的均值；/>和/>分别表示第/>个文件对应的网络环境监测数据序列中第/>个和第/>个数据；/>表示调节参数。
在企业数据链路中传输第个文件时紧急程度较低，同时网络速度波动较小，网速越快，则/>的值越小、/>的值越小、/>越大，表明该文件重要程度相对较低，且网络环境较好，此时对文件进行压缩时需要提高压缩速率，提高第/>个文件在企业数据链路中传输的效率，因此计算得到的企业数据链路中传输第/>个文件的压缩速率优先指数/>的值较大；在企业数据链路中传输第/>个文件时，若第/>个文件的紧急程度较高，同时网络波动较大且网速越慢，则/>的值越大、/>的值越大、/>的值越小，此时对文件进行压缩时需要提高压缩率，即尽可能使压缩后的文件较小，因此计算得到的企业数据链路中传输第/>个文件的压缩速率优先指数/>的值较小。
进一步的，紧急传输指数与压缩速率优先指数分别反映了对企业数据链路传输的文件进行压缩时的传输速率与压缩速率要求，通常情况下，当文件的压缩速率较高时，其压缩效果相对较低，导致压缩后的文件与原始文件差异较小，造成传输该文件时的传输时间相对较长；当文件的压缩效果较高时，传输该文件的时间相对较短，即传输速率较高，但其压缩速率相对较低，导致对该文件进行压缩时的压缩时间相对较长。因此根据紧急传输指数与压缩速率优先指数计算压缩传输速度比，通过压缩传输速度比反映对企业数据链路中传输的文件进行压缩时的传输速率与压缩速率之间的均衡程度，每个文件的压缩传输速度比的具体计算公式如下：
，式中，/>表示在企业数据链路传输过程中第/>个文件的压缩传输速度比；/>表示第/>个文件的紧急传输指数；/>表示第/>个文件的压缩速率优先指数；表示对/>的计算结果进行归一化。
在企业数据链路传输过程中第个文件的紧急传输指数越大，同时第/>个文件的压缩速率优先指数越小，表示第/>个文件越需要较高的传输速率，即对第/>个文件的压缩程度需要尽可能的大，需要使压缩后的文件尽可能的小，则企业数据链路传输过程中第/>个文件的压缩传输速度比越大；若第/>个文件的紧急传输指数越小，同时第/>个文件的压缩速率优先指数越大，表示第/>个文件越需要较高的压缩速率，即对第/>个文件的压缩程度要求相对较低，则企业数据链路传输过程中第/>个文件的压缩传输速度比越小。
进一步的，采用LZ77压缩算法对企业数据链路传输过程中每个文件进行压缩，通过企业数据链路传输过程中每个文件的压缩传输速度比计算文件压缩过程中的滑动窗口的大小，具体的计算公式如下：
，式中，/>表示在企业数据链路传输过程中对第/>个文件进行压缩时滑动窗口的大小，/>表示第/>个文件的压缩传输速度比，/>表示对文件进行压缩时滑动窗口大小取值的最大值，/>表示对文件进行压缩时滑动窗口大小取值的最小值，/>表示对/>的计算结果进行向上取整。
在企业数据链路传输过程中对第个文件的压缩传输速度比越大，即/>的值越大，表示需要对第/>个文件进行较大程度的压缩，因此需要较大的滑动窗口识别出文件中的重复模式，则计算得到的第/>个文件进行压缩时滑动窗口的大小/>的值越大；第/>个文件的压缩传输速度比越小，即/>的值越小，表示第/>个文件对压缩程度的需求相对较小，对压缩速率的需求相对较高，因此不需要较大的滑动窗口识别出文件中的重复模式，因此需要较小的滑动窗口达到较高的压缩速率，计算得到的第/>个文件进行压缩时滑动窗口的大小/>的值越小。
至此，获取了企业数据链路传输过程中采用LZ77压缩算法对每个文件进行压缩时滑动窗口的大小。
步骤S004，根据滑动窗口大小确定搜索缓冲区和待编码区，基于滑动窗口大小以及确定的搜索区和待编码区采用LZ77压缩算法对文件进行压缩传输。
采用LZ77压缩算法对企业数据链路传输过程中每个文件进行压缩处理，进一步的，根据每个文件进行压缩过程中滑动窗口的大小确定每个文件对应的滑动窗口中搜索缓冲区和待编码区，具体的计算过程如下：
，/>，式中，/>表示对第/>个文件使用LZ77压缩算法进行压缩时滑动窗口中搜索缓冲区的大小；/>表示对/>的计算结果进行四舍五入取整；/>表示使用LZ77压缩算法对企业数据链路中传输的第/>个文件进行压缩时所选取的滑动窗口的大小；/>表示搜索缓冲区占滑动窗口的比例，大小取经验值0.625；/>表示对第/>个文件使用LZ77压缩算法进行压缩时滑动窗口中待编码区的大小。
将企业数据链路传输过程中每个文件以及每个文件对应的滑动窗口大小以及滑动窗口中搜索缓冲区与待编码区的大小作为LZ77压缩算法的输入，采用LZ77压缩算法获取企业数据链路传输过程中每个文件的压缩结果。在企业数据链路传输过程中将需要传输文件以及文件对应的滑动窗口大小以及滑动窗口中搜索缓冲区与待编码区的大小作为LZ77压缩算法的输入，得到所述需要传输文件的压缩结果，将压缩后的文件根据所述需要传输的文件的目的地的地址进行传输，即可以根据不同的业务类型数据、不同文件的实际传输需求对不同的文件进行不同程度的压缩，提高企业内数据的传输效率，降低北侧系统与南侧系统之间进行文件传输时的系统负担。
基于与上述方法相同的发明构思，本发明实施例还提供了基于数据流向的企业级数据链路的优化传输系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于数据流向的企业级数据链路的优化传输方法中任意一项所述方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于数据流向的企业级数据链路的优化传输方法，其特征在于，该方法包括以下步骤：
获取文件传输数据，所述文件传输数据包括网络速度监测数据、文件传输时间差数据、文件大小、目标节点数量，其中文件传输时间差数据为文件传输时间与文件截止时间的时间差；
根据文件传输数据中文件的需求特征对文件进行分类，基于文件的分类结果和文件大小计算每个文件的传输速率需求指数；根据每个文件的传输速率需求指数和每个文件对应的文件传输时间差、目标节点数量计算每个文件的紧急传输指数；根据每个文件的传输时间获取每个文件的网络环境监测数据序列；根据每个文件的紧急传输指数和网络环境监测数据序列计算每个文件的压缩速率优先指数；根据每个文件的紧急传输指数和压缩速率优先指数计算每个文件的压缩传输速度比；
根据每个文件的压缩传输速度比计算每个文件进行压缩时的滑动窗口的大小；根据每个文件进行压缩时滑动窗口的大小确定所述滑动窗口中的搜索缓冲区、待编码区；根据每个文件对应的滑动窗口大小采用LZ77压缩算法对每个文件进行压缩，将压缩后的文件在企业数据链路中进行传输；
所述根据文件传输数据中文件的需求特征对文件进行分类，基于文件的分类结果和文件大小计算每个文件的传输速率需求指数的方法为：
将操作类应用系统作为北侧系统，操作类应用系统包括企业资源规划系统和订单处理系统；将分析类应用系统作为南侧系统，分析类应用系统包括报表生成系统、数据挖掘系统和数据仓库管理系统；根据所述北侧系统和南侧系统的系统功能不同将企业中的文件划分为北侧系统文件和南侧系统文件；将北侧系统文件的指示系数置为0，将南侧系统文件的指示系数置为1；
将以自然常数为底数，以任意一个文件的指示系数为指数的映射结果作为所述文件的第一需求指数，将所述文件对应的文件传输数据中文件大小数据作为所述文件的第二需求指数，将所述文件的第一需求指数与第二需求指数的乘积作为所述文件的传输速率需求指数。
2.根据权利要求1所述的基于数据流向的企业级数据链路的优化传输方法，其特征在于，所述根据每个文件的传输速率需求指数和每个文件对应的文件传输时间差、目标节点数量计算每个文件的紧急传输指数的方法为：
将任意一个文件在企业数据链路传输时目标节点数量作为所述文件的第一传输指数，将所述文件对应的传输速率需求指数作为分子，将所述文件对应的文件传输时间差与预设参数的和作为所述文件的第二传输指数，将所述文件的第一传输指数与第二传输指数的乘积作为分母，将所述分子和分母的比值作为所述文件的紧急传输指数。
3.根据权利要求1所述的基于数据流向的企业级数据链路的优化传输方法，其特征在于，
所述根据每个文件的传输时间获取每个文件的网络环境监测数据序列的方法为：
将任意一个文件进行传输时的时间作为所述文件的第一特征时间，将所述第一特征时间前预设数量的时间点对应的网络速度数据按照时间升序顺序组成的序列作为所述文件的网络环境监测数据序列。
4.根据权利要求1所述的基于数据流向的企业级数据链路的优化传输方法，其特征在于，所述根据每个文件的紧急传输指数和网络环境监测数据序列计算每个文件的压缩速率优先指数的方法为：
式中，Wi表示在企业数据链路中传输第i个文件的压缩速率优先指数；Bi表示第i个文件的紧急传输指数；m表示第i个文件对应的网络环境监测数据序列中元素的数量；Mi表示第i个文件对应的网络环境监测数据序列中所有元素的均值；和/>分别表示第i个文件对应的网络环境监测数据序列中第t个和第t-1个数据；ε表示调节参数。
5.根据权利要求1所述的基于数据流向的企业级数据链路的优化传输方法，其特征在于，所述根据每个文件的紧急传输指数和压缩速率优先指数计算每个文件的压缩传输速度比的方法为：
将任意一个文件对应的紧急传输指数作为分子，将所述文件对应的压缩速率优先指数作为分母，将所述分子和分母的比值作为所述文件的第一压缩传输系数，将所述文件的第一压缩传输系数的归一化结果作为所述文件的压缩传输速度比。
6.根据权利要求1所述的基于数据流向的企业级数据链路的优化传输方法，其特征在于，所述根据每个文件的压缩传输速度比计算每个文件进行压缩时的滑动窗口的大小的方法为：
Hi＝upint[Ki*(Hmax-Hmin)]+Hmin
式中，Hi表示在企业数据链路传输过程中对第i个文件进行压缩时滑动窗口的大小，Ki表示第i个文件的压缩传输速度比，Hmax表示对文件进行压缩时滑动窗口大小取值的最大值，Hmin表示对文件进行压缩时滑动窗口大小取值的最小值，upint[Ki*(Hmax-Hmin)]表示对Ki*(Hmax-Hmin)的计算结果进行向上取整。
7.根据权利要求1所述的基于数据流向的企业级数据链路的优化传输方法，其特征在于，所述根据每个文件进行压缩时滑动窗口的大小确定所述滑动窗口中的搜索缓冲区、待编码区的方法为：
将任意一个文件对应的滑动窗口的大小与预设参数的乘积作为所述文件对应的滑动窗口中搜索缓冲区的大小；将所述文件对应的滑动窗口的大小与所述搜索缓冲区域的大小差值的绝对值作为所述文件对应的滑动窗口中待编码区的大小。
8.根据权利要求1所述的基于数据流向的企业级数据链路的优化传输方法，其特征在于，所述根据每个文件对应的滑动窗口大小采用LZ77压缩算法对每个文件进行压缩，将压缩后的文件在企业数据链路中进行传输的方法为：
基于每个文件对应的滑动窗口的大小和所述滑动窗口中搜索缓冲区大小、待编码区大小采用LZ77压缩算法对每个文件进行压缩，将每个文件的压缩结果在企业级数据链路中进行优化传输。
9.基于数据流向的企业级数据链路的优化传输系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8任意一项所述基于数据流向的企业级数据链路的优化传输方法的步骤。
CN202410019321.XA 2024-01-05 2024-01-05 基于数据流向的企业级数据链路的优化传输方法及系统 Active CN117527708B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410019321.XA CN117527708B (zh) 2024-01-05 2024-01-05 基于数据流向的企业级数据链路的优化传输方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410019321.XA CN117527708B (zh) 2024-01-05 2024-01-05 基于数据流向的企业级数据链路的优化传输方法及系统

Publications (2)

Publication Number Publication Date
CN117527708A CN117527708A (zh) 2024-02-06
CN117527708B true CN117527708B (zh) 2024-03-15

Family

ID=89761178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410019321.XA Active CN117527708B (zh) 2024-01-05 2024-01-05 基于数据流向的企业级数据链路的优化传输方法及系统

Country Status (1)

Country Link
CN (1) CN117527708B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118018531B (zh) * 2024-04-09 2024-06-25 深圳市鸿普森科技股份有限公司 一种针对物业场景下的数字人一体机

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110868222A (zh) * 2019-11-29 2020-03-06 中国人民解放军战略支援部队信息工程大学 Lzss压缩数据误码检测方法及装置
CN111291770A (zh) * 2018-12-06 2020-06-16 华为技术有限公司 一种参数配置方法及装置
CN112995329A (zh) * 2021-03-22 2021-06-18 洪璐 一种传输文件方法及系统
CN114979290A (zh) * 2022-04-14 2022-08-30 中国联合网络通信集团有限公司 一种态势感知压缩算法的选择方法及装置
US11463559B1 (en) * 2021-08-24 2022-10-04 Lyft, Inc. Compressing digital metrics for transmission across a network utilizing a graph-based compression dictionary and time slice delta compression
WO2023279964A1 (zh) * 2021-07-08 2023-01-12 华为技术有限公司 数据压缩方法、装置、计算设备及存储系统
CN116233109A (zh) * 2022-12-21 2023-06-06 宁波市科技园区明天医网科技有限公司 提高文件传输效率的方法、设备、存储介质和芯片

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140149605A1 (en) * 2012-11-26 2014-05-29 Saravana Annamalaisami Systems and methods for dictionary based compression

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291770A (zh) * 2018-12-06 2020-06-16 华为技术有限公司 一种参数配置方法及装置
CN110868222A (zh) * 2019-11-29 2020-03-06 中国人民解放军战略支援部队信息工程大学 Lzss压缩数据误码检测方法及装置
CN112995329A (zh) * 2021-03-22 2021-06-18 洪璐 一种传输文件方法及系统
WO2023279964A1 (zh) * 2021-07-08 2023-01-12 华为技术有限公司 数据压缩方法、装置、计算设备及存储系统
US11463559B1 (en) * 2021-08-24 2022-10-04 Lyft, Inc. Compressing digital metrics for transmission across a network utilizing a graph-based compression dictionary and time slice delta compression
CN114979290A (zh) * 2022-04-14 2022-08-30 中国联合网络通信集团有限公司 一种态势感知压缩算法的选择方法及装置
CN116233109A (zh) * 2022-12-21 2023-06-06 宁波市科技园区明天医网科技有限公司 提高文件传输效率的方法、设备、存储介质和芯片

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
无损压缩算法LZSS的分块性能研究;常为领;云晓春;李超;李楠宁;包秀国;;计算机研究与发展;20121015(第S2期);全文 *

Also Published As

Publication number Publication date
CN117527708A (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
CN117527708B (zh) 基于数据流向的企业级数据链路的优化传输方法及系统
CN110602178B (zh) 一种基于边缘压缩计算处理温度传感器数据的方法
CN113391973B (zh) 一种物联网云容器日志收集方法及装置
CN112235159B (zh) 网关质量画像生成方法、系统、网络设备和存储介质
CN118017564B (zh) 一种基于开源鸿蒙系统的储能方法
CN110399224A (zh) 信息处理方法和电子设备
CN117749800B (zh) 新能源发电侧实现边缘数据存储与传输的方法和相关装置
CN116126552A (zh) 基于Storm的海量气象观测数据处理方法和装置
CN112527530A (zh) 消息处理方法、装置、设备、存储介质及计算机程序产品
CN115567589A (zh) Json数据的压缩传输方法、装置、设备及存储介质
US20230125308A1 (en) Data compression based on co-clustering of multiple parameters for ai training
WO2021147319A1 (zh) 一种数据处理方法、装置、设备及介质
CN111125161B (zh) 数据的实时处理方法、装置、设备及存储介质
CN114679283A (zh) 区块链数据请求处理方法、装置、服务器及存储介质
CN112100210A (zh) 数据处理方法和汽车大数据管理云平台
CN116962187A (zh) 一种多耦合算法边缘网关的云响应方法、装置及介质
CN115905168A (zh) 自适应压缩方法和压缩装置、计算机设备、存储介质
US20220053046A1 (en) Optimization of files compression
CN115914360A (zh) 一种时序数据存储方法、装置、设备及存储介质
CN110677463B (zh) 并行数据传输方法、装置、介质及电子设备
US20120102086A1 (en) Processing node selection system, information processing node, processing execution method and program
CN113568966A (zh) 用于ods层和dw层之间的数据处理方法与系统
US10931593B2 (en) Management node, management system, management method and computer-readable recording medium
Zehnder et al. Using virtual events for edge-based data stream reduction in distributed publish/subscribe systems
CN117472589B (zh) 一种园区网络服务管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant