CN113067674B - 网络文本数据的传输方法、系统、电子设备及存储介质 - Google Patents

网络文本数据的传输方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN113067674B
CN113067674B CN202110287955.XA CN202110287955A CN113067674B CN 113067674 B CN113067674 B CN 113067674B CN 202110287955 A CN202110287955 A CN 202110287955A CN 113067674 B CN113067674 B CN 113067674B
Authority
CN
China
Prior art keywords
data
cost
text
network
receiving end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110287955.XA
Other languages
English (en)
Other versions
CN113067674A (zh
Inventor
李际朝
李青龙
李轩
张旺
郑才松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smart Starlight Information Technology Co ltd
Original Assignee
Beijing Smart Starlight Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smart Starlight Information Technology Co ltd filed Critical Beijing Smart Starlight Information Technology Co ltd
Priority to CN202110287955.XA priority Critical patent/CN113067674B/zh
Publication of CN113067674A publication Critical patent/CN113067674A/zh
Application granted granted Critical
Publication of CN113067674B publication Critical patent/CN113067674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0014Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/14Charging, metering or billing arrangements for data wireline or wireless communications
    • H04L12/1432Metric aspects
    • H04L12/1439Metric aspects time-based
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852Delays

Abstract

本发明公开了一种网络文本数据的传输方法、系统、电子设备及存储介质,该方法包括:评估待传输文本数据的网络文本数据传输的总成本,总成本包括时间延迟成本、网络费用成本和服务器成本;根据业务需求确定时间延迟成本;判断时间延迟成本是否大于预设时间延迟成本;若时间延迟成本小于或者等于预设时间延迟成本,则对网络费用成本和服务器成本进行评估,改变数据压缩算法;若时间延迟成本大于预设时间延迟成本,增大数据压缩算法的压缩比。通过待传输文本数据的总成本确定时间延迟成本;在时间延迟成本较小情况下,通过优化数据压缩算法降低总成本;在时间延迟成本较大情况下,此时对应较小网络带宽,通过增大数据压缩算法的压缩比来降低总成本。

Description

网络文本数据的传输方法、系统、电子设备及存储介质
技术领域
本发明涉及数据传输处理领域,具体涉及到一种网络文本数据的传输方法、系统、电子设备及存储介质。
背景技术
随着互联网,尤其是社交网络的发展,网络文本数据的流量越来越大。尤其是随着人工智能、AIoT、云计算等技术的推动,全球数据正在无限制地增加。在一个典型的全球性服务下,常常需要在全球多数据中心之间,通过公网或专用网络传输大量数据。在数据传输过程中,面临多种可选的技术路径,如何量化、评估各种技术路径的成本收益比,对于节约企业成本、提供更稳定优质的服务,具有重要意义。
发明内容
有鉴于此,本发明实施例提供了一种网络文本数据的传输方法、系统、电子设备及存储介质,以降低数据传输成本。
为此,本发明实施例提供了如下技术方案:
根据第一方面,本发明实施例提供了一种网络文本数据的传输方法,包括:评估待传输文本数据的网络文本数据传输的总成本,所述总成本包括数据传输的时间延迟成本、数据延迟的网络费用成本和数据发送接收端的服务器成本;根据业务需求确定时间延迟成本;判断时间延迟成本是否大于预设时间延迟成本;若时间延迟成本小于或者等于预设时间延迟成本,则对数据延迟的网络费用成本和数据发送接收端的服务器成本进行评估,改变网络文本数据的数据压缩算法;若数据传输的时间延迟成本大于预设时间延迟成本,则增大网络文本数据所使用的数据压缩算法的压缩比。
可选地,
数据传输的时间延迟成本的计算公式为:
latency_cost=α*Zdata_size/band
其中,latency_cost为数据传输的时间延迟成本,α为延迟的成本系数,α的具体值与业务相关,Zdata_size为网络传输的数据量,band为网络带宽;
数据延迟的网络费用成本的计算公式为:
band_cost=Zdata_size
其中,band_cost为数据延迟的网络费用成本,Zdata_size为网络传输的数据量,β为单位数据的传输成本系数,即单位大小数据的所需网络费用;
数据发送接收端的服务器成本的计算公式为:
server_cost=O(n)*γ
其中,server_cost为数据发送接收端的服务器成本,O(n)为压缩算法的压缩比,γ为服务器的成本系数,即解压压缩比为O(n)的单位大小文件所需的服务器费用;
网络文本数据传输的总成本的计算公式为:
Sum_Cost=α*Zdata_size/band+Zdata_size*β+O(n)*γ
Zdata_size=Cdata_size/O(n)
其中,Sum_Cost为网络文本数据传输的总成本,Cdata_size为需要传输的数据总量。
可选地,增大网络文本数据所使用的数据压缩算法的压缩比的步骤中,包括:控制发送端获取待传输文本数据并将待传输文本数据发送至发送端压缩器;控制发送端压缩器根据第一字典库对待传输文本数据进行数据转换,得到文本压缩数据,所述文本压缩数据不包含第一字典库,所述第一字典库为文本压缩算法所用的字典库;控制发送端web服务获取接收端发送的数据下载请求,从发送端压缩器获取文本压缩数据;控制发送端web服务将文本压缩数据发送至接收端下载器。
可选地,控制发送端web服务将文本压缩数据发送至接收端下载器的步骤之后,还包括:控制接收端下载器将接收到的文本压缩数据发送至接收端解压器;控制接收端解压器根据接收端第二字典库对文本压缩数据进行数据解压,得到文本压缩数据的文本解压数据,所述第二字典库为存储在解压端的本地字典库;将文本解压数据存储至本地数据库。
可选地,控制接收端解压器根据数据接收端第二字典库对文本压缩数据进行数据解压,得到文本压缩数据的文本解压数据的步骤中,包括:控制接收端解压器将文本压缩数据中的字符串与第二字典库进行匹配,得到第二匹配结果;若第二匹配结果为匹配成功,则控制接收端解压器获取文本压缩数据中匹配到的字符串所对应的字典值,并根据匹配到的字典值得到文本解压数据;若第二匹配结果为匹配失败,则控制接收端第二字典库向接收端下载器发送未匹配字符串解析请求;控制接收端下载器接收未匹配字符串解析请求,并向接收端web服务转发未匹配字符串解析请求;控制接收端web服务访问第一字典库获取未匹配字符串所对应的字典值,并将所述未匹配字符串所对应的字典值发送至接收端下载器;控制接收端下载器将所述未匹配字符串所对应的字典值添加至第二字典库;控制第二字典库将所述未匹配字符串所对应的字典值发送至接收端解压器;控制接收端解压器根据所述未匹配字符串所对应的字典值对文本压缩数据中的未匹配字符串进行解压,得到文本解压数据。
可选地,控制发送端压缩器根据第一字典库对待传输文本数据进行数据转换,得到文本压缩数据的步骤中,包括:控制发送端压缩器将待传输文本数据中的字词与第一字典库进行匹配,得到第一匹配结果;若第一匹配结果为匹配成功,则将待传输文本数据中的匹配到的字词转换为所对应的字典值;若第一匹配结果为匹配失败,则根据压缩算法将待传输文本数据中的未匹配到字词转换为字典值,并将未匹配到字词转换后的字典值添加至第一字典库中。
可选地,对数据延迟的网络费用成本和数据发送接收端的服务器成本进行评估,改变网络文本数据的数据压缩算法的步骤中,包括:获取包含多种不同的压缩算法的候选压缩算法列表以及候选压缩列表中每一种候选压缩算法所对应的压缩比和资源复杂度;将每一种候选压缩算法所对应的资源复杂度折算成每一种候选压缩算法所对应的数据发送接收端的服务器成本系数;根据每一种候选压缩算法的压缩比和服务器成本系数得到每一种压缩算法所对应的数据延迟的网络费用成本和数据发送接收端的服务器成本;分别对每一种候选压缩算法的数据延迟的网络费用成本和数据发送接收端的服务器成本进行求和计算,得到每一种候选压缩算法的网络费用成本和服务器成本之和;将网络费用成本和服务器成本之和的最小值所对应的候选压缩算法作为网络文本数据的新的数据压缩算法。
根据第二方面,本发明实施例提供了一种网络文本数据的传输系统,包括:评估模块,用于评估待传输文本数据的网络文本数据传输的总成本,所述总成本包括数据传输的时间延迟成本、数据延迟的网络费用成本和数据发送接收端的服务器成本;第一处理模块,用于根据业务需求确定时间延迟成本;判断模块,用于判断时间延迟成本是否大于预设时间延迟成本;第二处理模块,用于若时间延迟成本小于或者等于预设时间延迟成本,则对数据延迟的网络费用成本和数据发送接收端的服务器成本进行评估,改变网络文本数据的数据压缩算法;第三处理模块,用于若数据传输的时间延迟成本大于预设时间延迟成本,则增大网络文本数据所使用的数据压缩算法的压缩比。
可选地,数据传输的时间延迟成本的计算公式为:
latency_cost=α*Zdata_size/band
其中,latency_cost为数据传输的时间延迟成本,α为延迟的成本系数,α的具体值与业务相关,Zdata_size为网络传输的数据量,band为网络带宽;
数据延迟的网络费用成本的计算公式为:
band_cost=Zdata_size
其中,band_cost为数据延迟的网络费用成本,Zdata_size为网络传输的数据量,β为单位数据的传输成本系数,即单位大小数据的所需网络费用;
数据发送接收端的服务器成本的计算公式为:
server_cost=O(n)*γ
其中,server_cost为数据发送接收端的服务器成本,O(n)为压缩算法的压缩比,γ为服务器的成本系数,即解压压缩比为O(n)的单位大小文件所需的服务器费用;
网络文本数据传输的总成本的计算公式为:
Sum_Cost=α*Zdata_size/band+Zdata_size*β+O(n)*γ
Zdata_size=Cdata_size/O(n)
其中,Sum_Cost为网络文本数据传输的总成本,Cdata_size为需要传输的数据总量。
可选地,所述第三处理模块包括:第一处理子模块,用于控制发送端获取待传输文本数据并将待传输文本数据发送至发送端压缩器;第二处理子模块,用于控制发送端压缩器根据第一字典库对待传输文本数据进行数据转换,得到文本压缩数据,所述文本压缩数据不包含第一字典库,所述第一字典库为文本压缩算法所用的字典库;第三处理子模块,用于控制发送端web服务获取接收端发送的数据下载请求,从发送端压缩器获取文本压缩数据;第四处理子模块,用于控制发送端web服务将文本压缩数据发送至接收端下载器。
可选地,还包括:第五处理子模块,用于控制接收端下载器将接收到的文本压缩数据发送至接收端解压器;第六处理子模块,用于控制接收端解压器根据接收端第二字典库对文本压缩数据进行数据解压,得到文本压缩数据的文本解压数据,所述第二字典库为存储在解压端的本地字典库;第七处理子模块,用于将文本解压数据存储至本地数据库。
可选地,第六处理子模块包括:第一处理单元,用于控制接收端解压器将文本压缩数据中的字符串与第二字典库进行匹配,得到第二匹配结果;第二处理单元,用于若第二匹配结果为匹配成功,则控制接收端解压器获取文本压缩数据中匹配到的字符串所对应的字典值,并根据匹配到的字典值得到文本解压数据;第三处理单元,用于若第二匹配结果为匹配失败,则控制接收端第二字典库向接收端下载器发送未匹配字符串解析请求;第四处理单元,用于控制接收端下载器接收未匹配字符串解析请求,并向接收端web服务转发未匹配字符串解析请求;第五处理单元,用于控制接收端web服务访问第一字典库获取未匹配字符串所对应的字典值,并将所述未匹配字符串所对应的字典值发送至接收端下载器;第六处理单元,用于控制接收端下载器将所述未匹配字符串所对应的字典值添加至第二字典库;第七处理单元,用于控制第二字典库将所述未匹配字符串所对应的字典值发送至接收端解压器;第八处理单元,用于控制接收端解压器根据所述未匹配字符串所对应的字典值对文本压缩数据中的未匹配字符串进行解压,得到文本解压数据。
可选地,第二处理子模块包括:第九处理单元,用于控制发送端压缩器将待传输文本数据中的字词与第一字典库进行匹配,得到第一匹配结果;第十处理单元,用于若第一匹配结果为匹配成功,则将待传输文本数据中的匹配到的字词转换为所对应的字典值;第十一处理单元,用于若第一匹配结果为匹配失败,则根据压缩算法将待传输文本数据中的未匹配到字词转换为字典值,并将未匹配到字词转换后的字典值添加至第一字典库中。
可选地,所述第二处理模块包括:第八处理子模块,用于获取包含多种不同的压缩算法的候选压缩算法列表以及候选压缩列表中每一种候选压缩算法所对应的压缩比和资源复杂度;第九处理子模块,用于将每一种候选压缩算法所对应的资源复杂度折算成每一种候选压缩算法所对应的数据发送接收端的服务器成本系数;第十处理子模块,用于根据每一种候选压缩算法的压缩比和服务器成本系数得到每一种压缩算法所对应的数据延迟的网络费用成本和数据发送接收端的服务器成本;第十一处理子模块,用于分别对每一种候选压缩算法的数据延迟的网络费用成本和数据发送接收端的服务器成本进行求和计算,得到每一种候选压缩算法的网络费用成本和服务器成本之和;第十二处理子模块,用于将网络费用成本和服务器成本之和的最小值所对应的候选压缩算法作为网络文本数据的新的数据压缩算法。
根据第三方面,本发明实施例提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个处理器执行上述第一方面任意一项描述的网络文本数据的传输方法。
根据第四方面,本发明实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令用于使计算机执行上述第一方面任意一项描述的网络文本数据的传输方法。
本发明实施例技术方案,具有如下优点:
本发明实施例提供了一种网络文本数据的传输方法、系统、电子设备及存储介质,其中,该方法包括:评估待传输文本数据的网络文本数据传输的总成本,所述总成本包括数据传输的时间延迟成本、数据延迟的网络费用成本和数据发送接收端的服务器成本;根据业务需求确定时间延迟成本;判断时间延迟成本是否大于预设时间延迟成本;若时间延迟成本小于或者等于预设时间延迟成本,则对数据延迟的网络费用成本和数据发送接收端的服务器成本进行评估,改变网络文本数据的数据压缩算法;若数据传输的时间延迟成本大于预设时间延迟成本,则增大网络文本数据所使用的数据压缩算法的压缩比。通过待传输文本数据的网络文本数据传输的总成本确定数据传输的时间延迟成本;在时间延迟成本较小的情况下,通过优化数据压缩算法降低数据传输总成本;在时间延迟成本较大的情况下,此种情况对应较小的网络带宽,通过增大数据压缩算法的压缩比来降低数据传输总成本。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的网络文本数据的传输方法的一个具体示例的流程图;
图2为本发明实施例的网络文本数据的传输方法的另一个具体示例的流程图;
图3为本发明实施例的网络文本数据的传输系统的一个具体示例的框图;
图4为本发明实施例的电子设备的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种网络文本数据的传输方法,如图1所示,该方法包括步骤S1-S5。
步骤S1:获取待传输文本数据的网络文本数据传输的总成本,所述总成本包括数据传输的时间延迟成本、数据延迟的网络费用成本和数据发送接收端的服务器成本。
作为示例性的实施例,随着互联网,尤其是社交网络的发展,网络文本数据的流量越来越大;尤其是在多数据中心的业务场景中,常常需要通过公网传输大量文本数据。数据中心之间的传输有如下评估指标:(1)数据传输的时间延迟成本(latency_cost)、(2)数据延迟的网络费用成本(band_cost)、(3)数据发送接收端的服务器成本(server_cost)。故可以将总成本表达式量化为如下公式。
Sum_Cost=latency_cost+band_cost+server_cost
其中,Sum_Cost为网络文本数据传输的总成本;latency_cost为数据传输的时间延迟成本;band_cost为数据延迟的网络费用成本;server_cost为数据发送接收端的服务器成本。
需要传输的数据总量可以认为是一个常数,记为:Cdata_size。通过网络传输的数据量Zdata_size,则取决于压缩算法的压缩比O(n)。即:
Zdata_size=Cdata_size/O(n)
其中,Zdata_size为网络传输的数据量;Cdata_size为需要传输的数据总量,O(n)为压缩算法的压缩比。
latency_cost正比于数据传输所需的毫秒数(latency)。即:
latency_cost=latency*α
其中,α为延迟的成本系数,α的具体值与业务相关;latency与网络带宽(band)成反比,与网络传输的数据量Zdata_size成正比。即:
latency=Zdata_size/band
综合可得:latency_cost=α*Zdata_size/band
band_cost只取决于网络传输的数据量Zdata_size。即:
band_cost=Zdata_size
其中,β为单位数据的传输成本,即单位大小数据的所需网络费用。
server_cost取决于将数据压缩及解压时消耗的机器资源,一般来说资源消耗取决于压缩算法的压缩比O(n),即
server_cost=O(n)*γ
其中,γ为服务器的成本系数,即解压压缩比为O(n)的单位大小文件所需的服务器费用。
综上所述:
Cost=α*Cdata_size/(O(n)*band)+β*Cdata_size/O(n)+γ*O(n)
由于Cdata_size为常数,上式可简化为:
Cost=α/(O(n)*band)+β/O(n)+γ*O(n)
其中,α为延迟的成本系数,β为单位数据的传输成本系数,γ为服务器的压缩/解压成本系数。
步骤S2:根据业务需求确定时间延迟成本。
作为示例性的实施例,从总成本中找到时间延迟成本,时间延迟成本是根据业务需求确定的,以便检测网络状态的波动,便于后续动态调节数据的传输方式和压缩方式。
例如在跨境电商结算中,双方约定可接受的结算时间延迟为t1;超过t1,则每超时1s,支付m元,则时间延迟成本函数为:
延迟成本=Max(0,(延迟时间-t1)*m)
在需要尽可能短延迟的服务场景下(如即时通讯),则延迟成本与数据延迟时间成线性函数,假设每延迟增加1s,会造成n元的损失:
延迟成本=延迟时间*n
步骤S3:判断时间延迟成本是否大于预设时间延迟成本。
若时间延迟成本小于或者等于预设时间延迟成本,则执行步骤S4;若时间延迟成本大于预设时间延迟成本,则执行步骤S5。
作为示例性的实施例,预设时间延迟成本一般由具体业务场景确定。例如在跨境电商结算中,双方约定可接受的结算时间延迟为30s;超过30s,则每超时1s,支付1000元。
预设时间延迟成本=Max(0,(延迟时间-30s)*1000)
在需要尽可能短延迟的服务场景下(如即时通讯),则延迟成本与数据延迟时间成线性函数,假设每延迟增加1s,会造成20元的损失。
预设延迟成本=延迟时间*20
步骤S4:若时间延迟成本小于或者等于预设时间延迟成本,则对数据延迟的网络费用成本和数据发送接收端的服务器成本进行评估,改变网络文本数据的数据压缩算法。
作为示例性的实施例,当时间延迟成本小于或者等于预设时间延迟成本,说明数据传输的时间延迟成本在总成本中所占的比重较小,是网络带宽充足的情况。为了降低数据传输的总成本,则需要评估数据延迟的网络费用成本与数据发送接收端的服务器成本(数据压缩/解压成本),根据评估结果决定是否改变压缩算法O(n),以实现成本最优化。
步骤S5:若数据传输的时间延迟成本大于预设时间延迟成本,则增大网络文本数据所使用的数据压缩算法的压缩比。
作为示例性的实施例,当数据传输的时间延迟成本大于预设时间延迟成本时,说明数据传输的时间延迟成本在总成本中所占的比重较大,也就是网络带宽较小的情况,此种情况下,需要增大网络文本数据所使用的数据压缩算法的压缩比,以降低网络传输的数据量,从而达到降低成本的目的。
上述步骤,通过待传输文本数据的网络文本数据传输的总成本确定数据传输的时间延迟成本;在时间延迟成本较小的情况下,通过优化数据压缩算法降低数据传输总成本;在时间延迟成本较大的情况下,此种情况对应较小的网络带宽,通过增大数据压缩算法的压缩比来降低数据传输总成本。通过自动感知网络状况波动,动态调节数据的传输方式、压缩方式,实现成本最优化。
作为示例性的实施例,步骤S5增大网络文本数据所使用的数据压缩算法的压缩比的步骤中,包括步骤S51-S54。
步骤S51:控制发送端获取待传输文本数据并将待传输文本数据发送至发送端压缩器。
本实施例中,发送端接收待传输文本数据,例如某笔交易的交易内容、交易金额、交易发生的时间、交易双方的身份ID;或者是某个网页的具体内容;或者是某次即时通讯的通讯内容等。假设存在如下交易信息:{"Transection from":"Google Company","Transection to":"Facebook Company","Transection at":"1614925087","Transectioncontent":"Covid-19open information"}。该信息总长度为160字符。发送端接收上述数据后,将接收到的待传输文本数据发送至发送端压缩器,以便发送端压缩器对待传输数据进行数据压缩。
步骤S52:控制发送端压缩器根据第一字典库对待传输文本数据进行数据转换,得到文本压缩数据,所述文本压缩数据不包含第一字典库,所述第一字典库为文本压缩算法所用的字典库。
本实施例中,发送端压缩器接收到待传输文本数据后,根据第一字典库对待传输文本数据进行数据转换,将待传输文本数据中的字词转换成第一字典库中的字典值。第一字典库中包括多个字词以及每一个字词所对应的字典值。假设存在如下字典:{"Transection from":"act1","Transection to":"act2","Transection at":"act3","Transection content":"act4","Google Company":"comp1","Facebook Company":"comp2"}。
根据第一字典库中的字典值对待识别文本数据进行数据压缩,得到待识别文本数据所对应的文本压缩数据。
{"act1":"comp1","act2":"comp2","act3":"1614925087","act4":"Covid-19open information"},压缩后的文本长度为93。
作为示例性的实施例,步骤S52控制发送端压缩器根据第一字典库对待传输文本数据进行数据转换,得到文本压缩数据的步骤中,包括步骤S521-S523。
步骤S521:控制发送端压缩器将待传输文本数据中的字词与第一字典库进行匹配,得到第一匹配结果。
本实施例中,第一字典库中包含多个字词,发送端压缩器将待传输文本数据中的字词在第一字典库中进行查找,查看第一字典库中是否包含待传输文本数据中的字词,得到第一匹配结果。第一匹配结果包括两种结果,具体为匹配成功和匹配失败。若第一字典库中包含待传输文本数据中的某个字词,则该字词在第一字典库中匹配成功,即能够在第一字典库中找到该字词所对应的字典值。若第一字典库中不包含待传输文本数据中的某个字词,则该字词在第一字典库中匹配失败,即在第一字典库中无法找到该字词所对应的字典值。
步骤S522:若第一匹配结果为匹配成功,则将待传输文本数据中的匹配到的字词转换为所对应的字典值。
本实施例中,当第一匹配结果为匹配成功时,则说明在第一字典库中可以找到与待传输文本数据匹配的字词,根据第一字典库将待传输文本数据中匹配到的字词转换为第一字典库中该字词所对应的字典值。
步骤S523:若第一匹配结果为匹配失败,则根据压缩算法将待传输文本数据中的未匹配到字词转换为字典值,并将未匹配到字词转换后的字典值添加至第一字典库中。
本实施例中,当第一匹配结果为匹配失败时,则说明该字词不在第一字典库中,也就是第一字典库中没有该字词以及该字词所对应的字典值;此时,需要根据压缩算法将对待传输文本数据中未匹配到的字词进行压缩,得到压缩后的字典值,并将未匹配的字词转换后的字典值添加至第一字典库中,对第一字典库进行更新。
步骤S53:数据发送端web服务获取接收端发送的数据下载请求,从发送端压缩器获取文本压缩数据。
本实施例中,发送端web服务器可以是常见的HTTP/HTTPS服务器,数据接收端向数据发送端的web服务发起数据下载请求,发送端web服务接收数据接收端发送的数据下载请求后,从发送端压缩器获取文本压缩数据。
步骤S54:控制发送端web服务将文本压缩数据发送至接收端下载器。
本实施例中,发送端web服务将获取到的文本压缩数据发送至接收端,以便数据接收端进行文本压缩数据的接收和文本压缩数据的解压。
上述步骤中发送端压缩器根据第一字典库对待传输文本数据进行数据转换,得到文本压缩数据,文本压缩数据不包含第一字典库;发送端web服务获取接收端发送的数据下载请求后,从发送端压缩器获取文本压缩数据并将其发送至接收端下载器,以便接收端下载文本压缩数据。通过上述步骤实现了发送端仅发送文本压缩数据,不传输第一字典库,提高了压缩算法的压缩比。
作为示例性的实施例,步骤S54控制发送端web服务将文本压缩数据发送至接收端下载器的步骤之后,还包括步骤S55-S57。
步骤S55:控制接收端下载器将接收到的文本压缩数据发送至接收端解压器。
本实施例中,发送端web服务将获取到的文本压缩数据发送至接收端,接收端下载器接收到上述文本压缩数据,然后,将文本压缩数据传递给数据接收端解压器,以便接收端解压器对压缩数据进行解压。
步骤S56:控制接收端解压器根据接收端第二字典库对文本压缩数据进行数据解压,得到文本压缩数据的文本解压数据,所述第二字典库为存储在解压端的本地字典库。
本实施例中,接收端解压器将接收到的文本压缩数据与本地第二字典库进行数据解压,得到文本解压数据。第二字典库是存储在解压端的本地字典库,第二字典库与第一字典库采用相同的压缩算法得到,也可以是同一个字词在第一字典库和第二字典库中对应相同的字典值。由于第二字典库是本地字典库,可以用于压缩数据的解码,故在数据传输过程中无需传输字典,发送端只需要将压缩后的数据传输给接收端即可。接收端根据本地第二字典库便可对接收到的压缩数据进行数据解码,得到解压数据。
步骤S57:将文本解压数据存储至本地数据库。
具体地,将文本解压数据进行存储,存储至本地数据库,以便后续对文本解压数据进行处理。
上述步骤,接收端下载器将接收到的文本压缩数据发送至接收端解压器,解码器根据本地第二字典库进行数据解压,并将解压后的数据存储在本地。发送端根据压缩算法对待传输文本数据进行压缩后,发送端只需要传输压缩后的数据,无需发送端传输压缩字典,提高压缩比,减少发送端数据的传输量,降低数据传输成本;尤其是在带宽较小的情况下,提高数据传输速度和质量,实现了数据的快速传输。
作为示例性的实施例,步骤S56控制接收端解压器根据数据接收端第二字典库对文本压缩数据进行数据解压,得到文本压缩数据的文本解压数据的步骤中,包括步骤S561-S568。
步骤S561:控制接收端解压器将文本压缩数据中的字符串与第二字典库进行匹配,得到第二匹配结果。
本实施例中,接收端解压器向本地字典库(第二字典库)发起解析请求,将文本压缩数据中字符串与第二字典库中的字符串进行比较,查看第二字典库中是否包含文本压缩数据中字符串,得到第二匹配结果。第二匹配结果包括两种结果,具体为匹配成功和匹配失败。若文本压缩数据中的某个字符串存在于第二字典库中,则该字符串在第二字典库中匹配成功,即能够在第二字典库中找到该字符串所对应的字典值。若文本压缩数据中的某个字符串不存在于第二字典库中,则该字符串在第二字典库中匹配失败,即在第二字典库中无法找到该字符串所对应的字典值。
步骤S562:若第二匹配结果为匹配成功,则控制接收端解压器获取文本压缩数据中匹配到的字符串所对应的字典值,并根据匹配到的字典值得到文本解压数据。
本实施例中,当第二匹配结果为匹配成功时,则说明在第二字典库中可以匹配到该字符串所对应的字典值,根据字典值便可对上述字符串进行数据解压,得到上述字符所对应的解压数据。
步骤S563:若第二匹配结果为匹配失败,则控制接收端第二字典库向接收端下载器发送未匹配字符串解析请求。
本实施例中,当第二匹配结果为匹配失败时,则说明在第二字典库中没有匹配到该字符串所对应的字典值,无法对上述字符串进行数据解压,故控制接收端第二字典库向接收端下载器发送未匹配字符串解析请求,以便对不存在于第二字典库中的字符串进行数据解析。
步骤S564:控制接收端下载器接收未匹配字符串解析请求,并向接收端web服务转发未匹配字符串解析请求。
本实施例中,接收端下载器接收第二字典库发送的未匹配字符串解析请求,之后,将接收到的上述未匹配字符串解析请求转发至接收端web服务。
步骤S565:控制接收端web服务访问第一字典库获取未匹配字符串所对应的字典值,并将所述未匹配字符串所对应的字典值发送至接收端下载器。
本实施例中,发送端web服务接收到未匹配字符串解析请求后,访问发送端字典库(第一字典库),从第一字典库中获取未匹配字符串所对应的字典值。然后,将未匹配字符串所对应的字典值发送至接收端下载器,以便对未匹配字符串进行数据解码。
步骤S566:控制接收端下载器将所述未匹配字符串所对应的字典值添加至第二字典库。
本实施例中,接收端下载器将接收到的未匹配字符串所对应的字典值添加至第二字典库,对第二字典库进行更新。
步骤S567:控制第二字典库将所述未匹配字符串所对应的字典值发送至接收端解压器。
本实施例中,第二字典库将未匹配字符串所对应的字典值返回给接收端解压器。
步骤S568:控制接收端解压器根据所述未匹配字符串所对应的字典值对文本压缩数据中的未匹配字符串进行解压,得到文本解压数据。
本实施例中,接收端解压器接收未匹配字符串所对应的字典值,便可根据字典值对未匹配字符串进行数据解压,得到解压后的数据。
上述步骤,先通过本地第二字典库对接收到的文本压缩数据中的字符串进行解压,若第二字典库中包含文本压缩数据中字符串,则直接对该字符串进行解码,若第二字典库中不包含文本压缩数据中的字符串时,则从第一字典库中获取该字符串所对应的字典值,对未匹配字符串进行解码。优先根据本地字典库进行解压,无需发送端传输压缩字典,减少数据传输量,提高压缩比。
作为示例性的实施例,步骤S4对数据延迟的网络费用成本和数据发送接收端的服务器成本进行评估,改变网络文本数据的数据压缩算法的步骤中,包括步骤S41-S45。
步骤S41:获取包含多种不同的压缩算法的候选压缩算法列表以及候选压缩列表中每一种候选压缩算法所对应的压缩比和资源复杂度。
本实施例中,候选压缩算法列表中包含多种不同的压缩算法,不同的压缩算法具有不同的压缩比。采用不同的压缩算法对数据进行压缩所用到的服务器资源复杂度也不同。
以常见的7zip压缩工具集为例,有如下几种压缩算法可选:LZMA,LZMA2,PPMd,BZip2,Deflate,Delta,BCJ,BCJ2,Copy,亦可选择不同的压缩等级,压缩等级越高,消耗的服务器资源越高,压缩后的数据大小越小,以测试样本为例,使用-mx9参数进行极限压缩,假设需要10台服务器,使用-mx5参数进行标准压缩,则只需使用5台服务器。
步骤S42:将每一种候选压缩算法所对应的资源复杂度折算成每一种候选压缩算法所对应的数据发送接收端的服务器成本系数。
本实施例中,将每一种候选压缩算法所对应的资源复杂度折算成其所对应的数据发送接收端的服务器成本系数。
例如,压缩1M的数据,采用压缩算法A需要消耗2台服务器,则压缩算法A所对应的服务器成本系数为2;采用压缩算法B需要消耗4台服务器,则压缩算法B对应的服务器成本系数为4。
步骤S43:根据每一种候选压缩算法的压缩比和服务器成本系数得到每一种压缩算法所对应的数据延迟的网络费用成本和数据发送接收端的服务器成本。
本实施例中,对同一文本数据进行压缩,不同的压缩算法采用不同的压缩比,压缩后的数据量是不同的,压缩后的数据量即为网络传输的数据量,故不同的压缩算法传输的数据量不同,对应的网络费用成本也不同。
根据每一种候选压缩算法的压缩比和服务器成本系数便可得到每一种算法的网络费用成本和服务器成本。
步骤S44:分别对每一种候选压缩算法的数据延迟的网络费用成本和数据发送接收端的服务器成本进行求和计算,得到每一种候选压缩算法的网络费用成本和服务器成本之和。
本实施例中,总成本中减去时间延迟成本后,主要考虑网络费用成本和服务器(数据压缩和解压)成本,这两种成本之和较小,则总成本也较小。
压缩比越大,数据压缩后的数据量越小,网络传输费用少;但是压缩成本较大。压缩比越小或者不压缩,压缩成本较小或者没有压缩成本,但是需要传输的数据量较大,相应的网络传输成本大。
步骤S45:将网络费用成本和服务器成本之和的最小值所对应的候选压缩算法作为网络文本数据的新的数据压缩算法。
本实施例中,将各种候选压缩算法所对应的网络费用成本和服务器成本之和进行比较,得到两者之和的最小值,将该最小值所对应的候选压缩算法作为网络文本数据的新的数据压缩算法,也就是改变原来的压缩算法,将采用最小值所对应的候选压缩算法对待传输文本数据进行压缩。
上述步骤,在时间延迟成本小于或者等于预设时间延迟成本的情况下,在多种候选压缩算法中找到数据延迟的网络费用成本和数据发送接收端的服务器成本两者之和最小值所对应的候选压缩算法,将上述候选算法作为新的压缩算法对待传输文本数据进行压缩,实现了降低传输成本的目的。
下面以一个具体事例进行详细描述。
本方法的主要由以下两部分组成:
A.数据发送端,数据发送端包括如下组件:
a)原始数据库
b)压缩程序;
c)字典库;
d)对外web服务
B.数据接收端,数据接收端包括以下服务:
a)下载器
b)解压程序
c)字典库
d)解压后数据库
压缩器从原始数据处获取数据;压缩器根据字典库,将原始数据转换为字典值;如果字典值不存在,则将该字典值添加至字典库;数据接收端向数据发送端web服务发起数据请求;数据发送端web服务,从数据压缩处获取转换后的数据;数据接收端下载器,将压缩数据传递给数据接收端解压器;接收端数据解压器向本地字典库发起解析请求,具体包括:a)如果本地字典库已存在,则直接返回字典值;b)如本地字典库不存在,本地字典库向下载器发起未登录字符串解析请求;c)数据接收端下载器向数据发送端转发未登录字符串解析请求;d)数据发送端web服务访问发送端字典库,获取字典值;e)数据发送端将字典值返回给数据下载器;f)数据下载器将字典值添加至数据接收端字典库;g)数据接收端字典库将字典值返回给解压器。之后,数据接收端解压器将解压后的数据存储入本地数据库。
传统的压缩算法受限于算法设计,字典内只包含本批次文本内的数据,且每次都需要传输字典表,不能实现高效压缩。本实施例中的上述步骤通过一种新的字典传输、查找算法,可以充分地利用历史数据,极大提高压缩比。
在本实施例中还提供了一种网络文本数据的传输系统,该系统用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本实施例还提供一种网络文本数据的传输系统,如图3所示,包括:
评估模块1,用于评估待传输文本数据的网络文本数据传输的总成本,所述总成本包括数据传输的时间延迟成本、数据延迟的网络费用成本和数据发送接收端的服务器成本;
第一处理模块2,用于根据业务需求确定时间延迟成本;
判断模块3,用于判断时间延迟成本是否大于预设时间延迟成本;
第二处理模块4,用于若时间延迟成本小于或者等于预设时间延迟成本,则对数据延迟的网络费用成本和数据发送接收端的服务器成本进行评估,改变网络文本数据的数据压缩算法;
第三处理模块5,用于若数据传输的时间延迟成本大于预设时间延迟成本,则增大网络文本数据所使用的数据压缩算法的压缩比。
可选地,数据传输的时间延迟成本的计算公式为:
latency_cost=α*Zdata_size/band
其中,latency_cost为数据传输的时间延迟成本,α为延迟的成本系数,α的具体值与业务相关,Zdata_size为网络传输的数据量,band为网络带宽;
数据延迟的网络费用成本的计算公式为:
band_cost=Zdata_size
其中,band_cost为数据延迟的网络费用成本,Zdata_size为网络传输的数据量,β为单位数据的传输成本系数,即单位大小数据的所需网络费用;
数据发送接收端的服务器成本的计算公式为:
server_cost=O(n)*γ
其中,server_cost为数据发送接收端的服务器成本,O(n)为压缩算法的压缩比,γ为服务器的成本系数,即解压压缩比为O(n)的单位大小文件所需的服务器费用;
网络文本数据传输的总成本的计算公式为:
Sum_Cost=α*Zdata_size/band+Zdata_size*β+O(n)*γ
Zdata_size=Cdata_size/O(n)
其中,Sum_Cost为网络文本数据传输的总成本,Cdata_size为需要传输的数据总量。
可选地,所述第三处理模块包括:第一处理子模块,用于控制发送端获取待传输文本数据并将待传输文本数据发送至发送端压缩器;第二处理子模块,用于控制发送端压缩器根据第一字典库对待传输文本数据进行数据转换,得到文本压缩数据,所述文本压缩数据不包含第一字典库,所述第一字典库为文本压缩算法所用的字典库;第三处理子模块,用于控制发送端web服务获取接收端发送的数据下载请求,从发送端压缩器获取文本压缩数据;第四处理子模块,用于控制发送端web服务将文本压缩数据发送至接收端下载器。
可选地,还包括:第五处理子模块,用于控制接收端下载器将接收到的文本压缩数据发送至接收端解压器;第六处理子模块,用于控制接收端解压器根据接收端第二字典库对文本压缩数据进行数据解压,得到文本压缩数据的文本解压数据,所述第二字典库为存储在解压端的本地字典库;第七处理子模块,用于将文本解压数据存储至本地数据库。
可选地,第六处理子模块包括:第一处理单元,用于控制接收端解压器将文本压缩数据中的字符串与第二字典库进行匹配,得到第二匹配结果;第二处理单元,用于若第二匹配结果为匹配成功,则控制接收端解压器获取文本压缩数据中匹配到的字符串所对应的字典值,并根据匹配到的字典值得到文本解压数据;第三处理单元,用于若第二匹配结果为匹配失败,则控制接收端第二字典库向接收端下载器发送未匹配字符串解析请求;第四处理单元,用于控制接收端下载器接收未匹配字符串解析请求,并向接收端web服务转发未匹配字符串解析请求;第五处理单元,用于控制接收端web服务访问第一字典库获取未匹配字符串所对应的字典值,并将所述未匹配字符串所对应的字典值发送至接收端下载器;第六处理单元,用于控制接收端下载器将所述未匹配字符串所对应的字典值添加至第二字典库;第七处理单元,用于控制第二字典库将所述未匹配字符串所对应的字典值发送至接收端解压器;第八处理单元,用于控制接收端解压器根据所述未匹配字符串所对应的字典值对文本压缩数据中的未匹配字符串进行解压,得到文本解压数据。
可选地,第二处理子模块包括:第九处理单元,用于控制发送端压缩器将待传输文本数据中的字词与第一字典库进行匹配,得到第一匹配结果;第十处理单元,用于若第一匹配结果为匹配成功,则将待传输文本数据中的匹配到的字词转换为所对应的字典值;第十一处理单元,用于若第一匹配结果为匹配失败,则根据压缩算法将待传输文本数据中的未匹配到字词转换为字典值,并将未匹配到字词转换后的字典值添加至第一字典库中。
可选地,第二处理模块包括:第八处理子模块,用于获取包含多种不同的压缩算法的候选压缩算法列表以及候选压缩列表中每一种候选压缩算法所对应的压缩比和资源复杂度;第九处理子模块,用于将每一种候选压缩算法所对应的资源复杂度折算成每一种候选压缩算法所对应的数据发送接收端的服务器成本系数;第十处理子模块,用于根据每一种候选压缩算法的压缩比和服务器成本系数得到每一种压缩算法所对应的数据延迟的网络费用成本和数据发送接收端的服务器成本;第十一处理子模块,用于分别对每一种候选压缩算法的数据延迟的网络费用成本和数据发送接收端的服务器成本进行求和计算,得到每一种候选压缩算法的网络费用成本和服务器成本之和;第十二处理子模块,用于将网络费用成本和服务器成本之和的最小值所对应的候选压缩算法作为网络文本数据的新的数据压缩算法。
本实施例中的网络文本数据的传输系统是以功能单元的形式来呈现,这里的单元是指ASIC电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
本发明实施例还提供了一种电子设备,如图4所示,该电子设备包括一个或多个处理器71以及存储器72,图4中以一个处理器71为例。
该控制器还可以包括:输入装置73和输出装置74。
处理器71、存储器72、输入装置73和输出装置74可以通过总线或者其他方式连接,图4中以通过总线连接为例。
处理器71可以为中央处理器(Central Processing Unit,CPU)。处理器71还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。通用处理器可以是微处理器或者是任何常规的处理器等。
存储器72作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本申请实施例中的网络文本数据的传输方法对应的程序指令/模块。处理器71通过运行存储在存储器72中的非暂态软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例的网络文本数据的传输方法。
存储器72可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外,存储器72可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器72可选包括相对于处理器71远程设置的存储器,这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置73可接收输入的数字或字符信息,以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置74可包括显示屏等显示设备。
一个或者多个模块存储在存储器72中,当被一个或者多个处理器71执行时,执行如图1-2所示的方法。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指示相关的硬件来完成,被执行的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述网络文本数据的传输方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(RandomAccess Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施方式,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (8)

1.一种网络文本数据的传输方法,其特征在于,包括:
评估待传输文本数据的网络文本数据传输的总成本,所述总成本包括数据传输的时间延迟成本、数据延迟的网络费用成本和数据发送接收端的服务器成本;
数据传输的时间延迟成本的计算公式为:
latency_cost = α * Zdata_size/band
其中,latency_cost为数据传输的时间延迟成本,α为延迟的成本系数,α的具体值与业务相关,Zdata_size为网络传输的数据量,band为网络带宽;
数据延迟的网络费用成本的计算公式为:
band_cost = Zdata_size * β
其中,band_cost为数据延迟的网络费用成本,Zdata_size为网络传输的数据量,β为单位数据的传输成本系数,即单位大小数据的所需网络费用;
数据发送接收端的服务器成本的计算公式为:
server_cost = O(n) * γ
其中,server_cost为数据发送接收端的服务器成本,O(n)为压缩算法的压缩比,γ为服务器的成本系数,即解压压缩比为O(n)的单位大小文件所需的服务器费用;
网络文本数据传输的总成本的计算公式为:
Sum_Cost =α * Zdata_size/band+ Zdata_size * β+ O(n) * γ
Zdata_size = Cdata_size / O(n)
其中,Sum_Cost为网络文本数据传输的总成本,Cdata_size为需要传输的数据总量;
根据业务需求确定时间延迟成本;
判断时间延迟成本是否大于预设时间延迟成本;
若时间延迟成本小于或者等于预设时间延迟成本,则对数据延迟的网络费用成本和数据发送接收端的服务器成本进行评估,改变网络文本数据的数据压缩算法;包括:
获取包含多种不同的压缩算法的候选压缩算法列表以及候选压缩列表中每一种候选压缩算法所对应的压缩比和资源复杂度;
将每一种候选压缩算法所对应的资源复杂度折算成每一种候选压缩算法所对应的数据发送接收端的服务器成本系数;
根据每一种候选压缩算法的压缩比和服务器成本系数得到每一种压缩算法所对应的数据延迟的网络费用成本和数据发送接收端的服务器成本;
分别对每一种候选压缩算法的数据延迟的网络费用成本和数据发送接收端的服务器成本进行求和计算,得到每一种候选压缩算法的网络费用成本和服务器成本之和;
将网络费用成本和服务器成本之和的最小值所对应的候选压缩算法作为网络文本数据的新的数据压缩算法;
若数据传输的时间延迟成本大于预设时间延迟成本,则增大网络文本数据所使用的数据压缩算法的压缩比。
2.根据权利要求1所述的网络文本数据的传输方法,其特征在于,增大网络文本数据所使用的数据压缩算法的压缩比的步骤中,包括:
控制发送端获取待传输文本数据并将待传输文本数据发送至发送端压缩器;
控制发送端压缩器根据第一字典库对待传输文本数据进行数据转换,得到文本压缩数据,所述文本压缩数据不包含第一字典库,所述第一字典库为文本压缩算法所用的字典库;
控制发送端web服务获取接收端发送的数据下载请求,从发送端压缩器获取文本压缩数据;
控制发送端web服务将文本压缩数据发送至接收端下载器。
3.根据权利要求2所述的网络文本数据的传输方法,其特征在于,控制发送端web服务将文本压缩数据发送至接收端下载器的步骤之后,还包括:
控制接收端下载器将接收到的文本压缩数据发送至接收端解压器;
控制接收端解压器根据接收端第二字典库对文本压缩数据进行数据解压,得到文本压缩数据的文本解压数据,所述第二字典库为存储在解压端的本地字典库;
将文本解压数据存储至本地数据库。
4.根据权利要求3所述的网络文本数据的传输方法,其特征在于,控制接收端解压器根据数据接收端第二字典库对文本压缩数据进行数据解压,得到文本压缩数据的文本解压数据的步骤中,包括:
控制接收端解压器将文本压缩数据中的字符串与第二字典库进行匹配,得到第二匹配结果;
若第二匹配结果为匹配成功,则控制接收端解压器获取文本压缩数据中匹配到的字符串所对应的字典值,并根据匹配到的字典值得到文本解压数据;
若第二匹配结果为匹配失败,则控制接收端第二字典库向接收端下载器发送未匹配字符串解析请求;
控制接收端下载器接收未匹配字符串解析请求,并向接收端web服务转发未匹配字符串解析请求;
控制接收端web服务访问第一字典库获取未匹配字符串所对应的字典值,并将所述未匹配字符串所对应的字典值发送至接收端下载器;
控制接收端下载器将所述未匹配字符串所对应的字典值添加至第二字典库;
控制第二字典库将所述未匹配字符串所对应的字典值发送至接收端解压器;
控制接收端解压器根据所述未匹配字符串所对应的字典值对文本压缩数据中的未匹配字符串进行解压,得到文本解压数据。
5.根据权利要求2所述的网络文本数据的传输方法,其特征在于,控制发送端压缩器根据第一字典库对待传输文本数据进行数据转换,得到文本压缩数据的步骤中,包括:
控制发送端压缩器将待传输文本数据中的字词与第一字典库进行匹配,得到第一匹配结果;
若第一匹配结果为匹配成功,则将待传输文本数据中的匹配到的字词转换为所对应的字典值;
若第一匹配结果为匹配失败,则根据压缩算法将待传输文本数据中的未匹配到字词转换为字典值,并将未匹配到字词转换后的字典值添加至第一字典库中。
6.一种网络文本数据的传输系统,其特征在于,包括:
评估模块,用于评估待传输文本数据的网络文本数据传输的总成本,所述总成本包括数据传输的时间延迟成本、数据延迟的网络费用成本和数据发送接收端的服务器成本;
数据传输的时间延迟成本的计算公式为:
latency_cost = α * Zdata_size/band
其中,latency_cost为数据传输的时间延迟成本,α为延迟的成本系数,α的具体值与业务相关,Zdata_size为网络传输的数据量,band为网络带宽;
数据延迟的网络费用成本的计算公式为:
band_cost = Zdata_size * β
其中,band_cost为数据延迟的网络费用成本,Zdata_size为网络传输的数据量,β为单位数据的传输成本系数,即单位大小数据的所需网络费用;
数据发送接收端的服务器成本的计算公式为:
server_cost = O(n) * γ
其中,server_cost为数据发送接收端的服务器成本,O(n)为压缩算法的压缩比,γ为服务器的成本系数,即解压压缩比为O(n)的单位大小文件所需的服务器费用;
网络文本数据传输的总成本的计算公式为:
Sum_Cost =α * Zdata_size/band+ Zdata_size * β+ O(n) * γ
Zdata_size = Cdata_size / O(n)
其中,Sum_Cost为网络文本数据传输的总成本,Cdata_size为需要传输的数据总量;
第一处理模块,用于根据业务需求确定时间延迟成本;
判断模块,用于判断时间延迟成本是否大于预设时间延迟成本;
第二处理模块,用于若时间延迟成本小于或者等于预设时间延迟成本,则对数据延迟的网络费用成本和数据发送接收端的服务器成本进行评估,改变网络文本数据的数据压缩算法;包括:
获取包含多种不同的压缩算法的候选压缩算法列表以及候选压缩列表中每一种候选压缩算法所对应的压缩比和资源复杂度;
将每一种候选压缩算法所对应的资源复杂度折算成每一种候选压缩算法所对应的数据发送接收端的服务器成本系数;
根据每一种候选压缩算法的压缩比和服务器成本系数得到每一种压缩算法所对应的数据延迟的网络费用成本和数据发送接收端的服务器成本;
分别对每一种候选压缩算法的数据延迟的网络费用成本和数据发送接收端的服务器成本进行求和计算,得到每一种候选压缩算法的网络费用成本和服务器成本之和;
将网络费用成本和服务器成本之和的最小值所对应的候选压缩算法作为网络文本数据的新的数据压缩算法;
第三处理模块,用于若数据传输的时间延迟成本大于预设时间延迟成本,则增大网络文本数据所使用的数据压缩算法的压缩比。
7.一种电子设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器执行权利要求1-5任意一项所述的网络文本数据的传输方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行权利要求1-5任意一项所述的网络文本数据的传输方法。
CN202110287955.XA 2021-03-17 2021-03-17 网络文本数据的传输方法、系统、电子设备及存储介质 Active CN113067674B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110287955.XA CN113067674B (zh) 2021-03-17 2021-03-17 网络文本数据的传输方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110287955.XA CN113067674B (zh) 2021-03-17 2021-03-17 网络文本数据的传输方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113067674A CN113067674A (zh) 2021-07-02
CN113067674B true CN113067674B (zh) 2022-09-23

Family

ID=76561302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110287955.XA Active CN113067674B (zh) 2021-03-17 2021-03-17 网络文本数据的传输方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113067674B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115914380A (zh) * 2021-08-16 2023-04-04 中国科学院深圳先进技术研究院 基于Zlib压缩算法的云计算资源管理器通信延迟优化方法
CN114363379A (zh) * 2022-01-19 2022-04-15 北京中交兴路信息科技有限公司 车辆数据传输的方法、装置、电子设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106341482A (zh) * 2016-09-22 2017-01-18 江苏赞奇科技股份有限公司 基于文件类型的云渲染混合压缩传输系统与方法
CN110535869A (zh) * 2019-09-05 2019-12-03 厦门市美亚柏科信息股份有限公司 一种基于压缩算法的数据传输方法、终端设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050027731A1 (en) * 2003-07-30 2005-02-03 Daniel Revel Compression dictionaries
US8417833B1 (en) * 2006-11-29 2013-04-09 F5 Networks, Inc. Metacodec for optimizing network data compression based on comparison of write and read rates
US9396069B2 (en) * 2012-09-06 2016-07-19 Empire Technology Development Llc Cost reduction for servicing a client through excess network performance
CN108243022B (zh) * 2016-12-23 2020-06-05 中国移动通信有限公司研究院 一种网络服务消息传输方法、装置、终端及服务器
CN108924205B (zh) * 2018-06-25 2022-09-06 北京旷视科技有限公司 数据传输方法、装置、电子设备、网闸适配器
CN111552669A (zh) * 2020-04-26 2020-08-18 北京达佳互联信息技术有限公司 数据处理方法、装置、计算设备和存储介质
CN111865326B (zh) * 2020-07-14 2023-06-23 北京灵汐科技有限公司 数据压缩方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106341482A (zh) * 2016-09-22 2017-01-18 江苏赞奇科技股份有限公司 基于文件类型的云渲染混合压缩传输系统与方法
CN110535869A (zh) * 2019-09-05 2019-12-03 厦门市美亚柏科信息股份有限公司 一种基于压缩算法的数据传输方法、终端设备及存储介质

Also Published As

Publication number Publication date
CN113067674A (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
US9727574B2 (en) System and method for applying an efficient data compression scheme to URL parameters
CN113067674B (zh) 网络文本数据的传输方法、系统、电子设备及存储介质
CN109831409B (zh) 数据传输方法、装置、计算机可读存储介质及电子设备
KR102175020B1 (ko) 데이터의 소스-인코딩 및 디코딩 디바이스 및 방법
US20150032804A1 (en) Method and server device for exchanging information items with a plurality of client entities
CN108696899B (zh) Sip消息传输与接收方法及传输与接收装置
US20100146112A1 (en) Efficient communication techniques
US7640362B2 (en) Adaptive compression in an edge router
CN112399479B (zh) 用于数据传输的方法、电子设备和存储介质
CN112311720A (zh) 数据的传输方法及装置
CN112995199B (zh) 数据编解码方法、装置、传输系统、终端设备及存储介质
WO2022063058A1 (zh) 基于netconf协议的传输方法、设备及存储介质
WO2021111456A1 (en) Moderator for identifying deficient nodes in federated learning
TWI673983B (zh) 一種資料壓縮傳輸方法和系統、及其終端和伺服器
CN112929704B (zh) 数据传输方法、装置、电子设备以及存储介质
US8473428B2 (en) Generation and use of specific probability tables for arithmetic coding in data compression systems
CN115499506B (zh) 一种基于lzw算法的mqtt信息传输数据压缩方法及服务器
CN113518088B (zh) 数据处理方法、装置、服务器、客户端和介质
WO2020259704A1 (zh) 一种用于电子设备的数据压缩、数据解压方法及电子设备
US11804853B2 (en) Real-time history-based byte stream compression
CN108011952B (zh) 一种获取压缩字典的方法和装置
US11086822B1 (en) Application-based compression
US7629901B1 (en) Mechanism for modeling escape counts in adaptive compression models
CN112769730B (zh) 一种页面压缩方法、装置、客户端及服务端
CN112650601B (zh) 跨宿主打开小程序的方法、装置、设备、存储介质和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant