CN104270454A - 一种基于数据传输优化系统的cdn动态应用加速方法 - Google Patents
一种基于数据传输优化系统的cdn动态应用加速方法 Download PDFInfo
- Publication number
- CN104270454A CN104270454A CN201410538894.XA CN201410538894A CN104270454A CN 104270454 A CN104270454 A CN 104270454A CN 201410538894 A CN201410538894 A CN 201410538894A CN 104270454 A CN104270454 A CN 104270454A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- pointer
- cdn
- data block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
- H04L67/5651—Reducing the amount or size of exchanged application data
Abstract
本发明公开了一种基于数据传输优化系统的CDN动态应用加速方法，属于CDN技术领域，所述系统包括数据分段模块、数据指针化模块、数据压缩模块和数据重构与恢复模块四种模块，数据进入数据分段模块，数据分段模块将数据分段成多个数据块，数据指针化模块将各个数据块生成对应的数据指针，判断数据指针对应的数据块内容是否为重复内容，若不是该数据块进入所述数据压缩模块进行压缩，经过压缩处理后数据块进入所述数据重构与恢复模块进行重构恢复，数据最终交至客户端，通过四种模块的相互协作，将重复数据删除不再发送，将非重复数据压缩后再传输再次减少了传输数据量，提高数据传输效率，最终提高CDN动态内容传输速度。
Description
技术领域
本发明涉及CDN技术领域，具体是涉及一种基于数据传输优化系统的CDN动态应用加速方法。
背景技术
CDN是为互联网上的应用服务的，它伴随着互联网的发展而逐步成长。网页加速是最早出现的CDN服务类型，伴随着第一次互联网大浪潮，大量网站的涌现，而当时用户以窄带接入为主，网页的内容也主要以文字、图片、动画等形式为主，支持文本方式的电子邮件交互，因此CDN技术最初的应用重点就是用来对网页的静态内容进行加速。这类网页加速服务主要面向各类门户网站、新闻发布类网站、访问量较大的行业网站政府机构网站和企业门户网站等。
随着Web2.0的兴起和互联网应用的丰富，网页加速也逐渐从静态内容加速向动态内容加速快速发展，用以支持股票行情、电子商务、在线游戏等网站的动态内容加速。动态内容的提供不仅仅是HTML页面的设计和编辑，它还需要有后台数据库和应用逻辑程序的支持，以实现与用户的动态交互。但是传统的静态内容加速方法并不适用于动态内容加速方法。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种从数据对象本身出发的、提高数据传输速度的基于数据传输优化系统的CDN动态应用加速方法。
技术方案：为实现上述目的，本发明的一种基于数据传输优化系统的CDN动态应用加速方法，提供数据传输优化系统，所述系统包括以下四种模块：
数据分段模块，用于将数据分成一个个小的数据块；
数据指针化模块，用于生成各个数据块对应的数据指针；
数据压缩模块，用于将数据进行压缩；
数据重构与恢复模块，用于读数据进行重构和恢复；
所述方法包括以下步骤：
（1）客户端发出请求至服务器；
（2）所述服务器响应所述客户端发出的请求并开始传输数据；
（3）数据进入所述数据分段模块，所述数据分段模块将所述数据分段成多个数据块；
（4）多个数据快进入所述数据指针化模块，所述数据指针化模块将各个数据块生成对应的数据指针；
（5）判断数据指针对应的数据块内容是否为重复内容，如果是，传输该数据块对应的数据指针，如果不是，进入步骤（6）；
（6）该数据块进入所述数据压缩模块，所述数据压缩模块对数据块进行压缩处理；
（7）经过压缩处理后数据块进入所述数据重构与恢复模块，所述数据重构与恢复模块对该数据块进行重构恢复，经过重构恢复后的数据最终交至客户端。
有益效果：本发明的一种基于数据传输优化系统的CDN动态应用加速方法，采用数据分段模块、数据指针化模块、数据压缩模块和数据重构与恢复模块四种模块，四种模块相互协作对需要缓存的数据进行分段并生成对应的指针，对于重复数据进行删除不再发送，对非重复数据进行压缩后再传输从而减少了传输的数据量，提高了数据传输效率。
附图说明
图1为基于数据传输优化系统的CDN动态应用加速方法流程图。
具体实施方式
下面结合附图和实施例对本发明作更进一步的说明。
参见图1，本发明的一种基于数据传输优化系统的CDN动态应用加速方法，提供数据传输优化系统，所述系统包括以下四种模块：
数据分段模块，用于将数据分成一个个小的数据块；
数据指针化模块，用于生成各个数据块对应的数据指针；
数据压缩模块，用于将数据进行压缩；
数据重构与恢复模块，用于读数据进行重构和恢复；
所述方法包括以下步骤：
（1）客户端发出请求至服务器；
（2）所述服务器响应所述客户端发出的请求并开始传输数据；
（3）数据进入所述数据分段模块，所述数据分段模块将所述数据分段成多个数据块；
（4）多个数据快进入所述数据指针化模块，所述数据指针化模块将各个数据块生成对应的数据指针；
（5）判断数据指针对应的数据块内容是否为重复内容，如果是，传输该数据块对应的数据指针，如果不是，进入步骤（6）；
（6）该数据块进入所述数据压缩模块，所述数据压缩模块对数据块进行压缩处理；
（7）经过压缩处理后数据块进入所述数据重构与恢复模块，所述数据重构与恢复模块对该数据块进行重构恢复，经过重构恢复后的数据最终交至客户端。
在本发明实施例中，本发明从提高动态内容的传输速度考虑，通过引用数据传输优化系统对数据传输进行优化，进一步提高动态内容的传输速度。在服务器和客户端中间构建一个虚拟数据传输优化系统，当客户端向服务器发出请求时，该请求被直接传至服务器，服务器对客户端的请求作出响应，服务器并且针对客户端的请求开始发送数据；数据在发送的过程中再经过数据传输优化系统进行相关的处理，首先是由数据分段模块将传输的数据分成一个个小的数据块，便于后续的数据对比使用，数据被分成多个小的数据块以后，数据指针化模块再对多个小的数据块进行相应的处理，数据指针化模块将每个小的数据块都生成与该数据块对应的数据指针，将小的数据块内容与缓存中的数据进行对比，找出重复数据，如果是重复数据不发送重复数据，只传输指针，数据指针的数据容量远比数据块的数据容量大，如果是新鲜内容，需要传输数据，这种机制使得链路上只传输发生了变化的内容，有效地减少了数据传输量；对于新的内容数据经过数据压缩模块进行压缩，压缩后的数据进行传输，又进一步减少了数据传输量；
优选的，所述数据指针化模块采用层次化的数据指针，可以做到用16字节的指针代表上兆字节的数据，进一步减少数据传输量；
优选的，所述数据压缩模块对数据进行压缩时控制压缩和解压缩时间，在压缩算法设计上，要求同时兼顾数据压缩比和压缩/解业所时间，既要有效压缩，又要避免压缩和解压缩带来的额外延时。
优选的，当所述服务器中的数据发生更新时，所述服务器将数据更新操作和响应请求操作进行隔离，将数据更新操作发送至源站数据库上。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (4)
1.一种基于数据传输优化系统的CDN动态应用加速方法，其特征在于：提供数据传输优化系统，所述系统包括以下四种模块：
数据分段模块，用于将数据分成一个个小的数据块；
数据指针化模块，用于生成各个数据块对应的数据指针；
数据压缩模块，用于将数据进行压缩；
数据重构与恢复模块，用于读数据进行重构和恢复；
所述方法包括以下步骤：
（1）客户端发出请求至服务器；
（2）所述服务器响应所述客户端发出的请求并开始传输数据；
（3）数据进入所述数据分段模块，所述数据分段模块将所述数据分段成多个数据块；
（4）多个数据快进入所述数据指针化模块，所述数据指针化模块将各个数据块生成对应的数据指针；
（5）判断数据指针对应的数据块内容是否为重复内容，如果是，传输该数据块对应的数据指针，如果不是，进入步骤（6）；
（6）该数据块进入所述数据压缩模块，所述数据压缩模块对数据块进行压缩处理；
（7）经过压缩处理后数据块进入所述数据重构与恢复模块，所述数据重构与恢复模块对该数据块进行重构恢复，经过重构恢复后的数据最终交至客户端。
2.根据权利要求1所述的一种基于数据传输优化系统的CDN动态应用加速方法，其特征在于：所述数据指针化模块采用层次化的数据指针。
3.根据权利要求2所述的一种基于数据传输优化系统的CDN动态应用加速方法，其特征在于：所述数据压缩模块对数据进行压缩时控制压缩和解压缩时间。
4.根据权利要求3所述的一种基于数据传输优化系统的CDN动态应用加速方法，其特征在于：当所述服务器中的数据发生更新时，所述服务器将数据更新操作和响应请求操作进行隔离，将数据更新操作发送至源站数据库上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410538894.XA CN104270454A (zh) | 2014-10-14 | 2014-10-14 | 一种基于数据传输优化系统的cdn动态应用加速方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410538894.XA CN104270454A (zh) | 2014-10-14 | 2014-10-14 | 一种基于数据传输优化系统的cdn动态应用加速方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104270454A true CN104270454A (zh) | 2015-01-07 |
Family
ID=52161943
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410538894.XA Pending CN104270454A (zh) | 2014-10-14 | 2014-10-14 | 一种基于数据传输优化系统的cdn动态应用加速方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104270454A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104735094A (zh) * | 2015-04-21 | 2015-06-24 | 南京伍安信息科技有限公司 | 基于信息分离的数据安全传输系统及方法 |
| CN104753815A (zh) * | 2015-03-24 | 2015-07-01 | 网宿科技股份有限公司 | 一种基于流缓存的透明传输加速网络以及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722583A (zh) * | 2012-06-07 | 2012-10-10 | 无锡众志和达存储技术有限公司 | 重复数据删除硬件加速装置和方法 |
| CN102736961A (zh) * | 2011-03-11 | 2012-10-17 | 微软公司 | 数据去重复的备份和还原策略 |
| CN103532817A (zh) * | 2013-10-12 | 2014-01-22 | 无锡云捷科技有限公司 | 一种cdn动态加速的系统及方法 |
| CN103873438A (zh) * | 2012-12-12 | 2014-06-18 | 鸿富锦精密工业（深圳）有限公司 | 压缩包上传去重系统及方法 |
| CN104011701A (zh) * | 2011-12-14 | 2014-08-27 | 第三雷沃通讯有限责任公司 | 内容传送网络 |
-
2014
- 2014-10-14 CN CN201410538894.XA patent/CN104270454A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102736961A (zh) * | 2011-03-11 | 2012-10-17 | 微软公司 | 数据去重复的备份和还原策略 |
| CN104011701A (zh) * | 2011-12-14 | 2014-08-27 | 第三雷沃通讯有限责任公司 | 内容传送网络 |
| CN102722583A (zh) * | 2012-06-07 | 2012-10-10 | 无锡众志和达存储技术有限公司 | 重复数据删除硬件加速装置和方法 |
| CN103873438A (zh) * | 2012-12-12 | 2014-06-18 | 鸿富锦精密工业（深圳）有限公司 | 压缩包上传去重系统及方法 |
| CN103532817A (zh) * | 2013-10-12 | 2014-01-22 | 无锡云捷科技有限公司 | 一种cdn动态加速的系统及方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104753815A (zh) * | 2015-03-24 | 2015-07-01 | 网宿科技股份有限公司 | 一种基于流缓存的透明传输加速网络以及方法 |
| CN104735094A (zh) * | 2015-04-21 | 2015-06-24 | 南京伍安信息科技有限公司 | 基于信息分离的数据安全传输系统及方法 |
| CN104735094B (zh) * | 2015-04-21 | 2018-02-27 | 南京伍安信息科技有限公司 | 基于信息分离的数据安全传输系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8639753B1 (en) | Methods and apparatus for increasing the efficiency of electronic data storage and transmission | |
| CN102841901B (zh) | 一种网页显示的方法和装置 | |
| CN102684827B (zh) | 数据处理方法及数据处理设备 | |
| WO2021052058A1 (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN107196998B (zh) | 基于数据去重的移动Web请求处理方法、设备及系统 | |
| CN103034658A (zh) | 一种数据查询和报表导出的方法及系统 | |
| CN101807207A (zh) | 一种基于内容差异比较的文档共享方法 | |
| CN111339192A (zh) | 一种分布式边缘计算数据存储系统 | |
| CN111694800B (zh) | 一种提升数据同步性能的方法和数据同步系统 | |
| CN103488732A (zh) | 一种静态页面生成方法及装置 | |
| CN103678694A (zh) | 视频资源的倒排索引文件建立方法及其系统 | |
| CN104768079A (zh) | 多媒体资源分发方法、装置及系统 | |
| CN104462224A (zh) | 一种云盘文件在线编辑方法 | |
| CN104917786A (zh) | 一种节省客户端和服务器交互时的传输流量的方法和模块 | |
| CN102023978B (zh) | 一种海量数据处理方法及系统 | |
| CN105450712A (zh) | 一种数据传输方法及装置 | |
| CN103428494A (zh) | 基于云计算平台的图像序列编码及恢复方法 | |
| CN102437894B (zh) | 用于对待发送信息进行压缩处理的方法、装置及设备 | |
| CN112035563A (zh) | 一种基于共享存储的实时数据库系统 | |
| CN104270454A (zh) | 一种基于数据传输优化系统的cdn动态应用加速方法 | |
| CN105791366A (zh) | 一种大文件HTTP-Range 下载方法、缓存服务器及系统 | |
| CN102521299A (zh) | 资源描述框架数据的处理方法 | |
| CN102497450A (zh) | 一种基于两级体系的分布式数据压缩处理方法 | |
| CN104516764B (zh) | 压缩文件动态打包方法及系统 | |
| CN205899536U (zh) | 一种基于瓦片地图的地理信息服务系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150107 |