CN105530297A - 一种网页资源包上传方法和装置 - Google Patents

一种网页资源包上传方法和装置 Download PDF

Info

Publication number
CN105530297A
CN105530297A CN201510921170.8A CN201510921170A CN105530297A CN 105530297 A CN105530297 A CN 105530297A CN 201510921170 A CN201510921170 A CN 201510921170A CN 105530297 A CN105530297 A CN 105530297A
Authority
CN
China
Prior art keywords
picture
web page
page resources
address
network service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510921170.8A
Other languages
English (en)
Other versions
CN105530297B (zh
Inventor
冯鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201510921170.8A priority Critical patent/CN105530297B/zh
Publication of CN105530297A publication Critical patent/CN105530297A/zh
Application granted granted Critical
Publication of CN105530297B publication Critical patent/CN105530297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/565Conversion or adaptation of application format or content
    • H04L67/5651Reducing the amount or size of exchanged application data

Abstract

本发明实施例提供了一种网页资源包上传方法,涉及计算机技术领域。所述方法包括:获取网页资源包;将所述网页资源包中引用的相同图片的第一图片地址进行归一化;将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器;将所述网页资源包中各第一图片地址替换为相应图片在内容分发网络服务器中的第二图片地址;将替换了第一图片地址后的网页资源包上传至内容分发网络服务器。本发明解决了现有技术对于相同的图片,则会浪费CDN服务器的空间等问题,取得了降低CDN服务器中的图片重复率,提高了CDN服务器空间利用率的有益效果。

Description

一种网页资源包上传方法和装置
技术领域
本发明涉及计算机技术领域,特别是涉及一种网页资源包上传方法和一种网页资源包上传装置。
背景技术
随着网络的发展,网络与人们的生活越来越密不可分。例如,人们可以通过网络进行查找资料、购物、交流等活动。在实际应用中,用户通过客户端发送网页访问请求至Web服务器,Web服务器则会根据接收的网页访问请求,返回相应的网页源代码给客户端,客户端根据网页源代码调用显示网页所需的各种文件和图片等,然后将网页显示在客户端以供用户浏览。
一般用以支撑一个网页的源代码可能依赖多个JavaScript文件、CSS(CascadingstyleSheets,层叠样式表单)文件等网页资源包。在直播网页中,为了网页可以快速被用户访问,这些网页资源包需要上传到CDN(ContentDeliveryNetwork,内容分发网络)服务器中。而这些网页资源包可能由不同的开发人员开发,各个网页资源包也可能引用相同的图片,那么将这些网页资源包上传至CDN服务器中时,图片也需要上传至CDN服务器中,那么对于相同的图片,则会浪费CDN服务器的空间。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的网页资源包上传方法和相应的网页资源包上传装置。
依据本发明的一个方面,提供了一种网页资源包上传方法,包括:
获取网页资源包;
将所述网页资源包中引用的相同图片的第一图片地址进行归一化;
将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器;
将所述网页资源包中各第一图片地址替换为相应图片在内容分发网络服务器中的第二图片地址;
将替换了第一图片地址后的网页资源包上传至内容分发网络服务器。
优选地,所述将所述网页资源包中引用的相同图片的第一图片地址进行归一化的步骤,包括:
对于各网页资源包,获取所述网页资源包中各第一图片地址对应的图片,并将所述图片进行归一化。
优选地,所述将所述图片进行归一化的步骤,包括:
计算各图片的MD5值;
将相同MD5值的图片进行归一化。
优选地,所述将所述网页资源包中引用的相同图片的第一图片地址进行归一化的步骤,包括:
对于各网页资源包,将所述网页资源包中各第一图片地址,按第一图片地址进行归一化。
优选地,所述对于各网页资源包,将所述网页资源包中各第一图片地址,按第一图片地址进行归一化的步骤包括:
逐行读取所述网页资源包中的代码,判断是否有包括图片格式的路径信息;
如果有包括图片格式的路径信息,则确认所述包括图片格式的路径信息为第一图片地址并进行记录;
对于记录的各路径信息,将相同的路径信息归一化为一个路径信息。
优选地,所述对于记录的各路径信息,将相同的路径信息归一化为一个路径信息的步骤,包括:
对于记录的各路径信息,计算各路径信息的MD5值;
将MD5值相同的路径信息,归一化为一个路径信息。
优选地,在将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器之后,还包括:
内容分发网络服务器对于接收到的各图片,判断内容分发网络服务器本地是否存在相同的图片;
如果存在相同的图片,则不存储当前接收到的相应的图片;
如果不存在相同的图片,则存储当前接收到的相应的图片。
优选地,所述内容分发网络服务器对于接收到的各图片,判断内容分发网络服务器本地是否存在相同的图片的步骤,包括:
计算接收到的各图片的MD5值;
计算本地已存的图片的MD5值;
将接收到的各图片的MD5值,与本地已存的图片的MD5值进行匹配;
当出现相同的MD5值时,则进入不存储当前接收到的相应的图片的步骤;
当未出现相同的MD5值时,则进入存储当前接收到的相应的图片的步骤。
优选地,所述图片格式包括:jpg图片格式、和/或PNG图片格式。
优选地,所述网页资源包中包括JavaScript组合资源包;所述JavaScript组合资源包是通过打包工具将多个JavaScript资源包合并获得。
根据本发明的另一方面,提供了一种网页资源包上传装置,包括:
资源包获取模块,适于获取网页资源包;
归一化模块,将所述网页资源包中引用的相同图片的第一图片地址进行归一化;
图片上传模块,适于将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器;
地址替换模块,适于将所述网页资源包中各第一图片地址替换为相应图片在内容分发网络服务器中的第二图片地址;
资源包上传模块,适于将替换了第一图片地址后的网页资源包上传至内容分发网络服务器。
优选地,所述归一化模块,包括:
图片归一化子模块,适于对于各网页资源包,获取所述网页资源包中各第一图片地址对应的图片;将所述图片进行归一化。
优选地,所述图片归一化子模块,包括:
图片MD5值计算子模块,适于计算各图片的MD5值;
第一图片归一化子模块,适于将相同MD5值的图片进行归一化。
优选地,所述归一化模块,包括:
第一图片地址归一化子模块,适于对于各网页资源包,将所述网页资源包中各第一图片地址,按第一图片地址进行归一化。
优选地,所述第一图片地址归一化子模块包括:
路径信息判断子模块,适于逐行读取所述网页资源包中的代码,判断是否有包括图片格式的路径信息;
路径信息记录子模块,适于如果有包括图片格式的路径信息,则确认所述包括图片格式的路径信息为第一图片地址并进行记录;
路径信息归一化子模块,适于对于记录的各路径信息,将相同的路径信息归一化为一个路径信息。
优选地,所述路径信息归一化子模块,包括:
路径信息MD5值计算子模块,适于对于记录的各路径信息,计算各路径信息的MD5值;
第一路径信息归一化子模块,适于将MD5值相同的路径信息,归一化为一个路径信息。
优选地,在内容分发网络服务器中,还包括:
图片判断模块,适于对于接收到的各图片,判断内容分发网络服务器本地是否存在相同的图片;如果存在相同的图片,则不存储当前接收到的相应的图片;如果不存在相同的图片,则存储当前接收到的相应的图片。
优选地,所述图片判断模块,包括:
第一图片MD5值计算子模块,适于计算接收到的各图片的MD5值;
第二图片MD5值计算子模块,适于计算本地已存的图片的MD5值;
MD5值匹配子模块,适于将接收到的各图片的MD5值,与本地已存的图片的MD5值进行匹配;当出现相同的MD5值时,则不存储当前接收到的相应的图片;当未出现相同的MD5值时,则存储当前接收到的相应的图片。
优选地,所述图片格式包括:jpg图片格式、和/或PNG图片格式。
优选地,所述网页资源包中包括JavaScript组合资源包;所述JavaScript组合资源包是通过打包工具将多个JavaScript资源包合并获得。
根据本发明的另一方面,提供了一种网页资源包上传设备,包括:
存储器,加载有多条可执行指令;
处理器,执行所述多条可执行指令;所述多条可执行指令包括执行以下步骤的方法:
获取网页资源包;
将所述网页资源包中引用的相同图片的第一图片地址进行归一化;
将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器;
将所述网页资源包中各第一图片地址替换为相应图片在内容分发网络服务器中的第二图片地址;
将替换了第一图片地址后的网页资源包上传至内容分发网络服务器。
根据本发明的一种网页资源包上传方法可以将网页源代码中图片地址进行归一化,然后将网页资源包中各图片地址替换为相应图片在内容分发网络服务器中的图片地址,将归一化后的各图片地址对应的图片和替换了图片地址后的网页资源包上传至内容分发网络服务器,由此解决了对于相同的图片,则会浪费CDN服务器的空间等问题,取得了降低CDN服务器中的图片重复率,提高了CDN服务器空间利用率的有益效果。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的一种网页资源包上传方法实施例的步骤流程图;
图2示出了根据本发明一个实施例的一种网页资源包上传方法实施例的步骤流程图;
图3示出了根据本发明一个实施例的一种网页资源包上传方法实施例的步骤流程图;
图4示出了根据本发明一个实施例的一种网页资源包上传装置实施例的结构框图;
图5示出了根据本发明一个实施例的一种网页资源包上传装置实施例的结构框图;
图6示出了根据本发明一个实施例的一种网页资源包上传装置实施例的结构框图;及
图7示出了根据本发明一个实施例的一种网页资源包上传设备实施例的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
参照图1,示出了根据本发明一个实施例的一种网页资源包上传方法实施例的步骤流程图,具体可以包括如下步骤:
步骤S110,获取网页资源包。
在实际应用中,用户若要访问某一网页,可以通过客户端发送网页访问请求至Web服务器,Web服务器在接收到网页访问请求后可以根据网页访问请求的内容相应地返回HTML(HyperTextMarkupLanguage,超文本标记语言)代码给客户端。浏览器解析该HTML代码时,需要加载相应的网页资源包,比如JS(JavaScript)文件、CSS文件等。而执行这些网页资源包时,需要加载其中引用的图片。
对于直播网页,为了使用户可以快速访问网页资源包,降低延迟,上述网页资源包在HTML代码上线之前需要将这些网页资源包上传至CDN服务器中。
而实际中各网页资源包可能由不同的开发者开发,那么本发明实施例则获取这些开发者开发的网页资源包。
在本发明实施例中,由上传客户端获取这些网页资源包。
其中的JavaScript文件是网页前台脚本文件,JavaScript是一种解释型的、基于对象的脚本语言。CSS文件是层叠样式表单文件,CSS是用于控制网页样式并允许将样式信息与网页内容分离的一种标记性语言。
优选的,所述网页资源包中包括JavaScript组合资源包;所述JavaScript组合资源包是通过打包工具将多个JavaScript资源包合并获得。
在本发明实施例中,可以利用Webpack等打包软件,将网页请求所需的多个JavaScript资源包,或者全部JavaScript资源包合并成一个JavaScript组合资源包,然后将JavaScript组合资源包作为一个网页资源包。如此,客户端发送一次请求可以获取该JavaScript组合资源包,从而可以获取其依赖的各种JavaScript资源包,从而可以减少客户端请求调用JavaScript资源包的次数,进而提高网页请求的响应速度。
当然,对于将JavaScript资源包的打包为JavaScript组合资源包的方式,可以有很多方式,对此,本发明实施例不做限定。
当然,实际应用中,在网页的HTML代码中,可以设置一个<script>标签,引用该JavaScript组合资源包。从而客户端在获得HTML代码,对其进行解析时,向CDN服务器发送一次请求即可获取JavaScript组合资源包,然后进行加载。
步骤S120,将所述网页资源包中引用的相同图片的第一图片地址进行归一化。
在网页资源包中,可能会在多个不同的代码中调用同样的图片,则在网页资源包中,会相应存在多个对应同样图片的第一图片地址。
特别是对于不同的开发者开发的不同的网页资源包,其引用的可能是同一个资源数据库中的图片,比如网页资源包A在第10行、100行、200行中引用的图片abc的第一图片地址如E:\mysql\tupia\abc.jpg。三个位置引用的图片的地址是相同的。
为了尽量减少最终上传至内容分发网络服务器的数据量,在本发明实施例中,会将所述网页资源包中引用的相同图片的第一图片地址进行归一化。
当然,也可能同一图片abc,存储在不同的第一图片地址,比如可能存了量个地址,如E:\mysql\tupia\abc.jpg,和E:\mysql\ziyuan\tu\abc.jpg。网页资源包A在第10行、100行引用了E:\mysql\tupia\abc.jpg,而在200行引用了E:\mysql\ziyuan\tu\abc.jpg。那么由于该三个位置的引用都是针对同一图片,则可以将其归一化为一个第一图片地址,比如选择E:\mysql\tupia\abc.jpg或者E:\mysql\ziyuan\tu\abc.jpg。
在本发明实施例中,由上传客户端执行上述归一化的过程。
步骤S130,将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器。
在先技术中,若要将未归一化前的各第一图片地址对应的图片上传至内容分发网络服务器,则对于其中对应同样图片的多个不同第一图片地址,会将同样的图片重复上传多次,会占用不必要的存储空间。
所以在本发明实施例中,将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器,则最终上传至内容分发网络服务器的图片互不相同,不会造成存储空间的浪费。
在本发明实施例中,由上传客户端执行上述上传过程。
步骤S140,将所述网页资源包中各第一图片地址替换为相应图片在内容分发网络服务器中的第二图片地址。
在网络直播环境中,由于直播的时效性,为了使用户尽快获取到网络资源,而不用通过很长的路由环境获取到网络资源,需要把网络资源包、图片等上传到CDN服务器,那么用户的客户端在访问直播页面后,可以不从web服务器获取网络资源,而直接从CDN服务器获取资源,从而可以保证直播网页的及时性。
将归一化后的各第一图片地址对应的图片上传至CDN服务器后,内容分发网络服务器存储该图片后,会得到相应的存储地址,在本发明实施例中,将CDN服务器存储该图片的存储地址称为第二图片地址。然后CDN服务器将该第二图片地址返回给上述上传客户端。然后即可将所述网页资源包中各第一图片地址替换为上述第二图片地址。
在本发明实施例中,将网页资源包中各第一图片地址替换为相应图片在CDN服务器中的第二图片地址,则可以将网页资源包中的各第一图片地址与存储与内容分发网络服务器中的图片建立对应关系,且替换后的网页资源包中对应同样图片的第二图片地址也一样。
例如,假设步骤S120中所述的图片P在CDN服务器内容中的第二图片地址为地址S,则用地址S替换网页资源包中对应图片P的各第一图片地址:地址1、地址2和地址3,最终,在网页资源包中的对应图片P的地址均为地址S。
步骤S150,将替换了第一图片地址后的网页资源包上传至内容分发网络服务器。
在实际应用中,在上传客户端侧,会记录上传的图片名称、归一化之前的第一图片地址之间的对应关系。CDN服务器将上传客户端的图片存储之后,会将第二图片地址和图片名称返回上传客户端。那么,上传客户端则可以根据第二图片地址和图片名称的对应关系,图片名称、归一化之前的第一图片地址的对应关系,将第一图片地址替换为第二图片地址。
将经过步骤S140处理后的网页资源包上传至内容分发网络服务器,若用户端发送请求访问网页资源包对应的网页时,则可以直接调用CDN服务器中的网页资源包,且网页资源包又可以相应地根据第二图片地址调用已上传至CDN服务器中图片,进而可以将对应的网页展示给用户端。
在本发明实施例中,将网页对应的网页资源包中引用的相同图片的第一图片地址进行归一化,并将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器,然后将所述网页资源包中各第一图片地址替换为相应图片在内容分发网络服务器中的第二图片地址,并将替换了第一图片地址后的网页资源包上传至内容分发网络服务器,从而降低了上传至内容分发网络服务器图片的重复率,提高了内容分发网络服务器存储空间的利用率。
实施例二
参照图2,示出了根据本发明一个实施例的一种网页资源包上传方法实施例的步骤流程图,具体可以包括如下步骤:
步骤S210,上传客户端获取网页资源包。
该网页资源包包括JavaScript组合资源包;所述JavaScript组合资源包是通过打包工具将多个JavaScript资源包合并获得。
步骤S220,上传客户端对于各网页资源包,获取所述网页资源包中各第一图片地址对应的图片,并将所述图片进行归一化。
在本发明实施例中,对于各个网络资源包,可以遍历其中的每行代码,逐个根据网络资源包中各图片在本地的服务器中的第一图片地址,获取图片暂存到上传客户端中;然后对这些暂存的图片进行归一化,相同的图片只存一份。
优选的,步骤S220,具体包括:
子步骤S221,计算各图片的MD5值。
其中的MD5是Message-DigestAlgorithm5,信息摘要算法5。MD5可以将整个文件当作一个大文本信息,也可以针对一段字符串,通过其不可逆的字符串变换算法,计算出这个文件或字符串唯一的MD5值。由此可见MD5值具有唯一性。
对于图片而言,MD5值的唯一性具体是指,不同图片的MD5值是唯一且互不相同的,而同样图片的MD5值是一样的。
在实际应用中,可以利用MD5值计算器,如完美MD5计算器等,计算各路经信息的MD5值。当然,也可以采用其他的算法对图片进行归一化,本发明实施例不对其加以限制。。
子步骤S222,将相同MD5值的图片进行归一化。
由MD5值的唯一性,所以可以利用图片的MD5值将图片进行归一化,具体为对于MD5相同的各图片,只保留其中一个图片。在本发明实施例中,可以选择保留首次计算出MD5值的图片,而不保留重复计算出MD5值的图片。当然,对于归一化可以有很多种具体方式,对此,本发明不加以限定。
例如,经步骤S221计算出的各图片的MD5值如表(1):
图片 MD5值
图片1 0ca175b9c0f726a831d895e269332461
图片2 0eerq874t97qdhsyhc1d895eu945985d
图片3 5u99w4hfsiyt9wy5tw909r0q4q4vt850
图片4 0ca175b9c0f726a831d895e269332461
可见图片1和图片4的MD5相同,则在本发明实施例中,对上述图片归一化处理,归一化后的图片可以为图片1、图片2、图片3。当然,也可以为图片2、图片3、图片4。
步骤S230,上传客户端将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器。
在本发明实施例中,上传客户端执行步骤S210-S230。
步骤S240,内容分发网络服务器对于接收到的各图片,判断内容分发网络服务器本地是否存在相同的图片;如果存在相同的图片,则进入步骤S250;如果不存在相同的图片,则进入步骤S260。
在CDN服务器接收到上传客户端上传的图片后,则会判断本地已有的图片中是否已经存在与接收到的图片中相同的图片,如果存在,则进入步骤S250,如果不存在则进入步骤S260。
优选的,步骤S240,具体包括:
子步骤S241,计算接收到的各图片的MD5值。
子步骤S242,计算本地已存的图片的MD5值。
在实际应用中,内容分发网络服务器中会存储很多网页对应的资源包以及图片。在本发明实施例中,为了避免当前内容分发网络服务器接收到的图片与其本地已存的图片重复,可以利用MD5值的唯一性,分别将接收到的各图片的MD5值与本地已存的图片的MD5值作比较。
首先,需要计算接收到的各图片的MD5值和本地已存的图片的MD5值。在本发明实施例中,同样可以利用上述的MD5值计算器,如完美MD5计算器等计算各图片的MD5值,当然也可以利用其它方式计算各图片的MD5值,对此,本发明不加以限定。
例如,计算接收到的各图片的MD5值如表(2)所示:
图片 MD5值
图片1 0ca175b9c0f726a831d895e269332461
图片2 0eerq874t97qdhsyhc1d895eu945985d
图片3 5u99w4hfsiyt9wy5tw909r0q4q4vt850
表(2)
子步骤S243,将接收到的各图片的MD5值,与本地已存的图片的MD5值进行匹配;当出现相同的MD5值时,则进入步骤S250;当未出现相同的MD5值时,则进入步骤S260。
对于接收到的各图片,若其中有图片的MD5值与内容分发网络服务器本地已存的某图片的MD5值相同,则表明该图片与内容分发网络服务器本地已存某图片相同,则不需要重复将该图片再次存入内容分发网络服务器中;而若接收到的图片的MD5值与内容分发网络服务器本地已存图片的MD5值均不相同,则表明该图片不存在于内容分发网络服务器中,所以需要将该图片存入内容分发网络服务器中。
例如,对于上述的接收到的各图片的MD5值,假设计算出的本地已存图片的MD5值中包含其中的0eerq874t97qdhsyhc1d895eu945985d。
则将图片1和图片3对应的MD5值与本地已存的图片的MD5值进行匹配时,不会出现相同的MD5值,因此会存储图片1和图片3;而图片2对应的MD5值与本地已存的图片的MD5值进行匹配时,则会出现相同的MD5值,因此不会存储图片2。
即对于本次接收的各图片,最终内容分发网络服务器会存储图片1和图片3,而不会存储图片2。
步骤S250,不存储当前接收到的相应的图片。
本发明实施例中,于与本地已有的图片相同的新接收到的图片,CDN服务器则不存储。
在本发明实施例中,CDN服务器对于该不存储的图片,将本地的该图片的第二图片地址返回给上传客户端。
步骤S260,存储当前接收到的相应的图片。
本发明实施例中,于与本地已有的图片不同的新接收到的图片,CDN服务器则存储。
在本发明实施例中,CDN服务器对于该存储的图片,将得到的该图片的第二图片地址返回给上传客户端。
在本发明实施例中,CDN服务器执行步骤S240-S260。
步骤S270,上传客户端将所述网页资源包中各第一图片地址替换为相应图片在内容分发网络服务器中的第二图片地址。
例如,对于步骤S240中所述的图片1、图片2和图片3。其中不会被内容分发网络服务器存储的图片2,在内容分发网络服务器必然有一图片的MD5值与该图片2的MD5值匹配,假设内容分发网络服务器的图片为图片x,则会将图片x的地址作为图片2的第二图片地址,然后在网页资源包中相应地找到与图片2对应的第一图片地址,并用第二图片地址替换掉第一图片地址;而其中会被内容分发网络服务器存储的图片1和图片3,则会直接分别将图片1和图片3存储在内容分发网络服务器中的地址作为图片1和图片3的第二图片地址。
然后,在上传客户端中,则可以将网络资源包中的第一图片地址替换为相应图片的第二图片地址。
步骤S280,上传客户端将替换了第一图片地址后的网页资源包上传至内容分发网络服务器。
在本发明实施例中,上传客户端还执行步骤S270-S280。
在本发明实施例中,对于与实施例一类似的步骤,不再赘述。
在本发明实施例中,同样将网页对应的网页资源包中引用的相同图片的第一图片地址进行归一化,并将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器,然后将所述网页资源包中各第一图片地址替换为相应图片在内容分发网络服务器中的第二图片地址,并将替换了第一图片地址后的网页资源包上传至内容分发网络服务器,从而降低了上传至内容分发网络服务器图片的重复率,提高了内容分发网络服务器存储空间的利用率。
而且,在本发明实施例中,在内容分发网络服务器接收到图片之后,会分别计算内容分发网络服务器接收到的各图片的MD5值以及内容分发网络服务器本地已存图片的MD5值并比较匹配,当出现相同的MD5值时,则不存储当前接收到的相应的图片;当未出现相同的MD5值时,则存储当前接收到的相应的图片,从而可以进一步地降低内容分发网络服务器中存储图片的重复率,从而提高内容分发网络服务器存储空间的利用率。
另外,在本发明实施例中,利用MD5值的唯一性,在上传客户端中分别计算网页资源包中各图片的MD5值并比较,将MD5值相同的图片归一化为一个图片,从而进一步地降低了上传至内容分发网络服务器图片的重复率。
实施例三
参照图3,示出了根据本发明一个实施例的一种网页资源包上传方法实施例的步骤流程图,具体可以包括如下步骤:
步骤S310,上传客户端获取网页资源包。
该网页资源包包括该网页资源包包括JavaScript组合资源包;所述JavaScript组合资源包是通过打包工具将多个JavaScript资源包合并获得。
步骤S320,上传客户端对于各网页资源包,将所述网页资源包中各第一图片地址,按第一图片地址进行归一化。
在本发明实施例中,对于各个网络资源包,可以遍历其中的每行代码,读取其中的各个第一图片地址,然后对这些第一图片地址进行归一化。
优选的,步骤S320,具体包括:
子步骤S321,逐行读取所述网页资源包中的代码,判断是否有包括图片格式的路径信息。
所述图片格式包括:jpg图片格式、和/或PNG图片格式。当然,还可能包括其他格式,本发明不对其加以限制。
在本发明实施例中,网页资源包中包含由JavaScript资源包合并而成的JavaScript组合资源包,其中的JavaScript资源包为一系列代码行,其中可以包括图片格式的路径信息。
在本发明实施例中,图片格式包括jpg图片格式、和/或PNG图片格式。其中jpg图片格式的路径信息一般是一段以“.jpg”结尾的代码,PNG图片格式则一般是一段以“.png”结尾的代码。
例如,http://p1.qhimg.com/t01e1863ffab91d5971.jpg为一个jpg图片格式的路径信息;http://p1.qhimg.com/t010a8d81330826f08e.png为一个PNG图片格式的路径信息。
在本发明实施例中,可以利用上述的“.jpg”和“.png”判断网页资源包中的代码中是否有包括图片格式的路径信息。当然,也可以采用其他的方式判断,对此本发明不加以限定。
子步骤S322,如果有包括图片格式的路径信息,则确认所述包括图片格式的路径信息为第一图片地址并进行记录。
在本发明实施例中,对于包括图片格式的路径信息,即为本发明实施例所述的第一图片地址,可以将其记录在消息队列中。
子步骤S323,对于记录的各路径信息,将相同的路径信息归一化为一个路径信息。
优选地,在本发明实施例中,步骤S323,包括:
子步骤S3231,对于记录的各路径信息,计算各路径信息的MD5值。
其中,对于路径信息而言,MD5值的唯一性具体是指,对应不同图片的路径信息的MD5值是唯一且互不相同的,而对应同样图片的路径信息的MD5值是一样的。
在实际应用中,同样可以利用MD5值计算器,如完美MD5计算器等,计算各路经信息的MD5值。当然,也可以采用其他的方式计算MD5值,对此,本发明不加以限定。
例如,某一网页中的包括图片格式的路径信息以及各路径信息的MD5值分别如表(3)所示:
路径信息 MD5值
路径信息1 0ca175b9c0f726a831d895e269332461
路径信息2 5kdw9s6s58y3rgeuqeg389rtyw3pghdf
路径信息3 0ca175b9c0f726a831d895e269332461
表(3)
子步骤S3232,将MD5值相同的路径信息,归一化为一个路径信息。
基于上述的MD5值的唯一性,若存在MD5值相同的情况,则表示对应该MD5值的多个路径信息对应同样的图片,因此,可以将该多个路径信息归一化为一个。
其中,归一化的具体做法可以为,在记录路径信息的消息队列中,依据各MD5值,只保留MD5值相同的多个路径信息中的任意一个路径信息。
例如,在记录路径消息的消息队列中,依据各MD5值,对于MD5值相同的多个路径信息,可以只保留其中首次计算得出该MD5值的路径消息。
当然,也可以采用其他方式进行路径信息的归一化,对此,本发明不加以限定。
例如,对于步骤S3231中表(3)所述的某一网页中的包括图片格式的路径信息以及各路径信息的MD5值,其中路径信息1和路径信息3的MD5值相同,则可以将该两路径信息归一化为一个路径信息,在实际应用过程中,可以只保留记录的路径信息1,以该路径信息获取图片进行上传过程。
步骤S330,上传客户端将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器。
步骤S340,内容分发网络服务器对于接收到的各图片,判断内容分发网络服务器本地是否存在相同的图片;如果存在相同的图片,则进入步骤S350;如果不存在相同的图片,则进入步骤S360。
在CDN服务器接收到上传客户端上传的图片后,则会判断本地已有的图片中是否已经存在与接收到的图片中相同的图片,如果存在,则进入步骤S250,如果不存在则进入步骤S260。
优选的,步骤S340具体包括:
子步骤S341,计算接收到的各图片的MD5值。
子步骤S342,计算本地已存的图片的MD5值。
子步骤S343,将接收到的各图片的MD5值,与本地已存的图片的MD5值进行匹配;当出现相同的MD5值时,则进入步骤S350;当未出现相同的MD5值时,则进入步骤S360。
步骤S350,不存储当前接收到的相应的图片。
在本发明实施例中,CDN服务器对于该不存储的图片,将本地的该图片的第二图片地址返回给上传客户端。
步骤S360,存储当前接收到的相应的图片。
在本发明实施例中,CDN服务器对于该存储的图片,将得到的该图片的第二图片地址返回给上传客户端。
步骤S370,上传客户端将所述网页资源包中各第一图片地址替换为相应图片在内容分发网络服务器中的第二图片地址。
当然,在本发明实施例中,上传客户端中可记录归并前的第一图片地址和归并后的第一图片地址的图片之间的对应关系,然后接收CDN服务器返回的该图片的第二图片地址,如此,可以根据上述对应关系将网页资源包中各第一图片地址替换为第二图片地址。
步骤S380,上传客户端将替换了第一图片地址后的网页资源包上传至内容分发网络服务器。
当然,在本发明实施例中,在步骤S220之后,还可获取归一化后的各第一图片地址的图片,然后对各图片进行再次归一化,然后再将归一化的图片上传至CDN服务器。如此,避免对于数据库中相同的图片,但是存储在不同的位置的情况,虽然同一个第一图片地址只存在一个,但是可能存在两个第一图片地址对应的数据库中存储的图片,实际上是同一张图片。那么上述过程则可完全保证上传客户端上传的图片是唯一的。
在本发明实施例中,对于与实施例一、二类似的步骤,在此不再赘述。
在本发明实施例中,同样将网页对应的网页资源包中引用的相同图片的第一图片地址进行归一化,并将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器,然后将所述网页资源包中各第一图片地址替换为相应图片在内容分发网络服务器中的第二图片地址,并将替换了第一图片地址后的网页资源包上传至内容分发网络服务器,从而降低了上传至内容分发网络服务器图片的重复率,提高了内容分发网络服务器存储空间的利用率。
而且,在本发明实施例中,在内容分发网络服务器接收到图片之后,会分别计算内容分发网络服务器接收到的各图片的MD5值以及内容分发网络服务器本地已存图片的MD5值并比较匹配,当出现相同的MD5值时,则不存储当前接收到的相应的图片;当未出现相同的MD5值时,则存储当前接收到的相应的图片,从而可以进一步地降低内容分发网络服务器中存储图片的重复率,从而提高内容分发网络服务器存储空间的利用率。
另外,在本发明实施例中,在上传客户端逐行读取所述网页资源包中的代码,记录其中包括图片格式的路径信息作为第一图片地址,然后利用MD5值的唯一性,分别计算记录的路径信息的MD5值并比较,将MD5值相同的路径信息归一化为一个路径信息,从而进一步地降低了上传至内容分发网络服务器图片的重复率。
对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
实施例四
参照图4,示出了根据本发明一个实施例的一种网页资源包上传装置实施例的结构框图,具体可以包括如下模块:
资源包获取模块410,适于获取网页资源包。
归一化模块420,适于将所述网页资源包中引用的相同图片的第一图片地址进行归一化。
图片上传模块430,适于将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器。
地址替换模块440,适于将所述网页资源包中各第一图片地址替换为相应图片在内容分发网络服务器中的第二图片地址。
资源包上传模块450,适于将替换了第一图片地址后的网页资源包上传至内容分发网络服务器。
在本发明实施例中,将网页对应的网页资源包中引用的相同图片的第一图片地址进行归一化,并将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器,然后将所述网页资源包中各第一图片地址替换为相应图片在内容分发网络服务器中的第二图片地址,并将替换了第一图片地址后的网页资源包上传至内容分发网络服务器,从而降低了上传至内容分发网络服务器图片的重复率,提高了内容分发网络服务器存储空间的利用率。
实施例五
参照图5,示出了根据本发明一个实施例的一种网页资源包上传装置实施例的结构框图,具体可以包括如下模块:
上传客户端510,内容分发网络服务器520。
上述上传客户端510包括:
资源包获取模块511,适于获取网页资源包。
归一化模块512,适于将将所述网页资源包中引用的相同图片的第一图片地址进行归一化。
优选的,归一化模块511具体包括:
图片归一化子模块,适于对于各网页资源包,获取所述网页资源包中各第一图片地址对应的图片,并将所述图片进行归一化。
优选地,图片归一化子模块,具体包括:
图片MD5值计算子模块,适于计算各图片的MD5值。
第一图片归一化子模块,适于将相同MD5值的图片进行归一化。
图片上传模块513,适于将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器。
地址替换模块514,适于将所述网页资源包中各第一图片地址替换为相应图片在内容分发网络服务器中的第二图片地址。
资源包上传模块515,适于将替换了第一图片地址后的网页资源包上传至内容分发网络服务器。
所述内容分发网络服务器520包括:
图片判断模块521,适于对于接收到的各图片,判断内容分发网络服务器本地是否存在相同的图片;如果存在相同的图片,则不存储当前接收到的相应的图片;如果不存在相同的图片,则存储当前接收到的相应的图片。
优选的,图片判断模块521具体包括:
第一图片MD5值计算子模块,适于计算接收到的各图片的MD5值。
第二图片MD5值计算子模块,适于计算本地已存的图片的MD5值。
MD5值匹配子模块,适于将接收到的各图片的MD5值,与本地已存的图片的MD5值进行匹配;当出现相同的MD5值时,则不存储当前接收到的相应的图片;当未出现相同的MD5值时,则存储当前接收到的相应的图片。
当然CDN服务器中还包括网络资源包存储模块,接收上传客户端上传的网络资源包。
实施例六
参照图6,示出了根据本发明一个实施例的一种网页资源包上传装置实施例的结构框图,具体可以包括如下模块:
上传客户端610,内容分发网络服务器620。
上述上传客户端610包括:
资源包获取模块611,适于获取网页资源包。
归一化模块612,适于将所述网页资源包中引用的相同图片的第一图片地址进行归一化。
优选的,归一化模块612具体包括:
第一图片地址归一化子模块,适于对于各网页资源包,将所述网页资源包中各第一图片地址,按第一图片地址进行归一化。
优选地,第一图片地址归一化子模块,包括:
路径信息判断子模块,适于逐行读取所述网页资源包中的代码,判断是否有包括图片格式的路径信息;如果有包括图片格式的路径信息,则进入地址记录子模块。
路径信息记录子模块,适于确认所述包括图片格式的路径信息为第一图片地址并进行记录。
路径信息归一化子模块,适于对于记录的各路径信息,将相同的路径信息归一化为一个路径信息。
优选地,路径信息归一化子模块,包括:
路径信息MD5值计算子模块,适于对于记录的各路径信息,计算各路径信息的MD5值。
第一路径信息归一化子模块,将MD5值相同的路径信息,归一化为一个路径信息。
图片上传模块613,适于将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器。
地址替换模块614,适于将所述网页资源包中各第一图片地址替换为相应图片在内容分发网络服务器中的第二图片地址。
资源包上传模块615,适于将替换了第一图片地址后的网页资源包上传至内容分发网络服务器。
所述内容分发网络服务器620包括:
图片判断模块621,适于对于接收到的各图片,判断内容分发网络服务器本地是否存在相同的图片;如果存在相同的图片,则不存储当前接收到的相应的图片;如果不存在相同的图片,则存储当前接收到的相应的图片。
优选的,图片判断模块621,具体包括:
第一图片MD5值计算子模块,适于计算接收到的各图片的MD5值。
第二图片MD5值计算子模块,适于计算本地已存的图片的MD5值。
MD5值匹配子模块,适于将接收到的各图片的MD5值,与本地已存的图片的MD5值进行匹配;当出现相同的MD5值时,则不存储当前接收到的相应的图片;当未出现相同的MD5值时,则存储当前接收到的相应的图片。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
实施例七
参照图7,示出了根据本发明一个实施例的一种网页资源包上传设备实施例的结构框图,所述设备700具体可以包括如下模块:
存储器710,加载有多条可执行指令;
处理器720,执行所述多条可执行指令;所述多条可执行指令包括执行以下步骤的方法:
获取网页资源包;
将所述网页资源包中各第一图片地址进行归一化;
将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器;
将所述网页资源包中各第一图片地址替换为相应图片在内容分发网络服务器中的第二图片地址;
将替换了第一图片地址后的网页资源包上传至内容分发网络服务器。
上述多条可执行指令还可执行任意步骤的方法。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的网页资源包上传方法设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了A1、一种网页资源包上传方法,包括:
获取网页资源包;
将所述网页资源包中引用的相同图片的第一图片地址进行归一化;
将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器;
将所述网页资源包中各第一图片地址替换为相应图片在内容分发网络服务器中的第二图片地址;
将替换了第一图片地址后的网页资源包上传至内容分发网络服务器。
A2、如A1所述的方法,所述将所述网页资源包中引用的相同图片的第一图片地址进行归一化的步骤,包括:
对于各网页资源包,获取所述网页资源包中各第一图片地址对应的图片,并将所述图片进行归一化。
A3、如A2所述的方法,所述将所述图片进行归一化的步骤,包括:
计算各图片的MD5值;
将相同MD5值的图片进行归一化。
A4、如A1所述的方法,所述将所述网页资源包中引用的相同图片的第一图片地址进行归一化的步骤,包括:
对于各网页资源包,将所述网页资源包中各第一图片地址,按第一图片地址进行归一化。
A5、如A4所述的方法,所述对于各网页资源包,将所述网页资源包中各第一图片地址,按第一图片地址进行归一化的步骤包括:
逐行读取所述网页资源包中的代码,判断是否有包括图片格式的路径信息;
如果有包括图片格式的路径信息,则确认所述包括图片格式的路径信息为第一图片地址并进行记录;
对于记录的各路径信息,将相同的路径信息归一化为一个路径信息。
A6、如A5所述的方法,所述对于记录的各路径信息,将相同的路径信息归一化为一个路径信息的步骤,包括:
对于记录的各路径信息,计算各路径信息的MD5值;
将MD5值相同的路径信息,归一化为一个路径信息。
A7、如A1-A6任一所述的方法,在将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器之后,还包括:
内容分发网络服务器对于接收到的各图片,判断内容分发网络服务器本地是否存在相同的图片;
如果存在相同的图片,则不存储当前接收到的相应的图片;
如果不存在相同的图片,则存储当前接收到的相应的图片。
A8、如A7所述的方法,所述内容分发网络服务器对于接收到的各图片,判断内容分发网络服务器本地是否存在相同的图片的步骤,包括:
计算接收到的各图片的MD5值;
计算本地已存的图片的MD5值;
将接收到的各图片的MD5值,与本地已存的图片的MD5值进行匹配;
当出现相同的MD5值时,则进入不存储当前接收到的相应的图片的步骤;
当未出现相同的MD5值时,则进入存储当前接收到的相应的图片的步骤。
A9、如A5或A6所述的方法,所述图片格式包括:jpg图片格式、和/或PNG图片格式。
A10、如A1所述的方法,所述网页资源包中包括JavaScript组合资源包;所述JavaScript组合资源包是通过打包工具将多个JavaScript资源包合并获得。
本发明还公开了B11、一种网页资源包上传装置,包括:
资源包获取模块,适于获取网页资源包;
归一化模块,将所述网页资源包中引用的相同图片的第一图片地址进行归一化;
图片上传模块,适于将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器;
地址替换模块,适于将所述网页资源包中各第一图片地址替换为相应图片在内容分发网络服务器中的第二图片地址;
资源包上传模块,适于将替换了第一图片地址后的网页资源包上传至内容分发网络服务器。
B12、如B11所述的装置,所述归一化模块,包括:
图片归一化子模块,适于对于各网页资源包,获取所述网页资源包中各第一图片地址对应的图片;将所述图片进行归一化。
B13、如B12所述的装置,所述图片归一化子模块,包括:
图片MD5值计算子模块,适于计算各图片的MD5值;
第一图片归一化子模块,适于将相同MD5值的图片进行归一化。
B14、如B11所述的装置,所述归一化模块,包括:
第一图片地址归一化子模块,适于对于各网页资源包,将所述网页资源包中各第一图片地址,按第一图片地址进行归一化。
B15、如B14所述的装置,所述第一图片地址归一化子模块包括:
路径信息判断子模块,适于逐行读取所述网页资源包中的代码,判断是否有包括图片格式的路径信息;
路径信息记录子模块,适于如果有包括图片格式的路径信息,则确认所述包括图片格式的路径信息为第一图片地址并进行记录;
路径信息归一化子模块,适于对于记录的各路径信息,将相同的路径信息归一化为一个路径信息。
B16、如B15所述的装置,所述路径信息归一化子模块,包括:
路径信息MD5值计算子模块,适于对于记录的各路径信息,计算各路径信息的MD5值;
第一路径信息归一化子模块,适于将MD5值相同的路径信息,归一化为一个路径信息。
B17、如B11-B16所述的装置,在内容分发网络服务器中,还包括:
图片判断模块,适于对于接收到的各图片,判断内容分发网络服务器本地是否存在相同的图片;如果存在相同的图片,则不存储当前接收到的相应的图片;如果不存在相同的图片,则存储当前接收到的相应的图片。
B18、如B17所述的装置,所述图片判断模块,包括:
第一图片MD5值计算子模块,适于计算接收到的各图片的MD5值;
第二图片MD5值计算子模块,适于计算本地已存的图片的MD5值;
MD5值匹配子模块,适于将接收到的各图片的MD5值,与本地已存的图片的MD5值进行匹配;当出现相同的MD5值时,则不存储当前接收到的相应的图片;当未出现相同的MD5值时,则存储当前接收到的相应的图片。
B19、如B15或B16所述的装置,所述图片格式包括:jpg图片格式、和/或PNG图片格式。
B20、如11所述的装置,所述网页资源包中包括JavaScript组合资源包;所述JavaScript组合资源包是通过打包工具将多个JavaScript资源包合并获得。
本发明还公开了C21、一种网页资源包上传设备,包括:
存储器,加载有多条可执行指令;
处理器,执行所述多条可执行指令;所述多条可执行指令包括执行以下步骤的方法:
获取网页资源包;
将所述网页资源包中引用的相同图片的第一图片地址进行归一化;
将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器;
将所述网页资源包中各第一图片地址替换为相应图片在内容分发网络服务器中的第二图片地址;
将替换了第一图片地址后的网页资源包上传至内容分发网络服务器。

Claims (10)

1.一种网页资源包上传方法,包括:
获取网页资源包;
将所述网页资源包中引用的相同图片的第一图片地址进行归一化;
将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器;
将所述网页资源包中各第一图片地址替换为相应图片在内容分发网络服务器中的第二图片地址;
将替换了第一图片地址后的网页资源包上传至内容分发网络服务器。
2.如权利要求1所述的方法,其特征在于,所述将所述网页资源包中引用的相同图片的第一图片地址进行归一化的步骤,包括:
对于各网页资源包,获取所述网页资源包中各第一图片地址对应的图片,并将所述图片进行归一化。
3.如权利要求2所述的方法,其特征在于,所述将所述图片进行归一化的步骤,包括:
计算各图片的MD5值;
将相同MD5值的图片进行归一化。
4.如权利要求1所述的方法,其特征在于,所述将所述网页资源包中引用的相同图片的第一图片地址进行归一化的步骤,包括:
对于各网页资源包,将所述网页资源包中各第一图片地址,按第一图片地址进行归一化。
5.如权利要求4所述的方法,其特征在于,所述对于各网页资源包,将所述网页资源包中各第一图片地址,按第一图片地址进行归一化的步骤包括:
逐行读取所述网页资源包中的代码,判断是否有包括图片格式的路径信息;
如果有包括图片格式的路径信息,则确认所述包括图片格式的路径信息为第一图片地址并进行记录;
对于记录的各路径信息,将相同的路径信息归一化为一个路径信息。
6.如权利要求5所述的方法,其特征在于,所述对于记录的各路径信息,将相同的路径信息归一化为一个路径信息的步骤,包括:
对于记录的各路径信息,计算各路径信息的MD5值;
将MD5值相同的路径信息,归一化为一个路径信息。
7.如权利要求1-6任一所述的方法,其特征在于,在将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器之后,还包括:
内容分发网络服务器对于接收到的各图片,判断内容分发网络服务器本地是否存在相同的图片;
如果存在相同的图片,则不存储当前接收到的相应的图片;
如果不存在相同的图片,则存储当前接收到的相应的图片。
8.如权利要求7所述的方法,其特征在于,所述内容分发网络服务器对于接收到的各图片,判断内容分发网络服务器本地是否存在相同的图片的步骤,包括:
计算接收到的各图片的MD5值;
计算本地已存的图片的MD5值;
将接收到的各图片的MD5值,与本地已存的图片的MD5值进行匹配;
当出现相同的MD5值时,则进入不存储当前接收到的相应的图片的步骤;
当未出现相同的MD5值时,则进入存储当前接收到的相应的图片的步骤。
9.一种网页资源包上传装置,包括:
资源包获取模块,适于获取网页资源包;
归一化模块,将所述网页资源包中引用的相同图片的第一图片地址进行归一化;
图片上传模块,适于将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器;
地址替换模块,适于将所述网页资源包中各第一图片地址替换为相应图片在内容分发网络服务器中的第二图片地址;
资源包上传模块,适于将替换了第一图片地址后的网页资源包上传至内容分发网络服务器。
10.一种网页资源包上传设备,包括:
存储器,加载有多条可执行指令;
处理器,执行所述多条可执行指令;所述多条可执行指令包括执行以下步骤的方法:
获取网页资源包;
将所述网页资源包中引用的相同图片的第一图片地址进行归一化;
将归一化后的各第一图片地址对应的图片上传至内容分发网络服务器;
将所述网页资源包中各第一图片地址替换为相应图片在内容分发网络服务器中的第二图片地址;
将替换了第一图片地址后的网页资源包上传至内容分发网络服务器。
CN201510921170.8A 2015-12-11 2015-12-11 一种网页资源包上传方法和装置 Active CN105530297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510921170.8A CN105530297B (zh) 2015-12-11 2015-12-11 一种网页资源包上传方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510921170.8A CN105530297B (zh) 2015-12-11 2015-12-11 一种网页资源包上传方法和装置

Publications (2)

Publication Number Publication Date
CN105530297A true CN105530297A (zh) 2016-04-27
CN105530297B CN105530297B (zh) 2019-03-08

Family

ID=55772273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510921170.8A Active CN105530297B (zh) 2015-12-11 2015-12-11 一种网页资源包上传方法和装置

Country Status (1)

Country Link
CN (1) CN105530297B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930528A (zh) * 2016-06-03 2016-09-07 腾讯科技(深圳)有限公司 一种网页缓存的方法及服务器
CN107506483A (zh) * 2017-09-15 2017-12-22 广州优视网络科技有限公司 页面加载方法、装置、电子设备及存储介质
CN108174250A (zh) * 2018-01-08 2018-06-15 武汉斗鱼网络科技有限公司 一种检测直播间人气值的方法、客户端及计算机设备
CN109284428A (zh) * 2018-08-13 2019-01-29 腾讯科技(深圳)有限公司 数据处理方法、装置及存储介质
CN109542864A (zh) * 2018-11-29 2019-03-29 广州创维平面显示科技有限公司 一种资源存储方法、资源下载方法、系统、设备和介质
CN111107118A (zh) * 2018-10-26 2020-05-05 北京金山云网络技术有限公司 一种图片访问加速方法、装置、设备、系统及存储介质
CN112149035A (zh) * 2020-09-23 2020-12-29 网易(杭州)网络有限公司 网站静态资源处理方法及装置
CN113496001A (zh) * 2020-03-20 2021-10-12 北京沃东天骏信息技术有限公司 一种替换图片地址的方法和装置
CN113626625A (zh) * 2021-06-30 2021-11-09 济南浪潮数据技术有限公司 一种虚拟化产品logo的管理方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060170452A1 (en) * 2005-01-11 2006-08-03 Benavides John A System and method for generating a trigger signal
US20090282229A1 (en) * 2008-05-08 2009-11-12 International Business Machines Corporation Conditional inclusion of resources in a computer system configuration
CN103218434A (zh) * 2013-04-15 2013-07-24 北京小米科技有限责任公司 一种加载静态资源的方法和装置
CN104714965A (zh) * 2013-12-16 2015-06-17 阿里巴巴集团控股有限公司 静态资源去重方法、静态资源管理方法及装置
CN104965764A (zh) * 2015-06-02 2015-10-07 百度在线网络技术(北京)有限公司 静态资源的处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060170452A1 (en) * 2005-01-11 2006-08-03 Benavides John A System and method for generating a trigger signal
US20090282229A1 (en) * 2008-05-08 2009-11-12 International Business Machines Corporation Conditional inclusion of resources in a computer system configuration
CN103218434A (zh) * 2013-04-15 2013-07-24 北京小米科技有限责任公司 一种加载静态资源的方法和装置
CN104714965A (zh) * 2013-12-16 2015-06-17 阿里巴巴集团控股有限公司 静态资源去重方法、静态资源管理方法及装置
CN104965764A (zh) * 2015-06-02 2015-10-07 百度在线网络技术(北京)有限公司 静态资源的处理方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930528A (zh) * 2016-06-03 2016-09-07 腾讯科技(深圳)有限公司 一种网页缓存的方法及服务器
CN105930528B (zh) * 2016-06-03 2020-09-08 腾讯科技(深圳)有限公司 一种网页缓存的方法及服务器
CN107506483A (zh) * 2017-09-15 2017-12-22 广州优视网络科技有限公司 页面加载方法、装置、电子设备及存储介质
CN108174250A (zh) * 2018-01-08 2018-06-15 武汉斗鱼网络科技有限公司 一种检测直播间人气值的方法、客户端及计算机设备
CN109284428A (zh) * 2018-08-13 2019-01-29 腾讯科技(深圳)有限公司 数据处理方法、装置及存储介质
CN111107118A (zh) * 2018-10-26 2020-05-05 北京金山云网络技术有限公司 一种图片访问加速方法、装置、设备、系统及存储介质
CN111107118B (zh) * 2018-10-26 2023-04-18 北京金山云网络技术有限公司 一种图片访问加速方法、装置、设备、系统及存储介质
CN109542864A (zh) * 2018-11-29 2019-03-29 广州创维平面显示科技有限公司 一种资源存储方法、资源下载方法、系统、设备和介质
CN113496001A (zh) * 2020-03-20 2021-10-12 北京沃东天骏信息技术有限公司 一种替换图片地址的方法和装置
CN112149035A (zh) * 2020-09-23 2020-12-29 网易(杭州)网络有限公司 网站静态资源处理方法及装置
CN113626625A (zh) * 2021-06-30 2021-11-09 济南浪潮数据技术有限公司 一种虚拟化产品logo的管理方法、装置及设备

Also Published As

Publication number Publication date
CN105530297B (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN105530297A (zh) 一种网页资源包上传方法和装置
EP3172680B1 (en) Fast rendering of websites containing dynamic content and stale content
CN109614162B (zh) 基于组件开发模式下的前端加载优化方法、存储介质
US9305176B2 (en) Database generation from a spreadsheet
CN109032797A (zh) 用于提供网页访问的方法及设备
CN104601736A (zh) 一种短url服务的实现方法及装置
US10904316B2 (en) Data processing method and apparatus in service-oriented architecture system, and the service-oriented architecture system
CN103812888A (zh) 信息推送、接收、传输方法、服务器、客户端及系统
CN104504068A (zh) 基于浏览器进行购物信息查询的方法和浏览器装置
CN109767274B (zh) 一种对海量发票数据进行关联存储的方法及系统
CN103581123A (zh) 网络数据的处理方法及装置、网络数据的发布方法及系统
CN108228799A (zh) 对象索引信息的存储方法及装置
CN105045789A (zh) 一种游戏服务器数据库缓存方法及系统
CN106254489A (zh) 一种无文件传输的云渲染系统及其方法
CN105094857B (zh) 用于应用加载的方法和系统
CN107408055B (zh) 代码缓存系统
CN103685518A (zh) 为移动终端提供图文类页面的方法、客户端和系统
CN103248627A (zh) 实现访问网站资源的方法、正向代理服务器和系统
CN104636135A (zh) 一种节点访问方法和系统、客户端代理和客户端
CN102394908A (zh) 一种基于局域网的网络视频加速方法
US20180060374A1 (en) Optimizing column based database table compression
CN104378393A (zh) 一种资源分享方法和相应的装置
CN116208676A (zh) 数据回源方法、装置、计算机设备、存储介质和程序产品
CN103200266B (zh) 对网络应用进行管理的方法、网络应用管理器及系统
CN103744852A (zh) 快照处理方法、快照显示方法、服务器、浏览器和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220728

Address after: Room 801, 8th floor, No. 104, floors 1-19, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing 100015

Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park)

Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Patentee before: Qizhi software (Beijing) Co.,Ltd.

TR01 Transfer of patent right