CN115145879A - 一种数据处理方法、装置、介质及设备 - Google Patents
一种数据处理方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN115145879A CN115145879A CN202110354770.6A CN202110354770A CN115145879A CN 115145879 A CN115145879 A CN 115145879A CN 202110354770 A CN202110354770 A CN 202110354770A CN 115145879 A CN115145879 A CN 115145879A
- Authority
- CN
- China
- Prior art keywords
- url
- cache
- access request
- data processing
- preset rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
- G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明是关于一种数据处理的方法、装置、介质和设备,数据处理的方法包括:接收访问请求,获取访问请求对应的URL;将URL转换为统一格式URL,并根据本区域缓存中是否存在所述统一格式URL对应的缓存对象,响应所述访问请求;或,根据本区域缓存中是否缓存该URL的预设规则,使用所述预设规则对所述URL进行改写形成改写后URL,确定所述改写后的URL的特征值,根据本区域缓存中是否存在所述特征值对应的缓存对象,响应所述访问请求。有效缓解网络的传输带宽,节省带宽资源,减轻源站压力,并降低对缓存空间的占用。
Description
技术领域
本发明涉及云计算领域,尤其涉及一种数据处理方法、装置、介质及设备。
背景技术
在CDN网络中,缓存服务器将用户请求的资源文件进行就近缓存,针对每一个URL,都会缓存一份对应的资源文件,缓存对象与URL一一对应,从而在用户访问URL时,可以将缓存的资源文件快速响应用户的请求,提高用户的访问速度;同样的,在具有缓存功能的数据库或者服务器中,也存在访问地址不同,实际缓存对象相同的情况。这就导致同一缓存对象需要多次回源获取,并在缓存服务器/数据库中缓存多份,造成网络带宽的浪费和磁盘空间的占用。
发明内容
为克服相关技术中存在的问题,本发明提供一种数据处理方法、装置、介质和设备。
根据本申请实施例的一个方面,提供一种数据处理方法,包括:
接收访问请求,获取所述访问请求对应的URL;
将URL转换为统一格式的URL,判断本区域缓存中是否存在统一格式的URL对应的缓存对象,如果存在,使用统一格式的URL对应的缓存对象响应访问请求,如果不存在,回源获取所述URL对应的缓存对象,并响应访问请求;或,
在本区域缓存中查询URL的预设规则,如果本区域缓存中存在URL的预设规则,使用预设规则对URL进行改写形成改写后URL,确定改写后的URL的特征值,判断本区域缓存中是否存在特征值对应的缓存对象,如果存在,使用特征值对应的缓存对象响应访问请求,如果不存在,回源获取URL对应的缓存对象,并响应访问请求。
接收访问请求,获取所述访问请求对应的URL之前,还包括:
获取配置文件,配置文件包括多个不同URL与所述统一格式URL的第一对应关系和/或预设规则。
所述回源获取所述URL对应的资源文件,并响应所述访问请求后,还包括:
存储所述缓存对象,并建立所述统一格式的URL或所述特征值与所述缓存对象存储位置信息的第二对应关系。
数据处理方法还包括:使用所述第二对应关系更新所述配置文件,并将更新后的配置文件同步至本区域内的缓存服务器。
所述使用所述预设规则对所述URL进行改写包括:
使用所述预设规则对所述URL中的参数进行去除,形成改写后的URL。
所述确定所述改写后的URL的特征值包括:
使用信息摘要算法计算所述改写后的URL的特征值。
根据本申请实施例的另一方面,提供一种数据处理的装置,应用于缓存服务器,包括:
请求接收模块,用于接收访问请求,获取请求的URL;
响应模块,所述响应模块用于将所述URL转换为统一格式的URL,判断本区域缓存中是否存在所述统一格式的URL对应的缓存对象,如果存在,使用所述统一格式的URL对应的缓存对象响应所述访问请求,如果不存在,回源获取所述URL对应的缓存对象,并响应所述访问请求;或,
在本区域缓存中查询所述URL的预设规则,如果本区域缓存中存在所述URL的预设规则,使用所述预设规则对所述URL进行改写形成改写后URL,确定所述改写后的URL的特征值,判断本区域缓存中是否存在所述特征值对应的缓存对象,如果存在,使用所述特征值对应的缓存对象响应所述访问请求,如果不存在,回源获取所述URL对应的缓存对象,并响应所述访问请求。
数据处理装置还包括:
配置模块,用于获取配置文件,所述配置文件包括多个不同URL与所述统一格式URL的第一对应关系和/或所述预设规则。
数据处理装置还包括:
缓存模块,用于存储所述缓存对象,并建立所述统一格式的URL或所述特征值与所述缓存对象存储位置信息的第二对应关系。
配置模块还用于使用所述第二对应关系更新所述配置文件,并将更新后的配置文件同步至本区域内的缓存服务器。
使用所述预设规则对所述URL进行改写包括:
使用所述预设规则对所述URL中的参数进行去除,形成改写后的URL。
确定所述改写后的URL的特征值包括:
使用信息摘要算法计算所述改写后的URL的特征值。
根据本申请实施例的另一方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被执行时实现数据处理的方法的步骤。
根据本申请实施例的另一方面,提供一种计算机设备,包括处理器、存储器和存储于所述存储器上的计算机程序,所述处理器执行所述计算机程序时实现数据处理的方法的步骤。
本发明提供的一种数据处理的方法,可以有效节省带宽资源,减轻源站压力,降低对缓存空间的占用,同时提高响应的及时性和用户体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据一示例性实施例示出的一种数据处理方法的流程图。
图2是根据一示例性实施例示出的一种数据处理装置的框图。
图3是根据一示例性实施例示出的一种数据处理装置的框图。
图4是根据一示例性实施例示出的一种数据处理装置的框图。
图5是根据一示例性实施例示出的一种计算机设备的框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互任意组合。
在CDN网络中,缓存服务器将用户请求的资源文件进行就近缓存,针对每一个URL,都会缓存一份对应的资源文件,缓存对象与URL一一对应,从而在用户访问URL时,可以将缓存的资源文件快速响应用户的请求,提高用户的访问速度。但由于在实际网络中,存在多个URL实际对应同一资源文件的情况,例如,当同一资源分别采用HTTP协议传输和采用HTTPS协议传输,一般而言,URL由协议、主机、端口、路径四部分构成,虽然URL不相同,但在网络中对应的资源文件却是同一个,缓存服务器实际存储的资源内容也是一样的,但由于采用不同协议的URL并不完全相同,那么资源文件就需要针对两种协议的URL存储两份缓存文件,缓存服务器在不存在缓存文件的情况下需要两次回源,获取同一资源文件。导致同一资源文件需要多次回源获取,并在缓存服务器中缓存多份,造成网络带宽的浪费和磁盘空间的占用。
为解决现有技术中存在的问题,本发明提供一种数据处理方法,图1是根据一示例性实施例示出的一种数据处理方法的流程图。参考图1,一种数据处理方法,可以应用于内容分发网络,包括:
步骤S11,接收访问请求,获取访问请求对应的URL。
步骤S12,将所述URL转换为统一格式的URL,判断本区域缓存中是否存在所述统一格式的URL对应的缓存对象,如果存在,使用所述统一格式的URL对应的缓存对象响应所述访问请求,如果不存在,回源获取所述URL对应的缓存对象,并响应所述访问请求;或
在本区域缓存中查询所述URL的预设规则,如果本区域缓存中存在所述URL的预设规则,使用所述预设规则对所述URL进行改写形成改写后URL,确定所述改写后的URL的特征值,判断本区域缓存中是否存在所述特征值对应的缓存对象,如果存在,使用所述特征值对应的缓存对象响应所述访问请求,如果不存在,回源获取所述URL对应的缓存对象,并响应所述访问请求。
在本实施例中,缓存对象可以是一个字符串、文件或其他数据。为了防止同一对象由于对应多个URL,需要针对每个URL缓存一份缓存对象的情况,将同一对象对应的多个URL与统一格式的URL建立对应关系,缓存对象与统一格式的URL建立对应关系。或者,将同一对象对应的多个URL,根据预设规则进行改写,改写为相同的URL,缓存对象与改写后的URL的特征值建立对应关系。由于URL相对较长,而根据URL生成的特征值能够根据设置生成较为简短的数值,进一步缩小了磁盘空间的占用。
在一实施例中,为更好的执行本发明中的数据处理的方法,可以先获取配置文件,配置文件包括多个不同URL与统一格式URL的第一对应关系和/或预设规则。
例如,用户的网站中有名称为1.jpg的图片资源,该资源可以通过URL1:http://example.com/1.jpg访问获取,也可以通过URL2:https://example.com/1.jpg访问获取,图片资源1.jpg与两个不同的URL存在对应关系。在本实施中,可在配置文件中对两个不同的URL进行配置,建立两个不同的URL与统一格式的URL:http://example.com/1.jpg的对应关系。在缓存服务器缓存1.jpg的图片资源的图片资源时,建立缓存对象与同一格式的URL:http://example.com/1.jpg的对应关系,这样即可将多个不同的URL对应到一个缓存对象。当获取访问请求对应的URL为:https://example.com/1.jpg,根据第一对应关系,将其转换为同一格式的URL:http://example.com/1.jpg。如果是首次请求,本区域缓存中都不存在该URL对应的缓存对象,通过回源的方式获取缓存对象,并响应该访问请求。如果本区域缓存中存在该URL对应的缓存对象,则直接使用该缓存对象响应访问请求。在配置文件中,可以用映射表的方式存储多个不同URL与统一格式的URL的第一对应关系,方便缓存服务器接收到访问请求时,快速对访问请求对应的URL进行转换。
缓存对象与基于配置文件中预先设置的统一格式的URL对应,一组相关的URL具有相同的统一格式的URL。接收到的一组相关的URL请求,只需要回源获取一次目标对象,并在本区域缓存一份目标对象即可,因此避免网络带宽的浪费和磁盘空间的占用,同时当本区域已经缓存了某一URL对应的缓存对象时,在接收到具有关联关系的URL的请求时,可以快速进行响应。
在一些情况下,用户访问的URL中,会包含各式各样的参数。针对同一目标对象,会对应大量的不同URL,且无法通过预先配置的方式,建立与统一格式的URL的对应关系。本发明提供的数据处理方法中,配置文件还包括预设规则,预设规则可以包括一条或多条规则,内容分发节点中的缓存服务器可以根据预设的规则对访问请求的URL进行改写。对包含参数的URL,可以使用去参数规则,对URL中的参数进行去除。例如:两个带有参数的URL为http://a.com/a/b/1.jpg?args=foo和http://a.com/a/b/1.jpg?name=ferret&color=purple,利用“去参数规则”对两个URL进行去参数运算,生成改写后的URL为http://a.com/a/b/1.jpg。当配置文件中配置了去参数规则后,当缓存服务器接收到访问请求http://a.com/a/b/1.jpg?args=foo,在本区域缓存中查找预设规则,通过查找到的去参数规则对该URL进行改写,改写后的URL为http://a.com/a/b/1.jpg。缓存服务器进一步对改写后的URL计算特征值,当回源获取到1.jpg文件后,缓存在本地,并建立缓存对象与特征值的对应关系,当再次接收到http://a.com/a/b/1.jpg?args=foo,http://a.com/a/b/1.jpg?name=ferret&color=purple等带有不同参数的URL请求时,通过去参数规则将接收的URL改写为http://a.com/a/b/1.jpg,计算特征值,根据计算的特征值可以快速在缓存中查找到1.jpg文件,并响应访问请求。使得多个带有不同参数的URL只需缓存一份缓存对象。缓存对象不与访问请求的URL唯一对应,而是可以与基于URL生成的URL特征值相对应,一组具有关联关系的且具有相同的URL特征值的URL访问请求,可以共用同一缓存对象,节省了缓存资源;内容分发节点只需回源站拉取一次缓存对象,节省了网络资源。
在一实施例中,数据处理方法还包括:
存储所述缓存对象,并建立统一格式的URL或特征值与缓存对象存储位置信息的第二对应关系。
为进一步节省缓存空间,缓存对象可在多台缓存服务器间共享,缓存服务器所属一个内容分发节点或所属区域内的多个内容分发节点组成的缓存空间,均属于本区域缓存,缓存服务器可以在本区域缓存中获取缓存对象。在存储缓存对象的同时,建立统一格式的URL或特征值与缓存对象存储位置信息的第二对应关系,当前缓存服务器在将访问请求的URL转换为统一格式的URL,或者根据预设规则对访问请求的URL进行改写,并计算出改写后的URL的特征值以后,可以查询统一格式的URL或特征值与缓存对象存储位置信息的第二对应关系,快速获取目标缓存对象的存储位置。例如,将缓存服务器xx中图片资源1.jpg的存储位置信息:/cache_abc/xx/1.jpg与统一格式的URL:http://example.com/1.jpg进行绑定,形成缓存对象存储位置信息与统一预设格式URL的对应关系。当区域内其他缓存服务器接收到https://example.com/1.jpg的访问请求,将访问的URL转换为统一格式的URL:http://example.com/1.jpg,查询统一格式的URL与缓存对象存储位置信息的第二对应关系,可以快速确定1.jpg的目标缓存在本区域内的缓存服务器xx中,进而使用缓存服务器xx中的缓存对象响应访问请求。
在一实施例中,数据处理方法还包括:使用第二对应关系更新配置文件,并将更新后的配置文件同步至本区域内的缓存服务器。配置文件可以由指定的管理服务器生成,并下发至本区域内地全部内容分发节点,指定的管理服务器可以为专用服务器,也可以是本区域内的任一台缓存服务器。当某一个缓存服务器缓存了新的缓存对象,并且建立了统一格式的URL或特征值与缓存对象存储位置信息的第二对应关系后,需要将新的缓存对象以及本缓存服务器的位置信息通知本区域内的其他缓存服务器,在本实施例中,由本缓存服务器使用第二对应关系更新本地配置文件,将更新后的配置文件发送给指定的管理服务器,由管理服务器向本区域内的全部其他缓存服务器下发更新后的配置文件,或者,通知本区域内的全部其他缓存服务器进行下载,还可以由本缓存服务器向本区域内的全部其他缓存服务器进行直接同步,实现缓存对象在本区域内的共享。
在一实施例中,生成URL特征值包括:使用信息摘要算法计算URL的哈希值。本实施例中使用MD5对URL进行加密计算。
为了便于理解本发明提供的数据处理方法,举例进行说明。
具体实施例1:
某些客户端浏览器(如:IE)在访问网站时,为了增加并发下载连接,会同时启用多个域名访问相同的资源,如:cdn1.com/1.jpg,cdn2.com/1.jpg,cdn3.com/1.jpg,访问同一资源文件1.jpg,当缓存服务器接收到上述域名的访问请求,根据配置文件中预设的多个不同URL与统一格式URL的第一对应关系,可以对上述多个域名进行转换,转换为统一格式的URL:cdn1.com/1.jpg。例如,缓存服务器1最初收到cdn2.com/1.jpg请求,缓存服务器1首先查询该URL对应的统一格式的URL,缓存服务器将cdn2.com/1.jpg转换为统一格式的URL:cdn1.com/1.jpg,并在本区域缓存中查找是否有与cdn1.com/1.jpg对应的缓存对象,如果没有,则回源获取资源文件1.jpg,使用1.jpg响应用户请求,并将1.jpg缓存在本服务器中,将cdn1.com/1.jpg与1.jpg的存储位置建立一一对应关系,更新本地配置文件,并同步至本区域内的其他内容分发节点中的缓存服务器。当缓存服务器2收到cdn1.com/1.jpg或cdn3.com/1.jpg的域名请求时,根据配置文件中多个URL与统一预设格式URL:cdn1.com/1.jpg的对应关系,将收到的请求中的URL转换为cdn1.com/1.jpg,通过查询更新后的配置文件,可以查到缓存对象1.jpg缓存在缓存服务器1中,从缓存服务器1获取缓存对象1.jpg响应以上请求。实现cdn1.com/1.jpg,cdn2.com/1.jpg,cdn3.com/1.jpg三个不同域名共用同一缓存对象1.jpg。
具体实施例2:
不同的用户在客户端访问同一域名的同一资源文件时,URL会携带不同的参数(例如资源质量参数、资源大小参数、权限参数等),导致访问相同的资源文件的URL,由于带有不同参数,形成的URL可以有非常多的数量,甚至无法预先确定具体的URL会携带什么样的参数,不能建立此类URL与统一格式的URL的对应关系。例如http://a.com/a/b/1.jpg?args=foo和http://a.com/a/b/1.jpg?name=ferret&color=purple带有不同的参数,但访问的均是相同资源文件1.jpg,缓存服务器在接收上述域名的请求时,根据缓存服务器中的预设规则,具体可以为去参数规则,将上述两个URL改写为去参数后的URL:http://a.com/a/b/1.jpg后,进一步对改写后的URL计算特征值,如特征值为KEY1,在本区域内查找KEY1对应的缓存对象,使得带有不同参数的URL能够共用同一资源文件,避免了缓存服务器多次回源拉取源文件导致的网络资源的消耗,且在本区域内只需缓存一份缓存对象,节省存储资源。
通过以上实施例,本发明提供的数据处理的方法,能有效缓解网络的传输带宽,节省带宽资源,减轻源站压力,并降低对缓存空间的占用。
图2是根据一示例性实施例示出的一种数据处理装置的框图。参考图2,数据处理装置包括,请求接收模块201,响应模块202。
该请求接收模块201被配置为用于接收访问请求,获取请求的URL;
该响应模块202被配置为用于将URL转换为统一格式的URL,判断本区域缓存中是否存在统一格式的URL对应的缓存对象,如果存在,使用统一格式的URL对应的缓存对象响应访问请求,如果不存在,回源获取URL对应的缓存对象,并响应所述访问请求;或,
在本区域缓存中查询URL的预设规则,如果本区域缓存中存在URL的预设规则,使用预设规则对URL进行改写形成改写后URL,确定改写后的URL的特征值,判断本区域缓存中是否存在特征值对应的缓存对象,如果存在,使用特征值对应的缓存对象响应访问请求,如果不存在,回源获取URL对应的缓存对象,并响应所述访问请求。
图3是根据一示例性实施例示出的一种数据处理装置的框图。参考图3,数据处理装置还包括配置模块301。
该配置模块301被配置为用于获取配置文件,配置文件包括多个不同URL与统一格式的URL的第一对应关系和/或预设规则。
配置模块301还被配置为用于使用第二对应关系更新配置文件,并将更新后的配置文件同步至本区域内的缓存服务器。
图4是根据一示例性实施例示出的一种数据处理装置的框图。参考图4,数据处理装置还包括缓存模块401。
该缓存模块401被配置为用于存储缓存对象,并建立所述统一格式的URL或所述特征值与所述缓存对象存储位置信息的第二对应关系。
使用预设规则对URL进行改写包括:
使用预设规则对URL中的参数进行去除,形成改写后的URL。
确定改写后的URL的特征值包括:
使用信息摘要算法计算改写后的URL的特征值。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种用于数据处理的计算机设备500的框图。例如,计算机设备500可以被提供为一服务器。参照图5,计算机设备500包括处理器501,处理器的个数可以根据需要设置为一个或者多个。计算机设备500还包括存储器502,用于存储可由处理器501的执行的指令,例如应用程序。存储器的个数可以根据需要设置一个或者多个。其存储的应用程序可以为一个或者多个。处理器501被配置为执行指令,以执行上述数据处理的方法。
本领域技术人员应明白,本发明的实施例可提供为方法、装置(设备)、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质,包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质等。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
本发明是参照根据本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本发明中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明的意图也包含这些改动和变型在内。
Claims (14)
1.一种数据处理方法,应用于缓存服务器,其特征在于,包括:
接收访问请求,获取所述访问请求对应的URL;
将所述URL转换为统一格式的URL,判断本区域缓存中是否存在所述统一格式的URL对应的缓存对象,如果存在,使用所述统一格式的URL对应的缓存对象响应所述访问请求,如果不存在,回源获取所述URL对应的缓存对象,并响应所述访问请求;或
在本区域缓存中查询所述URL的预设规则,如果本区域缓存中存在所述URL的预设规则,使用所述预设规则对所述URL进行改写形成改写后URL,确定所述改写后的URL的特征值,判断本区域缓存中是否存在所述特征值对应的缓存对象,如果存在,使用所述特征值对应的缓存对象响应所述访问请求,如果不存在,回源获取所述URL对应的缓存对象,并响应所述访问请求。
2.如权利要求1任一所述的数据处理方法,其特征在于,所述接收访问请求,获取所述访问请求对应的URL之前,还包括:
获取配置文件,所述配置文件包括多个不同URL与所述统一格式URL的第一对应关系和/或所述预设规则。
3.如权利要求2所述的数据处理方法,其特征在于,所述回源获取所述URL对应的资源文件,并响应所述访问请求后,还包括:
存储所述缓存对象,并建立所述统一格式的URL或所述特征值与所述缓存对象存储位置信息的第二对应关系。
4.如权利要求3所述的数据处理方法,其特征在于,还包括:使用所述第二对应关系更新所述配置文件,并将更新后的配置文件同步至本区域内的缓存服务器。
5.如权利要求1所述的数据处理方法,其特征在于,所述使用所述预设规则对所述URL进行改写包括:
使用所述预设规则对所述URL中的参数进行去除,形成改写后的URL。
6.如权利要求1所述的数据处理方法,其特征在于,所述确定所述改写后的URL的特征值包括:
使用信息摘要算法计算所述改写后的URL的特征值。
7.一种数据处理的装置,应用于缓存服务器,其特征在于,包括:
请求接收模块,用于接收访问请求,获取请求的URL;
响应模块,所述响应模块用于将所述URL转换为统一格式的URL,判断本区域缓存中是否存在所述统一格式的URL对应的缓存对象,如果存在,使用所述统一格式的URL对应的缓存对象响应所述访问请求,如果不存在,回源获取所述URL对应的缓存对象,并响应所述访问请求;或,
在本区域缓存中查询所述URL的预设规则,如果本区域缓存中存在所述URL的预设规则,使用所述预设规则对所述URL进行改写形成改写后URL,确定所述改写后的URL的特征值,判断本区域缓存中是否存在所述特征值对应的缓存对象,如果存在,使用所述特征值对应的缓存对象响应所述访问请求,如果不存在,回源获取所述URL对应的缓存对象,并响应所述访问请求。
8.如权利要求7所述的数据处理装置,其特征在于,还包括:
配置模块,用于获取配置文件,所述配置文件包括多个不同URL与所述统一格式的URL的第一对应关系和所述预设规则。
9.如权利要求8所述的数据处理装置,其特征在于,还包括:
缓存模块,用于存储所述缓存对象,并建立所述统一格式的URL或所述特征值与所述缓存对象存储位置信息的第二对应关系。
10.如权利要求10所述的数据处理装置,其特征在于,所述配置模块还用于使用所述第二对应关系更新所述配置文件,并将更新后的配置文件同步至本区域内的缓存服务器。
11.如权利要求7所述的数据处理装置,其特征在于,所述使用所述预设规则对所述URL进行改写包括:
使用所述预设规则对所述URL中的参数进行去除,形成改写后的URL。
12.如权利要求7所述的数据处理装置,其特征在于,所述确定所述改写后的URL的特征值包括:
使用信息摘要算法计算所述改写后的URL的特征值。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被执行时实现如权利要求1-6中任意一项所述方法的步骤。
14.一种计算机设备,包括处理器、存储器和存储于所述存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-6中任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110354770.6A CN115145879A (zh) | 2021-03-30 | 2021-03-30 | 一种数据处理方法、装置、介质及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110354770.6A CN115145879A (zh) | 2021-03-30 | 2021-03-30 | 一种数据处理方法、装置、介质及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115145879A true CN115145879A (zh) | 2022-10-04 |
Family
ID=83404740
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110354770.6A Pending CN115145879A (zh) | 2021-03-30 | 2021-03-30 | 一种数据处理方法、装置、介质及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115145879A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116996578A (zh) * | 2023-09-27 | 2023-11-03 | 联通在线信息科技有限公司 | 基于内容分发网络的资源处理方法和装置 |
CN117235024A (zh) * | 2023-11-16 | 2023-12-15 | 江西国泰利民信息科技有限公司 | 基于代码分析的缓存更新方法、系统、存储介质及设备 |
-
2021
- 2021-03-30 CN CN202110354770.6A patent/CN115145879A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116996578A (zh) * | 2023-09-27 | 2023-11-03 | 联通在线信息科技有限公司 | 基于内容分发网络的资源处理方法和装置 |
CN116996578B (zh) * | 2023-09-27 | 2024-02-06 | 联通在线信息科技有限公司 | 基于内容分发网络的资源处理方法和装置 |
CN117235024A (zh) * | 2023-11-16 | 2023-12-15 | 江西国泰利民信息科技有限公司 | 基于代码分析的缓存更新方法、系统、存储介质及设备 |
CN117235024B (zh) * | 2023-11-16 | 2024-01-26 | 江西国泰利民信息科技有限公司 | 基于代码分析的缓存更新方法、系统、存储介质及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11194719B2 (en) | Cache optimization | |
US20180041590A1 (en) | Website access method, apparatus, and website system | |
CN106534243B (zh) | 基于http协议的缓存、请求、响应方法及相应装置 | |
CN111970315A (zh) | 推送消息的方法、装置及系统 | |
US10735528B1 (en) | Geographic relocation of content source in a content delivery network | |
US20110099226A1 (en) | Method of requesting for location information of resources on network, user node and server for the same | |
JP2013507694A (ja) | データ通信高速化および効率化のためのシステムおよびその方法 | |
CN115145879A (zh) | 一种数据处理方法、装置、介质及设备 | |
US20160344842A1 (en) | Identifying content files in a cache using a response-based cache index | |
CN112261090B (zh) | Web数据处理方法、装置、计算机设备和可读存储介质 | |
WO2024124663A1 (zh) | 一种支持cdn缓存批量刷新的方法及装置 | |
CN109873855A (zh) | 一种基于区块链网络的资源获取方法和系统 | |
US20220365680A1 (en) | Data reading method and terminal | |
CN110764688B (zh) | 对数据进行处理的方法和装置 | |
CN112929463A (zh) | 一种基于dns的流量代理方法、服务器及系统 | |
CN115695580B (zh) | 资源获取方法、装置、设备及存储介质 | |
US10015012B2 (en) | Precalculating hashes to support data distribution | |
CN113709232B (zh) | 数据包加载方法、客户端、客户端代理、设备及存储介质 | |
CN113238836A (zh) | 一种分布式内容调度方法、调度系统及中心服务器 | |
CN103685367A (zh) | 离线下载系统和方法 | |
US9219706B2 (en) | Just-in-time wrapper synchronization | |
CN114979025B (zh) | 资源刷新方法、装置、设备及可读存储介质 | |
US9686228B2 (en) | Integrated just-in-time synchronization | |
CN116233248A (zh) | 资源响应方法、设备及可读存储介质 | |
CN116521354A (zh) | 一种缓存方法、缓存服务器、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |