CN106959975B - 一种转码资源缓存处理方法、装置及设备 - Google Patents

Abstract

本发明公开一种转码资源缓存处理方法、装置及设备。其中该方法包括：获取站点方的站点域名与站点IP地址的映射信息；获取站点域名页面的基于域名路径的转码页缓存关键字；基于所述映射信息中的站点IP地址，生成转码页缓存关键字替换字符串；用所述转码页缓存关键字替换字符串替换所述转码页缓存关键字中的站点域名，得到基于IP路径的转码页缓存关键字；以及，存储与所述基于IP路径的转码页缓存关键字对应的转码页缓存数据。本发明提供的技术方案，能有效减少转码页缓存的冗余数据。

Description

一种转码资源缓存处理方法、装置及设备

技术领域

本发明涉及移动互联网技术领域，具体涉及一种转码资源缓存处理方法、装置及设备。

背景技术

目前的移动浏览器应用中，有一种基于浏览中转架构的技术。该技术利用中转服务集群的优势，例如中转服务集群中的中转服务器的数据缓存和页面计算能力等方面的优势，来加速页面浏览速度及通过转码技术修改原页面的数据展现布局来改善用户体验。所谓转码，就是通过对原页面的关键数据进行识别提取，过滤无关数据，及对关键数据进行页面重布局，使页面达到突出关键数据的效果，从而改善用户的浏览体验。

现有的浏览中转服务使用了转码页缓存方法，该方法主要包括：对于某个站点页面A的首次访问请求，如果页面A可以进行转码则进行转码处理得到转码后的页面A’(称为“转码页”)。将页面A’按照预定义的格式保存到集群级别的转码页缓存系统中。如果下次再接收到对页面A的再次访问请求，且该次需要对该页面进行转码，则直接通过访问转码页缓存系统获取其对应的转码页面A’，直接把该页面及其外联引用的子资源数据返回，而不需要重新加载原始页面A进行重复的转码处理。上述子资源数据，主要是指图片数据，Javascript资源及CSS(Cascading Style Sheets，层叠样式表)资源在转码时已进行处理，不需要返回。例如，对于某个站点的页面，在一定时间段内，会被多个用户同时或者相继访问。在第一次访问该页面时，通过缓存其转码后的页面，那么在后继访问该页面时可以直接使用缓存的页面数据来进行响应。例如对于某个小说页面如果总计有100次访问，则除第1次需要进行转码处理外，其余99次都可以直接使用转码页缓存。因此，避免了不必要的转码处理，既减少了服务器的CPU资源开销，也加快了页面浏览的响应耗时。

但是，现有的转码页缓存方法，在标识转码页的缓存关键字key中，带有原页面的路径信息，这个路径信息是基于域名的。某些小说类站点为了用户访问便利或者营销的因素，通常会使用多个域名，通常一个站点有2～3个域名不等，虽然域名不同，但站点页面内容是一致的(因为指向的互联网web服务器一样)。这一点在图片类站点中更为突出，有些站点甚至有过百个域名。而图片类站点还存在一种场景，其域名会不定期发生变更，可能与站点方租用的域名服务商的租用规则相关，也有可能与图片站点为了避免其图片资源被盗用相关。

以“书书网”小说正文页面地址为例，对于以下相同的页面，转码页缓存key由于带有原页面的路径信息，会保存两份数据。举例，转码页缓存key增加了“transcode:”前缀，以和普通页面缓存key相区分。

页面地址1：http://shushu.com.cn/yuanzhenxiaxili/594

转码页缓存key:

transcode:http://shushu.com.cn/yuanzhenxiaxili/594

页面地址2：http://www.shushu.com.cn/yuanzhenxiaxili/594

转码页缓存key:

transcode:http://www.shushu.com.cn/yuanzhenxiaxili/594

由于这两个分属不同域名的相同相对路径页面内容本身是一样的(从同一个互联网web服务器获取的相同相对路径页面)，即其转码后的页面也是一致的。所以，这样会导致转码页缓存存在冗余数据。更进一步而言，这两个页面分别首次访问，则中转服务器都需要进行转码处理。还是以“书书网”为例，假定其两个域名下各有2次相同相对路径的页面(yuanzhenxiaxili/594)访问，则由于转码页缓存key带有域名信息，首次访问都需要转码，则共需进行2次转码操作(每个域名各1次)，2次直接使用转码页结果；对于某些频繁更改域名的可转码站点(其web服务器通常保持不变)，例如图片类站点，已存储的转码页缓存数据则失去用处，因为域名信息的不同导致不能命中转码页缓存key。

因此，现有的转码页缓存方法有待完善。

发明内容

为解决上述技术问题，本发明实施例提供一种转码资源缓存处理方法、装置及设备，能有效减少转码页缓存的冗余数据。

根据本发明的一个方面，提供一种转码资源缓存处理方法，包括：获取站点方的站点域名与站点IP地址的映射信息；获取站点域名页面的基于域名路径的转码页缓存关键字；基于所述映射信息中的站点IP地址，生成转码页缓存关键字替换字符串；用所述转码页缓存关键字替换字符串替换所述转码页缓存关键字中的站点域名，得到基于IP路径的转码页缓存关键字；以及，存储与所述基于IP路径的转码页缓存关键字对应的转码页缓存数据。

可选的，所述基于所述映射信息中的站点IP地址，生成转码页缓存关键字替换字符串包括：获取基于站点方名称的站点标识；获取站点方的站点域名的页面版式标识；以及将所述站点标识、页面版式标识以及与站点域名映射对应的IP地址相组合，生成转码页缓存关键字替换字符串。

可选的，所述获取站点方的站点域名的页面版式标识包括：获取同一站点方的多个站点域名的首页数据；根据对各站点域名的首页数据两两进行双向差量运算的结果小于或等于设定阈值，检测出页面内容是一致或相近的页面；将页面内容是一致或相近的页面所对应的站点域名按照相似关系进行分组；以及对同一站点方的不同组进行页面版式识别并设置页面版式标识。

可选的，所述对同一站点方的不同组进行页面版式识别包括：依次从每个组抽取一个站点域名的首页，对首页的页面内容基于html标记及属性信息来识别每个组的页面版式。

可选的，所述方法还包括：建立所述被替换站点域名与所述站点IP地址映射的转码页缓存域名映射关系表。

可选的，所述方法还包括：通过定期监测所述站点域名页面、站点域名或站点IP地址的变化，更新所述转码页缓存域名映射关系表。

可选的，所述方法还包括：在接收到的浏览器客户端的可转码页面请求的页面地址的站点域名存在于所述转码页缓存域名映射关系表的情况下，用所述转码页缓存域名映射关系表中的转码页缓存关键字替换字符串替换所述页面地址的站点域名，得到转码页缓存关键字；以所述转码页缓存关键字在转码页缓存系统中查找到转码页缓存数据后，发送给所述浏览器客户端。

可选的，所述方法还包括：在以所述转码页缓存关键字在转码页缓存系统中查找不到转码页缓存数据的情况下，按所述页面地址加载页面，并对加载的页面进行转码处理；在转码处理后的页面地址的站点域名存在于所述转码页缓存域名映射关系表的情况下，用所述转码页缓存域名映射关系表中的转码页缓存关键字替换字符串替换所述页面地址的站点域名，得到转码页缓存关键字；将所述转码页缓存关键字对应的转码页缓存数据存储到所述转码页缓存系统。

根据本发明的另一个方面，提供一种转码资源缓存处理装置，包括：映射模块，用于获取站点方的站点域名与站点IP地址的映射信息；关键字模块，用于获取站点域名页面的基于域名路径的转码页缓存关键字；字符串生成模块，用于基于所述映射模块的映射信息中的站点IP地址，生成转码页缓存关键字替换字符串；转换模块，用于用所述字符串生成模块生成的转码页缓存关键字替换字符串替换所述转码页缓存关键字中的站点域名，得到基于IP路径的转码页缓存关键字；缓存模块，用于存储与所述转换模块的基于IP路径的转码页缓存关键字对应的转码页缓存数据。

可选的，所述字符串生成模块包括：站点标识模块，用于获取基于站点方名称的站点标识；版式标识模块，用于获取站点方的站点域名的页面版式标识；生成模块，用于将所述站点标识模块的站点标识、所述版式标识模块的页面版式标识以及与站点域名映射对应的IP地址相组合，生成转码页缓存关键字替换字符串。

可选的，所述版式标识模块是获取同一站点方的多个站点域名的首页数据，根据对各站点域名的首页数据两两进行双向差量运算的结果小于或等于设定阈值，检测出页面内容是一致或相近的页面，将页面内容是一致或相近的页面所对应的站点域名按照相似关系进行分组，以及对同一站点方的不同组进行页面版式识别并设置页面版式标识。

可选的，所述装置还包括：关系表模块，用于建立所述被替换站点域名与所述站点IP地址映射的转码页缓存域名映射关系表。

可选的，所述装置还包括：监测及更新模块，用于通过定期监测所述站点域名页面、站点域名或站点IP地址的变化，更新所述关系表模块的转码页缓存域名映射关系表。

可选的，所述装置还包括：处理模块，用于在接收到的浏览器客户端的可转码页面请求的页面地址的站点域名存在于所述关系表模块的转码页缓存域名映射关系表的情况下，用所述转码页缓存域名映射关系表中的转码页缓存关键字替换字符串替换所述页面地址的站点域名，得到转码页缓存关键字；查找模块，用于以所述转码页缓存关键字在转码页缓存系统中查找到转码页缓存数据后，发送给所述浏览器客户端。

可选的，所述装置还包括：转码处理模块，用于在所述查找模块以所述转码页缓存关键字在转码页缓存系统中查找不到转码页缓存数据的情况下，按所述页面地址加载页面，并对加载的页面进行转码处理；所述处理模块在转码处理后的页面地址的站点域名存在于所述转码页缓存域名映射关系表的情况下，用所述转码页缓存域名映射关系表中的转码页缓存关键字替换字符串替换所述页面地址的站点域名，得到转码页缓存关键字；所述缓存模块将所述转码页缓存关键字对应的转码页缓存数据存储到所述转码页缓存系统。

根据本发明的另一个方面，提供一种处理设备，包括存储器和处理器，所述存储器存储站点方的站点域名与站点IP地址的映射信息、站点域名页面的基于域名路径的转码页缓存关键字；所述处理器获取存储器存储的站点方的站点域名与站点IP地址、站点域名页面的基于域名路径的转码页缓存关键字，基于所述映射信息中的站点IP地址，生成转码页缓存关键字替换字符串，用所述转码页缓存关键字替换字符串替换所述转码页缓存关键字中的站点域名，得到基于IP路径的转码页缓存关键字；所述存储器根据所述处理器得到的基于IP路径的转码页缓存关键字，存储与所述基于IP路径的转码页缓存关键字对应的转码页缓存数据。

可以发现，本发明实施例的技术方案，获取站点域名页面的基于域名路径的转码页缓存关键字key后，通过将转码页缓存key去除域名相关信息，改为使用IP地址信息，即将站点IP地址作为转码页缓存关键字替换字符串，替换转码页缓存关键字中的站点域名得到基于IP路径的转码页缓存关键字，因为多个域名可以对应唯一一个IP地址，所以对于某个具体相对路径下的页面，将域名路径信息替换为IP路径信息后，就只要存储一份转码页缓存数据就可以，多个域名下的该页面访问都可以复用这一份转码页缓存数据，从而可以实现有效减少转码页缓存的冗余数据。

进一步的，本发明实施例可以将所述站点标识、页面版式标识以及与站点域名映射对应的IP地址相组合，生成转码页缓存关键字替换字符串，可以去除IP地址相同但站点方不同的虚拟主机的情形。

进一步的，本发明实施例还可以建立所述被替换站点域名与所述站点IP地址映射的转码页缓存域名映射关系表，用于后续接收到相关页面请求时根据该转码页缓存域名映射关系表进行处理，可以简化处理流程。

进一步的，本发明实施例可通过定期监测所述站点域名页面、站点域名或站点IP地址的变化，更新所述转码页缓存域名映射关系表。

进一步的，本发明实施例可以接收浏览器客户端发送的可转码的页面请求后，在请求的页面地址的站点域名存在于所述转码页缓存域名映射关系表的情况下，通过字符串替换和添加转码页缓存关键字前缀得到转码页缓存关键字，然后以所述转码页缓存关键字在转码页缓存系统中查找转码页缓存数据，将查找到的转码页缓存数据发送给所述浏览器客户端。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1是根据本发明的一个实施例的转码资源缓存处理方法的示意性流程图；

图2是根据本发明的一个实施例的转码资源缓存处理方法的另一示意性流程图；

图3是根据本发明的一个实施例的转码资源缓存处理方法的另一示意性流程图；

图4是根据本发明的一个实施例的转码资源缓存处理方法中检测不同域名的页面相似性及输出转码页缓存域名映射关系表的示意性流程图；

图5是根据本发明的一个实施例的转码资源缓存处理方法中根据转码页缓存域名映射关系表进行处理的示意性流程图；

图6是本发明的一种转码资源缓存处理处理装置的示意性方框图；

图7是本发明的一种转码资源缓存处理处理装置的另一示意性方框图；

图8是本发明的一种转码资源缓存处理处理装置的另一示意性方框图；

图9是本发明的一种处理设备的示意性方框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本发明实施例提供一种转码资源缓存处理方法，能有效减少转码页缓存的冗余数据。

在介绍本发明实施例方案前，先介绍本发明本发明实施例的相关术语。

站点方：是指运营某个站点的web内容提供方。例如“书书网”、“潇湘书院”等。一个站点方可能有多个站点域名。

站点方名称：是指转码站点中用以标识站点方的名称，例如“书书网”、“潇湘书院”等都是有效的站点方名称。在转码站点的运营工作中，站点方名称都是唯一的，即使站点方的域名或者IP(Internet Protocol，网络协议)地址发生改变站点方名称也不会变化，除非站点方的运营内容发生改变。

IP地址：是指通过数字和点按照格式组合的标识串，其可以唯一定位接入到全球网络拓扑中的节点。可以这样认为，IP地址相当于是一个门牌，可以定位该节点在网络中的位置，作为信息传输的路由依据。

域名：是指以字母和点按照格式组合的标识串，可以视为接入到全球网络拓扑中的节点的别名。当基于域名定位节点时，需要DNR(Domain Name Resolver，域名解析)服务提供支持，解析出节点实际的IP地址。一个域名可以对应一个IP地址，多个域名也可以对应一个IP地址。

以下结合附图详细描述本发明实施例方案。

图1是根据本发明的一个实施例的转码资源缓存处理方法的示意性流程图。

如图1所示，在步骤101中，获取站点方的站点域名与站点IP地址的映射信息。

在步骤102中，获取站点域名页面的基于域名路径的转码页缓存关键字。

例如，以“书书网”小说正文页面地址为例，页面地址http://shushu.com.cn/yuanzhenxiaxili/594对应的基于域名路径转码页缓存key为：transcode:http://shushu.com.cn/yuanzhenxiaxili/594。

在步骤103中，基于所述映射信息中的站点IP地址，生成转码页缓存关键字替换字符串。

在步骤104中，用所述转码页缓存关键字替换字符串替换所述转码页缓存关键字中的站点域名，得到基于IP路径的转码页缓存关键字。

例如，以“书书网”前述页面为例，把其站点IP地址“http://27.255.67.30”替换转码页缓存key中路径信息里的域名“http://shushu.com.cn”，得到的基于IP路径的转码页缓存key为:transcode:http://27.255.67.30/yuanzhenxiaxili/594。

在步骤105中，存储与所述基于IP路径的转码页缓存关键字对应的转码页缓存数据。

该步骤中，将与所述基于IP路径的转码页缓存关键字对应的转码页缓存数据存储到中转服务器的转码页缓存系统。

可以发现，本发明实施例的方案中，获取站点域名页面的基于域名路径的转码页缓存关键字key后，通过将转码页缓存key去除域名相关信息，改为使用IP地址信息，即将站点IP地址作为转码页缓存关键字替换字符串，替换转码页缓存关键字中的站点域名得到基于IP路径的转码页缓存关键字，因为多个域名可以对应唯一一个IP地址，所以对于某个具体相对路径下的页面，将域名路径信息替换为IP路径信息后，就只要存储一份转码页缓存数据就可以，多个域名下的该页面访问都可以复用这一份转码页缓存数据，从而可以实现有效减少转码页缓存的冗余数据。

以之前示例的“书书网”的前述页面为例，如果把其站点IP地址替换转码页缓存key中路径信息里的域名，则两个不同域名的页面地址和替换后的转码页缓存key如下所示：

页面地址1：http://shushu.com.cn/yuanzhenxiaxili/594

转码页缓存key:

transcode:http://27.255.67.30/yuanzhenxiaxili/594

页面地址2：http://www.shushu.com.cn/yuanzhenxiaxili/594

转码页缓存key:

transcode:http://27.255.67.30/yuanzhenxiaxili/594

可以发现，两个不同域名的页面，其基于IP路径的转码页缓存key现在是一致的，而如果使用现有技术方案，则得到的是两个不同的转码页缓存key。因此，使用本发明实施例的方案，可以实现以下效果：

1)可以减少转码页缓存数据的冗余程度，在有限的缓存容量下，可以存储更多的转码页缓存数据。

2)可以减少中转服务器对于不同域名下重复页面的转码次数，从而减少过多转码处理对浏览中转服务的影响。还是以“书书网”为例，假定其两个域名下各有2次相同相对路径的页面(yuanzhenxiaxili/594)访问，则现有技术方案由于转码页缓存key带有域名信息，首次访问需要转码，则共需进行2次转码操作(每个域名各1次)，2次直接使用转码页缓存数据；使用本发明实施例方案，则只需要1次转码操作，3次直接使用转码页缓存数据，从而减少了转码处理次数，提高了转码页缓存数据的复用率。

3)对于某些频繁更改域名的可转码站点(其web服务器通常保持不变)，例如前述的图片类站点，使用本发明实施例方案后，只要中转服务器有其新域名关联到IP地址的信息，则可以继续使用已存储的转码页缓存数据，而不会导致这些转码页缓存数据无效；而使用现有技术方案，这种场景下已存储的转码页缓存数据将失去用处，因为域名信息的不同导致不能命中转码页缓存key，也就查找不到转码页缓存数据。

图2是根据本发明的一个实施例的转码资源缓存处理方法的另一示意性流程图。

如图2所示，在步骤201中，获取站点方的站点域名与站点IP地址的映射信息。

本发明的实施例中，可以先获取站点方的多个域名到IP地址的映射信息。

在步骤202中，获取站点域名页面的基于域名路径的转码页缓存关键字。

该步骤参见步骤102的描述。

在步骤203中，获取基于站点方名称的站点标识和站点方的站点域名的页面版式标识，将所述站点标识、页面版式标识以及与站点域名映射对应的IP地址相组合，生成转码页缓存关键字替换字符串。

该步骤将站点标识、页面版式标识以及与站点域名映射对应的IP地址相组合生成转码页缓存关键字替换字符串，可以去除IP地址相同但站点方不同的虚拟主机的情形。

该步骤中，获取基于站点方名称的站点标识是将站点方名称的字符串内容进行设定运算并将运算结果进行设定编码后，取编码的前设定个字符作为站点标识。

该步骤中，获取站点方的站点域名的页面版式标识包括：获取同一站点方的多个站点域名的首页数据；根据对各站点域名的首页数据两两进行双向差量运算的结果小于或等于设定阈值，检测出页面内容是一致或相近的页面；将页面内容是一致或相近的页面所对应的站点域名按照相似关系进行分组；以及对同一站点方的不同组进行页面版式识别并设置页面版式标识。

其中，获取同一站点方的多个站点域名的首页数据是通过相同的http请求字段获取同一站点方的多个站点域名的首页数据。

在步骤204中，用所述转码页缓存关键字替换字符串替换所述转码页缓存关键字中的站点域名，得到转码页缓存关键字。

在步骤205中，存储与所述转码页缓存关键字对应的转码页缓存数据。

在步骤206中，建立被替换站点域名与站点IP地址映射的转码页缓存域名映射关系表。

需说明的是，步骤205与步骤206没有必然的顺序关系。

还需说明的是，本发明实施例方案还可以通过定期监测所述站点域名页面、站点域名或站点IP地址的变化，更新所述建立的转码页缓存域名映射关系表。定期的时间根据需要设定，例如可以设定一个较短的间隔，如每10分钟等但不局限于此。

通过定期监测，可以便于发现是否出现不同域名页面不一致的问题，可以及时从转码页缓存域名映射关系表中下线有问题的域名；通过定期监测，可以监测到域名变化情况，及时更新转码页缓存域名映射关系表；通过定期监测，可以发掘更多的多域名转码站点，及时添加到转码页缓存域名映射关系表表；通过定期监测，可以识别站点IP地址变更(一般很少出现)，及时添加新的站点IP地址信息到转码页缓存域名映射关系表。

可以发现，本发明实施例的方案中，将站点标识、页面版式标识以及与站点域名映射对应的IP地址相组合，生成转码页缓存关键字替换字符串，替换页面的转码页缓存关键字中的域名，得到新的转码页缓存关键字，因为多个域名可以对应唯一一个IP地址，所以对于某个具体相对路径下的页面，将域名路径信息替换包含IP路径信息后，只要存储一份转码页缓存数据，则多个域名下的该页面访问，都可以复用这一份转码页缓存数据，从而可以实现有效减少转码页缓存的冗余数据。另外建立了所述被替换站点域名与所述站点IP地址映射的转码页缓存域名映射关系表，从而可以支撑中转服务器根据转码页缓存域名映射关系表实施新的转码页处理流程。

图3是根据本发明的一个实施例的转码资源缓存处理方法的另一示意性流程图。该图3流程在将站点IP地址作为缓存关键字替换字符串替换域名，并建立述被替换站点域名与所述站点IP地址映射的转码页缓存域名映射关系表后，由中转服务器根据转码页缓存域名映射关系表执行新的处理流程。

如图3所示，在步骤301中，获取同一站点方的多个站点域名与站点IP地址的映射信息。

在步骤302中，获取站点域名页面的基于域名路径的转码页缓存关键字。

在步骤303中，将所述映射信息中的站点IP地址作为转码页缓存关键字替换字符串，替换页面的转码页缓存关键字中的域名，得到基于IP路径的转码页缓存关键字。

在步骤304中，存储与所述基于IP路径的转码页缓存关键字对应的转码页缓存数据。

在步骤305中，建立所述被替换站点域名与所述站点IP地址映射的转码页缓存域名映射关系表。需说明的是，步骤304和305没有必然的顺序关系。

在步骤306中，中转服务器接收浏览器客户端发送的可转码的页面请求。

在步骤307中，在请求的页面地址的站点域名存在于所述转码页缓存域名映射关系表的情况下，用所述转码页缓存域名映射关系表中的转码页缓存关键字替换字符串替换所述页面地址的站点域名，得到转码页缓存关键字。

在步骤308中，以所述转码页缓存关键字在转码页缓存系统中查找转码页缓存数据，将查找到的转码页缓存数据发送给所述浏览器客户端。

需说明的是，上述流程还可以包括：在请求的页面地址的站点域名不存在于所述转码页缓存域名映射关系表的情况下，在所述页面地址前添加转码页缓存关键字前缀作为转码页缓存关键字；以所述转码页缓存关键字在转码页缓存系统中查找转码页缓存数据，将查找到的转码页缓存数据发送给所述浏览器客户端。

可以发现，该实施例中，在将站点IP地址作为缓存关键字替换字符串替换域名，并建立述被替换站点域名与所述站点IP地址映射的转码页缓存域名映射关系表后，中转服务器可以根据转码页缓存域名映射关系表执行新的处理流程，在请求的页面地址的站点域名存在于所述转码页缓存域名映射关系表的情况下，可以直接以转码页缓存关键字在转码页缓存系统中查找到转码页缓存数据后，发送给所述浏览器客户端，不需要再重新进行转码，从而减少转码处理次数，提高转码页缓存数据的复用率。

图4是根据本发明的一个实施例的转码资源缓存处理方法中检测不同域名的页面相似性及输出转码页缓存域名映射关系表的示意性流程图。

本发明实施例方案中，对于指向同一个IP地址(也即指向同一个web服务器)的多个域名站点，需要先识别出页面内容是一致的或者相近的页面再进行处理。

需要说明的是，一般的对于页面内容是一致的情况，其页面转码后的内容肯定是一致的。而对于页面内容是相近的情况，其转码后的内容也能够保持一致；这是因为这一类站点在不同域名下可能投放的广告是不同的，或者是一些运营类的动态信息会基于域名不同而存在差异，但对于页面的关键信息，例如首页(一级页面)的板块信息、小说/图片列表页(二级页面)的列表信息、小说正文/图片正文(三级页面)的主要内容等，这些关键信息在不同域名下基本是保持一致的，而转码正是保留这些关键信息，所以这类站点的页面的转码页内容也是一致的。

本发明实施例的方案，可以通过各个域名页面的首页数据的比对，来确定多个域名的页面实际上使用了同一个IP地址，也即使用了同一个web服务器，从而可以输出有效的基于IP路径信息的转码页缓存映射关系表。

如图4所示，在步骤401中，按照站点方维度划分多域名站点。

例如划分为站点方1、站点方2....等，其中站点方1有3个域名，站点方2有4个域名....等。

在步骤402中，依次选择每个站点方执行检测处理，进入步骤403。

在步骤403中，对依次选择的站点方以相同的http请求字段依次获取该站点方下的多个域名的首页数据。

其中的http请求字段包括用户代理User-Agent字段、接受Accept字段等。该步骤选择使用相同的http请求字段，能够避免目标站点可能基于User-Agent字段或者Accept字段的不同而应答不同版式的页面，从而混淆了检测结果。例如同一个站点的首页，其wap(Wireless Application Protocol，无线应用通讯协议)版/html5(HyperText MarkupLanguage，超级文本标记语言)版/web版页面之间都会存在很大的差异。

在步骤404中，对于获取的各域名首页数据，两两进行双向差量运算来检测其是否相同/相似，将相同/相似的页面所对应的域名按照相似关系进行分组，进入步骤405。如果运算后不存在有效的虚拟组，则返回步骤402。

该步骤中，根据对各站点域名的首页数据两两进行双向差量运算的结果小于或等于设定阈值检测出页面内容是一致或相近的页面。

例如，对于参与差量运算的域名A的首页a1和域名B的首页b1，如果其之间的双向差量运算的两个增量delta率都不大于设定阈值1％(即小于或等于1％)，则认为a1和b1是相同或者相似的，则可将域名A和域名B的成功次数分别加1；如果其之间的双向差量运算的其中一个或者两个delta率大于1％，则认为a1和b1之间存在较大差异，则域名A和域名B的失败次数分别加1。需说明的是，上述是以设定阈值为1％举例说明但不局限因此。

举例说明，假定站点方“xxxxx”有三个域名，A(首页a1)、B(首页b1)、C(首页c1)。

场景1：如果这三个首页数据都相同或者相似，则两两差量运算后的结果如下：

域名A:成功2次，失败0次

域名B:成功2次，失败0次

域名C:成功2次，失败0次

场景2：如果a1与b1/c1都有差异，而b1和c1相同或者相似，则两两差量运算后的结果如下：

域名A:成功0次，失败2次

域名B:成功1次，失败1次

域名C:成功1次，失败1次

在两两差量运算后，对于只有失败结果没有成功结果的域名，说明其首页和该站点方其他域名的首页不相似，则标记其为无效，不加入到转码页缓存域名映射关系表中，因为其只有一个域名，也没有必要进行转码页缓存key转换。

对于剩余的域名，按照相似关系进行聚合，例如a1和b1之间是成功的，且b1和c1之间是成功的，则肯定存在a1和c1也是成功的，故a1、b1、c1都是相似的，归为同一个虚拟组。

在步骤405中，对同一个站点方内的不同虚拟组进行页面版式识别，如果各个站点方组别的页面版式都识别后进入步骤406，否则返回步骤402对下一站点方执行处理。

因为有可能存在同一个站点方使用不同的域名指向不同版式的页面，例如m.abc.com和www.abc.com都属于站点方ABC的域名，且指向同一个IP地址，但前者是html5版式页面，后者是PC版式页面，这种场景是有可能的，因此需要对同一个站点方内的不同虚拟组进行页面版式识别，以进一步确定其页面版式差异。

该405步骤可以包括：依次从每个虚拟组随机抽取一个域名的首页，可以按现有的基于html标记及属性信息的方法来识别该虚拟组页面的版式，本发明在此不作赘述。识别完毕后可以再为虚拟组设置版式标识，即为每一个虚拟组进行版式标识，例如标识为wap版虚拟组、html5版虚拟组或PC版虚拟组等。

在步骤406中，在完成各个站点方组别的页面版式识别后，生成按照站点方进行区分的域名映射的转码页缓存key替换字符串。

一般都是同一站点方的多个域名可以指向同一个IP地址，但是由于存在虚拟主机服务，例如不同的站点方都是用了同一个虚拟主机服务，有可能存在不同站点方组的域名都指向同一个IP地址的场景。也就是说，对于多个域名指向同一个IP地址的场景，不一定这些相关域名的页面都是相同的。因为部分站点可能使用了虚拟主机业务，即服务器是由提供商维护的，其实体只有一台服务器，通过对域名的识别而转接到不同服务端口上来支撑多个实体站点web资源的运营。所以有可能会存在两个或多个相互毫无关系的站点，但其域名都指向了同一个IP地址(虚拟主机服务器)的场景。因此，本发明实施例在生成转页缓存映射关系表时可以进一步按照站点方进行区分，以避免上述问题的出现。

本发明通过生成按照站点方进行区分的域名映射的转码页缓存key替换字符串，可以识别出上述不适合基于IP路径信息的转码页缓存的站点域名。

该步骤中生成按照站点方进行区分的域名映射的转码页缓存key替换字符串的过程包括：

1)获取基于站点方名称的站点标识。

具体可以包括：基于站点方名称的字符串内容，进行设定运算例如进行md5(Message Digest Algorithm 5，消息摘要算法第五版)运算，结果使用设定编码例如base64(传输8Bit字节代码的编码方式之一)方式编码，再取前设定个例如8个字符作为“站点标识”。

2)基于所属虚拟组的页面版式，生成“版式标识”，比如“wap”、“html5”、“PC”等都是可用的标识。需说明的是，如果前述已经设置了版式标识，则可以直接获取虚拟组的版式标识。

3)将所述站点标识、版式标识和与站点域名映射对应的IP地址，组合生成域名映射的转码页缓存key替换字符串。

例如，域名www.abc.com的站点标识是8B6H3FrP，其页面版式是PC版，其对应的IP地址是123.123.123.123，则建立以下映射关系：

域名：

www.abc.com

组合生成的域名映射的缓存key替换字符串:

8B6H3FrP:PC:http://123.123.123.123

在步骤407中，存储转码页缓存域名映射关系表供后续的输出。

该步骤中，将生成的按照站点方进行区分的域名映射的转码页缓存key替换字符串存储到转码页缓存域名映射关系表中，转码页缓存域名映射关系表中还记录站点域名与所述站点IP地址映射关系。

可以发现，本发明实施例通过上述处理，如果某个站点方新增了域名，则基于以上所述的检测机制，可以及时添加该域名到转码页缓存域名映射关系表，使其可复用转码页缓存数据。如果某个站点方的所有PC版域名都发生变化，但IP地址保持不变，可以及时更新这些域名到转码页缓存域名映射关系表，同时由于站点方名称、页面版式、IP地址不变，故这一系列域名的转码页缓存key替换字符串也保持不变，可以复用已存储的相应转码页缓存数据。这样，就可以解决转码站点频繁变更域名导致转码页缓存数据不能复用的问题。如果某个站点方的IP地址发生改变，即使其相关域名没有发生变化，但由于转码页缓存key是使用IP地址作为转码页缓存key替换字符串，所以转码页缓存域名映射关系表更新后将不能再使用已存储的转码页缓存数据。不过，通常这种场景很少发生，因为其出现的原因通常是站点发生迁移并伴随着页面的改版，这种情况的概率比较小。

图5是根据本发明的一个实施例的转码资源缓存处理方法中根据转码页缓存域名映射关系表进行处理的示意性流程图。

图5的流程主要是在于写入和读取转码页缓存数据时，基于转码页缓存域名映射关系表执行不同处理。

如图5所示，在步骤501中，中转服务器接收浏览器客户端的可转码页面请求。

在步骤502中，检查请求的页面地址的域名是否存在于转码页缓存域名映射关系表中，如果存在，则需要进行域名信息替换，转步骤503，如果不存在，则不需要进行域名信息替换，转步骤504。

在步骤503中，将页面地址的域名以所述转码页缓存域名映射关系表中的转码页缓存key替换字符串进行替换，并在页面地址前添加转码页缓存key前缀作为转码页缓存key。进入步骤505。

以下是一个页面地址进行替换后的转码页缓存key示例：

transcode:5RT29FGJ:PC:http://27.255.67.30/yuanzhenxiaxili/594

在步骤504中，不需要进行域名信息替换，在原始的页面地址前添加转码页缓存key前缀作为转码页缓存key。进入步骤505。

在步骤505中，以转码页缓存key查询转码页缓存系统，如果查找到转码页缓存数据，转步骤511；如果没有查找到转码页缓存数据，转步骤506。

在步骤506中，没有查找到转码页缓存数据，按原始的页面地址加载页面，并对加载的页面进行转码处理。进入步骤507。

在步骤507中，检查转码处理后的页面地址的域名是否存在于转码页缓存域名映射关系表中，如果存在，则需要进行域名信息替换，则转步骤508，如果不存在，则不需要进行域名信息替换，转步骤509。

在步骤508中，将页面地址的域名以转码页缓存key替换字符串进行替换，并在页面地址前添加转码页缓存key前缀作为转码页缓存key。进入步骤510。

在步骤509中，在原始的页面请求地址前添加转码页缓存key前缀作为转码页缓存key。进入步骤510。

在步骤510中，基于转码页缓存key，将转码页缓存key对应的转码页缓存数据写入到转码页缓存系统。进入步骤512。

在步骤511中，将查找到的转码页缓存数据应答给浏览器客户端。进入步骤512。

在步骤512中，完成浏览器客户端发送的该次转码请求处理，结束流程。

综上所述，本发明实施例的方案，将域名路径信息替换为IP路径信息后，就只要存储一份转码页缓存数据就可以，多个域名下的该页面访问都可以复用这一份转码页缓存数据，从而可以实现有效减少转码页缓存数据的冗余数据。而且，转码站点方指向同一个IP地址的域名个数越多(比较离散)，则该技术方案效益越大，转码站点的不同域名的用户访问路径聚合程度越高，可减少越多的不必要转码页缓存数据，效益也越大。

上述详细介绍了本发明的转码资源缓存处理方法，相应的，本发明还提供一种装置及设备。

图6是本发明的一种转码资源缓存处理处理装置的示意性方框图。

如图6所示，在转码资源缓存处理装置中包括：映射模块61、关键字模块62、字符串生成模块63、转换模块64、缓存模块65。

映射模块61，用于获取站点方的站点域名与站点IP地址的映射信息。

关键字模块62，用于获取站点域名页面的基于域名路径的转码页缓存关键字。

字符串生成模块63，用于基于所述映射模块61的映射信息中的站点IP地址，生成转码页缓存关键字替换字符串。

转换模块64，用于用所述字符串生成模块63生成的转码页缓存关键字替换字符串替换所述转码页缓存关键字中的站点域名，得到基于IP路径的转码页缓存关键字。

缓存模块65，用于存储与所述转换模块64的基于IP路径的转码页缓存关键字对应的转码页缓存数据。

图7是本发明的一种转码资源缓存处理处理装置的另一示意性方框图。

如图7所示，在转码资源缓存处理装置中包括：映射模块61、关键字模块62、字符串生成模块63、转换模块64、缓存模块65，这些模块参见图6描述。

其中，所述字符串生成模块63还包括：站点标识模块631、版式标识模块632、生成模块633。

站点标识模块631，用于获取基于站点方名称的站点标识。

版式标识模块632，用于获取站点方的站点域名的页面版式标识。

生成模块633，用于将所述站点标识模块的站点标识、所述版式标识模块的页面版式标识以及与站点域名映射对应的IP地址相组合，生成转码页缓存关键字替换字符串。

其中，站点标识模块631是将站点方名称的字符串内容进行设定运算并将运算结果进行设定编码后，取编码的前设定个字符作为站点标识。

其中，所述版式标识模块632是获取同一站点方的多个站点域名的首页数据，根据对各站点域名的首页数据两两进行双向差量运算的结果小于或等于设定阈值，检测出页面内容是一致或相近的页面，将页面内容是一致或相近的页面所对应的站点域名按照相似关系进行分组，以及对同一站点方的不同组进行页面版式识别并设置页面版式标识。

其中，所述版式标识模块632获取同一站点方的多个站点域名的首页数据是通过相同的http请求字段获取同一站点方的多个站点域名的首页数据。

其中，所述装置中还包括关系表模块66。

关系表模块66，用于建立所述被替换站点域名与所述站点IP地址映射的转码页缓存域名映射关系表。

其中，所述装置还包括监测及更新模块67。

监测及更新模块67，用于通过定期监测所述站点域名页面、站点域名或站点IP地址的变化，更新所述关系表模块66的转码页缓存域名映射关系表。定期的时间根据需要设定，例如可以设定一个较短的间隔，如每10分钟等但不局限于此。

图8是本发明的一种转码资源缓存处理处理装置的另一示意性方框图。

如图7所示，在转码资源缓存处理装置中包括：映射模块61、关键字模块62、字符串生成模块63、转换模块64、缓存模块65、关系表模块66、监测及更新模块67，这些模块参见图7描述。

其中，在装置中还包括：处理模块68、查找模块69。

处理模块68，用于在接收到的浏览器客户端的可转码页面请求的页面地址的站点域名存在于所述关系表模块66的转码页缓存域名映射关系表的情况下，用所述转码页缓存域名映射关系表中的转码页缓存关键字替换字符串替换所述页面地址的站点域名，得到转码页缓存关键字。

查找模块69，用于以所述转码页缓存关键字在转码页缓存系统中查找到转码页缓存数据后，发送给所述浏览器客户端。

另外，处理模块68在请求的页面地址的站点域名不存在于所述转码页缓存域名映射关系表的情况下，在所述页面地址前添加转码页缓存关键字前缀作为转码页缓存关键字，查找模块69以所述转码页缓存关键字在转码页缓存系统中查找转码页缓存数据，将查找到的转码页缓存数据发送给所述浏览器客户端。

其中，所述装置还包括转码处理模块610。

转码处理模块610，用于在查找模块69以所述转码页缓存关键字在转码页缓存系统中查找不到转码页缓存数据的情况下，按所述页面地址加载页面，并对加载的页面进行转码处理。

处理模块68在转码处理后的页面地址的站点域名存在于所述转码页缓存域名映射关系表的情况下，用所述转码页缓存域名映射关系表中的转码页缓存关键字替换字符串替换所述页面地址的站点域名，得到转码页缓存关键字。

缓存模块65将所述转码页缓存关键字对应的转码页缓存数据存储到所述转码页缓存系统。

另外，处理模块68在转码处理后的页面地址的站点域名不存在于所述转码页缓存域名映射关系表的情况下，在所述页面地址前添加转码页缓存关键字前缀作为转码页缓存关键字；缓存模块65将所述转码页缓存关键字对应的转码页缓存数据存储到所述转码页缓存系统。

图9是本发明的一种处理设备的示意性方框图。

如图9所示，处理设备中包括存储器91和处理器92。

存储器91存储站点方的站点域名与站点IP地址的映射信息、站点域名页面的基于域名路径的转码页缓存关键字。

处理器92获取存储器91存储的站点方的站点域名与站点IP地址、站点域名页面的基于域名路径的转码页缓存关键字，基于所述映射信息中的站点IP地址，生成转码页缓存关键字替换字符串，用所述转码页缓存关键字替换字符串替换所述转码页缓存关键字中的站点域名，得到基于IP路径的转码页缓存关键字。

存储器91根据所述处理器92得到的基于IP路径的转码页缓存关键字，存储与所述基于IP路径的转码页缓存关键字对应的转码页缓存数据。

上文中已经参考附图详细描述了根据本发明的技术方案。

此外，根据本发明的方法还可以实现为一种计算机程序，该计算机程序包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。或者，根据本发明的方法还可以实现为一种计算机程序产品，该计算机程序产品包括计算机可读介质，在该计算机可读介质上存储有用于执行本发明的上述方法中限定的上述功能的计算机程序。本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (14)

1.一种转码资源缓存处理方法，其特征在于，包括：

获取站点方的站点域名与站点IP地址的映射信息；

获取站点域名页面的基于域名路径的转码页缓存关键字；

基于所述映射信息中的站点IP地址，生成转码页缓存关键字替换字符串；

用所述转码页缓存关键字替换字符串替换所述转码页缓存关键字中的站点域名，得到基于IP路径的转码页缓存关键字；

存储与所述基于IP路径的转码页缓存关键字对应的转码页缓存数据；以及

建立被替换站点域名与所述站点IP地址映射的转码页缓存域名映射关系表。

2.根据权利要求1所述的方法，其特征在于，所述基于所述映射信息中的站点IP地址，生成转码页缓存关键字替换字符串包括：

获取基于站点方名称的站点标识；

获取站点方的站点域名的页面版式标识；以及

将所述站点标识、页面版式标识以及与站点域名映射对应的IP地址相组合，生成转码页缓存关键字替换字符串。

3.根据权利要求2所述的方法，其特征在于，所述获取站点方的站点域名的页面版式标识包括：

获取同一站点方的多个站点域名的首页数据；

根据对各站点域名的首页数据两两进行双向差量运算的结果小于或等于设定阈值，检测出页面内容是一致或相近的页面；

将页面内容是一致或相近的页面所对应的站点域名按照相似关系进行分组；以及

对同一站点方的不同组进行页面版式识别并设置页面版式标识。

4.根据权利要求3所述的方法，其特征在于，所述对同一站点方的不同组进行页面版式识别包括：

依次从每个组抽取一个站点域名的首页，对首页的页面内容基于html标记及属性信息来识别每个组的页面版式。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过定期监测所述站点域名页面、站点域名或站点IP地址的变化，更新所述转码页缓存域名映射关系表。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在接收到的浏览器客户端的可转码页面请求的页面地址的站点域名存在于所述转码页缓存域名映射关系表的情况下，用所述转码页缓存域名映射关系表中的转码页缓存关键字替换字符串替换所述页面地址的站点域名，得到转码页缓存关键字；

以所述转码页缓存关键字在转码页缓存系统中查找到转码页缓存数据后，发送给所述浏览器客户端。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

在以所述转码页缓存关键字在转码页缓存系统中查找不到转码页缓存数据的情况下，按所述页面地址加载页面，并对加载的页面进行转码处理；

在转码处理后的页面地址的站点域名存在于所述转码页缓存域名映射关系表的情况下，用所述转码页缓存域名映射关系表中的转码页缓存关键字替换字符串替换所述页面地址的站点域名，得到转码页缓存关键字；

将所述转码页缓存关键字对应的转码页缓存数据存储到所述转码页缓存系统。

8.一种转码资源缓存处理装置，其特征在于，包括：

映射模块，用于获取站点方的站点域名与站点IP地址的映射信息；

关键字模块，用于获取站点域名页面的基于域名路径的转码页缓存关键字；

字符串生成模块，用于基于所述映射模块的映射信息中的站点IP地址，生成转码页缓存关键字替换字符串；

转换模块，用于用所述字符串生成模块生成的转码页缓存关键字替换字符串替换所述转码页缓存关键字中的站点域名，得到基于IP路径的转码页缓存关键字；

缓存模块，用于存储与所述转换模块的基于IP路径的转码页缓存关键字对应的转码页缓存数据；

关系表模块，用于建立被替换站点域名与所述站点IP地址映射的转码页缓存域名映射关系表。

9.根据权利要求8所述的装置，其特征在于，所述字符串生成模块包括：

站点标识模块，用于获取基于站点方名称的站点标识；

版式标识模块，用于获取站点方的站点域名的页面版式标识；

生成模块，用于将所述站点标识模块的站点标识、所述版式标识模块的页面版式标识以及与站点域名映射对应的IP地址相组合，生成转码页缓存关键字替换字符串。

10.根据权利要求9所述的装置，其特征在于：

所述版式标识模块是获取同一站点方的多个站点域名的首页数据，根据对各站点域名的首页数据两两进行双向差量运算的结果小于或等于设定阈值，检测出页面内容是一致或相近的页面，将页面内容是一致或相近的页面所对应的站点域名按照相似关系进行分组，以及对同一站点方的不同组进行页面版式识别并设置页面版式标识。

11.根据权利要求8所述的装置，其特征在于，所述装置还包括：

监测及更新模块，用于通过定期监测所述站点域名页面、站点域名或站点IP地址的变化，更新所述关系表模块的转码页缓存域名映射关系表。

12.根据权利要求8所述的装置，其特征在于，所述装置还包括：

处理模块，用于在接收到的浏览器客户端的可转码页面请求的页面地址的站点域名存在于所述关系表模块的转码页缓存域名映射关系表的情况下，用所述转码页缓存域名映射关系表中的转码页缓存关键字替换字符串替换所述页面地址的站点域名，得到转码页缓存关键字；

查找模块，用于以所述转码页缓存关键字在转码页缓存系统中查找到转码页缓存数据后，发送给所述浏览器客户端。

13.根据权利要求12所述的装置，其特征在于，所述装置还包括：

转码处理模块，用于在所述查找模块以所述转码页缓存关键字在转码页缓存系统中查找不到转码页缓存数据的情况下，按所述页面地址加载页面，并对加载的页面进行转码处理；

所述处理模块在转码处理后的页面地址的站点域名存在于所述转码页缓存域名映射关系表的情况下，用所述转码页缓存域名映射关系表中的转码页缓存关键字替换字符串替换所述页面地址的站点域名，得到转码页缓存关键字；

所述缓存模块将所述转码页缓存关键字对应的转码页缓存数据存储到所述转码页缓存系统。

14.一种处理设备，其特征在于，包括存储器和处理器，

所述存储器存储站点方的站点域名与站点IP地址的映射信息、站点域名页面的基于域名路径的转码页缓存关键字；

所述处理器获取存储器存储的站点方的站点域名与站点IP地址、站点域名页面的基于域名路径的转码页缓存关键字，基于所述映射信息中的站点IP地址，生成转码页缓存关键字替换字符串，用所述转码页缓存关键字替换字符串替换所述转码页缓存关键字中的站点域名，得到基于IP路径的转码页缓存关键字，建立被替换站点域名与所述站点IP地址映射的转码页缓存域名映射关系表；

所述存储器根据所述处理器得到的基于IP路径的转码页缓存关键字，存储与所述基于IP路径的转码页缓存关键字对应的转码页缓存数据。

Images