CN105302672A - 应用于网页快照的数据处理方法及系统 - Google Patents

Abstract

本发明公开一种应用于网页快照的数据处理方法及系统，其中，所述方法包括：获取网页的网页数据；根据所述网页数据和所述网页的前版快照数据对比确定二者中表达相同网页内容的数据，所述前版快照数据的时间早于所述网页数据的时间；将所述网页数据中表达所述相同网页内容的数据替换为用于标志这些数据的编码得到当前版快照数据。采用本发明，能够根据用户信息对用户进行分析，从而向用户推荐符合用户需求的更新内容；此外，根据用户需求下载更新内容，不仅满足了用户需求，还能节省用户存储空间，避免流量或宽带资源的浪费，提高用户体验。

Description

应用于网页快照的数据处理方法及系统

技术领域

本发明涉及数据处理领域，更具体地，涉及一种应用于网页快照的数据处理方法及系统。

背景技术

随着互联网的爆发性发展，互联网应用系统所存储的数据以及网页数量在不断增加。随着网页个性化展示以及网页内容的不断完善与修改，网页往往更新迭代形成多个历史版本。互联网为了可以便捷查看网页修改前后的对比，往往将历史快照数据存储于系统中。传统的网页历史快照主要用于网络搜索引擎中，其目的是为了形成搜索索引，快速检索目标网页。

现有的网页修改历史快照数据存储方法主要是使用全量存储的方法，即将前一个版本的网页与修改后的网页完整的保存下来。随着时间的推移和网页修改次数不断增多，互联网系统所需要存储的数据也会持续较快的增长，这对于网页数据频繁修改的互联网系统来说，大大增加了对存储空间的需求以及处理的成本。同时，随着电子商务系统的发展，由于电子商务系统对于用户个性化设计具有较高需求的特性，对于不同等级的会员展示的页面元素可能不一样，如折扣、价格、优惠信息、运费信息、赠品信息等，加重了网页版本差别的形成众多网页历史快照版本的问题。

现有的网页历史快照技术主要应用于网络搜索引擎，一般采用全量保存网页历史快照的方法，导致互联网系统需要花费大量的存储空间来存储网页快照数据，特别是在爆发性增长的电子商务系统中，存储空间的需求及成本负担较大。

发明内容

为解决上述技术问题，本发明提供了一种应用于网页快照的数据处理方法及数据处理系统，能够大大减少存储网页历史快照所需的存储空间，降低处理成本，例如，降低网页修改历史快照数据所需的成本。

一方面，本发明实施例提供了一种应用于网页快照的数据处理方法，包括：

获取网页的网页数据；

根据所述网页数据和所述网页的前版快照数据对比确定二者中表达相同网页内容的数据，所述前版快照数据的时间早于所述网页数据的时间；

将所述网页数据中表达所述相同网页内容的数据替换为用于标志这些数据的编码得到当前版快照数据。

另一方面，本发明实施例提供一种应用于网页快照的数据处理系统，包括：

数据获取模块，用于获取网页的网页数据；

数据对比模块，用于根据所述网页数据和所述网页的前版快照数据对比确定二者中表达相同网页内容的数据，所述前版快照数据的时间早于所述网页数据的时间；

数据替换模块，用于将所述网页数据中表达所述相同网页内容的数据替换为用于标志这些数据的编码得到当前版快照数据。

采用本发明实施例，具有以下优点：

1)通过将网页数据中表达相同网页内容的数据替换为相应的编码，不仅能有效地存储网页的历史快照数据，还能够大大节省快照数据的存储空间，降低成本；

2)通过预先保存多个版本的快照数据，有利于旧版快照数据的查询与获取；

3)通过建立用户编码与网页名称编码二者与当前版快照数据的对应关系，有利于分用户地保存历史快照数据，满足用户的个性化需求，特别适用于在电商平台中为用户提供个性化的页面展示。

附图说明

图1A是根据本发明实施例的一种应用于网页快照的数据处理方法的流程示意图；

图1B是根据本发明实施例的一种实现图1A所示处理12的流程示意图；

图2A是根据本发明实施例的一种应用于网页快照的数据处理系统的框图；

图2B是根据本发明实施例的一种数据对比模块的框图；

图3是根据本发明实施例的一种应用于网页快照的数据处理系统的框图。

具体实施方式

下面将结合附图对本发明实施例中的技术方案进行清楚、完整的描述。

图1A是根据本发明实施例的一种应用于网页快照的数据处理方法的流程示意图，参照图1A，该方法包括：

10：获取网页的网页数据。

可选地，在本实施例的一种实现方式中，处理10可通过以下方式实现：首先接收触发网页快照的触发请求，该触发请求中携带有用于标志网页的网页名称编码。其中，触发请求包括但不限于订单下单交易完成、网页页面数据修改、新商品发布等。然后，根据网页名称编码获取该网页名称编码所对应的网页的网页数据。

当然，在本实现方式中还可以保存网页名称编码与网页数据的对应关系，以便于后续根据网页名称编码查找网页数据或查找经过特定处理后的网页数据。

12：根据网页数据和网页的前版快照数据对比确定二者中表达相同网页内容的数据。其中，所述前版快照数据的时间早于所述网页数据的时间。

14：针对所述网页数据进行数据替换处理得到当前版快照数据。其中，数据替换处理是指：将网页数据中表达所述相同网页内容的数据替换为用于标志这些数据的编码。

采用本实施例提供的方法，通过将网页数据中表达相同网页内容的数据替换为相应的编码，不仅能有效地存储网页的历史快照数据，还能够大大节省快照数据的存储空间，降低成本。

可选地，在本实施例的一种实现方式中，在处理10中，触发请求中除了包括网页名称编码之外，还携带有用于标志用户的用户编码。这样，就可以保存网页名称编码和用户编码二者与网页数据的对应关系。在这种情况下，可以针对同一网页获取/保存对应不同用户的网页数据，满足用户的个性化需求，特别适用于在电商平台中为用户提供个性化的页面展示。

可选地，在本实施例的一种实现方式中，如图1B所示，处理12可以通过处理120至124来实现。下面具体说明。

120：将前版快照数据中的编码替换为该编码所标志的HTML(HyperTextMarkupLanguage，超文本标记语言)标签的HTML内容。

在本实现方式中，预先保存多个版本的快照数据。其中的部分版本(例如，除了时间最早的版本之外的版本)的快照数据可以包括HTML内容与编码，其中的编码用于标志相应的HTML内容。采用本实现方式，一方面能够提供旧版本的网页历史快照数据，另一方面，为后续的数据替换处理提供了数据对比基础。

当然，在本实现方式中，如果前版快照数据是保存的所述网页的唯一一版快照数据，则无需执行处理120，只需执行处理122和124。

122：数据分割与编码处理。具体而言，以HTML标签为单位将网页数据和前版快照数据分割得到多段与HTML标签对应的HTML内容，并为前版快照数据中的HTML标签编码。

124：数据对比处理。具体而言，采用文本比较算法将所述网页数据中同层级的标签与所述前版快照数据中的所有标签进行对比处理，确定可替换标签。其中，可替换标签是指网页数据和前版快照数据中具有相同HTML内容的HTML标签。

其中，在处理124中，如果网页数据中当前对比的HTML标签与前版快照数据中的HTML标签均存在差异，并且当前对比的HTML标签包含子标签，则将子标签与前版快照数据中的HTML标签逐个对比。依次类推，确定出所有的可替换标签。

可选地，在本实施例的一种实现方式中，如果在处理124中确定网页数据中当前对比的HTML标签与前版快照数据中的HTML标签均存在差异，并且当前对比的HTML标签不包含子标签，则保存当前对比的HTML标签的内容以及设置的用于标志该HTML标签的编码。

采用本实现方式提供的方式，通过数据分割、对比等处理能够准确确定当前网页数据与前版快照数据的异同，而通过编码并建立编码与HTML内容(或HTML标签)的对应关系，也就可以通过编码检索到对应的HTML内容，为后续的处理14提供基础。

在采用以上方式实现处理12之后，在处理14中，可以将网页数据中的可替换标签的HTML内容替换为该可替换标签的编码。

图2A是根据本发明实施例的一种应用于网页快照的数据处理系统的框图，参照图2A，数据处理系统20包括数据获取模块21、数据对比模块22和数据替换模块23。下面分别进行说明。

在本实施例中，数据获取模块21用于获取网页的网页数据。

可选地，在本实施例的一种实现方式中，数据获取模块21包括：接收子模块，用于接收触发网页快照的触发请求，该触发请求中携带有用于标志网页的网页名称编码；获取子模块，用于根据网页名称编码获取该网页名称编码所对应的网页的网页数据。

可选地，在本实施例的一种实现方式中，触发请求中除了携带网页名称编码之外还可携带用于标志用户的用户编码。此时，如图2A中的虚线框所示，数据处理系统20可以通过第一数据存储模块24存储网页名称编码和用户编码二者与网页数据的对应关系，以便于后续根据网页名称编码和用户编码查询该网页对应于该用户的快照数据。

在本实施例中，数据对比模块22用于根据网页数据和网页的前版快照数据对比确定二者中表达相同网页内容的数据。其中，前版快照数据的时间早于网页数据的时间。

可选地，在本实施例的一种实现方式中，如图2B所示，数据对比模块22包括数据恢复子模块221、分割编码子模块222和对比子模块223。

数据恢复子模块221，用于将所述前版快照数据中的编码替换为该编码所标志的HTML标签的HTML内容。当然，如果所述前版快照数据中不包含编码，则无需调用数据恢复子模块221，而可以直接调用分割编码子模块222和对比子模块223。

分割编码子模块222，用于以HTML标签为单位将网页数据和前版快照数据分割得到多段与HTML标签对应的HTML内容，并为前版快照数据中的HTML标签编码。

对比子模块223，用于采用文本比较算法将网页数据中同层级的标签与前版快照数据中的所有标签进行对比处理，确定可替换标签。其中，可替换标签是指网页数据和前版快照数据中具有相同HTML内容的HTML标签。

在对比子模块223的对比处理中，如果网页数据中当前对比的HTML标签与前版快照数据中的HTML标签均存在差异，并且当前对比的HTML标签包含子标签，则将子标签与前版快照数据中的HTML标签逐个对比。依此类推直至对比完所有的标签/子标签。

可选地，在本实现方式中，如图2A中的虚线框所示，数据处理系统20还可以包括第二数据存储模块25，其用于在对比子模块23确定网页数据中当前对比的HTML标签与前版快照数据中的HTML标签均存在差异，并且当前对比的HTML标签不包含子标签时，保存当前对比的HTML标签的内容以及设置的用于标志该HTML标签的编码。

可选地，在本实现方式中，数据替换模块23具体用于将网页数据中的可替换标签的HTML内容替换为可替换标签的编码。

采用本实施例提供的数据处理系统，能够大大节省快照数据的存储空间，降低成本。此外，还能够保存多个版本的历史快照数据，并且能够为不同用户提供不同的个性化页面展示。

在本实施例中，关于相关名称、术语的解释，以及关于各个模块、子模块所执行处理或可执行处理的详细说明请参见方法实施例中的说明，此处不赘述。

以上分模块地对根据本发明实施例的应用于网页快照的数据处理系统20进行了说明，本领域技术人员应当理解，以上只是本发明的一种实施例，在该实施例的记载或启发下，本领域技术人员能很容易地以不同模块实现本发明实施例中各个模块的作用，例如，将本发明实施例中的某模块的功能拆分为由多个模块实现，或者将某模块的功能与其它模块合并，或者，将某模块的部分功能合并至其它模块，这均落在本发明的保护范围之内。

图3是根据本发明实施例的一种应用于网页快照的数据处理系统的框图，参照图3，数据处理系统30具有与数据处理系统20不同的功能划分。具体而言，数据处理系统30包括数据获取模块31、数据对比处理模块32、数据存储模块33和数据管理模块34。下面分别进行说明。

数据获取模块31，用于接收触发网页快照的触发请求，该触发请求中包含网页名称编码和用户编码，以及，用于根据网页名称编码获取对应的网页数据并将网页名称编码、用户编码发送至数据管理模块34。

数据存储模块33，用于分类存储网页历史快照数据。

数据管理模块34，用于负责所有网页历史快照的查询、恢复等功能。数据管理模块34在接收到数据获取模块31发送的请求后，根据网页名称编码(在其它实施例中，也可以根据网页名称编码和用户编码)进行查询，确定数据存储模块33中是否保存有相应网页的历史快照数据。如果不存在，则保存当前网页数据作为该网页最新版本的网页历史快照数据；如果存在，则恢复前一版本的网页历史快照数据(以下简称为前版快照数据)，并将该网页历史快照数据传送至数据对比模块32进行比较。

数据对比处理模块32负责根据数据获取模块31发送来的网页数据与数据管理模块34发送来的前版快照数据生成当前版快照数据。并将当前版快照数据发送至数据存储模块33。

与图2A所示实施例相比，本实施例中的数据管理模块34能够实现数据对比模块22的数据恢复子模块221的功能，数据对比处理模块32则能够实现数据对比模块22的分割编码子模块222和对比子模块223的功能以及数据替换模块23的功能。也就是说，在本发明提供的数据处理系统中，各模块或子模块的功能可以合理地组合或拆分，本发明对此不做具体限制。

在本实施例中，为了便于检索，还建立网页名称编码和用户编码二者与各版本快照数据(包括：当前版快照数据和前版快照数据)的对应关系。

在本实施例中，以网页A具有网页A1、网页A2两个版本的网页快照且其中A1的快照时间较早为例，对数据对比处理模块32所执行的对比与处理的步骤进行说明。

步骤1：为网页文件A、A1、A2分别设置唯一的网页版本编码。例如，假设网页名称编码为123456789，则网页文件A、A1和A2的网页版本编码可以是12345678900001、12345678900002和12345678900003。

步骤2：以HTML标签为单位将A1、A2分割，首先将A1各个层级的标签进行编码，从标签开始至标签结束为一段HTML内容。这样，可以通过编码(例如，网页版本编码+标签编码)检索到对应文件对应标签的HTML内容。

步骤3：将A2中同层级的标签与A1的标签使用文本比较算法进行比较，如果存在HTML内容相同的HTML标签，则将网页A2中的与网页A1中HTML内容相同的标签的HTML内容替代为该标签的编码；如果A2中当前对比的标签与A1中的标签存在差异，则分以下两种情况进行处理：(1)存在差异且当前对比的标签存在子标签，则将子标签逐个与网页A1的标签通过使用文本比较算法进行比较；(2)存在差异且当前对比的标签不存在子标签，则将当前对比的标签编码并保存当前对比标签的内容，以便在将网页A更后面的版本A3与A2进行对比时，直接按照此处的编码进行数据替换。

其中，文本比较算法包括但不限于LD(LevenshteinDistance)算法、Needleman/Wunsch算法、Nakatsu算法等。

按上述规则将A2中同层级的标签与A1的标签进行比较和处理之后，则A2版本中所存储的快照数据主要是与A1不同的那部分HTML内容。

在步骤3之后，数据对比处理模块32将得到的当前版快照数据反馈至数据管理模块34，再由数据管理模块34将当前快照数据存储于数据存储模块33，并存储当前网页历史快照与网页名称编码、用户编码绑定关系。

采用本实施例提供的应用于网页快照的数据处理系统30，能够大大节省快照数据的存储空间，降低成本。此外，还能够保存多个版本的历史快照数据，并且能够为不同用户提供不同的个性化页面展示。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上所揭露的仅为本发明的优选实施例而已，当然不能以此来限定本发明的保护范围，因此依本发明权利要求的教导对上述实施例所作的等同变化，仍属于本发明权利要求所涵盖的范围内。

Claims (14)

1.一种应用于网页快照的数据处理方法，其特征在于，所述方法包括：

获取网页的网页数据；

根据所述网页数据和所述网页的前版快照数据对比确定二者中表达相同网页内容的数据，所述前版快照数据的时间早于所述网页数据的时间；

将所述网页数据中表达所述相同网页内容的数据替换为用于标志这些数据的编码得到当前版快照数据。

2.如权利要求1所述的方法，其特征在于，所述获取网页的网页数据包括：

接收触发网页快照的触发请求，所述触发请求中携带有用于标志所述网页的网页名称编码；

根据所述网页名称编码获取该网页名称编码所对应的网页的网页数据。

3.如权利要求2所述的方法，其特征在于，所述触发请求中还携带有用于标志用户的用户编码。

4.如权利要求3所述的方法，其特征在于，所述方法还包括：

保存所述网页名称编码和用户编码二者与所述当前版快照数据的对应关系。

5.如权利要求1所述的方法，其特征在于，根据所述网页数据和所述网页的前版快照数据对比确定二者中表达相同网页内容的数据，包括：

将所述前版快照数据中的编码替换为该编码所标志的HTML标签的HTML内容；

以HTML标签为单位将所述网页数据和所述前版快照数据分割得到多段与HTML标签对应的HTML内容，并为所述前版快照数据中的HTML标签编码；

采用文本比较算法将所述网页数据中同层级的标签与所述前版快照数据中的所有标签进行对比处理，确定可替换标签，所述可替换标签是指所述网页数据和所述前版快照数据中具有相同HTML内容的HTML标签，

在所述对比处理中，如果所述网页数据中当前对比的HTML标签与所述前版快照数据中的HTML标签均存在差异，并且当前对比的HTML标签包含子标签，则将子标签与所述前版快照数据中的HTML标签逐个对比。

6.如权利要求5所述的方法，其特征在于，所述方法还包括：

如果在所述对比处理中确定所述网页数据中当前对比的HTML标签与所述前版快照数据中的HTML标签均存在差异，并且当前对比的HTML标签不包含子标签，则保存当前对比的HTML标签的内容以及设置的用于标志该HTML标签的编码。

7.如权利要求5所述的方法，其特征在于，将所述网页数据中表达所述相同网页内容的数据替换为用于标志这些数据的编码，包括：

将所述网页数据中的所述可替换标签的HTML内容替换为所述可替换标签的编码。

8.一种应用于网页快照的数据处理系统，其特征在于，所述系统包括：

数据获取模块，用于获取网页的网页数据；

数据对比模块，用于根据所述网页数据和所述网页的前版快照数据对比确定二者中表达相同网页内容的数据，所述前版快照数据的时间早于所述网页数据的时间；

数据替换模块，用于将所述网页数据中表达所述相同网页内容的数据替换为用于标志这些数据的编码得到当前版快照数据。

9.如权利要求8所述的系统，其特征在于，所述数据获取模块包括：

接收子模块，用于接收触发网页快照的触发请求，所述触发请求中携带有用于标志所述网页的网页名称编码；

获取子模块，用于根据所述网页名称编码获取该网页名称编码所对应的网页的网页数据。

10.如权利要求9所述的系统，其特征在于，所述触发请求中还携带有用于标志用户的用户编码。

11.如权利要求10所述的系统，其特征在于，所述系统还包括：

第一数据存储模块，用于存储所述网页名称编码和用户编码二者与所述网页数据的对应关系。

12.如权利要求8所述的系统，其特征在于，所述数据对比模块包括：

数据恢复子模块，用于将所述前版快照数据中的编码替换为该编码所标志的HTML标签的HTML内容；

分割编码子模块，用于以HTML标签为单位将所述网页数据和所述前版快照数据分割得到多段与HTML标签对应的HTML内容，并为所述前版快照数据中的HTML标签编码；

对比子模块，用于采用文本比较算法将所述网页数据中同层级的标签与所述前版快照数据中的所有标签进行对比处理，确定可替换标签，所述可替换标签是指所述网页数据和所述前版快照数据中具有相同HTML内容的HTML标签，

在所述对比处理中，如果所述网页数据中当前对比的HTML标签与所述前版快照数据中的HTML标签均存在差异，并且当前对比的HTML标签包含子标签，则将子标签与所述前版快照数据中的HTML标签逐个对比。

13.如权利要求12所述的系统，其特征在于，所述系统还包括：

第二数据存储模块，用于在所述对比子模块确定所述网页数据中当前对比的HTML标签与所述前版快照数据中的HTML标签均存在差异，并且当前对比的HTML标签不包含子标签时，保存当前对比的HTML标签的内容以及设置的用于标志该HTML标签的编码。

14.如权利要求12所述的系统，其特征在于，所述数据替换模块用于：

将所述网页数据中的所述可替换标签的HTML内容替换为所述可替换标签的编码。