CN107784064A - 网页数据处理方法、装置、计算机设备及计算机存储介质 - Google Patents

Abstract

本发明涉及一种网页数据处理方法、装置、计算机设备及计算机存储介质。该网页数据处理方法包括：爬取网页的第一网页数据；将第一网页数据与配置数据库中存储的第二网页数据进行匹配；当第一网页数据未与第二网页数据匹配成功时，则将第一网页数据进行拆分得到拆分数据；当拆分数据与第二网页数据匹配成功时，则标记与拆分数据匹配成功的配置数据库中存储的第二网页数据；将标记的第二网页数据对应的提示信息返回至网页，还包括网页数据处理装置、计算机设备及计算机存储介质。根据对第一网页拆分得到的拆分数据，查询到正确的关联的提示信息，进而发送到网页进行显示，无需整个代码的编写，大大减少开发量，适用性强。

Description

网页数据处理方法、装置、计算机设备及计算机存储介质

技术领域

本发明涉及计算机技术领域，特别是涉及一种网页数据处理方法、装置、计算机设备及计算机存储介质。

背景技术

随着互联网的发展，从网络上获取信息已成为人们生活中重要的获取信息途径，随着网络上多元化信息的增多，用户对网页上显示的信息需求也更个性化，通常采用网络爬取系统在互联网上的待爬取网页中爬取所需数据，进而使得展现给用户的网页可以提供更精确的数据以及更及时的更新。

一般地，我们希望将从待爬取网页中爬取的网页数据以统一的形式呈现给用户，但是当一些待爬取网页中出现有网页数据的更改时，根据网页数据无法直接获取到统一的网页数据的提示信息，从而导致待显示网页会出现显示错误，针对不同的网站以及不同的网页数据，都需要开发整体的代码，使得输出与网页数据对应的提示信息，再进行测试运维等一整套流程，导致开发工作量大，适用性不强。

发明内容

基于此，有必要针对将不同网站的网页数据以统一的提示信息输出时，开发工作量大，适用性不强的问题，提供一种网页数据处理方法、系统、计算机设备及计算机存储介质。

一种网页数据处理方法，所述方法包括：

爬取网页的第一网页数据；

将所述第一网页数据与配置数据库中存储的第二网页数据进行匹配，所述配置数据库中存储与第二网页数据对应的提示信息；

当所述第一网页数据未与所述配置数据库中存储的第二网页数据匹配成功时，则将所述第一网页数据进行拆分得到拆分数据；

将所述拆分数据与所述配置数据库中存储的第二网页数据进行匹配；

当所述拆分数据与所述配置数据库中存储的第二网页数据匹配成功时，则标记与所述与拆分数据匹配成功的所述配置数据库中存储的第二网页数据；

将标记的第二网页数据对应的提示信息返回至所述网页。

在其中一个实施例中，所述当所述拆分数据与所述配置数据库中存储的第二网页数据匹配成功时，则标记与所述与拆分数据匹配成功的所述配置数据库中存储的第二网页数据的步骤，包括：

当所述拆分数据与所述配置数据库中存储的至少两个第二网页数据匹配成功时，计算每一个与所述拆分数据匹配成功的所述配置数据库中存储的所述第二网页数据的匹配率；

对所述匹配率最大的与所述拆分数据匹配成功的所述配置数据库中存储的所述第二网页数据进行标记。

在其中一个实施例中，所述方法还包括：

记录未与所述配置数据库中存储的第二网页数据匹配成功的第一网页数据的爬取次数；

当所述爬取次数超过预设值时，则获取与所述第一网页数据的拆分数据相匹配的提示信息作为与所述第一网页数据相匹配的提示信息；

将所述第一网页数据以及与所述第一网页数据相匹配的提示信息更新至所述配置数据库。

在其中一个实施例中，所述当所述拆分数据与所述配置数据库中存储的第二网页数据匹配成功时，则标记与所述拆分数据匹配成功的所述配置数据库中存储的第二网页数据的步骤还包括：

当所述拆分数据与所述配置数据库中存储的至少两个第二网页数据匹配成功时，接收所述配置数据库的调整指令；

根据所述配置数据库的调整指令，获取与所述第一网页数据的拆分数据相匹配的提示信息作为与所述第一网页数据相匹配的提示信息；

将所述第一网页数据以及与所述第一网页数据相匹配的提示信息更新至所述配置数据库作为新的第二网页数据并标记所述新的第二网页数据。

在其中一个实施例中，所述方法还包括：

当所述第一网页数据与所述配置数据库中存储的第二网页数据匹配成功时，则对与所述第一网页数据相匹配的所述配置数据库中的第二网页数据进行标记；

将所述配置数据库中所标记的第二网页数据对应的提示信息返回至所述网页。

一种网页数据处理装置，所述装置包括：

爬取模块，用于爬取网页的第一网页数据；

第一匹配模块，用于将所述第一网页数据与配置数据库中存储的第二网页数据进行匹配，所述配置数据库中存储第二网页数据和对应的提示信息；

拆分模块，用于当所述第一网页数据未与所述配置数据库中存储的第二网页数据匹配成功时，则将所述第一网页数据进行拆分得到拆分数据；

第二匹配模块，用于将所述拆分数据与所述配置数据库中存储的第二网页数据进行匹配；

第一标记模块，用于当所述拆分数据与所述配置数据库中存储的第二网页数据匹配成功时，则标记与所述与拆分数据匹配成功的所述配置数据库中存储的第二网页数据；

第一返回模块，用于将标记的第二网页数据对应的提示信息返回至所述网页。

在其中一个实施例中，所述标记模块包括：

计算单元，用于当所述拆分数据与所述配置数据库中存储的至少两个第二网页数据匹配成功时，计算所述每一个与所述拆分数据匹配成功的所述配置数据库中存储的数据的匹配率；

标记单元，用于对所述匹配率最大的与所述拆分数据匹配成功的所述配置数据库中存储的所述第二数据进行标记。

在其中一个实施例中，所述装置还包括：

记录模块，用于记录未与所述配置数据库中存储的第二网页数据匹配成功的第一网页数据的爬取次数；

获取模块，用于当所述爬取次数超过预设值时，则获取与所述第一网页数据的拆分数据相匹配的提示信息作为与所述第一网页数据相匹配的提示信息；

更新模块，用于将所述第一网页数据以及与所述第一网页数据相匹配的提示信息更新至所述配置数据库。

一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法中的步骤。

一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的步骤。

上述网页数据处理方法、装置、计算机设备及计算机存储介质，获取到第一网页数据后，当网页数据出现更改导致未与配置数据库中存储的第二网页数据匹配时，则对网页数据进行第一网页拆分，根据拆分数据，从而查询到正确的关联的提示信息，进而发送到网页进行显示，无需整个代码的编写，大大减少开发量，适用性强。

附图说明

图1为一实施例中网页数据处理方法应用场景图；

图2为一实施例中网页数据处理方法的流程图；

图3为图2所示实施例中步骤S210的流程图；

图4为一实施例中更新配置数据库步骤的流程图；

图5为图2所示实施例中步骤S210的另一流程图；

图6为一实施例中关联步骤的流程图；

图7为一实施例中网页数据处理装置的结构示意图；

图8为一实施例中计算机设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

在详细说明根据本发明的实施例前，应该注意到的是，所述的实施例主要在于与网页数据处理方法、装置、计算机设备和计算机存储介质相关的步骤和装置组件的组合。因此，所属装置组件和方法步骤已经在附图中通过常规符号在适当的位置表示出来了，并且只示出了与理解本发明的实施例有关的细节，以免因对于得益于本发明的本领域普通技术人员而言显而易见的那些细节模糊了本发明的公开内容。

在本文中，诸如左和右，上和下，前和后，第一和第二之类的关系术语仅仅用来区分一个实体或动作与另一个实体或动作，而不一定要求或暗示这种实体或动作之间的任何实际的这种关系或顺序。术语“包括”、“包含”或任何其他变体旨在涵盖非排他性的包含，由此使得包括一系列要素的过程、方法、物品或者设备不仅包含这些要素，而且还包含没有明确列出的其他要素，或者为这种过程、方法、物品或者设备所固有的要素。

请参见图1，提供一网页数据处理方法应用场景图，其中包括网页数据处理平台和用户终端，该用户终端可以是手提电脑、台式电脑、手机或平板电脑等，用户终端上可以设置有某APP(Application，手机软件)等，APP中可以嵌入相应的网页，如关于银行的网页或关于邮箱的网页，该网页数据处理平台上设置有配置数据库，网页数据处理平台可以爬取到用户终端中嵌入APP的网页上的第一网页数据，将第一网页数据与配置数据库中存储的第二网页数据进行匹配，进而选取与第二网页数据对应的提示信息，并将该提示信息发送到用户终端的APP，以在嵌入至APP的网页上进行显示。

请参见图2，在其中一个实施例中，提供一种网页数据处理方法的流程图，本实施例以该方法应用到上述图1中的网页数据处理平台中来举例说明，该网页数据处理平台上运行有网页数据处理程序，通过该网页数据处理程序来实施网页数据处理方法。该方法包括如下步骤：

S202：爬取网页的第一网页数据。

具体地，网页数据处理平台上设置有网络爬取程序，通过网页爬取程序，网页数据处理平台可以从嵌入至用户终端的APP中的网页上爬取到第一网页数据。第一网页数据是指存在于用户终端的APP中嵌入的网页上的内容等；具体地，第一网页数据可以是文字数据、图片数据、数字数据或相关错误信息数据等；例如，当嵌入至APP中的网页存在错误时，如用户输入的用户名错误时，网页展现“用户名错误”的错误信息，该用户名错误的错误信息即第一网页数据。

S204：将第一网页数据与配置数据库中存储的第二网页数据进行匹配，配置数据库中存储与第二网页数据对应的提示信息。

具体地，配置数据库是指存储有第二网页数据以及与第二网页数据相对应的提示信息的数据库。第二网页数据是指预先存储在配置数据库中的可能存在于嵌入至APP的网页上的内容；具体地，第二网页数据可以是文字数据、图片数据、数字数据或相关错误信息数据等。与第二网页数据相对应的提示信息可以是与相应的第二网页数据关联的提示信息，该提示信息可以在嵌入至APP中的网页上进行显示，例如，第二网页数据可以是“用户名输入错误”，相对应的提示信息是“请重新输入用户名”。网页数据处理平台将获取到的用户终端的APP中嵌入的第一网页数据与配置数据库中存储的第二网页数据进行匹配，进而选取相应的提示信息发送到用户终端的APP中嵌入的网页进行显示。

S206：当第一网页数据未与配置数据库中存储的第二网页数据匹配成功时，则将第一网页数据进行拆分得到拆分数据。

具体地，网页数据处理平台将爬取到的第一网页数据与配置数据库中存储的第二网页数据逐一进行匹配，若第一网页数据未与配置数据库中存储的第二网页数据匹配成功，则将爬取到的第一网页数据进行拆分，得到拆分数据。例如，第一网页数据为“用户名错误”，在配置数据库中未匹配到相应的“用户名错误”的第二网页数据，则将第一网页数据的“用户名错误”拆分为“用户名”和“错误”，得到“用户名”和“错误”两个拆分数据。需要说明的是，对第一网页数据进行拆分时，可以获取预先设置的拆分逻辑，根据该预先设置的拆分逻辑对第一网页数据进行拆分。其中，拆分逻辑可以是将第一网页数据拆分成数个标准术语，该标准术语是指具有独立语义的术语，其不受其之后或之前的文字的影响，仅通过术语内容的文字即可以确定完整的计算机专业概念，如对第一网页数据“验证码输入错误”按照使每个拆分数据具有独立的语义，且每个拆分数据为最短的进行拆分，得到“验证码”“输入”“错误”三个拆分数据。

S208：将拆分数据与配置数据库中存储的第二网页数据进行匹配。

具体地，将第一网页数据拆分后，将拆分数据逐一与配置数据库中存储的第二网页数据进行逐一匹配。例如，将第一网页数据“用户名错误”拆分得到拆分数据“用户名”和“错误”，将“用户名”和“错误”逐一与配置数据库中存储的第二网页数据进行匹配。例如，通过“用户名”可能匹配出3个第二网页数据，“用户名输入错误”、“用户名大小写混同”“不存在该用户名”，然后通过“错误”与该3个第二网页数据进行匹配，即可以得到一个第二网页数据，即“用户名输入错误”。

S210：当拆分数据与配置数据库中存储的第二网页数据匹配成功时，则标记与拆分数据匹配成功的配置数据库中存储的第二网页数据。

具体地，当拆分数据与配置数据库中存储的第二网页数据逐一匹配时，当与配置数据库中一个第二网页数据匹配成功时，则标记该匹配成功的第二网页数据。例如，将第一网页数据经过拆分后的拆分数据“用户名”和“错误”逐一与配置数据库中存储的第二网页数据匹配，将“用户名”和“错误”依次与第二网页数据进行匹配，其可以与第二网页数据中的“用户名输入错误”匹配成功，其余的第二网页数据未与拆分数据匹配成功，则将第二网页数据中存储的“用户名输入错误”进行标记。需要说明的是，可以对配置数据库中的存储的数据直接进行标记；还可以是，配置数据库中存储第二网页数据时，每一类第二网页数据可以对应的建立有相应的zookeeper(分布式系统的协调服务)主节点，zookeeper主节点下每个第二网页数据对应的有zookeeper子节点，当对数据标记时，可以是对相应的zookeeper子节点进行标记。如第二网页数据中“错误”类的数据统一存储在相应的zookeeper主节点下，“错误”类的数据如“用户名有误”、“验证码有误”等每个第二网页数据对应有zookeeper子节点，当对“用户名错误”进行标记时，则可以是对“用户名错误”的zookeeper子节点进行标记。

S212：将标记的第二网页数据对应的提示信息返回至网页。

具体地，网页数据处理平台根据在配置数据库中存储的第二网页数据的标记，将该标记的第二网页数据对应的提示信息返回到用户终端上的APP中嵌入的网页上。例如，拆分数据“用户名”和“错误”与第二网页数据逐一匹配，其可以与第二网页数据中存储的“用户名输入错误”匹配成功，将“用户名输入错误”进行标记，根据标记，网页数据处理平台将“用户名输入错误”的提示信息“请重新输入用户名”返回到用户终端上的APP中嵌入的网页上。

上述实施例中，网页数据处理平台爬取到用户终端的APP中嵌入的网页上的第一网页数据后，当第一网页数据出现更改导致与配置数据库中存储的第二网页数据匹配时，则对第一网页数据进行拆分，根据拆分数据，与存储在配置数据库中的第二网页数据进行匹配，将匹配成功的第二网页数据进行标记，从而根据标记，将相关的提示信息返回到用户终端的APP中嵌入的网页上，当第一网页数据与第二网页数据未匹配成功时，无需重新修改编写整个代码，大大减少了开发量，适用性强。

在其中一个实施例中，可参见图3，提供图2所示实施例的中步骤S210的流程图，步骤S210，即当所述拆分数据与所述配置数据库中存储的第二网页数据匹配成功时，则标记与所述与拆分数据匹配成功的所述配置数据库中存储的第二网页数据的步骤可以包括：

S302：当拆分数据与配置数据库中存储的至少两个第二网页数据匹配成功时，计算每一个与拆分数据匹配成功的配置数据库中存储的第二网页数据的匹配率。

具体地，当拆分数据与配置数据库中存储的第二网页数据进行逐一匹配时，若匹配到至少两个存储在配置数据库中的第二网页数据时，则计算存储在配置数据库中每一个与拆分数据匹配成功的第二网页数据和对应的拆分数据的匹配率。匹配率可以采用第一网页数据中的字符与第二网页数据中字符匹配成功的个数与第二网页数据的字符总个数的比值计算，例如，第一网页数据拆分后得到的拆分数据为“用户名”和“错误”，当分别与“用户名输入错误”或“用户名大小写输入错误”匹配成功时，则计算“用户名错误”与第二网页数据中的“用户名输入错误”的匹配率为71％，计算“用户名错误”与第二网页数据的“用户名大小写输入错误”的匹配率为50％。需要说明的是，可以将第一网页数据拆分成不同个数，从而得到不同个数的拆分数据，每个拆分数据依次与配置数据库中存储的第二网页数据进行匹配，根据实际拆分，可以匹配出多个第二网页数据；在对拆分数据与第二网页数据计算匹配率时，可以字符的匹配对匹配率进行计算。

S304：对匹配率最大的与拆分数据匹配成功的配置数据库中存储的第二网页数据进行标记。

具体地，例如上述实施例中，所计算的“用户名错误”与第二网页数据中的“用户名输入错误”的匹配率为71％，所计算“用户名错误”与第二网页数据中的“用户名大小写输入错误”的匹配率为50％，由于71％大于50％，则对该匹配出的“用户名输入错误”的第二数据进行标记。

上述实施例中，若将第一网页数据拆分后得到了拆分数据，与多个第二网页数据匹配成功时，则计算每个与拆分数据匹配成功的第二网页数据和对应的拆分数据的匹配率，对匹配率最大的第二网页数据进行标记，计算相应的匹配率从而标记匹配率最大的第二网页数据，则匹配准确，标记准确，且无需编写整个代码选取合适的匹配成功的第二网页数据，提高工作效率。

在其中一个实施例中，可参见图4，提供一更新配置数据库步骤的流程图，该更新配置数据库步骤可以在图2所示实施例中步骤S206之后执行，即在当第一网页数据未与配置数据库中存储的第二网页数据匹配成功时，则将第一网页数据进行拆分得到拆分数据的步骤之后执行，更新配置数据库的步骤可以包括：

S402：记录未与配置数据库中存储的第二网页数据匹配成功的第一网页数据的爬取次数。

具体地，当网页数据处理平台爬取到的第一网页数据与配置数据库中存储的第二网页进行匹配时，若未匹配成功，记录爬取到该第一网页数据的次数。例如，当网页数据处理平台爬取到的第一网页数据“用户名错误”与配置数据库中存储的第二网页数据进行匹配时，若没有匹配成功，则记录爬取该第一网页数据“用户名错误”的次数为1，若再次爬取到第一网页数据为“用户名错误”，该第一网页“用户名错误”与配置数据库中存储的第二网页数据进行匹配时，未匹配成功，则记录爬取该“用户名错误”的次数加1，为2。

S404：当爬取次数超过预设值时，则获取与第一网页数据的拆分数据相匹配的提示信息作为与第一网页数据相匹配的提示信息。

具体地，当网页数据处理平台爬取到第一网页数据未与配置数据库中的第二网页数据匹配成功时，记录接收该第一网页数据的爬取次数，当爬取次数超过预设值时，则认为该第一网页数据及与该第一网页数据匹配的提示信息需更新至配置数据库中，则根据对第一网页进行拆分得到的拆分数据与第二网页数据匹配成功时，与第二网页数据相对应的提示信息作为与该第一网页数据相匹配的提示信息。例如，当第一网页数据“用户名错误”未与存储在配置数据库中的第二网页数据匹配成功，则记录接收该第一网页数据“用户名错误”的爬取次数，当该爬取次数超过预设值5次时，则认为该第一网页数据“用户名错误”及与该第一网页数据“用户名错误”的提示信息需要更新至配置库中，则根据对“用户名错误”进行拆分得到拆分数据“用户名”和“错误”，若拆分数据与第二网页数据“用户名输入错误”匹配成功，则获取第二网页数据“用户名输入错误”的提示信息“请重新输入用户名”作为该第一网页数据“用户名错误”的提示信息。需要说明的是，预设值还可以是3次、7次或10次等，对第一网页数据进行拆分后得到的拆分数据若与至少两个第二网页数据匹配成功时，则计算每个匹配成功的第二网页数据与对应的拆分数据的匹配率，选择匹配率最大的第二网页数据对应的提示信息作为未拆分的第一网页数据的提示信息。

S406：将第一网页数据以及与第一网页数据相匹配的提示信息更新至配置数据库。

具体地，网页数据处理平台将认为需要存储的第一网页数据以及与第一网页数据匹配的提示信息更新至配置数据库，作为新的第二网页数据，方便后续相同的第一网页数据进行匹配。例如，获取到第一网页数据“用户名错误”相对应的提示信息为“请重新输入用户名”，则将该第一网页数据“用户名错误”与相对应的提示信息“请重新输入用户名”更新至配置数据库中，作为配置数据库中新的第二网页数据。

上述实施例中，根据未与配置数据库中存储的第二网页数据进行匹配成功的第一网页数据的爬取次数，可将第一网页数据以及与第一网页数据相匹配的提示信息直接更新至配置数据库中，无需过多人工运维，提供工作效率，节省人力。

在其中一个实施例中，可参见图5，提供图2所示实施例中步骤S210的另一流程图，步骤S210，即当拆分数据与配置数据库中存储的数据匹配成功时，则标记与拆分数据匹配成功的配置数据库中存储的数据的步骤，还可以包括：

S502：当拆分数据与配置数据库中存储的至少两个第二网页数据匹配成功时，接收配置数据库的调整指令。

具体地，当对未与第二网页数据匹配成功的第一网页数据进行拆分后得到拆分数据，当拆分数据与配置数据库中存储的第二网页数据至少有两个匹配成功时，则认为可以直接调整配置数据库，从而网页数据处理平台接收对配置数据库的调整指令。例如，第一网页数据拆分后得到的拆分数据为“用户名”和“错误”，当分别与“用户名输入错误”或“用户名大小写输入错误”匹配成功时，则认为可以直接调整配置数据库，则网页数据处理平台接收配置数据库的调整指令。

S504：根据配置数据库的调整指令，获取与第一网页数据的拆分数据相匹配的提示信息作为与第一网页数据相匹配的提示信息。

具体地，当网页数据平台接收到对配置数据库的调整指令，获取与拆分数据匹配成功的第二网页数据，并且获取该第二网页数据对应的提示信息，从而认为该提示信息是与第一网页数据进行拆分后得到的拆分数据最匹配的提示信息，并作为与该第一网页数据相匹配的提示信息。例如，第一网页数据拆分后得到的拆分数据为“用户名”和“错误”，当分别与“用户名输入错误”或“用户名大小写输入错误”匹配成功时，用户可以根据需要向网页数据处理平台输入调整指令，将“用户名错误”与“用户名输入错误”相关联，从而网页数据处理平台则获取“用户名输入错误”的提示信息“请重新输入用户名”，将该提示信息“请重新输入用户名”作为第一网页数据“用户名错误”的提示信息。

S506：将第一网页数据以及与第一网页数据相匹配的提示信息更新至配置数据库作为新的第二网页数据并标记新的第二网页数据。

具体地，将该第一网页数据和获取到的与该第一网页数据相匹配的提示信息更新在配置数据库中，作为该配置数据库中新的第二网页数据，并对该新的第二网页数据进行标记。例如，将第一网页数据“用户名错误”与获取到的与该第一网页数据“用户名错误”相匹配的提示信息“请重新输入用户名”更新在配置数据库中，作为该配置数据库中新的第二网页数据，并且对该第二网页数据进行标记，便于将该新的第二网页数据对应的提示信息发送到用户终端的APP中嵌入的网页。

上述实施例中，当第一网页数据拆分后得到的拆分数据与配置数据库中存储的至少两个第二网页数据匹配成功时，可根据需要接收调整指令，直接将相匹配的提示信息更新至配置数据库中，节省匹配时间，对配置数据库更新及时，适用性强。

在其中一个实施例中，可参见图6，提供一关联步骤的流程图，该关联步骤可在图2所示实施例中步骤S204之后执行，步骤S204，即将所述第一网页数据与配置数据库中存储的第二网页数据进行匹配，所述配置数据库中存储第二网页数据和对应的提示信息的步骤之后执行，该关联步骤可以包括：

S602：当第一网页数据与配置数据库中存储的第二网页数据匹配成功时，则对与第一网页数据相匹配的配置数据库中的第二网页数据进行标记。

具体地，当网页数据处理平台爬取到用户终端的APP中嵌入的网页的第一网页数据时，将第一网页数据与第二网页数据进行匹配，当该第一网页数据与第二网页数据匹配成功时，则将与第一网页数据匹配成功的第二网页数据进行标记。例如，网页数据处理平台获取到第一网页数据为“密码错误”，当成功与配置数据库中的第二网页数据进行匹配时，则将第二网页数据进行标记。

S604：将配置数据库中所标记的第二网页数据对应的提示信息返回至网页。

具体地，根据对第二网页数据的标记，获取到第二网页数据对应的提示信息，该提示信息即为第一网页数据的提示信息，则将该提示信息返回至用户终端的APP中嵌入的网页。例如，第一网页数据“密码错误”与配置数据库中的第二网页数据“密码错误”匹配成功，则根据对第二网页数据“密码错误”的标记，获取到第二网页数据“密码错误”的提示信息为“请重新输入密码”，则将该提示信息“请重新输入密码”作为第一网页数据的提示信息返回到用户终端的APP中嵌入的网页。

上述实施例中，若网页数据处理平台爬取到的第一网页数据与第二网页数据匹配成功，则直接获取第二网页数据的提示信息作为第一网页的提示信息，并将该提示信息返回到用户终端的APP中嵌入的网页上，针对不同网页的第一网页数据，都可直接在配置数据库中匹配，如果匹配成功则可直接获取到相关的提示信息，无需针对每个网站开发独立的代码，减少开发量，匹配效率高，适用性强。

在其中一个实施例中，提供另一网站数据处理方法。本实施例以该方法应用到网站数据处理平台来举例说明。

具体地，网站数据处理平台爬取到嵌入到用户终端中的网页上的第一网页数据，该第一网页数据是指可以在用户终端中嵌入的网页上的内容或信息等；具体地，该第一网页数据可以是文字数据、图片数据、数字数据或错误提示信息数据等，例如，当嵌入至APP中的网页存在错误时，如用户输入的用户名错误时，网页展现“用户名错误”的错误信息，该用户名错误的错误信息即第一网页数据。将该第一网页数据与配置数据库存储的第二网页数据进行匹配，配置数据库中存储有相应的第二网页数据，以及第二网页数据相对应的提示信息的数据库，第二网页数据是指预先存储在配置数据库中的网页相关内容或信息，其中该第二网页数据可以是文字数据、图片数据、数字数据或相关错误信息数据等，当第一网页数据与第二网页数据匹配成功时，则对与第一网页数据相匹配的配置数据库中的第二网页数据进行标记，将标记的第二网页数据对应的提示信息返回至网页。

当第一网页数据与第二网页数据未匹配成功时，则将第一网页数据进行拆分得到拆分数据，将拆分数据与配置数据库中存储的第二网页数据匹配，当拆分数据与第二网页数据有一个匹配成功时，则标记该与拆分数据匹配成功的第二网页数据，并将标记的该第二网页数据对应的提示信息返回至网页。

当拆分数据与至少两个第二网页数据匹配成功时，可以接收对配置数据库调整的调整指令，根据配置数据库的调整指令，获取与第一网页数据的拆分数据相匹配的提示信息作为与第一网页数据相匹配的提示信息，并将第一网页数据以及与第一网页数据相匹配的提示信息更新至配置数据库作为新的第二网页数据并标记新的第二网页数据，将标记的新的第二网页数据对应的提示信息返回至网页；或者若当拆分数据与至少两个第二网页数据匹配成功时，也可以通过计算每一个与拆分数据匹配成功的配置数据库中存储的第二网页数据的匹配率，对匹配率最大的与拆分数据匹配成功的配置数据库中存储的第二网页数据进行标记，将标记的新的第二网页数据对应的提示信息返回至用户终端的APP中嵌入的网页。

对未与第二网页数据匹配成功的第一网页数据的爬取次数进行记录，当爬取次数超过预设值时，则获取与第一网页数据的拆分数据相匹配的提示信息作为与第一网页数据相匹配的提示信息，将第一网页数据以及与第一网页数据相匹配的提示信息更新至配置数据库。

需要说明的是，本实施例中，可以对配置数据库中存储的数据直接进行标记；还可以是，配置数据库中存储第二网页数据时，每一类第二网页数据可以对应的建立有相应的zookeeper(分布式系统的协调服务)主节点，zookeeper主节点下每个第二网页数据对应的有zookeeper子节点，当对数据标记时，可以是对相应的zookeeper子节点进行标记上述实施例中，当网页数据处理平台爬取到的不同嵌入到用户终端中的网页的第一网页数据可与第二网页数据进行匹配，且若匹配不成功，可对第一网页数据进行拆分得到拆分数据，进而拆分数据与第二网页数据进行匹配，无需直接更改代码，开发量小，且根据匹配到的第二网页数据的数量，可直接获取到匹配的第二网页数据，由此取得相关的提示信息，也可计算匹配率，选取最合适的第二网页数据并且获取相应的提示信息，匹配准确，获取提示信息准确，还可直接根据对配置数据库的调整指令对配置数据库进行调整，减少匹配时间，适用性强，另外根据未匹配到第二网页数据的第一网页数据的爬取次数，可直接更新配置数据库，无需过多的人工运维，提高工作效率。

在其中一个实施例中，请参见图7，提供一网页数据处理装置的结构示意图，网页数据处理装置700包括：

爬取模块710，用于爬取网页的第一网页数据。

第一匹配模块720，用于将第一网页数据与配置数据库中存储的第二网页数据进行匹配，配置数据库中存储第二网页数据和对应的提示信息。

拆分模块730，用于当第一网页数据未与配置数据库中存储的第二网页数据匹配成功时，则将第一网页数据进行拆分得到拆分数据。

第二匹配模块740，用于将拆分数据与配置数据库中存储的第二网页数据进行匹配。

第一标记模块750，用于当拆分数据与配置数据库中存储的第二网页数据匹配成功时，则标记与拆分数据匹配成功的配置数据库中存储的第二网页数据。

第一返回模块760，用于将标记的第二网页数据对应的提示信息返回至网页。

在其中一个实施例中，标记模块750可以包括：

计算单元，用于当拆分数据与配置数据库中存储的至少两个第二网页数据匹配成功时，计算每一个与拆分数据匹配成功的配置数据库中存储的第二网页数据的匹配率。

标记单元，用于对匹配率最大的与拆分数据匹配成功的配置数据库中存储的数据进行标记。

在其中一个实施例中，网页数据处理装置700还可以包括：

记录模块，用于记录未与配置数据库中存储的第二网页数据匹配成功的第一网页数据的爬取次数。

获取模块，用于当爬取次数超过预设值时，则获取与第一网页数据的拆分数据相匹配的提示信息作为与第一网页数据相匹配的提示信息。

更新模块，用于将第一网页数据以及与第一网页数据相匹配的提示信息更新至配置数据库。

在其中一个实施例中，标记模块750还可以包括：

调整指令接收单元，用于当拆分数据与配置数据库中存储的至少两个第二网页数据匹配成功时，接收配置数据库的调整指令。

提示信息获取单元，用于根据配置数据库的调整指令，获取与第一网页数据的拆分数据相匹配的提示信息作为与第一网页数据相匹配的提示信息。

更新单元，用于将第一网页数据以及与第一网页数据相匹配的提示信息更新至配置数据库作为新的第二网页数据并标记新的第二网页数据。

在其中一个实施例中，网页数据处理装置700还可以包括：

第二标记模块，用于当第一网页数据与配置数据库中存储的第二网页数据匹配成功时，则对与第一网页数据相匹配的配置数据库中的第二网页数据进行标记。

第二返回模块，用于将配置数据库中所标记的第二网页数据对应的提示信息返回至网页。

上述关于网页数据处理装置的具体限定可以参见上文中关于网页数据处理方法的限定，在此不再赘述。

在其中一个实施例中，请参见图8，提供一执行网页数据处理的计算机设备的结构示意图，该计算机设备包括存储器、处理器、操作系统、数据库以及存储在存储器上并可在处理器上运行的网页数据处理程序，其中存储器可以包括内存储器，处理器执行网站文件处理程序时实现以下步骤：爬取网页的第一网页数据。将第一网页数据与配置数据库中存储的第二网页数据进行匹配，配置数据库中存储第二网页数据和对应的提示信息。当第一网页数据未与配置数据库中存储的第二网页数据匹配成功时，则将第一网页数据进行拆分得到拆分数据。将拆分数据与配置数据库中存储的第二网页数据进行匹配。当拆分数据与配置数据库中存储的第二网页数据匹配成功时，则标记与拆分数据匹配成功的配置数据库中存储的第二网页数据。将标记的第二网页数据对应的提示信息返回至网页。

在其中一个实施例中，处理器执行程序时还实现以下步骤：当拆分数据与配置数据库中存储的至少两个第二网页数据匹配成功时，计算每一个与拆分数据匹配成功的配置数据库中存储的第二网页数据的匹配率。对匹配率最大的与拆分数据匹配成功的配置数据库中存储的第二网页数据进行标记。

在其中一个实施例中，处理器执行程序时还实现以下步骤：记录未与配置数据库中存储的第二网页数据匹配成功的第一网页数据的爬取次数。当爬取次数超过预设值时，则获取与第一网页数据的拆分数据相匹配的提示信息作为与第一网页数据相匹配的提示信息。将第一网页数据以及与第一网页数据相匹配的提示信息更新至配置数据库。

在其中一个实施例中，处理器执行程序时还实现以下步骤：当拆分数据与配置数据库中存储的至少两个第二网页数据匹配成功时，接收配置数据库的调整指令。根据配置数据库的调整指令，获取与第一网页数据的拆分数据相匹配的提示信息作为与第一网页数据相匹配的提示信息。将第一网页数据以及与第一网页数据相匹配的提示信息更新至配置数据库作为新的第二网页数据并标记新的第二网页数据。

在其中一个实施例中，处理器执行程序时还实现以下步骤：当第一网页数据与配置数据库中存储的第二网页数据匹配成功时，则对与第一网页数据相匹配的配置数据库中的第二网页数据进行标记。将配置数据库中所标记的第二网页数据对应的提示信息返回至网页。

上述关于计算机设备的具体限定可以参见上文中关于网页数据处理方法的限定，在此不再赘述。

在一个实施例中，请继续参见图8，提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：爬取网页的第一网页数据。将第一网页数据与配置数据库中存储的第二网页数据进行匹配，配置数据库中存储第二网页数据和对应的提示信息。当第一网页数据未与配置数据库中存储的第二网页数据匹配成功时，则将第一网页数据进行拆分得到拆分数据。将拆分数据与配置数据库中存储的第二网页数据进行匹配。当拆分数据与配置数据库中存储的第二网页数据匹配成功时，则标记与与拆分数据匹配成功的配置数据库中存储的第二网页数据。将标记的第二网页数据对应的提示信息返回至网页。

在其中一个实施例中，该程序被处理器执行时还可以实现以下步骤：当拆分数据与配置数据库中存储的至少两个第二网页数据匹配成功时，计算每一个与拆分数据匹配成功的配置数据库中存储的第二网页数据的匹配率。对匹配率最大的与拆分数据匹配成功的配置数据库中存储的第二网页数据进行标记。

在其中一个实施例中，该程序被处理器执行时还可以实现以下步骤：记录未与配置数据库中存储的第二网页数据匹配成功的第一网页数据的爬取次数。当爬取次数超过预设值时，则获取与第一网页数据的拆分数据相匹配的提示信息作为与第一网页数据相匹配的提示信息。将第一网页数据以及与第一网页数据相匹配的提示信息更新至配置数据库。

在其中一个实施例中，该程序被处理器执行时还可以实现以下步骤：当拆分数据与配置数据库中存储的至少两个第二网页数据匹配成功时，接收配置数据库的调整指令。根据配置数据库的调整指令，获取与第一网页数据的拆分数据相匹配的提示信息作为与第一网页数据相匹配的提示信息。将第一网页数据以及与第一网页数据相匹配的提示信息更新至配置数据库作为新的第二网页数据并标记新的第二网页数据。

在其中一个实施例中，该程序被处理器执行时还可以实现以下步骤：当第一网页数据与配置数据库中存储的第二网页数据匹配成功时，则对与第一网页数据相匹配的配置数据库中的第二网页数据进行标记。将配置数据库中所标记的第二网页数据对应的提示信息返回至网页。

上述关于计算机存储介质的具体限定可以参见上文中关于网页数据处理方法的限定，在此不再赘述

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，计算机可读取存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种网页数据处理方法，其特征在于，所述方法包括：

爬取网页的第一网页数据；

将所述第一网页数据与配置数据库中存储的第二网页数据进行匹配，所述配置数据库中存储与第二网页数据对应的提示信息；

当所述第一网页数据未与所述配置数据库中存储的第二网页数据匹配成功时，则将所述第一网页数据进行拆分得到拆分数据；

将所述拆分数据与所述配置数据库中存储的第二网页数据进行匹配；

当所述拆分数据与所述配置数据库中存储的第二网页数据匹配成功时，则标记与所述与拆分数据匹配成功的所述配置数据库中存储的第二网页数据；

将标记的第二网页数据对应的提示信息返回至所述网页。

2.根据权利要求1所述的方法，其特征在于，所述当所述拆分数据与所述配置数据库中存储的第二网页数据匹配成功时，则标记与所述与拆分数据匹配成功的所述配置数据库中存储的第二网页数据的步骤，包括：

当所述拆分数据与所述配置数据库中存储的至少两个第二网页数据匹配成功时，计算每一个与所述拆分数据匹配成功的所述配置数据库中存储的所述第二网页数据的匹配率；

对所述匹配率最大的与所述拆分数据匹配成功的所述配置数据库中存储的所述第二网页数据进行标记。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

记录未与所述配置数据库中存储的第二网页数据匹配成功的第一网页数据的爬取次数；

当所述爬取次数超过预设值时，则获取与所述第一网页数据的拆分数据相匹配的提示信息作为与所述第一网页数据相匹配的提示信息；

将所述第一网页数据以及与所述第一网页数据相匹配的提示信息更新至所述配置数据库。

4.根据权利要求1所述的方法，其特征在于，所述当所述拆分数据与所述配置数据库中存储的第二网页数据匹配成功时，则标记与所述拆分数据匹配成功的所述配置数据库中存储的第二网页数据的步骤还包括：

当所述拆分数据与所述配置数据库中存储的至少两个第二网页数据匹配成功时，接收所述配置数据库的调整指令；

根据所述配置数据库的调整指令，获取与所述第一网页数据的拆分数据相匹配的提示信息作为与所述第一网页数据相匹配的提示信息；

将所述第一网页数据以及与所述第一网页数据相匹配的提示信息更新至所述配置数据库作为新的第二网页数据并标记所述新的第二网页数据。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述第一网页数据与所述配置数据库中存储的第二网页数据匹配成功时，则对与所述第一网页数据相匹配的所述配置数据库中的第二网页数据进行标记；

将所述配置数据库中所标记的第二网页数据对应的提示信息返回至所述网页。

6.一种网页数据处理装置，其特征在于，所述装置包括：

爬取模块，用于爬取网页的第一网页数据；

第一匹配模块，用于将所述第一网页数据与配置数据库中存储的第二网页数据进行匹配，所述配置数据库中存储第二网页数据和对应的提示信息；

拆分模块，用于当所述第一网页数据未与所述配置数据库中存储的第二网页数据匹配成功时，则将所述第一网页数据进行拆分得到拆分数据；

第二匹配模块，用于将所述拆分数据与所述配置数据库中存储的第二网页数据进行匹配；

第一标记模块，用于当所述拆分数据与所述配置数据库中存储的第二网页数据匹配成功时，则标记与所述与拆分数据匹配成功的所述配置数据库中存储的第二网页数据；

第一返回模块，用于将标记的第二网页数据对应的提示信息返回至所述网页。

7.根据权利要求6所述的装置，其特征在于，所述标记模块包括：

计算单元，用于当所述拆分数据与所述配置数据库中存储的至少两个第二网页数据匹配成功时，计算所述每一个与所述拆分数据匹配成功的所述配置数据库中存储的数据的匹配率；

标记单元，用于对所述匹配率最大的与所述拆分数据匹配成功的所述配置数据库中存储的所述第二数据进行标记。

8.根据权利要求1所述的装置，其特征在于，所述装置还包括：

记录模块，用于记录未与所述配置数据库中存储的第二网页数据匹配成功的第一网页数据的爬取次数；

获取模块，用于当所述爬取次数超过预设值时，则获取与所述第一网页数据的拆分数据相匹配的提示信息作为与所述第一网页数据相匹配的提示信息；

更新模块，用于将所述第一网页数据以及与所述第一网页数据相匹配的提示信息更新至所述配置数据库。

9.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任意一项所述方法中的步骤。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至5任意一项所述方法中的步骤。