CN113190779A - 网页评估方法和装置 - Google Patents

Abstract

本公开公开了网页评估方法和装置，涉及计算机技术领域，具体涉及数据分析技术领域。具体实现方案为：首先获取到待评估网页对应的网页特征，并基于获取到的待评估网页的网页特征，确定待评估网页的垂类信息，该垂类信息用于表征待评估网页的分类属性，与网页特征一一对应，然后基于待评估网页的垂类信息，在待评估网页中提取待评估网页的关键信息，该关键信息用于表征待评估网页中与垂类信息相关的网页内容，最后基于提取出的待评估网页的关键信息，生成待评估网页的评估结果，能够根据每种垂类信息对网页进行关键信息提取和评估，提高了网页评估的丰富性和全面性。

Description

网页评估方法和装置

技术领域

本公开涉及计算机技术领域，具体涉及数据分析技术领域，尤其涉及网页评估方法和装置。

背景技术

随着互联网技术的不断发展，互联网不断生产并积累了大量的网页数据，如何衡量这些网页数据中内容的价值，从中选取更优质，更好的数据提供给用户一直是一件重要且复杂的工作。

现在通常通过分析网页内容是否“多”来评估网页价值，然而网页价值或网页丰富程度的评估方式单一，比如：获取网页的文本长度、图片个数、正文大小等内容，网页内容越多则认为网页越丰富，比较适用于图文页面，但随着数据形态越来越多样，资源越来越丰富，这种评估方式不再适用于目前的互联网环境。

发明内容

本公开提供了一种网页评估方法、装置、电子设备以及存储介质。

根据本公开的一方面，提供了一种网页评估方法，该方法包括：响应于获取到待评估网页对应的网页特征，基于待评估网页的网页特征，确定待评估网页的垂类信息，其中，垂类信息用于表征待评估网页的分类属性，与网页特征一一对应；基于待评估网页的垂类信息，在待评估网页中提取待评估网页的关键信息，其中，关键信息用于表征待评估网页中与垂类信息相关的网页内容；基于待评估网页的关键信息，生成待评估网页的评估结果。

根据本公开的另一方面，提供了一种网页评估装置，该装置包括：确定模块，被配置成响应于获取到待评估网页对应的网页特征，基于待评估网页的网页特征，确定待评估网页的垂类信息，其中，垂类信息用于表征待评估网页的分类属性，与网页特征一一对应；提取模块，被配置成基于待评估网页的垂类信息，在待评估网页中提取待评估网页的关键信息，其中，关键信息用于表征待评估网页中与垂类信息相关的网页内容；生成模块，被配置成基于待评估网页的关键信息，生成待评估网页的评估结果。

根据本公开的另一方面，提供了一种电子设备，该电子设备包括至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述网页评估方法。

根据本公开的另一方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机指令，该计算机指令用于使计算机能够执行上述网页评估方法。

根据本公开的另一方面，本申请实施例提供了一种计算机程序产品，其包括计算机程序，计算机程序在被处理器执行时实现上述网页评估方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开可以应用于其中的示例性系统架构图；

图2是根据本公开的网页评估方法的一个实施例的流程图；

图3是根据本公开的网页评估方法的一个应用场景的示意图；

图4是根据本公开的获取待评估网页对应的网页特征的一个实施例的流程图；

图5是根据本公开的提取待评估网页的关键信息的一个实施例的流程图；

图6是根据本公开的获取评估结果的一个实施例的流程图；

图7是根据本公开的网页评估装置的一个实施例的示意图；

图8是用来实现本公开实施例的网页评估方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

图1示出了可以应用本公开的网页评估方法的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备104、105，网络106，服务器101、102、103。网络106用以在终端设备104、105与服务器101、102、103之间提供通信链路的介质。网络106可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

终端设备104、105可以通过网络106与服务器101、102、103交互，以接收或发送信息等。终端设备104、105上可以安装有各种应用，例如数据采集应用、数据处理应用、即时通信工具、社交平台软件、搜索类应用、购物类应用等。

终端设备104可以是硬件，也可以是软件。当终端设备为硬件时，可以是具有图像采集设备、显示屏并且支持与服务器通信的各种电子设备，包括但不限于智能手机、平板电脑等等。当终端设备为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器101、102、103可以是提供各种服务的服务器，例如对与其建立通信连接的终端设备发送的请求进行接收的后台服务器。后台服务器可以对终端设备发送的请求进行接收和分析等处理，并生成处理结果。

服务器101、102、103可以通过对网页进行分析获取到待评估网页对应的网页特征，然后根据获取到的待评估网页的网页特征，确定待评估网页的垂类信息，该垂类信息用于表征待评估网页的分类属性，与网页特征一一对应。服务器101、102、103可以根据待评估网页的垂类信息，在待评估网页中提取待评估网页的关键信息，该关键信息用于表征待评估网页中与垂类信息相关的网页内容，最后服务器101、102、103可以根据提取出的待评估网页的关键信息，生成待评估网页的评估结果，该评估结果可以表征待评估网页的内容丰富度和内容价值。

需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以是为终端设备提供各种服务的各种电子设备。当服务器为软件时，可以实现成为为终端设备提供各种服务的多个软件或软件模块，也可以实现成为为终端设备提供各种服务的单个软件或软件模块。在此不做具体限定。

需要说明的是，本公开的实施例所提供的网页评估方法可以由服务器101、102、103执行。相应地，网页评估装置可以设置于服务器101、102、103中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

参考图2，图2示出了可以应用于本公开的网页评估方法的实施例的流程示意图200。该网页评估方法包括以下步骤：

步骤210，响应于获取到待评估网页对应的网页特征，基于待评估网页的网页特征，确定待评估网页的垂类信息。

其中，垂类信息用于表征待评估网页的分类属性，与网页特征一一对应，该垂类信息可以表示网页的类别信息，例如，垂类信息可以包括文本网页、图片网页、视频网页、功能网页、电商网页、下载网页等垂类信息，本公开对此不做具体限定。

在本实施例中，网页评估方法的执行主体(例如图1中的服务器101、102、103)可以在本地读取或者通过网络获取到未进行评估的网页，并将其作为待评估网页。上述执行主体可以通过特征提取对待评估网页进行特征提取，即上述执行主体可以通过特征提取模型或者特征提取算法对待评估网页进行网页特征提取，以获取到待评估网页对应的网页特征，该网页特征可以包括待评估网页的结构特征和内容特征，该结构特征可以用于表示待评估网页的页面结构的特征，该内容特征可以用于表示待评估网页的页面内容的特征。

上述执行主体过特征提取获取到待评估网页对应的网页特征后，可以根据得到的待评估网页的网页特征，对待评估网页进行分析，确定处待评估网页的垂类信息。可选地，上述执行主体可以在本地存储有网页特征和垂类信息对应关系的关系表，每一种网页特征对应一种垂类信息，则上述执行主体可以根据获取到的待评估网页的网页特征，在关系表中进行查找，确定出该网页特征对应的垂类信息，从而上述执行主体可以确定出待评估网页的垂类信息。

步骤220，基于待评估网页的垂类信息，在待评估网页中提取待评估网页的关键信息。

在本实施例中，上述执行主体通过对待评估网页的网页特征进行分析得到待评估网页的垂类信息后，可以根据待评估网页的垂类信息对待评估网页的网页内容进行提取，以得到待评估网页的关键信息，该关键信息用于表征待评估网页中与垂类信息相关的网页内容，可以是待评估网页中与垂类信息对应的预设关键词、网页内容、内容属性等预设关键信息。

可选地，上述执行主体可以针对每种垂类信息预先设置需要提取的网页关键信息，即针对文本网页，上述执行主体可以预先设置需要提取待评估网页中的文字整体、标题主体关联性、文字连贯性、排版等内容；针对图片网页，上述执行主体可以预先设置需要提取待评估网页中的图片集，确定图片失效、图片重复、图片质量、图文相关性等；针对视频网页，上述执行主体可以预先设置需要提取待评估网页中的视频，确定视频质量/清晰度、视频标题、描述是否一致、播放时长、交互功能：评分、点/踩、弹幕、评论等；针对功能网页，上述执行主体可以预先设置需要提取待评估网页中的表示功能的网页内容，例如天气/咨询/股票/快递等功能内容，确定信息完整度、阅读顺畅、无关信息等；针对电商网页，上述执行主体可以预先设置需要提取待评估网页中的用于满足购买需求的网页内容，确定商品信息描述质量、商品图片质量、用户反馈信息等；针对下载网页，上述执行主体可以预先设置需要提取待评估网页中的下载资源等网页内容，确定版本、大小、更新时间、资源介绍、下载支持等。由此，上述执行主体在确定出待评估网页的垂类信息后，根据预先设置需要提取的网页关键信息，对待评估网页中的网页内容进行提取，以得到待评估网页的关键信息。

步骤230，基于待评估网页的关键信息，生成待评估网页的评估结果。

在本实施例中，上述执行主体通过对待评估网页进行提取得到待评估网页的关键信息，并根据该关键信息进行内容丰富度和内容价值分析，生成待评估网页的评估结果，该评估结果可以表征待评估网页的内容丰富度和内容价值，可以表现为文字形式、数值形式等，本公开对此不做具体限定。

作为示例，上述执行主体可以将获取到的待评估网页的关键信息输入至网页评估模型，网页评估模型对输入的关键信息进行处理，输出待评估网页的评估结果，其可以输出数值形式的评估结果，例如待评估网页的评估分值。其中，上述网页评估模型可以基于网页关键信息和网页评估结果进行机器学习训练获取。

作为示例，上述执行主体可以在本地存储有关键信息和评估结果对应关系的关系表，每一种关键信息对应一种评估结果，则上述执行主体可以根据获取到的待评估网页的关键信息，在关系表中进行查找，确定出该关键信息对应的评估结果，从而上述执行主体可以确定出待评估网页的评估结果。

继续参考图3，图3是根据本实施例的网页评估方法的一个应用场景的示意图。在图3的应用场景中，服务器301获取到待评估网页，并对待评估网页进行特征提取得到待评估网页的网页特征。服务器301基于获取到的待评估网页的网页特征，确定待评估网页的垂类信息，然后服务器301基于待评估网页的垂类信息，在待评估网页中提取待评估网页的关键信息。最后服务器301基于提取出的待评估网页的关键信息，生成待评估网页的评估结果。

本公开的实施例提供的网页评估方法，通过获取到待评估网页对应的网页特征，并基于获取到的待评估网页的网页特征，确定待评估网页的垂类信息，该垂类信息用于表征待评估网页的分类属性，与网页特征一一对应，然后基于待评估网页的垂类信息，在待评估网页中提取待评估网页的关键信息，该关键信息用于表征待评估网页中与垂类信息相关的网页内容，最后基于提取出的待评估网页的关键信息，生成待评估网页的评估结果，能够针对性地对待评估网页进行关键信息提取，从而能够针对性地对待评估网页进行评估，提高了网页评估的针对性和准确性，以及根据每种垂类信息对网页进行关键信息提取和评估，提高了网页评估的丰富性和全面性。

作为一个可选实现方式，进一步参考图4，其示出了获取待评估网页对应的网页特征的步骤，其可以包括：

步骤410，获取待评估网页。

在本步骤中，上述执行主体在本地读取或者通过网络获取到未进行评估的网页，并将其作为待评估网页。

步骤420，分别对待评估网页进行多个维度的网页特征提取，得到待评估网页对应的网页特征。

在本步骤中，上述执行主体获取到待评估网页后，可以对待评估网页进行网页特征提取，即对待评估网页分别进行多个维度的网页特征提取，可以对待评估网页的网页资源、网页结构等维度进行特征提取，得到待评估网页对应的网页特征。

可选地，上述执行主体可以通过以下至少一种方式对网页特征进行提取：

(1)对待评估网页进行资源拆分，得到表征资源类型的网页特征。

具体地，上述执行主体可以对待评估网页中包括的网页资源进行分析，确定出待评估网页中每个网页资源的资源类型。上述执行主体根据每个网页资源的资源类型对待评估网页进行资源拆分，得到表征资源类型的网页特征，例如，得到图、文本、链接等网页特征。

(2)对待识别网页进行区域划分，得到表征区域分布的网页特征。

具体地，上述执行主体可以对待评估网页中包括的网页资源进行分析，确定出待评估网页中每个网页资源所属于的网页区域。上述执行主体根据确定出的网页区域对待评估网页进行区域划分，得到表征区域分布的网页特征，例如，得到主体、非主体/非核心区域等网页特征。

(3)对待识别网页进行结构分解，得到表征结构分布的网页特征。

具体地，上述执行主体可以对待评估网页中包括的网页资源进行分析，确定出待评估网页中的网页结构。上述执行主体根据确定出的网页结构对待评估网页进行结构分解，得到表征结构分布的网页特征，例如，得到主结构、子结构等网页特征。

(4)对待识别网页进行粒度划分，得到表征布局粒度的网页特征。

具体地，上述执行主体可以对待评估网页中包括的网页资源进行分析，确定出待评估网页中的布局结构。上述执行主体根据确定出的布局结构对待评估网页进行粒度划分，得到表征布局粒度的网页特征，例如，得到整页、主体、首屏、视觉块、图/文/链接所在块等网页特征。

(5)对待识别网页进行属性抽取，得到表征属性信息的网页特征。

具体地，上述执行主体可以对待评估网页中包括的网页资源进行分析，对待评估网页中的每个资源进行属性抽取，得到表征属性信息的网页特征，得到各资源的路径、类别、返回值、命名、标识、等级、终端等网页特征。

在本实现方式中，通过从多个维度对待评估网页进行特征提取，使得提取的网页特征更丰富和更准确，能够更准确地确定出待评估网页的垂类信息，提高了待评估网页的网页特征的准确性，从而提高了待评估网页的垂类信息的准确性。

作为一个可选实现方式，上述图2中步骤210，基于待评估网页的网页特征，确定待评估网页的垂类信息，可以基于以下步骤实现：将待评估网页的网页特征输入垂类分类模型，得到待评估网页的垂类信息。

具体地，上述执行主体在获取到待评估网页的网页特征后，可以将待评估网页的网页特征输入预先训练好的垂类分类模型中，垂类分类模型对输入的网页特征进行处理分析，输出待评估网页的垂类信息。

其中，垂类分类模型用于表征待评估网页的网页特征与垂类信息的对应关系。该垂类分类模型基于以下步骤获取：

第一步，获取训练样本集，其中，每个训练样本包括样本网页的网页特征和样本网页的垂类信息。实践中，可以人工对样本网页的垂类信息进行标注。

第二步，将训练样本集中的样本网页的网页特征作为输入，将与输入的样本网页的网页特征对应的垂类信息作为期望输出，利用机器学习方法训练得到垂类分类模型。

需要说明的是，训练步骤的执行主体与网页评估方法的执行主体可以相同，也可以不同。若相同，执行主体可以在训练得到垂类分类模型后，将训练后的垂类分类模型的网络结构和参数值存储于本地。若不同，训练步骤的执行主体在训练得到垂类分类模型后，可以将垂类分类模型的网络结构和参数值发送至网页评估方法的执行主体。

在本实现方式中，通过垂类分类模型获取待评估网页的垂类信息，提高了获取垂类信息的准确性和效率。

作为一个可选实现方式，参考图5，其示出了提取待评估网页的关键信息的步骤，其可以包括：

步骤510，响应于确定待评估网页的垂类信息属于预设垂类信息，提取待评估网页的网页内容，并确定待评估网页的第二垂类信息。

在本步骤中，上述执行主体在获取到待评估网页的垂类信息后，对垂类信息进一步进行分析，判断该垂类信息是否属于预设垂类信息，该预设垂类信息表征为该垂类信息还包括下一级别的垂类信息，即预设垂类信息可以包括下一级别的垂类信息，预设垂类信息可以包括文本网页，例如文本网页还可以包括纯文本网页、问答网页、图文网页等。

上述执行主体通过判断确定待评估网页的垂类信息属于预设垂类信息，可以提取待评估网页的网页内容，并对待评估网页中包括的网页内容类型进行分析，确定待评估网页中包括的网页内容类型，以此确定待评估网页的第二垂类信息，该第二垂类信息与待评估网页中包括的网页内容类型相对应。

作为示例，预设垂类信息为文本网页，上述执行主体对待评估网页进行网页内容提取和分析，若确定待评估网页中仅包括文本内容，则确定待评估网页的第二垂类信息为纯文本网页；若确定待评估网页中包括文本内容和图片内容，则确定待评估网页的第二垂类信息为图文网页；若确定待评估网页中包括文本内容，且文本内容包括问题内容和答案内容时，则确定待评估网页的第二垂类信息为问答网页。

步骤520，基于待评估网页的第二垂类信息，在待评估网页中提取第二关键信息。

在本步骤中，上述执行主体确定出待评估网页的第二垂类信息后，根据待评估网页的第二垂类信息，在待评估网页中提取第二关键信息，该第二关键信息用于表征待评估网页中与第二垂类信息相关的网页内容，则在基于垂类信息提取出关键信息后，上述执行主体仍可以基于第二垂类信息对待评估网页进行第二次提取，以提取出第二关键信息。

作为示例，上述执行主体可以针对每种第二垂类信息预先设置需要提取的第二关键信息，例如，针对纯文本网页，上述执行主体可以预先设置需要提取待评估网页中的标题、主体内容等内容；针对问答网页，上述执行主体可以预先设置需要提取待评估网页中的问题内容和答案内容等；针对图文网页，上述执行主体可以预先设置需要提取待评估网页中的图片质量、图文契合度等内容。由此，上述执行主体在确定出待评估网页的第二垂类信息后，根据预先设置需要提取的第二关键信息，对待评估网页中的网页内容进行提取，以得到待评估网页的第二关键信息。

在本实现方式中，进一步对待评估网页进行垂类分类，提高了待评估网页的分类粒度，能够更具针对性地对关键信息进行提取，提高了提取的关键信息的准确性和针对性。

作为一个可选实现方式，上述图2中步骤230，基于待评估网页的关键信息，生成待评估网页的评估结果，可以基于以下步骤实现：基于待评估网页的关键信息，计算得到包括评估数值的评估结果。

具体地，上述执行主体获取到待评估网页的关键信息后，可以对待评估网页的关键信息进行计算，得到待评估网页的评估数值，该评估数值可以表征待评估网页的内容丰富度和内容价值度，从而上述执行主体得到包括评估数值的评估结果。

作为一个可选实现方式，关键信息可以包括待评估网页的垂类关键信息和通用关键信息，该垂类关键信息可以是基于垂类信息对待评估网页进行提取得到的独立信息，该独立信息并不存在与其他网页中；该通用关键信息可以是在该垂类信息下网页均包括的通用信息，该通用信息可以存在于其他网页中，针对文本网页，该通用信息可以包括标题等。以及

参考图6，图6示出了获取评估结果的步骤，其包括以下步骤：

步骤610，基于待评估网页的垂类信息，确定垂类关键信息对应的权重参数。

在本步骤中，上述执行主体在获取到待评估网页的关键信息和垂类信息后，可以通过在参数设置表中查找垂类关键信息对应的权重参数。参数设置表可以是预先设置好的各种垂类关键信息与权重参数对应的表格，每种垂类关键信息对应一个权重参数。

步骤620，基于垂类关键信息的权重参数、垂类关键信息和通用关键信息，计算得到包括评估数值的评估结果。

在本步骤中，上述执行主体获取到垂类关键信息的权重参数后，可以对垂类关键信息的权重参数、垂类关键信息和通用关键信息进行计算，得到评估数值，该评估数值可以是归一化后的数字，则可以是0—1之间的数字。

作为示例，上述执行主体可以通过评估计算公式计算得到待评估网页的评估数值，该评估计算公式可以是：

评估数值＝sigmoid(∑(权重参数*垂类关键信息+通用关键信息))

在本实现方式中，通过权重参数和关键信息计算得到评估数值，使得评估数值更准确，以及基于权重参数调节，能够使得评估数值更合理可信。

作为一个可选实现方式，上述网页评估方法还包括以下步骤：基于待评估网页的评估结果，对待评估网页进行排序，得到网页排序结果。

在本步骤中，上述执行主体获取到待评估网页的评估结果后，根据待评估网页的评估结果对待评估网页进行排序，例如进行索引排序、搜索排序Feed推荐等，以得到网页排序结果。上述执行主体可以将网页排序结果发送至终端，以呈现给用户。

在本实现方式中，通过评估结果对网页进行排序，能够应用于多种场景，提高了评估结果的应用性。

进一步参考图7，作为对上述各图所示方法的实现，本公开提供了一种网页评估装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图7所示，本实施例的网页评估装置700包括：确定模块710、提取模块720和生成模块730。

其中，确定模块710，被配置成响应于获取到待评估网页对应的网页特征，基于待评估网页的网页特征，确定待评估网页的垂类信息，其中，垂类信息用于表征待评估网页的分类属性，与网页特征一一对应；

提取模块720，被配置成基于待评估网页的垂类信息，在待评估网页中提取待评估网页的关键信息，其中，关键信息用于表征待评估网页中与垂类信息相关的网页内容；

生成模块730，被配置成基于待评估网页的关键信息，生成待评估网页的评估结果。

在本实施例的一些可选的方式中，待评估网页对应的网页特征基于以下步骤获取：获取待评估网页；分别对待评估网页进行多个维度的网页特征提取，得到待评估网页对应的网页特征。

在本实施例的一些可选的方式中，分别对待评估网页进行多个维度的网页特征提取，得到待评估网页对应的网页特征，包括以下至少一项：对待评估网页进行资源拆分，得到表征资源类型的网页特征；对待识别网页进行区域划分，得到表征区域分布的网页特征；对待识别网页进行结构分解，得到表征结构分布的网页特征；对待识别网页进行粒度划分，得到表征布局粒度的网页特征；对待识别网页进行属性抽取，得到表征属性信息的网页特征。

在本实施例的一些可选的方式中，确定模块，进一步被配置成：将待评估网页的网页特征输入垂类分类模型，得到待评估网页的垂类信息，其中，垂类分类模型用于表征待评估网页的网页特征与垂类信息的对应关系。

在本实施例的一些可选的方式中，提取模块，进一步被配置成：响应于确定待评估网页的垂类信息属于预设垂类信息，提取待评估网页的网页内容，并确定待评估网页的第二垂类信息；基于待评估网页的第二垂类信息，在待评估网页中提取第二关键信息，其中，第二关键信息用于表征待评估网页中与第二垂类信息相关的网页内容。

在本实施例的一些可选的方式中，生成模块，进一步被配置成：基于待评估网页的关键信息，计算得到包括评估数值的评估结果。

在本实施例的一些可选的方式中，关键信息包括待评估网页的垂类关键信息和通用关键信息；以及生成模块，进一步被配置成：基于待评估网页的垂类信息，确定垂类关键信息对应的权重参数；基于垂类关键信息的权重参数、垂类关键信息和通用关键信息，计算得到包括评估数值的评估结果。

在本实施例的一些可选的方式中，该装置还包括：排序模块，被配置成基于待评估网页的评估结果，对待评估网页进行排序，得到网页排序结果。

本公开的实施例提供的网页评估装置，通过获取到待评估网页对应的网页特征，并基于获取到的待评估网页的网页特征，确定待评估网页的垂类信息，该垂类信息用于表征待评估网页的分类属性，与网页特征一一对应，然后基于待评估网页的垂类信息，在待评估网页中提取待评估网页的关键信息，该关键信息用于表征待评估网页中与垂类信息相关的网页内容，最后基于提取出的待评估网页的关键信息，生成待评估网页的评估结果，能够针对性地对待评估网页进行关键信息提取，从而能够针对性地对待评估网页进行评估，提高了网页评估的针对性和准确性，以及根据每种垂类信息对网页进行关键信息提取和评估，提高了网页评估的丰富性和全面性。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

电子设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如网页评估方法。例如，在一些实施例中，网页评估方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的网页评估方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行网页评估方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种网页评估方法，包括：

响应于获取到待评估网页对应的网页特征，基于所述待评估网页的网页特征，确定所述待评估网页的垂类信息，其中，所述垂类信息用于表征所述待评估网页的分类属性，与所述网页特征一一对应；

基于所述待评估网页的垂类信息，在所述待评估网页中提取所述待评估网页的关键信息，其中，所述关键信息用于表征所述待评估网页中与所述垂类信息相关的网页内容；

基于所述待评估网页的关键信息，生成所述待评估网页的评估结果。

2.根据权利要求1所述的方法，其中，所述待评估网页对应的网页特征基于以下步骤获取：

获取所述待评估网页；

分别对所述待评估网页进行多个维度的网页特征提取，得到所述待评估网页对应的网页特征。

3.根据权利要求2所述的方法，其中，所述分别对所述待评估网页进行多个维度的网页特征提取，得到所述待评估网页对应的网页特征，包括以下至少一项：

对所述待评估网页进行资源拆分，得到表征资源类型的网页特征；

对所述待识别网页进行区域划分，得到表征区域分布的网页特征；

对所述待识别网页进行结构分解，得到表征结构分布的网页特征；

对所述待识别网页进行粒度划分，得到表征布局粒度的网页特征；

对所述待识别网页进行属性抽取，得到表征属性信息的网页特征。

4.根据权利要求1所述的方法，其中，所述基于所述待评估网页的网页特征，确定所述待评估网页的垂类信息，包括：

将所述待评估网页的网页特征输入垂类分类模型，得到所述待评估网页的垂类信息，其中，所述垂类分类模型用于表征待评估网页的网页特征与垂类信息的对应关系。

5.根据权利要求1所述的方法，其中，所述基于所述待评估网页的垂类信息，在所述待评估网页中提取所述待评估网页的关键信息，包括：

响应于确定所述待评估网页的垂类信息属于预设垂类信息，提取所述待评估网页的网页内容，并确定所述待评估网页的第二垂类信息；

基于所述待评估网页的第二垂类信息，在所述待评估网页中提取第二关键信息，其中，所述第二关键信息用于表征所述待评估网页中与所述第二垂类信息相关的网页内容。

6.根据权利要求1所述的方法，其中，所述基于所述待评估网页的关键信息，生成所述待评估网页的评估结果，包括：

基于所述待评估网页的关键信息，计算得到包括评估数值的评估结果。

7.根据权利要求6所述的方法，其中，所述关键信息包括所述待评估网页的垂类关键信息和通用关键信息；以及

所述基于所述待评估网页的关键信息，计算得到包括评估数值的评估结果，包括：

基于所述待评估网页的垂类信息，确定所述垂类关键信息对应的权重参数；

基于所述垂类关键信息的权重参数、垂类关键信息和通用关键信息，计算得到包括评估数值的评估结果。

8.根据权利要求1-7任意一项所述的方法，其中，所述方法还包括：

基于所述待评估网页的评估结果，对所述待评估网页进行排序，得到网页排序结果。

9.一种网页评估装置，包括：

确定模块，被配置成响应于获取到待评估网页对应的网页特征，基于所述待评估网页的网页特征，确定所述待评估网页的垂类信息，其中，所述垂类信息用于表征所述待评估网页的分类属性，与所述网页特征一一对应；

提取模块，被配置成基于所述待评估网页的垂类信息，在所述待评估网页中提取所述待评估网页的关键信息，其中，所述关键信息用于表征所述待评估网页中与所述垂类信息相关的网页内容；

生成模块，被配置成基于所述待评估网页的关键信息，生成所述待评估网页的评估结果。

10.根据权利要求9所述的装置，其中，所述待评估网页对应的网页特征基于以下步骤获取：

获取所述待评估网页；

分别对所述待评估网页进行多个维度的网页特征提取，得到所述待评估网页对应的网页特征。

11.根据权利要求10所述的装置，其中，所述分别对所述待评估网页进行多个维度的网页特征提取，得到所述待评估网页对应的网页特征，包括以下至少一项：

对所述待评估网页进行资源拆分，得到表征资源类型的网页特征；

对所述待识别网页进行区域划分，得到表征区域分布的网页特征；

对所述待识别网页进行结构分解，得到表征结构分布的网页特征；

对所述待识别网页进行粒度划分，得到表征布局粒度的网页特征；

对所述待识别网页进行属性抽取，得到表征属性信息的网页特征。

12.根据权利要求9所述的装置，其中，所述确定模块，进一步被配置成：

将所述待评估网页的网页特征输入垂类分类模型，得到所述待评估网页的垂类信息，其中，所述垂类分类模型用于表征待评估网页的网页特征与垂类信息的对应关系。

13.根据权利要求9所述的装置，其中，所述提取模块，进一步被配置成：

响应于确定所述待评估网页的垂类信息属于预设垂类信息，提取所述待评估网页的网页内容，并确定所述待评估网页的第二垂类信息；

基于所述待评估网页的第二垂类信息，在所述待评估网页中提取第二关键信息，其中，所述第二关键信息用于表征所述待评估网页中与所述第二垂类信息相关的网页内容。

14.根据权利要求9所述的装置，其中，所述生成模块，进一步被配置成：

基于所述待评估网页的关键信息，计算得到包括评估数值的评估结果。

15.根据权利要求14所述的装置，其中，所述关键信息包括所述待评估网页的垂类关键信息和通用关键信息；以及所述生成模块，进一步被配置成：

基于所述待评估网页的垂类信息，确定所述垂类关键信息对应的权重参数；

基于所述垂类关键信息的权重参数、垂类关键信息和通用关键信息，计算得到包括评估数值的评估结果。

16.根据权利要求9-15所述的装置，其中，所述装置还包括：

排序模块，被配置成基于所述待评估网页的评估结果，对所述待评估网页进行排序，得到网页排序结果。

17.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。

19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。

Images