CN114925308A - 网站的网页处理方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开提供了一种网站的网页处理方法、装置、电子设备和存储介质，涉及计算机领域，尤其涉及大数据领域。具体实现方案为：获取网站的多个网页，其中，多个网页用于构建网站；基于多个网页之间的关联关系，确定每个网页的权重，其中，权重用于表征每个网页对网站的贡献比例；基于每个网页的权重和每个网页的页面质量，确定网站的网站质量；基于网站质量对网站进行分级，得到网站的质量等级。

Description

网站的网页处理方法、装置、电子设备和存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及大数据领域中的网站的网页处理方法、装置、电子设备和存储介质。

背景技术

目前，在对网站数据进行质量筛选过程中，通常通过设定阈值，基于设定的阈值，对统计优质占比、或者低质占比进行判断，但该判定方法过于简单，导致存在精度不足、误判，从而存在对网站质量进行判定的精度低的技术问题。

发明内容

本公开提供了一种用于网站的网页处理方法、装置、电子设备和存储介质。

根据本公开的一方面，提供了一种网站的网页处理方法。该方法包括：获取网站的多个网页，其中，多个网页用于构建网站；基于多个网页之间的关联关系，确定每个网页的权重，其中，权重用于表征每个网页对网站的贡献比例；基于每个网页的权重和每个网页的页面质量，确定网站的网站质量；基于网站质量对网站进行分级，得到网站的质量等级。

根据本公开的另一方面，提供了一种网站的网页处理装置。该装置包括：获取单元，用于获取网站的多个网页，其中，多个网页用于构建网站；第一确定单元，用于基于多个网页之间的关联关系，确定每个网页的权重，其中，权重用于表征每个网页对网站的贡献比例；第二确定单元，用于基于每个网页的权重和每个网页的页面质量，确定网站的网站质量；分级单元，用于基于网站质量对网站进行分级，得到网站的质量等级。

根据本公开的另一方面，还提供了一种电子设备。该电子设备可以包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开实施例的网站的网页处理方法。

根据本公开的另一方面，还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开实施例的网站的网页处理方法。

根据本公开的另一方面，还提供了一种计算机程序产品，可以包括计算机程序，计算机程序在被处理器执行时实现本公开实施例的网站的网页处理方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例的一种网站的网页处理方法的流程图；

图2是根据本公开实施例的一种站点结构图的示意图；

图3是根据本公开实施例的一种目标结构树的示意图；

图4是根据本公开实施例的一种网站的网页处理装置的示意图；

图5是根据本公开实施例的一种网站的网页处理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本公开实施例的一种网站的网页处理方法的流程图。如图1所示，该方法可以包括以下步骤：

步骤S102，获取网站的多个网页，其中，多个网页用于构建网站。

在本公开上述步骤S102提供的技术方案中，网站可以由多个网页构成，可以通过获取网站内的多个历史网页，以实现获取网站内的多个页面的目的，其中，网页可以为页面，比如，可以为列表页、索引页、内容页的网页等，还可以细分为文章、视频、论坛、博客、下载、图片、问答的网页等。

步骤S104，基于多个网页之间的关联关系，确定每个网页的权重，其中，权重用于表征每个网页对网站的贡献比例。

在本公开上述步骤S104提供的技术方案中，确定多个网页之间的关联关系，基于多个网页之间的关联关系，确定每个网页的权重，其中，权重可以为每个网页对网站的贡献比例，可以用于表征在构建网站的过程中对网站的贡献程度，网页之间的关联关系可以为网页出现的先后顺序、包含关系等。

可选地，可以设定不同网页类型的网页在构建网站的过程中对网站的贡献程度不同，从而可以通过每个网页的类型确定每个网页对应的权重，此处仅为举例说明，不对网页贡献程度的确认方法具体限定。

步骤S106，基于每个网页的权重和每个网页的页面质量，确定网站的网站质量。

在本公开上述步骤S106提供的技术方案中，确定每个网页的权重，网站中有多个网页，通过确定网站中每个网页的质量从而可以确定网站的网站质量，因而基于网站中每个网页的权重和每个网页的页面质量，达到确定网站的网站质量的目的，其中，页面质量可以包括作弊、低质、普通、优质的页面质量，可以用页面质量字段值(quality_info)表示，字段值可以设定为连续值或离散值，用于表征页面质量，比如，可以用0、1、2、3表示；网站质量可以用于表示网站的优劣程度，可以用网站质量字段值表示(site_info)，可以用字段标志网站的质量，比如，可以用0,1,2,3表示等，此处不对表示方式做具体限制。

可选地，确定每个网页在构建网站的过程中的贡献程度，从而确定每个网页的权重；对每个网页的优劣程度进行判断，得到每个网页的页面质量，基于每个网页的权重和每个网页的页面质量，确定网站的网站质量。

可选地，在本公开实施例中可以基于网站的所有网页的权重和页面质量确定网站的网站质量，也可以对网站中的节点进行抽样选取，从而节约运行成本。

在现有技术中，在对数据进行质量筛选过程中，网站的质量/等级的判定一般是通过网站内历史网页质量进行统计判定的，其中统计的方法可以为优质占比、或者低质占比，再设定阈值进行判定，但这种判定方法过于暴力，没有考虑到不同页面对站点贡献的权重，本公开提出一种基于站点内页面结构分布，确定每个网页的权重，通过进行权重调节的方法，实现更精准的完成对站点质量和等级的判定。

步骤S108，基于网站质量对网站进行分级，得到网站的质量等级。

在本公开上述步骤S108提供的技术方案中，确定网站质量，基于确定的多个网站的质量对网站进行分级，从而达到得到网站的质量等级的目的。

可选地，确定网站质量，根据网站质量对网站进行分级，比如，当网站质量用数字表示时，可以根据对应数字的大小进行排序，将第一名至第三名作为第一等级，从而确定网站的质量等级，此处仅为举例说明，不对确定网站的质量等级的方式做具体限制。

通过上述步骤S102至步骤S108，获取网站的多个网页，其中，多个网页用于构建网站；基于多个网页之间的关联关系，确定每个网页的权重，其中，权重用于表征每个网页对网站的贡献比例；基于每个网页的权重和每个网页的页面质量，确定网站的网站质量；基于网站质量对网站进行分级，得到网站的质量等级。也就是说，本公开通过考虑到不同网页对网站贡献的权重，基于权重和页面的第一质量信息共同确定网站的质量，该方法精准、适用性强，从而提高了对网站质量进行判定的精度的技术效果，解决了对网站质量进行判定的精度低的技术问题。

下面对该实施例的上述方法进行进一步地详细介绍。

作为一种可选的实施方式，步骤S104，基于多个网页之间的关联关系，确定每个网页的权重包括：获取网站的目标结构树，其中，目标结构树用于表示多个网页之间的关联关系，且目标结构树的节点用于表示网页；基于目标结构树确定每个网页的权重。

在该实施例中，确定多个网页之间的关联关系，基于多个网页之间的关联关系，确定网站的目标结构树，可以基于节点在目标结构树中的位置确定每个网页的权重，其中，目标结构树可以为站点结构图，可以用于表示多个网页之间的关联关系，一个网页可以看作一个节点，目标结构树的节点与网页一一对应。

可选地，基于网页之间的关联关系，从而获取网站的目标结构树，比如，结构树从网站的首页出发，首页指向首页的下一个网页，依次类推下去，得到目标结构树。

作为一种可选的实施方式，基于目标结构树确定每个网页的权重包括：至少基于每个网页在目标结构树中的属性信息确定每个网页的权重，其中，目标结构树的节点的属性用于表示对应的属性信息。

在该实施例中，确定每个网页的属性信息，可以基于网页的属性信息确定网页的权重，其中，属性信息可以包括网页类型、网页质量、边类型和网页对应的结构信息。

可选地，可以通过确定节点对应网页的属性信息确定节点的属性信息，其中，页面的属性信息可以包括页面类型、页面质量、边类型和结构信息。

可选地，页面类型可以包括：列表页(即，索引页)、内容页，还可以细分为：文章、视频、论坛、博客、下载、图片、问答等；页面质量可以包括：作弊、低质、普通、优质，其中，页面质量的字段值(quality_info)可以设定为连续值或离散值，可以用于区分页面质量。

本公开实施例基于网页的属性信息，对节点进行综合统计，从而实现了对网页的精准打分，但需要说明的是，对页面质量和类型的判断有多种方法，此处仅为举例说明，不对页面质量和类型的判断方法做具体限制。

可选地，边类型可以包括导流边、跳转边和适配边，其中，导流边可以为可以从一个页面点击后进入另一个页面，即，A页有链接指向B页，比如，从A页面的链接，指向B页面，这种是即为边；跳转边可以为：从一个页面自动跳转至另一个页面(即，A页面自动跳转至B)，比如，域名变更；适配边可以为两个页面是适配关系，比如，电脑端页面可以自动跳到移动站点，还可以为网页链接可以自动跳到程序等。可选地，可以根据网页类型、质量、边结构和结构信息设置不同的权重，比如，设网页类型中列表页权重为0.5，高于内容页权重，则当网页对应为类型为内容页时，该网页的权重为0.5，从而达到基于每个网页在目标结构树中的属性信息确定每个网页的权重的目的。

举例而言，设置网页质量越高，权重越高，则节点对应的网页的质量越高，该节点对应的权重越高。

作为一种可选的实施方式，至少基于每个网页在目标结构树中的属性信息确定每个网页的权重包括：基于属性信息确定每个网页的第一权重，其中，权重包括第一权重；基于每个网页在目标结构树中与关联网页之间的目标关联关系，确定每个网页的第二权重，其中，权重包括第二权重，目标关联关系用于表征对应的网页和关联网页之间的处理顺序；基于目标关联关系在目标结构树中相对网站的首页的深度信息，确定每个网页的第三权重，其中，权重包括第三权重。

在该实施例中，基于属性信息确定每个网页的第一权重，基于每个网页在目标结构树中与关联网页之间的目标关联关系，确定每个网页的第二权重，基于目标关联关系在目标结构中相对网站的首页的深度信息，确定每个网页的第三权重，其中，第一权重可以包括节点类型权重(w1)、节点质量权重(w2)，可以根据实际需要，设定不同节点类型、节点质量、节点边、节点结构对应的权重，从而确定节点的权重；关联关系可以为跳转关系、导流关系等，第二权重可以为节点边权重(w3)，可以基于不同边类型确定节点边权重(w3)，比如，可以设定适配>跳转>导流，其中，适配同内容、跳转强关系、导流弱关系。

可选地，可以确定每个网页在目标结构树中与关联网页之间的目标关联关系，根据与关联网页的距离，确定深度信息，基于深度信息确定第三权重，第三权重可以为节点结构权重(w4)，其中，深度信息(deep_info)的取值区间可以为0～1，深度信息越小表示随着深度的增加，该节点的价值越低。

可选地，网页在目标结构树中与关联网页每增加一层(一个边)，深度信息加1。

作为一种可选的实施方式，属性信息包括对应的网页的类型和/或网页的页面质量。

在该实施例中，确定节点对应的网页的类型，基于节点对应的网页的类型，确定节点的属性，其中，属性信息包括对应的网页的类型和/或页面的页面质量。

可选地，网页的类型可以包括：列表页(即，索引页)、内容页，还可以细分为文章、视频、论坛、博客、下载、图片、问答等，其中，页面类型可以通过字段值表示，页面类型的字段值(pagetype_info)可以为标记位，从而可以用于权重筛选。

可选地，网页的页面质量可以包括作弊、低质、普通、优质，其中，页面质量可以通过字段值表示，页面质量的字段值(quality_info)可以设定为连续值或离散值，可以用于区分页面质量，如：0、1、2、3分别表示不同的页面质量。

需要说明的是，对页面质量和类型的判断有多种方法，本公开实施例不对网页质量和类型的判断方法做具体限制。

作为一种可选的实施方式，目标关联关系用于表示网页与关联网页之间的以下至少之一关系：网页适配至关联网页，网页跳转至关联网页和网页导流至关联网页。

在该实施例中，目标关联关系可以为站内边的关系，站内边可以字段值表示，边的字段值(edge_info)可以为标记位，从而可以用于权重筛选。

可选地，目标关联关系用于表示网页与关联网页之间的以下至少之一关系：网页适配至关联网页，网页跳转至关联网页和网页导流至关联网页，其中，网页适配至关联网页可以对应适配边，则网页与关联网页可以为适配关系，比如，电脑端页面可以自动跳到移动站点，还可以为网页链接可以自动跳到程序等；网页跳转至关联网页可以对应跳转边，可以为从一个页面自动跳转至另一个页面(即，A页面自动跳转至B)，比如，域名变更；网页导流至关联网页可以对应导流边，可以为可以从一个页面点击后进入另一个页面，即，A页有链接指向B页，比如，从A页面的链接，指向B页面。

作为一种可选的实施方式，步骤S106，基于每个网页的权重和每个网页的页面质量，确定网站的网站质量，包括：基于第一权重、第二权重和第二权重调整每个网页的网页质量；基于第三权重和深度信息将调整后的每个网页的网页质量转换为网站的网站质量。

在该实施例中，基于每个网页的第一权重、第二权重和第二权重调整每个网页的网页质量，基于第三权重和深度信息将调整后的每个网页的网页质量转换为网站的网站质量。

可选地，网页质量可以用节点的信息值(node_info)表示，可以基于每个网页的第一权重、第二权重和第二权重确定每个网页的网页质量。

可选地，基于第三权重和深度信息将调整后的每个网页的网页质量转换为网站的网站质量，即，可以基于得到信息_结构值确定网站质量。

作为一种可选的实施方式，基于第三权重和深度信息将调整后的每个网页的网页质量转换为网站的网站质量包括：基于深度信息对第三权重进行指数运算，得到幂；获取幂和调整后的每个网页的网页质量二者之间的积；对多个网页对应的多个积进行求和，以得到网站质量。

在该实施例中，基于深度信息对第三权重进行指数运算，得到幂；获取幂和调整后的每个网页的网页质量二者之间的积；对多个网页对应的多个积进行求和，以得到网站质量。

可选地，基于每个节点的结构权重和节点的信息值，确定节点的信息_结构值(node_struct_info)，可以通过节点的结构权重的对应深度信息进行指数运算，得到幂，再与调整后的每个网页的网页质量(节点信息值)相乘，得到信息_结构值(node_struct_info)，即：

node_struct_info＝node_info*(w4)^deep_info

可选地，网站质量可以为对网站的所有节点的质量进行综合统计得到，又可以称为综合统计值(site_info)，对多个网页对应的多个积进行求和，以得到网站质量，即：

site_info＝sigmoid(∑(node_struct_info))

作为一种可选的实施方式，基于第一权重、第二权重和第二权重调整每个网页的网页质量包括：将第一权重、第二权重、第二权重和每个网页的网页质量这四者之间的积，确定为调整后的每个网页的网页质量。

在该实施例中，将第一权重、第二权重、第二权重和每个网页的网页质量这四者之间的积，确定为调整后的每个网页的网页质量。

可选地，网页质量可以用节点的信息值(node_info)表示，可以基于每个网页的第一权重、第二权重和第二权重确定每个网页的网页质量，其中，节点的信息值可以为w1，w2，w3和网页质量字段值的乘积，即：

node_info＝w1*w2*w3*quality_info

作为一种可选的实施方式，获取网站的目标结构树包括：基于每个网页的属性信息、每个网页与关联网页之间的目标关联关系，构建网站的原始结构树，其中，原始结构树用于表示多个网页之间的全部关联关系，且原始结构树的节点与目标结构树的节点相同，目标关联关系用于表征对应的网页和关联网页之间的处理顺序；将原始结构树中具有第一数量的父节点的子节点，调整为具有第二数量的父节点的子节点，其中，第二数量小于第一数量；基于具有第二数量的父节点的子节点和子节点相对于原始结构树的根节点的深度信息，构建目标结构树。

在该实施例中，基于每个网页的属性信息、每个网页与关联网页之间的目标关联关系，构建网站的原始结构树，对具有多个父节点的子节点进行调整，将原始结构树中具有第一数量的父节点的子节点，调整为具有第二数量的父节点的子节点，对化简过的结构树进行处理，基于具有第二数量的父节点的子节点和子节点相对于原始结构树的根节点的深度信息，构建目标结构树，其中，原始结构树可以为结构图网络，可以用于表示多个网页之间的全部关联关系，且原始结构树的节点与目标结构树的节点相同，目标关联关系用于表征对应的网页和关联网页之间的处理顺序，第二数量小于第一数量，从而对边的筛选，实现只有一个入度边，去除冗余。

可选地，可以对网站内的边进行筛选，舍弃循环边，从而将循环图调整为单向图，以实现将原始结构树中具有第一数量的父节点的子节点，调整为具有第二数量的父节点的子节点，比如，首页指向上下左右四个列表，由于首页指向左边的列表又指向上边的列表，则首页上面的列表在指向首页左边列表的边即可省略。

举例而言，如果节点A指向节点B，节点B又指向节点A，如果先得到节点A指向节点B，那么节点B再指向节点A的边就可以舍弃。

可选地，本公开实施例为了去除冗余所有节点可以只保留一个入度边，也可以都保留，此处不做具体限制。

可选地，可以根据场景选择节点的保留方式，当需要性能好的结构树，可以通过对结构图进行遍历，循序先到先得的原则保留节点，其中，遍历可以为深度遍历也可以为广度遍历，此处不对遍历方式做具体限制。

可选地，当重视结构树结构时，可以对所有的入度边的权重进行比较，有限保留权重高的入度边，从而得到对边进行筛选之后的结构树。

可选地，当重视节点的完整性时，可以保留每个节点权重高的入度边，从而得到目标结构树。

作为一种可选的实施方式，响应于网站的质量满足质量阈值范围，或网站的等级满足等级阈值范围，对网站进行以下至少之一处理：对网站进行收录、对网站进行展现、对网站的网页的权重进行排序。

在该实施例中，可以根据实际情况设定质量阈值范围，确定网站质量是否满足质量阈值范围，响应于网站的质量满足质量阈值范围，或网站的等级满足等级阈值范围，对网站进行以下至少之一处理：对网站进行收录、对网站进行展现、对网站的网页的权重进行排序。

可选地，可以根据实际情况设定质量阈值范围，基于综合统计值对站点进行判定或分段。

可选地，整站质量判断可以为认为站点低质作弊，可以不收录、不展现、低排序等，比如，设定一个质量阈值范围，当综合统计的结果在这个范围中就属于不收录、不展现、低排序，或者属于收录、展现。

可选地，基于综合统计值对站点质量进行分级，从而可以调节站点的收录、展现和排序权重，其中，排序权重可以为对优质的网站进行提权，对劣质的网站进行降权。

下面结合优选的实施例对本公开实施例的上述技术方案进行进一步地举例介绍。

目前，在对数据进行质量筛选过程中，网站的质量、等级占有很高权重，其中，站点的质量/等级的判定一般是通过站点内历史网页质量进行统计判定的，其中统计的方法可以为优质占比、或者低质占比，再设定阈值进行判定，但上述判定方法没有考虑到不同网页对站点贡献的权重，存在精度不足、容易误判的问题。

本公开提出一种基于网站内网页结构分布，进行权重调节的方法，进而更精准的完成对站点质量和等级的判定。

作为一种可选的实施例，图2是根据本公开实施例的一种站点结构图的示意图，如图2所示，网站中的页面可以作为一个节点，基于节点对应的页面的类型，构建站点结构图网络。

可选地，通过确定节点对应页面的属性信息确定节点的属性信息，其中，页面的属性信息可以包括页面类型和页面质量。

可选地，页面类型可以包括：列表页(即，索引页)、内容页，还可以细分为：文章、视频、论坛、博客、下载、图片、问答等，其中，页面类型可以用字段值表示，页面类型的字段值(pagetype_info)可以为标记位，可以用于权重筛选。

可选地，页面质量可以包括：作弊、低质、普通、优质，其中，页面质量可以用字段值(quality_info)表示，页面质量的字段值可以设定为连续值或离散值，可以用于区分页面质量，如：0、1、2、3分别表示不同的页面质量。

需要说明的是，对页面质量和类型的判断有多种方法，本公开实施例不对页面质量和类型的判断方法做具体限制。

作为一种可选的实施例，图3是根据本公开实施例的一种目标结构树的示意图，如图3所示，有向图从首页触发，对网站内的边进行筛选，舍弃循环边，以实现将循环图调整为单向图，比如，首页指向上下左右四个列表，由于首页指向左边的列表又指向上边的列表，则首页上面的列表在指向首页左边列表的边即可省略。

举例而言，如果节点A指向节点B，节点B又指向节点A，如果先得到节点A指向节点B，那么节点B再指向节点A的边就可以舍弃。

可选地，边可以包括导流边、跳转边和适配边，其中，导流边可以为可以从一个页面点击后进入另一个页面，即，A页有链接指向B页，比如，从A页面的链接，指向B页面，这种是即为导流边；跳转边可以为：从一个页面自动跳转至另一个页面(即，A页面自动跳转至B)，比如，域名变更；适配边可以为两个页面是适配关系，比如，电脑端页面可以自动跳到移动站点，还可以为网页链接可以自动跳到程序等。

可选地，本公开实施例为了去除冗余所有节点可以只保留一个入度边，也可以都保留，此处不做具体限制。

可选地，可以根据场景选择节点的保留方式，当需要性能好的结构树，可以通过对结构图进行遍历，循序先到先得的原则保留节点，其中，遍历可以为深度遍历也可以为广度遍历，此处不对遍历方式做具体限制。

可选地，当重视结构树结构时，可以对所有的入度边的权重进行比较，有限保留权重高的入度边，从而得到对边进行筛选之后的结构树。

可选地，当重视节点的完整性时，可以保留每个节点权重高的入度边，从而得到目标结构树。

可选地，得到目标结构树之后对节点距离首页的距离进行计算，得到深度信息(deep_info)，比如，如图3所示，首页直接指向首页上方的列表，则首页上方的列表的深度信息为1，首页通过上方的列表在指向右边的列表，则右边的列表的深度信息为2。

作为一种可选的实施例，计算节点的权重，可以包括对节点类型权重(w1)、节点质量权重(w2)、节点边权重(w3)和节点结构权重(w4)进行计算。

可选地，可以基于不同页面类型确定节点类型权重(w1)，比如，可以设定列表页权重高于内容页。

可选地，可以基于不同页面质量的等级确定节点质量权重(w2)，比如，当为高质量挖掘时，质量越高，所占权重越高；如果用于低质挖掘，则可相反。

可选地，可以基于不同边类型确定节点边权重(w3)，比如，可以设定适配>跳转>导流，其中，适配同内容、跳转强关系、导流弱关系，对应节点B。

可选地，可以基于深度信息确定节点结构权重(w4)，其中，深度信息的取值区间为0～1，深度信息越小表示随着深度的增加，该节点的价值越低。

作为一种可选的实施例，基于节点的权重信息，确定网站的质量信息。

可选地，基于每个节点对应的w1，w2，w3，w4，确定每个节点的信息值(node_info)，其中，节点的信息值可以为w1，w2，w3和页面质量字段值的乘积，即：

node_info＝w1*w2*w3*quality_info

可选地，基于每个节点的结构权重和节点的信息值，确定节点的信息_结构值(node_struct_info)，即，节点的结构权重的对应深度信息的次方再与节点信息值相乘，得到信息_结构值，即：

node_struct_info＝node_info*(w4)^deep_info

可选地，对网站的所有节点的信息_结构值进行综合统计，得到网站的综合统计值(site_info)，即：

site_info＝sigmoid(∑(node_struct_info))

需要说明的是，网站的综合统计值可以为对所有节点的信息进行计算得到，但是，出于成本的考量，也可以仅对部分节点进行抽样计算。

作为一种可选择的实施例，可以根据实际情况设定质量阈值范围，基于综合统计值对站点进行判定或分段。

可选地，整站质量判断可以为认为站点低质作弊，可以不收录、不展现、低排序等，比如，设定一个质量阈值范围，当综合统计的结果在这个范围中就属于不收录、不展现、低排序，或者属于收录、展现。

可选地，基于综合统计值对站点质量进行分级，从而可以调节站点的收录、展现和排序权重，其中，排序权重可以为对优质的网站进行提权，对劣质的网站进行降权。

在本公开实施例中，基于站点的历史网页对应的节点属性，构建站点结构图；基于站点结构图，确定各个节点与首页的距离，得到深度信息；构建站点的结构深度树；基于节点类型、质量、节点边和结构的权重设定，对节点进行综合统计，基于综合统计的结果对网页的质量进行分级和判断，从而实现提高对站点质量和等级判定的准确性的技术效果；解决了对站点质量和等级判定的准确性低的技术问题。

本公开实施例还提供了一种用于执行图1所示实施例的网站的网页处理方法的网站的网页处理装置。

图4是根据本公开实施例的一种网站的网页处理装置的示意图，如图4所示，该网站的网页处理装置40可以包括：获取单元41、第一确定单元42，第二确定单元43和分级单元44。

获取单元41，用于获取网站的多个网页，其中，多个网页用于构建网站。

第一确定单元42，用于基于多个网页之间的关联关系，确定每个网页的权重，其中，权重用于表征每个网页对网站的贡献比例。

第二确定单元43，用于基于每个网页的权重和每个网页的页面质量，确定网站的网站质量。

分级单元44，用于基于网站质量对网站进行分级，得到网站的质量等级。

可选地，第一确定单元42包括：第一获取模块，用于获取网站的目标结构树，其中，目标结构树用于表示多个网页之间的关联关系，且目标结构树的节点用于表示网页；基于目标结构树确定每个网页的权重。

可选地，第一确定单元42包括：第一确定模块，用于至少基于每个网页在目标结构树中的属性信息确定每个网页的权重，其中，目标结构树的节点的属性用于表示对应的属性信息。

可选地，第一确定模块包括：第一确定子模块，用于基于属性信息确定每个网页的第一权重，其中，权重包括第一权重；基于每个网页在目标结构树中与关联网页之间的目标关联关系，确定每个网页的第二权重，其中，权重包括第二权重，目标关联关系用于表征对应的网页和关联网页之间的处理顺序；基于目标关联关系在目标结构树中相对网站的首页的深度信息，确定每个网页的第三权重，其中，权重包括第三权重。

可选地，第一确定模块包括：第一处理子单元，用于基于第一权重、第二权重和第二权重调整每个网页的网页质量；基于第三权重和深度信息将调整后的每个网页的网页质量转换为网站的网站质量。

可选地，第一确定模块包括：第二处理子单元，用于基于深度信息对第三权重进行指数运算，得到幂；获取幂和调整后的每个网页的网页质量二者之间的积；对多个网页对应的多个积进行求和，以得到网站质量。

可选地，第一确定模块包括：第二确定子模块，用于将第一权重、第二权重、第二权重和每个网页的网页质量这四者之间的积，确定为调整后的每个网页的网页质量。

可选地，第一获取模块包括：第三处理子模块，用于基于每个网页的属性信息、每个网页与关联网页之间的目标关联关系，构建网站的原始结构树，其中，原始结构树用于表示多个网页之间的全部关联关系，且原始结构树的节点与目标结构树的节点相同，目标关联关系用于表征对应的网页和关联网页之间的处理顺序；将原始结构树中具有第一数量的父节点的子节点，调整为具有第二数量的父节点的子节点，其中，第二数量小于第一数量；基于具有第二数量的父节点的子节点和子节点相对于原始结构树的根节点的深度信息，构建目标结构树。

可选地，所述装置还包括：处理单元，用于响应于网站的质量满足质量阈值范围，或网站的等级满足等级阈值范围，对网站进行以下至少之一处理：对网站进行收录、对网站进行展现、对网站的网页的权重进行排序。

在该公开实施例的装置中，通过获取单元，获取网站的多个网页，其中，多个网页用于构建网站；通过第一确定单元，基于多个网页之间的关联关系，确定每个网页的权重，其中，权重用于表征每个网页对网站的贡献比例；通过第二确定单元，基于每个网页的权重和每个网页的页面质量，确定网站的网站质量；通过分级单元，基于网站质量对网站进行分级，得到网站的质量等级，从而提高了对网站质量进行判定的精度的技术效果，解决了对网站质量进行判定的精度低的技术问题。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

本公开的实施例提供了一种电子设备，该电子设备可以包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开实施例的网站的网页处理方法。

可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

根据本公开的实施例，本公开还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开实施例的网站的网页处理方法。

可选地，在本实施例中，上述非瞬时计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取网站的多个网页，其中，多个网页用于构建网站；

S2，基于多个网页之间的关联关系，确定每个网页的权重，其中，权重用于表征每个网页对网站的贡献比例；

S3，基于每个网页的权重和每个网页的页面质量，确定网站的网站质量；

S4，基于网站质量对网站进行分级，得到网站的质量等级。

可选地，在本实施例中，上述非瞬时计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

根据本公开的实施例，本公开还提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现以下步骤：

S1，获取网站的多个网页，其中，多个网页用于构建网站；

S2，基于多个网页之间的关联关系，确定每个网页的权重，其中，权重用于表征每个网页对网站的贡献比例；

S3，基于每个网页的权重和每个网页的页面质量，确定网站的网站质量；

S4，基于网站质量对网站进行分级，得到网站的质量等级。

图5是根据本公开实施例的一种网站的网页处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如方法数据处理方法。例如，在一些实施例中，方法数据处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM503并由计算单元501执行时，可以执行上文描述的数据处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种网站的网页处理方法，包括：

获取网站的多个网页，其中，所述多个网页用于构建所述网站；

基于所述多个网页之间的关联关系，确定每个所述网页的权重，其中，所述权重用于表征每个所述网页对所述网站的贡献比例；

基于每个所述网页的权重和每个所述网页的页面质量，确定所述网站的网站质量；

基于所述网站质量对所述网站进行分级，得到所述网站的质量等级。

2.根据权利要求1所述的方法，其中，基于所述多个网页之间的关联关系，确定每个所述网页的权重包括：

获取所述网站的目标结构树，其中，所述目标结构树用于表示所述多个网页之间的关联关系，且所述目标结构树的节点用于表示所述网页；

基于所述目标结构树确定每个所述网页的权重。

3.根据权利要求2所述的方法，其中，基于所述目标结构树确定每个所述网页的权重包括：

至少基于每个所述网页在所述目标结构树中的属性信息确定每个所述网页的权重，其中，所述目标结构树的节点的属性用于表示对应的所述属性信息。

4.根据权利要求3所述的方法，其中，至少基于每个所述网页在所述目标结构树中的属性信息确定每个所述网页的权重包括：

基于所述属性信息确定每个所述网页的第一权重，其中，所述权重包括所述第一权重；

基于每个所述网页在所述目标结构树中与关联网页之间的目标关联关系，确定每个所述网页的第二权重，其中，所述权重包括所述第二权重，所述目标关联关系用于表征对应的所述网页和所述关联网页之间的处理顺序；

基于所述目标关联关系在所述目标结构树中相对所述网站的首页的深度信息，确定每个所述网页的第三权重，其中，所述权重包括所述第三权重。

5.根据权利要求4所述的方法，其中，所述属性信息包括对应的所述网页的类型和/或所述网页的页面质量。

6.根据权利要求4所述的方法，其中，所述目标关联关系用于表示所述网页与所述关联网页之间的以下至少之一关系：所述网页适配至所述关联网页，所述网页跳转至所述关联网页和所述网页导流至所述关联网页。

7.根据权利要求4所述的方法，其中，基于每个所述网页的权重和每个所述网页的页面质量，确定所述网站的网站质量，包括：

基于所述第一权重、所述第二权重和所述第二权重调整每个所述网页的网页质量；

基于所述第三权重和所述深度信息将调整后的每个所述网页的网页质量转换为所述网站的网站质量。

8.根据权利要求7所述的方法，其中，基于所述第三权重和所述深度信息将调整后的每个所述网页的网页质量转换为所述网站的网站质量包括：

基于所述深度信息对所述第三权重进行指数运算，得到幂；

获取所述幂和调整后的每个所述网页的网页质量二者之间的积；

对所述多个网页对应的多个所述积进行求和，以得到所述网站质量。

9.根据权利要求7所述的方法，其中，基于所述第一权重、所述第二权重和所述第二权重调整每个所述网页的网页质量包括：

将所述第一权重、所述第二权重、所述第二权重和每个所述网页的网页质量这四者之间的积，确定为调整后的每个所述网页的网页质量。

10.根据权利要求2所述的方法，其中，获取所述网站的目标结构树包括：

基于每个所述网页的属性信息、每个所述网页与关联网页之间的目标关联关系，构建所述网站的原始结构树，其中，所述原始结构树用于表示所述多个网页之间的全部关联关系，且所述原始结构树的节点与所述目标结构树的节点相同，所述目标关联关系用于表征对应的所述网页和所述关联网页之间的处理顺序；

将所述原始结构树中具有第一数量的父节点的子节点，调整为具有第二数量的父节点的子节点，其中，所述第二数量小于所述第一数量；

基于具有所述第二数量的父节点的子节点和所述子节点相对于所述原始结构树的根节点的深度信息，构建所述目标结构树。

11.根据权利要求1至10中任意一项所述的方法，还包括：

响应于所述网站的质量满足质量阈值范围，或所述网站的等级满足等级阈值范围，对所述网站进行以下至少之一处理：对所述网站进行收录、对所述网站进行展现、对所述网站的网页的权重进行排序。

12.一种网站的网页处理装置，包括：

获取单元，用于获取网站的多个网页，其中，所述多个网页用于构建所述网站；

第一确定单元，用于基于所述多个网页之间的关联关系，确定每个所述网页的权重，其中，所述权重用于表征每个所述网页对所述网站的贡献比例；

第二确定单元，用于基于每个所述网页的权重和每个所述网页的页面质量，确定所述网站的网站质量；

分级单元，用于基于所述网站质量对所述网站进行分级，得到所述网站的质量等级。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-12中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-12中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-12中任一项所述的方法。

Images