CN113434378B - 网页稳定性的检测方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本公开提供了网页稳定性的检测方法、装置、电子设备及可读存储介质，涉及互联网技术领域，尤其涉及内容推荐技术领域。具体实现方案为：获取网页被访问后所返回的网页的第一状态码以及网页中各资源的第二状态码，并基于第一状态码确定网页的第一稳定性值，基于第二状态码确定各资源的第二稳定性值，从而基于第一稳定值以及第二稳定性值，确定网页的第三稳定性值。本方案中，将网页的响应状态以及网页中各资源的响应状态结合来确定网页的稳定性，能够全面、准确地衡量网页稳定性，为根据网页稳定性来保证用户对网页的正常访问，提升用户的使用体验提供了基础。

Description

网页稳定性的检测方法、装置、电子设备及可读存储介质

技术领域

本公开涉及互联网技术领域，尤其涉及内容推荐技术领域，具体而言，本公开涉及一种网页稳定性的检测方法、装置、电子设备及可读存储介质。

背景技术

随着互联网技术的快速发展，用户越来越多的通过网页来进行信息获取、传递以及处理。

当网页存在状态不稳定等情况时，都会造成用户无法正常访问网页，严重影响用户的使用体验。为了保证用户在访问网页时的使用体验，对网页稳定性的检测成为了一个重要问题。

发明内容

本公开为了解决上述缺陷中的至少一项，提供了一种网页稳定性的检测方法、装置、电子设备及可读存储介质。

根据本公开的第一方面，提供了一种网页稳定性的检测方法，该方法包括：

获取网页被访问后所返回的第一状态码以及第二状态码，其中，第一状态码为网页的状态码，第二状态码为网页中各资源的状态码；

基于第一状态码确定网页的第一稳定性值；

基于第二状态码确定各资源的第二稳定性值；

基于第一稳定值以及第二稳定性值，确定网页的第三稳定性值。

根据本公开的第二方面，提供了一种搜索结果的排序方法，该方法包括：

确定搜索结果中各网页的第三稳定性值，其中，第三稳定性值是根据上述的站点稳定性的检测方法确定出的；

基于第三稳定性值，对搜索结果中各网页进行排序。

根据本公开的第三方面，提供了一种数据的爬取方法，该方法包括：

确定站点的第四稳定性值；

基于第四稳定性值，对站点进行爬取。

根据本公开的第四方面，提供了一种网页稳定性的检测装置，该装置包括：

状态码获取模块，用于获取网页被访问后所返回的第一状态码以及第二状态码，其中，第一状态码为网页的状态码，第二状态码为网页中各资源的状态码；

第一稳定性值确定模块，用于基于第一状态码确定网页的第一稳定性值；

第二稳定性值确定模块，用于基于第二状态码确定各资源的第二稳定性值；

网页稳定性确定模块，用于基于第一稳定值以及第二稳定性值，确定网页的第三稳定性值。

根据本公开的第五方面，提供了一种搜索结果的排序装置，该装置包括：

网页稳定性确定模块，用于确定搜索结果中各网页的第三稳定性值，其中，第三稳定性值是根据上述的网页稳定性的检测方法确定出的；

搜索结果排序模块，用于基于第三稳定性值，对搜索结果中各网页进行排序。

根据本公开的第六方面，提供了一种数据的爬取装置，该装置包括：

站点稳定性确定模块，用于确定站点的第四稳定性值；

数据爬取模块，用于基于第四稳定性值，对站点进行爬取。

根据本公开的第七方面，提供了一种电子设备，该电子设备包括：

至少一个处理器；以及

与上述至少一个处理器通信连接的存储器；其中，

存储器存储有可被上述至少一个处理器执行的指令，指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行上述任一项方法。

根据本公开的第八方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使计算机执行上述任一项方法。

根据本公开的第九方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述任一项方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开实施例提供的一种网页稳定性的检测方法的流程示意图；

图2是本公开实施例提供的一种搜索结果的排序方法的流程示意图；

图3是本公开实施例提供的一种数据的爬取方法的流程示意图；

图4是根据本公开提供的一种网页稳定性的检测装置的结构示意图；

图5是根据本公开提供的一种搜索结果的排序装置的结构示意图；

图6是根据本公开提供的一种数据的爬取装置的结构示意图；

图7是用来实现本公开实施例的任一项方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1示出了本公开实施例提供的一种网页稳定性的检测方法的流程示意图，如图1中所示，该方法主要可以包括：

步骤S110：获取网页被访问后所返回的第一状态码以及第二状态码，其中，第一状态码为网页的状态码，第二状态码为网页中各资源的状态码；

步骤S120：基于第一状态码确定网页的第一稳定性值；

步骤S130：基于第二状态码确定各资源的第二稳定性值；

步骤S140：基于第一稳定值以及第二稳定性值，确定网页的第三稳定性值。

其中，状态码即访问状态码，是在终端设备发起对网页的访问请求后，服务器响应于访问请求所返回的。状态码反映了网页或资源的响应状态。

第一状态码为针对网页所返回状态码，第二状态码为针对网页中的各资源所返回的状态码。

网页中的各资源可以包括脚本(JavaScript，js)，层叠样式表(Cascading StyleSheets，css)，图像(img)，媒体(media)，字体(font)，可扩展超文本传输请求(XML HttpRequest，XHR)等。

第一状态码能够反映网页的响应状态，可以基于第一状态码确定网页的第一稳定性值，第一稳定性值用于反映网页的稳定性。

第二状态码能够反映对应资源的响应状态，可以基于第二状态码确定对应资源的第二稳定性值，第二稳定性值用于反映资源的稳定性。

根据网页的第一稳定性值以及各资源的第二稳定性值来确定网页的第三稳定性值，使得第三稳定性值能够从整体上反映网页的稳定性，实现对网页稳定性进行全面、准确地衡量。

本公开实施例提供的方法，通过获取网页被访问后所返回的网页的第一状态码以及网页中各资源的第二状态码，并基于第一状态码确定网页的第一稳定性值，基于第二状态码确定各资源的第二稳定性值，从而基于第一稳定值以及第二稳定性值，确定网页的第三稳定性值。本方案中，将网页的响应状态以及网页中各资源的响应状态结合来确定网页的稳定性，能够全面、准确地衡量网页稳定性，为根据网页稳定性来保证用户对网页的正常访问，提升用户的使用体验提供了基础。

本公开的一种可选方式中，基于第一稳定值以及第二稳定性值，确定网页的第三稳定性值，包括：

基于预配置的网页的第一权重，各资源的第二权重，并基于第一稳定值以及第二稳定性值，确定网页的第三稳定性值。

其中，第一权重为网页所对应的权重，第二权重为各资源所对应的权重，第一权重以及第二权重可以根据实际需求进行配置。

在实际使用中，第二权重可以根据各资源对用户体验影响的显著性来确定。例如，img、media等资源对用户体验的影响显著，可以设置较高的第二权重。

作为一个示例，网页稳定性可以通过如下的公式一确定。

公式一：

page_score＝sigmoid(w_html×page_html_score+∑w_res×page_res_score)

其中，page_score为第三稳定性值，sigmoid为用于归一化的函数，w_html为第一权重，page_html_score为第一稳定性值，page_html_score网页中任一资源的第二稳定性值，w_res为该资源的第二权重。

本公开的一种可选方式中，当资源为图像时，上述方法还包括：

基于图像在网页中的位置，和/或，图像在网页中的面积占比，确定资源对应的第二权重。

本公开实施例中，图像(img)资源在网页中可能会存在多个，而各个图像资源因其对应图像的大小、在网页中的位置等并不相同，对用户体验的影响显著性也不相同，因此，可以根据对用户体验的影响显著性，对各图像资源分别配置第二权重。

在实际使用中，除图像资源外的其他同类型的资源如果在网页中存在多个，且多个资源对用户体验的影响显著性也不相同时，也可以分别为其配置对应的第二权重。

本公开实施例中，由于图像资源位于网页中不同位置时，对用户体验的影响显著性不相同，可以基于图像资源在网页中的位置来确定图像资源对应的第二权重。具体而言，位于网页中部的图像资源对用户体验的影响显著性较高，可以将其设置较高的第二权重；而位于网页边角处(如左下角)的图像资源对用户体验的影响显著性较低，可以将其设置较低的第二权重。

本公开实施例中，由于图像资源在网页中面积占比不同时，对用户体验的影响显著性不相同，可以基于图像资源在网页中面积来确定图像资源对应的第二权重。具体而言，在网页中面积占比较高的图像资源对用户体验的影响显著性较高，可以将其设置较高的第二权重；而在网页中面积占比较低的图像资源对用户体验的影响显著性较低，可以将其设置较低的第二权重。

在实际使用中，可以根据图像资源在网页中的位置以及图像资源在网页中面积占比，共同来确定图像资源对应的第二权重。作为一个示例，位于网页中部且在网页中面积占比较高的图像资源(即主图)，可以设置为较高的第二权重。

本公开的一种可选方式中，基于第一状态码确定网页的第一稳定性值，包括：

基于预配置的状态码与状态值的对应关系，确定第一状态码对应的第一状态值；

基于第一状态值确定网页的第一稳定性值；

基于第二状态码确定各资源的第二稳定性值，包括：

基于预配置的状态码与状态值的对应关系，确定第二状态码对应的第二状态值；

基于第二状态值确定各资源的第二稳定性值。

本公开实施例中，由于状态码用于反映资源(包括网页)的响应状态，因此可以针对不同的响应状态分别配置状态值，即配置状态码与状态值的对应关系。

在实际使用中，可以将表示响应状态为正常的状态码(如首位为1或2的状态码)的状态值设置为趋于正向，将可以将表示响应状态为异常的状态码(如首位为3、4或5的状态码)的状态值设置为趋于负向。

本公开的一种可选方式中，若网页被访问多次，则上述方法还包括：

基于各次访问的发起时间，确定各次访问的第三权重；

基于第一状态值确定网页的第一稳定性值，包括：

基于第三权重以及各次访问的第一状态值，确定网页的第一稳定性值；

基于第二状态值确定各资源的第二稳定性值，包括：

基于第三权重以及各次访问的第二状态值确定各资源的第二稳定性值。

本公开实施例中，若网页被的访问多次时，可以结合多个网页的访问情况来确定第一稳定性值以及第二稳定性值。

各次访问因其发起时间不同，所能反映网页当前的访问状态的程度也不同，因此可以根据各次访问的发起时间对各次访问设置第三权重。

具体而言，可以对发起时间与当前时刻时间间隔较短的访问，设置较高的第三权重，对发起时间与当前时刻时间间隔较长的访问，设置较低的第三权重。

作为一个示例，第一稳定性值可以通过如下的公式二确定。

公式二：

page_html_score＝sigmoid(∑(page_code_i×w_i))

其中，page_html_score为第一稳定性值，sigmoid为用于归一化的函数，page-code_i为任一次访问的第一状态值，w_i为第i次访问的第三权重。

作为一个示例，第二访问状态可以通过如下的公式三确定。

公式三：

page_res_score＝sigmoid(∑res_code_j×w_j)

其中，page_res_score为任一资源的第二稳定性值，sigmoid为用于归一化的函数，res_code_j为任一次访问中该资源第二状态值，w_j为第j次访问的第三权重。

本公开的一种可选方式中，在获取网页被访问后所返回的第一状态码以及第二状态码之前，方法还包括：

确定网页的被访问次数是否小于预设值；

若小于，则发起对网页的访问，直至网页的被访问次数不小于预设值。

本申请实施例中，为了保证检测出网页稳定性的准确，可以结合多次访问的情况来进行网页稳定性的检测。可以确定网页的被访问次数是否小于预设值，并在被访问次数不小于预设值时，认为网页的被访问次数足以支持对网页稳定性的准确检测。

在被访问次数小于预设值时，认为网页的被访问次数不足以支持对网页稳定性的准确检测，这时可以发起对网页的访问，直至网页的被访问次数达到预设值。

预设值可以根据实际需要进行设置。

本公开的一种可选实施方式中，在确定网页的第三稳定性值之后，上述方法还包括：

基于网页的第三稳定性值，确定网页所属站点的第四稳定性值。

本公开实施例中，可以基于站点下各网页的稳定性来确定站点的稳定性。

具体而言，可以基于站点下各网页的第三稳定性值，计算站点的第四稳定性值。

本公开实施例中，由于站点中网页可能众多，可以对站点下网页进行抽样，得到抽样网页，从而基于抽样网页的稳定性确定站点的稳定性。

作为一个示例，在对站点进行抽样时，可以采用如下的任一种抽样方式：

对整站下网页抽样

对目录下网页抽样

对模式(Pattern)下网页抽样

对作者号下网页抽样。

作为一个示例，站点的稳定性可以通过站点的稳定性值量化，站点的稳定性值可以通过如下的公式四确定。

公式四：

source_score＝sigmoid(∑(page_score))

其中，source_score为站点的稳定性值，sigmoid用于归一化的函数，page_score为各抽样网页的稳定性值。

在实际使用中，网页的稳定性或者站点稳定性可以为作为网页质量的一个衡量参数，用于与其他网页质量衡量参数结合来判断网页质量。

具体而言，上述的其他网页质量衡量参数可以包括但是不限于页面内容质量以及用户对网页的评分等。

图2示出了本公开实施例提供的一种搜索结果的排序方法的流程示意图，如图2中所示，该方法主要可以包括：

步骤S210：确定搜索结果中各网页的第三稳定性值，其中，第三稳定性值，是根据上述的网页稳定性检测方法确定出的；

步骤S220：基于第三稳定性值，对搜索结果中各网页进行排序。

其中，搜索结果中一般会包括众多的网页，用户一般会优先访问排序在前的网页，因此，能否对搜索结果中的网页进行有效排序，直接关乎用户对搜索功能的使用体验。

网页的稳定性能够表示网页能否被正常访问，因此可以基于述网页的第三稳定性值对搜索结果中各网页进行排序。具体而言，可以将搜索结果稳定性好(第三稳定性值较高)的网页指定较高排序优先级，即将其排序在前，以保证搜索结果中被用户访问可能性较高的网页能够被正常访问。

本公开实施例提供的方法，通过确定搜索结果中网页的稳定性，从而基于网页的稳定性对搜索结果中各网页进行排序。本方案能够实现基于网页稳定性对搜索结果中的网页进行有效排序，保证搜索结果中被用户访问可能性较高的网页能够被正常访问，从而保证用户对搜索功能的使用体验。

图3示出了本公开实施例提供的一种数据的爬取方法的流程示意图，如图3中所示，该方法主要可以包括：

步骤S310：确定站点的第四稳定性值；

步骤S320：基于第四稳定性值，对站点进行爬取。

本公开实施例中，第四稳定性值可以通过前述实施例中所示的方法计算得到。站点的第四稳定性值能够反映站点下多个网页的响应状态，可以基于第四稳定性值，对站点进行爬取任务的调度。

具体而言，在站点的第四稳定性值低于稳定性阈值时，即认为站点的稳定性较低时，可以增加对该站点的抓取频次，以便及时确定站点下的各网页是否仍可用，以便在发现不可用的网页时，及时将不可用的网页下线。

本公开实施例提供的方法，通过确定站点稳定性，从而基于站点稳定性对站点进行爬取。本方案能够实现基于站点稳定性对爬取任务的进行有效调度，增加爬取任务调度的合理性。

基于与图1中所示的方法相同的原理，图4示出了本公开实施例提供的一种网页稳定性的检测装置的结构示意图，如图4所示，该网页稳定性的检测装置40可以包括：

状态码获取模块410，用于获取网页被访问后所返回的第一状态码以及第二状态码，其中，第一状态码为网页的状态码，第二状态码为网页中各资源的状态码；

第一稳定性值确定模块420，用于基于第一状态码确定网页的第一稳定性值；

第二稳定性值确定模块430，用于基于第二状态码确定各资源的第二稳定性值；

网页稳定性确定模块440，用于基于第一稳定值以及第二稳定性值，确定网页的第三稳定性值。

本公开实施例提供的装置，通过获取网页被访问后所返回的网页的第一状态码以及网页中各资源的第二状态码，并基于第一状态码确定网页的第一稳定性值，基于第二状态码确定各资源的第二稳定性值，从而基于第一稳定值以及第二稳定性值，确定网页的第三稳定性值。本方案中，将网页的响应状态以及网页中各资源的响应状态结合来确定网页的稳定性，能够全面、准确地衡量网页稳定性，为根据网页稳定性来保证用户对网页的正常访问，提升用户的使用体验提供了基础。

可选地，网页稳定性确定模块具体用于：

基于预配置的网页的第一权重，各资源的第二权重，并基于第一稳定值以及第二稳定性值，确定网页的第三稳定性值。

可选地，上述装置还包括第二权重确定模块，第二权重确定模块用于：

当资源为图像时，基于图像在网页中的位置，和/或，图像在网页中的面积占比，确定资源对应的第二权重。

可选地，第一稳定性值确定模块具体用于：

基于预配置的状态码与状态值的对应关系，确定第一状态码对应的第一状态值；

基于第一状态值确定网页的第一稳定性值；

第二稳定性值确定模块具体用于：

基于预配置的状态码与状态值的对应关系，确定第二状态码对应的第二状态值；

基于第二状态值确定各资源的第二稳定性值。

可选地，上述装置还包括第三权重确定模块，第三权重确定模块用于：

若网页被访问多次，基于各次访问的发起时间，确定各次访问的第三权重；

第一稳定性值确定模块具体用于：

基于第三权重以及各次访问的第一状态值，确定网页的第一稳定性值；

第二稳定性值确定模块具体用于：

基于第三权重以及各次访问的第二状态值确定各资源的第二稳定性值。

可选地，上述装置还包括访问发起模块，访问发起模块用于

在获取网页被访问后所返回的第一状态码以及第二状态码之前，确定网页的被访问次数是否小于预设值；

若小于，则发起对网页的访问，直至网页的被访问次数不小于预设值。

可选地，上述装置还包括站点稳定性确定模块，站点稳定性确定模块用于：

基于网页的第三稳定性值，确定网页所属站点的第四稳定性值。

可以理解的是，本公开实施例中的网页稳定性的检测装置的上述各模块具有实现图1中所示的实施例中的网页稳定性的检测方法相应步骤的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。上述模块可以是软件和/或硬件，上述各模块可以单独实现，也可以多个模块集成实现。对于上述网页稳定性的检测装置的各模块的功能描述具体可以参见图1中所示实施例中的网页稳定性的检测方法的对应描述，在此不再赘述。

基于与图2中所示的方法相同的原理，图5示出了本公开实施例提供的一种搜索结果的排序装置的结构示意图，如图5所示，该搜索结果的排序装置50可以包括：

网页稳定性确定模块510，用于确定搜索结果中各网页的第三稳定性值，其中，第三稳定性值是根据上述的网页稳定性的检测方法确定出的；

搜索结果排序模块520，用于基于第三稳定性值，对搜索结果中各网页进行排序。

本公开实施例提供的装置，通过确定搜索结果中网页的稳定性，从而基于网页的稳定性对搜索结果中各网页进行排序。本方案能够实现基于网页稳定性对搜索结果中的网页进行有效排序，保证搜索结果中被用户访问可能性较高的网页能够被正常访问，从而保证用户对搜索功能的使用体验。

可以理解的是，本公开实施例中的搜索结果的排序装置的上述各模块具有实现图2中所示的实施例中的搜索结果的排序方法相应步骤的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。上述模块可以是软件和/或硬件，上述各模块可以单独实现，也可以多个模块集成实现。对于上述搜索结果的排序装置的各模块的功能描述具体可以参见图2中所示实施例中的搜索结果的排序方法的对应描述，在此不再赘述。

基于与图3中所示的方法相同的原理，图6示出了本公开实施例提供的一种数据的爬取装置的结构示意图，如图6所示，该数据的爬取装置60可以包括：

站点稳定性确定模块610，用于确定站点的第四稳定性值，其中，第四稳定性值是根据前述实施例中提供的方法确定出的；

数据爬取模块620，用于基于第四稳定性值，对站点进行爬取。

本公开实施例提供的装置，通过确定站点稳定性，从而基于站点稳定性对站点进行爬取。本方案能够实现基于站点稳定性对爬取任务的进行有效调度，增加爬取任务调度的合理性。

可以理解的是，本公开实施例中的数据的爬取装置的上述各模块具有实现图3中所示的实施例中的数据的爬取方法相应步骤的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。上述模块可以是软件和/或硬件，上述各模块可以单独实现，也可以多个模块集成实现。对于上述数据的爬取装置的各模块的功能描述具体可以参见图3中所示实施例中的数据的爬取方法的对应描述，在此不再赘述。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如本公开实施例提供的任一项方法。

该电子设备与现有技术相比，基于网页的第一访问数据，确定网页的第一访问状态以及网页中各资源的第二访问状态，并基于第一访问状态以及第二访问状态，确定网页的稳定性。本方案中，基于网页页面的访问状态以及网页中各资源的访问状态来确定网页的稳定性，能够全面、准确地对网页是否能够被正常使用进行衡量，为根据网页稳定性来保证用户对网页的正常访问，提升用户的使用体验提供了基础。

该可读存储介质为存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如本公开实施例提供的任一项方法。

该可读存储介质与现有技术相比，基于网页的第一访问数据，确定网页的第一访问状态以及网页中各资源的第二访问状态，并基于第一访问状态以及第二访问状态，确定网页的稳定性。本方案中，基于网页页面的访问状态以及网页中各资源的访问状态来确定网页的稳定性，能够全面、准确地对网页是否能够被正常使用进行衡量，为根据网页稳定性来保证用户对网页的正常访问，提升用户的使用体验提供了基础。

该计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本公开实施例提供的任一项方法。

该计算机程序产品与现有技术相比，基于网页的第一访问数据，确定网页的第一访问状态以及网页中各资源的第二访问状态，并基于第一访问状态以及第二访问状态，确定网页的稳定性。本方案中，基于网页页面的访问状态以及网页中各资源的访问状态来确定网页的稳定性，能够全面、准确地对网页是否能够被正常使用进行衡量，为根据网页稳定性来保证用户对网页的正常访问，提升用户的使用体验提供了基础。

图7示出了可以用来实施本公开的实施例的示例电子设备2000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，设备2000包括计算单元2010，其可以根据存储在只读存储器(ROM)2020中的计算机程序或者从存储单元2080加载到随机访问存储器(RAM)2030中的计算机程序，来执行各种适当的动作和处理。在RAM 2030中，还可存储设备2000操作所需的各种程序和数据。计算单元2010、ROM 2020以及RAM 2030通过总线2040彼此相连。输入/输出(I/O)接口2050也连接至总线2040。

设备2000中的多个部件连接至I/O接口2050，包括：输入单元2060，例如键盘、鼠标等；输出单元2070，例如各种类型的显示器、扬声器等；存储单元2080，例如磁盘、光盘等；以及通信单元2090，例如网卡、调制解调器、无线通信收发机等。通信单元2090允许设备2000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元2010可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元2010的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元2010执行本公开实施例中所提供的任一项方法。例如，在一些实施例中，行本公开实施例中所提供的任一项方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元2080。在一些实施例中，计算机程序的部分或者全部可以经由ROM 2020和/或通信单元2090而被载入和/或安装到设备2000上。当计算机程序加载到RAM 2030并由计算单元2010执行时，可以执行本公开实施例中所提供的任一项方法的一个或多个步骤。备选地，在其他实施例中，计算单元2010可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开实施例中所提供的任一项方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (11)

1.一种网页稳定性的检测方法，包括：

获取网页被访问后所返回的第一状态码以及第二状态码，其中，所述第一状态码为所述网页的状态码，所述第二状态码为所述网页中各资源的状态码；

基于所述第一状态码确定所述网页的第一稳定性值；

基于所述第二状态码确定各所述资源的第二稳定性值；

基于所述第一稳定值以及所述第二稳定性值，确定所述网页的第三稳定性值；

所述基于所述第一稳定值以及所述第二稳定性值，确定所述网页的第三稳定性值，包括：

基于预配置的所述网页的第一权重，各所述资源的第二权重，并基于所述第一稳定值以及所述第二稳定性值，确定所述网页的第三稳定性值；

所述基于所述第一状态码确定所述网页的第一稳定性值，包括：

基于预配置的状态码与状态值的对应关系，确定所述第一状态码对应的第一状态值；

基于所述第一状态值确定所述网页的第一稳定性值；

所述基于所述第二状态码确定各所述资源的第二稳定性值，包括：

基于预配置的状态码与状态值的对应关系，确定所述第二状态码对应的第二状态值；

基于所述第二状态值确定各所述资源的第二稳定性值；

若所述网页被访问多次，则所述方法还包括：

基于各次访问的发起时间，确定所述各次访问的第三权重；

所述基于所述第一状态值确定所述网页的第一稳定性值，包括：

基于所述第三权重以及各次访问的所述第一状态值，确定所述网页的第一稳定性值；

所述基于所述第二状态值确定各所述资源的第二稳定性值，包括：

基于所述第三权重以及各次访问的所述第二状态值确定各所述资源的第二稳定性值。

2.根据权利要求1所述的方法，其中，当所述资源为图像时，所述方法还包括：

基于所述图像在所述网页中的位置，和/或，所述图像在所述网页中的面积占比，确定所述资源对应的第二权重。

3.根据权利要求1所述的方法，在获取网页被访问后所返回的第一状态码以及第二状态码之前，所述方法还包括：

确定所述网页的被访问次数是否小于预设值；

若小于，则发起对所述网页的访问，直至所述网页的被访问次数不小于预设值。

4.根据权利要求1所述的方法，在确定所述网页的第三稳定性值之后，所述方法还包括：

基于所述网页的第三稳定性值，确定所述网页所属站点的第四稳定性值。

5.一种基于权利要求1-4中任一项所述的网页稳定性的检测方法进行搜索结果排序的方法，包括：

确定搜索结果中各网页的第三稳定性值；

基于所述第三稳定性值，对所述搜索结果中各网页进行排序。

6.一种基于权利要求4所述的网页稳定性的检测方法进行数据爬取的方法，包括：

确定站点的第四稳定性值；

基于所述第四稳定性值，对所述站点进行爬取。

7.一种网页稳定性确定装置，包括：

状态码获取模块，用于获取网页被访问后所返回的第一状态码以及第二状态码，其中，所述第一状态码为所述网页的状态码，所述第二状态码为所述网页中各资源的状态码；

第一稳定性值确定模块，用于基于所述第一状态码确定所述网页的第一稳定性值；

第二稳定性值确定模块，用于基于所述第二状态码确定各所述资源的第二稳定性值；

网页稳定性确定模块，用于基于所述第一稳定值以及所述第二稳定性值，确定所述网页的第三稳定性值；

所述网页稳定性确定模块具体用于：

基于预配置的所述网页的第一权重，各所述资源的第二权重，并基于所述第一稳定值以及所述第二稳定性值，确定所述网页的第三稳定性值；

所述第一稳定性值确定模块具体用于：

基于预配置的状态码与状态值的对应关系，确定所述第一状态码对应的第一状态值；

基于所述第一状态值确定所述网页的第一稳定性值；

所述第二稳定性值确定模块具体用于：

基于预配置的状态码与状态值的对应关系，确定所述第二状态码对应的第二状态值；

基于所述第二状态值确定各所述资源的第二稳定性值；

所述装置还包括第三权重确定模块，所述第三权重确定模块用于：

若所述网页被访问多次，基于各次访问的发起时间，确定所述各次访问的第三权重；

所述第一稳定性值确定模块具体用于：

基于所述第三权重以及各次访问的所述第一状态值，确定所述网页的第一稳定性值；

所述基于所述第二状态值确定各所述资源的第二稳定性值，包括：

基于所述第三权重以及各次访问的所述第二状态值确定各所述资源的第二稳定性值。

8.一种搜索结果排序的装置，包括：

状态码获取模块，用于获取网页被访问后所返回的第一状态码以及第二状态码，其中，所述第一状态码为所述网页的状态码，所述第二状态码为所述网页中各资源的状态码；

第一稳定性值确定模块，用于基于所述第一状态码确定所述网页的第一稳定性值；

第二稳定性值确定模块，用于基于所述第二状态码确定各所述资源的第二稳定性值；

网页稳定性确定模块，用于基于所述第一稳定值以及所述第二稳定性值，确定所述网页的第三稳定性值；

网页稳定性确定模块，用于确定搜索结果中各网页的第三稳定性值；

搜索结果排序模块，用于基于所述第三稳定性值，对所述搜索结果中各网页进行排序；

所述网页稳定性确定模块具体用于：

基于预配置的所述网页的第一权重，各所述资源的第二权重，并基于所述第一稳定值以及所述第二稳定性值，确定所述网页的第三稳定性值；

所述第一稳定性值确定模块具体用于：

基于预配置的状态码与状态值的对应关系，确定所述第一状态码对应的第一状态值；

基于所述第一状态值确定所述网页的第一稳定性值；

所述第二稳定性值确定模块具体用于：

基于预配置的状态码与状态值的对应关系，确定所述第二状态码对应的第二状态值；

基于所述第二状态值确定各所述资源的第二稳定性值；

所述装置还包括第三权重确定模块，所述第三权重确定模块用于：

若所述网页被访问多次，基于各次访问的发起时间，确定所述各次访问的第三权重；

所述第一稳定性值确定模块具体用于：

基于所述第三权重以及各次访问的所述第一状态值，确定所述网页的第一稳定性值；

所述基于所述第二状态值确定各所述资源的第二稳定性值，包括：

基于所述第三权重以及各次访问的所述第二状态值确定各所述资源的第二稳定性值。

9.一种数据爬取的装置，包括：

状态码获取模块，用于获取网页被访问后所返回的第一状态码以及第二状态码，其中，所述第一状态码为所述网页的状态码，所述第二状态码为所述网页中各资源的状态码；

第一稳定性值确定模块，用于基于所述第一状态码确定所述网页的第一稳定性值；

第二稳定性值确定模块，用于基于所述第二状态码确定各所述资源的第二稳定性值；

网页稳定性确定模块，用于基于所述第一稳定值以及所述第二稳定性值，确定所述网页的第三稳定性值；

站点稳定性确定模块，用于基于所述网页的第三稳定性值，确定所述网页所属站点的第四稳定性值；

数据爬取模块，用于基于所述第四稳定性值，对所述站点进行爬取；

所述网页稳定性确定模块具体用于：

基于预配置的所述网页的第一权重，各所述资源的第二权重，并基于所述第一稳定值以及所述第二稳定性值，确定所述网页的第三稳定性值；

所述第一稳定性值确定模块具体用于：

基于预配置的状态码与状态值的对应关系，确定所述第一状态码对应的第一状态值；

基于所述第一状态值确定所述网页的第一稳定性值；

所述第二稳定性值确定模块具体用于：

基于预配置的状态码与状态值的对应关系，确定所述第二状态码对应的第二状态值；

基于所述第二状态值确定各所述资源的第二稳定性值；

所述装置还包括第三权重确定模块，所述第三权重确定模块用于：

若所述网页被访问多次，基于各次访问的发起时间，确定所述各次访问的第三权重；

所述第一稳定性值确定模块具体用于：

基于所述第三权重以及各次访问的所述第一状态值，确定所述网页的第一稳定性值；

所述基于所述第二状态值确定各所述资源的第二稳定性值，包括：

基于所述第三权重以及各次访问的所述第二状态值确定各所述资源的第二稳定性值。

10.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。

11.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-4中任一项所述的方法。