CN112866279A - 网页安全检测方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种网页安全检测方法、装置、设备及介质。该方法包括：获取待检测网页流量，所述待检测网页流量中包括多个待检测网页；对所述待检测网页流量中的各待检测网页逐个进行流量检测，得到与每个所述待检测网页分别对应的访问日志；根据所述访问日志，生成与所述待检测网页流量对应的访问日志清单；根据所述访问日志清单确定未被安全检测过的多个目标检测网页，并对各目标检测网页进行网页安全检测。上述技术方案实现了对新增的未检测网页进行网页安全检测，节省了系统资源，并且提高了检测效率。

Description

网页安全检测方法、装置、设备及介质

技术领域

本发明实施例涉及网络安全技术领域，尤其涉及一种网页安全检测方法、装置、设备及介质。

背景技术

随着互联网技术的快速发展，网络上充斥着大量的仿冒、诈骗、赌博和色情等非法网站，由于普通群众在使用互联网时无法对这些非法网站进行有效的风险鉴别，导致用户在使用互联网时存在严重网络安全风险，特别是近年来互联网诈骗行为猖獗，使国家和公民都面临着巨大的财产损失。为了能快速对非法网站进行批量关停和封堵，从而可以最大程度保护人民群众的网络安全，网页安全检测始终是网络安全技术领域的重要议题。

目前，在进行网页安全检测时，尤其是面对海量的网页流量时，通常是直接对网页或网页源文件逐一进行检测，导致部分网页会被重复检测，难以基于新增的非法网页进行安全检测，浪费了系统资源，并且降低了检测效率。因此，如何实现对新增的未检测网页进行网页安全检测，节省系统资源，并提高检测效率是亟待解决的问题。

发明内容

本发明实施例提供一种网页安全检测方法、装置、设备及介质，以实现对新增的未检测网页进行网页安全检测进行网页安全检测，节省系统资源，并提高检测效率。

第一方面，本发明实施例提供了一种网页安全检测方法，包括：

获取待检测网页流量，所述待检测网页流量中包括多个待检测网页；

对所述待检测网页流量中的各待检测网页逐个进行流量检测，得到与每个所述待检测网页分别对应的访问日志；

根据所述访问日志，生成与所述待检测网页流量对应的访问日志清单；

根据所述访问日志清单确定未被安全检测过的多个目标检测网页，并对各目标检测网页进行网页安全检测

第二方面，本发明实施例还提供了一种网页安全检测装置，包括：

待检测网页流量获取模块，用于获取待检测网页流量，所述待检测网页流量中包括多个待检测网页；

访问日志生成模块，用于对所述待检测网页流量中的各待检测网页逐个进行流量检测，得到与每个所述待检测网页分别对应的访问日志；

访问日志清单生成模块，用于根据所述访问日志，生成与所述待检测网页流量对应的访问日志清单；

目标检测网页确定及网页安全检测模块，用于根据所述访问日志清单确定未被安全检测过的多个目标检测网页，并对各目标检测网页进行网页安全检测。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任意实施例所述的网页安全检测方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的网页安全检测方法。

本发明实施例提供的技术方案中，获取待检测网页流量，对其中包括的多个待检测网页逐个进行流量检测，得到与每个待检测网页分别对应的访问日志，然后根据访问日志生成与待检测网页流量对应的访问日志清单，再根据访问日志清单确定未被安全检测过的多个目标检测网页，并对各目标检测网页进行网页安全检测，实现了对新增的未检测网页进行网页安全检测，节省了系统资源，并且提高了对网页的安全检测效率。

附图说明

图1a是本发明实施例一中的一种网页安全检测方法的流程示意图；

图1b是本发明实施例一中的一种生成访问日志清单的时序图；

图1c是本发明实施例一中的一种确定目标检测网页的时序图；

图2a是本发明实施例二中的一种网页安全检测方法的流程示意图；

图2b是本发明实施例二中的一种网页安全检测的逻辑关系示意图；

图3a是本发明实施例三中的一种网页安全检测方法的流程示意图；

图3b是本发明实施例三中的一种通过网页数据获取引擎提取目标网页检测数据的时序图；

图3c是本发明实施例三中的一种提取目标网页检测数据的流程示意图；

图3d是本发明实施例三中的一种HTML文件的解析内容对比示意图；

图3e是本发明实施例三中的一种通过网页数据检测引擎检测目标检测网页的时序图；

图3f是本发明实施例三中的一种对异常网页进行存活性检测的时序图；

图4是本发明实施例四中的一种网页安全检测装置的结构示意图；

图5是本发明实施例五中的一种计算机设备的硬件结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1a是本发明实施例一提供的一种网页安全检测方法的流程图，本发明实施例可适用于确定待检测网页流量中新增的未被检测过的网页并对其进行网页安全检测的情况，该方法可以由本发明实施例提供的网页安全检测装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中。

如图1a所示，本实施例提供的一种网页安全检测方法，具体包括：

S110、获取待检测网页流量，待检测网页流量中包括多个待检测网页。

网页流量，指的是一组包含多个网页的集合。待检测网页流量，指的是需要进行网页安全检测的网页流量。待检测网页，指的是需要检测其是否为安全网页或非法网页的网页。

在本发明实施例中，可以采用对原始网页流量进行分光的方式实时获取待检测网页流量，或者通过外部导入的方式获取待检测网页流量。其中，分光，指的是通过分光器对原始网页流量复制分发，将通过分光方式得到的实时网页流量作为待检测网页流量。

获取包含多个待检测网页的待检测网页流量。

S120、对待检测网页流量中的各待检测网页逐个进行流量检测，得到与每个待检测网页分别对应的访问日志。

流量检测，用于确定与待检测网页对应的访问日志。

访问日志，指的是记录网页访问记录等网页运营情况的文件。

逐一对待检测网页流量中的各待检测网页进行流量检测，得到每个待检测网页对应的实时访问日志。例如，逐一对用户实时访问的网页域名进行解析，得到实时访问日志。

S130、根据访问日志，生成与待检测网页流量对应的访问日志清单。

其中，访问日志清单，指的是包含所有待检测网页对应的访问日志的清单。

作为一种具体的实施方式，如附图1b提供的一种生成访问日志清单的时序图，获取待检测网页流量，并对待检测网页流量中各待检测网页对应的域名进行分析，分析完成后可以反馈该待检测网页流量的质量(如网页的主要内容等信息)，同时逐一根据待检测网页的域名进行流量检测，得到与各待检测网页对应的实时访问日志，再将得到的所有访问日志进行整理，生成与多个待检测网页流量对应的访问日志清单，并可以反馈该待检测网页流量的流量检测性能(如可进行网页安全检测的待检测网页数量等)。

S140、根据访问日志清单确定未被安全检测过的多个目标检测网页，并对各目标检测网页进行网页安全检测。

目标检测网页，指的是待检测网页流量中没有进行过网页安全检测，并需要进行网页安全检测的网页。

网页安全检测，用于检测网页是否为安全网页或为仿冒、诈骗、赌博或色情等类型的非法网页。

根据访问日志清单确定待检测网页流量中新增的未被安全检测过的多个目标检测网页，并对其进行网页安全检测。

作为一种可选的实施方式，根据访问日志清单确定未被安全检测过的多个目标检测网页，可以包括：根据预设的黑白名单对访问日志清单进行过滤；将过滤后的结果与历史访问记录进行匹配，确定未存在于历史访问记录中的多个目标检测网页。

黑白名单，指的是预设的用于对访问日志清单中的访问日志进行初步筛选的黑名单和白名单。根据预设的白名单可以将访问日志清单中已确定的安全网页对应的访问日志滤出，根据预设的黑名单可以将访问日志清单中已确定的非法网页对应的访问日志滤出。

历史访问记录，指的是访问日志对应的待检测网页是否进行过网页安全检测的记录。其中，历史访问记录至少可以包括已被检测过的网页对应的域名。

根据预设的黑白名单对访问日志清单进行初步过滤，再将过滤后的结果与历史访问记录中记录的网页域名进行碰撞匹配，确定未存在于历史访问记录中的多个目标检测网页，从而可以得到新增的未检测网页及与其对应的域名。通过黑白名单过滤和历史访问记录的匹配，减少了访问日志清单中的数据量，提高了识别新增的未检测网页的工作效率以及待检测网页流量的安全检测效率。

作为一种具体的实施方式，如附图1c提供的一种确定目标检测网页的时序图，在生成与待检测网页流量对应的访问日志清单后，根据预设的黑白名单对访问日志清单进行过滤，反馈过滤结果，完成对访问日志清单的初步筛选，然后将得到的过滤结果与历史访问记录进行网页域名匹配，反馈匹配结果，完成对访问日志清单的二次筛选，再将未匹配到的域名对应的网页进行整理，得到目标检测网页，其中，得到的目标检测网页可以是一个，也可以是多个。

需要指出的是，如果匹配后没有得到未存在与历史访问记录中的目标检测网页，则表示当前没有新增的未被检测过的网页。

本发明实施例提供的技术方案，获取待检测网页流量，对其中包括的多个待检测网页逐个进行流量检测，得到与每个待检测网页分别对应的访问日志，然后根据访问日志生成与待检测网页流量对应的访问日志清单，再根据访问日志清单确定未被安全检测过的多个目标检测网页，并对各目标检测网页进行网页安全检测，实现了对新增的未检测网页进行网页安全检测，节省了系统资源，并且提高了对网页的安全检测效率。上述技术方案可适用于监管单位，如政府部门或公安机关等。

实施例二

图2a是本发明实施例二提供的一种网页安全检测方法的流程图。本实施例在上述实施例的基础上进行具体化，其中，可以将对各目标检测网页进行网页安全检测，具体为：

建立多个进程，并在每个进程中建立多个线程；

为每个线程分配一个目标检测网页，并通过每个线程对所分配的目标检测网页进行网页安全检测。

如图2a所示，本实施例提供的一种网页安全检测方法，具体包括：

S210、获取待检测网页流量，待检测网页流量中包括多个待检测网页。

S220、对待检测网页流量中的各待检测网页逐个进行流量检测，得到与每个待检测网页分别对应的访问日志。

S230、根据访问日志，生成与待检测网页流量对应的访问日志清单。

S240、根据访问日志清单确定未被安全检测过的多个目标检测网页。

作为一种可选的实施方式，在根据访问日志清单确定未被安全检测过的多个目标检测网页后，可以将多个目标检测网页存储至目标消息队列中，并可以对目标检测网页设置优先级。其中，目标消息队列用于存储目标检测网页，示例性的，目标消息队列可以是Redis消息队列，Redis是一个开源的存储系统，支持数据的缓存，在本发明实施例中，Redis消息队列可以用于目标检测网页的缓存及中转。优先级用于决定目标检测网页在进行网页安全检测时的先后顺序。

S250、建立多个进程，并在每个进程中建立多个线程。

其中，进程，指的是一个程序在一个数据集上的一次动态执行过程，是系统进行资源分配和调度的基本单位。线程，指的是进程中的一个执行单元，用于进程中程序的执行。一个进程中可以并发多个线程，每个线程可以并行执行相同或不同的任务，能够满足各种网页安全检测的需求。

S260、为每个线程分配一个目标检测网页，并通过每个线程对所分配的目标检测网页进行网页安全检测。

采用多进程和多线程检测目标检测网页，实现了对目标检测网页的批量并发检测，提高了网页的安全检测效率。

作为一种具体的实施方式，考虑到待检测网页流量中可能包括多个目标检测网页，在网页安全检测数据量较大的情况下，如果通过修改文件后缀名的方式实现数据的交互，肯会导致检测效率过低且操作流程复杂，同时单进程的检测效率也无法满足对大量的目标检测网页进行网页安全检测的需求。因此，在本发明实施例中，可以采用Gunicorn部署Flask服务的方式实现数据的交互，即通过预设的网页安全检测接口，采用多进程的方式对目标检测网页进行批量的网页安全检测，提升网页安全检测性能。

其中，Gunicorn是一个开源Python WSGI(Python WebServer GatewayInterface，Web服务器网关接口)的HTTP(Hyper Text Transfer Protocol，超文本传输协议)服务器，支持在UNIX操作系统中运行。Flask是Python(一种跨平台的计算机程序设计语言)的一种Web(World Wide Web，全球广域网)应用框架，它调用的Web服务仅适用于开发环境，不能独立进行生产环境的部署与运行，也无法承受大量请求的并发处理，因此可以采用Gunicorn部署Flask服务的方式实现满足高并发需求的RestFul接口服务，接口可以是API(Application Programming Interface，应用程序接口)。此外，还可以通过“Deliver to aqueue”(即传递至队列)的方式，实现接口的异步调用，即无需等待被调用函数的返回值，随时可以接收下一个请求继续处理，也就是说，在RestFul接口服务中使用了多线程，从而实现了异步交互处理数据并可以同时处理多个请求。

示例性的，在将Gunicorn部署Flask服务和Flask分别设置为单进程时，对采用Gunicorn部署Flask服务和Flask两种方式处理数据时的并发处理能力进行测试，假设请求处理的数据有1000条，分别设置数量为200条、150条、140条、130条和120条五种不同的数据并发处理数量，在采用AB(ApacheBench)测试工具进行某一次并发处理能力测试后，两种不同方式分别对应的请求处理失败数量如表1所示。从表1中不难发现，采用Gunicorn部署Flask服务方式处理数据时的并发处理能力较高，几乎不会出现请求处理失败的情况，能够满足对大量数据的高并发处理需求，从而实现对数据进行批量快速处理。

表1

附图2b提供了一种采用多进程和多线程结合的方式对目标检测网页进行批量并发安全检测时的逻辑关系示意图，其中，进程队列指的是等待进程池内的进程进行处理的事件(即目标检测网页)；进程池指的是一个包括预设数量的进程的集合，它可以在多进程程序中有效的控制进程运行的个数，维护系统的稳定性。进程池中各进程可以采用异步调用的方式获取目标检测网页进行网页安全检测，即进程池中的每个进程包括的多个线程可以分别从进程队列中获取目标检测网页进行网页安全检测。

在附图2b中，通过Gunicorn部署Flask服务的方式预设的网页安全检测接口(即RestFul_API)接收目标检测网页后，可以将目标检测网页缓存至进程队列(如Redis消息队列)中并设置任务优先级(即对目标检测网页进行网页安全检测的先后顺序)，进程池中各进程所包括的多个线程可以分别从进程队列中获取一个目标检测网页进行网页安全检测，并且网页安全检测接口可以接收与目标检测网页对应的检测结果。通过多进程和多线程结合的方式实现了对目标检测网页进行批量安全检测，提升了网页安全检测性能。

本实施例未尽详细解释之处请参见前述实施例，在此不再赘述。

上述技术方案，在生成与待检测网页流量对应的目标检测网页后，建立多个进程，并在每个进程中建立多个线程，然后为每个线程分配一个目标检测网页，并通过每个线程对所分配的目标检测网页进行网页安全检测，采用多进程和多线程结合的方式检测目标检测网页，实现了目标检测网页的批量并发检测，提高了网页安全检测效率。

实施例三

图3a是本发明实施例三提供的一种网页安全检测方法的流程图。本实施例在上述实施例的基础上进行具体化，其中，可以将对各目标检测网页进行网页安全检测，具体为：

提取当前处理的目标检测网页中的目标网页检测数据；

将目标网页检测数据与各非法网页类型分别对应的网页安全检测模板进行匹配；

如果目标网页检测数据仅与目标网页安全检测模板相匹配，则将目标网页安全检测模板的非法网页类型，确定为目标检测网页的安全检测结果。

进一步的，在将所述目标网页检测数据与各非法网页类型分别对应的网页安全检测模板进行匹配之后，还包括：

如果所述目标网页检测数据与至少两个目标网页安全检测模板相匹配，则提取与当前处理的目标检测网页对应的所述目标网页检测数据中的多项目标特征；

将各所述目标特征进行拼接，得到目标向量；

将所述目标向量输入预设的分类器进行分类，并根据分类结果，在与各所述目标网页安全检测模板分别对应的非法网页类型中筛选出目标非法网页类型；

将所述目标非法网页类型，确定为所述目标检测网页的安全检测结果。

如图3a所示，本实施例提供的一种网页安全检测方法，具体包括：

S310、获取待检测网页流量，待检测网页流量中包括多个待检测网页。

S320、对待检测网页流量中的各待检测网页逐个进行流量检测，得到与每个待检测网页分别对应的访问日志。

S330、根据访问日志，生成与待检测网页流量对应的访问日志清单。

S340、根据访问日志清单确定未被安全检测过的多个目标检测网页。

S350、提取当前处理的目标检测网页中的目标网页检测数据。

其中，目标网页检测数据，指的是目标检测网页中的特征数据，例如，网页中的源码、图片、文字、视频、链接或特殊标签等等。

作为一种可选的实施方式，在提取当前处理的目标检测网页中的目标网页检测数据之后，可以将目标网页检测数据存储至目标数据库中。其中，目标数据库用于存储目标网页检测数据，示例性的，目标数据库可以是MongoDB(分布式文档存储数据库)，它是一个高性能的开源文档型数据库，本发明实施例在对目标检测网页进行安全检测时，可以采用json(JavaScript Object Notation)格式的数据进行交互，故在存储json格式的目标网页检测数据时，可以将目标网页检测数据存储至MongoDB。

作为一种可选的实施方式，在提取当前处理的目标检测网页中的目标网页检测数据时，可以包括：通过第一控制引擎获取目标检测网页，并调用网页数据获取引擎；通过网页数据获取引擎提取当前处理的目标检测网页中的目标网页检测数据。

其中，第一控制引擎，用于接收目标检测网页，并调用网页数据获取引擎。网页数据获取引擎，用于提取目标检测网页中的目标网页检测数据。

如附图3b提供的网页数据获取引擎提取目标网页检测数据的时序图所示，由于网页数据获取引擎不对外暴露接口，因此可以通过第一控制引擎上的网页获取接口来获取目标检测网页，当获取目标检测网页后，开始提取目标检测网页中的目标网页检测数据，具体为：向第一控制引擎发送数据提取调用请求以调用第一控制引擎上的网页获取接口，当第一控制引擎被调用后可以向系统反馈网页获取接口调用响应，并向网页数据获取引擎发起接口调用请求，当网页数据获取引擎被调用后向第一控制引擎反馈接口调用响应，此时网页数据获取引擎可以通过第一控制引擎接收目标检测网页并提取当前处理的目标检测网页中的目标网页检测数据，待目标网页检测数据提取完成后，网页数据获取引擎可以将提取到的目标网页检测数据回调至第一控制引擎，第一控制引擎在接收到目标网页检测数据后，可以向网页数据获取引擎反馈数据接收响应，至此，完成目标检测网页中的目标网页检测数据提取操作。

可选的，通过网页数据获取引擎提取当前处理的目标检测网页中的目标网页检测数据，还可以包括：判断当前处理的目标检测网页对应的检测层级及与其对应的任务层级间的大小关系；若与当前处理的目标检测网页对应的检测层级小于与其对应的任务层级，则通过网页数据获取引擎提取当前处理的目标检测网页中的目标网页检测数据。

检测层级，指的是执行对目标检测网页进行安全检测操作所对应的优先级。检测层级默认为0。

任务层级，指的是执行提取目标检测网页中的目标网页检测数据操作所对应的优先级。任务层级默认为1。

判断当前处理的目标检测网页对应的检测层级及与其对应的任务层级间的大小关系，如果与当前处理的目标检测网页对应的检测层级小于与其对应的任务层级，则表示当前要执行网页检测数据提取操作，即通过第一控制引擎调用网页数据获取引擎，通过网页数据获取引擎提取当前处理的目标检测网页中的目标网页检测数据，待目标网页检测数据提取完成后，与当前处理的目标检测网页对应的检测层级加1，任务层级更新为0；如果与当前处理的目标检测网页对应的检测层级大于与其对应的任务层级，则表示当前要执行网页安全检测操作，即执行S360。

进一步的，在通过网页数据获取引擎提取当前处理的目标检测网页中的目标网页检测数据时，还可以包括：若网页数据获取引擎提取当前处理的目标检测网页中的目标网页检测数据所对应的执行时间超过预设执行时间，则停止提取当前处理的目标检测网页中的目标网页检测数据。

执行时间，指的是执行提取目标网页检测数据操作时经历的时间。

预设执行时间，指的是预设的一个在执行目标网页检测数据提取操作时，允许经历的时间范围。示例性的，预设超时时间为5秒，如果执行时间超过5秒则强行结束提取操作；如果执行时间小于5秒，则可以提前结束提取操作。

如果网页数据获取引擎提取当前处理的目标检测网页中的目标网页检测数据所对应的执行时间超过预设执行时间，则停止提取当前处理的目标检测网页中的目标网页检测数据，可以将当前已提取到的目标网页检测数据回调至第一控制引擎，并将当前已提取到的目标网页检测数据回填至MongoDB中进行存储，需要指出的是，如果目标网页检测数据提取操作超过预设执行时间，且在执行提取操作的过程中没有提取到目标网页检测数据，则回填的目标网页检测数据为空。

非法网页具有加载时间长的特点，一般情况下需要至少20秒的加载时间，为了避免由于网页数据获取引擎执行时间过短导致无法提取目标网页检测数据的问题，因此可以在网页数据获取引擎执行提取操作的过程中采用Splash对象(一种Javascript渲染服务)对目标检测网页中的目标网页检测数据进行提取，在保证提取目标网页检测数据的效率的同时，还可以解决部分目标检测网页中的目标网页检测数据提取失败的情况。

示例性的，当采用PhantomJS(一个用于页面数据抓取的无界面的开源浏览器引擎)和Splash对象，在建立相同线程数量的情况下，分别提取相同数量的测试网页中的数据时所需时间如表2所示。从表2中可以看出，采用Splash对象网页数据提取的用时较少，可以保证提取网页数据的效率。

表2

名称	测试网页数量(个)	线程数量(个)	完成时所需的时间(分钟)
				PhantomJS	10000	50	83
Splash	10000	50	69

此外，为了避免网页数据获取引擎提取目标网页检测数据的时间过长，使提取操作一直无法结束，占用系统资源，进而导致网页安全检测效率较低的问题，还可以通过进程控制网页数据获取引擎每次提取目标检测数据的执行时间，例如，判断网页数据获取引擎在提取目标检测数据过程中Requests对象(用于网页数据获取引擎请求提取目标检测网页中的目标检测数据)的执行时间。

作为一种具体的实施方式，附图3c中提供了一种提取目标网页检测数据的流程示意图。其中，考虑到非法网页还具有时效性低的特点，为了避免由于存储目标检测网页的目标消息队列中积压过多的目标检测网页，导致在对目标检测网页进行安全检测时，该目标检测网页已经无法打开或者网页中的内容已发生变化的情况，可以对每分钟确定的目标检测网页的数量和当前目标消息队列的队列长度(即已存储的目标检测网页的数量)进行控制，避免在目标消息队列中存储过多的目标检测网页，保护了目标检测网页的时效性。

如附图3c中所示，在提取当前处理的目标检测网页中的目标网页检测数据时，执行如下操作：如果每分钟确定的目标检测网页的数量超过500条或当前存储目标检测网页的目标消息队列长度超过100，则直接结束当前处理的目标检测网页中的目标网页检测数据的提取操作，可以等待将其能够存储至目标消息队列后重新进行对该目标检测网页执行网页检测数据的提取操作，如果每分钟确定的目标检测网页的数量不超过500条且当前存储目标检测网页的目标消息队列长度不超过100时，则可以将当前处理的目标检测网页存储至目标消息队列(如Redis消息队列)，通过第一控制引擎获取目标检测网页，并调用网页数据获取引擎；通过网页数据获取引擎判断当前处理的目标检测网页对应的检测层级(检测层级默认为0)是否小于与其对应的任务层级(任务层级默认为1)，若检测层级小于任务层级，则通过网页数据获取引擎提取当前处理的目标检测网页中的目标网页检测数据，并在提取操作完成后通过网页数据获取引擎将当前处理的目标检测网页对应的检测层级设置为1，将当前处理的目标检测网页对应的任务层级设置为0，返回执行判断检测层级是否小于与其对应的任务层级的操作，此时检测层级大于任务层级，则通过网页数据获取引擎提取到的将目标网页检测数据回调至第一控制引擎，并将目标网页检测数据存储至目标数据库(如MongoDB)中，结束当前处理的目标检测网页中的目标网页检测数据的提取操作。

其中，在通过网页数据获取引擎提取当前处理的目标检测网页中的目标网页检测数据后，可以通过网页数据获取引擎判断当前Splash对象执行时间和Requests对象执行时间，具体为：若Splash对象执行时间超过10秒(即网页数据获取引擎提取目标网页检测数据所对应的执行时间超过10秒)，则判断Splash对象执行时间是否超过30秒(即网页数据获取引擎提取目标网页检测数据所对应的执行时间超过30秒)，若Splash对象执行时间超过30秒，则进一步判断Requests对象执行时间是否超过10秒(即网页数据获取引擎请求提取目标网页检测数据所对应的执行时间超过10秒)，如果Requests对象执行时间超过10秒，则判断Requests对象执行时间是否超过30秒(即网页数据获取引擎请求提取目标网页检测数据所对应的执行时间超过30秒)，如果Requests对象执行时间超过30秒，则网页数据获取引擎停止提取当前处理的目标检测网页中的目标网页检测数据，通过网页数据获取引擎将已提取到的目标网页检测数据回调至第一控制引擎并执行后续操作。需要指出的是，如果Splash对象或Requests对象的执行时间没有超过10秒或30秒，表示网页数据获取引擎提取到目标检测数据，则通过网页数据获取引擎将当前处理的目标检测网页对应的检测层级设置为1，将当前处理的目标检测网页对应的任务层级设置为0，并返回执行判断检测层级是否小于与其对应的任务层级的操作。在判断Splash对象执行时间超时后再进一步判断Requests对象执行时间是否超时，可以排除网页数据获取引擎请求提取目标网页检测数据超时的原因是由于Splash对象调用卡住的情况导致的，当网页数据获取引擎请求提取网页检测数据的时间过长时，强制停止目标网页检测数据的提取操作，释放占用的系统资源，继续对下一个目标检测网页进行安全检测，提高了网页安全检测效率。

可选的，在本发明实施例中，还可以通过Flask-Limiter(第三方控频插件)限制网页数据获取引擎的调用次数，以减少网页数据获取引擎接收目标检测网页并提取目标检测数据的次数，降低系统的网页安全检测压力，不发明实施例对此不做具体描述。

S360、将目标网页检测数据与各非法网页类型分别对应的网页安全检测模板进行匹配。

非法网页类型，指的是非法网页的分类类别。其中，非法网页类型至少可以包括：色情网页、赌博网页、诈骗网页、仿冒网页和篡改网页。

网页安全检测模板，用于与目标网页检测数据进行匹配，从而判断目标检测网页是否为安全网页。其中，网页安全检测模板可以包括与其非法网页类型对应的至少一个特征数据，且每种非法网页类型对应的网页安全检测模板至少存在一个。

将提取的当前处理的目标检测网页中的目标网页检测数据，分别与各非法网页类型所对应的网页安全检测模板进行匹配。

需要指出的是，在构建网页安全检测模板时，可以采用人工方式提取具有相同非法网页类型的网页中包括的网页架构或通用元素等特征数据，将提取到的特征数据整理成可识别的特征数据库，作为与该非法网页类型对应的网页安全检测模板，之后在网页安全检测过程中可以采用人工智能算法对网页安全检测模板进行学习和优化。

作为一种具体的实施方式，构建包括色情、赌博、仿冒和篡改四种非法网页类型的网页安全检测模板，其中，色情、赌博和仿冒三种非法网页类型的网页安全检测模板各构建三个不同的模板，篡改非法网页类型的网页安全检测模板构建一个，在四个不同的时间(天)里分别通过四种非法网页类型的对应多个网页安全检测模板对多个目标检测网页中目标网页检测数据进行匹配，得到的与四种非法网页类型的网页安全检测模板的匹配结果(即与该非法网页类型对应的目标检测网页个数)如表3所示，从而可以根据确定的模板匹配结果对非法网页的新增态势进行分析，及时构建网络安全防护墙，维护网络安全。

表3

其中，在目标检测网页中，可能包括一些书城类或影城类的网页，在将提取的这些类目标检测网页中的目标网页检测数据与各非法网页类型分别对应的网页安全检测模板进行匹配时，容易出现误匹配的情况，为了提高网页安全检测的准确率，可以选择覆盖范围广且精确度高的已知非法网页类型的网页检测数据，对各非法网页类型对应的网页安全检测模板进行训练，以提高网页安全检测模板的精准度，例如，可以采用人工方式确认一部分训练数据，再通过已知非法网页类型的网页中的关键词匹配出一部分训练数据，利用这两部分训练数据对网页安全检测模板进行训练。

需要指出的是，在检测目标检测网页是否为篡改类型的非法网页时，可以提取目标检测网页中的源码，通过篡改非法网页类型对应的网页安全检测模板分析源码中外链(即可以跳转至该目标检测网页相关界面的链接)的URL(Uniform Resource Locator，统一资源定位符)，判断该目标检测网页是否是篡改类型的非法网页。

可选的，在将目标网页检测数据与各非法网页类型分别对应的网页安全检测模板进行匹配时，可以采用Python中的Feed Parser模块(一个用于下载和解析连锁消息包的模块，在本发明实施例中，可以用于订阅目标网页检测数据)识别目标网页检测数据，以提高目标网页检测数据的识别速度，进而提高目标检测网页的安全检测效率。

示例性的，当采用Python中的Chardet模块(一个用于检测网页编码的模块)和Feed Parser模块，分别识别相同数量的网页中的HTML(Hyper Text Markup Language，超文本标记语言)文件时，所消耗的时间如表4所示。从表4中可以看出，采用Python中的FeedParser模块进行识别的速度较快，可以有效提高识别网页编码的速度，从而提高了网页安全检测效率。

表4

可选的，在将目标网页检测数据与各非法网页类型分别对应的网页安全检测模板进行匹配时，可以采用Python中的html5lib库(一个用于解析网页中的HTML文件的解析器)对目标网页检测数据进行解析，以提高目标网页检测数据的解析速度，进而提高目标检测网页的网页安全检测效率。

示例性的，采用Python中的lxml解析器(一个用于解析网页中的HTML文件的解析器)和html5lib解析器，解析同一个网页中的HTML文件时，得到的解析内容对比结果如附图3d所示，其中，附图3d的左侧为采用html5lib解析器解析后得到的解析内容，附图3d的右侧为采用lxml解析器解析后得到的解析内容，可以明显的看出采用html5lib解析器解析后得到的解析内容的数量更多，也就是说，在将目标网页检测数据与各非法网页类型分别对应的网页安全检测模板进行匹配时，可以进行匹配的元素更多，有利于提高网页安全检测的准确率。

作为一种可选的实施方式，在将目标网页检测数据与各非法网页类型分别对应的网页安全检测模板进行匹配时，可以包括：

通过第二控制引擎获取网页检测数据，并调用网页数据检测引擎；

根据网页检测引擎中的网页安全检测模板，将目标网页检测数据与各非法网页类型分别对应的网页安全检测模板进行匹配。

其中，第二控制引擎，用于接收目标网页检测数据，并调用网页数据检测引擎。网页数据检测引擎，用于根据目标网页检测数据对目标检测网页进行网页安全检测。在本发明实施例在，第一控制引擎与第二控制引擎可以时一个相同的控制引擎，用于接收和发送网页数据并实现网页数据获取引擎和网页数据检测引擎之间的调度，也可以是分别对应于网页数据获取引擎和网页数据检测引擎的两个不同的控制引擎。

如附图3e提供的网页数据检测引擎根据目标网页检测数据对目标检测网页进行安全检测的时序图所示，由于网页数据检测引擎不对外暴露接口，因此可以通过第二控制引擎上的数据检测接口来获取目标检测网页的目标网页检测数据，并开始对目标检测网页进行网页安全检测，具体为：向第二控制引擎发送数据检测调用请求以调用第二控制引擎上的数据检测接口，当第二控制引擎被调用后可以向系统反馈数据检测接口调用响应，并向网页数据检测取引擎发起接口调用请求，当网页数据检测引擎被调用后向第二控制引擎反馈接口调用响应，此时网页数据检测引擎可以通过第二控制引擎接收目标检测网页中的目标网页检测数据，并将目标网页检测数据与各非法网页类型分别对应的网页安全检测模板进行匹配，确定目标检测网页的安全检测结果(即目标检测网页在进行网页安全检测后得到的结果)，网页数据检测引擎可以将得到的安全检测结果回调至第二控制引擎，第二控制引擎在接收到目标安全检测结果后，可以向网页数据检测引擎反馈结果接收响应，至此，完成根据目标网页检测数据对目标检测网页进行的网页安全检测操作。

可选的，网页数据检测引擎可以包括与各非法网页类型分别对应的检测子引擎；将目标网页检测数据与各非法网页类型分别对应的网页安全检测模板进行匹配，可以包括：将目标网页检测数据与各非法网页类型分别对应的检测子引擎进行匹配，其中，各检测子引擎中包括与其对应的非法网页类型分别对应的网页安全检测模板。

检测子引擎，指的是包括与各非法网页类型分别对应的网页安全检测模板的集合。例如，色情检测子引擎中可以包括非法网页类型为色情的网页安全检测模板，赌博检测子引擎中可以包括非法网页类型为赌博的网页安全检测模板，等等。

示例性的，假设提取到的目标网页检测数据包括：网页标题、网页关键字、网页描述信息、网页短文本数据集合、网页链接集合和网页特殊标签，则根据提取到的目标检测网页数据分别与色情检测子引擎、赌博检测子引擎、仿冒检测子引擎和篡改检测子引擎进行匹配，从而确定目标检测网页的安全检测结果。其中，可以将得到的安全检测结果存储至与结果数据库中，例如MongoDB。

在本发明实施例中，网页数据检测引擎的检测速度至少可以达到每天检测241235个目标检测网页，在对网页数据检测引擎进行更新后，例如采用Feed Parser模块和html5lib库等，检测速度至少可以达到每天检测805200个目标检测网页。

S370、判断目标网页检测数据与多少个目标网页安全检测模板相匹配，若为一个，则执行S380，若为至少两个，则执行S390。

目标网页安全检测模板，指的是与目标网页检测数据匹配成功的模板。如果目标网页检测数据仅与一个目标网页安全检测模板相匹配，则目标网页安全检测模板的非法网页类型即为目标检测网页对应的非法网页类型；如果目标网页检测数据与至少两个目标网页安全检测模板相匹配，则在至少两个目标网页安全检测模板的非法网页类型中，确定一个非法网页类型作为目标检测网页对应的非法网页类型。

可选的，如果目标网页检测数据与任一网页安全检测模板均不匹配，则可以确定目标检测网页的安全检测结果为安全网页。

当目标网页检测数据与任一网页安全检测模板均不匹配时，则可以将目标检测网页确定为安全网页，之后还可以采用人工检测方式对安全网页进行复核，或对安全网页不做其他处理，本发明实施例对此不做具体限定。

S380、将目标网页安全检测模板的非法网页类型，确定为目标检测网页的安全检测结果。

其中，安全检测结果可以包括非法网页类型、网页安全检测时间、匹配的目标网页安全检测模板、与匹配的目标网页安全检测模板对应的案件来源和网页快照等。例如，某个目标检测网页的安全检测结果可以是“诈骗_2020/01/01_诈骗模板2_案件编号0123456”

当目标网页检测数据仅与一个目标网页安全检测模板相匹配时，目标网页安全检测模板的非法网页类型即为目标检测网页的安全检测结果。

作为一种可选的实施方式，在将目标网页安全检测模板的非法网页类型，确定为目标检测网页的安全检测结果之后，还可以包括：根据目标网页检测数据，动态更新目标网页安全检测模板。

在确定目标检测网页的安全检测结果之后，可以采用人工智能算法动态更新目标网页安全检测模板，从而对后续其他目标检测网页进行安全检测后得到的安全检测结果的准确率不断进行校准优化。其中，可以采用任一种具有学习能力和优化能力的人工智能算法对目标网页安全检测模板进行动态更新，本发明实施例对此不作具体限定。

S390、提取与当前处理的目标检测网页对应的所述目标网页检测数据中的多项目标特征，然后执行S3100。

其中，目标特征，指的是网页网页检测数据中的细化特征。

当目标网页检测数据与至少两个目标网页安全检测模板相匹配时，则在提取的目标网页检测数据的基础上，再进一步地提取多个细化的目标特征。

S3100、将各目标特征进行拼接，得到目标向量。

其中，目标向量，指的是多个目标特征拼接后得到的结果。

当目标特征只有一个的情况下，可以将该目标特征作为目标向量。

S3110、将目标向量输入预设的分类器进行分类，并根据分类结果，在与各目标网页安全检测模板分别对应的非法网页类型中筛选出目标非法网页类型。

分类器，用于将目标向量映射到给定类型中的某一个类型。示例性的，预设的分类器可以是卷积神经网络。

分类结果，指的是将目标向量输入预设的分类器后得到的结果。

目标非法网页类型，指的是至少两个目标网页安全检测模板对应的非法网页类型中，确定出来的一个非法网页类型。

将目标特征拼接后得到的目标向量输入预设的分类器进行分类，若预设的分类器中设定的类型为至少两个目标网页安全检测模板对应的非法网页类型，则根据得到的分类结果，在与各目标网页安全检测模板分别对应的非法网页类型中筛选出目标非法网页类型，例如，当目标网页安全检测模板对应的非法网页类型为诈骗和赌博时，则将目标向量输入与诈骗和赌博两个类型对应的预设的分类器中，并根据分类结果，在诈骗和赌博两个非法网站类型中筛选出目标非法网页类型；若预设的分类器中设定的类型包括网页安全检测模板对应的所有可能的非法网页类型，则根据分类结果在与各目标网页安全检测模板分别对应的非法网页类型中筛选出目标非法网页类型，例如，预设的分类器中设定的类型包括色情、诈骗、赌博、仿冒和暴力，将目标向量输入预设的分类器后，可以根据分类结果，仅在诈骗和赌博两个非法网页类型中筛选出目标非法网页类型，不考虑色情、仿冒和暴力三种非法网页类型。

示例性的，当预设的分类器为卷积神经网络时，可以通过卷积神经网络的卷积层和最大池化层得到目标向量，通过卷积神经网络的全连接层进行分类，具体的：假设目标网页检测数据为一条语句，这条语句中包括n个k维的词向量，在将这n个词向量进行拼接后可以得到一个n×k维的矩阵，即可以将该条语句表示成一个n×k维的矩阵，不同于图像的二维和三通道(即RGB色彩模式)，语句是通过词向量的顺序拼接形成的一维数据，故当卷积层中具有多个特征映射大小时，设置每个卷积核的维度大小均为k以保证卷积核完整地覆盖到一条语句中的所有词向量，在卷积计算后可以通过一个最大池化层，在卷积计算结果中提取关键特征作为这条语句的多项目标特征，将池化后的特征进行拼接，得到与这条语句对应的目标向量，将目标向量输入卷积神经网络的全连接层进行分类，并根据分类结果，在与各目标网页安全检测模板分别对应的非法网页类型中筛选出目标非法网页类型。

S3120、将目标非法网页类型，确定为目标检测网页的安全检测结果。

当目标网页检测数据与至少两个目标网页安全检测模板相匹配时，对目标网页检测数据进一步分析，得到目标非法网页类型，从而确定目标检测网页的安全检测结果且仅与一个非法网页类型对应。在确定为目标检测网页的安全检测结果之后，还可以根据目标检测网页对应的非法网页类型，对目标检测网页进行封堵或关停处理，本发明实施例对此不做具体限定。

本实施例未尽详细解释之处请参见前述实施例，在此不再赘述。

上述技术方案，在生成与待检测网页流量对应的目标检测网页后，提取当前处理的目标检测网页中的目标网页检测数据，并将目标网页检测数据与各非法网页类型分别对应的网页安全检测模板进行匹配，确定目标检测网页的安全检测结果，若目标网页检测数据与至少两个目标网页安全检测模板相匹配时，还可以对目标网页检测数据进一步分析并得到仅与一个非法网页类型对应的安全检测结果，实现了对新增的未被安全检测过的多个目标检测网页进行网页安全检测，并可以获得与目标检测网页最匹配的安全检测结果，提高了网页安全检测的精准度。

在上述技术方案的基础上，在对各目标检测网页进行网页安全检测之后，还可以包括：获取各目标检测网页中，安全检测结果为设定非法网页类型的异常网页，并对各异常网页进行存活性检测。

异常网页，指的是对目标检测网页进行网页安全检测后，确定为非法网页的目标检测网页。

存活性检测，用于检测异常网页的当前状态是否发生变化，如该异常网页是否还存在或该异常网页是否还能正常打开等。

由于非法网页(即异常网页)具有时效性低的特定，在对目标检测网页进行安全检测并确定为异常网页后，该异常网页可能已无法打开或网页中包括的内容已发生变化，因此可以在对目标检测网页进行安全检测后，对安全检测结果为设定非法网页类型的异常网页进行存活性检测，并可以输出对异常网页的精准检测结果，例如异常网页的网址、异常网页中的内容等信息，从而提高了网页安全检测的精准度。

可选的，对各异常网页进行存活性检测，可以包括：通过存活性检测引擎对各异常网页进行存活性检测。

其中，存活性检测引擎，用于接收异常网页并对各异常网页进行存活性检测。

示例性的，附图3f提供了一种对异常网页进行存活性检测的时序图，获取各目标检测网页中安全检测结果为设定非法网页类型的异常网页，通过存活性检测引擎对异常网页进行存活性检测，并将得到的检测结果进行整理生成异常网页的精准检测结果，待检测结果整理完成后，可以向存活性检测引擎反馈检测结果整理已完成，通过存活性检测引擎实现了对异常网页的存活性检测，并可以得到异常网页的精准检测结果，提高了网页安全检测的精准度。

实施例四

图4是本发明实施例四提供的一种网页安全检测装置的结构示意图，本发明实施例可适用于确定新增的网页并对新增网页进行网页安全检测的情况，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中。

如图4所示，该网页安全检测装置具体包括：待检测网页流量获取模块410、访问日志生成模块420、访问日志清单生成模块430和目标检测网页确定及网页安全检测模块440，其中，

待检测网页流量获取模块410，用于获取待检测网页流量，所述待检测网页流量中包括多个待检测网页；

访问日志生成模块420，用于对所述待检测网页流量中的各待检测网页逐个进行流量检测，得到与每个所述待检测网页分别对应的访问日志；

访问日志清单生成模块430，用于根据所述访问日志，生成与所述待检测网页流量对应的访问日志清单；

目标检测网页确定及网页安全检测模块440，用于根据所述访问日志清单确定未被安全检测过的多个目标检测网页，并对各目标检测网页进行网页安全检测。

本发明实施例提供的技术方案，获取待检测网页流量，对其中包括的多个待检测网页逐个进行流量检测，得到与每个待检测网页分别对应的访问日志，然后根据访问日志生成与待检测网页流量对应的访问日志清单，再根据访问日志清单确定未被安全检测过的多个目标检测网页，并对各目标检测网页进行网页安全检测，实现了对新增的未检测网页进行网页安全检测，节省了系统资源，并且提高了对网页的安全检测效率。

可选的，目标检测网页确定及网页安全检测模块440，具体用于：根据预设的黑白名单对所述访问日志清单进行过滤；将过滤后的结果与历史访问记录进行匹配，确定未存在于所述历史访问记录中的多个目标检测网页。

可选的，目标检测网页确定及网页安全检测模块440，具体用于：建立多个进程，并在每个进程中建立多个线程；为每个线程分配一个目标检测网页，并通过每个线程对所分配的目标检测网页进行网页安全检测。

可选的，目标检测网页确定及网页安全检测模块440，还包括：目标网页检测数据提取单元和目标网页检测数据匹配单元，其中，

目标网页检测数据提取单元，用于提取当前处理的目标检测网页中的目标网页检测数据；

目标网页检测数据匹配单元，用于将所述目标网页检测数据与各非法网页类型分别对应的网页安全检测模板进行匹配；如果所述目标网页检测数据仅与目标网页安全检测模板相匹配，则将所述目标网页安全检测模板的非法网页类型，确定为所述目标检测网页的安全检测结果。

可选的，目标网页检测数据匹配单元，还包括：目标网页安全检测模板更新子单元，其中，目标网页安全检测模板更新子单元用于在将所述目标网页安全检测模板的非法网页类型，确定为所述目标检测网页的安全检测结果之后，根据所述目标网页检测数据，动态更新所述目标网页安全检测模板。

可选的，目标网页检测数据匹配单元，用于在将所述目标网页检测数据与各非法网页类型分别对应的网页安全检测模板进行匹配之后，如果所述目标网页检测数据与至少两个目标网页安全检测模板相匹配，则提取与当前处理的目标检测网页对应的所述目标网页检测数据中的多项目标特征；将各所述目标特征进行拼接，得到目标向量；将所述目标向量输入预设的分类器进行分类，并根据分类结果，在与各所述目标网页安全检测模板分别对应的非法网页类型中筛选出目标非法网页类型；将所述目标非法网页类型，确定为所述目标检测网页的安全检测结果。

可选的，上述装置还包括：异常网页存活性检测单元，其中，异常网页存活性检测单元，用于在对各目标检测网页进行网页安全检测之后，获取各所述目标检测网页中，安全检测结果为设定非法网页类型的异常网页，并对各所述异常网页进行存活性检测。

上述网页安全检测装置可执行本发明任意实施例所提供的网页安全检测方法，具备执行网页安全检测方法相应的功能模块和有益效果。

实施例五

图5为本发明实施例五提供的一种计算机设备的硬件结构示意图，如图5所示，该计算机设备包括：

一个或多个处理器510，图5中以一个处理器510为例；

存储器520；

所述编解码设备中的处理器510和存储器520可以通过总线或者其他方式连接，图5中以通过总线连接为例。

存储器520作为一种非暂态计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本发明实施例中应用于计算机设备的一种网页安全检测方法对应的程序指令，包括：

获取待检测网页流量，所述待检测网页流量中包括多个待检测网页；

对所述待检测网页流量中的各待检测网页逐个进行流量检测，得到与每个所述待检测网页分别对应的访问日志；

根据所述访问日志，生成与所述待检测网页流量对应的访问日志清单；

根据所述访问日志清单确定未被安全检测过的多个目标检测网页，并对各目标检测网页进行网页安全检测

处理器510通过运行存储在存储器520中的软件程序指令，从而执行主机的各种功能应用以及数据处理，即实现上述实施例中应用于计算机设备的任意一种网页安全检测方法。

存储器520可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器520可以包括高速随机存取存储器，还可以包括非暂态性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。

实施例六

本发明实施例六提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的一种网页安全检测方法：也即，该程序被处理器执行时实现：

获取待检测网页流量，所述待检测网页流量中包括多个待检测网页；

对所述待检测网页流量中的各待检测网页逐个进行流量检测，得到与每个所述待检测网页分别对应的访问日志；

根据所述访问日志，生成与所述待检测网页流量对应的访问日志清单；

根据所述访问日志清单确定未被安全检测过的多个目标检测网页，并对各目标检测网页进行网页安全检测

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言(诸如Java、Smalltalk、C++)，还包括常规的过程式程序设计语言(诸如“C”语言或类似的程序设计语言)。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(包括局域网(LAN)或广域网(WAN))，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种网页安全检测方法，其特征在于，包括：

获取待检测网页流量，所述待检测网页流量中包括多个待检测网页；

对所述待检测网页流量中的各待检测网页逐个进行流量检测，得到与每个所述待检测网页分别对应的访问日志；

根据所述访问日志，生成与所述待检测网页流量对应的访问日志清单；

根据所述访问日志清单确定未被安全检测过的多个目标检测网页，并对各目标检测网页进行网页安全检测。

2.根据权利要求1所述的方法，其特征在于，根据所述访问日志清单确定未被安全检测过的多个目标检测网页，包括：

根据预设的黑白名单对所述访问日志清单进行过滤；

将过滤后的结果与历史访问记录进行匹配，确定未存在于所述历史访问记录中的多个目标检测网页。

3.根据权利要求2所述的方法，其特征在于，对各目标检测网页进行网页安全检测，包括：

建立多个进程，并在每个进程中建立多个线程；

为每个线程分配一个目标检测网页，并通过每个线程对所分配的目标检测网页进行网页安全检测。

4.根据权利要求2所述的方法，其特征在于，对各目标检测网页进行网页安全检测，包括：

提取当前处理的目标检测网页中的目标网页检测数据；

将所述目标网页检测数据与各非法网页类型分别对应的网页安全检测模板进行匹配；

如果所述目标网页检测数据仅与目标网页安全检测模板相匹配，则将所述目标网页安全检测模板的非法网页类型，确定为所述目标检测网页的安全检测结果。

5.根据权利要求4所述的方法，其特征在于，在将所述目标网页安全检测模板的非法网页类型，确定为所述目标检测网页的安全检测结果之后，还包括：

根据所述目标网页检测数据，动态更新所述目标网页安全检测模板。

6.根据权利要求4所述的方法，其特征在于，在将所述目标网页检测数据与各非法网页类型分别对应的网页安全检测模板进行匹配之后，还包括：

如果所述目标网页检测数据与至少两个目标网页安全检测模板相匹配，则提取与当前处理的目标检测网页对应的所述目标网页检测数据中的多项目标特征；

将各所述目标特征进行拼接，得到目标向量；

将所述目标向量输入预设的分类器进行分类，并根据分类结果，在与各所述目标网页安全检测模板分别对应的非法网页类型中筛选出目标非法网页类型；

将所述目标非法网页类型，确定为所述目标检测网页的安全检测结果。

7.根据权利要求4所述的方法，其特征在于，在对各目标检测网页进行网页安全检测之后，还包括：

获取各所述目标检测网页中，安全检测结果为设定非法网页类型的异常网页，并对各所述异常网页进行存活性检测。

8.一种网页安全检测装置，其特征在于，包括：

待检测网页流量获取模块，用于获取待检测网页流量，所述待检测网页流量中包括多个待检测网页；

访问日志生成模块，用于对所述待检测网页流量中的各待检测网页逐个进行流量检测，得到与每个所述待检测网页分别对应的访问日志；

访问日志清单生成模块，用于根据所述访问日志，生成与所述待检测网页流量对应的访问日志清单；

目标检测网页确定及网页安全检测模块，用于根据所述访问日志清单确定未被安全检测过的多个目标检测网页，并对各目标检测网页进行网页安全检测。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。

Images