CN113449167A - 数据采集异常检测方法、装置、电子设备和可读存储介质 - Google Patents

Abstract

本公开提供了一种数据采集异常检测方法、装置、电子设备和计算机可读存储介质，涉及数据采集技术领域。其中，数据采集异常检测方法包括：对接收到的目标数据的采集请求中的验证信息执行验证操作；在对验证信息验证通过，获取与采集请求对应的访问接口的响应参数和访问接口的历史访问数据；基于响应参数和历史访问数据生成拦截条件；在持续接收到采集请求时，采集访问接口的访问信息；在检测到访问信息符合拦截条件时，对再次接收到的采集请求执行拦截操作。通过本公开的技术方案，能够降低目标数据基于伪装的采集请求导致隐私信息被泄露的概率，也能够降低正常的采集请求被误拦截导致影响用户正常进行数据采集的概率，进而提升用户的使用体验。

Description

数据采集异常检测方法、装置、电子设备和可读存储介质

技术领域

本公开涉及数据采集技术领域，尤其涉及一种数据采集异常检测方法、装置、电子设备和计算机可读存储介质。

背景技术

目前，随着互联网技术的发展，越来越多的数据通过浏览器进行采集。但是由于数据采集请求的请求参数可以伪装成真实操作数据，因此生成的伪装的基于浏览器的数据采集请求比较难识别，导致存在数据泄露的风险。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种数据采集异常检测方法、装置、电子设备和计算机可读存储介质，至少在一定程度上克服相关技术中伪装的基于浏览器的数据采集请求比较难识别的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种数据采集异常检测方法，包括：对接收到的目标数据的采集请求中的验证信息执行验证操作；在对所述验证信息验证通过，获取与所述采集请求对应的访问接口的响应参数和所述访问接口的历史访问数据；基于所述响应参数和所述历史访问数据生成拦截条件；在持续接收到所述采集请求时，采集所述访问接口的访问信息；在检测到所述访问信息符合所述拦截条件时，对再次接收到的所述采集请求执行拦截操作。

在本公开的一个实施例中，所述对所述采集请求中的验证信息执行验证操作，具体包括：检测从所述验证信息中是否提取到安全标识符；检测到所述验证信息中未提取到所述安全标识符；或检测到所述验证信息中提取到的所述安全标识符未通过验证时，确定对所述验证信息验证未通过，对所述采集请求执行拦截操作。

在本公开的一个实施例中，所述在对接收到的目标数据的采集请求中的验证信息执行验证操作之前，还包括：响应于所述安全标识符的获取请求，向目标终端发送所述安全标识符，以由所述请求终端将所述安全标识符添加到所述采集请求中。

在本公开的一个实施例中，所述对所述采集请求中的验证信息执行验证操作，具体还包括：在检测到从所述验证信息中提取到所述安全标识符，并且所述安全标识符通过验证时，提取所述验证信息中的浏览器指纹；在检测到所述浏览器指纹在第一预设时长内的变动频次大于或等于第一频次阈值时，对所述浏览器指纹执行第一标记操作；在第一标记周期内，检测到所述第一标记操作的第一标记次数大于或等于第一拦截阈值时，确定对所述验证信息验证未通过，对再次接收到的所述采集请求执行拦截操作；在检测到所述浏览器指纹在第一预设时长内的所述变动频次小于所述第一频次阈值时，或在所述第一标记周期内，检测到所述第一标记次数小于所述第一拦截阈值时，确定所述验证信息验证通过。

在本公开的一个实施例中，所述验证信息还包括请求IP，所述对所述采集请求中的验证信息执行验证操作，具体还包括：在检测到所述安全标识符通过验证，并且检测到连续接收到包括同一所述请求IP的所述采集请求的次数大于或等于次数阈值时，确定所述验证信息验证通过。

在本公开的一个实施例中，还包括：在对所述验证信息验证通过，再次接收到所述采集请求时，向所述采集请求的请求终端发送浏览器参数获取指令；接收所述请求终端根据所述获取指令发送的浏览器参数；在检测到所述浏览器参数与所述浏览器指纹不匹配时，对再次接收到所述采集请求执行拦截操作。

在本公开的一个实施例中，所述响应参数包括所述访问接口的响应时间，所述历史访问数据包括单用户的对所述访问接口的历史访问频率，所述基于所述响应参数和所述历史访问数据生成拦截条件，具体包括：根据所述响应时间和所述历史访问频率生成第二频次阈值和第二拦截阈值，以由所述第二频次阈值和所述第二拦截阈值生成所述拦截条件，其中，所述响应时间与所述第二频次阈值以及所述第二拦截阈值正相关，所述历史访问频率与所述第二频次阈值以及所述第二拦截阈值正相关。

在本公开的一个实施例中，所述访问信息包括访问频次，所述在检测到所述访问信息符合所述拦截条件时，对再次接收到的所述采集请求执行拦截操作，具体包括：在检测到在第一预设时长内所述访问频次大于或等于所述第二频次阈值时，对所述访问信息执行第二标记操作；在第二标记周期内，检测到所述第二标记操作的第二标记次数大于或等于所述第二拦截阈值时，对再次接收到的所述采集请求执行拦截操作。

根据本公开的另一个方面，提供一种数据采集异常检测装置，包括：验证模块，用于对接收到的目标数据的采集请求中的验证信息执行验证操作；获取模块，用于在对所述验证信息验证通过，获取与所述采集请求对应的访问接口的响应参数和所述访问接口的历史访问数据；生成模块，用于基于所述响应参数和所述历史访问数据生成拦截条件；采集模块，用于在持续接收到所述采集请求时，采集所述访问接口的访问信息；拦截模块，用于在检测到所述访问信息符合所述拦截条件时，对再次接收到的所述采集请求执行拦截操作。

根据本公开的再一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的数据采集异常检测方法。

根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意一项的数据采集异常检测方法。

本公开的实施例所提供的数据采集异常检测方案，在持续接收目标数据的采集请求的过程中，通过提取采集请求中携带的验证信息，并对验证信息进行验证，如果验证信息验证不通过，则直接拦截采集请求，如果验证信息验证通过，则进一步通过获取访问接口的响应参数和历史访问数据生成拦截条件，并检测基于采集请求生成的访问信息，是否满足拦截条件，如果满足拦截条件，则直接对采集请求执行拦截操作，如果不满足拦截条件，则表明采集请求是基于终端的浏览器生成的正常的为了获取目标数据的采集请求，通过上述交互过程，实现了基于交互信息、浏览器参数以及访问接口等多个方面进行采集请求验证的验证方式，能够提升采集请求识别的准确性，不仅能够降低目标数据基于伪装的采集请求导致隐私信息被泄露的概率，也能够降低正常的采集请求被误拦截导致影响用户正常进行数据采集的概率，进而提升用户的使用体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本公开实施例中一种数据采集异常检测系统结构的示意图；

图2示出本公开实施例中一种数据采集异常检测方法的流程图；

图3示出本公开实施例中另一种数据采集异常检测方法的流程图；

图4示出本公开实施例中再一种数据采集异常检测方法的流程图；

图5示出本公开实施例中又一种数据采集异常检测方法的流程图；

图6示出本公开实施例中一种数据采集异常检测系统的示意图；

图7示出本公开实施例中又一种数据采集异常检测方法的流程图；

图8示出本公开实施例中一种数据采集异常检测装置的示意图；

图9示出本公开实施例中一种电子设备的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

为了便于理解，下面首先对本申请涉及到的几个名词进行解释。

浏览器指纹：是一种通过浏览器对网站可见的配置和设置信息来跟踪Web浏览器的方法，浏览器指纹就像人手上的指纹一样，具有个体辨识度，只不过现阶段浏览器指纹辨别的是浏览器。人手上的指纹之所以具有唯一性，是因为每个指纹具有独特的纹路、这个纹路由凹凸的皮肤所形成。每个人指纹纹路的差异造就了其独一无二的特征。浏览器指纹也是同理，获取浏览器具有辨识度的信息，进行一些计算得出一个值，那么这个值就是浏览器指纹。辨识度的信息可以是UA、时区、地理位置或者是使用的语言等等。

本申请实施例提供的方案涉及数据库等技术，具体通过如下实施例进行说明。

图1示出本公开实施例中一种数据采集异常检测系统的结构示意图，包括多个终端120和服务器集群140。

终端120可以是手机、游戏主机、平板电脑、电子书阅读器、智能眼镜、MP4(MovingPicture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、智能家居设备、AR(Augmented Reality，增强现实)设备、VR(Virtual Reality，虚拟现实)设备等移动终端，或者，终端120也可以是个人计算机(Personal Computer，PC)，比如膝上型便携计算机和台式计算机等等。

其中，终端120中可以安装有用于提供数据采集异常检测的应用程序。

终端120与服务器集群140之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。

服务器集群140是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心。服务器集群140用于为提供数据采集异常检测的应用程序提供后台服务。可选地，服务器集群140承担主要计算工作，终端120承担次要计算工作；或者，服务器集群140承担次要计算工作，终端120承担主要计算工作；或者，终端120和服务器集群140之间采用分布式计算架构进行协同计算。

可选地，不同的终端120中安装的应用程序的客户端是相同的，或两个终端120上安装的应用程序的客户端是不同控制系统平台的同一类型应用程序的客户端。基于终端平台的不同，该应用程序的客户端的具体形态也可以不同，比如，该应用程序客户端可以是手机客户端、PC客户端或者全球广域网(World Wide Web，Web)客户端等。

本领域技术人员可以知晓，上述终端120的数量可以更多或更少。比如上述终端可以仅为一个，或者上述终端为几十个或几百个，或者更多数量。本申请实施例对终端的数量和设备类型不加以限定。

可选的，该系统还可以包括管理设备(图1未示出)，该管理设备与服务器集群140之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。

可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(ExtensibleMarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(InternetProtocolSecurity，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。

下面，将结合附图及实施例对本示例实施方式中的数据采集异常检测方法的各个步骤进行更详细的说明。

图2示出本公开实施例中一种数据采集异常检测方法流程图。本公开实施例提供的方法可以由任意具备计算处理能力的电子设备执行，例如如图1中的终端120和/或服务器集群140。在下面的举例说明中，以终端120为执行主体进行示例说明。

如图2所示，服务器集群140执行数据采集异常检测方法，包括以下步骤：

步骤S202，对接收到的目标数据的采集请求中的验证信息执行验证操作。

其中，目标数据的采集请求可以是基于浏览器的目标数据的采集，比如浏览器接收鼠标操作和输入的配置信息生成采集请求。

另外，验证信息指为了检验数据采集请求是否由伪装的参数生成的信息，因此可以包括但不限于基于服务器与终端之间在验证之前的交互信息，以及基于浏览器的生成的各种参数信息。

对验证信息的验证操作包括但不限于验证交互信息是否与服务器发送的一致，验证浏览器的参数是否保持变化较少的稳定状态。

步骤S204，在对验证信息验证通过，获取与采集请求对应的访问接口的响应参数和访问接口的历史访问数据。

在对验证信息验证不通过，则直接对采集请求进行拦截。

步骤S206，基于响应参数和历史访问数据生成拦截条件。

其中，如果对验证信息验证通过，则可以进一步通过验证访问接口来检测采集请求的可靠性，以实现从交互信息、浏览器参数以及访问接口等多个方面进行采集请求的验证。

具体地，通过收集访问接口的访问参数和历史访问数据，确定访问接口的正常访问工况，以基于正常访问工况生成拦截条件，即如果检测到与正常访问工况不符，表明符合拦截条件。

步骤S208，在持续接收到采集请求时，采集访问接口的访问信息。

步骤S210，在检测到访问信息符合拦截条件时，对再次接收到的采集请求执行拦截操作。

其中，本领域的技术人员能够理解的是，终端为了获得目标数据需要多次发送采集请求，因此对于同一请求终端发送的针对同一访问接口的目标数据的采集请求，如果基于验证信息验证通过，则在生成拦截条件后，进一步在接收到采集请求后，检测该采集请求是否符合拦截条件，如果符合拦截条件，则针对该采集请求执行拦截操作，验证信息结合拦截条件的方式，有利于降低误拦截的概率。

在该实施例中，在持续接收目标数据的采集请求的过程中，通过提取采集请求中携带的验证信息，并对验证信息进行验证，如果验证信息验证不通过，则直接拦截采集请求，如果验证信息验证通过，则进一步通过获取访问接口的响应参数和历史访问数据生成拦截条件，并检测基于采集请求生成的访问信息，是否满足拦截条件，如果满足拦截条件，则直接对采集请求执行拦截操作，如果不满足拦截条件，则表明采集请求是基于终端的浏览器生成的正常的为了获取目标数据的采集请求，通过上述交互过程，实现了基于交互信息、浏览器参数以及访问接口等多个方面进行采集请求验证的验证方式，能够提升采集请求识别的准确性，不仅能够降低目标数据基于伪装的采集请求导致隐私信息被泄露的概率，也能够降低正常的采集请求被误拦截导致影响用户正常进行数据采集的概率，进而提升用户的使用体验。

如图3所示，在本公开的一个实施例中，在步骤S202，对接收到的目标数据的采集请求中的验证信息执行验证操作之前，还包括：

步骤S302，响应于安全标识符的获取请求，向目标终端发送安全标识符，以由请求终端将安全标识符添加到采集请求中。

其中，在终端向服务器发送采集请求之前，目标终端向服务器发送安全标识符(Security Identifiers，SID)的获取请求，服务器基于获取请求向目标终端发送安全标识符SID，以使目标终端基于安全标识符SID生成并发送采集请求，实现基于SID对目标终端的识别。

在本公开的一个实施例中，步骤S202中，对采集请求中的验证信息执行验证操作的一种具体实现方式，包括：

步骤S304，检测从验证信息中是否提取到安全标识符，若检测结果为“是”，进入步骤S308，若检测结果为“否”，进入步骤S306。

其中，通过检测是否从验证信息中提取到安全标识符，来确定服务器是否对终端授权，以使终端采集目标数据，如果提取到安全标识符，并且对安全标识符SID验证成功，则确认服务器对该终端授权，如果未提取到SID

另外，对安全标识符的验证操作，包括但不限于服务器检测接收到的SID是否与预存的SID数据库中的一个匹配，或对SID进行解密或解析操作，如果解析出指定标识，则确认安全标识符验证通过。

步骤S306，检测到验证信息中未提取到安全标识符，或检测到验证信息中提取到的安全标识符未通过验证时，确定对验证信息验证未通过，对采集请求执行拦截操作。

在该实施例中，通过预先将安全标识符发送至请求终端，以对终端进行数据采集的授权，并在接收到终端发送的目标数据的采集请求时，通过对安全标识符进行提取和验证确定请求终端是否是被授权的终端，如果不是，则执行对采集请求进行拦截，以保证数据采集操作的安全性。

在本公开的一个实施例中，步骤S202中，对采集请求中的验证信息执行验证操作的另一种实现方式，还包括：

步骤S308，检测到从验证信息中提取到安全标识符，并且安全标识符通过验证。

步骤S310，提取验证信息中的浏览器指纹。

其中，通过获取浏览器的特征值，以及基于浏览器收集用户的行为和习惯等数据生成浏览器指纹。

具体地，通过在浏览器的http头部信息中可以提取浏览器的Accept-Language、User-Agent等信息实现浏览器指纹的采集。

其中，通过Accept-Language可以获取浏览器的语言信息。

User-Agent包含了浏览器和操作系统的信息，假如在头部刻意伪造了UA，网页也可以通过navigator.userAgent来获取真实的UA。

也可以将其它的基本信息，例如IP，物理地址以及地理位置等添加至浏览器指纹中。

另外，浏览器的特征还包括但不限于：每个浏览器的用户代理字符串、浏览器发送的HTTP ACCEPT标头、屏幕分辨率和色彩深度、系统设置为时区、浏览器中安装的浏览器扩展/插件(例如Quicktime，Flash，Java或Acrobat，以及这些插件的版本)、计算机上安装的字体，由Flash或Java报告、浏览器是否执行JavaScript脚本、浏览器是否能种下各种cookie和“超级cookie(super cookies)”、通过Canvas指纹生成的图像的哈希WebGL指纹生成的图像的哈希、是否浏览器设置为“Do Not Track”、系统平台(例如Win32，Linux x86)、系统语言(例如，cn、en-US)以及浏览器是否支持触摸屏等。

另外，还可以基于浏览器的硬件指纹生成浏览器指纹，其中，硬件指纹包括但不限于canvas，webgl，fonts以及audio等。

步骤S312，在检测到浏览器指纹在第一预设时长内的变动频次大于或等于第一频次阈值时，对浏览器指纹执行第一标记操作。

步骤S314，在第一标记周期内，检测到第一标记操作的第一标记次数大于或等于第一拦截阈值时，确定对验证信息验证未通过，对再次接收到的采集请求执行拦截操作。

步骤S316，在检测到浏览器指纹在第一预设时长内的变动频次小于第一频次阈值时，或在第一标记周期内，检测到第一标记次数小于第一拦截阈值时，确定验证信息验证通过。

在该实施例中，验证信息包括安全标识符和浏览器指纹，同对安全标识符的验证确认服务器是否对终端进行数据采集授权，在安全标识符验证通过后，进一步检测浏览器指纹，如果浏览器指纹频繁变更，在第一预设时长内的变更频率大于或等于第一频率阈值，则进行标记，在一个第一标记周期内，标记次数达到第一拦截阈值，则执行拦截操作，实现了对数据采集操作的实施识别标记和拦截处理，从而有利于保证数据系统的稳定性。

在本公开的一个实施例中，验证信息还包括请求IP，对采集请求中的验证信息执行验证操作，具体还包括：在检测到安全标识符通过验证，并且检测到连续接收到包括同一请求IP的采集请求的次数大于或等于次数阈值时，确定验证信息验证通过。

本领域的技术人员能够理解的是，对IP的验证可以代替检测浏览器指纹的步骤，即只要对安全标识符和请求IP验证通过，即可确认数据请求正常。

对请求IP的验证也可以在执行对浏览器指纹之前，即安全标识符验证通过后，检测连续接收到包括同一请求IP的采集请求的次数是否大于或等于次数阈值，在检测到连续接收到包括同一请求IP的采集请求的次数大于或等于次数阈值时，进一步对浏览器指纹进行验证。

另外，对请求IP的验证也可以在执行对浏览器指纹之后，即在检测到浏览器指纹在第一预设时长内的变动频次小于第一频次阈值时，或在第一标记周期内，检测到第一标记次数小于第一拦截阈值时，进一步进行请求IP的验证。

另外，由于浏览器指纹和请求IP同时包括在验证信息中，还可以同步执行浏览器指纹和请求IP的验证操作。

具体地，如果检测到多次数据请求的IP相同，则表明数据请求正常，则可以正常处理，比如继续分析分析对数据接口的访问频次是否会达到设置的标记或拦截限制等。

进一步地，如果是针对同一目标数据的采集需求，在检测到浏览器指纹处于稳定状态时，即可以认为基于对同一浏览器的操作生成数据的采集请求，在这种情况下也存在IP地址变动的工况，因此可以对请求IP进行标记，并设置标记上限和拦截上限，如果在一个统计周期内，达到了设置的标记上限l2，则针对IP进行标记，达到了拦截上限l3，则处理方式从标记升级为拦截，以保证采集请求检测的可靠性。

如图4所示，在本公开的一个实施例中，还包括：

步骤S402，在对验证信息验证通过，再次接收到采集请求时，向采集请求的请求终端发送浏览器参数获取指令。

步骤S404，接收请求终端根据获取指令发送的浏览器参数。

步骤S406，在检测到浏览器参数与浏览器指纹不匹配时，对再次接收到采集请求执行拦截操作。

其中，可以预先设置浏览器参数和浏览器指纹之间的匹配关系。

在该实施例中，通过从终端获取浏览器参数，检测其与浏览器指纹之间的匹配关系以进一步保证采集指令是基于浏览器的操作生成。

另外，浏览器参数指浏览器指纹之外的基于浏览器采集到的参数，在预先的交互操作中，除了服务器向终端发送安全标识符，终端也可以作为响应向终端发送浏览器参数，以在对采集请求进行验证时，基于实时接收到的浏览器参数和预先接收到的浏览器参数进行验证。

如图5所示，在本公开的一个实施例中，响应参数包括访问接口的响应时间，历史访问数据包括单用户的对访问接口的历史访问频率，步骤S206，基于响应参数和历史访问数据生成拦截条件的一种具体实现方式，包括：

步骤S502，根据响应时间和历史访问频率生成第二频次阈值和第二拦截阈值，以由第二频次阈值和第二拦截阈值生成拦截条件，其中，响应时间与第二频次阈值以及第二拦截阈值正相关，历史访问频率与第二频次阈值以及第二拦截阈值正相关。

其中，根据接口的用途和入口，确定访问接口的响应时间，基于对历史访问频次的收集，确定正常访问的频次区间，并基于频次区间确定第二频次阈值和第二拦截阈值。

比如一个数据查询接口，响应时间为500ms，串行操作一分钟最多会调用120次，根据访问历史数据，单用户每分钟的操作基本在10-20次，根据这些数据确定一个标记上限和拦截上限，在实际的应用观察中，并根据实际效果进一步调整上限值，得到拦截条件。

另外数据查询接口包括但不限于音频、视频、文字等。

如图5所示，在本公开的一个实施例中，访问信息包括访问频次，步骤S208，在检测到访问信息符合拦截条件时，对再次接收到的采集请求执行拦截操作的一种具体实现方式，包括：

步骤S504，在检测到在第一预设时长内访问频次大于或等于第二频次阈值时，对访问信息执行第二标记操作。

步骤S506，在第二标记周期内，检测到第二标记操作的第二标记次数大于或等于第二拦截阈值时，对再次接收到的采集请求执行拦截操作。

具体地，在检测到针对的是同一SID的采集请求，浏览器指纹基本不变化或变化频次低的情况下，认为SID和浏览器状态稳定，则进一步分析对接口的访问频次是否会达到设置的标记或拦截限制，并且对于不同接口要根据接口的响应情况和历史数据确定标记和拦截的上限值，即第二频次阈值和第二拦截阈值。

在该实施例中，通过进一步通过对访问接口的访问工况进行识别，进一步检测采集请求中是否还包括其它类型的伪装数据，如果对访问接口的频率过高，次数过多，表明基于该访问接口的目标数据具有被攻击和窃取的风险，此时也可以通过拦截采集请求的方式，降低被攻击和被窃取的概率。

如图6所示，数据采集异常检测的交互系统包括用户终端602、SID服务器604、校验服务器606和应用服务器608，其中，SID服务器604用于向用户终端602发送预存的安全标识符，用户终端602将安全标识符添加至目标数据的采集请求中，校验服务器606用于对验证信息和接口访问信息进行校验，如果校验成功，则通知应用服务器608向目标终端返回目标数据。

如图7所示，基于图6显示的用户终端和多个服务器之间的交互，根据本公开的一个实施例的数据采集异常检测方法，包括：

步骤S702，用户终端向SID服务器发送SID获取请求。

步骤S704，SID服务器向用户终端返回SID。

步骤S706，用户终端基于SID和浏览器指纹生成目标数据的采集请求。

步骤S708，校验服务器校验SID。

步骤S710，校验服务器校验浏览器指纹。

步骤S712，校验服务器校验IP。

步骤S714，校验服务器将采集请求转发至应用服务器。

步骤S716，应用服务器向用户终端返回目标数据。

其中，校验过程参照上述图2至图5中描述的流程。

需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图8来描述根据本发明的这种实施方式的数据采集异常检测装置800。图8所示的数据采集异常检测装置800仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

数据采集异常检测装置800以硬件模块的形式表现。数据采集异常检测装置800的组件可以包括但不限于：验证模块802，用于对接收到的目标数据的采集请求中的验证信息执行验证操作；获取模块804，用于在对验证信息验证通过，获取与采集请求对应的访问接口的响应参数和访问接口的历史访问数据；生成模块806，用于基于响应参数和历史访问数据生成拦截条件；采集模块808，用于在持续接收到采集请求时，采集访问接口的访问信息；拦截模块810，用于在检测到访问信息符合拦截条件时，对再次接收到的采集请求执行拦截操作。

在本公开的一个实施例中，验证模块802还用于：检测从验证信息中是否提取到安全标识符；检测到验证信息中未提取到安全标识符；或检测到验证信息中提取到的安全标识符未通过验证时，确定对验证信息验证未通过，对采集请求执行拦截操作。

在本公开的一个实施例中，还包括：发送模块812，用于响应于安全标识符的获取请求，向目标终端发送安全标识符。

在本公开的一个实施例中，验证模块802还用于：在检测到安全标识符通过验证时，提取验证信息中的浏览器指纹；在检测到浏览器指纹在第一预设时长内的变动频次大于或等于第一频次阈值时，对浏览器指纹执行第一标记操作；在第一标记周期内，检测到第一标记操作的第一标记次数大于或等于第一拦截阈值时，确定对验证信息验证未通过，对再次接收到的采集请求执行拦截操作；在检测到浏览器指纹在第一预设时长内的变动频次小于第一频次阈值时，或在第一标记周期内，检测到第一标记次数小于第一拦截阈值时，确定验证信息验证通过。

在本公开的一个实施例中，验证模块802还用于：在检测到安全标识符通过验证，并且检测到连续接收到包括同一请求IP的采集请求的次数大于或等于次数阈值时，确定验证信息验证通过。

在本公开的一个实施例中，生成模块806还用于：根据所述响应时间和历史访问频率生成第二频次阈值和第二拦截阈值，以由第二频次阈值和第二拦截阈值生成拦截条件，其中，响应时间与第二频次阈值以及第二拦截阈值正相关，历史访问频率与第二频次阈值以及第二拦截阈值正相关。

在本公开的一个实施例中，拦截模块810还用于：在检测到在第一预设时长内访问频次大于或等于第二频次阈值时，对访问信息执行第二标记操作；在第二标记周期内，检测到第二标记操作的第二标记次数大于或等于第二拦截阈值时，对再次接收到的采集请求执行拦截操作。

下面参照图9来描述根据本发明的这种实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930。

其中，存储单元存储有程序代码，程序代码可以被处理单元910执行，使得处理单元910执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元910可以执行如图2中所示的步骤S202、S204、S206、S208和S210，以及本公开的数据采集异常检测方法中限定的其他步骤。

存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)9201和/或高速缓存存储单元9202，还可以进一步包括只读存储单元(ROM)9203。

存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204，这样的程序模块9205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备900也可以与一个或多个外部设备1000(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器960通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

根据本发明的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (11)

1.一种数据采集异常检测方法，应用于服务器，其特征在于，包括：

对接收到的目标数据的采集请求中的验证信息执行验证操作；

在对所述验证信息验证通过，获取与所述采集请求对应的访问接口的响应参数和所述访问接口的历史访问数据；

基于所述响应参数和所述历史访问数据生成拦截条件；

在持续接收到所述采集请求时，采集所述访问接口的访问信息；

在检测到所述访问信息符合所述拦截条件时，对再次接收到的所述采集请求执行拦截操作。

2.根据权利要求1所述的数据采集异常检测方法，其特征在于，所述对所述采集请求中的验证信息执行验证操作，具体包括：

检测从所述验证信息中是否提取到安全标识符；

检测到所述验证信息中未提取到所述安全标识符；或

检测到所述验证信息中提取到的所述安全标识符未通过验证时，确定对所述验证信息验证未通过，对所述采集请求执行拦截操作。

3.根据权利要求2所述的数据采集异常检测方法，其特征在于，所述在对接收到的目标数据的采集请求中的验证信息执行验证操作之前，还包括：

响应于所述安全标识符的获取请求，向请求终端发送所述安全标识符，以由所述请求终端将所述安全标识符添加到所述采集请求中。

4.根据权利要求2所述的数据采集异常检测方法，其特征在于，所述对所述采集请求中的验证信息执行验证操作，具体还包括：

在检测到从所述验证信息中提取到所述安全标识符，并且所述安全标识符通过验证时，提取所述验证信息中的浏览器指纹；

在检测到所述浏览器指纹在第一预设时长内的变动频次大于或等于第一频次阈值时，对所述浏览器指纹执行第一标记操作；

在第一标记周期内，检测到所述第一标记操作的第一标记次数大于或等于第一拦截阈值时，确定对所述验证信息验证未通过，对再次接收到的所述采集请求执行拦截操作；

在检测到所述浏览器指纹在第一预设时长内的所述变动频次小于所述第一频次阈值时，或在所述第一标记周期内，检测到所述第一标记次数小于所述第一拦截阈值时，确定所述验证信息验证通过。

5.根据权利要求2所述的数据采集异常检测方法，其特征在于，所述验证信息还包括请求IP，所述对所述采集请求中的验证信息执行验证操作，具体还包括：

在检测到所述安全标识符通过验证，并且检测到连续接收到包括同一所述请求IP的所述采集请求的次数大于或等于次数阈值时，确定所述验证信息验证通过。

6.根据权利要求4所述的数据采集异常检测方法，其特征在于，还包括：

在对所述验证信息验证通过，再次接收到所述采集请求时，向所述采集请求的请求终端发送浏览器参数获取指令；

接收所述请求终端根据所述获取指令发送的浏览器参数；

在检测到所述浏览器参数与所述浏览器指纹不匹配时，对再次接收到所述采集请求执行拦截操作。

7.根据权利要求1至5中任一项所述的数据采集异常检测方法，其特征在于，所述响应参数包括所述访问接口的响应时间，所述历史访问数据包括单用户的对所述访问接口的历史访问频率，所述基于所述响应参数和所述历史访问数据生成拦截条件，具体包括：

根据所述响应时间和所述历史访问频率生成第二频次阈值和第二拦截阈值，以由所述第二频次阈值和所述第二拦截阈值生成所述拦截条件，

其中，所述响应时间与所述第二频次阈值以及所述第二拦截阈值正相关，所述历史访问频率与所述第二频次阈值以及所述第二拦截阈值正相关。

8.根据权利要求7所述的数据采集异常检测方法，其特征在于，所述访问信息包括访问频次，所述在检测到所述访问信息符合所述拦截条件时，对再次接收到的所述采集请求执行拦截操作，具体包括：

在检测到在第一预设时长内所述访问频次大于或等于所述第二频次阈值时，对所述访问信息执行第二标记操作；

在第二标记周期内，检测到所述第二标记操作的第二标记次数大于或等于所述第二拦截阈值时，对再次接收到的所述采集请求执行拦截操作。

9.一种数据采集异常检测装置，应用于服务器，其特征在于，包括：

验证模块，用于对接收到的目标数据的采集请求中的验证信息执行验证操作；

获取模块，用于在对所述验证信息验证通过，获取与所述采集请求对应的访问接口的响应参数和所述访问接口的历史访问数据；

生成模块，用于基于所述响应参数和所述历史访问数据生成拦截条件；

采集模块，用于在持续接收到所述采集请求时，采集所述访问接口的访问信息；

拦截模块，用于在检测到所述访问信息符合所述拦截条件时，对再次接收到的所述采集请求执行拦截操作。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～8中任意一项所述的数据采集异常检测方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～8中任意一项所述的数据采集异常检测方法。

Images