CN112134766A - 高并发业务侦测方法及装置 - Google Patents

Abstract

本公开实施例公开了一种高并发业务侦测方法及装置。其中，该方法包括：接收业务数据时，按照时间顺序和数据来源为每条业务记录添加序号和终端号；对业务数据表按照序号和终端号进行自关联查询，使每条业务记录与同一终端的下一条业务记录建立错位自关联；根据所述错位自关联计算每个终端中任意两相邻业务记录的时间差；根据所述时间差确定各个终端中的高并发业务情况。

Description

高并发业务侦测方法及装置

技术领域

本公开涉及网络安全技术领域，具体涉及一种高并发业务侦测方法、装置、电子设备及存储介质。

背景技术

互联网以及移动互联网的发展给人们的日常生活带来了极大的便利，但同时也由于过于开放的环境给监管带来了极大的压力，各类网络安全问题层出不穷。典型地，正常用户会按照业务规定的标准流程来办理业务，此时系统的压力仅仅是正常业务处理的需求；但对于非正常用户来说，其目的并非是正常业务办理，而是希望通过各种系统漏洞来非法获利，会进行大量不正常业务的操作，这使得系统需要浪费大量的资源来识别和排除这类非正常操作，严重影响了系统的正常运行。

虽然低级操作通常以失败而结束，但当其数量足够大时，单纯为了响应它们就会给系统带来极大的压力，比如DoS(Denial of Service,拒绝服务)攻击；而另有一些非法操作会伪装在正常操作中来进行掩饰，系统从大量正常操作中甄别这些非法操作也会有较大的压力。对于非法操作，单纯事后回溯可能会产生无法挽回的损失，最佳处理时机首先是事先预防，其次是实时发现和阻止，但由于互联网业务最显著的特点是便利和数量巨大，对于动辄上千万甚至上亿条的业务操作数据，通过实时计算来发现和排除风险，往往需要消耗大量的服务器资源与开发资源。为防范风险，现有技术通常会对威胁更大的高并发业务进行筛选，高并发业务通常指短时间内以极高频次发生的业务，其明显超出了用户正常操作业务的速率，需要被特别关注。

然而，发明人在实现本公开实施例相关技术方案的过程中发现，现有技术的高并发业务侦测方式仍存在着明显的缺陷：具体说来，为发现疑似的风险通道，需要对每一个业务终端的业务操作时间、数量和频次进行计算和统计分析；这在数据量少的情况下比较容易实现，只需要对各个终端逐笔计算每笔业务的时间差，然后统计相邻时间间隔较短的业务数量即可。但对于服务器端来说，由于其通常是汇总全部终端的业务信息，对于大量的终端和海量的业务数据的集合，在上亿条记录中要逐笔计算某一业务与同终端相邻业务的时间间隔、然后再统计数量比例等，将会消耗大量的计算资源，会对系统性能造成严重影响。

发明内容

针对现有技术中的上述技术问题，本公开实施例提出了一种高并发业务侦测方法、装置、电子设备及计算机可读存储介质，以解决现有技术中海量业务侦测计算量过大而影响性能的问题。

本公开实施例的第一方面提供了一种高并发业务侦测方法，包括：

接收业务数据时，按照时间顺序和数据来源为每条业务记录添加序号和终端号；

对业务数据表按照序号和终端号进行自关联查询，使每条业务记录与同一终端的下一条业务记录建立错位自关联；

根据所述错位自关联计算每个终端中任意两相邻业务记录的时间差；

根据所述时间差确定各个终端中的高并发业务情况。

在一些实施例中，所述根据所述时间差确定各个终端中的高并发业务情况包括：

对于所述时间差小于预设阈值的标记为一条高并发业务；

统计各个终端中高并发业务数量，并计算出各个终端中高并发业务占比。

在一些实施例中，所述预设阈值根据业务的手动操作极限时间或根据业务平均操作时间来设置和调整。

在一些实施例中，所述方法中，所述自关联查询在固定的时间执行，或按照一定的周期执行，或随机执行或实时执行。

在一些实施例中，所述方法还包括：根据所述高并发业务数量和/或所述高并发业务占比识别高风险终端。

本公开实施例的第二方面提供了一种高并发业务侦测装置，包括：

记录预处理模块，用于接收业务数据时，按照时间顺序和数据来源为每条业务记录添加序号和终端号；

自关联查询模块，用于对业务数据表按照序号和终端号进行自关联查询，使每条业务记录与同一终端的下一条业务记录建立错位自关联；

时间差计算模块，用于根据所述错位自关联计算每个终端中任意两相邻业务记录的时间差；

业务侦测模块，用于根据所述时间差确定各个终端中的高并发业务情况。

在一些实施例中，所述业务侦测模块包括：

业务标记模块，用于对于所述时间差小于预设阈值的标记为一条高并发业务；

统计分析模块，用于统计各个终端中高并发业务数量，并计算出各个终端中高并发业务占比。

在一些实施例中，所述预设阈值根据业务的手动操作极限时间或根据业务平均操作时间来设置和调整。

在一些实施例中，所述自关联查询在固定的时间执行，或按照一定的周期执行，或随机执行或实时执行。

在一些实施例中，所述装置还包括：

识别模块，用于根据所述高并发业务数量和/或所述高并发业务占比识别高风险终端。

本公开实施例的第三方面提供了一种电子设备，包括：

存储器以及一个或多个处理器；

其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如前述各实施例所述的方法。

本公开实施例的第四方面提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如前述各实施例所述的方法。

本公开实施例的第五方面提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，可用来实现如前述各实施例所述的方法。

根据本公开实施例所提出的技术方案，通过对业务数据表进行预处理，利用SQL查询语句使数据表中海量记录建立错位自关联，从而在业务筛选和识别时避免对逐笔业务进行循环计算，从而缩短了计算时间、优化了运算效率，大幅提升了系统性能。

附图说明

通过参考附图会更加清楚的理解本公开的特征和优点，附图是示意性的而不应理解为对本公开进行任何限制，在附图中：

图1是根据本公开的一些实施例所示的一种高并发业务侦测方法流程示意图；

图2是根据本公开的一些实施例所示的一种高并发业务侦测装置的模块结构示意图；

图3是根据本公开的一些实施例所示的一种电子设备的结构示意图。

具体实施方式

在下面的详细描述中，通过示例阐述了本公开的许多具体细节，以便提供对相关披露的透彻理解。然而，对于本领域的普通技术人员来讲，本公开显而易见的可以在没有这些细节的情况下实施。应当理解的是，本公开中使用“系统”、“装置”、“单元”和/或“模块”术语，是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而，如果其他表达式可以实现相同的目的，这些术语可以被其他表达式替换。

应当理解的是，当设备、单元或模块被称为“在……上”、“连接到”或“耦合到”另一设备、单元或模块时，其可以直接在另一设备、单元或模块上，连接或耦合到或与其他设备、单元或模块通信，或者可以存在中间设备、单元或模块，除非上下文明确提示例外情形。例如，本公开所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。

本公开所用术语仅为了描述特定实施例，而非限制本公开范围。如本公开说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件，而该类表述并不构成一个排它性的罗列，其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。

参看下面的说明以及附图，本公开的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解，其中说明和附图形成了说明书的一部分。然而，可以清楚地理解，附图仅用作说明和描述的目的，并不意在限定本公开的保护范围。可以理解的是，附图并非按比例绘制。

本公开中使用了多种结构图用来说明根据本公开的实施例的各种变形。应当理解的是，前面或下面的结构并不是用来限定本公开。本公开的保护范围以权利要求为准。

为防范系统风险，需要对高并发业务进行筛选和识别，但在系统平台端由于是大量终端的海量业务数据的汇总，逐笔业务的区分、计算和统计将会消耗大量的计算资源，实时分析也会给系统软硬件带来极大的压力，使得系统实现的成本极高且性能不佳。

有鉴于此，本公开实施例提供了一种高并发业务侦测方法，通过对业务数据表进行预处理，利用SQL查询语句使数据表中海量记录建立错位自关联，从而在业务筛选和识别时避免对逐笔业务进行循环计算，从而缩短了计算时间、优化了运算效率，大幅提升了系统性能。在本公开的一个实施例中，如图1所示，所述高并发业务侦测方法包括：

S101，接收业务数据时，按照时间顺序和数据来源为每条业务记录添加序号和终端号。

其中，在本公开的实施例中，由于系统平台端是对所有业务终端的全部业务数据的实时处理，需要及时响应(而不能等待一段时间的累积数据后再集中处理)，故本公开实施例中对接收的业务数据仅仅做最简单最快速的标记，以避免对业务响应速度造成不利影响。具体地，由于是实时接收数据，则数据表中将每条业务记录按接收的时间顺序排序并添加序号，同时为便于后续处理，在记录里还同时添加数据来源的终端号。这两项标记的添加可以即时完成，因而不会影响业务处理的实时性。

S102，对业务数据表按照序号和终端号进行自关联查询，使每条业务记录与同一终端的下一条业务记录建立错位自关联。

在本公开的一个实施例中，假设一个简化的原始业务数据表如下表1所示，可以看到所有记录按时序排序，每条记录中包括终端号，但同一终端的多条记录之间可能会插入有其他终端的记录，从当前记录很难确定同终端下一条记录的位置和具体信息(业务时间)。

终端	时间	排序
			A	23:10	1
A	23:13	2
			A	23:15	3
B	23:20	4
			B	23:21	5

表1原始业务数据表示例

而在本公开的实施例中，通过进行自关联查询，为同一终端的记录建立错位自关联；其中，自关联查询的伪代码示例如下：

Select

a.终端

a.时间-b.时间

From A a

Left join A b

On a.终端＝b.终端and a.排序＝b.排序-1

该自关联查询对上述原始业务数据表中同一终端(比如终端A)的多条记录进行了处理，使得该终端的相邻两条记录建立了错位自关联，处理后得到的终端A的关联表示例如下表2所示。

终端

时间

排序

排序

终端

时间

时间差

A

23:10

1

A

23:13

2

1

A

23:10

0.0021

A

23:15

3

2

A

23:13

0.0014

3

A

23:15

表2错位自关联的业务数据表示例

可以看出，由于业务数据表是对所有业务终端的全部业务数据按时序排序，如果要对某一终端的高并发业务情况进行侦测，需要逐一查询该终端每一条业务之后的下一条业务时间，从而逐笔计算相邻两条业务的时间差，确定是否为高并发业务(短时高频业务)，这显然需要消耗大量的查询和计算资源，效率低下。在本公开的实施例中，通过自关联查询将同一终端的每笔业务与下笔业务自然连接起来，只需一次查询操作即可得到整理好的全部记录，无需再逐笔进行查询，因而大幅节省了频繁查询操作所耗费的资源。在本公开的实施例中，所述高并发业务侦测方法和/或所述自关联查询可以在固定的时间或按照一定的周期执行，两者的执行周期可以相同也可以不同，视具体的系统安全需求而定，也可以随机执行或实时执行，在此不做具体限定。

S103，根据所述错位自关联计算每个终端中任意两相邻业务记录的时间差。

在本公开的实施例中，通过自关联查询操作可将同一终端的每笔业务与下笔业务自然连接起来，除节省查询资源外，也使得后续的计算和统计过程变得简单。具体地，由于同一终端的每一条业务记录均已于下一条业务记录建立自关联，进行计算时可以自然从本条业务记录获取下一条业务记录信息，因而可以直接连续计算两两相邻业务记录的时间差，一次性计算得到全部时间差信息，故显然节省了计算资源。当然，本领域相关技术人员可以理解，事实上经过自关联查询后，每一条业务记录与上一条业务记录显然也有自关联，本公开的实施例是从第一条记录出发进行计算来考虑的，如果从最后一条记录出发，显然也可获取自关联的上一条记录来计算时间差，最终结果并不会有本质区别，因而也可算是本公开实施例的另一种具体实现方式，不应视作对本公开技术方案的限制。

S104，根据所述时间差确定各个终端中的高并发业务情况。

为防范系统风险，需要对高并发业务进行筛选和识别，其中，高并发业务主要是在短时间内以较高频次执行的业务(无论是否成功完成)，其执行频率应该是明显不符合用户正常手动操作的频率，通常会是外放通道由大量非法用户同时执行(比如网络刷单行为)，或是通过脚本自动执行的程序等。对于这些非法情况，通过之前计算的时间差就可以帮助系统自动发现和识别不正常的高并发业务。具体地，对于所述时间差小于预设阈值的就可以标记为一条高并发业务，该预设阈值可以根据手动操作极限时间或根据平均操作时间来设置和调整，在此不做具体限定。

由于偶发的网络故障也有可能导致少量业务被集中传输到系统平台，为避免误判，可以进一步对高并发业务的具体情况进行统计分析。具体地，在本公开的优选实施例中，所述根据所述时间差确定各个终端中的高并发业务情况包括：对于所述时间差小于预设阈值的标记为一条高并发业务，统计各个终端中高并发业务数量，并计算出各个终端中高并发业务占比。

进一步地，本公开实施例的所述高并发业务侦测方法还包括：根据所述高并发业务数量和/或高并发业务占比识别高风险终端。对于明显数量偏多或比例偏高的终端，可以将其识别为高风险终端，并视情况给予相应的防范处理，比如系统报警、拒绝业务请求、拒绝接入或封停终端等，视具体情况和系统安全需求而定，在此也不做具体限制。

图2是根据本公开的一些实施例所示的一种高并发业务侦测装置示意图。如图2所示，高并发业务侦测装置200包括记录预处理模块201、自关联查询模块202、时间差计算模块203和业务侦测模块204；其中，

记录预处理模块201，用于接收业务数据时，按照时间顺序和数据来源为每条业务记录添加序号和终端号；

自关联查询模块202，用于对业务数据表按照序号和终端号进行自关联查询，使每条业务记录与同一终端的下一条业务记录建立错位自关联；

时间差计算模块203，用于根据所述错位自关联计算每个终端中任意两相邻业务记录的时间差；

业务侦测模块204，用于根据所述时间差确定各个终端中的高并发业务情况。

在一些实施例中，所述业务侦测模块包括：

业务标记模块，用于对于所述时间差小于预设阈值的标记为一条高并发业务；

统计分析模块，用于统计各个终端中高并发业务数量，并计算出各个终端中高并发业务占比。

在一些实施例中，所述预设阈值根据业务的手动操作极限时间或根据业务平均操作时间来设置和调整。

在一些实施例中，所述自关联查询在固定的时间执行，或按照一定的周期执行，或随机执行或实时执行。

在一些实施例中，所述装置还包括：

识别模块，用于根据所述高并发业务数量和/或所述高并发业务占比识别高风险终端。

参考附图3，为本公开一个实施例提供的电子设备示意图。如图3所示，该电子设备300包括：

存储器330以及一个或多个处理器310；

其中，所述存储器330与所述一个或多个处理器310通信连接，所述存储器330中存储有可被所述一个或多个处理器执行的指令332，所述指令332被所述一个或多个处理器310执行，以使所述一个或多个处理器310执行本公开前述实施例中的方法。

具体地，处理器310和存储器330可以通过总线或者其他方式连接，图3中以通过总线340连接为例。处理器310可以为中央处理器(Central Processing Unit，CPU)。处理器310还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器330作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本公开实施例中的级联渐进网络等。处理器310通过运行存储在存储器330中的非暂态软件程序、指令以及功能模块332，从而执行处理器的各种功能应用以及数据处理。

存储器330可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器310所创建的数据等。此外，存储器330可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器330可选包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络(比如通过通信接口320)连接至处理器310。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本公开的一个实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被执行后执行本公开前述实施例中的方法。

前述的计算机可读取存储介质包括以存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方式或技术来实现的物理易失性和非易失性、可移动和不可移动介质。计算机可读取存储介质具体包括，但不限于，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、可擦除可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存或其他固态存储器技术、CD-ROM、数字多功能盘(DVD)、HD-DVD、蓝光(Blue-Ray)或其他光存储设备、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。

尽管此处所述的主题是在结合操作系统和应用程序在计算机系统上的执行而执行的一般上下文中提供的，但本领域技术人员可以认识到，还可结合其他类型的程序模块来执行其他实现。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。本领域技术人员可以理解，此处所述的本主题可以使用其他计算机系统配置来实践，包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等，也可使用在其中任务由通过通信网络连接的远程处理设备执行的分布式计算环境中。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备的两者中。

本领域普通技术人员可以意识到，结合本文中所本公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对原有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。

综上所述，本公开提出了一种高并发业务侦测方法、装置、电子设备及其计算机可读存储介质。本公开实施例通过对业务数据表进行预处理，利用SQL查询语句使数据表中海量记录建立错位自关联，从而在业务筛选和识别时避免对逐笔业务进行循环计算，从而缩短了计算时间、优化了运算效率，大幅提升了系统性能。本公开实施例的技术方案可有效在海量业务数据中发现不合理的业务终端，从而尽早采取防范措施，避免在互联网应用的开放系统中造成巨大或不可挽回的损失。比如，在互联网支付的收单场景中，交易流水的笔数往往是非常巨大的，对于动辄上亿条的流水，本公开实施例的技术方案可以快速发现和查找短时高频交易的终端，从而找到疑似被外放的通道，防范通道外放的风险。

应当理解的是，本公开的上述具体实施方式仅仅用于示例性说明或解释本公开的原理，而不构成对本公开的限制。因此，在不偏离本公开的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。此外，本公开所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种高并发业务侦测方法，其特征在于，包括：

接收业务数据时，按照时间顺序和数据来源为每条业务记录添加序号和终端号；

对业务数据表按照序号和终端号进行自关联查询，使每条业务记录与同一终端的下一条业务记录建立错位自关联；

根据所述错位自关联计算每个终端中任意两相邻业务记录的时间差；

根据所述时间差确定各个终端中的高并发业务情况。

2.根据权利要求1所述的方法，其特征在于，所述根据所述时间差确定各个终端中的高并发业务情况包括：

对于所述时间差小于预设阈值的标记为一条高并发业务；

统计各个终端中高并发业务数量，并计算出各个终端中高并发业务占比。

3.根据权利要求2所述的方法，其特征在于，所述预设阈值根据业务的手动操作极限时间或根据业务平均操作时间来设置和调整。

4.根据权利要求1所述的方法，其特征在于，所述方法中，所述自关联查询在固定的时间执行，或按照一定的周期执行，或随机执行或实时执行。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

根据所述高并发业务数量和/或所述高并发业务占比识别高风险终端。

6.一种高并发业务侦测装置，其特征在于，包括：

记录预处理模块，用于接收业务数据时，按照时间顺序和数据来源为每条业务记录添加序号和终端号；

自关联查询模块，用于对业务数据表按照序号和终端号进行自关联查询，使每条业务记录与同一终端的下一条业务记录建立错位自关联；

时间差计算模块，用于根据所述错位自关联计算每个终端中任意两相邻业务记录的时间差；

业务侦测模块，用于根据所述时间差确定各个终端中的高并发业务情况。

7.根据权利要求6所述的装置，其特征在于，所述业务侦测模块包括：

业务标记模块，用于对于所述时间差小于预设阈值的标记为一条高并发业务；

统计分析模块，用于统计各个终端中高并发业务数量，并计算出各个终端中高并发业务占比。

8.根据权利要求7所述的装置，其特征在于，所述预设阈值根据业务的手动操作极限时间或根据业务平均操作时间来设置和调整。

9.根据权利要求6所述的装置，其特征在于，所述自关联查询在固定的时间执行，或按照一定的周期执行，或随机执行或实时执行。

10.根据权利要求7所述的装置，其特征在于，所述装置还包括：

识别模块，用于根据所述高并发业务数量和/或所述高并发业务占比识别高风险终端。

Images