CN107659566B - 对服务器异常访问的识别频率确定方法、装置及服务器 - Google Patents

对服务器异常访问的识别频率确定方法、装置及服务器 Download PDF

Info

Publication number
CN107659566B
CN107659566B CN201710851182.7A CN201710851182A CN107659566B CN 107659566 B CN107659566 B CN 107659566B CN 201710851182 A CN201710851182 A CN 201710851182A CN 107659566 B CN107659566 B CN 107659566B
Authority
CN
China
Prior art keywords
server
data
log data
abnormal access
identification frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710851182.7A
Other languages
English (en)
Other versions
CN107659566A (zh
Inventor
李�灿
蓝应志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Idreamsky Technology Co ltd
Original Assignee
Shenzhen Idreamsky Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Idreamsky Technology Co ltd filed Critical Shenzhen Idreamsky Technology Co ltd
Priority to CN201710851182.7A priority Critical patent/CN107659566B/zh
Publication of CN107659566A publication Critical patent/CN107659566A/zh
Application granted granted Critical
Publication of CN107659566B publication Critical patent/CN107659566B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1458—Denial of Service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明揭示了一种对服务器异常访问的识别频率确定方法、装置及服务器，属于计算机应用技术领域。所述方法包括：搜集服务器被访问而生成的日志数据，对所述日志数据进行数据转换生成高维数据索引文件，对所述高维数据索引文件进行深度学习得到对服务器异常访问的识别频率。此外，还提供了对服务器异常访问的识别频率确定装置及服务器。上述对服务器异常访问的识别频率确定方法、装置及服务器能够准确确定对服务器进行异常访问的识别频率。

Description

对服务器异常访问的识别频率确定方法、装置及服务器
技术领域
本发明涉及计算机应用技术领域，特别涉及一种对服务器异常访问的识别频率确定方法、装置及服务器。
背景技术
客户端与服务器之间，通过数据的交互实现多种多样的功能。例如，客户端与游戏服务器之间，通过数据交互实现在客户端进行网络游戏的游玩。
对于服务器而言，客户端对服务器过高或者异常的指令发送频率将严重影响服务器的工作状态。例如，客户端通过游戏外挂，频繁向游戏服务器发送指令时，将造成游戏服务器的负荷过重，进而影响客户端与游戏服务器之间的数据传输，造成游戏速度缓慢、数据出错，严重时将导致游戏服务器死机，造成不可修复的损失。
目前，在识别对服务器进行异常访问的客户端时，只是根据经验粗略估计一个识别频率，进而通过将客户端对服务器的访问频率与该识别频率进行对比来识别对服务器异常访问的客户端。然而，由于根据经验粗略估计的识别频率并不准确，并且不能实时更新，因而导致无法准确识别出异常访问的客户端，例如，识别频率设置偏低将导致部分异常访问的客户端未被识别，识别频率设置偏高将导致部分并非异常访问的客户端却被误识别为异常访问的客户端，从而大大影响了服务器的工作性能及游戏的平衡性。
因此，如何准确确定对服务器进行异常访问的识别频率将成为亟待解决的问题。
发明内容
为了解决相关技术中无法准确确定对服务器进行异常访问的识别频率的技术问题，本发明提供了一种对服务器异常访问的识别频率确定方法、装置及服务器。
第一方面，提供了一种对服务器异常访问的识别频率确定方法，包括：
搜集服务器被访问而生成的日志数据；
对所述日志数据进行数据转换生成高维数据索引文件；
对所述高维数据索引文件进行深度学习得到对服务器异常访问的识别频率。
第二方面，提供了一种对服务器异常访问的识别频率确定装置，包括：
日志数据收集模块，用于搜集服务器被访问而生成的日志数据；
高维数据索引生成模块，用于对所述日志数据进行数据转换生成高维数据索引文件；
深度学习模块，用于对所述高维数据索引文件进行深度学习得到对服务器异常访问的识别频率。
第三方面，提供了一种服务器，其特征在于，所述服务器包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。
第四方面，提供了一种计算机可读存储介质，用于存储程序，其特征在于，所述程序在被执行时使得服务器执行如第一方面的方法。
通过本发明的实施例提供的技术方案能够得到以下有益效果：
服务器在对访问的客户端进行异常识别时，搜集服务器被访问而生成的日志数据，对日志数据进行数据转换生成高维数据索引文件，通过对高维数据索引文件进行深度学习得到对服务器异常访问的识别频率，从而根据该识别频率就能准确识别对服务器进行异常访问的客户端，大大提高了确定识别频率的准确性，保证了服务器的工作性能及游戏的平衡性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，本发明并不受限制。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据本公开所涉及的一个实施环境的示意图。
图2是根据一示例性实施例示出的一种对服务器异常访问的识别频率确定方法流程图。
图3是根据图2对应实施例示出的对服务器异常访问的识别频率确定方法中步骤S110的一种具体实现流程图。
图4是根据图2对应实施例示出的对服务器异常访问的识别频率确定方法中步骤S120的一种具体实现流程图。
图5是根据一示例性实施例示出的卷神经网络的示意图。
图6是根据一示例性实施例示出的高维索引数据在卷神经网络中的处理流程示意图。
图7是根据图2对应实施例示出的对服务器异常访问的识别频率确定方法中步骤S130的一种具体实现流程图。
图8是根据一示例性实施例示出的在一具体的应用场景中对服务器异常访问的识别频率确定方法的实现流程图。
图9是根据一示例性实施例示出的一种对服务器异常访问的识别频率确定装置的框图。
图10是根据图9对应实施例示出的对服务器异常访问的识别频率确定装置中日志数据搜集模块110的一种框图。
图11是根据图9对应实施例示出的对服务器异常访问的识别频率确定装置中高维数据索引生成模块120的一种框图。
图12是根据图9对应实施例示出的对服务器异常访问的识别频率确定装置中深度学习模块130的一种框图。
图13是根据一示例性实施例示出的一种服务器的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所记载的、本发明的一些方面相一致的装置和方法的例子。
图1是根据本公开所涉及的一个实施环境的示意图。该实施环境包括：客户端200以及与客户端200进行相互之间数据传输的服务器100。
客户端200和服务器100之间的关联方式，包括但不限于以WiFi等无线网络或者有线网络实现的二者之间往来的数据关联方式，具体关联方式不受本实施例的限制。
服务器100接收客户端200的访问，并生成日志数据。
客户端200可以是手机、电脑等计算机设备，具体实现方式不受本实施例的限制。
图2是根据一示例性实施例示出的一种对服务器异常访问的识别频率确定方法流程图，如图2所示，该对服务器异常访问的识别频率确定方法可以包括以下步骤。
在步骤S110中，搜集服务器被访问而生成的日志数据。
可以理解的是，在客户端访问服务器时，服务器将根据访问生成对应的日志数据，以进行访问的记录。
在对日志数据进行搜集时，可以是从服务器集群中收集所有的日志收集后，再筛选出符合筛选条件的日志数据；也可以是根据筛选条件从服务器集群中搜集符合该筛选条件的日志收集；还可以是通过其它的方式对日志数据进行搜集。
可选的，可以根据预设的时间间隔进行日志数据的搜集，进而对搜集的日志数据进行动态更新。
在步骤S120中，对日志数据进行数据转换生成高维数据索引文件。
可以理解的是，服务器被客户端访问而生成的日志数据中，将包含用户标识，例如，设备号、账号、IP等。
日志数据中包括多种不同的用户标识时，也即日志数据存在多个不同的维度。
而搜集的日志数据中，各日志数据是杂乱分布的，其内容也是各不一致的。因此，通过对日志数据进行特征提取，将日志数据转换为高维数据索引文件，以便于进行深度学习。
在步骤S130中，对高维数据索引文件进行深度学习得到对服务器异常访问的识别频率。
深度学习是机器学习中一种基于对数据进行表征学习的方法。
通过深度学习，用非监督式或半监督式的特征学习和分层特征提取，从高维数据索引文件中高效提取出对服务器异常访问的识别频率。
深度学习的方法有很多，例如Tensorflow(谷歌的一种开源人工智能学习系统)、CNN(Convolutional Neural Network，卷积神经网络)、RNN(Recurrent neural Network，循环神经网络)、NBN(Deep Belief Networks，深信度网络)等方法。
如前所述的，对日志数据是进行实时动态的搜集。因此，通过深度学习后得到的对服务器异常访问的识别频率也是动态更新的。
利用如上所述的方法，在搜集服务器被访问而生成的日志数据后，通过深度学习算法从日志数据中获取对服务器异常访问的识别频率，并根据动态更新的日志数据，对识别频率也进行动态更新，从而根据识别频率就能准确识别对服务器进行异常访问的客户端，而不仅仅根据经验预设一个识别频率对各客户端进行异常访问的识别，从而大大提高了确定识别频率的准确性，保证了服务器的工作性能及游戏的平衡性。
图3是根据图2对应实施例示出的对服务器异常访问的识别频率确定方法中步骤S110的细节描述，该对服务器异常访问的识别频率确定方法中，步骤S110可以包括以下步骤：
在步骤S111中，收集服务器被访问而生成的日志数据；
在步骤S112中，从日志数据中筛选更新时间在预设时间之后的日志数据。
日志数据分为热数据和冷数据。
热数据又称为动态数据，指根据客户端的访问而动态递增或者更新的日志数据，如应用程序中动态生成的日志数据、线上数据库中的数据等。
冷数据又称为静态数据，指不会因客户端的访问而动态更新、增加的日志数据。
更新时间是日志数据的最后修改时间。
可以理解的是，日志数据在生成或修改时，其更新时间也将对应的更新。
由于客户端的访问对冷数据与的影响不大，因此，为减小日志数据量，提高后续的处理效率，在进行日志数据的收集时，主要是对热数据进行收集，即对更新时间距离当前时间较近的日志数据进行收集。
预设时间是预先设置的筛选时间。
通过预设时间对收集的日志数据进行筛选，获取更新时间在预设时间之后的日志数据。
例如，当前时间为北京时间2017年6月15日12时0分0秒，预设时间为北京时间2017年6月1日0时0分0秒，则筛选出更新时间在北京时间2017年6月1日0时0分0秒-2017年6月15日12时0分0秒期间的日志数据。
利用如上所述的方法，在搜集的日志数据时，通过预设时间筛选出最新的日志数据，从而减小搜集的日志数据量，提高对日志数据的处理效率。
可选的，在图2对应实施例中的步骤S120之前，该对服务器异常访问的识别频率确定方法还可以包括以下步骤：
对日志数据进行格式转换，得到预设数据格式的日志数据。
可以理解的是，服务器集群中，各服务器中的输出格式可能存在一定的差别。
当各服务器的输出格式存在差别时，若将从各服务器中搜集的日志数据直接进行提取，将可能因数据格式的不一致而导致提取错误。因此，在对搜集的日志数据进行提取之前，预先根据预设的日志数据格式，对日志数据进行格式转换，从而统一所有日志数据的数据格式。
在一具体的示例性实施例中，采用Flume+Kafka结合进行数据日志的搜集。由于Flume提供的数据采集方式可以定制多种数据源，因而，无需对服务器的日志数据输出格式进行更改，即不影响原有的服务器的输出格式，从而可以大大减少在数据采集端的开发工作量。而在搜集后的日志数据发送端采用Kafka进行可持久化的消息存储，由于各服务都是部署在廉价的分布式集群服务器当中，因而大大提高了服务器的容错性。
利用如上所述的方法，在进行日志数据的搜集后，统一对日志数据进行格式转换，将所有日志数据转换为同一种数据格式，从而无需更改服务器的数据输出格式，大大减小了开发工作量，提高了工作效率。
图4是根据图2对应实施例示出的对服务器异常访问的识别频率确定方法中步骤S120的细节描述，该对服务器异常访问的识别频率确定方法中，步骤S120可以包括以下步骤。
在步骤S121中，对日志数据进行特征数据的提取；
日志数据中包含多种特征信息。例如，用户标识信息、服务类型信息等。
因此，通过提取出日志数据中的特征信息，例如对日志数据的特征信息进行数字化，以更便于机器学习。
在步骤S122中，通过局部敏感哈希算法对提取的特征数据建立局部敏感哈希索引，形成高维数据索引文件。
局部敏感哈希算法(Locality-Sensitive Hashing，LSH)的基本思想是：将原始数据空间中的两个相邻数据点通过相同的映射后，这两个数据点在新的数据空间中仍然相邻的概率很大，而不相邻的数据点被映射到同一个桶的概率很小。也就是说，如果对原始数据进行一些哈希映射后，我们希望原先相邻的两个数据能够被哈希到相同的桶内，具有相同的桶号。对原始数据集合中所有的数据都进行哈希映射后，我们就得到了一个哈希表，这些原始数据集被分散到了哈希表的桶内，每个桶会落入一些原始数据，属于同一个桶内的数据就有很大可能是相邻的，当然也存在不相邻的数据被哈希到了同一个桶内。因此，如果我们能够找到这样一些哈希函数，使得经过它们的哈希映射后，原始空间中相邻的数据落入相同的桶内的话，那么我们在该数据集合中进行近邻查找就变得容易了，我们只需要将查询数据进行哈希映射得到其桶号，然后取出该桶号对应桶内的所有数据，再进行线性匹配即可查找到与查询数据相邻的数据。换句话说，我们通过哈希函数映射操作，将原始数据集合分成了多个子集合，而每个子集合中的数据间是相邻的且该子集合中的元素个数较小，因此将一个在超大集合内查找相邻元素的问题转化为了在一个很小的集合内查找相邻元素的问题，显然计算量下降了很多。
那具有怎样特点的哈希函数才能够使得原本相邻的两个数据点经过哈希映射后会落入相同的桶内。这些哈希函数需要满足以下两个条件：
1)如果d(x,y)≤d1，则h(x)＝h(y)的概率至少为p1；
2)如果d(x,y)≥d2，则h(x)＝h(y)的概率至多为p2；
其中d(x,y)表示x和y之间的距离，d1<d2，h(x)和h(y)分别表示对x和y进行hash映射。
满足以上两个条件的哈希函数称为(d1,d2,p1,p2)-sensitive。而通过一个或多个(d1,d2,p1,p2)-sensitive的哈希函数对原始数据集合进行哈希映射生成一个或多个局部敏感哈希索引，即为高维数据索引文件。
在一具体的示例性实施例中，使用LSH进行对海量数据建立索引的过程如下：
1、离线建立索引
(1)选取满足(d1,d2,p1,p2)-sensitive的LSH哈希函数；
(2)根据对查找结果的准确率(即相邻的数据被查找到的概率)确定哈希表的个数L，每个表内的哈希函数的个数K，以及跟LSH哈希函数自身有关的参数；
(3)将所有数据经过LSH哈希函数映射到相应的桶内，构成了一个或多个哈希表；
2、在线查找
(1)将查询数据经过LSH哈希函数映射得到相应的桶号；
(2)将桶号中对应的数据取出；(为了保证查找速度，通常只需要取出前2L个数据即可)；
(3)计算查询数据与这2L个数据之间的相似度或距离，返回最近邻的数据。
根据图2对应实施例示出的对服务器异常访问的识别频率确定方法中步骤S130的细节描述，该对服务器异常访问的识别频率确定方法中，步骤S130可以包括以下步骤：
通过卷积神经网络算法对高维数据索引文件进行特征映射，得到对服务器异常访问的识别频率。
CNN(卷积神经网络)是一种深度学习网络，也是一种人工网络，它与其它神经网络不同的是，这种网络中采用的是权值共享的方式，与生物神经网络更相似。通过这种设计不仅可以使模型的复杂度降低，而且使网络权值的数量也大大的减少。在卷积神经网络中，可以直接对高维数据索引文件进行处理(因为我们收集的日志数据在系统架构的ETL阶段会被转化中高维数据索引文件，也即将收集的各种维度数据化成高维数据)，而无需像传统的神经网络算法中那样需要对日志数据进行特征提取和对数据进行重新构建，而往往这些过程需要耗费非常大的开销。因此，在卷积神经网络中，相比于传统的神经网络，模型的训练速度是很快的。通过卷积神经网络中多层感知器的构造方式可以对一些对结构平移的高维数据、维度有差异不同的高维数据都有较高的容忍能力。
CNN利用权值共享的方式减少需要学习的参数数目，较之一般前向BP算法(ErrorBack Propagation，误差反向传播)使得训练速度和准确度得到了极大的提高。CNN作为一个深度学习算法，可以使得数据的预处理的开销达到最小化。在该算法中作为层级结构的最低层的输入只是高维数据索引文件的一小部分(也即局部感受区域或者视野感受子)，经过处理后的信息再传输到更深的层次，每层会通有滤波器来取得上层输入的观测数据的特征。
图5展示了在卷积神经网络中，网络组成以及高维数据索引文件在各个层次网络中的转化，其中C1层称之为特征映层，在特征映射层中，高维数据索引文件会以每5个像素为一组进行求和以及加上权值和偏置，然后通过符号函数得到S1层称之为滤波层，通过对S1层进行滤波得到C2层。然后通过重复之间的处理方式一直到得到S4层。最终，这些高维数据索引文件中高维数据被光栅化并通过BP全连接网络得到最终的输出。
卷积过程如图6所示，包括：用可训练的滤波器fx对输入的高维数据进行卷积，并且通过与偏置bx求和，得到卷积层Cx。在子采样过程中包括：通过对每4个高维的邻域求和转化成一个数值，然后通过与标量Wx+1运算，再加上bx+1偏置，最后通过一个符号函数，产生一个大概缩小四倍的特征映射高维数据Sx+1。至此Sx+1便代表了能够表征该种高维输入的结果。通过进一步的转化便可以得到在统计阶段中所需的访问阈值的配置文件。
图7是根据图2对应实施例示出的对服务器异常访问的识别频率确定方法中步骤S130的细节描述，如图5所示，该对服务器异常访问的识别频率确定方法中的步骤S130可以包括以下步骤。
在步骤S131中，从高维数据索引文件中按照服务类型进行分类。
需要说明的是，客户端访问服务器时，存在各种不同的服务类型，例如登陆、注册、鉴权等服务类型。
针对不同的服务类型，对服务器进行异常访问的识别频率存在一定的区别。因此，在进行异常访问的识别之前，按照服务类型对高维数据索引文件进行分类，进而确定每一种服务类型下对服务器进行异常访问的识别频率。
在步骤S132中，针对每一种服务类型，在服务类型的高维数据索引文件进行深度学习，确定各用户标识对应的客户端针对该服务类型对服务器进行异常访问的识别频率。
如前所述的，用户标识包括设备号、账号、IP等。
可以理解的是，对于某一种服务类型，同一用户标识对应的客户端对服务器进行访问的频率存在一定的规律性。
因此，根据用户标识对应的客户端对服务器进行访问的日志数据，确定该用户标识对应的客户端针对每一种服务类型对服务器进行异常访问的识别频率，进而确定各用户标识对应的客户端针对每一种服务类型对服务器进行异常访问的识别频率。
利用如上所述的方法，通过确定各用户标识对应的客户端针对每一种服务类型对服务器进行异常访问的识别频率，进而根据客户端的用户标识，对该客户端在各不同服务类型的访问进行异常识别，保证了对服务器异常访问的客户端进行识别的准确性。
可选的，针对每一个访问服务器的客户端，对客户端的访问频率进行统计。进而将统计得到的各访问频率分别与相应的识别频率进行大小对比，识别对服务器进行异常访问的客户端。
例如，在某一段时间内，统计得到客户端A访问服务器的访问频率为50次，而该时间长度范围内的正常访问频率阈值为20次，则识别客户端A为异常访问服务器的客户端。
在一具体的示例性实施例中，通过Storm建立各个设备、账号、IP等在各种服务类型(如登录、注册等)上的访问次数进行统计，进而得到在任一时间范围内的访问频率。
可选的，在确定各用户标识在不同服务类型下的识别频率后，将识别频率传送至Strom中，Strom根据各客户端的访问频率与识别频率一一进行对比，识别对服务器进行异常访问的客户端，并将识别的客户端名单发送到打击服务器，打击服务器将集中处理这些打击消息，然后会根据不同的打击类型通知游戏服务器拒绝为相应客户端提供服务或者将该客户端加入黑名单。
另外，Storm根据不同的异常级别，将客户端的标识信息发送给负责管理游戏服务器的管理人员，以使管理人员进行人工处理，这样可以提高打击正确率以及打击处理的灵活性。
下面结合一个具体的应用场景来详细阐述如上的对服务器异常访问的识别频率确定方法。该对服务器异常访问的识别频率确定方法运行于一服务器中。
具体的，如图8所示，服务器通过Flume与Kafka从分布式游戏服务器集群中进行日志数据的收集，收集过程中，通过Flume定制很多不同的数据格式，接收不同数据格式的日志数据，而无需更改原有服务器的数据输出格式，再利用Kafka提供可持久化的数据存储功能对日志数据进行容错存储；然后对存储的日志数据进行提取生成高维数据索引文件，再以Tensorflow或CNN等方法在高维数据索引文件中进行深度学习，得到正常访问频率阈值，进而将正常访问频率阈值传送至Strom的统计模块中，Strom根据各客户端的访问频率与正常访问频率阈值进行对比，识别对服务器进行异常访问的客户端，并将识别的客户端名单发送到打击服务器，打击服务器将集中处理这些打击消息，然后会根据不同的打击类型通知游戏服务器拒绝为相应客户端提供服务或者将该客户端加入黑名单。
下述为本发明系统实施例，可以用于执行上述对服务器异常访问的识别频率确定方法实施例。对于本发明系统实施例中未披露的细节，请参照本发明对服务器异常访问的识别频率确定方法实施例。
图9是根据一示例性实施例示出的一种对服务器异常访问的识别频率确定装置的框图，该系统包括但不限于：日志数据搜集模块110、高维数据索引生成模块120及深度学习模块130。
日志数据搜集模块110，用于搜集服务器被访问而生成的日志数据；
高维数据索引生成模块120，用于对日志数据进行数据转换生成高维数据索引文件；
深度学习模块130，用于对高维数据索引文件进行深度学习得到对服务器异常访问的识别频率。
上述装置中各个模块的功能和作用的实现过程具体详见上述对服务器异常访问的识别频率确定方法中对应步骤的实现过程，在此不再赘述。
可选的，如图10所示，图9对应实施例示出的日志数据搜集模块110包括但不限于：日志数据收集单元111和日志数据筛选单元112。
日志数据收集单元111，用于收集服务器被访问而生成的日志数据；
日志数据筛选单元112，用于从日志数据中筛选更新时间在预设时间之后的日志数据。
可选的，根据图9对应实施例示出的对服务器异常访问的识别频率确定装置中，该装置还包括但不限于：日志格式转换模块。
日志格式转换模块，用于对日志数据进行格式转换，得到预设数据格式的日志数据。
可选的，如图11所示，图9对应实施例示出的高维数据索引生成模块120包括但不限于：特征数据提取单元121和局部敏感哈希索引建立单元122。
特征数据提取单元121，用于对日志数据进行特征数据的提取；
局部敏感哈希索引建立单元122，用于通过局部敏感哈希算法对提取的特征数据建立局部敏感哈希索引，形成高维数据索引文件。
可选的，图9对应实施例示出的深度学习模块130包括但不限于：特征映射单元。
特征映射单元，用于通过卷积神经网络算法对高维数据索引文件进行特征映射，得到对服务器异常访问的识别频率。
可选的，如图12所示，图9对应实施例示出的深度学习模块130还包括但不限于：数据索引分类单元131和识别频率确定单元132。
数据索引分类单元131，用于从高维数据索引文件中按照服务类型进行分类；
识别频率确定单元132，用于针对每一种服务类型，在服务类型的高维数据索引文件进行深度学习，确定各用户标识对应的客户端针对服务类型对服务器进行异常访问的识别频率。
图13是根据一示例性实施例示出的一种服务器100的框图。参考图13，服务器100可以包括以下一个或者多个组件：处理组件101，存储器102，电源组件103，多媒体组件104，音频组件105，传感器组件107以及通信组件108。其中，上述组件并不全是必须的，服务器100可以根据自身功能需求增加其他组件或减少某些组件，本实施例不作限定。
处理组件101通常控制服务器100的整体操作，诸如与显示，电话呼叫，数据通信，相机操作以及日志数据处理相关联的操作等。处理组件101可以包括一个或多个处理器109来执行指令，以完成上述操作的全部或部分步骤。此外，处理组件101可以包括一个或多个模块，便于处理组件101和其他组件之间的交互。例如，处理组件101可以包括多媒体模块，以方便多媒体组件104和处理组件101之间的交互。
存储器102被配置为存储各种类型的数据以支持在服务器100的操作。这些数据的示例包括用于在服务器100上操作的任何应用程序或方法的指令。存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如SRAM(Static Random AccessMemory，静态随机存取存储器)，EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦除可编程只读存储器)，EPROM(Erasable Programmable Read OnlyMemory，可擦除可编程只读存储器)，PROM(Programmable Read-Only Memory，可编程只读存储器)，ROM(Read-Only Memory，只读存储器)，磁存储器，快闪存储器，磁盘或光盘。存储器102中还存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器109执行，以完成图1、图2、图3、图4和图7任一所示方法中的全部或者部分步骤。
电源组件103为服务器100的各种组件提供电力。电源组件103可以包括电源管理系统，一个或多个电源，及其他与为服务器100生成、管理和分配电力相关联的组件。
多媒体组件104包括在所述服务器100和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括LCD(Liquid Crystal Display，液晶显示器)和TP(TouchPanel，触摸面板)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
音频组件105被配置为输出和/或输入音频信号。例如，音频组件105包括一个麦克风，当服务器100处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或经由通信组件108发送。在一些实施例中，音频组件105还包括一个扬声器，用于输出音频信号。
传感器组件107包括一个或多个传感器，用于为服务器100提供各个方面的状态评估。例如，传感器组件107可以检测到服务器100的打开/关闭状态，组件的相对定位，传感器组件107还可以检测服务器100或服务器100一个组件的坐标改变以及服务器100的温度变化。在一些实施例中，该传感器组件107还可以包括磁传感器，压力传感器或温度传感器。
通信组件108被配置为便于服务器100和其他设备之间有线或无线方式的通信。服务器100可以接入基于通信标准的无线网络，如WiFi(WIreless-Fidelity，无线网络)，2G或3G，或它们的组合。在一个示例性实施例中，通信组件108经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件108还包括NFC(Near Field Communication，近场通信)模块，以促进短程通信。例如，在NFC模块可基于RFID(Radio Frequency Identification，射频识别)技术，IrDA(Infrared DataAssociation，红外数据协会)技术，UWB(Ultra-Wideband，超宽带)技术，BT(Bluetooth，蓝牙)技术和其他技术来实现。
在示例性实施例中，服务器100可以被一个或多个ASIC(Application SpecificIntegrated Circuit，应用专用集成电路)、DSP(Digital Signal Processing，数字信号处理器)、PLD(Programmable Logic Device，可编程逻辑器件)、FPGA(Field－ProgrammableGate Array，现场可编程门阵列)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
该实施例中的服务器中处理器执行操作的具体方式已经在有关该对服务器异常访问的识别频率确定方法的实施例中执行了详细描述，此处将不再做详细阐述说明。
可选的，本发明还提供一种服务器，执行图1、图2、图3、图4和图7任一所示的对服务器异常访问的识别频率确定方法的全部或者部分步骤。所述服务器包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一示例性实施例所述的方法。
该实施例中的服务器中处理器执行操作的具体方式已经在有关该对服务器异常访问的识别频率确定方法的实施例中执行了详细描述，此处将不做详细阐述说明。
在示例性实施例中，还提供了一种存储介质，该存储介质为计算机可读存储介质，例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质例如包括指令的存储器102，上述指令可由服务器100的处理器109执行以完成上述对服务器异常访问的识别频率确定方法。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，本领域技术人员可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (12)

1.一种对服务器异常访问的识别频率确定方法，其特征在于，所述方法包括：
搜集服务器被访问而生成的日志数据，所述日志数据中包括多种不同的用户标识；
对所述日志数据进行数据转换生成高维数据索引文件，每一种用户标识对应所述日志数据的一种维度；
从所述高维数据索引文件中按照服务类型进行分类；
针对每一种服务类型，在所述服务类型的所述高维数据索引文件进行深度学习，确定各用户标识对应的客户端针对所述服务类型对服务器进行异常访问的识别频率，以确定各用户标识对应的客户端针对每一种所述服务类型对服务器进行异常访问的识别频率。
2.根据权利要求1所述的方法，其特征在于，所述搜集服务器被访问而生成的日志数据的步骤包括：
收集服务器被访问而生成的日志数据；
从所述日志数据中筛选更新时间在预设时间之后的日志数据。
3.根据权利要求1所述的方法，其特征在于，所述对所述日志数据进行数据转换生成高维数据索引文件的步骤之前，所述方法还包括：
对所述日志数据进行格式转换，得到预设数据格式的日志数据。
4.根据权利要求1所述的方法，其特征在于，所述对所述日志数据进行数据转换生成高维数据索引文件的步骤包括：
对所述日志数据进行特征数据的提取；
通过局部敏感哈希算法对提取的所述特征数据建立局部敏感哈希索引，形成高维数据索引文件。
5.根据权利要求1所述的方法，其特征在于，所述在所述高维数据索引文件中进行深度学习得到对服务器异常访问的识别频率的步骤包括：
通过卷积神经网络算法对所述高维数据索引文件进行特征映射，得到对服务器异常访问的识别频率。
6.一种对服务器异常访问的识别频率确定装置，其特征在于，所述装置包括：
日志数据搜集模块，用于搜集服务器被访问而生成的日志数据，所述日志数据中包括多种不同的用户标识；
高维数据索引生成模块，用于对所述日志数据进行数据转换生成高维数据索引文件，每一种用户标识对应所述日志数据的一种维度；
深度学习模块，所述深度学习模块包括：
数据索引分类单元，用于从所述高维数据索引文件中按照服务类型进行分类；
识别频率确定单元，所述识别频率包括不同服务类型分别对应的识别频率，所述识别频率确定单元用于针对每一种服务类型，在所述服务类型的所述高维数据索引文件进行深度学习，确定各用户标识对应的客户端针对所述服务类型对服务器进行异常访问的识别频率，以确定各用户标识对应的客户端针对每一种所述服务类型对服务器进行异常访问的识别频率。
7.根据权利要求6所述的装置，其特征在于，所述日志数据搜集模块包括：
日志数据收集单元，用于收集服务器被访问而生成的日志数据；
日志数据筛选单元，用于从所述日志数据中筛选更新时间在预设时间之后的日志数据。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
日志格式转换模块，用于对所述日志数据进行格式转换，得到预设数据格式的日志数据。
9.根据权利要求6所述的装置，其特征在于，所述高维数据索引生成模块包括：
特征数据提取单元，用于对所述日志数据进行特征数据的提取；
局部敏感哈希索引建立单元，用于通过局部敏感哈希算法对提取的所述特征数据建立局部敏感哈希索引，形成高维数据索引文件。
10.根据权利要求6所述的装置，其特征在于，所述深度学习模块包括：
特征映射单元，用于通过卷积神经网络算法对所述高维数据索引文件进行特征映射，得到对服务器异常访问的识别频率。
11.一种服务器，其特征在于，所述服务器包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-5任一项所述的方法。
12.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序在被执行时使得服务器执行如权利要求1-5任一项所述的方法。
CN201710851182.7A 2017-09-20 2017-09-20 对服务器异常访问的识别频率确定方法、装置及服务器 Active CN107659566B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710851182.7A CN107659566B (zh) 2017-09-20 2017-09-20 对服务器异常访问的识别频率确定方法、装置及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710851182.7A CN107659566B (zh) 2017-09-20 2017-09-20 对服务器异常访问的识别频率确定方法、装置及服务器

Publications (2)

Publication Number Publication Date
CN107659566A CN107659566A (zh) 2018-02-02
CN107659566B true CN107659566B (zh) 2021-01-19

Family

ID=61129669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710851182.7A Active CN107659566B (zh) 2017-09-20 2017-09-20 对服务器异常访问的识别频率确定方法、装置及服务器

Country Status (1)

Country Link
CN (1) CN107659566B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271356B (zh) * 2018-09-03 2024-05-24 中国平安人寿保险股份有限公司 日志文件格式处理方法、装置、计算机设备和存储介质
CN109688094B (zh) * 2018-09-07 2022-05-17 平安科技（深圳）有限公司 基于网络安全的可疑ip配置方法、装置、设备及存储介质
CN111160021A (zh) * 2019-10-12 2020-05-15 华为技术有限公司 日志模板提取方法及装置
CN116089110B (zh) * 2022-07-01 2023-11-21 荣耀终端有限公司 控制进程交互的方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102694696A (zh) * 2012-05-14 2012-09-26 中国科学院计算机网络信息中心 Dns服务器异常检测的方法及装置
CN104967629A (zh) * 2015-07-16 2015-10-07 网宿科技股份有限公司 网络攻击检测方法及装置
CN105577608A (zh) * 2014-10-08 2016-05-11 腾讯科技（深圳）有限公司 网络攻击行为检测方法和装置
CN106982196A (zh) * 2016-01-19 2017-07-25 阿里巴巴集团控股有限公司 一种异常访问检测方法及设备
CN106998317A (zh) * 2016-01-22 2017-08-01 高德信息技术有限公司 异常访问请求识别方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9954891B2 (en) * 2015-05-18 2018-04-24 Verizon Digital Media Services Inc. Unobtrusive and dynamic DDoS mitigation
CN106572057A (zh) * 2015-10-10 2017-04-19 百度在线网络技术（北京）有限公司 检测用户登录异常信息的方法和装置
CN106612202A (zh) * 2015-10-27 2017-05-03 网易（杭州）网络有限公司 一种网游渠道刷量的预估判别方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102694696A (zh) * 2012-05-14 2012-09-26 中国科学院计算机网络信息中心 Dns服务器异常检测的方法及装置
CN105577608A (zh) * 2014-10-08 2016-05-11 腾讯科技（深圳）有限公司 网络攻击行为检测方法和装置
CN104967629A (zh) * 2015-07-16 2015-10-07 网宿科技股份有限公司 网络攻击检测方法及装置
CN106982196A (zh) * 2016-01-19 2017-07-25 阿里巴巴集团控股有限公司 一种异常访问检测方法及设备
CN106998317A (zh) * 2016-01-22 2017-08-01 高德信息技术有限公司 异常访问请求识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Spark技术的实时网络流量异常检测研究;周超;《中国优秀硕士学位论文全文数据库信息科技辑》;20170415(第04期);正文第3章 *
局部敏感哈希算法的研究;史世泽;《中国优秀硕士学位论文全文数据库信息科技辑》;20131215(第S2期);正文第1-2章 *

Also Published As

Publication number Publication date
CN107659566A (zh) 2018-02-02

Similar Documents

Publication Publication Date Title
CN107659566B (zh) 对服务器异常访问的识别频率确定方法、装置及服务器
US11580104B2 (en) Method, apparatus, device, and storage medium for intention recommendation
Li et al. Machine learning‐based IDS for software‐defined 5G network
KR102433425B1 (ko) 손상된 범위 식별을 위한 다중-신호 분석
CN108280458B (zh) 群体关系类型识别方法及装置
CN110012060B (zh) 移动终端的信息推送方法、装置、存储介质和服务器
CN110309304A (zh) 一种文本分类方法、装置、设备及存储介质
CN117555928A (zh) 基于设备使用关联互联网设备的数据处理系统和方法
US11140179B1 (en) Cybersecurity investigation tools utilizing information graphs
Ashibani et al. A behavior profiling model for user authentication in IoT networks based on app usage patterns
CN110995810A (zh) 一种基于人工智能的对象识别方法和相关装置
Budgaga et al. A framework for scalable real‐time anomaly detection over voluminous, geospatial data streams
US11509669B2 (en) Network data timeline
CN110011847B (zh) 一种传感云环境下的数据源质量评估方法
CN110674168A (zh) 一种缓存键异常检测方法、装置、存储介质以及终端
CN116318907B (zh) 基于大数据和神经网络分析计算机网络态势的方法及系统
CN112256732A (zh) 一种异常检测方法、装置、电子设备及存储介质
CN113409096B (zh) 目标对象识别方法、装置、计算机设备及存储介质
CN115376192B (zh) 用户异常行为确定方法、装置、计算机设备及存储介质
CN116957585A (zh) 一种数据处理方法、装置、设备和存储介质
CN115392405A (zh) 模型训练方法、相关装置及存储介质
US11403324B2 (en) Method for real-time cohort creation based on entity attributes derived from partially observable location data
CN103455525A (zh) 基于用户的搜索推广行为确定推广帐号状态的方法与设备
CN114971504A (zh) 一种实体类型确定方法和相关装置
CN109902831B (zh) 业务决策处理方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 518000 unit 01, 16 / F, unit 2, building a, Kexing Science Park, Keyuan Road, Central District, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: SHENZHEN IDREAMSKY TECHNOLOGY CO.,LTD.

Address before: 518000 unit 01, 16 / F, unit 2, building a, Kexing Science Park, Keyuan Road, Central District, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN IDREAMSKY TECHNOLOGY CO.,LTD.

CP01 Change in the name or title of a patent holder