CN110705603A

CN110705603A - 动态判断用户请求数据相似度的方法及系统

Info

Publication number: CN110705603A
Application number: CN201910857348.5A
Authority: CN
Inventors: 刘海涛; 万振华; 王颉; 董燕; 李华
Original assignee: Shenzhen Kaiyuan Internet Security Technology Co Ltd
Current assignee: Shenzhen Kaiyuan Internet Security Technology Co Ltd
Priority date: 2019-09-10
Filing date: 2019-09-10
Publication date: 2020-01-17
Anticipated expiration: 2039-09-10
Also published as: CN110705603B

Abstract

本发明公开了一种动态判断用户请求数据相似度的方法及系统，其中判断方法包括如下步骤：S1)、获取应用程序中的所有用户请求数据并保存；S2)、绑定请求与用户的对应关系；S3)、基于Key‑Value引擎建立请求模型；S4)、提取请求模型输出的请求数据中的特征向量和特征向量值；S5)、分别比较两条请求数据中各个特征向量和特征向量值，如果两条请求中的某一相同的特征向量的特征向量值大于预设值，则认为两条请求的相似度达到越权的标准；通过上述判断方法来判断请求相似度时，基于提取请求数据中的特征值(特征向量和特征向量值)，更贴近于数据本身，不需要基于海量数据的人工神经网络判断即可迅速确认问题。

Description

动态判断用户请求数据相似度的方法及系统

技术领域

本发明涉及应用程序越权判断中有关请求相似度分析技术领域，尤其涉及一种动态判断用户请求数据相似度的方法。

背景技术

随着人们对网络安全认知意识的进步，对网络应用程序的逻辑漏洞和安全漏洞的检测和修复工作越来越重要。其中逻辑漏洞是指包括水平越权和垂直越权的越权漏洞，为尽可能的避免越权漏洞，有时服务器在接收到用户请求数据时，首先要对其进行相似度分析，以判断是否合法，即是否存在越权问题，如果不存在越权问题才会对其进行响应处理。目前还没有一个高效易用的方法来判断请求数据是否合法，即属于个人请求信息的相关数据是否会被他人用相同或不同请求来获取。对于一个请求进行相似度分析，传统的相似度分析方法存在以下问题：1、存在上下文语义问题，即判断一个文本是否相同于或存在于另一文本，需要上下文环境，如果传输过程中请求包含的内容顺序不一样，可能就会误以为不同请求；2、基于贝叶斯算法或深度学习判断的相似度，入门难度大，需求专门的技术人员及海量数据进行学习。

发明内容

本发明的目的是为解决上述技术问题不足而提供一种不需要基于海量数据的人工神经网络判断，基于请求内容中的特征值即可迅速确认问题的动态判断用户请求数据相似度的方法。

本发明的另一目的是，提供一种动态判断用户请求数据相似度的系统，通过该系统，不需要基于海量数据的人工神经网络判断，基于请求内容中的特征值即可迅速确认问题。

为了实现上述目的，本发明公开了一种动态判断用户请求数据相似度的方法，其包括如下步骤：

S1)、获取应用程序中的所有用户请求数据并保存；

S2)、绑定获取到的每条请求与用户的对应关系；

S3)、根据步骤1中所获取的每一条请求数据，基于Key-Value引擎建立请求模型，所述请求模型用于将用户请求数据转换成Key-Value数据结构并输出；

S4)、采用向量权值评估方式提取所述请求模型输出的请求数据中的特征向量和特征向量值，所述特征向量用于表征所述请求中的各个字段，所述特征向量值用于表征所述字段在所述请求中所占的权重；

S5)、分别比较两条请求数据中各个特征向量和特征向量值，如果两条所述请求中的某一相同的特征向量的特征向量值大于预设值，则认为两条所述请求的相似度达到越权的标准。

与现有技术相比，本发明动态判断用户请求数据相似度的方法，分别针对每一用户下的每一条请求数据建立请求模型，该请求模型基于Key-Value引擎，通过该请求模型将请求数据转换成Key-Value数据结构，从而方便提取请求数据中的特征字段值，请求模型建立后，采用向量权值评估方式提取所述请求模型输出的请求数据中的特征向量和特征向量值，通过特征向量和特征向量值来表征请求数据中各个字段的字段名和所占的权重，然后分别比较两条请求数据中各个特征向量和特征向量值，进而判断出两条请求的相似度是否到达越权标准；由此可知，通过上述判断方法来判断请求相似度时，无须考虑上下文语义问题，基于提取请求数据中的特征值(特征向量和特征向量值)，更贴近于数据本身，而且不需要基于海量数据的人工神经网络判断即可迅速确认问题，具有判断速度快、对系统硬件结构要求低的优点。

较佳地，在上述步骤4中，当提取到各个字段的特征向量和特征向量值后，计算所有特征向量之间两两的余弦相似性和相关相似性，将相似性大于预设阈值的特征向量合并成一个新的特征向量。

较佳地，在上述步骤3中，将获取到的请求数据输入请求模型前，首先将获取到的请求数据进行数据清洗，以去除无关字段。

较佳地，上述步骤3中，还可根据预存的高危字段特征模型识别请求数据中的高危字段，并将所述高危字段进行标记，以提高所述高危字段所对应的特征向量值。

较佳地，在上述步骤4中，可对某一特征向量进行赋权，以提高该特征向量所对应的特征向量值。

本发明还公开一种动态判断用户请求数据相似度的系统，其包括数据获取模块、绑定模块、建模模块、特征向量处理模块以及输出模块；

所述数据获取模块，用于获取应用程序中的所有用户请求数据；

所述绑定模块，用于绑定所述数据模块获取到的每条请求与用户的对应关系；

所述建模模块，用于基于Key-Value引擎分别对所述手机获取模块获取到的每条请求建立请求模型，以将请求数据转换成Key-Value数据；

所述特征向量处理模块，其与所述建模模块电性连接，用于以向量权值评估方式提取所述请求模型输出的请求数据中的特征向量和特征向量值，所述特征向量用于表征所述请求数据中的各个字段，所述特征向量值用于表征所述字段在所述请求中所占的权重；

所述输出模块，其与所述特征向量处理模块电性连接，用于根据所比较的两条请求中各个特征向量和特征向量值的比较结果输出两条所述请求的相似度。

较佳地，所述动态判断用户请求数据相似度的系统还包括与所述特征向量处理模块电性连接的特征向量合并模块，所述特征向量合并模块用于计算所有特征向量之间两两的余弦相似性和相关相似性，将相似性大于预设阈值的特征向量合并成一个新的特征向量。

较佳地，所述动态判断用户请求数据相似度的系统还包括与所述建模模块电性连接的数据清洗模块，所述数据清洗模块用于将将输入所述请求模型的请求数据进行数据清洗，以去除无关字段。

较佳地，所述动态判断用户请求数据相似度的系统还包括与所述建模模块电性连接的数据标记模块，所述数据标记模块用于可根据预存的高危字段特征模型识别请求数据中的高危字段，并将所述高危字段进行标记，以提高所述高危字段所对应的特征向量值。

较佳地，所述动态判断用户请求数据相似度的系统还包括与所述特征向量处理模块电性连接的一赋权模块，所述赋权模块用于对某一特征向量进行赋权，以提高该特征向量所对应的特征向量值。

本发明还公开一种动态判断用户请求数据相似度的系统，其包括：

一个或多个处理器；

存储器；

以及一个或多个程序，其中一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的动态判断用户请求数据相似度的方法的指令。

另外，本发明还公开一种计算机可读存储介质，其包括测试用计算机程序，所述计算机程序可被处理器执行以完成如上所述的动态判断用户请求数据相似度的方法。

附图说明

图1为本发明实施例动态判断用户请求数据相似度的方法的流程示意图。

图2为本发明实施例动态判断用户请求数据相似度的系统的原理结构示意图。

具体实施方式

为详细说明本发明的技术内容、结构特征、实现原理及所实现目的及效果，以下结合实施方式并配合附图详予说明。

如图1所示，本发明公开了一种动态判断用户请求数据相似度的方法(下面简称判断方法)，其包括如下步骤：

S1)、获取应用程序中的所有用户请求数据并保存；具体是：利用灰盒或者白盒工具对用户请求的数据进行收集并存储，以待下面分析利用。

S2)、绑定获取到的每条请求与用户的对应关系；具体是：当用户发送登录请求的时候，动态绑定用户名和cookie(比如张三＝>cookieA，李四＝>cookieB)，用户接下来发送的请求都不会携带用户名，携带的都是cookie，所以会将用户名与cookie对应的绑定关系加以储存，用户下次登录应用程序时同步更新用户名与cookie的对应关系，退出应用程序时使绑定关系失效；然后根据请求携带的cookie值获取对应的用户名信息，并将请求与用户名绑定，如请求Q(cookieA)＝>张三，请求P(cookieB)＝>李四。

S3)、获取到请求与用户的对应关系后，根据步骤1中所获取的每一条请求数据，基于Key-Value引擎建立请求模型，请求模型用于将用户请求数据转换成Key-Value数据结构并输出；如一个具体地请求数据为/account/money？userId＝000001&userEmail＝zhangsan@qq.com&userAccount＝zhangsan000001，那么该请求数据通过上述请求模型输出的数据结构为下述几个分别代表各个字段信息的键值对：key＝userId，value＝000001；key＝userEmail，value＝zhangsan@qq.com；key＝userAccount，value＝zhangsan000001。

S4)、采用向量权值评估方式提取请求模型输出的请求数据中的特征向量和特征向量值，特征向量用于表征请求中的各个字段，特征向量值用于表征字段在请求中所占的权重；在本步骤中，采用TF-IDF或TF-RIDF等各种向量权值评估方式提取请求内容的特征向量及特征向量值；下面以一个具体实例加以说明：

如果A用户发送了一个请求，其中包含五个字段，分别为：银行账号(银行账号A)，用户id(用户idA)，用户名(用户名A)，当前时间(时间A)，开户行(客户行A)，那么基于上述请求模型创建的请求模型为：银行账号:{银行账号},用户名:{用户名},用户id:{用户id},当前时间:{当前时间},开户行:{开户行}，而特征向量通过调用请求模型中的键值对来表征请求中的各个字段，特征向量值为各个字段在请求中所占的权重，默认情况下，上述五个字段的权重可以平均设置，即均为0.2。

S5)、分别比较两条请求数据中各个特征向量和特征向量值，如果两条请求中的某一相同的特征向量的特征向量值大于预设值，则认为两条请求的相似度达到越权的标准；判断两个请求之间的相似度的时候，提取请求模型中的key及value值，然后根据上面计算的特征向量值判断，下面仍以上述包括五个字段的请求(银行账号，用户id，用户名，当前时间，开户行)为例加以说明，通过提取到的key＝用户id&value＝idA，key＝用户id&value＝idB，得到与用户ID对应的两对对特征向量和特征向量值分别为idA&0.2和idB&0.2，如果用户B以用户A身份非法请求，那么两条请求中的关于用户ID的特征向量相同，该字段所占权重为0.2，然后分别比较请求中的其他字段，如果相似度的阈值设置为0.5，那么，如果再有两个字段相同，总的相同字段的权重为0.6(大于0.5)，那么可以判定两条请求的相似度达到越权的标准。当然，如果相似度的最大阈值设置为小于0.2，只要有一个字段相同，即可判断为两条请求的相似度达到越权标准。

在一些请求中，有些字段，大多数时候都是成对或者多个同时出现，即彼此间的相似相关性比较高，因此，为进一步提高分析的准确度，较佳地，如图1,上述判断方法还包括如下步骤S40：当提取到各个字段的特征向量和特征向量值后，计算所有特征向量之间两两的余弦相似性和相关相似性，将相似性大于预设阈值的特征向量合并成一个新的特征向量。从而在进行相似度判断时，将相似相关性比较大的字段联合对待，以提高判断的准确度。例如用户邮箱和用户id经常同时出现，那么这两个字段的相关性就比较高，并且用户id和用户银行账号也经常出现，那么根据特征向量之间两两的余弦相似性，可以得出用户邮箱和用户账号之间也存在较高的相关性，经过上述对特征向量的计算合并操作后，可将用户邮箱、用户id和银行账号当作一个对象来看待，而且合并后的对象的权重为三者的权重之和，比较时，只要用户邮箱、用户id和银行账号中的一者相同，即可将该对象判断为相同。

进一步地，为避免请求中对越权问题判断作用不大的字段造成过多的干扰，影响判断速度和准确性，如图1，上述判断方法还包括如下步骤S30:在将获取到的请求数据输入请求模型前，可首先将获取到的请求数据进行数据清洗处理，以去除无关字段，如时间字段、某些公共字段等(版本号，提示信息等)。如一个银行账户发送的请求可能为/account/money？userId＝000001&userEmail＝zhangsan@qq.com&userAccount＝zhangsan000001&time＝20190912:45:30，那么在经过上面两个模块处理后会先过滤掉time字段。较佳地，为了增加重要字段的敏感性，如图1，上述判断方法还包括如下步骤S31:还可根据预存的高危字段特征模型识别请求数据中的高危字段，并将高危字段进行标记，以提高高危字段所对应的特征向量值。本实施例中，对于不同场景的请求，会对应设置一些关键数据的特征模型，比如手机号是11位，比如邮箱账号是XXX@XX.COM或XXX@XX.CN，比如银行卡账号为16或19位的连续数字等等，在对请求数据建立请求模型时，首先需要通过上述特征模型对请求数据进行预处理，将符合规则库中的特征模型的字段打上高危标签，如，上述银行账户经过对时间段的过滤和对高危字段邮箱的标记，最后经过请求模型的请求表达式为userId＝{{normal:userId}}&userEmail＝{{critical:userEmail}}&userAccount＝{{critical:userAccount}})。经过标记的字段，最后提取到的特征向量值可提升到越权标准以上，即只要有标记的字段相同，那么两个请求的相似度即被判定为达到越权标准。

另外，对于一些请求中用户认定为敏感字段而且不能被打上高危标签的，如图1，上述判断方法还包括如下步骤S41:在上述步骤4中提取请求模型输出的请求数据中的特征向量和特征向量值时，还可手动对某一特征向量进行赋权，以提高该特征向量所对应的特征向量值，从而可更加准确、灵活地判断请求的相似度。

下面对上述实施例中的动态判断用户请求数据相似度的方法作一详述：

如果A用户发送了一个请求，其中包含5个字段，银行账号(银行账号A)，用户id(用户idA)，用户名(用户名A)，当前时间(时间A)，开户行(客户行A)。基于key-value引擎建立请求模型：银行账号:{银行账号},用户名:{用户名},用户id:{用户id},当前时间:{当前时间},开户行:{开户行}。默认情况下每个字段的权重都为0.2，假如银行账号被打上高危标签，代表时间的特征向量值被取消，银行账号的特征向量值升为0.6，其他三个字段加在一起为0.4。

如果这时候A用户没有发送请求，B用户也只发送了一个请求，其中包含5个字段，银行账号(银行账号A)，用户id(用户idB)，开户行(开户行B)，开户时间(开户时间B)，当前时间(当前时间B)。同样默认情况下每个字段的权重都为0.2，假如银行账号被打上高危标签，代表时间的特征向量值被取消，银行账号的特征向量值升为0.6，其他三个字段加在一起为0.4。

这时候判断两个请求之间的相似度的时候，会提取请求模型中的key以及value值，然后根据上面计算的特征向量值判断，其中，银行账号A，在两个请求中都出现，且特征向量值为0.6，这时候可以不考虑其他特征向量，直接得出请求相似度较高，存在越权问题。

为便于上述判断方法的实施，如图2所示，本发明还公开了一种动态判断用户请求数据相似度的系统，其包括数据获取模块10、绑定模块11、建模模块12、特征向量处理模块13以及输出模块14；数据获取模块10用于获取应用程序中的所有用户请求数据；绑定模块11用于绑定数据模块获取到的每条请求与用户的对应关系；建模模块12用于基于Key-Value引擎分别对手机获取模块获取到的每条请求建立请求模型，以将请求数据转换成Key-Value数据；特征向量处理模块13与建模模块12电性连接，用于以向量权值评估方式提取请求模型输出的请求数据中的特征向量和特征向量值，特征向量用于表征请求数据中的各个字段，特征向量值用于表征字段在请求中所占的权重；输出模块14与特征向量处理模块13电性连接，用于根据所比较的两条请求中各个特征向量和特征向量值的比较结果输出两条请求的相似度。较佳地，特征向量处理模块13还电性连接有一特征向量合并模块130，特征向量合并模块130用于计算所有特征向量之间两两的余弦相似性和相关相似性，将相似性大于预设阈值的特征向量合并成一个新的特征向量。另外，建模模块12中还电性连接有数据清洗模块120，数据清洗模块120用于将将输入请求模型的请求数据进行数据清洗，以去除无关字段。进一步地，建模模块12还电性连接有数据标记模块121，数据标记模块121用于可根据预存的高危字段特征模型识别请求数据中的高危字段，并将高危字段进行标记，以提高高危字段所对应的特征向量值。另外，特征向量处理模块13还电性连接有一赋权模块131，赋权模块131用于对某一特征向量进行赋权，以提高该特征向量所对应的特征向量值。

本实施例中动态判断用户请求数据相似度的系统的原理和工作过程详见上述动态判断用户请求数据相似度的方法，在此不再赘述。

另外，本发明还公开一种动态判断用户请求数据相似度的系统，其包括一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序被存储在存储器中，并且被配置成由一个或多个处理器执行，程序包括用于执行如上所述的判断方法的指令。

另外，本发明还公开一种计算机可读存储介质，其包括测试用计算机程序，计算机程序可被处理器执行以完成如上所述的判断方法。

以上所揭露的仅为本发明的较佳实例而已，当然不能以此来限定本发明之权利范围，因此依本发明申请专利范围所作的等同变化，仍属于本发明所涵盖的范围。

Claims

1.一种动态判断用户请求数据相似度的方法，其特征在于，包括如下步骤：

S1)、获取应用程序中的所有用户请求数据并保存；

S2)、绑定获取到的每条请求与用户的对应关系；

2.根据权利要求1所述的动态判断用户请求数据相似度的方法，其特征在于，在上述步骤4中，当提取到各个字段的特征向量和特征向量值后，计算所有特征向量之间两两的余弦相似性和相关相似性，将相似性大于预设阈值的特征向量合并成一个新的特征向量。

3.根据权利要求1所述的动态判断用户请求数据相似度的方法，其特征在于，在上述步骤3中，将获取到的请求数据输入请求模型前，首先将获取到的请求数据进行数据清洗，以去除无关字段。

4.根据权利要求1所述的动态判断用户请求数据相似度的方法，其特征在于，上述步骤3中，还可根据预存的高危字段特征模型识别请求数据中的高危字段，并将所述高危字段进行标记，以提高所述高危字段所对应的特征向量值。

5.根据权利要求1所述的动态判断用户请求数据相似度的方法，其特征在于，在上述步骤4中，可对某一特征向量进行赋权，以提高该特征向量所对应的特征向量值。

6.一种动态判断用户请求数据相似度的系统，其特征在于，包括数据获取模块、绑定模块、建模模块、特征向量处理模块以及输出模块；

7.根据权利要求6所述的动态判断用户请求数据相似度的系统，其特征在于，还包括与所述特征向量处理模块电性连接的特征向量合并模块，所述特征向量合并模块用于计算所有特征向量之间两两的余弦相似性和相关相似性，将相似性大于预设阈值的特征向量合并成一个新的特征向量。

8.根据权利要求6所述的动态判断用户请求数据相似度的系统，其特征在于，还包括与所述建模模块电性连接的数据清洗模块，所述数据清洗模块用于将将输入所述请求模型的请求数据进行数据清洗，以去除无关字段。

9.根据权利要求6所述的动态判断用户请求数据相似度的系统，其特征在于，还包括与所述建模模块电性连接的数据标记模块，所述数据标记模块用于可根据预存的高危字段特征模型识别请求数据中的高危字段，并将所述高危字段进行标记，以提高所述高危字段所对应的特征向量值。

10.根据权利要求6所述的动态判断用户请求数据相似度的系统，其特征在于，还包括与所述特征向量处理模块电性连接的一赋权模块，所述赋权模块用于对某一特征向量进行赋权，以提高该特征向量所对应的特征向量值。

11.一种动态判断用户请求数据相似度的系统，其特征在于，包括：

一个或多个处理器；

存储器；

以及一个或多个程序，其中一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1至5任一项所述的动态判断用户请求数据相似度的方法的指令。

12.一种计算机可读存储介质，其特征在于，包括测试用计算机程序，所述计算机程序可被处理器执行以完成如权利要求1至5任一项所述的动态判断用户请求数据相似度的方法。