CN110417744A - 网络访问的安全判定方法和装置 - Google Patents
网络访问的安全判定方法和装置 Download PDFInfo
- Publication number
- CN110417744A CN110417744A CN201910578479.XA CN201910578479A CN110417744A CN 110417744 A CN110417744 A CN 110417744A CN 201910578479 A CN201910578479 A CN 201910578479A CN 110417744 A CN110417744 A CN 110417744A
- Authority
- CN
- China
- Prior art keywords
- feature set
- nonlinear combination
- combination feature
- data point
- terminal device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
Abstract
本发明为安全检测技术领域,本发明提供一种网络访问的安全判定方法和装置,所述方法包括根据终端设备的历史网络访问的第一设备参数,得到其特征信息生成多个第一非线性组合特征集;通过终端设备上的脚本程序获取所述终端设备当前网络访问的第二设备参数,提取对应的特征信息生成第二非线性组合特征集;采用无监督聚类的离群点检测算法,根据所述第一非线性组合特征集的分簇计算所述第二非线性组合特征集数据点的局部离群点因子,以所述局部离群点因子的最大陡点的值作为判定阈值;当所述第二非线性组合特征集的数据点的局部离群点因子的值大于所述判定阈值,判定所述网络访问为安全访问。该方法有利于提高对终端设备当前网络访问的安全检测能力。
Description
技术领域
本发明涉及安全检测技术领域,具体而言,本发明涉及一种网络访问的安全判定方法和装置。
背景技术
随着网络技术的广泛应用,网络安全也同样得到重视。网络安全的其中一个体现是网站安全容易受到威胁。在目前威胁网站安全的主要手段之一是通过网络爬虫访问网站,导致网站不能正确辨别正常的网络访问。针对这个问题,目前的方法是通过采集网络访问中的终端设备所产生的点击和拖动轨迹的操作数据,判断该网络访问是否安全。但是该方法并不能完全准确辨认安全的网络访问,容易将安全的网络访问辨认为非安全网络访问,影响用户的体验。
发明内容
为克服以上技术问题,特别是现有技术中通过终端设备登录网络时,用户的使用痕迹数据不能完全辨认安全的网络访问的问题,特提出以下技术方案:
第一方面,本发明提供一种网络访问的安全判定方法,包括以下步骤:
根据终端设备的历史网络访问的第一设备参数,得到所述第一设备参数的特征信息,并生成多个第一非线性组合特征集;
通过终端设备上的脚本程序获取所述终端设备当前网络访问的第二设备参数,提取所述第二设备参数的特征信息,并生成第二非线性组合特征集;
采用无监督聚类的离群点检测算法,以所述第二非线性组合特征集的数据点为检测参数,根据所述第一非线性组合特征集的分簇计算所述第二非线性组合特征集的数据点的局部离群点因子,以所述局部离群点因子的最大陡点的值作为判定阈值;
当所述第二非线性组合特征集的数据点的局部离群点因子的值大于所述判定阈值,判定所述网络访问为安全访问;
其中,所述第一非线性组合特征集为历史网络访问获取的终端设备的非线性特征信息;所述第二非线性组合特征集为当前网络方法获取的终端设备的非线性特征信息,该特征信息包括终端设备的属性数据和访问数据;该特征信息包括终端设备的属性数据和访问数据。
在其中一个实施例中,所述采用无监督聚类的离群点检测算法,以所述第二非线性组合特征集的数值点为检测参数,根据所述第一非线性组合特征集的分簇计算所述第二非线性组合特征集的数据点的局部离群点因子的步骤,包括:
采用无监督聚类的离群点检测算法,将所述第一非线性组合特征集划为大簇和小簇;
根据所述第二非线性组合特征集的数据点,并利用所述第一非线性组合特征集的大簇和小簇,分别计算对应第二非线性组合特征集的数据点的大簇的第一局部离群点因子或对应第二非线性组合特征集的数据点的小簇的第二局部离群点因子;
其中,所述大簇和小簇是根据包含数据点的个数,并按照设定比例值进行划分。
在其中一个实施例中,所述根据所述第二非线性组合特征集的数据点,并利用所述第一非线性组合特征集的大簇和小簇,分别计算对应第二非线性组合特征集的数据点的大簇的第一局部离群点因子或对应第二非线性组合特征集的数据点的小簇的第二局部离群点因子的步骤,包括:
根据所述第二非线性组合特征集的数据点,分别得到所述数据点与所述大簇的第一距离和所述小簇的第二距离;
若所述第一距离小于所述第二距离,求取所述第二非线性组合特征集的数据点的大簇的第一局部离群点因子,其中,所述第二非线性组合特征集的数据点的大簇的第一局部离群点因子为所述大簇的大小值与所述数据点与所述大簇的相似性的乘积;
若所述第一距离大于所述第二距离,求取所述第二非线性组合特征集的数据点的小簇的第二局部离群点因子,其中,所述第二非线性组合特征集的数据点的小簇的第二局部离群点因子为所述小簇的大小值与所述数据点与最接近的所述大簇的相似性的乘积。
在其中一个实施例中,所述大簇的大小值或所述小簇的大小值通过对应所述多个第一非线性组合特征集的数据点个数进行衡量;
所述大簇的相似性通过所述第二非线性组合特征集的数据点与所述大簇的中心的距离进行衡量。
在其中一个实施例中,所述以所述局部离群点因子的最大陡点的值作为判定阈值的步骤,包括:
通过选取所有所述第二非线性组合特征集的数据点的局部离群点因子中斜率最大的局部离群点因子的值作为最大陡点的值,并以所述最大陡点的值作为判定阈值。
在其中一个实施例中,所述当所述第二非线性组合特征集的数据点的值小于所述判定阈值,判定所述网络访问为异常访问的步骤,包括:
当所述第一距离大于第二距离,所述第二非线性组合特征集的数据点的大簇的第一局部离群点因子的值大于所述第一局部离群点因子对应的判定阈值时;或,
当所述第一距离大于第二距离,所述第二非线性组合特征集的数据点的小簇的第二局部离群点因子的值大于所述第二局部离群点因子对应的判定阈值时,判定所述网络访问为安全访问。
在其中一个实施例中,所述第一非线性组合特征集或所述第二非线性组合特征集分别包括:
通过对所述第一非线性组合特征集或所述第二非线性组合特征集的数据点进行度量数据散布计算得到的识别离群点的有效衍生特征信息。
第二方面,本发明还提供一种网络访问的安全判定装置,其包括:
第一生成模块,用于根据终端设备的历史网络访问的第一设备参数,得到所述第一设备参数的特征信息,并生成多个第一非线性组合特征集;
第二生成模块,用于通过终端设备上的脚本程序获取所述终端设备当前网络访问的第二设备参数,提取所述第二设备参数的特征信息,并生成第二非线性组合特征集;
计算模块,用于采用无监督聚类的离群点检测算法,以所述第二非线性组合特征集的数据点为检测参数,根据所述第一非线性组合特征集的分簇计算所述第二非线性组合特征集的数据点的局部离群点因子,以所述局部离群点因子的最大陡点的值作为判定阈值;
判定模块,用于当所述第二非线性组合特征集的数据点的局部离群点因子的值大于所述判定阈值,判定所述网络访问为安全访问;
其中,所述第一非线性组合特征集为历史网络访问获取的终端设备的非线性特征信息;所述第二非线性组合特征集为当前网络方法获取的终端设备的非线性特征信息,该特征信息包括终端设备的属性数据和访问数据;该特征信息包括终端设备的属性数据和访问数据。
第三方面,本发明还提供一种服务器,其包括:
一个或多个处理器;
存储器;
一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个计算机程序配置用于执行上述实施例所述的网络访问的安全判定方法。
第四方面,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例所述的网络访问的安全判定方法。
本发明所提供的一种网络访问的安全判定方法和装置,对所述历史采集的终端设备的生成多个第一非线性组合特征集的数据点与终端设备当前网络访问生成的第二非线性组合特征集的数据点的空间位置得到对应的局部离群点因子,并根据所述局部离群点因子与多个局部离群点因子所得到的曲线的最大陡点的值进行比较,得到所述终端设备当前网络访问是否为异常访问的判定结果。
本发明所提供的技术方案运用了采用无监督聚类的离群点检测算法,得到判定依据的值并得到相应的判定结果,且不需要对终端设备发起网络访问的特征信息数据进行标注,节省了后期统计和分析的工作量;而且该方案使相应数据实现可视化,结果直观,可容易得到准确率较高的判定结果,最终提高所述网络访问的安全判定方法和装置的判定效果。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明中的实施例执行网络访问的安全判定方案的应用环境图;
图2是本发明中的一个实施例的网络访问的安全判定方法的流程图;
图3是本发明中的另一个实施例的网络访问的安全判定方法的流程图;
图4为本发明中的一个实施例的网络访问的安全判定装置的示意图;
图5为本发明中的一个实施例的服务器的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解,这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通讯链路上,执行双向通讯的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通讯设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通讯设备;PCS(Personal Communications Service,个人通讯系统),其可以组合语音、数据处理、传真和/或数据通讯能力;PDA(Personal Digital Assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System,全球定位系统)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通讯终端、上网终端、音乐/视频播放终端,例如可以是PDA、MID(Mobile Internet Device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。
本技术领域技术人员可以理解,这里所使用的远端网络设备,其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云。在此,云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。本发明的实施例中,远端网络设备、终端设备与WNS服务器之间可通过任何通讯方式实现通讯,包括但不限于,基于3GPP、LTE、WIMAX的移动通讯、基于TCP/IP、UDP协议的计算机网络通讯以及基于蓝牙、红外传输标准的近距无线传输方式。
参考图1所示,图1是本发明实施例方案的应用环境图;该实施例中,本发明技术方案可以基于服务器上实现,如图1中,终端设备110和120可以通过internet网络访问服务器130,终端设备110和/或120向服务器130发出的网络请求,服务器130根据网络请求进行数据交互。在进行数据交互时,服务器130根据终端设备110和/或120的请求信息获取终端设备110和/或120的访问数据和属性数据,并根据该数据对该终端设备进行安全判定。
为了解决目前安全判定方法不容易辨认安全的网络访问的问题,本发明提供了一种网络访问的安全判定方法。可参考图2,图2是一个实施例的网络访问的安全判定方法的流程图,该方法包括以下步骤:
S210、根据终端设备的历史网络访问的第一设备参数,得到所述第一设备参数的特征信息,并生成多个第一非线性组合特征集。
服务器与终端设备进行数据交互的时候,根据终端设备发出的网络请求,获取该终端设备的相关参数。在该步骤中,服务器从终端设备所发出的历史网络访问的请求中得到第一设备参数,服务器对该第一设备参数进行解析,并根据解析的结果获取生成多个第一非线性组合特征集。
所述第一非线性组合特征集是与服务器进行过数据交互的终端设备一个访问记录生成的特征集,该第一非线性组合特征集为历史网络访问获取的终端设备的非线性特征信息,该特征信息包括终端设备的属性数据和访问数据。例如属性数据可包括终端设备的型号、终端设备的屏幕分辨率x*y或浏览器的可用屏幕分辨率X*Y,访问数据可包括终端设备向服务器发出请求的频率等。
所述第一非线性组合特征集对应的特征信息,在本实施例中,该特征信息具体为对应的特征值。设定对应的坐标,并在坐标上标注历史的终端设备每一次的访问记录生成的特征集或一个n维数据点。关于不同访问记录形成的特征集在坐标上形成对应的正常状态簇和异常状态簇。根据正常情况绝对大于异常情况的考虑,大簇是正常状态簇,小簇是异常状态簇。
进一步地,为了消除变量间的量纲关系,从而使数据具有可比性,在对特征值标注之前,对各个特征集中的特征信息值进行标准化。例如,在得到的每一次访问记录的特征集中可能包括百分制的变量与一个5分值的变量,只有将所有的数据标准化,才能够在同一标准中进行比较。
S220、通过终端设备上的脚本程序获取所述终端设备当前访问的第二设备参数,提取所述第二设备参数的特征信息,并生成第二非线性组合特征集。
为了可实时判定所述终端设备的网络访问是否安全状态,根据判定需要,对所述终端设备当前每一次访问的状态进行判定。在本步骤中,所述服务器通过网络连接,向所述终端设备提供脚本程序,以获取所述终端设备当前每一次访问的第二设备参数。所述第二设备参数与所述第一设备参数的性质相同。所述第二非线性组合特征集为当前网络访问获取的终端设备的非线性特征信息,该特征信息包括终端设备的属性数据和访问数据。
服务器根据所述第二设备参数进行解析,提取得到所述第二设备参数的特征信息,根据所述特征信息得到关于当前向服务器发出网络请求的终端设备的第二非线性组合特征集。所述第二非线性组合特征集所包括的特征信息至少与所述第一非线性组合特征集种的特征信息对应,以便后续进行对比。
S230、采用无监督聚类的离群点检测算法,以所述第二非线性组合特征集的数据点为检测参数,根据所述第一非线性组合特征集的分簇计算所述第二非线性组合特征集的数据点的局部离群点因子,以所述局部离群点因子的最大陡点的值作为判定阈值。
在本发明提供的一种网络访问的安全判定方法,所述第二非线性组合特征集在该网络访问的安全判定方法作为待检样本,在采用无监督聚类的离群点检测算法构建对应的检测模型的过程中,以所述第二非线性组合特征集的数据点为检测参数。
所述第二非线性组合特征集的数据点是离散的,相对于所述第一设备参数的特征信息的数据点而言,可能有部分靠近所述第一设备参数的特征信息的大部分数据点在空间上形成的集合,相比较而言,有部分会远离所述集合形成离群点。根据所述计算得到对应第二非线性组合特征集的数据点的局部离群点因子,以便通过作为检测样本的所述第二非线性组合特征集得到与所述第一非线性组合特征集的数据点的空间位置关系,从而可根据相关空间位置关系得到的数值对所述终端设备发起网络访问是否为安全状态。在本实施例中,相关空间位置关系以所述局部离群点因子的最大陡点的值进行表征,以所述最大陡点的值作为判定对应终端设备当前发起的网络请求是否属于正常状态。
S240、当所述第二非线性组合特征集的数据点的局部离群点因子的值大于所述判定阈值,判定所述网络访问为安全访问。
在该步骤中,根据步骤S230得到的所述将所述第二非线性组合特征集的数据点的局部离群点因子的值与最大陡点的值进行比较,根据比较结果,判定对应终端设备当前发起的网络请求是否属于正常状态。
如果所述第二非线性组合特征集的数据点的值大于所述判定阈值,则判定所述终端设备当前发起的网络访问为安全访问;否则,为非安全访问。
本发明提供的一种网络访问的安全判定方法,通过将终端设备当前发起的网络访问得到的第二非线性组合特征集的数据点与历史的终端设备发起网络访问的第一非线性组合特征集的数据点的分簇的空间位置,及计算所述数据点的局部离群点因子,并以单个局部离群点因子与所有的局部离群点因子形成的最大陡点的值作为判定阈值进行比较,得到所述终端设备发起的网络访问是否为安全访问的判定结果。本发明将所述终端设备网络访问所产生数据形成第一、第二非线性组合特征集,并根据计算得到的局部离群点因子为依据,对所述终端设备发起的网络访问是否为异常访问进行判定,这样,避免现有技术中仅对用户使用终端设备的所产生的使用记录如用户验证过程中的点击和拖动轨迹等终端设备的数据作为安全检测的依据所造成容易将真实用户判别为安全用户的问题,更为准确地反应当前终端设备向服务器发起的网络访问请求的状态,并以更为简单、直观的数据对比方式得到安全检测的结果,有利于提高网络访问的安全检测的效率。
参考图3,图3是另一个实施例的网络访问的安全判定方法的流程图,在上述方案描述的基础上,步骤S230可包括:
S231、采用无监督聚类的离群点检测算法,将所述第一非线性组合特征集划为大簇和小簇;
S232、根据所述第二非线性组合特征集的数据点,并利用所述第一非线性组合特征集的大簇和小簇,分别计算对应第二非线性组合特征集的数据点的大簇的第一局部离群点因子或对应第二非线性组合特征集的数据点的小簇的第二局部离群点因子;
其中,所述大簇和小簇是根据包含数据点的个数,并按照设定比例值进行划分。
根据采用无监督聚类的离群点检测算法的无监督聚类,将所述第一非线性组合特征集划分为大簇和小簇。其中,具体地分簇方法根据所述第一非线性组合特征集中的不同的类别分为若干个簇,每个簇有各自的中心点。在分簇后,按照各个簇的包含数据点的个数进行降序排列,并按照针对数据点个数所设定比例值进行大簇和小簇的划分。在本实施例中,所述设定比例值为90%,即将集中所有数据点个数的90%的数据点所形成的簇设定为大簇,其余的根据数据点的空间分布设定为小簇。
利用上述对所述第一非线性组合特征集分簇,对从步骤S230得到的作为待检样本的所述第二非线性组合特征集的数据点进行局部离群点因子的计算。根据所述第二非线性组合特征集的数据点分别与上述将所述第一非线性组合特征集划分得到的大簇和小簇的空间位置关系,得到相应的大簇的第一局部离群点因子或对应数据点的小簇的第二局部离群点因子。对于上述的步骤S232,在本实施例中可具体包括以下步骤:
A1、根据所述第二非线性组合特征集的数据点,分别得到所述数据点与所述大簇的第一距离和所述小簇的第二距离;
A2、若所述第一距离小于所述第二距离,求取所述第二非线性组合特征集的数据点的大簇的第一局部离群点因子,其中,所述第二非线性组合特征集的数据点的大簇的第一局部离群点因子为所述大簇的大小值与所述数据点与所述大簇的相似性的乘积;
A3、若所述第一距离大于所述第二距离,求取所述第二非线性组合特征集的数据点的小簇的第二局部离群点因子,其中,所述第二非线性组合特征集的数据点的小簇的第二局部离群点因子为所述小簇的大小值与所述数据点与最接近的所述大簇的相似性的乘积。
在计算计算对应的数据点的大簇的第一局部离群点因子或对应数据点的小簇的第二局部离群点因子之前,先判断所述数据点所靠近的分簇,并根据其所靠近的分簇的相关参数计算对应的簇的局部离群因子。
具体地,根据所述第二非线性组合特征集的数据点,分别得到其与所述大簇的第一距离和所述小簇的第二距离,该距离为所述第二非线性组合特征集的数据点与所述大簇和所述小簇的中心的距离。
当所述第一距离小于所述第二距离时,即所述第二非线性组合特征集的数据点跟靠近所述大簇,求取所述第二非线性组合特征集的数据点的大簇的第一局部离群点因子。所述第一局部离群点因子为大簇的大小值与所述第二非线性组合特征集的数据点与所述大簇的相似性的乘积。
当所述第一距离大于所述第二距离时,即所述第二非线性组合特征集的数据点跟靠近所述小簇,求取所述第二非线性组合特征集的数据点的小簇的第二局部离群点因子。所述第二局部离群点因子第一局部离群点因子。
对于上述关于所述第一局部离群点因子和所述第二局部离群点因子的计算中,其中,所述分簇的大小,即所述大簇的大小值或所述小簇的大小值可以通过对应所述多个第一非线性组合特征集的数据点个数进行衡量。例如,可以直接取对应分簇的数据点个数作为对应分簇的大小值,或者,也可以其对应分簇的数据点个数在所有第一非线性组合特征集的数据点中的占比。
同时,所述大簇的相似性可以通过所述第二非线性组合特征集的数据点与所述大簇的中心的距离进行衡量。例如直接以所述第二非线性组合特征集的数据点与所述大簇的中心的距离作为该大簇的相似性。
通过对所述第二非线性组合特征集的数据点的大簇的第一局部离群点因子和所述第二非线性组合特征集的数据点的小簇的第二局部离群点因子的计算,得到判定所述第二非线性组合特征集的数据点对应的终端设备对应网络访问是否安全访问的依据。
对于步骤S230中的以所述局部离群点因子的最大陡点的值作为判定阈值的步骤,可进一步为:
通过选取所有所述数据点的局部离群点因子中斜率最大的局部离群点因子的值作为最大陡点的值,并以所述最大陡点的值作为判定阈值。
根据上述得到的关于所有所述第二非线性组合特征集的数据点的大簇的第一局部离群点因子和所述第二非线性组合特征集的数据点的小簇的第二局部离群点因子,分别形成对应的曲线,得到各自曲线对应的最大陡点,而该最大陡点为关于对应第一或第二局部离群点因子的曲线的斜拉最大的局部离群点因子,并以所述最大的局部离群点因子的值作为所述最大陡点的值,以所述最大陡点的值作为判定所述第二非线性组合特征集的数据点所对应终端设备网络访问是否安全访问的判定阈值。
在上述基础上,步骤S240包括:
当所述第一距离大于第二距离,所述第二非线性组合特征集的数据点的大簇的第一局部离群点因子的值大于所述第一局部离群点因子对应的判定阈值时;或,
当所述第一距离大于第二距离,所述第二非线性组合特征集的数据点的小簇的第二局部离群点因子的值大于所述第二局部离群点因子对应的判定阈值时,判定所述网络访问为安全访问。
具体地,对于靠近所述大簇的所述第二非线性组合特征集的数据点,其对应的第一距离小于第二距离时,若所述得到的第二非线性组合特征集的数据点的大簇的第一局部离群点因子的值大于所述第一局部离群点因子形成曲线得到的判定阈值,则判定所述终端设备对应的网络访问为安全访问。
对于靠近所述小簇的所述第二非线性组合特征集的数据点,其对应的第一距离大于第二距离时,若所述得到的第二非线性组合特征集的数据点的小簇的第二局部离群点因子的值大于所述第二局部离群点因子形成曲线得到的判定阈值,则判定所述终端设备对应的网络访问为安全访问。
对于终端设备当前发起的网络请求被判定为安全访问请求,直接响应请求。否则,服务器直接拒绝请求或重新要求所述终端设备进行访问验证。
对于上述提到的所述第一非线性组合特征集或所述第二非线性组合特征集分别包括:
通过对所述第一非线性组合特征集或所述第二非线性组合特征集的数据点进行度量数据散布计算得到的识别离群点的有效衍生特征信息。
具体地,所述第一非线性组合特征集或所述第二非线性组合特征集可以包括浏览器语言、像素比、颜色深度、音频堆栈指纹是否提供、音频堆栈指纹的参数信息、系统对用户代理可用的逻辑处理器总数、浏览器生产厂商是否为other、操作系统生产厂商是否为other、浏览器类型是否为robot等原始类别的特征信息。
根据所述度量数据散布计算,可以得到识别离群点的有效衍生特征,其包括是否安装AdBlock、用户是否篡改了语言、用户是否篡改了屏幕分辨率、用户是否篡改了操作系统、浏览器生产厂商、操作系统生产厂商、访问设备类型、操作系统家族。
所述度量数据散布计算包括对应特征信息数据计算极差、四分位数、四分位数极差、五数概括,所述五数概括按次序为最小值、上四分位、中位数、下四分位数、最大值。
基于与上述网络访问的安全判定方法相同的发明构思,本发明实施例还提供了一种网络访问的安全判定装置,如图4所示,包括:
第一生成模块410,用于根据终端设备的历史网络访问的第一设备参数,得到所述第一设备参数的特征信息,并生成多个第一非线性组合特征集;
第二生成模块420,用于通过终端设备上的脚本程序获取所述终端设备当前网络访问的第二设备参数,提取所述第二设备参数的特征信息,并生成第二非线性组合特征集;
计算模块430,用于采用无监督聚类的离群点检测算法,以所述第二非线性组合特征集的数据点为检测参数,根据所述第一非线性组合特征集的分簇计算所述第二非线性组合特征集的数据点的局部离群点因子,以所述局部离群点因子的最大陡点的值作为判定阈值;
判定模块440,用于当所述第二非线性组合特征集的数据点的局部离群点因子的值大于所述判定阈值,判定所述网络访问为安全访问。
其中,所述第一非线性组合特征集为历史网络访问获取的终端设备的非线性特征信息;所述第二非线性组合特征集为当前网络方法获取的终端设备的非线性特征信息,该特征信息包括终端设备的属性数据和访问数据;该特征信息包括终端设备的属性数据和访问数据。
请参考图5,图5为一个实施例中服务器的内部结构示意图。如图4所示,该服务器包括通过系统总线连接的处理器510、存储介质520、存储器530和网络接口540。其中,该服务器的存储介质520存储有操作系统、数据库和计算机可读指令,数据库中可存储有控件信息序列,该计算机可读指令被处理器510执行时,可使得处理器510实现一种网络访问的安全判定方法,处理器510能实现图4所示实施例中的一种网络访问的安全判定装置中的第一生成模块410、第二生成模块420、计算模块430和判定模型440的功能。该服务器的处理器510用于提供计算和控制能力,支撑整个服务器的运行。该服务器的存储器530中可存储有计算机可读指令,该计算机可读指令被处理器510执行时,可使得处理器510执行一种网络访问的安全判定方法。该服务器的网络接口540用于与终端连接通信。本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的服务器的限定,具体的服务器可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本发明还提出了一种存储有计算机可读指令的存储介质,该计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行以下步骤:根据终端设备的历史网络访问的第一设备参数,得到所述第一设备参数的特征信息,并生成多个第一非线性组合特征集;通过终端设备上的脚本程序获取所述终端设备当前网络访问的第二设备参数,提取所述第二设备参数的特征信息,并生成第二非线性组合特征集;采用无监督聚类的离群点检测算法,以所述第二非线性组合特征集的数据点为检测参数,根据所述第一非线性组合特征集的分簇计算所述第二非线性组合特征集的数据点的局部离群点因子,以所述局部离群点因子的最大陡点的值作为判定阈值;当所述第二非线性组合特征集的数据点的局部离群点因子的值大于所述判定阈值,判定所述网络访问为安全访问;其中,所述第一非线性组合特征集为历史网络访问获取的终端设备的非线性特征信息;所述第二非线性组合特征集为当前网络方法获取的终端设备的非线性特征信息,该特征信息包括终端设备的属性数据和访问数据;该特征信息包括终端设备的属性数据和访问数据。
综合上述实施例可知,本发明最大的有益效果在于:
本发明所提供的一种网络访问的安全判定方法和装置,对所述历史采集的终端设备的生成多个第一非线性组合特征集的数据点与终端设备当前网络访问生成的第二非线性组合特征集的数据点的空间位置得到对应的局部离群点因子,并根据所述局部离群点因子与多个局部离群点因子所得到的曲线的最大陡点的值进行比较,得到所述终端设备当前网络访问是否为安全访问的判定结果。
本发明所提供的技术方案运用了采用无监督聚类的离群点检测算法,得到判定依据的值并得到相应的判定结果,且不需要对终端设备发起网络访问的特征信息数据进行标注,节省了后期统计和分析的工作量;而且该方案使相应数据实现可视化,结果直观,可容易得到准确率较高的判定结果,最终提高所述网络访问的安全判定方法和装置的判定效果。
综上,本发明通过网络访问的安全判定方法和装置,通过无监督聚类的离群点检测算法直接对终端设备网络访问所生成的特征信息数据进行分析,并得到判定是否为安全访问的判定结果的技术方案,解决了现有技术中通过终端设备登录网络时用户的使用痕迹数据容易将真实用户辨认为安全用户的问题,提高了对终端设备安全访问的判定能力。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种网络访问的安全判定方法,其特征在于,包括以下步骤:
根据终端设备的历史网络访问的第一设备参数,得到所述第一设备参数的特征信息,并生成多个第一非线性组合特征集;
通过终端设备上的脚本程序获取所述终端设备当前网络访问的第二设备参数,提取所述第二设备参数的特征信息,并生成第二非线性组合特征集;
采用无监督聚类的离群点检测算法,以所述第二非线性组合特征集的数据点为检测参数,根据所述第一非线性组合特征集的分簇计算所述第二非线性组合特征集的数据点的局部离群点因子,以所述局部离群点因子的最大陡点的值作为判定阈值;
当所述第二非线性组合特征集的数据点的局部离群点因子的值大于所述判定阈值,判定所述网络访问为安全访问;
其中,所述第一非线性组合特征集为历史网络访问获取的终端设备的非线性特征信息;所述第二非线性组合特征集为当前网络方法获取的终端设备的非线性特征信息,该特征信息包括终端设备的属性数据和访问数据;该特征信息包括终端设备的属性数据和访问数据。
2.根据权利要求1所述的方法,其特征在于,
所述采用无监督聚类的离群点检测算法,以所述第二非线性组合特征集的数值点为检测参数,根据所述第一非线性组合特征集的分簇计算所述第二非线性组合特征集的数据点的局部离群点因子的步骤,包括:
采用无监督聚类的离群点检测算法,将所述第一非线性组合特征集划为大簇和小簇;
根据所述第二非线性组合特征集的数据点,并利用所述第一非线性组合特征集的大簇和小簇,分别计算对应第二非线性组合特征集的数据点的大簇的第一局部离群点因子或对应第二非线性组合特征集的数据点的小簇的第二局部离群点因子;
其中,所述大簇和小簇是根据包含数据点的个数,并按照设定比例值进行划分。
3.根据权利要求2所述的方法,其特征在于,
所述根据所述第二非线性组合特征集的数据点,并利用所述第一非线性组合特征集的大簇和小簇,分别计算对应第二非线性组合特征集的数据点的大簇的第一局部离群点因子或对应第二非线性组合特征集的数据点的小簇的第二局部离群点因子的步骤,包括:
根据所述第二非线性组合特征集的数据点,分别得到所述数据点与所述大簇的第一距离和所述小簇的第二距离;
若所述第一距离小于所述第二距离,求取所述第二非线性组合特征集的数据点的大簇的第一局部离群点因子,其中,所述第二非线性组合特征集的数据点的大簇的第一局部离群点因子为所述大簇的大小值与所述数据点与所述大簇的相似性的乘积;
若所述第一距离大于所述第二距离,求取所述第二非线性组合特征集的数据点的小簇的第二局部离群点因子,其中,所述第二非线性组合特征集的数据点的小簇的第二局部离群点因子为所述小簇的大小值与所述数据点与最接近的所述大簇的相似性的乘积。
4.根据权利要求3所述的方法,其特征在于,
所述大簇的大小值或所述小簇的大小值通过对应所述多个第一非线性组合特征集的数据点个数进行衡量;
所述大簇的相似性通过所述第二非线性组合特征集的数据点与所述大簇的中心的距离进行衡量。
5.根据权利要求4所述的方法,其特征在于,
所述以所述局部离群点因子的最大陡点的值作为判定阈值的步骤,包括:
通过选取所有所述第二非线性组合特征集的数据点的局部离群点因子中斜率最大的局部离群点因子的值作为最大陡点的值,并以所述最大陡点的值作为判定阈值。
6.根据权利要求5所述的方法,其特征在于,
所述当所述第二非线性组合特征集的数据点的值大于所述判定阈值,判定所述网络访问为安全访问的步骤,包括:
当所述第一距离大于第二距离,所述第二非线性组合特征集的数据点的大簇的第一局部离群点因子的值大于所述第一局部离群点因子对应的判定阈值时;或,
当所述第一距离大于第二距离,所述第二非线性组合特征集的数据点的小簇的第二局部离群点因子的值大于所述第二局部离群点因子对应的判定阈值时,判定所述网络访问为安全访问。
7.根据权利要求1所述的方法,其特征在于,
所述第一非线性组合特征集或所述第二非线性组合特征集分别包括:
通过对所述第一非线性组合特征集或所述第二非线性组合特征集的数据点进行度量数据散布计算得到的识别离群点的有效衍生特征信息。
8.一种网络访问的安全判定装置,其特征在于,包括:
第一生成模块,用于根据终端设备的历史网络访问的第一设备参数,得到所述第一设备参数的特征信息,并生成多个第一非线性组合特征集;
第二生成模块,用于通过终端设备上的脚本程序获取所述终端设备当前网络访问的第二设备参数,提取所述第二设备参数的特征信息,并生成第二非线性组合特征集;
计算模块,用于采用无监督聚类的离群点检测算法,以所述第二非线性组合特征集的数据点为检测参数,根据所述第一非线性组合特征集的分簇计算所述第二非线性组合特征集的数据点的局部离群点因子,以所述局部离群点因子的最大陡点的值作为判定阈值;
判定模块,用于当所述第二非线性组合特征集的数据点的局部离群点因子的值大于所述判定阈值,判定所述网络访问为安全访问;
其中,所述第一非线性组合特征集为历史网络访问获取的终端设备的非线性特征信息;所述第二非线性组合特征集为当前网络方法获取的终端设备的非线性特征信息,该特征信息包括终端设备的属性数据和访问数据;该特征信息包括终端设备的属性数据和访问数据。
9.一种服务器,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个计算机程序配置用于执行根据权利要求1至7任一项所述的网络访问的安全判定方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现权利要求1至7任一项所述的网络访问的安全判定方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910578479.XA CN110417744B (zh) | 2019-06-28 | 2019-06-28 | 网络访问的安全判定方法和装置 |
PCT/CN2019/103646 WO2020258505A1 (zh) | 2019-06-28 | 2019-08-30 | 网络访问的安全判定方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910578479.XA CN110417744B (zh) | 2019-06-28 | 2019-06-28 | 网络访问的安全判定方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110417744A true CN110417744A (zh) | 2019-11-05 |
CN110417744B CN110417744B (zh) | 2021-12-24 |
Family
ID=68358705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910578479.XA Active CN110417744B (zh) | 2019-06-28 | 2019-06-28 | 网络访问的安全判定方法和装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110417744B (zh) |
WO (1) | WO2020258505A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117272198A (zh) * | 2023-09-08 | 2023-12-22 | 广东美亚商旅科技有限公司 | 一种基于商旅行程业务数据的异常用户生成内容识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106101102A (zh) * | 2016-06-15 | 2016-11-09 | 华东师范大学 | 一种基于pam聚类算法的网络异常流量检测方法 |
US20180109531A1 (en) * | 2014-04-14 | 2018-04-19 | Oracle International Corporation | Anomaly detection using tripoint arbitration |
CN109067725A (zh) * | 2018-07-24 | 2018-12-21 | 成都亚信网络安全产业技术研究院有限公司 | 网络流量异常检测方法及装置 |
CN109714311A (zh) * | 2018-11-15 | 2019-05-03 | 北京天地和兴科技有限公司 | 一种基于聚类算法的异常行为检测的方法 |
CN109753991A (zh) * | 2018-12-06 | 2019-05-14 | 中科恒运股份有限公司 | 异常数据检测方法及装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104618175A (zh) * | 2014-12-19 | 2015-05-13 | 上海电机学院 | 网络异常检测方法 |
CN106294529A (zh) * | 2015-06-29 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 一种识别用户异常操作方法和设备 |
US10147049B2 (en) * | 2015-08-31 | 2018-12-04 | International Business Machines Corporation | Automatic generation of training data for anomaly detection using other user's data samples |
US10318886B2 (en) * | 2015-10-30 | 2019-06-11 | Citrix Systems, Inc. | Anomaly detection with K-means clustering and artificial outlier injection |
CN106982196B (zh) * | 2016-01-19 | 2020-07-31 | 阿里巴巴集团控股有限公司 | 一种异常访问检测方法及设备 |
CN108809745A (zh) * | 2017-05-02 | 2018-11-13 | 中国移动通信集团重庆有限公司 | 一种用户异常行为检测方法、装置及系统 |
CN107579956B (zh) * | 2017-08-07 | 2021-05-11 | 奇安信科技集团股份有限公司 | 一种用户行为的检测方法和装置 |
-
2019
- 2019-06-28 CN CN201910578479.XA patent/CN110417744B/zh active Active
- 2019-08-30 WO PCT/CN2019/103646 patent/WO2020258505A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180109531A1 (en) * | 2014-04-14 | 2018-04-19 | Oracle International Corporation | Anomaly detection using tripoint arbitration |
CN106101102A (zh) * | 2016-06-15 | 2016-11-09 | 华东师范大学 | 一种基于pam聚类算法的网络异常流量检测方法 |
CN109067725A (zh) * | 2018-07-24 | 2018-12-21 | 成都亚信网络安全产业技术研究院有限公司 | 网络流量异常检测方法及装置 |
CN109714311A (zh) * | 2018-11-15 | 2019-05-03 | 北京天地和兴科技有限公司 | 一种基于聚类算法的异常行为检测的方法 |
CN109753991A (zh) * | 2018-12-06 | 2019-05-14 | 中科恒运股份有限公司 | 异常数据检测方法及装置 |
Non-Patent Citations (1)
Title |
---|
董娜; 刘伟娜; 侯波涛: "基于大数据的网络异常行为建模方法", 《电力信息与通信技术 》 * |
Also Published As
Publication number | Publication date |
---|---|
WO2020258505A1 (zh) | 2020-12-30 |
CN110417744B (zh) | 2021-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210352090A1 (en) | Network security monitoring method, network security monitoring device, and system | |
CN103620585B (zh) | 虚拟身份管理器 | |
US10848511B2 (en) | Method and apparatus for identifying fake traffic | |
Zhu et al. | Emergent technologies in big data sensing: a survey | |
CN111277598B (zh) | 一种基于流量的应用攻击识别方法及系统 | |
CN104135365A (zh) | 对访问请求进行验证的方法、服务器及客户端 | |
CN109302434A (zh) | 提示信息推送方法及装置、服务平台及存储介质 | |
US10374934B2 (en) | Method and program product for a private performance network with geographical load simulation | |
Li et al. | Time series association state analysis method for attacks on the smart internet of electric vehicle charging network | |
Almeida et al. | A distributed event-driven architectural model based on situational awareness applied on internet of things | |
CN109313541A (zh) | 用于显示和比较攻击遥测资源的用户界面 | |
CN110445753A (zh) | 终端设备异常访问的隔离方法和装置 | |
CN109508273A (zh) | 一种基于Web的电动汽车充电站监控系统及数据获取方法 | |
CN110417744A (zh) | 网络访问的安全判定方法和装置 | |
CN110489975A (zh) | 一种信息系统服务安全评估方法 | |
CN111798281B (zh) | 作弊操作的判定方法、装置、计算机可读存储介质及设备 | |
Qu | Research on password detection technology of iot equipment based on wide area network | |
US20220321598A1 (en) | Method of processing security information, device and storage medium | |
CN110311909A (zh) | 终端设备网络访问的异常判定方法和装置 | |
Wu et al. | SFIM: Identify user behavior based on stable features | |
CN111209566A (zh) | 一种多层威胁拦截的智能反爬虫系统及方法 | |
Dai et al. | Research on the design and application of sports competition ticketing platform based on edge computing | |
Shahare et al. | Moving object detection with fixed camera and moving camera for automated video analysis | |
CN110401639A (zh) | 网络访问的异常判定方法、装置、服务器及其存储介质 | |
Bai et al. | A blockchain-based traffic conditions and driving behaviors warning scheme in the internet of vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |