CN112054989A - 一种检测模型的构建方法及批量操作异常的检测方法 - Google Patents
一种检测模型的构建方法及批量操作异常的检测方法 Download PDFInfo
- Publication number
- CN112054989A CN112054989A CN202010666834.1A CN202010666834A CN112054989A CN 112054989 A CN112054989 A CN 112054989A CN 202010666834 A CN202010666834 A CN 202010666834A CN 112054989 A CN112054989 A CN 112054989A
- Authority
- CN
- China
- Prior art keywords
- detection
- client
- detection model
- operation log
- batch operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 248
- 238000010276 construction Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 72
- 230000005856 abnormality Effects 0.000 claims description 24
- 230000008520 organization Effects 0.000 claims description 9
- 238000004806 packaging method and process Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 19
- 230000000007 visual effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本公开提供了一种检测模型的构建方法及批量操作异常的检测方法,涉及计算机技术领域,该检测模型的构建方法包括:采集操作日志样本;构建多类对象;对象至少包括:客户端对象、服务端对象、用户对象和时间对象;基于各类对象构建至少一个批量操作业务基线;根据操作日志样本对批量操作业务基线的参数进行调整,并将参数调整后的批量操作业务基线确定为检测模型;其中,参数包括:操作时间和操作次数。基于此,批量操作异常的检测方法,包括:采集多个业务系统的标准操作日志;通过检测模型对标准操作日志进行异常检测,得到目标操作日志。本公开能够更好地满足用户批量操作的异常检测要求。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及一种检测模型的构建方法及批量操作异常的检测方法。
背景技术
近年来,随着网络技术的发展和构建的信息化系统的增多,系统数据安全及访问安全越来越重要。针对各系统的操作异常性检测是保证各系统数据安全及访问安全的必要手段。
现有的系统异常检测技术一般是靠单一系统的用户操作进行本系统的异常检测。然而,目前信息化的系统较多,并且在人员权限分割过程中分割粒度较细,针对某种业务系统操作有很多时间限制等要求。因此,现有检测方式已经不能满足用户批量操作的异常检测要求。
公开内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种检测模型的构建方法及批量操作异常的检测方法,能够更好地满足用户批量操作的异常检测要求。
本公开提供了一种检测模型的构建方法,所述检测模型用于对用户的批量操作进行异常检测;所述方法包括:采集操作日志样本;构建多类对象;所述对象至少包括:客户端对象、服务端对象、用户对象、操作类型对象和时间对象;基于各类所述对象构建至少一个批量操作业务基线;根据所述操作日志样本对所述批量操作业务基线的参数进行调整,并将参数调整后的批量操作业务基线确定为检测模型;其中,所述参数包括:操作时间和操作次数。
进一步,当所述对象为客户端对象时,所述构建多类对象的步骤,包括:对客户端基本信息以及客户端对应的组织机构基本信息、区域和时间周期进行收集,得到客户端信息;其中,所述客户端基本信息包括:客户端IP信息、客户端所属组织机构信息和客户端的责任人信息;对所述客户端的信息进行封装,得到客户端对象。
进一步,当所述对象为时间对象时,所述构建多类对象的步骤,包括:通过构建多个时间段,得到时间对象;其中,所述时间段包括以下至少一项:工作时间段、非工作时间段和关键时间段。
本公开还提供一种批量操作异常的检测方法,包括:采集多个业务系统的标准操作日志;通过检测模型对所述标准操作日志进行异常检测,得到目标操作日志。
进一步,所述采集不同业务系统的操作日志的步骤,包括:采集多个业务系统的原始操作日志;按照指定数据格式对所述原始操作日志进行标准化处理,得到标准操作日志。
进一步,所述通过检测模型对所述标准操作日志进行异常检测,得到目标操作日志的步骤,包括:当收到检测任务时,对所述检测模型中的检测规则进行转换;基于转换后的检测规则对所述标准操作日志进行异常检测,得到目标操作日志。
进一步,所述对所述检测模型中的检测规则进行转换的步骤,包括:将所述检测模型中的原始检测规则转换为SQL支持的第一目标检测规则;或者,当所述检测任务对应的待检测操作日志的数据量大于预设值时,将所述检测模型中的所述原始检测规则转换为ES支持的第二目标检测规则;或者,当所述检测任务设置有检测的时间条件时,将所述检测模型中的所述原始检测规则转换为基于内存过滤性语言的第三目标检测规则。
进一步,所述方法还包括:基于所述目标操作日志对所述检测模型的参数进行优化;其中,所述参数包括:操作时间和操作次数。
本公开还提供了一种检测模型的构建装置,所述检测模型用于对用户的批量操作进行异常检测;所述装置包括:样本采集模块,用于采集操作日志样本;对象构建模块,用于构建多类对象;所述对象至少包括:客户端对象、服务端对象、用户对象和时间对象;基线构建模块,用于基于各类所述对象构建至少一个批量操作业务基线;模型确定模块,用于根据所述操作日志样本对所述批量操作业务基线的参数进行调整,并将参数调整后的批量操作业务基线确定为检测模型;其中,所述参数包括:操作时间和操作次数。
本公开还提供了一种批量操作异常的检测装置,包括:日志采集模块,用于采集多个业务系统的标准操作日志;异常检测模块,用于通过检测模型对所述标准操作日志进行异常检测,得到目标操作日志。
本公开实施例提供的技术方案与现有技术相比具有如下优点:
本公开施例提供的检测模型的构建方法中,首先构建客户端对象、服务端对象、用户对象和时间对象等多类对象,然后基于此构建批量操作业务基线,最后在根据采集到的操作日志样本对上述基线的参数进行调整,以得到用于对用户的批量操作进行异常检测的检测模型。在该方式中,由于批量操作业务基线可以关联到诸如客户端对象、服务端对象、用户对象和时间对象等多个对象,从而对基线调参后确定的检测模型在用于操作日志的异常检测时,能够较好地实现多视角分析。基于此,在批量操作异常的检测方法中,通过上述检测模型对所述标准操作日志进行异常检测,不但能够以服务端为视角对客户端的批量操作进行异常检测,而且还能够反过来,以客户端为视角对服务端的批量操作进行异常检测;同时,还加入了时间对象的控制,能够改善一些操作系统对时间的限制问题,并能够在时间这一维度提高异常监测的准确性;此外,相比于现有只能针对单一系统的数据进行检测,本实施例中的标准操作日志是来自多个业务系统的数据,提高了异常检测对系统的兼容能力。综上,本公开实施例能够更好地满足用户批量操作的异常检测要求。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例一所述批量操作异常的检测方法流程图;
图2为本公开实施例一所述检测模型的构建方法流程图;
图3为本公开实施例二所述批量操作异常的检测方法流程图;
图4为本公开实施例三所述批量操作异常的检测装置的结构框图;
图5为本公开实施例三所述检测模型的构建装置的结构框图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
考虑到现有的系统异常检测技术一般是靠单一系统的用户操作进行本系统的异常检测,已经不能满足用户批量操作的异常检测要求。基于此,本公开实施例提供了一种检测模型的构建方法及批量操作异常的检测方法,本公开能够适用于网络安全行业,基于业务系统、操作类型、客户端、工作时间等关键对象进行用户批量操作进行异常检测,通过结合多系统的操作数据进行用户批量操作异常的分析。
为便于对本实施例进行理解,以下对本公开实施例提供的检测模型的构建方法及批量操作异常的检测方法展开详细介绍。
实施例一:
本公开实施例提供了批量操作异常的检测方法,该批量操作异常的检测方法包括检测模型的构建过程和批量操作异常的检测过程。
根据本公开实施例,提供了一种检测模型的构建方法及批量操作异常的检测方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1示出了本公开实施例提供的批量操作异常的检测方法的流程图,其中,该检测方法可以基于预先构建的检测模型实现。本实施例提供的批量操作异常的检测方法用于上述的检测过程,该检测方法可以包括如下步骤:
步骤S102,采集多个业务系统的标准操作日志。
在本实施例中,首先采集多个业务系统的原始操作日志;原始操作日志来自不同的业务系统(比如BOSS系统、CRM系统、OA系统),可能在表达形式、排列顺序和字段格式等诸多方面均存在差异。从而,可以按照指定数据格式对原始操作日志进行标准化处理,得到标准操作日志;上述指定数据格式比如按照如下顺序排列的数据格式:操作IP、操作时间、操作人、操作类型和操作结果。基于指定数据格式对原始操作日志进行标准化处理,可有效提高针对操作日志的异常检测效率和准确性。
步骤S104,通过检测模型对标准操作日志进行异常检测,得到目标操作日志。
通常,为了使检测模型可以直接应用于对标准操作日志进行异常检测,输出较为可靠准确的目标操作日志,需要事先构建该检测模型。利用已构建好的检测模型执行上述异常检测的方法能够预期要求。
基于此,在描述检测模型对标准操作日志进行异常检测的实现过程之前,本实施例先给出一种检测模型的构建方法;该检测模型即用于步骤S104中对用户批量的标准操作日志进行异常检测,上述检测模型的构建方法用于构建过程。参照图2,上述检测模型的构建方法包括如下步骤:
步骤S202,采集操作日志样本。该操作日志样本的采集方式可参照上述步骤S102,将来自多个业务系统的标准化处理后的操作日志作为操作日志样本。
步骤S204,构建多类对象;对象至少包括:客户端对象、服务端对象、用户对象、操作类型对象和时间对象。
其中,构建客户端对象包括:首先对客户端基本信息、客户端对应的组织机构基本信息(如单位名称、所属行业等信息)、客户端对应的区域和客户端对应的时间周期进行收集,得到客户端信息;其中,客户端基本信息诸如包括:客户端IP信息、客户端所属组织机构信息和客户端的责任人信息。然后对客户端的信息进行封装,得到客户端对象。
构建服务端对象包括:首先对服务端基本信息、服务端对应的组织机构基本信息(如单位名称、所属行业等信息)、服务端对应的区域和服务端对应的时间周期进行收集,得到服务端信息;其中,服务端基本信息诸如包括:服务端IP信息或者服务端IP群、服务业务名称、服务端的责任人信息。然后对服务端的信息进行封装,得到服务端对象。
构建用户对象包括:首先获取用户基本信息和与当前用户具有匹配关系的客户端对象和/或服务端对象;其中,用户基本信息诸如:姓名、通讯方式、工号信息、已有各系统账号信息;上述匹配关系可理解为,当前用户可用于客户端对象和/或服务端对象的引用。然后对用户基本信息和与当前用户具有匹配关系的客户端对象和/或服务端进行封装,得到用户对象。
构建操作类型对象包括:通过构建多个操作类型,得到操作类型对象;其中,操作类型诸如:查询业务类型、修改业务类型等等多种用户操作类型。
构建时间对象包括:通过构建多个时间段,得到时间对象;其中,时间段包括以下至少一项:工作时间段(如周一至周五的09:00-16:00)、非工作时间段(如周六日的全天)和关键时间段;该关键时间段可以为基于实际业务需求而设置的重点关注的时间段。通过时间对象,可以改善由于时间因素影响造成的操作差异化的问题,同时可以平衡时间粒度过细造成运算数据过大问题。
在实际应用中,为了便于将上述对象应用于不同检测场景下的检测模型中,可以将构建的多类对象保存为对应的模板,并将各类对象对应的模板存储于模板库,以便于对上述对象进行修改或者将上述对象应用到检测模型的构建过程。
在本实施例中,上述多类对象的构建,能够使后期异常检测结果的展示、关联更加全面,相比于目前单一系统中针对IP的异常检测的结果更加具体化,能够快速定位展示客户端对象基本信息、相关责任人等信息,将有利于增加检测结果的丰富性。
步骤S206,基于各类对象构建至少一个批量操作业务基线。
在本实施例中,可以对客户端对象、服务端对象、用户对象、操作类型对象和时间对象中的多项对象构建多对多的关联关系,基于关联关系确定批量操作业务基线。
比如,使用客户端对象、服务端对象、操作类型对象、时间对象构建如下简单的批量操作业务基线:客户端A访问服务端B系统在10:05-10:15的工作时间段内,查询业务类型的最高次数。
还比如,使用多个客户端对象、服务端对象、操作类型对象、时间对象构建如下复杂的批量操作业务基线:多客户端(A1、A2、A3……)访问服务端B在某工作时间段内查询或修改业务类型的最高次数;在该示例中,多客户端所访问的服务端的数量也可不受限制。
步骤S208,根据操作日志样本对批量操作业务基线的参数进行调整,并将参数调整后的批量操作业务基线确定为检测模型;其中,参数包括:操作时间和操作次数。
在本实施例中,可以根据操作日志样本对批量操作业务基线的操作时间、操作次数进行合理化调整。其中,操作时间是基于时间对象对应的范围进行调整的,操作次数是与不同操作类型对象有关的,比如,查询业务类型的操作次数为最多50次,修改业务类型的操作次数为最多10次。
通过将参数调整后的批量操作业务基线确定为检测模型,既可以使检测模型适用于简单或复杂的多种检测场景,也可以通过参数调整而提高检测准确性。更重要的是,该检测模型能够进行针对客户端对象、服务端对象、用户对象、操作类型对象和时间对象的多关联性检测,相比于单一化系统异常操作分析,能够使检测结果更加全面。
此外,在实际应用中,上述检测模型也可以是用户基于上述各类对象和操作日志样本而手动建立的模型。
对于上述得到的检测模型,在此提供一种通过检测模型对标准操作日志进行异常检测,得到目标操作日志的实施例,参照如下内容:
步骤1,当收到检测任务时,对检测模型中的检测规则进行转换。
在本实施例中,检测任务为用户基于检测需求而生成的任务,该任务中诸如可以包括如下信息:需要检测的两端具体是哪个服务端和哪个客户端、时间段、操作类型、定时检测的时间、检测的周期等。
为了满足不同的检测需求,在实际应用中可能会构建多种检测模型;基于此,当收到检测任务时,首先在多种检测模型中选择一种满足当前检测任务的检测模型。然后参照如下方式对该选择的检测模型中的检测规则进行转换:
方式(i):将检测模型中的原始检测规则转换为直接可运行的SQL(StructuredQuery Language,结构化查询语言)支持的第一目标检测规则。SQL不要求用户指定对数据的存放方法,也不需要用户了解具体的数据存放方式,具有极大的灵活性和强大的功能。
方式(ii):当检测任务对应的待检测操作日志的数据量大于预设值时,将检测模型中的原始检测规则转换为ES支持的第二目标检测规则。该方式二适用于待检测的操作日志的数据量较大的情况。
方式(iii):当检测任务设置有检测的时间条件时,将检测模型中的原始检测规则转换为基于内存过滤性语言的第三目标检测规则。该方式三适用于对及时性要求较严格的情况,在此情况下,可以内存中对标准操作日志进行异常检测。
步骤2,基于转换后的检测规则对标准操作日志进行异常检测,得到目标操作日志。
在检测模型对标准操作日志进行异常检测的过程中,根据转换后的检测规则查询出所有符合该规则的操作日志,得到操作日志中的客户端对象、服务端对象、时间对象、操作类型对象(如第一次操作时间和最后操作时间)、操作类型对应的操作次数;该操作次数用于后期事件追踪。接下来,根据上述规则中的时间段、参数的阈值(比如操作次数的上限值)检测以上操作日志中的数据,得到不满足检测规则的异常操作日志,并将其作为目标操作日志。
目标操作日志可存储于预设的数据存储平台,然后由通过分析用于后期事件追踪。
在本实施例中,还可以提供一种检测模型的优化方法,包括:基于目标操作日志对检测模型的参数进行优化;其中,参数包括:操作时间和操作次数。
在本实施例中,通过对检测模型的参数进行优化能够增加模型的检测准确度。在具体实现时,可以基于目标操作日志对批量操作业务基线进行调整;一般来说基线的时间粒度越细,时间准确性越高,但是时间粒度太细会增加检测、分析成本。基于此,以上构建的时间对象能够区分不同的时间段,相当于指定了某一时间段操作频繁的阈值,从而在针对操作日志的异常检测过程中以及检测模型的构建和优化过程中,均能够降低成本,提高效率。
最后,上述公开施例提供的检测模型的构建方法中,首先构建客户端对象、服务端对象、用户对象和时间对象等多类对象,然后基于此构建批量操作业务基线,最后在根据采集到的操作日志样本对上述基线的参数进行调整,以得到用于对用户的批量操作进行异常检测的检测模型。在该方式中,由于批量操作业务基线可以关联到诸如客户端对象、服务端对象、用户对象和时间对象等多个对象,从而对基线调参后确定的检测模型在用于操作日志的异常检测时,能够较好地实现多视角分析。基于此,在批量操作异常的检测方法中,通过上述检测模型对所述标准操作日志进行异常检测,不但能够以服务端为视角对客户端的批量操作进行异常检测,而且还能够反过来,以客户端为视角对服务端的批量操作进行异常检测;同时,还加入了时间对象的控制,能够改善一些操作系统对时间的限制问题,并能够在时间这一维度提高异常监测的准确性;此外,相比于现有只能针对单一系统的数据进行检测,本实施例中的标准操作日志是来自多个业务系统的数据,提高了异常检测对系统的兼容能力。综上,本公开实施例能够更好地满足用户批量操作的异常检测要求。
实施例二:
基于前述实施例一,本实施例还可以提供另一种批量操作异常的检测方法,该方法在执行过程中,同时构建检测模型。参照图3,该批量操作异常的检测方法包括:
步骤一、采集多个业务系统的标准操作日志;
步骤二、构建客户端对象、服务端对象、用户对象、操作类型对象和时间对象;
步骤三、基于上述对象构建检测模型;
步骤四、当收到检测任务时,调用检测模型对标准操作日志进行异常检测,输出目标操作日志;
步骤五、对检测模型的参数进行优化。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的批量操作异常的检测方法的具体实现过程,可以参考前述实施例一中的对应过程,在此不再赘述。
综上,在以上实施例一和实施例二提供的批量操作异常的检测方法中,通过采集多个业务系统的操作日志,建立检测模块,并关联客户端、服务端、用户端对批量异常操作进行多视角的分析,可实现以客户端、或服务端为视角的多业务系统的异常分析,关注的视角更加丰富。并且加入了时间对象的控制,在不增加大的分析工作量的情况下解决工作时间、非工作时间、关键时间的操作区分分类,以更加准确在不同时间区间快速的用户批量操作异常行为分析。
实施例三:
本公开实施例提供了一种检测模型的构建装置,检测模型用于对用户的批量操作进行异常检测;该装置由于实现前述实施例中检测模型的构建方法。参照图4,该装置包括:
样本采集模块402,用于采集操作日志样本;
对象构建模块404,用于构建多类对象;对象至少包括:客户端对象、服务端对象、用户对象和时间对象;
基线构建模块406,用于基于各类对象构建至少一个批量操作业务基线;
模型确定模块408,用于根据操作日志样本对批量操作业务基线的参数进行调整,并将参数调整后的批量操作业务基线确定为检测模型;其中,参数包括:操作时间和操作次数。
本公开施例提供的检测模型的构建装置中,在该方式中,由于批量操作业务基线可以关联到诸如客户端对象、服务端对象、用户对象和时间对象等多个对象,从而对基线调参后确定的检测模型在用于操作日志的异常检测时,能够较好地实现多视角分析。基于此,在批量操作异常的检测方法中,通过上述检测模型对所述标准操作日志进行异常检测,不但能够以服务端为视角对客户端的批量操作进行异常检测,而且还能够反过来,以客户端为视角对服务端的批量操作进行异常检测;同时,还加入了时间对象的控制,能够改善一些操作系统对时间的限制问题,并能够在时间这一维度提高异常监测的准确性;此外,相比于现有只能针对单一系统的数据进行检测,本实施例中的标准操作日志是来自多个业务系统的数据,提高了异常检测对系统的兼容能力。综上,本公开实施例能够更好地满足用户批量操作的异常检测要求。
在一些实施例中,当对象为客户端对象时,对象构建模块404还用于:对客户端基本信息以及客户端对应的组织机构基本信息、区域和时间周期进行收集,得到客户端信息;其中,客户端基本信息包括:客户端IP信息、客户端所属组织机构信息和客户端的责任人信息;对客户端的信息进行封装,得到客户端对象。
在一些实施例中,当对象为时间对象时,对象构建模块404还用于:通过构建多个时间段,得到时间对象;其中,时间段包括以下至少一项:工作时间段、非工作时间段和关键时间段。
本公开实施例还一种批量操作异常的检测装置,该装置由于实现前述实施例中的批量操作异常的检测方法,参照图5,该装置包括:
日志采集模块502,用于采集多个业务系统的标准操作日志;
异常检测模块504,用于通过检测模型对标准操作日志进行异常检测,得到目标操作日志。
在一些实施例中,日志采集模块502还用于:采集多个业务系统的原始操作日志;按照指定数据格式对原始操作日志进行标准化处理,得到标准操作日志。
在一些实施例中,异常检测模块504还用于:当收到检测任务时,对检测模型中的检测规则进行转换;基于转换后的检测规则对标准操作日志进行异常检测,得到目标操作日志。
在一些实施例中,异常检测模块504还用于:将检测模型中的原始检测规则转换为SQL支持的第一目标检测规则;或者,当检测任务对应的待检测操作日志的数据量大于预设值时,将检测模型中的原始检测规则转换为ES支持的第二目标检测规则;或者,当检测任务设置有检测的时间条件时,将检测模型中的原始检测规则转换为基于内存过滤性语言的第三目标检测规则。
在一些实施例中,批量操作异常的检测装置还包括优化模块(图中未示出),用于:基于目标操作日志对检测模型的参数进行优化;其中,参数包括:操作时间和操作次数。
本公开实施例提供的检测模型的构建装置及批量操作异常的检测装置,分别与上述实施例提供的检测模型的构建方法及批量操作异常的检测方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种检测模型的构建方法,其特征在于,所述检测模型用于对用户的批量操作进行异常检测;所述方法包括:
采集操作日志样本;
构建多类对象;所述对象至少包括:客户端对象、服务端对象、用户对象、操作类型对象和时间对象;
基于各类所述对象构建至少一个批量操作业务基线;
根据所述操作日志样本对所述批量操作业务基线的参数进行调整,并将参数调整后的批量操作业务基线确定为检测模型;其中,所述参数包括:操作时间和操作次数。
2.根据权利要求1所述的方法,其特征在于,当所述对象为客户端对象时,所述构建多类对象的步骤,包括:
对客户端基本信息以及客户端对应的组织机构基本信息、区域和时间周期进行收集,得到客户端信息;其中,所述客户端基本信息包括:客户端IP信息、客户端所属组织机构信息和客户端的责任人信息;
对所述客户端的信息进行封装,得到客户端对象。
3.根据权利要求1所述的方法,其特征在于,当所述对象为时间对象时,所述构建多类对象的步骤,包括:
通过构建多个时间段,得到时间对象;其中,所述时间段包括以下至少一项:工作时间段、非工作时间段和关键时间段。
4.一种批量操作异常的检测方法,其特征在于,包括:
采集多个业务系统的标准操作日志;
通过检测模型对所述标准操作日志进行异常检测,得到目标操作日志。
5.根据权利要求4所述的方法,其特征在于,所述采集不同业务系统的操作日志的步骤,包括:
采集多个业务系统的原始操作日志;
按照指定数据格式对所述原始操作日志进行标准化处理,得到标准操作日志。
6.根据权利要求4所述的方法,其特征在于,所述通过检测模型对所述标准操作日志进行异常检测,得到目标操作日志的步骤,包括:
当收到检测任务时,对所述检测模型中的检测规则进行转换;
基于转换后的检测规则对所述标准操作日志进行异常检测,得到目标操作日志。
7.根据权利要求6所述的方法,其特征在于,所述对所述检测模型中的检测规则进行转换的步骤,包括:
将所述检测模型中的原始检测规则转换为SQL支持的第一目标检测规则;
或者,
当所述检测任务对应的待检测操作日志的数据量大于预设值时,将所述检测模型中的所述原始检测规则转换为ES支持的第二目标检测规则;
或者,
当所述检测任务设置有检测的时间条件时,将所述检测模型中的所述原始检测规则转换为基于内存过滤性语言的第三目标检测规则。
8.根据权利要求4所述的方法,其特征在于,所述方法还包括:
基于所述目标操作日志对所述检测模型的参数进行优化;其中,所述参数包括:操作时间和操作次数。
9.一种检测模型的构建装置,其特征在于,所述检测模型用于对用户的批量操作进行异常检测;所述装置包括:
样本采集模块,用于采集操作日志样本;
对象构建模块,用于构建多类对象;所述对象至少包括:客户端对象、服务端对象、用户对象和时间对象;
基线构建模块,用于基于各类所述对象构建至少一个批量操作业务基线;
模型确定模块,用于根据所述操作日志样本对所述批量操作业务基线的参数进行调整,并将参数调整后的批量操作业务基线确定为检测模型;其中,所述参数包括:操作时间和操作次数。
10.一种批量操作异常的检测装置,其特征在于,包括:
日志采集模块,用于采集多个业务系统的标准操作日志;
异常检测模块,用于通过检测模型对所述标准操作日志进行异常检测,得到目标操作日志。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010666834.1A CN112054989B (zh) | 2020-07-13 | 2020-07-13 | 一种检测模型的构建方法及批量操作异常的检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010666834.1A CN112054989B (zh) | 2020-07-13 | 2020-07-13 | 一种检测模型的构建方法及批量操作异常的检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112054989A true CN112054989A (zh) | 2020-12-08 |
CN112054989B CN112054989B (zh) | 2023-03-24 |
Family
ID=73601073
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010666834.1A Active CN112054989B (zh) | 2020-07-13 | 2020-07-13 | 一种检测模型的构建方法及批量操作异常的检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112054989B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112925697A (zh) * | 2021-03-30 | 2021-06-08 | 中国建设银行股份有限公司 | 作业差异监控方法、装置、设备及介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101902366A (zh) * | 2009-05-27 | 2010-12-01 | 北京启明星辰信息技术股份有限公司 | 一种业务行为异常检测方法和系统 |
CN103824069A (zh) * | 2014-03-19 | 2014-05-28 | 北京邮电大学 | 一种基于多主机日志关联的入侵检测方法 |
CN107528832A (zh) * | 2017-08-04 | 2017-12-29 | 北京中晟信达科技有限公司 | 一种面向系统日志的基线构建与未知异常行为检测方法 |
CN108616498A (zh) * | 2018-02-24 | 2018-10-02 | 国家计算机网络与信息安全管理中心 | 一种web访问异常检测方法和装置 |
CN110210512A (zh) * | 2019-04-19 | 2019-09-06 | 北京亿阳信通科技有限公司 | 一种自动化日志异常检测方法及系统 |
CN110650038A (zh) * | 2019-09-12 | 2020-01-03 | 国家电网有限公司 | 面向多类监管对象的安全事件日志采集处理方法和系统 |
CN111177095A (zh) * | 2019-12-10 | 2020-05-19 | 中移(杭州)信息技术有限公司 | 日志分析方法、装置、计算机设备及存储介质 |
US10673880B1 (en) * | 2016-09-26 | 2020-06-02 | Splunk Inc. | Anomaly detection to identify security threats |
-
2020
- 2020-07-13 CN CN202010666834.1A patent/CN112054989B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101902366A (zh) * | 2009-05-27 | 2010-12-01 | 北京启明星辰信息技术股份有限公司 | 一种业务行为异常检测方法和系统 |
CN103824069A (zh) * | 2014-03-19 | 2014-05-28 | 北京邮电大学 | 一种基于多主机日志关联的入侵检测方法 |
US10673880B1 (en) * | 2016-09-26 | 2020-06-02 | Splunk Inc. | Anomaly detection to identify security threats |
CN107528832A (zh) * | 2017-08-04 | 2017-12-29 | 北京中晟信达科技有限公司 | 一种面向系统日志的基线构建与未知异常行为检测方法 |
CN108616498A (zh) * | 2018-02-24 | 2018-10-02 | 国家计算机网络与信息安全管理中心 | 一种web访问异常检测方法和装置 |
CN110210512A (zh) * | 2019-04-19 | 2019-09-06 | 北京亿阳信通科技有限公司 | 一种自动化日志异常检测方法及系统 |
CN110650038A (zh) * | 2019-09-12 | 2020-01-03 | 国家电网有限公司 | 面向多类监管对象的安全事件日志采集处理方法和系统 |
CN111177095A (zh) * | 2019-12-10 | 2020-05-19 | 中移(杭州)信息技术有限公司 | 日志分析方法、装置、计算机设备及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112925697A (zh) * | 2021-03-30 | 2021-06-08 | 中国建设银行股份有限公司 | 作业差异监控方法、装置、设备及介质 |
CN112925697B (zh) * | 2021-03-30 | 2024-03-01 | 中国建设银行股份有限公司 | 作业差异监控方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112054989B (zh) | 2023-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11042525B2 (en) | Extracting and labeling custom information from log messages | |
CN114488989B (zh) | 一种基于物联网技术的工业控制系统 | |
CN103117903A (zh) | 上网流量异常检测方法及装置 | |
CN111736571A (zh) | 一种故障诊断系统及方法、存储介质 | |
CN112256682B (zh) | 一种多维异构数据的数据质量检测方法及装置 | |
CN108390793A (zh) | 一种分析系统稳定性的方法及装置 | |
CN112054989B (zh) | 一种检测模型的构建方法及批量操作异常的检测方法 | |
CN113486983A (zh) | 一种用于反欺诈处理的大数据办公信息分析方法及系统 | |
CN114860525A (zh) | 一种硬盘故障检测方法、装置、设备及存储介质 | |
CN109064211B (zh) | 营销业务数据分析方法、装置及服务器 | |
CN113746849A (zh) | 一种网络中的设备识别方法、装置、设备及存储介质 | |
CN113067710A (zh) | 在线用户查询方法、装置、计算机设备及存储介质 | |
CN109167673B (zh) | 一种融合异常Qos数据检测的新型云服务筛选方法 | |
CN112003872A (zh) | 检测和调用工业互联网标识二级节点能力的方法及装置 | |
CN115150430B (zh) | 一种基于物联网的自动售卖机运营数据采集系统 | |
CN106649678B (zh) | 一种数据处理方法及系统 | |
CN114722037B (zh) | 工业互联网中间件数据处理方法、中间件和可读存储介质 | |
CN113778831A (zh) | 一种数据应用性能分析方法、装置、设备和介质 | |
CN114860543A (zh) | 异常检测方法、装置、设备与计算机可读存储介质 | |
CN114253808A (zh) | 一种对象状态的监控方法及装置 | |
CN113011834A (zh) | 一种计量自动化设备系统档案数据流转监测方法 | |
CN115473343B (zh) | 一种智能网关多主站并行接入测试方法 | |
CN116860859B (zh) | 一种多源异构数据的接口创建方法、装置及电子设备 | |
CN115983646B (zh) | 一种评估变电站网络设备风险的方法及其相关设备 | |
CN101459529B (zh) | 在归属位置寄存器中获取用户数据的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |