CN111414619B - 一种数据安全检测方法、装置、设备及可读存储介质 - Google Patents
一种数据安全检测方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN111414619B CN111414619B CN202010186310.2A CN202010186310A CN111414619B CN 111414619 B CN111414619 B CN 111414619B CN 202010186310 A CN202010186310 A CN 202010186310A CN 111414619 B CN111414619 B CN 111414619B
- Authority
- CN
- China
- Prior art keywords
- data
- security detection
- task
- target
- association rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 201
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 4
- 238000012986 modification Methods 0.000 abstract description 15
- 230000004048 modification Effects 0.000 abstract description 15
- 239000002699 waste material Substances 0.000 abstract description 11
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000012098 association analyses Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010219 correlation analysis Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
- G06F21/562—Static detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Virology (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Storage Device Security (AREA)
Abstract
本发明公开了一种数据安全检测方法,包括:获取待测数据,根据待测数据的特征信息确定目标关联规则;在预设业务框架下,利用目标关联规则生成待测数据对应的安全检测任务;执行安全检测任务,得到任务结果,并生成任务结果对应的关联事件;该方法无需编写多个独立的检测代码,通过关联规则和业务框架两个部分完成安全监测任务的生成,通过改变目标关联规则即可对待测数据进行不同情况的检测,得到对应的关联事件,而关联规则的增加或修改所需的工作量远远小于检测代码的编写或修改所需的工作量,因此避免了人力和时间的浪费;此外,本发明还提供了一种数据安全检测装置、数据安全检测设备及计算机可读存储介质,也具有上述有益效果。
Description
技术领域
本发明涉及网络安全技术领域,特别涉及一种数据安全检测方法、数据安全检测装置、数据安全检测设备及计算机可读存储介质。
背景技术
关联分析是一种数据挖掘技术,通过关联分析可以查找到数据之间的关系。关联分析常用于进行网络安全检测,通过对获取的数据进行关联分析判断是否存在被攻击的情况,通过关联事件这一形式输出结果。
现有关联事件获取方法通常需要对待测数据的某一情况进行分析,根据该情况中数据的关联关系编写对应的检测代码,利用检测代码可以对数据进行检测,最终得到对应的关联事件。然而,由于待测数据的种类较多,且每种待测数据会对应有很多种情况,为每一种情况都编写独立的检测代码则会造成巨大的工作量;同时,不同情况的检测过程中都存在部分相同的检测步骤,会造成大量的重复代码,冗余程度较高,且检测代码的编写时间较长,浪费了大量人力和时间。
因此,如何解决现有关联事件获取方法所需工作量较大,浪费大量人力和时间的问题,是本领域技术人员需要解决的技术问题。
发明内容
有鉴于此,本发明的目的在于提供一种数据安全检测方法、数据安全检测装置、数据安全检测设备及计算机可读存储介质,解决了现有关联事件获取方法所需工作量较大,浪费大量人力和时间的问题。
为解决上述技术问题,本发明提供了一种数据安全检测方法,包括:
获取待测数据,根据所述待测数据的特征信息确定目标关联规则;
在预设业务框架下,利用所述目标关联规则生成所述待测数据对应的安全检测任务;
执行所述安全检测任务,得到任务结果,并生成所述任务结果对应的关联事件。
可选地,所述在预设业务框架下,利用所述目标关联规则生成所述待测数据对应的安全检测任务,包括:
对所述目标关联规则进行转换,得到多个执行算子;
获取各个所述执行算子之间的对应关系;
按照所述对应关系,在所述预设业务框架下将所述执行算子进行整合,得到所述安全检测任务。
可选地,所述生成所述任务结果对应的关联事件,包括:
获取所述目标关联规则对应的规则信息;
利用所述规则信息和所述任务结果生成所述关联事件。
可选地,在所述获取待测数据之前,还包括:
获取生成指令,并根据所述生成指令生成关联规则;
将所述关联规则存储于数据库。
可选地,所述获取待测数据,根据所述待测数据的特征信息确定目标关联规则,包括:
获取并解析流量数据,得到所述待测数据;
获取并解析测试指令,得到所述特征信息,并将与所述特征信息相对应的关联规则确定为所述目标关联规则。
可选地,所述执行所述安全检测任务,得到任务结果,包括:
对所述安全检测任务进行分割处理,得到多个子任务;
在计算集群中确定多个目标节点,将各个所述子任务分别发送给各个所述目标节点,以便所述目标节点执行所述子任务;
获取所述目标节点发送的子任务结果,并对所述子任务结果进行汇总处理,得到所述任务结果。
可选地,所述将各个所述子任务分别发送给各个所述目标节点,包括:
将各个一级子任务分别发送给各个一级目标节点,并将二级子任务发送给二级目标节点;
将所述二级目标节点对应的节点信息发送给所述一级目标节点,以便所述一级目标节点得到一级子任务结果后,将所述一级子任务结果发送给所述二级目标节点;
相应的,所述获取所述目标节点发送的子任务结果为,获取所述二级目标节点发送的二级子任务结果。
本发明还提供了一种数据安全检测装置,包括:
目标关联规则获取模块,用于获取待测数据,根据所述待测数据的特征信息确定目标关联规则;
任务构建模块,用于在预设业务框架下,利用所述目标关联规则生成所述待测数据对应的安全检测任务;
数据安全检测模块,用于执行所述安全检测任务,得到任务结果,并生成所述任务结果对应的关联事件。
本发明还提供了一种数据安全检测设备,包括存储器和处理器,其中:
所述存储器,用于保存计算机程序;
所述处理器,用于执行所述计算机程序,以实现上述的数据安全检测方法。
本发明还提供了一种计算机可读存储介质,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现上述的数据安全检测方法。
本发明提供的数据安全检测方法,获取待测数据,根据待测数据的特征信息确定目标关联规则;在预设业务框架下,利用目标关联规则生成待测数据对应的安全检测任务;执行安全检测任务,得到任务结果,并生成任务结果对应的关联事件。
可见,该方法将安全检测任务所需的关联规则与业务框架进行了拆分,在获取到待测数据后,根据待测数据的特征信息选择对应的目标关联规则,并利用目标关联规则在预设业务框架下构建安全检测任务。通过执行安全检测任务,即可完成对待测数据的处理,得到任务结果,最终利用任务结果生成关联事件。该方法无需编写多个独立的检测代码,通过关联规则和业务框架两个部分完成安全监测任务的生成,通过改变目标关联规则即可对待测数据进行不同情况的检测,得到对应的关联事件,而关联规则的增加或修改所需的工作量远远小于检测代码的编写或修改所需的工作量,减少了所需的工作量,提高了效率。同时无需重复编写代码,因此避免了人力和时间的浪费,解决了现有关联事件获取方法所需工作量较大,浪费大量人力和时间的问题。
此外,本发明还提供了一种数据安全检测装置、数据安全检测设备及计算机可读存储介质,同样具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种数据安全检测方法流程图;
图2为本发明实施例提供的另一种数据安全检测方法流程图;
图3为本发明实施例提供的一种安全检测任务执行方法流程图;
图4为本发明实施例提供的一种子任务分发方法流程图;
图5为本发明实施例提供的一种数据安全检测装置的结构示意图;
图6为本发明实施例提供的一种数据安全检测设备的结构示意图;
图7为本发明实施例提供的一种应用场景示意图;
图8为本发明实施例提供的另一种数据安全检测方法流程图;
图9为本发明实施例提供的一种多级子任务执行流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在互联网安全检测工作中,采用关联分析的方法可以得到更加准确地检测结果。关联分析的方法,即事件关联的方法,可以通过整理大量离散事件数据并把其作为一个整体进行分析,找到需要立即引起注意的重要模式或事故,从而简化威胁检测方法。该方法可以从各种各样的数据源获取更适合人类理解的大量事件数据,并自动检测已知的威胁模式的明确标志从而让检测网络攻击和破坏事件变得容易,甚至还可以通过事件标准化简化对未知威胁模式的人工探测。
通过对数据进行关联分析,最终可得到关联事件,关联事件即为安全检测的结果。现有关联事件获取方法通常需要对待测数据的某一情况进行分析,根据该情况中数据的关联关系编写对应的检测代码,利用检测代码可以对数据进行检测,最终得到对应的关联事件。然而,由于待测数据的种类较多,且每种待测数据会对应有很多种情况,为每一种情况都编写独立的检测代码则会造成巨大的工作量;同时,不同情况的检测过程中都存在部分相同的检测步骤,会造成大量的重复代码,冗余程度较高,检测代码的编写时间较长,因此浪费了大量人力和时间。
本申请为了解决上述问题,采用业务框架与业务逻辑拆分的方法,通过改变不同的业务逻辑,即通过采用不同的关联规则,实现对待测数据不同情况的检测。由于关联规则的修改或增加所需的工作量远远小于检测代码的修改或编写所需的工作量,因此大大减少了获取关联事件所需的工作量,同时避免了重复代码的出现,降低了代码的冗余程度,节省了存储空间,避免了人力和时间的浪费。
具体的,在一种可能的实施方式中,请参考图1,图1为本发明实施例提供的一种数据安全检测方法流程图。该方法包括:
S101:获取待测数据,根据待测数据的特征信息确定目标关联规则。
在本实施例中,待测数据的具体内容和类型不做限定,该待测数据可以为某个设备或某个集群中的全部或部分数据,其可以由用户根据实际需要进行选择或改变。特征信息用于指定待测数据被测试的项目,即安全检测的具体内容。特征信息的具体表现形式可以为安全检测项目名称,例如为入侵监测、攻击检测或合法性检测等;或者可以为安全检测项目的编号。待测数据的特征信息可以采用多种方法获取,例如可以获取输入的测试指令,对测试指令进行解析得到对应的特征信息;或者可以预设有待测数据和特征信息之间的对应关系,利用该对应关系获取待测数据的特征信息,此时,待测数据中可以包括身份信息,用于表示待测数据的类型或种类,以便确定特征信息。
目标关联规则为与特征消息相对应的关联规则,其具体内容本实施例不做限定,其数量可以为一条或多条。关联规则用于构成安全检测任务,以便对待测数据进行安全检测,不同的关联规则对应的检测方法和检测内容不同,用户可以根据实际需要编写或修改关联规则,以便对待测数据进行符合自身需求的检测。关联规则可以包括单事件无序关联、单事件有序关联、多事件无序关联、多事件有序关联和多级规则关联等。每一条关联规则内还可以包括一条检测规则或多条检测规则,例如当关联规则内仅包括一条检测规则时,利用该关联规则可以进行某一步骤的检测;或者可以将某一项目检测所需的所有检测规则整合为一条关联规则,则利用该关联规则可以完成该项目的整体检测。
关联规则的具体形式本实施例不做限定,例如可以为SQL(STRUCTURED QUERYLANGUAGE)形式,或者可以为其他表现形式。在本实施例中,通过将安全检测的业务逻辑进行SQL语句化,即可得到业务逻辑对应的关联规则。目标关联规则与检测程序相比十分简短,同时不同的关联规则相互分割,便于修改或补充,且同一关联规则可以在需要时应用于不同的安全检测项目,避免了重复代码的出现。因此本申请可以减少获取关联事件,即进行安全检测,所需的工作量,避免了人力和时间的浪费。
S102:在预设业务框架下,利用目标关联规则生成待测数据对应的安全检测任务。
预设业务框架为安全检测任务的基本框架,其用于实现安全检测任务的基本功能,保证安全检测任务可以被正常执行。需要说明的是,预设业务框架可以有一个或多个,例如可以为了使安全检测任务更具针对性,可以开发多个预设业务框架;或者为了保证安全检测任务的一致性,可以仅设置一个预设业务框架。在确定目标关联规则后,在预设业务框架下,利用目标关联规则生成对应的安全检测任务,由于目标关联规则与待测数据相对应,因此该安全检测任务即为用于对待测数据进行测试的任务,即待测数据对应的安全检测任务。
需要说明的是,当目标关联规则为多条时,各个目标关联规则需要按照预设逻辑进行分布,预设逻辑可以由用户提前设定,其具体内容本实施例不做限定。
S103:执行安全检测任务,得到任务结果,并生成任务结果对应的关联事件。
在生成安全检测任务后,可以将待测数据作为输入数据执行该安全检测任务,即对待测数据进行检测,最终得到任务结果。安全检测任务的具体执行过程本实施例不做限定,该任务可以在本地设备处执行,即在执行本发明提供的数据安全检测方法的全部或部分步骤的指定设备或终端处执行;或者可以利用指定的执行节点执行该安全检测任务,在本地设备生成安全检测任务后将其发送给执行节点,利用执行节点执行该任务,并在执行完毕后获取该执行节点发送的任务结果,执行节点可以为计算能力更强的计算节点,这样可以减少安全检测任务执行所需的时间,提高检测效率;进一步的,为了进一步提高检测效率,还可以将安全检测任务进行拆分,得到多个子任务,利用多个执行节点分别执行各个子任务,通过对子任务对应的子任务结果进行汇总,即可得到安全检测任务的任务结果。
关联事件具体为一种表示安全检测的检测结果的数据,其形式和内容本实施例不做限定。关联事件在包括安全检测任务的任务结果以外,还包括其他数据,例如可以包括安全检测的类型;或者可以包括对任务结果进行分析得到的安全等级;或者可以包括对该任务结果进行分析得到的推荐操作或推荐处理等。
进一步,在生成关联事件后,还可以执行其他操作,其他操作可以由用户根据实际需要进行设定,例如可以为发送操作,将关联事件发送给指定的设备或终端;或者可以为存储操作,将该关联事件进行存储;或者可以为提醒或报警操作,根据该关联事件执行相应的提醒或报警。
应用本发明实施例提供的数据安全检测方法,将安全检测任务所需的关联规则与业务框架进行了拆分,在获取到待测数据后,根据待测数据的特征信息选择对应的目标关联规则,并利用目标关联规则在预设业务框架下构建安全检测任务。通过执行安全检测任务,即可完成对待测数据的处理,得到任务结果,最终利用任务结果生成关联事件。该方法无需编写多个独立的检测代码,通过关联规则和业务框架两个部分完成安全监测任务的生成,通过改变目标关联规则即可对待测数据进行不同情况的检测,得到对应的关联事件,而关联规则的增加或修改所需的工作量远远小于检测代码的编写或修改所需的工作量,减少了所需的工作量,提高了效率。同时无需重复编写代码,因此避免了人力和时间的浪费,解决了现有关联事件获取方法所需工作量较大,浪费大量人力和时间的问题。
基于上述实施例,在另一种可能的实施方式中,用户可以根据需要发送生成指令,以便生成相应的关联规则,进而进行相对应的安全检测,无需重新编写或修改检测代码,提高了工作效率。具体请参考图2,图2为本发明实施例提供的另一种数据安全检测方法流程图,包括:
S201:获取生成指令,并根据生成指令生成关联规则。
生成指令用于生成相对应的关联规则,其具体形式不做限定,其中可以包括指令标识符,利用指令标识符的具体值表示指令的类型,例如当检测到某一指令中指令标识符为1时,表明该指令为生成指令。生成指令可以由用户输入,例如可以由用户手动输入生成指令;或者可以由用户输入必要的信息后点击生成按钮,得到生成指令;或者可以获取其他设备发送的生成指令。生成指令中可以包括完整的关联规则,通过对该生成指令进行解析,即可剧生成指令生成关联规则;或者生成指令中仅包括必要的信息,在解析得到必要的信息后按照预设的生成规则生成相对应的关联规则,每一条生成指令可以用于生成一条或多条关联规则。
需要说明的是,在本实施例中,还可以获取修改指令或删除指令,以便对已有的关联规则进行修改或删除。修改指令和删除指令的具体内容和形式不做限定,同样的,可以采用不同的指令标识符的值表示修改指令和删除指令,例如当检测到某一指令中指令标识符为0时,则确认该指令为删除指令;当检测到某一指令中指令标识符为2时,则确认该指令为修改指令。
S202:将关联规则存储于数据库。
在生成关联规则后,将其存储于数据库中。需要说明的是,数据库中不仅可以存储关联规则,还可以存储进行数据安全检测过程中所需的其他数据、信息或规则,例如可以存储预设业务框架等。
S203:获取并解析流量数据,得到待测数据。
流量数据可以为一个设备或一个集群对应的数据,其具体获取方式本实施例不做限定,例如可以利用Kafka平台获取,Kafka平台是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。具体的,可以与指定的设备或集群相连,实时获取流量数据;或者可以与指定的设备或集群相连,按照预设周期获取流量数据;或者可以通过其他载体获取流量数据,例如可以获取指定的设备或集群生成的日志文件或记录数据,通过解析该文件或数据得到流量数据。在获取流量数据后,对流量数据进行解析,具体解析方法可以包括数据过滤、数据处理等操作,最终得到待测数据。
S204:获取并解析测试指令,得到特征信息,并将与特征信息相对应的关联规则确定为目标关联规则。
在本实施例中,采用获取测试指令的方式确定待测数据的特征信息。由于不同的待测数据可能对应于多个特征信息,因此为了根据实际需要进行对应的安全测试,可以由用户发送测试指令,确定对应的特征信息,并将与该特征信息相对应的关联规则确定为目标关联规则。
S205:对目标关联规则进行转换,得到多个执行算子。
本实施例并不限定采用何种软件框架构建安全检测任务,例如可以采用Flink软件框架,具体的,Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。此外,Flink的运行时本身也支持迭代算法的执行。
需要说明的是,每个关联规则中都存在至少一个执行算子,用于执行安全检测任务时对待测数据进行计算或处理,得到任务结果。因此在生成安全检测任务的过程中,需要对目标关联规则进行转换,从中提取得到多个执行算子。算子(Operator)为从一个向量空间(或模)到另一个向量空间(或模)的映射,本实施例不对执行算子的具体内容做任何限定。当在Flink软件框架下构建安全检测任务时,则执行算子即为Flink软件平台能够识别的执行算子。
S206:获取各个执行算子之间的对应关系。
在得到执行算子后,需要获取各个执行算子之间的对应关系,对应关系也可以称为依赖关系,用于对各个执行算子之间的关系进行限定,例如位置先后关系,执行顺序先后关系等。该对应关系可以从目标关联规则中提取,或者可以由用户编写好后预存入数据库中,在确定目标关联规则后获取该目标关联规则对应的各个执行算子之间的对应关系。
S207:按照对应关系,在预设业务框架下将执行算子进行整合,得到安全检测任务。
按照获取到的对应关系,在预设业务框架下对各个执行算子进行整合处理即可得到安全检测任务,整合处理的具体过程本实施例不做限定,整合过程符合对应关系和目标关联规则之间的预设逻辑即可。
S208:获取目标关联规则对应的规则信息。
在生成安全检测任务后执行该安全检测任务,得到任务结果,在得到任务结果后,为了使关联事件清晰地表明安全检测的结果,本实施例获取目标关联规则对应的规则信息,规则信息的具体内容不做限定,例如可以包括目标关联规则的属性信息,或者还可以包括目标关联规则的解析说明信息等,以便用户根据关联事件即可清楚地了解安全检测的内容和过程。
S209:利用规则信息和任务结果生成关联事件。
具体的,可以预设有事件模板,在获取规则信息和任务结果后,将规则信息和任务结果输入事件模板,生成关联事件。
基于上述实施例,在另一种可能的实施方式中,为了提高安全检测任务的执行效率,避免因单个执行节点的性能有限造成的任务执行速度慢的情况,提高在大数据场景应用下的水平扩展能力,本实施例利用多个目标节点共同执行安全检测任务。具体请参考图3,图3为本发明实施例提供的一种安全检测任务执行方法流程图,包括:
S301:对安全检测任务进行分割处理,得到多个子任务。
对安全检测任务进行分割处理,即可得到多个子任务,以便将各个子任务分配给不同的节点进行执行。需要说明的是,安全检测任务的分割处理方式可以有多重,例如可以将整个安全检测任务按照执行工作量均分的形式平均划分,得到多个子任务;或者可以进行随机划分,得到多个子任务。优选的,由于各个执行算子之间存在对应关系,因此导致某些执行算子之间的关联关系较紧密,利用同一个节点计算关联关系紧密的执行算子,可以进一步提高任务的执行速度。因此在本实施例中,根据执行算子的类型以及与其他执行算子之间的依赖关系对安全检测任务进行分割,得到个子任务,在按照上述原则进行划分时,也应尽量使各个子任务的执行工作量相近,以便提高整个安全检测任务的执行效率。
S302:在计算集群中确定多个目标节点,将各个子任务分别发送给各个目标节点,以便目标节点执行子任务。
计算集群中包括多个节点,目标节点可以为计算集群中的部分节点或全部节点,例如目标节点可以为计算资源使用率低于预设阈值的节点,或者可以为待执行任务数量小于预设阈值的节点。目标节点的数量不大于子任务的数量,每个目标节点可以分配至少一个子任务。在确定目标节点后,将各个子任务分别发送给各个目标节点,以便目标节点执行子任务。
S303:获取目标节点发送的子任务结果,并对子任务结果进行汇总处理,得到任务结果。
在目标节点执行完子任务之后,即可得到对应的子任务结果,因此获取各个目标节点发送的子任务结果,并对各个子任务结果进行汇总处理,最终得到任务结果。汇总处理的具体过程本实施例不做限定,例如可以对各个子任务结果执行计算或分析等操作,完成汇总处理。
进一步,在一种可能的实施方式中,整个安全检测任务需要分为多级执行,即需要利用上一级的任务结果作为下一级的任务的输入数据,最终得到任务结果。请参考图4,图4为本发明实施例提供的一种子任务分发方法流程图。此时,S302步骤包括:
S3021:将各个一级子任务分别发送给各个一级目标节点,并将二级子任务发送给二级目标节点。
在本实施例中,安全检测任务可以分为两级执行,因此安全检测任务被划分为多个一级子任务和多个二级子任务。同时在确定目标节点时,需要将部分目标节点确定为一级目标节点,剩下的目标节点为二级目标节点。在确定目标节点后,将各个一级子任务发送给各个一级目标节点,以便各个一级目标节点执行一级子任务;同时将各个二级子任务发送给二级目标节点,以便等待执行二级子任务。
S3022:将二级目标节点对应的节点信息发送给一级目标节点,以便一级目标节点得到一级子任务结果后,将一级子任务结果发送给二级目标节点。
在子任务分发完毕后,将二级目标节点的节点信息发送给一级目标节点,以便在一级目标节点得到一级子任务结果后,将一级子任务结果发送给二级目标节点,进而执行二级子任务。节点信息的具体内容本实施例不做限定,例如可以为IP地址信息,或者可以为MAC地址信息等。具体的,可以将各个二级目标节点的发点信息发送给与二级目标节点对应的一级目标节点,例如,一级目标节点可以包括A节点、B节点、C节点、D节点,二级目标节点可以包括E节点和F节点,E节点需要A节点、B节点和C节点的一级子任务结果来执行自身的二级子任务,F节点需要D节点的一级子任务结果来执行自身的二级子任务,因此可以将E节点的节点信息发送给A节点、B节点和C节点,将F节点的节点信息发送给D节点。
相应的,在采用S3021和S3022完成S302步骤后,S303步骤中获取目标节点发送的子任务结果的操作,即为获取二级目标节点发送的二级子任务结果。
下面对本发明实施例提供的数据安全检测装置进行介绍,下文描述的数据安全检测装置与上文描述的数据安全检测方法可相互对应参照。
请参考图5,图5为本发明实施例提供的一种数据安全检测装置的结构示意图,包括:
目标关联规则获取模块510,用于获取待测数据,根据所述待测数据的特征信息确定目标关联规则;
任务构建模块520,用于在预设业务框架下,利用所述目标关联规则生成所述待测数据对应的安全检测任务;
数据安全检测模块530,用于执行所述安全检测任务,得到任务结果,并生成所述任务结果对应的关联事件。
可选地,任务构建模块520,包括:
规则转换单元,用于对目标关联规则进行转换,得到多个执行算子;
对应关系获取单元,用于获取各个执行算子之间的对应关系;
整合单元,用于按照对应关系,在预设业务框架下将执行算子进行整合,得到安全检测任务。
可选地,数据安全检测模块530,包括:
规则信息获取单元,用于获取目标关联规则对应的规则信息;
生成单元,用于利用规则信息和任务结果生成关联事件。
可选地,还包括:
规则生成模块,用于获取生成指令,并根据生成指令生成关联规则;
规则存储模块,用于将关联规则存储于数据库。
可选地,目标关联规则获取模块510,包括:
流量数据获取单元,用于获取并解析流量数据,得到待测数据;
确定单元,用于获取并解析测试指令,得到特征信息,并将与特征信息相对应的关联规则确定为目标关联规则。
可选地,数据安全检测模块530,包括:
任务分割单元,用于对安全检测任务进行分割处理,得到多个子任务;
子任务分发单元,用于在计算集群中确定多个目标节点,将各个子任务分别发送给各个目标节点,以便目标节点行子任务;
任务结果获取单元,用于获取目标节点发送的子任务结果,并对子任务结果进行汇总处理,得到任务结果。
可选地,子任务分发单元,包括:
第一发送子单元,用于将各个一级子任务分别发送给各个一级目标节点,并将二级子任务发送给二级目标节点;
第二发送子单元,用于将二级目标节点对应的节点信息发送给一级目标节点,以便一级目标节点得到一级子任务结果后,将一级子任务结果发送给二级目标节点;
相应的,任务结果获取单元为获取二级目标节点发送的二级子任务结果的单元。
应用本发明实施例提供的数据安全检测装置,将安全检测任务所需的关联规则与业务框架进行了拆分,在利用目标关联规则获取模块510获取到待测数据后,根据待测数据的特征信息选择对应的目标关联规则,并利用任务构建模块520在预设业务框架下构建安全检测任务。通过利用数据安全检测模块530执行安全检测任务,即可完成对待测数据的处理,得到任务结果,最终利用任务结果生成关联事件。无需编写多个独立的检测代码,通过关联规则和业务框架两个部分完成安全监测任务的生成,通过改变目标关联规则即可对待测数据进行不同情况的检测,得到对应的关联事件,而关联规则的增加或修改所需的工作量远远小于检测代码的编写或修改所需的工作量,减少了所需的工作量,提高了效率。同时无需重复编写代码,因此避免了人力和时间的浪费,解决了现有关联事件获取方法所需工作量较大,浪费大量人力和时间的问题。
下面对本发明实施例提供的数据安全检测设备进行介绍,下文描述的数据安全检测设备与上文描述的数据安全检测方法可相互对应参照。
请参考图6,图6为本发明实施例所提供的一种数据安全检测设备的结构示意图。其中数据安全检测设备600可以包括处理器601和存储器602,还可以进一步包括多媒体组件603、信息输入/信息输出(I/O)接口604以及通信组件605中的一种或多种。
其中,处理器601用于控制数据安全检测设备600的整体操作,以完成上述的数据安全检测方法中的全部或部分步骤;存储器602用于存储各种类型的数据以支持在数据安全检测设备600的操作,这些数据例如可以包括用于在该数据安全检测设备600上操作的任何应用程序或方法的指令,以及应用程序相关的数据。该存储器602可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static RandomAccess Memory,SRAM)、电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory,EEPROM)、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory,EPROM)、可编程只读存储器(Programmable Read-OnlyMemory,PROM)、只读存储器(Read-Only Memory,ROM)、磁存储器、快闪存储器、磁盘或光盘中的一种或多种。
多媒体组件603可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器602或通过通信组件605发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口604为处理器601和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件605用于数据安全检测设备600与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near Field Communication,简称NFC),2G、3G或4G,或它们中的一种或几种的组合,因此相应的该通信组件706可以包括:Wi-Fi部件,蓝牙部件,NFC部件。
数据安全检测设备600可以被一个或多个应用专用集成电路(ApplicationSpecific Integrated Circuit,简称ASIC)、数字信号处理器(Digital SignalProcessor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述实施例给出的数据安全检测方法。
请参考图7,图7为本发明实施例提供的一种应用场景示意图,本实施例将说明在一种具体的应用场景下如何执行本申请提供的数据安全检测方法。本申请中,数据安全检测设备600从安全设备日志中获取待测数据,并构建安全检测任务对待测数据进行检测。具体的,数据安全检测设备600可以接受用户发送的指令,并接收用户输入的安全设备日志或其他设备发送的安全设备日志。在获取安全设备日志后,按照图8所示流程图进行数据安全检测。请参考图8,图8为本发明实施例提供的另一种数据安全检测方法流程图。在开时候加载关联规则,即确定目标关联规则,利用目标关联规则构建关联计算任务,计算任务即为安全检测任务,通过执行任务拆解分发的操作,将关联计算任务拆分为多个子任务并利用多个目标节点分别执行各个子任务。在子任务执行完毕后汇总执行结果,最后生成关联事件,完成对待测数据的数据安全检测操作。
请参考图9,图9为本发明实施例提供的一种多级子任务执行流程图。如上述实施例所述,在一种可能的实施方式中,整个安全检测任务需要分为多级执行,即需要利用上一级的任务结果作为下一级的任务的输入数据,最终得到任务结果,本实施例将说明一种三级关联计算任务的执行过程。在本实施例中,在Flink引擎处理环境下对关联计算任务进行构建和执行。子任务分为一级事件A、一级事件B、一级事件C、二级事件A、二级事件B和三级事件A。利用安全设备日志可以提取出待测数据,并利用待测数据执行一级事件A、一级事件B、一级事件C,在执行完毕后,得到多个一级子任务结果,将一级子任务结果发送给对应的二级目标节点,进而执行二级事件A、二级事件B,在执行完毕后,得到两个二级子任务结果,将二级子任务结果发送给对应的三级目标节点,进而执行三级事件A,即执行三级子任务,得到三级子任务结果,该三级子任务结果即为安全检测任务的任务结果。
下面对本发明实施例提供的计算机可读存储介质进行介绍,下文描述的计算机可读存储介质与上文描述的数据安全检测方法可相互对应参照。
本发明还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述的数据安全检测方法的步骤。
该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应该认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语包括、包含或者其他任何变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
以上对本发明所提供的数据安全检测方法、数据安全检测装置、数据安全检测设备和计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种数据安全检测方法,其特征在于,包括:
获取待测数据,根据所述待测数据的特征信息确定目标关联规则;
对所述目标关联规则进行转换,得到多个执行算子;
获取各个所述执行算子之间的对应关系;
按照所述对应关系,在预设业务框架下将所述执行算子进行整合,得到安全检测任务;
执行所述安全检测任务,得到任务结果,并生成所述任务结果对应的关联事件。
2.根据权利要求1所述的数据安全检测方法,其特征在于,所述生成所述任务结果对应的关联事件,包括:
获取所述目标关联规则对应的规则信息;
利用所述规则信息和所述任务结果生成所述关联事件。
3.根据权利要求1所述的数据安全检测方法,其特征在于,在所述获取待测数据之前,还包括:
获取生成指令,并根据所述生成指令生成关联规则;
将所述关联规则存储于数据库。
4.根据权利要求1所述的数据安全检测方法,其特征在于,所述获取待测数据,根据所述待测数据的特征信息确定目标关联规则,包括:
获取并解析流量数据,得到所述待测数据;
获取并解析测试指令,得到所述特征信息,并将与所述特征信息相对应的关联规则确定为所述目标关联规则。
5.根据权利要求1至4任一项所述的数据安全检测方法,其特征在于,所述执行所述安全检测任务,得到任务结果,包括:
对所述安全检测任务进行分割处理,得到多个子任务;
在计算集群中确定多个目标节点,将各个所述子任务分别发送给各个所述目标节点,以便所述目标节点执行所述子任务;
获取所述目标节点发送的子任务结果,并对所述子任务结果进行汇总处理,得到所述任务结果。
6.根据权利要求5所述的数据安全检测方法,其特征在于,所述将各个所述子任务分别发送给各个所述目标节点,包括:
将各个一级子任务分别发送给各个一级目标节点,并将二级子任务发送给二级目标节点;
将所述二级目标节点对应的节点信息发送给所述一级目标节点,以便所述一级目标节点得到一级子任务结果后,将所述一级子任务结果发送给所述二级目标节点;
相应的,所述获取所述目标节点发送的子任务结果为,获取所述二级目标节点发送的二级子任务结果。
7.一种数据安全检测装置,其特征在于,包括:
目标关联规则获取模块,用于获取待测数据,根据所述待测数据的特征信息确定目标关联规则;
任务构建模块,用于对所述目标关联规则进行转换,得到多个执行算子;获取各个所述执行算子之间的对应关系;按照所述对应关系,在预设业务框架下将所述执行算子进行整合,得到安全检测任务;
数据安全检测模块,用于执行所述安全检测任务,得到任务结果,并生成所述任务结果对应的关联事件。
8.一种数据安全检测设备,其特征在于,包括存储器和处理器,其中:
所述存储器,用于保存计算机程序;
所述处理器,用于执行所述计算机程序,以实现如权利要求1至6任一项所述的数据安全检测方法。
9.一种计算机可读存储介质,其特征在于,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的数据安全检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010186310.2A CN111414619B (zh) | 2020-03-17 | 2020-03-17 | 一种数据安全检测方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010186310.2A CN111414619B (zh) | 2020-03-17 | 2020-03-17 | 一种数据安全检测方法、装置、设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111414619A CN111414619A (zh) | 2020-07-14 |
CN111414619B true CN111414619B (zh) | 2023-11-07 |
Family
ID=71493054
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010186310.2A Active CN111414619B (zh) | 2020-03-17 | 2020-03-17 | 一种数据安全检测方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111414619B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113709189B (zh) * | 2021-10-27 | 2022-02-08 | 北京领御中安科技有限公司 | 检测规则库的生成方法及系统、电子设备、存储介质 |
CN114500038A (zh) * | 2022-01-24 | 2022-05-13 | 深信服科技股份有限公司 | 网络安全检测方法、装置、电子设备及可读存储介质 |
CN116527528B (zh) * | 2023-04-12 | 2024-02-02 | 中国信息通信研究院 | 一种基于流量的数据安全监测系统的测试方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105446799A (zh) * | 2014-08-22 | 2016-03-30 | 阿里巴巴集团控股有限公司 | 一种计算机系统中进行规则管理的方法及系统 |
CN108614862A (zh) * | 2018-03-28 | 2018-10-02 | 国家计算机网络与信息安全管理中心 | 基于流计算引擎的实时标签处理方法和装置 |
CN110334119A (zh) * | 2019-06-21 | 2019-10-15 | 腾讯科技(深圳)有限公司 | 一种数据关联处理方法、装置、设备及介质 |
-
2020
- 2020-03-17 CN CN202010186310.2A patent/CN111414619B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105446799A (zh) * | 2014-08-22 | 2016-03-30 | 阿里巴巴集团控股有限公司 | 一种计算机系统中进行规则管理的方法及系统 |
CN108614862A (zh) * | 2018-03-28 | 2018-10-02 | 国家计算机网络与信息安全管理中心 | 基于流计算引擎的实时标签处理方法和装置 |
CN110334119A (zh) * | 2019-06-21 | 2019-10-15 | 腾讯科技(深圳)有限公司 | 一种数据关联处理方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111414619A (zh) | 2020-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111414619B (zh) | 一种数据安全检测方法、装置、设备及可读存储介质 | |
CN110209652B (zh) | 数据表迁移方法、装置、计算机设备和存储介质 | |
US9350747B2 (en) | Methods and systems for malware analysis | |
CN111431926B (zh) | 一种数据关联分析的方法、系统、设备及可读存储介质 | |
CN110717076A (zh) | 节点管理方法、装置、计算机设备及存储介质 | |
US10956257B2 (en) | Dynamic failure-resolution computing engine | |
CN114490268A (zh) | 全链路监控方法、装置、设备、存储介质和程序产品 | |
US10929258B1 (en) | Method and system for model-based event-driven anomalous behavior detection | |
CN103425572A (zh) | 代码分析方法及代码分析系统 | |
CN109933515B (zh) | 一种回归测试用例集的优化方法和自动优化装置 | |
JP2019197533A (ja) | データ処理システムのデータモジュール管理 | |
CN111026660B (zh) | 一种基于专家系统知识库的渗透测试方法 | |
CN112799785B (zh) | 虚拟机集群迁移方法、装置、设备和介质 | |
CN112241439A (zh) | 一种攻击组织发现方法、装置、介质和设备 | |
CN112688966A (zh) | webshell检测方法、装置、介质和设备 | |
CN113762906A (zh) | 任务周期延迟的告警方法、装置、设备及存储介质 | |
CN111770174A (zh) | 一种云平台部署方法、装置、设备及可读存储介质 | |
CN111104214B (zh) | 一种工作流应用方法及装置 | |
CN113468524A (zh) | 基于rasp的机器学习模型安全检测方法 | |
CN113778864A (zh) | 一种测试用例的生成方法和装置、电子设备和存储介质 | |
CN114491513B (zh) | 基于知识图谱的区块链智能合约重入攻击检测系统与方法 | |
Requeno et al. | Quantitative analysis of apache storm applications: the newsasset case study | |
CN107871055B (zh) | 一种数据分析方法和装置 | |
CN111796993B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN113934432A (zh) | 用于部署机器学习模型的方法、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |