CN111147300A - 一种网络安全告警置信度评估方法及装置 - Google Patents

一种网络安全告警置信度评估方法及装置 Download PDF

Info

Publication number
CN111147300A
CN111147300A CN201911369205.6A CN201911369205A CN111147300A CN 111147300 A CN111147300 A CN 111147300A CN 201911369205 A CN201911369205 A CN 201911369205A CN 111147300 A CN111147300 A CN 111147300A
Authority
CN
China
Prior art keywords
time period
alarm
log
entity
evaluated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911369205.6A
Other languages
English (en)
Other versions
CN111147300B (zh
Inventor
张润滋
刘文懋
刘威歆
张胜军
陈磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NSFOCUS Information Technology Co Ltd
Nsfocus Technologies Inc
Original Assignee
NSFOCUS Information Technology Co Ltd
Nsfocus Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NSFOCUS Information Technology Co Ltd, Nsfocus Technologies Inc filed Critical NSFOCUS Information Technology Co Ltd
Priority to CN201911369205.6A priority Critical patent/CN111147300B/zh
Publication of CN111147300A publication Critical patent/CN111147300A/zh
Application granted granted Critical
Publication of CN111147300B publication Critical patent/CN111147300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/28—Restricting access to network management systems or functions, e.g. using authorisation function to access network configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/101—Access control lists [ACL]

Abstract

本发明公开了一种网络安全告警置信度评估方法及装置，用以解决现有的网络安全告警置信度评估准确性低的问题。所述方法，包括：将每一预设时间周期内接收的日志生成对应的三元组；确定当前时间周期内同一类型日志对应的各三元组的频率因子以及所述同一类型日志对应的所有三元组中的各实体的频率因子；根据待评估告警日志对应的三元组和与所述三元组中的实体相关联的待评估时间周期的前N个时间周期内的各类型的日志对应的三元组构建告警关联图谱；根据构成所述告警关联图谱的各数据边的三元组的频率因子和构成告警关联图谱的各数据点的实体的频率因子，确定待评估告警日志在待评估时间周期内的告警置信度。

Description

一种网络安全告警置信度评估方法及装置
技术领域
本发明涉及信息安全技术领域，尤其涉及一种网络安全告警置信度评估方法及装置。
背景技术
随着网络技术的快速发展，网络安全威胁事件大幅增加。企业侧部署的各种威胁检测设备，每天产生大规模网络安全告警，由于网络行为的动态性，这些告警中存在相当比例的误报。现阶段缺乏有效的评估网络安全告警的置信度的手段，导致安全运维人员浪费大量精力处理误报事件。
现有的网络安全告警置信度评估依赖专家知识和运维过程中积累的黑白名单，例如，将指定类型的告警标记为高置信度告警，或者将指定主机、指定用户产生的告警标记为低置信度告警。此类静态的告警置信度评估方式无法动态反应告警的可信程度，例如，当某白名单中主机产生的告警可能预示该主机已被攻陷用于恶意活动时，静态告警评估会导致该告警无法得到及时响应。
因此，如何提高评估网络安全告警置信度的准确性，是现有技术亟需解决的技术问题之一。
发明内容
为了解决现有的网络安全告警置信度评估准确性低的问题，本发明实施例提供了一种网络安全告警置信度评估方法及装置。
第一方面，本发明实施例提供了一种网络安全告警置信度评估方法，包括：
提取每一预设时间周期内接收的日志中的关键信息，按照预设的三元组模板生成所述日志对应的三元组；
确定当前时间周期内同一类型日志对应的各三元组的频率因子以及所述同一类型日志对应的所有三元组中的各实体的频率因子，其中，所述频率因子用于表征截止到所述当前时间周期出现的频次；
针对任一待评估时间周期内的待评估告警日志，根据所述待评估告警日志对应的三元组和与所述三元组中的实体相关联的所述待评估时间周期的前N个时间周期内的各类型的日志对应的三元组构建告警关联图谱，其中，各三元组构成所述告警关联图谱的数据边，各实体构成所述告警关联图谱的数据点；
根据构成所述告警关联图谱的各数据边的三元组的频率因子和构成所述告警关联图谱的各数据点的实体的频率因子，确定所述待评估告警日志在所述待评估时间周期内的告警置信度。
本发明实施例提供的网络安全告警置信度评估方法，服务器接收按照每一预设时间周期发送来的日志，并提取所述日志中的关键信息，按照预设的三元组模板生成所述日志对应的三元组，确定当前时间周期内同一类型日志对应的各三元组的频率因子以及所述同一类型日志对应的所有三元组中的各实体的频率因子，其中，所述频率因子用于表征截止到当前时间周期出现的频次，即三元组的频率因子为截止到当前时间周期所述三元组出现的频次，实体的频率因子为截止到当前时间周期所述实体出现的频次，针对任一待评估时间周期内的待评估告警日志，根据所述待评估告警日志对应的三元组和与所述三元组中的实体相关联的所述待评估时间周期的前N个周期内的各类型的日志对应的三元组构建告警关联图谱，其中，各三元组构成所述告警关联图谱的数据边，各实体构成所述告警关联图谱的数据点，根据构成所述告警关联图谱的各数据边的三元组的频率因子和构成所述告警关联图谱的各数据点的实体的频率因子，确定所述待评估告警日志在所述待评估时间周期内的告警置信度，根据本发明实施例提供的网络安全告警置信度评估方法，不依赖专家经验和黑白名单的维护，通过对多源数据(不同类型的日志)的关键信息按照统一的三元组结构进行提取，能够有效消除多源数据结构的异构性，并针对待评估时间周期内的待评估告警日志，根据所述待评估告警日志对应的三元组和与所述三元组中的实体相关联的所述待评估时间周期的前N个时间周期内的各类型的日志对应的三元组构建告警关联图谱，通过图谱关联日志的综合评价，动态地评估当前告警日志的异常和关联行为的异常，从而最终确定告警置信度，本发明实施例提供的网络安全告警置信度评估方法，能够根据监测环境数据的动态变化，自适应地评估不同网络环境下的网络安全告警置信度，减少人工干预，提升网络安全告警的处理效率，降低误报影响，提高了网络安全告警置信度评估的准确性，提升真实威胁事件的响应能力。
较佳地，确定当前时间周期内同一类型日志对应的各三元组的频率因子，具体包括：
统计当前时间周期内同一类型日志对应的各三元组的数量，并分别将所述各三元组的数量进行归一化；
针对同一类型日志对应的任一三元组，根据所述当前时间周期的上一时间周期的所述三元组的频率因子和当前时间周期的所述三元组的数量的归一化值确定所述当前时间周期的所述三元组的频率因子；以及
确定当前时间周期内同一类型日志对应的所有三元组中的各实体的频率因子，具体包括：
统计当前时间周期内同一类型日志对应的所有三元组中的各实体的数量，并分别将所述各实体的数量进行归一化；
针对同一类型日志对应的三元组中的任一实体，根据所述当前时间周期的上一时间周期的所述实体的频率因子和当前时间周期的所述实体的数量的归一化值确定所述当前时间周期的所述实体的频率因子。
较佳地，当任一类型日志对应的任一三元组第一次出现时，所述三元组的频率因子为所述类型日志对应的所述三元组的数量的归一化值，当任一类型日志对应的三元组中的任一实体第一次出现时，所述实体的频率因子为所述类型日志对应的三元组中的所述实体的数量的归一化值；以及
针对任一类型日志，通过以下公式计算当前时间周期的任一三元组或实体的频率因子：
fcurrent＝fcurrent-1*α+Nnorm
其中，fcurrent表示当前时间周期的所述三元组或所述实体的频率因子；
fcurrent-1表示所述当前时间周期的上一时间周期的所述三元组或所述实体的频率因子；
α表示衰减系数；
Nnorm表示当前时间周期的所述三元组或所述实体的数量的归一化值。
上述较佳的实施方式表征，频率评价指标频率因子通过衰减系数和新增日志的累加，能够反映所有历史数据频次的同时，逐渐降低历史数据的权重，随着新日志数据按批次到达，历史数据以指数衰减的方式参与到频率因子的计算中，每一批新日志数据的到达都将触发历史数据的衰减，从而能够自适应地感知近期数据的频率属性，即近期越频繁出现的三元组或实体的频率因子的值增加越大，能够有效避免数据的预训练过程，提升自调整能力。
较佳地，根据构成所述告警关联图谱的各数据边的三元组的频率因子和构成所述告警关联图谱的各数据点的实体的频率因子，确定所述待评估告警日志在所述待评估时间周期内的告警置信度，具体包括：
针对构成所述告警关联图谱的每一数据边的三元组，获取所述前N个时间周期内包含有构成所述数据边的三元组的时间周期的上一时间周期的所述三元组的频率因子；
针对构成所述告警关联图谱的每一数据点的实体，获取所述前N个时间周期内包含有构成所述数据点的实体的时间周期的上一时间周期的所述实体的频率因子；
根据所述前N个时间周期内包含有构成所述告警关联图谱的各数据边的三元组的时间周期的上一时间周期内所述三元组的频率因子、所述前N个时间周期内包含有构成所述告警关联图谱的各数据点的实体的时间周期的上一时间周期内所述实体的频率因子，以及构成所述告警关联图谱的各数据边的三元组与构成所述告警关联图谱的各数据点的实体和所述待评估告警日志对应的三元组的关联关系，确定所述待评估告警日志在所述待评估时间周期内的告警置信度。
较佳地，通过以下公式计算待评估告警日志在所述待评估时间周期内的告警置信度：
Figure BDA0002339218530000051
其中，f'表示待评估告警日志在所述待评估时间周期内的告警置信度；
fi-1表示所述前N个时间周期内包含有构成所述告警关联图谱的数据边的三元组的第i个时间周期的上一时间周期的所述三元组的频率因子，i＝1,2,...,m，m表示出现所述三元组的时间周期的个数，或者表示所述前N个时间周期内包含有构成所述告警关联图谱的数据点的实体的第i个时间周期的上一时间周期的所述实体的频率因子，i＝1,2,...,m，m表示出现所述实体的时间周期的个数；
Nhop表示构成所述告警关联图谱的数据边的三元组或构成所述告警关联图谱的数据点的实体距离所述待评估告警日志对应的三元组中的最近的实体的跳数。
上述较佳的实施方式表征，通过图谱结构提取告警关联日志，能够有效提取告警产生的上下文信息，将告警关联事件日志的三元组的频率因子、实体的频率因子进行基于图谱上距离(即跳数)的聚合，能够充分反映告警及关联上下文日志的异常程度。
可选地，在确定所述待评估告警日志在所述待评估时间周期内的告警置信度之后，所述方法，还包括：
将所述告警置信度进行归一化。
第二方面，本发明实施例提供了一种网络安全告警置信度评估装置，包括：
提取单元，用于提取每一预设时间周期内接收的日志中的关键信息，按照预设的三元组模板生成所述日志对应的三元组；
第一确定单元，用于确定当前时间周期内同一类型日志对应的各三元组的频率因子以及所述同一类型日志对应的所有三元组中的各实体的频率因子，其中，所述频率因子用于表征截止到所述当前时间周期出现的频次；
告警关联图谱构建单元，用于针对任一待评估时间周期内的待评估告警日志，根据所述待评估告警日志对应的三元组和与所述三元组中的实体相关联的所述待评估时间周期的前N个时间周期内的各类型的日志对应的三元组构建告警关联图谱，其中，各三元组构成所述告警关联图谱的数据边，各实体构成所述告警关联图谱的数据点；
第二确定单元，用于根据构成所述告警关联图谱的各数据边的三元组的频率因子和构成所述告警关联图谱的各数据点的实体的频率因子，确定所述待评估告警日志在所述待评估时间周期内的告警置信度。
较佳地，所述第一确定单元，具体用于统计当前时间周期内同一类型日志对应的各三元组的数量，并分别将所述各三元组的数量进行归一化；针对同一类型日志对应的任一三元组，根据所述当前时间周期的上一时间周期的所述三元组的频率因子和当前时间周期的所述三元组的数量的归一化值确定所述当前时间周期的所述三元组的频率因子；以及统计当前时间周期内同一类型日志对应的所有三元组中的各实体的数量，并分别将所述各实体的数量进行归一化；针对同一类型日志对应的三元组中的任一实体，根据所述当前时间周期的上一时间周期的所述实体的频率因子和当前时间周期的所述实体的数量的归一化值确定所述当前时间周期的所述实体的频率因子。
较佳地，当任一类型日志对应的任一三元组第一次出现时，所述三元组的频率因子为所述类型日志对应的所述三元组的数量的归一化值，当任一类型日志对应的三元组中的任一实体第一次出现时，所述实体的频率因子为所述类型日志对应的三元组中的所述实体的数量的归一化值；以及
所述第一确定单元，具体用于针对任一类型日志，通过以下公式计算当前时间周期的任一三元组或实体的频率因子：
fcurrent＝fcurrent-1*α+Nnorm
其中，fcurrent表示当前时间周期的所述三元组或所述实体的频率因子；
fcurrent-1表示所述当前时间周期的上一时间周期的所述三元组或所述实体的频率因子；
α表示衰减系数；
Nnorm表示当前时间周期的所述三元组或所述实体的数量的归一化值。
较佳地，所述第二确定单元，具体用于针对构成所述告警关联图谱的每一数据边的三元组，获取所述前N个时间周期内包含有构成所述数据边的三元组的时间周期的上一时间周期的所述三元组的频率因子；针对构成所述告警关联图谱的每一数据点的实体，获取所述前N个时间周期内包含有构成所述数据点的实体的时间周期的上一时间周期的所述实体的频率因子；根据所述前N个时间周期内包含有构成所述告警关联图谱的各数据边的三元组的时间周期的上一时间周期内所述三元组的频率因子、所述前N个时间周期内包含有构成所述告警关联图谱的各数据点的实体的时间周期的上一时间周期内所述实体的频率因子，以及构成所述告警关联图谱的各数据边的三元组与构成所述告警关联图谱的各数据点的实体和所述待评估告警日志对应的三元组的关联关系，确定所述待评估告警日志在所述待评估时间周期内的告警置信度。
较佳地，所述第二确定单元，具体用于通过以下公式计算待评估告警日志在所述待评估时间周期内的告警置信度：
Figure BDA0002339218530000071
其中，f'表示待评估告警日志在所述待评估时间周期内的告警置信度；
fi-1表示所述前N个时间周期内包含有构成所述告警关联图谱的数据边的三元组的第i个时间周期的上一时间周期的所述三元组的频率因子，i＝1,2,...,m，m表示出现所述三元组的时间周期的个数，或者表示所述前N个时间周期内包含有构成所述告警关联图谱的数据点的实体的第i个时间周期的上一时间周期的所述实体的频率因子，i＝1,2,...,m，m表示出现所述实体的时间周期的个数；
Nhop表示构成所述告警关联图谱的数据边的三元组或构成所述告警关联图谱的数据点的实体距离所述待评估告警日志对应的三元组中的最近的实体的跳数。
可选地，所述装置，还包括：
归一化单元，用于在确定所述待评估告警日志在所述待评估时间周期内的告警置信度之后，将所述告警置信度进行归一化。
本发明提供的网络安全告警置信度评估装置的技术效果可以参见上述第一方面或第一方面的各个实现方式的技术效果，此处不再赘述。
第三方面，本发明实施例提供了一种通信设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明所述的网络安全告警置信度评估方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明所述的网络安全告警置信度评估方法中的步骤。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例提供的网络安全告警置信度评估方法的实施流程示意图；
图2为本发明实施例中，确定当前时间周期内同一类型日志对应的各三元组的频率因子的实施流程示意图；
图3为本发明实施例中，确定当前时间周期内同一类型日志对应的所有三元组中的各实体的频率因子的实施流程示意图；
图4为本发明实施例中，告警关联图谱示例示意图；
图5为本发明实施例中，确定待评估告警日志在待评估时间周期内的告警置信度的实施流程示意图；
图6为本发明实施例中，图4中的告警关联图谱中的各数据边和数据点的Nhop取值示意图；
图7为本发明实施例中，另一待评估时间周期内告警关联图谱中的各数据边和数据点的Nhop取值示例示意图；
图8为本发明实施例提供的网络安全告警置信度评估装置的结构示意图；
图9为本发明实施例提供的通信设备的结构示意图。
具体实施方式
为了解决现有的网络安全告警置信度评估准确性低的问题，本发明实施例提供了一种网络安全告警置信度评估方法及装置。
以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
如图1所示，其为本发明实施例提供的网络安全告警置信度评估方法的实施流程示意图，可以包括以下步骤：
S11、提取每一预设时间周期内接收的日志中的关键信息，按照预设的三元组模板生成所述日志对应的三元组。
具体实施时，服务器提取每一预设时间周期内接收的日志中的关键信息，按照预设的三元组模板生成所述日志对应的三元组，其中，所述日志按类型至少划分为告警日志、网络日志和终端日志。终端日志包括：进程日志、文件日志、网络行为日志等。
本发明实施例中，预设时间周期可以根据需要自行设定，本发明实施例对此不作限定。例如时间周期可以为10分钟，即每10分钟接收一批日志数据。预设的三元组模板可以为(Subject,Predicate,Object)(主语，谓语，宾语)的形式，其中，Subject和Object为三元组中的实体，Predicate表示实体Subject和Object之间的关系。例如，终端侧进程日志，可提取为(父进程，启动，子进程)，终端侧文件日志可提取为(进程，写入，文件)，终端侧网络日志可提取为(进程，关联，IP)，网络日志可提取为(IP，连接，IP)，告警日志可提取为(IP，触发，告警类型)，(告警类型，指向，IP)，例如(IP1，Trigger，SSH登录告警)，(SSH登录告警，Target，IP2)等等。
S12、确定当前时间周期内同一类型日志对应的各三元组的频率因子以及所述同一类型日志对应的所有三元组中的各实体的频率因子。
其中，所述频率因子用于表征截止到所述当前时间周期出现的频次，所述三元组的频率因子表征截止到所述当前时间周期所述三元组出现的频次，所述实体的频率因子表征截止到所述当前时间周期所述实体出现的频次。
具体实施时，按照如图2所示的流程确定当前时间周期内同一类型日志对应的各三元组的频率因子，可以包括以下步骤:
S21、统计当前时间周期内同一类型日志对应的各三元组的数量，并分别将所述各三元组的数量进行归一化。
具体实施时，服务器针对每一时间周期，提取当前时间周期内同一类型日志对应的各三元组的数量，并分别将各三元组的数量进行归一化。
具体地，针对每一三元组，可以通过以下公式对所述三元组的数量进行归一化：
Figure BDA0002339218530000111
其中，Nnorm表示三元组的数量的归一化值；
Figure BDA0002339218530000112
Nmap为Nraw经过Logistic函数的映射值，Nraw表示所述三元组的数量，L是Logistic函数的系数，可以取值为100，k是Logistic函数的参数，可以取值为1；
Nmin为Nmap的最小值，Nmax为Nmap的最大值。
归一化后的三元组的信息如下：
(Subject1,Predicate1,Object1)，Nnorm1
(Subject2,Predicate2,Object2)，Nnorm2
……
较佳地，本发明实施例中，先将三元组的数量进行Logistic函数映射，是为了避免当前时间周期内存在出现次数过多的三元组导致出现次数较少的三元组的归一化值过小。
S22、针对同一类型日志对应的任一三元组，根据所述当前时间周期的上一时间周期的所述三元组的频率因子和当前时间周期的所述三元组的数量的归一化值确定所述当前时间周期的所述三元组的频率因子。
具体实施时，服务器针对每一类型日志对应的任一三元组，根据所述当前时间周期的上一时间周期的所述三元组的频率因子和当前时间周期的所述三元组数量的归一化值确定当前时间周期的所述三元组的频率因子，并将所述三元组的频率因子的值按照对应的时间周期存储于预设的所述类型日志的三元组库中。
其中，三元组的频率因子表征截止到所述当前时间周期所述三元组出现的频次。
初始时，任一类型日志对应的任一三元组的频率因子为所述类型日志对应的所述三元组的数量的归一化值，也就是当任一类型日志对应的任一三元组第一次出现时，所述三元组的频率因子为所述类型日志对应的所述三元组的数量的归一化值。
具体实施时，针对任一类型日志，可以通过以下公式计算当前时间周期的任一三元组的频率因子：
fcurrent＝fcurrent-1*α+Nnorm
其中，fcurrent表示当前时间周期的所述三元组的频率因子；
fcurrent-1表示所述当前时间周期的上一时间周期的所述三元组的频率因子；
α表示衰减系数；
Nnorm表示当前时间周期的所述三元组的数量的归一化值。
具体实施时，α可以取值0.99，此处不作限定。
具体实施时，按照如图3所示的流程确定当前时间周期内同一类型日志对应的所有三元组中的各实体的频率因子，可以包括以下步骤：
S31、统计当前时间周期内同一类型日志对应的所有三元组中的各实体的数量，并分别将所述各实体的数量进行归一化。
具体实施时，服务器针对每一时间周期，提取当前时间周期内同一类型日志对应的所有三元组中的各实体的数量，并分别将所述各实体的数量进行归一化。
例如，当前时间周期内的告警日志对应的三元组有：(IP1，Trigger，SSH登录告警)，(SSH登录告警，Target，IP2)，数量各为10个，则当前时间周期内的告警日志对应的三元组中的实体分别为：IP1，10个；SSH登录告警，20个；IP2，10个。当前时间周期内的终端日志对应的三元组有：(IP2，启动，进程1)，1个；(IP2，连接，IP3)，1个；(IP3，启动，进程2)，1个，则当前时间周期内的终端日志对应的三元组中的实体分别为：IP2，2个；IP3，2个；进程1，1个；进程2，1个。
进而，对实体的数量进行归一化的方法与步骤S21中对三元组的数量进行归一化的方法相同，此处不再赘述。
S32、针对同一类型日志对应的三元组中的任一实体，根据所述当前时间周期的上一时间周期的所述实体的频率因子和当前时间周期的所述实体的数量的归一化值确定所述当前时间周期的所述实体的频率因子。
具体实施时，服务器针对任一类型日志对应的三元组中的任一实体，根据所述当前时间周期的上一时间周期的所述实体的频率因子和当前时间周期的所述实体的数量的归一化值确定所述当前时间周期的所述实体的频率因子，并将所述实体的频率因子的值按照对应的时间周期存储于预设的所述类型日志的实体库中。其中，实体的频率因子表征截止到所述当前时间周期所述实体出现的频次。
初始时，任一类型日志对应的三元组中的任一实体的频率因子为所述类型日志对应的三元组中的所述实体的数量的归一化值，也就是说，当任一类型日志对应的三元组中的任一实体第一次出现时，所述实体的频率因子为所述类型日志对应的三元组中的所述实体的数量的归一化值。
具体实施时，实体的频率因子的计算与步骤S22中三元组的频率因子的计算方法相同。
具体地，针对任一类型日志，可以通过以下公式计算当前时间周期的任一实体的频率因子：
fcurrent＝fcurrent-1*α+Nnorm
其中，fcurrent表示当前时间周期的所述实体的频率因子；
fcurrent-1表示所述当前时间周期的上一时间周期的所述实体的频率因子；
α表示衰减系数；
Nnorm表示当前时间周期的所述实体的数量的归一化值。
具体实施时，α可以取值0.99，此处不作限定。
例如，初始时，第一个时间周期T1内，只接收到告警日志，告警日志对应的三元组库中存储的数据如表1所示：
Figure BDA0002339218530000141
表1
其中，T1内的三元组(IP1，Trigger，SSH登录告警)的频率因子的值即为三元组(IP1，Trigger，SSH登录告警)的数量的归一化值。三元组(SSH登录告警，Target，IP2)的频率因子的值即为三元组(SSH登录告警，Target，IP2)的数量的归一化值。
告警日志对应的实体库中存储的数据如表2所示：
实体 T1内的实体的频率因子
IP1 0.3
IP2 0.3
SSH登录告警 0.3
表2
其中，T1内的实体“IP1”的频率因子的值即为“IP1”的数量的归一化值，实体“IP2”的频率因子的值即为“IP2”，实体“SSH登录告警”的频率因子的值即为“SSH登录告警”的数量的归一化值。
假设，在下一时间周期即第二个时间周期T2接收到的日志中仍包含在T1内接收到的告警日志，则分别在告警日志对应的三元组库中增加一列，记录T2内对应三元组的频率因子；在告警日志对应的实体库中增加一列，记录T2内对应实体的频率因子。
具体地，假设α取值0.9，T2内的三元组的频率因子的值即为上一时间周期T1内的三元组的频率因子的值乘以α，再加上T2内三元组的数量的归一化值，则告警日志对应的三元组库中存储的数据更新如表1所示：
Figure BDA0002339218530000151
表3
同理，告警日志对应的实体库中存储的数据更新如表4所示：
实体 T1内的实体的频率因子 T2内的实体的频率因子
IP1 0.3 0.3*0.9+0.7
IP2 0.3 0.3*0.9+0.8
SSH登录告警 0.3 0.3*0.9+0.6
表4
假设，在时间周期T2接收到的日志中还包括终端日志，则终端日志对应的三元组库中存储的数据如表5所示：
Figure BDA0002339218530000152
表5
其中，由于三元组(IP2，启动，进程1)、三元组(IP2，连接，IP3)和三元组(IP3，启动，进程2)在T2内第一次出现，则其之前的时间周期T1内上述各三元组的频率因子默认为0，T2内的各三元组的频率因子为各三元组的数据的归一化值。
同理，终端日志对应的实体库中存储的数据如表6所示：
实体 T1内的实体的频率因子 T2内的实体的频率因子
IP2 0 0+0.3
IP3 0 0+0.3
进程1 0 0+0.2
进程2 0 0+0.2
表6
以此类推，每增加一个时间周期的数据，对应类型日志的三元组库和实体库将增加一列，记录该时间周期内所述三元组的频率因子和实体的频率因子的值，此处不作赘述。
S13、针对任一待评估时间周期内的待评估告警日志，根据所述待评估告警日志对应的三元组和与所述三元组中的实体相关联的所述待评估时间周期的前N个时间周期内的各类型的日志对应的三元组构建告警关联图谱。
具体实施时，服务器针对任一待评估时间周期内的待评估告警日志，根据所述待评估告警日志对应的三元组和与所述三元组中的实体相关联的所述待评估时间周期的前N个时间周期内的各类型的日志对应的三元组构建告警关联图谱，其中，各三元组构成所述告警关联图谱的数据边，各实体构成所述告警关联图谱的数据点，N可以为大于等于1的整数。
延续上例，取N为1，假设评估第三个时间周期T3内的告警日志，则根据告警日志对应的三元组(IP1，Trigger，SSH登录告警)、(SSH登录告警，Target，IP2)，以及上一时间周期内T2内的终端日志对应的三元组(IP2，启动，进程1)、(IP2，连接，IP3)和(IP3，启动，进程2)构建告警关联图谱，如图4所示，其中，三元组(IP1，Trigger，SSH登录告警)和(SSH登录告警，Target，IP2)构成告警数据边，实体IP1、SSH登录告警和IP2构成告警数据点，与数据点IP2相关联的三元组(IP2，启动，进程1)、(IP2，连接，IP3)构成另外两条数据边，实体“进程1”、“IP3”构成数据点，依次连接，和IP3相关联的三元组(IP3，启动，进程2)构成数据边，实体“进程2”构成数据点，数据边的指向对应三元组中实体的指向。
S14、根据构成所述告警关联图谱的各数据边的三元组的频率因子和构成所述告警关联图谱的各数据点的实体的频率因子，确定所述待评估告警日志在所述待评估时间周期内的告警置信度。
具体实施时，服务器根据构成所述告警关联图谱的各数据边的三元组的频率因子和构成所述告警关联图谱的各数据点的实体的频率因子，确定所述待评估告警日志在所述待评估时间周期内的告警置信度。
具体实施时，按照如图5所示的流程确定待评估告警日志在待评估时间周期内的告警置信度，可以包括以下步骤：
S41、针对构成所述告警关联图谱的每一数据边的三元组，获取所述前N个时间周期内包含有构成所述数据边的三元组的时间周期的上一时间周期的所述三元组的频率因子。
具体实施时，服务器针对构成所述告警关联图谱的每一数据边的三元组，获取所述前N个时间周期内包含有构成所述数据边的三元组的时间周期的上一时间周期的所述三元组的频率因子。当所述前N个时间周期内包含有构成所述数据边的三元组的时间周期是第一个时间周期时，它的前一个时间周期不存在，则此时所述三元组的频率因子以一个预设值作为默认值，该预设值取一个较小的值，例如0.01。
S42、针对构成告警关联图谱的每一数据点的实体，获取所述前N个时间周期内包含有构成所述数据点的实体的时间周期的上一时间周期的所述实体的频率因子。
具体实施时，服务器针对构成告警关联图谱的每一数据点的实体，获取所述前N个时间周期内包含有构成所述数据点的实体的时间周期的上一时间周期的所述实体的频率因子。其中，所述前N个时间周期内包含有构成所述数据点的实体的时间周期的上一时间周期的所述实体的频率因子的值所述前N个时间周期内包含有构成所述数据点的实体的时间周期的上一时间周期的各类型日志对应的所述实体的频率因子的平均值。当所述前N个时间周期内包含有构成所述数据点的实体的时间周期是第一个时间周期时，它的前一个时间周期不存在，则此时所述实体的频率因子以一个预设值作为默认值，该预设值取一个较小的值，例如0.01。
需要说明的是，本发明实施例对步骤S41和步骤S42的执行顺序不作限定可以先执行步骤S41再执行步骤S42，也可以先执行步骤S42再执行步骤S41，也可以同时执行步骤S41和步骤S42。
S43、根据所述前N个时间周期内包含有构成所述告警关联图谱的各数据边的三元组的时间周期的上一时间周期内所述三元组的频率因子、所述前N个时间周期内包含有构成所述告警关联图谱的各数据点的实体的时间周期的上一时间周期内所述实体的频率因子，以及构成所述告警关联图谱的各数据边的三元组与构成所述告警关联图谱的各数据点的实体和所述待评估告警日志对应的三元组的关联关系，确定所述待评估告警日志在所述待评估时间周期内的告警置信度。
具体实施时，可以通过以下公式计算待评估告警日志在所述待评估时间周期内的告警置信度：
Figure BDA0002339218530000181
其中，f'表示待评估告警日志在所述待评估时间周期内的告警置信度；
fi-1表示所述前N个时间周期内包含有构成所述告警关联图谱的数据边的三元组的第i个时间周期的上一时间周期的所述三元组的频率因子，i＝1,2,...,m，m表示出现所述三元组的时间周期的个数，或者表示所述前N个时间周期内包含有构成所述告警关联图谱的数据点的实体的第i个时间周期的上一时间周期的所述实体的频率因子，i＝1,2,...,m，m表示出现所述实体的时间周期的个数；
Nhop表示构成所述告警关联图谱的数据边的三元组或构成所述告警关联图谱的数据点的实体距离所述待评估告警日志对应的三元组中的最近的实体的跳数。
其中，所述前N个时间周期内包含有构成所述告警关联图谱的数据点的实体的第i个时间周期的上一时间周期的所述实体的频率因子的值等于所述前N个时间周期内包含有构成所述告警关联图谱的数据点的实体的第i个时间周期的上一时间周期的各类型日志对应的所述实体的频率因子的平均值。
上述公式的意义在于，距离待评估告警日志构成的告警关联图谱中的数据点越远的数据边和数据点对应的告警置信度值贡献越小，即乘以一个距离系数，这符合威胁事件的直观发现方法：威胁事件最直接关联的事件异常度越大，威胁程度越高，距离远的事件相关性低，对该威胁事件的评估影响更小。
仍延续上例，图4中的告警关联图谱中的各数据边和数据点的Nhop取值如图6所示，告警数据边和数据点的Nhop值为0，距离告警日志对应的三元组中最近的实体点(即与所述三元组中包含的实体直接相连)的数据边的Nhop值为0，其它实体构成的数据点和三元组构成的数据边的Nhop值随距离增加依次加1，本发明实施例一种可能的实施方式中，Nhop值的取值范围可以为0～9，本发明实施例对此不作限定。如图7所示，为另一待评估时间周期内告警关联图谱中的各数据边和数据点的Nhop取值示意图。
进而，基于告警置信度的值对待评估时间周期内所有告警日志进行排序，以支持告警处理的优先级，降低误报告警等低置信度告警对真实事件处理的影响。
较佳地，在确定所述待评估告警日志在所述待评估时间周期内的告警置信度之后，将所述告警置信度进行归一化。
本发明实施例提供的网络安全告警置信度评估方法，服务器接收按照每一预设时间周期发送来的日志，并提取所述日志中的关键信息，按照预设的三元组模板生成所述日志对应的三元组，确定当前时间周期内同一类型日志对应的各三元组的频率因子以及所述同一类型日志对应的所有三元组中的各实体的频率因子，其中，所述频率因子用于表征截止到当前时间周期出现的频次，即三元组的频率因子为截止到当前时间周期所述三元组出现的频次，实体的频率因子为截止到当前时间周期所述实体出现的频次，针对任一待评估时间周期内的待评估告警日志，根据所述待评估告警日志对应的三元组和与所述三元组中的实体相关联的所述待评估时间周期的前N个周期内的各类型的日志对应的三元组构建告警关联图谱，其中，各三元组构成所述告警关联图谱的数据边，各实体构成所述告警关联图谱的数据点，根据构成所述告警关联图谱的各数据边的三元组的频率因子和构成所述告警关联图谱的各数据点的实体的频率因子，确定所述待评估告警日志在所述待评估时间周期内的告警置信度，根据本发明实施例提供的网络安全告警置信度评估方法，不依赖专家经验和黑白名单的维护，通过对多源数据(不同类型的日志)的关键信息按照统一的三元组结构进行提取，能够有效消除多源数据结构的异构性，并针对待评估时间周期内的待评估告警日志，根据所述待评估告警日志对应的三元组和与所述三元组中的实体相关联的所述待评估时间周期的前N个时间周期内的各类型的日志对应的三元组构建告警关联图谱，通过图谱关联日志的综合评价，动态地评估当前告警日志的异常和关联行为的异常，从而最终确定告警的置信度，本发明实施例提供的网络安全告警置信度评估方法，能够根据监测环境数据的动态变化，自适应地评估不同网络环境下的网络安全告警置信度，减少人工干预，提升网络安全告警的处理效率，降低误报影响，提高了网络安全告警置信度评估的准确性，提升真实威胁事件的响应能力。
基于同一发明构思，本发明实施例还提供了一种网络安全告警置信度评估装置，由于上述网络安全告警置信度评估装置解决问题的原理与网络安全告警置信度评估方法相似，因此上述装置的实施可以参见方法的实施，重复之处不再赘述。
如图8所示，其为本发明实施例提供的网络安全告警置信度评估装置的结构示意图，可以包括：
提取单元51，用于提取每一预设时间周期内接收的日志中的关键信息，按照预设的三元组模板生成所述日志对应的三元组；
第一确定单元52，用于确定当前时间周期内同一类型日志对应的各三元组的频率因子以及所述同一类型日志对应的所有三元组中的各实体的频率因子，其中，所述频率因子用于表征截止到所述当前时间周期出现的频次；
告警关联图谱构建单元53，用于针对任一待评估时间周期内的待评估告警日志，根据所述待评估告警日志对应的三元组和与所述三元组中的实体相关联的所述待评估时间周期的前N个时间周期内的各类型的日志对应的三元组构建告警关联图谱，其中，各三元组构成所述告警关联图谱的数据边，各实体构成所述告警关联图谱的数据点；
第二确定单元54，用于根据构成所述告警关联图谱的各数据边的三元组的频率因子和构成所述告警关联图谱的各数据点的实体的频率因子，确定所述待评估告警日志在所述待评估时间周期内的告警置信度。
较佳地，所述第一确定单元52，具体用于统计当前时间周期内同一类型日志对应的各三元组的数量，并分别将所述各三元组的数量进行归一化；针对同一类型日志对应的任一三元组，根据所述当前时间周期的上一时间周期的所述三元组的频率因子和当前时间周期的所述三元组的数量的归一化值确定所述当前时间周期的所述三元组的频率因子；以及统计当前时间周期内同一类型日志对应的所有三元组中的各实体的数量，并分别将所述各实体的数量进行归一化；针对同一类型日志对应的三元组中的任一实体，根据所述当前时间周期的上一时间周期的所述实体的频率因子和当前时间周期的所述实体的数量的归一化值确定所述当前时间周期的所述实体的频率因子。
较佳地，当任一类型日志对应的任一三元组第一次出现时，所述三元组的频率因子为所述类型日志对应的所述三元组的数量的归一化值，当任一类型日志对应的三元组中的任一实体第一次出现时，所述实体的频率因子为所述类型日志对应的三元组中的所述实体的数量的归一化值；以及
所述第一确定单元52，具体用于针对任一类型日志，通过以下公式计算当前时间周期的任一三元组或实体的频率因子：
fcurrent＝fcurrent-1*α+Nnorm
其中，fcurrent表示当前时间周期的所述三元组或所述实体的频率因子；
fcurrent-1表示所述当前时间周期的上一时间周期的所述三元组或所述实体的频率因子；
α表示衰减系数；
Nnorm表示当前时间周期的所述三元组或所述实体的数量的归一化值。
较佳地，所述第二确定单元54，具体用于针对构成所述告警关联图谱的每一数据边的三元组，获取所述前N个时间周期内包含有构成所述数据边的三元组的时间周期的上一时间周期的所述三元组的频率因子；针对构成所述告警关联图谱的每一数据点的实体，获取所述前N个时间周期内包含有构成所述数据点的实体的时间周期的上一时间周期的所述实体的频率因子；根据所述前N个时间周期内包含有构成所述告警关联图谱的各数据边的三元组的时间周期的上一时间周期内所述三元组的频率因子、所述前N个时间周期内包含有构成所述告警关联图谱的各数据点的实体的时间周期的上一时间周期内所述实体的频率因子，以及构成所述告警关联图谱的各数据边的三元组与构成所述告警关联图谱的各数据点的实体和所述待评估告警日志对应的三元组的关联关系，确定所述待评估告警日志在所述待评估时间周期内的告警置信度。
较佳地，所述第二确定单元54，具体用于通过以下公式计算待评估告警日志在所述待评估时间周期内的告警置信度：
Figure BDA0002339218530000221
其中，f'表示待评估告警日志在所述待评估时间周期内的告警置信度；
fi-1表示所述前N个时间周期内包含有构成所述告警关联图谱的数据边的三元组的第i个时间周期的上一时间周期的所述三元组的频率因子，i＝1,2,...,m，m表示出现所述三元组的时间周期的个数，或者表示所述前N个时间周期内包含有构成所述告警关联图谱的数据点的实体的第i个时间周期的上一时间周期的所述实体的频率因子，i＝1,2,...,m，m表示出现所述实体的时间周期的个数；
Nhop表示构成所述告警关联图谱的数据边的三元组或构成所述告警关联图谱的数据点的实体距离所述待评估告警日志对应的三元组中的最近的实体的跳数。
可选地，所述装置，还包括：
归一化单元，用于在确定所述待评估告警日志在所述待评估时间周期内的告警置信度之后，将所述告警置信度进行归一化。
基于同一技术构思，本发明实施例还提供了一种通信设备600，参照图9所示，通信设备600用于实施上述方法实施例记载的网络安全告警置信度评估方法，该实施例的通信设备600可以包括：存储器601、处理器602以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如网络安全告警置信度评估程序。所述处理器执行所述计算机程序时实现上述各个网络安全告警置信度评估方法实施例中的步骤，例如图1所示的步骤S11。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如51。
本发明实施例中不限定上述存储器601、处理器602之间的具体连接介质。本申请实施例在图9中以存储器601、处理器602之间通过总线603连接，总线603在图9中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线603可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器601可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器601也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器601是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器601可以是上述存储器的组合。
处理器602，用于实现如图1所示的一种网络安全告警置信度评估方法，包括：
所述处理器602，用于调用所述存储器601中存储的计算机程序执行如图1中所示的步骤S11、提取每一预设时间周期内接收的日志中的关键信息，按照预设的三元组模板生成所述日志对应的三元组，步骤S12、确定当前时间周期内同一类型日志对应的各三元组的频率因子以及所述同一类型日志对应的所有三元组中的各实体的频率因子，步骤S13、针对任一待评估时间周期内的待评估告警日志，根据所述待评估告警日志对应的三元组和与所述三元组中的实体相关联的所述待评估时间周期的前N个时间周期内的各类型的日志对应的三元组构建告警关联图谱，和步骤S14、根据构成所述告警关联图谱的各数据边的三元组的频率因子和构成所述告警关联图谱的各数据点的实体的频率因子，确定所述待评估告警日志在所述待评估时间周期内的告警置信度。
本申请实施例还提供了一种计算机可读存储介质，存储为执行上述处理器所需执行的计算机可执行指令，其包含用于执行上述处理器所需执行的程序。
在一些可能的实施方式中，本发明提供的网络安全告警置信度评估方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在通信设备上运行时，所述程序代码用于使所述通信设备执行本说明书上述描述的根据本发明各种示例性实施方式的网络安全告警置信度评估方法中的步骤，例如，所述通信设备可以执行如图1中所示的步骤S11、提取每一预设时间周期内接收的日志中的关键信息，按照预设的三元组模板生成所述日志对应的三元组，步骤S12、确定当前时间周期内同一类型日志对应的各三元组的频率因子以及所述同一类型日志对应的所有三元组中的各实体的频率因子，步骤S13、针对任一待评估时间周期内的待评估告警日志，根据所述待评估告警日志对应的三元组和与所述三元组中的实体相关联的所述待评估时间周期的前N个时间周期内的各类型的日志对应的三元组构建告警关联图谱，和步骤S14、根据构成所述告警关联图谱的各数据边的三元组的频率因子和构成所述告警关联图谱的各数据点的实体的频率因子，确定所述待评估告警日志在所述待评估时间周期内的告警置信度。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本发明的实施方式的用于网络安全告警置信度评估的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种网络安全告警置信度评估方法，其特征在于，包括：
提取每一预设时间周期内接收的日志中的关键信息，按照预设的三元组模板生成所述日志对应的三元组；
确定当前时间周期内同一类型日志对应的各三元组的频率因子以及所述同一类型日志对应的所有三元组中的各实体的频率因子，其中，所述频率因子用于表征截止到所述当前时间周期出现的频次；
针对任一待评估时间周期内的待评估告警日志，根据所述待评估告警日志对应的三元组和与所述三元组中的实体相关联的所述待评估时间周期的前N个时间周期内的各类型的日志对应的三元组构建告警关联图谱，其中，各三元组构成所述告警关联图谱的数据边，各实体构成所述告警关联图谱的数据点；
根据构成所述告警关联图谱的各数据边的三元组的频率因子和构成所述告警关联图谱的各数据点的实体的频率因子，确定所述待评估告警日志在所述待评估时间周期内的告警置信度。
2.如权利要求1所述的方法，其特征在于，
确定当前时间周期内同一类型日志对应的各三元组的频率因子，具体包括：
统计当前时间周期内同一类型日志对应的各三元组的数量，并分别将所述各三元组的数量进行归一化；
针对同一类型日志对应的任一三元组，根据所述当前时间周期的上一时间周期的所述三元组的频率因子和当前时间周期的所述三元组的数量的归一化值确定所述当前时间周期的所述三元组的频率因子；以及
确定当前时间周期内同一类型日志对应的所有三元组中的各实体的频率因子，具体包括：
统计当前时间周期内同一类型日志对应的所有三元组中的各实体的数量，并分别将所述各实体的数量进行归一化；
针对同一类型日志对应的三元组中的任一实体，根据所述当前时间周期的上一时间周期的所述实体的频率因子和当前时间周期的所述实体的数量的归一化值确定所述当前时间周期的所述实体的频率因子。
3.如权利要求2所述的方法，其特征在于，当任一类型日志对应的任一三元组第一次出现时，所述三元组的频率因子为所述类型日志对应的所述三元组的数量的归一化值，当任一类型日志对应的三元组中的任一实体第一次出现时，所述实体的频率因子为所述类型日志对应的三元组中的所述实体的数量的归一化值；以及
针对任一类型日志，通过以下公式计算当前时间周期的任一三元组或实体的频率因子：
fcurrent＝fcurrent-1*α+Nnorm
其中，fcurrent表示当前时间周期的所述三元组或所述实体的频率因子；
fcurrent-1表示所述当前时间周期的上一时间周期的所述三元组或所述实体的频率因子；
α表示衰减系数；
Nnorm表示当前时间周期的所述三元组或所述实体的数量的归一化值。
4.如权利要求1所述的方法，其特征在于，根据构成所述告警关联图谱的各数据边的三元组的频率因子和构成所述告警关联图谱的各数据点的实体的频率因子，确定所述待评估告警日志在所述待评估时间周期内的告警置信度，具体包括：
针对构成所述告警关联图谱的每一数据边的三元组，获取所述前N个时间周期内包含有构成所述数据边的三元组的时间周期的上一时间周期的所述三元组的频率因子；
针对构成所述告警关联图谱的每一数据点的实体，获取所述前N个时间周期内包含有构成所述数据点的实体的时间周期的上一时间周期的所述实体的频率因子；
根据所述前N个时间周期内包含有构成所述告警关联图谱的各数据边的三元组的时间周期的上一时间周期内所述三元组的频率因子、所述前N个时间周期内包含有构成所述告警关联图谱的各数据点的实体的时间周期的上一时间周期内所述实体的频率因子，以及构成所述告警关联图谱的各数据边的三元组与构成所述告警关联图谱的各数据点的实体和所述待评估告警日志对应的三元组的关联关系，确定所述待评估告警日志在所述待评估时间周期内的告警置信度。
5.如权利要求4所述的方法，其特征在于，通过以下公式计算待评估告警日志在所述待评估时间周期内的告警置信度：
Figure FDA0002339218520000031
其中，f'表示待评估告警日志在所述待评估时间周期内的告警置信度；
fi-1表示所述前N个时间周期内包含有构成所述告警关联图谱的数据边的三元组的第i个时间周期的上一时间周期的所述三元组的频率因子，i＝1,2,...,m，m表示出现所述三元组的时间周期的个数，或者表示所述前N个时间周期内包含有构成所述告警关联图谱的数据点的实体的第i个时间周期的上一时间周期的所述实体的频率因子，i＝1,2,...,m，m表示出现所述实体的时间周期的个数；
Nhop表示构成所述告警关联图谱的数据边的三元组或构成所述告警关联图谱的数据点的实体距离所述待评估告警日志对应的三元组中的最近的实体的跳数。
6.如权利要求5所述的方法，其特征在于，在确定所述待评估告警日志在所述待评估时间周期内的告警置信度之后，还包括：
将所述告警置信度进行归一化。
7.一种网络安全告警置信度评估装置，其特征在于，包括：
提取单元，用于提取每一预设时间周期内接收的日志中的关键信息，按照预设的三元组模板生成所述日志对应的三元组；
第一确定单元，用于确定当前时间周期内同一类型日志对应的各三元组的频率因子以及所述同一类型日志对应的所有三元组中的各实体的频率因子，其中，所述频率因子用于表征截止到所述当前时间周期出现的频次；
告警关联图谱构建单元，用于针对任一待评估时间周期内的待评估告警日志，根据所述待评估告警日志对应的三元组和与所述三元组中的实体相关联的所述待评估时间周期的前N个时间周期内的各类型的日志对应的三元组构建告警关联图谱，其中，各三元组构成所述告警关联图谱的数据边，各实体构成所述告警关联图谱的数据点；
第二确定单元，用于根据构成所述告警关联图谱的各数据边的三元组的频率因子和构成所述告警关联图谱的各数据点的实体的频率因子，确定所述待评估告警日志在所述待评估时间周期内的告警置信度。
8.如权利要求7所述的装置，其特征在于，
所述第一确定单元，具体用于统计当前时间周期内同一类型日志对应的各三元组的数量，并分别将所述各三元组的数量进行归一化；针对同一类型日志对应的任一三元组，根据所述当前时间周期的上一时间周期的所述三元组的频率因子和当前时间周期的所述三元组的数量的归一化值确定所述当前时间周期的所述三元组的频率因子；以及统计当前时间周期内同一类型日志对应的所有三元组中的各实体的数量，并分别将所述各实体的数量进行归一化；针对同一类型日志对应的三元组中的任一实体，根据所述当前时间周期的上一时间周期的所述实体的频率因子和当前时间周期的所述实体的数量的归一化值确定所述当前时间周期的所述实体的频率因子。
9.如权利要求8所述的装置，其特征在于，当任一类型日志对应的任一三元组第一次出现时，所述三元组的频率因子为所述类型日志对应的所述三元组的数量的归一化值，当任一类型日志对应的三元组中的任一实体第一次出现时，所述实体的频率因子为所述类型日志对应的三元组中的所述实体的数量的归一化值；以及
所述第一确定单元，具体用于针对任一类型日志，通过以下公式计算当前时间周期的任一三元组或实体的频率因子：
fcurrent＝fcurrent-1*α+Nnorm
其中，fcurrent表示当前时间周期的所述三元组或所述实体的频率因子；
fcurrent-1表示所述当前时间周期的上一时间周期的所述三元组或所述实体的频率因子；
α表示衰减系数；
Nnorm表示当前时间周期的所述三元组或所述实体的数量的归一化值。
10.如权利要求7所述的装置，其特征在于，
所述第二确定单元，具体用于针对构成所述告警关联图谱的每一数据边的三元组，获取所述前N个时间周期内包含有构成所述数据边的三元组的时间周期的上一时间周期的所述三元组的频率因子；针对构成所述告警关联图谱的每一数据点的实体，获取所述前N个时间周期内包含有构成所述数据点的实体的时间周期的上一时间周期的所述实体的频率因子；根据所述前N个时间周期内包含有构成所述告警关联图谱的各数据边的三元组的时间周期的上一时间周期内所述三元组的频率因子、所述前N个时间周期内包含有构成所述告警关联图谱的各数据点的实体的时间周期的上一时间周期内所述实体的频率因子，以及构成所述告警关联图谱的各数据边的三元组与构成所述告警关联图谱的各数据点的实体和所述待评估告警日志对应的三元组的关联关系，确定所述待评估告警日志在所述待评估时间周期内的告警置信度。
11.如权利要求10所述的装置，其特征在于，
所述第二确定单元，具体用于通过以下公式计算待评估告警日志在所述待评估时间周期内的告警置信度：
Figure FDA0002339218520000061
其中，f'表示待评估告警日志在所述待评估时间周期内的告警置信度；
fi-1表示所述前N个时间周期内包含有构成所述告警关联图谱的数据边的三元组的第i个时间周期的上一时间周期的所述三元组的频率因子，i＝1,2,...,m，m表示出现所述三元组的时间周期的个数，或者表示所述前N个时间周期内包含有构成所述告警关联图谱的数据点的实体的第i个时间周期的上一时间周期的所述实体的频率因子，i＝1,2,...,m，m表示出现所述实体的时间周期的个数；
Nhop表示构成所述告警关联图谱的数据边的三元组或构成所述告警关联图谱的数据点的实体距离所述待评估告警日志对应的三元组中的最近的实体的跳数。
12.如权利要求11所述的装置，其特征在于，还包括：
归一化单元，用于在确定所述待评估告警日志在所述待评估时间周期内的告警置信度之后，将所述告警置信度进行归一化。
13.一种通信设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～6任一项所述的网络安全告警置信度评估方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～6任一项所述的网络安全告警置信度评估方法中的步骤。
CN201911369205.6A 2019-12-26 2019-12-26 一种网络安全告警置信度评估方法及装置 Active CN111147300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911369205.6A CN111147300B (zh) 2019-12-26 2019-12-26 一种网络安全告警置信度评估方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911369205.6A CN111147300B (zh) 2019-12-26 2019-12-26 一种网络安全告警置信度评估方法及装置

Publications (2)

Publication Number Publication Date
CN111147300A true CN111147300A (zh) 2020-05-12
CN111147300B CN111147300B (zh) 2022-04-29

Family

ID=70520551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911369205.6A Active CN111147300B (zh) 2019-12-26 2019-12-26 一种网络安全告警置信度评估方法及装置

Country Status (1)

Country Link
CN (1) CN111147300B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112087465A (zh) * 2020-09-17 2020-12-15 北京微步在线科技有限公司 一种基于聚合信息确定威胁事件的方法及装置
CN113890821A (zh) * 2021-09-24 2022-01-04 绿盟科技集团股份有限公司 一种日志关联的方法、装置及电子设备
CN116708036A (zh) * 2023-08-07 2023-09-05 北京升鑫网络科技有限公司 告警数据的评分方法、系统及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102291247A (zh) * 2010-06-18 2011-12-21 中兴通讯股份有限公司 告警关联图生成方法、装置及关联告警确定方法、装置
JP2013187627A (ja) * 2012-03-06 2013-09-19 Ntt Docomo Inc 通信網監視システム、監視装置および通信網監視方法
CN109284317A (zh) * 2018-10-26 2019-01-29 山东中孚安全技术有限公司 一种基于时序有向图的窃取信息线索提取与分段评估方法
WO2019205697A1 (zh) * 2018-04-23 2019-10-31 华为技术有限公司 告警日志压缩方法、装置及系统、存储介质
CN110535702A (zh) * 2019-08-30 2019-12-03 北京神州绿盟信息安全科技股份有限公司 一种告警信息处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102291247A (zh) * 2010-06-18 2011-12-21 中兴通讯股份有限公司 告警关联图生成方法、装置及关联告警确定方法、装置
JP2013187627A (ja) * 2012-03-06 2013-09-19 Ntt Docomo Inc 通信網監視システム、監視装置および通信網監視方法
WO2019205697A1 (zh) * 2018-04-23 2019-10-31 华为技术有限公司 告警日志压缩方法、装置及系统、存储介质
CN109284317A (zh) * 2018-10-26 2019-01-29 山东中孚安全技术有限公司 一种基于时序有向图的窃取信息线索提取与分段评估方法
CN110535702A (zh) * 2019-08-30 2019-12-03 北京神州绿盟信息安全科技股份有限公司 一种告警信息处理方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112087465A (zh) * 2020-09-17 2020-12-15 北京微步在线科技有限公司 一种基于聚合信息确定威胁事件的方法及装置
CN112087465B (zh) * 2020-09-17 2021-11-02 北京微步在线科技有限公司 一种基于聚合信息确定威胁事件的方法及装置
CN113890821A (zh) * 2021-09-24 2022-01-04 绿盟科技集团股份有限公司 一种日志关联的方法、装置及电子设备
CN113890821B (zh) * 2021-09-24 2023-11-17 绿盟科技集团股份有限公司 一种日志关联的方法、装置及电子设备
CN116708036A (zh) * 2023-08-07 2023-09-05 北京升鑫网络科技有限公司 告警数据的评分方法、系统及电子设备
CN116708036B (zh) * 2023-08-07 2023-11-03 北京升鑫网络科技有限公司 告警数据的评分方法、系统及电子设备

Also Published As

Publication number Publication date
CN111147300B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
US11025674B2 (en) Cybersecurity profiling and rating using active and passive external reconnaissance
US20220060511A1 (en) Ai-driven defensive cybersecurity strategy analysis and recommendation system
US20220014560A1 (en) Correlating network event anomalies using active and passive external reconnaissance to identify attack information
US9544321B2 (en) Anomaly detection using adaptive behavioral profiles
EP4124975A1 (en) Discovering cyber-attack process model based on analytical attack graphs
CN111147300B (zh) 一种网络安全告警置信度评估方法及装置
US11848966B2 (en) Parametric analysis of integrated operational technology systems and information technology systems
US10592666B2 (en) Detecting anomalous entities
GhasemiGol et al. A comprehensive approach for network attack forecasting
US9306962B1 (en) Systems and methods for classifying malicious network events
WO2021093051A1 (zh) 一种ip地址的评估方法、系统及设备
US10885167B1 (en) Intrusion detection based on anomalies in access patterns
CN110362612B (zh) 由电子设备执行的异常数据检测方法、装置和电子设备
US11943235B2 (en) Detecting suspicious user logins in private networks using machine learning
US11457024B2 (en) Systems and methods for monitoring security of an organization based on a normalized risk score
US20210360032A1 (en) Cybersecurity risk analysis and anomaly detection using active and passive external reconnaissance
CN112702342B (zh) 网络事件处理方法、装置、电子设备及可读存储介质
US20220014561A1 (en) System and methods for automated internet-scale web application vulnerability scanning and enhanced security profiling
US20180253737A1 (en) Dynamicall Evaluating Fraud Risk
US20160269431A1 (en) Predictive analytics utilizing real time events
KR102088310B1 (ko) 공격빈도, 자산중요도 및 취약정도에 따른 위험지수 보정시스템 및 그 방법
US20200380117A1 (en) Aggregating anomaly scores from anomaly detectors
CN111865899B (zh) 威胁驱动的协同采集方法及装置
US11693958B1 (en) Processing and storing event data in a knowledge graph format for anomaly detection
CN114039837A (zh) 告警数据处理方法、装置、系统、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100089 Beijing city Haidian District Road No. 4 North wa Yitai three storey building

Applicant after: NSFOCUS Technologies Group Co.,Ltd.

Applicant after: NSFOCUS TECHNOLOGIES Inc.

Address before: 100089 Beijing city Haidian District Road No. 4 North wa Yitai three storey building

Applicant before: NSFOCUS INFORMATION TECHNOLOGY Co.,Ltd.

Applicant before: NSFOCUS TECHNOLOGIES Inc.

GR01 Patent grant
GR01 Patent grant