CN107147639A - 一种基于复杂事件处理的实时安全预警方法 - Google Patents

一种基于复杂事件处理的实时安全预警方法 Download PDF

Info

Publication number
CN107147639A
CN107147639A CN201710316301.9A CN201710316301A CN107147639A CN 107147639 A CN107147639 A CN 107147639A CN 201710316301 A CN201710316301 A CN 201710316301A CN 107147639 A CN107147639 A CN 107147639A
Authority
CN
China
Prior art keywords
event
data
early warning
analysis
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710316301.9A
Other languages
English (en)
Other versions
CN107147639B (zh
Inventor
姜帆
于晓文
刘莹
金倩倩
郭靓
李炜键
贾雪
俞皓
张路煜
屠正伟
张丹
张骞
刘强
栾国强
林苏蓉
傅慧斌
杨业平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
NARI Group Corp
Nari Information and Communication Technology Co
Information and Telecommunication Branch of State Grid Fujian Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Nari Information and Communication Technology Co
Information and Telecommunication Branch of State Grid Fujian Electric Power Co Ltd
Nanjing NARI Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Nari Information and Communication Technology Co, Information and Telecommunication Branch of State Grid Fujian Electric Power Co Ltd, Nanjing NARI Group Corp filed Critical State Grid Corp of China SGCC
Priority to CN201710316301.9A priority Critical patent/CN107147639B/zh
Publication of CN107147639A publication Critical patent/CN107147639A/zh
Application granted granted Critical
Publication of CN107147639B publication Critical patent/CN107147639B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/90335Query processing
    • G06F16/90344Query processing by using string matching techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24553Query execution of query operations
    • G06F16/24558Binary matching operations
    • G06F16/2456Join operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24568Data stream processing; Continuous queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • G06F21/552Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • G06F21/554Detecting local intrusion or implementing counter-measures involving event detection and direct action
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577Assessing vulnerabilities and evaluating computer system security
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227Filtering policies
    • H04L63/0263Rule management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于复杂事件处理的实时安全预警方法,具体包括以下几个步骤:(1)利用范式化引擎将采集到的安全数据进行日志字段分割,并依据字段的要求对字段进行规范化,按照期望输出的字段,关联知识库信息;(2)利用数据流语义分析引擎,依据将要作为场景建模的复杂事件实例,进行数据上下文分析,依据标准化的分析字段模板,分析映射流数据;(3)利用安全分析模型计算引擎,在分析规则计算模块中,基于点事件、边缘事件、间隔事件进行按场景分析,生成预警事件。本发明通过可配置的范式化规则、语义识别规则、安全分析规则实现原始日志数据的多角度关联分析,及时发现未知威胁并进行预警。

Description

一种基于复杂事件处理的实时安全预警方法
技术领域
本发明涉及一种基于复杂事件处理的实时安全预警方法,属于大数据的信息安全监测预警技术领域。
背景技术
企业在发展的过程中网络架构不断调整变化,层出不穷的网络安全问题,加之企业中用户的安全意识提高,企业内部信息安全的预防性控制决策分析成为一个重要课题。传统的安全预警方法针对单一的威胁,定义指定的威胁分析预警规则,其规则是固定、单一和分离的,随着攻击手段的发展,传统的方式已经不能满足联合的多步骤的威胁预警需求,且传统的安全预警方法大部分基于阈值分析,是将分析对象确定在某一固定范围内,事件处理较保守,不能实时全面地基于复杂事件对海量数据进行处理和预警。
综上所述,对于不同环境、不同厂商中的异构源数据,使用传统的安全预警处理方法只针对单一的、确定的、严重的安全日志。并且传统的安全预警处理方法没有形成一套统一的复杂事件处理规则完成数据范式化、语义转换、规则分析及预警生成,不利于多步骤的安全事件预警,容易导致事件漏报,对新增的预警类型及分析规则的拓展能力也较弱。
发明内容
针对现有技术存在的不足,本发明目的是提供一种基于复杂事件处理的实时安全预警方法,通过可配置的范式化规则、语义识别规则、安全分析规则实现原始日志数据的多角度关联分析,及时发现未知威胁并进行预警。
为了实现上述目的,本发明是通过如下的技术方案来实现:
本发明一种基于复杂事件处理的实时安全预警方法,具体包括以下几个步骤:
(1)利用范式化引擎(范式化引擎:一种通过分解原始日志数据中字段,并处理字段之间关系来消除不适合的数据依赖的数据处理引擎)将采集到的安全数据进行日志字段分割,并依据字段的要求对字段进行规范,按照期望输出的字段,关联知识库信息;所述范式化引擎(每类引擎的名称是依据具体要实现的任务抽取出来的概括性名称。引擎里面包括的模块是依据事件(数据)处理的先后次序及任务的进一步划分提炼出来的模块名称)实现日志数据的匹配、去重、去噪、关联静态数据;范式化引擎依照数据处理的先后次序包括去重去噪模块、数据加强模块、数据格式化模块;
(2)利用数据流语义分析引擎(数据流语义分析引擎:通过对实际场景的复杂事件的上下文、场景分析,消除不符合逻辑的冗余数据的数据分析引擎),依据将要作为场景建模的复杂事件实例,进行数据上下文分析,依据标准化的分析字段模板,分析映射流数据;所述数据流语义分析引擎实现范式化后数据的事件语义识别,通过关联预设语义识别和提取规则,将范式化数据分解成符合分析模型识别的事件数据分片;数据流语义分析引擎依照事件处理的先后次序包括复杂事件字段标准化模块和复杂事件实例映射模块;
(3)利用安全分析模型计算引擎(安全分析模型计算引擎:是一种通过对安全事件进行抽象、建模、分析、计算之后生成预警的复杂事件计算引擎),在分析规则计算模块中,基于点事件、边缘事件、间隔事件进行按场景分析,生成预警事件;所述安全分析模型计算引擎实现实时分析模型计算及安全预警输出,通过复杂事件处理逻辑,在内存中进行符合语义数据的计算及标准化实时预警的生成;安全分析模型计算引擎依照安全场景建模并生成预警的先后次序包括分析规则计算模块和标准化预警输出模块。
步骤(1)中,所述范式化引擎的处理过程如下:
(1-1)范式化引擎启动,加载范式化引擎中用于数据处理的规则,并转化为复杂事件处理CEP查询;
(1-2)所述去重去噪模块将CEP查询解析成日志分隔符解析事件处理语句,针对时间字段的去噪处理语句和字段去重处理语句,基于实时数据流执行CEP查询,完成去重去噪;
(1-3)所述数据加强模块将CEP查询解析成关联数据查询语句,利用CEP查询联合资产数据库表和IP位置数据库表,对经过去重、去噪的数据流进行加强操作;
(1-4)所述数据格式化模块将CEP查询解析成日志标准化字段处理语句,然后通过执行CEP查询对加强后的数据流进行数据格式范式化。
步骤(2)中,所述数据流语义分析引擎的处理过程如下:
(2-1)数据流语义分析引擎启动,加载数据流语义分析引擎中用于数据流语义分析的规则,并转化为CEP查询;
(2-2)所述复杂事件字段标准化模块依据标准复杂事件模板将CEP查询解析成复杂事件标准化查询语句,通过执行CEP查询,依据实时数据流类型提取关联的事件模板;
(2-3)所述复杂事件实例映射模块基于事件模板将CEP查询解析成事件实例提取处理语句,通过在实时数据流中执行该查询,将数据流解析、转化为符合不同类型事件模板的实例。
步骤(3)中,所述安全分析模型计算引擎的处理过程如下:
(3-1)安全分析模型计算引擎启动,加载安全分析模型计算引擎中用于安全事件分析、预警生成的规则,并转化为CEP查询;
(3-2)分析规则计算模块将CEP查询解析成用于分析数据处理语句及预警事件窗处理语句,依据预置或自定义的规则,对数据流语义分析引擎处理过的数据流进行数据计算;
(3-3)所述标准化预警输出模块将CEP查询解析成预警输出标准化处理语句,对经过规则计算和分析的数据流进行标准化解析,生成预警输出。
上述范式化引擎运行的具体步骤为:
(4-1)字段正则匹配、拆分、去重、去噪
对日志数据类型进行匹配识别,将各类日志已拆分的字段依据规范化标准进行处理,对发送过来有数字有英文表示法的数据处理后合并,最终统一标准化成标准时间戳格式;将不同厂商的同类型日志进行合并,并使用md5值判定的方法进行日志的去重,即将数据各字段联合计算md5值,如果值相同即为重复;将日志中的字段名以规范好的字段约束;
(4-2)由知识库及已知日志字段推导未知字段
使用类SQL语句联系已有知识库数据,进行关联分析,按序分步推导出相关字段,需要关联分析推导出的字段有:源或目的地址的位置信息、资产信息;每种类型标准化后的字段加上加强后需要的字段新增字段形成范式化后最终字段集合,需要发送到数据检索引擎的字段置为输出项,其他备用字段置为非输出项;
(4-3)联合推导形成范式化最终字段
依据数据格式化模块记录的类SQL及日志字段之间的关联,将不同日志加强分析后的字段加入到对应日志的字段集合中。
上述数据流语义分析引擎运行的具体步骤为:
(5-1)复杂事件字段标准化
所述复杂事件字段标准化模块中,存储着范式化后日志数据的模型号、类型、字段名称,每一行数据是一个规则元组,是后续复杂事件提取的规则;
(5-2)复杂事件字段提取
复杂事件由连续的、流动的数据组成,这些数据在所述复杂事件实例映射模块中,依据标准复杂事件字段模块的规则,映射成一条条实例。
上述安全分析模型计算引擎运行的具体步骤为:
(6-1)场景建模,生成预警事件
所述分析规则计算模块将经过复杂事件字段提取模块提取的复杂事件,通过Esper技术使用EPL语法进行关联场景分析;分析规则计算模块还包括场景建模规则表,这些表是通过预置或者人工生成的方式定义的;
(6-2)标准化预警格式建立
标准化预警格式建立是由标准化预警输出模板进行预先建立的,格式是预置好的,所有的预警输出都是一致的,包括预警事件的名称、预警产生的原因字段,预警产生时间。
上述点事件、边缘事件、间隔事件各定义如下:
a)点事件
在某一时刻或者基于某一条复杂事件进行分析推导出的预警事件;
b)边缘事件
只对某一同类型事件进行的分析推导出的预警事件;
c)间隔事件
对复杂事件中的某几类事件的分析推导出的预警事件,间隔事件是复杂事件中组合最多的一种情况,不局限于一类日志。
本发明所达到的有益效果:本发明通过对采集到的安全日志数据进行去重去噪、范式化和数据流语义分析、场景建模分析,从不同角度进行分析,最终生成安全预警事件;在传统的预警事件生成基础上,提高了场景分析的灵活性,并使用流式处理技术,实时地对连续的安全日志进行分析预警。
附图说明
图1为本发明的主引擎、从模块协作架构图;
图2为本发明的实时安全预警方法处理流程图;
图3为本发明的各引擎结构图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体实施方式,进一步阐述本发明。
参见图1至图3,本发明的一种基于复杂事件处理的实时安全预警方法,包括以下几个步骤:
(1)采集到的数据实时进入安全预警框架,进行去重去噪,动态数据(实时数据)关联静态数据(资产数据)进行范式化;
(2)范式化后的数据按照语义上下文进行提取、映射为复杂事件字段,为预警生成做准备;
(3)结合场景规则建立模型,对数据进行分析,生成实时预警事件。
本发明在使用CEP及Kafka、Storm和Esper等开源技术架构的基础上,基于复杂事件,设计了实时安全预警的方法,将静态数据(资产数据)与动态安全数据(实时数据)相结合,将简单的数据字段与场景规则语句相结合,将流动的事件与可复用、组合应用的场景规则相结合,提高了安全预警的分析处理力度,提高了预警事件生成的自适应性。
本发明包含范式化引擎、数据流语义分析引擎、安全分析模型计算引擎三大类引擎,每一类引擎按照不同的复杂事件,通过不同的规则模块定义配置,处理数据日志,在实现对数据流按照场景建模语义分析的基础上,基于事件窗即时间窗或者日志长度窗口方式,对事件建立场景模型,从而生成预警事件。该方法中的范式化引擎将日志数据进行特定处理,形成相同(固定字段集合+x)的格式,其中的x表示备用字段,固定字段集合用于分析生成实时预警事件,这些固定字段集合是依据经验形成的,对产品所属厂商的依赖度小。数据流语义分析引擎对从不同方面获取的、连续的、流动的信息进行预警建模语义分析,提取实例,为生成预警作准备。安全分析模型计算引擎建立威胁模型,基于自定义的事件窗口,提取出正在发生事件的关联性,以此生成预警,揭示将要发生的事件。场景建模是安全事件驱动的,区别于以往的纯数据驱动。
该发明遵循标准CEP的主要流程,并加以提炼,形成了一套基于安全事件场景的实时预警方法,其主要步骤包括:1.数据预处理、范式化;2.数据语义分析,为预警生成做准备;3.复杂事件场景建模与数据关联分析。每个主要步骤下包含多个从步骤用以辅助各主要功能引擎。
本发明的技术方案是:
基于复杂事件处理的实时安全预警方法,具体包括以下步骤:
(1)利用范式化引擎将采集到的安全数据进行日志字段分割,并依据字段的不同规范化要求对字段进行规范化,按照期望输出的字段,关联知识库信息,加强产生符合分析格式的日志字段;
(2)利用数据流语义分析引擎,依据将要作为场景建模的复杂事件实例,进行数据上下文分析,依据标准化的分析字段模板,分析映射流数据,作为下一步骤的关键元信息;
(3)利用安全分析模型计算引擎,在分析规则计算模块中,基于点事件、边缘事件、间隔事件这三类不同的基于时间的事件,进行按场景分析,生成预警事件。其中的点事件、边缘事件、间隔事件在以下每个步骤的详细运行过程中再进行阐述。
步骤(1)中,范式化引擎的运行过程为:
采集程序将采集到的日志数据依次发送到Kafka,Kafka中的数据依次进入Storm的过滤器引擎,依据不同日志类别,按照处理的最细粒度进一步分为日志类型匹配、日志数据字段匹配、字段合并去重、与资产数据等离线知识库数据相关联,进行关联信息处理及关联字段处理,将不同日志加强分析后的字段加入到对应日志的字段集合中形成最终范式化结果。其中:
1)Storm从Kafka服务器上对应topic中获取数据(预置Kafka的topic和Storm的topology的之间的映射关系),同一类日志配置一个topic,其中同一类日志可能是不同厂商按其自己的格式规范发送过来的格式不同的日志;去重、去噪模块将数据组织成{LogID,Name,Reg,Seperator,DataModelID}的形式,其中LogID是每类日志的一个唯一标识号,Name是日志名,Reg是日志正则表达式用于区分各类不同日志进入不同操作流程,Seperator是用于拆分日志中字段的分隔符,DataModelID是依据日志数据的大类、细类以及具体作用拼合的用于标识不同厂商但类型相同的日志的数据模型号,该字段主要作用是:日志合并,去重、去噪。
2)经过去重、去噪后的日志再次被传送到Kafka的预置topic中(不同于过滤器取数的topic),Storm从topic取数据,与资产数据等离线知识库数据相关联,进行关联信息处理及关联字段处理,这个步骤称为加强。
3)由数据格式化模块将不同日志加强分析后的字段加入到对应日志的字段集合中形成最终范式化结果。
其具体步骤为:
1)字段正则匹配、拆分、去重、去噪
使用正则表达式加特殊标识的方法对日志数据类型进行匹配识别,为了将特定的字段处理成统一字段格式,将各类日志已拆分的字段依据规范化标准进行处理,如日志生成时间,对发送过来有数字有英文表示法的数据处理后合并,最终统一标准化成标准时间戳格式。将不同厂商的同类型日志进行合并,并使用md5值判定的方法进行日志的去重,即将数据各字段联合计算md5值,如值相同即为重复。将日志中的字段名以规范好的字段约束,以便后续数据加强处理。
2)由知识库及已知日志字段推导未知字段
使用类SQL语句联系已有知识库数据,进行关联分析,按序分步推导出相关字段,需要关联分析推导出的字段主要有:源或目的地址的位置信息、资产信息(包括所属应用系统、所属网络、硬件设备信息)。每种类型标准化后的字段加上加强后需要的字段新增字段形成范式化后最终字段集合,需要发送到数据检索引擎的字段置为输出项,其他备用字段置为非输出项。
3)联合推导形成范式化最终字段
依据加强器模块记录的类SQL及日志字段之间的关联,将不同日志加强分析后的字段加入到对应日志的字段集合中,从而达到字段处理的目的,最终完成数据范式化。
步骤(2)中,数据流语义分析引擎的运行过程为:
将上一步骤中经过范式化的流数据从Kafka中对应的topic取出,将这些数据进行上下文语义分析,并且按照对应的标准化复杂事件字段模板进行映射,经过语义分析的实时数据才能进入Esper的事件窗,作为复杂事件。
数据流语义分析引擎运行的具体步骤为:
1)复杂事件字段标准化
复杂事件字段标准化模块中,存储着范式化后日志数据的模型号、类型、字段名称等重要信息,这些信息每一行数据是一个规则元组,是后续复杂事件提取的规则。该模板可以随着日志种类的增加而增加,以提供更完善的语义分析能力。
2)复杂事件字段提取
复杂事件由连续的、流动的数据组成,这些数据在复杂事件实例映射模块中,依据标准复杂事件字段模块的规则,映射成一条条实例。
步骤(3)中,安全分析模型计算引擎的运行过程为:
通过步骤(2)得到的经过语义分析的标准字段,进入该步骤中建立的模型引擎中,分析,关联,最终生成预警。
复杂事件场景建模引擎的具体步骤为:
1)场景建模,生成预警事件
分析规则计算模块是复杂事件分析引擎中最重要的模块。该模块将经过复杂事件字段提取模块提取的复杂事件,通过Esper技术使用EPL语法进行关联场景分析。该模块还包括场景建模规则表,这些表是通过预置或者人工生成的方式定义的。两种定义如下。
a)预置
针对各类日志最基本的安全事件场景,以事件为单位,安全事件是指可能对系统或者系统中某个模块产生威胁的事件,这些事件里的阀值是可以配置的,配置之后重启预警事件生成引擎即可生效。
b)人工生成
从用户角度而言,用户认为的某一类(或某几类)数值可能对系统造成威胁的安全事件,人工生成的场景就保证了安全预警框架的灵活性,做到临界值可配置。
在场景建模中,复杂事件的场景中的事件主要有三类,即:点事件、边缘事件、间隔事件。三类事件定义如下。
a)点事件
在某一时刻或者基于某一条复杂事件进行分析推导出的预警事件,这类事件类似于传统预警事件中的基于阈值推断的事件,指的是某一瞬间发生的事件,也是最为简单的一种。该事件经过场景建模规则表,依据规则表里某字段的阈值,生成预警。
b)边缘事件
只对某一同类型事件进行的分析推导出的预警事件,但是这类事件是在最近的一个连续时间段的事件,或者最近的连续条数的事件,这里的连续事件条数也是可配置的。通过场景建模规则表,依据规则表里的规则,生成预警。
c)间隔事件
对复杂事件中的某几类事件的分析推导出的预警事件,间隔事件是复杂事件中组合最多的一种情况,不局限于一类日志,对流数据通过场景建模规则表里的规则,进行分析,生成预警。
需指出,上述的三种场景事件模型在复杂事件分析引擎中是并行的、没有先后主次关系。这也使复杂事件分析引擎对连续的复杂事件生成预警更具多样性,而不局限于某一种单一的预警生成。
生成的预警以用户可接受的方式展现在前台,以供相关人员发现系统可能存在的威胁。
2)标准化预警格式建立
这里的标准化预警格式建立是由标准化预警输出模板进行预先建立的,即是安全分析人员最关心的预警生成的关键格式,这里的格式是预置好的,所有的预警输出都是一致的,主要包括预警事件的名称、预警产生的原因字段,预警产生时间(实际为依据日志定位到的操作行为事件)等关键数据。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于复杂事件处理的实时安全预警方法,其特征在于,具体包括以下几个步骤:
(1)利用范式化引擎将采集到的安全数据进行日志字段分割,并依据字段的要求对字段进行规范,按照期望输出的字段,关联知识库信息;所述范式化引擎实现日志数据的匹配、去重、去噪、关联静态数据;范式化引擎依照数据处理的先后次序包括去重去噪模块、数据加强模块、数据格式化模块;
(2)利用数据流语义分析引擎,将要作为场景建模的复杂事件实例,进行数据上下文分析,依据标准化的分析字段模板,分析映射流数据;所述数据流语义分析引擎实现范式化后数据的事件语义识别,通过关联预设语义识别和提取规则,将范式化数据分解成符合分析模型识别的事件数据分片;数据流语义分析引擎依照事件处理的先后次序包括复杂事件字段标准化模块和复杂事件实例映射模块;
(3)利用安全分析模型计算引擎,在分析规则计算模块中,基于点事件、边缘事件、间隔事件进行按场景分析,生成预警事件;所述安全分析模型计算引擎实现实时分析模型计算及安全预警输出,通过复杂事件处理逻辑,在内存中进行符合语义数据的计算及标准化实时预警的生成;安全分析模型计算引擎依照安全场景建模并生成预警的先后次序包括分析规则计算模块和标准化预警输出模块。
2.根据权利要求1所述的基于复杂事件处理的实时安全预警方法,其特征在于,步骤(1)中,所述范式化引擎的处理过程如下:
(1-1)范式化引擎启动,加载范式化引擎中用于数据处理的规则,并转化为复杂事件处理CEP查询;
(1-2)所述去重去噪模块将CEP查询解析成日志分隔符解析事件处理语句,针对时间字段的去噪处理语句和字段去重处理语句,基于实时数据流执行CEP查询,完成去重去噪;
(1-3)所述数据加强模块将CEP查询解析成关联数据查询语句,利用CEP查询联合资产数据库表和IP位置数据库表,对经过去重、去噪的数据流进行加强操作;
(1-4)所述数据格式化模块将CEP查询解析成日志标准化字段处理语句,然后通过执行CEP查询对加强后的数据流进行数据格式范式化。
3.根据权利要求1所述的基于复杂事件处理的实时安全预警方法,其特征在于,步骤(2)中,所述数据流语义分析引擎的处理过程如下:
(2-1)数据流语义分析引擎启动,加载数据流语义分析引擎中用于数据流语义分析的规则,并转化为CEP查询;
(2-2)所述复杂事件字段标准化模块依据标准复杂事件模板将CEP查询解析成复杂事件标准化查询语句,通过执行CEP查询,依据实时数据流类型提取关联的事件模板;
(2-3)所述复杂事件实例映射模块基于事件模板将CEP查询解析成事件实例提取处理语句,通过在实时数据流中执行该查询,将数据流解析、转化为符合不同类型事件模板的实例。
4.根据权利要求1所述的基于复杂事件处理的实时安全预警方法,其特征在于,步骤(3)中,所述安全分析模型计算引擎的处理过程如下:
(3-1)安全分析模型计算引擎启动,加载安全分析模型计算引擎中用于安全事件分析、预警生成的规则,并转化为CEP查询;
(3-2)分析规则计算模块将CEP查询解析成用于分析数据处理语句及预警事件窗处理语句,依据预置或自定义的规则,对数据流语义分析引擎处理过的数据流进行数据计算;
(3-3)所述标准化预警输出模块将CEP查询解析成预警输出标准化处理语句,对经过规则计算和分析的数据流进行标准化解析,生成预警输出。
5.根据权利要求1所述的基于复杂事件处理的实时安全预警方法,其特征在于,所述范式化引擎运行的具体步骤为:
(4-1)字段正则匹配、拆分、去重、去噪
对日志数据类型进行匹配识别,将各类日志已拆分的字段依据规范化标准进行处理,对发送过来有数字有英文表示法的数据处理后合并,最终统一标准化成标准时间戳格式;将不同厂商的同类型日志进行合并,并使用md5值判定的方法进行日志的去重,即将数据各字段联合计算md5值,如果值相同即为重复;将日志中的字段名以规范好的字段约束;
(4-2)由知识库及已知日志字段推导未知字段
使用类SQL语句联系已有知识库数据,进行关联分析,按序分步推导出相关字段,需要关联分析推导出的字段有:源或目的地址的位置信息、资产信息;每种类型标准化后的字段加上加强后需要的字段新增字段形成范式化后最终字段集合,需要发送到数据检索引擎的字段置为输出项,其他备用字段置为非输出项;
(4-3)联合推导形成范式化最终字段
依据数据格式化模块记录的类SQL及日志字段之间的关联,将不同日志加强分析后的字段加入到对应日志的字段集合中。
6.根据权利要求1所述的基于复杂事件处理的实时安全预警方法,其特征在于,所述数据流语义分析引擎运行的具体步骤为:
(5-1)复杂事件字段标准化
所述复杂事件字段标准化模块中,存储着范式化后日志数据的模型号、类型、字段名称,每一行数据是一个规则元组,是后续复杂事件提取的规则;
(5-2)复杂事件字段提取
复杂事件由连续的、流动的数据组成,这些数据在所述复杂事件实例映射模块中,依据标准复杂事件字段模块的规则,映射成一条条实例。
7.根据权利要求1所述的基于复杂事件处理的实时安全预警方法,其特征在于,所述安全分析模型计算引擎运行的具体步骤为:
(6-1)场景建模,生成预警事件
所述分析规则计算模块将经过复杂事件字段提取模块提取的复杂事件,通过Esper技术使用EPL语法进行关联场景分析;分析规则计算模块还包括场景建模规则表,这些表是通过预置或者人工生成的方式定义的;
(6-2)标准化预警格式建立
标准化预警格式建立是由标准化预警输出模板进行预先建立的,格式是预置好的,所有的预警输出都是一致的,包括预警事件的名称、预警产生的原因字段,预警产生时间。
8.根据权利要求1所述的基于复杂事件处理的实时安全预警方法,其特征在于,所述点事件、边缘事件、间隔事件各定义如下:
a)点事件
在某一时刻或者基于某一条复杂事件进行分析推导出的预警事件;
b)边缘事件
只对某一同类型事件进行的分析推导出的预警事件;
c)间隔事件
对复杂事件中的某几类事件的分析推导出的预警事件,间隔事件是复杂事件中组合最多的一种情况,不局限于一类日志。
CN201710316301.9A 2017-05-08 2017-05-08 一种基于复杂事件处理的实时安全预警方法 Active CN107147639B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710316301.9A CN107147639B (zh) 2017-05-08 2017-05-08 一种基于复杂事件处理的实时安全预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710316301.9A CN107147639B (zh) 2017-05-08 2017-05-08 一种基于复杂事件处理的实时安全预警方法

Publications (2)

Publication Number Publication Date
CN107147639A true CN107147639A (zh) 2017-09-08
CN107147639B CN107147639B (zh) 2018-07-24

Family

ID=59778534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710316301.9A Active CN107147639B (zh) 2017-05-08 2017-05-08 一种基于复杂事件处理的实时安全预警方法

Country Status (1)

Country Link
CN (1) CN107147639B (zh)

Cited By (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818150A (zh) * 2017-10-23 2018-03-20 中国移动通信集团广东有限公司 一种日志审计方法及装置
CN108681925A (zh) * 2018-05-21 2018-10-19 中国联合网络通信有限公司重庆市分公司 一种基于移动互联网的场景还原方法
CN109344243A (zh) * 2018-10-23 2019-02-15 北京天安智慧信息技术有限公司 一种实时流计算报警分析方法及系统
CN109885556A (zh) * 2019-01-10 2019-06-14 四川长虹电器股份有限公司 一种设备数据模型的实现方法
CN110019077A (zh) * 2018-08-21 2019-07-16 平安科技(深圳)有限公司 日志查询方法、装置、设备及计算机可读存储介质
US10559180B2 (en) 2017-09-27 2020-02-11 Johnson Controls Technology Company Building risk analysis system with dynamic modification of asset-threat weights
US10565838B2 (en) 2018-02-07 2020-02-18 Johnson Controls Technology Company Building access control system with complex event processing
CN110865921A (zh) * 2019-11-08 2020-03-06 拉扎斯网络科技(上海)有限公司 数据监控方法、装置、可读存储介质和电子设备
CN111082956A (zh) * 2018-10-22 2020-04-28 中兴通讯股份有限公司 一种事件流处理方法、电子设备和可读存储介质
CN111143167A (zh) * 2019-12-24 2020-05-12 北京优特捷信息技术有限公司 用于多平台的告警归并方法及装置、设备、存储介质
CN111143432A (zh) * 2019-12-10 2020-05-12 华能集团技术创新中心有限公司 一种事件处理结果的数据分析预警系统及方法
CN111258975A (zh) * 2020-04-26 2020-06-09 中国人民解放军总医院 图像归档通信系统异常定位方法、装置、设备及介质
CN111600898A (zh) * 2020-05-22 2020-08-28 国网电力科学研究院有限公司 基于规则引擎的安全告警生成方法、装置及系统
US10831163B2 (en) 2012-08-27 2020-11-10 Johnson Controls Technology Company Syntax translation from first syntax to second syntax based on string analysis
US10896561B2 (en) 2018-02-07 2021-01-19 Johnson Controls Technology Company Building access control system with spatial modeling
CN112328567A (zh) * 2020-10-31 2021-02-05 中盈优创资讯科技有限公司 一种物联网mme日志数据的处理方法及装置
CN112422445A (zh) * 2020-10-10 2021-02-26 四川新网银行股份有限公司 一种基于Kafka的埋点数据实时采集计算和存储的方法
CN112434949A (zh) * 2020-11-25 2021-03-02 平安普惠企业管理有限公司 基于人工智能的业务预警处理方法、装置、设备和介质
US11024292B2 (en) 2017-02-10 2021-06-01 Johnson Controls Technology Company Building system with entity graph storing events
US11048247B2 (en) 2018-02-08 2021-06-29 Johnson Controls Technology Company Building management system to detect anomalousness with temporal profile
CN113448555A (zh) * 2021-06-30 2021-09-28 深信服科技股份有限公司 关联分析方法、装置、设备及存储介质
CN113626558A (zh) * 2021-07-07 2021-11-09 厦门市美亚柏科信息股份有限公司 一种基于智能推荐的字段标准化的方法和系统
CN113641654A (zh) * 2021-08-16 2021-11-12 神州数码融信软件有限公司 一种基于实时事件的营销处置规则引擎方法
CN113658652A (zh) * 2021-08-18 2021-11-16 四川大学华西医院 一种基于电子病历数据文本的二元关系提取方法
CN113808257A (zh) * 2021-09-15 2021-12-17 江苏中科云墨数字科技有限公司 一种数字应急演练系统
CN113971500A (zh) * 2020-07-23 2022-01-25 中国移动通信集团广东有限公司 一种数据细分管理方法、装置及数据管理平台
CN113986656A (zh) * 2021-10-14 2022-01-28 南京南瑞信息通信科技有限公司 一种基于数据中台的电网数据安全监测系统
CN114003788A (zh) * 2021-11-02 2022-02-01 广州新科佳都科技有限公司 一种动态事件可视化分析系统
US11275348B2 (en) 2017-02-10 2022-03-15 Johnson Controls Technology Company Building system with digital twin based agent processing
US11280509B2 (en) 2017-07-17 2022-03-22 Johnson Controls Technology Company Systems and methods for agent based building simulation for optimal control
US11307538B2 (en) 2017-02-10 2022-04-19 Johnson Controls Technology Company Web services platform with cloud-eased feedback control
US11314726B2 (en) 2017-09-27 2022-04-26 Johnson Controls Tyco IP Holdings LLP Web services for smart entity management for sensor systems
US11314788B2 (en) 2017-09-27 2022-04-26 Johnson Controls Tyco IP Holdings LLP Smart entity management for building management systems
US11360447B2 (en) 2017-02-10 2022-06-14 Johnson Controls Technology Company Building smart entity system with agent based communication and control
US11360959B2 (en) 2017-09-27 2022-06-14 Johnson Controls Tyco IP Holdings LLP Building risk analysis system with dynamic and base line risk
CN114741412A (zh) * 2021-01-07 2022-07-12 厦门美柚股份有限公司 用户行为自助分析系统
US11442424B2 (en) 2017-03-24 2022-09-13 Johnson Controls Tyco IP Holdings LLP Building management system with dynamic channel communication
US20220376944A1 (en) 2019-12-31 2022-11-24 Johnson Controls Tyco IP Holdings LLP Building data platform with graph based capabilities
CN115658637A (zh) * 2022-12-26 2023-01-31 北京六方云信息技术有限公司 日志范式化处理方法、装置、存储介质及处理器
US11699903B2 (en) 2017-06-07 2023-07-11 Johnson Controls Tyco IP Holdings LLP Building energy optimization system with economic load demand response (ELDR) optimization and ELDR user interfaces
US11704311B2 (en) 2021-11-24 2023-07-18 Johnson Controls Tyco IP Holdings LLP Building data platform with a distributed digital twin
US11709965B2 (en) 2017-09-27 2023-07-25 Johnson Controls Technology Company Building system with smart entity personal identifying information (PII) masking
US11714930B2 (en) 2021-11-29 2023-08-01 Johnson Controls Tyco IP Holdings LLP Building data platform with digital twin based inferences and predictions for a graphical building model
CN116560937A (zh) * 2023-03-27 2023-08-08 中国华能集团有限公司北京招标分公司 一种告警引擎使用方法
US11727738B2 (en) 2017-11-22 2023-08-15 Johnson Controls Tyco IP Holdings LLP Building campus with integrated smart environment
US11726632B2 (en) 2017-07-27 2023-08-15 Johnson Controls Technology Company Building management system with global rule library and crowdsourcing framework
US11733663B2 (en) 2017-07-21 2023-08-22 Johnson Controls Tyco IP Holdings LLP Building management system with dynamic work order generation with adaptive diagnostic task details
US11741165B2 (en) 2020-09-30 2023-08-29 Johnson Controls Tyco IP Holdings LLP Building management system with semantic model integration
US11755604B2 (en) 2017-02-10 2023-09-12 Johnson Controls Technology Company Building management system with declarative views of timeseries data
US11764991B2 (en) 2017-02-10 2023-09-19 Johnson Controls Technology Company Building management system with identity management
US11762886B2 (en) 2017-02-10 2023-09-19 Johnson Controls Technology Company Building system with entity graph commands
US11762353B2 (en) 2017-09-27 2023-09-19 Johnson Controls Technology Company Building system with a digital twin based on information technology (IT) data and operational technology (OT) data
US11761653B2 (en) 2017-05-10 2023-09-19 Johnson Controls Tyco IP Holdings LLP Building management system with a distributed blockchain database
US11762343B2 (en) 2019-01-28 2023-09-19 Johnson Controls Tyco IP Holdings LLP Building management system with hybrid edge-cloud processing
US11762351B2 (en) 2017-11-15 2023-09-19 Johnson Controls Tyco IP Holdings LLP Building management system with point virtualization for online meters
US11763266B2 (en) 2019-01-18 2023-09-19 Johnson Controls Tyco IP Holdings LLP Smart parking lot system
US11770020B2 (en) 2016-01-22 2023-09-26 Johnson Controls Technology Company Building system with timeseries synchronization
US11768004B2 (en) 2016-03-31 2023-09-26 Johnson Controls Tyco IP Holdings LLP HVAC device registration in a distributed building management system
US11769066B2 (en) 2021-11-17 2023-09-26 Johnson Controls Tyco IP Holdings LLP Building data platform with digital twin triggers and actions
US11774920B2 (en) 2016-05-04 2023-10-03 Johnson Controls Technology Company Building system with user presentation composition based on building context
US11774922B2 (en) 2017-06-15 2023-10-03 Johnson Controls Technology Company Building management system with artificial intelligence for unified agent based control of building subsystems
US11782407B2 (en) 2017-11-15 2023-10-10 Johnson Controls Tyco IP Holdings LLP Building management system with optimized processing of building system data
US11792039B2 (en) 2017-02-10 2023-10-17 Johnson Controls Technology Company Building management system with space graphs including software components
US11796974B2 (en) 2021-11-16 2023-10-24 Johnson Controls Tyco IP Holdings LLP Building data platform with schema extensibility for properties and tags of a digital twin
US11874635B2 (en) 2015-10-21 2024-01-16 Johnson Controls Technology Company Building automation system with integrated building information model
US11874809B2 (en) 2020-06-08 2024-01-16 Johnson Controls Tyco IP Holdings LLP Building system with naming schema encoding entity type and entity relationships
US11880677B2 (en) 2020-04-06 2024-01-23 Johnson Controls Tyco IP Holdings LLP Building system with digital network twin
US11894944B2 (en) 2019-12-31 2024-02-06 Johnson Controls Tyco IP Holdings LLP Building data platform with an enrichment loop
US11892180B2 (en) 2017-01-06 2024-02-06 Johnson Controls Tyco IP Holdings LLP HVAC system with automated device pairing
US11899723B2 (en) 2021-06-22 2024-02-13 Johnson Controls Tyco IP Holdings LLP Building data platform with context based twin function processing
US11900287B2 (en) 2017-05-25 2024-02-13 Johnson Controls Tyco IP Holdings LLP Model predictive maintenance system with budgetary constraints
US11902375B2 (en) 2020-10-30 2024-02-13 Johnson Controls Tyco IP Holdings LLP Systems and methods of configuring a building management system
US11921481B2 (en) 2021-03-17 2024-03-05 Johnson Controls Tyco IP Holdings LLP Systems and methods for determining equipment energy waste
US11927925B2 (en) 2018-11-19 2024-03-12 Johnson Controls Tyco IP Holdings LLP Building system with a time correlated reliability data stream
US11934966B2 (en) 2021-11-17 2024-03-19 Johnson Controls Tyco IP Holdings LLP Building data platform with digital twin inferences
US11941238B2 (en) 2018-10-30 2024-03-26 Johnson Controls Technology Company Systems and methods for entity visualization and management with an entity node editor
US11947785B2 (en) 2016-01-22 2024-04-02 Johnson Controls Technology Company Building system with a building graph
US11954154B2 (en) 2020-09-30 2024-04-09 Johnson Controls Tyco IP Holdings LLP Building management system with semantic model integration
US11954713B2 (en) 2018-03-13 2024-04-09 Johnson Controls Tyco IP Holdings LLP Variable refrigerant flow system with electricity consumption apportionment
US11954478B2 (en) 2017-04-21 2024-04-09 Tyco Fire & Security Gmbh Building management system with cloud management of gateway configurations
CN118012720A (zh) * 2024-04-09 2024-05-10 浙江口碑网络技术有限公司 复杂事件处理方法、装置、介质及设备
US12013673B2 (en) 2021-11-29 2024-06-18 Tyco Fire & Security Gmbh Building control system using reinforcement learning
US12013823B2 (en) 2022-09-08 2024-06-18 Tyco Fire & Security Gmbh Gateway system that maps points into a graph schema
US12021650B2 (en) 2019-12-31 2024-06-25 Tyco Fire & Security Gmbh Building data platform with event subscriptions
US12055908B2 (en) 2017-02-10 2024-08-06 Johnson Controls Technology Company Building management system with nested stream generation
US12061633B2 (en) 2022-09-08 2024-08-13 Tyco Fire & Security Gmbh Building system that maps points into a graph schema
US12061453B2 (en) 2020-12-18 2024-08-13 Tyco Fire & Security Gmbh Building management system performance index

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903063A (zh) * 2012-09-19 2013-01-30 中国电力科学研究院 一种一体化电力市场运营系统
CN103458033A (zh) * 2013-09-04 2013-12-18 北京邮电大学 事件驱动、面向服务的物联网服务提供系统及其工作方法
CN104539626A (zh) * 2015-01-14 2015-04-22 中国人民解放军信息工程大学 一种基于多源报警日志的网络攻击场景生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903063A (zh) * 2012-09-19 2013-01-30 中国电力科学研究院 一种一体化电力市场运营系统
CN103458033A (zh) * 2013-09-04 2013-12-18 北京邮电大学 事件驱动、面向服务的物联网服务提供系统及其工作方法
CN104539626A (zh) * 2015-01-14 2015-04-22 中国人民解放军信息工程大学 一种基于多源报警日志的网络攻击场景生成方法

Cited By (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11754982B2 (en) 2012-08-27 2023-09-12 Johnson Controls Tyco IP Holdings LLP Syntax translation from first syntax to second syntax based on string analysis
US10859984B2 (en) 2012-08-27 2020-12-08 Johnson Controls Technology Company Systems and methods for classifying data in building automation systems
US10831163B2 (en) 2012-08-27 2020-11-10 Johnson Controls Technology Company Syntax translation from first syntax to second syntax based on string analysis
US11899413B2 (en) 2015-10-21 2024-02-13 Johnson Controls Technology Company Building automation system with integrated building information model
US11874635B2 (en) 2015-10-21 2024-01-16 Johnson Controls Technology Company Building automation system with integrated building information model
US11894676B2 (en) 2016-01-22 2024-02-06 Johnson Controls Technology Company Building energy management system with energy analytics
US11770020B2 (en) 2016-01-22 2023-09-26 Johnson Controls Technology Company Building system with timeseries synchronization
US11947785B2 (en) 2016-01-22 2024-04-02 Johnson Controls Technology Company Building system with a building graph
US11768004B2 (en) 2016-03-31 2023-09-26 Johnson Controls Tyco IP Holdings LLP HVAC device registration in a distributed building management system
US11774920B2 (en) 2016-05-04 2023-10-03 Johnson Controls Technology Company Building system with user presentation composition based on building context
US11927924B2 (en) 2016-05-04 2024-03-12 Johnson Controls Technology Company Building system with user presentation composition based on building context
US11892180B2 (en) 2017-01-06 2024-02-06 Johnson Controls Tyco IP Holdings LLP HVAC system with automated device pairing
US11762886B2 (en) 2017-02-10 2023-09-19 Johnson Controls Technology Company Building system with entity graph commands
US11994833B2 (en) 2017-02-10 2024-05-28 Johnson Controls Technology Company Building smart entity system with agent based data ingestion and entity creation using time series data
US11774930B2 (en) 2017-02-10 2023-10-03 Johnson Controls Technology Company Building system with digital twin based agent processing
US11307538B2 (en) 2017-02-10 2022-04-19 Johnson Controls Technology Company Web services platform with cloud-eased feedback control
US11792039B2 (en) 2017-02-10 2023-10-17 Johnson Controls Technology Company Building management system with space graphs including software components
US11809461B2 (en) 2017-02-10 2023-11-07 Johnson Controls Technology Company Building system with an entity graph storing software logic
US12019437B2 (en) 2017-02-10 2024-06-25 Johnson Controls Technology Company Web services platform with cloud-based feedback control
US11778030B2 (en) 2017-02-10 2023-10-03 Johnson Controls Technology Company Building smart entity system with agent based communication and control
US11360447B2 (en) 2017-02-10 2022-06-14 Johnson Controls Technology Company Building smart entity system with agent based communication and control
US11755604B2 (en) 2017-02-10 2023-09-12 Johnson Controls Technology Company Building management system with declarative views of timeseries data
US11024292B2 (en) 2017-02-10 2021-06-01 Johnson Controls Technology Company Building system with entity graph storing events
US11764991B2 (en) 2017-02-10 2023-09-19 Johnson Controls Technology Company Building management system with identity management
US12055908B2 (en) 2017-02-10 2024-08-06 Johnson Controls Technology Company Building management system with nested stream generation
US11151983B2 (en) 2017-02-10 2021-10-19 Johnson Controls Technology Company Building system with an entity graph storing software logic
US11158306B2 (en) 2017-02-10 2021-10-26 Johnson Controls Technology Company Building system with entity graph commands
US11275348B2 (en) 2017-02-10 2022-03-15 Johnson Controls Technology Company Building system with digital twin based agent processing
US11762362B2 (en) 2017-03-24 2023-09-19 Johnson Controls Tyco IP Holdings LLP Building management system with dynamic channel communication
US11442424B2 (en) 2017-03-24 2022-09-13 Johnson Controls Tyco IP Holdings LLP Building management system with dynamic channel communication
US11954478B2 (en) 2017-04-21 2024-04-09 Tyco Fire & Security Gmbh Building management system with cloud management of gateway configurations
US11761653B2 (en) 2017-05-10 2023-09-19 Johnson Controls Tyco IP Holdings LLP Building management system with a distributed blockchain database
US11900287B2 (en) 2017-05-25 2024-02-13 Johnson Controls Tyco IP Holdings LLP Model predictive maintenance system with budgetary constraints
US11699903B2 (en) 2017-06-07 2023-07-11 Johnson Controls Tyco IP Holdings LLP Building energy optimization system with economic load demand response (ELDR) optimization and ELDR user interfaces
US12061446B2 (en) 2017-06-15 2024-08-13 Johnson Controls Technology Company Building management system with artificial intelligence for unified agent based control of building subsystems
US11774922B2 (en) 2017-06-15 2023-10-03 Johnson Controls Technology Company Building management system with artificial intelligence for unified agent based control of building subsystems
US11920810B2 (en) 2017-07-17 2024-03-05 Johnson Controls Technology Company Systems and methods for agent based building simulation for optimal control
US11280509B2 (en) 2017-07-17 2022-03-22 Johnson Controls Technology Company Systems and methods for agent based building simulation for optimal control
US11733663B2 (en) 2017-07-21 2023-08-22 Johnson Controls Tyco IP Holdings LLP Building management system with dynamic work order generation with adaptive diagnostic task details
US11726632B2 (en) 2017-07-27 2023-08-15 Johnson Controls Technology Company Building management system with global rule library and crowdsourcing framework
US11709965B2 (en) 2017-09-27 2023-07-25 Johnson Controls Technology Company Building system with smart entity personal identifying information (PII) masking
US12013842B2 (en) 2017-09-27 2024-06-18 Johnson Controls Tyco IP Holdings LLP Web services platform with integration and interface of smart entities with enterprise applications
US20220138183A1 (en) 2017-09-27 2022-05-05 Johnson Controls Tyco IP Holdings LLP Web services platform with integration and interface of smart entities with enterprise applications
US11768826B2 (en) 2017-09-27 2023-09-26 Johnson Controls Tyco IP Holdings LLP Web services for creation and maintenance of smart entities for connected devices
US11314726B2 (en) 2017-09-27 2022-04-26 Johnson Controls Tyco IP Holdings LLP Web services for smart entity management for sensor systems
US11360959B2 (en) 2017-09-27 2022-06-14 Johnson Controls Tyco IP Holdings LLP Building risk analysis system with dynamic and base line risk
US11276288B2 (en) 2017-09-27 2022-03-15 Johnson Controls Tyco IP Holdings LLP Building risk analysis system with dynamic modification of asset-threat weights
US11314788B2 (en) 2017-09-27 2022-04-26 Johnson Controls Tyco IP Holdings LLP Smart entity management for building management systems
US11741812B2 (en) 2017-09-27 2023-08-29 Johnson Controls Tyco IP Holdings LLP Building risk analysis system with dynamic modification of asset-threat weights
US10559181B2 (en) 2017-09-27 2020-02-11 Johnson Controls Technology Company Building risk analysis system with risk combination for multiple threats
US11735021B2 (en) 2017-09-27 2023-08-22 Johnson Controls Tyco IP Holdings LLP Building risk analysis system with risk decay
US12056999B2 (en) 2017-09-27 2024-08-06 Tyco Fire & Security Gmbh Building risk analysis system with natural language processing for threat ingestion
US11195401B2 (en) 2017-09-27 2021-12-07 Johnson Controls Tyco IP Holdings LLP Building risk analysis system with natural language processing for threat ingestion
US10565844B2 (en) 2017-09-27 2020-02-18 Johnson Controls Technology Company Building risk analysis system with global risk dashboard
US11762356B2 (en) 2017-09-27 2023-09-19 Johnson Controls Technology Company Building management system with integration of data into smart entities
US11762353B2 (en) 2017-09-27 2023-09-19 Johnson Controls Technology Company Building system with a digital twin based on information technology (IT) data and operational technology (OT) data
US10559180B2 (en) 2017-09-27 2020-02-11 Johnson Controls Technology Company Building risk analysis system with dynamic modification of asset-threat weights
CN107818150A (zh) * 2017-10-23 2018-03-20 中国移动通信集团广东有限公司 一种日志审计方法及装置
US11782407B2 (en) 2017-11-15 2023-10-10 Johnson Controls Tyco IP Holdings LLP Building management system with optimized processing of building system data
US11762351B2 (en) 2017-11-15 2023-09-19 Johnson Controls Tyco IP Holdings LLP Building management system with point virtualization for online meters
US11727738B2 (en) 2017-11-22 2023-08-15 Johnson Controls Tyco IP Holdings LLP Building campus with integrated smart environment
US10713909B2 (en) 2018-02-07 2020-07-14 Johnson Controls Technology Company Building access control system with complex event processing
US10896561B2 (en) 2018-02-07 2021-01-19 Johnson Controls Technology Company Building access control system with spatial modeling
US10565838B2 (en) 2018-02-07 2020-02-18 Johnson Controls Technology Company Building access control system with complex event processing
US11048247B2 (en) 2018-02-08 2021-06-29 Johnson Controls Technology Company Building management system to detect anomalousness with temporal profile
US11954713B2 (en) 2018-03-13 2024-04-09 Johnson Controls Tyco IP Holdings LLP Variable refrigerant flow system with electricity consumption apportionment
CN108681925A (zh) * 2018-05-21 2018-10-19 中国联合网络通信有限公司重庆市分公司 一种基于移动互联网的场景还原方法
CN108681925B (zh) * 2018-05-21 2024-06-11 中国联合网络通信有限公司重庆市分公司 一种基于移动互联网的场景还原方法
CN110019077A (zh) * 2018-08-21 2019-07-16 平安科技(深圳)有限公司 日志查询方法、装置、设备及计算机可读存储介质
CN111082956A (zh) * 2018-10-22 2020-04-28 中兴通讯股份有限公司 一种事件流处理方法、电子设备和可读存储介质
CN111082956B (zh) * 2018-10-22 2022-06-07 中兴通讯股份有限公司 一种事件流处理方法、电子设备和可读存储介质
CN109344243A (zh) * 2018-10-23 2019-02-15 北京天安智慧信息技术有限公司 一种实时流计算报警分析方法及系统
US11941238B2 (en) 2018-10-30 2024-03-26 Johnson Controls Technology Company Systems and methods for entity visualization and management with an entity node editor
US11927925B2 (en) 2018-11-19 2024-03-12 Johnson Controls Tyco IP Holdings LLP Building system with a time correlated reliability data stream
CN109885556B (zh) * 2019-01-10 2021-12-21 四川长虹电器股份有限公司 一种设备数据模型的实现方法
CN109885556A (zh) * 2019-01-10 2019-06-14 四川长虹电器股份有限公司 一种设备数据模型的实现方法
US11763266B2 (en) 2019-01-18 2023-09-19 Johnson Controls Tyco IP Holdings LLP Smart parking lot system
US11769117B2 (en) 2019-01-18 2023-09-26 Johnson Controls Tyco IP Holdings LLP Building automation system with fault analysis and component procurement
US11775938B2 (en) 2019-01-18 2023-10-03 Johnson Controls Tyco IP Holdings LLP Lobby management system
US11762343B2 (en) 2019-01-28 2023-09-19 Johnson Controls Tyco IP Holdings LLP Building management system with hybrid edge-cloud processing
CN110865921A (zh) * 2019-11-08 2020-03-06 拉扎斯网络科技(上海)有限公司 数据监控方法、装置、可读存储介质和电子设备
CN111143432A (zh) * 2019-12-10 2020-05-12 华能集团技术创新中心有限公司 一种事件处理结果的数据分析预警系统及方法
CN111143167A (zh) * 2019-12-24 2020-05-12 北京优特捷信息技术有限公司 用于多平台的告警归并方法及装置、设备、存储介质
US12021650B2 (en) 2019-12-31 2024-06-25 Tyco Fire & Security Gmbh Building data platform with event subscriptions
US12040911B2 (en) 2019-12-31 2024-07-16 Tyco Fire & Security Gmbh Building data platform with a graph change feed
US11777759B2 (en) 2019-12-31 2023-10-03 Johnson Controls Tyco IP Holdings LLP Building data platform with graph based permissions
US11777758B2 (en) 2019-12-31 2023-10-03 Johnson Controls Tyco IP Holdings LLP Building data platform with external twin synchronization
US11777756B2 (en) 2019-12-31 2023-10-03 Johnson Controls Tyco IP Holdings LLP Building data platform with graph based communication actions
US11777757B2 (en) 2019-12-31 2023-10-03 Johnson Controls Tyco IP Holdings LLP Building data platform with event based graph queries
US11770269B2 (en) 2019-12-31 2023-09-26 Johnson Controls Tyco IP Holdings LLP Building data platform with event enrichment with contextual information
US12063126B2 (en) 2019-12-31 2024-08-13 Tyco Fire & Security Gmbh Building data graph including application programming interface calls
US11991019B2 (en) 2019-12-31 2024-05-21 Johnson Controls Tyco IP Holdings LLP Building data platform with event queries
US11968059B2 (en) 2019-12-31 2024-04-23 Johnson Controls Tyco IP Holdings LLP Building data platform with graph based capabilities
US11824680B2 (en) 2019-12-31 2023-11-21 Johnson Controls Tyco IP Holdings LLP Building data platform with a tenant entitlement model
US20220376944A1 (en) 2019-12-31 2022-11-24 Johnson Controls Tyco IP Holdings LLP Building data platform with graph based capabilities
US11991018B2 (en) 2019-12-31 2024-05-21 Tyco Fire & Security Gmbh Building data platform with edge based event enrichment
US11894944B2 (en) 2019-12-31 2024-02-06 Johnson Controls Tyco IP Holdings LLP Building data platform with an enrichment loop
US11880677B2 (en) 2020-04-06 2024-01-23 Johnson Controls Tyco IP Holdings LLP Building system with digital network twin
CN111258975A (zh) * 2020-04-26 2020-06-09 中国人民解放军总医院 图像归档通信系统异常定位方法、装置、设备及介质
CN111600898A (zh) * 2020-05-22 2020-08-28 国网电力科学研究院有限公司 基于规则引擎的安全告警生成方法、装置及系统
US11874809B2 (en) 2020-06-08 2024-01-16 Johnson Controls Tyco IP Holdings LLP Building system with naming schema encoding entity type and entity relationships
CN113971500A (zh) * 2020-07-23 2022-01-25 中国移动通信集团广东有限公司 一种数据细分管理方法、装置及数据管理平台
US11954154B2 (en) 2020-09-30 2024-04-09 Johnson Controls Tyco IP Holdings LLP Building management system with semantic model integration
US11741165B2 (en) 2020-09-30 2023-08-29 Johnson Controls Tyco IP Holdings LLP Building management system with semantic model integration
CN112422445A (zh) * 2020-10-10 2021-02-26 四川新网银行股份有限公司 一种基于Kafka的埋点数据实时采集计算和存储的方法
US11902375B2 (en) 2020-10-30 2024-02-13 Johnson Controls Tyco IP Holdings LLP Systems and methods of configuring a building management system
US12058212B2 (en) 2020-10-30 2024-08-06 Tyco Fire & Security Gmbh Building management system with auto-configuration using existing points
US12063274B2 (en) 2020-10-30 2024-08-13 Tyco Fire & Security Gmbh Self-configuring building management system
CN112328567B (zh) * 2020-10-31 2022-10-04 中盈优创资讯科技有限公司 一种物联网mme日志数据的处理方法及装置
CN112328567A (zh) * 2020-10-31 2021-02-05 中盈优创资讯科技有限公司 一种物联网mme日志数据的处理方法及装置
CN112434949A (zh) * 2020-11-25 2021-03-02 平安普惠企业管理有限公司 基于人工智能的业务预警处理方法、装置、设备和介质
US12061453B2 (en) 2020-12-18 2024-08-13 Tyco Fire & Security Gmbh Building management system performance index
CN114741412B (zh) * 2021-01-07 2024-04-16 厦门美柚股份有限公司 用户行为自助分析系统
CN114741412A (zh) * 2021-01-07 2022-07-12 厦门美柚股份有限公司 用户行为自助分析系统
US11921481B2 (en) 2021-03-17 2024-03-05 Johnson Controls Tyco IP Holdings LLP Systems and methods for determining equipment energy waste
US11899723B2 (en) 2021-06-22 2024-02-13 Johnson Controls Tyco IP Holdings LLP Building data platform with context based twin function processing
CN113448555A (zh) * 2021-06-30 2021-09-28 深信服科技股份有限公司 关联分析方法、装置、设备及存储介质
CN113448555B (zh) * 2021-06-30 2024-04-09 深信服科技股份有限公司 关联分析方法、装置、设备及存储介质
CN113626558A (zh) * 2021-07-07 2021-11-09 厦门市美亚柏科信息股份有限公司 一种基于智能推荐的字段标准化的方法和系统
CN113641654A (zh) * 2021-08-16 2021-11-12 神州数码融信软件有限公司 一种基于实时事件的营销处置规则引擎方法
CN113641654B (zh) * 2021-08-16 2024-04-19 神州数码融信软件有限公司 一种基于实时事件的营销处置规则引擎方法
CN113658652A (zh) * 2021-08-18 2021-11-16 四川大学华西医院 一种基于电子病历数据文本的二元关系提取方法
CN113658652B (zh) * 2021-08-18 2023-07-28 四川大学华西医院 一种基于电子病历数据文本的二元关系提取方法
CN113808257A (zh) * 2021-09-15 2021-12-17 江苏中科云墨数字科技有限公司 一种数字应急演练系统
CN113986656B (zh) * 2021-10-14 2023-12-19 南京南瑞信息通信科技有限公司 一种基于数据中台的电网数据安全监测系统
CN113986656A (zh) * 2021-10-14 2022-01-28 南京南瑞信息通信科技有限公司 一种基于数据中台的电网数据安全监测系统
CN114003788A (zh) * 2021-11-02 2022-02-01 广州新科佳都科技有限公司 一种动态事件可视化分析系统
US11796974B2 (en) 2021-11-16 2023-10-24 Johnson Controls Tyco IP Holdings LLP Building data platform with schema extensibility for properties and tags of a digital twin
US12055907B2 (en) 2021-11-16 2024-08-06 Tyco Fire & Security Gmbh Building data platform with schema extensibility for properties and tags of a digital twin
US11769066B2 (en) 2021-11-17 2023-09-26 Johnson Controls Tyco IP Holdings LLP Building data platform with digital twin triggers and actions
US11934966B2 (en) 2021-11-17 2024-03-19 Johnson Controls Tyco IP Holdings LLP Building data platform with digital twin inferences
US11704311B2 (en) 2021-11-24 2023-07-18 Johnson Controls Tyco IP Holdings LLP Building data platform with a distributed digital twin
US12013673B2 (en) 2021-11-29 2024-06-18 Tyco Fire & Security Gmbh Building control system using reinforcement learning
US11714930B2 (en) 2021-11-29 2023-08-01 Johnson Controls Tyco IP Holdings LLP Building data platform with digital twin based inferences and predictions for a graphical building model
US12013823B2 (en) 2022-09-08 2024-06-18 Tyco Fire & Security Gmbh Gateway system that maps points into a graph schema
US12061633B2 (en) 2022-09-08 2024-08-13 Tyco Fire & Security Gmbh Building system that maps points into a graph schema
CN115658637A (zh) * 2022-12-26 2023-01-31 北京六方云信息技术有限公司 日志范式化处理方法、装置、存储介质及处理器
CN116560937B (zh) * 2023-03-27 2024-02-27 中国华能集团有限公司北京招标分公司 一种告警引擎使用方法
CN116560937A (zh) * 2023-03-27 2023-08-08 中国华能集团有限公司北京招标分公司 一种告警引擎使用方法
CN118012720A (zh) * 2024-04-09 2024-05-10 浙江口碑网络技术有限公司 复杂事件处理方法、装置、介质及设备

Also Published As

Publication number Publication date
CN107147639B (zh) 2018-07-24

Similar Documents

Publication Publication Date Title
CN107147639B (zh) 一种基于复杂事件处理的实时安全预警方法
CN110008288B (zh) 用于网络故障分析的知识图谱库的构建方法及其应用
CN107391353B (zh) 基于日志的复杂软件系统异常行为检测方法
CN105653444B (zh) 基于互联网日志数据的软件缺陷故障识别方法和系统
CN112860872B (zh) 基于自学习的配电网操作票语义合规性的校验方法及系统
CN107872454B (zh) 超大型互联网平台威胁信息监测与分析系统及方法
CN104598367B (zh) 数据中心故障事件管理自动化系统及方法
US20180129579A1 (en) Systems and Methods with a Realtime Log Analysis Framework
CN112395424B (zh) 一种复杂产品质量问题追溯方法及系统
CN103761173A (zh) 一种基于日志的计算机系统故障诊断方法及装置
CN109240258A (zh) 基于词向量的汽车故障智能辅助诊断方法和系统
CN114238655A (zh) 企业关联关系识别方法、装置、设备及介质
CN115794798A (zh) 一种市场监管信息化标准管理与动态维护系统及方法
CN117312643A (zh) 基于联机分析引擎的数据查询方法及其装置、电子设备
CN110796565A (zh) 监理日志的分析方法及分析系统
CN114116872A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN117436729A (zh) 一种基于政务系统数据治理和数据分析方法
CN108549672A (zh) 一种数据智能分析方法及系统
CN114461784A (zh) 一种非结构化设备故障知识的分类及知识萃取方法
US20070255670A1 (en) Method and System for Automatically Producing Computer-Aided Control and Analysis Apparatuses
JP2022185696A (ja) ログ管理装置
CN116707834B (zh) 一种基于云存储的分布式大数据取证与分析平台
CN115328442B (zh) 基于低代码平台构建的危化品企业安全风险管控平台
Tekinerdogan et al. Architecting Software Model Management and Analytics Framework
Ekwonwune Emmanuel et al. Extracting Business Rule from existing COBOL programs for Redevelopment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing

Co-patentee after: NARI Group Corp.

Patentee after: State Grid Corporation of China

Co-patentee after: NARI INFORMATION AND COMMUNICATION TECHNOLOGY Co.

Co-patentee after: INFORMATION & TELECOMMUNICATION BRANCH OF STATE GRID FUJIAN ELECTRIC POWER Co.,Ltd.

Address before: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing

Co-patentee before: NARI Group CORPORATION STATE GRID ELECTRIC POWER INSTITUTE

Patentee before: State Grid Corporation of China

Co-patentee before: NARI INFORMATION AND COMMUNICATION TECHNOLOGY Co.

Co-patentee before: INFORMATION & TELECOMMUNICATION BRANCH OF STATE GRID FUJIAN ELECTRIC POWER Co.,Ltd.