CN116861455B - 事件数据处理方法、系统、电子设备及存储介质 - Google Patents

事件数据处理方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN116861455B
CN116861455B CN202310748818.0A CN202310748818A CN116861455B CN 116861455 B CN116861455 B CN 116861455B CN 202310748818 A CN202310748818 A CN 202310748818A CN 116861455 B CN116861455 B CN 116861455B
Authority
CN
China
Prior art keywords
event
data
overview
detail
atomic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310748818.0A
Other languages
English (en)
Other versions
CN116861455A (zh
Inventor
胡旭阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shuhe Information Technology Co Ltd
Original Assignee
Shanghai Shuhe Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shuhe Information Technology Co Ltd filed Critical Shanghai Shuhe Information Technology Co Ltd
Priority to CN202310748818.0A priority Critical patent/CN116861455B/zh
Publication of CN116861455A publication Critical patent/CN116861455A/zh
Application granted granted Critical
Publication of CN116861455B publication Critical patent/CN116861455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种事件数据处理方法、系统、电子设备及存储介质,包括响应于接收到包含的事件消息的事件数据存储请求,生成事件概览数据和事件详情数据,事件概览数据和事件详情数据内包含有对应的密钥;上传事件概览数据至分析型数据库并上传事件详情数据至文档型数据库;响应于包含查询条件的事件数据查询请求,从分析型数据库中查询与查询条件匹配的目标事件概览数据以确定目标密钥;基于目标密钥,从文档型数据库中查询与目标密钥匹配的目标事件详情数据。通过结合文档型数据库和分析型数据库,同时实现了对海量事件数据的存储以及高并发查询。

Description

事件数据处理方法、系统、电子设备及存储介质
技术领域
本申请涉及计算机软件技术领域,特别涉及一种事件数据处理方法、系统、电子设备及存储介质。
背景技术
现实中,大部分公司在开展业务时通常会产生各种各样的事件,并需要对产生的事件进行存储。而随着时间的增长以及业务量的扩展,事件量也随之进行大幅增加;公司在对事件数据进行存储时,面临着事件流量大且并发高的问题:单日事件数据流量可达一亿左右,并发量最高可达5000;随之而来的是,如何实现对海量数据进行高效快速查询的问题。
现有的存储方法通常采用传统的MySQL数据库(关系型数据库)对事件数据进行存储,然而MySQL数据库无法满足对海量数据量进行存储的需求,更不必说能够提供对事件数据进行高效查询的功能。而HBase等非关系型数据库虽然能够支持海量数据的存储,但是无法满足对数据的并发查询。事实上任何一种单一的数据库都很难在满足对海量数据的存储的同时确保查询速度高效。
因此亟需一种能够同时满足对海量事件数据进行存储并提供高效并发查询的方法以解决上述技术问题。
发明内容
基于此,有必要针对上述技术问题,提供一种事件数据处理方法、系统、电子设备及存储介质,以实现大量的事件数据高效的存储和查询。
第一方面,本申请提供一种事件数据处理方法,所述方法包括:
响应于接收到包含的事件消息的事件数据存储请求,生成事件概览数据和事件详情数据,所述事件概览数据和所述事件详情数据内包含有对应的密钥;
上传所述事件概览数据至分析型数据库并上传所述事件详情数据至文档型数据库;
响应于包含查询条件的事件数据查询请求,从所述分析型数据库中查询与所述查询条件匹配的目标事件概览数据以确定目标密钥;
基于所述目标密钥,从所述文档型数据库中查询与所述目标密钥匹配的目标事件详情数据。
在一些实施例中,所述事件概览数据包括第一概览数据和第二概览数据,所诉事件详情数据包括第一详情数据和第二详情数据,所述响应于接收到包含的事件消息的事件数据存储请求,生成事件概览数据和事件详情数据,包括:
判断所述事件数据存储请求中包含的事件消息的类型,所述类型包括原子事件和衍生事件;
若所述事件消息为原子事件,则根据第一规则生成第一概览数据和第一详情数据;
若所述事件消息为衍生事件,则根据第二规则生成第二概览数据和第二详情数据。
在一些实施例中,所述若所述事件消息为原子事件,则根据第一规则生成第一概览数据和第一详情数据,包括:
解析所述原子事件以提取原子属性;
筛选所述原子属性中的第一事件概览属性,并根据所述第一事件概览属性、公共属性以及密钥生成第一概览数据;
筛选所述事件属性中的第一事件详情属性,并根据所述第一事件详情属性、公共属性以及密钥生成第一详情数据;
其中,相同的原子事件对应的第一概览数据和第一详情数据内包含的密钥相同。
在一些实施例中,所述若所述事件消息为衍生事件,则根据第二规则生成第二概览数据、第二详情数据,包括:
解析所述衍生事件以提取衍生属性;
筛选所述衍生属性中的第二事件概览属性,根据所述第二事件概览属性及密钥,生成第二概览数据;
筛选所述衍生属性中的第二事件详情属性,根据所述第二事件详情属性及密钥,生成第二详情数据;
其中,相同的衍生事件对应的第二概览数据和第二详情数据内包含的密钥相同。
在一些实施例中,所述上传所述事件概览数据至分析型数据库并上传所述事件详情数据至文档型数据库,包括:
若所述事件消息为原子事件,则生成原子索引号,并将所述第一概览数据和原子索引号上传至分析型数据库以及将所述第一详情数据和原子索引号上传至文档型数据库;
若所述事件消息为衍生事件,则查询与所述衍生事件匹配原子事件对应的原子索引号,并将所述第二概览数据和查询到的原子索引号上传至分析型数据库以及将所述第二详情数据和原子索引号上传至文档型数据库。
在一些实施例中,所述上传所述事件概览数据至分析型数据库,所述方法还包括:
将生成的事件概览数据存储至本地队列;
间隔预设时间段后,将本地队列中存储的所述事件概览数据上传至分析型数据库。
在一些实施例中,所述上传所述事件详情数据至文档型数据库,还包括:
对所述事件详情数据进行第一加密处理;
利用消息摘要算法对所述事件详情数据中的密钥进行第二加密处理;
将经过第一加密处理和第二加密处理后的事件详情数据上传至所述文档型数据库。
第二方面,本申请提供一种事件数据处理系统,所述系统包括:
数据处理模块,用于响应于接收到包含的事件消息的事件数据存储请求,生成事件概览数据和事件详情数据;
数据存储模块,用于上传所述事件概览数据至分析型数据库并上传所述事件详情数据至文档型数据库;
所述数据处理模块,还用于响应于包含查询条件的事件数据查询请求,从所述分析型数据库中查询与所述查询条件匹配的目标事件概览数据以确定目标密钥;
数据查询模块,用于基于所述目标密钥,从所述文档型数据库中查询与所述目标密钥匹配的事件详情数据。
第三方面,本申请提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
以及与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
响应于接收到包含的事件消息的事件数据存储请求,生成事件概览数据和事件详情数据,所述事件概览数据和所述事件详情数据内包含有对应的密钥;
上传所述事件概览数据至分析型数据库并上传所述事件详情数据至文档型数据库;
响应于包含查询条件的事件数据查询请求,从所述分析型数据库中查询与所述查询条件匹配的目标事件概览数据以确定目标密钥;
基于所述目标密钥,从所述文档型数据库中查询与所述目标密钥匹配的目标事件详情数据。
第四方面,本申请还提供了一种计算机可读存储介质,所述存储介质上存储计算机程序,所述计算机程序使得计算机执行如下操作:
响应于接收到包含的事件消息的事件数据存储请求,生成事件概览数据和事件详情数据,所述事件概览数据和所述事件详情数据内包含有对应的密钥;
上传所述事件概览数据至分析型数据库并上传所述事件详情数据至文档型数据库;
响应于包含查询条件的事件数据查询请求,从所述分析型数据库中查询与所述查询条件匹配的目标事件概览数据以确定目标密钥;
基于所述目标密钥,从所述文档型数据库中查询与所述目标密钥匹配的目标事件详情数据。
本申请实现的有益效果为:
本申请提供了一种事件数据处理方法,包括响应于接收到包含的事件消息的事件数据存储请求,生成事件概览数据和事件详情数据,所述事件概览数据和所述事件详情数据内包含有对应的密钥;上传所述事件概览数据至分析型数据库并上传所述事件详情数据至文档型数据库;响应于包含查询条件的事件数据查询请求,从所述分析型数据库中查询与所述查询条件匹配的目标事件概览数据以确定目标密钥;基于所述目标密钥,从所述文档型数据库中查询与所述目标密钥匹配的目标事件详情数据。通过结合文档型数据库和分析型数据库,同时实现了对海量事件数据的存储以及高并发查询。进一步根据产生的事件消息的类型的不同,公开了两种数据加工规则,以避免在对衍生事件存储时再次存储数据库中已存储的事件数据,降低数据存储的压力;且通过原子索引号可直接查询到与该衍生事件对应的原子事件的存储位置,查询简单。此外,本申请还提出了在将事件概览数据上传至分析型数据库时先将事件概览数据存储在本地队列中,间隔一定时间后再上传至数据库,降低数据库存储的压力;在将事件详情数据上传至文档型数据库时对数据进行二次加密,最大程度的保障了上传的事件详情数据的安全性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,其中:
图1是本申请实施例提供的事件数据处理时序图;
图2是本申请实施例提供的一种事件数据存储示意图;
图3是本申请实施例提供的一种事件数据处理方法流程图;
图4是本申请实施例提供的一种事件数据处理系统示意图;
图5是本申请实施例提供的电子设备结构图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应当理解,在本申请的描述中,除非上下文明确要求,否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义;也就是说,是“包括但不限于”的含义。
还应当理解,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
需要注意的是,术语“S1”、“S2”等仅用于步骤的描述目的,并非特别指称次序或顺位的意思,亦非用以限定本申请,其仅仅是为了方便描述本申请的方法,而不能理解为指示步骤的先后顺序。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本申请要求的保护范围之内。
如背景技术所述,随着时间和公司业务量的开展,产生的事件量也越来越多,同时在后续需要对事件进行查询;而现有的对事件数据进行处理的方法,通常通过MySQL数据库和HBase数据库进行事件数据存储和查询。然而,MySQL数据库属于关系型数据库,不能支持海量数据的存储;HBase数据库等非关系型数据库虽然能支持数据的海量存储,但是无法满足对数据的高效并发查询的要求。即现有的数据库在满足对海量数据的存储的同时确保高效查询速度上存在性能瓶颈。
因此,本申请提供了一种事件数据处理方法,在分析型数据可和文档型数据库的结合的基础上,利用分析型数据库的查询能力和文档型数据库的存储能力实现了对事件数据的高并发查询和海量存储。
实施例一
本申请实施例提供了一种事件数据处理方法,如图1所示的时序图,本实施例利用分析型数据库和文档型数据库的结合实现了对事件数据的存储和查询。
其中,对事件数据的存储具体包括以下内容:
事件中心响应于事件存储请求,对上传的事件数据进行加工后生成事件概览数据和事件详情数据,并将事件详情数据和事件概览数据分别上传至分析型数据库和文档型数据库。
具体的,事件中心首先识别事件存储请求中包含的事件消息的类型,并根据识别到的事件消息的类型调用不同的规则对事件数据进行加工处理。其中,本实施例将事件消息分为两种类型,一类是原子事件,另一类是衍生事件。事件通常定义为业务对象在自身领域中发生变化时(比如属性、状态等)所产生的实时信息,例如用户登陆时登录状态发生的变化可以描述成用户登录事件,事件又分为原子事件、衍生事件和复杂事件。在本申请实施例中原子事件是指业务系统发出的原始业务消息或者特征平台特征值变化发出的特征消息,由系统产生的原始事件数据;比如“用户借款”是一个原子事件。衍生事件通常是基于原子事件的属性加工(经过一定的条件过滤和聚合)后的事件;比如“用户还享花借款成功”事件是通过“用户借款”原子事件的借款业务类型属性和借款状态属性加工得到的。复杂事件通过使用基于事件流处理的技术,分析事件流中各事件之间的关系,建立不同的事件关系序列库,利用过滤、关联、聚合、模式匹配等技术最终由原子或衍生事件加工产生的事件。由于衍生事件和复杂事件都是在原子事件的基础上进一步的变化,而为了更好的说明,在本实施例中将衍生事件和复杂事件统称为衍生事件。
可以理解的是,事件概览数据包含第一概览数据和第二概览数据,事件详情数据包含第一详情数据和第二详情数据。若事件中心识别到本次事件存储请求中包含的事件消息为原子事件,则调用第一规则生成第一概览数据和第一详情数据;若事件中心识别到本次事件存储请求中包含的事件消息为衍生事件,则调用第二规则生成第二概览数据和第二详情数据。
具体的,调用第一规则生成第一概览数据和第一详情数据包括:解析原子事件以提取原子属性,其中将原子属性中用于表示事件详情属性的原子属性记为详情属性(即第一事件详情属性),将原子属性中用于表示事件概览属性的原子属性的事件概览属性记为概览属性(即第一事件概览属性);并按照事件格式提取公共属性,如事件时间和事件ID等公共属性;完成对公共属性的提取后,依据分析型数据库需要的第一格式数据体,将第一事件概览属性、公共属性和密钥组装成第一概览数据;并依据文档型数据库需要的第二格式数据体,将第二事件详情属性、公共属性和密钥组装成第一详情数据;其中,密钥为满足唯一性和离散性的随机数,优选的密钥可以是根据事件时间、事件编码和UUID(UniversallyUniqueIdentifier,通用唯一识别码)组合形成的。可以理解的是,在相同的原子事件的基础上生成的第一概览数据和第一详情数据内包含的密钥相同。
具体的,调用第二规则生产第二概览数据和第二详情数据包括:解析衍生事件,提取除原子属性外的其他属性,记为衍生属性;将衍生属性中用于表示衍生事件概览属性的衍生属性记为第二概览属性,将衍生属性中用于表示衍生事件详情属性的衍生属性记为第二详情属性;然后将第二事件概览属性和密钥组装成第二概览数据,将第二事件详情属性和密钥组装成第二详情数据。避免了在存储时对衍生事件内包含的原子属性的重复存储。
优选的,在一些实施例中,如图2所示的示意图,若事件中心接收到的上报的事件消息的类型为原子事件,则生成原子索引号,将将第一概览数据和原子索引号上传至分析型数据库并将第一详情数据和原子索引号上传至文档型数据库;其中,原子索引号为用于表示原子事件存储地址的数据索引;若事件中心接收到的上报的事件消息的类型为衍生事件,则查询与衍生事件匹配的原子事件对应的原子索引号,然后将第二概览数据和查询到的原子索引号进行关联后上传至分析型数据库并将第二详情数据和原子索引号进行关联后上传至文档型数据库。实现了在存储衍生事件时,避免再次存储与该衍生事件对应的原子事件已存储的事件数据(即原子属性),减少数据存储的压力,此外通过原子索引号指示原子事件的存储位置,方便后续对衍生事件对应的所有数据的查询。
优选的,在一些实施例中,将事件概览数据和事件详情数据分别上传至分析型数据库和文档型数据库的方法还包括以下内容:
在将事件概览数据上传至分析型数据库时,考虑到即使是存储数据量较小的事件概览数据,但由于存储时并发量大,如果每次新生成一项事件概览数据就立即将新生成的事件详情数据存储到分析型数据库中,分析型数据库无法承受大量的并发存储,因此为了减少插入文档型数据库的频次,本申请实施例还提出在将新生成的事件概览数据先存放在本地队列中,在间隔预设时间段后,将本地队列中存储的事件概览数据全部上传至分析型数据库。
优选的,上述预设时间段依据系统性能和内存资源占用之间的平衡决定,开始时,可以选择一个保守的作为上传的预设时间段,然后根据实际经验进行迭代和优化,以达到最佳的平衡点;具体需要考虑以下内容:1、系统的性能指标,如处理器速度、网络带宽、磁盘读写速度等以估计系统可以处理的数据量和速度。2、每个数据批次的大小;如果数据批次过大,可能会导致内存资源紧张或上传时间过长;确保每个批次的数据量在系统可处理范围之内。3、系统内存的使用情况;如果内存资源已接近极限,上传数据时可能会导致系统变慢或崩溃,因此确保在上传事件概览数据之前,系统有足够的可用内存。4、系统当前的负载情况,包括其他任务和进程的运行情况;如果系统负载较高,可能需要降低上传频率,以避免过度竞争系统资源。
在将事件详情数据上传至文档型数据库时,考虑到由于通常情况下事件详情数据涉及到业务数据,为了防止事件详情数据被篡改,因此在上传时对事件详情数据进行加密处理。具体的,可调用HTTP协议将事件详情数据上传至文档型数据库,并对事件详情数据进行第一加密处理,其中第一加密处理可以是通过任一一种对称加密算法进行加密处理;此外,还利用消息摘要算法对事件详情数据中的密钥进行第二加密处理,例如通过MD5信息摘要算法对特点的密钥进行MD5摘要。将经过第一加密处理和第二加密处理后的事件详情数据上传至文档型数据库。
其中,对事件数据的查询具体包括以下内容:
事件中心响应于包含查询条件的事件数据查询请求,从分析型数据库中查询与查询条件匹配的目标事件概览数据以确定目标密钥;基于目标密钥,从文档型数据库中查询与目标密钥匹配的目标事件详情数据。
可以理解的是,若事件包含查询条件的数据查询请求需要查询的是衍生事件,此时依旧从分析型数据库中查询出与查询条件匹配的目标事件概览数据并确定目标密钥。基于前述内容可以确定的是,目标事件概览数据和目标事件详情数据在事先上传时与指向与衍生事件对应的原子事件的原子索引号分别进行关联存储。因此需要查询该衍生事件对应的所有的事件概览数据时,可依据关联上传的原子索引号确定对应的原子事件的第一概览数据。在查询文档型数据库中该衍生事件对应的所有事件详情数据时,通过目标密钥查询文档型数据库中与目标密钥匹配的第二详情数据;然后基于关联存储的原子索引号,进一步查询该衍生事件对应的原子事件的第一详情数据。实现了对衍生事件对应的所有事件数据(包括事件详情数据和事件概览数据)的查询。
实施例二
对应上述实施例一,本申请还实施例提供了一种事件数据处理方法,如图3所示的流程图,具体包括:
3100、响应于接收到包含的事件消息的事件数据存储请求,生成事件概览数据和事件详情数据,所述事件概览数据和所述事件详情数据内包含有对应的密钥;
优选的,所述事件概览数据包括第一概览数据和第二概览数据,所诉事件详情数据包括第一详情数据和第二详情数据,所述响应于接收到包含的事件消息的事件数据存储请求,生成事件概览数据和事件详情数据,包括:
3110、判断所述事件数据存储请求中包含的事件消息的类型,所述类型包括原子事件和衍生事件;
3120、若所述事件消息为原子事件,则根据第一规则生成第一概览数据和第一详情数据;
优选的,所述若所述事件消息为原子事件,则根据第一规则生成第一概览数据和第一详情数据,包括:
3121、解析所述原子事件以提取原子属性;
3122、筛选所述原子属性中的第一事件概览属性,并根据所述第一事件概览属性、公共属性以及密钥生成第一概览数据;
3123、筛选所述事件属性中的第一事件详情属性,并根据所述第一事件详情属性、公共属性以及密钥生成第一详情数据;
其中,相同的原子事件对应的第一概览数据和第一详情数据内包含的密钥相同。
3130、若所述事件消息为衍生事件,则根据第二规则生成第二概览数据和第二详情数据。
优选的,所述若所述事件消息为衍生事件,则根据第二规则生成第二概览数据、第二详情数据,包括:
3131、解析所述衍生事件以提取衍生属性;
3132、筛选所述衍生属性中的第二事件概览属性,根据所述第二事件概览属性及密钥,生成第二概览数据;
3133、筛选所述衍生属性中的第二事件详情属性,根据所述第二事件详情属性及密钥,生成第二详情数据;
其中,相同的衍生事件对应的第二概览数据和第二详情数据内包含的密钥相同。
3200、上传所述事件概览数据至分析型数据库并上传所述事件详情数据至文档型数据库;
优选的,所述上传所述事件概览数据至分析型数据库并上传所述事件详情数据至文档型数据库,包括:
3210、若所述事件消息为原子事件,则生成原子索引号,并将所述第一概览数据和原子索引号上传至分析型数据库以及将所述第一详情数据和原子索引号上传至文档型数据库;
3220、若所述事件消息为衍生事件,则查询与所述衍生事件匹配原子事件对应的原子索引号,并将所述第二概览数据和查询到的原子索引号上传至分析型数据库以及将所述第二详情数据和原子索引号上传至文档型数据库。
优选的,所述上传所述事件概览数据至分析型数据库,所述方法还包括:
3230、将生成的事件概览数据存储至本地队列;
3240、间隔预设时间段后,将本地队列中存储的所述事件概览数据上传至分析型数据库。
优选的,所述上传所述事件详情数据至文档型数据库,还包括:
3250、对所述事件详情数据进行第一加密处理;
3260、利用消息摘要算法对所述事件详情数据中的密钥进行第二加密处理;
3270、将经过第一加密处理和第二加密处理后的事件详情数据上传至所述文档型数据库。
3300、响应于包含查询条件的事件数据查询请求,从所述分析型数据库中查询与所述查询条件匹配的目标事件概览数据以确定目标密钥;
3400、基于所述目标密钥,从所述文档型数据库中查询与所述目标密钥匹配的目标事件详情数据。
实施例三
对应实施例一和实施例二,本申请实施例还提供一种事件处理系统,如图4所示,包括:
数据处理模块410,用于响应于接收到包含的事件消息的事件数据存储请求,生成事件概览数据和事件详情数据;
数据存储模块420,用于上传所述事件概览数据至分析型数据库并上传所述事件详情数据至文档型数据库;
所述数据处理模块410,还用于响应于包含查询条件的事件数据查询请求,从所述分析型数据库中查询与所述查询条件匹配的目标事件概览数据以确定目标密钥;
数据查询模块430,用于基于所述目标密钥,从所述文档型数据库中查询与所述目标密钥匹配的事件详情数据。
在一些实施例中,所述数据处理模块410还用于判断所述事件数据存储请求中包含的事件消息的类型,所述类型包括原子事件和衍生事件;若所述事件消息为原子事件,则根据第一规则生成第一概览数据和第一详情数据;若所述事件消息为衍生事件,则根据第二规则生成第二概览数据和第二详情数据。
在一些实施例中,所述数据处理模块410还用于解析所述原子事件以提取原子属性;筛选所述原子属性中的第一事件概览属性,并根据所述第一事件概览属性、公共属性以及密钥生成第一概览数据;筛选所述事件属性中的第一事件详情属性,并根据所述第一事件详情属性、公共属性以及密钥生成第一详情数据;其中,相同的原子事件对应的第一概览数据和第一详情数据内包含的密钥相同。
在一些实施例中,所述数据处理模块410还用于解析所述衍生事件以提取衍生属性;筛选所述衍生属性中的第二事件概览属性,根据所述第二事件概览属性及密钥,生成第二概览数据;筛选所述衍生属性中的第二事件详情属性,根据所述第二事件详情属性及密钥,生成第二详情数据;其中,相同的衍生事件对应的第二概览数据和第二详情数据内包含的密钥相同。
在一些实施例中,所述数据处理模块410还用于在所述事件消息为原子事件时,生成原子索引号;所述数据存储模块420用于将所述第一概览数据和原子索引号上传至分析型数据库以及将所述第一详情数据和原子索引号上传至文档型数据库;所述数据处理模块410还用于在所述事件消息为衍生事件时,查询与所述衍生事件匹配原子事件对应的原子索引号;所述数据处理模块410还用于在将所述第二概览数据和查询到的原子索引号上传至分析型数据库以及将所述第二详情数据和原子索引号上传至文档型数据库。
在一些实施例中,所述数据存储模块420还用于将生成的事件概览数据存储至本地队列;间隔预设时间段后,将本地队列中存储的所述事件概览数据上传至分析型数据库。
在一些实施例中,所述数据存储模块420还用于对所述事件详情数据进行第一加密处理;利用消息摘要算法对所述事件详情数据中的密钥进行第二加密处理;将经过第一加密处理和第二加密处理后的事件详情数据上传至所述文档型数据库。
实施例四
对应上述所有实施例,本申请实施例提供一种电子设备,包括:
一个或多个处理器;以及与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
响应于接收到包含的事件消息的事件数据存储请求,生成事件概览数据和事件详情数据,所述事件概览数据和所述事件详情数据内包含有对应的密钥;
上传所述事件概览数据至分析型数据库并上传所述事件详情数据至文档型数据库;
响应于包含查询条件的事件数据查询请求,从所述分析型数据库中查询与所述查询条件匹配的目标事件概览数据以确定目标密钥;
基于所述目标密钥,从所述文档型数据库中查询与所述目标密钥匹配的目标事件详情数据。
其中,图5示例性的展示出了电子设备的架构,具体可以包括处理器510,视频显示适配器511,磁盘驱动器512,输入/输出接口513,网络接口514,以及存储器520。上述处理器510、视频显示适配器511、磁盘驱动器512、输入/输出接口513、网络接口514,与存储器520之间可以通过总线530进行通信连接。
其中,处理器510可以采用通用的CPU(CentralProcessingUnit,中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本申请所提供的技术方案。
存储器520可以采用ROM(ReadOnlyMemory,可编写存储器)、RAM(RandomAccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器520可以存储用于控制电子设备500执行的操作系统521,用于控制电子设备500的低级别操作的基本输入输出系统(BIOS)522。另外,还可以存储网页浏览器523,数据存储管理系统524,以及图标字体处理系统525等等。上述图标字体处理系统525就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之,在通过软件或者固件来实现本申请所提供的技术方案时,相关的程序代码保存在存储器520中,并由处理器510来调用执行。
输入/输出接口513用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
网络接口514用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线530包括一通路,在设备的各个组件(例如处理器510、视频显示适配器511、磁盘驱动器512、输入/输出接口513、网络接口514,与存储器520)之间传输信息。
另外,该电子设备500还可以从虚拟资源对象领取条件信息数据库中获得具体领取条件的信息,以用于进行条件判断,等等。
需要说明的是,尽管上述设备仅示出了处理器510、视频显示适配器511、磁盘驱动器512、输入/输出接口513、网络接口514,存储器520,总线530等,但是在具体实施过程中,该设备还可以包括实现正常执行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本申请方案所必需的组件,而不必包含图中所示的全部组件。
实施例五
对应上述所有实施例,本申请实施例还提供一种计算机可读存储介质,其特征在于,其存储计算机程序,所述计算机程序使得计算机执行如下操作:
响应于接收到包含的事件消息的事件数据存储请求,生成事件概览数据和事件详情数据,所述事件概览数据和所述事件详情数据内包含有对应的密钥;
上传所述事件概览数据至分析型数据库并上传所述事件详情数据至文档型数据库;
响应于包含查询条件的事件数据查询请求,从所述分析型数据库中查询与所述查询条件匹配的目标事件概览数据以确定目标密钥;
基于所述目标密钥,从所述文档型数据库中查询与所述目标密钥匹配的目标事件详情数据。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,云服务端,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (9)

1.一种事件数据处理方法,其特征在于,所述方法包括:
响应于接收到包含的事件消息的事件数据存储请求,生成事件概览数据和事件详情数据,所述事件概览数据和所述事件详情数据内包含有对应的密钥;
上传所述事件概览数据至分析型数据库并上传所述事件详情数据至文档型数据库;
响应于包含查询条件的事件数据查询请求,从所述分析型数据库中查询与所述查询条件匹配的目标事件概览数据以确定目标密钥;
基于所述目标密钥,从所述文档型数据库中查询与所述目标密钥匹配的目标事件详情数据;
其中,所述事件概览数据包括第一概览数据和第二概览数据,所述事件详情数据包括第一详情数据和第二详情数据,所述响应于接收到包含的事件消息的事件数据存储请求,生成事件概览数据和事件详情数据,包括:
判断所述事件数据存储请求中包含的事件消息的类型,所述类型包括原子事件和衍生事件;
若所述事件消息为原子事件,则根据第一规则生成第一概览数据和第一详情数据;
若所述事件消息为衍生事件,则根据第二规则生成第二概览数据和第二详情数据。
2.根据权利要求1所述的方法,其特征在于,所述若所述事件消息为原子事件,则根据第一规则生成第一概览数据和第一详情数据,包括:
解析所述原子事件以提取原子属性;
筛选所述原子属性中的第一事件概览属性,并根据所述第一事件概览属性、公共属性以及密钥生成第一概览数据;
筛选所述事件属性中的第一事件详情属性,并根据所述第一事件详情属性、公共属性以及密钥生成第一详情数据;
其中,相同的原子事件对应的第一概览数据和第一详情数据内包含的密钥相同。
3.根据权利要求1所述的方法,其特征在于,所述若所述事件消息为衍生事件,则根据第二规则生成第二概览数据、第二详情数据,包括:
解析所述衍生事件以提取衍生属性;
筛选所述衍生属性中的第二事件概览属性,根据所述第二事件概览属性及密钥,生成第二概览数据;
筛选所述衍生属性中的第二事件详情属性,根据所述第二事件详情属性及密钥,生成第二详情数据;
其中,相同的衍生事件对应的第二概览数据和第二详情数据内包含的密钥相同。
4.根据权利要求1-3任一所述的方法,其特征在于,所述上传所述事件概览数据至分析型数据库并上传所述事件详情数据至文档型数据库,包括:
若所述事件消息为原子事件,则生成原子索引号,并将所述第一概览数据和原子索引号上传至分析型数据库以及将所述第一详情数据和原子索引号上传至文档型数据库;
若所述事件消息为衍生事件,则查询与所述衍生事件匹配原子事件对应的原子索引号,并将所述第二概览数据和查询到的原子索引号上传至分析型数据库以及将所述第二详情数据和原子索引号上传至文档型数据库。
5.根据权利要求1-3任一所述的方法,其特征在于,所述上传所述事件概览数据至分析型数据库,所述方法还包括:
将生成的事件概览数据存储至本地队列;
间隔预设时间段后,将本地队列中存储的所述事件概览数据上传至分析型数据库。
6.根据权利要求1-3任一所述的方法,其特征在于,所述上传所述事件详情数据至文档型数据库,还包括:
对所述事件详情数据进行第一加密处理;
利用消息摘要算法对所述事件详情数据中的密钥进行第二加密处理;
将经过第一加密处理和第二加密处理后的事件详情数据上传至所述文档型数据库。
7.一种事件处理系统,其特征在于,所述系统包括:
数据处理模块,用于响应于接收到包含的事件消息的事件数据存储请求,生成事件概览数据和事件详情数据;
数据存储模块,用于上传所述事件概览数据至分析型数据库并上传所述事件详情数据至文档型数据库;
所述数据处理模块,还用于响应于包含查询条件的事件数据查询请求,从所述分析型数据库中查询与所述查询条件匹配的目标事件概览数据以确定目标密钥;
数据查询模块,用于基于所述目标密钥,从所述文档型数据库中查询与所述目标密钥匹配的事件详情数据;
其中,所述事件概览数据包括第一概览数据和第二概览数据,所述事件详情数据包括第一详情数据和第二详情数据,所述数据处理模块还用于:判断所述事件数据存储请求中包含的事件消息的类型,所述类型包括原子事件和衍生事件;若所述事件消息为原子事件,则根据第一规则生成第一概览数据和第一详情数据;若所述事件消息为衍生事件,则根据第二规则生成第二概览数据和第二详情数据。
8.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
以及与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行权利要求1-6任一所述方法。
9.一种计算机可读存储介质,其特征在于,其存储计算机程序,所述计算机程序使得计算机执行权利要求1-6中任一所述方法。
CN202310748818.0A 2023-06-25 2023-06-25 事件数据处理方法、系统、电子设备及存储介质 Active CN116861455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310748818.0A CN116861455B (zh) 2023-06-25 2023-06-25 事件数据处理方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310748818.0A CN116861455B (zh) 2023-06-25 2023-06-25 事件数据处理方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116861455A CN116861455A (zh) 2023-10-10
CN116861455B true CN116861455B (zh) 2024-04-26

Family

ID=88231340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310748818.0A Active CN116861455B (zh) 2023-06-25 2023-06-25 事件数据处理方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116861455B (zh)

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105677746A (zh) * 2015-12-29 2016-06-15 上海爱数信息技术股份有限公司 一种基于数据库事务操作的重复文档归并系统及方法
CN106462578A (zh) * 2014-04-01 2017-02-22 华为技术有限公司 数据库条目查询和更新的方法
CN106446153A (zh) * 2016-09-21 2017-02-22 广州特道信息科技有限公司 一种分布式newSQL数据库系统及方法
CN108833397A (zh) * 2018-06-08 2018-11-16 武汉思普崚技术有限公司 一种基于网络安全的大数据安全分析平台系统
CN110019334A (zh) * 2017-10-16 2019-07-16 广东亿迅科技有限公司 一种多维数据查询分析的优化方法及其系统
CN110765237A (zh) * 2019-10-10 2020-02-07 腾讯科技(深圳)有限公司 文档处理方法、装置、存储介质及电子设备
US10942910B1 (en) * 2018-11-26 2021-03-09 Amazon Technologies, Inc. Journal queries of a ledger-based database
CN113051268A (zh) * 2021-03-19 2021-06-29 中国工商银行股份有限公司 数据查询方法、数据查询装置、电子设备及存储介质
CN113626449A (zh) * 2021-07-02 2021-11-09 上海硬通网络科技有限公司 数据存储、数据查询方法及相关设备
CN113641712A (zh) * 2021-08-20 2021-11-12 平安银行股份有限公司 复杂事件的命中处理方法、装置、设备及存储介质
CN113761016A (zh) * 2021-01-15 2021-12-07 北京沃东天骏信息技术有限公司 数据查询方法、装置、设备及存储介质
CN114168626A (zh) * 2021-12-13 2022-03-11 中国建设银行股份有限公司 一种数据库操作的处理方法、装置、设备及介质
CN114372702A (zh) * 2022-01-10 2022-04-19 山西华瑞鑫环保科技有限公司 一种环评报告辅助编写系统
CN114706625A (zh) * 2022-03-29 2022-07-05 智业软件股份有限公司 构建患者信息全局查询插件的方法、装置及存储介质
CN114880134A (zh) * 2022-03-31 2022-08-09 中国农业大学 基于复杂事件处理的家居自动控制方法和装置
CN114996369A (zh) * 2022-06-20 2022-09-02 上海妙一生物科技有限公司 一种数据仓库指标库的构建方法和装置
CN115114374A (zh) * 2022-06-27 2022-09-27 腾讯科技(深圳)有限公司 事务执行方法、装置、计算设备及存储介质
CN115129736A (zh) * 2022-07-04 2022-09-30 东方合智数据科技(广东)有限责任公司 基于规则引擎的规则事件动态加载与更新方法及相关设备
CN115827642A (zh) * 2022-12-30 2023-03-21 北京东土科技股份有限公司 一种数据存储方法及系统、设备、存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10242071B2 (en) * 2015-06-23 2019-03-26 Microsoft Technology Licensing, Llc Preliminary ranker for scoring matching documents
US20180307735A1 (en) * 2017-04-19 2018-10-25 Ca, Inc. Integrating relational and non-relational databases
US11163762B2 (en) * 2019-07-15 2021-11-02 International Business Machines Corporation Mapping document data to relational data

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462578A (zh) * 2014-04-01 2017-02-22 华为技术有限公司 数据库条目查询和更新的方法
CN105677746A (zh) * 2015-12-29 2016-06-15 上海爱数信息技术股份有限公司 一种基于数据库事务操作的重复文档归并系统及方法
CN106446153A (zh) * 2016-09-21 2017-02-22 广州特道信息科技有限公司 一种分布式newSQL数据库系统及方法
CN110019334A (zh) * 2017-10-16 2019-07-16 广东亿迅科技有限公司 一种多维数据查询分析的优化方法及其系统
CN108833397A (zh) * 2018-06-08 2018-11-16 武汉思普崚技术有限公司 一种基于网络安全的大数据安全分析平台系统
US10942910B1 (en) * 2018-11-26 2021-03-09 Amazon Technologies, Inc. Journal queries of a ledger-based database
CN110765237A (zh) * 2019-10-10 2020-02-07 腾讯科技(深圳)有限公司 文档处理方法、装置、存储介质及电子设备
CN113761016A (zh) * 2021-01-15 2021-12-07 北京沃东天骏信息技术有限公司 数据查询方法、装置、设备及存储介质
CN113051268A (zh) * 2021-03-19 2021-06-29 中国工商银行股份有限公司 数据查询方法、数据查询装置、电子设备及存储介质
CN113626449A (zh) * 2021-07-02 2021-11-09 上海硬通网络科技有限公司 数据存储、数据查询方法及相关设备
CN113641712A (zh) * 2021-08-20 2021-11-12 平安银行股份有限公司 复杂事件的命中处理方法、装置、设备及存储介质
CN114168626A (zh) * 2021-12-13 2022-03-11 中国建设银行股份有限公司 一种数据库操作的处理方法、装置、设备及介质
CN114372702A (zh) * 2022-01-10 2022-04-19 山西华瑞鑫环保科技有限公司 一种环评报告辅助编写系统
CN114706625A (zh) * 2022-03-29 2022-07-05 智业软件股份有限公司 构建患者信息全局查询插件的方法、装置及存储介质
CN114880134A (zh) * 2022-03-31 2022-08-09 中国农业大学 基于复杂事件处理的家居自动控制方法和装置
CN114996369A (zh) * 2022-06-20 2022-09-02 上海妙一生物科技有限公司 一种数据仓库指标库的构建方法和装置
CN115114374A (zh) * 2022-06-27 2022-09-27 腾讯科技(深圳)有限公司 事务执行方法、装置、计算设备及存储介质
CN115129736A (zh) * 2022-07-04 2022-09-30 东方合智数据科技(广东)有限责任公司 基于规则引擎的规则事件动态加载与更新方法及相关设备
CN115827642A (zh) * 2022-12-30 2023-03-21 北京东土科技股份有限公司 一种数据存储方法及系统、设备、存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
NOSQL在WEB日志分析中的应用;徐娟娟;朱成亮;;中国新技术新产品;20110525(第10期);27 *
一种基于Storm及Hadoop的海量日志安全分析系统;吴晨;;西安邮电大学学报;20160310(第02期);119-126 *
文档-关系数据查询执行技术研究与实现;马志程;袁海峰;谷洋;刘亚茹;张孝;;计算机科学与探索;20200831(第08期);1315-1326 *
海量监视数据云存储服务模型的设计与实现;孙超;肖文名;曾乐;白金婷;;武汉大学学报(信息科学版);20200705(第07期);1099-1106 *

Also Published As

Publication number Publication date
CN116861455A (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN108776934B (zh) 分布式数据计算方法、装置、计算机设备及可读存储介质
CN107798108B (zh) 一种异步任务查询方法及设备
CN110245069B (zh) 页面版本的测试方法和装置、页面的展示方法和装置
CN108259533B (zh) 一种数据传输方法和装置
CN110297944B (zh) 分布式xml数据处理方法及系统
CN111125057B (zh) 一种业务请求的处理方法、装置及计算机系统
CN112256772A (zh) 数据服务方法、装置以及可读存储介质
CN111680477A (zh) 导出电子表格文件的方法、装置、计算机设备及存储介质
CN112422450B (zh) 计算机设备、服务请求的流量控制方法及装置
CN111949856A (zh) 基于web的对象存储查询方法及装置
CN110222046B (zh) 列表数据的处理方法、装置、服务器和存储介质
CN113946816A (zh) 基于云服务的鉴权方法、装置、电子设备和存储介质
CN113157480A (zh) 错误信息处理方法、装置、存储介质以及终端
CN113761565B (zh) 数据脱敏方法和装置
CN113190517A (zh) 数据集成方法、装置、电子设备和计算机可读介质
JP2005228183A (ja) プログラム実行方法、および、プログラム実行のための計算機システム
CN113010542A (zh) 业务数据处理方法、装置、计算机设备及存储介质
WO2021093674A1 (zh) 工作流系统中的bi节点执行方法、装置、设备及计算机可读存储介质
CN112417016A (zh) 一种数据交换方法、系统、设备及存储介质
CN116861455B (zh) 事件数据处理方法、系统、电子设备及存储介质
CN111209263A (zh) 数据存储方法、装置、设备及存储介质
CN112491943A (zh) 数据请求方法、装置、存储介质和电子设备
CN116028696A (zh) 资源信息获取方法、装置、电子设备及存储介质
US10114864B1 (en) List element query support and processing
CN114048059A (zh) 接口的超时时间调整方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant