CN115640319A - 业务数据处理方法、装置、电子设备及存储介质 - Google Patents
业务数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115640319A CN115640319A CN202211193176.4A CN202211193176A CN115640319A CN 115640319 A CN115640319 A CN 115640319A CN 202211193176 A CN202211193176 A CN 202211193176A CN 115640319 A CN115640319 A CN 115640319A
- Authority
- CN
- China
- Prior art keywords
- data
- service data
- message
- data processing
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提出一种业务数据处理方法、装置、电子设备以及存储介质,涉及大数据处理技术领域,方法包括:获取第一业务数据,并根据第一业务数据的数据类型,向目标数据库发送数据获取消息,其中,数据获取消息参考数据处理周期生成,数据处理周期由数据类型确定,再接收目标数据库发送的第二业务数据,其中,第二业务数据是目标数据库基于数据处理周期查询得到,以及聚合第一业务数据和第二业务数据,得到目标业务数据,由于是对第一业务数据和保存在目标数据库中的第二业务数据进行聚合,从而能够减少数据处理过程中业务数据等待情况的发生,从而能够在有效地保障业务数据处理效果的同时,有效地降低业务数据对资源的占用率。
Description
技术领域
本公开涉及大数据处理技术领域,尤其涉及一种业务数据处理方法、装置、电子设备及存储介质。
背景技术
在大数据处理技术领域,联机分析处理(On Line Analytic Processing,OLAP)在各行各业的业务数据处理任务中扮演着重要角色,随着实时数据处理方法的普及,基于实时数据处理引擎Flink的OLAP处理方法,也成为各行业的业务数据处理工作中必要的一环。
相关技术中,通常基于Flink的窗口函数实现对业务数据的OLAP处理,即可以预先设置时窗,而后,获取该时窗内所包含全部数据,并对该时窗所包含全部数据进行OLAP处理。
这种方式下,在获取时窗内所包含全部数据的过程中,会存在等待数据的现象,因而,导致数据对资源的占用率过高。
发明内容
本公开提出了一种业务数据处理方法、装置、电子设备及存储介质,旨在至少在一定程度上解决相关技术中的技术问题之一。
本公开第一方面实施例提出了一种业务数据处理方法,被实时数据处理引擎执行,包括:获取第一业务数据,并根据第一业务数据的数据类型,向目标数据库发送数据获取消息,其中,数据获取消息参考数据处理周期生成,数据处理周期由数据类型确定,再接收目标数据库发送的第二业务数据,其中,第二业务数据是目标数据库基于数据处理周期查询得到,以及聚合第一业务数据和第二业务数据,得到目标业务数据,由于是对第一业务数据和保存在目标数据库中的第二业务数据进行聚合。
本公开第二方面实施例提出了一种业务数据处理方法,被目标数据库执行,包括:接收实时数据处理引擎发送的数据获取消息,其中,数据获取消息参考数据处理周期生成,数据处理周期由第一业务数据的数据类型确定;根据数据获取消息查询得到第二业务数据;以及向实时数据处理引擎发送第二业务数据。
本公开第三方面实施例提出了一种业务数据处理装置,包括:第一获取模块,用于获取第一业务数据;第一发送模块,用于根据第一业务数据的数据类型,向目标数据库发送数据获取消息,其中,数据获取消息参考数据处理周期生成,数据处理周期由数据类型确定;第一接收模块,用于接收目标数据库发送的第二业务数据,其中,第二业务数据是目标数据库基于数据处理周期查询得到;以及聚合模块,聚合第一业务数据和第二业务数据,得到目标业务数据。
本公开第四方面实施例提出了一种业务数据处理装置,包括:第三接收模块,用于接收实时数据处理引擎发送的数据获取消息,其中,数据获取消息参考数据处理周期生成,数据处理周期由第一业务数据的数据类型确定;查询模块,用于根据数据获取消息查询得到第二业务数据;以及第六发送模块,用于向实时数据处理引擎发送第二业务数据。
本公开第五方面实施例提出了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,处理器被配置为执行指令,以实现如本公开第一方面的业务数据处理方法,或者实现如本公开第二方面的业务数据处理方法。
本公开第六方面实施例提出了一种计算机可读存储介质,当计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如本公开第一方面的业务数据处理方法,或者实现如本公开第二方面的业务数据处理方法。
本公开第七方面实施例提出了一种计算机程序产品,包括计算机程序,其特征在于,计算机程序被处理器执行如本公开第一方面的业务数据处理方法,或者实现如本公开第二方面的业务数据处理方法。
本公开第一方面实施例中,通过获取第一业务数据,并根据第一业务数据的数据类型,向目标数据库发送数据获取消息,其中,数据获取消息参考数据处理周期生成,数据处理周期由数据类型确定,再接收目标数据库发送的第二业务数据,其中,第二业务数据是目标数据库基于数据处理周期查询得到,以及聚合第一业务数据和第二业务数据,得到目标业务数据,由于是对第一业务数据和保存在目标数据库中的第二业务数据进行聚合,从而能够减少数据处理过程中业务数据等待情况的发生,从而能够在有效地保障业务数据处理效果的同时,有效地降低业务数据对资源的占用率。
本公开第二方面实施例中,通过接收实时数据处理引擎发送的数据获取消息,其中,数据获取消息参考数据处理周期生成,数据处理周期由第一业务数据的数据类型确定,并根据数据获取消息查询得到第二业务数据,以及向实时数据处理引擎发送第二业务数据,由于是根据实时数据处理引擎发送的数据获取消息,查询得到第二业务数据,从而能够在将第二业务数据提供给实时数据处理引擎时,能够有效地满足实时数据处理引擎的业务数据处理需求,且由于数据获取消息是参考数据处理周期生成的,数据处理周期由第一业务数据的数据类型确定的,从而使得目标数据库提供的第二业务数据能够与实时数据处理引擎当前处理的第一业务数据相适配。
本公开附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本公开的实践了解到。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是根据本公开第一实施例示出的业务数据处理方法的流程示意图;
图2是根据本公开第二实施例示出的业务数据处理方法的流程示意图;
图3是根据本公开第三实施例示出的业务数据处理方法的流程示意图;
图4是根据本公开第四实施例示出的业务数据处理方法的流程示意图;
图5是根据本公开第五实施例示出的业务数据处理方法的流程示意图;
图6是本公开一实施例提出的业务数据处理装置的结构示意图;
图7是本公开另一实施例提出的业务数据处理装置的结构示意图;
图8是本公开一实施例提出的业务数据处理装置的结构示意图;
图9是本公开另一实施例提出的业务数据处理装置的结构示意图;
图10示出了适于用来实现本公开实施方式的示例性电子设备的框图。
具体实施方式
下面详细描述本公开的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本公开,而不能理解为对本公开的限制。相反,本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
需要说明的是,本公开技术方案中对数据的获取、存储、使用、处理等,其过程均符合国家法律法规的相关规定,且不违背公序良俗。
其中,需要说明的是,本实施例的业务数据处理方法的执行主体可以为业务数据处理装置,该装置可以由软件和/或硬件的方式实现,该装置可以配置在电子设备中,电子设备可以包括但不限于终端、服务器端等。
图1是根据本公开第一实施例示出的业务数据处理方法的流程示意图,如图1所示,该方法包括:
S101:获取第一业务数据。
本公开实施例描述的业务数据处理方法,可以是由实时数据处理引擎执行,该实时数据处理引擎可以例如是Flink引擎等,对此不做限制。
本公开实施例中,由于业务数据处理方法是由实时数据处理引擎执行,从而可以基于实时数据处理引擎自带的check point机制保证了流式数据加工的安全性,大大减少了数据丢失可能性和提高计算唯一次计算的准确性。
其中,在业务数据处理方法执行的初始阶段,获取得到的业务数据,即可以被称为第一业务数据,该第一业务数据可以例如是账目数据,交易数据,进货数据等,对此不做限制。
一些实施例中,获取第一业务数据,可以是由业务数据处理装置预先提供相应的数据传输接口,并经由该数据传输接口接收相应的业务数据,并将该业务数据作为第一业务数据,或者,获取第一业务数据,可以是建立业务数据处理装置和第三方业务平台的数据传输通路,并在响应于第三方业务平台生成相应的业务数据时,经由该数据传输通路获取相应业务数据作为第一业务数据,对此不做限制。
S102:根据第一业务数据的数据类型,向目标数据库发送数据获取消息,其中,数据获取消息参考数据处理周期生成,数据处理周期由数据类型确定。
本公开实施例中,第一业务数据可以按照不同的数据划分维度将其划分为不同的数据类型,例如交易数据类型,进货数据类型,对此不做限制。
本公开实施例中,实时数据处理引擎在获取第一业务数据后,可以根据第一业务数据的数据类型,向目标数据库发送数据获取消息。
其中,目标数据库可以例如是远程字典服务数据库(Remote Dictionary Server,Redis),对此不做限制。
其中,数据获取消息可以用于从目标数据库中获取与第一业务数据相应的数据,数据获取消息参考数据处理周期生成,数据处理周期由数据类型确定。
其中,可以针对不同数据类型的第一业务数据配置相应的数据处理周期,该数据处理周期可以用于描述相应第一业务数据的处理周期,即可以预先针对每个数据类型的第一业务数据预先配置相应的数据处理周期,而后可以响应于相应第一业务数据的处理等待时间满足数据处理周期时,触发对相应第一业务数据执行本公开实施例描述的业务数据处理方法,对此不做限制。
也即是说,本公开实施例中,实时数据处理引擎可以参考数据处理周期生成相应等待数据获取消息,而后可以向目标数据库发送相应的数据获取消息,并基于数据获取消息从目标数据库获取相应的数据,具体可以参见后续实施例,在此不再赘述。
一些实施例中,根据第一业务数据的数据类型,向目标数据库发送数据获取消息,可以是在获取得到第一业务数据后,根据第一数据的数据类型生成相应数据获取消息,而后,可以基于实时数据处理引擎和目标数据库之间的数据传输通路,将数据获取消息发送至目标数据库中,对此不做限制。
另一些实施例中,根据第一业务数据的数据类型,向目标数据库发送数据获取消息,可以是在获取得到第一业务数据后,采用该数据类型对数据获取消息进行标识处理,而后实时数据处理引擎可以将前述标识后的数据获取消息发送至目标数据库,或者,也可以采用其他任意可能的方法实现根据第一业务数据的数据类型,向目标数据库发送数据获取消息,对此不做限制。
S103:接收目标数据库发送的第二业务数据,其中,第二业务数据是目标数据库基于数据处理周期查询得到。
其中,实时数据处理引擎基于数据获取消息从目标数据库中获取的业务数据,即可以被称为第二业务数据,该第二业务数据可以是针对第一业务数据处理得到的业务数据,或者,第二业务数据还可以是基于实时数据处理引擎获取的其他实时业务数据,对此不做限制。
一些实施例中,接收目标数据库发送的第二业务数据,可以是经由实时数据处理引擎和目标数据库之间的数据传输通路,接收目标数据库发送的第二业务数据,或者,接收目标数据库发送的第二业务数据,还可以是经由针对业务数据处理装置预先配置的数据传输接口,接收目标数据库发送的第二业务数据,对此不做限制。
S104:聚合第一业务数据和第二业务数据,得到目标业务数据。
本公开实施例在获取第一业务数据,并根据第一业务数据的数据类型,从目标数据库中获取与第一业务数据相应的第二业务数据后,可以对第一业务数据和第二业务数据进行聚合处理,并将前述聚合所得的业务数据作为目标业务数据。
一些实施例中,聚合第一业务数据和第二业务数据,可以是由实时数据处理引擎调用相应的聚合函数,并采用聚合函数对第一业务数据和第二业务数据进行聚合,以得到目标业务数据,或者,聚合第一业务数据和第二业务数据,还可以是由实时数据处理引擎对第一业务数据和第二业务数据进行累加,并将累加所得的数据作为目标业务数据,对此不做限制。
本公开实施例中,通过实时数据处理引擎和目标数据库的相互配合,即将实时数据处理引擎处理得到的目标业务数据存储在目标数据库中,可以有效地降低数据丢失风险,还能够基于第三方数据库管理工具或数据库命令,对目标数据库中存储的目标业务数据进行修改,从而能够有效地减少业务错误修复门槛低,使得业务数据处理错误源可追踪。
本公开实施例中,通过获取第一业务数据,并根据第一业务数据的数据类型,向目标数据库发送数据获取消息,其中,数据获取消息参考数据处理周期生成,数据处理周期由数据类型确定,再接收目标数据库发送的第二业务数据,其中,第二业务数据是目标数据库基于数据处理周期查询得到,以及聚合第一业务数据和第二业务数据,得到目标业务数据,由于是对第一业务数据和保存在目标数据库中的第二业务数据进行聚合,从而能够减少数据处理过程中业务数据等待情况的发生,从而能够在有效地保障业务数据处理效果的同时,有效地降低业务数据对资源的占用率。
图2是根据本公开第二实施例示出的业务数据处理方法的流程示意图,如图2所示,该方法包括:
S201:获取第一业务数据。
S201的描述说明可以具体参见上述实施例,在此不再赘述。
S202:确定第一业务数据的获取时间信息。
其中,用于对第一业务的获取时间进行描述的信息,即可以被称为获取时间信息,该获取时间信息可以具体例如是,第一业务数据的获取时间戳,对此不做限制。
确定获取第一业务数据的获取时间信息,可以在实时数据处理引擎获取第一业务数据时,确定第一业务数据的获取时间戳,并将前述确定的第一业务数据的获取时间戳作为获取时间信息,对此不做限制。
S203:根据数据处理周期和获取时间信息,生成数据存储消息。
其中,数据存储消息用于将目标业务数据存储至目标数据库。
本公开实施例中,在确定第一业务数据的获取时间信息后,可以根据数据处理周期和第一业务数据的获取时间信息,生成用于对目标业务数据进行存储的数据存储消息,而后,可以基于数据存储消息对目标业务数据进行存储,具体可以参见后续实施例,在此不再赘述。
一些实施例中,根据数据处理周期和获取时间信息,生成数据存储消息,可以是对数据处理周期和获取时间信息进行解析处理,以得到相应的解析处理效果,而后可以基于前述解析得到的解析处理效果,生成相应的数据存储消息。
另一些实施例中,根据数据处理周期和获取时间信息,生成数据存储消息,还可以是,对数据处理周期和获取时间信息(获取时间戳)进行拼接处理,并采用前述拼接所得的标识来标识数据存储消息,以实现根据数据处理周期和获取时间信息,生成数据存储消息,对此不做限制。
可选地,一些实施例中,根据数据处理周期和获取时间信息,生成数据存储消息,获取第一业务数据所属数据源的源标识,并根据源标识、数据处理周期,以及获取时间信息,生成目标业务数据的索引项,以及根据目标业务数据和索引项,生成数据存储消息,其中,数据存储消息用于基于索引项将目标业务数据存储至目标数据库,由于是参考第一业务数据所属数据源的源标识、数据处理周期,以及获取时间信息,生成数据存储消息,从而可以基于数据存储消息触发对相应目标业务数据进行存储,且能够在将数据存储消息发送至目标数据库时,为目标数据库提供较优的数据存储支持。
其中,源标识可以用于标识第一业务数据所属的数据源,该源标识可以例如是业务数据平台名称,业务数据平台编号等,对此不做限制。
其中,索引项可以用于从目标数据库中索引关联存储的目标业务数据,该索引项可以具体例如是key-value键值数据库(目标数据库)中的key,对此不做限制。
也即是说,本公开实施例中,可以是确定第一业务数据所属数据平台的数据平台名称,并将前述确定的业务数据平台的名称作为数据源的源标识,而后,可以根据源标识、数据处理周期,以及获取时间信息,生成目标业务数据的索引项,并根据目标业务数据和索引项,生成数据存储消息,而后可以基于数据存储消息,将索引项和相应目标业务数据关联存储至目标数据库中,具体可以参见后续实施例,在此不再赘述。
一些实施例中,根据源标识、数据处理周期,以及获取时间信息,生成目标业务数据的索引项,可以是对源标识、数据处理周期,以及获取时间信息进行混淆处理,并将前述混淆所得标识作为索引项,对此不做限制。
举例而言,源标识可以例如是11,数据处理周期可以例如是2天,以及获取时间信息可以例如是20220101,则可以对“11、2、20220101”进行混淆,以得到20221101012,作为索引项,对此不做限制。
另一些实施例中,根据源标识、数据处理周期,以及获取时间信息,生成目标业务数据的索引项,还可以是对源标识、数据处理周期,以及获取时间信息一次进行拼接处理,并将前述拼接所得标识作为索引项,对此不做限制。
举例而言,源标识可以例如是11,数据处理周期可以例如是2天,以及获取时间信息可以例如是20220101,则可以对“11、2、20220101”依次进行拼接,以得到11220220101,作为索引项,对此不做限制。
可选地,一些实施例中,根据源标识、数据处理周期,以及获取时间信息,生成目标业务数据的索引项,可以是获取数据处理周期对应的周期标识,并根据获取时间信息和周期标识,生成处理时间标识,以及对源标识、周期标识,以及处理时间标识进行拼接,并将拼接所得结果作为目标业务数据的索引项,由此,使得生成得到的索引项可以用于索引唯一对应的目标业务数据,避免索引项相同所产生的目标业务数据索引不明情况的发生。
其中,处理时间标识可以用于标识目标业务数据的处理时间,该处理时间标识可以例如是目标业务数据的处理时间戳,对此不做限制。
其中,对于不同数据类型的第一业务数据可以分别具有对应不同的数据处理周期,由此,可以针对不同的数据处理周期确定唯一周期标识,而后,可以在后续的业务数据处理方法执行过程中,根据周期标识确定唯一数据处理周期,该周期标识可以例如,针对不同数据处理周期确定的编号,对此不做限制。
本公开实施例中,可以获取数据处理周期对应的周期标识,并根据获取时间信息和周期标识,生成处理时间标识。
举例而言,假设数据处理周期是一天,数据处理周期对应的周期标识可以例如是01,获取时间信息可以例如是2022.01.01.12时12分,由于数据处理周期是一天,则可以以一天为最小时间单位,对获取时间信息进行处理,以得到处理时间标识(20220101),对不做限制。
本公开实施例在获取处理时间标识后,可以源标识、周期标识,以及处理时间标识进行拼接,并将拼接所得结果作为目标业务数据的索引项。
举例而言,可以是对源标识(01)、周期标识(01),以及处理时间标识(20220101)进行拼接,并将拼接所得结果(010120220101)作为目标业务数据的索引项,而后,可以基于索引项(010120220101),从目标数据库中索引与其相应的唯一目标业务数据,对此不做限制。
S204:向目标数据库发送数据存储消息和目标业务数据。
本公开实施例在根据数据处理周期和获取时间,生成数据存储消息后,可以经由实时数据处理引擎和目标数据库之间的数据传输通路,想目标数据库发送数据存储消息和目标业务数据,而后,可以基于数据存储消息和目标业务数据,触发执行后续的业务数据处理方法,具体可以参见后续实施例。
本实施例中,通过确定第一业务数据的获取时间信息,并根据数据处理周期和获取时间信息,生成数据存储消息,其中,数据存储消息用于将目标业务数据存储至目标数据库,以及向目标数据库发送数据存储消息和目标业务数据,从而可以及时触发数据存储消息的生成,且由于数据存储消息是参考数据处理周期和获取时间信息所生成的,从而能够在将数据存储消息和目标业务数据发送至目标数据库后,能够触发目标数据库基于数据存储消息对相应目标业务数据进行存储。
S205:根据第一业务数据的数据类型,向目标数据库发送数据获取消息。
其中,数据获取消息参考数据处理周期生成,数据处理周期由数据类型确定。
可选地,一些实施例中,根据第一业务数据的数据类型,向目标数据库发送数据获取消息,可以是根据获取时间信息和数据处理周期,生成获取时间标识,并根据获取时间标识,生成数据获取消息,再向目标数据库发送数据获取消息,由于数据获取消息是参考获取时间信息和数据处理周期生成的,从而使得生成得到的数据获取消息能够用于准确触发获取相应第二业务数据。
其中,获取时间标识用于使目标数据库查询得到第二业务数据,该获取时间标识可以用于标识第二业务数据的获取时间信息,该获取时间标识可以例如是第二业务数据的获取时间戳,对此不做限制。
本公开实施例中,根据获取时间信息和数据处理周期,生成获取时间标识,可以例如是在获取时间信息是2022.01.01.12时12分,数据处理周期是一天时,由于数据处理周期是一天,则可以以一天为最小时间单位,对获取时间信息进行处理,以得到获取时间标识(20220101),对此不做限制。
本公开实施例中,由于获取时间标识的生成规则和目标业务数据相应索引项的生成规则存在局部相同的情况,由此,可以在生成获取时间标识后,将索引项中包含获取时间标识的相应目标业务数据作为第二业务数据,对此不做限制。
本公开实施例中,在根据获取时间信息和数据处理周期,生成获取时间标识后,可以根据获取时间标识,生成数据获取消息,再向目标数据库发送数据获取消息。
也即是说,本公开实施例中,可以是对获取时间标识进行打包处理,以生成相应的获取消息,而后,实时数据处理引擎可以经由实时数据处理引擎和目标数据库之间的数据传输通路向目标数据库发送数据获取消息。
S206:接收目标数据库发送的第二业务数据,其中,第二业务数据是目标数据库基于数据处理周期查询得到。
S206的描述说明可以具体参见上述实施例,在此不再赘述。
S207:聚合第一业务数据和第二业务数据,得到目标业务数据。
可选地,一些实施例中,在聚合第一业务数据和第二业务数据,得到目标业务数据之后,可以根据第一业务数据的数据类型,确定数据存储的时长阈值,并确定目标业务数据在目标数据库中的存储时长,并在存储时长达到时长阈值时,生成数据释放消息,以及向目标数据库发送数据释放消息,本公开实施例中,由于是在相应数据类型的目标业务数据在目标数据库中的存储时长达到时长阈值时,及时准确触发生成相应的数据释放消息,从而有效地保障数据释放消息的生成效果,从而在将数据释放消息提供至目标数据库时,能够准确触发目标数据库对数据释放消息相应的目标业务数据进行释放。
其中,数据释放消息用于释放目标数据库中的目标业务数据。
本公开实施例描述的业务数据处理方法,可以针对不同数据类型的业务数据预先确定相应数据存储的时长阈值,而后,可以在相应目标业务数据在目标数据库中的存储时长达到时长阈值时,生成数据释放消息,而后,实时数据处理引擎可以经由实时数据处理引擎和目标数据库之间的数据传输通路,向目标数据库发送数据释放消息,而后,目标数据库可以基于数据释放消息,释放其所存储的相应目标业务数据,具体可以参见后续实施例,在此不再赘述。
S208:根据目标业务数据,生成数据更新消息,其中,数据更新消息用于更新目标数据库中的第二业务数据。
本公开实施例可以是在聚合第一业务数据和第二业务数据,得到目标业务数据后,响应于目标业务数据生成,触发生成相应的数据更新消息,以触发对目标数据库中存储的第二业务数据进行更新。
S209:向目标数据库发送数据更新消息。
本公开实施例中,在根据目标业务数据,生成数据更新消息后,实时数据处理引擎可以基于其和目标数据库之间的数据传输通路,向目标数据库发送数据更新消息,而后,目标数据库可以基于数据更新消息对第二业务数据进行更新,具体可以参见后续实施例,在此不再赘述。
本公开实施例中,通过根据目标业务数据,生成数据更新消息,其中,数据更新消息用于更新目标数据库中的第二业务数据,并向目标数据库发送数据更新消息,从而能够在目标业务数据生成时,及时触发生成相应的数据更新消息,从而能够在将数据更新消息提供至目标数据库时,使得目标数据库基于数据更新消息及时执行相应的数据更新操作。
本公开实施例中,通过获取第一业务数据,并定第一业务数据的获取时间信息,并根据数据处理周期和获取时间信息,生成数据存储消息,其中,数据存储消息用于将目标业务数据存储至目标数据库,以及向目标数据库发送数据存储消息和目标业务数据,从而可以及时触发数据存储消息的生成,且由于数据存储消息是参考数据处理周期和获取时间信息所生成的,从而能够在将数据存储消息和目标业务数据发送至目标数据库后,能够触发目标数据库基于数据存储消息对相应目标业务数据进行存储,再根据第一业务数据的数据类型,向目标数据库发送数据获取消息,并接收目标数据库发送的第二业务数据,再聚合第一业务数据和第二业务数据,得到目标业务数据,并通过根据目标业务数据,生成数据更新消息,其中,数据更新消息用于更新目标数据库中的第二业务数据,并向目标数据库发送数据更新消息,从而能够在目标业务数据生成时,及时触发生成相应的数据更新消息,从而能够在将数据更新消息提供至目标数据库时,使得目标数据库基于数据更新消息及时执行相应的数据更新操作。
图3是根据本公开第三实施例示出的业务数据处理方法的流程示意图。
如图3所示,该方法包括:
S301:获取第一业务数据。
S302:根据第一业务数据的数据类型,向目标数据库发送数据获取消息,其中,数据获取消息参考数据处理周期生成,数据处理周期由数据类型确定。
S303:接收目标数据库发送的第二业务数据,其中,第二业务数据是目标数据库基于数据处理周期查询得到。
S304:聚合第一业务数据和第二业务数据,得到目标业务数据。
S301-S304的描述说明可以具体参见上述实施例,在此不再赘述。
S305:接收数据查询请求,其中,数据查询请求包括:源标识、数据类型,以及获取时间信息。
其中,数据查询请求可以用于触发从目标数据库中查询目标业务数据,该数据查询请求可以包括:源标识、数据类型,以及获取时间信息。
本公开实施例中,接收数据查询请求,可以是经由实时数据处理引擎接收客户端传输的数据查询请求,而后实时数据处理引擎可以基于数据查询请求,在目标数据库中查询目标业务数据,具体可以参见后续实施例,在此不再赘述。
S306:根据数据类型,确定数据处理周期。
本公开实施例中,可以针对不同数据类型的第一业务数据预先确定相应的数据处理周期,从而,本公开实施例中,可以是在获取数据查询请求后,根据数据查询请求中包括的数据类型,确定与该数据类型预先相应的数据处理周期,而后,可以基于数据处理周期,触发执行后续的业务数据处理方法,具体可以参见后续实施例。
S307:根据源标识、获取时间信息,以及数据处理周期,生成数据查询消息,其中,数据查询消息用于从目标数据库中查询目标业务数据。
本公开实施例中,在根据数据类型,确定数据处理周期后,可以根据源标识、获取时间信息,以及数据处理周期,生成数据查询消息。
具体地,可以是根据源标识、获取时间信息,以及数据处理周期,生成用于从目标数据库中索引目标业务数据的索引项(针对根据源标识、获取时间信息,以及数据处理周期,生成用于从目标数据库中索引目标业务数据的索引项的描述说明,可以具体参见上述实施例,在此不再赘述),而后,可以对该索引项进行打包处理,以生成相应的数据查询消息,而后,实时数据处理引擎可以将数据查询消息发送至目标数据库,目标数据库可以基于数据查询消息中携带的索引项,从目标数据库中索引相应目标业务数据,对此不做限制。
S308:向目标数据库发送数据查询消息。
本公开实施例中,在根据源标识、获取时间信息,以及数据处理周期,生成数据查询消息后,实时数据处理引擎可以经由实时数据处理引擎和目标数据库之间的数据传输通路向目标数据库发送数据查询消息,而后,目标数据库可以基于数据查询消息查询相应目标业务数据,具体可以参见后续实施例,在此不再赘述。
本公开实施例中,通过获取第一业务数据,并根据第一业务数据的数据类型,向目标数据库发送数据获取消息,其中,数据获取消息参考数据处理周期生成,数据处理周期由数据类型确定,再接收目标数据库发送的第二业务数据,其中,第二业务数据是目标数据库基于数据处理周期查询得到,以及聚合第一业务数据和第二业务数据,得到目标业务数据,由于是对第一业务数据和保存在目标数据库中的第二业务数据进行聚合,从而能够减少数据处理过程中业务数据等待情况的发生,从而能够在有效地保障业务数据处理效果的同时,有效地降低业务数据对资源的占用率,再接收数据查询请求,其中,数据查询请求包括:源标识、数据类型,以及获取时间信息,并根据数据类型,确定数据处理周期,再根据源标识、获取时间信息,以及数据处理周期,生成数据查询消息,以及向目标数据库发送数据查询消息,由于数据查询消息是根据数据查询请求生成得到的,其可以对用户的数据查询需求进行充分表征,其生成逻辑与目标业务数据的存储逻辑相似,从而可以在将数据查询消息提供至目标数据库时,便利触发目标数据库准确地提供相应目标业务数据,从而有效地满足用户的数据查询需求。
图4是根据本公开第四实施例示出的业务数据处理方法的流程示意图。
其中,需要说明的是,本实施例的业务数据处理方法的执行主体可以为业务数据处理装置,该装置可以由软件和/或硬件的方式实现,该装置可以配置在电子设备中,电子设备可以包括但不限于终端、服务器端等。
如图4所示,该方法包括:
S401:接收实时数据处理引擎发送的数据获取消息,其中,数据获取消息参考数据处理周期生成,数据处理周期由第一业务数据的数据类型确定。
本实施例中与上述实施例中相同的术语的含义和描述说明,可以具体参见上述实施例,在此不再赘述。
本公开实施例描述的业务数据处理方法可以配置为由目标数据库执行,该目标数据库可以例如是Redis数据库,对此不做限制。
本公开实施例中,目标数据库可以是基于其与实时数据处理引擎之间的数据传输通路,接收实时数据处理引擎发送的数据获取消息,而后,可以基于数据获取消息,触发执行后续的业务数据处理方法,具体可以参见后续实施例,在此不再赘述。
S402:根据数据获取消息查询得到第二业务数据。
本公开实施例中,目标数据库可以根据数据获取消息查询得到第二业务数据。
具体地,目标数据库可以确定其所存储的与数据获取消息中的获取时间标识相应的目标业务数据,并将该目标业务数据作为第二业务数据,对此不做限制。
S403:向实时数据处理引擎发送第二业务数据。
本公开实施例中,目标数据库在根据数据获取消息查询得到第二业务数据之后,可以向实时数据处理引擎发送第二业务数据。
本实施例中,通过接收实时数据处理引擎发送的数据获取消息,其中,数据获取消息参考数据处理周期生成,数据处理周期由第一业务数据的数据类型确定,并根据数据获取消息查询得到第二业务数据,以及向实时数据处理引擎发送第二业务数据,由于是根据实时数据处理引擎发送的数据获取消息,查询得到第二业务数据,从而能够在将第二业务数据提供给实时数据处理引擎时,能够有效地满足实时数据处理引擎的业务数据处理需求,且由于数据获取消息是参考数据处理周期生成的,数据处理周期由第一业务数据的数据类型确定的,从而使得目标数据库提供的第二业务数据能够与实时数据处理引擎当前处理的第一业务数据相适配。
图5是根据本公开第五实施例示出的业务数据处理方法的流程示意图。
如图5所示,该方法包括:
S501:接收实时数据处理引擎发送的数据获取消息,其中,数据获取消息参考数据处理周期生成,数据处理周期由第一业务数据的数据类型确定。
S502:根据数据处理周期查询得到第二业务数据。
S503:向实时数据处理引擎发送第二业务数据。
S501-S503的描述说明具体可以参见上述实施例,在此不再赘述。
S504:接收实时数据处理引擎发送的数据存储消息和目标业务数据。
其中,数据存储消息由实时数据处理引擎基于数据处理周期和第一业务数据的获取时间信息生成,目标业务数据由实时数据处理引擎对第一业务数据和第二业务数据聚合得到。
本公开实施例中,目标数据库可以基于其和实时数据处理引擎之间的数据传输通路,接收实时数据处理引擎发送的数据存储消息和目标业务数据,而后,可以基于数据存储消息和目标业务数据对目标业务数据进行存储,具体可以参见后续实施例,在此不再赘述。
S505:存储目标业务数据。
本公开实施例中,目标数据库在接收实时数据处理引擎发送的数据存储消息和目标业务数据之后,可以存储目标业务数据,由此,目标数据库可以基于其所接收到的数据存储消息,对相应目标业务数据进行存储,有效地保障目标业务数据的存储效果,且由于数据存储消息由实时数据处理引擎基于数据处理周期和第一业务数据的获取时间信息生成,目标业务数据由实时数据处理引擎对第一业务数据和第二业务数据聚合得到,从而可以保障相应业务数据查询逻辑和业务数据获取逻辑的执行。
具体地,目标数据库可以是在接收到实时数据处理引擎发送的数据存储消息后,对数据存储消息中所包含的索引项相应目标业务数据进行关联存储,对此不做限制。
S506:接收实时数据处理引擎发送的数据更新消息,其中,数据更新消息由实时数据处理引擎基于目标业务数据生成。
本公开实施例中,目标数据库可以基于其和实时数据处理引擎之间的数据传输通路,接收实时数据处理引擎发送的数据更新消息,而后,目标数据库可以基于数据更新消息对其所存储的第二业务数据进行更新,具体可以参见后续实施例,在此不再赘述。
S507:根据目标业务数据更新第二业务数据。
本公开实施例中,目标数据库在接收实时数据处理引擎发送的数据更新消息之后,可以根据目标业务数据更新第二业务数据,即目标数据库可以响应于数据更新消息,将其所存储的第二业务数据更新为目标业务数据,对此不做限制。
本公开实施例中,通过接收实时数据处理引擎发送的数据更新消息,并根据目标业务数据更新第二业务数据,从而能够及时对第二业务数据进行更新,有效地保障其所存储的第二业务数据的实时性。
S508:接收实时数据处理引擎发送的数据释放消息。
其中,数据释放消息由实时数据处理引擎基于第一业务数据的数据类型,及目标业务数据在目标数据库中的存储时长生成。
本公开实施例中,目标数据库可以基于其和实时数据处理引擎之间的数据传输通路,接收实时数据处理引擎发送的数据释放消息,而后,目标数据库可以基于数据释放消息对其所存储的目标业务数据进行释放,具体可以参见后续实施例,在此不再赘述。
S509:释放目标业务数据。
本公开实施例中,目标数据库在接收实时数据处理引擎发送的数据释放消息之后,可以释放其所存储的目标业务数据,即目标数据库可以响应于数据释放消息,对其所存储的目标业务数据进行释放,对此不做限制。
本公开实施例中,通过接收实时数据处理引擎发送的数据释放消息,并释放目标业务数据,从而能够基于数据释放消息,准确地对相应目标业务数据进行释放,从而能够有效地减少目标数据库中的资源占有率,实现目标数据库存储资源的回收,有效地避免实时数据处理引擎窗口的单机热点问题。
S510:接收实时数据处理引擎发送的数据查询消息。
其中,数据查询消息由实时数据处理引擎基于数据查询请求生成。
本公开实施例中,目标数据库可以基于其和实时数据处理引擎之间的数据传输通路,接收实时数据处理引擎发送的数据查询消息,而后,目标数据库可以基于数据查询消息对其所存储的目标业务数据进行查询,具体可以参见后续实施例,在此不再赘述。
S511:根据数据查询消息查询目标业务数据。
本公开实施例中,目标数据库可以根据数据查询消息查询得到目标业务数据。
具体地,目标数据库可以确定其所存储的与数据查询消息中的索引项相应的目标业务数据,对此不做限制。
S512:向实时数据处理引擎发送目标业务数据。
本公开实施例中,目标数据库可以基于其和实时数据处理引擎之间的数据传输通路,向实时数据处理引擎发送目标业务数据。
本公开实施例中,通过根据数据查询消息查询目标业务数据,并向实时数据处理引擎发送目标业务数据,从而能够准确查询目标业务数据,从而在将查询得到的目标业务数据提供至实时数据处理引擎时,能够有效地满足用户的业务数据需求。
本公开实施例中,通过接收实时数据处理引擎发送的数据获取消息,其中,数据获取消息参考数据处理周期生成,数据处理周期由第一业务数据的数据类型确定,并根据数据获取消息查询得到第二业务数据,以及向实时数据处理引擎发送第二业务数据,并在接收实时数据处理引擎发送的数据存储消息和目标业务数据之后,可以存储目标业务数据,由此,目标数据库可以基于其所接收到的数据存储消息,对相应目标业务数据进行存储,有效地保障目标业务数据的存储效果,再接收实时数据处理引擎发送的数据更新消息,并根据目标业务数据更新第二业务数据,从而能够及时对第二业务数据进行更新,有效地保障其所存储的第二业务数据的实时性,并接收实时数据处理引擎发送的数据释放消息,并释放目标业务数据,从而能够基于数据释放消息,准确地对相应目标业务数据进行释放,从而能够有效地减少目标数据库中的资源占有率,实现目标数据库存储资源的回收,有效地避免实时数据处理引擎窗口的单机热点问题,再根据数据查询消息查询目标业务数据,并向实时数据处理引擎发送目标业务数据,从而能够准确查询目标业务数据,从而在将查询得到的目标业务数据提供至实时数据处理引擎时,能够有效地满足用户的业务数据需求。
图6是本公开一实施例提出的业务数据处理装置的结构示意图。
如图6所示,该业务数据处理装置60,包括:
第一获取模块601,用于获取第一业务数据;
第一发送模块602,用于根据第一业务数据的数据类型,向目标数据库发送数据获取消息,其中,数据获取消息参考数据处理周期生成,数据处理周期由数据类型确定;
第一接收模块603,用于接收目标数据库发送的第二业务数据,其中,第二业务数据是目标数据库基于数据处理周期查询得到;以及
聚合模块604,聚合第一业务数据和第二业务数据,得到目标业务数据。
在本公开的一些实施例中,如图7所示,图7是本公开另一实施例提出的业务数据处理装置的结构示意图,业务数据处理装置60,还包括:
第一确定模块605,用于确定第一业务数据的获取时间信息;
生成模块606,用于根据数据处理周期和获取时间信息,生成数据存储消息,其中,数据存储消息用于将目标业务数据存储至目标数据库;以及
第二发送模块607,用于向目标数据库发送数据存储消息和目标业务数据。
在本公开的一些实施例中,生成模块606,还用于:
获取子模块6061,用于获取第一业务数据所属数据源的源标识;
第一生成子模块6062,用于根据源标识、数据处理周期,以及获取时间信息,生成目标业务数据的索引项;以及
第二生成子模块6063,用于根据目标业务数据和索引项,生成数据存储消息,其中,数据存储消息用于基于索引项将目标业务数据存储至目标数据库。
在本公开的一些实施例中,第一生成子模块6062,还用于:
获取数据处理周期对应的周期标识;
根据获取时间信息和周期标识,生成处理时间标识;以及
对源标识、周期标识,以及处理时间标识进行拼接,并将拼接所得结果作为目标业务数据的索引项。
在本公开的一些实施例中,第一发送模块602,还用于:
根据获取时间信息和数据处理周期,生成获取时间标识;
根据获取时间标识,生成数据获取消息,其中,获取时间标识用于使目标数据库查询得到第二业务数据;
向目标数据库发送数据获取消息。
在本公开的一些实施例中,业务数据处理装置60,还包括:
第三生成模块608,用于根据目标业务数据,生成数据更新消息,其中,数据更新消息用于更新目标数据库中的第二业务数据;
第三发送模块609,用于向目标数据库发送数据更新消息。
在本公开的一些实施例中,业务数据处理装置60,还包括:
第二确定模块610,用于根据第一业务数据的数据类型,确定数据存储的时长阈值;
第三确定模块611,用于确定目标业务数据在目标数据库中的存储时长;
第三生成模块612,用于在存储时长达到时长阈值时,生成数据释放消息,其中,数据释放消息用于释放目标数据库中的目标业务数据;
第四发送模块613,用于向目标数据库发送数据释放消息。
在本公开的一些实施例中,业务数据处理装置60,还包括:
第二接收模块614,用于接收数据查询请求,其中,数据查询请求包括:源标识、数据类型,以及获取时间信息;
第四确定模块615,用于根据数据类型,确定数据处理周期;
第四生成模块616,用于根据源标识、获取时间信息,以及数据处理周期,生成数据查询消息,其中,数据查询消息用于从目标数据库中查询目标业务数据;
第五发送模块617,用于向目标数据库发送数据查询消息。
本实施例中,通过获取第一业务数据,并根据第一业务数据的数据类型,向目标数据库发送数据获取消息,其中,数据获取消息参考数据处理周期生成,数据处理周期由数据类型确定,再接收目标数据库发送的第二业务数据,其中,第二业务数据是目标数据库基于数据处理周期查询得到,以及聚合第一业务数据和第二业务数据,得到目标业务数据,由于是对第一业务数据和保存在目标数据库中的第二业务数据进行聚合,从而能够减少数据处理过程中业务数据等待情况的发生,从而能够在有效地保障业务数据处理效果的同时,有效地降低业务数据对资源的占用率。
图8是本公开一实施例提出的业务数据处理装置的结构示意图。
如图8所示,该业务数据处理装置80,包括:
第三接收模块801,用于接收实时数据处理引擎发送的数据获取消息,其中,数据获取消息参考数据处理周期生成,数据处理周期由第一业务数据的数据类型确定;
查询模块802,用于根据数据获取消息查询得到第二业务数据;以及
第六发送模块803,用于向实时数据处理引擎发送第二业务数据。
在本公开的一些实施例中,如图9所示,图9是本公开另一实施例提出的业务数据处理装置的结构示意图,业务数据处理装置80,还包括:
第四接收模块804,用于接收实时数据处理引擎发送的数据存储消息和目标业务数据,其中,数据存储消息由实时数据处理引擎基于数据处理周期和第一业务数据的获取时间信息生成,目标业务数据由实时数据处理引擎对第一业务数据和第二业务数据聚合得到;
存储模块805,用于存储目标业务数据.
在本公开的一些实施例中,业务数据处理装置80,还包括:
第五接收模块806,用于接收实时数据处理引擎发送的数据更新消息,其中,数据更新消息由实时数据处理引擎基于目标业务数据生成;
更新模块807,根据目标业务数据更新第二业务数据。
在本公开的一些实施例中,业务数据处理装置80,还包括:
第六接收模块808,用于接收实时数据处理引擎发送的数据释放消息,其中,数据释放消息由实时数据处理引擎基于第一业务数据的数据类型,及目标业务数据在目标数据库中的存储时长生成。
释放模块809,用于释放目标业务数据。
在本公开的一些实施例中,业务数据处理装置80,还包括:
第七接收模块810,用于接收实时数据处理引擎发送的数据查询消息,其中,数据查询消息由实时数据处理引擎基于数据查询请求生成;
查询模块811,用于根据数据查询消息查询目标业务数据;以及
第七发送模块812,用于向实时数据处理引擎发送目标业务数据。
本实施例中,通过接收实时数据处理引擎发送的数据获取消息,其中,数据获取消息参考数据处理周期生成,数据处理周期由第一业务数据的数据类型确定,并根据数据获取消息查询得到第二业务数据,以及向实时数据处理引擎发送第二业务数据,由于是根据实时数据处理引擎发送的数据获取消息,查询得到第二业务数据,从而能够在将第二业务数据提供给实时数据处理引擎时,能够有效地满足实时数据处理引擎的业务数据处理需求,且由于数据获取消息是参考数据处理周期生成的,数据处理周期由第一业务数据的数据类型确定的,从而使得目标数据库提供的第二业务数据能够与实时数据处理引擎当前处理的第一业务数据相适配。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10是根据本公开示出的一种电子设备的框图。例如,电子设备1000可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图10,电子设备1000可以包括以下一个或多个组件:处理组件1002,存储器1004,电源组件1006,多媒体组件1008,音频组件1010,输入/输出(I/O)的接口1012,传感器组件1014,以及通信组件1016。
处理组件1002通常控制电子设备1000的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件1002可以包括一个或多个处理器1020来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1002可以包括一个或多个模块,便于处理组件1002和其他组件之间的交互。例如,处理组件1002可以包括多媒体模块,以方便多媒体组件1008和处理组件1002之间的交互。
存储器1004被配置为存储各种类型的数据以支持在电子设备1000的操作。这些数据的示例包括用于在电子设备1000上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1004可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件1006为电子设备1000的各种组件提供电力。电源组件1006可以包括电源管理系统,一个或多个电源,及其他与为电子设备1000生成、管理和分配电力相关联的组件。
多媒体组件1008包括在电子设备1000和用户之间的提供一个输出接口的触控显示屏。在一些实施例中,触控显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1008包括一个前置摄像头和/或后置摄像头。当电子设备1000处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1010被配置为输出和/或输入音频信号。例如,音频组件1010包括一个麦克风(MIC),当电子设备1000处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1016发送。
在一些实施例中,音频组件1010还包括一个扬声器,用于输出音频信号。
I/O接口1012为处理组件1002和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1014包括一个或多个传感器,用于为电子设备1000提供各个方面的状态评估。例如,传感器组件1014可以检测到电子设备1000的打开/关闭状态,组件的相对定位,例如组件为电子设备1000的显示器和小键盘,传感器组件1014还可以检测电子设备1000或电子设备1000一个组件的位置改变,用户与电子设备1000接触的存在或不存在,电子设备1000方位或加速/减速和电子设备1000的温度变化。传感器组件1014可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1014还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1014还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件1016被配置为便于电子设备1000和其他设备之间有线或无线方式的通信。电子设备1000可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件1016经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件1016还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备1000可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述业务数据处理方法。
在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器1004,上述指令可由电子设备1000的处理器1020执行以完成上述方法。可选地,计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (18)
1.一种业务数据处理方法,其特征在于,被实时数据处理引擎执行,所述方法包括:
获取第一业务数据;
根据所述第一业务数据的数据类型,向目标数据库发送数据获取消息,其中,所述数据获取消息参考数据处理周期生成,所述数据处理周期由所述数据类型确定;
接收所述目标数据库发送的第二业务数据,其中,所述第二业务数据是所述目标数据库基于所述数据处理周期查询得到;以及
聚合所述第一业务数据和所述第二业务数据,得到目标业务数据。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
确定所述第一业务数据的获取时间信息;
根据所述数据处理周期和所述获取时间信息,生成数据存储消息,其中,所述数据存储消息用于将所述目标业务数据存储至所述目标数据库;以及
向所述目标数据库发送所述数据存储消息和所述目标业务数据。
3.如权利要求2所述的方法,其特征在于,所述根据所述数据处理周期和所述获取时间信息,生成数据存储消息,包括:
获取所述第一业务数据所属数据源的源标识;
根据所述源标识、所述数据处理周期,以及所述获取时间信息,生成所述目标业务数据的索引项;以及
根据所述目标业务数据和所述索引项,生成所述数据存储消息,其中,所述数据存储消息用于基于所述索引项将所述目标业务数据存储至所述目标数据库。
4.如权利要求3所述的方法,其特征在于,所述根据所述源标识、所述数据处理周期,以及所述获取时间信息,生成所述目标业务数据的索引项,包括:
获取所述数据处理周期对应的周期标识;
根据所述获取时间信息和所述周期标识,生成处理时间标识;以及
对所述源标识、所述周期标识,以及所述处理时间标识进行拼接,并将拼接所得结果作为所述目标业务数据的索引项。
5.如权利要求4所述的方法,其特征在于,所述根据第一业务数据的数据类型,向目标数据库发送数据获取消息,其中,所述数据获取消息参考数据处理周期生成,所述数据处理周期由所述数据类型确定,包括:
根据所述获取时间信息和所述数据处理周期,生成获取时间标识;
根据所述获取时间标识,生成所述数据获取消息,其中,所述获取时间标识用于使所述目标数据库查询得到所述第二业务数据;
向所述目标数据库发送所述数据获取消息。
6.如权利要求2所述的方法,其特征在于,所述方法还包括:
根据所述目标业务数据,生成数据更新消息,其中,所述数据更新消息用于更新所述目标数据库中的所述第二业务数据;
向所述目标数据库发送所述数据更新消息。
7.如权利要求2所述的方法,其特征在于,所述方法还包括:
根据所述第一业务数据的数据类型,确定数据存储的时长阈值;
确定所述目标业务数据在所述目标数据库中的存储时长;
如果所述存储时长达到所述时长阈值,则生成数据释放消息,其中,所述数据释放消息用于释放所述目标数据库中的所述目标业务数据;
向所述目标数据库发送所述数据释放消息。
8.如权利要求1-7任一项所述的方法,其特征在于,所述方法还包括:
接收数据查询请求,其中,所述数据查询请求包括:源标识、数据类型,以及获取时间信息;
根据所述数据类型,确定所述数据处理周期;
根据所述源标识、所述获取时间信息,以及所述数据处理周期,生成数据查询消息,其中,所述数据查询消息用于从所述目标数据库中查询所述目标业务数据;
向所述目标数据库发送所述数据查询消息。
9.一种业务数据处理方法,其特征在于,被目标数据库执行,所述方法包括:
接收实时数据处理引擎发送的数据获取消息,其中,所述数据获取消息参考数据处理周期生成,所述数据处理周期由第一业务数据的数据类型确定;
根据所述数据获取消息查询得到第二业务数据;以及
向所述实时数据处理引擎发送所述第二业务数据。
10.如权利要求9所述的方法,其特征在于,所述方法还包括:
接收所述实时数据处理引擎发送的数据存储消息和目标业务数据,其中,所述数据存储消息由所述实时数据处理引擎基于所述数据处理周期和所述第一业务数据的获取时间信息生成,所述目标业务数据由所述实时数据处理引擎对所述第一业务数据和所述第二业务数据聚合得到;
存储所述目标业务数据。
11.如权利要求10所述的方法,其特征在于,所述方法还包括:
接收所述实时数据处理引擎发送的数据更新消息,其中,所述数据更新消息由所述实时数据处理引擎基于所述目标业务数据生成;
根据所述目标业务数据更新所述第二业务数据。
12.如权利要求10所述的方法,其特征在于,所述方法还包括:
接收所述实时数据处理引擎发送的数据释放消息,其中,所述数据释放消息由所述实时数据处理引擎基于所述第一业务数据的数据类型,及所述目标业务数据在所述目标数据库中的存储时长生成。
释放所述目标业务数据。
13.如权利要求9-12任一项所述的方法,其特征在于,所述方法还包括:
接收所述实时数据处理引擎发送的数据查询消息,其中,所述数据查询消息由所述实时数据处理引擎基于数据查询请求生成;
根据所述数据查询消息查询所述目标业务数据;以及
向所述实时数据处理引擎发送所述目标业务数据。
14.一种业务数据处理装置,其特征在于,包括:
第一获取模块,用于获取第一业务数据;
第一发送模块,用于根据所述第一业务数据的数据类型,向目标数据库发送数据获取消息,其中,所述数据获取消息参考数据处理周期生成,所述数据处理周期由所述数据类型确定;
第一接收模块,用于接收所述目标数据库发送的第二业务数据,其中,所述第二业务数据是所述目标数据库基于所述数据处理周期查询得到;以及
聚合模块,聚合所述第一业务数据和所述第二业务数据,得到目标业务数据。
15.一种业务数据处理装置,其特征在于,所述装置包括:
第三接收模块,用于接收实时数据处理引擎发送的数据获取消息,其中,所述数据获取消息参考数据处理周期生成,所述数据处理周期由第一业务数据的数据类型确定;
查询模块,用于根据所述数据获取消息查询得到第二业务数据;以及
第六发送模块,用于向所述实时数据处理引擎发送所述第二业务数据。
16.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1-9中任一项所述的方法,或者执行如权利要求10-13中任一项所述的方法。
17.一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1-9中任一项所述的方法,或者执行如权利要求10-13中任一项所述的方法。
18.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-9中任一项所述的方法,或者执行如权利要求10-13中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211193176.4A CN115640319A (zh) | 2022-09-28 | 2022-09-28 | 业务数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211193176.4A CN115640319A (zh) | 2022-09-28 | 2022-09-28 | 业务数据处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115640319A true CN115640319A (zh) | 2023-01-24 |
Family
ID=84941810
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211193176.4A Pending CN115640319A (zh) | 2022-09-28 | 2022-09-28 | 业务数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115640319A (zh) |
-
2022
- 2022-09-28 CN CN202211193176.4A patent/CN115640319A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105100074A (zh) | 数据操作处理方法、装置以及终端设备 | |
CN105427161A (zh) | 一种货币汇率转换的方法及装置 | |
CN115185717B (zh) | 接口调用方法、装置、电子设备和存储介质 | |
CN105094904A (zh) | 安装应用程序的方法及装置 | |
CN112256563A (zh) | 安卓应用稳定性测试方法、装置、电子设备及存储介质 | |
CN111580824B (zh) | 程序优化方法、装置及存储介质 | |
CN111695064B (zh) | 一种埋点加载方法及装置 | |
CN110795314B (zh) | 一种检测慢节点的方法、装置及计算机可读存储介质 | |
CN108012258B (zh) | 虚拟sim卡的数据流量管理方法、装置、终端及服务器 | |
CN115563156A (zh) | 流数据信息的校验方法、装置、设备及存储介质 | |
CN110995767B (zh) | 一种请求处理方法及装置 | |
CN115640319A (zh) | 业务数据处理方法、装置、电子设备及存储介质 | |
CN112732098B (zh) | 一种输入的方法及相关装置 | |
CN112333233B (zh) | 事件信息的上报方法、装置、电子设备及存储介质 | |
CN116437240A (zh) | 数据信息传输方法、装置及设备 | |
CN108737523B (zh) | 应用模块与账户的关联方法、关联装置、硬件装置和介质 | |
CN111898100A (zh) | 代码泄露溯源的方法、装置及终端设备 | |
CN112182027B (zh) | 信息查询方法、装置、电子设备及存储介质 | |
CN115225716B (zh) | 数据处理方法、装置和电子设备 | |
CN112507146B (zh) | 信息处理方法、装置、电子设备及存储介质 | |
CN111143184B (zh) | 数据处理方法、装置及系统 | |
CN116185301A (zh) | 数据存储处理方法、平台、服务器、系统、介质及产品 | |
CN107784224B (zh) | 权限适配方法、装置及电子设备 | |
CN116009946A (zh) | 基于Git的代码统计方法和装置 | |
CN117061583A (zh) | 报文数据信息处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |