CN117370400B - 航空数据的加工聚合处理方法、装置、电子设备及介质 - Google Patents
航空数据的加工聚合处理方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN117370400B CN117370400B CN202311649961.0A CN202311649961A CN117370400B CN 117370400 B CN117370400 B CN 117370400B CN 202311649961 A CN202311649961 A CN 202311649961A CN 117370400 B CN117370400 B CN 117370400B
- Authority
- CN
- China
- Prior art keywords
- aggregation
- data processing
- aviation data
- aviation
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 499
- 230000002776 aggregation Effects 0.000 title claims abstract description 332
- 238000004220 aggregation Methods 0.000 title claims abstract description 332
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 230000004931 aggregating effect Effects 0.000 claims abstract description 94
- 238000012217 deletion Methods 0.000 claims description 35
- 230000037430 deletion Effects 0.000 claims description 35
- 238000003780 insertion Methods 0.000 claims description 34
- 230000037431 insertion Effects 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 32
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000011144 upstream manufacturing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 230000026676 system process Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 238000007619 statistical method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 230000000379 polymerizing effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
- G06F16/24554—Unary operations; Data partitioning operations
- G06F16/24556—Aggregation; Duplicate elimination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2477—Temporal data queries
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了航空数据的加工聚合处理方法、装置、电子设备及介质，包括：确定出航空数据加工聚合事件的多个航空数据加工聚合任务以及事件驱动类型；其中，事件驱动类型为常规事件驱动类型、初始化事件驱动类型以及定时事件驱动类型中的任意一种；基于每个航空数据加工聚合任务所携带的任务槽值，确定出每个加工聚合任务相对应的目标加工聚合任务执行槽；在目标加工聚合任务执行槽中基于航空数据加工聚合事件的事件驱动类型相对应的事件执行策略以及航空数据加工聚合任务对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于目标航空数据进行数据处理，提高了数据加工聚合的效率。
Description
技术领域
本申请涉及航空数据处理技术领域，尤其是涉及航空数据的加工聚合处理方法、装置、电子设备及介质。
背景技术
随着航空公司的日益发展，国内大中型航司多年来积累了大量的旅客数据、航班数据，所以，如何通过统计分析工具快速对航空数据进行处理成为了关键。目前市面上有很多统计分析工具通过查询大宽表，并直接加工聚合得到统计分析结果，主流提升数据加工聚合效率的方式主要有如下几种：第一，添加索引的方式，但是此方法的效率完全取决于数据库查询检索速度和聚合的效率，所以导致加工聚合处理效率低；第二，使用视图的方式，在此方法中数据加工聚合的效率完全取决于视图查询检索速度、聚合数据的效率。所以，如何提高航空数据的加工聚合处理的效率成为了不容小觑的技术问题。
发明内容
有鉴于此，本申请的目的在于提供航空数据的加工聚合处理方法、装置、电子设备及介质，通过根据航空数据加工聚合事件的事件驱动类型相对应的事件执行策略和航空数据加工聚合任务对航空数据进行处理，提高了数据加工聚合的效率。
本申请实施例提供了一种航空数据的加工聚合处理方法，所述航空数据的加工聚合处理方法包括：
对预先配置好的航空数据加工聚合事件进行信息解析，确定出所述航空数据加工聚合事件的多个航空数据加工聚合任务以及事件驱动类型；其中，所述事件驱动类型为常规事件驱动类型、初始化事件驱动类型以及定时事件驱动类型中的任意一种；
基于每个所述航空数据加工聚合任务所携带的任务槽值，确定出每个所述航空数据加工聚合任务相对应的目标加工聚合任务执行槽；
在所述目标加工聚合任务执行槽中基于所述航空数据加工聚合事件的事件驱动类型相对应的事件执行策略以及所述航空数据加工聚合任务对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于所述目标航空数据进行数据处理。
在一种可能的实施方式之中，所述基于每个所述航空数据加工聚合任务所携带的任务槽值，确定出每个所述航空数据加工聚合任务相对应的目标加工聚合任务执行槽，包括：
将每个所述航空数据加工聚合任务的任务槽值除以目标数值，确定出每个所述航空数据加工聚合任务的取余值；
基于每个所述航空数据加工聚合任务的取余值，确定出相对应的目标加工聚合任务执行槽。
在一种可能的实施方式之中，针对于所述事件驱动类型为所述常规事件驱动类型，所述在所述目标加工聚合任务执行槽中基于所述航空数据加工聚合事件的事件驱动类型相对应的事件执行策略以及所述航空数据加工聚合任务对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于所述目标航空数据进行数据处理，包括：
获取所述航空数据加工聚合事件的第一数据执行日期范围；
检测所述第一数据执行日期范围是否符合预设时间条件；
若是，则基于所述第一数据执行日期范围、多个所述航空数据加工聚合任务的业务删除语句以及多个所述航空数据加工聚合任务的业务查询并批量插入语句对航空数据库中的航空数据进行加工聚合处理，确定出所述目标航空数据，以使下游系统基于所述目标航空数据进行数据处理。
在一种可能的实施方式之中，针对于所述事件驱动类型为所述初始化事件驱动类型，所述在所述目标加工聚合任务执行槽中基于所述航空数据加工聚合事件的事件驱动类型相对应的事件执行策略以及所述航空数据加工聚合任务对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于所述目标航空数据进行数据处理，包括：
基于所述航空数据加工聚合任务的初始化策略标识，确定出所述航空数据加工聚合任务的初始化执行策略；其中，所述初始化执行策略包括开始执行周期、开始日期字段、开始日期、结束日期字段以及结束日期；
基于所述初始化执行策略，确定出第二数据执行日期范围；
检测所述第二数据执行日期范围是否符合预设时间条件；
若是，则基于所述第二数据执行日期范围、多个所述航空数据加工聚合任务的业务删除语句以及多个所述航空数据加工聚合任务的业务查询并批量插入语句对航空数据库中的航空数据进行加工聚合处理，确定出所述目标航空数据，以使下游系统基于所述目标航空数据进行数据处理。
在一种可能的实施方式之中，针对于所述事件驱动类型为所述定时事件驱动类型，所述在所述目标加工聚合任务执行槽中基于所述航空数据加工聚合事件的事件驱动类型相对应的事件执行策略以及所述航空数据加工聚合任务对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于所述目标航空数据进行数据处理，包括：
基于所述航空数据加工聚合任务的定时策略标识，确定出所述航空数据加工聚合任务的定时执行策略；其中，所述定时执行策略包括执行周期、开始日期字段、开始日期月偏移量、开始日期天值、结束日期字段、结束日期月偏移量以及结束日期天偏移量；
基于所述定时执行策略以及当前时间，确定出第三数据执行日期范围；
检测所述第三数据执行日期范围是否符合预设时间条件；
若是，则基于所述第三数据执行日期范围、多个所述航空数据加工聚合任务的业务删除语句以及多个所述航空数据加工聚合任务的业务查询并批量插入语句对航空数据库中的航空数据进行加工聚合处理，确定出所述目标航空数据，以使下游系统基于所述目标航空数据进行数据处理。
在一种可能的实施方式之中，通过以下步骤对所述航空数据加工聚合事件进行配置：
构建业务查询并批量插入语句，以及业务删除语句；
创建定时执行策略或者是初始化执行策略；
创建多个航空数据加工聚合任务的记录，其中，所述航空数据加工聚合任务的记录包括加工聚合标识、所述业务查询并批量插入语句、所述业务删除语句、初始化标识、定时策略标识、初始化策略标识以及任务槽值；
将多个所述航空数据加工聚合任务构建成所述航空数据加工聚合事件。
在一种可能的实施方式之中，通过以下步骤将多个所述航空数据加工聚合任务构建成所述航空数据加工聚合事件：
针对于所述定时事件驱动类型，每隔预设时间间隔查询定时执行策略不为空的所述航空数据加工聚合任务以及加载出定时执行策略，并基于所述定时执行策略以及多个所述航空数据加工聚合任务构建出所述航空数据加工聚合事件；
针对于所述初始化事件驱动类型，每隔预设时间间隔查询携带初始化标识的所述航空数据加工聚合任务以及加载出初始化执行策略，若当前时间大于所述初始化执行策略的开始执行周期，则根据所述初始化执行策略以及多个所述航空数据加工聚合任务构建出所述航空数据加工聚合事件；
针对于所述常规事件驱动类型，检测上游系统发送的目标信息是否满足常规事件触发条件，若是，则基于所述目标信息以及多个所述航空数据加工聚合任务构建出所述航空数据加工聚合事件。
本申请实施例还提供了一种航空数据的加工聚合处理装置，所述航空数据的加工聚合处理装置包括：
解析模块，用于对预先配置好的航空数据加工聚合事件进行信息解析，确定出所述航空数据加工聚合事件的多个航空数据加工聚合任务以及事件驱动类型；其中，所述事件驱动类型为常规事件驱动类型、初始化事件驱动类型以及定时事件驱动类型中的任意一种；
确定模块，用于基于每个所述航空数据加工聚合任务所携带的任务槽值，确定出每个所述航空数据加工聚合任务相对应的目标加工聚合任务执行槽；
执行模块，用于在所述目标加工聚合任务执行槽中基于所述航空数据加工聚合事件的事件驱动类型相对应的事件执行策略以及所述航空数据加工聚合任务对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于所述目标航空数据进行数据处理。
本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的航空数据的加工聚合处理方法的步骤。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的航空数据的加工聚合处理方法的步骤。
本申请实施例提供的航空数据的加工聚合处理方法、装置、电子设备及介质，所述航空数据的加工聚合处理方法包括：对预先配置好的航空数据加工聚合事件进行信息解析，确定出所述航空数据加工聚合事件的多个航空数据加工聚合任务以及事件驱动类型；其中，所述事件驱动类型为常规事件驱动类型、初始化事件驱动类型以及定时事件驱动类型中的任意一种；基于每个所述航空数据加工聚合任务所携带的任务槽值，确定出每个所述航空数据加工聚合任务相对应的目标加工聚合任务执行槽；在所述目标加工聚合任务执行槽中基于所述航空数据加工聚合事件的事件驱动类型相对应的事件执行策略以及所述航空数据加工聚合任务对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于所述目标航空数据进行数据处理。本方案的有益效果为：通过根据航空数据加工聚合事件的事件驱动类型相对应的事件执行策略和航空数据加工聚合任务对航空数据进行处理，提高了数据加工聚合的效率。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例所提供的一种航空数据的加工聚合处理方法的流程图；
图2为本申请实施例所提供的一种航空数据的加工聚合处理装置的结构示意图之一；
图3为本申请实施例所提供的一种航空数据的加工聚合处理装置的结构示意图之二；
图4为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。
首先，对本申请可适用的应用场景进行介绍。本申请可应用于航空数据处理技术领域。
经研究发现，随着航空公司的日益发展，国内大中型航司多年来积累了大量的旅客数据、航班数据，所以，如何通过统计分析工具快速对航空数据进行处理成为了关键。目前市面上有很多统计分析工具通过查询大宽表，并直接加工聚合得到统计分析结果，主流提升数据加工聚合效率的方式主要有如下几种：第一，添加索引的方式，但是此方法的效率完全取决于数据库查询检索速度和聚合的效率，所以导致加工聚合处理效率低；第二，使用视图的方式，在此方法中数据加工聚合的效率完全取决于视图查询检索速度、聚合数据的效率。所以，如何提高航空数据的加工聚合处理的效率成为了不容小觑的技术问题。
基于此，本申请实施例提供了一种航空数据的加工聚合处理方法，通过根据航空数据加工聚合事件的事件驱动类型相对应的事件执行策略和航空数据加工聚合任务对航空数据进行处理，提高了数据加工聚合的效率。
请参阅图1，图1为本申请实施例所提供的一种航空数据的加工聚合处理方法的流程图。如图1中所示，本申请实施例提供的航空数据的加工聚合处理方法，包括：
S101：对预先配置好的航空数据加工聚合事件进行信息解析，确定出所述航空数据加工聚合事件的多个航空数据加工聚合任务以及事件驱动类型；其中，所述事件驱动类型为常规事件驱动类型、初始化事件驱动类型以及定时事件驱动类型中的任意一种。
该步骤中，对预先配置好的航空数据加工聚合事件进行解析，确定出航空数据加工聚合事件中的多个航空数据加工聚合任务以及该航空数据加工聚合事件相对应的事件驱动类型。
其中，所述事件驱动类型为常规事件驱动类型、初始化事件驱动类型以及定时事件驱动类型中的任意一种。
这里，常规事件驱动类型为需要满足一定条件方可触发特定的航空数据加工聚合任务执行，如上游系统发送某类报文后，需触发某个航空数据加工聚合任务，采用常规事件触发。
这里，定时事件驱动类型为每分钟轮询一次，查询所有定时执行策略不为空的航空加工聚合任务。
这里，初始化事件驱动类型为每分钟轮询一次，查询所有初始化标识为“N”的航空数据加工聚合任务，并加载相应初始化执行策略。
在一种可能的实施方式之中，通过以下步骤对所述航空数据加工聚合事件进行配置：
A：构建业务查询并批量插入语句，以及业务删除语句；创建定时执行策略或者是初始化执行策略；
这里，根据业务查询并批量插入语句将条件中的日期范围参数使用#{开始日期字段}、#{结束日期字段}，构建出业务查询并批量插入语句，结合业务查询并批量插入语句，创建出业务删除语句。创建出定时执行策略或者是初始化执行策略。
这里，在创建业务查询并批量插入语句的同时可以根据业务查询并批量插入语句的结果创建目标数据表，并保证业务查询并批量插入语句的结果字段和目标数据表的字段一一对应。即在相同日期查询范围内，通过业务查询并批量插入语句写入到目标数据表中，相应的业务删除语句可以通过相同日期范围删除历史写入到目标数据表的数据。
这里，一个航空数据加工聚合事件对应一个事件驱动类型，若事件驱动类型为定时事件驱动类型，则创建定时执行策略，若已存在相同的定时执行策略，则直接引用，若不存在，则创建包含如下字段：定时策略id、执行周期、开始日期字段、开始日期月偏移量、开始日期天、结束日期字段、结束日期月偏移量以及结束日期天偏移量。若事件驱动类型为初始化事件驱动类型，则创建初始化执行策略，包含初始化策略id、开始执行周期、开始日期字段，开始日期、结束日期字段以及结束日期。
B：创建多个航空数据加工聚合任务的记录，其中，所述航空数据加工聚合任务的记录包括加工聚合标识、所述业务查询并批量插入语句、所述业务删除语句、初始化标识、定时策略标识、初始化策略标识以及任务槽值。
这里，创建多个航空数据加工聚合任务的记录，包括加工聚合id、业务查询并批量插入语句、业务删除语句、初始化标识（默认为N，未初始化）、定时策略id、初始化策略id以及任务槽值。
C：将多个所述航空数据加工聚合任务构建成所述航空数据加工聚合事件。
这里，将多个航空数据加工聚合任务构建成航空数据加工聚合事件。
在一种可能的实施方式之中，通过以下步骤将多个所述航空数据加工聚合任务构建成所述航空数据加工聚合事件：
（1）：针对于所述定时事件驱动类型，每隔预设时间间隔查询定时执行策略不为空的所述航空数据加工聚合任务以及加载出定时执行策略，并基于所述定时执行策略以及多个所述航空数据加工聚合任务构建出所述航空数据加工聚合事件。
这里，每隔预设时间间隔查询定时执行策略不为空的航空数据加工聚合任务以及加载出定时执行策略，并根据定时执行策略以及多个航空数据加工聚合任务构建出航空数据加工聚合事件。
在具体实施例之中，每分钟执行一次，保证所有新增的定时策略也能快速生效。查询并加载所有定时策略不为空的加工聚合任务，并加载所有执行周期进行注册，按照执行周期定时触发，根据相应定时执行策略构建定时事件：类型为定时事件驱动类型的航空数据加工聚合事件的内容为：{“event”:”timer_event”，“aggregateTaskIds”:[1001]}，其中1001代表航空数据加工聚合任务id为1001。
（2）：针对于所述初始化事件驱动类型，每隔预设时间间隔查询携带初始化标识的所述航空数据加工聚合任务以及加载出初始化执行策略，若当前时间大于所述初始化执行策略的开始执行周期，则根据所述初始化执行策略以及多个所述航空数据加工聚合任务构建出所述航空数据加工聚合事件。
这里，每隔预设时间间隔查询携带初始化标识为“N”的航空数据加工聚合任务以及加载出初始化执行策略，若当前时间大于开始执行周期，则根据初始化执行策略以及多个航空数据加工聚合任务构建出航空数据加工聚合事件。
其中，每分钟轮询一次，查询所有初始化标识为“N”的航空数据加工聚合任务，并加载相应初始化执行策略，当前时间大于开始执行时间，则根据初始化执行策略以及多个航空数据加工聚合任务构建出航空数据加工聚合事件。
在具体实施例之中，每分钟轮询一次，保证所有初始化事件能及时触发。查询所有初始化执行策略不为空且初始化标识为“N”的航空数据加工聚合任务，并加载相应开始执行周期，若当前时间大于初始化执行策略开始执行周期，并根据初始化执行策略构建初始化事件驱动类型的航空数据加工聚合事件的结构内容为：{“event”:“initial_event”,“aggregateTaskIds”:[1001]}，其中1001代表触发初始化执行策略的航空数据加工聚合任务id是1001。
（3）：针对于所述常规事件驱动类型，检测上游系统发送的目标信息是否满足常规事件触发条件，若是，则基于所述目标信息以及多个所述航空数据加工聚合任务构建出所述航空数据加工聚合事件。
这里，检测上游系统发送的目标信息是否满足常规事件触发条件，若是，则根据目标信息以及多个航空数据加工聚合任务构建出所述航空数据加工聚合事件。
其中，目标信息可为上游系统发送的报文信息。
在具体实施例之中，当前日期为：2022年10月12日，当接收到上游某一条报文后触发“航空数据加工聚合任务”。加工聚合任务id:1001，计划开始日期：月初，计划结束日期：昨天。根据航空数据加工聚合任务的id并结合日期范围要求，构建常规事件内容为：{“event”:“normal_event”, “aggregateTaskIds:[1001], “scheduleStartDate”:“2022-10-01”, “scheduleEndDate”: “2022-10-11”}。
S102：基于每个所述航空数据加工聚合任务所携带的任务槽值，确定出每个所述航空数据加工聚合任务相对应的目标加工聚合任务执行槽。
该步骤中，根据每个航空数据加工聚合任务所携带的任务槽值，确定出每个加工聚合任务相对应的目标加工聚合任务执行槽。
在一种可能的实施方式之中，所述基于每个所述航空数据加工聚合任务所携带的任务槽值，确定出每个所述航空数据加工聚合任务相对应的目标加工聚合任务执行槽，包括：
将每个所述航空数据加工聚合任务的任务槽值除以目标数值，确定出每个所述航空数据加工聚合任务的取余值；基于每个所述航空数据加工聚合任务的取余值，确定出相对应的目标加工聚合任务执行槽。
这里，根据每个航空数据加工聚合任务的任务槽值进行分槽，取任务槽值除以目标数值然后取余，不同取余值分别进入不同的任务槽执行，保证同一个航空数据加工聚合任务只会进入同一个任务槽，确保每个航空数据加工聚合任务在同一时间只会执行一次，并且遵循事件的先后顺序执行。同时目标数值可以根据真实情况进行代码配置调节，使得多个航空数据加工聚合任务可以并发执行，提高加工聚合的效率和资源利用率。
S103：在所述目标加工聚合任务执行槽中基于所述航空数据加工聚合事件的事件驱动类型相对应的事件执行策略以及所述航空数据加工聚合任务对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于所述目标航空数据进行数据处理。
该步骤中，在目标加工聚合任务执行槽中根据航空数据加工聚合事件的事件驱动类型相对应的事件执行策略以及航空数据加工聚合任务对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统根据目标航空数据进行数据处理。
在一种可能的实施方式之中，针对于所述事件驱动类型为所述常规事件驱动类型，所述在所述目标加工聚合任务执行槽中基于所述航空数据加工聚合事件的事件驱动类型相对应的事件执行策略以及所述航空数据加工聚合任务对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于所述目标航空数据进行数据处理，包括：
a：获取所述航空数据加工聚合事件的第一数据执行日期范围。
这里，若事件驱动类型为常规事件驱动类型，则获取航空数据加工聚合事件的第一数据执行日期范围。
其中，第一数据执行日期范围是根据常规事件驱动类型的航空数据加工聚合事件的日期范围参数如计划开始日期、计划结束日期、实际开始日期以及实际结束日期构成的。
b：检测所述第一数据执行日期范围是否符合预设时间条件。
这里，检测第一数据执行日期范围是否符合预设时间条件。
其中，预设时间条件为开始日期必须小于等于结束日期。
c：若是，则基于所述第一数据执行日期范围、多个所述航空数据加工聚合任务的业务删除语句以及多个所述航空数据加工聚合任务的业务查询并批量插入语句对航空数据库中的航空数据进行加工聚合处理，确定出所述目标航空数据，以使下游系统基于所述目标航空数据进行数据处理。
这里，若是，则根据第一数据执行日期范围、多个航空数据加工聚合任务的业务删除语句以及多个航空数据加工聚合任务的业务查询并批量插入语句对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统根据目标航空数据进行数据处理。
在具体实施例之中，若事件驱动类型为常规事件驱动类型，则获取航空数据加工聚合事件的第一数据执行日期范围，检测第一数据执行日期范围是否满足预设时间条件，若不满足，则直接完成事件处理。若满足，则通过第一数据执行日期范围的字段和值替换到业务删除语句中的对应#(开始日期字段}和#(结束日期字段)，并形成可执行的业务删除语句。通过第一数据执行日期范围的字段和值替换到业务查询并批量插入语句中的对应#(开始日期字段}和#(结束日期字段)，并形成可执行的业务查询并批量插入语句。向航空数据库提交“可执行的业务删除语句”。向航空数据库提交“业务查询并批量插入语句”，利用可执行的业务删除语句以及业务查询并批量插入语句对航空数据库中的航空数据进行加工聚合处理，得到目标航空数据。
举例来讲，提取常规事件驱动类型为航空数据加工聚合事件中的日期范围参数，如下：计划开始日期字段：scheduleStartDate，计划开始日期取值：”2022-11-01”，计划结束日期字段：scheduleEndDate，计划结束日期取值：”2022-11-30”，计划开始日期小于计划结束日期，满足校验，将日期参数填入每个聚合任务的删除语句的对应字段中，如下：航空数据加工聚合任务1001的删除语句为：DELETE FROM "check_in_statistics" WHERE "计划日期">="2022-11-01" AND "计划日期"<="2022-11-30"；航空数据加工聚合任务1002的删除语句为：DELETE FROM "check_in_youth_statistics" WHERE "计划日期">="2022-11-01" AND "计划日期"<="2022-11-30"。将日期参数填入每个业务查询并批量插入语句的对应字段中，如下：航空数据加工聚合任务1001的业务查询并批量插入语句为：INSERTINTO "check_in_statistics" ("航班号", "计划日期", "自助值机总次数", "柜台值机总次数", "网上值机总次数") SELECT "航班号", "计划日期", SUM("自助值机次数")AS "自助值机总次数", SUM("柜台值机次数") AS "柜台值机总次数", SUM("网上值机次数") AS "网上值机总次数" FROM A WHERE "计划日期">="2022-11-01" AND "计划日期"<="2022-11-30" AND "出发站"='北京' AND "航班是否实际执行"=1 GROUP BY 航班号,计划日期。航空数据加工聚合任务1002的业务查询并批量插入语句为：INSERT INTO "check_in_youth_statistics" ("航班号", "计划日期", "自助值机总次数", "柜台值机总次数", "网上值机总次数") SELECT "航班号", "计划日期", SUM("自助值机次数")AS "自助值机总次数", SUM("柜台值机次数") AS "柜台值机总次数", SUM("网上值机次数") AS "网上值机总次数" FROM A WHERE "计划日期">="2022-11-01" AND "计划日期"<="2022-11-30" AND "出发站"='北京' AND "航班是否实际执行"=1 AND "年龄">=20AND "年龄"<=29 GROUP BY 航班号,计划日期。利用业务删除语句和业务查询批量插入语句对航空数据库中的航空数据进行加工聚合处理，得到目标航空数据。
在一种可能的实施方式之中，针对于所述事件驱动类型为所述初始化事件驱动类型，所述在所述目标加工聚合任务执行槽中基于所述航空数据加工聚合事件的事件驱动类型相对应的事件执行策略以及所述航空数据加工聚合任务对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于所述目标航空数据进行数据处理，包括：
I：基于所述航空数据加工聚合任务的初始化策略标识，确定出所述航空数据加工聚合任务的初始化执行策略；其中，所述初始化执行策略包括开始执行周期、开始日期字段、开始日期、结束日期字段以及结束日期。
这里，根据航空数据加工聚合任务的初始化策略id，确定出航空数据加工聚合任务的初始化执行策略；其中，初始化执行策略包括开始执行周期、开始日期字段、开始日期、结束日期字段以及结束日期。
II：基于所述初始化执行策略，确定出第二数据执行日期范围；检测所述第二数据执行日期范围是否符合预设时间条件。
这里，根据初始化执行策略，确定出第二数据执行日期范围；检测第二数据执行日期范围是否符合预设时间条件。
其中，根据初始化执行策略的开始执行周期、开始日期字段、开始日期、结束日期字段、结束日期构建第二数据执行日期范围，如，根据开始执行周期、开始日期字段、开始日期、结束日期字段和结束日期构第二数据执行日期范围。
III：若是，则基于所述第二数据执行日期范围、多个所述航空数据加工聚合任务的业务删除语句以及多个所述航空数据加工聚合任务的业务查询并批量插入语句对航空数据库中的航空数据进行加工聚合处理，确定出所述目标航空数据，以使下游系统基于所述目标航空数据进行数据处理。
这里，若符合，则根据第二数据执行日期范围、多个航空数据加工聚合任务的业务删除语句以及多个航空数据加工聚合任务的业务查询并批量插入语句对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于所述目标航空数据进行数据处理。
在具体实施例之中，若事件驱动类型为初始化事件驱动类型，则获取航空数据加工聚合事件的第二数据执行日期范围，检测第二数据执行日期范围是否满足预设时间条件，若不满足，则直接完成事件处理。若满足，则通过第二数据执行日期范围的字段和值替换到业务删除语句中的对应#(开始日期字段}和#(结束日期字段)，并形成可执行的业务删除语句。通过第二数据执行日期范围的字段和值替换到业务查询并批量插入语句中的对应#(开始日期字段}和#(结束日期字段)，并形成可执行的业务查询并批量插入语句。向航空数据库提交“可执行的业务删除语句”。向航空数据库提交“查询并批量插入语句”，利用可执行的业务删除语句以及业务查询并批量插入语句对航空数据库中的航空数据进行加工聚合处理，得到目标航空数据。
在一种可能的实施方式之中，针对于所述事件驱动类型为所述定时事件驱动类型，所述在所述目标加工聚合任务执行槽中基于所述航空数据加工聚合事件的事件驱动类型相对应的事件执行策略以及所述航空数据加工聚合任务对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于所述目标航空数据进行数据处理，包括：
i：基于所述航空数据加工聚合任务的定时策略标识，确定出所述航空数据加工聚合任务的定时执行策略；其中，所述定时执行策略包括执行周期、开始日期字段、开始日期月偏移量、开始日期天值、结束日期字段、结束日期月偏移量以及结束日期天偏移量。
这里，根据航空数据加工聚合任务的定时策略id，确定出航空数据加工聚合任务的定时执行策略；其中，定时执行策略包括执行周期、开始日期字段、开始日期月偏移量、开始日期天值、结束日期字段、结束日期月偏移量以及结束日期天偏移量。
ii：基于所述定时执行策略以及当前时间，确定出第三数据执行日期范围；检测所述第三数据执行日期范围是否符合预设时间条件。
这里，根据定时执行策略中的执行周期、开始日期字段、开始日期月偏移量、开始日期天值、结束日期字段、结束日期月偏移量、结束日期天偏移量以及当前时间确定出第三数据执行日期范围。
iii：若是，则基于所述第三数据执行日期范围、多个所述航空数据加工聚合任务的业务删除语句以及多个所述航空数据加工聚合任务的业务查询并批量插入语句对航空数据库中的航空数据进行加工聚合处理，确定出所述目标航空数据，以使下游系统基于所述目标航空数据进行数据处理。
这里，若是，则根据第三数据执行日期范围、多个航空数据加工聚合任务的业务删除语句以及多个航空数据加工聚合任务的业务查询并批量插入语句对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于目标航空数据进行数据处理。
在本方案中还可以通过航空数据库配置业务加工查询语句、业务删除语句、目标表、定时策略、初始化策略、任务插槽，然后创建目标表。业务人员可以通过航空数据库配置完成新建目标表初始化、定时执行频率设置均会转化为相应事件的方式进行驱动。当加工聚合任务收到驱动事件指令后，选择对应任务插槽并行执行数据加载、数据提交，最终目标表的数据得以更新。
在具体实施例之中，根据定时执行策略确定出第三数据执行日期范围，当前日期为：2022-12-23日，则计划开始日期字段：scheduleStartDate，计划开始日期取值：”2022-11-01”（根据开始日期月偏移量为-1，开始日期天为1推算）， 计划结束日期字段：scheduleEndDate（根据结束日期月偏移量为0，结束日期天偏移量为-1），计划结束日期取值：”2022-12-22”。计划开始日期小于计划结束日期，满足校验，将日期参数填入每个聚合任务的删除语句的对应字段中，如下：航班数据加工聚合任务1001的删除语句为：DELETEFROM "check_in_statistics" WHERE "计划日期">="2022-11-01" AND "计划日期"<="2022-12-22"；航班数据加工聚合任务1002的删除语句为：DELETE FROM "check_in_youth_statistics" WHERE "计划日期">="2022-11-01" AND "计划日期"<="2022-12-22"。航空数据加工聚合任务1001的业务查询并批量插入语句为：INSERT INTO "check_in_statistics" ("航班号", "计划日期", "自助值机总次数", "柜台值机总次数", "网上值机总次数") SELECT "航班号", "计划日期", SUM("自助值机次数") AS "自助值机总次数", SUM("柜台值机次数") AS "柜台值机总次数", SUM("网上值机次数") AS "网上值机总次数" FROM A WHERE "计划日期">="2022-11-01" AND "计划日期"<="2022-12-22" AND "出发站"='北京' AND "航班是否实际执行"=1 GROUP BY 航班号,计划日期。航空数据加工聚合任务1002的业务查询并批量插入语句为：INSERT INTO "check_in_youth_statistics" ("航班号", "计划日期", "自助值机总次数", "柜台值机总次数", "网上值机总次数") SELECT "航班号", "计划日期", SUM("自助值机次数") AS "自助值机总次数", SUM("柜台值机次数") AS "柜台值机总次数", SUM("网上值机次数") AS "网上值机总次数" FROM A WHERE "计划日期">="2022-11-01" AND "计划日期"<="2022-12-22" AND "出发站"='北京' AND "航班是否实际执行"=1 AND "年龄">=20 AND "年龄"<=29 GROUP BY 航班号，计划日期。利用业务删除语句和业务查询并批量插入语句对航空数据库中的航空数据进行加工聚合处理，得到目标航空数据。
在本方案中从传统的视图或者物化视图进行加工聚合，变更为支持事件驱动的航空数据加工聚合任务。基于事件驱动的加工聚合支持常规事件驱动、定时事件驱动和初始化事件驱动使得事件触发的方式更加灵活可控。并且基于事件驱动的加工聚合方法，日期参数的传递更加灵活，并且通过动态替换参数的方式完成业务删除语句和业务查询并批量插入语句的构建，具通用性和普遍性。
本申请实施例提供的一种航空数据的加工聚合处理方法，所述航空数据的加工聚合处理方法包括：对预先配置好的航空数据加工聚合事件进行信息解析，确定出所述航空数据加工聚合事件的多个航空数据加工聚合任务以及事件驱动类型；其中，所述事件驱动类型为常规事件驱动类型、初始化事件驱动类型以及定时事件驱动类型中的任意一种；基于每个所述航空数据加工聚合任务所携带的任务槽值，确定出每个所述航空数据加工聚合任务相对应的目标加工聚合任务执行槽；在所述目标加工聚合任务执行槽中基于所述航空数据加工聚合事件的事件驱动类型相对应的事件执行策略以及所述航空数据加工聚合任务对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于所述目标航空数据进行数据处理。通过根据航空数据加工聚合事件的事件驱动类型相对应的事件执行策略和航空数据加工聚合任务对航空数据进行处理，提高了数据加工聚合的效率。
请参阅图2、图3，图2为本申请实施例所提供的一种航空数据的加工聚合处理装置的结构示意图之一；图3为本申请实施例所提供的一种航空数据的加工聚合处理装置的结构示意图之二。如图2中所示，所述航空数据的加工聚合处理装置200包括：
解析模块210，用于对预先配置好的航空数据加工聚合事件进行信息解析，确定出所述航空数据加工聚合事件的多个航空数据加工聚合任务以及事件驱动类型；其中，所述事件驱动类型为常规事件驱动类型、初始化事件驱动类型以及定时事件驱动类型中的任意一种；
确定模块220，用于基于每个所述航空数据加工聚合任务所携带的任务槽值，确定出每个所述航空数据加工聚合任务相对应的目标加工聚合任务执行槽；
执行模块230，用于在所述目标加工聚合任务执行槽中基于所述航空数据加工聚合事件的事件驱动类型相对应的事件执行策略以及所述航空数据加工聚合任务对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于所述目标航空数据进行数据处理。
进一步的，确定模块220在用于所述基于每个所述航空数据加工聚合任务所携带的任务槽值，确定出每个所述航空数据加工聚合任务相对应的目标加工聚合任务执行槽时，确定模块220具体用于：
将每个所述航空数据加工聚合任务的任务槽值除以目标数值，确定出每个所述航空数据加工聚合任务的取余值；
基于每个所述航空数据加工聚合任务的取余值，确定出相对应的目标加工聚合任务执行槽。
进一步的，执行模块230在用于针对于所述事件驱动类型为所述常规事件驱动类型，所述在所述目标加工聚合任务执行槽中基于所述航空数据加工聚合事件的事件驱动类型相对应的事件执行策略以及所述航空数据加工聚合任务对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于所述目标航空数据进行数据处理时，执行模块230具体用于：
获取所述航空数据加工聚合事件的第一数据执行日期范围；
检测所述第一数据执行日期范围是否符合预设时间条件；
若是，则基于所述第一数据执行日期范围、多个所述航空数据加工聚合任务的业务删除语句以及多个所述航空数据加工聚合任务的业务查询并批量插入语句对航空数据库中的航空数据进行加工聚合处理，确定出所述目标航空数据，以使下游系统基于所述目标航空数据进行数据处理。
进一步的，执行模块230在用于针对于所述事件驱动类型为所述初始化事件驱动类型，所述在所述目标加工聚合任务执行槽中基于所述航空数据加工聚合事件的事件驱动类型相对应的事件执行策略以及所述航空数据加工聚合任务对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于所述目标航空数据进行数据处理时，执行模块230具体用于：
基于所述航空数据加工聚合任务的初始化策略标识，确定出所述航空数据加工聚合任务的初始化执行策略；其中，所述初始化执行策略包括开始执行周期、开始日期字段、开始日期、结束日期字段以及结束日期；
基于所述初始化执行策略，确定出第二数据执行日期范围；
检测所述第二数据执行日期范围是否符合预设时间条件；
若是，则基于所述第二数据执行日期范围、多个所述航空数据加工聚合任务的业务删除语句以及多个所述航空数据加工聚合任务的业务查询并批量插入语句对航空数据库中的航空数据进行加工聚合处理，确定出所述目标航空数据，以使下游系统基于所述目标航空数据进行数据处理。
进一步的，执行模块230在用于针对于所述事件驱动类型为所述定时事件驱动类型，所述在所述目标加工聚合任务执行槽中基于所述航空数据加工聚合事件的事件驱动类型相对应的事件执行策略以及所述航空数据加工聚合任务对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于所述目标航空数据进行数据处理时，执行模块230具体用于：
基于所述航空数据加工聚合任务的定时策略标识，确定出所述航空数据加工聚合任务的定时执行策略；其中，所述定时执行策略包括执行周期、开始日期字段、开始日期月偏移量、开始日期天值、结束日期字段、结束日期月偏移量以及结束日期天偏移量；
基于所述定时执行策略以及当前时间，确定出第三数据执行日期范围；
检测所述第三数据执行日期范围是否符合预设时间条件；
若是，则基于所述第三数据执行日期范围、多个所述航空数据加工聚合任务的业务删除语句以及多个所述航空数据加工聚合任务的业务查询并批量插入语句对航空数据库中的航空数据进行加工聚合处理，确定出所述目标航空数据，以使下游系统基于所述目标航空数据进行数据处理。
进一步的，如图3所示，航空数据的加工聚合处理装置200还包括配置模块240，所述配置模块240用于：
构建业务查询并批量插入语句，以及业务删除语句；
创建定时执行策略或者是初始化执行策略；
创建多个航空数据加工聚合任务的记录，其中，所述航空数据加工聚合任务的记录包括加工聚合标识、所述业务查询并批量插入语句、所述业务删除语句、初始化标识、定时策略标识、初始化策略标识以及任务槽值；
将多个所述航空数据加工聚合任务构建成所述航空数据加工聚合事件。
进一步的，所述配置模块240通过以下步骤将多个所述航空数据加工聚合任务构建成所述航空数据加工聚合事件：
针对于所述定时事件驱动类型，每隔预设时间间隔查询定时执行策略不为空的所述航空数据加工聚合任务以及加载出定时执行策略，并基于所述定时执行策略以及多个所述航空数据加工聚合任务构建出所述航空数据加工聚合事件；
针对于所述初始化事件驱动类型，每隔预设时间间隔查询携带初始化标识的所述航空数据加工聚合任务以及加载出初始化执行策略，若当前时间大于所述初始化执行策略的开始执行时间，则根据所述初始化执行策略以及多个所述航空数据加工聚合任务构建出所述航空数据加工聚合事件；
针对于所述常规事件驱动类型，检测上游系统发送的目标信息是否满足常规事件触发条件，若是，则基于所述目标信息以及多个所述航空数据加工聚合任务构建出所述航空数据加工聚合事件。
本申请实施例提供的航空数据的加工聚合处理装置，所述航空数据的加工聚合处理装置包括：解析模块，用于对预先配置好的航空数据加工聚合事件进行信息解析，确定出所述航空数据加工聚合事件的多个航空数据加工聚合任务以及事件驱动类型；其中，所述事件驱动类型为常规事件驱动类型、初始化事件驱动类型以及定时事件驱动类型中的任意一种；确定模块，用于基于每个所述航空数据加工聚合任务所携带的任务槽值，确定出每个所述航空数据加工聚合任务相对应的目标加工聚合任务执行槽；执行模块，用于在所述目标加工聚合任务执行槽中基于所述航空数据加工聚合事件的事件驱动类型相对应的事件执行策略以及所述航空数据加工聚合任务对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于所述目标航空数据进行数据处理。通过根据航空数据加工聚合事件的事件驱动类型相对应的事件执行策略和航空数据加工聚合任务对航空数据进行处理，提高了数据加工聚合的效率。
请参阅图4，图4为本申请实施例所提供的一种电子设备的结构示意图。如图4中所示，所述电子设备400包括处理器410、存储器420和总线430。
所述存储器420存储有所述处理器410可执行的机器可读指令，当电子设备400运行时，所述处理器410与所述存储器420之间通过总线430通信，所述机器可读指令被所述处理器410执行时，可以执行如上述图1所示方法实施例中的航空数据的加工聚合处理方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图1所示方法实施例中的航空数据的加工聚合处理方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种航空数据的加工聚合处理方法，其特征在于，所述航空数据的加工聚合处理方法包括：
对预先配置好的航空数据加工聚合事件进行信息解析，确定出所述航空数据加工聚合事件的多个航空数据加工聚合任务以及事件驱动类型；其中，所述事件驱动类型为常规事件驱动类型、初始化事件驱动类型以及定时事件驱动类型中的任意一种；
基于每个所述航空数据加工聚合任务所携带的任务槽值，确定出每个所述航空数据加工聚合任务相对应的目标加工聚合任务执行槽；
在所述目标加工聚合任务执行槽中基于所述航空数据加工聚合事件的事件驱动类型相对应的事件执行策略以及所述航空数据加工聚合任务对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于所述目标航空数据进行数据处理；
所述基于每个所述航空数据加工聚合任务所携带的任务槽值，确定出每个所述航空数据加工聚合任务相对应的目标加工聚合任务执行槽，包括：
将每个所述航空数据加工聚合任务的任务槽值除以目标数值，确定出每个所述航空数据加工聚合任务的取余值；
基于每个所述航空数据加工聚合任务的取余值，确定出相对应的目标加工聚合任务执行槽；
通过以下步骤对所述航空数据加工聚合事件进行配置：
构建业务查询并批量插入语句，以及业务删除语句；
创建定时执行策略或者是初始化执行策略；
创建多个航空数据加工聚合任务的记录，其中，所述航空数据加工聚合任务的记录包括加工聚合标识、所述业务查询并批量插入语句、所述业务删除语句、初始化标识、定时策略标识、初始化策略标识以及任务槽值；
将多个所述航空数据加工聚合任务构建成所述航空数据加工聚合事件。
2.根据权利要求1所述的航空数据的加工聚合处理方法，其特征在于，针对于所述事件驱动类型为所述常规事件驱动类型，所述在所述目标加工聚合任务执行槽中基于所述航空数据加工聚合事件的事件驱动类型相对应的事件执行策略以及所述航空数据加工聚合任务对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于所述目标航空数据进行数据处理，包括：
获取所述航空数据加工聚合事件的第一数据执行日期范围；
检测所述第一数据执行日期范围是否符合预设时间条件；
若是，则基于所述第一数据执行日期范围、多个所述航空数据加工聚合任务的业务删除语句以及多个所述航空数据加工聚合任务的业务查询并批量插入语句对航空数据库中的航空数据进行加工聚合处理，确定出所述目标航空数据，以使下游系统基于所述目标航空数据进行数据处理。
3.根据权利要求1所述的航空数据的加工聚合处理方法，其特征在于，针对于所述事件驱动类型为所述初始化事件驱动类型，所述在所述目标加工聚合任务执行槽中基于所述航空数据加工聚合事件的事件驱动类型相对应的事件执行策略以及所述航空数据加工聚合任务对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于所述目标航空数据进行数据处理，包括：
基于所述航空数据加工聚合任务的初始化策略标识，确定出所述航空数据加工聚合任务的初始化执行策略；其中，所述初始化执行策略包括开始执行周期、开始日期字段、开始日期、结束日期字段以及结束日期；
基于所述初始化执行策略，确定出第二数据执行日期范围；
检测所述第二数据执行日期范围是否符合预设时间条件；
若是，则基于所述第二数据执行日期范围、多个所述航空数据加工聚合任务的业务删除语句以及多个所述航空数据加工聚合任务的业务查询并批量插入语句对航空数据库中的航空数据进行加工聚合处理，确定出所述目标航空数据，以使下游系统基于所述目标航空数据进行数据处理。
4.根据权利要求1所述的航空数据的加工聚合处理方法，其特征在于，针对于所述事件驱动类型为所述定时事件驱动类型，所述在所述目标加工聚合任务执行槽中基于所述航空数据加工聚合事件的事件驱动类型相对应的事件执行策略以及所述航空数据加工聚合任务对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于所述目标航空数据进行数据处理，包括：
基于所述航空数据加工聚合任务的定时策略标识，确定出所述航空数据加工聚合任务的定时执行策略；其中，所述定时执行策略包括执行周期、开始日期字段、开始日期月偏移量、开始日期天值、结束日期字段、结束日期月偏移量以及结束日期天偏移量；
基于所述定时执行策略以及当前时间，确定出第三数据执行日期范围；
检测所述第三数据执行日期范围是否符合预设时间条件；
若是，则基于所述第三数据执行日期范围、多个所述航空数据加工聚合任务的业务删除语句以及多个所述航空数据加工聚合任务的业务查询并批量插入语句对航空数据库中的航空数据进行加工聚合处理，确定出所述目标航空数据，以使下游系统基于所述目标航空数据进行数据处理。
5.根据权利要求1所述的航空数据的加工聚合处理方法，其特征在于，通过以下步骤将多个所述航空数据加工聚合任务构建成所述航空数据加工聚合事件：
针对于所述定时事件驱动类型，每隔预设时间间隔查询定时执行策略不为空的所述航空数据加工聚合任务以及加载出定时执行策略，并基于所述定时执行策略以及多个所述航空数据加工聚合任务构建出所述航空数据加工聚合事件；
针对于所述初始化事件驱动类型，每隔预设时间间隔查询携带初始化标识的所述航空数据加工聚合任务以及加载出初始化执行策略，若当前时间大于所述初始化执行策略的开始执行时间，则根据所述初始化执行策略以及多个所述航空数据加工聚合任务构建出所述航空数据加工聚合事件；
针对于所述常规事件驱动类型，检测上游系统发送的目标信息是否满足常规事件触发条件，若是，则基于所述目标信息以及多个所述航空数据加工聚合任务构建出所述航空数据加工聚合事件。
6.一种航空数据的加工聚合处理装置，其特征在于，所述航空数据的加工聚合处理装置包括：
解析模块，用于对预先配置好的航空数据加工聚合事件进行信息解析，确定出所述航空数据加工聚合事件的多个航空数据加工聚合任务以及事件驱动类型；其中，所述事件驱动类型为常规事件驱动类型、初始化事件驱动类型以及定时事件驱动类型中的任意一种；
确定模块，用于基于每个所述航空数据加工聚合任务所携带的任务槽值，确定出每个所述航空数据加工聚合任务相对应的目标加工聚合任务执行槽；
执行模块，用于在所述目标加工聚合任务执行槽中基于所述航空数据加工聚合事件的事件驱动类型相对应的事件执行策略以及所述航空数据加工聚合任务对航空数据库中的航空数据进行加工聚合处理，确定出目标航空数据，以使下游系统基于所述目标航空数据进行数据处理；
确定模块在用于所述基于每个所述航空数据加工聚合任务所携带的任务槽值，确定出每个所述航空数据加工聚合任务相对应的目标加工聚合任务执行槽时，确定模块具体用于：
将每个所述航空数据加工聚合任务的任务槽值除以目标数值，确定出每个所述航空数据加工聚合任务的取余值；
基于每个所述航空数据加工聚合任务的取余值，确定出相对应的目标加工聚合任务执行槽；
航空数据的加工聚合处理装置还包括配置模块，所述配置模块用于：
构建业务查询并批量插入语句，以及业务删除语句；
创建定时执行策略或者是初始化执行策略；
创建多个航空数据加工聚合任务的记录，其中，所述航空数据加工聚合任务的记录包括加工聚合标识、所述业务查询并批量插入语句、所述业务删除语句、初始化标识、定时策略标识、初始化策略标识以及任务槽值；
将多个所述航空数据加工聚合任务构建成所述航空数据加工聚合事件。
7.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行如权利要求1至5任一所述的航空数据的加工聚合处理方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至5任一所述的航空数据的加工聚合处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311649961.0A CN117370400B (zh) | 2023-12-05 | 2023-12-05 | 航空数据的加工聚合处理方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311649961.0A CN117370400B (zh) | 2023-12-05 | 2023-12-05 | 航空数据的加工聚合处理方法、装置、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117370400A CN117370400A (zh) | 2024-01-09 |
| CN117370400B true CN117370400B (zh) | 2024-02-13 |
Family
ID=89398814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311649961.0A Active CN117370400B (zh) | 2023-12-05 | 2023-12-05 | 航空数据的加工聚合处理方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117370400B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118296560B (zh) * | 2024-06-06 | 2024-08-13 | 民航成都信息技术有限公司 | 一种航班运行控制的多源异构数据融合方法及装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567312A (zh) * | 2011-12-30 | 2012-07-11 | 北京理工大学 | 一种基于分布式并行计算框架的机器翻译方法 |
| CN102831120A (zh) * | 2011-06-15 | 2012-12-19 | 腾讯科技（深圳）有限公司 | 一种数据处理方法及系统 |
| CN110073301A (zh) * | 2017-08-02 | 2019-07-30 | 强力物联网投资组合2016有限公司 | 工业物联网中具有大数据集的数据收集环境下的检测方法和系统 |
| CN110309108A (zh) * | 2019-05-08 | 2019-10-08 | 江苏满运软件科技有限公司 | 数据采集及储存方法、装置、电子设备、存储介质 |
| US10437840B1 (en) * | 2016-08-19 | 2019-10-08 | Palantir Technologies Inc. | Focused probabilistic entity resolution from multiple data sources |
| CN111061766A (zh) * | 2019-11-27 | 2020-04-24 | 上海钧正网络科技有限公司 | 一种业务数据的处理方法、装置、计算机设备及存储介质 |
| CN115495221A (zh) * | 2022-10-27 | 2022-12-20 | 中国建设银行股份有限公司 | 一种数据处理系统及方法 |
| CN116089907A (zh) * | 2023-04-13 | 2023-05-09 | 民航成都信息技术有限公司 | 航空多源数据的融合方法、装置、电子设备及存储介质 |
| CN116401277A (zh) * | 2023-03-23 | 2023-07-07 | 阿里巴巴（中国）有限公司 | 数据处理方法、装置、系统、设备及介质 |
| CN116775041A (zh) * | 2023-08-21 | 2023-09-19 | 四川兴川贷数字科技有限公司 | 基于流计算框架和rete算法的大数据实时决策引擎 |
| CN116881277A (zh) * | 2023-06-28 | 2023-10-13 | 上海哔哩哔哩科技有限公司 | 数据聚合方法、设备及计算机可读介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017172635A1 (en) * | 2016-03-31 | 2017-10-05 | Osisoft, Llc | Event based data collection, integration, and presentation |
| US10977256B2 (en) * | 2017-03-02 | 2021-04-13 | Discovered Intelligence Inc. | System for aggregation and prioritization of IT asset field values from real-time event logs and method thereof |
| CN113722593B (zh) * | 2021-08-31 | 2024-01-16 | 北京百度网讯科技有限公司 | 事件数据处理方法、装置、电子设备和介质 |
-
2023
- 2023-12-05 CN CN202311649961.0A patent/CN117370400B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102831120A (zh) * | 2011-06-15 | 2012-12-19 | 腾讯科技（深圳）有限公司 | 一种数据处理方法及系统 |
| CN102567312A (zh) * | 2011-12-30 | 2012-07-11 | 北京理工大学 | 一种基于分布式并行计算框架的机器翻译方法 |
| US10437840B1 (en) * | 2016-08-19 | 2019-10-08 | Palantir Technologies Inc. | Focused probabilistic entity resolution from multiple data sources |
| CN110073301A (zh) * | 2017-08-02 | 2019-07-30 | 强力物联网投资组合2016有限公司 | 工业物联网中具有大数据集的数据收集环境下的检测方法和系统 |
| CN110309108A (zh) * | 2019-05-08 | 2019-10-08 | 江苏满运软件科技有限公司 | 数据采集及储存方法、装置、电子设备、存储介质 |
| CN111061766A (zh) * | 2019-11-27 | 2020-04-24 | 上海钧正网络科技有限公司 | 一种业务数据的处理方法、装置、计算机设备及存储介质 |
| CN115495221A (zh) * | 2022-10-27 | 2022-12-20 | 中国建设银行股份有限公司 | 一种数据处理系统及方法 |
| CN116401277A (zh) * | 2023-03-23 | 2023-07-07 | 阿里巴巴（中国）有限公司 | 数据处理方法、装置、系统、设备及介质 |
| CN116089907A (zh) * | 2023-04-13 | 2023-05-09 | 民航成都信息技术有限公司 | 航空多源数据的融合方法、装置、电子设备及存储介质 |
| CN116881277A (zh) * | 2023-06-28 | 2023-10-13 | 上海哔哩哔哩科技有限公司 | 数据聚合方法、设备及计算机可读介质 |
| CN116775041A (zh) * | 2023-08-21 | 2023-09-19 | 四川兴川贷数字科技有限公司 | 基于流计算框架和rete算法的大数据实时决策引擎 |
Non-Patent Citations (6)
| Title |
|---|
| aping Zhang ; Ye Chen ; Yu Zhang ; Jian Mao ; Qian Luo."Improved Ant Colony Algorithm for Vehicle Scheduling Problem in Airport Ground Service Support".2023,第30卷(第01期),1-12页. * |
| 云平台下输变电设备状态监测大数据存储优化与并行处理;宋亚奇;周国亮;朱永利;李莉;王刘旺;王德文;;中国电机工程学报;20150120(02);3-15页 * |
| 基于MapReduce的分布式网络数据聚类算法;陈东明;刘健;王冬琦;徐晓伟;;计算机工程;20130715(07);82-88页 * |
| 基于标签分类的数据协同技术研究;邱瑞;汪宁;朱振华;;科技创新与品牌(02);75-76 * |
| 多站遥测数据处理中的数据融合方法研究;于长海;许圣涛;石玉华;;遥测遥控(01);49-54+58 * |
| 朱永文、陈志杰、蒲钒、王琦2."空中交通智能化管理的科学与技术问题研究".2023,第25卷(第05期),174-184.. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117370400A (zh) | 2024-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117370400B (zh) | 航空数据的加工聚合处理方法、装置、电子设备及介质 | |
| CN105824952B (zh) | 一种处理数据的装置和方法 | |
| CN107656968B (zh) | 大批量业务数据导出方法及系统 | |
| CN106933836B (zh) | 一种基于分表的数据存储方法和系统 | |
| CN106997431B (zh) | 一种数据处理方法及装置 | |
| US20140059000A1 (en) | Computer system and parallel distributed processing method | |
| CN111611207B (zh) | 状态数据处理方法、装置及计算机设备 | |
| CN112162980A (zh) | 数据质量管控方法及系统、存储介质、电子设备 | |
| CN114116762A (zh) | 一种离线数据模糊搜索方法、装置、设备和介质 | |
| CN111580972B (zh) | 一种虚拟资源处理方法及装置 | |
| CN110362540B (zh) | 一种数据存储、访客数获取方法及装置 | |
| WO2018061219A1 (ja) | ジョブスケジューリングシステム、ジョブスケジューリング方法、およびジョブスケジューリング装置 | |
| CN113703753B (zh) | 用于产品开发的方法、装置和产品开发系统 | |
| CN110532453B (zh) | 一种调整爬虫更新频率的方法、存储介质及爬虫服务器 | |
| CN108628884B (zh) | 一种复杂事件处理方法、系统及其装置 | |
| CN110866037B (zh) | 一种报文的过滤方法及装置 | |
| CN116263717A (zh) | 基于事件的订单业务处理方法及装置 | |
| CN111309463B (zh) | 一种任务执行时间的确定方法、确定装置及可读存储介质 | |
| CN111813779A (zh) | 基于数据接口配置的数据查询方法、系统、设备和介质 | |
| CN113655958A (zh) | 应用数据的存储方法 | |
| CN110197383B (zh) | 获取客户群的用户集的方法和装置 | |
| CN112988661B (zh) | 一种余额表更新方法及其相关设备 | |
| CN111552561B (zh) | 一种任务处理方法及装置 | |
| CN110875951B (zh) | 一种调用消息并发量的统计方法及装置 | |
| CN110753260B (zh) | 广告数据监测方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |