CN116049259A - Qar参数回算方法、装置、计算机设备及存储介质 - Google Patents
Qar参数回算方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN116049259A CN116049259A CN202310042691.0A CN202310042691A CN116049259A CN 116049259 A CN116049259 A CN 116049259A CN 202310042691 A CN202310042691 A CN 202310042691A CN 116049259 A CN116049259 A CN 116049259A
- Authority
- CN
- China
- Prior art keywords
- parameter
- parameters
- target
- configuration information
- data source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000001419 dependent effect Effects 0.000 claims abstract description 28
- 238000001914 filtration Methods 0.000 claims abstract description 25
- 238000012216 screening Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000010006 flight Effects 0.000 claims description 5
- 230000001351 cycling effect Effects 0.000 claims description 2
- 238000004806 packaging method and process Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000013515 script Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Probability & Statistics with Applications (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Stored Programmes (AREA)
Abstract
本发明公开了QAR参数回算方法、装置、计算机设备及存储介质。该方法包括获取目标参数的数据源配置信息；对数据源配置信息中的依赖项进行解析，得到目标参数依赖的特征参数和标准参数；获取航班数据的过滤条件，根据过滤条件筛选所需计算的rowkey数量，并根据Spark框架将所有rowkey随机划分到多个执行器；调用执行器，使所有执行器根据数据源配置信息、特征参数和标准参数对接收到的rowkey进行回算，得到回算结果。该方法减少转换成本，减少重复计算成本，有效提高回算效率。
Description
技术领域
本发明涉及飞行数据分析技术领域，尤其涉及一种QAR参数回算方法、装置、计算机设备及存储介质。
背景技术
QAR一般指快速存取记录器。快速存取记录器是用于监控、记录大量飞行参数、数据的机载设备。随着飞行领域多维度下对QAR数据价值的认可，以及现代计算机数据存储能力和处理技术能力不断提升，研究人员会从不同领域编写特征参数算法，如飞行安全、飞行能效等。业务人员可将新算法快速从历史大批量QAR数据进行测算，结合分析工具辅以验证，从而挖掘出更多的数据价值。
当前QAR数据的参数回算流程，是直接编程在AGS或者AirFase等译码软件中，模拟QAR计算参数的过程，每秒都产生一个数据项，结果为一个新的QAR参数，而非所有数据项聚合的结果，再结合额外的工具从中遍历提取结果。老航班需要进行回算，需要通过模拟新航班的方式发送至译码软件，当成新航班把全部的特征参数计算一遍，从而达到老航班新算的目的。然而这种方式存在以下几个不足：
1. 算法表达能力差，无法书写复杂的算法。由于是书写在译码软件中，通常通过厂家自定义的脚本进行书写，不具备流行编程语言的表达能力和生态。
2. 需要为不同译码库适配名称、单位、状态码等信息。由于航空公司一般都会有多种机型的飞机，不同机型的飞行某个传感器参数的名称和单位可能不同，状态码参数表示的状态在不同的机型也会存在不同，因而无法使用一套逻辑算法进行全部机型的回算。
3. 回算效率低下。在译码软件若想回算数据，需要模拟的新航班处理流程，把QAR原始数据发送到译码软件进行处理，流程相当于新航班的步骤都会执行一遍，无法达到仅执行想要的特征算法。
4. 无法按需发起想要回算的特征参数。由于是模拟的新航班译码，除非每次都特殊设置，不然无法达到只计算需要的特征参数，导致时间成本上升。
5. 获取结果数据困难。由于结果数据会被译码软件计算后存储在QAR数据中，需要开发新的工具逐个航班打开并提取结果数据。
发明内容
本发明实施例提供了一种QAR参数回算方法、装置、计算机设备及存储介质，旨在解决现有技术中飞机QAR参数回算的效率较差，用户使用体验不佳的问题。
第一方面，本发明实施例提供了一种QAR参数回算方法，其包括：
获取目标参数的数据源配置信息，所述数据源配置信息包括单个执行器允许计算的最大航班量、目标参数的依赖项；
对所述数据源配置信息中的依赖项进行解析，得到所述目标参数依赖的特征参数和标准参数；
获取航班数据的过滤条件，根据所述过滤条件筛选所需计算的rowkey数量，并根据Spark框架将所有rowkey随机划分到多个执行器；
调用执行器，使所有执行器根据数据源配置信息、特征参数和标准参数对接收到的rowkey进行回算，得到回算结果。
第二方面，本发明实施例提供了一种QAR参数回算装置，其包括：
获取模块，用于获取目标参数的数据源配置信息，所述数据源配置信息包括单个执行器允许最大计算的航班量、目标参数的依赖项；
解析模块，用于对所述数据源配置信息中的依赖项进行解析，得到所述目标参数依赖的特征参数和标准参数；
过滤模块，用于获取航班数据的过滤条件，根据所述过滤条件筛选所需计算的rowkey数量，并根据Spark框架将所有rowkey随机划分到多个执行器；
回算模块，用于调用执行器，使所有执行器根据数据源配置信息、特征参数和标准参数对接收到的rowkey进行回算，得到回算结果。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的QAR参数回算方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的QAR参数回算方法。
本发明实施例提供了QAR参数回算方法、装置、计算机设备及存储介质。该方法包括获取目标参数的数据源配置信息；对数据源配置信息中的依赖项进行解析，得到目标参数依赖的特征参数和标准参数；获取航班数据的过滤条件，根据过滤条件筛选所需计算的rowkey数量，并根据Spark框架将所有rowkey随机划分到多个执行器；调用执行器，使所有执行器根据数据源配置信息、特征参数和标准参数对接收到的rowkey进行回算，得到回算结果。该方法通过解析目标参数的数据源配置信息，得到目标参数的特征参数和标准参数，为后续回算减少转换成本，接着根据航班数据的过滤条件筛选rowkey数量，减少重复计算成本，最后调用执行器根据数据源配置信息、特征参数和标准参数对接收到的rowkey进行回算，提高回算效率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的QAR参数回算方法的流程示意图；
图2为本发明实施例提供的QAR参数回算装置的示意性框图；
图3为本发明实施例提供的QAR参数回算方法中关于状态码参数转换的示意图；
图4为本发明实施例提供的QAR参数回算方法中关于数值参数转换的示意图；
图5为本发明实施例提供的QAR参数回算方法中参数依赖项的示意图；
图6为本发明实施例提供的QAR参数回算方法中依赖树的示意图；
图7为本发明实施例提供的QAR参数回算方法中航段点划分的示意图；
图8为本发明实施例提供的QAR参数回算方法中寻找航班数据的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1为本发明实施例提供的QAR参数回算方法的流程示意图，该方法包括步骤S110~S140。
步骤S110、获取目标参数的数据源配置信息，所述数据源配置信息包括单个执行器允许计算的最大航班量、目标参数的依赖项；
本实施例中，获取所要回算的飞机的目标参数的数据源配置信息，数据源配置信息中配置有单个执行器允许计算的最大航班量、目标参数的依赖项、算法脚本、输出数据源的连接信息以及结果数据的建表SQL等。其中，依赖项中声明了目标参数所依赖的标准参数和特征参数，标准参数指的是传感器所能监测到飞机参数，特征参数为指的是计算目标参数回算结果的运算逻辑。
在一实施例中，步骤S110之前，包括：
对所述目标参数进行标准化处理，得到标准化参数。
本实施例中，对目标参数进行标准化处理的过程包括：判断目标参数是否为状态码参数；若目标参数为状态码参数，则将状态码参数转换为状态码并存储到数据库；若目标参数不为状态码参数，则判断目标参数是否为数值参数；若目标参数为数值参数，则判断目标参数的单位是否与标准单位一致，若是则存储到关系型数据库，若否则将目标参数的单位转换为标准单位；若目标参数不为数值参数，则直接存储目标参数到数据库。
例如，关于状态码参数的转换，以飞机襟翼位置对应的参数为例，在波音B787机型上飞机襟翼位置对应的参数为CONF, 其状态码为{0,1,2,3,4,5}；而在空客A320上飞机襟翼位置对应的参数为FLAPC，其状态码为{0,1,2,3,4,5,15,25,30,40}，如图3所示，通过定义一个标准参数为FLAP来统一转换，设置了多个状态码与对应的参数，然后通过相关参数的状态码映射关系进行转换。
进一步的，关于数值参数的转换如图4所示，以飞机全重对应的参数为例，在波音B787上的飞机全重对应的参数为GWC，单位为kg(千克)；而在空客A320上飞机全重对应的参数为GW_C，单位为t(吨)，设置一个GW的参数表达飞机全重，标准单位设置为kg，则B787与标准单位一致无需转换，在A320需要参照系数转换表进行转换。
进一步的，为了方便使用rowkey索引到标准化参数，在完成参数的标准化后，将标准化参数存储在Hadoop集群上HBase中。一个航班的QAR数据逻辑上为两部分，一部分是航班的元数据，如航班日期、飞机号、航班号、起飞机场、着陆机场等等信息；一部分就是QAR参数。由于HBase是列族的设计，可设计两个列族，一个列族存储储航班相关的元数据；另一个列族存储标准化后的参数。在进行回算时可通过rowkey + '列族:标准参数名'快速定位该航班的参数数据，利用高IO吞吐量，大幅度提升了回算的效率。 此外，在进行回算之前，需将航班的元数据存储到关系型数据库中，即将航班日期、飞机号、航班号、起飞机场、着陆机场等信息存储到关系型数据库中，并与HBase上的rowkey关联，方便后续用户发起回算的时候使用航班的元数据进行航班数据的过滤。
步骤S120、对所述数据源配置信息中的依赖项进行解析，得到所述目标参数依赖的特征参数和标准参数；
本实施例中，根据数据源配置信息中的依赖项进行解析，得到去重后的标准参数和特征参数。其中，一个特征参数存在依赖的上一级特征参数和/或被依赖的下一级特征参数。因此，需要对解析得到的目标参数的多个特征参数进行排序。需要知道的是，为了方便后续对特征参数进行回溯，可将全部需要计算的特征参数存储到git，并获取每一特征参数存储的commit ID。
在一实施例中，对特征参数进行排序的过程如下：获取未依赖任何特征参数的目标参数，并作为初始节点；将依赖初始节点的目标参数作为子节点，并按顺序连接至初始节点；继续将依赖子节点和/或初始节点的目标参数作为子子节点，并按顺序连接至子节点和/或初始节点，依此类推，直至连接完所有目标参数的节点，构建得到依赖树；根据依赖树中各节点的连接方向，确定所有特征参数的计算顺序。
例如，如图5所示，以rAPP_ALT_FLAP_LAN(放着陆襟翼时刻高度)为例，其依赖项包括：
rAPP_ALT_FLAP_LAN（放着陆襟翼时刻高度）
- 标准参数: (FLAP)
- 依赖的特征参数: (pDES_20000FT, pTD)
pDES_20000FT（下降至2万英尺时刻）
- 标准参数: (ALTITUDE)
- 依赖的特征参数: (pDES_10000FT, pLIFTOFF)
pTD（接地时刻）
- 标准参数: (ALTITUDE, LDG_L, LDG_R, LDG_NOSE)
- 依赖的特征参数: (pTD_A)
pSTART（航班有效数据开始时刻）
- 标准参数: (TIME)
- 依赖的特征参数: 无
pEND（航班有效数据结束时刻）
- 标准参数: (TIME)
- 依赖的特征参数: 无
按依赖的特征参数关系进行排序，将未依赖任何特征参数的pSTART（航班有效数据开始时刻）和pEND（航班有效数据结束时刻）作为初始节点；将依赖pSTART（航班有效数据开始时刻）和pEND（航班有效数据结束时刻）的pDES_20000FT（下降至2万英尺时刻）作为子节点，并按顺序连接至pSTART（航班有效数据开始时刻）和pEND（航班有效数据结束时刻）；继续将依赖子节点pDES_20000FT（下降至2万英尺时刻）和初始节点pEND（航班有效数据结束时刻）的pTD（接地时刻）作为子子节点，并按顺序连接至子节点和初始节点，最后将依赖子子节点pTD（接地时刻）和子节点pDES_20000FT（下降至2万英尺时刻）的rAPP_ALT_FLAP_LAN（放着陆襟翼时刻高度）作为下一级节点，并按顺序连接至子子节点pTD（接地时刻）和子节点pDES_20000FT（下降至2万英尺时刻），构建得到如图6所示的依赖树；最后根据依赖树的计算顺序逐一进行特征参数的运算。
步骤S130、获取航班数据的过滤条件，根据所述过滤条件筛选所需计算的rowkey数量，并根据Spark框架将所有rowkey随机划分到多个执行器；
步骤S140、调用执行器，使所有执行器根据数据源配置信息、特征参数和标准参数对接收到的rowkey进行回算，得到回算结果。
本实施例中，获取用户的航班数据过滤条件，根据过滤条件过滤出需要计算的rowkey，并按根据Spark框架配置单个executor执行器所需处理的rowkey数量，将所有rowkey划分多个执行器处理；向所有执行器广播回算所需的数据源配置信息，执行器再从数据库中读取出依赖的标准参数，最后根据数据源配置信息、特征参数和标准参数对接收到的rowkey进行回算，其中，配置信息包括数据源配置信息、排序后的特征参数及对应的版本信息、回算结果输出目的表等。利用Spark框架在日志中更新执行器的完成进度，直到全部执行器完成后退出。回算结束后，用户可根据结果表查询计算结果。
在一实施例中，执行器根据数据源配置信息、特征参数和标准参数对接收到的rowkey进行回算的过程包括：
步骤（1）、遍历每一个rowkey，并初始化预置的结果容器，结果容器用于存储特征参数的结果；
步骤（2）、使用thrift协议从存储全部参数的HBase中读取出对应航班的全部参数所对应的标准化参数，并将读取的标准化参数封装为python对象，以标准化参数名作为key，存储到python环境的全局变量；
步骤（3）、按所有特征参数的计算顺序执行特征参数对应的可执行函数，并将可执行函数返回的结果存储在python环境的全局变量，其中，执行函数返回的结果中的key和value分别表示特征参数名和result对象；
步骤（4）、将所有result对象存储到结果容器中；
步骤（5）、循环步骤（2）、（3）、（4），直至当前执行器中的所有特征参数的可执行函数执行完毕；
步骤（6）、将结果容器中的result对象进行序列化，将序列化结果存储到数据库中。
其中，在遍历每一个rowkey之前，需要对接收到的特征参数进行代码编译，得到对应的算法代码，并将所有算法代码存储到当前执行器的全局变量中；通过compile函数将所有算法代码编译成可执行函数，并将可执行函数存储到python环境的全局变量中。
在一实施例中，由于现有技术中许多特征参数需要遍历整个航班的某些参数来获取逻辑数据，这种方式处理速度较慢，严重影响回算效率。根据特征参数的依赖属性，如图7所示，按预设飞行阶段对航班时刻进行划分，得到多个航段点；对每一航段点的特征函数进行特征定义，得到航段点对应的特征参数。在编码时根据其航段点划分结果将遍历的参数切片出来，以此达到大大减少数据遍历的时间，切片的算法在python中表达如下: FLAP[pDES_20000FT.time: pTD.time](意思是: 截取下降到20000英尺时刻到着陆时刻的襟翼构型参数序列)。
如图8所示，以寻找放着陆襟翼高度为例，现有技术需要遍历全航班数据才能找到放着陆襟翼高度的数据点；而当按预设飞行阶段对航班时刻划分航班点后，由于“放着陆襟翼高度”的数据在航段点“下降至20000英尺”到“接地点”之间，因此从航段点“下降至20000英尺”到“接地点”之间即可找到“放着陆襟翼高度”的数据，相比遍历全部航班数据而言，只需遍历少量的数据即可找到目标数据。
在一实施例中，用户从配置回算到查看回算结果的过程分为以下几步:
1.在配置文件预定义数据源: 在文件中配置一些固定的配置，如单个执行器允许最大计算的航班量，用于存储算法脚本的git存储信息, 输出数据源的连接信息以及结果数据的建表SQL等；
2.下载已有的特征参数: 通过执行脚本，从git存储源下载全部的特征参数；
3.编写特征参数算法：
a)在头部声明依赖的标准参数和特征参数，以及简要的特征参数描述；
b)定义一个与特征参数同名+rom结尾的函数，函数固定传入info和result参数。info中有航班的一些基础信息，result对象允许用户赋予time,value,error属性信息；
c)中间用户自定义任意的处理数据并赋予结果到result，并返回结果。用户可以在这部分自定义编写逻辑，以及引入需要的第三方库等；
4.调用回算程序: 调用脚本需要传入的可选参数，如需要回算的参数名、航班数据的过滤条件、输出的数据源以及结果表；
5.等待调用程序退出，连接到对应的数据源查看结果。
该方法通过解析目标参数的数据源配置信息，得到目标参数的特征参数和标准参数，为后续回算减少转换成本，接着根据航班数据的过滤条件筛选rowkey数量，减少重复计算成本，最后调用执行器根据数据源配置信息、特征参数和标准参数对接收到的rowkey进行回算，提高回算效率。
本发明实施例还提供一种QAR参数回算装置，该QAR参数回算装置用于执行前述QAR参数回算方法的任一实施例。具体地，请参阅图2，图2是本发明实施例提供的QAR参数回算装置的示意性框图。该QAR参数回算装置100可以配置于服务器中。
如图2所示，QAR参数回算装置100包括获取模块110、解析模块120、过滤模块130、回算模块140。
获取模块110，用于获取目标参数的数据源配置信息，所述数据源配置信息包括单个执行器允许最大计算的航班量、目标参数的依赖项；
解析模块120，用于对所述数据源配置信息中的依赖项进行解析，得到所述目标参数依赖的特征参数和标准参数；
过滤模块130，用于获取航班数据的过滤条件，根据所述过滤条件筛选所需计算的rowkey数量，并根据Spark框架将所有rowkey随机划分到多个执行器；
回算模块140，用于调用执行器，使所有执行器根据数据源配置信息、特征参数和标准参数对接收到的rowkey进行回算，得到回算结果。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的QAR参数回算方法。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上所述的QAR参数回算方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 ( 可以是个人计算机，服务器，或者网络设备等 ) 执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U 盘、移动硬盘、只读存储器 (ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种QAR参数回算方法，其特征在于，包括：
获取目标参数的数据源配置信息，所述数据源配置信息包括单个执行器允许计算的最大航班量、目标参数的依赖项；
对所述数据源配置信息中的依赖项进行解析，得到所述目标参数依赖的特征参数和标准参数；
获取航班数据的过滤条件，根据所述过滤条件筛选所需计算的rowkey数量，并根据Spark框架将所有rowkey随机划分到多个执行器；
调用执行器，使所有执行器根据数据源配置信息、特征参数和标准参数对接收到的rowkey进行回算，得到回算结果。
2.根据权利要求1所述的QAR参数回算方法，其特征在于，所述获取目标参数的数据源配置信息之前，包括：
对所述目标参数进行标准化处理，得到标准化参数。
3.根据权利要求2所述的QAR参数回算方法，其特征在于，所述对所述目标参数进行标准化处理，得到标准化参数，包括：
判断所述目标参数是否为状态码参数；
若所述目标参数为状态码参数，则将所述状态码参数转换为状态码并存储到数据库；
若所述目标参数不为状态码参数，则判断所述目标参数是否为数值参数；
若所述目标参数为数值参数，则判断所述目标参数的单位是否与标准单位一致，若是则存储到关系型数据库，若否则将所述目标参数的单位转换为标准单位；
若所述目标参数不为数值参数，则直接存储到数据库。
4.根据权利要求1所述的QAR参数回算方法，其特征在于，所述对所述数据源配置信息中的依赖项进行解析，得到所述目标参数依赖的特征参数和标准参数之后，包括：
获取未依赖任何特征参数的目标参数，并作为初始节点；
将依赖所述初始节点的目标参数作为子节点，并按顺序连接至所述初始节点；
继续将依赖所述子节点和/或初始节点的目标参数作为子子节点，并按顺序连接至所述子节点和/或初始节点，依此类推，直至连接完所有目标参数的节点，构建得到依赖树；
根据所述依赖树中各节点的连接方向，确定所有特征参数的计算顺序。
5.根据权利要求1所述的QAR参数回算方法，其特征在于，所述使所有执行器根据数据源配置信息、特征参数和标准参数对接收到的rowkey进行回算，包括：
步骤（1）、遍历每一个rowkey，并初始化预置的结果容器，所述结果容器用于存储特征参数的结果；
步骤（2）、使用thrift协议读取对应航班的全部参数所对应的标准化参数，并将读取的标准化参数封装为python对象，以标准化参数名作为key，存储到python环境的全局变量；
步骤（3）、按所有特征参数的计算顺序执行特征参数对应的可执行函数，并将可执行函数返回的结果存储在python环境的全局变量，其中，执行函数返回的结果中的key和value分别表示特征参数名和result对象；
步骤（4）、将所有result对象存储到结果容器中；
步骤（5）、循环步骤（2）、（3）、（4），直至当前执行器中的所有特征参数的可执行函数执行完毕；
步骤（6）、将结果容器中的result对象进行序列化，将序列化结果存储到数据库中。
6.根据权利要求5所述的QAR参数回算方法，其特征在于，所述遍历每一个rowkey之前，包括：
对接收到的特征参数进行代码编译，得到对应的算法代码，并将所有算法代码存储到当前执行器的全局变量中；
通过compile函数将所有算法代码编译成可执行函数，并将可执行函数存储到python环境的全局变量中。
7.根据权利要求1所述的QAR参数回算方法，其特征在于，还包括：
按预设飞行阶段对航班时刻进行划分，得到多个航段点；
对每一航段点的特征函数进行特征定义，得到航段点对应的特征参数。
8.一种QAR参数回算装置，其特征在于，包括：
获取模块，用于获取目标参数的数据源配置信息，所述数据源配置信息包括单个执行器允许最大计算的航班量、目标参数的依赖项；
解析模块，用于对所述数据源配置信息中的依赖项进行解析，得到所述目标参数依赖的特征参数和标准参数；
过滤模块，用于获取航班数据的过滤条件，根据所述过滤条件筛选所需计算的rowkey数量，并根据Spark框架将所有rowkey随机划分到多个执行器；
回算模块，用于调用执行器，使所有执行器根据数据源配置信息、特征参数和标准参数对接收到的rowkey进行回算，得到回算结果。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的QAR参数回算方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的QAR参数回算方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310042691.0A CN116049259B (zh) | 2023-01-28 | 2023-01-28 | Qar参数回算方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310042691.0A CN116049259B (zh) | 2023-01-28 | 2023-01-28 | Qar参数回算方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116049259A true CN116049259A (zh) | 2023-05-02 |
| CN116049259B CN116049259B (zh) | 2023-11-24 |
Family
ID=86116786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310042691.0A Active CN116049259B (zh) | 2023-01-28 | 2023-01-28 | Qar参数回算方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116049259B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104344882A (zh) * | 2013-07-24 | 2015-02-11 | 中国国际航空股份有限公司 | 一种飞机抖动检测系统及方法 |
| US20160267157A1 (en) * | 2015-03-10 | 2016-09-15 | The Boeing Company | System and method for large scale data processing of source data |
| CN107085760A (zh) * | 2016-02-16 | 2017-08-22 | 特莱丽思环球有限合伙公司 | 飞行器可靠性计划的汇总维护数据的可视化 |
| CN108846568A (zh) * | 2018-06-05 | 2018-11-20 | 威海众成信息科技股份有限公司 | 面向航空发动机的综合性能趋势分析方法 |
| CN110503349A (zh) * | 2019-09-10 | 2019-11-26 | 深圳市瑞达飞行科技有限公司 | 航班油耗数据的处理方法、处理装置和电子设备 |
| CN111881213A (zh) * | 2020-07-28 | 2020-11-03 | 东航技术应用研发中心有限公司 | 一种储存、加工、使用飞行大数据的系统 |
| CN112686551A (zh) * | 2020-12-31 | 2021-04-20 | 北京千方科技股份有限公司 | 航班成本指数获取方法、装置、电子设备及存储介质 |
| CN114819207A (zh) * | 2022-03-22 | 2022-07-29 | 中国民航科学技术研究院 | 一种基于数据循证的航空器持续适航辅助管理系统及方法 |
-
2023
- 2023-01-28 CN CN202310042691.0A patent/CN116049259B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104344882A (zh) * | 2013-07-24 | 2015-02-11 | 中国国际航空股份有限公司 | 一种飞机抖动检测系统及方法 |
| US20160267157A1 (en) * | 2015-03-10 | 2016-09-15 | The Boeing Company | System and method for large scale data processing of source data |
| CN107085760A (zh) * | 2016-02-16 | 2017-08-22 | 特莱丽思环球有限合伙公司 | 飞行器可靠性计划的汇总维护数据的可视化 |
| CN108846568A (zh) * | 2018-06-05 | 2018-11-20 | 威海众成信息科技股份有限公司 | 面向航空发动机的综合性能趋势分析方法 |
| CN110503349A (zh) * | 2019-09-10 | 2019-11-26 | 深圳市瑞达飞行科技有限公司 | 航班油耗数据的处理方法、处理装置和电子设备 |
| CN111881213A (zh) * | 2020-07-28 | 2020-11-03 | 东航技术应用研发中心有限公司 | 一种储存、加工、使用飞行大数据的系统 |
| CN112686551A (zh) * | 2020-12-31 | 2021-04-20 | 北京千方科技股份有限公司 | 航班成本指数获取方法、装置、电子设备及存储介质 |
| CN114819207A (zh) * | 2022-03-22 | 2022-07-29 | 中国民航科学技术研究院 | 一种基于数据循证的航空器持续适航辅助管理系统及方法 |
Non-Patent Citations (3)
| Title |
|---|
| GA100情报网: "黑科技 || 关于QAR，你真的了解它么？ - 知乎", pages 1, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/75972014> * |
| JOO-SUNG KIM 等: "A rapid QAR data acquisition and visualization system for aircraft engine maintenances", 《IIWAS \'09: PROCEEDINGS OF THE 11TH INTERNATIONAL CONFERENCE ON INFORMATION INTEGRATION AND WEB-BASED APPLICATIONS & SERVICES》, pages 669 * |
| 霍纬纲 等: "基于HBase的QAR数据存储设计与实现", 《计算机工程与设计》, pages 1494 - 1501 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116049259B (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109783461B (zh) | 用于飞行器的数据流分析的方法和飞行数据处理系统 | |
| CN110716852B (zh) | 用于生成自动化测试脚本的系统、方法和介质 | |
| US10540436B2 (en) | Evaluating rules applied to data | |
| US10394770B2 (en) | Methods and systems for implementing a data reconciliation framework | |
| US20220027762A1 (en) | Predictive maintenance model design system | |
| KR101499599B1 (ko) | 그래프 기반 계산에서의 데이터 로깅 | |
| US8166000B2 (en) | Using a data mining algorithm to generate format rules used to validate data sets | |
| CN108509185B (zh) | 用于任意软件逻辑建模的系统和方法 | |
| CN111881213B (zh) | 一种储存、加工、使用飞行大数据的系统 | |
| CN107797916B (zh) | Ddl语句审核方法和装置 | |
| CN115858796A (zh) | 一种故障知识图谱构建方法及装置 | |
| CN105446952B (zh) | 用于处理语义片段的方法和系统 | |
| WO2019173342A1 (en) | A language model, method and apparatus for interpreting zoning legal text | |
| JP2019511061A (ja) | 保守に重点を置いた航空機のデータ記録フレーム構成を決定するためのシステムおよび方法 | |
| CN115291967A (zh) | 航天数据分析方法、装置和电子设备 | |
| CN116049259B (zh) | Qar参数回算方法、装置、计算机设备及存储介质 | |
| CN110481804A (zh) | 一种飞行辅助系统和飞机 | |
| US8775348B2 (en) | Method and system for automatic analysis of failure or state messages | |
| CN111176614B (zh) | Vrm形式化需求模型的生成和分析方法 | |
| Lu et al. | Zen-CC: An automated and incremental conformance checking solution to support interactive product configuration | |
| US20230376795A1 (en) | Device, computing platform and method of analyzing log files of an industrial plant | |
| CN115345163A (zh) | 一种基于故障数据的外场质量分析方法及系统 | |
| US20230195712A1 (en) | Updates of Navigation Databases | |
| CN111159203B (zh) | 一种数据关联分析的方法、平台、电子设备及存储介质 | |
| US10614421B2 (en) | Method and system for in-memory policy analytics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wang Qi Inventor after: Li Jiayi Inventor before: Wang Qi Inventor before: Mao Zhenzhong |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |