CN111339370B - 飞机qar数据的快速译码方法 - Google Patents

Abstract

本发明涉及一种飞机QAR数据的快速译码方法,其包括：步骤1）获取QAR数据文件；步骤2）对数据帧的每个子帧进行二进制转换，以进制转换的方式对文件进行重新定义并压缩存储生成文本格式的自定义文件；步骤3）将《飞行数据参数记录规范》中的参数位置进行XML格式转换，根据所需参数，通过解析XML文件得到自定义文件中的参数位置，获取该参数位置的参数信息，利用反向的进制转换方式得到参数的二进制数据，利用得到的二进制数据计算参数具体值。本发明将译码过程中帧分析和参数位置分析过程前置，并重新定义了帧和参数的存储结构，减少了译码过程中帧分析和参数位置分析时间，同时，该格式为文本格式，适用于大数据平台分布式计算。

Description

飞机QAR数据的快速译码方法

技术领域

本发明涉及飞机QAR数据分析应用领域，具体的说是一种飞机QAR数据快速译码方法。

背景技术

飞机是由多个系统集成的产物，各系统的数据是表征系统工况以及系统综合控制的重要依据，这些数据不仅在飞机运行中至关重要，在飞机系统性能分析、飞行品质分析、飞行事件调查以及在系统故障排除中也有很大的作用。

QAR（QUICK ACCESS RECORDER）快速存取记录器，是装载在飞机上用于记录飞机各部件工作状态的飞行数据记录器，地面人员通过对QAR数据进行译码以还原飞行的实际情况，从而实现对飞机状态、飞行品质等数据进行分析。

随着航空技术的发展，飞机的系统设备日趋复杂，系统智能化控制逐渐提高，QAR数据的数据日趋庞大，采用传统的QAR译码方法在具体实施中存在诸多弊端。下面对传统的QAR译码方法进行简单介绍。

传统的QAR译码过程主要包括如下两个阶段：

1）对QAR文件数据进行帧结构分析

QAR记录设备将飞机上总线上收集到传感器参数，以帧为单位进行存储，帧是数据记录的时间单位，一帧为4秒，一帧包含4个子帧，每个子帧为1秒，每个子帧的第一个字称为同步字（帧头），用于记录和标识一个子帧的开始。本步骤首先匹配四个子帧的同步字，然后将一个帧的数据以数组的形式存在内存里。

2）参数译码

帧结构分析完成后，进行参数位置的计算。每个子帧的数据由“字（word）”组成，通常，每个子帧包含512/1024/2048个字，字是数据记录的空间单位，一个字由12位组成，对应计算机存储使用2个字节进行存储，每个字节存储8位，其中第一个字节存储12位中的低8位数据，第二个字节为高4位数据，空余4位补0，比如，第一个子帧第一个字分别由47和02两个字节组成，其中2（0010）为高4位，47（01000111）为低8位。

以地速数据为例，说明QAR参数译码的过程：首先查找《飞行数据参数记录规范》中地速参数的记录位置，《飞行数据参数记录规范》中地速参数记录在第176个字的2-12位，参数的每个字由上述qar文件的两个字节组成，即找到每个子帧的第351和352个字节，取第352个字节的前4位和351个字节的8位，组成12位二进制数，然后取第2-12位，通过二进制数的转换及计算公式就可以算出每个子帧该参数的数值。其中，《飞行数据参数记录规范》是飞机制造厂商依据飞机机型和记录设备所提供的一套飞行数据参数记录的规范性说明文档，该文档说明了飞行数据记录仪所记录的所有参数信息，包括参数记录位置、编码格式和参数的计算方法。

由前述QAR数据译码流程可以看出，每次译码都需要进行帧结构的分析和参数位置的计算，重复的分析和计算浪费了大量时间。以三个小时的航班为例，每次译码需要分析帧结构的次数为2700次，所耗费时间约为600ms,以每次译码20个参数为例，每次译码需要计算参数位置21万次，所耗费时间约为1.5s。

另外，由于QAR记录文件为二进制格式，格式协议为ARINC717协议，每次译码需要读入完整的文件才进行译码，无法使用分布式技术提升译码效率。

基于上述问题，本发明采用一种自定义的文件格式，将译码过程中帧分析和参数位置分析过程前置，并重新定义了帧和参数的存储结构，将帧格式转换为按行存储，将参数转换为按位存储，经过重新定义，能减少译码过程中帧分析和参数位置分析时间；同时，该自定义文件的格式为文本格式，适用于大数据平台分布式计算。经过实测，采用18个任务并发执行16000航段的译码和数据分析，总时间约为14分钟，平均每个航班译码和数据分析时间约为50ms，与原技术方案相比，效率提升50倍。该技术架构可支持水平扩展，通过增加分布式计算平台的计算节点，译码效率可线性提升。

发明内容

本发明要解决的技术问题是提供一种飞机QAR数据的快速译码方法，该方法采用一种自定义的文件格式，将译码过程中帧分析和参数位置分析过程前置，并重新定义了帧和参数的存储结构，将帧格式转换为按行存储，将参数转换为按位存储，经过重新定义，能减少译码过程中帧分析和参数位置分析时间；同时，该自定义文件的格式为文本格式，适用于大数据平台分布式计算。

为解决上述技术问题，本发明的飞机QAR数据的快速译码方法包括如下步骤：

步骤1）获取QAR数据文件；

步骤2）对数据帧的每个子帧进行二进制转换，以进制转换的方式对文件进行重新定义并压缩存储生成文本格式的自定义文件；

步骤3）将《飞行数据参数记录规范》中的参数位置进行XML格式转换，根据所需参数，通过解析XML文件得到自定义文件中的参数位置，获取该参数位置的参数信息，利用和步骤2）相反的进制转换方式得到参数的二进制数据，利用得到的二进制数据计算参数具体值，译码完成。

其中，步骤2）具体的包括：步骤2.1）读入QAR文件，进行帧结构分析，根据每个子帧的同步字将第一帧的数据读入内存；步骤2.2）对当前帧的每个子帧进行二进制转换；步骤2.3）对步骤2.2）中转换完的二进制数据进行N进制转换并压缩存储； 步骤2.4）重复步骤2.2）和步骤2.3），完成当前子帧每个字的转换，并将转换后每个子帧的数据按行存储；步骤2.5)重复步骤2.2）至步骤2.4），进行下一帧的数据转换，直至文件结束，形成以N进制形式存储的自定义文件。

步骤2.3）中N进制包括8进制、16进制、32进制和64进制，优选的为64进制。

步骤3）具体的包括：

步骤3.1）对《飞行数据参数记录规范》中所有参数位置采用XML格式进行结构化存储, 获得XML配置文件；

步骤3.2）依据需求的具体参数，解析参数XML配置文件，获得所需参数信息列表；

步骤3.3）从自定义文件中每次读取一行数据，读取步骤3.2）中的一个参数信息，根据参数的字找到参数再改行的位置，通过N进制逆转换得到一个十二位二进制字符串，根据参数的最低位和最高位截取字符串，获取该参数的真实数据位；依据编码格式对真实数据为进行解码，得到参数原始值，依据XML配置文件中定义的公式，计算得到参数的工程值；

步骤3.4）重复步骤3.2）和步骤3.3），直至获取所有参数的工程值；

步骤3.5）重复步骤3.2）至步骤3.4），直至完成整个文件的译码。

步骤3.1）中XML配置文件包括：

根节点parameters，定义了一个参数列表集合；

节点parameter ，定义了一个完整的参数信息，整个配置文件有多个参数；

属性name，参数名称；

属性code，参数编码；

属性rate，参数记录频率，即每秒记录的次数；

属性type，参数的编码格式；

属性unit，参数值的单位；

属性sign，参数是否有符号（+/-）；

属性accuracy，计算精度，即计算后的工程值保留到小数点后几位；

属性memo，参数说明；

子节点locations，定义了参数所在的位置信息集合；

参数Location，定义了参数的位置信息，一个参数可能包含多个记录位置；

属性word，参数记录所在的字；

属性olsb，参数记录所在字的最低位；

属性omsb，参数记录所在字的最高位。所在字的最低位到最高位之间的数据为该参数的真实数据内容；

属性subframe，参数记录所在帧；

属性id，位置编号；

子节点expressions，定义了参数的计算公式集合，一个参数根据数值不同，可能有多个计算公式；

参数expression，定义了一个具体的计算公式；

属性minRawValue，原始记录最小值 ；

属性maxRawValue，原始记录最大值 ，二进制转换后在最小值和最大值范围内使用当前公式计算；

属性c0/c1/c2/c3，分别是计算工程值的0次方(常数)、一次方、二次方、三次方系数。

本发明的有益效果是：将译码过程中帧分析和参数位置分析过程前置，并重新定义了帧和参数的存储结构，将帧格式转换为按行存储，将参数转换为按位存储，经过重新定义，减少了译码过程中帧分析和参数位置分析时间，同时，该格式为文本格式，适用于大数据平台分布式计算,经过实测，采用18个任务并发执行16000航段的译码和数据分析，总时间约为14分钟，平均每个航班译码和数据分析时间约为50ms，与原技术方案相比，效率提升50倍。该技术架构可支持水平扩展，通过增加分布式计算平台的计算节点，译码效率可线性提升。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明：

图1为本发明在译码过程中以地速参数为例进行参数值计算的示意图；

图2为利用本发明进行平飘距离计算的流程图。

具体实施方式

参照附图，本发明的飞机QAR数据的快速译码方法包括如下步骤：

步骤1）获取QAR数据文件；

步骤2）对数据帧的每个子帧进行二进制转换，以进制转换的方式对文件进行重新定义并压缩存储生成文本格式的自定义文件；

步骤3）将《飞行数据参数记录规范》中的参数位置进行XML格式转换，根据所需参数，通过解析XML文件得到自定义文件中的参数位置，获取该参数位置的参数信息，利用和步骤2）相反的进制转换方式得到参数的二进制数据，利用得到的二进制数据计算参数具体值，译码完成。

其中，步骤2）为自定义文件的生成过程，其具体的包括：

步骤2.1）读入QAR文件，进行帧结构分析，根据每个子帧的同步字将第一帧的数据读入内存；

步骤2.2）对当前帧的每个子帧进行二进制转换；

步骤2.3）对步骤2.2）中转换完的二进制数据进行N进制转换并压缩存储；

步骤2.4）重复步骤2.2）和步骤2.3），完成当前子帧每个字的转换，并将转换后每个子帧的数据按行存储；

步骤2.5)重复步骤2.1）至步骤2.4），进行下一帧的数据转换，直至文件结束，形成以N进制形式存储的自定义文件。

步骤2.3）中N进制包括8进制、16进制、32进制和64进制，优选的采用64进制。

下面以ARINC717协议为例，对自定义文件的生成过程进行介绍。

步骤2.1）读入QAR文件，进行帧结构分析，根据四个子帧的同步字将第一帧的数据读入内存，如下表所示，四个子帧的同步字分别为4702，B805，470A，B80D。

步骤2.2）对当前帧的每个子帧进行二进制转换。

如前所述，每个字由12位组成，对应计算机存储的2个字节，将两个字节去掉无用的4位后，合并为一个12位的二进制数。比如，第一个子帧第一个字4702，对应的QAR数据的十六进制格式为247，转换为二进制为001001000111。

步骤2.3）对转换完的二进制数据进行压缩。

完成二进制转换后，由于数据量的增加，使得文件的大小增长约6.5倍，造成存储资源的浪费和磁盘IO的增加,因此需要对二进制字符串进行压缩。由于该二进制字符串为12位，选取两个64进制字符进行压缩。比如001001 000111压缩后为97。

步骤2.4）再次执行步骤2.2）和步骤2.3），进行当前子帧每个字的转换，并将每个子帧的数据按行存储。

步骤2.5)再次执行步骤第2.1）至步骤2.4），进行下一帧的数据转换，直至文件结束。

上述编码过程，重新定义了帧和参数的存储结构，将帧格式转换为按行存储，将参数转换为按位存储，经过重新定义，减少了译码过程中帧分析和参数位置分析时间，同时，该格式为文本格式，转换完成的数据如下表所示。

步骤3）为对自定义文件的译码过程，其具体的包括：步骤3.1）对《飞行数据参数记录规范》中所有参数位置采用XML格式进行结构化存储, 获得XML配置文件；步骤3.2）依据需求的具体参数，解析参数XML配置文件，获得所需参数信息列表；步骤3.3）从自定义文件中每次读取一行数据，读取步骤3.2）中的一个参数信息，根据参数的字找到参数在该行的位置，通过N进制逆转换得到一个十二位二进制字符串，根据参数的最低位和最高位截取字符串，获取该参数的真实数据位；依据编码格式对真实数据为进行解码，得到参数原始值，依据XML配置文件中定义的公式，计算得到参数的工程值；步骤3.4）重复步骤3.2）和步骤3.3），直至获取所有参数的工程值；步骤3.5）重复步骤3.2）至步骤3.4），直至完成整个文件的译码。

步骤3.1）中XML配置文件包括：根节点parameters，定义了一个参数列表集合；节点parameter ，定义了一个完整的参数信息，整个配置文件有多个参数；属性name，参数名称；属性code，参数编码；属性rate，参数记录频率，即每秒记录的次数；属性type，参数的编码格式；属性unit，参数值的单位；属性sign，参数是否有符号（+/-）；属性accuracy，计算精度，即计算后的工程值保留到小数点后几位；属性memo，参数说明；子节点locations，定义了参数所在的位置信息集合；参数Location，定义了参数的位置信息，一个参数可能包含多个记录位置；属性word，参数记录所在的字；属性olsb，参数记录所在字的最低位；属性omsb，参数记录所在字的最高位。所在字的最低位到最高位之间的数据为该参数的真实数据内容；属性subframe，参数记录所在帧；属性id，位置编号；子节点expressions，定义了参数的计算公式集合，一个参数根据数值不同，可能有多个计算公式；参数expression，定义了一个具体的计算公式；属性minRawValue，原始记录最小值 ；属性maxRawValue，原始记录最大值 ，二进制转换后在最小值和最大值范围内使用当前公式计算；属性c0/c1/c2/c3，分别是计算工程值的0次方(常数)、一次方、二次方、三次方系数。

下面对上述译码方法进行详细介绍。

步骤3.1）对译码手册中所有参数位置使用XML格式进行结构化存储。以地速（GroundSpeed）参数为例，《飞行数据参数记录规范》做了如下定义：

参数名称：CAPT DISPLAY GROUNDSPEED（仪表显示地速）

编码格式(FMT)：BNR

记录所在帧(SUBFR):0(0代表1234子帧都有记录)

记录所在字(word)：176

起始位(O-LSB):2

终止位(O-MSB):12

计算系数(OUTRES):0.5

数据范围(OUTRANGE):0-1024

对该参数进行格式化存储后，XML配置文件如下所示：

<parameter name="GS" code="000021" rate="1"type="BNR" unit="KT"

sign="N" accuracy="0" memo="CAPT DISP GROUNDSPEED">

<locations>

<location word="176" olsb="2" omsb="12" subframe="1234" id="0"/>

</locations>

<expressions>

<expression minRawValue ="-999999" maxRawValue="999999" c1="0.5"/>

</expressions>

</parameter>

步骤3.2）解析参数XML配置文件，读取参数信息。

步骤3.3）以上述地速参数为例，该参数记录在第176个字，对应自定义文件的第351-352位，假如数据为Bb，转换为二进制字符串为：001011 100110。该参数记录开始位为2，结束位为12，那么该参数的真实位为00101110011，按照BNR格式转换为十进制为371，计算系数为0.5，单位为KT(节)，那么该参数在当前秒的值为371*0.5=185.5(节)。具体过程如附图1所示。

步骤3.4）每次读取一行的数据，取每行的351-352位，按照上述的方法进行计算参数值。

由前述可知，本发明主要包括两大步，第一步，通过将原始QAR文件转换为自定义格式文件，程序自动监控原始文件，航班数据传到数据中心机房后，启动文件格式转换。每个文件的转换时间约为1.5S。该步中对每个QAR文件只处理一次。第二步，后续所有的参数译码和业务逻辑的计算都依据自定义的文件格式。

下面通过对历史数据统计分析，来证明本发明在译码速度上的效果。

以计算平飘距离为例，经过统计计算分析，传统的计算方法包括：帧结构分析过程，该过程耗时0.6秒；参数位置计算过程，该过程耗时1.5秒；参数译码过程，该过程耗时0.4毫秒，平飘距离计算过程，耗时0.5秒。总时间约为3s。

本发明的自定义文件生成过程耗时2.2秒，自定义文件生成的时间随原始数据文件下载时一次性处理完成，计算平飘距离逻辑基于自定义文件，自定义文件译码过程耗时0.4秒，平飘距离计算耗时0.5秒。总时间约为0.9秒。具体的如附图2所示。

本发明最大的优势在于支持分布式计算，所谓分布式计算是指将被计算的数据分解成许多小的部分，通过分配计算资源，由多台计算机并行处理，可以节约整体计算时间，大大提高计算效率。传统的译码方法中，由于原始QAR文件为一个整体的二进制数据，无法对其进行分解。在本发明中，自定义文件采用按行存储的文本格式，数据可以按行被分解为众多小的数据集，由多台计算机并行计算。

本发明部署在Spark分布式计算平台下的过程如下：

1、将转换后的自定义文件上传至分布式存储HDFS中。如：hdfs://master:9000/qardata/；

2、解析参数配置文件xml,读入参数配置信息；

3、使用sparkcontext读入所有要译码的自定义文件；

4、提交译码任务执行命令，根据计算资源指定并行的任务数，Spark平台将读入的文件分配到各计算节点并行执行译码。

提交命令如下：

./spark-submit --class com.sda.cuih.qardecoder.spark.QARDecoderSpark_Entry_onserver2 --masteryarn-cluster --num-executors 3 --executor-memory 5G--executor-cores 6 hdfs://master:9000/decoder6/lib/decoder6.jar

其中，com.sda.cuih.qardecoder.spark.QARDecoderSpark_Entry_onserver2为要运行的类；num-executors 3 是指定执行器的数量；executor-cores 6 是分配给每个执行器的cpu核心数 以上命令指定了spark平台运行18个任务来并行计算。

本发明通过分布式部署，可大幅提升译码和数据分析效率。传统的译码方法，在大数据量分析情况下，每个航班需要经过原始QAR译码过程约2.5s,业务逻辑计算0.5s,任务调度时间约1s,总共需要4s的时间，分析一个月（航班数以16000为例）的数据用时约18小时。通过本发明，在分布式环境下，每个航班的译码和逻辑计算时间约0.9s,使用18个任务并行计算，16000航班数据分析仅需要14分钟。

综上所述，本发明不限于上述具体实施方式。本领域技术人员，在不脱离本发明技术方案的前提下，可做若干更改或修饰，上述更改或修饰均落入本发明的保护范围。

Claims (4)

1.一种飞机QAR数据的快速译码方法，其特征是包括如下步骤：

步骤1)获取QAR数据文件；

步骤2)对数据帧的每个子帧进行二进制转换，以进制转换的方式对文件进行重新定义并压缩存储生成文本格式的自定义文件；

步骤3)将《飞行数据参数记录规范》中的参数位置进行XML格式转换，根据所需参数，通过解析XML文件得到自定义文件中的参数位置，获取该参数位置的参数信息，利用和步骤2)相反的进制转换方式得到参数的二进制数据，利用得到的二进制数据计算参数具体值，译码完成；

步骤2)具体的包括：

步骤2.1)读入QAR文件，进行帧结构分析，根据每个子帧的同步字将第一帧的数据读入内存；

步骤2.2)对当前帧的每个子帧进行二进制转换；

步骤2.3)对步骤2.2)中转换完的二进制数据进行N进制转换并压缩存储；

步骤2.4)重复步骤2.2)和步骤2.3)，完成当前子帧每个字的转换，并将转换后每个子帧的数据按行存储；

步骤2.5)重复步骤2.1)至步骤2.4)，进行下一帧的数据转换，直至文件结束，形成以N进制形式存储的自定义文件；

步骤3)具体的包括：

步骤3.1)对《飞行数据参数记录规范》中所有参数位置采用XML格式进行结构化存储,获得XML配置文件；

步骤3.2)依据需求的具体参数，解析参数XML配置文件，获得所需参数信息列表；

步骤3.3)从自定义文件中每次读取一行数据，读取步骤3.2)中的一个参数信息，根据参数的字找到参数在该行的位置，通过N进制逆转换得到一个十二位二进制字符串，根据参数的最低位和最高位截取字符串，获取该参数的真实数据位；依据编码格式对真实数据为进行解码，得到参数原始值，依据XML配置文件中定义的公式，计算得到参数的工程值；

步骤3.4)重复步骤3.2)和步骤3.3)，直至获取所有参数的工程值；

步骤3.5)重复步骤3.2)至步骤3.4)，直至完成整个文件的译码。

2.如权利要求1所述的飞机QAR数据的快速译码方法，其特征是步骤2.3)中N进制包括8进制、16进制、32进制和64进制。

3.如权利要求2所述的飞机QAR数据的快速译码方法，其特征是所述N进制为64进制。

4.如权利要求1所述的飞机QAR数据的快速译码方法，其特征是步骤3.1)中XML配置文件包括：

根节点parameters，定义了一个参数列表集合；

节点parameter，定义了一个完整的参数信息，整个配置文件有多个参数；

属性name，参数名称；

属性code，参数编码；

属性rate，参数记录频率，即每秒记录的次数；

属性type，参数的编码格式；

属性unit，参数值的单位；

属性sign，参数是否有符号(+/-)；

属性accuracy，计算精度，即计算后的工程值保留到小数点后几位；

属性memo，参数说明；

子节点locations，定义了参数所在的位置信息集合；

参数Location，定义了参数的位置信息，一个参数可能包含多个记录位置；

属性word，参数记录所在的字；

属性olsb，参数记录所在字的最低位；

属性omsb，参数记录所在字的最高位，所在字的最低位到最高位之间的数据为该参数的真实数据内容；

属性subframe，参数记录所在帧；

属性id，位置编号；

子节点expressions，定义了参数的计算公式集合，一个参数根据数值不同，可能有多个计算公式；

参数expression，定义了一个具体的计算公式；

属性minRawValue，原始记录最小值；

属性maxRawValue，原始记录最大值，二进制转换后在最小值和最大值范围内使用当前公式计算；

属性c0/c1/c2/c3，分别是计算工程值的0次方(常数)、一次方、二次方、三次方系数。