CN105677917A - 面向航空发动机性能监控的海量数据管理方法及系统 - Google Patents
面向航空发动机性能监控的海量数据管理方法及系统 Download PDFInfo
- Publication number
- CN105677917A CN105677917A CN201610118618.7A CN201610118618A CN105677917A CN 105677917 A CN105677917 A CN 105677917A CN 201610118618 A CN201610118618 A CN 201610118618A CN 105677917 A CN105677917 A CN 105677917A
- Authority
- CN
- China
- Prior art keywords
- data
- monitoring
- value
- model
- engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明涉及航空发动机数据管理技术领域，具体地说是一种面向航空发动机性能监控的海量数据管理方法及系统，其特征在于设有依次相连接的发动机基础数据录入模块、发动机监控数据采集及预处理模块、key生成模块、value生成模块、key-value绑定模块、监控数据存储模块、报警检测模块、趋势分析模块，还设有监控数据增量更新模块，其中监控数据增量更新模块的输入端与报警检测模块相连接，监控数据增量更新模块的输出端与发动机监控数据采集及预处理模块相连接，本发明能够对飞机发动机监控数据进行快速、准确监控。
Description
技术领域
本发明涉及航空发动机数据管理技术领域，具体地说是一种能够对飞机发动机监控数据进行快速、准确监控的面向航空发动机性能监控的海量数据管理方法及系统。
背景技术
随着航空建设的发展，飞机的数量越来越多。作为飞机的重要部件，航空发动机的健康管理就成为重中之重。航空发动机是一个复杂系统，日常运营中，产生大量的监控数据。针对这些海量数据的监控管理成为迫切需求。
航空发动机的监控数据，数据量庞大，如果检索依旧依赖于关系型数据库，数据量小时可以接受，但是航空发动机的监控数据不断增量，仅依靠关系型数据库本身的索引或者分区分表等方法，效率会非常底下，甚至导致数据库服务器崩溃。
发明内容
本发明针对现有技术中存在的缺点和不足，提出了一种能够对飞机发动机监控数据进行快速、准确监控的面向航空发动机性能监控的海量数据管理方法及系统。
本发明可以通过以下措施达到：
一种面向航空发动机性能监控的海量数据管理方法，其特征在于包括以下步骤：
步骤1：录入基础数据，将其存储到关系数据库；
步骤2：确定分布式文件系统模型；
步骤3：采集航空发动机监控数据，并进行预处理处理；
步骤4：将解析后的可操作数据处理后形成key；
步骤5：将解析后的可操作数据处理后形成value；
步骤6：将key与value进行绑定，存储至发动机相应的文件目录；
步骤7：及时增量更新监控数据，并同步更新文件系统；
步骤8：对监控数据进行报警规则检测；
步骤9：完成监控数据的快速检索，进行趋势分析。
本发明所述步骤1中所述基础数据包括飞机、发动机、监控属性、飞行阶段、数据来源、报警规则、趋势分析规则、报文解析模板、数据解析模板，用于提供基于关系模型的数据查询服务和基础数据增量服务，其中飞机模型如下：Airplane={ID,basicInfo}；
其中ID为飞机的全局唯一标识，长度必须为32位数字和字母组合，basicInfo为飞机基本信息，一台飞机至少有两台发动机，而且发动机会不断变化，此模型用来辅助查询不同时段的飞机发动机信息；
发动机模型如下：Engine={ESN,basicInfo，historyList，alertRuleList}；
其中ESN为发动机的全局唯一标识，作为分布式文件系统的子目录唯一标识，basicInfo为发动机基本信息，historyList为发动机的历史信息，记录发动机的动态变化信息，通过它可以查询发动机在不同时段的所在飞机信息，alertRuleList为关联该发动机的报警规则，将增量监控数据存储到分布式文件系统之后需要进行报警规则的检查，触发报警管理；
监控属性模型如下：
StandardParam={ID,basicInfo}
其中ID为监控属性的全局唯一标识，长度必须为32位数字和字母组合，作为存储分布式文件系统的key的重要组成部分，也用它来进行报警规则和趋势分析规则的信息记录，basicInfo为监控属性基本信息。
飞行阶段模型如下：
FlightPhase={ID,basicInfo}
其中ID为飞行阶段的全局唯一标识，长度必须为32位数字和字母组合，作为存储分布式文件系统value的一部分，basicInfo为飞行阶段基本信息；
数据来源模型如下：DataSource={ID,basicInfo}；
其中ID为数据来源的全局唯一标识，长度必须为32位数字和字母组合，作为存储分布式文件系统value的一部分，basicInfo为数据来源基本信息；
报警规则模型如下：AlertRule={ID,ruleContent，basicInfo}；
其中ID为报警规则的全局唯一标识，长度必须为32位数字和字母组合，ruleContend为报警规则的主要描述，通过解析ruleContent得到需要进行检测的属性，并通过属性在文件系统中得到相应的属性值，然后触发报警管理，basicInfo为报警规则基本信息；
趋势分析模型如下：
AnalyzeRule={ID，esnarray，chartStyle，dataRange，basicInfo，paramList}
其中ID为趋势分析的全局唯一标识，长度必须为32位数字和字母组合，Esnarray为ESN组合列表，chartStyle为趋势分析的类型，两大类包括多Y轴和单Y轴，dataRange为要进行趋势分析的数据范围，两大类包括时间范围和采样点范围，basicInfo为趋势分析基本信息。paramList为坐标轴要显示的监控值信息列表；
报文解析模板模型如下:
AcarsModel={ID,Engine,Flight_phase,xmlModel}
其中ID为报文解析模板的全局唯一标识，长度必须为32位数字和字母组合，Engine为适用发动机，Flight_phase为适用飞行阶段，xmlModel为模板内容，格式为xml格式，标记监控属性的具体位置和长度；
数据解析模板模型如下：
OemModel={ID,FolderList，dataStartRow，acCol，esnCol，dateCol}
其中ID为数据解析模板的全局唯一标识，长度必须为32位数字和字母组合；FolderList为该模板适用的文件目录列表，dataStartRow为数据开始列，acCol为飞机所在列，esnCol为发动机所在列，dateCol为采集时间所在列。
本发明步骤2中确定分布式文件系统模型包含以下内容：在分布式文件系统中，存储模型如下：
fileSystem={ESNi|i=1,2…n}
ESN={keyi,columnFamily|i=1,2…n}
columnFamily={DataFrom,Flight_phase,Value}
其中ESN为存储目录的唯一标识，也就是来自于发动机的唯一标识。Key为rowKey，由监控属性和采集时间组成，columnFamily为主要监控内容，包括数据来源、飞行阶段和监控值。
本发明步骤3包含以下内容：将采集到的原始数据文件保存到分布式文件系统的原始文件存储目录，然后再对原始数据文件进行有效预处理，从而生成正确有效的格式统一的可存储数据，需要从采集到的数据中得到有效的飞机、发动机、飞行阶段、监控属性及对应的监控值，目前主流的两种文件格式为原始报文和厂家数据；其中针对原始报文，一般为txt格式，通过适用的报文模板解析出报文数据，并生成可操作的数据；针对厂家数据，一般为电子表格格式，也是海量数据的主要来源，将原始文件放在数据解析模板适用的目录中，系统自动解析成可操作数据。
本发明步骤3中解析得到的数据的主要格式为列表格式：
ModelList={modelList}
Model={Airplane，Engine，Date，Flight_phase,datafrom,paramList}
paramListModel={StandardParam,value}
ModelList为所有数据的列表，包含多个modelList，一个modelList包含多个Model，Model中Airplane为飞机信息，Engine为发动机信息，Date为采集时间，将作为分布式文件系统key的一部分进行存储，Flight_phase为飞行阶段信息，一个model包含一个paramList，paramList为监控信息列表，paramList的模型为paramListModel，paramListModel包括详细信息，StandardParam为监控属性，value为监控值。
本发明步骤3中将解析后的原始数据文件统一移动到已完成文件夹中，防止进行重复性操作。
本发明步骤4中将解析后的可操作数据处理后形成key的过程中，由于系统中主要是对时间段内的监控属性进行检测，所以key的信息中必须包含监控属性和时间信息，因为一台发动机，在一个时间点，只能采集到监控属性一次，也就能够确保key的唯一性；
StandardParam的唯一标识ID长度为32位，采集时间越精确越好，因此精确到秒，转换为便于操作的时间格式为14位，例如1990-12-3120:50:50转换为可操作时间为19901231205050，长度为14位，因此key的标准长度为46位，前32位为监控属性的唯一标识，后14位为采集时间。
本发明步骤5中将解析后的可操作数据处理后形成value，包含以下内容：系统中检索数据的时候涉及到数据的飞行阶段和来源，因此value中除了监控值，还需要飞行简短和来源的信息，因为飞行阶段和来源只是用作检索到的数据来进行查看，并不作为检索条件，因此只作为value进行存储，飞行阶段和数据来源统一存储各自的唯一标识ID。
本发明步骤6中将key与value进行绑定，存储至发动机相应的文件目录，包含以下内容：经过第4步和第5步处理之后，得到的数据模型是：
ModelList={modelList}
Model={ESN，key，paramList}
Key={StandardParam+date}
paramListModel={Flight_phase,datafrom,value}
ModelList为所有数据的列表，包含多个modelList，一个modelList包含多个Model，Model中ESN为发动机唯一标识信息，key为行键，由监控属性和时间组成，value为键值，由飞行阶段、数据来源和监控值组成；
根据Engine，将数据保存到相应的文件中，首先先检测ESN目录是否存在，如果不存在，需要创建目录，再进行数据存储，如果已经存在，则直接进行数据存储，过程如下：
If(Exist(ESN))
ThenSave（Engine，ModelList）
Elsecreate（ESN），Save（Engine，ModelList）。
本发明步骤7所述及时增量更新监控数据，并同步更新文件系统包含以下内容：系统定时进行进行数据采集，对原始文件目录进行扫描，一旦发现新的原始文件，立即进行适用解析模板的匹配，能够匹配到解析模板，则立即进行文件的解析，并存储到文件系统，进行数据的及时更新，如果不能匹配到解析模板，则将文件移动到错误目录中，并发送报警到系统进行提示。
本发明步骤8中对监控数据进行报警规则检测包括：
解析原始文件数据后得到的数据模型为：
ModelList={modelList}
Model={Airplane，Engine，Date，Flight_phase,datafrom,paramList}
paramListModel={StandardParam,value}
从该模型中可以得到Engine列表和Date列表，以此作为报警过则数据来源的基本依据；
从发动机的数据模型知道，每个发动机对应一个适用的报警规则列表。从Engine列表和Date列表中依次抽取Engine和Date两两结合作为报警数据来源的基础检索条件。
本发明步骤8中报警规则包括：简单报警规则；较复杂报警规则；
复杂报警规则。
本发明步骤9中完成监控数据的快速检索，进行趋势分析包括：
通过不同的图表方式展示监控属性的趋势变化，能够对监控属性的变化进行直观的监控，趋势分析的数据模型为：AnalyzeRule={ID，esnarray，chartStyle，dataRange，basicInfo，paramList}
Esnarray可以确定趋势分析要求的ESN组合，chartStyle为趋势分析的图表类型，以下依次说明：
（1）单Y轴参数VS时间：此种方式可以通过dataRange得到开始时间starttime和结束时间endtime，并且paramList的长度只为1，因为是单Y轴，此时dataRange为时间范围，根据paramList.get(0)可以得到参数信息，根据参数信息的唯一标识和开始时间与结束时间，得到该时间段的监控值；
（2）单Y轴参数VS采样点：此种方法通过循环的方式得到最近时间的采样点，并且paramList的长度只为1，因为是单Y轴，此时dataRange表示采样点范围，根据paramList.get(0)可以得到参数信息，根据参数信息的唯一标识和采样点数，得到相应的监控值；
（3）单Y轴参数VS参数：此种方式可以通过dataRange得到开始时间starttime和结束时间endtime，并且paramList的长度只为2，因为X轴和Y轴均为参数，此时dataRange为时间范围，根据paramList.get(0)和paramList.get(1)可以得到X轴的参数信息和Y轴的参数信息，根据参数信息的唯一标识和开始时间与结束间，得到该时间段的监控值；
（4）多Y轴参数VS时间：此种方式可以通过dataRange得到开始时间starttime和结束时间endtime，并且paramList的长度必须大于1，dataRange为时间范围，循环根据paramList可以得到参数信息，根据参数信息的唯一标识和开始时间与结束时间，得到相应时间段的监控值；
（5）多Y轴参数VS采样点：此种方法通过循环的方式得到最近时间的采样点，并且paramList的长度必须大于1，dataRange为采样点数，循环根据paramList可以得到参数信息，根据参数信息的唯一标识和采样点数，得到相应的监控值。
本发明还提出了一种面向航空发动机性能监控的海量数据管理系统，其特征在于设有依次相连接的发动机基础数据录入模块、发动机监控数据采集及预处理模块、key生成模块、value生成模块、key-value绑定模块、监控数据存储模块、报警检测模块、趋势分析模块，还设有监控数据增量更新模块，其中监控数据增量更新模块的输入端与报警检测模块相连接，监控数据增量更新模块的输出端与发动机监控数据采集及预处理模块相连接。
本发明针对航空发动机的海量监控数据，利用关系数据库实现数据量小的基础数据管理，同时，利用分布式文件系统，基于key-value的模式实现海量数据的高性能存储管理，利用属性传递各种监控数据进行管理。
附图说明：
附图1是本发明的系统流程图。
具体实施方式：
下面结合附图对本发明作进一步的说明。
如附图所示，本发明提出了一种面向航空发动机性能监控的海量数据管理方法，其特征在于包括以下步骤：
步骤1：录入基础数据，将其存储到关系数据库；
步骤2：确定分布式文件系统模型；
步骤3：采集航空发动机监控数据，并进行预处理处理；
步骤4：将解析后的可操作数据处理后形成key；
步骤5：将解析后的可操作数据处理后形成value；
步骤6：将key与value进行绑定，存储至发动机相应的文件目录；
步骤7：及时增量更新监控数据，并同步更新文件系统；
步骤8：对监控数据进行报警规则检测；
步骤9：完成监控数据的快速检索，进行趋势分析。
本发明所述步骤1中所述基础数据包括飞机、发动机、监控属性、飞行阶段、数据来源、报警规则、趋势分析规则、报文解析模板、数据解析模板，用于提供基于关系模型的数据查询服务和基础数据增量服务，
飞机模型如下：
Airplane={ID,basicInfo}
其中ID为飞机的全局唯一标识，长度必须为32位数字和字母组合，basicInfo为飞机基本信息。一台飞机至少有两台发动机，而且发动机会不断变化，此模型用来辅助查询不同时段的飞机发动机信息；
发动机模型如下：
Engine={ESN,basicInfo，historyList，alertRuleList}
其中ESN为发动机的全局唯一标识，作为分布式文件系统的子目录唯一标识，basicInfo为发动机基本信息，historyList为发动机的历史信息，记录发动机的动态变化信息，通过它可以查询发动机在不同时段的所在飞机信息，alertRuleList为关联该发动机的报警规则，将增量监控数据存储到分布式文件系统之后需要进行报警规则的检查，触发报警管理；
监控属性模型如下：
StandardParam={ID,basicInfo}
其中ID为监控属性的全局唯一标识，长度必须为32位数字和字母组合，作为存储分布式文件系统的key的重要组成部分，也用它来进行报警规则和趋势分析规则的信息记录，basicInfo为监控属性基本信息。
飞行阶段模型如下：
FlightPhase={ID,basicInfo}
其中ID为飞行阶段的全局唯一标识，长度必须为32位数字和字母组合，作为存储分布式文件系统value的一部分，basicInfo为飞行阶段基本信息；
数据来源模型如下：
DataSource={ID,basicInfo}
其中ID为数据来源的全局唯一标识，长度必须为32位数字和字母组合，作为存储分布式文件系统value的一部分，basicInfo为数据来源基本信息；
报警规则模型如下：
AlertRule={ID,ruleContent，basicInfo}
其中ID为报警规则的全局唯一标识，长度必须为32位数字和字母组合，ruleContend为报警规则的主要描述，通过解析ruleContent得到需要进行检测的属性，并通过属性在文件系统中得到相应的属性值，然后触发报警管理，basicInfo为报警规则基本信息；
趋势分析模型如下：
AnalyzeRule={ID，esnarray，chartStyle，dataRange，basicInfo，paramList}
其中ID为趋势分析的全局唯一标识，长度必须为32位数字和字母组合，Esnarray为ESN组合列表，chartStyle为趋势分析的类型，两大类包括多Y轴和单Y轴，dataRange为要进行趋势分析的数据范围，两大类包括时间范围和采样点范围，basicInfo为趋势分析基本信息。paramList为坐标轴要显示的监控值信息列表；
报文解析模板模型如下:
AcarsModel={ID,Engine,Flight_phase,xmlModel}
其中ID为报文解析模板的全局唯一标识，长度必须为32位数字和字母组合，Engine为适用发动机，Flight_phase为适用飞行阶段，xmlModel为模板内容，格式为xml格式，标记监控属性的具体位置和长度；
数据解析模板模型如下：
OemModel={ID,FolderList，dataStartRow，acCol，esnCol，dateCol}
其中ID为数据解析模板的全局唯一标识，长度必须为32位数字和字母组合；FolderList为该模板适用的文件目录列表，dataStartRow为数据开始列，acCol为飞机所在列，esnCol为发动机所在列，dateCol为采集时间所在列。
本发明步骤2中确定分布式文件系统模型包含以下内容：在分布式文件系统中，存储模型如下：
fileSystem={ESNi|i=1,2…n}
ESN={keyi,columnFamily|i=1,2…n}
columnFamily={DataFrom,Flight_phase,Value}
其中ESN为存储目录的唯一标识，也就是来自于发动机的唯一标识。Key为rowKey，由监控属性和采集时间组成，columnFamily为主要监控内容，包括数据来源、飞行阶段和监控值。
本发明步骤3包含以下内容：将采集到的原始数据文件保存到分布式文件系统的原始文件存储目录，然后再对原始数据文件进行有效预处理，从而生成正确有效的格式统一的可存储数据，需要从采集到的数据中得到有效的飞机、发动机、飞行阶段、监控属性及对应的监控值，目前主流的两种文件格式为原始报文和厂家数据；其中针对原始报文，一般为txt格式，通过适用的报文模板解析出报文数据，并生成可操作的数据；针对厂家数据，一般为电子表格格式，也是海量数据的主要来源。将原始文件放在数据解析模板适用的目录中，系统自动解析成可操作数据。
本发明步骤3中解析得到的数据的主要格式为列表格式：
ModelList={modelList}
Model={Airplane，Engine，Date，Flight_phase,datafrom,paramList}
paramListModel={StandardParam,value}
ModelList为所有数据的列表，包含多个modelList，一个modelList包含多个Model，Model中Airplane为飞机信息，Engine为发动机信息，Date为采集时间，将作为分布式文件系统key的一部分进行存储，Flight_phase为飞行阶段信息，一个model包含一个paramList，paramList为监控信息列表，paramList的模型为paramListModel，paramListModel包括详细信息，StandardParam为监控属性，valu为监控值。
本发明步骤3中将解析后的原始数据文件统一移动到已完成文件夹中，防止进行重复性操作。
本发明步骤4中将解析后的可操作数据处理后形成key的过程中，由于系统中主要是对时间段内的监控属性进行检测，所以key的信息中必须包含监控属性和时间信息，因为一台发动机，在一个时间点，只能采集到监控属性一次，也就能够确保key的唯一性；
StandardParam的唯一标识ID长度为32位，采集时间越精确越好，因此精确到秒，转换为便于操作的时间格式为14位，例如1990-12-3120:50:50转换为可操作时间为19901231205050，长度为14位，因此key的标准长度为46位，前32位为监控属性的唯一标识，后14位为采集时间。
本发明步骤5中将解析后的可操作数据处理后形成value，包含以下内容：系统中检索数据的时候涉及到数据的飞行阶段和来源，因此value中除了监控值，还需要飞行简短和来源的信息，因为飞行阶段和来源只是用作检索到的数据来进行查看，并不作为检索条件，因此只作为value进行存储。飞行阶段和数据来源统一存储各自的唯一标识ID。
本发明步骤6中将key与value进行绑定，存储至发动机相应的文件目录，包含以下内容：经过第4步和第5步处理之后，得到的数据模型是：
ModelList={modelList}
Model={ESN，key，paramList}
Key={StandardParam+date}
paramListModel={Flight_phase,datafrom,value}
ModelList为所有数据的列表，包含多个modelList，一个modelList包含多个Model，Model中ESN为发动机唯一标识信息，key为行键，由监控属性和时间组成，value为键值，由飞行阶段、数据来源和监控值组成；
根据Engine，将数据保存到相应的文件中，首先先检测ESN目录是否存在，如果不存在，需要创建目录，再进行数据存储，如果已经存在，则直接进行数据存储，过程如下：
If(Exist(ESN))
ThenSave（Engine，ModelList）
Elsecreate（ESN），Save（Engine，ModelList）。
本发明步骤7所述及时增量更新监控数据，并同步更新文件系统包含以下内容：系统定时进行进行数据采集，对原始文件目录进行扫描，一旦发现新的原始文件，立即进行适用解析模板的匹配，能够匹配到解析模板，则立即进行文件的解析，并存储到文件系统，进行数据的及时更新，如果不能匹配到解析模板，则将文件移动到错误目录中，并发送报警到系统进行提示。
本发明步骤8中对监控数据进行报警规则检测包括：
解析原始文件数据后得到的数据模型为：
ModelList={modelList}
Model={Airplane，Engine，Date，Flight_phase,datafrom,paramList}
paramListModel={StandardParam,value}
从该模型中可以得到Engine列表和Date列表，以此作为报警过则数据来源的基本依据；
从发动机的数据模型知道，每个发动机对应一个适用的报警规则列表。从Engine列表和Date列表中依次抽取Engine和Date两两结合作为报警数据来源的基础检索条件。
本发明步骤8中报警规则的主要内容为规则公式，以下分别进行说明：
简单报警规则：简单的上下阈值报警约束。举例说明：假如报警规则公式为#{DEGT}>5&&#{DEGT}<15,表示DEGT这个监控属性的上下阈值分别为15和5，通过正则表达式方法，得到这个报警规则中需要赋值的监控属性为DEGT，通过DEGT检索到StandardParam信息，用StandardParam的ID与Date进行组合可以得到key值，然后再ESN这个目录中就可以得到value，将value中的监控值带入到公式中进行运算。监控值超过上下阈值，则进行报警操作；
较复杂报警规则：含有数据公式的报警约束，举例说明：假如报警规则公式为abs(#{DEGT}-#{DEGT_S})<=1，表示DEGT和DEGT_S这两个监控属性的值的差必须小于1，通过正则表达式方法，得到这个报警规则中需要赋值的监控属性为DEGT和DEGT_S，通过这两个监控属性得到两个StandardParam信息，用两个StandardParam的ID分别与Date进行组合可以得到两个key值，然后在ESN这个目录中就可以得到DEGT和DEGT_S的value监控值，将监控值带入公式中进行运算。如果差的绝对值超过1，则进行报警操作；
复杂报警规则：不但含有数据公式，还包括数据来源、采样点等信息，举例说明：假如报警规则公式为abs(#{DEGT}-#{DEGT})>1&&abs(#{DEGT$2}-#{DEGT$3})>1&&abs(#{DEGT$1}-#{DEGT$3})>1&&abs(#{DEGT}-#{DEGT$2})<1&&abs(#{DEGT}-#{DEGT$1})<1&&abs(#{DEGT$1}-#{DEGT$2})<1，表示DEGT在四个采样点中两两的监控值差不超过1，即没有发生突变，通过正则表达式方法，得到这个报警规则中需要赋值的监控属性为DEGT、DEGT$1、DEGT$2、DEGT$3，即当前时间和前三个时间点的值作为最近的四个采样点。以Date作为现有的最后的时间，循环依次往前查，知道查满四个采样点为止，方式同简单报警规则和较复杂报警规则。如果满足报警条件，则进行报警操作。
本发明通过报警操作，可以将产生报警的原始数据以及报警具体内容发送到系统中，方便进行查询和后续的维修操作，不但实现了简单的报警规则检测，还可以设置复杂的报警规则，满足各种不同形式的报警需求。
本发明步骤9中完成监控数据的快速检索，进行趋势分析包括：
通过不同的图表方式展示监控属性的趋势变化，能够对监控属性的变化进行直观的监控，趋势分析的数据模型为：AnalyzeRule={ID，esnarray，chartStyle，dataRange，basicInfo，paramList}
Esnarray可以确定趋势分析要求的ESN组合，chartStyle为趋势分析的图表类型，以下依次说明：
（10）单Y轴参数VS时间：此种方式可以通过dataRange得到开始时间starttime和结束时间endtime，并且paramList的长度只为1，因为是单Y轴，此时dataRange为时间范围，根据paramList.get(0)可以得到参数信息，根据参数信息的唯一标识和开始时间与结束时间，得到该时间段的监控值，方法如下：
Startkey=paramid+starttime
Endkey=paramid+endtime
Resultscan=scan(ESN,startkey,endkey)
循环resultscan，从结果集中取值，然后赋值到标准的图像格式数据中，此时X轴为时间，Y轴为各个ESN对应时间点的监控值。最终以标准图表的形式返回到页面系统进行趋势展示；
（2）单Y轴参数VS采样点：此种方法通过循环的方式得到最近时间的采样点，并且paramList的长度只为1，因为是单Y轴，此时dataRange表示采样点范围，根据paramList.get(0)可以得到参数信息，根据参数信息的唯一标识和采样点数，得到相应的监控值，方法如下：
While（datalist.size()<dataRange）{
datalist=Scan(ESN,paramid,dataRange)
}
循环datalist，从结果集中取值，然后赋值到标准的图像格式数据中，此时X轴为采样点，最小为1，Y轴为各个ESN对应时间点的监控值，最终以标准图表的形式返回到页面系统进行趋势展示；
（3）单Y轴参数VS参数：此种方式可以通过dataRange得到开始时间starttime和结束时间endtime，并且paramList的长度只为2，因为X轴和Y轴均为参数，此时dataRange为时间范围，根据paramList.get(0)和paramList.get(1)可以得到X轴的参数信息和Y轴的参数信息，根据参数信息的唯一标识和开始时间与结束间，得到该时间段的监控值，方法如下：
StartkeyX=paramidX+starttime
EndkeyX=paramidX+endtime
ResultscanX=scan(ESN,startkeyX,endkeyX)
StartkeyY=paramidY+starttime
EndkeyY=paramidY+endtime
ResultscanY=scan(ESN,startkeyY,endkeyY)
循环resultscanX和resultscanY，从结果集中从前向后查询某一个时间点两者均有监控值的点，作为一个采样点，并将valueX赋值到X轴，将valueY赋值到Y轴，此时X轴和Y轴均为监控值，最终以标准图表的形式返回到页面系统进行趋势展示；
（4）多Y轴参数VS时间：此种方式可以通过dataRange得到开始时间starttime和结束时间endtime，并且paramList的长度必须大于1，dataRange为时间范围，循环根据paramList可以得到参数信息，根据参数信息的唯一标识和开始时间与结束时间，得到相应时间段的监控值，方法如下：
Resultscan0=scan(ESN,paramid0+starttime,paramid0+endtime)
Resultscann=scan(ESN,paramidn+starttime,paramidn+endtime)
循环resultscan0…resultscann，从结果集中取值，然后赋值到标准的图像格式数据中，此时X轴为时间，Y轴为各个ESN各个监控属性对应时间点的监控值，最终以标准图表的形式返回到页面系统进行趋势展示；
（5）多Y轴参数VS采样点：此种方法通过循环的方式得到最近时间的采样点，并且paramList的长度必须大于1，dataRange为采样点数，循环根据paramList可以得到参数信息，根据参数信息的唯一标识和采样点数，得到相应的监控值，方法如下：
While（datalist0.size()<dataRange）{
Datalist0=Scan(ESN,paramid0,dataRange)
}
…
While（datalistn.size()<dataRange）{
Datalistn=Scan(ESN,paramidn,dataRange)
}
循环Datalist0…Datalistn，从结果集中取值，然后赋值到标准的图像格式数据中，此时X轴为采样点，最小为1，Y轴为各个ESN对应各个监控数据采样点的监控值，最终以标准图表的形式返回到页面系统进行趋势展示。
本发明还提出了一种面向航空发动机性能监控的海量数据管理系统，其特征在于设有依次相连接的发动机基础数据录入模块、发动机监控数据采集及预处理模块、key生成模块、value生成模块、key-value绑定模块、监控数据存储模块、报警检测模块、趋势分析模块，还设有监控数据增量更新模块，其中监控数据增量更新模块的输入端与报警检测模块相连接，监控数据增量更新模块的输出端与发动机监控数据采集及预处理模块相连接。
本发明针对航空发动机的海量监控数据，利用关系数据库实现数据量小的基础数据管理，同时，利用分布式文件系统，基于key-value的模式实现海量数据的高性能存储管理，利用属性传递各种监控数据进行管理。
Claims (10)
1.一种面向航空发动机性能监控的海量数据管理方法，其特征在于包括以下步骤：
步骤1：录入基础数据，将其存储到关系数据库；
步骤2：确定分布式文件系统模型；
步骤3：采集航空发动机监控数据，并进行预处理处理；
步骤4：将解析后的可操作数据处理后形成key；
步骤5：将解析后的可操作数据处理后形成value；
步骤6：将key与value进行绑定，存储至发动机相应的文件目录；
步骤7：及时增量更新监控数据，并同步更新文件系统；
步骤8：对监控数据进行报警规则检测；
步骤9：完成监控数据的快速检索，进行趋势分析。
2.根据权利要求1所述的一种面向航空发动机性能监控的海量数据管理方法，其特征在于所述步骤1中所述基础数据包括飞机、发动机、监控属性、飞行阶段、数据来源、报警规则、趋势分析规则、报文解析模板、数据解析模板，用于提供基于关系模型的数据查询服务和基础数据增量服务，其中飞机模型如下：Airplane={ID,basicInfo}；
其中ID为飞机的全局唯一标识，长度必须为32位数字和字母组合，basicInfo为飞机基本信息，一台飞机至少有两台发动机，而且发动机会不断变化，此模型用来辅助查询不同时段的飞机发动机信息；
发动机模型如下：Engine={ESN,basicInfo，historyList，alertRuleList}；
其中ESN为发动机的全局唯一标识，作为分布式文件系统的子目录唯一标识，basicInfo为发动机基本信息，historyList为发动机的历史信息，记录发动机的动态变化信息，通过它可以查询发动机在不同时段的所在飞机信息，alertRuleList为关联该发动机的报警规则，将增量监控数据存储到分布式文件系统之后需要进行报警规则的检查，触发报警管理；
监控属性模型如下：StandardParam={ID,basicInfo}；其中ID为监控属性的全局唯一标识，长度必须为32位数字和字母组合，作为存储分布式文件系统的key的重要组成部分，也用它来进行报警规则和趋势分析规则的信息记录，basicInfo为监控属性基本信息，飞行阶段模型如下：FlightPhase={ID,basicInfo}；其中ID为飞行阶段的全局唯一标识，长度必须为32位数字和字母组合，作为存储分布式文件系统value的一部分，basicInfo为飞行阶段基本信息；
数据来源模型如下：DataSource={ID,basicInfo}；
其中ID为数据来源的全局唯一标识，长度必须为32位数字和字母组合，作为存储分布式文件系统value的一部分，basicInfo为数据来源基本信息；
报警规则模型如下：AlertRule={ID,ruleContent，basicInfo}；
其中ID为报警规则的全局唯一标识，长度必须为32位数字和字母组合，ruleContend为报警规则的主要描述，通过解析ruleContent得到需要进行检测的属性，并通过属性在文件系统中得到相应的属性值，然后触发报警管理，basicInfo为报警规则基本信息；
趋势分析模型如下：
AnalyzeRule={ID，esnarray，chartStyle，dataRange，basicInfo，paramList}
其中ID为趋势分析的全局唯一标识，长度必须为32位数字和字母组合，Esnarray为ESN组合列表，chartStyle为趋势分析的类型，两大类包括多Y轴和单Y轴，dataRange为要进行趋势分析的数据范围，两大类包括时间范围和采样点范围，basicInfo为趋势分析基本信息，paramList为坐标轴要显示的监控值信息列表；
报文解析模板模型如下:
AcarsModel={ID,Engine,Flight_phase,xmlModel}
其中ID为报文解析模板的全局唯一标识，长度必须为32位数字和字母组合，Engine为适用发动机，Flight_phase为适用飞行阶段，xmlModel为模板内容，格式为xml格式，标记监控属性的具体位置和长度；
数据解析模板模型如下：
OemModel={ID,FolderList，dataStartRow，acCol，esnCol，dateCol}
其中ID为数据解析模板的全局唯一标识，长度必须为32位数字和字母组合；FolderList为该模板适用的文件目录列表，dataStartRow为数据开始列，acCol为飞机所在列，esnCol为发动机所在列，dateCol为采集时间所在列。
3.根据权利要求1所述的一种面向航空发动机性能监控的海量数据管理方法，其特征在于步骤2中确定分布式文件系统模型包含以下内容：在分布式文件系统中，存储模型如下：
fileSystem={ESNi|i=1,2…n}
ESN={keyi,columnFamily|i=1,2…n}
columnFamily={DataFrom,Flight_phase,Value}
其中ESN为存储目录的唯一标识，也就是来自于发动机的唯一标识，
Key为rowKey，由监控属性和采集时间组成，columnFamily为主要监控内容，包括数据来源、飞行阶段和监控值。
4.根据权利要求1所述的一种面向航空发动机性能监控的海量数据管理方法，其特征在于步骤3包含以下内容：将采集到的原始数据文件保存到分布式文件系统的原始文件存储目录，然后再对原始数据文件进行有效预处理，从而生成正确有效的格式统一的可存储数据，需要从采集到的数据中得到有效的飞机、发动机、飞行阶段、监控属性及对应的监控值，目前主流的两种文件格式为原始报文和厂家数据；其中针对原始报文，一般为txt格式，通过适用的报文模板解析出报文数据，并生成可操作的数据；针对厂家数据，一般为电子表格格式，也是海量数据的主要来源，将原始文件放在数据解析模板适用的目录中，系统自动解析成可操作数据。
5.根据权利要求1所述的一种面向航空发动机性能监控的海量数据管理方法，其特征在于步骤3中解析得到的数据的主要格式为列表格式：
ModelList={modelList}
Model={Airplane，Engine，Date，Flight_phase,datafrom,paramList}
paramListModel={StandardParam,value}
ModelList为所有数据的列表，包含多个modelList，一个modelList包含多个Model，Model中Airplane为飞机信息，Engine为发动机信息，Date为采集时间，将作为分布式文件系统key的一部分进行存储，Flight_phase为飞行阶段信息，一个model包含一个paramList，paramList为监控信息列表，paramList的模型为paramListModel，paramListModel包括详细信息，StandardParam为监控属性，valu为监控值。
6.根据权利要求1所述的一种面向航空发动机性能监控的海量数据管理方法，其特征在于步骤4中将解析后的可操作数据处理后形成key的过程中，由于系统中主要是对时间段内的监控属性进行检测，所以key的信息中必须包含监控属性和时间信息，因为一台发动机，在一个时间点，只能采集到监控属性一次，也就能够确保key的唯一性；
StandardParam的唯一标识ID长度为32位，采集时间越精确越好，因此精确到秒，转换为便于操作的时间格式为14位，例如1990-12-3120:50:50转换为可操作时间为19901231205050，长度为14位，因此key的标准长度为46位，前32位为监控属性的唯一标识，后14位为采集时间。
7.根据权利要求1所述的一种面向航空发动机性能监控的海量数据管理方法，其特征在于步骤5中将解析后的可操作数据处理后形成value，包含以下内容：系统中检索数据的时候涉及到数据的飞行阶段和来源，因此value中除了监控值，还需要飞行简短和来源的信息，因为飞行阶段和来源只是用作检索到的数据来进行查看，并不作为检索条件，因此只作为value进行存储，飞行阶段和数据来源统一存储各自的唯一标识ID。
8.根据权利要求1所述的一种面向航空发动机性能监控的海量数据管理方法，其特征在于步骤6中将key与value进行绑定，存储至发动机相应的文件目录，包含以下内容：经过第4步和第5步处理之后，得到的数据模型是：
ModelList={modelList}
Model={ESN，key，paramList}
Key={StandardParam+date}
paramListModel={Flight_phase,datafrom,value}
ModelList为所有数据的列表，包含多个modelList，一个modelList包含多个Model，Model中ESN为发动机唯一标识信息，key为行键，由监控属性和时间组成，value为键值，由飞行阶段、数据来源和监控值组成；
根据Engine，将数据保存到相应的文件中，首先先检测ESN目录是否存在，如果不存在，需要创建目录，再进行数据存储，如果已经存在，则直接进行数据存储，过程如下：
If(Exist(ESN))
ThenSave（Engine，ModelList）
Elsecreate（ESN），Save（Engine，ModelList）。
9.根据权利要求1所述的一种面向航空发动机性能监控的海量数据管理方法，其特征在于步骤7所述及时增量更新监控数据，并同步更新文件系统包含以下内容：系统定时进行进行数据采集，对原始文件目录进行扫描，一旦发现新的原始文件，立即进行适用解析模板的匹配，能够匹配到解析模板，则立即进行文件的解析，并存储到文件系统，进行数据的及时更新，如果不能匹配到解析模板，则将文件移动到错误目录中，并发送报警到系统进行提示。
10.一种如权利要求1-9中任意一项所述的面向航空发动机性能监控的海量数据管理系统，其特征在于设有依次相连接的发动机基础数据录入模块、发动机监控数据采集及预处理模块、key生成模块、value生成模块、key-value绑定模块、监控数据存储模块、报警检测模块、趋势分析模块，还设有监控数据增量更新模块，其中监控数据增量更新模块的输入端与报警检测模块相连接，监控数据增量更新模块的输出端与发动机监控数据采集及预处理模块相连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610118618.7A CN105677917A (zh) | 2016-03-03 | 2016-03-03 | 面向航空发动机性能监控的海量数据管理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610118618.7A CN105677917A (zh) | 2016-03-03 | 2016-03-03 | 面向航空发动机性能监控的海量数据管理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105677917A true CN105677917A (zh) | 2016-06-15 |
Family
ID=56306517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610118618.7A Pending CN105677917A (zh) | 2016-03-03 | 2016-03-03 | 面向航空发动机性能监控的海量数据管理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105677917A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107342898A (zh) * | 2017-07-07 | 2017-11-10 | 威海众成信息科技股份有限公司 | 面向航空发动机的预警管理方法及系统 |
| CN108846568A (zh) * | 2018-06-05 | 2018-11-20 | 威海众成信息科技股份有限公司 | 面向航空发动机的综合性能趋势分析方法 |
| CN109858635A (zh) * | 2018-12-20 | 2019-06-07 | 威海众成信息科技股份有限公司 | 一种根据软时限制定发动机维修决策的管理方法 |
| CN110069562A (zh) * | 2019-04-23 | 2019-07-30 | 北京金堤科技有限公司 | 数据展示方法、装置、存储介质及计算机设备 |
| CN110210634A (zh) * | 2019-06-04 | 2019-09-06 | 江苏锐天信息科技有限公司 | 基于大数据驱动的民航发动机故障诊断与健康管理系统 |
| CN110335507A (zh) * | 2019-06-12 | 2019-10-15 | 中国电子科技集团公司第二十八研究所 | 基于空管航迹大数据的航班运行态势规律分析方法 |
| CN110647417A (zh) * | 2019-09-03 | 2020-01-03 | 珠海格力电器股份有限公司 | 能源互联网异常数据处理方法、装置及系统 |
| CN113010508A (zh) * | 2021-03-23 | 2021-06-22 | 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 | 一种电力计量数据质量监控方法、装置及大数据计算平台 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103116643A (zh) * | 2013-02-25 | 2013-05-22 | 江苏物联网研究发展中心 | 基于Hadoop的智慧医疗数据管理方法 |
| CN105243140A (zh) * | 2015-10-10 | 2016-01-13 | 中国科学院软件研究所 | 一种面向高速列车实时监控的海量数据管理方法 |
-
2016
- 2016-03-03 CN CN201610118618.7A patent/CN105677917A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103116643A (zh) * | 2013-02-25 | 2013-05-22 | 江苏物联网研究发展中心 | 基于Hadoop的智慧医疗数据管理方法 |
| CN105243140A (zh) * | 2015-10-10 | 2016-01-13 | 中国科学院软件研究所 | 一种面向高速列车实时监控的海量数据管理方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107342898A (zh) * | 2017-07-07 | 2017-11-10 | 威海众成信息科技股份有限公司 | 面向航空发动机的预警管理方法及系统 |
| CN108846568A (zh) * | 2018-06-05 | 2018-11-20 | 威海众成信息科技股份有限公司 | 面向航空发动机的综合性能趋势分析方法 |
| CN109858635A (zh) * | 2018-12-20 | 2019-06-07 | 威海众成信息科技股份有限公司 | 一种根据软时限制定发动机维修决策的管理方法 |
| CN110069562A (zh) * | 2019-04-23 | 2019-07-30 | 北京金堤科技有限公司 | 数据展示方法、装置、存储介质及计算机设备 |
| CN110069562B (zh) * | 2019-04-23 | 2020-07-03 | 北京金堤科技有限公司 | 数据展示方法、装置、存储介质及计算机设备 |
| CN110210634A (zh) * | 2019-06-04 | 2019-09-06 | 江苏锐天信息科技有限公司 | 基于大数据驱动的民航发动机故障诊断与健康管理系统 |
| CN110335507A (zh) * | 2019-06-12 | 2019-10-15 | 中国电子科技集团公司第二十八研究所 | 基于空管航迹大数据的航班运行态势规律分析方法 |
| CN110335507B (zh) * | 2019-06-12 | 2021-01-26 | 中国电子科技集团公司第二十八研究所 | 基于空管航迹大数据的航班运行态势规律分析方法 |
| CN110647417A (zh) * | 2019-09-03 | 2020-01-03 | 珠海格力电器股份有限公司 | 能源互联网异常数据处理方法、装置及系统 |
| CN110647417B (zh) * | 2019-09-03 | 2020-09-22 | 珠海格力电器股份有限公司 | 能源互联网异常数据处理方法、装置及系统 |
| CN113010508A (zh) * | 2021-03-23 | 2021-06-22 | 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 | 一种电力计量数据质量监控方法、装置及大数据计算平台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105677917A (zh) | 面向航空发动机性能监控的海量数据管理方法及系统 | |
| JP6538980B2 (ja) | 異種混成ログストリームにおける自動化された異常検出サービス | |
| CN110347662B (zh) | 一种基于通用数据模型的多中心医疗数据结构标准化系统 | |
| US7690000B2 (en) | Metadata journal for information technology systems | |
| CN105183860B (zh) | 数据同步方法和系统 | |
| CN101540013A (zh) | 全生命周期的质量数据追溯系统和方法 | |
| CN103702053A (zh) | 录像存储和检索方法及系统、监控系统 | |
| EP3258395B1 (en) | Data processing system and data processing method | |
| EP2639709B1 (en) | Method and system for storing and retrieving data | |
| CN103617117B (zh) | 一种基于航空嵌入式软件测试知识库系统 | |
| CN111078512B (zh) | 告警记录生成方法、装置、告警设备及存储介质 | |
| CN104933101A (zh) | 一种基于svn的配置审计信息自动统计方法 | |
| CN108846568A (zh) | 面向航空发动机的综合性能趋势分析方法 | |
| CN105787096B (zh) | 一种航空电子履历本管理系统 | |
| CN105302730A (zh) | 一种检测计算模型的方法、测试服务器及业务平台 | |
| CN111401014A (zh) | 一种基于报表的多指标多维度分析方法、系统及构建方法 | |
| CN114661832A (zh) | 一种基于数据质量的多模态异构数据存储方法及系统 | |
| US20130311465A1 (en) | Data reference assistant apparatus, and data reference assistant method | |
| CN116680354A (zh) | 锂电池生产制造业元数据管理方法及系统 | |
| CN111090803A (zh) | 一种数据处理方法、装置、电子设备和存储介质 | |
| CN107342898A (zh) | 面向航空发动机的预警管理方法及系统 | |
| CN106777025B (zh) | 一种数据库物理模型的分析方法及系统 | |
| CN111680072B (zh) | 基于社交信息数据的划分系统及方法 | |
| CN111221894B (zh) | 基于配置的时序数据库存储方法、装置及服务器 | |
| CN114328954A (zh) | 一种基于核心概念本体的物联网领域本体构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160615 |