CN116910920B - 基于增强现实技术的航空发动机综合健康管理系统及方法 - Google Patents
基于增强现实技术的航空发动机综合健康管理系统及方法 Download PDFInfo
- Publication number
- CN116910920B CN116910920B CN202311167925.0A CN202311167925A CN116910920B CN 116910920 B CN116910920 B CN 116910920B CN 202311167925 A CN202311167925 A CN 202311167925A CN 116910920 B CN116910920 B CN 116910920B
- Authority
- CN
- China
- Prior art keywords
- health state
- aeroengine
- health
- label
- augmented reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000036541 health Effects 0.000 title claims abstract description 296
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000005516 engineering process Methods 0.000 title claims abstract description 27
- 238000012360 testing method Methods 0.000 claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 27
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 103
- 230000003862 health status Effects 0.000 claims description 36
- 238000007726 management method Methods 0.000 claims description 36
- 238000012800 visualization Methods 0.000 claims description 35
- 230000015654 memory Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013480 data collection Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 208000030533 eye disease Diseases 0.000 description 3
- 238000005461 lubrication Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 208000006992 Color Vision Defects Diseases 0.000 description 1
- 206010020675 Hypermetropia Diseases 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 201000000761 achromatopsia Diseases 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000007254 color blindness Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000002826 coolant Substances 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 201000006318 hyperopia Diseases 0.000 description 1
- 230000004305 hyperopia Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/15—Vehicle, aircraft or watercraft design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Aviation & Aerospace Engineering (AREA)
- Pure & Applied Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于增强现实技术的航空发动机综合健康管理系统及方法，涉及增强现实与航空发动机健康管理技术领域，训练预测航空发动机的健康状态标签以及各个部件位置的部件健康状态标签的健康状态预测模型，获得健康状态预测模型输出的非测试航空发动机的健康状态标签，以及各个部件位置的部件健康状态标签，基于文本可视化规则、三维虚拟模型以及实时现实场景，将各个部件位置的部件健康状态标签和健康状态标签在现实场景中进行可视化展示；提高对各个部件健康状况的直观认识，提高了健康管理效率。
Description
技术领域
本发明涉及增强现实与航空发动机健康管理技术领域，具体是基于增强现实技术的航空发动机综合健康管理系统及方法。
背景技术
航空发动机处于高温、高压、高速运转环境中，其性能和健康状态会受到多种因素的影响，如磨损、腐蚀、振动等；而且航空发动机中也存在多种部件，包括发动机外壳前部、发动机外壳中部、发动机外壳后部、冷却系统、润滑系统、燃烧室以及排气系统等；
目前维护人员对发动机进行健康管理的方式往往是周期性的维保，或对发动机表面进行检查修复，而对发动机内部部件难以获得直观的感受，一般对发动机内部部件的检查是通过对发动机进行拆卸进行的，从而极大的增加了工作量；
申请公开号为CN115512253A的中国专利公开了一种基于增强现实的船舶设备维修方法，该方法采集待维修设备的初始图像，根据故障判别公式判断待维修设备是否具有故障，如果有故障，则生成维修信号；对待维修设备进行识别和分辨，得到该设备的标识信息和维修信息；根据标识信息和维修信息从数据库中获取待维修设备的三维虚拟模型、待维修项目及待维修项目的位置信息；将三维虚拟模型叠加显示于用户视野所及的空间区域，并根据待维修项目的位置信息在叠加显示的三维虚拟模型上标注待维修项目；但该方案并未能具体地分析各个零部件的故障概率并使用增强现实技术进行展示；
为此，本发明提出基于增强现实技术的航空发动机综合健康管理系统及方法。
发明内容
本发明旨在至少解决上述背景技术中所存在的技术问题之一。为此，本发明提出基于增强现实技术的航空发动机综合健康管理系统及方法，提高对各个部件健康状况的直观认识，提高了健康管理效率。
为实现上述目的，根据本发明的实施例1提出基于增强现实技术的航空发动机综合健康管理方法，包括以下步骤：
构造航空发动机的三维虚拟模型；收集文本可视化规则；
收集航空发动机的健康状态特征向量集合、部件健康状态标签向量集合以及健康状态标签集合；
以健康状态特征向量集合作为输入，部件健康状态标签向量集合、健康状态标签集合作为输出，训练出预测航空发动机的健康状态标签以及各个部件位置的部件健康状态标签的健康状态预测模型；
基于接收的非测试航空发动机的实时的健康状态特征向量和健康状态预测模型，获得健康状态预测模型输出的非测试航空发动机的健康状态标签，以及各个部件位置的部件健康状态标签；
捕获实时现实场景；基于文本可视化规则、三维虚拟模型以及实时现实场景，将各个部件位置的部件健康状态标签和健康状态标签在现实场景中进行可视化展示；
其中，所述构造航空发动机的三维虚拟模型的方式为：
使用三维建模工具进行三维虚拟模型构建；
其中，所述收集文本可视化规则的方式为：
增强现实设备接收外部输入的文本可视化规则或自适应地生成文本可视化规则；
所述收集航空发动机的健康状态特征向量集合、部件健康状态标签向量集合以及健康状态标签集合的方式为：
由各个物理特征传感器实时收集的数据组成健康状态特征向量集合；
由各个部件位置的部件健康状态标签组成部件健康状态标签向量集合；
根据各个部件位置的部件健康状态标签获得航空发动机的健康状态标签；
训练出预测航空发动机的健康状态标签以及各个部件位置的部件健康状态标签的健康状态预测模型的方式为：
构造贝叶斯网络的网络结构；
具体的，所述构造贝叶斯网络的网络结构的方式为：
构造层数为三层的贝叶斯网络模型；
将第一层中的网络节点数量设置为健康状态特征向量中的元素数量；
将第二层中的网络节点数量设置为部件健康状态标签向量中的元素数量；
将第三层中的网络节点数量设置为1；
其中，第一层中的每个网络节点具有一条有向边指向第二层中的每个网络节点，第二层中的每个网络节点具有一条有向边指向第三层中的网络节点；
将健康状态特征向量集合中每个测试航空发动机的健康状态特征向量作为贝叶斯网络模型的第一层的输入，所述贝叶斯网络模型以对第二层网络节点和第三层的网络节点的预测的概率值作为网络输出，以测试航空发动机的对应的部件健康状态标签向量作为第二层网络节点的预测输出，以测试航空发动机的对应的健康状态标签作为第三层网络节点的预测输出；以最小化对所有网络输出和预测输出的预测误差均值之和作为预测目标；对贝叶斯网络模型进行训练，直至预测误差均值之和达到收敛时停止训练；
预测误差均值的计算公式为：，其中，c为健康状态特征向量的编号，zc为预测误差均值，i为部件位置的编号，I为部件位置的数量；aci为第c组健康状态特征向量对应的第二层网络节点中第i个网络输出，wci为第c组健康状态特征向量对应的第二层网络节点中第i个预测输出；ac为第c组健康状态特征向量对应的第三层网络节点的网络输出，wc为第c组健康状态特征向量对应的第三层网络节点的预测输出；
所述实时的健康状态特征向量为在非测试航空发动机实际运行过程中，通过各个物理特征对应的物理特征传感器实时收集并发送至增强现实设备中的对应的物理特征所组成的向量；
所述获得健康状态预测模型输出的非测试航空发动机的健康状态标签，以及各个部件位置的部件健康状态标签的方式为：
将非测试航空发动机的实时的健康状态特征向量输入至健康状态预测模型中，获得健康状态预测模型中第二层网络节点输出的各个部件位置的预测的部件健康状态标签，以及第三层网络节点输出的对航空发动机预测的健康状态标签；
将各个部件位置的部件健康状态标签和健康状态标签在现实场景中进行可视化展示包括以下步骤：
步骤101：获得非测试航空发动机的位置，增强现实设备的位置以及观看视角的角度；
步骤102：建立三维虚拟模型与现实场景的坐标对应关系；
步骤103：基于坐标对应关系，获得增强现实设备以及非测试航空发动机的在三维虚拟模型的三维坐标系中的三维坐标；
步骤104：基于增强现实设备和非测试航空发动机的在三维虚拟模型的三维坐标系中的三维坐标以及坐标对应关系，使用文本可视化规则可视化展示部件健康状态标签以及健康状态标签。
根据本发明的实施例2提出基于增强现实技术的航空发动机综合健康管理系统，包括管理数据收集模块、模型训练模块、健康状态标签计算模块以及增强现实展示模块；其中，各个模块之间通过电性连接；
管理数据收集模块，用于构造航空发动机的三维虚拟模型；收集文本可视化规则，收集航空发动机的健康状态特征向量集合、部件健康状态标签向量集合以及健康状态标签集合；并将文本可视化规则发送至增强现实展示模块，将健康状态特征向量集合、部件健康状态标签向量集合以及健康状态标签集合发送至模型训练模块；
模型训练模块，用于以健康状态特征向量集合作为输入，部件健康状态标签向量集合、健康状态标签集合作为输出，训练出预测航空发动机的健康状态标签以及各个部件位置的部件健康状态标签的健康状态预测模型；并将健康状态预测模型发送至健康状态标签计算模块；
健康状态标签计算模块，用于基于接收的非测试航空发动机的实时的健康状态特征向量和健康状态预测模型，获得健康状态预测模型输出的非测试航空发动机的健康状态标签，以及各个部件位置的部件健康状态标签；并将健康状态标签以及部件健康状态标签发送至增强现实展示模块；
增强现实展示模块，用于捕获实时现实场景；基于文本可视化规则、三维虚拟模型以及实时现实场景，将各个部件位置的部件健康状态标签和健康状态标签在现实场景中进行可视化展示。
根据本发明的实施例3提出的一种电子设备，包括：处理器和存储器，其中，所述存储器中存储有可供处理器调用的计算机程序；
所述处理器通过调用所述存储器中存储的计算机程序，执行上述的基于增强现实技术的航空发动机综合健康管理方法。
根据本发明的实施例4提出的一种计算机可读存储介质，其上存储有可擦写的计算机程序；
当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行上述的基于增强现实技术的航空发动机综合健康管理方法。
本发明通过构造航空发动机的三维虚拟模型；收集文本可视化规则，收集航空发动机的健康状态特征向量集合、部件健康状态标签向量集合以及健康状态标签集合，以健康状态特征向量集合作为输入，部件健康状态标签向量集合、健康状态标签集合作为输出，训练出预测航空发动机健康状态标签以及各个部件位置部件健康状态标签的健康状态预测模型，基于接收的非测试航空发动机的实时的健康状态特征向量和健康状态预测模型，获得健康状态预测模型输出的非测试航空发动机的健康状态标签，以及各个部件位置的部件健康状态标签，摄像头捕获实时现实场景；基于文本可视化规则、三维虚拟模型以及实时现实场景，将各个部件位置的健康状态标签和部件健康状态标签在现实场景中进行可视化展示；通过分析各个部件位置的部件健康状态标签以及航空发动机的健康状态标签，使用增强现实设备以直观的视觉冲击向用户展示各个部件和航空发动机的健康状态，从而提高对各个部件健康状况的直观认识，提高了健康管理效率。
附图说明
图1为本发明的实施例1中基于增强现实技术的航空发动机综合健康管理方法的流程图；
图2为本发明的实施例2中基于增强现实技术的航空发动机综合健康管理系统的模块连接关系图；
图3为本发明实施例3中的电子设备结构示意图；
图4为本发明实施例4中的计算机可读存储介质结构示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1
如图1所示，基于增强现实技术的航空发动机综合健康管理方法，用于增强现实设备中，包括以下步骤：
步骤一：构造航空发动机的三维虚拟模型；收集文本可视化规则；
步骤二：收集航空发动机的健康状态特征向量集合、部件健康状态标签向量集合以及健康状态标签集合；
步骤三：以健康状态特征向量集合作为输入，部件健康状态标签向量集合、健康状态标签集合作为输出，训练出预测航空发动机的健康状态标签以及各个部件位置的部件健康状态标签的健康状态预测模型；
步骤四：基于接收的非测试航空发动机的实时的健康状态特征向量和健康状态预测模型，获得健康状态预测模型输出的非测试航空发动机的健康状态标签，以及各个部件位置的部件健康状态标签；
步骤五：捕获实时现实场景；基于文本可视化规则、三维虚拟模型以及实时现实场景，将各个部件位置的部件健康状态标签和健康状态标签在现实场景中进行可视化展示；
其中，所述构造航空发动机的三维虚拟模型的方式为：
使用三维建模工具进行三维虚拟模型构建；
在一个优选的实施例中，使用三维建模工具进行三维虚拟模型构建可以包括：
获取航空发动机设计数据，包括其几何结构、构件位置及相对关系；
基于所述航空发动机设计数据，使用三维建模工具进行三维虚拟模型构建，确定各部件的位置和几何属性，以保证三维虚拟模型中各个部件的位置关系，与现实场景中航空发动机中各个部件的位置关系一致；具体的，所述部件包括但不限于发动机外壳前部、发动机外壳中部、发动机外壳后部、冷却系统、润滑系统、燃烧室以及排气系统；
其中，所述收集文本可视化规则的方式为：
增强现实设备接收外部输入的文本可视化规则或自适应地生成文本可视化规则；
在一个优选的实施例中，由人工在增强现实设备的交互界面向系统后台输入的文本可视化规则；
在另一个优选的实施例中，还可以通过根据增强现实设备的摄像头所捕获的现实场景的环境数据以及用户的眼疾数据，使用预设的可视化规则自适应算法进行自动调节，以保证用户可以清晰地看到增强现实设备在现实场景中显示的文本；所述环境数据可以包括光照强度、自然背景以及视线距离等；所述眼疾数据可以包括是否色盲、近视、远视或散光等；所述可视化规则自适应算法可以通过预先建立环境数据、眼疾数据以及文本可视化规则的对照表格实现，也可以通过使用机器学习算法进行自适应学习；
所述文本可视化规则包括但不限于文字字体、文字颜色、文字大小、文字透明度以及文字间距等；
优选的，所述收集航空发动机的健康状态特征向量集合、部件健康状态标签向量集合以及健康状态标签集合的方式为：
由各个物理特征传感器实时收集的数据组成健康状态特征向量集合；
由各个部件位置的部件健康状态标签组成部件健康状态标签向量集合；
根据各个部件位置的部件健康状态标签获得航空发动机的健康状态标签；
在一个优选的实施例中，组成健康状态特征向量集合的方式可以为：
在测试航空发动机上安装各个物理特征对应的物理特征传感器，优选的，所述物理特征包括但不限于各个部件表面温度、压力、振动、润滑油温度、冷却液温度、转速以及空气流量传感器；各个物理特征传感器实时收集对应的物理特征值，将每个测试航空发动机在发动时的各个物理特征值的平均值组成的向量作为健康状态特征向量；
在一个优选的实施例中，组成部件健康状态标签向量集合的方式可以包括：
选择N个不同测试航空发动机，所有测试航空发动机中包含若干未发生故障的航空发动机以及若干在不同的部件位置存在故障的航空发动机；N为选择的测试航空发动机的数量；
为每台测试航空发动机设置一组部件健康状态标签向量，所述部件健康状态标签向量中每个元素分别对应一个部件位置，每个元素的值对应该部件位置的故障状态；所述故障状态的取值范围为[0,1]；具体的，当测试航空发动机的该部件位置故障时，故障状态的取值为1，对应的，当部件位置未故障时，故障状态对应的取值为0；所述部件健康状态标签向量集合包括所有测试航空发动机的部件健康状态标签向量；
在一个优选的实施例中，获得航空发动机的健康状态标签的方式为：
所述健康状态标签的取值范围为[0,1]；当测试航空发动机中存在部件位置故障时，测试航空发动机对应的健康状态标签为1，对应的，当测试航空发动机中不存在部件位置故障时，测试航空发动机对应的健康状态标签为0；所述健康状态标签集合包括所有测试航空发动机的健康状态标签；
训练出预测航空发动机的健康状态标签以及各个部件位置的部件健康状态标签的健康状态预测模型的方式为：
构造贝叶斯网络的网络结构；
具体的，所述构造贝叶斯网络的网络结构的方式为：
构造层数为三层的贝叶斯网络模型；其中，第一层中的网络节点数量为健康状态特征向量中的元素数量，第一层中每个网络节点分别对应一个物理特征；其中，第二层中的网络节点数量为部件健康状态标签向量中的元素数量，第二层中每个网络节点分别对应一个部件位置；其中，第三层中的网络节点数量为1，第三层中的网络节点对应于健康状态标签；第一层中的每个网络节点具有一条有向边指向第二层中的每个网络节点，第二层中的每个网络节点具有一条有向边指向第三层中的网络节点；
将健康状态特征向量集合中每个测试航空发动机的健康状态特征向量作为贝叶斯网络模型的第一层的输入，所述贝叶斯网络模型以对第二层网络节点和第三层的网络节点的预测的概率值作为网络输出，以测试航空发动机的对应的部件健康状态标签向量作为第二层网络节点的预测输出，以测试航空发动机的对应的健康状态标签作为第三层网络节点的预测输出；以最小化对所有网络输出和预测输出的预测误差均值之和作为预测目标；对贝叶斯网络模型进行训练，直至预测误差均值之和达到收敛时停止训练，训练出根据健康状态特征向量集合输出预测的健康状态标签以及各个部件位置的部件健康状态标签的贝叶斯网络模型；可以理解的是，预测输出的部件健康状态标签以及预测输出的健康状态标签分别对应于各个部件位置的故障的概率以及航空发动机的故障概率；
需要说明的是，预测误差均值的计算公式为：，其中，c为健康状态特征向量的编号，zc为预测误差均值，i为部件位置的编号，I为部件位置的数量；aci为第c组健康状态特征向量对应的第二层网络节点中第i个网络输出，wci为第c组健康状态特征向量对应的第二层网络节点中第i个预测输出；ac为第c组健康状态特征向量对应的第三层网络节点的网络输出，wc为第c组健康状态特征向量对应的第三层网络节点的预测输出；
优选的，所述实时的健康状态特征向量为在非测试航空发动机实际运行过程中，通过各个物理特征对应的物理特征传感器实时收集并发送至增强现实设备中的对应的物理特征所组成的向量；
优选的，所述获得健康状态预测模型输出的非测试航空发动机的健康状态标签，以及各个部件位置的部件健康状态标签的方式为：
将非测试航空发动机的实时的健康状态特征向量输入至健康状态预测模型中，获得健康状态预测模型中第二层网络节点输出的各个部件位置的预测的部件健康状态标签，以及第三层网络节点输出的对航空发动机预测的健康状态标签；
将各个部件位置的部件健康状态标签和健康状态标签在现实场景中进行可视化展示包括以下步骤：
步骤101：获得非测试航空发动机的位置，增强现实设备的位置以及观看视角的角度；可以理解的是，使用者的位置可以通过定位装置获得，观看视角的角度可以通过电子陀螺仪获得；
步骤102：建立三维虚拟模型与现实场景的坐标对应关系；
在一个优选的实施例中，建立三维虚拟模型与现实场景的坐标对应关系的方式可以为：
建立三维虚拟模型中的三维坐标系，通过仿射变换以及透视变换将三维虚拟模型中的三维坐标系映射为现实场景中的三维坐标系；在三维虚拟模型中的三维坐标系中，预先获得各个部件位置对应的相对的三维坐标；需要说明的是，所述三维坐标系可以为地心惯性坐标系(ECI)，WGS84坐标系，也可为CGCS2000坐标系；
步骤103：基于坐标对应关系，获得增强现实设备以及非测试航空发动机的在三维虚拟模型的三维坐标系中的三维坐标；
在一个优选的实施例中，所述获得增强现实设备以及非测试航空发动机的在三维虚拟模型的三维坐标系中的三维坐标的方式可以为：
基于非测试航空发动机的位置和增强现实设备的位置分别获得现实场景三维坐标系中非测试航空发动机的三维坐标以及增强现实设备的三维坐标，将现实场景三维坐标系中，非测试航空发动机的三维坐标以及增强现实设备的三维坐标分别映射至三维虚拟模型的三维坐标系中；
步骤104：基于增强现实设备和非测试航空发动机的在三维虚拟模型的三维坐标系中的三维坐标以及坐标对应关系，使用文本可视化规则可视化展示部件健康状态标签以及健康状态标签；
在一个优选的实施例中，可视化展示部件健康状态标签以及健康状态标签的方式为：
根据三维虚拟模型的非测试航空发动机的三维坐标以及各个部件位置对应的相对的三维坐标，获得其中各个部件位置对应的三维坐标；将各个部件位置对应的三维坐标映射至现实场景的三维坐标系中，增强现实设备使用文本可视化规则在非测试航空发动机的现实场景的三维坐标处展示健康状态标签，以及在各个部件位置对应的现实场景的三维坐标处展示对应的部件健康状态标签。
实施例2
如图2所示，基于增强现实技术的航空发动机综合健康管理系统，包括管理数据收集模块、模型训练模块、健康状态标签计算模块以及增强现实展示模块；其中，各个模块之间通过电性连接；
其中，所述管理数据收集模块主要用于构造航空发动机的三维虚拟模型；收集文本可视化规则，收集航空发动机的健康状态特征向量集合、部件健康状态标签向量集合以及健康状态标签集合；并将文本可视化规则发送至增强现实展示模块，将健康状态特征向量集合、部件健康状态标签向量集合以及健康状态标签集合发送至模型训练模块；
其中，所述模型训练模块主要用于以健康状态特征向量集合作为输入，部件健康状态标签向量集合、健康状态标签集合作为输出，训练出预测航空发动机的健康状态标签以及各个部件位置的部件健康状态标签的健康状态预测模型；并将健康状态预测模型发送至健康状态标签计算模块；
其中，所述健康状态标签计算模块主要用于基于接收的非测试航空发动机的实时的健康状态特征向量和健康状态预测模型，获得健康状态预测模型输出的非测试航空发动机的健康状态标签，以及各个部件位置的部件健康状态标签；并将健康状态标签以及部件健康状态标签发送至增强现实展示模块；
其中，所述增强现实展示模块主要用于捕获实时现实场景；基于文本可视化规则、三维虚拟模型以及实时现实场景，将各个部件位置的部件健康状态标签和健康状态标签在现实场景中进行可视化展示。
实施例3
图3是本申请一个实施例提供的电子设备结构示意图。如图3所示，根据本申请的又一方面还提供了一种电子设备100。该电子设备100可包括一个或多个处理器以及一个或多个存储器。其中，存储器中存储有计算机可读代码，计算机可读代码当由一个或多个处理器运行时，可以执行如上所述的基于增强现实技术的航空发动机综合健康管理方法。
根据本申请实施方式的方法或系统也可以借助于图3所示的电子设备的架构来实现。如图3所示，电子设备100可包括总线101、一个或多个CPU102、ROM103、RAM104、连接到网络的通信端口105、输入/输出组件106、硬盘107等。电子设备100中的存储设备，例如ROM103或硬盘107可存储本申请提供的基于增强现实技术的航空发动机综合健康管理方法。基于增强现实技术的航空发动机综合健康管理方法可例如包括以下步骤：步骤一：构造航空发动机的三维虚拟模型；收集文本可视化规则；步骤二：收集航空发动机的健康状态特征向量集合、部件健康状态标签向量集合以及健康状态标签集合；步骤三：以健康状态特征向量集合作为输入，部件健康状态标签向量集合、健康状态标签集合作为输出，训练出预测航空发动机的健康状态标签以及各个部件位置的部件健康状态标签的健康状态预测模型；步骤四：基于接收的非测试航空发动机的实时的健康状态特征向量和健康状态预测模型，获得健康状态预测模型输出的非测试航空发动机的健康状态标签，以及各个部件位置的部件健康状态标签；步骤五：捕获实时现实场景；基于文本可视化规则、三维虚拟模型以及实时现实场景，将各个部件位置的部件健康状态标签和健康状态标签在现实场景中进行可视化展示。
进一步地，电子设备100还可包括用户界面108。当然，图3所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图3示出的电子设备中的一个或多个组件。
实施例4
图4是本申请一个实施例提供的计算机可读存储介质结构示意图。如图4所示，是根据本申请一个实施方式的计算机可读存储介质200。计算机可读存储介质200上存储有计算机可读指令。当计算机可读指令由处理器运行时，可执行参照以上附图描述的根据本申请实施方式的基于增强现实技术的航空发动机综合健康管理方法。计算机可读存储介质200包括但不限于例如易失性存储器和/或非易失性存储器。易失性存储器例如可包括RAM和cache等。非易失性存储器例如可包括ROM、硬盘、闪存等。
另外，根据本申请的实施方式，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质存储有机器可读指令，所述机器可读指令能够由处理器运行以执行与本申请提供的方法步骤对应的指令，在该计算机程序被CPU执行时，执行本申请的方法中限定的上述功能。
可能以许多方式来实现本申请的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
另外，本申请的实施方式中提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
如上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明。应理解的是，以上所述仅为本发明的具体实施方式，并不用于限制本发明。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等均应包含在本发明的保护范围之内。
以上的预设的参数或预设的阈值均由本领域的技术人员根据实际情况设定或者大量数据模拟获得。
以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。
Claims (9)
1.基于增强现实技术的航空发动机综合健康管理方法，其特征在于，包括以下步骤：
构造航空发动机的三维虚拟模型；收集文本可视化规则；
收集航空发动机的健康状态特征向量集合、部件健康状态标签向量集合以及健康状态标签集合；
以健康状态特征向量集合作为输入，部件健康状态标签向量集合、健康状态标签集合作为输出，训练出预测航空发动机的健康状态标签以及各个部件位置的部件健康状态标签的健康状态预测模型；
基于接收的非测试航空发动机的实时的健康状态特征向量和健康状态预测模型，获得健康状态预测模型输出的非测试航空发动机的健康状态标签，以及各个部件位置的部件健康状态标签；
捕获实时现实场景；基于文本可视化规则、三维虚拟模型以及实时现实场景，将各个部件位置的部件健康状态标签和健康状态标签在现实场景中进行可视化展示；
训练出预测航空发动机的健康状态标签以及各个部件位置的部件健康状态标签的健康状态预测模型的方式为：
构造贝叶斯网络的网络结构；
将健康状态特征向量集合中每个测试航空发动机的健康状态特征向量作为贝叶斯网络模型的第一层的输入，所述贝叶斯网络模型以对第二层网络节点和第三层的网络节点的预测的概率值作为网络输出，以测试航空发动机的对应的部件健康状态标签向量作为第二层网络节点的预测输出，以测试航空发动机的对应的健康状态标签作为第三层网络节点的预测输出；以最小化对所有网络输出和预测输出的预测误差均值之和作为预测目标；对贝叶斯网络模型进行训练，直至预测误差均值之和达到收敛时停止训练；
所述构造贝叶斯网络的网络结构的方式为：
构造层数为三层的贝叶斯网络模型；
将第一层中的网络节点数量设置为健康状态特征向量中的元素数量；
将第二层中的网络节点数量设置为部件健康状态标签向量中的元素数量；
将第三层中的网络节点数量设置为1；
其中，第一层中的每个网络节点具有一条有向边指向第二层中的每个网络节点，第二层中的每个网络节点具有一条有向边指向第三层中的网络节点；
其特征在于，预测误差均值的计算公式为：，其中，c为健康状态特征向量的编号，zc为预测误差均值，i为部件位置的编号，I为部件位置的数量；aci为第c组健康状态特征向量对应的第二层网络节点中第i个网络输出，wci为第c组健康状态特征向量对应的第二层网络节点中第i个预测输出；ac为第c组健康状态特征向量对应的第三层网络节点的网络输出，wc为第c组健康状态特征向量对应的第三层网络节点的预测输出。
2.根据权利要求1所述的基于增强现实技术的航空发动机综合健康管理方法，其特征在于，所述构造航空发动机的三维虚拟模型的方式为：
使用三维建模工具进行三维虚拟模型构建。
3.根据权利要求2所述的基于增强现实技术的航空发动机综合健康管理方法，其特征在于，所述收集文本可视化规则的方式为：
增强现实设备接收外部输入的文本可视化规则或自适应地生成文本可视化规则。
4.根据权利要求3所述的基于增强现实技术的航空发动机综合健康管理方法，其特征在于，所述收集航空发动机的健康状态特征向量集合、部件健康状态标签向量集合以及健康状态标签集合的方式为：
由各个物理特征传感器实时收集的数据组成健康状态特征向量集合；
由各个部件位置的部件健康状态标签组成部件健康状态标签向量集合；
根据各个部件位置的部件健康状态标签获得航空发动机的健康状态标签。
5.根据权利要求4所述的基于增强现实技术的航空发动机综合健康管理方法，其特征在于，所述获得健康状态预测模型输出的非测试航空发动机的健康状态标签，以及各个部件位置的部件健康状态标签的方式为：
将非测试航空发动机的实时的健康状态特征向量输入至健康状态预测模型中，获得健康状态预测模型中第二层网络节点输出的各个部件位置的预测的部件健康状态标签，以及第三层网络节点输出的对航空发动机预测的健康状态标签。
6.根据权利要求5所述的基于增强现实技术的航空发动机综合健康管理方法，其特征在于，将各个部件位置的部件健康状态标签和健康状态标签在现实场景中进行可视化展示包括以下步骤：
步骤101：获得非测试航空发动机的位置，增强现实设备的位置以及观看视角的角度；
步骤102：建立三维虚拟模型与现实场景的坐标对应关系；
步骤103：基于坐标对应关系，获得增强现实设备以及非测试航空发动机的在三维虚拟模型的三维坐标系中的三维坐标；
步骤104：基于增强现实设备和非测试航空发动机的在三维虚拟模型的三维坐标系中的三维坐标以及坐标对应关系，使用文本可视化规则可视化展示部件健康状态标签以及健康状态标签。
7.基于增强现实技术的航空发动机综合健康管理系统，其基于权利要求1-6任意一项所述的基于增强现实技术的航空发动机综合健康管理方法实现，其特征在于，包括管理数据收集模块、模型训练模块、健康状态标签计算模块以及增强现实展示模块；其中，各个模块之间通过电性连接；
管理数据收集模块，用于构造航空发动机的三维虚拟模型；收集文本可视化规则，收集航空发动机的健康状态特征向量集合、部件健康状态标签向量集合以及健康状态标签集合；并将文本可视化规则发送至增强现实展示模块，将健康状态特征向量集合、部件健康状态标签向量集合以及健康状态标签集合发送至模型训练模块；
模型训练模块，用于以健康状态特征向量集合作为输入，部件健康状态标签向量集合、健康状态标签集合作为输出，训练出预测航空发动机的健康状态标签以及各个部件位置的部件健康状态标签的健康状态预测模型；并将健康状态预测模型发送至健康状态标签计算模块；
健康状态标签计算模块，用于基于接收的非测试航空发动机的实时的健康状态特征向量和健康状态预测模型，获得健康状态预测模型输出的非测试航空发动机的健康状态标签，以及各个部件位置的部件健康状态标签；并将健康状态标签以及部件健康状态标签发送至增强现实展示模块；
增强现实展示模块，用于捕获实时现实场景；基于文本可视化规则、三维虚拟模型以及实时现实场景，将各个部件位置的部件健康状态标签和健康状态标签在现实场景中进行可视化展示。
8.一种电子设备，其特征在于，包括：处理器和存储器，其中：
所述存储器中存储有可供处理器调用的计算机程序；
所述处理器通过调用所述存储器中存储的计算机程序，在后台中执行权利要求1-6任意一项所述基于增强现实技术的航空发动机综合健康管理方法。
9.一种计算机可读存储介质，其特征在于，其上存储有可擦写的计算机程序；
当所述计算机程序在计算机设备上运行时，使得所述计算机设备在后台中执行权利要求1-6任意一项所述基于增强现实技术的航空发动机综合健康管理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311167925.0A CN116910920B (zh) | 2023-09-12 | 2023-09-12 | 基于增强现实技术的航空发动机综合健康管理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311167925.0A CN116910920B (zh) | 2023-09-12 | 2023-09-12 | 基于增强现实技术的航空发动机综合健康管理系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116910920A CN116910920A (zh) | 2023-10-20 |
| CN116910920B true CN116910920B (zh) | 2023-12-05 |
Family
ID=88358709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311167925.0A Active CN116910920B (zh) | 2023-09-12 | 2023-09-12 | 基于增强现实技术的航空发动机综合健康管理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116910920B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109814537A (zh) * | 2019-03-01 | 2019-05-28 | 中国航空无线电电子研究所 | 一种无人机地面站健康评估方法 |
| WO2021101527A1 (en) * | 2019-11-19 | 2021-05-27 | Google Llc | Ar-assisted synthetic data generation for training machine learning models |
| CN113686788A (zh) * | 2021-09-18 | 2021-11-23 | 重庆星视空间科技有限公司 | 一种基于遥感波段组合的常规水质监测系统和方法 |
| CN114707234A (zh) * | 2022-03-03 | 2022-07-05 | 电子科技大学 | 一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法 |
| CN114783601A (zh) * | 2022-03-28 | 2022-07-22 | 腾讯科技（深圳）有限公司 | 一种生理数据的分析方法、装置、电子设备和存储介质 |
| CN114969990A (zh) * | 2022-08-02 | 2022-08-30 | 中国电子科技集团公司第十研究所 | 一种多模型融合的航空电子产品健康评估方法 |
| CN115962100A (zh) * | 2022-12-02 | 2023-04-14 | 华能吐鲁番风力发电有限公司 | 一种风电机组状态监测系统 |
| CN116136926A (zh) * | 2021-11-18 | 2023-05-19 | 中国科学院沈阳自动化研究所 | 基于贝叶斯网络的水下机器人健康管理系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9256711B2 (en) * | 2011-07-05 | 2016-02-09 | Saudi Arabian Oil Company | Systems, computer medium and computer-implemented methods for providing health information to employees via augmented reality display |
-
2023
- 2023-09-12 CN CN202311167925.0A patent/CN116910920B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109814537A (zh) * | 2019-03-01 | 2019-05-28 | 中国航空无线电电子研究所 | 一种无人机地面站健康评估方法 |
| WO2021101527A1 (en) * | 2019-11-19 | 2021-05-27 | Google Llc | Ar-assisted synthetic data generation for training machine learning models |
| CN113686788A (zh) * | 2021-09-18 | 2021-11-23 | 重庆星视空间科技有限公司 | 一种基于遥感波段组合的常规水质监测系统和方法 |
| CN116136926A (zh) * | 2021-11-18 | 2023-05-19 | 中国科学院沈阳自动化研究所 | 基于贝叶斯网络的水下机器人健康管理系统 |
| CN114707234A (zh) * | 2022-03-03 | 2022-07-05 | 电子科技大学 | 一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法 |
| CN114783601A (zh) * | 2022-03-28 | 2022-07-22 | 腾讯科技（深圳）有限公司 | 一种生理数据的分析方法、装置、电子设备和存储介质 |
| CN114969990A (zh) * | 2022-08-02 | 2022-08-30 | 中国电子科技集团公司第十研究所 | 一种多模型融合的航空电子产品健康评估方法 |
| CN115962100A (zh) * | 2022-12-02 | 2023-04-14 | 华能吐鲁番风力发电有限公司 | 一种风电机组状态监测系统 |
Non-Patent Citations (4)
| Title |
|---|
| YUE ZHANG.Aeroengine Remaining Life Prediction Algorithm Based on Improved Differential Time Domain Features and LSTM.《2020 International Conference on Communications,Information System and Computer Engineering(CISCE)》.2020,摘要. * |
| 多元特征融合的涡扇发动机剩余寿命预测;蒋朝云;《化工自动化及仪表》;全文 * |
| 故障影响下航空发动机剩余寿命预测方法研究;林正;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;全文 * |
| 航空电子系统故障预测与健康管理技术探究;宁亚锋;安芳利;;《科技资讯》(34);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116910920A (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102229594B1 (ko) | 디스플레이 스크린 품질 검출 방법, 장치, 전자기기 및 저장매체 | |
| JP6405320B2 (ja) | 物的資産の改良された自動外観検査のための方法およびシステム | |
| CN111881804B (zh) | 基于联合训练的姿态估计模型训练方法、系统、介质及终端 | |
| CN113537374B (zh) | 一种对抗样本生成方法 | |
| US11823394B2 (en) | Information processing apparatus and method for aligning captured image and object | |
| CN113936122A (zh) | 一种虚实融合维修性试验场景构建方法、装置和设备 | |
| WO2021228966A1 (en) | Method of converting time series data into an image | |
| CN115168868A (zh) | 一种应用于人工智能的业务漏洞分析方法及服务器 | |
| Gupta et al. | Online monitoring for neural network based monocular pedestrian pose estimation | |
| CN116071836A (zh) | 基于深度学习的船员异常行为检测与身份识别方法 | |
| CN116910920B (zh) | 基于增强现实技术的航空发动机综合健康管理系统及方法 | |
| Wong et al. | Automatic borescope damage assessments for gas turbine blades via deep learning | |
| JP2021089116A (ja) | 情報処理装置、情報処理方法、プログラム及び学習済みモデルの生成方法 | |
| WO2020010033A1 (en) | Building maintaining method and system | |
| CN112380968A (zh) | 检测方法、装置、电子设备及存储介质 | |
| CN112288883A (zh) | 作业指导信息的提示方法、装置、电子设备及存储介质 | |
| US20230177883A1 (en) | Computer-aided identification of ergonomic risk | |
| CN116778581A (zh) | 一种基于改进YOLOv7模型的考场异常行为检测方法 | |
| CN111445519A (zh) | 一种工业机器人三维姿态估计方法、装置及存储介质 | |
| WO2018212023A1 (ja) | 対象物識別装置を構築する構築方法、記憶装置、設定装置、及び対象物識別方法 | |
| CN113239861B (zh) | 驾驶员头部动作的确定方法、存储介质、电子装置 | |
| CN115185792A (zh) | 故障硬件处理方法、装置和系统 | |
| CN115620033A (zh) | 用于检查物体的方法 | |
| CN113989920A (zh) | 一种基于深度学习的运动员行为质量评估方法 | |
| US20240112447A1 (en) | Learning device, learning method, inference device, inference method, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |