CN116485369A - 基于ar设备的飞机绕机检查辅助方法和系统 - Google Patents

基于ar设备的飞机绕机检查辅助方法和系统 Download PDF

Info

Publication number
CN116485369A
CN116485369A CN202310436566.8A CN202310436566A CN116485369A CN 116485369 A CN116485369 A CN 116485369A CN 202310436566 A CN202310436566 A CN 202310436566A CN 116485369 A CN116485369 A CN 116485369A
Authority
CN
China
Prior art keywords
point cloud
cloud data
aircraft
key component
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310436566.8A
Other languages
English (en)
Inventor
叶玮佳
贺宁
王瑾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Research Institute of CAAC
Original Assignee
Second Research Institute of CAAC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Research Institute of CAAC filed Critical Second Research Institute of CAAC
Priority to CN202310436566.8A priority Critical patent/CN116485369A/zh
Publication of CN116485369A publication Critical patent/CN116485369A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06Q50/2057—Career enhancement or continuing education service
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Operations Research (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于AR设备的飞机绕机检查辅助方法，包括：基于用户佩戴的AR设备获取目标飞机所处的真实环境的点云数据，得到环境点云数据；响应于接收到用户在所述环境点云数据中选择的关于目标飞机中的关键部件的关键部件点云数据，获取与接收到的关键部件点云数据对应的识别信息；基于接收到的对应的识别信息，所述用户对对应的关键部件进行检查，并将检查结果通过所述人机交互界面进行记录和发送；响应于接收到所述检查结果，对所述目标飞机的履历信息进行更新。本发明还提供一种基于AR设备的飞机绕机检查辅助系统。本发明能够提高维修效率。

Description

基于AR设备的飞机绕机检查辅助方法和系统
技术领域
本发明涉及维修培训领域，具体涉及一种基于AR设备的飞机绕机检查辅助方法和系统。
背景技术
机场机务人员是在飞机起飞前，进行飞机检查的机场工作人员。机务人员需要通过航前飞机检查，以发现飞机的发动机、起落架是否存在表面的机械故障等问题，并严格按照绕机检查的工作流程去进行航前检查，目前机务人员没有有效的科技手段帮助他们进行检查，检查的效率也比较低。
机务人员的工作影响着飞机航行的可靠性和安全性，只有保证航前检查工作的质量，才能保证飞机在航空运行中不出现差错，保证飞机上人员的生命安全。随着航线数量的快速增长，民航业内对机务人员的工作的要求也在日益提高，传统的方式已经不能满足社会的发展需求。加上现在的飞机越来越复杂，检查难度也越来越大，传统工作方式已经不能满足当今的需求，
发明内容
针对上述技术问题，本发明采用的技术方案为：
本发明实施例提供一种基于AR设备的飞机绕机检查辅助方法，包括以下步骤：
S100，基于用户佩戴的AR设备获取目标飞机所处的真实环境的点云数据，得到环境点云数据；
S200，响应于接收到用户在所述环境点云数据中选择的关于目标飞机中的关键部件的关键部件点云数据，获取与接收到的关键部件点云数据对应的识别信息并进行发送；所述识别信息至少包括关键部件的ID、三维模型和相关记录信息，并发送至所述AR设备；其中，所述相关记录信息在所述AR设备中以人机交互界面方式进行显示；所述相关记录信息至少包括维修参考数据；
S300，基于接收到的对应的识别信息，所述用户对对应的关键部件进行检查，并将检查结果通过所述人机交互界面进行记录和发送；
S400，响应于接收到所述检查结果，对所述目标飞机的履历信息进行更新。
本发明另一实施例提供一种基于AR设备的飞机绕机检查辅助系统，包括：通信连接的AR设备、处理器和模型库；所述模型库中存储有多个模型信息，每个模型信息包括对应的模型ID、三维模型和特征值；
所述AR设备用于供用户佩戴，用于执行如下操作：
S10，获取目标飞机所处的真实环境的点云数据，得到环境点云数据；
S12，在检测到所述用户在所述环境点云数据中选择的关于目标飞机中的关键部件的关键部件点云数据时，将对应的关键部件点云数据发送给所述处理器；
所述处理器用于执行如下操作：
S20，从所述模型库中获取与接收到的关键部件点云数据对应的识别信息并发送给所述AR设备；所述识别信息至少包括关键部件的ID、三维模型和相关记录信息，并发送至所述AR设备；其中，所述相关记录信息在所述AR设备中以人机交互界面方式进行显示；所述相关记录信息至少包括维修参考数据；
所述AR设备还用于执行如下操作：
S14，将接收到的对应的识别信息进行显示，以辅助所述用户对对应的关键部件进行检查，以及将所述用户生成的检查结果发送给所述处理器；
所述处理器还用于执行如下操作：
S22，响应于接收到所述检查结果，对所述目标飞机的履历信息进行更新。
本发明至少具有以下技术效果：
本发明结合AR设备例如增强现实眼镜和物体三维识别技术对真实场景下的民航飞机的关键部件进行识别，展示详细直观的民航飞机关键部件三维模型信息、维修信息、相应的维修参考视频/文件等，能够提高机务人员在飞机航前检查、机场飞机维修人员维修的效率等，此外通过与机场数据库连接，可以获知该飞机的历史维修检查等信息，提高飞机的安全性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于AR设备的飞机绕机检查辅助方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种基于AR设备的飞机绕机检查辅助方法，如图1所示，可包括以下步骤：
S100，基于用户佩戴的AR设备获取目标飞机所处的真实环境的点云数据，得到环境点云数据。
在本发明实施例中，AR设备可为AR眼镜，可为现有产品。优选，可为能够进行手势交互的AR眼镜，例如Hololens2。AR眼镜包含显示端和数据处理终端，为一体化设计，可进行轻量化数据处理，具备场景空间扫描功能，通过AR眼镜的深度摄像头可进行空间线图绘制，完成空间场景扫描与物体的定位，能够确定扫描物体在空间中的绝对位置。
在本发明实施例中，用户可为机场维修人员。目标飞机可为需要进行检修的飞机。
本领域技术人员知晓，通过AR设备获取环境点云数据的方法可为现有技术。
S200，响应于接收到用户在所述环境点云数据中选择的关于目标飞机中的关键部件的关键部件点云数据，获取与接收到的关键部件点云数据对应的识别信息并进行发送；所述识别信息至少包括关键部件的ID、三维模型和相关记录信息，并发送至所述AR设备；其中，所述相关记录信息在所述AR设备中以人机交互界面方式进行显示；所述相关记录信息至少包括维修参考数据。
在本发明实施例中，关键部件可基于实际需要进行设置，可为需要检查的部件，例如，可包括发动机、起落架等。关键部件的ID可为关键部件的名称，例如，某个飞机型号的发动机等。
在本发明实施例中，用户可按照设定流程对目标飞机的关键部件进行检查。当需要对某个关键部件进行检查时，可通过设定控制指令例如动作控制指令、语音控制指令或者文字控制指令等在AR设备的操作界面上选择对应的关键部件。
在本发明实施例中，可采用现有方法获取与接收到的关键部件点云数据对应的识别信息。例如，将获取的对获取的点云数据，进行滤波、去外点等处理，然后提取特征点并进行描述，然后使用kd-tree或ICP等算法进行匹配。经过特征点提取处理后与模型库中的相同类型飞机部件特征值进行对比，得到对应的识别信息。在本发明实施例中，模型库中的模型为通过CAD几何重建技术进行物体几何模型构建得到，每个模型的特征值使用LINEMOD等方法提取并加以描述。
在本发明实施例中，维修参考数据可包括文字、图片、视频中的一种或多种组合。
此外，所述相关记录信息还可包括：目标飞机的服役记录信息，以便用户知晓目标飞机的服役记录。
此外，在本发明实施例中，如果发送的关键部件是尾翼，则基于接收到的点云数据对尾翼编号进行获取，以便知确定目标飞机的机型，例如，通过OCR识别算法获取尾翼编号。
S300，基于接收到的对应的识别信息，所述用户对对应的关键部件进行检查，并将检查结果通过所述人机交互界面进行记录和发送。
关键部件的识别信息会在AR设备的显示端进行可视化显示，以便用户能够快速掌握目标飞机的相关数据。
进一步地，在本发明实施例中，S300还包括：
在对对应的关键部件的检查过程中，所述用户通过设定控制指令与所述人机交互界面以及所述关键部件的三维模型进行信息交互，例如可通过动作的交互方式，进行飞机发动机部件的拖拉、旋转、放大/缩小等操作，帮助机场工作人员选取合适观察关键部件模型的角度、大小，使用户更加有效的获取三维模型细节信息。用户通过与飞机的3D模型进行交互，能够感觉像是在真实的日常工作环境中工作，进而能够更加容易的记忆维修学习材料。
进一步地，在本发明实施例中，S300还包括：
在对对应的关键部件的检查过程中，如果存在不确定的检查问题，所述用户通过所述人机交互界面与远程控制端进行信息交互，以获取所述不确定的检查问题的解决方案。
这样，如果用户在绕飞检查过程中遇到不确定的问题时候，可以通过AR眼镜进行远程求助，通过和远程专家建立同屏共享的通讯连接，专家端可以使用文字、箭头、框等进行关键部位点的标注，并同步到现场工作人员眼镜端，更加高效的帮助机场工作人员解决现场问题。
S400，响应于接收到所述检查结果，对所述目标飞机的履历信息进行更新。
本发明实施例提供的基于AR设备的飞机绕机检查辅助方法，结合AR设备和物体三维识别技术对真实场景下的民航飞机的关键部件进行识别，展示详细直观的民航飞机关键部件三维模型信息、维修信息、相应的维修参考视频/文件等，能够提高机务人员在飞机航前检查、机场飞机维修人员维修的效率等，此外通过与机场数据库连接，可以获知该飞机的历史维修检查等信息，提高飞机的安全性。
本发明另一实施例提供一种基于AR设备的飞机绕机检查辅助系统，包括：通信连接的AR设备、处理器和模型库；所述模型库中存储有多个模型信息，每个模型信息包括对应的模型ID、三维模型和特征值。
所述AR设备用于供用户佩戴，用于执行如下操作：
S10，获取目标飞机所处的真实环境的点云数据，得到环境点云数据；
S12，在检测到所述用户在所述环境点云数据中选择的关于目标飞机中的关键部件的关键部件点云数据时，将对应的关键部件点云数据发送给所述处理器。
在本发明实施例中，AR设备可为AR眼镜，可为现有产品。优选，可为能够进行手势交互的AR眼镜，例如Hololens2。AR眼镜包含显示端和数据处理终端，为一体化设计，可进行轻量化数据处理，具备场景空间扫描功能，通过AR眼镜的深度摄像头可进行空间线图绘制，完成空间场景扫描与物体的定位，能够确定扫描物体在空间中的绝对位置。
在本发明实施例中，用户可为机场维修人员。目标飞机可为需要进行检修的飞机。
本领域技术人员知晓，通过AR设备获取环境点云数据的方法可为现有技术。
所述处理器用于执行如下操作：
S20，从所述模型库中获取与接收到的关键部件点云数据对应的识别信息并发送给所述AR设备；所述识别信息至少包括关键部件的ID、三维模型和相关记录信息，并发送至所述AR设备；其中，所述相关记录信息在所述AR设备中以人机交互界面方式进行显示；所述相关记录信息至少包括维修参考数据。
在本发明实施例中，关键部件可基于实际需要进行设置，可为需要检查的部件，例如，可包括发动机、起落架等。关键部件的ID可为关键部件的名称，例如，某个飞机型号的发动机等。
在本发明实施例中，用户可按照设定流程对目标飞机的关键部件进行检查。当需要对某个关键部件进行检查时，可通过设定控制指令例如动作控制指令、语音控制指令或者文字控制指令等在AR设备的操作界面上选择对应的关键部件。
在本发明实施例中，可采用现有方法获取与接收到的关键部件点云数据对应的识别信息。例如，将获取的对获取的点云数据，进行滤波、去外点等处理，然后提取特征点并进行描述，然后使用kd-tree或ICP等算法进行匹配。经过特征点提取处理后与模型库中的相同类型飞机部件特征值进行对比，得到对应的识别信息。在本发明实施例中，模型库中的模型为通过CAD几何重建技术进行物体几何模型构建得到，每个模型的特征值使用LINEMOD等方法提取并加以描述。
在本发明实施例中，维修参考数据可包括文字、图片、视频中的一种或多种组合。
此外，所述相关记录信息还可包括：目标飞机的服役记录信息，以便用户知晓目标飞机的服役记录。
此外，在本发明实施例中，如果发送的关键部件是尾翼，则基于接收到的点云数据对尾翼编号进行获取，以便知确定目标飞机的机型，例如，通过OCR识别算法获取尾翼编号。
所述AR设备还用于执行如下操作：
S14，将接收到的对应的识别信息进行显示，以辅助所述用户对对应的关键部件进行检查，以及将所述用户生成的检查结果发送给所述处理器。
关键部件的识别信息会在AR设备的显示端进行可视化显示，以便用户能够快速掌握目标飞机的相关数据。
进一步地，在本发明实施例中，在对对应的关键部件的检查过程中，所述用户通过设定控制指令与所述人机交互界面以及所述关键部件的三维模型进行信息交互，例如可通过动作的交互方式，进行飞机发动机部件的拖拉、旋转、放大/缩小等操作，帮助机场工作人员选取合适观察关键部件模型的角度、大小，使用户更加有效的获取三维模型细节信息。用户通过与飞机的3D模型进行交互，能够感觉像是在真实的日常工作环境中工作，进而能够更加容易的记忆维修学习材料。
进一步地，在本发明实施例中，在对对应的关键部件的检查过程中，如果存在不确定的检查问题，所述用户通过所述人机交互界面与远程控制端进行信息交互，以获取所述不确定的检查问题的解决方案。
这样，如果用户在绕飞检查过程中遇到不确定的问题时候，可以通过AR眼镜进行远程求助，通过和远程专家建立同屏共享的通讯连接，专家端可以使用文字、箭头、框等进行关键部位点的标注，并同步到现场工作人员眼镜端，更加高效的帮助机场工作人员解决现场问题。
所述处理器还用于执行如下操作：
S22，响应于接收到所述检查结果，对所述目标飞机的履历信息进行更新。
本发明实施例提供的基于AR设备的飞机绕机检查辅助系统，结合AR设备和物体三维识别技术对真实场景下的民航飞机的关键部件进行识别，展示详细直观的民航飞机关键部件三维模型信息、维修信息、相应的维修参考视频/文件等，能够提高机务人员在飞机航前检查、机场飞机维修人员维修的效率等，此外通过与机场数据库连接，可以获知该飞机的历史维修检查等信息，提高飞机的安全性。
本发明的实施例还提供了一种非瞬时性计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。
本发明的实施例还提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。
本发明的实施例还提供一种计算机程序产品，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使该电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的方法中的步骤。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。

Claims (7)

1.一种基于AR设备的飞机绕机检查辅助方法，其特征在于，包括以下步骤：
S100，基于用户佩戴的AR设备获取目标飞机所处的真实环境的点云数据，得到环境点云数据；
S200，响应于接收到用户在所述环境点云数据中选择的关于目标飞机中的关键部件的关键部件点云数据，获取与接收到的关键部件点云数据对应的识别信息并进行发送，所述识别信息至少包括关键部件的ID、三维模型和相关记录信息，并发送至所述AR设备；其中，所述相关记录信息在所述AR设备中以人机交互界面方式进行显示；所述相关记录信息至少包括维修参考数据；
S300，基于接收到的对应的识别信息，所述用户对对应的关键部件进行检查，并将检查结果通过所述人机交互界面进行记录和发送；
S400，响应于接收到所述检查结果，对所述目标飞机的履历信息进行更新。
2.根据权利要求1所述的方法，其特征在于，所述维修参考数据包括文字、图片、视频中的一种或多种组合。
3.根据权利要求1所述的方法，其特征在于，S300还包括：
在对对应的关键部件的检查过程中，所述用户通过设定控制指令与所述人机交互界面以及所述关键部件的三维模型进行信息交互。
4.根据权利要求3所述的方法，其特征在于，所述设定控制指令包括动作控制指令和语音控制指令。
5.根据权利要求1所述的方法，其特征在于，S300还包括：
在对对应的关键部件的检查过程中，如果存在不确定的检查问题，所述用户通过所述人机交互界面与远程控制端进行信息交互，以获取所述不确定的检查问题的解决方案。
6.根据权利要求1所述的方法，其特征在于，所述相关记录信息还包括：目标飞机的服役记录信息。
7.一种基于AR设备的飞机绕机检查辅助系统，其特征在于，包括：通信连接的AR设备、处理器和模型库；所述模型库中存储有多个模型信息，每个模型信息包括对应的模型ID、三维模型和特征值；
所述AR设备用于供用户佩戴，用于执行如下操作：
S10，获取目标飞机所处的真实环境的点云数据，得到环境点云数据；
S12，在检测到所述用户在所述环境点云数据中选择的关于目标飞机中的关键部件的关键部件点云数据时，将对应的关键部件点云数据发送给所述处理器；
所述处理器用于执行如下操作：
S20，从所述模型库中获取与接收到的关键部件点云数据对应的识别信息并发送给所述AR设备；所述识别信息至少包括关键部件的ID、三维模型和相关记录信息，并发送至所述AR设备；其中，所述相关记录信息在所述AR设备中以人机交互界面方式进行显示；所述相关记录信息至少包括维修参考数据；
所述AR设备还用于执行如下操作：
S14，将接收到的对应的识别信息进行显示，以辅助所述用户对对应的关键部件进行检查，以及将所述用户生成的检查结果发送给所述处理器；
所述处理器还用于执行如下操作：
S22，响应于接收到所述检查结果，对所述目标飞机的履历信息进行更新。
CN202310436566.8A 2023-04-21 2023-04-21 基于ar设备的飞机绕机检查辅助方法和系统 Pending CN116485369A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310436566.8A CN116485369A (zh) 2023-04-21 2023-04-21 基于ar设备的飞机绕机检查辅助方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310436566.8A CN116485369A (zh) 2023-04-21 2023-04-21 基于ar设备的飞机绕机检查辅助方法和系统

Publications (1)

Publication Number Publication Date
CN116485369A true CN116485369A (zh) 2023-07-25

Family

ID=87220876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310436566.8A Pending CN116485369A (zh) 2023-04-21 2023-04-21 基于ar设备的飞机绕机检查辅助方法和系统

Country Status (1)

Country Link
CN (1) CN116485369A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117874928A (zh) * 2024-03-11 2024-04-12 中国民用航空飞行学院 固定翼无人机v型尾翼轻量化设计方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117874928A (zh) * 2024-03-11 2024-04-12 中国民用航空飞行学院 固定翼无人机v型尾翼轻量化设计方法
CN117874928B (zh) * 2024-03-11 2024-05-14 中国民用航空飞行学院 固定翼无人机v型尾翼轻量化设计方法

Similar Documents

Publication Publication Date Title
US11030812B2 (en) Augmented reality system using enhanced models
CN111986178A (zh) 产品缺陷检测方法、装置、电子设备和存储介质
EP3367195B1 (en) Identifying a pathway for condition of assembly validation
CN111091625A (zh) 用于制造复合部件的增强现实系统
CN116485369A (zh) 基于ar设备的飞机绕机检查辅助方法和系统
Wang et al. Augmented reality in maintenance training for military equipment
CN113537374B (zh) 一种对抗样本生成方法
CN113674421A (zh) 3d目标检测方法、模型训练方法、相关装置及电子设备
CN115331002A (zh) 一种基于ar眼镜实现热力站故障远程处理方法
JP7421895B2 (ja) 物体に対する不適合データを可視化するための拡張現実システム
CN112949457A (zh) 基于增强现实技术的维修方法、装置及系统
WO2020245889A1 (ja) 点検装置、制御方法、及びプログラム
CN113298003B (zh) 一种基于ar的航空电缆装配系统及方法
Peng et al. Application of augmented reality for aviation equipment inspection and maintenance training
GB2566491A (en) Damage detection and repair system
CN115375855B (zh) 工程项目的可视化方法、装置、电子设备和可读介质
CN113298044B (zh) 基于定位补偿的障碍物检测方法、系统、设备及存储介质
US11551379B2 (en) Learning template representation libraries
CN113781653B (zh) 对象模型生成方法、装置、电子设备及存储介质
CN115494942A (zh) 一种基于增强现实的智能装配与运维指导方法、系统、装置及存储介质
JP2019175144A (ja) 建造物管理システム、学習装置、位置判定装置、及び位置判定方法
CN113592981A (zh) 图片标注方法、装置、电子设备和存储介质
Hu et al. A comprehensive solution for inspecting cable brackets in aircraft based on augmented reality and deep learning
CN117312992B (zh) 多视角人脸特征与音频特征融合的情绪识别方法及系统
EP4322108A1 (en) Verification of the correct presence of parts using contextual visualization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination