CN116136923A - 用于载具的数字孪生生成和记录 - Google Patents

用于载具的数字孪生生成和记录 Download PDF

Info

Publication number
CN116136923A
CN116136923A CN202211359940.0A CN202211359940A CN116136923A CN 116136923 A CN116136923 A CN 116136923A CN 202211359940 A CN202211359940 A CN 202211359940A CN 116136923 A CN116136923 A CN 116136923A
Authority
CN
China
Prior art keywords
components
model
component
image
interior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211359940.0A
Other languages
English (en)
Inventor
M·J·布朗
A·卢茨
H·萨勒
A·古德哈特
M·马兹尼卡尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN116136923A publication Critical patent/CN116136923A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/006—Indicating maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D11/00—Passenger or crew accommodation; Flight-deck installations not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • B64F5/40—Maintaining or repairing aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/18—Details relating to CAD techniques using virtual or augmented reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/20—Configuration CAD, e.g. designing by assembling or positioning modules selected from libraries of predesigned modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Optimization (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)

Abstract

本申请涉及用于载具的数字孪生生成和记录。本公开生成载具的内部的数字孪生以引发和跟踪维护问题。在一个方面，使用载具的内部的多个所捕获的图像来形成数字孪生，其中，使用机器学习(ML)模型来标识那些图像中的多个组件。然后，将由ML模型所标识出的组件映射至该组件的模型(例如，3D模型)，该模型列出了这些组件在载具中的位置以及标识符(例如，零件号或序列号)。以这种方式，数字孪生可以使用标识符来标识由摄像机捕获的图像中的各种组件。

Description

用于载具的数字孪生生成和记录
技术领域
本公开的各方面涉及生成载具的内部的数字孪生(digital twin)。更特别地，各方面涉及使用数字孪生来发起和跟踪维护动作。
背景技术
通常使用物理日志簿来跟踪在飞行器的舱室中执行的维护。在标识维护问题之后，机组乘务员(或其它航空公司雇员)在日志簿中添加指示需要维护的组件、组件的问题、及其在飞行器中的位置的条目。然而，条目的准确性取决于雇员的知识，雇员可能以不同的方式或措辞来描述维护问题。雇员可能未提供维护问题的准确描述，或者认为问题是针对第一组件(例如，扶手)的，但该问题实际上是针对不同的组件(例如，靠背)。在读取日志簿中的条目之后，维护人员可能首先必须直接评估该维护问题，以在检索或订购替换组件之前诊断问题。这种不安全性会大大增加维护时间。此外，依靠物理日志簿来跟踪维护问题并未提供评估条目的高效方式，诸如获知哪些组件最可能有故障。
发明内容
本公开提供了一种方法，在一个方面，所述方法包括以下步骤：接收载具的内部的模型，其中，该模型定义载具的内部的组件的位置以及组件标识符；使用一个或更多个摄像机捕获载具的内部的图像；使用机器学习(ML)模型标识图像中的组件；以及将由ML模型所标识出的组件映射至模型中的组件，以生成载具的数字孪生，其中，数字孪生使由ML模型所标识出的组件与来自模型的组件标识符相关。
在一个方面，结合上面或下面的任何示例方法，将由ML模型所标识出的组件映射至模型中的组件的步骤包括：标识与图像相关联的位置；使与图像相关联的位置与模型中的组件的位置相关；以及基于使与图像相关联的位置与模型中的组件的位置相关，来将模型中的组件标识符指派给由ML模型所标识出的组件。
在一个方面，结合上面或下面的任何示例方法，模型是载具的内部的3D模型。
在一个方面，结合上面或下面的任何示例方法，模型是载具的内部的3D计算机辅助设计(CAD)。
在一个方面，结合上面或下面的任何示例方法，所述方法包括以下步骤：接收载具的内部中的组件的组件标识符；接收载具的内部中的组件的位置；以及基于组件的组件标识符和位置来生成3D CAD。
在一个方面，结合上面或下面的任何示例方法，所述方法在生成数字孪生之后，包括以下步骤：接收载具的内部的包括需要维护的第一组件的图像；使用第一ML模型来标识图像中的多个组件；基于与图像相关联的位置，将所述多个组件映射至数字孪生中的组件子集；接收这样的选择，即将组件子集中的一个组件选择为需要维护的第一组件；以及使用从数字孪生得到的第一组件的组件标识符，来派遣维护以修复需要维护的第一组件。
在一个方面，结合上面或下面的任何示例方法，所述方法在派遣维护之后，包括以下步骤：更新数字孪生，以包括以下项中的至少一项：(i)指示修理了第一组件的记录，或者(ii)在将第一组件替换为不同的组件的情况下的经更新的组件标识符。
在一个方面，结合上面或下面的任何示例方法，所述方法在将所述多个组件映射至数字孪生中的组件子集之后，包括以下步骤：发送组件子集的多个标签以在用户装置上显示，其中，用户装置捕获图像并且提供增强现实(AR)体验，该AR体验允许用户选择组件子集中的一个组件作为需要维护的第一组件。
在一个方面，本公开提供了一种系统，该系统包括：处理器；以及存储器，该存储器包括指令，该指令在由处理器执行时，使得系统能够执行操作。该操作包括：接收载具的内部的模型，该模型定义载具的内部的组件的位置以及组件标识符；使用一个或更多个摄像机捕获载具的内部的图像；使用机器学习(ML)模型标识图像中的组件；以及将由ML模型所标识出的组件映射至模型中的组件，以生成载具的数字孪生，其中，数字孪生使由ML模型所标识出的组件与来自模型的组件标识符相关。
在一个方面，结合上面或下面的任何示例系统，将由ML模型所标识出的组件映射至模型中的组件的步骤包括：标识与图像相关联的位置；使与图像相关联的位置与模型中的组件的位置相关；以及基于使与图像相关联的位置与模型中的组件的位置相关，来将模型中的组件标识符指派给由ML模型所标识出的组件。
在一个方面，结合上面或下面的任何示例系统，模型是载具的内部的3D计算机辅助设计(CAD)。
在一个方面，结合上面或下面的任何示例系统，该操作包括：接收载具的内部中的组件的组件标识符；接收载具的内部中的组件的位置；以及基于组件的组件标识符和位置来生成3D CAD。
在一个方面，结合上面或下面的任何示例系统，该操作在生成数字孪生之后，包括：接收载具的内部的包括需要维护的第一组件的图像；使用第一ML模型来标识图像中的多个组件；基于与图像相关联的位置，将所述多个组件映射至数字孪生中的组件子集；接收这样的选择，即将组件子集中的一个组件选择为需要维护的第一组件；以及使用从数字孪生得到的第一组件的组件标识符，来派遣维护以修复需要维护的第一组件。
在一个方面，结合上面或下面的任何示例系统，该操作在派遣维护之后，包括：更新数字孪生，以包括以下项中的至少一项：(i)指示修理了第一组件的记录，或者(ii)在将第一组件替换为不同的组件的情况下的经更新的组件标识符。
在一个方面，结合上面或下面的任何示例系统，该操作在将所述多个组件映射至数字孪生中的组件子集之后，包括：发送组件子集的多个标签以在用户装置上显示，其中，用户装置捕获图像并且提供增强现实(AR)体验，该AR体验允许用户选择组件子集中的一个组件作为需要维护的第一组件。
在一个方面，本公开提供了一种方法，所述方法包括以下步骤：接收载具的内部的数字孪生，该数字孪生包括(i)从捕获载具的内部的图像中标识的载具的内部中的组件，以及(ii)载具的内部中的组件的组件标识符和位置；在接收到数字孪生之后，接收载具的内部的包括需要维护的第一组件的图像；使用ML模型来标识图像中的多个组件；基于与图像相关联的位置，将由ML模型所标识出的所述多个组件映射至数字孪生中的组件子集；接收这样的选择，即将组件子集中的一个组件选择为需要维护的第一组件；使用从数字孪生得到的第一组件的组件标识符，来派遣维护以修复需要维护的第一组件。
在一个方面，结合上面或下面的任何示例方法，所述方法在派遣维护之后，包括以下步骤：更新数字孪生，以包括以下项中的至少一项：(i)指示修复第一组件的记录，或者(ii)在将第一组件替换为不同的组件时的经更新的组件标识符。
在一个方面，结合上面或下面的任何示例方法，所述方法在将所述多个组件映射至数字孪生中的组件子集之后，包括以下步骤：发送组件子集的多个标签以在用户装置上显示，其中，用户装置捕获图像并且提供增强现实(AR)体验，该AR体验允许用户选择组件子集中的一个组件作为需要维护的第一组件。
在一个方面，结合上面或下面的任何示例方法，所述方法包括以下步骤：从用户装置接收与图像相关联的位置，其中，该用户装置被配置成，使用AR体验来标识与图像相关联的位置。
在一个方面，结合上面或下面的任何示例方法，所述方法在接收选择(即将组件子集中的一个组件选择为需要维护的第一组件)之后，包括以下步骤：发送用于标识伴随需要维护的第一组件的问题的判定树，以在用户装置上显示并且使用AR体验。
附图说明
按照可以详细理解上述特征的方式，上面简要概述的更具体描述可以参照示例方面进行，其中一些在附图中进行了例示。
图1例示了根据本公开的各方面的用于生成飞行器的舱室的数字孪生的系统。
图2是根据本公开的各方面的用于生成飞行器的舱室的数字孪生的流程图。
图3例示了根据本公开的各方面的飞行器的舱室的一部分的3D模型。
图4是根据本公开的各方面的用于使用数字孪生来标识需要维护的组件的流程图。
图5例示了根据本公开的各方面的用于与数字孪生对接以标识需要维护的组件的用户装置。
具体实施方式
本公开生成载具的内部的数字孪生以引发和跟踪维护问题。在一个方面，使用载具的内部的多个所捕获的图像来形成数字孪生，其中，使用一个或更多个机器学习(ML)模型来标识那些图像中的多个组件。然后，将由ML模型所标识出的组件映射至该组件的模型(例如，3D CAD模型)，该模型列出了这些组件在载具中的位置以及标识符(例如，零件号或序列号)。以这种方式，数字孪生可以标识由摄像机捕获的图像中的各种组件，并使这些组件与来自模型的标识符相关。
当在载具中标识出维护问题时，人员可以使用用户装置来捕获需要维护的组件的图像或视频。使用ML模型(其可以是被用于生成数字孪生的同一ML模型)，用户装置可以标识图像中的组件。通过知道所标识的组件在图像中的位置，用户装置可以将所标识的组件与数字孪生中的组件进行匹配。当人员选择所标识的组件之一作为需要维护的组件时，数字孪生可以提供该组件的标识符(例如，零件号)。知道了这一点，维护人员可以去往载具之前带上可能需要的替换零件。此外，用户装置可以显示判定树以缩小问题(例如，扶手中的USB端口被阻塞，或者控制座椅斜倚的扶手上的按钮不起作用)。也可以将该信息报告给维护人员。此外，随着飞行器中的零件被替换，可以对数字孪生进行更新，从而其继续跟踪飞行器中的物理零件。
虽然以下各方面讨论了生成和使用用于飞行器的数字孪生，但是这些方面同样可以应用于生成用于诸如汽车、卡车、轮船、潜水艇、坦克等的任何类型的载具的数字孪生。
图1例示了根据本公开的各方面的用于生成飞行器的舱室160的数字孪生145的系统100。系统100包括用于生成数字孪生145的、包括处理器110和存储器115的计算系统105。处理器110表示任何数量的处理元件(例如，中央处理单元)，其每一者可包括任何数量的处理核心。
存储器115可以包括：易失性存储器、非易失性存储器、及其组合。如图所示，存储器115包括：舱室160的布局120、用于生成舱室160的2D或3D模型的模型生成器135、以及用于标识舱室160中的各种组件或零件的ML模型150。
布局120包括舱室160中的组件的组件标识符125和位置130。在一个方面，布局120是由飞行器的制造商、或者改装舱室的内部的第三方生成的。例如，航空公司运营商可以从制造商订购全部具有舱室160的相同布局120的多个飞行器，或者布局120可以针对特定飞行器定制化。组件标识符125可以是标识舱室160中的组件的序列号、零件号、或两者。例如，舱室160中的各个座椅皆可以是相同的并且具有相同的序列号。另外或者另选地，座椅可以具有唯一地标识该座椅的零件号。可以将序列号或零件号作为组件标识符125存储在布局120中。
位置130可以是舱室160中的组件的2D或3D位置。位置130标识各个组件位于舱室中的什么地方。在一个方面，位置130和组件标识符125是以一对一的关系映射的，从而标识舱室160中的各个组件及其位置。
模型生成器135(例如，软件应用)可以使用布局120来生成舱室160的舱室模型140。例如，模型生成器135可以输出舱室160的3D舱室模型140(例如，计算机辅助设计(CAD))。模型生成器135可以使用位置130和组件标识符125，来标识舱室160中的所有组件及其相对位置，以便生成舱室模型140。模型生成器135可以在物理舱室160已被组装之前生成舱室模型140。即，为了生成舱室模型140，模型生成器135仅需要由布局120提供的舱室160的设计。
使用舱室模型140和舱室160的所捕获的图像，模型生成器135生成数字孪生145。即，在已经组装或完成舱室160之后，可以使用摄像机165(或多个摄像机)来捕获舱室160中的组件的图像。例如，摄像机165可以是3D摄像机，其移动通过舱室160以捕获飞行器的内部的图像(例如，视频)。
在一个方面，计算系统105使用ML模型150来标识或分类由摄像机165捕获的图像中的组件。例如，可以对ML模型150进行训练，以识别舱室160中的所有组件，诸如座椅、扶手、头顶箱、厨房设备、盥洗室设备、灯具、窗罩、呼叫按钮、信息娱乐系统等。ML模型150可以是计算机视觉系统的部分，该计算机视觉系统评估所捕获的图像并且标识图像中的组件。在一个方面，对ML模型150进行训练，以识别一定数量的物品，即，舱室160中的物品。在一些示例中，ML模型150表示卷积神经网络、深度神经网络、k均值聚类、支持向量机、或者适合于计算机视觉的任何其它类型的ML算法。
一旦ML模型150标识出图像中的组件，模型生成器135就将这些组件映射至舱室模型140中的组件。在一个方面，将从图像中标识的现实组件一对一地映射至舱室模型140中的组件。可以通过将图像中的组件的位置与舱室模型140中的组件的位置进行匹配来执行该映射。例如，摄像机165可以捕获舱室160中的第10排处的座椅和头顶箱的图像。然后，模型生成器135可以将这些座椅和头顶箱指派给舱室模型140中同一排的座椅和头顶箱的组件标识符125。以这种方式，数字孪生将现实组件链接或映射至它们在舱室模型140中的组件标识符125。如下面更详细描述的，然后，可以将数字孪生145用于执行维护操作，并且在替换不同组件时跟踪舱室160中的当前组件。
图2是根据本公开的各方面的用于生成飞行器的舱室的数字孪生的方法200的流程图。在框205处，模型生成器(例如，图1中的模型生成器135)接收飞行器舱室中的组件的标识符。这些组件标识符可以是零件号、序列号等。可以将组件标识符用于区分不同的座椅(例如，由不同制造商制造的座椅、或者不同类型的座椅(诸如标准或高级))。在一个方面，组件标识符唯一地标识来自相同类型的其它座椅的座椅，但这不是必需的。例如，舱室中的所有相同类型的座椅(例如，所有标准座椅)可以具有相同的组件标识符，而不是唯一的零件号。在任何情况下，组件是由零件号或者由模型或舱室内的位置唯一地标识的。
在一个方面，组件标识符是由制造商或者设计飞行器的舱室的任何一方提供的。组件标识符可以是列出舱室中的所有组件(诸如座椅、扶手、头顶箱、厨房设备、盥洗室设备、灯具、窗罩、呼叫按钮、信息娱乐系统等)的布局(例如，图1中的布局120)的部分。布局可以是列出这些组件的任何数据结构，诸如电子表格、数据库等。
在框210处，模型生成器接收舱室中的组件的位置。在一个方面，该位置对应于组件位于舱室中的点或体积。例如，各个组件皆可以具有限定其位于舱室中的3D空间中的什么地方的对应位置。然而，该位置可以不必是3D位置。在一些方面，位置可以是可以被用于生成舱室的2D模型的组件的2D位置(例如，舱室的自顶向下视图)。此外，可以在包括组件标识符的相同布局中提供位置。
在框215处，模型生成器生成飞行器舱室的模型。在一个方面，该模型(例如，图1中的舱室模型140)是舱室中的组件和结构的3D模型。在一个方面，3D模型是CAD模型。
图3例示了根据本公开的各方面的飞行器的舱室的一部分的3D模型。在该示例中，舱室模型140包括：头顶箱305、座椅310、窗户315、以及形成飞行器的舱室的设计的其它未标记的组件或结构。在一个方面，模型生成器使用在方法200的框205和210处接收的组件标识符和位置来生成舱室模型140。因此，舱室模型140是舱室的模拟或设计，而不是实际的物理舱室的图片或图像。
在一个方面，舱室模型140可以由第三方制备并且由飞行器制造商接收。在该情况下，可以从方法200中省略框205和210。
在框220处，一个或更多个摄像机捕获飞行器舱室的图像。即，在完成(或改装)舱室之后，可以贯穿舱室设置或承载摄像机，从而捕获舱室中的各种组件的图像。例如，可以将3D摄像机安装在舱室中的不同位置处(例如，每一排处、厨房中、盥洗室中等)以捕获这些位置处的组件的图像。
在框225处，ML模型(例如，图1中的ML模型150)标识图像中的组件。ML模型可以是能够标识和标记图像中的组件的计算机视觉系统的部分。在一个方面，对ML模型进行训练，以识别舱室中的组件。因此，被用于标识飞行器的舱室中的组件的ML模型可以不同于被用于标识汽车的舱室或船舶的内部中的组件的ML模型。在任何情况下，ML模型不限于任何特定类型的ML算法，而是可以包括适于检测图像或视频中的对象的任何算法。
在框230处，模型生成器将所标识的组件映射至舱室模型中的组件以生成数字孪生。即，模型生成器使来自图像的组件(在框220处由ML模型所标识出)与在框215处生成的舱室模型中的对应组件相关或匹配。在一个方面，模型生成器可以使用组件的相应位置来关联这些组件。例如，模型生成器可以知道捕获图像的摄像机的位置，并因此，标识图像中的组件的位置(例如，排号、3D坐标、或边界体积)。然后，模型生成器可以搜索舱室模型以标识该位置处的相同组件。例如，如果ML模型在所捕获的图像中标识出第10排处的头顶箱，则模型生成器可以将该头顶箱与舱室模型中第10排处的头顶箱匹配。以这种方式，可以将由ML模型所标识出的标签连同组件的位置一起用于将组件映射或关联至舱室模型中的对应组件。这样做允许模型生成器将相同的组件标识符指派给数字孪生中的组件。例如，假设舱室模型中的各个座椅皆具有不同的序列号，在将图像中示出的座椅映射至舱室模型中的它们的对应座椅之后，模型生成器可以将被存储在舱室模型中的组件标识符指派给数字孪生中的由图像捕获的座椅。
在一个方面，数字孪生包括舱室的所捕获的图像，其中，这些图像中的各种现实组件被指派了组件标识符。这样，数字孪生将舱室中的现实组件映射至它们的组件标识符，这有助于改进维护操作和跟踪舱室中的组件，如下面更详细地讨论的。在一个方面，将数字孪生中的图像拼接在一起以形成类似于图3中的模型140的飞行器的舱室的视图，除了示出了现实组件而不是组件的CAD模型。
图4是根据本公开的各方面的用于使用数字孪生来标识需要维护的组件的方法400的流程图。在一个方面，方法400发生在使用例如图2中的方法200创建了数字孪生之后。在一个方面，可以将方法400用于对舱室中的已经坏掉或者在其它方面有故障的组件执行维护。
在框405处，雇员捕获舱室中的需要维护的组件的图像。雇员可以是乘务员、检查员、库存人员、飞行员、或者负责维护舱室中的组件的任何人。在一个方面，客户可以使用例如航空公司的app来捕获需要维护的组件的图像，以便自我报告维护问题。
可以使用诸如智能手机或平板电脑的用户装置来捕获图像。用户装置可以包括网络连接(例如，蜂窝或Wi-Fi)，该网络连接可以将图像上载至维护处理器(例如，派遣和跟踪飞行器的维护请求的软件应用)。
在框410处，维护处理器确定是否可以标识需要维护的组件的位置。在一个方面，维护处理器可以通过尝试将图像与数字孪生的一部分匹配来标识位置。即，由于数字孪生是从飞行器的图像形成的，因此，维护处理器可以使用图像匹配技术来确定它是否可以将所捕获的图像与数字孪生的一部分相匹配。例如，数字孪生的一些部分可以是唯一可标识的，诸如特定的厨房、或者通常具有座椅配置的排。
在另一方面，当用户装置捕获图像时，该用户装置报告其在舱室中的位置。例如，用户装置可以使用三角测量或者Wi-Fi定位技术，来确定在捕获图像时舱室中的特定位置。该位置可足以使维护处理器标识图像中所示的组件的位置(例如，第5排，或者最靠近驾驶舱的厨房)。
在另一方面，使用增强现实(AR)体验，用户装置可以首先要求用户移动至舱室中的预定点或位点，该预定点或位点允许用户装置标识其位置。例如，在捕获需要维护的组件的图像之前，用户可以将用户装置的摄像机指向飞行器中的特定位置(前乘客门或驾驶舱门)，从而用户装置可以接着标识该用户装置在飞行器中的位置。然后，用户可以移动或枢转用户装置以将其摄像机指向需要维护的组件。随着用户装置的移动，它可以连续捕获舱室的图像并且跟踪与这些图像中的组件相对应的位置。以这种方式，用户可以首先校准用户装置，从而可以在移动用户装置之前标识该用户装置的当前位置，直到该用户装置指向需要维护的组件。随着用户移动用户装置，该用户装置可以跟踪所捕获的图像中的组件的位置。例如，随着用户向后移动用户装置，该用户装置可以对所述排进行计数。因此，当用户将用户装置转向指向具有需要维护的组件的特定排时，该用户装置知道其摄像机面对着什么排，并且可以将该位置报告给维护处理器。
如果维护处理器无法确定组件的位置(或者未被告知组件的位置)，则方法400进行至框415，其中，用户装置提供提示以标识图像中组件的位置。例如，用户装置可以显示图形用户界面(GUI)或者询问框，从而询问用户输入排和座椅号，或者指定在图像中描绘哪个厨房或盥洗室。另选地，使用AR体验，用户装置可以要求用户将其摄像机指向参考点或校准点(例如，特定的乘客门或驾驶舱)，然后再次将用户装置的摄像机指向需要维护的组件。这样做可以允许用户装置校准其在飞行器内的位置，然后向维护处理器提供需要维护的组件的位置。
在框420处，维护处理器使用ML模型来标识图像中的组件。在一个方面，所述ML模型与被用于标识用于生成数字孪生的图像中的组件的ML模型相同。可以对这些ML模型进行训练以识别飞行器的舱室中的组件。然而，在另一方面，在方法400中使用的ML模型可以不同于在方法200中用于生成数字孪生的ML模型。
在框425处，维护处理器将所标识的组件映射至数字孪生中的组件。即，由于处理器知道所标识的组件在图像中的位置，因此，它可以使用这些位置来将所标识的组件映射至数字孪生中的组件的对应子集。例如，维护处理器可以从ML模型知道图像包括三个座椅。对应于图像的位置可以通知维护处理器这些座椅是第10排的座椅A、B、以及C。利用该信息，维护处理器可以将这些座椅映射至数字孪生中的第10排的座椅A、B、以及C。
在框430处，维护处理器接收对需要维护的组件的选择。即，由用户装置捕获的图像可以包括由ML模型所标识出的多个组件(例如，多个座椅、多个扶手、座椅、以及信息娱乐系统、头顶箱和呼叫按钮等)。维护处理器仅通过评估图像可能不知道哪个组件需要维护(例如，没有明显的损坏)。因此，用户装置可以显示GUI或询问框，从而询问用户确认图像中的哪个组件需要维护。该GUI或查询框可以标记或突出显示由ML模型所标识出的组件，然后要求用户选择这些组件中的一个组件。这在图5中示出。
图5例示了根据本公开的各方面的用于与数字孪生对接以标识需要维护的组件的用户装置500。用户装置500(例如，智能手机、平板电脑、膝上型电脑等)包括显示器505，该显示器用于显示由被集成到用户装置500中的摄像头(未示出)捕获的视场550。即，用户装置500的摄像头捕获舱室160的视图，该视图然后被显示在显示器505上。为了简单和易于解释，由用户装置500显示的图像仅包括一个座椅，尽管实际上所显示的图像可以看起来完全像具有多个座椅、窗户、以及其它结构的舱室160的视场550。
如上提及，ML模型可以接收由摄像头捕获的图像并且标识图像中的各种组件。在该示例中，ML模型已经标识了特定座椅中的各种组件，诸如座椅靠背、扶手、以及坐垫。作为响应，用户装置500输出包括用于由ML模型所标识出的组件的标签的按钮515。可以将按钮515设置在组件上或者具有使它们与图像中的特定组件匹配的一些其它指示器(例如，引线)。此外，用户装置可以向用户输出文本或音频指令，诸如“请选择那个组件需要维护”。然后，用户可以使用诸如手指、鼠标器、指示笔、跟踪板等的输入对象，来选择与需要维护的组件相对应的按钮515。
以这种方式，用户装置500可以向用户提供AR体验，其中，用户装置可以实时地向用户显示与ML模型所标识的组件相对应的按钮515。例如，如果用户移动用户装置，则该用户装置可以向ML模型发送经更新的图像，然后。ML模型可以标识已经移动到视场550中的任何新组件。实时地，用户装置500可以在显示器505上呈现与新标识的组件相对应的新按钮，同时移除与不再显示的组件(即，不再处于摄像头的视场550中的组件)相对应的任何按钮。随着用户移动用户装置500，可以更新AR体验。此外，随着ML模型标识新组件，维护处理器可以将这些组件映射至如上所述的数字孪生中它们的对应物。
返回到方法400，在框435处，维护处理器标识所选择的组件的问题。在一个方面，用户装置提示用户标识问题。例如，在用户选择组件之后，用户装置可以输出判定树以诊断该组件的问题。在一个方面，用户装置(或维护处理器)为舱室中的不同组件存储不同的判定树。扶手的判定树可以在用户装置上显示问题，诸如“扶手可以抬起吗？”或者“扶手上的座椅斜倚按钮起作用吗？”然而，座垫的判定树可以显示诸如“座垫被划破啦？”或者“座垫需要清洁吗？”的问题。判定树可以基于与所选择的组件相对应的公共或已知维护问题。提供判定树来诊断维护问题避免了纸日志簿的缺点，其中，可能不是维护技术人员的雇员必须描述组件的问题。这样，当使用判定树来诊断问题时，被派遣以修复该问题的维护技术人员可能更轻松于诊断是正确的，这意味着他们可以在他们检查组件本身之前抢先订购任何替换零件或者带着必要的工具。
在另一方面，用户装置允许用户键入维护问题的描述。该文本信息可以是用于在技术人员到达之前诊断维护问题的主要信息源，或者可以被用于补充从判定树获得的信息。
用户装置可以将其从用户获知的信息报告给维护处理器。然后，处理器可以处理该信息以标识组件的问题。
在框440处，维护处理器派遣维护以评估和修复问题。在一个方面，维护处理器开出票单。该票单可以包括组件的身份、组件的位置、以及组件的问题。在一个方面，因为所选择的组件与数字孪生中的对应组件匹配，所以该票单可以包括从数字孪生得到的组件的组件标识符。利用该信息，维护技术人员可以预先订购替换零件，而不必首先检查该组件。在一个方面，维护处理器可以使用组件标识符和问题的诊断来自动订购替换零件。例如，用户可能已经提供了维护处理器几乎总是知道需要更换组件的诊断。这样，当派遣票单时，维护处理器可以指示将替换组件带至飞行器，而不等待所指派的维护技术人员下订单。
在框445处，维护处理器更新数字孪生。无论技术人员是否能够修复组件(而不更换该组件)还是技术人员必须用新的组件更换该组件，都可以这样执行。数字孪生可以存储记录以跟踪组件被修复的频率。最后，如果组件被修理了阈值次数(在三年期间内三次)，那么维护处理器可以指示维护技术人员更换零件，即使她认为组件可以被再次修理。虽然这在前端可能花费更多(对于替换组件)，但是它仍然可以降低飞行器的总体维护成本，因为它可以减少向飞行器派遣维护的次数。或者，如果维护技术人员被派遣以修复有故障的组件，那么维护处理器可以标识在短期将来可能有故障的类似组件，并且请求技术人员也替换那些组件-即，执行抢先维护。
如果组件被替换，则维护处理器可以更新数字孪生，以存储新零件的组件标识符(假设它是不同的)。例如，有故障的信息娱乐系统可以由具有不同序列号的较新的型号替换，因为较旧的型号可能已经废止。更新数字孪生允许维护处理器更好地跟踪旧型号与新型号之间的失效率。此外，如果飞行器运营商决定要将所有信息娱乐系统升级为较新的型号，那么数字孪生已经跟踪哪些系统需要被替换以及哪些已经被替换。
使用以上方面，可以将数字孪生用于镜像或跟踪飞行器(或其它载具)的舱室中的物理组件。这可以通过向维护技术人员提供准确的组件标识符来减少维护时间和成本，以使可以在技术人员进入飞行器之前订购或获取替换组件和专用工具。此外，通过在维护任务发生时更新数字孪生，飞行器运营商可以在有缺陷组件的预期寿命之前标识磨损的这些组件并且标识抢先维护任务。
参照下列带编号的条款来提供对本公开的各方面中的至少一些方面的进一步理解，其中：
条款1：一种方法，所述方法包括以下步骤：接收载具的内部的模型，其中，所述模型定义所述载具的所述内部的组件的位置以及组件标识符；使用一个或更多个摄像机捕获载具的所述内部的图像；使用机器学习(ML)模型标识所述图像中的组件；以及将由所述ML模型所标识出的所述组件映射至所述模型中的所述组件，以生成所述载具的数字孪生，其中，所述数字孪生使由所述ML模型所标识出的所述组件与来自所述模型的所述组件标识符相关。
条款2：根据条款1以及条款3至8中的任一条款所述的方法，其中，将由所述ML模型所标识出的所述组件映射至所述模型中的所述组件的步骤包括：标识与所述图像相关联的位置；使与所述图像相关联的位置与所述模型中的所述组件的位置相关；以及基于使与所述图像相关联的位置与所述模型中的所述组件的位置相关，来将所述模型中的所述组件标识符指派给由所述ML模型所标识出的所述组件。
条款3：根据条款1至2以及条款4至8中的任一条款所述的方法，其中，所述模型是所述载具的所述内部的3D模型。
条款4：根据条款1至3以及条款5至8中的任一条款所述的方法，其中，所述模型是所述载具的所述内部的3D计算机辅助设计(CAD)。
条款5：根据条款1至4以及条款6至8中的任一条款所述的方法，其中，所述方法包括以下步骤：接收所述载具的所述内部中的所述组件的所述组件标识符；接收所述载具的所述内部中的所述组件的位置；以及基于所述组件的所述组件标识符和位置来生成所述3D计算机辅助设计CAD。
条款6：根据条款1至5以及条款7至8中的任一条款所述的方法，其中，所述方法在生成所述数字孪生之后，还包括以下步骤：接收所述载具的所述内部的包括需要维护的第一组件的图像；使用第一ML模型来标识所述图像中的多个组件；基于与所述图像相关联的位置，将所述多个组件映射至所述数字孪生中的组件子集；接收这样的选择，即将所述组件子集中的一个组件选择为需要维护的所述第一组件；以及使用从所述数字孪生得到的所述第一组件的组件标识符，来派遣维护以修复需要维护的所述第一组件。
条款7：根据条款6所述的方法，其中，在派遣维护之后，更新所述数字孪生，以包括以下项中的至少一项：(i)指示修理了所述第一组件的记录，或者(ii)在将所述第一组件替换为不同的组件的情况下的经更新的组件标识符。
条款8：根据条款6或7所述的方法，在将所述多个组件映射至所述数字孪生中的组件子集之后，发送所述组件子集的多个标签以在用户装置上显示，其中，所述用户装置捕获了所述图像并且提供增强现实(AR)体验，所述AR体验允许用户选择所述组件子集中的一个组件作为需要维护的所述第一组件。
条款9：一种系统，所述系统包括：处理器；以及存储器，所述存储器包括指令，所述指令在由所述处理器执行时，使得所述系统能够执行操作。所述操作包括：接收载具的内部的模型，所述模型定义所述载具的所述内部的组件的位置以及组件标识符；使用一个或更多个摄像机捕获载具的所述内部的图像；使用机器学习(ML)模型标识所述图像中的组件；以及将由所述ML模型所标识出的所述组件映射至所述模型中的所述组件，以生成所述载具的数字孪生，其中，所述数字孪生使由所述ML模型所标识出的所述组件与来自所述模型的所述组件标识符相关。
条款10：根据条款9以及条款11至15中的任一条款所述的方法，其中，将由所述ML模型所标识出的所述组件映射至所述模型中的所述组件的步骤包括：标识与所述图像相关联的位置；使与所述图像相关联的位置与所述模型中的所述组件的位置相关；以及基于使与所述图像相关联的位置与所述模型中的所述组件的位置相关，来将所述模型中的所述组件标识符指派给由所述ML模型所标识出的所述组件。
条款11：根据条款9至10以及条款12至15中的任一条款所述的系统，其中，所述模型是所述载具的所述内部的3D计算机辅助设计(CAD)。
条款12：根据条款9所述的系统，其中，所述操作包括：接收所述载具的所述内部中的所述组件的所述组件标识符；接收所述载具的所述内部中的所述组件的位置；以及基于所述组件的所述组件标识符和位置来生成所述3D计算机辅助设计CAD。
条款13：根据条款9至12以及条款14至15中的任一条款所述的系统，其中，在生成所述数字孪生之后，所述操作包括：接收所述载具的所述内部的包括需要维护的第一组件的图像；使用第一ML模型来标识所述图像中的多个组件；基于与所述图像相关联的位置，将所述多个组件映射至所述数字孪生中的组件子集；接收这样的选择，即将所述组件子集中的一个组件选择为需要维护的所述第一组件；以及使用从所述数字孪生得到的所述第一组件的组件标识符，来派遣维护以修复需要维护的所述第一组件。
条款14：根据条款13或15所述的系统，其中，在派遣维护之后，更新所述数字孪生，以包括以下项中的至少一项：(i)指示修理了所述第一组件的记录，或者(ii)在将所述第一组件替换为不同的组件的情况下的经更新的组件标识符。
条款15：根据条款13或14所述的系统，其中，在将所述多个组件映射至所述数字孪生中的组件子集之后，所述操作还包括：发送所述组件子集的多个标签以在用户装置上显示，其中，所述用户装置捕获了所述图像并且提供增强现实(AR)体验，所述AR体验允许用户选择所述组件子集中的一个组件作为需要维护的所述第一组件。
条款16：一种方法，所述方法包括以下步骤：接收载具的内部的数字孪生，所述数字孪生包括(i)从捕获的所述载具的所述内部的图像中标识的所述载具的所述内部中的组件，以及(ii)所述载具的所述内部中的所述组件的组件标识符和位置；在接收到所述数字孪生之后，接收所述载具的所述内部的包括需要维护的第一组件的图像；使用ML模型来标识所述图像中的多个组件；基于与所述图像相关联的位置，将由所述ML模型所标识出的所述多个组件映射至所述数字孪生中的组件子集；接收这样的选择，即将所述组件子集中的一个组件选择为需要维护的所述第一组件；以及使用从所述数字孪生得到的所述第一组件的组件标识符，来派遣维护以修复需要维护的所述第一组件。
条款17：根据条款16或者条款18至20中的任一条款所述的方法，在派遣维护之后，更新所述数字孪生，以包括以下项中的至少一项：(i)指示修复所述第一组件的记录，或者(ii)在将所述第一组件替换为不同的组件时的经更新的组件标识符。
条款18：根据条款16至17或者条款19至20中的任一条款所述的方法，在将所述多个组件映射至所述数字孪生中的组件子集之后，发送所述组件子集的多个标签以在用户装置上显示，其中，所述用户装置捕获了所述图像并且提供增强现实(AR)体验，所述AR体验允许用户选择所述组件子集中的一个组件作为需要维护的所述第一组件。
条款19：根据条款18或20中的任一条款所述的方法，所述方法还包括以下步骤：从所述用户装置接收与所述图像相关联的位置，其中，所述用户装置被配置成，使用AR体验来标识与所述图像相关联的位置。
条款20：根据条款18或19中的任一条款所述的方法，所述方法在接收这样的选择，即将所述组件子集中的一个组件选择为需要维护的所述第一组件之后，还包括以下步骤：发送用于标识伴随需要维护的所述第一组件的问题的判定树，以在所述用户装置上显示并且使用所述AR体验。
在当前的公开中，对各方面进行了说明。然而，应理解，本公开不限于具体描述的方面。而相反，以下特征和要素的任意组合无论是否与不同的方面有关都可以被设想成实现和实践本文所提供的教导。另外，当以“A和B中的至少一个”的形式来描述各方面的要素时，将理解，排它地包括要素A、排它地包括要素B以及包括要素A和B的各方面皆可加以考虑。而且，尽管一些方面可以实现超过其它可能解决方案和/或超过现有技术的优点，但是无论是否由给定方面实现特定优点都不限制本公开。因此，本文所公开的方面、特征、方面以及优点仅是例示性的，并且除非在权利要求中进行了明确陈述，否则不视为所附权利要求的要素或限制。同样地，对“本发明”的引用不应被解释为本文所公开的任何发明主题的归纳，并且除非在权利要求中进行了明确陈述，否则不应被视为所附权利要求的要素或限制。
如本领域技术人员应意识到，可以将本文所描述的各方面具体实施为系统、方法或者计算机程序产品。因此，各方面可以采取本文可以完全通称为“电路”、“模块”或“系统”的全部硬件方面、全部软件方面(包括固件、驻留软件、微代码等)或者组合软件和硬件方面的方面的形式。而且，本文所描述的各方面可以采取在其上具体实施有计算机可读程序代码的一个或更多个计算机可读存储介质中具体实施的计算机程序产品的形式。
在计算机可读存储介质上具体实施的程序代码可以使用任何适当的介质进行传输，包括但不限于，无线、有线、光缆、RF等，或者前述任何合适组合。
用于执行本公开的各方面的操作的计算机程序代码可以以一种或更多种编程语言的任何组合进行编写，包括面向对象的编程语言(诸如Java、Smalltalk、C++等)以及常规过程化编程语言(诸如“C”编程语言或类似的编程语言)。程序代码可以全部在用户的计算机上执行、部分地在用户的计算机上执行、作为独立的软件包执行、部分地在用户的计算机上且部分地在远程计算机上执行、或者全部在远程计算机或服务器上执行。在后一种场景中，可以将远程计算机通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接至用户的计算机，或者可以与外部计算机建立连接(例如，通过使用互联网服务提供商的互联网)。
本文参照根据本公开的各方面的方法、设备(系统)以及计算机程序产品的流程图例示和/或框图描述了本公开的各方面。应理解，可以通过计算机程序指令来实现流程图例示和/或框图中的各个框以及该流程图例示和/或框图中的框的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机或者用于生成机器的其它可编程数据处理设备的处理器，使得经由该计算机或其它可编程数据处理设备的处理器执行的这些指令创建用于实现在该流程图例示或框图的框中指定的功能/行为的装置(means)。
这些计算机程序指令还可以存储在计算机可读介质中，该计算机程序指令可以指导计算机、其它可编程数据处理设备或者其它装置以特定方式起作用，以使存储在计算机可读介质中的指令生成包括实现在该流程图例示和/或框图的框中指定的功能/行为的指令的制品。
该计算机程序指令还可以加载到计算机、其它可编程数据处理设备或者其它装置上，以使在该计算机、其它可编程设备或者其它装置上执行一系列可操作步骤，来生成计算机实现处理，使得在该计算机、其它可编程数据处理设备或者其它装置上执行的这些指令提供用于实现在该流程图例示和/或框图的框中指定的功能/行为的处理。
附图中的流程图例示和框图例示了根据本公开的各方面的系统、方法以及计算机程序产品的可能实现的架构、功能以及操作。在这点上，所述流程图例示或框图中的各个框皆可以表示包括用于实现所指定的逻辑功能的一个或更多个可执行指令的模块、程序段或代码部分。还应注意，在一些另选实现中，该框中提到的功能可以出现在图中所提到的次序之外。例如，根据所涉及功能，接连示出的两个框事实上可以大致同时执行，或者这些框有时可以按逆序或者无序执行。还应注意，框图和/或流程图例示中的各个框，以及框图和/或流程图例示中的框的组合可以通过执行指定功能或行为的基于专用硬件的系统或者专用硬件与计算机指令的组合来实现。
虽然前述内容是针对本公开的各方面的，但是可以在不脱离本公开的基本范围的情况下，设想本公开的其它和进一步的方面，并且本公开的范围通过所附权利要求来确定。

Claims (10)

1.一种方法，所述方法包括以下步骤：
接收载具的内部的模型，所述模型定义所述载具的所述内部的组件的位置以及组件标识符；
使用一个或更多个摄像机捕获载具的所述内部的图像；
使用机器学习ML模型标识所述图像中的组件；以及
将由所述ML模型所标识出的组件映射至所述模型中的组件，以生成所述载具的数字孪生，其中，所述数字孪生使由所述ML模型所标识出的组件与来自所述模型的所述组件标识符相关。
2.根据权利要求1所述的方法，其中，将由所述ML模型所标识出的组件映射至所述模型中的组件的步骤包括：
标识与所述图像相关联的位置；
使与所述图像相关联的位置与所述模型中的组件的位置相关；以及
基于使与所述图像相关联的位置与所述模型中的组件的位置相关，来将所述模型中的所述组件标识符指派给由所述ML模型所标识出的组件。
3.根据权利要求1所述的方法，其中，所述模型是所述载具的所述内部的3D模型。
4.根据权利要求3所述的方法，其中，所述模型是所述载具的所述内部的3D计算机辅助设计CAD。
5.根据权利要求4所述的方法，所述方法还包括以下步骤：
接收所述载具的所述内部中的组件的所述组件标识符；
接收所述载具的所述内部中的组件的位置；以及
基于所述组件的所述组件标识符和所述位置来生成所述3D计算机辅助设计CAD。
6.根据权利要求1所述的方法，所述方法在生成所述数字孪生之后，还包括以下步骤：
接收所述载具的所述内部的包括需要维护的第一组件的图像；
使用第一ML模型来标识所述图像中的多个组件；
基于与所述图像相关联的位置，将所述多个组件映射至所述数字孪生中的组件子集；
接收这样的选择，即将所述组件子集中的一个组件选择为需要维护的所述第一组件；以及
使用从所述数字孪生得到的所述第一组件的组件标识符，来派遣维护以修复需要维护的所述第一组件。
7.根据权利要求6所述的方法，所述方法在派遣维护之后，还包括以下步骤：
更新所述数字孪生，以包括以下项中的至少一项：(i)指示修理了所述第一组件的记录，或者(ii)在将所述第一组件替换为不同的组件的情况下的经更新的组件标识符。
8.根据权利要求6所述的方法，所述方法在将所述多个组件映射至所述数字孪生中的组件子集之后，还包括以下步骤：
发送所述组件子集的多个标签以在用户装置上显示，其中，所述用户装置捕获了所述图像并且提供增强现实AR体验，所述AR体验允许用户选择所述组件子集中的一个组件作为需要维护的所述第一组件。
9.一种系统，所述系统包括：
处理器；以及
存储器，该存储器包括指令，所述指令在由所述处理器执行时使得所述系统能够执行操作，所述操作包括：
接收载具的内部的模型，所述模型定义所述载具的所述内部的组件的位置以及组件标识符；
使用一个或更多个摄像机捕获载具的所述内部的图像；
使用机器学习ML模型标识所述图像中的组件；以及
将由所述ML模型所标识出的组件映射至所述模型中的组件，以生成所述载具的数字孪生，其中，所述数字孪生使由所述ML模型所标识出的组件与来自所述模型的所述组件标识符相关。
10.一种方法，所述方法包括以下步骤：
接收载具的内部的数字孪生，所述数字孪生包括(i)从捕获的所述载具的所述内部的图像中标识出的所述载具的所述内部中的组件，以及(ii)所述载具的所述内部中的所述组件的组件标识符和位置；
在接收到所述数字孪生之后，接收所述载具的所述内部的包括需要维护的第一组件的图像；
使用ML模型来标识所述图像中的多个组件；
基于与所述图像相关联的位置，将由所述ML模型所标识出的所述多个组件映射至所述数字孪生中的组件子集；
接收这样的选择，即将所述组件子集中的一个组件选择为需要维护的所述第一组件；以及
使用从所述数字孪生得到的所述第一组件的组件标识符，来派遣维护以修复需要维护的所述第一组件。
CN202211359940.0A 2021-11-16 2022-11-02 用于载具的数字孪生生成和记录 Pending CN116136923A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/527,824 2021-11-16
US17/527,824 US20230154240A1 (en) 2021-11-16 2021-11-16 Digital twin generation and logging for a vehicle

Publications (1)

Publication Number Publication Date
CN116136923A true CN116136923A (zh) 2023-05-19

Family

ID=84332316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211359940.0A Pending CN116136923A (zh) 2021-11-16 2022-11-02 用于载具的数字孪生生成和记录

Country Status (4)

Country Link
US (1) US20230154240A1 (zh)
EP (1) EP4181047A1 (zh)
JP (1) JP2023073967A (zh)
CN (1) CN116136923A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230245503A1 (en) * 2022-02-02 2023-08-03 The Boeing Company Smart digital twin for monitoring a machine

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009058802B4 (de) * 2009-12-18 2018-03-29 Airbus Operations Gmbh Anordnung zur kombinierten Darstellung eines realen und eines virtuellen Modells
US8443301B1 (en) * 2010-09-27 2013-05-14 Darek Easterly Inspection reporting including a 3D vehicle model
US10139985B2 (en) * 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US10055876B2 (en) * 2014-06-06 2018-08-21 Matterport, Inc. Optimal texture memory allocation
GB2532772A (en) * 2014-11-27 2016-06-01 Airbus Operations Ltd Improvements in or relating to digital image correlation systems
US11273932B2 (en) * 2017-09-10 2022-03-15 Space Arena, Inc. Enclosures for facilitating activities in space, and associated systems and methods
US20190095877A1 (en) * 2017-09-26 2019-03-28 Panton, Inc. Image recognition system for rental vehicle damage detection and management
US11132479B1 (en) * 2017-12-29 2021-09-28 II John Tyson Augmented reality system for component assembly and archival baseline clone
US20190362235A1 (en) * 2018-05-23 2019-11-28 Xiaofan Xu Hybrid neural network pruning
US10905337B2 (en) * 2019-02-26 2021-02-02 Bao Tran Hearing and monitoring system
US10410182B1 (en) * 2019-04-17 2019-09-10 Capital One Services, Llc Visualizing vehicle condition using extended reality
US11191423B1 (en) * 2020-07-16 2021-12-07 DOCBOT, Inc. Endoscopic system and methods having real-time medical imaging
KR20190096866A (ko) * 2019-07-31 2019-08-20 엘지전자 주식회사 차량 내부의 모니터링 방법 및 장치, 이를 위한 객체검출모델을 생성하는 3d 모델링부
US10607084B1 (en) * 2019-10-24 2020-03-31 Capital One Services, Llc Visual inspection support using extended reality
US11776330B2 (en) * 2019-12-09 2023-10-03 The Boeing Company Closed-loop diagnostic model maturation for complex systems
US11790669B2 (en) * 2020-04-27 2023-10-17 Nvidia Corporation Systems and methods for performing operations in a vehicle using gaze detection
US11079748B1 (en) * 2020-04-29 2021-08-03 Grale Technologies In-process digital twinning
EP4163740B1 (en) * 2021-10-11 2024-04-24 Hexagon Technology Center GmbH Digital twin

Also Published As

Publication number Publication date
US20230154240A1 (en) 2023-05-18
EP4181047A1 (en) 2023-05-17
JP2023073967A (ja) 2023-05-26

Similar Documents

Publication Publication Date Title
US8791823B2 (en) Aircraft part control system
US10635734B2 (en) System and method for utilizing a three dimensional model for accessing databases
US9740554B2 (en) Methods and systems for prioritizing replacement of at least one part for vehicle fault analysis
US20150081161A1 (en) Systems, article and methods for managing vehicle logistics including authored content generation, approval, and distribution
CN104102970B (zh) 不合格处可视化系统
US20110087513A1 (en) Method and system for managing a program relating to a product
CN105404268B (zh) 交通工具审核和交通工具系统的维护和诊断控制
CN105493083A (zh) 用于预评估车辆诊断和维修成本估计的系统和方法
CN105718624B (zh) 利用用于访问数据库的三维模型的系统和方法
CN104102760A (zh) 用于三维可视化的定位系统
US11776330B2 (en) Closed-loop diagnostic model maturation for complex systems
US8700253B2 (en) System and method for collecting defect data of components in a passenger cabin of a vehicle
CN116136923A (zh) 用于载具的数字孪生生成和记录
RU2760755C2 (ru) Система проверки летательного аппарата с визуализацией и записью
JP2013235585A (ja) コンポーネント構成システムおよびコンポーネント構成システムの操作方法
US11760507B2 (en) Onboard diagnosis and correlation of failure data to maintenance actions
TW201821993A (zh) 飛機故障處理系統和方法及電腦設備
CN114407812B (zh) 诊断数据库确定方法、装置、电子设备以及存储介质
US20220139541A1 (en) Part replacement registration tool
US11907913B2 (en) Maintaining an aircraft with automated acquisition of replacement aircraft parts
US9037693B2 (en) Locating and addressing communication devices
US20170091640A1 (en) System for maintenance of a manufactured product
US20220398871A1 (en) Repeated diagnostic reasoner use throughout service and maintenance of a vehicle
BR102023003203A2 (pt) Inspeção automática e conduzida de espaço interno
Zavatto et al. C-17 portable advanced diagnostic system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication