CN103314580B - 增强协作系统 - Google Patents

增强协作系统 Download PDF

Info

Publication number
CN103314580B
CN103314580B CN201180065070.XA CN201180065070A CN103314580B CN 103314580 B CN103314580 B CN 103314580B CN 201180065070 A CN201180065070 A CN 201180065070A CN 103314580 B CN103314580 B CN 103314580B
Authority
CN
China
Prior art keywords
information
image
user
display
personnel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180065070.XA
Other languages
English (en)
Other versions
CN103314580A (zh
Inventor
B·D·拉夫林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN103314580A publication Critical patent/CN103314580A/zh
Application granted granted Critical
Publication of CN103314580B publication Critical patent/CN103314580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种用于显示信息（304）的方法和设备。摄像系统（328）从对象（306）位置上的摄像系统（328）的视点（334）产生对象（306）的视频数据（324）。关于对象（306）的信息（304）被识别。在若干位置（352）在显示系统（330）上显示视频数据（324）内图像（322）上的信息（304）。带有在若干位置（352）的视频数据（324）的图像（322）上的信息（304）的图像（322）的显示来自摄像系统（328）的视点（334）。

Description

增强协作系统
技术领域
本公布涉及飞机，特别是飞机维护。更具体地，本公布涉及一种为有关飞机维护问题的不同位置上的人员之间提供协作的方法和设备
背景技术
飞机维护可包括许多不同的操作。这些操作可包括，例如检查、改装、升级、返工、再配置和/或飞机上执行的其他操作。
在飞机维护当中，可拆除或安装飞机的不同部件。另外，不同的部件可在飞机上或者从飞机上拆除后进行返工。
可按定期或者针对需要维护的指示来执行飞机的维护。例如，针对蒙皮板上检测到的不一致性（inconsistency），可执行维护对飞机机身的复合材料蒙皮板进行返工。在一些情形下，该不一致性可涉及对蒙皮板进行重新喷漆。在其他实例中，该维护也可包括返工蒙皮板的部分以减少或消除不一致性。
然而在另一个实例中，可在飞机内的不同系统上执行维护工作。例如，飞机中连接部件的电气系统可要求维护以提供预想水平的表现。该维护可包括确定或更换电气系统或其他系统内的线束或其他部件。
当不定期执行维护时，飞机就不可用于运输人和/或货物。另外，对飞机未预期的维护可引起航班的延迟或者甚至航班的取消。当飞机在地面上做这种类型的维护时，对于航空公司或者其他飞机拥有者来说成本是高昂的。
在一些情形下，维护可要求数小时、数天或者甚至数周。结果是，该航空公司提供的服务量下降或者可能启用低效率的飞机来取代在地面上正在维护的飞机。在一些情形下，航空公司可计划通过拥有额外一架可用飞机，以应对这种类型的未预期维护。然而，该额外的飞机导致这些飞机的购买和维护成本的上升。针对这些情况拥有额外的飞机可较少特定航班被延迟和/或取消的可能性。
因此，拥有考虑进上述所论问题的至少一些问题以及其他可能问题的方法和设备是有利的。
发明内容
在一个有利的实施例中，设备包括计算机系统。计算机系统被配置为从对象位置的摄像系统中接收关于对象的视频数据且识别关于该对象的信息。计算机系统被配置为把该信息加到该视频数据上且将加到视频数据上的信息与视频数据一起发送到若干位置上的显示系统。在显示系统上显示的视频数据显示所述信息，该信息位于从摄像系统视点所得视频数据的图像上。
在另一个有利实施例中，存在着显示信息的方法。从对象位置上摄像系统的视点，该摄像系统产生关于对象的视频数据。关于该对象的信息被识别。在若干位置的显示系统上该信息显示在视频数据内的图像上。在若干位置上具有在视频数据内的图像上标出信息的图像的显示是来自摄像系统的视点。
然而在另一个有利实施例中，用于在飞机上执行维护的增强现实信息系统包括头盔式系统、若干显示装置和信息模块。该头盔式系统具有摄像系统和显示装置。头盔式系统被配置为产生某位置上关于对象的视频数据。若干显示装置位于若干对象位置上。信息模块被配置为接收来自头盔式系统内摄像系统的关于对象的视频数据且识别关于该对象的信息。信息模块被配置为将该信息加到视频数据上。基于使用若干显示装置的每一个装置的有关人员的说明，该信息模块被配置为为若干显示装置的每一个装置识别选择的信息且将视频数据和信息一起发送给若干显示装置。在若干显示装置上所显示的视频数据显示出选择的信息，对于若干显示装置的每一个装置该信息位于图像上。
这些特征、功能和优势可在本公布的不同实施例中独立获得或者可整合进其他的实施例中，其中参考下面的说明和附图可见更多的细节。
附图说明
在权利要求中详细阐述有利的实施例的新颖特征。然而，这些有利的实施例、优选的使用模式、进一步的对象以及它们的优势将通过参考下面本公布的有利的实施例的详细说明得到最好的理解，其配以附图解读:
图1示出根据有利的实施例飞机制造和服务方法；
图2示出可在其内实施有利的实施例的飞机；
图3示出根据有利的实施例对象信息环境；
图4示出根据有利的实施例增强现实信息系统的数据流；
图5示出根据有利的实施例的数据处理系统；
图6示出根据有利的实施例的概况；
图7示出根据有利的实施例的策略；
图8示出根据有利的实施例的对象信息环境；
图9是根据有利的实施例的显示信息的处理的流程图；
图10是根据有利的实施例的识别有关对象信息的处理的流程图；
图11是根据有利的实施例的使信息与视频数据内图像相关联的处理的流程图；
图12是根据有利的实施例的显示信息的处理的流程图；
图13是根据有利的实施例的显示关于图像的信息的处理的流程图；
图14是根据有利的实施例的发送信息到显示装置的处理的流程图；
图15示出根据有利的实施例的过滤用于在显示装置上显示的图像的处理的流程图。
具体实施方式
更具体地参考附图，在图1所示的飞机制造与服务方法100和图2所示的飞机200的背景下可描述本公布的实施例。首先参考图1，根据有利的实施例描述飞机制造与服务方法。在预生产时期，飞机知道与服务方法100可包括图2中飞机200的规格和设计102以及材料采购104。
图2中飞机200的部件与子部件制造106和系统集成108发生在生产时期。然后，为了服役112，飞机200要通过认证和交付110。当处于顾客使用的服役112时期，图2中的飞机200定期作日常维护和服务114，其可包括改装、再说明、重新抛光和其他的维护或服务。
飞机制造和服务方法100的处理的每一个处理可由系统集成商、第三方和/或经营者执行或实施。在这些实例中，该经营者可是顾客。为了说明的目的，系统集成商可无限制地包括任意数量的飞机制造商和主系统转包商；第三方可无限制地包括任何数量的订货商、转包商和供货商；以及经营者可是航空公司、租赁公司、军方实体或服务组织。
现在参考图2，描绘一架可在其中实施有利的实施例的飞机。在本实例中，飞机200根据图1中飞机制造和服务方法100生产且可包括具有若干系统204的机身202和内部206。系统204的实例包括一个或若干推进系统208、电气系统210、液压系统212和环境系统214。任何数量的其他系统可包括在内。尽管示出的是航空航天的实例，不同有利的实施例也可应用于其他工业，例如汽车工业。
可在图1中飞机制造和服务方法100的阶段的至少一个阶段使用这里所实施的设备和方法。如此处所用，短语“至少一个”与一列术语连用时意味着可使用一个或若干所列术语的不同组合且仅需要列表中每个术语的一个。例如，“术语A、术语B和术语C的至少一个”可例如无限制地包括术语A或术语A和术语B。该实例也可包括术语A、术语B和术语C或术语B和术语C。
在一个描述性实例中，图1部件和子部件制造106中生产的部件或子部件可以与当飞机200处于图2的服役112时所生产的部件或子部件相似的方式进行装配或制造。对于另一个实例，可在生产阶段，例如图1中部件和子部件制造106与系统集成108，利用若干设备实施例、方法实施例或它们的组合。参考术语若干意味着一个或若干术语。例如，若干设备实施例是指一个或若干设备实施例。当飞机200处于服役112和/或处于图1中的维护和服务114期间时，可利用若干装备实施例、方法实施例或它们的组合。若干不同有利的实施例的使用可从本质上促进飞机200的组装和/或减少飞机200的成本。
不同有利的实施例认识和考虑若干不同的考虑情形。例如，不同有利的实施例认识和考虑到，当飞机在地面上进行维护时，可用于维护的工作人员是有限的。
例如，不同的工作人员对于不同的飞机具有不同的技术水平和经验。如果飞机的复合材料蒙皮板具有不一致性，那么分派到该飞机的维护人员可能对于那种类型材料如所预想的显得经验不足。结果是，该维护人员可通过研究执行特定维护任务，例如检查不一致性和确定适合的操作以从飞机的蒙皮板上减少或去除该不一致性。考虑到蒙皮板是由复合材料制造的，层的取向、前续的返工和其他因素可影响在具有不一致性的蒙皮板上执行维护的方式。
在一些情形下，维护人员可通过与其他维护工作人员或专家开会以确定合适的可执行操作。不同有利的实施例认识和考虑到这种处理耗时且提高飞机的费用。就飞机的不可用性而言，费用增加。
由此，不同有利的实施例提供用于获取关于对象的信息的方法和设备。在这些示例性实例中，不同有利的实施例可特别用于获取关于飞机的信息且，更具体地，获取在飞机上执行维护操作的信息。
在一个有利的实施例中，在对象位置上，从摄像系统的视点，该摄像系统产生关于对象的视频数据。关于该对象的信息被识别。在若干位置的显示系统上该信息显示在视频数据内的图像上。在若干位置上具有在视频数据内的图像上标出信息的图像的显示是来自摄像系统的视点。
对于这种类型的显示，不同位置上的工作人员可与对象位置上的人员协作以提供更多关于该对象的信息。
例如，如果对象是飞机，视频数据中的图像可是飞机的存在不一致性的一部分。不同位置上的人员可是专家或者具有飞机内特定类型不一致性的知识。这些人员可提供输入给飞机上的维护人员以确定所需要的维护操作。
现在参考图3，根据有利的实施例示出对象信息环境。在图1的飞机制造和服务方法100的不同部分期间可使用对象信息环境300。例如，对象信息环境可用于获取关于部件和子部件的信息，这些部件和子部件在部件和子部件制造106与图2中飞机200的系统集成108期间组装。另外，也可在维护和服务114期间使用对象信息环境300以执行除飞机制造和服务方法100的其他部分之外的不同维护操作。
在这些示例性实例中，对象信息系统300内的信息系统302提供关于对象306的信息304。在这些示例性实例中，对象306可采取图2中飞机200的形式。
信息304也可用于执行若干操作308。在这些示例性实例中，若干操作308可包括维护操作310、设计操作312、训练操作314和其他与306相关的适合类型的操作的至少一种操作。维护操作310可无显示包括操作，例如检查、部件的返工、再装配、升级和其他可在对象306的维护期间执行的适合类型的操作。
设计操作312可涉及设计用于对象306的部件。这些对象可是新部件或为对象306内部件的替换部件。训练操作314可涉及训练工作人员在对象306上执行不同的操作，其包括在对象306上执行维护、操作对象306和其他类型的操作。
在这些示例性实例中，信息系统302可采取增强显示信息系统316的形式，用于在以飞机318形式的对象306上执行维护操作310。在这些实例中，可使用图2中的飞机200实施飞机318。
在这些示例性实例中，增强显示信息系统316被配置为在对象306的视频数据324内的图像322上显示关于对象306的信息324。在这些示例性实施例中，增强显示信息系统316产生物理真实世界环境的实时或直观显示，其中对象，例如对象306的显示被计算机所产生的信息增强。在本实例中，增强的图像322具有信息304。信息304可采取多种不同的形式。例如，信息304可是文本、图形或其他可放置在图像322上的信息。
在这个示例性实例中，增强显示信息系统316包括信息模块326、摄像系统328、显示系统330和其他合适的部件。摄像系统328被配置为产生为对象306产生视频数据324。在这些示例性实例中，对象306位于位置332。从摄像系统328的视点334产生视频数据324内的图像322。
在这些示例性实例中，摄像系统328被配置为产生视频流335形式的视频数据324，其包含图像322。图像322可显示在显示系统330上以提供对象306的视频。在这些示例性实例中，随着视频数据324的产生，发送视频数据324给显示系统330，而不是为后来观察储存视频数据324。然而，在这些示例性实例中，除了被发送给显示系统330的所产生的视频数据324之外，视频数据324可储存在存储装置中。在另一个示例性实例中，随着视频数据324的产生，视频数据324可储存在存储装置中且然后为后来的观察在显示系统330上进行检索。
在这些示例性实例中，可在硬件、软件或它们两的组合上实施信息模块326。信息模块326可位于计算机系统336内或可是所示实例中的分离部件。计算机系统336包括多台计算机338。在这些示例性实例中多台计算机338之间相互通信。多台计算机339可位于相同的位置或可位于不同的位置，这取决于特定的实施。
在所示的实例中，摄像系统328和显示装置340被戴在对象306位置322上的人员342上。在不同示例性实例中，显示装置340内的摄像系统可采取头盔式系统344的形式。
在一个实例中，头盔式系统344可采取眼镜346的形式，被戴在人员342上。在这个实施中，视点334是来自在对象306的位置332上戴着眼镜346的人员342的视点。
在其他示例性实例中，摄像系统328和显示装置340可是分离的部件。例如，摄像系统328可与人员342所穿的夹克或制服相关联，且显示系统可在眼镜346里面。然而在其他示例性实例中，显示装置340可是手持装置，这取决于特定的实施。仍然在其他示例性实例中，摄像系统328和显示装置340可不限制地，例如由机器人来操作。
在这些示例性实例中，信息模块326识别来自对象348的数据库的信息320。信息320可采取多种不同的形式。例如，信息320可无限制地是，例如材料识别、维度、在对象306的零件上执行的操作和其他关于306的合适信息。在这些示例性实例中，识别信息310以在图像322上显示可由用户输入识别对象306、用户输入对象识别的一部分、对象认识处理和/或其他合适类型的识别来执行。
在这些示例性实例中，显示系统330可包括若干位置352上的若干显示装置350。尽管没有示出，显示系统330也可包括需要用于显示视频数据324的其他部件。例如，显示系统330也可包括图形适配器、处理器单元、计算机和/或其他合适的部件。在一些情形下，显示系统330可仅包括若干显示装置350。
若干位置352可除去位置332也可包括位置332。在这些示例性实例中，若干人员354可位于若干位置352上且观察若干显示装置350。信息320可加到图像322和视频数据324上。具有加到图像322的信息320的视频数据324然后可被发送到若干显示装置350以供显示。
至于头盔系统内显示装置340上图像322上的信息320的显示，头盔系统344可包括被配置为直接将信息320加到图像322上的处理器。换句话说，可从信息模块326中接收信息320。从摄像系统328中接收视频数据324。
头盔式系统344将信息320加到来自从摄像系统328接收的视频数据324的图像322上。在其他示例性实例中，头盔式系统344可以与若干显示装置350相同的方式接收具有通过信息模块加到图像322上的信息320的视频数据324。
在这种方式中，若干人员354可提供关于对象306的输入356。输入356可包括，例如在对象306执行的操作、使人员342移动或改变由摄像系统328所观察的对象306的一部分的指令、涉及对象306的问题和/或其他合适类型的输入。在输入356中对人员的指令可采取文本、话音和/或其他指令的合适形式。
另外，头盔式系统344也可包括具有视频数据324的音频362。音频362可是人员342的话音。在这种方式中，围绕着人员342的音频362和输入356中来着若干人员354的话音，在人员342位于对象306的同时展开一场讨论。结果是，在人员342不离开位置332的情况下可执行人员342和若干人员354之间的协作。
还有，人员342可在若干人员354的指导下执行若干操作308。当人员342执行若干操作308时，若干人员354可通过观察具有在图像322上标上信息的视频数据324提供有关若干操作308的指导。
在这种方式下，相比于当前的系统，使用增强显示信息系统316可更快地在对象306上执行若干操作308。通过允许若干人员354看见在对象306的位置332上的人员342所看到的对象306，可比当前的处理更快地获取输入356。例如，人员342不需要执行涉及对象306的研究。相反，在人员342正在观察对象306的同时，信息模块326可识别对象306的信息320且在视频数据内的图像322上显示信息320。
在其他实例中，通过发送在图像322上标上信息的视频数据324，若干人员354可更快速地提供输入356。在人员342没有离开对象306去参加例如会议的情况下可提供输入356。
仍然在其他的示例性实例中，具有在图像322上标上信息320的视频数据324可储存在存储装置328中。另外，输入356也可储存在存储装置358中以形成训练材料360。在后来要学习已被讨论过的若干操作308的其他人就可观看训练材料360。
图3中示出的对象信息系统300并不意味着暗示对可实施不同有利实施例的方式的物理或结构限制。除了和/或代替这里示出的部件，可使用其他的部件。在一些有利的实施例中，一些部件可是不必要的。还有，所给出的方框图是用来描述一些功能部件。当在不同有利的实施例中实施时，可将这些方框图的一个或若干组合起来和/或划分成不同的方框图。
例如，在一些示例性实例中，不存在若干显示装置350。在其他示例性实例中，计算机系统336可包括被配置为提供关于对象306的输入356的处理。在一些示例性实例中，如另一个实例，计算机系统336可被配置为包括模式识别处理。这些模式识别处理可允许，例如对图像中部件或零件的识别。基于对这些零件或部件的识别，可给出执行何种程序的建议。
除了信息显示在图像322之上，信息320还可采取其他的形式。例如，信息320可无限制地包括音频。该音频可是声音或话音，其随着图像322的显示给出。
如另一个示例性实例，尽管显示装置，例如显示装置340和若干显示装置350，可采取显示屏的形式，在该显示屏是给出图像322；这些显示装置也可采取其他形式。例如，也可使用虚拟视网膜显示器。有了虚拟视网膜显示器，该显示装置直接投射和/或提取光栅显示到观察图像的人眼视网膜上。
在一些示例性实例中，增强现实信息系统316可包括除了或此处的摄像系统328之外的若干其他装置，这些装置被配置为产生视频数据324。例如，增强现实信息系统316可包括超声成像装置、红外成像装置、射频装置和/或被配置为产生图像322和/或可用于形成图像322的数据的其他合适类型的装置中的至少一个装置。
现在参考图4，根据有利的实施例示出增强现实信息系统的数据流程。在这个示例性实例中，增强现实信息系统400是图3中增强现实信息系统316的一个实施的实例。
在这个示例性实例中，增强现实信息系统400包括计算机系统404内的信息模块402、头盔式系统406和若干显示装置408。头盔式系统406是可被配置为由位置412上人员410佩戴的硬件。
在这些实例中，飞机414位于位置412。若干显示装置408位于若干位置416。若干位置416上的若干人员418可使用若干显示装置408。
在这些示例性实例中，头盔式系统406产生飞机414的视频数据420。视频数据410包括从人员410视点424所得的图像422。在这些示例性实例中，视频数据420被发送到信息模块402。该信息可通过通信链路426发送。通信链路426是有线和/或无线通信链路，这取决于特定的实施。
信息模块402识别用于在图像422上显示的信息428。在这些示例性实例中使用飞机数据库430识别信息428。
另外，对于人员410和若干人员418而言，信息428是相同的。在其他示例性实例中，对于人员410和若干人员418而言信息428可是不同的。对于人员410而言，信息428的识别可采取选择信息432的形式。进一步，对于若干人员418而言，也可识别信息428内的选择信息432。在一些情形下，选择信息432可与信息428相同或可是飞机414的信息的子集。
在这些示例性实例中，对于人员410和若干人员418而言，信息模块402可使用说明数据库434以识别选择信息432。在这些实例中，说明数据库434包括若干说明436。信息模块402可使用此若干说明为特定人员识别选择信息432。
在若干说明436中每个说明相应于人员410和若干人员418的一名。例如，在本实例中，说明438相应于人员410。说明438提供对来自信息428的哪个信息应包括在选择信息432中的识别。结果是，选择信息432可被裁剪或基于人员410和若干人员418的每一名进行特定选择。
进一步，对于人员410可应用策略450到说明438上以从信息428中识别信息432。策略450可无限制地是，例如若干规则、人员语言、安全或许可证级别、方针和/或用于选择信息428的哪部分可用于为人员410形成选择信息432的标准。
在一些示例性实例中，只有选择信息432被发送给若干显示装置408内的头盔式系统406。在这种方式下，不是信息428的全部可被发送到每个显示装置。
在其他示例性实例中，信息428的全部可被发送到头盔式系统406和若干显示装置408。例如，信息428的全部可被发送到头盔式系统406，且基于说明438和策略450，头盔式系统406可从信息428中识别选择信息432以显示给人员410。
在所述的实例中，只有信息428中选择信息432显示在头盔式系统406和若干显示装置408上。例如，信息428可经加密形成加密信息440。在一个实例中，对于人员410而言使用说明438为人员410选择密钥组442。基于说明438密钥组442被配置为为人员410解密选择信息432。换句话说，对于人员410将要观察到的信息428，密钥组442的密钥包括在头盔式系统406中。在加密信息440中不能解密的信息是不会在头盔式系统406上显示给人员410。
在这些示例性实例中，密钥组442可是没有密钥的空的或无效的组，或一个或若干密钥。换句话说，在一些情形下，密钥组442可是无效组，其中在加密信息440内没有可显示的信息。
在另一个实例中，图像422中的每个图像具有第一数量部分444，且信息428具有第二数量部分446。在这些示例性实例中，第一数量部分444中的一部分是其中有图像的区域。
该区域可以多种不同的方法定义。例如，区域可定义为图像内特定部件的区域或可由用户定义，这取决于特定的实施，例如，该部件可是天线，其在图像中不需要显示给一个或若干人员。
对于信息428在第二数量部分446内的信息428的一部分可采取多种不同形式。例如，在一些情形下，该部分可是关于布线系统、蒙皮板的位置、蒙皮板内板层方向的板层剖面的简图的或其他类型的信息，和/或其他合适类型的信息。
在所示实例中，为若干人员418中的每个人员识别密钥组。该密钥组被配置为解密加密信息中的选择信息以及加密信息440中选择每个图像的若干部分。图像422也可经加密在加密信息440中形成加密图像448。
结果是，对于若干人员418的每个人员而言，若干显示装置408内的每个显示装置上，在若干图像的选择部分上使用与该显示装置上人员相对于的密钥组执行选择信息的显示。结果是，不能使用该密钥组解密的加密信息440和加密图像448的任何一部分在该显示装置上不会显示给使用该显示装置的特定人员。
在这种方式下，基于有关人员的说明可为每个人员识别信息。在这种方式下，每个人员需要或可看到的信息为特定人员显示在由该人员使用的显示装置上。结果是，人员看不到不需要和/或该人员不被允许看到的信息。
另外，在一些示例性实例中，信息模块402使用过滤处理452过滤图像422以形成图像454的选择部分。例如，过滤处理452可无限制地过滤图像422以识别仅与当前在飞机414上实施的若干操作相关联的图像422的部分。
如一个示例性实例，如果人员410正在具有不一致性的蒙皮板上执行操作，过滤处理452可过滤掉包含蒙皮板周围其他部分的图像422的部分。图像454的选择部分显示在若干显示装置408上以便只有蒙皮板的相关部分被显示。例如，天线、门、窗或飞机的其他部分不可显示在若干显示装置408上。
然而如另一个实例，图像422可包括地面装置、工作人员和.或与在飞机414上由人员410正执行的若干操作无关的其他对象。过滤处理452过滤掉这些对象以便在若干显示装置408上只有与在飞机414上正执行的若干操作相关的飞机414的部分显示给若干人员418。
在一些示例性实例中，信息模块402可被配置为在头盔式系统中显示的图像422上显示图形标志或基于人员410的说明438改变图像422的部分的显示的方式。如一个示例性实例，图形标志，例如图形盒，可随着图像422的部分显示，人员410没被授权观察图像422的部分。如另一个示例性实例，可蒙影，遮蔽，模糊，删除或以人员410不能接受和/或观看这些部分的其他合适方式改变人员410没被授权观察的图像422的部分。
图4中示出的增强现实信息系统400不意味着暗示对不同有利实施例可实施的方式的物理或结构限制。这里给出的增强显示信息系统400作为一个示例性实施。
例如，增强现实信息系统400中的对象指向飞机414。在其他示例性实例中，可配合其他类型的对象使用增强现实信息系统400。例如，可从以下各对象中选取一个：移动平台、固定钻井平台、路基结构、基于水面的结构、基于空间的结构、飞机、水面舰艇、坦克、人员输送车、火车、宇宙飞船、空间站、微型、潜水艇、汽车、发电站、桥梁、堤坝、生产装置、建筑、引擎、机翼以及它们的元件和部件。
现在转向图5，根据有利的实施例示出数据处理系统。图5中的数据处理系统500是可用于在不同有利的实施例中实施不同装置的数据处理系统的实例。例如，数据处理系统500可用于实施图3中计算机系统336内和/或图4中计算机系统404内若干计算机338的一个或若干。
在本示例性实例中，数据处理系统500包括在处理器单元504之间提供通信的通信光纤502、存储器506、永续储存器508、通信单元510、输入/输出（I/O）单元512和显示器514。处理器单元504为载入存储器506的软件处理指令。处理器单元504可是若干处理器、多处理器核后者其他类型的处理器，这取决于特定的实施。参考术语这里所用的若干意味着一个或若干术语。
进一步，可使用若干异构处理器系统实施处理器单元504，在该异构处理器系统中主处理器与二级处理器同存在于单个芯片上。如另一个示例性实施，处理器单元504可是对称多处理器系统，其包含若干相同类型的处理器。
存储器506和永续储存器508是储存装置516的实例。储存装置是任意件可要么临时要么永久储存信息的硬件，这些信息例如无限制地包括数据、功能形式的程序代码和/或其他合适的信息。在这些实例中储存装置516也可指代计算机可读储存装置。在这些实例中，存储器506可是例如随机存取存储器或任何其他适合的易失性或非易失性存储装置。永续储存器508可采取多种形式，这取决于特定的实施。
例如，永续储存器508可包含一个或若干部件或装置。例如，永续储存器508可为硬盘驱动器、闪速存储器、可改写光盘、可改写磁带或上述装置的一些组合。永续储存器508使用的介质也是可更换的。例如，抽取式硬盘启动器可用于永续储存器508。
在这些实例中，通信单元510提供与其他数据处理系统或装置的通信。在这些实例中，通信单元510是网络接口卡。通过使用物理和无线通信链路的一种或全部，通信单元510可提供通信。
输入/输出单元512允许对可连接到数据处理系统500的其他装置进行数据的输入和输出。例如，输入/输出单元512可通过键盘、鼠标和/或一些其他合适输入装置为人工输入提供连接。进一步，输入/输出单元512可发送输出到打印机。显示器514提供显示信息给人员的机制。
给予操作系统、应用程序和/或程序可位于储存装置516内，该储存装置516通过通信光纤502与处理器单元504通信。在这些示例性实例中，指令是以功能形式位于永续储存器508上。通过处理器单元504的执行，这些指令可载入存储器506内。不同实施例的处理可通过处理器单元504使用计算机实施指令来执行，该计算机实施指令可位于存储器内，例如存储器506内。
这些指令指代程序代码、计算机可用程序代码或可被处理器单元504内的处理器读取和执行的计算机可读程序代码。不同实施例中的程序代码可依据不同物理或计算机可读存储介质具体化，物理或计算机可读存储介质例如有存储器506或永续储存器508。
程序代码518以功能形式位于可选择性更换的计算机可读介质520上且可载入或发送到数据处理系统500，由处理器单元504执行。在这些实例中，程序代码518和计算机可读介质520形成计算机程序产品522。在一个实例中，计算机可读介质520可是计算机可读储存介质524或计算机可读信号介质526。
计算机可读储存介质524可包括例如为了转移数据到储存装置（例如硬盘驱动盘），能嵌入或安置进驱动盘或其他装置的光盘或磁盘，这里，驱动盘或其他装置和硬盘驱动盘都是永续储存器508的一部分。计算机可读储存介质524也可采取连接到数据处理系统500的永续储存形式，例如硬盘驱动器、拇指驱动器（thumb drive）或闪速存储器。
在一些实例中，计算机可读储存介质524不可从数据处理系统500内更换。在这些实例中，计算机可读储存介质524是用于储存程序代码518的物理的或有形的储存装置，而不是广播或传输程序代码518的媒介。
计算机可读储存介质524也可指计算机可读有形储存装置或计算机可读物理储存装置。换句话说，计算机可读储存介质524是可被人员触摸到的介质。
替代地，可使用计算机可读信号介质526传输程序代码518到数据处理系统500。计算机可读信号介质526可是例如包含程序代码518的广播数据信号。例如，计算机可读信号介质526可是电磁信号、光学信号和/或任何其他合适类型的信号。这些信号可在通信链路上传输，例如无线通信链路、光导纤维电缆、同轴电缆、电线和/或任何其他合适类型的通信链路。换句话说，在本示例性实例中，该通信链路和/或连接可是物理的或无线的。
在一些有利的实施例中，在网络上通过数据处理系统500范围内使用的计算机可读信号介质526从另一个装置或数据处理系统下载程序代码518到永续储存器508中。例如，储存在服务器数据处理系统的计算机可读储存媒介内的程序代码可通过网络从服务器下载到数据处理系统500。该提供程序代码518的数据处理系统可是服务器计算机、客户端计算机或一些能够储存和传输程序代码518的其他装置。
为数据处理系统500所描述的不同部件不意味着对不同实施例的可实施方式提供架构限制。可在包括除了或代替为数据处理系统500所描述的这些部件的部件的数据处理系统上实施不同有利的实施例。图5中所示的其他部件可随着所示示例性实例变化。
例如，可使用任何能运行程序代码的硬件装置或系统实施不同的实施例。举个例子，数据处理系统可包括集成无机成分的有机成分和/或全部由除了人类的有机成分组成。例如，储存装置可由有机半导体组成。
在另一个示例性实例中，处理器单元504可采取具有经制造或装配用于特定用途的电路的硬件单元的形式。不须程序代码从储存装置载入存储器从而被配置为执行操作，这种类型的硬件就可执行这些操作。
例如，当处理器单元504采取硬件单元的形式时，处理器单元504可是电路系统、专用集成电路（ASIC）、可编程逻辑装置或一些被配置为执行若干操作的其他合适类型的硬件。
具有可编程逻辑装置时，该装置就可被配置为执行若干操作。该装置后来可进行再说明或可永久地被配置为执行若干操作。例如，可编程逻辑装置的实例包括可编程逻辑阵列、可编程阵列逻辑、现场可编程逻辑阵列、现场可编程门阵列和其他合适硬件装置。具有这种类型的实施，就可省略程序代码518，因为对于不同实施例的处理是在硬件单元内实施的。
仍然在另一个示例性实例中，可使用在计算机和硬件单元中发现的处理器的组合实施处理器单元504。处理器单元504可具有若干硬件单元和若干处理器，它们被配置为运行程序代码518。对于本处所示实例，该处理中的一些可在若干硬件单元内实施，同时其他处理可在若干处理器中实施。
在另一个实例中，总线系统可用于实施通信光纤502且可由一个或若干总线，例如系统总线或输入/输出总线，组成。当然，可使用任何能在依附于总线系统的不同部件或装置之间提供数据传输的合适类型的体系结构实施该总线系统。
另外，通信单元可包括更多的装置，这些装置传输数据，接收数据或传输与接收数据。通信单元可是例如调制解调器或网络适配器、两个网络适配器或一些组合。进一步，存储器可是例如存储器506或缓存，其可在存在于通信光纤502内的接口与存储控制中心里找到。
现在参考图6，根据有利的实施例示出说明。在这个示例性实例中，说明600是在图4中说明数据库434内的若干说明436中实施说明的实例。在这个示例性实例中，说明600包括标识符602、姓名604、语言、安全或许可证级别606、工作608、技术610、位置612和其他合适信息。标识符602可用于唯一识别特定的人员。在这些实例中姓名604是该人员的名字。
许可证级别606是人员的安全或许可证级别。该安全或许可证级别可涉及组织内部的安全性和/或通过政府监管的安全性。例如，许可证级别可是机密的和非机密的。在其他实例中，可存在超过2个许可证级别且可通过数字、字母或其他一些指定来识别许可证级别。在其他实例中，在特定组织范围内可为不同类型的信息设定若干许可证级别。
工作608确定由人员执行的工作。该工作可用于识别人员可观察到的信息的类型。技术610也提供人员技术背景的鉴定且可包括该人员专业知识的水平。
位置612可用于确定是否可在为特定显示装置的位置上的显示装置上显示出口控制的信息。例如，如果图像和信息的至少一个被出口控制，位置612可用于确定是否该图像的一部分应被过滤掉，信息的一些不应被传输或应发生其他过滤以保持遵守出口控制法则。
现在参考图7，根据有利的实施例示出策略。在本示例性实例中，策略700是实施图4中策略450的实例。
在本示例性实例中，策略700包括若干规则702和数据704。策略700中的若干规则702可应用于说明，例如图6中的说明600。在这种方式中，可为与该说明相关的特定人员识别选择信息。数据704可包括用在应用若干规则702到说明的值或其他信息。
如所示，若干规则702可包括若干不同类型的规则。例如，若干规则702可无限制地包括语言规则、安全或许可证规则706、工作规则708、技术规则710和/或其他适合类型的规则中的至少一种。
安全或许可证规则706可指特定许可证或安全级别，需要它们来观察加到图像上的信息中的特定信息。安全规则706可指图像的部分可要求的安全级别。
另外，安全规则706也可确定是否存在出口控制的信息以及确定是否特定的观察着可在不同位置观察该信息。进一步，安全规则706也可包括确定是否存在机密信息和是否授权显示装备上的人员观察该机密信息的规则。
工作规则708可用于识别与特定人员相关的信息。例如，如果观察该信息的人员包括电气工程师和材料专家，显示给这两人的信息可不同。例如，示意图可不显示给材料专家，同时关于板内复合材料的信息可不会显示给电气工程师。该信息可包括电气系统的示意图和关于板内复合材料的信息。基于特定人员的专业知识、教育和/或其他合适因子，技术规则710可用于识别与他们相关的信息。
图6中所示的说明600和图7中所示的策略700不意味着暗示对不同说明和策略的可实施方式的限制。在其他示例性实例中，策略可包括代替或除了说明600中所示信息的其他信息。其他策略可包括除了为若干规则702所描述的规则之外的规则。
现在参考图8，根据有利的实施例示出对象信息环境。在本示例性实例中，对象信息环境800是实施图3中对象信息环境300的实例。
在本示例性实例中，对象信息环境800包括头盔式系统804、计算机系统808内的信息模块806、显示装置810、显示装置812、显示装置814和显示装置816。显示装置810和显示装置812位于位置822，同时显示装置814和显示装置816位于位置824。位置822和位置824相互远离且远离于戴着头盔式系统804的人员820的位置。人员820可位于飞机802的位置。
人员823正在位置822上观察显示装置810和显示装置812。人员825正在位置824上观察显示装置814和显示装置816。人员825可具有比人员823和人员820更高的安全或许可证级别。进一步，人员825可具有比人员823和人员820更高水平的技术专业知识。另外，人员823可具有比人员820更高的许可证级别和更高水平的技术专业知识。例如，人员820可是工程师，人员823可是高级工程师且人员825可是人员823和人员820的上司。
如所示，头盔式系统804采取眼镜826的形式。眼镜826包括被配置为从人员820的视点产生飞机802的视频数据的摄像系统。进一步，眼镜826包括显示装置，通过该装置，除了通过眼镜826看到的飞机802的实时物理视图之外人员820可观察到关于飞机802的增强信息。如所示，从人员820的视点所得飞机802的图像821通过眼镜826显示给人员823。
使用无线通信链路由眼镜826产生的视频数据被发送给信息模块806。信息模块806也被配置为与显示装置810、显示装置812、显示装置814和显示装置816进行无线通信。在这种方式中，可通过信息模块806执行眼镜826、显示装置810、显示装置812、显示装置814和显示装置816之间的通信。
信息模块806可从眼镜826接收视频数据，该视频数据是连续的视频流或周期性的。在本示例性实例中，信息模块806处理该视频数据。例如，信息模块806识别飞机802的类型和/或模型。信息模块806也为人员820识别说明。进一步，信息模块806为位置822上的人员823和位置824上的人员825识别说明。
信息模块806在显示装置810上显示从人员820的视点所得的飞机802的图像821。在这种方式中，人员823可看见人员820看见的东西。进一步，基于人员823的说明和飞机802的类型和/或模型，信息模块806在显示装置812上显示飞机802的示意图834。人员823使用在显示装置810上显示的图像821和在显示装置812上显示的示意图834以识别飞机802的区域836。区域836可是识别到不一致性的区域。
在本示例性实例中，人员823输入在示意图834和图像821上选择区域836的用户输入。信息模块806接收该用户输入且在由人员820观察的图像821上显示图形指示符840。进一步，人员823也可输入话音指令形式的用户输入。例如，人员823可指导人员820在区域836内寻找什么和/或怎样执行针对区域836的若干操作。
在一些情形下，人员820可通过眼镜826从图像821到示意图834切换视图。进一步，人员820可使用眼镜同时观察示意图834和图像821。
在本示例性实例中，人员823具有比人员820更高的许可证级别。人员823具有观察飞机802的区域842的许可证，相比之下人员820不具有观察区域842的许可证。当示意图834通过眼镜826显示给人员820时，区域842和/或关于区域842的信息不显示给人员820。
另外，信息模块也可在显示装置814上显示图像821且在显示装置816上显示示意图834以供人员825观察。人员825具有比所示实例中的人员823更高的许可证级别。基于人员825的许可证级别，比起为人员823在显示装置812上的示意图834上显示的关于区域842的信息，信息模块806为人员825在显示装置816上的示意图834上显示更多关于区域842的信息。在这种方式下，信息模块80只为具有在显示装置上正被人员观察的信息的许可证的人员显示该信息。
在本示例性实例中，人员825可实时监控在区域836上正由人员820执行的若干操作的过程以及正由人员823提供的指令。进一步，基于显示装置814上的图像821和显示装置816上的示意图834，人员825可提供进一步的指令和/或信息给人员823和/或820。
图8中所示的对象信息环境800不意味着暗示对不同有利实施例可实施方式的物理或体系限制。例如，在一些情形下，由人员823和/或人员825观察的显示装置可是头盔式系统的一部分，类似于头盔式系统804。
现在参考图9，根据有利的实施例示出用于显示信息的处理的流程图。图9中所示的处理可在对象信息环境中实施，例如图3中的对象信息环境300。
所述处理的开端是在对象的位置上从摄像系统的视点产生关于对象的视频数据（操作900）。
使用视频数据识别关于对象的信息（操作900）。然后在若干位置的显示系统上，该处理将该信息显示在视频数据内的图像上（操作900）。在这些实例中，从摄像的视点在若干位置上显示具有在图像上标上信息的图像。然后该处理从若干位置上的若干人员接收关于对象的输入（操作906），然后该处理结束。
现在参考图10，根据有利的实施例示出用于识别关于对象的信息的处理的流程图。图10中所示的处理可在部件中实施，例如图3中的信息模块326。该处理可在硬件、软件或它们两的组合内实施。
所述处理的开端是从头盔式系统接收视频数据（操作1000）。该视频数据时关于对象的图像的视频流，对象是例如飞机。然后处理使用视频数据识别该对象（操作1002）。例如，在操作1002中，处理可使用模式识别软件以识别对象。在一些情形下，处理可使用用户输入以识别对象。
下一步，处理识别针对对象的若干操作（操作1004）。在操作1004中，若干操作可包括正在对象上执行的操作和/或将要执行的操作。这些操作无限制地可包括，例如维护、检查、返工、库存和/或其他合适类型的操作。
然后基于若干操作处理识别关于对象的信息（操作1006），然后处理结束。信息可包括，例如对象的示意图、对象中所用材料清单、对象的维度、对象内零件的联系号码和/或其他合适类型的信息。可使用包含关于对象和/或其他对象的信息的数据库执行操作1006。
现在参考图11，根据有利的实施例示出用于在视频数据内关联信息与图像的处理的流程图。图11中所示处理可在图3中的信息模块326内实施。该处理可在硬件、软件后它们俩的组合内实施。
所述处理的开端是识别将与对象的图像相关联的信息（操作1100）。该信息可是，例如图10中操作1006内所识别的信息或操作1006内所识别的信息的一部分。如一个示例性实例，当对象是飞机的蒙皮板时，关于蒙皮板的信息可包括与位于该蒙皮板下方的布线系统有关的示意图。
然后，处理识别若干图形元素以表示所述信息（操作1102）。例如，图形元素可是文本、图形标识符、图片、按钮和/或可在显示装置上显示的其他类型的图形元素。如一个示例性实例，关于布线系统的图形元素可是关于位于蒙皮板下方的布线系统的示意图的图片。
在其他实例中，图形元素可是图像按钮，当选择按钮时，其可打开显示示意图的窗口。仍然在其他实例中，若干图形元素可包括简要描绘蒙皮板上区域的图像标识符和布线系统的文本描述，其中布线系统就位于该区域下方。
然后，处理将图形元素和/或信息与图像关联起来（操作1104），然后处理结束。操作1104可通过，例如在显示装置上的图像上显示图形元素来执行。
例如，关于布线系统或图形按钮的示意图的图片可随着蒙皮板的图像显示。在一些情形下，可通过产生在图像上显示信息和/或图形元素的指令执行操作1104。
在本示例性实例中，可在图像被发送到显示装置以显示之前执行操作1104。在这种方式中，图像和与图像关联的图形元素可被发送到显示装置以供人员观察。在其他示例性实例中，通过可在其上显示图像的显示装置执行操作1104。
例如，显示装置可具有被配置为从信息模块接收信息和/或图形元素的图形适配器。基于将信息和/或图形元素与图像关联的指令，图形适配器可被配置为随着在显示装置上显示的图像显示信息和/或图形元素。
现在参考图12，根据有利的实施例示出用于显示信息的处理的流程图。图12中所示的处理可在图3中信息模块326内实施。该处理可在硬件、软件或它们俩的组合内实施。
所述处理的开端是显示由第一窗口内头盔式系统的摄像系统产生的图像（操作1200）。第一窗口是在显示装置上显示的窗口。图像可是关于对象的小部分。例如，图像可是从戴着头盔式系统的人员的视点所得的飞机的门的图像。
对象的较大部分可包括整个对象或该对象的某些部分，这些部分包括图像内该对象的小部分。
然后，处理在第二窗口显示对象的较大部分（操作1206）。该第二窗口可在如第一窗口同样的显示装置上或不同显示装置上显示。
下一步，处理在第二窗口内对象的较大部分上显示图形标识符（操作1208），然后处理结束。图形标识符指示所示对象的较大部分范围内的对象的小部分。该图形标识符可是，例如第二窗口中所示对象的较大部分范围内的小部分的草图。
现在参考图13，根据有利的实施例示出用于在图像上显示信息的处理的流程图。该处理包括识别将要显示给每个人员的信息。可基于有关人员的说明和策略为每个人员识别选择的信息。该处理也可在图3中的信息模块326内实施。该处理可在硬件、软件或他们俩的组合内实施。
所述的处理开端是识别若干人员（操作1300）。然后，该处理从若干人员中选择人员进行处理（操作1302）。识别关于选择有关人员的说明（操作1304）。然后处理识别要用的策略（操作1306）。
然后处理使用配置和策略从信息中识别选择信息（操作1308）。例如，策略可应用到配置上以形成用于识别所选信息的过滤。操作1308内的信息可是，例如图10中操作1006内所识别的信息。在一些情形下，策略可指示所识别的选择信息将要被加密。在这种方式中，操作1308可包括加密选择信息以形成加密信息。
然后处理使用说明和策略识别将要显示给人员的图像的部分（操作1310）。在一些情形下，该策略可指示所识别的图像的部分将要被加密。在这种方式中，操作1310可包括加密图像的部分以形成加密图像。
然后处理发送所识别的选择信息和图像的部分到显示装置（操作1312）。然后，确定是否存在若干人员中的另一名人员还没被处理过（操作1314）。如果存在另一名人员，那么处理回到操作1302。否则，处理结束。
现在参考图14，根据有利的实施例示出用于发送信息到显示装置的处理的流程图。该图中所示的处理可在图3中的信息模块326内实施。该处理可在硬件、软件或他们俩的组合内实施。进一步，该处理是图13中实施操作1312的实例。特别地，当选择信息经加密形成加密信息且当图像的部分经加密形成加密图像时可执行该处理。
所述的处理的开端是使用有关人员的配置为人员形成密钥组（操作1400）。然后该处理使用密钥组处理加密信息以形成处理信息（操作1402）。该处理可包括使用密钥组解密可被解密的任何信息以及丢弃使用密钥组不可解密的任何加密信息。在一些示例性实例中，密钥组可是无效密钥组且无信息可解密。
然后，处理发送处理信息给显示装置（操作1404），然后该处理结束。在操作1404中，只有被解密的信息显示在显示装置上。
现在参考图15，根据有利的实施例示出用于过滤图像以在显示装置上显示的处理的流程图。该图中所示的处理可在图3中的信息模块326内实施。更具体地，可使用图4中信息模块402内的过滤处理452实施该处理。该处理可在硬件、软件或他们俩的组合内实施。进一步，该处理是图13中实施操作1310的实例。
所述的处理的开端是识别图像中若干感兴趣的部分（操作1500）。例如，若干感兴趣的部分可只包括图像的部分，该部分是正在执行若干操作的对象的或对象的部分的。
例如，可在飞机机翼上执行维护操作。机翼的图像可包括地面设备、飞机机身的部分、工作人员和/或与在机翼上执行维护不相关的其他对象。基于与维护操作相关的图像的部分，处理识别图像中若干感兴趣的部分。
然后处理过滤图像以便仅图像中若干感兴趣的部分被选中而显示（操作1502），然后该处理结束。
不同所描述实施例中的流程图和方框图示出不同有利的实施例内设备和方法的一些可能实施的体系、功能性和操作。在这方面，流程图或方框图中的每个方框可表示模块、环节、功能和/或操作或步骤的一部分。例如，在硬件中方框的一个或多个可作为程序代码或程序代码和硬件的组合来实施。当在硬件中实施时，该硬件可采取，例如集成电路的形式，该集成电路经制造或配置执行流程图或方框图内的一个或多个操作。
在一些替代实施中，功能或方框内标注的功能可发生在图中所标注的顺序之外。例如，在一些情形下，连续示出的两个方框实质上可同时执行，或有时这两方框按相反的顺序执行，这取决于所涉及的功能性。还有，除了流程图或方框图内所示的方框外，可加入其它方框。
由此，不同有利的实施例提供用于获取关于对象的信息的方法和设备。在这些示例性实例中，不同有利的实施例对于获取关于飞机的信息特别有用，且更具体地，对于获取信息以在飞机上执行维护操作特别有用。
在一个有利的实施例中，从对象位置上的摄像系统的视点，摄像系统产生关于对象的视频数据。关于对象的信息被识别。在若干位置的显示系统上，该信息显示在视频数据的图像上。在若干位置上具有在视频数据内的图像上标出信息的图像的显示是来自摄像系统的视点。
对于不同有利实施例的一个或多个，可提供可调整增强和/或拟真能力。换句话说，设备，例如图3中增强现实信息系统316，可适应性调整所显示的图像以适应所使用的不同水平的增强。例如，所述显示可随着从对象的直接的、未增强的唯一真实世界视点到部分拟真且部分增强的显示再到全部拟真且全部增强的虚拟现实显示而变化或调整。该全拟真且全增强的虚拟现实显示是这样一种显示，其中只在没有真实世界视频图像的全虚拟现实模式的操作中才可看到所观察的对象。信息覆盖图像的全部或图像不再使用。当然，这种调整可在对象图像的任何增强水平之间进行，这取决于需要或情况。
可以多种不同的方法执行该适应性调整。例如，可在人员、计算机系统、信息模块和其他合适部件的至少一个部件的方向上执行该整整。
在这种方式中，例如，可观察到的对象如真实世界中所见一样，所以可在对象的真实世界视觉表现的背景下讨论问题。因为需要更多关于所观察对象的信息，所以增强现实信息系统316可逐步地加入更多细节。该细节可是图像上显示的信息的增强细节的形式。为做到这一点，如进一步的例子，可虚拟移除对象的层以显露子部件和/或结构。
进一步，可用位置上关联的详细的但整个虚拟的增强数据部分地或整体地替换真实世界的图像。例如，该数据可包括例如布线示意图、静态和动态应力/应变数据、管道示意图、质量保证和检查信息、生产和组装程序、维护和修理零件数据、检查单和程序以及其他合适数据的至少一种。
由此，不同有利的实施例确保人们之间的协作以观察全部或部分对象以及理解对象跨学科工程的许多不同方面。结果是，不同有利的实施例可减少需要用于执行操作的时间和工作，这些操作例如无限制地包括维护、测试或对象的设计。
这里已经给出的不同有利的实施例的描述是为了描述和说明的目的且不倾向于详尽或受限于所公布形式的实施例。对于本领域的技术人员而言，可做出许多变型和变体。进一步，相比于其他有利的实施例，不同有利的实施例可提供不同的优势。选择和描述实施例或选择实施例是为了最佳地解释实施例的基本原理，解释其实际应用且是为了确保本领域的技术人员理解关于具有不同变型的不同实施例适用于所能想到的特定用途的本公布。

Claims (9)

1.一种用于显示信息(304)的方法，该方法包括：
从在对象(306)的位置(332)的摄像系统(328)的视点(334)通过所述摄像系统(328)产生包括所述对象(306)的图像的视频数据(324)；
利用所述视频数据和计算机系统执行的对象认识处理识别所述对象；
利用包括所述对象的对象数据库识别关于所述对象(306)的信息(304)，其中所述信息的识别是由所述对象认识处理进行，其中所述信息包括第一信息和不同于所述第一信息的第二信息；
将所述信息添加到所述视频数据；
为第一用户识别所述图像的第一部分和为第二用户识别所述图像的第二部分，所述第一部分不同于所述第二部分；以及
在第一位置的第一显示系统上向所述第一用户同时显示所述图像的所述第一部分和所述第一信息，以及在第二位置的第二显示系统上向所述第二用户同时显示所述图像的所述第二部分和所述第二信息，其中所述第一位置不同于所述对象的位置并且所述第二位置不同于所述第一位置和所述对象的位置；其中所述第一用户具有第一安全许可证级别并且所述第二用户具有高于所述第一安全许可证级别的第二安全许可证级别；以及
基于所述第一安全许可证级别，为所述第一用户识别所述第一信息和所述图像的所述第一部分以及基于所述第二安全许可证级别，为所述第二用户识别所述第二信息和所述图像的所述第二部分。
2.根据权利要求1所述的方法，其中所述摄像系统(328)由在所述对象(306)的所述位置(332)的第三用户佩戴，且所述方法还包括：
在所述第三用户佩戴的显示装置(340)上在所述视频数据(324)内的所述图像(322)上显示所述信息(304)。
3.根据权利要求1所述的方法，其中所述视频数据(324)内的图像(322)是关于所述对象(306)的部分(446)，且该方法还包括：
除了在所述对象(306)的所述部分(446)的图像(322)上显示所述信息(304)之外，显示包含所述部分(446)的所述对象(306)的较大部分(446)；以及
在所述较大部分(446)上显示图形指示符(840)，其中所述图形指示符(840)识别所述较大部分(446)内的所述部分(446)。
4.根据权利要求1所述的方法，所述方法还包括：
使用密钥组(442)解密关于所述对象的所述信息，其中所述密钥组包括用于所述第一安全许可证级别的第一密钥和用于所述第二安全许可证级别的第二密钥。
5.一种用于显示信息的设备，其包括：
计算机系统(336)，其被配置为从在对象(306)的位置上的摄像系统(328)接收包括所述对象(306)的图像的视频数据(324)；利用所述视频数据和对象认识处理识别所述对象；利用包括所述对象的对象数据库识别关于所述对象(306)的信息，其中所述信息的识别是由所述对象认识处理进行，其中所述信息包括第一信息和不同于所述第一信息的第二信息；将所述信息加到所述视频数据(324)；为第一用户识别所述图像的第一部分和为第二用户识别所述图像的第二部分，所述图像的所述第一部分不同于所述图像的所述第二部分；以及在第一位置的第一显示系统上向所述第一用户同时显示所述图像的所述第一部分和所述第一信息以及在第二位置的第二显示系统上向所述第二用户显示所述图像的所述第二部分和所述第二信息，其中所述第一位置不同于所述对象的位置并且所述第二位置不同于所述第一位置和所述对象的位置；其中所述第一用户具有第一安全许可证级别并且所述第二用户具有高于所述第一安全许可证级别的第二安全许可证级别；并且所述计算机系统被配置为基于所述第一安全许可证级别，为所述第一用户识别所述第一信息和所述图像的所述第一部分以及基于所述第二安全许可证级别，为所述第二用户识别所述第二信息和所述图像的所述第二部分。
6.根据权利要求5所述的设备，其进一步包括：
所述摄像系统(328)，其中所述摄像系统由在所述对象的所述位置的第三用户佩戴且包括：显示装置，其被配置为由在所述对象的所述位置的所述第三用户佩戴且在由所述对象的所述位置的所述第三用户佩戴的所述显示装置上在所述视频数据内的所述图像上显示所述信息。
7.根据权利要求5所述的设备，其中所述计算机系统(336)被配置使用密钥组解密关于所述对象的所述信息，其中所述密钥组包括用于所述第一安全许可证级别的第一密钥和用于所述第二安全许可证级别的第二密钥。
8.根据权利要求5所述的设备，其中呈现给所述第一用户的所述信息基于所述第一用户的说明，并且呈现给所述第二用户的所述信息基于所述第二用户的说明。
9.根据权利要求5所述的设备，其中所述视频数据(324)内的图像(322)是关于所述对象(306)的部分且其中所述第一显示系统和所述第二显示系统的至少一个除了被配置为在所述对象(306)的部分的所述视频数据(324)内的图像(322)上显示所述信息之外，所述第一显示系统和所述第二显示系统的至少一个还被配置为显示包括所述部分的所述对象(306)的较大部分且在所述较大部分上显示图形指示符(840)，其中所述图形指示符(840)识别所述较大部分内的所述部分。
CN201180065070.XA 2011-01-13 2011-09-21 增强协作系统 Active CN103314580B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/005,753 US9113050B2 (en) 2011-01-13 2011-01-13 Augmented collaboration system
US13/005,753 2011-01-13
PCT/US2011/052636 WO2012096691A1 (en) 2011-01-13 2011-09-21 Augmented collaboration system

Publications (2)

Publication Number Publication Date
CN103314580A CN103314580A (zh) 2013-09-18
CN103314580B true CN103314580B (zh) 2017-02-15

Family

ID=44789591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180065070.XA Active CN103314580B (zh) 2011-01-13 2011-09-21 增强协作系统

Country Status (5)

Country Link
US (1) US9113050B2 (zh)
EP (2) EP3416378A1 (zh)
JP (1) JP6078003B2 (zh)
CN (1) CN103314580B (zh)
WO (1) WO2012096691A1 (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10026227B2 (en) 2010-09-02 2018-07-17 The Boeing Company Portable augmented reality
JP5844288B2 (ja) * 2011-02-01 2016-01-13 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機能拡張装置、機能拡張方法、機能拡張プログラム、及び集積回路
US20130063560A1 (en) * 2011-09-12 2013-03-14 Palo Alto Research Center Incorporated Combined stereo camera and stereo display interaction
US9235819B2 (en) * 2011-11-04 2016-01-12 Canon Kabushiki Kaisha Printing system, image forming apparatus, and method
US20150170418A1 (en) * 2012-01-18 2015-06-18 Google Inc. Method to Provide Entry Into a Virtual Map Space Using a Mobile Device's Camera
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9310611B2 (en) * 2012-09-18 2016-04-12 Qualcomm Incorporated Methods and systems for making the use of head-mounted displays less obvious to non-users
CN104704535A (zh) * 2012-10-02 2015-06-10 索尼公司 增强现实系统
US20140098226A1 (en) * 2012-10-08 2014-04-10 Google Inc. Image capture component on active contact lens
US9508146B2 (en) 2012-10-31 2016-11-29 The Boeing Company Automated frame of reference calibration for augmented reality
JP5787099B2 (ja) * 2012-11-06 2015-09-30 コニカミノルタ株式会社 案内情報表示装置
WO2014095068A1 (en) * 2012-12-21 2014-06-26 Harman Becker Automotive Systems Gmbh Infotainment system
IL298018B2 (en) * 2013-03-11 2024-04-01 Magic Leap Inc System and method for augmentation and virtual reality
EP2973532A4 (en) 2013-03-15 2017-01-18 Magic Leap, Inc. Display system and method
CN103297233B (zh) * 2013-04-27 2016-11-23 天地融科技股份有限公司 安全设备和显示系统
JP2014219448A (ja) * 2013-05-01 2014-11-20 コニカミノルタ株式会社 表示システム、表示方法、表示端末および表示プログラム
US9645652B2 (en) 2013-05-28 2017-05-09 The Boeing Company Ubiquitous natural user system for human-machine interaction
US9395810B2 (en) 2013-05-28 2016-07-19 The Boeing Company Ubiquitous natural user system
US9965897B2 (en) * 2013-07-08 2018-05-08 OPS Solutions, LLC Eyewear operational guide system and method
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US10228242B2 (en) 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
US9446856B1 (en) * 2013-07-31 2016-09-20 Rockwell Collins, Inc. Method and apparatus for maintaining aircraft
US9740935B2 (en) 2013-11-26 2017-08-22 Honeywell International Inc. Maintenance assistant system
TWM491897U (zh) * 2014-05-13 2014-12-11 Chi-Chung Lin 智慧社區擴增實境系統
US10723481B2 (en) * 2014-10-28 2020-07-28 Latecoere Method and system for monitoring and securing an enclosure of a vehicle, in particular of an aircraft
US9611055B2 (en) * 2014-11-12 2017-04-04 Honeywell International Inc. Context based content display in a wearable device
US10065750B2 (en) * 2015-02-10 2018-09-04 Honeywell International Inc. Aircraft maintenance systems and methods using wearable device
US9565176B2 (en) * 2015-03-10 2017-02-07 Citrix Systems, Inc. Multiscreen secure content access
JP2016192122A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10198620B2 (en) 2015-07-06 2019-02-05 Accenture Global Services Limited Augmented reality based component replacement and maintenance
JP2017162102A (ja) * 2016-03-08 2017-09-14 株式会社東芝 保守支援方法、保守支援システム、及び保守支援プログラム
US11108708B2 (en) 2016-06-06 2021-08-31 Global Tel*Link Corporation Personalized chatbots for inmates
CN106707810B (zh) * 2016-12-02 2019-04-05 大连海事大学 基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统和方法
US10404804B2 (en) 2017-01-30 2019-09-03 Global Tel*Link Corporation System and method for personalized virtual reality experience in a controlled environment
FR3063713B1 (fr) * 2017-03-09 2019-07-05 Airbus Operations (S.A.S.) Systeme et procede d'affichage pour un aeronef
WO2018223229A1 (en) 2017-06-05 2018-12-13 2689090 Canada Inc. System and method for displaying an asset of an interactive electronic technical publication synchronously in a plurality of extended reality display devices
US20190057180A1 (en) * 2017-08-18 2019-02-21 International Business Machines Corporation System and method for design optimization using augmented reality
US10965941B2 (en) * 2017-10-09 2021-03-30 Qualcomm Incorporated Position-dependent prediction combinations in video coding
US10410426B2 (en) * 2017-12-19 2019-09-10 GM Global Technology Operations LLC Augmented reality vehicle user interface
JP7017689B2 (ja) * 2017-12-29 2022-02-09 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法
GB201804383D0 (en) * 2018-03-19 2018-05-02 Microsoft Technology Licensing Llc Multi-endpoint mixed reality meetings
DE102018004618A1 (de) * 2018-06-09 2019-12-12 Linde Aktiengesellschaft Verfahren zur Fertigung im Apparate- und Anlagenbau
US10977867B2 (en) 2018-08-14 2021-04-13 Goodrich Corporation Augmented reality-based aircraft cargo monitoring and control system
CN117238224A (zh) 2018-08-31 2023-12-15 奇跃公司 用于增强现实装置的空间分辨的动态调暗
US20200125846A1 (en) * 2018-10-23 2020-04-23 The Boeing Company Augmented Reality System for Manufacturing Composite Parts
EP3908876A4 (en) 2019-01-11 2022-03-09 Magic Leap, Inc. TIME MULTIPLEXED DISPLAY OF VIRTUAL CONTENT AT VARIOUS DEPTHS
US11132845B2 (en) 2019-05-22 2021-09-28 Microsoft Technology Licensing, Llc Real-world object recognition for computing device
CN114222942A (zh) 2019-08-12 2022-03-22 奇跃公司 用于虚拟和增强现实的系统和方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101207787A (zh) * 2006-12-22 2008-06-25 南京理工大学 支持用户分级的多媒体数据广播方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2955451B2 (ja) * 1993-09-21 1999-10-04 株式会社クボタ 作業遠隔指示装置
JP3265893B2 (ja) * 1995-02-13 2002-03-18 株式会社日立製作所 画像表示装置
JP3106107B2 (ja) * 1996-11-20 2000-11-06 株式会社東芝 プラント内情報通信システム
USH1790H (en) * 1996-11-21 1999-03-02 The United States Of America As Represented By The Secretary Of The Army Medic-cam
US6166744A (en) 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
JP2000184370A (ja) * 1998-12-18 2000-06-30 Shimadzu Corp 情報提供システム
JP2000299851A (ja) * 1999-02-12 2000-10-24 Sanyo Electric Co Ltd 指示情報伝達装置
US20020010734A1 (en) * 2000-02-03 2002-01-24 Ebersole John Franklin Internetworked augmented reality system and method
EP1319297A2 (en) 2000-09-22 2003-06-18 Weatherford/Lamb, Inc. Methods and apparatus for interactive communications
JP4288843B2 (ja) * 2000-10-25 2009-07-01 沖電気工業株式会社 遠隔作業支援システム
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
US7428314B2 (en) * 2003-12-03 2008-09-23 Safehouse International Inc. Monitoring an environment
EP1694821B1 (en) 2003-12-11 2017-07-05 Strider Labs, Inc. Probable reconstruction of surfaces in occluded regions by computed symmetry
JP4479267B2 (ja) * 2004-02-18 2010-06-09 株式会社日立製作所 監視カメラ映像配信システム
US7367809B2 (en) * 2004-03-26 2008-05-06 Atsushi Takahashi Three-dimensional digital entity mesoscope system equipped with three-dimensional visual instruction functions
JP2005322055A (ja) * 2004-05-10 2005-11-17 Nippon Telegr & Teleph Corp <Ntt> 作業支援用情報提示装置、作業支援用情報提示方法及び作業支援用情報を提示するためのプログラム
US7792295B2 (en) * 2005-04-25 2010-09-07 Panasonic Corporation Monitoring camera system, imaging device, and video display device
DE102006033064A1 (de) 2005-07-14 2007-02-01 Sn Technics Gmbh Vorrichtung zur Ferndiagnose bzw. Fernwartung technischer Einrichtungen
US7433505B2 (en) 2005-11-01 2008-10-07 Ben Yoo Method of dental microscopic procedure
US7480037B2 (en) 2005-12-02 2009-01-20 The Boeing Company System for projecting flaws and inspection locations and associated method
WO2007076555A2 (en) 2005-12-29 2007-07-05 Aechelon Technology, Inc. A location based wireless collaborative environment with a visual user interface
US20070229498A1 (en) 2006-03-29 2007-10-04 Wojciech Matusik Statistical modeling for synthesis of detailed facial geometry
US9323055B2 (en) 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
US20080030575A1 (en) * 2006-08-03 2008-02-07 Davies Paul R System and method including augmentable imagery feature to provide remote support
GB0616410D0 (en) 2006-08-21 2006-10-18 Anaglyph Ltd Visual aid for manufacturing assembly/component placement
JP5176655B2 (ja) * 2008-03-31 2013-04-03 富士通株式会社 画像復号化装置
US20090322671A1 (en) * 2008-06-04 2009-12-31 Cybernet Systems Corporation Touch screen augmented reality system and method
US8576282B2 (en) * 2008-12-12 2013-11-05 Honeywell International Inc. Security system with operator-side privacy zones
JP5168161B2 (ja) * 2009-01-16 2013-03-21 ブラザー工業株式会社 ヘッドマウントディスプレイ
US20100257252A1 (en) 2009-04-01 2010-10-07 Microsoft Corporation Augmented Reality Cloud Computing
FR2945630B1 (fr) * 2009-05-14 2011-12-30 Airbus France Procede et systeme d'inspection a distance d'une structure
US20110102460A1 (en) 2009-11-04 2011-05-05 Parker Jordan Platform for widespread augmented reality and 3d mapping
US8451266B2 (en) 2009-12-07 2013-05-28 International Business Machines Corporation Interactive three-dimensional augmented realities from item markers for on-demand item visualization
US8416263B2 (en) 2010-03-08 2013-04-09 Empire Technology Development, Llc Alignment of objects in augmented reality
US20110287811A1 (en) 2010-05-21 2011-11-24 Nokia Corporation Method and apparatus for an augmented reality x-ray
US8902254B1 (en) 2010-09-02 2014-12-02 The Boeing Company Portable augmented reality

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101207787A (zh) * 2006-12-22 2008-06-25 南京理工大学 支持用户分级的多媒体数据广播方法

Also Published As

Publication number Publication date
WO2012096691A1 (en) 2012-07-19
US20120183137A1 (en) 2012-07-19
US9113050B2 (en) 2015-08-18
JP6078003B2 (ja) 2017-02-08
EP3416378A1 (en) 2018-12-19
JP2014505627A (ja) 2014-03-06
CN103314580A (zh) 2013-09-18
EP2664135A1 (en) 2013-11-20

Similar Documents

Publication Publication Date Title
CN103314580B (zh) 增强协作系统
CN103444151B (zh) 机场安全系统
CN104025091B (zh) 飞行器部件控制系统
WO2022221719A2 (en) Systems, methods, kits, and apparatuses for digital product network systems and biology-based value chain networks
WO2022240906A1 (en) Systems, methods, kits, and apparatuses for edge-distributed storage and querying in value chain networks
CA3177372A1 (en) Digital twin systems and methods for transportation systems
CN110290945A (zh) 记录操作员和周围视场的视频
JP6203075B2 (ja) 機内乗客情報システム
CN103226789B (zh) 客户飞机定制系统
CN105404268B (zh) 交通工具审核和交通工具系统的维护和诊断控制
CN104102760A (zh) 用于三维可视化的定位系统
CN106547939A (zh) 对象管理系统、飞机设计系统及管理对象的方法
CN104670508A (zh) 飞行器的飞行管理系统
CN117480085A (zh) 驾驶员监测系统（dms）数据管理
CN102845045B (zh) 发送和接收消息
CN102354212B (zh) 航空器机载系统
Schmid et al. Evaluating the reduced flight deck crew concept using cognitive work analysis and social network analysis: Comparing normal and data-link outage scenarios
CN109377787A (zh) 用于飞行器机上提供基于对飞行约束的潜在不遵守的警报的系统和方法
US20190017945A1 (en) Aircraft Inspection System with Visualization and Recording
CN110119196A (zh) 头部可佩戴装置、系统和方法
CN104303144B (zh) 组件编程系统
EP1864225B1 (en) Method and software product for managing data exchange in a high-dynamics safety-critical system
WO2024091687A2 (en) Systems, methods, kits, and apparatuses for managing value chain networks in system of systems
EP3678074A1 (en) Multi-vehicle control method
CN103661970B (zh) 快速获取舱音记录仪及舱音记录获取的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant