CN104077350A

CN104077350A - 使用可视化查询系统的对象的可视化

Info

Publication number: CN104077350A
Application number: CN201410123178.5A
Authority: CN
Inventors: N·E·普拉扎克; J·C·加斯
Original assignee: Boeing Co
Current assignee: Boeing Co
Priority date: 2013-03-28
Filing date: 2014-03-28
Publication date: 2014-10-01
Also published as: US20140298216A1; EP2784648A3; US20160139769A1; EP2784648A2; CN114510590A; US10331295B2; JP2014194771A

Abstract

本发明涉及使用可视化查询系统的对象的可视化。一种用于使对象（106）可视化的计算机实施方法（104）。识别图像方框（138）的层次结构和动作方案（140）的指令（136）被接收。图像方框（138）的层次结构中的图像方框（142）被加载以通过在显示系统（124）上显示的图形用户界面（122）向用户（105）显示对应于图像方框（142）的图像（144）。在图像（144）上的大量的图像区域（146）是可选的。在大量的图像区域（146）中选择图像区域（148）的用户输入（121）被检测。可视化信息（152）基于选择的图像区域（148）而产生，该可视化信息将被发送到可视化系统（102）用于通过图形用户界面（122）可视地呈现关于用户（105）感兴趣的对象（106）的数据的一部分。

Description

使用可视化查询系统的对象的可视化

技术领域

本发明大体涉及可视化系统，并且具体地，涉及使用可视化系统来查询信息。更具体地，本发明涉及用于允许用户使用可视化系统可视地查询关于对象的信息的方法和装置。

背景技术

如本文所使用的，可视化系统可以是允许用户查看对象和/或关于对象的数据的系统。例如，可视化系统可以可视地呈现图形用户界面内的对象的一个或多个三维模型的部分和/或独立部件。可视化系统可以用于相对于所述对象执行各种操作。例如，用户可以使用可视化系统来可视化对象内的特定零件或组装件，以识别信息用于执行检查。然而，一些当前可用的可视化系统可能比期望更难以使用和导航。

作为一个说明性的示例，可视化系统可以用于可视化在工厂中制造的不同类型的飞机和关于这些飞机的数据。每架飞机可以由数千、几十万或数百万的零件组成。通过一些当前可用的可视化系统，在任何一天将大量的可用数据筛选到用户感兴趣的数据会比期望更加困难以及耗时。

另外，一些用户可能不具备使用这些类型的当前可用的可视化系统所需的知识、经验和/或训练。例如，用户可能想使用可视化系统来识别位于飞机的特定部分内的紧固件元件的特定实例，使得可以定制替换零件。这种类型的紧固件元件可以在飞机内的数百个实例中使用。然而，用户不能通过紧固件元件的数百个实例来快速且有效地进行筛选，以识别位于感兴趣的飞机的特定部分内的紧固件元件的特定实例。因此，希望有一种考虑到至少一些上面讨论的问题以及其他可能出现的问题的方法和装置。

发明内容

在一个说明性实施例中，提供用于可视化关于对象的数据的计算机实施的方法。识别图像方框的层次结构和动作方案（action scheme）的指令被接收。在图像方框的层次结构中的图像方框被加载以通过显示在显示系统上的图形用户界面向用户显示对应于图像方框的图像。在图像上的大量的图像区域是可选的。基于在指令中识别的动作方案，一系列动作被执行以响应在大量的图像区域中选择的图像区域。

在另一个说明性实施例中，提供用于可视地查询关于对象的数据的计算机实施的方法。识别图像方框的层次结构和动作方案的指令被接收。在图像方框的层次结构中的图像方框被加载以通过在显示系统上显示的图形用户界面向用户显示对应于图像方框的图像。在图像上的大量的图像区域是可选的。在大量的图像区域中选择图像区域的用户输入被检测。基于所选择的图像区域产生可视化信息，该可视化信息将被发送到可视化系统以用于通过图形用户界面可视地呈现关于用户感兴趣的对象的数据的一部分。

在另一个说明性实施例中，装置包括可视化查询系统。可视化查询系统配置为接收识别图像方框的层次结构和动作方案的指令。可视化查询系统配置为在图像方框的层次结构中加载图像方框，以通过在显示系统上显示的图形用户界面向用户显示对应于图像方框的图像。在图像上的大量图像区域是可选的。可视化查询系统配置为基于在指令中识别的动作方案，响应于在大量的图像区域中选择的图像区域而执行一系列动作。

特征和功能可以在本发明的各种实施例中独立地实现，或可以结合在其他实施例中，其进一步的细节可以参考下面的描述和附图看出。

附图说明

被认为是本说明性实施例的新颖特征在所附权利要求中提出。然而，当结合附图阅读时，说明性实施例以及优选的使用方式、其进一步的目的和特征将通过参考本公开的说明性实施例的以下详细说明而被最好地理解，其中：

图1是根据说明性实施例的方框图形式的可视化环境的图示说明；

图2是根据说明性实施例的图形用户界面的图示说明；

图3是根据说明性实施例显示大量的图像区域的图形用户界面的图示说明；

图4是根据说明性实施例的搜索窗口的图示说明；

图5是根据说明性实施例的搜索窗口的图示说明；

图6是根据说明性实施例的搜索结果的图示说明；

图7是根据说明性实施例的在图形用户界面内显示的飞机的数据的可视化的图示说明；

图8是根据说明性实施例显示不同图像的图形用户界面的图示说明；

图9是根据说明性实施例在图形用户界面内显示的另一个图像的图示说明；

图10是根据说明性实施例的流程图形式的用于可视地查询关于对象的数据的过程的图示说明；

图11是根据说明性实施例的流程图形式的用于可视地查询关于对象的数据的过程的图示说明；

图12是根据说明性实施例的方框图形式的数据处理系统的图示说明；

图13是根据说明性实施例的方框图形式的飞机制造和维护方法的图示说明；并且

图14是根据说明性实施例的方框图形式的飞机的图示说明。

具体实施方式

说明性的实施例认识到并考虑到不同的因素。例如，说明性实施例认识并考虑到希望具有一种系统，其允许用户使用可视化系统搜索信息，而无需可视化系统如何工作和/或如何使用可视化系统筛选信息的广泛的知识。特别地，说明性实施例认识并考虑到希望具有一种系统，其允许用户以期望的难易水平可视地查询可视化系统内的信息。因此，本说明性实施例提供配置为可视地查询可视化系统内的信息的可视化查询系统。

现在参考附图，特别地，参考图1，其根据说明性实施例以方框图的形式描述了可视化环境的图示说明。在此说明性示例中，可视化环境100包括可视化系统102。

如所描绘的，可视化系统102可使用硬件、软件或两者的结合来实施。例如，可视化系统102可以在计算机系统103内实施。计算机系统103可以由一个或多个计算机组成，这取决于实施方式。当多于一个计算机存在于计算机系统103中时，这些计算机可以彼此通信。

在此说明性示例中，可视化系统102可以被用户105用来可视化关于对象106的数据104。如本文中所使用的，用户105可以通过查看关于对象106的数据104的至少某些部分的某些类型的图形表示来“可视化”关于对象106的数据104。

对象106可以采取许多不同的形式。例如但不限于，对象106可以是飞行器、地面交通工具、水上交通工具、太空交通工具、制造工厂、建筑物、电力网、电气系统、机械系统、计算机、附近地区、城市或一些其他类型的对象。对象106可以是可以在逻辑上分解成多个部件的任何对象。在一些情况下，对象106可以由部件、部件的组装件和部件的子组装件组成。

关于对象106的数据104可存储在大量的数据结构108中。如本文所用的，“大量”项目可以是一个或多个项目。以这种方式，大量的数据结构108可以是一个或多个数据结构。例如但不限于，大量的数据结构108中的数据结构可以采取数据库、对象106的几何表示或模型或某些其他类型的数据结构或数据结构的组合的形式。

在一个说明性示例中，大量的数据结构108可以存储在计算机系统103内。在一些情况下，大量的数据结构108可以存储在可视化系统102内。在其他情况下，大量的数据结构108可以存储在计算机系统103内，与可视化系统102分开。在其他说明性实施例中，大量的数据结构108可以存储在任何数量的服务器、存储器设备、计算机系统和/或其他类型的存储设备中。

关于对象106的数据104可以采取大量不同的形式。在一个说明性示例中，数据104可以包括用于对象106的设计110。例如，但不限于，设计110可以包括大量模型112、对象数据114和/或其他类型的数据。

例如，但不限于，大量模型112可以包括对象106、对象106的部分和/或组成对象106的部件的一个或多个三维模型。三维模型116可以是大量模型112中的一个模型的示例。例如，但不限于，三维模型116可以是计算机辅助设计（CAD）模型。

对象数据114可以包括关于对象106、对象106的部分和/或组成对象106的部件的不同类型的数据。例如，但不限于，对象数据114可以包括设计数据、工程数据、几何数据、属性数据、零件数据、制造数据、生产数据、维护数据、工令（work order）数据或对象106的某些其他类型的数据中的至少一个。

如本文所用的，当用于一列项目时，短语“至少一个”是指一个或多个所列项目的不同组合可以使用并且在列表中只有一个项目是需要的。该项目可以是特定的对象、事物或者类别。换句话说，“至少一个”是指项目的任何组合，或可以使用列表中的大量项目，但不是要求在列表中的所有项目。

例如，“项目A、项目B、项目C的至少一个”可以指项目A；项目A和项目B；项目B；项目A、项目B和项目C；或项目B和项目C。在一些情况下，例如，但不限于，“项目A、项目B、项目C的至少一个”可以指两个项目A、一个项目B和十个项目C；四个项目B和七个项目C；或一些其他适当的组合。

在此说明性示例中，可视化系统102可配置为通过在显示系统124上显示的图形用户界面122可视地呈现数据104给用户105。显示系统124可以由大量的显示设备126组成。在大量的显示设备126中的显示设备可以采取大量不同的形式。例如，但不限于，显示设备可采取监视器、屏幕、液晶显示器（LCD）、触摸屏、头戴式显示设备、虚拟现实显示设备、全息显示设备或一些其他类型的显示设备的形式。

在一些说明性示例中，显示系统124可以部分地或完全地作为计算机系统103的一部分实施。在其他说明性实施例中，显示系统124可以被认为完全独立于计算机系统103。

用户105可以使用大量的输入设备120与图形用户界面122交互。特别地，用户105可以通过大量的输入设备120将用户输入121输入图形用户界面122。例如，但不限于，大量的输入设备120可以包括键盘、鼠标、触针、手套、遥控、触摸屏、多点触摸屏、虚拟键盘或一些其他类型的输入设备。

在一些说明性的示例中，大量的输入装置120中的一个或多个可以被认为是显示系统124的一部分。例如，大量的显示设备126中的显示设备和大量的输入设备120中的输入设备可以在同一设备中实施。作为具体的示例，触摸屏显示设备可以用作显示设备和输入设备两者。

在此说明性示例中，用户105可以使用可视化查询系统118来快速并有效地可视化关于对象106的数据104的期望的部分。在一个说明性示例中，可视化查询系统118可以被认为是可视化系统102的一部分。在另一个说明性示例中，可视化查询系统118可以被认为独立于可视化系统102。

进一步地，可视化查询系统118可以使用硬件、软件或两者的结合来实施。在一个说明性示例中，可视化查询系统118可以在计算机系统103内实施。然而，在另一个说明性示例中，可视化查询系统118可以在不同的计算机系统内或在与计算机系统103分开的一些其他类型的处理单元中实施。

通过可视化查询系统118，用户105能够更快且更有效地可视化用户105感兴趣的数据104的部分，而无需知道如何完全导航和使用可视化系统102。进一步地，用户105能够使用可视化查询系统118来影响可视化系统102向用户105显示关于对象106的感兴趣的数据104的部分的方式。

用户105可以使用图形用户界面122和大量的输入设备120与可视化查询系统118交互。作为一个说明性示例，当使用可视化系统102时，用户105能够在图形用户界面122中打开新的窗口，其允许用户105访问可视化查询系统118。

如所描绘的，可视化查询系统118可以包括控制器130、查询生成器132和显示管理器134。控制器130可以配置为接收指令136。在一个说明性示例中，指令136可以由大量的专家137生成。

如本文所用，“专家”，例如大量的专家137之一，可以是具有关于对象106的知识和关于对象106的数据104的特定水平的任何人。这方面的知识可以通过教育、随着时间的经验、训练、某技能组的实践和/或以其他方式而取得。在一些情况下，大量的专家137中的专家可以被称为主题专家（SME）。

在此说明性示例中，可以生成指令136，用于指示响应于通过图形用户界面122接收用户输入121而将要被执行的动作。这些动作可以包括改变在图形用户界面122内显示的内容、影响可视化系统102显示关于对象106的数据104的方式和/或其他类型的动作。

指令136可以通过大量的专家137基于用户105和/或类似用户105的一组用户的需求的预期来生成。例如，指令136可以基于包括用户105的一组用户打算如何以及为何使用可视化系统102的知识和/或预测而生成。

例如，但不限于，该组用户可以是一组工程师、一组机械师、一组技术人员、一组库存管理专员、一组设计师、一组项目经理或一些其他类型的组。进一步地，对于不同类型的用户组，可以产生不同的指令。以这种方式，每个组的用户能够使用定制版本的可视化查询系统118。

在此说明性示例中，指令136可以识别图像方框138的层次结构和动作方案140。图像方框138的层次结构可以包括一个或多个级别的层次结构。在一些情况下，这种层次结构可以以树状结构的形式组织。在一些情况下，此层次结构可以由来自相同的根图像方框的多个树结构组成。当多个树结构呈现在图像方框138的层次结构中时，每个包括一个或多个图像方框的多个最低级别可以呈现在图像方框138的层次结构内。然而，只有一个图像方框可呈现在图像方框138的层次结构的根级别。除了根级别之外的多个结构可以是互相独立的，或者可以相互交织，这取决于实施方式。

图像方框142可以是在图像方框138的层次结构中的图像方框之一的示例。图像方框142可以是由图像144和大量的图像区域146组成的逻辑方框。在一些情况下，图像144可以是使用对象106的大量的模型112之一生成的对象106的图像。然而，在其他实施例中，图像144可以是一些其他类型的图像。进一步地，图像144可以是单个图像或多个图像的集合，这取决于实施方式。

当图像方框142是在图像方框138的层次结构中的根图像方框时，图像144可以称为根图像，或在一些情况下，被称为索引图像或基本图像。当用户105开始使用可视化查询系统118时，这个根图像可以是显示给用户105的初始图像。特别地，这个根图像可以通过显示管理器134在图形用户界面122内可视地呈现给用户105。

大量的图像区域146中的每一个可以由用户105通过用户输入121选择。大量的图像区域146中的每一个可以是图像144的一部分。在此说明性示例中，没有两个图像区域可以共享图像144的任何部分。换句话说，没有两个图像区域可以重叠。根据实施方式，在大量的图像区域146中的图像区域146也可以被称为“热点”或“可选择区域”。

动作方案140可以识别将由可视化查询系统118执行以响应通过用户输入121在大量的图像区域146中不同的图像区域的选择的一个或多个动作。例如，控制器130可以接收通过图形用户界面122从大量的图像区域146中选择图像区域148的用户输入121。例如，但不限于，选择图像区域148的用户输入121可以是在图像区域148内的任何地方的鼠标点击。

响应于接收图像区域148的该选择，控制器130可以基于指令136内的动作方案140识别将由可视化查询系统118执行的一系列动作150。一系列动作150可以包括在图像方框138的层次结构的下一级别中加载新的图像方框，并在图形用户界面122内显示相应的图像，生成将被发送到可视化系统102的可视化信息152，和/或一些其他数量的动作。

在大量的图像区域146中的每个图像区域可以是分支的图像区域或最终的图像区域。在一些说明性的示例中，大量的图像区域146中的所有的图像区域可以是分支的图像区域或最终的图像区域。在其他说明性示例中，大量的图像区域146的一部分可以是分支的图像区域，而大量的图像区域146的另一部分可以是最终的图像区域。

当图像区域148是分支的图像区域时，图像区域148的选择可以引起来自图像方框142正下方的图像方框138的层次结构中的级别的新的图像方框被加载。换句话说，图像区域148可以允许分支到新的图像方框。进一步地，对应于新的图像方框的图像可以在图形用户界面122内显示。显示的新的图像可以是具有更精细级别的细节的图像，可以是图像144的放大的图像，或者一些其他类型的图像。用户105然后可以进一步选择为这个图像定义的大量的图像区域中的任何一个。

当图像区域148是最终的图像区域时，图像区域148的选择可以导致生成可视化信息152。可以生成可视化信息152，以便由可视化系统102使用。在一些情况下，可视化系统102可以使用可视化信息152以确定数据104的哪一部分显示在图形用户界面122内。进一步地，可视化系统102可以使用可视化信息152来确定如何显示数据104的这一部分。

例如，但不限于，可视化信息152可以包括空间信息154、大量的可视化效果156和/或其他类型的信息。在一些情况下，可视化信息152的一部分可以基于由查询生成器132运行的查询的结果而生成。例如，一系列动作150中的一个可以包括基于图像区域148的选择而运行查询。该查询可以基于图像区域148的选择而筛选数据104以识别用户105感兴趣的数据104的部分。查询的参数可以由指令136来定义。

空间信息154可以包括关于该经筛选的数据将被显示的方式的信息。例如，空间信息154可以识别在对象106内的空间区域，经筛选的数据将相对于该空间区域被图形地表示。例如，可视化系统102可以使用空间信息154来在图形用户界面122内图形地呈现与在空间信息154中识别的空间区域相关的数据104的部分。在一些情况下，空间信息154还可以识别该数据将被图形地呈现的视角。

大量的可视化效果156可以识别将被应用到通过可视化系统102显示给用户105的数据104的图形表示的大量的可视化效果。例如，但不限于，大量的可视化效果156可以包括任何数量的着色效果、加粗效果、描绘轮廓效果、修剪效果、缩放效果、剪切效果和/或其他类型的效果。

以这种方式，用户105可以导航通过图像方框的层次结构138，直到用户105选择导致可视化信息152被发送到可视化系统102的图像区域。通过以这种方式导航通过图像方框138的层次结构，用户105可以迅速地“可视地查询”用户105感兴趣的数据104的部分。可视化查询数据104的这种过程可能比使用可视化系统102来识别感兴趣数据简单。

可视化系统102和可视化查询系统118可以被用于可视化除了或取代对象106的任何数量的对象。在一个说明性示例中，可视化系统102和可视化查询系统118可以一起形成集成的可视化工具/显影仪（visualizer）。这个集成的可视化工具也可以称为集成可视化系统。

集成的可视化工具可由不同类型的用户使用。例如，针对一种类型的用户生成的指令136可以不同于针对另一种类型的用户生成的指令136。控制器130可以被配置为接收不同的指令组，并基于特定用户确定将使用哪个指令组。

进一步地，集成的可视化工具可以允许用户105和/或其他用户可视化对象数据，不只是对于对象106，而是对于多个对象中的每一个。例如，这些对象可以是多种交通工具、多种飞机、多种地面交通工具、多种轮船、多种发动机或者多种一些其他类型的对象。

集成的可视化工具可以允许用户基于大量的搜索条件可视地查询对应于多个对象之一的对象数据的一部分。例如，但不限于，搜索条件可以包括相对于多个对象的参考坐标系的至少一个位置、对象标识符、零件号码、实例号码或一些其他类型的搜索条件。

此外，集成的可视化工具可以允许用户基本上实时地可视地查询对象数据的期望部分。例如，集成的可视化工具可以允许用户筛选实时数据并且实时地可视化感兴趣的数据。

图1中的可视化环境100的图示说明不意味着暗示对示例性实施例可以实施的方式的物理的或结构的限制。可以使用除了或取代示出的部件的其他部件。一些部件可以是可选的。此外，方框被呈现以图示说明一些功能部件。这些方框中的一个或多个可以被组合、划分或当在说明性实施例中实施时被组合以及划分为不同的方框。

现在参考图2，其根据说明性实施例描绘了图形用户界面的图示说明。图2中的图形用户界面200是图1中的图形用户界面122的一个实施方式的示例。

在此说明性示例中，窗口204被显示在图形用户界面200内。飞机图像202被显示在窗口204内。飞机图像202是图1中的图像144的一个实施方式的示例。飞机图像202可以是在此说明性示例中的根图像。如图所示，飞机图像202是具有机身206、机头部分208和机尾部分210的飞机的图像。机翼212和机翼214连接到机身206。发动机216和发动机218分别连接到机翼212和机翼214。

飞机图像202可以是图像方框（例如图1中的图像方框142）的一部分。大量的图像区域（例如在图1中的大量的图像区域146）可以对应于飞机图像202。然而，这些图像区域未在图2中示出。这些图像区域在图2中被隐藏，但在下面的图3中被示出。

如图所示，图形用户界面200包括控制部分220。控制部分220包括图像区域数据222、搜索控件224和对象选择控件226。在此说明性示例中，图像区域数据222识别飞机图像202上的特定图像区域的坐标边界，光标可以在其上盘旋。以这种方式，可以为用户提供关于图像区域的一些信息，而无需查看该图像区域或选择图像区域。

图像区域数据222包括x坐标范围228、y坐标范围230和z坐标的范围232。x坐标范围228表示图像区域的x坐标边界。y坐标范围230表示图像区域的y坐标边界。z坐标范围232表示图像区域的z坐标边界。这些坐标可以相对于通过飞机图像202所呈现的飞机的一些参考坐标系。

在此说明性示例中，搜索控件224可以由用户来选择以导致新的搜索窗口将被显示。此搜索窗口的示例在下面的图4中进行描述。对象选择控件226可以允许用户选择哪个飞机由飞机图像202表示。在一些情况下，当选择不同的飞机时，不同的飞机图像202可以被显示。然而，在其他情况下，不同的飞机的选择可以改变对应于飞机图像202的图像区域，响应于图像区域的选择而改变被查询的数据或数据源。

现在参考图3，根据说明性实施例描绘了显示大量的图像区域的图2的图形用户界面200的图示说明。在此说明性示例中，大量的图像区域300已经在飞机图像202上显示。大量的图像区域300中的每一个可以由用户选择。

图像区域302、304、306、308、310和312可以是大量的图像区域300中的图像区域的示例。图像区域302、304、306、308和310表示飞机图像202的机翼214的各个部分。用户可以选择图像区域302、304、306、308和310中的任何一个，以更详细地查看机翼214的特定部分。图像区域312表示发动机218。用户可以选择图像区域312，以更详细地查看发动机218或加载新的图像。

现在参考图4，其根据说明性实施例描述搜索窗口的图示说明。在此说明性示例中，搜索窗口400可以在图形用户界面200内显示，以响应于在图4中用户选择搜索控件410。

如图所示，搜索窗口400可以包括类型菜单402。类型菜单402可以允许用户指出将被执行的搜索的类型。在此说明性示例中，用户已经选择零件号码404，指示用户希望通过零件号码搜索零件。响应于用户选择零件号码404，特定的零件号码字段406被显示。用户已经在特定的零件号码字段406内输入特定的零件号码408。

用户可以选择搜索控件410来搜索具有特定的零件号码408的零件。用户可以选择取消控件412来取消这一特定的搜索。

现在参考图5，其根据说明性实施例描述了图4的搜索窗口400的图示说明。在此说明性示例中，对于将被执行的搜索类型，用户已经选择飞机502上的位置。响应该选择，站位504、纵剖线506和水位线508在搜索窗口400内显示。

站位504、纵剖线506和水位线508可以是用户可以在其中输入值的字段。站位504的值可表示x坐标。纵剖线506的值可表示y坐标。水位线508的值可表示z坐标。在图2-3中的飞机图像202所表示的飞机上，用户可以选择搜索控件410来搜索通过这些xyz坐标所定义的位置。

虽然在图4和图5中的搜索窗口400描绘了可以由零件号码404或飞机502上的位置来执行的搜索，但也可以执行其他类型的搜索。当然，在一些其他说明性实施例中，零件的实例可使用不同类型的搜索准则来搜索。例如，可以使用零件号码和在飞机上的位置来搜索零件。作为另一个示例，零件可以基于连接到该零件的另一个零件来搜索。

现在参考图6，其根据说明性实施例描绘了搜索结果的图示说明。在此说明性示例中，基于在图4中的搜索窗口400内输入的准则而执行的搜索的结果被显示在窗口204内。搜索结果采取指示器600、指示器602和指示器604的形式。

这些指示器的每一个表示在其中已经识别零件的一个或多个实例的图像区域。在一个说明性示例中，零件可以延伸穿过与指示器600、指示器602和指示器604对应的三个图像区域所表示的飞机部分。

用户对这些指示器之一的选择产生可视化信息，如在图1中产生的可视化信息152。可视化系统可以使用该可视化信息来将数据的图形化表示显示给用户。当然，在其他说明性实施例中，可以执行一些其他动作以响应这些指示器之一的选择。

现在参考图7，其根据说明性实施例描绘了显示在图形用户界面200内的由在图2中的飞机图像202表示的飞机的数据的可视化的图示说明。在此说明性示例中，相对于图形用户界面200内的空间区域702，窗口700可视地呈现关于由飞机图像202表示的飞机的数据。

指示器704指向特定位置，在该特定位置已经发现具有由用户所识别的特定零件号码的零件的实例。该指示器可在图形用户界面200内保持可见，即使当该零件的实例包含在一些其他零件内或从视图中被隐藏。在此说明性示例中，指示器704可以从任何视角保持可见，即使当用户改变观察点和/或被显示的空间区域702的部分。

现在转向图8，其根据说明性实施例描绘了显示不同图像的图形用户界面200的图示说明。在此说明性示例中，制造图像800可以是在其中制造飞机的制造工厂的图像。制造图像800可以是根图像。图像区域802、804、806和808在制造图像800上显示。用户可以选择这些图像区域中的任何一个来查看制造工厂的更精细级别的细节。

现在参考图9，其根据说明性实施例描绘了在图形用户界面200内显示的另一个图像的图示说明。在此说明性示例中，响应于在图8中的图像区域806的选择，图像900可以显示在图形用户界面200内。

图像区域902、904、906、908和910表示飞机组装的不同阶段。在此说明性示例中，用户对这些图像区域的任何一个的选择可以使得可视化信息被生成并发送到可视化系统。当选择在组装中的较早阶段时，与当选择在组装中的较后阶段时相比，可视化系统可以可视地呈现较少部件。

在图2-10中的图形用户界面200的图示说明不意味着暗示对示例性实施例可以实施的方式的物理的或结构的限制。可以使用除了或取代示出的部件的其他部件。一些部件可以是可选的。

在图2-10中示出的不同的部件可以是图1中以方框形式示出的部件如何被物理实施的说明性示例。此外，在图2-10的一些部件可以与图1中的部件结合，与图1中的部件一起使用，或者二者的组合。

现在参考图10，其根据说明性实施例以流程图的形式描述了用于可视地查询关于对象的数据的过程的图示说明。在图10中图示说明的过程可以使用图1中的可视化查询系统118来实施。

该过程开始于在可视化查询系统的控制器处接收识别图像方框的层次结构和动作方案的指令（操作1000）。图像方框的层次结构和动作方案可以分别以与在图1中描述的图像方框138的层次结构和动作方案140类似的方式实施。

接下来，在图像方框的层次结构中的图像方框被加载，以通过在显示系统上显示的图形用户界面将与图像方框对应的图像显示给用户，其中在图像上的大量的图像区域是可选择的（操作1002）。接下来，响应于在大量的图像区域中的图像区域的选择，基于在指令中识别的动作方案而执行一系列动作（操作1004），随后该过程终止。

现在参考图11，其根据说明性实施例以流程图的形式描述了用于可视地查询数据的过程的图示说明。在图11中图示说明的过程可以使用图1中的可视化查询系统118来实施。

该过程开始于接收识别图像方框的层次结构的指令，其中在图像方框的层次结构中的每个图像方框包括图像和对应于该图像的大量的图像区域（操作1100）。接下来，根图像方框被加载，使得对应于该根图像方框的图像通过图形用户界面显示给用户，并且使得对应于该图像的大量的图像区域可由用户选择（操作1102）。

该过程监视在大量的图像区域中选择一个图像区域的用户输入（操作1104）。响应于用户对图像区域的选择，确定该图像区域是分支图像区域还是最终图像区域（操作1106）。如果选择的图像区域是分支图像区域，则在当前图像方框正下方级别的新图像方框被加载，使得对应于该新图像方框的新图像通过图形用户界面显示给用户，并且使得对应于该新图像的大量的图像区域可由用户选择（操作1108）。

接下来，该过程返回到上述的操作1102。然而，再次参考操作1106，如果选择的图像区域是最终图像区域，则可视化信息基于图像区域的选择而生成（操作1110）。

在操作1110中，可视化信息可以基于根据基于图像区域的选择而选择的参数的查询运行的结果以及基于所述指令而生成。可视化信息识别关于对象的数据的部分，以相对于空间区域可视地向用户呈现当可视地向用户呈现数据时使用的大量可视化效果和/或其他类型的信息。随后，可视化信息被发送到可视化系统，以便用于可视地向用户呈现数据（操作1112），随后该过程终止。

现在转到图12，其根据说明性实施例描绘了方框图形式的数据处理系统的图示说明。数据处理系统1200可用于实施图1中的计算机系统103中的一个或多个计算机。如图所示，数据处理系统1200包括通信框架1202，其在处理器单元1204、存储设备1206、通信单元1208、输入/输出单元1210以及显示器1212之间提供通信。在一些情况下，通信框架1202可以实施为总线系统。

处理器单元1204配置为执行软件的指令以执行大量操作。处理器单元1204可以包括大量处理器、多处理器核心和/或一些其他类型的处理器，这取决于实施方式。在一些情况下，处理器单元1204可以采用硬件单元的形式，例如电路系统、专用集成电路（ASIC）、可编程逻辑器件或一些其他合适类型的硬件单元。

由处理器单元1204运行的操作系统、应用程序和/或程序的指令可以位于存储设备1206中。存储设备1206可以通过通信框架1202与处理器单元1204通信。如本文所使用的，也被称为计算机可读存储设备的存储设备是能够在临时和/或永久基础上存储信息的任何硬件。此信息可以包括数据、程序代码和/或其他信息，但不限于此。

存储器1214和永久存储器1216是存储设备1206的示例。例如，存储器1214可采取随机存取存储器或一些类型的易失性或非易失性存储设备的形式。永久存储器1216可以包括任何数量的部件或设备。例如，永久存储器1216可以包括硬盘驱动器、闪存、可重写光盘、可重写磁带或以上的一些组合。由永久存储器1216使用的介质可以是或可以不是可移动的。

通信单元1208允许数据处理系统1200与其他数据处理系统和/或设备进行通信。通信单元1208可以使用物理和/或无线通信链路提供通信。

输入/输出单元1210允许从连接至数据处理系统1200的其他设备接收输入以及发送输出到连接到数据处理系统1200的其他设备。例如，输入/输出单元1210可允许通过键盘、鼠标和/或一些其他类型的输入设备来接收用户输入。作为另一个示例，输入/输出单元1210可允许输出发送到连接至数据处理系统1200的打印机。

显示器1212配置为向用户显示信息。例如，但不限于，显示器1212可以包括监视器、触摸屏、激光显示器、全息显示器、虚拟显示设备和/或一些其他类型的显示设备。

在此说明性示例中，不同的说明性实施例的过程可以由处理器单元1204使用计算机实施的指令来执行。这些指令可以被称为程序代码、计算机可用程序代码或计算机可读程序代码，并且可以由处理器单元1204中的一个或多个处理器读取并执行。

在这些示例中，程序代码1218以功能形式位于选择性地可移除的计算机可读介质1220上，并且可以加载到或传送到数据处理系统1200，以便由处理器单元1204执行。程序代码1218和计算机可读介质1220一起形成计算机程序产品1222。在此说明性示例中，计算机可读介质1220可以是计算机可读存储介质1224或计算机可读信号介质1226。

计算机可读存储介质1224是用于存储程序代码1218的物理或有形存储设备，而不是传播或传输程序代码1218的介质。例如，但不限于，计算机可读存储介质1224可以是光盘或磁盘，或者是连接到数据处理系统1200的永久存储设备。

可替换地，程序代码1218可以使用计算机可读信号介质1226传送到数据处理系统1200。例如，计算机可读信号介质1226可以是包含程序代码1218的传播数据信号。此数据信号可以是电磁信号、光信号和/或可以通过物理和/或无线通信链路进行传输的一些其他类型的信号。

图12中的数据处理系统1200的图示说明不意味着提供对该说明性的实施例可被实施的方式的结构限制。不同的说明性实施例可以在数据处理系统中实施，其包括除了或代替数据处理系统1200的示出的那些部件的部件。进一步地，图12中示出的部件可以与示出的说明性示例不同。

本公开的说明性实施例可以在如图13所示的飞机制造和维护方法1300以及如图14所示的飞机1400的背景中描述。首先转向图13，其根据说明性实施例以方框图的形式描绘了飞机制造和维护方法的图示说明。在预生产期间，飞机制造和维护方法1300可以包括图14中的飞机1400的规格和设计1302以及材料采购1304。

在生产期间，图14中的飞机1400的部件和子配件制造1306以及系统集成1308发生。随后，图14中的飞机1400可以经历认证和交付1310以便投入使用1312。当由客户使用1312时，图14中的飞机1400被安排例行维修和维护1314，其可以包括修改、重新配置、翻新和其他维修或维护。

飞机制造和维护方法1300的每个过程可由系统集成商、第三方和/或操作者执行或实施。在这些示例中，操作者可以是客户。对于本说明书的目的，系统集成商可包括但不限于任何数量的飞机制造商和主系统转包商；第三方可以包括但不限于任何数量的销售商、转包商和供应商；并且操作者可以是航空公司、租赁公司、军事实体、服务组织等。

现在参考图14，其以方框图的形式描绘了飞机的图示说明，其中可以实施说明性实施例。在这个示例中，飞机1400由图13中的飞机制造和维护方法1300生产，并且可以包括带有系统1404的机身1402和内部1406。系统1404的示例包括推进系统1408、电气系统1410、液压系统1412和环境系统1414中的一个或多个。可以包括任何数量的其他系统。虽然示出航空的示例，但不同的说明性实施例可以应用到其他工业，如汽车工业。

本文所体现的装置和方法可以在图13中的飞机制造以及维护方法1300的至少一个阶段期间采用。例如，图1中的可视化系统102和可视化查询系统118可以用于识别用于在图13中的飞机制造以及维护方法1300的任何一个阶段期间执行任务的信息。例如，但不限于，关于飞机的信息可以由操作者可视地查询并观察以执行任务，以便组装零件用于维护、升级、翻新以及维修和维护1314期间的其他操作，并且可以使用说明性实施例识别。

在不同的所描绘的实施例中的流程图和方框图示出在说明性实施例中装置和方法的一些可能的实施方式的结构、功能性以及操作。在这方面，流程图或方框图中的每个方框可以表示模块、程序段、功能和/或操作或步骤的一部分。例如，一个或多个方框可以实施为程序代码、在硬件中实施或者程序代码和硬件的组合。当在硬件中实施时，例如，硬件可以采取集成电路的形式，其制造或配置为执行流程图或方框图中的一个或多个操作。当实施为程序代码和硬件的组合时，该实施方式可以采取固件的形式。

在说明性实施例的一些可替换的实施方式中，在方框中提到的一个功能或多个功能可以不以图中指出的顺序发生。例如，在一些情况下，连续示出的两个方框可以基本同时执行，或者这些方框有时可以以相反的顺序执行，这取决于所涉及的功能。而且，除了流程图或方框图中示出的方框，可以添加其他方框。

进一步地，本公开包括根据以下条款的实施例：

条款11.一种装置，其包括：

可视化查询系统（118），其配置为接收识别图像方框（138）的层次结构和动作方案（140）的指令（136）；在图像方框（138）的层次结构中加载（1002）图像方框（142），以通过在显示系统（124）上显示的图形用户界面（122）向用户（105）显示对应于图像方框（142）的图像（144），其中在图像（144）上的大量的图像区域（146）是可选择的；以及基于在指令（136）中所识别的动作方案（140），执行（1004）一系列动作（150）以响应大量的图像区域（146）中图像区域（148）的选择。

条款15.根据条款11所述的装置，其中所述一系列动作（150）包括：生成可视化信息（152）并且发送该可视化信息（152）到可视化系统（102）用于可视地呈现用户（105）感兴趣的数据。

条款16.根据条款11所述的装置，其中可视化查询系统（118）包括：

查询生成器（132），其配置为基于图像区域（148）的选择运行查询以相对于对象（106）的空间区域（702）筛选关于对象（106）的数据，其中运行查询是该系列动作（150）之一。

条款17.根据条款15所述的装置，其中可视化信息（152）包括识别空间区域（702）的空间信息（154），感兴趣的数据相对于该空间区域可视地呈现给用户（105）。

条款18.根据条款15所述的装置，其中可视化信息（152）包括大量的可视化效果（156），由可视化系统（102）用于可视地呈现用户（105）感兴趣的数据。

条款19.根据条款15所述的装置，其进一步包括：

可视化系统（102），其中可视化系统（102）和可视化查询系统（118）形成集成的可视化工具。

条款20.根据条款19所述的装置，其中所述集成的可视化工具配置为允许用户（105）可视化对于多个对象中的每一个对象的对象数据（114），并且基于多个搜索准则可视地查询对应于多个对象之一的对象数据（114）的一部分，其中对象数据（114）包括设计数据、工程数据、几何数据、属性数据、零件数据、制造数据、生产数据、维护数据或工令数据中的至少一个。

为了说明和描述的目的，已经呈现了不同的说明性实施例的描述，并且不倾向于详尽或限制为所公开的形式的实施例。许多修改和变化对于本领域的技术人员将是显而易见的。进一步地，相比其他期望的实施例，不同的说明性实施例可提供不同的功能。选择的实施例或多个实施例被选择和描述以便最好地解释本实施例的原理、实际应用，以及确保本领域其他技术人员理解对于具有适合预期的特定用途的各种修改的各种实施例的公开。

Claims

1.一种用于可视化关于对象（106）的数据（104）的计算机实施的方法，该方法包括：

接收（1000）识别图像方框（138）的层次结构和动作方案（140）的指令（136）；

在图像方框（138）的层次结构中加载（1002）图像方框（142），以通过在显示系统（124）上显示的图形用户界面（122）向用户（105）显示对应于图像方框（142）的图像（144），其中在所述图像（144）上的大量的图像区域（146）是可选择的；以及

基于在所述指令（136）中所识别的动作方案（140），执行（1004）一系列动作（150）以响应在所述大量的图像区域（146）中的图像区域（148）的选择。

2.根据权利要求1所述的计算机实施的方法（104），其进一步包括：

监视在所述大量的图像区域（146）中选择所述图像区域（148）的用户输入（121）。

3.根据权利要求2所述的计算机实施的方法（104），其中基于在指令（136）中识别的动作方案（140），响应在所述大量的图像区域（146）中的所述图像区域（148）的选择而执行一系列动作（150）包括：

在图像方框（138）的层次结构中的下一级别中加载新图像方框（142），以通过所述图形用户界面（122）向所述用户（105）显示对应于所述新图像方框（142）的新图像。

4.根据权利要求2所述的计算机实施的方法（104），其中基于在指令（136）中识别的动作方案（140），响应于在所述大量的图像区域（146）中的所述图像区域（148）的选择而执行一系列动作（150）包括：

生成要发送到可视化系统（102）的可视化信息（152），以用于可视地呈现用户（105）感兴趣的数据。

5.根据权利要求4所述的计算机实施的方法（104），其中生成可视化信息（152）包括：

基于在大量的图像区域（146）中的所述图像区域（148）的选择，运行查询以筛选关于所述对象（106）的数据。

6.根据权利要求5所述的计算机实施的方法（104），其中运行查询以筛选关于所述对象（106）的数据包括：

基于在大量的图像区域（146）中的所述图像区域（148）的选择，运行查询以筛选关于所述对象（106）的数据，其中关于所述对象（106）的数据包括用于所述对象（106）和对象数据（114）的多个模型（112）。

7.根据权利要求4所述的计算机实施的方法（104），其中生成可视化信息（152）包括：

生成所述可视化信息（152），其中所述可视化信息（152）包括识别空间区域（702）的空间信息（154），感兴趣的数据将相对于所述空间区域（702）可视地呈现给所述用户（105）。

8.根据权利要求4所述的计算机实施的方法（104），其中生成所述可视化信息（152）包括：

生成所述可视化信息（152），其中所述可视化信息（152）包括大量的可视化效果（156），以当可视地呈现用户（105）感兴趣的数据时由所述可视化系统（102）使用。

9.一种用于可视地查询关于对象（106）的数据的计算机实施的方法（104），该方法包括：

在图像方框（138）的层次结构中加载（1002）图像方框（142），以通过在显示系统（124）上显示的图形用户界面（122）向用户（105）显示对应于所述图像方框（142）的图像（144），其中在所述图像（144）上的大量的图像区域（146）是可选择的；

检测在所述大量的图像区域（146）中选择图像区域（148）的用户输入（121）；以及

生成要发送到可视化系统（102）的可视化信息（152），以基于选择的所述图像区域（148）用于通过图形用户界面（122）可视地呈现关于用户（105）感兴趣的对象（106）的数据的一部分。

10.根据权利要求9所述的计算机实施的方法（104），其中生成所述可视化信息（152）包括：

查询关于所述对象（106）的数据，以基于选择的所述图像区域（148），相对于所述对象（106）的空间区域（702）识别关于所述用户（105）感兴趣的所述对象（106）的数据的所述部分。

11.一种装置，其包括：

可视化查询系统（118），其配置为接收识别图像方框（138）的层次结构和动作方案（140）的指令（136）；在图像方框（138）的层次结构中加载（1002）图像方框（142），以通过在显示系统（124）上显示的图形用户界面（122）向用户（105）显示对应于所述图像方框（142）的图像（144），其中在所述图像（144）上的大量的图像区域（146）是可选择的；以及

基于在所述指令（136）中所识别的动作方案（140），响应于在所述大量的图像区域（146）中的图像区域（148）的选择，执行（1004）一系列动作（150）。

12.根据权利要求11所述的装置，其中所述可视化查询系统（118）包括：

控制器（130），其配置为接收所述指令（136）并且配置为接收通过所述图形用户界面（122）在所述大量的图像区域（146）中选择所述图像区域（148）的用户输入（121）。

13.根据权利要求11所述的装置，其中所述可视化查询系统（118）包括：

显示管理器（134），其配置为通过所述图形用户界面（122）显示相应的图像（144）给用户（105）。

14.根据权利要求11所述的装置，其中所述一系列动作（150）包括在图像方框（138）的层次结构中的下一级别中加载新的图像方框（142），并通过所述图形用户界面（122）向用户（105）显示对应于所述新图像方框（142）的新图像（144）。

15.根据权利要求11所述的装置，其中所述一系列动作（150）包括生成可视化信息（152）并且发送所述可视化信息（152）到可视化系统（102），用于可视地呈现用户（105）感兴趣的数据。