CN107368329B

CN107368329B - 物理元件的安装

Info

Publication number: CN107368329B
Application number: CN201710131888.6A
Authority: CN
Inventors: N·卡齐尼尔; M·蒙泰格内
Original assignee: Accenture Global Solutions Ltd
Current assignee: Accenture Global Solutions Ltd
Priority date: 2016-05-13
Filing date: 2017-03-07
Publication date: 2021-03-26
Anticipated expiration: 2037-03-07
Also published as: EP3244286A1; CN107368329A; US20170330035A1; EP3244286B1; US10210390B2

Abstract

本申请的各实施例涉及物理元件的安装。一种用于在第二物理元件(111)上或者第二物理元件(111)中安装第一物理元件的计算机实施的方法、计算机程序产品和计算机系统。该方法包括：由增强现实系统接收(S201‑S205)对第一物理元件和第二物理元件(111)中的至少一个物理元件的指示。该方法还包括由增强现实系统并且使用该指示来加载(S207)第二物理元件(111)的模型(109)。该方法还包括由增强现实系统基于模型(109)来识别(S209)第二物理元件(111)。该方法还包括由增强现实系统在第二物理元件(111)上或者第二物理元件(111)中投影(S235)与第一物理元件对应的图像(113)。

Description

物理元件的安装

技术领域

本申请的技术领域是借助增强现实系统的安装和/或组装。更具体地，本申请的各方面涉及一种用于在第二物理元件上或者第二物理元件中安装第一物理元件的方法。本申请的另外的方面涉及一种执行根据该方法的操作的计算机程序产品和一种用于在第二物理元件上或者第二物理元件中安装第一物理元件的增强现实系统。

背景技术

常规地，在第二物理元件上或者第二物理元件中安装第一物理元件可能是复杂而易错的过程。这特别地是在第一物理元件比第二物理元件更小或者明显地更小或者第二物理元件是具有许多部件的复杂设备而第一物理元件是复杂设备的小零件时的情况。

例如，第二物理元件可以是具有其中可以放置第一物理元件的许多孔或者凹陷的大设备。第二物理元件上的用于第一物理元件的潜在安装位置可以看起来基本上相似。因而，人类用户可能难以确定在第二物理元件上何处安装第一物理元件。

例如，第二物理元件可以是必须在其上安装若干电和机械部件的引擎。第一物理元件可以是将根据指定的路径被安装在第二物理元件上的接线。

在其它情形中，第二物理元件可以具有平坦表面或者第二物理元件可以是容器。因而，用户可能难以确定相对于第二物理元件在何处或者如何布置第一物理元件。

常规地，安装方法由经过训练的技术人员根据复杂文档执行。例如，文档可以指定用于数百个或者甚至数千个部件的具体位置，这些部件中的每个部件必须在正确位置中和以适当方式被放置(例如，被逆时针旋转两圈)以便设备恰当地工作。备选地，文档可以指定在容器内布置部件的特定方式，从而使得可以在容器内放置最大数目的部件或者元件。

另外，用户可能难以在第二物理元件上或者第二物理元件中放置第一物理元件而同时查询文档或者手持显示器，这些文档或者该手持显示器指示第一物理元件相对于第二物理元件应当被放置在何处。因而，用户可能希望能够保持他的双手空闲。另外，减少在第二物理元件上或者第二物理元件中安装第一物理元件而需要的时间和训练可能是一个问题。

此外，鉴于在正确安装时涉及的难度和复杂度，特别是在许多(第一或者包括第一)物理元件需要被安装在另一(第二)物理元件上的相似位置时，提高安装的准确度可能是一个问题。

发明内容

根据一个方面，提供了一种用于在第二物理元件上或者第二物理元件中安装第一物理元件的计算机实施的方法。该方法包括由增强现实系统接收对第一物理元件和第二物理元件中的至少一个物理元件的指示。换而言之，增强现实系统接收对第一物理元件的指示，或者增强现实系统接收对第二物理元件的指示，或者增强现实系统接收对第一物理元件和第二物理元件二者的指示。

该方法还包括由增强现实系统并且使用指示来加载第二物理元件的模型。例如，可以访问存储装置或者存储设备以便取回第二物理元件的模型。存储装置可以是增强现实系统的部分。

该方法还包括由增强现实系统基于模型来识别第二物理元件。识别可以包括基于模型来发现和/或标识第二物理元件。换而言之，模型可以用来识别第二物理元件。可以在制造或者组装线的情境中执行识别。因此，可以在组装过程开始时加载和识别第二物理元件的模型，并且然后可以在第二物理元件上或者第二物理元件中安装其它元件(包括第一物理元件)。

该方法还包括由增强现实系统在第二物理元件上投影与第一物理元件对应的图像。换而言之，增强现实系统在第二物理元件上显示与第一物理元件对应的图像。

根据本申请的教导安装物理元件可以需要用于用户的更少训练并且造成与常规方式比较有所提高的安装准确度(例如，第一物理元件更可能相对于第二物理元件而被安装在正确位置并且被正确地定位)。

该方法可以在各种组合中包括以下各项中的一项或者多项。

在一些情况下，由增强现实系统接收指示的步骤包括扫描代码的机器可读表示。

机器可读表示可以是工作订单的条形码。例如，接收指示可以包括扫描条形码。备选地，机器可读表示可以是QR码或者数据的另一机器可读表示。

第一物理元件和第二物理元件可以在工作订单内关联。备选地，可以访问已知位置或者在工作订单内指定的位置以便确定第一物理元件和/或第二物理元件。例如，工作订单可以包括指向位置的链接，并且位置可以提供存储装置，该存储装置指定第二物理元件和将在第二物理元件上被安装的元件的列表，其中元件的列表包括第一物理元件。

该方法还可以包括由增强现实系统验证第一物理元件是否已经被正确地安装在第二物理元件上。

另外，该方法可以包括在工作空间中布置包括第一物理元件和第二物理元件的多个物理元件。工作空间可以是用户可以在其中执行任务的区域。工作空间可以是工业空间，例如，制造厂或者组装线。在一些情况下，工作空间可以是建筑物的部分，比如建筑物内的房间。物理元件可以被布局在工作空间内，或者可以在需要它们时将它们带入工作空间中。

该方法还可以包括提供存储多个模型的存储装置，模型包括第一物理元件的模型和第二物理元件的模型。存储装置可以被实施为计算机数据存储装置或者存储器。存储装置可以包括计算机部件和用于保持数字数据的记录介质。存储装置可以被实施为远程服务器或者远程服务器的部分。存储装置可以被实施为盘存储装置，例如，盘驱动。

加载可以包括使用对物理元件之一的指示以借助在物理元件之间的存储的关联性来确定另一物理元件。

例如，存储装置可以包括在第一物理元件与第二物理元件之间的链接，例如，第一物理元件的零件编号或者序列号可以被链接到第二物理元件的零件编号或者序列号。可以在数据库中存储在物理元件之间的链接。备选地，工作订单可以包括在物理元件之间的关联性。例如，指示第一物理元件应当被安装在第二物理元件上的工作订单可以包括在第一物理元件与第二物理元件之间的存储的关联性。

指示可以包括被链接到第一物理元件和/或第二物理元件的代码(例如，以上讨论的条形码)。代码可以通过与第二物理元件的模型关联而被链接到第二物理元件。代码可以通过与第一物理元件的模型关联而被链接到第一物理元件。具体而言，取代被链接到物理元件本身，代码可以被链接到物理元件的模型中的一个或者多个模型。

在一些情况下，在第二物理元件的表面上投影待安装的所有物理元件(包括第一物理元件)的图像。可以存在待安装的至少5个、至少10个、至少15个、至少20个或者至少25个元件。

该方法还可以包括由增强现实系统显示用于在第二物理元件上安装第一物理元件的指令。具体而言，可以在便携设备上显示用于在第二物理元件上安装第一物理元件的指令。可以作为在第二物理元件上投影与第一物理元件对应的图像的步骤的部分或者在该步骤之后执行显示步骤。

用于安装的指令可以包括用于在第二物理元件上布置第一物理元件的步骤。指令也可以包括将先于在第二物理元件上布置第一物理元件被执行的步骤以及将后于在第二物理元件上布置第一物理元件被执行的步骤。因此，在第二物理元件上安装第一物理元件可以包括在第二物理元件上布置第一物理元件以及将先于和后于在第二物理元件上布置第一物理元件被执行的附加步骤。

该方法还可以包括由增强现实系统识别第一物理元件。可以在识别第二物理元件之后和在投影图像之前执行这一步骤。备选地，可以在第二物理元件之前识别第一物理元件。

另外，指示可以包括对仅第一物理元件(而没有第二物理元件)的指示。因而，该方法可以包括取回在第一物理元件与第二物理元件之间的存储的关联性。可以在存在将在单个第二物理元件上安装的许多物理元件并且第一物理元件是许多物理元件之一时执行这一步骤。

另外，接收对第一物理元件和第二物理元件中的至少一个物理元件的指示可以包括由增强现实系统识别第二物理元件。接收指示还可以包括取回在第一物理元件与第二物理元件之间的存储的关联性。可以在存在将在第二物理元件上安装的仅一个第一物理元件或者将在第二物理元件上安装的仅少数(例如5个或者更少)物理元件时执行该步骤。第一物理元件可以是将在第二物理元件上安装的少数物理元件之一。

经由增强现实系统识别第一物理元件可以包括确定用户正在触摸第一物理元件或者第一物理元件的图像和/或确定第一物理元件的表示(例如，包括对应的图像)与第一物理元件的模型对应。用来识别第一物理元件的第一物理元件的图像可以是在工作空间中而不是在第二物理元件上被投影的参考图像。

由增强现实系统识别第二物理元件还可以包括确定用户正在触摸第二物理元件。备选地，可以自动地识别第二物理元件而没有用户干预。

物理元件中的一个或者多个物理元件的表示可以包括图像。确定物理元件中的相应的物理元件的表示与物理元件中的该相应的物理元件的模型对应可以包括经由传感器捕获物理元件中的该相应的物理元件的表示。确定在物理元件中的相应的物理元件的表示与物理元件中的该相应的物理元件的对应的模型之间的对应性还可以包括确定物理元件中的该相应的物理元件的表示具有与物理元件中的该相应的物理元件的模型的预定相似性程度。也可以基于物理元件中的相应的物理元件的模型的方面或者模型的部分来确定预定相似性程度。

确定物理元件中的相应的物理元件的表示具有与物理元件中的该相应的物理元件的模型的预定相似性程度可以包括确定物理元件中的相应的物理元件的高宽图形(aspect graph)以及比较确定的高宽图形与和物理元件中的相应的物理元件对应的存储的高宽图形。备选地，基于外观的方法可以用来比较物理元件中的相应的物理元件的捕获的或者获取的表示与物理元件中的相应的物理元件的存储的表示。在本文中，对物理元件中的相应的物理元件的引用是指第一物理元件或者第二物理元件。

增强现实系统可以包括以下部件中的一个或者多个部件：

便携设备(例如，以上提到的便携设备)，

能够将图像投影到表面上的投影仪，

能够识别物理元件的传感器，

能够与其它数据处理任务一起存储和加载元件的模型的计算机或者服务器。

单个设备可以能够执行多个功能。例如，一个设备可以能够作为传感器和投影仪工作。也有可能在一个设备中组合便携设备、投影仪和传感器。

备选地，在分离的设备中提供投影仪和传感器功能可以是有利的。例如，分离的设备可以能够同时从不同角度或者透视点捕获和投影图像。

便携设备可以可由用户佩戴。这可以具有使得用户的手能够保持空闲的效果，这可以使得更易于在第二物理元件上或者第二物理元件中安装第一物理元件。具体而言，便携设备可以是智能眼睛佩戴物或者智能手表。智能眼睛佩戴物可以被实施为智能眼镜。便携设备也可以被实施为智能电话或者平板计算机。便携设备可以包括处理器、存储器和显示器。

便携设备可以主控一个或者多个应用。便携设备可以包括用于促进与增强现实系统的用户交互的语音或者话音识别能力。

增强现实系统的部件可以能够相互电子通信。例如，部件中的一个部件、多个部件或者所有部件可以能够经由WiFi和/或蓝牙通信。

投影仪可以是光学和/或数字的。投影仪可以包括激光器和/或LED。

可以在单个设备中组合传感器和投影仪。备选地，传感器可以包括又一投影仪，比如LED图案投影仪。

传感器可以包括立体相机。

第二物理元件可以大于第一物理元件。具体而言，第二物理元件可以明显地大于第一物理元件。例如，第二物理元件可以是第一物理元件的大小的一百倍、五十倍或者二十五倍。

第一物理元件的模型和/或第二物理元件的模型可以具有以下特性中的一个或者多个特性：

适合用于由增强现实系统用来识别物理元件之一，

三维，

基于矢量的图形和/或光栅图形。

第一物理元件的模型和/或第二物理元件的模型可以传达关于模型与之对应的物理元件的以下各项中的至少一项：对于机械表面修整的支持、下层材料、尺度测量、运动学、功能容差。

相应的物理元件的模型可以被理解为代表或者对应于相应的物理元件。模型中的至少一个模型可以是计算机辅助三维交互应用(CATIA)。具体而言，模型中的多个模型或者所有模型可以是CATIA模型。

由增强现实系统投影的图形的形状可以图形地描述第一物理元件。换而言之，投影的图形的形状可以描绘或者代表第一物理元件。投影的图像的位置可以与用于第一物理元件的预定安装位置对应。换而言之，投影的图像的位置可以是在第二物理元件中或者第二物理元件中上的用于第一物理元件的正确安装位置。可以在模型之一(例如，第一物理元件的模型和/或第二物理元件的模型)中提供预定安装位置。备选地，可以在工作订单中列举预定安装位置。

验证第一物理元件是否已经被正确地安装可以包括由增强现实系统从用户接收第一物理元件已经被安装的指示。来自用户的指示可以是语音命令。备选地，用户可以与增强现实系统物理地交互，例如，用户可以推动按钮。验证第一物理元件是否已经被正确地安装还可以包括由增强现实系统识别第一物理元件在第二物理元件中或者第二物理元件上的预定位置中。预定位置可以是用于第一物理元件的预定安装位置。

每个物理元件可以具有质量和可测量物理性质。

第二物理元件可以是以下各项之一：

-旨在用于空间飞行的人造卫星或者人造卫星的零件，

-交通工具或者交通工具的零件或者交通工具可以是汽车，

-机器人，

-盒子，

-电子控制器或者控制器的零件。

电子控制器可以是板或者是面板的零件。第二物理元件可以具有大小和重量，从而使得它可以由有轮交通工具(比如叉式升运机、汽车或者卡车)携带。第二物理元件可能太重而无法让用户无辅助地提起。

第一物理元件可以是以下各项之一：

第二物理元件的部件、零件或者工件(piece)；

将被放置在第二物理元件内的物品。

第一物理元件可以具有大小和重量，从而使得用户可以持有或者携带第一物理元件。

在第二物理元件上安装第一物理元件可以是组装第二物理元件的过程的部分。在安装之后，第一物理元件可以与第二物理元件的其它零件结合来执行一个或者多个功能。例如，如果第二物理元件是旨在用于空间飞行的人造卫星，则第一物理元件可以是人造卫星的零件。一旦已经完成了人造卫星的组装，第一物理元件就可以执行人造卫星的具体功能。备选地，第一物理元件可以与其它物理元件组合动作以执行人造卫星的功能。

该方法还可以包括由用户在第二物理元件的凹陷中插入第一物理元件，和/或由用户在第二物理元件的表面上放置第一物理元件。具体而言，第二物理元件的凹陷可以是在第二物理元件中或者第二物理元件上的预定安装位置。相似地，第二物理元件的表面或者第二物理元件的表面的特定部分可以是预定安装位置。

根据另一方面，提供了一种计算机程序产品。计算机程序产品包括当在计算机系统上被加载和执行时使得计算机系统执行根据以上讨论的方法步骤中的一个或者多个方法步骤的操作的计算机可读指令。

根据又一方面，提供了一种用于在第二物理元件上或者第二物理元件中安装第一物理元件的增强现实系统。增强现实系统包括被配置为接收对第一物理元件和第二物理元件中的至少一个物理元件的指示的便携设备。增强现实系统还包括被配置为存储第二物理元件的模型的存储装置。增强现实系统还包括被配置为使用指示来从存储装置加载第二物理元件的模型的处理器。增强现实系统还包括被配置为基于模型来识别第二物理元件的传感器。传感器还可以被配置为验证第一物理元件是否已经被正确地安装在第二物理元件上。增强现实系统也包括被配置为在第二物理元件中或者第二物理元件上投影与第一物理元件对应的图像的投影仪。

可以在分离的设备上实施或者可以组合增强现实系统的部件，包括便携设备、存储装置、处理器、传感器和投影仪。例如，可以在相同设备上实施投影仪和传感器，和/或可以在相同设备上实施处理器和存储装置。便携设备也有可能包括存储装置、处理器、传感器和投影仪。

技术定义

工作空间可以是物理现实世界环境。例如，工作空间可以在建筑物以内，例如，在建筑物内的房间。

增强现实系统可以提供工作空间的实况直接视图或者工作空间的间接视频(或者图像)视图。实况直接视图或者间接视频视图的元素由计算机生成的输入(比如声音、视频、图形和/或全球定位系统(GPS)数据)补充。

增强现实系统可以包括以下各项中的至少一项：彩色显示器、麦克风、WIFI发射器/接收器、蓝牙发射器/接收器、电池、话音识别。增强现实系统可以包括便携设备、能够将图形投影到表面上的投影仪、能够识别物理元件的传感器。可以经由智能眼睛佩戴物(例如，B6智能眼镜M100)实施增强现实系统的便携设备。

物理元件可以是物品或者物体。第一物理元件和第二物理元件可以是任何物体，从而使得可以在第二物理元件上安装第一物理元件。

便携设备也可以被称为移动设备。

工作订单也可以被称为作业订单、作业票券或者工作票券，因为工作订单经常附着有某个类型的票券。工作订单可以由组织(比如制造商)从客户或者客户端接收，或者可以是在组织内被内部地创建的订单。工作订单可以用于产品或者服务。具体地，工作订单可以包含由客户请求的、关于在另一物理元件上安装一个或者多个物理元件(例如，作为制造过程的部分)的信息。工作订单可以是在项目、制造、建造和制作业务中使用的内部文档。工作订单可以与产品和/或服务有关。工作订单可以用来信号传输制造过程的开始并且可以被链接到材料清单。工作订单可以包括关于以下各项中的至少一项的信息：待制造、建造或者制作的产品的质量、待使用的原材料的数量、所需操作的类型、在过程期间用于每个机器的机器利用率。如果工作订单与服务有关，则工作订单可以记录将执行服务操作的位置、日期和时间以及将执行的服务的性质。

在本申请中描述的主题内容可以被实施为一种方法或者在设备上被实施，可能地以一个或者多个计算机程序产品的形式。可以在数据信号中或者在机器可读介质上实施在申请中描述的主题内容，其中在一个或者多个信息载体(比如CD ROM、DVD ROM、半导体存储器或者硬盘)中体现介质。这样的计算机程序产品可以使得数据处理装置执行在本申请中描述的一个或者多个操作。

此外，在本申请中描述的主题内容可以被实施为一种包括处理器和被耦合到处理器的存储器的系统。存储器可以对一个或者多个程序编码以使得处理器执行在本申请中描述的方法中的一种或者多种方法。可以使用各种机器来实施在本申请中描述的更多主题内容。

在示例性附图和以下描述中阐述了一个或者多个实现方式的细节。其它特征将从该描述、附图和从权利要求变清楚。

附图说明

图1描绘了对在第二物理元件上或者第二物理元件中安装第一物理元件的简化。

图2示出了用于在第二物理元件上或者第二物理元件中安装第一物理元件的步骤的流程图。

图3描绘了可以用来实施描述的主题内容的各方面的通用计算机系统。

具体实施方式

在下文中，将参照附图给出对示例的具体描述。应当理解，可以做出对示例的各种修改。具体而言，可以在其它示例中组合和使用一个示例的一个或者多个要素以形成新示例。

图1描绘了用于在第二物理元件上或者第二物理元件中安装第一物理元件的增强现实系统的部件和在部件之间的交互。增强现实系统的部件包括计算机101、投影仪103和便携设备。在图1的示例中，便携设备被描绘为智能眼镜105和智能手表107。可以单独或者组合使用智能眼镜105和智能手表107作为便携设备。计算机101可以包括存储装置(例如，存储设备，比如闪存或者硬盘)和处理器。

存储装置可以存储模型109。可以用吉比特、数百吉比特或者特比特来测量存储装置的容量。模型可以被实施为CATIA模型。然而，可以使用适合用于提供关于物理元件的形状及其相对于彼此的位置的相似级别的信息的任何模型格式。

计算机101可以从便携设备(例如，智能眼镜105或者智能手表107)接收对第一物理元件和/或第二物理元件的指示。响应于指示的接收，计算机101可以加载模型109。模型109可以包括第二物理元件的模型。附加地或者备选地，模型109还可以包括第一物理元件的模型。

基于模型109，传感器可以被配置为识别第二物理元件111。传感器可以被实施为投影仪103的部分或者可以被分离地实施。因而，投影仪可以在第二物理元件111中或者第二物理元件111上投影与第一物理元件对应的图像113。可以在便携设备上向用户显示指令115。例如，可以在智能手表107的智能眼镜105上显示指令115。指令115可以指定用户应当如何在第二物理元件上安装第一物理元件。例如，指令115可以指定以下各项中的一项或者多项：

-在第二物理元件中或者第二物理元件上布置第一物理元件的方式，

-第一物理元件在被放置在第二物理元件中或者第二物理元件上时应当被保持于的角度，

-在第一物理元件被放置在第二物理元件中或者第二物理元件上时，第一物理元件的应当向上或者向下指向的特征或者特性。

根据具体示例，传感器可以被实施为Ensenso N36相机。备选地，可以经由具有相似精确度(例如，毫米)和分辨率的另一立体相机来实施传感器。具体而言，传感器应当具有充分精确度和分辨率以能够识别第二物理元件111。

在用户在第二物理元件中或者第二物理元件上放置第一物理元件之后，即，在第一物理元件被布置或者布局在第二物理元件上或者第二物理元件中之后，增强现实系统可以验证第一物理元件是否已经被正确地安装在第二物理元件中或者上。例如，用户可以向增强现实系统(例如，智能眼镜105)发布语音命令。智能眼镜105可以例如经由计算机101与传感器通信。

增强现实系统然后可以识别第一物理元件是否位于第二物理元件中或者第二物理元件上的预定安装位置。具体而言，传感器可以捕获第二物理元件111的至少部分和第一物理元件的图像。传感器然后可以向计算机101发送该图像。计算机101可以确定第一物理元件是否已经被正确地安装，并且向智能眼镜105发送关于正确/不正确安装的指示。

图2示出了用于在第二物理元件111中或者第二物理元件111上安装第一物理元件的方法的步骤。

在执行步骤S201或者S203之前，可以在工作空间中布置包括第一物理元件和第二物理元件111的多个物理元件。

在步骤S201，增强现实系统接收对第一物理元件和第二物理元件中的至少一个物理元件的指示。具体而言，智能眼镜105可以用来扫描工作订单条形码。应当注意，虽然在图2的上下文中引用了智能眼镜105，但是可以使用便携设备的其它实现方式。例如，也可以使用智能手表107或者智能电话。另外，虽然图2的描述涉及扫描工作订单条形码，但是也可以使用一些其它机器可读表示。

在步骤S203，智能眼镜105加载被链接到工作订单(WO)的操作指令(即，工作订单信息)。

在步骤S205，可以向计算机101发送工作订单信息。工作订单信息可以包括用于模型109的标识符或者用于模型109的存储位置。附加地或者备选地，工作订单信息可以包括指向在第一物理元件、第二物理元件111和可选地更多物理元件之间的存储的关联性的链接。工作订单信息也可以包括与在第二物理元件111中或者第二物理元件111上安装第一物理元件相关的指令或者其它信息。

在步骤S207，可以加载模型109。模型109可以是被链接到工作订单的3D模型。可以基于在工作订单中包括的对第一物理元件和第二物理元件111中的至少一个物理元件的指示来加载模型109。

在步骤S209，传感器识别第二物理元件111的表面，并且根据模型109来在第二物理元件111上投影待安装的所有元件(例如，部件)。换而言之，根据模型109来在第二物理元件111上显示待安装的所有元件(包括第一物理元件)。在本示例的上下文中，第一物理元件是将在第二物理元件111上安装的许多物理元件之一。步骤S201至S209可以被视为初始化阶段的部分。因而，可以执行步骤S201至S209仅一次以用于许多元件的安装。

在步骤S211，用户可以向智能眼镜105示出元件(例如，第一物理元件)。第一物理元件可以是待安装的零件。

在步骤S221，智能眼镜105识别第一物理元件(即，第一物理元件的表示)对应于模型109。因而，智能眼镜105可以确定待安装的零件(即，第一物理元件)的表示对应于模型109。具体而言，智能眼镜105识别第一物理元件的形状对应于模型109中的第一物理元件的模型的形状。在该示例的上下文中，模型109可以被理解为包括第一物理元件的模型和第二物理元件的模型。也可以分离地存储和/或处理物理元件的模型。

在步骤S231，计算机101从智能眼镜105接收第一物理元件的标识。

步骤S213、S223和S233可以被视为步骤S211、S221和S231的备选。换而言之，参照图2，可以执行选项A的步骤(S211、S221、S231)或者选项B的步骤(S213、S223、S233)。

在步骤S213，用户可以触摸待安装的物理元件的投影的图像。具体而言，由于在第二物理元件的表面上投影待安装的所有物理元件的图像，所以用户有可能选择投影的图像中的任何投影的图像作为待安装的元件。传感器然后将识别第一物理元件，因为用户正在触摸第一物理元件。具体而言，传感器可以包括深度感测相机和计算机视觉软件。被投影到第二物理元件111的表面上的每个图像变成控制器。触摸图像之一使得事件被生成。借助事件，传感器标识与用户触摸的图像对应的物理元件。

在步骤S223，传感器向计算机101传达关于触摸的图像的信息，计算机101然后向智能眼镜105发送第一物理元件的标识符。

在步骤S233，智能眼镜从计算机101接收第一物理元件的标识符。

作为对初始化步骤S201至S209的备选，接收对第一物理元件和第二物理元件中的至少一个物理元件的指示可以包括由智能眼镜105识别第一物理元件。因而，可以取回在第一物理元件与第二物理元件之间的存储的关联性以便标识第二物理元件。

步骤S221包括识别第一物理元件。步骤S221可以包括经由智能眼镜105或者传感器捕获第一物理元件的表示。第一物理元件的表示可以包括图像。确定第一物理元件的表示对应于第一物理元件的模型可以包括确定第一物理元件的表示是否具有与第一物理元件的模型的预定相似度程度。可以经由高宽图形、基于外观的方法或者其它方法(参见"ASimilarity-Based Aspect-Graph Approach to 3D Object Recognition",Cyr等,2003)来执行确定预定相似度程度。

在步骤S235将与第一物理元件对应的图像113被投影到第二物理元件111上。图像113可以在图像113具有与第一物理元件的形状大致地相似的形状这一意义上对应于第一物理元件。图像113可以是第一物理元件的低分辨率和/或单色表示。

可选地，也可以执行步骤S237。步骤S237包括经由智能眼镜105显示用于在第二物理元件111上或者第二物理元件111中安装第一物理元件的指令。

在步骤S245，智能眼镜105可以验证第一物理元件是否已经被正确地安装在第二物理元件111中或者第二物理元件111上。可以经由用户的语音命令来触发验证步骤。

在步骤S247，可以经由3D传感器执行质量检查。

质量检查可以造成对已经多么好地安装了第一物理元件(例如，第一物理元件多么接近正确定位和/或位置)的指示。

可以在制造或者组装线的情境中执行以上描述的步骤。例如，可以在组装过程的初始阶段识别第二物理元件111。然后可以在组装过程中的不同点由各种用户在第二物理元件111上安装包括第一物理元件的多个物理元件(例如，数十个)。

图3示出了用于实施本发明的示例性系统，该系统包括形式为常规计算环境920的通用计算设备(例如，个人计算机或者移动设备)。常规计算环境包括处理单元922、系统存储器924和系统总线926。系统总线将包括系统存储器924的各种系统部件耦合到处理单元922。处理单元922可以通过访问系统存储器924来执行算术、逻辑和/或控制操作。系统存储器924可以存储用于与处理单元922组合使用的信息和/或指令。系统存储器924可以包括易失性和非易失性存储器，比如随机存取存储器(RAM)928和只读存储器(ROM)930。可以在ROM930中存储基本输入/输出系统(BIOS)，该BIOS包含帮助比如在启动期间、在个人计算机920内的单元之间传送信息的基本例程。系统总线926可以是包括存储器总线或者存储器控制器、外围总线和使用多种总线架构中的任何总线架构的本地总线的若干类型的总线结构中的任何类型的总线结构。

个人计算机920还可以包括用于从硬盘(未示出)读取和向硬盘写入的硬盘驱动932，以及用于从可拆卸盘936读取或者向可拆卸盘936写入的外部盘驱动934。可拆卸盘936可以是用于磁盘驱动的磁盘或者用于光盘驱动的光盘，比如CD ROM。硬盘驱动932和外部盘驱动934分别由硬盘驱动接口938和外部盘驱动接口940连接到系统总线926。驱动及其关联的计算机可读介质提供对用于个人计算机920的计算机可读指令、数据结构、程序模块和其它数据的非易失性存储器。数据结构可以包括用于如以上描述的用于在第二物理元件上安装第一物理元件的方法的实施的相关数据。可以在数据库(例如，关系数据库管理系统或者面向对象数据库管理系统)中组织相关数据。

虽然这里描述的示例性环境运用硬盘(未示出)和外部盘936，但是本领域技术人员应当认识到，也可以在示例性操作环境中使用可以存储可由计算机访问的数据的其它类型的计算机可读介质，比如磁盒、闪存卡、数字视频盘、随机存取存储器、只读存储器等。

可以在硬盘、外部盘936、ROM 930或者RAM 928上存储多个程序模块，包括操作系统(未示出)、一个或者多个应用程序944、其它程序模块(未示出)和程序数据946。应用程序可以包括如在图1和图2中描绘的功能的至少一部分。

用户可以通过输入设备(比如键盘948和鼠标950向个人计算机920中录入如以下讨论的命令和信息。其它输入设备(未示出)可以包括麦克风(或者其它传感器)、操纵杆、游戏板、扫描仪等。这些和其它输入设备可以通过被耦合到系统总线926的串行端口接口952被连接到处理单元922，或者可以由其它接口(比如并行端口接口954、游戏端口或者通用串行总线(USB))收集。另外，可以使用打印机956来打印信息。打印机956和其它并行输入/输出设备可以通过并行端口接口954被连接到处理单元922。监视器958或者其它类型的显示设备也经由接口(比如视频输入/输出960)被连接到系统总线926。除了监视器之外，计算环境920还可以包括其它外围输出设备(未示出)，比如扬声器或者其它可听输出。

计算环境920可以与其它电子设备(比如计算机、电话(有线或者无线)、个人数字助理、电视等)通信。为了通信，计算机环境920可以使用与一个或者多个电子设备的连接来在联网环境中操作。图3描绘了与远程计算机962联网的计算机环境。远程计算机962可以是另一计算环境(比如服务器、路由器、网络PC、对等设备或者其它公共网络节点)，并且可以包括以上相对于计算环境920而描述的单元中的许多或者所有单元。在图3中描绘的逻辑连接包括局域网(LAN)964和广域网(WAN)966。这样的联网环境在办公室、企业范围的计算机网络、内部网和因特网中司空见惯并且可以具体地被加密。

当在LAN联网环境中被使用时，计算环境920可以通过网络I/O 968被连接到LAN964。当在WAN联网环境中被使用时，计算环境920可以包括用于在WAN 966之上建立通信的调制解调器970(例如，DSL或者有线调制解调器)或者其它装置。可以在计算环境920内部或者外部的调制解调器970经由串行端口接口952被连接到系统总线926。在联网环境中，可以在驻留在远程计算机962上或者远程计算机962可访问的远程存储器存储设备中存储相对于计算环境920被描绘的程序模块或者其部分。另外，与用于在第二物理元件上安装第一物理元件的方法(以上描述的)相关的其它数据可以驻留在远程计算机962上或者经由远程计算机962可访问。将认识到，所示网络连接是示例性的，并且可以使用在电子设备之间建立通信链路的其它手段。

以上描述的计算系统仅为可以用来实施用于在第二物理元件上安装第一物理元件的方法的计算系统的类型的一个示例。

Claims

1.一种用于在第二物理元件(111)上或者所述第二物理元件(111)中安装第一物理元件的计算机实施的方法，所述方法包括：

由包括智能眼睛佩戴物(105)的增强现实系统接收(S201-S205)对第一物理元件和所述第二物理元件(111)中的至少一个物理元件的指示；

由所述增强现实系统并且使用所述指示来加载(S207)所述第二物理元件(111)的模型(109)；

由所述增强现实系统基于所述模型(109)来识别(S209)所述第二物理元件(111)；

由所述增强现实系统在所述第二物理元件(111)上或者所述第二物理元件(111)中投影(S235)与所述第一物理元件对应的图像(113)；

验证(S245)所述第一物理元件是否已经被正确地安装在所述第二物理元件(111)上，其中验证所述第一物理元件是否已经被正确地安装包括：

由所述增强现实系统经由语音命令从用户接收所述第一物理元件已经被安装的指示；以及

由所述增强现实系统识别所述第一物理元件是否在所述第二物理元件(111)上的预定安装位置中，

其中所述由所述增强现实系统识别所述第一物理元件是否在所述第二物理元件(111)上的预定安装位置中包括：

使用传感器来捕获所述第二物理元件(111)的至少一部分和所述第一物理元件的图像；以及

由所述增强现实系统基于捕获的所述图像来确定所述第一物理元件是否已经被正确地安装。

2.根据权利要求1所述的方法，还包括：

确定(S213)用户是否正在触摸所述物理元件中的相应的物理元件，或者

确定(S221)物理元件中的所述相应的物理元件的表示是否与所述物理元件中的所述相应的物理元件的模型对应。

3.根据权利要求2所述的方法，其中确定(S221)所述物理元件中的相应的物理元件的所述表示是否与所述物理元件中的所述相应的物理元件的所述模型对应包括：

经由传感器捕获所述物理元件中的所述相应的物理元件的所述表示，其中所述表示包括图像，

确定物理元件中的所述相应的物理元件的所述表示是否具有与所述物理元件中的所述相应的物理元件的所述模型的预定相似性程度。

4.根据权利要求1所述的方法，其中所述增强现实系统还包括以下各项中的一项或者多项：

便携设备，以及

用于将图像投影到表面上的投影仪(103)。

5.根据权利要求1所述的方法，其中所述传感器包括立体相机和/或LED图案投影仪。

6.根据权利要求1所述的方法，其中所述第二物理元件的所述模型(109)和所述第一物理元件的所述模型中的至少一个模型具有以下特性中的一个或者多个特性：

适合用于由所述增强现实系统用来识别所述物理元件中的一个物理元件；

三维，

基于矢量的图形和/或光栅图形。

7.根据权利要求1所述的方法，其中所述第二物理元件的所述模型(109)和所述第一物理元件的所述模型中的至少一个模型传达关于由所述模型代表的所述物理元件的以下各项中的一项或者多项：对于机械表面整理的支持、下层材料、尺度测量、运动学、功能容差；

其中所述模型中的至少一个模型可以是计算机辅助三维交互应用。

8.根据权利要求1所述的方法，其中所述投影的图像(113)的形状图形地描述所述第一物理元件，

其中所述投影的图像的位置能够与用于所述第一物理元件的预定安装位置对应，

其中所述预定安装位置能够在工作订单中被列举。

9.根据权利要求1所述的方法，其中所述第二物理元件(111)是以下各项之一：

旨在用于空间飞行的人造卫星或者人造卫星的零件；

交通工具或者交通工具的零件，其中所述交通工具可以是汽车；

机器人；

盒子；

电子控制器或者控制器的零件，其中所述电子控制器是板或者是面板的零件。

10.根据权利要求1所述的方法，其中所述第一物理元件是以下各项之一：

所述第二物理元件(111)的部件、零件或者工件，

将在所述第二物理元件(111)内被放置的物品。

11.根据权利要求1至10中的任一项所述的方法，其中在所述第二物理元件(111)上或者所述第二物理元件(111)中安装所述第一物理元件是组装所述第二物理元件(111)的过程的部分，

其中在安装之后，所述第一物理元件与所述第二物理元件(111)的其它零件结合执行一个或者多个功能。

12.一种计算机可读介质，存储有计算机可读指令，所述计算机可读指令当在计算机系统上被加载和执行时，使得所述计算机系统执行根据前述权利要求中的任一项所述的方法的操作。

13.一种用于在第二物理元件(111)上或者所述第二物理元件(111)中安装第一物理元件的增强现实系统，包括：

智能眼睛佩戴物(105)，用于：

-接收对所述第一物理元件和所述第二物理元件(111)中的至少一个物理元件的指示；

存储装置，用于存储所述第二物理元件(111)的模型；

处理器，用于使用所述指示来从所述存储装置加载所述第二物理元件(111)的所述模型；

传感器，用于：

-基于所述模型来识别所述第二物理元件(111)；以及

投影仪，被配置为：

-在所述第二物理元件(111)上或者所述第二物理元件(111)中投影与所述第一物理元件对应的图像(113)，

其中所述系统被配置为执行根据权利要求1至11中的任一项所述的方法。