CN108876928A - 在构建、改造和制造中的增强现实任务识别和协助 - Google Patents

在构建、改造和制造中的增强现实任务识别和协助 Download PDF

Info

Publication number
CN108876928A
CN108876928A CN201810470270.7A CN201810470270A CN108876928A CN 108876928 A CN108876928 A CN 108876928A CN 201810470270 A CN201810470270 A CN 201810470270A CN 108876928 A CN108876928 A CN 108876928A
Authority
CN
China
Prior art keywords
augmented reality
environment
project
task
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810470270.7A
Other languages
English (en)
Inventor
迈克尔·J·舒斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN108876928A publication Critical patent/CN108876928A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063118—Staff planning in a project environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G06Q10/0875—Itemisation or classification of parts, supplies or services, e.g. bill of materials
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2008—Assembling, disassembling
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及在构建、改造和制造中的增强现实任务识别和协助。公开了在构造和制造中的增强现实任务识别和协助的各种实施例。根据各种实施例，增强现实系统包括远程计算环境和增强现实设备，其中采用远程计算环境来识别操作者要执行以完成项目的任务。任务可以被顺序地显示在增强现实会话中，并且环境可以被增强以有助于执行任务。

Description

在构建、改造和制造中的增强现实任务识别和协助
相关申请的交叉引用
本申请要求2017年5月16日提交的名称为“AUGMENTED REALITY TASKIDENTIFICATION AND ASSISTANCE IN CONSTRUCTION，REMODELING，AND MANUFACTURING(在构建、改造和制造中的增强现实任务识别和协助)”的第62/506,809号美国临时专利申请、以及2017年9月11日提交的名称为“AUGMENTED REALITY TASK IDENTIFICATION ANDASSISTANCE IN PICTURE FRAMING AND HANGING(在图片加框和悬挂中的增强现实任务识别和协助)”的第62/556,611号美国临时专利申请的优先权，两者的内容通过引用整体并入本文。
技术领域
本发明涉及增强现实(AR)、远程数据处理、程序化图像识别和对象检测。
背景技术
增强现实(AR)涉及使用诸如智能手机或增强现实眼镜之类的设备来修改或增强环境的真实世界视图的过程。例如，可以改变环境的视频馈送，以在视频馈送中所示的环境的各个部分中施加计算机生成的图像，从而“增强”环境。增强现实设备可以包括智能手机、平板电脑或可穿戴设备，诸如具有显示器、相机和处理电路的眼镜，其中显示器位于佩戴用户的眼睛的前方或附近。处理电路调整由相机拍摄的图像或视频馈送，并将计算机生成的图像或音频施加在由相机拍摄的环境中。
类似地，混合现实(MR)包括实际和虚拟世界的合并以产生新的环境和可视化，其中实体和数字对象共存并实时交互。混合现实不仅发生在物理世界或虚拟世界中，还包括现实和虚拟现实的混合，通过沉浸式技术包含增强现实和增强虚拟性。
发明内容
公开了用于构建和制造中增强现实任务识别和协助的各种实施例。根据各种实施例，增强现实系统包括远程计算环境和增强现实设备，其中采用远程计算环境来识别操作者要执行以完成项目的任务。任务可以被顺序地显示在增强现实会话中，并且环境可以被增强以有助于执行任务。
另外公开了用于在图片加框和悬挂中的增强现实任务识别和协助的各种实施例。根据各种实施例，增强现实系统包括远程计算环境和增强现实设备，其中远程计算环境被用来识别操作者要执行以完成一个或多个图片框或其他物品被悬挂在墙上的项目的任务。该项目可以包括确定每个图片框相对于悬挂在墙上的另一个物品是水平对齐的(level)、居中的还是适当间隔的。
附图说明
参照以下附图可以更好地理解本公开的许多方面。附图中的组件不一定按比例绘制，而是着重于清楚地示出本公开的原理。而且，在附图中，所有几个视图中，相同的附图标记表示相应的部分。
图1是根据本公开的各种实施例的包括形成增强现实系统的计算环境和增强现实设备的联网环境的图。
图2是根据本公开的各种实施例的在智能手机中执行以获得期望的项目参数的增强现实会话的图。
图3是根据本公开的各种实施例的施加或叠加已完成项目的图形表示的增强现实会话的图。
图4是根据本公开的各种实施例的施加或叠加待完成任务的图形表示的增强现实会话的图。
图5是根据本公开的各种实施例的在要切割或修改的物品上施加或叠加虚拟线的增强现实会话的图。
图6是根据本公开的各种实施例的在环境中施加或叠加指导线和物品位置的增强现实会话的图。
图7是根据本公开的各种实施例的检测所需材料的存在以完成任务或项目的增强现实会话的图。
图8是根据本公开的各种实施例的检测手势以改变被示为增强特征的灯具或其他物品的增强现实会话的图。
图9是根据本公开的各种实施例示出作为图1的增强现实系统的各部分实现的功能的一个示例的流程图。
图10A-图10C是根据本公开的各种实施例的识别要安装的贴砖的形状的增强现实会话的图。
图11是根据本公开的各种实施例，提供图1的联网环境中采用的计算环境的一个示例图示的示意性框图。
图12是根据本公开的各种实施例，提供图1的联网环境中采用的增强现实设备的一个示例图示的示意性框图。
图13A-图13C是根据本公开的各种实施例的识别待匹配的修剪的轮廓的增强现实会话的图。
图14A-图14G是协助操作者定位与一个或多个图片框相关联地放置、水平对齐、居中、间隔和执行类似任务的增强现实会话的图。
图15A-图15B是使用在增强环境中施加的增强特征将图片框中示出的作品替换为其他作品的增强现实会话的图。
图16是使用增强环境来增强自然环境中的景观特征以执行景观项目的增强现实会话的图。
具体实施方式
本公开涉及用于悬挂作品、照片、墙贴纸、壁纸、图片框和相关物品的增强现实(AR)或混合现实(MR)任务识别和协助。增强现实系统包括那些使用适当配置的计算设备来编程修改或“增强”环境的真实世界视图的系统。例如，在增强现实设备(诸如智能手机或增强现实眼镜)的显示器中显示由相机拍摄的视频馈送。声音或图形可以被添加到环境中，或者增强现实设备的显示器上显示的环境的外观可以被修改以改变用户对环境的感知。
随着增强现实的出现，在构建(construction)、制造、改造(remodeling)和相关工业领域中可能有许多潜在的改进。例如，增强现实系统可以协助那些技能或专业知识有限的人执行困难或一次不可能完成的任务。因此，本文描述的增强现实系统有利于减少所需的技能或专业知识、最小化劳动时间、优化材料的使用、以及在构建、制造和相关行业中的其他益处，如将认识到的。此外，本文描述的实施例提供项目数据的基于远程网络的存储。虽然可以以一定价格购买、出租或租用增强现实设备，但新项目可能会不断添加到基于远程网络的存储中的项目数据中。可以理解的是，尽管购买了增强现实设备，但是随着项目库的不断发展以及远程分析环境以及识别和测量物品的方法在远程计算环境中得到改进，增强现实设备的功能将得到改进。
根据本公开的各种实施例，描述了协助操作者(例如，增强现实眼镜的佩戴者或观看者)进行各种构造、制造或修改项目或任务的增强现实系统。另外，增强现实系统被描述为协助具有各种家居改进任务(诸如悬挂作品、图片框、壁纸、墙贴花或类似物品)的操作者(例如，增强现实眼镜的佩戴者或观看者)。最初，增强现实系统可以协助可视化完成的项目如何在环境中出现。例如，增强现实系统可以在增强现实设备的显示器中虚拟地施加墙壁、固定装置、器具、家具物品或其他物品，使得物品自然地出现在设定中并且允许操作者可视化所完成的项目。为此，当操作者正在用他或她的增强现实设备执行增强现实会话时，可以执行对环境的二维或三维修改。增强现实系统可以生成设定或环境的各种测量结果，以协助执行任务或协助将二维或三维修改施加到环境中。例如，增强现实系统可以使用出现在视频馈送或其他已知的增强现实测量过程(诸如三角形网格检测，如下所述)中的具有已知尺寸的检测对象动态地测量环境中的组件，从而协助可视化和完成任务，如将要描述的。
在开始项目之前，操作者可以定制项目的各个方面，诸如调整要构建的墙的尺寸或形状。或者，操作者可以遍历(iterate through)环境中显示的不同项目，诸如浏览不同品牌或类型的冰箱、灯具或其他固定装置或器具。此后，一旦由操作者指定了要构建、制造、修改或其他项目的物品，则增强现实系统可以生成一系列任务供操作者执行以完成项目。例如，在操作者指定要构建的墙的位置、尺寸和形状之后，增强现实系统可以识别操作者要执行的任务，诸如切割木材、将木材定位和安装在适当的位置、安装绝缘材料、铺设电气布线、安装干墙、对干墙抹泥、铺设贴砖或安装其他类型的地板及涂漆。
为此，增强现实系统可以通过识别任务来完成项目，同时顺序地显示要执行的任务，从而协助每个项目。而且，增强现实系统可以协助操作者执行每个任务。在上面关于切割木材(例如2x4s)以为墙壁构建框架的示例中，增强现实系统可以显示例如将2x4切割成四英尺长度的任务。增强现实系统可以采用对象识别来识别2x4，为操作者测量2x4的长度(或其他维度)，并且在2x4上虚拟地施加标记、刻痕或切割线，使得全息线被显示在增强现实设备中。可以指示操作者沿着切割线刻痕或创建标记，或者可以指示操作者如何操作锯并沿着切割线执行切割以确保正确切割。例如，还可以通过指示操作者向下、向上、向左、向右移动锯，调整接近角等来提供切割期间的引导。此外，如果他或她的手太靠近锯片可以警告操作者。之后，增强现实系统可以分析完成的切割以确定切割是否执行得令人满意。如果不是，则增强现实系统可以协助执行补救任务(例如打磨)或重做任务。如果完成得令人满意，则可以将一系列任务中的下一个任务显示给操作者，直至项目完成。
虽然贯穿本公开提供的各种示例以及随之描述的各种附图可能涉及墙的构造，但这仅仅是关于增强现实系统描述的一个示例项目。在进一步的实施例中，增强现实系统可以用于替换或安装家具或器具、安装灯具、改造房间、铺设瓷砖、浇注混凝土、水平对齐楼层(floor)、或可以理解的其他项目。
例如，另一个项目可以包括在水槽柜中安装管道。为项目识别的任务可以包括，例如，建造或转移旧单元的管道、切割橱柜后部、将管道连接到固定装置以及其他任务。当手动执行时，由于必须执行许多测量，所以该项目是劳动密集型的，例如在橱柜的背面和橱柜内部以确认管道的位置。在本文所述的各种实施例中，远程计算环境通过使用已知物品或位置(例如墙壁或橱柜)的尺寸来确认管道的位置，并且外推这些维度以通过编程确定橱柜的尺寸。增强现实会话可以包括橱柜将被放置的位置处的图形、考虑柜台顶部、悬挂等。可以示出排水管线和水线的位置，例如以协助操作者确定正确的尺寸和在橱柜背面的孔的位置。
在另一个示例中，项目可以包括移动大型家具物品，诸如钢琴、床、桌子、桌子或其他住宅、商业或工业设备。与项目相关联的任务可以包括例如用增强现实设备扫描家具物品，使得远程计算环境可以确定与要重新定位的家具关联的维度。例如，考虑到人走路到最终目的地，家具的维度可以叠加或以其他方式施加在增强现实环境中。在一些实施例中，叠加的图像可以改变颜色或者可以为不足以接收家具的区域发出声音。此外，远程计算环境可以计算将具有干涉的面积和角度，并提议旋转该部件以确定在接近紧缩开口时该部件被保持的最佳角度。
在以下讨论中，提供了用于任务完成的增强现实系统及其组件的一般描述，随后讨论其操作。
参考图1，在联网环境100示出中增强现实设备50。如可以理解的，增强现实设备50可以包括“智能眼镜”，其可以由操作者以与传统眼镜类似的方式佩戴。然而，与传统眼镜不同，“智能眼镜”包括相机53、投影仪(未示出)和半透明棱镜56，可用于将计算机生成的图像投射到操作者的视网膜上。另外，“智能眼镜”可以包括用于网络接口的外壳59、麦克风和处理电路，其中处理电路可以包括至少一个硬件处理器、图形处理单元(GPU)或其他处理电路。在其他实施例中，增强现实设备50可以包括智能电话、平板电脑或者类似的计算设备，计算设备又可以包括显示器、相机、网络接口、麦克风和处理电路。根据各种实施例，增强现实设备50的镜头可以包括安全镜片，或者增强现实设备50可以形成为安全护目镜或面罩。
增强现实设备50可以包括提供空间映射数据的一个或多个应用程序编程接口(API)，空间映射数据可以由增强现实设备50的处理电路进行分析或发送到计算环境103用于远程分析。空间映射数据可以提供增强现实设备50以及其操作者或用户所感知的环境中的真实世界表面的详细表示。通过一个或多个API，空间映射数据允许开发人员定制令人信服的混合和增强现实体验。通过将真实世界与虚拟或增强对象合并，由增强现实设备50执行的应用程序可以使虚拟对象(也被称为全息图)看起来逼真。通过提供熟悉的真实世界行为和交互，在增强现实设备50上执行的应用程序具有与用户期望相符的特征也是有益的。
联网环境100包括增强现实设备50和计算环境103，其通过网络106彼此进行数据通信。增强现实设备50和计算环境103一起可被描述为形成增强现实系统。网络106包括例如互联网、内联网、外联网、广域网(WAN)、局域网(LAN)、有线网络、无线网络或其他合适的网络等，或者两个或更多个这样的网络的任何组合。例如，这样的网络可以包括卫星网络、有线网络、以太网和其他类型的网络。
计算环境103可以包括例如服务器计算机或提供计算能力的任何其他系统。或者，计算环境103可以采用例如可以布置在一个或多个服务器库、计算机库或其他布置中的多个计算设备。这样的计算设备可以位于单个安装中或者可以分布在许多不同的地理位置中。例如，计算环境103可以包括多个计算设备，这些计算设备一起可以包括托管计算资源、网格计算资源、云计算资源和/或任何其他分布式计算布置。在一些情况下，计算环境103可对应于弹性或基于云的计算资源，其中处理、组网、存储或其他计算相关资源的分配容量可随时间变化。虽然被描述为远程计算环境并且作为与增强现实设备50分离的组件，但是在附加实施例中，计算环境103的一些或全部功能可以在内置于增强现实设备50中的计算设备中执行。
根据各种实施例，可以在计算环境103中执行各种应用程序或其他功能。而且，各种数据被存储在计算环境103可访问的数据存储112中。如可以理解的，数据存储112可以代表多个数据存储112。例如，存储在数据存储112中的数据与下面描述的各种应用程序和/或功能实体的操作相关联。
例如，在计算环境103上执行的组件包括任务识别引擎115、物品识别引擎118、测量引擎121、增强引擎124、网络服务127以及其他应用程序、服务、过程、系统、引擎或功能，本文不做详细讨论。
任务识别引擎115被执行以针对给定项目130识别要执行以完成给定项目130的任务133或子任务136。例如，对于包括操作者添加新墙或修改现有的墙的项目130，任务识别引擎115可识别操作者要执行的任务133，诸如切割木材、将木材定位和安装在适当的位置、安装隔热层、铺设电气布线、安装干墙、对干墙抹泥以及涂漆。
物品识别引擎118被执行以基于例如环境的视觉分析来识别来自环境的对象。为此，增强现实设备50可以将与由相机53拍摄的图像相关联的图像或数据提供给计算环境103，其中物品识别引擎118被配置为应用已知的对象检测算法来识别对象。在一些实施例中，对象检测算法包括边缘检测(例如，Canny边缘检测)、分而治之(divide-and-conquer)搜索、灰度匹配、接受场响应的直方图或其任何组合。
如可以理解的那样，测量引擎121被执行以执行由物品识别引擎118检测到的对象的测量或其他形式的测量。在一些实施例中，测量引擎121可以使用由物品识别引擎118检测到的对象来确定环境中其他对象的尺寸。另外，例如通过应用透视投影方程或任何形式的三角测量，测量引擎121可以考虑透视的变化。
执行增强引擎124以生成增强特征以包括在增强环境中，然后增强环境被发送到增强现实设备50作为增强特征数据129。在接收到增强特征数据129时，增强现实设备50使用数据在环境中施加或叠加图形、图像、文本或其他数据。
网络服务127被执行以通过网络106或其他设备提供用于计算环境103和增强现实设备50之间的通信的介质。网络服务127可以包括体现在软件中的基于网络的应用程序编程接口(API)，所述软件促进由客户端应用程序(例如，在增强现实设备50中执行的应用程序)进行的编程服务调用或API调用以与计算环境103的组件(诸如任务识别引擎115、物品识别引擎118、测量引擎121、增强引擎124或本文没有描述的其他服务或应用程序)通信。根据各种实施例，基于web的API可以进一步包括代表性状态转移(REST)API、简单对象访问协议(SOAP)API、超文本传输协议(HTTP)API或另一合适的API。
存储在数据存储112中的数据包括例如项目130、物品目录142、语音和手势数据145以及可能的其他数据。物品目录142包括与物品相关联的各种信息，其可以用于识别环境中的物品或者环境中的虚拟施加物品(或叠加物品)。物品可以对应于构建、制造、住宅改造或其他相关行业中使用的产品、货物等。为此，物品可以包括器具、固定装置、材料、涂料颜色等。物品数据148可以包括关于每个物品的信息，例如名称、描述、价格、重量、材料等等。物品数据148还可以包括安装说明、产品约束(例如、操作温度)、原始设备制造商(OEM)数据以及与物品相关联的构建代码(如果适用的话)。OEM数据可能包括各种产品的限制(例如，温度范围、需要与产品配合使用的材料)以及OEM建议(UR推荐的使用或安装位置)。物品目录142可以进一步包括代表性图像数据150，该代表性图像数据150可以被增强引擎124用来在增强环境中施加物品的二维或三维视图。
语音和手势数据145可以包括用于将对应的语音命令或手势映射到与环境相关联执行的动作的数据。例如，可以使用各种语音命令或手势来开始或细化项目130。在一个示例中，可以跟随操作者的手指或手来识别要修改的特定区域的开始位置和结束位置。在另一个示例中，可以使用具有预定特性的特定标记或对象。在另一个示例中，可以跟踪操作者的眼睛(例如，使用附加的相机)以识别操作者感知的位置以及识别特定的眼睛移动以选择项目133、改变布局等。另外，操作者可以能够指向或点击全息用户界面元素以选择项目133、改变布局、为项目130分配维度等等
增强现实设备50可以表示耦合到网络106的多个增强现实设备50。增强现实设备50可以包括例如内置在设备中的基于处理器的系统，诸如电脑系统。这样的计算机系统可以以膝上型计算机、个人数字助理、蜂窝电话、智能电话、音乐播放器、平板电脑系统、智能眼镜、虚拟现实头戴式设备或具有相同能力的其他设备的形式来实现。
在一些实施例中，增强现实设备50可以包括显示器。显示器可以包括例如液晶显示器(LCD)显示器、基于气体等离子体的平板显示器、有机发光二极管(OLED)显示器、电子墨水(E-ink)显示器、LCD投影仪或其他类型的显示设备。在各种实施例中，增强现实设备50包括各种I/O设备，诸如相机53(例如，前置相机或后置相机)、麦克风、扬声器、键盘和/或其他合适的设备。
增强现实设备50可以被配置为执行各种应用程序，诸如客户端应用程序。例如，客户端应用程序可以在增强现实设备50中执行以访问由计算环境103或其他服务器提供的网络内容，由此呈现显示或呈现增强特征的用户界面，使得它们自然地出现在环境。在各种实施例中，客户端应用程序在增强现实设备50中执行，以例如在执行操作者所位于或正在环境中导航的增强现实会话的同时使用相机53来拍摄环境。在各种实施例中，“穿过设备”允许通过设备的透明镜片感知真实世界，并且将图像(全息图)投射到用户的前方，距离用户数米远的地方或用户的视网膜上。在各种实施例中，增强现实设备50包括Snap公司的Spectacles、Blade 3000、M300、R7AR/R8、R7AR/R9、Smartglasses、Level、Glass、Moverio BT-300、SmartEyeGlass、Meme、HoloLens或其他类似设备。
接下来，提供联网环境100的各种组件的操作的一般描述。正如可以理解的，开始，操作者可以例如通过佩戴和打开增强现实眼镜来激活增强现实设备50。或者，操作者可以在智能手机、平板电脑或类似设备上执行客户端应用程序来开始增强现实会话。客户端应用在被执行时可以利用客户端设备(例如，智能电话或平板电脑)的各种输入/输出(I/O)设备来获得关于环境的信息。例如，增强现实设备50可以利用其相机和麦克风来生成环境的记录。
在一些实施例中，设备数据153可以由增强现实设备50生成以包括可以是三角网格数据的空间表面数据。例如，为了获得关于环境的特定区域(或作为整体的环境)的数据，计算环境103或在增强现实设备50上执行的应用程序可以提供给增强现实设备的操作系统(或其他应用程序)一个或多个边界体积，来限定应用程序希望接收空间映射数据的空间区域，或者可以使用这样的数据来对增强现实设备50在环境中的位置进行三角测量。
对于每个边界体积，空间映射数据可以包括一组空间表面。空间表面可以是静止的或相对于真实世界环境处于固定位置，或者它们可以相对于增强现实设备是动态的，这意味着它们随着增强现实设备在环境中移动而与增强现实设备50一起移动。空间表面数据可以包括描述小体积空间中的真实世界表面的数据，表示为附接到世界锁定空间坐标系统的三角形网格。当增强现实设备50获得关于环境的新信息并且随着发生环境的改变，空间表面数据中的空间表面可以出现、消失并且改变，如可以理解的。包括一个测量API，其允许执行测量，其中API返回以米(英寸或其他量度)为单位的距离或测量结果。增强现实设备50可以进一步包括一个或多个物理仿真API，其可以协助在环境中施加虚拟对象。
对于增强现实设备50包括智能眼镜的实施例，增强现实会话可以包括由操作者佩戴的增强现实设备50，其中投影仪和半透明棱镜56用于将计算机生成的图像(在本文中也称为“增强特征”)投影到操作者的视网膜上。对于增强现实设备50包括智能电话、平板电脑或类似计算设备的实施例，增强现实会话可以包括增强现实设备50实时呈现由相机拍摄的实况视频馈送，其中视频馈送的部分通过将计算机生成的图像添加到显示器中示出的视频馈送来加以增强。
在一个实施例中，为了开始新的项目130，操作者可以做出合适的语音命令。例如，增强现实设备50的操作者可以大声说“开始新项目”，并且增强现实设备50可以生成用户界面或者与操作者口头交互以进一步细化项目130的类型。在另一个示例中，增强现实设备50的操作者可以更具体地说“开始HVAC单元替换项目”。音频样本或与音频样本有关的数据可以由增强现实设备50传输到计算环境103作为设备数据153用于远程分析。设备数据153可以包括视频馈送数据156以及用户交互数据159。例如，计算环境103可以分析用户交互数据159(在这种情况下为音频数据)以识别存储为语音和手势数据145的预定义语音命令。
在另一个实施例中，增强现实设备50的操作者可以做出可识别的手势来开始新项目130。例如，可以由操作者执行手划动作。视频馈送数据156或与其相关联的数据可以由增强现实设备50的相机拍摄并且被发送到计算环境103用于远程分析。计算环境103可以将手势与存储在语音和手势数据145中的预定义手势进行比较。在增强现实设备50包括智能电话或平板电脑的实施例中，可以在显示器中显示合适的用户界面，其允许操作者通过与触摸屏显示器或其他输入设备进行的交互来细化他或她的项目130。
如果操作者指定的项目130被计算环境103识别，则可以从操作者接收用于项目130的参数或者例如使用默认值来定义项目130的参数。例如，如果操作者想要在浴室改造期间构建墙壁，则可以通过合适的语音命令、手势识别或用户界面交互来指定墙壁的宽度、高度、长度和形状。
此外，计算环境103可以被配置为执行各种测量，诸如测量对象的宽度、长度或高度或者测量环境中的空间的面积，这可以使用三角形网格数据或者类似的数据来完成。在一些实施例中，测量结果可以用作项目130的参数。例如，如果操作者打算为浴室构建毛巾壁橱，则可以确定从浴室的第一墙壁到第二墙壁的测量结果。在另一个示例中，如果操作者打算在房间中安装新地板，则可以确定地板的平方英尺。如可以理解的，可以确定其他维度。
计算环境103可以生成服务器数据162并将其发送到增强现实设备50，其中服务器数据162可以包括增强特征数据129以及任务数据165。增强特征数据129可以指示增强现实设备50执行对环境的特定增强，诸如在环境中施加三维模型以可视化已完成的项目130、显示文本或指导视频或其他适当的增强。例如，增强现实系统可以提出各种布局选项用于改造可由操作者循环通过的房间或选择和定制的房间。在一个实施例中，可向操作者呈现卧室改造，其具有在房间的一个区域中放置壁橱、在墙壁上涂特定颜色的颜料、某个吊扇等。如果操作者喜欢该布局，则他或者她可以定制各个方面，例如更换吊扇或调整墙壁上的涂料颜色。或者，操作者可以做出合适的姿势或语音命令来接收改造项目130的房间的另一建议布局。
另外，对环境的增强可以包括例如针对物品的零件显示关于与物品的零件的信息，在要切割的材料上施加切割线，显示环境中的视频，其显示任务133的示例性完成，在物品上施加或叠加虚拟测量结果，在环境中或物质表面上施加水平仪或方形工具，在环境中叠加虚拟网格或水平线或其他形式增强。因此，增强现实设备50可以用作传统水平仪、方形仪、轮廓仪或其他测量设备的替代品。
在另外的示例中，对于其中操作者打算更换冰箱或其他器具的项目130，新型号的洗衣机或烘干机的图像可以显示在洗衣机或烘干机站立或曾经站立的区域中。在另一个示例中，改造的房间可以显示为具有不同的涂料或壁纸、不同的地板以及不同的器具或固定装置。为此，增强现实系统可以使用项目130的参数和由计算环境103执行的测量结果来生成项目130的完成形式的可视化。在各种实施例中，增强现实系统可以基于各种材料或产品的供应商生成建议的布局或替换项目用于显示。
在一些实施例中，在增强现实会话中对环境进行增强可以包括使用作为代表性图像数据150存储的项目130的至少一个代表性图像来生成二维或三维可视化。另外，至少一个代表性图像可以被修改，使得项目130的可视化符合环境。尽管本文描述的公开内容使用代表性图像，但是应该理解，在其他实施例中，可以利用计算机生成的模型。
基于项目130和指定的参数，计算环境103可以为操作者识别要执行的任务133以完成项目130。例如，如果操作者想要构建壁橱，则任务133可以包括切割合适尺寸的木材、布置切割的木材片以构建框架、将框架固定到结构、铺设电线、悬挂干墙等。另外，可以确定任务133的顺序以优化人工、材料或合并类似的操作。例如，如果项目130包括构建墙壁，则需要切割成2x4s或其他木材的所有任务133可以合并以减少项目130的整体完成所需的劳动。例如，操作者可能仅为任务133的子集需要使用他或她的锯子，因此将仅需访问他的锯子以进行单个且顺序的任务组133。另外，可以例如基于对2x4的不同标准长度的分析来确定切割，使得切割被确定为优化可用材料的使用、最小化废料等。这可以减少材料的量，从而有益于环境并提供可持续的构建和改造解决方案。
当由增强现实设备50接收到数据时，增强现实设备50可以顺序地将与任务133相关联的数据施加或叠加在该环境中。例如，如果通过语音命令、手势或用户界面输入，操作者指示他或她期望开始项目130的执行，则第一任务133可以被叠加在增强现实会话期间所示的环境的位置中。如可以理解的，完成一个任务133可以导致向后续任务133的转换。而且，给定任务133可以包括各种子任务136。例如，将第一块聚氯乙烯(PVC)导管耦合至另一件导管的任务133可包括切割导管以及施加胶水或配件的子任务136。应该理解的是，增强现实系统可以使操作顺序地者通过每个任务133和子任务136，直到完成项目130。
接下来参考图2，增强现实设备50被示出为客户端设备(例如，智能手机或平板电脑)，其中当执行客户端应用程序200时，增强环境被显示在显示器203中。尽管图2的实施例利用具有显示器203的智能手机，但应该理解，可以使用智能眼镜的组件来示出增强特征，如以上参考图1进行的讨论。
增强现实设备50可以包括各种I/O设备，诸如前置摄像头、后置摄像头、麦克风、扬声器、网络接口以及其他组件。为此，增强现实设备50可以能够从环境捕获音频和视频，并且实时地引起增强现实设备50上的音频或视频的回放。例如，由前置相机(或后置相机)记录的视频可以在增强现实设备50的显示器203中呈现，而由麦克风记录的任何音频可以通过增强现实设备50的扬声器播放。
如图2所示，在增强现实设备50的显示器203中再现环境(例如，房间)然而，示出了增强特征206(例如，墙壁的轮廓)。在这个示例中，假设操作者打算构建墙壁，其中客户端应用程序200协助操作者选择墙壁的尺寸和位置。增强特征206是定义墙壁的轮廓以允许用户定制墙壁的参数(例如，墙壁的尺寸或位置)的虚线。虽然在图2的示例中操作者可以使用触摸屏来调整环境中的墙壁的尺寸和位置，可以理解，合适的手势或语音命令可以执行等同的功能。在一些场景中，增强特征206是半透明的可能是有益的，因为操作者可能期望看到作为增强特征206的物品。
在一些实施例中，计算环境103可以执行在增强现实会话期间检测到的物品的测量。在一个实施例中，可以基于参考对象来测量墙壁的高度。例如，墙壁上的恒温器可以被识别并用作用于使用已知方法确定墙壁的高度的参考。现有的测量结果可以用作项目130的参数，或者可以用于生成允许进一步定制或修改的墙壁的初始视图。应该理解，本文描述的增强现实会话中示出的文本标签、指令、按钮和其他用户界面组件也是增强的(例如，它们实际上不出现在实际环境中，但被包括在增强环境中)。
现在转到图3，增强现实设备50可以在定制项目130之后使用项目参数来增强环境。例如，增强特征206(在本示例中为三维墙壁)可以被施加或叠加在环境中，使得操作者能够可视化已完成的项目130。可以理解的是，操作者可能能够基于可视化进一步细化项目参数，或者操作者可能希望开始呈现任务133以完成项目130。在另外的实施例中，对环境的增强可以包括例如针对物品的零件显示关于与物品的零件的信息、在要切割的物料上施加切割线、在显示任务133的示例性完成的环境中显示视频(例如视频)、在物品上施加虚拟测量结果、或其他增强。
转到图4，根据各种实施例示出了另一增强环境。在图4的非限制性示例中，示出了完成的任务133的可视化，而不是完成的项目本身。例如，示出从木材构建框架的任务133而不是完成的墙壁。增强特征206可以在任务133(或子任务136)的可视化完成中协助用户。可以理解的是，当操作者开始一任务时，客户端应用程序200(或其他接口)可以增强环境以协助操作者执行任务133。例如，在操作者已经指定了要构建的墙壁的位置、尺寸和形状之后，增强现实系统可以识别操作者要执行的任务133，诸如切割木材、将木材定位和安装在适当的位置、安装绝缘材料、铺设电气布线、安装干墙、对干墙抹泥和涂漆。
例如，如图5所示，示出了增强的环境，如用户戴着智能眼镜以协助操作者切割木材来构建框架。可以理解，构建框架的任务133可以细分为子任务136。在图5的非限制性示例中，第一增强特征206a包括用于要进行第一次切割的线，并且第二增强特征206b包括用于进行第二次切割的线。应当理解，可以基于计算环境103以编程方式执行的测量来施加增强特征206(诸如切割线)。例如，具有列在锯子(或其他参考点)上的数字的测量设备300可以使用光学字符识别(OCR)来识别并且可以确定切割线之间的宽度。在另外的实施例中，待切割的物品本身可以用作参考对象。
如果诸如锯子之类的物品不正确地定位(例如，沿着错误的方向，位置偏离水平对齐或偏离正方形)，可以突出显示要切割的部分以指示正确的定位或位置。在一些实施例中，可以在执行切割时示出切割线，或者在其他实施例中，可以示出切割线以允许操作者使用笔或铅笔物理地标记或刻划切割线。在进一步的实施例中，可以将测量维度施加为增强现实会话中的虚拟对象。可以示出切割线、尺寸或其他增强特征206以优化材料的使用。
在各种实施例中，增强现实系统可以有助于渐缩或水平对齐地板或其他表面。例如，当操作者正在为车道安装砾石或者铺设步道时，增强现实系统可以识别环境的未水平对齐部分并且提供合适的任务133以供操作者执行以安装砾石或铺路石，使得车道或步道是水平对齐的。类似地，增强现实系统可以包括任务133，用于当操作者将贴砖铺设在可能不平坦的地板上时使贴砖渐缩。增强现实系统可以包括任务133以将新安装的表面渐缩成现有表面(例如，混合新地板以匹配旧地板的相同的完成表面)。
在一个示例中，操作者可以识别他或她希望铺设砾石的起始位置和结束位置，并且可以指示操作者走出要放置砾石的区域的周界，使得增强现实系统可以确定安装位置的面积(例如以立方英尺为单位)并确定安装所需的砾石量。增强现实系统可以允许用户标记砾石的高度并渐缩到一定距离，同时示出覆盖的叠加。
此外，增强现实会话可以包括向操作者呈现完成任务133的指令，诸如“沿虚拟线进行两次切割”。增强现实系统可以进一步确定操作者是否已经对齐了该工具以正确地完成任务133或者以其他方式指示操作者应该对要完成的任务133所做的更正。在进一步的实施例中，虚拟水平仪、虚拟尺子或测量器，或虚拟方形可被施加或叠加在增强环境中以协助执行方形切割，水平对齐物品或可能需要水平仪、方形或测量器的其他任务133。
在进一步的实施例中，第一增强现实设备50的第一操作者可以能够与第二不同增强现实设备50的第二操作者进行通信。在一些实施例中，第一增强现实设备50使用或其他适当的通信介质直接与第二增强现实设备50通信。在其他实施例中，第一增强现实设备50通过网络109并通过计算环境103与第二增强现实设备50通信。
为此，一些实施例可以包括例如第一操作者向第二操作者传达关于任务133或项目130的信息。例如，第一操作者可以选择布局并且将切割信息无线传达给第二操作者，第二操作者可以负责操作锯子切割原材料，而第三操作者可以被指示去除地毯以安装硬木地板。
接下来参考图6，示出了另一增强环境，如用户戴着智能眼镜以协助操作者连接切割木材以为墙壁构建框架。在图6的非限制性示例中，第一增强特征206a包括用于操作者假设以正确角度在螺钉中钻孔的引导线。第二增强特征206b包括螺钉应该插入的目标位置。可以基于由计算环境103以编程方式执行的测量来施加增强特征206(诸如指导线和目标位置)。例如，图6所示的螺钉(将由操作者握持)将具有已知的长度，其可以用作确定目标位置或引导线的参考点。而且，在图6中示出的示例中，增强现实会话可以包括向操作者呈现完成任务133的指令，诸如“如所示的将螺钉插入到位”。增强现实系统可以进一步确定操作者是否已经对齐螺钉以正确地完成任务133或者以其他方式指示操作者应该对要完成的任务133所做的更正。
现在转到图7，示出了另一增强环境，如用户戴着智能眼镜以协助操作者验证他或她具有完成任务133、子任务136或项目130的所有必需材料。在一些实施例中，增强现实系统可以验证项目130中收集了材料清单中的每个工具或物品(其生成将在下面讨论)。为此，增强现实系统可以使操作者走过一个过程，其中由增强现实系统依次检查每个物品，其中物品可由相机看到。可以采用对象识别来验证材料清单中的每个物品都可以使用。例如，增强现实系统可以使用像素值阈值来识别环境中的对象并且将对象与存储在数据存储112中的数据进行比较。例如，具有螺钉的区域可以与存储在数据存储112中的数据进行比较以确定对象是否是螺钉，如果是，则确定螺钉的类型、尺寸、长度或其他方面以验证是否符合材料清单。在其他实施例中，可以使用光学字符识别来分析与材料清单中的物品相对应的收据或条形码(或其他机器可读标识符)。
转到图8，示出了操作者将增强现实装置50作为眼镜佩戴的增强环境的图。对于其中操作者想要更换灯具或其他固定装置或应用的项目130，灯具的二维或三维图像可以被示出为天花板区域中的增强特征206。使用合适的语音命令，或者在这种情况下，使用手势(例如，通过从向左向右滑动手)，灯具的另一品牌或类型可以被替换为增强特征206。为此，增强现实系统可以使用项目130的参数和由计算环境103执行的测量来生成项目130的完成形式的可视化。另外，增强现实系统允许用户通过改变其中使用的组件来快速定制项目130。
接下来参考图9，示出了根据各种实施例的提供包括增强现实设备50和计算环境103的增强现实系统的操作的一个示例的流程图。可以理解的是，图9的流程图仅提供了可用于实现如本文所述的增强现实系统的部分的操作的许多不同类型的功能布置的示例。作为替代方案，图9的流程图可以被视为描绘根据一个或多个实施例的在增强现实设备50或计算环境103中实现的方法的元素的示例。
从903开始，可以向操作者(例如，智能眼镜的佩戴者或观看者或智能手机的用户)提供增强现实会话。对于增强现实设备50包括智能眼镜的实施例，增强现实会话可以包括由操作者佩戴的增强现实设备50，其中小型投影仪和可以包括半透明棱镜用于将计算机生成的图像投影到操作者的视网膜上。对于增强现实设备50包括智能电话、平板电脑或其他类似的计算设备的实施例，增强现实会话可以包括增强现实设备50实时呈现由相机拍摄的实况视频馈送，其中视频馈送的部分通过将计算机生成的图像添加到显示器中示出的视频馈送来加以增强。
接下来，在步骤906中，增强现实系统可以接收要在环境中执行的项目130的指定。为此，在各种实施例中，项目130的指定可以通过各种语音命令来接收。在一个示例中，增强现实设备50的操作者可以大声说“开始新项目”并且增强现实设备50可以生成用户界面或者与操作者口头交互以进一步细化项目130的类型。在另一个示例中，增强现实设备50的操作者可以更具体地说“开始新房间改造项目”。
在另一个示例中，增强现实设备50可以应用手势识别。例如，缩放移动可由操作者执行、由增强现实设备50的相机拍摄、并由计算环境103使用语音和手势数据145识别。手势的类型可对应于特定类型的项目130，或者手势可以简单地带出允许操作者进一步细化项目130的用户界面。手势识别或语音命令可以由增强现实设备50的相机拍摄或记录并且由计算环境103使用语音和手势数据145识别，如可以理解的。在增强现实设备50包括智能电话或平板电脑的实施例中，显示器中可以示出合适的用户界面，其允许操作者细化他或她的项目。为此，可以通过在智能手机、平板电脑或其他设备的屏幕上轻扫、点击或以其他方式与其交互来选择项目。
此后，在步骤909中，增强现实系统可以确定是否识别出由操作者指定的项目。例如，数据存储112可以维护包括预定义项目的物品目录以及要执行以完成这些项目130的任务133。基于步骤906中的项目130的指定，可以查询数据存储112以确定是否支持该项目。例如，如果操作者指定他或她希望构建墙壁或改造浴室，则可以查询数据存储112以识别用于“墙壁构造”或“浴室改造”的数据库条目。如可以理解的，数据存储的搜索可以采用模糊匹配。
如果没有识别出项目130，则该过程可以前进到步骤912，其中增强现实系统可以产生错误并且向操作者提供这样的错误。例如，可以指示操作者没有识别出项目130，或者可以要求操作者尝试另一类型的项目130。此后，过程可以继续完成。
返回到步骤909，如果识别出项目130(例如，对数据存储112的查询得到至少一个匹配)，则该过程可以前进到步骤915，其中可以从操作者接收或以其他方式(例如，基于默认值)定义用于项目130的参数。例如，如果操作者打算构建墙壁，则通过适当的语音命令、手势识别或用户界面交互来指定墙壁的宽度、高度、长度和形状。
另外，尽管在步骤918中单独地进行了描述，但是可以通过增强现实系统来执行测量，其可以用作项目130的参数。例如，如果操作者打算构建壁橱，则根据测量结果自动确定壁橱的高度时，可以执行从地板到天花板的测量。另外，可以执行从一个墙壁到另一个墙壁的测量以提供壁橱的建议宽度，但是这种宽度可以根据操作者认为合适的来定制。
在步骤921中，增强现实系统可以通过施加项目130的完成形式在环境中的可视化来对增强现实会话中的环境进行增强。例如，对于操作者想要更换冰箱或其他器具的项目130，可以在冰箱站立或曾经站立的区域中示出新型号的冰箱的图像。在另一个示例中，对于其中操作者想要构建墙壁的项目130，对要在指定的环境区域中构建的墙壁进行三维呈现。在另一个示例中，改造的房间可以示出为具有不同的涂料或壁纸、不同的地板以及不同的器具或固定装置。为此，增强现实系统可以使用至少一个参数和至少一个测量来生成项目130的完成形式的可视化。在一些实施例中，尺寸信息可以来自OEM制造商，例如来自计算机辅助绘图(CAD)文件或来自其他产品规格。
在一些实施例中，对增强现实会话中的环境进行增强可以包括使用用于项目130的至少一个代表性图像来生成可视化。另外，可以修改至少一个代表性图像，使得项目130的可视化符合环境，并且生成在增强现实会话期间虚拟地施加至少一个代表性图像的环境中的增强现实数据。尽管本文描述的公开内容使用代表性图像，但是应该理解，在其他实施例中，可以利用三维计算机生成的模型。
在924中，基于项目130的参数，可以生成材料清单并向操作者提供或示出材料清单。例如，如果操作者想要更换洗衣机和烘干机，则材料清单可以包括橡胶或不锈钢编织软管、桶、柔性气体、通风口、手套或其他材料。在一些实施例中，材料清单可以包括完成项目130所需的工具列表，诸如滑动接头钳、开口扳手、螺丝刀、海绵、可调扳手、抹布、针头钳、或其他工具。另外，增强现实设备50可以提供订购工具、材料、零件或其他物品的能力。
在一些实施例中，增强现实系统可以验证材料清单中的每个工具或物品已经被收集用于项目130。为此，增强现实系统可以使操作者走过一个过程，其中由增强现实系统依次检查每个物品，其中物品可由相机看到。可以采用对象识别来验证材料清单中的每个物品都可以使用。在其他实施例中，可以使用光学字符识别来分析与材料清单中的物品对应的收据或条形码(或其他机器可读标识符)。
此后，在步骤927中，增强现实系统可以识别操作者执行以完成项目130的任务133。例如，如果操作者想要构建壁橱，则任务133可以包括切割适当尺寸的木材、布置切割的木材片以构建框架、将框架固定到结构、铺设电线、悬挂干墙等。如可以理解的，存储在数据存储器112中的任务133可以对应于特定项目130，并且项目130可以符合由增强现实设备50的地理位置确定的国际构建物代码(IBC)或区域构建物代码。可以使用网络三角测量、全球定位系统(GPS)模块、互联网协议(IP)地址或用于确定网络使能设备的地理位置的其他已知方法来确定地理位置。另外，项目130的任务133可以根据OEM数据来确定，该OEM数据可以包括例如产品的安装限制。
另外，可确定任务133的顺序以优化人工、材料或合并类似的操作。例如，如果项目130包括建造墙壁，则可以合并2x4s或其他木材的所有切割以节省劳动力成本。另外，例如可以基于2x4s的不同标准长度的分析来确定切割，以便确定切割以优化可用材料的使用。
在步骤930中，增强现实系统可以在增强现实设备的显示器中顺序地显示多个任务中的每一个。例如，如果操作者通过语音命令、手势或用户界面输入指示他或她期望开始项目130的执行，则可以在增强现实会话中确定并示出第一任务133。如可以理解的，完成一个任务133可以导致过渡到后续任务133。另外，给定任务133可以包括各种子任务136。例如，将第一件金属或塑料导管耦合到另一个管道可以包括切割管道以及施加胶水或配件。应该理解的是，增强现实系统可以使操作者顺序走过每个任务133和子任务136。
接下来，在步骤933中，增强现实系统可以确定任务133是否被执行(或者令人满意地执行)。例如，可以分析2x4的切割以确定是否执行了直切割或者所得到的木材片段的长度是否符合任务133。在另一示例中，可以分析导管的两个耦合部分以确定所得到的导管的形状是否正确以及验证导管的每个部分的长度或宽度。
如果任务133没有被执行(或没有被满意地执行或者没有处于满意的阈值水平内)，则该过程可以前进到步骤936，其中增强现实系统可以等待任务的完成，并且之后该过程可以返回到步骤930。在进一步的实施例中，如果任务133没有令人满意地执行，则增强现实系统可以识别在执行时满足相关任务133的补救任务133。例如，如果切割到2x4被增强现实设备50的操作者做得很差，则补救任务133可以包括打磨或重新进行切割。当令人满意地完成时，可以将任务133的顺序中的下一个任务133示出给操作者。
再次参考步骤933，如果任务133被执行，则过程可以前进到步骤939。在步骤939中，可以确定项目130中的所有任务133(和子任务136)是否已经完成。换句话说，确定项目130是否完成。如果所有任务133尚未被执行，则该过程可以返回到步骤930以继续顺序地显示任务133。或者，如果项目130中的所有任务133已被执行，则该过程可以进行到终止。
现在转到图10A-10C，示出了增强现实会话，其中增强现实系统被用于示例项目130中，示例项目130包括铺设瓷砖或其他地板材料。在各种实施例中，增强现实系统可呈现引导操作者安装贴砖、层压板、硬木或其他地板的任务133。在安装地板之前，增强现实系统可以呈现要安装的贴砖的各种布局，例如，以不同的图案。增强现实系统可以允许用户选择灌浆接缝(每个贴砖之间的间隙)。呈现给操作者的布局也可以被建议或示出，使得安装将优化可用材料的使用或者最小化操作者所需的切割量。另外，增强现实系统可以便于识别基于所选择的布局来安装地板所需的所有切割。可以理解的是，优化资源的使用使剩余废料和未使用材料最小化，由此本文描述的实施例对于环境是基本上有益的，同时提供传统制造、改造和构建方法的可持续的替代方案。
增强现实系统可以进一步被配置为识别由操作者握持的对象的形状，确定其外观、纹理、颜色或其他特性是否与正在安装的地板的特性匹配，并且如果是正在安装的地板的适当形状或尺寸，则直接布置该对象。例如，在图10A和10B中，示出了正方形贴砖，其中文本也被示为增强特征206a和206b，由于其尺寸、颜色或其他特性，指示正方形贴砖是不正确的块。但是，在图10C中，示出了一块贴砖，其中文本也被示出为增强特征206c，由于其尺寸、颜色或其他特性，指示该块贴砖是正确的块。示出了增强特征206d，指示操作者如何定位以及在哪里放置所识别的物品。如可以理解的，通过当贴砖与房间成正方形时或与墙壁对齐高度时示出叠加(或突出显示区域)，增强现实系统可以有助于定位物品以放置在环境中的特定位置中。
在另一个实施例中，增强现实系统可以协助修补现有地板，使得替换的地板块融入现有的地板而不会产生不希望的危险。增强现实系统可以识别现有地板的特性并建议更换产品来替换操作者指定的区域。取决于材料，增强现实系统可以识别任务133以执行以修补地板，诸如胶合和匹配陶瓷贴砖。正如可以理解的那样，增强现实系统可以使用来自房间中现有表面的维度并覆盖方形线，并且可以突出显示超出正方形的区域并协助方正或水平对齐墙壁、窗户门和其他物品。
在另一个实施例中，增强现实系统可以分析对象的内部组件(或其缺少组件)以在稍后时间对内部组件进行虚拟化。例如，增强现实系统可以分析墙的组件得到那里没有安装干墙。所识别的组件可以被存储在数据存储112中，例如作为虚拟蓝图。因此，增强现实系统可以确定立柱或其他木材的位置，以及电线、导管、绝缘材料或其他材料的存在和位置。可以向操作者提供安装干墙的任务133。虽然操作者可能无法看到干墙后面的组件，而干墙妨碍操作者的视野，但可以在环境中增强墙壁的内部组件，使得操作者可以通过将螺钉钻入螺柱中来安装干墙(而不触及电线或导管)。操作者可以指定或定制他或她想要在安装干墙时看到的内部组件。例如，操作者可能希望看到螺柱而不看绝缘。
增强现实系统可以使用来自房间中现有表面的维度来覆盖水平线并突出显示未水平对齐的区域，并帮助水平对齐墙壁、窗户、门和其他物品，如可以理解的那样。增强现实系统可以使用现有表面的维度来追踪轮廓，并使用该信息将覆盖物转移到需要切割以匹配轮廓的部分上，并且这样做的示例是匹配木材修剪和现有的工件的切割轮廓。需要切割的部分可能会有突出显示的覆盖，示出配合件的轮廓几何形状并突出显示要去除的材料区域。另一个示例可以包括布局和调整围绕橱柜(例如橱柜的顶部)的冠状模制。
参照图11，示出了根据本公开的实施例的计算环境103的示意性框图。计算环境103包括一个或多个计算设备1000。每个计算设备1000包括至少一个处理器电路，例如具有处理器1003和存储器1006，两者都耦合到本地接口1009。为此，每个计算设备1000可以包括例如至少一个服务器计算机或类似设备。本地接口1009可以包括例如具有伴随的地址/控制总线或其他总线结构的数据总线，如可以理解的。
存储在存储器1006中的是可由处理器1003执行的数据和若干组件。具体而言，存储在存储器1006中并且可由处理器1003执行的是任务识别引擎115、物品识别引擎118、测量引擎121、增强引擎124以及可能的其他应用。存储在存储器1006中的还可以是数据存储112和其他数据。另外，操作系统可以被存储在存储器1006中并且可以由处理器1003执行。
参考图12，示出了根据本公开的实施例的增强现实设备50的示意性框图。增强现实设备50包括例如具有处理器1103和存储器1106的至少一个处理器电路，两者都耦合到本地接口1109。本地接口1109可以包括例如具有伴随的地址/控制总线或其他总线结构。
存储在存储器1106中的是数据和可由处理器1103执行的若干组件。具体而言，存储在存储器1106中并且可由处理器1103执行的是客户端应用程序200以及可能的其他应用程序。存储在存储器1106中的还可以是本地数据存储1112和其他数据。另外，操作系统可以存储在存储器1106中并且可以由处理器1103执行。
参考图13A-13C，增强现实系统可以识别要跟随的现有表面的尺寸或轮廓，以将覆盖转移到需要切割以匹配轮廓的工件上。例如，如图13B所示，从图13A确定的轮廓可以覆盖在所示的材料上并根据轮廓切割。在其他示例中，可基于两个部件的期望配合(例如，90度或其他角度)来确定互补轮廓(或补充角度)。如图13C所示，木头修边可拼合在一起。需要切割的部分可能会有突出显示的覆盖，示出配合件的轮廓几何形状并突出显示要去除的材料区域。
继续参考图14A-14G，示出了增强现实会话，其中增强现实系统被用来悬挂一个或多个图片框1403。图片框1403可以包括作品、照片、镜子或其他物品。在家庭、办公室或公共场所，常见的是家庭、自然的照片、镜子或其他图像。图片框1403通常用钉子、螺钉、挂钩、电线、支架或其他物品悬挂在墙壁上。传统上，将图片框1403或其他物品悬挂在墙壁上可能需要水平仪以确保框架不弯曲；需要卷尺测量器测量距离地板、天花板或其他对象的距离；并需要钢笔或铅笔标记墙壁。另外，可能需要钉子、螺钉、干墙锚、支架和其他材料。悬挂多幅加框图片或作品可能会带来更多挑战。例如，必须在每个图片框1403之间提供间距以使其看起来均匀且美观。当悬挂具有不同维度的多个图片框1403时，确保适当的间距尤其困难。
从图14A开始在开始悬挂一个或多个图片框1403的项目之前，操作者可以定制项目的各个方面，诸如定制墙壁上的一个或多个图片框1403的放置。为此，增强现实系统可以收集关于一个或多个图片框架1403将被悬挂的墙壁或其他环境的信息以及关于一个或多个图片框架1403的信息。例如，增强现实系统可以指示操作者面对一个或多个图片框1403将被悬挂的墙壁，以获得墙壁的维度，墙壁上的空白空间的维度或现有图片框1403或已经在墙壁上或在房间中的其他对象的维度。眼镜或其他设备的相机可以获得可以使用增强现实系统以编程方式处理的图像。
此后，增强现实系统可以指示操作者扫描一个或多个图片框1403的前部和后部，如图14A所示。在扫描期间，增强现实系统可以获得每个图片框架1403的维度，包括高度、宽度、深度以及钩子或凸片1406a...1406b的三维位置、存在线1409，等等。另外，增强现实系统可以通过分析图片框1403的正面来识别图片框1403的主题，诸如可以用于呈现已完成项目的虚拟化的图片框前方示出的艺术品或照片，以允许操作者可视化已完成的项目，如将要讨论的。
在一些实施例中，增强现实系统可能难以以编程方式获得线1409的长度，特别是当其处于松弛状态时，如图14A所示。为此，如图14B所示，增强现实系统可以要求操作者使用卷尺、手指、钩、线、绳或其他对象拉动所教导的线1409。尽管图14B的示例示出了使用卷尺1412的操作者，可以理解，增强现实系统可以以编程方式确定从图片框的顶部到所教导的导线的顶部的距离。另外，增强现实设备50可以定位框架的顶部中心并且指示导线是否拉到中心。类似地，增强现实设备50可以考虑被拉动的电线弯曲并计算中心位置。
在各种实施例中，增强现实系统可呈现引导操作者将一个或多个图片框1403悬挂在墙壁的区域上的任务133。给定一个或多个图片框1403的尺寸以及墙壁上空白区域的尺寸，增强现实系统可以在墙壁上呈现图片框的各种布局，如图14C所示。增强现实系统可以允许操作者在建议的布局之间切换并且可以允许操作者进一步定制建议的布局。例如，在图14C中示出多个图片框1403a...1403f，其中操作者已经选择了图片框架1403c以将图片框架1403c重新定位到墙壁的另一个区域。例如，操作者可以将他或她的手移动到左边，或者应用另一个适当的手势来将图片框1403c移动到左边。在另一个实施例中，增强现实设备50的操作者可以使用他或她的手来抓取和拖动增强特征206(诸如图像)，以扩大或缩小间距。在另外的实施例中，操作者可以通过点击屏幕并拖动增强特征206来调整间距来使用智能电话、平板电脑或其他设备。无论如何，可以保持增强特征206的水平对齐和方形取向。
图14D示出了由操作者使用图14C所示的手势定制的建议布置的虚拟化。此外，通过扫描图片框1403的前方获得的图片框1403的图像可以在增强现实会话中示出为增强特征206。在一些实施例中，图片框1403利用预定义的透明度设置来虚拟化。在另外的实施例中，虚拟化可允许操作者定制墙壁的颜色以及图片框1403的各种组件的颜色，诸如无光泽、衬边、圆角或框颜色。在一些示例中，可以生成示出操作者正在看到什么的图像，诸如修改为进一步包括增强特征206的环境的图像。因此，图像可以由操作者与其他个人共享，而不管他们是否访问该增强现实系统。例如，操作者可以与他或她的配偶、朋友或其他个人以电子方式分享该布置。
在确定图片框1403的布置之后，增强现实系统可以根据操作者选择的布置来识别并呈现给操作者要执行的任务233以悬挂每个图片框1403。关于这个示例项目，任务233可以包括将线1409安装在图片框1403中、调整图片框1403上的线1409(例如，松开或收紧线1409)、将或其他悬挂附件附接到图片框1403或墙壁、在墙壁上安装一个或多个干墙锚、钉子、螺钉或其他物品，或者执行类似的任务233，如可以理解的。可以理解的是，增强现实设备50可以便利购买附件或其他必要的材料。
在进一步的实施例中，增强现实系统可以提供关于多个图像、图片、作品或镜子的最美观的配置的建议。为此，增强现实系统可以从互联网访问布置，以基于其他个人或风格专家如何显示类似的风格框、作品或镜子来提供建议。操作者可以选择许多不同的布置和配置中的一种，或选择每个框、作品、图片或图像，并将其虚拟放置在墙壁上以查看它在环境中的表现。而且，在将真实件悬挂在墙壁上之前，操作者可以将代表图片框1403的外部维度的轮廓放置在墙壁上作为增强特征206。在一些实施例中，增强现实系统可自动对每个图像或图片框1403进行水平对齐、居中和间隔，使得最终布置在美学上令人愉悦。一旦操作者指定了期望的位置或布置，则可以在图片框架1403或墙壁上示出用于钉子、螺钉、线、支架或其他物品的适当的位置，作为增强特征206。在图片框1403被附接到墙壁上时，增强现实系统可以示出水平线或网格作为环境的增强特征206以确保适当的间距和对齐。
在一些实施例中，增强现实系统可以识别房间或环境的颜色和其他特性，以对框、无光泽、圆角、衬边、作品或其他物品进行推荐，并且便于购买相应的真实和实际产品。在另外的实施例中，操作者可以设置位置和物品以供所有人查看，或者单个用户可以使用相同的目标并且显示与他们自己的个人偏好匹配的照片、图像、视频或作品。
在图14E中示出部分完成的项目，其中几乎所有的图片框架1403a...1403e已被悬挂在墙壁上，并且现在仅示出单个增强特征206用于放置最终图片框架1403f。为了说明的目的，图14E-14G示出提供给操作者的悬挂图片框1403(诸如该布置中的最终图片框1403f)的任务233的示例。例如，在图14F中，增强特征206a可以包括边界，所述边界根据操作者选择的布置来示出将被悬挂在墙壁的特定部分上的图片框架1403f的维度。另一增强特征206b可以包括放置在墙壁的相应部分中的圆形或其他标识符，使得图片框1403f将被水平对齐、居中并且根据该布置适当地间距开。可以理解的是，当被教导时，可以使用对线1409的测量或者钩或支架的位置来确定位置。另外，增强特征206b可以包括用于由操作者执行的当前任务233的指令，诸如将最终图片框1406f的悬挂钉子放置在增强特征206b的区域中。
一旦将钉子或其他附件放置在墙壁上，随后的任务233可以包括将图片框架1403f放置在墙壁上并且将图片框架1403f与增强特征206a对齐并且验证图片框架1403f是否是水平对齐的、居中的，并且根据该布置适当地间距开，如图14G所示。如果任务233已经被正确执行，则图14G中的增强特征206可以包括向操作者通知对齐是正确的，并且向操作者提供指示实际布置对应于初始布置的程度的度量。如果操作者对该度量不满意，则可向操作者呈现额外的任务233以执行对该布置的补救并改进度量直到满意为止。
虽然图14A-14G所示的示例涉及悬挂图片框架1403，但应当理解，增强现实系统可以协助执行类似的任务，诸如居中和应用墙纸、墙贴纸、镜子、海报、搁架或为了功能或美学目的可能需要在墙壁上精确放置的其他物品。
关于包括在图片框1403或环境的另一区域中的作品的内容，作品的主题或内容可能不是家庭、办公室或公共区域中每个人的品味。为此，在一些实施例中，增强现实会话可以通过用对操作者更有吸引力的事物来扩大该区域来替换图片框1403(或环境的其他区域)中所示的图像或作品。例如，增强现实系统可以识别包括作品的框架1403的区域，并且可以覆盖增强现实环境中的增强特征206以替换作品，如图15A和15B所示。
例如，真实的实际作品可以包括雕像、雕塑或自然摄影，如图15A所示。然而，在图15B中，增强特征206可以用于用抽象作品来替换图片框1403的内容。在一些实施例中，替换图片框1403(或其他区域)的内容的增强特征206可以从个人拍摄的图像(例如他或她的智能手机、增强现实设备或其他设备上的相机)中选择、从互联网下载、或从基于云端的照片服务下载。
另外，每个操作者可以选择将在目标区域或其他区域中看到的不同图片、图像或作品，使得当操作者返回到该区域时，图像被自动替换为增强特征206。另外，作品可能会根据操作者的需要选择和替换。例如，操作者可以选择房间或其他环境中的区域来随机选择作为增强特征206的作品出现。可以基于操作者的兴趣或者基于特定艺术家、流派等来选择作品。在一些实施例中，可以增强显示的图像、图片或作品以用视频或动画替换或增强内容。另外，当用户靠近或正在观看作品或增强特征206时，可以通过增强现实设备50的扬声器或附近的网络使能设备来播放音频。例如，音乐可以从艺术家的时代演奏，或其他音乐可以由操作者或者增强特征206的管理员选择，以帮助他们欣赏艺术。博物馆管理者可以开始谈论描述作品、艺术家，或者提供关于该艺术家的地域或时代的其他教育信息。
接下来参照图16，在另一个实施例中，如可以理解的那样，间距和居中可以在景观投影中以及需要居中和间距任务的类似项目中实现。例如，操作者可以根据理想的景观美化布置或准则，利用增强现实设备50来种植花卉、灌木、树木或其他植物、铺设地板或可视化完成的景观项目。增强现实设备50可以增强环境以包括相对于指定区域、房屋或其他固定装置的完全成长的植物、树木、灌木、花卉、石头、草地或其他景观特征的增强特征206a...206h，以帮助确定景观特征的正确取向、布置和间距。另外，增强现实设备50可以测量每个增强特征206相对于周围空间或区域居中的空间量。增强现实设备50可以示出植物、树木、灌木、花卉、石头或其他景观特征将在其位置中看起来像什么，以及在其各种尺寸的生长期间提供植物尺寸的一个或多个视图。为此，存储在存储器中的物品目录142可以包括各种景观特征(诸如植物、树木、灌木、花卉、石头、草、草坪装饰物等)的图像或三维呈现，其中增强现实设备50可以将图像或三维效果图施加到环境中。
增强现实设备50可以使用相机来识别对象(例如，房屋、提供树荫的现有的树或其他物品)以及GPS模块以确定区域和取向以制作植物、树木、灌木、或针对该特定位置的其他景观推荐(例如，完全太阳，部分太阳或阴影)。另外，增强现实设备50可以促进修剪植物或其他景观特征。
可以理解的是，存储在存储器1006/1106中的其他应用程序可以由处理器1003/1103执行。在本文讨论的任何组件以软件的形式实现的情况下，可以采用多种编程语言中的任何一种，诸如例如C、C++、C#、Objective C、 Perl、PHP、VisualRuby、或其他编程语言。
多个软件组件被存储在存储器1006/1106中并且可由处理器1003/1103执行。在这方面，术语“可执行”是指处于最终可由处理器1003/1103运行的形式的程序文件。可执行程序的示例可以是，例如，可以以可以加载到存储器1006/1106的随机存取部分中并且由处理器1003/1103运行的格式转换成机器代码的编译程序，源代码可以以适当的格式来表达，诸如能够被加载到存储器1006/1106的随机存取部分中并且由处理器1003/1103执行的目标代码，或者可以由另一个可执行程序解释以在存储器1006/1106的待由处理器1003/1103执行的随机存取部分等中生成指令的源代码。可执行程序可存储在存储器1006/1106的任何部分或组件中，包括例如随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器、固态驱动器、USB闪存驱动器、存储卡、诸如压缩盘(CD)或数字多功能盘(DVD)的光盘、软盘、磁带或其他存储器组件。
存储器1006在本文中被定义为包括易失性和非易失性存储器以及数据存储组件。易失性组件是在断电时不保留数据值的组件。非易失性组件是那些在断电时保留数据的组件。因此，存储器1006可以包括例如随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器、固态驱动器、USB闪存驱动器、经由存储卡读取器访问的存储卡、经由相关联的软盘驱动器访问的软盘、经由光盘驱动器访问的光盘、经由适当的磁带驱动器访问的磁带和/或其他存储器组件、或者这些存储器组件中的任何两个或更多个的组合。另外，RAM可以包括例如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)或磁随机存取存储器(MRAM)以及其他这样的设备。ROM可以包括例如可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或其他类似的存储器设备。
而且，处理器1003/1103可以表示多个处理器1003/1103和/或多个处理器内核，并且存储器1006/1106可以表示分别在并行处理电路中操作的多个存储器1006/1106。在这种情况下，本地接口1009/1109可以是便于在多个处理器1003/1103中的任意两个处理器之间，任何处理器1003/1103与任何存储器1006/1106之间，或者任何两个存储器1006/1106之间等的通信的适当网络。本地接口1009/1109可以包括被设计为协调该通信的附加系统，包括例如执行负载平衡。处理器1003/1103可以是电的或一些其他可用的构造。
虽然本文所描述的任务识别引擎115、物品识别引擎118、测量引擎121、增强引擎124以及其他各种系统可以以如上所述由通用硬件执行的软件或代码来实现，替代方案也可以实现在专用硬件或软件/通用硬件和专用硬件的组合中。如果实现在专用硬件中，则每个可以被实现为采用多种技术中的任何一种或组合的电路或状态机。这些技术可以包括但不限于具有用于在应用一个或多个数据信号时实现各种逻辑功能的逻辑门的分立逻辑电路、具有适当逻辑门的专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他组件等。这些技术通常为本领域技术人员所熟知，因此在此不再详细描述。
图9的流程图示出了任务识别引擎115、物品识别引擎118、测量引擎121和增强引擎124的部分的实现的功能和操作。如果以软件实现，则每个框可以表示模块、包含用于实现指定的逻辑功能的程序指令的代码段或代码部分。程序指令可以以源代码的形式实现，所述源代码包括用编程语言编写的人类可读语句或包括由合适的执行系统(诸如计算机系统或其他系统中的处理器1003/1103)可识别的数字指令的机器代码。机器代码可以从源代码等转换而来。如果以硬件实现，则每个框可以表示用于实现指定的逻辑功能的电路或多个互连电路。
虽然图9的流程图示出了具体的执行顺序，但可以理解的是，执行顺序可以不同于所描述的顺序。例如，两个或更多个框的执行顺序可以相对于所示的顺序被加扰。而且，图9中依次示出的两个或更多个框可以同时执行或部分同时执行。此外，在一些实施例中，可以跳过或省略图9中所示的一个或多个框。另外，出于提高的效用、计费、性能测量或提供故障排除协助等的目的，可以将任何数量的计数器、状态变量、警告信号或消息添加到本文所述的逻辑流程中。应该理解，所有这些变化在本公开的范围内。
此外，本文所描述的包括任务识别引擎115、物品识别引擎118、测量引擎121和增强引擎124的包括软件或代码的任何逻辑或应用程序可以实现在任何非暂时性计算机可读介质中供指令执行系统(例如计算机系统或其他系统中的处理器1003)使用或与其结合使用。在这个意义上，逻辑可以包括例如包括可以从计算机可读介质中取出并由指令执行系统执行的指令和声明的语句。在本公开的上下文中，“计算机可读介质”可以是能够包含、存储或维护本文描述的供指令执行系统使用或与其结合使用的逻辑或应用程序的任何介质。
计算机可读介质可以包括多种物理介质中的任何一种，例如磁性、光学或半导体介质。合适的计算机可读介质的更具体的示例将包括但不限于磁带、磁性软盘、磁性硬盘驱动器、存储卡、固态驱动器、USB闪存驱动器或光盘。此外，计算机可读介质可以是包括例如静态随机存取存储器(SRAM)和动态随机存取存储器(DRAM)或磁性随机存取存储器(MRAM)的随机存取存储器(RAM)。另外，计算机可读介质可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或其他类型的存储设备。
此外，本文描述的任何逻辑或应用程序(包括任务识别引擎115、物品识别引擎118、测量引擎121和增强引擎124)可以以各种方式来实现和构造。例如，所描述的一个或多个应用程序可以被实现为单个应用程序的模块或组件。此外，本文描述的一个或多个应用程序可以在共享或分离的计算设备或其组合中执行。例如，本文描述的多个应用程序可以在相同的计算设备1000中执行，或者在相同的计算环境103中的多个计算设备中执行。另外，应当理解，诸如“应用”、“服务”、“系统”、“引擎”、“模块”等可以是可互换的，而不是限制性的。
除非特别指出，诸如短语“X、Y或Z中的至少一个”之类的析取语言应理解为上下文通常用于表示物品、术语等可以是X、Y或Z，或其任何组合(例如，X、Y和/或Z)。因此，这样的析取语言通常并不意味着并且不应该暗示某些实施例要求X中的至少一个、Y中的至少一个或者Z中的至少一个各自存在。
应该强调的是，本公开的上述实施例仅仅是为了清楚理解本公开的原理而提出的实现的可能示例。在不实质偏离本公开的精神和原理的情况下，可以对上述实施例做出许多变化和修改。所有这些修改和变化旨在被包括在本公开的范围内。
条款1.一种系统，包括：包括相机、显示器、网络接口和至少一个硬件处理器的增强现实设备；由所述至少一个硬件处理器可执行的程序指令，所述程序指令在被执行时使得所述至少一个硬件处理器：为使用所述相机拍摄视频数据并且提供给计算环境进行分析所在的环境生成增强现实会话；在所述增强现实会话期间通过手势或语音识别接收要在所述环境中执行的项目的指定(specification)以及所述项目的至少一个参数；使用在所述增强现实会话中识别的至少一个参考对象在所述环境中执行至少一个测量；通过施加所述项目的完成形式的可视化来对所述增强现实会话中的环境进行增强，所述可视化是使用所述至少一个参数和所述至少一个测量来生成的；使用所述网络接口查询数据存储以识别在完成所述项目中要执行的多个任务；并且在所述增强现实设备的所述显示器中顺序地显示用于所述多个任务中的每个任务的数据，其中所述多个任务中的一个任务的完成提示转换到所述多个任务中的后续一个任务。
条款2.如条款1所述的系统，还包括程序指令，所述程序指令在被执行时使得至少一个计算设备确定所指定的项目是具有存储在所述数据存储中的数据的多个可用项目中的一个。
条款3.如条款1或2所述的系统，还包括程序指令，所述程序指令在被执行时使得所述至少一个计算设备通过以下操作来对所述增强现实会话中的环境进行增强：叠加所述项目的已完成任务的可视化；在环境中叠加方形或标尺的全息图；或者叠加指示对象在所述环境中是水平对齐的或方形(square)的图形或文本。
条款4.如条款1、2或3所述的系统，还包括程序指令，所述程序指令在被执行时使得所述至少一个计算设备：以编程方式(programmatically)识别要在环境中切割的至少一个物品；以及在所述至少一个物品上叠加虚拟切割线。
条款5.如条款1、2、3或4所述的系统，其中通过施加所述项目的完成形式的可视化来对增强现实会话中的环境进行增强还包括：使用所述项目的至少一个代表性图像来生成所述可视化；修改所述至少一个代表性图像，使得所述项目的所述可视化符合所述环境；以及生成在所述增强现实会话期间虚拟地将所述至少一个代表性图像施加在所述环境中的增强现实数据。
条款6.如条款1、2、3、4或5所述的系统，还包括程序指令，所述程序指令在被执行时使得所述至少一个计算设备以编程方式检查修改后的物品以确定所述多个任务中的一个任务已经令人满意地执行。
条款7.如条款1、2、3、4、5或6所述的系统，其中，响应于所述多个任务中的所述一个任务未被满意地执行，确定用于所述增强现实设备的操作者执行以完成所述多个任务中的所述一个任务的补救动作。
条款8.如条款1、2、3、4、5、6或7所述的系统，还包括程序指令，所述程序指令在被执行时使得所述至少一个计算设备执行以下操作：在所述环境的区域中施加物品的可视化；识别正在执行的语音命令或手势；以及响应于所识别的语音命令或手势，使得所述物品转换到所述环境的区域中的另一物品。
条款9.如条款1、2、3、4、5、6、7或8所述的系统，还包括程序指令，所述程序指令在被执行时使得所述至少一个计算设备执行以下操作：使用所述至少一个参数和所述至少一个测量生成所述项目的材料清单；在所述显示器上显示所述项目的所述材料清单；以及验证已为所述项目收集了所述材料清单。
条款10.如条款1、2、3、4、5、6、7、8或9所述的系统，其中验证已为所述项目收集了所述材料清单还包括：在所述增强现实会话期间检测所述材料清单中多个物品中的每个物品。
条款11.一种计算机实现方法，包括：由包括至少一个硬件处理器的增强现实设备生成增强现实会话，所述增强现实会话用于使用相机拍摄视频数据并且提供给计算环境进行分析的环境；在增强现实会话期间通过手势或语音识别接收要在所述环境中执行的项目的指定以及所述项目的至少一个参数；由所述增强现实设备使用在所述增强现实会话中识别的至少一个参考对象在所述环境中执行至少一个测量；由所述增强现实设备通过施加所述项目的完成形式的可视化来对所述增强现实会话中的环境进行增强，所述可视化是使用所述至少一个参数和所述至少一个测量来生成的；由所述增强现实设备使用网络接口查询数据存储以识别在完成所述项目中要执行的多个任务；以及由所述增强现实设备在所述增强现实设备的显示器中顺序地显示用于所述多个任务中的每个任务的数据，其中所述多个任务中的一个任务的完成提示转换到所述多个任务中的后续一个任务。
条款12.如条款11所述的计算机实现方法，还包括由所述增强现实设备确定所指定的项目是具有存储在所述数据存储中的数据的多个可用项目中的一个。
条款13.如条款11或12所述的计算机实现方法，还包括：由所述增强现实设备通过施加所述项目的已完成任务的可视化来对所述增强现实会话中的环境进行增强；由所述增强现实设备在所述环境中叠加方形或标尺的全息图；或者由所述增强现实设备叠加指示对象在所述环境中是水平对齐的或方形的图形或文本。
条款14.如条款11、12或13所述的计算机实现方法，还包括：由所述增强现实设备以编程方式识别要在环境中切割的至少一个物品；以及由所述增强现实设备在所述至少一个物品上叠加虚拟切割线。
条款15.如条款11、12、13或14所述的计算机实现方法，其中通过施加所述项目的完成形式的可视化来对增强现实会话中的环境进行增强还包括：由所述增强现实设备使用所述项目的至少一个代表性图像来生成所述可视化；由所述增强现实设备修改所述至少一个代表性图像，使得所述项目的所述可视化符合所述环境；以及由所述增强现实设备生成在所述增强现实会话期间虚拟地将所述至少一个代表性图像施加在所述环境中的增强现实数据。
条款16.如条款11、12、13、14或15所述的计算机实现方法，还包括由所述增强现实设备以编程方式检查修改后的物品以确定所述多个任务中的一个任务已经令人满意地执行。
条款17.如条款11、12、13、14、15或16所述的计算机实现方法，还包括：响应于所述多个任务中的一个任务未被满意地执行，由所述增强现实设备确定用于所述增强现实设备的操作者执行以完成所述多个任务中的所述一个任务的补救动作。
条款18.如条款11、12、13、14、15、16或17所述的计算机实现方法，还包括：由所述增强现实设备在所述环境的区域中施加物品的可视化；由所述增强现实设备识别正在执行的语音命令或手势；以及响应于所识别的语音命令或手势，由所述增强现实设备使得所述物品转换到所述环境的区域中的另一物品。
条款19.如条款11、12、13、14、15、16、17或18所述的计算机实现方法，还包括：由所述增强现实设备使用所述至少一个参数和所述至少一个测量来生成所述项目的材料清单；由所述增强现实设备在所述显示器上显示所述项目的所述材料清单；以及由所述增强现实设备验证已为所述项目收集了所述材料清单。
条款20.如条款11、12、13、14、15、16、17、18或19所述的计算机实现方法，其中验证已为所述项目收集了所述材料清单还包括：由所述增强现实设备在所述增强现实会话期间检测所述材料清单中多个物品中的每个物品。
条款21.一种系统，包括：包括相机、显示器、网络接口和至少一个硬件处理器的增强现实设备；由所述至少一个硬件处理器可执行的程序指令，所述程序指令在被执行时使得所述至少一个硬件处理器：为使用所述相机拍摄视频数据并且提供给计算环境进行分析所在的环境生成增强现实会话；在所述增强现实会话期间通过手势或语音识别接收要在所述环境中执行的项目的指定以及所述项目的至少一个参数，其中所述项目包括将物品悬挂在房间的墙壁上；使用在所述增强现实会话中识别的至少一个参考对象在所述环境中执行至少一个测量；通过施加所述项目的完成形式的可视化来对所述增强现实会话中的环境进行增强，所述可视化是使用所述至少一个参数和所述至少一个测量来生成的；使用所述网络接口查询数据存储以识别在完成所述项目中要执行的多个任务；并且在所述增强现实设备的所述显示器中顺序地显示用于所述多个任务中的每个任务的数据，其中所述多个任务中的一个任务的完成提示转换到所述多个任务中的后续一个任务。
条款22.如条款21所述的系统，还包括程序指令，所述程序指令在被执行时使得至少一个计算设备确定挂在房间中的所述墙壁上的物品相对于悬挂在墙壁上的另一个物品是水平对齐的、居中的或有适当间距的。
条款23.如条款21所述的系统，还包括程序指令，所述程序指令在被执行时使得所述至少一个计算设备通过增强环境以包括相对于房屋或其他固定装置的景观特征来有助于景观项目。
条款24.如条款21所述的系统，还包括程序指令，所述程序指令在被执行时使得所述至少一个计算设备在房间的区域中施加虚拟艺术作品并且播放与所述虚拟艺术作品相关联的音频。
条款25.一种系统，包括：包括相机、显示器、网络接口和至少一个硬件处理器的增强现实设备；能够由所述至少一个硬件处理器执行的程序指令，所述程序指令在被执行时使得所述至少一个硬件处理器：在增强现实会话期间识别图片框；识别包括作品的所述图片框的区域；生成增强特征以叠加在包括所述作品的所述图片框的区域上，使得所述增强现实设备的操作者在视觉上感知所述增强特征而不是所述作品。

Claims (20)

1.一种系统，包括：
包括相机、显示器、网络接口和至少一个硬件处理器的增强现实设备；
由所述至少一个硬件处理器可执行的程序指令，所述程序指令在被执行时使得所述至少一个硬件处理器：
为使用所述相机拍摄视频数据并且提供给计算环境进行分析所在的环境生成增强现实会话；
在所述增强现实会话期间通过手势或语音识别接收要在所述环境中执行的项目的指定以及所述项目的至少一个参数；
使用在所述增强现实会话中识别的至少一个参考对象在所述环境中执行至少一个测量；
通过施加所述项目的完成形式的可视化来对所述增强现实会话中的环境进行增强，所述可视化是使用所述至少一个参数和所述至少一个测量来生成的；
使用所述网络接口查询数据存储以识别在完成所述项目中要执行的多个任务；并且在所述增强现实设备的所述显示器中顺序地显示用于所述多个任务中的每个任务的数据，其中所述多个任务中的一个任务的完成提示转换到所述多个任务中的后续一个任务。
2.根据权利要求1所述的系统，还包括程序指令，所述程序指令在被执行时使得至少一个计算设备确定所指定的项目是具有存储在所述数据存储中的数据的多个可用项目中的一个。
3.根据权利要求1或2所述的系统，还包括程序指令，所述程序指令在被执行时使得至少一个计算设备通过以下操作来对所述增强现实会话中的环境进行增强：
叠加所述项目的已完成任务的可视化；
在环境中叠加方形或标尺的全息图；或者
叠加指示对象在所述环境中是水平对齐的或方形的图形或文本。
4.根据权利要求1、2或3所述的系统，还包括程序指令，所述程序指令在被执行时使得至少一个计算设备：
以编程方式识别要在环境中切割的至少一个物品；以及
在所述至少一个物品上叠加虚拟切割线。
5.根据权利要求1、2、3或4所述的系统，其中通过施加所述项目的完成形式的可视化来对所述增强现实会话中的环境进行增强还包括：
使用所述项目的至少一个代表性图像来生成所述可视化；
修改所述至少一个代表性图像，使得所述项目的可视化符合所述环境；以及
生成在所述增强现实会话期间虚拟地将所述至少一个代表性图像施加在所述环境中的增强现实数据。
6.根据权利要求1、2、3、4或5所述的系统，还包括程序指令，所述程序指令在被执行时使得至少一个计算设备以编程方式检查修改后的物品以确定所述多个任务中的一个任务已经令人满意地执行。
7.根据权利要求1、2、3、4、5或6所述的系统，其中，响应于所述多个任务中的一个任务未被满意地执行，确定用于所述增强现实设备的操作者执行以完成所述多个任务中的所述一个任务的补救动作。
8.根据权利要求1、2、3、4、5、6或7所述的系统，还包括程序指令，所述程序指令在被执行时使得至少一个计算设备执行以下操作：
在所述环境的区域中施加物品的可视化；
识别正在执行的语音命令或手势；以及
响应于所识别的语音命令或手势，使得所述物品转换到所述环境的区域中的另一物品。
9.根据权利要求1、2、3、4、5、6、7或8所述的系统，还包括程序指令，所述程序指令在被执行时使得至少一个计算设备执行以下操作：
使用所述至少一个参数和所述至少一个测量生成所述项目的材料清单；
在所述显示器上显示所述项目的所述材料清单；以及
验证已为所述项目收集了所述材料清单。
10.根据权利要求1、2、3、4、5、6、7、8或9所述的系统，其中验证已为所述项目收集了所述材料清单还包括：在所述增强现实会话期间检测所述材料清单中多个物品中的每个物品。
11.一种计算机实现方法，包括：
由包括至少一个硬件处理器的增强现实设备生成增强现实会话，所述增强现实会话用于使用相机拍摄视频数据并且提供给计算环境进行分析的环境；
在所述增强现实会话期间通过手势或语音识别接收要在所述环境中执行的项目的指定以及所述项目的至少一个参数；
由所述增强现实设备使用在所述增强现实会话中识别的至少一个参考对象在所述环境中执行至少一个测量；
由所述增强现实设备通过施加所述项目的完成形式的可视化来对所述增强现实会话中的环境进行增强，所述可视化是使用所述至少一个参数和所述至少一个测量来生成的；
由所述增强现实设备使用网络接口查询数据存储，以识别在完成所述项目中要执行的多个任务；以及
由所述增强现实设备在所述增强现实设备的显示器中顺序地显示用于所述多个任务中的每个任务的数据，其中所述多个任务中的一个任务的完成提示转换到所述多个任务中的后续一个任务。
12.根据权利要求11所述的计算机实现方法，还包括由所述增强现实设备确定所指定的项目是具有存储在所述数据存储中的数据的多个可用项目中的一个。
13.根据权利要求11或12所述的计算机实现方法，还包括：
由所述增强现实设备通过施加所述项目的已完成任务的可视化来对所述增强现实会话中的环境进行增强；
由所述增强现实设备在所述环境中叠加方形或标尺的全息图；或者
由所述增强现实设备叠加指示对象在所述环境中是水平对齐的或方形的图形或文本。
14.根据权利要求11、12或13所述的计算机实现方法，还包括：
由所述增强现实设备以编程方式识别要在环境中切割的至少一个物品；以及
由所述增强现实设备在所述至少一个物品上叠加虚拟切割线。
15.根据权利要求11、12、13或14所述的计算机实现方法，其中通过施加所述项目的完成形式的可视化来对所述增强现实会话中的环境进行增强还包括：
由所述增强现实设备使用所述项目的至少一个代表性图像来生成所述可视化；
由所述增强现实设备修改所述至少一个代表性图像，使得所述项目的可视化符合所述环境；以及
由所述增强现实设备生成在所述增强现实会话期间虚拟地将所述至少一个代表性图像施加在所述环境中的增强现实数据。
16.根据权利要求11、12、13、14或15所述的计算机实现方法，还包括：由所述增强现实设备以编程方式检查修改后的物品以确定所述多个任务中的一个任务已经令人满意地执行。
17.根据权利要求11、12、13、14、15或16所述的计算机实现方法，还包括：响应于所述多个任务中的一个任务未被满意地执行，由所述增强现实设备确定用于所述增强现实设备的操作者执行以完成所述多个任务中的所述一个任务的补救动作。
18.根据权利要求11、12、13、14、15、16或17所述的计算机实现方法，还包括：
由所述增强现实设备在所述环境的区域中施加物品的可视化；
由所述增强现实设备识别正在执行的语音命令或手势；以及
响应于所识别的语音命令或手势，由所述增强现实设备使得所述物品转换到所述环境的区域中的另一物品。
19.根据权利要求11、12、13、14、15、16、17或18所述的计算机实现方法，还包括：
由所述增强现实设备使用所述至少一个参数和所述至少一个测量来生成所述项目的材料清单；
由所述增强现实设备在所述显示器上显示所述项目的所述材料清单；及
由所述增强现实设备验证已为所述项目收集了所述材料清单。
20.根据权利要求11、12、13、14、15、16、17、18或19所述的计算机实现方法，其中验证已为所述项目收集了所述材料清单还包括：由所述增强现实设备在所述增强现实会话期间检测所述材料清单中多个物品中的每个物品。
CN201810470270.7A 2017-05-16 2018-05-16 在构建、改造和制造中的增强现实任务识别和协助 Pending CN108876928A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762506809P 2017-05-16 2017-05-16
US62/506,809 2017-05-16
US201762556611P 2017-09-11 2017-09-11
US62/556,611 2017-09-11

Publications (1)

Publication Number Publication Date
CN108876928A true CN108876928A (zh) 2018-11-23

Family

ID=64268658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810470270.7A Pending CN108876928A (zh) 2017-05-16 2018-05-16 在构建、改造和制造中的增强现实任务识别和协助

Country Status (5)

Country Link
US (2) US20180336732A1 (zh)
CN (1) CN108876928A (zh)
CA (1) CA3005051A1 (zh)
GB (1) GB2564239B (zh)
TW (2) TW202303353A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782815A (zh) * 2019-11-13 2020-02-11 吉林大学 一种全息立体探测系统及其方法
CN111147750A (zh) * 2019-12-31 2020-05-12 维沃移动通信有限公司 对象显示方法、电子设备及介质
CN111246264A (zh) * 2018-11-28 2020-06-05 三星电子株式会社 显示设备及其控制方法

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10699165B2 (en) 2017-10-30 2020-06-30 Palo Alto Research Center Incorporated System and method using augmented reality for efficient collection of training data for machine learning
US10891685B2 (en) 2017-11-17 2021-01-12 Ebay Inc. Efficient rendering of 3D models using model placement metadata
US11232502B2 (en) * 2017-12-20 2022-01-25 Signify Holding B.V. Lighting and internet of things design using augmented reality
TWI659279B (zh) * 2018-02-02 2019-05-11 國立清華大學 基於擴充實境的加工規劃設備
DK201870351A1 (en) 2018-05-07 2020-01-13 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
US11257297B1 (en) * 2018-06-15 2022-02-22 Baru Inc. System, method, and computer program product for manufacturing a customized product
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
EP3640767A1 (de) * 2018-10-17 2020-04-22 Siemens Schweiz AG Verfahren zum bestimmen mindestens eines bereichs in mindestens einem eingabemodell für mindestens ein zu platzierendes element
CN112912937A (zh) 2018-10-31 2021-06-04 米沃奇电动工具公司 空间感知工具系统
US11170538B2 (en) 2018-10-31 2021-11-09 Milwaukee Electric Tool Corporation Spatially-aware tool system
US10504264B1 (en) * 2018-11-06 2019-12-10 Eric Koenig Method and system for combining images
US10963952B2 (en) * 2018-12-03 2021-03-30 Sap Se Augmented reality-based real estate property analysis
US11443495B2 (en) * 2018-12-31 2022-09-13 Palo Alto Research Center Incorporated Alignment- and orientation-based task assistance in an AR environment
US11137874B2 (en) * 2019-02-22 2021-10-05 Microsoft Technology Licensing, Llc Ergonomic mixed reality information delivery system for dynamic workflows
CN113632454A (zh) * 2019-03-29 2021-11-09 松下知识产权经营株式会社 投影系统、投影装置以及投影方法
US11610247B2 (en) * 2019-04-05 2023-03-21 Shopify Inc. Method and system for recommending items for a surface
US11112609B1 (en) 2019-05-07 2021-09-07 Snap Inc. Digital glasses having display vision enhancement
US20200409452A1 (en) * 2019-06-28 2020-12-31 Bp Corporation North America Inc. Systems and methods for performing inspections with a head-worn display device
US20210082151A1 (en) * 2019-09-14 2021-03-18 Ron Zass Determining image capturing parameters in construction sites from previously captured images
US20210089935A1 (en) * 2019-09-23 2021-03-25 International Business Machines Corporation System and method for predicting environmental resource consumption using internet-of-things and augmented reality
JP2021072001A (ja) * 2019-10-31 2021-05-06 キヤノン株式会社 プログラム、情報処理装置、情報処理方法、及び情報処理システム
US11030819B1 (en) 2019-12-02 2021-06-08 International Business Machines Corporation Product build assistance and verification
US11551344B2 (en) * 2019-12-09 2023-01-10 University Of Central Florida Research Foundation, Inc. Methods of artificial intelligence-assisted infrastructure assessment using mixed reality systems
US11138771B2 (en) 2020-02-03 2021-10-05 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11100328B1 (en) * 2020-02-12 2021-08-24 Danco, Inc. System to determine piping configuration under sink
WO2021178815A1 (en) * 2020-03-06 2021-09-10 Oshkosh Corporation Systems and methods for augmented reality application
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11189106B2 (en) * 2020-04-27 2021-11-30 At&T Intellectual Property I, L.P. Systems and methods for spatial remodeling in extended reality
US11709916B1 (en) * 2020-06-10 2023-07-25 State Farm Mutual Automobile Insurance Company System and method for identifying cabinetry
US11475582B1 (en) 2020-06-18 2022-10-18 Apple Inc. Method and device for measuring physical objects
TWI771713B (zh) * 2020-07-16 2022-07-21 信義房屋股份有限公司 指定尺寸的一鍵改變室內裝修的呈現裝置
US11615595B2 (en) 2020-09-24 2023-03-28 Apple Inc. Systems, methods, and graphical user interfaces for sharing augmented reality environments
US11468638B2 (en) * 2020-12-22 2022-10-11 Kyndryl, Inc. Augmented reality object movement assistant
US20220221845A1 (en) * 2021-01-08 2022-07-14 B/E Aerospace, Inc. System and method for augmented reality (ar) assisted manufacture of composite structures and bonded assemblies
US11776420B2 (en) * 2021-02-12 2023-10-03 B/E Aerospace, Inc. Augmented reality in wire harness installation
US11475645B2 (en) * 2021-02-17 2022-10-18 Verizon Patent And Licensing Inc. Systems and methods for installing an item using augmented reality
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
IT202100019232A1 (it) * 2021-07-20 2023-01-20 Simone Castelli Un sistema audio/video per partecipare da remoto in tempo reale ad un evento fieristico
CN113672667A (zh) * 2021-08-26 2021-11-19 温州市鹿城区中津先进科技研究院 教育资源监测预警系统
US20230141588A1 (en) * 2021-11-11 2023-05-11 Caterpillar Paving Products Inc. System and method for configuring augmented reality on a worksite
US20230316221A1 (en) * 2022-04-04 2023-10-05 Melissa St. John System and method for space planning for workspace changes
US11917289B2 (en) 2022-06-14 2024-02-27 Xerox Corporation System and method for interactive feedback in data collection for machine learning in computer vision tasks using augmented reality
AU2023206163A1 (en) * 2022-07-27 2024-02-15 Techtronic Cordless Gp Augmented reality device to indicate a plan for tool usage
WO2024047676A1 (en) * 2022-09-03 2024-03-07 White Pebbles Construction Tech Private Limited System and method for design and procurement of materials for construction
US20240096031A1 (en) * 2022-09-19 2024-03-21 Snap Inc. Graphical assistance with tasks using an ar wearable device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078678A1 (en) * 2014-09-12 2016-03-17 Centre De Recherche Industrielle Du Quebec Augmented reality method and apparatus for assisting an operator to perform a task on a moving object
US20160224927A1 (en) * 2015-02-04 2016-08-04 Hexagon Technology Center Gmbh Work information modelling
CN106096857A (zh) * 2016-06-23 2016-11-09 中国人民解放军63908部队 增强现实版交互式电子技术手册、内容构建及辅助维修/辅助操作流程的构建
CN106340217A (zh) * 2016-10-31 2017-01-18 华中科技大学 基于增强现实技术的制造装备智能系统及其实现方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2895778C (en) * 2012-12-20 2021-10-19 Accenture Global Services Limited Context based augmented reality
US9351594B2 (en) * 2013-03-15 2016-05-31 Art.Com, Inc. Method and system for wiring a picture frame and generating templates to hang picture frames in various layouts
US9460314B2 (en) * 2013-12-01 2016-10-04 Apx Labs, Inc. Systems and methods for providing task-based instructions
US10049500B2 (en) * 2015-09-22 2018-08-14 3D Product Imaging Inc. Augmented reality e-commerce for home improvement

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078678A1 (en) * 2014-09-12 2016-03-17 Centre De Recherche Industrielle Du Quebec Augmented reality method and apparatus for assisting an operator to perform a task on a moving object
US20160224927A1 (en) * 2015-02-04 2016-08-04 Hexagon Technology Center Gmbh Work information modelling
CN106096857A (zh) * 2016-06-23 2016-11-09 中国人民解放军63908部队 增强现实版交互式电子技术手册、内容构建及辅助维修/辅助操作流程的构建
CN106340217A (zh) * 2016-10-31 2017-01-18 华中科技大学 基于增强现实技术的制造装备智能系统及其实现方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111246264A (zh) * 2018-11-28 2020-06-05 三星电子株式会社 显示设备及其控制方法
CN110782815A (zh) * 2019-11-13 2020-02-11 吉林大学 一种全息立体探测系统及其方法
CN110782815B (zh) * 2019-11-13 2021-04-13 吉林大学 一种全息立体探测系统及其方法
CN111147750A (zh) * 2019-12-31 2020-05-12 维沃移动通信有限公司 对象显示方法、电子设备及介质

Also Published As

Publication number Publication date
US20180336732A1 (en) 2018-11-22
US20220358734A1 (en) 2022-11-10
TW202303353A (zh) 2023-01-16
CA3005051A1 (en) 2018-11-16
GB201807933D0 (en) 2018-06-27
TW201901366A (zh) 2019-01-01
GB2564239B (en) 2021-06-16
GB2564239A (en) 2019-01-09

Similar Documents

Publication Publication Date Title
CN108876928A (zh) 在构建、改造和制造中的增强现实任务识别和协助
US11544418B2 (en) Method for replacing 3D objects in 2D environment
US20230186199A1 (en) Project management system with client interaction
CA3134424A1 (en) Virtual interaction with three-dimensional indoor room imagery
US20220164493A1 (en) Automated Tools For Generating Mapping Information For Buildings
CN104318042A (zh) 家居设计系统
CN106530404A (zh) 基于ar虚拟现实技术和云存储的待售房屋考察系统
US10643399B2 (en) Photorealistic scene generation system and method
US10712923B1 (en) System and method for designing interior space
US20230185978A1 (en) Interactive gui for presenting construction information at construction projects
WO2020238022A1 (zh) 三维空间视图显示方法、装置及存储介质
US20210117582A1 (en) Visualizing Building Interior Information In A User-Customized Manner
US20220383600A1 (en) Method for interactive catalog for 3d objects within the 2d environment
KR20140146685A (ko) 벽지 인테리어정보 서비스 시스템과 가상 벽지인테리어 제어방법
Racz et al. VR aided architecture and interior design
CN114730231A (zh) 用于虚拟试戴物品的技术
McMillan et al. Home decorating for dummies
CN108009333A (zh) 室内装修层级设置系统、方法、设备及计算机程序产品
JP4920265B2 (ja) 家具カタログ生成装置、生成方法
Semião et al. Virtual Art Gallery Tool.
KR20200123651A (ko) 가상현실 공간 디자인 방법
CN116401857A (zh) 一种教学空间建设可视化设计系统
IT201800005187A1 (it) Kit per lo studio dell’interazione dinamica ergonomica di un qualsiasi ambiente
JP2004220478A (ja) プレゼンテーションシステム
Rutledge et al. INS-R0022 November 30, 2000

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181123

WD01 Invention patent application deemed withdrawn after publication