CN104699887B - 3d cad模型的增强现实更新 - Google Patents

3d cad模型的增强现实更新 Download PDF

Info

Publication number
CN104699887B
CN104699887B CN201410748019.4A CN201410748019A CN104699887B CN 104699887 B CN104699887 B CN 104699887B CN 201410748019 A CN201410748019 A CN 201410748019A CN 104699887 B CN104699887 B CN 104699887B
Authority
CN
China
Prior art keywords
cad
augmented reality
facility
view
cad model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410748019.4A
Other languages
English (en)
Other versions
CN104699887A (zh
Inventor
N·G·马祖拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dassault Systemes SE
Original Assignee
Dassault Systemes SE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dassault Systemes SE filed Critical Dassault Systemes SE
Publication of CN104699887A publication Critical patent/CN104699887A/zh
Application granted granted Critical
Publication of CN104699887B publication Critical patent/CN104699887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2008—Assembling, disassembling

Abstract

一种系统和方法更新计算机辅助设计(CAD)模型。显示了对象资产的增强现实视图。与其进行的用户交互使得CAD模型更新器搜索CAD数据库，以获得目标资产的相对应的CAD模型。CAD模型更新器显示了叠加在增强现实视图上的所述对象资产的CAD模型视图。利用这两幅视图的融合显示，CAD模型更新器能够与其进行用户交互，以更新相对应的CAD模型。对CAD模型的更新针对所述模型的原始CAD建模应用的CAD文件做出。

Description

3D CAD模型的增强现实更新
背景技术
公知的计算机辅助技术包括计算机辅助设计或CAD，其涉及用于创作产品设计的软件解决方案。类似地，CAE是计算机辅助工程设计的缩写，例如，其涉及用于对未来产品的物理行为进行仿真的软件解决方案。CAM代表计算机辅助制造，并且通常包括用于定义制造过程和操作的软件解决方案。
在市场上提供了用于对对象(或部分)或对象的装配进行设计的很多系统和程序，形成了产品，例如，由Dassault Systèmes以CATIA为商标提供的。这些CAD系统允许用户构建和操控对象或对象的装配的复杂三维或3D模型。因而，CAD系统提供了使用边或线(在某些情况下使用面)的建模的对象的表示。线或边可以以各种方式(例如，非均匀有理B样条(NURBS))来表示。这些CAD系统将部分或者部分的装配作为建模的对象来管理，所述建模的对象主要是几何结构的规格说明。具体而言，CAD文件包含可以根据其来生成几何结构的规格说明，所述规格说明继而允许生成表示。可以将几何结构和表示存储在单个CAD文件或者多个CAD文件内。CAD系统包括用于将建模的对象呈现给设计者的图形工具；这些工具专用于复杂对象的显示；表示CAD系统中的对象的文件的一般大小处于每部分1兆字节的范围内，而装配可以包括数千个部分。CAD系统管理对象的模型，所述对象的模型存储在电子文件中。
当前的处理设施资产(即，工厂、生产设施、精炼厂等)是复杂的，并且由于工厂改造而不断变化。通常，由于工厂非常大，所以较小的修改在成本更低的2D CAD中完成，而所述成本更低的2D CAD与用于设计该工厂的3D CAD应用不兼容或者处于与原始3D CAD应用类型不同的3D CAD应用中。在对设施做过很多改变之后，将使得原始3D CAD模型变得过时。因此，对于较大的修改和扩张而言，公司将不得不对设施进行激光扫描以获得工厂的现状视图。但是，激光扫描不是CAD应用，并且需要附加的服务和成本才能将感兴趣的区域重新整合到CAD模型中。最后的结果是不具有设施的详尽的最新3D视图的工厂的各种文件和版本。
发明内容
现有的解决方案没有以成本高效并且有效率的方式将修改结合到设施的单个视图中，它们也没有向用户提供低成本并且时间高效的备选方案，用于将部件修改上传到持续利用的公共平台上。激光扫描可能花费公司数百万美元，而且不是设施的交互性视图。对于较小的工厂修改而言，激光扫描并不能提供对问题的实际解决方案。公司通常还是不得不将点云重新整合到CAD模型/3D视图中。即使是在重新整合了CAD模型的场景下，也不存在允许用户通过激光扫描来查看几幅基于CAD的或者交互式的CAD的3D图像，或者其它类似的视图，例如，智能方式的智能视频。
实施例提供了计算机辅助设计(CAD)建模方法。本发明的方法获得了设施的增强现实视图。所述设施具有显示在所述增强现实视图中的各种对象。响应于与显示在所述增强现实视图中的设施对象中的一个对象的用户交互，所述方法搜索CAD数据库，以得到所述一个对象的相对应的CAD模型。CAD数据库存储来自CAD建模系统的所述设施的CAD模型。对所述CAD数据库的搜索引起了获得所述设施的CAD模型，所述设施的CAD模型包含所述一个对象的相对应的CAD模型。
接下来，实施例显示叠加在一个设施对象的增强现实视图上的所述一个设施对象的数据库检索的CAD模型视图。所述叠加显示以融合并且对齐的方式，使得原始的并且从CAD数据库检索的CAD模型视图与增强现实视图同时并且连续地显示。因此，用户显示界面是图形数据的一个视图，在所述图形数据中，CAD对象在增强现实环境之上或者之内与增强现实视图中的所述对象相同的位置上或者看起来处于与其相同的位置上，使得增强现实看起来是该CAD对象的基底或背景，但是层或环境二者都是可进行用户交互的。实施例能够实现与所述叠加(在增强现实中)显示的CAD模型视图进行用户交互，以在CAD建模系统中更新所述设施的CAD模型。
在各实施例中，所述设施是工厂、制造厂、精炼厂、城市或者其它资产或实体。
在实施例中，所述增强现实视图是根据激光扫描、视频或者不同于原始3D CAD建模系统的其它成像机制生成的。在实施例中，增强现实视图的显示以及与其进行的用户交互通过增强现实应用来实现。在一些实施例中，CAD数据库可以在增强现实应用外部，而在其它实施例中，CAD数据库在目标应用的内部或者嵌入于目标应用内。
进一步的实施例使CAD建模系统与增强现实应用联合。
实施例能够通过CAD建模系统来实现与所显示的3D CAD模型视图的用户交互，所述CAD建模系统最初被用于生成所述设施的3D CAD模型，和/或用于在所述CAD数据库中存储所述3D CAD模型。
此外，在实施例中，响应于与所显示的CAD模型视图的用户交互，所述CAD建模系统更新所述CAD数据库内的对象的相对应的CAD模型和所述设施的CAD模型。
对叠加在增强现实视图上的一个设施对象的CAD模型视图的显示在大小、尺寸和方向上是对齐的。
用于更新本发明的计算机辅助设计模型的计算机系统采用或者实现了前述方法。在一个实施例中,处理器提供了设施的增强现实视图。所述增强现实视图显示了设施的对象，并且所述处理器提供了用于增强现实视图的用户接口。将CAD模型更新引擎可操作地耦合至处理器。CAD模型更新引擎响应于与增强现实视图的用户交互。响应于与所显示的设施对象中的一个的用户交互，CAD模型更新引擎搜索CAD数据库，以获得所述一个设施对象的相对应的CAD模型，其中，所述CAD数据库存储着来自CAD建模系统的所述设施的CAD模型。CAD模型更新引擎从所述对CAD数据库的搜索中获得包含所述一个设施对象的相对应的CAD模型的所述设施的CAD模型。
显示构件耦合至处理器和CAD模型更新引擎。显示构件以对齐的方式显示了叠加在所述一个设施对象的增强现实视图上的所述一个设施对象的CAD模型视图。通过这种方式，所述CAD模型视图与增强现实视图同时地并且继续地显示，同时与CAD模型视图进行的用户交互用于更新CAD建模系统中的所述设施的3D CAD模型。
在其它实施例中，计算机程序产品根据前述的方法和过程，更新了计算机辅助设计(CAD)模型。具体而言，非暂时性计算机可读介质体现了更新CAD数据库中的3D CAD模型的计算机程序代码。当由计算机执行所述计算机程序代码时，实现了本发明的上述任务、特征和设计。
附图说明
根据下文对本发明的示例实施例的更加具体的描述，上文将变得显而易见，正如在附图中示出的，其中，在不同的视图中类似的附图标记指代相同的部分。附图未必是按比例绘制的，其反而重点强调对本发明的实施例进行举例说明。
图1是本发明的实施例的示意图。
图2是实施例的流程图。
图3是体现了本发明的计算机系统的框图。
图4是使用图3的计算机系统的计算机网络的示意示出。
具体实施方式
下文是对本发明的示例实施例的描述。
本行业试图解决的问题是如何保持工程设计模型是最新的，从而改善设施工程决策支持。大部分更新是以模块化的方式在2D或3D图像解决方案上完成的，而没有更新原始的更大的设施视图或模型。设施的激光扫描(用于生成扫描图像)不提供用于解决这个问题的CAD模型解决方案，并且设施的激光扫描仍然需要对具体模块(对象、部分、部件、装配等)或感兴趣的区域进行重新整合。
图1-图4示出的是本发明的实施例100(CAD模型更新引擎和系统)。CAD 3D建模系统33能够使用户创建并且存储现实世界对象(例如，交通工具、机器、制造厂等)的3D模型。数据库39存储了所述3D模型和与其相关联的元数据。数据库39可以存储其它3D模块化视图和图像。在当前的示例中，数据库39存储了工厂设施的3D CAD模型，例如，具有一个或多个建筑结构的精炼厂，所述建筑结构具有各种组成部分、装配、子装配等，它们全都在CAD视图和图像进行了详细描绘。数据库39存储工厂CAD模型元数据，所述工厂CAD模型元数据包括所述组成部分、装配等的各种对象23'的元数据。与对象23'相关的元数据存储在数据库39中，并且可以包括对象名称、部分ID序号、位置、大小(尺寸)等。
增强现实系统37生成增强现实视图35，并且提供了支持与增强现实视图35进行用户交互的用户接口。当用户(使用37的增强现实用户接口)选择增强现实视图35中显示的对象23时，本发明的系统100向数据库39查询对象23。也就是说，系统100使用来自增强现实域35、37的对象23的元数据(例如，名称、ID、位置或者大小等)来进行元数据搜索，从而在数据库39中找到具有匹配的元数据(例如，存储元数据的数据库39中的对象名称、ID、位置或大小信息)的任何相对应的对象23'。根据搜索的结果，系统100从数据库39检索相对应的对象23'的CAD模型视图/图像。
在示出的示例中，本发明的系统/CAD模型更新引擎100使用位置、名称、ID、大小和/或形状元信息来将工程设计CAD模型/图像中的设备部件(包括修改)融合(索引、交叉引用或以其它方式相对应的)至激光扫描中的所述工厂/精炼厂/资产的详尽的视图或设施的增强现实视图35中。所述详尽的视图35可以是激光扫描，或者其也可以具有其它形式，例如，工厂的增强现实、智能视频或者甚至3D CAD图像/视图。将(从CAD数据库39检索出的)对象23'的CAD模型图像/视图叠加到在增强现实视图35中显示的对象23上是基于位置信息(所述设施的详尽的增强现实视图35中的地理信息)的。所述位置信息可以是XYZ坐标与增强现实视图35中映射的或包含(并且在一些实施例中还包含于CAD数据库39中存储的CAD数据文件中)的纬度/经度信息的混合。因而，CAD模型更新引擎/系统100响应于用户选择增强现实视图35中的对象23而执行至少两个动作：1)对支持CAD模型的部件数据库39进行搜索；以及2)将部件对象23'的视图(CAD模型图像)映射为增强现实视图35中的对象23的正确位置。
一旦系统100将所述两幅视图(原始CAD视图和当前增强现实视图35)进行了叠加(并且将所述两幅视图中的相对应的对象23、23'进行视觉地耦合)，用户就能够使用作为交互式仿真(即，设计器(composer))的融合的视图与部件CAD视图的数据进行交互了。通过所述交互(同时在增强现实域35、37内持续地查看)，用户能够对CAD数据库39中存储的CAD部件数据做出修改。用户能够在同一增强现实环境中打开其它视图。
通过这种方式，本发明的CAD模型更新器/系统100能够以成本高效并且有效的方式将修改结合到设施的单幅视图中，从而为用户提供了用于将部件修改上传至CAD模型(正如存储在数据库39内的)的低成本并且时间高效的方式。
实施例100采用基于元数据的算法在处于增强现实应用37的外部位置(CAD数据库39)中搜索部件或设备对象23'。实施例100使用联合集成来搜索存储在文件、应用、文件夹、数据库或类似于39的处于增强现实应用37外部中的对象。所述技术(引擎/系统100)利用增强现实视图35内的信息，例如，距离、XYZ或三维空间位置和纬度/经度，以及设备对象的物理(或其它)方面的元数据(例如，大小、形状、名称和ID)映射。用户可以与作为观察器的增强现实视图35中的对象23进行交互，或者甚至通过与同增强现实视图35融合的所叠加的CAD视图图像的交互来修改设计环境(CAD建模器33)中的相对应的对象23'。由于所述技术是联合的，所以所有的改变实际上都是对其原始应用中的CAD文件(3D CAD建模应用33)做出的。
参考图2，实施例100的数据流和控制流如下。增强现实环境37(步骤211)向用户显示了目标设施/工厂等的增强现实视图35。使用增强现实环境37用户接口，步骤213允许用户与增强现实视图35中显示的组成部分或对象23进行交互。
对于用户选择的对象23，系统100(步骤215)响应地从增强现实视图35和环境37获得对象元数据，例如，名称、ID、位置、大小等。使用所述数据，步骤215搜索数据库39中的CAD文件、CAD模型和3D图像，以获得具有至少一条匹配的元数据(例如，对象名称和ID)的任何相对应的对象23'。根据所述搜索结果，步骤217不仅获得相对应的CAD对象23'，还获得了包含对象23'的设施的CAD模型(来自原始CAD应用33的数据和图像)。因而，步骤217使所述设施的CAD模型视图与增强现实视的CAD模型视图对齐(比例、大小、方向、角度等)并且相融合(例如，对象23'对照对象23)。因此，步骤217显示了叠加在增强现实视图35上的目标设施的相对应的CAD对象23'及其CAD模型视图，以用于与其进行用户交互。
继而，步骤218响应于在步骤217中的融合(叠加)增强现实视图35中的用户交互而激活或者启用CAD建模系统33。具体地，随着用户修改所述设施的叠加CAD模型视图部分中的数据，以更好地匹配增强现实视图35的当前的图像扫描，CAD建模系统33相应地更新了相应的CAD文件。为了支持所述用户交互，步骤218驱动显示构件同时并且连续地显示这两幅视图，即，所述设施/相对应的对象23'的CAD模型视图叠加目标设施/对象23的增强现实视图。在步骤218中，CAD建模系统(应用)33与增强现实应用37是联合的。
图3是示例计算机辅助设计站300的示意性框图，所述计算机辅助设计站300在本文中也可以称为计算机系统。正如本文中所使用的，术语“计算机辅助设计站”和“计算机系统”一般是指可以用于执行上文描述的过程和/或可能与上文所描述相关的任何附加的过程的任何合适的计算设备。
在示例实施例中，计算机辅助设计站300包括一个或多个处理器302(CPU)，所述一个或多个处理器302执行图1和图2中上文所述的过程和/或可以与上文所描述的相关的附加过程。应当理解，术语“处理器”一般是指任何可编程系统，包括系统和微控制器、精简指令集电路(RISC)、专用集成电路(ASIC)、可编程逻辑电路和/或能够执行本文中描述的功能的任何其它电路或处理器。上文的示例只是示例性的，因而并不是要以任何方式来限制术语“处理器”的定义和/或含义。
上文描述的过程和/或可以与上文描述的过程相关的任何附加过程的步骤都可以作为计算机可执行指令存储在(例如)非暂时性的计算机可读介质(例如，通过系统总线306可操作地和/或通信地耦合至处理器302的存储区304)内。如本文所使用的，“存储区”一般是指存储程序代码和指令的任何单元，所述程序代码和指令由一个或多个处理器执行，以有助于采用增强现实工具来自动更新CAD模型。存储区304可以包括一种或者多于一种形式的存储器。例如，存储区304可以包括随机存取存储器(RAM)308，所述随机存取存储器(RAM)308可以包括非易失性RAM、磁性RAM、铁电RAM、和/或其它形式的RAM。存储区304还可以包括只读存储器(ROM)310和/或闪速存储器和/或电可擦可编程只读存储器(EEPROM)。任何其它适当的磁、光和/或半导体存储器，例如，硬盘驱动器(HDD)312，其自身与其它形式存储器的组合可以包括在存储区304中。HDD312还可以耦合至磁盘控制器314，用于向和从处理器302发送和接收消息。此外，存储区304还可以是或者可以包括可分离或可移动的存储器316，例如，适当的盒式盘、CD-ROM、DVD或USB存储器。上文的示例只是示例性的，因而并不是要以任何方式来限制术语“存储区”的定义和/或含义。
计算机辅助设计站300还包括显示设备318，所述显示设备318耦合(例如可操作地耦合)至显示控制器320。显示控制器320经由系统总线306接收数据，以用于通过显示设备318显示。显示设备318可以是但不限于监视器、电视显示器、等离子体显示器、液晶显示器(LCD)、基于发光二极管(LED)的显示器、基于有机LED(OLED)的显示器、基于高分子LED的显示器、基于表面传导电子发射器的显示器、包括投射和/或反射图像的显示器或者任何其它适当的电子设备或显示机制。此外，显示设备318可以包括具有相关联的触摸屏控制器的触摸屏。上文的示例只是示例性的，因而并不是要以任何方式来限制术语“显示设备”的定义和/或含义。
此外，计算机辅助设计站300包括用于与网络(图3中未示出)进行通信的网络接口322。此外，计算机辅助设计站300包括一个或多个输入设备，例如，键盘324和/或定点设备326(例如，滚动球、鼠标、触控板等)。输入设备耦合至输入/输出(I/O)接口328并且受其控制，所述输入/输出(I/O)接口进一步耦合至系统总线306。
为了简洁起见，文中省略了对显示设备318、键盘324、定点设备326以及显示控制器320、磁盘控制器314、网络接口322和I/O接口328的一般特征和功能的描述，因为这些特征都是公知的。
图4是用于更新建模的对象的计算机辅助设计(例如上文描述的过程和/或可以与上文描述的过程相关的附加过程)的示例系统400的示意性框图。在示例实施例中，存储区402包括用于存储CAD数据的一个或多个存储装置404，所述CAD数据例如是建模对象数据以及增强现实数据和/或与增强现实对象相关的定位数据。在一些实施例中，存储区402耦合至服务器406，服务器406继而经由网络412耦合至管理员系统408和/或用户系统410。存储设备404可以被体现为一个或多个数据库，所述一个或多个数据库可以位于单个或者多个地理上的地点，或者可以与服务器406集成。
正如可以认识到的，网络412可以是公共网络(例如，互联网)，也可以是私有网络(例如，LAN或WAN网络，)，或者其任何组合，并且还可以包括PSTN或ISDN子网。网络412也可以是有线的(例如，以太网)，或者可以是无线的(例如，包括EDGE、3G和4G蜂窝系统的蜂窝网络)。所述无线网络还可以是WiFi、蓝牙或者已知的任何其它无线形式的通信。因而，网络412只是示例性的，并且其不以任何形式来限制当前改进的范围。
正如本领域的普通技术人员将认识到的，管理员系统408和/或用户系统410可以是计算机辅助设计站(例如，上文参考图3所描述的)，或者公知的任何其它计算系统。此外，应当理解，管理员系统408和/或用户系统410被配置为执行上文描述的过程和/或可以与上文描述的过程相关的任何附加过程。
服务器406存储用于执行上文描述的过程的计算机可读指令，并且经由网络412将这些指令提供给管理员系统408和/或用户系统410。此外，服务器406还可以根据需要将来自存储区402的数据提供给管理员系统408和用户系统410。因而，图4包括经由云计算、分布式计算等的系统400的实现。
上文详细描述了用于建模对象的计算机辅助设计的系统、方法、装置、计算机程序产品和计算机可读存储介质的示例实施例。所述系统、方法、装置、计算机程序产品和计算机可读存储介质不限于文中描述的具体实施例，相反，方法、程序产品和/或存储介质的操作以及系统和/或装置的部件可以独立于并且分离于文中描述的其它操作和/或部件来使用。此外，所描述的操作和/或部件还可以定义在其它系统、方法、装置、程序产品和/或存储介质中或者与它们结合使用，而并不局限于仅与本文所描述的系统、方法、装置、程序产品和存储介质共同实施。
计算机或计算机系统(例如，文中描述的)包括至少一个处理器或处理单元以及系统存储器。所述计算机或计算机系统通常具有至少某种形式的计算机可读介质。作为示例而非限制，计算机可读介质包括计算机存储介质和通信介质。计算机存储介质包括以用于存储信息(例如，计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。通信介质通常包含计算机可读指令、数据结构、程序模块或者调制数据信号(例如，载波或者其它传输机制)中的其它数据，并且包括任何信息传送介质。本领域的技术人员熟悉调制数据信号，所述调制数据信号使其特性中的一个或多个设置或改变为在信号中对信息进行编码的方式。上述内容的任意组合也包括在计算机可读介质的范围内。
在上文描述的过程中使用的示例性的非暂时性计算机可执行部件包括但不限于只包括显示部件，所述显示部件使得处理器302(如图3中所示出的)呈现叠加在显示设备318(如图3中所示出的)的增强现实查看区域35中的建模对象23'。所述部件还包括接口部件，所述接口部件使得处理器302经由例如I/O接口328(如图3中所示出的)接收用户输入。如上所述，所述用户输入可以与联合CAD软件的使用相关，用于更新CAD建模对象23'，建立叠加到增强现实视图35上的CAD模型视图，建立3D模型/CAD更新工具100(图1-图2所示)的实例，和/或用于自动搜索、检索以及定位(对齐)关于用户交互增强现实视图35中的激光扫描图像对象23的CAD建模对象23'。
此外，所述部件包括3D CAD模型更新部件，所述3D CAD模型更新部件使得处理器302执行上文所述的和图2所示出的步骤。所述3D CAD模型更新部件显示叠加在增强现实视图上的对象资产的CAD模型视图(从CAD数据库检索的)。使用这两幅视图的融合显示，CAD模型更新部件能够实现与进行用户交互，以更新相对应的CAD模型。例如，对CAD模型的更新针对所述模型的原始CAD建模应用的CAD文件而做出。
尽管结合示例性计算机系统环境描述了本发明，但是本发明的实施例可操作地使用很多其它通用目的或专用计算机系统环境或配置。计算机系统环境并不是要暗示对本发明的任何方面的使用或功能的范围提出任何限制。此外，不应将计算机系统环境解释为具有与示例性操作环境中所示出的部件中的任何一个或者部件的组合相关的任何依赖性或要求。可以适用于与本发明的方面结合使用的公知的计算机系统、环境和/或配置的示例包括但不限于个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子装置、移动电话、网络PC、微型计算机、大型计算机、包括上述系统或设备中的任何一种的分布式计算环境等。
本发明的实施例可以描述在由一个或多个计算机或其他设备执行的计算机可执行指令(例如，程序部件或模块)的一般上下文中。本发明的各方面可以利用任意数量和任何组织的部件或模块来实施。例如，本发明的各个方面不限于如图所示以及本文所述的具体的计算机可执行指令或具体的部件或模块。本发明的可替代的实施例可以包括具有比本文中所示出的和描述的更多或者更少的功能的不同的计算机可执行指令或部件。
除非另有说明，否则本文中所示出的和描述的本发明的实施例中的操作的执行或进行的顺序并非是必需的。也就是说，除非另作说明，所述操作可以按照任何顺序来执行，并且本发明的实施例可以包括比本文公开的操作附加的或者更少的操作。例如，可以设想，在另一操作之前、与之同时或者在其之后执行或进行的特定的操作在本发明的各方面的范围内。
在介绍本发明的或其实施例的各个方面的元素时，冠词“一”、“一个”、“该”以及“所述”是要表示存在一个或多个元素。术语“包括”、“包含”和“具有”是要具有包含性的，并且表示可以存在所列举出的元素以外的附加元素。
所书写的文字说明使用示例来公开本发明，包括最佳模式，而且使本领域的任何技术人员能够实践本发明，包括制造并且使用任何设备或系统以及执行任何所并入的方法。本发明的可取得专利权的范围是由权利要求书限定的，并且可以包括本领域技术人员可以想到的其它示例。如果这样的其它示例具有不与权利要求的文字语言不同的结构元件，或者如果它们包括与权利要求的文字语言没有实质性差异的等价的结构元件，则这样的其它示例是要落在权利要求的范围内的。
通过引用将文中引用的所有专利、公开申请和参考文献的教导全文并入本文。
尽管已经参考本发明的示例实施例特别地示出并且描述了本发明，但是本领域的技术人员应当理解，在不偏离由所附权利要求涵盖的本发明的范围的情况下，可以在其中做出形式和细节上的各种变化。
例如，尽管上文描述了用于设施和生产/制造厂的实施例的应用，但是本发明的原理适用于城市、多资产群组以及其它实体。

Claims (19)

1.一种计算机辅助设计(CAD)建模方法，包括：
获得设施的增强现实视图，所述设施具有在所述增强现实视图中显示的各种对象；
响应于与在所述增强现实视图中显示的设施对象中的一个设施对象进行的用户交互，搜索CAD数据库，以获得一个对象的相对应的CAD模型，所述一个对象具有的元数据与所述一个设施对象的元数据匹配，所述CAD数据库存储来自CAD建模系统的所述设施的CAD模型，并且所述搜索导致获得包含所述一个对象的相对应的CAD模型的所述设施的CAD模型；
以融合并且对齐的方式显示叠加在所述一个设施对象的增强现实视图上的所述一个设施对象的CAD模型视图，使得所述CAD模型视图与所述增强现实视图同时并且连续地显示；以及
能够进行与所显示的CAD模型视图的用户交互，以更新所述CAD建模系统中的所述设施的CAD模型。
2.根据权利要求1所述的方法，其中，所述设施是制造厂、精炼厂以及城市中的至少一个。
3.根据权利要求1所述的方法，进一步包括利用激光扫描、视频或者其它成像机制来生成所述增强现实视图。
4.根据权利要求1所述的方法，其中，所述增强现实视图的显示以及与其进行的用户交互通过增强现实应用来实现；以及
所述CAD数据库处于所述增强现实应用的外部或者嵌入于所述增强现实应用内。
5.根据权利要求4所述的方法，进一步包括使所述CAD建模系统与所述增强现实应用相联合的步骤。
6.根据权利要求1所述的方法，其中，能够与所显示的CAD模型视图进行用户交互的步骤是通过所述CAD建模系统实现的，所述CAD建模系统最初用于生成所述设施的CAD模型和/或用于在所述CAD数据库内存储所述CAD模型。
7.根据权利要求1所述的方法，进一步包括响应于与所显示的CAD模型视图进行的用户交互，所述CAD建模系统更新所述CAD数据库中的所述对象的相对应的CAD模型以及所述设施的CAD模型。
8.根据权利要求1所述的方法，其中，叠加在所述增强现实视图上的所述一个设施对象的CAD模型视图的显示在大小、尺寸和/或方向上是对齐的。
9.一种用于更新计算机辅助设计(CAD)模型的计算机系统，包括：
被配置为提供设施的增强现实视图的处理器，所述增强现实视图显示所述设施的对象，并且所述处理器提供用户接口给所述增强现实视图；
CAD模型更新引擎，其操作地耦合至所述处理器并且响应于与所述增强现实视图进行的用户交互，响应于与所显示的设施对象中的一个设施对象进行的用户交互，所述CAD模型更新引擎被配置为搜索CAD数据库，以获得所述一个设施对象的相对应的CAD模型，所述一个对象具有的元数据与所述一个设施对象的元数据匹配，其中，所述CAD数据库存储来自CAD建模系统的所述设施的CAD模型，
所述CAD模型更新引擎被进一步配置为根据对所述CAD数据库的搜索，来更新包含所述一个设施对象的相对应的CAD模型的所述设施的CAD模型；以及
耦合至所述处理器和所述CAD模型更新引擎的显示构件，所述显示构件被配置为以对齐的方式来显示叠加在所述一个设施对象的增强现实视图上的所述一个设施对象的CAD模型视图，使得所述CAD模型视图与所述增强现实视图同时并且连续地显示，同时用户与所述CAD模型视图进行交互，以更新所述CAD建模系统中的所述设施的CAD模型。
10.根据权利要求9所述的计算机系统，其中，所述设施是制造厂、城市以及精炼厂中的至少一个。
11.根据权利要求9所述的计算机系统，其中，利用激光扫描、视频或者其它成像机制来生成所述增强现实视图。
12.根据权利要求9所述的计算机系统，其中，所述处理器被进一步配置为执行增强现实应用，用于生成并且显示所述设施的增强现实视图，并且用于提供所述用户接口给所述增强现实视图；并且
所述CAD数据库处于所述增强现实应用外部或者嵌入于所述增强现实应用内。
13.根据权利要求12所述的计算机系统，其中，所述CAD建模系统与所述增强现实应用相联合。
14.根据权利要求9所述的计算机系统，其中，所述CAD建模系统使所述用户能够与所述CAD模型视图交互；并且
所述设施的CAD模型最初是由所述CAD建模系统通过所述CAD数据库生成的或者由所述CAD建模系统存储在所述CAD数据库中的。
15.根据权利要求9所述的计算机系统，其中，响应于与所显示的CAD模型视图进行的用户交互，所述CAD建模系统被进一步配置为更新所述CAD数据库中的所述对象的相对应的CAD模型和所述设施的CAD模型。
16.根据权利要求9所述的计算机系统，其中，所述CAD模型更新引擎被进一步配置为将所述一个设施对象的CAD模型视图在大小和方向上与所述增强现实视图对齐。
17.根据权利要求9所述的计算机系统，其中，所述处理器被进一步配置为执行所述CAD模型更新引擎。
18.一种非暂时性计算机可读介质，其上存储有指令，所述指令在由计算设备执行时，使得所述计算设备执行一种用于更新计算机辅助设计(CAD)数据库中的CAD模型的方法，所述方法包括：
获得设施的增强现实视图，所述设施具有显示在所述增强现实视图中的各种对象；
响应于与显示在所述增强现实视图中的设施对象中的一个设施对象进行的用户交互，搜索所述CAD数据库，以获得一个对象的相对应的CAD模型，所述一个对象具有的元数据与所述一个设施对象的元数据匹配，所述CAD数据库存储来自CAD建模系统的所述设施的CAD模型，并且所述搜索导致获得包含所述一个对象的相对应的CAD模型的所述设施的CAD模型；
以融合的方式显示了叠加在所述一个设施对象的增强现实视图上的所述一个设施对象的CAD模型视图，使得所述CAD模型视图与所述增强现实视图同时并且连续地显示；以及
能够与所显示的CAD模型视图进行用户交互，以更新所述CAD建模系统中的所述设施的CAD模型。
19.根据权利要求18所述的非暂时性计算机可读介质，其中，所述设施是城市、精炼厂或者制造厂中的任何一个。
CN201410748019.4A 2013-12-10 2014-12-09 3d cad模型的增强现实更新 Active CN104699887B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/101,923 2013-12-10
US14/101,923 US9530250B2 (en) 2013-12-10 2013-12-10 Augmented reality updating of 3D CAD models

Publications (2)

Publication Number Publication Date
CN104699887A CN104699887A (zh) 2015-06-10
CN104699887B true CN104699887B (zh) 2020-08-14

Family

ID=52002783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410748019.4A Active CN104699887B (zh) 2013-12-10 2014-12-09 3d cad模型的增强现实更新

Country Status (7)

Country Link
US (1) US9530250B2 (zh)
EP (1) EP2892028A3 (zh)
JP (1) JP6645733B2 (zh)
KR (1) KR20150067741A (zh)
CN (1) CN104699887B (zh)
CA (1) CA2872113A1 (zh)
IN (1) IN2014MU03583A (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10149958B1 (en) 2015-07-17 2018-12-11 Bao Tran Systems and methods for computer assisted operation
US10335572B1 (en) 2015-07-17 2019-07-02 Naveen Kumar Systems and methods for computer assisted operation
US10685488B1 (en) 2015-07-17 2020-06-16 Naveen Kumar Systems and methods for computer assisted operation
US10176642B2 (en) 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
US10492981B1 (en) 2015-07-17 2019-12-03 Bao Tran Systems and methods for computer assisted operation
US10620778B2 (en) * 2015-08-31 2020-04-14 Rockwell Automation Technologies, Inc. Augmentable and spatially manipulable 3D modeling
JP6661980B2 (ja) * 2015-11-06 2020-03-11 富士通株式会社 重畳表示方法、重畳表示装置、及び重畳表示プログラム
US9881191B2 (en) * 2015-12-14 2018-01-30 Leadot Innovation, Inc. Method of controlling operation of cataloged smart devices
JP6869023B2 (ja) * 2015-12-30 2021-05-12 ダッソー システムズＤａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ 探索のための３ｄから２ｄへの再画像化
US10049479B2 (en) 2015-12-30 2018-08-14 Dassault Systemes Density based graphical mapping
US10127333B2 (en) 2015-12-30 2018-11-13 Dassault Systemes Embedded frequency based search and 3D graphical data processing
US10360438B2 (en) 2015-12-30 2019-07-23 Dassault Systemes 3D to 2D reimaging for search
US10068376B2 (en) 2016-01-11 2018-09-04 Microsoft Technology Licensing, Llc Updating mixed reality thumbnails
CN108701237B (zh) * 2016-01-15 2022-01-18 英卓美特公司 用于跨越多个组装单元自动生成公共测量的方法
US10346356B2 (en) * 2016-01-22 2019-07-09 Robert Bosch Gmbh Methods and systems for searching computer-aided design data
US10046229B2 (en) 2016-05-02 2018-08-14 Bao Tran Smart device
EP3246851A1 (en) 2016-05-17 2017-11-22 Fujitsu Limited Method and apparatus for searching a database of 3d items using descriptors
US10019839B2 (en) * 2016-06-30 2018-07-10 Microsoft Technology Licensing, Llc Three-dimensional object scanning feedback
CN106354460A (zh) * 2016-08-29 2017-01-25 武汉仁光科技有限公司 一种实物交互系统及其交互方法
CN106570222A (zh) * 2016-10-18 2017-04-19 中车青岛四方机车车辆股份有限公司 一种三维数据模型的实例更新方法及装置
US20170084085A1 (en) * 2016-11-30 2017-03-23 Caterpillar Inc. System and method for object recognition
FR3060181B1 (fr) * 2016-12-14 2019-05-17 Electricite De France Procede de numerisation de l'environnement interieur d'une installation industrielle
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
US10552981B2 (en) 2017-01-16 2020-02-04 Shapetrace Inc. Depth camera 3D pose estimation using 3D CAD models
US10841724B1 (en) 2017-01-24 2020-11-17 Ha Tran Enhanced hearing system
US10643397B2 (en) 2017-03-19 2020-05-05 Purdue Research Foundation Window-shaping virtual reality system
US10540550B2 (en) * 2017-03-20 2020-01-21 Mastercard International Incorporated Augmented reality systems and methods for service providers
US10467352B2 (en) 2017-04-03 2019-11-05 Cambria Company Llc Stone slab production methods and systems
WO2018199948A1 (en) * 2017-04-27 2018-11-01 Siemens Aktiengesellschaft Authoring augmented reality experiences using augmented reality and virtual reality
US10891798B2 (en) 2017-06-05 2021-01-12 2689090 Canada Inc. System and method for displaying an asset of an interactive electronic technical publication synchronously in a plurality of extended reality display devices
US10634504B2 (en) * 2017-06-06 2020-04-28 Clearpath Robotics Inc. Systems and methods for electronic mapping and localization within a facility
US10304251B2 (en) 2017-06-15 2019-05-28 Microsoft Technology Licensing, Llc Virtually representing spaces and objects while maintaining physical properties
US10701622B2 (en) 2017-06-26 2020-06-30 Clearpath Robotics Inc. Systems and methods for WiFi mapping in an industrial facility
WO2019013736A1 (en) * 2017-07-10 2019-01-17 Siemens Mobility GmbH CALIBRATION OF USER FEEDBACK BASED MODEL DATA
US11080931B2 (en) * 2017-09-27 2021-08-03 Fisher-Rosemount Systems, Inc. Virtual x-ray vision in a process control environment
DE102017126389A1 (de) * 2017-11-10 2019-05-16 Liebherr-Werk Biberach Gmbh Verfahren und Vorrichtung zum Bereitstellen einer Werkstückdarstellung an einem Fertigungsplatz
US10360454B1 (en) * 2017-12-28 2019-07-23 Rovi Guides, Inc. Systems and methods for presenting supplemental content in augmented reality
CN108108563B (zh) * 2017-12-28 2021-11-02 河南省水利勘测设计研究有限公司 基于bim和gis技术的跨平台水动力学建模方法
CN108681595B (zh) * 2018-02-08 2021-10-29 中国人民解放军61540部队 地理pdf地图混合平面坐标系统模型及其构建方法
CN108427830A (zh) * 2018-02-09 2018-08-21 中建五局第三建设有限公司 一种利用混合现实技术指导构筑物空间放样的方法及装置
EP3547266A1 (en) * 2018-03-30 2019-10-02 First Insight, Inc. Importation and transformation tool for utilizing computer-aided design files in a web browser or customized client interface
US11257297B1 (en) 2018-06-15 2022-02-22 Baru Inc. System, method, and computer program product for manufacturing a customized product
US11244509B2 (en) 2018-08-20 2022-02-08 Fisher-Rosemount Systems, Inc. Drift correction for industrial augmented reality applications
US11733684B2 (en) 2018-09-27 2023-08-22 Hewlett-Packard Development Company, L.P. Overlaying production data on rendered 3D printed object
US11069145B1 (en) * 2018-10-09 2021-07-20 Corelogic Solutions, Llc Augmented reality application for interacting with building models
US11318616B2 (en) 2019-11-11 2022-05-03 Rockwell Automation Technologies, Inc. Robotic digital twin control with industrial context simulation
US20210217194A1 (en) * 2020-01-13 2021-07-15 Samsung Electronics Co., Ltd. Method and apparatus with object information estimation and virtual object generation
US11526159B2 (en) * 2020-02-14 2022-12-13 Rockwell Automation Technologies, Inc. Augmented reality human machine interface testing
US20220005273A1 (en) * 2020-07-01 2022-01-06 Wacom Co., Ltd. Dynamic three-dimensional surface sketching
US11816887B2 (en) 2020-08-04 2023-11-14 Fisher-Rosemount Systems, Inc. Quick activation techniques for industrial augmented reality applications
CN112084719B (zh) * 2020-09-17 2022-08-02 招商局重庆交通科研设计院有限公司 基于计算机辅助设计和辅助仿真的道路交通智能设计平台
US11675936B2 (en) 2020-09-28 2023-06-13 Rockwell Automation Technologies, Inc. Unifying multiple simulation models
KR20230101463A (ko) 2021-12-29 2023-07-06 주식회사 버넥트 가상 뷰포인트 카메라를 활용하여 타겟 객체를 학습하는 방법 및 이를 이용하여 타켓 객체를 구현한 실물 객체에 가상 모델을 증강하는 방법
EP4354335A1 (en) * 2022-10-10 2024-04-17 Skytek Automatic generation of an augmented reality assembly, integration, and testing preparation procedure from engineering models

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073758A (zh) * 2010-12-16 2011-05-25 北京邮电大学 基于图灵机模型的增强现实装配环境系统建模方法
CN102142055A (zh) * 2011-04-07 2011-08-03 上海大学 基于增强现实交互技术的真三维设计方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4537557B2 (ja) * 2000-09-19 2010-09-01 オリンパス株式会社 情報呈示システム
WO2002035909A2 (en) * 2000-11-03 2002-05-10 Siemens Corporate Research, Inc. Video-supported planning and design with physical marker objects sign
US7391424B2 (en) * 2003-08-15 2008-06-24 Werner Gerhard Lonsing Method and apparatus for producing composite images which contain virtual objects
US7725206B2 (en) * 2003-11-12 2010-05-25 The Boeing Company System and method for manufacturing and after-market support using as-built data
DE102006005044B4 (de) * 2006-02-03 2011-01-27 Metaio Gmbh Verfahren und System zur Bestimmung eines Datenmodells zur Überlagerung mit einem realen Objekt in einem Verfahren zur Objektverfolgung
EP1993072A1 (en) * 2007-05-18 2008-11-19 Siemens Aktiengesellschaft Method for comparison of 3D computer model and as-built situation of an industrial plant
US20090216438A1 (en) * 2008-02-21 2009-08-27 Microsoft Corporation Facility map framework
CN104407518B (zh) * 2008-06-20 2017-05-31 因文西斯系统公司 对用于过程控制的实际和仿真设施进行交互的系统和方法
US8411086B2 (en) * 2009-02-24 2013-04-02 Fuji Xerox Co., Ltd. Model creation using visual markup languages
JP5440186B2 (ja) * 2010-01-06 2014-03-12 富士通株式会社 設計支援装置および設計支援プログラム
JP4790090B2 (ja) * 2010-02-19 2011-10-12 西日本旅客鉄道株式会社 構造物管理用図面作成装置、及びその処理プログラム
US9424371B2 (en) * 2010-11-05 2016-08-23 Autodesk, Inc. Click to accept as built modeling
JP5999679B2 (ja) * 2012-01-18 2016-09-28 株式会社日立製作所 設備保守管理システム
US20140146038A1 (en) * 2012-11-28 2014-05-29 International Business Machines Corporation Augmented display of internal system components
US9336629B2 (en) * 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073758A (zh) * 2010-12-16 2011-05-25 北京邮电大学 基于图灵机模型的增强现实装配环境系统建模方法
CN102142055A (zh) * 2011-04-07 2011-08-03 上海大学 基于增强现实交互技术的真三维设计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Late breaking results: ARPipes: Aligning Virtual models to their Physical Counterparts with Spatial Augmented Reality;Benjamin Close等;《20th International Conference on Artificial Reality and Telexistence(ICAT2010), 1-3 December 2010, Adelaide, Australia》;20101203;第226-227页 *

Also Published As

Publication number Publication date
KR20150067741A (ko) 2015-06-18
EP2892028A2 (en) 2015-07-08
EP2892028A3 (en) 2015-11-04
CA2872113A1 (en) 2015-06-10
IN2014MU03583A (en) 2015-10-09
JP6645733B2 (ja) 2020-02-14
JP2015115072A (ja) 2015-06-22
CN104699887A (zh) 2015-06-10
US9530250B2 (en) 2016-12-27
US20150161821A1 (en) 2015-06-11

Similar Documents

Publication Publication Date Title
CN104699887B (zh) 3d cad模型的增强现实更新
US9465513B2 (en) Visual representation of map navigation history
CN106462997B (zh) 街道视图和地球视图之间的混合
US8497859B1 (en) Display of information on or within a three-dimensional image
US9916398B2 (en) Laser scan re-engineering of 3D CAD models
US10013506B2 (en) Annotating real-world objects
US20130257856A1 (en) Determining a View of an Object in a Three-Dimensional Image Viewer
US11250179B2 (en) Engineering drawings and digital twins
US20170148228A1 (en) Distance field coupled fitted deformation lattices for shape modification
US8648861B2 (en) Two-dimensional vector fills using topological recipes
Liu et al. An approach to 3D model fusion in GIS systems and its application in a future ECDIS
US9141380B2 (en) Method and system for visualization of large codebases
US20120042235A1 (en) Design support apparatus, design support method, and non-transitory computer-readable medium storing design support program
US11763524B2 (en) Layered meshing for additive manufacturing simulations
JP4968275B2 (ja) 地図データ編集装置及び地図データ編集装置用サーバ
Hayat et al. Extension of interaction flow modeling language for geographical information systems
Diakité About the Geo-referencing of BIM models
Tanvilaipong et al. Database management to suppport automatic placement of 3D building models to a simulated scene
Vanossi et al. Paths between real and virtual environments within a bimbased scheme
Chen et al. iARVis: Mobile AR Based Declarative Information Visualization Authoring, Exploring and Sharing
Saad et al. E-government based on geodatabase of industrial services: Baghdad city as a case study
Halls An Enterprise Approach to the Next Generation Systems Environment for the Australian Hydrographic Service (AHS)
JP2005025155A (ja) 構造化地図作成装置、構造化地図作成方法および構造化地図作成プログラム
CN117931810A (zh) 一种空间影像数据的结构化管理方法及系统
CN116416502A (zh) 一种多图层融合的数字孪生空间模型组织方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant