CN106557606A - 用于在虚拟仿真环境中定位虚拟对象的方法与系统 - Google Patents

用于在虚拟仿真环境中定位虚拟对象的方法与系统 Download PDF

Info

Publication number
CN106557606A
CN106557606A CN201610728211.6A CN201610728211A CN106557606A CN 106557606 A CN106557606 A CN 106557606A CN 201610728211 A CN201610728211 A CN 201610728211A CN 106557606 A CN106557606 A CN 106557606A
Authority
CN
China
Prior art keywords
virtual
real
real object
scene
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610728211.6A
Other languages
English (en)
Inventor
摩西·施维默
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Industry Software Ltd Israel
Original Assignee
Siemens Industry Software Ltd Israel
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Industry Software Ltd Israel filed Critical Siemens Industry Software Ltd Israel
Publication of CN106557606A publication Critical patent/CN106557606A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及用于在虚拟仿真环境中定位虚拟对象的方法与系统。用于在虚拟仿真环境中定位通过3D模型来限定的虚拟对象的方法与系统包括：从3D摄像机的3D图像中识别真实环境中的真实对象。将识别到的真实对象链接到相应的虚拟对象。提取真实场景中的真实对象的位置和定向的位置数据。提取到的位置数据用来定位位于虚拟环境中的特定虚拟位置和特定虚拟定向处的链接的虚拟对象，虚拟环境中的特定虚拟位置和特定虚拟定向反映真实场景中的相应的真实对象的特定位置和特定定向。

Description

用于在虚拟仿真环境中定位虚拟对象的方法与系统
其它申请的交叉引用
本申请具有与共同受让的美国专利申请序列第14/865,226号的名称为“METHODAND SYSTEM FOR DETERMINING A CONFIGURATION OF A VIRTUAL ROBOT IN A VIRTUALENVIRONMENT”共同的某一个主题，然而在其它方面却未必相关，该美国专利申请与本专利文件在同一天被提交，其通过引用并入本文。
技术领域
一般地，本公开涉及计算机辅助设计、可视化和制造(“CAD”)系统、产品生命周期管理(“PLM”)系统、产品数据管理(“PDM”)系统以及管理用于产品和其它项目的数据的类似系统(统称为“产品数据管理”系统或PDM系统)。
背景技术
在工业过程的规划中，会使用计算机仿真技术，其中，通过虚拟仿真环境的虚拟场景来对物理环境的物理场景进行建模。例如，物理场景或真实场景可以是设施、制造厂、工业场景或者可以受益于为了工业仿真目的而在虚拟环境中进行建模的任何其它物理场景。
真实场景可以包括与设施相关的各种真实对象。真实对象的示例包括但不限于设备件、工具、容器、材料件、成品或半成品以及存在于真实场景中的其它对象。在虚拟仿真环境中，通过虚拟对象来表示真实对象。通常，通过三维(3D)虚拟模型来限定虚拟对象，三维(3D)虚拟模型的示例包括但不限于CAD模型、类CAD模型、点云模型以及其它类型的3D计算机模型。
在真实场景中，真实对象具有可以随着真实对象在真实场景内被移动或被重新定位而变化/移动的位置和定向。当在虚拟仿真环境中对工业设施进行建模时，通常具有以下共同的要求：虚拟场景中的虚拟对象的位置和定向准确地反映真实场景中的真实对象的位置和定向。遗憾的是，即使当CAD数据(其对虚拟对象进行建模)可能已经存在时，用户也难以创建反映真实世界场景的3D虚拟场景。例如，当对工业设施进行建模时，用户通常使用CAD和类CAD软件工具，以便定位和定向经由CAD模型或类CAD模型而被建模的虚拟对象(于此，经由CAD模型或类CAD模型而被建模的虚拟对象用术语“CAD对象”来表示)。
例如，用以在虚拟环境中反映真实对象的已知技术包括：对真实世界环境中的真实对象和真实场景进行物理测量；从3D扫描中获得点云数据测量；以及将CAD模型与点云结果进行比较，或者映射到虚拟环境中的二维(2D)测量图。用于在虚拟场景中定位虚拟对象的技术的示例包括典型的人机界面(“HMI”)系统，其包括标准输入装置如键盘、鼠标、空间鼠标、用于手势跟踪的手势控制装置等。遗憾的是，这样的已知技术对于用户而言是繁琐的、容易出错的，并且可能需要使用各种工具或人机交互来进行多次反复，这使已知技术不适于任务。因此，需要改进的技术。
发明内容
各种公开的实施例包括用于在虚拟仿真环境中定位虚拟对象的方法以及相应的系统和计算机可读介质。方法包括：接收3D摄像机在真实场景中的定位；在虚拟仿真环境中注册3D摄像机；接收至少一个真实对象在真实场景中的特定位置和特定定向处的定位；以及通过3D摄像机来捕捉在真实场景中被定位的至少一个真实对象的至少一个3D图像。方法包括：从至少一个捕捉到的3D图像中识别至少一个真实对象；将至少一个识别到的真实对象链接到其相应的虚拟对象；以及提取至少一个识别到的真实对象在真实场景中的特定位置的位置数据和特定定向的位置数据。方法包括：通过使用提取的位置数据来将链接的虚拟对象定位于虚拟场景中的特定虚拟位置和特定虚拟定向处，虚拟场景中的特定虚拟位置和特定虚拟定向反映真实场景中的相应真实对象的特定位置和特定定向。
上述内容已经相当广地概述了本公开的特征和技术优点，以便本领域的技术人员可以更好地理解以下详细描述。以下将描述本公开另外的特征和优点，其形成权利要求的主题。本领域的技术人员将意识到的是，他们可以很容易地使用所公开的概念和具体实施例作为修改或设计用于实现本公开的相同目的的其它结构的基础。同样，本领域的技术人员将意识到的是，这样的等同结构没有背离本公开以其最广泛形式的精神和范围。
在进行以下的具体实施方式之前，对以下贯穿本专利文件使用的某些词或短语的定义进行说明是有利的：术语“包括”和“包含”及其衍生词提供了包括但不限于；术语“或”是包括性的(例如和/或)；短语“相关联”和“与其相关联”及其衍生词可以是包括、被包括在之内、互相连接、包含、被包含在之内、连接到或连接有、耦接到或耦接有、可通信、协作、交错、并置、接近于、被约束到/有、具有、具有属性等；以及术语“控制器”是控制至少一个操作的任何装置、系统或其部件，无论这样的装置是以硬件、固件、软件还是其中至少两个的组合的方式来实现。应该注意的是，无论是本地还是远程，与任何具体控制器相关联的功能可以是集中式或分布式的。贯穿本专利文件提供了某些词和短语的定义，并且本领域的技术人员将理解的是，在许多(如果不是大多数)情况下，这样的定义适用于这样定义的词和短语的在先使用以及未来使用。虽然一些术语可以包括各种各样的实施例，但是所附权利要求可以将这些术语清楚地限制到具体实施例。
附图说明
为了更加完全地理解本公开及其优点，现在结合附图来对以下描述进行参考，其中相同的附图标记表示相同的对象，在附图中：
图1图示了可以实现实施例的数据处理系统的框图；
图2图示了根据公开的示例实施例的反映真实对象的位置和定向的虚拟仿真环境中的虚拟对象的第一示意图；
图3图示了根据公开的示例实施例的反映真实对象的位置和定向的虚拟仿真环境中的虚拟对象的第二示意图；以及
图4图示了根据公开的实施例的用于在虚拟仿真中定位虚拟对象的过程的流程图。
具体实施方式
在本专利文件中，下面所讨论的图1至图4以及用来描述本公开的原理的各个实施例仅是通过说明的方式，而不应该被解释为以任何方式限制本公开的范围。本领域的技术人员将理解的是，可以采用任何适当布置的装置来实现本公开的原理。将参考示例性的非限制性实施例来描述本申请的众多创新性教导。
现有技术(基于用于控制虚拟对象的虚拟位置和虚拟定向的典型HMI的使用)是繁琐的、乏味的、容易出错的且另外不适于任务的。此外，例如，基于点云扫描的现有技术可以是与单个时间点相关，而不是动态的。
实施例提供了众多益处，其包括但不限于：提供用户友好的方式，以用于对仿真环境的虚拟场景进行建模或者用于执行对仿真环境的虚拟场景的修改；以直观的方式使得能够用户友好地控制虚拟对象的位置和定向，以便如在真实世界中那样，完成工业仿真和设计；以及对于非专业用户而言，促进工业仿真软件包在车间的使用(诸如由西门子产品生命周期管理软件公司(德克萨斯州普莱诺市)提供的Process Simulate and HumanSimulation(过程仿真和人类仿真软件))，以便对正在进行的生产仿真执行虚拟仿真。
实施例可以特别有益地用于结合CAD环境的软件包，其包括但不限于NX、ProcessSimulate、Solid Edge以及由西门子产品生命周期管理软件公司(德克萨斯州普莱诺市)提供的其它软件包或者由其它软件供应商提供的软件包。结合CAD系统的实施例可以便利地提供完整的设计和仿真环境。
图1图示了数据处理系统100的框图，其中，实施例可以例如被实现为由软件来具体配置的PDM系统，或另外如本文所描述的那样被实现以执行处理，并且具体地，如本文所描述的那样被实现为多个互连和通信系统中的每一个。图示的数据处理系统100可以包括处理器102，该处理器102连接到二级缓冲器/桥接器104，二级缓冲器/桥接器104继而连接到本地系统总线106。例如，本地系统总线106可以是外围部件互连(PCI)架构总线。同样，在图示示例中，主存储器108和图形适配器110连接到本地系统总线。图形适配器110可以连接到显示器111。
其它外围设备如局域网(LAN)/广域网/无线(例如WiFi)适配器112也可以连接到本地系统总线106。扩展总线接口114将本地系统总线106连接到输入/输出(I/O)总线116。I/O总线116连接到键盘/鼠标适配器118、磁盘控制器120以及I/O适配器122。磁盘控制器120可以连接到存储器126。存储器126可以是任何适当的机器可用或机器可读存储介质，包括但不限于非易失性硬编码型介质(如只读存储器(ROM))或可擦除可电编程只读存储器(EEPROM)、磁带存储器和用户可记录型介质(如软盘、硬盘驱动器和紧致盘只读存储器(CD-ROM)或数字通用盘(DVD))以及其它已知的光、电或磁存储装置。
同样，在示出的示例中，音频适配器124连接到I/O总线116，扬声器(未示出)可以连接到音频适配器124以播放声音。键盘/鼠标适配器118提供了对于指点装置(如鼠标、轨迹球、道指示器、触摸屏等)(未示出)的连接。
本领域的技术人员将意识到的是，图1所示的硬件可以因具体实现而变化。例如，也可以另外使用其它外围设备(例如光盘驱动器等)或者用其来代替图示的硬件。图示的示例仅为了说明的目的而被提供，而并不意味着相对于本公开的架构限制。
根据本公开的实施例的数据处理系统可以包括使用图形用户界面的操作系统。操作系统允许在图形用户界面中同时呈现多个显示窗口，其中，每个显示窗口提供朝向不同应用程序或者朝向同一应用程序的不同实例的界面。用户可以通过指点装置来操作图形用户界面中的光标。可以改变光标的位置，并且/或者可以生成事件(如点击鼠标按钮)以触发所需的响应。
如果适当地被修改，则可以使用各种商业操作系统(如Microsoft WindowsTM版本(位于华盛顿州雷蒙德市的微软公司的产品))中的一种。根据本公开如所描述的那样来修改或创建操作系统。
如本领域的技术人员已知的那样，LAN/WAN/无线适配器112可以连接到网络130(不是数据处理系统100的一部分)，网络130可以是任何公共的或私人的数据处理系统网络或者是包括互联网的网络的组合。数据处理系统100可以通过网络130与服务器系统140进行通信，服务器系统140也不是数据处理系统100的一部分，而是可以例如被实现为单独的数据处理系统100。
图2和图3分别图示了根据公开的示例实施例的反映真实对象的位置和定向的虚拟仿真环境中的虚拟对象的第一示意图和第二示意图。
在虚拟环境206中，虚拟对象204是可用的。虚拟环境已经布置有反映真实环境207的一个或多个真实对象203的一个或多个虚拟对象204。图2和图3图示了这样的对象中的一个被3D摄像机201所捕捉的示例性实施例。
本领域的技术人员认识到的是，在其它实施例中，多个不同的真实对象203可以同时被3D摄像机201捕捉，并且因此被识别。对于可用于虚拟环境的虚拟对象204的集合，相应的3D虚拟模型的集合设置在系统之内。可以从各种不同的来源来提供3D虚拟模型的集合，所述各种不同的来源包括但不限于：虚拟仿真环境；通过点云扫描、通过2D图像扫描、机械扫描、手动扫描而被连接到虚拟仿真环境的CAD软件、CAD库；以及其它来源。CAD模型是特定类型的3D虚拟模型，并且在图2和图3中所图示的示例性实施例中，当3D虚拟模型是CAD模型时，虚拟对象204可以是CAD对象。
3D摄像机201位于物理场景中，并且在虚拟世界中被注册，以便通过在虚拟场景中限定3D摄像机的位置和定向来提供一致的偏移。在3D摄像机201已经捕捉了真实对象203的至少一个3D图像之后，识别真实对象203。将识别到的真实对象203链接到相应的虚拟对象204。如本文所使用的那样，为了简单起见，术语“3D图像”用来表示来自3D摄像机的一组帧或帧流。
在一些实施例中，真实对象203与相应的虚拟对象204之间的链接可以适于由用户手动完成。在其它实施例中，可以经由挑选(picking)通过自动识别来完成链接。例如，在示例性方案中，其中仿真环境被设置有不同尺寸的三个(或任何数目)不同虚拟对象，一旦识别到真实对象，就可以通过自动识别(例如通过挑选与给定的3D扫描相关联的虚拟对象)来完成链接(即三个虚拟对象之中的选择)。在这样的后者情况下，软件能够将3D摄像机图像链接到具有给定3D扫描的特定CAD对象。
在一些实施例中，可以从现有的CAD库中获得有关CAD模型。通过提取关于真实场景中的真实对象的位置和定向的位置数据，根据真实对象203来校准虚拟对象204，以便虚拟对象204被定位在反映了真实场景207中相应的真实对象203的真实位置和真实定向的虚拟位置和虚拟定向处。如图所示，图3中的虚拟对象204具有与图2的虚拟对象204不同的位置和定向，这反映了真实对象203的位置和定向的变化。在一些实施例中，可以通过操作器205来操作3D对象的位置和定向，以对应于虚拟对象的位置和定向的图形表示。
图4图示了根据公开的实施例的用于定位虚拟环境中的虚拟对象的过程的流程图400。例如可以通过上述图1的系统100来执行这样的过程，但是以下过程中的“系统”可以是被配置成执行所描述过程的任何设备。
虚拟仿真环境包括反映真实环境的真实场景的虚拟场景。设置了表示真实环境的至少一个真实对象的至少一个虚拟对象，该虚拟对象由3D虚拟模型来限定。
在动作405处，接收3D摄像机在真实场景中的定位。
在动作410处，在虚拟仿真环境中注册3D摄像机，以便在真实场景与虚拟场景之间进行校准。
在动作415处，接收真实场景中在特定位置和特定定向处的至少一个真实对象的定位。
在动作420处，3D摄像机捕捉在真实场景中被定位的至少一个真实对象的至少一个3D图像。
在动作425处，从至少一个捕捉到的3D图像中识别至少一个真实对象。
在动作430处，将至少一个识别到的真实对象链接到其相应的虚拟对象。
在动作435处，提取至少一个识别到的真实对象在真实场景中的特定位置的位置数据和特定定向的位置数据。
在动作440处，通过使用提取到的位置数据在虚拟场景中的特定虚拟位置和特定虚拟定向(其反映真实场景中的相应真实对象的特定位置和特定定向)处定位链接的虚拟对象。
在一些实施例中，改变识别到的真实对象的位置和定向，并且使用反映这些变化的位置和定向通过相应地重复动作420、435和440来定位相应的链接的虚拟对象。通过这样的实施例，可以有利地提供动态更新。在这样的实施例的情况下，真实场景中的真实对象的任何运动可以影响虚拟场景中的虚拟对象的位置和定向，以便在连接的系统中，真实对象和虚拟对象之间的运动是同步的，还是实时的。
处理器102、存储器108以及运行在处理器102上的仿真程序中的一个或多个经由以下中的一个或多个来接收输入：本地系统总线106；适配器112；网络130；服务器140；接口114；I/O总线116；磁盘控制器120；存储器126等。如本文所使用的那样，接收可以包括从存储器126中检索、从另一装置或过程中接收、经由与用户的交互来接收或者另外的方式。
当然，本领域的技术人员将认识到的是，除非操作的顺序明确指示或要求，否则在上述过程中的某些动作可以被省略、并行地或顺序地被执行或者以不同的次序被执行。
本领域的技术人员将认识到的是，为了简单和清楚起见，本文不会说明或描述适于与本公开一起使用的所有数据处理系统的完整的结构和操作。替代地，甚至仅说明和描述了对于本公开而言是唯一的或者对于本公开的理解而言是必要的数据处理系统。数据处理系统100的结构和操作的其余部分可以符合本领域中已知的各种现有的实现和实践。
重要的是要注意：虽然本公开包括功能完备的系统的上下文中的描述，但是本领域的技术人员将意识到的是，本公开的机构的至少多个部分能够以指令的形式被分发，指令被包含在以任何各种形式的机器可用介质、计算机可用介质或者计算机可读介质之内，并且本公开同样地适用于无论是特定类型的指令还是实际上用以实现分发的信号承载介质或存储介质。机器可用/可读介质或计算机可用/可读介质的示例包括：非易失性硬编码型介质如只读存储器(ROM)或可擦除可电编程只读存储器(EEPROM)以及用户可记录型介质如软盘、硬盘驱动器以及紧致盘只读存储器(CD-ROM)或数字通用盘(DVD)。
虽然已经详细描述了本公开的示例性实施例，但是本领域的技术人员将理解的是，在不背离本公开以其最广泛的形式的精神和范围的情况下，可以进行本文所公开的各种变化、替换、变体和改进。
本申请中的描述决不应该被理解为意味着任何具体元件、动作或功能是必需包括在权利要求范围内的基本元素，授权主题的范围仅由所允许的权利要求来限定。

Claims (12)

1.一种用于通过数据处理系统在虚拟仿真环境中定位虚拟对象的方法，其中，所述虚拟仿真环境包括反映真实环境的真实场景的虚拟场景，并且其中，所述虚拟仿真环境设置有至少一个虚拟对象，所述至少一个虚拟对象表示所述真实环境的至少一个真实对象，所述至少一个虚拟对象通过3D三维虚拟模型而被限定，所述方法包括：
接收(405)3D摄像机(201)在所述真实场景中的定位；
在所述虚拟仿真环境(206)中注册(410)所述3D摄像机(201)；
接收所述真实场景中在特定位置和特定定向处的真实对象(203)的定位(415)；
通过所述3D摄像机(201)来捕捉(420)在所述真实场景中被定位的真实对象(203)的至少一个3D图像；
从至少一个捕捉到的3D图像中识别(425)所述真实对象(203)；
将识别到的真实对象(203)链接(430)到相应的虚拟对象(204)；
提取识别到的真实对象(203)在所述真实场景中的特定位置和特定定向的位置数据(435)；以及
定位(440)位于所述虚拟场景中的特定虚拟位置和特定虚拟定向处的链接的虚拟对象(204)所述虚拟场景中的特定虚拟位置和特定虚拟定向反映所述真实场景中的相应真实对象(203)的特定位置和特定定向，所述定位包括使用提取到的位置数据。
2.根据权利要求1所述的方法，其中，从由以下项组成的群组中选择所述3D虚拟模型：
计算机辅助设计(CAD)模型；
类CAD模型；
点云模型；以及
3D计算机模型。
3.根据前述权利要求中任一项所述的方法，进一步包括：
接收所述真实对象(203)的特定位置和特定定向的定位的变化；以及
重复所述捕捉、所述提取和所述定位的步骤，以便重新定位位于所述虚拟场景中的特定第二虚拟位置和特定第二虚拟定向处的链接的虚拟对象(204)，所述虚拟场景中的特定第二虚拟位置和特定第二虚拟定向反映所述真实场景中的相应真实对象(203)的特定第二位置和特定第二定向。
4.根据前述权利要求中任一项所述的方法，其中，从由以下项组成的群组中选择所述真实对象：
一件设备；
工具；
一件材料；
半成品；以及
制成品。
5.根据前述权利要求中任一项所述的方法，其中，所述捕捉经由挑选而被自动执行。
6.根据前述权利要求中任一项所述的方法，其中，所述捕捉适于被手动执行。
7.一种数据处理系统，包括：
处理器；以及
可访问的存储器，所述数据处理系统被配置成：
接收三维(3D)摄像机(201)在真实场景中的定位；
在虚拟仿真环境中注册所述3D摄像机(201)；
接收所述真实场景中在特定位置和特定定向处的至少一个真实对象(203)的定位；
接收通过所述3D摄像机(201)进行的在所述真实场景中被定位的至少一个真实对象(203)的至少一个3D图像的捕捉的输入；
从至少一个捕捉到的3D图像中识别所述至少一个真实对象(203)；
将至少一个识别到的真实对象(203)链接到由3D虚拟模型所限定的相应的虚拟对象(204)；
接收至少一个识别到的真实对象(203)在所述真实场景中的特定位置和特定定向的提取到的位置数据的输入；以及
使用提取到的位置数据来定位位于所述虚拟场景中的特定虚拟位置和特定虚拟定向处的链接的虚拟对象(204)，所述虚拟场景中的特定虚拟位置和特定虚拟定向反映所述真实场景中的相应真实对象(203)的特定位置和特定定向。
8.根据权利要求7所述的数据处理系统，其中，从由以下项组成的群组中选择所述3D虚拟模型：
计算机辅助设计(CAD)模型；
类CAD模型；
点云模型；以及
3D计算机模型。
9.根据权利要求7或8所述的数据处理系统，其中，从由以下项组成的群组中选择所述真实对象：
一件设备；
工具；
一件材料；
半成品；以及
制成品。
10.一种非暂态计算机可读介质，其使用可执行指令来进行编码，当执行所述可执行指令时，使得一个或多个数据处理系统：
接收三维3D摄像机(201)在真实场景中的定位；
在虚拟仿真环境中注册所述3D摄像机(201)；
接收所述真实场景中在特定位置和特定定向处的至少一个真实对象(203)的定位；
接收通过所述3D摄像机(201)进行的在所述真实场景中被定位的至少一个真实对象(203)的至少一个3D图像的捕捉的输入；
从至少一个捕捉到的3D图像中识别所述至少一个真实对象(203)；
将至少一个识别到的真实对象(203)链接到由3D虚拟模型所限定的相应的虚拟对象(204)；
接收至少一个识别到的真实对象(203)在所述真实场景中的特定位置和特定定向的提取到的位置数据的输入；以及
使用提取到的位置数据来定位位于所述虚拟场景中的特定虚拟位置和特定虚拟定向处的链接的虚拟对象(204)，所述虚拟场景中的特定虚拟位置和特定虚拟定向反映所述真实场景中的相应真实对象(203)的特定位置和特定定向。
11.根据权利要求10所述的非暂态计算机可读介质，其中，从由以下项组成的群组中选择所述3D虚拟模型：
计算机辅助设计(CAD)模型；
类CAD模型；
点云模型；以及
3D计算机模型。
12.根据权利要求10或11所述的非暂态计算机可读介质，其中，从由以下项组成的群组中选择所述真实对象：
一件设备；
工具；
一件材料；
半成品；以及
制成品。
CN201610728211.6A 2015-09-25 2016-08-25 用于在虚拟仿真环境中定位虚拟对象的方法与系统 Pending CN106557606A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/866,329 2015-09-25
US14/866,329 US20170092000A1 (en) 2015-09-25 2015-09-25 Method and system for positioning a virtual object in a virtual simulation environment

Publications (1)

Publication Number Publication Date
CN106557606A true CN106557606A (zh) 2017-04-05

Family

ID=56883502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610728211.6A Pending CN106557606A (zh) 2015-09-25 2016-08-25 用于在虚拟仿真环境中定位虚拟对象的方法与系统

Country Status (3)

Country Link
US (1) US20170092000A1 (zh)
EP (1) EP3166081A3 (zh)
CN (1) CN106557606A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301026A (zh) * 2016-04-15 2017-10-27 国立民用航空学院 在计算机生成的环境中的选择性显示
CN107320069A (zh) * 2017-06-19 2017-11-07 泰康保险集团股份有限公司 智能看护方法、装置、系统及服务器
CN109800695A (zh) * 2019-01-09 2019-05-24 中德（珠海）人工智能研究院有限公司 一种用于在虚拟模拟环境中定位虚拟对象的方法和系统
CN110808970A (zh) * 2019-10-28 2020-02-18 上海掌门科技有限公司 一种用于提供植物生长信息的方法与设备
CN113168735A (zh) * 2018-10-22 2021-07-23 犹尼蒂知识产权有限公司 用于在混合现实环境中针对视觉数字创作处理和划分真实世界的部分的方法和系统

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10354441B2 (en) * 2016-05-20 2019-07-16 ETAK Systems, LLC Augmented reality systems and methods for telecommunications site modeling
CN107124416B (zh) * 2017-05-02 2020-10-16 阿里巴巴（中国）有限公司 多化身位置同步系统、方法、装置及电子设备和存储介质
US11407111B2 (en) 2018-06-27 2022-08-09 Abb Schweiz Ag Method and system to generate a 3D model for a robot scene
CN109271893B (zh) * 2018-08-30 2021-01-01 百度在线网络技术（北京）有限公司 一种仿真点云数据的生成方法、装置、设备及存储介质
CN109117825B (zh) 2018-09-04 2020-01-17 百度在线网络技术（北京）有限公司 车道线处理方法和装置
CN109143242B (zh) 2018-09-07 2020-04-14 百度在线网络技术（北京）有限公司 障碍物绝对速度估计方法、系统、计算机设备和存储介质
CN109146898B (zh) 2018-09-07 2020-07-24 百度在线网络技术（北京）有限公司 一种仿真数据量增强方法、装置以及终端
CN109215136B (zh) * 2018-09-07 2020-03-20 百度在线网络技术（北京）有限公司 一种真实数据增强方法、装置以及终端
CN109255181B (zh) 2018-09-07 2019-12-24 百度在线网络技术（北京）有限公司 一种基于多模型的障碍物分布仿真方法、装置以及终端
CN110375659B (zh) 2018-09-11 2021-07-27 百度在线网络技术（北京）有限公司 检测障碍物高度的方法、装置、设备及存储介质
CN109165629B (zh) 2018-09-13 2019-08-23 百度在线网络技术（北京）有限公司 多焦距视觉障碍物感知方法、装置、设备及存储介质
JP7046786B2 (ja) * 2018-12-11 2022-04-04 株式会社日立製作所 機械学習システム、ドメイン変換装置、及び機械学習方法
CN109703568B (zh) 2019-02-19 2020-08-18 百度在线网络技术（北京）有限公司 自动驾驶车辆行驶策略实时学习的方法、装置和服务器
CN109712421B (zh) 2019-02-22 2021-06-04 百度在线网络技术（北京）有限公司 自动驾驶车辆的速度规划方法、装置和存储介质
JP7359941B2 (ja) * 2019-08-12 2023-10-11 マジック リープ， インコーポレイテッド 仮想現実および拡張現実のためのシステムおよび方法
EP4188864A4 (en) * 2020-07-31 2024-04-24 Siemens Industry Software Ltd. METHOD AND DEVICE FOR EMULATING A SYSTEM WITH AN AUTOMATICALLY DRIVED VEHICLE
WO2023180785A1 (en) * 2022-03-22 2023-09-28 Siemens Industry Software Ltd. Method and system for enabling inspecting an industrial robotic simulation at a crucial virtual time interval
CN115048017B (zh) * 2022-07-28 2023-10-17 广东伟达智能装备股份有限公司 一种3d控制系统中模拟抓放箱与实景同步的控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120194517A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Using a Three-Dimensional Environment Model in Gameplay
CN103260015A (zh) * 2013-06-03 2013-08-21 程志全 基于RGB-Depth摄像头的三维可视监控系统
US20150217455A1 (en) * 2014-02-04 2015-08-06 Microsoft Corporation Controlling a robot in the presence of a moving object

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120194517A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Using a Three-Dimensional Environment Model in Gameplay
CN103260015A (zh) * 2013-06-03 2013-08-21 程志全 基于RGB-Depth摄像头的三维可视监控系统
US20150217455A1 (en) * 2014-02-04 2015-08-06 Microsoft Corporation Controlling a robot in the presence of a moving object

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KARL PAUWELS ET AL.: "Real-time Object Pose Recognition and Tracking with an Imprecisely Calibrated Moving RGB-D Camera", 《2014 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS 2014)》 *
KARL PAUWELS_ET AL.: "Real-time RGB-D-based Object and Manipulator Pose Estimation", 《ROBOTICS 2014: SCIENCE AND SYSTEMS, WORKSHOP ON RGB-D: ADVANCED REASONING WITH DEPTH CAMERAS》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301026A (zh) * 2016-04-15 2017-10-27 国立民用航空学院 在计算机生成的环境中的选择性显示
CN107320069A (zh) * 2017-06-19 2017-11-07 泰康保险集团股份有限公司 智能看护方法、装置、系统及服务器
CN113168735A (zh) * 2018-10-22 2021-07-23 犹尼蒂知识产权有限公司 用于在混合现实环境中针对视觉数字创作处理和划分真实世界的部分的方法和系统
CN113168735B (zh) * 2018-10-22 2024-05-28 犹尼蒂知识产权有限公司 用于在混合现实环境中针对视觉数字创作处理和划分真实世界的部分的方法和系统
CN109800695A (zh) * 2019-01-09 2019-05-24 中德（珠海）人工智能研究院有限公司 一种用于在虚拟模拟环境中定位虚拟对象的方法和系统
CN110808970A (zh) * 2019-10-28 2020-02-18 上海掌门科技有限公司 一种用于提供植物生长信息的方法与设备

Also Published As

Publication number Publication date
US20170092000A1 (en) 2017-03-30
EP3166081A3 (en) 2017-05-17
EP3166081A2 (en) 2017-05-10

Similar Documents

Publication Publication Date Title
CN106557606A (zh) 用于在虚拟仿真环境中定位虚拟对象的方法与系统
CN107065790A (zh) 用于确定虚拟环境中的虚拟机器人的配置的方法和系统
Wolfartsberger et al. A virtual reality supported 3D environment for engineering design review
WO2016164355A1 (en) Method and apparatus for sharing augmented reality applications to multiple clients
CN107053165A (zh) 用于模拟和处理防冲突管理的方法及数据处理系统
CN107077519A (zh) 用于增材制造的构建取向
CN104111812A (zh) 显示控制方法和装置
CN111195906B (zh) 用于预测机器人的运动轨迹的方法和系统
EP3149609A1 (en) Creation of associative 3d product documentation from drawing annotation
CN108604256B (zh) 零件信息检索装置、零件信息检索方法以及程序
CN106030570A (zh) 显现数据集间的关系
US20160275219A1 (en) Simulating an industrial system
US11663680B2 (en) Method and system for automatic work instruction creation
US20110307224A1 (en) System and Method for Machine Engine Modeling
CN109800695A (zh) 一种用于在虚拟模拟环境中定位虚拟对象的方法和系统
Manuri et al. A workflow analysis for implementing AR-based maintenance procedures
CN105700860B (zh) 用于生成产品模型的方法和装置
JP5644452B2 (ja) 情報処理装置、その制御方法、及びプログラム
CN104272352B (zh) 用于pdm的方法和装置以及pdm数据处理系统
EP3655871A1 (en) Method and system for simulating a robotic program of an industrial robot
CN104851124B (zh) 基于增强现实的造园交互系统
KR102138980B1 (ko) 디지털 컨텐츠 생성 방법 및 장치
WO2023084280A1 (en) Method and system for point cloud processing and viewing
WO2022043732A1 (en) Method and system for automatically determining a motion data sample of a given robot and its sourronding object set
KR101662765B1 (ko) 무결성 피드백 시스템 및 그 무결성 피드백 시스템의 정보 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170405

WD01 Invention patent application deemed withdrawn after publication