CN109478103B - 用于在虚拟现实中显示三维模型的系统及方法 - Google Patents

用于在虚拟现实中显示三维模型的系统及方法 Download PDF

Info

Publication number
CN109478103B
CN109478103B CN201780045798.3A CN201780045798A CN109478103B CN 109478103 B CN109478103 B CN 109478103B CN 201780045798 A CN201780045798 A CN 201780045798A CN 109478103 B CN109478103 B CN 109478103B
Authority
CN
China
Prior art keywords
user
model
view
component
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780045798.3A
Other languages
English (en)
Other versions
CN109478103A (zh
Inventor
马雷克·克里茨勒
马蒂亚斯·迈尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN109478103A publication Critical patent/CN109478103A/zh
Application granted granted Critical
Publication of CN109478103B publication Critical patent/CN109478103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/23—Design optimisation, verification or simulation using finite element methods [FEM] or finite difference methods [FDM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Analysis (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

对于在虚拟现实(VR)中显示3D模型(20)，仅仅将CAD显示从2D屏幕转变为3D图像可能不足以减少信息杂乱。为了给3D CAD模型(20)提供带有较少遮挡或杂乱的元数据，在虚拟现实环境中生成单独的空间(32)。关于3D CAD模型(20)和/或3D CAD模型(20)的选定部件(36)的元数据及信息在单独的空间(32)中显示(58)。用户可在一个空间(30)中查看3D CAD模型(20)，在另一空间(32)中查看带有或不带有部件表示的元数据，或其组合。

Description

用于在虚拟现实中显示三维模型的系统及方法
相关申请
本专利文件要求2016年6月22日提交的临时美国专利申请序列号62/353,073的根据35U.S.C.§119(e)的提交日期的权益，该专利申请通过引用并入本文。
技术领域
本实施例涉及三维模型的显示。火箭、风力涡轮机、汽车、自行车、鞋子、开槽螺钉以及其它对象是使用计算机辅助设计(CAD)软件设计的。CAD用于为任何行业及任何目的创建任何大小的模型。工程师使用CAD设计、分析以及模拟对象的属性。工程师可修改三维(3D)CAD模型的单个部件。该部件可组合为组装件。
背景技术
使用键盘和鼠标在计算机上设计3D CAD模型。例如，计算机屏幕和CAD软件提供了高密度的信息以及对用于创建、操控和可视化的不同工具的方便访问。CAD软件的供应商提供了将CAD文件作为渲染到台式计算机的二维(2D)屏幕的三维(3D)模型进行查看的工具。关于3D模型的元数据显示在面板上，该面板可能与3D模型重叠，或者要求3D模型小于真实世界尺度以允许面板的显示。随着工程对象的复杂性提高，与这些模型交互和查看它们的连接信息变得难得多。在2D计算机屏幕上表示3D CAD模型会忽略三维空间，并且显示功能元数据可能会变得不知所措。
发明内容
通过介绍，以下描述的优选实施例包括用于在虚拟现实(VR)中显示3D模型的方法、系统、指令以及计算机可读介质。仅仅将CAD显示器从2D屏幕转变为3D图像可能不足以减少信息杂乱。为了给3D CAD模型提供带有较少遮挡或杂乱的元数据，在虚拟现实环境中生成额外的空间。关于3D CAD模型和/或3D CAD模型选定部件的元数据在额外空间中显示。用户可在一个空间中查看3D CAD模型，在另一空间中查看具有或不具有部件表示的元数据，或其组合。
在第一方面中，提供了用于在虚拟现实中显示三维模型的系统。存储器被配置为存储对象的三维模型。虚拟现实头戴式设备被配置为向佩戴虚拟现实头戴式设备的用户显示虚拟环境。处理器被配置为生成虚拟环境，该虚拟环境具有(1)定位在表面的第一侧上的三维模型的表示和(2)三维模型的用户选定部件的表示以及定位在表面的第二侧上的用户选定部件的元数据。
在第二方面中，提供了用于使用虚拟现实头戴式设备显示三维模型的方法。在虚拟现实头戴式设备中，部件的布置的三维计算机辅助设计的第一视图显示为搁置在三维空间中的第一水平上。接收用户对部件的布置的第一部件的选择。用户视图从第一视图通过地板转换到地板的、与第一视图相对的一侧上的、在三维空间的第二水平上的第二视图。在虚拟现实头戴式设备中的第二视图处显示第一部件以及关于第一部件的信息。
在第三方面中，虚拟现实系统包括立体显示器，该立体显示器被配置为在第一空间中表示计算机辅助设计模型的内部，并且在与第一空间分离的第二空间中表示关于计算机辅助设计模型的信息。用户输入传感器被配置为接收来自用户的交互输入。处理器被配置为响应于交互输入，将用户焦点从内部改变到信息。
本发明由所附权利要求限定，并且本节中的内容不应被视为对这些权利要求的限制。本发明的其它方面以及优点结合优选的实施例在以下进行论述，并且可稍后单独或组合地要求保护。
附图说明
组件和附图不一定按比例绘制，而是强调说明本发明的原理。此外，在附图中，在所有不同视图中，相似参考编号指定对应部件。
图1示出具有多空间环境的虚拟现实系统的实施例；
图2示出多空间虚拟环境的一个示例；
图3示出3D CAD模型的示例内部视图；
图4为多空间虚拟环境的另一个示例；
图5示出元数据的信息中心的示例视图，其中3D CAD模型的部件可通过半透明表面查看到；以及
图6为用于使用虚拟现实头戴式设备显示三维模型的方法的一个实施例的流程图。
具体实施方式
在VR环境中显示3D CAD模型和模型信息。CAD是工程的重要部分。CAD程序帮助创建、分析以及优化从螺钉到飞机的模型。VR为由戴着头戴式设备的用户查看的计算机模拟的世界。该头戴式设备的特征在于具有用于每只眼睛的屏幕，并且以惯性测量单元(IMU)来跟踪头部的移动，用于导航VR。由于应用程序对身体和头部的移动做出反应，因此可能会感觉人工世界是真实的。CAD和VR的组合允许用户在VR中探索3D CAD模型。可体验实际大小或另一大小的模型。
与2D计算机屏幕上的可视化相比较，VR可帮助更沉浸并且更直观地探索3D CAD模型。用户可与基于3D CAD模型的虚拟表示交互并且操控虚拟表示。VR系统允许用户体验其中空间为无限制的并且可排除或改变物理定律的虚拟世界。丰富的实验现场允许用户探索尚未构建的对象的属性。在一个实施例中，无重力环境允许用户通过所显示的模型在3D空间中导航，并且体验视觉设置以及相关信息两者。VR是非常适合的技术，它可以闭合在2D计算机屏幕上的3D模型的可视化限制与缺乏沉浸式探索可能性之间的间隙。
在VR中探索3D CAD模型时，用户可进入3D模型以了解3D模型的内部的部件和细节。在VR中，用户可能完全地或大部分地被3D模型包围。在此情况下，不可能显示关于3D模型整体或其部件的信息而不阻挡3D模型或者使虚拟3D模型的大部分失效。此外，3D模型内的空间非常有限。在不重新定位的情况下，可能没有足够的空间来显示信息面板。这些信息面板可能妨碍对3D模型的剩余部分的探索。面板覆盖了视图和与3D模型的其它部分交互的可能性。此外，被研究的部件可被附接到3D模型的其它部分或内置在其中，所以3D模型的这些其它部分可能遮挡关注部分中的一些。
为使用较少遮挡处理大量可用信息，在3D虚拟表示和相关信息之间分离多空间(例如，两层楼)象征物。第二水平或空间是VR中“传统视图查看”3D CAD数据的补充。这种方法允许显示3D CAD模型和相关信息，而不覆盖所呈现的3D CAD模型的部件。所有大小的模型可被沉浸地探索，同时仍然提供足够的空间在单独的空间中检查3D模型的特定部件。添加与整个3D模型显示独立的空间防止用户迷失在VR世界中。两个空间之间的直接连接将空间联系在一起。例如，该连接可通过半透明地板实现。用户可以在虚拟世界中定位单独的空间以及自己。引入单独的空间用于显示3D CAD模型的一部分避免了3D模型的其余部分造成的遮挡以及在一部件旁显示信息的面板造成的遮挡。这种单独的空间可克服在3D模型旁边显示出板的缺点，因为3D模型可以是大型对象(例如，火车、汽车、平原或风力涡轮机)。
图1示出了用于在VR中显示3D模型的系统的一个实施例。该VR系统被配置为在一个空间中显示3D模型，并且在额外单独空间中显示额外信息。这些空间以已知或直观的方式连接，诸如一个在另一个之上，以便于导航。
系统包括带有一个或多个传感器12、一个或多个传感器16、处理器14、存储器18以及立体显示器26的VR头戴式设备22。可提供额外的、不同的或更少的组件。例如，提供了运动检测手套或运动检测传感器、麦克风、扬声器(例如，耳机)或其它VR硬件。作为另一示例，没有提供传感器12。
系统实施图6的方法或不同的方法。例如，处理器14和立体显示器26实施了行为50、56、58和60。传感器12实施行为54。传感器12和/或处理器14实施行为52。其它组件或组件的组合可实施这些行为。
处理器14和/或存储器18是VR头戴式设备22的一部分。处理器14和/或存储器18与立体显示器26包含在同一壳体中，或者在单独的壳体中。在单独壳体中，处理器14和/或存储器18可由用户佩戴，诸如在背包中、安装在腰带上或绑在装置上。可替换地，处理器14和/或存储器18是与用户隔开的计算机、服务器、工作站或其它处理装置，并且使用与VR头戴式设备22、立体显示器26和/或传感器12的通信。有线或无线通信用于在处理器14、存储器18、传感器12、显示器26以及VR头戴式设备22的任何其它电子组装件之间交互。单独处理器可用于组件中的任一个。
存储器18是图形处理存储器、视频随机存取存储器、随机存取存储器、系统存储器、缓存存储器、硬盘驱动器、光学介质、磁介质、闪存驱动器、缓冲器、数据库、其组合，或用于存储3D模型、元数据、相机信息、立体图像、传感器信号和/或其它信息的其它现在已知或以后开发的存储器装置。存储器18是与处理器14、VR头戴式设备22或独立的装置相关联的计算机的一部分。
存储器18被配置为存储对象的3D模型，诸如对象20的CAD模型。在虚拟现实导航期间，3D CAD模型或3D数据被用来从任何潜在用户视角渲染或生成立体视图。
对象20由3D数据表示。例如，建筑、互相关部件的组装件或制造对象20由CAD数据和/或其它工程数据表示。3D数据通过由大小、形状和/或长度参数化的段表示。可使用其它3D数据参数化，诸如网格或互连的三角形。作为另一示例，3D数据为沿着均匀或非均匀网格分布的体素。可替代地，执行分割，并且3D数据是拟合的模型或网格。
3D模型表示对象20的几何形状。表示一个或多个表面。3D模型包括对象20的表面，不基于虚拟相机。3D CAD通常在3D空间中通过使用XYZ坐标(顶点)表示。顶点之间的连接是已知的—或者是几何图元如三角形/四面体，或者是构成3D CAD模型的更复杂的3D表示。CAD数据干净且完整(防渗透)并且不包括噪声。CAD数据通常以公制尺度规划和表示。工程或GIS数据也可包括少量噪声或没有噪声。可以呈现多于一个的模型，诸如定位成彼此相邻的两个或更多个3D模型。
3D模型可包括元数据。元数据编码在模型中，或者根据文件格式与3D模型分开存储。元数据可以是一个或多个标签。标签是物理对象的几何结构以外的信息。标签可以是部件信息(例如，部件编号、可用选项、材料、制造商、召回通知、性能信息、使用说明、组装/拆卸说明、成本和/或可用性)。标签可以是其它信息，诸如组件的装运日期。标签仅仅能识别对象20或对象20的一部分。可以为组装件的不同部件提供不同的元数据。元数据可以包括参考文档，诸如材料数据表、模拟结果、测试结果、召回通知、质量控制信息、设计备选方案和/或其他工程信息。元数据为关于3D模型而不是几何结构的信息。
可替换地或另外地，存储器18或其它存储器是计算机可读存储介质，其存储表示可由编程处理器14或另一处理器执行的指令的数据。用于实施本文论述的过程、方法、行为和/或技术的指令设置在非暂时性计算机可读存储介质或存储器上，诸如缓存、缓冲器、RAM、可移除介质、硬盘驱动器或其他计算机可读存储介质上。非暂时性计算机可读存储介质包括各种类型的易失性存储介质和非易失性存储介质。图中所示或本文所述的功能、行为或任务响应于存储在计算机可读存储介质中或计算机可读介质上的一组或多组指令执行。功能、行为或任务独立于特定类型的指令集、存储介质、处理器或处理策略，并且可由单独或组合操作的软件、硬件、集成电路、固件、微代码等执行。同样，处理策略可包括多处理、多任务处理、并行处理等。
在一个实施例中，指令存储在可移除介质装置上，用于由本地或远程系统读取。在其它实施例中，指令存储在远程位置，用于通过计算机网络或经电话线进行传输。在其它实施例中，指令存储在给定的计算机、CPU、GPU或系统内。
VR头戴式设备22包括立体头戴式显示器26以及惯性运动传感器16。可包括扬声器、麦克风和/或其它装置。可使用任何现在已知或者后来开发的VR头戴式设备，诸如Occulas、谷歌纸盒、HTC Hive、PlayStation VR或三星Galaxy VR。在可替代实施例中，使用一个或多个投影仪代替立体显示器26。投影仪将图形投影到用户的视网膜上。作为另一示例，眼动仪(例如，对准用户眼睛的相机)用来对齐视角与用户焦点的方向，而不是使用头部运动。
VR头戴式设备22被配置为向佩戴VR头戴式设备22的用户显示虚拟环境。例如，VR头戴式设备22是一对护目镜，它将用户全部或大部分的视野限制到立体显示器26。头戴式和/或护目镜装置可覆盖用户的整个视野。用户的部分视野可能被限制，诸如阻挡周向的视野。VR头戴式设备为头戴式或可戴的。例如，VR头戴式设备包括帽子或环，用于搁置在用户的头部上并且将显示器26放置在用户的眼睛前面。作为头戴式显示器，背带或头盔支撑显示器。
立体显示器26包括用于用户每只眼睛的单独显示器。一障碍物限制一只眼睛的显示器对另一只眼睛的显示器的干扰。单个显示器可用于示出两幅图像，为每只眼睛示出一幅图像。眼睛专用的图像是从不同的摄像机角度和/或位置渲染的，提供了立体图像。在可替代实施例中，可使用其它立体显示器。
惯性运动传感器16是用于检测用户的头部运动或VR头戴式设备22的位置和/或运动的变化的陀螺仪、加速度计、结构光传感器、重力场传感器和/或其它装置。磁场传感器可用来检测位置和/或运动。惯性运动传感器16测量位置或位置变化，诸如用于测量六个自由度的陀螺仪。虚拟现实中视野的视角随用户的头部移动而调整。在可替代实施例中，用户输入装置(诸如箭头键)被用来代替惯性移动。
提供了VR环境源，诸如图形处理器14。图形处理器14基于来自惯性运动传感器16的输入，为立体显示器26生成图像。处理器14生成多空间环境，用于为CAD模型的用户选定部分显示CAD模型或元数据。
传感器12为被配置为接收来自用户的交互(例如，导航)输入的用户输入传感器。使用了键盘、鼠标、轨迹球、触控板、触摸屏、手势传感器或其他用户输入装置。用户输入传感器测量或接收来自用户的输入，用于导航和/或与虚拟环境交互。
可替代地或另外地，传感器12是手势传感器。例如，跳跃运动手势传感器被用来识别用户的手。两个相机和软件在图形处理器14或单独的处理器上运行，以估计包括手指的双手的位置。传感器12与VR头戴式设备22固定地或可释放地连接，诸如粘接或安装在VR头戴式设备22的前面。电缆或无线连接用来提供来自传感器12的测量值。在其它实施例中，控制器或传感器安装在用户的手上或手套中用于手势感测。
交互方案识别用户的手势。例如，检测到由于单手、双手、一个手指和/或多个手指的运动或位置产生的模式(诸如捏)。可以使用任何数量的区分的手势，诸如提供了捏(例如，移动、旋转、缩放)、抓(例如，在场景中移动用户)；以及(3)拇指向上(例如，在地平面和信息中心之间切换)。根据背景，每个手势映射到一反应。一旦手势已经被识别，可向用户提供直接反馈。例如，如果识别捏或抓，手部被闪光高亮而拇指向上手势立即触发相关联的动作。可替代地或另外地，反馈为高亮或响应。
在一个实施例中，VR头戴式设备22是作为处理器14、存储器18、惯性运动传感器16以及立体显示器26的智能手机。手势传感器12安装在VR头戴式设备22的前面，用于查看用户的手和/或手指。可使用任何硬件和/或软件，诸如3D游戏引擎(例如，Unity)、VR头戴式设备(例如谷歌纸盒)、立体显示器26(例如，智能手机)、处理器14(例如，智能手机)、存储器18(例如，智能手机)、手势传感器(例如，跳跃运动)、菜单界面(例如，作为Hover-VR界面套件的一部分的Hovercast)以及流媒体应用程序(例如，用于生成图像的Trinus VR)。可以使用其它布置。
处理器14是通用处理器、中央处理单元、控制处理器、图形处理器、图形处理单元、数字信号处理器、三维渲染处理器、图像处理器、专用集成电路、现场可编程门阵列、数字电路、模拟电路、其组合或现在已知或以后开发的其它装置。处理器14是串行、并行或单独操作的单个装置或多个装置。处理器14可以是计算机的主处理器，诸如智能手机、笔记本电脑或台式计算机，或可以是用于在较大系统中处理一些任务的处理器，诸如在VR头戴式设备22中。处理器14由指令、设计、固件、硬件和/或软件配置，以执行本文论述的行为。
使用立体成像的处理器14生成虚拟环境。虚拟环境具有来自存储器18的3D CAD模型的表示或显示。通过提供不限于显示的3D CAD模型的尺寸的开放空间，这种表示具有任何大小。VR环境包括多个空间30、32。这些空间30、32可同时查看。例如，用户的视角被缩小以包括这两个空间。作为另一示例，当用户的视角被放入一个空间中或查看一个空间时，由于用户的取向，另一个空间的至少部分是可查看的。
空间30、32是分离的。可单独查看空间30、32而不用查看其他空间32、30。诸如通过墙壁或表面34，可使用任何分离。可替代地，通过不连接(即，一个部件或图形不延伸到另一个部件或图形中或由区域或空间分离)来分离空间30、32。
空间30、32彼此具有已知的关系，诸如具有相同的取向(例如，两个空间中向上是相同的)和/或通过坐标系对齐(例如，相同的比例，使得一个空间中的部件在另一个空间中的相同坐标处)。一个空间32可基于选定的部件相对于另一个空间移位(例如，将信息中心空间32的中心放置在3D模型20中部件36的中心处)。在一个实施例中，空间30、32通过相邻彼此具有已知的关系。例如，一个在另一个左边或一个在另一个上面。
在图1中所示的一个实施例中，具有阶层的关系或一个空间30在另一个空间32上面。可看见半透明底层或表面34支撑或保持整个3D CAD模型20。3D CAD模型20可根据当前需求调整大小，以允许更接近的观察但也有真实大小的体验。其它空间32是底层或表面34下面的信息中心。该第二较低层用来检查并且显示单个部件36或部件的子组装件，以及示出关于部件36、子组装件和/或整个3D CAD模型20的信息42(例如，元数据)。此信息中心空间32中的显示避免遮挡3D CAD模型20。
在3D模型空间中，3D模型的表示定位在表面34的顶侧上或以其它方式定位在空间30中。该表示是3D表示，诸如从给定的视角显示3D模型。3D模型可以作为真人大小呈现以帮助取向，但可使用模型的任何比例、大小、高度或其它尺寸。
表面34是底层，但可以是墙壁、天花板或其它分隔体。地板将三维空间分隔成不同水平。其它空间32在表面34的下面。表面34是分隔空间30、32的分离物。
表面34是不透明或半透明的。例如，当用户使用定位在表面34上方和/或空间30中的相机查看时，表面34是不透明的。当相机定位成远离3D模型20时，诸如超过表面34的边界的横向位置时，那么表面34显示为半透明。可替代地，表面34总是半透明的。半透明包括被视为具有相同水平透明度和/或具有比其它部件更不透明的点或网格线的平整表面。
表面34具有任意尺寸及形状，诸如是比3D模型更宽且更深但与整个3D模型一样大的椭圆形。表面34的大小和/或形状可适应3D模型20的大小。图2示出了汽车3D模型20，其中表面34横向延伸超出3D模型20不到3D模型20的1/2宽度或深度。图2示出了定位在表面34上面，但横向放置在表面34的边界外部的相机。VR环境包括用户从该相机位置同时查看的两个空间30、32。
基于来自传感器12、16的输入，处理器14在立体显示器26上生成虚拟环境，以示出在空间30、32、部件36和/或3D模型20中任一个周围、内部和/或穿过其的导航。可改变用户视角，以查看3D模型20周围和/或进入3D模型20。可在不同空间30、32之间连续导航并且穿过这些空间，但是可在空间30、32之间提供不相连的导航。用户可将3D模型作为整体进行探索，并且选择关注的部件或部件集。不同类型的移动允许用户选择最舒适且最适合的移动方法。提供的一组工具使用户能够与3D CAD模式20进行交互。在虚拟环境中，在用户手的位置处可示出菜单。带有菜单选项的板可被激活且显示用于菜单项的选择。
用户可选择部件36或子组装件。传感器12、16被激活，触发部件的选择。这种方法可能不使用重力，允许用户在场景中任何位置放置部件。可替代地，使用重力。如果一个部件正在移动，则物理学可允许或不允许部件碰撞。通过不允许碰撞，可更容易地挑选和移动任何部件而不是逐块拆卸掉整个3D CAD模型。用户可以停用部件或组装件以露出内置部件。
当用户穿过或相对于3D模型导航时，信息中心空间32停留在相同相对高度，但是信息中心空间32的内容在探索3D CAD模型20时可跟随用户。当用户导航或选择时，更新信息中心以包括与当前选定部件相关联的元数据。这有助于用户在切换至信息中心空间32时不失去他们的取向。
图3示出了带有相机以及用户在3D CAD模型20内的对应视角的3D CAD模型20的示例视图。在3D模型20的内部的立体显示器中示出了若干个不同的部件36。在图3的透视图中只示出第一空间30。当用户在3D模式中导航时，显示几何信息而没有其它元数据。一些元数据可在一个或多个部件36上显示。
当用户选择部件36时，部件36可被高亮。如果元数据将从内部视角在空间30中示出，则元数据(诸如在面板或其它注释上的元数据)将遮挡3D模型20的部件，否则从给定视角可查看到这些部件。当虚拟地探索3D模型时，用户可完全地进入场景中并且被3D模型包围。在此情形下，在虚拟板、虚拟屏幕或虚拟面板不遮挡3D模型、不缩小3D模型以腾出用于元数据的屏幕空间或禁用虚拟3D模型的大部件的情况下，显示关于3D模型整体或其部分的信息是不可能的。模型旁边的面板或板可能对于大的3D CAD模型(诸如飞机、火车或远洋班轮)不起作用。通过为元数据中的至少一些提供不同的空间32，可维护内部视图，其中元数据很少被遮挡或没有遮挡。
虚拟环境包括信息中心空间32，用于CAD模型20的几何结构之外的信息。3D模型20的用户选定部件36的3D表示和/或用于用户选定部件36的元数据定位在其它空间32中。在图1和图2的示例中，用户选定部件36以及元数据定位在相对于3D模型20的表面34的一侧上。关于3D CAD模型20的立体信息呈现在与第一空间30分离的第二空间32中。通过添加第二地板作为地平面或表面34下面的信息中心空间32，提供了空间以检查单个部件或部件集，但该空间没有附接(但仍然可参考上面完整的模型)到3D模型20的其余部分。可在不遮挡3D模型20其余部分但是仍然在带有3D模型的参考框架中的情况下查看选定部件36和/或元数据。
该信息中心空间32使用户能够挑选3D CAD模型20的特定部件36或组装件，并且更近距离观察。部件36或组装件不由在3D CAD模型20中出现的其它部件覆盖，并且用户不太可能被3D CAD模型20的其余部分分心。虽然用户的视角或视野包括信息中心空间32或在该信息中心空间中，但元数据可在不遮挡3D CAD模型20和/或部件36的情况下显示。
图4示出一个示例，其中表面34为将用于3D模型20的空间30从信息中心空间32分离开的有限程度的地平面。信息中心空间32包括基座38上的用户选定部件36。部件36在表面40上或上方显示，诸如用于信息中心空间32的地板。该其它表面40是半透明或不透明的。部件36在内部区域(即，地板表面40的中心和/或该地板表面的横向边界内)中的视平线处显示。在其它实施例中，不提供基座38。部件36被示为与3D模型20断开，因此可从任何角度查看部件36，而不被3D模型20的其它部件遮挡。
图5示出示例，其中相机定位在表面34以下和地板表面40的横向边界的外部。用户的视角示出了表面34下面的基座38上的部件36，通过其可看到3D模型20的部件。地板表面40的添加允许在不遮挡情况下查看选定对象或部件36，并且参考整个3D模型20。地板表面40与地表面34平行，提供了空间30、32之间的空间关系。
元数据以任何形式呈现。例如，在部件36上重叠显示了字母数字文本或链接的注释。元数据的图像、文本、链接、列表、图形、图表或其组合呈现在信息中心空间32中。
在1、4以及5中示出的实施例中，元数据呈现为一个或多个面板或板42。在图1中，板42定位在地板表面40的边界周围。在图4和图5中，示出了相互连接的板42的树形结构或菜单结构。板42的树状物示出在部件36后面(至少在初始相机位置处)并且在地板表面40的边界内横向。可使用没有背景板或面板的浮动文本或信息。可使用面板或板的任何位置，诸如叠堆和/或横向定位在地板表面40的边界外部。
信息中心允许显示3D模型部件36以及用于部件36的元数据，而没有任何遮挡。可延伸此信息中心空间32以传递关于整个3D模型20的信息，诸如包括部件的列表以及其它元数据。地板40的大小可以是有限的，以提供用户更好的取向，但仍然展示足够的空间以显示信息。选定部件36或部件集在视平线上呈现(任选地在保持文本输入的虚拟键盘的平台38的顶部上)，而部件36周围的虚拟板42显示可用信息或元数据，而不遮挡所显示的部件36。可提供具有不同板或面板、不同放置、不同表面和/或带有或没有基座的多个部件的其它布置。
为给特定部件36或子组装件填充信息中心空间32，用户在模型空间30中导航或查看3D模型20时，选择部件36和/或子组装件。例如，挑选和检查工具使得用户能够从3D CAD模型20提取部件或组装件。此工具复制部件36或组装件，并且将该复制品移动或放置到信息中心空间32中。可替代地，用户眼睛28的焦点指示3D模型20内的部件36，并且在信息中心空间32中选择并复制焦点处的任何部件36。在其它实施例中，部件36示为从3D模型20移动到基座38。信息中心空间32中还提供了元数据和/或菜单，菜单用于导航到所选部件36或子组装件的元数据。
在一个实施例中，面板列表、树形结构或图形显示了3D CAD模型20的部件名称，并且允许用户挑选特定的部件36，在3D模型20中高亮部件36，并且在信息中心空间32中快速地移动或放置部件36。在信息中心空间32中提供了列表、图形或结构。用户不用花费时间在整个3D CAD模型20中搜索部件36，而是导航到信息中心空间32中的板。这种方法可避免在所显示的3D CAD模型20旁边固定安装菜单或板，或避免在3D模型20中的部件36之间露出菜单以及遮挡3D模型20的一些部件。
使用两个空间30、32之间的空间关系，用户相机位置和/或视角可在两个空间30、32之间移位。用户的视角在地表面34的不同侧之间改变。可以使用任何的触发器，诸如手势、语音命令或输入键的激活。在一个实施例中，部件36或子组装件的选择为触发器。触发器导致视角的改变。视角从3D模型20(诸如从3D模型20的内部之内)移位到信息中心空间32中的部件36或子组装件前面的相同视图或取向，反之亦然。视角移位(从模型中心空间到信息中心快速转换，以便避免晕动病及用户烦躁)不(但可能会)改变空间30、32之间的比例或取向。
在两个空间通过顶部或底部相关的情况下，移位可以是电梯模拟或运动。该移位将用户直接向上或向下移动。电梯改变可以是瞬时的或以任何速率进行。对于瞬时，用户将选定部件(即，相机坐标(其为用户的位置)的快速改变)从上部3D模型空间“传送”到信息中心空间32的较低地板表面40。对于较不瞬时的电梯运动，相机逐渐地向上或向下移位，穿过表面34下降或上升。可以使用其它运动，诸如改变相机或用户视角的角度或取向，从一侧移动到另一侧，缩小和/或放大，或沿着空间30、32之间的弧线到底并且穿过表面34的边界。
考虑到空间之间的空间关系，用户可更容易感知到变化。处理器14响应于触发器的交互输入，将用户焦点从3D模型20(例如，从内部视图——见图3)改变为信息中心空间32的部件36以及信息(例如，元数据面板)。信息最初在改变后、改变期间或改变之前显示。用户可与信息交互，诸如选择、高亮和/或移动。信息中心空间32中提供的信息是在不遮挡3D模型20的内部的情况下提供的，因为3D模型20在单独的空间30中。
图6示出用于使用虚拟现实头戴式设备显示三维模型的方法的流程图的一个实施例。一般来说，该方法涉及在3D CAD模型周围和/或在3D CAD中导航，并且在不同的区域提供特定的部件和/或元数据信息，以避免用元数据遮挡3D CAD模型，和/或从选定部件的任何角度提供未阻挡的视图。
方法由图1的系统、图形处理器、VR头戴式设备或其组合执行。例如，VR头戴式设备的立体显示器执行行为50、56、58以及60。VR头戴式设备的处理器执行行为52。带有或未带有VR头戴式设备的处理器的手势传感器执行行为54。
方法按示出的顺序(从上到下或数字)或不同的顺序执行。例如，图6示出了在3D模型中导航，转换到信息中心，然后转换回来。在其它实施例中，使用从信息中心到3D模型的初始转换或转换的反向顺序。
可提供额外的、不同的或更少的行为。例如，只进行一个转换(例如，从3D模型到信息中心或反之亦然)。在另一个示例中，重复转换中的任一个。在又一示例中，使用了行为52的用户选择之外的其它选择。在其它示例中，行为54中没检测到手势，但相反转换自动出现或响应于其它输入。
在行为50中，搁置在表面上的部件布置的3D CAD的视图显示于虚拟现实头戴式设备中。可使用任何相机位置。用户可从不同位置和/或方向调整或改变视图以检查3D CAD。3D CAD可从外部和/或内部查看。
布置的3D CAD的视图在表面上，诸如地表面上。该表面具有任何横向范围，诸如大小小于3D CAD的最长宽度或最长深度的横向范围的两倍。表面可以是无限的。表面是不透明或半透明的。可提供任何图案，诸如包括遮光网格。在其它实施例中可能不提供图案。
相机位置在表面上方。当用户导航以查看3D CAD时，相机保持在表面上方。相机可定位在表面下方并且指向表面，诸如用于通过半透明表面查看3D CAD的底部。可替代地，3DCAD在表面上方浮动或可从表面分离，以当相机在表面上方时，允许查看底部。用户可提升、旋转、激活、选择、改变或以其它方式操纵3D CAD或其部件。
在行为52中，用户输入装置和/或处理器接收用户对部件布置的一部分的选择。可替代地，接收布置的用户选择。用户基于所检测到的手部位置及触发器，在VR环境中选择部件。在其它实施例中，可使用眼睛焦点和/或手势。可使用从部件列表或其它导航到关注部件的选择。在其它实施例中，选择为自动的或在没有用户输入的情况下发生。
在行为54中，带有或未带有处理器的传感器检测用户的手势。用户以特定的模式移动他们的单手、双手和/或手指。检测此移动或由此移动产生的放置。例如，用户将手握成拳头，拇指向上伸。检测该拇指上伸手势。在可替代实施例中，检测其它用户输入，诸如钥匙或语音命令的激活。在其它实施例中，行为52的用户选择用作或代替行为54中的手势检测。
在行为56中，使用在VR头戴式设备上的显示器的图形处理器将用户视图从3D CAD的视图穿过表面转换到表面的与3D CAD的视图相对一侧上的视图。用户的视图从3D CAD转换到信息和/或表面的相对侧上的部件。该转换是通过将相机的位置从表面的一侧改变到另一侧实现的。在表面为墙壁的情况下，改变可以是横向地从一侧到另一侧。可替代地或另外地，转换是通过将取向从指向表面上方改变成指向表面下方完成的。可使用改变缩放。
在一个实施例中，表面的相对侧上的坐标系被复制或镜像。用于相机的相同坐标或相同坐标的反射用于表面的相对侧上。在表面上方查看3D CAD中部件的相机位置X1、Y1、Z1以及3D角θ(左翻/右翻、上仰/下俯以及左倾/右倾)被重新定位在表面下方X1、Y1、Z1位置以及呈3D角θ，查看该部件而不会看到3D CAD其余部分。用户可与两个视图中的部件在相同高度、横向偏移量、深度和角度，但一个视图与3D CAD中部件在一起，并且在信息中心中另一个视图具有的该部件(即，没有3D CAD的其余部分)。在可替代实施例中，为表面的不同侧上的视图提供不同的相对定位。
可使用任何转换运动。例如，如电梯将用户的视角向下或向上移动进行转换。该转换仅沿着一个维度改变位置。取向和/或缩放为恒定的或不改变。用户可继续导航，导致在转换期间在其它维度、角度或缩放的改变。转换是瞬时的，诸如从一个位置移动至下一个位置而没有任何中间视图。可替代地，转换是逐渐的，随着相机位置改变包括一个或多个中间位置。在其它实施例中，转换运动为沿着弧线或其它非直线路径，具有或没有比例(即，缩放)和/或角度的变化。
转换响应于行为54中手势的检测而发生。可使用其它触发器。
在行为58中，在VR头戴式设备的显示中，图形处理器将用户选定部件以及关于用户选定部件的信息在转换之后在视图处显示。可使用任何相机位置。最初，在转换结束处使用了相机位置。用户可调整或改变视图以从不同位置、比例和/或方向检查3D部件和/或信息。
部件的视图在表面和/或基座上。表面和/或基座具有任何横向范围，诸如表面至少是基座的横向范围的两倍，并且基座的大小小于部件的最长宽度或最长深度的横向范围的1.5倍。表面可以是无限的。表面和/或基座为不透明或半透明的。可提供任何图案，诸如包括遮光网格。在其它实施例中可能不提供图案。
相机位置在信息中心表面的上方。当用户导航以查看部件或信息时，相机保持在信息中心表面上方以及3D CAD的表面下方。相机可定位在信息中心表面下方并且指向表面，诸如用于穿过半透明表面查看部件的底部。可替代地，部件在表面上方浮动或可从相邻的表面或从表面上分离，以允许当相机在表面上方时查看底部。用户可提升、旋转、激活、选择、改变或以其它方式操纵部件。相机可定位在3D CAD表面上方查看信息中心的部件和/或元数据。
信息被显示为在一个或多个板上。面板或板可以是不透明、半透明或透明的。在一个或多个虚拟板上提供关于部件的信息的链接、字母数字文本、图形、图表和/或其它表示。板具有任何放置，诸如围绕信息中心的表面边界(例如，作为部分壁)。板与基座和部件隔开以避免遮挡部件的视图。板可以是浮动的或被支撑的(例如，作为标志呈现)。板可以是平坦的或弯曲的。用户可与板或板的内容交互，诸如导航穿过一个或多个板上的内容(例如，选择一个板上信息激活另一个板和/或用新文本取代文本)。
在行为60中，在VR头戴式设备的显示中，处理器从部件和/或信息的视图转换到布置的3D CAD。使用了相同或不同的触发器(例如，拇指向上)。响应于检测触发器，视图在空间之间转换到表面的其它侧。该转换只改变了一个维度上的相机，而没有改变取向或比例，但可使用其它改变。用户可转换视图以选择不同的部件和/或检查以前选择的部件相对于3D CAD的其它部分的交互或放置。用户可改变部件(诸如颜色)和转换，以查看相对于3DCAD的改变的结果。
虽然上文参考各种实施例已经描述了本发明，但应理解可进行许多变化和修改，而不脱离本发明的范围。因此前述详细描述应被认为是例示性的而不是限制性的，并且应当理解应该是包括所有等同形式的所附权利要求限定本发明的精神和范围。

Claims (10)

1.一种用于在虚拟现实中显示三维模型(20)的系统，所述系统包括：
存储器(18)，被配置为存储对象的所述三维模型(20)；
虚拟现实头戴式设备(22)，被配置为向佩戴所述虚拟现实头戴式设备(22)的用户显示虚拟环境；以及
处理器(14)，被配置为生成所述虚拟环境，所述虚拟环境具有定位在第一表面(34)的第一侧上的所述三维模型(20)的表示以及用于定位在所述第一表面(34)的第二侧上的所述三维模型(20)的用户选定部件与所述用户选定部件的元数据的表示，其中所述虚拟环境将所述第一表面显示为半透明的并且包括在半透明的所述第一表面的所述第二侧上查看所述三维模型的一部分、半透明的所述第一表面和选定部件，其中，能够将用户视图从第一视图通过第一水平的半透明第一表面转换到所述第一表面的与所述第一视图相对的一侧上的第二视图，所述第二视图包括所述三维模型的所述一部分、所述选定部件、所述选定部件的元数据和所述半透明的所述第一表面。
2.根据权利要求1所述的系统，其中所述三维模型(20)包括所述对象的计算机辅助设计模型(20)，所述对象包括多个相互关联的部件，所述多个相互关联的部件包括所述用户选定部件。
3.根据权利要求1所述的系统，其中所述第一表面(34)为地平面，所述三维模型(20)搁置在所述地平面上，并且所述第二侧在所述地平面之下，其中所述处理器(14)被配置为将所述用户的视角在所述第一侧与所述第二侧之间作为虚拟电梯运动而改变。
4.根据权利要求1所述的系统，其中所述元数据的表示包括带有所述元数据的图像、文本、或图像和文本的板(42)，所述板(42)定位在外部区域周围，而所述用户选定部件的表示定位在内部区域中。
5.根据权利要求1所述的系统，其中所述用户选定部件的表示与所述三维模型(20)断开，并且位于在所述第一表面的第二侧上的第二表面上显示的基座上。
6.根据权利要求1所述的系统，其中所述处理器(14)被配置为在所述三维模型(20)周围导航用户视角并且将所述用户视角导航到所述三维模型中，并且选择所述用户选定部件。
7.根据权利要求1所述的系统，其中所述三维模型(20)的表示不受所述元数据的遮挡。
8.一种用于使用虚拟现实头戴式设备(22)显示三维模型(20)的方法，所述方法包括：
在所述虚拟现实头戴式设备(22)中显示(50)搁置于三维空间的第一水平的半透明地板上的部件布置的所述三维模型的第一视图；
接收(52)用户对所述部件布置的第一部件的选择；
将用户视图从所述第一视图通过所述第一水平的半透明地板转换(56)到所述地板的与所述第一视图相对的一侧上的第二视图，所述第二视图具有所述三维空间的第二水平；以及
在所述虚拟现实头戴式设备(22)中的所述第二视图处显示(58)所述第一部件和关于所述第一部件的信息并且在所述地板的另一侧上显示所述第一部件、所述地板和所述部件布置的至少一部分。
9.根据权利要求8所述的方法，其中所述地板包括地表面(34)，在所述地表面上搁置所述部件布置，并且其中所述转换(56)包括作为虚拟电梯进行转换(56)，所述虚拟电梯向下移动用户视角。
10.根据权利要求8所述的方法，其中显示(58)所述第一部件和所述信息包括在基座上显示(58)所述第一部件，并且将所述信息显示(58)为与所述基座隔开并且定位在所述基座周围的虚拟板(42)。
CN201780045798.3A 2016-06-22 2017-06-09 用于在虚拟现实中显示三维模型的系统及方法 Active CN109478103B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662353073P 2016-06-22 2016-06-22
US62/353,073 2016-06-22
PCT/US2017/036721 WO2017222829A1 (en) 2016-06-22 2017-06-09 Display of three-dimensional model information in virtual reality

Publications (2)

Publication Number Publication Date
CN109478103A CN109478103A (zh) 2019-03-15
CN109478103B true CN109478103B (zh) 2022-07-08

Family

ID=59078246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780045798.3A Active CN109478103B (zh) 2016-06-22 2017-06-09 用于在虚拟现实中显示三维模型的系统及方法

Country Status (4)

Country Link
US (1) US10747389B2 (zh)
EP (1) EP3458942B1 (zh)
CN (1) CN109478103B (zh)
WO (1) WO2017222829A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018223229A1 (en) 2017-06-05 2018-12-13 2689090 Canada Inc. System and method for displaying an asset of an interactive electronic technical publication synchronously in a plurality of extended reality display devices
US11727166B2 (en) * 2018-05-08 2023-08-15 Autodesk, Inc. Techniques for generating graph-based representations of complex mechanical assemblies
EP3594831A1 (de) * 2018-07-09 2020-01-15 VOLKE - Entwicklungsring SE Verfahren zum darstellen von cad-daten und computerprogrammprodukt
US11544425B2 (en) 2019-04-12 2023-01-03 Cnh Industrial America Llc Systems and methods for expediting design of physical components through use of computationally efficient virtual simulations
US11295046B2 (en) 2019-04-12 2022-04-05 Cnh Industrial America Llc Systems and methods for expediting design of physical components through use of computationally efficient virtual simulations
CN110503709A (zh) * 2019-08-26 2019-11-26 杭州师范大学 一种实现数据中心加载呈现大规模Web3D模型的方法
CN111198615A (zh) * 2020-03-04 2020-05-26 重庆一七科技开发有限公司 一种用于虚拟现实体验的便携式无线装置
CN111523267B (zh) * 2020-04-21 2023-05-23 重庆邮电大学 一种基于参数化有限元模型的风机主轴结构优化方法
CN114442872B (zh) * 2020-10-19 2023-10-27 聚好看科技股份有限公司 一种虚拟用户界面的布局、交互方法及三维显示设备
KR102422834B1 (ko) * 2020-12-02 2022-07-19 (주)유비컴 3차원 가상공간과 손목형 밴드를 이용한 제스처 인식 장치 및 이를 이용한 인식방법
US20230108256A1 (en) * 2021-08-11 2023-04-06 MeetKai, Inc. Conversational artificial intelligence system in a virtual reality space

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901290A (zh) * 2010-07-22 2010-12-01 西北师范大学 基于集成机构的三维虚拟空间的机械设计方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
US8615383B2 (en) * 2008-01-18 2013-12-24 Lockheed Martin Corporation Immersive collaborative environment using motion capture, head mounted display, and cave
JP5403974B2 (ja) * 2008-09-09 2014-01-29 キヤノン株式会社 三次元ｃａｄシステム
WO2013074991A1 (en) * 2011-11-18 2013-05-23 Gipson Dale L Computer-implemented apparatus, system, and method for three dimensional modeling software
WO2014008185A1 (en) 2012-07-02 2014-01-09 Sony Computer Entertainment Inc. Methods and systems for interaction with an expanded information space
EP3259739A4 (en) * 2015-02-17 2018-08-29 NEXTVR Inc. Methods and apparatus for generating and using reduced resolution images and/or communicating such images to a playback or content distribution device
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
KR20160133230A (ko) * 2015-05-12 2016-11-22 엘지전자 주식회사 이동 단말기
WO2017082457A1 (ko) * 2015-11-11 2017-05-18 엘지전자 주식회사 Hmd 및 그 hmd의 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901290A (zh) * 2010-07-22 2010-12-01 西北师范大学 基于集成机构的三维虚拟空间的机械设计方法

Also Published As

Publication number Publication date
CN109478103A (zh) 2019-03-15
EP3458942A1 (en) 2019-03-27
US10747389B2 (en) 2020-08-18
WO2017222829A1 (en) 2017-12-28
US20190179510A1 (en) 2019-06-13
EP3458942B1 (en) 2021-06-02

Similar Documents

Publication Publication Date Title
CN109478103B (zh) 用于在虚拟现实中显示三维模型的系统及方法
Mendes et al. A survey on 3d virtual object manipulation: From the desktop to immersive virtual environments
US10928974B1 (en) System and method for facilitating user interaction with a three-dimensional virtual environment in response to user input into a control device having a graphical interface
Besançon et al. The state of the art of spatial interfaces for 3D visualization
US20220084279A1 (en) Methods for manipulating objects in an environment
US20200320793A1 (en) Systems and methods of rerendering image hands to create a realistic grab experience in virtual reality/augmented reality environments
Millette et al. DualCAD: integrating augmented reality with a desktop GUI and smartphone interaction
KR101315303B1 (ko) 착용형 디스플레이 장치 및 컨텐츠 디스플레이 방법
JP2022540315A (ja) 人工現実環境において周辺デバイスを使用する仮想ユーザインターフェース
US10521028B2 (en) System and method for facilitating virtual interactions with a three-dimensional virtual environment in response to sensor input into a control device having sensors
US9513716B2 (en) Bimanual interactions on digital paper using a pen and a spatially-aware mobile projector
CN105637559A (zh) 使用深度传感器的结构建模
KR20130041537A (ko) 디스플레이 장치 및 컨텐츠 디스플레이 방법
JP2012053557A (ja) 情報処理装置、情報処理方法およびプログラム
Thomas et al. Spatial augmented reality—A tool for 3D data visualization
Aliakseyeu et al. Interaction techniques for navigation through and manipulation of 2 D and 3 D data
WO2022204657A1 (en) Methods for manipulating objects in an environment
Hernoux et al. A seamless solution for 3D real-time interaction: design and evaluation
Kruszyński et al. Tangible props for scientific visualization: concept, requirements, application
Boussemart et al. A framework for 3D visualisation and manipulation in an immersive space using an untethered bimanual gestural interface
Komerska et al. Haptic task constraints for 3D interaction
Lacolina et al. Natural exploration of 3D models
Alcañiz et al. Technological background of VR
EP3953793A1 (en) Method, arrangement, and computer program product for three-dimensional visualization of augmented reality and virtual reality environments
De Araujo et al. Modeling on and above a stereoscopic multitouch display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant