CN109284000B - 一种虚拟现实环境下三维几何物体可视化的方法及系统 - Google Patents

一种虚拟现实环境下三维几何物体可视化的方法及系统 Download PDF

Info

Publication number
CN109284000B
CN109284000B CN201810908468.9A CN201810908468A CN109284000B CN 109284000 B CN109284000 B CN 109284000B CN 201810908468 A CN201810908468 A CN 201810908468A CN 109284000 B CN109284000 B CN 109284000B
Authority
CN
China
Prior art keywords
virtual
user
graph
visualizing
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810908468.9A
Other languages
English (en)
Other versions
CN109284000A (zh
Inventor
梁海宁
陆飞羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong Liverpool University
Original Assignee
Xian Jiaotong Liverpool University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong Liverpool University filed Critical Xian Jiaotong Liverpool University
Priority to CN201810908468.9A priority Critical patent/CN109284000B/zh
Publication of CN109284000A publication Critical patent/CN109284000A/zh
Application granted granted Critical
Publication of CN109284000B publication Critical patent/CN109284000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2012Colour editing, changing, or manipulating; Use of colour codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种虚拟现实环境下三维几何物体可视化的方法及系统,包括:在虚拟空间设置可视化的用户界面;获取用户对交互对象的选择;获取用户对交互方式的选择,所述交互方式包括直接和间接交互方式;如果用户选择直接交互方式,则获取用户操作信息,并控制所选图形,通过抓取、顶点操作或放置的交互方式完成操作;如果用户选择间接交互方式,则获取用户操作信息,并控制所选虚拟面板,通过虚拟面板完成操作;同步改变顶点操作和虚拟面板的操作结果。本发明提供虚拟现实环境下三维几何物体可视化的方法,针对现有技术的不足,解决当前学生学习几何与数学类抽象知识的高困难度以及枯燥性的问题。

Description

一种虚拟现实环境下三维几何物体可视化的方法及系统
技术领域
本发明涉及虚拟现实领域,具体涉及一种虚拟现实环境下三维几何物体可视化的方法及系统。
背景技术
观察几何物体对人们认知周围的环境构造,空间结构以及学习数学知识有着无可替代的重要作用。在几何图形中,阿基米德图形和柏拉图图形之间的相对关系尤为复杂和抽象。柏拉图图形是指由正多边形组成的空间立体图形,这种性质导致世界上仅仅存在五种柏拉图图形(正四面体,正六面体,正八面体,正十二面体和正二十面体),而阿基米德图形是指由超过两种正多边形俗称的三维几何立体图形。柏拉图图形与阿基米德图形之间有着复杂的相互关系以及形态转变。
可视化是学习三维物体的重要方式。研究者们目前已经开发了大量的基于台式电脑或者平板电脑的可视化应用帮助用户学习理解各方面的知识。然而,把三维物体可视化在二维的屏幕(像电脑屏幕或者平板电脑的触摸屏)上有很多缺陷,比如传统的二维屏幕无法显示深度,导致用户需要自行在脑中构造丢失的第三维度的信息,这对大多数人是十分困难的,尤其当需要观察的物体具有很强的抽象性,比如几何物体的变换。 同时视角的选择也变得很重要,从不同的角度观察可能会获得不一样的信息。尤其当学生需要学习的内容具有相当的抽象性与复杂性时,学生在使用2D界面学习的状况下学习的效果将变得愈发不明显 。
近年来,虚拟现实技术迅速发展,可以改善几何图形的可视化和交互功能。已有的可视化三维几何物体的工具,大多是应用仅仅支持用户学习观察比较基础的几何物体,比如正方体,球体,但是极少数的应用可以支持用户观察几何图形之间的抽象复杂的变换关系,甚至去自由操纵几何图形的状态,尽管这些对人们学习数学以及空间知识是有巨大帮助的。随着虚拟现实技术的蓬勃发展,在虚拟现实的三维空间中观察和操纵几何物体已经成为可能。
发明内容
本发明目的是:提供一种虚拟现实环境下三维几何物体可视化的方法及系统,针对现有技术的不足,实现解决当前学生学习几何与数学类抽象知识的高困难度以及枯燥性的问题的目的。
本发明的技术方案是:一种虚拟现实环境下三维几何物体可视化的方法,所述方法基于头戴式显示器建立的虚拟环境,其特征在于,包括:
在虚拟空间设置可视化的用户界面,所述用户界面包括图形区和虚拟面板区,图形区设置有几何物体作为交互对象,虚拟面板区设置有每个几何物体对应的虚拟面板;
通过输入设备获取用户对交互对象的选择并转入针对该对象的操作;
通过输入设备获取用户对交互方式的选择,并转入该交互方式,所述交互方式包括直接交互方式和间接交互方式;
如果用户选择直接交互方式,则通过输入设备获取用户操作信息,并根据用户操作信息控制虚拟环境中图形区的所选图形,并通过抓取、顶点操作或放置的交互方式完成用户的操作;
如果用户选择间接交互方式,则通过输入设备获取用户操作信息,并根据用户操作信息控制虚拟环境中虚拟面板区所选虚拟面板,并通过虚拟面板的交互方式完成用户的操作;
同步改变所述顶点操作和所述虚拟面板的操作结果,即虚拟面板区的相应操作的显示结果与图形区同步对应显示,当用户与其中之一交互时,另一个也会随之改变状态。
优选的,所述方法在完成所述交互和同步步骤后还包括如下观察步骤:
通过输入设备的控制键获取用户的抓取选择命令,如果用户选择抓取,则系统在虚拟空间抓取目标物体,并通过输入设备获取用户手腕和手臂旋转信息,根据获得信息同步旋转几何物体供用户观察;
通过输入设备的控制键获取用户松开的命令,如果用户选择松开,则系统将目标物体放置在虚拟空间中的任意位置供用户进行比较。
优选的,所述方法完成观察步骤后还包括循环步骤,所述循环步骤供用户选择继续交互或者结束,如果用户选择继续则回到所述通过输入设备获取用户对交互对象的选择并转入针对该对象的操作的步骤,进行下一目标物体的操作与观察,如果用户选择结束则学习结束。
优选的,所述几何物体在虚拟空间中的可视化包含柏拉图图形;切割所述柏拉图图形所获得的阿基米德图形;以及连接所述柏拉图图形的其中一个顶点的第一虚拟操纵杆。
优选的,所述柏拉图图形为正方体、正四面体和正八面体。
优选的,所述几何图形每个面渲染不同的颜色区分其源头,原柏拉图图形的面设置为白色;原柏拉图图形的顶点被角切割后的面设置为蓝色;原柏拉图图形的边被切割后的面为黄色,原柏拉图图形被切割掉的部分显示为透明色。
优选的,所述抓取交互方式为通过输入手柄获取用户抓取状态、旋转手腕和手肘的操作信息,同步控制虚拟手抓取几何物体并旋转物体。
优选的,所述顶点操作的方法为通过输入手柄获取用户操作信息,同步控制虚拟手抓取第一虚拟操纵杆的操作顶点沿着虚拟路径图拖动,对图形进行直接变换切割。
优选的,所述第一虚拟操纵杆的操作顶点为可变色控制球,所述顶点操作的的步骤包括:
通过输入手柄获取用户移动信息,控制虚拟手移动到第一虚拟操纵杆上,输入手柄轻微震动提供触觉反馈,同时显示提示信息提示用户抓取并操作;
通过输入手柄获取用户抓取指令,控制虚拟手抓取第一虚拟操纵杆,控制球改变颜色,提示用户与当前物体处于交互过程中;
通过输入手柄获取用户拖动信息,控制虚拟手沿虚拟路径图拖动控制球并同步显示图形被切割的过程,所述切割包括角切割和边切割;
通过输入手柄获取用户松开的指令时,被操作图形停在当前被切割的状态,控制球恢复默认颜色,并提示下一次抓取动作的可执行性。
优选的,所述放置的交互方式包括如下步骤:
通过输入手柄获取用户抓取信息并控制虚拟手抓取任一图形并移动至虚拟空间内目标位置;
通过输入手柄获取用户放置图形的指令时,虚拟手松开图形,图形停留在当前位置;
通过输入手柄获取用户放大或缩小图形的指令时,控制被操作图形放大或缩小。
优选的,所述每个几何物体对应的虚拟面板上设置有第二虚拟操纵杆,所述第二虚拟操纵杆的操作顶点为可变色控制球,所述虚拟面板的各个节点显示相应位置会变换成的图形,所述虚拟面板的交互方式包括如下步骤:
通过输入手柄获取用户动作信息,同步控制虚拟手移动至第二虚拟操纵杆处,输入手柄轻微震动提供触觉反馈,提示用户操作;
通过输入手柄获取用户抓取命令,控制虚拟手抓取第二虚拟操纵杆,控制球改变颜色,提示用户与当前物体处于交互过程中;
通过输入手柄获取用户拖动信息,控制虚拟手沿着虚拟面板中的路径移动控制球,同步改变图形区的相应几何图形,同时将对应的几何图形通过光滑的动画效果变换成小球映射在虚拟面板上。
优选的,所述间接交互方式还包括动态链接的交互方式,当被切割变换操作的获得的几何图形有其双胞胎图形时,所述双胞胎图形对应的柏拉图图形进入同步变换状态,与正在被操作的图形之间建立链接,进入同步变换状态。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述任一项所述虚拟现实环境下三维几何物体可视化的方法的计算机程序。
本发明实施例还提供了一种虚拟现实环境下三维几何物体可视化系统,包括:
输入手柄模块,用于采集用户的抓取动作状态、手腕和手肘动作数据;
头戴显示模块,用于显示虚拟现实空间及交互界面;
存储模块,包括存储器,所述存储器存储有执行上述任一项所述虚拟现实环境下三维几何物体可视化的方法的计算机程序;
控制模块,包括处理器,所述处理器用于执行所述存储模块内存储的计算机程序。
优选的,所述控制模块同时与多个输入手柄模块通信连接,系统获取多个输入手柄的输入信息并分别根据每个输入手柄的输入信息执行上述任一项所述虚拟现实环境下三维几何物体可视化的方法。
本发明的优点是:提出了一种虚拟现实环境下三维几何物体的可视化方法及系统,所开发的几何物体可视化方法及系统帮助用户在虚拟现实环境中观察和学习几何物体的变换知识。用户可以以更快的速度学习观察并理解几何物体。通过丰富的三位手势交互以及头戴式显示器,用户可以在交互中得到更强的沉浸感。交互方式灵活多样,供用户自由选择使用。
直观性:如上所述,本方法及系统使用丰富的视觉反馈(如颜色,高亮)来直观的展示几何图形的变换与切割,使用户在虚拟现实环境中自由操作和体会几何图形的变换。与此同时,提供触觉反馈以实时提醒用户交互的发生或结束,用户在虚拟环境中的操作方式更像他们与现实生活中物体之间的互动方式,沉浸感更强、吸引力更大,不易被周围环境所干扰。
易用性:如上所述,该软件涵盖了多种交互方式,用户可以与目标物体的直接交互,用户也可以通过一些UI(用户界面)对目标物体操作。直接交互可以给用户更加直观的体验,易于学习。而间接交互可以通过用户界面给用户大体的了解。用户可以选择并结合任意的一种或多种操作方式,比如,用户可以在操作顶点的同时观察虚拟面板,或者抓取时进行顶点操作。这样用户可以选择偏好的操作方式,进行更高效的学习。
附图说明
下面结合附图及实施例对本发明作进一步描述:
图1是本发明实施例虚拟现实环境下三维几何物体可视化的方法流程图;
图2本发明一个实施例增加观察和循环步骤后的方法流程图;
图3本发明一个实施例顶点操作交互方式的方法流程图;
图4本发明一个实施例虚拟面板交互方式的方法流程图;
图5是本发明一个实施例在虚拟现实环境中的用户界面;
图6是本发明一个实施例对3D几何图形可视化着色方法示意图;
图7是本发明一个实施例的抓取操作示意图;
图8是本发明一个实施例的顶点操作交互方式路径一切割示意图;
图9是本发明一个实施例的顶点操作交互方式路径二切割示意图;
图10是本发明一个实施例中的虚拟面板交互方式示意图;
图11是本发明一个实施例中的虚拟面板与几何物体的状态在交互过程中持续保持一致的示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
如图1所示本发明实施例虚拟现实环境下三维几何物体可视化的方法流程图,所述方法基于头戴式显示器建立的虚拟环境,输入设备可以为Oculus Touch手柄,支持6自由度(6DoF)的手势交互,其交互方式与在现实中与物体的交互十分相似。所述方法包括:在虚拟空间设置可视化的用户界面,如图5所示,所述用户界面包括图形区和虚拟面板区,图形区设置有几何物体作为交互对象,虚拟面板区设置有每个几何物体对应的虚拟面板。优选的,所述几何物体在虚拟空间中的可视化包含柏拉图图形;切割所述柏拉图图形所获得的阿基米德图形;以及连接所述柏拉图图形的其中一个顶点的第一虚拟操纵杆。图2为实施例所实现的布局,优选的,正上方为在虚拟空间中可视化的三个柏拉图几何图形,从左往右依次为正八面体,正方体和正四面体,下方为可操作选择的虚拟面板。根据用户的不同,所述布局还可以拓展为五个柏拉图图形。系统可视化的具体方法为通过输入设备获取用户对交互对象的选择并转入针对该对象的操作;通过输入设备获取用户对交互方式的选择,并转入该交互方式,所述交互方式包括直接交互方式和间接交互方式;如果用户选择直接交互方式,则通过输入设备获取用户操作信息,并根据用户操作信息控制虚拟环境中图形区的所选图形,并通过抓取、顶点操作或放置的交互方式完成用户的操作;如果用户选择间接交互方式,则通过输入设备获取用户操作信息,并根据用户操作信息控制虚拟环境中虚拟面板区所选虚拟面板,并通过虚拟面板的交互方式完成用户的操作;同步改变所述顶点操作和所述虚拟面板的操作结果,即虚拟面板区的相应操作的显示结果与图形区同步对应显示,当用户与其中之一交互时,另一个也会随之改变状态。如图2所示,用户完成上述可视化变换操作后,还可以继续观察变换后的图形,系统通过输入设备的控制键获取用户的抓取选择命令,如果用户选择抓取,则系统在虚拟空间抓取目标物体,并通过输入设备获取用户手腕和手臂旋转信息,根据获得信息同步旋转几何物体供用户观察;观察完毕后,系统通过输入设备的控制键获取用户松开的命令,如果用户选择松开,则系统将目标物体放置在虚拟空间中的任意位置供用户进行比较。所述观察步骤可以让用户将不同的变换结果放到一起进行比较观察,更加直观和易于理解柏拉图图形和阿基米德图形之间的内在联系。在实际操作过程中,往往是连续操作,上述实施例操作完成后,系统提供选项供用户选择继续交互或者结束,如果用户选择继续则回到所述通过输入设备获取用户对交互对象的选择并转入针对该对象的操作的步骤,进行下一目标物体的操作与观察,如果用户选择结束则结束学习,回到初始界面。
上述实施例进一步优化的,所述几何图形每个面渲染不同的颜色区分其源头,原柏拉图图形的面设置为白色;原柏拉图图形的顶点被角切割后的面设置为蓝色;原柏拉图图形的边被切割后的面为黄色,原柏拉图图形被切割掉的部分显示为透明色。如图6所示的大斜方截半立方体,在该可视化工具中被渲染为白色,蓝色与黄色。白色面源头为原柏拉图图形的面;蓝色面源头为原柏拉图图形的顶点,发生角切割后得到的新面;黄色面源头为原柏拉图图形的边,发生边切割后得到的新面。通过颜色区分,用户可以对图形之间的变换以及切割的发生点产生最直观的认知。
上述实施例具体的,如图7所示,用户可以使用Oculus Touch手柄在虚拟空间中直接抓取一个几何物体,并通过旋转手腕与手肘来旋转几何物体并观察不同的面。所述抓取交互方式为通过输入手柄获取用户抓取状态、旋转手腕和手肘的操作信息,同步控制虚拟手抓取几何物体并旋转物体。由于在三维空间中的运动比二维中更有不可预测性,于是在用户进行部分操作时,系统会给予提示与反馈。例如,当用户的手触碰到三维图形时,输入设备(Oculus Touch手柄)会轻微震动,并且在虚拟手部的上方会出现提示,表示抓取动作的可执行性。在可视化三维物体的过程中,阻挡(Occlusion)一直被认为是一个不可避免的重要问题。当观察三维物体的时候,三维物体的一部分往往会被其自身或者是周围的物体所遮挡。因此,抓取功能允许用户自由的观察几何物体的每一个面,从而减轻遮挡对信息丢失的影响。
如图3所示,在一个实施例中,所述顶点操作的方法为通过输入手柄获取用户操作信息,同步控制虚拟手抓取第一虚拟操纵杆的操作顶点沿着虚拟路径图拖动,对图形进行直接变换切割,所述路径图有不同的路径,分别对应不同的切割方式。具体的,所述第一虚拟操纵杆的操作顶点为可变色控制球,所述顶点操作的的步骤包括:通过输入手柄获取用户移动信息,控制虚拟手移动到第一虚拟操纵杆上,输入手柄轻微震动提供触觉反馈,同时显示提示信息提示用户抓取并操作;通过输入手柄获取用户抓取信息,控制虚拟手抓取第一虚拟操纵杆,控制球改变颜色,提示用户与当前物体处于交互过程中;通过输入手柄获取用户拖动信息,控制虚拟手沿虚拟路径图路径一拖动控制球并同步显示图形被切割的过程,所述切割包括角切割和边切割;通过输入手柄获取用户松开的指令时,被操作图形停在当前被切割的状态,控制球恢复默认颜色,并提示下一次抓取动作的可执行性。如图8所示,顶点操作可以把正方体切割为一个截半立方体。用户首先通过输入设备(手柄)控制虚拟手移动到第一虚拟操纵杆上,此时输入设备(手柄)会轻微震动来提供触觉反馈,同时出现提示信息提示用户可以抓取并操作当前物体。之后,用户按下输入设备(手柄)上的按键抓住并移动虚拟操纵杆来改变顶点的位置。当操纵杆被抓取,操纵杆上的控制球会改变颜色,提示用户与当前物体处于交互过程中。通过向下移动操纵杆,正方体的八个顶点将逐渐被削去,变换为一个截半立方体。当用户松开输入设备(手柄)的按钮,几何物体会停在当前被切割的状态,控制球也会恢复正常颜色。如图9所示,通过顶点操作拖动虚拟操纵杆上的控制球沿着虚拟路径图路径二移动,可以逐步切割正方体角和边,最终得到截角八面体,操作过程和上述路径一的切割相同。
在直接交互方式中,完成顶点操作后,还可以进行放置操作,所述放置的交互方式具体的,包括如下步骤:通过输入手柄获取用户抓取信息并控制虚拟手抓取任一图形并移动至虚拟空间内目标位置;通过输入手柄获取用户放置图形的指令时,虚拟手松开图形,图形停留在当前位置;通过输入手柄获取用户放大或缩小图形的指令时,控制被操作图形放大或缩小。通过放置操作,用户可以随意地将几何物体放置在三维空间中。在三维空间中可视化信息时,信息的大小与位置十分重要。大尺寸且显眼的信息会更吸引人们的眼球,因此一般重要的信息需要被放大并且放置在明显之处,这可以提高人们的关注度与信息收集效率,也易于同类信息之间的相互比较。放置功能就是给予用户在三维虚拟环境中随意放置几何物体位置的权利,让他们自由决定想要重点观察哪些信息。这在信息可视化中是有效的展示信息的方式.
在一个实施例中,如图4所示,所述每个几何物体对应的虚拟面板上设置有第二虚拟操纵杆,所述第二虚拟操纵杆的操作顶点为可变色控制球,所述虚拟面板的各个节点显示相应位置会变换成的图形,所述虚拟面板的交互方式包括如下步骤:通过输入手柄获取用户动作信息,同步控制虚拟手移动至第二虚拟操纵杆处,输入手柄轻微震动提供触觉反馈,提示用户操作;通过输入手柄获取用户抓取命令,控制虚拟手抓取第二虚拟操纵杆,控制球改变颜色,提示用户与当前物体处于交互过程中;通过输入手柄获取用户拖动信息,控制虚拟手沿着虚拟面板中的路径移动控制球,同步改变图形区的相应几何图形,同时将对应的几何图形通过光滑的动画效果变换成小球映射在虚拟面板上。如图10所示,虚拟面板上显示的是一个几何图形转换图STM(Solid Transition Map)。面板区的第二虚拟操纵杆用于操作面板目标图形的位置。图中蓝色高亮区表示当前几何图形在面板中的位置,以及用户当前的交互对象,同时也是上方对应的几何图形的当前状态。用户通过抓取并移动第二虚拟操纵杆来改变当前交互对象,同时上方的几何图形也会通过光滑的动画效果变换成小球映射在STM的图形上。通过这种非直接操作方式,用户可以在转变几何图形的同时获取额外信息,例如有哪些与当前图形关联的其他图形,以及如何获得他们。如图11所示,顶点操作与虚拟面板是动态关联的,即面板区的相应操作的显示结果与上方图形区同步对应显示。当用户与其中之一交互时,另一个也会随之改变状态。通过这种方式,用户可以在直接操作的同时利用到这些额外信息,或是在间接操作的同时得到更为直观的体验。
在一个实施例中,所述间接交互方式还包括动态链接的交互方式,当被切割变换操作的获得的几何图形有其双胞胎图形时,所述双胞胎图形对应的柏拉图图形进入同步变换状态,与正在被操作的图形之间建立链接,进入同步变换状态。
本申请另一方面还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述任一项所述虚拟现实环境下三维几何物体可视化的方法的计算机程序。
本申请另一方面还提供一种虚拟现实环境下三维几何物体可视化系统,包括:输入手柄模块,用于采集用户的抓取动作状态、手腕和手肘动作数据;头戴显示模块,用于显示虚拟现实空间及交互界面;存储模块,包括存储器,所述存储器存储有执行上述任一项所述虚拟现实环境下三维几何物体可视化的方法的计算机程序;控制模块,包括处理器,所述处理器用于执行所述存储模块内存储的计算机程序。
上述实施例进一步优化的,所述控制模块同时与多个输入手柄模块通信连接,系统获取多个输入手柄的输入信息并分别根据每个输入手柄的输入信息执行上述任一项所述虚拟现实环境下三维几何物体可视化的方法。
应该理解的是,虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
上述实施例只为说明本发明的技术构思及特点,其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施,并不能以此限制本发明的保护范围。凡根据本发明主要技术方案的精神实质所做的修饰,都应涵盖在本发明的保护范围之内。

Claims (12)

1.一种虚拟现实环境下三维几何物体可视化的方法,所述方法基于头戴式显示器建立的虚拟环境,其特征在于,包括:
在虚拟空间设置可视化的用户界面,所述用户界面包括图形区和虚拟面板区,图形区设置有几何物体作为交互对象,虚拟面板区设置有每个几何物体对应的虚拟面板;
通过输入设备获取用户对交互对象的选择并转入针对该对象的操作;
通过输入设备获取用户对交互方式的选择,并转入该交互方式,所述交互方式包括直接交互方式和间接交互方式;
如果用户选择直接交互方式,则通过输入设备获取用户操作信息,并根据用户操作信息控制虚拟环境中图形区的所选图形,并通过抓取、顶点操作或放置的交互方式完成用户的操作;
如果用户选择间接交互方式,则通过输入设备获取用户操作信息,并根据用户操作信息控制虚拟环境中虚拟面板区所选虚拟面板,并通过虚拟面板的交互方式完成用户的操作;
同步改变所述顶点操作和所述虚拟面板的操作结果,即虚拟面板区的相应操作的显示结果与图形区同步对应显示,当用户与其中之一交互时,另一个也会随之改变状态;
所述方法在完成所述交互和同步步骤后还包括如下观察步骤:
通过输入设备的控制键获取用户的抓取选择命令,如果用户选择抓取,则系统在虚拟空间抓取目标物体,并通过输入设备获取用户手腕和手臂旋转信息,根据获得信息同步旋转几何物体供用户观察;
通过输入设备的控制键获取用户松开的命令,如果用户选择松开,则系统将目标物体放置在虚拟空间中的任意位置供用户进行比较;
所述方法完成观察步骤后还包括循环步骤,所述循环步骤供用户选择继续交互或者结束,如果用户选择继续则回到所述通过输入设备获取用户对交互对象的选择并转入针对该对象的操作的步骤,进行下一目标物体的操作与观察,如果用户选择结束则学习结束;
所述每个几何物体对应的虚拟面板上设置有第二虚拟操纵杆,所述第二虚拟操纵杆的操作顶点为可变色控制球,所述虚拟面板的各个节点显示相应位置会变换成的图形,所述虚拟面板的交互方式包括如下步骤:
通过输入手柄获取用户动作信息,同步控制虚拟手移动至第二虚拟操纵杆处,输入手柄轻微震动提供触觉反馈,提示用户操作;
通过输入手柄获取用户抓取命令,控制虚拟手抓取第二虚拟操纵杆,控制球改变颜色,提示用户与当前物体处于交互过程中;
通过输入手柄获取用户拖动信息,控制虚拟手沿着虚拟面板中的路径移动控制球,同步改变图形区的相应几何图形,同时将对应的几何图形通过光滑的动画效果变换成小球映射在虚拟面板上。
2.如权利要求1所述虚拟现实环境下三维几何物体可视化的方法,其特征在于,所述几何物体在虚拟空间中的可视化包含柏拉图图形;切割所述柏拉图图形所获得的阿基米德图形;以及连接所述柏拉图图形的其中一个顶点的第一虚拟操纵杆。
3.如权利要求2所述虚拟现实环境下三维几何物体可视化的方法,其特征在于,所述柏拉图图形为正方体、正四面体和正八面体。
4.如权利要求3所述虚拟现实环境下三维几何物体可视化的方法,其特征在于,所述几何图形每个面渲染不同的颜色区分其源头,原柏拉图图形的面设置为白色;原柏拉图图形的顶点被角切割后的面设置为蓝色;原柏拉图图形的边被切割后的面为黄色,原柏拉图图形被切割掉的部分显示为透明色。
5.如权利要求4所述虚拟现实环境下三维几何物体可视化的方法,其特征在于,所述抓取交互方式为通过输入手柄获取用户抓取状态、旋转手腕和手肘的操作信息,同步控制虚拟手抓取几何物体并旋转物体。
6.如权利要求5所述虚拟现实环境下三维几何物体可视化的方法,其特征在于,所述顶点操作的方法为通过输入手柄获取用户操作信息,同步控制虚拟手抓取第一虚拟操纵杆的操作顶点沿着虚拟路径图拖动,对图形进行直接变换切割。
7.如权利要求6所述虚拟现实环境下三维几何物体可视化的方法,其特征在于,所述第一虚拟操纵杆的操作顶点为可变色控制球,所述顶点操作的的步骤包括:
通过输入手柄获取用户移动信息,控制虚拟手移动到第一虚拟操纵杆上,输入手柄轻微震动提供触觉反馈,同时显示提示信息提示用户抓取并操作;
通过输入手柄获取用户抓取指令,控制虚拟手抓取第一虚拟操纵杆,控制球改变颜色,提示用户与当前物体处于交互过程中;
通过输入手柄获取用户拖动信息,控制虚拟手沿虚拟路径图拖动控制球并同步显示图形被切割的过程,所述切割包括角切割和边切割;
通过输入手柄获取用户松开的指令时,被操作图形停在当前被切割的状态,控制球恢复默认颜色,并提示下一次抓取动作的可执行性。
8.如权利要求5所述虚拟现实环境下三维几何物体可视化的方法,其特征在于,所述放置的交互方式包括如下步骤:
通过输入手柄获取用户抓取信息并控制虚拟手抓取任一图形并移动至虚拟空间内目标位置;
通过输入手柄获取用户放置图形的指令时,虚拟手松开图形,图形停留在当前位置;
通过输入手柄获取用户放大或缩小图形的指令时,控制被操作图形放大或缩小。
9.如权利要求1所述虚拟现实环境下三维几何物体可视化的方法,其特征在于,所述间接交互方式还包括动态链接的交互方式,当被切割变换操作的获得的几何图形有其双胞胎图形时,所述双胞胎图形对应的柏拉图图形进入同步变换状态,与正在被操作的图形之间建立链接,进入同步变换状态。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有执行权利要求1至9任一项所述虚拟现实环境下三维几何物体可视化的方法的计算机程序。
11.一种虚拟现实环境下三维几何物体可视化系统,其特征在于,包括:
输入手柄模块,用于采集用户的抓取动作状态、手腕和手肘动作数据;
头戴显示模块,用于显示虚拟现实空间及交互界面;
存储模块,包括存储器,所述存储器存储有执行权利要求1至9任一项所述虚拟现实环境下三维几何物体可视化的方法的计算机程序;
控制模块,包括处理器,所述处理器用于执行所述存储模块内存储的计算机程序。
12.如权利要求11所述虚拟现实环境下三维几何物体可视化系统,其特征在于,所述控制模块同时与多个输入手柄模块通信连接,系统获取多个输入手柄的输入信息并分别根据每个输入手柄的输入信息执行权利要求1至9任一项所述虚拟现实环境下三维几何物体可视化的方法。
CN201810908468.9A 2018-08-10 2018-08-10 一种虚拟现实环境下三维几何物体可视化的方法及系统 Active CN109284000B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810908468.9A CN109284000B (zh) 2018-08-10 2018-08-10 一种虚拟现实环境下三维几何物体可视化的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810908468.9A CN109284000B (zh) 2018-08-10 2018-08-10 一种虚拟现实环境下三维几何物体可视化的方法及系统

Publications (2)

Publication Number Publication Date
CN109284000A CN109284000A (zh) 2019-01-29
CN109284000B true CN109284000B (zh) 2022-04-01

Family

ID=65182713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810908468.9A Active CN109284000B (zh) 2018-08-10 2018-08-10 一种虚拟现实环境下三维几何物体可视化的方法及系统

Country Status (1)

Country Link
CN (1) CN109284000B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862333B (zh) * 2019-04-28 2024-05-28 广东虚拟现实科技有限公司 基于增强现实的内容处理方法、装置、终端设备及存储介质
CN112215933B (zh) * 2020-10-19 2024-04-30 南京大学 一种基于笔式交互及语音交互的三维立体几何绘制系统
CN112764538A (zh) * 2021-01-13 2021-05-07 杭州师范大学 一种vr环境下基于手势交互的空间能力提升方法
CN116449963A (zh) * 2023-06-15 2023-07-18 沙核科技(北京)有限公司 基于vr头戴设备的虚拟现实交互方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101031866A (zh) * 2004-05-28 2007-09-05 新加坡国立大学 交互式系统和方法
CN102884490A (zh) * 2010-03-05 2013-01-16 索尼电脑娱乐美国公司 在共享的稳定虚拟空间上维持多视图
CN103124986A (zh) * 2010-08-06 2013-05-29 鹰图公司 3d模型视图操纵装置
CN106504339A (zh) * 2016-11-09 2017-03-15 四川长虹电器股份有限公司 基于虚拟现实的文物3d展示方法
CN106683193A (zh) * 2016-12-07 2017-05-17 歌尔科技有限公司 一种三维模型的设计方法和设计装置
CN107170024A (zh) * 2017-04-01 2017-09-15 武汉市真意境文化科技有限公司 一种基于vr环境二维视图生成方法及系统
CN107430442A (zh) * 2015-05-26 2017-12-01 谷歌公司 用于进入和退出沉浸式媒体中的应用和活动的多维图形方法
CN207249607U (zh) * 2017-10-10 2018-04-17 筑展(厦门)建筑科技有限公司 一种三维虚拟现实系统
CN108039080A (zh) * 2017-12-21 2018-05-15 中国舰船研究设计中心 一种基于虚拟现实的沉浸式远程培训系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102478960B (zh) * 2010-11-29 2015-11-18 国际商业机器公司 人机交互设备以及将该设备用于虚拟世界的装置和方法
US9443354B2 (en) * 2013-04-29 2016-09-13 Microsoft Technology Licensing, Llc Mixed reality interactions
KR102250254B1 (ko) * 2014-08-06 2021-05-10 삼성전자주식회사 영상 처리 방법 및 장치
US20160328887A1 (en) * 2015-05-04 2016-11-10 The Trustees Of Columbia University In The City Of New York Systems and methods for providing assistance for manipulating objects using virtual proxies and virtual replicas
CN106681516B (zh) * 2017-02-27 2024-02-06 盛世光影(北京)科技有限公司 一种基于虚拟现实的自然人机交互系统
CN107589833A (zh) * 2017-08-08 2018-01-16 阿里巴巴集团控股有限公司 基于vr场景的安全防护方法、装置以及vr终端设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101031866A (zh) * 2004-05-28 2007-09-05 新加坡国立大学 交互式系统和方法
CN102884490A (zh) * 2010-03-05 2013-01-16 索尼电脑娱乐美国公司 在共享的稳定虚拟空间上维持多视图
CN103124986A (zh) * 2010-08-06 2013-05-29 鹰图公司 3d模型视图操纵装置
CN107430442A (zh) * 2015-05-26 2017-12-01 谷歌公司 用于进入和退出沉浸式媒体中的应用和活动的多维图形方法
CN106504339A (zh) * 2016-11-09 2017-03-15 四川长虹电器股份有限公司 基于虚拟现实的文物3d展示方法
CN106683193A (zh) * 2016-12-07 2017-05-17 歌尔科技有限公司 一种三维模型的设计方法和设计装置
CN107170024A (zh) * 2017-04-01 2017-09-15 武汉市真意境文化科技有限公司 一种基于vr环境二维视图生成方法及系统
CN207249607U (zh) * 2017-10-10 2018-04-17 筑展(厦门)建筑科技有限公司 一种三维虚拟现实系统
CN108039080A (zh) * 2017-12-21 2018-05-15 中国舰船研究设计中心 一种基于虚拟现实的沉浸式远程培训系统

Also Published As

Publication number Publication date
CN109284000A (zh) 2019-01-29

Similar Documents

Publication Publication Date Title
CN109284000B (zh) 一种虚拟现实环境下三维几何物体可视化的方法及系统
Surale et al. Tabletinvr: Exploring the design space for using a multi-touch tablet in virtual reality
US5861889A (en) Three dimensional computer graphics tool facilitating movement of displayed object
US9415509B2 (en) Robot teach device with 3-D display
Grossman et al. Multi-finger gestural interaction with 3d volumetric displays
US6222465B1 (en) Gesture-based computer interface
CA2405924C (en) Animation creation program
Kok et al. A multimodal virtual reality interface for 3D interaction with VTK
KR20230003648A (ko) 사용자 인터페이스와 마스터 제어기 사이의 상호작용
JP7241462B2 (ja) 3次元シーンにおけるオブジェクトの高速操作
WO2019203952A1 (en) Systems and methods for applications of augmented reality
US6760030B2 (en) Method of displaying objects in a virtual 3-dimensional space
JP2013214275A (ja) 三次元位置指定方法
Stork et al. Efficient and precise solid modelling using a 3D input device
Wu et al. TouchSketch: a touch-based interface for 3D object manipulation and editing
Shen et al. Gpu-based realtime hand gesture interaction and rendering for volume datasets using leap motion
Kulik Building on realism and magic for designing 3d interaction techniques
JP7439639B2 (ja) 情報提示システム及びプログラム
JP5665396B2 (ja) 情報処理装置およびその制御方法
KR20150038055A (ko) 수치 제어 시스템 및 수치 제어 데이터 생성 방법
JP2001291119A (ja) ユーザインタフェース制御装置およびユーザインタフェース制御方法、並びにプログラム提供媒体
JPH08249500A (ja) 3次元図形の表示方法
Faeth et al. Cutting, deforming and painting of 3d meshes in a two handed viso-haptic vr system
JP4907156B2 (ja) 3次元ポインティング方法および3次元ポインティング装置ならびに3次元ポインティングプログラム
WO1995011482A1 (en) Object-oriented surface manipulation system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant