CN108536288A - 虚拟现实中交互操作的处理方法和装置 - Google Patents

虚拟现实中交互操作的处理方法和装置 Download PDF

Info

Publication number
CN108536288A
CN108536288A CN201810259883.6A CN201810259883A CN108536288A CN 108536288 A CN108536288 A CN 108536288A CN 201810259883 A CN201810259883 A CN 201810259883A CN 108536288 A CN108536288 A CN 108536288A
Authority
CN
China
Prior art keywords
interactive
crash box
alternative events
detecting
case
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810259883.6A
Other languages
English (en)
Inventor
彭昕翯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201810259883.6A priority Critical patent/CN108536288A/zh
Publication of CN108536288A publication Critical patent/CN108536288A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Abstract

本发明公开了一种虚拟现实中交互操作的处理方法和装置。其中,该方法包括:在检测到第一交互事件的情况下,交互对象进入预交互状态;在检测到第二交互事件的情况下,触发交互指令,交互对象进入交互状态,交互指令为根据交互对象执行对应交互操作的指令。本发明解决了现有虚拟现实应用中实现的交互操作无法反映真实触感导致用户体验较差的技术问题。

Description

虚拟现实中交互操作的处理方法和装置
技术领域
本发明涉及计算机领域,具体而言,涉及一种虚拟现实中交互操作的处理方和装置。
背景技术
随着计算机技术的发展,如何实现与计算机更加友好的交互,是本领域一直要解决的问题,虚拟现实(Virtual Reality,VR)的出现,使得人们可以对计算机模拟出的虚拟环境内的物体进行操作,并从虚拟环境内得到反馈。虚拟现实技术(VR)主要包括模拟环境、感知、自然技能和传感设备等方面。其中,模拟环境是由计算机生成的、实时动态的三维立体逼真图像;感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外,还有听觉、触觉、力觉、运动等感知,甚至还包括嗅觉和味觉等,也称为多感知;自然技能是指人的头部转动,眼睛、手势、或其他人体行为动作,由计算机来处理与参与者的动作相适应的数据,并对用户的输入作出实时响应,并分别反馈到用户的五官;传感设备是指三维交互设备。
由上可以看出,在虚拟现实应用中,用户的感知十分重要。但是,目前的虚拟现实应用中,由于虚拟环境中没有真实的物品来交互,因而,反馈给用户的感觉非常有限。以VR游戏为例,现有技术中,大都在使用射线来实现按钮点击,即通过由手柄放出玩家可视的射线,判断射线与交互界面的交点,来决定预选择的按钮,后扣扳机实现点击效果。这种按钮点击方式局限于传统的2D交互,手柄主要实现鼠标的功能,没有真正实现点击按钮这个动作,没有充分利用3D世界中的深度信息来完成空间内的交互,用户体验较差。
针对上述现有虚拟现实应用中实现的交互操作无法反映真实触感导致用户体验较差的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种虚拟现实中交互操作的处理方法、装置、处理器、存储介质和终端,以至少解决现有虚拟现实应用中实现的交互操作无法反映真实触感导致用户体验较差的技术问题。
本发明实施例提供了一种交互操作的处理方法、装置、处理器、存储介质和终端,以至少解决现有虚拟现实应用中实现的交互操作无法反映真实触感导致用户体验较差的技术问题。
根据本发明实施例的一个方面,提供了一种交互操作的处理方法,包括:在检测到第一交互事件的情况下,交互对象进入预交互状态;在检测到第二交互事件的情况下,触发交互指令,交互对象进入交互状态,交互指令为根据交互对象执行对应交互操作的指令。
进一步地,在检测到第一交互事件的情况下,方法还包括:输出第一多媒体数据,其中,第一多媒体数据用于提示交互对象进入预交互状态。
进一步地,在检测到第二交互事件的情况下,方法还包括:输出第二多媒体数据,其中,第二多媒体数据用于提示交互对象进入交互状态。
进一步地,交互对象为虚拟场景中的交互控件,第一交互事件和第二交互事件为虚拟场景中目标对象与交互控件的交互事件。
进一步地,第一交互事件为第三碰撞盒与第一碰撞盒的碰撞事件,第二交互事件为第三碰撞盒与第二碰撞盒的碰撞事件,其中,第一碰撞盒与第二碰撞盒与交互对象相关联,第三碰撞盒与所述目标对象相关联。
进一步地,在检测到第一交互事件的情况下,交互对象进入预交互状态之后,方法还包括:缓存交互对象的交互信息。
进一步地,交互指令为根据交互对象的交互信息执行对应交互操作的指令。
进一步地,在检测到第一交互事件的情况下,交互对象进入预交互状态之前,方法还包括:实时检测目标对象在虚拟现实场景中的位置信息,控制交互对象进入相应的状态。
进一步地,交互控件位于第二碰撞盒中,或位于第二碰撞盒与第一碰撞盒相交的区域空间内。
进一步地,输出第一多媒体数据,包括:在检测到第三碰撞盒与第一碰撞盒的碰撞事件的情况下,输出模拟目标对象在执行点击按钮动作时的第一音效或动画,其中,第一音效或动画用于表征交互对象进入预交互状态。
进一步地,在检测到第三碰撞盒与第一碰撞盒的碰撞事件的情况下,方法还包括:控制交互设备输出振动信号,其中,交互设备为控制目标对象执行交互操作的设备,振动信号用于模拟第三碰撞盒与第一碰撞盒发生碰撞时的阻力感。
进一步地,输出第二多媒体数据,包括:在检测到第三碰撞盒与第二碰撞盒的碰撞事件的情况下,输出模拟交互控件被点击的第二音效或动画,第二音效或动画用于表征交互控件处于交互状态。
根据本发明实施例的另一方面,还提供了一种虚拟现实中交互操作的处理装置,包括:第一检测单元,用于在检测到第一交互事件的情况下,交互对象进入预交互状态;第二检测单元,用于在检测到第二交互事件的情况下,触发交互指令,交互对象进入交互状态,交互指令为根据交互对象执行对应交互操作的指令。
根据本发明实施例的另一方面,还提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述方法实施例中任意一项可选的或优选的虚拟现实中交互操作的处理方法。
根据本发明实施例的另一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述方法实施例中任意一项可选的或优选的虚拟现实中交互操作的处理方法。
根据本发明实施例的另一方面,还提供了一种终端,包括:一个或多个处理器,存储器,显示装置以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行上述方法实施例中任意一项可选的或优选的虚拟现实中交互操作的处理方法。
在本发明实施例中,通过在检测到第一交互事件的情况下,交互对象进入预交互状态;在检测到第二交互事件的情况下,触发交互指令,交互对象进入交互状态,交互指令为根据交互对象执行对应交互操作的指令,达到了更加真实地模拟用户在虚拟场景中的交互操作的目的,从而实现了提高各种虚拟现实应用的用户体验的技术效果,进而解决了现有虚拟现实应用中实现的交互操作无法反映真实触感导致用户体验较差的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种虚拟现实中交互操作的处理方法流程图;
图2是根据本发明实施例的一种可选的虚拟场景中按钮点击示意图;
图3是根据本发明实施例的一种可选的虚拟场景中按钮点击进入预交互状态的示意图;
图4是根据本发明实施例的一种可选的虚拟场景中按钮点击进入预交互状态的示意图;以及
图5是根据本发明实施例的一种虚拟现实中交互操作的处理装置示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种虚拟现实中交互操作的处理方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种虚拟现实中交互操作的处理方法流程图,如图1所示,该方法包括如下步骤:
步骤S102,在检测到第一交互事件的情况下,交互对象进入预交互状态。
具体地,上述交互对象可以是虚拟场景中的任意一种可以进行交互的虚拟对象,包括但不限虚拟键盘、虚拟鼠标、虚拟屏幕等各种虚拟的输入设备,上述第一交互事件可以是用户直接或通过各种VR设备与虚拟场景中的交互对象执行交互操作(包括但不限于点击按键、滑动滑轮、触摸屏幕等操作)时使交互对象进入预交互状态的事件,例如,在执行交互操作时,用户的手指或在虚拟场景中控制的目标对象靠近交互对象的事件,在执行点击按键时手指(例如,食指)靠近按键或触碰到按键的事件,或者在执行滑动鼠标滑轮操作时手指(例如,食指)靠近或触碰到滑轮的事件,或者触摸屏幕时手指靠近或触碰到屏幕的事件。
通过上述步骤S102,在检测到第一交互事件的情况下,使得交互对象进入预交互状态,使得在与交互对象进行交互前渲染出交互相关的一些感观(包括但不限于视觉、听觉或触觉)效果。
步骤S104,在检测到第二交互事件的情况下,触发交互指令,交互对象进入交互状态,交互指令为根据交互对象执行对应交互操作的指令。
具体地,第二交互事件可以是与交互对象进行交互操作(即触发交互指令,交互指令包括但不限于点击、滑动、触摸等)的事件,此时的交互对象进入交互状态,在检测到第二交互事件的情况下,触发相应的交互指令,以便根据该交互指令控制交互对象执行对应的交互操作,进一步地,还可以渲染交互对象进入交互状态时的各种感觉效果。
一种可选的实施例中,在检测到第一交互事件的情况下,交互对象进入交互状态后,上述方法还可以包括:缓存交互对象的交互信息。
可选地,基于上述实施例,上述交互指令可以是根据交互对象的交互信息执行对应交互操作的指令。
需要说明的是,通过上述实施例,在检测到第二交互事件的情况下,不会直接控制交互对象执行相应的操作,而是判断当前是否缓存有在检测到与交互对象的第一交互事件的情况下缓存的交互信息,如果缓存有第一交互事件的交互信息,才控制交互对象执行的对应的交互操作,如果没有缓存有第一交互事件的交互信息,则可能是误触发了与交互对象的第二交互事件,所以不会控制交互对象执行对应的交互操作。由此,通过至少两次交互事件来控制交互对象执行交互操作,不仅可以在交互过程中的不同阶段渲染不同的感觉效果,而且还可以提高控制的准确性。
由上可知,在本申请上述实施例中,在检测到使得交互对象进入预交互状态的第一交互事件的情况下,使得交互对象进入预交互状态,并在检测到与交互对象的第二交互事件的情况下,触发对应的交互指令,并使得交互对象进入交互状态,使得交互根据交互指令执行对应的交互操作,达到了更加真实地模拟用户在虚拟场景中的交互操作的目的,从而实现了提高各种虚拟现实应用的用户体验的技术效果,进而解决了现有虚拟现实应用中实现的交互操作无法反映真实触感导致用户体验较差的技术问题。
在一种可选的实施例中,在检测到第一交互事件的情况下,上述方法还可以包括:输出第一多媒体数据,其中,第一多媒体数据用于提示交互对象进入预交互状态。
由于第一交互事件表征与交互对象进行交互操作使得交互对象进入了预交互状态,因而,可以输出用于显示交互对象进入预交互状态的多媒体数据(即第一多媒体数据)来模拟交互对象在预交互状态的各种视觉、听觉、触觉效果,可选地,模拟的多媒体数据可以是模拟交互对象状态变化的视频、动画、声音等,如果用户是通过控制虚拟场景中的虚拟对象(例如,游戏主角的肢体)来与交互对象进行交互的情况下,还可以进一步模拟该虚拟对象的状态变化,则输出的多媒体数据还可以是该虚拟对象状态变化的视频、动画、声音等。
通过上述实施例,可以呈现交互对象的预交互状态。
在一种可选的实施例中,在检测到第二交互事件的情况下,上述方法还可以包括:输出第二多媒体数据,其中,第二多媒体数据用于提示交互对象进入交互状态。
由于第二交互事件表征与交互对象进行交互操作使得交互对象进入了交互状态,因而,可以输出用于显示交互对象进入交互状态的多媒体数据(即第二多媒体数据)来模拟交互对象在预交互状态的各种视觉、听觉、触觉效果,可选地,模拟的多媒体数据可以是模拟交互对象状态变化的视频、动画、声音等,如果用户是通过控制虚拟场景中的虚拟对象(例如,游戏主角的肢体)来与交互对象进行交互的情况下,还可以进一步模拟该虚拟对象的状态变化,则输出的多媒体数据还可以是该虚拟对象状态变化的视频、动画、声音等。
可选地,上述第一多媒体数据和第二多媒体数据可以是通过显示屏或音频设备输出的,以给用户提供在交互对象进入预交互状态或交互状态时的视觉和听觉效果。
进一步地,为了获得更加真实的效果,还可以模拟触觉效果,例如,当用户通过各种VR控制设备(例如,手套、手环、指环、眼镜、头盔等)控制虚拟场景中的虚拟对象的情况下,还可以控制这些VR设备执行相应的动作,以模拟触觉感受,例如,通过手套在用户敲击键盘的时候,在手套上添加一传感器,向用户的手指反馈一定压力,以模拟手指触碰键盘的感觉。
基于上述任意一种可选的实施例,作为一种可选的实施例,上述交互对象可以为虚拟场景中的交互控件,第一交互事件和第二交互事件可以为虚拟场景中目标对象与交互控件的事件。其中,交互控件包括但不限于虚拟键盘的按钮,或者虚拟屏幕上显示的控件。可选地,目标对象可以是但不限于手、多种控制外设(手柄、手套、以及其他控制器)。
可选地,上述第一交互事件可以为基于目标对象构建的第三碰撞盒与第一碰撞盒的碰撞事件,第二交互事件可以为第三碰撞盒与第二碰撞盒的碰撞事件,其中,第一碰撞盒、第二碰撞盒与交互对象相关联。
需要说明的是,第一碰撞盒与第二碰撞盒与交互对象可能存在多种位置关系,第三碰撞盒与目标对象可能存在多种位置关系,例如,当目标对象为手部模型的情况下,第三碰撞盒与手部模型的位置关系包括但不限于全部包围、部分包围以及二者之间保持预设距离等。作为一种可选的实施例,上述第三碰撞盒可以为设置在手部模型上任意一个手指的指尖部位的碰撞盒,第一碰撞盒与第二碰撞盒相交,交互控件(例如,按钮控件)位于第二碰撞盒内或第一碰撞盒与第二碰撞盒相交的区域空间内。
例如,在上述交互控件为按钮控件、目标对象为手部模型的情况下,第一交互事件可以为手部模型上的第三碰撞盒与第一碰撞盒的碰撞事件,第二交互事件可以为手部模型上的第三碰撞盒与第二碰撞盒的碰撞事件,其中,第三碰撞盒为设置在手部模型上任意一个手指的指尖部位的碰撞盒,第一碰撞盒与第二碰撞盒相交,按钮控件位于第二碰撞盒内或第一碰撞盒与第二碰撞盒相交的区域空间内。
需要说明的是,碰撞盒是一种组件,它和刚体绑定在一起,使得碰撞发生。如果两个刚体撞在一起,物理引擎将不会计算碰撞除非它们包含一个碰撞盒组件。没有碰撞盒的刚体,会在物理模拟中相互穿透。碰撞盒必须独立于刚体加在对象上。碰撞盒并不一定需要附加刚体,但是要使移动物体具有碰撞效果必须附加刚体。为了使两个触发器碰撞时发出碰撞事件,其中一个必须包含刚体。在三维虚拟场景中,需要检测两个虚拟元素之间的碰撞事件,需要为虚拟元素添加合适的碰撞盒(包括但不限于立方体、球体、胶囊体等多种相撞的碰撞盒),例如,本申请各个实施例中为了检测目标对象与交互对象之间的交互操作,而基于目标对象构建第三碰撞盒,并在交互对象上添加第一碰撞盒和第二碰撞盒(交互对象位于第一碰撞盒与第二碰撞盒的相交区域空间内),利用第三碰撞盒与第一碰撞盒的碰撞事件触发交互对象进入预交互状态,利用第三碰撞盒与第一碰撞盒的碰撞事件触发交互对象进入交互状态。
优选地,上述按钮控件位于第二碰撞盒中与第一碰撞盒相交的区域内。
作为一种可选的实施方式,图2是根据本发明实施例的一种可选的虚拟场景中按钮点击示意图,如图2所示,图标201所示为设置在手指指尖的指尖碰撞盒(即上述第三碰撞盒),图标203所示为虚拟场景中的按钮控件,图标205所示为位于按钮控件前方的第一碰撞盒,用于检测按钮控件的预交互状态,图标207所示为与第一碰撞盒相交的第二碰撞盒,按钮控件位于第二碰撞盒中与第一碰撞盒相交的区域内,第二碰撞盒可以用于检测按钮控件的交互状态。
如图2所示,按钮处于两个碰撞盒相交的区域里,按钮前长条的碰撞盒(即第一碰撞盒)是判断点击预交互碰撞盒。也是用来缓存按钮信息。按钮后部的碰撞盒(即第二碰撞盒)是用来触发点击的碰撞盒。指尖的球体碰撞盒用来与按钮碰撞盒(第一碰撞盒或第二碰撞盒)进行碰撞检测。作为一种可选的实施方式,可以使用Unity自带的物理引擎,当两个碰撞盒接触时,触发两个进入碰撞盒enter的事件,如果两个碰撞盒一直都有重叠,则不断触发碰撞盒stay事件,如果碰撞盒分离,则触发leave事件。每个玩家分别有左手和右手两份手部交互代码handinteract,碰撞盒事件会由对应的handinteract接收。其中,按钮信息可以在每个按钮中存储的interactobject代码,handinteract每一帧中只存在一个交互对象或没有交互对象,此时在handinteract里缓存这个按钮交互对象interactobject,并且同时在按钮的interactobject代码中缓存手handinteract的信息)。
在交互控件为按钮控件、目标对象为手部模型的情况下,作为一种可选的实施方式,输出第一多媒体数据,可以包括:在检测到手部模型上的第三碰撞盒与第一碰撞盒的碰撞事件的情况下,输出模拟手部模型在执行点击按钮动作时的第一音效或动画,其中,第一音效或动画用于表征交互对象进入预交互状态。
作为一种可选的实施方式,图3是根据本发明实施例的一种可选的虚拟场景中按钮点击进入预交互状态的示意图,如图3所示,可以控制手部模型发生变化,以呈现准备点击按钮的状态。例如,当指尖的球形碰撞盒停留在预交互区域时,播放手部动画,手势从idle状态(即手部的自然状态,在手指间没有碰到任何碰撞体的时候的手部姿势)变成点击状态,并且配合手柄震动,提示触碰到按钮和模拟按钮的手感,缓存当前按钮。
作为一种可选的实施例,在检测到第一交互事件的情况下,交互对象进入预交互状态步骤之前,上述方法还可以包括:实时检测上述目标对象在虚拟现实场景中的位置信息,控制交互对象进入相应的状态。例如,检测手柄等控制外设在虚拟场景中对饮的位置信息,控制交互对象进入相应的状态。如图3所示,当目标对象位于第一碰撞盒所在区域空间内时,交互对象进入预交互状态;当目标对象位于第一碰撞盒与第二碰撞盒的相交区域空间或第二碰撞盒的区域内时,交互对应进入交互状态。
可选地,在检测到第三碰撞盒与第一碰撞盒的碰撞事件的情况下,上述方法还可以包括方法还包括:控制交互设备输出振动信号,其中,交互设备为控制手部模型执行交互操作的设备,振动信号用于模拟第三碰撞盒与第一碰撞盒发生碰撞时的阻力感。其中,交互设备包括但不限于如下任意一种:手柄、可穿戴设备(例如,VR手套)等。
作为一种可选的实施方式,输出第二多媒体数据,可以包括:在检测到第三碰撞盒与第二碰撞盒的碰撞事件的情况下,输出模拟交互控件被点击的第二音效或动画,第二音效或动画用于表征按钮控件处于交互状态。
可选地,可以在检测到第三碰撞盒与第二碰撞盒的碰撞事件且缓存有交互控件的点击交互信息的情况下,输出模拟交互控件被点击的第二音效或动画,第二音效或动画用于表征按钮控件处于交互状态。
例如,在交互控件为按钮控件、目标对象为手部模型的情况下,检测手部模型上的第三碰撞盒与第二碰撞盒的碰撞事件的情况下,输出模拟按钮控件被点击的第二音效或动画,第二音效或动画用于表征按钮控件处于交互状态。
基于本申请上述任意一种可选的实施例,上述交互控件可以为按钮控件。
作为一种可选的实施方式,图4是根据本发明实施例的一种可选的虚拟场景中按钮点击进入预交互状态的示意图,如图4所示,当手部模型与按钮接触,则按钮进入交互状态,可以呈现一些按钮被点击的多媒体数据。当指尖的碰撞盒进入第二层点击区域时,检查缓存按钮(例如,在指尖所在的手的handinteract中检查当前的interactobject,如果存在即返回interactobject,如果不存在返回null,对比handinteract和interactobject中缓存的handinteract是否为同一个,如果是同一个,则触发点击事件),如果存在,触发点击事件,并播放点击音效以及按钮的点击动画。点击只检测进入交互区域的事件,所以点击事件只会响应一次。
通过本申请上述实施例提供的按钮点击方法,控制VR中手部模型触碰按钮进行点击,并在按钮前一定区域,手会变成点击手势的预交互状态,实现了手指点击触发按钮,并在点击时,配合手柄的震动,音效以及按压动画真实模拟点击时的手感。由于本申请提供的交互操作方法,充分利用VR世界中的深度信息,促进玩家在游戏中的移动,让玩家能够更加体验到沉浸式游戏的细节。由于现市面上已有的设计多数为射线点击,配合射线点击的按钮设计多趋向于平面。这个新的点击方案,可以配合平面的按钮设计,也可以配合立体的几何模型,UI设计方面可以有更多的选择。
综上可以看出,本申请实时提供的交互操作方法,实现了真实世界中的交互操作(例如,点击按钮),并在交互操作输出相应的多媒体数据(例如,给予用户点击时触碰到按钮的震动反馈,模拟触碰到物体的手感),另外,通过控制虚拟场景中的虚拟对象实现碰撞,不需要操作手柄按钮,避免破坏VR的沉浸感,容易注意的是,由于VR中的手部模型与按钮相比过于庞大需要在物理碰撞和界面大小中取得平衡。
根据本发明实施例,还提供了一种用于实现上述虚拟现实中交互操作的处理方法的装置实施例,图5是根据本发明实施例的一种虚拟现实中交互操作的处理装置示意图,如图5所示,该装置包括:第一检测单元501和第二检测单元503。
其中,第一检测单元501,用于在检测到第一交互事件的情况下,交互对象进入预交互状态;
第二检测单元503,用于在检测到第二交互事件且当前缓存有交互信息的情况下,触发交互指令,其中,所述第二交互事件用于表征所述交互对象进入交互状态,所述交互指令为控制所述交互对象根据所述交互信息执行对应交互操作的指令。
此处需要说明的是,上述第一检测单元501和第二检测单元503对应于方法实施例中的步骤S102至S104,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述方法实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
由上可知,在本申请上述实施例中,通过第一检测单元501在检测到使得交互对象进入预交互状态的第一交互事件的情况下,使得交互对象进入预交互状态,并通过第二检测单元503在检测到与交互对象的第二交互事件的情况下,触发对应的交互指令,并使得交互对象进入交互状态,使得交互根据交互指令执行对应的交互操作,达到了更加真实地模拟用户在虚拟场景中的交互操作的目的,从而实现了提高各种虚拟现实应用的用户体验的技术效果,进而解决了现有虚拟现实应用中实现的交互操作无法反映真实触感导致用户体验较差的技术问题。
在一种可选的实施例中,上述装置还可以包括:缓存单元,用于缓存交互对象的交互信息。
可选地,基于上述实施例,上述交互指令可以是根据交互对象的交互信息执行对应交互操作的指令。
在一种可选的实施例中,在检测到第一交互事件的情况下,上述装置还包括:第一输出单元,用于输出第一多媒体数据,其中,第一多媒体数据用于提示交互对象进入预交互状态。
在一种可选的实施例中,在检测到第二交互事件的情况下,上述装置还包括:第二输出单元,用于输出第二多媒体数据,其中,第二多媒体数据用于提示交互对象进入交互状态。
基于上述任意一种可选的装置实施例,作为一种可选的实施例,上述交互对象可以为虚拟场景中的交互控件,第一交互事件和第二交互事件为虚拟场景中目标对象与交互控件的交互事件。
基于上述实施例,作为一种可选的实施方式,上述第一交互事件可以为基于目标对象构建的第三碰撞盒与第一碰撞盒的碰撞事件,第二交互事件可以为第三碰撞盒与第二碰撞盒的碰撞事件,其中,第一碰撞盒、第二碰撞盒与交互对象相关联。
在一种可选的实施例中,上述装置还可以包括:第三检测单元,用于实时检测目标对象在虚拟现实场景中的位置信息,控制交互对象进入相应的状态。
可选地,上述交互控件可以位于第二碰撞盒中,或位于第二碰撞盒与第一碰撞盒相交的区域空间内。优选地,上述按钮控件可以位于第二碰撞盒中与第一碰撞盒相交的区域内。
在一种可选的实施例中,上述第一输出单元可以用于在检测到第三碰撞盒与第一碰撞盒的碰撞事件的情况下,输出模拟目标对象在执行点击按钮动作时的第一音效或动画,其中,第一音效或动画用于表征交互对象进入预交互状态。
可选地,上述第一输出单元还可以用于在检测到第三碰撞盒与第一碰撞盒的碰撞事件的情况下,控制交互设备输出振动信号,其中,交互设备为控制目标对象执行交互操作的设备,振动信号用于模拟第三碰撞盒与第一碰撞盒发生碰撞时的阻力感。
在一种可选的实施例中,上述第二输出单元可以用于在检测到第三碰撞盒与第二碰撞盒的碰撞事件的情况下,输出模拟交互控件被点击的第二音效或动画,第二音效或动画用于表征交互控件处于交互状态。
基于本申请上述任意一种可选的装置实施例,上述交互控件可以为按钮控件。
根据本发明实施例,还提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述方法实施例中任意一项可选的或优选的虚拟现实中交互操作的处理方法。
根据本发明实施例,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述方法实施例中任意一项可选的或优选的虚拟现实中交互操作的处理方法。
根据本发明实施例,还提供了一种终端,包括:一个或多个处理器,存储器,显示装置以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行上述方法实施例中任意一项可选的或优选的虚拟现实中交互操作的处理方法。
上述的装置可以包括处理器和存储器,上述单元均可以作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
上述本申请实施例的顺序不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。
其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (17)

1.一种虚拟现实中交互操作的处理方法,其特征在于,包括:
在检测到第一交互事件的情况下,交互对象进入预交互状态;
在检测到第二交互事件的情况下,触发交互指令,所述交互对象进入交互状态,所述交互指令为根据所述交互对象执行对应交互操作的指令。
2.根据权利要求1所述的方法,其特征在于,在检测到第一交互事件的情况下,所述方法还包括:
输出第一多媒体数据,其中,所述第一多媒体数据用于提示所述交互对象进入所述预交互状态。
3.根据权利要求1所述的方法,其特征在于,在检测到第二交互事件的情况下,所述方法还包括:
输出第二多媒体数据,其中,所述第二多媒体数据用于提示所述交互对象进入所述交互状态。
4.根据权利要求3所述的方法,其特征在于,所述交互对象为虚拟场景中的交互控件,所述第一交互事件和第二交互事件为所述虚拟场景中目标对象与所述交互控件的交互事件。
5.根据权利要求4所述的方法,其特征在于,所述第一交互事件为基于所述目标对象所构建的第三碰撞盒与第一碰撞盒的碰撞事件,所述第二交互事件为所述第三碰撞盒与第二碰撞盒的碰撞事件,其中,所述第一碰撞盒、第二碰撞盒与所述交互对象相关联。
6.根据权利要求5所述的方法,其特征在于,在检测到第一交互事件的情况下,所述交互对象进入预交互状态之后,所述方法还包括:
缓存所述交互对象的交互信息。
7.根据权利要求6所述的方法,其特征在于,所述交互指令为根据所述交互对象的交互信息执行对应交互操作的指令。
8.根据权利要求4所述的方法,其特征在于,在检测到第一交互事件的情况下,所述交互对象进入预交互状态步骤之前,所述方法还包括:
实时检测所述目标对象在虚拟现实场景中的位置信息,控制所述交互对象进入相应的状态。
9.根据权利要求5所述的方法,其特征在于,所述交互控件位于所述第二碰撞盒中,或位于所述第二碰撞盒与所述第一碰撞盒相交的区域空间内。
10.根据权利要求6所述的方法,其特征在于,输出第一多媒体数据,包括:
在检测到所述第三碰撞盒与所述第一碰撞盒的碰撞事件的情况下,输出模拟所述目标对象在执行点击按钮动作时的第一音效或动画,其中,所述第一音效或动画用于表征所述交互对象进入预交互状态。
11.根据权利要求10所述的方法,其特征在于,在检测到所述第三碰撞盒与所述第一碰撞盒的碰撞事件的情况下,所述方法还包括:
控制交互设备输出振动信号,其中,所述交互设备为控制所述目标对象执行交互操作的设备,所述振动信号用于模拟所述第三碰撞盒与所述第一碰撞盒发生碰撞时的阻力感。
12.根据权利要求5所述的方法,其特征在于,输出第二多媒体数据,包括:
在检测到所述第三碰撞盒与所述第二碰撞盒的碰撞事件的情况下,输出模拟所述交互控件被点击的第二音效或动画,所述第二音效或动画用于表征所述交互控件处于交互状态。
13.根据权利要求4至12中任意一项所述的方法,其特征在于,所述交互控件为按钮控件。
14.一种虚拟现实中交互操作的处理装置,其特征在于,包括:
第一检测单元,用于在检测到第一交互事件的情况下,缓存交互对象的交互信息,其中,所述第一交互事件用于表征所述交互对象进入预交互状态;
第二检测单元,用于在检测到第二交互事件且当前缓存有所述交互信息的情况下,触发交互指令,其中,所述第二交互事件用于表征所述交互对象进入交互状态,所述交互指令为控制所述交互对象根据所述交互信息执行对应交互操作的指令。
15.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至13任意一项所述的虚拟现实中交互操作的处理方法。
16.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至13中任意一项所述的虚拟现实中交互操作的处理方法。
17.一种终端,其特征在于,包括:
一个或多个处理器,存储器,显示装置以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行权利要求1至13中任意一项所述的虚拟现实中交互操作的处理方法。
CN201810259883.6A 2018-03-27 2018-03-27 虚拟现实中交互操作的处理方法和装置 Pending CN108536288A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810259883.6A CN108536288A (zh) 2018-03-27 2018-03-27 虚拟现实中交互操作的处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810259883.6A CN108536288A (zh) 2018-03-27 2018-03-27 虚拟现实中交互操作的处理方法和装置

Publications (1)

Publication Number Publication Date
CN108536288A true CN108536288A (zh) 2018-09-14

Family

ID=63485318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810259883.6A Pending CN108536288A (zh) 2018-03-27 2018-03-27 虚拟现实中交互操作的处理方法和装置

Country Status (1)

Country Link
CN (1) CN108536288A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109992175A (zh) * 2019-04-03 2019-07-09 腾讯科技(深圳)有限公司 用于模拟盲人感受的物体显示方法、装置及存储介质
CN111077984A (zh) * 2018-10-19 2020-04-28 北京微播视界科技有限公司 人机交互方法、装置、电子设备及计算机存储介质
CN111282265A (zh) * 2020-02-07 2020-06-16 网易(杭州)网络有限公司 游戏中虚拟对象的获取方法、装置、电子设备及存储介质
CN111540058A (zh) * 2020-04-24 2020-08-14 湖南翰坤实业有限公司 一种基于vr一体式头盔技术的建筑安全体验方法及系统
CN112527112A (zh) * 2020-12-08 2021-03-19 中国空气动力研究与发展中心计算空气动力研究所 一种多通道沉浸式流场可视化人机交互方法
CN112843734A (zh) * 2020-12-31 2021-05-28 上海米哈游天命科技有限公司 一种画面拍摄方法、装置、设备及存储介质
CN112915535A (zh) * 2021-03-31 2021-06-08 腾讯科技(深圳)有限公司 一种游戏数据处理方法以及相关设备
CN113961069A (zh) * 2021-09-30 2022-01-21 西安交通大学 适用于实物的增强现实交互方法、装置及存储介质
CN114495585A (zh) * 2020-11-11 2022-05-13 郑州畅想高科股份有限公司 一种机械间检修vr模拟培训方法
WO2022237055A1 (zh) * 2021-05-10 2022-11-17 青岛小鸟看看科技有限公司 虚拟键盘交互方法及系统
CN116774835A (zh) * 2023-08-21 2023-09-19 深圳风向标教育资源股份有限公司 基于vr手柄的虚拟环境中交互方法、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050203367A1 (en) * 2001-06-13 2005-09-15 Ahmed Syed N Guide system
CN102722249A (zh) * 2012-06-05 2012-10-10 上海鼎为软件技术有限公司 操控方法、操控装置及电子装置
CN103064514A (zh) * 2012-12-13 2013-04-24 航天科工仿真技术有限责任公司 沉浸式虚拟现实系统中的空间菜单的实现方法
CN105892632A (zh) * 2015-11-16 2016-08-24 乐视致新电子科技(天津)有限公司 一种判断虚拟现实应用的ui控件被选中的方法和装置
CN107145227A (zh) * 2017-04-20 2017-09-08 腾讯科技(深圳)有限公司 虚拟现实场景的交互方法及装置
CN107533373A (zh) * 2015-08-04 2018-01-02 谷歌有限责任公司 虚拟现实中经由手与对象的场境敏感碰撞的输入

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050203367A1 (en) * 2001-06-13 2005-09-15 Ahmed Syed N Guide system
CN102722249A (zh) * 2012-06-05 2012-10-10 上海鼎为软件技术有限公司 操控方法、操控装置及电子装置
CN103064514A (zh) * 2012-12-13 2013-04-24 航天科工仿真技术有限责任公司 沉浸式虚拟现实系统中的空间菜单的实现方法
CN107533373A (zh) * 2015-08-04 2018-01-02 谷歌有限责任公司 虚拟现实中经由手与对象的场境敏感碰撞的输入
CN105892632A (zh) * 2015-11-16 2016-08-24 乐视致新电子科技(天津)有限公司 一种判断虚拟现实应用的ui控件被选中的方法和装置
CN107145227A (zh) * 2017-04-20 2017-09-08 腾讯科技(深圳)有限公司 虚拟现实场景的交互方法及装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111077984A (zh) * 2018-10-19 2020-04-28 北京微播视界科技有限公司 人机交互方法、装置、电子设备及计算机存储介质
CN109992175A (zh) * 2019-04-03 2019-07-09 腾讯科技(深圳)有限公司 用于模拟盲人感受的物体显示方法、装置及存储介质
US11402965B2 (en) 2019-04-03 2022-08-02 Tencent Technology (Shenzhen) Company Limited Object display method and apparatus for simulating feeling of blind person and storage medium
CN111282265A (zh) * 2020-02-07 2020-06-16 网易(杭州)网络有限公司 游戏中虚拟对象的获取方法、装置、电子设备及存储介质
CN111540058A (zh) * 2020-04-24 2020-08-14 湖南翰坤实业有限公司 一种基于vr一体式头盔技术的建筑安全体验方法及系统
CN111540058B (zh) * 2020-04-24 2023-12-01 湖南翰坤实业有限公司 一种基于vr一体式头盔技术的建筑安全体验方法及系统
CN114495585A (zh) * 2020-11-11 2022-05-13 郑州畅想高科股份有限公司 一种机械间检修vr模拟培训方法
CN112527112A (zh) * 2020-12-08 2021-03-19 中国空气动力研究与发展中心计算空气动力研究所 一种多通道沉浸式流场可视化人机交互方法
CN112843734A (zh) * 2020-12-31 2021-05-28 上海米哈游天命科技有限公司 一种画面拍摄方法、装置、设备及存储介质
CN112915535A (zh) * 2021-03-31 2021-06-08 腾讯科技(深圳)有限公司 一种游戏数据处理方法以及相关设备
CN112915535B (zh) * 2021-03-31 2022-11-18 腾讯科技(深圳)有限公司 一种游戏数据处理方法以及相关设备
WO2022237055A1 (zh) * 2021-05-10 2022-11-17 青岛小鸟看看科技有限公司 虚拟键盘交互方法及系统
CN113961069A (zh) * 2021-09-30 2022-01-21 西安交通大学 适用于实物的增强现实交互方法、装置及存储介质
CN113961069B (zh) * 2021-09-30 2024-05-07 西安交通大学 适用于实物的增强现实交互方法、装置及存储介质
CN116774835A (zh) * 2023-08-21 2023-09-19 深圳风向标教育资源股份有限公司 基于vr手柄的虚拟环境中交互方法、设备和存储介质
CN116774835B (zh) * 2023-08-21 2024-03-01 深圳风向标教育资源股份有限公司 基于vr手柄的虚拟环境中交互方法、设备和存储介质

Similar Documents

Publication Publication Date Title
CN108536288A (zh) 虚拟现实中交互操作的处理方法和装置
CN107847799B (zh) 终端装置
US10317997B2 (en) Selection of optimally positioned sensors in a glove interface object
US10055019B2 (en) Electromagnet-laden glove for haptic pressure feedback
CN109557998B (zh) 信息交互方法、装置、存储介质和电子装置
CN103858074B (zh) 经由3d显示器与装置交互的系统和方法
CN108273265A (zh) 虚拟对象的显示方法及装置
Vatavu A comparative study of user-defined handheld vs. freehand gestures for home entertainment environments
US8232989B2 (en) Method and apparatus for enhancing control of an avatar in a three dimensional computer-generated virtual environment
US11194400B2 (en) Gesture display method and apparatus for virtual reality scene
WO2016205143A1 (en) Gloves that include haptic feedback for use with hmd systems
CN105556423A (zh) 用于基于压力的触觉效果的系统和方法
US10845894B2 (en) Computer systems with finger devices for sampling object attributes
KR20190122559A (ko) 증강 또는 가상 현실 환경들에 대한 동적 햅틱 재생을 제공하기 위한 시스템들 및 방법들
KR20090064968A (ko) 핸드 햅틱 인터페이스 장치 및 방법
JP2018142313A (ja) 仮想感情タッチのためのシステム及び方法
CN108543308B (zh) 虚拟场景中的虚拟对象的选择方法和装置
US11617953B2 (en) Virtual object interaction scripts
KR102201678B1 (ko) 증강 현실에서 햅틱 오버레이를 통합하는 시스템들 및 방법들
CN107632702A (zh) 一种采用光感应数据手套的全息投影系统及其工作流程
Ganias et al. Comparing Different Grasping Visualizations for Object Manipulation in VR using Controllers
US20220111290A1 (en) Haptic engine for spatial computing
WO2022180894A1 (ja) 触覚拡張情報処理システム、ソフトウエア、方法並びに記録媒体
CN104516487A (zh) 基于体感技术的游戏模拟器
Liu Analysis of Interaction Methods in VR Virtual Reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination