CN112558759A - 基于教育的vr交互方法、交互开发平台和存储介质 - Google Patents
基于教育的vr交互方法、交互开发平台和存储介质 Download PDFInfo
- Publication number
- CN112558759A CN112558759A CN202011370959.6A CN202011370959A CN112558759A CN 112558759 A CN112558759 A CN 112558759A CN 202011370959 A CN202011370959 A CN 202011370959A CN 112558759 A CN112558759 A CN 112558759A
- Authority
- CN
- China
- Prior art keywords
- interactive
- interaction
- content
- user
- control signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 226
- 238000011161 development Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000002452 interceptive effect Effects 0.000 claims abstract description 528
- 230000033001 locomotion Effects 0.000 claims description 8
- 230000006399 behavior Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000010354 integration Effects 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000008447 perception Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种基于教育的VR交互方法、交互开发平台和存储介质，所述VR交互方法包括：在三维交互界面输出第一交互内容，以及至少一个与第一交互内容相关联的第二交互内容；接收用户的第一交互控制信号和第二交互控制信号；根据预定义的交互反馈、所述第一交互控制信号和第二交互控制信号，对所述第一交互内容和所述第二交互内容进行输出控制。本申请使用户可以通过双手和相关联的交互内容进行空间交互，增加了交互应用的趣味性，可以应用于教育、游戏等领域。
Description
技术领域
本申请涉及但不限于智能显示技术领域，尤其涉及一种基于教育的VR交互方法、交互开发平台和存储介质。
背景技术
虚拟现实(Virtual Reality，VR)技术是一种基于可计算信息构造沉浸式人机交互环境的信息技术，采用计算机产生一种人为虚拟的环境，生成一个以视觉感受为主，包括听觉、触觉的综合感知的人工环境，人们可以通过视觉、听觉、触觉和加速度等多种感觉通道感知计算机虚拟的虚拟世界，也可以通过移动、语音、表情、手势及视线等最自然的方式和虚拟世界交互，从而产生身临其境的体验。增强现实(Augmented Reality，AR)是通过计算机系统提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或信息叠加到真实场景，从而实现对现实的增强。目前，VR/AR技术已经在军事、医学、教育、娱乐、制造业、工程训练等各个方面得到应用，它们被认为是当前及将来影响人们生活的重要技术。
在虚拟环境中，用户主要通过三维用户界面(3-Dimension User Interface，3DUI)与VR/AR系统进行交互或信息交换。为了体现VR/AR交互的优势，需要开发更有效的交互方法和交互平台。
发明内容
本申请实施例提供了一种基于教育的VR交互方法、交互开发平台和存储介质，能够提高用户的使用体验。
本申请实施例提供了一种基于教育的VR交互方法，包括：在三维交互界面输出第一交互内容，以及至少一个与第一交互内容相关联的第二交互内容；接收用户的第一交互控制信号和第二交互控制信号；根据预定义的交互反馈、所述第一交互控制信号和第二交互控制信号，对所述第一交互内容和所述第二交互内容进行输出控制。
在示例性实施例中，通过以下任意一种或多种方式接收用户的交互控制信号：用户输入设备的交互操作、用户手的交互操作；
所述用户输入设备的交互操作包括以下任意一种或多种：所述用户输入设备上的触摸板滑动操作、所述用户输入设备上的按键操作和所述用户输入设备的空间运动；
所述用户手的交互操作包括以下任意一种或多种：所述用户手的手势操作和所述用户手的空间运动。
在示例性实施例中，所述第一交互内容为左侧交互内容，所述第二交互内容为右侧交互内容，所述用户的第一交互控制信号为用户的左手输入设备或左手的交互控制信号，所述用户的第二交互控制信号为用户的右手输入设备或右手的交互控制信号；或者，
所述第一交互内容为右侧交互内容，所述第二交互内容为左侧交互内容，所述用户的第一交互控制信号为用户的右手输入设备或右手的交互控制信号，所述用户的第二交互控制信号为用户的左手输入设备或左手的交互控制信号；
所述根据预定义的交互反馈、所述第一交互控制信号和第二交互控制信号，对所述第一交互内容和所述第二交互内容进行输出控制，包括：根据所述预定义的交互反馈与所述第一交互控制信号对所述第一交互内容进行输出控制；根据预定义的交互反馈与所述第二交互控制信号对所述第二交互内容进行输出控制。
在示例性实施例中，所述第一交互内容包括多个第一交互模块，所述第二交互内容包括多个第二交互模块，所述第一交互模块和所述第二交互模块包括以下任意一种或多种：
所述第一交互模块和第二交互模块分别为相关联的多幅图像；
所述第一交互模块为第一语言块，所述第二交互模块为相关联的第二语言块；
所述第一交互模块为图像块，所述第二交互模块为相关联的语言块。
在示例性实施例中，所述接收用户的第一交互控制信号和第二交互控制信号，包括：
确定用户的左手或左手输入设备在三维空间中的位置数据；
确定用户的右手或右手输入设备在三维空间中的位置数据；
根据所述用户的左手与右手在三维空间中的位置数据或左手输入设备与右手输入设备在三维空间中的位置数据，确定用户的左手与右手在三维交互界面中对应的虚拟对象的位置和方向，或确定用户的左手输入设备与右手输入设备在三维交互界面中对应的虚拟对象的位置和方向。
在示例性实施例中，所述虚拟对象包括与用户的左手或左手输入设备对应的第一虚拟对象以及与用户的右手或右手输入设备对应的第二虚拟对象，所述第一虚拟对象与所述第一交互内容相对应，所述第二虚拟对象与所述第二交互内容相对应，该对应关系为形状、颜色或者位置。
在示例性实施例中，所述预定义的交互反馈，包括以下任意一种：
当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞时，判定发生预设的交互行为；
当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞，用户通过第一交互控制信号和第二交互控制信号控制第一交互内容和相关联的第二交互内容发生碰撞，则判定发生了预设的交互行为；
当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞时，被选中的第一交互内容和第二交互内容与背景音频中播放的语音相对应时，判定发生预设的交互行为；
当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞，用户通过第一交互控制信号和第二交互控制信号控制第一交互内容和相关联的第二交互内容发生碰撞，且被选中的第一交互内容和第二交互内容与背景音频中播放的语音相对应时，判定发生预设的交互行为。
在示例性实施例中，所述方法还包括：根据输出控制结果是否满足预设条件，对对应的输出结果进行统计。
本申请实施例还提供了一种交互开发平台，包括：交互内容开发组件，包括用于开发在三维交互界面输出的第一交互内容的第一交互内容开发组件和用于开发在三维交互界面输出与第一交互内容相关联的第二交互内容的第二交互内容开发组件；交互反馈开发组件，用于设定预定义的交互反馈；输出控制开发组件，用于设定接收到用户的第一交互控制信号和第二交互控制信号后，根据所述交互反馈开发组件设定的预定义的交互反馈，对所述第一交互内容和所述第二交互内容进行输出控制。
在示例性实施例中，所述交互开发平台还包括：积分开发组件，用于根据所述输出控制开发组件设定的输出控制是否满足预设条件，对对应的输出结果进行统计。
在示例性实施例中，所述预定义的交互反馈，包括以下任意一种：
当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞时，判定发生预设的交互行为；
当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞，用户通过第一交互控制信号和第二交互控制信号控制第一交互内容和相关联的第二交互内容发生碰撞，判定发生预设的交互行为；
当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞时，被选中的第一交互内容和第二交互内容与背景音频中播放的语音相对应时，判定发生预设的交互行为；
当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞，用户通过第一交互控制信号和第二交互控制信号控制第一交互内容和相关联的第二交互内容发生碰撞，且被选中的第一交互内容和第二交互内容与背景音频中播放的语音相对应时，判定发生预设的交互行为。
本申请实施例还提供了一种存储介质，所述存储介质存储有可执行指令，所述可执行指令被处理器执行时可以实现如上述任一项所述的交互方法。
本申请实施例的基于教育的VR交互方法，包括：在三维交互界面输出第一交互内容、至少一个与第一交互内容相关联的第二交互内容；接收用户的第一交互控制信号和第二交互控制信号；根据预定义的交互反馈、所述第一交互控制信号和所述第二交互控制信号，对所述第一交互内容和所述第二交互内容进行输出控制，使用户可以分别通过双手和相关联的交互内容进行空间交互，增加了交互应用的趣味性，可以应用于教育、游戏等领域。
本申请实施例的交互开发平台，通过设定在三维交互界面输出第一交互内容、至少一个与第一交互内容相关联的第二交互内容，以及预定义的交互反馈，使开发者可在交互开发平台上开发不同的交互应用，增加了开发的便利性，可以应用于教育、游戏等领域。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请实施例一种基于教育的VR交互方法的流程示意图；
图2为本申请实施例一种头戴显示器的结构示意图；
图3为本申请实施例一种交互开发平台的结构示意图。
具体实施方式
本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。
如图1所示，本申请实施例提供了一种基于教育的VR交互方法，包括步骤10至步骤30。
步骤10：在三维交互界面输出第一交互内容，以及至少一个和第一交互内容相关联的第二交互内容。
在一种示例性实施例中，该三维交互界面可以为VR/AR环境下的虚拟三维屏幕界面。
在一种示例性实施例中，三维交互界面的生成方法可以为：头戴显示器将具有视差的左右视频画面分别显示到左眼和右眼，使人眼观看后产生立体效果，呈现虚拟的三维交互界面。头戴显示器如图2所示，包括：处理器210、存储器220、信号发送/接收部230、信号处理器240、面板控制器250、左显示部260L、右显示部260R、左音频280L、右音频280R、用户操作部290、传感器模组300、摄像模组310、电源部320和电源开关330等。
可以理解的是，本申请实施例示意的结构并不构成对头戴显示器的具体限定。在本申请另一些实施例中，头戴显示器可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。
其中，处理器210可以是中央处理单元(Central Processing Unit，CPU)，处理器210还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。处理器210可以包括一个或多个处理单元，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
存储器220可以包括只读存储器(read-only memory，ROM)、随机存取存储器(Random Access Memory，RAM)和影像随机接达记忆器(Video RAM，VRAM)等，存储器220向处理器210提供指令和数据。存储器220的一部分还可以包括非易失性随机存取存储器。例如，存储器220还可以存储设备类型的信息。
在实现过程中，头戴显示器所执行的处理可以通过处理器210中的硬件的集成逻辑电路或者软件形式的指令完成。即本申请实施例的方法步骤可以体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等存储介质中。该存储介质位于存储器220，处理器210读取存储器220中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
在一种示例性实施例中，信号发送/接收部230可以用于接收交互设备的交互控制信号。
在另一种示例性实施例中，信号发送/接收部230还用于将头戴显示器连接到前端服务器，以接收前端服务器发送的音视频(Audio&Video，AV)信号，并且发送由处理器210处理的信息信号至前端服务器。从前端接收的AV信号包括用于左眼和右眼的不同的视频信号，信号处理器240将左眼视频信号和右眼视频信号分离以生成屏幕上的图形交互界面，图形交互界面包括第一区域和第二区域，第一区域用于输出第一交互内容，第二区域用于输出第二交互内容，第一交互内容与第二交互内容彼此关联。示例性的，信号发送/接收部230可以通过有线通信或无线通信方式将头戴显示器连接到前端服务器。由此，信号发送/接收部230执行串行/并行转换以对接收到的信号进行转换。无线通信方式可以包括无线局域网(Wireless Local Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)、全球导航卫星系统(Global Navigation Satellite System，GNSS)、调频(Frequency Modulation，FM)、近距离无线通信技术(Near Field Communication，NFC)、红外技术(Infrared，IR)等无线通信。
信号处理器240将通过信号发送/接收部230接收的AV信号分成视频信号和音频信号，然后对视频信号和音频信号执行视频信号处理和音频信号处理。
信号处理器240所执行的视频信号处理包括亮度水平调节、对比度调节及图像质量改进。另外，根据从处理器210接收的命令，信号处理器240还对原始视频信号执行各种处理。例如，信号处理器240生成由字符和图形组成的屏幕显示(OSD)信息，并且将其叠加在原始视频信号上。将生成OSD信息所需的信号图案存储在存储器220中，并且在OSD信息生成的过程中，信号处理器240从存储器220中读出信号图案。叠加在原始视频信号上的OSD信息的一个示例是通常用于调节屏幕和音频输出的用户界面。
左眼显示部260L和右眼显示部260R各自包括由有机发光元件制成的显示面板以及驱动该显示面板的门极驱动器和数据驱动器。另外，左眼显示部260L和右眼显示部260R均设置有具有大视场角的光学系统(图2未示出)。
面板控制器250以预先确定的每个显示周期从存储器220读出屏幕信息。面板控制器250将屏幕信息转换成要提供给左眼显示部260L和右眼显示部260R的信号，并且还生成脉冲信号，诸如要用于门极驱动器和数据驱动器的操作的水平同步信号和垂直同步信号。
音频模块270用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。音频模块270还用于播放音频信号或者收集用户的语音信息。
处理器210执行从只读存储器(ROM)加载到随机存取存储器(RAM)中的程序，以便以集成的方式控制头戴显示器的整个操作。另外，处理器210经由信号发送/接收部230来控制与前端的信息信号交换。
头戴显示器的主体设置有用户操作部290，用户操作部290具有用户可以用手指或通过其它手段进行操作的一个或更多个操作元件。尽管图中没有示出，但操作元件可以是向上光标键、向下光标键、左光标键和右光标键与中央的确认键的组合。另外，在该实施例中，用户操作部290还设置有用于增大和减小左耳机280L和右耳机280R的音量的“+”按钮和“-”按钮。根据用户通过用户操作部290所输入的命令，处理器210请求信号处理器240对要从左眼显示部260L和右眼显示部260R输出的视频输出以及要从左耳机280L和右耳机280R输出的音频输出执行处理。另外，在用户从用户操作部290发出与内容再现有关的请求(诸如，视频的再现、终止、快进或快退)时，处理器210经由信号发送/接收部230将信息信号发送到前端，以便向前端通知该请求。
另外，在该实施例中，头戴显示器还设置有传感器模组300，传感器模组300可以包括深度传感器、压力传感器、陀螺仪传感器、气压传感器、加速度传感器、距离传感器、亮度传感器、指纹传感器、温度传感器、触摸传感器及骨传导传感器等。这些传感器的输出被发送到处理器210。另外，必要时，处理器210可以经由信号发送/接收部230将从传感器模组300接收的信息发送到前端。
其中，深度传感器用于获取景物的深度信息。压力传感器用于感受压力信号，可以将压力信号转换成电信号。陀螺仪传感器可以用于确定头戴显示器的运动姿态。气压传感器用于测量气压。加速度传感器可检测头戴显示器在各个方向上(一般为三轴)加速度的大小。距离传感器用于测量距离。亮度传感器检测当前所处环境的亮度。基于从亮度传感器接收的亮度信息，处理器210可以控制应用于视频信号的亮度水平的调节。指纹传感器用于采集指纹。温度传感器用于检测温度。触摸传感器可以将检测到的触摸操作传递给处理器210，以确定触摸事件类型，可以通过面板控制器250提供与触摸操作相关的视觉输出。骨传导传感器可以获取振动信号。
头戴显示器可以通过摄像模组310实现拍摄功能。在一些实施例中，头戴显示器可以包括1个或N个摄像模组310，N为大于1的正整数，若头戴显示器包括N个摄像头，N个摄像头中可以有一个是主摄像头。头戴显示器可以通过摄像模组310获取现实三维空间的图像，从而进行头戴显示器的定位，还可以通过摄像模组310获取用户的手或输入设备的图像，从而获取用户手或输入设备的位置数据(三维坐标数据和三轴姿态数据)。
电源部320将接收的驱动电力分配给头戴显示器的各个电路部件。另外，头戴显示器的主体设置有可以由用户用手指或通过其它手段操作的电源开关330。通过操作电源开关330，用户可以切换从电源部320到电路部件的电源供应的接通/断开。
在一种示例性实施例中，三维交互界面包括背景、第一交互内容和第二交互内容，三维交互界面的背景可以为头戴显示器通过摄像机采集的现实世界的场景，也可以是完全虚拟化的场景，也可以是现实世界进行虚拟化的场景。
在一种示例性实施例中，所述第一交互内容为左侧交互内容，所述第二交互内容为右侧交互内容，所述用户的第一交互控制信号为用户的左手输入设备或左手的交互控制信号，所述用户的第二交互控制信号为用户的右手输入设备或右手的交互控制信号；或者，
所述第一交互内容为右侧交互内容，所述第二交互内容为左侧交互内容，所述用户的第一交互控制信号为用户的右手输入设备或右手的交互控制信号，所述用户的第二交互控制信号为用户的左手输入设备或左手的交互控制信号。
在一种示例性实施例中，第一交互内容可以包括多个第一交互模块，第二交互内容可以包括多个第二交互模块，第一交互模块和第二交互模块可以悬浮在三维交互界面的背景中。
在另一种示例性实施例中，多个第一交互模块和多个第二交互模块可以沿指定的方向(例如，朝向用户或玩家的方向)移动，也可以固定在三维交互界面的背景中静止，也可以随着预设条件，例如时间、音乐节奏等，不断出现。
在另一种示例性实施例中，多个第一交互模块和多个第二交互模块出现和移动的速度可以与播放的背景音频的音乐节拍(例如，歌曲的节拍和音符)同步。随着音乐节拍的加快，交互模块移动的速度会增加。
本实施例中，第一交互内容的多个第一交互模块和相关联的第二交互内容的多个第二交互模块可以同时输出，或者不同时输出，同时输出并不限定于时间上的绝对相同，允许存在一定的误差，只要能够使得用户在画面刷新过程中肉眼可见范围内每帧画面同时显示即可。
在一种示例性实施例中，第一交互内容和第二交互内容可以相同，也可以不同。
在一种示例性实施例中，第一交互模块和第二交互模块可以为相同的多幅图像；或者，第一交互模块和第二交互模块可以为不同但有关联关系的多幅图像，所述图像可以为2D图像或3D图像，例如，第一交互模块和第二交互模块中的图像可以为相同物体的同一个面，比如2D面或3D面的图像，或者，第一交互模块和第二交互模块中的图像可以是3D物体的不同面的图像，比如，第一交互模块中的图像可以为一只熊的正面图像，第二交互模块中的图像可以为一只熊的侧面图像。此时，用户可以通过输入设备或手的控制信号将左或右的图形进行旋转移动，使第一交互模块和第二交互模块中的图像姿态相同后选中消除，其中，输入设备或手的yaw轴、roll轴、pitch轴的旋转方向可以映射为图形的旋转方向。由于只有VR才能显示立体3D图像，通过这种交互方式可以体现VR应用的特殊趣味性。
在一种示例性实施例中，第一交互模块可以为第一语言块，第二交互模块可以为相关联的第二语言块。
例如，第一语言块可以为诗句上句、第二语言块可以为诗句下句；或者，第一语言块可以为英文或其他语种，第二语言块可以为中文或其他语种；或者，第一语言块可以为拼音，第二语言块可以为汉字，等等。此时，用户可以通过该交互方法玩一些诗词学习、英文学习或拼音学习的游戏。
在一种示例性实施例中，第一交互模块可以为图像块，第二交互模块可以为相关联的第二语言块。
例如，图像块可以为动物或植物，相关联的语言块可以为动物名称或植物名称；图像块可以为物品，相关联的语言块可以为物品的英文名，等等。此时，用户可以通过该交互方法玩一些动植物学习或英文学习的游戏。
本实施例中，第一交互模块和第二交互模块的具体内容可以根据需要进行设定，本申请实施例对此不做限制。在实际应用时，可以提供第一交互模块和第二交互模块的应用接口，不同的游戏开发商可以将不同的第一交互模块和第二交互模块导入本开发平台，即可运行相应的应用。
本实施例中，第一交互模块和第二交互模块的具体内容可以在用户端进行选择，也可以在控制端进行选择，或者，可以同时在用户端和控制端进行选择。例如，用户可以在用户端进行应用的选择，此时，用户可以自行选择连连看类应用、英文学习类应用或诗词学习类应用。又如，学生端(即前述的“用户端”)的用户不能进行应用的选择，此时，只能由教师端(即前述的“控制端”)的用户为学生端的用户选择学生端的用户可以使用的应用。
步骤20：接收用户的第一交互控制信号和第二交互控制信号。
在一种示例性实施例中，通过以下任意一种或多种方式接收用户的交互控制信号：用户输入设备的交互操作、用户手的交互操作等。
在一种示例性实施例中，用户输入设备可以包括头戴显示器和交互设备等，其中，头戴显示器可以包括移动端头戴显示器、PC端头戴显示器、一体式头戴显示器、分体式头戴显示器等，交互设备可以包括手柄、手套、鼠标、键盘以及其他能够与虚拟现实场景进行交互的设备。
在一种示例性实施例中，用户输入设备的交互操作可以包括用户输入设备上的触摸板滑动操作、按键操作和空间运动等。
在一种示例性实施例中，用户手的交互操作包括以下任意一种或多种：用户手的手势操作和用户手的空间运动。
在一种示例性实施例中，第一交互内容为左侧交互内容，第二交互内容为右侧交互内容，用户的第一交互控制信号为用户的左手输入设备或左手的交互控制信号，用户的第二交互控制信号为用户的右手输入设备或右手的交互控制信号；或者，
第一交互内容为右侧交互内容，第二交互内容为左侧交互内容，用户的第一交互控制信号为用户的右手输入设备或右手的交互控制信号，用户的第二交互控制信号为用户的左手输入设备或左手的交互控制信号。
在一种示例性实施例中，第一交互内容为上侧交互内容，第二交互内容为下侧交互内容，用户的第一交互控制信号为用户的左手输入设备或左手的交互控制信号，用户的第二交互控制信号为用户的右手输入设备或右手的交互控制信号；或者，
第一交互内容为下侧交互内容，第二交互内容为上侧交互内容，用户的第一交互控制信号为用户的右手输入设备或右手的交互控制信号，用户的第二交互控制信号为用户的左手输入设备或左手的交互控制信号。
在一种示例性实施例中，接收用户的第一交互控制信号和第二交互控制信号，可以包括：
确定用户的左手或左手输入设备在三维空间中的位置数据；
确定用户的右手或右手输入设备在三维空间中的位置数据；
根据用户的左手/右手或左手输入设备/右手输入设备在三维空间中的位置数据，确定用户的左手/右手或左手输入设备/右手输入设备在三维交互界面中对应的虚拟对象的位置和方向。
在一种示例性实施例中，虚拟对象的位置和方向可以为虚拟手或虚拟输入设备的位置和方向，也可以是虚拟手或虚拟输入设备发射的虚拟射线的位置和方向。
在一种示例性实施例中，虚拟输入设备可以为虚拟锤子、虚拟刀剑或其他任意类型的虚拟工具等。
在一种示例性实施例中，虚拟对象包括与用户的左手或左手输入设备对应的第一虚拟对象以及与用户的右手或右手输入设备对应的第二虚拟对象，第一虚拟对象与第一交互内容相对应，第二虚拟对象与第二交互内容相对应，或者，第二虚拟对象与第一交互内容相对应，第一虚拟对象与第二交互内容相对应，该对应关系可以是形状、颜色或者位置，以方便用户区分。
例如，当第一交互内容为左侧交互内容，第二交互内容为右侧交互内容时，第一虚拟对象包括用户的左虚拟手或左虚拟输入设备，第二虚拟对象包括用户的右虚拟手或右虚拟输入设备；又如，当第一交互内容为红色，第二交互内容为蓝色时，左虚拟输入设备可以为红色，右虚拟输入设备可以为蓝色，以方便用户区分；又如，当第一交互内容为方形块，第二交互内容为三角形块时，左虚拟输入设备可以为方块形，右虚拟输入设备可以为三角形块。这种对应关系的设置是为了直观地引导用户用左手或左手输入设备和第一交互内容进行交互，用右手或右手输入设备和第二交互内容进行交互。
在一种示例性实施例中，确定用户的手或输入设备在三维空间中的位置数据，可以包括：
接收摄像头拍摄的用户图像；
通过一系列图像处理算法，对接收到的用户图像进行分析，从用户图像中识别出用户的手或输入设备在三维空间中的位置数据。
摄像头可以固定设置在现实的三维空间中，也可以设置在头戴显示器上。位置数据为六自由度数据，包括(X、Y、Z)的坐标数据和yaw轴、roll轴、pitch轴的姿态数据。
在另一种示例性实施例中，也可以通过激光定位、超声波定位、电磁定位等方式确定输入设备在三维空间中的位置数据。
步骤30：根据预定义的交互反馈、第一交互控制信号和第二交互控制信号，对第一交互内容和第二交互内容进行输出控制。
在一种示例性实施例中，根据预定义的交互反馈、第一交互控制信号和第二交互控制信号，对第一交互内容和所述第二交互内容进行输出控制，包括：
根据预定义的交互反馈与第一交互控制信号，对第一交互内容进行输出控制；
根据预定义的交互反馈与第二交互控制信号，对第二交互内容进行输出控制。
在一种示例性实施例中，预定义的交互反馈，包括：当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞时，判定发生预设的交互行为。
例如，当三维交互界面中用户的左侧虚拟对象的位置或方向与左侧交互内容发生碰撞，并且用户的右侧虚拟对象的位置或方向与右侧相关联的交互内容发生碰撞时，则判定发生了预设的交互行为，其中，碰撞可以是两者在虚拟三维交互界面中的坐标重合或在一定的交互范围内。
在另一种示例性实施例中，预定义的交互反馈，包括：当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞，用户通过第一交互控制信号和第二交互控制信号控制第一交互内容和相关联的第二交互内容发生碰撞，则判定发生了预设的交互行为。
例如，当三维交互界面中用户的左侧虚拟对象的位置或方向与左侧交互内容发生碰撞，并且用户的右侧虚拟对象的位置或方向与右侧相关联的交互内容发生碰撞时，用户通过左侧虚拟对象和右侧虚拟对象控制左侧交互内容和相关联的右侧交互内容在三维交互界面内移动并发生碰撞，则判定发生了预设的交互行为。示例性的，用户可以在现实世界的三维空间中走动，选中并拖拽头戴显示器的三维交互界面中的左侧交互内容的第一交互模块和右侧交互内容的相关联的第二交互模块靠拢并碰撞。
在另一种示例性实施例中，预定义的交互反馈，包括：当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞时，被选中的第一交互内容和第二交互内容与背景音频中播放的语音相对应时，判定发生预设的交互行为。
在另一种示例性实施例中，预定义的交互反馈，包括：当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞，用户通过第一交互控制信号和第二交互控制信号控制第一交互内容和相关联的第二交互内容发生碰撞，且被选中的第一交互内容和第二交互内容与背景音频中播放的语音相对应时，判定发生预设的交互行为。
在一种示例性实施例中，当第一交互内容和第二交互内容的多个第一交互模块和多个第二交互模块为一一对应相同的多个图像时，可以预定义的一种交互反馈为：当第一交互内容中的一个第一交互模块被选中、第二交互内容中的一个第二交互模块被选中且第一交互模块和第二交互模块的图像相同时，第一交互内容中被选中的第一交互模块和第二交互内容中被选中的第二交互模块可以被消除。如第一交互模块和第二交互模块的图像不相同，则不满足预定义的交互反馈，交互模块不消除。
在另一种示例性实施例中，当第一交互内容和第二交互内容的多个第一交互模块和多个第二交互模块为不同但对应的多个图像时，例如，第一交互模块和第二交互模块中的图像为3D物体的不同面的图像，可以预定义的一种交互反馈为：当第一交互内容中的一个第一交互模块被选中、第二交互内容中的一个第二交互模块被选中且第一交互模块和第二交互模块中的任意一个或多个被旋转或被其他处理之后使得第一图像和第二图像相同时，第一交互内容中被选中的第一图像和第二交互内容中被选中的第二图像可以被消除。如第一交互模块和第二交互模块的图像不相同，则不满足预定义的交互反馈，交互模块不消除。
在又一种示例性实施例中，当第一交互内容的交互模块为多个第一语言块(例如英文块)，第二交互内容的交互模块为多个相关联的第二语言块(例如中文释义块)时，可以预定义的一种交互反馈为：当第一交互内容中的一个第一英文块被选中、第二交互内容中的一个第二中文释义块被选中、被选中的第一英文块和第二中文释义块相对应或者被选中的第一英文块和第二中文释义块通过用户的拖拽相碰撞且被选中的第一英文块和第二中文释义块相对应时，第一交互内容中被选中的第一英文块和第二交互内容中被选中的第二中文释义块可以被消除。或者，此时，可以预定义的另一种交互反馈为：当第一交互内容中的一个第一英文块被选中、第二交互内容中的一个第二中文释义块被选中、被选中的第一英文块和第二中文释义块相对应且被选中的第一英文块和第二中文释义块与背景音频中播放的语言的发音相对应时，或者被选中的第一英文块和第二中文释义块通过用户的拖拽相碰撞且被选中的第一英文块和第二中文释义块与背景音频中播放的语言的发音相对应时，第一交互内容中被选中的第一英文块和第二交互内容中被选中的第二中文释义块可以被消除。如第一交互模块的第一语言块和第二交互模块的第二语言块不相对应；或者，第一交互模块的第一语言块和第二交互模块的第二语言块相对应，但是第一交互模块和第二交互模块没有发生碰撞；或者，第一交互模块的第一语言块和第二交互模块的第二语言块相对应且经拖拽相碰撞，但是与背景音频中播放的语言的发音不相对应，则不满足预定义的交互反馈，交互模块不消除。
在又一种示例性实施例中，当第一交互内容的多个第一交互模块为多个图像，第二交互内容的多个第二交互模块为图像对应的语言块(例如图像的英文名称)时，可以预定义的一种交互反馈为：当第一交互内容中的一个图像所在的第一交互模块被选中、第二交互内容中的一个英文名称所在的第二交互模块被选中、被选中的第一交互模块和第二交互模块通过用户的拉动靠拢并碰撞且被选中的图像和英文名称相对应时，第一交互内容中被选中的第一交互模块和第二交互内容中被选中的第二交互模块可以被消除。或者，此时，可以预定义的另一种交互反馈为：当第一交互内容中的一个图像所在的第一交互模块被选中、第二交互内容中的一个英文名称所在的第二交互模块被选中、被选中的第一交互模块和第二交互模块通过用户的拉动靠拢并碰撞且被选中的第一交互模块的图像和第二交互模块的英文名称与背景音频中播放的语音相对应时，第一交互内容中被选中的第一交互模块和第二交互内容中被选中的第二交互模块可以被消除。如不满足预设的交互反馈，则交互模块不消除。
在一种示例性实施例中，所述方法还包括：根据输出控制结果是否满足预设条件，对对应的输出结果进行统计。
例如，有一个积分系统，当确定输出控制结果满足预设条件时，积分系统根据积分规则积分，当确定输出控制结果不满足预设条件时，积分系统根据积分规则不积分或扣分。按照上述实施例，当交互模块根据预设的交互反馈相互消除时，认为输出控制结果满足预设条件，则可根据积分规则进行积分；反之，当交互模块根据预设的交互反馈不能相互消除时，认为输出控制结果不满足预设条件，则根据积分规则不积分或者扣积分。积分可以是分值、能量值或虚拟生命值等。在三维交互界面中的背景中还可以包括显示牌，显示牌对积分进行动态显示。
在另一种示例性实施例中，第一交互内容和第二交互内容中还可以包括一个或多个数字地雷或障碍物，这些数字地雷和障碍物不应该被用户触碰到，此时，当第一交互内容和第二交互内容中的数字地雷或障碍物被用户触碰到时，减少用户账户中的积分。
本申请实施例的交互方法，通过在三维交互界面输出第一交互内容、至少一个与第一交互内容相关联的第二交互内容；接收用户的第一交互控制信号和第二交互控制信号；根据预定义的交互反馈、所述第一交互控制信号和所述第二交互控制信号，对所述第一交互内容和所述第二交互内容进行输出控制，使用户可以分别通过双手和相关联的交互内容进行空间交互，增加了交互应用的趣味性，可以应用于教育、游戏等领域。
如图3所示，本申请实施例还提供了一种交互开发平台，包括：交互内容开发组件311、交互反馈开发组件312和输出控制开发组件313，其中：
交互内容开发组件311，包括用于开发在三维交互界面输出第一交互内容的第一交互内容开发组件和用于开发在三维交互界面输出与第一交互内容相关联的第二交互内容的第二交互内容开发组件；
交互反馈开发组件312，用于设定预定义的交互反馈；
输出控制开发组件313，用于设定接收到用户的第一交互控制信号和第二交互控制信号后，根据所述交互反馈开发组件312设定的预定义的交互反馈，对所述第一交互内容和所述第二交互内容进行输出控制。
在第一交互内容开发组件中，开发者可以定义或导入不同的第一交互内容。在第二交互内容开发组件中，开发者可以定义或导入不同的第二交互内容。
在交互反馈开发组件312中，开发者可以设定交互反馈的定义，例如，预定义的交互反馈可以是以下任意一种：当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞时，判定发生预设的交互行为；当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞，用户通过第一交互控制信号和第二交互控制信号控制第一交互内容和相关联的第二交互内容发生碰撞，则判定发生了预设的交互行为；当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞时，被选中的第一交互内容和第二交互内容与背景音频中播放的语音相对应时，判定发生预设的交互行为；当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞，用户通过第一交互控制信号和第二交互控制信号控制第一交互内容和相关联的第二交互内容发生碰撞，且被选中的第一交互内容和第二交互内容与背景音频中播放的语音相对应时，判定发生预设的交互行为。
在输出控制开发组件313中，输出控制可以是对应的交互内容被选中、被拖拽、消除、破碎等等。
在一种示例性实施例中，如图3所示，交互开发平台还可以包括：积分开发组件314，其中：
积分开发组件314，用于根据输出控制开发组件设定的输出控制是否满足预设条件，对对应的输出结果进行统计。
本申请实施例的交互开发平台，通过设定在三维交互界面输出第一交互内容、至少一个与第一交互内容相关联的第二交互内容，以及预定义的交互反馈，使开发者可在交互开发平台上开发不同的交互应用，增加了开发的便利性，可以应用于教育、游戏等领域。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如以上任意一项所述的交互方法的步骤。
该计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的交互方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
Claims (12)
1.一种基于教育的VR交互方法，其特征在于，包括：
在三维交互界面输出第一交互内容，以及至少一个与第一交互内容相关联的第二交互内容；
接收用户的第一交互控制信号和第二交互控制信号；
根据预定义的交互反馈、所述第一交互控制信号和第二交互控制信号，对所述第一交互内容和所述第二交互内容进行输出控制。
2.根据权利要求1所述的VR交互方法，其特征在于，通过以下任意一种或多种方式接收用户的交互控制信号：用户输入设备的交互操作、用户手的交互操作；
所述用户输入设备的交互操作包括以下任意一种或多种：所述用户输入设备上的触摸板滑动操作、所述用户输入设备上的按键操作和所述用户输入设备的空间运动；
所述用户手的交互操作包括以下任意一种或多种：所述用户手的手势操作和所述用户手的空间运动。
3.根据权利要求1所述的VR交互方法，其特征在于，所述第一交互内容为左侧交互内容，所述第二交互内容为右侧交互内容，所述用户的第一交互控制信号为用户的左手输入设备或左手的交互控制信号，所述用户的第二交互控制信号为用户的右手输入设备或右手的交互控制信号；或者，
所述第一交互内容为右侧交互内容，所述第二交互内容为左侧交互内容，所述用户的第一交互控制信号为用户的右手输入设备或右手的交互控制信号，所述用户的第二交互控制信号为用户的左手输入设备或左手的交互控制信号；
所述根据预定义的交互反馈、所述第一交互控制信号和第二交互控制信号，对所述第一交互内容和所述第二交互内容进行输出控制，包括：根据所述预定义的交互反馈与所述第一交互控制信号对所述第一交互内容进行输出控制；根据预定义的交互反馈与所述第二交互控制信号对所述第二交互内容进行输出控制。
4.根据权利要求1所述的VR交互方法，其特征在于，所述第一交互内容包括多个第一交互模块，所述第二交互内容包括多个第二交互模块，所述第一交互模块和所述第二交互模块包括以下任意一种或多种：
所述第一交互模块和第二交互模块分别为相关联的多幅图像；
所述第一交互模块为第一语言块，所述第二交互模块为相关联的第二语言块；
所述第一交互模块为图像块，所述第二交互模块为相关联的语言块。
5.根据权利要求2所述的VR交互方法，其特征在于，所述接收用户的第一交互控制信号和第二交互控制信号，包括：
确定用户的左手或左手输入设备在三维空间中的位置数据；
确定用户的右手或右手输入设备在三维空间中的位置数据；
根据所述用户的左手与右手在三维空间中的位置数据或左手输入设备与右手输入设备在三维空间中的位置数据，确定用户的左手与右手在三维交互界面中对应的虚拟对象的位置和方向，或确定用户的左手输入设备与右手输入设备在三维交互界面中对应的虚拟对象的位置和方向。
6.根据权利要求5所述的VR交互方法，其特征在于，所述虚拟对象包括与用户的左手或左手输入设备对应的第一虚拟对象以及与用户的右手或右手输入设备对应的第二虚拟对象，所述第一虚拟对象与所述第一交互内容相对应，所述第二虚拟对象与所述第二交互内容相对应，该对应关系为形状、颜色或者位置。
7.根据权利要求1所述的VR交互方法，其特征在于，所述预定义的交互反馈，包括以下任意一种：
当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞时，判定发生预设的交互行为；
当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞，用户通过第一交互控制信号和第二交互控制信号控制第一交互内容和相关联的第二交互内容发生碰撞，则判定发生了预设的交互行为；
当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞时，被选中的第一交互内容和第二交互内容与背景音频中播放的语音相对应时，判定发生预设的交互行为；
当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞，用户通过第一交互控制信号和第二交互控制信号控制第一交互内容和相关联的第二交互内容发生碰撞，且被选中的第一交互内容和第二交互内容与背景音频中播放的语音相对应时，判定发生预设的交互行为。
8.根据权利要求1所述的VR交互方法，其特征在于，所述方法还包括：根据输出控制结果是否满足预设条件，对对应的输出结果进行统计。
9.一种交互开发平台，其特征在于，包括：
交互内容开发组件，包括用于开发在三维交互界面输出的第一交互内容的第一交互内容开发组件和用于开发在三维交互界面输出与第一交互内容相关联的第二交互内容的第二交互内容开发组件；
交互反馈开发组件，用于设定预定义的交互反馈；
输出控制开发组件，用于设定接收到用户的第一交互控制信号和第二交互控制信号后，根据所述交互反馈开发组件设定的预定义的交互反馈，对所述第一交互内容和所述第二交互内容进行输出控制。
10.根据权利要求9所述的交互开发平台，其特征在于，还包括：
积分开发组件，用于根据所述输出控制开发组件设定的输出控制是否满足预设条件，对对应的输出结果进行统计。
11.根据权利要求9所述的交互开发平台，其特征在于，所述预定义的交互反馈，包括以下任意一种：
当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞时，判定发生预设的交互行为；
当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞，用户通过第一交互控制信号和第二交互控制信号控制第一交互内容和相关联的第二交互内容发生碰撞，判定发生预设的交互行为；
当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞时，被选中的第一交互内容和第二交互内容与背景音频中播放的语音相对应时，判定发生预设的交互行为；
当用户的第一交互控制信号和第一交互内容发生碰撞，并且用户的第二交互控制信号和相关联的第二交互内容发生碰撞，用户通过第一交互控制信号和第二交互控制信号控制第一交互内容和相关联的第二交互内容发生碰撞，且被选中的第一交互内容和第二交互内容与背景音频中播放的语音相对应时，判定发生预设的交互行为。
12.一种存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1至8中任一项所述的VR交互方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011370959.6A CN112558759A (zh) | 2020-11-30 | 2020-11-30 | 基于教育的vr交互方法、交互开发平台和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011370959.6A CN112558759A (zh) | 2020-11-30 | 2020-11-30 | 基于教育的vr交互方法、交互开发平台和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112558759A true CN112558759A (zh) | 2021-03-26 |
Family
ID=75046638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011370959.6A Pending CN112558759A (zh) | 2020-11-30 | 2020-11-30 | 基于教育的vr交互方法、交互开发平台和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112558759A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113359994A (zh) * | 2021-06-24 | 2021-09-07 | 福州大学 | 适用于ar教育应用的教学内容配置与交互方案实施的方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150298005A1 (en) * | 2014-04-16 | 2015-10-22 | King.Com Limited | Device, game and control methods therefor |
| US20170228130A1 (en) * | 2016-02-09 | 2017-08-10 | Unity IPR ApS | Systems and methods for a virtual reality editor |
| US20180024630A1 (en) * | 2016-07-21 | 2018-01-25 | Google Inc. | Editing cuts in virtual reality |
| CN108604121A (zh) * | 2016-05-10 | 2018-09-28 | 谷歌有限责任公司 | 虚拟现实中的双手对象操纵 |
| US20180322701A1 (en) * | 2017-05-04 | 2018-11-08 | Microsoft Technology Licensing, Llc | Syndication of direct and indirect interactions in a computer-mediated reality environment |
| US20190050062A1 (en) * | 2017-08-10 | 2019-02-14 | Google Llc | Context-sensitive hand interaction |
| US20190251750A1 (en) * | 2018-02-09 | 2019-08-15 | Tsunami VR, Inc. | Systems and methods for using a virtual reality device to emulate user experience of an augmented reality device |
| CN111176445A (zh) * | 2019-12-23 | 2020-05-19 | 广东虚拟现实科技有限公司 | 交互装置的识别方法、终端设备及可读存储介质 |
-
2020
- 2020-11-30 CN CN202011370959.6A patent/CN112558759A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150298005A1 (en) * | 2014-04-16 | 2015-10-22 | King.Com Limited | Device, game and control methods therefor |
| US20170228130A1 (en) * | 2016-02-09 | 2017-08-10 | Unity IPR ApS | Systems and methods for a virtual reality editor |
| CN108604121A (zh) * | 2016-05-10 | 2018-09-28 | 谷歌有限责任公司 | 虚拟现实中的双手对象操纵 |
| US20180024630A1 (en) * | 2016-07-21 | 2018-01-25 | Google Inc. | Editing cuts in virtual reality |
| US20180322701A1 (en) * | 2017-05-04 | 2018-11-08 | Microsoft Technology Licensing, Llc | Syndication of direct and indirect interactions in a computer-mediated reality environment |
| US20190050062A1 (en) * | 2017-08-10 | 2019-02-14 | Google Llc | Context-sensitive hand interaction |
| US20190251750A1 (en) * | 2018-02-09 | 2019-08-15 | Tsunami VR, Inc. | Systems and methods for using a virtual reality device to emulate user experience of an augmented reality device |
| CN111176445A (zh) * | 2019-12-23 | 2020-05-19 | 广东虚拟现实科技有限公司 | 交互装置的识别方法、终端设备及可读存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113359994A (zh) * | 2021-06-24 | 2021-09-07 | 福州大学 | 适用于ar教育应用的教学内容配置与交互方案实施的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10712901B2 (en) | Gesture-based content sharing in artificial reality environments | |
| CN113826058B (zh) | 具有自触觉虚拟键盘的人工现实系统 | |
| CN110646938B (zh) | 近眼显示器系统 | |
| US20150138065A1 (en) | Head-mounted integrated interface | |
| WO2014204330A1 (en) | Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements | |
| CN107469354A (zh) | 补偿声音信息的视觉方法及装置、存储介质、电子设备 | |
| KR20150110257A (ko) | 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스 | |
| US11043192B2 (en) | Corner-identifiying gesture-driven user interface element gating for artificial reality systems | |
| JP2022534639A (ja) | 指マッピング自己触覚型入力方法を有する人工現実システム | |
| KR101734520B1 (ko) | 자이로센서의 움직임 패턴 인식 기반의 유저 인터페이싱 시스템 | |
| US10852839B1 (en) | Artificial reality systems with detachable personal assistant for gating user interface elements | |
| CN102508562A (zh) | 一种立体交互系统 | |
| CN112558759A (zh) | 基于教育的vr交互方法、交互开发平台和存储介质 | |
| KR101770188B1 (ko) | 혼합 현실 체험 공간 제공 방법 및 시스템 | |
| Gu et al. | Analysis of the Treadmill Utilization for the Development of a Virtual Reality Walking Interface | |
| US20240028130A1 (en) | Object movement control method, apparatus, and device | |
| KR20190025241A (ko) | Hmd를 이용한 vr탐사 인터렉션 | |
| KR102612430B1 (ko) | 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템 | |
| CN117930983A (zh) | 显示控制方法、装置、设备和介质 | |
| CN117572994A (zh) | 虚拟对象的显示处理方法、装置、设备及介质 | |
| CN117742555A (zh) | 控件交互方法、装置、设备和介质 | |
| US20240094817A1 (en) | Provision of feedback to an actuating object | |
| CN117742478A (zh) | 信息显示方法、装置、设备和介质 | |
| Ishikawa et al. | Dynamic Information Space Based on High-Speed Sensor Technology | |
| CN117631810A (zh) | 基于虚拟现实空间的操作处理方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |