CN114527870A - 一种基于vr/ar的用户操作方法、装置、系统及存储介质 - Google Patents
一种基于vr/ar的用户操作方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN114527870A CN114527870A CN202210044278.3A CN202210044278A CN114527870A CN 114527870 A CN114527870 A CN 114527870A CN 202210044278 A CN202210044278 A CN 202210044278A CN 114527870 A CN114527870 A CN 114527870A
- Authority
- CN
- China
- Prior art keywords
- virtual
- information
- control
- user
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种基于VR/AR的用户操作方法、装置、系统及存储介质，用于让用户可在VR/AR设备上进行用户操作，提高用户体验。本申请方法包括：获取控件信息；对所述控件信息进行可视化VR/AR处理，以生成对应所述控件信息的虚拟立体控件；将所述虚拟立体控件在VR/AR设备上显示；获取用户操作信息，所述用户操作信息为用户使用所述VR/AR设备对所述虚拟立体控件进行操作产生的信息；根据所述用户操作信息确定所述虚拟立体控件；根据所述用户操作信息对所述VR/AR设备上显示的所述虚拟立体控件进行对应操作。
Description
技术领域
本申请涉及扩展现实领域，尤其涉及一种基于VR/AR的用户操作方法、系统、装置及存储介质。
背景技术
通常在屏幕前的操作都被称为2D的平面操作，平面操作通常依赖于2D平面操作系统。用户可通过鼠标或键盘等外部输入设备对操作系统中的各种插件(比如图标、任务栏等)进行操作。通常的2D平面操作通常操控的对象也是2D平面的插件或应用程序等，带来的都是平面的操作感受，用户体验不高。
所以在电脑上产生了3D平面的插件、应用程序以及桌面等虚拟立体信息，即控制对象为虚拟立体对象。但现有的3D平面操作方式依旧是通过鼠标或键盘等外部输入设备对操作系统进行操作，目前的虚拟立体信息的也是在平面操作系统上进行的，用户无法进行真实的用户操作，使得用户体验降低。
发明内容
为了解决上述技术问题，本申请公开了一种基于VR/AR的用户操作方法、系统、装置及存储介质，用于让用户可在VR/AR设备上进行用户操作，提高用户体验。
本申请第一方面提供了一种基于VR/AR的用户操作方法，所述方法包括：
获取控件信息；
对所述控件信息进行可视化VR/AR处理，以生成对应所述控件信息的虚拟立体控件；
将所述虚拟立体控件在VR/AR设备上显示；
获取用户操作信息，所述用户操作信息为用户使用所述VR/AR设备对所述虚拟立体控件进行操作产生的信息；
根据所述用户操作信息确定所述虚拟立体控件；
根据所述用户操作信息对所述VR/AR设备上显示的所述虚拟立体控件进行对应操作。
可选的，所述将所述虚拟立体控件在VR/AR设备上显示，包括：
获取所述虚拟立体控件的坐标信息；
根据所述坐标信息将所述虚拟立体控件在VR/AR设备上显示。
可选的，所述根据所述用户操作信息确定所述虚拟立体控件，包括：
根据所述用户操作信息中的坐标信息确定所述虚拟立体控件.
可选的，所述根据所述用户操作信息对所述VR/AR设备上显示的所述虚拟立体控件进行对应操作，包括：
根据所述用户操作信息中的操作方式信息对所述VR/AR设备上显示的所述虚拟立体控件进行对应操作。
可选的，所述操作方式信息包含手势操作信息与声音操作信息。
可选的，在所述获取用户操作信息之前，所述对所述控件信息进行可视化VR/AR处理，以生成对应所述控件信息的虚拟立体控件之后，所述方法还包括：
为所述虚拟立体控件关联操作方式信息，以使得用户在VR/AR设备上对所述虚拟立体控件按照所述操作方式信息操作时，将所述虚拟立体控件及所述虚拟立体控件对应的控件内容进行对应的可视化展示。
可选的，所述对所述控件信息进行可视化VR/AR处理，以生成对应所述控件信息的虚拟立体控件，包括：
对所述控件信息进行位置处理、形状处理和大小处理，以使得在VR/AR设备上预设坐标位置上可视化显示出符合预设大小与预设形状的所述虚拟立体控件。
本申请第二方面提供了一种基于VR/AR的用户操作系统，包括：
第一获取单元，用于获取控件信息；
处理单元，用于对所述控件信息进行可视化VR/AR处理，以生成对应所述控件信息的虚拟立体控件；
显示单元，用于将所述虚拟立体控件在VR/AR设备上显示；
第二获取单元，用于获取用户操作信息，所述用户操作信息为用户使用所述VR/AR设备对所述虚拟立体控件进行操作产生的信息；
确定单元，用于根据所述用户操作信息确定所述虚拟立体控件；
操作单元，用于根据所述用户操作信息对所述VR/AR设备上显示的所述虚拟立体控件进行对应操作。
本申请第三方面提供了一种基于VR/AR的用户操作装置，包括：
处理器、存储器、输入输出单元以及总线；
所述处理器与所述存储器、所述输入输出单元以及所述总线相连；
所述存储器保存有程序，所述处理器调用所述程序以执行如第一方面及第一方面其他方式所述的基于VR/AR的用户操作方法。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的基于VR/AR的用户操作方法。
从以上技术方案可以看出，本申请具有以下优点：
本申请提供的基于VR/AR的用户操作方法中，首先获取控件信息，再对控件信息进行可视化VR/AR处理，以生成对应控件信息的虚拟立体控件，并使得控件信息对应的虚拟立体控件可以在VR/AR设备上显示。将虚拟立体控件在VR/AR设备上显示之后，当用户使用VR/AR设备观察虚拟立体控件，并对VR/AR设备中显示的虚拟立体控件进行操作时，终端会获取到用户操作信息，终端根据用户操作信息确定当前需要进行操作的虚拟立体控件，根据用户操作信息对VR/AR设备上显示的虚拟立体控件进行对应操作。上述方法通过对控件信息的可视化VR/AR处理，在VR/AR设备上显示控件信息对应的虚拟立体控件，当用户使用VR/AR设备时，即可观察到控件信息对应的虚拟立体控件。当用户对虚拟立体控件进行操作时，会生成对应的用户操作信息，终端可根据用户操作信息可确定当前受到操作的虚拟立体控件，并且确定用户当前需要对虚拟立体控件进行的操作，这时，在对VR/AR设备上显示的虚拟立体控件进行操作，以使得用户可通过VR/AR设备观察到自身对虚拟立体控件的操作结果，让用户可在VR/AR设备上进行用户操作，提高用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请中基于VR/AR的用户操作方法的一个实施例流程示意图；
图2为本申请中基于VR/AR的用户操作方法的另一个实施例流程示意图；
图3为本申请中基于VR/AR的用户操作系统的一个实施例结构示意图；
图4为本申请中基于VR/AR的用户操作装置的一个实施例结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
在现有技术中，电脑上产生了3D平面的插件、应用程序以及桌面等虚拟立体信息，即控制对象为虚拟立体对象。但现有的3D平面操作方式依旧是通过鼠标或键盘等外部输入设备对操作系统进行操作，目前的虚拟立体信息的也是在平面操作系统上进行的，用户无法进行真实的用户操作，使得用户体验降低。
为了解决上述技术问题，本申请公开了一种基于VR/AR的用户操作方法、装置、系统及存储介质，用于让用户可在VR/AR设备上进行用户操作，提高用户体验。
需要说明的是，本申请提供的基于VR/AR的用户操作方法，可以应用于终端也可以应用于系统，还可以应用于服务器上，例如终端可以是智能手机或电脑、平板电脑、智能电视、智能手表、便携计算机终端也可以是台式计算机等固定终端。为方便阐述，本申请实施例中以终端为执行主体进行举例说明。
请参阅图1，图1是本申请提供的基于VR/AR的用户操作方法第一个实施例的流程示意图，该基于VR/AR的用户操作方法包括：
101、获取控件信息；
终端获取控件信息，控件信息是平面操作系统界面上的内容信息，这里的平面操作系统界面可以是触屏手机系统界面、平板电脑系统界面和笔记本电脑系统界面等具有可操控信息的系统界面，此处不做限定。控件信息则是指在上述系统界面上可进行控制的信息，例如触屏手机界面使用过程中的桌面背景、某一手机软件以及应用程序等。获取控件信息的主要目的是根据控件信息生成3D立体的虚拟立体控件，并且该3D立体的虚拟立体控件与控件信息在内容与运行上存在关联。
具体的，本实施例中，终端获取平板电脑上的应用程序、APP及APP数据、桌面背景等信息。
102、对所述控件信息进行可视化VR/AR处理，以生成对应所述控件信息的虚拟立体控件；
终端在获取控件信息之后，将控件信息进行可视化VR/AR处理，生成对应的虚拟立体控件。具体的，可视化VR/AR处理的目的是生成一个能够关联控件信息的立体模型，即虚拟立体控件，并且该虚拟立体控件的模型能够在VR/AR设备上进行展示，以使得该立体模型可被用户通过VR/AR设备观察与操作。
对控件信息进行可视化VR/AR处理，可以是根据控件信息自身的图形样式产生对应的虚拟立体控件，也可以是直接根据立体控件模型图库中寻找该控件信息默认的虚拟立体控件，还可以是通过该控件信息自身携带的虚拟立体控件直接使用等，此处不做限定。
例如，将存在大量文字的文本类型的控件信息，可视化VR/AR处理后，生成一本虚拟立体书籍，用户可通过VR/AR设备观察与操作该虚拟立体书籍；或者是在立体控件模型图库寻找回收站这一控件信息的虚拟立体控件，得到一个虚拟立体垃圾桶控件；再或者是触屏手机系统在应用商店下载的软件控件信息，自身携带有虚拟立体控件，则终端可直接调用这一虚拟立体控件。
由于VR/AR设备具有自身的显示标准，即显示的虚拟立体控件需要达到统一的标准。所以，本步骤中，对控件信息的多种可视化VR/AR处理，除了生成对应所述控件信息的虚拟立体控件之外，还需要进行一定程度的标准化处理。例如，对多个控件信息所产生的多个虚拟立体控件进行大小调整，使其达到统一的大小标准。
可选地，在根据控件信息生成虚拟立体控件之后，还需要进行标准化处理，例如，位置处理、形状处理和大小处理。即将虚拟立体控件的大小进行统一调整，以及将形状进行打磨，使得不同的立体文件信息的风格样式打磨成统一规格，最后赋予位置坐标信息，即赋予虚拟立体控件在VR/AR设备上的显示位置。
103、将所述虚拟立体控件在VR/AR设备上显示；
终端将虚拟立体控件在VR/AR设备上显示，用户可通过VR/AR设备观察到虚拟立体控件，并且可对虚拟立体控件进行操作。
虚拟现实技术是利用计算机模拟产生一个三维空间的虚拟世界，通过VR/AR设备提供用户关于视觉等感官的模拟，让用户感觉仿佛身历其境，可以直观地观察三维空间内的事物，并且在一定程度上操作三维空间内的事物。
104、获取用户操作信息，所述用户操作信息为用户使用所述VR/AR设备对所述虚拟立体控件进行操作产生的信息；
终端获取用户操作信息，当用户操作VR/AR设备上显示的虚拟立体控件时，终端则会获取到用户操作信息。终端获取用户操作信息的方式有多种，可以是用户使用VR/AR设备中的操作装置对虚拟立体控件进行控制时，操作装置根据用户的位移、点击等操作，生成用户操作信息，终端获取操作装置生成的用户操作信息。还可以是通过摄像装置记录用户的手部动作，当用户的手部动作位于某一虚拟立体控件上，并且这一手部动作为操作手势时，拍摄装置即可生成用户操作信息，并向终端发送用户操作信息，此处不作限定。
105、根据所述用户操作信息确定所述虚拟立体控件；
终端接收到用户操作信息之后，需要提高用户操作信息来确定当前用户所操作的虚拟立体控件，在确定了虚拟立体控件，终端即可对该虚拟立体控件进行对应操作。
106、根据所述用户操作信息对所述VR/AR设备上显示的所述虚拟立体控件进行对应操作。
终端根据用户操作信息对所述VR/AR设备上显示的虚拟立体控件进行对应操作。当终端确定用户操作信息所作用的虚拟立体控件之后，即可根据用户操作信息对虚拟立体控件进行对应的操作，在VR/AR设备上对该操作进行显示，以使得用户可通过VR/AR设备直观的观察到自身对虚拟立体控件的操作。
下面对上述实施例进行举例说明：
例如，终端将存在大量文字的文本类型的控件信息，可视化VR/AR处理后，生成虚拟立体书籍。在确定虚拟立体书籍的坐标位置之后，通过VR/AR设备显示虚拟立体书籍，用户即可通过VR/AR设备观察与操作该虚拟立体书籍。在用户通过VR/AR设备操作该虚拟立体书籍的过程中，终端会接收到用户操作信息为开启，在终端确定用户所操作的对象为该虚拟立体书籍之后，终端根据用户操作信息对虚拟立体书籍进行对应的开启操作，并且在VR/AR设备上对该开启操作进行显示，用户即可通过VR/AR设备直观的观察到该虚拟立体书籍开启操作。
需要说明的是，虚拟立体书籍与控件信息在文字内容与运行上存在关联。即当用户开启虚拟立体书籍，会显示控件信息的文字内容，当用户删除虚拟立体书籍某一段的文字时，同样会删除控件信息的文字内容，保持控件信息与该虚拟立体书籍在内容上的一致性。
本实施例中，首先获取控件信息，再对控件信息进行可视化VR/AR处理，以生成对应控件信息的虚拟立体控件，并使得控件信息对应的虚拟立体控件可以在VR/AR设备上显示。将虚拟立体控件在VR/AR设备上显示之后，当用户使用VR/AR设备观察虚拟立体控件，并对VR/AR设备中显示的虚拟立体控件进行操作时，终端会获取到用户操作信息，终端根据用户操作信息确定当前需要进行操作的虚拟立体控件，根据用户操作信息对VR/AR设备上显示的虚拟立体控件进行对应操作。上述方法通过对控件信息的可视化VR/AR处理，在VR/AR设备上显示控件信息对应的虚拟立体控件，当用户使用VR/AR设备时，即可观察到控件信息对应的虚拟立体控件。当用户对虚拟立体控件进行操作时，会生成对应的用户操作信息，终端可根据用户操作信息可确定当前受到操作的虚拟立体控件，并且确定用户当前需要对虚拟立体控件进行的操作，这时，在对VR/AR设备上显示的虚拟立体控件进行操作，以使得用户可通过VR/AR设备观察到自身对虚拟立体控件的操作结果，让用户可在VR/AR设备上进行用户操作，提高用户体验。
请参阅图2，图2是本申请提供的基于VR/AR的用户操作方法第二实施例的流程示意图，该基于VR/AR的用户操作方法包括：
201、获取控件信息；
本申请中步骤201与前述实施例中步骤101类似，此处不再赘述。
202、对所述控件信息进行位置处理、形状处理和大小处理，以使得在VR/AR设备上预设坐标位置上可视化显示出符合预设大小与预设形状的所述虚拟立体控件；
当终端获取了系统界面的控件信息之后，终端对控件信息的可视化VR/AR处理，该步骤除了生成虚拟立体控件，还需要在虚拟立体控件进行预处理，使得虚拟立体控件在VR/AR设备上具有统一的标准。
首先，对控件信息进行形状处理，形状处理首先要为控件信息生成对应的虚拟立体控件，详细过程见步骤102。其次，形状处理还需要对虚拟立体控件在外形上进行分辨率处理，这是由于不同的控件信息拟物化处理之后生成的虚拟立体控件在分辨率上可能会存在差异，所以要对每一个虚拟立体控件进行可视化打磨，使得每一个虚拟立体控件在VR/AR设备中的视觉效果达到同一水平。其次，根据VR/AR设备的显示空间的大小，对虚拟立体控件的大小进行处理，使得每一个控件信息对应的虚拟立体控件具有相同的大小。最后，终端需要为虚拟立体控件设置坐标位置，使得虚拟立体控件可以在VR/AR设备中的坐标位置显示该虚拟立体控件。
203、为所述虚拟立体控件关联操作方式信息，以使得用户在VR/AR设备上对所述虚拟立体控件按照所述操作方式信息操作时，将所述虚拟立体控件及所述虚拟立体控件对应的控件内容进行对应的可视化展示；
在终端对虚拟立体控件进行位置处理、形状处理和大小处理之后，还需要对虚拟立体控件设置用户操作方式。对虚拟立体控件设置用户操作方式的目的是为了使得用户在对操作信息在对虚拟立体控件做出操作时，终端可获取并识别用户操作信息，最后根据用户操作信息对虚拟立体控件进行对应的操作，并在VR/AR设备上显示该操作。由于不同类型的虚拟立体控件可进行操作不相同，所以要对不同类型的虚拟立体控件设置对应的用户操作方式。
下面对为所述虚拟立体控件关联操作方式信息进行举例描述：
终端将存在大量文字的文本类型的控件信息，在进行了位置处理、形状处理和大小处理之后，生成虚拟立体书籍。确定该虚拟立体书籍可进行的操作方式为开启、复制、删除、翻页和移动，则为该虚拟立体书籍关联这些操作方式的操作方式信息。在确定虚拟立体书籍的坐标位置之后，通过VR/AR设备显示虚拟立体书籍，用户即可通过VR/AR设备观察与操作该虚拟立体书籍。在用户通过VR/AR设备操作该虚拟立体书籍时，终端会接收到用户操作信息为开启，终端根据用户操作信息确定当前所使用的联操作方式信息为翻页，则终端对虚拟立体书籍进行对应的翻页操作，并且在VR/AR设备上对该翻页操作进行显示，用户即可通过VR/AR设备直观的观察到该虚拟立体书籍翻页操作。
另一类型的虚拟立体垃圾桶(控件信息为回收站)所关联的操作方式信息则与上述虚拟立体书籍不同，虚拟立体垃圾桶的操作方式为打开、还原以及清理等操作。
为虚拟立体控件关联操作方式信息，操作方式信息包含手势操作信息与声音操作信息。手势操作信息是指为操作方式设置对应的手势信息，以使得用户操作虚拟立体控件时，通过对应的手势触碰虚拟立体控件，终端即可采集这一手势信息以及所触碰的虚拟立体控件的坐标位置，终端可以通过这一手势信息，确定操作的方式，并且作用到该坐标位置对应的虚拟立体控件。
声音操作信息是指为操作方式设置对应的声音信息，以使得用户操作虚拟立体控件时，通过对应的声音(通常为语音)，并且触碰虚拟立体控件，终端即可采集这一声音信息以及所触碰的虚拟立体控件的坐标位置，终端可以通过这一声音信息，确定操作的方式，并且作用到该坐标位置对应的虚拟立体控件。
204、获取所述虚拟立体控件的坐标信息；
终端获取多个虚拟立体控件的坐标信息，坐标信息用于指示虚拟立体控件在VR/AR设备上的显示位置。
205、根据所述坐标信息将所述虚拟立体控件在VR/AR设备上显示；
终端根据坐标信息将虚拟立体控件在VR/AR设备上显示。VR/AR设备在显示立体场景时，立体场景以及立体场景内的虚拟立体控件需要像电脑桌面一样，对立体场景上的虚拟立体控件进行排序并显示。
206、获取用户操作信息，所述用户操作信息为用户使用所述VR/AR设备对所述虚拟立体控件进行操作产生的信息；
本申请中步骤206与前述实施例中步骤104类似，此处不再赘述。
207、根据所述用户操作信息中的坐标信息确定所述虚拟立体控件；
在用户对虚拟立体控件进行了一定的操作时，终端可以通过摄像头、声音收集器等装置，采集用户的动作以及声音，终端还会获取虚拟立体控件的坐标信息，将多个采集的信息整合成为用户操作信息。终端在接收到用户操作信息之后，会根据其中的坐标信息确定操作的虚拟立体控件。
208、根据所述用户操作信息中的操作方式信息对所述VR/AR设备上显示的所述虚拟立体控件进行对应操作。
终端根据所述用户操作信息中的操作方式信息对所述VR/AR设备上显示的所述虚拟立体控件进行对应操作。当终端根据用户操作信息中的坐标信息确定虚拟立体控件时，即可根据用户操作信息中的操作方式信息对虚拟立体控件进行对应的操作。
下面对虚拟立体控件的操作过程进行举例说明：
终端为一个文档类型的控件信息生成虚拟立体书籍。在确定虚拟立体书籍的坐标位置之后，通过VR/AR设备显示虚拟立体书籍，用户即可通过VR/AR设备观察与操作该虚拟立体书籍。在用户通过VR/AR设备对该虚拟立体书籍进行操作，摄像头通过拍摄用户手部的动作，以及动作的位置，生成用户操作信息，并传输到终端上。终端根据用户操作信息确定操作对象为虚拟立体书籍，根据用户操作信息中的手势动作确定当前的操作方式为翻页，即可控制VR/AR设备对该虚拟立体书籍进行翻页的操作，给用户直观的操作虚拟立体控件，提高用户体验。
需要说明的是，虚拟立体书籍与控件信息在文字内容与运行上存在关联。即当用户开启虚拟立体书籍，会显示控件信息的文字内容，当用户删除虚拟立体书籍某一段的文字时，同样会删除控件信息的文字内容，保持控件信息与该虚拟立体书籍在内容上的一致性。
本实施例中，首先获取控件信息，控件信息用于生成对应的虚拟立体控件，需要对控件信息进行位置处理、形状处理和大小处理，以使得在VR/AR设备上预设坐标位置上可视化显示出符合预设大小与预设形状的虚拟立体控件。为虚拟立体控件关联操作方式信息，以使得用户在VR/AR设备上对虚拟立体控件按照所述操作方式信息操作时，将虚拟立体控件及虚拟立体控件对应的控件内容进行对应的可视化展示。将虚拟立体控件在VR/AR设备上显示之后，当用户使用VR/AR设备，并且对VR/AR设备中显示的虚拟立体控件进行了操作时，首先会获取到用户操作信息，获取虚拟立体控件的坐标信息，根据用户操作信息中的坐标信息确定当前需要进行操作的虚拟立体控件，根据用户操作信息中的操作方式信息对VR/AR设备上显示的虚拟立体控件进行对应操作。通过对控件信息的可视化VR/AR处理，在VR/AR设备上显示控件信息对应的虚拟立体控件，当用户使用VR/AR设备时，即可观察到控件信息对应的虚拟立体控件。并且，为虚拟立体控件关联操作方式信息，当用户对虚拟立体控件进行操作时，会生成对应的用户操作信息，用户操作信息可确定当前受到操作的虚拟立体控件，并且确定用户当前需要对虚拟立体控件进行的操作，这时，在对VR/AR设备上显示的虚拟立体控件进行操作，以使得用户可通过VR/AR设备观察到自身对虚拟立体控件的操作结果，让用户可在VR/AR设备上进行用户操作，提高用户体验。
上面对本申请中方法的实施例进行了阐述，下面将结合附图对本申请中的基于VR/AR的用户操作系统、装置及计算机存储介质进行阐述。
请参阅图3，图3为本申请中基于VR/AR的用户操作系统的一个实施例结构示意图，该基于VR/AR的用户操作装置，包括：
第一获取单元301，用于获取控件信息；
处理单元302，用于对所述控件信息进行可视化VR/AR处理，以生成对应所述控件信息的虚拟立体控件；
显示单元303，用于将所述虚拟立体控件在VR/AR设备上显示；
第二获取单元304，用于获取用户操作信息，所述用户操作信息为用户使用所述VR/AR设备对所述虚拟立体控件进行操作产生的信息；
确定单元305，用于根据所述用户操作信息确定所述虚拟立体控件；
操作单元306，用于根据所述用户操作信息对所述VR/AR设备上显示的所述虚拟立体控件进行对应操作。
本实施例中，首先获取控件信息，控件信息用于生成对应的虚拟立体控件，需要对控件信息进行可视化VR/AR处理，以生成对应控件信息的虚拟立体控件，并使得控件信息对应的虚拟立体控件可以在VR/AR设备上显示。将虚拟立体控件在VR/AR设备上显示之后，当用户使用VR/AR设备，并且对VR/AR设备中显示的虚拟立体控件进行了操作时，首先会获取到用户操作信息，根据用户操作信息确定当前需要进行操作的虚拟立体控件，根据用户操作信息对VR/AR设备上显示的虚拟立体控件进行对应操作。通过对控件信息的可视化VR/AR处理，在VR/AR设备上显示控件信息对应的虚拟立体控件，当用户使用VR/AR设备时，即可观察到控件信息对应的虚拟立体控件。当用户对虚拟立体控件进行操作时，会生成对应的用户操作信息，用户操作信息可确定当前受到操作的虚拟立体控件，并且确定用户当前需要对虚拟立体控件进行的操作，这时，在对VR/AR设备上显示的虚拟立体控件进行操作，以使得用户可通过VR/AR设备观察到自身对虚拟立体控件的操作结果，让用户可在VR/AR设备上进行用户操作，提高用户体验。
可选的，所述显示单元303，具体为：
获取所述虚拟立体控件的坐标信息；
根据所述坐标信息将所述虚拟立体控件在VR/AR设备上显示。
可选的，确定单元305，具体为：
根据所述用户操作信息中的坐标信息确定所述虚拟立体控件。
可选的，操作单元306，具体为：
根据所述用户操作信息中的操作方式信息对所述VR/AR设备上显示的所述虚拟立体控件进行对应操作。
可选地，所述处理单元302，具体为：
对所述控件信息进行位置处理、形状处理和大小处理，以使得在VR/AR设备上预设坐标位置上可视化显示出符合预设大小与预设形状的所述虚拟立体控件。
本申请还提供了一种基于VR/AR的用户操作系统，包括：
处理器401、存储器402、输入输出单元403以及总线404；
处理器401与存储器402、输入输出单元403以及总线404相连；
存储器402保存有程序，处理器401调用程序以执行如图1和图2的基于VR/AR的用户操作方法。
本申请还提供了一种计算机可读存储介质，计算机可读存储介质上保存有程序，程序在计算机上执行时执行如图1和图2的基于VR/AR的用户操作方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种基于VR/AR的立体控件操作方法，其特征在于，包括：
获取控件信息；
对所述控件信息进行可视化VR/AR处理，以生成对应所述控件信息的虚拟立体控件；
将所述虚拟立体控件在VR/AR设备上显示；
获取用户操作信息，所述用户操作信息为用户使用所述VR/AR设备对所述虚拟立体控件进行操作产生的信息；
根据所述用户操作信息确定所述虚拟立体控件；
根据所述用户操作信息对所述VR/AR设备上显示的所述虚拟立体控件进行对应操作。
2.根据权利要求1中所述的基于VR/AR的用户操作方法，其特征在于，所述将所述虚拟立体控件在VR/AR设备上显示，包括：
获取所述虚拟立体控件的坐标信息；
根据所述坐标信息将所述虚拟立体控件在VR/AR设备上显示。
3.根据权利要求2中所述的基于VR/AR的用户操作方法，其特征在于，所述根据所述用户操作信息确定所述虚拟立体控件，包括：
根据所述用户操作信息中的坐标信息确定所述虚拟立体控件。
4.根据权利要求1中所述的基于VR/AR的用户操作方法，其特征在于，所述根据所述用户操作信息对所述VR/AR设备上显示的所述虚拟立体控件进行对应操作，包括：
根据所述用户操作信息中的操作方式信息对所述VR/AR设备上显示的所述虚拟立体控件进行对应操作。
5.根据权利要求4中所述的基于VR/AR的用户操作方法，其特征在于，所述操作方式信息包含手势操作信息与声音操作信息。
6.根据权利要求4中所述的基于VR/AR的用户操作方法，其特征在于，在所述获取用户操作信息之前，所述对所述控件信息进行可视化VR/AR处理，以生成对应所述控件信息的虚拟立体控件之后，所述方法还包括：
为所述虚拟立体控件关联操作方式信息，以使得用户在VR/AR设备上对所述虚拟立体控件按照所述操作方式信息操作时，将所述虚拟立体控件及所述虚拟立体控件对应的控件内容进行对应的可视化展示。
7.根据权利要求1至6中任一项中所述的基于VR/AR的用户操作方法，其特征在于，所述对所述控件信息进行可视化VR/AR处理，以生成对应所述控件信息的虚拟立体控件，包括：
对所述控件信息进行位置处理、形状处理和大小处理，以使得在VR/AR设备上预设坐标位置上可视化显示出符合预设大小与预设形状的所述虚拟立体控件。
8.一种基于VR/AR的用户操作装置，其特征在于，包括：
第一获取单元，用于获取控件信息；
处理单元，用于对所述控件信息进行可视化VR/AR处理，以生成对应所述控件信息的虚拟立体控件；
显示单元，用于将所述虚拟立体控件在VR/AR设备上显示；
第二获取单元，用于获取用户操作信息，所述用户操作信息为用户使用所述VR/AR设备对所述虚拟立体控件进行操作产生的信息；
确定单元，用于根据所述用户操作信息确定所述虚拟立体控件；
操作单元，用于根据所述用户操作信息对所述VR/AR设备上显示的所述虚拟立体控件进行对应操作。
9.一种基于VR/AR的用户操作系统，其特征在于，所述装置包括：
处理器、存储器、输入输出单元以及总线；
所述处理器与所述存储器、所述输入输出单元以及所述总线相连；
所述存储器保存有程序，所述处理器调用所述程序以执行如权利要求1-7任意一项所述的基于VR/AR的用户操作方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行如权利要求1至7中任一项所述的基于VR/AR的用户操作方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210044278.3A CN114527870A (zh) | 2022-01-14 | 2022-01-14 | 一种基于vr/ar的用户操作方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210044278.3A CN114527870A (zh) | 2022-01-14 | 2022-01-14 | 一种基于vr/ar的用户操作方法、装置、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114527870A true CN114527870A (zh) | 2022-05-24 |
Family
ID=81621214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210044278.3A Pending CN114527870A (zh) | 2022-01-14 | 2022-01-14 | 一种基于vr/ar的用户操作方法、装置、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114527870A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107430437A (zh) * | 2015-02-13 | 2017-12-01 | 厉动公司 | 在虚拟现实/增强现实环境中创建真实的抓取体验的系统和方法 |
| CN108519817A (zh) * | 2018-03-26 | 2018-09-11 | 广东欧珀移动通信有限公司 | 基于增强现实的交互方法、装置、存储介质及电子设备 |
| CN109271573A (zh) * | 2018-10-19 | 2019-01-25 | 维沃移动通信有限公司 | 一种文件管理方法及vr设备 |
| CN112789585A (zh) * | 2019-06-07 | 2021-05-11 | 株式会社Celsys | 书籍显示程序及书籍显示装置 |
| CN113867531A (zh) * | 2021-09-30 | 2021-12-31 | 北京市商汤科技开发有限公司 | 交互方法、装置、设备及计算机可读存储介质 |
-
2022
- 2022-01-14 CN CN202210044278.3A patent/CN114527870A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107430437A (zh) * | 2015-02-13 | 2017-12-01 | 厉动公司 | 在虚拟现实/增强现实环境中创建真实的抓取体验的系统和方法 |
| CN108519817A (zh) * | 2018-03-26 | 2018-09-11 | 广东欧珀移动通信有限公司 | 基于增强现实的交互方法、装置、存储介质及电子设备 |
| CN109271573A (zh) * | 2018-10-19 | 2019-01-25 | 维沃移动通信有限公司 | 一种文件管理方法及vr设备 |
| CN112789585A (zh) * | 2019-06-07 | 2021-05-11 | 株式会社Celsys | 书籍显示程序及书籍显示装置 |
| CN113867531A (zh) * | 2021-09-30 | 2021-12-31 | 北京市商汤科技开发有限公司 | 交互方法、装置、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3623942B1 (en) | Message processing method and apparatus, storage medium, and computer device | |
| CN109062479B (zh) | 分屏应用切换方法、装置、存储介质和电子设备 | |
| CN107977141B (zh) | 交互控制方法、装置、电子设备及存储介质 | |
| CN107479818B (zh) | 一种信息交互方法及移动终端 | |
| US10810801B2 (en) | Method of displaying at least one virtual object in mixed reality, and an associated terminal and system | |
| CN113536173B (zh) | 一种页面处理方法、装置、电子设备及可读存储介质 | |
| CN110941337A (zh) | 虚拟形象的控制方法、终端设备及计算机可读存储介质 | |
| CN113778583A (zh) | 一种云桌面的本地应用的发布方法、装置、设备和介质 | |
| CN111880652A (zh) | 用于移动ar对象位置的方法、装置及存储介质 | |
| CN106843794A (zh) | 一种基于安卓的分屏显示方法和系统 | |
| CN115454233A (zh) | 多屏幕交互方法和装置 | |
| CN111127469A (zh) | 缩略图显示方法、装置、存储介质以及终端 | |
| CN112698762A (zh) | 图标显示方法、装置及电子设备 | |
| CN112099886A (zh) | 移动零终端的桌面显示控制方法及装置 | |
| CN114527870A (zh) | 一种基于vr/ar的用户操作方法、装置、系统及存储介质 | |
| CN115421631A (zh) | 界面显示方法和装置 | |
| CN113486415B (zh) | 模型透视方法、智能终端以及存储装置 | |
| CN111708475B (zh) | 虚拟键盘的生成方法和装置 | |
| CN104407763A (zh) | 内容输入方法及系统 | |
| CN114089885A (zh) | 应用图标管理方法、装置、电子设备及可读存储介质 | |
| CN113515192A (zh) | 用于可穿戴设备的信息处理方法、装置及可穿戴设备 | |
| CN110262864B (zh) | 应用处理方法、装置、存储介质及终端 | |
| CN113360064A (zh) | 对图片的局部区域的搜索方法及装置、介质及电子设备 | |
| CN110941389A (zh) | 一种焦点触发ar信息点的方法及装置 | |
| CN104007886A (zh) | 一种信息处理的方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220818 Address after: 518000 floor 3, building A2, No. 2072, Jincheng Road, Houxiang community, Shajing street, Bao'an District, Shenzhen, Guangdong Province Applicant after: Shenzhen Jihui Technology Co., Ltd. Address before: 518000 a, floor 4, building A4, Shajing Industrial Company, Ho Xiang Road, Shajing street, Bao'an District, Shenzhen City, Guangdong Province Applicant before: SHENZHEN TATFOOK NETWORK TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right |