CN114546108A - 一种基于vr/ar的用户操作方法、装置、系统及存储介质 - Google Patents

一种基于vr/ar的用户操作方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN114546108A
CN114546108A CN202210044273.0A CN202210044273A CN114546108A CN 114546108 A CN114546108 A CN 114546108A CN 202210044273 A CN202210044273 A CN 202210044273A CN 114546108 A CN114546108 A CN 114546108A
Authority
CN
China
Prior art keywords
information
material information
dimensional
user operation
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210044273.0A
Other languages
English (en)
Inventor
李西峙
王健鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jihui Technology Co Ltd
Original Assignee
Shenzhen Tatfook Network Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tatfook Network Tech Co Ltd filed Critical Shenzhen Tatfook Network Tech Co Ltd
Priority to CN202210044273.0A priority Critical patent/CN114546108A/zh
Publication of CN114546108A publication Critical patent/CN114546108A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种基于VR/AR的用户操作方法、装置、系统及存储介质,用于让用户可在VR/AR设备上以第一人称视角进行用户操作体验,提高用户体验。获取操作界面信息,所述操作界面信息包含操作界面下的素材信息与虚拟控制角色;对所述素材信息进行拟物化处理,以生成立体素材信息,所述立体素材信息关联着所述素材信息内对应的素材内容;对所述立体素材信息进行可视化VR/AR处理;为所述立体素材信息设置用户操作方式;以所述虚拟控制角色的视角将所述立体素材信息向所述VR/AR设备进行投影,以使得用户通过所述虚拟控制角色的第一人称视角观察并编辑所述立体素材信息。

Description

一种基于VR/AR的用户操作方法、装置、系统及存储介质
技术领域
本申请涉及扩展现实领域,尤其涉及一种基于VR/AR的用户操作方法、装置、系统及存储介质。
背景技术
现有的操作类场景中,大部分操作软件的用户是使用平面第三人称视角进行操作的,用户无法得到身临其境的操作体验。
为了提升用户体验,部分软件设计了以第一人称视角的立体场景,但目前大部分的第一人称视角的立体场景也只能在电子设备上进行,用户可通过鼠标或键盘等外部输入设备对立体场景中的各种素材进行控制操作,只能在视觉上达到立体感觉,依旧无法在操作上让用户感受到真实的用户操作。
因此,亟需一种新的用户操作方法来使得用户感受到真实的用户操作体验。
发明内容
为了解决上述技术问题,本申请公开了一种基于VR/AR的用户操作方法、装置、系统及存储介质,用于让用户可在VR/AR设备上以第一人称视角进行用户操作体验,提高用户体验。
本申请第一方面提供了一种基于VR/AR的用户操作方法,所述方法包括:
获取操作界面信息,所述操作界面信息包含操作界面下的素材信息与虚拟控制角色;
对所述素材信息进行拟物化处理,以生成立体素材信息,所述立体素材信息关联着所述素材信息内对应的素材内容;
对所述立体素材信息进行可视化VR/AR处理;
为所述立体素材信息设置用户操作方式,以使得用户在VR/AR设备上对所述立体文素材信息按照所述用户操作方式操作时,将所述立体素材信息及其对应的所述素材内容进行对应的可视化展示;
以所述虚拟控制角色的视角将所述立体素材信息向所述VR/AR设备进行投影,以使得用户通过所述虚拟控制角色的第一人称视角观察并编辑所述立体素材信息。
可选地,所述为所述立体素材信息设置用户操作方式,包括:
获取用户操作特征信息,所述用户操作特征信息包含手势特征信息与声音特征信息;
根据用户操作特征信息为所述立体素材信息设置用户操作方式。
可选地,所述对所述素材信息进行拟物化处理,以生成立体素材信息,包括:
根据所述素材信息在立体模型库中确定对应的立体素材模型信息,并将所述立体素材模型信息确定为立体素材信息。
可选地,所述对所述立体素材信息进行可视化VR/AR处理,包括:
对所述立体素材信息进行位置处理、形状处理和大小处理,以使得在VR/AR设备上预设位置上可视化显示出符合预设大小与预设形状的所述立体素材信息。
可选地,在所述获取操作界面信息之后,所述基于VR/AR的用户操作方法还包括:
对所述操作界面信息内的场景信息进行拟物化处理,以生成立体场景信息,所述立体场景信息关联着所述场景信息内对应的场景内容;
对所述立体场景信息进行可视化VR/AR处理;
为所述立体场景信息设置用户操作方式,以使得用户在VR/AR设备上对所述立体场景信息按照所述用户操作方式操作时,将所述立体场景信息及其对应的所述场景内容进行对应的可视化展示;
将设置了所述用户操作方式的所述立体场景信息向所述VR/AR设备进行投影。
可选地,所述对所述操作界面信息内的场景信息进行拟物化处理,包括:
根据所述场景信息在立体模型库中确定对应的立体场景模型信息,并将所述立体场景模型信息确定为立体场景信息。
可选地,所述对所述立体场景信息进行可视化VR/AR处理,包括:
对所述立体场景信息进行位置处理、形状处理和大小处理,以使得在VR/AR设备上预设位置上可视化显示出符合预设大小与预设形状的所述立体场景信息。
本申请第二方面提供了一种基于VR/AR的用户操作系统,包括:
第一获取单元,用于获取操作界面信息,所述操作界面信息包含操作界面下的素材信息与虚拟控制角色;
第一处理单元,用于对所述素材信息进行拟物化处理,以生成立体素材信息,所述立体素材信息关联着所述素材信息内对应的素材内容;
第二处理单元,用于对所述立体素材信息进行可视化VR/AR处理;
第一设置单元,用于为所述立体素材信息设置用户操作方式,以使得用户在VR/AR设备上对所述立体文素材信息按照所述用户操作方式操作时,将所述立体素材信息及其对应的所述素材内容进行对应的可视化展示;
第一投影单元,用于以所述虚拟控制角色的视角将所述立体素材信息向所述VR/AR设备进行投影,以使得用户通过所述虚拟控制角色的第一人称视角观察并编辑所述立体素材信息。
本申请第三方面提供了一种基于VR/AR的用户操作装置,包括:
处理器、存储器、输入输出单元以及总线;
所述处理器与所述存储器、所述输入输出单元以及所述总线相连;
所述存储器保存有程序,所述处理器调用所述程序以执行如第一方面以及第一方面任意一项所述的目标素材的选择方法。
本申请第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质上保存有程序,所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的基于VR/AR的用户操作方法。
从以上技术方案可以看出,本申请具有以下优点:
本申请提供的基于VR/AR的用户操作方法中,首先获取操作界面信息,再对操作界面信息中的素材信息进行拟物化处理,以生成立体素材信息。通过对立体素材信息进行可视化VR/AR处理,可视化VR/AR处理包含位置可视化处理、形状可视化处理和大小可视化处理。为立体素材信息设置用户操作方式,以使得用户在VR/AR设备上对立体素材信息进行预设规则的用户操作时,立体素材信息及其对应的素材内容会进行用户操作方式对应的可视化展示。以虚拟控制角色的视角将立体素材信息向VR/AR设备进行投影,以使得用户通过虚拟控制角色的第一人称视角观察并编辑所述立体素材信息。将场景中可进行操作的素材信息进行立体化处理,生成立体素材信息后,给立体素材信息进行用户操作方式的设置,最后将立体素材信息向VR/AR设备进行投影,以使得用户可以以场景中的虚拟控制角色的视角对立体素材信息进行用户操作,并且用户操控着虚拟控制角色,立体素材信息会随着用户的操作对对应的素材内容进行对应操作显示,让用户可在VR/AR设备上以第一人称视角进行用户操作体验,提高用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请中基于VR/AR的用户操作方法的一个实施例流程示意图;
图2为本申请中基于VR/AR的用户操作方法的另一个实施例流程示意图;
图3为本申请中基于VR/AR的用户操作系统的一个实施例结构示意图;
图4为本申请中基于VR/AR的用户操作装置的一个实施例结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
现有技术中,为了提升用户体验,部分软件设计了以第一人称视角的立体场景,但目前大部分的第一人称视角的立体场景也只能在电子设备上进行,用户可通过鼠标或键盘等外部输入设备对立体场景中的各种素材进行控制操作,只能在视觉上达到立体感觉,依旧无法在操作上让用户感受到真实的用户操作。
基于此,为了解决上述技术问题,本申请公开了一种基于VR/AR的用户操作方法、装置、系统及存储介质,用于让用户可在VR/AR设备上以第一人称视角进行用户操作体验,提高用户体验。
需要说明的是,本申请提供的基于VR/AR的用户操作方法,可以应用于终端也可以应用于系统,还可以应用于服务器上,例如终端可以是智能手机或电脑、平板电脑、智能电视、智能手表、便携计算机终端也可以是台式计算机等固定终端。为方便阐述,本申请实施例中以终端为执行主体进行举例说明。
请参阅图1,图1是本申请提供的基于VR/AR的用户操作方法第一个实施例的流程示意图,该基于VR/AR的用户操作方法包括:
101、获取操作界面信息,所述操作界面信息包含操作界面下的素材信息与虚拟控制角色;
终端获取操作界面信息,用于将操作界面信息内的可操作的信息进行立体变化。操作界面信息是一种在操作界面上的内容信息,操作界面可以是手机系统界面、平板系统界面和笔记本电脑系统界面等具有可操控信息的系统界面,此处不做限定。操作界面信息就是这类操作系统上的可操控信息的集合,可以是系统上的系统软件,也可以是系统上下载的第三方应用程序,还可以是操作界面的背景等信息,只要是可供用户在操作界面上进行一定规则的操作的信息,都为操作界面信息的保护范畴内。操作界面信息包含操作界面下的素材信息以及一个虚拟控制角色,虚拟控制角色是用于在操作界面中对素材信息进行直接操作的虚拟人物。其中,素材方块可以是多种,例如:草地素材方块,雪地素材方块、电影素材方块和代码素材方块等,此处不做限定。
可选地,本实施例中,例如:一个电脑软件操作界面上,存在多个可供操作的素材方块、场景信息以及一个虚拟控制角色。在这个电脑软件操作界面上,可供操作的素材方块是立体素材方块,虚拟控制角色也是立体人物。虚拟控制角色用于接收用户通过外接输入设备发送的信息,对电脑软件操作界面上的立体素材方块进行一定的编辑操作。
102、对所述素材信息进行拟物化处理,以生成立体素材信息,所述立体素材信息关联着所述素材信息内对应的素材内容;
终端在获取操作界面信息之后,将操作界面信息中的素材信息进行拟物化处理,为了给每一个素材信息生成立体素材信息,立体素材信息用于在VR/AR设备上进行展示。素材信息为操作界面信息中的一类,是操作界面信息中的第三方应用程序中的可操作的内容信息,此处不做限定。
对素材信息进行拟物化处理,目的是要根据当前操作对象生成立体的并且可以被VR/AR设备所展示的操作对象,不同的素材信息会根据不同的方式进行拟物化处理,生成立体的执行对象。拟物化方式可以是根据素材信息自身的样式映射产生立体素材信息,也可以是直接根据模型图库中寻找默认的立体素材信息,还可以是通过该素材信息自身携带的立体素材信息直接使用等,此处不做限定。
如上例中,将电脑软件操作界面上存在的所有素材方块进行拟物化处理,生成能在VR/AR设备中展示的立体素材信息。即将这些在操作界面上是立体的素材方块,进行立体的拟物化处理,将素材方块转化为具有更多立体信息的数据。
103、对所述立体素材信息进行可视化VR/AR处理;
在终端对素材信息进行拟物化处理,根据某一个素材信息生成对应的立体素材信息之后,需要对这类素材信息进行可视化VR/AR处理,由于拟物化处理产生的仅仅是一个立体素材信息,没有经过可视化VR/AR处理,就会展示出较为粗糙的立体素材信息,对用户的使用观看体验以及操作体验造成极大的影响。所以在每一个素材信息生成了对应的立体素材信息,或是找寻到对应的立体素材信息之后,需要对立体素材信息进行可视化VR/AR处理,以使得用户可以通过VR/AR设备更好的观察到真实细致的立体素材信息。
对立体素材信息的可视化VR/AR处理,主要是在立体素材信息的外形上进行一定的打磨,以及大小的调整,由于不同类型的素材信息拟物化处理之后生成的立体素材信息样式都有所出入,所以要对每一个立体素材信息进行可视化打磨,大小调整到统一的规格。并且需要在位置坐标进行设定,以使得每一个立体素材信息在VR/AR设备中具有固定的坐标位置。
104、为所述立体素材信息设置用户操作方式,以使得用户在VR/AR设备上对所述立体文素材信息按照所述用户操作方式操作时,将所述立体素材信息及其对应的所述素材内容进行对应的可视化展示;
在终端对立体素材信息进行可视化VR/AR处理,之后,还需要对立体素材信息中设置用户操作方式。目的是为了使得用户操作信息在VR/AR设备上不仅可以进行显示,还可以进行用户操作。由于每一个立体素材信息可进行操作不相同,并且用户操作与平面操作的种类也大不相同,所以要对每一个立体素材信息设置对应的用户操作方式。
105、以所述虚拟控制角色的视角将所述立体素材信息向所述VR/AR设备进行投影,以使得用户通过所述虚拟控制角色的第一人称视角观察并编辑所述立体素材信息。
终端将设置了用户操作方式的立体素材信息向VR/AR设备进行投影,用户即可通过设备,通过虚拟控制角色的第一人称视角观察到全部的立体素材信息。并且可以通过立体素材上设置的用户操作方式,对相应位置的立体素材信息进行用户操作。
例如,用户可以通过VR/AR设备,以软件中的控制者的身份以及视角,对立体素材方块进行用户操作。通过移动手势(用户操作方式)触碰立体素材信息,终端就会根据当前用户的手势判断用户想要的用户操作为移动,将当前位置坐标的立体素材方块跟随用户的手势移动到用户最终选定的位置进行放置。
本申请提供的基于VR/AR的用户操作方法中,首先获取操作界面信息,再对操作界面信息中的素材信息进行拟物化处理,以生成立体素材信息。通过对立体素材信息进行可视化VR/AR处理,可视化VR/AR处理包含位置可视化处理、形状可视化处理和大小可视化处理。为立体素材信息设置用户操作方式,以使得用户在VR/AR设备上对立体素材信息进行预设规则的用户操作时,立体素材信息及其对应的素材内容会进行用户操作方式对应的可视化展示。以虚拟控制角色的视角将立体素材信息向VR/AR设备进行投影,以使得用户通过虚拟控制角色的第一人称视角观察并编辑所述立体素材信息。将场景中可进行操作的素材信息进行立体化处理,生成立体素材信息后,给立体素材信息进行用户操作方式的设置,最后将立体素材信息向VR/AR设备进行投影,以使得用户可以以场景中的虚拟控制角色的视角对立体素材信息进行用户操作,并且用户操控着虚拟控制角色,立体素材信息会随着用户的操作对对应的素材内容进行对应操作显示,让用户可在VR/AR设备上以第一人称视角进行用户操作体验,提高用户体验。
请参阅图2,图2是本申请提供的基于VR/AR的用户操作方法第二实施例的流程示意图,该基于VR/AR的用户操作方法包括:
201、获取操作界面信息,所述操作界面信息包含操作界面下的素材信息与虚拟控制角色;
本申请中步骤201与前述实施例中步骤101类似,此处不再赘述。
202、根据所述素材信息在立体模型库中确定对应的立体素材模型信息,并将所述立体素材模型信息确定为立体素材信息;
终端在获取操作界面信息之后,将操作界面信息中的素材信息进行拟物化处理,为了给每一个素材信息生成立体素材信息。通常会为素材信息在本地存储上生成一个立体模型库,立体模型库中包含了操作界面上的所有可操作素材的立体素材信息。
203、对所述立体素材信息进行位置处理、形状处理和大小处理,以使得在VR/AR设备上预设位置上可视化显示出符合预设大小与预设形状的所述立体素材信息;
终端对立体素材信息的可视化VR/AR处理,主要是在立体素材信息的外形上进行位置处理、形状处理和大小处理。由于不同类型的素材信息拟物化处理之后生成的立体素材信息样式都有所出入,所以要对每一个立体素材信息进行可视化打磨,大小调整到统一的规格。并且需要在位置坐标进行设定,以使得每一个立体素材信息在VR/AR设备中具有固定的坐标位置。在VR/AR设备上预设位置上可视化显示出符合预设大小与预设形状的所述立体素材信息。
可选地,本实施例中,将立体素材信息的大小进行统一调整,以及将形状进行打磨,使得不同的立体素材信息的风格样式打磨成统一规格,最后通过一定的位置排序,赋予立体素材信息自身的位置坐标,以使得在VR/AR设备中的固定坐标位置进行放置。
204、获取用户操作特征信息,所述用户操作特征信息包含手势特征信息与声音特征信息;
终端指定获取用户操作特征信息,用户操作特征信息为使用者通过肢体或其他物理特征的视频或音频信息。本实施例中,用户操作特征信息包含手势特征信息与声音特征信息,即可以是用户的肢体操作,主要为手势的特征信息,声音特征信息即为音色以及音调等信息。
205、根据用户操作特征信息为所述立体素材信息设置用户操作方式;
终端根据用户操作特征信息生成用户操作方式,为不同的手势特征信息或声音特征信息转换成用户操作方式。
可选地,本实施例中,使用多种手势对应移动的操作方式,将关联方式进行绑定,就可以使得,用户在对某一立体素材信息进行对应移动手势,终端就会将对应位置立体素材信息进行移动操作。
可选地,本实施例中,例如:回收站可进行的用户操作方式可以是手势开启方式,即通过对某一位置上的立体素材信息进行一定手势的立体控制,终端即对相应位置上的立体素材信息进行对应的操作。或通过声音的操作方式,通过一定的语音来控制立体素材信息进行用户操作,终端即对相应位置上的立体素材信息进行对应的操作。不同的立体控制方式设置到不同的立体素材信息中,回收站无法删除,即无法设置上用户操作删除的方式。
206、以所述虚拟控制角色的视角将所述立体素材信息向所述VR/AR设备进行投影,以使得用户通过所述虚拟控制角色的第一人称视角观察并编辑所述立体素材信息。
本申请中步骤206与前述实施例中步骤105类似,此处不再赘述。
207、根据所述场景信息在立体模型库中确定对应的立体场景模型信息,并将所述立体场景模型信息确定为立体场景信息;
终端在获取操作界面信息之后,将平面操作界面信息中的场景信息进行拟物化处理,为了生成一个虚拟的立体场景信息。
可选地,本实施例中,对应的场景信息为电脑桌面背景,则生成一个立体办公室。
208、对所述立体场景信息进行位置处理、形状处理和大小处理,以使得在VR/AR设备上预设位置上可视化显示出符合预设大小与预设形状的所述立体场景信息;
在终端对场景信息进行拟物化处理,根据某一个场景信息生成对应的立体场景信息之后,需要对这类立体场景信息进行可视化VR/AR处理,由于拟物化处理产生的仅仅是一个立体场景信息,没有经过可视化处理,就会展示出较为粗糙的立体场景信息,对用户的使用观看体验造成极大的影响。所以在每一个平面场景信息生成了对应的立体文件信息,或是找寻到对应的立体场景信息之后,需要对立体场景信息进行可视化VR/AR处理,以使得用户可以通过VR/AR设备更好的观察到真实细致的立体场景信息。
209、为所述立体场景信息设置用户操作方式,以使得用户在VR/AR设备上对所述立体场景信息按照所述用户操作方式操作时,将所述立体场景信息及其对应的所述场景内容进行对应的可视化展示;
在终端对所述立体场景信息进行可视化VR/AR处理,之后,还需要对立体场景信息中设置用户操作方式。目的是为了使得用户操作信息在VR/AR设备上不仅可以进行显示,还可以进行用户操作。由于不同的立体场景信息可进行操作不相同,并且用户操作与平面操作的种类也大不相同,所以要对每一个立体场景信息设置对应的用户操作方式。
210、将设置了所述用户操作方式的所述立体场景信息向所述VR/AR设备进行投影。
终端将设置了用户操作方式的立体场景信息向VR/AR设备进行投影,用户即可通过设备观察到全部的立体场景信息。并且可以通过立体场景上设置的用户操作方式,对相应位置的了立体场景信息进行用户操作。
上面对本申请中方法的实施例进行了阐述,下面将结合附图对本申请中的基于VR/AR的用户操作系统、装置及计算机存储介质进行阐述。
请参阅图3,图3为本申请中基于VR/AR的用户操作系统的一个实施例结构示意图,该基于VR/AR的用户操作系统,包括:
第一获取单元301,用于获取操作界面信息,所述操作界面信息包含操作界面下的素材信息;
第一处理单元302,用于对所述素材信息进行拟物化处理,以生成立体素材信息,所述立体素材信息关联着所述素材信息内对应的素材内容;
第二处理单元303,用于对所述立体素材信息进行可视化VR/AR处理;
第一设置单元304,用于为所述立体素材信息设置用户操作方式,以使得用户在VR/AR设备上对所述立体文素材信息按照所述用户操作方式操作时,将所述立体素材信息及其对应的所述素材内容进行对应的可视化展示;
第一投影单元305,用于以所述虚拟控制角色的视角将所述立体素材信息向所述VR/AR设备进行投影,以使得用户通过所述虚拟控制角色的第一人称视角观察并编辑所述立体素材信息。
本申请提供的基于VR/AR的用户操作系统中,首先获取操作界面信息,再对操作界面信息中的素材信息进行拟物化处理,以生成立体素材信息。通过对立体素材信息进行可视化VR/AR处理,可视化VR/AR处理包含位置可视化处理、形状可视化处理和大小可视化处理。为立体素材信息设置用户操作方式,以使得用户在VR/AR设备上对立体素材信息进行预设规则的用户操作时,立体素材信息及其对应的素材内容会进行用户操作方式对应的可视化展示。以虚拟控制角色的视角将立体素材信息向VR/AR设备进行投影,以使得用户通过虚拟控制角色的第一人称视角观察并编辑所述立体素材信息。将场景中可进行操作的素材信息进行立体化处理,生成立体素材信息后,给立体素材信息进行用户操作方式的设置,最后将立体素材信息向VR/AR设备进行投影,以使得用户可以以场景中的虚拟控制角色的视角对立体素材信息进行用户操作,并且用户操控着虚拟控制角色,立体素材信息会随着用户的操作对对应的素材内容进行对应操作显示,让用户可在VR/AR设备上以第一人称视角进行用户操作体验,提高用户体验。
可选地,所述第一设置单元304,具体为:
获取用户操作特征信息,所述用户操作特征信息包含手势特征信息与声音特征信息;
根据用户操作特征信息为所述立体文件信息设置用户操作方式。
可选地,所述第一处理单元302,具体为:
根据所述素材信息在立体模型库中确定对应的立体素材模型信息,并将所述立体素材模型信息确定为立体素材信息。
可选地,所述第二处理单元303,具体为:
对所述立体素材信息进行位置处理、形状处理和大小处理,以使得在VR/AR设备上预设位置上可视化显示出符合预设大小与预设形状的所述立体素材信息。
可选地,在所述第一获取单元301之后,所述基于VR/AR的用户操作系统还包括:
第三处理单元,用于对所述操作界面信息内的场景信息进行拟物化处理,以生成立体场景信息,所述立体场景信息关联着所述场景信息内对应的场景内容;
第四处理单元,用于对所述立体场景信息进行可视化VR/AR处理;
第二设置单元,用于为所述立体场景信息设置用户操作方式,以使得用户在VR/AR设备上对所述立体场景信息按照所述用户操作方式操作时,将所述立体场景信息及其对应的所述场景内容进行对应的可视化展示;
第二投影单元,用于将设置了所述用户操作方式的所述立体场景信息向所述VR/AR设备进行投影。
可选地,所述第三处理单元,具体为:
根据所述场景信息在立体模型库中确定对应的立体场景模型信息,并将所述立体场景模型信息确定为立体场景信息。
可选地,所述第四处理单元,具体为:
对所述立体场景信息进行位置处理、形状处理和大小处理,以使得在VR/AR设备上预设位置上可视化显示出符合预设大小与预设形状的所述立体场景信息。
本申请还提供了一种基于VR/AR的用户操作装置,包括:
处理器401、存储器402、输入输出单元403以及总线404;
处理器401与存储器402、输入输出单元403以及总线404相连;
存储器402保存有程序,处理器401调用程序以执行如上的基于VR/AR的用户操作方法。
本申请还提供了一种计算机可读存储介质,计算机可读存储介质上保存有程序,程序在计算机上执行时执行如上的基于VR/AR的用户操作方法。
本申请还提供了一种计算机可读存储介质,计算机可读存储介质上保存有程序,当程序在计算机上运行时,使得计算机执行如上所述任一基于VR/AR的用户操作方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,read-onlymemory)、随机存取存储器(RAM,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种基于VR/AR的用户操作方法,其特征在于,包括:
获取操作界面信息,所述操作界面信息包含操作界面下的素材信息与虚拟控制角色;
对所述素材信息进行拟物化处理,以生成立体素材信息,所述立体素材信息与所述素材信息内对应的素材内容关联;
对所述立体素材信息进行可视化VR/AR处理;
为所述立体素材信息设置用户操作方式,以使得用户在VR/AR设备上对所述立体素材信息按照所述用户操作方式操作时,将所述立体素材信息及其对应的所述素材内容进行对应的可视化展示;
以所述虚拟控制角色的视角将所述立体素材信息向所述VR/AR设备进行投影,以使得用户通过所述虚拟控制角色的第一人称视角观察并编辑所述立体素材信息。
2.根据权利要求1中所述的基于VR/AR的用户操作方法,其特征在于,所述为所述立体素材信息设置用户操作方式,包括:
获取用户操作特征信息,所述用户操作特征信息包含手势特征信息与声音特征信息;
根据用户操作特征信息为所述立体素材信息设置用户操作方式。
3.根据权利要求1中所述的基于VR/AR的用户操作方法,其特征在于,所述对所述素材信息进行拟物化处理,以生成立体素材信息,包括:
根据所述素材信息在立体模型库中确定对应的立体素材模型信息,并将所述立体素材模型信息确定为立体素材信息。
4.根据权利要求1中所述的基于VR/AR的用户操作方法,其特征在于,所述对所述立体素材信息进行可视化VR/AR处理,包括:
对所述立体素材信息进行位置处理、形状处理和大小处理,以使得在VR/AR设备上预设位置上可视化显示出符合预设大小与预设形状的所述立体素材信息。
5.根据权利要求1至4中任一项所述的基于VR/AR的用户操作方法,其特征在于,在所述获取操作界面信息之后,所述基于VR/AR的用户操作方法还包括:
对所述操作界面信息内的场景信息进行拟物化处理,以生成立体场景信息,所述立体场景信息关联着所述场景信息内对应的场景内容;
对所述立体场景信息进行可视化VR/AR处理;
为所述立体场景信息设置用户操作方式,以使得用户在VR/AR设备上对所述立体场景信息按照所述用户操作方式操作时,将所述立体场景信息及其对应的所述场景内容进行对应的可视化展示;
将设置了所述用户操作方式的所述立体场景信息向所述VR/AR设备进行投影。
6.根据权利要求6中所述的基于VR/AR的用户操作方法,其特征在于,所述对所述操作界面信息内的场景信息进行拟物化处理,包括:
根据所述场景信息在立体模型库中确定对应的立体场景模型信息,并将所述立体场景模型信息确定为立体场景信息。
7.根据权利要求6中所述的基于VR/AR的用户操作方法,其特征在于,所述对所述立体场景信息进行可视化VR/AR处理,包括:
对所述立体场景信息进行位置处理、形状处理和大小处理,以使得在VR/AR设备上预设位置上可视化显示出符合预设大小与预设形状的所述立体场景信息。
8.一种基于VR/AR的用户操作装置,其特征在于,包括:
第一获取单元,用于获取操作界面信息,所述操作界面信息包含操作界面下的素材信息与虚拟控制角色;
第一处理单元,用于对所述素材信息进行拟物化处理,以生成立体素材信息,所述立体素材信息关联着所述素材信息内对应的素材内容;
第二处理单元,用于对所述立体素材信息进行可视化VR/AR处理;
第一设置单元,用于为所述立体素材信息设置用户操作方式,以使得用户在VR/AR设备上对所述立体文素材信息按照所述用户操作方式操作时,将所述立体素材信息及其对应的所述素材内容进行对应的可视化展示;
第一投影单元,用于以所述虚拟控制角色的视角将所述立体素材信息向所述VR/AR设备进行投影,以使得用户通过所述虚拟控制角色的第一人称视角观察并编辑所述立体素材信息。
9.一种基于VR/AR的用户操作系统,其特征在于,所述装置包括:
处理器、存储器、输入输出单元以及总线;
所述处理器与所述存储器、所述输入输出单元以及所述总线相连;
所述存储器保存有程序,所述处理器调用所述程序以执行如权利要求1-7任意一项所述的基于VR/AR的用户操作方法。
10.一种计算机可读存储介质,所述计算机可读存储介质上保存有程序,所述程序在计算机上执行时执行如权利要求1至7中任一项所述的基于VR/AR的用户操作方法。
CN202210044273.0A 2022-01-14 2022-01-14 一种基于vr/ar的用户操作方法、装置、系统及存储介质 Pending CN114546108A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210044273.0A CN114546108A (zh) 2022-01-14 2022-01-14 一种基于vr/ar的用户操作方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210044273.0A CN114546108A (zh) 2022-01-14 2022-01-14 一种基于vr/ar的用户操作方法、装置、系统及存储介质

Publications (1)

Publication Number Publication Date
CN114546108A true CN114546108A (zh) 2022-05-27

Family

ID=81672591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210044273.0A Pending CN114546108A (zh) 2022-01-14 2022-01-14 一种基于vr/ar的用户操作方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN114546108A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508644A (zh) * 2011-09-22 2012-06-20 Tcl集团股份有限公司 一种3d用户界面图形引擎架构
CN108140252A (zh) * 2016-09-08 2018-06-08 深圳市大富网络技术有限公司 一种方块动画的生成方法及相关设备
CN109271573A (zh) * 2018-10-19 2019-01-25 维沃移动通信有限公司 一种文件管理方法及vr设备
CN111921203A (zh) * 2020-08-21 2020-11-13 腾讯科技(深圳)有限公司 虚拟场景中的互动处理方法、装置、电子设备及存储介质
CN112789585A (zh) * 2019-06-07 2021-05-11 株式会社Celsys 书籍显示程序及书籍显示装置
CN113345083A (zh) * 2021-06-28 2021-09-03 中国平安财产保险股份有限公司 基于虚拟现实的产品展示方法、装置、电子设备及介质
US20210375052A1 (en) * 2017-12-28 2021-12-02 Sony Corporation Information processor, information processing method, and program
CN113867531A (zh) * 2021-09-30 2021-12-31 北京市商汤科技开发有限公司 交互方法、装置、设备及计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508644A (zh) * 2011-09-22 2012-06-20 Tcl集团股份有限公司 一种3d用户界面图形引擎架构
CN108140252A (zh) * 2016-09-08 2018-06-08 深圳市大富网络技术有限公司 一种方块动画的生成方法及相关设备
US20210375052A1 (en) * 2017-12-28 2021-12-02 Sony Corporation Information processor, information processing method, and program
CN109271573A (zh) * 2018-10-19 2019-01-25 维沃移动通信有限公司 一种文件管理方法及vr设备
CN112789585A (zh) * 2019-06-07 2021-05-11 株式会社Celsys 书籍显示程序及书籍显示装置
CN111921203A (zh) * 2020-08-21 2020-11-13 腾讯科技(深圳)有限公司 虚拟场景中的互动处理方法、装置、电子设备及存储介质
CN113345083A (zh) * 2021-06-28 2021-09-03 中国平安财产保险股份有限公司 基于虚拟现实的产品展示方法、装置、电子设备及介质
CN113867531A (zh) * 2021-09-30 2021-12-31 北京市商汤科技开发有限公司 交互方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN106873886B (zh) 一种立体显示的控制方法、装置和电子设备
CN109725956B (zh) 一种场景渲染的方法以及相关装置
CN110136236B (zh) 三维角色的个性化脸部显示方法、装置、设备及存储介质
CN108776544B (zh) 增强现实中的交互方法及装置、存储介质、电子设备
CN110322571B (zh) 一种页面处理方法、装置及介质
US20230405452A1 (en) Method for controlling game display, non-transitory computer-readable storage medium and electronic device
CN108170282A (zh) 用于控制三维场景的方法和装置
CN110377220A (zh) 一种指令响应方法、装置、存储介质及电子设备
KR20130104190A (ko) 캐릭터 화장을 제공하는 온라인 게임 제공 방법 및 그 시스템
CN115063518A (zh) 轨迹渲染方法、装置、电子设备及存储介质
CN108989268B (zh) 会话展示方法、装置和计算机设备
CN113440848A (zh) 游戏内信息标记方法、装置及电子装置
KR101809601B1 (ko) 애니메이션 제작 장치 및 방법
CN115220613A (zh) 一种事件提示处理方法、装置、设备及介质
CN112965773A (zh) 用于信息显示的方法、装置、设备和存储介质
CN112506465A (zh) 全景漫游中场景切换的方法和装置
CN108874141B (zh) 一种体感浏览方法和装置
CN114546108A (zh) 一种基于vr/ar的用户操作方法、装置、系统及存储介质
CN115624740A (zh) 一种虚拟现实设备及其控制方法、装置、系统及互动系统
CN115131477A (zh) 角色模型的形态调整方法、装置、处理设备及存储介质
CN114816457A (zh) 克隆虚拟模型的方法、装置、存储介质及电子装置
CN114942737A (zh) 显示方法、装置、显示设备、头戴式设备及存储介质
CN113515192A (zh) 用于可穿戴设备的信息处理方法、装置及可穿戴设备
CN113769403A (zh) 虚拟对象移动方法和装置、可读存储介质、电子设备
CN112449249A (zh) 视频流处理方法及装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220815

Address after: 518000 floor 3, building A2, No. 2072, Jincheng Road, Houxiang community, Shajing street, Bao'an District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Jihui Technology Co., Ltd.

Address before: 518000 a, floor 4, building A4, Shajing Industrial Company, Ho Xiang Road, Shajing street, Bao'an District, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN TATFOOK NETWORK TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right