CN117742478A - 信息显示方法、装置、设备和介质 - Google Patents
信息显示方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN117742478A CN117742478A CN202211124667.3A CN202211124667A CN117742478A CN 117742478 A CN117742478 A CN 117742478A CN 202211124667 A CN202211124667 A CN 202211124667A CN 117742478 A CN117742478 A CN 117742478A
- Authority
- CN
- China
- Prior art keywords
- peripheral device
- model
- information
- device model
- virtual space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000002093 peripheral effect Effects 0.000 claims abstract description 125
- 230000003993 interaction Effects 0.000 claims abstract description 48
- 230000006870 function Effects 0.000 claims description 44
- 238000004590 computer program Methods 0.000 claims description 19
- 230000002452 interceptive effect Effects 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 8
- 230000037007 arousal Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 238000003825 pressing Methods 0.000 description 5
- 230000001953 sensory effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000763 evoking effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000014860 sensory perception of taste Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供了一种信息显示方法、装置、设备和介质,其中方法包括:响应于虚拟空间的唤起指令,在虚拟空间中显示手部模型、外设装置模型以及外设装置模型按键关联的引导信息;响应于接收到的触发指令,控制手部模型触发外设装置模型上的目标按键,以执行与目标按键对应的交互功能;其中,触发指令是用户利用外设装置模型对应的真实外设装置发送的。本申请通过在虚拟空间中显示与外设装置模型按键对应的引导信息,使得用户能够基于显示的引导信息找到需要的交互功能,从而提高了人机交互效率。
Description
技术领域
本申请实施例涉及人机交互技术领域,尤其涉及一种信息显示方法、装置、设备和介质。
背景技术
扩展现实(Extended Reality,XR)设备是通过计算机技术和可穿戴设备产生的一个真实与虚拟结合,可人机交互的环境。并且,XR是虚拟现实(Virtual Reality,VR)、增强现实(Augmented Reality,AR)以及混合现实(Mix reality,MR)等多种虚拟技术的统称。
在使用XR设备时,通常需要配合着手柄或者手部控制器等外设装置一起使用。并且,首次使用外设装置与XR设备进行交互时,XR设备会向用户显示外设装置的新手引导画面,使得用户根据引导画面掌握外设装置上各按键关联的交互功能。
然而,因为引导画面仅在用户首次使用时显示,那么当用户没有掌握外设装置上任意按键关联的交互功能时,就不能再次通过引导画面进行学习,使得用户在使用外设装置与XR设备进行交互时,无法从外设装置上找到需要的交互功能,导致人机交互效率低下。
发明内容
本申请实施例提供一种信息显示方法、装置、设备和介质,通过在虚拟空间中显示与外设装置模型按键对应的引导信息,使得用户能够基于显示的引导信息找到需要的交互功能,从而提高了人机交互效率。
第一方面,本申请实施例提供了一种信息显示方法,包括:
响应于虚拟空间的唤起指令,在所述虚拟空间中显示手部模型、外设装置模型以及外设装置模型按键关联的引导信息;
响应于接收到的触发指令,控制所述手部模型触发所述外设装置模型上的目标按键,以执行与所述目标按键对应的交互功能;
其中,所述触发指令是用户利用所述外设装置模型对应的真实外设装置发送的。
第二方面,本申请实施例提供了一种信息显示装置,包括:
显示模块,用于响应于虚拟空间的唤起指令,在所述虚拟空间中显示手部模型、外设装置模型以及外设装置模型按键关联的引导信息;
响应模块,用于响应于接收到的触发指令,控制所述手部模型触发所述外设装置模型上的目标按键,以执行与所述目标按键对应的交互功能;
其中,所述触发指令是用户利用所述外设装置模型对应的真实外设装置发送的。
第三方面,本申请实施例提供了一种电子设备,包括:
处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,以执行第一方面实施例或其各实现方式中所述的信息显示方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,用于存储计算机程序,所述计算机程序使得计算机执行如第一方面实施例或其各实现方式中所述的信息显示方法。
第五方面,本申请实施例提供了一种包含程序指令的计算机程序产品,当所述程序指令在电子设备上运行时,使得所述电子设备执行如第一方面实施例或其各实现方式中所述的信息显示方法。
本申请实施例公开的技术方案,至少具有如下有益效果:
通过接收虚拟空间的唤起指令,以根据唤起指令在虚拟空间中显示手部模型、外设装置模型以及外设装置模型按键关联的引导信息;响应于接收到的触发指令,控制手部模型触发外设装置模型上的目标按键,以执行与目标按键对应的交互功能。本申请通过在虚拟空间中显示与外设装置模型按键对应的引导信息,使得用户能够基于显示的引导信息找到需要的交互功能,从而提高了人机交互效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种信息显示方法的流程示意图;
图2a是本申请实施例提供的左手手部模型示意图;
图2b是本申请实施例提供的右手手部模型示意图;
图3a是本申请实施例提供的左手手部模型握持左手柄模型的示意图;
图3b是本申请实施例提供的右手手部模型握持右手柄模型的示意图;
图4是本申请实施例提供的控制右手手部模型按压右手柄模型上的动作键A的示意图;
图5是本申请实施例提供的控制右手柄模型上的动作键A关联的引导信息不可见的示意图。
图6是本申请实施例提供的另一种信息显示方法的流程示意图;
图7a是本申请实施例提供的以气泡结合软连接线的显示样式,显示右手柄模型按键的引导信息示意图;
图7b是本申请实施例提供的以气泡的显示样式,显示右手柄模型按键的引导信息示意图;
图7c是本申请实施例提供的以引导弹窗的显示样式,显示右手柄模型上各按键标识信息与引导信息之间的映射关系示意图;
图8是本申请实施例提供的再一种信息显示方法的流程示意图;
图9a-9e是本申请实施例提供的显示手柄模型逐渐消失的消失动画示意图;
图10是本申请实施例提供的一种信息显示装置的示意性框图;
图11是本申请实施例提供的一种电子设备的示意性框图;
图12是本申请实施例提供的一种电子设备为HMD的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。根据本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请适用于人机互动场景,目前用户首次使用手柄或者手部控制器等外设装置与提供虚拟空间的XR设备等电子设备进行交互时,电子设备会向用户显示外设装置的新手引导画面,使得用户根据引导画面能够掌握外设装置上各按键关联的交互功能。然而,因为引导画面仅在用户首次使用时显示,那么一旦用户没有掌握外设装置上任意按键关联的交互功能时,则不能再次通过引导画面进行学习,使得用户使用外设装置与电子设备进行交互时,无法从外设装置上找到需要的交互功能,导致人机交互效率低下。为此,本申请设计了一种信息显示方案,以通过该方案可以帮助用户快速找到需要的交互功能,从而提高人机交互效率。
为了便于理解本申请实施例,在描述本申请各个实施例之前,首先对本申请所有实施例中所涉及到的一些概念进行适当的解释说明,具体如下:
1)虚拟现实(Virtual Reality,简称为VR),创建和体验虚拟世界的技术,计算生成一种虚拟环境,是一种多源信息(本文中提到的虚拟现实至少包括视觉感知,此外还可以包括听觉感知、触觉感知、运动感知,甚至还包括味觉感知、嗅觉感知等),实现虚拟环境的融合的、交互式的三维动态视景和实体行为的仿真,使用户沉浸到模拟的虚拟现实环境中,实现在诸如地图、游戏、视频、教育、医疗、模拟、协同训练、销售、协助制造、维护和修复等多种虚拟环境的应用。
2)虚拟现实设备(VR设备),实现虚拟现实效果的终端,通常可以提供为眼镜、头盔式显示器(Head Mount Display,简称为HMD)、隐形眼镜的形态,以用于实现视觉感知和其他形式的感知,当然虚拟现实设备实现的形态不限于此,根据实际需要可以进一步小型化或大型化。
可选的,本申请实施例中记载的虚拟现实设备可以包括但不限于如下几个类型:
2.1)电脑端虚拟现实(PCVR)设备,利用PC端进行虚拟现实功能的相关计算以及数据输出,外接的电脑端虚拟现实设备利用PC端输出的数据实现虚拟现实的效果。
2.2)移动虚拟现实设备,支持以各种方式(如设置有专门的卡槽的头戴式显示器)设置移动终端(如智能手机),通过与移动终端有线或无线方式的连接,由移动终端进行虚拟现实功能的相关计算,并输出数据至移动虚拟现实设备,例如通过移动终端的APP观看虚拟现实视频。
2.3)一体机虚拟现实设备,具备用于进行虚拟功能的相关计算的处理器,因而具备独立的虚拟现实输入和输出的功能,不需要与PC端或移动终端连接,使用自由度高。
3)增强现实(Augmented Reality,AR):一种在相机采集图像的过程中,实时地计算相机在现实世界(或称三维世界、真实世界)中的相机姿态参数,根据该相机姿态参数在相机采集的图像上添加虚拟元素的技术。虚拟元素包括但不限于:图像、视频和三维模型。AR技术的目标是在屏幕上把虚拟世界套接在现实世界上进行互动。
4)混合现实(Mixed Reality,简称为:MR):将计算机创建的感官输入(例如,虚拟对象)与来自物理布景的感官输入或其表示集成的模拟布景,一些MR布景中,计算机创建的感官输入可以适应于来自物理布景的感官输入的变化。另外,用于呈现MR布景的一些电子系统可以监测相对于物理布景的取向和/或位置,以使虚拟对象能够与真实对象(即来自物理布景的物理元素或其表示)交互。例如,系统可监测运动,使得虚拟植物相对于物理建筑物看起来是静止的。
5)扩展现实(Extended Reality,简称XR)是指由计算机技术和可穿戴设备生成的所有真实和虚拟组合环境以及人机交互,其包含了虚拟现实(VR)、增强现实(AR)以及混合现实(MR)等多种形式。
6)虚拟场景,是应用程序在电子设备上运行时显示(或提供)的虚拟场景。该虚拟场景可以是对真实世界的仿真环境,也可以是半仿真半虚构的虚拟场景,还可以是纯虚构的虚拟场景。虚拟场景可以是二维虚拟场景、2.5维虚拟场景或者三维虚拟场景中的任意一种,本申请实施例对虚拟场景的维度不加以限定。例如,虚拟场景可以包括天空、陆地、海洋等,该陆地可以包括沙漠、城市等环境元素,用户可以控制虚拟对象在该虚拟场景中进行移动。
7)虚拟对象,是虚拟场景中进行交互的对象,受到用户或机器人程序(例如,基于人工智能的机器人程序)的控制,能够在虚拟场景中静止、移动以及进行各种行为的对象,例如游戏中的各种角色等。
在介绍了本申请实施例涉及到的一些概念之后,下面结合附图对本申请实施例提供的一种信息显示方法进行具体说明。
图1是本申请实施例提供的一种信息显示方法的流程示意图。本申请实施例适用于人机交互场景,该信息显示方法可由信息显示装置来执行。该信息显示装置可由硬件和/或软件组成,并可集成于电子设备中。
在本申请实施例中,电子设备可以是任意能够向用户提供虚拟空间的硬件设备。例如,电子设备可选为XR设备或者其他设备等。其中该XR设备可以为VR设备、AR设备或者MR设备等。需要说明的,本申请主要以电子设备为XR设备为例进行说明。
如图1所示,该方法可以包括以下步骤:
S101,响应于虚拟空间的唤起指令,在虚拟空间中显示手部模型、外设装置模型以及外设装置模型按键关联的引导信息。
其中,虚拟空间是指XR设备向用户提供的一种虚实结合环境。
在本实施例中,手部模型,是根据用户的真实手部构建的虚拟手部模型。
外设装置模型,是根据用户在现实空间中双手握持的真实外设装置构建的虚拟模型。
并且,上述手部模型和外设装置模型是事先创建好并配置于虚拟空间中。
需要说明的是,本申请中外设装置模型的机型需要与用户在现实空间中双手握持的真实外设装置机型始终保持一致。即,预先根据与XR设备适配的外设装置机型,在虚拟空间中创建不同机型的外设装置模型,从而后续使用时可根据真实外设装置机型调用对应的外设装置模型,以提高对不同机型外设装置的使用兼容性。
在本申请实施例中,引导信息用于引导用户对外设装置模型按键进行操作,以定位人机交互时需要的交互功能。
考虑到外设装置可以是手柄或者手部控制器等硬件设备,并且手柄或者手部控制器等外设装置的使用原理基本类似。因此,为了便于说明本申请提供的技术方案,下面将以外设装置为手柄为例进行具体说明。
具体的,用户使用手柄与XR设备进行交互时,XR设备首先识别与自身建立通信连接的手柄机型。进而,当用户通过按压或点击等方式,向XR设备发送虚拟空间唤起指令时,XR设备可根据接收到的虚拟空间唤起指令,唤起虚拟空间。并且,在该虚拟空间中显示事先创建好的手部模型、与手柄机型相同的手柄模型,以及手柄模型按键关联的引导信息,以为后续用户基于显示的引导信息控制手柄模型执行不同交互功能奠定基础。
其中,XR设备识别与自身建立通信连接的手柄机型,可通过向建立通信连接的手柄发送机型信息获取指令,使得手柄能够将自身的机型信息发送给XR设备。进而,XR设备根据接收到机型信息确定与自身建立通信连接的手柄机型。
进一步的,本申请通过按压或者点击等方式发送虚拟空间唤起指令,可以通过如下方式实现:
方式一,用户借助手柄,控制光标或焦点点击XR设备显示屏的预设唤起区域。
其中,预设唤起区域可以是显示屏的任意区域,比如中心区域,左上顶点区域等,此处对其不做具体限制。
方式二,用户通过真实手部按压手柄上的唤起按键。
其中,唤起按键可以是手柄上的任意按键,比如唤起按键为按键1;或者按键1+按键2等,此处对其不做具体限制。
方式三,用户通过真实手部按压XR设备上的唤起按键。
其中,唤起按键可以是XR设备上的任意物理按键,比如开机键等,此处对其不做具体限制。
需要说明的是,上述发送虚拟空间唤起指令的方式仅为示例性的,不作为对本申请的具体限制。
在本申请实施例中,在虚拟空间中显示的手部模型,包括左手手部模型和右手手部模型。其中,左手手部模型,如图2a所示;右手手部模型,如图2b所示。
手柄模型,包括左手柄模型和右手柄模型,并且左手手部模型握持着左手柄模型,相应的右手手部模型握持着右手柄模型,具体如图3a和3b所示。其中,左手柄模型和右手柄模型上的按键关联有对应的引导信息。
S102,响应于接收到的触发指令,控制手部模型触发外设装置模型上的目标按键,以执行与目标按键对应的交互功能。
其中,触发指令是用户利用外设装置模型对应的真实外设装置发送的。
在本申请实施例中,目标按键可以是手柄模型上的任意按键,比如扳机键、菜单键和/或握持键等,此处对其不做具体限制。
在显示出外设装置模型按键关联的引导信息之后,用户可基于显示的引导信息确定出手柄上各按键关联的交互功能。进而,根据交互需求,用户可基于引导信息通过真实手部触发手柄上的任意按键,向XR设备发送触发指令。当XR设备接收到手柄发送的触发指令时,通过对触发指令进行解析,以确定该触发指令是由手柄上的哪一按键发送的。然后,根据确定出的按键,控制手部模型触发手柄模型上的相同按键,即触发目标按键,以执行与该目标按键对应的交互功能。
其中,控制手部模型触发手柄模型上的按键时,根据真实手部触发该按键时的手指控制手部模型上对应手指弯曲,以展现按压按键的效果。并且,在按压手柄模型上的按键后,手柄模型上的按键呈现高亮状态,使得用户可以直观看到手柄模型上的目标按键处于按压状态。
示例性的,如图4所示,假设用户通过右手按压右手柄上的摇杆向XR设备发送触发指令,使得XR设备根据该触发指令控制虚拟空间中的右手手部模型在握持着右手柄模型的基础上,通过大拇指按压右手柄模型上的摇杆,以执行上下推动切换房间功能。
本申请提供的信息显示方法,通过接收虚拟空间的唤起指令,以根据唤起指令在虚拟空间中显示手部模型、外设装置模型以及外设装置模型按键关联的引导信息;响应于接收到的触发指令,控制手部模型触发外设装置模型上的目标按键,以执行与目标按键对应的交互功能。本申请通过在虚拟空间中显示与外设装置模型按键对应的引导信息,使得用户能够基于显示的引导信息找到需要的交互功能,从而提高了人机交互效率。
在上述实施例的基础上,本申请在执行与目标按键对应的交互功能之后,可选的还包括:在虚拟空间中不显示目标按键关联的引导信息。
考虑到显示的引导信息可能会遮挡显示界面中的部分画面内容,因此当手柄模型上的任意按键关联的引导信息完成引导后,即用户按压了该引导信息对应的按键后,控制该引导信息消失,从而减少画面内容的遮挡情况。
示例性的,如图5示,假设用户通过右手按压右手柄上摇杆,控制右手手部模型上的大拇指按压右手柄模型上的摇杆,以执行上下推动切换房间功能之后,XR设备即可控制该摇杆关联的上下推动切换房间的引导信息不可见,即完成上下推动切换房间引导之后该上下推动切换房间引导信息消失。
通过上述描述可知,本申请通过在虚拟空间中显示外设装置模型按键关联的引导信息,使得用户能够基于引导信息快速找到需要的交互功能,进而与XR设备进行交互操作。
下面结合图6,对本申请实施例中,在虚拟空间中显示外设装置模型按键关联的引导信息过程进行具体说明。
如图6所示,该方法可以包括以下步骤:
S201,接收虚拟空间的唤起指令。
S202,确定引导信息的目标显示样式。
其中,显示样式,具体为引导信息的显示属性。
具体的,本申请实施例中引导信息的目标显示样式,包括:气泡样式、气泡结合软连接线样式,或者引导窗口样式等形状样式。
除了上述形状样式之外,还可以包括引导信息的显示颜色和字体等,此处对其不做具体限制。
具体的,本申请确定引导信息的目标显示样式时,可包括如下情况:
情况一,按照随机选取的方式,从显示样式库中选择一显示样式作为目标显示样式。
其中,显示样式库可以预先配置于XR设备中,以便于XR设备从显示样式库中选取目标显示样式。并且,该显示样式库还可定期更新,以向用户提供更多样化样式的引导信息。
情况二,根据用户发送的显示样式设置指令,生成对应的目标显示样式。
具体的,用户可根据个性化需求,在引导信息配置界面,设置自己喜欢的显示样式。进而,XR设备在虚拟空间中显示手柄模型按键关联的引导信息时,根据用户设置的显示样式,在虚拟空间中显示外设装置模型按键关联的引导信息。
需要说明的是,除了上述两种确定显示样式之外,还可以通过其他方式确定,比如将XR设备系统中的默认显示样式作为目标显示样式等,此处对其不做具体限制。
S203,根据目标显示样式,在虚拟空间中显示外设装置模型按键关联的引导信息、手部模型以及外设装置模型。
具体的,确定出目标显示样式后,本申请即可根据确定出的目标显示样式,在虚拟空间中显示外设装置模型按键关联的引导信息、手柄模型以及手柄模型。
示例性的,如果目标显示样式为气泡结合软连接线样式,那么在虚拟空间中显示的右手手部模型、右手柄模型以及右手柄模型按键的引导信息,如图7a所示。
示例性的,如果目标显示样式为气泡样式,那么在虚拟空间中显示的右手手部模型,右手柄模型以及右手柄模型按键的引导信息,如图7b所示。
作为一种可选的实现方式,如果确定的显示样式为引导弹窗样式,则本申请根据显示样式,在虚拟空间中显示外设装置模型按键关联的引导信息,包括如下步骤:
S11、确定外设装置模型按键的标识信息,以及与标识信息关联的引导信息。
S12、根据外设装置模型按键的标识信息,以及与标识信息关联的引导信息,构建标识信息与引导信息之间的映射关系。
S13、在引导弹窗中,显示标识信息与引导信息之间的映射关系。
具体如图7c所示,如果显示样式为引导弹窗,那么可在引导弹窗中显示标识信息与引导信息之间的映射关系。
S204,响应于接收到的触发指令,控制手部模型触发外设装置模型上的目标按键,以执行与目标按键对应的交互功能。
其中,触发指令是用户利用外设装置模型对应的真实外设装置发送的。
本申请提供的信息显示方法,通过接收虚拟空间的唤起指令,以根据唤起指令在虚拟空间中显示手部模型、外设装置模型以及外设装置模型按键关联的引导信息;响应于接收到的触发指令,控制手部模型触发外设装置模型上的目标按键,以执行与目标按键对应的交互功能。本申请通过在虚拟空间中显示与外设装置模型按键对应的引导信息,使得用户能够基于显示的引导信息找到需要的交互功能,从而提高了人机交互效率。此外,通过确定引导信息的目标显示样式,并根据目标显示样式,在虚拟空间中显示引导信息,能够增加引导信息的展现样式以及展示趣味性,从而满足用户个性化需求。
在具体实现过程中,考虑到在虚拟空间中一直显示状态外设装置模型,以及外设装置模型按键关联的引导信息,可能遮挡显示界面中的显示内容。因此,本申请还在外设装置模型按键关联的引导信息均完成引导操作时,控制所述外设装置模型执行消失操作,使得显示界面能够显示相对完整的显示内容,提升用户观看体验。下面结合图8,对本申请实施例提供的控制外设装置模型执行消失操作进行具体说明。
如图8所示,该方法可包括如下步骤:
S301,响应于虚拟空间的唤起指令,在虚拟空间中显示手部模型、外设装置模型以及外设装置模型按键关联的引导信息。
S302,响应于接收到的触发指令,控制手部模型触发外设装置模型上的目标按键,以执行与目标按键对应的交互功能。
其中,触发指令是用户利用外设装置模型对应的真实外设装置发送的。
S303,确定所有引导信息是否均完成引导操作,如果是,则执行S304,否则返回执行S302。
具体的,每当控制手部模型触发手柄模型上的一个目标按键之后,本申请就会统计一次哪些引导信息完成了引导操作。进而,分析是否所有引导信息均完成了引导操作。如果分析出还有未完成引导操作的引导信息,则继续执行统计操作。如果分析出已经没有未完成引导操作的引导信息,则确定手柄模型按键关联的引导信息均完成了引导操作,说明可执行手柄模型消失操作,以减少显示内容的遮挡情况。
S304,如果所有引导信息均完成引导操作,则控制外设装置模型执行消失操作,并控制真实外设装置输出震动反馈。
在本申请实施例中,控制手柄模型执行消失操作,具体为显示手柄模型逐渐消失的消失动画,例如如图9a-9e所示。其中,手柄模型逐渐消失的消失效果,通过将手柄模型幻化成粒子,并控制粒子像一缕云烟一样逐渐消失,从而在虚拟空间中仅剩手部模型。当然本申请还可通过其他消失效果,控制手柄模型消失,此处对其不做具体限制。
并且,本申请在控制手柄模型执行消失操作时,还可控制用户真实手部握持的真实手柄向用户输出震动反馈,使得用户能够通过视觉以及触觉感知到手柄模型的消失过程,从而进一步增加沉浸式体验。
其中,真实手柄向用户输出震动反馈时,可控制手柄中马达强震一次,或者按照手柄模型的消失过程,控制手柄中的马达从强震逐渐减弱,直至停止等。
需要说明的是,如果手柄模型消失之后,用户想要再次使用手柄模型进行人机交互时,可通过执行手柄模型调起操作,使得在虚拟空间中显示手柄模型以及手柄模型按键关联的引导信息,从而快速定位出想要的交互功能。
其中,手柄模型调起操作可以是通过调起手势或者按压真实手柄上的调起按键,比如握持键等实现,此处对其不做限制。
本申请提供的信息显示方法,通过接收虚拟空间的唤起指令,以根据唤起指令在虚拟空间中显示手部模型、外设装置模型以及外设装置模型按键关联的引导信息;响应于接收到的触发指令,控制手部模型触发外设装置模型上的目标按键,以执行与目标按键对应的交互功能。本申请通过在虚拟空间中显示与外设装置模型按键对应的引导信息,使得用户能够基于显示的引导信息找到需要的交互功能,从而提高了人机交互效率。此外,当所有引导信息均完成引导操作之后,控制外设装置模型执行消失操作,使得显示界面能够显示相对完整的显示内容,提升用户观看体验。
下面参照附图10,对本申请实施例提出的一种信息显示装置进行描述。图10是本申请实施例提供的一种信息显示装置的示意性框图。
如图10所示,该信息显示装置400包括:显示模块410和响应模块420。
其中,显示模块410,用于响应于虚拟空间的唤起指令,在所述虚拟空间中显示手部模型、外设装置模型以及外设装置模型按键关联的引导信息;
响应模块420,用于响应于接收到的触发指令,控制所述手部模型触发所述外设装置模型上的目标按键,以执行与所述目标按键对应的交互功能;
其中,所述触发指令是用户利用所述外设装置模型对应的真实外设装置发送的。
本申请实施例的一种可选实现方式,显示模块410,包括:确定单元和显示单元;
其中,确定单元,用于确定所述引导信息的目标显示样式;
显示单元,用于根据所述目标显示样式,在所述虚拟空间中显示外设装置模型按键关联的引导信息。
本申请实施例的一种可选实现方式,所述引导信息的目标显示样式,包括:
气泡样式;
或者,
气泡结合软连接线样式;
或者,
引导窗口样式。
本申请实施例的一种可选实现方式,如果所述目标显示样式为引导弹窗样式,则显示单元,具体用于:
确定所述外设装置模型按键的标识信息,以及与所述标识信息关联的引导信息;
根据所述外设装置模型按键的标识信息,以及与所述标识信息关联的引导信息,构建标识信息与引导信息之间的映射关系;
在所述引导弹窗中,显示所述标识信息与引导信息之间的映射关系。
本申请实施例的一种可选实现方式,装置400,还包括:
处理模块,用于在所述虚拟空间中,不显示所述目标按键关联的引导信息。
本申请实施例的一种可选实现方式,装置400,还包括:
确定模块,用于确定所有引导信息是否均完成引导操作;
处理模块,具体用于如果所有引导信息均完成引导操作,则控制所述外设装置模型执行消失操作,并控制真实外设装置输出震动反馈。
本申请实施例的一种可选实现方式,处理模块,还用于:
显示所述外设装置模型逐渐消失的消失动画。
本申请实施例提供的信息显示装置,通过接收虚拟空间的唤起指令,以根据唤起指令在虚拟空间中显示手部模型、外设装置模型以及外设装置模型按键关联的引导信息;响应于接收到的触发指令,控制手部模型触发外设装置模型上的目标按键,以执行与目标按键对应的交互功能。本申请通过在虚拟空间中显示与外设装置模型按键对应的引导信息,使得用户能够基于显示的引导信息找到需要的交互功能,从而提高了人机交互效率。
应理解的是,装置实施例与前述方法实施例可以相互对应,类似的描述可以参照方法实施例。为避免重复,此处不再赘述。具体地,图10所示的装置400可以执行图1对应的方法实施例,并且装置400中的各个模块的前述和其它操作和/或功能分别为了实现图1中的各个方法中的相应流程,为了简洁,在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的装置400。应理解,该功能模块可以通过硬件形式实现,也可以通过软件形式的指令实现,还可以通过硬件和软件模块组合实现。具体地,本申请实施例中的第一方面方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成,结合本申请实施例公开的第一方面方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。可选地,软件模块可以位于随机存储器,闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述第一方面方法实施例中的步骤。
图11是本申请实施例提供的一种电子设备的示意性框图。如图11所示,该电子设备500可包括:
存储器510和处理器520,该存储器510用于存储计算机程序,并将该程序代码传输给该处理器520。换言之,该处理器520可以从存储器510中调用并运行计算机程序,以实现本申请实施例中的信息显示方法。
例如,该处理器520可用于根据该计算机程序中的指令执行上述信息显示方法实施例。
在本申请的一些实施例中,该处理器520可以包括但不限于:
通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本申请的一些实施例中,该存储器510包括但不限于:
易失性存储器和/或非易失性存储器。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。
在本申请的一些实施例中,该计算机程序可以被分割成一个或多个模块,该一个或者多个模块被存储在该存储器510中,并由该处理器520执行,以完成本申请提供的信息显示方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述该计算机程序在该电子设备中的执行过程。
如图11所示,该电子设备500还可包括:
收发器530,该收发器530可连接至该处理器520或存储器510。
其中,处理器520可以控制该收发器530与其他设备进行通信,具体地,可以向其他设备发送信息或数据,或接收其他设备发送的信息或数据。收发器530可以包括发射机和接收机。收发器530还可以进一步包括天线,天线的数量可以为一个或多个。
应当理解,该电子设备中的各个组件通过总线系统相连,其中,总线系统除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。
本申请实施例中的,当电子设备为HMD时,本申请实施例提供了一种HMD的示意性框图,如图12所示。
如图12所示,该HMD600的主要功能模块可以包括但不限于以下:检测模块610、反馈模块620、传感器630、控制模块640、建模模块650。
其中,检测模块610被配置为使用各种传感器检测用户的操作命令,并作用于虚拟环境,如跟随用户的视线而不断更新在显示屏上显示的影像,实现用户与虚拟场景的交互。
反馈模块620被配置为接收来自传感器的数据,为用户提供实时反馈。例如,反馈模块620可以根据用户操作数据生成反馈指令,并输出该反馈指令。
传感器630一方面被配置为接受来自用户的操作命令,并将其作用于虚拟环境;另一方面被配置为将操作后产生的结果以各种反馈的形式提供给用户。
控制模块640被配置为对传感器和各种输入/输出装置进行控制,包括获得用户的数据如动作、语音等和输出感知数据,如图像、振动、温度和声音等,对用户、虚拟环境和现实世界产生作用。例如,控制模块640可以获取用户手势、语音等。
建模模块650被配置为构造虚拟环境的三维模型,还可以包括三维模型中的声音、触感等各种反馈机制。
应当理解,该HMD600中的各个功能模块通过总线系统相连,其中,总线系统除包括数据总线之外,还包括电源总线、控制总线和状态信号总线等。
本申请还提供了一种计算机存储介质,其上存储有计算机程序,该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。
本申请实施例还提供一种包含程序指令的计算机程序产品,当所述程序指令在电子设备上运行时,使得所述电子设备执行上述方法实施例的方法。
当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以该权利要求的保护范围为准。
Claims (11)
1.一种信息显示方法,其特征在于,包括:
响应于虚拟空间的唤起指令,在所述虚拟空间中显示手部模型、外设装置模型以及外设装置模型按键关联的引导信息;
响应于接收到的触发指令,控制所述手部模型触发所述外设装置模型上的目标按键,以执行与所述目标按键对应的交互功能;
其中,所述触发指令是用户利用所述外设装置模型对应的真实外设装置发送的。
2.根据权利要求1所述的方法,其特征在于,在所述虚拟空间中显示外设装置模型按键关联的引导信息,包括:
确定所述引导信息的目标显示样式;
根据所述目标显示样式,在所述虚拟空间中显示外设装置模型按键关联的引导信息。
3.根据权利要求2所述的方法,其特征在于,所述引导信息的目标显示样式,包括:
气泡样式;
或者,
气泡结合软连接线样式;
或者,
引导窗口样式。
4.根据权利要求3所述的方法,其特征在于,如果所述目标显示样式为引导弹窗样式,则根据所述目标显示样式,在所述虚拟空间中显示外设装置模型按键关联的引导信息,包括:
确定所述外设装置模型按键的标识信息,以及与所述标识信息关联的引导信息;
根据所述外设装置模型按键的标识信息,以及与所述标识信息关联的引导信息,构建标识信息与引导信息之间的映射关系;
在所述引导弹窗中,显示所述标识信息与引导信息之间的映射关系。
5.根据权利要求1所述的方法,其特征在于,执行与所述目标按键对应的交互功能之后,还包括:
在所述虚拟空间中,不显示所述目标按键关联的引导信息。
6.根据权利要求1-5任一项所述的方法,其特征在于,还包括:
确定所有引导信息是否均完成引导操作;
如果所有引导信息均完成引导操作,则控制所述外设装置模型执行消失操作,并控制真实外设装置输出震动反馈。
7.根据权利要求6所述的方法,其特征在于,控制所述外设装置模型执行消失操作,包括:
显示所述外设装置模型逐渐消失的消失动画。
8.一种信息显示装置,其特征在于,包括:
显示模块,用于响应于虚拟空间的唤起指令,在所述虚拟空间中显示手部模型、外设装置模型以及外设装置模型按键关联的引导信息;
响应模块,用于响应于接收到的触发指令,控制所述手部模型触发所述外设装置模型上的目标按键,以执行与所述目标按键对应的交互功能;
其中,所述触发指令是用户利用所述外设装置模型对应的真实外设装置发送的。
9.一种电子设备,其特征在于,包括:
处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,以执行如权利要求1至7中任一项所述的信息显示方法。
10.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序使得计算机执行如权利要求1至7中任一项所述的信息显示方法。
11.一种包含程序指令的计算机程序产品,其特征在于,当所述程序指令在电子设备上运行时,使得所述电子设备执行如权利要求1至7中任一项所述的信息显示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211124667.3A CN117742478A (zh) | 2022-09-15 | 2022-09-15 | 信息显示方法、装置、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211124667.3A CN117742478A (zh) | 2022-09-15 | 2022-09-15 | 信息显示方法、装置、设备和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117742478A true CN117742478A (zh) | 2024-03-22 |
Family
ID=90253244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211124667.3A Pending CN117742478A (zh) | 2022-09-15 | 2022-09-15 | 信息显示方法、装置、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117742478A (zh) |
-
2022
- 2022-09-15 CN CN202211124667.3A patent/CN117742478A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108038726B (zh) | 物品展示方法及装置 | |
CN115509361B (zh) | 虚拟空间交互方法、装置、设备和介质 | |
US20230405475A1 (en) | Shooting method, apparatus, device and medium based on virtual reality space | |
WO2019166005A1 (zh) | 智能终端及其感控方法、具有存储功能的装置 | |
CN112965773B (zh) | 用于信息显示的方法、装置、设备和存储介质 | |
CN112987924A (zh) | 用于设备交互的方法、装置、设备和存储介质 | |
CN117742478A (zh) | 信息显示方法、装置、设备和介质 | |
CN115624740A (zh) | 一种虚拟现实设备及其控制方法、装置、系统及互动系统 | |
CN117742554A (zh) | 人机交互方法、装置、设备和介质 | |
CN117742555A (zh) | 控件交互方法、装置、设备和介质 | |
CN112558759A (zh) | 基于教育的vr交互方法、交互开发平台和存储介质 | |
CN117742479A (zh) | 人机交互方法、装置、设备和介质 | |
CN118131892A (zh) | 虚拟互动方法、装置、设备和介质 | |
CN118534998A (zh) | 虚拟互动方法、装置、设备和介质 | |
CN117666769A (zh) | 虚拟场景的交互方法、装置、存储介质及设备 | |
CN118012265A (zh) | 人机交互方法、装置、设备和介质 | |
CN117555416A (zh) | 手势控制方法、装置、设备和介质 | |
CN117850655A (zh) | 信息输入方法、装置、设备和介质 | |
CN117369622A (zh) | 虚拟对象的控制方法、装置、设备及介质 | |
WO2024193544A1 (zh) | 虚拟对象的编辑方法、装置、设备、介质和程序 | |
US20240177435A1 (en) | Virtual interaction methods, devices, and storage media | |
CN117369677A (zh) | 光标位置的确定方法、装置、设备及介质 | |
CN117850606A (zh) | 信息输入方法、装置、设备和介质 | |
CN118051155A (zh) | 虚拟空间中文本选区的调整方法、装置、设备和介质 | |
CN117666852A (zh) | 虚拟现实空间中的目标对象确定方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |