CN118012265A - 人机交互方法、装置、设备和介质 - Google Patents
人机交互方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN118012265A CN118012265A CN202410177972.1A CN202410177972A CN118012265A CN 118012265 A CN118012265 A CN 118012265A CN 202410177972 A CN202410177972 A CN 202410177972A CN 118012265 A CN118012265 A CN 118012265A
- Authority
- CN
- China
- Prior art keywords
- layer
- virtual control
- touch
- virtual
- touch operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 183
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000004044 response Effects 0.000 claims abstract description 122
- 230000002452 interceptive effect Effects 0.000 claims abstract description 45
- 230000000694 effects Effects 0.000 claims abstract description 22
- 230000015654 memory Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 2
- 238000003825 pressing Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000001960 triggered effect Effects 0.000 description 9
- 230000008447 perception Effects 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 230000001953 sensory effect Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001339 gustatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供了一种人机交互方法、装置、设备和介质,其中方法包括:在虚拟空间内显示至少一个交互对象,每个交互对象包括至少一个虚拟控件,每个虚拟控件包括至少两个响应层;根据针对任一虚拟控件的触控操作,确定触控操作的实时操作位置;确定触控操作的实时操作位置位于虚拟控件的任一响应层时,控制虚拟控件执行响应层关联的交互事件。本申请可以提高用户与虚拟控件之间的交互精准度,使得用户与虚拟控件之间的交互更为自然和逼真,可以提高用户与虚拟场景的互动效果。
Description
技术领域
本申请实施例涉及人机交互技术领域,尤其涉及一种人机交互方法、装置、设备和介质。
背景技术
目前,电子设备可以向用户提供各种各样的虚拟场景,使得用户能够在虚拟场景中进行沉浸式体验。其中,虚拟场景是通过计算机技术和数字模拟技术,模拟产生一个三维空间的虚拟世界。
为了便于用户与虚拟场景进行交互,通常会在虚拟场景内设置虚拟控件,诸如在虚拟场景内的虚拟对象上设置虚拟控件等,以此来满足用户与虚拟场景的各种互动需求。传统利用虚拟控件来与虚拟场景进行交互时,通常是用户按压虚拟控件之后随即松开,来触发执行该虚拟控件关联的交互事件。但是,这种交互方式依赖于用户手势数据或手柄等交互器数据,那么当获取到的用户手势数据或交互器数据存在误差时,会导致与虚拟控件之间的交互出现误判,造成与虚拟场景的互动效果较差。
发明内容
本申请实施例提供一种人机交互方法、装置、设备和介质,可以提高用户与虚拟控件之间的交互精准度,使得用户与虚拟控件之间的交互更为自然和逼真,可以提高用户与虚拟场景的互动效果。
第一方面,本申请实施例提供了一种人机交互方法,包括:
在虚拟空间内显示至少一个交互对象,每个所述交互对象包括至少一个虚拟控件,每个所述虚拟控件包括至少两个响应层;
根据针对任一所述虚拟控件的触控操作,确定所述触控操作的实时操作位置;
确定所述触控操作的实时操作位置位于所述虚拟控件的任一响应层时,控制所述虚拟控件执行所述响应层关联的交互事件。
第二方面,本申请实施例提供了一种人机交互装置,包括:
显示模块,用于在虚拟空间内显示至少一个交互对象,每个所述交互对象包括至少一个虚拟控件,每个所述虚拟控件包括至少两个响应层;
确定模块,用于根据针对任一所述虚拟控件的触控操作,确定所述触控操作的实时操作位置;
控制模块,用于确定所述触控操作的实时操作位置位于所述虚拟控件的任一响应层时,控制所述虚拟控件执行所述响应层关联的交互事件。
第三方面,本申请实施例提供了一种电子设备,包括:
处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,以执行如第一方面实施例或其各实现方式中所述的人机交互方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,用于存储计算机程序,所述计算机程序使得计算机执行如第一方面实施例或其各实现方式中所述的人机交互方法。
第五方面,本申请实施例提供了一种包含程序指令的计算机程序产品,当所述程序指令在电子设备上运行时,使得所述电子设备执行如第一方面实施例或其各实现方式中所述的人机交互方法。
本申请实施例公开的技术方案,通过对显示在虚拟空间内的交互对象上的每个虚拟控件设置多个响应层,使得用户通过触控操作来与任一虚拟控件进行交互时,根据该触控操作所在响应层,来控制虚拟控件执行该响应层关联的交互事件,从而可以提高用户与虚拟控件之间的交互精准度,使得用户与虚拟控件之间的交互更为自然和逼真,提高用户与虚拟场景的互动效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种人机交互方法的流程图;
图2为本申请实施例提供的一种预设交互手势的示意图;
图3a为本申请实施例提供的一种正向输入触控操作的示意图;
图3b为本申请实施例提供的一种侧向输入触控操作的示意图;
图4a为本申请实施例提供的一种在虚拟控件的立体壳体内部署响应层的示意图;
图4b为本申请实施例提供的一种在二维平面结构的虚拟控件上部署响应层的示意图;
图5为本申请实施例提供的另一种人机交互方法的流程图;
图6a为本申请实施例提供的另一种在虚拟控件的立体壳体内部署响应层的示意图;
图6b为本申请实施例提供的另一种在二维平面结构的虚拟控件上部署响应层的示意图;
图7为本申请实施例提供的再一种人机交互方法的流程图;
图8为本申请实施例提供的一种在触控开始层显示触控操作层的示意图;
图9a为本申请实施例提供的再一种在虚拟控件的立体壳体内部署响应层的示意图;
图9b为本申请实施例提供的再一种在二维平面结构的虚拟控件上部署响应层的示意图;
图10为本申请实施例提供的又一种人机交互方法的流程图;
图11为本申请实施例提供的一种设置触控取消区域的正视图;
图12a为本申请实施例提供的又一种在虚拟控件的立体壳体内部署响应层的示意图;
图12b为本申请实施例提供的又一种在二维平面结构的虚拟控件上部署响应层的示意图;
图13为本申请实施例提供的又一人机交互方法的流程图;
图14为本申请实施例提供的一种虚拟控件内设置多个响应层的结构示意图;
图15为本申请实施例提供的一种人机交互装置的示意性框图;
图16为本申请实施例提供的一种电子设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。根据本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明,本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或方案不应被解释为比其它实施例或方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,除了另有说明,“多个”是指两个或两个以上,即至少两个。“至少一个”是指一个或一个以上。
为了便于理解本申请实施例,在描述本申请各个实施例之前,首先对本申请所有实施例中所涉及到的一些概念进行适当的解释说明,具体如下:
1)虚拟现实(Virtual Reality,简称为VR),创建和体验虚拟世界的技术,确定生成一种虚拟环境,是一种多源信息(本文中提到的虚拟现实至少包括视觉感知,此外还可以包括听觉感知、触觉感知、运动感知,甚至还包括味觉感知、嗅觉感知等),实现虚拟环境的融合的、交互式的三维动态视景和实体行为的仿真,使用户沉浸到模拟的虚拟现实环境中,实现在诸如地图、游戏、视频、教育、医疗、模拟、协同训练、销售、协助制造、维护和修复等多种虚拟环境的应用。
2)VR设备,实现虚拟现实效果的终端,通常可以提供为眼镜、头盔式显示器(HeadMount Display,简称为HMD)、隐形眼镜的形态,以用于实现视觉感知和其他形式的感知,当然VR设备实现的形态不限于此,根据实际需要可以进一步小型化或大型化。
可选的,本申请实施例中记载的VR设备可以包括但不限于如下几个类型:
2.1)电脑端虚拟现实(PCVR)设备,利用PC端进行虚拟现实功能的相关计算以及数据输出,外接的电脑端虚拟现实设备利用PC端输出的数据实现虚拟现实的效果。
2.2)移动虚拟现实设备,支持以各种方式(如设置有专门的卡槽的头戴式显示器)设置移动终端(如智能手机),通过与移动终端有线或无线方式的连接,由移动终端进行虚拟现实功能的相关计算,并输出数据至移动虚拟现实设备,例如通过移动终端的APP观看虚拟现实视频。
2.3)一体机虚拟现实设备,具备用于进行虚拟功能的相关计算的处理器,因而具备独立的虚拟现实输入和输出的功能,不需要与PC端或移动终端连接,使用自由度高。
3)增强现实(Augmented Reality,AR):一种在相机采集图像的过程中,实时地计算相机在现实世界(或称三维世界、真实世界)中的相机姿态参数,根据该相机姿态参数在相机采集的图像上添加虚拟元素的技术。虚拟元素包括但不限于:图像、视频和三维模型。AR技术的目标是在屏幕上把虚拟世界套接在现实世界上进行互动。
4)混合现实(Mixed Reality,MR):通过在现实场景呈现虚拟场景信息,在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路,以增强用户体验的真实感。例如,将计算机创建的感官输入(例如,虚拟对象)与来自物理布景的感官输入或其表示集成的模拟布景,一些MR布景中,计算机创建的感官输入可以适应于来自物理布景的感官输入的变化。另外,用于呈现MR布景的一些电子系统可以监测相对于物理布景的取向和/或位置,以使虚拟对象能够与真实对象(即来自物理布景的物理元素或其表示)交互。例如,系统可监测运动,使得虚拟植物相对于物理建筑物看起来是静止的。
5)扩展现实(Extended Reality,XR):是指通过计算机将真实与虚拟相结合,打造一个可人机交互的虚拟环境,XR也是VR、AR和MR等多种技术的统称。通过将三者的视觉交互技术相融合,为用户带来虚拟世界与现实世界之间无缝转换的“沉浸感”。
6)虚拟场景,是应用程序在电子设备上运行时显示(或提供)的虚拟场景。该虚拟场景可以是对真实世界的仿真环境,也可以是半仿真半虚构的虚拟场景,还可以是纯虚构的虚拟场景。虚拟场景可以是二维虚拟场景、2.5维虚拟场景或者三维虚拟场景中的任意一种,本申请实施例对虚拟场景的维度不加以限定。例如,虚拟场景可以包括天空、陆地、海洋等,该陆地可以包括沙漠、城市等环境元素,用户可以控制虚拟对象在该虚拟场景中进行移动。应理解的是,上述虚拟场景也可称之为虚拟空间。
7)虚拟对象,是虚拟场景中进行交互的对象,受到用户或机器人程序(例如,基于人工智能的机器人程序)的控制,能够在虚拟场景中静止、移动以及进行各种行为的对象,例如游戏中的各种角色等。
通常情况下,用户可以通过利用设置在虚拟场景内的虚拟控件,来与虚拟场景进行交互。诸如,用户通过按压某一虚拟控件之后随即松开该虚拟控件,来触发执行该虚拟控件关联的交互事件。但是,这种交互方式依赖用户手势数据或交互器数据,当获取的用户手势数据或交互器数据存在误差时,会导致与虚拟控件之间的交互出现误判,造成与虚拟场景的交互效果较差。比如,实际上用户手指已经按压了虚拟控件,但因为识别算法或设备硬件缺陷等因素,导致识别出用户手指没有按压该虚拟控件等。
为了解决上述技术问题,本申请的发明构思是:通过对虚拟空间内每个虚拟控件设置多个响应层,其中虚拟控件位于任意交互对象上,从而获取到用户针对任一虚拟控件的触控操作时,确定该触控操作的实时操作位置,当确定该触控操作的实时操作位置位于该虚拟控件上的某一响应层时,控制该虚拟控件执行该响应层关联的交互事件,如此通过在虚拟控件侧设置交互识别策略,实现在触控操作位于不同响应层时,控制虚拟控件可以执行不同的响应事件,而不单单依靠手势数据或交互器数据来确定用户是否与虚拟控件交互,从而可以提高用户与虚拟控件之间的交互精准度,使得用户与虚拟控件之间的交互更为自然和逼真,提高用户与虚拟场景的互动效果。
下面通过一些实施例对本申请的技术方案进行详细说明。下面所描述的实施例可以相互结合,对于相同或相似概念或过程可能在某些实施例内不再赘述。
图1为本申请实施例提供的一种人机交互方法的流程图。本申请实施例提供的人机交互方法可由人机交互装置来执行。该人机交互装置可由硬件和/或软件组成,并可集成于电子设备中。本申请中,电子设备可选为任意一种能够向用户提供虚拟场景功能的终端设备,比如平板电脑、个人台式电脑、笔记本电脑、XR设备以及其他可穿戴式设备等,本申请对电子设备类型不作任何限制。
如图1所示,该方法包括如下步骤:
S101,在虚拟空间内显示至少一个交互对象,每个交互对象包括至少一个虚拟控件,每个虚拟控件包括至少两个响应层。
上述虚拟空间可理解为电子设备向用户提供的任一虚拟场景,该虚拟场景是通过计算机技术和数字模拟技术,模拟产生的一个三维空间的虚拟世界。
示例性的,假设用户需要构建符合个人喜好的虚拟空间时,可通过使用电子设备提供的虚拟场景构建功能来构建个性化虚拟空间。或者,该用户也可以从电子设备已构建的多个虚拟空间中选择任一虚拟空间作为自己喜欢的虚拟空间等,本申请对此不作任何限制。
为了便于用户在沉浸式体验过程中,可以与该虚拟控件进行互动。本申请可以在虚拟空间内设置至少一个交互对象,使得用户通过与交互对象的交互来实现与虚拟空间的交互。其中,交互对象可理解为显示在虚拟空间内的虚拟对象。
本申请中,上述虚拟对象可选为包括有虚拟控件的对象,比如虚拟界面、虚拟面板、虚拟窗口等。
其中,虚拟控件可理解为虚拟按键或虚拟按钮。并且,虚拟控件可以为三维立体控件,也可以是二维平面控件,本申请对此不作任何限制。
应理解的,本申请中每个交互对象上的每个虚拟控件,均设置有多个响应层,并且每个响应层关联有对应的响应事件。其中,响应事件可理解为交互事件。如此,使得用户可以通过虚拟控件与虚拟空间进行交互时,可以确定用户触发的交互操作作用于该虚拟控件的哪一响应层,进而根据该响应层关联的响应事件来对用户触发的交互操作进行响应,从而可以提高用户与虚拟场景的交互效果。
上述每个虚拟控件包括的多个响应层的设置位置,可根据虚拟控件的结构进行灵活设置,本申请对此不作任何限制。
S102,根据针对任一虚拟控件的触控操作,确定触控操作的实时操作位置。
应理解,上述任一虚拟控件可以是虚拟空间内任一交互对象上的某一虚拟控件。
本申请中,触控操作可以包括下述至少一种:通过输入设备进行操作和手势操作。
其中,输入设备可选为但不限于:鼠标、键盘、手柄、触控板以及其他交互器等。示例性的,用户可通过鼠标对任一虚拟控件进行点击操作、双击操作、长按操作等。
可选的,当需要通过虚拟控件来与虚拟空间进行交互时,用户可以通过对任意一个交互对象上的虚拟控件触发触控操作来实现。
考虑到用户对某一虚拟控件触发触控操作时,该触控操作对应的操作位置会从一个位置向另一个位置变化。比如,用户通过手势按压某一虚拟控件时,该用户触发的手势按压操作的操作位置会从按压开始位置向按压结束位置变化。所以,本申请在检测到用户针对任一虚拟控件的触控操作时,可以通过检测该触控操作的实时操作位置,以便于后续基于该触控操作的实时操作位置来对用户的触控操作进行响应。
在一些可选实施例中,检测触控操作的实时操作位置,可包括如下情形:
情形一,当用户通过手势操作来与虚拟控件交互时,可通过电子设备上的手势追踪相机实时采集用户手部图像,进而利用手势识别技术对用户手部图像进行手势识别,以确定用户手势是否为预设交互手势。当确定用户手势为预设交互手势时,继续控制手势追踪图像实时采集作出预设交互手势的用户手部图像,并根据实时采集的用户手部图像,确定作出预设交互手势的用户手部位置,并将该用户手部位置确定为触控操作的实时操作位置。
其中,预设交互手势可以基于用户在真实环境下的手势操作习惯与虚拟控件交互之间的适配性设置。例如,按压虚拟控件时,预设交互手势可选为单手按压手势等,本申请对预设交互手势不作任何限制。
在一些可选实现方式中,预设交互手势可如图2所示。其中,用户真实手的一个手指竖起,剩余四个手指向掌心弯曲,以形成单手按压手势。
也即是,对识别采集到的用户手部图像时,只需要识别用户手部图像中是否存在一个手指竖起即可,当识别出用户手部图像中存在一个手指竖起即可确定手势识别结果为单手按压手势。
考虑到单手按压手势中竖起的手指指尖,通常会接触并按压虚拟控件,所以上述根据手势追踪相机实时采集的用户手部图像,确定作出预设交互手势的用户手部位置,并将该用户手部位置确定为触控操作的实时操作位置,具体是获取预设交互手势中竖起手指的指尖位置,并将该指尖位置确定为触控操作的实时操作位置。
情形二,当用户通过输入设备来与虚拟控件交互时,可通过获取输入设备上位姿采集装置发送的位姿信息,来获取输入设备或输入设备上触摸移动的实时位置信息。进而,将获取到的实时位置信息确定为触控操作的实时操作位置。
考虑到本申请中输入设备为鼠标、手柄、触控板或其他控制器等,那么本申请可根据输入设备类型采用不同方式,来获取触控操作的实时操作位置。
作为一种可选的实施例,当输入设备为鼠标和手柄等可通过移动自身位置移动触控操作的操作位置这一类设备时,可通过这一类设备中的位姿获取装置来获取这一类设备的实时位姿数据。接着,从实时位置数据中获取实时位置数据。然后,将获取到的实时位置数据确定为触控操作的实时操作位置。
本申请中,上述位姿获取装置可选为任意一种能够采集鼠标和手柄等这一类设备位姿信息的器件或装置,比如位姿传感器、惯性测量单元(Inertial measurement unit,IMU)以及其他包括陀螺仪和加速度计的装置等,本申请对位姿获取装置不作任何限制,只要能够获取到上述设备的实时位姿信息即可。
进一步的,当输入设备为触控板等可以进行触摸操作这一类设备时,本申请可通过获取触控板上的触摸操作对应的实时位置,并将触摸操作对应的实时位置确定为触控操作的实时操作位置。其中,获取触控板上的触摸操作对应的实时位置可参见现有技术,此处对其不作过多赘述。
S103,确定触控操作的实时操作位置位于虚拟控件的任一响应层时,控制虚拟控件执行响应层关联的交互事件。
本申请中,每个虚拟控件包括的多个响应层中,每个响应层关联的交互事件均不相同。例如,某一虚拟控件包括两个响应层,分别为第一响应层和第二响应层,那么第一响应层关联的交互事件可为交互事件1,第二响应层关联的交互事件可为交互事件2,其中交互事件1和交互事件2不相同。
可选的,获取到触控操作的实时操作位置之后,可确定该触控操作的实时操作位置是否位于该虚拟控件的多个响应层中的某一响应层上。如果确定该触控操作的实时操作位置位于该虚拟控件的某一响应层上,则获取该响应层关联的交互事件,并对虚拟控件执行该交互事件,以实现基于触控操作的操作位置对用户进行高精准度的响应,使得用户与虚拟控件之间的交互更为自然和逼真,从而提高用户人机交互的交互体验。如果确定该触控操作的实时操作位置未位于该虚拟控件的某一响应层上,则继续确定触控操作的实时操作位置,直至获取到某一时间下该触控操作的操作位置位于该虚拟控件的某一响应层时,对该虚拟控件执行该响应层关联的交互事件。
在一些可选实施例中,本申请在确定触控操作的实时操作位置,位于该虚拟控件的任一响应层时,除了对虚拟控件执行该响应层关联的交互事件之外,还可以输出与该响应层对应的震动反馈和/或音效反馈,如此可以使得用户通过触觉和/或听觉等感知系统,实时了解用户与虚拟控件之间的交互状态,从而降低交互难度,提升人机交互体验。
本申请中,每个虚拟控件的每一响应层对应的震动反馈和/或音效反馈不同,如此可以便于用户区分当前触控操作作用于虚拟控件的哪一响应层上,从而达到更好的交互效果。
考虑到用户与虚拟控件进行交互时,针对该虚拟控件的触控操作的输入方向可以为正对虚拟控件输入触控操作,也可以是从虚拟控件的侧面输入触控操作。例如,图3a为用户针对某一虚拟控件输入的触控操作为正向输入,即正对虚拟控件输入触控操作。图3b为用户针对某一虚拟控件输入的触控操作为侧向输入,即从虚拟控件的侧面输入触控操作。所以,本申请还可以在检测到用户针对任一虚拟控件的触控操作输入方向是从该虚拟控件的侧面(侧方向)输入时,可获取该触控操作在侧方向的位置信息,即进入位置,并当该进入位置位于该虚拟控件的某一响应层时,对该虚拟控件执行该响应层关联的交互事件。如此,可以避免当用户输入的触控操作是从侧面输入时,重新根据触控操作的操作位置部署多个响应层,从而提高人机交互响应速度。
本申请实施例公开的技术方案,通过对显示在虚拟空间内的交互对象上的每个虚拟控件设置多个响应层,使得用户通过触控操作来与任一虚拟控件进行交互时,根据该触控操作所在响应层,来控制虚拟控件执行该响应层关联的交互事件,从而可以提高用户与虚拟控件之间的交互精准度,使得用户与虚拟控件之间的交互更为自然和逼真,提高用户与虚拟场景的互动效果。
在一些可选实施例中,本申请中虚拟控件包括至少两个响应层,可以包括悬停碰撞层和触控结束层。其中,悬停碰撞层用于指示与虚拟控件交互的生效位置,即当触控操作的操作位置位于该悬停碰撞层时,可以触发针对虚拟控件的显示调整,使得用户可以更加方便快捷地与该虚拟控件进行交互。触控结束层用于指示用户触控该虚拟控件时触控结束位置。例如,当用户按压该虚拟控件时,该触控结束层为虚拟控件不能再被按压下去时的位置,该不能再被按压下去可理解为虚拟控件已经被按压到底。
本申请中,当虚拟控件为三维立体结构时,上述悬停碰撞层和触控结束层可以部署在该虚拟控件的立体壳体内,如图4a所示;或者,当虚拟空间为二维平面结构时,上述悬停碰撞层和触控结束层可以以虚拟控件本体为参考,部署在相应位置上,如图4b所示,本申请对响应层的部署位置不作任何限制。
应理解,本申请中虚拟控件包括的至少两个响应层的部署位置,可根据虚拟控件结构预先设置好,并且每个响应层对于用户而言是不可见的,如此可以满足针对不同场景下虚拟控件上多个响应层的通用性需求,并且将响应层设置为不可见可以避免给用户造成触控干扰。
在图4a和4b所示的虚拟控件包括至少两个响应层结构基础上,如图5所示,上述S103可以包括如下步骤:S103-1和S103-2:
S103-1,当触控操作的实时操作位置位于悬停碰撞层时,对虚拟控件进行视觉突出显示。
在一些可选实施例中,当确定获取到的触控操作的实时操作位置位于悬停碰撞层上时,说明用户可能需要选中该悬停碰撞层对应的虚拟控件。此时,本申请可通过调整该悬停碰撞层对应虚拟控件的视觉显示,以提醒用户可与该虚拟控件进行交互。
本申请中,对虚拟控件进行视觉突出显示,可包括下述至少一项:尺寸放大处理和颜色调整。
其中,尺寸放大处理可以按照预设放大比例,对虚拟控件当前尺寸进行放大处理。上述预设放大比例可根据实际需求进行灵活设置,比如按照1:0.5比例进行放大等,本申请对此不作任何限制。
颜色调整可理解为是将虚拟控件第一显示颜色调整为第二显示颜色,比如将白色调整为灰色等。
S103-2,当触控操作的实时操作位置位于触控结束层时,对交互对象执行虚拟控件关联的交互事件。
在一些可选实施例中,当确定获取到的触控操作的实时操作位置位于触控结束层上时,说明用户需要选中触控结束层对应的虚拟控件,以对交互对象执行该虚拟控件关联的交互事件。此时,本申请可在该虚拟控件所属的交互对象上,执行该虚拟控件关联的交互事件。
示例性的,假设虚拟控件所在交互对象为某一文档窗口,那么当虚拟控件为下一页控件,那么对该文档进行切页操作,以将该文档当前页切换为下一页。
又例如,假设虚拟控件所在交互对象为视频播放界面,那么当虚拟控件为关闭弹幕控件,那么关闭该视频播放界面中的弹幕内容。
应理解的是,用户输入针对任一虚拟控件的触控操作的输入方向包括:正向和侧向,那么当触控操作的输入方向为正向时,上述S103-1和S103-2的执行顺序是先执行S103-1再执行S103-2。当触控操作的输入方向为侧向时,上述S103-1和S103-2的执行顺序可为单独执行S103-1或S103-2,其中当侧向输入触控操作时,该触控操作的实时操作位置位于悬停碰撞层时,即在执行S103-1之后还可以执行S103-2。
在一些可选实施例中,本申请中虚拟控件包括至少两个响应层,还可以包括触控开始层。其中,触控开始层用于指示用户触控虚拟控件时,使得虚拟控件形体发生变化开始的位置。例如,当用户需要按压某一虚拟控件时,该触控开始层为虚拟控件被按压之前的初始位置。
本申请中,当虚拟控件为三维立体结构时,上述触控开始层可以部署在该虚拟控件的立体壳体内,如图6a所示;或者,当虚拟空间为二维平面结构时,上述触控开始层可以以虚拟控件本体为参考,部署在相应位置上,如图6b所示,本申请对响应层的部署位置不作任何限制。
在图6a和6b所示的虚拟控件包括至少两个响应层结构基础上,如图7所示,上述S103还可以包括如下步骤:S103-3:
S103-3,当触控操作的实时操作位置位于触控开始层时,显示支持用户触控的触控操作层。
在一些可选实施例中,当确定获取到的触控操作的实时操作位置位于触控开始层上时,说明用户想要与该触控开始层对应的虚拟控件进行交互。此时,本申请可在触控开层位置显示一个支持用户触控的触控操作层,使得用户可通过触控操作作用于该触控操作层,并且当触控操作的操作位置发生变化时,该触控操作层跟随触控操作的实时操作位置相应变化,以实现将用户与虚拟控件之间的交互过程可视化,使得用户通过视觉了解自身与虚拟控件之间的交互状态。
也即是,本申请中显示在触控开始层位置的触控操作层显示位置,会跟随触控操作的实时操作位置相应变化,例如图8中当用户按压某一控件时,当触控操作的操作位置位于触控开始层上时,在该触控开始层位置处显示触控操作层,进而用户可以通过触控操作按压该触控操作层,以实现按压该虚拟控件的效果。
本申请中,触控操作层的形状和尺寸与虚拟控件的形状和尺寸相同,触控操作层的颜色可与虚拟控件的颜色不同,如此可以帮助用户清楚区分触控操作层的位置,进而通过操控触控操作层来与虚拟控件进行交互。
应理解的是,用户输入针对任一虚拟控件的触控操作的输入方向包括:正向和侧向,那么当触控操作的输入方向为正向时,上述S103-1至S103-3的执行顺序是先执行S103-1再执行S103-3最后执行S103-2。当触控操作的输入方向为侧向时,上述S103-1、S103-2和S103-3的执行顺序可为单独执行S103-1、S103-2或S103-3,其中当侧向输入触控操作时,该触控操作的实时操作位置位于悬停碰撞层时,即在执行S103-1之后还可以执行S103-2和S103-3。
在一些可选实施例中,考虑到用户触控某一虚拟控件过程中,可能因其他事情需要取消与该虚拟控件的交互。为此,本申请虚拟控件包括至少两个响应层,还可以包括触控取消层。其中,触控取消层用于指示用户需要取消当前交互操作时控制触控操作作用于该触控取消层,以取消当前交互操作。
本申请中,当虚拟控件为三维立体结构时,上述触控取消层可以部署在该虚拟控件的立体壳体内,如图9a所示;或者,当虚拟空间为二维平面结构时,上述触控取消层可以以虚拟控件本体为参考,部署在相应位置上,如图9b所示,本申请对响应层的部署位置不作任何限制。
应理解,上述触控取消层与虚拟控件本体之间的距离要大于前述各响应层之间的距离,以避免因用户手部抖动或者其他原因,导致触控操作穿透虚拟控件到达触控取消层,从而造成对该虚拟控件触控操作误取消的问题发生。
在图图9a和9b所示的虚拟控件包括至少两个响应层结构基础上,如图10所示,上述S103还可以包括如下步骤:S103-4:
S103-4,当触控操作的实时操作位置位于触控取消层时,取消针对虚拟控件的选中操作。
可选的,当用户通过输入触控操作来与任一虚拟控件交互过程中,如果需要取消本次交互操作,用户可控制触控操作向触控结束层移动并穿过该触控结束层,直到触控操作的操作位置位于触控取消层为止。此时,电子设备根据该触控操作的操作位置,确定用户需要取消本次交互操作。进而,结束本次与虚拟控件的交互进程。
作为一种可选的实现方式,为了避免用户每次需要取消交互操作时,都需要控制触控操作的操作位置移动到触控取消层,本申请可以确定虚拟控件的边界区域,并将大于边界区域的其他区域均设置为触控取消区域,从而当用户需要取消交互操作时,可以直接将触控操作从当前位置移动至触控取消区域,以实现对交互操作的取消目的。
示例性的,如图11所示,假设某一虚拟控件的正视边界区域为区域1,那么可将该区域1之外的区域确定为触控取消区域。应理解的,本申请中虚拟控件上的多个响应层的形状和尺寸,与虚拟控件的形状和尺寸均相同。
应理解的是,用户输入针对任一虚拟控件的触控操作的输入方向包括:正向和侧向,那么当触控操作的输入方向为正向时,上述S103-1至S103-4的执行顺序是先执行S103-1接着执行S103-3再执行S103-2最后执行S103-4。当触控操作的输入方向为侧向时,上述S103-1、S103-2、S103-3和S103-4的执行顺序可为单独执行S103-1、S103-2、S103-3或S103-4,其中当侧向输入触控操作时,该触控操作的实时操作位置位于悬停碰撞层时,即在执行S103-1之后还可以执行S103-2、S103-3和S103-4,或者当侧向输入触控操作时,该触控操作的实时操作位置位于触控开始层时,即在执行S103-3之后还可以执行S103-2和S103-4,或者当侧向输入触控操作时,该触控操作的实时操作位置位于触控结束层时,即在执行S103-2之后还可以执行S103-2。
在一些可选实施例中,考虑到交互对象上的虚拟控件不是实体控件,所以用户通过触控操作与虚拟控件交互过程中,很难控制触控操作对应的输入设备或真实手保持在一个位置上绝对静止,而是始终会在一个位置上发生轻微的抖动。并且,这种抖动会导致触控操作的操作位置反复作用于触控结束层,使得触控操作的操作位置每次位于触控结束层上时,就会自动触发对交互对象执行该虚拟控件关联的交互事件。但实际上,用户可能只需要对该交互对象执行一次该虚拟控件关联的交互事件。
为此,本申请中虚拟控件包括至少两个响应层,还可以包括选取输入层和选取退出层。其中,选取输入层用于确定用户与虚拟控件之间交互意图,即当用户输入的触控操作的操作位置位于该选取输入层时,本申请可确定用户想要与该虚拟控件进行交互。选取退出层用于指示用户与虚拟控件进行交互时,对交互对象执行该虚拟控件关联的交互事件的触发位置层。即,当触控操作的操作位置从触控结束层反向移动到选取退出层时,说明用户需要对交互对象执行该虚拟控件关联的交互事件,此时在交互对象上触发执行该虚拟控件关联的交互事件。相应的,当触控操作的操作位置从触控结束层反向向选取退出层移动,但是未移动到选取退出层,如此反复多次时,本申请则确定上述操作均为虚拟控件选取操作,而不对虚拟控件所属交互对象执行该虚拟控件关联的交互事件,直到触控操作的操作位置移动到选取退出层时才认为用户需要在交互对象上执行该虚拟控件关联的交互事件。此时,在交互对象上执行该虚拟控件关联的交互事件,如此可以实现去抖动效果,避免因手部抖动导致反复触发对交互对象执行虚拟控件关联的交互事件的问题发生。
本申请中,当虚拟控件为三维立体结构时,上述选取输入层和选取退出层可以部署在该虚拟控件的立体壳体内,如图12a所示;或者,当虚拟空间为二维平面结构时,上述选取输入层和选取输出层可以以虚拟控件本体为参考,部署在相应位置上,如图12b所示,本申请对响应层的部署位置不作任何限制。
在图12a和12b所示的虚拟控件包括至少两个响应层结构基础上,如图13所示,上述S103还可以包括如下步骤:S103-5和S103-6:
S103-5,当触控操作的实时操作位置位于选取输入层时,更新虚拟控件的显示方式。
可选的,当确定获取到的触控操作的实时操作位置位于选取输入层时,说明用户有意图与该虚拟控件进行交互。此时,对该虚拟控件的显示状态进行调整,以凸显用户即将与该虚拟控件交互,即用户即将触发该虚拟控件关联的交互事件。
本申请中,更新虚拟控件的显示方式,可选为但不限于将该虚拟控件的显示颜色,从第二显示颜色调整为第三显示颜色。其中,第三显示颜色可与第一显示颜色相同或不同。优选的,本申请将第三显示颜色设置成与第一显示颜色不同的颜色,以此可以区分开虚拟控件中每个响应层关联的交互事件不相同。
S103-6,当触控操作的实时操作位置位于选取退出层时,对交互对象执行虚拟控件关联的交互事件。
在一些可选实施例中,当确定获取到的触控操作的实时操作位置位于选取退出层时,说明用户需要触发对该虚拟控件所属交互对象执行该虚拟控件关联的交互事件。此时,本申请获取该虚拟控件关联的交互事件,并对交互对象执行获取到的交互事件。
本申请实施例公开的技术方案,通过对显示在虚拟空间内的交互对象上的每个虚拟控件设置多个响应层,使得用户通过触控操作来与任一虚拟控件进行交互时,根据该触控操作所在响应层,来控制虚拟控件执行该响应层关联的交互事件,从而可以提高用户与虚拟控件之间的交互精准度,使得用户与虚拟控件之间的交互更为自然和逼真,提高用户与虚拟场景的互动效果。
为了便于理解本申请实施例提供的人机交互方案,下面结合一个具体示例对本申请实施例提供的人机交互方案进行具体说明。如图14所示,假设虚拟控件内某一交互对象上的某一虚拟控件包括6个响应层,分别为悬停碰撞层、触控开始层、触控结束层、选取输入层、选取退出层以及触控取消层。那么,当用户利用单手按压手势,并通过正向输入方式与该虚拟控件进行交互时,整个交互过程可包括如下步骤:
步骤一,用户可通过单手按压手势向该虚拟控件所在方向移动,当单手按压手势的操作位置移动到该虚拟控件的悬停碰撞层时,对该虚拟控件进行视觉突出显示,以提示用户当前瞄准该虚拟控件。
步骤二,用户可继续通过单手按压手势向该虚拟控件所在方向移动,当单手按压手势的操作位置从悬停碰撞层移动到触控开始层时,在该触控开始层位置显示触控操作层,进而用户可通过按压该触控操作层,使得触控操作层根据用户的按压操作的位置变化跟随相应变化,以实现在视觉上向用户展示虚拟控件被用户按压的效果。
步骤三,当用户继续通过单手按压手势向该虚拟控件所在方向移动,当单手按压手势的操作位置从触控开始层移动到选取输入层时,此时确定用户存在与该虚拟控件交互的意图,即确定用户要与该虚拟控件交互,那么可更新虚拟控件的显示状态,以向用户显示可以与该虚拟控件进行交互。
步骤四,用户继续通过单手按压手势向该虚拟控件所在方向移动,当单手按压手势的操作位置从选取输入层移动到触控结束层时,说明用户已经将虚拟控件按压到最低位置,此时确定可能需要触发对该虚拟控件所属交互对象执行该虚拟控件关联的交互事件。
其中,当用户确定需要触发对交互对象执行该虚拟控件关联的交互事件时,用户可以通过往回收单手按压手势,以使单手按压手势的操作位置从触控结束层移动到输入退出层,进而对该虚拟控件所属交互对象执行该虚拟控件关联的交互事件。
在一些可选实施例中,当用户需要取消本次交互操作时,用户可继续通过单手按压手势沿着虚拟控件所在方向继续移动,直至单手按压手势的操作位置移动到触控取消层时,触发该触控取消层关联的交互取消事件,以取消本次交互操作。
也就是说,本申请通过对显示在虚拟空间内的交互对象上的每个虚拟控件设置多个响应层,使得用户通过触控操作来与任一虚拟控件进行交互时,根据该触控操作所在响应层,来控制虚拟控件执行该响应层关联的交互事件,从而可以提高用户与虚拟控件之间的交互精准度,使得用户与虚拟控件之间的交互更为自然和逼真,提高用户与虚拟场景的互动效果。
下面参照附图15,对本申请实施例提出的一种人机交互装置进行描述。图15为本申请实施例提供的一种人机交互装置的示意性框图。
如图15所示,该人机交互装置400包括:显示模块410、确定模块420和控制模块430。
其中,显示模块410,用于在虚拟空间内显示至少一个交互对象,每个所述交互对象包括至少一个虚拟控件,每个所述虚拟控件包括至少两个响应层;
确定模块420,用于根据针对任一所述虚拟控件的触控操作,确定所述触控操作的实时操作位置;
控制模块430,用于确定所述触控操作的实时操作位置位于所述虚拟控件的任一响应层时,控制所述虚拟控件执行所述响应层关联的交互事件。
本申请实施例的一种可选实现方式,所述至少两个响应层包括悬停碰撞层和触控结束层,所述控制模块430,具体用于:
当所述触控操作的实时操作位置位于所述悬停碰撞层时,对所述虚拟控件进行视觉突出显示;
当所述触控操作的实时操作位置位于所述触控结束层时,对所述交互对象执行所述虚拟控件关联的交互事件。
本申请实施例的一种可选实现方式,所述对所述虚拟控件进行视觉突出显示,包括下述至少一项:尺寸放大处理和颜色调整。
本申请实施例的一种可选实现方式,所述至少两个响应层还包括触控开始层,所述触控开始层位于所述悬停碰撞层和所述触控结束层之间;
相应的,所述控制模块430,具体用于:
当所述触控操作的实时操作位置位于所述触控开始层时,显示支持用户触控的触控操作层。
本申请实施例的一种可选实现方式,所述触控操作层的显示位置跟随所述触控操作的实时操作位置变化。
本申请实施例的一种可选实现方式,所述至少两个响应层还包括触控取消层,所述触控取消层位于所述触控结束层之后;
相应的,所述控制模块,具体用于:
当所述触控操作的实时操作位置位于所述触控取消层时,取消针对所述虚拟控件的选中操作。
本申请实施例的一种可选实现方式,所述至少两个响应层还包括选取输入层和选取退出层,所述选取输入层和所述选取退出层位于所述触控开始层和所述触控结束层之间,且所述选取输入层位于所述选取退出层之后;
相应的,所述控制模块,具体用于:
当所述触控操作的实时操作位置位于所述选取输入层时,更新所述虚拟控件的显示方式;
当所述触控操作的实时操作位置位于所述选取退出层时,对所述交互对象执行所述虚拟控件关联的交互事件。
本申请实施例的一种可选实现方式,装置400还包括:
输出模块,用于确定所述触控操作的实时操作位置位于所述虚拟控件的任一响应层时,输出与所述响应层对应的震动反馈和/或音效反馈;
其中,所述虚拟控件的每一响应层对应的震动反馈和/或音效反馈不同。
本申请实施例的一种可选实现方式,所述针对任一所述虚拟控件的触控操作的输入方向包括正向和侧向,所述控制模块,还用于:
当针对任一所述虚拟控件的触控操作的输入方向为侧方向时,根据所述触控操作在所述侧方向的位置信息,控制所述虚拟控件执行与所述位置信息对应的交互事件。
应理解的是,装置实施例与前述方法实施例可以相互对应,类似的描述可以参照方法实施例。为避免重复,此处不再赘述。具体地,图15所示的装置400可以执行图1对应的方法实施例,并且装置400中的各个模块的前述和其它操作和/或功能分别为了实现图1中的各个方法中的相应流程,为了简洁,在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的装置400。应理解,该功能模块可以通过硬件形式实现,也可以通过软件形式的指令实现,还可以通过硬件和软件模块组合实现。具体地,本申请实施例中的第一方面方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成,结合本申请实施例公开的第一方面方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。可选地,软件模块可以位于随机存储器,闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述第一方面方法实施例中的步骤。
图16为本申请实施例提供的一种电子设备的示意性框图。如图16所示,该电子设备500可包括:
存储器510和处理器520,该存储器510用于存储计算机程序,并将该程序代码传输给该处理器520。换言之,该处理器520可以从存储器510中调用并运行计算机程序,以实现本申请实施例中的人机交互方法。
例如,该处理器520可用于根据该计算机程序中的指令执行上述人机交互方法实施例。
在本申请的一些实施例中,该处理器520可以包括但不限于:
通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本申请的一些实施例中,该存储器510包括但不限于:
易失性存储器和/或非易失性存储器。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。
在本申请的一些实施例中,该计算机程序可以被分割成一个或多个模块,该一个或者多个模块被存储在该存储器510中,并由该处理器520执行,以完成本申请提供的人机交互方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述该计算机程序在该电子设备中的执行过程。
如图16所示,该电子设备500还可包括:
收发器530,该收发器530可连接至该处理器520或存储器510。
其中,处理器520可以控制该收发器530与其他设备进行通信,具体地,可以向其他设备发送信息或数据,或接收其他设备发送的信息或数据。收发器530可以包括发射机和接收机。收发器530还可以进一步包括天线,天线的数量可以为一个或多个。
应当理解,该电子设备中的各个组件通过总线系统相连,其中,总线系统除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。
本申请还提供了一种计算机存储介质,其上存储有计算机程序,该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的人机交互方法。
本申请实施例还提供一种包含程序指令的计算机程序产品,当所述程序指令在电子设备上运行时,使得所述电子设备执行上述方法实施例的人机交互方法。
当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
本申请实施例中,术语“模块”或“单元”是指有预定功能的计算机程序或计算机程序的一部分,并与其他相关部分一起工作以实现预定目标,并且可以通过使用软件、硬件(如处理电路或存储器)或其组合来全部或部分实现。同样的,一个处理器(或多个处理器或存储器)可以用来实现一个或多个模块或单元。此外,每个模块或单元都可以是包含该模块或单元功能的整体模块或单元的一部分。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以该权利要求的保护范围为准。
Claims (12)
1.一种人机交互方法,其特征在于,包括:
在虚拟空间内显示至少一个交互对象,每个所述交互对象包括至少一个虚拟控件,每个所述虚拟控件包括至少两个响应层;
根据针对任一所述虚拟控件的触控操作,确定所述触控操作的实时操作位置;
确定所述触控操作的实时操作位置位于所述虚拟控件的任一响应层时,控制所述虚拟控件执行所述响应层关联的交互事件。
2.根据权利要求1所述的方法,其特征在于,所述至少两个响应层包括悬停碰撞层和触控结束层,所述确定所述触控操作的实时操作位置位于所述虚拟控件的任一响应层时,控制所述虚拟控件执行所述响应层关联的交互事件,包括:
当所述触控操作的实时操作位置位于所述悬停碰撞层时,对所述虚拟控件进行视觉突出显示;
当所述触控操作的实时操作位置位于所述触控结束层时,对所述交互对象执行所述虚拟控件关联的交互事件。
3.根据权利要求2所述的方法,其特征在于,所述对所述虚拟控件进行视觉突出显示,包括下述至少一项:尺寸放大处理和颜色调整。
4.根据权利要求2所述的方法,其特征在于,所述至少两个响应层还包括触控开始层,所述触控开始层位于所述悬停碰撞层和所述触控结束层之间;
相应的,所述确定所述触控操作的实时操作位置位于所述虚拟控件的任一响应层时,控制所述虚拟控件执行所述响应层关联的交互事件,包括:
当所述触控操作的实时操作位置位于所述触控开始层时,显示支持用户触控的触控操作层。
5.根据权利要求4所述的方法,其特征在于,所述触控操作层的显示位置跟随所述触控操作的实时操作位置变化。
6.根据权利要求4所述的方法,其特征在于,所述至少两个响应层还包括触控取消层,所述触控取消层位于所述触控结束层之后;
相应的,所述确定所述触控操作的实时操作位置位于所述虚拟控件的任一响应层时,控制所述虚拟控件执行所述响应层关联的交互事件,包括:
当所述触控操作的实时操作位置位于所述触控取消层时,取消针对所述虚拟控件的选中操作。
7.根据权利要求6所述的方法,其特征在于,所述至少两个响应层还包括选取输入层和选取退出层,所述选取输入层和所述选取退出层位于所述触控开始层和所述触控结束层之间,且所述选取输入层位于所述选取退出层之后;
相应的,所述确定所述触控操作的实时操作位置位于所述虚拟控件的任一响应层时,控制所述虚拟控件执行所述响应层关联的交互事件,包括:
当所述触控操作的实时操作位置位于所述选取输入层时,更新所述虚拟控件的显示方式;
当所述触控操作的实时操作位置位于所述选取退出层时,对所述交互对象执行所述虚拟控件关联的交互事件。
8.根据权利要求2-7中任一项所述的方法,其特征在于,所述方法还包括:
确定所述触控操作的实时操作位置位于所述虚拟控件的任一响应层时,输出与所述响应层对应的震动反馈和/或音效反馈;
其中,所述虚拟控件的每一响应层对应的震动反馈和/或音效反馈不同。
9.根据权利要求1所述的方法,其特征在于,所述针对任一所述虚拟控件的触控操作的输入方向包括正向和侧向,所述方法还包括:
当针对任一所述虚拟控件的触控操作的输入方向为侧方向时,根据所述触控操作在所述侧方向的位置信息,控制所述虚拟控件执行与所述位置信息对应的交互事件。
10.一种人机交互装置,其特征在于,包括:
显示模块,用于在虚拟空间内显示至少一个交互对象,每个所述交互对象包括至少一个虚拟控件,每个所述虚拟控件包括至少两个响应层;
确定模块,用于根据针对任一所述虚拟控件的触控操作,确定所述触控操作的实时操作位置;
控制模块,用于确定所述触控操作的实时操作位置位于所述虚拟控件的任一响应层时,控制所述虚拟控件执行所述响应层关联的交互事件。
11.一种电子设备,其特征在于,包括:
处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,以执行如权利要求1至9中任一项所述的人机交互方法。
12.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序使得计算机执行如权利要求1至9中任一项所述的人机交互方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410177972.1A CN118012265A (zh) | 2024-02-08 | 2024-02-08 | 人机交互方法、装置、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410177972.1A CN118012265A (zh) | 2024-02-08 | 2024-02-08 | 人机交互方法、装置、设备和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118012265A true CN118012265A (zh) | 2024-05-10 |
Family
ID=90947453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410177972.1A Pending CN118012265A (zh) | 2024-02-08 | 2024-02-08 | 人机交互方法、装置、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118012265A (zh) |
-
2024
- 2024-02-08 CN CN202410177972.1A patent/CN118012265A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107533373B (zh) | 虚拟现实中经由手与对象的场境敏感碰撞的输入 | |
KR20130112061A (ko) | 자연스러운 제스처 기반 사용자 인터페이스 방법 및 시스템 | |
EP2558924B1 (en) | Apparatus, method and computer program for user input using a camera | |
CN113546419B (zh) | 游戏地图显示方法、装置、终端及存储介质 | |
EP3262505A1 (en) | Interactive system control apparatus and method | |
US11355094B2 (en) | Wireless virtual display controller | |
WO2019166005A1 (zh) | 智能终端及其感控方法、具有存储功能的装置 | |
CN108776544A (zh) | 增强现实中的交互方法及装置、存储介质、电子设备 | |
CN110717993A (zh) | 一种分体式ar眼镜系统的交互方法、系统及介质 | |
CN112987924A (zh) | 用于设备交互的方法、装置、设备和存储介质 | |
JP2014085816A (ja) | プログラム、情報処理装置、情報処理方法および情報処理システム | |
CN112965773A (zh) | 用于信息显示的方法、装置、设备和存储介质 | |
CN115509361B (zh) | 虚拟空间交互方法、装置、设备和介质 | |
EP3582080A1 (en) | Systems and methods for integrating haptics overlay in augmented reality | |
CN114053693B (zh) | 虚拟场景中的对象控制方法、装置及终端设备 | |
CN113413585B (zh) | 头戴显示设备的交互方法、装置和电子设备 | |
CN118012265A (zh) | 人机交互方法、装置、设备和介质 | |
CN116339501A (zh) | 数据处理方法、装置、设备及计算机可读存储介质 | |
US20240248544A1 (en) | Method of calling applications, device, and medium | |
GB2535730A (en) | Interactive system control apparatus and method | |
CN117555416A (zh) | 手势控制方法、装置、设备和介质 | |
CN117695648B (zh) | 虚拟角色的移动和视角控制方法、装置、电子设备和介质 | |
CN117742555A (zh) | 控件交互方法、装置、设备和介质 | |
CN117742478A (zh) | 信息显示方法、装置、设备和介质 | |
CN117742554A (zh) | 人机交互方法、装置、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |