CN117666856A - 扩展现实空间中虚拟交互界面的控制方法、装置和设备 - Google Patents
扩展现实空间中虚拟交互界面的控制方法、装置和设备 Download PDFInfo
- Publication number
- CN117666856A CN117666856A CN202211026988.XA CN202211026988A CN117666856A CN 117666856 A CN117666856 A CN 117666856A CN 202211026988 A CN202211026988 A CN 202211026988A CN 117666856 A CN117666856 A CN 117666856A
- Authority
- CN
- China
- Prior art keywords
- virtual
- interactive interface
- virtual interactive
- interface
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 321
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000003190 augmentative effect Effects 0.000 title claims description 78
- 230000003993 interaction Effects 0.000 claims abstract description 122
- 230000001960 triggered effect Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 description 17
- 230000008859 change Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本公开涉及一种扩展现实空间中虚拟交互界面的控制方法、装置和设备,该方法包括:检测到用户对第一虚拟交互界面的触控操作,获取触控操作在第一虚拟交互界面上的第一位置信息;基于第一虚拟交互界面和第二虚拟交互界面的对应关系,获取第一位置信息在第二虚拟交互界面上对应的第二位置信息,其中,第一虚拟交互界面的显示位置处于第二虚拟交互界面和用户之间;基于第二虚拟交互界面对应的第二位置信息,在第二虚拟交互界面上响应触控操作,从而,能够在远场交互场景中,通过预先加入的虚拟交互介质,便于用户精准有效的控制虚拟交互界面,降低交互难度,提升交互准确度。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及一种扩展现实空间中虚拟交互界面的控制方法、装置和设备。
背景技术
在虚拟环境的远场交互中,用户能够通过手势控制虚拟交互屏,来实现与虚拟交互屏之间进行有效交互。
现有技术中,可通过对用户的手势进行图像识别,生成一个虚拟射线,利用虚拟射线远程对虚拟交互屏进行控制,如对虚拟交互屏上的显示列表进行滑动、翻页等操作。
然而,采用现有技术的方式,在远场交互中,由于距离较远,交互难度增加,导致交互精确度变差。
发明内容
为了解决上述技术问题,本公开提供了一种扩展现实空间中虚拟交互界面的控制方法、装置和设备。
第一方面,本公开提供了一种扩展现实空间中虚拟交互界面的控制方法,包括:
检测到用户对第一虚拟交互界面的触控操作,获取所述触控操作在第一虚拟交互界面上的第一位置信息;
基于所述第一虚拟交互界面和第二虚拟交互界面的对应关系,获取所述第一位置信息在所述第二虚拟交互界面上对应的第二位置信息,其中,所述第一虚拟交互界面的显示位置处于所述第二虚拟交互界面和所述用户在扩展现实空间中的位置之间;
基于所述第二虚拟交互界面对应的第二位置信息,在所述第二虚拟交互界面上响应所述触控操作。
在一种可能的设计中,所述检测到用户对第一虚拟交互界面的触控操作,获取所述触控操作在第一虚拟交互界面上的第一位置信息之前,还包括:
检测到用户触发的第一虚拟交互界面的唤出指令,所述唤出指令用于指示显示所述第一虚拟交互界面;
响应于所述唤出指令,在所述用户在扩展现实空间中的位置和所述第二虚拟交互界面之间显示所述第一虚拟交互界面。
在一种可能的设计中,所述第一虚拟交互界面的唤出指令包括:预设手势和/或预设语音。
在一种可能的设计中,所述检测到用户触发的第一虚拟交互界面的唤出指令之前,还包括:
确定所述用户在扩展现实空间中的位置与所述第二虚拟交互界面的距离大于预设距离,则触发检测所述第一虚拟交互界面的唤出指令。
在一种可能的设计中,还包括:
确定所述用户在扩展现实空间中的位置与所述第二虚拟交互界面的距离小于等于预设距离,隐藏所述第一虚拟交互界面。
在一种可能的设计中,还包括:
确定所述用户的手部不处于所述第一虚拟交互界面对应的触发区域,隐藏所述第一虚拟交互界面。
在一种可能的设计中,还包括:
响应于所述用户在扩展现实空间中的位置移动,调整所述第一虚拟交互界面的显示位置,所述第一虚拟交互界面的显示位置与所述用户在扩展现实空间中的位置之间的距离固定。
在一种可能的设计中,所述触控操作包括:放大、缩小、滑动以及点击。
第二方面,本公开提供了一种扩展现实空间中虚拟交互界面的控制装置,包括:
检测模块,用于检测到用户对第一虚拟交互界面的触控操作,获取所述触控操作在第一虚拟交互界面上的第一位置信息;
获取模块,用于基于所述第一虚拟交互界面和第二虚拟交互界面的对应关系,获取所述第一位置信息在所述第二虚拟交互界面上对应的第二位置信息,其中,所述第一虚拟交互界面的显示位置处于所述第二虚拟交互界面和所述用户在扩展现实空间中的位置之间;
响应模块,用于基于所述第二虚拟交互界面对应的第二位置信息,在所述第二虚拟交互界面上响应所述触控操作。
在一种可能的设计中,所述装置还包括:显示模块;
检测模块,还用于检测到用户触发的第一虚拟交互界面的唤出指令,所述唤出指令用于指示显示所述第一虚拟交互界面;
显示模块,用于响应于所述唤出指令,在所述用户在扩展现实空间中的位置和所述第二虚拟交互界面之间显示所述第一虚拟交互界面。
在一种可能的设计中,所述第一虚拟交互界面的唤出指令包括:预设手势和/或预设语音。
在一种可能的设计中,所述装置还包括:触发模块;
触发模块,用于确定所述用户在扩展现实空间中的位置与所述第二虚拟交互界面的距离大于预设距离,则触发检测所述第一虚拟交互界面的唤出指令。
在一种可能的设计中,所述装置还包括:隐藏模块;
隐藏模块,用于确定所述用户在扩展现实空间中的位置与所述第二虚拟交互界面的距离小于等于预设距离,隐藏所述第一虚拟交互界面。
在一种可能的设计中,隐藏模块,还用于确定所述用户的手部不处于所述第一虚拟交互界面对应的触发区域,隐藏所述第一虚拟交互界面。
在一种可能的设计中,所述装置还包括:调整模块;
调整模块,用于响应于所述用户在扩展现实空间中的位置移动,调整所述第一虚拟交互界面的显示位置,所述第一虚拟交互界面的显示位置与所述用户在扩展现实空间中的位置之间的距离固定。
在一种可能的设计中,所述触控操作包括:放大、缩小、滑动以及点击。
第三方面,本公开提供了一种电子设备,包括:存储器和处理器;存储器用于存储程序指令;处理器用于调用存储器中的程序指令使得电子设备执行第一方面及第一方面任一种可能的设计中的扩展现实空间中虚拟交互界面的控制方法。
第四方面,本公开提供了一种计算机存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行第一方面及第一方面任一种可能的设计中的扩展现实空间中虚拟交互界面的控制方法。
第五方面,本公开提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行第一方面及第一方面任一种可能的设计中的扩展现实空间中虚拟交互界面的控制方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点:
本公开实施例提供的扩展现实空间中虚拟交互界面的控制方法、装置和设备,通过加入一个第一虚拟交互界面作为虚拟交互介质,在检测到用户对第一虚拟交互界面的触控操作,获取触控操作在第一虚拟交互界面上的第一位置信息,并基于第一虚拟交互界面与第二虚拟交互界面的对应关系,确定出第一位置信息对应在第二虚拟交互界面上的第二位置信息,以基于第二位置信息,响应触控操作,从而,能够在远场交互场景中,通过预先加入的虚拟交互介质,便于用户精准有效的控制虚拟交互界面,降低交互难度,提升交互准确度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种现有的虚拟交互示意图;
图2是本公开实施例提供的一种扩展现实空间中虚拟交互界面的控制方法的流程示意图;
图3A-图3G是本公开实施例提供的一种交互显示示意图;
图4是本公开实施例提供的另一种扩展现实空间中虚拟交互界面的控制方法的流程示意图;
图5为本公开实施例提供的一种扩展现实空间中虚拟交互界面的控制装置的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
本公开的技术方案可应用于扩展现实场景中,其中,扩展现实包括但不限于AR(AugmentedReality,增强现实)、VR(VirtualReality,虚拟现实)、MR(MixedReality,混合现实)等,扩展现实能够在虚拟世界、现实世界和用户之间搭建一个交互反馈的信息回路,来增强用户体验的真实感,用户可在扩展现实环境中实现与虚拟显示屏的交互。
目前,对于扩展现实环境中的交互,如图1示例性所示,在用户进入扩展现实环境与虚拟显示屏进行交互时,用户手指会与虚拟显示屏中间出现一个虚拟射线,用户可通过移动手指来移动虚拟射线在虚拟显示屏上的焦点位置,来对虚拟显示屏进行控制。
然而,在扩展现实环境的远场交互中,由于用户与虚拟显示屏之间的距离较远,会增加用户的交互难度,从而,降低交互精确度。
示例性地,本公开提供一种扩展现实空间中虚拟交互界面的控制方法、装置和设备,通过加入一个第一虚拟交互界面作为虚拟交互介质,在检测到用户对第一虚拟交互界面的触控操作,获取触控操作在第一虚拟交互界面上的第一位置信息,并基于第一虚拟交互界面与第二虚拟交互界面的对应关系,确定出第一位置信息对应在第二虚拟交互界面上的第二位置信息,以基于第二位置信息,响应触控操作,从而,能够在远场交互场景中,通过预先加入的虚拟交互介质,便于用户精准有效的控制虚拟交互界面,降低交互难度,提升交互准确度。
本公开的扩展现实空间中虚拟交互界面的控制方法由电子设备中安装的客户端来执行。电子设备可以是平板电脑、手机、可穿戴设备、车载设备、增强现实(augmentedreality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digitalassistant,PDA)、智能电视、智慧屏、高清电视、4K电视、智能音箱、智能投影仪等设备,本公开对电子设备的具体类型不作任何限制。
其中,本公开对电子设备的操作系统的类型不做限定。例如,Android系统、Linux系统、Windows系统、iOS系统等。
请参阅图2,图2为本公开实施例提供的一种扩展现实空间中虚拟交互界面的控制方法的流程示意图。如图2所示,本公开提供的扩展现实空间中虚拟交互界面的控制方法可以包括:
S210、检测到用户对第一虚拟交互界面的触控操作,获取触控操作在第一虚拟交互界面上的第一位置信息。
其中,第一虚拟交互界面可为扩展现实空间中一个虚拟交互屏上显示的交互界面,虚拟交互屏可为一个用于进行虚拟操作的触控板,用户可在第一虚拟交互界面上触发多种交互操作。
举例而言,用户可通过手指在第一虚拟交互界面上进行点击、滑动、缩放等操作,来生成对第一虚拟交互界面的点击事件、滑动事件、缩放事件等。
其中,触控操作在第一虚拟交互界面上的第一位置信息可为用户在第一虚拟交互界面上执行操作所产生的点集合,第一位置信息可包括:位置坐标,或者,位置坐标和方向。
结合上述举例,在用户通过手指在第一虚拟交互界面上进行点击操作时,对应的触发事件在第一虚拟交互界面上的第一位置信息为用户手指触发的点/区域的位置坐标。
在用户通过手指在第一虚拟交互界面上进行滑动操作时,对应的触发事件在第一虚拟交互界面上的第一位置信息为用户手指从第一虚拟交互界面上的滑动起始点至滑动终止点过程中所产生的全部点的位置坐标以及滑动方向,其中,可基于滑动点的滑动时间来确定出滑动起始点和滑动终止点。
在用户通过手指在第一虚拟交互界面上进行缩放操作时,对应的触发事件在第一虚拟交互界面上的第一位置信息为用户的至少两个手指分别从第一虚拟交互界面上的触摸起始点至触摸终止点的过程中所产生的全部点的位置坐标以及触摸方向,其中,可基于触摸点的触摸时间来确定出触摸起始点和触摸终止点。
需要说明的是,第一虚拟交互界面为扩展现实环境中的一个虚拟交互面板上显示的交互界面,可用于支持处于扩展现实环境中的用户在扩展现实空间与其它虚拟交互屏上的交互界面之间的交互操作。
其中,第一虚拟交互界面可对应一个控制区域,控制区域可支持用户的手指与第一虚拟交互界面进行交互。
举例而言,在扩展现实环境中,第一虚拟交互界面的前方预设区域可作为第一虚拟交互界面对应的控制区域,用户可在第一虚拟交互界面的前方预设区域进行如点击、滑动、缩放等操作的实现。
另外,第一虚拟交互界面的屏幕显示尺寸可设置为与用户的手部尺寸相对应的尺寸,从而,能够便于用户灵活通过手指进行操控。
其中,第一虚拟交互界面的屏幕显示尺寸可基于用户需求进行自适应调节,自适应调节可包括:手动调节、语音调节等。
举例而言,第一虚拟交互界面的显示屏幕上可设置一个尺寸缩放标识,用户可通过点击/触发尺寸缩小标识来对第一虚拟交互界面的屏幕显示尺寸(对应界面显示尺寸)进行缩小,或者,用于可通过点击/触发尺寸放大标识来对第一虚拟交互界面的屏幕显示尺寸进行放大。
再举例而言,可通过识别用户的语音信息来确定用户是否有尺寸调整需求,如接收到用户的尺寸放大指示,可调节第一虚拟交互界面的屏幕显示尺寸放大,或者,如接收到用户的尺寸缩小指示,可调节第一虚拟交互界面的屏幕显示尺寸缩小。
需要说明的是,对第一虚拟交互界面的屏幕显示尺寸的调节方式可不限于上述提及的手动调节和语音调节等,还可通过其他调节方式实现第一虚拟交互界面的屏幕显示尺寸的调节,本公开对此不做具体限定。
S220、基于第一虚拟交互界面和第二虚拟交互界面的对应关系,获取第一位置信息在第二虚拟交互界面上对应的第二位置信息。
其中,第一虚拟交互界面的屏幕显示尺寸可与第二虚拟交互界面的屏幕显示尺寸成比例设置,从而,实现通过第一虚拟交互界面有效控制第二虚拟交互界面。
在获取得到第一虚拟交互界面的第一位置信息时,可基于第一虚拟交互界面和第二虚拟交互界面的对应关系,有效得出第一位置信息在第二虚拟交互界面上对应的第二位置信息。
举例而言,在第一位置信息为一个点/区域的位置坐标时,则与第一位置信息对应的在第二虚拟交互界面上的第二位置信息可为,第二虚拟交互界面上与该点/区域对应的目标点/目标区域的位置坐标。
在第一位置信息为多个点的位置坐标以及滑动方向时,则与第一位置信息对应的在第二虚拟交互界面上的第二位置信息可为,第二虚拟交互界面上与多个点对应多个目标点的位置坐标,以及滑动方向,其中,滑动方向为滑动起始点指向滑动终止点的方向。
其中,第一虚拟交互界面的显示位置可处于第二虚拟交互界面和用户在扩展现实空间中的位置之间,如图3A示例性所示,第一虚拟交互界面的显示位置可处于第二虚拟交互界面和扩展现实空间中用户手指之间且靠近用户手指的位置。
S230、基于第二虚拟交互界面对应的第二位置信息,在第二虚拟交互界面上响应触控操作。
其中,可通过获取得到的第二虚拟交互界面上对应的第二位置信息,确定出在第二虚拟交互界面上需要进行的交互操作,并在第二虚拟交互界面上响应交互操作。
如图3B示例性所示,在确定第二虚拟交互界面上对应的第二位置信息为点a的位置坐标时,可确定出在第二虚拟交互界面上的交互操作为点击操作,则在第二虚拟交互界面的点a处执行点击操作。
图3B中,用户可通过移动手指的位置改变第一虚拟交互界面在第二虚拟交互界面上的映射点的显示位置。
如图3C示例性所示,在确定第二虚拟交互界面上对应的第二位置信息为多个垂直点的位置坐标以及垂直向上/垂直向下,可确定出在第二虚拟交互界面上的交互操作为上滑/下滑,则在第二虚拟交互界面上执行上滑/下滑操作,或者,在确定第二虚拟交互界面上对应的第二位置信息为多个水平点的位置坐标以及垂直向左/垂直向右,可确定出在第二虚拟交互界面上的交互操作为左滑/右滑,则在第二虚拟交互界面上执行左滑/右滑操作。
图3C中,第二虚拟交互界面上的滑动操作的具体呈现方式可为预设时段滑动,如在1s内从滑动起始位置对应的显示界面均匀移动至滑动终止位置对应的显示界面,或者,第二虚拟交互界面上的滑动操作的具体呈现方式可为直接呈现,如直接显示滑动终止位置对应的显示界面,不显示滑动的过程界面。
如图3D示例性所示,在确定第二虚拟交互界面上对应的第二位置信息为多个倾斜点的位置坐标以及向内方向,可确定出在第二虚拟交互界面上的交互操作为缩小,则在第二虚拟交互界面上执行缩小操作,或者,在确定第二虚拟交互界面上对应的第二位置信息为多个倾斜点的位置坐标以及向外方向,可确定出在第二虚拟交互界面上的交互操作为放大,则在第二虚拟交互界面上执行放大操作。
图3D中,第二虚拟交互界面上的放大操作的具体呈现方式可为预设时段放大,如在1s内从放大起始时对应的显示界面均匀变化至放大终止时对应的显示界面,或者,第二虚拟交互界面上的放大操作的具体呈现方式可为直接呈现,如直接显示放大终止时对应的显示界面,不显示放大的过程界面。
第二虚拟交互界面上的缩小操作的具体呈现方式可为预设时段缩小,如在1s内从缩小起始时对应的显示界面均匀变化至缩小终止时对应的显示界面,或者,第二虚拟交互界面上的缩小操作的具体呈现方式可为直接呈现,如直接显示缩小终止时对应的显示界面,不显示缩小的过程界面。
其中,图3D中,在执行放大/缩小操作时,可基于第二虚拟交互界面上的焦点所处位置进行相应操作。
举例而言,在以图3D中的区域A为焦点进行缩小操作时,对应的第二虚拟交互界面的显示界面可如图3E示例性所示,在以图3D中的区域B为焦点进行缩小操作时,对应的第二虚拟交互界面的显示界面可如图3F示例性所示。
图3G中,第二虚拟交互界面的显示界面中显示更多的内容,在基于区域A进行缩小时,可跟随时间均匀清晰显示缩小的过程界面,或者,在基于区域A进行缩小时,可跟随时间均匀模糊显示缩小的过程界面。
在以图3D中的区域A为焦点进行放大操作时,对应的第二虚拟交互界面的显示界面可如图3G示例性所示。
图3G中,第二虚拟交互界面的显示界面中放大显示区域A对应的内容,在放大区域A的过程中,可跟随时间均匀清晰显示放大的过程界面,或者,在放大区域A的过程中,可跟随时间均匀模糊显示放大的过程界面。
本公开实施例提供的扩展现实空间中虚拟交互界面的控制方法,通过加入一个第一虚拟交互界面作为虚拟交互介质,在检测到用户对第一虚拟交互界面的触控操作,获取触控操作在第一虚拟交互界面上的第一位置信息,并基于第一虚拟交互界面与第二虚拟交互界面的对应关系,确定出第一位置信息对应在第二虚拟交互界面上的第二位置信息,以基于第二位置信息,响应触控操作,从而,能够在远场交互场景中,通过预先加入的虚拟交互介质,便于用户精准有效的控制虚拟交互界面,降低交互难度,提升交互准确度。
图4是本公开实施例提供的另一种扩展现实空间中虚拟交互界面的控制方法的流程示意图。本实施例是在上述实施例的基础上,在S210之前,本实施例方法还可以包括:
S201、检测到用户触发的第一虚拟交互界面的唤出指令。
其中,在用户进入扩展现实环境中,用户与第二虚拟交互界面之间可无任何交互介质,通过实时检测用户的行为,判定用户是否具有交互需求,以此唤醒交互介质的显示。
其中,唤出指令可用于指示显示第一虚拟交互界面,在确定检测到用户触发的第一虚拟交互界面的唤出指令时,可显示第一虚拟交互界面,便于用户通过第一虚拟交互界面实现与第二虚拟交互界面的精准交互。
其中,第一虚拟交互界面的唤出指令包括:预设手势和/或预设语音,在接收到用户的手势/语音时,可通过与预设手势/预设语音进行匹配,在匹配成功后,显示第一虚拟交互界面,从而,能够在用户需要时及时唤出第一虚拟交互界面。
其中,预设手势可包括:手指滑动、手指转圈、手部挥动等。
举例而言,手指向上滑动预设距离,可作为预设手势,或者,手指向下滑动预设距离,可作为预设手势,或者,手指水平向左滑动预设距离,可作为预设手势,或者,手指水平向右滑动预设距离,可作为预设手势,其中,还可设置手指滑动的角度,如手指滑动过程中的滑动角度需大于预设角度阈值。
手指正方向转动预设角度,可作为预设手势,或者,手指逆方向转动预设角度,可作为预设手势。
手部挥动预设次数,可作为预设手势,或者,手部上下摆动,可作为预设手势。
再举例而言,语音数据为“唤出”,可作为预设语音,或者,语音数据为“打开第一虚拟交互界面”,可作为预设语音,或者,语音数据为“打开虚拟交互界面”,可作为预设语音,或者,语音数据为“打开交互界面”,可作为预设语音,或者,语音数据为“开启虚拟交互界面”,可作为预设语音,或者,语音数据为“开启第一虚拟交互界面”,可作为预设语音,或者,语音数据为“开启交互界面”,可作为预设语音,或者,语音数据为“开启”,可作为预设语音,或者,语音数据为“打开”,可作为预设语音。
其中,预设手势以及预设语音可由用户/系统预先自定义,本公开对预设手势和预设语音的具体显示形式不做限定。
需要说明的是,检测到用户触发的第一虚拟交互界面的唤出指令,可在确定用户的手指处于第二虚拟交互界面对应的控制区域时,可触发检测用户触发的第一虚拟交互界面的唤出指令,从而,提升唤出指令的检测效率。
举例而言,第二虚拟交互界面对应的控制区域为扩展现实环境中的区域C时,当检测到用户在区域C中进行手势操作/语音操作时,可进行第一虚拟交互界面的唤出指令的检测,当检测到用户在区域C外进行手势操作/语音操作时,可不触发对第一虚拟交互界面的唤出指令的检测。
S202、响应于唤出指令,在用户在扩展现实空间中的位置和第二虚拟交互界面之间显示第一虚拟交互界面。
其中,在确定用户发出唤出指令后,可在用户在扩展现实空间中的位置处和第二虚拟交互界面之间显示第一虚拟交互界面,便于用户通过第一虚拟交互界面控制第二虚拟交互界面。
需要说明的是,第一虚拟交互界面的显示位置相比于与第二虚拟交互界面的距离比相比于用户在扩展现实空间中的位置的距离大,也就是,在用户在扩展现实空间中的位置和第二虚拟交互界面之间显示的第一虚拟交互界面,距离扩展现实空间中用户较近,从而,能够便于用户进行灵活操作。
另外,第二虚拟交互界面的显示位置可处于第一虚拟交互界面对应的控制区域内,便于实现通过第一虚拟交互界面对第二虚拟交互界面的精准控制。
结合上述举例,在确定用户唤出第一虚拟交互界面时,可将第一虚拟交互界面的显示位置设置在区域C的一个区域内,如将第一虚拟交互界面的显示位置设置在区域C的上方区域,或者,将第一虚拟交互界面的显示位置设置在区域C的下方区域,或者,将第一虚拟交互界面的显示位置设置在区域C的左侧区域,或者,将第一虚拟交互界面的显示位置设置在区域C的右侧区域,或者,将第一虚拟交互界面的显示位置设置在区域C的中间区域。
从而,能够对用户的唤出进行判定,在确定出用户发出唤出指令时,响应于唤出指令,在用户和第二虚拟交互界面之间显示第一虚拟交互界面,避免第一虚拟交互界面持续显示导致无效显示消耗资源。
基于上述实施例的描述,在对用户触发的第一虚拟交互界面的唤出指令进行检测之前,还可基于用户的当前位置与第二虚拟交互界面之间的相对位置进行判定。
其中,可选的,可在确定到用户在扩展现实空间中的位置与第二虚拟交互界面的距离大于预设距离,则触发检测第一虚拟交互界面的唤出指令。
预设距离可为预先设置的用于支持用户在扩展现实空间中的位置与第二虚拟交互界面的远场交互的一个距离,在用户在扩展现实空间中的位置与第二虚拟交互界面的距离小于或等于预设距离时,可基于虚拟射线实现用户在扩展现实空间中与第二虚拟交互界面的交互。
从而,能够在用户在扩展现实空间中的位置处于第一虚拟交互界面的唤出区域时,触发检测第一虚拟交互界面的唤出指令,避免误唤出的问题。
其中,用户在通过第一虚拟交互界面与第二虚拟交互界面进行交互的过程中,可对第一虚拟交互界面进行隐藏操作,避免影响用户观看第二虚拟交互界面上的显示内容。
在一些实施例中,可选的,在确定出用户在扩展现实空间中的位置与第二虚拟交互界面的距离小于等于预设距离,隐藏第一虚拟交互界面。
其中,预设距离可为预先设置的用于支持用户在扩展现实空间中的位置与第二虚拟交互界面的远场交互的一个距离,在用户在扩展现实空间中的位置与第二虚拟交互界面的距离小于或等于预设距离时,可隐藏第一虚拟交互界面,基于虚拟射线实现用户在扩展现实空间与第二虚拟交互界面的交互。
在另一些实施例中,可选的,确定用户的手部不处于第一虚拟交互界面对应的触发区域,隐藏第一虚拟交互界面。
其中,用户可在触发区域内实现对第一虚拟交互界面的操作指示,在用户的手部不处于第一虚拟交互界面对应的触发区域内时,可表明用户暂无交互需求,可隐藏第一虚拟交互界面。
另外,在隐藏第一虚拟交互界面之后,若检测到用户与第二虚拟交互界面的距离大于预设距离时,可直接显示第一虚拟交互界面,或者,在隐藏第一虚拟交互界面之后,若检测到用户的手部处于第一虚拟交互界面对应的触发区域时,可直接显示第一虚拟交互界面,便于用户及时体验。
需要说明的是,在隐藏第一虚拟交互界面之前,可在第一虚拟交互界面上/第一虚拟交互界面外预设区域显示即将隐藏消息,并在预设时段后隐藏第一虚拟交互界面,便于提示用户了解第一虚拟交互界面的显示状态。
举例而言,可在隐藏第一虚拟交互界面之前,在第一虚拟交互界面上的上方显示即将隐藏消息,或者,可在隐藏第一虚拟交互界面之前,在第一虚拟交互界面上的下方显示即将隐藏消息,或者,可在隐藏第一虚拟交互界面之前,在第一虚拟交互界面上的左侧显示即将隐藏消息,或者,可在隐藏第一虚拟交互界面之前,在第一虚拟交互界面上的右侧显示即将隐藏消息,其中,可加粗显示即将隐藏消息,提升视角识别度。
可在隐藏第一虚拟交互界面之前,在第一虚拟交互界面外的上方预设区域显示即将隐藏消息,或者,可在隐藏第一虚拟交互界面之前,在第一虚拟交互界面外的下方预设区域显示即将隐藏消息,或者,可在隐藏第一虚拟交互界面之前,在第一虚拟交互界面外的左侧预设区域显示即将隐藏消息,或者,可在隐藏第一虚拟交互界面之前,在第一虚拟交互界面外的右侧预设区域显示即将隐藏消息,其中,可高亮显示即将隐藏消息,提升视角识别度。
其中,即将隐藏消息的显示形式可为倒计时,或者,文字+倒计时。
举例而言,即将隐藏消息可根据时间持续变化显示倒计时,如8s-7s-......1s-0s,或者,即将隐藏消息可根据时间持续变化显示文字+倒计时,如8s后消失-7s后消失-......1s后消失。
另外,第一虚拟交互界面的状态标识可为第二虚拟交互界面上显示,便于用户了解,状态标识可用于描述第一虚拟交互界面的显示状态。
举例而言,可在第二虚拟交互界面内的上方预设区域显示第一虚拟交互界面的状态标识,或者,可在第二虚拟交互界面内的下方预设区域显示第一虚拟交互界面的状态标识,或者,可在第二虚拟交互界面内的左侧预设区域显示第一虚拟交互界面的状态标识,或者,可在第二虚拟交互界面内的右侧预设区域显示第一虚拟交互界面的状态标识。
可在第二虚拟交互界面外的上方预设区域显示第一虚拟交互界面的状态标识,或者,可在第二虚拟交互界面外的下方预设区域显示第一虚拟交互界面的状态标识,或者,可在第二虚拟交互界面外的左侧预设区域显示第一虚拟交互界面的状态标识,或者,可在第二虚拟交互界面外的右侧预设区域显示第一虚拟交互界面的状态标识。
其中,在第一虚拟交互界面显示在用户与第二虚拟交互界面之间时,第一虚拟交互界面的状态标识可为绿色/常亮指示灯,在第一虚拟交互界面隐藏在用户与第二虚拟交互界面之间时,第一虚拟交互界面的状态标识可为红色/闪烁指示灯。
随着用户与第二虚拟交互界面的交互进行,用户可改变自己的当前位置,来满足对第二虚拟交互界面的交互需求。
其中,可选的,响应于用户在扩展现实空间中的位置移动,调整第一虚拟交互界面的显示位置,第一虚拟交互界面的显示位置与用户在扩展现实空间中的位置之间的距离固定。
第一虚拟交互界面的显示位置与用户在扩展现实空间中的位置之间的距离为第一虚拟交互界面的显示位置与用户在扩展现实空间中的正身位置的相对距离。
举例而言,用户在扩展现实空间中的位置移动之前,第一虚拟交互界面的显示位置与用户在扩展现实空间中的位置之间的距离为第一距离值,当用户在扩展现实空间中由第一位置移动至第二位置时,可将第一虚拟交互界面的显示位置由当前显示位置移动至与用户在扩展现实空间中当前所处的第二位置距离第一距离值对应的区域内。
可基于用户位置的移动信息调整第一虚拟交互界面的显示位置,在用户在扩展现实空间中的位置进行移动之后,可将第一虚拟交互界面的显示位置也进行移动。
其中,可选的,用于对第一虚拟交互界面上进行的触控操作可包括:放大、缩小、滑动以及点击。
结合上述举例,当触控操作为点击时,执行点击操作对应的显示界面如图3D示例性所示,当触控操作为放大时,执行放大操作对应的显示界面如图3G示例性所示,当触控操作为缩小时,执行缩小操作对应的显示界面如图3E/图3F示例性所示,当触控操作为滑动时,执行滑动操作对应的显示界面如图3C示例性所示。
图5是本公开提供的一种扩展现实空间中虚拟交互界面的控制装置的结构示意图,如图5所示,本实施例的扩展现实空间中虚拟交互界面的控制装置500,包括:检测模块510、获取模块520和响应模块530,其中:
检测模块510,用于检测到用户对第一虚拟交互界面的触控操作,获取所述触控操作在第一虚拟交互界面上的第一位置信息;
获取模块520,用于基于所述第一虚拟交互界面和第二虚拟交互界面的对应关系,获取所述第一位置信息在所述第二虚拟交互界面上对应的第二位置信息,其中,所述第一虚拟交互界面的显示位置处于所述第二虚拟交互界面和所述用户在扩展现实空间中的位置之间;
响应模块530,用于基于所述第二虚拟交互界面对应的第二位置信息,在所述第二虚拟交互界面上响应所述触控操作。
在本实施例中,可选的,本实施例装置还包括:显示模块;
检测模块510,还用于检测到用户触发的第一虚拟交互界面的唤出指令,所述唤出指令用于指示显示所述第一虚拟交互界面;
显示模块,用于响应于所述唤出指令,在所述用户在扩展现实空间中的位置和所述第二虚拟交互界面之间显示所述第一虚拟交互界面。
在本实施例中,可选的,所述第一虚拟交互界面的唤出指令包括:预设手势和/或预设语音。
在本实施例中,可选的,本实施例装置还包括:触发模块;
触发模块,用于确定所述用户在扩展现实空间中的位置与所述第二虚拟交互界面的距离大于预设距离,则触发检测所述第一虚拟交互界面的唤出指令。
在本实施例中,可选的,本实施例装置还包括:隐藏模块;
隐藏模块,用于确定所述用户在扩展现实空间中的位置与所述第二虚拟交互界面的距离小于等于预设距离,隐藏所述第一虚拟交互界面。
在本实施例中,可选的,隐藏模块,还用于确定所述用户的手部不处于所述第一虚拟交互界面对应的触发区域,隐藏所述第一虚拟交互界面。
在本实施例中,可选的,本实施例装置还包括:调整模块;
调整模块,用于响应于所述用户在扩展现实空间中的位置移动,调整所述第一虚拟交互界面的显示位置,所述第一虚拟交互界面的显示位置与所述用户在扩展现实空间中的位置之间的距离固定。
在本实施例中,可选的,所述触控操作包括:放大、缩小、滑动以及点击。
本公开提供的扩展现实空间中虚拟交互界面的控制装置,可执行上述方法实施例,其具体实现原理和技术效果,可参见上述方法实施例,本公开此处不再赘述。
示例性地,本公开提供一种电子设备,包括:一个或多个处理器;存储器;以及一个或多个计算机程序;其中一个或多个计算机程序被存储在存储器中;一个或多个处理器在执行一个或多个计算机程序时,使得电子设备实现前文实施例的扩展现实空间中虚拟交互界面的控制方法。
示例性地,本公开提供一种芯片系统,芯片系统应用于包括存储器和传感器的电子设备;芯片系统包括:处理器;当处理器执行前文实施例的扩展现实空间中虚拟交互界面的控制方法。
示例性地,本公开提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器使得电子设备执行时实现前文实施例的扩展现实空间中虚拟交互界面的控制方法。
示例性地,本公开提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行前文实施例的扩展现实空间中虚拟交互界面的控制方法。
在上述实施例中,全部或部分功能可以通过软件、硬件、或者软件加硬件的组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本公开实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如,固态硬盘(solid state disk,SSD))等。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (11)
1.一种扩展现实空间中虚拟交互界面的控制方法,其特征在于,包括:
检测到用户对第一虚拟交互界面的触控操作,获取所述触控操作在第一虚拟交互界面上的第一位置信息;
基于所述第一虚拟交互界面和第二虚拟交互界面的对应关系,获取所述第一位置信息在所述第二虚拟交互界面上对应的第二位置信息,其中,所述第一虚拟交互界面的显示位置处于所述第二虚拟交互界面和所述用户在扩展现实空间中的位置之间;
基于所述第二虚拟交互界面对应的第二位置信息,在所述第二虚拟交互界面上响应所述触控操作。
2.根据权利要求1所述的方法,其特征在于,所述检测到用户对第一虚拟交互界面的触控操作,获取所述触控操作在第一虚拟交互界面上的第一位置信息之前,还包括:
检测到用户触发的第一虚拟交互界面的唤出指令,所述唤出指令用于指示显示所述第一虚拟交互界面;
响应于所述唤出指令,在所述用户在扩展现实空间中的位置和所述第二虚拟交互界面之间显示所述第一虚拟交互界面。
3.根据权利要求2所述的方法,其特征在于,所述第一虚拟交互界面的唤出指令包括:预设手势和/或预设语音。
4.根据权利要求2所述的方法,其特征在于,所述检测到用户触发的第一虚拟交互界面的唤出指令之前,还包括:
确定所述用户在扩展现实空间中的位置与所述第二虚拟交互界面的距离大于预设距离,则触发检测所述第一虚拟交互界面的唤出指令。
5.根据权利要求1-4任一项所述的方法,其特征在于,还包括:
确定所述用户在扩展现实空间中的位置与所述第二虚拟交互界面的距离小于等于预设距离,隐藏所述第一虚拟交互界面。
6.根据权利要求1-4任一项所述的方法,其特征在于,还包括:
确定所述用户的手部不处于所述第一虚拟交互界面对应的触发区域,隐藏所述第一虚拟交互界面。
7.根据权利要求1-4任一项所述的方法,其特征在于,还包括:
响应于所述用户在扩展现实空间中的位置移动,调整所述第一虚拟交互界面的显示位置,所述第一虚拟交互界面的显示位置与所述用户在扩展现实空间中的位置之间的距离固定。
8.根据权利要求1-4任一项所述的方法,其特征在于,所述触控操作包括:放大、缩小、滑动以及点击。
9.一种扩展现实空间中虚拟交互界面的控制装置,其特征在于,包括:
检测模块,用于检测到用户对第一虚拟交互界面的触控操作,获取所述触控操作在第一虚拟交互界面上的第一位置信息;
获取模块,用于基于所述第一虚拟交互界面和第二虚拟交互界面的对应关系,获取所述第一位置信息在所述第二虚拟交互界面上对应的第二位置信息,其中,所述第一虚拟交互界面的显示位置处于所述第二虚拟交互界面和所述用户在扩展现实空间中的位置之间;
响应模块,用于基于所述第二虚拟交互界面对应的第二位置信息,在所述第二虚拟交互界面上响应所述触控操作。
10.一种电子设备,包括:一个或多个处理器;存储器;以及一个或多个计算机程序;其中所述一个或多个计算机程序被存储在所述存储器中;其特征在于,所述一个或多个处理器在执行所述一个或多个计算机程序时,使得所述电子设备实现如权利要求1-8任一项所述的扩展现实空间中虚拟交互界面的控制方法。
11.一种计算机存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-8任一项所述的扩展现实空间中虚拟交互界面的控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211026988.XA CN117666856A (zh) | 2022-08-25 | 2022-08-25 | 扩展现实空间中虚拟交互界面的控制方法、装置和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211026988.XA CN117666856A (zh) | 2022-08-25 | 2022-08-25 | 扩展现实空间中虚拟交互界面的控制方法、装置和设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117666856A true CN117666856A (zh) | 2024-03-08 |
Family
ID=90081297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211026988.XA Pending CN117666856A (zh) | 2022-08-25 | 2022-08-25 | 扩展现实空间中虚拟交互界面的控制方法、装置和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117666856A (zh) |
-
2022
- 2022-08-25 CN CN202211026988.XA patent/CN117666856A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11128802B2 (en) | Photographing method and mobile terminal | |
US11163426B2 (en) | Interaction position determination method and system, storage medium and smart terminal | |
US11393017B2 (en) | Two-dimensional code identification method and device, and mobile terminal | |
CN109164964B (zh) | 内容分享方法、装置、终端及存储介质 | |
CN107632895B (zh) | 一种信息共享方法及移动终端 | |
US9569099B2 (en) | Method and apparatus for displaying keypad in terminal having touch screen | |
CN106415472B (zh) | 一种手势控制方法、装置、终端设备和存储介质 | |
KR20150059466A (ko) | 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치 | |
CN109218819B (zh) | 一种视频预览方法及移动终端 | |
US9880721B2 (en) | Information processing device, non-transitory computer-readable recording medium storing an information processing program, and information processing method | |
US20150063785A1 (en) | Method of overlappingly displaying visual object on video, storage medium, and electronic device | |
CN108668175B (zh) | 一种弹幕文字的发布方法及装置 | |
CN107172347B (zh) | 一种拍照方法及终端 | |
US10095384B2 (en) | Method of receiving user input by detecting movement of user and apparatus therefor | |
CN106897321B (zh) | 显示地图数据的方法及装置 | |
WO2018010440A1 (zh) | 一种投影画面调整方法、装置和投影终端 | |
US9509733B2 (en) | Program, communication apparatus and control method | |
CN112099689A (zh) | 界面显示方法及装置、电子设备、计算机可读存储介质 | |
CN114779977A (zh) | 界面显示方法、装置、电子设备及存储介质 | |
CN112099706A (zh) | 页面展示方法、装置、电子设备及计算机可读存储介质 | |
CN108009273B (zh) | 图像显示方法、装置及计算机可读存储介质 | |
US20160321968A1 (en) | Information processing method and electronic device | |
US20160170596A1 (en) | Image display apparatus, image display method, and image-display program product | |
CN117666856A (zh) | 扩展现实空间中虚拟交互界面的控制方法、装置和设备 | |
US20130298077A1 (en) | Display control apparatus capable of placing objects on screen according to position attributes of the objects, control method therefor, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |