CN113589926A - 虚拟界面操作方法、头戴式显示设备和计算机可读介质 - Google Patents

虚拟界面操作方法、头戴式显示设备和计算机可读介质 Download PDF

Info

Publication number
CN113589926A
CN113589926A CN202110788467.7A CN202110788467A CN113589926A CN 113589926 A CN113589926 A CN 113589926A CN 202110788467 A CN202110788467 A CN 202110788467A CN 113589926 A CN113589926 A CN 113589926A
Authority
CN
China
Prior art keywords
sliding
virtual interface
finger
application window
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110788467.7A
Other languages
English (en)
Other versions
CN113589926B (zh
Inventor
孙超
石文峰
李统宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Companion Technology Co ltd
Original Assignee
Hangzhou Companion Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Companion Technology Co ltd filed Critical Hangzhou Companion Technology Co ltd
Priority to CN202110788467.7A priority Critical patent/CN113589926B/zh
Publication of CN113589926A publication Critical patent/CN113589926A/zh
Priority to PCT/CN2022/105489 priority patent/WO2023284791A1/zh
Application granted granted Critical
Publication of CN113589926B publication Critical patent/CN113589926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Abstract

本公开的实施例公开了虚拟界面操作方法、头戴式显示设备和计算机可读介质。该方法的一具体实施方式包括：响应于检测到作用于目标设备的触敏显示屏幕的单指滑动操作，确定单指滑动操作对应的第一滑动偏移值，其中，目标设备与头戴式显示设备通信连接；根据第一滑动偏移值和第一预设滑动比例，在头戴式显示设备的3D虚拟界面中滑动单指滑动操作对应的锚点，以及在3D虚拟界面中显示从目标起点至锚点的射线；响应于检测到作用于触敏显示屏幕的单指点击操作，以及单指点击操作对应的锚点在目标控件位置，在3D虚拟界面中创建2D虚拟界面，并在2D虚拟界面中显示单指点击操作对应的应用窗口。该实施方式可以实现对虚拟界面中显示的应用窗口进行内外控制。

Description

虚拟界面操作方法、头戴式显示设备和计算机可读介质
技术领域
本公开的实施例涉及计算机技术领域，具体涉及虚拟界面操作方法、头戴式显示设备和计算机可读介质。
背景技术
头戴式显示设备，例如，AR(Augmented Reality，增强现实技术)眼镜或MR(MixedReality，混合现实技术)眼镜，可以使得用户通过AR或MR眼镜中的显示屏幕观看虚拟图像。目前，头戴式显示设备与计算设备连接后，通常采用的交互方式为：响应于检测到作用于计算设备的触敏显示屏幕的应用开启操作，在头戴式显示设备的显示屏幕所显示的虚拟界面中显示应用开启操作对应的应用窗口。
然而，当采用上述交互方式时，经常会存在如下技术问题：仅可控制在虚拟界面中显示应用开启操作对应的应用窗口，需要在虚拟界面中进行应用窗口内外的操作时，例如，需要分别在应用窗口内和应用窗口外的滑动或点击操作，无法区分作用于应用窗口的操作，导致无法实现对应用窗口内外的控制。
发明内容
本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了虚拟界面操作方法、头戴式显示设备和计算机可读介质，来解决以上背景技术部分提到的技术问题。
第一方面，本公开的一些实施例提供了一种虚拟界面操作方法，该方法包括：响应于检测到作用于目标设备的触敏显示屏幕的单指滑动操作，确定上述单指滑动操作对应的第一滑动偏移值，其中，上述目标设备与头戴式显示设备通信连接；根据上述第一滑动偏移值和第一预设滑动比例，在上述头戴式显示设备的3D虚拟界面中滑动上述单指滑动操作对应的锚点，以及在上述3D虚拟界面中显示从目标起点至上述锚点的射线，其中，上述3D虚拟界面在上述头戴式显示设备的显示屏幕中显示；响应于检测到作用于上述触敏显示屏幕的单指点击操作，以及上述单指点击操作对应的锚点在目标控件位置，在上述3D虚拟界面中创建2D虚拟界面，并在上述2D虚拟界面中显示上述单指点击操作对应的应用窗口。
第二方面，本公开的一些实施例提供了一种头戴式显示设备，包括：一个或多个处理器；显示屏幕，用于显示3D虚拟界面和2D虚拟界面；存储装置，其上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行，使得上述一个或多个处理器实现如上述第一方面任一实现方式所描述的方法。
第三方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的虚拟界面操作方法，可以对虚拟界面中显示的应用窗口进行内外控制。具体来说，造成无法实现对虚拟界面中显示的应用窗口进行内外控制的原因在于：仅可控制在虚拟界面中显示应用开启操作对应的应用窗口，需要在虚拟界面中进行应用窗口内外的操作时，例如，需要分别在应用窗口内和应用窗口外的滑动或点击操作，无法区分作用于应用窗口的操作，导致无法实现对应用窗口内外的控制。基于此，本公开的一些实施例的虚拟界面操作方法，首先，响应于检测到作用于目标设备的触敏显示屏幕的单指滑动操作，确定上述单指滑动操作对应的第一滑动偏移值。其中，上述目标设备与头戴式显示设备通信连接。然后，根据上述第一滑动偏移值和第一预设滑动比例，在上述头戴式显示设备的3D虚拟界面中滑动上述单指滑动操作对应的锚点，以及在上述3D虚拟界面中显示从目标起点至上述锚点的射线。其中，上述3D虚拟界面在上述头戴式显示设备的显示屏幕中显示。由此，可以在3D虚拟界面中对用户在触敏显示屏幕上的单指滑动操作进行可视化显示。最后，响应于检测到作用于上述触敏显示屏幕的单指点击操作，以及上述单指点击操作对应的锚点在目标控件位置，在上述3D虚拟界面中创建2D虚拟界面，并在上述2D虚拟界面中显示上述单指点击操作对应的应用窗口。由此，可以使得用户通过触敏显示屏幕点击目标控件后，在2D虚拟界面中浏览目标控件对应的应用窗口。可以理解的是，目标控件可以为桌面窗口中的应用标识控件，也可以是一应用窗口中的应用控件。也因为可以根据用户的单指滑动操作和单指点击操作，对虚拟界面的显示内容进行控制，可以对虚拟界面中显示的应用窗口进行内外控制。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
图1是本公开的一些实施例可以应用于其中的示例性系统的架构图；
图2-3是根据本公开的一些实施例的虚拟界面操作方法的一个应用场景的示意图；
图4是根据本公开的虚拟界面操作方法的一些实施例的流程图；
图5是根据本公开的虚拟界面操作方法的另一些实施例的流程图；
图6是适于用来实现本公开的一些实施例的头戴式显示设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用于本公开的应用于虚拟界面操作方法的实施例的示例性系统架构100。
如图1所示，示例性系统架构100可以包括头戴式显示设备11和目标设备12。
头戴式显示设备11可以包括一个或两个显示屏幕111。上述显示屏幕用于显示3D虚拟界面和2D虚拟界面。此外，头戴式显示设备11还包括镜架112。在一些实施例中，可以将头戴式显示设备11的传感器、处理单元、存储器和电池放到镜架112内部。在一些实施例的一些可选的实现方式中，也可以将传感器、处理单元、存储器和电池中的一个或多个部件集成在另一个独立的配件(未示出)中，通过数据线和镜架112进行连接。在一些实施例的一些可选的实现方式中，头戴式显示设备11可以仅具有显示功能和部分传感器，而通过目标设备12提供数据处理、数据存储、供电能力等能力。
目标设备12可以包括触敏显示屏幕121，在一些实施例中，头戴式显示设备11和目标设备12可以通过无线连接方式进行通信。在一些实施例的一些可选的实现方式中，头戴式显示设备11和目标设备12也可以通过数据线(未示出)进行连接。
应该理解，图1中的头戴式显示设备和目标设备的数目仅仅是示意性的。根据实现需要，可以具有任意合适数目的头戴式显示设备和目标设备。
图2-3是根据本公开一些实施例的虚拟界面操作方法的一个应用场景的示意图。
如图2所示，首先，目标设备201(例如，手机)可以响应于检测到作用于目标设备的触敏显示屏幕的单指滑动操作202，确定上述单指滑动操作202对应的第一滑动偏移值203。其中，上述目标设备201与头戴式显示设备204通信连接。然后，目标设备201可以根据上述第一滑动偏移值203和第一预设滑动比例205，在上述头戴式显示设备204的3D虚拟界面206中滑动上述单指滑动操作202对应的锚点207，以及在上述3D虚拟界面206中显示从目标起点至上述锚点207的射线208。其中，上述3D虚拟界面206在上述头戴式显示设备204的显示屏幕中显示。图2中的3D虚拟界面206中显示的为桌面窗口，桌面窗口中显示了应用标识控件组。应用标识控件组中的应用标识控件可以为用于接收用户的选择操作以展示应用标识控件对应的应用窗口的控件。
最后，如图3所示，目标设备201可以响应于检测到作用于上述触敏显示屏幕的单指点击操作209，以及上述单指点击操作209对应的锚点210在目标控件位置，在上述3D虚拟界面206中创建2D虚拟界面211，并在上述2D虚拟界面211中显示上述单指点击操作209对应的应用窗口212。这里，上述目标控件位置可以为应用标识控件组中的应用标识控件在3D虚拟界面206中的位置。锚点210在目标控件位置，即，锚点210落在应用标识控件上。应用窗口212中显示了应用页面(例如，XX应用程序的运行页面)。
可以理解的是，虚拟界面操作方法的执行主体可以是各种软件，上述执行主体也可以是目标设备201，上述执行主体还可以是服务器，上述执行主体还可以包括上述目标设备201与上述服务器通过网络相集成所构成的设备。其中，目标设备201可以是具有信息处理能力的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当虚拟界面操作方法的执行主体为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图2-3中的目标设备和头戴式显示设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的目标设备和头戴式显示设备。
继续参考图4，示出了根据本公开的虚拟界面操作方法的一些实施例的流程400。该虚拟界面操作方法，包括以下步骤：
步骤401，响应于检测到作用于目标设备的触敏显示屏幕的单指滑动操作，确定单指滑动操作对应的第一滑动偏移值。
在一些实施例中，虚拟界面操作方法的执行主体(例如图1所示的头戴式显示设备11或图2所示的目标设备201)可以响应于检测到作用于目标设备的触敏显示屏幕的单指滑动操作，确定上述单指滑动操作对应的第一滑动偏移值。其中，上述单指滑动操作可以为通过一个触点在触敏显示屏幕滑动的操作。这里，触点可以为用户的手指与触敏显示屏幕的接触点，还可以为触控笔与触敏显示屏幕的接触点。上述目标设备可以为具有触敏显示屏幕的计算设备。例如，上述目标设备可以为但不限于以下中的一项：手机，平板电脑。上述目标设备与头戴式显示设备通信连接。上述头戴式显示设备可以为用于使得用户观看虚拟影像的头戴式设备，可以为但不限于以下中的一项：头戴式增强显示设备，头戴式混合显示设备。例如，上述头戴式增强显示设备可以为AR眼镜。上述头戴式混合显示设备可以为MR眼镜。上述头戴式显示设备中可以显示桌面窗口和至少一个应用窗口。上述第一滑动偏移值可以为单指滑动操作的结束触点的坐标与上一帧的触点的坐标间的距离。例如，上述距离可以为欧式距离。上述上一帧的触点可以为头戴式显示设备的显示屏幕上一帧显示的触点。这里，对于显示屏幕的帧率，不作限定。上述结束触点可以为单指滑动操作结束时的触点。上述坐标可以为触敏显示屏幕的屏幕坐标。
可选地，根据上述单指滑动操作的滑动速度，确定第一预设滑动比例。实践中，上述执行主体可以首先确定上述滑动速度所处的速度区间。然后，可以将上述速度区间对应的滑动比例确定为第一预设滑动比例。这里，上述执行主体可以通过预设的速度区间-滑动比例对照表确定上述滑动速度所处的速度区间和上述速度区间对应的滑动比例。上述速度区间-滑动比例对照表包括各个速度区间和与各个速度区间对应的滑动比例。上述速度区间对应的滑动速度越大，速度区间对应的第一预设滑动比例越大。由此，可以动态调整第一预设滑动比例。
步骤402，根据第一滑动偏移值和第一预设滑动比例，在头戴式显示设备的3D虚拟界面中滑动单指滑动操作对应的锚点，以及在3D虚拟界面中显示从目标起点至锚点的射线。
在一些实施例中，上述执行主体可以根据上述第一滑动偏移值和第一预设滑动比例，在上述头戴式显示设备的3D虚拟界面中滑动上述单指滑动操作对应的锚点，以及在上述3D虚拟界面中显示从目标起点至上述锚点的射线。其中，上述第一预设滑动比例可以为预设的用于调整单指滑动操作在3D虚拟界面中的第一滑动偏移值的比例。例如，上述第一预设滑动比例可以为200％。上述3D虚拟界面可以为以三维形式在头戴式显示设备的显示屏幕中显示的界面。上述锚点可以为上述单指滑动操作的触点在3D虚拟界面中的可视化显示后的点。实践中，上述执行主体可以在上述3D虚拟界面中显示单指滑动操作的触点的坐标映射的锚点，使得结束触点对应的锚点的3D虚拟界面坐标与上一帧的触点对应的锚点的3D虚拟界面坐标的距离为上述第一滑动偏移值和上述第一预设滑动比例的乘积。例如，上述执行主体可以将单指滑动操作的触点的坐标包括的横坐标与第一预设滑动比例的乘积确定为映射的锚点的3D虚拟界面坐标的横坐标。上述执行主体可以将单指滑动操作的触点的坐标包括的纵坐标与第一预设滑动比例的乘积确定为映射的锚点的3D虚拟界面坐标的纵坐标。3D虚拟界面坐标可以为在头戴式显示设备的显示屏幕中的坐标。可以理解的是，触点持续滑动时，可以在上述3D虚拟界面中持续滑动锚点，也可以根据设定的时间间隔在上述3D虚拟界面中滑动锚点。
上述目标起点可以为3D虚拟界面的虚拟相机点对应的3D虚拟界面坐标点。上述虚拟相机点可以为观看的位置点。例如，虚拟相机点可以为unity Main Camera的位置点。上述虚拟相机点对应的3D虚拟界面坐标点可以为相对unity Main Camera的偏移后的3D虚拟界面坐标点。这里，对于偏移的方向和距离不作限定。实践中，上述执行主体可以在滑动显示锚点的过程中，显示从目标起点至锚点的射线。这里，锚点和射线的渲染样式可以为预先设置的样式，不作限定。例如，锚点可以预定半径和预定填充颜色的圆点。射线可以为预定宽度和预定填充颜色的线条或箭头。由此，可以在3D虚拟界面中对用户在触敏显示屏幕上的单指滑动操作进行可视化显示。
可选地，响应于上述触敏显示屏幕的触控模式为横屏模式，执行以下步骤：
第一步，根据上述第一滑动偏移值在上述触敏显示屏幕的短边方向的短边偏移值和上述第一预设滑动比例，确定上述单指滑动操作对应的锚点在上述3D虚拟界面中的竖向偏移值。其中，上述横屏模式可以为触敏显示屏幕的长边横向放置的模式。这里，上述执行主体与上述头戴式显示设备连接时，默认的触控模式为竖屏模式。上述竖屏模式可以为触敏显示屏幕的长边竖向放置的模式。上述短边方向可以为沿触敏显示屏幕的短边向上或向下的方向。这里，向上或向下是以用户为主体的方向。上述短边偏移值可以为单指滑动操作沿滑动方向的第一滑动偏移值在短边方向的偏移值。可以理解的是，上述短边偏移值的方向与滑动方向相对应。例如，屏幕坐标系的横轴正方向为水平向右。滑动方向为屏幕坐标系的横轴正方向45度方向时，上述短边偏移值的方向为向上。上述竖向偏移值可以为锚点在3D虚拟界面的竖向的偏移值。实践中，上述执行主体可以将上述短边偏移值与上述第一预设滑动比例的乘积确定为上述单指滑动操作对应的锚点在上述3D虚拟界面中的竖向偏移值。
第二步，根据上述第一滑动偏移值在上述触敏显示屏幕的长边方向的长边偏移值和上述第一预设滑动比例，确定上述单指滑动操作对应的锚点在上述3D虚拟界面中的横向偏移值。上述长边方向可以为沿触敏显示屏幕的长边向左或向右的方向。这里，向左或向右是以用户为主体的方向。上述长边偏移值可以为单指滑动操作沿长边方向的第一滑动偏移值在长边方向的偏移值。可以理解的是，上述长边偏移值的方向与滑动方向相对应。例如，屏幕坐标系的横轴正方向为水平向右。滑动方向为屏幕坐标系的横轴正方向45度方向时，上述长边偏移值的方向为向右。上述横向偏移值可以为锚点在3D虚拟界面的横向的偏移值。实践中，上述执行主体可以将上述长边偏移值与上述第一预设滑动比例的乘积确定为上述单指滑动操作对应的锚点在上述3D虚拟界面中的横向偏移值。
第三步，根据上述竖向偏移值和上述横向偏移值，在上述3D虚拟界面中滑动上述单指滑动操作对应的锚点。实践中，上述执行主体可以在上述3D虚拟界面中同时将上述锚点沿上述竖向偏移值和上述横向偏移值的方向滑动，使得上述锚点在3D虚拟界面的竖向方向滑动上述竖向偏移值的像素，在横向方向滑动上述横向偏移值的像素。由此，可以在横屏模式的触控模式下，对3D虚拟界面进行操作。
步骤403，响应于检测到作用于触敏显示屏幕的单指点击操作，以及单指点击操作对应的锚点在目标控件位置，在3D虚拟界面中创建2D虚拟界面，并在2D虚拟界面中显示单指点击操作对应的应用窗口。
在一些实施例中，上述执行主体可以响应于检测到作用于上述触敏显示屏幕的单指点击操作，以及上述单指点击操作对应的锚点在目标控件位置，在上述3D虚拟界面中创建2D虚拟界面，并在上述2D虚拟界面中显示上述单指点击操作对应的应用窗口。其中，上述单指点击操作可以为在一个触点进行点击的操作。上述单指点击操作对应的锚点可以为单指点击操作对应的触点在3D虚拟界面中的可视化显示后的点。其中，上述2D虚拟界面可以为以二维形式在头戴式显示设备的显示屏幕中显示的界面。
上述锚点在3D虚拟界面中的桌面窗口时，上述目标控件位置可以为桌面窗口中显示的应用标识控件在3D虚拟界面中的位置。上述应用标识控件可以为用于接收用户的单指点击操作，以展示对应的应用窗口的控件。实践中，上述执行主体可以在上述2D虚拟界面中显示上述应用标识控件对应的应用窗口。
上述锚点在3D虚拟界面中的桌面窗口时，上述目标控件位置还可以为桌面窗口中显示的设置控件在3D虚拟界面中的位置。上述设置控件可以为用于接收用户的单指点击操作，以展示对应的用于设置相关配置的应用窗口的控件。例如，上述设置控件可以为用于设置3D虚拟界面的显示亮度的控件。上述设置控件还可以为用于设置3D虚拟界面中显示的应用窗口的布局的控件。实践中，上述执行主体可以在上述2D虚拟界面中显示上述设置控件对应的应用窗口。
上述锚点在3D虚拟界面中的应用窗口时，上述目标控件位置可以为应用窗口中显示的应用控件的位置。上述应用控件可以为用于接收用户的单指点击操作，以展示显示了应用控件对应的应用内容的应用窗口。例如，上述应用控件可以为页面刷新控件，用于接收用户的单指点击操作，以展示刷新页面后的应用窗口。上述应用控件还可以为页面跳转控件，用于接收用户的单指点击操作，以展示跳转页面后的应用窗口。实践中，上述执行主体可以在上述2D虚拟界面中显示上述应用控件对应的应用窗口。
由此，可以使得用户通过触敏显示屏幕点击目标控件后，在2D虚拟界面中浏览目标控件对应的应用窗口。
可选地，上述执行主体可以响应于检测到作用于上述触敏显示屏幕的滑动操作或点击操作，将上述滑动操作或上述点击操作通过映射方式发送到上述显示屏幕。其中，上述滑动操作可以包括但不限于以下中的一项：单指滑动操作、双指滑动操作和三指滑动操作。上述点击操作可以包括但不限于以下中的一项：单指点击操作、双指点击操作和三指点击操作。实践中，上述执行主体可以通过滑动操作或点击操作对应的触摸事件(touch事件)获取MotionEvent对象。然后，可以反射调用InputEvent的setDisplayId方法参数，将上述MotionEvent对象将要映射的外接屏幕id设置为上述显示屏幕的id。最后，可以反射调用InputManager的injectInputEvent方法，将触摸事件发送到上述显示屏幕。
本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的虚拟界面操作方法，可以对虚拟界面中显示的应用窗口进行内外控制。具体来说，造成无法实现对虚拟界面中显示的应用窗口进行内外控制的原因在于：仅可控制在虚拟界面中显示应用开启操作对应的应用窗口，需要在虚拟界面中进行应用窗口内外的操作时，例如，需要分别在应用窗口内和应用窗口外的滑动或点击操作，无法区分作用于应用窗口的操作，导致无法实现对应用窗口内外的控制。基于此，本公开的一些实施例的虚拟界面操作方法，首先，响应于检测到作用于目标设备的触敏显示屏幕的单指滑动操作，确定上述单指滑动操作对应的第一滑动偏移值。其中，上述目标设备与头戴式显示设备通信连接。然后，根据上述第一滑动偏移值和第一预设滑动比例，在上述头戴式显示设备的3D虚拟界面中滑动上述单指滑动操作对应的锚点，以及在上述3D虚拟界面中显示从目标起点至上述锚点的射线。其中，上述3D虚拟界面在上述头戴式显示设备的显示屏幕中显示。由此，可以在3D虚拟界面中对用户在触敏显示屏幕上的单指滑动操作进行可视化显示。最后，响应于检测到作用于上述触敏显示屏幕的单指点击操作，以及上述单指点击操作对应的锚点在目标控件位置，在上述3D虚拟界面中创建2D虚拟界面，并在上述2D虚拟界面中显示上述单指点击操作对应的应用窗口。由此，可以使得用户通过触敏显示屏幕点击目标控件后，在2D虚拟界面中浏览目标控件对应的应用窗口。可以理解的是，目标控件可以为桌面窗口中的应用标识控件，也可以是一应用窗口中的应用控件。也因为可以根据用户的单指滑动操作和单指点击操作，对虚拟界面的显示内容进行控制，可以对虚拟界面中显示的应用窗口进行内外控制。
进一步参考图5，其示出了虚拟界面操作方法的另一些实施例的流程500。该虚拟界面操作方法的流程500，包括以下步骤：
步骤501，响应于检测到作用于目标设备的触敏显示屏幕的单指滑动操作，确定单指滑动操作对应的第一滑动偏移值。
步骤502，根据第一滑动偏移值和第一预设滑动比例，在头戴式显示设备的3D虚拟界面中滑动单指滑动操作对应的锚点，以及在3D虚拟界面中显示从目标起点至锚点的射线。
步骤503，响应于检测到作用于触敏显示屏幕的单指点击操作，以及单指点击操作对应的锚点在目标控件位置，在3D虚拟界面中创建2D虚拟界面，并在2D虚拟界面中显示单指点击操作对应的应用窗口。
在一些实施例中，步骤501-503的具体实现及所带来的技术效果可以参考图4对应的那些实施例中的步骤401-403，在此不再赘述。
步骤504，响应于检测到作用于触敏显示屏幕的双指滑动操作，将双指滑动操作封装为封装单指滑动操作。
在一些实施例中，虚拟界面操作方法的执行主体(例如图1所示的头戴式显示设备11或图2所示的目标设备201)可以响应于检测到作用于上述触敏显示屏幕的双指滑动操作，将上述双指滑动操作封装为封装单指滑动操作。其中，上述双指滑动操作可以为通过两个触点在触敏显示屏幕滑动的操作。上述双指滑动操作对应于上述3D虚拟界面中显示的目标应用窗口。上述目标应用窗口可以为当前处于选中状态的应用窗口。实践中，上述执行主体可以将上述双指滑动操作对应的第一个触点确定为目标触点。上述目标触点可以作为封装单指滑动操作的触点，由此实现对双指滑动操作的封装。上述第一个触点可以为左侧的触点。可以理解的是，上述左侧是以用户为主体的一侧。上述第一个触点也可以是首先接触到触敏显示屏幕的触点。
步骤505，确定封装单指滑动操作对应的第二滑动偏移值。
在一些实施例中，上述执行主体可以确定上述封装单指滑动操作对应的第二滑动偏移值。其中，上述第二滑动偏移值可以为封装单指滑动操作的结束触点的坐标与上一帧的触点的坐标间的距离。封装单指滑动操作的结束触点为封装单指滑动操作结束时的目标触点。
步骤506，根据第二滑动偏移值和第二预设滑动比例，滑动目标应用窗口的显示内容。
在一些实施例中，上述执行主体可以根据上述第二滑动偏移值和第二预设滑动比例，滑动上述目标应用窗口的显示内容。其中，上述第二预设滑动比例可以为预设的用于调整封装单指滑动操作在目标应用窗口中的第二滑动偏移值的比例。例如，上述第一预设滑动比例可以为150％。实践中，上述执行主体可以根据上述封装单指滑动操作的滑动方向滑动上述目标应用窗口的显示内容。其中，显示内容滑动的距离为上述第二滑动偏移值和上述第二预设滑动比例的乘积。由此，可以使得用户通过触敏显示屏幕双指滑动选中状态的应用窗口后，浏览滑动的应用窗口的显示内容。
步骤507，响应于检测到作用于触敏显示屏幕的双指点击操作，将双指点击操作封装为封装单指点击操作。
在一些实施例中，上述执行主体可以响应于检测到作用于上述触敏显示屏幕的双指点击操作，将上述双指点击操作封装为封装单指点击操作。其中，上述双指点击操作可以为通过两个触点进行点击的操作。上述双指点击操作对应于上述目标应用窗口。实践中，上述执行主体可以将上述双指点击操作对应的第一个触点确定为目标触点。目标触点可以作为封装单指点击操作的触点，由此实现对双指点击操作的封装。上述第一个触点可以为左侧的触点。可以理解的是，上述左侧是以用户为主体的一侧。上述第一个触点也可以是首先接触到触敏显示屏幕的触点。
步骤508，响应于封装单指点击操作对应的锚点在目标控件位置，根据封装单指点击操作，更新目标应用窗口。
在一些实施例中，上述执行主体可以响应于上述封装单指点击操作对应的锚点在目标控件位置，根据上述封装单指点击操作，更新上述目标应用窗口。这里，上述目标控件位置可以为上述目标应用窗口中的应用控件的位置。例如，上述应用控件可以为页面刷新控件，用于接收用户的单指点击操作，以展示刷新页面后的目标应用窗口。上述应用控件还可以为页面跳转控件，用于接收用户的单指点击操作，以展示跳转页面后的目标应用窗口。实践中，上述执行主体可以在上述目标应用窗口中显示对应上述封装单指点击操作的预设显示内容，以更新上述目标应用窗口。上述预设显示内容可以为与封装单指点击操作对应的应用控件关联的显示内容。例如，当上述应用控件为页面刷新控件时，上述预设显示内容可以为刷新后的页面。当上述应用控件为页面跳转控件时，上述预设显示内容可以为跳转后的页面。由此，可以使得用户通过触敏显示屏幕双指点击选中状态的应用窗口中应用控件后，浏览更新后的该应用窗口。
可选地，上述执行主体可以响应于检测到作用于上述触敏显示屏幕的三指滑动操作，以及上述3D虚拟界面中在先显示了应用窗口，确定上述三指滑动操作对应的滑动方向、滑动距离和滑动加速度。其中，上述三指滑动操作可以为三个触点在触敏显示屏幕滑动的操作。实践中，首先，上述执行主体可以将上述三指滑动操作封装为单指滑动操作。例如，上述执行主体可以将上述三指滑动操作对应的第一个触点确定为目标触点。目标触点可以作为封装后的单指滑动操作的触点，由此实现对三指滑动操作的封装。上述第一个触点可以为左侧第一个触点。可以理解的是，上述左侧是以用户为主体的一侧。上述第一个触点也可以是首先接触到触敏显示屏幕的触点。然后，可以将封装后的单指滑动操作对应的滑动方向、滑动距离和滑动加速度分别确定为三指滑动操作对应的滑动方向、滑动距离和滑动加速度。
可选地，上述执行主体可以响应于上述滑动方向为向上，以及上述滑动距离大于等于第一滑动距离，且上述滑动加速度大于等于第一滑动加速度，切换至桌面窗口。其中，上述第一滑动距离可以为预设的滑动距离。上述第一滑动加速度可以为预设的滑动加速度。对于第一滑动距离和第一预设滑动加速度的具体设定，不作限定。实践中，上述执行主体可以关闭上述3D虚拟界面中显示的应用窗口，以及切换至桌面窗口。这里，向上是指以用户为主体的方向。由此，可以使得用户在触敏显示屏幕上三指上滑后，浏览桌面窗口。
可选地，上述执行主体可以响应于上述3D虚拟界面中存在目标应用窗口的上一个应用窗口，以及上述滑动方向为向左，且上述滑动距离大于等于第二滑动距离，且上述滑动加速度大于等于第二滑动加速度，切换至上述上一个应用窗口。其中，目标应用窗口可以为处于选中状态的应用窗口。上一个应用窗口可以为在目标应用窗口左侧显示的应用窗口，还可以为在目标应用窗口显示之前最后显示的应用窗口。上述第二滑动距离可以为预设的滑动距离。上述第二滑动加速度可以为预设的滑动加速度。对于第二滑动距离和第二预设滑动加速度的具体设定，不作限定。这里，向左和左侧是指以用户为主体的方向。由此，可以使得用户在触敏显示屏幕上三指左滑后，浏览上一个应用窗口。
可选地，上述执行主体可以响应于上述3D虚拟界面中存在目标应用窗口的下一个应用窗口，以及上述滑动方向为向右，且上述滑动距离大于等于第三滑动距离，且上述滑动加速度大于等于第三滑动加速度，切换至上述下一个应用窗口。其中，目标应用窗口可以为处于选中状态的应用窗口。下一个应用窗口可以为在目标应用窗口右侧显示的应用窗口，还可以为在目标应用窗口显示之后最先显示的应用窗口。上述第三滑动距离可以为预设的滑动距离。上述第三滑动加速度可以为预设的滑动加速度。对于第三滑动距离和第三预设滑动加速度的具体设定，不作限定。这里，向右和右侧是指以用户为主体的方向。由此，可以使得用户在触敏显示屏幕上三指右滑后，浏览下一个应用窗口。
从图5中可以看出，与图4对应的一些实施例的描述相比，图5对应的一些实施例中的虚拟界面操作方法的流程500体现了对对应于目标应用窗口的双指滑动操作和双指点击操作进行扩展的步骤。由此，这些实施例描述的方案可以使得用户通过触敏显示屏幕双指滑动选中状态的应用窗口后，浏览滑动的应用窗口的显示内容。同时可以使得用户通过触敏显示屏幕双指点击选中状态的应用窗口中应用控件后，浏览更新后的该应用窗口。
下面参考图6，其示出了适于用来实现本公开的一些实施例的头戴式显示设备(例如图1中的头戴式显示设备)600的硬件结构示意图。图6示出的头戴式显示设备仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。
如图6所示，头戴式显示设备600可以包括处理装置(例如中央处理器、图形处理器等)601、存储器602、输入单元603、输出单元604。其中，处理装置601、存储器602、输入单元603和输出单元604通过总线605彼此相连。在此，根据本公开的实施例的方法可以被实现为计算机程序，并且存储在存储器602中。例如，本公开的一些实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。头戴式显示设备中的处理装置601通过调用存储器602中存储的上述计算机程序，来具体实现本公开的方法中限定的虚拟界面操作功能。在一些实现方式中，输入单元603可以包括触控设备(例如，目标设备的触敏显示屏幕)。由此，可以通过输入单元603中的触控设备感测是否检测到用户对于虚拟界面的操作，进而，响应于确定是，处理装置601可以调用上述计算机程序执行显示应用页面功能。输出单元604可以包括显示屏幕，用于显示3D虚拟界面和2D虚拟界面。
需要说明的是，本公开的一些实施例中记载的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述头戴式显示设备中所包含的；也可以是单独存在，而未装配入该头戴式显示设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该头戴式显示设备执行时，使得该头戴式显示设备：响应于检测到作用于目标设备的触敏显示屏幕的单指滑动操作，确定上述单指滑动操作对应的第一滑动偏移值，其中，上述目标设备与头戴式显示设备通信连接；根据上述第一滑动偏移值和第一预设滑动比例，在上述头戴式显示设备的3D虚拟界面中滑动上述单指滑动操作对应的锚点，以及在上述3D虚拟界面中显示从目标起点至上述锚点的射线，其中，上述3D虚拟界面在上述头戴式显示设备的显示屏幕中显示；响应于检测到作用于上述触敏显示屏幕的单指点击操作，以及上述单指点击操作对应的锚点在目标控件位置，在上述3D虚拟界面中创建2D虚拟界面，并在上述2D虚拟界面中显示上述单指点击操作对应的应用窗口。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种虚拟界面操作方法，包括：
响应于检测到作用于目标设备的触敏显示屏幕的单指滑动操作，确定所述单指滑动操作对应的第一滑动偏移值，其中，所述目标设备与头戴式显示设备通信连接；
根据所述第一滑动偏移值和第一预设滑动比例，在所述头戴式显示设备的3D虚拟界面中滑动所述单指滑动操作对应的锚点，以及在所述3D虚拟界面中显示从目标起点至所述锚点的射线，其中，所述3D虚拟界面在所述头戴式显示设备的显示屏幕中显示；
响应于检测到作用于所述触敏显示屏幕的单指点击操作，以及所述单指点击操作对应的锚点在目标控件位置，在所述3D虚拟界面中创建2D虚拟界面，并在所述2D虚拟界面中显示所述单指点击操作对应的应用窗口。
2.根据权利要求1所述的方法，其中，所述方法还包括：
响应于检测到作用于所述触敏显示屏幕的滑动操作或点击操作，将所述滑动操作或所述点击操作通过映射方式发送到所述显示屏幕。
3.根据权利要求1所述的方法，其中，在所述根据所述第一滑动偏移值和第一预设滑动比例，在所述头戴式显示设备的3D虚拟界面中滑动所述单指滑动操作对应的锚点之前，所述方法还包括：
根据所述单指滑动操作的滑动速度，确定第一预设滑动比例。
4.根据权利要求3所述的方法，其中，所述在所述头戴式显示设备的3D虚拟界面中滑动所述单指滑动操作对应的锚点，包括：
响应于所述触敏显示屏幕的触控模式为横屏模式，执行以下步骤：
根据所述第一滑动偏移值在所述触敏显示屏幕的短边方向的短边偏移值和所述第一预设滑动比例，确定所述单指滑动操作对应的锚点在所述3D虚拟界面中的竖向偏移值；
根据所述第一滑动偏移值在所述触敏显示屏幕的长边方向的长边偏移值和所述第一预设滑动比例，确定所述单指滑动操作对应的锚点在所述3D虚拟界面中的横向偏移值；
根据所述竖向偏移值和所述横向偏移值，在所述3D虚拟界面中滑动所述单指滑动操作对应的锚点。
5.根据权利要求1所述的方法，其中，所述方法还包括：
响应于检测到作用于所述触敏显示屏幕的双指滑动操作，将所述双指滑动操作封装为封装单指滑动操作，其中，所述双指滑动操作对应于所述3D虚拟界面中显示的目标应用窗口；
确定所述封装单指滑动操作对应的第二滑动偏移值；
根据所述第二滑动偏移值和第二预设滑动比例，滑动所述目标应用窗口的显示内容。
6.根据权利要求5所述的方法，其中，所述方法还包括：
响应于检测到作用于所述触敏显示屏幕的双指点击操作，将所述双指点击操作封装为封装单指点击操作，其中，所述双指点击操作对应于所述目标应用窗口；
响应于所述封装单指点击操作对应的锚点在目标控件位置，根据所述封装单指点击操作，更新所述目标应用窗口。
7.根据权利要求1-6之一所述的方法，其中，所述方法还包括：
响应于检测到作用于所述触敏显示屏幕的三指滑动操作，以及所述3D虚拟界面中在先显示了应用窗口，确定所述三指滑动操作对应的滑动方向、滑动距离和滑动加速度。
8.根据权利要求7所述的方法，其中，所述方法还包括：
响应于所述滑动方向为向上，以及所述滑动距离大于等于第一滑动距离，且所述滑动加速度大于等于第一滑动加速度，切换至桌面窗口。
9.根据权利要求8所述的方法，其中，所述方法还包括：
响应于所述3D虚拟界面中存在目标应用窗口的上一个应用窗口，以及所述滑动方向为向左，且所述滑动距离大于等于第二滑动距离，且所述滑动加速度大于等于第二滑动加速度，切换至所述上一个应用窗口。
10.根据权利要求9所述的方法，其中，所述方法还包括：
响应于所述3D虚拟界面中存在目标应用窗口的下一个应用窗口，以及所述滑动方向为向右，且所述滑动距离大于等于第三滑动距离，且所述滑动加速度大于等于第三滑动加速度，切换至所述下一个应用窗口。
11.一种头戴式显示设备，包括：
一个或多个处理器；
显示屏幕，用于显示3D虚拟界面和2D虚拟界面；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的方法。
12.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-10中任一所述的方法。
CN202110788467.7A 2021-07-13 2021-07-13 虚拟界面操作方法、头戴式显示设备和计算机可读介质 Active CN113589926B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110788467.7A CN113589926B (zh) 2021-07-13 2021-07-13 虚拟界面操作方法、头戴式显示设备和计算机可读介质
PCT/CN2022/105489 WO2023284791A1 (zh) 2021-07-13 2022-07-13 虚拟界面操作方法、头戴式显示设备和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110788467.7A CN113589926B (zh) 2021-07-13 2021-07-13 虚拟界面操作方法、头戴式显示设备和计算机可读介质

Publications (2)

Publication Number Publication Date
CN113589926A true CN113589926A (zh) 2021-11-02
CN113589926B CN113589926B (zh) 2022-10-25

Family

ID=78247499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110788467.7A Active CN113589926B (zh) 2021-07-13 2021-07-13 虚拟界面操作方法、头戴式显示设备和计算机可读介质

Country Status (2)

Country Link
CN (1) CN113589926B (zh)
WO (1) WO2023284791A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115344152A (zh) * 2022-07-13 2022-11-15 北京奇艺世纪科技有限公司 界面操作方法、装置、电子设备及可读存储介质
WO2023284791A1 (zh) * 2021-07-13 2023-01-19 杭州灵伴科技有限公司 虚拟界面操作方法、头戴式显示设备和计算机可读介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140147032A1 (en) * 2010-11-09 2014-05-29 The Provost Fellows,and Scholars of the College of the Holy and Undivided Trinity of Queen Elizabeth Method and System for Recovery of 3D Scene Structure and Camera Motion From a Video Sequence
CN106527722A (zh) * 2016-11-08 2017-03-22 网易（杭州）网络有限公司 虚拟现实中的交互方法、系统及终端设备
CN107133002A (zh) * 2017-03-22 2017-09-05 联想(北京)有限公司 一种信息处理方法及电子设备
CN108646997A (zh) * 2018-05-14 2018-10-12 刘智勇 一种虚拟及增强现实设备与其他无线设备进行交互的方法
US20180306898A1 (en) * 2014-11-13 2018-10-25 WorldViz, Inc. Methods and systems for an immersive virtual reality system using multiple active markers
CN110428504A (zh) * 2019-07-12 2019-11-08 北京旷视科技有限公司 文本图像合成方法、装置、计算机设备和存储介质
US20200357183A1 (en) * 2019-05-06 2020-11-12 Michael Weber Methods, Systems and Apparatuses for Viewing Content in Augmented Reality or Virtual Reality
CN111966255A (zh) * 2020-08-25 2020-11-20 北京城市网邻信息技术有限公司 信息显示方法、装置、电子设备和计算机可读介质
CN112000259A (zh) * 2020-06-30 2020-11-27 深圳点猫科技有限公司 一种基于移动终端触摸事件控制摄像头的方法及装置
CN112035028A (zh) * 2020-09-15 2020-12-04 Oppo广东移动通信有限公司 界面控制方法、界面控制装置、存储介质与电子设备
WO2021068885A1 (zh) * 2019-10-11 2021-04-15 维沃移动通信有限公司 控制方法及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11009698B2 (en) * 2019-03-13 2021-05-18 Nick Cherukuri Gaze-based user interface for augmented and mixed reality device
CN112764629B (zh) * 2021-01-28 2022-02-18 北京城市网邻信息技术有限公司 增强现实界面展示方法、装置、设备和计算机可读介质
CN113589926B (zh) * 2021-07-13 2022-10-25 杭州灵伴科技有限公司 虚拟界面操作方法、头戴式显示设备和计算机可读介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140147032A1 (en) * 2010-11-09 2014-05-29 The Provost Fellows,and Scholars of the College of the Holy and Undivided Trinity of Queen Elizabeth Method and System for Recovery of 3D Scene Structure and Camera Motion From a Video Sequence
US20180306898A1 (en) * 2014-11-13 2018-10-25 WorldViz, Inc. Methods and systems for an immersive virtual reality system using multiple active markers
CN106527722A (zh) * 2016-11-08 2017-03-22 网易（杭州）网络有限公司 虚拟现实中的交互方法、系统及终端设备
CN107133002A (zh) * 2017-03-22 2017-09-05 联想(北京)有限公司 一种信息处理方法及电子设备
CN108646997A (zh) * 2018-05-14 2018-10-12 刘智勇 一种虚拟及增强现实设备与其他无线设备进行交互的方法
US20200357183A1 (en) * 2019-05-06 2020-11-12 Michael Weber Methods, Systems and Apparatuses for Viewing Content in Augmented Reality or Virtual Reality
CN110428504A (zh) * 2019-07-12 2019-11-08 北京旷视科技有限公司 文本图像合成方法、装置、计算机设备和存储介质
WO2021068885A1 (zh) * 2019-10-11 2021-04-15 维沃移动通信有限公司 控制方法及电子设备
CN112000259A (zh) * 2020-06-30 2020-11-27 深圳点猫科技有限公司 一种基于移动终端触摸事件控制摄像头的方法及装置
CN111966255A (zh) * 2020-08-25 2020-11-20 北京城市网邻信息技术有限公司 信息显示方法、装置、电子设备和计算机可读介质
CN112035028A (zh) * 2020-09-15 2020-12-04 Oppo广东移动通信有限公司 界面控制方法、界面控制装置、存储介质与电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANDREAS SCHREIBER等: "Interactive Visualization of Software Components with Virtual Reality Headsets", 《IEEE》 *
朱晨光等: "虚拟训练系统中大屏幕多点触摸研究与实现", 《计算机仿真》 *
陈锐浩等: "WebVR在艺术品展示中的应用研究", 《现代计算机(专业版)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023284791A1 (zh) * 2021-07-13 2023-01-19 杭州灵伴科技有限公司 虚拟界面操作方法、头戴式显示设备和计算机可读介质
CN115344152A (zh) * 2022-07-13 2022-11-15 北京奇艺世纪科技有限公司 界面操作方法、装置、电子设备及可读存储介质
CN115344152B (zh) * 2022-07-13 2023-09-01 北京奇艺世纪科技有限公司 界面操作方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
WO2023284791A1 (zh) 2023-01-19
CN113589926B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
US11956528B2 (en) Shooting method using target control, electronic device, and storage medium
CN112015314B (zh) 信息展示方法、装置、电子设备和介质
WO2023284791A1 (zh) 虚拟界面操作方法、头戴式显示设备和计算机可读介质
CN111291244B (zh) 房源信息展示方法、装置、终端及存储介质
WO2023138559A1 (zh) 虚拟现实交互方法、装置、设备和存储介质
CN112954441B (zh) 视频编辑及播放方法、装置、设备、介质
WO2024061063A1 (zh) 通知消息的显示方法、装置、电子设备和存储介质
CN114064593B (zh) 一种文档共享方法、装置、设备及介质
CN114363686B (zh) 多媒体内容的发布方法、装置、设备和介质
CN113721807B (zh) 一种信息展示方法、装置、电子设备和存储介质
US20240086053A1 (en) Display method and apparatus, electronic device, and storage medium
US20240073488A1 (en) Live video processing method and apparatus, device and medium
WO2023246302A1 (zh) 字幕的显示方法、装置、设备及介质
CN112995401A (zh) 控件显示方法、装置、设备及介质
CN110262718B (zh) 输入法窗口设置方法、装置、移动终端、存储介质
US20230199262A1 (en) Information display method and device, and terminal and storage medium
US20220261122A1 (en) Desktop display control method and apparatus, terminal, and storage medium
CN115131471A (zh) 基于图像的动画生成方法、装置、设备及存储介质
CN113253874A (zh) 显示装置的控制方法、装置、终端和存储介质
CN111290692B (zh) 图片显示方法、装置、电子设备及计算机可读介质
EP2953058A1 (en) Method for displaying images and electronic device for implementing the same
CN113589927B (zh) 分屏显示方法、头戴式显示设备和计算机可读介质
CN114397961A (zh) 头戴式显示设备控制方法、头戴式显示设备组件和介质
CN116612261A (zh) 信息处理方法、装置、终端和存储介质
CN117632063A (zh) 基于虚拟现实空间的显示处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant