CN117130472A - 虚拟空间操作指引显示方法、移动设备及系统 - Google Patents

虚拟空间操作指引显示方法、移动设备及系统 Download PDF

Info

Publication number
CN117130472A
CN117130472A CN202310433645.3A CN202310433645A CN117130472A CN 117130472 A CN117130472 A CN 117130472A CN 202310433645 A CN202310433645 A CN 202310433645A CN 117130472 A CN117130472 A CN 117130472A
Authority
CN
China
Prior art keywords
mobile device
interface
user
virtual space
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310433645.3A
Other languages
English (en)
Other versions
CN117130472B (zh
Inventor
顾平平
贺壮杰
包啸君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202310433645.3A priority Critical patent/CN117130472B/zh
Publication of CN117130472A publication Critical patent/CN117130472A/zh
Application granted granted Critical
Publication of CN117130472B publication Critical patent/CN117130472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了虚拟空间操作指引显示方法、移动设备及系统,涉及终端技术领域。移动设备与头戴式显示设备连接,头戴式显示设备的虚拟空间显示操作指引第一界面,该操作指引第一界面用于指示用户如何使用移动设备操作该头戴式显示设备的虚拟空间。在虚拟空间显示该操作指引第一界面时,移动设备显示操作指引第一界面对应的提示内容。这样,用户不需要在虚拟空间中查看操作指引,然后去移动设备触摸板界面查找相应控件;用户的视线可以一直关注移动设备显示屏上的提示内容,不需要在虚拟空间和移动设备显示屏之间来回切换,提高了操作效率,提升了用户使用体验。

Description

虚拟空间操作指引显示方法、移动设备及系统
技术领域
本申请涉及终端技术领域,尤其涉及一种虚拟空间操作指引显示方法、移动设备及系统。
背景技术
随着计算机图形技术的发展,增强现实(augmented reality,AR)、虚拟现实(virtual reality,VR)、混合现实(mediated reality,MR)等扩展现实(extendedreality,XR)技术逐渐应用到人们的生活中。例如,头戴式显示设备利用AR、VR、MR等技术在虚拟空间显示图像,可以使得用户感受到3D场景,为用户提供AR/VR/MR体验。
头戴式显示设备的人机交互方式通常是将手机等移动设备作为头戴式显示设备的遥控器来进行操作。用户首次使用头戴式显示设备时,可能并不了解如何操作。
目前,头戴式显示设备提供了虚拟空间操作指引功能,可以指导用户如何移动虚拟空间中射线、如何通过移动设备上的触摸板调整虚拟空间中显示对象的位置、如何在虚拟空间中扫描二维码等。如何优化操作指引功能,方便用户理解和操作,是需要考虑的一个问题。
发明内容
本申请实施例提供一种虚拟空间操作指引显示方法、移动设备及系统,能够提供更易于用户理解和操作的虚拟空间操作指引,提升用户的操作效率和使用体验。
为达到上述目的,本申请的实施例采用如下技术方案:
第一方面,提供了一种虚拟空间操作指引显示方法,应用于移动设备,该移动设备与头戴式显示设备连接,该方法包括:移动设备接收用户的第一操作;响应于第一操作,移动设备触发头戴式显示设备的虚拟空间显示操作指引第一界面;该操作指引第一界面用于指示用户如何使用移动设备操作头戴式显示设备的虚拟空间。在虚拟空间显示操作指引第一界面时,移动设备显示操作指引第一界面对应的提示内容。
在该方法中,当在虚拟空间显示操作指引(提示图像和提示文本)时,在与操作指引对应的移动设备上也显示对应的提示内容。用户不需要在虚拟空间中查看操作指引,然后去移动设备触摸板界面查找相应控件;用户的视线可以一直关注移动设备显示屏上的提示内容,不需要在虚拟空间和移动设备显示屏之间来回切换,提高了操作效率,提升了用户使用体验。
结合第一方面,在一种实施方式中,虚拟空间显示的操作指引第一界面包括第一提示信息,用于提示用户移动该移动设备;相应的,移动设备显示第一提示内容,用于提示用户移动该移动设备。
结合第一方面,在一种实施方式中,虚拟空间显示的操作指引第一界面包括第二提示信息,用于提示用户操作移动设备显示界面中第一控件;相应的,移动设备显示界面中显示第二提示内容,用于提示用户操作该第一控件。
在该方法中,虚拟空间操作指引中的指示信息是针对第一控件的,相应的,移动设备显示针对第一控件的提示内容。用户不需要先在虚拟空间内学习指引内容,然后再去移动设备上查找对应控件,避免了视线来回切换。
其中,移动设备显示界面中显示第二提示内容,包括以下一项或以下多项的组合:
第一控件以第一效果进行显示;该第一效果使得第一控件更容易被识别;比如,第一效果包括突出显示、加粗显示、抖动动效或弹出动效中至少一项。
移动设备显示界面中显示提示动效,用于提示用户第一控件的操作方式;比如,可以在第一控件上显示提示动效,或者在第一控件之外显示提示动效。
移动设备显示界面中显示提示文本,用于提示第一控件的操作方式;比如,可以在第一控件上显示提示文本,或者在第一控件之外显示提示文本。
结合第一方面,在一种实施方式中,移动设备触发头戴式显示设备的虚拟空间显示操作指引第一界面,包括:移动设备生成操作指引第一界面的第一显示数据,移动设备向头戴式显示设备发送该第一显示数据,使得头戴式显示设备根据第一显示数据在虚拟空间显示操作指引第一界面。
在该方法中,移动设备为头戴式显示设备提供显示数据;并且,移动设备生成其显示界面中提示内容的显示数据;移动设备为头戴式显示设备和其自身这两个设备提供显示数据。移动设备统一进行处理,减少两个设备之间的交互信息,节约通信资源。其中,移动设备为头戴式显示设备提供的显示数据中包括第一提示信息的显示数据,为其自身提供的显示数据中包括第一提示内容或第二提示内容的显示数据。
结合第一方面,在一种实施方式中,移动设备触发头戴式显示设备的虚拟空间显示操作指引第一界面,包括:移动设备生成第一操作对应的第一事件,向头戴式显示设备发送第一事件,触发头戴式显示设备在虚拟空间显示操作指引第一界面。
在该方法中,移动设备不为头戴式显示设备提供显示数据,可以节省移动设备的处理资源。
结合第一方面,在一种实施方式中,接收用户的第一操作,包括:接收用户在移动设备上的第一操作;或者,接收用户在虚拟空间内的第一操作。
第二方面,提供了一种移动设备,该移动设备具有实现上述第一方面所述的方法的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第三方面,提供了一种移动设备,包括:处理器、显示屏和存储器;该存储器用于存储计算机执行指令,当该移动设备运行时,该处理器执行该存储器存储的该计算机执行指令,以使该移动设备执行如上述第一方面中任一项所述的方法。
第四方面,提供了一种移动设备,包括:处理器;所述处理器用于与存储器耦合,并读取存储器中的指令之后,根据所述指令执行如上述第一方面中任一项所述的方法。
第五方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机可以执行上述第一方面中任一项所述的方法。
第六方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机可以执行上述第一方面中任一项所述的方法。
第七方面,提供了一种装置(例如,该装置可以是芯片系统),该装置包括处理器,用于支持电子设备实现上述第一方面中所涉及的功能。在一种可能的设计中,该装置还包括存储器,该存储器,用于保存电子设备必要的程序指令和数据。该装置是芯片系统时,可以由芯片构成,也可以包含芯片和其他分立器件。
其中,第二方面至第七方面中任一种设计方式所带来的技术效果可参见第一方面中不同设计方式所带来的技术效果,此处不再赘述。
附图说明
图1为本申请实施例提供的虚拟空间操作指引显示方法所适用的系统架构示意图;
图2为本申请实施例提供的一种移动设备的硬件结构示意图;
图3A为本申请实施例提供的一种头戴式显示设备的光学构成示意图;
图3B为本申请实施例提供的一种头戴式显示设备的硬件结构示意图;
图4为用户与头戴式显示设备进行人机交互的一种场景实例示意图;
图5为一种虚拟空间操作指引显示方法;
图6为本申请实施例提供的虚拟空间操作指引显示方法的场景实例示意图一;
图7为本申请实施例提供的虚拟空间操作指引显示方法的场景实例示意图二;
图8为本申请实施例提供的虚拟空间操作指引显示方法的场景实例示意图三;
图9为本申请实施例提供的虚拟空间操作指引显示方法的场景实例示意图四;
图10为本申请实施例提供的虚拟空间操作指引显示方法的场景实例示意图五;
图11为本申请实施例提供的虚拟空间操作指引显示方法的场景实例示意图六;
图12为本申请实施例提供的虚拟空间操作指引显示方法的场景实例示意图七;
图13为本申请实施例提供的虚拟空间操作指引显示方法的场景实例示意图八;
图14为本申请实施例提供的虚拟空间操作指引显示方法的一种流程示意图;
图15为本申请实施例提供的一种移动设备结构组成示意图;
图16为本申请实施例提供的一种芯片系统结构组成示意图。
具体实施方式
在本申请实施例的描述中,以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请以下各实施例中,“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系;例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接,除非另外说明。“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例提供的虚拟空间操作指引显示方法可以应用于图1所示的系统。该系统10可以包括:移动设备100和头戴式显示设备200。
其中,移动设备100和头戴式显示设备200之间可以通过有线或者无线的方式连接。有线连接可包括通过通用串行总线(universal serial bus,USB)接口、高清晰度多媒体接口(high definition multimedia interface,HDMI)接口等接口进行通信的有线连接。无线连接可包括通过蓝牙、无线保真(wireless fidelity,Wi-Fi)直连(如Wi-Fi p2p)、Wi-Fi softAP、Wi-Fi LAN、射频等技术进行通信的无线连接中一项或多项。本申请实施例对二者的连接方式不作限制。
移动设备100可以是手机、平板电脑,还可以是具有触敏表面或触控面板的膝上型计算机(Laptop)、具有触敏表面或触控面板的台式计算机等非便携式终端设备。移动设备100可运行特定应用程序,以提供传输给头戴式显示设备200显示的内容,该应用程序例如可以是视频应用、游戏应用、音乐应用、桌面应用、镜像投屏应用等。
头戴式显示设备200的可实现形式包括头盔、眼镜、耳机等可以佩戴在用户头部的电子装置。头戴式显示设备200利用AR、VR、MR等技术在虚拟空间显示图像,可以使得用户感受到3D场景,为用户提供AR/VR/MR体验。该3D场景可包括3D的图像、3D的视频、音频等。可以理解的,图1所示虚拟空间是一个平面,在实际使用中,虚拟空间可以是存在曲率的弯曲空间。
头戴式显示设备200可佩戴于用户头部,相当于移动设备100的一个外延显示器。移动设备100为头戴式显示设备200提供显示数据。
移动设备100还可充当输入设备,接收点击、滑动等用户操作,而且可向AR/VR/MR的虚拟空间(AR空间、VR空间或MR空间)中投递射线,以模拟鼠标作用,便于用户对头戴式显示设备200所显示的内容作出的控制操作。
当移动设备100用作输入设备时,可通过其配置的多种传感器,例如触敏传感器、加速度传感器、陀螺仪传感器、磁传感器、压力传感器等,接收用户输入。其中,加速度传感器、陀螺仪传感器可用于检测用户移动移动设备100的操作,该操作可用来改变射线的方向;触敏传感器、压力传感器等可用来检测用户在触控屏等触摸面板上的触控操作,例如滑动操作、点击操作、短按操作、长按操作等。
头戴式显示设备200可以配置有一些物理按键,以接收一些用户输入,例如用于开关屏的按键、用于调整屏幕亮度的按键、用于切换空间模式和镜像模式的按键等。这些用户输入可通过头戴式显示设备200与移动设备100之间的有线或无线通信连接传输至移动设备100,继而触发移动设备100对此作出响应。例如,响应于从空间模式切换到镜像模式的用户输入,移动设备100可停止向头戴式显示设备200传输空间模式的显示数据,而开始传输镜像模式的显示数据。镜像模式的显示数据主要是移动设备100的屏幕流,可由移动设备100上的镜像投屏应用提供。空间模式的显示数据可由移动设备100上的特定应用程序提供,该特定应用程序可以是视频应用、游戏应用、音乐应用、桌面应用等。
用户看到头戴式显示设备200显示的图像后,可以通过在移动设备100或者头戴式显示设备200输入用户操作,以控制虚拟空间内的显示内容,以及头戴式显示设备200的工作状态,例如开关状态、屏幕亮度等。
图2示例性示出了本申请实施例提供的移动设备100的硬件架构图。如图2所示,该移动设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,传感器模块180,摄像头191,显示屏192。其中传感器模块180可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器等。
其中,处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。
移动设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。移动设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在移动设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏192显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在移动设备100上的包括无线局域网(WLAN)(如无线保真(Wi-Fi)网络),蓝牙(BT),全球导航卫星系统(GNSS),调频(FM),近距离无线通信技术(NFC),红外技术(IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,移动设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得移动设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
移动设备100通过GPU,显示屏192,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏192和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏192用于显示图像,视频等。显示屏192包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,移动设备100可以包括1个或N个显示屏192,N为大于1的正整数。
压力传感器用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器可以设置于显示屏192。压力传感器的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器,电极之间的电容改变。移动设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏192,移动设备100根据压力传感器检测所述触摸操作强度。移动设备100也可以根据压力传感器的检测信号计算触摸的位置。
触摸传感器,也称“触控面板”。触摸传感器可以设置于显示屏192,由触摸传感器与显示屏192组成触摸屏,也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏192提供与触摸操作相关的视觉输出。
移动设备100可以通过压力传感器或触摸传感器检测用户在显示屏192上做出的手势。比如向上滑动手势、向下滑动手势、向左滑动手势、向右滑动手势、点击手势、长按手势、敲击手势等。
移动设备100可以通过ISP,摄像头191,视频编解码器,GPU,显示屏192以及应用处理器等实现拍摄功能。
ISP用于处理摄像头191反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。
摄像头191用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。在一些实施例中,移动设备100可以包括1个或N个摄像头191,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当移动设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。移动设备100可以支持一种或多种视频编解码器。这样,移动设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展移动设备100的存储能力。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储移动设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行移动设备100的各种功能应用以及数据处理。
移动设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,以及应用处理器等实现音频功能。例如音乐播放,录音等。其中,音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
内部存储器121可用于存储一个或多个应用的应用程序,该应用程序包括指令。当该应用程序被处理器110执行时,使得移动设备100生成用于呈现给用户的内容。示例性的,该应用可以包括用于管理头戴式显示设备200的应用、游戏应用、会议应用、视频应用、桌面应用或其他应用等。
GPU可用于根据从处理器110处获取到的数据(例如应用程序提供的数据)执行数学和几何运算,利用计算机图形技术、计算机仿真技术等来渲染图像,确定用于在头戴式显示设备200上显示的图像。在一些实施例中,GPU可以将校正或预失真添加到图像的渲染过程中,以补偿或校正由头戴式显示设备200的光学组件引起的失真。
在本申请一些实施例中,移动设备100可通过移动通信模块150、无线通信模块160或者有线接口将GPU处理后得到的图像发送给头戴式显示设备200。
需要说明的是,图2示意的结构并不构成对移动设备100的具体限定。在本申请另一些实施例中,移动设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
图3A示例性示出了本申请实施例提供的头戴式显示设备200的光学构成。如图3A所示,头戴式显示设备200可包括:显示屏201、光学组件202、显示屏203、光学组件204。其中,显示屏201和显示屏203可以是一个整体,即一整块屏幕的左右两个部分。光学组件202和光学组件204的材质、结构等相同。光学组件202和光学组件204可由一个或多个透镜组成,该透镜可包括凸透镜、菲涅尔透镜或其他类型的透镜中的一个或多个。
显示屏201和光学组件202对应于用户的左眼。用户佩戴头戴式显示设备200时,显示屏201上可以显示有图像a1。显示屏201显示图像a1时发出的光经过光学组件202的透射后将在用户左眼前方形成该图像a1的虚像a1’。
显示屏203和光学组件204对应于用户的右眼。用户佩戴头戴式显示设备时,显示屏203可以显示有图像a2。显示屏203显示图像a2时发出的光经过光学组件204的透射后将在用户右眼前方形成该图像a2的虚像a2’。
图像a1和图像a2为针对同一物体例如物体a的具有视差的两幅图像。视差是指从有一定距离的两个点上观察同一个物体时,该物体在视野中位置的差异。虚像a1’和虚像a2’位于同一平面上,该平面可以被称为虚像面。
在佩戴头戴式显示设备200时,用户的左眼会聚焦到虚像a1’上,用户的右眼会聚焦到虚像a2’上。然后,虚像a1’和虚像a2’会在用户的大脑中叠加成为一幅完整且具有立体感的图像,该过程被称为辐辏。在辐辏过程中,双眼视线的交汇点会被用户认为是图像a1和图像a2所描述的物体实际所在的位置。由于辐辏过程,用户便可以感受到头戴式显示设备200提供的3D场景。
图3B示例性示出了本申请实施例提供的头戴式显示设备200的硬件架构。如图3B所示,头戴式显示设备200可包括:处理器210、存储器211、通信模块212、传感器系统213、摄像头214、显示装置215、音频装置216。以上各个部件可以耦合连接并相互通信。
可理解的,图3B所示的结构并不构成对头戴式显示设备200的具体限定。在本申请另一些实施例中,头戴式显示设备200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。例如,头戴式显示设备200还可以包括物理按键如开关键、音量键、屏幕亮度调节键,以及各类接口,例如USB接口等。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器210可以包括一个或多个处理单元,例如:处理器可以包括AP,调制解调处理器,GPU,ISP,控制器,视频编解码器,DSP,基带处理器,和/或NPU等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制,使得各个部件执行相应的功能,例如人机交互、运动跟踪/预测、渲染显示、音频处理等。
存储器211可存储一些可执行的指令。存储器211可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储头戴式显示设备200使用过程中所创建的数据(比如音频数据等)等。此外,存储器211可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flashstorage,UFS)等。处理器210通过运行存储在存储器211的指令,和/或存储在设置于处理器中的存储器的指令,执行头戴式显示设备200的各种功能应用以及数据处理。
通信模块212可包括移动通信模块和无线通信模块。其中,移动通信模块可以提供应用在头戴式显示设备200上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块可以提供应用在头戴式显示设备200上的包括无线局域网(wireless local area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块可以是集成至少一个通信处理模块的一个或多个器件。
传感器系统213可包括加速度计、指南针、陀螺仪、磁力计、或用于检测运动的其他传感器等。传感器系统213用于采集对应的数据,例如加速度传感器采集头戴式显示设备200加速度、陀螺仪传感器采集头戴式显示设备200的运动速度等。传感器系统213采集到的数据可以反映佩戴该头戴式显示设备200的用户头部的运动情况。在一些实施例中,传感器系统213可以为设置在头戴式显示设备200内的惯性测量单元(inertial measurementunit,IMU)。在一些实施例中,头戴式显示设备200可以将传感器系统获取到的数据发送给处理器210进行分析。用户可以可通过在头戴式显示设备200上输入头部运动操作,来触发头戴式显示设备200执行对应的功能。用户头部的运动情况可包括:是否转动、转动的方向等。
传感器系统213还可以包括光学传感器,用于结合摄像头214来跟踪用户的眼睛位置以及捕获眼球运动数据。该眼球运动数据例如可以用于确定用户的眼间距、每只眼睛相对于头戴式显示设备200的3D位置、每只眼睛的扭转和旋转(即转动、俯仰和摇动)的幅度和注视方向等。在一个示例中,红外光在头戴式显示设备200内发射并从每只眼睛反射,反射光由摄像头214或者光学传感器检测到,检测到的数据被传输给处理器210,以使得处理器210从每只眼睛反射的红外光的变化中分析用户眼睛的位置、瞳孔直径、运动状态等。
摄像头214可以用于捕捉捕获静态图像或视频。该静态图像或视频可以是面向外部的用户周围的图像或视频,也可以是面向内部的图像或视频。摄像头214可以跟踪用户单眼或者双眼的运动。摄像头214包括但不限于传统彩色摄像头(RGB camera)、深度摄像头(RGB depth camera)、动态视觉传感器(dynamic vision sensor,DVS)相机等。深度摄像头可以获取被拍摄对象的深度信息。在一些实施例中,摄像头214可用于捕捉用户眼睛的图像,并将图像发送给处理器210进行分析。处理器210可以根据摄像头214采集到的图像,确定用户眼睛的状态,并根据用户眼睛所处的状态执行对应的功能。也就是说,用户可通过在头戴式显示设备200上输入眼睛运动操作,来触发头戴式显示设备200执行对应的功能。用户眼睛的状态可包括:是否转动、转动的方向、是否长时间未转动、看向外界的角度等。
音频装置216用于实现音频的采集以及输出。音频装置216可包括但不限于:麦克风、扬声器、耳机等。
头戴式显示设备200通过GPU,显示装置215,以及应用处理器等来呈现或者显示图像。
GPU为图像处理的微处理器,连接显示装置215和应用处理器。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。GPU用于根据从处理器210处得到的数据执行数学和几何计算,利用计算机图形技术、计算机仿真技术等来渲染图像,以提供用于在显示装置215上显示的内容。GPU还用于将校正或预失真添加到图像的渲染过程中,以补偿或校正由显示装置215中的光学组件引起的失真。GPU还可以基于来自传感器系统213的数据来调整提供给显示装置215的内容。例如,GPU可以基于用户眼睛的3D位置、瞳距等在提供给显示装置215的内容中添加景深信息。
显示装置215可包括:一个或多个显示屏、一个或多个光学组件。这里,显示屏和光学组件的结构以及它们之间的位置关系可参考图3A中的相关描述。其中,显示屏可包括显示面板,显示面板可以用于显示图像,从而为用户呈现立体的虚拟场景。显示面板可以采用LCD,OLED,AMOLED,FLED,Miniled,MicroLed,Micro-oLed,QLED等。光学组件可用于将来自显示屏的光引导至出射光瞳以供用户感知。在一些实施方式中,光学组件中的一个或多个光学元件(例如透镜)可具有一个或多个涂层,诸如,抗反射涂层。光学组件对图像光的放大允许显示屏在物理上更小、更轻、消耗更少的功率。另外,图像光的放大可以增加显示屏显示的内容的视野。例如,光学组件可以使得显示屏所显示的内容的视野为用户的全部视野。
在本申请实施例中,头戴式显示设备200中的显示屏可用于显示移动设备100传输过来的显示数据,给用户提供XR体验。
头戴式显示设备200可以在虚拟空间显示图像,使得用户感受到3D场景,为用户提供AR/VR/MR体验。示例性的,如图4所示,头戴式显示设备200的虚拟空间显示桌面界面,该桌面界面上可显示各种应用程序的桌面图标,例如“联系人”、“日历”、“天气”、“视频”、“时间”、“购物”、“游戏”、“短视频”、“音乐”、“新手指引”等应用程序的桌面图标。不限于应用程序,桌面界面上还可包括文件、文件夹等对象。在一些虚拟空间中,用户可以通过移动虚拟空间中的射线对虚拟空间的显示对象进行操作。
移动设备100可以作为头戴式显示设备200的输入设备,比如将手机作为AR眼镜的输入设备,用户可以通过在移动设备100上进行操作,实现与头戴式显示设备200的人机交互。以移动设备100是手机,头戴式显示设备200是AR眼镜为例。参考图4,手机100上安装有AR应用,AR应用用于对AR眼镜200的虚拟空间进行管理。响应于用户对AR应用的应用图标的点击操作,手机100启动AR应用,显示触摸板界面101。AR眼镜200显示虚拟空间后,用户可以使用AR应用实现与AR眼镜200的虚拟空间的人机交互。可选的,用户可以通过移动手机100的位置和朝向来控制虚拟空间内的射线的指向位置,实现与虚拟空间内显示对象的人机交互。可选的,触摸板界面101上设置有各种虚拟按键,用户可以通过对虚拟按键的操作实现与虚拟空间内显示对象的人机交互。示例性的,触摸板界面101包括触控区域102,用户可以在触控区域102内向上、向下、向左或向右滑动(执行滑动手势),相应的向上、向下、向左或向右移动虚拟空间内的射线;还可以在触控区域102内执行点击、长按等操作(执行点击手势、长按手势),实现与虚拟空间内显示对象的人机交互。
示例性的,参考图4,用户可以在触控区域102内向上、向下、向左或向右滑动,移动虚拟空间内的射线,使得射线移动至桌面界面上“新手指引”应用的桌面图标;然后用户可以在触控区域102内执行点击操作,选中“新手指引”应用的桌面图标。响应于该点击操作,头戴式显示设备200在虚拟空间内显示“新手指引”应用的应用界面301。
示例性的,在一些实施例中,触摸板界面101上还包括一些虚拟按键,用户通过点击移动设备100上的虚拟按键实现在头戴式显示设备200的虚拟空间内进行截屏、录屏、射线校准、设置、返回主页等操作。示例性的,参考图4,移动设备100的触摸板界面101上包括“主页”按钮103,用户可以点击“主页”按钮103实现显示或隐藏桌面界面。触摸板界面101上还包括“截屏”按钮104,用户可以点击“截屏”按钮104实现对虚拟空间的显示界面截图。触摸板界面101上还包括“录屏”按钮105,用户可以点击“录屏”按钮105实现对虚拟空间的显示界面进行录屏。触摸板界面101上还包括“校准”按钮106,用户可以点击“校准”按钮106实现对射线的指向进行校准。触摸板界面101上还包括“设置”按钮107,用户可以点击“设置”按钮107实现虚拟空间中各种参数的设置,还可以启动或关闭一些功能(比如启动扫描二维码)。
移动设备作为头戴式显示设备的输入设备,用户可以通过移动设备在头戴式显示设备的虚拟空间中便捷地执行各种操作。但是,用户可能并不熟悉具体如何使用。目前,头戴式显示设备提供了虚拟空间操作指引功能(比如上述“新手指引”应用),在虚拟空间内显示提示图像和提示文本,可以指导用户如何通过移动设备移动虚拟空间中射线、如何通过移动设备上的触摸板调整虚拟空间中显示对象的位置、如何使用移动设备在虚拟空间中扫描二维码等。示例性的,图5示出了一种虚拟空间操作指引显示方法。该方法中,虚拟空间内显示的操作指引用于指示如何使用移动设备在虚拟空间中扫描二维码。参考图5,手机100作为AR眼镜200的输入设备,手机100开启AR应用,显示触摸板界面101;AR眼镜200开启虚拟空间操作指引功能(比如“新手指引”应用)。首先,虚拟空间显示指引界面302,指引界面302包括指示信息“点击触摸板上设置按钮”;指引界面302还包括指引图像303,用于指示“设置”按钮在触摸板界面中的具体位置。用户先将视线聚焦在虚拟空间,学习到需要先点击触摸板上的“设置”按钮;然后将视线移动到手机显示屏上,查找触摸板界面101中的“设置”按钮107。然后,用户可以点击“设置”按钮107,响应于用户对“设置”按钮107的点击操作,手机更新显示界面。之后,用户需要将视线移动至虚拟空间,查看下一步操作步骤。可选的,指引界面302还包括“下一步”按钮,响应于用户对“下一步”按钮的点击操作,虚拟空间更新显示界面,显示指引界面304。指引界面304包括指示信息“点击触摸板上空间扫码选项”;指引界面304还包括指引图像305,用于指示“空间扫码”选项在触摸板界面中的具体位置。用户根据指引界面304的指示信息和指引图像,学习到需要点击“空间扫码”选项;然后将视线移动到手机显示屏上,查找触摸板界面101中的“空间扫码”选项。触摸板界面101中包括触控区域102,在触控区域102上包括“空间扫码”选项108。经过这样一套学习流程,用户就可以学习到如何使用手机在AR眼镜的虚拟空间中扫描二维码。
在该学习过程中,用户在学习时,看到虚拟空间中的提示图像和提示文本后,需要将视线从虚拟空间跳转到手机上,查找对应的虚拟按键,了解虚拟按键的具体位置。用户的视线需要反复在“阅读虚拟空间中操作指引”和“在手机上查找虚拟按键”之间频繁切换,操作成本较高。
本申请实施例提供一种虚拟空间操作指引显示方法,当在虚拟空间显示操作指引(提示图像和提示文本)时,在与操作指引对应的移动设备虚拟按键上也显示提示内容。当用户在移动设备上进行操作时,无需频繁切换视线去观察虚拟空间中的操作指引,提升了用户的操作效率和使用体验。
仍然以指示如何使用移动设备在虚拟空间中扫描二维码的操作指引为例。示例性的,如图6所示,AR眼镜200的虚拟空间显示指引界面302,相应的,手机100的触摸板界面101上显示指示信息“点击设置按钮”,而且“设置”按钮107突出显示(或者显示抖动动效等)。用户可以直接将视线聚焦在手机显示屏,学习到需要先点击触摸板上的“设置”按钮107。可选的,指引界面302还包括“下一步”按钮,用户可以点击“下一步”按钮,查看下一个指引步骤。进一步的,响应于用户对“下一步”按钮的点击操作,虚拟空间更新显示界面,显示指引界面304。相应的,触摸板界面101中的触控区域102上显示“空间扫码”选项108。并且,“空间扫码”选项108突出显示(或者显示抖动动效等)。用户不需要在虚拟空间中查看操作指引,然后去手机触摸板界面查找相应控件;用户的视线可以一直关注手机显示屏上的提示内容,不需要在虚拟空间和手机显示屏之间来回切换,提高了操作效率,提升了用户使用体验。
下面,以移动设备是手机,头戴式显示设备是AR眼镜为例,结合附图对本申请实施例提供的虚拟空间操作指引显示方法进行详细介绍。
在一些实施例中,虚拟空间中显示针对第一控件的提示信息,相应的,手机触摸板界面上第一控件以第一效果显示。该第一效果使得第一控件更容易被识别。示例性的,第一效果可以是突出显示、加粗显示、抖动动效、弹出动效等。
在一种示例中,以第一控件是触控区域102为例。如图7所示,AR眼镜200启动“新手指引”应用后,在虚拟空间显示“新手指引”欢迎界面301。用户可以在手机100上启动AR应用,手机100显示触摸板界面101,触摸板界面101包括触控区域102。可选的,欢迎界面301包括“下一步”按钮,用户可以点击“下一步”按钮,查看下一个指引步骤。进一步的,响应于用户对欢迎界面301上“下一步”按钮的点击操作,虚拟空间更新显示界面,显示指引界面306。其中,指引界面306包括提示文本“欢迎使用AR眼镜,请长按触控区域继续使用”,该提示文本用于提示用户在触控区域(手机100的触摸板界面101中触控区域102)进行操作,也就是说,第一控件是手机100的触摸板界面101中触控区域102。相应的,手机100上第一控件(触控区域102)以第一效果显示。示例性的,如图7所示,触控区域102突出显示。
在一些实施例中,虚拟空间中显示针对第一控件的提示信息,相应的,手机触摸板界面上第一控件以第一效果显示,并且第一控件上还显示相关的提示动效。该第一效果使得第一控件更容易被识别。示例性的,第一效果可以是突出显示、加粗显示、抖动动效、弹出动效等。提示动效用于提示该第一控件的操作方式。
在一种示例中,以第一控件是触控区域102为例。如图8所示,虚拟空间显示指引界面307,指引界面307用于提示用户通过在手机触控区域上下滑动,实现将页面滑到底部。也就是说,第一控件是手机100的触摸板界面101中触控区域102。相应的,手机100上第一控件(触控区域102)以第一效果显示。示例性的,如图8所示,触控区域102突出显示。进一步的,触控区域102显示提示动效,用于提示用户向上或向下滑动。
在一些实施例中,虚拟空间中显示针对第一控件的提示信息,相应的,手机触摸板界面上第一控件以第一效果显示,并且第一控件上还显示相关的提示文本。该第一效果使得第一控件更容易被识别。示例性的,第一效果可以是突出显示、加粗显示、抖动动效、弹出动效等。提示文本用于提示该第一控件的操作方式。
在一种示例中,以第一控件是触控区域102为例。如图9所示,虚拟空间显示指引界面308,指引界面308用于提示用户通过点击手机上触控区域,实现让虚拟空间显示的光球消失。也就是说,第一控件是手机100的触摸板界面101中触控区域102。相应的,手机100上第一控件(触控区域102)以第一效果显示。示例性的,如图9所示,触控区域102突出显示。进一步的,触控区域102显示提示文本“请点击”,用于提示用户点击触控区域102。
在一些实施例中,虚拟空间中显示针对第一控件的提示信息,相应的,手机触摸板界面上第一控件以第一效果显示,并且触摸板界面还显示相关的提示文本(不在第一控件上)。该第一效果使得第一控件更容易被识别。示例性的,第一效果可以是突出显示、加粗显示、抖动动效、弹出动效等。提示文本用于提示该第一控件的操作方式。
以第一控件是“主页”按钮103为例。在一种示例中,如图10所示,虚拟空间显示指引界面309,指引界面309用于提示用户通过点击手机上的主页键唤起虚拟空间的桌面界面。也就是说,第一控件是手机100的触摸板界面101中“主页”按钮103。相应的,手机100上第一控件(“主页”按钮103)以第一效果显示。示例性的,如图10所示,“主页”按钮103突出显示。进一步的,触摸板界面101的触控区域102显示提示文本“点击主页键唤起AR桌面”,用于提示用户点击“主页”按钮103。在该示例中,提示文本不是在第一控件上显示的。在另一种示例中,如图11所示,虚拟空间显示指引界面310,指引界面310用于提示用户通过长按手机上的主页键重置桌面位置。也就是说,第一控件是手机100的触摸板界面101中“主页”按钮103。相应的,手机100上第一控件(“主页”按钮103)以第一效果显示。示例性的,如图11所示,“主页”按钮103突出显示。进一步的,触摸板界面101的触控区域102显示提示文本“长按主页键重置AR桌面”,用于提示用户长按“主页”按钮103。在该示例中,提示文本不在第一控件上显示。
在另一些实施例中,虚拟空间中显示的提示信息不是针对第一控件的,而是针对整个手机(触摸板)的,相应的,手机触摸板界面上显示针对手机(触摸板)的提示内容。示例性的,如图12所示,虚拟空间显示指引界面311,指引界面311用于提示用户通过移动手机控制虚拟空间中的光鼠。相应的,手机100的触摸板界面101显示提示文本“你可以移动手机控制光鼠”,用于提示用户通过移动手机控制虚拟空间中的光鼠。
图13示出了本申请实施例提供的虚拟空间操作指引显示方法的一种场景实例示意图。该示例中,结合了手机上显示针对手机(触摸板)的提示内容的场景,手机触摸板界面上第一控件以第一效果显示并且第一控件上显示提示文本的场景,以及手机触摸板界面上第一控件以第一效果显示并且第一控件上显示提示动效的场景。
如图13所示,虚拟空间显示指引界面312,指引界面312用于提示用户通过移动手机控制虚拟空间中的光鼠,将光鼠移动至指定区域。相应的,手机100的触摸板界面101显示提示文本“移动手机操控光鼠”,用于提示用户通过移动手机控制虚拟空间中的光鼠。
可选的,指引界面312还包括“下一步”按钮。响应于用户对“下一步”按钮的点击操作,虚拟空间显示指引界面313,指引界面313用于提示用户点击手机上触控区域来拾起窗口。相应的,手机100上第一控件(触控区域102)以第一效果显示。示例性的,触控区域102突出显示。进一步的,触控区域102显示提示文本“点击拾起窗口”,用于提示用户点击触控区域102。
可选的,指引界面313还包括“下一步”按钮。响应于用户对“下一步”按钮的点击操作,虚拟空间显示指引界面314,指引界面314用于提示用户在手机的触控区域向上、向下、向左或向右滑动来控制虚拟空间中窗口的大小和位置。相应的,手机100上第一控件(触控区域102)以第一效果显示。示例性的,触控区域102突出显示。进一步的,触控区域102显示提示动效,用于提示用户在触控区域102向上、向下、向左或向右滑动。
可以理解的,在另一些实施例中,头戴式显示设备的虚拟空间中显示操作指引时,也可以在手机上通过振动、音效、语音等方式向用户发出提示,便于用户在手机上获取操作指引。具体实现方式可以根据实际情况确定,本申请实施例中不再一一进行举例说明。
示例性的,图14示出了本申请实施例提供的虚拟空间操作指引显示方法的一种流程示意图。如图14所示,本申请实施例提供的虚拟空间操作指引显示方法可以包括:
S401、移动设备接收用户的第一操作。
在一种示例中,第一操作为开启虚拟空间操作指引功能的操作;例如,点击“新手指引”应用的应用图标的操作。在另一种示例中,第一操作为切换虚拟空间显示界面的操作;例如,点击虚拟空间显示界面中“下一步”按钮的操作。
其中,第一操作可以为用户在移动设备上执行的操作;例如用户在手机的触摸区域滑动,移动虚拟空间内射线至“新手指引”应用的应用图标,然后点击手机上触摸区域(第一操作),启动“新手指引”应用;例如用户在手机的触摸区域滑动,移动虚拟空间内射线至“下一步”按钮,然后点击手机上触摸区域(第一操作),触发虚拟空间更新显示界面。在另一些实施方式中,第一操作可以为用户在虚拟空间内执行的操作;例如,用户通过向头戴式显示设备输入语音或手势,点击虚拟空间内“新手指引”应用的应用图标或点击“下一步”按钮。
S402、响应于第一操作,移动设备触发头戴式显示设备的虚拟空间显示操作指引第一界面。
在一种实现方式中,移动设备生成头戴式显示设备的显示数据。接收到第一操作后,移动设备生成操作指引第一界面的显示数据,并将操作指引第一界面的显示数据发送给头戴式显示设备;头戴式显示设备显示操作指引第一界面。在另一种实现方式中,移动设备接收到第一操作后,生成第一操作对应的第一事件,将第一事件发送给头戴式显示设备;头戴式显示设备接收到第一事件,生成操作指引第一界面的显示数据,并显示操作指引第一界面。
其中,操作指引第一界面用于指示用户如何使用移动设备操作头戴式显示设备的虚拟空间。示例性的,操作指引第一界面可以是图6中指引界面302或指引界面304,可以是图7中指引界面306,可以是图8中指引界面307,可以是图9中指引界面308,可以是图10中指引界面309,可以是图11中指引界面310,可以是图12中指引界面311,还可以是图13中指引界面312、指引界面313或指引界面314等。
S403、在虚拟空间显示操作指引第一界面时,移动设备显示界面中对应显示提示内容。
在一种示例中,操作指引第一界面包括第一提示信息,第一提示信息用于提示用户移动该移动设备。相应的,移动设备显示界面中显示第一提示内容,第一提示内容用于提示用户移动该移动设备。示例性的,如图12所示,操作指引第一界面为指引界面311,指引界面311中第一提示信息为提示文本“你可以移动手机控制光鼠”,对应的,手机100显示的第一提示内容为提示文本“你可以移动手机控制光鼠”。
在一种示例中,操作指引第一界面包括第二提示信息,第二提示信息用于提示用户操作移动设备显示的触摸板界面中第一控件。示例性的,图6中指引界面302(操作指引第一界面)用于提示用户点击“设置”按钮,即第一控件为“设置”按钮。示例性的,图7中指引界面306(操作指引第一界面)用于提示用户长按触控区域,即第一控件为触控区域。示例性的,图10中指引界面309(操作指引第一界面)用于提示用户点击主页键,即第一控件为主页键。
相应的,移动设备显示界面中显示第二提示内容,第二提示内容用于提示用户操作该第一控件。
在一种实现方式中,第一控件以第一效果进行显示,比如,第一效果可以是突出显示、加粗显示、抖动动效、弹出动效等。示例性的,如图7所示,手机100的触摸板界面101中触控区域102突出显示。
在一种实现方式中,触摸板界面中显示提示动效,用于提示该第一控件的操作方式;可选的,该提示动效可以显示于第一控件上。示例性的,如图8所示,手机100的触摸板界面101中触控区域102上显示提示动效,提示用户向上或向下滑动。
在一种实现方式中,触摸板界面中显示提示文本,用于提示该第一控件的操作方式。可选的,该提示文本可以显示于第一控件上;例如,如图9所示,手机100的触摸板界面101中触控区域102上显示提示文本“请点击”。可选的,该提示文本显示于第一控件之外;例如,如图10所示,第一控件为“主页”按钮103,手机100的触摸板界面101中触控区域102上显示提示文本“点击主页键唤起AR桌面”。
需要说明的是,上述各种实现方式可以组合实现。比如,第一控件以第一效果进行显示,并且,触摸板界面中显示提示动效;比如,第一控件以第一效果进行显示,并且,触摸板界面中显示提示文本等。比如,触摸板界面中显示提示动效,并且,触摸板界面中显示提示文本等。比如,第一控件以第一效果进行显示,触摸板界面中显示提示动效,并且,触摸板界面中显示提示文本。
可以理解的,第二提示内容还可以是振动、音效、语音等方式。本申请实施例中不再一一举例。
本申请实施例提供的虚拟空间操作指引显示方法,在头戴式显示设备的虚拟空间中显示操作指引时,在手机上也显示对应的提示内容(比如,提示动效、提示文本、提示语音等),这样,用户可以直接在手机上读取操作指引并在手机上操作,避免视线在虚拟空间和手机显示屏之间频繁切换带来的不适。
可以理解的是,上述各个设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。
本申请实施例可以根据上述方法示例对上述设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用集成的单元的情况下,图15示出了上述实施例中所涉及的移动设备的一种可能的结构示意图。该移动设备500包括:处理单元501、通信单元502、存储单元503和显示单元504。其中,处理单元501,用于对移动设备500的动作进行控制管理;通信单元502,用于支持移动设备500与其他网络实体的通信;存储单元503,保存移动设备500的指令和数据,上述指令可以用于执行本申请相应实施例中的各个步骤;显示单元504,用于显示移动设备500的用户界面。
当然,上述移动设备500中的单元模块包括但不限于上述处理单元501、通信单元502、存储单元503和显示单元504。例如,移动设备500中还可以包括电源单元等。
其中,处理单元501可以是处理器或控制器,例如可以是中央处理器(centralprocessing unit,CPU),数字信号处理器(digital signal processor,DSP),专用集成电路(application-specific integrated circuit,ASIC),现场可编程门阵列(fieldprogrammable gate array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。通信单元502可以是收发器、收发电路等。存储单元503可以是存储器。显示单元504可以是显示屏。
本申请实施例所提供的移动设备500可以为图2所示的移动设备100。其中,上述处理器、存储器、显示屏、通信接口等可以连接在一起,例如通过总线连接。处理器调用存储器存储的程序代码,以执行以上方法实施例中的各个步骤。
本申请实施例还提供一种芯片系统,如图16所示,该芯片系统包括至少一个处理器601和至少一个接口电路602。处理器601和接口电路602可通过线路互联。例如,接口电路602可用于从其它装置(例如路由设备的存储器)接收信号。又例如,接口电路602可用于向其它装置(例如处理器601)发送信号。示例性的,接口电路602可读取存储器中存储的指令,并将该指令发送给处理器601。当所述指令被处理器601执行时,可使得移动设备执行上述实施例中的各个步骤。当然,该芯片系统还可以包含其他分立器件,本申请实施例对此不作具体限定。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序代码,当上述处理器执行该计算机程序代码时,电子设备执行上述实施例中的方法。
本申请实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述实施例中的方法。
其中,本申请实施例提供的移动设备500、芯片系统、计算机可读存储介质或者计算机程序产品均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以使用硬件的形式实现,也可以使用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种虚拟空间操作指引显示方法,其特征在于,应用于移动设备,所述移动设备与头戴式显示设备连接,所述方法包括:
接收用户的第一操作;
响应于所述第一操作,所述移动设备触发所述头戴式显示设备的虚拟空间显示操作指引第一界面,所述移动设备显示所述操作指引第一界面对应的提示内容;所述操作指引第一界面用于指示用户如何使用所述移动设备操作所述头戴式显示设备的虚拟空间。
2.根据权利要求1所述的方法,其特征在于,所述操作指引第一界面包括第一提示信息,所述第一提示信息用于提示用户移动所述移动设备,
所述移动设备显示所述操作指引第一界面对应的提示内容,包括:
所述移动设备显示第一提示内容,所述第一提示内容用于提示用户移动所述移动设备。
3.根据权利要求1所述的方法,其特征在于,所述操作指引第一界面包括第二提示信息,所述第二提示信息用于提示用户操作所述移动设备显示界面中第一控件,
所述移动设备显示所述操作指引第一界面对应的提示内容,包括:
所述移动设备显示界面中显示第二提示内容,所述第二提示内容用于提示用户操作所述第一控件。
4.根据权利要求3所述的方法,其特征在于,所述移动设备显示界面中显示第二提示内容,包括:
所述第一控件以第一效果进行显示;所述第一效果包括突出显示、加粗显示、抖动动效或弹出动效中至少一项。
5.根据权利要求3或4所述的方法,其特征在于,所述移动设备显示界面中显示第二提示内容,包括:
所述移动设备显示界面中显示提示动效;所述提示动效用于提示所述第一控件的操作方式。
6.根据权利要求3-5中任意一项所述的方法,其特征在于,所述移动设备显示界面中显示第二提示内容,包括:
所述移动设备显示界面中显示提示文本;所述提示文本用于提示所述第一控件的操作方式。
7.根据权利要求1-6中任意一项所述的方法,其特征在于,所述移动设备触发所述头戴式显示设备的虚拟空间显示操作指引第一界面,包括:
所述移动设备生成所述操作指引第一界面的第一显示数据,所述第一显示数据用于所述头戴式显示设备在所述虚拟空间进行显示;
所述移动设备向所述头戴式显示设备发送所述第一显示数据。
8.根据权利要求1-6中任意一项所述的方法,其特征在于,所述移动设备触发所述头戴式显示设备的虚拟空间显示操作指引第一界面,包括:
所述移动设备生成所述第一操作对应的第一事件,所述第一事件用于触发所述头戴式显示设备在所述虚拟空间显示操作指引第一界面;
所述移动设备向所述头戴式显示设备发送所述第一事件。
9.根据权利要求1-8中任意一项所述的方法,其特征在于,所述接收用户的第一操作,包括:
接收用户在所述移动设备上的第一操作;或者,
接收用户在所述虚拟空间内的第一操作。
10.一种移动设备,其特征在于,所述移动设备包括:处理器、显示屏和存储器,所述处理器、显示屏与所述存储器耦合;所述存储器用于存储计算机程序代码;所述计算机程序代码包括计算机指令,当所述处理器执行上述计算机指令时,使得所述移动设备执行如权利要求1-9中任意一项所述的方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-9中任意一项所述的方法。
CN202310433645.3A 2023-04-17 2023-04-17 虚拟空间操作指引显示方法、移动设备及系统 Active CN117130472B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310433645.3A CN117130472B (zh) 2023-04-17 2023-04-17 虚拟空间操作指引显示方法、移动设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310433645.3A CN117130472B (zh) 2023-04-17 2023-04-17 虚拟空间操作指引显示方法、移动设备及系统

Publications (2)

Publication Number Publication Date
CN117130472A true CN117130472A (zh) 2023-11-28
CN117130472B CN117130472B (zh) 2024-07-23

Family

ID=88849762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310433645.3A Active CN117130472B (zh) 2023-04-17 2023-04-17 虚拟空间操作指引显示方法、移动设备及系统

Country Status (1)

Country Link
CN (1) CN117130472B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170160812A1 (en) * 2015-12-07 2017-06-08 Lg Electronics Inc. Mobile terminal and method for controlling the same
KR20180113115A (ko) * 2017-04-05 2018-10-15 엘지전자 주식회사 전자장치 및 이의 동작방법
US10181219B1 (en) * 2015-01-21 2019-01-15 Google Llc Phone control and presence in virtual reality
US10353532B1 (en) * 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US20190353904A1 (en) * 2018-05-21 2019-11-21 Microsoft Technology Licensing, Llc Head mounted display system receiving three-dimensional push notification
US20190369725A1 (en) * 2018-06-02 2019-12-05 Awespire Technology Inc. Guided virtual reality system for relaxing body and mind
CN112463016A (zh) * 2020-12-09 2021-03-09 Oppo广东移动通信有限公司 显示控制方法、装置、电子设备及穿戴显示设备
CN112732089A (zh) * 2021-01-18 2021-04-30 海信视像科技股份有限公司 一种虚拟现实设备及快捷交互方法
CN112835445A (zh) * 2019-11-25 2021-05-25 华为技术有限公司 虚拟现实场景中的交互方法、装置及系统
CN114578956A (zh) * 2020-12-02 2022-06-03 Oppo广东移动通信有限公司 设备控制方法、装置、虚拟穿戴设备以及存储介质
CN115039058A (zh) * 2020-02-03 2022-09-09 苹果公司 用于对环境进行注释、测量和建模的系统、方法和图形用户界面

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10353532B1 (en) * 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US10181219B1 (en) * 2015-01-21 2019-01-15 Google Llc Phone control and presence in virtual reality
US20170160812A1 (en) * 2015-12-07 2017-06-08 Lg Electronics Inc. Mobile terminal and method for controlling the same
KR20180113115A (ko) * 2017-04-05 2018-10-15 엘지전자 주식회사 전자장치 및 이의 동작방법
US20190353904A1 (en) * 2018-05-21 2019-11-21 Microsoft Technology Licensing, Llc Head mounted display system receiving three-dimensional push notification
US20190369725A1 (en) * 2018-06-02 2019-12-05 Awespire Technology Inc. Guided virtual reality system for relaxing body and mind
CN112835445A (zh) * 2019-11-25 2021-05-25 华为技术有限公司 虚拟现实场景中的交互方法、装置及系统
CN115039058A (zh) * 2020-02-03 2022-09-09 苹果公司 用于对环境进行注释、测量和建模的系统、方法和图形用户界面
CN114578956A (zh) * 2020-12-02 2022-06-03 Oppo广东移动通信有限公司 设备控制方法、装置、虚拟穿戴设备以及存储介质
CN112463016A (zh) * 2020-12-09 2021-03-09 Oppo广东移动通信有限公司 显示控制方法、装置、电子设备及穿戴显示设备
CN112732089A (zh) * 2021-01-18 2021-04-30 海信视像科技股份有限公司 一种虚拟现实设备及快捷交互方法

Also Published As

Publication number Publication date
CN117130472B (zh) 2024-07-23

Similar Documents

Publication Publication Date Title
WO2021017836A1 (zh) 控制大屏设备显示的方法、移动终端及第一系统
US11474664B2 (en) Application icon moving method and electronic device
WO2020019356A1 (zh) 一种终端切换摄像头的方法及终端
WO2021008615A1 (zh) 一种基于折叠屏的交互方法及设备
CN110012154A (zh) 一种具有折叠屏的电子设备的控制方法及电子设备
CN110244840A (zh) 图像处理方法、相关设备及计算机存储介质
WO2021185250A1 (zh) 图像处理方法及装置
CN112835445B (zh) 虚拟现实场景中的交互方法、装置及系统
CN114579016A (zh) 一种共享输入设备的方法、电子设备及系统
CN110633043A (zh) 一种分屏处理方法及终端设备
EP4195707A1 (en) Function switching entry determining method and electronic device
US11921968B2 (en) Method for interaction between devices based on pointing operation, and electronic device
CN113741681A (zh) 一种图像校正方法与电子设备
CN113970888A (zh) 家居设备控制方法、终端设备及计算机可读存储介质
WO2020221062A1 (zh) 一种导航操作方法及电子设备
CN113391775A (zh) 一种人机交互方法及设备
CN115150542B (zh) 一种视频防抖方法及相关设备
CN113885973B (zh) 翻译结果显示方法、装置及电子设备
US20240045557A1 (en) Method for Sharing Input Device, Electronic Device, and System
CN117130472B (zh) 虚拟空间操作指引显示方法、移动设备及系统
WO2022179412A1 (zh) 识别方法及电子设备
CN113821129B (zh) 一种显示窗口控制方法及电子设备
CN117130471B (zh) 人机交互方法、电子设备及系统
CN117131888A (zh) 一种自动扫描虚拟空间二维码方法、电子设备及系统
CN114564162B (zh) 一种数据传输方法、电子设备、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant