CN112835445A - 虚拟现实场景中的交互方法、装置及系统 - Google Patents
虚拟现实场景中的交互方法、装置及系统 Download PDFInfo
- Publication number
- CN112835445A CN112835445A CN201911168991.3A CN201911168991A CN112835445A CN 112835445 A CN112835445 A CN 112835445A CN 201911168991 A CN201911168991 A CN 201911168991A CN 112835445 A CN112835445 A CN 112835445A
- Authority
- CN
- China
- Prior art keywords
- user
- electronic device
- hand
- head
- user interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000003993 interaction Effects 0.000 title claims abstract description 32
- 230000033001 locomotion Effects 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 39
- 230000004044 response Effects 0.000 claims description 31
- 238000012790 confirmation Methods 0.000 claims description 21
- 210000005252 bulbus oculi Anatomy 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 210000003128 head Anatomy 0.000 claims description 7
- 238000004891 communication Methods 0.000 description 27
- 238000012545 processing Methods 0.000 description 21
- 230000003287 optical effect Effects 0.000 description 20
- 239000010410 layer Substances 0.000 description 19
- 210000003811 finger Anatomy 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 238000010295 mobile communication Methods 0.000 description 11
- 210000001508 eye Anatomy 0.000 description 9
- 238000007726 management method Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 210000004027 cell Anatomy 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 229920001621 AMOLED Polymers 0.000 description 4
- 210000004936 left thumb Anatomy 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000004247 hand Anatomy 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 210000001145 finger joint Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 206010010071 Coma Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000006117 anti-reflective coating Substances 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例公开了虚拟现实场景中的交互方法、装置及系统。在该方法中，电子设备可以捕捉用户在该电子设备上的手部姿态，并通过头戴式显示设备在VR场景中将该手部姿态呈现给用户。可以使得用户在VR场景中实时地看到自己的手部姿态，并可以直接通过手势来操控电子设备来和VR场景进行交互。这样的交互方式，可以不改变用户的使用习惯，使得用户顺利自然地和平时使用电子设备一样，和头戴式显示设备中显示的画面进行交互，用户可以灵活地操控VR场景，提升用户体验。
Description
技术领域
本申请涉及涉及虚拟现实(virtual reality，VR)及终端技术领域，特别涉及虚拟现实场景中的交互方法、装置及系统。
背景技术
随着计算机图形技术的发展，VR技术逐渐应用到人们的生活中。VR利用电子设备模拟产生一个三维的虚拟现实场景，提供在视觉、听觉、触觉或其他感官上的模拟体验，让用户感觉仿佛身历其境。
虚拟现实场景可以通过头戴式显示(head mounted display，HMD)设备呈现给用户。通常情况下，用户可以使用HMD本身配置的惯性测量系统(inertial measurementunit，IMU)、或者，独立于HMD的手柄、鼠标、手套等设备，来与HMD提供的虚拟现实场景进行交互。在某些情况下，由于用户只能通过HMD设备看到VR场景，不能看到真实世界中自己的操控手势，所以目前，用户的这样的交互方式可实现的对虚拟现实场景的操控功能非常有限，例如只有向上、向下、向左、向右移动画面等用户无需观察到自己真实世界的手势的功能。然而，在一些需要比较复杂的操控的VR场景下，比如对战类游戏场景，在不同区域的操作对游戏人物会有不同的操控，但目前，由于操控功能的局限，由于用户看不到自己真实世界中的手势，用户无法在VR场景中体验需要复杂操控的游戏。在VR场景下，如何实现更多的操控功能，让用户体验更多的游戏，是业界研究的方向。
发明内容
本申请实施例提供了虚拟现实场景中的交互方法、装置及系统。电子设备可以捕捉用户在该电子设备上的手部姿态，头戴式显示设备在VR场景中可以将用户的手部姿态呈现给用户，使得用户可以获知自身的手部和电子设备之间的相对位置，从而直接通过电子设备和VR场景进行手势交互，操控该VR场景。
第一方面，本申请实施例提供了一种虚拟现实场景中的交互方法，该方法应用于电子设备。该方法包括：电子设备采集用户的手部数据，根据该用户的手部数据确定该用户的手部和该电子设备之间的第一相对位置；该电子设备通信连接到头戴式显示设备，该头戴式显示设备可佩戴于该用户的头部；该电子设备通过该头戴式显示设备的显示屏显示第一用户界面，该第一用户界面中显示有：虚拟屏幕该虚拟屏幕中包括该电子设备运行的应用程序所提供的画面；该电子设备根据该虚拟屏幕在第一用户界面中的显示位置，以及该第一相对位置，确定第一手部图像在该第一用户界面中的第二位置；该电子设备通过该头戴式显示设备在该第一用户界面中的第二位置显示该第一手部图像；该电子设备启用第一功能；该第一功能，和，该第一手部图像表征的手部作用于该虚拟屏幕中画面的位置相对应。
实施第一方面的方法，电子设备可以捕捉用户在该电子设备上的手部姿态，并通过头戴式显示设备在VR场景中将该手部姿态呈现给用户。可以使得用户在VR场景中实时地看到自己的手部姿态，并可以直接通过手势来操控电子设备来和VR场景进行交互。这样的交互方式，可以不改变用户的使用习惯，使得用户顺利自然地和平时使用电子设备一样，和头戴式显示设备中显示的画面进行交互，用户可以灵活地操控VR场景，提升用户体验。
结合第一方面，在一些实施例中，第一手部图像所表征的手部和虚拟屏幕之间的相对位置，与，第一相对位置相同。这样，可以实时地将用户手部的实际姿态映射到VR场景中，使得用户在VR场景中实时地看到自己的手部姿态，并可以直接通过手势来操控电子设备来和VR场景进行交互。
结合第一方面，在一些实施例中，用户的手部数据描述了用户在电子设备100上的手部姿态，用于确定用户手部和电子设备100之间的相对位置。
结合第一方面，在一些实施例中，该用户的手部数据包括以下一项或多项：
该电子设备的显示屏发出光线的时间、该电子设备的光传感器接收到反射光的时间和强度，该反射光是该光线经由该用户的手部的反射后得到的；
该电子设备的摄像头拍摄到的该用户手部的图像；
该电子设备的声波传感器发出声波的时间、该声波传感器接收到反射波的时间和强度，该反射波是该声波经由该用户的手部的反射后得到的；或者，
该电子设备的压力传感器采集到的压力值。
结合第一方面，在一些实施例中，该第一相对位置包括以下一项或多项：该用户的手部和该电子设备接触的部位、该电子设备和该用户的手部接触的位置、或者该用户的手部的各个部位和该电子设备之间的距离。
结合第一方面，在一些实施例中，第一相对位置通过该用户的手部的各个部位在第一坐标系中的坐标表示；该第一坐标系为三维坐标系，该第一坐标系以该电子设备的显示屏所在平面为X轴和Y轴所在平面、以垂直于该显示屏的直线为Z轴所在直线。这样，通过用户手部的多个部位相对电子设备100的相对坐标，即可反映出用户手部相对于电子设备100的相对位置。
结合第一方面，在一些实施例中，该虚拟屏幕在该第一用户界面中的显示区域是固定的。在另一些实施例中，该虚拟屏幕在该第一用户界面中的显示区域，是该电子设备根据以下一项或多项确定的：该用户的手部握持该电子设备的方式，或，该电子设备和该用户之间的相对位置。这样，头戴式显示设备200上显示的虚拟屏幕的大小可以反映用户握持电子设备100的方式以及用户和电子设备100之间的相对位置，可以给用户更加优良的使用体验。
结合第一方面，在一些实施例中，该第一手部图像具有透明度，或者，该第一手部图像以虚线显示。这样可以提示用户该第一手部图像为电子设备100通过VR技术生成的虚拟图像。
结合第一方面，在一些实施例中，电子设备采集用户的手部数据之前，该方法还包括：该电子设备通过该头戴式显示设备的显示屏显示第二用户界面；该电子设备检测到第一用户操作；其中，该第一用户操作由该用户根据该第二用户界面输入。电子设备可以响应于该第一用户操作来采集用户的手部数据。
结合上述实施例中，在一种可选的实施方式中，第二用户界面包括：第一控件和光标；该电子设备与手持设备连接。电子设备采集用户的手部数据之前，该方法还包括：该电子设备通过该手持设备检测到第一运动；该电子设备根据该第一运动移动该光标至该第一控件上；接收该用户在该光标移动至该第一控件上后的第一确认操作。该第一用户操作包括该第一运动和该第一确认操作。这样，用户可以通过操控手持设备触发电子设备开始采集用户的手部数据。
结合上述实施例中，在一种可选的实施方式中，该第二用户界面包括：第一控件。电子设备采集用户的手部数据之前，该方法还包括：该电子设备通过该头戴式显示设备检测到该用户的眼球看向该第二用户界面中的该第一控件且在预设时长内未发生转动的用户操作，该第一用户操作包括该用户的眼球看向该第二用户界面中的该第一控件且在预设时长内未发生转动的用户操作。这样，用户可以通过长时间地看向第一控件触发电子设备开始采集用户的手部数据。
结合第一方面，在一些实施例中，电子设备启用第一功能之后，该方法还包括：该电子设备检测到第二用户操作，响应于该第二用户操作，该电子设备停止采集该用户的手部数据。这样，用户可以根据自身需求，通过第二用户操作触发电子设备停止采集手部数据，从而降低电子设备的功耗。
结合上述实施例，在一种可选的实施方式中，该第一用户界面中还包括：第一控件、光标；该电子设备与手持设备连接。该响应于该第二用户操作，该电子设备停止采集该用户的手部数据之前，该方法还包括：该电子设备通过该手持设备检测到第二运动；该电子设备根据该第二运动移动该光标至该第一控件上；接收该用户在该光标移动至该第一控件上后的第二确认操作。该第二用户操作包括该第二运动和该第二确认操作。这样，用户可以通过操控手持设备触发电子设备停止采集用户的手部数据。
结合上述实施例，在一种可选的实施方式中，该第一用户界面包括：第一控件；该响应于该第二用户操作，该电子设备停止采集该用户的手部数据之前，该方法还包括：该电子设备通过该头戴式显示设备检测到该用户的眼球看向该第一用户界面中的该第一控件且在预设时长内未发生转动的用户操作。该第一用户操作包括该用户的眼球看向该第一用户界面中的该第一控件且在预设时长内未发生转动的用户操作。这样，用户可以通过长时间地看向第一控件触发电子设备停止采集用户的手部数据。
第二方面，本申请实施例提供了一种电子设备。该电子设备包括一个或多个处理器、存储器；该存储器与该一个或多个处理器耦合，该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，该一个或多个处理器调用该计算机指令以使得该电子设备执行第一方面或第一方面任意一种实施方式中的虚拟现实场景中的交互方法。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括一个或多个功能单元，用于相应的执行第一方面或第一方面可能的实施方式中的任意一种所提供的虚拟现实场景中的交互方法。
第四方面，本申请实施例提供了一种芯片，该芯片应用于电子设备。该芯片包括：一个或多个处理器、接口；该接口用于接收代码指令并将该代码指令传输至该处理器，该处理器用于运行该代码指令以使得该电子设备执行如第一方面或第一方面可能的实施方式中的任意一种所提供的虚拟现实场景中的交互方法。
第五方面，本申请实施例提供了一种包含指令的计算机程序产品，当上述计算机程序产品在电子设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的虚拟现实场景中的交互方法。
第六方面，本申请实施例提供一种计算机可读存储介质，包括指令，当上述指令在电子设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的虚拟现实场景中的交互方法。
实施本申请实施例提供的技术方案，电子设备可以捕捉用户在该电子设备上的手部姿态，并通过头戴式显示设备在VR场景中将该手部姿态呈现给用户。可以使得用户在VR场景中实时地看到自己的手部姿态，并可以直接通过手势来操控电子设备来和VR场景进行交互。这样的交互方式，可以不改变用户的使用习惯，使得用户顺利自然地和平时使用电子设备一样，和头戴式显示设备中显示的画面进行交互，用户可以灵活地操控VR场景，提升用户体验。
附图说明
图1是本申请实施例提供的VR显示系统的示意图；
图2A是本申请实施例提供的电子设备的硬件结构示意图；
图2B是本申请实施例提供的电子设备的软件架构框图；
图3是本申请实施例提供的头戴式显示设备的硬件结构示意图；
图4A-图4B是本申请实施例提供的用户体验VR场景的示意图；
图5A-图5B为本申请实施例提供的电子设备进入“手游模式”的一种方式的示意图；
图6A-图6D本申请实施例提供的电子设备进入“手游模式”后，头戴式显示设备上显示的用户界面；
图7是本申请实施例提供的一种可能的3D坐标系；
图8A-图8B是本申请实施例提供的电子设备进入“手游模式”后，提供音乐类场景、视频类场景时通过头戴式显示设备显示的用户界面。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本申请实施例提供了虚拟现实场景中的交互方法、装置及系统。在该方法中，手机等电子设备和头戴式显示设备结合使用，手机等电子设备提供VR内容，并将VR内容投射到头戴式显示设备中显示，从而为用户提供VR场景。电子设备可以捕捉用户在该电子设备上的手部姿态，并通过头戴式显示设备在VR场景中将该手部姿态呈现给用户，使得用户可以获知自身的手部和电子设备之间的相对位置，从而直接通过电子设备和VR场景进行手势交互，操控该VR场景。
通过本申请实施例提供的技术方案，用户佩戴头戴式显示设备时，可以在VR场景中实时地看到自己的手部姿态，可以直接通过手势来操控电子设备来和VR场景进行交互。这样的交互方式，使得用户可以灵活地操控VR场景。例如，用户可以像在手机上玩游戏一样操控手机，并在头戴式显示设备上看到自己操控手机的游戏场景。此外，头戴式显示设备提供的VR场景可以带给用户大屏的视觉体验，并且保证了用户体验VR场景的私密性。
下面，首先介绍本申请实施例提供的VR显示系统。该VR显示系统可以为用户呈现或者显示VR场景，提供具有沉浸感的VR体验，让用户感觉真实处于该VR场景中。VR显示系统呈现或者显示VR场景包括：VR显示系统呈现或者显示3D虚拟图像、播放音频等等。3D虚拟图像可以为静止图像、视频或者两者的组合。
参考图1，该VR显示系统可包括：电子设备100、头戴式显示设备200。可理解的，虽然图1示出了用户，但用户并不属于VR显示系统。
电子设备100是为了生成用于头戴式显示设备200上的VR场景，而连接至该头戴式显示设备200并与之进行交互的设备。示例性地，电子设备100可以包括但不限于：搭载iOS、Android、Microsoft或者其它操作系统的电子设备，例如手机、平板电脑、具有触敏表面或触控面板的膝上型计算机(Laptop)、具有触敏表面或触控面板的台式计算机等。
电子设备100和头戴式显示设备200之间可以通过有线或者无线的方式连接。无线连接可包括通过蓝牙、Wi-Fi直连(如Wi-Fi p2p)、Wi-Fi softAP、Wi-Fi LAN、射频中一项或多项技术连接。有线连接可包括通过USB接口、HDMI接口或自定义接口等来连接的方式。本发明不限定电子设备100和头戴式显示设备200之间的连接方式。
电子设备100可运行应用程序，以生成用于头戴式显示设备200上的VR场景。该应用程序例如可以是视频应用、游戏应用等等。
头戴式显示设备200用于向用户呈现VR场景，给用户带来身临其境的沉浸式体验。VR场景可包括3D的图像、3D的视频、音频等等。头戴式显示设备200的可实现形式包括头盔、眼镜、耳机等可以佩戴在用户头部的便携式设备。
在本申请实施例中，用户佩戴头戴式显示设备200体验VR场景时，可以通过电子设备100来和该VR场景进行交互。电子设备100可以捕捉到用户的手部姿态并将该手部姿态映射到头戴式显示设备200提供的VR场景中。用户可以通过在电子设备100的显示屏上输入手势，来和VR场景进行交互，实现对VR场景的操控功能。这样，用户可以看到头戴式显示设备200呈现的虚拟手部姿态，并可以向电子设备100输入各种各样的手势，实现对VR场景的各类操控。用户对VR场景的操控可包括但不限于向上、向下、向左、向右移动画面、选择定位、放大画面、缩小画面、截图等等。电子设备100捕捉用户的手部姿态、将捕捉到的手部姿态映射到头戴式显示设备200提供的VR场景中的具体实现，用户通过电子设备100来和该VR场景进行交互的具体实现等，可参照后续人机交互实施例的相关描述，在此暂不赘述。
参考图2A，图2A示出了本申请实施例提供的电子设备100的结构示意图。
电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
电子设备电子设备电子设备电子设备电子设备电子设备电子设备充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电子设备
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。
电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。
电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。
电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。
摄像头193用于捕捉静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。电子设备
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。电子设备
视频编解码器用于对数字视频压缩或解压缩。电子设备电子设备
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。电子设备
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。电子设备电子设备
电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。
扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备
受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。电子设备
麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。电子设备电子设备电子设备
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。
压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。电子设备电子设备
气压传感器180C用于测量气压。在一些实施例中，电子设备100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。电子设备电子设备
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。
距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备电子设备电子设备电子设备电子设备电子设备电子设备
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。电子设备
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。电子设备电子设备电子设备电子设备
触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
SIM卡接口195用于连接SIM卡。电子设备电子设备电子设备电子设备电子设备电子设备
在本申请实施例中，内部存储器121用于存储一个或多个应用的应用程序，该应用程序包括指令。当该应用程序被处理器110执行时，电子设备100可以生成用于呈现给用户的内容，并将该内容发送给头戴式显示设备200。该应用的示例包括游戏应用、会议应用、视频应用或其他应用等等。
在本申请实施例中，电子设备100可通过光传感器、摄像头、声波传感器等装置来获取用户的手部数据，并将用户的手部数据发送至处理器110，由处理器对用户的手部数据进行处理，例如分析、优化、调整等等，从而确定用户手部和电子设备100之间的相对位置。
在本申请实施例中，GPU用于根据从处理器110处获取到的数据(例如应用程序提供的数据、经过处理的用户手部数据)执行数学和几何运算，利用计算机图形技术、计算机仿真技术等来渲染虚拟场景，以提供用于在头戴式显示设备200上显示的VR场景。这里，头戴式显示设备200上显示的内容可参考后续实施例的相关描述，这里暂不赘述。在一些实施例中，GPU可以将校正或预失真添加到虚拟场景的渲染过程中，以补偿或校正由头戴式显示设备200的光学器件引起的失真。
在本申请实施例中，电子设备100可通过移动通信模块150、无线通信模块160或者有线接口例如USB接口等将GPU处理后得到的内容发送给头戴式显示设备200。
电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。
图2B是本申请实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。
应用程序层可以包括一系列应用程序包。
如图2B所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2B所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器、输入管理器(input manager)等等。应用程序框架层可用于提供窗口管理服务(window manager service，WMS)、屏幕管理服务(display managerservice，DMS)、活动管理服务(activity manager service，AMS)、等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
在本申请实施例中，DMS、WMS和AMS可合作生成用于在头戴式显示设备200上所显示的VR场景。具体的，DMS用于控制在头戴式显示设备200上显示可视化元素，包括控件、图片、按钮等等，例如后续实施例人机交互实施例中提及的VR背景等。WMS用于绘制显示于头戴式显示设备200中的虚拟屏幕，虚拟屏幕的具体实现可参照后续人机交互实施例的相关描述。AMS用于管理应用进程的启动、切换和调度，AMS可以根据当前启动的应用进程来确定电子设备100当前运行的应用程序所提供的界面内容，并根据该界面内容绘制虚拟屏幕中的内容，虚拟屏幕中的内容可参照后续人机交互实施例的相关描述。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。
在本申请实施例中，输入管理器可用于管理用户的输入事件，包括用户和显示于头戴式显示设备200上的虚拟屏幕之间的交互，例如用户手部作用于电子设备100的点击操作、按压操作、滑动操作等等。输入管理器在接收到用户的输入事件之后，可以通过接口将该事件上报给其他相关模块(例如DMS、AMS)，使得头戴式显示设备200上所显示的VR场景可以响应于该输入事件而给出对应的反馈。在一个具体的实施方式中，输入管理器和其他相关模块之间的接口可以为自定义接口。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。
系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。
表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。
三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
电子设备
参考图3，图3示出了本申请实施例提供的头戴式显示设备200的结构示意图。
如图3所示，头戴式显示设备200可包括：处理器201、存储器202、通信模块203、传感器系统204、摄像头205、显示装置206、音频装置207。以上各个部件可以耦合连接并相互通信。
可理解的，图3所示的结构并不构成对头戴式显示设备200的具体限定。在本申请另一些实施例中，头戴式显示设备200可以包括比图示更多或更少的部件。例如，头戴式显示设备200还可以包括物理按键如开关键、音量键、USB接口等等。
处理器201可以包括一个或多个处理单元，例如：处理器110可以包括AP，调制解调处理器，GPU，ISP，控制器，视频编解码器，DSP，基带处理器，和/或NPU等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制，使得各个部件执行相应的功能，例如人机交互、运动跟踪/预测、渲染显示、音频处理等。
存储器202存储用于执行本申请实施例提供的虚拟现实场景中的交互方法的可执行程序代码，该可执行程序代码包括指令。存储器202可以包括存储程序区和存储数据区。
通信模块203可包括移动通信模块和无线通信模块。其中，移动通信模块可以提供应用在头戴式显示设备200上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块可以提供应用在头戴式显示设备200上的包括WLAN，BT，GNSS，FM，IR等无线通信的解决方案。通信模块203可支持头戴式显示设备200和电子设备100进行通信。
传感器系统204用于采集佩戴该头戴式显示设备200的用户的运动状态数据。传感器系统204可包括加速度计、指南针、陀螺仪、磁力计、或用于检测运动的其他传感器等。在一些实施例中，传感器系统204可以为设置在头戴式显示设备200内的惯性测量单元(inertial measurement unit，IMU)。传感器系统204可用于获取用户头部的运动数据，如头部位置信息、位移、速度，摇动、转动等。
传感器系统204还可以包括光学传感器，用于结合摄像头205来跟踪用户的眼睛位置以及捕捉眼球运动数据。例如可以用于确定用户瞳孔间距、眼间距、每只眼睛相对于头戴式显示设备200的3D位置、每只眼睛的扭转和旋转(即转动、俯仰和摇动)的幅度和注视方向等等。
摄像头205可以用于捕捉捕捉静态图像或视频。该静态图像或视频可以是面向外部的用户周围的图像或视频，也可以是面向内部的图像或视频。摄像头205可以跟踪用户单眼或者双眼的运动。摄像头205包括但不限于传统彩色摄像头(RGB camera)、深度摄像头(RGB depth camera)、动态视觉传感器(dynamic vision sensor，DVS)相机等。
头戴式显示设备200通过GPU，显示装置206，以及应用处理器等来呈现或者显示VR场景。
GPU为图像处理的微处理器，连接显示装置206和应用处理器。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。GPU用于根据从电子设备100处得到的数据执行数学和几何计算，利用计算机图形技术、计算机仿真技术等来渲染3D的虚拟场景，以提供用于在显示装置206上显示的内容。GPU还用于将校正或预失真添加到虚拟场景的渲染过程中，以补偿或校正由光学器件引起的失真。GPU还可以基于来自传感器系统204的数据来调整提供给显示装置206的内容。例如，GPU可以基于用户眼睛的3D位置、瞳孔距离等在提供给显示装置206的内容中添加景深信息。
在本申请的一些实施例中，显示装置206用于接收头戴式显示设备200的GPU提供的内容，并根据该内容呈现或者显示VR场景。在本申请的另一些实施例中，显示装置206用于接收来自电子设备100处理后的数据或内容(例如经过电子设备100渲染后的数据)，并根据该数据或内容来呈现VR场景。在一些实施例中，显示装置206可以分别为用户的左眼和右眼呈现对应的图像，从而模拟双眼视觉。
在一些实施例中，显示装置206可包括显示屏以及配合使用的光学器件。
其中，显示屏可包括显示面板，显示面板可以用于显示虚拟图像，从而为用户呈现立体的虚拟场景。显示面板可以采用LCD，OLED，AMOLED，FLED，Miniled，MicroLed，Micro-oLed，QLED等。显示屏的数量可以是一个，也可以是多个。
光学器件可包括一个或多个光学元件，例如菲涅耳透镜、凸透镜、凹透镜、滤波器等等。光学器件用于将来自显示屏的光引导至出射光瞳以供用户感知。在一些实施方式中，光学器件中的一个或多个光学元件可具有一个或多个涂层，诸如，抗反射涂层。光学器件对图像光的放大允许显示屏在物理上更小、更轻、消耗更少的功率。另外，图像光的放大可以增加显示屏显示的内容的视野。例如，光学器件可以使得显示屏所显示的内容的视野为用户的全部视野。
光学器件还可用于校正一个或多个光学误差。光学误差的示例包括：桶形失真、枕形失真、纵向色差、横向色差、球面像差、彗形像差、场曲率、散光等。在一些实施方式中，提供给显示屏显示的内容被预先失真，由光学器件在从显示屏接收基于内容产生的图像光时校正该失真。
在另一些实施例中，显示装置206可包括用于将光学信号(例如光束)直接投射到用户视网膜上的投影装置。该投影装置可以是投影仪。投影装置可以接收GPU提供的内容，将该内容编码到光学信号上，并将编码后的光学信号投射到用户的视网膜上，使得用户感受到立体的VR场景。投影装置的数量可以是一个，也可以是多个。
音频装置207用于实现音频的采集以及输出。音频装置207可包括但不限于：麦克风、扬声器、耳机等等。
在一些实施例中，图1所示的VR显示系统还可以包括手持设备。手持设备可以和电子设备100通过BT、NFC、ZigBee等近距离传输技术无线连接并通信，还可以通过USB接口、HDMI接口或自定义接口等来有线连接并通信。手持设备的实现形式可以包括手柄、鼠标、键盘、手写笔、手环等等。
手持设备可配置有多种传感器，例如加速度传感器、陀螺仪传感器、磁传感器、压力传感器等。压力传感器可设置于手持设备的确认按键下。确认按键可以是实体按键，也可以是虚拟按键。手持设备的传感器用于采集对应的数据，例如加速度传感器采集手持设备的加速度、陀螺仪传感器采集手持设备的运动速度等。手持设备可以将各个传感器采集到的数据发送给电子设备100进行分析。电子设备100可以根据手持设备中各个传感器采集到的数据，确定手持设备的运动情况以及状态。手持设备的运动情况可包括但不限于：是否移动、移动的方向、移动的速度、移动的距离、移动的轨迹等等。手持设备的状态可包括：手持设备的确认按键是否被按压。电子设备100可以根据手持设备的运动情况和/或状态，调整头戴式显示设备200上显示的图像和/或启动对应的功能，例如移动该图像中的光标，该光标的移动轨迹由手持设备的运动情况确定，又例如根据手持设备的确认按键被按压的操作启动“手游模式”等等。“手游模式”的具体含义可参考后续实施例的相关描述，在此暂不赘述。
基于图1所示的VR显示系统、图2A-图2B所示的电子设备100以及图3所示的头戴式显示设备300，下面结合本申请实施例提供的头戴式显示设备200上实现的用户界面来描述虚拟现实场景中的交互方法。
在本申请以下实施例中，电子设备100和头戴式显示设备200配合提供虚拟现实场景，即，电子设备100用于运行应用程序并生成对应的内容，并将生成的内容发送给头戴式显示设备200进行显示，从而为用户呈现VR场景。
参考图4A，图4A示例性示出了一种用户使用VR显示系统体验VR场景的示意图。
如图4A所示，头戴式显示设备200有线连接到电子设备100。用户双手握持电子设备100，头戴式显示设备200佩戴于用户头部。该电子设备100可以为智能手机。头戴式显示设备200配置有2个显示屏。
头戴式显示设备200连接到电子设备100后，可以显示如图4A所示的用户界面41。用户界面41可以是电子设备100生成后发送给头戴式显示设备200的。用户界面41可以为VR桌面，该VR桌面可以是以3D的形式显示的，该VR桌面中的内容可以具有一定的深度，相当于映射到了实际的真实环境中，用户感觉或者认为该VR桌面好像是存在于实际的真实环境中。
该VR桌面中显示有：VR背景401、一个或多个应用程序的图标402、控件403。
VR背景401为用户使用头戴式显示设备200时的背景画面，可以给用户置身于该VR背景中的体验。VR背景例如可以是房间的图像、山林的图像、海边的图像、星空的图像等等。该VR背景401可以由用户自主设置，也可以由头戴式显示设备200默认设置。图4A中示出的VR背景为房间内部的图像，该VR背景中包括电视桌的图像、电视的图像以及电灯的图像。
应用程序的图标402所对应的应用程序可以是电子设备100上安装的应用程序中的一部分。示例性地，该应用程序的图标402可包括相机应用的图标、音乐播放类应用的图标、游戏应用的图标等等。
控件403用于启动/退出“手游模式”。在本申请实施例中，控件403可以被称为第一控件。
可理解的，头戴式显示设备200配置有两个显示屏显示如图4A所示的用户界面41时，用户通过双眼成像原理将两个显示屏上显示的画面合二为一，可以看到如图4B所示的一幅画面。图4A所示的左右两个显示屏所显示的图像可以稍有不同来提升图像的立体感，本申请对此不做限制。
不限于图4A所示的两个显示屏，在其他一些实施例中，头戴式显示设备200还可以提供一个或者更多的显示屏来显示如图4A所示的用户界面41。在以下实施例中，示出的用户界面均以头戴式显示设备200中一个显示屏上所显示的图像为例进行描述，不再通过两个显示屏进行展示，避免累赘。
参考图5A-图5B，其示出了电子设备100进入“手游模式”的一种方式。
在本申请以下实施例中，在电子设备100的“手游模式”开启的情况下，电子设备100可以捕捉用户的手部姿态，并将该手部姿态映射到头戴式显示设备200显示的VR场景中。电子设备100捕捉手部姿态的方式、将该手部姿态映射到头戴式显示设备200显示的VR场景中的方式，可参考后续实施例的相关描述，在此暂不赘述。
“手游模式”为VR显示系统提供的一种服务或功能。在本申请实施例中，电子设备100进入“手游模式”可以包括启用电子设备100的硬件装置和/或软件装置以支持电子设备100捕捉用户的手部姿态，并将该手部姿态映射到头戴式显示设备200显示的VR场景中。
可以理解的是，“手游模式”只是本实施例所使用的一个词语，其代表的含义在本实施例中已经记载，其名称并不能对本实施例构成任何限制。在其他一些实施例中，“手游模式”也可以被称为例如“手势投屏”等其他名词等，本申请对此不做限制。
在一些实施例中，用户可以通过手持设备来触发电子设备100进入“手游模式”。当电子设备100连接有手持设备时，如图5A所示，头戴式显示设备200显示的用户界面41中还可包括光标404。光标404的实现形式可包括但不限于箭头、圆圈等等。用户可以操控手持设备移动以触发电子设备100将光标504移动至控件403上，然后，按压手持设备的确认控件，触发电子设备100进入“手游模式”。具体的，手持设备可以将各个传感器检测到的数据发送给电子设备100，电子设备100可以根据该数据确定手持设备在发生移动后手持设备的确认按键被按压。响应于手持设备的移动，电子设备100将光标404移动至控件403上，光标404移动至控件403上的移动轨迹由手持设备的移动轨迹确定。响应于光标移动至控件403上后手持设备的确认按键被按压的用户操作，电子设备100进入“手游模式”。这里，手持设备的移动可以被称为第一运动，光标移动至控件403上后手持设备的确认按键被按压的用户操作可以被称为第一确认操作。
在一些实施例中，用户可以通过说出语音指令，触发电子设备100进入“手游模式”。该语音指令可以是电子设备100通过头戴式显示设备200检测到的。该语音指令例如可以是“开始测量”。具体实现中，头戴式显示设备200的麦克风可以采集用户输入的语音数据，并将该语音数据发送至电子设备100，该语音数据表明该语音指令。
在一些实施例中，用户可以通过长时间地看向控件403，触发电子设备100进入“手游模式”。具体实现中，头戴式显示设备200的摄像头可以采集到用户眼球的特定图像，并将该特定图像发送给电子设备100，该特定图像表明：用户的左眼望向控件403且在预设时长内未发生转动。电子设备100接收到该特定图像后，进入“手游模式”。
不限于如图5A所示或上述实施例描述的电子设备100进入“手游模式”的方式，在其他一些实施例中，用户还可以通过其他方式触发电子设备100进入“手游模式”，本申请实施例对此不作限制。例如，用户还可以在头戴式显示设备200的实体按键或者虚拟按键上输入操作(例如在开机按键上输入双击或者长按手势等)，来触发电子设备100进入“手游模式”。又例如，电子设备100可以在显示屏上所显示的由设置应用提供的设置界面中，显示用于开启/关闭“手游模式”的控件，用户可以通过在该控件上输入用户操作(例如触摸操作、点击操作等)，触发电子设备100进入“手游模式”。
不限于图5A-图5B实施例所示的用户在头戴式显示设备200显示VR桌面时触发电子设备100进入“手游模式”的方式，在其他一些实施例中，用户还可以在其他时刻或者场景下触发电子设备100进入“手游模式”。例如，用户还可以在通过VR显示系统玩游戏时触发电子设备100进入“手游模式”等。
在本申请实施例中，可以将用于触发电子设备100进入“手游模式”的用户操作称为第一用户操作。可以将接收到所述第一用户操作时所显示的用户界面称为第二用户界面。例如，图5A-图5B所示的界面可以是该第二用户界面。
不限于用户主动触发电子设备100进入“手游模式”的方式，在其他一些实施例中，电子设备100还可以自动进入“手游模式”。例如，电子设备100可以在检测到头戴式显示设备200开机后自动进入“手游模式”，也可以在头戴式显示设备200和电子设备建立连接后自动进入“手游模式”，还可以在电子设备100运行游戏应用并和头戴式显示设备200配合提供游戏场景时自动进入“手游模式”等等。
在一些实施例中，电子设备100进入“手游模式”之后，还可以提示用户当前已进入“手游模式”。参考图5B，电子设备100更改头戴式显示设备200的显示屏中控件403的显示方式，例如增加阴影或者添加标记等方式，提示用户当前已进入“手游模式”。
在进入“手游模式”之后，电子设备100可以捕捉用户的手部姿态，并将该手部姿态映射到头戴式显示设备200显示的VR场景中。
参考图6A，其示出了电子设备100进入“手游模式”后，用户握持电子设备100的手部姿态如图4A所示时，电子设备100将捕捉到的手部姿态映射到头戴式显示设备200显示的VR场景中后，头戴式显示设备200所显示的用户界面61。参考图4A，其示出了用户握持电子设备100时的手部姿态，用户的左手握持住电子设备100，左手拇指指尖触摸电子设备100的左上方区域，右手食指悬浮于虚拟屏幕602之上且处于伸直状态，右手其余四指握紧且不接触电子设备100。
用户界面61为电子设备100运行游戏应用时生成并发送给头戴式显示设备200显示的。在一些实施例中，电子设备100可以响应于用户在电子设备100上输入的操作启动并运行游戏应用，例如用户可以点击电子设备100提供的桌面中的游戏图标，触发电子设备100启动游戏应用。在另一些实施例中，电子设备100也可以响应于用户通过手持设备输入的操作启动并运行游戏应用，例如，用户可以移动手持设备以将光标404移动到如图4A中的VR桌面的游戏应用的图标402上，然后按压手持设备的确认按键，触发电子设备100启动游戏应用。电子设备100运行游戏应用后，可以获取该游戏应用提供的画面，并对该画面做渲染等处理后发送给头戴式显示设备200，由头戴式显示设备200在VR场景中显示该画面。
如图6A所示，用户界面61可包括：VR背景601、虚拟屏幕602、手部图像603以及控件604。
VR背景601、控件604可参照图4A所示用户界面41中的VR桌面401、控件403。虚拟屏幕602显示于VR背景之上，遮挡VR背景601的一部分。本申请实施例对虚拟屏幕602的大小、形状等不做具体限制。在一个具体的实施方式中，虚拟屏幕602的大小及形状可以被设定为类似手机的大小以及形状，这样可以给用户一种正在操作手机的体验。
虚拟屏幕602中包括运行于电子设备100上的应用所提供的画面，例如运行于电子设备100上的游戏应用提供的画面等。用户看到如图6A所示的用户界面61时，可以感觉到好像真实地置身于VR背景之中观看虚拟屏幕602中的画面。虚拟屏幕602可以被看作是电子设备100映射到VR场景中的对象。
在一些实施例中，虚拟屏幕602在头戴式显示设备200的显示屏中的显示区域是固定的。例如，虚拟屏幕602可占用头戴式显示设备200的显示屏的中心区域，并且保持不变。
在另一些实施例中，虚拟屏幕602在头戴式显示设备200的显示屏中的显示区域不是固定的。虚拟屏幕602在头戴式显示设备200的显示屏中的显示区域可以由用户握持电子设备100的方式以及用户和电子设备100之间的相对位置来决定。用户握持电子设备100的方式可包括：用户以竖屏的方式握持电子设备100，或者，用户以横屏的方式握持电子设备100。用户以横屏的方式握持电子设备100时，电子设备100在平行于地心引力的方向上的长度小于在垂直于地心引力的方向上的长度；用户以竖屏的方式握持电子设备100时，电子设备100在平行于地心引力的方向上的长度大于在垂直于地心引力的方向上的长度。
例如，当用户以横屏的方式握持电子设备100时，虚拟屏幕602在头戴式显示设备200的显示屏中也呈现为横屏形式；当用户以竖屏的方式握持电子设备100时，虚拟屏幕602在头戴式显示设备200的显示屏中也呈现为竖屏形式。又例如，当用户握持电子设备100并将电子设备100远离自身时，虚拟屏幕602在头戴式显示设备200的显示屏中占据的区域也可以越来越小。又例如，当用户握持电子设备100并向左平移电子设备100时，虚拟屏幕602在头戴式显示设备200的显示屏中也向左平移。这样头戴式显示设备200上显示的虚拟屏幕的大小可以反映用户握持电子设备100的方式以及用户和电子设备100之间的相对位置，可以给用户更加优良的使用体验。
具体实现中，电子设备100可以通过配置的陀螺仪、加速度传感器等来采集对应的数据，并根据采集到的数据来分析用户握持握持电子设备100的方式。电子设备100还可以通过摄像头来拍摄图像，并通过该图像来确定用户和电子设备100之间的相对位置。
在一些实施例中，虚拟屏幕602中的游戏画面可以是具有3D效果的。例如，虚拟屏幕602中的游戏画面可以由多个深度平面对应的图像组成，每个深度平面对应的图像可以不同，例如各个深度平面提供的场景或者视角不同，用户可以通过不同深度平面的图像查看到不同的图像特征，从而产生真实的深度感。这样可以给用户更加真实的沉浸感。
在另一些实施例中，虚拟屏幕602中的游戏画面也可以不具有3D效果，而是2D的。这样，用户可以在图4A所示的场景中像平时在手机上玩手游一样，在头戴式显示设备200上看到类似的游戏画面。虚拟屏幕602中显示2D的游戏画面时，可以无需电子设备100或者头戴式显示设备200对游戏应用提供的游戏画面做三维显示处理，电子设备100仅仅需要将在现有技术中显示于自身显示屏上的画面投射到头戴式显示设备200中显示即可，这样可以节省电子设备100或者头戴式显示设备200的处理资源，节约功耗。此外，通过2D的方式来显示虚拟屏幕602中的游戏画面，无需游戏应用的开发人员改进该游戏应用的程序包，现有的能够运行于电子设备100上的游戏应用都可以通过本申请实施例提供的方法，将提供的游戏画面显示于头戴式显示设备中。
手部图像603是电子设备100捕捉手部姿态之后，将手部姿态映射到VR场景中的结果。手部图像603可以表征3D的手部。如图6A所示，手部图像603表征有左手和右手，该左手握持住虚拟屏幕602，左手拇指指尖触摸电子设备100的左上方区域，右手食指悬浮于虚拟屏幕602之上且处于伸直状态，右手其余四指握紧且不接触电子设备100。该手部图像603所表示的手部状态和图4A中用户手部实际握持电子设备100的手部状态相同。
通过图4A及图6A可知，电子设备100进入“手游模式”后，可以使得用户在佩戴头戴式显示设备200时，通过手部图像603感受到自己在真实世界中的手部姿态。
下面将详细描述电子设备100进入“手游模式”后，如何捕捉手部姿态，以及，如何将手部姿态映射到VR场景中。
首先，描述电子设备100如何捕捉手部姿态。在本申请实施例中，用户在电子设备100上的手部姿态可以为直接触摸电子设备100的显示屏的手部姿态，也可以为不直接触摸显示屏的手部姿态，本申请实施例对此不做限制。
在本申请实施例中，电子设备100捕捉用户在电子设备100上的手部姿态是指：电子设备100采集用户的手部数据，并根据用户的手部数据确定用户手部和电子设备100之间的相对位置。该手部数据描述了用户在电子设备100上的手部姿态，用于确定用户手部和电子设备100之间的相对位置。该用户手部和电子设备100之间的相对位置可包括但不限于：用户手部是否接触电子设备100；用户的手部和电子设备100接触的部位、电子设备100和用户的手部接触的位置、或者用户的手部的各个部位和电子设备100之间的距离等等。也就是说，该用户手部和电子设备100之间的相对位置可以反映用户手部在真实世界中的姿态，例如用户手部的手指长度、手掌宽度及厚度、指纹等等。
电子设备100可以通过以下几种方式来捕捉手部姿态：
(1)电子设备100利用光学原理来捕捉用户的手部姿态。
电子设备100可以在显示屏下方或者在显示屏上设置光传感器或者光敏组件，显示屏(例如OLED屏幕)发出光线将手指照亮，该光线照射到手指后将透过屏幕反射到光传感器或者光敏组件上。电子设备100可根据光敏组件或者光传感器接收到的反射光的时间、强度，来确定用户手部和电子设备100之间的相对位置。电子设备100的光敏组件或者接收到反射光的强度越强、发出光线到接收到反射光之间的时间间隔越短时，对应的手部位置距离电子设备100越近。在这种情况下，电子设备100采集到的手部数据可包括发出光线的时间、光敏组件或者光传感器接收到的反射光的时间、强度等。
(2)电子设备100利用摄像头来捕捉手部姿态。
电子设备100可以设置有摄像头，并可以通过摄像头拍摄用户手部的图像。电子设备100的摄像头可以设置在任意位置处，例如可以设置在显示屏下方、四周边缘等等，本申请实施例对此不做限制。电子设备100可以根据摄像头拍摄到的图像来确定用户手部和电子设备100之间的相对位置。在这种情况下，用户的手部数据可包括摄像头拍摄到的图像。电子设备电子设备
(3)电子设备100利用声波原理来捕捉手部姿态。
电子设备100可以在显示屏下方设置声波传感器，该声波传感器可用于向外发射超声波并接收由用户手部遮挡而形成的反射波。电子设备100可以根据声波传感器接收到的反射波的时间、强度等来确定用户手部和电子设备100之间的相对位置。声波传感器接收到反射波的强度越强、收发声波之间的时间间隔越短时，对应的手部位置距离电子设备100越近。在这种情况下，用户的手部数据可包括声波传感器发出声波的时间、接收到的反射波的时间、强度等。
(4)电子设备100利用压力传感器来捕捉手部姿态。
电子设备100可以通过分布在背面和侧边的压力传感器检测压力值，并根据该压力值来确定用户手部和电子设备100之间的相对位置。例如，当有压力传感器检测到压力值时，表示用户手部握持电子设备100时的触摸点位于该压力传感器所在位置。在这种情况下，用户的手部数据可包括各个压力传感器检测到的压力值。
在一些实施例中，上述(1)-(4)种捕捉手部姿态的方式可以结合实施。例如，当用户手部距离电子设备100较远时，可以使用上述第(2)种方式来捕捉手部姿态，当用户的手部距离电子设备100较近时，可以切换至使用上述第(1)种方式来捕捉手部姿态。
不限于上述几种方式，在其他一些实施例中，电子设备100四周侧边分布有天线，由于用户握持电子设备时会对对应天线接收信号造成一定干扰，电子设备还可以通过天线接收信号的强度来确定用户手部和电子设备100之间的相对位置。
在本申请实施例中，电子设备100可以以较高的频率来捕捉手部姿态，这样可以实时地监测手部姿态，在后续将手部姿态映射到VR场景中时，可以给用户更加自然、连续、真实的体验。
在本申请实施例中，用户手部相对于电子设备100的相对位置可通过用户手部的各个部位位于电子设备100的相对坐标来表示。用户的手部部位可包括：左手各个手指的指尖、指关节、指肚等、右手各个手指的指尖、指关节、指肚等等。用户手部的每一个部位相对于电子设备100的相对坐标都可以为3D坐标(X1，Y1，Z1)。该3D坐标可以根据电子设备100的位置来确定。例如，在一些实施例中，该3D坐标可依赖于如图7所示的3D坐标系，其中，以显示屏所在的平面为X-Y平面，垂直于显示屏的方向为Y轴。(X1，Y1)为手部部位映射到显示屏上的2D坐标，Y为手部部位和显示屏之间的垂直距离。这样，通过用户手部的多个部位相对电子设备100的相对坐标，即可反映出用户手部相对于电子设备100的相对位置。
在一些实施例中，电子设备100还可以采用悬停校准的方式，来提升捕捉手部姿态的准确性。具体的，电子设备100可以提示用户使用手部直接接触显示屏，并逐渐往垂直于显示屏的方向远离显示屏，电子设备100以用户手部直接接触显示屏时获取到的手部在显示屏上的2D坐标为准，校准根据用户手部远离显示屏后获取到的手部数据确定的用户手部的3D坐标。通常情况下，用户手部直接接触显示屏时，和用户手部往垂直于显示屏的方向远离显示屏后，用户手部相对于电子设备100的相对坐标中，在X轴以及Y轴上的坐标值不变，而仅在Y轴上的坐标值有变化。
然后，描述电子设备100如何将手部姿态映射到VR场景中。
在本申请实施例中，电子设备100将手部姿态映射到VR场景中是指：电子设备100根据用户手部和电子设备100之间的相对位置生成该用户手部对应的手部图像，并将该手部图像发送给头戴式显示设备200进行显示，该手部图像所表征的手部和头戴式显示设备中显示的虚拟屏幕之间的相对位置，与，用户的手部实际和电子设备100之间的相对位置相同。
也就是说，电子设备100将手部姿态映射到VR场景中是指：电子设备100根据虚拟屏幕在用户界面中的显示位置，以及，用户的手部实际和电子设备100之间的相对位置，确定手部图像在该用户界面中的位置，并在确定的手部图像在该用户界面中的位置上显示该手部图像。该手部图像所表征的手部和头戴式显示设备中显示的虚拟屏幕之间的相对位置，与，用户的手部实际和电子设备100之间的相对位置相同。
具体的，头戴式显示设备200中显示的虚拟屏幕可以被看作是电子设备100映射到VR场景中的对象。电子设备100生成手部图像并将该手部图像发送至头戴式显示设备显示时，该手部图像所表征的手部和头戴式显示设备显示的虚拟屏幕之间的相对位置，与，用户的手部实际和电子设备100之间的相对位置相同。
进一步地，用户手部实际接触电子设备100时，手部图像表征的手部接触虚拟屏幕的具体位置，和用户手部实际触摸电子设备100的具体位置相同；手部图像表征的手部和虚拟屏幕之间的触摸点，和用户手部实际触摸电子设备100时的触摸点相同；手部图像表征的手部的各个部位和虚拟屏幕之间的距离，和用户手部各个部位实际和电子设备100之间的距离相同。
举例说明，假定用户左手握持电子设备100，左手拇指指尖触摸电子设备100的显示屏左侧区域，左手的其余四指指尖触摸电子设备100的背部区域，左手其余部位不接触电子设备100。那么，电子设备100进入“手游模式”后，头戴式显示设备200中显示的手部图像所表征手部中，左手的左手拇指指尖触摸虚拟屏幕的左侧区域，左手的其余四指指尖触摸虚拟屏幕的的背部区域，左手拇指指尖以外的其余部位不接触虚拟屏幕。
在本申请实施例中，电子设备100可以以较快的频率来捕捉手部姿态并将手部姿态映射到VR场景中，这样，当用户的手在真实世界中不断变换手势例如平移手指时，头戴式显示设备200中显示的手部图像所表征的手部也会不断地变换手势，可以将用户在真实世界中的手部姿态以及该手势的变化，呈现在VR场景中，方便用户查看，可提升用户体验。
示例性地，如图4A及图6A所示，图6A中头戴式显示设备200所显示的手部图像603所表征的手部和虚拟屏幕602之间的相对位置，与，用户手部实际和电子设备100之间的相对位置相同。
在一些实施例中，该手部图像603可以具有一定的透明度，即用户可以通过该手部图像603看到虚拟屏幕602。在一些实施例中，该手部图像603还可以以虚线形式来呈现，可以以此提示用户该手部图像为电子设备100通过VR技术生成的虚拟图像。
在一些实施例中，电子设备100可以在生成手部图像603并通过头戴式显示设备200显示该手部图像时，体现更多的信息。例如，用户手部和电子设备100之间的实际距离不同时，电子设备100通过头戴式显示设备200所显示的手部图像的清晰度、颜色深浅等可以不同。用户手部和电子设备100之间的实际距离越近，头戴式显示设备200所显示的手部图像的清晰度越好、颜色越深。例如，参考图6A，当用户的左手和电子设备100之间的距离小于右手和电子设备100之间的距离时，用户左手的图像颜色深于用户右手的图像颜色。通过这样的显示方式，可以使得用户直观地感受到自己手部和电子设备100之间的实际距离。
在本申请实施例中，可以将用户的手部和电子设备100之间的相对位置称为第一相对位置。电子设备100显示手部图像603时所显示的用户界面可以被称为第一用户界面。例如，图6A-图6D所示的任意一个用户界面均为该第一用户界面。手部图像603可以被称为第一手部图像。手部图像603在第一用户界面中的位置可以被称为第二位置。
在本申请实施例中，用户可以通过手势操控电子设备100，来和头戴式显示设备200所显示的虚拟屏幕中的画面进行交互。在一些实施例中，用户可以通过手势操控电子设备100，来和虚拟屏幕602中的游戏画面进行交互。
具体的，电子设备100可以检测到用户在电子设备100的显示屏上输入的手势，并响应于该手势而启用对应的功能。
需要注意的是，电子设备100检测到的手势可以是一个连续的手势。即该手势可以持续一段时间。那么，电子设备100检测到该手势时所捕捉到的用户的手部姿态也可以是多个。电子设备100在响应于检测到的手势启用对应的功能的同时，还会将捕捉到的用户姿态映射到VR场景中。如图6B及图6C所示，用户在电子设备100上输入滑动手势时，头戴式显示设备200中显示的用户的手部图像也随着用户的手部姿态而变化，图6C中显示的用户的手部图像表征的手部相对于图6B中显示的用户的手部图像表征的手部，往虚拟屏幕的右侧滑动的一定距离。
用户在显示屏上可以输入的手势，和，用户单独使用电子设备100时可以输入的手势相同，可包括现有的所有可用于操控电子设备100上所显示用户界面的手势合集，例如可以包括但不限于点击手势、滑动手势、长按手势、缩放手势等等。电子设备100启用的功能可包括：放大虚拟屏幕602中的画面、调整虚拟屏幕602中的视角、打开设置界面、暂停游戏等等。
电子设备100响应于检测到的手势而启用的功能，和，用户单独使用电子设备100时电子设备100响应于该手势而启用的功能相同。电子设备100响应于检测到的手势而启用的功能，和用户输入该手势时的手部姿态被映射到VR场景中后的手部图像所表征的手部所作用于虚拟屏幕中画面的位置和/或该手势本身，相关联。
举例说明，虚拟屏幕中显示游戏画面时，若用户在电子设备100上输入点击手势，该点击手势对应的手部姿态被映射到VR场景中后的手部图像所表征的手部作用于虚拟屏幕中暂停游戏的控件，则电子设备100响应于该点击手势暂停游戏。
再举例说明，虚拟屏幕中显示游戏画面时，若用户在电子设备100中输入点击手势，该点击手势对应的手部姿态被映射到VR场景中后的手部图像所表征的手部作用于虚拟屏幕中启用静音的控件时，则电子设备100响应于该点击手势启用静音。
再举例说明，虚拟屏幕中显示有视频画面时，若用户在电子设备100的显示屏上输入双击手势，则电子设备响应于该双击手势暂停虚拟屏幕中的视频。图6B-图6C示例性示出了一种响应于用户在电子设备100上输入的手势，电子设备100通过头戴式显示设备200而启用对应功能的场景。参考图6B，用户可以在电子设备100上输入滑动手势，电子设备在检测到该滑动手势的同时，捕捉用户的手部姿态，并将用户的手部姿态映射到VR场景中，用户的手部姿态所表征的手部作用于虚拟屏幕的右侧区域。参考图6C，响应于用户输入的滑动手势，电子设备100通过头戴式显示设备200所显示的虚拟屏幕602中的游戏画面的视角有所调整。
在本申请实施例中，可以将电子设备100响应于检测到的手势而启用的功能称为第一功能。在一个具体的实施例中，该第一功能和手部图像所表征的手部所作用于虚拟屏幕中画面的位置相对应。
因此，通过本申请实施例提供的方法，可以不改变用户的使用习惯，使得用户顺利自然地和平时使用电子设备100一样，和头戴式显示设备200中显示的画面进行交互。用户和头戴式显示设备200中的画面进行交互时的手势均为用户所熟悉的常规手势，用户无需进行进一步地学习即可操控该头戴式显示设备200中的画面。
不限于图6A-图6C所示的虚拟屏幕呈现为类似手机的大小以及形状，在其他一些实施例中，电子设备100还可以通过头戴式显示设备200显示更大的虚拟屏幕。例如，电子设备100通过头戴式显示设备200显示的虚拟屏幕所在区域可以占据头戴式显示设备200的显示屏的大部分区域。这样可以使得用户佩戴头戴式显示设备200时，更加有沉浸感，有更好的视觉体验。示例性地，参考图6D，图6D示例性示出了电子设备100通过头戴式显示设备200显示的用户界面62，用户界面62中的虚拟屏幕的尺寸大于图6A-图6C所示用户界面61中的虚拟屏幕的尺寸。如图6D所示，用户手部的图像和虚拟屏幕的尺寸一样，按比例变大。如图6D所示，用户手部的图像可以仅表征用户手部的一部分，例如仅表征用户的手指而不表征用户的手掌。
不限于上述图6A-图6D所示的游戏场景，在其他场景下，电子设备100入“手游模式”之后，也可以捕捉手部姿态并将手部姿态映射到VR场景中，并且，用户也可以通过操控电子设备100来和头戴式显示设备200显示的虚拟屏幕中的画面进行交互。例如，进入手游模式之后，用户可以触发电子设备100运行其它类型的应用程序，例如音乐类应用程序、社交类应用程序、视频类应用程序等等，电子设备100可以通过头戴式显示设备200显示的虚拟屏幕来显示运行这一类应用程序时所显示的画面，还可以捕捉手部姿态，将手部姿态映射到VR场景中。
示例性地，参考图8A及图8B，其分别示出了VR显示系统进入“手游模式”之后，为用户提供音乐类场景、视频类场景时的示意图。用户可操控电子设备100来和虚拟屏幕中的画面进行交互，例如，用户可以播放音乐、切换音乐、观看视频等等。
在本申请实施例中，电子设备100进入“手游模式”之后，电子设备100的显示屏可以不显示任何画面，例如可以黑屏(即电子设备100停止显示屏的电源供应)，这样可以节省电子设备100的电量。在其他一些实施例中，电子设备100进入“手游模式”之后，电子设备100的显示屏也可以同步显示运行应用程序时该应用程序所提供的画面，本申请对此不做限制。
可理解的，不限于上述图4A-图4B、图5A-图5B、图6A-图6D所示的显示屏上直接显示图像来呈现虚拟现实场景的方式，在另一些实施例中，头戴式显示设备200可以配置有光学装置，并通过光学装置投射光学信号到用户的视网膜上，从而使得用户看到对应的虚拟图像，并感受到沉浸式的虚拟现实场景。
在本申请实施例中，电子设备100进入“手游模式”之后，用户还可以根据自身需求触发电子设备100退出“手游模式”。电子设备100退出“手游模式”后，电子设备100停止捕捉手部姿态，头戴式显示设备200也不再显示用户的手部图像。
在本申请实施例中，电子设备100退出“手游模式”的方式和进入“手游模式”类似。例如，电子设备100可以响应于用户操控手持设备移动以触发电子设备100将光标504移动至控件403上，然后，按压手持设备的确认控件的用户操作，来退出“手游模式”。这里，用户操控手持设备移动时该手持设备的移动可以被称为第二运动，光标504移动至控件403上后手持设备的确认控件被按压的用户操作可以被称为第二确认操作。又例如，电子设备100还可以响应于用户说出的语音指令，退出“手游模式”。又例如，电子设备100可以响应于用户眼球在预设时长内望向控件403并且未发生旋转的用户操作，退出“手游模式”。又例如，电子设备100还可以在头戴式显示设备200和电子设备断开连接后，自动退出“手游模式”等等。本申请实施例对电子设备100退出“手游模式”的方式不作限制。
在本申请实施例中，可以将用于触发电子设备100退出“手游模式”的用户操作称为第二用户操作。
在可理解的，在本申请的一些实施例中，头戴式显示设备也可以具有一定的计算能力，可以安装并运行各类应用，并将各类应用提供的画面做渲染处理后显示在显示屏上呈现给用户。在这种情况下，电子设备100可以仅仅作为用于获取用户手部数据的外接设备来检测用户手部姿态的手部数据，之后可以将用户的手部数据发送给头戴式显示设备200，由头戴式显示设备200根据该手部数据确定用户手部和电子设备100之间的相对位置，并根据该相对位置在显示屏上显示手部图像。头戴式显示设备200根据该手部数据确定用户手部和电子设备100之间的相对位置的方式，可参考电子设备100根据手部数据确定用户手部和电子设备100之间的相对位置的方式。头戴式显示设备200根据用户手部和电子设备100之间的相对位置在显示屏上显示手部图像的方式，可参考电子设备100根据用户手部和电子设备100之间的相对位置生成手部图形并将其显示在头戴式显示设备200上的方式。
综上，实施本申请实施例提供的虚拟现实场景中的交互方法，电子设备可以捕捉用户在该电子设备上的手部姿态，并通过头戴式显示设备在VR场景中将该手部姿态呈现给用户。可以使得用户在VR场景中实时地看到自己的手部姿态，并可以直接通过手势来操控电子设备来和VR场景进行交互。这样的交互方式，使得用户可以灵活地操控VR场景，提升用户体验。
本申请的各实施方式可以任意进行组合，以实现不同的技术效果。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid StateDisk)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
总之，以上所述仅为本发明技术方案的实施例而已，并非用于限定本发明的保护范围。凡根据本发明的揭露，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (22)
1.一种虚拟现实场景中的交互方法，其特征在于，所述方法包括：
电子设备采集用户的手部数据，根据所述用户的手部数据确定所述用户的手部和所述电子设备之间的第一相对位置；所述电子设备通信连接到头戴式显示设备，所述头戴式显示设备可佩戴于所述用户的头部；
所述电子设备通过所述头戴式显示设备的显示屏显示第一用户界面，所述第一用户界面中显示有：虚拟屏幕；所述虚拟屏幕中包括所述电子设备运行的应用程序所提供的画面；
所述电子设备根据所述虚拟屏幕在第一用户界面中的显示位置，以及所述第一相对位置，确定第一手部图像在所述第一用户界面中的第二位置；
所述电子设备通过所述头戴式显示设备在所述第一用户界面中的第二位置显示所述第一手部图像；
所述电子设备启用第一功能；所述第一功能，和，所述第一手部图像表征的手部作用于所述虚拟屏幕中画面的位置相对应。
2.根据权利要求1所述的方法，其特征在于，
所述用户的手部数据包括以下一项或多项：
所述电子设备的显示屏发出光线的时间、所述电子设备的光传感器接收到反射光的时间和强度，所述反射光是所述光线经由所述用户的手部的反射后得到的；
所述电子设备的摄像头拍摄到的所述用户手部的图像；
所述电子设备的声波传感器发出声波的时间、所述声波传感器接收到反射波的时间和强度，所述反射波是所述声波经由所述用户的手部的反射后得到的；或者，
所述电子设备的压力传感器采集到的压力值。
3.根据权利要求1或2所述的方法，其特征在于，
所述第一相对位置包括以下一项或多项：所述用户的手部和所述电子设备接触的部位、所述电子设备和所述用户的手部接触的位置、或者所述用户的手部的各个部位和所述电子设备之间的距离。
4.根据权利要求1-3任一项所述的方法，其特征在于，
所述第一相对位置通过所述用户的手部的各个部位在第一坐标系中的坐标表示；所述第一坐标系为三维坐标系，所述第一坐标系以所述电子设备的显示屏所在平面为X轴和Y轴所在平面、以垂直于所述显示屏的直线为Z轴所在直线。
5.根据权利要求1-4任一项所述的方法，其特征在于，
所述虚拟屏幕在所述第一用户界面中的显示区域是固定的；
或者，
所述虚拟屏幕在所述第一用户界面中的显示区域，是所述电子设备根据以下一项或多项确定的：所述用户的手部握持所述电子设备的方式，或，所述电子设备和所述用户之间的相对位置。
6.根据权利要求1-5任一项所述的方法，其特征在于，
所述第一手部图像具有透明度，或者，所述第一手部图像以虚线显示。
7.根据权利要求1-6任一项所述的方法，其特征在于，
所述电子设备电子设备采集用户的手部数据之前，所述方法还包括：
所述电子设备通过所述头戴式显示设备的显示屏显示第二用户界面；
所述电子设备检测到第一用户操作；其中，所述第一用户操作由所述用户根据所述第二用户界面输入；
所述电子设备电子设备采集用户的手部数据，具体包括：响应于所述第一用户操作，所述电子设备电子设备采集用户的手部数据。
8.根据权利要求7所述的方法，其特征在于，
所述第二用户界面包括：第一控件和光标；所述电子设备与手持设备连接；所述响应于所述第一用户操作，所述电子设备采集用户的手部数据之前，所述方法还包括：
所述电子设备通过所述手持设备检测到第一运动；
所述电子设备根据所述第一运动移动所述光标至所述第一控件上；
接收所述用户在所述光标移动至所述第一控件上后的第一确认操作；
所述第一用户操作包括所述第一运动和所述第一确认操作；
或者，
所述第二用户界面包括：第一控件；所述响应于所述第一用户操作，所述电子设备采集用户的手部数据之前，所述方法还包括：
所述电子设备通过所述头戴式显示设备检测到所述用户的眼球看向所述第二用户界面中的所述第一控件且在预设时长内未发生转动的用户操作；
所述第一用户操作包括所述用户的眼球看向所述第二用户界面中的所述第一控件且在预设时长内未发生转动的用户操作。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述电子设备启用第一功能之后，所述方法还包括：
所述电子设备检测到第二用户操作，
响应于所述第二用户操作，所述电子设备停止采集所述用户的手部数据。
10.根据权利要求9所述的方法，其特征在于，
所述第一用户界面中还包括：第一控件、光标；所述电子设备与手持设备连接；所述响应于所述第二用户操作，所述电子设备停止采集所述用户的手部数据之前，所述方法还包括：
所述电子设备通过所述手持设备检测到第二运动；
所述电子设备根据所述第二运动移动所述光标至所述第一控件上；
接收所述用户在所述光标移动至所述第一控件上后的第二确认操作；
所述第二用户操作包括所述第二运动和所述第二确认操作；
或者，
所述第一用户界面包括：第一控件；所述响应于所述第二用户操作，所述电子设备停止采集所述用户的手部数据之前，所述方法还包括：
所述电子设备通过所述头戴式显示设备检测到所述用户的眼球看向所述第一用户界面中的所述第一控件且在预设时长内未发生转动的用户操作；
所述第一用户操作包括所述用户的眼球看向所述第一用户界面中的所述第一控件且在预设时长内未发生转动的用户操作。
11.一种电子设备，其特征在于，所述电子设备通信连接到头戴式显示设备，所述头戴式显示设备可佩戴于所述用户的头部；所述电子设备包括：一个或多个处理器、存储器；
所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：
采集用户的手部数据，根据所述用户的手部数据确定所述用户的手部和所述电子设备之间的第一相对位置；
通过所述头戴式显示设备的显示屏显示第一用户界面，所述第一用户界面中显示有：虚拟屏幕；所述虚拟屏幕中包括所述电子设备运行的应用程序所提供的画面；
根据所述虚拟屏幕在第一用户界面中的显示位置，以及所述第一相对位置，确定第一手部图像在所述第一用户界面中的第二位置；
通过所述头戴式显示设备在所述第一用户界面中的第二位置显示所述第一手部图像；
所述电子设备启用第一功能；所述第一功能，和，所述第一手部图像表征的手部作用于所述虚拟屏幕中画面的位置相对应。
12.根据权利要求11所述的电子设备，所述电子设备还包括以下一项或多项：显示屏、摄像头、声波传感器或压力传感器，其特征在于，
所述用户的手部数据包括以下一项或多项：
所述电子设备的所述显示屏发出光线的时间、所述电子设备的光传感器接收到反射光的时间和强度，所述反射光是所述光线经由所述用户的手部的反射后得到的；
所述电子设备的所述摄像头拍摄到的所述用户手部的图像；
所述电子设备的所述声波传感器发出声波的时间、所述声波传感器接收到反射波的时间和强度，所述反射波是所述声波经由所述用户的手部的反射后得到的；或者，
所述电子设备的所述压力传感器采集到的压力值。
13.根据权利要求11或12所述的电子设备，其特征在于，
所述第一相对位置包括以下一项或多项：所述用户的手部和所述电子设备接触的部位、所述电子设备和所述用户的手部接触的位置、或者所述用户的手部的各个部位和所述电子设备之间的距离。
14.根据权利要求11-13任一项所述的电子设备，其特征在于，
所述第一相对位置通过所述用户的手部的各个部位在第一坐标系中的坐标表示；所述第一坐标系为三维坐标系，所述第一坐标系以所述电子设备的显示屏所在平面为X轴和Y轴所在平面、以垂直于所述显示屏的直线为Z轴所在直线。
15.根据权利要求11-14任一项所述的电子设备，其特征在于，
所述虚拟屏幕在所述第一用户界面中的显示区域是固定的；
或者，
所述虚拟屏幕在所述第一用户界面中的显示区域，是所述电子设备根据以下一项或多项确定的：所述用户的手部握持所述电子设备的方式，或，所述电子设备和所述用户之间的相对位置。
16.根据权利要求11-15任一项所述的电子设备，其特征在于，
所述第一手部图像具有透明度，或者，所述第一手部图像以虚线显示。
17.根据权利要求11-16任一项所述的电子设备，其特征在于，所述一个或多个处理器还用于调用所述计算机指令以使得所述电子设备执行：采集用户的手部数据之前，通过所述头戴式显示设备的显示屏显示第二用户界面，检测到第一用户操作；其中，所述第一用户操作由所述用户根据所述第二用户界面输入；
所述一个或多个处理器具体用于调用所述计算机指令以使得所述电子设备执行：响应于所述第一用户操作，采集用户的手部数据。
18.根据权利要求17所述的电子设备，其特征在于，
所述第二用户界面包括：第一控件和光标；所述电子设备与手持设备连接；所述一个或多个处理器还用于调用所述计算机指令以使得所述电子设备执行：通过所述手持设备检测到第一运动，根据所述第一运动移动所述光标至所述第一控件上，接收所述用户在所述光标移动至所述第一控件上后的第一确认操作；所述第一用户操作包括所述第一运动和所述第一确认操作；
或者，
所述第二用户界面包括：第一控件；所述一个或多个处理器还用于调用所述计算机指令以使得所述电子设备执行：通过所述头戴式显示设备检测到所述用户的眼球看向所述第二用户界面中的所述第一控件且在预设时长内未发生转动的用户操作；所述第一用户操作包括所述用户的眼球看向所述第二用户界面中的所述第一控件且在预设时长内未发生转动的用户操作。
19.根据权利要求11-16任一项所述的电子设备，其特征在于，所述一个或多个处理器还用于调用所述计算机指令以使得所述电子设备执行：启用第一功能之后，检测到第二用户操作；响应于所述第二用户操作，停止采集所述用户的手部数据。
20.根据权利要求19所述的电子设备，其特征在于，所述第一用户界面中还包括：第一控件、光标；所述电子设备与手持设备连接；所述一个或多个处理器还用于调用所述计算机指令以使得所述电子设备执行：停止采集所述用户的手部数据之前，通过所述手持设备检测到第二运动，根据所述第二运动移动所述光标至所述第一控件上，接收所述用户在所述光标移动至所述第一控件上后的第二确认操作；所述第二用户操作包括所述第二运动和所述第二确认操作；
或者，
所述第一用户界面包括：第一控件；所述一个或多个处理器还用于调用所述计算机指令以使得所述电子设备执行：停止采集所述用户的手部数据之前，通过所述头戴式显示设备检测到所述用户的眼球看向所述第二用户界面中的所述第一控件且在预设时长内未发生转动的用户操作；所述第一用户操作包括所述用户的眼球看向所述第二用户界面中的所述第一控件且在预设时长内未发生转动的用户操作。
21.一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行如权利要求1-10中任一项所述的方法。
22.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在电子设备上运行时，使得所述电子设备执行如权利要求1-10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911168991.3A CN112835445B (zh) | 2019-11-25 | 2019-11-25 | 虚拟现实场景中的交互方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911168991.3A CN112835445B (zh) | 2019-11-25 | 2019-11-25 | 虚拟现实场景中的交互方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112835445A true CN112835445A (zh) | 2021-05-25 |
| CN112835445B CN112835445B (zh) | 2024-04-26 |
Family
ID=75923024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911168991.3A Active CN112835445B (zh) | 2019-11-25 | 2019-11-25 | 虚拟现实场景中的交互方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112835445B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113660477A (zh) * | 2021-08-16 | 2021-11-16 | 吕良方 | 一种vr眼镜及其图像呈现方法 |
| US11651542B1 (en) | 2021-12-07 | 2023-05-16 | Varjo Technologies Oy | Systems and methods for facilitating scalable shared rendering |
| CN117111728A (zh) * | 2023-03-06 | 2023-11-24 | 荣耀终端有限公司 | 人机交互方法、相关设备及系统 |
| CN117130472A (zh) * | 2023-04-17 | 2023-11-28 | 荣耀终端有限公司 | 虚拟空间操作指引显示方法、移动设备及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102783143A (zh) * | 2010-03-10 | 2012-11-14 | 歌乐牌株式会社 | 车辆用周围监视装置 |
| US20150364113A1 (en) * | 2014-06-11 | 2015-12-17 | Samsung Electronics Co., Ltd. | Method for controlling function and electronic device thereof |
| US20160306431A1 (en) * | 2015-04-15 | 2016-10-20 | Sony Computer Entertainment Inc. | Pinch And Hold Gesture Navigation On A Head-Mounted Display |
| CN107743604A (zh) * | 2015-09-16 | 2018-02-27 | 谷歌有限责任公司 | 增强和/或虚拟现实环境中的触摸屏悬停检测 |
| WO2018090060A1 (en) * | 2016-11-14 | 2018-05-17 | Logitech Europe S.A. | A system for importing user interface devices into virtual/augmented reality |
| CN108334203A (zh) * | 2018-04-13 | 2018-07-27 | 北京理工大学 | 一种用于虚拟现实的虚实融合键盘系统 |
| CN108780357A (zh) * | 2016-03-24 | 2018-11-09 | 高通股份有限公司 | 用于将物理环境的视觉图像集成到虚拟实境的空间关系 |
| US20180376217A1 (en) * | 2017-06-27 | 2018-12-27 | Samsung Electronics Co., Ltd | System for providing multiple virtual reality views |
| US20190065026A1 (en) * | 2017-08-24 | 2019-02-28 | Microsoft Technology Licensing, Llc | Virtual reality input |
| US20190102927A1 (en) * | 2017-09-29 | 2019-04-04 | Sony Interactive Entertainment Inc. | Rendering of virtual hand pose based on detected hand input |
-
2019
- 2019-11-25 CN CN201911168991.3A patent/CN112835445B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102783143A (zh) * | 2010-03-10 | 2012-11-14 | 歌乐牌株式会社 | 车辆用周围监视装置 |
| US20150364113A1 (en) * | 2014-06-11 | 2015-12-17 | Samsung Electronics Co., Ltd. | Method for controlling function and electronic device thereof |
| US20160306431A1 (en) * | 2015-04-15 | 2016-10-20 | Sony Computer Entertainment Inc. | Pinch And Hold Gesture Navigation On A Head-Mounted Display |
| CN107743604A (zh) * | 2015-09-16 | 2018-02-27 | 谷歌有限责任公司 | 增强和/或虚拟现实环境中的触摸屏悬停检测 |
| CN108780357A (zh) * | 2016-03-24 | 2018-11-09 | 高通股份有限公司 | 用于将物理环境的视觉图像集成到虚拟实境的空间关系 |
| WO2018090060A1 (en) * | 2016-11-14 | 2018-05-17 | Logitech Europe S.A. | A system for importing user interface devices into virtual/augmented reality |
| US20180376217A1 (en) * | 2017-06-27 | 2018-12-27 | Samsung Electronics Co., Ltd | System for providing multiple virtual reality views |
| US20190065026A1 (en) * | 2017-08-24 | 2019-02-28 | Microsoft Technology Licensing, Llc | Virtual reality input |
| US20190102927A1 (en) * | 2017-09-29 | 2019-04-04 | Sony Interactive Entertainment Inc. | Rendering of virtual hand pose based on detected hand input |
| CN108334203A (zh) * | 2018-04-13 | 2018-07-27 | 北京理工大学 | 一种用于虚拟现实的虚实融合键盘系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113660477A (zh) * | 2021-08-16 | 2021-11-16 | 吕良方 | 一种vr眼镜及其图像呈现方法 |
| US11651542B1 (en) | 2021-12-07 | 2023-05-16 | Varjo Technologies Oy | Systems and methods for facilitating scalable shared rendering |
| WO2023105113A1 (en) * | 2021-12-07 | 2023-06-15 | Varjo Technologies Oy | Systems and methods for facilitating scalable shared rendering |
| CN117111728A (zh) * | 2023-03-06 | 2023-11-24 | 荣耀终端有限公司 | 人机交互方法、相关设备及系统 |
| CN117130472A (zh) * | 2023-04-17 | 2023-11-28 | 荣耀终端有限公司 | 虚拟空间操作指引显示方法、移动设备及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112835445B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102411100B1 (ko) | 디바이스를 이용한 화면 처리 방법 및 장치 | |
| US20210405761A1 (en) | Augmented reality experiences with object manipulation | |
| CN112835445B (zh) | 虚拟现实场景中的交互方法、装置及系统 | |
| US20160063767A1 (en) | Method for providing visual reality service and apparatus for the same | |
| CN111880648B (zh) | 一种三维元素的操纵方法和终端 | |
| US11986726B2 (en) | Application running method and electronic device | |
| EP3905016A1 (en) | Electronic device for performing various functions in augmented reality environment, and operation method for same | |
| WO2021103990A1 (zh) | 显示方法、电子设备及系统 | |
| US11798234B2 (en) | Interaction method in virtual reality scenario and apparatus | |
| WO2016208881A1 (en) | Three-dimensional user interface for head-mountable display | |
| WO2021254113A1 (zh) | 一种三维界面的控制方法和终端 | |
| CN112612387B (zh) | 展示信息的方法、装置、设备及存储介质 | |
| CN114201030A (zh) | 设备交互方法、电子设备及交互系统 | |
| US20220375172A1 (en) | Contextual visual and voice search from electronic eyewear device | |
| CN114153361B (zh) | 界面显示方法、装置、终端及存储介质 | |
| KR20240027121A (ko) | 음성 제어 설정들 및 탐색 | |
| CN114639114A (zh) | 视力检测方法及电子设备 | |
| CN116324675A (zh) | 使用可穿戴设备识别可控设备的位置 | |
| US11733789B1 (en) | Selectively activating a handheld device to control a user interface displayed by a wearable device | |
| US11886646B2 (en) | Personalized calibration of user interfaces | |
| US20240119928A1 (en) | Media control tools for managing communications between devices | |
| US20240103685A1 (en) | Methods for controlling and interacting with a three-dimensional environment | |
| CN114564162A (zh) | 一种数据传输方法、电子设备、系统及存储介质 | |
| CN116560544A (zh) | 交互方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |