CN118535001A - 用于在虚拟环境中交互的方法、装置、设备和存储介质 - Google Patents

用于在虚拟环境中交互的方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN118535001A
CN118535001A CN202310193047.3A CN202310193047A CN118535001A CN 118535001 A CN118535001 A CN 118535001A CN 202310193047 A CN202310193047 A CN 202310193047A CN 118535001 A CN118535001 A CN 118535001A
Authority
CN
China
Prior art keywords
virtual
physical
interactive
scene
interactive element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310193047.3A
Other languages
English (en)
Inventor
马新笃
李惜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202310193047.3A priority Critical patent/CN118535001A/zh
Priority to US18/584,843 priority patent/US20240288932A1/en
Publication of CN118535001A publication Critical patent/CN118535001A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of two-dimensional [2D] relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

根据本公开的实施例，提供了用于在虚拟环境中交互的方法、装置、设备和存储介质。该方法包括获取物理场景的图像，物理场景中包含物理交互设备；基于获取的图像确定预定对象关于物理交互设备的相对位置；以及在与物理场景对应的虚拟场景中，呈现与物理交互设备对应的虚拟交互设备以及相对位置的指示。以此方式，本公开的实施例能够使用户更容易和更准确地操作虚拟环境中的设备，从而提升用户体验。

Description

用于在虚拟环境中交互的方法、装置、设备和存储介质
技术领域
本公开的示例实施例总体涉及计算机领域，特别地涉及用于在虚拟环境中交互的方法、装置、设备和计算机可读存储介质。
背景技术
近年来，扩展现实(Extended Reality，简称XR)得到广泛研究和应用。XR通过利用硬件设备和多种技术手段的结合,将虚拟内容和真实场景进行融合，为用户提供独特的感官体验。XR例如包括虚拟现实(Virtual Reality，简称VR)、增强现实(Augmented Reality，简称AR)、混合现实(Mix Reality，简称MR)等。VR是利用计算机模拟三维空间的虚拟世界，为用户提供视觉、听觉、触觉等方面的沉浸式体验。AR使得真实环境和虚拟对象实时叠加到同一个空间并同时存在。MR是融合现实世界和虚拟世界的新的可视化环境，物理真实世界场景中的对象与虚拟世界中的对象实时共存。
发明内容
在本公开的第一方面，提供了一种用于在虚拟环境中交互的方法。该方法包括：获取物理场景的图像，物理场景中包含物理交互设备；基于获取的图像确定预定对象关于物理交互设备的相对位置；以及在与物理场景对应的虚拟场景中，呈现与物理交互设备对应的虚拟交互设备以及相对位置的指示。
在本公开的第二方面，提供了一种用于在虚拟环境中交互的装置。该装置包括获取模块，被配置为获取物理场景的图像，物理场景中包含物理交互设备；位置确定模块，被配置为基于获取的图像确定预定对象关于物理交互设备的相对位置；以及呈现模块，被配置为在与物理场景对应的虚拟场景中，呈现与物理交互设备对应的虚拟交互设备以及相对位置的指示。
在本公开的第三方面，提供了一种电子设备。该设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使设备执行第一方面的方法。
在本公开的第四方面，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现第一方面的方法。
应当理解，本发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示出了根据本公开一些实施例的环境的框图；
图2示出了根据本公开的一些实施例的用于在虚拟环境中交互的示例过程的流程图；
图3示出了根据本公开一些实施例的关于键盘的虚拟场景的示意图；
图4示出了根据本公开另一些实施例的关于键盘的虚拟场景的示意图；
图5示出了根据本公开又一些实施例的关于键盘的虚拟场景的示意图；
图6A示出了根据本公开一些实施例的关于按键操作的虚拟场景的示意图；
图6B示出了根据本公开一些实施例的关于按键操作的虚拟场景的示意图；
图6C示出了根据本公开一些实施例的关于按键操作的虚拟场景的示意图；
图7示出了根据本公开一些实施例的关于操纵器的虚拟场景的示意图；
图8示出了根据本公开的另一些实施例的关于操纵器的虚拟场景的示意图；
图9示出了根据本公开的另一些实施例的关于操纵器的虚拟场景的示意图；
图10示出了根据本公开一些实施例的关于操纵器的虚拟场景的示意图；
图11A示出了根据本公开一些实施例的与物理交互设备有关的菜单的示意图；
图11B示出了根据本公开一些实施例的与虚拟交互设备有关的虚拟菜单的示意图；
图12示出了根据本公开一些实施例的虚拟交互设备的示意图；
图13示出了根据本公开另一些实施例的虚拟交互设备的示意图；
图14示出了根据本公开又一些实施例的虚拟交互设备的示意图；
图15示出了根据本公开的一些实施例的用于在虚拟环境中交互的装置的框图；以及
图16示出了能够实施本公开的多个实施例的设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。
在本公开的实施例的描述中，术语“XR”包括但不限于“VR”、“AR”和“MR”等。应当理解，术语“XR”可以是“VR”、“AR”和“MR”中的任何一种，也可以是其任意组合。在下文描述中，仅仅为了描述方便起见，本公开的实施例中使用“XR”来表示“VR”、“AR”和“MR”中一种或多种，或其任意组合。
术语“响应于”表示相应的事件发生或者条件得以满足。将会理解，响应于该事件或者条件而被执行的后续动作的执行时机，与事件发生或者条件满足的时间，这二者不一定是强关联的。在某些情况下，后续动作可在事件发生或者条件成立时立即被执行；在另一些情况下，后续动作也可在事件发生或者条件成立后经过一段时间才被执行。
可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获得或使用)应当遵循相应法律法规及相关规定的要求。
可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当根据相关法律法规通过适当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
在现有的XR展示和交互中，通常会对虚拟物体渲染，然后简单叠加在现实的画面中。在某些场景中，还可能将真实物体虚拟在XR环境中。然而，真实物体(例如键盘、鼠标、诸如手柄之类的操纵器等物理交互设备)的投影有时可能存在物理误差，导致相关的交互操作可能无法正确执行。而且，用户需要在按下对应按键后才能根据反馈确定是否按对，存在一定的试错成本，降低了用户体验。
针对上述以及其他潜在的问题，本公开的实施例提供一种在虚拟环境中交互的方案，该方案通过检测预定对象关于物理交互设备的相对位置，在与物理场景对应的虚拟场景中，呈现与该物理交互设备对应的虚拟交互设备以及关于该相对位置的指示。例如，该在预定对象(例如，用户)与物理交互设备交互时，该方案能够通过检测用户行为来对虚拟的物体模型增加实时的反馈，并且能够在物理交互设备附近增加可交互区域，并可通过用户的行为触发。
在参考附图描述本公开的各示例实施例之前，首先对本公开使用的若干术语进行定义。
在此使用的术语“对象”是在真实环境(即，物理场景)中与物理交互设备进行交互的用户的一个或多个部位，例如手指。用户是物理交互设备的操作方或者使用方，例如但不限于敲击键盘的输入者，点击鼠标以进行选择的操作者，操纵操纵器的游戏玩家，等等。
在此使用的术语“物理交互设备”是对象在真实环境(即，物理场景)中所使用的用于进行交互的设备。这样的物理交互设备例如还可以用于控制虚拟场景的物理I/O(输入输出)设备，其示例可以包括但不限于键盘、鼠标、操纵器等设备。
在此使用的术语“虚拟交互设备”是物理交互设备在虚拟环境中的对应设备，对象对于物理交互设备的操作能够对应地反映到虚拟世界中的虚拟交互设备上。例如，在物理场景中用户按下键盘上的一个按键时，在虚拟环境中与该键盘对应的虚拟键盘上的相应按键可以显示为被按下。但是应当理解，这仅仅是示例性的，虚拟交互设备与物理交互设备的对应方式可以通过多种具体手段来实现。
下面参考附图描述本公开的示例实施例。
图1示出了根据本公开一些实施例的环境100的框图。如图所示，在环境100中示出了一个物理场景110。该物理场景110是一个真实世界的实际场景示例，其中用户130正在使用对象(例如，手指)111敲击物理交互设备(例如，键盘)112上的按键。假设用户130佩戴了XR设备113，例如头戴式显示器、智能眼镜等，该XR设备114可以为用户130呈现一个与物理场景110相对应的虚拟环境120。
在物理场景110中，还包括电子设备150，用于获取物理场景110图像，并基于该图像来确定对象(例如用户130的手指)111与物理交互设备(例如键盘)112之间的相对位置。例如，可以确定手指111的第一空间坐标和键盘112的第二空间坐标，并基于这两个空间坐标确定对象111和物理交互设备112在空间中的相对位置关系。又例如，可以直接基于第一空间坐标和第二空间位置坐标确定对象111和物理交互设备112之间的距离，从而可以进一步确定二者是接触(距离为0)还是存在间隔(该距离大于0)，以及该距离有多大，等等。
电子设备150可以是能够与XR设备113和/或其他图像捕获设备进行通信的单独设备，比如用于图像或数据处理的服务器、计算节点等，也可以与XR设备113和/或其他图像捕获设备集成在一起。在一些实施例中，电子设备150可以实现为XR设备113，也即，在此情况下，XR设备113可以实现电子设备150的所有功能。应当理解，上述关于电子设备150的描述仅仅是示例性而非限制性的，电子设备150可以实现为多种形式、结构或类别的设备，本公开的实施例对此没有限制。
根据物理场景110的图像，电子设备150可以确定手指111与键盘112是直接接触还是具有一定距离；如果具有一定距离，则可以确定该距离是多少。例如，如果手指111接触键盘112上的一个或多个按键或者与该一个或多个按键之间的距离小于预定距离，则电子设备150可以确定出这一个或多个按键是键盘上的哪个或哪些按键，或者涉及哪个或哪些按键。
电子设备150可以使与键盘112对应的虚拟键盘122呈现在虚拟环境120中，并使关于该相对位置的指示呈现在虚拟环境120中。例如，电子设备150可以使虚拟键盘122上的与该一个或多个按键相对应的虚拟按键醒目显示。在一些实施例中，可以对虚拟按键进行图形化表示，并对该图形化表示进行高亮、颜色加深、色彩改变等处理，从而实现对虚拟按键的醒目显示。
由此，用户130可以在虚拟环境120中看到与自己正在使用的键盘112对应的虚拟键盘122，以及自己使用键盘112的情况。
此外，在一些实施例中，在虚拟环境120中用户130的手指111可以被呈现为虚拟手指121。这样，用户130可以更直观地看到该虚拟手指121能够按照与自己真正的手指111操作键盘112的方式来操作虚拟键盘122。
通过这种方式，用户130能够在虚拟环境120中方便且准确地使用键盘112来输入字符，降低了操作的不确定性，提升了用户体验。
图2示出了根据本公开一些实施例的用于在虚拟环境中交互的方法200的流程图。方法200可由图1中的电子设备150执行。为了便于讨论，后文以电子设备150为例来进行描述。但是这仅仅是示例性的，并不对本公开的实施例进行任何限制。应当理解，根据本公开的实施例也可以由其他适当的服务器或计算设备来执行。
在框210，电子设备150获取包含物理交互设备的物理场景的图像。物理场景是真实世界中的一个场景，在物理场景中包括的都是真实存在的人或物，例如图1中的物理场景110。物理交互设备例如是键盘、鼠标、操纵器等能够被用户用来进行输入和/或输出操作的物理设备。
以下以图1所示的实施例为例进行说明。如图1所示，物理场景110包含用户130以及用户130正在操作的物理交互设备112。这样的物理交互设备112例如可以包括与虚拟场景相关联的物理I/O设备，例如键盘112。
根据本公开的实施例，电子设备150可以通过多种方式来获取物理场景110的图像。例如，物理场景110的图像可以由对象130所佩戴的XR设备114来捕获，电子设备150可以相应地从该XR设备114获取该物理场景110的图像。作为备选方案，物理场景110的图像也可以由与电子设备150可通信地连接的一个图像捕获设备(例如，摄像头、相机等)来捕获，并发送给电子设备150。在另一些备选实现方式中，电子设备150本身可以具有图像捕获功能，例如安装有摄像头或相机等，在此情况下，该电子设备150在框210可以自行捕获包含物理交互设备112的物理场景110的图像。
在框220，电子设备150基于获取的图像确定预定对象关于物理交互设备的相对位置。预定对象是用户能够通过其来操作物理交互设备的设备、物体或部位。例如，预定对象可以是用户130的手指111、用户130使用的触控笔，等等。
预定对象关于物理交互设备的相对位置可以通过多种方式确定。如图1所示，电子设备150可以在框220确定用户130的手指111相对于键盘112的位置。具体地，电子设备150可以确定手指111相对于键盘112处于哪个位置，比如是悬停在键盘的上方还是处于其侧面。电子设备150还可以确定手指111处于键盘112的哪个或哪些按键的正上方、手指111与键盘112之间的距离，等等。在一些实施例中，可以通过See-Through技术等来确定用户130的手指111与物理键盘112的相对位置。
在框230，电子设备150在与物理场景对应的虚拟场景中，呈现与物理交互设备对应的虚拟交互设备以及相对位置的指示。
电子设备150可以根据对象与物理交互设备之间的距离与预定距离之间的比较，来确定如何在虚拟环境120中呈现对象111对键盘112的操作。在一些实施例中，电子设备150可以响应于对象与物理交互设备的距离小于预定距离，确定该物理交互设备的相应物理区域。这样的相应物理区域可以是与该对象相关联。进一步地，电子设备150可以与虚拟交互设备上对应于物理区域的虚拟区域相关联地呈现关于相对位置的指示。
在图1的实施例中，如果电子设备确定手指111与键盘112之间的距离大于或等于预定距离，则电子设备150可以认为用户130并未操作键盘112，因此无需在虚拟环境120中体现用户对物理交互设备的操作。
相反，如果该距离小于或等于预定距离，则可以认为用户130的手指111足够接近键盘112。特别地，如果该距离为0，则可以认为手指111与键盘112直接接触。在这些情况下，电子设备150可以确定对象111所针对的物理交互设备112的物理区域，例如，手指111正在敲击的一个或多个按键的位置和范围，并在虚拟键盘上的与该物理区域相对应的虚拟区域(例如，与该位置和范围有关的虚拟按键)相关联地呈现关于相对位置的指示。例如，可以使该虚拟区域高亮显示，或者以热力图形式显示该虚拟区域，等等。
在一些实施例中，电子设备150可以基于在框220确定的相对位置来判断是否能够确定出对象所针对的物理交互设备上的目标交互元素。如果能够确定该目标交互元素，则电子设备150可以使虚拟交互设备122上对应于目标交互元素的一个或多个虚拟交互元素被醒目显示。
在本公开的实施例中，目标交互元素是物理交互设备的一部分。例如，当物理交互设备是键盘时，交互元素可以是键盘上的一个按键，并且目标交互元素可以是用户正在敲击的那个按键。又例如，当物理交互设备是鼠标时，交互元素可以是鼠标的左键、右键或者可能的其他按键，并且目标交互元素可以是用户正在点击的键。再例如，当物理交互设备是操纵器时，交互元素可以是操纵器上的一个按钮，并且目标交互元素可以是用户正在按下的那个按钮。
类似地，虚拟交互元素是虚拟交互设备的一部分，其对应于物理交互设备的目标交互元素。例如，如果目标交互元素是用户正在敲击的键盘上的一个按键，则虚拟交互元素是虚拟键盘上的对应按键；如果目标交互元素是用户正在点击的鼠标左键，则虚拟交互元素是虚拟鼠标上的对应的左键；而如果目标交互元素是用户正在按下的操纵器上的按钮，则虚拟交互元素是虚拟操纵器上的对应按钮。
在一些实施例中，可以通过多种方式判断目标交互元素能否被确定出来。例如可以通过See-Through技术来定位用户的手指与物理键盘的相对位置。然后，可以根据该相对位置判断用户130的单个手指的指腹是否完全覆盖在单个按键，如果是，则可以确定该按键即目标交互元素。
图3示出了根据本公开一些实施例的关于键盘的虚拟场景300的示意图，在该虚拟场景300中目标交互元素能够被确定。在图3所示的实施例中，在用户130接入物理键盘(在本文中有时也直接称为“键盘”)112后，可以在虚拟场景120中显示键盘112的虚拟模型，即虚拟键盘122。
在一些实施例中，可以以预定的透明度在虚拟场景中显示代表对象的虚拟对象的至少一部分。虚拟对象可以是物理场景中的对象的虚拟模型，例如虚拟手指121。如图3所示，用户130的虚拟形象(未示出)的手指121可以呈现渐变半透明材质。同时，该虚拟形象的手部描边301可以不受渐变半透明影响。
在图3所示的实施例对应的物理场景中，用户130把手指111比较精准的放在键盘112上，且每个手指均对应到某个具体的按键，例如“I”、“O”、“P”、“n”。也即，虚拟键盘122具有“聚焦”的按键。相应地，在图3所示实施例的虚拟场景中，虚拟交互设备(例如虚拟键盘)122的对应虚拟交互元素(例如虚拟按键)302、303、304和305上给出明确的指示态提示，例如通过对虚拟交互元素全部或局部进行醒目显示。在一些实施例中，可以对虚拟交互元素的图形化表示施加不同颜色、增加亮度、降低透明度等，从而实现对虚拟交互元素的醒目显示。
在一些实施例中，还可以醒目显示与虚拟交互元素对应的符号。这例如可以通过按键内容异化显示的方式进行。具体而言，可以对与虚拟交互元素对应的符号采用放大显示、变形显示、使用艺术字体显示等方式进行呈现。如图3所示，在虚拟键盘122上，虚拟交互元素，即，虚拟按键302、303、304和305对应的符号分别是“I”、“O”、“P”、“n”，这些符号被分别采用字体变形、颜色改变等异化显示方式进行呈现。
另一方面，如果电子设备150基于相对位置无法确定对象所针对的物理交互设备112上的目标交互元素，则其可以确定物理交互设备112上的、与该对象相关联的一个或多个潜在交互元素，并醒目显示虚拟交互设备122上与一个或多个潜在交互元素相关联的区域。
在一些情况下，用户130的手指111有可能未接触到物理交互设备112上的任何按键，而是可能具有一定距离，当手指111与一个或多个按键的距离都足够近时，例如均小于预定距离，则可以将这一个或多个按键确定为潜在交互元素。此时，与一个或多个潜在交互元素相关联的区域可以是虚拟交互设备上的、包含与该一个或多个潜在交互元素对应的虚拟交互元素的区域，也可能是一个更大的区域(例如，该区域还包含与对应的虚拟交互元素有关的其他虚拟交互元素)或更小的区域(例如，该区域可以不包含上述对应的虚拟交互元素中明显无关的虚拟交互元素)。以下通过图4和图5对此进行详细描述。
图4示出了根据本公开一些实施例的关于键盘的虚拟场景400的示意图，在该虚拟场景400中目标交互元素无法被确定。具体地，在图4的示例中，用户130把单手指111随意放在键盘112上，此时虚拟键盘122上不存在明确聚焦的按键。也即，虚拟交互设备上不存在与目标交互元素相对应的虚拟交互元素。与图3类似，在图4中，用户130的虚拟形象(未示出)的手指121可以呈现渐变半透明材质。同时，该虚拟形象的手部描边可以不受渐变半透明影响。
此时，假设对象130的手指与键盘112上的按键“U”、“I”、“J”的相对距离较近，例如小于预定距离，则可以确定键盘112上的潜在交互元素为按键“U”、“I”、“J”，并可以醒目显示虚拟键盘122上与按键“U”、“I”、“J”相关联的区域401。
可以通过多种方式对区域401进行醒目显示，例如可以通过热力图的形式，将区域401的图形化表示以热力图辐射的方式呈现。这样，被辐射到的按键内容(例如“U”、“I”、“J”等)可以被醒目显示。这例如可以通过内容异化显示的方式进行，与图3的实施例类似，在此不再赘述。
在一些实施例中，被辐射到的按键可以在一个预定的热区辐射范围内，该热区辐射范围例如可以是以手指121的指腹为圆点、半径为预定大小(例如2cm)的圆。附加地，在一些实施例中，还可以对被辐射到的按键叠加渐变效果。例如，可以从热区辐射范围的圆心向外辐射，透明度逐渐降低，例如说从100％降低至5％。
图5示出了根据本公开一些实施例的关于键盘的虚拟场景500的示意图，在该虚拟场景500中目标交互元素无法被确定。在图5的示例中，用户130把单手指111放在键盘112上，假设此时虚拟键盘122上存在聚焦的按键，也存在未聚焦的按键。与图3和图4类似，用户130的虚拟形象(未示出)的手指121可以呈现渐变半透明材质。同时，该虚拟形象的手部描边可以不受渐变半透明影响。
如图5所示，对于有聚焦的按键(例如虚拟按键502所对应的物理按键)，虚拟键盘122上的相应按键(例如虚拟按键502)可以局部高亮显示和/或按键内容异化显示，并且不向外辐射。
对于未明确聚焦的按键(例如虚拟按键503所对应的物理按键)，例如，当用户的手与键盘进行接触时若有手指指腹落在按键缝隙处，则可以确定物理交互设备上的一个或多个潜在交互元素(例如物理键盘上的一个或多个按键)，并醒目显示与其相关联的区域501。例如以热力图方式呈现区域501的图形化表示。在热力图状态下，例如可以以其中一个潜在交互元素中心以热力图形式辐射周围按键。被辐射到的按键内容(例如与虚拟交互元素对应的符号“Y”、“H”、“B”等)可以被醒目显示，例如通过异化显示的方式进行，这与图3和图4的实施例类似，在此不再赘述。
在一些实施例中，在对与一个或多个潜在交互元素相关联的区域进行醒目显示时，对于其中每个交互元素，可以基于该交互元素与对象之间的距离，确定用于与该交互元素对应的虚拟交互元素的醒目显示的程度。然后，可以以所确定的程度来醒目显示对应的虚拟交互元素。
继续参考图5，以与符号“Y”和“U”对应的按键为例，假设对象(手指)111与第一交互元素(例如符号“Y”对应的按键)的距离为1厘米，而对象111与第二交互元素(例如符号“U”对应的按键)的距离为0.5厘米，由于对象与第二交互元素的距离小于与第一交互元素的距离，因此可以以更明细的程度来显示第二交互元素。例如，可以确定用于与按键“Y”对应的虚拟按键的醒目显示的程度例如为50％，而用于与按键“U”对应的虚拟按键的醒目显示的程度例如为80％。以此方式，在虚拟键盘122上的第二交互元素能够以比第一交互元素更加醒目的方式来显示。
此外，在一些实施例中，如果对象130对物理交互设备112的至少一个交互元素(例如，键盘上的一个或多个按键、鼠标上的左键或右键、操纵器上的一个或多个按钮等)进行了操作，例如按键、点击、按钮等操作，可以在虚拟交互设备122上显示与该操作关联的指示。
在一些实施例中，该指示在虚拟场景中的显示方向可以是与虚拟交互设备122相关的显示方向来确定。例如，该指示的显示方向可以平行于虚拟交互设备122的显示方向。或者，为了更加方便地观察该指示，该指示的显示方向可以与该虚拟交互设备的显示方向呈预定角度。例如，可以以预定角度使与所述至少一个交互元素对应的虚拟交互元素的图形化表示突出所述虚拟交互设备所限定的平面。
图6A示出了根据本公开一些实施例的关于按键操作的虚拟场景610的示意图。在图6A所示的些实施例中，假设用户130手指放在物理交互设备的一个交互元素上，例如键盘上的一个按键。
此时，虚拟交互设备上与该交互元素对应的虚拟交互元素被醒目显示，如图6A所示，假设与物理键盘上的上述特定按键对应的是虚拟按键611，当用户手指接触物理键盘上的这个按键时，虚拟按键611可以被醒目显示。例如，虚拟按键611的图形化表示612的颜色被加深，图形化表示上的符号(即，按键所对应的符号)613被以特定字体、颜色或大小显示，等等。
当用户进行输入操作时，例如用户点击了物理交互设备上的某一按键，可以在虚拟交互设备上显示与该操作关联的指示。用户的上述输入操作和其他类似动作例如可以通过有关电子设备辅助设备检测，在此不再赘述。图6B示出了根据本公开一些实施例的关于按键操作的虚拟场景620的示意图。
如图6B所示，当用户操作了物理交互设备(例如键盘)上的一个交互元素，例如一个按键，则与用户所操作的交互元素相对应的虚拟交互元素(例如虚拟按键621)可以呈现“激活(active)”状态。此时，可以以预定角度623使虚拟交互元素的图形化表示622突出虚拟键盘所限定的平面625，也即，使得图形化表示622在虚拟场景中的显示方向与虚拟键盘的显示方向呈预定角度。在一些实施例中，预定角度623例如可以为90度，此时可以竖向显示虚拟按键621的图形化表示622。该图形化表示622可以以加深的颜色的来呈现，还可以包括虚拟按键所对应的符号624。应当理解，预定角度623可以是任何适当的角度，以上示例仅仅是示意性的，而无意对本公开的实施例进行任何限制。
此外，当用户130的手指抬起时，则可以消除虚拟按键621的“active”状态。例如，可以取消对虚拟交互元素的图形化表示622的显示。
图6C示出了根据本公开一些实施例的关于按键操作的虚拟场景630的示意图。在图6C所示实施例中，在用户按下虚拟按键631对应的物理键盘上的按键时，在虚拟场景630中以预定角度使虚拟交互元素(例如，虚拟按键631)的图形化表示633突出虚拟键盘所限定的平面。虚拟场景600中还包括输入框602，可以在该输入框602中输入内容。如果用户130长按某个按键，例如与虚拟按键631对应的物理按键，则可以重复输入该按键对应的符号，例如“I”。
图7示出了根据本公开一些实施例的关于操纵器的虚拟场景700的示意图。操纵器例如可以是游戏手柄、遥控器等控制装置。在图7所示的实施例中，假设用户130把单手指111放在操纵器上，此时聚焦到操纵器的某一按钮上。与图3至图6的实施例类似，用户130的虚拟形象(未示出)的手指701可以呈现渐变半透明材质。同时，该虚拟形象的手部描边702可以不受渐变半透明影响。
如图7所示，与手指701所按下的物理按钮对应的虚拟按钮703周围被醒目显示，例如虚拟按钮703的图形化显示可以实现为一个辐射区。该辐射区可以具有多种形状，例如辐射区可以实现为以手指701的指腹为原点、半径为N(N>0)厘米的圆。此外，辐射区所叠加的颜色透明度可以以圆心向外逐渐降低，例如从100％降低到0。
此外，还可以在该虚拟按钮703附近展示与此按钮有关的信息。与此按钮有关的信息可以包括该按钮的功能说明书、标识符、缩写、相关操作提示，等等。如图7所示，在该虚拟按钮703附近显示了该按钮的功能说明704，例如“使用道具”。这样，用户能够很方便地了解所操作的按钮的相应功能，提高了用户的可操作性。
图8示出了根据本公开的另一些实施例的关于操纵器的虚拟场景800的示意图。在图8所示的实施例中，假设用户130同时按下物理交互设备(例如操纵器)上的两个交互元素(例如按钮)，此时在虚拟场景800中的虚拟交互设备(虚拟操纵器)上与这两个按钮对应的虚拟交互元素(以下也称为“虚拟按钮“)801和802分别被醒目显示。醒目显示的方式与可以与图7所示的实施例类似，例如通过以辐射区呈现虚拟交互元素的图形化显示的方式，并且叠加的颜色透明度以圆心向外逐渐降低。
在图8中，类似于图7，还可以在这两个虚拟按钮801和802附近展示与之有关的信息。例如，在虚拟按钮801附近可以展示该按钮的功能说明803，例如“使用道具”。在虚拟按钮802附近可以展示该按钮的功能说明804，例如“移动角色”。这样，用户能够方便地区分所按下的多个按钮分别对应的功能，从而能够快速做出操作决策。
图9示出了根据本公开的另一些实施例的关于操纵器的虚拟场景900的示意图。在图9所示的实施例中，用户对操纵器上的按钮，该按钮例如是圆形并且按钮的上部、下部、左部和右部均可以被按下。这四个部分可以分别对应不同的操作，例如当按下按钮的上部时，表示一个向上的操控动作，比如游戏玩家控制游戏中的角色向上方行进。类似地，当按下按钮的下部、左部和右部时，分别表示向下、向左和向右的操控动作，比如游戏玩家控制游戏中的角色向下方、左方或右方行进。
假设在物理场景中用户按下了该按钮的右部，则在虚拟场景900中可以进行局部醒目显示，例如高亮显示一个扇形的图形化表示902，以表示对应的虚拟交互元素(在此实施例中为虚拟按钮)901的右部被按下。此外，类似于图7和图8所示的实施例，在图9中还可以在虚拟按钮901附近展示与此按钮有关的信息(未示出)。这样，通过局部高亮以及内容异化显示的方式，可以在虚拟按钮901处为用户提供明确的操作提示。
如上所述，如果对象与物理交互设备的距离小于预定距离，则电子设备150可以确定出对象所针对的物理交互设备的物理区域。在一些实施例中，该物理区域可以是物理交互设备的功能部分，例如键盘的某个按键，鼠标的左键或者右键、操纵器的某个按钮等。可以在虚拟交互设备上或者虚拟交互设备附近呈现与该物理区域有关的虚拟区域，例如虚拟菜单、快捷键、虚拟按钮，等等。这将在以下通过图10、图11A和图11B进行详细讨论。
图10示出了根据本公开一些实施例的关于操纵器的虚拟场景1000的示意图。在图10所示的实施例中，在虚拟场景1000中，在虚拟操纵器上或者其附近可以显示一个或多个虚拟按钮1001，以使得用户能够方便地选择与该一个或多个虚拟按钮1001对应的一个或多个快捷功能。这样，用户可以直接点击虚拟按钮1001，从而选择该虚拟按钮对应的功能，例如快速切换道具。作为备选方案，在虚拟操纵器上或者其附近也可以显示工具条或者虚拟菜单之类的提示信息，以供用户选择或操作。
图11A示出了根据本公开一些实施例的与物理交互设备有关的菜单的示意图。假设物理交互设备是鼠标，则当物理场景下的用户例如点击鼠标右键时，用户的物理显示器会显示图11A所示的菜单。图11B示出了根据本公开一些实施例的与虚拟交互设备有关的虚拟菜单的示意图。在物理场景中的用户点击鼠标右键时，在图11B所示的虚拟场景中，虚拟鼠标的附近，例如上方，可以显示与图11A所示菜单类似的虚拟菜单(例如，二级面板)，以便用户进行选择。
继续讨论图2的方法200中的框230，在一些实施例中，电子设备150还可以利用虚拟区域来提供独立于物理交互设备的物理区域或独立于该物理交互设备的附加功能入口。例如，这样的附加功能入口是对应的物理区域所不能够提供的，或者甚至是该物理交互设备所不能够提供的。这将在以下通过图12至图14进行详细讨论。
物理交互设备的非功能部分是物理交互设备的不提供相应功能的部分，例如键盘上没有按键的部分、鼠标左右键之外的无法点击或操作的部分、操纵器上无法操作的部分，等等。假设非功能部分在物理交互设备上处于第一位置，则在虚拟交互设备的第一位置处对应地具有一个虚拟区域。不同的是，该虚拟区域是虚拟交互设备的一个功能部分(以下也称为“虚拟功能部分”)，也即，其可以为用户提供相应的功能。
图12示出了根据本公开一些实施例的虚拟交互设备1200的示意图。在图12的实施例中，物理交互设备以鼠标(也称为“物理鼠标”)为例，与该物理交互设备对应的是虚拟交互设备(在该例中为“虚拟鼠标”)1200。虚拟鼠标1200的左键1201和右键1202的下方可以具有复制按钮1203和粘贴按钮1204，以便用户进行复制/粘贴操作。在物理鼠标上，是不存在复制按钮或粘贴按钮的，这两者对应的位置在物理鼠标上也是不具有任何功能的，也即，这两者属于物理鼠标上的非功能部分。而在虚拟鼠标上，复制按钮1203和粘贴按钮1204虽然位置上与物理鼠标上的非功能部分相对应，但是其具有各自的功能(即，复制和粘贴)，因此便于用户进行更多扩展性操作。
图13示出了根据本公开另一些实施例的虚拟交互设备1300的示意图，其中仍以鼠标为例来描述与该虚拟交互设备1200对应的物理交互设备。物理鼠标的侧面是非功能部分，而在虚拟鼠标的侧面，图13的实施例提供了工具条1301。该工具条1301例如是一个导航工具条，其可以在浏览器应用中提供前进、后退、刷新等功能，便于用户选择。
图14示出了根据本公开又一些实施例的虚拟交互设备1400的示意图。仍以鼠标作为物理交互设备的示例，鼠标的侧面是非功能部分，用户无法通过操作其执行任何功能。根据图14所示的实施例，与该物理交互设备对应的虚拟交互设备(在此实施例中为虚拟鼠标)的侧面提供了工具条1401，该工具条1401例如可以导航主页中提供搜索功能，还可以提供回到上一级页面的功能。
应当理解，以上示例中所讨论的复制按钮1203、粘贴按钮1204、工具条1301和工具条1401仅仅是示例性的，而非对本公开的实施例进行任何限制。在根据本公开的一些实施例中，虚拟鼠标上也可以提供具有其他形式的功能部分，其可以呈现具有特定内容的文字、各种样式的按钮或图标等，以提示或引导用户进行进一步操作。
以此方式，根据本公开的实施例能够使用户更容易和更准确地操作虚拟环境中的虚拟交互设备，有效提升了用户体验。
本公开的实施例还提供了用于实现上述方法或过程的相应装置。图15示出了根据本公开的一些实施例的用于在虚拟环境中交互的装置1500的框图。
如图15所示，装置1500包括获取模块1510，被配置为获取物理场景的图像，物理场景中包含物理交互设备。
装置1500还包括位置确定模块1520，被配置为基于获取的图像确定预定对象关于物理交互设备的相对位置。
此外，装置1500还包括呈现模块1530，被配置为在与物理场景对应的虚拟场景中，呈现与物理交互设备对应的虚拟交互设备以及相对位置的指示。
在一些实施例中，装置1500还可以包括物理区域确定模块，被配置为响应于对象与物理交互设备的距离小于预定距离，确定物理交互设备的、与预定对象相关联的物理区域，其中呈现模块1530还被配置为与虚拟交互设备上对应于物理区域的虚拟区域相关联地呈现指示。
在一些实施例中，呈现模块1530还可以被配置为：响应于基于相对位置能够确定预定对象所针对的物理交互设备上的目标交互元素，醒目显示虚拟交互设备上对应于目标交互元素的虚拟交互元素。
在一些实施例中，装置1500还可以包括潜在交互元素确定模块，被配置为响应于基于相对位置无法确定预定对象所针对的物理交互设备上的目标交互元素，确定物理交互设备上的、与预定对象相关联的一个或多个潜在交互元素，其中呈现模块1530还可以被配置为醒目显示虚拟交互设备上与一个或多个潜在交互元素相关联的区域。
在一些实施例中，呈现模块1530还可以被配置为：醒目显示与虚拟交互元素对应的符号或者与一个或多个潜在交互元素相关联的区域对应的符号。
在一些实施例中，装置1500还可以包括程度确定模块，被配置为对于一个或多个潜在交互元素中的每个交互元素，基于该交互元素与预定对象的距离，确定用于与交互元素对应的虚拟交互元素的醒目显示的程度，其中呈现模块1530还可以被配置为以所确定的程度醒目显示对应的虚拟交互元素。
在一些实施例中，虚拟区域被配置为提供独立于物理交互设备的物理区域的附加功能入口。
在一些实施例中，呈现模块1530还可以被配置为：以预定的透明度在虚拟场景中显示代表预定对象的虚拟对象的至少一部分。
在一些实施例中，呈现模块1530还可以被配置为：响应于预定对象对物理交互设备的至少一个交互元素进行了操作，在虚拟交互设备上显示与操作关联的指示。
在一些实施例中，呈现模块1530还可以被配置为：基于与虚拟交互设备相关联的第一显示方向，确定第二显示方向；以及根据第二显示方向，显示与所述至少一个交互元素对应的虚拟交互元素的图形化表示突出所述虚拟交互设备所限定的平面。
装置1500中所包括的模块可以利用各种方式来实现，包括软件、硬件、固件或其任意组合。在一些实施例中，一个或多个单元可以使用软件和/或固件来实现，例如存储在存储介质上的机器可执行指令。除了机器可执行指令之外或者作为替代，装置1500中的部分或者全部模块可以至少部分地由一个或多个硬件逻辑组件来实现。作为示例而非限制，可以使用的示范类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)，等等。
图16示出了其中可以实施本公开的一个或多个实施例的计算设备/服务器1600的框图。图1的电子设备150例如可以通过图16所示的计算设备/服务器1600来实现。应当理解，图16所示出的计算设备/服务器1600仅仅是示例性的，而不应当构成对本文所描述的实施例的功能和范围的任何限制。
如图16所示，计算设备/服务器1600是通用计算设备的形式。计算设备/服务器1600的组件可以包括但不限于一个或多个处理器或处理单元1610、存储器1620、存储设备1630、一个或多个通信单元1640、一个或多个输入设备1660以及一个或多个输出设备1660。处理单元1610可以是实际或虚拟处理器并且能够根据存储器1620中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高计算设备/服务器1600的并行处理能力。
计算设备/服务器1600通常包括多个计算机存储介质。这样的介质可以是计算设备/服务器1600可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器1620可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或它们的某种组合。存储设备1630可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在计算设备/服务器1600内被访问。
计算设备/服务器1600可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图16中示出，可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器1620可以包括计算机程序产品1625，其具有一个或多个程序模块，这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。
通信单元1640实现通过通信介质与其他计算设备进行通信。附加地，计算设备/服务器1600的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，计算设备/服务器1600可以使用与一个或多个其他服务器、网络个人计算机(PC)或者另一个网络节点的逻辑连接来在联网环境中进行操作。
输入设备1650可以是一个或多个输入设备，例如鼠标、键盘、追踪球等。输出设备1660可以是一个或多个输出设备，例如显示器、扬声器、打印机等。计算设备/服务器1600还可以根据需要通过通信单元1640与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与计算设备/服务器1600交互的设备进行通信，或者与使得计算设备/服务器1600与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。
根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现上文描述的方法。
这里参照根据本公开实现的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各实现。

Claims (14)

1.一种用于在虚拟环境中交互的方法，包括：
获取物理场景的图像，所述物理场景中包含物理交互设备；
基于获取的所述图像确定预定对象关于所述物理交互设备的相对位置；以及
在与所述物理场景对应的虚拟场景中，呈现与所述物理交互设备对应的虚拟交互设备以及所述相对位置的指示。
2.根据权利要求1所述的方法，其中呈现所述指示包括：
响应于所述预定对象与所述物理交互设备的距离小于预定距离，确定述物理交互设备的、与所述预定对象相关联的物理区域；以及
与所述虚拟交互设备上对应于所述物理区域的虚拟区域相关联地呈现所述指示。
3.根据权利要求2所述的方法，还包括：
响应于基于所述相对位置能够确定所述预定对象所针对的所述物理交互设备上的目标交互元素，醒目显示所述虚拟交互设备上对应于所述目标交互元素的虚拟交互元素。
4.根据权利要求2所述的方法，还包括：
响应于基于所述相对位置无法确定所述预定对象所针对的所述物理交互设备上的目标交互元素，
确定所述物理交互设备上的、与所述预定对象相关联的一个或多个潜在交互元素，以及
醒目显示所述虚拟交互设备上与所述一个或多个潜在交互元素相关联的区域。
5.根据权利要求3或4所述的方法，还包括：
醒目显示与所述虚拟交互元素对应的符号或者与所述一个或多个潜在交互元素相关联的区域对应的符号。
6.根据权利要求4所述的方法，其中醒目显示所述区域包括：
对于所述一个或多个潜在交互元素中的每个交互元素，基于所述交互元素与所述预定对象的距离，确定用于与所述交互元素对应的虚拟交互元素的醒目显示的程度；以及
以所确定的程度醒目显示对应的虚拟交互元素。
7.根据权利要求2所述的方法，其中所述虚拟区域被配置为提供独立于所述物理交互设备的所述物理区域的附加功能入口。
8.根据权利要求1所述的方法，还包括：
以预定的透明度在所述虚拟场景中显示代表所述预定对象的虚拟对象的至少一部分。
9.根据权利要求1所述的方法，还包括：
响应于所述预定对象对所述物理交互设备的至少一个交互元素进行了操作，在所述虚拟交互设备上显示与所述操作关联的指示。
10.根据权利要求9所述的方法，其中显示所述与所述操作关联的指示包括：
基于与所述虚拟交互设备相关联的第一显示方向，确定第二显示方向；以及
根据所述第二显示方向，显示与所述至少一个交互元素对应的虚拟交互元素的图形化表示。
11.根据权利要求1所述的方法，其中所述物理交互设备包括与所述虚拟场景相关联的物理I/O设备。
12.一种用于在虚拟环境中交互的装置，包括：
获取模块，被配置为获取物理场景的图像，所述物理场景中包含物理交互设备；
位置确定模块，被配置为基于获取的所述图像确定预定对象关于所述物理交互设备的相对位置；以及
呈现模块，被配置为在与所述物理场景对应的虚拟场景中，呈现与所述物理交互设备对应的虚拟交互设备以及所述相对位置的指示。
13.一种电子设备，包括：
至少一个处理单元；以及
至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令在由所述至少一个处理单元执行时使所述设备执行根据权利要求1至11中任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至11中任一项所述的方法。
CN202310193047.3A 2023-02-23 2023-02-23 用于在虚拟环境中交互的方法、装置、设备和存储介质 Pending CN118535001A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310193047.3A CN118535001A (zh) 2023-02-23 2023-02-23 用于在虚拟环境中交互的方法、装置、设备和存储介质
US18/584,843 US20240288932A1 (en) 2023-02-23 2024-02-22 Method, apparatus, device and storage medium for interacting in a virtual environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310193047.3A CN118535001A (zh) 2023-02-23 2023-02-23 用于在虚拟环境中交互的方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN118535001A true CN118535001A (zh) 2024-08-23

Family

ID=92390735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310193047.3A Pending CN118535001A (zh) 2023-02-23 2023-02-23 用于在虚拟环境中交互的方法、装置、设备和存储介质

Country Status (2)

Country Link
US (1) US20240288932A1 (zh)
CN (1) CN118535001A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240177435A1 (en) * 2022-11-30 2024-05-30 Beijing Zitiao Network Technology Co., Ltd. Virtual interaction methods, devices, and storage media

Also Published As

Publication number Publication date
US20240288932A1 (en) 2024-08-29

Similar Documents

Publication Publication Date Title
US9529523B2 (en) Method using a finger above a touchpad for controlling a computerized system
CA2441788C (en) Method and computer system for executing functions for objects based on the movement of an input device
CN113961107B (zh) 面向屏幕的增强现实交互方法、装置及存储介质
CN101869484B (zh) 具有触摸屏的医疗诊断装置及其操控方法
Rivu et al. GazeButton: enhancing buttons with eye gaze interactions
CN101315592A (zh) 触控式移动运算装置与应用于其上的显示方法
WO2007133483A1 (en) Multi-touch uses, gestures, and implementation
CN102483650A (zh) 通过眼睛控制和合适的交互方法使用通用软件应用的方法及装置
Kim et al. Pinchcatcher: Enabling multi-selection for gaze+ pinch
Radhakrishnan et al. Finger-based multitouch interface for performing 3D CAD operations
US20120179963A1 (en) Multi-touch electronic device, graphic display interface thereof and object selection method of multi-touch display
US12197635B2 (en) Input device model projecting method, apparatus and system
CN106933364A (zh) 字符输入方法、字符输入设备以及可穿戴设备
CN117289801A (zh) 手势交互方法、装置、电子设备及存储介质
US20240288932A1 (en) Method, apparatus, device and storage medium for interacting in a virtual environment
WO2021225044A1 (ja) 情報処理装置及びユーザの入力操作に基づく情報処理方法並びに該方法を実行するためのコンピュータプログラム
US10073612B1 (en) Fixed cursor input interface for a computer aided design application executing on a touch screen device
Didehkhorshid et al. Text input in virtual reality using a tracked drawing tablet
US20160139723A1 (en) User interface with touch sensor
JP2015049519A (ja) ソフトウェアキーボードを表示可能な画像表示装置及びその制御方法
CN107967091B (zh) 一种人机交互方法及用于人机交互的计算设备
US9950542B2 (en) Processing digital ink input subject to monitoring and intervention by an application program
Shi et al. ReachPad: Interacting with Multiple Virtual Screens using a Single Physical Pad through Haptic Retargeting
JP7467842B2 (ja) 表示装置、表示方法、表示プログラム
CN118151740A (zh) 一种手势交互方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination