CN107209570A - 动态自适应虚拟列表 - Google Patents

动态自适应虚拟列表 Download PDF

Info

Publication number
CN107209570A
CN107209570A CN201680007482.0A CN201680007482A CN107209570A CN 107209570 A CN107209570 A CN 107209570A CN 201680007482 A CN201680007482 A CN 201680007482A CN 107209570 A CN107209570 A CN 107209570A
Authority
CN
China
Prior art keywords
list
expression
topology
display
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680007482.0A
Other languages
English (en)
Other versions
CN107209570B (zh
Inventor
S·佩蒂珑
S-S·C·丘
I·兹努达
J·E·福斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107209570A publication Critical patent/CN107209570A/zh
Application granted granted Critical
Publication of CN107209570B publication Critical patent/CN107209570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

公开了涉及以诸如避免列表遮挡和导致用户输入错误的方式在增强现实和虚拟现实显示设备上显示列表的示例。一个公开的示例提供了包括图像传感器、显示设备、被配置为执行指令的逻辑设备以及包含可由逻辑设备执行的指令的存储设备的计算设备。所述指令可被执行以生成列表的表示，将该列表的表示与通过显示设备可查看的三维环境的拓扑进行比较以确定该列表的表示是否与拓扑里的任何对象相交，并且如果该列表的表示与三维环境的拓扑里的对象相交，那么调整该列表的一个或多个项中的每个项的位置和定向中的一个或多个以适应拓扑中的该对象。

Description

动态自适应虚拟列表
背景
显示技术可允许用户体验沉浸式虚拟环境和/或现实和虚拟环境的混合。例如，一些计算设备可以包括透视显示器，该透视显示器允许通过将虚拟对象显示为叠加在现实世界环境上来实现增强现实图像的呈现。
概述
公开了涉及以避免诸如列表遮挡并导致用户输入错误的方式在增强现实和虚拟现实显示设备上显示列表的各示例。一个公开的示例提供了包括图像传感器、显示设备、被配置为执行指令的逻辑设备以及包含可由逻辑设备执行的指令的存储设备的计算设备。所述指令可被执行以生成列表的表示，将该列表的表示与通过显示设备可查看的三维环境的拓扑进行比较以确定该列表的表示是否与拓扑里的任何对象相交，并且如果该列表的表示与三维环境的拓扑里的对象相交，那么调整该列表的一个或多个项中的每个项的位置和定向中的一个或多个以适配拓扑中的该对象。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图简述
图1示出了在示例使用环境中的示例增强现实显示设备。
图2示出在图1的使用环境中的示例动态自适应虚拟列表。
图3A和3B示出了与示例动态自适应虚拟列表的示例用户交互。
图4A和4B示出了与示例动态自适应虚拟列表的另一示例用户交互。
图5示出适配于对象的动态自适应虚拟列表的各示例。
图6示出解说显示动态自适应虚拟列表的示例方法的流程图。
图7示出示例增强现实显示系统的框图。
详细描述
如上所述，显示设备技术可以实现虚拟现实和增强现实三维(3D)环境的呈现。各种类型的虚拟对象可以被显示在这样的环境中，包括但不局限于交互式用户界面元素，例如交互式列表。
然而，以3D设置显示虚拟列表可能引起各种挑战。例如，被显示为平面二维对象的列表可以远离观看者的位置收敛，这可能使得用户难以读取列表并与之交互。另一方面，被显示为虚拟或增强现实环境内的三维对象的列表可以占据大量虚拟空间，并且这样可能侵占3D世界中的其它现实或所显示的对象或与之重叠。这可以导致列表的各部分被环境中的其它对象遮挡。
相应地，本文公开了涉及显示适配于3D虚拟和/或增强现实环境的拓扑的动态自适应虚拟列表的各示例。这样的列表可以被显示在适配于其它虚拟和/或现实世界元素的各种表格和空间布局中，并且由此可以提供较逼真且沉浸式的增强和/或虚拟现实体验。
图1示出其中示例显示设备102被用户104穿戴的示例使用环境100。显示设备102被描绘为用于3D增强现实体验的呈现的头戴式显示设备。周围环境可通过显示设备102查看，如通过视野106示意性地指示的。3D环境可以包括可与现实世界表面和对象一起显示的各种虚拟对象，在此被示为虚拟对象108、110和现实世界对象112、114。虽然在图1中示出为增强现实头戴式显示设备，但将理解根据本公开的显示设备可以采取任何合适的形式，包括但不限于其它类型的可穿戴显示设备、非可穿戴显示设备、移动显示设备、全息投影仪、具有或被配置为连接到一个或多个显示器的设备和/或被配置为将3D虚拟内容显示给观看者的任何其它设备。这样的显示设备可以包括或可以不包括透视显示器，并且可以被配置为将完全虚拟的环境显示给用户104。
图2示出通过环境100内的显示设备102显示的动态自适应虚拟列表202、204、206和208的各示例。首先，列表202被显示为垂直展开，与现实世界的墙、现实世界的对象112和现实世界的地板的拓扑相符。展开列表可以被显示为遵守物理定律(例如移动、重力定律等)，这样，其通过被显示为覆盖或以其他方式漂浮在现实世界对象112上而适配于现实世界对象112。
接着，列表204被示为水平展开，并且与侧墙和后墙相符，并且通过折叠或以其他方式在虚拟对象108处压缩而适配于所述虚拟对象108。另外，列表206被显示为适配于虚拟对象108和110两者。列表208被示为与后墙相符并适配于现实世界对象114。然而，取代漂浮或覆盖在现实世界对象114上，列表208的一部分当其靠近现实世界对象114时被折叠或以其它方式被压缩。
当列表的显示被触发时，动态自适应虚拟列表可以通过动画被显示为从原点(例如默认位置或由用户104所指示的位置)展开。最初，随着列表展开，该列表中的所有项可被显露。随后，如果随着列表展开，该列表与环境中的虚拟或现实对象冲突，则该列表可以适配于对象，如上所述。在其它实现中，取代从原点展开，列表可最初被显示在完全展开且在拓扑上适配的表格中，而不是通过动画化的展开来显示。
在在3D虚拟或增强现实环境中显示动态自适应虚拟列表之前，显示设备102可以创建或以其它方式获得环境的3D地图。例如，显示设备102可以利用板载传感器(例如一个或多个深度传感器、二维图像传感器、全球定位系统传感器、运动传感器和其它传感器)来通过随着用户在现实世界环境内移动而同时定位和地图构建(SLAM)来构造该环境的拓扑地图。作为这种实时地图构建的替代或补充，显示设备102可以从计算机可读存储器中检索该现实世界环境的先前构造的拓扑地图。任一情况下，拓扑地图可以采用网格(例如“表面重构”(SR)网格)的形式或可以采用任何其它合适的形式。随后，动态自适应虚拟列表的3D表示可以被显示为适配于地图的拓扑以及所显示的虚拟内容。
各种动作可以改变所显示的列表和环境内的现实和/或虚拟对象之间的位置关系。示例包括但不局限于改变显示设备的位置和/或定向、改变3D环境(例如通过移动环境中的现实对象)、与列表交互(例如通过滚动或选择列表中的项)和/或任何其它影响列表呈现的事件。在这样的情形中，所显示的列表的表示可以以在此所述的方式适配于经改变的位置关系。
图3A和3B示出了响应于示例用户交互对列表的适配的一个示例。首先参考图3A，用户104做出请求动态虚拟列表302的位置方面的改变的用户输入。用户输入被示为手势，但将理解任何其它合适的用户输入机制都可被使用，包括但不局限于语音命令、眼睛注视跟踪、身体姿势跟踪(例如头部姿势)以及手动硬件输入设备(例如按键、操纵杆、方向垫、触摸传感器等)。
在图3A中，列表302的一部分被示为在该列表与3D环境中的桌子冲突的位置处被折叠。图3B示出在动态虚拟列表302已经沿后墙被移动到该列表不再与桌子冲突的位置处之后的该列表。在该位置中，列表的先前折叠的部分变成展开，但仍然考虑到环境的拓扑。例如，在动态虚拟列表302的底部附近碰到地板的项被显示为被布局到地板上。而且，列表中的最初被折叠的那些项被显露以供查看和交互。
图4A和4B示出了与虚拟列表的另一示例用户交互。在图4A中，虚拟列表400与对象402冲突，并且作为响应虚拟列表400中的项被显示折叠在对象402上。虚拟列表400的折叠部分的外观可以被配置为表示该列表中在该列表的该部分中的项的数目。图4A还示出例如通过手势与折叠部分的用户交互。响应于该用户交互，在虚拟列表400中的先前折叠的项变成展开，而在列表中的其它项被折叠以适应由对象402所施加的空间约束，如图4B所示。将理解，列表的通过在图4A中折叠所隐藏的项可以以任何其它合适的方式被显露。例如，列表的折叠部分可以通过覆盖(draping over)在对象402上并继续向下(未示出)而变为展开。
在图4A-4B的示例中，虚拟列表400以折叠、类似褶皱的形式压缩，但在其它示例中可以不同地压缩或适配。而且，虚拟列表适配的形式可以基于现实世界材料的物理属性，虚拟列表看上去是由该材料制成。图5示出虚拟列表的各种形式以及它们可以如何适配于对象500的各示例。第一示例列表502被示为以与图4的示例列表的样式相似的褶皱样式进行折叠。因此，虚拟列表502的物理外观可以对应于可以类似地折叠的材料、木板、金属板或其它刚性材料的外观。作为另一个示例，列表504可以具有软或类似衣料的外观。这样的列表504可以看上去如同衣料一样对象500上起皱或折叠。作为又另一个示例，虚拟列表506可以在对象500处上滚或上卷，如同它是卷轴。在其它示例中，列表项可以被显示为藤蔓上的叶片或采用其它组织形态。基于文本的列表可以具有任何合适的外观。
而且，在一些实现中，列表可以基于与列表中的项相关联的物理属性适配于其与之冲突的虚拟和现实对象。例如，在列表中的项表示现实世界对象(例如文档页、照片册中的图像、书籍堆、唱片集、衣服商品、食品购物列表中的食品项等)时，列表项的表示可在物理上出现并类似于相似现实世界对象那样布置。例如，油漆样本的虚拟列表可以沿墙展开，就如同该列表是油漆样本片的物理堆叠，和/或地板砖的虚拟列表可以跨地板展开，就如同列表是砖的物理堆叠。
在一些示例中，除了环境的3D拓扑之外，动态自适应虚拟列表的显示可以进一步考虑在现实世界环境中的对象的物理属性。例如，显示设备可以被配置为获取现实世界的二维图像数据，并确定在图像数据中被检测到的现实世界对象的表面属性，例如颜色、亮度、表面纹理、材料、形态(例如固态或液态)等。可以基于与3D环境的地图相比较的所标识的表面的位置来将所标识的表面与环境的拓扑中的对象匹配，并且动态自适应的虚拟列表可以以基于所检测到的物理属性的方式被显示。作为一个示例，横越过固体工作台面、充满水的水槽以及另一固体工作台面的列表可以被显示为使得虚拟列表的横越过水槽的部分看上去进入(bob in)水中。作为另一个示例，虚拟列表可以被显示为与在平滑或光滑的表面上展开相比在粗糙或粘滞的表面上更缓慢地展开(例如展开)。还可以考虑环境中的其它物理因子。作为示例非限制性示例，如果虚拟列表接近或覆盖在扬声器上，则该列表可以被显示为响应于(例如通过一个或多个话筒检测到的)音乐而振动，或者如果(例如根据由话筒检测到的风声中、根据捕捉适配于风的其它对象的图像数据等)检测到风速的增加则该列表在微风中吹动。
图6示出描绘用于在3D环境中显示动态虚拟列表的示例方法600的流程图。方法600包括，在602处，检测列表显示的触发，并且作为响应，在604处，生成该列表的表示。触发可以包括任何合适的输入或事件，包括但不局限于用户输入、环境传感器输入和应用触发的事件。
列表可以按任何合适的方式被生成。例如，生成列表的表示可以包括将列表的表示与3D环境的拓扑进行比较以确定是否列表表示的任何部分与拓扑中的任何虚拟或现实对象相交，如在606处所示。如果列表的表示的一个或多个项与3D环境的拓扑中的对象相交，那么方法600包括，在608处，基于拓扑调整列表的表示。调整列表的表示可以包括，在610处，调整列表的表示的一个或多个项的每个项的位置和定向中的一个或多个以适配于拓扑。作为非限制性示例，列表可以在列表与虚拟或现实对象冲突的位置处压缩(折叠、弯曲、起皱等)，可以改变位置和/或定向以遵循对象的轮廓，和/或可以以任何其它合适的方式适配。基于拓扑调整列表还可以包括，在612处，基于如根据图像数据确定的现实世界对象的一个或多个物理属性调整列表，如在612处所指示的。这样的属性可以包括但不局限于颜色、亮度、表面纹理和现实世界表面和/或对象的物质形态。
方法600进一步包括，在614处，显示列表的表示。列表的表示可以以任何适当的方式被显示。例如，显示列表的表示可以包括，在616，(例如通过动画化该列表从原点开始张开)从原点向对象展开列表的表示，随后当列表的表示与3D环境中的对象冲突时适配于所述对象。在这样的示例中，在列表的表示中的所有项可以在列表的展开的至少一部分期间被显示，这可以有助于提供关于列表的大小和内容的信息。在其它示例中，列表初始就被完全显示，而不是从原点展开。
一旦与对象冲突，列表可以被显示为压缩在对象上。将列表显示为压缩在对象上可以包括例如以如在618处所示的折叠、成束、卷曲的表示或以任何其他合适的压缩状态显示列表的一个或多个项。列表的经压缩部分可以具有指示经压缩部分内包含的列表项的数目的大小。作为压缩在对象上的替换或补充，一个或多个列表项可以被显示为改变方向和/或定向以与对象的表面拓扑相符，如在620处所示。以此方式，可以避免列表被对象遮蔽，这可以有助于减少与列表的用户交互的差错率。
如上所述，有时，可以发生从用户的视角将列表的位置改变到经调整的位置的各种动作，如在622处所示。当这样的改变发生，方法600可以返回到604以基于列表和3D环境中的对象之间的经改变的关系来生成列表的表示。以此方式，列表动态地适配于在其中显示该列表的3D环境，直到列表的显示被停止。将理解可以响应于任何合适的触发来调整列表的表示的位置、定向和/或外观，所述触发包括但不局限于与列表进行交互的用户输入(例如移动列表、滚动遍历列表等)、显示设备的位置和/或定向方面的改变、3D环境方面的改变、编程化的触发等。
图7示出示例增强现实显示系统700的框图。显示系统700包括形成透视显示子系统704的一部分的一个或多个透镜702，以便图像可以通过透镜702(例如，通过投影到透镜702上、并入透镜702中的波导系统和/或以任何其他合适的方式)来显示。显示系统700进一步包括被配置成获取正在被用户查看的现实世界环境的图像的一个或多个面向外的图像传感器706，并可包括被配置成检测声音(诸如来自用户的语音命令或环境声音)的一个或多个话筒708。面向外的图像传感器706可包括一个或多个深度传感器和/或一个或多个二维图像传感器(例如RGB图像传感器)。在其他示例中，增强现实显示系统700可以通过面向外的图像传感器的取景器模式来显示增强现实图像，而不是通过透视显示子系统。
例如当显示系统700被实现为头戴式显示系统(如上所述)时，显示系统700可进一步包括被配置为检测用户注视以检测与所显示的虚拟列表和对象进行交互的用户输入的注视检测子系统710。注视检测子系统710可以配置来以任何合适方式确定用户每只眼睛的注视方向。例如，在所描绘的实施例中，注视检测子系统310包括被配置成导致光的闪烁从用户的每一眼球反射的一个或多个闪光源712(诸如红外光源)，以及被配置成捕捉用户的每一眼球的图像的一个或多个图像传感器714(诸如面向内的传感器)。根据经由(诸)图像传感器714收集的图像数据所确定的用户眼球的闪烁变化和/或用户瞳孔的位置可以用于确定凝视方向。此外，从用户眼睛投射的凝视线与外部显示器交叉的位置可以用于确定用户凝视的对象(例如，所显示的虚拟对象和/或真实的背景对象)。注视检测子系统710可以具有任何合适数量和布置的光源以及图像传感器。在其他示例中，可以省略注视检测子系统710。
显示系统700还可以包括附加传感器，如上所述。例如，显示系统700可以包括非成像传感器716，其示例可以包括但不局限于加速度计、陀螺仪传感器、全球定位系统(GPS)传感器和惯性测量单元(IMU)。这样的传感器可以有助于确定显示设备在环境内的定位、位置和/或定向，其可以有助于提供现实世界环境的精确3D映射以供用于以增强现实设置来合适地显示列表。
运动传感器以及话筒708和注视检测子系统710，还可以被用作用户输入设备，以便用户可以通过眼睛、颈部和/或头部的姿势，以及通过语音命令，与显示系统700进行交互。可以理解，图7所描绘的传感器是出于示例的目的而示出的，且不旨在以任何方式进行限制，因为可以使用任何其他合适的传感器和/或传感器的组合。
显示系统700进一步包括一个或多个扬声器718，例如以向用户提供音频输出来进行用户交互。显示系统700进一步包括与传感器、注视检测子系统710、显示子系统704，和/或其他组件进行通信的具有逻辑子系统722和存储子系统724的控制器720。存储子系统724包括存储在其上的指令，这些指令可由逻辑子系统722执行，以接收和解释来自传感器的输入，标识用户的位置及移动，标识在增强现实视野中的真实对象，并因此呈现增强现实图像，检测位于用户的视野之外的对象，呈现与位于用户的视野之外的对象相关联的位置信息的指示，以及其他任务。
逻辑子系统722包括被配置成执行指令的一个或多个物理设备。例如，逻辑子系统可以被配置为执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其它逻辑构造的一部分的指令。这种指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果、或以其他方式得到期望结果。
逻辑子系统可包括被配置成执行软件指令的一个或多个处理器。附加地或可替换地，逻辑子系统可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑子系统。逻辑子系统的处理器可以是单核的或多核的，其上执行的指令可以被配置用于串行、并行和/或分布式处理。逻辑子系统的个体组件可任选地分布在两个或更多个分开的设备之间，所述设备可以位于远程以及/或者被配置用于协同处理。逻辑子系统的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储子系统724包括被配置成保持可由逻辑子系统执行的指令以实现本文描述的方法和过程的一个或多个物理设备。当实现这样的方法和过程时，存储子系统724的状态可以被变换，例如以保持不同的数据。
存储子系统724可以包括可移动和/或内置设备。存储子系统724可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光碟等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁性存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)、等等。存储子系统724可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
可以理解，存储子系统724包括一个或多个物理设备。然而，本文描述的指令的各方面可另选地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。
逻辑子系统722和存储子系统724的各方面可以被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
显示子系统704可用于呈现由存储子系统724保存的数据的视觉表示。此视觉表示可采取图形用户界面(GUI)的形式，所述图形用户界面包括列表和/或其它图形用户界面元素。由于此处所描述的方法和过程改变了由存储子系统保持的数据，并由此变换存储子系统的状态，因此同样可以变换透视显示子系统704的状态以可视地表示底层数据的改变。透视显示子系统704可包括利用几乎任何类型的技术的一个或多个显示设备。这样的显示设备可与逻辑子系统722和/或存储子系统724一起组合在共享封装中，或者这样的显示设备可以是外围显示设备。
通信子系统726可以被配置成将显示系统700与一个或多个其他计算设备通信地耦合。通信子系统726可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统726可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统726可允许显示系统700经由网络(比如因特网)向其他设备发送信息和/或从其他设备接收信息。
将理解，出于示例的目的描述所述的显示系统700，并且因此不意味着进行限制。进一步理解，显示系统可包括除所示出的那些之外的额外的和/或替代的传感器、相机、话筒、输入设备、输出设备等等，而不会背离本公开的范围。例如，显示系统700可以被实现为虚拟现实显示器系统，而不是增强现实系统。另外，显示设备及其各种传感器和子组件的物理配置可以采取各种不同的形式，而不会背离本发明的范围。而且，将理解，在此所述的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。这样的计算机程序产品可以在显示系统700或其它合适的显示系统上本地执行，或可以在与显示系统700通信的计算系统上远程执行。
将会理解，本文描述的配置和/或方式本质是示例性的，这些具体实施例或本文示例不应被视为限制性的，因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
另一个示例提供了一种计算设备，包括被配置为获取图像数据的图像传感器、显示设备、被配置为执行指令的逻辑设备以及包括可由逻辑设备执行以进行以下操作的指令的存储设备：检测用于列表的显示的触发，响应于所述触发生成所述列表的表示，将所述列表的表示与可通过所述显示设备查看的三维环境的拓扑进行比较以确定所述列表的表示是否与所述拓扑中的任何对象相交，如果所述列表的表示与所述三维环境的所述拓扑中的对象相交，则调整所述列表的一个或多个项的每个项的位置和定向中的一个或多个以适配于所述拓扑中的所述对象，并且通过所述显示器显示所述列表的表示。在该示例中，三维环境的拓扑中的对象可以附加地或替换地包括虚拟对象和现实世界对象中的一个或多个。所述指令可以附加地或替换地由逻辑设备执行以通过将所述列表的表示显示为朝着所述对象展开，随后将所述列表的一个或多个项的表示显示为压缩在对象上来将所述列表的表示显示为适配于所述对象。所述指令可以附加地或替换地执行以通过以折叠表示、成束的表示和卷曲的表示中的一个或多个显示所述列表的一个或多个项的表示来将所述列表的一个或多个项的表示显示为压缩在所述对象上。所述指令可以附加地或替换地执行以通过显示所述列表的压缩部分来将所述列表的一个或多个项的表示显示为压缩在所述对象上，所述列表的压缩部分具有表示所述列表的压缩部分中的项的数目的外观。所述指令可以附加地或替换地执行以通过调整所述列表的表示以遵循所述对象的表面轮廓来将所述列表的表示显示为适配于所述对象。所述图像传感器可以另外地或替换地包括二维相机，并且其中所述指令可执行以获取3D环境的二维图像数据并标识与3D环境的拓扑中的现实世界对象相对应的现实世界表面的属性。所述指令可以另外地或替换地执行以基于所述现实世界表面的属性调整所述列表的表示。计算设备可以另外地或替换的包括输入设备，并且其中所述指令可进一步执行以接收将显示器上的列表移动到经调整位置的用户输入，并作为响应，基于在经调整位置处的列表与拓扑的相交调整所述列表的一个或多个项的表示的位置和定向的一个或多个。
另一个示例在计算设备上提供了一种显示用户界面的方法，所述方法包括检测用于列表显示的触发，响应于所述触发生成列表的表示，将所述列表的表示与三维环境的拓扑进行比较以确定所述列表的表示的一个或多个项是否与拓扑中的任何对象相交，如果所述列表的表示的一个或多个项与三维环境的拓扑中的对象相交，那么调整所述列表的表示的一个或多个项中的每个项的位置和定向中的一个或多个以适配于拓扑中的对象，并且显示所述列表的表示。在该示例中，三维环境的拓扑中的对象可以附加地或替换地包括虚拟对象和现实世界对象中的一个或多个。所述方法还附加地或替换地包括通过将所述列表的表示显示为从原点朝向对象展开，随后压缩在对象上来显示所述列表的表示。所述方法可以附加地或替换地包括：通过将一个或多个项中的每个项以折叠表示、成束的表示和卷曲的表示中的一个或多个形式显示来将所述列表的表示显示为针对所述对象压缩。所述方法可以附加地或替换地包括以通过显示列表的具有表示在列表的压缩部分中的项的数目的外观的压缩部分来将所述列表的的表示显示为针对所述对象压缩。所述方法还附加地或替换地包括通过将所述列表的表示的一个或多个项显示为遵循所述对象的表面轮廓来显示所述列表的表示。所述方法可以另外地或替换地包括获取3D环境的二维图像数据并标识与3D环境的拓扑中的现实世界对象相对应的现实世界表面的属性。所述方法可以另外地或替换地包括基于所述现实世界表面的属性调整所述列表的表示。在该示例中，属性可以附加地或替换地包括现实世界表面的纹理和物质形态中的一个或多个。所述方法可以附加地或替换地包括接收将显示器上的列表移动到经调整的位置的用户输入，并作为响应基于所述列表与拓扑在经调整位置处的相交调整所述列表的一个或多个项的表示的位置和定向中的一个或多个。
另一个示例提供了一种可穿戴增强现实计算设备，包括被配置为获取现实世界环境的图像数据的图像传感器、通过其可查看所述现实世界环境的至少一部分的透视显示设备、被配置为执行指令的逻辑设备、以及包括可由逻辑设备执行以进行以下操作的指令的存储设备：检测用于列表的显示的触发，响应于所述触发生成所述列表的表示，将所述列表的表示与表示通过所述透视显示设备显示的现实世界环境和虚拟对象的拓扑进行比较以确定所述列表的表示是否与所述拓扑中的任何对象相交，如果所述列表的表示与所述拓扑中的对象相交，则调整所述列表的一个或多个项的每个项的位置和定向中的一个或多个以适配于所述拓扑中的所述对象，并且通过所述透视显示器设备显示所述列表的表示。
本公开的主题包括各种过程、系统和配置以及此处公开的其它特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。

Claims (15)

1.一种计算设备，包括：
被配置为获取图像数据的图像传感器；
显示设备；
被配置成执行指令的逻辑设备；以及
包括所述逻辑设备可执行以进行下述操作的指令的存储设备：
检测用于列表的显示的触发；
响应于所述触发，生成所述列表的表示；
将所述列表的所述表示与可通过所述显示设备查看的三维环境的拓扑进行比较以确定所述列表的所述表示是否与所述拓扑中的任何对象相交；
如果所述列表的所述表示与所述三维环境的所述拓扑中的对象相交，则调整所述列表的一个或多个项的每个项的位置和定向中的一个或多个以适配于在所述拓扑中的所述对象；以及
通过所述显示器显示所述列表的所述表示。
2.如权利要求1所述的计算设备，其特征在于，所述三维环境的所述拓扑中的所述对象包括虚拟对象和现实世界对象中的一个或多个。
3.如权利要求1所述的计算设备，其特征在于，所述指令可执行以通过将所述列表的所述表示显示为朝着所述对象展开，随后将所述列表的所述一个或多个项的所述表示显示为压缩在所述对象上来将所述列表的所述表示显示为适配于所述对象。
4.如权利要求3所述的计算设备，其特征在于，所述指令可执行以通过以折叠表示、成束的表示和卷曲的表示中的一个或多个显示所述列表的所述一个或多个项的所述表示来将所述列表的所述一个或多个项的所述表示显示为压缩在所述对象上。
5.如权利要求3所述的计算设备，其特征在于，所述指令可执行以通过显示所述列表的压缩部分来将所述列表的所述一个或多个项的所述表示显示为压缩在所述对象上，所述列表的压缩部分具有表示所述列表的压缩部分中的项的数目的外观。
6.如权利要求1所述的计算设备，其特征在于，所述指令可执行以通过调整所述列表的所述表示以遵循所述对象的表面轮廓来将所述列表的所述表示显示为适配于所述对象。
7.如权利要求1所述的计算设备，其特征在于，所述图像传感器包括二维相机，并且其中所述指令可执行以获取所述3D环境的二维图像数据并标识与所述3D环境的所述拓扑中的现实世界对象相对应的现实世界表面的属性。
8.如权利要求7所述的计算设备，其特征在于，所述指令可进一步执行以基于所述现实世界表面的所述属性调整所述列表的所述表示。
9.如权利要求1所述的计算设备，其特征在于，进一步包括：输入设备，并且其中所述指令可进一步执行以接收将在所述显示器上的所述列表移动到经调整的位置的用户输入，并作为响应基于所述列表与所述拓扑在所述经调整位置处的相交调整所述列表的所述一个或多个项的所述表示的位置和定向中的一个或多个。
10.一种计算设备上的用于显示用户界面的方法，所述方法包括：
检测用于列表的显示的触发；
响应于所述触发，生成所述列表的表示；
将所述列表的所述表示与三维环境的拓扑进行比较以确定所述列表的所述表示的一个或多个项是否与所述拓扑中的任何对象相交；
如果所述列表的所述表示的一个或多个项与所述三维环境的所述拓扑中的对象相交，则调整所述列表的所述表示的所述一个或多个项的每个项的位置和定向中的一个或多个以适配于在所述拓扑中的所述对象；以及
显示所述列表的所述表示。
11.如权利要求10所述的方法，其特征在于，所述三维环境的所述拓扑中的所述对象包括虚拟对象和现实世界对象中的一个或多个。
12.如权利要求10所述的方法，其特征在于，显示所述列表的所述表示包括将所述列表的所述表示显示为从原点朝向所述对象展开，随后压缩在所述对象上。
13.如权利要求10所述的方法，其特征在于，显示所述列表的所述表示包括将所述列表的所述表示的所述一个或多个项显示为遵循所述对象的表面轮廓。
14.如权利要求10所述的方法，其特征在于，还包括获取所述3D环境的二维图像数据并标识与所述3D环境的所述拓扑中的现实世界对象相对应的现实世界表面的属性。
15.如权利要求10所述的方法，其特征在于，还包括接收将所述显示器上的所述列表移动到经调整的位置的用户输入，并作为响应基于所述列表与所述拓扑在所述经调整位置处的相交调整所述列表的所述一个或多个项的所述表示的所述位置和定向中的一个或多个。
CN201680007482.0A 2015-01-27 2016-01-15 动态自适应虚拟列表 Active CN107209570B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/606,974 US9858718B2 (en) 2015-01-27 2015-01-27 Dynamically adaptable virtual lists
US14/606,974 2015-01-27
PCT/US2016/013498 WO2016122898A1 (en) 2015-01-27 2016-01-15 Dynamically adaptable virtual lists

Publications (2)

Publication Number Publication Date
CN107209570A true CN107209570A (zh) 2017-09-26
CN107209570B CN107209570B (zh) 2020-08-25

Family

ID=55398404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680007482.0A Active CN107209570B (zh) 2015-01-27 2016-01-15 动态自适应虚拟列表

Country Status (5)

Country Link
US (1) US9858718B2 (zh)
EP (1) EP3250984A1 (zh)
JP (1) JP2018508849A (zh)
CN (1) CN107209570B (zh)
WO (1) WO2016122898A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144251A (zh) * 2018-07-31 2019-01-04 长沙拓扑陆川新材料科技有限公司 一种网络互连的可穿戴设备
CN110045832A (zh) * 2019-04-23 2019-07-23 叁书云(厦门)科技有限公司 基于ar交互的沉浸式安全教育实训系统及方法
CN110971950A (zh) * 2018-09-29 2020-04-07 武汉斗鱼网络科技有限公司 一种房间列表的移动方法以及相关设备
CN112241199A (zh) * 2019-07-19 2021-01-19 华为技术有限公司 虚拟现实场景中的交互方法及装置

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3089658A4 (en) * 2014-02-24 2017-10-11 Sony Corporation Smart wearable devices and methods for acquisition of sensorial information from wearable devices to activate functions in other devices
EP3113106A1 (en) * 2015-07-02 2017-01-04 Nokia Technologies Oy Determination of environmental augmentation allocation data
CN106708249B (zh) * 2015-07-31 2020-03-03 北京智谷睿拓技术服务有限公司 交互方法、交互装置及用户设备
US10210661B2 (en) * 2016-04-25 2019-02-19 Microsoft Technology Licensing, Llc Location-based holographic experience
US9983697B1 (en) * 2016-05-18 2018-05-29 Meta Company System and method for facilitating virtual interactions with a three-dimensional virtual environment in response to sensor input into a control device having sensors
US10521603B2 (en) * 2016-08-24 2019-12-31 Branch Banking And Trust Company Virtual reality system for providing secured information
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
US20180210630A1 (en) * 2017-01-26 2018-07-26 Kyocera Document Solutions Inc. Display device and display method
US20180284914A1 (en) * 2017-03-30 2018-10-04 Intel Corporation Physical-surface touch control in virtual environment
US10409905B2 (en) 2017-12-21 2019-09-10 International Business Machines Corporation Three-dimensional multi-vector tables
US20190212828A1 (en) * 2018-01-10 2019-07-11 Facebook Technologies, Llc Object enhancement in artificial reality via a near eye display interface
JP7211778B2 (ja) * 2018-11-28 2023-01-24 グリー株式会社 アプリケーション処理システム、アプリケーション処理方法、及びアプリケーション処理プログラム
JP7144796B2 (ja) * 2018-02-08 2022-09-30 株式会社バンダイナムコ研究所 シミュレーションシステム及びプログラム
US11481920B2 (en) 2018-05-21 2022-10-25 Sony Corporation Information processing apparatus, server, movable object device, and information processing method
US11348316B2 (en) * 2018-09-11 2022-05-31 Apple Inc. Location-based virtual element modality in three-dimensional content
US10861243B1 (en) * 2019-05-31 2020-12-08 Apical Limited Context-sensitive augmented reality
KR102605342B1 (ko) * 2019-08-06 2023-11-22 엘지전자 주식회사 오브젝트 인식 기반의 정보 제공 방법 및 장치와 이를 위한 매핑 장치
SG10201913955VA (en) * 2019-12-31 2021-07-29 Sensetime Int Pte Ltd Image recognition method and apparatus, and computer-readable storage medium
US11090873B1 (en) * 2020-02-02 2021-08-17 Robert Edwin Douglas Optimizing analysis of a 3D printed object through integration of geo-registered virtual objects
US20230186542A1 (en) * 2020-05-29 2023-06-15 Sony Group Corporation Information processing apparatus, information processing method, and computer-readable recording medium
CN112035202B (zh) * 2020-08-25 2021-11-23 北京字节跳动网络技术有限公司 好友活跃信息的显示方法、装置、电子设备和存储介质
CN112035046B (zh) * 2020-09-10 2024-03-08 脸萌有限公司 榜单信息显示方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102223549A (zh) * 2010-04-16 2011-10-19 索尼计算机娱乐公司 三维图像显示装置及三维图像显示方法
CN102782637A (zh) * 2010-03-09 2012-11-14 高通股份有限公司 显示图形用户接口对象的系统和方法
CN103827780A (zh) * 2011-07-12 2014-05-28 谷歌公司 用于虚拟输入设备的方法和系统
US20150007114A1 (en) * 2013-06-28 2015-01-01 Adam G. Poulos Web-like hierarchical menu display configuration for a near-eye display

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377284B1 (en) 1998-12-10 2002-04-23 International Business Machines Corporation Method of geometrically expanding vertically compressed lists of data
US6295059B1 (en) 1998-12-10 2001-09-25 International Business Machines Corporation Method of vertically compressing a large list of data to fit on a screen
US6636246B1 (en) 2000-03-17 2003-10-21 Vizible.Com Inc. Three dimensional spatial user interface
JP2002082745A (ja) 2000-09-07 2002-03-22 Sony Corp 情報処理装置及び方法、並びにプログラム格納媒体
JP2005198039A (ja) 2004-01-07 2005-07-21 Toshiba Corp 情報表示装置および情報表示方法
US8732597B2 (en) 2006-01-13 2014-05-20 Oracle America, Inc. Folded scrolling
US7562312B2 (en) 2006-01-17 2009-07-14 Samsung Electronics Co., Ltd. 3-dimensional graphical user interface
US8065603B2 (en) 2007-04-30 2011-11-22 Google Inc. Hiding portions of display content
US9569088B2 (en) 2007-09-04 2017-02-14 Lg Electronics Inc. Scrolling method of mobile terminal
GB0823468D0 (en) 2008-12-23 2009-01-28 Imagination Tech Ltd Display list control stream grouping in tile based 3D computer graphics systems
KR101762612B1 (ko) 2010-12-07 2017-07-31 삼성전자 주식회사 목록 표시 방법 및 장치
US9529866B2 (en) 2010-12-20 2016-12-27 Sybase, Inc. Efficiently handling large data sets on mobile devices
US9015639B2 (en) 2011-02-11 2015-04-21 Linkedin Corporation Methods and systems for navigating a list with gestures
US9720505B2 (en) * 2013-01-03 2017-08-01 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
US9245388B2 (en) 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102782637A (zh) * 2010-03-09 2012-11-14 高通股份有限公司 显示图形用户接口对象的系统和方法
CN102223549A (zh) * 2010-04-16 2011-10-19 索尼计算机娱乐公司 三维图像显示装置及三维图像显示方法
CN103827780A (zh) * 2011-07-12 2014-05-28 谷歌公司 用于虚拟输入设备的方法和系统
US20150007114A1 (en) * 2013-06-28 2015-01-01 Adam G. Poulos Web-like hierarchical menu display configuration for a near-eye display

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144251A (zh) * 2018-07-31 2019-01-04 长沙拓扑陆川新材料科技有限公司 一种网络互连的可穿戴设备
CN110971950A (zh) * 2018-09-29 2020-04-07 武汉斗鱼网络科技有限公司 一种房间列表的移动方法以及相关设备
CN110045832A (zh) * 2019-04-23 2019-07-23 叁书云(厦门)科技有限公司 基于ar交互的沉浸式安全教育实训系统及方法
CN110045832B (zh) * 2019-04-23 2022-03-11 叁书云(厦门)科技有限公司 基于ar交互的沉浸式安全教育实训系统及方法
CN112241199A (zh) * 2019-07-19 2021-01-19 华为技术有限公司 虚拟现实场景中的交互方法及装置
CN112241199B (zh) * 2019-07-19 2023-03-24 华为技术有限公司 虚拟现实场景中的交互方法及装置
US11798234B2 (en) 2019-07-19 2023-10-24 Huawei Technologies Co., Ltd. Interaction method in virtual reality scenario and apparatus

Also Published As

Publication number Publication date
WO2016122898A1 (en) 2016-08-04
JP2018508849A (ja) 2018-03-29
US20160217612A1 (en) 2016-07-28
EP3250984A1 (en) 2017-12-06
US9858718B2 (en) 2018-01-02
CN107209570B (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN107209570A (zh) 动态自适应虚拟列表
US9628783B2 (en) Method for interacting with virtual environment using stereoscope attached to computing device and modifying view of virtual environment based on user input in order to be displayed on portion of display
CN105981076B (zh) 合成增强现实环境的构造
US10521028B2 (en) System and method for facilitating virtual interactions with a three-dimensional virtual environment in response to sensor input into a control device having sensors
US10866563B2 (en) Setting hologram trajectory via user input
KR20230170086A (ko) 가상 및 그래픽 엘리먼트들을 애니메이팅하고 제어하기 위한 손 제스처
JP2022512600A (ja) 任意の場所における場所特有の仮想コンテンツのレンダリング
US9984510B1 (en) System and method for modifying virtual elements in a virtual environment using hierarchical anchors incorporated into virtual elements
CN110476142A (zh) 虚拟对象用户界面显示
CN108885803A (zh) 物理环境中的虚拟对象操纵
US10438419B2 (en) System and method for modifying virtual objects in a virtual environment in response to user interactions
CN106255943A (zh) 身体锁定增强现实与世界锁定增强现实之间的转换
CN108027649A (zh) 定位增强现实环境中的设备
WO2017120271A1 (en) Apparatuses, methods and systems for application of forces within a 3d virtual environment
US10699490B2 (en) System and method for managing interactive virtual frames for virtual objects in a virtual environment
CN104685869A (zh) 显示装置、控制方法和控制程序
CN104662588A (zh) 显示装置、控制系统和控制程序
CN106575152A (zh) 可对准的用户界面
Kodeboyina et al. Low cost augmented reality framework for construction applications
KR20240056555A (ko) 핸드크래프티드 증강 현실 에포트 증거
WO2020219379A1 (en) Generating a semantic construction of a physical setting
CN110520821A (zh) 将输入投射到三维物体表示
US20240071020A1 (en) Real-world responsiveness of a collaborative object
US20240069643A1 (en) Physical gesture interaction with objects based on intuitive design
CN109697001A (zh) 交互界面的显示方法和装置、存储介质、电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant