CN103403662A - 利用多输入界面导航3-d环境的系统和方法 - Google Patents

利用多输入界面导航3-d环境的系统和方法 Download PDF

Info

Publication number
CN103403662A
CN103403662A CN201280010753XA CN201280010753A CN103403662A CN 103403662 A CN103403662 A CN 103403662A CN 201280010753X A CN201280010753X A CN 201280010753XA CN 201280010753 A CN201280010753 A CN 201280010753A CN 103403662 A CN103403662 A CN 103403662A
Authority
CN
China
Prior art keywords
input
touch
vector
virtual
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280010753XA
Other languages
English (en)
Inventor
J·H·奥格黑
D·D·福瑞斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN103403662A publication Critical patent/CN103403662A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了用于3-D环境操控的系统和方法。向量外推器被配置为将输入外推至3-D空间中以建立3-D向量外推。视角定位器被配置为基于3-D向量外推重定位观察视角。

Description

利用多输入界面导航3-D环境的系统和方法
技术领域
本发明的实施例总体涉及观察系统和方法。更特别地，本发明的实施例涉及交互式观察系统和方法。
背景技术
许多应用领域，例如军事地图、视频和计算机游戏、医学可视化以及用户界面，都使用3维（3-D）环境。通常，3-D环境提供3-D对象、对象集合、地区或空间的单景象（mono-vision）或立体透视图。
发明内容
本发明公开了用于3-D环境操控的系统和方法。向量外推器（vectorextrapolator）将输入外推至3-D空间中以提供3-D向量外推。视角定位器（perspective locator）基于3-D向量外推重定位观察视角（viewingperspective）。
在实施例中，一种用于多输入3-D环境导航的方法将第一输入外推至3-D空间中以提供第一3-D向量外推。该方法进一步基于在第一3-D向量外推的基础上计算的第二3-D向量外推重定位观察视角。该方法可以进一步包括在用户界面上接收第一输入。此外，该方法的第一输入可以包括触摸。该方法也可以进一步包括当第一输入的位置在用户界面上移动时，确定虚拟摄像机的视锥体（viewing frustum）以将3-D空间中第一点保持在用户界面上的第一输入的位置之下。该方法也可以进一步包括接收用户界面上第一输入的第一位置到用户界面上第二输入位置的重定位。该方法可以进一步包括将第二输入位置外推到3-D空间以提供第二3-D向量外推。该方法可以进一步包括基于第二3-D向量外推操控3-D虚拟构造。
在另一实施例中，多输入3-D环境设备包含接收第一输入的界面。该设备进一步包含将第一输入外推至第一3-D空间中以提供3-D向量外推的向量外推器。该设备也包含基于在第一3-D向量外推基础上计算的第二3-D向量外推重定位观察视角的视角定位器。
在又一实施例中，3-D环境操控系统包含可操作为将输入外推至3-D空间中以提供3-D向量外推的向量外推器。该系统进一步包含可操作为基于3-D向量外推重定位观察视角的视角定位器。
提供该概要是为了以一种简化的形式介绍一批概念，其将在下面的详细描述中被进一步描述。该概要的目的既不在于识别所声明的主题的关键特征或必要特征，也不在于被用来帮助确定所声明的主题的范围。
附图说明
当结合下列附图考虑时，通过参考详细的描述和权利要求可以更全面地理解本发明的实施例，其中在整个附图中，相同的参考标记指代相似的元素。提供附图是为了帮助理解本发明，而不限制本发明的广度、范围、规模或应用性。附图不一定按比例绘制。
图1是第一位置中的示例性2-D环境导航的图示。
图2是第二位置中的图1的示例性2-D环境导航的图示，其利用多点触摸捏合手势（pinch gesture）示出扩展视图。
图3是根据本发明的一个实施例的第一位置中的示例性3-D环境导航的图示。
图4是根据本发明的一个实施例的第二位置中的图3的示例性3-D环境导航的图示。
图5是根据本发明的一个实施例的第一位置中的示例性3-D环境导航的图示。
图6是根据本发明的一个实施例的第二位置中的图5的示例性3-D环境导航的图示。
图7是根据本发明的一个实施例的多点触摸3-D环境导航系统的示例性功能框图的图示。
图8是根据本发明的一个实施例示出多点触摸3-D环境导航过程的示例性流程图的图示。
图9是根据本发明的一个实施例的3-D环境中的示例性两点多点触摸的图示。
图10是根据本发明的一个实施例的3-D环境中的来自多点触摸界面的示例性两点向量外推的图示。
图11是根据本发明的一个实施例的多点触摸界面上的示例性两点触摸位置变化为新位置的图示。
图12是根据本发明的一个实施例的来自图11的新位置的示例性两点向量外推的图示。
具体实施方式
下列详细的描述本质上是示例性的，其无意限制本发明或本发明的实施例的应用和用途。提供具体设备、技术及应用的描述仅作为示例。对这里所描述的示例的修改对本领域的普通技术人员来说将是非常明显的，并且在不脱离本发明的精神和范围的情况下可以将这里定义的一般原理运用于其它示例和应用。本发明应当被赋予与权利要求一致的范围，并且不限于这里所描述和示出的示例。
这里可以根据功能块和/或逻辑块组件以及各种处理步骤来描述本发明的实施例。应当理解，这样的块组件可以由任意数目的被配置为执行指定功能的硬件、软件和/或固件组件来实现。为了简洁的目的，这里可以不详细地描述与3-D软件仿真、触摸敏感屏、成像技术、计算虚拟摄像机位置、三维模型生成、人机交互以及系统的其它功能性方面（以及系统的各个操作组件）有关的常规的技术和组件。此外，本领域的技术人员将理解，本发明的实施例可以结合多种硬件和软件实施，并且这里所描述的实施例仅是本发明的示例实施例。
这里在实际的非限制性应用，即景观模拟（landscape simulation）的环境中描述本发明的实施例。然而，本发明的实施例不限于这样的景观模拟应用，并且这里所描述的技术也可以在其它应用中使用。例如但不限于，实施例可以适用于作战信息中心、水下导航、建筑、采矿和石油工程、电子游戏、科学可视化、用户界面、与结构模型交互、计算机辅助绘图系统或代表三维模型的任何环境等。而且，本发明的实施例适用于，例如但不限于，通过包含陆地地形、建筑物、植物和其它物理结构的虚拟训练设施导航。
正如在阅读完该描述之后对本领域的普通技术人员来说将是显而易见的那样，下列是本发明的示例和实施例并且不限于根据这些示例操作。在不脱离本发明的示例性实施例的范围的情况下，可以使用其它实施例及进行结构上的改变。
本发明的实施例提供一种直观的方式以通过3-D环境利用多点触摸界面导航。一个人与所显示的3-D模型交互时所期望的“感觉”是感觉他们像是正在操控正被查看的实际模型。这由使用3-D模型和多点触摸表面上的物理触摸点来确定3-D模型上的原始位置/点的实施例来完成。3-D模型上的原始位置/点是触摸点（例如，图10中的2-D触摸点A和B）交于原先相交的点（例如，图10中的虚拟触摸点P0和P1）的地方。然后，随着在多点触摸表面上拖动触摸点，3-D模型被操控以将原先相交的点保持在这些触摸点之下。以此方式，3-D环境的视图被操控为使得随着手指/输入在多点触摸表面上移动，在3-D模型上的每个手指/输入之下的原始位置/点仍然在该手指/输入之下，如下面更详细地解释的那样。
与现有的解决方案相反，本发明的实施例的重要部分是3-D模型和触摸点被一起用来操控3-D模型的视图的方式。3-D模型的视图被操控为使得随着手指/输入在多点触摸表面上移动，在3-D模型上所触摸的在操作者的手指/输入之下的原始位置仍然在该手指/输入之下。现有的解决方案可以通过响应于多点触摸交互而执行视图的相对移动来操控3-D模型的视图，而不使用实际的3-D环境作为操控视图的约束条件。一个示例是在多点触摸表面上执行从左到右的移动并对于每一英寸触摸移动，将视图旋转一度。
用于多点触摸表面的现有解决方案允许通过2维（2-D）环境进行导航。相比之下，本发明的实施例扩展了2-D导航手势以在3-D虚拟环境中使用。以此方式，通过在多点触摸表面上使用一组单个和/或多个手指/多输入直观的手势，操作者/用户能够在3-D虚拟环境中而不是在现有解决方案提供的2-D环境中进行导航。当用户触摸多点触摸表面上的一点时，根据本发明的实施例的系统利用3-D虚拟环境的内容来确定用户在3-D虚拟环境中正触摸的3-D虚拟空间中的3-D位置。利用3-D虚拟空间中的这些3-D位置（3-D点），系统将用户触摸/手势转换为平移、旋转和缩放导航，以导航与这些3-D位置有关的场景。例如，单个手指面（finger pan）将平移3-D虚拟环境，使得正被触摸的3-D点始终保持在手指/输入设备之下。在该文档中，触摸点和位置可以被交换地使用。
图1是第一位置中的示例性2-D环境导航100的图示。显示110（例如，多点触摸界面）包括地图102。在第一触摸点104上进行第一触摸而在第二触摸点108上进行第二触摸。激活指示符106表明第一触摸点104和第二触摸点108两者的存在，因而激活2-D地图导航模式。在2-D地图导航模式中，第一触摸点104和第二触摸点108中的至少一个能够被用来操控地图102。第一触摸点104和第二触摸点108也能够在捏合手势（pinch gesture）中使用，以朝向共同的中心点或远离共同的中心点移动第一触摸点104和第二触摸点108。需要一个触摸来平移，而两个触摸在常规情况下是捏合手势，其通常也暗示第一触摸点104和第二触摸点108正朝向共同的中心节点或远离共同的中心节点移动。
多点触摸界面包含在其上呈现图像的表面和能够感测物理触摸的设备。呈现表面可以由将图像投影到漫反射表面上的投影仪或非投影的显示系统如液晶显示屏（LCD）或等离子显示器来实现。能够感测物理触摸的设备可以包括，例如但不限于，基于摄像机的系统、电容式触摸敏感屏或能够感测成像表面上的物理触摸/输入的物理位置的其它技术。
图2是第二位置200中的示出扩展视图的图1的示例性2-D环境导航100的图示。显示210包括在缩放地图视图202下的图2的地图102。通过将第一触摸从第一触摸点104移动到第一移动触摸点204并且将第二触摸从第二触摸点108移动到第二移动触摸点208，以此对缩放地图视图202进行成比例的缩放。对缩放地图视图202的操控可以继续进行，直到第一触摸或第二触摸中的任何一个被释放。
3-D环境是3-D物理空间的虚拟表示。3-D环境一般表示为定位在3-D空间中的多边形。这些多边形被布置为接近于如建筑物和地球地形的物体，并且当在计算机显示器上呈现时，一般被着色和赋予纹理以显得逼真。
3-D环境的视图包含被放置在3-D环境中的虚拟摄像机的位置、方向和平截头体（frustum）（视锥体），通过该虚拟摄像机呈现3-D环境。这种呈现将3-D环境映射到2-D平面，适合于在2-D表面如投影仪或计算机屏幕上显示。视图的平截头体是正交投影或透视投影，通过该正交投影或透视投影呈现场景（例如，地图）。透视投影能够被概念化为虚拟摄像机的视场或焦距。平截头体也是虚实体位于与虚实体相交的两个平行平面之间的一部分（例如，圆锥或棱锥）。平截头体通常用在计算机图形中以描述显示屏幕上可视的3-D区域。
图3是根据本发明的一个实施例的第一位置中的示例性3-D环境导航300的图示。显示310（例如，多点触摸界面）包括地图302。在第一触摸点304上进行第一触摸而在第二触摸点308上进行第二触摸。激活指示符306指示第一触摸点304和第二触摸点308两者的存在，从而激活地图3-D操控模式。在地图3-D操控模式中，第一触摸点304和第二触摸点308被用来以3维方式操控地图302。该操控可以包括，例如但不限于，3-D旋转、3-D平移、3-D调整大小等。
由于在该示例中地图302是简单的平坦的长方形，因此操控将地图302保持在与地图302的表面相同的平面中。虽然在该示例中地图302被用作被操控的对象，但是任何可视对象，例如但不限于，计算机辅助设计（CAD）对象、游戏环境、数学结构、模拟的自然环境等都可以被用作被操控的对象。
图4是根据本发明的一个实施例的第二位置400中的示例性3-D环境导航300的图示。显示410包括在操控视图402下的地图302（图3）。通过将第一触摸从第一触摸点304移动到第一移动触摸点404并且将第二触摸从第二触摸点308移动到第二移动触摸点408，以此对被操控的对象（地图302）的视图进行操控，从而得到操控视图402。激活指示符406指示第一移动触摸点404和第二移动触摸点408两者的存在。操控视图402包括，例如但不限于，地图302的3-D旋转、3-D平移、3-D调整大小等。可以继续对操控视图402的操控，直到第一触摸或第二触摸被释放。
图5是根据本发明的一个实施例的第一位置中的示例性3-D环境导航500的图示。显示510包括地图502。在第一触摸点504上进行第一触摸而在第二触摸点508上进行第二触摸。激活指示符506指示第一触摸点504和第二触摸点508两者的存在，从而激活地图3-D操控模式。在地图3-D操控模式中，第一触摸点504和第二触摸点508能够被用来以3-D方式操控地图502。该操控可以包括，例如但不局限于，3-D旋转、3-D平移、3-D调整大小等。
图6是根据本发明的一个实施例的第二位置600中的图5的示例性3-D环境导航的图示。显示610包括在操控视图602下的地图502。通过将第一触摸从第一触摸点504移动到第一移动触摸点604并且将第二触摸从第二触摸点508移动到第二移动触摸点608，以此对操控视图602进行操控。操控视图602包括地图502的3-D旋转、3-D平移和3-D调整大小。可以继续对操控视图602的操控，直到第一触摸或第二触摸被释放。在操控之后，3-D模型上在用户手指/输入之下的位置停留在该用户手指/输入之下。以此方式，2-D导航手势被扩展用在3-D虚拟环境中，如下面在图8的讨论的背景下更详细地解释的那样。
图7是根据本发明的一个实施例的示例性多点触摸3-D环境导航系统700（系统700）的图示。系统700使用一组单个和/或多个手指直观的手势，从而允许操作者/用户导航3维中的场景。
系统700可以包含，例如但不限于，台式、膝上型或笔记本计算机、手持计算设备（PDA、蜂窝电话、掌上型电脑等）、大型计算机、服务器、客户端或对给定的应用或环境来说可能是期望的或合适的任何其它类型的专用或通用的计算设备。系统700通常包含处理器702、存储器704、数据库706、向量外推器708、视角定位器710及界面712。这些组件可以通过网络总线716与彼此耦合并通信。
处理器702包含被配置为执行与系统700的运行相关联的功能、技术和处理任务的处理逻辑。特别地，处理逻辑被配置为支持这里所描述的系统700。例如，处理器702控制界面712、向量外推器708和视角定位器710，以将界面712接收的2-D导航手势/输入扩展用在3-D虚拟环境中使用，如下面在图8的讨论的背景中更详细地解释的那样。
处理器702也访问存储在数据库706中的数据以支持系统700的功能。以此方式，处理器702使单个手指面/输入能够平移3-D环境，使得正被触摸/激活的3-D点始终保持在该手指/输入之下。所述数据可以包括，例如但不限于，所触摸对象的坐标、当前的虚拟摄像机位置、虚拟摄像机向量外推信息、3-D多边形位置、3-D多边形如何被连接到一起、图像纹理数据、纹理元数据、3-D环境中显示的地形表示（例如，建筑物、树木、地面、地图）等。
处理器702可以用被设计为执行这里所描述的功能的通用处理器、内容寻址存储器、数字信号处理器、专用集成电路、现场可编程门阵列、任何合适的可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或其组合来实施或实现。以此方式，处理器可以被实现为微处理器、控制器、微控制器、状态机等。处理器也可以被实施为计算设备的组合，例如，数字信号处理器和微处理器的组合、多个微处理器、结合数字信号处理器内核的一个或更多微处理器或任何其它这样的配置。
存储器704可以是存储器被格式化以支持系统700的运行的数据存储区。存储器704被配置为根据需要存储、维护并提供数据以按照下面描述的方式支持系统700的功能。在实际的实施例中，存储器704可以包括，例如但不限于，非易失性存储设备（非易失性半导体存储器、硬盘设备、光盘设备等）、随机存取存储设备（例如SRAM、DRAM）或本技术领域已知的任何其它形式的存储介质。
存储器704可以被耦合至处理器702并被配置为存储，例如但不限于，数据库706等。此外，存储器704可以表示包含用于更新数据库706的表格的动态更新数据库等。存储器704也可以存储由处理器702执行的计算机程序、操作系统、应用程序、执行程序时使用的试验数据等。
存储器704可以被耦合至处理器702，使得处理器702能够从存储器704中读取信息并将信息写入到存储器704。作为示例，处理器702和存储器704可以存在于各自的专用集成电路（ASIC）中。存储器704也可以被集成到处理器702中。在实施例中，存储器704可以包含在由处理器702执行的指令的执行期间存储临时变量或其它中间信息的高速缓冲存储器。存储器704包括数据库706。
数据库706可以包括，例如但不限于，分层数据库、地形数据库、网络数据库、关系数据库、面向对象的数据库等。数据库706可操作为存储，例如但不限于，系统700中可能使用的坐标、算法、方法等。可以用各种方式使用数据库706，例如但不限于，利用当前的虚拟摄像机位置和作为向量的虚拟摄像机向量外推信息来执行与地形数据库的相交测试，以确定用户是否触摸地形区域等。
向量外推器708将触摸外推至3-D空间中，以提供3-D向量外推，如下面更详细地解释的。
视角定位器710基于3-D向量外推来重定位观察视角，如下面更详细地解释的。
界面712（用户界面）与系统700的操作者/用户通信。界面712也可以提供因特网网页界面。界面712可以包括，例如但不限于，到地图的界面、到3-D环境的界面等，如下面更详细地解释的那样。
界面712可以进一步包含多点触摸表面，如触摸敏感屏714。当用户在触摸敏感屏714上触摸2-D点时，系统700利用3-D虚拟环境的内容来确定用户在3-D虚拟环境内正触摸的3-D虚拟空间中的3-D位置。利用3-D虚拟空间中的这些3-D位置（3-D点），系统700将用户触摸/手势转换为平移、旋转及缩放导航，以导航与这些3-D位置有关的场景。例如，如上所述，单个手指面将平移3-D虚拟环境，使得在触摸敏感屏714上被触摸的3-D点始终保持在该触摸/输入的位置之下。
触摸敏感屏714可以包括，例如但不限于，等离子显示板（PDP）、液晶显示器（LCD）、硅基液晶（LCOS）显示器、发光二极管（LED）显示器、铁电LCD显示器、场致发射显示器（FED）、电致发光显示器（ELD）、前向向量外推显示器（front vector extrapolation display）、后向向量外推显示器（rear vector extrapolation display）、微机电器件（MEM）显示器（例如数字微镜器件（DMD）显示器或光栅光阀（GLV）显示器）、阴极射线显像管（CRT）等。该触摸敏感屏可以进一步包含有机显示技术，例如有机电致发光（OEL）显示器和有机发光二极管（OLED）显示器，以及发光聚合物显示器等。
图8是根据本发明的实施例示出多点触摸/多输入3-D环境导航过程800的示例性流程图的图示。与过程800有关的所执行的各种任务可以由软件、硬件、固件、具有用于执行过程方法的计算机可执行指令的计算机可读介质或其任意组合机械地执行。应当理解，过程800可以包括任意数目的额外的或替换的任务。图8所示的任务不必按照所说明的顺序执行，并且过程800可以被合并到具有这里没有详细描述的额外功能的更全面的程序或过程中。
为了说明的目的，过程800的下列描述可以引用以上关于图3-7所提到的元素。在实际的实施例中，过程800的各部分可以由系统700的不同元件执行，例如：处理器702、存储器704、数据库706、向量外推器708、视角定位器710、界面712以及网络总线716。过程800可以具有与图3-7所示的实施例相似的功能、材料和结构。因此，这里没有多余地描述共同的特征、功能和元件。
下面结合图9-12描述过程800。图9是根据本发明的一个实施例的3-D环境900中的示例性两点多点触摸的图示。图10是根据本发明的一个实施例的3-D环境1000中的来自界面712的示例性两点向量外推的图示。图11是根据本发明的一个实施例的在触摸敏感屏714上例示性两点触摸位置A和B分别变化到新位置X和Y的图示。图12是根据本发明的一个是实施例的来自图11的新的位置X和Y的例示性两点向量外推的图示。
过程800可以开始于接收界面712（用户界面）上的第一触摸（任务802）。例如，如图9所示，在界面712的触摸敏感屏714上呈现场景902，并且界面712获取第一触摸的2-D位置，例如每个2-D触摸点/位置A和B。虽然过程800是用于利用两个2-D触摸点处的第一触摸来操控场景902的3-D视图的示例性过程，但是过程800也能够用于利用一个或更多2-D触摸点处的一个或更多触摸来操控场景902的视图。
虽然在触摸敏感屏714上使用触摸，但是界面712不限于接收触摸。替换地，任何一个或更多输入源，例如但不限于，两个鼠标（例如，带有合适的软件以单独读取两个鼠标中的每个鼠标的位置，因为一些操作系统可以将指针输入结合以移动单个指针）、基于手势的设备激活等可以被用来发送输入到界面712。
过程800可以继续于向量外推器708将2-D触摸点A和B处的第一触摸/输入外推至3-D环境（3-D空间）以提供第一3-D向量外推（任务804）。例如，如图10所示，视图1006（观察视角1006）的位置、方向和平截头体1002被用来基于摄像机位置C0呈现视图1006并将2-D触摸点A和B外推到场景902中。以此方式，2-D触摸点A和B被外推到场景902中，以产生包含平截头体1002边界上的向量V0和V1的第一3-D向量外推。如上所述，平截头体是虚实体（例如，圆锥或棱锥）位于与虚实体相交的两个平行平面之间的一部分。平截头体常用在计算机图形学中，以描述屏幕上可见的三维区域。
过程800可以继续于界面712基于第一3-D向量外推定位3-D环境1000上的至少一个虚拟触摸点（P0和P1）（任务806）。以此方式，如图10所示，向量V0和V1与3-D环境1000相交，以产生分别对应于向量V0和V1的终点的虚拟触摸点P0和P1。在该示例中，虚拟触摸点P0和P1位于地面1004上。
过程800可以继续于界面712接收界面712上的第一输入的第一位置（A和B）到界面712上的第二输入位置（X和Y）的重定位（任务808）。以此方式，界面712得到来自界面712的第一输入（原先捕捉的2-D触摸点/第一位置A和B）的新的2-D位置（第二输入位置X和Y）。原先捕捉的2-D触摸点A和B随着连续的拖动操作而被跟踪，其中触摸点没有被抬起（lifted），而是被分别从最先捕捉的2-D触摸点A和B拖动到其新的2-D触摸点/第二输入位置X和Y。相似地，点击和拖动操作可以由鼠标执行。
过程800可以继续于将第二输入位置X和Y外推到3-D空间中以提供第二3-D向量外推（任务810）。例如，如图12所示，利用视图1204的视锥体1202来将新的2-D触摸点/第二输入位置X和Y向量外推到场景902，产生包含新的向量V2和V3的第二3-D向量外推。新的向量V2和V3包含分别对应于新的2-D触摸点/第二输入位置X和Y的第一组终点以及分别对应于虚拟触摸点P0和P1的第二组终点。如上所述，虚拟触摸点P0和P1对应于向量的V0和V1的第一3-D向量外推的终点。以此方式，基于第一3-D向量外推计算第二3-D向量外推。
过程800可以继续于当触摸/输入的位置在用户界面上712上移动时确定虚拟摄像机的视锥体1202以将3-D空间中的点（例如，虚拟触摸点P0和P1）保持在用户界面上的第一触摸/输入的位置（例如第一位置/触摸点（A和B）和第二输入位置/新的2-D触摸点（X和Y））之下（即2-D界面上的点覆盖3-D环境中的点的视图）（任务812）。视锥体1202/1002的特性可以包括，例如但不限于，虚拟摄像机的虚拟方向、虚拟摄像机的虚拟位置等。给定虚拟触摸点P0和P1、向量V2和V3以及视图的本质（平截头体）属性的约束条件，计算新的虚拟摄像机位置C1，使得向量V2和V3与虚拟触摸点P0和P1相交，由此将虚拟触摸点（例如，虚拟触摸点P0和P1）保持在触摸位置（例如第一位置/触摸点（A和B）和第二输入位置/新的2-D触摸点（X和Y））之下。
给定一组约束条件计算摄像机位置（观察视角）（例如新的虚拟摄像机位置C1）可以用如下方法来求解，例如但不限于，线性编程、Cholesky分解、LU分解等。在一些情况下，只有这些约束条件可能不足以求解唯一的摄像机位置，因此可以添加对摄像机位置和/或方向的额外约束条件。在以上示例中，可以从原始的摄像机位置C0中保留地面1004之上的高度和摄像机的辊（roll），以帮助约束新的虚拟摄像机位置C1。
过程800可以继续于视角定位器710基于在第一3-D向量外推基础上计算的第二3-D向量外推重定位观察视角（视图1024）（任务814）。用户可以基于第二3-D向量外推操控3-D虚拟构造，例如但不限于地形表面、CAD制图、游戏空间等。
在以上描述的各种实施例中，作为示例使用两个2-D触摸点A和B来扩展界面712接收的2-D导航手势/输入以在3-D虚拟环境中使用。然而在其它实施例中，可以使用一个或更多2-D触摸点。例如，被拖动到新位置的单个2-D触摸点能够产生值P0和V2，其需要来自原始摄像机位置C0和/或方向的额外方程约束条件以唯一地求解新的摄像机位置C1和方向的约束方程。对于该示例，可以使用来自原始摄像机位置C0的完整的方向和地面1004之上的高度，从而允许新的摄像机位置仅垂直于地面1004平移。对于另一示例，三个或更多2-D触摸点能够帮助进一步约束新的摄像机位置C1的求解，从而要求从原始摄像机中保留更少的参数。
以这种方式，提供扩展2-D导航手势以在3-D导航中使用的系统和方法。
以上描述提到元件、节点或特征被“连接”或“耦合”在一起。如这里所用的，除非明确陈述，否则“连接”意思是一个元件/节点/特征被直接结合到另一个元件/节点/特征（或与之直接通信），并且不一定是机械地。同样地，除非明确陈述，否则“耦合”意思是一个元件/节点/特征被直接或间接结合到另一个元件/节点/特征（或与之直接或间接通信），并且不一定是机械地。因此，虽然图3-7和图9-12描述了元件的示例布置，但是额外的介入元件、设备、特征或组件也可以存在于本发明的实施例中。
在本文档中使用的术语和短语及其变体，除非明确陈述，否则应解释为开放式的而不是限制性的。如前述的例子：术语“包括/包含”应解读为意思是“包括/包含，没有限制”等；术语“示例/例子”用来提供项目在讨论中的示例性实例，而不是穷举或限制其列表；并且形容词例如“常规的”、“传统的”、“正常的”、“标准的”、“已知的”，以及相似意义的术语不应解释为将所描述的项目限于给定时段，或在给定时间可用的项目，而是代替地，应理解为包括可以是现在或在未来任何时间可用或已知的常规的、传统的、正常的或标准的技术。
同样地，除非明确陈述，否则用连接词“和/及”连接的一组项目不应当解读为要求这些项目中的每一项都出现在该群组中，而是应当被解读为“和/或”。相似地，除非明确陈述，否则用连接词“或”连接的一组项目不应当解读为在该群组中彼此互斥，而是应当被解读为“和/或”。此外，虽然本发明的项目、元件或组件可能用单数形式被描述或声明，然而除非明确陈述对单数的限制，否则复数形式预期也在其范围内。在一些实例中，拓宽的单词和短语例如“一个或更多”、“至少”、“但不限于”或其它相似短语的存在不应解读为意思是在可以缺少这类拓宽短语的实例中意在或要求较窄的情况。

Claims (12)

1.一种多输入3-D环境设备，其包含：
用户界面，其接收第一输入；
向量外推器，其将所述第一输入外推至3-D空间中以提供第一3-D向量外推；以及
视角定位器，其基于在所述第一3-D向量外推的基础上计算的第二3-D向量外推重定位观察视角。
2.根据权利要求1所述的多输入3-D环境设备，其中所述用户界面包括触摸敏感屏。
3.根据权利要求1所述的多输入3-D环境设备，其中第一输入包括触摸。
4.根据权利要求1所述的多输入3-D环境设备，其中当所述第一输入的位置在所述用户界面上移动时，所述向量外推器确定虚拟摄像机的视锥体，将所述3-D空间中的第一点保持在所述第一输入在所述用户界面上的位置之下。
5.根据权利要求1所述的多输入3-D环境设备，其中所述向量外推器将第二输入位置外推至所述3-D空间中以提供所述第二3-D向量外推。
6.根据权利要求5所述的多输入3-D环境设备，其中所述视角定位器基于所述第二3-D向量外推操控3-D虚拟环境。
7.一种3-D环境操控系统，其包含：
向量外推器，其可操作为将输入外推至3-D空间中以提供3-D向量外推；以及
视角定位器，其可操作为基于所述3-D向量外推重定位观察视角。
8.根据权利要求7所述的系统，进一步包含可操作为接收输入的界面。
9.根据权利要求8所述的系统，其中所述界面包含从由触摸敏感屏、鼠标和基于手势的设备组成的群组中选择的至少一个界面。
10.根据权利要求7所述的系统，其中所述输入包括触摸。
11.根据权利要求7所述的系统，其中所述向量外推器进一步可操作为当所述输入的位置在所述界面上移动时，确定虚拟摄像机的视锥体以将虚拟触摸点保持在所述输入在界面上的位置之下。
12.根据权利要求11所述的系统，其中所述视锥体包括从由虚拟摄像机的虚拟方向和虚拟摄像机的虚拟位置组成的群组中选择的至少一个特性。
根据权利要求7所述的系统，其中所述视角定位器可进一步操作为基于所述3-D向量外推操控3-D虚拟环境。
CN201280010753XA 2011-03-02 2012-01-24 利用多输入界面导航3-d环境的系统和方法 Pending CN103403662A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/039,284 US9632677B2 (en) 2011-03-02 2011-03-02 System and method for navigating a 3-D environment using a multi-input interface
US13/039,284 2011-03-02
PCT/US2012/022412 WO2012118572A1 (en) 2011-03-02 2012-01-24 System and method for navigating a 3-d environment using a multi-input interface

Publications (1)

Publication Number Publication Date
CN103403662A true CN103403662A (zh) 2013-11-20

Family

ID=45926905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280010753XA Pending CN103403662A (zh) 2011-03-02 2012-01-24 利用多输入界面导航3-d环境的系统和方法

Country Status (5)

Country Link
US (1) US9632677B2 (zh)
EP (1) EP2681649B1 (zh)
JP (1) JP6436628B2 (zh)
CN (1) CN103403662A (zh)
WO (1) WO2012118572A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092359A (zh) * 2017-04-24 2017-08-25 北京小米移动软件有限公司 虚拟现实视角重定位方法、装置及终端
CN109863467A (zh) * 2016-10-21 2019-06-07 惠普发展公司有限责任合伙企业 虚拟现实输入

Families Citing this family (179)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
JP2012256110A (ja) * 2011-06-07 2012-12-27 Sony Corp 情報処理装置、情報処理方法およびプログラム
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US9026951B2 (en) * 2011-12-21 2015-05-05 Apple Inc. Device, method, and graphical user interface for selection of views in a three-dimensional map based on gesture inputs
US9208698B2 (en) 2011-12-27 2015-12-08 Apple Inc. Device, method, and graphical user interface for manipulating a three-dimensional map view based on a device orientation
US10191641B2 (en) 2011-12-29 2019-01-29 Apple Inc. Device, method, and graphical user interface for navigation of information in a map-based interface
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US8754885B1 (en) * 2012-03-15 2014-06-17 Google Inc. Street-level zooming with asymmetrical frustum
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US10262460B2 (en) * 2012-11-30 2019-04-16 Honeywell International Inc. Three dimensional panorama image generation systems and methods
KR20240132105A (ko) 2013-02-07 2024-09-02 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US20140267600A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Synth packet for interactive view navigation of a scene
US9712746B2 (en) 2013-03-14 2017-07-18 Microsoft Technology Licensing, Llc Image capture and ordering
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
CN103488413B (zh) * 2013-04-26 2016-12-28 展讯通信（上海）有限公司 触控设备及在触控设备上显示3d界面的控制方法和装置
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101772152B1 (ko) 2013-06-09 2017-08-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
DE112014003653B4 (de) 2013-08-06 2024-04-18 Apple Inc. Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
JP6388479B2 (ja) * 2014-02-19 2018-09-12 ヤフー株式会社 情報表示装置、情報配信装置、情報表示方法、情報表示プログラムおよび情報配信方法
CN110797019B (zh) 2014-05-30 2023-08-29 苹果公司 多命令单一话语输入方法
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
CN106464856B (zh) * 2014-06-24 2019-01-15 谷歌有限责任公司 用于分析和确定虚拟环境的特性的计算机化系统和方法
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
CN105354874B (zh) * 2015-11-05 2019-11-08 韩东润 一种数字素材的立体显示方法及装置
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
CN107180406B (zh) * 2016-03-09 2019-03-15 腾讯科技（深圳）有限公司 图像处理方法和设备
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
US10254914B2 (en) 2016-08-29 2019-04-09 International Business Machines Corporation Configuring three dimensional dataset for management by graphical user interface
US10168856B2 (en) * 2016-08-29 2019-01-01 International Business Machines Corporation Graphical user interface for managing three dimensional dataset
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10606457B2 (en) * 2016-10-11 2020-03-31 Google Llc Shake event detection system
WO2018096804A1 (ja) * 2016-11-25 2018-05-31 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10754523B2 (en) * 2017-11-27 2020-08-25 International Business Machines Corporation Resizing of images with respect to a single point of convergence or divergence during zooming operations in a user interface
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10715714B2 (en) * 2018-10-17 2020-07-14 Verizon Patent And Licensing, Inc. Machine learning-based device placement and configuration service
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN112632181B (zh) * 2020-12-21 2024-02-06 北京百度网讯科技有限公司 地图显示方法、装置、设备、存储介质和终端设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770324A (zh) * 2008-12-31 2010-07-07 商泰软件(上海)有限公司 一种实现三维图形界面互动式操作的方法
WO2011003171A1 (en) * 2009-07-08 2011-01-13 Smart Technologies Ulc Three-dimensional widget manipulation on a multi-touch panel

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100248401B1 (ko) * 1997-10-28 2000-04-01 정선종 헬리콥터 조종 메타포어를 이용한 가상공간 탐색 방법
JP2001195608A (ja) * 2000-01-14 2001-07-19 Artdink:Kk Ｃｇの三次元表示方法
JP4871033B2 (ja) 2006-06-08 2012-02-08 クラリオン株式会社 地図表示装置
JP5008071B2 (ja) * 2007-05-02 2012-08-22 任天堂株式会社 情報処理装置および情報処理プログラム
JP2009017480A (ja) * 2007-07-09 2009-01-22 Nippon Hoso Kyokai <Nhk> カメラキャリブレーション装置およびそのプログラム
JP4662495B2 (ja) 2007-11-30 2011-03-30 株式会社スクウェア・エニックス 画像生成装置、画像生成プログラム、画像生成プログラム記録媒体及び画像生成方法
CA2734987A1 (en) 2008-08-22 2010-02-25 Google Inc. Navigation in a three dimensional environment on a mobile device
KR101531363B1 (ko) * 2008-12-10 2015-07-06 삼성전자주식회사 이차원 인터랙티브 디스플레이에서 가상 객체 또는 시점을 제어하는 방법
US8493384B1 (en) * 2009-04-01 2013-07-23 Perceptive Pixel Inc. 3D manipulation using applied pressure
US8232990B2 (en) * 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770324A (zh) * 2008-12-31 2010-07-07 商泰软件(上海)有限公司 一种实现三维图形界面互动式操作的方法
WO2011003171A1 (en) * 2009-07-08 2011-01-13 Smart Technologies Ulc Three-dimensional widget manipulation on a multi-touch panel

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JASON L.REISMAN,PHILIP L.DAVIDSON,JEFFERSON Y.HAN: "A screen-space formulation for 2D and 3D direct manipulation", 《PROCEEDINGS OF THE 22ND ANNUAL ACM SYMPOSIUM ON USER INTERFACE SOFTWARE AND TECHNOLOGY》, 1 January 2009 (2009-01-01) *
MIN-HO KYUNG,MYUNG-SOO KIM,SUNG JE HONG: "A New Approach to Through-the-Lens Camera Control", 《GRAPHICAL MODELS AND IMAGE PROCESSING》, vol. 58, no. 3, 1 May 1996 (1996-05-01) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109863467A (zh) * 2016-10-21 2019-06-07 惠普发展公司有限责任合伙企业 虚拟现实输入
CN109863467B (zh) * 2016-10-21 2022-01-25 惠普发展公司，有限责任合伙企业 虚拟现实输入的系统、方法和存储介质
CN107092359A (zh) * 2017-04-24 2017-08-25 北京小米移动软件有限公司 虚拟现实视角重定位方法、装置及终端

Also Published As

Publication number Publication date
US9632677B2 (en) 2017-04-25
EP2681649A1 (en) 2014-01-08
JP6436628B2 (ja) 2018-12-12
JP2014511534A (ja) 2014-05-15
US20120223936A1 (en) 2012-09-06
WO2012118572A1 (en) 2012-09-07
EP2681649B1 (en) 2019-05-22

Similar Documents

Publication Publication Date Title
CN103403662A (zh) 利用多输入界面导航3-d环境的系统和方法
KR102219912B1 (ko) 원격 호버 터치 시스템 및 방법
US20210335034A1 (en) Multi-modal method for interacting with 3d models
US10642345B2 (en) Avionics maintenance training
US10514801B2 (en) Hover-based user-interactions with virtual objects within immersive environments
Benko et al. Balloon selection: A multi-finger technique for accurate low-fatigue 3d selection
EP3881171B1 (en) Computer system and method for navigating building information model views
US20140075370A1 (en) Dockable Tool Framework for Interaction with Large Scale Wall Displays
Telkenaroglu et al. Dual-finger 3d interaction techniques for mobile devices
US10529145B2 (en) Touch gestures for navigation and interacting with content in a three-dimensional space
Pietroszek et al. Smartcasting: a discount 3D interaction technique for public displays
KR101735442B1 (ko) 표시장치에서 객체의 오리엔테이션을 조작하기 위한 장치 및 방법
CN109716276A (zh) 访问三维模型中视觉上被遮挡的元素的系统和方法
CN113680065A (zh) 一种游戏中的地图处理方法和装置
Plasson et al. A lens-based extension of raycasting for accurate selection in dense 3d environments
JP5767371B1 (ja) 仮想空間平面上に配置したオブジェクトを表示制御するゲーム・プログラム
KR102392675B1 (ko) 3차원 스케치를 위한 인터페이싱 방법 및 장치
US9082223B2 (en) Smooth manipulation of three-dimensional objects
JP2016016319A (ja) 仮想空間平面上に配置したオブジェクトを表示制御するゲーム・プログラム
CN116071492A (zh) 一种三维模型生成方法、装置、计算机设备及存储介质
Veit et al. CrOS: a touch screen interaction technique for cursor manipulation on 2-manifolds
Hachet et al. Camera viewpoint control with the interaction table
CN115485734A (zh) 绘制三维草图的接口方法及装置
Barange et al. Tabletop Interactive Camera Control
SEABRA et al. Designing the 3D GUI of a virtual reality tool for teaching descriptive geometry

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20131120