CN107077197B - 3d可视化图 - Google Patents

3d可视化图 Download PDF

Info

Publication number
CN107077197B
CN107077197B CN201480082772.2A CN201480082772A CN107077197B CN 107077197 B CN107077197 B CN 107077197B CN 201480082772 A CN201480082772 A CN 201480082772A CN 107077197 B CN107077197 B CN 107077197B
Authority
CN
China
Prior art keywords
user
visualization
computing device
data
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480082772.2A
Other languages
English (en)
Other versions
CN107077197A (zh
Inventor
格雷戈里·威廉姆·库克
奇·品·斯奥
魏吉尚
米特拉·万金普拉姆
纳尔逊·L·尚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN107077197A publication Critical patent/CN107077197A/zh
Application granted granted Critical
Publication of CN107077197B publication Critical patent/CN107077197B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

根据本公开的一种实施方式提供一种示例系统。该系统包括：显示至少一个三维(3D)可视化图的3D显示器；包括多点触摸显示器和多个传感器的辅助计算设备；以及通过使用来自多个传感器的数据来执行用户的行为分析的行为分析引擎。行为分析引擎用于：确定用户的注意力投入水平，并且确定用户的关于辅助计算设备的姿态。该系统进一步包括：意图分析引擎，用于基于用户注意力投入水平和用户姿态来确定用户的关于至少一个3D可视化图的意图；以及交互模式引擎，用于基于识别的用户意图来自动地将系统调整到交互模式。

Description

3D可视化图
背景技术
交互设备和系统现今继续扮演重要的角色。这些设备和系统中的一些可以显示三维(“3D”)虚拟对象(也称作3D可视化图(visualization))。组织和个人在各种区域中并且对于不同的应用有规则地使用不同类型的交互设备和系统。
附图说明
图1是根据本公开的实施方式的示例交互系统的示意性图示。
图2示出了根据本公开的实施方式的示出用于操作交互系统的方法的示例的流程图。
图3示出了根据本公开的示例实施方式的示出用于确定用户的注意力投入水平的方法的示例的流程图。
图4示出了根据本公开的示例实施方式的示出用于确定用户的关于计算设备的姿态的方法的示例的流程图。
图5示出了根据本公开的示例实施方式的选择单个3D可视化图的动作的示例。
图6示出了根据本公开的示例实施方式的选择多个3D可视化图的动作的示例。
图7和图8示出了根据本公开的示例实施方式的选择3D可视化图的范围的动作的示例。
图9和图10示出了根据本公开的示例实施方式的创建3D可视化图的轮廓并限定3D可视化图的体积的动作的示例。
图11示出了根据本公开的示例实施方式的测量与3D可视化图有关的特性的动作的示例。
图12示出了根据本公开的示例实施方式的将3D可视化图切片的动作的示例。
图13和图14分别示出了根据本公开的示例实施方式的存储3D可视化图的动作和调取3D可视化图的动作的示例。
图15是示出了根据本公开的实施方式的计算机可读介质的示例框图。
具体实施方式
如上面指出的，随着最近的技术改进，交互设备和系统(即，可以显示可视对象并且允许用户交互的设备和系统)在所有产业中变得越来越流行。交互设备和系统具有不同尺寸、形式，并且可以包括不同的技术特征。不同的用户信赖不同类型的交互设备或系统来用于许多日常的活动和工作有关的任务。如在本文使用的，术语“用户”指的是任何类型的个人、组织、群组、商户或者可能需要操作交互设备或系统或与交互设备或系统进行通信的任何其他方。
由于各种电子设备的激增，交互系统的技术能力连续地改变和提高。这些设备和系统中的一些可以能够显示3D可视化图(也称作虚拟对象)。如在本文使用的，术语“3D可视化图”和“虚拟对象”将被可交换地使用并且指的是可以被显示和观看的任何类型的3D图像或3D成形。在一些示例中，这些3D可视化图可以包括以交互式形式表示的不同类型的数据。结果是，这些交互设备和系统可以被组织、商户或个人用户广泛地使用。
关于可用的3D交互设备和系统的一个问题是它们可能无法给用户提供与3D可视化图进行通信或交互的准确且有效的方式。在一些情形中，用于操作这些系统并且与3D虚拟对象连接的现有系统和技术是复杂且麻烦的。例如，交互系统可以使用在与3D虚拟对象交互时难以操作的常规的输入源(例如，鼠标、键盘等)。此外，现有系统不能自动地适应于用户的行为，并且可能花费很长时间来在不同的交互模式之间切换。如在本文使用的，术语“交互模式”指的是用于在交互系统中操作或操纵3D对象的不同的方法，包括但不限于：导航、选择、指向、过滤、缩放、存储、定量测量、询问、历史路径、注释等。例如，交互模式可以限定交互系统应该关于与由系统显示的3D对象交互而预期和执行的命令。
由于在以上描述的阻碍，操作这样的系统并且与3D对象交互的学习曲线可以显著地延长，并且这使这些系统对于用户而言较不理想，另外，使用按钮或其他开关来改变交互模式花费时间、努力，并且使系统的操作慢下来。因此，期望用于与3D可视化图交互的改善的3D系统和技术。这些系统可以适应于用户的行为和意图并且可以提供更透明且直观的方式以用于在3D空间中导航并且在这些虚拟空间中操纵3D对象。这将增加对这样的交互系统的效力、效率和用户满意度。
本说明书涉及一种改善的解决方案，其自动地适应于用户的行为，并且，因此允许与3D可视化图的更好且更高效的交互。在一个示例中，系统可以包括显示3D虚拟对象的3D显示器、具有触摸面板(例如，多点触摸显示器)的计算设备(例如，平板电脑)以及连接到计算设备的多个传感器。如在本文使用的，术语“计算设备”指的是各种个人计算机、打印机、智能电话、可穿戴的电子设备、显示屏、平板电脑、个人数据助理(PDA)、膝上型计算机、服务器以及包括处理器、显示器和多个传感器的其他类似的电子设备中的任何一个。
在一个示例中，系统的处理器可以：确定系统的用户的注意力投入水平，确定用户的关于计算设备的姿态(即，用户的手如何握住计算设备)，并且基于用户的注意力投入水平和用户的姿态来确定用户的关于3D虚拟对象的意图。处理器然后可以基于识别的用户意图将系统转变到交互模式。此外，处理器可以基于识别的用户手势和选择的交互模式执行关于至少一个3D虚拟对象的动作(例如，选择、数据测量等)。
因而，所提出的系统中的元件的组合可以允许系统评估用户的意图(即，未来行为)，基于意图导航到合适的交互模式，并执行期望的动作以操纵3D可视化图。系统可以适应于用户的行为并且可以根据当前使用情境来切换其交互模式，而不需要使用在不同的交互模式之间切换的按钮。
3D显示器与计算设备、多点触摸面板、多个传感器和用户的手势的运动结合而创建数字与虚拟世界之间的无缝环境，并且实现自然交互。所提出的系统实现与3D可视化图交互的直观方式。物理3D交互空间直接地被映射至立体3D虚拟世界。
在以下详细描述中，对附图进行参考，附图形成本文的一部分，并且其中通过图示来示出可以实践所公开的主题的特定示例。将会理解的是，可以利用其他示例，并且可以在不背离本公开的范围的情况下进行结构或逻辑改变。因此，不以限制性意义进行以下详细描述，并且由所附权利要求来限定本公开的范围。此外，将会理解的是，在本文使用的措辞和术语是为了描述的目的并且不应该被认为进行限制。在本文“包括”、“包含”或“具有”及其变化的使用意味着包含此后列出的项及其等同物以及附加项。此外，如在本文所使用的术语“基于”意指“至少部分地基于”。也应注意，多个基于硬件和软件的设备以及多个不同的结构组件可以用于实施所公开的方法和设备。
现在参考各图，图1是示例交互系统5的示意性图示。所图示的系统5能够执行如下所述的技术。如图1中所示，系统5被描绘为包括3D显示器10(例如，立体显示器)和辅助计算设备15。
3D显示器10可以显示能够包括任何类型的3D对象(例如，数据、文本、媒体等)的至少一个3D可视化图(未示出)。在一个示例中，可以在3D显示器10的物理表面或屏幕(未示出)上示出3D对象。在另一个示例中，3D对象可以浮动出现在3D显示器10的周围(例如，在前面、在背面、在上面、在侧面等)所限定的3D空间(未示出)中。
在一种实施方式中，计算设备15可以是便携式计算设备(例如，平板电脑、膝上型计算机、智能电话、个人数字助理(PDA)等)。在一些示例中，系统5可以涉及多个用户，其中每个用户“带来”单独的计算设备用于同时或单独与3D显示器10交互。
计算设备15可以包括至少一个处理器30、存储器35、多个引擎39-42、输入接口45、通信接口50、多个传感器56和多点触摸显示面板58。在另一种实施方式中，计算设备15可以是个人计算机、多合一计算设备、游戏控制台、服务器、可视播放机、电子记事本、多个分布式计算设备或者包括处理器、多个传感器和多点触摸显示器的任何其它适当的计算设备。在计算设备15不是便携式设备的实施方式中，多个传感器(例如，惯性传感器)可以附接到系统5的用户的手。
在其他的示例中，在不背离允许执行在本文描述的功能的系统的范围的情况下，计算设备15可以包括附加的组件，并且可以移除和/或修改在其中描绘的组件中的一些。将会理解的是，在一些实施方式中，涉及该说明书的被描述为由计算设备15的处理器30执行的操作可以由3D显示器10中的处理器、外部处理器(未示出)来执行或者被分布在计算设备15与其他电子设备/计算设备(未示出)之间。
如以下更加详细地解释的，计算设备15可以包括被配置为实现计算设备15的功能并允许其执行如下所述的技术并且与一个或多个系统或设备交互的软件、硬件或者其适当的组合。计算设备15可以包括用于与其他设备/系统和/或与网络(未示出)连接的通信接口(例如，
Figure BDA0001272359510000042
接口、
Figure BDA0001272359510000041
接口、3G接口、4G接口、近场通信(NFC)接口等)。网络可以包括任何适当的类型或配置的网络以允许计算设备15、3D显示器10和任何其他设备/系统(例如，其他计算设备、显示器等)之间的通信。
计算设备15的处理器30(例如，中央处理单元、分布式处理器的组、微处理器、微控制器、专用集成电路(ASIC)、图形处理器、多处理器、虚拟处理机、云处理系统或者另一适当的控制器或可编程设备)、存储器35、引擎39-42、输入接口45、通信接口50、多个传感器56和多点触摸显示面板58可以操作地联接到总线55。处理器30可以是适合于调取和执行存储在机器可读存储介质37中的指令。处理器30能够包括一个芯片上的单个核或多个核、跨多个芯片的多个核、跨多个设备的多个核或者其组合。处理器30可以包括至少一个控制器33并且可以使用至少一个处理器执行存储在存储器35中的计算机可读指令的任何适当类型的处理系统来实施。
通信接口50可以允许计算设备15与多个网络、通信链路和外部设备进行通信。输入接口45可以从与计算设备15进行通信的设备/系统接收信息。在一个示例中，输入接口45至少包括可以从任何外部设备或系统接收数据的数据接口60。
存储器35可以包括任何适当类型、数量和配置的易失性或非暂时性机器可读存储介质37以存储指令和数据。存储器35中的机器可读存储介质37的示例包括只读存储器(“ROM”)、随机存取存储器(“RAM”)(例如，动态RAM[“DRAM”]、同步DRAM[“SDRAM”]等)、电可擦可编程只读存储器(“EEPROM”)、磁阻随机存取存储器(MRAM)、忆阻器、闪速存储器、SD卡、软盘、只读存储型光盘(CD-ROM)、数字视频光盘只读存储器(DVD-ROM)以及可以存储软件的其它适当的磁性、光学、物理或者电子存储器。存储器35也可以用于在由处理器30执行指令期间存储临时变量或其他中间信息。
计算设备15可以包括各个引擎39-42。引擎39-42中的每个例如可以包括包含用于实施如下所述的功能的电子电路(诸如控制逻辑和/或存储器)的至少一个硬件设备。另外或作为替代，引擎39-42可以被实施为硬件和软件的任何组合以实施引擎的功能。例如，硬件可以是处理器，并且软件可以是在机器可读存储介质上编码并且可由处理器执行的一系列指令或微码。因此，如在本文所使用的，引擎可以包括例如计算机可执行指令的程序代码、硬件、固件和/或逻辑或者其组合以执行在本文关于图2-图15更详细地描述的特定动作、任务和功能。
行为分析引擎39可以通过使用来自多个传感器56的数据来执行用户的行为分析。例如，行为分析引擎39可以从传感器56接收数据并且处理数据以评估用户的行为。在一个示例中，行为分析引擎39可以确定用户的注意力投入水平(即，用户如何占用系统5的元件)和用户的关于辅助计算设备15的姿态(即，用户的手如何握住设备15)。如以下更加详细地解释的，来自行为分析引擎39的结果可以用于确定系统5的交互模式(即，系统应该期望什么命令以及此刻应该执行什么动作)。
在一个示例中，意图分析引擎40可以基于用户的注意力投入水平和用户的姿态来确定用户的关于至少一个3D可视化图的意图。例如，根据由行为分析引擎39检测到的用户的行为，系统可以确定什么是用户的关于3D对象的意图(例如，用户将要探索对象，选择对象，测量距离等)。交互模式引擎41可以基于识别的用户意图自动地将系统5调整到交互模式。例如，系统5可以适于用户的预测行为(例如，调整视点、设置等)。
可视化图动作引擎42可以基于选择的交互模式和检测到的用户手势来实施关于至少一个3D可视化图的动作(例如，选择、导航等)。在一个示例中，系统可以辨识通过手势所提供的用户输入，并且可以基于手势和先前选择的交互模式来执行特定动作。
多个传感器56可以包括限定计算设备15周围的手势交互空间(未示出)的不同类型的传感器。在一个示例中，传感器可以包括位于计算设备15上的至少一个光学深度传感器(例如，立体声相关器、结构光、飞行时间技术等)以用于从设备15周围的环境扫描或收集信息。光学深度传感器可以协助辨识计算设备的位置并且识别用户的各种手势。在一些实施方式中(例如，当设备15太薄并且不能容纳传感器时)，系统5可以包括可附接到计算设备15的可移除的套(jacket)(未示出)以包括光学深度传感器。可移除的套可以具有与计算设备15合适的任何形式或尺寸。
另外，系统5可以包括位于计算设备15上的至少一个无源光学传感器(例如，照相机等)以用于从设备15周围的环境扫描或收集信息。无源光学传感器可以提供用户的视觉反馈(例如，眼睛、头部检测等)。系统5还可以包括位于计算设备15上的多个惯性传感器(例如，加速度计、陀螺传感器、磁力计等)，其可以(例如通过设备15的定向/角度)辨识计算设备的移动和位置以及用户的手位置。
显示面板58可以是LCD(液晶显示器)、OLED(有机发光二极管显示器)或另一种类型的显示器。在一个示例中，显示器58可以是能够由用户通过简单的手势或多点触摸手势所控制的多点触摸显示器。显示器58可以包括可以用于检测触敏显示器上的触摸的任何适当的触敏显示技术。在一些实施方式中，显示器58可以包括附接到计算设备15的顶面并且覆盖多点触摸显示器的棱镜膜(例如，用于裸眼式操作)和偏振膜(与无源光学镜片一起使用)中的至少一个。在一些示例中，可以将膜添加到计算设备15的套。使棱镜膜或偏振膜位于显示器58上可以允许用户在计算设备15上观看3D可视化图并且将这些3D可视化图移动到3D显示器10。
图2示出了示出用于操作交互系统的方法100的示例的流程图。尽管以下参考系统5来描述方法100的执行，但用于执行方法100的组件可以散布在多个设备之中。可以以存储在诸如存储介质37的机器可读存储介质上的可执行指令的形式和/或电子电路的形式来实施方法100。
在一个示例中，方法100能够由计算设备15的处理器30执行。在其他的示例中，该方法可以由3D显示器10上的处理器或者与系统5进行通信的另一处理器执行。关于方法100在本文描述的各种要素或框能够同时地、并行地或以不同于所图示的执行的串行方式的次序被执行。方法100也能够使用与所图示的示例中示出的相比附加的或较少的要素被执行。
方法100开始于110，其中处理器30可以确定系统5的用户的注意力投入水平。在一个示例中，注意力投入水平可以是指示用户的关于系统5的元件的投入的实数。
图3示出了示出用于确定用户的注意力投入水平的方法200的示例的流程图。在一个示例中，方法200能够由计算设备15的处理器30执行。可选地，用于执行方法200的组件可以散布在多个设备之中。
方法200开始于210，其中处理器30可以通过使用来自光学深度传感器和无源光学传感器中的至少一个的数据来执行用户的面部分析。例如，基于接收的数据，处理器可以识别用户的脸的位置、定向等。在220，处理器可以通过使用至少来自无源光学传感器的数据来执行用户的眼睛注视分析。例如，基于接收的数据，处理器可以识别用户的眼睛的位置、定向等。因而，系统5可以使用来自光学深度传感器和/或无源光学传感器的数据以分析用户的脸和眼睛注视，使得系统5了解用户如何查看系统的元件。
接下来，处理器30可以通过使用至少来自无源光学传感器的数据来执行用户的投入评估以确定用户是否专注于系统5(在230)。可以对来自该传感器和其他传感器的数据进行分析以确认用户占用系统5的元件(即，3D显示器、计算设备、3D对象等)。在240，处理器30通过使用至少来自多个惯性传感器、无源光学传感器和光学深度传感器的数据来执行用户的专注分析以确定用户是否专注于辅助计算设备以及触摸面板/显示器是否被占用(例如通过分析来自显示器的输入)。例如，系统5分析来自这些传感器的数据以确定用户是否查看计算设备15以及设备15是否未被广泛地放弃(即，其可以指示用户可以不专注于设备)。
继续参考图2，处理器30可以确定用户的关于计算设备的姿态(在120)。在一个示例中，用户的姿态可以指示用户的手如何握住系统5的计算设备15。
图4示出了示出用于确定用户的关于计算设备15的姿态的方法300的示例的流程图。在一个示例中，方法300能够由计算设备15的处理器30执行。可选地，用于执行方法200的组件可以散布在多个设备之中。
方法300开始于310，其中处理器可以评估至少来自多个惯性传感器的数据以识别用户的空闲的手的数量。例如，处理器可以关于稳定性阈值而分析接收的数据以识别被辅助计算设备15占据的用户手的数量(例如，一只或两只手)。在320，处理器30可以评估至少来自多个惯性传感器、无源光学传感器、光学深度传感器和触摸面板的数据以检测计算设备的移动和用户的手的移动。例如，处理器可以关于附近阈值而分析接收的数据以确定什么是设备15的当前移动(例如，是被握住的设备、是位于表面上的设备等)以及用户的手(例如，一只手握住设备15、另一只手指向3D对象、两只手都握住设备15等)。
在330，处理器30可以评估至少来自光学深度传感器、触摸面板和多个惯性传感器的数据以提取包括至少用户专注分析数据和用户手位置的多个特征。在一个示例中，用户专注分析数据可以是在方法200的框240识别的数据(即，用户是否专注于计算设备15以及触摸面板是否被占用)。此外，用户手位置可以基于来自光学深度传感器和触摸面板58的数据来识别用户的特定手位置(例如，拳头、指向、“ok”标记、扁平手等)。
接下来，在340，处理器可以基于用户的空闲的手的数量(或空闲的手的数量)、计算设备的移动、用户的手的移动、用户的专注分析数据和用户的手位置来将用户的关于计算设备的姿态分类。例如，处理器使用可用数据以识别用户如何握住设备15(例如，通过两只手握住、通过一只手在边缘握住、通过一只手在底部握住、不握住设备，并且两只手都空闲等)。
继续参考图2，处理器可以基于用户的注意力投入水平和用户的姿态来确定用户的关于3D虚拟对象的意图(在130)。在一个示例中，基于用户的行为(即，关于系统5的投入的水平以及关于设备15的姿态)，处理器30可以确定什么是用户的关于3D对象的意图(例如，用户意图选择对象、观看对象等)。
接下来，在140，处理器可以基于识别的用户意图来自动地将系统转变到交互模式。在一个示例中，处理器可以基于用户意图来自动地将系统5调整到特定交互模式。通过该方式，系统5可以迅速地适应于用户的预测行为，这使得系统自我直觉并且对用户更具吸引力。
系统5可以实施与由系统显示的3D对象有关的各种交互模式：导航、选择、指向、过滤、缩放、存储、定量测量、询问、历史路径、注释等。交互模式的以下列表仅仅表示不同的模式的示例并且将不被视为能够由系统实施的所有交互模式的完整列表。
在一个示例中，处理器30可以将系统转变到以下交互模式之一：a)选择模式，通过使用计算设备15选择至少一个3D可视化图；b)导航模式，通过使用计算设备15导航至少一个3D可视化图；c)切片和详情模式，创建至少一个3D可视化图的虚拟切片平面以生成切片的可视化图；d)存储和调取模式，将至少一个3D可视化图存储在计算设备15上并且从计算设备15调取至少一个3D可视化图以用于将其显示在3D显示器10上；e)测量模式，测量至少一个3D可视化图的元素或多个3D可视化图之间的距离。
在处理器30基于识别的用户意图将系统5转变到交互模式之后，处理器可以基于识别的用户手势和选择的交互模式执行关于至少一个3D虚拟对象的动作。在一个示例中，处理器30可以辨识通过不同的手势所提供的用户输入，并且可以基于手势和先前选择的交互模式来执行关于3D对象的特定动作(例如，将3D对象的一部分切片、指向对象等)。
图5示出了在系统5中选择单个3D可视化图405的动作的示例。在一个示例中，图5示出了在3D显示器(未示出)上显示的3D可视化图405和用户的手407。当系统5处于选择交互模式(其在先前被处理器30选择)时，可视化图动作引擎42用于：检测用户的手407的指向手势412，检测食指与3D可视化图405之间的第一线408，检测拇指与3D可视化图405之间的第二线409，计算第一线408与第二线409之间的角度，并且选择3D可视化图405。在一些示例中，线408与409之间的角度可以是发散角、零角或者收敛角。
线408与409之间的发散角和零角可以意指从拇指起的线409和从食指起的线408可能永远不会交叉，并且，因此用户可能没有意图选择3D对象405。那样的话，处理器30可能无法选择3D对象405。如果线408与409之间的角度是收敛角，则这可以意指在两条线之间存在交叉点(假定它们处于同一平面中)。在那种情况下，处理器30可以选择3D对象405以进行进一步动作。与所选择的交互模式结合的该自然手势使拇指尖与食指尖之间的空隙逐渐地变窄，这增加收敛角并且缩短选择点的深度。
图6示出了选择在3D显示器(未示出)上显示的多个3D可视化图405A-C的动作的示例。当系统5处于选择交互模式(其在先前被处理器30选择)时，可视化图动作引擎42用于：检测用户的手407的指向手势413，检测手指在空间中的移动414(例如，套索移动等)、将多个3D可视化图405A-C连接的移动，并且选择多个3D可视化图405A-C。因此，因为用户专注于3D显示器10并且系统5已经处于选择交互模式，所以处理器30“预期”来自用户的选择动作并且能够容易地识别用户的多个对象选择动作。
图7和图8示出了选择3D可视化图的范围的动作的示例。在所图示的示例中，计算设备15可以位于表面(未示出)上，使得用户的两只手407都是空闲的。用户能够看见3D显示器10(未示出)上的3D可视化图(未示出)。当系统5处于选择交互模式(其在先前被处理器30选择)时，可视化图动作引擎42用于：检测用于限定或创建3D虚拟对象417(例如，球体、边界框等)的用户的手407的限定手势415/416(分别在图7和图8中示出)，并且选择3D可视化图的范围或者虚拟对象417内的一个3D对象的区域。
在一个示例中，虚拟对象417反映用户的手407之间的距离。用户的手之间的距离可以对应于被选择的3D可视化图的区域或范围。因此，因为用户专注于3D显示器10并且系统5已经处于选择交互模式，所以处理器30“预期”来自用户的选择动作并且能够容易地识别用户的过滤动作。
图9和图10示出了创建3D可视化图的轮廓并限定3D可视化图的体积的动作的示例。在一个示例中，可视化图动作引擎42可以基于用户的至少一个手势在多点触摸显示器上创建3D可视化图的轮廓。当系统5处于选择交互模式(其在先前被处理器30选择)时，可视化图动作引擎42用于：检测设备15的多点触摸显示器58上的用于创建3D可视化图的轮廓413的用户的手407的绘制手势418(见图9)，检测用户的手407的向上垂直移动手势419(见图10)，并且在3D空间中扩展3D可视化图的轮廓413以限定3D可视化图的体积。因此，当用户专注于计算设备15(即，用一只手将其握住并且具有一个可用的手)并且系统5已经处于选择交互模式时，用户能够绘制轮廓413并且使用向上手势来限定轮廓的3D范围或体积。
图11示出了测量与3D可视化图405有关的特性的动作的示例。在一些实施方式中，系统可以测量3D可视化图的元素或多个3D可视化图之间的距离。在一个示例中，当系统5处于测量交互模式(其在先前被处理器30选择)时，可视化图动作引擎42用于检测第一手势(未示出)以选择3D可视化图405。这可以是用户的手407的一个手势(例如，用用户的手的不同的手指指向多个3D对象)或多个连续的手势(例如，利用食指有选择地指向多个3D对象)。可视化图动作引擎42进一步检测用于创建用于在选择3D对象的集之后比较虚拟空间中的3D可视化图的参考平面420的第二手势422，并且计算3D可视化图的测量值。在一种实施方式中，可以基于3D对象之间的距离425、对象的形式等来计算3D可视化图的测量值。
在一个示例中，用户可以应用手势来测量与3D对象405的总体积、3D对象405之间的距离、3D对象之间的角度有关的特性，或者测量与3D可视化图405有关的任何其他特性。因此，所提出的系统5允许直接在三维空间中进行3D可视化图的测量。系统确定3D对象的位置，基于用户的行为切换到测量交互模式，检测用户的关于期望的测量的手势，并且成功地测量3D对象的期望的特性。在初始测量之后，用户可以使用附加的手势来标记3D对象的虚拟位置以用于进一步比较和测量。
图12示出了根据本公开的示例实施方式的将3D可视化图405切片的动作的示例。在一个示例中，当系统5处于片和详情交互模式(其在先前被处理器30选择)时，可视化图动作引擎42用于检测用于将3D可视化图405切片的手势427。这可以是用户的手407的一个切片手势或多个连续的切片手势。可视化图动作引擎42进一步创建至少一个3D可视化图的虚拟切片平面430以创建切片的可视化图435。
例如，处理器30可以使用算法来找出所选择的3D可视化图的构架，并且因此，用户可以沿着3D可视化图的轴将该部分切片以获取细节(例如，当3D可视化图表示数据时的特定数据)。在其他的示例中，用户可以是专注于3D显示器15并且可以具有两只可用的手。在该情形中，用户能够使用两个手势来限定自定义轴。此外，用户能够使用限定用于将3D对象切片的范围的两个手势，诸如图7和图8中的手势。
图13和图14分别示出了存储3D可视化图的动作和调取3D可视化图的动作的示例。图13和图14示出3D可视化图405、用户的手407、3D显示器10以及计算设备15。参考图13，在一个示例中，当系统5处于存储和调取模式(其在先前被处理器30选择)时，可视化图动作引擎42用于：检测在3D空间中选择3D可视化图405的第一手势443，并且检测将3D可视化图移动到多点触摸显示器58的第二手势445。可视化图动作引擎42进一步将3D可视化图405保存到设备15以便存储3D可视化图405。存储的3D可视化图405可以容易地被用户访问和/或传递。
参考图14，在另一个示例中，当系统5处于存储和调取模式(其在先前被处理器30选择)时，可视化图动作引擎42用于：检测用于在辅助计算设备15的显示器58上选择3D可视化图的轮廓450的第一手势(未示出)，检测用于从辅助设备15移动3D可视化图的第二手势455，并且将3D可视化图传递到3D空间中。
图15示出了根据示例的计算机501和非暂时性机器可读介质505。在一个示例中，计算机501可能类似于系统5的计算设备15或可以包括多个计算机。例如，计算机可以是服务器计算机、工作站计算机、台式计算机、膝上型计算机、移动设备等，并且可以是分布式系统的一部分。计算机可以包括一个或多个控制器和一个或多个机器可读存储介质。在一个示例中，计算机可以包括用户接口(例如，触摸接口、鼠标、键盘、手势输入设备等)。
计算机501可以执行方法100、200、300及其变化。可选地，通过计算机501实施的功能可以是较大的软件平台、系统、应用等的一部分。计算机501可以经由网络连接到数据库(未示出)。网络可以是任何类型的通信网络，包括但不限于基于布线的网络(例如，电缆)、无线网络(例如，蜂窝网、卫星)、蜂窝远程通信网和基于IP的远程通信网(例如，互连网协议语音网络)。网络还可以包括传统的陆地线或公用交换电话网(PSTN)或者前述的组合。
计算机501可以包括处理器503和非暂时性机器可读存储介质505。处理器503可以类似于计算设备15的处理器30，并且非暂时性机器可读存储介质505可以类似于设备15的机器可读存储介质37。存储在非暂时性机器可读存储介质505上并且由处理器503执行的软件包括例如固件、应用、程序数据、滤波器、规则、程序模块和其他可执行指令。处理器503从机器可读存储介质505调取并且除了其他方面执行与控制进程有关的指令和在本文描述的方法。
处理器503可以取出、解码并执行指令507-513等等以实施各种处理。作为对调取和执行指令的替代或补充，处理器503可以包括用于执行指令507-513的功能的许多电子组件的至少一个集成电路(IC)、其他控制逻辑、其他电子电路或者其组合。因此，可以跨多个处理单元而实施处理器503，并且可以通过计算机501的不同的区域中的不同的处理单元来实施指令507-513。
当指令507-513由处理器503(例如，经由处理器的一个处理元件或多个处理元件)执行时能够使处理器503执行进程，例如方法100-300和/或其变化和部分。在其他的示例中，这些和其它方法的执行可以分布在处理器503和与处理器503进行通信的其他处理器之间。
例如，行为分析指令507可以使处理器503执行与系统5类似的显示3D对象的系统的用户的行为分析。这些指令可以类似于在方法100的框110和120中描述并且更详细地在方法200和300中描述的技术而起作用。例如，行为分析指令507可以使处理器503确定用户的注意力投入水平，并且确定用户的关于计算机501的姿态。
意图分析指令509可以使处理器503基于用户的注意力投入水平和用户的姿态执行用户的关于3D可视化图的意图分析。这些指令可以类似于所描述的方法100的框130的技术而起作用。例如，基于识别的用户的行为(即，关于系统5的投入的水平以及关于计算设备的姿态)，意图分析指令509可以使处理器503确定什么是用户的关于3D对象的意图(例如，用户意图选择对象、观看对象等)。
交互模式指令511可以使处理器503基于识别的用户意图自动地将系统调整到交互模式。这些指令可以类似于方法100和方法300的框140所描述的技术而起作用。例如，交互模式指令511可以使处理器503基于识别的用户意图将系统转变到交互模式。在一个示例中，处理器可以基于用户意图来自动地将系统调整到特定交互模式。
可视化图动作指令513可以使处理器503基于选择的交互模式和检测到的用户手势实施关于3D可视化图的动作。在一个示例中，可视化图动作指令513可以使处理器503基于手势和先前选择的交互模式来辨识通过不同的手势所提供的用户输入并执行关于3D对象的动作(例如，选择3D对象、测量与3D对象有关的特性等)。
在以上描述中，阐述了许多细节以提供对在本文公开的主题的理解。然而，可以在没有这些细节中的一些或所有的情况下实行实施方式。其他实施方式可以包括从以上讨论的细节进行的修改和变化。所附权利要求意图覆盖这些修改和变化。

Claims (11)

1.一种交互系统，包括：
显示至少一个三维(3D)可视化图的3D显示器；
包括多点触摸显示器和多个传感器的辅助计算设备；
通过使用来自所述多个传感器的数据来执行用户的行为分析的行为分析引擎，所述行为分析引擎用于：
确定所述用户的注意力投入水平，以及
确定所述用户的关于所述辅助计算设备的姿态；
意图分析引擎，用于基于所述用户的注意力投入水平和所述用户的姿态来确定所述用户的关于所述至少一个3D可视化图的意图；
交互模式引擎，用于基于识别的用户意图自动地将所述系统调整到多个交互模式中的一个；以及
可视化图动作引擎，用于基于选择的交互模式和检测到的用户手势来实施关于所述至少一个3D可视化图的动作，
其中，所述行为分析引擎用于通过以下操作来确定所述用户的注意力投入水平：
通过使用来自光学深度传感器和无源光学传感器中的至少一个的数据来执行所述用户的面部分析；
通过使用至少来自所述无源光学传感器的数据来执行所述用户的眼睛注视分析；
通过使用至少来自所述无源光学传感器的数据来执行所述用户的投入评估，以确定所述用户是否专注于所述系统；以及
通过使用至少来自多个惯性传感器、所述无源光学传感器和所述光学深度传感器的数据来执行所述用户的专注分析，以确定所述用户是否专注于所述辅助计算设备以及所述多点触摸显示器是否被占用。
2.根据权利要求1所述的系统，其中，所述行为分析引擎进一步用于：
分析至少来自所述多个惯性传感器的数据以识别被所述辅助计算设备占用的用户手的数量；
分析至少来自所述多个惯性传感器、所述无源光学传感器、所述光学深度传感器和所述多点触摸显示器的数据，以检测所述辅助计算设备的移动和所述用户的手的移动；
分析至少来自所述光学深度传感器、所述多点触摸显示器和所述多个惯性传感器的数据，以提取包括至少用户专注分析数据和用户手位置的多个特征；以及
基于被占用的用户手、所述辅助计算设备的移动、所述用户的手的移动、所述用户的专注分析数据和所述用户的手位置将所述用户的关于所述辅助计算设备的姿态分类。
3.根据权利要求1所述的系统，其中，所述多个交互模式包括以下中的至少两个：
通过使用所述计算设备选择至少一个3D可视化图的选择模式；
通过使用所述计算设备导航所述至少一个3D可视化图的导航模式；
创建所述至少一个3D可视化图的虚拟切片平面以生成切片的可视化图的切片和详情模式；
将至少一个3D可视化图存储在所述计算设备上并且从所述计算设备调取至少一个3D可视化图以将所述至少一个3D可视化图显示在所述3D显示器上的存储和调取模式；以及
测量至少一个3D可视化图的元素或多个3D可视化图之间的距离的测量模式。
4.根据权利要求3所述的系统，其中，所述动作用于：
当所述系统处于选择模式时，选择单个3D可视化图，并且所述可视化图动作引擎用于：检测指向手势，检测食指与3D可视化图之间的第一线，检测拇指与所述3D可视化图之间的第二线，并且计算所述第一线与所述第二线之间的角度；以及
当所述系统处于选择模式时，选择多个3D可视化图，并且所述可视化图动作引擎用于：检测指向手势，检测手指在空间中的移动，所述移动连接多个3D可视化图。
5.根据权利要求3所述的系统，其中，所述动作用于：
当所述系统处于选择模式时，在所述多点触摸显示器上创建3D可视化图的轮廓并且限定3D可视化图的体积，并且所述可视化图动作引擎用于：检测所述多点触摸显示器上的用于创建所述3D可视化图的所述轮廓的绘制手势，检测向上垂直移动手势，在3D空间中扩展所述3D可视化图的轮廓以限定所述3D可视化图的体积。
6.根据权利要求3所述的系统，其中，所述动作用于：
当所述系统处于测量模式时，测量与3D可视化图有关的特性，并且所述可视化图动作引擎用于：检测选择所述3D可视化图的手势，检测创建用于比较所述3D可视化图的参考平面的手势，计算所述3D可视化图的测量值。
7.根据权利要求3所述的系统，其中，所述动作用于：
当所述系统处于存储和调取模式时，存储3D可视化图，并且所述可视化图动作引擎用于：检测在3D空间中选择所述3D可视化图的第一手势，检测将所述3D可视化图移动到所述多点触摸显示器的第二手势，将所述3D可视化图保存到所述辅助计算设备；以及
当所述系统处于存储和调取模式时，调取3D可视化图，并且所述可视化图动作引擎用于：检测在所述辅助计算设备上选择所述3D可视化图的轮廓的第三手势，检测从所述辅助计算设备移动所述3D可视化图的第四手势，将所述3D可视化图传递到3D空间中。
8.根据权利要求1所述的系统，进一步包括：可附接到所述辅助计算设备的可移除的套以包括所述光学深度传感器；以及附接到所述多点触摸显示器的顶面的棱镜膜和偏振膜中的至少一个。
9.一种用于操作交互系统的方法，包括：由至少一个处理器：
确定包括显示3D虚拟对象的3D显示器、具有触摸面板的计算设备和连接到所述计算设备的多个传感器的系统的用户的注意力投入水平；
确定所述用户的关于所述计算设备的姿态；
基于所述用户的注意力投入水平和所述用户的姿态来确定所述用户的关于所述3D虚拟对象的意图；
基于识别的用户意图自动地将所述系统转变到多个交互模式中的一个；并且
基于识别的用户手势和选择的交互模式来执行关于至少一个3D虚拟对象的动作，
其中，确定所述用户的注意力投入水平包括：
通过使用来自光学深度传感器和无源光学传感器中的至少一个的数据来执行所述用户的面部分析；
通过使用至少来自所述无源光学传感器的数据来执行所述用户的眼睛注视分析；
通过使用至少来自所述无源光学传感器的数据来执行所述用户的投入评估，以确定所述用户是否专注于所述系统；以及
通过使用至少来自多个惯性传感器、所述无源光学传感器和所述光学深度传感器的数据来执行所述用户的专注分析，以确定所述用户是否专注于所述计算设备以及所述触摸面板是否被占用。
10.根据权利要求9所述的方法，其中，确定所述用户的关于所述计算设备的姿态包括：
评估至少来自所述多个惯性传感器的数据以识别所述用户的空闲的手的数量；
评估至少来自所述多个惯性传感器、所述无源光学传感器、所述光学深度传感器和所述触摸面板的数据，以检测所述计算设备的移动和所述用户的手的移动；
评估至少来自所述光学深度传感器、所述触摸面板和所述多个惯性传感器的数据，以提取包括至少用户专注分析数据和用户手位置的多个特征；以及
基于所述用户的空闲的手的数量、所述计算设备的移动、所述用户的手的移动、所述用户的专注分析数据和所述用户的手位置来将所述用户的关于所述计算设备的姿态分类。
11.一种用由至少一个处理器可执行的指令编码的非暂时性机器可读存储介质，所述机器可读存储介质包括指令以用于：
通过使用来自多个传感器的数据执行包括显示3D可视化图的3D显示器、具有多点触摸显示器的计算设备和连接到所述计算设备的所述多个传感器的系统的用户的行为分析，所述行为分析用于：
确定所述用户的注意力投入水平，以及
确定所述用户的关于所述计算设备的姿态；
基于所述用户的注意力投入水平和所述用户的姿态来执行所述用户的关于所述3D可视化图的意图分析；
基于识别的用户意图自动地将所述系统调整到多个交互模式中的一个；以及
基于选择的交互模式和检测到的用户手势来实施关于所述3D可视化图的动作,
其中所述行为分析用于通过以下操作来确定所述用户的注意力投入水平：
通过使用来自光学深度传感器和无源光学传感器中的至少一个的数据来执行所述用户的面部分析；
通过使用至少来自所述无源光学传感器的数据来执行所述用户的眼睛注视分析；
通过使用至少来自所述无源光学传感器的数据来执行所述用户的投入评估，以确定所述用户是否专注于所述系统；以及
通过使用至少来自多个惯性传感器、所述无源光学传感器和所述光学深度传感器的数据来执行所述用户的专注分析，以确定所述用户是否专注于所述计算设备以及所述多点触摸显示器是否被占用。
CN201480082772.2A 2014-12-19 2014-12-19 3d可视化图 Expired - Fee Related CN107077197B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/071575 WO2016099556A1 (en) 2014-12-19 2014-12-19 3d visualization

Publications (2)

Publication Number Publication Date
CN107077197A CN107077197A (zh) 2017-08-18
CN107077197B true CN107077197B (zh) 2020-09-01

Family

ID=56127187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480082772.2A Expired - Fee Related CN107077197B (zh) 2014-12-19 2014-12-19 3d可视化图

Country Status (5)

Country Link
US (1) US10275113B2 (zh)
EP (1) EP3234732B1 (zh)
CN (1) CN107077197B (zh)
TW (1) TWI579734B (zh)
WO (1) WO2016099556A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10665020B2 (en) * 2016-02-15 2020-05-26 Meta View, Inc. Apparatuses, methods and systems for tethering 3-D virtual elements to digital content
US10567449B2 (en) 2016-02-17 2020-02-18 Meta View, Inc. Apparatuses, methods and systems for sharing virtual elements
CN107024981B (zh) * 2016-10-26 2020-03-20 阿里巴巴集团控股有限公司 基于虚拟现实的交互方法及装置
JPWO2020105606A1 (ja) * 2018-11-21 2021-09-30 ソニーグループ株式会社 表示制御装置、表示装置、表示制御方法及びプログラム
CN109934116B (zh) * 2019-02-19 2020-11-24 华南理工大学 一种基于生成对抗机制与注意力机制的标准人脸生成方法
US11086406B1 (en) 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
US11189099B2 (en) * 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US10802600B1 (en) * 2019-09-20 2020-10-13 Facebook Technologies, Llc Virtual interactions at a distance
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
JP2021057769A (ja) * 2019-09-30 2021-04-08 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置、画像表示システム、および画像圧縮方法
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101548258A (zh) * 2007-01-17 2009-09-30 索尼电脑娱乐公司 用于测量用户对内容的注意力水平的方法和系统
CN103443742A (zh) * 2010-12-16 2013-12-11 西门子公司 用于凝视和姿势接口的系统和方法
WO2014106219A1 (en) * 2012-12-31 2014-07-03 Burachas Giedrius Tomas User centric interface for interaction with visual display that recognizes user intentions
CN104205034A (zh) * 2012-03-29 2014-12-10 英特尔公司 使用手势创建三维图形

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8149210B2 (en) 2007-12-31 2012-04-03 Microsoft International Holdings B.V. Pointing device and method
US8477139B2 (en) 2008-06-09 2013-07-02 Apple Inc. Touch screen device, method, and graphical user interface for manipulating three-dimensional virtual objects
US10198854B2 (en) 2009-08-14 2019-02-05 Microsoft Technology Licensing, Llc Manipulation of 3-dimensional graphical objects for view in a multi-touch display
US9542010B2 (en) * 2009-09-15 2017-01-10 Palo Alto Research Center Incorporated System for interacting with objects in a virtual environment
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
WO2011071929A2 (en) 2009-12-07 2011-06-16 Photon-X, Inc. 3d visualization system
US20120066648A1 (en) 2010-09-14 2012-03-15 Xerox Corporation Move and turn touch screen interface for manipulating objects in a 3d scene
WO2012040827A2 (en) 2010-10-01 2012-04-05 Smart Technologies Ulc Interactive input system having a 3d input space
EP3654146A1 (en) 2011-03-29 2020-05-20 QUALCOMM Incorporated Anchoring virtual images to real world surfaces in augmented reality systems
KR101893356B1 (ko) * 2011-07-12 2018-10-05 삼성디스플레이 주식회사 유기 발광 표시 장치 및 유기 발광 표시 장치 제조 방법
US8581901B2 (en) 2011-07-28 2013-11-12 Adobe Systems Incorporated Methods and apparatus for interactive rotation of 3D objects using multitouch gestures
CN102769802A (zh) * 2012-06-11 2012-11-07 西安交通大学 一种智能电视机的人机交互系统及其交互方法
KR101984683B1 (ko) 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
US20140145936A1 (en) 2012-11-29 2014-05-29 Konica Minolta Laboratory U.S.A., Inc. Method and system for 3d gesture behavior recognition
US9083960B2 (en) 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
CN205496630U (zh) * 2013-04-19 2016-08-24 米沃奇电动工具公司 磁力钻床
TWI547626B (zh) 2013-05-31 2016-09-01 原相科技股份有限公司 具有手勢感測器的裝置
US20140365333A1 (en) 2013-06-07 2014-12-11 Bby Solutions, Inc. Retail store customer natural-gesture interaction with animated 3d images using sensor array
CN203630717U (zh) * 2013-11-25 2014-06-04 恒德数字舞美科技有限公司 基于轻型惯导传感输入设备的交互系统
DE202014103215U1 (de) * 2014-07-11 2014-09-30 Christian Stroetmann Elektronisches, visuelles Gerät, das eine flexible beziehungsweise biegbare Vorrichtung zur optischen Signalisierung von veränderlichen Informationen, ein flexibles beziehungsweise biegbares Gehäuse mit mindestens einem Gelenk/Scharnier und ein Regel-/Steuerungssystem besitzt

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101548258A (zh) * 2007-01-17 2009-09-30 索尼电脑娱乐公司 用于测量用户对内容的注意力水平的方法和系统
CN103443742A (zh) * 2010-12-16 2013-12-11 西门子公司 用于凝视和姿势接口的系统和方法
CN104205034A (zh) * 2012-03-29 2014-12-10 英特尔公司 使用手势创建三维图形
WO2014106219A1 (en) * 2012-12-31 2014-07-03 Burachas Giedrius Tomas User centric interface for interaction with visual display that recognizes user intentions

Also Published As

Publication number Publication date
TWI579734B (zh) 2017-04-21
US20180335925A1 (en) 2018-11-22
WO2016099556A1 (en) 2016-06-23
EP3234732A4 (en) 2018-07-25
EP3234732B1 (en) 2021-11-24
CN107077197A (zh) 2017-08-18
TW201633066A (zh) 2016-09-16
US10275113B2 (en) 2019-04-30
EP3234732A1 (en) 2017-10-25

Similar Documents

Publication Publication Date Title
CN107077197B (zh) 3d可视化图
US10379733B2 (en) Causing display of a three dimensional graphical user interface with dynamic selectability of items
US10359905B2 (en) Collaboration with 3D data visualizations
US10019074B2 (en) Touchless input
CN103309605B (zh) 信息处理装置和信息处理方法
US8860675B2 (en) Drawing aid system for multi-touch devices
US20120176322A1 (en) Systems and methods to present multiple frames on a touch screen
US20150193040A1 (en) Hover Angle
US20180018084A1 (en) Display device, display method and computer-readable recording medium
KR20140046557A (ko) 다점 입력 인식 방법 및 그 단말
TW201525849A (zh) 多邊形手勢偵測及互動方法、裝置及電腦程式產品
US9971490B2 (en) Device control
CN109933190B (zh) 一种头戴显示设备及其交互方法
US20170315615A1 (en) Gesture library
US10809794B2 (en) 3D navigation mode
JP2014109888A (ja) 入力装置およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200901