CN102221886A - 通过化身与用户界面交互 - Google Patents

通过化身与用户界面交互 Download PDF

Info

Publication number
CN102221886A
CN102221886A CN2011101683257A CN201110168325A CN102221886A CN 102221886 A CN102221886 A CN 102221886A CN 2011101683257 A CN2011101683257 A CN 2011101683257A CN 201110168325 A CN201110168325 A CN 201110168325A CN 102221886 A CN102221886 A CN 102221886A
Authority
CN
China
Prior art keywords
incarnation
people
user interface
image
limbs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011101683257A
Other languages
English (en)
Inventor
J·埃弗特
J·蒂亚奎罗
D·本纳特
D·万斯
D·加洛韦
R·马尔科维奇
S·拉塔
O·O·G·桑托斯
K·盖斯那
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102221886A publication Critical patent/CN102221886A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了关于通过由化身提供的反馈来与用户界面进行交互的实施例。一个实施例提供了一种方法，包括接收深度数据、在深度数据中定位人、以及将人之前的物理空间映射成显示设备的屏幕空间。所述方法还包括形成代表该人的化身的图像、将包括交互式用户界面控件的用户界面的图像输出到显示器、以及将化身的图像输出到显示设备使得化身面向所述用户界面控件。所述方法还包括通过所述深度数据检测人的动作、形成化身根据人的动作与用户界面控件进行交互的动画呈现、以及输出化身与用户界面控件进行交互的动画呈现。

Description

通过化身与用户界面交互
技术领域
本发明涉及计算机技术，更具体地，涉及用户界面交互技术。
背景技术
计算机系统越来越多地被配置成接受来自自然用户界面(NUI)的输入，自然用户界面允许用户通过自然、本能的动作来与计算机系统交互。例如，计算系统可被配置成接受由诸如深度传感相机之类的相机所检测的用户动作形式的用户输入。分析来自相机的图像以在图像中定位人，并在时间上追踪那些人的动作。随后可使用滤波器来确定所检测的动作是否是被认可的用户输入。
发明内容
此处揭示了关于通过由呈现在显示器上的化身所提供的反馈来与自然用户界面进行交互的各实施例。例如，一个公开的实施例提供了一种呈现用户界面的方法，其中所述方法包括接收来自深度传感相机的深度数据、在深度数据中定位人、以及将人之前的物理空间映射为显示设备的屏幕空间。所述方法还包括形成代表该人的化身的图像、将包括交互式用户界面控件的用户界面的图像输出到显示设备、以及将化身的图像输出到所述显示设备使得化身看上去面向所述用户界面控件。所述方法还包括通过所述深度数据检测人的动作、形成根据人的动作化身与用户界面控件进行交互的动画呈现、以及将所述化身与用户界面控件进行交互的动画呈现输出到所述显示器。
提供本发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的概念精选。本发明内容并不旨在标识出所要求保护主题的关键特征或必要特征，也不旨在用于限定所要求保护主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。
附图说明
图1示出了包括作为输入设备的相机的计算系统的示例使用环境的实施例，并且还例示了正与根据本公开的用户界面的实施例进行交互的人。
图2示出计算系统的一实施例的框图。
图3例示出两个玩家中的一个正与根据本公开的用户界面的另一实施例进行交互。
图4例示出两个玩家中的另一个正与根据图3的用户界面实施例进行交互。
图5示出了描绘呈现用户界面的方法的实施例的流程图。
图6示出了根据本公开的实施例的用户界面化身对人的肢体的动作的响应的示意性描述。
具体实施方式
对于计算系统来说，在使用深度传感相机来检测基于姿势的输入的一个难题可涉及与呈现在显示器上的用户界面的交互。用户界面可包括可由用户选择的各种控件，这些控件可使计算系统执行动作。在传统图形用户界面的情况下，一个人可通过使用鼠标或其它光标控制设备将光标移动到控件上、通过使用触摸屏输入、或以其它这类不涉及用户界面控件和用户输入机制(光标、手指等)之间的空间上的模糊的方式来选择用户界面控件。
然而，当使用深度传感相机来检测基于姿势的输入时，当将人作出的动作映射到用户界面上的光标的移动时，可能会存在一些空间上的模糊。例如，人的手臂的长度、人的高度、人的朝向、人与相机的距离等等都可能影响对相机所见的人的动作的感知。因此，可能难以用对应于人的意图的方式将人的肢体的动作映射到光标相对于用户界面控件的移动。
克服这类将玩家动作映射成光标动作的难题的一种可能的解决方案可以是将用户动作校正至光标动作。例如，计算设备可要求用户作一规定动作(例如，将你的手臂从屏幕左下方移动到屏幕的右上方)，并随后将检测到的人的手臂的动作范围校正至显示设备的屏幕。当人改变位置和/或相对屏幕的朝向时，可追踪人的动作以更新从相机所感知的动作到屏幕空间的映射。
然而，这种校正步骤可能是耗时的，并且在使用会话(例如，视频游戏或其它交互式娱乐体验)期间用户随时间可能进入和离开计算设备的动态环境中这种校正步骤可能是被打断的。因此，此处公开了关于呈现用户界面的实施例，其中代表当前正使用计算系统的人的化身与用户界面一起被显示。人的动作由化身的动作所代表，使得化身的动作示出了计算系统是如何感知用户的动作。人可观察化身如何响应于用户动作而移动，并因此可调整他或她的动作来实现想要的与用户界面的交互。以此方式，校正可被避免，因为人可被训练以通过观察化身的动作来调整期望的用户界面交互与实际用户界面交互之间的差异。这可有助于增强有效的用户界面交互方法。此外，在一些被配置为同时由多个用户所使用的实施例中，可呈现每个用户的化身，其中当前正控制用户界面的一人或多人的化身可被可视地从当前未控制用户界面的人的化身中区分开来。这些特征中的每一个将在下文中更详细描述。
图1例示出示例计算系统100和用户界面102的实施例。计算系统100包括计算设备104(例如，视频游戏控制台、台式或膝上型计算机、或其它适当设备)、其上显示用户界面102的显示器106(例如，电视机、监视器等等)、以及被配置成检测用户输入的输入设备108。
如以下将更详细描述的，输入设备108可包括被配置成向计算设备104提供输入数据的各种传感器。可被包含在输入设备106中的传感器的示例包括但不限于深度传感相机、摄像机、和/或诸如定向麦克风阵列的定向音频输入设备。在包括深度传感相机的实施例中，计算设备102可被配置成在从深度传感相机跟踪中获取的图像数据中定位人，并跟踪所标识的人的动作来标识被认可的姿势。姿势输入、语音输入和/或其组合可被用于与运行在计算设备102上的应用进行交互。例如，当计算设备102是执行交互式娱乐应用的视频游戏控制台时，用户可通过由输入设备106上的深度传感器所检测的姿势来控制显示在显示器106上的角色的动作。
此外，用户还可通过姿势与显示在显示器106上的用户界面上的交互式控件进行交互。图1显示了包括示例交互式控件110的交互式控件阵列的示意性呈现。这种交互式用户界面控件可包括例如可被用户交互所改变的两个或多个状态的图形元素。在许多用户界面中，这种控件是通过由诸如鼠标、追踪球、手持运动传感器等光标控制设备控制的光标之类来操纵的。然而，如上所述的，当用户输入是通过经由深度传感相机检测的用户动作所作出时可能会遇到困难，因为由相机所感知的用户动作可能根据用户尺寸、位置、相对于输入设备108的朝向以及其它因素而变化。
因此，为了协助用户与用户界面元素进行交互，并且也为了帮助用户学习计算设备104是如何理解用户界面交互姿势的，用户界面包括一个被显示为面向用户界面控件的化身120。化身120的动作追踪当前正使用系统的人(“用户”)122的动作，使得用户可移动肢体来引起化身的肢体相对于用户界面控件的运动。这为用户122提供了关于化身的肢体运动如何响应于用户的肢体运动的反馈，并因此可能有助于用户与用户界面的交互，因为用户能够调整动作来获得想要的化身移动，以下将详细描述。在描绘的实施例中，化身被显示为面向化身所代表的人。然而，在其它实施例中，化身可面向任何其它适当的方向。
化身120的肢体还可被配置成当靠近用户界面元素(例如用户界面元素110)时改变配置，以指示用户122可执行与用户界面元素的交互。例如，当足够靠近用户界面元素而能与用户界面元素交互时，化身120的手可改变颜色、位置等。在一个更具体的实施例中，化身120的手可覆盖用户界面元素以指示与用户界面元素的交互被启用。
化身122可具有任何适当的外观。例如，在一些实施例中，化身122可以是如通过输入设备108检测的用户的真实图像，而在另一些实施例中，化身122可具有艺术化的非真实外观。当化身122具有艺术化的非真实外观时，化身的外观可源自输入设备108检测的用户的图像，可以基于存储在与用户相关联的档案中的化身，或者可以以任何其它方式确定。
在更具体讨论这种用户界面的呈现之前，结合图2描述计算系统环境200的示例实施例。计算系统环境200将计算设备104显示为客户机计算设备1。计算系统环境200还包括显示器106和输入设备108，以及计算设备104通过网络204连接的娱乐服务器202。此外，连接到网络的其他客户机计算设备被显示在206和208作为任何数量n个其它客户机计算设备。以此方式，计算设备104可运行本地地存储的应用，可运行在娱乐服务器202上访问的应用，和/或可与其它客户机设备206、208交互。可以理解的是图2的实施例仅为了示例的目的而呈现，可使用任何其它合适的计算系统环境，包括非联网环境。
计算设备104被示出为包括逻辑子系统210和数据保持子系统212。逻辑子系统210可以包括被配置成执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统可以被配置成执行一个或多个指令，该一个或多个指令是一个或多个程序、例程、对象、组件、数据结构或其它逻辑构造的一部分。可以实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其它方式得到所需结果。逻辑子系统可以包括被配置为执行软件指令的一个或多个处理器。附加地或可替代地，逻辑子系统可包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统可以任选地包括分布在两个或多个设备上的独立组件，这些独立组件在某些实施例中可远程放置。
数据保持子系统212可以包括一个或多个物理的设备，该设备可以是非瞬态的，并被配置为保持可由逻辑子系统执行以实现此处所述的方法和过程的数据和/或指令。在实现了此类方法和过程时，可以变换数据保持子系统212的状态(例如，保持不同数据)。数据保持子系统212可以包括可移动介质和/或内置设备。除此之外，数据保持子系统212还可以包括光学存储器设备、半导体存储器设备、和/或磁存储器设备。数据保持子系统212可以包括具有以下一个或多个特性的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中，可以将逻辑子系统210和数据保持子系统212集成到一个或多个常见设备中，如专用集成电路或片上系统。图2还示出使用计算机可读可移动介质214形式的数据保持子系统212的一方面，该方面可以用于存储和/或传送可执行以实现此处所述的方法和过程的数据和/或指令。可以理解的是，娱乐服务器202和其它客户机设备206、208也可包括如此处所描述的逻辑和数据保持子系统。
显示器106可被用于呈现由数据保存子系统212保存的数据的可视表示。由于此处所描述的方法和过程改变了由数据保持子系统212保持的数据，并由此变换数据保持子系统212的状态，因此可以同样变换显示器204的状态以视觉地表示底层数据中的改变。显示器204可包括利用几乎任何类型的技术的一个或多个显示设备。可将该显示设备与逻辑子系统210和/或数据保存子系统212组合在共享封装中，或如图1所示，该显示设备可以是计算设备104的外围设备。
描绘的输入设备108包括诸如深度传感相机之类的深度传感器220、诸如摄影机之类的图像传感器222、以及定向麦克风阵列224。从深度传感器220接收的输入允许计算设备104在深度传感器220的视野范围内定位任何人，并且还在时间上跟踪任何这些人的动作。图像传感器222可被配置成捕捉与深度传感器220相同的视野或重叠的视野内的可视图像，并且定向麦克风阵列224允许确定将要接收到语音输入的方向并因此可与深度数据和/或视频数据结合使用来确定其语音输入被接收的用户。
可以理解的是图2中示出的特定传感器仅为示例的目的而出现，并不意在以任何方式进行限制，因为任何其它适当的传感器可被包含在输入设备106中。此外，虽然附图将深度传感器220、图像传感器222、以及定向麦克风阵列224示出为包含在共同的外壳中，但可以理解的是这些组件的一个或多个可以位于与其它组件物理地分开的外壳中。
简单地回到图1，描述了单个用户在输入设备108前面。然而，在一些实施例中，两个或更多用户可参与到与计算设备102进行的多用户交互式体验。当在这种情况下使用用户界面时，对于在任何时刻，哪个玩家具有对用户界面的控制可能存在一些不清楚。为了有助于避免这种不清楚，在一些实施例中，输入设备108的视野中的每个用户可在用户界面上用不同的化身来表示。此外，正在控制的一人或多人的化身可以可视地与其它化身区分开来，使得不会有关于哪个或哪些用户能够与用户界面进行交互方面的不清楚。
图3和4描绘了用户界面300的实施例，用户界面300适用于同时由两个或更多用户所使用，并且还描绘了两个用户302、304站在输入设备108前面。首先关于图3，用户302被描绘为正在控制用户界面。因此，代表用户302的化身306被显示为处于交互式姿势，其中化身306的肢体伸向用户界面的交互式元素。相反，代表用户304的化身308被显示为处于非交互式姿势，其中化身308的肢体不伸向用户界面的交互式元素。可以理解的是，代表正控制用户界面的用户的化身可以以任何适当的方式区分于代表不控制用户界面的一个或多个用户。例如，代表正控制用户界面的用户的化身可以被描绘为与代表不控制用户界面的一个或多个用户的一个或多个化身相比较大、较不透明、不同地朝向、采用不同的颜色等等。
计算系统102可以任何适当的方式确定哪个用户在控制用户界面300。例如，计算系统102将各种试探法应用于从一个或多个输入设备接收的深度数据、图像数据、语音数据和/或其它输入数据来确定用户的意图以假设对用户界面300的控制。如一个更具体的示例，计算系统102可将用户将肢体伸向输入设备108的姿势理解为表明想要控制用户界面300的意图。这在图4中是通过用户304伸出肢体，而用户302的肢体与图3中用户302的姿势相比是收回的而被描绘。作为响应，代表用户304的化身308被显示为肢体伸向用户界面元素，而代表用户302的化身306被显示为肢体未伸向用户界面元素。虽然描绘的实施例显示的是两个与用户界面进行交互的用户，可以理解的是，根据本公开，三个或更多用户可以类似方式与用户界面进行交互。
图5显示了用于呈现计算设备的用户界面的方法500的实施例。方法500首先包括，在502，接收深度数据，以及在504，在深度数据中定位人。如在506所示，在一些实施例中，可在深度数据中定位多个人。接着，如在508所示，方法500包括将人之前的物理空间(或，当定位了多个人时，将每个人之前的物理空间，或被确定为正控制用户界面的人之前的物理空间)映射到其上呈现了用户界面的显示设备的屏幕。
将人的物理空间映射到显示屏幕空间使得人的一个或多个肢体的移动能够被转换成用户界面上的化身的对应肢体的移动。人的物理空间可以任意适当的方式来映射。例如，可首先通过如510所示的骨架追踪来根据深度数据估计人的肢体的长度。这可涉及对高度、朝向、位置、离深度传感相机的距离、人相对于深度传感相机的角度、头和肩膀的位置、以及其它这类关于人的参量的确定。接着，在512，可根据所估计的人的肢体的长度来估计从深度传感相机的视角来看人的肢体的运动的可能范围的区域。随后，人的肢体的运动的可能范围可被映射到显示屏幕。可以理解的是，上述用于将人的物理空间映射到显示空间的方法仅作为示例的目的而呈现，并不意图以任何方式进行限制。可以进一步理解的是，术语“映射到显示屏幕”及其类似指的是将用户的身体之前的物理空间映射到显示设备的分辨率的像素阵列。
继续图5，方法500接下来包括在514形成将显示在用户界面上的化身的图像。如上所述，化身图像可对应于如可视图像传感器(例如，摄像机或照相机)所检测到的人的真实图像，或者可对应于人的艺术化呈现，例如通过存储在用户档案中的化身文件来呈现。形成化身的图像可包括通过将用户的手的位置转换为化身的手的位置来确定化身的手应该放在关于用户界面的何处，转换可通过将用户的物理空间映射到显示屏幕空间来实现。形成化身的图像还可包括将摆放代表化身的身体的骨架模型的姿势，将通过关于视野深度的效果、模糊(聚焦模糊或运动模糊)、阿尔法透明度、色彩强度来呈现模型，以及其它这类步骤。
当在深度数据中检测到多人，方法500可包括在516确定哪个人正表明控制用户界面的意图。这一意图可以任何适当的方式来确定，方式包括但不限于，通过对用户的肢体姿势的分析(例如，肢体伸向屏幕)、用户到屏幕的距离(例如，哪个人最靠近屏幕)、对语音命令的分析(例如，检测请求控制用户界面的语音命令、使用定向音频信息来确定其命令被接收的人)、和/或使用任意其它适当的信息。接着，在518，方法500可包括形成包括多个化身的图像，其中代表正在控制用户界面的人的化身可视地与代表不在控制用户界面的人的化身区分开来。代表正在控制用户界面的人的化身可以任何适当的方式可视地与其它化身区分开来，方式包括但不限于，尺寸、姿势、颜色、透明度、模糊、显示屏幕上相对于用户界面和其它化身的位置等等。
继续图5，方法500包括，在520，将包含交互式控件的用户界面的图像输出到显示器，以及在522，输出面向用户界面控件的化身的图像(例如，通过将化身的图像重叠在用户界面的图像的上方或下方)。如在524所示，可呈现化身的图像，使其向外朝向该化身所代表的人。化身和用户界面元素的透明度和/或其它图像属性可被调节以创建想要的关于化身和用户界面元素的相对位置的视觉效果。化身图像可直接朝向用户界面，或者可与用户的朝向相匹配(例如，如果用户并没有直接面向深度传感相机)。在其它实施例中，从用户的视角来看，化身的图像可被放置在用户界面之前，使得化身面向远离用户的方向。此外，诸如模糊之类的各种视觉效果可被应用于化身的图像来促进用户界面的显示供用户理解。在任一情形下，需要注意的是，化身图像可以不是用户的直接呈现(即，直接反映化身在哪面向用户)，取而代之地，可以在位置、朝向等方面被修改以便更好地呈现化身与用户界面之间的交互。
接着，方法500包括，在526，检测正控制用户界面的人的动作。动作可以是人的肢体的动作，如在528所示，或者任何其它适当的动作。可以通过基于从深度传感相机接收的深度数据的骨架追踪技术，或者以任何其它适当的方式来确定动作。接着，在530，方法500包括形成化身基于人的动作与用户界面控件进行交互的动画呈现，以及在532，输出化身与用户界面控件进行交互的动画呈现。术语“进行交互”可表示化身相对于用户界面控件移动(例如，相对于用户界面控件更近了或更远了)、化身进入或离开其中化身可操纵用户界面控件的交互开启状态、或者用户界面上的任何其它适当的动作或行动。如一更具体的示例，当化身的手触摸到用户界面控件，手可在形状(例如，抓住用户界面控件、或者伸出一根或多根手指来按下配置为按钮的用户界面控件)、颜色、亮度、尺寸方面、或其它任何适当的形式发生改变。
类似地，化身的动画呈现可以任何适当的方式生成。例如，可利用反运动学(inverse kinematics)基于化身的手的位置的映射来确定化身的肢体的形状，所述映射基于由骨架追踪确定的用户的手的位置。
在一些实施例中，如在534所示，化身的肢体的动作在其接近用户界面元素时可偏向用户界面元素。通过将化身的动作引向交互式元素，这可以有助于用户界面的使用。这个的一个示例被示意性示出在图6中，其中用户的手600的线性水平移动引起化身的手602沿相同的大致水平的方向的动作。然而，当化身的手接近用户界面元素604时，化身的手602的移动可被偏向用户界面元素而偏离用户的手600的水平方向。可以理解，图6中示出的具体实施例是出于示例的目的而呈现的，并且不旨在以任何方式进行限制。
回到图5，在多个人可能与用户界面交互的实施例中，方法500可包括，在536，检测被配置成改变正在控制用户界面的人的用户输入。任何适当的方式可被配置成引起这一改变，包括基于姿势的输入(例如，用户将肢体伸向用户界面、向用户界面跨近等)，和/或与深度传感相机的视野中的用户相关联的经由定向音频数据的语音输入。响应于这一输入，方法500包括，在538，改变哪一个化身被可视地区分于其它化身，以反映出控制用户界面的人的改变。如上所述，这一改变可包括改变化身图像的尺寸、姿势、颜色、透明度、模糊、或其它任何合适的图像属性。可以理解的是，两个或更多化身可同时与用户界面交互。在这种情况下，所有当前激活的化身可通过可视地表示化身可与用户界面进行交互的方式来显示。
上述实施例可有助于促进通过由深度传感相机所检测的姿势来控制的用户界面的使用，并且还可有助于增强用户姿势行为，这可导致成功的用户界面导航。应该理解，此处所述的配置和/或方法是出于示例的目的而呈现的，且这些具体实施例不是局限性的，因为多个变体是可能。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示顺序执行、按其他顺序执行、并行地执行、或者在某些情况下省略。同样，可以改变上述过程的次序。
本发明的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合、和此处所公开的其它特征、功能、动作、和/或特性、以及其任何和全部等效物。

Claims (15)

1.在计算设备中，一种用于呈现用户界面的方法(500)，所述方法包括：
从深度传感相机接收深度数据(502)；
在深度数据中定位人(504)；
将人之前的物理空间映射成显示设备的屏幕空间(506)；
形成代表人的化身的图像(514)；
将用户界面的图像输出到所述显示设备(520)，用户界面包含交互式用户界面控件；
将化身的图像输出到所述显示设备(522)使得化身看上去面向所述用户界面控件；
通过深度数据检测人的运动(526)；
形成化身根据人的运动与用户界面控件交互的动画呈现(530)；以及
将化身与用户界面控件交互的动画呈现输出到显示器(532)。
2.如权利要求1所述的方法，其特征在于，输出化身的图像包括输出化身的图像使得化身看上去面向人。
3.如权利要求1所述的方法，其特征在于，检测人的运动包括检测人的肢体的运动，并且其中形成化身的动画呈现包括形成化身的肢体相对于用户界面控件移动的动画呈现。
4.如权利要求3所述的方法，其特征在于，形成化身的肢体的动画呈现包括当化身的肢体变得靠近用户界面控件时，与人的肢体的运动相比，将化身的肢体的运动沿朝向用户界面控件的方向偏移。
5.如权利要求1所述的方法，其特征在于，映射人之前的物理空间包括：执行对人的骨架追踪、根据对人的骨架追踪确定人的朝向和尺寸、以及随后确定从所述深度传感相机的视角来看人的肢体运动的估计的区域。
6.如权利要求1所述的方法，其特征在于，在深度数据中定位人包括在深度数据中定位多个人，以及确定多个人中被选择将控制用户界面的人，并且其中将化身的图像输出到显示设备包括输出多个化身的图像，使得代表被选择的人的被选择的化身可视地与代表其他人的其它化身区分开来。
7.如权利要求6所述的方法，其特征在于，被选择的化身通过图像的尺寸、位置、以及相对于其它化身的姿势中的一个或多个而可视地进行区分。
8.如权利要求6所述的方法，其特征在于，还包括检测被配置成使控制用户界面的人改变的输入，并且响应于该输入，改变哪一个化身可视地区分于其它化身。
9.如权利要求1所述的方法，其特征在于，所述化身的图像被配置成被显示为看上去位于用户界面控件之后并面向人。
10.一种计算设备(104)，包括：
逻辑子系统(212)；以及
数据保持子系统(210)，所述数据保持子系统(210)包含可由逻辑子系统(212)执行的指令以：
从深度传感相机接收深度数据(502)
在深度数据中定位人(504)；
将人之前的物理空间映射成显示设备的屏幕空间(508)，以形成对人之前的物理空间的映射；
形成代表人的化身的图像(514)
将用户界面的图像输出到所述显示设备(520)，用户界面包含交互式用户界面控件；
将化身的图像输出到所述显示设备(522)使得化身看上去面向所述显示设备之外并朝向人；
通过深度数据检测人的肢体的动作(526)；
形成化身的肢体根据人的动作和对人之前的物理空间的映射来移动的动画呈现(530)；
形成化身的肢体与用户界面控件交互的动画呈现(530)；以及
将化身与用户界面控件交互的动画呈现输出到显示器(532)。
11.如权利要求10所述的计算设备，其特征在于，指令可被执行以当化身的肢体变得靠近用户界面控件时，与人的肢体的运动相比，将化身的肢体的运动沿朝向用户界面控件的方向偏移。
12.如权利要求10所述的计算设备，其特征在于，人是在深度数据中所定位的多个人中被选择的人，并且其中代表被选择的人的化身的图像还包括代表在深度数据中所定位的其他人的多个其它化身。
13.如权利要求12所述的计算设备，其特征在于，指令可被执行以可视地将代表被选择的人的化身的图像通过图像的尺寸、位置、以及相对于其它化身的姿势中的一个或多个来与其它化身区分开来。
14.如权利要求12所述的计算设备，其特征在于，指令可被执行以检测被配置成使控制用户界面的人改变的输入，并且响应于该输入，改变哪一个化身可视地区分于其它化身。
15.如权利要求10所述的计算设备，其特征在于，指令可被执行以通过执行对人的骨架追踪、根据对人的骨架追踪确定人的朝向和尺寸、以及随后确定从所述深度传感相机的视角来看人的肢体运动的估计的区域来映射人之前的物理空间。
CN2011101683257A 2010-06-11 2011-06-10 通过化身与用户界面交互 Pending CN102221886A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/814,237 US8749557B2 (en) 2010-06-11 2010-06-11 Interacting with user interface via avatar
US12/814,237 2010-06-11

Publications (1)

Publication Number Publication Date
CN102221886A true CN102221886A (zh) 2011-10-19

Family

ID=44778451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101683257A Pending CN102221886A (zh) 2010-06-11 2011-06-10 通过化身与用户界面交互

Country Status (2)

Country Link
US (2) US8749557B2 (zh)
CN (1) CN102221886A (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103092399A (zh) * 2011-11-01 2013-05-08 索尼公司 信息处理设备，信息处理方法和程序
CN103294260A (zh) * 2012-04-02 2013-09-11 微软公司 触敏用户界面
CN103324291A (zh) * 2013-07-12 2013-09-25 安徽工业大学 获取人体感兴趣区域相对于屏幕窗口位置的方法
WO2013189058A1 (en) * 2012-06-21 2013-12-27 Microsoft Corporation Avatar construction using depth camera
WO2014139142A1 (en) * 2013-03-15 2014-09-18 Intel Corporation Scalable avatar messaging
CN104395857A (zh) * 2012-05-09 2015-03-04 英特尔公司 显示器的部分的基于眼球追踪的选择性强调
CN104516496A (zh) * 2013-10-04 2015-04-15 财团法人工业技术研究院 可调体感范围的多人指引系统与其方法
EP2595031A3 (en) * 2011-11-16 2016-01-06 Samsung Electronics Co., Ltd Display apparatus and control method thereof
CN105228286A (zh) * 2014-05-27 2016-01-06 欧普照明股份有限公司 一种非接触式人体控制的灯具控制系统及方法
CN105378625A (zh) * 2013-06-25 2016-03-02 微软技术许可有限责任公司 指示视野外的增强现实图像
CN105446623A (zh) * 2015-11-20 2016-03-30 广景视睿科技（深圳）有限公司 一种多互动投影的方法及系统
CN105579933A (zh) * 2013-06-11 2016-05-11 快步科技有限责任公司 表征与测量界面进行交互的感兴趣的对象的方法和实现所述方法的设备
CN106104633A (zh) * 2014-03-19 2016-11-09 英特尔公司 面部表情和/或交互驱动的化身装置和方法
CN106249875A (zh) * 2016-07-15 2016-12-21 深圳奥比中光科技有限公司 体感交互方法以及设备
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
CN106823374A (zh) * 2017-01-17 2017-06-13 河海大学 基于Android系统的Talking Avatar手游软件的构建方法
CN107145822A (zh) * 2017-03-24 2017-09-08 深圳奥比中光科技有限公司 偏离深度相机的用户体感交互标定的方法和系统
CN107533356A (zh) * 2015-03-09 2018-01-02 文塔纳3D有限责任公司 头像控制系统
US9886622B2 (en) 2013-03-14 2018-02-06 Intel Corporation Adaptive facial expression calibration
CN108536297A (zh) * 2018-03-29 2018-09-14 北京微播视界科技有限公司 用于多人的人机交互应用程序的实现方法和装置
CN110121690A (zh) * 2016-12-29 2019-08-13 纯深度有限公司 包括接近传感器和深度变化的界面元素的多层显示器和/或相关联的方法
CN110716634A (zh) * 2019-08-28 2020-01-21 北京市商汤科技开发有限公司 交互方法、装置、设备以及显示设备
CN111417443A (zh) * 2017-12-06 2020-07-14 环球城市电影有限责任公司 交互式视频游戏系统
WO2020186935A1 (zh) * 2019-03-20 2020-09-24 北京字节跳动网络技术有限公司 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质
CN112473121A (zh) * 2020-11-13 2021-03-12 海信视像科技股份有限公司 一种显示设备及基于肢体识别的躲避球显示方法
CN112673400A (zh) * 2018-07-04 2021-04-16 网络助手有限责任公司 化身动画
CN113383369A (zh) * 2019-02-06 2021-09-10 斯纳普公司 身体姿势估计
CN113950822A (zh) * 2019-06-04 2022-01-18 汤杰宝游戏公司 实体活动表面的虚拟化
TWI775135B (zh) * 2019-08-28 2022-08-21 大陸商北京市商湯科技開發有限公司 互動方法、裝置、設備以及記錄媒體
CN115097995A (zh) * 2022-06-23 2022-09-23 京东方科技集团股份有限公司 界面交互方法、界面交互装置以及计算机存储介质

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5559691B2 (ja) * 2007-09-24 2014-07-23 クアルコム，インコーポレイテッド 音声及びビデオ通信のための機能向上したインタフェース
US8584031B2 (en) 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
GB2474536B (en) 2009-10-13 2011-11-02 Pointgrab Ltd Computer vision gesture based control of a device
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US10357714B2 (en) 2009-10-27 2019-07-23 Harmonix Music Systems, Inc. Gesture-based user interface for navigating a menu
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
EP2421252A1 (en) * 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
US8497838B2 (en) * 2011-02-16 2013-07-30 Microsoft Corporation Push actuation of interface controls
JP5702653B2 (ja) * 2011-04-08 2015-04-15 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
KR101804848B1 (ko) * 2011-04-22 2017-12-06 삼성전자주식회사 비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법
KR101695638B1 (ko) * 2011-07-18 2017-01-13 한국전자통신연구원 인터렉티브 컨텐츠의 제어 방법 및 이를 이용한 사용자 인터페이스 장치
US9993190B2 (en) * 2011-08-16 2018-06-12 Intendu Ltd. System and method for neurocognitive training and/or neuropsychological assessment
US20140364239A1 (en) * 2011-12-20 2014-12-11 Icelero Inc Method and system for creating a virtual social and gaming experience
US9625993B2 (en) * 2012-01-11 2017-04-18 Biosense Webster (Israel) Ltd. Touch free operation of devices by use of depth sensors
CN103207745B (zh) * 2012-01-16 2016-04-13 上海那里信息科技有限公司 虚拟化身交互系统和方法
US9051127B2 (en) * 2012-04-03 2015-06-09 Scott Conroy Grain auger protection system
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
WO2013190538A1 (en) * 2012-06-20 2013-12-27 Pointgrab Ltd. Method for touchless control of a device
US20140018169A1 (en) * 2012-07-16 2014-01-16 Zhong Yuan Ran Self as Avatar Gaming with Video Projecting Device
KR102065687B1 (ko) * 2012-11-01 2020-02-11 아이캠, 엘엘씨 무선 손목 컴퓨팅과 3d 영상화, 매핑, 네트워킹 및 인터페이스를 위한 제어 장치 및 방법
US9368117B2 (en) * 2012-11-14 2016-06-14 Qualcomm Incorporated Device and system having smart directional conferencing
US9288471B1 (en) * 2013-02-28 2016-03-15 Amazon Technologies, Inc. Rotatable imaging assembly for providing multiple fields of view
ITPE20130004A1 (it) * 2013-03-05 2014-09-06 Blue Cinema Tv Sas Di Daniele Balda Cci & C Procedimento per la realizzazione di un¿interfaccia audiovisiva interattiva che riproduce esseri umani
US10220303B1 (en) * 2013-03-15 2019-03-05 Harmonix Music Systems, Inc. Gesture-based music game
US10068363B2 (en) * 2013-03-27 2018-09-04 Nokia Technologies Oy Image point of interest analyser with animation generator
WO2014189486A1 (en) * 2013-05-20 2014-11-27 Intel Corporation Natural human-computer interaction for virtual personal assistant systems
TW201500968A (zh) * 2013-06-21 2015-01-01 Utechzone Co Ltd 三維互動系統及其互動感測方法
US9662061B2 (en) * 2013-12-16 2017-05-30 International Business Machines Corporation Ultraviolet camera and display station for capturing reflected ultraviolet light
US9460340B2 (en) * 2014-01-31 2016-10-04 Google Inc. Self-initiated change of appearance for subjects in video and images
US9526983B2 (en) * 2014-06-04 2016-12-27 Chih-Feng Lin Virtual reality avatar traveling control system and virtual reality avatar traveling control method
KR102103939B1 (ko) * 2014-07-25 2020-04-24 인텔 코포레이션 머리 회전을 갖는 아바타 얼굴 표정 애니메이션
KR102214194B1 (ko) * 2014-08-19 2021-02-09 삼성전자 주식회사 Rf센서를 가진 디스플레이장치 및 디스플레이장치의 사용자 감지방법
US9607573B2 (en) * 2014-09-17 2017-03-28 International Business Machines Corporation Avatar motion modification
WO2016099563A1 (en) * 2014-12-19 2016-06-23 Hewlett Packard Enterprise Development Lp Collaboration with 3d data visualizations
US9671931B2 (en) * 2015-01-04 2017-06-06 Personify, Inc. Methods and systems for visually deemphasizing a displayed persona
US9715619B2 (en) 2015-03-14 2017-07-25 Microsoft Technology Licensing, Llc Facilitating aligning a user and camera for user authentication
JP6467039B2 (ja) * 2015-05-21 2019-02-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
US9744426B2 (en) * 2015-06-26 2017-08-29 Hon Hai Precision Industry Co., Ltd. Electronic device and method for controlling the electronic device
US10157487B2 (en) * 2015-07-30 2018-12-18 International Business Machines Corporation VR biometric integration
US9531862B1 (en) * 2015-09-04 2016-12-27 Vishal Vadodaria Contextual linking module with interactive intelligent agent for managing communications with contacts and navigation features
US10268491B2 (en) * 2015-09-04 2019-04-23 Vishal Vadodaria Intelli-voyage travel
US10178218B1 (en) * 2015-09-04 2019-01-08 Vishal Vadodaria Intelligent agent / personal virtual assistant with animated 3D persona, facial expressions, human gestures, body movements and mental states
US10445425B2 (en) 2015-09-15 2019-10-15 Apple Inc. Emoji and canned responses
CA2957105A1 (en) * 2016-02-03 2017-08-03 Op-Hygiene Ip Gmbh Interactive display device
US11580608B2 (en) 2016-06-12 2023-02-14 Apple Inc. Managing contact information for communication applications
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
KR102596477B1 (ko) 2016-09-23 2023-11-02 애플 인크. 아바타 생성 및 편집
CN107885316A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种基于手势的交互方法及装置
US10521948B2 (en) 2017-05-16 2019-12-31 Apple Inc. Emoji recording and sending
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
EP3447610B1 (en) * 2017-08-22 2021-03-31 ameria AG User readiness for touchless gesture-controlled display systems
US10521942B2 (en) * 2017-09-07 2019-12-31 Motorola Mobility Llc Low power virtual reality presence monitoring and notification
WO2019079790A1 (en) 2017-10-21 2019-04-25 Eyecam, Inc ADAPTIVE GRAPHIC USER INTERFACE SYSTEM
US10891685B2 (en) 2017-11-17 2021-01-12 Ebay Inc. Efficient rendering of 3D models using model placement metadata
TWI712985B (zh) * 2018-01-02 2020-12-11 元智大學 復健用骨架追蹤系統與方法
US10901687B2 (en) 2018-02-27 2021-01-26 Dish Network L.L.C. Apparatus, systems and methods for presenting content reviews in a virtual world
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK180078B1 (en) 2018-05-07 2020-03-31 Apple Inc. USER INTERFACE FOR AVATAR CREATION
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11538045B2 (en) 2018-09-28 2022-12-27 Dish Network L.L.C. Apparatus, systems and methods for determining a commentary rating
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11009964B2 (en) * 2019-06-06 2021-05-18 Finch Technologies Ltd. Length calibration for computer models of users to generate inputs for computer systems
US11144128B2 (en) * 2019-11-20 2021-10-12 Verizon Patent And Licensing Inc. Systems and methods for controlling video wall content using air gestures
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
DK181103B1 (en) 2020-05-11 2022-12-15 Apple Inc User interfaces related to time
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11450051B2 (en) * 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
US20230103161A1 (en) * 2021-09-24 2023-03-30 Apple Inc. Devices, methods, and graphical user interfaces for tracking mitigation in three-dimensional environments

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090027337A1 (en) * 2007-07-27 2009-01-29 Gesturetek, Inc. Enhanced camera-based input
US20090077504A1 (en) * 2007-09-14 2009-03-19 Matthew Bell Processing of Gesture-Based User Interactions

Family Cites Families (166)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
EP0590101B1 (en) 1991-12-03 1999-06-23 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5491743A (en) * 1994-05-24 1996-02-13 International Business Machines Corporation Virtual conference system and terminal apparatus therefor
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
WO1999044698A2 (en) 1998-03-03 1999-09-10 Arena, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
JP2000510013A (ja) 1996-05-08 2000-08-08 リアル ヴィジョン コーポレイション 位置検出を用いたリアルタイムシミュレーション
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
CN1168057C (zh) 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6252579B1 (en) * 1997-08-23 2001-06-26 Immersion Corporation Interface device and method for providing enhanced cursor control with force feedback
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6384819B1 (en) 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
AU1574899A (en) 1998-12-16 2000-07-03 3Dv Systems Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6697072B2 (en) 2001-03-26 2004-02-24 Intel Corporation Method and system for controlling an avatar using computer vision
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US7607509B2 (en) 2002-04-19 2009-10-27 Iee International Electronics & Engineering S.A. Safety device for a vehicle
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
EP3196805A3 (en) 2003-06-12 2017-11-01 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
JP4708422B2 (ja) 2004-04-15 2011-06-22 ジェスチャー テック，インコーポレイテッド 両手動作の追跡
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
US7853041B2 (en) 2005-01-07 2010-12-14 Gesturetek, Inc. Detecting and tracking objects in images
WO2006074290A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Optical flow based tilt sensor
CN101536494B (zh) 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
KR101430761B1 (ko) 2005-05-17 2014-08-19 퀄컴 인코포레이티드 방위-감응 신호 출력
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US20090251460A1 (en) 2008-04-04 2009-10-08 Fuji Xerox Co., Ltd. Systems and methods for incorporating reflection of a user and surrounding environment into a graphical user interface
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US8253746B2 (en) * 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US20100306685A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation User movement feedback via on-screen avatars

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090027337A1 (en) * 2007-07-27 2009-01-29 Gesturetek, Inc. Enhanced camera-based input
US20090077504A1 (en) * 2007-09-14 2009-03-19 Matthew Bell Processing of Gesture-Based User Interactions

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
CN103092399A (zh) * 2011-11-01 2013-05-08 索尼公司 信息处理设备，信息处理方法和程序
EP2595031A3 (en) * 2011-11-16 2016-01-06 Samsung Electronics Co., Ltd Display apparatus and control method thereof
CN103294260A (zh) * 2012-04-02 2013-09-11 微软公司 触敏用户界面
CN103294260B (zh) * 2012-04-02 2016-11-16 微软技术许可有限责任公司 触敏用户界面
CN104395857A (zh) * 2012-05-09 2015-03-04 英特尔公司 显示器的部分的基于眼球追踪的选择性强调
CN104395929B (zh) * 2012-06-21 2017-10-03 微软技术许可有限责任公司 使用深度相机的化身构造
CN104395929A (zh) * 2012-06-21 2015-03-04 微软公司 使用深度相机的化身构造
US9001118B2 (en) 2012-06-21 2015-04-07 Microsoft Technology Licensing, Llc Avatar construction using depth camera
WO2013189058A1 (en) * 2012-06-21 2013-12-27 Microsoft Corporation Avatar construction using depth camera
US9886622B2 (en) 2013-03-14 2018-02-06 Intel Corporation Adaptive facial expression calibration
WO2014139142A1 (en) * 2013-03-15 2014-09-18 Intel Corporation Scalable avatar messaging
US10044849B2 (en) 2013-03-15 2018-08-07 Intel Corporation Scalable avatar messaging
CN105579933A (zh) * 2013-06-11 2016-05-11 快步科技有限责任公司 表征与测量界面进行交互的感兴趣的对象的方法和实现所述方法的设备
CN105378625A (zh) * 2013-06-25 2016-03-02 微软技术许可有限责任公司 指示视野外的增强现实图像
CN103324291A (zh) * 2013-07-12 2013-09-25 安徽工业大学 获取人体感兴趣区域相对于屏幕窗口位置的方法
CN104516496B (zh) * 2013-10-04 2017-11-03 财团法人工业技术研究院 可调体感范围的多人指引系统与其方法
US9275194B2 (en) 2013-10-04 2016-03-01 Industrial Technology Research Institute System and method of multi-user coaching inside a tunable motion-sensing range
CN104516496A (zh) * 2013-10-04 2015-04-15 财团法人工业技术研究院 可调体感范围的多人指引系统与其方法
CN106104633A (zh) * 2014-03-19 2016-11-09 英特尔公司 面部表情和/或交互驱动的化身装置和方法
CN105228286A (zh) * 2014-05-27 2016-01-06 欧普照明股份有限公司 一种非接触式人体控制的灯具控制系统及方法
CN105228286B (zh) * 2014-05-27 2018-06-29 欧普照明股份有限公司 一种非接触式人体控制的灯具控制系统及方法
CN107533356A (zh) * 2015-03-09 2018-01-02 文塔纳3D有限责任公司 头像控制系统
CN105446623A (zh) * 2015-11-20 2016-03-30 广景视睿科技（深圳）有限公司 一种多互动投影的方法及系统
CN106249875A (zh) * 2016-07-15 2016-12-21 深圳奥比中光科技有限公司 体感交互方法以及设备
CN110121690A (zh) * 2016-12-29 2019-08-13 纯深度有限公司 包括接近传感器和深度变化的界面元素的多层显示器和/或相关联的方法
CN110121690B (zh) * 2016-12-29 2022-07-29 安波福技术有限公司 包括接近传感器和深度变化的界面元素的多层显示器和/或相关联的方法
CN106823374A (zh) * 2017-01-17 2017-06-13 河海大学 基于Android系统的Talking Avatar手游软件的构建方法
CN107145822A (zh) * 2017-03-24 2017-09-08 深圳奥比中光科技有限公司 偏离深度相机的用户体感交互标定的方法和系统
CN111417443A (zh) * 2017-12-06 2020-07-14 环球城市电影有限责任公司 交互式视频游戏系统
CN108536297A (zh) * 2018-03-29 2018-09-14 北京微播视界科技有限公司 用于多人的人机交互应用程序的实现方法和装置
CN112673400A (zh) * 2018-07-04 2021-04-16 网络助手有限责任公司 化身动画
CN113383369A (zh) * 2019-02-06 2021-09-10 斯纳普公司 身体姿势估计
WO2020186935A1 (zh) * 2019-03-20 2020-09-24 北京字节跳动网络技术有限公司 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质
CN113950822A (zh) * 2019-06-04 2022-01-18 汤杰宝游戏公司 实体活动表面的虚拟化
CN110716634A (zh) * 2019-08-28 2020-01-21 北京市商汤科技开发有限公司 交互方法、装置、设备以及显示设备
WO2021036624A1 (zh) * 2019-08-28 2021-03-04 北京市商汤科技开发有限公司 交互方法、装置、设备以及存储介质
TWI775134B (zh) * 2019-08-28 2022-08-21 大陸商北京市商湯科技開發有限公司 互動方法、裝置、設備以及記錄媒體
TWI775135B (zh) * 2019-08-28 2022-08-21 大陸商北京市商湯科技開發有限公司 互動方法、裝置、設備以及記錄媒體
CN112473121A (zh) * 2020-11-13 2021-03-12 海信视像科技股份有限公司 一种显示设备及基于肢体识别的躲避球显示方法
CN115097995A (zh) * 2022-06-23 2022-09-23 京东方科技集团股份有限公司 界面交互方法、界面交互装置以及计算机存储介质

Also Published As

Publication number Publication date
US20140267311A1 (en) 2014-09-18
US8749557B2 (en) 2014-06-10
US20110304632A1 (en) 2011-12-15
US9292083B2 (en) 2016-03-22

Similar Documents

Publication Publication Date Title
CN102221886A (zh) 通过化身与用户界面交互
US11460929B2 (en) User-defined virtual interaction space and manipulation of virtual cameras with vectors
US20220083880A1 (en) Interactions with virtual objects for machine control
CN102915112B (zh) 用于近距离动作跟踪的系统和方法
CN104246682B (zh) 增强的虚拟触摸板和触摸屏
CN102707876B (zh) 界面控件的按压个性化
US8395620B2 (en) Method and system for tracking of a subject
US20200004403A1 (en) Interaction strength using virtual objects for machine control
TW201143866A (en) Tracking groups of users in motion capture system
EP2825945A1 (en) Approaches for highlighting active interface elements
CN107077730A (zh) 基于剪影的肢寻找器确定
Frazier An implementation and usability study of a natural user interface virtual piano

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150729

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150729

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

RJ01 Rejection of invention patent application after publication

Application publication date: 20111019

RJ01 Rejection of invention patent application after publication