CN113711164A - 用于应用和对应设备的用户控制的方法和装置 - Google Patents
用于应用和对应设备的用户控制的方法和装置 Download PDFInfo
- Publication number
- CN113711164A CN113711164A CN202080028796.5A CN202080028796A CN113711164A CN 113711164 A CN113711164 A CN 113711164A CN 202080028796 A CN202080028796 A CN 202080028796A CN 113711164 A CN113711164 A CN 113711164A
- Authority
- CN
- China
- Prior art keywords
- electronic device
- user
- mode
- tracked
- users
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000009471 action Effects 0.000 claims abstract description 47
- 230000033001 locomotion Effects 0.000 claims abstract description 46
- 238000009877 rendering Methods 0.000 claims description 15
- 238000012790 confirmation Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 230000015654 memory Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000000704 physical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000009916 joint effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开涉及一种在电子设备中实现的方法，该电子设备适于配置在其中电子设备由从单个被跟踪的用户获得的输入元素控制的单用户模式下，以及其中电子设备由从一组或一个或多个被跟踪用户获得的输入元素控制的多用户模式下，该方法包括：‑跟踪根据电子设备的当前模式并且根据候选用户的选择请求在候选用户当中选择的一个或多个用户的动作，选择请求是由耦合到所述电子设备的至少一个传感器捕获的；‑根据被跟踪的动作确定至少一个适于控制电子设备的输入元素。它还涉及对应的设备、电子组件、系统、计算机可读程序产品和存储介质。
Description
技术领域
本公开涉及适于用在多用户环境中的电子设备的用户控制的技术领域。描述了对应的应用、设备、电子组件、系统、计算机可读程序产品和计算机可读存储介质。
背景技术
许多电子设备可以耦合到用户跟踪部件以获取关于用户的信息，从而获得实时信息。在本公开中，用户跟踪部件包括例如传感器(可穿戴或不可穿戴)，其获取关于用户或其身体的一个或多个部分的形状、姿势、位置和/或运动的信息，如深度相机或色度相机。根据由传感器获取的信息，那些电子设备中的一些也可以至少部分地由(一个或多个)用户控制。事实上，跟踪机制有助于从用户的角度启用自然的交互体验。例如，在虚拟现实(VR)或增强现实(AR)领域，跟踪用户的运动可以允许用户操纵虚拟场景的虚拟对象或在3D场景中导航，而无需使用辅助设备(如遥控设备)。
但是，多用户环境(如协作游戏或协作工具)中的用户跟踪会导致一些问题，因为跟踪所依赖的传感器可以并发地获取关于多个用户的信息。
一些解决方案提出只考虑所有用户同时执行的动作，或者只跟踪用户的联合动作(如在2用户环境中两个用户的手重叠)。但是，所有这些解决方案都不允许用户在多用户环境中方便地与应用交互。
因此，需要一种解决方案来增强至少部分地由用户跟踪控制的应用的用户体验。
发明内容
本原理通过提出一种在电子设备中实现的方法来解决要解决的上述缺点中的至少一个，该电子设备适于配置在其中电子设备至少部分地由通过跟踪单个用户获得的输入元素控制的单用户模式下，以及其中电子设备至少部分地由通过跟踪一个或多个用户获得的输入元素控制的多用户模式下，所述电子设备和至少一个被跟踪用户的当前模式是根据至少一个选择请求来选择的，候选用户的选择请求是在有限持续时间的选择时段期间由耦合到所述电子设备的至少一个传感器捕获的。
根据一些实施例，本公开特别涉及一种在电子设备中实现的方法，其中该电子设备适于配置在其中电子设备由从单个被跟踪用户获得的输入元素控制的单用户模式下，以及其中电子设备由从一组或一个或多个被跟踪用户获得的输入元素控制的多用户模式下，该方法包括：
-跟踪至少一个用户的动作，至少一个被跟踪用户是根据所述电子设备的当前模式并且根据所述候选用户的选择请求在候选用户当中选择的，所述选择请求是由耦合到所述电子设备的至少一个传感器捕获的；
-根据所述被跟踪的动作确定至少一个适于控制所述电子设备的输入元素。
根据另一方面，本公开还涉及一种电子设备，适于配置在其中电子设备至少部分地由通过跟踪单个用户获得的输入元素控制的单用户模式下，以及其中电子设备至少部分地由通过跟踪一个或多个用户获得的输入元素控制的多用户模式下，该电子设备包括至少一个处理器，该处理器适于：
根据至少一个选择请求来选择所述电子设备和至少一个被跟踪用户的当前模式，候选用户的选择请求在有限持续时间的选择时段期间由耦合到所述电子设备的至少一个传感器捕获。
根据一些实施例，本公开特别涉及一种电子设备，适于配置在其中电子设备由从单个被跟踪用户获得的输入元素控制的单用户模式下，以及其中电子设备由从一组或一个或多个被跟踪用户获得的输入元素控制的多用户模式下，该电子设备包括至少一个处理器，该处理器适于：
-跟踪至少一个用户的动作，至少一个被跟踪用户是根据所述电子设备的当前模式并且根据所述候选用户的选择请求在候选用户当中选择的，所述选择请求是由耦合到所述电子设备的至少一个传感器捕获的；
-根据所述被跟踪的动作确定至少一个适于控制所述电子设备的输入元素。
附图说明
在阅读以下描述后，可以更好地理解本公开，并且可以出现其它具体特征和优点，本描述参考附图，其中：
图1示出了根据本公开的示例性实施例的跟踪系统的示例；
图2图示了适于实现本公开的方法的至少一些实施例的电子设备的示例功能结构；
图3描绘了在本公开的至少一些实施例中用户与跟踪系统交互的示例概览；
图4图示了在实现本公开的方法的一些实施例时可以使用的示例选择机制的状态机；
图5图示了在实现本公开的方法的一些实施例时可以使用的示例用户状态图的状态机；
图6描绘了本公开的方法的一些示例实施例的概览。
应当注意的是，附图图示了示例实施例并且本公开的实施例不限于所示出的实施例。例如，对于本领域技术人员显而易见的是，本公开的实施例还可以在比图1至6中所示的更复杂的跟踪系统中实现。
具体实施方式
本公开涉及电子设备或相应的应用或方法的技术领域，适于通过一个或多个用户(如并发用户)的至少一个物理动作至少部分地被控制，该至少一个物理动作被捕获通过与电子设备耦合的一个或多个感测设备(或传感器)并触发电子设备的处理。例如，这样的物理动作可以是由一个或多个用户产生的姿势或姿势序列、声音或声音序列或其组合。
与现有技术解决方案不同，本公开的至少一些实施例可以允许在多用户模式和单用户模式之间进行选择并且动态选择将与系统交互并因此将被跟踪的用户。
术语“处理”在本文中将在其更大的范围内被理解并且涵盖一个或多个不同操作，并且例如修改耦合到电子设备的显示设备(例如，电视机的显示器)上的内容的渲染。内容的渲染可以根据内容的性质而不同，并且可以包括例如显示内容的可视部分或播放内容的音频部分。“可视部分”应理解为视频、一个或多个图像序列和/或一个或多个静止图像，或其组合。
在电子设备适于处理包括至少一个虚拟对象或场景的VR或AR内容的示例用例中，由用户的动作触发的处理可以例如发起和/或修改这种虚拟对象或场景的渲染。
在本公开的至少一个实施例中，电子设备可以被配置为其中仅跟踪单个用户的动作的“单用户”(或“单个用户”)模式，或其中可以跟踪多个用户的动作(例如其中可以同时跟踪几个用户的几个动作)的“多用户”(或“多个用户”)模式。
在单用户模式下，一次只有一个人可以控制交互。例如，在一些实施例中，一旦选择了用户来控制应用，其他用户就不能干涉。这种实施例可以例如允许单个用户在3D场景中导航和/或因此而更改场景的渲染，位于所选择的用户附近的(一个或多个)其他人仅被允许观看3D场景而不改变它。
在多用户模式下，两个或更多个用户可以同时与电子设备交互。例如，这种实施例可以适于电子设备正在执行协作应用(如游戏，例如，一种3D拼图，其中玩家被视为一个团队，必须一起协作以实现共同目标(例如，将元素放在一起以形成对象或绘制共享对象或场景))的用例。多用户模式还可以适于多个用户可以独立(或几乎独立)动作的情况，如不同用户在同一VR或AR场景中操作不同对象时。
图1图示了跟踪系统100，其包括适于实现本公开的至少一个实施例的一个或多个电子设备。
在图1的实施例中，跟踪系统100位于家庭环境中。由于有线通信接口(如以太网接口)或无线通信接口(如
或
接口)，系统的一些电子设备可以在通信网络(例如，局域网(LAN))内交换数据。
跟踪系统可以例如包括一个或几个网关110，提供对至少一个其它通信网络(如广域网(WAN))的接入。例如，网关(GTW)110可以提供对广播网络或宽带网络(如互联网)的接入。例如，GTW 110可以从广播网络接收数据或者从宽带网络接收和/或向其传输数据。因此，系统100的至少一些电子设备可以经由网关110从那些其它通信网络接收和/或向其传输数据，例如视听数据。
跟踪系统100还可以包括适于处理(和例如渲染)音频和/或视觉信号的至少一个其它电子设备。这种电子设备可以包括机顶盒(STB)140、平板电脑120、PC、智能电话、蓝光播放器、电视机160、音频扬声器150和/或显示器130。所有这些示例性设备都可以无线地或通过有线连接连接到GTW110。
图2描述了可以实现应用的电子设备200的示例功能结构。电子设备200可以例如适于在其至少一些实施例中实现本公开的方法600，这将在后面描述。电子设备可以是例如上面结合图1介绍的示例性电子设备之一。需要指出的是，图2中所示的功能结构的元素、模块或块可以通过电子设备200的软件组件和/或电子设备200的硬件组件来实现。图2中所示的至少一些元素可以包括处理设备200的至少一个软件组件和至少一个硬件组件。取决于实施例，这些元素中的几个可以是同一物理设备的一部分或者可以属于不同的、分离的、物理装置。
在图2的示例实施例中，电子设备200可以包括不同的设备(或模块)，它们经由通信总线20(诸如控制、数据和地址总线，其也可以携带定时器信号)连接在一起。例如，它可以包括一个或几个微处理器21(或中央处理单元(CPU))、ROM(或“只读存储器”)25、RAM(或“随机存取存储器”)26和提供对LAN和/或WAN网络的接入的(一个或多个)有线和/或无线通信接口27、28。例如，电子设备200的通信接口27、28中的至少一个可以适于接收一个或多个音频和/或视频内容或流。
在图2的示例实施例中，电子设备200还可以包括至少一个输入/输出(I/O)模块24(如触觉显示器、开关、LED、按钮等)。例如，电子设备可以包括(或更一般地耦合到)适于检测用户身体动作的至少一个获取模块242，如音频和/或视频获取设备，诸如相机、麦克风和/或位置和/或运动跟踪设备(如GPS模块、旋转鼠标、陀螺仪、加速度计)。
在图2的示例实施例中，一个或多个获取模块适于检测用户的姿势并检测用户的运动，如手运动。
在所示实施例中，电子设备可以包括(或更一般地耦合到)适于渲染一种或多种格式的音频和/或可视内容的内容渲染模块244，如电视机或平板电脑。内容渲染模块可以包括显示器和/或扬声器。在一些实施例中，这个内容渲染单元可以是可选的。
每个提到的存储器可以包括至少一个寄存器，即，低容量(少量二进制数据)或高容量(具有存储整个程序或代表要计算或显示的数据的全部或部分数据的能力)的存储器区。
当电子设备200通电时，经由电源模块22，例如连接到电力线网络的电源模块，至少一个微处理器21将程序指令260加载到RAM 26的寄存器中，例如执行下文描述的方法600的至少一个实施例所需的过程并执行程序指令。
在本公开的任何实施例中，系统的电子设备200可以适于实现本公开的方法600。在图2中所示的示例实施例中，电子设备适于配置在其中电子设备至少部分地由通过跟踪单个用户获得的输入元素控制的单用户模式下，以及其中电子设备至少部分地由通过跟踪一个或多个用户获得的输入元素控制的多用户模式下，并且微处理器21可以被配置用于：
-根据至少一个选择请求选择所述电子设备和至少一个被跟踪用户的当前模式，候选用户的选择请求是在有限持续时间的选择时段期间由耦合到所述电子设备的至少一个传感器捕获的。
在一些实施例中，微处理器21可以被配置用于：
-跟踪至少一个用户的身体动作，至少一个被跟踪用户是根据所述电子设备的当前模式并且根据所述候选用户的选择请求在候选用户当中选择的，所述选择请求是由耦合到所述电子设备的至少一个传感器捕获的；
-根据所述跟踪的物理动作确定至少一个适于控制所述电子设备的输入元件。
结合图2描绘的结构仅用于示例目的。要指出的是，即使被示为由分离的设备提供，电子设备200也还可以包括附加能力。此外，本公开的至少一些实施例可以至少部分地在外部耦合到另一个设备的至少一个电子设备中实现。
本公开的方法600的示例实施例在下文中关于图4、5和6进行详述。图6示出了方法600的示例实施例的概览，图4图示了适合于由用于选择被授权控制电子设备的一个或多个用户的方法使用的状态机，并且图5图示了跟踪用户停留在跟踪系统的感测区时的状态。在所示的示例实施例中，该方法在图2的设备200中执行的软件应用中实现。该软件应用可以在电子设备200通电时或在稍后阶段启动。
在具体实施例中，电子设备可以被配置在单用户模式或多用户模式下。单用户模式和多用户模式分别与第一和第二动作模式相关联，第一和第二动作模式分别与可以由跟踪系统的至少一个传感器捕获的一个或多个动作对应。第一和第二动作模式的检测分别被解释为用户请求被选择以控制电子设备和在对应模式下配置设备。对应的检测到的用户动作在下文中将被称为“选择请求”(更精确地说，取决于动作模式，单用户选择请求或多用户选择请求)。
在图4和5的示例实施例中，第一和第二动作模式是注册的手势模式，例如第一动作模式与“单手举起”对应，而第二动作模式与“双手举起”对应，并且检测到的动作模式是“手臂抬起”姿势。
在应用启动时，或者当传感器的获取区中没有用户时，设备尚未由给定用户控制，因此被配置为默认模式。在一些实施例中，默认模式可以是单用户模式或多用户模式(例如选择(一个或多个)默认用户来控制电子设备，如一旦应用被启动，电子设备的跟踪模块检测到的第一个用户，或者是当前离电子设备最近的用户的用户)。在其它实施例中，默认模式可以是另一种模式，如图4中所示的“空闲”(或“等待控制请求”)模式(空闲状态410)。在图4和6的示例实施例中，电子设备保留在“空闲”模式直到检测到与第一和/或第二动作模式对应的动作。当在设备被配置为“空闲”模式时检测到第一动作模式610时，该方法包括在“单用户模式(一个用户选择状态420)”下配置620电子设备。选择630处于检测到的动作的原点处的用户作为控制应用的单个用户，并且该方法包括跟踪由所选择的用户执行的动作以便检测要用作用于控制640设备的输入元素的事件。
类似地，当在设备被配置为“空闲”模式(空闲状态410)时检测到第二动作模式612时，该方法包括将电子设备配置为“多用户模式”(多用户选择状态430)。如图6所示，该方法包括通过选择630用户来构成被授权控制设备的一组用户。更精确地说，作为分别与第一或第二动作模式对应的检测到的动作的原点的用户被选择为在单用户或多用户下配置设备时属于该组。
在多用户模式下，可以稍后将其他用户添加到组中。在图4和6中所示的实施例中，选择630是在有限的时间段期间执行的。例如，选择时段可以在设备被配置为多用户模式时开始(多用户选择状态430)。取决于实施例，选择时段可以是给定持续时间的时段，如恒定持续时间，例如当在选择时段开始时发起的定时器以一定量的时间达到其结束(或零值)时(或者换句话说，当在选择时段开始时在定时器上设置的时间量过去时)该时段结束，或者选择时段可以是由设备上的特定操作(如用户((例如，已选择的用户或充当主管的用户))的特定动作)结束的可变持续时间的时段，或者当当前选择了给定数量的用户(如同时选择的最大用户数)时。例如，特定动作可以与从电子设备已知的给定动作模式对应。取决于实施例，给定的动作模式可以是第一动作模式、第二动作模式和/或不同于第一和/或第二动作模式的动作模式。类似地，选择时段可以从特定事件(如第一用户的选择，或主管用户的命令，或由定时器、电子设备的特定状态和/或由在电子设备上执行的软件应用的特定状态触发的自动事件)开始。
在选择时段期间，在多用户模式下(多用户选择状态430)，当选择请求(多用户请求状态460)(作为或者单用户选择请求或者多用户选择请求)是由不属于所选择的用户组的用户执行的时，至少一个其他用户被选择并添加到控制应用的用户组。在图4和5所示的示例实施例中，当在选择时段期间执行时，另外的用户的选择不受已选择的用户(或以其它方式称为所选择的用户的组的成员)的确认(如批准)或拒绝的限制。在其它实施例中，相反地，取决于至少一个已选择的用户的确认或拒绝，选择另外的用户可以是有条件的。取决于实施例，至少一个已选择的用户的确认和/或拒绝可以是明确的或隐含的。例如，可以请求特定动作模式进行确认(或拒绝)，并且特定动作模式的不发生可以被电子设备解释为对至少一个已选择的用户的拒绝(或确认)。取决于实施例，特定动作模式可以是第一动作模式、第二动作模式和/或不同于第一和/或第二动作模式的动作模式。
取决于实施例，一旦选择时段结束(选择状态450)，就不能选择其他用户，或者可以限制另外的用户的选择，类似于上面关于未结束的选择时段的描述。例如，根据图4和5，一旦选择时段在多用户模式下结束，当检测到不属于所选择的用户的组的另外的用户执行的选择请求(多用户请求状态460)时，请求的处理可以在给定的时间段期间被推迟。如果在给定的时间段期间检测到源自控制应用的用户的组中的用户并与拒绝对应的特定动作模式(示例实施例中的第一和/或第二模式)，那么可以忽略另外的用户的选择请求。如果在给定时间段期间没有检测到源自已经控制应用的用户的组的其它特定动作模式(例如，被视为代表拒绝)，那么可以考虑另外的用户的选择请求。例如，如果另外的用户的选择请求是单用户选择请求(一个用户请求状态440)(检测到第一模式)，那么该方法可以包括将电子设备配置为单用户模式(一个用户选择状态420)，另外的用户被选择为在单用户模式下控制应用的单个用户。如果另外的用户的选择请求是多用户选择请求(检测到第二模式)，那么该方法可以包括迭代用于控制应用的用户的组的构成，先前是该用户组的一部分的先前控制应用的(一个或多个)用户从组中被移除(换句话说，取消选择)。更精确地说，可以构成新的用户组来控制应用，该新组包括“另外的”用户和在类似于已经描述的选择时段期间添加的其他成员。
在单用户模式下执行的选择可以类似地取决于选择时段是否已经结束。但是，在单用户模式下(一个用户选择状态420)，一旦选择了单个用户，就可以认为选择时段结束(选择450)。因此，当从当前选择用于控制设备的用户以外的用户检测到单用户选择请求(一个用户请求状态440)时，可以在给定时间段(这可能是与上面介绍的多用户模式的推迟时间段相比相同或不同的时间段)期间推迟选择请求的处理。这个时间段可以例如经由应用的配置文件获得(并且可以由应用的提供者或其用户之一选择)。例如，类似于已经关于多用户模式所描述的，其他用户的选择请求可以根据在给定时间段内已经选择的单个用户的确认或拒绝而被忽略。例如，如果检测到源自已选择用于控制应用的单个用户的另一个特定动作模式(例如，被视为拒绝的代表)，那么可以忽略另一个用户的选择请求。如果在这个时间段期间没有检测到来自已选择的单个用户的另外的动作模式，那么设备可以停留在单用户模式，选择请求的源点处的另一个用户被新选择为控制应用的单个用户。
在一些实施例中，如果当前选择的(一个或多个)用户之一在没有另外的用户动作的另外选择请求在被处理或推迟时执行了选择请求，那么可以忽略该选择请求。在其它实施例中，一旦用户已经被选择，第一和/或第二模式可以被用作其它输入元素。例如，第一和/或第二模式可以被用作已选择的用户被取消选择的确认或拒绝，或者所选择的用户的组的成员对取消选择当前被选择用于控制应用的所有用户的请求。在变体中，第三模式可以与空闲(或“等待控制请求”)模式相关联。在这种实施例中，该方法可以包括当检测到与第三模式对应的动作时将设备配置为“空闲”模式(因此被视为取消选择当前所选择的(一个或多个)用户的请求)。当传感器感测到的区域内没有用户时，应用还可以自动返回空闲或“等待控制”模式。
需要指出的是，该方法还可以包括应用一些规则或输出一些推荐以避免(或解决)一些问题。例如，如果同时检测到几个选择请求，那么可以忽略所有选择请求，在用户界面上输出可视和/或音频消息或仅一个选择请求(例如，根据用户的优先级选择，或默认或随机)可以被接受。
如上所示，与一些现有技术解决方案相比，本公开的至少一些实施例因此可以帮助一个或几个用户更方便地一起交互，例如在选择(一个或多个)用户来控制电子设备时(和/或当被请求将控制指派给另一个用户而不是已选择的用户时)。
上面详述的实施例包括跟踪一个或多个用户(例如，在电子设备附近的用户，如面向显示器的用户(在涉及AR和/或VR场景的显示器的实施例中)，或在电视机的正面的用户(当电子设备200是电视机时))。
取决于实施例，跟踪可以经由不同的跟踪部件进行操作。例如，电子设备200的跟踪部件可以包括获取模块242，该获取模块242包括至少一个适于向电子设备提供其位置(或地理定位)的可穿戴传感器(如衣服或设备)，或者至少一个相机，如适于至少部分重建人体骨骼的彩色和/或深度相机。
如图5中所示，跟踪可以提供例如检测到的用户的列表，每个检测到的用户与唯一标识符相关联。
在一些实施例中，例如在用户离开被跟踪设备覆盖的场景时自动取消选择(未跟踪状态510)的实施例中，可以在时间上为用户指派不同的唯一标识符。值得注意的是，指派给用户的唯一标识符在离开然后重新进入由跟踪设备覆盖的场景时可以变化。在其它实施例中，用户可以被指派相同的标识符(也称为用户的签名)，特别是在离开然后重新进入场景时。这个标识符或签名可以关联到例如至少一个由用户穿戴的传感器。签名还可以基于用户骨骼的至少一部分(例如，用于计算签名的骨骼部分的关节)或用户的面部(例如，使用面部识别技术)。可以例如经由耦合到电子设备的专用软件和/或硬件模块获得这种签名。
在一些实施例中，跟踪可以包括，当在跟踪期间检测到新用户时(被跟踪状态520)，将其签名与跟踪系统已知的用户签名(例如，签名是已经存储的关于一些用户的信息的一部分)进行比较。如果签名已经存在，那么存储的用户信息将用通过跟踪提供的数据进行更新。否则，创建新用户的信息。
为了区分用户，该方法可以包括在电子设备的存储模块(如数据库)中存储和访问关于由(一个或多个)传感器检测到的至少一个用户(如所选择的用户(被选择状态540)和被跟踪的用户(被跟踪状态520))的信息。
关于一个用户的信息可以包括：
·用户的标识符(如通过跟踪指派的标识符，归功于例如用户跟踪模块，或由签名模块给出)，并唯一地识别用户(如仅在用户被跟踪时有效的标识符，或在具有至少有一个中断的时段时几次跟踪期间保持不变的标识符)；
·数据集，由用户跟踪器模块给出并且包含用户骨骼的至少一部分的关节位置。它在每一帧或以取决于跟踪器的另一个频率被更新。
·选择和/或跟踪指示器，代表用户的当前选择状态(如图4和5所示)。
跟踪还可以包括分析(一个或多个)用户的身体动作以便识别跟踪系统已知的姿势模式(如已经引入的第一、第二和/或第三模式)。分析可以包括经由例如自然交互模块来分析用户的手势和/或词和/或经由例如姿势检测模块分析被跟踪用户的姿势或用户的一部分(如其手和/或头部的位置)的姿势。例如，在图3、4和5的示例实施例中，姿势检测模块可以适于检测2或3个姿势：一只手臂抬起(可以是左手和/或右手)，高于头部，以及两只手臂抬起。在一些实施例中，该方法可以要求将姿势保持一段时间，如几秒(例如，2、3、4秒)，以进行验证。
取决于实施例，并且例如取决于检测到的用户是否是所选择的用户，可以跟踪用户的整个人体，或者可以将跟踪仅限于用户人体的一部分，如用户的骨骼的部分。此类实施例因此可以帮助节省跟踪系统的跟踪所涉及的处理成本。例如，在(一个或多个)跟踪设备包括相机的实施例中，跟踪可以是检测到的用户(被跟踪状态520)和/或所选择的用户(被选择状态540)周围减少的可视区，(仅在没有用户被选择时，才跟踪整个场景)或用户的一部分(如用户的手)周围。在图3、4和5的示例性实施例中，跟踪可以限于用户的手臂或用户的手的3D位置，或者可以仅针对用户的手和用户头部的3D位置执行。需要指出的是，仅对于检测选择请求(选择状态530(因此用于检测一些特定的动作模式))才跟踪未选择的用户的动作，而所选择的用户的动作可以被跟踪以检测用于控制640电子设备的输入元素。因此，对于已选择的用户而不是对于尚未选择的用户可以跟踪不同的动作模式。因此，跟踪可以根据用户的“选择状态”(参考图5)而不同。
在一些实施例中，可以从数据库中删除关于被跟踪部件丢失(或者换句话说，不再被传感器检测到)的用户的所有信息。在其它实施例中，关于被跟踪部件丢失的用户的信息的至少一部分可以被跟踪系统至少临时保持。例如，在一些实施例中，在一些情况下，用户可以被认为有可能很快再次被检测到，因此其信息被跟踪系统保持非空持续时间(例如，持续时间小于5、10或20分钟)。如果用户在丢失之前被选择，那么它将在它回来时保持这个状态。在(一个或多个)跟踪设备包括RGBD相机的实施例中，如果用户消失而其骨骼的被跟踪部分的最后位置接近相机视场的中心，例如，可以假设用户很快重新出现，因为相机可以由于重叠问题而已经丢失用户。而且，对用户的跟踪(对电子设备的控制)可以受到在他/她附近和周围移动的其他用户的存在的干扰，导致被跟踪用户的全部或部分遮挡。
本公开是关于示例传感器描述的，如(一个或多个)可穿戴传感器、相机、(一个或多个)麦克风、(一个或多个)陀螺仪、(一个或多个)加速度计或(一个或多个)全球定位系统(GPS)模块。当然，如本领域技术人员可以理解的，本公开也可以应用于使用本公开中引用的设备以外的其它跟踪设备的跟踪系统。
如本领域技术人员可以认识到的，本原理的方面可以被实施为系统、设备、方法、信号或计算机可读产品或介质。
例如，本公开涉及一种在电子设备中实现的方法，该电子设备适于配置在其中电子设备由从单个被跟踪用户获得的输入元素控制的单用户模式下，以及其中电子设备由从一组或一个或多个被跟踪用户获得的输入元素控制的多用户模式下，该方法包括：
-跟踪至少一个用户的动作，至少一个被跟踪用户是根据所述电子设备的当前模式并且根据所述候选用户的选择请求在候选用户当中选择的，所述选择请求是由耦合到所述电子设备的至少一个传感器捕获的；
-根据所述被跟踪的动作确定至少一个适于控制所述电子设备的输入元素。
根据本公开的至少一个实施例，该方法包括根据所述确定的输入元素更改在耦合到所述电子设备的渲染设备上输出的虚拟场景的渲染。
根据本公开的至少一个实施例，通过分别考虑与所述单用户模式相关联的第一动作模式和与所述多用户模式相关联的第二动作模式之间的相似性准则，所述选择请求被识别为在所述单用户模式下配置所述电子设备的请求或被识别为在所述多用户模式下配置所述电子设备的请求。
根据本公开的至少一个实施例，该方法包括，在当所述电子设备被配置为所述单用户模式时接收到候选用户的选择请求后，所述第一用户是当前被选择作为所述单个被跟踪用户，选择被跟踪的所述候选用户而不是所述第一用户，所述选择是根据所述第一用户的确认来执行的。
根据本公开的至少一个实施例，该方法包括，在选择时段期间，在接收到候选用户的将所述电子设备配置在所述单用户模式的选择请求后，当所述电子设备已经被配置在所述多用户模式时，将所述电子设备配置在所述单用户模式下并选择所述候选用户作为所述单个被跟踪用户。
根据本公开的至少一个实施例，所述选择时段在有限的时间段之后结束。
根据本公开的至少一个实施例，该方法包括，在所述选择时段期间，在接收到候选用户的用于将所述电子设备配置在所述多用户模式的选择请求后，当所述电子设备已经被配置在所述多用户模式时，将所述候选用户添加到被跟踪用户请求的所述组中。
根据本公开的至少一个实施例，该方法包括，在捕获被跟踪用户的所述组中的至少一个第一用户的至少一个结束命令后结束所述选择时段。
根据本公开的至少一个实施例，通过考虑第三动作模式在所述第一用户的所述被跟踪动作中的出现来识别所述命令。
根据本公开的至少一个实施例，该方法包括，在接收到候选用户的用于将所述电子设备配置在所述多用户模式的选择请求后，当所述电子设备被配置在所述多用户模式下并且所述选择时段已经结束时，根据被跟踪用户的所述组中的第一用户的确认将所述候选用户添加到所述被选择的被跟踪用户中。
根据本公开的至少一个实施例，该方法包括，在接收到候选用户的用于将所述电子设备配置为所述单用户模式的选择请求后，当所述电子设备被配置在所述多用户模式下并且所述选择时段已经结束后，根据被跟踪用户的所述组中的第一用户的确认将所述电子设备配置在所述单用户模式并且选择所述候选用户作为所述单个被跟踪用户。
根据本公开的至少一个实施例，通过考虑第四动作模式在所述第一用户的所述被跟踪动作中的出现来识别所述确认。
根据本公开的至少一个实施例，该方法包括确定唯一地识别所述被跟踪用户之一的签名。
而且，本公开涉及一种在电子设备中实现的方法，该电子设备适于配置在其中电子设备至少部分地由通过跟踪单个用户获得的输入元素控制的单用户模式下，以及其中电子设备至少部分地由通过跟踪一个或多个用户获得的输入元素控制的多用户模式下，所述电子设备和至少一个被跟踪用户的当前模式是根据至少一个选择请求来选择的，候选用户的选择请求是在有限持续时间的选择时段期间由耦合到所述电子设备的至少一个传感器捕获的。
根据本公开的至少一个实施例，该方法可以包括根据所述获得的至少一个输入元素更改在耦合到所述电子设备的渲染设备上输出的虚拟场景的渲染。
根据本公开的至少一个实施例，通过分别考虑与所述单用户模式相关联的第一动作模式和与所述多用户模式相关联的第二动作模式之间的相似性准则，所述选择请求被识别为在所述单用户模式下配置所述电子设备的请求或被识别为在所述多用户模式下配置所述电子设备的请求。
根据本公开的至少一个实施例，该方法包括，当所述电子设备处于所述单用户模式时，在选择第一用户用于控制所述电子设备后，结束所述选择时段。
根据本公开的至少一个实施例，该方法包括，当所述电子设备被配置在所述单用户模式并通过跟踪第一用户被控制时，在接收到候选用户的选择请求后，选择所述候选用户被跟踪以用于控制所述电子设备而不是所述第一用户，所述选择是根据所述第一用户的确认和/或拒绝来执行的。
根据本公开的至少一个实施例，该方法包括在捕获至少一个已选择的用户的至少一个结束命令后结束所述选择时段。
根据本公开的至少一个实施例，通过考虑第三动作模式在所述第一用户的所述被跟踪动作中的出现来识别所述命令。
根据本公开的至少一个实施例，该方法包括，当所述电子设备已经被配置在所述多用户模式时，在所述选择时段期间接收到候选用户的选择请求后，根据被跟踪用户的所述组中的第一用户的确认和/或拒绝将所述候选用户添加到被跟踪用户的所述组中。
根据本公开的至少一个实施例，该方法包括，在接收到候选用户的用于将所述电子设备配置在所述单用户模式的选择请求后，当所述选择时段已经结束时，将所述电子设备配置在所述单用户模式下，所述候选用户是控制所述电子设备的单个用户。
根据本公开的至少一个实施例，该方法包括，在接收到候选用户的用于将所述电子设备配置在所述多用户模式的选择请求后，当所述选择时段已经结束时，将所述电子设备配置在所述多用户模式，所述电子设备由被跟踪用户的新组控制，包括所述候选用户，并开始用于将其他用户添加到所述新组的新的选择时段。
根据本公开的至少一个实施例，在获得对所述被跟踪用户中的至少一个当前控制所述电子设备的确认后执行所述配置。
根据本公开的至少一个实施例，通过考虑第四动作模式在所述第一用户的所述被跟踪动作中的出现来识别所述确认和/或拒绝。
根据本公开的至少一个实施例，该方法包括确定唯一地识别所述被跟踪用户之一的可捕获签名。
根据本公开的至少一个实施例，所述第一、第二、第三和/或第四动作模式属于包括以下的组：
-至少一个声音序列；
-至少一个物理对象的至少一个运动；
-人体的至少一个运动；
-人体的至少一个姿势；
-物理对象的至少一个姿势；
-物理对象的至少一个朝向；
-其组合。
根据本公开的至少一个实施例，所述至少一个传感器属于包括以下的组：
-比色相机；
-深度相机；
-麦克风；
-陀螺仪；
-加速度计；
-GPS模块。
根据另一方面，本公开涉及一种电子设备，其包括至少一个处理器或至少一个处理电路，该电子设备适于配置在其中电子设备由从单个被跟踪用户获得的输入元素控制的单用户模式下，以及其中电子设备由从一组或一个或多个被跟踪用户获得的输入元素控制的多用户模式下，该电子设备包括适于以下的至少一个处理器：
-跟踪至少一个用户的动作，至少一个被跟踪用户是根据所述电子设备的当前模式并且根据所述候选用户的选择请求在候选用户当中选择的，所述选择请求是由耦合到所述电子设备的至少一个传感器捕获的；
-根据所述被跟踪的动作确定至少一个适于控制所述电子设备的输入元素。
本公开还涉及一种电子设备，该电子设备适于配置在其中电子设备至少部分地由通过跟踪单个用户获得的输入元素控制的单用户模式下，以及其中电子设备至少部分地由通过跟踪一个或多个用户获得的输入元素控制的多用户模式下，该电子设备包括至少一个处理器，适于：
根据至少一个选择请求选择所述电子设备和至少一个被跟踪用户的当前模式，候选用户的选择请求在有限持续时间的选择时段期间由耦合到所述电子设备的至少一个传感器捕获。
虽然没有明确描述，但是本公开的上述电子设备可以适于执行本公开的上述方法的任何实施例。
根据另一方面，本公开涉及一种通信系统，该通信系统包括一个或多个电子设备，该电子设备适于配置在其中电子设备由从单个被跟踪用户获得的输入元件控制的单用户模式下，以及其中电子设备由从一组或一个或多个被跟踪用户获得的输入元素控制的多用户模式下，一个或多个电子设备包括至少一个处理器或至少一个处理电路，适于：
-跟踪至少一个用户的动作，至少一个被跟踪用户是根据所述电子设备的当前模式并且根据所述候选用户的选择请求在候选用户当中选择的，所述选择请求是由耦合到所述电子设备的至少一个传感器捕获的；
-根据所述被跟踪的动作确定至少一个适于控制所述电子设备的输入元素。
本公开还涉及一种通信系统，该通信系统包括一个或多个电子设备，该电子设备适于配置在其中电子设备至少部分地由通过跟踪单个用户获得的输入元素控制的单用户模式下，以及其中电子设备至少部分地由通过跟踪一个或多个用户获得的输入元素控制的多用户模式下，一个或多个电子设备包括至少一个处理器或至少一个处理电路，适于：
根据至少一个选择请求选择所述电子设备和至少一个被跟踪用户的当前模式，候选用户的选择请求在有限持续时间的选择时段期间由耦合到所述电子设备的至少一个传感器捕获。
虽然没有明确描述，但是可以以任何组合或子组合来采用与方法或与对应的电子设备或通信系统相关的本实施例。
根据另一方面，本公开涉及一种包括程序代码指令的非暂时性计算机可读程序产品，当非暂时性计算机可读程序产品由计算机执行时，所述程序代码指令执行本公开的方法的任何实施例。
例如，本公开的至少一个实施例涉及一种包括程序代码指令的非暂时性计算机可读程序产品，当非暂时性计算机可读程序产品由计算机执行时，所述程序代码指令执行在电子设备中实现的方法，该电子设备适于配置在其中电子设备由从单个被跟踪用户获得的输入元素控制的单用户模式下，以及其中电子设备由从一组或一个或多个被跟踪用户获得的输入元素控制的多用户模式下，该方法包括：
-跟踪至少一个用户的动作，至少一个被跟踪用户是根据所述电子设备的当前模式并且根据所述候选用户的选择请求在候选用户当中选择的，所述选择请求是由耦合到所述电子设备的至少一个传感器捕获的；
-根据所述被跟踪的动作确定至少一个适于控制所述电子设备的输入元素。
本公开的至少一个实施例涉及一种包括程序代码指令的非暂时性计算机可读程序产品，当非暂时性可读程序产品由计算机执行时，程序代码指令执行一种方法，该方法在电子设备中实现，该电子设备适于配置在其中电子设备由从单个被跟踪用户获得的输入元件控制的单用户模式下，以及其中电子设备由从一组或一个或多个被跟踪用户获得的输入元素控制的多用户模式下，所述电子设备和至少一个被跟踪用户的当前模式是根据至少一个选择请求来选择的，候选用户的选择请求在有限持续时间的选择时段期间由耦合到所述电子设备的至少一个传感器捕获。
根据另一方面，本公开涉及一种携带非暂时性软件程序的计算机可读存储介质，该软件程序包括程序代码指令，当非暂时性软件程序由计算机执行时，指令执行本公开的方法的任何实施例。
根据本公开的实施例，计算机可读存储介质有形地实施非暂时性软件程序，其包括可由计算机执行的程序代码指令，当非暂时性软件程序由计算机执行时，程序代码指令执行一种在电子设备中实现的方法，该电子设备适于配置在其中电子设备由从单个被跟踪用户获得的输入元件控制的单用户模式下，以及其中电子设备由从一组或一个或多个被跟踪用户获得的输入元素控制的多用户模式下，该方法包括：
-跟踪至少一个用户的动作，至少一个被跟踪用户是根据所述电子设备的当前模式并且根据所述候选用户的选择请求在候选用户当中选择的，所述选择请求是由耦合到所述电子设备的至少一个传感器捕获的；
-根据所述被跟踪的动作确定至少一个适于控制所述电子设备的输入元素。
根据本公开的实施例，非暂时性计算机可读存储介质携带包括可由计算机执行的程序代码指令的非暂时性软件程序，当软件程序由计算机执行时，程序代码指令执行一种在电子设备中实现的方法，该电子设备适于配置在其中电子设备由通过跟踪单个用户获得的输入元件控制的单用户模式下，以及其中电子设备由通过跟踪一组或一个或多个用户获得的输入元素控制的多用户模式下，所述电子设备和至少一个被跟踪用户的当前模式是根据至少一个选择请求选择的，候选用户的选择请求是在有限持续时间的选择时段期间由耦合到所述电子设备的至少一个传感器捕获的。
如本领域技术人员可以认识到的，本原理的各方面可以实施为系统、方法或计算机可读介质。因而，本公开的各方面可以采用硬件实施例、软件实施例(包括固件、常驻软件、微代码等)或组合软件和硬件方面的实施例的形式，这些方面一般都可以在本文被称为“电路”、“模块”或“系统”。此外，本原理的各方面可以采用计算机可读存储介质的形式。可以利用一种或多种计算机可读存储介质的任何组合。
计算机可读存储介质可以采用计算机可读程序产品的形式，该计算机可读程序产品实施在一个或多个计算机可读介质中并且具有实施在其上的可由计算机执行的计算机可读程序代码。给定在其中存储信息的固有能力以及从其提供信息检索的固有能力，本文使用的计算机可读存储介质被认为是非暂时性存储介质。计算机可读存储介质可以是例如但不限于电子、磁、光、电磁、红外或半导体系统、装置或设备，或前述的任何合适组合。
应该认识到的是，以下虽然提供了可以对其应用本原理的计算机可读存储介质的更具体示例，但是如本领域普通技术人员容易认识到的那样，仅仅是说明性的而非详尽的列表：便携式计算机软盘、硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁存储设备，或前述的任何合适组合。
因此，例如，本领域技术人员可以认识到的是，本文呈现的框图表示本原理的一些实施例的说明性系统组件和/或电路的概念视图。类似地，可以认识到的是，任何流程图表、流程图、状态过渡图、伪代码等表示可以在计算机可读存储介质中基本上表示并因此由计算机或处理器执行的各种过程，无论这样的计算机或处理器是否明确示出。
还要指出的是，即使上面没有明确公开，至少一些实施例也可以组合在一起。
本公开不仅仅是可以由人类思维完成的识别用户和将用户指派给某些模式的抽象构思。代替地，本公开包括将声音序列或对象(诸如人体的一部分)的空间关系/朝向变换成机器的操作模式和/或控制机器的请求、选择要被耦合到机器的至少一个传感器跟踪的用户并根据从被跟踪用户的动作确定的输入元素来控制机器的实际应用。例如，实际应用可以根据确定的输入元素由渲染设备修改对虚拟场景的渲染。
Claims (15)
1.一种电子设备，适于配置在其中所述电子设备至少部分地由通过跟踪单个用户获得的输入元素控制的单用户模式下，以及其中所述电子设备至少部分地由通过跟踪一个或多个用户获得的输入元素控制的多用户模式下，所述电子设备包括至少一个处理器，适于：
根据至少一个选择请求选择所述电子设备和所述至少一个被跟踪用户的当前模式，候选用户的选择请求在有限持续时间的选择时段期间由耦合到所述电子设备的至少一个传感器捕获。
2.一种在电子设备中实现的方法，其中所述电子设备适于配置在其中所述电子设备至少部分地由通过跟踪单个用户获得的输入元素控制的单用户模式下，以及其中所述电子设备至少部分地由通过跟踪一个或多个用户获得的输入元素控制的多用户模式下，所述电子设备和所述至少一个被跟踪用户的当前模式是根据至少一个选择请求来选择的，候选用户的选择请求是在有限持续时间的选择时段期间由耦合到所述电子设备的至少一个传感器捕获的。
3.如权利要求1所述的电子设备，所述至少一个处理器适于，或者如权利要求2所述的方法，包括：根据所述获得的至少一个输入元素更改在耦合到所述电子设备的渲染设备上输出的虚拟场景的渲染。
4.如权利要求1或3所述的电子设备或者如权利要求2或3所述的方法，其中通过分别考虑与所述单用户模式相关联的第一动作模式和与所述多用户模式相关联的第二动作模式之间的相似性准则，所述选择请求被识别为在所述单用户模式下配置所述电子设备的请求或被识别为在所述多用户模式下配置所述电子设备的请求。
5.如权利要求1或3或4中的任一项所述的电子设备，所述至少一个处理器适于，或者如权利要求2至4中的任一项所述的方法，包括：当所述电子设备处于所述单用户模式时，在选择第一用户用于控制所述电子设备后，结束所述选择时段。
6.如权利要求1或3至5所述的电子设备，所述至少一个处理器适于，或者如权利要求2至5中的任一项所述的方法，包括：在捕获至少一个已选择的用户的至少一个结束命令后结束所述选择时段。
7.如权利要求6所述的电子设备或方法，其中通过考虑第三动作模式在所述第一用户的所述被跟踪动作中的出现来识别所述命令。
8.如权利要求1或3至7中的任一项所述的电子设备，所述至少一个处理器适于，或者如权利要求2至7中的任一项所述的方法，包括：当所述电子设备已经被配置在所述多用户模式时，在所述选择时段期间接收到候选用户的选择请求后，根据被跟踪用户的所述组中的第一用户的确认和/或拒绝将所述候选用户添加到被跟踪用户的所述组中。
9.如权利要求1或3至8中的任一项所述的电子设备，所述至少一个处理器适于，或如权利要求2至8中的任一项所述的方法，包括：在接收到候选用户的用于将所述电子设备配置在所述单用户模式的选择请求后，当所述选择时段已经结束时，将所述电子设备配置在所述单用户模式下，所述候选用户是控制所述电子设备的所述单个用户。
10.如权利要求1或3至9中的任一项所述的电子设备，所述至少一个处理器适于，或如权利要求2至9中的任一项所述的方法，包括：在接收到候选用户的用于将所述电子设备配置在所述多用户模式的选择请求后，当所述选择时段已经结束时，将所述电子设备配置在所述多用户模式下，所述电子设备由被跟踪用户的新组控制，包括所述候选用户，并开始用于将其他用户添加到所述新组的新的选择时段。
11.如权利要求9或10所述的电子设备或方法，其中在获得对所述被跟踪用户中的至少一个当前控制所述电子设备的确认后执行所述配置。
12.如权利要求6、9或11中的任一项所述的电子设备或方法，其中通过考虑第四动作模式在所述第一用户的所述被跟踪动作中的出现来识别所述确认和/或拒绝。
13.如权利要求1、3至12中的任一项所述的电子设备，所述至少一个处理器适于，或者如权利要求2至12中的任一项所述的方法，包括：确定唯一地识别所述被跟踪用户之一的可捕获签名。
14.一种包括程序代码指令的非暂时性计算机可读程序产品，当所述非暂时性计算机可读程序产品由计算机执行时，所述程序代码指令执行在电子设备中实现的方法，所述电子设备适于配置在其中所述电子设备由从单个被跟踪用户获得的输入元素控制的单用户模式下，以及其中所述电子设备由从一组或一个或多个被跟踪用户获得的输入元素控制的多用户模式下，所述电子设备和所述至少一个被跟踪用户的当前模式是根据至少一个选择请求来选择的，候选用户的选择请求在有限持续时间的选择时段期间由耦合到所述电子设备的至少一个传感器捕获。
15.一种携带软件程序的非暂时性计算机可读存储介质，所述软件程序包括程序代码指令，当所述软件程序由计算机执行时，所述程序代码指令执行在电子设备中实现的方法，所述电子设备适于配置在其中所述电子设备由通过跟踪单个用户获得的输入元素控制的单用户模式下，以及其中所述电子设备由通过跟踪一组或一个或多个用户获得的输入元素控制的多用户模式下，所述电子设备和至少一个被跟踪用户的当前模式是根据至少一个选择请求来选择的，候选用户的选择请求在有限持续时间的选择时段期间由耦合到所述电子设备的至少一个传感器捕获。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP19305489.7 | 2019-04-16 | ||
| EP19305489.7A EP3726344A1 (en) | 2019-04-16 | 2019-04-16 | Method and apparatus for user control of an application and corresponding device |
| PCT/EP2020/057865 WO2020212078A1 (en) | 2019-04-16 | 2020-03-20 | Method and apparatus for user control of an application and corresponding device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113711164A true CN113711164A (zh) | 2021-11-26 |
Family
ID=66439946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080028796.5A Pending CN113711164A (zh) | 2019-04-16 | 2020-03-20 | 用于应用和对应设备的用户控制的方法和装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11941164B2 (zh) |
| EP (2) | EP3726344A1 (zh) |
| CN (1) | CN113711164A (zh) |
| WO (1) | WO2020212078A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117501701A (zh) * | 2021-05-19 | 2024-02-02 | 交互数字专利控股公司 | 用户感知自动内容捕获和增强 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110154266A1 (en) * | 2009-12-17 | 2011-06-23 | Microsoft Corporation | Camera navigation for presentations |
| CN102947777A (zh) * | 2010-06-22 | 2013-02-27 | 微软公司 | 用户跟踪反馈 |
| US9445048B1 (en) * | 2014-07-29 | 2016-09-13 | Google Inc. | Gesture-initiated actions in videoconferences |
| WO2016153647A1 (en) * | 2015-03-24 | 2016-09-29 | Intel Corporation | Augmentation modification based on user interaction with augmented reality scene |
| CN107771339A (zh) * | 2015-06-18 | 2018-03-06 | 汤姆逊许可公司 | 对跟踪的数据的用户控制分发和收集 |
| CN109416580A (zh) * | 2016-06-29 | 2019-03-01 | 微软技术许可有限责任公司 | 对三维空间中的对象的选择 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003025859A1 (fr) | 2001-09-17 | 2003-03-27 | National Institute Of Advanced Industrial Science And Technology | Dispositif d'interface |
| US8555207B2 (en) | 2008-02-27 | 2013-10-08 | Qualcomm Incorporated | Enhanced input using recognized gestures |
| KR101623007B1 (ko) * | 2009-11-11 | 2016-05-20 | 엘지전자 주식회사 | 디스플레이 장치 및 그 제어방법 |
| US9261987B2 (en) | 2011-01-12 | 2016-02-16 | Smart Technologies Ulc | Method of supporting multiple selections and interactive input system employing same |
| US20120278729A1 (en) | 2011-04-27 | 2012-11-01 | Vennelakanti Ramadevi | Method of assigning user interaction controls |
| KR101885295B1 (ko) * | 2011-12-26 | 2018-09-11 | 엘지전자 주식회사 | 전자기기 및 그 제어방법 |
| US20140009378A1 (en) | 2012-07-03 | 2014-01-09 | Yen Hsiang Chew | User Profile Based Gesture Recognition |
| US10165322B2 (en) * | 2014-09-30 | 2018-12-25 | Rovi Guides, Inc. | Methods and systems for controlling user devices |
-
2019
- 2019-04-16 EP EP19305489.7A patent/EP3726344A1/en not_active Withdrawn
-
2020
- 2020-03-20 CN CN202080028796.5A patent/CN113711164A/zh active Pending
- 2020-03-20 EP EP20711218.6A patent/EP3956749A1/en active Pending
- 2020-03-20 US US17/603,042 patent/US11941164B2/en active Active
- 2020-03-20 WO PCT/EP2020/057865 patent/WO2020212078A1/en unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110154266A1 (en) * | 2009-12-17 | 2011-06-23 | Microsoft Corporation | Camera navigation for presentations |
| CN102947777A (zh) * | 2010-06-22 | 2013-02-27 | 微软公司 | 用户跟踪反馈 |
| US9445048B1 (en) * | 2014-07-29 | 2016-09-13 | Google Inc. | Gesture-initiated actions in videoconferences |
| WO2016153647A1 (en) * | 2015-03-24 | 2016-09-29 | Intel Corporation | Augmentation modification based on user interaction with augmented reality scene |
| CN107771339A (zh) * | 2015-06-18 | 2018-03-06 | 汤姆逊许可公司 | 对跟踪的数据的用户控制分发和收集 |
| CN109416580A (zh) * | 2016-06-29 | 2019-03-01 | 微软技术许可有限责任公司 | 对三维空间中的对象的选择 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3726344A1 (en) | 2020-10-21 |
| US11941164B2 (en) | 2024-03-26 |
| WO2020212078A1 (en) | 2020-10-22 |
| EP3956749A1 (en) | 2022-02-23 |
| US20220187905A1 (en) | 2022-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9842433B2 (en) | Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality | |
| US11058950B2 (en) | Methods and systems for spectating characters in virtual reality views | |
| US10026171B2 (en) | Facial skin mask generation for heart rate detection | |
| US9069381B2 (en) | Interacting with a computer based application | |
| US20170103582A1 (en) | Touch and social cues as inputs into a computer | |
| US8866898B2 (en) | Living room movie creation | |
| WO2017077751A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| US9400695B2 (en) | Low latency rendering of objects | |
| CN107911737B (zh) | 媒体内容的展示方法、装置、计算设备及存储介质 | |
| CN105229571A (zh) | 自然用户接口滚动和瞄准 | |
| CN102184020A (zh) | 用于操纵用户界面的姿势和姿势修改 | |
| CN102591574A (zh) | 与娱乐内容的实时交互 | |
| EP2681638A1 (en) | Real-time virtual reflection | |
| JP7127659B2 (ja) | 情報処理装置、仮想・現実合成システム、学習済みモデルの生成方法、情報処理装置に実行させる方法、プログラム | |
| KR20100001408A (ko) | 가상 공간과 현실 공간을 연계한 로봇 게임 시스템 및 로봇게임 방법 | |
| WO2018154933A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN110809187B (zh) | 视频选择方法、视频选择装置、存储介质与电子设备 | |
| JP7202935B2 (ja) | 注目度算出装置、注目度算出方法、および注目度算出プログラム | |
| CN113711164A (zh) | 用于应用和对应设备的用户控制的方法和装置 | |
| CN106390454A (zh) | 一种现实场景虚拟游戏系统 | |
| CN112954437A (zh) | 一种视频资源处理方法、装置、计算机设备及存储介质 | |
| US11287881B2 (en) | Presenting images on a display device | |
| US20190339771A1 (en) | Method, System and Apparatus For Brainwave and View Based Recommendations and Story Telling | |
| CN116549956B (zh) | 一种户外体感交互方法、系统及智能终端 | |
| US20140333768A1 (en) | Method for interactive control of a computer application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |