CN107003819B - 多用户的基于传感器的交互 - Google Patents

多用户的基于传感器的交互 Download PDF

Info

Publication number
CN107003819B
CN107003819B CN201580062924.7A CN201580062924A CN107003819B CN 107003819 B CN107003819 B CN 107003819B CN 201580062924 A CN201580062924 A CN 201580062924A CN 107003819 B CN107003819 B CN 107003819B
Authority
CN
China
Prior art keywords
computing device
user
notification
data
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580062924.7A
Other languages
English (en)
Other versions
CN107003819A (zh
Inventor
G.坎希
R.费伦斯
V.V.库珀曼
K.尼斯特尔
B.维茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN107003819A publication Critical patent/CN107003819A/zh
Application granted granted Critical
Publication of CN107003819B publication Critical patent/CN107003819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00—Arrangements for display data security
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline

Abstract

在一些示例中公开了方法、系统和机器可读介质，其中具有第一对应计算设备的第一用户的动作或状态（例如，自然交互）被与第二用户相对应的第二计算设备上的传感器观察到。描述所观察到的第一用户的动作或状态的通知可以跨越网络与第一对应计算设备共享。以此方式，第一计算设备可以被提供有涉及用户的状态的信息而不必直接感测所述用户。

Description

多用户的基于传感器的交互
优先权的要求
本专利申请要求2014年12月18日提交的美国申请序列号14/575,797的优先权的权益，其在此通过引用被整体并入。
版权通知
本专利文档的公开的一部分包含受版权保护的材料。版权所有者不反对由任何人对专利文档或专利公开如其在专利与商标局专利文件或记录中表现那样进行副本复制，但是在任何情况以其它方式保留所有版权权利。以下通知适用于如在下面描述的以及在形成本文档的一部分的附图中的软件和数据：Copyright 2014 Intel, Inc., 版权所有。
技术领域
实施例与增强现实系统有关。一些实施例涉及姿势识别、多设备交互和自然用户交互。
背景技术
计算设备在过去的几年内已经在尺寸方面减小。这些计算设备甚至可以采用穿戴在用户身上的设备的形式。甚至在计算设备在尺寸方面已经减小时，功能性已经增加。例如，许多计算设备具有机载传感器，诸如照相机、运动传感器等。
附图说明
在不必按比例绘制的附图中，相似的附图标记可以在不同视图中描述类似的部件。具有不同字母下标的相似的附图标记可以表示类似的部件的不同实例。附图通常作为示例而非作为限制来图示在本文档中讨论的各种实施例。
图1示出了多用户多设备自然交互的基于传感器的应用环境的示例。
图2示出了根据本公开的一些示例的使用中央计算设备的协作多用户自然交互服务的消息序列图。
图3示出了根据本公开的一些示例的使用中央计算设备的协作多用户自然交互服务的消息序列图。
图4示出了根据本公开的一些示例的促进信息在基于传感器的应用中的共享的中央计算设备的方法的流程图。
图5示出了根据本公开的一些实施例的向基于传感器的应用提供关于用户的信息的计算设备的方法的流程图。
图6示出了根据本公开的一些示例的用于向协作多用户自然交互的基于传感器的应用提供信息的系统的示意图。
图7是图示出在其上可以实施一个或多个实施例的机器的示例的框图。
具体实施方式
如本文中所公开的，计算应用可以利用描述关于现实世界的信息并且特别是关于现实世界中的用户的信息的传感器数据来提供各种基于传感器的应用。在一个示例基于传感器的应用中，自然交互（诸如第一方的姿势和情绪）可以被检测到并且将其显示给该第一方以提供该方如何正被第二方接收的实时分析。例如，应用可以检测说话者的姿势和情绪并且当他们正在说话时向说话者显示所述姿势和情绪。知晓一个人的姿势如何很可能被另一方接收可以改善要进行交谈的各方之间的关系。基于传感器的应用可以是可被计算设备执行的任何应用，所述计算设备利用该计算设备中的传感器来向用户提供功能性。
作为基于传感器的应用的另一示例，增强现实应用将物理的现实世界环境与所插入的计算机生成的对象和数据进行融合，从而使计算机生成的对象看起来是物理的现实世界环境的一部分。可以由参与方用户使用自然姿势和交互来操纵计算机生成的对象。增强现实可以由一个或多个计算设备提供，所述计算设备利用一个或多个传感器以便感测、测量和检测现实世界中的包括用户及其姿势和移动的项并且添加在一个或多个输出（例如，显示）设备上可视的一个或多个计算机生成的对象。示例增强现实应用包括在现实世界环境中叠加游戏对象的游戏。游戏者可以使用自然物理姿势来与游戏对象交互。例如，用户可以拾取、移动、删除、改变对象或者以其它方式与对象交互，类似于如同它们是现实生活对象那样。其它示例应用可以包括导航应用，其中路由指示符（例如，线）被叠加在要行走的正确道路的图片上。
用于这些应用的感测设备可以包括全球定位传感器（GPS）、加速度计、诸如IntelRealSenseTM 3D照相机之类的图像传感器（例如，照相机）、对象扫描器等。感测设备可以输出数据（称为传感器数据），诸如GPS坐标、图像像素数据、加速度量和方向，等等。该数据可以由计算设备分析来确定模型数据。模型数据描述了至少一部分现实世界（包括现实世界中的一个或多个对象）的信息（例如，尺寸、位置、以及其它属性）。模型可以从原始传感器数据得出。现实世界中的对象可以包括现实世界中的人。在一些示例中，模型可以包括那些对象的所检测到的动作。动作可以包括对象的任何移动，诸如姿势、手和手指跟踪、语音识别、面部移动、以及关于在现实世界中检测到的人和其它对象的其它方面。对动作信息的检测可以包括检测自然交互，诸如姿势、面部移动等。动作信息可以描述一个或多个检测到的动作。在一些示例中，模型可以包括从对象动作推断出的针对现实世界对象的一个或多个推断出的状态。适用于人的状态可以包括高兴、悲伤、无聊、不感兴趣等。例如，面部识别和姿势识别可以从诸如面部表情之类的面部动作推断出个体的状态。状态可以由对象状态信息描述。可以采用诸如Intel RealSenseTM软件之类的软件来进行此分析。
为了使这些应用在每天的环境中更加可用且令人愉快，传感设备（例如，照相机）可以在可穿戴设备和其它便携式计算设备上。然而，可穿戴设备和其它便携式计算设备可以仅具有面向外部的照相机，因而传感器可以不检测姿势、面部表情、以及关于用户自己的其它输入。将面向内部的照相机定位成捕获穿戴着的用户的面部表情和姿势将增加设备的尺寸和成本。添加面向内部的照相机也将难以在许多可穿戴设备中实现，因为这将要求在距主体一定距离处放置照相机来实现令人满意的焦距以及充分对用户进行捕获。因而，可穿戴设备在感测姿势、手和手指跟踪、语音识别、面部分析、以及正穿戴它的用户的其它方面具有困难。尽管面向前的照相机能够检测其它人的这些方面，但是可穿戴设备的促进用户与增强现实环境的交互的能力受到限制。
在一些示例中公开了方法、系统和机器可读介质，其中具有第一对应计算设备的第一用户的动作或状态（例如，自然交互）被与第二用户相对应的第二计算设备上的传感器观察到。描述所观察到的第一用户的动作或状态的通知可以跨越网络与第一对应计算设备共享。以此方式，第一计算设备可以被提供有关于用户状态的信息而不必直接感测该用户。以相同的方式，第一计算设备可以向第二计算设备发送关于第二用户的信息。对所检测到的自然交互的这种协作共享可以允许基于传感器的应用的扩展应用。例如，这种协作共享可以允许第一和第二用户通过其它用户的眼睛来观看彼此。例如，第二计算设备可以将所检测到的姿势、情绪和关于第一用户的其它观察结果转送（relay）至第一用户的计算设备以供在第一用户的显示设备上使用。
在计算设备之间交换的信息可以是通知数据的交换，所述通知数据可以包括以下中的一个或多个：原始传感器数据（其然后可以被接收方用于计算模型数据——包括对象、动作、以及对象状态）、模型数据、动作信息（例如，关于姿势的信息）、或对象状态信息。这种通知数据可以被直接发送到参与应用的其它计算设备，或者可以被发送到中央计算设备。中央计算设备然后可以将通知数据转发至参与应用的其它计算设备。可以通过计算机网络来发送通知。
在一些示例中，可以在参与的用户的计算设备上进行以下中的一项或多项：处理原始传感器数据来形成模型数据、检测对象、检测动作、或者从那些动作推断对象的状态。在其它示例中，可以基于从参与应用的用户的计算设备发送的通知数据来在中央计算设备上进行以下中的一项或多项：处理原始传感器数据来形成模型数据、检测对象、检测动作、或者从那些动作推断对象的状态。
从用户的设备向中央计算设备发送的通知数据可以不同于作为响应从中央计算设备向用户的设备传播的通知数据。例如，与应用的用户相关联的计算设备可以发送原始传感器数据（其可以被中央计算设备处理成对象状态信息）等等。对象状态信息然后可以代替原始传感器数据被发送至各个计算设备。
如提到的，具有第一对应计算设备的第一用户的动作或状态（例如，自然交互）被与第二用户相对应的第二计算设备上的传感器观察到。第二计算设备或中央计算设备可以将所观察到的第一用户的动作或状态与第一用户的计算设备（以及实际上第一用户）相关联。在一些示例中，这可以基于由第二计算设备或者中央计算设备执行的面部识别或其它对象识别技术来进行。例如，每个用户可以向系统、例如向中央计算设备提交他们自己的一个或多个注册图像。在一些示例中，这可以在注册期间发生。一个或多个面部识别算法可以利用注册图像来确定对应于动作或状态的用户。这些算法可以在计算设备或中央计算设备上运行。在其它示例中，将第一用户与特定动作或状态相关联的其它方式可以包括使用位置（例如，其中将用户的位置与所观察到的动作或状态的位置相比较的位置注册表）、无线广播标识符（例如，计算设备在短范围（小于100m）无线链路上广播唯一的标识符），等等。
计算设备可以包括可穿戴计算设备，诸如智能眼镜、智能手表等。计算设备还可以包括平板计算机、膝上型计算机、台式计算机等。
这些系统、方法和机器可读介质可以具有各种用途。例如，关于系统中的其它用户如何看到或感知到你的反馈可以被显示给你并且被用来在面对面的会议中改善社交关系、理解冲突、以及改善你说服和影响利益相关者的能力。其它用途包括教育娱乐、游戏、约会等。
图1示出了多用户多设备自然交互的基于传感器的应用环境的示例1000。在示例中，环境是多用户本地环境，其中用户配备有具有面向外部（例如，世界）的传感器（例如，2D或3D照相机）的计算设备。在一些示例中，计算设备可以包括可穿戴计算设备（例如，智能手表、嵌入到眼镜中的计算设备等）。计算设备可以利用传感器来在其范围内（例如，针对照相机传感器——在其视场内）感知关于本地环境的信息。在一些示例中，计算设备可以配备有指令，所述指令用于将原始传感器数据处理成模型信息，在一些示例中包括以下中的一项或多项：对象检测和识别、动作检测、以及对象状态确定。例如，计算设备可以检测另一用户、由该用户采取的动作（例如，微笑、皱眉等），并且基于那些动作检测该用户的状态（例如，高兴、悲伤、忙碌、漫不经心、无聊等）。例如，可以检测到其中用户转动其眼睛的用户状态。这种姿势可以被转译成烦恼的情绪。计算设备可以具有将姿势转译成情绪的指令。
在图1中，用户A 1010配备有可穿戴计算设备并且正面向用户B 1020。用户B 1020也配备有可穿戴计算设备并且正面向用户A 1010。用户C 1030正面向用户A 1010并且配备有计算设备。在示例中，用户B的计算设备可以记录用户A的视频。用户A的动作（例如，姿势）可以由用户B的计算设备（反之亦然）通过对原始传感器数据的分析来检测。关于用户A1010的通知信息（例如，动作信息）可以通过使用通知1050而被发送至中央计算设备1040。中央计算设备1040可以将通知信息1070发送到用户A 1010、用户B 1020、以及用户C 1030的计算设备中的一个或多个上。选择哪些计算设备来与之共享通知信息可以由设备订阅（例如，订阅来接收此信息的设备）、计算设备中的隐私设置、接近度等等中的一项或多项来确定。例如，与在到特定计算设备的特定接近度内的用户有关的通知信息可以被发送至该特定计算设备。用户C的计算设备也可以记录用户A的传感器数据。用户A的动作（例如，姿势）可以由用户C的计算设备（反之亦然）通过对原始传感器数据的分析来检测。关于用户A1010的通知信息（例如，动作信息）可以通过使用通知1060而被发送至中央计算设备1040。中央计算设备1040可以将通知信息1070发送至用户A 1010、用户B 1020、以及用户C 1030的计算设备中的一个或多个。用户A的计算设备也可以记录用户B的传感器数据。用户B的动作（例如，姿势）可以由用户A的计算设备（反之亦然）通过对原始传感器数据的分析来检测。关于用户B 1020的通知信息（例如，动作信息）可以通过使用通知1080而被发送至中央计算设备1040。中央计算设备1040可以将通知信息1070发送至用户A 1010、用户B 1020、以及用户C 1030的计算设备中的一个或多个。如已经提到的，通知信息1070可以是与在通知信息1050、1060、以及1080中发送的相同的信息，或者可以是基于在1050、1060、以及1080中的通知信息的不同通知信息。因而，尽管每个计算设备仅具有应用中的用户的有限视场，但是通过信息的协作共享，每一个计算设备可以获得关于应用中的所有用户的信息。
图2示出了根据本公开的一些示例的使用中央计算设备（例如，诸如网络服务器）的协作多用户自然交互服务的消息序列图2000。用户A 2010的计算设备可以使用注册请求消息2050来向网络服务器2030注册。此注册可以指定设备2010有兴趣接收的通知信息。注册消息2050可以在高级别或粒度级别指定通知信息。例如，注册信息可以请求与参与特定应用或应用实例的所有设备相关联的所有信息；针对应用的特定用户的所有信息；仅某些传感器信息、模型信息、动作信息、或状态信息（例如，仅向我示出特定用户何时悲伤）；等等。网络服务器2030可以处理请求2050并且将其转发到中央计算设备2040上（由消息2060表示的）。注册2060可以被记录在与中央计算设备2040相关联的数据储存器上并且响应2070可以被发送。网络服务器2030然后可以利用注册响应2080来进行响应。可以针对用户B设备2020利用消息2090、2100、2110、以及2120重复该过程。在一些示例中，网络服务器2030可以是中央计算设备2040的部分。
在操作2125处，用户A 2010的计算设备可以检测对应于另一用户（例如，用户B）的事件。事件可以是模型中的任何改变（例如，所检测的动作）、一个或多个对象或用户的状态中的改变等。事件还可以包括定时器的期满——例如，计算设备可以向中央计算设备2040（例如，中央计算设备）规则地发送包括通知信息的更新。在一些示例中，通知信息可以描述事件，或者可以描述计算设备的当前模型。通知2130可以被发送至网络服务器2030，网络服务器2030可以将通知2140转发至中央计算设备2040。中央计算设备2040可以在消息2150中将通知转发回至网络服务器，以便基于订阅信息分发至一个或多个所选择的计算设备。在一些示例中，中央计算设备2040可以处理所接收到的通知2140。例如，如果通知是原始传感器数据，那么中央计算设备2040可以使用该数据（并且在一些示例中，先前接收到的来自其它设备的原始传感器数据）来建立模型、检测对象、检测动作、推断状态等。在这些示例中，通知2130和2140中的信息可以不同于从中央计算设备2040发送的通知2150中的信息（因为它可以被处理）。网络服务器2030可以使用消息2160来将通知2150转发至用户B的计算设备2020，并且在一些示例中使用消息2170来将通知2150转发至用户A的计算设备2010。尽管图2示出了利用点对点消息传送2160和2170的示例实施方式，但是在其它示例中可以采用多播或广播消息传送。
图3示出了根据本公开的一些示例的使用中央计算设备的协作多用户自然交互服务的示例消息序列图3000。在图3中示出的示例中，用户C 3030正面向用户A 3010，用户A3010挥手3050，并且该事件被用户C的计算设备3035检测到。用户C的计算设备3035可以将指示用户A挥手过的通知消息3060（在此情况下，动作信息）发送至中央计算设备3040。中央计算设备3040然后可以将通知消息3070发送至用户B的计算设备3025，并且在一些示例中协作多用户服务3040可以将通知3080发送至用户A的计算设备3015。这些通知消息3070和3080可以指示用户A 3010挥手过。此指示可以允许计算设备3015和3025更新应用，所述应用可以显示此指示或者基于此指示来以其它方式提供数字内容。在其它示例中，消息3080和3070可以是基于通知3060来更新在设备3015、3025、以及3035上执行的应用中的一个或多个虚拟对象的一个或多个状态的消息。例如，如果应用是增强现实游戏并且挥手姿势被用于施展魔咒，那么消息3080和3070可以被用于更新增强现实的显示来反映所施展的咒语。在这些示例中，消息还可以被发送至用户C的计算设备3035。
继续图3，用户B 3020可以微笑3090。用户A的计算设备3015可以检测该微笑并且将通知消息3100发送至中央计算设备3040。中央计算设备3040可以将指示用户B已经微笑过的通知3110发送至用户C的设备3035，并且在一些示例中将通知3120发送至用户B的计算设备（并且在更进一步的示例中将指示发送至用户A的计算设备3015）。如已经提到的，这可以是用户B微笑过的指示（或某个其它用户状态指示），或者可以是对一个或多个虚拟对象的更新。类似地，在用户C行走3130时，其可以被用户B的计算设备3025检测到。用户B的计算设备3025可以将通知3140发送至中央计算设备3040，其然后可以将通知3150和3160发送至用户A的计算设备和用户C的计算设备。
现在转向图4，示出了根据本公开的一些示例的促进信息在基于传感器的应用中的共享的中央计算设备的方法4000的流程图。在操作4010处，中央计算设备可以接收消息。如果消息是注册消息，那么中央计算设备可以在操作4020处处理该注册消息。处理该注册消息可以包括在本地存储装置中存储注册细节。注册消息可以向特定应用注册计算设备。在一些示例中，注册消息可以在基于与针对其发送通知的特定用户的接近度来发送通知的示例中在特定位置处注册计算设备。在这些示例中，注册消息可以被计算设备周期性地发送，以利用中央计算设备更新计算设备的位置。
如果在操作4010处接收的消息是通知消息，那么可以在操作4030处处理该通知消息。在一些示例中，处理该通知可以包括基于该通知中所包括的信息来计算模型信息，包括动作、状态等。在操作4040处，可以确定将从中央计算设备接收第二通知的计算设备（目标设备）。这可以基于注册信息。在操作4050处，可以将第二通知发送至目标计算设备。第一和第二通知可以包括相同的信息（例如，原始传感器数据、动作信息、状态信息、模型信息等）。在其它示例中，第二通知可以包括基于第一通知计算的信息——例如，根据第一通知中的原始传感器数据计算的（例如，在操作4030处计算的）模型数据。
现在转向图5，示出了根据本公开的一些示例的向基于传感器的应用提供关于用户的信息的计算设备的方法5000。在操作5010处，计算设备向中央计算设备注册。在操作5020处，计算设备接收事件。事件可以包括通知或传感器数据。如果事件是（例如，从另一计算设备或中央计算设备接收的）通知，那么计算设备可以读取该通知，并且如果必要的话，在5040处计算或更新计算设备的模型。例如，如果通知是原始传感器数据，那么计算设备可以检测以下中的一项或多项：一个或多个对象、所检测的对象一个或多个动作和/或一个或多个状态。在其它示例中，如果通知包括模型信息，那么通知中的模型信息可以被用来更新计算设备中的模型信息。在操作5050处，在一些示例中，通知信息和/或经更新的模型可以被利用来通知应用。例如，计算设备可以将通知发送至基于传感器的应用。在一些示例中，图5的操作可以由基于传感器的应用本身来执行。在这些示例中，通知可以是函数调用、过程调用、标志、内部过程通信、过程间通信等。应用可以利用信息来更新应用状态。更新可以包括例如更新应用的显示。作为示例，如果通知信息是由另一计算设备感知的关于基于传感器的应用的用户的所感知状态（例如，所感知情绪）的信息，那么基于传感器的应用可以向用户显示该状态。
如果在操作5020处的所接收的事件是传感器数据（或者在一些示例中，排定的传感器读数），那么计算设备可以计算或更新模型5060。例如，计算设备可以根据传感器数据来计算动作、状态（例如，情绪）或其它模型信息。在操作5070处，计算设备可以将传感器数据或模型信息（包括动作、情绪等）发送至中央计算设备。在操作5050处，计算设备可以基于传感器数据来通知基于传感器的应用5050。
图6示出了根据本公开的一些示例的用于向协作多用户自然交互的基于传感器的应用6000提供信息的系统的示意图，包括计算设备6010和中央计算设备6020的逻辑图。计算设备（诸如膝上型设备6010、移动设备6030、以及可穿戴设备6040（被示出为可穿戴计算眼镜））可以参与增强现实应用并且可以在网络6050上通过中央计算设备6020彼此通信。计算设备可以包括各种逻辑模块，其可以实施图4的方法和来自图2-3的消息序列图中的一个或多个。图4的方法可以由被示出用于图6的计算设备6010的模块中的一个或多个来执行。
注册模块6060可以向中央计算设备6020注册。如已经提到的，它可以注册来接收与特定应用相关联的通知。在一些示例中，注册模块可以将注册消息发送至中央计算设备6020，以关于计算设备6010的位置更新中央计算设备6020。注册模块6060可以通过输入和输出模块6100将注册消息发送至中央计算设备6020。输入和输出模块6100可以实施一个或多个通信协议来跨越网络6050与一个或多个其它计算设备和中央计算设备6020通信。输入和输出模块6100还可以向计算设备6010的用户输出显示和其它界面。
传感器模块6070可以是一个或多个传感器，诸如3D照相机，其可以是面向前的并且可以捕获关于现实世界的数据。传感器模块6070可以向模型模块6090提供此数据。模型模块6090可以分析传感器数据来识别现实世界中的对象、确定那些对象所采取的动作、以及基于那些动作来确定那些对象的状态（例如，情绪）。在一些示例中，计算设备6010可以不具有用以根据传感器数据来计算模型信息的处理功率或电池寿命，或者可能期望限制用于计算模型信息的处理功率的量。在这些示例中，计算设备6010可以将原始传感器数据或部分计算发送至中央计算设备6020。中央计算设备6020的模型模块6120然后可以使用原始传感器数据或部分计算来计算模型信息。所完成的计算然后可以被发送回到计算设备6010。控制模块6080可以利用关于耦合到计算设备的基于传感器的应用中的计算设备的用户所确定的数据。例如，控制模块6080可以将此数据传送至基于传感器的应用，或者可以为基于传感器的应用提供一种方式来获得此信息（例如，提供应用编程接口API）。在其它示例中，控制模块6080可以提供基于传感器的应用，诸如增强现实应用，并且可以协调其它模块的动作。控制模块6080可以基于传感器数据来将通知发送至中央计算设备6020。例如，控制模块6080可以在模型改变时或者在模型以预定方式改变（例如，对象的状态改变，动作被检测到，等等）时发送通知。
中央计算设备6020可以包括各种逻辑模块，其可以实施图5的方法和来自图2-3的消息序列图中的一个或多个。图5的方法可以由被示出用于图6的中央计算设备6020的模块中的一个或多个来执行。例如，中央计算设备6020可以包括注册模块6110，其可以处理注册和/或对计算设备6010的位置的更新。模型模块6120可以利用通过通知模块6130从其它计算设备接收的通知来更新或创建由中央计算设备6020存储的模型。例如，模型模块6120可以分析通知中的信息来识别现实世界中的对象、确定那些对象所采取的动作、以及基于那些动作来确定那些对象的状态（例如，情绪）。作为接收通知的结果，通知模块6130可以确定将通知发送给哪些计算设备。如已经提到的，从通知模块6130发送的通知可以包括与从计算设备接收的信息相同或不同的信息。通知模块6130还可以接收和处理来自计算设备的通知。输入和输出模块6140可以实施一个或多个通信协议来跨越网络6050与一个或多个其它计算设备通信。控制模块6150可以协调注册模块6110、模型模块6120、通知模块6130、以及输入和输出模块6140的活动。控制模块6150还可以提供或促进一个或多个集中管理的传感器应用。例如，增强现实游戏。在这些示例中，从计算设备6010发送的通知可以更新这些应用的一个或多个状态。对应用的更新然后可以在通知消息中被发送至计算设备6010。
图7图示了示例机器7000的框图，在所述示例机器7000上可以执行在本文中讨论的技术（例如，方法）中的任何一种或多种。在可替换实施例中，机器7000可以作为单独的设备进行操作或者可以被连接（例如，被联网）到其它机器。在联网的部署中，机器7000可以在服务器-客户端网络环境中以服务器机器、客户端机器、或者二者的容量进行操作。在示例中，机器7000可以在对等（P2P）（或者其它分布式）网络环境中充当对等端机器。机器7000可以是以如下形式的计算设备、中央计算设备等：个人计算机（PC）、平板PC、可穿戴计算设备、机顶盒（STB）、个人数字助理（PDA）、移动电话、智能电话、网络电器、网络路由器、交换机或桥、或能够（顺序地或以其它方式）执行指定要被机器采取的动作的指令的任何机器。此外，尽管仅图示了单个机器，但是术语“机器”也将被采用来包括机器的任何集合，所述机器单独地或联合地执行一个指令集（或多个指令集）以执行在本文中所讨论的方法的任何一种或多种，诸如云计算、软件即服务（SaaS）、其它计算机集群配置。
如本文中所描述的示例可以包括逻辑或多个部件、模块或机制或者可以对其进行操作。模块是能够执行指定的操作并且可以以一定方式配置或布置的有形实体（例如，硬件）。在示例中，电路可以以指定方式（例如，内部地或关于诸如其它电路之类的外部实体）布置为模块。在示例中，一个或多个计算机系统（例如，单独的客户端或服务器计算机系统）或一个或多个硬件处理器的全部或部分可以被固件或软件（例如，指令、应用部分、或应用）配置为操作来执行指定操作的模块。在示例中，软件可以驻留于机器可读介质上。在示例中，软件在被模块的底层硬件执行时使硬件执行指定操作。
因此，术语“模块”被理解为涵盖有形实体，即一种实体，其在物理上构造为、具体地配置（例如，硬连线）为、或临时地（例如，瞬态地）配置（例如，编程）为以指定方式进行操作或者执行本文中描述的任何操作的部分或全部。考虑到其中模块被临时地配置的示例，模块中的每一个不需要在任何一个时刻被实例化。例如，在模块包括使用软件配置的通用硬件处理器的情况下，通用硬件处理器可以在不同的时间被配置为相应的不同模块。软件可以相应地配置硬件处理器，例如以在一个时间实例处构成特定模块以及在不同的时间实例处构成不同的模块。
机器（例如，计算机系统）7000可以包括硬件处理器7002（例如，中央处理单元（CPU）、图形处理单元（GPU）、硬件处理器核、或者其任何组合）、主存储器7004以及静态存储器7006，其中的一些或全部可以经由互连（例如，总线）7008彼此通信。机器7000可以进一步包括显示单元7010、字母数字输入设备7012（例如，键盘）、以及用户接口（UI）导航设备7014（例如，鼠标）。在示例中，显示单元7010、输入设备7012以及UI导航设备7014可以是触屏显示器。机器7000可以附加地包括存储设备（例如，驱动单元）7016、信号生成设备7018（例如，扬声器）、网络接口设备7020、以及一个或多个传感器7021，诸如全球定位系统（GPS）传感器、罗盘、加速度计、或其它传感器。机器7000可以包括输出控制器7028，诸如串行的（例如，通用串行总线（USB））、并行的、或其它有线或无线的（例如，红外（IR）、近场通信（NFC）等）连接，以传送或控制一个或多个外围设备（例如，打印机、读卡器等）。
存储设备7016可以包括机器可读介质7022，在其上存储了由本文中描述的技术或功能中的任何一种或多种所采用或利用的数据结构或指令7024（例如，软件）的一个或多个集合。指令7024也可以在其被机器7000执行期间完整地或者至少部分地驻留于主存储器7004内、静态存储器7006内、或硬件处理器7002内。在示例中，硬件处理器7002、主存储器7004、静态存储器7006、或存储设备7016中的一个或任何组合可以构成机器可读介质。
尽管机器可读介质7022被图示为单个介质，但是术语“机器可读介质”可以包括被配置成存储一个或多个指令7024的单个介质或多个介质（例如，集中式或分布式数据库和/或相关联的高速缓存和服务器）。
术语“机器可读介质”可以包括能够存储、编码或执行供机器7000执行的指令并且使机器7000执行本公开的技术中的任何一种或多种或者能够存储、编码或执行由这样的指令使用或与这样的指令相关联的数据结构的任何介质。非限制性机器可读介质示例可以包括固态存储器、以及光学和磁性介质。机器可读介质的特定示例可以包括：非易失性存储器，诸如半导体存储设备（例如，电可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM））以及闪速存储设备；磁盘，诸如内部硬盘以及可移除盘；磁光盘；随机存取存储器（RAM）；固态驱动器（SSD）；以及CD-ROM和DVD-ROM盘。在一些示例中，机器可读介质可以包括非瞬态机器可读介质。在一些示例中，机器可读介质可以包括不是瞬态传播信号的机器可读介质。
指令7024还可以经由网络接口设备7020使用传输介质通过通信网络7026被发送或接收。机器7000可以利用多种传输协议（例如，帧中继、互联网协议（IP）、传输控制协议（TCP）、用户数据报协议（UDP）、超文本传输协议（HTTP）等）中的任一种来与一个或多个其它机器通信。除了其它的之外，示例通信网络可以包括局域网（LAN）、广域网（WAN）、分组数据网络（例如，互联网）、移动电话网络（例如，蜂窝网络）、简易老式电话（POTS）网络、以及无线数据网络（例如，称为Wi-Fi®的电气与电子工程师协会（IEEE）802.11族的标准、称为WiMax®的IEEE 802.16族的标准）、IEEE 802.15.4族的标准、长期演进（LTE）族的标准、通用移动电信系统（UMTS）族的标准、对等（P2P）网络。在示例中，网络接口设备7020可以包括一个或多个物理插孔（例如，以太网插孔、同轴插孔或电话插孔）或者一个或多个天线，以连接到通信网络7026。在示例中，网络接口设备7020可以包括多个天线，以使用以下中的至少一种来无线地通信：单输入多输出（SIMO）、多输入多输出（MIMO）、或多输入单输出（MISO）技术。在一些示例中，网络接口设备7020可以使用多用户MIMO技术来无线地通信。
其它注释和示例
示例1包括主题（诸如设备、装置或机器），其包括：一个或多个计算机处理器，其被配置成包括：通知模块，其用以：通过计算机网络从第一计算设备接收第一通知，所述第一通知包括从所述第一计算设备上的传感器确定的数据，从所述传感器确定的所述数据指示关于与第二计算设备相关联的用户所确定的信息；控制模块，其用以：确认向增强现实应用注册所述第二计算设备；以及响应于确认所述第二计算设备被注册而向所述第二计算设备发送第二通知，其中所述第二通知基于所述第一通知。
在示例2中，示例1的主题可以包括，其中所述第一通知包括原始传感器数据，并且其中所述第二通知包括所述原始传感器数据。
在示例3中，示例1至2中的任一个的主题可以包括，其中所述第一通知包括原始传感器数据，并且其中所述控制模块还被配置成根据所述原始传感器数据确定关于用户的模型数据并且其中所述第二通知包括所述模型数据。
在示例4中，示例1至3中的任一个的主题可以包括，其中所述模型数据是描述用户的动作的动作信息。
在示例5中，示例1至4中的任一个的主题可以包括，其中所述模型数据是描述用户的状态的状态信息。
在示例6中，示例1至5中的任一个的主题可以包括，其中所述第一通知包括对应于用户的模型数据并且其中所述第二通知包括所述模型数据。
在示例7中，示例1至6中的任一个的主题可以包括，其中所述第一通知包括描述第一用户的状态的对象状态信息并且其中所述第二通知包括对象状态信息。
在示例8中，示例1至7中的任一个的主题可以包括，其中所述第一通知包括描述用户的动作的动作信息并且其中所述第二通知包括动作信息。
在示例9中，示例1至8中的任一个的主题可以包括，其中所述增强现实应用是游戏。
在示例10中，示例1至9中的任一个的主题可以包括，其中所述增强现实应用是向用户显示用户的状态的应用，所述状态由所述第二计算设备检测。
示例11包括主题（诸如方法、用于执行行动的装置、包括在被机器执行时使机器执行行动的指令的机器可读介质、或者要执行的装置），其包括：在中央计算设备处，使用一个或多个处理器：通过计算机网络从第一计算设备接收第一通知，所述第一通知包括从所述第一计算设备上的传感器确定的数据，从所述传感器确定的所述数据指示关于与第二计算设备相关联的用户的信息；确认向增强现实应用注册所述第二计算设备；以及响应于确认所述第二计算设备被注册到增强现实应用，向所述第二计算设备发送第二通知，其中所述第二通知基于所述第一通知。
在示例12中，示例11的主题可以包括，其中所述第一通知包括原始传感器数据，并且其中所述第二通知包括所述原始传感器数据。
在示例13中，示例11至12中的任一个的主题可以包括，其中所述第一通知包括原始传感器数据，并且其中所述方法包括根据所述原始传感器数据确定关于用户的模型数据并且其中所述第二通知包括所述模型数据。
在示例14中，示例11至13中的任一个的主题可以包括，其中所述模型数据是描述用户的动作的动作信息。
在示例15中，示例11至14中的任一个的主题可以包括，其中所述模型数据是描述用户的状态的状态信息。
在示例16中，示例11至15中的任一个的主题可以包括，其中所述第一通知包括对应于用户的模型数据并且其中所述第二通知包括所述模型数据。
在示例17中，示例11至16中的任一个的主题可以包括，其中所述第一通知包括描述第一用户的状态的对象状态信息并且其中所述第二通知包括对象状态信息。
在示例18中，示例11至17中的任一个的主题可以包括，其中所述第一通知包括描述用户的动作的动作信息并且其中所述第二通知包括动作信息。
在示例19中，示例11至18中的任一个的主题可以包括，其中所述增强现实应用是游戏。
在示例20中，示例11至19中的任一个的主题可以包括，其中所述增强现实应用是向用户显示用户的状态的应用，所述状态由所述第二计算设备检测。
示例21包括至少一个机器可读介质，其包括在被机器执行时使机器执行示例11-20中的任一个的操作的指令。
示例22包括一种装置，其包括用于执行示例11-20中的任一个的装置。
示例23包括主题（诸如设备、装置、或机器），其包括：用于通过计算机网络从第一计算设备接收第一通知的装置，所述第一通知包括从所述第一计算设备上的传感器确定的数据，从所述传感器确定的所述数据指示关于与第二计算设备相关联的用户的信息；用于确认向增强现实应用注册所述第二计算设备的装置；以及用于响应于确认所述第二计算设备被注册到增强现实应用而向所述第二计算设备发送第二通知的装置，其中所述第二通知基于所述第一通知。
在示例24中，示例23的主题可以包括，其中所述第一通知包括原始传感器数据，并且其中所述第二通知包括所述原始传感器数据。
在示例25中，示例23至24中的任一个的主题可以包括，其中所述第一通知包括原始传感器数据，并且其中所述中央计算设备包括用于根据所述原始传感器数据确定关于用户的模型数据的装置并且其中所述第二通知包括所述模型数据。
在示例26中，示例23至25中的任一个的主题可以包括，其中所述模型数据是描述用户的动作的动作信息。
在示例27中，示例23至26中的任一个的主题可以包括，其中所述模型数据是描述用户的状态的状态信息。
在示例28中，示例23至27中的任一个的主题可以包括，其中所述第一通知包括对应于用户的模型数据并且其中所述第二通知包括所述模型数据。
在示例29中，示例23至28中的任一个的主题可以包括，其中所述第一通知包括描述第一用户的状态的对象状态信息并且其中所述第二通知包括对象状态信息。
在示例30中，示例23至29中的任一个的主题可以包括，其中所述第一通知包括描述用户的动作的动作信息并且其中所述第二通知包括动作信息。
在示例31中，示例23至30中的任一个的主题可以包括，其中所述增强现实应用是游戏。
在示例32中，示例23至31中的任一个的主题可以包括，其中所述增强现实应用是包括用于向用户显示用户的状态的装置的应用，所述状态由所述第二计算设备检测。
示例33包括主题（诸如设备、装置、或机器），其包括：一个或多个计算机处理器，其被配置成包括：注册模块，其用以：向中央计算设备发送注册消息，所述注册消息向所述中央计算设备注册所述第一计算设备；通知模块，其用以：从所述中央计算设备接收通知，其中所述通知包括根据第二计算设备上的面向前的传感器关于所述计算设备的用户所确定的数据；以及控制模块，其用以：在耦合到所述计算设备的基于传感器的应用中利用关于所述计算设备的用户所确定的数据。
在示例34中，示例33的主题可以包括，其中所述通知包括原始传感器数据。
在示例35中，示例33至34中的任一个的主题可以包括，其中所述通知包括模型数据。
在示例36中，示例33至35中的任一个的主题可以包括，其中所述模型数据是描述第一用户的状态的状态信息。
在示例37中，示例33至36中的任一个的主题可以包括，其中所述模型数据是描述用户的动作的动作信息。
在示例38中，示例33至37中的任一个的主题可以包括，其中所述基于传感器的应用是游戏，并且其中所述第一和第二通知是作用于来自游戏的对象的输入。
示例39包括主题（诸如方法、用于执行行动的装置、包括在被机器执行时使机器执行行动的机器可读介质、或者要执行的装置），其包括：在与用户相关联的第一计算设备处，使用一个或多个处理器：向中央计算设备发送注册消息，所述注册消息向所述中央计算设备注册所述第一计算设备；从所述中央计算设备接收通知，其中所述通知包括从第二计算设备上的面向前的传感器关于用户所确定的数据；以及在耦合到所述计算设备的基于传感器的应用中利用关于所述计算设备的用户所确定的数据。
在示例40中，示例39的主题可以包括，其中所述通知包括原始传感器数据。
在示例41中，示例39至40中的任一个的主题可以包括，其中所述通知包括模型数据。
在示例42中，示例39至41中的任一个的主题可以包括，其中所述模型数据是描述第一用户的状态的状态信息。
在示例43中，示例39至42中的任一个的主题可以包括，其中所述模型数据是描述用户的动作的动作信息。
在示例44中，示例39至43中的任一个的主题可以包括，其中所述基于传感器的应用是游戏，并且其中所述第一和第二通知是作用于来自游戏的对象的输入。
示例45包括至少一个机器可读介质，其包括在被机器执行时使机器执行示例39-44中的任一个的操作的指令。
示例46包括一种装置，其包括用于执行示例39-44中的任一个的装置。
示例47包括主题（诸如设备、装置、或机器），其包括：用于向中央计算设备发送注册消息的装置，所述注册消息向所述中央计算设备注册所述第一计算设备；用于从所述中央计算设备接收通知的装置，其中所述通知包括从第二计算设备上的面向前的传感器关于与所述计算设备相关联的用户所确定的数据；以及用于在耦合到所述计算设备的基于传感器的应用中利用关于所述计算设备的用户所确定的数据的装置。
在示例48中，示例47的主题可以包括，其中所述通知包括原始传感器数据。
在示例49中，示例47至48中的任一个的主题可以包括，其中所述通知包括模型数据。
在示例50中，示例47至49中的任一个的主题可以包括，其中所述模型数据是描述第一用户的状态的状态信息。
在示例51中，示例47至50中的任一个的主题可以包括，其中所述模型数据是描述用户的动作的动作信息。
在示例52中，示例47至51中的任一个的主题可以包括，其中所述基于传感器的应用是游戏，并且其中所述第一和第二通知是作用于来自游戏的对象的输入。
示例53包括主题（诸如设备、装置、或机器），其包括：一个或多个计算机处理器，其被配置成包括：注册模块，其用以：向中央计算设备发送注册消息，所述注册消息向所述中央计算设备注册所述第一计算设备；通知模块，其用以：将通知发送至所述中央计算设备，其中所述通知包括从所述计算设备上的面向前的传感器关于第二计算设备的用户所确定的数据；以及控制模块，其用以：在耦合到所述计算设备的基于传感器的应用中利用关于所述第二计算设备的用户所确定的数据。
在示例54中，示例53的主题可以包括，其中所述通知包括原始传感器数据。
在示例55中，示例53至54中的任一个的主题可以包括，其中所述通知包括模型数据。
在示例56中，示例53至55中的任一个的主题可以包括，其中所述模型数据是描述第一用户的状态的状态信息。
在示例57中，示例53至56中的任一个的主题可以包括，其中所述模型数据是描述用户的动作的动作信息。
在示例58中，示例53至57中的任一个的主题可以包括，其中所述基于传感器的应用是游戏，并且其中所述第一和第二通知是作用于来自游戏的对象的输入。
示例59包括主题（诸如方法、用于执行行动的装置、包括在被机器执行时使机器执行行动的机器可读介质、或者要执行的装置），其包括：在与用户相关联的第一计算设备处，使用一个或多个处理器：向中央计算设备发送注册消息，所述注册消息向所述中央计算设备注册所述第一计算设备；将通知发送至所述中央计算设备，其中所述通知包括从所述计算设备上的面向前的传感器关于第二计算设备的用户确定的数据；以及在耦合到所述计算设备的基于传感器的应用中利用关于所述第二计算设备的用户确定的数据。
在示例60中，示例59的主题可以包括，其中所述通知包括原始传感器数据。
在示例61中，示例59至60中的任一个的主题可以包括，其中所述通知包括模型数据。
在示例62中，示例59至61中的任一个的主题可以包括，其中所述模型数据是描述第一用户的状态的状态信息。
在示例63中，示例59至62中的任一个的主题可以包括，其中所述模型数据是描述用户的动作的动作信息。
在示例64中，示例59至63中的任一个的主题可以包括，其中所述基于传感器的应用是游戏，并且其中所述第一和第二通知是作用于来自游戏的对象的输入。
示例65包括至少一个机器可读介质，其包括在被机器执行时使机器执行示例59-64中的任一个的操作的指令。
示例59包括主题（诸如设备、装置、或机器），其包括：用于向中央计算设备发送注册消息的装置，所述注册消息向所述中央计算设备注册所述第一计算设备；用于将通知发送至所述中央计算设备的装置，其中所述通知包括从所述计算设备上的面向前的传感器关于第二计算设备的用户确定的数据；以及用于在耦合到所述计算设备的基于传感器的应用中利用关于所述第二计算设备的用户确定的数据的装置。
在示例60中，示例59的主题可以包括，其中所述通知包括原始传感器数据。
在示例61中，示例59至60中的任一个的主题可以包括，其中所述通知包括模型数据。
在示例62中，示例59至61中的任一个的主题可以包括，其中所述模型数据是描述第一用户的状态的状态信息。
在示例63中，示例59至62中的任一个的主题可以包括，其中所述模型数据是描述用户的动作的动作信息。
在示例64中，示例59至63中的任一个的主题可以包括，其中所述基于传感器的应用是游戏，并且其中所述第一和第二通知是作用于来自游戏的对象的输入。

Claims (25)

1.一种中央计算设备，其包括：
一个或多个计算机处理器，其被配置成包括：
通知模块，其用以：
通过计算机网络从第一计算设备接收第一通知，所述第一通知包括从所述第一计算设备上的传感器确定的数据，从所述传感器确定的所述数据指示关于与第二计算设备相关联的用户所确定的信息；
控制模块，其用以：
确认向增强现实应用注册所述第二计算设备，所述注册指定所述第二设备有兴趣接收的通知信息；
模型模块，其用以：
响应于确认使用从所述传感器确定的数据注册所述第二计算设备来计算更新的模型，所述更新的模型描述了现实世界的至少一部分，所述现实世界的至少一部分包括针对所述用户的描述了所述用户的推断出的情绪的状态；以及
其中所述控制模块还响应于确认所述第二计算设备被注册进一步用以：
向所述第二计算设备发送第二通知，其中所述第二通知包括所述更新的模型的至少一部分，所述更新的模型的至少一部分描述了针对所述用户的描述了所述用户的推断出的情绪的状态，所述第二计算设备向所述用户显示所述推断出的情绪；
向所述第一计算设备发送第三通知，其中所述第三通知包括所述更新的模型的至少一部分。
2.根据权利要求1所述的中央计算设备，其中所述第一通知包括原始传感器数据，并且其中所述第二通知包括所述原始传感器数据。
3.根据权利要求1所述的中央计算设备，其中所述第一通知包括原始传感器数据，并且其中所述控制模块还被配置成根据所述原始传感器数据确定关于用户的模型数据并且其中所述第二通知包括所述模型数据。
4.根据权利要求3所述的中央计算设备，其中所述模型数据是描述用户的动作的动作信息。
5.根据权利要求3所述的中央计算设备，其中所述模型数据是描述用户的状态的状态信息。
6.根据权利要求1所述的中央计算设备，其中所述第一通知包括对应于用户的模型数据并且其中所述第二通知包括所述模型数据。
7.根据权利要求6所述的中央计算设备，其中所述第一通知包括描述第一用户的状态的对象状态信息并且其中所述第二通知包括对象状态信息。
8.根据权利要求6所述的中央计算设备，其中所述第一通知包括描述用户的动作的动作信息并且其中所述第二通知包括动作信息。
9.根据权利要求1所述的中央计算设备，其中所述增强现实应用是游戏。
10.根据权利要求1所述的中央计算设备，其中所述增强现实应用是向用户显示用户的状态的应用，所述状态由所述第二计算设备检测。
11.至少一个机器可读介质，包括在被机器执行时使机器实现如权利要求1-10中所要求保护的装置的指令。
12.一种参与协作多用户交互服务的计算设备，所述计算设备包括：
一个或多个计算机处理器，其被配置成包括：
注册模块，其用以：
向中央计算设备发送注册消息，所述注册消息向所述中央计算设备注册第一计算设备以及所述注册指定所述第一设备有兴趣接收的通知信息；
通知模块，其用以：
从所述中央计算设备接收通知，其中所述通知包括从第二计算设备上的面向前的传感器关于所述计算设备的用户所确定的数据，所述通知包括更新的模型的至少一部分，所述更新的模型的至少一部分由所述中央计算设备计算并且描述了针对所述用户的状态，所述针对所述用户的状态包括由所述中央计算设备推断出的所述用户的情绪；以及
控制模块，其用以：
通过向所述用户至少显示推断出的情绪的指示，在耦合到所述计算设备的基于传感器的应用中利用关于所述计算设备的用户所确定的数据。
13.根据权利要求12所述的计算设备，其中所述通知包括原始传感器数据。
14.根据权利要求12所述的计算设备，其中所述通知包括模型数据。
15.根据权利要求14所述的计算设备，其中所述模型数据是描述第一用户的状态的状态信息。
16.根据权利要求14所述的计算设备，其中所述模型数据是描述用户的动作的动作信息。
17.根据权利要求12所述的计算设备，其中所述基于传感器的应用是游戏，并且其中所述通知是作用于来自游戏的对象的输入。
18.至少一个机器可读介质，包括在被机器执行时使机器实现如权利要求12-17中所要求保护的计算设备的指令。
19.一种中央计算设备，其包括：
用于通过计算机网络从第一计算设备接收第一通知的装置，所述第一通知包括从所述第一计算设备上的传感器确定的数据，从所述传感器确定的所述数据指示关于与第二计算设备相关联的用户的信息；
用于确认向增强现实应用注册所述第二计算设备的装置，所述注册指定所述第二设备有兴趣接收的通知信息；
用于响应于确认使用从所述传感器确定的数据注册所述第二计算设备来计算更新的模型的装置，所述更新的模型描述了现实世界的至少一部分，所述现实世界的至少一部分包括针对所述用户的描述了所述用户的推断出的情绪的状态；以及
用于响应于确认所述第二计算设备被注册进一步用以进行以下操作的装置：
向所述第二计算设备发送第二通知，其中所述第二通知包括所述更新的模型的至少一部分，所述更新的模型的至少一部分描述了针对所述用户的描述了所述用户的推断出的情绪的状态，所述第二计算设备向所述用户显示所述推断出的情绪；
向所述第一计算设备发送第三通知，其中所述第三通知包括所述更新的模型的至少一部分。
20.根据权利要求19所述的中央计算设备，其中所述第一通知包括原始传感器数据，并且其中所述第二通知包括所述原始传感器数据。
21.根据权利要求19所述的中央计算设备，其中所述第一通知包括原始传感器数据，并且其中所述中央计算设备包括用于根据所述原始传感器数据确定关于用户的模型数据的装置并且其中所述第二通知包括所述模型数据。
22.根据权利要求21所述的中央计算设备，其中所述模型数据是描述用户的动作的动作信息。
23.根据权利要求21所述的中央计算设备，其中所述模型数据是描述用户的状态的状态信息。
24.根据权利要求19所述的中央计算设备，其中所述第一通知包括对应于用户的模型数据并且其中所述第二通知包括所述模型数据。
25.根据权利要求19所述的中央计算设备，其中所述第一通知包括描述第一用户的状态的对象状态信息并且其中所述第二通知包括对象状态信息。
CN201580062924.7A 2014-12-18 2015-12-03 多用户的基于传感器的交互 Active CN107003819B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/575797 2014-12-18
US14/575,797 US9633622B2 (en) 2014-12-18 2014-12-18 Multi-user sensor-based interactions
PCT/US2015/063797 WO2016099933A1 (en) 2014-12-18 2015-12-03 Multi-user sensor-based interactions

Publications (2)

Publication Number Publication Date
CN107003819A CN107003819A (zh) 2017-08-01
CN107003819B true CN107003819B (zh) 2021-10-08

Family

ID=56127341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580062924.7A Active CN107003819B (zh) 2014-12-18 2015-12-03 多用户的基于传感器的交互

Country Status (6)

Country Link
US (1) US9633622B2 (zh)
EP (1) EP3234740A4 (zh)
JP (1) JP6716563B2 (zh)
KR (1) KR102650978B1 (zh)
CN (1) CN107003819B (zh)
WO (1) WO2016099933A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7644376B2 (en) * 2003-10-23 2010-01-05 Microsoft Corporation Flexible architecture for notifying applications of state changes
US9633622B2 (en) 2014-12-18 2017-04-25 Intel Corporation Multi-user sensor-based interactions
JP2017010387A (ja) * 2015-06-24 2017-01-12 キヤノン株式会社 システム、複合現実表示装置、情報処理方法及びプログラム
WO2017004241A1 (en) * 2015-07-02 2017-01-05 Krush Technologies, Llc Facial gesture recognition and video analysis tool
US10523991B2 (en) * 2015-08-31 2019-12-31 Orcam Technologies Ltd. Systems and methods for determining an emotional environment from facial expressions
US10466953B2 (en) * 2017-03-30 2019-11-05 Microsoft Technology Licensing, Llc Sharing neighboring map data across devices
US20230138204A1 (en) * 2021-11-02 2023-05-04 International Business Machines Corporation Augmented reality object interaction and notification

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103141080A (zh) * 2010-09-23 2013-06-05 索尼电脑娱乐公司 使用热成像的用户接口系统和方法
CN103797472A (zh) * 2011-07-12 2014-05-14 谷歌公司 用于在多个设备之间访问交互状态的系统和方法
CN103812761A (zh) * 2012-11-13 2014-05-21 三星电子株式会社 用于使用增强现实提供社交网络服务的设备和方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8493206B2 (en) 2010-07-30 2013-07-23 Gravity Jack, Inc. Augmented reality and location determination methods and apparatus
US8941723B2 (en) * 2010-08-26 2015-01-27 Blast Motion Inc. Portable wireless mobile device motion capture and analysis system and method
US20120122570A1 (en) 2010-11-16 2012-05-17 David Michael Baronoff Augmented reality gaming experience
TWI477114B (zh) * 2011-02-25 2015-03-11 Univ Nat Chiao Tung 以擴增實境為基礎並結合雲端計算之創新檔案傳輸方法
US9498720B2 (en) 2011-09-30 2016-11-22 Microsoft Technology Licensing, Llc Sharing games using personal audio/visual apparatus
US10264102B2 (en) 2011-11-03 2019-04-16 Aaron Nahumi System, methods and computer readable medium for augmented personalized social network
CN103218105B (zh) * 2012-01-19 2016-07-06 联想(北京)有限公司 电子设备的处理方法、系统及电子设备
JP5912059B2 (ja) * 2012-04-06 2016-04-27 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
US9066200B1 (en) 2012-05-10 2015-06-23 Longsand Limited User-generated content in a virtual reality environment
US9035970B2 (en) * 2012-06-29 2015-05-19 Microsoft Technology Licensing, Llc Constraint based information inference
US20140191939A1 (en) * 2013-01-09 2014-07-10 Microsoft Corporation Using nonverbal communication in determining actions
KR102516124B1 (ko) * 2013-03-11 2023-03-29 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US10408613B2 (en) * 2013-07-12 2019-09-10 Magic Leap, Inc. Method and system for rendering virtual content
CN106125904B (zh) * 2013-11-26 2019-03-26 青岛海信电器股份有限公司 手势数据处理方法和手势输入设备
US9633622B2 (en) 2014-12-18 2017-04-25 Intel Corporation Multi-user sensor-based interactions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103141080A (zh) * 2010-09-23 2013-06-05 索尼电脑娱乐公司 使用热成像的用户接口系统和方法
CN103797472A (zh) * 2011-07-12 2014-05-14 谷歌公司 用于在多个设备之间访问交互状态的系统和方法
CN103812761A (zh) * 2012-11-13 2014-05-21 三星电子株式会社 用于使用增强现实提供社交网络服务的设备和方法

Also Published As

Publication number Publication date
KR20170096104A (ko) 2017-08-23
US20160180797A1 (en) 2016-06-23
EP3234740A1 (en) 2017-10-25
US9633622B2 (en) 2017-04-25
EP3234740A4 (en) 2018-08-01
CN107003819A (zh) 2017-08-01
JP6716563B2 (ja) 2020-07-01
KR102650978B1 (ko) 2024-03-26
WO2016099933A1 (en) 2016-06-23
JP2018504153A (ja) 2018-02-15

Similar Documents

Publication Publication Date Title
CN107003819B (zh) 多用户的基于传感器的交互
CN110209952B (zh) 信息推荐方法、装置、设备及存储介质
JP6462386B2 (ja) プログラム、通信端末及び表示方法
KR102510194B1 (ko) 가상 애완동물의 정보 디스플레이 방법, 장치, 단말기, 서버, 기록 매체, 및 시스템
KR102077354B1 (ko) 통신 시스템
CN105684045B (zh) 显示控制装置、显示控制方法和程序
JP6461630B2 (ja) 通信システム、通信装置、プログラム及び表示方法
KR20210113333A (ko) 다수의 가상 캐릭터를 제어하는 방법, 기기, 장치 및 저장 매체
US11782272B2 (en) Virtual reality interaction method, device and system
CN114205324B (zh) 消息显示方法、装置、终端、服务器及存储介质
US10969924B2 (en) Information processing apparatus, method, and non-transitory computer readable medium that controls a representation of a user object in a virtual space
KR20180075931A (ko) 온라인 게임 내에서 아이템 추천 서비스를 제공하는 방법 및 그 장치
US20220197027A1 (en) Conversation interface on an eyewear device
CN115917600A (zh) 基于纹理的姿势验证
KR20230119004A (ko) 안경류 디바이스 상의 대화 인터페이스
CN115552366A (zh) 设备背面部分上的触控板
KR20230021753A (ko) 외향 디스플레이를 갖는 스마트 안경
CN113413615A (zh) 游戏邀请方法、装置、计算机设备及存储介质
US20230164298A1 (en) Generating and modifying video calling and extended-reality environment applications
KR20240056556A (ko) 참가자 당 엔드-투-엔드 암호화된 메타데이터
KR102429901B1 (ko) 부분 영상을 생성하기 위한 전자 장치 및 그의 동작 방법
CN114327197A (zh) 消息发送方法、装置、设备及介质
CN112163862A (zh) 目标功能的处理方法、装置、终端及存储介质
CN111444289A (zh) 关联关系建立方法
JP2023180343A (ja) 仮想空間管理システムとその方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant