CN110192208A - 共享物理图形的信号片段 - Google Patents

共享物理图形的信号片段 Download PDF

Info

Publication number
CN110192208A
CN110192208A CN201880007213.3A CN201880007213A CN110192208A CN 110192208 A CN110192208 A CN 110192208A CN 201880007213 A CN201880007213 A CN 201880007213A CN 110192208 A CN110192208 A CN 110192208A
Authority
CN
China
Prior art keywords
signal segment
physical
physical entity
entity
sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880007213.3A
Other languages
English (en)
Other versions
CN110192208B (zh
Inventor
V·米塔尔
S·T·布兹西伊尔
N·阿努尔
O·科勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110192208A publication Critical patent/CN110192208A/zh
Application granted granted Critical
Publication of CN110192208B publication Critical patent/CN110192208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)

Abstract

信号片段的共享使用对被包括在信号片段内的内容的语义理解。在选择被呈现在信号片段内的物理实体(或其部分)时，系统然后提取(多个)信号片段的出现该所选物理实体的(多个)部分。所提取的信号片段部分的表示然后被分派给接收者。因此，信号片段的部分可以以信号片段描绘的内容的粒度被共享。在共享(多个)这些信号片段部分的表示方面存在广泛的灵活性。

Description

共享物理图形的信号片段
背景技术
计算系统和关联网络极大地改变了我们的世界。起初，计算系统只能够执行简单的任务。然而，随着处理能力的增加并且变得越来越可用，由计算系统执行的任务的复杂度已经大大增加。同样地，计算系统的硬件复杂度和能力也已经大大增加，例如，由大型数据中心支持的云计算。
在很长一段时间内，计算系统基本上只是按照指令或软件告诉它们的那样做。然而，软件和硬件的使用变得如此先进，以至于计算系统现在比以往任何时候都能够在更高的层次上进行某种程度的决策。目前，在一些方面，决策水平可以接近、匹敌甚或超过人类大脑做出决策的能力。换言之，计算系统现在能够采用某种程度的人工智能。
人工智能的一个示例是识别来自物理世界的外部刺激。例如，语音识别技术已经大大改进，允许高度准确地检测正在讲话的单词，甚至是正在讲话的人的身份。同样地，计算机视觉允许计算系统自动标识特定图片或视频帧内的对象或者识别跨一系列视频帧的人类活动。作为示例，面部识别技术允许计算系统识别面部，并且活动识别技术允许计算系统知道两个邻近的人是否在一起工作。
这些技术中的每一种可以采用深度学习(基于深度神经网络和基于强化的学习机制)和机器学习算法来从经验中学习制造声音的内容以及图像内的对象或人，从而随着时间提高识别的准确性。在识别具有大量视觉干扰的更复杂的成像场景内的对象的领域中，先进的计算机视觉技术现在超出了人类快速且准确地识别该场景内的感兴趣对象的能力。诸如常规图形处理单元(GPU)中的矩阵变换硬件等硬件也可以在深度神经网络的上下文中有助于快速的对象识别。
本文所要求保护的主题内容不限于解决任何缺点或者仅在诸如上述那些环境中操作的实施例。而是，提供该背景技术仅是为了说明可以实践本文描述的一些实施例的一个示例性技术领域。
发明内容
本文描述的至少一些实施例涉及信号片段的共享。例如，信号片段可以是各自由不同的传感器生成的多个信号片段的部分。例如，信号片段可以是视频信号片段，并且可以是实时信号片段或者记录的视频片段。通过对包括在信号片段内的内容的语义理解来实现信号片段的共享。
该系统检测对被呈现在信号片段内的物理实体或其部分的选择。例如，该物理实体可以是工作目标或者正在执行工作的实体。然后提取(多个)信号片段的呈现所选物理实体的(多个)部分，并且将其分派给一个或多个接收者。例如，在多视频信号片段中，在相对于所选物理实体或者所选的物理实体部分出现某些条件时，视点可以改变为不同的传感器。
然后将(多个)信号片段的(多个)经提取的部分的表示分派给接收者(例如，人类或机器人)。在一个实施例中，信号片段来自物理图形，该物理图形包括在物理空间内感测到的物理实体的表示以及证明物理实体的状态的信号片段。在该情况下，可以共享以下中的任何一个或多个：(多个)信号片段本身的(多个)部分、物理图形的与所选的物理实体或物理实体的所选部分相对应的部分、来自图形的该部分的信息等等。还可以传输其变换形式，诸如，对(多个)信号片段部分的叙述。
因此，可以以信号片段描绘的内容的粒度共享信号片段的部分。此外，在共享(多个)这些信号片段部分的表示方面存在广泛的灵活性。
提供该发明内容来以简化的形式介绍对于在下面的具体实施方式中进一步描述的构思的选择。该发明内容不旨在标识所要求保护的主题内容的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题内容的范围。
附图说明
为了描述可以获得本发明的上述和其他优点和特征的方式，将通过参照在附图中图示的其特定实施例来呈现上面简要描述的本发明的更具体的描述。要理解的是，这些附图仅描绘了本发明的典型实施例，并且因此不应被认为是对其范围的限制，将通过使用附图利用附加的特性和细节来描述和解释本发明，其中：
图1图示了可以采用本文描述的原理的示例计算机系统；
图2图示了本文描述的原理可以操作的环境，其包括包含多个物理实体和多个传感器的物理空间、感测物理空间内的物理实体的特征的识别组件以及存储这种物理实体的感测的特征的特征存储库，使得可以对这些特征执行计算和查询；
图3图示了用于追踪地点内的物理实体的方法的流程图，并且该方法可以在图2的环境中被执行；
图4图示了可以被用来帮助执行图3的方法的实体追踪数据结构，并且该实体追踪数据结构可以被用来随后对所追踪的物理实体执行查询；图5图示了用于有效地呈现感兴趣的信号片段的方法的流程图；
图6图示了用于控制对由物理空间中的一个或多个传感器感测到的信息的创建或访问的方法的流程图；
图7图示了循环流，其示出了除了在物理空间中创建感测的特征的计算机可导航图形之外，还可以修剪计算机可导航图形，从而将现实世界的计算机可导航图形保持在可管理的大小；
图8图示了用于共享信号片段的至少一部分的方法的流程图；
图9图示了用于自动生成对信号片段中正在发生的事情的叙述的方法的流程图；以及
图10图示了用于自动训练正在执行或者即将执行活动的行动者的方法的流程图。
具体实施方式
本文描述的至少一些实施例涉及信号片段的共享。例如，信号片段可以是各自由不同的传感器生成的多个信号片段的部分。例如，信号片段可以是视频信号片段，并且可以是实时信号片段或者记录的视频片段。通过对包括在信号片段内的内容的语义理解来实现信号片段的共享。
该系统检测对被呈现在信号片段内的物理实体或其部分的选择。例如，该物理实体可以是工作目标或者正在执行工作的实体。然后提取(多个)信号片段的呈现所选物理实体的(多个)部分，并且将其分派给一个或多个接收者。例如，在多视频信号片段中，在相对于所选物理实体或者所选的物理实体部分出现某些条件时，视点可以改变为不同的传感器。
然后将(多个)信号片段的(多个)经提取的部分的表示分派给接收者(例如，人类或机器人)。在一个实施例中，信号片段来自物理图形，该物理图形包括在物理空间内感测到的物理实体的表示以及证明物理实体的状态的信号片段。在该情况下，可以共享以下中的任何一个或多个：(多个)信号片段本身的(多个)部分、物理图形的与所选的物理实体或物理实体的所选部分相对应的部分、来自图形的该部分的信息等等。还可以传输其变换形式，诸如，对(多个)信号片段部分的叙述。
因此，可以以信号片段描绘的内容的粒度共享信号片段的部分。此外，在共享(多个)这些信号片段部分的表示方面存在广泛的灵活性。
因为本文描述的原理在计算系统的上下文中操作，所以将相对于图1描述计算系统。然后，将相对于图2至图4描述可以执行环境计算的基础原理。然后，将相对于图5描述从计算机可导航图形获得信号片段。此后，将相对于图6描述环境计算的上下文中的安全性的应用。最后，将相对于图7描述管理计算机可导航图形的大小。然后，将相对于图8至图10描述使用由计算机可导航图形(在本文中也称为“物理图形”)提供的语义理解的三种实现。
计算系统现在越来越多地采用各种形式。例如，计算系统可以是手持式设备、电器、膝上型计算机、台式计算机、大型机、分布式计算系统、数据中心甚或常规上未被认为是计算系统的设备，诸如，可穿戴设备(例如，眼镜、手表、腕带等等)。在本说明书和权利要求中，术语“计算系统”被广泛定义为包括任何设备或系统(或其组合)，其包括至少一个物理有形处理器以及能够在其上具有可以由处理器执行的计算机可执行指令的物理有形存储器。存储器可以采用任何形式，并且可以取决于计算系统的性质和形式。计算系统可以分布在网络环境上，并且可以包括多个组成计算系统。
如图1所图示的，在其最基本的配置中，计算系统100通常包括至少一个硬件处理单元102和存储器104。存储器104可以是物理系统存储器，其可以是易失性的、非易失性的或者两者的某种组合。在本文中术语“存储器”还可以被用来指代诸如物理存储介质等非易失性海量存储装置。如果计算系统是分布式的，则处理、存储器和/或存储能力也可以是分布式的。
计算系统100在其上具有通常称为“可执行组件”的多个结构。例如，计算系统100的存储器104被图示为包括可执行组件106。术语“可执行组件”是针对本领域普通技术人员在计算领域中很好理解的结构的名称，该结构可以是软件、硬件或其组合。例如，当在软件中被实现时，本领域普通技术人员将理解，可执行组件的结构可以包括可以在计算系统上被执行的软件对象、例程、方法，无论这种可执行组件是否存在于计算系统的堆阵中或者可执行组件是否存在于计算机可读存储介质上。
在这种情况下，本领域普通技术人员将认识到，可执行组件的结构存在于计算机可读介质上，使得在由计算系统的一个或多个处理器(例如，由处理器线程)解译时，使计算系统执行功能。这种结构可以由处理器直接进行计算机读取(如果可执行组件是二进制的，则是这种情况)。备选地，该结构可以被构造为可解译和/或编译(无论是在单个阶段还是在多个阶段中)以便生成由处理器直接可解译的这种二进制。当使用术语“可执行组件”时，对可执行组件的示例结构的这种理解完全在计算领域的普通技术人员的理解内。
术语“可执行组件”也被普通技术人员充分理解为包括完全或几乎完全实现在硬件中的结构，诸如，在现场可编程门阵列(FPGA)、专用集成电路(ASIC)或任何其他专门的电路内。相应地，术语“可执行组件”是计算领域的普通技术人员充分理解的结构的术语，无论是实现在软件、硬件或者组合中。在本说明书中，也可以使用术语“组件”。如在本说明书和该情况中所使用的，该术语(无论该术语是否用一个或多个修饰符修改)也旨在与术语“可执行组件”或者特定类型的这种“可执行组件”同义，并因此还具有计算领域的普通技术人员充分理解的结构。
在以下描述中，参照由一个或多个计算系统执行的动作来描述实施例。如果这种动作被实现在软件中，则(执行该动作的关联计算系统的)一个或多个处理器响应于已经执行组成可执行组件的计算机可执行指令来指导计算系统的操作。例如，这种计算机可执行指令可以体现在形成计算机程序产品的一个或多个计算机可读介质上。这种操作的示例涉及数据的操纵。
计算机可执行指令(和操纵的数据)可以被存储在计算系统100的存储器104中。计算系统100还可以包含允许计算系统100通过例如网络110与其他计算系统通信的通信信道108。
尽管不是所有计算系统都需要用户界面，但是在一些实施例中，计算系统100包括用于与用户接口连接的用户界面112。用户界面112可以包括输出机构112A以及输入机构112B。本文描述的原理并不限于精确的输出机构112A或输入机构112B，因为这将取决于设备的性质。然而，输出机构112A可以包括例如扬声器、显示器、触觉输出、全息图、虚拟现实等等。输入机构112B的示例可以包括例如麦克风、触摸屏、全息图、虚拟现实、相机、键盘、其他指针输入的鼠标、任何类型的传感器等等。
本文描述的实施例可以包括或者利用专用或通用的计算系统，包括计算机硬件，诸如，例如一个或多个处理器和系统存储器，如下面更详细地讨论的。本文描述的实施例还包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这种计算机可读介质可以是可以由通用或专用计算系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。携带计算机可执行指令的计算机可读介质是传输介质。因此，通过示例而非限制，实施例可以包括至少两种截然不同种类的计算机可读介质：存储介质和传输介质。
计算机可读存储介质包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储装置、磁盘存储装置或其他磁性存储设备或者任何其他物理有形存储介质，其可以被用来存储计算机可执行指令或数据结构形式的期望的程序代码装置并且该程序代码装置可以由通用或专用计算系统访问。
“网络”被定义为支持在计算系统和/或模块和/或其他电子设备之间运输电子数据的一个或多个数据链路。当通过网络或另一通信连接(硬连线、无线或者硬连线或无线的组合)将信息传递或提供给计算系统时，计算系统将连接正确地视为传输介质。传输介质可以包括网络和/或数据链路，其可以被用来以计算机可执行指令或数据结构的形式携带期望的程序代码装置并且该程序代码装置可以由通用或专用计算系统访问。上述的组合也应该被包括在计算机可读介质的范围内。
进一步地，在到达各种计算系统组件时，计算机可执行指令或数据结构形式的程序代码装置可以自动从传输介质传递到存储介质(反之亦然)。例如，通过网络或数据链路接收到的计算机可执行指令或数据结构可以被缓冲在网络接口模块(例如，“NIC”)内的RAM中，然后最终传递到计算系统RAM和/或计算系统处的更少的易失性存储介质。因此，应该理解的是，可读介质可以被包括在也(甚或主要地)利用传输介质的计算系统组件中。
例如，计算机可执行组件包括在处理器处被执行时使通用计算系统、专用计算系统或专用处理设备执行特定功能或功能组的指令和数据。备选地或者另外，计算机可执行指令可以将计算系统配置为执行特定功能或功能组。例如，计算机可执行指令可以是在被处理器直接执行之前经历一些转换(诸如，编译)的二进制甚或指令，诸如，诸如汇编语言等中间格式的指令甚或源代码。
本领域技术人员将了解，本发明可以实践在具有许多类型的计算系统配置的网络计算环境中，包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持式设备、多处理器系统、基于微处理器或可编程的消费者电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、寻呼机、路由器、交换机、数据中心、可穿戴设备(诸如，眼镜或手表)等。本发明还可以实践在分布式系统环境中，其中，通过网络被链接(通过硬连线数据链路、无线数据链路或者通过硬连线和无线数据链路的组合)的本地和远程计算系统都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储器存储设备中。
本领域技术人员也将了解，本发明可以实践在云计算环境中。云计算环境可以是分布式的，尽管这不是必需的。当分布式时，云计算环境可以在组织内进行国际分布和/或具有跨多个组织所拥有的组件。在本说明书和以下权利要求中，“云计算”被定义为用于支持对可配置计算资源(例如，网络、服务器、存储装置、应用和服务)的共享池的按需网络访问的模型。“云计算”的定义不限于在正确部署时可以从这种模型获得的任何其他许多优点。
例如，目前在市场中采用云计算，以便提供对可配置计算资源的共享池的普遍且方便的按需访问。此外，可配置计算资源的共享池可以经由虚拟化被快速供应，并且利用低管理工作量或服务提供者交互来发布，然后相应地进行缩放。
云计算模型可以由各种特性组成，诸如，按需自助服务、广泛的网络访问、资源池化、快速弹性、测量服务等等。云计算模型还可以以各种服务模型的形式出现，诸如，例如，软件即服务(“SaaS”)、平台即服务(“PaaS”)和基础设施即服务(“IaaS”)。云计算模型也可以使用不同的部署模型来部署，诸如，私有云、社区云、公共云、混合云等等。在本说明书和权利要求中，“云计算环境”是采用云计算的环境。
图2图示了本文描述的原理可以操作的环境200。环境200包括物理空间201，该物理空间201包括多个物理实体210，该多个物理实体210可以是发出或反射物理信号(诸如，电磁辐射或声学)的任何现存对象、人或事物，其具有可以被用来潜在地标识相应对象、人或事物的一个或多个物理特征(在本文中也称为状态)的模式。这种潜在标识电磁辐射的示例是具有光图案(例如，静止图像或视频)的可见光，可以从中确定可见实体的特性。这种光图案可以是任何时间、空间甚或更高维度的空间。这种声学的示例可以是人类的语音、正常操作下或者经历活动或事件的对象的声音或者反射的声学回声。
环境200还包括从物理实体210接收物理信号的传感器220。当然，传感器不需要获得物理实体发出或反射的每个物理信号。例如，可见光相机(静止或视频)能够接收可见光形式的电磁辐射并且将这种信号转换为可处理的形式，但是无法获得任何频率的所有电磁辐射，因为相机都具有有限的动态范围。同样地，声学传感器具有为某些频率范围设计的有限动态范围。在任何情况下，传感器220将所产生的传感器信号(如由箭头229所表示的)提供给识别组件230。
识别组件230至少基于在接收到的传感器信号中检测到的模式来估计(例如，估计或识别)地点内的物理实体210的一个或多个特征。识别组件230还可以生成与物理实体的特征的“至少一次估计”相关联的置信水平。如果该置信水平小于100％，那么“至少一次估计”仅是估计。如果该置信水平是100％，那么“至少一次估计”实际上不仅仅是估计–它是识别。在本说明书的其余部分和权利要求中，“至少被估计的”特征也将被称为“感测的”特征以提高清晰度。这与术语“感测”的普通使用一致，因为“感测到的”特征并不总是完全确定地存在。识别组件230可以采用深度学习(基于深度神经网络和基于强化的学习机制)和机器学习算法来从经验中学习图像内的对象或人，从而随着时间提高识别的准确性。
识别组件230将感测的特征提供(如由箭头239所表示的)到感测的特征存储库240中，该特征存储库240可以存储针对地点201内的每个物理实体的感测的特征(以及关联的置信水平)，无论物理实体是短时间、长时间或永久地位于物理空间内。计算组件250然后可以对在感测的特征存储库240中提供的感测的特征数据执行各种查询和/或计算。可以通过计算组件250与感测的特征存储库240之间的交互(由箭头249所表示的)来实现查询和/或计算。
在一些实施例中，当识别组件230使用由传感器提供的(多个)传感器信号感测地点201内的物理实体的感测的特征时，也将传感器信号提供给存储库，诸如，感测的特征存储库。例如，在图2中，感测的特征存储库240被图示为包括感测的特征241以及表示感测特征的证明的对应传感器信号242。
针对感测到的多个实体中的至少一个实体的至少一个(优选地，许多)感测的特征，至少一个信号片段与感测的特征计算机关联，使得对感测的特征的计算机导航也允许计算机导航到信号片段。可以连续地执行感测的信号与关联的信号片段的关联，因此产生扩展图形和信号片段的扩展集合。也就是说，如下面进一步描述的，垃圾收集过程可以被用来清除过时或不再感兴趣的感测的特征和/或信号片段。
信号片段可以包括多条元数据，诸如，例如，生成了信号片段的一个或多个传感器的标识。信号片段不需要包括由该传感器生成的所有信号，并且为了简洁起见，可能仅包括信号的被用来感测特定物理实体的感测的特征的这些部分。在该情况下，元数据可以包括对所存储的原始信号片段的部分的描述。
感测的信号可以是由传感器生成的任何类型的信号。示例包括视频、图像和音频信号。然而，各种信号不限于可以由人类感测到的信号。例如，信号片段可以表示由传感器生成的信号的变换版本以允许人类观察到更好的人类焦点。这种变换可以包括滤波或量化，这种滤波基于频率。这种变换也可以包括扩增、频移、速度调整、放大、幅度调整等等。
为了允许减少存储要求以及适当地关注感兴趣的信号，可能仅存储信号片段的一部分。例如，如果是视频信号，则可能仅存储视频帧的一部分。此外，针对任何给定图像，可能仅存储帧的相关部分。同样地，如果传感器信号是图像，则可能仅存储图像的相关部分。使用信号片段来感测特征的识别服务知道信号片段的哪个部分被用来感测特征。相应地，识别服务可以为任何给定的感测的特征专门地划出信号的相关部分。
计算组件250还可以具有安全组件251，该安全组件251可以确定对感测的特征存储库240的数据访问。例如，安全组件251可以控制哪些用户可以访问感测的特征数据241和/或传感器信号242。此外，安全组件251甚至可以控制对哪个感测的特征数据执行计算和/或哪个用户被授权执行什么类型的计算或查询。因此，有效地实现了安全性。下面将相对于图6描述关于该安全性的更多内容。
由于感测的特征数据表示物理空间201内的物理实体随着时间的感测的特征，所以可以对物理空间201内的物理实体执行复杂的计算。如下面将描述的，对于用户，就好像环境本身充满了有用的计算能力，该计算能力为关于该物理空间的任何计算查询或计算做好准备。在下文中，这也将被称为“环境计算”。
此外，每当对感测的特征感兴趣时，可以重构支持该特征的该识别组件感测的证明。例如，计算组件240可以提供特定物理实体首先进入特定地点时的视频证明。如果多个传感器生成由识别组件用以感测该特征的传感器信号，那么可以重构和评估针对任何单个传感器或传感器的组合的传感器信号。因此，例如，可以从不同的角度来审查首先进入特定地点的物理实体的视频证明。
物理空间201在图2中被图示，并且仅旨在作为其中具有传感器的任何物理空间的抽象表示。存在这种物理空间的无限示例，但是示例包括房间、房屋、社区、工厂、体育场、建筑物、地板、办公室、汽车、飞机、航天器、培养皿、管道或管子、大气、地下空间、洞穴、陆地、其组合和/或部分。物理空间201可以是可观察宇宙的整体或其任何部分，只要存在能够接收从地点内的物理实体发出、受其影响(例如，衍射、频移、回声等)和/或从其反射的信号的传感器。
物理空间201内的物理实体210被图示为包括仅通过示例的四个物理实体211、212、213和214。省略号215表示可以存在具有基于来自传感器220的数据感测的特征的任何数目和种类的物理实体。省略号215还表示物理实体可以离开和进入地点201。因此，地点201内的物理实体的数目和身份可以随着时间改变。
物理实体的位置也可以随着时间变化。尽管在图2中的物理空间201的上部中示出了物理实体的位置，但是这仅是出于清楚地标记的目的。本文描述的原理不取决于占用物理空间201内的任何特定物理位置的任何特定物理实体。
最后，仅出于惯例并且为了将物理实体210与传感器220区分开，物理实体210被图示为三角形，并且传感器220被图示为圆形。当然，物理实体210和传感器220可以具有任何物理形状或大小。物理实体的形状通常不是三角形的，并且传感器的形状通常不是圆形的。此外，传感器220可以观察物理空间201内的物理实体，而不考虑这些传感器220是否在物理上位于该物理空间201内。
物理空间201内的传感器220被图示为包括仅通过示例的两个传感器221和222。省略号223表示可以存在能够接收从物理空间内的物理实体发出、受其影响(例如，经由衍射、频移、回声等)和/或由其反射的信号的任何数目和种类的传感器。当物理空间内的传感器被添加、移除、升级、破坏、替换等等时，可操作传感器的数目和能力可以随着时间改变。
图3图示了用于追踪物理空间内的物理实体的方法300的流程图。由于可以执行方法300以追踪图2的物理空间201内的物理实体210，因此现在将频繁参照图2的环境200来描述图3的方法300。而且，图4图示了可以被用来帮助执行方法300的实体追踪数据结构400，并且该实体追踪数据结构400可以被用来随后对所追踪的物理实体执行查询，并且可能还访问和审查与所追踪的物理实体相关联的传感器信号。此外，实体追踪数据结构400可以被存储在图4的感测的特征存储库240中(其被表示为感测的特征数据241)。相应地，还将频繁参照图4的实体追踪数据结构400来描述图3的方法300。
为了协助追踪，建立针对该物理空间的空间-时间数据结构(动作301)。这可以是分布式数据结构或者非分布式数据结构。图4图示了包括空间-时间数据结构401的实体追踪数据结构400的示例。该实体追踪数据结构400可以被包括在图2的感测的特征存储库240内作为感测的特征数据241。尽管本文描述的原理相对于追踪物理实体及其感测的特征和活动来描述，但是本文描述的原理可以操作以追踪多于一个地点内的物理实体(及其感测的特征和活动)。在该情况下，空间-时间数据结构401可能不是由实体追踪数据结构400表示的树中的根节点(如由省略号402A和402B所象征的)。相反，可能存在可以经由公共根节点互连的多个空间-时间数据结构。
然后，返回到图3，可以为至少暂时位于物理空间(例如，物理空间201)内的多个物理实体(例如，物理实体210)中的每一个执行框310A的内容。此外，框310B的内容被图示为嵌套在框310A内，并且表示其内容可以针对给定物理实体在多次中的每一次被执行。通过执行方法300，可以创建和生长复杂的实体追踪数据结构400，从而记录一次或多次位于该地点内的物理实体的感测的特征。此外，实体追踪数据结构400潜在地还可能被用来访问导致某些感测的特征(或特征变化)被识别的感测的信号。
针对特定时间的地点中的特定物理实体，物理实体由一个或多个传感器感测(动作311)。换言之，由物理实体发出、受其影响(例如，经由衍射、频移、回声等)和/或从其反射的一个或多个物理信号由一个或多个传感器接收。参照图1，假设物理实体211具有在特定时间由传感器221和222二者感测到的一个或多个特征。
此时安全性的一个方面可能进入。识别组件230可以具有安全组件231，该安全组件231可以根据特定设置拒绝记录与特定物理实体相关联的感测的特征、特定类型的感测的特征和/或从特定时间生成的传感器信号感测到的感测特征或其组合。例如，识别组件230可能不会记录该地点内的任何人的感测的特征。作为更细粒度的示例，识别组件230可能不会记录一组人的感测的特征，其中这些感测的特征涉及人的身份或性别，并且其中这些感测的特征由在特定时间帧生成的传感器信号产生。下面将再次相对于图6描述关于该安全性的更多内容。
如果允许，则在与物理实体相对应的实体数据结构内表示被感测到物理实体的特定时间的至少近似，并且这与空间-时间数据结构计算关联(动作312)。例如，参照图4，实体数据结构410A可以与物理实体211相对应并且与空间-时间数据结构401计算关联(如通过线430A所表示的)。在本说明书和权利要求中，如果计算系统能够通过任何方式检测两个节点之间的关联，则数据结构的一个节点与数据结构的另一节点“计算关联”。例如，指针的使用是用于计算关联的一种机制。数据结构的节点还可以通过被包括在数据结构的其他节点内而计算关联，并且通过由计算系统识别为关联的任何其他机制来计算关联。
时间数据411表示在实体数据结构410A内感测到物理实体的时间的至少近似(至少此时迭代框310B的内容)。该时间可以是实时(例如，相对于原子钟所表达的)或者可以是人工时间。例如，人工时间可以是与实时偏移和/或以不同于实时的方式(例如，自千禧年的最后一个交替以来的秒数或分钟数)表达的时间。人工时间还可以是逻辑时间，诸如，通过在每次感测递增的单调递增的数字表达的时间。
而且，基于在特定时间感测特定物理实体(在动作311处)，环境感测特定物理实体存在于特定时间的特定物理实体的至少一个(并且可能是多个)物理特征(动作313)。例如，参照图2，识别组件230可以基于从传感器221和222接收到的信号(例如，由箭头229所表示的)来感测物理实体211的至少一个物理特征。
然后，以与特定时间的至少近似计算关联的方式用实体数据结构来表示特定物理实体的至少一个感测的物理特征(动作314)。例如，在图2中，将感测的特征数据提供(如通过箭头239所表示的)给感测的特征存储库240。在一些实施例中，该感测的特征数据可以与特定时间的至少近似一起被提供，以便基本上在一个动作中修改实体追踪数据结构400。换言之，动作312和314可以基本上同时被执行以减少对感测的特征存储库240的写入操作。
此外，如果允许，则以与感测的特征计算机关联的方式记录识别组件依赖于感测感测的特征的(多个)传感器信号(动作315)。例如，在感测的特征数据241中(例如，在空间-时间数据结构401中)的感测的特征可以与被存储在感测的信号数据242中的(多个)这种传感器信号计算关联。
参照图4，第一实体数据结构现在具有与时间411计算关联的感测的特征数据421。在该示例中，感测的特征数据421包括物理实体的两个感测的物理特征421A和421B。然而，省略号421C表示可能存在作为感测的特征数据421的一部分被存储在实体数据结构401内的物理实体的任何数目的感测的特征。例如，针对在任何特定时间检测到的任何给定物理实体，可能存在单个感测的特征或者无数感测的特征或者其间的任何数目。
在一些情况下，感测的特征可以与其他特征相关联。例如，如果物理实体是人，则特征可能是人的名称。该具体标识的人可能基于未在实体数据结构内表示的特征而具有已知特性。例如，人可能在组织内具有特定等级或职位，具有特定训练，具有特定高度等等。当感测到特定特征(例如，名称)时，实体数据结构可以通过指向该物理实体的附加特征(例如，等级、职位、训练、高度)来扩展，以便更进一步地扩展关于数据结构的查询和/或其他计算的丰富度。
感测的特征数据还可以具有与每个感测的特征相关联的置信水平，其表示物理实体实际上在特定时间410A具有感测的特征的估计概率。在该示例中，置信水平421a与感测的特征421A相关联，并且表示物理实体211实际上具有感测的特征421A的置信度。同样地，置信水平421b与感测的特征421B相关联，并且表示物理实体211实际上具有感测的特征421B的置信度。省略号421c再次表示可能存在针对任何数目的物理特征表达的置信水平。此外，可能存在没有表达置信水平的一些物理特征(例如，在确定的情况下或者在测量感测的物理特征的置信度不重要或不期望的情况下)。
感测的特征数据还可以具有识别组件用来感测该置信水平的感测特征的与(多个)传感器信号的计算关联(例如，指针)。例如，在图4中，(多个)传感器421Aa与感测的特征421A计算关联，并且表示被用来在时间411感测该感测的特征421A的(多个)传感器信号。同样地，(多个)传感器信号421Bb与感测的特征421B计算关联，并且表示被用来在时间411感测该感测的特征421B的(多个)传感器信号。省略号421Cc再次表示可能存在任何数目的物理特征的计算关联。
识别组件230的安全组件231还可以在决定是否记录被用来在特定时间感测特定特征的(多个)传感器信号时运用安全性。因此，安全组件231可以在1)确定是否记录感测到该特定特征，2)确定是否记录与特定物理实体相关联的特征，3)确定是否记录在特定时间感测到的特征，4)确定是否记录(多个)传感器信号，如果是的话，则记录哪些信号作为感测的特征的证明等等时运用安全性。
作为示例，假设所追踪的地点是房间。现在假设图像传感器(例如，相机)感测到房间内的某物。示例感测的特征是该“事物”是人。另一示例感测的特征是该“事物”是特定名称的人。该“事物”是人的置信水平可能是100％，但是该人是特定身份的人的置信水平仅是20％。在这种情况下，感测的特征集合包括是另一特征的更具体类型的一个特征。此外，可以通过记录在特定时间的特定物理实体的感测的特征来指向来自相机的图像数据。
另一示例特征是物理实体仅存在于该地点内或者该地点内的特定位置处。另一示例是这是自特定时间以来(例如，近期甚或永远)首次出现物理实体。特征的另一示例是物品是无生命的(例如，具有99％的确定性)、工具(例如，具有80％的确定性)和锤子(例如，具有60％的确定性)。另一示例特征是物理实体不再存在(例如，不在)于该地点，或者具有特定姿态，以某种方式定向，或者与地点内的另一物理实体具有位置关系(例如，“在桌子上”或者“坐在椅子#5上”)。
在任何情况下，可以从任何地点内的物理实体的数目和类型感测到的特征的数目和类型是无数的。而且，如先前提到的，如通过框310B所表示的，可以潜在地针对任何给定的物理实体多次执行框310B内的动作。例如，物理实体211可以被传感器221和222中的一个或两个感测到。参照图4，该检测导致在实体数据结构410内表示下一检测的时间(或近似)。例如，时间412也表示在实体数据结构内。此外，感测的特征422(例如，可能包括感测的特征422A和422B-省略号422C再次表示灵活性)与第二时间412计算关联。此外，这些感测的特征还可以具有关联的置信水平(例如，422a、422b、省略号422c)。同样地，这些感测的特征还可以具有关联的传感器信号(例如，422Aa、422Bb、省略号422Cc)。
在第二时间感测到的感测的特征可以与在第一时间感测到的感测的特征相同或不同。置信水平可以随着时间改变。作为示例，假设经由图像在大房间的一侧在时间#1以90％置信度检测到人类，并且该人类以30％置信度被具体感测为John Doe。现在，在0.1秒之后的时间#2，以100％置信度感测到John Doe在房间的另一部分处的50英尺外，并且在推测John Doe于时间1的相同地点处仍然有人。由于人类在十分之一秒内不会行进50英尺(至少在办公室设置中)，所以现在可以推断在时间1检测到的人根本不是John Doe。所以针对时间#1的该人是John Doe的置信度减小到零。
返回到图2，省略号413和423表示对在该地点内可以检测到的物理实体的次数没有限制。在进行后续检测时，可以更多地了解物理实体，并因此可以适当地添加(或移除)感测的特征，并且对每个感测的特征的置信水平进行对应的调整。
现在移动到框310B的外部，但是仍然在框310A内，针对任何给定的物理实体，可以基于不同时间的特定物理实体的(多个)感测的特征的比较(动作321)来感测特定实体的特征变化(动作322)。该感测的变化可以由识别组件230或计算组件250执行。如果需要的话，则也可以记录这些感测的变化(动作323)。例如，可以以(或可能不)与特定时间计算关联的方式来将感测的变化记录在实体数据结构410A中。可以使用每次证明感测的特征的传感器信号来重构证明特征变化的传感器信号。
例如，基于第一次的感测特征是该地点内存在物理实体，并且基于第二次的第二特征是该地点内不存在物理实体，可以推断物理实体已经离开物理空间。相反，基于第一次的感测的特征是该地点内不存在物理实体以及第二次的第二特征是该地点内存在物理实体，可以推断物理实体已经进入该地点。在一些情况下，在物理实体被首次检测为存在于物理空间中之前，可能不会在物理实体中寻找物理空间的缺失。
现在参照框310A，可以随着时间针对多个实体执行对物理实体的(多个)特征的该追踪。例如，可以针对物理空间201内的每个物理实体211、212、213或214或者针对进入或离开物理空间201的其他物理实体执行框310A的内容。参照图4，空间-时间数据结构401也与第二实体数据结构410B(可能与图2的第二物理实体212相关联)、第三实体数据结构410C(可能与图2的第三物理实体213相关联)和第四实体数据结构410D(可能与图2的第四物理实体214相关联)计算关联(如通过线430B、430C和430D所表示的)。
空间-时间数据结构401还可以包括定义条件和动作的一个或多个触发器。当满足条件时，将发生对应的动作。触发器可以被存储在空间-时间数据结构中的任何地点处。例如，如果条件和/或动作是关于特定的实体数据结构，则触发器可以被存储在对应的实体数据结构中。如果条件和/或动作是关于特定实体数据结构的特定特征，则触发器可以被存储在对应的特征数据结构中。
省略号410E表示实体数据结构的数目可以改变。例如，如果追踪数据相对于曾经在物理空间内的物理实体永久保存，那么每次在地点内检测到新物理实体时可以添加附加的实体数据结构，并且每次在物理空间内检测到物理实体时可以增强任何给定的实体数据结构。然而，回想一下，可以执行垃圾收集(例如，通过清除组件260)以保持实体追踪数据结构400不会变得太大而不能被适当地编辑、存储和/或导航。
在框310A外，可以基于关联的实体数据结构的比较(动作331)来感测不同的物理实体之间的物理关系(动作332)。同样地，这些物理关系可以被记录在实体追踪数据结构401中(动作333)，该实体追踪数据结构401可能在具有感测的物理关系的关联实体数据结构内和/或可能与物理实体被感测为具有该关系的时间相关联。例如，通过随时间分析针对不同物理实体的实体数据结构，可以确定在特定时间，物理实体可能被隐藏在另一物理实体后面，或者物理实体可能遮挡了对另一物理实体的感测，或者两个物理实体已经连接或物理实体已经分离以创建多个物理实体。可以使用在适当时间并且针对每个物理实体证明感测的特征的传感器信号来重构证明物理实体关系的传感器信号。
特征数据存储库240现在可以被用作强大的存储库，在物理空间内随着时间计算对物理实体的表示的复杂功能和查询。这种计算和查询可以由计算组件250执行。这实现了许多有用的实施例，并且实际上引入了在本文中称为“环境计算”的全新计算形式。在具有传感器的物理空间内，就好像空气本身就可以被用来计算和感测关于物理世界的状态。好像现在为该物理空间创建了水晶球，从中可以查询和/或计算关于该地点及其历史的许多事情。
作为示例，用户现在可以查询对象现在是否在物理空间中或者对象在特定时间位于物理空间内的何处。用户也可以查询具有特定特征(例如，公司内的等级或职位)的哪个人现在位于该对象附近，并且与该人通信以将该对象带给用户。用户可以查询关于物理实体之间的关系。例如，用户可以查询谁拥有对象。用户可以查询关于对象的状态，其是否被隐藏以及什么其他对象遮挡了对该对象的观察。用户可以查询物理实体何时首次出现在物理空间内，何时离开等等。当系统确定物理实体的一个或多个特征时，用户还可以查询灯何时关闭。用户还可以搜索对象的(多个)特征。用户还可以查询已经在该地点内发生的活动。用户可以计算特定类型的物理实体在该地点内的平均时间，预计物理实体在将来某个时间的地点等等。相应地，可以对具有传感器的物理空间执行丰富的计算和查询。
如先前提到的，计算机可导航图形可以具有与感测的特征相关联的信号片段。图5图示了用于有效地呈现感兴趣的信号片段的方法500的流程图。首先，计算系统导航感测的特征的可导航图形以到达特定的感测的特征(动作501)。例如，该导航可以自动被执行或者响应于用户输入而被执行。导航可以是计算的结果或者可以仅涉及标识感兴趣的感测的特征。作为另一示例，导航可以是用户查询的结果。在一些实施例中，计算或查询可能会导致被导航到的多个感测的特征。作为示例，假设计算系统导航到图2中的感测的特征222A。
计算系统然后使用特定的感测的特征与关联的传感器信号之间的计算机关联来导航到与特定的感测的特征计算机关联的感测的信号(动作502)。例如，在图2中，在感测的特征是感测的特征222A的情况下，计算机关联被用以导航到信号片段222Aa。
最后，然后将信号片段呈现在适当的输出设备上(动作503)。例如，如果计算系统是图1的计算系统100，则适当的输出设备可能是一个或多个输出机构112A。例如，音频信号可以使用扬声器呈现，并且视觉数据可以使用显示器呈现。在导航到(多个)感测的信号之后，可能会发生多种事情。用户可以播放特定的信号片段，或者可能从有助于该特征的多个信号片段进行选择。可以通过多个信号片段合成视图。
对物理世界执行计算的情况下，实现新类型的环境计算。就好像计算机在周围环境中可用，体现在空气本身内并且能够对在与空气接触的任何点处的物理实体执行计算。在工作场所中，使用该环境计算可以大大地提高生产率。例如，用户可以快速找到错放的工具，或者能够与靠近工具的同行通信，使得用户可以要求该同行抓取该工具并且将其带给用户。此外，除了环境计算之外，人类可以在感兴趣的特定时间审查被用来感测针对感兴趣的特定物理实体的感兴趣特征的(多个)传感器信号。然而，由于负责任地使用环境计算而用于提高物理生产率的场景的数目是无限的。
现在已经相对于图2至图5描述了环境计算的原理，将相对于图6描述可以在这种环境计算的上下文中执行的安全机制。图6图示了用于控制对由物理空间中的一个或多个传感器感测到的信息的创建或访问的方法600的流程图。该方法包括创建随着时间在物理空间中感测到的感测的物理实体的特征的计算机可导航图形(动作601)。本文描述的原理不限于这种计算机可导航图形的精确结构。已经相对于图2至图4描述了示例结构及其创建。
方法600还包括基于一个或多个标准来限制对计算机可导航图形的节点的创建或访问(动作602)。因此，对计算机可导航图形施加了安全性。箭头603和604表示创建图形和限制对其节点的创建/访问的过程可以是连续过程。该图形可以连续地将节点添加到图形中(并且可能从图形中移除)。此外，只要存在创建节点的可能性，就可以考虑对创建的限制。可以在创建图形的节点时或者在此后的任何点处决定对访问的限制。例如，限制的示例可以包括感测的物理实体的预期身份、感测的物理实体的感测的特征等等。
在确定是否授权对计算机可导航图形的节点的访问时，可能存在针对每个节点的访问标准。这种访问标准可以是显式或隐式的。即，如果针对要访问的节点没有显式的访问标准，那么可能可以应用访问标准的默认集合。可以以任何方式来组织针对任何给定节点的访问标准。例如，在一个实施例中，针对节点的访问标准可以与计算机可导航图形中的节点存储在一起。
访问限制还可以包括基于所请求的访问类型的限制。例如，计算访问意味着不直接访问节点，而是在计算中使用。可以限制读取节点内容的直接访问，而可以允许不报告节点的确切内容的计算访问。
访问限制还可以基于所访问的节点类型。例如，访问计算机可导航图形的特定实体数据结构节点可能存在限制。例如，如果该特定的实体数据结构节点表示检测物理空间中的特定人，则可以拒绝访问。访问计算机可导航图形的特定信号片段节点也可能存在限制。作为示例，人们可能能够确定某人在给定时间在某个地点，但是无法审查该人在该地点处的视频记录。访问限制还可以基于谁是访问的请求者。
在确定是否限制对计算机可导航图形的特定感测的特征节点的创建时，可以考虑各种标准。例如，创建计算机可导航图形的特定信号片段节点可能存在限制。
图7图示了循环流700，其示出了除了在物理空间中创建感测的特征的计算机可导航图形(动作701)之外，还可以修剪计算机可导航图形(动作702)。这些动作甚至可以同时且连续地发生(如通过箭头703和704所表示的)，从而将感测的特征的计算机可导航图形保持在可管理的大小。本文已经具有关于可以如何创建计算机可导航图形(表示为动作701)的重要描述。
现在，该描述将集中于可以如何修剪计算机可导航图形以移除计算机可导航图形的一个或多个节点(动作702)。计算机可导航图形的任何节点都可能经历移除。例如，可以在特定时间或时间组内移除物理实体数据结构的感测的特征。也可以在所有时间内移除物理实体数据结构的感测的特征。可以在任何给定时间或任何时间组内移除物理实体数据结构的多于一个感测的特征。此外，在一些情况下，可以完全移除物理实体数据结构。
例如，当物理图形表示根据物理定律不可能的某事时，可能发生节点的移除。例如，给定对象无法同时位于两个地方，该对象也无法在这种行进不可行或不可能的环境中在短时间内行进很长的距离。相应地，如果在一个地点处以绝对的确定性追踪物理实体，则可以删除以同一物理实体位于不一致的地点处的较小置信度表示的任何物理实体数据结构。
当获得关于物理实体的感测的特征的更大置信度时，也可能发生节点的移除。例如，如果以100％确定性来确定地点内的物理实体的感测的特征，那么可以更新该物理实体的该感测的特征的确定性水平以读取所有先前时间的100％。此外，已经学习的不适用于物理实体的感测的特征(即，置信水平已经减小到零或者可忽略不计)，可以针对该物理实体移除感测的特征。
此外，计算机可导航图形中的一些信息可能只是太陈旧而无法使用。例如，如果在物理空间中很长一段时间没有观察到物理实体以使得物理实体的先前识别不再相关，那么可以移除整个物理实体数据结构。此外，尽管物理实体数据结构仍然反映较新的检测，但是可以移除对已经变得陈旧的物理实体的检测。因此，可以经由内部分析和/或经由外部信息来执行对计算机可导航图形的清除(或修剪)。通过移除质量较差的信息并且释放空间以用于待存储的更多相关信息，该修剪本质上改进了在计算机可导航图形中表示的信息的质量。
相应地，本文描述的原理允许物理世界的计算机可导航图形。该图可以是可搜索的且可查询的，从而允许对真实世界执行搜索和查询和其他计算。可以在这种环境中进一步施加安全性。最后，该图形可以通过清除和修剪保持在可管理的大小。因此，实现了计算的新范式。
物理空间的上述计算机可导航图形实现了各种应用和技术成就。特别地，现在将描述的这种成就中的三个成就基于具有证明物理实体的状态的信号片段的物理图形，因此物理图形具有对任何给定信号片段内正在发生的事情的语义理解。在第一实现中，可以共享信号片段的部分，其中，语义理解参与提取信号片段的哪些部分以用于共享。在第二实现中，可以使用对信号片段内正在发生的事情的语义理解来自动叙述信号片段。在第三实现中，在行动者要开始或已经开始活动时，可以通过提供信号片段的表示来以准时制方式训练行动者。
图8图示了用于共享信号片段的至少一部分的方法800的流程图。例如，信号片段可以是已经捕获到同一物理实体的多个信号片段。例如，如果信号片段是视频信号片段，则多个视频片段可能已经从不同的视角和距离捕获一个或多个相同的物理实体。如果信号是音频信号片段，则多个音频片段可能已经利用在对应的声学传感器与所选的一个或多个物理实体(或其部分)之间交织的不同声学通道来捕获所选的一个或多个物理实体。共享的(多个)信号片段可以是从地点内的一个或多个物理实体捕获实时信号的实时信号片段。备选地，共享的(多个)信号片段可以是记录的信号片段。
根据方法800，该系统检测被呈现在一个或多个信号片段内的一个或多个物理实体或其部分的选择(动作801)。因此，可以基于信号片段的语义内容来发起共享。例如，所选的一个或多个物理实体(或其(多个)部分)可以是工作目标或者工作源。作为示例，用户可以选择诸如物理白板等工作目标。另一示例工作目标可以是正在修理的一件设备。例如，工作源的示例可以是在物理白板上书写的人、舞者、魔术师、建筑工人等等。
选择一个或多个物理实体(或其部分)以进行共享的个体可以是人类。在该情况下，用户可以以对人类用户直观的任何方式来选择一个或多个物理实体(或其部分)。这种输入的示例包括姿势。例如，用户可以圈出包含视频或图像信号片段的一部分内的一个或多个物理实体(或其部分)的区域。
备选地，该选择可以由系统做出。例如，系统可以选择在检测到特定条件时和/或根据策略共享信号片段的包括特定的一个或多个物理实体(或其部分)的一部分。例如，如下面相对于图10所描述的，系统可以检测到人类行动者即将参与需要训练的特定活动。然后系统可以选择一个或多个物理实体以与人类行动者共享，该一个或多个物理实体与活动目标类似或者包括该个体先前已经执行活动的个体。甚至可以自动地生成和提供对活动的叙述(如相对于图9所描述的)。
该系统然后提取(多个)信号片段的所选的物理实体或者物理实体的所选部分被呈现的(多个)部分(动作802)。例如，信号片段可以是多个视频信号片段。在相对于所选的一个或多个物理实体(或所选部分)发生的(多个)条件发生时，系统可以创建视点从一个信号片段(由一个传感器生成)变为另一信号片段(由另一传感器生成)的信号片段。例如，假设所选的物理实体是教员当前正在书写的白板的那些部分。如果教员的身体要从一个传感器的角度遮掩他自己的书写，则可以自动切换到捕获白板的活动部分的另一信号片段。该系统可以自动地执行(实时信号片段的)这种切换或(或记录的视频片段的)拼接。
该系统然后将包含所选的一个或多个物理实体(或其部分)的(多个)信号片段的表示分派给一个或多个接收者(动作803)。这种接收者可以是人类、组件、机器人或能够使用共享的(多个)信号片段部分的任何其他实体。
在一个实施例中，信号片段表示物理图形的一部分，该物理图形包括在物理空间内感测到的物理实体的表示以及证明物理实体的状态的信号片段。上面已经相对于图2至图4相对于计算机可导航图形400描述了这种物理图形的示例。该系统还可以分派物理图形的与共享的(多个)信号片段部分有关的一部分和/或可能会从物理图形的该对应部分提取信息以共享以及(或者作为备选方案)共享(多个)信号片段部分本身。
如先前提到的，共享部分的表示可以是自动生成的叙述。对信号片段中描绘的物理活动和实体的语义理解还允许自动生成对信号片段的叙述(无论是现场叙述还是记录的视频片段的叙述)。图9图示了用于自动生成对信号片段中正在发生的事情的叙述的方法900的流程图。作为示例，可以执行对棋类游戏、足球比赛等的自动叙述。也可以执行对工作活动的自动叙述。
为了生成对信号片段的自动叙述，从物理图形访问信号片段(动作901)。使用对在信号片段中描绘的事情的语义理解，该系统然后确定一个或多个物理实体如何在信号片段中起作用(动作902)。再次，可以从与信号片段相对应的物理图形部分获得这种语义理解。
不是信号片段中呈现的所有内容都将与叙述有关。该系统可以在考虑任何数目的因素(或其平衡)的情况下确定哪些动作是显著的，包括例如动作是否重复发生，什么没有变化，什么是不断发生的，信号片段的哪些(多个)部分已经被共享，用户指令等等。还可以对系统和机器学习进行一些训练以知道哪些动作是潜在相关的。
该系统然后使用一个或多个物理实体的确定动作来自动生成对信号片段中的动作的叙述(动作903)。作为示例，如果信号片段是视频信号片段，则生成的叙述可以是音频叙述、图解叙述等中的一个或多个。在音频叙述中，可以说出视频信号片段中正在发生的事情。在图解叙述中，可以在去除无关材料的情况下呈现视频信号片段中正在发生的事情的图解，并且可视地强调相关的物理实体。可以以简化(可能是卡通的)形式表示相关的物理实体，其中，移动和动作潜在地在视觉上被表示(例如，通过箭头)。
如果信号片段是音频信号片段，则生成的叙述可以包括概述的音频叙述，其包括在信号片段内听到的相关事项的简化音频。生成的叙述还可以是图解叙述。该叙述还可以向预期接收者示出或描述关于预期接收者的环境要做什么，因为物理图形还可以具有对预期接收者的周围环境的语义理解。
图10图示了用于在相对于该行动者发生条件时自动训练的方法1000的流程图。在检测到相对于行动者满足人类行动者正在参与或即将参与物理活动的条件时，发起方法1000(动作1001)。例如，该条件可以是行动者正在执行或者即将执行物理活动或者行动者具有某种物理状态(例如，存在于房间内)。作为响应，该系统评估是否将训练提供给人类行动者以进行该物理活动(动作1002)。例如，该确定可以基于一些训练策略。作为示例，针对关于该活动的组织的所有员工，训练可能至少一次是强制性的，并且可能被强制要求在执行活动之前进行。可能需要每年都进行训练。可能需要训练，这取决于谁是行动者(例如，新员工或安全员)。
当该系统确定人类行动者正在不正确地参与活动(例如，当举起重物时未能弯曲她的膝盖)时，可以提供训练。可以针对人类行动者如何不正确地执行活动来定制训练。根据人类行动者的学习率可以重复提供训练。
然后将训练分派给行动者(动作1003)。例如，可以将机器人或人类分派给行动者以向行动者示出如何执行活动。备选地或者另外，然后可以将信号片段的表示分派给行动者(动作1003)，其中，该表示向人类行动者提供训练。例如，该表示可以是叙述(诸如，通过图9的方法900自动生成的叙述)。共享的表示可以是多传感器信号片段–诸如，视点在相对于所选的物理实体或物理实体的所选部分发生一个或多个条件时策略性地改变的拼接视频信号，如上面相对于图9所描述的。
相应地，本文描述的原理使用环境计算环境以及对真实世界中正在发生的事情的语义理解，以便提供显著的技术进步。本发明可以在不脱离其精神或基本特性的情况下以其他特定形式体现。所描述的实施例在所有方面都被认为仅是说明性的，而不是限制性的。因此，本发明的范围是由随附权利要求指示，而不是由前面的描述指示。落入权利要求书的等同含义和范围内的所有变化都被包含在其范围内。

Claims (10)

1.一种计算系统，包括：
一个或多个处理器；
一个或多个计算机可读介质，具有在其上的计算机可执行指令，所述计算机可执行指令被构造为使得在由所述一个或多个处理器执行时使所述计算系统执行用于共享信号片段的至少部分的方法，所述方法包括：
检测对被呈现在信号片段内的物理实体或其部分的选择；
提取所述信号片段的部分，在所述部分中所选的所述物理实体或者所述物理实体的所选部分被呈现；以及
将所述信号片段的所述部分的表示分派给一个或多个接收者。
2.根据权利要求1所述的计算系统，所检测到的所述选择包括所检测到的用户选择。
3.根据权利要求2所述的计算系统，所检测到的所述用户选择包括姿势。
4.根据权利要求1所述的计算系统，所检测到的所述选择包括所检测到的系统选择，所述系统选择响应于人类要通过工作的观察来训练的检测而发生，所述工作由被呈现在所述信号片段中的所选的所述物理实体或者所述物理实体的所选部分执行，或者所述工作是对被呈现在所述信号片段中的所选的所述物理实体或者所述物理实体的所选部分执行的。
5.根据权利要求1所述的计算系统，所述信号片段包括视频信号片段。
6.根据权利要求1所述的计算系统，所述信号片段的所述部分是视频部分，所述表示包括自动生成的对所述信号片段的所述部分中正在发生的事情的叙述。
7.根据权利要求1所述的计算系统，所述信号片段包括实时信号片段。
8.根据权利要求1所述的计算系统，所述信号片段包括记录的信号片段。
9.根据权利要求1所述的计算系统，所述信号片段表示物理图形的部分，所述物理图形的所述部分包括在物理空间内所感测到的物理实体的表示以及证明所述物理实体的状态的信号片段。
10.一种用于共享信号片段的至少部分的方法，所述方法包括：
检测对被呈现在信号片段内的物理实体或其部分的选择；
提取所述信号片段的部分，在所述部分中所选的所述物理实体或者所述物理实体的所选部分被呈现；以及
将所述信号片段的所述部分的表示分派给一个或多个接收者。
CN201880007213.3A 2017-01-18 2018-01-12 共享物理图形的信号片段 Active CN110192208B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762447811P 2017-01-18 2017-01-18
US62/447,811 2017-01-18
US15/436,692 US11094212B2 (en) 2017-01-18 2017-02-17 Sharing signal segments of physical graph
US15/436,692 2017-02-17
PCT/US2018/013423 WO2018136312A1 (en) 2017-01-18 2018-01-12 Sharing signal segments of physical graph

Publications (2)

Publication Number Publication Date
CN110192208A true CN110192208A (zh) 2019-08-30
CN110192208B CN110192208B (zh) 2023-06-23

Family

ID=62841660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880007213.3A Active CN110192208B (zh) 2017-01-18 2018-01-12 共享物理图形的信号片段

Country Status (4)

Country Link
US (1) US11094212B2 (zh)
EP (1) EP3571641A1 (zh)
CN (1) CN110192208B (zh)
WO (1) WO2018136312A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482900B2 (en) * 2017-01-18 2019-11-19 Microsoft Technology Licensing, Llc Organization of signal segments supporting sensed features

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101790880A (zh) * 2007-06-11 2010-07-28 柯瑞克公司 用于获得和共享与地理信息相关联的内容的系统和方法
CN102567108A (zh) * 2010-11-15 2012-07-11 微软公司 快速数据共享
US20140085328A1 (en) * 2012-09-24 2014-03-27 International Business Machines Corporation Social Media Event Detection and Content-Based Retrieval
US20150279036A1 (en) * 2014-04-01 2015-10-01 Xerox Corporation Side window detection in near-infrared images utilizing machine learning

Family Cites Families (134)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5093869A (en) * 1990-12-26 1992-03-03 Hughes Aircraft Company Pattern recognition apparatus utilizing area linking and region growth techniques
WO1994001829A1 (en) 1992-07-10 1994-01-20 Fujitsu Limited Three-dimensional graphic editing machine
US5708767A (en) 1995-02-03 1998-01-13 The Trustees Of Princeton University Method and apparatus for video browsing based on content and structure
US20150244969A1 (en) 1995-09-07 2015-08-27 Kba2, Inc. System and method for recording and distributing video
US5757424A (en) 1995-12-19 1998-05-26 Xerox Corporation High-resolution video conferencing system
US6295367B1 (en) * 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6059576A (en) 1997-11-21 2000-05-09 Brann; Theodore L. Training and safety device, system and method to aid in proper movement during physical activity
US6266614B1 (en) 1997-12-24 2001-07-24 Wendell Alumbaugh Travel guide
KR100530812B1 (ko) 1998-04-13 2005-11-28 네브엔지니어링 인코포레이티드 아바타 애니메이션을 위한 웨이브렛-기반 얼굴 움직임 캡쳐
US6144375A (en) 1998-08-14 2000-11-07 Praja Inc. Multi-perspective viewer for content-based interactivity
DE19846982C2 (de) 1998-10-12 2001-05-17 Siemens Ag Verfahren und System zum Überwachen der Haltung eines Benutzers an einem Trainingsgerät
US6023223A (en) 1999-03-18 2000-02-08 Baxter, Jr.; John Francis Early warning detection and notification network for environmental conditions
US6329904B1 (en) 1999-06-11 2001-12-11 Safety Through Cellular, Inc. Apparatus and method for providing weather and other alerts
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6424370B1 (en) * 1999-10-08 2002-07-23 Texas Instruments Incorporated Motion based event detection system and method
US6816878B1 (en) 2000-02-11 2004-11-09 Steven L. Zimmers Alert notification system
US6590529B2 (en) 2000-02-14 2003-07-08 Mysky Communications Individualized, location specific weather forecasting system
JP2001331799A (ja) * 2000-03-16 2001-11-30 Toshiba Corp 画像処理装置および画像処理方法
US6968179B1 (en) 2000-07-27 2005-11-22 Microsoft Corporation Place specific buddy list services
US20020091793A1 (en) 2000-10-23 2002-07-11 Isaac Sagie Method and system for tourist guiding, including both navigation and narration, utilizing mobile computing and communication devices
JP2004516462A (ja) 2000-12-15 2004-06-03 ヌーリー テクノロジーズ リミテッド 位置に基づいた気象ナウキャストシステム及び方法
US6767211B2 (en) 2001-03-13 2004-07-27 Carolyn W. Hall Method and apparatus for behaviorally reinforced training with guided practice
US6587668B1 (en) 2001-04-30 2003-07-01 Cyberu, Inc. Method and apparatus for a corporate education system
US20030046592A1 (en) 2001-08-28 2003-03-06 Woodruff Wayne D. Personal video recorder with secure recording, storage and playback control
US6803925B2 (en) 2001-09-06 2004-10-12 Microsoft Corporation Assembling verbal narration for digital display images
US7650058B1 (en) 2001-11-08 2010-01-19 Cernium Corporation Object selective video recording
US6882837B2 (en) 2002-01-23 2005-04-19 Dennis Sunga Fernandez Local emergency alert for cell-phone users
US7200266B2 (en) 2002-08-27 2007-04-03 Princeton University Method and apparatus for automated video activity analysis
US20040177253A1 (en) 2002-11-19 2004-09-09 My Ez Communications, Llc. Automated and secure digital mobile video monitoring and recording
GB2400513B (en) 2003-03-14 2005-10-05 British Broadcasting Corp Video processing
JP2004349909A (ja) 2003-05-21 2004-12-09 Canon Inc 情報記録装置、撮像記録装置、再生装置及びプライバシ保護方法
US7647166B1 (en) 2003-06-30 2010-01-12 Michael Lester Kerns Method of providing narrative information to a traveler
US7099745B2 (en) 2003-10-24 2006-08-29 Sap Aktiengesellschaft Robot system using virtual world
US7359724B2 (en) 2003-11-20 2008-04-15 Nokia Corporation Method and system for location based group formation
US20050209849A1 (en) 2004-03-22 2005-09-22 Sony Corporation And Sony Electronics Inc. System and method for automatically cataloguing data by utilizing speech recognition procedures
US7084775B1 (en) 2004-07-12 2006-08-01 User-Centric Ip, L.P. Method and system for generating and sending user-centric weather alerts
WO2007018523A2 (en) * 2004-07-28 2007-02-15 Sarnoff Corporation Method and apparatus for stereo, multi-camera tracking and rf and video track fusion
US7415675B2 (en) 2004-09-01 2008-08-19 Sap Ag Software training method and apparatus
US8832121B2 (en) 2005-02-02 2014-09-09 Accuweather, Inc. Location-based data communications system and method
US7765265B1 (en) 2005-05-11 2010-07-27 Aol Inc. Identifying users sharing common characteristics
US8081822B1 (en) * 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
US20080252725A1 (en) * 2005-09-26 2008-10-16 Koninklijke Philips Electronics, N.V. Method and Device for Tracking a Movement of an Object or of a Person
CA2528466A1 (en) 2005-11-30 2007-05-30 Virtual Expert Clinics Inc. Web-based expert system for educational therapy planning
US8467715B2 (en) 2006-01-03 2013-06-18 General Electric Company System and method for just-in-time training in software applications
JP4346613B2 (ja) 2006-01-11 2009-10-21 株式会社東芝 映像要約装置及び映像要約方法
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US8184154B2 (en) * 2006-02-27 2012-05-22 Texas Instruments Incorporated Video surveillance correlating detected moving objects and RF signals
FI20065147A (fi) 2006-03-03 2006-03-03 Firstbeat Technologies Oy Järjestelmä ja menetelmä harjoittelun ohjaamiseksi
US7823056B1 (en) 2006-03-15 2010-10-26 Adobe Systems Incorporated Multiple-camera video recording
US7671732B1 (en) 2006-03-31 2010-03-02 At&T Mobility Ii Llc Emergency alert notification for the hearing impaired
US7881505B2 (en) * 2006-09-29 2011-02-01 Pittsburgh Pattern Recognition, Inc. Video retrieval system for human face content
US8274564B2 (en) * 2006-10-13 2012-09-25 Fuji Xerox Co., Ltd. Interface for browsing and viewing video from multiple cameras simultaneously that conveys spatial and temporal proximity
US7865300B2 (en) 2006-11-15 2011-01-04 International Business Machines Corporation System and method for providing turn-by-turn directions to a moving waypoint
US8149278B2 (en) * 2006-11-30 2012-04-03 Mitsubishi Electric Research Laboratories, Inc. System and method for modeling movement of objects using probabilistic graphs obtained from surveillance data
US20080178232A1 (en) 2007-01-18 2008-07-24 Verizon Data Services Inc. Method and apparatus for providing user control of video views
US7788203B2 (en) 2007-02-26 2010-08-31 International Business Machines Corporation System and method of accident investigation for complex situations involving numerous known and unknown factors along with their probabilistic weightings
US20090164397A1 (en) * 2007-12-20 2009-06-25 Mitchell Kwok Human Level Artificial Intelligence Machine
US20080268418A1 (en) 2007-04-25 2008-10-30 Tashner John H Virtual education system and method of instruction
US20080294588A1 (en) 2007-05-22 2008-11-27 Stephen Jeffrey Morris Event capture, cross device event correlation, and responsive actions
US9414458B2 (en) * 2007-05-24 2016-08-09 Federal Law Enforcement Development Services, Inc. LED light control assembly and system
US8934717B2 (en) 2007-06-05 2015-01-13 Intellectual Ventures Fund 83 Llc Automatic story creation using semantic classifiers for digital assets and associated metadata
US8942536B2 (en) 2007-09-19 2015-01-27 Nvidia Corporation Video navigation system and method
US8929601B2 (en) 2007-12-05 2015-01-06 John Caulfield Imaging detecting with automated sensing of an object or characteristic of that object
US20090153654A1 (en) 2007-12-18 2009-06-18 Enge Amy D Video customized to include person-of-interest
US8010601B2 (en) 2007-12-21 2011-08-30 Waldeck Technology, Llc Contiguous location-based user networks
KR101607224B1 (ko) 2008-03-03 2016-03-29 아비길론 페이턴트 홀딩 2 코포레이션 동적 물체 분류 방법 및 장치
US8190118B2 (en) 2008-03-26 2012-05-29 At&T Mobility Ii Llc Integration of emergency alert information
US9300912B2 (en) 2008-03-28 2016-03-29 Microsoft Technology Licensing, Llc Software based whiteboard capture solution for conference room meetings
US8311275B1 (en) 2008-06-10 2012-11-13 Mindmancer AB Selective viewing of a scene
GB2461344A (en) 2008-07-04 2010-01-06 Canford Audio Plc Secure recording of interviews using a hashed algorithm to produce an authentication code
US8548503B2 (en) 2008-08-28 2013-10-01 Aol Inc. Methods and system for providing location-based communication services
US20100081954A1 (en) 2008-09-30 2010-04-01 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Method, device, and system to control pH in pulmonary tissue of a subject
FR2940487A1 (fr) 2008-12-19 2010-06-25 Thales Sa Procede et systeme pour la fusion de donnees ou d'informations
WO2010086680A1 (en) 2009-01-29 2010-08-05 Thomson Licensing Navigation system for routing directions to a moving target
US8605942B2 (en) 2009-02-26 2013-12-10 Nikon Corporation Subject tracking apparatus, imaging apparatus and subject tracking method
US8463537B2 (en) 2009-06-03 2013-06-11 Motorola Solutions, Inc. Navigating to a moving destination
WO2011055309A1 (en) 2009-11-03 2011-05-12 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Representing visual images by alternative senses
WO2011119859A2 (en) 2010-03-24 2011-09-29 Hameed Khan Proximity-based social networking
US8688434B1 (en) 2010-05-13 2014-04-01 Narrative Science Inc. System and method for using data to automatically generate a narrative story
US8655893B2 (en) * 2010-07-16 2014-02-18 Shutterfly, Inc. Organizing images captured by multiple image capture devices
US20120084669A1 (en) 2010-09-30 2012-04-05 International Business Machines Corporation Dynamic group generation
US9384587B2 (en) 2010-11-29 2016-07-05 Verizon Patent And Licensing Inc. Virtual event viewing
US8490003B2 (en) 2010-12-03 2013-07-16 International Business Machines Corporation Dynamic proximity based text exchange within a group session
EP2469420B1 (en) 2010-12-22 2019-11-27 Software AG CEP engine and method for processing CEP queries
US20120239584A1 (en) 2011-03-20 2012-09-20 Microsoft Corporation Navigation to dynamic endpoint
US9064538B2 (en) 2011-04-07 2015-06-23 Infosys Technologies, Ltd. Method and system for generating at least one of: comic strips and storyboards from videos
WO2012139127A1 (en) 2011-04-08 2012-10-11 Wombat Security Technologies, Inc. Context-aware training systems, apparatuses, and methods
US8789133B2 (en) 2011-04-20 2014-07-22 Cisco Technology, Inc. Location based content filtering and dynamic policy
US9098611B2 (en) 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
US9026596B2 (en) 2011-06-16 2015-05-05 Microsoft Technology Licensing, Llc Sharing of event media streams
SG2014012090A (en) 2011-09-07 2014-04-28 Millennial Media Providing mobile advertising using data networks based on intelligence data associated with internet-connected devices
TWI435054B (zh) 2011-10-03 2014-04-21 Wistron Corp 針對動態目標以進行導航之方法及其相關可攜式電子裝置
US9744672B2 (en) 2011-11-16 2017-08-29 University Of South Florida Systems and methods for communicating robot intentions to human beings
US9602738B2 (en) * 2011-11-23 2017-03-21 Avigilon Fortress Corporation Automatic event detection, text generation, and use thereof
US8812499B2 (en) 2011-11-30 2014-08-19 Nokia Corporation Method and apparatus for providing context-based obfuscation of media
US20130169834A1 (en) 2011-12-30 2013-07-04 Advanced Micro Devices, Inc. Photo extraction from video
US9002098B1 (en) 2012-01-25 2015-04-07 Hrl Laboratories, Llc Robotic visual perception system
US9124800B2 (en) 2012-02-13 2015-09-01 Htc Corporation Auto burst image capture method applied to a mobile device, method for tracking an object applied to a mobile device, and related mobile device
US9260122B2 (en) 2012-06-06 2016-02-16 International Business Machines Corporation Multisensor evidence integration and optimization in object inspection
US9026367B2 (en) 2012-06-27 2015-05-05 Microsoft Technology Licensing, Llc Dynamic destination navigation system
CN202887470U (zh) 2012-09-13 2013-04-17 吴李海 基于iOS/Android的移动目标锁定系统
US9208676B2 (en) 2013-03-14 2015-12-08 Google Inc. Devices, methods, and associated information processing for security in a smart-sensored home
US8825377B2 (en) 2012-10-19 2014-09-02 Microsoft Corporation Mobile navigation to a moving destination
US20140136186A1 (en) * 2012-11-15 2014-05-15 Consorzio Nazionale Interuniversitario Per Le Telecomunicazioni Method and system for generating an alternative audible, visual and/or textual data based upon an original audible, visual and/or textual data
US20140233919A1 (en) 2013-02-18 2014-08-21 Treasured Stores, LLC Memory Preservation and Life Story Generation System and Method
US9900171B2 (en) 2013-02-25 2018-02-20 Qualcomm Incorporated Methods to discover, configure, and leverage relationships in internet of things (IoT) networks
US9317813B2 (en) 2013-03-15 2016-04-19 Apple Inc. Mobile device with predictive routing engine
US20140375425A1 (en) 2013-06-24 2014-12-25 Infosys Limited Methods for dynamically sending alerts to users and devices thereof
US10447554B2 (en) 2013-06-26 2019-10-15 Qualcomm Incorporated User presence based control of remote communication with Internet of Things (IoT) devices
US9871865B2 (en) 2013-07-11 2018-01-16 Neura, Inc. Physical environment profiling through internet of things integration platform
US9159371B2 (en) 2013-08-14 2015-10-13 Digital Ally, Inc. Forensic video recording with presence detection
EP3047662B1 (en) 2013-09-20 2019-11-06 Convida Wireless, LLC Method of joint registration and de-registration for proximity services and internet of things services
US8812960B1 (en) 2013-10-07 2014-08-19 Palantir Technologies Inc. Cohort-based presentation of user interaction data
US20150100979A1 (en) 2013-10-07 2015-04-09 Smrtv, Inc. System and method for creating contextual messages for videos
AU2014347366B2 (en) 2013-11-08 2019-10-31 Performance Lab Technologies Limited Automated prescription of activity based on physical activity data
US9438647B2 (en) 2013-11-14 2016-09-06 At&T Intellectual Property I, L.P. Method and apparatus for distributing content
US9709413B2 (en) 2013-12-12 2017-07-18 Cellco Partnership Directions based on predicted future travel conditions
US9135347B2 (en) 2013-12-18 2015-09-15 Assess2Perform, LLC Exercise tracking and analysis systems and related methods of use
WO2015094237A1 (en) 2013-12-18 2015-06-25 Pelco, Inc. Sharing video in a cloud video service
US20150219458A1 (en) 2014-01-31 2015-08-06 Aruba Networks Inc. Navigating to a moving target
US20150278263A1 (en) 2014-03-25 2015-10-01 Brian Bowles Activity environment and data system for user activity processing
US20150279226A1 (en) 2014-03-27 2015-10-01 MyCognition Limited Adaptive cognitive skills assessment and training
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
US10345767B2 (en) 2014-08-19 2019-07-09 Samsung Electronics Co., Ltd. Apparatus and method for gamification of sensor data interpretation in smart home
US20160073482A1 (en) 2014-09-05 2016-03-10 Qualcomm Incorporated Implementing a target lighting scene in an internet of things environment using a mobile light output device
JP6065889B2 (ja) 2014-09-18 2017-01-25 株式会社デンソー 運転支援装置
US10356649B2 (en) 2014-09-26 2019-07-16 Intel Corporation Multisensory change detection for internet of things domain
US10816944B2 (en) 2015-01-06 2020-10-27 Afero, Inc. System and method for using data collected from internet-of-things (IoT) sensors to disable IoT-enabled home devices
US10313382B2 (en) * 2016-03-29 2019-06-04 The Mitre Corporation System and method for visualizing and analyzing cyber-attacks using a graph model
US10437884B2 (en) * 2017-01-18 2019-10-08 Microsoft Technology Licensing, Llc Navigation of computer-navigable physical feature graph
US20180202819A1 (en) * 2017-01-18 2018-07-19 Microsoft Technology Licensing, Llc Automatic routing to event endpoints
US10637814B2 (en) * 2017-01-18 2020-04-28 Microsoft Technology Licensing, Llc Communication routing based on physical status
US10679669B2 (en) * 2017-01-18 2020-06-09 Microsoft Technology Licensing, Llc Automatic narration of signal segment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101790880A (zh) * 2007-06-11 2010-07-28 柯瑞克公司 用于获得和共享与地理信息相关联的内容的系统和方法
CN102567108A (zh) * 2010-11-15 2012-07-11 微软公司 快速数据共享
US20140085328A1 (en) * 2012-09-24 2014-03-27 International Business Machines Corporation Social Media Event Detection and Content-Based Retrieval
US20150279036A1 (en) * 2014-04-01 2015-10-01 Xerox Corporation Side window detection in near-infrared images utilizing machine learning

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
B. GEORIS 等: "A video interpretation platform applied to bank agency monitoring", 《INTELLIGENT DISTRIBUTED SURVEILLANCE SYSTEMS》 *
HANNAH M. DEE 等: "How close are we to solving the problem of automated visual surveillance?; A review of real-world surveillance,scientific progress and evaluative mechanisms", 《MACHINE VISION AND APPLICATIONS (2008)》 *
M. VALERA 等: "Intelligent distributed surveillance systems: a review", 《IEE PROC.-VIS. IMAGE SIGNAL PROCESS》 *

Also Published As

Publication number Publication date
US11094212B2 (en) 2021-08-17
WO2018136312A1 (en) 2018-07-26
US20180204473A1 (en) 2018-07-19
EP3571641A1 (en) 2019-11-27
CN110192208B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
Dey et al. a CAPpella: programming by demonstration of context-aware applications
CN110178147A (zh) 自动路由到事件端点
US11410672B2 (en) Organization of signal segments supporting sensed features
CN110192175A (zh) 计算机可导航物理特征图的导航
CN110192236A (zh) 自动活动时间训练
CN110192208A (zh) 共享物理图形的信号片段
CN110178148A (zh) 物理实体的计算机辅助跟踪
US20200302970A1 (en) Automatic narration of signal segment
CN110214327A (zh) 控制物理感测特征的创建/访问
CN110177661A (zh) 自动移动编排
CN110199299A (zh) 基于物理条件采取动作
CN110199272A (zh) 计算机可导航物理特征图的清洁
CN110192209A (zh) 基于物理图形来采取动作

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant