CN110177661A - 自动移动编排 - Google Patents

自动移动编排 Download PDF

Info

Publication number
CN110177661A
CN110177661A CN201880007226.0A CN201880007226A CN110177661A CN 110177661 A CN110177661 A CN 110177661A CN 201880007226 A CN201880007226 A CN 201880007226A CN 110177661 A CN110177661 A CN 110177661A
Authority
CN
China
Prior art keywords
physical
entity
physical entity
computing system
plan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201880007226.0A
Other languages
English (en)
Inventor
V·米塔尔
R·亚伯拉罕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110177661A publication Critical patent/CN110177661A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Abstract

用于物理实体在物理实体内的同时移动的计划的自动制定。物理图形被用来制定这样的计划。物理图形表示随时间在物理空间中已感测到的多个物理实体。然后计划基于对该物理图形的评估被制定。这些计划通过对物理图形所提供的物理空间及其内容的语义理解来实现。该计划遵循物理空间的物理约束以及在该物理空间内移动的物理实体的物理约束。可以通过与物理实体通信来进一步策划该计划以提供用于移动的指令。然后，对移动进行监测以确定计划是否被遵守。如果计划未被遵守，则进行进一步的通信和/或自动构建备选计划。

Description

自动移动编排
背景技术
计算系统和相关联网络极大地改变了我们的世界。起初，计算系统只能执行简单的任务。然而，随着处理能力的增加并且变得越来越可用，计算系统执行的任务的复杂性已经大大增加。同样，计算系统的硬件复杂性和能力也已经大大增加，例如，由大型数据中心所支持的云计算。
长期以来，计算系统基本上只是按照它们的指令或软件所告知的内容来完成。然而，软件和硬件的采用变得如此先进，以至于计算系统现在比以往任何时候都能够在更高的层次上进行某种程度的决策。目前，在某些方面，决策水平可以接近、匹敌、甚至超过人类大脑做出决策的能力。换句话说，计算系统现在能够采用某种程度的人工智能。
人工智能的一个示例是识别来自物理世界的外部刺激。例如，语音识别技术已经大大改进，允许高度准确地检测正在讲出的单词，甚至正在讲话的人的身份。同样地，计算机视觉允许计算系统自动标识特定图片或视频帧内的物体，或者识别在一系列视频帧上的人类活动。作为示例，面部识别技术允许计算系统识别面部，并且活动识别技术允许计算系统知晓两个邻近的人是否在一起工作。
这些技术中的每一种都可以采用深度学习(基于深度神经网络和基于强化的学习机制)和机器学习算法来从经验中学习发出声音的内容，以及图像内的物体或人物，从而随着时间的推移改善识别的准确度。在识别具有大量视觉干扰的更复杂的成像场景内的物体的领域中，先进的计算机视觉技术现在超出了人类快速且准确地识别该场景内的感兴趣物体的能力。诸如传统图形处理单元(GPU)中的矩阵变换硬件之类的硬件也可以在深度神经网络的上下文中有助于物体识别的快速速度。
本文要求保护的主题不限于仅在诸如上述那些环境中解决任何缺点或进行操作的实施例。而是，提供该背景技术仅用于说明可以实践本文描述的一些实施例的一个示例性技术领域。
发明内容
本文描述的至少一些实施例涉及用于物理实体在物理空间内的并发移动的计划的自动制定。物理图形被用来制定这样的计划。物理图形表示随时间在物理空间中已被感测到的多个物理实体。然后基于对该物理图形的评估来制定计划。这些计划通过对物理图形所提供的物理空间及其内容的语义理解来实现。该计划遵循物理空间的物理约束以及在该物理空间内移动的物理实体的物理约束。
根据一些实施例，通过与物理实体通信来进一步策划该计划，以提供用于移动的指令。然后，移动被监测以确定计划是否被遵守。如果计划未被遵守，则进行进一步的通信和/或自动构建备选计划。这可以被重复，使得在物理空间内存在持续的移动自动策划。
提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
附图说明
为了描述可以获得本发明的上述和其他优点和特征的方式，将通过参考附图中所图示的具体实施例来呈现上面简要描述的本发明的更具体的描述。应理解，这些附图仅描绘了本发明的典型实施例，因此不应被认为是对其范围的限制，本发明将通过使用附图利用附加特征和细节进行描述和解释，其中：
图1图示出了其中可以采用本文描述的原理的示例计算机系统；
图2图示出了其中可以操作本文描述的原理的环境，其包括包含多个物理实体和多个传感器的物理空间、感测物理空间内的物理实体的特征的识别组件、以及存储这些物理实体的所感测的特征的特征存储库，使得可以针对那些特征执行计算和查询；
图3图示出了用于跟踪地点内的物理实体的方法的流程图，并且可以在图2的环境中执行；
图4图示出了实体跟踪数据结构，其可以被用来协助执行图3的方法，并且其可以被用来稍后对所跟踪的物理实体执行查询；
图5图示出了用于有效地绘出感兴趣的信号段的方法的流程图；
图6图示出了用于控制由物理空间中的一个或多个传感器感测到的信息的创建或访问的方法的流程图；
图7图示出了循环流程，其示出除了在物理空间中创建感测特征的计算机可导航图形之外，还可以修剪计算机可导航图形，从而保持真实世界的计算机可导航图形在可管理的尺寸；
图8图示出了用于共享信号段的至少一部分的方法的流程图；
图9图示出了用于为多个物理实体的并发移动制定计划的方法的流程图；以及
图10图示出了用于识别物理实体在物理空间内采取的路线以便进入甚至已发生、正在发生或预测要发生的事件端点的方法的流程图。
具体实施方式
本文描述的至少一些实施例涉及用于物理实体在物理空间内的并发移动的计划的自动制定。物理图形被用来制定这样的计划。物理图形表示随时间在物理空间中已被感测到的多个物理实体。然后计划基于对该物理图形的评估被制定。这些计划通过对物理图形所提供的物理空间以及其内容的语义理解来实现。该计划遵循物理空间的物理约束以及在该物理空间内移动的物理实体的物理约束。
根据一些实施例，通过与物理实体通信来进一步策划该计划以提供用于移动的指令。然后，对移动进行监测以确定是否遵守了计划。如果计划未被遵守，则进行进一步的通信和/或自动构建备选计划。这可以被重复，使得在物理空间内存在持续的移动自动策划。
由于本文描述的原理在计算系统的上下文中操作，因此将关于图1来描述计算系统。然后，可以在计算机可导航图形(本文中也被称为“物理图形”)的上下文中执行环境计算的基础的原理然后将参考图2到图4进行描述。然后将参考图5描述从物理图形获得信号段。此后，将参考图6描述在环境计算的上下文中的安全性应用。将关于图7描述计算机可导航图形的尺寸的管理。然后，将关于图8描述来自物理图形的信号段的共享。最后，将关于图9和图10描述使用由物理图形提供的语义理解的两个相关规划和路由实现。
计算系统现在越来越多地采取各种各样的形式。例如，计算系统可以是手持设备、电器、膝上型计算机、台式计算机、大型机、分布式计算系统、数据中心、或者甚至通常不被认为是计算系统的设备诸如可穿戴设备(例如、眼镜、手表、手环等等)。在本说明书和权利要求书中，术语“计算系统”被广义地定义为包括任何设备或系统(或其组合)，其包括至少一个物理和有形处理器以及能够在其上具有可由处理器执行的计算机可执行指令的物理和有形存储器。存储器可以采取任何形式并且可以取决于计算系统的性质和形式。计算系统可以被分布在网络环境上，并且可以包括多个组成的计算系统。
如图1中所图示，在其最基本配置中，计算系统100通常包括至少一个硬件处理单元102和存储器104。存储器104可以是物理系统存储器，其可以是易失性的、非易失性的、或两者的某种组合。术语“存储器”在本文中还可以被用来指代诸如物理储存介质之类的非易失性大容量储存装置。如果计算系统是分布式的，则处理、存储器和/或储存能力也可以是分布式的。
计算系统100在其上具有通常被称为“可执行组件”的多个结构。例如，计算系统100的存储器104被示为包括可执行组件106。术语“可执行组件”是本领域普通技术人员在计算领域中很好理解的结构的名称，其是可以是软件、硬件或其组合的结构。例如，当以软件实现时，本领域普通技术人员将理解，可执行组件的结构可以包括可以在计算系统上被执行的软件物体、例程、方法，无论这种可执行组件是否存在于计算系统的堆阵中，或者无论可执行组件是否存在于计算机可读储存介质上。
在这种情况下，本领域普通技术人员将认识到，可执行组件的结构存在于计算机可读介质上，使得在由计算系统的一个或多个处理器解译时(例如，通过处理器线程)，使计算系统执行功能。这种结构可以是由处理器直接进行计算机可读的(如果可执行组件是二进制的，则是这种情况)。可替代地，该结构可以被构造成是可解译的和/或被编译(无论是在单个阶段中还是在多个阶段中)，以便生成可由处理器直接解译的这种二进制。当使用术语“可执行组件”时，对可执行组件的示例结构的这种理解完全在计算领域的普通技术人员的理解之内。
本领域普通技术人员还充分理解术语“可执行组件”包括完全或近乎完全以硬件实现的结构，诸如在现场可编程门阵列(FPGA)、专用集成电路(ASIC)或任何其他专用电路内。因此，术语“可执行组件”是用于计算领域的普通技术人员很好理解的结构的术语，无论是以软件、硬件还是组合来实现。在本说明书中，也可以使用术语“组件”。如在本说明书和该情况中所使用的，该术语(无论该术语是否用一个或多个修饰符修饰)也旨在与术语“可执行组件”同义或者是这种“可执行组件”的特定类型，并且因此也具有计算领域的普通技术人员很好理解的结构。
在以下描述中，参考由一个或多个计算系统执行的动作来描述实施例。如果这些动作是以软件实现的，则(执行该动作的关联计算系统的)一个或多个处理器响应于已经执行构成可执行组件的计算机可执行指令来指导计算系统的操作。例如，这样的计算机可执行指令可以体现在形成计算机程序产品的一个或多个计算机可读介质上。这种操作的示例涉及数据的操纵。
计算机可执行指令(和操纵数据)可以被存储在计算系统100的存储器104中。计算系统100还可以包含通信信道108，通信信道108允许计算系统100例如通过网络110来与其他计算系统通信。
虽然并非所有计算系统都需要用户接口，但在一些实施例中，计算系统100包括用于与在用户进行连接时使用的用户接口112。用户接口112可以包括输出机制112A以及输入机制112B。本文描述的原理不限于精确的输出机制112A或输入机制112B，因为这将取决于设备的性质。然而，输出机制112A可以包括例如扬声器、显示器、触觉输出、全息图、虚拟现实等。输入机制112B的示例可以包括例如麦克风、触摸屏、全息图、虚拟现实、相机、键盘、其他指针输入的鼠标、任何类型的传感器等。
本文描述的实施例可以包括或利用包括计算机硬件的专用或通用计算系统，诸如、例如一个或多个处理器和系统存储器，如下面更详细地讨论的。本文描述的实施例还包括用于承载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这种计算机可读介质可以是可由通用或专用计算系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理储存介质。承载计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，实施例可以包括至少两种截然不同种类的计算机可读介质：储存介质和传输介质。
计算机可读储存介质包括RAM、ROM、EEPROM、CD-ROM或其他光盘储存装置、磁盘储存装置或其他磁储存设备、或任何其他物理和有形存储介质，其可以被用来存储以计算机可执行指令或数据结构的形式的所需程序代码装置，并且该程序代码装置可以由通用或专用计算系统访问。
“网络”被定义为支持在计算系统和/或模块和/或其他电子设备之间传送电子数据的一个或多个数据链路。当通过网络或另一通信连接(硬连线、无线或硬连线或无线的组合)向计算系统传送或提供信息时，计算系统将连接正确地视为传输介质。传输介质可以包括网络和/或数据链路，其可以被用来承载计算机可执行指令或数据结构形式的并且可以由通用或专用计算系统访问的所期望的程序代码装置。上述的组合也应被包括在计算机可读介质的范围内。
此外，在到达各种计算系统组件时，可以将计算机可执行指令或数据结构形式的程序代码装置自动地从传输介质传送到储存介质(反之亦然)。例如，可以将通过网络或数据链路接收的计算机可执行指令或数据结构缓冲在网络接口模块(例如，“NIC”)内的RAM中，然后最终将其传送到计算系统RAM和/或计算系统处的较不易失性的储存介质中。因此，应该理解，可读介质可以被包括在也(或甚至主要)利用传输介质的计算系统组件中。
计算机可执行指令包括例如指令和数据，当在处理器处被执行时，该指令和数据使得通用计算系统、专用计算系统或专用处理设备执行特定功能或功能组。替代地或另外地，计算机可执行指令可以将计算系统配置为执行特定功能或功能组。计算机可执行指令可以是例如二进制或者甚至是在被处理器直接执行之前经历一些转换(诸如编译)的指令，诸如中间格式指令——诸如汇编语言，或甚至源代码。
本领域技术人员将理解，本发明可以在具有许多类型的计算系统配置的网络计算环境中实践，包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持设备、多处理器系统、基于微处理器或可编程消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、寻呼机、路由器、交换机、数据中心、可穿戴设备(诸如眼镜或手表)等。本发明还可以在分布式系统环境中被实践，其中通过网络被链接(通过硬连线数据链路、无线数据链路或通过硬连线和无线数据链路的组合)的本地和远程计算系统都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储器储存设备中。
本领域技术人员还将理解，本发明可以在云计算环境中实践。可以分布云计算环境，但这不是必需的。在被分布时，云计算环境可以在组织内进行国际分布和/或具有跨多个组织所拥有的组件。在本说明书和以下权利要求中，“云计算”被定义为用于支持对可配置计算资源(例如，网络、服务器、储存装置、应用和服务)的共享池的按需网络访问的模型。“云计算”的定义不限于在适当部署时可以从这种模型获得的任何其他众多优点。
例如，云计算在当前在市场中被采用，以便提供对可配置计算资源的共享池的普遍且方便的按需访问。此外，可配置计算资源的共享池可以经由虚拟化而被快速供应，并以低管理工作量或服务提供商交互发布，然后相应地进行缩放。
云计算模型可以由各种特性组成，例如按需自助服务、广泛网络访问、资源池、快速弹性、测量服务等。云计算模型还可以以各种服务模型的形式出现，诸如，例如软件即服务(“SaaS”)、平台即服务(“PaaS”)和基础设施即服务(“IaaS”)。还可以使用不同的部署模型来部署云计算模型，诸如私有云、社区云、公共云、混合云等。在本说明书和权利要求书中，“云计算环境”是在其中可以采用云计算的环境。
图2图示出了在其中可以操作本文描述的原理的环境200。环境200包括物理空间201(也可被称为“物理空间”)，物理空间201包括多个物理实体210，多个物理实体210可以是发射或反射物理信号(诸如电磁辐射或声学)的任何现存的物体、人或事物，物理信号具有可以被用来潜在地标识相应物体、人或事物的一个或多个物理特征(在本文中也被称为状态)的模式。这种潜在标识电磁辐射的示例是具有从其中可以确定可见实体的特性的光图案(例如，静止图像或视频)的可见光。这种光图案可以是任何时间、空间或甚至更高维度的空间。这种声学的示例可以是人的声音、正常操作中或经历活动或事件的物体的声音、或反射的声学回声。
环境200还包括从物理实体210接收物理信号的传感器220。当然，传感器不需要获得物理实体发出或反射的每个物理信号。例如，可见光相机(静止或视频)能够接收可见光形式的电磁辐射并将此类信号转换为可处理的形式，但不能获得任何频率的所有电磁辐射，因为相机都具有有限的动态范围。声学传感器同样具有针对特定频率范围设计的有限动态范围。在任何情况下，传感器220将结果传感器信号提供(如箭头229所示)到识别组件230。
识别组件230至少基于在所接收的传感器信号中检测到的模式来估计(例如，估计或识别)该地点内的物理实体210的一个或多个特征。识别组件230还可以生成与物理实体的特征的“至少一个估计”相关联的置信水平。如果该置信水平小于100％，那么“至少一个估计”仅仅是估计。如果该置信水平为100％，那么“至少一个估计”实际上不仅仅是估计——它是一种识别。在本说明书的其余部分和权利要求中，“至少被估计”的特征也将被称为“感测的”特征以提高清晰度。这与术语“感测”的普通用法一致，因为“感测”的特征并不总是完全确定地存在。识别组件230可以采用深度学习(基于深度神经网络和基于强化的学习机制)和机器学习算法来从经验中学习图像内的物体或人，从而随时间的推移改善识别的准确度。
识别组件230将感测到的特征提供(如箭头239所示)到感测特征存储库240，感测特征存储库240可以存储针对地点201内的每个物理实体的感测特征(和相关联的置信水平)——无论物理实体是短时间、长时间或永久性地在物理空间内。然后，计算组件250可以对在感测特征存储库240中提供的感测特征数据执行各种查询和/或计算。可以通过计算组件250和感测特征存储库240之间的交互(由箭头249表示)来实现查询和/或计算。
在一些实施例中，当识别组件230使用由传感器提供的(多个)传感器信号感测到地点201内的物理实体的感测特征时，传感器信号也被提供给诸如感测特征存储之类的存储库。例如，在图2中，感测特征存储库240被图示为包括感测特征241以及表示感测特征的证据的对应传感器信号242。
对于感测到的多个实体中的至少一个实体的至少一个(并且优选地多个)感测特征，至少一个信号段与感测特征计算机相关联，使得计算机导航到感测特征也允许计算机导航到信号段。可以连续地执行感测的信号与相关联信号段的关联，从而产生信号段的扩展集合和扩展图形。也就是说，如下面进一步描述的，垃圾收集过程可以被用来清除过时或不再感兴趣的感测特征和/或信号段。
信号段可以包括多条元数据，诸如，例如生成信号段的一个或多个传感器的标识。信号段不需要包括由该传感器生成的所有信号，并且为了简洁起见，或许可能仅包括被用来感测特定物理实体的感测特征的信号的那些部分。在那种情况下，元数据可以包括对存储的原始信号段的所述部分的描述。
感测的信号可以是由传感器生成的任何类型的信号。示例包括视频、图像和音频信号。然而，各种信号不限于人类可以感测的信号。例如，信号段可以表示由传感器生成的信号的变换版本，以允许人类观察到更好的人类焦点。这种变换可以包括滤波或量化，这种滤波基于频率。这种变换还可以包括放大、频移、速度调整、扩大、幅度调整等。
为了允许减少储存要求以及适当地关注感兴趣的信号，可能仅存储信号段的一部分。例如，如果存储视频信号，可能仅存储视频的一部分帧。此外，对于任何给定图像，可能仅存储帧的相关部分。同样，如果传感器信号是图像，则可能仅存储图像的相关部分。使用信号段来感测特征的识别服务知晓信号段的哪个部分被用来感测特征。因此，识别服务可以针对任何给定的感测特征专门地划分出信号的相关部分。
计算组件250还可以具有安全组件251，其可以确定对感测特征存储库240数据的访问。例如，安全组件251可以控制哪些用户可以访问感测特征数据241和/或传感器信号242。此外，安全组件251甚至可以控制在哪个感测特征数据上执行计算，和/或哪个用户被授权执行什么类型的计算或查询。因此，有效地实现了安全性。关于该安全性的更多内容将在下面关于图6进行描述。
由于感测特征数据表示物理空间201内的物理实体随时间感测到的特征，因此可以对物理空间201内的物理实体执行复杂计算。如将在下面所描述的，对于用户而言，好像环境本身充满了有用的计算能力，该计算能力可以为任何有关该物理空间的计算查询或计算做好准备。这在下文中也被称为“环境计算”。
此外，每当感测特征是感兴趣的时，可以重建支持感测该特征的识别组件的证据。例如，计算组件240可以提供特定物理实体何时首次进入特定地点的视频证据。如果多个传感器生成由识别组件用以感测该特征的传感器信号，那么可以重建和评估针对任何个体传感器或传感器组合的传感器信号。因此，例如，可以从不同角度查看物理实体首先进入特定地点的视频证据。
物理空间201在图2中被图示出，并且仅旨在作为其中具有传感器的任何物理空间的抽象表示。存在此类物理空间的无数示例，但示例包括房间、房屋、社区、工厂、体育馆、建筑物、地板、办公室、汽车、飞机、航天器、培养皿、管道或管、大气、地下空间、洞穴、陆地、它们的组合和/或其部分。物理空间201可以是可观察宇宙的整体或其任何部分——只要存在能够接收从地点内的物理实体发出、受其影响(例如衍射、频移、回声等)和/或从其反射的信号的传感器。
仅作为示例，物理空间201内的物理实体210被图示为包括四个物理实体211、212、213和214。省略号215表示可以存在具有基于来自传感器220的数据进行感测特征的任何数目和种类的物理实体。省略号215还表示物理实体可以离开和进入地点201。因此，地点201内的物理实体的数目和身份可以随时间改变。
物理实体的位置也可以随时间变化。尽管物理实体的位置在显示在图2中的物理空间201的上部中被示出，但这仅仅是为了清楚标记的目的。本文描述的原理不取决于占据物理空间201内的任何特定物理定位的任何特定物理实体。
最后，仅为了惯例并且为了将物理实体210与传感器220区分开，将物理实体210被图示为三角形，而将传感器220被图示为圆形。当然，物理实体210和传感器220可以具有任何物理形状或大小。物理实体通常形状不是三角形，并且传感器形状通常不是圆形。此外，传感器220可以观察物理空间201内的物理实体，而不考虑那些传感器220是否物理上位于该物理空间201内。
仅作为示例将物理空间201内的传感器220图示为包括两个传感器221和222。省略号223表示可以存在任何数目和种类的传感器，其能够接收由物理空间内的物理实体发出、受其影响(例如经由衍射、频移、回声等)和/或由其反射的信号。随着物理空间内的传感器被添加、移除、升级、破坏、替换等，可操作传感器的数目和能力可随时间而变化。
图3图示出了用于跟踪物理空间内的物理实体的方法300的流程图。由于可以执行方法300以跟踪图2的物理空间201内的物理实体210，所以现在将频繁参考图2的环境200来描述图3的方法300。此外，图4图示出了实体跟踪数据结构400，其可以被用来协助执行方法300，并且其可以被用来稍后对所跟踪的物理实体执行查询，并且可能还用以访问和查看与所跟踪的物理实体相关联的传感器信号。此外，实体跟踪数据结构400可以被存储在图4的感测特征存储库240中(其被表示为感测特征数据241)。因此，还将频繁参考图4的实体跟踪数据结构400来描述图3的方法300。
为了协助跟踪，建立用于物理空间的空间-时间数据结构(动作301)。这可以是分布式数据结构或非分布式数据结构。图4图示出了包括空间-时间数据结构401的实体跟踪数据结构400的示例。该实体跟踪数据结构400可以作为感测特征数据241被包括在图2的感测特征存储库240内。虽然关于跟踪物理实体及其感测特征和活动描述了本文描述的原理，但是本文描述的原理可以操作来跟踪多于一个地点内的物理实体(及其感测特征和活动)。在那种情况下，可能空间-时间数据结构401不是由实体跟踪数据结构400表示的树中的根节点(如省略号402A和402B所标示的)。相反，可能存在多个可以经由公共根节点互连的空间-时间数据结构。
然后，返回到图3，可以针对至少临时在物理空间(例如，物理空间201)内的多个物理实体(例如，物理实体210)中的每一个执行框310A的内容。此外，框310B的内容被图示为嵌套在框310A内，并且表示其内容可以针对给定物理实体在多次中的每一次被执行。通过执行方法300，可以创建和增长复杂的实体跟踪数据结构400，从而记录在该地点内一次或多次的物理实体的感测特征。此外，实体跟踪数据结构400还可能潜在地被用来访问导致识某些感测特征(或特征变化)被识别的感测的信号。
对于在特定时间的地点中的特定物理实体，由一个或多个传感器感测物理实体(动作311)。换句话说，由一个或多个传感器接收从物理实体发出、受物理实体影响(例如经由衍射、频移、回声等)和/或从物理实体反射的一个或多个物理信号。参考图1，假设物理实体211具有在特定时间由传感器221和传感器222两者感测到的一个或多个特征。
安全性的一个方面在此时可以进入。识别组件230可以具有安全组件231，根据特定设置，安全组件231可以拒绝记录与特定物理实体相关联的感测特征、特定类型的感测特征、和/或从在特定时间生成的传感器信号感测到的特征、或其组合。例如，识别组件230可能不会记录位于该地点内的任何人的感测特征。作为更细粒度的示例，识别组件230可能将不记录一组人的感测特征，其中那些感测特征与人的身份或性别相关，并且其中那些感测特征从在特定的时间帧处所生成的传感器信号中产生。关于该安全性的更多内容将在下面关于图6再次描述。
如果允许，则在对应于物理实体的实体数据结构内表示感测到物理实体的那个特定时间的至少近似值，并且这与空间-时间数据结构计算相关联(动作312)。例如，参考图4，实体数据结构410A可以对应于物理实体211并且与空间-时间数据结构401计算相关联(如线430A所示)。在本说明书和权利要求书中，如果计算系统通过任何方式能够检测两个节点之间的关联，则数据结构的一个节点与数据结构的另一节点“计算相关联”。例如，指针的使用是计算相关联的一种机制。数据结构的节点还可以通过被包括在数据结构的其他节点内并且通过计算系统识别为关联的任何其他机制而是计算相关联的。
时间数据411表示实体数据结构410A内感测到物理实体的时间的至少近似值(至少在此时框310B的内容迭代)。该时间可以是实时(例如，相对于原子钟所表达的)，或者可以是人造时间。例如，人造时间可以是与实时偏移和/或以与实时不同的方式表达的时间(例如，自千禧年的最后一个转折点以来的秒数或分钟数)。人造时间也可以是逻辑时间，诸如由在每次感测时递增的单调递增数字所表达的时间。
此外，基于在特定时间对特定物理实体的感测(在动作311处)，环境感测特定物理实体在特定时间存在于其中的特定物理实体的至少一个物理特征(以及可能多个特征)(动作313)。例如，参考图2，识别组件230可以基于从传感器221和传感器222接收的信号(例如，如箭头229所示)来感测物理实体211的至少一个物理特征。
然后，以与特定时间的至少近似值计算相关联的方式，在实体数据结构中表示所感测的特定物理实体的至少一个物理特征(动作314)。例如，在图2中，感测特征数据被提供(如箭头239所示)到感测特征存储库240。在一些实施例中，该感测特征数据可以与特定时间的至少近似值一起被提供，以便在基本上一个动作来修改实体跟踪数据结构400。换句话说，可以在基本相同的时间执行动作312和动作314，以减少对感测特征存储库240的写入操作。
此外，如果允许，则以与感测到的特征计算机相关联的方式记录识别组件所依赖来对感测特征进行感测的(多个)传感器信号(动作315)。例如，感测特征数据241中的感测特征(例如，在空间-时间数据结构401中)可以与存储在感测的信号数据242中的(多个)这种传感器信号计算相关联。
参考图4，第一实体数据结构现在具有与时间411计算相关联的感测特征数据421。在该示例中，感测特征数据421包括物理实体的两个感测的物理特征421A和物理特征421B。然而，省略号421C表示可以存在物理实体的任何数目的感测特征，其被存储为实体数据结构401内的感测特征数据421的一部分。例如，可能存在单个感测特征、或者无数检测特征、或在任何特定时间检测到的针对任何给定物理实体的其间的任何数字。
在一些情况下，感测特征可以与其他特征相关联。例如，如果物理实体是人，则该特征可以是人的姓名。该具体标识的人可能基于实体数据结构内未表示的特征而具有已知特性。例如，该人可能在组织内具有特定等级或职位、具有特定训练、具有特定高度等等。当感测到特定特征(例如，姓名)时，实体数据结构可以通过指向该物理实体的附加特征(例如，等级、职位、训练、高度)来扩展，以便更进一步扩展对数据结构进行查询和/或其他计算的丰富度。
感测特征数据还可以具有与每个感测特征相关联的置信水平，其表示物理实体在特定时间410A确实具有感测特征的估计概率。在该示例中，置信水平421a与感测特征421A相关联，并且表示物理实体211确实具有感测特征421A的置信度。同样，置信水平421b与感测特征421B相关联，并且表示物理实体211确实具有感测特征421B的置信度。省略号421c再次表示可能存在针对任何数目的物理特征表达的置信水平。此外，可能存在一些物理特征，其中没有针对这些物理特征表达置信水平(例如，在确定的情况下或者在测量感测的物理特征的置信度不重要或不期望的情况下)。
感测特征数据还可以具有与被识别组件用以感测该置信水平的感测特征的(多个)传感器信号的计算关联(例如，指针)。例如，在图4中，(多个)传感器信号421Aa与感测特征421A计算相关联，并且表示在时间411被用来对感测特征421A进行感测的(多个)传感器信号。同样，(多个)传感器信号421Bb与感测特征421B计算相关联，并且表示在时间411被用以对感测特征421B进行感测的(多个)传感器信号。省略号421Cc再次表示可能存在任何数量的物理特征的计算关联。
识别组件230的安全组件231还可以在决定是否记录被用来在特定时间感测特定特征的(多个)传感器信号时运用安全性。因此，安全组件231可以在以下情况时运用安全性：1)确定是否记录特定特征被感测到，2)确定是否记录与特定物理实体相关联的特征，3)确定是否记录在特定时间感测到的特征，4)确定是否记录(多个)传感器信号，并且如果是，记录哪些信号作为感测特征的证据，等等。
作为示例，假设被跟踪的地点是房间。现在假设图像传感器(例如，相机)感测到房间内的某些事物。示例感测特征是：该“事物”是人类。另一示例感测特征是：该“事物”是特定的命名人物。即“事物”是一个人可能有100％的置信度，但该人是特定的被识别的人只有20％的置信度。在这种情况下，感测特征集包括一个特征，该特征是另一特征的更具体类型。此外，来自相机的图像数据可以在特定时间由特定物理实体的感测特征的记录所指向。
另一个示例特征是，物理实体仅存在于该地点内，或该地点内的特定位置处。另一个示例是，这是自特定时间(例如，近期或甚至永远)以来物理实体的首次出现。特征的另一个示例是，物品是无生命的(例如，具有99％的确定性)、工具(例如，具有80％的确定性)和锤子(例如，具有60％的确定性)。另一示例特征是，物理实体不再存在(例如，不存在)于该地点，或者具有特定姿势，以某种方式朝向，或者与该地点内的另一物理实体具有位置关系(例如，“在桌子上”或“坐在椅子上#5”)。
在任何情况下，可以从任何地点内的物理实体的数目和类型感测特征的数目和类型是无数的。而且，如先前所提及，如框310B所示，对于任何给定物理实体，或许可以多次执行框310B内的动作。例如，物理实体211可能被传感器221和传感器222中的一个或两个检测到。参考图4，该检测导致在实体数据结构410内表示下一次检测的时间(或是近似值)。例如，时间412也被表示在实体数据结构内。此外，感测特征422(例如，包括可能的感测特征422A和422B——省略号422C再次表示灵活性)与第二时间412计算相关联。此外，那些感测特征也可以具有相关联的置信水平(例如，422a、422b、省略号422c)。同样，那些感测特征也可以具有相关联的传感器信号(例如，422Aa、422Bb、省略号422Cc)。
在第二时间感测到的感测特征可以与在第一时间感测到的感测特征相同或不同。置信水平可以随时间而变化。作为示例，假设以90％置信度经由图像在大房间的一侧在时间#1处检测到人，并且以30％置信度将该人具体地感测为John Doe。现在，在0.1秒之后的第2时间，以100％置信度感测到John Doe在房间的另一部分50英尺外，并且仍有一个人在John Doe在时间1被推测所在的同一地点处。由于人不会在十分之一秒内行进50英尺(至少在办公室环境中)，所以现在可以得出推论：在时间1检测到的人根本不是John Doe。因此，对该人是John Doe的针对时间#1的置信度降低到零。
返回到图2，省略号413和423表示对在该地点内可以检测到物理实体的次数没有限制。随着进行随后检测，可以更多地了解物理实体，并且因此可以适当地添加(或移除)感测特征，并对每个感测特征的置信水平进行对应的调整。
现在移动到框310B之外，但是保留在框310A内，对于任何给定的物理实体，可以基于在不同时间对特定物理实体的(多个)感测特征的比较(动作321)来感测特定实体中的特征变化(动作322)。可以由识别组件230或计算组件250执行该感测到的变化。如果期望的话，也可以记录那些感测到的变化(动作323)。例如，可以以与特定时间计算相关联或者可能不与特定时间计算相关联的方式将感测到的变化记录在实体数据结构410A中。可以使用在每个时间证明感测特征的传感器信号来重建证明特征变化的传感器信号。
例如，基于在第一时间处的感测特征是该地点内的物理实体的存在，并且基于在第二时间处的第二特征是该地点内的物理实体的缺失，可以得出推论：物理实体已经离开了该物理空间。相反，基于在第一时间处的感测特征是在该地点缺失物理实体而在第二时间处的第二特征是该地点内存在物理实体，可以得出结论：物理实体已进入该地点。在某些情况下，在物理实体首次被检测为存在于物理空间中之前，可能不会寻找在物理空间缺失物理实体。
现在参考框310A，可以随时间对多个实体执行对物理实体的(多个)特征的这种跟踪。例如，可以对物理空间201内的每个物理实体211、212、213或214或者对于进入或离开物理空间201的其他物理实体执行框310A的内容。参考图4，空间-时间数据结构401还与第二实体数据结构410B(可能与图2的第二物理实体212相关联)、第三实体数据结构410C(可能与图2的第三物理实体213相关联)、以及第四实体数据结构410D(可能与图2的第四物理实体214相关联)计算相关联(如线430B、430C和430D所示)。
空间-时间数据结构401还可以包括定义条件和动作的一个或多个触发器。当满足条件时，将发生对应的动作。触发器可以被存储在空间-时间数据结构中的任何位置处。例如，如果条件和/或动作是关于特定实体数据结构，则触发器可以被存储在对应的实体数据结构中。如果条件和/或动作是关于特定实体数据结构的特定特征，则触发器可以被存储在对应的特征数据结构中。
省略号410E表示实体数据结构的数目可以改变。例如，如果相对于物理空间内的物理实体永久保存跟踪数据，那么每次在该地点内检测到新的物理实体时可以添加附加的实体数据结构，并且每次在物理空间内检测到物理实体时可以增强任何给定的实体数据结构。然而，回想一下，可以(例如，通过清理组件260)执行垃圾收集以保持实体跟踪数据结构400不会变得太大而不能被适当地编辑、存储和/或导航。
在框310A之外，可以基于关联实体数据结构的比较(动作331)来感测不同物理实体之间的物理关系(动作332)。这些物理关系同样可以被记录在实体跟踪数据结构401中(动作333)，该实体跟踪数据结构401可能在具有感测到的物理关系的关联实体数据结构内和/或可能与物理实体被感测为具有关系的时间相关联。例如，通过随时间分析针对不同物理实体的实体数据结构，可以确定在特定时间，物理实体可以被隐藏在另一个物理实体后面，或者物理实体可能模糊了对另一个物理实体的感测，或者已连结两个物理实体或物理实体已被分离以创建多个物理实体。可以使用在适当的时间并针对每个物理实体证明感测特征的传感器信号来重建证明物理实体关系的传感器信号。
现在，可以将特征数据存储库240用作强大的存储库，在其上在物理空间内随时间计算对物理实体的表示的复杂功能和查询。这种计算和查询可以由计算组件250执行。这实现了许多有用的实施例，并且实际上引入了一种全新形式的计算，在此被称为“环境计算”。在具有传感器的物理空间内，就好像空气本身可以被用来计算和感测关于物理世界的状态。就好像现在已经为该物理空间创建了水晶球，从中可以查询和/或计算有关该位置及其历史的许多事物。
作为示例，用户现在可以查询物体现在是否在物理空间中，或者物体在特定时间是否在物理空间内的何处。用户还可以查询具有特定特征(例如，公司内的等级或职位)的哪个人现在正在该物体附近，并且与该人进行通信以将该物体带给用户。用户可以查询物理实体之间的关系。例如，用户可以查询谁拥有物体。用户可以询问物体的状态、它是否被隐藏、以及什么其他物体是否遮挡了物体的视图。用户可以查询物理实体何时首次出现在物理空间内、何时离开等等。当系统确定物理实体的一个或多个特征时，用户还可以查询照明何时关闭。用户还可以搜索物体的(多个)特征。用户还可以查询在该地点内发生的活动。用户可以计算特定类型的物理实体在该地点内的平均时间，预测物理实体在将来某个时间将在何处等等。因此，可以在具有传感器的物理空间上执行丰富的计算和查询。
如先前所提及的，计算机可导航图形可以具有与感测特征相关联的信号段。图5图示出了用于有效地绘出感兴趣的信号段的方法500的流程图。首先，计算系统导航感测特征的可导航图形以达到特定感测特征(动作501)。例如，该导航可以自动被执行或响应于用户输入而被执行。导航可以是计算的结果，或者可以简单地涉及标识感兴趣的感测特征。作为另一示例，导航可以是用户查询的结果。在一些实施例中，计算或查询可以导致被导航到的多个感测特征。作为示例，假设计算系统导航到图2中的感测特征222A。
然后，计算系统使用特定感测特征与相关联的传感器信号之间的计算机关联，导航到与特定感测特征计算机相关联的感测信号(动作502)。例如，在图2中，在感测特征是感测特征222A的情况下，计算机关联被用来导航到信号段222Aa。
最后，然后可以在适当的输出设备上绘出信号段(动作503)。例如，如果计算系统是图1的计算系统100，则适当的输出设备可以是输出机制112A中的一个或多个。例如，可以使用扬声器来绘出音频信号，并且可以使用显示器来绘出视觉数据。在导航到(多个)感测的信号之后，可能发生许多事情。用户可以播放特定的信号段，或者可以从有助于该特征的多个信号段中进行选择。可以从多个信号段合成视图。
利用在物理世界上执行计算，实现了新类型的环境计算。就好像计算机在非常周围的环境中可用，体现在空气本身中，并且能够在与空气接触的任何点处对物理实体执行计算。在工作场所中，使用这种环境计算可以大大提高生产率。例如，用户可以快速找到错放的工具，或者能够与靠近工具的对等方通信，以便用户可以要求该对等方抓取该工具并将其带给用户。此外，除了环境计算之外，人类可以在特定的感兴趣时间查看被用来感测感兴趣的特定物理实体的感兴趣特征的(多个)传感器信号。然而，用于由于负责任地使用环境计算来提高物理生产力的场景的数量是无限的。
现在已经参考图2至图5描述了环境计算的原理，将参考图6描述可以在这种环境计算的上下文中执行的安全机制。图6图示出了方法600的流程图，该方法用于控制对由物理空间中的一个或多个传感器感测到的信息的创建或访问。该方法包括创建(动作601)随时间在物理空间中感测到的感测的物理实体的特征的计算机可导航图形。本文描述的原理不限于这种计算机可导航图形的精确结构。已经参考图2至图4描述了示例结构及其创建。
方法600还包括基于一个或多个标准来限制对计算机可导航图形的节点的创建或访问(动作602)。因此，对计算机可导航图形施加了安全性。箭头603和604表示创建图形并限制对其节点的创建/访问的处理可以是连续过程。该图形可以连续地将节点添加到图形中(并且可从图形中移除)。此外，只要存在创建节点的可能性，创建的限制就可被考虑。可以在创建图形的节点时或在其后的任何点处决定访问的限制。限制的示例可以包括例如感测物理实体的预期身份、感测的物理实体的感测特征等。
在确定是否授权对计算机可导航图形的节点的访问时，可以存在针对每个节点的访问标准。这种访问标准可以是显式的或隐式的。也就是说，如果对于要被访问的节点没有显式的访问标准，那么可能可以应用访问标准的默认集合。可以以任何方式组织针对任何给定节点的访问标准。例如，在一个实施例中，可以将针对节点的访问标准与节点一起存储在计算机可导航图形中。
访问限制还可以包括基于所请求的访问类型的限制。例如，计算访问意味着不直接访问节点，而是在计算中使用节点。可以限制直接访问以读取节点的内容，而可以允许不报告节点的确切内容的计算访问。
访问限制还可以基于所访问的节点的类型。例如，在访问计算机可导航图形的特定实体数据结构节点时可能存在限制。例如，如果该特定实体数据结构节点表示检测到在物理空间中的特定人，则可能拒绝访问。在访问计算机可导航图形的特定信号段节点时可能存在限制。作为示例，也许人们可以能够确定一个人在给定时间在某个地点，但是不能查看该人在该地点处的视频记录。访问限制也可以基于谁是访问的请求者。
在确定是否限制计算机可导航图形的特定感测特征节点的创建时，可以考虑各种标准。例如，在创建计算机可导航图形的特定信号段节点时可能存在限制。
图7图示出了循环流程700，其示出除了在物理空间中创建感测特征的计算机可导航图形之外(动作701)，还可以修剪计算机可导航图形(动作702)。这些动作甚至可以同时且连续地发生(如箭头703和704所示)，从而将感测特征的计算机可导航图形保持在可管理的大小。本文已经关于可以如何创建计算机可导航图形进行了重要的描述(表示为动作701)。
现在，该描述将集中于如何修剪计算机可导航图形以移除计算机可导航图形的一个或多个节点(动作702)。计算机可导航图形的任何节点都可能受到移除。例如，可以在特定时间或一组时间内移除物理实体数据结构的感测特征。还可以一直移除物理实体数据结构的感测特征。可以在任何给定时间或任何一组时间内移除物理实体数据结构的多于一个感测特征。此外，在某些情况下可以完全移除物理实体数据结构。
例如，当物理图形表示根据物理定律不可能的事物时，可以发生节点的移除。例如，给定物体不能同时处于两个地方，物体也不能在环境中在短时间内移动很长的距离，这种行进是不可行或不可能的。因此，如果在一个地点处以绝对确定性跟踪物理实体，则可以删除以较低置信度表示相同物理实体处于不一致位置处的任何物理实体数据结构。
当获得关于物理实体的感测特征的更多置信度时，也可以发生节点的移除。例如，如果以100％确定性来确定物理实体在一个地点内的感测特征，那么可以更新该物理实体的该感测特征的确定性级别以对所有先前时间也读取100％。此外，已经获悉的不适用于物理实体的感测特征(即，置信水平已降低到零或可忽略不计)，则可以针对该物理实体移除该感测特征。
此外，计算机可导航图形中的一些信息可能只是过于陈旧而无法使用。例如，如果在物理空间中很长一段时间没有观察到物理实体以使得物理实体的先前识别不再相关，那么可以移除整个物理实体数据结构。此外，尽管物理实体数据结构仍然反映更近期的检测，但是可以去除对已经变为过时的物理实体的检测。因此，可以经由内在分析和/或经由外在信息来执行计算机可导航图形的清理(或修剪)。通过移除质量较差的信息并释放空间以存储更相关的信息，这种修剪本质上提高了计算机可导航图形中所表示的信息的质量。
因此，本文描述的原理允许物理世界的计算机可导航图形。物理图形可以是可搜索和可查询的，从而允许在现实世界上执行搜索和查询以及其他计算。在这样的环境中可以进一步施加安全性。最后，可以通过清理和修剪将物理图形保持在可管理的尺寸。因此，实现了计算中的新范例。
图8图示出了用于共享信号段的至少一部分的方法800的流程图。例如，信号段可以是已经捕获相同物理实体的多个信号段。例如，如果信号段是视频信号段，则多个视频段可能已经从不同的视角和距离捕获了相同的物理实体。如果信号是音频信号段，则所选择的一个或多个物理实体利用介于对应的声学传感器和所选择的一个或多个物理实体(或其部分)之间的不同声学通道可能已经捕获了所选择的一个或多个音频段。被共享的(多个)信号段可以是从一个地点内的一个或多个物理实体捕获实时信号的实时信号段。可替代地，被共享的(多个)信号段可以是记录的信号段。
根据方法800，系统检测在一个或多个信号段内绘出的一个或多个物理实体或其部分的选择(动作801)。因此，可以基于信号段的语义内容来发起共享。例如，所选择的一个或多个物理实体(或其(多个)部分)可以是工作目标或工作源。作为示例，用户可能选择诸如物理白板之类的工作目标。另一个示例工作目标可能是正在修理的一件装备。工作源的示例例如可能是在物理白板上书写的人、舞者、魔术师、建筑工人等等。
用于共享的所选择的一个或多个物理实体(或其部分)的个体可以是人。在那种情况下，用户可以以对人类用户直观的任何方式选择一个或多个物理实体(或其部分)。这种输入的示例包括姿势。例如，用户可以圈出一个区域，该区域包含视频或图像信号段的一部分内的一个或多个物理实体(或其部分)。
可替代地，可以由系统进行选择。例如，系统可以选择在检测到特定条件时和/或根据策略共享包括一个或多个特定物理实体(或其部分)的信号段的部分。例如，如下面关于图10所述，系统可以检测到人类行动者即将参与需要训练的特定活动。然后，系统可以选择与活动目标相似的一个或多个物理实体，或者可以选择包括个体先前已经执行活动的个体的一个或多个物理实体，以与人类行动者共享。甚至可以自动生成并提供活动的叙述(如关于图9所描述的)。
然后，系统提取其中绘出所选物理实体或所选物理实体部分的(多个)信号段的(多个)部分(动作802)。例如，信号段可以是多个视频信号段。系统可能会创建一个信号段，在该信号段中，当相对于所选一个或多个物理实体(或其中的所选部分)发生(多个)条件的发生时，视点从一个信号段(由一个传感器生成)变为另一个信号段(由另一个传感器生成)。例如，假设所选择的物理实体是指导者当前正在书写的白板的那些部分。如果指导者的身体要从一个传感器的角度模糊他自己的书写，则可以自动切换到捕获白板的活动部分的另一个信号段。系统可以自动执行(实时信号段的)切换或拼接(或记录的视频段)。
然后，系统将包含所选一个或多个物理实体(或其中的部分)的(多个)信号段的表示分派给一个或多个接收者(动作803)。这样的接收者可以是人类、组件、机器人或能够使用(多个)共享信号段部分的任何其他实体。
在一个实施例中，信号段表示物理图形的一部分，其包括在物理空间内感测到的物理实体的表示，以及证明物理实体的状态的信号段。上面已经关于计算机可导航图形400参考图2至图4描述了这种物理图形的示例。系统还可以分派与共享的(多个)信号段部分相关的物理图形的一部分，和/或或许可以从物理图形的该对应部分提取信息以与(多个)信号段部分本身的共享一起共享(或作为其替代)。
上述物理空间的计算机可导航物理图形能够实现各种各样的应用和技术成果。特别地，现在将描述潜在相关的两个这样的成就。参考图9描述的一个成就是在物理空间内监测的物理实体的移动的总体策划。参考图10描述的另一个成就是将一个物理实体自动路由到事件端点。
图9图示出了用于制定物理实体的并发移动的计划的方法900。物理图形被访问(动作901)以及评估(动作902)。然后基于该评估执行完成一个或多个目标的移动计划(动作903)。物理图形表示物理空间内物理实体随时间的存在和移动。上面已经关于图2至图4的计算机可导航图形描述了这种物理图形的示例。
物理图形的评估可以考虑物理空间的物理约束和该位置内的物理实体的物理约束。物理约束遵循物理定律。
物理空间的物理约束的示例包括墙壁的位置，门道是否被锁定，或者是可以打开的，是否存在任何约束的移动通道以及这种受约束的通道的维度，楼梯的存在，对移动而言的任何静态障碍物(如椅子和桌子)的定位，在该位置的不同部分中是否有照明。物理空间的三维布局，其中物理空间的某些部分对人类是不受限制的，等等。例如，如果存在至少一些物理实体可以移动通过之的物理通道，则针对移动的计划可以包括物理实体通过物理通道的排序。
对物理实体的物理约束的示例包括物理实体是儿童、成人、动物还是物体；实体可能达到的最高速度；实体的最大安全速度；实体的维度，实体的最佳朝向；实体是否可以飞行；物体的电池寿命(如果适用)；操作物体的费用；实体的移动优先权；实体的感官能力，等等。例如，人类可能被给与优先于无人机和机器人的移动优先权。
移动计划的目标的示例包括允许特定实体从一个地点移动到事件正在发生、已经发生或预测发生的地点。这种路由可以由图10的方法1000执行，如下面进一步描述的。多个物理实体中的每一个可以具有作为整体移动策划的目标而被包括的这种路由计划。
评估还可以考虑在至少一些物理实体的交互中的约束。例如，不能轻易停止的重型机器人可能受到离周围成人至少一定距离的限制，以及离周围儿童更大安全距离的限制。当有人类存在时，可能不允许无人机飞行低于某一高度，并且可能不允许无人机在人类上方飞行，或者以这样的方式使得如果无人机停止运行，则无人机不会落在人类身上(考虑动力和引力)。
评估还可以考虑可以与哪些物理实体进行通信。例如，物理空间中的一些人类可以接收导航指令。其他人类可能无法接收纠正移动指令。一些机器人和/或无人机可能会进行通信以进行移动的策划，但是其他机器人可能不会。移动的计划考虑到各种物理实体的通信能力和对指令的响应能力，并优先考虑那些无法接收通信或无法响应通信以改变路线的实体。
返回参考图9，策划可以涉及系统与一个或多个物理实体通信，以影响多个物理实体中的至少一个物理实体的移动(动作904)。当寻址特定物理实体时，可以通过物理状态寻址接收者来进行寻址，而不是通过明确地识别物理实体来寻址。例如，可以指示泄漏的100米范围内的所有家务机器人对泄漏做出响应。能够访问物理图形的系统可能能够基于这种仅仅物理状态的声明来具体地识别物理实体。
通信可以包括显式指令，或者可以包括上下文，与其通信的物理实体从该上下文中可以推断出适当的物理移动。一些物理实体可能具有解释上下文的智能，尤其是那些本身可以访问物理图形的适当部分的实体。例如，为了物理实体解释要进行什么移动的目的而共享这样的上下文可以是用于执行上面关于图8描述的方法的一个目的。
然后，系统可以进一步监测物理实体的移动(动作905)。如果情形变化(例如，物理实体没有遵循指令、约束即将被违反等等)，则如箭头906所示对计划进行调整。可以经由对物理图形的持续访问(行为901)和评估(动作902)来进行对移动的监测，使得在合适的定时基础上更新移动计划的制定(动作903)以避免在朝向移动计划的(多个)目标移动时违反约束。
图10图示出了方法1000的流程图，方法1000用于标识物理实体在物理空间内采取的路由，以便前往事件已发生、正在发生或预测发生的事件端点。可以针对多个物理实体中的每一个执行方法1000。
通过标识已发生、正在发生或将要发生的事件来发起方法1000(动作1001)。所标识的端点可以是活动(例如，泄漏、其他物理实体的聚集、故障或任何其他活动)。活动可以是过去的活动(例如，“带我到发生了泄漏的地方”)、当前的活动(例如，“带我去泄漏的地方”)或预测的未来活动(例如，“带我去人们预计聚集的地方”)。所标识的端点也可以是与活动有关系的物理实体(例如，“带我到泄漏源”，或“带我去见参加会议的任何人”)。
所标识的端点还可以是移动物理实体或一组移动物理实体。同样，关于移动物理实体的事件可以是过去的事件(例如，“带我到在过去24小时内任何客户跌倒的地方”)、当前事件(例如，“带我到客户所在的地方”)或未来的事件(例如，“让我与我的老板会合”)。同样，物理实体或物理实体组可以通过当前的或先前的或预期的未来物理状态来寻址，而无需具体识别物理实体(例如，“让我与前往会议的任何人会合”)。
然后，系统制定将特定物理实体从当前位置移动到物理空间内所标识的事件的位置的路线(动作1010)。如果事件的预测位置变化，则可能发生重新路由。例如，如果用户在前往会议的途中被带到任何人身边，目标人可能会意外绕道而行。系统可以重新路由到不同会合点，或者可以搜索也前往会议的另一个附近的人，并相应地重新路由。这种重新路由可能经常发生。例如，人们可能走得比预期的更快或更慢，可能会走弯路，或者可能只是选择了未预期的路径。这可能导致原始路线不再可行。
可以通过参考上述物理图形来发生路线的制定(动作1011)。这允许基于对物理空间中实际正在发生(或实际已发生)的内容的语义理解来自动地智能地执行路由。路由可以与规划物理空间内的多个物理实体的移动的规划组件协调地发生(动作1012)。例如，这样的规划组件可以执行图9的方法900。通过这样的协调，系统减少了由任何给定路由到整个运动策划所引起的中断。
因此，本文描述的原理提供了物理空间内的物理实体的有效和自动移动和路由。在不脱离本发明的精神或基本特征的情况下，本发明可以以其他特定形式来体现。所描述的实施例在所有方面都应被视为仅是说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是前面的描述来指示。在权利要求的含义和等同范围内的所有变化都包含在其范围内。

Claims (10)

1.一种计算系统，包括：
一个或多个处理器；
一个或多个计算机可读介质，在所述一个或多个计算机可读介质上具有计算机可执行指令，所述计算机可执行指令被构造为使得在由所述一个或多个处理器执行时，使得所述计算系统执行用于制定针对多个物理实体的并发移动的计划的方法，所述方法包括：
访问表示物理空间内的物理实体随时间的移动的物理图形；
评估所述物理图形、所述物理空间的物理约束、所述多个物理实体的物理约束、以及要在所述物理空间内完成的一个或多个目标；以及
基于所述评估，制定针对所述多个物理实体的移动的计划，所述计划遵循所述物理空间的所述物理约束和所述多个物理实体的所述物理约束并且完成所述一个或多个目标中的至少一个。
2.根据权利要求1所述的计算系统，所述评估还考虑针对所述多个物理实体中的至少一个物理实体中的每一个的移动优先级。
3.根据权利要求1所述的计算系统，所述评估还考虑所述多个物理实体中的至少一些物理实体的交互中的约束。
4.根据权利要求1所述的计算系统，所述评估还考虑所述多个物理实体中的哪个物理实体可以与之通信，针对移动的所述计划设计不能与之通信的一个或多个物理实体的预测移动周围的移动。
5.根据权利要求1所述的计算系统，所述方法还包括：
与所述多个物理实体中的一个或多个物理实体通信，以影响所述多个物理实体中的至少一个物理实体的移动，通过物理状态发生通信的寻址而不是通过明确地识别所述多个物理实体中要与之通信的所述一个或多个物理实体发生通信的寻址。
6.根据权利要求1所述的计算系统，所述物理空间的约束包括物理通道，所述物理实体中的至少一些物理实体能够通过所述物理通道移动，针对移动的所述计划包括物理实体通过所述物理信道的排序。
7.根据权利要求1所述的计算系统，所述一个或多个目标包括由特定物理实体表达的至少一个路由目标。
8.根据权利要求1所述的计算系统，针对特定物理实体的物理约束包括针对所述特定物理实体所需的空间。
9.根据权利要求1所述的计算系统，针对特定物理实体的物理约束包括针对所述特定物理实体的移动能力。
10.一种用于制定针对多个物理实体的并发移动的计划的方法，所述方法包括：
访问表示物理空间内的物理实体随时间的移动的物理图形；
评估所述物理图形、所述物理空间的物理约束、所述多个物理实体的物理约束、以及要在所述物理空间内完成的一个或多个目标；以及
基于所述评估，制定针对所述多个物理实体的移动的计划，所述计划遵循所述物理空间的所述物理约束和所述多个物理实体的所述物理约束并且完成所述一个或多个目标中的至少一个。
CN201880007226.0A 2017-01-18 2018-01-12 自动移动编排 Withdrawn CN110177661A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762447817P 2017-01-18 2017-01-18
US62/447,817 2017-01-18
US15/436,694 2017-02-17
US15/436,694 US10635981B2 (en) 2017-01-18 2017-02-17 Automated movement orchestration
PCT/US2018/013424 WO2018136313A1 (en) 2017-01-18 2018-01-12 Automated movement orchestration

Publications (1)

Publication Number Publication Date
CN110177661A true CN110177661A (zh) 2019-08-27

Family

ID=62841486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880007226.0A Withdrawn CN110177661A (zh) 2017-01-18 2018-01-12 自动移动编排

Country Status (4)

Country Link
US (1) US10635981B2 (zh)
EP (1) EP3571019A1 (zh)
CN (1) CN110177661A (zh)
WO (1) WO2018136313A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482900B2 (en) * 2017-01-18 2019-11-19 Microsoft Technology Licensing, Llc Organization of signal segments supporting sensed features

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170789A (ja) * 2010-02-22 2011-09-01 Osamu Hasegawa 問題解決システム、問題解決支援装置及び問題解決方法
US20120239584A1 (en) * 2011-03-20 2012-09-20 Microsoft Corporation Navigation to dynamic endpoint

Family Cites Families (151)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5093869A (en) 1990-12-26 1992-03-03 Hughes Aircraft Company Pattern recognition apparatus utilizing area linking and region growth techniques
WO1994001829A1 (en) * 1992-07-10 1994-01-20 Fujitsu Limited Three-dimensional graphic editing machine
US5708767A (en) 1995-02-03 1998-01-13 The Trustees Of Princeton University Method and apparatus for video browsing based on content and structure
US20150244969A1 (en) 1995-09-07 2015-08-27 Kba2, Inc. System and method for recording and distributing video
US5757424A (en) 1995-12-19 1998-05-26 Xerox Corporation High-resolution video conferencing system
US6295367B1 (en) 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6059576A (en) 1997-11-21 2000-05-09 Brann; Theodore L. Training and safety device, system and method to aid in proper movement during physical activity
US6266614B1 (en) 1997-12-24 2001-07-24 Wendell Alumbaugh Travel guide
AU3639699A (en) 1998-04-13 1999-11-01 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
US6144375A (en) 1998-08-14 2000-11-07 Praja Inc. Multi-perspective viewer for content-based interactivity
DE19846982C2 (de) 1998-10-12 2001-05-17 Siemens Ag Verfahren und System zum Überwachen der Haltung eines Benutzers an einem Trainingsgerät
US6023223A (en) 1999-03-18 2000-02-08 Baxter, Jr.; John Francis Early warning detection and notification network for environmental conditions
US6329904B1 (en) 1999-06-11 2001-12-11 Safety Through Cellular, Inc. Apparatus and method for providing weather and other alerts
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6424370B1 (en) * 1999-10-08 2002-07-23 Texas Instruments Incorporated Motion based event detection system and method
US6816878B1 (en) 2000-02-11 2004-11-09 Steven L. Zimmers Alert notification system
US6590529B2 (en) 2000-02-14 2003-07-08 Mysky Communications Individualized, location specific weather forecasting system
JP2001331799A (ja) 2000-03-16 2001-11-30 Toshiba Corp 画像処理装置および画像処理方法
US6968179B1 (en) 2000-07-27 2005-11-22 Microsoft Corporation Place specific buddy list services
US20020091793A1 (en) 2000-10-23 2002-07-11 Isaac Sagie Method and system for tourist guiding, including both navigation and narration, utilizing mobile computing and communication devices
AU1633902A (en) 2000-12-15 2002-06-24 Daniel Rosenfeld Location-based weather nowcast system and method
US6767211B2 (en) 2001-03-13 2004-07-27 Carolyn W. Hall Method and apparatus for behaviorally reinforced training with guided practice
US6587668B1 (en) 2001-04-30 2003-07-01 Cyberu, Inc. Method and apparatus for a corporate education system
US20030046592A1 (en) 2001-08-28 2003-03-06 Woodruff Wayne D. Personal video recorder with secure recording, storage and playback control
US6803925B2 (en) 2001-09-06 2004-10-12 Microsoft Corporation Assembling verbal narration for digital display images
US7650058B1 (en) 2001-11-08 2010-01-19 Cernium Corporation Object selective video recording
US6882837B2 (en) 2002-01-23 2005-04-19 Dennis Sunga Fernandez Local emergency alert for cell-phone users
US7529822B2 (en) * 2002-05-31 2009-05-05 Symantec Operating Corporation Business continuation policy for server consolidation environment
US7200266B2 (en) 2002-08-27 2007-04-03 Princeton University Method and apparatus for automated video activity analysis
US20040177253A1 (en) 2002-11-19 2004-09-09 My Ez Communications, Llc. Automated and secure digital mobile video monitoring and recording
GB2400513B (en) 2003-03-14 2005-10-05 British Broadcasting Corp Video processing
JP3981040B2 (ja) * 2003-04-18 2007-09-26 アルパイン株式会社 ナビゲーション装置およびその装置における地図データのアクセス方法
JP2004349909A (ja) 2003-05-21 2004-12-09 Canon Inc 情報記録装置、撮像記録装置、再生装置及びプライバシ保護方法
US20070168118A1 (en) * 2003-06-27 2007-07-19 Dirk Lappe System for coordinating the routes of navigation devices
US7647166B1 (en) 2003-06-30 2010-01-12 Michael Lester Kerns Method of providing narrative information to a traveler
US7099745B2 (en) 2003-10-24 2006-08-29 Sap Aktiengesellschaft Robot system using virtual world
US7359724B2 (en) * 2003-11-20 2008-04-15 Nokia Corporation Method and system for location based group formation
US20050209849A1 (en) 2004-03-22 2005-09-22 Sony Corporation And Sony Electronics Inc. System and method for automatically cataloguing data by utilizing speech recognition procedures
US7680596B2 (en) * 2004-04-06 2010-03-16 Honda Motor Co., Ltd. Route calculation method for a vehicle navigation system
US7084775B1 (en) 2004-07-12 2006-08-01 User-Centric Ip, L.P. Method and system for generating and sending user-centric weather alerts
US7929017B2 (en) 2004-07-28 2011-04-19 Sri International Method and apparatus for stereo, multi-camera tracking and RF and video track fusion
US7415675B2 (en) 2004-09-01 2008-08-19 Sap Ag Software training method and apparatus
US7519564B2 (en) * 2004-11-16 2009-04-14 Microsoft Corporation Building and using predictive models of current and future surprises
US8832121B2 (en) 2005-02-02 2014-09-09 Accuweather, Inc. Location-based data communications system and method
US7765265B1 (en) 2005-05-11 2010-07-27 Aol Inc. Identifying users sharing common characteristics
US8081822B1 (en) * 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
US8150932B2 (en) * 2005-06-30 2012-04-03 Nokia Corporation System and method for providing privacy protected navigation between mobile terminals
JP2009510558A (ja) 2005-09-26 2009-03-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 物体又は人物の動きを追跡する方法及び装置
US7864999B2 (en) * 2005-10-19 2011-01-04 Siemens Medical Solutions Usa, Inc. Devices systems and methods for processing images
CA2528466A1 (en) 2005-11-30 2007-05-30 Virtual Expert Clinics Inc. Web-based expert system for educational therapy planning
EP1795867A3 (en) * 2005-12-08 2007-08-01 Electronics and Telecommunications Research Institute Method for setting destination based on identifier of moving object and method for providing position information
US8467715B2 (en) 2006-01-03 2013-06-18 General Electric Company System and method for just-in-time training in software applications
JP4346613B2 (ja) 2006-01-11 2009-10-21 株式会社東芝 映像要約装置及び映像要約方法
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US8184154B2 (en) 2006-02-27 2012-05-22 Texas Instruments Incorporated Video surveillance correlating detected moving objects and RF signals
FI20065147A (fi) 2006-03-03 2006-03-03 Firstbeat Technologies Oy Järjestelmä ja menetelmä harjoittelun ohjaamiseksi
US7823056B1 (en) 2006-03-15 2010-10-26 Adobe Systems Incorporated Multiple-camera video recording
US7671732B1 (en) 2006-03-31 2010-03-02 At&T Mobility Ii Llc Emergency alert notification for the hearing impaired
US7881505B2 (en) 2006-09-29 2011-02-01 Pittsburgh Pattern Recognition, Inc. Video retrieval system for human face content
US8274564B2 (en) 2006-10-13 2012-09-25 Fuji Xerox Co., Ltd. Interface for browsing and viewing video from multiple cameras simultaneously that conveys spatial and temporal proximity
US7865300B2 (en) 2006-11-15 2011-01-04 International Business Machines Corporation System and method for providing turn-by-turn directions to a moving waypoint
US8149278B2 (en) * 2006-11-30 2012-04-03 Mitsubishi Electric Research Laboratories, Inc. System and method for modeling movement of objects using probabilistic graphs obtained from surveillance data
US20080178232A1 (en) 2007-01-18 2008-07-24 Verizon Data Services Inc. Method and apparatus for providing user control of video views
US7788203B2 (en) 2007-02-26 2010-08-31 International Business Machines Corporation System and method of accident investigation for complex situations involving numerous known and unknown factors along with their probabilistic weightings
US20090164397A1 (en) 2007-12-20 2009-06-25 Mitchell Kwok Human Level Artificial Intelligence Machine
US20080268418A1 (en) 2007-04-25 2008-10-30 Tashner John H Virtual education system and method of instruction
US8909370B2 (en) * 2007-05-08 2014-12-09 Massachusetts Institute Of Technology Interactive systems employing robotic companions
WO2008147874A2 (en) * 2007-05-22 2008-12-04 Vidsys, Inc. Event capture, cross device event correlation, and responsive actions
US8934717B2 (en) 2007-06-05 2015-01-13 Intellectual Ventures Fund 83 Llc Automatic story creation using semantic classifiers for digital assets and associated metadata
US8942536B2 (en) 2007-09-19 2015-01-27 Nvidia Corporation Video navigation system and method
US8554243B2 (en) * 2007-12-04 2013-10-08 Blackberry Limited Mobile tracking
US8929601B2 (en) 2007-12-05 2015-01-06 John Caulfield Imaging detecting with automated sensing of an object or characteristic of that object
US20090153654A1 (en) 2007-12-18 2009-06-18 Enge Amy D Video customized to include person-of-interest
US8010601B2 (en) 2007-12-21 2011-08-30 Waldeck Technology, Llc Contiguous location-based user networks
GB2471036B (en) * 2008-03-03 2012-08-22 Videoiq Inc Object matching for tracking, indexing, and search
US8190118B2 (en) 2008-03-26 2012-05-29 At&T Mobility Ii Llc Integration of emergency alert information
US9300912B2 (en) 2008-03-28 2016-03-29 Microsoft Technology Licensing, Llc Software based whiteboard capture solution for conference room meetings
US8311275B1 (en) 2008-06-10 2012-11-13 Mindmancer AB Selective viewing of a scene
GB2461344A (en) 2008-07-04 2010-01-06 Canford Audio Plc Secure recording of interviews using a hashed algorithm to produce an authentication code
US8548503B2 (en) * 2008-08-28 2013-10-01 Aol Inc. Methods and system for providing location-based communication services
US8911711B2 (en) 2008-09-30 2014-12-16 The Invention Science Fund I, Llc Method, device, and system to control pH in pulmonary tissue of a subject
FR2940487A1 (fr) 2008-12-19 2010-06-25 Thales Sa Procede et systeme pour la fusion de donnees ou d'informations
KR20100071676A (ko) * 2008-12-19 2010-06-29 한국전자통신연구원 동행차량의 위치정보 표시방법 및 그 시스템
US20100161210A1 (en) * 2008-12-24 2010-06-24 Andrew Watkins Method of Determining a Rendezvous and Related Personal Navigation Device
WO2010086680A1 (en) 2009-01-29 2010-08-05 Thomson Licensing Navigation system for routing directions to a moving target
US8605942B2 (en) 2009-02-26 2013-12-10 Nikon Corporation Subject tracking apparatus, imaging apparatus and subject tracking method
US8676466B2 (en) * 2009-04-06 2014-03-18 GM Global Technology Operations LLC Fail-safe speed profiles for cooperative autonomous vehicles
US8463537B2 (en) * 2009-06-03 2013-06-11 Motorola Solutions, Inc. Navigating to a moving destination
JP2013510329A (ja) 2009-11-03 2013-03-21 イッサム リサーチ ディベロップメント カンパニー オブ ザ ヘブリュー ユニバーシティー オブ エルサレム リミテッド 代替感覚による視覚画像の表示
TWI416079B (zh) * 2009-12-08 2013-11-21 Mitac Int Corp 導航系統以及使用此導航系統的路徑規劃方法
US20110238755A1 (en) 2010-03-24 2011-09-29 Hameed Khan Proximity-based social networking
US8688434B1 (en) 2010-05-13 2014-04-01 Narrative Science Inc. System and method for using data to automatically generate a narrative story
US8655893B2 (en) 2010-07-16 2014-02-18 Shutterfly, Inc. Organizing images captured by multiple image capture devices
US8886212B2 (en) * 2010-08-24 2014-11-11 Blackberry Limited Mobile tracking
US20120084669A1 (en) 2010-09-30 2012-04-05 International Business Machines Corporation Dynamic group generation
US9384587B2 (en) * 2010-11-29 2016-07-05 Verizon Patent And Licensing Inc. Virtual event viewing
US8490003B2 (en) 2010-12-03 2013-07-16 International Business Machines Corporation Dynamic proximity based text exchange within a group session
EP2469420B1 (en) 2010-12-22 2019-11-27 Software AG CEP engine and method for processing CEP queries
CA2830224C (en) * 2011-03-14 2017-12-05 Amgine Technologies Limited Methods and systems for transacting travel-related goods and services
US9064538B2 (en) 2011-04-07 2015-06-23 Infosys Technologies, Ltd. Method and system for generating at least one of: comic strips and storyboards from videos
WO2012139127A1 (en) 2011-04-08 2012-10-11 Wombat Security Technologies, Inc. Context-aware training systems, apparatuses, and methods
US8789133B2 (en) 2011-04-20 2014-07-22 Cisco Technology, Inc. Location based content filtering and dynamic policy
US9098611B2 (en) 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
US9026596B2 (en) 2011-06-16 2015-05-05 Microsoft Technology Licensing, Llc Sharing of event media streams
US8521593B2 (en) 2011-09-07 2013-08-27 Millennial Media, Inc. Methods and systems for providing mobile advertising using data networks based on groupings associated with internet-connectable devices
TWI435054B (zh) 2011-10-03 2014-04-21 Wistron Corp 針對動態目標以進行導航之方法及其相關可攜式電子裝置
US9744672B2 (en) 2011-11-16 2017-08-29 University Of South Florida Systems and methods for communicating robot intentions to human beings
US8812499B2 (en) 2011-11-30 2014-08-19 Nokia Corporation Method and apparatus for providing context-based obfuscation of media
US20130169834A1 (en) 2011-12-30 2013-07-04 Advanced Micro Devices, Inc. Photo extraction from video
US9002098B1 (en) 2012-01-25 2015-04-07 Hrl Laboratories, Llc Robotic visual perception system
US9124800B2 (en) 2012-02-13 2015-09-01 Htc Corporation Auto burst image capture method applied to a mobile device, method for tracking an object applied to a mobile device, and related mobile device
US9260122B2 (en) 2012-06-06 2016-02-16 International Business Machines Corporation Multisensor evidence integration and optimization in object inspection
US20130343640A1 (en) * 2012-06-21 2013-12-26 Rethink Robotics, Inc. Vision-guided robots and methods of training them
US10632366B2 (en) * 2012-06-27 2020-04-28 Vincent John Macri Digital anatomical virtual extremities for pre-training physical movement
US9026367B2 (en) * 2012-06-27 2015-05-05 Microsoft Technology Licensing, Llc Dynamic destination navigation system
KR101375219B1 (ko) * 2012-09-07 2014-03-20 록앤올 주식회사 교통량 변화를 감지하여 경로를 탐색하는 통신형 내비게이션 시스템
CN202887470U (zh) 2012-09-13 2013-04-17 吴李海 基于iOS/Android的移动目标锁定系统
US9208676B2 (en) 2013-03-14 2015-12-08 Google Inc. Devices, methods, and associated information processing for security in a smart-sensored home
US8825377B2 (en) * 2012-10-19 2014-09-02 Microsoft Corporation Mobile navigation to a moving destination
US20140136186A1 (en) 2012-11-15 2014-05-15 Consorzio Nazionale Interuniversitario Per Le Telecomunicazioni Method and system for generating an alternative audible, visual and/or textual data based upon an original audible, visual and/or textual data
EP2933606A4 (en) * 2012-12-13 2016-11-23 Lg Electronics Inc ROUTE CALCULATION METHOD, AND METHOD OR DEVICE FOR ROUTE ROUTING
JP5983442B2 (ja) * 2013-01-31 2016-08-31 富士通株式会社 プログラム、演算装置および演算方法
US20140233919A1 (en) 2013-02-18 2014-08-21 Treasured Stores, LLC Memory Preservation and Life Story Generation System and Method
US9900171B2 (en) 2013-02-25 2018-02-20 Qualcomm Incorporated Methods to discover, configure, and leverage relationships in internet of things (IoT) networks
US9317813B2 (en) * 2013-03-15 2016-04-19 Apple Inc. Mobile device with predictive routing engine
US20140375425A1 (en) 2013-06-24 2014-12-25 Infosys Limited Methods for dynamically sending alerts to users and devices thereof
US10447554B2 (en) 2013-06-26 2019-10-15 Qualcomm Incorporated User presence based control of remote communication with Internet of Things (IoT) devices
US9871865B2 (en) 2013-07-11 2018-01-16 Neura, Inc. Physical environment profiling through internet of things integration platform
US9159371B2 (en) 2013-08-14 2015-10-13 Digital Ally, Inc. Forensic video recording with presence detection
WO2015042370A1 (en) 2013-09-20 2015-03-26 Convida Wireless, Llc Method of joint registration and de-registration for proximity services and internet of things services
US8812960B1 (en) 2013-10-07 2014-08-19 Palantir Technologies Inc. Cohort-based presentation of user interaction data
US20150100979A1 (en) 2013-10-07 2015-04-09 Smrtv, Inc. System and method for creating contextual messages for videos
US10589150B2 (en) 2013-11-08 2020-03-17 Performance Lab Technologies Limited Automated prescription of activity based on physical activity data
US9438647B2 (en) 2013-11-14 2016-09-06 At&T Intellectual Property I, L.P. Method and apparatus for distributing content
US9709413B2 (en) 2013-12-12 2017-07-18 Cellco Partnership Directions based on predicted future travel conditions
EP3084621A4 (en) 2013-12-18 2017-08-16 Pelco, Inc. Sharing video in a cloud video service
US9135347B2 (en) 2013-12-18 2015-09-15 Assess2Perform, LLC Exercise tracking and analysis systems and related methods of use
US20150219458A1 (en) * 2014-01-31 2015-08-06 Aruba Networks Inc. Navigating to a moving target
US9140555B1 (en) * 2014-03-14 2015-09-22 Google Inc. Navigation using sensor fusion
US10339455B1 (en) * 2014-03-24 2019-07-02 EMC IP Holding Company LLC Techniques for determining workload skew
US20150278263A1 (en) 2014-03-25 2015-10-01 Brian Bowles Activity environment and data system for user activity processing
US20150279226A1 (en) 2014-03-27 2015-10-01 MyCognition Limited Adaptive cognitive skills assessment and training
US9857195B2 (en) * 2014-05-30 2018-01-02 Google Inc. Selection and presentation of geographic content in an automotive environment
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US10345767B2 (en) 2014-08-19 2019-07-09 Samsung Electronics Co., Ltd. Apparatus and method for gamification of sensor data interpretation in smart home
US20160073482A1 (en) 2014-09-05 2016-03-10 Qualcomm Incorporated Implementing a target lighting scene in an internet of things environment using a mobile light output device
JP6065889B2 (ja) 2014-09-18 2017-01-25 株式会社デンソー 運転支援装置
US10356649B2 (en) 2014-09-26 2019-07-16 Intel Corporation Multisensory change detection for internet of things domain
US10816944B2 (en) 2015-01-06 2020-10-27 Afero, Inc. System and method for using data collected from internet-of-things (IoT) sensors to disable IoT-enabled home devices
US20180202819A1 (en) * 2017-01-18 2018-07-19 Microsoft Technology Licensing, Llc Automatic routing to event endpoints

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170789A (ja) * 2010-02-22 2011-09-01 Osamu Hasegawa 問題解決システム、問題解決支援装置及び問題解決方法
US20120239584A1 (en) * 2011-03-20 2012-09-20 Microsoft Corporation Navigation to dynamic endpoint

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
H. GONZALEZ ETC.: ""warehousing and analyzing massive RFID data sets"", 《22ND INTERNATIONAL CONFERENCE ON DATA ENGINEERING (ICDE"06)》 *
KAZI MASUDUL ALAM ETC.: ""Toward Social Internet of Vehicles: Concept, Architecture, and Applications"", 《IEEE ACCESS 》 *

Also Published As

Publication number Publication date
US20180203948A1 (en) 2018-07-19
WO2018136313A1 (en) 2018-07-26
EP3571019A1 (en) 2019-11-27
US10635981B2 (en) 2020-04-28

Similar Documents

Publication Publication Date Title
CN110178147A (zh) 自动路由到事件端点
US11410672B2 (en) Organization of signal segments supporting sensed features
CN110192236A (zh) 自动活动时间训练
CN110177661A (zh) 自动移动编排
CN110178148A (zh) 物理实体的计算机辅助跟踪
US20200302970A1 (en) Automatic narration of signal segment
CN110192208B (zh) 共享物理图形的信号片段
CN110199299A (zh) 基于物理条件采取动作
CN110214327A (zh) 控制物理感测特征的创建/访问
CN110192209A (zh) 基于物理图形来采取动作
TW202338649A (zh) 用於建築環境中基於意向的計算模擬系統和方法
CN110199272A (zh) 计算机可导航物理特征图的清洁

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190827

WW01 Invention patent application withdrawn after publication