CN110178145A - 支持感测特征的信号段的组织 - Google Patents

支持感测特征的信号段的组织 Download PDF

Info

Publication number
CN110178145A
CN110178145A CN201880006663.0A CN201880006663A CN110178145A CN 110178145 A CN110178145 A CN 110178145A CN 201880006663 A CN201880006663 A CN 201880006663A CN 110178145 A CN110178145 A CN 110178145A
Authority
CN
China
Prior art keywords
sensing
feature
signal
computer
computing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880006663.0A
Other languages
English (en)
Other versions
CN110178145B (zh
Inventor
V·米塔尔
O·科勒
R·亚伯拉罕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110178145A publication Critical patent/CN110178145A/zh
Application granted granted Critical
Publication of CN110178145B publication Critical patent/CN110178145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Abstract

用于随时间感测物理实体的特征的感测的信号的管理。生成感测的特征的计算机可导航图。对于每个感测的特征，将用于感测该特征的信号段与感测的特征计算机相关联。稍后，可以将感测的特征图导航到该特征。然后，所得到的(多个)信号段可以被访问，从而允许绘制产生感测的特征的信号证据。因此，本文中描述的原理允许对物理世界中的物理实体的感测的特征进行复杂和有组织的导航，并且允许快速绘制证明感测的特征的信号。

Description

支持感测特征的信号段的组织
背景技术
计算系统和相关联的网络极大地改变了我们的世界。起初，计算系统只能执行简单的任务。然而，随着处理能力的增加并且变得越来越可用，由计算系统执行的任务的复杂性已经大大增加。同样，计算系统的硬件复杂性和能力也大大增加，例如由大型数据中心支持的云计算。
长期以来，计算系统基本上完成了他们的指令或软件所告知的内容。然而，软件和硬件的使用变得如此先进，以至于计算系统现在比以往任何时候都能够在更高层次上进行某种程度的决策。目前，在某些方面，决策水平可以接近，竞争或甚至超过人类大脑做出决策的能力。换言之，计算系统现在能够采用某种程度的人工智能。
人工智能的一个示例是识别来自物理世界的外部刺激。例如，语音识别技术已经大大改进，以允许高度准确地检测正在说出的单词，甚至是正在讲话的人的身份。同样地，计算机视觉允许计算系统自动标识特定图片或视频帧内的对象，或者识别跨一系列视频帧的人类活动。作为示例，面部识别技术允许计算系统识别面部，并且活动识别技术允许计算系统知道两个邻近的人是否在一起工作。
这些技术中的每一种都可以采用深度学习(基于深度神经网络和基于强化的学习机制)和机器学习算法来从经验中学习产生声音的是什么、以及图像内的对象或人物，从而随时间提高识别的准确性。在识别具有大量视觉干扰的更复杂的成像场景内的对象的领域中，先进的计算机视觉技术现在超出了人类快速且准确地识别该场景内的感兴趣对象的能力。诸如传统图形处理单元(GPU)中的矩阵变换硬件等硬件也可以有助于在深度神经网络的上下文中进行快速对象识别。
本文中要求保护的主题不限于解决任何缺点或仅在诸如上述那些环境中操作的实施例。而是，提供该背景仅用于说明可以实践本文中描述的一些实施例的一个示例性技术领域。
发明内容
本文中描述的实施例涉及用于随时间感测物理实体的特征的感测的信号的管理。该方法包括随时间创建感测的物理实体的感测的特征的计算机可导航图。计算机可导航图可以是可以由计算系统导航到的以有组织的方式关联的感测的特征的任何集合。例如，导航可以响应于用户输入，响应于用户查询，作为机器学习算法的一部分，或者出于任何其他原因来进行。另外，对于感测的多个实体中的至少一个实体的感测的特征中的至少一个，至少一个信号段与感测的特征计算机相关联，使得到感测的特征的计算机导航也允许到信号段的计算机导航。
稍后，自动地或响应于用户输入(诸如查询)，可以将感测的特征的图导航到一个或多个感测的特征。然后，所得到的(多个)感测的信号可以被访问，从而允许绘制产生感测的特征的信号证据。因此，本文中描述的原理允许对物理世界中的物理实体的感测的特征进行复杂和有组织的导航，并且允许快速绘制证明感测的特征的信号。这使得能够对物理世界执行复杂的计算和查询，并且能够快速聚焦于该计算感兴趣的物理世界的部分。
提供本“发明内容”是为了以简化的形式介绍一些概念，这些概念将在下面的“具体实施方式”中进一步描述。本“发明内容”不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
附图说明
为了描述可以获取本发明的上述和其他优点和特征的方式，将通过参考附图中所示的具体实施例来呈现上面简要描述的本发明的更具体的描述。应当理解，这些附图仅描绘了本发明的典型实施例，因此不应当被认为是对其范围的限制，本发明将通过使用附图的附加特征和细节进行描述和解释，在附图中：
图1示出了可以采用本文中描述的原理的示例计算机系统；
图2示出了用于管理用于随时间感测物理实体的特征的感测的信号的方法的流程图；
图3示出了可以实现图2的方法并且包括感测的特征的可导航图和相关联的传感器信号的架构；
图4示出了可以在其中操作本文中描述的原理的环境，该环境包括具有多个物理实体和多个传感器的物理空间、感测物理空间内的物理实体的特征的识别组件、以及特征存储装置，特征存储装置存储这样的物理实体的感测的特征，使得可以针对这些特征执行计算和查询；
图5示出了用于跟踪位置内的物理实体并且可以在图4的环境中执行的方法的流程图；
图6示出了可以用于帮助执行图5的方法并且可以用于稍后对所跟踪的物理实体执行查询的实体跟踪数据结构；以及
图7示出了用于有效地绘制感兴趣的信号段的方法的流程图。
具体实施方式
本文中描述的实施例涉及用于随时间感测物理实体的特征的感测的信号的管理。该方法包括随时间创建感测的物理实体的感测的特征的计算机可导航图。计算机可导航图可以是可以由计算系统导航到的以有组织的方式关联的感测的特征的任何集合。例如，导航可以响应于用户输入，响应于用户查询，作为机器学习算法的一部分，或者出于任何其他原因来进行。另外，对于感测的多个实体中的至少一个实体的感测的特征中的至少一个，至少一个信号段与感测的特征计算机相关联，使得到感测的特征的计算机导航也允许到信号段的计算机导航。
稍后，自动地或响应于用户输入(诸如查询)，可以将感测的特征的图导航到一个或多个感测的特征。然后，所得到的(多个)感测的信号可以被访问，从而允许绘制产生感测的特征的信号证据。因此，本文中描述的原理允许对物理世界中的物理实体的感测的特征进行复杂和有组织的导航，并且允许快速绘制证明感测的特征的信号。这使得能够对物理世界执行复杂的计算和查询，并且能够快速聚焦于该计算感兴趣的物理世界的部分。
由于本文中描述的原理在计算系统的环境中操作，因此将关于图1描述计算系统。此后，将关于图2至图6来描述管理感测的特征的可导航图和证明感测的特征的相关联的信号段的原理。然后，将关于图7描述用于获取或重构感兴趣的(多个)信号段的该可导航图的导航。
计算系统现在越来越多地采用各种各样的形式。例如，计算系统可以是手持设备、电器、膝上型计算机、台式计算机、大型机、分布式计算系统、数据中心、或甚至传统上没有被认为是计算系统的设备，诸如可穿戴设备(例如，眼镜、手表、腕带等)。在本说明书和权利要求书中，术语“计算系统”被广义地定义为包括具有至少一个物理有形处理器以及能够在其上具有可以由处理器执行的计算机可执行指令的物理和有形存储器的任何设备或系统(或其组合)。存储器可以采用任何形式，并且可以取决于计算系统的性质和形式。计算系统可以分布在网络环境上，并且可以包括多个组成计算系统。
如图1所示，在其最基本配置中，计算系统100通常包括至少一个硬件处理单元102和存储器104。存储器104可以是物理系统存储器，其可以是易失性的、非易失性的、或两者的某种组合。术语“存储器”在本文中也可以用于指代非易失性大容量存储器，诸如物理存储介质。如果计算系统是分布式的，则处理、存储器和/或存储能力也可以是分布式的。
计算系统100上具有通常被称为“可执行组件”的多个结构。例如，计算系统100的存储器104被示出为包括可执行组件106。术语“可执行组件”是计算领域的普通技术人员很好地理解为可以是用于软件、硬件或其组合的结构的结构的名称。例如，当以软件实现时，本领域普通技术人员可以理解，可执行组件的结构可以包括可以在计算系统上执行的软件对象、例程、方法，而无论这样的可执行组件是否存在于计算系统的堆中，或者无论可执行组件是否存在于计算机可读存储介质上。
在这样的情况下，本领域普通技术人员将认识到，可执行组件的结构存在于计算机可读介质上，使得当由计算系统的一个或多个处理器(例如，由处理器线程)解释时，计算系统被引起执行功能。这样的结构可以由处理器直接计算机可读(如果可执行组件是二进制的，则就是这种情况)。备选地，结构可以被构造为可解释和/或编译(无论是在单个阶段还是在多个阶段中)，以便生成由处理器直接可解释的这样的二进制文件。当使用术语“可执行组件”时，对可执行组件的示例结构的这样的理解完全在计算领域的普通技术人员的理解之内。
术语“可执行组件”也被本领域普通技术人员很好地理解为包括专门或近似专门用硬件实现的结构，诸如现场可编程门阵列(FPGA)、专用集成电路(ASIC)或任何其他专用电路。因此，术语“可执行组件”是用于计算领域的普通技术人员很好地理解的结构的术语，无论该结构是以软件、硬件还是以组合的方式实现。在本说明书中，也可以使用术语“组件”。如在本说明书和在该情况下所使用的，该术语(无论该术语是否用一个或多个修饰符修饰)也旨在与术语“可执行组件”同义或者是特定类型的这种“可执行组件”，并且因此也具有计算领域的普通技术人员很好理解的结构。
在以下描述中，参考由一个或多个计算系统执行的动作来描述实施例。如果这些动作以软件实现，则(执行动作的相关联的计算系统的)一个或多个处理器响应于已经执行构成可执行组件的计算机可执行指令来指导计算系统的操作。例如，这样的计算机可执行指令可以在形成计算机程序产品的一个或多个计算机可读介质上实施。这种操作的示例涉及数据的操纵。
计算机可执行指令(和所操纵的数据)可以存储在计算系统100的存储器104中。计算系统100还可以包含允许计算系统100通过例如网络110与其他计算系统通信的通信信道108。
尽管不是所有计算系统都需要用户界面，但是在一些实施例中，计算系统100包括用户界面112用于在与用户交互时使用。用户界面112可以包括输出机构112A以及输入机构112B。本文中描述的原理不限于精确的输出机构112A或输入机构112B，因为这将取决于设备的性质。然而，输出机构112A可以包括例如扬声器、显示器、触觉输出、全息图、虚拟现实等。输入机构112B的示例可以包括麦克风、触摸屏、全息图、虚拟现实、相机、键盘、其他指示器输入的鼠标、任何类型的传感器等。
本文中描述的实施例可以包括或利用包括计算机硬件(诸如例如一个或多个处理器和系统存储器)的专用或通用计算系统，如下面更详细讨论的。本文中描述的实施例还包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以被通用或专用计算系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，实施例可以包括至少两种截然不同的计算机可读介质：存储介质和传输介质。
计算机可读存储介质包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或者可以用于以计算机可执行指令或数据结构的形式存储期望的程序代码装置并且可以由通用或专用计算系统访问的任何其他物理和有形存储介质。
“网络”被定义为能够在计算系统和/或模块和/或其他电子设备之间传输电子数据的一个或多个数据链路。当通过网络或另一通信连接件(硬连线、无线或者硬连线或无线的组合)向计算系统传输或提供信息时，计算系统将连接件正确地视为传输介质。传输介质可以包括可以用于以计算机可执行指令或数据结构的形式携带期望的程序代码装置并且可以由通用或专用计算系统访问的网络和/或数据链路。上述的组合也应当被包括在计算机可读介质的范围内。
此外，在到达各种计算系统组件时，计算机可执行指令或数据结构形式的程序代码装置可以从传输介质自动传输到存储介质(反之亦然)。例如，通过网络或数据链路接收的计算机可执行指令或数据结构可以缓存在网络接口模块(例如，“NIC”)内的RAM中，并且然后最终传送到计算系统RAM和/或计算系统处的较不易失性存储介质。因此，应当理解，可读介质可以被包括在也(甚至主要)利用传输介质的计算系统组件中。
计算机可执行指令包括例如当在处理器处执行时引起通用计算系统、专用计算系统或专用处理设备执行特定功能或功能组的指令和数据。备选地或附加地，计算机可执行指令可以将计算系统配置为执行某个功能或功能组。计算机可执行指令可以是例如二进制文件或者甚至在处理器直接执行之前经历一些转换(诸如编译)的指令，诸如中间格式指令，诸如汇编语言或甚至源代码。
本领域技术人员将理解，本发明可以在具有很多类型的计算系统配置的网络计算环境中实践，包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持设备、多处理器系统、基于微处理器或可编程的消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、寻呼机、路由器、交换机、数据中心、可穿戴设备(诸如眼镜或手表)等。本发明也可以在分布式系统环境中实施，其中通过网络链接(通过硬连线数据链路、无线数据链路或者通过硬连线和无线数据链路的组合)的本地和远程计算系统都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储器存储设备两者中。
本领域技术人员还将理解，本发明可以在云计算环境中实践。云计算环境可以是分布式的，但这不是必需的。在分布式的情况下，云计算环境可以在国际上在组织内分布和/或具有跨越多个组织而拥有的组件。在本说明书和以下权利要求中，“云计算”被定义为用于实现对可配置计算资源(例如，网络、服务器、存储器、应用和服务)的共享池的按需网络访问的模型。“云计算”的定义并不局限于在适当部署时可以从这样的模型中获取的其他很多优点。
例如，云计算当前在市场中使用以便提供对可配置计算资源的共享池的普遍且方便的按需访问。此外，可配置计算资源的共享池可以经由虚拟化来快速供应并且以低管理工作量或服务提供商交互发布，并且然后相应地进行缩放。
云计算模型可以由各种特性组成，诸如按需自助服务、广泛网络访问、资源池、快速弹性、测量服务等。云计算模型还可以以各种服务模型的形式出现，例如，软件即服务(“SaaS”)、平台即服务(“PaaS”)和基础设施即服务(“IaaS”)。云计算模型还可以使用不同的部署模型来部署，诸如私有云、社区云、公共云、混合云等。在本说明书和权利要求书中，“云计算环境”是其中采用云计算的环境。
图2示出了用于管理用于随时间感测物理实体的特征的感测的信号的方法200的流程图。方法200包括随时间创建感测的物理实体的感测的特征的计算机可导航图(动作201)。例如，图3示出了可以实现方法200的架构300。架构300包括计算机可导航图310。计算机可导航图310可以是可以由计算系统导航到的以有组织的方式关联的感测的特征的任何集合。例如，导航响应于用户输入，响应于用户查询，作为机器学习算法的一部分，或者出于任何其他原因而发生。
另外，对于多个感测的实体中的至少一个实体的至少一个(并且优选地是多个)感测的特征，至少一个信号段与感测的特征计算机相关联(动作202)，使得到感测的特征的计算机导航也允许到信号段的计算机导航。例如，参考图2，感测的特征310的可导航图与用于感测对应感测的特征的信号段320计算相关联(如箭头315所示)。如箭头210所示，可以连续地执行感测的信号与相关联的信号段的关联，从而产生扩展图以及信号段的扩展集合。也就是说，如下面进一步描述的，可以使用垃圾收集过程来清除过时或不再感兴趣的感测的特征和/或信号段。
信号段可以包括多条元数据，例如，生成信号段的传感器的标识。信号段不需要包括由该传感器生成的所有信号，并且为了简洁，可能仅包括用于感测特定物理实体的感测的特征的那些信号部分。在这种情况下，元数据可以包括对所存储的原始信号段的部分的描述。
感测的信号可以是由传感器生成的任何类型的信号。示例包括视频、图像和音频信号。然而，各种信号不限于人类可以感测的信号。例如，信号段可以表示由传感器生成的信号的变换版本以允许人类观察到更好的人类焦点。这种变换可以包括滤波(诸如基于频率的滤波)或量化。这种变换还可以包括扩大、频移、速度调节、放大、幅度调节等。
为了允许减少存储要求以及适当地关注感兴趣的信号，可能仅存储信号段的一部分。例如，如果是视频信号，则可能仅存储视频的一部分帧。此外，对于任何给定图像，可能仅存储帧的相关部分。同样，如果传感器信号是图像，则可能仅存储图像的相关部分。使用信号段来感测特征的识别服务知道信号段的哪个部分用于感测特征。因此，识别服务可以针对任何给定的感测的特征专门地划出信号的相关部分。
现在将关于图4至图6描述感测的特征图和相关联的信号段的制定的具体示例。此后，将关于图7描述用于导航感测的特征的可导航图并且绘制相关联的信号段的方法。
图4示出了本文中描述的原理可以在其中操作的环境400。环境400包括物理空间401，物理空间401包括多个物理实体410，物理实体410可以是发射或反射物理信号(诸如电磁辐射或声学)的任何现存对象、人或事物，这些物理信号具有可以用于潜在地标识相应对象、人或事物的一个或多个物理特征(在本文中也称为状态)的图案。这种潜在地标识电磁辐射的示例是具有光图案(例如，静止图像或视频)的可见光，可以从该光图案中确定可见实体的特性。这种光图案可以是任何时间、空间或甚至更高维度的空间。这种声学的一个示例可以是人的声音、正常操作中或经历活动或事件的对象的声音、或者反射的声学回声。
环境400还包括从物理实体410接收物理信号的传感器420。传感器当然不需要拾取物理实体发射或反射的每个物理信号。例如，可见光相机(静止或视频)能够接收可见光形式的电磁辐射并且将这些信号转换为可处理的形式，但不能拾取任何频率的所有电磁辐射，因为相机都具有有限的动态范围。声学传感器同样具有针对特定频率范围而设计的有限的动态范围。在任何情况下，传感器420将所得到的传感器信号提供(如箭头429所示)给识别组件430。
识别组件430至少基于在所接收的传感器信号中检测到的模式来估计(例如，估计或识别)该位置内的物理实体410的一个或多个特征。识别组件430还可以生成与物理实体的特征的“至少估计”相关联的置信水平。如果该置信水平小于100％，则“至少估计”仅仅是估计。如果该置信水平为100％，则“至少估计”实际上不仅仅是估计——它是识别。在本说明书的其余部分和权利要求中，“至少所估计的”的特征也将被称为“感测的”特征以提高清晰度。这与术语“感测”的普通用法相一致，因为“感测的”的特征并不总是完全确定地存在。识别组件430可以采用深度学习(基于深度神经网络和基于强化的学习机制)和机器学习算法来从经验中学习图像内的对象或人物，从而随时间提高识别的准确性。
识别组件430将感测的特征提供(如箭头439所示)到感测的特征存储装置440中，感测的特征存储装置440可以存储针对位置401内的每个物理实体的感测的特征(和相关联的置信水平)，而无论物理实体是在短时间内，在长时间内还是永久地在物理空间内。然后，计算组件450可以对在感测的特征存储装置440中提供的感测的特征数据执行各种查询和/或计算。查询和/或计算可以通过计算组件450与感测的特征存储装置440之间的交互(由箭头449表示)来实现。
当识别组件430使用由传感器提供的(多个)传感器信号感测位置401内的物理实体的感测的特征时，传感器信号也被提供给存储装置，诸如感测的特征存储装置。例如，在图4中，感测的特征存储装置440被示出为包括感测的特征441以及表示感测的特征的证据的对应传感器信号442。
计算组件450还可以具有可以确定对感测的特征存储装置440的数据的访问的安全组件451。例如，安全组件451可以控制哪些用户可以访问感测的特征数据441和/或传感器信号442。此外，安全组件451甚至可以控制对哪些感测的特征数据执行计算，和/或哪个用户被授权执行什么类型的计算或查询。因此，有效地实现了安全性。
由于感测的特征数据表示随时间的物理空间401内的物理实体的感测的特征，因此可以对物理空间401内的物理实体执行复杂计算。如下所述，对于用户，好像环境本身充满了有用的计算能力，以便为任何有关该物理空间的计算查询或计算做好准备。这在下文中也称为“环境计算”。
此外，每当对感测的特征感兴趣时，可以重构支持感测该特征的识别组件的证据。例如，计算组件440可以提供特定物理实体何时首次进入特定位置的视频证据。如果多个传感器生成由识别组件用于感测该特征的传感器信号，则可以重构和评估任何个体传感器或传感器组合的传感器信号。因此，例如，可以从不同角度查看物理实体首次进入特定位置的视频证据。
物理空间401在图4中示出，并且仅旨在作为其中具有传感器的任何物理空间的抽象表示。这样的物理空间有无数的示例，但示例包括房间、房屋、社区、工厂、体育馆、建筑物、地板、办公室、汽车、飞机、航天器、培养皿、管子或管道、大气、地下空间、洞穴、土地、其组合和/或部分。物理空间401可以是可观察宇宙的整体或其任何部分，只要存在能够接收从位置内的物理实体发射、受其影响(例如，衍射、频移、回波等)和/或从其反射的信号的传感器。
仅作为示例，物理空间401内的物理实体410被示出为包括四个物理实体411、412、413和414。省略号415表示可以存在具有基于来自传感器420的数据而感测的特征的任何数目和种类的物理实体。省略号415还表示物理实体可以退出和进入位置401。因此，位置401内的物理实体的数目和身份可以随时间改变。
物理实体的位置也可以随时间改变。尽管物理实体的位置在图4中被示出为在物理空间401的上部部分中，但这仅仅是为了清楚标记。本文中描述的原理不依赖于占据物理空间401内的任何特定物理位置的任何特定物理实体。
最后，仅为了惯例并且为了将物理实体410与传感器420区分开，物理实体410被示出为三角形，并且传感器420被示出为圆圈。当然，物理实体410和传感器420可以具有任何物理形状或尺寸。物理实体通常不是三角形，并且传感器通常不是圆形的。此外，传感器420可以观察物理空间401内的物理实体，而不考虑这些传感器420是否在物理上位于该物理空间401内。
仅作为示例，物理空间401内的传感器420被示出为包括两个传感器421和422。省略号423表示可以存在能够接收由物理空间内的物理实体发射、受其影响(例如，经由衍射、频移、回波等)和/或由其反射的信号的任何数目和种类的传感器。随着物理空间内的传感器被添加、移除、升级、破坏、替换等，可操作传感器的数目和能力可能随时间改变。
图5示出了用于跟踪物理空间内的物理实体的方法500的流程图。由于可以执行方法500以跟踪图4的物理空间401内的物理实体410，现在将频繁地参考图4的环境400来描述图5的方法500。此外，图6示出了可以用于帮助执行方法500、并且可以用于稍后对所跟踪的物理实体执行查询、并且可能还用于访问和查看与所跟踪的物理实体相关联的传感器信号的实体跟踪数据结构600。此外，实体跟踪数据结构600可以存储在图6的感测的特征存储装置440中(其被表示为感测的特征数据441)。因此，还将频繁地参考图6的实体跟踪数据结构600来描述图5的方法500。
为了协助跟踪，建立针对物理空间的空时数据结构(动作501)。这可以是分布式数据结构或非分布式数据结构。图6示出了包括空时数据结构601的实体跟踪数据结构600的示例。该实体跟踪数据结构600被可以包括在图4的感测的特征存储装置440内作为感测的特征数据441。虽然本文中描述的原理是相对于跟踪物理实体及其感测的特征和活动来描述的，但是本文中描述的原理可以操作以跟踪多于一个位置内的物理实体(及其感测的特征和活动)。在这种情况下，空时数据结构601可能不是由实体跟踪数据结构600表示的树中的根节点(如省略号602A和602B所示)。而是，可能存在多个空时数据结构可以经由公共根节点进行互连。
然后，返回到图5，可以针对至少临时在物理空间(例如，物理空间401)内的多个物理实体(例如，物理实体410)中的每个执行框510A(虚线框)的内容。此外，框510B(虚线框)的内容被示出为嵌套在框510A内，并且表示其内容可以针对给定物理实体在多次中的每一次执行。通过执行方法500，可以创建和增长复杂实体跟踪数据结构600，从而记录一次或多次在该位置内的物理实体的感测的特征。此外，实体跟踪数据结构600可以用于访问导致识别出某些感测的特征(或特征变化)的感测的信号。
对于在特定时间在该位置的特定物理实体，由一个或多个传感器感测物理实体(动作511)。换言之，由一个或多个传感器接收从物理实体发射、受其影响(例如，经由衍射、频移、回波等)、和/或从其反射的一个或多个物理信号。参考图1，假定物理实体411具有在特定时间由传感器421和422两者感测的一个或多个特征。
此时可以进入一个安全性方面。识别组件430可以具有安全组件431，根据特定设置，安全组件431可以拒绝记录与特定物理实体相关联的感测的特征、特定类型的感测的特征、和/或从特定时间生成的传感器信号感测到的特征、或其组合。例如，识别组件430可能不会记录该位置内的任何人的感测的特征。作为更细粒度的示例，识别组件430可能不会记录一组人的感测的特征，其中这些感测的特征与人的身份或性别相关，并且这些感测的特征由在特定时间框架生成的传感器信号产生。
如果允许，则在与物理实体相对应的实体数据结构内表示感测到物理实体的特定时间的至少近似值，并且这与空时数据结构计算相关联(动作512)。例如，参考图6，实体数据结构610A可以对应于物理实体411并且与空时数据结构601计算相关联(如线630A所示)。在本说明书和权利要求书中，如果计算系统通过任何方式能够检测两个节点之间的关联，则数据结构的一个节点与数据结构的另一节点“计算相关联”。例如，指针的使用是一种用于计算相关联的机制。数据结构的节点还可以通过被包括在数据结构的其他节点内并且通过被计算系统识别为关联的任何其他机制来计算相关联。
时间数据611表示在实体数据结构610A内感测到物理实体的时间的至少近似值(至少在框510B的内容的迭代时)。时间可以是真实时间(例如，相对于原子钟表示的)，或者可以是人工时间。例如，人工时间可以是从真实时间的偏移和/或以与真实时间不同的方式表达的时间(例如，自千禧年的最后一个轮回以来的秒数或分钟数)。人工时间也可以是逻辑时间，诸如由在每次感测时递增的单调增加的数字表示的时间。
此外，基于在特定时间对特定物理实体的感测(在动作511)，环境在特定时间感测特定物理实体以其存在的特定物理实体的至少一个物理特征(并且可能是多个物理特征)(动作513)。例如，参考图4，识别组件430可以基于从传感器421和422接收的信号来感测物理实体411的至少一个物理特征(例如，如箭头429所示)。
然后，以与特定时间的至少近似值计算相关联的方式，在实体数据结构中表示特定物理实体的所述感测的至少一个物理特征(动作514)。例如，在图4中，感测的特征数据被提供(如箭头439所示)给感测的特征存储装置440。在一些实施例中，该感测的特征数据可以与特定时间的至少近似值一起提供，以便以基本上一个动作修改实体跟踪数据结构600。换言之，可以在基本上相同的时间执行动作512和动作514以减少对感测的特征存储装置440的写入操作。
此外，如果允许，则以与感测的特征计算机相关联的方式记录识别组件依赖于其来感测感测的特征的(多个)传感器信号(动作515)。例如，感测的特征数据441中的感测的特征(例如，在时空数据结构601中)可以与存储在感测的信号数据442中的(多个)这种传感器信号计算相关联。
参考图6，第一实体数据结构现在具有与时间611计算相关联的感测的特征数据621。在该示例中，感测的特征数据621包括物理实体的两个感测物理特征621A和621B。然而，省略号621C表示可以存在物理实体的任何数目的感测的特征被存储为实体数据结构601内的感测的特征数据621的一部分。例如，可以存在单个感测的特征、或无数感测的特征、或在任何特定时间检测到的任何给定物理实体之间的任何数目的感测的特征。
在一些情况下，感测的特征可以与其他特征相关联。例如，如果物理实体是人，则该特征可以是该人的姓名。具体标识的人可能基于未在实体数据结构内表示的特征而具有已知特性。例如，该人可能在组织内具有某个等级或位置，具有某种训练，具有某种高度等等。当感测到特定特征(例如，姓名)时，实体数据结构可以通过指向该物理实体的附加特征(例如，等级、位置、训练、高度)来扩展，以便进一步扩展查询和/或对数据结构的其他计算的丰富度。
感测的特征数据还可以具有与每个感测的特征相关联的置信水平，该置信水平表示物理实体在特定时间610A确实具有感测的特征的估计概率。在该示例中，置信水平621a与感测的特征621A相关联，并且表示物理实体611确实具有感测的特征621A的置信度。同样，置信水平621b与感测的特征621B相关联，并且表示物理实体411确实具有感测的特征621B的置信度。省略号621c再次表示可以存在针对任何数目的物理特征而表达的置信水平。此外，可以存在其中没有表达置信水平的一些物理特征(例如，在确定的情况下或者在测量感测的物理特征的置信度不重要或不合适的情况下)。
感测的特征数据还具有与由识别组件用来感测该置信水平的感测特征的(多个)传感器信号的计算相关联(例如，指针)。例如，在图6中，(多个)传感器信号621Aa与感测的特征621A计算相关联，并且表示在时间611用于感测感测的特征621A的(多个)传感器信号。同样，(多个)传感器信号621Bb与感测的特征621B计算相关联，并且表示在时间611用于感测感测的特征621B的(多个)传感器信号。省略号621Cc再次表示可以存在任何数目的物理特征的计算关联。
识别组件430的安全组件431还可以在决定是否记录用于在特定时间感测特定特征的传感器信号时运用安全性。因此，安全组件431可以在以下方面运用安全性：1)确定是否记录感测到特定特征，2)确定是否记录与特定物理实体相关联的特征，3)确定是否记录在特定时间感测到的特征，4)确定是否记录(多个)传感器信号，并且如果是，则确定记录哪些信号作为感测的特征的证据。
作为示例，假定被跟踪的位置是房间。现在假定图像传感器(例如，相机)感测房间内的某些东西。感测的特征的一个示例是，“事物”是人。感测的特征的另一示例是，“事物”是特定姓名的人。关于“事物”是人可能存在100％的置信度，但关于人是特定身份的人只有20％的置信度。在这种情况下，感测的特征集包括作为另一特征的更具体类型的一个特征。此外，来自相机的图像数据可以由特定时间的特定物理实体的感测的特征的记录来指向。
另一示例特征是，物理实体仅存在于该位置内，或者位于该位置内的特定位置处。另一示例是，这是自特定时间(例如，近期，或甚至永远)以来物理实体的首次出现。特征的另一示例是，物品是无生命的(例如，具有99％的确定性)，是工具(例如，具有80％的确定性)，以及是锤子(例如，具有60％的确定性)。另一示例特征是，物理实体不再存在(例如，不存在)于该位置，或者具有特定姿势，以某种方式定向，或者与该位置内的另一物理实体具有位置关系(例如，“在桌子上”或“坐在椅子#5上”)。
在任何情况下，可以从任何位置内的物理实体的数目和类型感测的特征的数目和类型是无数的。而且，如前所述，如框510B所示，对于任何给定物理实体，可以可能多次执行框510B内的动作。例如，物理实体411可以被传感器421和422中的一个或两个再次检测到。参考图6，该检测导致在实体数据结构610内表示下一检测的时间(或是近似值)。例如，时间612也在实体数据结构内表示。此外，感测的特征622(例如，包括可能的感测的特征622A和622B——省略号622C再次表示灵活性)与第二时间612计算相关联。此外，这些感测的特征也可以具有相关联的置信水平(例如，622a、622b，省略号622c)。同样，这些感测的特征也可以具有相关联的传感器信号(例如，622Aa、622Bb，省略号622Cc)。
在第二时间感测到的感测的特征可以与在第一时间感测到的感测的特征相同或不同。置信水平可以会随时间改变。例如，假定以90％的置信度经由图像在大房间的一侧在时间#1检测到人，并且人以30％的置信度被具体感测为John Doe。现在，在0.1秒之后的时间#2，John Doe以100％的置信度被感测为在房间的另一部分在50英尺外，并且仍然有人位于John Doe被推测为在时间1所在的同一位置。由于人不会在十分之一秒内(至少在办公室环境中)行进50英尺，现在可以得出结论，在时间1检测到的人根本不是John Doe。因此，对于时间#1的人是John Doe的置信度降低到零。
在这种情况下，针对时间1感测的特征可以安全地从实体移除，因为我们现在知道，在时间1感测到的人不是John Doe。在一个实施例中，清理组件提供感测的特征数据441和传感器信号数据442的垃圾收集。例如，如果不再有与特定传感器信号相关联的任何感测的特征，则该特定传感器信号可能也许被移除。如果感测的特征的置信水平等于或低于特定水平，则可以从感测的特征数据中移除具有该低或零置信水平的感测的特征数据。如果感测的特征数据或传感器信号数据是陈旧的(例如，很久以前生成)，则可能会移除该数据。以这种方式，不是使感测的特征数据441和传感器信号数据442不断增长，而是可以更仔细地管理这种数据的大小。
返回到图4，省略号613和623表示在该位置内可以检测到物理实体的次数没有限制。随着进行后续检测，可以更多地了解物理实体，因此可以适当地添加(或移除)感测的特征，并且对每个感测的特征的置信水平进行对应调节。
现在移动到框510B之外，但是保留在框510A内，对于任何给定物理实体，可以基于不同时间的特定物理实体的(多个)感测的特征的比较(动作521)来感测特定实体的特征变化(动作522)。该感测的变化可以由识别组件430或计算组件450执行。如果需要，也可以记录这些感测的变化(动作523)。例如，感测的变化可以以与特定时间计算相关联或与特定时间不计算相关联的方式记录在实体数据结构610A中。可以使用每次证明感测的特征的传感器信号来重构证明特征变化的传感器信号。
例如，基于第一时间的感测的特征是该位置内的物理实体的存在，并且基于第二时间的第二特征是该位置内的物理实体的不存在，可以得出结论：物理实体退出了物理空间。相反，基于第一时间的感测的特征是该位置的物理实体的不存在，并且第二时间的第二特征是该位置内的物理实体的存在，可以得出结论：物理实体已经进入该位置。在某些情况下，在物理实体首次被检测为存在于物理空间中之前，可能不会寻找物理空间中的物理实体的不存在。
现在参考框510A，可以随时间对多个实体执行对物理实体的(多个)特征的这种跟踪。例如，可以对物理空间401内的每个物理实体411、412、413或414或者对进入或离开物理空间401的其他物理实体执行框510A的内容。参考图6，空时数据结构601还与第二实体数据结构610B(可能与图4的第二物理实体412相关联)、第三实体数据结构610C(可能与图4的第三物理实体413相关联)、第四实体数据结构610D(可能与图4的第四物理实体414相关联)计算相关联(如线630B、630C和630D所示)。
空时数据结构401还可以包括定义条件和动作的一个或多个触发器。当满足条件时，将发生对应的操作。触发器可以存储在空时数据结构中的任何位置。例如，如果条件是/或动作是关于特定实体数据结构，则触发器可以存储在对应的实体数据结构中。如果条件和/或动作是关于特定实体数据结构的特定特征，则触发器可以存储在对应的特征数据结构中。
省略号610E表示实体数据结构的数目可以改变。例如，如果跟踪数据相对于永远在物理空间内的物理实体永久保存，则每次在该位置内检测到新的物理实体时可以添加附加的实体数据结构，并且可以在每次在物理空间内检测到物理实体时增强任何给定实体数据结构。然而，回想一下，可以执行垃圾收集(例如，通过清理组件460)以保持实体跟踪数据结构600不会变得太大而不能被适当地编辑、存储和/或导航。
在框510A之外，可以基于相关联的实体数据结构的比较(动作531)来感测(动作532)不同物理实体之间的物理关系。这些物理关系同样可以记录在实体跟踪数据结构601中(动作533)，可能在具有感测到的物理关系的相关联的实体数据结构内，和/或可能与物理实体被感测为具有该关系的时间相关联。例如，通过随时间分析不同物理实体的实体数据结构，可以确定在特定时间，物理实体可能隐藏在另一物理实体后面，或者物理实体可能遮挡了对另一物理实体的感测，或者已经连接两个物理实体或已经分离物理实体以创建多个物理实体。可以使用在适当时间和针对每个物理实体证明感测的特征的传感器信号来重构证明物理实体关系的传感器信号，如参考图7所述。
现在，特征数据存储装置440可以用作强大的存储装置，在该存储装置上在物理空间内随时间计算复杂功能和对物理实体的表示的查询。这种计算和查询可以由计算组件450执行。这实现了多个有用的实施例，并且实际上引入了本文中称为“环境计算”的全新的计算形式。在具有传感器的物理空间内，就好像空气本身可以用于计算和感测物理世界的状态。就好像现在已经为该物理空间创建了一个水晶球，从中可以查询和/或计算关于该位置及其历史的很多东西。
作为示例，用户现在可以查询对象现在是否在物理空间中，或者对象在特定时间是否在物理空间内。用户还可以查询具有特定特征(例如，公司内的排名或位置)的哪个人现在正在该对象附近，并且与该人通信以将该对象带给用户。用户可以查询物理实体之间的关系。例如，用户可以查询谁拥有对象。用户可以询问对象的状态，是否隐藏，以及其他对象是否遮挡了该对象的视图。用户可以查询物理实体何时首次出现在物理空间内，何时退出，等等。用户还可以查询灯何时关闭，系统何时确定物理实体的一个或多个特征。用户还可以搜索对象的(多个)特征。用户还可以查询该位置内发生的活动。用户可以计算特定类型的物理实体在该位置内的平均时间，预测物理实体在将来某个时间的位置，等等。因此，可以在具有传感器的物理空间上执行丰富的计算和查询。
图7示出了用于有效地绘制感兴趣的信号段的方法700的流程图。首先，计算系统导航感测的特征的可导航图以达到特定感测的特征(动作701)。例如，该导航可以自动或响应于用户输入来执行。导航可以是计算的结果，或者可以简单地涉及标识感兴趣的感测的特征。作为另一示例，导航可以是用户查询的结果。在一些实施例中，计算或查询可以导致导航到多个感测的特征。作为示例，假定计算系统导航到图4中的感测的特征422A。
然后，计算系统使用特定的感测的特征与相关联的传感器信号之间的计算机关联来导航到与特定的感测的特征计算机相关联的感测的信号(动作702)。例如，在图4中，在感测的特征为感测的特征422A的情况下，计算机关联用于导航到信号段422Aa。
最后，然后可以在适当的输出设备上绘制信号段(动作703)。例如，如果计算系统是图1的计算系统100，则适当的输出设备可以是输出机制112A中的一个或多个。例如，可以使用扬声器来绘制音频信号，并且可以使用显示器来绘制视觉数据。在导航到感测的信号之后，可能发生多种事情。用户可以播放特定的信号段，或者可以从有助于该特征的多个信号段中选择。可以从多个信号段合成视图。
通过对物理世界执行计算，实现了新类型的环境计算。就好像计算机在周围的环境中可用，在空气本身中实现，并且能够对在任何点处与空气接触的物理实体执行计算。在工作场所，使用这种环境计算可以大大提高生产率。例如，用户可以快速找到错放的工具，或者能够与靠近工具的对等方通信，以便用户可以要求该对等方抓取该工具并且将其带给用户。此外，除了环境计算之外，人类可以在特定感兴趣时间查看用于感测针对特定感兴趣物理实体的感兴趣特征的传感器信号。与技术上的任何革命性突破一样，必须负责任地使用该技术。然而，由于负责任地使用环境计算而提高物理生产力的场景的数目是无限的。
在不脱离本发明的精神或基本特征的情况下，可以以其他具体形式来实施发明。所描述的实施例在所有方面仅被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是由前面的描述来指示。在权利要求的等同物的含义和范围内的所有变化都将被包含在其范围内。

Claims (10)

1.一种计算系统，包括：
一个或多个处理器；
一种或多种计算机可读介质，其上具有计算机可执行指令，所述计算机可执行指令被构造为使得在由所述一个或多个处理器执行时引起所述计算系统执行用于管理用于随时间感测物理实体的特征的感测的信号的方法，所述方法包括：
在多个时间内创建多个感测的物理实体的多个感测的特征的计算机可导航图；
对于感测的多个实体中的至少一个实体的所述感测的特征中的至少一个感测的特征，将信号段与所述感测的特征计算机相关联，使得到所述感测的特征的计算机导航也允许到所述信号段的计算机导航。
2.根据权利要求1所述的计算系统，所述信号段包括导致感测所述感测的特征的传感器的标识，所述信号段排除来自所识别的传感器的未被用于感测所述感测的特征的至少一个或多个信号段。
3.根据权利要求1所述的计算系统，所述信号段包括视频信号，所述信号段包括由传感器生成的视频信号的一个或多个帧，其中对于所述视频信号的所述帧中的至少一个帧，所述信号段仅包括所述帧的一部分。
4.根据权利要求1所述的计算系统，所述信号段包括由传感器捕获的图像信号，所述信号段仅包括由所述传感器捕获的所述图像的一部分。
5.根据权利要求1所述的计算系统，所述传感器信号是由传感器捕获的音频信号。
6.根据权利要求1所述的计算系统，所述传感器信号是由传感器捕获的信号的滤波版本。
7.根据权利要求1所述的计算系统，所述传感器信号被变换。
8.根据权利要求1所述的计算系统，该方法还包括：
将所述可导航图导航到所述多个特征中的特定的感测的特征；以及
使用所述特定的感测的特征与相关联的传感器信号之间的计算机关联来导航到与所述特定的感测的特征计算机相关联的所述感测的信号。
9.根据权利要求8所述的计算系统，所述方法还包括绘制绘制所述感测的信号。
10.一种用于管理用于随时间感测物理实体的特征的感测的信号的方法，所述方法包括：
在多个时间内创建多个感测的物理实体的多个感测的特征的计算机可导航图；
对于感测的多个实体中的至少一个实体的所述感测的特征中的至少一个感测的特征，将信号段与所述感测的特征计算机相关联，使得到所述感测的特征的计算机导航也允许到所述信号段的计算机导航。
CN201880006663.0A 2017-01-18 2018-01-12 支持感测特征的信号段的组织 Active CN110178145B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762447803P 2017-01-18 2017-01-18
US62/447,803 2017-01-18
US15/436,684 2017-02-17
US15/436,684 US10482900B2 (en) 2017-01-18 2017-02-17 Organization of signal segments supporting sensed features
PCT/US2018/013418 WO2018136308A1 (en) 2017-01-18 2018-01-12 Organization of signal segments supporting sensed features

Publications (2)

Publication Number Publication Date
CN110178145A true CN110178145A (zh) 2019-08-27
CN110178145B CN110178145B (zh) 2024-03-26

Family

ID=62841437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880006663.0A Active CN110178145B (zh) 2017-01-18 2018-01-12 支持感测特征的信号段的组织

Country Status (4)

Country Link
US (2) US10482900B2 (zh)
EP (1) EP3571635A1 (zh)
CN (1) CN110178145B (zh)
WO (1) WO2018136308A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10830598B2 (en) 2018-01-10 2020-11-10 International Business Machines Corporation Navigating to a moving target in an augmented reality environment
US10809077B2 (en) * 2018-01-10 2020-10-20 International Business Machines Corporation Navigating to a moving target
CN111126040B (zh) * 2019-12-26 2023-06-20 贵州大学 一种基于深度边界组合的生物医学命名实体识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5870486A (en) * 1991-12-11 1999-02-09 Texas Instruments Incorporated Method of inferring sensor attitude through multi-feature tracking
US20110098056A1 (en) * 2009-10-28 2011-04-28 Rhoads Geoffrey B Intuitive computing methods and systems
US20130080504A1 (en) * 2011-09-26 2013-03-28 Google Inc. Managing map elements using aggregate feature identifiers
US20130251216A1 (en) * 2012-03-23 2013-09-26 Microsoft Corporation Personal Identification Combining Proximity Sensing with Biometrics
US20140310619A1 (en) * 2013-04-12 2014-10-16 Microsoft Corporation Signal capture controls in recalculation user interface
CN105378700A (zh) * 2013-03-15 2016-03-02 弗兰克公司 测量数据的捕获和关联
KR101663426B1 (ko) * 2015-07-10 2016-10-07 한양대학교 산학협력단 대형 운용 시스템의 상태 기반 예방정비 장치 및 방법
US9481367B1 (en) * 2015-10-14 2016-11-01 International Business Machines Corporation Automated control of interactions between self-driving vehicles and animals

Family Cites Families (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5093869A (en) 1990-12-26 1992-03-03 Hughes Aircraft Company Pattern recognition apparatus utilizing area linking and region growth techniques
JP3501456B2 (ja) 1992-07-10 2004-03-02 富士通株式会社 三次元図形編集装置
US5708767A (en) 1995-02-03 1998-01-13 The Trustees Of Princeton University Method and apparatus for video browsing based on content and structure
US20150244969A1 (en) 1995-09-07 2015-08-27 Kba2, Inc. System and method for recording and distributing video
US5757424A (en) 1995-12-19 1998-05-26 Xerox Corporation High-resolution video conferencing system
US6295367B1 (en) 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6059576A (en) 1997-11-21 2000-05-09 Brann; Theodore L. Training and safety device, system and method to aid in proper movement during physical activity
US6266614B1 (en) 1997-12-24 2001-07-24 Wendell Alumbaugh Travel guide
KR100530812B1 (ko) 1998-04-13 2005-11-28 네브엔지니어링 인코포레이티드 아바타 애니메이션을 위한 웨이브렛-기반 얼굴 움직임 캡쳐
US6144375A (en) 1998-08-14 2000-11-07 Praja Inc. Multi-perspective viewer for content-based interactivity
DE19846982C2 (de) 1998-10-12 2001-05-17 Siemens Ag Verfahren und System zum Überwachen der Haltung eines Benutzers an einem Trainingsgerät
US6023223A (en) 1999-03-18 2000-02-08 Baxter, Jr.; John Francis Early warning detection and notification network for environmental conditions
US6329904B1 (en) 1999-06-11 2001-12-11 Safety Through Cellular, Inc. Apparatus and method for providing weather and other alerts
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6424370B1 (en) 1999-10-08 2002-07-23 Texas Instruments Incorporated Motion based event detection system and method
US6816878B1 (en) 2000-02-11 2004-11-09 Steven L. Zimmers Alert notification system
US6590529B2 (en) 2000-02-14 2003-07-08 Mysky Communications Individualized, location specific weather forecasting system
JP2001331799A (ja) 2000-03-16 2001-11-30 Toshiba Corp 画像処理装置および画像処理方法
US6968179B1 (en) 2000-07-27 2005-11-22 Microsoft Corporation Place specific buddy list services
US20020091793A1 (en) 2000-10-23 2002-07-11 Isaac Sagie Method and system for tourist guiding, including both navigation and narration, utilizing mobile computing and communication devices
IL156424A0 (en) 2000-12-15 2004-01-04 Nooly Technologies Ltd Location-based weather nowcast system and method
US6767211B2 (en) 2001-03-13 2004-07-27 Carolyn W. Hall Method and apparatus for behaviorally reinforced training with guided practice
US6587668B1 (en) 2001-04-30 2003-07-01 Cyberu, Inc. Method and apparatus for a corporate education system
US20030046592A1 (en) 2001-08-28 2003-03-06 Woodruff Wayne D. Personal video recorder with secure recording, storage and playback control
US6803925B2 (en) 2001-09-06 2004-10-12 Microsoft Corporation Assembling verbal narration for digital display images
US7650058B1 (en) 2001-11-08 2010-01-19 Cernium Corporation Object selective video recording
US6882837B2 (en) 2002-01-23 2005-04-19 Dennis Sunga Fernandez Local emergency alert for cell-phone users
US7200266B2 (en) 2002-08-27 2007-04-03 Princeton University Method and apparatus for automated video activity analysis
US20040177253A1 (en) 2002-11-19 2004-09-09 My Ez Communications, Llc. Automated and secure digital mobile video monitoring and recording
GB2400513B (en) 2003-03-14 2005-10-05 British Broadcasting Corp Video processing
JP2004349909A (ja) 2003-05-21 2004-12-09 Canon Inc 情報記録装置、撮像記録装置、再生装置及びプライバシ保護方法
US7647166B1 (en) 2003-06-30 2010-01-12 Michael Lester Kerns Method of providing narrative information to a traveler
US7099745B2 (en) 2003-10-24 2006-08-29 Sap Aktiengesellschaft Robot system using virtual world
US7359724B2 (en) 2003-11-20 2008-04-15 Nokia Corporation Method and system for location based group formation
US20050209849A1 (en) 2004-03-22 2005-09-22 Sony Corporation And Sony Electronics Inc. System and method for automatically cataloguing data by utilizing speech recognition procedures
US7084775B1 (en) 2004-07-12 2006-08-01 User-Centric Ip, L.P. Method and system for generating and sending user-centric weather alerts
WO2007018523A2 (en) 2004-07-28 2007-02-15 Sarnoff Corporation Method and apparatus for stereo, multi-camera tracking and rf and video track fusion
US7415675B2 (en) 2004-09-01 2008-08-19 Sap Ag Software training method and apparatus
US8832121B2 (en) 2005-02-02 2014-09-09 Accuweather, Inc. Location-based data communications system and method
US7765265B1 (en) 2005-05-11 2010-07-27 Aol Inc. Identifying users sharing common characteristics
US8081822B1 (en) 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
JP2009510558A (ja) * 2005-09-26 2009-03-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 物体又は人物の動きを追跡する方法及び装置
CA2528466A1 (en) 2005-11-30 2007-05-30 Virtual Expert Clinics Inc. Web-based expert system for educational therapy planning
US8467715B2 (en) 2006-01-03 2013-06-18 General Electric Company System and method for just-in-time training in software applications
JP4346613B2 (ja) 2006-01-11 2009-10-21 株式会社東芝 映像要約装置及び映像要約方法
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US8184154B2 (en) 2006-02-27 2012-05-22 Texas Instruments Incorporated Video surveillance correlating detected moving objects and RF signals
FI20065147A (fi) 2006-03-03 2006-03-03 Firstbeat Technologies Oy Järjestelmä ja menetelmä harjoittelun ohjaamiseksi
US7823056B1 (en) 2006-03-15 2010-10-26 Adobe Systems Incorporated Multiple-camera video recording
US7671732B1 (en) 2006-03-31 2010-03-02 At&T Mobility Ii Llc Emergency alert notification for the hearing impaired
US7881505B2 (en) 2006-09-29 2011-02-01 Pittsburgh Pattern Recognition, Inc. Video retrieval system for human face content
US8274564B2 (en) 2006-10-13 2012-09-25 Fuji Xerox Co., Ltd. Interface for browsing and viewing video from multiple cameras simultaneously that conveys spatial and temporal proximity
US7865300B2 (en) 2006-11-15 2011-01-04 International Business Machines Corporation System and method for providing turn-by-turn directions to a moving waypoint
US8149278B2 (en) 2006-11-30 2012-04-03 Mitsubishi Electric Research Laboratories, Inc. System and method for modeling movement of objects using probabilistic graphs obtained from surveillance data
US20080178232A1 (en) 2007-01-18 2008-07-24 Verizon Data Services Inc. Method and apparatus for providing user control of video views
US7788203B2 (en) 2007-02-26 2010-08-31 International Business Machines Corporation System and method of accident investigation for complex situations involving numerous known and unknown factors along with their probabilistic weightings
US20090164397A1 (en) 2007-12-20 2009-06-25 Mitchell Kwok Human Level Artificial Intelligence Machine
US20080268418A1 (en) 2007-04-25 2008-10-30 Tashner John H Virtual education system and method of instruction
WO2008147915A2 (en) 2007-05-22 2008-12-04 Vidsys, Inc. Intelligent video tours
US9414458B2 (en) * 2007-05-24 2016-08-09 Federal Law Enforcement Development Services, Inc. LED light control assembly and system
US8934717B2 (en) 2007-06-05 2015-01-13 Intellectual Ventures Fund 83 Llc Automatic story creation using semantic classifiers for digital assets and associated metadata
US8942536B2 (en) 2007-09-19 2015-01-27 Nvidia Corporation Video navigation system and method
US8929601B2 (en) 2007-12-05 2015-01-06 John Caulfield Imaging detecting with automated sensing of an object or characteristic of that object
US20090153654A1 (en) 2007-12-18 2009-06-18 Enge Amy D Video customized to include person-of-interest
US8010601B2 (en) 2007-12-21 2011-08-30 Waldeck Technology, Llc Contiguous location-based user networks
TWI508003B (zh) 2008-03-03 2015-11-11 Videoiq Inc 用於追蹤、索引及搜尋之物件匹配
US8190118B2 (en) 2008-03-26 2012-05-29 At&T Mobility Ii Llc Integration of emergency alert information
US9300912B2 (en) 2008-03-28 2016-03-29 Microsoft Technology Licensing, Llc Software based whiteboard capture solution for conference room meetings
US8311275B1 (en) 2008-06-10 2012-11-13 Mindmancer AB Selective viewing of a scene
GB2461344A (en) 2008-07-04 2010-01-06 Canford Audio Plc Secure recording of interviews using a hashed algorithm to produce an authentication code
US8548503B2 (en) 2008-08-28 2013-10-01 Aol Inc. Methods and system for providing location-based communication services
US8911711B2 (en) 2008-09-30 2014-12-16 The Invention Science Fund I, Llc Method, device, and system to control pH in pulmonary tissue of a subject
FR2940487A1 (fr) 2008-12-19 2010-06-25 Thales Sa Procede et systeme pour la fusion de donnees ou d'informations
WO2010086680A1 (en) 2009-01-29 2010-08-05 Thomson Licensing Navigation system for routing directions to a moving target
US8605942B2 (en) 2009-02-26 2013-12-10 Nikon Corporation Subject tracking apparatus, imaging apparatus and subject tracking method
US8463537B2 (en) 2009-06-03 2013-06-11 Motorola Solutions, Inc. Navigating to a moving destination
EP2496196B1 (en) 2009-11-03 2021-05-26 Yissum Research Development Company of the Hebrew University of Jerusalem Ltd. Representing visual images by alternative senses
US20110238755A1 (en) 2010-03-24 2011-09-29 Hameed Khan Proximity-based social networking
US8688434B1 (en) 2010-05-13 2014-04-01 Narrative Science Inc. System and method for using data to automatically generate a narrative story
US8655893B2 (en) 2010-07-16 2014-02-18 Shutterfly, Inc. Organizing images captured by multiple image capture devices
US20120084669A1 (en) 2010-09-30 2012-04-05 International Business Machines Corporation Dynamic group generation
US9384587B2 (en) 2010-11-29 2016-07-05 Verizon Patent And Licensing Inc. Virtual event viewing
US8490003B2 (en) 2010-12-03 2013-07-16 International Business Machines Corporation Dynamic proximity based text exchange within a group session
EP2469420B1 (en) 2010-12-22 2019-11-27 Software AG CEP engine and method for processing CEP queries
US20120239584A1 (en) 2011-03-20 2012-09-20 Microsoft Corporation Navigation to dynamic endpoint
US9064538B2 (en) 2011-04-07 2015-06-23 Infosys Technologies, Ltd. Method and system for generating at least one of: comic strips and storyboards from videos
WO2012139127A1 (en) 2011-04-08 2012-10-11 Wombat Security Technologies, Inc. Context-aware training systems, apparatuses, and methods
US8789133B2 (en) 2011-04-20 2014-07-22 Cisco Technology, Inc. Location based content filtering and dynamic policy
US9098611B2 (en) 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
US9026596B2 (en) 2011-06-16 2015-05-05 Microsoft Technology Licensing, Llc Sharing of event media streams
US8825761B2 (en) * 2011-08-05 2014-09-02 Htc Corporation Systems and methods for sharing group status within a social network
WO2013036556A1 (en) 2011-09-07 2013-03-14 Millenial Media Providing mobile advertising using data networks based on intelligence data associated with internet-connected devices
TWI435054B (zh) 2011-10-03 2014-04-21 Wistron Corp 針對動態目標以進行導航之方法及其相關可攜式電子裝置
WO2013074969A1 (en) 2011-11-16 2013-05-23 University Of South Florida Systems and method for communicating robot intentions to human beings
US8812499B2 (en) 2011-11-30 2014-08-19 Nokia Corporation Method and apparatus for providing context-based obfuscation of media
US20130169834A1 (en) 2011-12-30 2013-07-04 Advanced Micro Devices, Inc. Photo extraction from video
US9002098B1 (en) 2012-01-25 2015-04-07 Hrl Laboratories, Llc Robotic visual perception system
US9124800B2 (en) 2012-02-13 2015-09-01 Htc Corporation Auto burst image capture method applied to a mobile device, method for tracking an object applied to a mobile device, and related mobile device
US9260122B2 (en) 2012-06-06 2016-02-16 International Business Machines Corporation Multisensor evidence integration and optimization in object inspection
US9026367B2 (en) 2012-06-27 2015-05-05 Microsoft Technology Licensing, Llc Dynamic destination navigation system
CN202887470U (zh) 2012-09-13 2013-04-17 吴李海 基于iOS/Android的移动目标锁定系统
US9208676B2 (en) 2013-03-14 2015-12-08 Google Inc. Devices, methods, and associated information processing for security in a smart-sensored home
US8825377B2 (en) 2012-10-19 2014-09-02 Microsoft Corporation Mobile navigation to a moving destination
US20140136186A1 (en) 2012-11-15 2014-05-15 Consorzio Nazionale Interuniversitario Per Le Telecomunicazioni Method and system for generating an alternative audible, visual and/or textual data based upon an original audible, visual and/or textual data
US20140233919A1 (en) 2013-02-18 2014-08-21 Treasured Stores, LLC Memory Preservation and Life Story Generation System and Method
US9900171B2 (en) 2013-02-25 2018-02-20 Qualcomm Incorporated Methods to discover, configure, and leverage relationships in internet of things (IoT) networks
US9317813B2 (en) 2013-03-15 2016-04-19 Apple Inc. Mobile device with predictive routing engine
US20140375425A1 (en) 2013-06-24 2014-12-25 Infosys Limited Methods for dynamically sending alerts to users and devices thereof
US10447554B2 (en) 2013-06-26 2019-10-15 Qualcomm Incorporated User presence based control of remote communication with Internet of Things (IoT) devices
US9871865B2 (en) 2013-07-11 2018-01-16 Neura, Inc. Physical environment profiling through internet of things integration platform
US9159371B2 (en) 2013-08-14 2015-10-13 Digital Ally, Inc. Forensic video recording with presence detection
KR20180019771A (ko) 2013-09-20 2018-02-26 콘비다 와이어리스, 엘엘씨 근접성 서비스 및 사물 인터넷 서비스를 위한 조인트 등록 및 등록 해제 방법
US8812960B1 (en) 2013-10-07 2014-08-19 Palantir Technologies Inc. Cohort-based presentation of user interaction data
US20150100979A1 (en) 2013-10-07 2015-04-09 Smrtv, Inc. System and method for creating contextual messages for videos
US10589150B2 (en) 2013-11-08 2020-03-17 Performance Lab Technologies Limited Automated prescription of activity based on physical activity data
US9438647B2 (en) 2013-11-14 2016-09-06 At&T Intellectual Property I, L.P. Method and apparatus for distributing content
US9709413B2 (en) 2013-12-12 2017-07-18 Cellco Partnership Directions based on predicted future travel conditions
CN105934753B (zh) 2013-12-18 2020-07-31 派尔高公司 在云视频服务中共享视频
US9135347B2 (en) 2013-12-18 2015-09-15 Assess2Perform, LLC Exercise tracking and analysis systems and related methods of use
US20150219458A1 (en) 2014-01-31 2015-08-06 Aruba Networks Inc. Navigating to a moving target
US20150278263A1 (en) 2014-03-25 2015-10-01 Brian Bowles Activity environment and data system for user activity processing
US20150279226A1 (en) 2014-03-27 2015-10-01 MyCognition Limited Adaptive cognitive skills assessment and training
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
US10345767B2 (en) 2014-08-19 2019-07-09 Samsung Electronics Co., Ltd. Apparatus and method for gamification of sensor data interpretation in smart home
US20160073482A1 (en) 2014-09-05 2016-03-10 Qualcomm Incorporated Implementing a target lighting scene in an internet of things environment using a mobile light output device
JP6065889B2 (ja) 2014-09-18 2017-01-25 株式会社デンソー 運転支援装置
US10356649B2 (en) 2014-09-26 2019-07-16 Intel Corporation Multisensory change detection for internet of things domain
US10816944B2 (en) 2015-01-06 2020-10-27 Afero, Inc. System and method for using data collected from internet-of-things (IoT) sensors to disable IoT-enabled home devices
US20170161620A1 (en) * 2015-12-08 2017-06-08 International Business Machines Corporation Determining a minimal explanation
US11094212B2 (en) * 2017-01-18 2021-08-17 Microsoft Technology Licensing, Llc Sharing signal segments of physical graph
US20180202819A1 (en) * 2017-01-18 2018-07-19 Microsoft Technology Licensing, Llc Automatic routing to event endpoints
US10635981B2 (en) * 2017-01-18 2020-04-28 Microsoft Technology Licensing, Llc Automated movement orchestration
US20180203885A1 (en) * 2017-01-18 2018-07-19 Microsoft Technology Licensing, Llc Controlling creation/access of physically senses features
US10437884B2 (en) * 2017-01-18 2019-10-08 Microsoft Technology Licensing, Llc Navigation of computer-navigable physical feature graph
US10637814B2 (en) * 2017-01-18 2020-04-28 Microsoft Technology Licensing, Llc Communication routing based on physical status

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5870486A (en) * 1991-12-11 1999-02-09 Texas Instruments Incorporated Method of inferring sensor attitude through multi-feature tracking
US20110098056A1 (en) * 2009-10-28 2011-04-28 Rhoads Geoffrey B Intuitive computing methods and systems
US20130080504A1 (en) * 2011-09-26 2013-03-28 Google Inc. Managing map elements using aggregate feature identifiers
US20130251216A1 (en) * 2012-03-23 2013-09-26 Microsoft Corporation Personal Identification Combining Proximity Sensing with Biometrics
CN105378700A (zh) * 2013-03-15 2016-03-02 弗兰克公司 测量数据的捕获和关联
US20140310619A1 (en) * 2013-04-12 2014-10-16 Microsoft Corporation Signal capture controls in recalculation user interface
CN105164643A (zh) * 2013-04-12 2015-12-16 微软技术许可有限责任公司 重算用户接口中的信号捕捉控件
KR101663426B1 (ko) * 2015-07-10 2016-10-07 한양대학교 산학협력단 대형 운용 시스템의 상태 기반 예방정비 장치 및 방법
US9481367B1 (en) * 2015-10-14 2016-11-01 International Business Machines Corporation Automated control of interactions between self-driving vehicles and animals

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BORIS KATZ 等: "Answering Questions about Moving Objects in Surveillance Videos", 《IN PROCEEDINGS OF 2003 AAAI SPRING SYMPOSIUM ON NEW DIRECTIONS》 *
BORIS KATZ 等: "Answering Questions about Moving Objects in Surveillance Videos", 《IN PROCEEDINGS OF 2003 AAAI SPRING SYMPOSIUM ON NEW DIRECTIONS》, 31 March 2003 (2003-03-31), pages 1 - 8 *
KEWEI TU 等: "Joint Video and Text Parsing for Understanding Events and Answering Queries", 《IEEE MULTIMEDIA》 *
KEWEI TU 等: "Joint Video and Text Parsing for Understanding Events and Answering Queries", 《IEEE MULTIMEDIA》, vol. 21, no. 2, 20 May 2014 (2014-05-20), pages 1 - 24 *

Also Published As

Publication number Publication date
US20200160879A1 (en) 2020-05-21
US20180204087A1 (en) 2018-07-19
US11410672B2 (en) 2022-08-09
CN110178145B (zh) 2024-03-26
EP3571635A1 (en) 2019-11-27
US10482900B2 (en) 2019-11-19
WO2018136308A1 (en) 2018-07-26

Similar Documents

Publication Publication Date Title
CN110178147A (zh) 自动路由到事件端点
CN110178145A (zh) 支持感测特征的信号段的组织
EP3571576A1 (en) Navigation of computer-navigable physical feature graph
CN110192236A (zh) 自动活动时间训练
CN110178148A (zh) 物理实体的计算机辅助跟踪
US20200302970A1 (en) Automatic narration of signal segment
CN110192208B (zh) 共享物理图形的信号片段
CN110199299A (zh) 基于物理条件采取动作
CN110214327A (zh) 控制物理感测特征的创建/访问
CN110177661A (zh) 自动移动编排
CN110192209A (zh) 基于物理图形来采取动作
CN110199272A (zh) 计算机可导航物理特征图的清洁

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant