CN109753865B - 对象历史关联的系统和方法 - Google Patents

Abstract

本申请涉及对象历史关联的系统和方法。本文描述的实施例公开了用于动态对象识别的方法和系统。使用来自识别处理的地点和信息、动态对象的历史数据以及来自辅助对象的关联数据，可以为动态对象生成更完整的数据集。动态对象数据集然后可以被存储以供以后在各种自动化任务中有用的对动态对象的识别以及更完整和类似人类的理解。

Description

对象历史关联的系统和方法

技术领域

本文描述的主题一般而言涉及动态对象识别，并且更具体而言，涉及对象彼此的关联和环境。

背景技术

近年来，为了提高各种领域的生活质量和安全性，已经提出了用于确定和识别视野中的对象并且根据这种判断来引导自动化设备或车辆的设备。这些设备通常使用对象识别来进行上述确定和识别。对象识别一般而言涉及在图像中找到给定对象或在视频片段中找到帧序列。在帧序列内标识具有高时间相关性的时间上邻近特征。每个连续帧包含对象的时间上邻近的表示。

对象识别通常基于对象在某个抽象级别的模型。也被称为“视图”的对象表示可以由于各种对象变换而在帧与帧之间变化，对象变换诸如旋转、移动/平移、光照变化、背景、噪声、其它对象的外观、部分阻挡/解除阻挡对象等。然后，将对象表示与已知模型或特征进行比较，以确定对象类(例如，汽车、鞋类等)、对象类型(例如，小型经济型汽车、跑步鞋等)或两者。该模型与已经被抽象到与模型相同级别的对象表示进行匹配。

但是，当前的对象识别方法受限于它们可以提供的信息。当新对象进入环境时，检测通常限于上述对象识别，几乎不知道相同类和类型的各个对象、对象的历史或对象如何到达当前位置。由于自动化设备和汽车的不可避免的目标是与合格的人类操作员表现一样好或比合格的人类操作员表现得更好，因此关于各个对象及其之间的关联的信息是有价值的。

发明内容

本文描述的系统和方法使用与对象和地点相关联的历史数据来确定与对象相关联的附加信息。在一个实施例中，公开了一种用于关联环境中的对象的关联系统。该关联系统可以包括一个或多个处理器；以及可通信地耦合到该一个或多个处理器的存储器。存储器可以存储对象识别模块，该对象识别模块包括当由一个或多个处理器执行时使得该一个或多个处理器使用至少一个图像捕获设备获得环境的一个或多个图像，并识别至少一个动态对象和环境的一个或多个图像中的一个或多个环境资产的指令，环境资产包括至少一个辅助对象。存储器还可以存储实例标识模块，该实例标识模块包括当由一个或多个处理器执行时使得该一个或多个处理器在环境的对象历史信息的数据库中标识至少一个动态对象的指令，对象历史信息包括对至少一个动态对象的至少一个先前识别。存储器还可以存储关联模块，该关联模块包括当由一个或多个处理器执行时使得该一个或多个处理器使用对象历史信息的数据库标识至少一个动态对象的至少一个先前识别与至少一个辅助对象之间的一个或多个关联，并且使用自动化设备基于一个或多个关联来执行与至少一个动态对象相关的任务的指令。

在另一个实施例中，公开了一种用于关联环境中的对象的非瞬态计算机可读介质。该介质可以存储指令，当该指令由一个或多个处理器执行时使得该一个或多个处理器使用至少一个图像捕获设备获得环境的一个或多个图像。该指令还使得处理器识别环境的一个或多个图像中的至少一个动态对象和一个或多个环境资产，环境资产包括至少一个辅助对象。该指令还使得处理器在环境的对象历史信息的数据库中标识至少一个动态对象，对象历史信息包括对至少一个动态对象的至少一个先前识别。该指令还使得处理器使用对象历史信息的数据库标识至少一个动态对象的至少一个先前识别与至少一个辅助对象之间的一个或多个关联。该指令还使得处理器使用自动化设备基于一个或多个关联来执行与至少一个动态对象相关的任务。

在另一个实施例中，公开了一种用于对象识别的方法。该方法可以包括使用至少一个图像捕获设备获得环境的一个或多个图像。该方法还可以包括识别环境的一个或多个图像中的至少一个动态对象和一个或多个环境资产，环境资产包括至少一个辅助对象。该方法还可以包括在环境的对象历史信息的数据库中标识至少一个动态对象，对象历史信息包括对至少一个动态对象的至少一个先前识别。该方法还可以包括使用对象历史信息的数据库来标识至少一个动态对象的至少一个先前识别与至少一个辅助对象之间的一个或多个关联。该方法还可以包括使用自动化设备基于一个或多个关联来执行与至少一个动态对象相关的任务。

附图说明

因此，通过参考实施例，可以获得可以详细理解本公开的上述特征，对上面简要概述的本公开的更具体的描述的方式，其中一些实施例在附图中图示。但是，应该注意的是，附图仅图示了本公开的典型实施例，因此不应该被视为限制本公开的范围。本公开可以允许其它同等有效的实施例。

图1是根据一个或多个实施例的被配置为用于识别和关联动态对象的计算设备和图像捕获设备的框图。

图2是根据一个或多个实施例的能够识别和关联动态对象的关联系统的图示。

图3是根据一个实施例的在环境中实现的关联系统的图示。

图4是根据一个实施例的用于识别和关联环境中的动态对象的方法的流程图。

为了便于理解，在可能的情况下，使用了相同的附图标记来表示各图中共有的相同元件。此外，一个实施例的元件可以有利地适于在本文所述的其它实施例中加以利用。

具体实施方式

本文公开的实施例描述了用于将数据与动态对象、辅助对象、地点或其组合相关联以确定与动态对象相关联的附加信息的系统和方法。该系统和方法可以包括定位在例如房间的天花板中以确定房间的高层视图的一个或多个图像捕获设备(例如，相机)。图像捕获设备结合计算设备可以用于构建环境中预期的历史信息。在环境中所预期的包括一个或多个静态对象和一个或多个结构特征。本文描述的系统和方法可以用于跟踪特定区域的历史。例如，如果图像捕获设备位于厨房或卧室中，那么图像捕获设备和计算设备可以知道许多附加信息并且可以关于对象是什么以及它的来源是什么(例如，对象属于谁)缩小范围。如果图像捕获设备观察到脱下其靴子的人，那么靴子和该人可以成为环境中的新对象(例如，分别为动态对象和辅助对象)。(一个或多个)计算设备可以检测谁脱下靴子以标识与动态对象(例如，靴子)相关的更多信息。因此，可以减少处理时间，因为系统正在监视相机所位于的房间并且正在仅查看变化。当检测到环境中的变化时(例如，引入动态对象)，这里描述的系统和方法可以基于先前已知的信息和随着时间推移的观察来检测动态对象是什么以及谁引入了该对象(即，辅助对象)。

在新颖的动态对象被引入环境的实例中(即，动态对象之前从未在环境中被定位)，可以对系统和方法进行分层以采取附加的分析和处理步骤。例如，在引入新颖的动态对象或新颖的辅助对象的情况下，系统和方法可以运行图像处理算法，以例如识别动态对象并识别辅助对象，并将动态对象与辅助对象相关联。但是，在动态对象或辅助对象已经被引入环境的示例中，系统可以识别每个对象的特定实例，并将存储的内容作为该地点的对象历史信息与动态对象或辅助对象的特征进行比较。可以用这些分层处理步骤减少计算时间。下面结合各图更清楚地描述本文公开的实施例的元件。

参考图1，图示了计算设备100的示例。如图1所示，计算设备100可以是任何适当类型的计算设备，诸如但不限于：个人计算机(PC)、工作站、嵌入式计算机、或具有计算单元(诸如微处理器、DSP(数字信号处理器)、FPGA(现场可编程门阵列)或ASIC(专用集成电路))的独立设备。这里示出的是，计算设备100是与显示设备360连接的PC。虽然本文将关于PC计算机描述布置，但是应该理解的是，实施例不限于PC计算机。在一些实现中，计算设备100可以是任何其它形式的计算机设备，该计算机设备例如可以至少半自主地操作、包括对象检测或支持对象检测的能力，并且因此受益于本文所讨论的功能。

计算设备100具有用于获得图像以用于分析和最终标识和/或验证的输入102。输入102是用于输入设备到计算设备100的一个或多个有线或无线连接。输入102可以是取决于设备类型的任何合适的通信接口，并且包括但不限于：USB(通用串行总线)、帧抓取器、以太网或火线(Firewire)。计算设备100还包括处理器104，诸如通用处理器，用于在本文描述的数据处理和分析中使用。输入102与传感器118(例如，恒温器、气压计等)、麦克风或其它有源或无源输入设备或系统连接。这里示出的是，输入102与键盘108、鼠标110、传感器118、图像捕获设备120和麦克风122连接。计算设备100仍然还可以包括连接112。可以是有线或无线的连接112可以允许计算设备100诸如通过网络协议(例如，以太网或类似协议)本地或远程地与其它计算设备通信。

计算设备100还可以包括一些易失性或非易失性存储器，诸如存储器114。存储器114可以包括一个或多个模块，该一个或多个模块包括当由处理器104执行时使得处理器104执行本文讨论的方法和功能的计算机可读指令。存储器114可以包括参考图2描述的数据库210。存储器114可以包含与用于比较和/或分析目的的参考材料相关的信息，诸如动态对象和辅助对象的已知关系。计算设备100还可以包括输出连接116，用于以可由自主设备或用户使用的方式传递输出。在一个示例中，输出连接116将输出传递到屏幕以便于查看(例如，显示设备130)或传递到控制设备用于控制其中动态对象是其一部分的外部处理。外部处理的实施例可以包括但不限于：自主机器人处理、工业生产处理、安全性处理(例如，检测与人-对象关联相关的可疑活动)或医疗应用(例如，医疗设备与在手术室中进行的手术的关联)。

计算设备还包括关联系统126，该关联系统126被实现为执行如本文所公开的与动态对象和辅助对象和/或环境的关联相关的方法和其它功能。动态对象是在环境中移动但不是环境库存的部分的对象。在识别方案的意义上理解动态对象。因此，词语“对象”包括诸如动物和人的有生命对象，以及诸如靴子或球的无生命对象。关于动态对象的信息可以包括参考静态对象描述的任何信息或所有信息。但是，动态对象将更频繁地更新姿态信息、先前姿态信息、拥有或所有权的变化，以反映动态对象的变化性质。

参考图2，进一步图示了图1的关联系统126的一个实施例。关联系统126被示出为包括来自图1的计算设备100的处理器104。因此，处理器104可以是关联系统126的一部分，关联系统126可以包括与计算设备100的处理器104分离的处理器，或者关联系统126可以通过数据总线或其他通信路径访问处理器104。在一个实施例中，关联系统126包括存储器114，存储器114存储对象识别模块220、实例标识模块230和关联模块240。存储器114是随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器、闪存或用于存储模块220、230和240的其它合适的存储器。模块220、230和240是例如当由处理器104执行时使得处理器104执行本文公开的各种功能的计算机可读指令。

对象识别模块220通常包括指令，该指令用于控制处理器104以使用如与计算设备100的输入102连接的一个或多个传感器118来获得环境的一个或多个图像，以识别在环境的一个或多个图像中的至少一个动态对象和一个或多个环境资产。对象识别模块220可以由一个或多个启动事件激活，诸如由运动检测器检测到的环境中的移动。运动检测器、红外传感器、RADAR、LIDAR、图像捕获设备120或其它传感器可以被包括在传感器118中。一旦被初始化，对象识别模块220就通过由处理器104执行指令来收集关于环境中的一个或多个环境资产的信息用于识别。如本文所使用的，环境资产描述了环境内或从环境收集到的所有对象、环境的部件、检测、关联和/或其它信息，包括动态对象、辅助对象和静态对象。

收集到的信息可以包括环境数据和对象数据两者。本文使用环境数据来描述在环境中静止的元件，包括静态对象(诸如沙发、灯)，或者通常不改变位置或仅在固定路径内改变位置的其它对象，诸如冰箱门。静态对象是在环境中以常规频率出现的对象并且通常不是移动的，包括人或其它演员的移动。静态对象可以包含可移动元件，诸如冰箱的门。关于静态对象的信息可以包括结构和定位信息，诸如对象的姿态(即，位置和朝向)、构成、个人所有权的细节、环境中到达日期的时间长度、以及关于对象的其它地点和历史信息。在一个示例中，环境是起居室，并且静态对象包括沙发、双人沙发、椅子、地毯、灯、鞋架和图片。关于静态对象的信息还可以包括对象类型信息，诸如制造商、一般用途、购买它们的地方、购买价格、有效部件、重量、每个对象的材料和类型，以及关于对象的其它结构和制造信息。

本文使用对象数据来描述关于动态对象和辅助对象的数据。动态对象是可以进入或退出环境的移动对象。对象数据包括与对象本身相关的细节(诸如结构数据)以及与对象和环境交互相关的细节(诸如姿态、随时间的移动、与其它对象的关系等)。然后，对象识别模块220可以根据对象识别方案使用对象数据来识别对象类和对象类型。对象识别方案可以包括与已知图片的比较、从图像形成3D模型或其它。对象数据还可以包括作为对象识别方案的一部分产生的数据，诸如关于对象的标识符、产生的3D模型或其它。一旦对象被识别，该识别、对象数据和环境数据就被添加到识别数据，用于在关联系统126的其它模块中使用。识别数据还可以被添加到对象历史信息260中。

环境数据还可以包括来自环境或关于环境的信息。环境数据可以包括地点(例如，房屋的起居室)、环境参数(例如，温度、湿度和其它环境因素)、环境的大小和边界(例如，墙壁、障碍物等)。环境数据还可以包括环境中被设计成或以其它方式用于与动态对象(例如，用于靴子的鞋架)交互的静态对象。

环境数据可以提供动态对象的地点的上下文、数据跟踪度量，并且最终可以用于加速对象识别序列。动态对象的地点的上下文可以包括导致对象在房间中的可能事件(例如，人们通常从工作回家并在起居室中脱掉他们的靴子)。数据跟踪度量可以包括关于环境中的动态对象的统计信息。通过跟踪动态对象与环境的交互，我们可以更加了解在该特定环境中或在类似环境中可能发生的动态对象(类型和特定实例二者)。

在识别之后，实例标识模块230通常包括用于控制处理器104以标识环境的对象历史信息的数据库中的至少一个动态对象的指令。实例标识模块230可以从对象历史信息260中检索由对象识别模块220产生的识别数据和关于动态对象的至少一个先前识别的信息，以识别特定动态对象。如这里所描述的，实例标识模块230包括从数据库210获取对象历史信息260的指令，数据库210特征化先前已知的关于特定动态对象的信息。对象历史信息260可以包括地点历史数据、对象规格、结构信息、所有权等。对象规格是通常可从制造商获得的细节，其描述对象的要求和性能细节。应该认识到的是，本公开提供了与可以被监视以产生对象历史信息260的动态对象相关联的方面的示例性列表。但是，该列表不应该被解释为限制并且该列表是为了本讨论的目的作为可能性的示例性列表而提供。

在一个或多个实施例中，实例标识模块230可以参考对象历史信息260或库存信息270来确定识别数据中的冗余信息。对象历史信息260和库存信息270被参考，并且答案被转发到图像捕获设备120。图像捕获设备120然后可以限制关于动态对象收集到的数据，以避免冗余。替代地，可以正常收集识别数据，冗余部分不被上传到计算设备，或者冗余数据可以被上传并且用于部分更新(例如，黑色靴子，退化的颜色)。此外，对象历史信息260可以用于更新库存信息270，诸如当在环境中建立新的静态对象时。

虽然上述信息中的大部分被描述为客观性的，但是可以收集关于对象的主观信息。主观信息可以是关于对象的基于观点的实际和假设信息(例如，基于在环境中看到的其它靴子，该靴子变得不再时尚)。表达的观点、基于使用和治疗的喜欢和不喜欢等可以被合并到动态对象数据集中。在上述示例中，人可以走进环境中、坐在沙发上、脱下她的靴子并将它们在地板上滑动，因为她通过脱掉她的靴子来表达舒适感。在这种情况下，靴子和人都是动态对象。但是，为了简单起见，我们可以关注靴子作为动态对象。关于靴子的信息可以包括颜色、尺寸(或者数字的或者与其它靴子相比)、材料、鞋子的一般类型(例如，礼服靴子)、品牌(如果有的话)、靴子的最终姿态、以及滑动的向量，施加的力的量的细节、动态对象的状况(例如，靴子是湿的)和关于靴子从进入到最终姿态的时间信息。

因此，作为示例，对象历史信息260可以包括关于一些或所有可用环境资产的信息，包括对象类型和分类、动态对象的检测的数量和时间、结构或身体特征、构成、所有权历史、拥有历史、用于描述动态对象的相关对话、对象的姿态、制造细节、年龄、生理参数(如果有的话)、环境状况、预期寿命、使用的状况(例如，在雨中的雨衣)，等等。此外，对象历史信息260可以是来自计算设备100的本地和远程的各种源的信息的集合。各种源可以包括动态对象数据集(即，由对象识别模块220、实例标识模块230和关联模块240在当前操作期间收集到的、原始的或处理后的数据)、来自第二数据库的第二对象历史信息(例如，从与这里描述的关联系统类似或相同、用于相同环境或单独环境的另一个关联系统采集的信息)、关于动态对象或其组合的公开可用信息。

关联系统126还可以在动态对象和辅助对象的检测、标识和关联中使用库存信息270。关联系统126可以使用来自环境的库存信息270的先前获取的库存，或者可以在监视期间使用实例标识模块230来获取库存。库存信息270是关于没有动态对象的环境的信息。库存信息270可以由实例标识模块230用于特征化特定动态对象。关联模块240可以使用库存信息270来形成关联，诸如将来自环境的静态对象与动态对象关联。库存信息270还可以由目标识别模块220用来监视环境，诸如区分静态对象和动态对象。

此外，实例标识模块230可以取决于特定实现以多种不同方式确定动态对象与对象历史信息260中的现有数据的关系。在一个实施例中，实例标识模块230与结合图1讨论的一个或多个传感器118通信，诸如图像捕获设备120、心率监测传感器、红外传感器、气压计、麦克风122等。在一个实施例中，输入设备位于环境的外壳内，远离计算设备100并且可以被定位在各种地点，以便获取关于动态对象的所述方面和/或与环境和辅助对象相关的方面的信息。此外，实例标识模块230可以通过输入102包括多个冗余的输入设备，以便例如提高如收集到的对象历史信息260的准确度/精度。同样，实例标识模块230可以从对象识别模块220接收关于动态对象的初始识别的信息，用于进一步标识。

继续参考关联系统126，在一个实施例中，关联系统126包括数据库210。在一个实施例中，数据库210是存储在存储器114或另一个数据存储库中的电子数据结构，并且被配置有可由处理器104执行用于分析存储的数据、提供存储的数据、组织存储的数据等的例程。因此，在一个实施例中，数据库210存储由模块220、230和240在执行各种功能时使用的数据。在一个实施例中，除了由关联系统126使用的诸如库存信息270的其它数据之外，数据库210还包括由对象识别模块220部分收集到的对象历史信息260。存储器114可以被本地存储，诸如在自动化设备或计算设备100中。存储器114还可以被远程存储，诸如在云服务器中。

在一个实施例中，关联模块240通常包括用于控制处理器104以使用对象历史信息260的数据库标识至少一个动态对象的至少一个先前识别与至少一个辅助对象之间的一个或多个关联的指令。即，关联模块240使用对象历史信息260和形成来自实例标识模块230的动态对象数据集的收集数据来特征化动态对象与计算设备100的环境或辅助对象之间的关联。通常，对象历史信息260是或者由关联模块240在过去观察到的(作为动态对象数据集的一部分)或者从辅助来源收集到的历史数据的集合，其表示动态对象和辅助对象之间的关联点或共享数据、由计算设备100观察到的环境或两者。该关联是如使用对象历史信息260和动态对象数据集确定的动态对象和辅助对象和/或环境之间共享的关系。因此，关联模块240可以将关联生成为对如由计算设备100的关联模块240先前检测、观察或收集到的辅助对象或环境之间的连接的量和类型的评估。连接的类型包括时间连接、位置连接、使用连接或可以描述两个或更多个对象之间的关系的其它连接。

因此，通过简要示例，关联模块240可以例如电子地访问对象历史信息260，包括关于特定动态对象的信息，诸如最后已知的姿态、到其它对象的时间连接、到其它对象的位置连接或进一步的关联信息。在一个实施例中，关联模块240评估关于特定动态对象的最后已知姿态的信息，更特别地，将特定动态对象的最后已知姿态与任何辅助对象或环境数据关联的信息(例如，放置动态对象的人以及对象如何被放置、环境中需要稳定姿态的静态对象之间的任何交互等)。根据该关联，关联模块240可以特征化关于动态对象的进一步信息，诸如特定动态对象的可能所有权或计算设备100的环境内的正确地点。例如，关联模块240可以考虑环境中的特定动态对象的姿态是否始终位于特定辅助对象(例如，通常朝向鞋架倾斜的靴子)附近、特定动态对象是否具有特定使用情景(例如，伞仅在下雨的情况下或当气压下降到低于正常值的某个百分比时才被使用)、动态对象是否被多个辅助对象使用，等等。根据该评估，关联模块240使用对象历史信息260来确定关于环境中的特定动态对象的事实。因此，对象历史信息260基于当前和先前姿态向关联模块240通知动态对象。

在另外的方面中，关联模块240可以进行更复杂的分析，以便将多个环境或辅助对象交互与动态对象相关联。例如，关联模块240可以将动态对象的姿态与来自输入102的其它信息关联，诸如辅助对象的存在/地点，以及如由实例标识模块230检测到的环境内的辅助对象与动态对象(例如，作为动态对象的衣物和作为辅助对象的衣物架)的关系。通常，如本文所使用的对计算设备100的环境的参考涉及关于由计算设备100检测到的环境、是本地还是远程、以及环境中的对象，和环境与对象(反之亦然)的关联的信息。

此外，当关联动态对象和辅助对象和/或环境时，关联模块240还可以考虑远程数据，诸如远程数据280。在一个实施例中，远程数据可以包括与动态对象相关的各种外部结构方面以及与检测到的环境相关的外部环境方面。例如，远程数据可以包括动态对象的GPS坐标、关于动态对象的制造商参数(例如，构成、重量等)、外部事件(例如，由于交通事故而改变的动态对象的预计到达时间)、日常使用模式、移动的方法、外部温度、动态对象的GPS移动路线、相关联的辅助对象的GPS移动路线，以及由实例标识模块230从实例标识模块230的不同传感器和系统收集到的其它数据。

因此，为了形成对象之间的关联，在一个实施例中，关联模块240分析对象历史信息260以及附加信息(例如，动态对象数据集)以确定对象(例如，动态对象和辅助对象)之间的关联。通常，关联模块240标识与动态对象相关的各种数据元素，其提供例如辅助对象对动态对象所有权的可能性。随后，关联模块240可以根据定义的权重组合各个可能性以产生总可能性。因此，关联模块240可以提供总可能性作为关联级别。关联模块240还可以使用总可能性来应用进一步的分析，使得关联级别反映环境内的对象之间的实际关系。对象之间的关联级别可以由计算设备100通过例如根据环境的方面(例如，与辅助对象相关的使用的历史)将关联的可能性转换为特定分类(例如，0-10)来确定。

在另外的实施例中，诸如在新颖的动态对象的情况下，关联模块240结合对象识别模块220和实例标识模块230形成用于对象历史信息260中的新条目的识别数据。在这种情况下，对象识别模块220收集关于环境中的新颖动态对象的信息，如前面所讨论的。当在一个实施例中实现时，实例标识模块230电子地处理来自对象历史信息260、对象识别模块220(例如，识别数据)和其它电子数据的现有数据，作为对象历史信息260中的新条目的可能输入。因此，与实例标识模块230合作的关联模块240使用对象历史信息260和识别数据来将新关联确定为特征化新颖动态对象与预先存在的辅助对象之间的关联程度的电子输出。

此外，虽然将使用许多不同的来源和数据形式描述为关联模块240如何计算动态对象与辅助对象之间的关联的一部分，但是在各种实施例中，特定数据可以根据实现的不同方面而变化。在任何情况下，本示例旨在用于图示的目的，并且不应该被解释为所公开的数据元素和功能的限制形式。此外，应该认识到的是，在一个实施例中，所讨论的对象历史信息260和附加地讨论的电子数据可以被收集并用于训练关联模块240。

即，可以在关联模块240操作时收集和存储对象历史信息260、识别数据和其它数据。此后，在一个实施例中，关联系统126可以将收集到的信息传送到中央收集点以用于修正关联模块240。在另外的实施例中，关联系统126可以相对于由计算设备100观察到的环境内的动态对象的独立确认的关联，使用收集到的信息作为训练数据集来更新或以其它方式定制/改进关联模块240或实例标识模块230。因此，在一个实施例中，关联系统126使用对象历史信息260和输入102，并通过根据本地操作员的记录响应和/或由关联模块240计算出的记录的确认关联向关联模块240或实例标识模块230提供反馈来进一步训练关联模块240。以这种方式，关联系统126可以主动地学习哪些关联正确地反映实际关联，并且因此相应地调整模块。

然后，关联系统126可以通过关联模块240使用自动化设备基于一个或多个关联来执行与动态对象相关的任务。这里，关联模块可以包括用于控制处理器104执行与关联相关的任务的指令。可以通过使用自动化设备来执行任务。自动化设备是能够响应于一个或多个命令而提供自动化响应或动作的任何设备。自动化设备可以包括机器人设备、足够自动化的家用电器、计算设备、电话、PDA、自主车辆或其它。任务可以是可视的，诸如向显示器提供向辅助对象(例如，人)指示动态对象(例如，靴子)的地点的指令。在另一个实施例中，任务可以是物理的，诸如基于关联向自主机器人发送指令，以使自主机器人相对于辅助对象(例如，人)移动动态对象(例如，靴子)。在另一个实施例中，关联模块240可以执行与多个关联相关的任务。在一个示例中，靴子与人相关联，并且人与鞋架相关联。然后，关联模块240可以向自动化设备提供指令以将靴子移动到人的鞋架。本领域技术人员将理解可以使用上述系统进行的各种任务和关联。不用在本文明确叙述，可以预期其它的任务和关联。

在另一个实施例中，关联系统126可以通过关联模块240使用对象历史信息创建时间模式。时间模式可以用于响应未来事件。在一个示例中，人是动态对象并且作为静态对象的花瓶是辅助对象。使用上述模块的元素，对象识别模块220识别辅助对象和动态对象，实例标识模块230将辅助对象和动态对象与对象历史信息260中的相应信息相关联，并且关联模块240形成辅助对象和动态对象之间的关联。使用关于来自关联模块240的关联的信息，关联系统126然后可以预测未来事件。在一个示例中，系统检测到已在在线支票账户中通过银行借记购买了鲜花。然后，关联系统126检查相关信息的可能关联，连接上述辅助对象花瓶用于保持鲜花并且为了所述目的可以用水填充的信息。使用该连接的信息，关联系统126指示自动化设备(诸如机器人)用水填充辅助对象。

在本公开的一个实施例中，关联系统126用作环境的一部分，用于获得图像、分析动态对象、关联辅助对象以及对来自标识和/或验证处理的结果进行响应，如图3中可以看到的。因此，关联系统126可以包括至少一个图像捕获设备120或任何其它设备或单元，用于获得环境306、计算设备100和响应装备(诸如下面描述的自主机器人或工业处理装备)中的动态对象(诸如靴子304)和辅助对象(诸如人314)的表示。

如图3中所例示的，环境306包括环境资产，诸如外壳310和静态对象312。外壳310是环境的可能部件。在该示例中，使用房屋的起居室，外壳通过起居室的墙壁的边界来测量。静态对象312由环境306中的灯示例。环境中的其它静态对象包括沙发、桌子和该绘图中通常在环境中保持静止的所有其它对象。但是，如本文所描绘的，外壳310和静态对象312都不是环境306所必需的。至少一个图像捕获设备120用于获取环境306中的靴子304(由人314拥有的动态对象)和人314(其在该示例中是辅助对象)的一个或多个图像。图像然后被传送到计算设备100以供关联系统126和/或对象识别模块220分析和验证和/或标识。

关联系统126可以被配置为运行指令以执行下面在图4中描述的方法。然后可以将得到的来自该处理的识别数据、关联数据和历史数据添加到动态对象数据集。动态对象数据集可以被发送到数据库并被添加到对象历史信息、被发送到控制系统(例如，机器人控制系统)或被发送到显示设备。在对象识别的情况下，获得靴子304(即，动态对象)的至少一个图像，并且使用任何合适的通信技术308(有线或无线)将图像发送到计算设备100。然后可以分析所获取的图像，并将其与从参考测量获得的例如具有已知的2D-3D关系的数据进行比较。但是，可以在推断出的3D形状与存储的3D参考数据之间或者在2D表面模型与存储的2D参考表面模型之间进行比较。可以使结果通过例如显示设备130得到，其示例性图示在图1中示出。本领域技术人员应该认识到的是，图像捕获设备和/或显示/控制系统可以与计算设备合并形成整体单元，并且结果可以以任何合适的方式显示，并且不限于上述示例。除了将结果传送到显示设备130之外，结果可以被简单地存储在集成到计算设备100中的数据库中，或者用在用于控制例如机器人、入口系统、警报等的任何合适的控制处理中。

这里示出的是，人314进入环境306、坐下并脱掉靴子304。动态对象(例如，靴子304和人314)的运动然后可以激活关联系统126，关联系统126可以启动对象识别模块220。对象识别模块220通过由处理器104执行的指令使用图像捕获设备120收集环境数据。对象识别模块220使用上述环境数据可以识别靴子304和人314作为动态对象。如前所述，对象可以既是动态对象又是辅助对象，如本文所述。在确定关联发生之前，靴子304和人314最初可以被识别为动态对象(在这种情况下，将每个动态对象指派为另一个的辅助对象)。环境数据可以包括来自环境306的静态对象，包括外壳310的壁、灯312和环境306内的其它非移动对象。

然后，可以将包括对象数据(例如，识别出的动态对象，诸如靴子304和人314)的识别数据和环境数据转发到实例标识模块230。实例标识模块230然后可以通过由处理器104执行的指令从数据库中参考对象历史信息，诸如从数据库210中参考对象历史信息260。对象历史信息可以包含关于从人314购买靴子304的那一天起进入环境306的每个入口的信息。注意的是，根据当前识别数据，环境306中的人314和靴子304的历史，以及先前收集到的识别细节，实例标识模块230识别与人314对应的特定人以及与靴子304对应的特定靴子。

然后使用与对象历史信息260内的其相应文件相同的指示符对每一个进行索引。由于靴子304是该部分讨论的焦点，因此可以将靴子304分类为动态对象并且人314然后可以被分类为用于关联的辅助对象。但是，应该理解的是，在操作中，人314和靴子304都将是相对于彼此的动态对象和辅助对象。使用所参考的信息和检测数据，创建关于人314和靴子304的实例数据。实例数据是与由实例标识模块230收集或处理的各个对象相关的数据，其可以被关联到对象历史信息260中与特定对象实例相关。

识别数据和实例数据然后被转发到关联模块240。关联模块240包括指令，当该指令由一个或多个处理器执行时，使得一个或多个处理器形成动态对象与诸如辅助对象的环境资产之间的关联，其中关联创建关联数据，该关联数据提供关于动态对象的进一步信息。使用对象历史信息260、识别数据和实例数据，人314与靴子304相关联。实例数据提供关于靴子304和人314的特定指示符，其与对象历史信息一起使用以收集其中靴子304和人314进入环境的所有实例。实例可以包括在没有人314的情况下进入环境306的靴子304(例如，某人借用靴子304并且然后返还它们)。同样，实例可以包括在没有靴子的情况下进入环境306的人314(例如，人314穿着不同的一对靴子)。由关联模块形成的累积实例和那些实例之间的关联可以被称为关联数据。关联数据可以提供各种各样的信息，诸如时间数据、环境中常见姿态和地点、与动态对象的常见交互，以及与动态对象和环境资产的交互相关的其它信息。在该示例中，关联数据可以提供关于靴子304在环境306中的正确地点的信息。

在上面的示例中，作为动态对象的靴子可以与作为辅助对象的人相关联。与靴子相关联的附加信息可以包括人的体型、衣服或装束、靴子作为人的一件装束的连接，以及她进入环境的时间。可以包括关于人和靴子的交互的其它历史、地点或时间信息，诸如人的评论的内容和所传达的一般情绪(例如，放松)。

关联系统126还可以包括自动化设备，诸如自主机器人320。自主机器人320可以具有抓取对象、在房间内自由移动的能力或者机器人设备典型的其它能力。自主机器人320可以通过关联系统126从计算设备100接收讯息，以基于一个或多个关联来执行与动态对象相关的任务。在该示例中，讯息包括关于靴子304的正确地点的指示。在一个实施例中，自主机器人320被设计成收集靴子并将它们返还给其所有者。自主机器人320可以具有关于每个人存储其靴子的地方的历史信息。然后，计算设备100可以将动态对象数据集提供给自主机器人320，该数据集可以包括靴子304的姿态和与人314的关联。然后，自主机器人320可以使用该信息来收集靴子并在正确的存储地点定位它们。

在另一个实施例中，自主机器人320可以包括计算设备100、图像捕获设备120或其组合。在一个实施例中，计算设备100被合并到自主机器人320中。在该实施例中，自主机器人320从图像捕获设备120接收发送的数据，该数据被分析和处理以创建用于动态对象数据集的识别数据、关联数据和历史数据，如上所述。在一个示例中，计算设备100和图像捕获设备120被合并到自主机器人320中。在该实施例中，自主机器人320通过图像捕获设备120的集成版本接收数据，该数据被分析和处理以创建用于动态对象数据集的识别数据、关联数据和历史数据，如上所述。在另一个实施例中，自主机器人320由计算设备300引导。在该实施例中，自主机器人320仅基于从计算设备100接收到的远程指令而自主。这里，自主机器人320基于动态对象数据集从计算设备100接收发送的用于移动和动作的指令。不用明确叙述，可以预期自主机器人320、计算设备100和图像捕获设备120之间的其它和进一步的组合。

图4描绘了用于将动态对象与一个或多个辅助对象相关联的方法400。在进入环境后，动态对象被识别并与相关的辅助对象和特定于动态对象的历史数据相关联。以这种方式，可以收集进一步的数据并将其与动态对象相关联。方法400包括在402处使用至少一个图像捕获设备获得环境的一个或多个图像。在404处，可以在环境的一个或多个图像中识别至少一个动态对象和一个或多个环境资产。在406处，可以在环境的对象历史信息的数据库中标识至少一个动态对象。在408处，使用对象历史信息的数据库，然后可以标识至少一个动态对象的至少一个先前识别与至少一个辅助对象之间的一个或多个关联。在410处，然后可以使用自动化设备基于一个或多个关联执行与至少一个动态对象相关的任务。这里描述的关联可以创建关联数据，该关联数据提供关于动态对象的进一步信息。

方法400包括在402处使用至少一个图像捕获设备获得环境的一个或多个图像。图像捕获设备可以是相机、视频记录设备或可以用于收集一个或多个图像的其它设备。图像捕获设备可以是系统(诸如参考图1和图2描述的关联系统126)的一部分。可以在一段时间内收集一个或多个图像。在一个示例中，在一段时间内(诸如在系统或设备正在操作的时间段期间)以特定时间间隔收集一个或多个图像。另外，可以响应于启动事件(诸如运动检测器的激活)来收集图像。图像捕获设备可以一般地收集环境的图像或者专注于启动事件(例如，动态对象)。

方法400还可以包括根据库存信息减少所获得的图像。方法400可以使用来自环境的库存信息270的先前获取的库存，或者可以在监视期间使用对象识别模块220获取库存。环境被定义为相机的视野。视野包括静态对象、动态对象和外壳。视野包括可见度受限的静态和动态对象、对象，诸如被遮挡的对象、部分被遮挡的对象、合理预期的对象(例如，两个墙看起来是汇合的，因此即使角在视野之外也是合理预期的对象)和其它。在一个示例中，环境可以是房间，诸如起居室。该库存可以作为方法400的一部分被采集(例如，在实现方法400时收集关于环境的信息)，或者它可以在实现方法400之前被产生。库存包含关于环境中的静态对象和动态对象的先前实例的许多条信息。

在404处，可以在环境的一个或多个图像中识别至少一个动态对象和一个或多个环境资产。当动态对象进入环境时，使用创建关于动态对象的识别数据的对象识别来检测动态对象。对象识别可以由设备或系统执行，诸如由参考图1和图2描述的关联系统170的实例关联模块230执行。识别数据可以基本上类似于参考图2描述的识别数据。该信息(包括以上关于动态对象描述的信息)然后可以被添加到动态对象数据集。

在406处，可以在环境的对象历史信息的数据库中标识至少一个动态对象。对象历史信息可以基本上类似于来自参考图2-3描述的数据库210的对象历史信息260。对象历史信息可以是预先存在的，诸如，如果对象之前已经在环境中。可以适当地更新和/或修改对象历史信息以反映新的信息、校正后的信息、更新后的信息或其组合。在一个示例中，在环境中的新对象的情况下，可以创建对象历史信息以接收新的动态对象数据集。在另一个示例中，可以使用动态对象数据集以及关于动态对象本地或远程存储的容易获得的数据来创建或更新对象历史信息。

动态对象数据集可以包括识别数据、实例数据、关联数据或其组合。一般而言，动态对象数据集是在检测、标识和关联的特定实例期间直到此时进行的所有识别、分析和关联的累积。动态对象数据集可以存储在存储器(诸如存储器114)中。同样，动态对象数据集可以存储在计算设备(诸如参考图1描述的计算设备100)中。一旦以上关于参考图2的关联系统126描述的关联完成，就可以将动态对象数据集添加到对象历史信息260中。计算设备可以是网络连接的，使得一个或多个本地或远程计算设备可以接收动态对象数据集。

然后，可以使用对象历史信息针对已知动态对象监视识别数据，该监视创建实例数据。如果动态对象之前已在环境中，那么先前获得的关于动态对象的信息也将被关联。可以被存储在对象历史信息中的该历史数据可以包括先前进入到环境中的条目、与先前辅助对象的关联、在该环境或其它环境中的先前姿态，以及先前辅助对象与当前对象之间的连接。按照上面的示例，靴子将已与女人相关联。为了示例，这里我们假设，靴子先前两次已经在环境中。然后将靴子进入环境中的先前条目与靴子相关联，包括上面列出的所有数据点(时间信息、颜色、辅助关联等)。

值得注意的是，动态对象(例如，靴子)是该关联中的中心项目。因此，与辅助项目的所有先前关联对于靴子将是重要的。在上面的示例中，如果该女人(例如，第一女人)将他/她的靴子借给另一个人(例如，第二女人)，那么该关联将被记录在动态对象数据集中并且在进入到环境中后与靴子相关联。如上所述，多个动态对象可以一次进入环境。可以以与本文公开的方法和系统中描述的方式相同的方式来检测和处理环境中的所有动态对象。根据期望，可以顺序地、同时地或以其它时间方式分析动态对象。

在408处，使用对象历史信息的数据库，然后可以标识至少一个动态对象的至少一个先前识别与至少一个辅助对象之间的一个或多个关联。关于所有其它环境资产的数据(包括环境中的其它动态对象和静态对象)也在此期间被收集。使用该信息，来自对象历史信息的关于对至少一个动态对象和至少一个辅助对象的先前识别的信息可以被关联到使用该实例数据的动态对象。因此，为了本文描述的方法的目的，任何其它动态对象或静态对象都可以成为辅助对象。辅助对象和动态对象之间的关联可以包括动态对象的所有权、辅助对象和动态对象之间的连接的类型(例如，人正在穿着靴子，控制器和游戏控制台作为一个单元工作等)。另外，关联可以包括动态对象和辅助对象之间的时间关系(例如，靴子在19:49与人一起进入环境)和使用的情景(例如，这些靴子被用作套装的一部分)。同样，关联数据可以包括描述或阐明动态对象与辅助对象之间的关联的其它因素。

然后，在410处，可以使用自动化设备基于一个或多个关联来执行与至少一个动态对象相关的任务。自动化设备可以是能够使一个或多个功能自动化的任何设备，诸如具有一个或多个嵌入式系统的家用电器、自主或半自主机器人、自主车辆或其它。动态对象数据集、对象历史信息或其组合可以通过各种连接(有线或无线)从计算设备传送到自动化设备。示例性连接包括Wi-Fi(任何无线协议)、蓝牙和以太网电缆。动态对象数据集可以根据来自自主机器人的请求、通过来自计算设备的初始化上传或通过来自计算设备的不断反馈来发送。然后，自主机器人可以处理和/或利用动态对象数据集来执行特定任务(例如，将靴子从起始地点移动到其正确的所有者的存储地点)。在另一个实施例中，动态对象数据集在被转发到自动化设备之前被合并到对象历史信息中。

该方法还可以包括模糊个人可标识信息。可以收集信息，使得查看或接收该信息的某个人能够确定该信息所涉及的确切人。在一个实施例中，可以减少或混淆该信息，使得该信息不再是个人可标识的。例如，人与车牌已知的汽车相关联。在这种情况下，可以在关联数据中收集关联，并且然后可以将车牌转换为内部可识别的数字。

本文的关联可以提供关于动态对象的宝贵的本地信息。这样的信息包括谁拥有动态对象、它在哪里、剩余的使用寿命等。该信息可以由最终用户或由自动化设备(例如，自主机器人)共享和使用。另外，长时间收集到的该信息可以向家庭或公司提供有趣和有用的参数(例如，在购买时哪些产品被实际使用，关于动态对象的潜意识行为等)。

本文描述的实施例允许快速关联关于目标动态对象的数据。通过将动态对象与环境中的辅助对象相关联，可以采集当仅考虑动态对象时不可获得的关于动态对象的进一步信息。另外，采集对象历史信息增强了关联益处，因为关于所有对象的信息可以在一段时间内相关联。这种方法在监视系统或警报系统中可以是有用的，其中期望的目标是目标动态对象的短处理时间和正确识别，而不是关于所有可能的动态对象收集大量数据。

不用特别叙述，可以预期上述系统和方法的其它和另外的实施例，包括所述系统和方法的组合或从所述系统和方法删除。在另一个实施例中，对象历史信息包括关于至少一个动态对象和至少一个辅助对象之间的时间连接的信息。在另一个实施例中，一个或多个关联包括关于至少一个动态对象的时间数据、关于至少一个辅助对象的时间数据、以及关于至少一个动态对象与至少一个辅助对象之间的关联的连接数据中的至少一个。在另一个实施例中，关联模块还包括使用对象历史信息作为训练关联模块的一部分的指令。在另一个实施例中，至少一个辅助对象是另一个动态对象。在另一个实施例中，实例标识模块还包括使用对象历史信息来最小化关于至少一个动态对象的冗余数据收集的指令。在另一个实施例中，一个或多个环境资产还包括静态对象，并且其中对象历史信息还包括静态对象和至少一个动态对象之间的关联数据。在另一个实施例中，对象历史信息包括关于至少一个动态对象与至少一个辅助对象之间的位置连接的信息。

本文公开了详细的实施例。但是，应该理解的是，所公开的实施例仅用作示例。因此，本文公开的具体结构和功能细节不应该被解释为限制，而仅仅作为权利要求的基础，并且作为教导本领域技术人员以几乎任何适当详细的结构不同地采用本文的方面的代表性基础。另外，本文使用的术语和短语不旨在限制，而是提供可能的实现的可理解的描述。各种实施例在图1-4中示出，但是实施例不限于所图示的结构或应用。

各图中的流程图和框图图示了根据各种实施例的系统、方法和计算机程序产品的可能实施例的体系架构、功能和操作。在这方面，流程图或框图中的每个方框可以表示代码的模块、片段或部分，其包括用于实现指定的(一个或多个)逻辑功能的一个或多个可执行指令。还应该注意的是，在一些替代实施例中，方框中提到的功能可以不按图中所示的顺序发生。例如，连续示出的两个方框实际上可以基本上同时执行，或者这些方框有时可以以相反的顺序执行，这取决于所涉及的功能。

上述系统、部件和/或方法可以用硬件或硬件和软件的组合来实现，并且可以在一个处理系统中以集中式方式实现，或者以分布式方式实现，其中不同元件分布在若干互连的处理系统上。适用于执行本文所述方法的任何类型的处理系统或其它装置都是适合的。硬件和软件的典型组合可以是具有计算机可用程序代码的处理系统，当该计算机可用程序代码被加载和执行时控制处理系统，使得它执行本文所述的方法。系统、部件和/或方法也可以被嵌入在计算机可读存储装置中，诸如计算机程序产品或可由机器读取的其它数据程序存储设备，有形地实施可由机器执行的指令的程序，以执行本文描述的方法。这些元件也可以被嵌入在应用产品中，该应用产品包括使得能够实现本文所述方法的实施例的所有特征，并且当该应用产品被加载到处理系统中时，能够执行这些方法。

此外，本文描述的布置可以采取在一个或多个计算机可读介质中实施的计算机程序产品的形式，该一个或多个计算机可读介质具有实施或嵌入(诸如存储在其上)的计算机可读程序代码。可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。短语“计算机可读存储介质”意味着非瞬态存储介质。计算机可读存储介质可以是，例如但不限于，电子、磁、光、电磁、红外或半导体系统、装置或设备，或前述的任何合适的组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下：具有一条或多条电线的电连接、便携式计算机盘、硬盘驱动器(HDD)、固态驱动器(SSD)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、数字多样性盘(DVD)、光学存储设备、磁存储设备或前述的任何合适的组合。在本文档的上下文中，计算机可读存储介质可以是任何有形介质，其可以包含或存储程序以供指令执行系统、装置或设备使用或与其结合使用。

计算机可读介质上实施的程序代码可以使用任何适当的介质来发送，包括但不限于无线、有线、光纤、电缆、RF等，或前述任何合适的组合。用于执行本布置的各方面的操作的计算机程序代码可以用一种或多种编程语言的任何组合来编写，包括诸如Java^TM、Smalltalk、C++等的面向对象的编程语言和诸如“C”编程语言的常规过程式编程语言或类似的编程语言。程序代码可以完全在用户的计算机上执行、部分地在用户的计算机上执行、作为独立的软件包执行、部分地在用户的计算机上并且部分地在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。

如本文所使用的，术语“一”和“一个”被定义为一个或多于一个。如本文所使用的，术语“多个”被定义为两个或多于两个。如本文所使用的，术语“另一个”被定义为至少第二个或更多个。如本文所使用的，术语“包含”和/或“具有”被定义为包括(即，开放式语言)。如本文所使用的，短语“...和...中的至少一个”是指并包含相关联的所列项目中的一个或多个的任何一个和所有可能的组合。作为示例，短语“A、B和C中的至少一个”包括仅A、仅B、仅C或其任何组合(例如，AB、AC、BC或ABC)。

虽然前述内容针对所公开的设备、系统和方法的实施例，但是在不脱离其基本范围的情况下，可以设计所公开的设备、系统和方法的其它和另外的实施例。其范围由以下权利要求来确定。

Claims (20)

1.一种用于历史上相关对象的关联系统，包括：

一个或多个处理器；以及

存储器，可通信地耦合到所述一个或多个处理器并存储：

对象识别模块，包括当由所述一个或多个处理器执行时使得所述一个或多个处理器使用至少一个图像捕获设备获得环境的一个或多个图像，并在环境的所述一个或多个图像中识别至少一个动态对象和一个或多个环境资产，以及识别有关所述至少一个动态对象和至少一个辅助对象中的至少一个的姿态信息的指令，所述一个或多个环境资产包括所述至少一个辅助对象；

实例标识模块，包括当由所述一个或多个处理器执行时使得所述一个或多个处理器在环境的对象历史信息的数据库中标识所述至少一个动态对象的指令，所述对象历史信息包括所述至少一个动态对象的至少一个先前识别，所述对象历史信息包括所述至少一个动态对象和所述至少一个辅助对象中的至少一个在至少一个先前识别期间的姿态信息；以及

关联模块，包括当由所述一个或多个处理器执行时使得所述一个或多个处理器使用对象历史信息的数据库来标识所述至少一个动态对象的所述至少一个先前识别与所述至少一个辅助对象之间的一个或多个关联，以及基于所述一个或多个关联来使自动化设备执行与所述至少一个动态对象相关的任务的指令，所述一个或多个关联包括基于所述至少一个动态对象和所述至少一个辅助对象中的至少一个的当前姿态信息和先前姿态信息中的至少一个的所述至少一个动态对象的所有权或被所有权，所述自动化设备是以下中的一个：家用电器、自主机器人、半自主机器人、或自主车辆。

2.如权利要求1所述的关联系统，其中所述对象历史信息包括用于所述至少一个动态对象和所述至少一个辅助对象之间的时间连接的信息。

3.如权利要求1所述的关联系统，其中所述一个或多个关联包括关于所述至少一个动态对象的时间数据、关于所述至少一个辅助对象的时间数据，以及关于所述至少一个动态对象与所述至少一个辅助对象之间的关联的连接数据中的至少一个。

4.如权利要求1所述的关联系统，其中所述关联模块还包括使用对象历史信息作为训练关联模块的一部分的指令。

5.如权利要求1所述的关联系统，其中所述一个或多个环境资产还包括静态对象，并且其中所述对象历史信息还包括所述静态对象与所述至少一个动态对象之间的关联数据。

6.如权利要求1所述的关联系统，其中所述至少一个辅助对象是另一个动态对象。

7.如权利要求1所述的关联系统，其中所述实例标识模块还包括用于以下的指令：

使所述对象历史信息基于所述环境的所述一个或多个图像中的数据而更新。

8.如权利要求1所述的关联系统，其中所述对象历史信息包括用于所述至少一个动态对象与所述至少一个辅助对象之间的位置连接的信息。

9.一种用于历史上相关对象并且存储指令的非瞬态计算机可读介质，所述指令当由一个或多个处理器执行时使得所述一个或多个处理器：

使用至少一个图像捕获设备获得环境的一个或多个图像；

识别所述环境的所述一个或多个图像中的至少一个动态对象和一个或多个环境资产，所述一个或多个环境资产包括至少一个辅助对象；

识别有关所述至少一个动态对象和所述至少一个辅助对象中的至少一个的姿态信息；

在环境的对象历史信息的数据库中标识所述至少一个动态对象，所述对象历史信息包括所述至少一个动态对象的至少一个先前识别，所述对象历史信息包括所述至少一个动态对象和所述至少一个辅助对象中的至少一个在至少一个先前识别期间的姿态信息；

使用对象历史信息的数据库标识所述至少一个动态对象的所述至少一个先前识别与所述至少一个辅助对象之间的一个或多个关联，所述一个或多个关联包括基于所述至少一个动态对象和所述至少一个辅助对象中的至少一个的当前姿态信息和先前姿态信息中的至少一个的所述至少一个动态对象的所有权或被所有权；以及

使自动化设备基于所述一个或多个关联来执行与所述至少一个动态对象相关的任务，所述自动化设备是以下中的一个：家用电器、自主机器人、半自主机器人、或自主车辆。

10.如权利要求9所述的非瞬态计算机可读介质，其中所述对象历史信息包括用于所述至少一个动态对象与所述至少一个辅助对象之间的时间连接的信息。

11.如权利要求9所述的非瞬态计算机可读介质，其中所述对象历史信息包括用于所述至少一个动态对象与所述至少一个辅助对象之间的位置连接的信息。

12.如权利要求9所述的非瞬态计算机可读介质，其中所述一个或多个关联包括关于所述至少一个动态对象的时间数据、关于所述至少一个辅助对象的时间数据，以及关于所述至少一个动态对象与所述至少一个辅助对象之间的关联的连接数据中的至少一个。

13.如权利要求9所述的非瞬态计算机可读介质，其中所述一个或多个环境资产还包括静态对象，并且其中所述对象历史信息还包括所述静态对象与所述至少一个动态对象之间的关联数据。

14.如权利要求9所述的非瞬态计算机可读介质，还包括用于以下的指令：

使所述对象历史信息基于所述环境的所述一个或多个图像中的数据而更新。

15.一种用于历史上相关对象的方法，包括：

使用至少一个图像捕获设备获得环境的一个或多个图像；

识别所述环境的所述一个或多个图像中的至少一个动态对象和一个或多个环境资产，所述一个或多个环境资产包括至少一个辅助对象；

识别有关所述至少一个动态对象和所述至少一个辅助对象中的至少一个的姿态信息；

在环境的对象历史信息的数据库中标识所述至少一个动态对象，所述对象历史信息包括所述至少一个动态对象的至少一个先前识别，所述对象历史信息包括所述至少一个动态对象和所述至少一个辅助对象中的至少一个在至少一个先前识别期间的姿态信息；

使用对象历史信息的数据库标识所述至少一个动态对象的所述至少一个先前识别与所述至少一个辅助对象之间的一个或多个关联，所述一个或多个关联包括基于所述至少一个动态对象和所述至少一个辅助对象中的至少一个的当前姿态信息和先前姿态信息中的至少一个的所述至少一个动态对象的所有权或被所有权；以及

使自动化设备基于所述一个或多个关联来执行与所述至少一个动态对象相关的任务，所述自动化设备是以下中的一个：家用电器、自主机器人、半自主机器人、或自主车辆。

16.如权利要求15所述的方法，其中所述对象历史信息包括用于所述至少一个动态对象与所述至少一个辅助对象之间的时间连接的信息。

17.如权利要求15所述的方法，其中所述对象历史信息包括用于所述至少一个动态对象与所述至少一个辅助对象之间的位置连接的信息。

18.如权利要求15所述的方法，其中所述一个或多个关联包括关于所述至少一个动态对象的时间数据、关于所述至少一个辅助对象的时间数据，以及关于所述至少一个动态对象与所述至少一个辅助对象之间的关联的连接数据中的至少一个。

19.如权利要求15所述的方法，其中所述一个或多个环境资产还包括静态对象，并且其中所述对象历史信息还包括所述静态对象与所述至少一个动态对象之间的关联数据。

20.如权利要求15所述的方法，进一步包括用于以下的指令：

使所述对象历史信息基于所述环境的所述一个或多个图像中的数据而更新。