CN111264056A - 用于实验室工作流程的视觉系统 - Google Patents

Abstract

一种深度敏感系统，以用于监视和检测在区域的可视监视部分内的特定位置处的预定义条件。多个深度敏感相机相对于该区域定向，由此每个相机在该区域内具有与多个相机中的另一个的视场至少部分重叠的视场。所组合的视场涵盖了该区域的所有关注部分。提供了一种用于提供对在关注区域内的特定位置或一组位置处的预定义条件的视觉检测的通知的系统，作为是一种用于在关注区域内的一个或多个特定位置处生成人类活动的视觉表示的系统。

Description

用于实验室工作流程的视觉系统

相关申请的交叉引用

本专利申请要求于2017年8月23日提交的美国专利申请第62/549,088号的优先权，该美国专利申请的公开内容通过引用整体地合并于此。

技术领域

本文中的公开内容一般涉及深度敏感视觉系统的领域，以及这样的系统在检测关注区域内的深度特定活动和对其的响应方面的用途。

背景技术

在各种情况下，合期望的是使得能够自动化监视关注区域内的活动。为了实现该目标，迄今为止，图像数据的自动化分析一直依赖于静止或传统摄像机的输出。尽管此类系统的图像数据可以提供关注区域的一部分的覆盖范围，但是在没有深度感知能力的情况下，对关注的项目、人员或动作在该区域内的位置的确定至多只是粗略的近似。因此，用以监视关注区域的现有方法提供了较差的空间分辨率。

结果，由于无法得到高度的准确性、特定位置的检测，自动化区域监视受到阻碍。例如，在实验室环境的情境中，可能合期望的是自动地检测样品托盘何时退出仪器，从而指示所需分析的完成。如果在根据现有技术的光学系统的视场内有多个仪器，则图像处理系统可能能够基于方位角位置来在仪器之间进行区分。然而，如果沿着特定的视角放置多个仪器，则可能很难或不可能确定哪个仪器出产了样品托盘。

在另一个示例中，可能期望一种自动化系统，以通过光学监视环境中的对象或条件的出现来确保在工作环境中维持了安全的条件。根据现有技术，诸如液体溢出之类的危害可以是可检测的，但是由于不能够准确地确定溢出发生的距离而可能不是可具体定位的。因此，缺少特定位置信息可能会阻止这样的自动化系统得到可能的溢出源或溢出的性质。

某些工作环境可以被隔离成分立的部分，每个部分都具有进入所需的相应授权级别。传统的视觉系统并不提供以高度准确性自动检测工作环境内的员工所跟随的路径或员工位置所需的准确性。

自动化光学系统在关于给定工作空间管理某些工作规则方面可能具有实用性。例如，可能禁止工人在具有易碎仪器的工作空间内驾驶车辆，诸如叉车。或者，在另一个示例中，只有具有给定程度的认证的员工可以在工作空间内驾驶这样的车辆。传统的视觉系统没有提供足够的空间分辨率来确定是否发生了诸如未经授权员工越过特定工作空间边界之类的活动。

可能监视环境内的对象的状态是合期望的。在拥挤的工作空间（诸如生产车间）中，传统的视觉系统可能无法为自动化监视和装备控制提供足够的空间分辨率。由于拥挤或错误所致的无法停止正确的机器可能会造成高昂的代价，并且可能加剧现有的错误状况。

传统的自动化视觉系统还无法提供足够的视觉分辨率，无法准确监视和记录在工作环境内的一个或多个个人的移动，包括与以下各项有关的数据：具有空间的一般人流量、一个或多个个人所走的路径，或由所有个人或由精选的个人在空间中的停留时间的度量。这样的数据在优化装备的布局方面、在诊断或预测装备错误状态方面、在检测工作任务的不适当执行方面以及在评估一个或多个个人的工作绩效方面具有实用性。

因此，将合期望的是具有一种视觉系统，该视觉系统使得能够为各种自动化应用实现对工作区域的高空间分辨率的监视。

发明内容

为了克服现有技术无法针对关于关注区域（诸如实验室、生产车间、办公室空间或其他区域）所收集的视频数据准确地提供空间情景，当前公开的发明提供了一种深度敏感系统，以用于监视、检测和识别在该区域的视觉监视部分内的特定位置处的预定义条件。多个深度敏感相机相对于该区域定向，其中每个相机在该区域内具有与多个相机中的另一个的视场至少部分重叠的视场。所组合的视场涵盖了该区域所有关注部分。

根据本公开的第一方面，提供了一种用于提供对在关注区域内的特定位置或一组位置处的预定义条件的视觉检测的通知的系统。该系统包括多个深度敏感摄像机和与每一个摄像机通信的视频接收器，该视频接收器用于从每个相机接收深度特定的视频数据并且用于将元数据与该视频数据相关联。提供了预定义检测规则的数据库，每个规则定义了检测相应的预定义条件所需的视频数据参数。提供了一种视频处理器，以用于结合预定义检测规则来分析深度特定的视频数据和元数据，以便选择性地检测在关注区域内的特定位置或一组位置处的至少一个预定义条件的发生。通知单元对视频数据分析做出响应，并且选择性地提供在关注区域内的特定位置处是否已检测到预定义条件的指示。

这样的系统使得能够在关注区域内实现对一个或多个条件的高度准确的空间检测，由此使得能够取决于检测到的条件的性质来实现各种响应模态。例如，该条件可以是工作空间内的烟、水和/或火的出现。通过使用高准确性的空间位置，可以根据资产、装备或燃料源相对于检测到的条件的已知分布来调整响应的紧迫性。在另一个示例中，该条件可以是对象的出现和标识，诸如实验室分析仪在特定位置输出的样品托盘。此事件可能是对样品进行进一步处理的判定（predicate），或者可能使得其他样品能够随后被同一分析仪处理。通过空间地定位、检测和分析完成的样品，使得能够实现更高的实验室效率。在没有深度敏感摄像机及其提供的深度特定的输出的情况下，将无法使得能够实现前述功能。

根据本公开的第二方面，提供了一种用于生成在关注区域内的一个或多个特定位置处的人类活动的视觉表示的系统。该系统包括多个深度敏感摄像机，每个在关注区域内具有各自的视场，每个视场与至少一个其他深度敏感摄像机的视场至少部分重叠。视频接收器与每一个深度敏感摄像机通信，以用于从每个摄像机选择性地接收深度特定的视频数据，并且用于将元数据与该视频数据相关联。提供了预定义检测规则的数据库，每个规则定义了检测随时间的推移的在关注区域内的至少一个人的存在和位置所需的视频数据参数。还提供了与视频接收器和预定义检测规则的数据库通信的视频处理器，以用于分析深度特定的视频数据，以便选择性地检测随时间的推移的在关注区域内的至少一个人的存在和位置，并且用于生成该存在和位置数据的记录，作为在该关注区域内随时间的推移的人类活动记录。与视频处理器通信的通知单元选择性地生成在关注区域内随时间的推移的人类活动记录的图形表示。

前述系统使得能够记录在工作空间内的人类活动的空间上准确的记录，从而带来各种益处和效率。可以手动尝试在操作员内对多个人进行手动跟踪，但这不可避免地是不准确的，特别是在同时跟踪多个人的情况下。当前的自动跟踪方法苦于无法以高度准确性对人们进行空间定位。在缺少当前公开的系统所能够实现的精度的情况下，相关联的效率是无法达到的。利用所公开的用于检测人类活动的空间敏感系统，能够实现对人类活动的自动化的准确记录，这可以导致更有效地分配装备或资产、改进任务分配或检测不适当的工作流程或装备不足。

附图说明

下面参照附图详细描述所公开技术的说明性实施例，它们通过引用并入本文中，并且其中：

图1是根据本发明的与工作空间结合放置的深度敏感视频系统的平面图；

图2是图1的深度敏感视频系统的实施例的框图；

图3是工作空间的平面图，该工作空间覆盖有由图1的深度敏感视频系统生成的在工作空间内的员工移动的意大利面条图；

图4是图1的工作空间的平面图，其覆盖有由图1的深度敏感视频系统生成的在工作空间内的员工停留时间的热图；以及

图5是可以体现图1的深度敏感视频系统的一个或多个组件的计算设备的一个示例性实施例的示意图。

具体实施方式

本文中公开了一种深度敏感视频系统，以用于监视相应工作空间的状态和在相应工作空间内的活动。各种各样的工作空间可以受益于使用所公开的视频系统，包括但不限于实验室环境、生产车间、办公室和医疗环境。

该视频系统基于多个深度敏感视频设备（诸如Microsoft KINECT运动感测输入设备）的使用。该多个设备围绕工作空间放置，以提供要监视的指定区域的重叠视场覆盖范围。多个视频设备向视频处理器提供输入，该视频处理器能够将多个输入集成到工作空间的综合视频记录中，其中具体的动作、事件和人们可以在具有高度特异性的情况下定位在工作空间中。

图1提供了其中集成有深度敏感视频系统10的工作空间22的示例。图2提供了相同系统元素的示意性表示。在图示的实施例中，安装了多个深度敏感摄像机12a、12b、12c、12d，每个摄像机处于工作空间的相应角落。摄像机在本文中被替换地称为视频设备。每个摄像机具有各自的视场14a、14b、14c、14d。每个视场的一部分与至少一个其他深度敏感摄像机的视场重叠。理想地，摄像机相对于工作空间定向，以使得多个摄像机的总视场涵盖工作空间的所有关注部分。

在该图示的实施例中，作为实物资产被放置在工作空间22中的是两个实验室分析仪器16a、16b和两个工作站18a、18b。如果期望监视关于这些仪器和工作站的活动，则深度敏感摄像机12a、12b、12c、12d中至少一个的视场14a、14b、14c、14d必须包围每个这样的仪器和工作站。此外，如果期望监视工作空间的入口和出口，则至少一个这样的摄像机的视场也必须包围工作空间的门20a、20b。

深度敏感摄像机12a、12b、12c、12d与视频接收器32通信，并且从各个视场向其提供深度特定的视频数据。该通信可以是有线的（即，经由铜导体或光纤）或者是无线的（诸如根据蓝牙通信标准或Wi-Fi或Li-Fi技术）。每个摄像机可以是电池供电的，或者优选地被硬连线到电力来源。

视频接收器32可配置成从视频摄像机12a、12b、12c、12d选择性地接收深度特定的视频数据，并且将该视频数据与元数据（诸如，获取视频数据的时间）进行集成。时间数据可以基于视频接收器内部的时钟，或者可以从外部源接收时间数据。在替换的实施例中，通过视频处理器与视频数据集成的元数据可以包括各个视频设备的位置。在这种情况下，位置可以是绝对位置（诸如是根据GPS坐标定义的位置），或者可以是相对位置（诸如相对于相应工作空间的一个或多个部分或某个其他预定义（一个或多个）地标所定义的位置。元数据还可以包括各个摄像机的唯一标识符，诸如型号和/或序列号。

另外，元数据可以包括表征每个相应摄像机的视场的数据。例如，元数据可以包括相对或绝对的方向，其中各个视场的中心指向方位角和/或仰角。相对指向可以关于相应的工作空间或其中的关注区域。可以关于与相应工作空间的地面重合的水平面来定义高度。

元数据还可以包括以所测量的方位角和/或仰角（例如，以关于各个视场的中心到视场边缘的数度）的视场的角范围的定义。

视频接收器32选择性地提供从深度敏感摄像机12a、12b、12c、12d接收到的全部或部分视频数据，或者可以根据多个摄像机中的每一个的深度特定的视频数据来生成关注区域22的至少一部分的合成的深度特定的视频数据。该合成的视频数据可以诸如逐个像素地集成两个或更多个摄像机的视频数据。

图1和图2的视频系统10进一步包括：预定义检测规则的数据库34。存储在该数据库中的每个检测规则定义了来自一个或多个深度敏感摄像机的视频数据中需要满足的一个或多个视频数据参数，该视频数据针对要检测和可选地要识别的相应动作、事件或人员，如将在下面更详细描述的。

与视频接收器32和预定义检测规则的数据库34通信的视频处理器36从多个深度敏感摄像机12a、12b、12c、12d接收深度特定的视频数据以及从视频接收器接收相关联的元数据。还从预定义检测规则的数据库选择性地接收检测规则，这取决于要由视频处理器实行的对视频数据进行的期望分析。然后，视频处理器根据来自预定义检测规则的数据库中的预定义检测规则来分析深度特定的视频数据和相关联的元数据，以用于在工作空间22内的特定位置处选择性地检测与相应检测规则相关联的至少一个预定义条件的发生。在这种情况下，条件的发生要被宽泛地解读，并且意图涵盖但不限于在相应工作空间内的动作的发生、对象的出现、对象的身份以及人员的进入、移动和/或退出。下面提供了具体示例。

视频处理器接收到的视频数据可以是来自视频摄像机12a、12b、12c、12d的原始深度特定的视频数据中的一些或全部数据，或者可以是视频接收器32所生成的它们的合成。替换地，视频处理器36可以在有或没有相关联的元数据的情况下从摄像机接收一些或全部原始视频数据，并且可以生成合成的视频数据本身，其中，与多个摄像机数据流中的每个像素相关联的数据被存储为统一数据结构，其具有相对于工作空间本身的、采用绝对术语或相对术语的、对在工作空间22内的各个数据的位置的标识。

如果通过视频接收器或者视频处理器36将来自视频接收器32的视频数据进行合成，则视频处理器会在预定义检测规则的基础上对合成的视频数据进行分析，以用于选择性地检测在工作空间22内的特定位置处的预定义条件的发生。

通知单元38与图像处理器36通信。视频处理器在预定义检测规则的基础上对视频数据进行分析的结果可能需要根据这些规则向用户提供以下指示：已在工作空间22内的特定位置处检测到预定义条件。例如，该预定义条件可以是被监视的某个动作或活动已经在工作空间内的一个或多个特定位置处发生，预定义事件已经在工作空间内的一个或多个特定位置处发生，已经在工作空间内的一个或多个特定位置处识别出预定义对象，在已经工作空间内的一个或多个特定位置处检测到任何人员或特定人员，或者在工作空间内的一个或多个特定位置处的物理对象具有特定状态或一组预定义状态内的状态。来自预定义检测规则的数据库34的预定义规则定义了视频处理器要对视频数据实行的视频分析，以及将分析结果针对它们进行比较的一组预期的、允许的或条件定义的参数，以便评估相应的预定义条件。

在工作空间22内的特定位置处的预定义对象的出现或标识可以包括例如在特定位置处的对象的递送的标识，在一个或多个特定位置处的烟、火和水中的一种或多种的出现，以及在一个或多个特定位置处的视觉警告或警报指示的出现。这些仅意图作为非限制性示例。

在特定位置处的人员的出现可以包括：在工作空间22内的一个或多个特定位置处检测到特定人员、在工作空间内的一个或多个位置处检测到未经授权的人员或特权不足的人员，或在工作空间内的一个或多个特定位置处检测到身份不明的人员。

由视频处理器36对特定人员的进入的确定可以通过相对于与特定位置相关联的深度特定的视频数据应用生物计量分析技术来实现，该视频数据是一个深度敏感摄像机12a、12b、12c、12d的视频数据，或者是来自视频接收器32或视频处理器36本身的多个摄像机的合成的视频数据。可以由预定义的检测规则的数据库34提供识别特定个体的参数。

对未授权人员或特权不足以处于工作场所22中一个或多个位置处的人员的进入的检测可以包括：从深度特定的视频数据中检测通过视频处理器36不能够成功地应用生物计量分析技术来有意掩盖其身份的人员。另外，对未授权人员或特权不足的人员的检测可以包括检测未成年人员、未能呈现证明文件或不具有所需证明文件的人员，或者其进入将导致超过工作空间或相应位置的最大容量的人员。可以由预定义检测规则的数据库34提供能够检测到此类人员的参数。

对在工作空间22内的特定位置处的动作或活动的检测可以包括：由视频处理器36检测在特定位置处没有所需服装或装备的人员的进入或出现，在特定位置处做出指示需要帮助或协助的特定手势的人员，在特定位置处以未经批准的方式实行的活动，以及特定位置处的人员之间的不适当的身体互动。可以由预定义检测规则的数据库34提供能够检测到此类动作或活动的参数。

特定位置处的物理对象的特定状态可以包括：在特定位置处的物理危害的存在，在特定位置处的不适当的设备配置的存在，在特定位置处的安全违规的存在，以及特定位置处的装备需要维护的物理指示的存在。可以由预定义检测规则的数据库34提供能够检测到这些状态的参数。

通知单元38所提供的用户指示可以是以下各项中的一个或多个：对与工作场所自动化软件平台对接的操作员出现的警报指示、即时消息、可听音或信号、可见信号、振动信号、电话、火警、短信或电子邮件消息。因此，通知单元可以具有适当的接口，诸如互联网接口、无线接口、电话接口或用于根据需要实现通知功能的其他接口。虽然被图示为分立的单元或设备，但是通知单元的功能可以集成到由视频处理器36执行的功能中。

图1和图2的视频系统10可以进一步包括：与视频接收器32通信的电子存储单元40，以用于经由视频接收器选择性地存储来自多个深度敏感摄像机12a、12b、12c、12d的深度特定的视频数据以及相关联的元数据。存储单元可以实现视频数据的长期存储，诸如用于未来的审计目的。存储单元还可以便于视频接收器与视频处理器36之间的数据传递。在视频数据的分析期间和之后，相同的存储单元还可以作为视频处理器的数据存储空间而是有用的。

在图1图示的实施例中，工作空间22是实验室。然而，深度敏感视频系统10可以关于各种工作空间来安装，该工作空间包括但不限于生产车间、办公室空间和公共空间。另外，尽管在本文中引用了对在特定位置处的至少一个条件的检测，但是理解的是，短语“位置”也可以是对相邻位置的集合、或者甚至是对一组位移的、不连续但相关的位置的引用。

图1和图2的深度敏感视频系统10还在以下系统的场景中找到了应用，该系统用于在诸如工作场所或公共空间之类的关注区域内的一个或多个特定位置处生成人类活动的视觉表示。图3提供了覆盖有意大利面条图的工作空间122的平面图，该意大利面条图反映了多个人在该工作空间内的移动。尽管未在图3中图示，但是诸如在图1和图2中图示的多个深度敏感摄像机12a、12b、12c、12d将相对于图3中的工作空间进行定位，该多个摄像机中的每一个具有各自的视场，该视场与多个摄像机中的至少另一个的视场至少部分重叠。只要有两个或更多个相机，以及只要各个视场至少部分重叠从而提供关注区域的覆盖范围，就可以在当前公开的实施例中采用任何数量的相机。

在该系统中还用于生成视觉表示的是视频接收器32，如上面关于图1和图2所述。具体地，视频接收器与多个深度敏感摄像机12a、12b、12c、12d中的每一个通信，并且从每一个摄像机接收深度特定的视频数据。如先前所述，视频接收器将元数据与视频数据相关联。

先前讨论的预定义检测规则的数据库34包括：对于视频系统10的此应用，用于定义检测随时间的推移的至少一个人的存在和位置所需的视频数据参数的规则。这些规则定义了视频数据的特征，包括图像大小、形状和颜色，这对于与视频数据的各个量子（quantum）相关联的、在一个或多个特定位置处的人的检测是必要的。在某些实施例中，规则可以进一步使得能够实现特定人类之间的区分，诸如通过对视频数据应用生物计量分析；或者分立的人类类别之间的区分，诸如通过光学检测基于独特类别的标记（诸如标识或统一的颜色）。

在一个实施例中，可以采用电子数据存储单元40，以在由视频处理器36进行处理之前，使得能够记录经由视频接收器32的、来自深度敏感摄像机12a、12b、12c、12d中的每一个的深度特定的视频数据。在视频数据的分析期间和之后，相同的存储单元还可以作为视频处理器的数据存储空间而是有用的。

视频处理器36与视频接收器32和预定义检测规则的数据库34通信，以用于分析由深度敏感摄像机12a、12b、12c、12d提供的深度特定的视频数据，以选择性地检测在工作空间或关注区域22内的随时间的推移的至少一个人的存在、身份和位置。换言之，视频处理器能够分析来自视频接收器的位置特定的视频数据，应用来自规则数据库的检测规则，并且确定是否满足在工作空间22内或在邻近工作空间的组内的每个位置的检测规则，因为检测规则可能需要在视频数据中的多个邻近或相邻位置当中进行肯定检测，以便视频处理器证实存在人类。

根据以上讨论的替换规则实施例，视频处理器36还可以在使用预定义检测规则34的数据库内定义的识别参数对深度特定的视频数据的生物计量分析的基础上，选择性地检测工作空间22内的一个或多个唯一个体的存在。替换地，视频处理器可以选择性地检测在工作空间内的某个类别的一个或多个人中的每个人的存在。

除了在工作空间22内的各个特定位置处检测人类之外，视频处理器36还能够随着每个人进入深度敏感摄像机12a、12b、12c、12d的集体视场、穿过工作空间和/或退出工作空间而随时间的推移来累积对每个人的检测。对于所有人类和/或对于每个人类，随时间的推移累积的检测使得能够实现若干个有用的输出。就上下文而言，该输出可以包括或可以关于相应工作空间的图形渲染，该工作空间包括关注的或特定相关的仪器16a、16b或工作空间18a、18b。

首先，在给定时间段内，视频处理器36可以定义相对于时间的在工作空间22、122内的每个人的历史或轨迹。然后，通知单元38可以针对每个个体使用这样的轨迹，以呈现在工作空间内的每个人所采取的（一条或多条）路径或每个人的位置的图形表示。图3中所示的这种图形表示被称为意大利面条图。在给定时间段内穿过工作空间122的每个人然后将具有由通知单元在视频处理器36的输出的基础上生成的对应的意大利面条图轨迹150a、150b、150c。每条轨迹可以具有相应的颜色，以易于在被跟踪的个体之间进行区分。

在预定义检测规则的数据库34提供用于区分开各个人类的规则的情况下，视频处理器36的输出将使得通知单元38能够为每个这样的人类提供意大利面条图路径150a、150b、150c。注意的是，区分开人类可以使得视频处理器能够识别唯一的个体，或者可以简单地使得视频处理器能够区分开一般个体，这取决于相应系统的需求和对预定义检测规则的数据库34的编程。

诸如图3中所示的那样的意大利面条图是精益生产/精益企业和六西格玛（实验室、制造环境和其他工作空间中利用的通用效率框架）的重要部分。不是手动创建精简图、冗长乏味且繁琐的过程，所公开的系统10能够跟踪个人并且自动且准确地生成意大利面条图。如果之后对所得意大利面条图的分析显示，被分配某种任务或某类任务的特定个人花费了大量时间在装备件116a、116b、116c之间穿过，则可以确定在相应工作空间内的装备布局效率低下，从而导致对经更新的、优化的布局的需要。

意大利面条图的另一种用途可以是用于检测给定的装备件116a、116b、116c是否正在接受足够或所需的注意量。如果结果图显示没有人类轨迹经过给定的装备件，并且该装备件的标准操作协议指示需要定期进行操作员干预，则可能需要附加的训练。

提供意大利面条图的通知单元或其他用户界面可以使得操作员能够选择或调整各个显示器的时间段。

图1的深度敏感视频系统可以与图3中描绘的工作空间122结合地安装，并且可以被用来提供工作空间内的每个个体的轨迹。替换地，可以仅在工作空间的某些部分内将个人分配给任务。在这种情况下，可以在预定义检测规则的数据库34的基础上，对视频处理器36进行编程，以在空间上限制对在工作空间22内的每个个人的检测。因此，只有在其轨迹在图3中被标明为150a的个人穿过门口120a和120b时才记录该个人。在第二门口120b的另一侧上，记录了其路径被标明为150c的个人。同样地，只有在其轨迹被标明为150b的个人穿过门口120c时，才记录该个人。这些位置特定的限制可能仅用于提供性能管理或装备布局审核所需信息的目的，并且可能减少意大利面条图所需的数据存储的量。

在关于图4图示的另一实施例中，视频处理器36的输出可以使得通知单元38能够生成图1的工作空间22的热图。热图是数据的二维图形表示，其中数值用颜色表示。响应于预定义检测规则的数据库34内所定义的规则进行操作的视频处理器36可以在检测到的人类活动的基础上生成工作空间的热图。

在一个实施例中，所有人类活动被一起考虑。因此，图4的热图可以提供所有人在工作空间22内的位置和持续多长时间的图形表示。从图4显而易见的是，人类主要接近第一仪器16a和第二工作空间18b，其中邻近第二仪器16b花费较少时间，并且几乎没有在第一工作空间18a处花费时间。替换地，视频处理器36可以在来自视频接收器32的深度特定的视频数据（其由深度敏感摄像机12a、12b、12c、12d产生）的基础上并且在预定义检测规则的数据库34的基础上针对每个可区分的人生成相应的热图。可以将分立的颜色或调色板分配给多个人中的每个人，以便更容易地区分开每个个人的活动。在任一实施例中，相应的热图将是关于给定的时间方面的。

提供热图的通知单元或其他用户界面可以使得操作员能够选择或调整各个显示器的时间段。

热图信息可以被用来改善工作空间的工作流程和效率。此外，它还可以被用来识别工作空间内的问题，诸如为什么技术人员或操作员会花那么多时间在一个仪器前面而不是另一个仪器前面。同样地，生成的热图可能会显示仪器、工作空间或其他资产未根据预先设立的要求进行维护。

虽然已经提到了在关注区域内对人的跟踪，但是意图是所公开的系统对于动物或诸如车辆之类的对象具有相同的实用性。

视频接收器32、视频处理器36和/或通知单元38可以被实现为分立的模块，如图1和图2中描绘的。然而，如本领域技术人员公知的，可以在一个或两个计算设备内以组合方式实现每个设备的分立功能。这样的计算设备202的示例在图5中描绘并且在下面进行描述。

计算设备202具有处理器204、存储器206和经由一个或多个通信总线212适当地互连的I/O电路208。计算设备202连接到电源（其可以包括内部电池）（未示出），并且可以进一步连接到备用电源设备，以防止在停电时发生故障。系统存储器206可以包括只读存储器（ROM）、随机存取存储器（RAM）和存储存储器。存储存储器可以包括：用于从硬盘读取和写入硬盘的硬盘驱动器；用于从可移动磁盘读取或写入可移动磁盘的磁盘驱动器；以及用于从可移动光盘读取或写入可移动光盘的光盘驱动器，诸如CD、DVD或其他光学介质。存储存储器及其相关联的计算机可读介质为计算设备202提供计算机可读指令、数据结构、程序模块和其他数据的非易失性存储。在示例性计算系统中也可以使用可以存储可由计算机访问的数据的其他类型的计算机可读介质，诸如闪存卡、DVD-ROM、DVD-RAM等等。

存储器206存储用于控制计算设备202的操作的操作系统216。在本公开的一个实施例中，操作系统216提供图形操作环境，诸如微软公司的WINDOWS、LINUX或苹果的SNOWLEOPARD图形操作系统，其中激活的应用、程序或模块被表示为一个或多个图形应用窗口，其具有用户可见的界面，诸如图形用户界面（GUI）。存储器206还存储多个程序模块218。如果计算设备仅实现视频接收器32的功能，则设备特定模块218包括用于实行上述视频接收器功能的视频接收器模块。同样地，如果计算设备正在实现视频处理器36或通知单元38，则设备特定模块218分别包括视频处理器模块和通知单元模块。如所指出的，只要提供了（一个或多个）适当的设备专用模块，则同一计算设备可以实现多于一个模块。

另外，存储器206还可以包含用于预定义检测规则的数据库34的设备专用模块存储装置和程序模块作为设备。同样地，存储器可以具有附加的存储容量以实现电子数据存储单元40。

如图5所示，计算设备202还包括网络接口234，该网络接口234包括用于通过有线和/或无线网络（诸如局域网（LAN）或广域网（WAN），诸如互联网）与其他设备（例如，控制面板、手机、PDA、膝上型计算机、网络终端、通用计算设备、台式计算机等）通信的一个或多个组件。如本领域技术人员和其他技术人员已知的，图5中图示的计算设备可以被配置成通过一个或多个网络交换文件、命令和其他类型的数据。然而，由于诸如TCP/IP之类的用于网络通信的协议对于本领域技术人员是众所周知的，因此在此将不描述那些协议。附加地或替换地，计算设备可以配备有调制解调器（未示出），该调制解调器用于通过点对点协议（“PPP”）连接或SLIP连接来连接到互联网，如本领域技术人员已知的那样。为了访问互联网，存储器206可以进一步包括web浏览器模块238。

计算设备202还可以包括呈图形显示器242形式的输出设备和用于将数据输入到计算设备202（诸如更改设置、手动控制组件、响应于来自程序模块218的执行请求）中的一个或多个输入设备240，诸如键盘、触摸板、传声器、定点设备等等。显示器242和用户输入设备240通过诸如I/O电路的串行端口、并行端口或通用串行总线（USB）之类的适当接口适当地连接。如将通常理解的，其他外围设备也可以以类似的方式连接到处理器。

在一个实施例中，显示器242可以包括屏幕上的触敏层，该触敏层被配置成接收来自用户的输入。在典型的实施例中，触敏层被配置成识别施加到该层的表面的用户的触摸。例如，触敏层识别出触摸的方位、触摸的压力、触摸的大致方向等等。在一个实施例中，一个或多个输入设备的功能可以由触摸屏显示器呈现的图标来执行，并且由操作员的手指、触笔等激活。在另一个实施例中，操作员可以经由手指、触笔等与显示在显示器242上的虚拟键盘或小键盘进行交互。

计算设备202的输入/输出电路208或其他设备级电路与深度敏感视觉系统10的其他组件电联通地连接。特别地，诸如深度敏感摄像机12a、12b、12c、12d之类的数据生成设备经由本领域已知的一种或多种协议与计算设备202通信。输入/输出电路208还与各种组件的任何可控开关、继电器等电连通，该组件可以由当前公开的深度敏感视频系统有用地控制。在使用时，输入/输出电路208或其他设备级电路能够在处理器204与这些各种组件之间接收、处理和传输适当的信号。

程序模块218在由计算设备202执行时可以向操作者呈现图形用户界面，其可以在web浏览器或其他图形环境中打开。程序模块218能够以图形方式向操作员显示信息并向操作员请求数据和/或从操作员接受数据，分析接收到的数据，并生成警报、通知、警告和/或从深度敏感视频系统10得到的数据的图形表示，后者特别是在计算设备202正在实现通知单元38的功能时。程序模块218可以进一步访问存储的数据230，诸如当计算设备还实现电子数据存储单元40时。

在不脱离所公开技术的精神和范围的情况下，所描绘的各种组件以及未示出的组件的许多不同的布置都是可能的。已经出于说明性而非限制性的目的描述了所公开技术的实施例。不背离其范围的替换实施例对于本领域技术人员将变得显而易见。技术人员可以在不脱离所公开技术的范围的情况下，开发出实现前述改进的替换手段。

将理解的是，某些特征和子组合是有实用性的，并且可以在不参考其他特征和子组合的情况下被采用，并且被认为在权利要求的范围内。并非各种附图中列出的所有步骤都必须按照所述的特定次序执行。

Claims (29)

1.一种用于提供关于对在关注区域内的特定位置处的预定义条件的视觉检测的通知的系统，包括：

多个深度敏感视频设备，每个在所述关注区域内具有各自的视场，每个视场具有与至少一个相邻视场重叠的部分；

与所述多个视频设备中的每一个通信的视频接收器，以用于从每个视频设备选择性地接收深度特定的视频数据，并且用于将元数据与所述视频数据相关联，所述元数据包括获取相应数据的时间；

预定义检测规则的数据库，每个检测规则定义了检测相应条件所需的视频数据参数；

与所述视频接收器和所述预定义检测规则的数据库通信的视频处理器，其被配置成用于根据所述预定义检测规则分析所述深度特定的视频数据和相关联的元数据，以选择性地检测在所述关注区域内的特定位置处至少一个预定义条件的发生；以及

通知单元，其与所述视频处理器通信并且响应于视频数据分析，以用于提供在所述关注区域内的特定位置处已检测到预定义条件的指示。

2.根据权利要求1所述的系统，其中：

所述视频接收器进一步用于根据所述多个视频设备中的每一个视频设备的深度特定的视频数据生成至少一部分关注区域的合成的深度特定的视频数据；以及

所述视频处理器被进一步配置成用于根据所述预定义检测规则来分析所述合成的深度特定的视频数据，以选择性地检测在所述关注区域内的特定位置处预定义条件的发生。

3.根据权利要求1所述的系统，进一步包括：电子数据存储单元，所述电子数据存储单元与所述视频接收器通信，以用于经由所述视频接收器选择性地存储来自所述多个视频设备的深度特定的视频数据和相关联的元数据。

4.根据权利要求3所述的系统，其中，所述电子数据存储单元进一步与所述视频处理器通信，以用于根据所述预定义检测规则选择性地提供选择性地存储的深度特定的视频数据和相关联的元数据以供分析。

5.根据权利要求1所述的系统，其中，所述元数据进一步包括以下各项中的至少一个：各个视频设备的位置；各个视频设备的唯一标识符；各个视频设备的视场中心的轴向；各个视频设备的视场范围的表征；以及各个视频设备的视场中心的高度。

6.根据权利要求5所述的系统，其中，所述各个视频设备的位置是相对于所述关注区域定义的。

7.根据权利要求5所述的系统，其中，所述各个视频设备的视场中心的轴向是相对于所述关注区域定义的。

8.根据权利要求5所述的系统，其中，所述各个视频设备的视场范围的表征是从所述各个视频设备的各个视场中心到所述各个视频设备的视场边缘的度数。

9.根据权利要求5所述的系统，其中，所述各个视频设备的视场中心的高度是相对于所述关注区域的地面的高度。

10.根据权利要求1所述的系统，其中，所述视频处理器被配置成用于分析所述深度特定的视频数据和相关联的元数据，以在预定义检测规则的数据库的基础上选择性地检测在所述关注区域内的特定位置处至少一个预定义条件的发生，所述至少一个预定义条件选自以下各项所组成的组：在所述关注区域内的特定位置处的对象的出现；在所述关注区域内的特定位置处的人员进入；在所述关注区域内的特定位置处的活动的发生；以及在所述关注区域内的特定位置处的物理对象的状态。

11.根据权利要求10所述的系统，其中，所述在所述关注区域内的特定位置处的对象的出现选自以下各项所组成的组：在所述关注区域内的特定位置处的对象的递送；在所述关注区域内的特定位置处的烟、火和水中的一种或多种的出现；以及在所述关注区域内的特定位置处的视觉警告指示符的出现。

12.根据权利要求10所述的系统，其中，所述在所述关注区域内的特定位置处的人员进入选自以下各项所组成的组：特定人员的进入；未经授权人员的进入；以及身份不明人员的进入。

13.根据权利要求12所述的系统，其中，由对所述深度特定的视频数据实行生物计量分析的视频处理器来确定特定人员的进入。

14.根据权利要求12所述的系统，其中，所述未经授权人员的进入选自以下各项所组成的组：有意掩盖其身份的人员；未成年人员；没有所需证明文件的人；以及其进入将超过所述关注区域内所允许的最大人数的人员。

15.根据权利要求10所述的系统，其中，所述在所述关注区域内的特定位置处的活动的发生选自以下各项所组成的组：没有所需服装或装备的人员的进入；在特定位置处做出指示需要帮助的手势的人员；以未经批准的方式在特定位置处实行的活动；以及在特定位置处的人员之间的不适当的身体互动。

16.根据权利要求10所述的系统，其中，所述在所述关注区域内的特定位置处的物理对象的状态选自以下各项所组成的组：在特定位置处的物理危害的存在；在特定位置处的不适当的装备配置的存在；在特定位置处的安全违规的存在；以及特定位置处的装备需要维护的物理指示的存在。

17.根据权利要求1所述的系统，其中，所述指示选自以下各项所组成的组：在工作场所自动化软件中出现的警报指示；即时消息；声音信号；可见信号；电话；火警；短信；以及电子邮件。

18.一种用于在关注区域内的特定位置处生成人类活动的视觉表示的系统，包括：

多个深度敏感视频设备，每个在关注区域内具有各自的视场，每个视场具有与至少一个相邻视场重叠的部分；

与所述多个视频设备中的每一个通信的视频接收器，以用于从每个视频设备选择性地接收深度特定的视频数据，并且用于将元数据与所述深度特定的视频数据相关联，所述元数据包括获取相应数据的时间；

预定义检测规则的数据库，每个检测规则定义了检测随时间的推移的至少一个人的存在和位置所需的视频数据参数；

与所述视频接收器和所述预定义检测规则的数据库通信的视频处理器，以用于分析所述深度特定的视频数据，以在所述关注区域内选择性地检测随时间的推移的至少一个人的存在和位置，并且用于生成存在和位置数据的记录，作为在所述关注区域内随时间的推移的人类活动记录；以及

通知单元，其与所述视频处理器通信，以用于生成在所述关注区域内随时间的推移的人类活动记录的图形表示。

19.根据权利要求18所述的系统，其中，人类活动记录的图形表示是意大利面条图。

20.根据权利要求18所述的系统，其中，所述视频处理器还用于：在来自预定义检测规则的数据库的预定义检测规则的基础上，在深度特定的视频数据内的多个人之间进行区分，并且用于为人类活动记录的图形表示内的多个人中的每一个关联相应的人类标识符。

21.根据权利要求20所述的系统，其中，在人类活动记录的图形表示内的每个人的相应人类标识符是相应颜色的意大利面条图。

22.根据权利要求18所述的系统，其中，人类活动记录的图形表示是热图。

23.根据权利要求22所述的系统，其中，所述视频处理器还用于：在预定义检测规则的数据库的预定义检测规则的基础上，在所述深度特定的视频数据内的多个人之间进行区分，并且用于为在人类活动记录的图形表示内的多个人中的每一个关联相应的人类标识符。

24.根据权利要求23所述的系统，其中，针对人类活动记录的图形表示内的每个人的相应人类标识符是针对每个人的相应热图。

25.根据权利要求18所述的系统，其中，人类活动记录包括：针对所述关注区域内的每个人，相对于时间标识在所述关注区域内的相应人的位置的数据。

26.根据权利要求25所述的系统，其中，人类活动记录进一步包括：在所述关注区域内的特定位置处的多个实物资产中的每一个的位置。

27.根据权利要求25所述的系统，其中，人类活动记录进一步包括：指示每个人何时和何地进入所述关注区域以及指示每个人何时和何地离开所述关注区域的数据。

28.根据权利要求18所述的系统，进一步包括：与所述视频接收器通信的电子数据存储单元，以用于选择性地存储来自所述多个深度敏感视频设备的深度特定的视频数据和相关联的元数据，并且用于将所存储的深度特定的视频数据和相关联的元数据选择性地提供给所述视频处理器。

29.根据权利要求18所述的系统，其中，所述图形表示是所述关注区域的水平投影表示。

Images