CN113557713A - 情景感知监测 - Google Patents

Abstract

种用于环境内情景感知监测的系统，其中该系统包括一个或多个处理设备，该一个或多个处理设备被配置为：从多个成像设备中的每一个接收包括多个捕获图像的图像流，该多个成像设备被配置为捕获环境内对象的图像，并且至少一些该成像设备被定位在该环境内以具有至少部分重叠的视场；识别该不同图像流中的重叠的图像，该重叠的图像为由具有重叠的视场的成像设备所捕获的图像；分析该重叠的图像以确定该环境中的对象位置；分析该对象位置随时间的变化以确定该环境中的对象移动；将该对象移动与情景感知规则进行比较；以及使用该比较的结果来识别情景感知事件。

Description

情景感知监测

本发明的背景

本发明涉及一种用于环境中情景感知监测的系统和方法，并且在一个特定示例中，涉及一种用于对环境中移动的对象进行情景感知监测的系统和方法。

现有技术的描述

本说明书中对任何先前出版物(或从其中得到的信息)或任何已知事项的引用，不是也不应被视为对先前出版物(或从其中得到的信息)或已知物质构成本说明书所涉及的本职领域中公知常识一部分的确认或承认或任何形式的暗示。

情景感知是环境要素和事件相对于时间或空间的感知、对其意义的理解以及对其未来状态的预测。情景感知被认为对于在一系列情况下的决策很重要，特别是在人员和设备之间存在可能导致伤害或其他不利后果的交互的情况下。这方面的一个例子是在工厂内，其中人员和设备之间的交互有可能造成人员伤亡。

已经进行了许多尝试以提供情景感知监测。例如，US-8,253,792描述了一种用于工作区的安全监测系统。工作区涉及具有自主化可移动设备的区域。多个基于视觉的成像设备捕获工作区的时间同步的图像数据。每个基于视觉的成像设备从与其他相应的基于视觉的成像设备基本不同的相应视点重复地捕获工作区的时间同步的图像。一种用于分析时间同步的图像数据的视觉处理单元。该视觉处理单元处理所捕获的图像数据以从工作区内的非人类对象中识别人类。该视觉处理单元还确定人与自主化可移动设备之间的潜在交互。该视觉处理单元还生成控制信号，以用于基于工作区中人与自主化可移动设备之间的潜在交互来实现自主化可移动设备的动态重新配置。

然而，该系统被配置为与静态机器人一起使用并使用机器视觉相机，其价格昂贵，因此不适合被大规模有效利用。

在US-7,929,017中，提供了一种统一的方法、融合技术、时空约束、方法论和系统架构。该统一的方法是融合单目立体视频跟踪器、RFID和定位系统以及生物识别系统的输出。所提供的融合技术是基于将来自异构数据源的感官信息转换为具有严格不确定性分析的公共坐标系，以解决各种传感器噪声和模糊性。该时空约束用于使用位置和速度信息融合不同的传感器。优点包括能够在大面积内连续追踪具有身份的多个人。该方法是通用的，因此可以将其他传感器合并到该系统中。该系统架构是提供用于传感器的底层实时处理。

US-8,289,390

描述了一种有感知的系统，该系统使用立体相机网络将杂乱和拥挤环境(例如办公楼、终端或其他封闭场所)的检测、跟踪和沉浸式可视化相结合。警卫使用实时3D模型监测场所，该模型使用多个视频流从不同方向被更新。当一个人在相机的视野内移动时，该系统会检测到他的移动并追踪这个人的路径，当这个人离开那个相机的视野时，那个相机会将轨迹移交给下一个相机。可以在相机内和相机之间同时追踪多个人，每个追踪都显示在地图显示上。该追踪系统包括追踪地图浏览器和视频闪光查看器，追踪地图浏览器显示所有移动对象的轨迹以及最近轨迹的历史记录，视频闪光查看器显示任何被追踪的人的实时沉浸式视频。

然而，这些解决方案是专门为追踪人类而配置的，并且需要存在立体视频追踪器，这些是很昂贵的因此不适合被大规模部有效利用。

US2015/0172545描述了一种用于显示全景视图图像的方法，该方法包括将来自多个传感器的视频数据传输到数据处理器，并使用处理器将来自各个传感器的视频数据拼接成单个全景图像。定义了图像的焦点视图，并且滚动全景图像以使得焦点视图在显示器中居中。高分辨率相机沿着与图像的焦点视图的中心相对应的线瞄准，并且由相机产生的图像被拼接成全景图像。对图像数据应用映射函数以压缩数据，从而至少降低图像在与其侧边缘相邻的区域中的水平分辨率。

WO2014/149154描述了一种监测系统，该系统集成了来自天气、电力、网络和/或社交媒体源的多个领域数据，以极大地提高情景感知能力并促进对基础设施环境(例如电网)中的可靠性、可持续性和效率进行更准确地评估。在所公开技术的一个示例中，一种方法包括从与基础设施系统相关的两个或更多个不同领域中接收实时数据，将实时数据聚合成与该基础设施系统相关的统一表示，以及将该统一表示提供给一个或多个自定义的图形用户界面。

发明内容

以一种广泛的形式，本发明的一方面寻求提供一种用于环境内情景感知监测的系统，其中该系统包括一个或多个处理设备，该一个或多个处理设备被配置为：从多个成像设备中的每一个接收包括多个捕获图像的图像流，该多个成像设备被配置为捕获环境内对象的图像，并且至少一些该成像设备被定位在该环境内以具有至少部分重叠的视场；识别该不同图像流中的重叠的图像，该重叠的图像为由具有重叠的视场的成像设备所捕获的图像；分析该重叠的图像以确定该环境中的对象位置；分析该对象位置随时间的变化以确定该环境中的对象移动；将该对象移动与情景感知规则进行比较；以及使用该比较的结果来识别情景感知事件。

在一个实施例中，该重叠的图像是大致同时捕获的同步的重叠图像。

在一个实施例中，该一个或多个处理设备被配置为：确定每个所捕获的图像的捕获时间；以及使用该捕获时间识别同步图像。

在一个实施例中，该一个或多个处理设备被配置为使用以下至少一个来确定捕获时间：由该成像设备生成的捕获时间；与每幅图像相关联的接收时间，该接收时间表示由该一个或多个处理设备接收的时间；和该图像中的图像内容的比较。

在一个实施例中，该一个或多个处理设备被配置为：分析来自每个图像流的图像以识别对象图像，该对象图像为包括对象的图像；以及将重叠的图像识别为包含该相同对象的对象图像。

在一个实施例中，该一个或多个处理设备被配置为至少部分地基于该成像设备的定位来识别重叠的图像。

在一个实施例中，该一个或多个处理设备被配置为：分析来自图像流的多个图像以识别静态图像区域；以及将对象图像识别为包括非静态图像区域的图像。

在一个实施例中，该图像中的至少一个是背景参考图像。

在一个实施例中，该一个或多个处理设备被配置为：确定图像流中图像之间的图像区域在外观上的变化程度；以及至少部分基于该变化程度识别对象。

在一个实施例中，该一个或多个处理设备被配置为：将该变化程度与分类阈值进行比较；根据该比较的结果对该图像区域进行分类；以及基于该图像区域的分类识别对象。

在一个实施例中，该一个或多个处理设备被配置为将该图像区域：分类为静态图像区域，如果该变化程度低于该分类阈值；或者分类为非静态图像区域，如果该变化程度高于该分类阈值。

在一个实施例中，该一个或多个处理设备被配置为分析非静态图像区域以识别对象。

在一个实施例中，该一个或多个处理设备被配置为动态地调整该分类阈值。

在一个实施例中，该一个或多个处理设备被配置为：识别包含已停止移动的对象的对象图像区域；以及修改该对象图像区域的该分类阈值，以降低为了将该图像区域分类为非静态图像区域所需的变化程度。

在一个实施例中，该一个或多个处理设备被配置为：识别包括视觉效果的图像；以及根据该视觉效果对该图像进行处理，从而识别对象。

在一个实施例中，该一个或多个处理设备被配置为：识别包括视觉效果的图像区域；以及至少以下中的一个：排除包括视觉效果的图像区域；和根据该视觉效果对图像区域进行分类。

在一个实施例中，该一个或多个处理设备被配置为基于识别到的视觉效果调整分类阈值。

在一个实施例中，该一个或多个处理设备被配置为通过以下至少一种来识别视觉效果：使用来自一个或多个照度传感器的信号；使用一个或多个参考图像；根据环境信息；基于照明区域的人工识别；和通过根据已定义的照明特性对图像进行分析。

在一个实施例中，该一个或多个处理设备被配置为使用以下至少一个来确定对象位置：可视外壳技术；和检测该图像中的框标；和检测多个三角化图像中的框标。

在一个实施例中，该一个或多个处理设备被配置为：在重叠的图像中识别相应的图像区域，该相应的图像为环境中三维体的图像；以及分析该相应的图像区域以识别该三维体中的对象。

在一个实施例中，该相应的图像区域为非静态图像区域。

在一个实施例中，该一个或多个处理设备被配置为：分析相应的图像区域以识别候选对象；生成表示该环境中对象位置的模型；分析该模型以识别潜在的遮挡；以及使用该潜在的遮挡来验证候选对象。

在一个实施例中，该一个或多个处理设备被配置为：如果图像区域包含潜在遮挡，则将图像区域分类为有遮挡的图像区域；以及使用该识别到的有遮挡的图像区域来验证候选对象。

在一个实施例中，该一个或多个处理设备被配置为分析该相应的图像区域，该相应的图像区域不包括有遮挡的图像区域。

在一个实施例中，该一个或多个处理设备被配置为：计算与相应的图像区域相关联的对象得分，该对象得分表示与在该相应的图像区域中检测对象相关联的确定性；以及使用该对象得分来识别对象。

在一个实施例中，该一个或多个处理设备被配置为：为每个该相应的图像区域生成图像区域得分；以及至少以下中的一种：使用该图像区域得分计算对象得分；根据每个相应的图像区域的该图像区域得分，分析该相应的图像区域以识别该三维体中的对象；和使用每个相应的图像区域的该图像区域得分作为权重来执行可视外壳技术。

在一个实施例中，该图像区域得分是基于以下中的至少一项：图像区域分类；图像区域分类的耐久性；图像区域分类的历史变化；视觉效果的存在或可能性；图像流中图像之间的图像区域在外观上的变化程度；相对于该图像区域的相机几何结构；图像捕获的时间；和图像质量。

在一个实施例中，该一个或多个处理设备被配置为根据校准数据来解释该图像。

在一个实施例中，该校准数据包括以下中的至少一项：表示每个成像设备的成像特性的内部校准数据；和表示该成像设备在该环境内的相对定位的外部校准数据。

在一个实施例中，该一个或多个处理设备被配置为在校准过程期间通过以下方式生成校准数据：使用成像设备接收从不同位置捕获的已定义的图案的图像；以及分析该图像以生成表示该成像设备的图像捕获特性的校准数据。

在一个实施例中，该一个或多个处理设备被配置为在校准过程期间通过以下方式生成校准数据：接收在该环境内捕获的目标的图像；分析该捕获的图像以识别由显示同一目标的不同成像设备捕获的图像；以及分析该识别到的图像以生成表示该成像设备的相对位置和朝向的校准数据。

在一个实施例中，该一个或多个处理设备被配置为：确定至少一个对象的对象身份；以及至少部分使用该对象身份将该对象移动与该情景感知规则进行比较。

在一个实施例中，该对象身份至少是以下中的一种：指示对象类型；和唯一地指示该对象。

在一个实施例中，该一个或多个处理设备被配置为：根据该对象身份选择一个或多个情景感知规则；以及将该对象移动与该选择的情景感知规则进行比较。

在一个实施例中，该一个或多个处理设备被配置为通过分析移动模式来确定该对象身份。

在一个实施例中，该一个或多个处理设备被配置为使用图像识别来确定该对象身份。

在一个实施例中，对象与指示对象身份的机器可读编码数据相关联，并且其中该一个或多个处理设备被配置为使用该机器可读编码数据确定该对象身份。

在一个实施例中，该机器可读编码数据为看得见的数据，并且其中该一个或多个处理设备被配置为分析该图像以检测该机器可读编码数据。

在一个实施例中，该机器可读编码数据被编码在与该对象相关联的标签上，并且其中该一个或多个处理设备被配置为从标签读取器接收指示该机器可读编码数据的信号。

在一个实施例中，该标签为以下中的至少一种：短程无线通信协议标签；RFID标签；和蓝牙标签。

在一个实施例中，该一个或多个处理设备被配置为：使用对象移动来确定预测的对象移动；以及将该预测的对象移动与该情景感知规则进行比较。

在一个实施例中，该对象移动表示对象行进路径。

在一个实施例中，该情景感知规则指示以下中的至少一项：允许的对象移动路径；允许的对象移动；不同对象的允许接近极限；对象的允许区域；对象的禁止区域。

在一个实施例中，该一个或多个处理设备被配置为在以下中的至少一种情况时识别情景感知事件：对象移动偏离了为该对象定义的允许的对象移动路径；对象移动偏离了该对象的允许的对象移动；两个对象在该对象的允许的接近极限内；两个对象正在接近该对象的允许的接近极限；两个对象被预测在该对象的允许的接近极限内；两个对象具有相交的预测行进路径；对象在该对象的允许区域之外；对象正在离开该对象的允许区域；对象位于该对象的禁止区域内；和对象正在进入该对象的禁止区域。

在一个实施例中，该一个或多个处理设备被配置为生成环境模型，该环境模型指示以下中的至少一种：环境；该环境中成像设备的位置；当前对象位置；对象移动；预测的对象位置；和预测的对象移动。

在一个实施例中，该一个或多个处理设备被配置为生成该环境模型的图形表示。

在一个实施例中，响应于情景感知事件的识别，该一个或多个处理设备被配置为以下中的至少一个：记录情景感知事件的指示；生成指示该情景感知事件的通知；使输出设备生成指示该情景感知事件的输出；启动警报；和使对象的操作受到控制。

在一个实施例中，该成像设备为以下中的至少一种：安全成像设备；单视场成像设备；基于非计算机视觉的成像设备；和不具有相关内部校准信息的成像设备。

在一个实施例中，该对象包括以下中的至少一种：人；物品；遥控车辆；手动控制的车辆；半自动驾驶车辆；自动驾驶汽车；和自动导引车。

在一个实施例中，该一个或多个处理设备被配置为：基本上实时地识别该情景感知事件；以及基本上实时地执行动作。

以一种宽广的形式，本发明的一方面寻求提供一种用于环境内情景感知监测的方法，其中该方法包括在一个或多个处理设备中：从多个成像设备中的每一个接收包括多个捕获图像的图像流，该多个成像设备被配置为捕获该环境内对象的图像，并且至少一些该成像设备被定位在该环境内以具有至少部分重叠的视场；识别该不同图像流中的重叠的图像，该重叠的图像为由具有重叠的视场的成像设备所捕获的图像；分析该重叠的图像以确定该环境中的对象位置；分析该对象位置随时间的变化以确定该环境中的对象移动；将该对象移动与情景感知规则进行比较；以及使用该比较的结果来识别情景感知事件。

以一种宽广的形式，本发明的一方面寻求提供一种用于环境内情景感知监测的计算机程序产品，其中该计算机程序产品包括计算机可执行代码，当由一个或多个适当编程的处理设备执行时，该计算机可执行代码使该处理设备：从多个成像设备中的每一个接收包括多个捕获图像的图像流，该多个成像设备被配置为捕获该环境内对象的图像，并且至少一些该成像设备被定位在该环境内以具有至少部分重叠的视场；识别该不同图像流中的重叠的图像，该重叠的图像为由在大约同一时间具有重叠的视场的成像设备所捕获的图像；分析该重叠的图像以确定该环境中的对象位置；分析该对象位置随时间的变化以确定该环境中的对象移动；将该对象移动与情景感知规则进行比较；以及使用该比较的结果来识别情景感知事件。

应当理解，本发明的宽泛形式和它们各自的特征可以结合和/或独立使用，并且对单独的宽泛形式的引用并不旨在进行限制。此外，应当理解，该方法的特征可以使用该系统或装置来执行，并且该系统或装置的特征可以使用该方法来实现。

附图简要说明

现在将参考附图描述本发明的各种示例和实施例，其中：

图1是环境内情景感知监测系统的一示例的示意图；

图2是环境内情景感知监测方法的一示例的流程图；

图3是分布式计算机系统的一示例的示意图；

图4是处理系统的一示例的示意图；

图5是客户端设备的一示例的示意图；

图6是环境内情景感知监测方法的又一示例的流程图；

图7是与环境内情景感知监测系统一起使用的校准方法的一示例的流程图；

图8A至图8C是环境内情景感知监测方法的一具体示例的流程图；

图9是作为情景感知监测方法的一部分的对象识别方法的一示例的流程图；

图10是情景感知模型的图形表示的一示例的示意图；

图11是图像区域分类过程的一示例的流程图；

图12是遮挡补救过程的一示例的流程图；和，

图13是加权对象检测过程的一示例的流程图。

优选实施例的具体描述

现在将参考图1描述一种在环境内执行情景感知监测的系统的一示例。

在该示例中，在存在一个或多个对象101、102、103的环境E内执行情景感知监测。虽然当前示例中显示了三个对象，但这仅用于说明目的，并且可以使用任意数量的对象执行该过程。

环境E的性质可以根据优选实施方式而有所不同，并且可以包括需要执行情景感知监测的任何空间。特定示例包括工厂、仓库、存储环境或类似的，但是应当理解，这些技术可以被更广泛地应用，并且可以用于室内和/或室外环境。类似地，对象可以是各种各样的对象，特别是移动对象，例如人、动物、车辆、自主或半自动驾驶车辆，例如自动导引车(AGV)等。在一个特定示例中，情景感知监测在AGV或其他机器人系统或车辆与人一起工作的情况下特别有益，例如在半自主化工厂中。然而，这又不旨在限制。

用于执行情景感知监测的系统通常包括一个或多个电子处理设备110，其被配置为从成像设备120接收图像流，成像设备120设置在环境E中以允许捕获环境E中对象101、102、103的图像。

为了说明的目的，假设一个或多个电子处理设备形成一个或多个处理系统(例如计算机系统、服务器等)的一部分，如下面将更详细描述的，该一个或多个处理系统可以经由网络架构连接到一个或多个客户端设备，例如移动电话、便携式计算机、平板电脑等。此外，为了便于说明，剩余的描述将涉及处理设备，但应当理解，可以使用多个处理设备，根据需要在处理设备之间分配处理，并且对单数的引用包括复数布置，反之亦然。

成像设备120的性质将根据优选实施方式而变化，但在一个示例中，成像设备是低成本成像设备，例如非计算机视觉单视场相机。在一个特定示例中，可以使用安全相机，尽管从以下描述中将变得显而易见，可以额外地和/或替代地使用诸如网络相机等的其他低成本相机。还可以使用范围广泛的不同成像设备120，并且成像设备120不需要具有相似的类型或型号。

成像设备120通常被定位以提供对环境E的整个范围的覆盖，其中至少一些相机包括至少部分重叠的视场，从而环境E内的任何对象优选地由两个或多个成像设备在任一时间成像。成像设备通常静态地定位在环境内并且可以设置在一系列不同位置以便提供完整的覆盖。例如，成像设备可以设置在不同的高度，并且可以包括被配置为从不同角度捕获环境视图的安装在地板、墙壁和/或天花板上的相机的组合。

现在将参考图2更详细地描述系统的操作。

在该示例中，在步骤200处，处理设备110从每个成像设备120接收图像流，图像流包括多个捕获的图像，并且包括环境E内的对象101、102、103的图像。

在步骤210处，处理设备110识别不同图像流中的重叠图像。就这一点而言，重叠图像是由成像设备捕获的具有重叠视场的重叠图像，从而由不同的成像设备从至少两个不同方向捕获对象的图像。此外，重叠的视场通常是基于已知环境E内的成像设备120的相对位置来确定的，尽管如下文将更详细地描述的，这可以可替代地使用图像的分析来实现。

在步骤220处，一个或多个处理设备分析该重叠图像以确定环境内的对象位置。具体地，图像被分析以识别不同重叠图像中对象的位置，其中已知被用于对对象的位置进行三角测量的成像设备位置。这可以使用任何适当的技术来实现，并且在一个示例中是使用可见外壳法来实现的，例如在1994年2月的IEEE Trans.的模式分析和机器智能的第150-162页的A.Laurentini发表的《基于轮廓图像理解的可见外壳概念》("The visual hullconcept for silhouette-based image understanding")中所描述的。然而，也可以使用其他方法，例如图像框标分析。在一个优选示例中，框标与重叠图像结合使用，从而可以以更高的精准度确定对象位置，尽管将理解这不是必需的。

在步骤230处，一个或多个处理设备分析对象位置随时间的变化以确定与环境E内的对象101、102、103的移动相对应的对象移动。具体地，分析重叠图像的序列以确定对象位置的序列，其中利用对象位置的序列来确定每个对象101、102、103的移动。对象运移动可以是任何形式的运动，但在一个示例中是环境E内的对象101、102、103的行进路径。

在步骤240处，将对象移动与情景感知规则进行比较。情景感知规则定义了表示对象101、102、103在环境E内的期望和/或潜在危险或其他不期望的移动的标准。情景感知规则的性质和标准将根据多个因素而变化，诸如优选实施方式、使用情景感知监测过程的环境、被监测对象的性质等。例如，规则可以涉及对象的接近度、对象的未来预测接近度、行进路径的拦截、进入或离开特定区域的某些对象等，并且这些的示例将在下面更详细地描述。

在步骤250处，比较的结果用于识别出现的任何情景感知事件，其通常对应于不遵守或潜在不遵守情景感知规则。因此，例如，如果违反了情景感知规则，这可能表明存在潜在危险，而这反过来又可用于允许采取行动。行动的性质和执行的方式将根据优选实施方式而变化。

例如，该行动可以包括简单地记录情景感知事件的详细信息，允许将其记录下来用于后续审计目的。此外，和/或替代地，可以采取行动以尝试和防止危险情况，例如通过生成通知或听得见和/或看得见的警报来警告个人。这可用于警告环境中的个人，以便可以采取纠正措施，例如通过让个人调整他们当前的移动或位置，例如远离AGV的路径。此外，在自主或半自动驾驶车辆的情况下，这可能包括控制车辆，例如通过指示车辆改变路径或停止，从而防止事故发生。

因此，应当理解，上述布置提供了一种用于监测诸如工厂、仓库、矿山等环境的系统，以允许追踪诸如AGV、人或其他对象之类的对象的移动。这与情景感知规则一起使用，以确定何时出现不良情况，例如AGV或其他车辆何时可能与人接触或接近人，反之亦然。在一个示例中，该系统允许自主执行纠正行动，例如修正车辆的操作，或提醒人们车辆正在接近这一事实。

为了实现这一点，该系统利用设置在环境E内的多个成像设备并且操作以利用具有重叠视场的图像来识别对象位置。这避免了需要为对象提供可检测的特征，例如RFID标签或类似物，尽管如下文将更详细描述的不排除使用此类标签。此外，该过程可以使用低成本成像设备来执行，例如要使用的安全相机等，这提供了优于其他系统的显著商业价值。好处是这些相机更容易获得、广为人知且成本更低，并且可以连接到进行通信和供电的单根以太网电缆。然后可以连接到标准的现成POE以太网交换机以及标准电源调节器。因此，这可以大大降低安装和配置此类系统的成本，从而避免需要使用昂贵的立体或计算机视觉相机，并且在许多情况下允许使用现有的安全相机基础设施进行情景感知监测。

此外，处理设备可以被配置为基本上实时地执行对象追踪、情景感知事件或动作的识别。因此，例如，图像捕获和正在执行的动作之间所需的时间可以小于约1秒、小于约500毫秒、小于约200毫秒或小于约10毫秒。这使系统能够有效地警告环境中的个人和/或采取纠正措施，例如通过控制车辆，从而允许避免诸如撞击或受伤之类的事件。

现在将描述许多进一步的特征。

在一个示例中，重叠图像是同步的重叠图像，因为它们大约同时被捕获。在这点上，需要大约在同一时间捕获图像意味着在小于致使对象显著移动的时间间隔内捕获图像。虽然这因此将取决于对象的移动速度，但时间间隔通常小于约1秒、小于约500毫秒、小于约200毫秒或小于约100毫秒。

为了识别同步的重叠图像，处理设备通常被配置为同步图像流，其通常使用诸如与图像相关联的时间戳和/或从成像设备接收图像的时间的信息。这允许从计算机视觉设备以外的成像设备接收图像，这些计算机视觉设备通常与处理设备在时间上同步。因此，这需要由处理设备实现的附加功能，以确保通常在硬件中执行的所有相机馈送之间的准确时间同步。

在一个示例中，处理设备被配置为确定每个所捕获图像的捕获时间，然后使用捕获时间识别同步图像。这通常是必需的，因为成像设备不包括在大多数计算机视觉相机中存在的同步功能，从而允许使用更便宜的底层和现有技术(例如安全相机等)来实现该系统。

针对每个所捕获的图像，确定捕获时间的方式将根据优选实施方式而变化。例如，成像设备可以生成捕获的时间，例如时间戳，这就像许多安全相机的情况一样。在这种情况下，默认情况下时间戳可以用作捕获时间。另外地和/或替代地，捕获的时间可以是基于指示由处理设备进行接收的时间的接收时间。这可以可选地考虑成像设备和处理设备之间的通信延迟，这可以在校准或其他设置过程期间建立。在一个优选示例中，结合使用这两种技术，以便使用图像的接收时间来验证与图像相关联的时间戳，从而为确定的捕获时间提供额外级别的验证，并允许在未验证捕获时间的情况下纠正采取的措施。

然而，应当理解，同步图像的使用不是必需的，可以使用异步图像或其他数据，这取决于优选实施方式。例如，异步捕获的对象的图像可能会导致对象位置在图像之间发生变化。然而，这可以通过合适的技术来解决，例如对图像进行加权，因此，如下文将更详细描述的，异步捕获的图像在识别对象位置时被赋予时间权重。也可以采用其他技术，例如为对象分配模糊边界和/或位置等。

在一个示例中，处理设备被配置为分析来自每个图像流的图像以识别对象图像，这些对象图像是包括对象的图像。识别出对象图像后，可以分析这些图像以将重叠图像识别为包括同一对象的图像的对象图像。这可以基于图像识别过程来执行，但更典型地是基于已知成像设备的相对位置(尤其是视场)来执行的。例如，这还可以考虑对象在图像内的位置，其可以用于缩小不同成像设备之间的重叠视场，从而定位重叠图像。如将在下面更详细地描述的，可以在校准过程期间建立这样的信息。

在一个示例中，一个或多个处理设备被配置为分析来自图像流的多个图像，以识别静态图像区域然后将对象图像识别为包括非静态图像区域的图像。尤其地，这涉及比较连续的或后续的图像以识别图像之间发生的移动，并评估图像中的移动分量是对象移动的结果。这依赖于这样一个事实，即大部分环境将保持静止，并且通常只有对象会在图像之间发生移动。因此，这提供了识别对象的简单机制，并减少了分析图像以检测其中的对象所需的时间量。

应当理解，在对象是静态的情况下，如果在连续图像之间执行比较，则该技术可能无法检测到该对象。然而，这可以通过对背景和前景应用不同的学习率来解决。例如，可以建立环境中不存在物的背景参考图像，其中相对于背景参考图像执行减法，而不是直接处理图像。在一种优选方法中，周期性地更新背景参考图像以考虑环境中的变化。因此，该方法允许识别或追踪静止对象。还应当理解，可以利用保留静态对象位置记录的环境模型来执行静态对象的追踪，以便在对象重新开始移动时可以恢复追踪，如下文将更详细描述的。

因此，一个或多个处理设备可以被配置为确定图像流中图像之间的图像区域的外观变化程度，然后基于变化程度识别对象。该图像可以是连续的图像和/或时间间隔的图像，变化程度是变化的幅度和/或速率。根据优选实施方式，图像区域的大小和形状可以变化，并且可以包括像素子集或类似物。在任何情况下，应当理解，如果图像区域在很大程度上是静态的，那么与图像区域在外观上经历显著变化(表示移动对象)的情况相比，对象在图像区域内的可能性更小。

在一个特定示例中，这是通过将图像区域分类为静态或非静态图像区域(也称为背景图像区域和前景图像区域)来实现的，其中非静态图像区域指示移动，因此指示环境内的对象。分类可以以任何适当的方式执行，但在一个示例中，这是通过将变化程度与分类阈值进行比较然后基于比较结果对图像区域进行分类来实现的，例如如果变化程度超过分类阈值则将图像区域分类为非静态的，或者如果变化程度低于分类阈值则将图像区域分类为静态的。

在此之后，可以基于图像区域的分类来识别对象，例如通过分析非静态图像区域来识别对象。在一个示例中，这是通过使用图像区域来建立掩膜来实现的，掩膜随后用于执行后续分析，例如使用前景掩膜来识别和追踪对象，同时排除背景掩膜以减少处理要求。

另外，为了提高辨别力，处理设备可以被配置为动态地调整分类阈值，例如以考虑对象移动、环境影响等的变化。

例如，如果对象停止移动，这可能导致图像区域被重新分类为静态的，即使它包含对象。因此，在一个示例中，这可以通过让处理设备识别包含先前一直在移动的对象的对象图像区域，然后修改对象图像区域的分类阈值以降低所需的变化程度来解决，以便将该图像区域分类为非静态图像区域。这实际上改变了上述区域的学习率。由于图像区域在外观上的变化可以被累积评估，这实际上可以增加从区域内的移动停止到该区域被归类为静态图像区域并因此被评估为不包含对象的时间。因此，如果对象在相对较短的时间内停止移动，则可以避免对区域进行重新分类，从而可以更准确地追踪对象。

在另一个示例中，处理设备可以被配置为识别包括视觉效果的图像，然后根据视觉效果处理该图像从而识别对象。在这方面，视觉效果会导致同一场景的图像之间的外观发生变化，因此可以将其识别为潜在对象。例如，AGV可以包括车辆前方的照明，其可能会被错误地检测为与AGV分离的对象，因为它会导致外观随时间发生变化。类似的问题随着环境照明的其他变化而出现，例如房间内阳光的变化、视觉呈现设备(例如显示器或监视器)的存在等。

在一个示例中，为了解决视觉效果，处理设备可以被配置为识别包括视觉效果的图像区域，然后排除包括视觉效果的图像区域和/或对考虑视觉效果的图像区域进行分类。因此，这可用于基于识别到的视觉效果来调整分类阈值，例如通过提高分类阈值使得当检测到视觉外观的变化时图像区域不太可能被分类为非静态图像区域。

视觉效果的检测可以使用多种技术来实现，这取决于优选的实施方式、可用的传感器和视觉效果的性质。例如，如果视觉效果是照明的变化，则可以使用来自一个或多个照明传感器的信号来检测视觉效果。或者，可以使用一张或多张参考图像来识别环境中经常发生的视觉效果，例如分析一天中背景光线的变化，从而将其考虑在内。这也可以结合环境信息使用，例如天气报告、关于一天中当前时间的信息等，以预测环境内可能的照明。作为进一步的可选方式，可以执行手动识别，例如通过让用户指定可能受到照明变化和/或包含监视器或显示器等的环境部分。

在另一个示例中，可以通过根据已定义的特性对图像进行分析来识别视觉效果，从而允许排除满足那些特性的区域。例如，这可以包括识别具有已知波长和/或光谱特性(例如对应于车辆警示灯)的照明，然后从分析中排除这样的区域。

通常，处理设备被配置为分析同步的重叠图像以确定对象位置。在一个示例中，这是使用可见外壳技术来执行的，该技术是一种轮廓形状的3D重建技术。尤其地，这种可见外壳技术涉及识别图像内对象的轮廓，并使用这些轮廓来创建包含实际对象的反向投影的广义锥体(称为“轮廓锥体”)。来自不同视点的图像的轮廓锥体用于确定两个或更多个锥体的交集，该交集形成可视外壳，这是实际3D对象的边界几何。然后这可以用于基于成像设备的已知视点来确定位置。因此，对从不同视点捕获的图像进行比较允许确定对象在环境E内的位置。

然而，在一些示例中，不需要这样的可视外壳法。例如，如果对象包含机器可读的视觉编码数据，例如框标或者由Edwin Olson在2011年关于机器人和自主化的IEEE国际会议(ICRA)的会议记录中的《AprilTag：一种鲁棒和灵活的视觉基准系统》("AprilTag:Arobust and flexible visual fiducial system")中描述的April Tag，然后可以通过对所捕获图像中的框标进行视觉分析得出位置。

在一个优选示例中，该方法使用框标和多个图像的组合，从而允许对包含框标的不同图像进行三角测量，以允许以更高的精准度计算框标的位置并因此计算对象的位置。

在一个示例中，特别是当使用可视外壳或类似技术时，处理设备可以被配置为识别重叠图像中对应的图像区域(它们是环境内三维体的图像)，然后分析该对应的图像区域以识别三维体中的对象。具体而言，这通常包括识别对应的图像区域，这些对应的图像区域是从不同的视点被捕获的相同三维体的非静态图像区域。然后可以例如使用可视外壳技术来分析该非静态区域以识别候选对象。

虽然当相机密度足够高和/或对象在环境中稀疏排列时，此过程可能相对简单，但当相机稀疏和/或对象密集排列和/或彼此靠近时，此过程会变得更加复杂。特别是，在这种情况下，对象通常会全部或部分被遮挡，这意味着使用某些成像设备可能无法准确地捕获到对象的形状。这反过来又会导致对对象或其大小、形状或位置的错误识别。

因此，在一个示例中，一旦识别出候选对象，就可以将这些对象合并到环境的三维模型中，下面更详细地描述这种模型的示例。例如当另一个对象位于对象和成像设备之间时，然后可以通过将对象从三维模型反向投影到成像设备的2D成像平面来分析模型以识别潜在的遮挡。一旦被识别，潜在的遮挡随后可用于验证候选对象，例如允许在考虑遮挡的情况下执行可视外壳过程。这些问题的示例在Li Guan、Sudipta Sinha、Jean-SebastienFranco、Marc Pollefeys的《存在部分遮挡的情况下的可视外壳构建》("Visual HullConstruction in the Presence of Partial Occlusion")中进行了描述。

在一个示例中，如果图像区域包含潜在遮挡，则通过让处理设备将图像区域分类为有遮挡的图像区域来考虑潜在遮挡，在识别对象时将这一点考虑进去。虽然这可能涉及简单地从分析中排除被遮挡的图像区域，但使用这种方法通常会丢失有意义的信息，因此可能会不准确地识别和/或定位对象。因此，在另一示例中，这可以通过对相应图像中的不同图像进行加权来实现，其中加权用于评估遮挡的可能影响并因此评估任何最终对象检测的准确性。

类似的加权过程也可用于考虑其他问题。因此，在一个示例中，计算与对应的图像区域相关联的对象得分，其中对象得分是指与对应的图像区域中对象的检测相关联的确定性。一旦经计算，对象得分可用于识别对象，例如，如果得分超过得分阈值，则评估要准确识别的对象。

可以理解，可以以多种方式使用对象得分。例如，如果对象得分太低，则可以简单地从分析中排除该对象。然而，更有用的是，这可用于限制对象位置的已知程度，因此低得分可能会导致对象对位置具有高度的不确定性，从而允许在评估情景感知时考虑到这一点。

在一个示例中，通过为每个对应的图像区域生成图像区域得分然后使用每个对应图像的图像区域的图像区域得分计算对象得分，来计算对象得分。因此，为捕获特定三维体的图像区域的每个成像设备计算图像区域得分，将这些得分进行组合以创建该三维体的总得分。

附加地和/或替代地，可以使用各个图像区域得分来评估用于准确识别对象的图像区域的潜在可靠性。因此，如果任何特定的图像区域的可能精度较低，例如存在明显遮挡等，则可以在任何分析中给予其较低的权重，因此其不太可能对后续分析产生不利影响，从而减少其过度影响最终对象位置的机会。

如上该，虽然这种方法可用于遮挡，但也可用于范围广泛的其他因素。例如，该得分可以是基于图像区域分类或图像流中图像之间图像区域的外观变化程度，因此不太可能包含对象的静态图像区域具有低得分，而非静态区域可能有更高的得分。

类似地，这种方法可以考虑图像区域分类或历史变化图像区域分类的耐久性。因此，如果图像区域的分类频繁变化，这可能表明该区域没有被正确分类，因此可以给出低置信度得分，而恒定分类意味着正确分类的更高置信度，因此得分更高。

类似地，可以根据视觉效果的存在或可能性分配得分，从而允许在识别对象时考虑视觉效果。在另一个示例中，可以使用相对于感兴趣三维体的相机几何形状，从而使得由远离三维体或相对于三维体倾斜布置的相机捕获的图像被赋予较低的权重。

这些因素还可以考虑图像捕获的时间，这有助于允许使用异步数据捕获。在这种情况下，如果重叠图像之一是在与其他图像显著不同的时间捕获的，则鉴于对象可能在中间时间已经移动，因此在识别对象方面可以给予其较低的权重。

类似地，也可以考虑与图像质量有关的其他因素，例如分辨率、焦点、曝光等。

相应地，可以理解，计算每个成像设备捕获的图像的得分可以用于对每个图像进行加权，以便该图像在整个对象检测过程中的依赖程度可以考虑诸多因素，例如图像的质量、遮挡、视觉效果、对象成像的好坏等，这反过来可以允许更准确地执行对象检测。

不管如何检测对象，确定对象的位置通常需要知道成像设备在环境内的定位，因此处理设备被配置为根据图像设备的已知位置来解译图像。为了实现这一点，在一个示例中，位置信息体现在用于解译图像的校准数据中。在一个特定示例中，校准数据包括表示每个成像设备的成像特性的内部校准数据和表示成像设备在环境E内的相对定位的外部校准数据。这允许处理设备校正图像，以考虑任何所捕获图像中的成像失真，并考虑成像设备相对于环境E的位置。

校准数据通常是在校准过程中生成的。例如，可以基于使用成像设备从不同位置捕获的已定义的图案的图像来生成内部校准数据。已定义的图案可以是任何适当的形式并且可以包括点图案或类似的、框标等等。分析图像以识别图像中已定义的图案的失真，其又可用于生成指示成像设备的图像捕获特性的校准数据。这样的图像捕获特性可以包括诸如景深、镜头光圈、镜头畸变等等。

相比之下，可以通过接收环境内目标的捕获图像，分析所捕获的图像以识别由显示相同目标的不同成像设备所捕获的图像，并分析已识别的图像以生成指示成像设备的相对位置和的朝向的校准数据，来生成外部校准数据。同样，可以通过在环境内定位多个目标然后识别使用哪些成像设备捕获了哪些目标来执行该过程。这可以根据用户输入来手动执行，也可以使用独特的目标来自主执行，以便可以轻松识别不同的目标和不同的位置。由此可以理解，为此目的可以使用框标，例如April Tag。

情景感知规则的性质将根据优选的实施方式以及环境的性质和环境中的对象而变化。在一个示例中，情景感知规则指示允许的对象行进路径、允许的对象移动、不同对象的允许接近极限、对象的允许区域或对象的禁止区域中的一个或多个。在这个例子中，如果对象移动偏离允许的对象移动路径，如果对象移动偏离允许的对象移动，如果两个对象在对象的预定接近极限内，如果两个对象正在接近对象的允许接近极限，如果两个对象具有相交的预测行进路径，如果对象在对象的允许区域之外，如果对象正在离开对象的允许区域，如果对象在对象的禁止区域内，如果对象正在进入对象的禁止区域等，则可以确定发生情景感知事件。然而，应当理解，可以定义范围广泛的不同情景感知规则来识别范围广泛的不同情景感知事件，并且以上示例仅用于说明的目的。

此类规则可以使用多种技术生成，但通常是通过了解环境中对象的操作和交互来手动生成的。在另一个示例中，规则引擎可用于至少部分地使任务自主化。规则引擎通常通过接收规则文档并使用自然语言处理进行解析来操作，以识别逻辑表达式和对象类型。然后，通过基于对象的对象类型检索这些或者通过根据需要生成这些，来为每个对象类型确定对象标识符。在将这些逻辑表达式上载到标签之前，然后通过将逻辑表达式转换为触发事件和动作来使用逻辑表达式来生成对象规则。例如，逻辑表达式通常根据“If...then...”语句在规则文本中指定，这些语句可以转换为触发和动作。这可以使用模板来执行，例如通过使用来自“If...then...”语句的文本填充模板，以便以标准方式生成规则，从而允许一致地解释这些规则。

一旦生成规则，还可以定义响应于违反规则而采取的行动，并将该信息作为规则数据存储在规则数据库中。

从上文可以理解，通常为不同的对象和/或对象类型定义不同的规则。因此，例如，可以为个人定义一组规则，而可以为AGV定义另一组规则。同样，可以为以不同方式运行的不同AGV定义不同的规则。还应当理解，在某些情况下，规则将涉及对象之间的交互，在这种情况下，规则可以取决于多个对象的对象身份。

因此，在一个示例中，当创建规则时，规则与一个或多个对象身份相关联，该对象身份可以指示对象类型和/或可以唯一地指示特定对象，从而允许为不同类型的对象或不同的各个对象定义对象情景感知规则。这允许处理设备随后基于环境内对象的对象身份检索相关的规则。因此，在一个示例中，一个或多个处理设备被配置为确定至少一个对象的对象身份，然后至少部分地使用该对象身份来将对象移动与情景感知规则进行比较。因此，处理设备可以根据该对象身份选择一个或多个情景感知规则，然后将对象移动与选择的情景感知规则进行比较。

对象身份可以使用多种不同的技术来确定，例如这取决于优选实施方式和/或对象的性质。例如，如果对象不包括任何形式的编码标识符，这可以使用图像识别技术来执行。例如，在识别人的情况下，人将具有大致相似的外观，其通常与AGV的外观大不相同，因此，可以使用在一个或多个图像上执行的图像识别技术来识别人。应当注意，这不一定需要区分不同的个体，尽管这可以在某些情况下执行。

附加地和/或替代地，可以通过对移动的分析来识别身份(尤其是对象类型)。例如，AGV的移动通常会倾向于遵循预定模式和/或通常具有诸如恒定速度和/或方向变化之类的特性。与这种个人移动相反，个体的移动往往更加随意，并且会出现方向和/或速度的变化，因此可以根据移动模式的分析来区分AGV和人类。

在另一个示例中，对象可以与指示对象身份的机器可读代码数据相关联。在该示例中，处理设备可以被配置为使用机器可读的编码数据来确定对象身份。机器可读的编码数据可以根据优选实施方式以多种方式中的任何一种进行编码。在一个例子中，这可以使用视觉编码数据来实现，例如条形码、QR码或更典型的April Tag，然后可以通过分析图像来对其进行检测，以识别图像中的可见机器可读的编码数据，从而允许由处理设备对其进行解码。然而，在另一个示例中，对象可以与标签(例如短程无线通信协议标签、RFID(射频识别)标签、蓝牙标签或类似的)相关联，在这种情况下，机器可读的编码数据可以从合适的标签读取器中得到。

还应当理解，可以结合使用识别方法。例如，当对象经过合适的读取器时，可以通过检测机器可读的编码数据来唯一地识别对象。在这种情况下，一旦识别了对象，就可以通过在对象在环境中移动时对其进行追踪来维持该身份。这意味着对象不需要再次经过读取器才能被识别，这在对象仅在人数有限时被识别的情况下特别有用，例如在对象进入一个区域时，例如在个人使用门禁卡进入房间时这可能发生。

在一个示例中，一个或多个处理设备被配置为使用对象移动来确定预测的对象移动。例如，这可以通过在时间上将历史移动模式向前进行推断来执行，例如假设沿直线移动的对象将在至少短时间段内继续沿直线运动。应当理解，可以使用多种技术来执行此类预测，例如使用机器学习技术来分析特定对象的移动模式或对象的类似类型，将其与其他可用信息(例如定义的预期行进路径等等)进行结合，以预测未来的对象移动。然后可以将预测的对象移动与情景感知规则进行比较，以便提前识别潜在的情景感知事件。例如，这可以用来确定AGV和人员是否预计会在未来的某个时间被拦截，从而允许在任何拦截发生之前生成警报或警告。

在一个示例中，一个或多个处理设备被配置为生成指示环境、成像设备在环境中的位置、客户端设备的位置(例如警报信标、当前对象位置、对象移动、预测的对象位置、预测的对象移动等)的环境模型。环境模型可用于保持近期历史移动的记录，进而可用于帮助追踪暂时静止的对象，以及更准确地识别情景感知事件。

环境模型可以保存在存储器中并且可以根据需要由处理设备和/或其他处理设备(例如远程计算机系统)访问。在另一个示例中，处理设备可以被配置为生成无论是当前状态还是历史时间点的环境模型的图形表示。这可用于允许操作员或用户查看当前或历史环境状态，从而确定与情景感知事件相关联的问题，例如查看导致事件发生的一组情况等。这可以包括显示热图，显示环境中对象的移动，这继而又可以用来突出瓶颈或其他可能引起情景感知事件的问题。

如前该，为了响应识别的情景感知事件，可以采取行动。这可以包括但不限于记录情景感知事件的指示、生成指示情景感知事件的通知、使输出设备生成指示情景感知事件的输出(包括生成听得见的和/或看得见的输出、激活警报或致使要控制对象的操作)。因此，可以向监督主管或操作员提供通知，可以在环境中生成警报以例如通知人类潜在的情景感知事件(例如即将发生碰撞的可能性)，或者该警报可以用于控制自主或半自动驾驶车辆，例如AGV，从而允许车辆控制系统停止该车辆和/或以某种其他方式改变该车辆的操作，从而允许避免事故或其他事件。

成像设备可以选自安全成像设备、单视场成像设备、基于非计算机视觉的成像设备或不具有内部校准信息的成像设备中的任何一个或多个。此外，由于该方法不依赖于成像设备的配置，通过使用校准数据处理不同的成像设备，这允许在单个系统内使用不同类型和/或型号的成像设备，从而给可用于实施情景感知监测系统的设备提供更大的灵活性。

如上该，在一个示例中，该过程由作为分布式架构的一部分操作的一个或多个处理系统和客户端设备来执行，现在将参考图3描述其示例。

在该示例中，多个处理系统310经由通信网络340(诸如因特网)和/或一个或多个局域网(LAN)耦合到多个客户端设备330和成像设备320。应当理解，网络340的配置仅用于示例目的，并且在实践中处理系统310、成像设备320和客户端设备330可以通过任何适当的机制进行通信，例如通过有线或无线连接，包括但不限于移动网络、专用网络，例如802.11网络、互联网、LAN、WAN等，以及通过直接或间接的点对点连接，例如蓝牙等。

在一个示例中，处理系统310被配置为从成像设备接收图像流、分析图像流并识别情景感知事件。处理系统310还可以被配置为实施行动(例如生成通知和/或警报，其可选地经由客户端设备或其他硬件显示)，控制AGV的操作等，或者创建并提供对环境模型的访问。虽然处理系统310被示为单个实体，但是应当理解，处理系统310可以分布在多个地理上分离的位置上，例如通过使用作为基于云的环境的一部分提供的处理系统310和/或数据库。然而，上述布置不是必需的并且可以使用其他合适的配置。

在图4中示出了合适的处理系统310的示例。

在该示例中，如图所示，处理系统310包括通过总线415互连的至少一个微处理器411、存储器412、可选的输入/输出设备413(例如键盘和/或显示器)以及外部接口414。在该示例中，外部接口414可用于将处理系统310连接到外围设备，例如通信网络340、数据库、其他存储设备等。尽管示出了单个外部接口414，但这仅用于示例目的，并且在实践中可以提供使用各种方法(例如，以太网、串行、USB、无线等)的多个接口。

在使用中，微处理器411以存储在存储器412中的应用软件的形式执行指令，以允许执行所需的过程。应用软件可以包括一个或多个软件模块，并且可以在合适的执行环境中执行，例如操作系统环境等。

因此，应当理解，处理系统310可以由任何合适的处理系统形成，例如适当编程的客户端设备、个人计算机、网页服务器、网络服务器等。在一个特定示例中，处理系统310为标准处理系统，诸如基于英特尔架构的处理系统，其执行存储在非易失性(例如，硬盘)存储器上的软件应用程序，尽管这不是必需的。然而，还应当理解，处理系统可以是任何电子处理设备，例如微处理器、微芯片处理器、逻辑门配置、可选地与实现逻辑相关联的固(例如FPGA(现场可编程门阵列))，或任何其他电子设备、系统或装置。

在图5中示出了合适的客户端设备330的一示例。

在一个示例中，如图所示，客户端设备330包括经由总线535互连的至少一个微处理器531、存储器532、输入/输出设备533(例如键盘和/或显示器)和外部接口534。在该示例中，外部接口534可以用于将客户端设备330连接到外围设备，例如通信网络340、数据库、其他存储设备等。尽管示出了单个外部接口534，但这仅用于示例目的，并且在实践中可以提供使用各种方法(例如，以太网、串行、USB、无线等)的多个接口。

在使用中，微处理器531以存储在存储器532中的应用软件的形式执行指令，以允许与处理系统310通信，例如允许接收通知等和/或提供对环境模型的访问。

因此，应当理解，客户端设备330可以由任何合适的处理系统形成，例如适当编程的个人计算机、互联网终端、膝上型电脑或手持PC，并且在一个优选示例中是平板电脑或智能手机等。因此，在一个示例中，客户端设备330为标准处理系统，诸如基于英特尔架构的处理系统，其执行存储在非易失性(例如，硬盘)存储器上的软件应用程序，尽管这不是必需的。然而，还将理解，客户端设备330可以是任何电子处理设备，例如微处理器、微芯片处理器、逻辑门配置、可选地与实现逻辑相关联的固件(例如FPGA(现场可编程门阵列))，或任何其他电子设备、系统或装置。

现在将更详细地描述用于执行情景感知监测的过程的示例。出于这些示例的目的，假设一个或多个处理系统310用于监测来自图像设备320的图像流，分析该图像流以识别情景感知事件，然后根据需要执行所需动作。可以基于经由客户端设备330提供的用户输入来执行用户交互，从而由客户端设备330显示模型可视化的最终通知。在一个示例中，为了以与平台无关的方式提供这一点，允许使用使用不同操作系统并具有不同处理能力的客户端设备330容易地访问它，通过网页从客户端设备330接收输入数据和命令，其中由浏览器应用程序或由客户端设备330执行的其他类似应用程序在本地呈现最终的可视化。

因此，处理系统310通常是服务器(并且在下文中将被称为服务器)，根据可用的特定网络基础设施，其经由通信网络340等与客户端设备330通信。

为了实现这一点，服务器310通常执行用于分析图像以及执行其他所需任务(包括数据的存储和处理)的应用软件，根据在存储器412中存储为应用软件的指令和/或通过I/O设备413从用户接收的输入命令，或根据从客户端设备330接收的命令，由处理系统310执行的动作由处理器411来执行。还将假设用户通过直接呈现在服务器310上的或在客户端设备330上的GUI(图形用户界面)等与服务器310交互，并且在一个特定示例中，通过显示由服务器310托管的网页的浏览器应用程序，或显示由服务器310提供的数据的应用程序。根据在存储器532中存储为应用软件的指令和/或经由I/O设备533从用户接收的输入命令，由客户端设备330执行的动作由处理器531来执行。

然而，应当理解，为了以下示例的目的而假设的上述配置不是必需的，并且可以使用许多其他配置。还应当理解，客户端设备330和服务器310之间的功能划分可以根据特定实施方式而变化。

现在将参考图6描述用于监测情景感知的过程的一示例。

在该示例中，在步骤600处，服务器310从成像设备320获取多个图像流。在步骤610处，服务器310操作(通常通过分析每个图像流以识别图像流内的移动)以识别图像流内的对象。在识别对象之后，在步骤620处，服务器310使用与不同成像设备的相对位置有关的信息来操作以识别同步的重叠图像。

在步骤630处，服务器310采用可视外壳分析来定位环境中的对象，在步骤640处使用该信息更新环境模型。在这点上，环境模型是包括关于环境内对象的当前位置和可选的历史位置的信息的环境模型。然后这可以用于在步骤650处追踪对象移动和/或位置。

一旦知道对象移动和/或静态对象的位置，在步骤660处将移动或位置与情景感知规则进行比较，从而允许识别情景感知事件，例如违反规则。该信息用于在步骤670处执行任何所需的动作，例如生成警报或通知、控制AGV等。

如上该，上述方法通常依赖于校准过程，该校准过程包括内部校准(以确定成像设备特性)和外部校准(以便考虑环境内的成像设备的位置)成像设备320。现在将参考图7描述这种校准过程的一示例。

在该示例中，在步骤700处，成像设备用于捕获图案的图像。图案通常具有预定的已知形式并且可以包括点图案、机器可读编码数据，例如April Tag等。图案的图像通常是从一系列不同角度捕获的。

在步骤710处，通过将所捕获的图像与表示已知图案的预期外观的参考图像进行比较来分析图像，从而允许使用比较的结果来确定由特定成像设备的特性引起的任何失真或其他视觉效果。这用于在步骤720处得到成像设备的内部校准数据，然后将其作为校准数据的一部分存储，从而允许其用于校正由相应成像设备捕获的图像，以生成校正后的图像。

应当理解，对于要使用的每个单独的成像设备重复步骤700至720，并且该步骤可以就位执行，或者在放置成像设备之前执行。

在步骤730处，假设这还没有被执行，相机和一个或多个目标被定位在环境中。该目标可以是任何适当的形式并且可以包括点、框标，例如April Tag，等等。

在步骤740处，目标的图像由成像设备320捕获，其中图像被提供给服务器310以在步骤750处进行分析。执行分析以识别由不同成像设备320从不同角度捕获的目标，从而允许确定成像设备320的相对位置。该过程可以手动执行，例如通过让用户突出显示不同图像中的共同目标，从而允许使用三角测量来计算捕获图像的成像设备的位置。或者，这可以至少部分地使用图像处理技术来执行，例如通过识别定位在整个环境中的不同目标，然后再次使用三角测量来得到相机位置。这个过程也可以通过让用户识别相机的大概位置来辅助，例如通过在环境模型中指定这些相机的大概位置。

在步骤760处，指示成像设备的相对定位的外部校准数据被存储为校准数据的一部分。

现在将参考图8A至8C更详细地描述用于执行情景监测的过程的一示例。

在该示例中，在步骤800处图像流由成像设备310捕获，这些图像流在步骤802处被上传到服务器310。基本上连续地重复步骤800和802，从而基本上实时地将图像流呈现给服务器310。

在步骤804处，由服务器310接收图像流，服务器操作以在步骤806处为图像流中的每个图像识别图像捕获时间，这通常是基于与每个图像相关联并由相应成像设备320提供的时间戳。然后在步骤808处可选地验证该时间，例如通过让服务器310将带时间戳的捕获时间与由服务器310接收图像的时间进行比较，同时考虑预期的传输延迟，以确保时间是在预定的误差范围内。在未验证时间的情况下，则会生成错误以允许对问题进行调查。

否则，在步骤810处，服务器310分析连续的图像并在步骤812处操作以从图像中减去静态区域。这用于识别每个图像中的移动分量，这些分量被认为对应于环境中移动的对象。

在步骤814处，通过识别来自基本上同时被捕获的不同图像流的图像来识别同步的重叠图像，并且该不同图像流的图像包括从不同视点捕获的对象。重叠图像的识别可以使用外部校准数据来执行，从而允许识别具有重叠视场的相机，并且还可以涉及分析包括对象的图像以识别不同图像中的相同对象。这可以检查机器可读编码数据(例如图像中的April Tag)的存在，或者可以使用识别技术来识别对象的特征，例如对象颜色、大小、形状等。

在步骤816处，分析图像以在步骤818处识别对象位置。这可以使用编码的框标来执行，或者在此类标记不可用的情况下通过执行可视外壳分析来执行。应当理解，为了执行分析，这必须考虑外部和内部校准数据以针对成像设备的特性(例如任何图像失真)校正图像，然后进一步使用已知的各个成像设备的相对位置，以便在执行可视外壳分析的情况下解译对象位置和/或粗略形状。

确定对象位置后，在步骤820处，服务器310操作以确定对象身份。在这方面，识别对象的方式将根据对象的性质和任何识别数据而变化，现在将参考图9更详细地描述一示例性识别过程。

在该示例中，在步骤900处，服务器310使用图像处理技术来分析对象的一个或多个图像，并在步骤905处确定图像是否包括视觉编码数据，例如April Tag。如果服务器识别出April Tag或其他视觉编码数据，则在步骤910处对其进行分析以确定与对象相关联的标识符。当编码数据最初被分配给对象时，例如在April Tag被附接至对象时的设置过程中，标识符和对象之间的关联通常作为对象数据存储在数据库中。因此，从机器可读编码数据中解码标识符允许从存储的对象数据中得到对象的身份，从而允许在步骤915处识别对象。

在视觉编码数据不存在的情况下，服务器310在步骤920处确定对象是否与读取器一致，例如蓝牙或RFID标签读取器。如果是，则在步骤925处查询标签读取器以确定是否已从与对象相关联的标签中检测到标签数据。如果是，则可以在步骤910处分析标签数据以确定标识符，其中以与上述类似的方式使用存储的对象数据在步骤915处使用该标识符来识别对象。

如果没有检测到标签数据，或者对象与读取器不一致，则可以在步骤935处使用图像识别技术来进行视觉分析，以便在步骤940处尝试识别对象。应当理解，这可能仅足以识别对象的类型，例如人，并且可能不允许区分相同类型的对象。此外，在某些情况下，这可能不允许识别对象，在这种情况下，可以为对象分配未知身份。

在步骤822处，服务器310访问现有的环境模型，并在步骤824处评估检测到的对象是否是新对象。例如，如果检测到新标识符，这将指示新对象。或者，对于没有标识符的对象，服务器310可以评估该对象是否接近模型内的现有对象，这意味着该对象是移动了的现有对象。在这点上应注意，由于基于图像之间的移动来识别对象，因此可能无法在图像内检测到长时间保持静止的对象，如前该这取决于检测是如何执行的。但是，静态对象将根据其最后已知的位置保留在环境模型中，因此当对象重新开始移动并位于图像内时，基于对象的重合位置该对象可以与环境模型中的静态对象进行匹配，尽管可以理解，根据如何检测对象这可能不是必需的。

如果确定对象是新对象，则在步骤826处将对象添加到环境模型。在对象不是新对象的情况下，例如如果它表示移动了的现有对象，则可以在步骤828处更新对象位置和/或移动。

在任一情况下，在步骤830处，可以推断任何对象移动，以便预测未来的对象移动。因此，这将检查历史移动模式中的趋势并使用它来预测短时间内可能的未来移动，从而允许服务器310提前预测对象将在短时间内的位置。如前该，考虑对象或类似类型的对象的先前移动以及其他信息，例如定义的预期行进路径，这可以使用机器学习技术或类似技术来执行。

在步骤832处，服务器310使用相应的对象身份得到与环境模型中的每个对象相关联的规则。该规则通常会指定可能针对相应对象出现的各种情景感知事件，并且可以包括允许和/或禁止移动的详细信息。这些可以是绝对的，例如，将AGV的移动与预先编程的行进路径进行比较，以确定对象是否移动到离行进路径太远的地方，或者比较个人的移动以确认他们是在允许的区域内或者在禁止的区域外。情景感知规则还可以定义相对标准，例如两个对象是否在彼此的特定距离之内，或者是否在相交的预测行进路径上。

如前该，通常基于对特定环境和环境内对象的要求的理解来定义该规则。通常为特定对象、对象类型或多个对象定义规则，以便可以使用不同的规则来评估不同对象的情景感知。情景感知规则通常以特定对象标识符的形式或指定的对象类型的形式与相关联的对象身份一起存储为规则数据，从而允许为环境内的每个检测到的对象获得相应的规则。

在步骤834处，将规则应用于与每个对象相关联的对象位置、移动或预测移动，以确定在步骤836处是否违反了规则，从而确定事件正在发生。

如果在步骤836处评估规则被违反，则服务器310通过从规则数据检索动作来确定在步骤838处需要的任何动作，从而允许在步骤840处启动动作。在这方面，相关动作通常会被指定为规则的一部分，从而允许定义与不同对象和不同情景感知事件相关联的不同动作。这允许根据特定事件定义各种动作，该动作可以包括但不限于记录事件、生成警报或通知，或控制自主或半自动驾驶车辆。

在一个示例中，诸如移动电话之类的客户端设备330可以用于显示警报，从而可以将警报广播给环境中的相关个人。这可以包括推送到任何可用客户端设备330的广播通知，或者可以包括将通知定向到与特定用户相关联的特定客户端设备330。例如，如果发生涉及车辆的事件，则可以向车辆操作者和/或监管者提供通知。在进一步的示例中，客户端设备330可以包括显示器或其他输出设备，例如被配置为生成听得见的和/或看得见的警报的信标，其可以在环境中的特定定义的位置处提供，或者与诸如AGV的对象相关联。在这种情况下，如果即将与AGV或其他对象发生碰撞，则可以激活对象上的信标，提醒个人注意潜在的碰撞，从而允许避免碰撞。

在另一个示例中，客户端设备330可以形成对象(例如自主或半自动驾驶车辆)的控制系统的一部分或耦合到对象的控制系统，从而允许服务器310指示客户端设备330控制对象，例如，致使对象停止移动，直到情景感知事件得到补救。

从上文可以理解，客户端设备330可以与相应的对象相关联，或者可以位于环境内，并且这将被定义为设置过程的一部分。例如，可以在对象数据中识别与对象相关联的客户端设备330，以便当执行与相应对象相关联的动作时，对象数据可以用于获得相关客户端设备的详细信息，从而将通知推送到相应的客户端设备。类似地，静态客户端设备的详细信息可以作为环境模型的一部分存储，并根据需要以类似的方式获得详细信息。

在任何情况下，一旦动作已经启动或以其他方式启动，过程可以返回到步骤804以允许继续监测。

除了执行情景感知监测和执行如上该的动作之外，服务器310还维护环境模型并且允许通过图形表示的方式来查看环境模型。这可以通过客户端设备330来实现，例如，允许主管或其他个人保持环境内活动的概览，并且还可以在情景感知事件出现时查看它们。现在将参考图10更详细地描述环境模型的图形表示的示例。

在该示例中，图形表示1000包括环境E，例如建筑物的内部平面图或类似物。可以理解的是，建筑物的图形表示可以基于建筑物平面图和/或通过对环境进行扫描或成像来得到。该模型包括表示成像设备320的位置的图标1020，表示对象位置的图标1001、1002、1003和1004，以及表示客户端设备330的位置的图标1030，例如用于生成听得见的和/或看得见的警报的信标。

成像设备320的定位可以作为上述校准过程的一部分来执行，并且可以涉及让用户在接近位置处手动定位图标，其中随着校准的执行，定位被完善。类似地，在静态客户端设备320的情况下，和/或通过将客户端设备320与对象相关联，客户端设备的定位也可以手动执行，以便当对象在环境中检测到时将客户端位置添加至模型中。

在此示例中，呈现还显示与对象关联的其他详细信息。在这种情况下，对象1001的形状为矩形，其可用于表示对象类型，例如AGV，其中图标的大小类似于实际的实体AGV的足迹。对象1001具有显示的关联标识符ID 1001，其对应于检测到的对象身份。在这种情况下，对象具有关联的预编程行进路径1001.1，这是AGV预期遵循的路径，而客户端设备图标1030.1显示为与对象1001关联，从而指示客户端设备提供在AGV上。

在该示例中，对象1002是人，因此用与对象1001不同的形状来表示，例如圆形，同样具有与人的足迹相似的足迹。该对象具有相关联的对象标识符IDPer2，从而表示这是人，并使用数字来区分不同的人。对象1002具有行进路径1002.2，以表示对象1002在环境内的历史移动。

对象1003也是人并包括对象标识符IDPer3，以区别于对象1002。在这种情况下，对象是静态的，因此以虚线显示。

对象1004为第二个AGV，在这种情况下，它具有由ID？？？表示的未知标识符。AGV1004具有历史行进路径1004.2和预测行进路径1004.3。在这种情况下，注意到预测的行进路径与AGV 1001的预定路径1001.1相交，并且预测在区域1004.4中可能会发生相交，这被突出显示为潜在问题。

最后，定义了禁止区域1005，不允许任何对象进入其中，其中提供相关联的客户端设备330，如图标1030.5所示，从而如果对象接近该禁止区域则允许生成警报。

如上该，对图像区域进行分类以评估图像区域是环境的静态部分还是环境的包括移动的部分，这又可用于识别对象。现在将参考图11更详细地描述用于对图像区域进行分类的过程的示例。

在步骤1100处，识别图像区域。图像区域可以被任意定义，例如通过基于分割网格或类似物或者可以基于对先前图像中的移动检测来分割每个图像。一旦识别了图像区域，服务器可选地在步骤1110处评估图像区域的历史，可以执行该步骤以识别图像区域最近是否已被评估为非静态，这又对识别最近停止移动的对象是有用的。

在步骤1120处，可以识别视觉效果。可以根据视觉效果的性质和优选实施方式以任何适当的方式识别视觉效果。例如，这可能涉及分析来自照度传感器的信号以识别背景照度或环境照度的变化。或者，这可能涉及获取有关环境内视觉效果位置的信息，其可以在校准过程中定义，例如通过指定环境中屏幕或显示器的位置。这还可以涉及分析图像以识别视觉效果，例如识别图像的包括已知的光谱响应的部分以对应于视觉效果，例如特定照明源。执行此过程是为了考虑视觉效果并确保这些不会被错误地识别为移动对象。

在步骤1130处，设置分类阈值，其用于评估图像区域是静态的还是非静态的。分类阈值可以是默认值，然后根据图像区域历史和/或识别的视觉效果根据需要进行修改。例如，如果单个区域历史表明该图像区域之前或最近被归类为非静态，则可以从默认级别提高分类阈值，以降低在对象最近停止移动的情况下该图像区域被归类为静态的可能性。这实际上增加了评估相应图像区域变化的学习持续时间，这在追踪暂时静止的对象时很有用。类似地，如果该区域内存在视觉效果，则可以修改刻板的分类阈值以降低图像区域被错误分类的可能性。

一旦确定了分类阈值，就在步骤1140处分析该图像区域的变化。这通常通过在图像流的多个图像上比较相同的图像区域来执行。该多个图像可以是连续的图像，但这不是必需的，并且可以评估有时间间隔的任何图像。在此之后，在步骤1150处将图像区域的变化与阈值进行比较，比较的结果用于在步骤1160处对图像区域进行分类，例如，如果移动程度下降到低于分类阈值，则将该区域定义为静态的。

如前该，可能会出现遮挡，其中对象至少部分被成像设备遮挡，现在将参考图12描述遮挡检测和补救过程的示例。

在该示例中，在步骤1200处，在多个重叠图像中识别相应的图像区域。就这一点而言，对应的图像区域是来自多个重叠图像的图像区域，该对应的图像区域是环境中共同三维体的视图，例如一个或多个体素。在步骤1210处，例如使用可视外壳技术识别一个或多个候选对象。

在步骤1220处，任何候选对象被添加到三维模型，例如与以上关于图10描述的模型类似的模型。在步骤1230处，候选对象被反投影到捕获候选对象的图像的成像设备的成像平面上。这样做是为了确定候选对象是否重叠并因此可能发生了遮挡。

一旦识别出了潜在的遮挡，在步骤1240处，服务器可以使用该信息来验证候选对象。例如，对于不受遮挡的候选对象，这些可以被检测到的对象接受。相反，在检测到遮挡的情况下，可以在考虑遮挡的情况下重复可视外壳过程。这可以通过从可视外壳过程中去除包含遮挡的图像区域来实现，或者更典型地将遮挡的存在考虑在内，例如如下面将更详细地描述的使用加权过程或类似的。

现在将参考图13描述用于对象识别的加权过程的一示例。

在该示例中，在步骤1300处，以类似于关于步骤1200所描述的方式识别相应的图像区域。

在步骤1310处，评估每个图像区域，该评估被用来确定对象检测准确的可能性。在这点上，可以理解，对象的成功检测将受到一系列因素的影响，包括图像质量(例如图像分辨率或失真)、相机几何结构(例如相机距离和角度)、图像区域历史(例如图像区域之前是静态的还是非静态的)、有无遮挡或视觉效果、收集到的数据之间的异步程度(例如重叠图像的捕获时间差异)等。

因此，该过程试图通过基于每个因素分配一个值来将这些因素考虑在内，并在步骤1320处用此来确定图像区域得数。例如，每个因素的值通常表示该因素是否会对对象的成功检测产生积极或消极的影响，因此如果存在遮挡，则可以使用值-1，而如果不存在遮挡，则可以使用值+1，这表示与存在遮挡的情况相比对象检测更有可能是正确的。

一旦经过计算，图像区域得分就可以用于识别对象。

在一个示例中，在步骤1330处，使用图像区域得分作为权重来执行可视外壳过程。因此，在这种情况下，具有低图像区域得分的图像区域(其不太可能准确地对对象进行成像)将在可视外壳过程中给予低权重。因此，这对对象检测过程的影响较小，因此该过程更偏向于具有更高图像区域源的图像区域。附加地和/或替代地，可以通过在步骤1340处组合每个对应图像区域的图像区域得分来计算复合对象得分，在步骤1350处将所得的值与阈值进行比较，这在步骤1360处用于评估是否已成功识别到对象。

因此，应当理解，上述系统操作以追踪环境内对象的移动，其可以使用低成本传感器来实现。对象的移动和/或位置可以与已定义的情景感知规则进行比较，以识别违反规则的行为，从而允许采取行动，例如通知违规和/或控制AGV以防止发生事故或其他合规事件。

在本说明书和随后的权利要求中，除非上下文另有要求，否则词语“包括”和诸如“包含”或“具有”之类的变体将被理解为暗示包括规定的整数，或整数或步骤的组，但是不排除任何其他整数或整数的组。如本文所用的并且除非另有说明，术语“大约”是指±20％。

本领域技术人员将理解，许多变化和修改将变得显而易见。对本领域技术人员来说显而易见的所有这些变化和修改都应该被认为落入本发明之前描述的广泛出现的精神和范围内。

Claims (52)

1.一种用于环境内情景感知监测的系统，其中所述系统包括一个或多个处理设备，所述一个或多个处理设备被配置为：

a)从多个成像设备中的每一个接收包括多个捕获图像的图像流，所述多个成像设备被配置为捕获环境内对象的图像，并且至少一些所述成像设备被定位在所述环境内以具有至少部分重叠的视场；

b)识别所述不同图像流中的重叠的图像，所述重叠的图像为由具有重叠的视场的成像设备所捕获的图像；

c)分析所述重叠的图像以确定所述环境中的对象位置；

d)分析所述对象位置随时间的变化以确定所述环境中的对象移动；

e)将所述对象移动与情景感知规则进行比较；以及

f)使用所述比较的结果来识别情景感知事件。

2.根据权利要求1所述的系统，其中所述重叠的图像是大致同时捕获的同步的重叠图像。

3.根据权利要求2所述的系统，其中所述一个或多个处理设备被配置为：

a)确定每个所捕获的图像的捕获时间；以及

b)使用所述捕获时间识别同步图像。

4.根据权利要求3所述的系统，其中所述一个或多个处理设备被配置为使用以下至少一个来确定捕获时间：

a)由所述成像设备生成的捕获时间；

b)与每幅图像相关联的接收时间，所述接收时间表示由所述一个或多个处理设备接收的时间；和

c)所述图像中的图像内容的比较。

5.根据权利要求1至4中任一项所述的系统，其中所述一个或多个处理设备被配置为：

a)分析来自每个图像流的图像以识别对象图像，所述对象图像为包括对象的图像；以及

b)将重叠的图像识别为包含所述相同对象的对象图像。

6.根据权利要求5所述的系统，其中所述一个或多个处理设备被配置为至少部分地基于所述成像设备的定位来识别重叠的图像。

7.根据权利要求1至6中任一项所述的系统，其中所述一个或多个处理设备被配置为：

a)分析来自图像流的多个图像以识别静态图像区域；以及

b)将对象图像识别为包括非静态图像区域的图像。

8.根据权利要求7的所述的系统，其中所述图像中的至少一个是背景参考图像。

9.根据权利要求1至8中任一项所述的系统，其中所述一个或多个处理设备被配置为：

a)确定图像流中图像之间的图像区域在外观上的变化程度；以及

b)至少部分基于所述变化程度识别对象。

10.根据权利要求9所述的系统，其中所述一个或多个处理设备被配置为：

a)将所述变化程度与分类阈值进行比较；

b)根据所述比较的结果对所述图像区域进行分类；以及

c)基于所述图像区域的分类识别对象。

11.根据权利要求10所述的系统，其中所述一个或多个处理设备被配置为将所述图像区域：

a)分类为静态图像区域，如果所述变化程度低于所述分类阈值；或者

b)分类为非静态图像区域，如果所述变化程度高于所述分类阈值。

12.根据权利要求11所述的系统，其中所述一个或多个处理设备被配置为分析非静态图像区域以识别对象。

13.根据权利要求10至12中任一项所述的系统，其中所述一个或多个处理设备被配置为动态地调整所述分类阈值。

14.根据权利要求10至13中任一项所述的系统，其中所述一个或多个处理设备被配置为：

a)识别包含已停止移动的对象的对象图像区域；以及

b)修改所述对象图像区域的所述分类阈值，以降低为了将所述图像区域分类为非静态图像区域所需的变化程度。

15.根据权利要求1至14中任一项所述的系统，其中所述一个或多个处理设备被配置为：

a)识别包括视觉效果的图像；以及

b)根据所述视觉效果对所述图像进行处理，从而识别对象。

16.根据权利要求15所述的系统，其中所述一个或多个处理设备被配置为：

a)识别包括视觉效果的图像区域；以及

b)至少以下中的一个：

i)排除包括视觉效果的图像区域；和

ii)根据所述视觉效果对图像区域进行分类。

17.根据权利要求15或权利要求16所述的系统，其中所述一个或多个处理设备被配置为基于识别到的视觉效果调整分类阈值。

18.根据权利要求15至17中任一项所述的系统，其中所述一个或多个处理设备被配置为通过以下至少一种来识别视觉效果：

a)使用来自一个或多个照度传感器的信号；

b)使用一个或多个参考图像；

c)根据环境信息；

d)基于照明区域的人工识别；和

e)通过根据已定义的照明特性对图像进行分析。

19.根据权利要求1至18中任一项所述的系统，其中所述一个或多个处理设备被配置为使用以下至少一个来确定对象位置：

a)可视外壳技术；和

b)检测所述图像中的框标；和

c)检测多个三角化图像中的框标。

20.根据权利要求1至19中任一项所述的系统，其中所述一个或多个处理设备被配置为：

a)在重叠的图像中识别相应的图像区域，所述相应的图像为环境中三维体的图像；以及

b)分析所述相应的图像区域以识别所述三维体中的对象。

21.根据权利要求20所述的系统，其中所述相应的图像区域为非静态图像区域。

22.根据权利要求20或权利要求21所述的系统，其中所述一个或多个处理设备被配置为：

a)分析相应的图像区域以识别候选对象；

b)生成表示所述环境中对象位置的模型；

c)分析所述模型以识别潜在的遮挡；以及

d)使用所述潜在的遮挡来验证候选对象。

23.根据权利要求22所述的系统，其中所述一个或多个处理设备被配置为：

a)如果图像区域包含潜在遮挡，则将图像区域分类为有遮挡的图像区域；以及

b)使用所述识别到的有遮挡的图像区域来验证候选对象。

24.根据权利要求22或权利要求23所述的系统，其中所述一个或多个处理设备被配置为分析所述相应的图像区域，所述相应的图像区域不包括有遮挡的图像区域。

25.根据权利要求20至24中任一项所述的系统，其中所述一个或多个处理设备被配置为：

a)计算与相应的图像区域相关联的对象得分，所述对象得分表示与在所述相应的图像区域中检测对象相关联的确定性；以及

b)使用所述对象得分来识别对象。

26.根据权利要求20至25中任一项所述的系统，其中所述一个或多个处理设备被配置为：

a)为每个所述相应的图像区域生成图像区域得分；以及

b)至少以下中的一种：

i)使用所述图像区域得分计算对象得分；

ii)根据每个相应的图像区域的所述图像区域得分，分析所述相应的图像区域以识别所述三维体中的对象；和

iii)使用每个相应的图像区域的所述图像区域得分作为权重来执行可视外壳技术。

27.根据权利要求26所述的系统，其中所述图像区域得分是基于以下中的至少一项：

a)图像区域分类；

b)图像区域分类的耐久性；

c)图像区域分类的历史变化；

d)视觉效果的存在或可能性；

e)图像流中图像之间的图像区域在外观上的变化程度；

f)相对于所述图像区域的相机几何结构；

g)图像捕获的时间；和

h)图像质量。

28.根据权利要求1至27中任一项所述的系统，其中所述一个或多个处理设备被配置为根据校准数据来解释所述图像。

29.根据权利要求28所述的系统，其中所述校准数据包括以下中的至少一项：

a)表示每个成像设备的成像特性的内部校准数据；和

b)表示所述成像设备在所述环境内的相对定位的外部校准数据。

30.根据权利要求28或权利要求29所述的系统，其中所述一个或多个处理设备被配置为在校准过程期间通过以下方式生成校准数据：

a)使用成像设备接收从不同位置捕获的已定义的图案的图像；以及

b)分析所述图像以生成表示所述成像设备的图像捕获特性的校准数据。

31.根据权利要求28至30中任一项所述的系统，其中所述一个或多个处理设备被配置为在校准过程期间通过以下方式生成校准数据：

a)接收在所述环境内捕获的目标的图像；

b)分析所述捕获的图像以识别由显示同一目标的不同成像设备捕获的图像；以及

c)分析所述识别到的图像以生成表示所述成像设备的相对位置和朝向的校准数据。

32.根据权利要求1至31中任一项所述的系统，其中所述一个或多个处理设备被配置为：

a)确定至少一个对象的对象身份；以及

b)至少部分使用所述对象身份将所述对象移动与所述情景感知规则进行比较。

33.根据权利要求32所述的系统，其中所述对象身份至少是以下中的一种：

a)指示对象类型；和

b)唯一地指示所述对象。

34.根据权利要求32或权利要求33所述的系统，其中所述一个或多个处理设备被配置为：

a)根据所述对象身份选择一个或多个情景感知规则；以及

b)将所述对象移动与所述选择的情景感知规则进行比较。

35.根据权利要求32至34中任一项所述的系统，其中所述一个或多个处理设备被配置为通过分析移动模式来确定所述对象身份。

36.根据权利要求32至35中任一项所述的系统，其中所述一个或多个处理设备被配置为使用图像识别来确定所述对象身份。

37.根据权利要求32至36中任一项所述的系统，其中对象与指示对象身份的机器可读编码数据相关联，并且其中所述一个或多个处理设备被配置为使用所述机器可读编码数据确定所述对象身份。

38.根据权利要求37所述的系统，其中所述机器可读编码数据为看得见的数据，并且其中所述一个或多个处理设备被配置为分析所述图像以检测所述机器可读编码数据。

39.根据权利要求37或权利要求38所述的系统，其中所述机器可读编码数据被编码在与所述对象相关联的标签上，并且其中所述一个或多个处理设备被配置为从标签读取器接收指示所述机器可读编码数据的信号。

40.根据权利要求39所述的系统，其中所述标签为以下中的至少一种：

a)短程无线通信协议标签；

b)RFID标签；和

c)蓝牙标签。

41.根据权利要求1至40中任一项所述的系统，其中所述一个或多个处理设备被配置为：

a)使用对象移动来确定预测的对象移动；以及

b)将所述预测的对象移动与所述情景感知规则进行比较。

42.根据权利要求1至41中任一项所述的系统，其中所述对象移动表示对象行进路径。

43.根据权利要求1至42中任一项所述的系统，其中所述情景感知规则指示以下中的至少一项：

a)允许的对象移动路径；

b)允许的对象移动；

c)不同对象的允许接近极限；

d)对象的允许区域；

e)对象的禁止区域。

44.根据权利要求1至43中任一项所述的系统，其中所述一个或多个处理设备被配置为在以下中的至少一种情况时识别情景感知事件：

a)对象移动偏离了为所述对象定义的允许的对象移动路径；

b)对象移动偏离了所述对象的允许的对象移动；

c)两个对象在所述对象的允许的接近极限内；

d)两个对象正在接近所述对象的允许的接近极限；

e)两个对象被预测在所述对象的允许的接近极限内；

f)两个对象具有相交的预测行进路径；

g)对象在所述对象的允许区域之外；

h)对象正在离开所述对象的允许区域；

i)对象位于所述对象的禁止区域内；和

j)对象正在进入所述对象的禁止区域。

45.根据权利要求1至44中任一项所述的系统，其中所述一个或多个处理设备被配置为生成环境模型，所述环境模型指示以下中的至少一种：

a)环境；

b)所述环境中成像设备的位置；

c)当前对象位置；

d)对象移动；

e)预测的对象位置；和

f)预测的对象移动。

46.根据权利要求45的系统，其中所述一个或多个处理设备被配置为生成所述环境模型的图形表示。

47.根据权利要求1至46中任一项所述的系统，其中响应于情景感知事件的识别，所述一个或多个处理设备被配置为以下中的至少一个：

a)记录情景感知事件的指示；

b)生成指示所述情景感知事件的通知；

c)使输出设备生成指示所述情景感知事件的输出；

d)启动警报；和

e)使对象的操作受到控制。

48.根据权利要求1至47中任一项所述的系统，其中所述成像设备为以下中的至少一种：

a)安全成像设备；

b)单视场成像设备；

c)基于非计算机视觉的成像设备；和

d)不具有相关内部校准信息的成像设备。

49.根据权利要求1至48中任一项所述的系统，其中所述对象包括以下中的至少一种：

a)人；

b)物品；

c)遥控车辆；

d)手动控制的车辆；

e)半自动驾驶车辆；

f)自动驾驶汽车；和

g)自动导引车。

50.根据权利要求1至49中任一项所述的系统，其中所述一个或多个处理设备被配置为：

a)基本上实时地识别所述情景感知事件；以及

b)基本上实时地执行动作。

51.一种用于环境内情景感知监测的方法，其中所述方法包括在一个或多个处理设备中：

a)从多个成像设备中的每一个接收包括多个捕获图像的图像流，所述多个成像设备被配置为捕获所述环境内对象的图像，并且至少一些所述成像设备被定位在所述环境内以具有至少部分重叠的视场；

b)识别所述不同图像流中的重叠的图像，所述重叠的图像为由具有重叠的视场的成像设备所捕获的图像；

c)分析所述重叠的图像以确定所述环境中的对象位置；

d)分析所述对象位置随时间的变化以确定所述环境中的对象移动；

e)将所述对象移动与情景感知规则进行比较；以及

f)使用所述比较的结果来识别情景感知事件。

52.一种用于环境内情景感知监测的计算机程序产品，其中所述计算机程序产品包括计算机可执行代码，当由一个或多个适当编程的处理设备执行时，所述计算机可执行代码使所述处理设备：

a)从多个成像设备中的每一个接收包括多个捕获图像的图像流，所述多个成像设备被配置为捕获所述环境内对象的图像，并且至少一些所述成像设备被定位在所述环境内以具有至少部分重叠的视场；

b)识别所述不同图像流中的重叠的图像，所述重叠的图像为由在大约同一时间具有重叠的视场的成像设备所捕获的图像；

c)分析所述重叠的图像以确定所述环境中的对象位置；

d)分析所述对象位置随时间的变化以确定所述环境中的对象移动；

e)将所述对象移动与情景感知规则进行比较；以及

f)使用所述比较的结果来识别情景感知事件。

Images