CN110494861A - 基于图像的异常检测方法和系统 - Google Patents

Abstract

本发明提供了用于基于图像对运行环境内的异常事件的发生进行检测的方法、系统和计算机程序产品。对异常事件的发生的检测包括：(i)从第一图像采集装置接收第一组信息，(ii)分析第一组信息以确定第一图像帧是否成像了异常事件的发生，(iii)接收在第二装置处产生的第二组信息，其中，第二组信息表示运行环境的状态，(iv)分析第二组信息以确定是否已发生异常事件；以及(v)至少基于来自第二组信息的分析的输出来产生异常识别决定。

Description

基于图像的异常检测方法和系统

技术领域

本发明涉及在诸如工业工厂或其他场所的运行环境中的异常检测。具体地，本发明能够基于从一个或多个图像采集装置接收到的图像进行处理和分析来检测异常或异常事件。

背景技术

对工业工厂或其他运行环境中的异常的发生的监视是确保工厂或运行环境保持在最佳状态或功能状态所必需的常规要求。

响应于检测到异常或检测到系统状态的意外或不期望的改变，这样的监视能够及时启动预防性维护或补救措施。

运行环境中的监视和异常检测的典型解决方案涉及现场操作员的人工检查。这样的解决方案依赖于现场操作员的可用性，并且当现场操作员能够在视觉上观察并识别异常时，发生异常检测，这给实时全厂异常检测带来了困难。

实现更一致和连续的异常检测的一种解决方案是使用基于视觉的系统(即，基于相机的解决方案)来检测工业工厂内的异常。该解决方案涉及从位于工厂内不同位置的安全相机或其他相机接收图像，并对接收的图像运行图像处理算法以识别异常事件。检测到异常事件可触发警戒或警报，以进行预防性维护或采取补救措施。

图像处理算法可涉及以下的任意一种或多种算法：用于处理从图像提取的图像数据或像素数据，以及用于(基于图像数据或像素数据)识别任何预期外的系统状态或行为存在，或者用于识别与预期状态或事件的任何偏差-并且在某些情况下，可能涉及使用已经过训练以识别异常状态或异常系统行为的神经网络来处理图像数据或像素数据。可以通过使用包括已被分类为与异常状态或行为对应的图像的训练数据集对神经网络进行训练，来实现对用于识别异常状态或行为的神经网络的训练。通过这样的训练，可以基于训练数据集迭代地调整神经网络内的处理节点的权重，直到神经网络的识别精度达到期望的最小精度为止。

在使用中，神经网络接收并处理从一个或多个成像装置接收的图像信息，并输出表示图像信息与异常状态或事件对应的可能性的置信度分数。响应于接收到满足一个或多个预定义的评分要求的置信度分数，可以确定特定图像或一组图像包括与异常事件或状态对应的图像信息，并且这样的图像可以在人机界面(HMI)显示器上显示，可选地，对已检测到异常的特定区域高亮显示。

基于图像分析的异常检测的问题在于，在某些情况下，图像处理算法可能无法最终确定图像信息是否与异常事件有关。对此可能有多种原因，包括相机的不利定位、缺乏足够的光学分辨率、焦距不足、相机的变焦能力不足、像素分辨率不足或成像装置与异常事件之间存在一个或多个对象使得在相机处掩盖了异常事件的一部分。此外，尽管工厂中存在多个相机，但是在分析来自多个相机的信息时没有解决方案提供一致且集成的方法作为改进异常事件的检测的手段。

发明内容

技术问题

本发明试图解决这些和其他问题。

解决方案

本发明提供了一种用于基于图像对运行环境内的异常事件的发生进行检测的方法。所述方法包括以下步骤：(i)从第一图像采集装置接收第一组信息，第一图像采集装置被配置为对运行环境的至少一部分进行成像，第一组信息包括从在第一图像采集装置处产生的第一图像帧提取的图像信息；(ii)分析第一组信息进行分析以确定第一图像帧是否出现异常事件；(iii)响应于确定第一图像帧成像了异常事件的发生，执行：(a)接收在第二装置处产生的第二组信息，其中，第二组信息表示运行环境的状态；(b)分析第二组信息以确定是否已发生异常事件；以及(iv)至少基于来自第二组信息的分析的输出来产生异常识别决定。

在方法实施例中，(i)分析第一组信息以输出第一分数，(ii)分析第二组信息以输出第二分数，并且(iii)产生的异常识别决定取决于第一分数和第二分数二者。

可以基于与第一组信息相关联的时间戳和第二组信息相关联的时间戳，对第二组信息进行选择。

在实施例中，第二装置可以包括第二图像采集装置，其被配置为对运行环境的至少一部分进行成像。第一图像采集装置可以具有第一视场，第二图像采集装置可以具有第二视场，使得所述第一视场和所述第二视场在视场重叠区域处相交。第二组信息可以包括从在第二图像采集装置处产生的第二图像帧提取的图像信息。分析第二组信息以确定异常事件的发生可以包括：确定第二图像帧是否成像了视场重叠区域内的异常事件的发生。

至少第二图像采集装置可以选择性地在第一异常检测配置和第二异常检测配置中的一个中操作。与第一异常检测配置相关联的第一异常检测分数要求可以选择性地高于与第二异常检测配置相关联的第二异常检测分数要求。

在方法实施例中，第二图像采集装置被配置为，响应于确定第一图像帧成像了异常事件的发生，实现第二异常检测配置。

第二装置可以包括传感器，其被配置为测量与运行环境内的至少一个运行控制参数相对应的状态改变。第二组信息可以包括从传感器接收的状态改变信息。分析第二组信息以确定是否已发生异常事件可以包括：对测量到的与至少一个运行控制参数对应的状态改变进行分析。

在方法的实施例中，对第一组信息的分析包括以下分析中的一种或多中：轨迹分析、基于对象的分析、基于像素的分析、以及将第一组信息与从可燃气体传感器、光电离检测器或电化学传感器接收的数据进行比较。

对第一组信息和第二组信息中的任意一个的分析可以包括：分析被分析图像帧内的多个子区域内的像素信息，并为多个子区域中的每个子区域生成像素活动分数。

根据方法的实施例，与多个子区域对应的像素活动分数被记录在活动分数矩阵内。基于活动分数矩阵内的与多个子区域中的一个或多个子区域对应的像素活动分数，产生异常识别决定。

所述方法还可以包括：基于对检测到的异常事件是否受操作员致动事件或运行控制系统致动事件的影响的判断，产生异常识别决定。

本发明还涉及一种用于基于图像对运行环境内的异常事件的发生进行检测的系统。所述系统包括：(i)至少一个处理器；(ii)由至少一个处理器实现的分析器，所述分析器被配置为：(a)从第一图像采集装置接收第一组信息，第一图像采集装置被配置为对运行环境的至少一部分进行成像，第一组信息包括从在第一图像采集装置处产生的第一图像帧提取的图像信息，(b)分析第一组信息以确定第一图像帧是否成像了异常事件的发生，(c)响应于确定第一图像帧成像了异常事件的发生，执行：(1)接收在第二装置处产生的第二组信息，其中，第二组信息表示运行环境的状态，以及(2)分析第二组信息以确定是否已发生异常事件；和(iii)异常检测器，被配置为至少基于来自第二组信息的分析的输出来产生异常识别决定。

在系统的实施例中，(i)由至少一个处理器实现的分析器被配置为使得：(a)分析第一组信息，输出第一分数，并且(b)分析第二组信息，输出第二分数；并且(iii)异常检测器被配置为使得：产生的异常识别决定取决于基于第一分数和第二分数二者。

由至少一个处理器实现的分析器可以被配置为使得，基于与第一组信息相关联的时间戳和第二组信息相关联的时间戳，对第二组信息进行选择。

第二装置可以包括被配置为对运行环境的至少一部分进行成像的第二图像采集装置。第一图像采集装置可以具有第一视场，并且第二图像采集装置可以具有第二视场，使得所述第一视场和所述第二视场在视场重叠区域处相交；以及

由至少一个处理器实现的分析器可以被配置为使得：(i)第二组信息包括从在第二图像采集装置处产生的第二图像帧提取的图像信息，以及(ii)分析第二组信息以确定异常事件的发生包括：确定第二图像帧是否成像了视场重叠区域内的异常事件的发生。

至少第二图像采集装置可以选择性地在第一异常检测配置和第二异常检测配置中的一个内操作。与第一异常检测配置相关联的第一异常检测分数要求选择性地高于与第二异常检测配置相关联的第二异常检测分数要求。

第二图像采集装置可以被配置为，响应于确定第一图像帧成像了异常事件的发生，实现第二异常检测配置。

第二装置可以包括传感器，其被配置为测量与运行环境内的至少一个运行控制参数相对应的状态改变。由至少一个处理器实现的分析器可以被配置为使得：(i)第二组信息包括从传感器接收的状态改变信息，并且(ii)分析第二组信息以确定是否已发生异常事件包括：对测量到的与至少一个运行控制参数对应的状态改变进行分析。

在系统的实施例中，由至少一个处理器实现的分析器被配置为使得对第一组信息的分析包括以下分析中的一种或多种：轨迹分析、基于对象的分析、基于像素的分析、以及将第一组信息与从可燃气体传感器、光电离检测器或电化学传感器接收到的数据进行比较。

由至少一个处理器实现的分析器可以被配置为使得，对第一组信息和第二组信息中的任意一个进行分析包括：分析被分析图像帧内的多个子区域内的像素信息，并为多个子区域中的每个子区域生成像素活动分数。

在实施例中，由至少一个处理器实现的分析器可以被配置为使得：在活动分数矩阵内记录与多个子区域对应的像素活动分数。异常检测器可以被配置为使得：基于活动分数矩阵内的与多个子区域中的一个或多个子区域对应的像素活动分数，产生异常识别决定。

异常检测器可以被配置为使得：还基于确定检测到的异常事件是否受操作员致动事件或运行控制系统致动事件的影响，产生异常识别决定。

本发明还涉及一种用于基于图像对运行环境内的异常事件的发生进行检测的计算机程序产品，计算机程序产品包括在其上实现了计算机可读程序代码的非暂时性计算机可读介质。计算机可读程序代码可以包括用于进行以下操作的指令：(i)从第一图像采集装置接收第一组信息，第一图像采集装置被配置为对运行环境的至少一部分进行成像，第一组信息包括从在第一图像采集装置处产生的第一图像帧提取的图像信息；(ii)分析第一组信息以确定第一图像帧是否成像了异常事件的发生；(iii)响应于确定第一图像帧成像了异常事件的发生，执行：(a)接收在第二装置处产生的第二组信息，其中，第二组信息表示运行环境的状态；以及(b)分析第二组信息以确定是否已发生异常事件；以及(iv)至少基于来自第二组信息的分析的输出来产生异常识别决定。

附图说明

[图1]图1示出基于图像的异常检测的流程图。

[图2]图2示出用于基于从两个图像采集装置馈送的图像对所检测到的异常存在进行验证的方法。

[图3]图3包括描述对图像信息进行分析以检测异常的具体方法的流程图。

[图4A]图4A示出多个图像采集装置的重叠视场的示例性布置。

[图4B]图4B提供基于从图像采集装置接收的图像所产生的示意性活动分数矩阵。

[图5]图5示出用于对基于图像的异常事件确定进行验证的示例性方法。

[图6]图6示出用于对基于图像的异常事件确定进行验证的示例性方法。

[图7]图7示出被配置为实现本发明的方法的示例性运行环境。

[图8]图8示出可以实现本发明的各种实施例的示例性计算系统。

具体实施方式

本发明提供了用于例如在工业工厂或其他工业厂房内基于图像或基于图像馈送的异常检测的方法、系统和计算机程序产品。本发明使得能够将图像分析的结果组合并且能够对来自多个成像装置的图像馈送进行处理，并且在实施例中，还能够将图像分析与从运行控制系统内的一个或多个控制系统组件接收的反馈或数据组合，以期望提高异常检测的准确性。

出于本发明的目的，术语“异常”或“异常事件”应被理解为指偏离或不符合运行环境内的预期或期望的运行状态或组件状态的事件或状态。通常在诸如工业工厂的运行环境中观察到的异常的示例性实例包括：液体或气体的泄漏、溢出、材料溢出、漏油、蒸汽泄漏、一个或多个组件的意外故障、装置的物理损坏、火灾、烟雾和不可接受的温度或压力下降或尖峰、偏离安全标准或法规遵从性要求以及意外或可疑的人或机器活动。

出于本发明的目的，术语“控制系统参数”应被理解为指代一个或多个参数，其中，所述一个或多个参数的可确定的值可用作控制系统和/或控制操作的状态的指示符。

出于本发明的目的，术语“视场”或“角视场”应指图像采集装置对电磁辐射敏感的立体角。换句话说，所述术语是指能够通过图像采集装置(或通过所述图像采集装置内的图像传感器或成像基板)成像的角体积(angular volume)。

出于本发明的目的，术语“图像采集装置”应被理解为指能够采集包括紫外线、可见光、近红外线或红外光谱的电磁光谱的任何范围中的图像的任何装置，并且包括数码相机、摄像机、红外相机、监控相机、能够产生数字图像的图像传感器以及热成像仪。

出于本发明的目的，术语“标签”应被理解为与控制系统内的特定功能块直接相关联或间接相关联的标识符，并且该标签可用于访问控制系统内的特定功能块。在诸如分布式控制系统(DCS)或监视控制和数据采集(SCADA)系统的控制系统中，标签可以包括独特的名称、变量或存储器地址，其中，独特的名称、变量或存储器地址可以用于访问或控制已分配标签的组件或功能块。与控制系统内的物理组件相关联的标签可以被称为“物理标签”，而与数据变量、计算、或者逻辑或顺序操作(并且不标识物理组件)相关联的标签可以被称为“虚拟标签”。

图1示出根据本发明的基于图像的异常检测方法。

步骤102包括对从第一图像采集装置接收的第一图像帧进行分析，其中，图像分析旨在判断所述第一图像帧是否包括指示或确定图像采集装置视场内存在异常的图像信息。

可以基于任意一个或多个图像分析算法来实现所述第一图像帧的图像分析，并且在实施例中，可以使用被配置为检测或识别异常的一个或多个神经网络来处理图像信息。在本发明的各种实施例中，可以出于异常检测的目的实施一种或多种不同的方法，包括轨迹分析、基于对象的图像识别和基于像素的图像分析。已经发现，特别是在工厂安全监视的情况下，与基于对象的表示相比，分析图像帧内各个图像像素和/或图像像素的区域或子区域的颜色和纹理特征会导致更有效地异常识别。例如，已发现跨相邻像素检测到的运动和运动方向对于识别诸如蒸汽泄漏或其他流体泄漏的异常特别有效。可以使用基于区域的分解技术对图像识别系统进行建模。通常，出于活动建模的目的，这种技术涉及以分而治之的方法对与图像采集装置的相应视场的各个子区域进行分析。

应当理解，出于本发明的目的，合适的图像预处理步骤(包括这种图像帧的噪声滤波、裁剪、尺寸调整、缩小尺寸、子采样等)可以在图像帧的图像分析之前进行。

在实施例中，步骤102的图像分析还可以包括：判断或计算分数或其他指示(例如置信度分数)用于表明或识别异常检测准确的可能性(即，已经被解释为表示异常的图像信息实际上是真正表示异常的可能性)。在另一实施例中，可以将这种置信度分数与预定义的最小值进行比较，并且可以仅在置信度分数超过预定义的最小值的情况下，将第一图像帧标记为包括表示异常的图像信息。

响应于基于对第一图像帧的图像分析识别或检测到异常，步骤102可以导致产生或传送关于在第一图像帧内检测到异常的通知、标记或警报。

在步骤104，响应于在第一图像帧内检测到异常，所述方法执行用于对异常的存在进行验证的验证动作。在本发明的实施例中，验证动作或验证分析可以在以下情况下被触发：(i)与步骤102的异常检测相关联的置信度分数低于预定义的最小值，或(ii)与步骤102的异常检测相关联的置信度分数落在预定义的值的范围内。虽然下面更详细地讨论了验证分析的具体实施例(以及可以解释这种验证分析的结果的方式)，但是出于本发明的目的，验证分析应被理解为包括基于图像分析的验证和基于控制系统参数的验证中的一个或二者。

步骤106包括：响应于确认先前在步骤102检测到的异常的存在的验证分析的结果(在步骤104)，产生异常通知或异常确认。

图2示出本发明的实施例，其中，异常检测和对所述异常检测的验证均基于图像分析。

图2的步骤202包括从第一图像采集装置获得或接收第一图像帧，其中，所述第一图像采集装置具有第一视场。

步骤204包括：响应于在第一视场的第一图像区域中检测到异常，识别具有第二视场的第二图像采集装置，使得第一视场的第一图像区域也包括在第二视场内。

步骤204以多个图像采集装置分别覆盖被监测场所内的不同视场的布置为前提-其中，两个或更多个图像采集装置可以具有部分重叠的视场。

可以参照图4A,图4A示出了由分别具有视场FOV1、FOV2和FOV3的三个图像采集装置监视的区域400A。如图4A所示，视场FOV1和视场FOV2部分重叠-其中，重叠产生第一重叠区域A。类似地，视场FOV1和FOV3部分重叠，使得重叠产生第二重叠区域B。

假设出于说明性示例的目的，方法步骤202导致从具有视场FOV1的第一图像采集装置获得第一图像帧，此外，在落入视场FOV1的区域A内的图像区域内检测到异常，则步骤204将识别具有视场FOV2的第二图像采集装置-由于视场FOV2还包括已经在其中检测到异常的图像区域A。换句话说，步骤204的目的是识别具有覆盖第一相机或图像采集装置已检测到异常的区域的视场的第二相机或图像采集装置-使得来自第二装置的图像帧可用于异常验证目的。

可以通过查阅或参考各种成像装置的视场的预定义的地图和相关性图表来实现对具有重叠视场的图像采集装置的识别。在本发明的实施例中，可以在系统配置或工程时实现预定义的映射或相关性。在本发明的实施例中，多个图像采集装置和/或它们相应的图像处理器或图像处理节点可以以点对点布置的方式通信地耦合-其中，响应于在任意一个图像采集装置的视场内检测到异常，所述图像采集装置或相关联的处理节点搜索并识别至少一个其它图像采集装置，所述至少一个其它图像采集装置被配置为对其中已经由第一图像采集装置检测到异常的图像区域进行成像。

在本发明的实施例中，第一图像采集装置和第二图像采集装置可以具有不同的视场、不同的像素分辨率、不同的聚焦设置、不同的光学变焦设置、不同的数字变焦设置、不同的曝光设置、插入在它们相应的图像传感器和视场之间的不同的滤光器布置、不同的角视场、不同的全景或倾斜能力或设置和/或对电磁辐射的不同灵敏度。已经发现在第一图像采集装置和第二图像采集装置在一个或多个上述方面不同的情况下，由图2的方法导致的异常检测精度提高的可能性可以增加。

在步骤206，选择由第二图像采集装置产生的第二图像帧，其中，基于与第一图像帧相关联的时间戳信息和第二图像帧相关联的时间戳信息，选择第二图像帧。在实施例中，基于确定与第一图像帧相关联的第一时间戳和与第二图像帧相关联的第二时间戳之间的时间差小于预定义的最大值，来选择第二图像帧。在实施例中，第二成像装置在与第一成像装置采集第一图像帧相同或基本上相同的时间采集第二图像帧。在另一实施例中，与第二图像帧相关联的时间戳和与第一图像帧相关联的时间戳在时间上相差大于预定义的最小值且小于最大的预定义值。

步骤208包括分析与第二图像帧内的第一图像区域对应的图像信息是否存在异常。在步骤210，基于第一图像帧和第二图像帧中的一个或两个的图像分析的结果，确定或确认存在在第一图像区域内发生的异常或异常事件。

在本发明的一个特定实施例中，每个图像采集装置可以选择性地在第一异常检测配置和第二异常检测配置中操作，其中，第一异常检测配置和第二异常检测配置彼此不同(即，相互区别或可区分的)。在示例性实施例中，第一异常检测配置可包括对第一最小置信度分数的要求或第一最小像素活动分数的要求，而第二异常检测配置可包括对第二最小置信度分数的要求或第二最小像素活动分数的要求，使得第二最小置信度分数/第二最小像素活动分数低于第一最小置信度分数/第二最小像素活动分数。在图2中更一般地描述的方法的实施例中，(i)根据步骤202对从图像采集装置接收的图像帧中的异常的检测是基于第一异常检测方法(即，较高的一组要求)，而(ii)根据步骤208对从同一图像采集装置接收的图像帧内的异常的检测是基于第二异常检测方法(即，较低的一组要求)。

在本发明的实施例中，步骤210导致完全基于在步骤208对异常的检测来识别异常。在另一实施例中，在步骤210对异常的识别可以涉及：合并基于第一图像帧的异常检测的结果与基于第二图像帧的异常检测的结果。在特定实施例中，在步骤210对异常的识别可以涉及：合并分别从第一图像帧的异常分析和第二图像帧的异常分析产生的第一置信度分数和第二置信度分数，其中，将第一置信度分数和第二置信度分数合并并阐释合并结果的步骤可以基于预定义的一组规则，其用于将置信度分数合并或阐释两个或多个置信度分数的结果。在实施例中，出于步骤210的目的的异常分析(即，用于在步骤210识别异常)可以包括：一段时间内置信度分数的互相关。

出于图2的方法的目的，将理解，上文讨论的基于图像分析的任意异常检测方法可以用于第一图像帧的分析和第二图像的分析中的任意一个或二者。图3示出可以在这种基于图像分析的异常检测中涉及的方法步骤的示例性实施例。

图3的步骤302包括将图像采集装置的视场划分为多个子区域。在实施例中，可以基于从图像采集装置接收的每个图像帧、通过逐帧地实施划分指令或分类指令，划分为多个子区域。

步骤304包括从图像采集装置接收图像帧。此后，步骤306涉及分析接收的图像帧中的每个子区域内的像素信息-并且生成每个子区域的活动分数。每个子区域的活动分数是在该子区域内检测到的基于图像分析的活动(例如运动、移动或状态改变)分数。针对图像帧内的多个子区域确定的活动分数用于产生整个图像帧的活动分数矩阵。

图4B示出了可以在步骤306产生的一种示例性活动分数矩阵400B。如图所示，图4B的活动分数矩阵400B包括多个活动分数，每个活动分数与图像帧子区域402至414中的一个对应。在示例性活动分数矩阵400B中，将观察到图像帧子区域410与其余图像帧子区域402至408和412至416(其分数分别在0.11和0.2之间)相比具有显著更高的活动分数(0.6)。基于像素活动分析产生的显著更高的活动分数表明在图像帧子区域410内检测到可观察的/视觉上可检测的状态改变。

此后的步骤308包括在图像子区域内对异常的存在的识别或对检测到的异常的“类型”的识别-在实施例中，该识别可以取决于基于算法或神经网络对活动分数矩阵内的一个或多个或全部活动分数的处理。

根据步骤302至步骤308的异常检测的结果可以结合上文结合图1和图2讨论的，或者结合下文结合图5和图6讨论的任意异常检测步骤来实现。

图5示出了基于图像分析的异常检测方法，其中，基于对控制系统参数的分析来验证使用图像分析检测到的异常。

所述方法的步骤502包括对物理位置位于图像采集装置的视场内(或在视场的限定的近处)的运行控制系统(例如DCS或SCADA系统)的一个或多个组件进行识别。在实施例中，步骤502可以可选地包括识别与运行控制系统的组件相关联的标签，所述组件物理位置位于图像采集装置的视场内(或在视场的限定的近处)。在实施例中，识别出的控制系统组件或与这些组件相关联的标签可以与所考虑的图像采集装置相关联或映射到图像采集装置。

步骤504包括可选地将识别出的运行控制系统组件或标签中的一个或多个与视场的特定区域相关联-使得所述控制系统组件或标签位于相应子区域内(或在相应子区域的限定的近处)。

在实施例中，可以在与运行环境相关联的运行控制系统、图像采集装置或监视系统的配置期间，实现步骤502和步骤504中的一个或两个。

步骤506包括对从图像采集装置接收的图像帧进行分析-以检测所述图像采集装置的视场内异常的存在和发生。

步骤508包括：响应于基于对图像帧的图像分析检测到异常，选择与已检测到异常的视场的区域相关联(或与视场或图像采集装置整体相关联的)的一个或多个控制系统组件或标签。

步骤510包括对与所选择的一个或多个组件或标签相关联的运行控制参数进行分析，以识别任何意外或异常的状态改变。在本发明的实施例中，对运行控制参数的分析可以涉及将检测到的运行控制参数与一个或多个预定义的、预期的或预测的参数值或参数状态进行比较。

步骤512包括基于步骤506的图像分析的结果和/或步骤510的运行控制参数的分析的结果来进行异常的识别。在实施例中，步骤512的识别结果完全基于步骤510的异常的检测。在另一实施例中，步骤512的异常的识别可以涉及结合步骤506的基于图像分析的异常检测的结果和步骤510的基于运行控制参数的异常检测的结果。

在特定实施例中，步骤512的异常的识别可以涉及结合分别从步骤506和步骤510的异常分析产生的第一置信度分数和第二置信度分数，其中，将第一置信度分数和第二置信度分数结合并对组合结果进行阐释的步骤可以基于预定义的一组规则，其用于将置信度分数进行结合或对两个或多个置信度分数的结果进行阐释。

图6示出了本发明的示例性实施例，包括与上面讨论的基于图像分析的异常检测相关的另一验证步骤。

步骤602包括从图像采集装置接收图像帧。根据上文描述的任意方法，可以对图像帧进行分析以检测所述图像采集装置的视场内异常的存在或发生。

步骤604包括响应基于图像分析在图像帧中检测到异常，对与运行控制组件或标签对应的运行控制参数进行分析，所述运行控制组件或标签已与图像采集装置的视场相关联。在实施例中，可以根据如上所述的方法步骤502和/或504来实现运行控制组件或标签与图像采集装置的视场之间的关联。

步骤606包括：确定与所识别的组件或标签对应的运行控制参数或参数状态的改变是否源自故意的、预期的或合法的操作员动作，或者源自所考虑的运行控制系统的预期功能。响应于确定与所述组件或标签对应的运行控制参数或参数状态的改变不是源自故意的、预期的或合法的操作员动作和/或不是源自所考虑的运行控制系统的预期功能，则步骤608包括对异常的存在或异常事件的发生的识别。

图7示出被配置为实现本发明的方法的示例性运行环境700。

运行环境700包括多个图像采集装置702a至702n，每个图像采集装置通信地耦接到对应的图像处理节点704a至704n。图像处理节点704a至704n中的每个图像处理节点连接到图像分析器708-所述图像分析器被配置为根据上文所述的任意方法实现基于图像的异常检测。

图像分析器708还可以与位置数据库706通信地耦接，所述数据库可以包括存储与以下项相关的信息的数据存储库：(i)具有重叠视场的图像采集装置，(ii)由多个图像采集装置共用的特定视场子区域，以及(iii)位于相应图像采集装置的一个或多个视场内(或一个或多个视场附近)的特定控制系统组件(或相应的标签)。

图像分析器708还可以与控制系统监视器710通信地耦接-所述控制系统监视器710可以被配置为对控制系统组件(或相应的标签)的控制系统参数和数据状态进行监视，以用于上述任意目的。

图像分析器708和控制系统监视器710还可以与异常检测器712通信地耦接。异常检测器712可以被配置为根据上述任意方法来检测异常的存在或异常事件的发生。异常检测器712又可以与异常响应控制器714通信地耦接，该异常响应控制器714可以被配置为触发或实现对在运行环境内检测到异常的任意一个或多个预定义的响应-包括但不限于，产生或通信关于检测到异常的通知、标记或警报。

图8示出用于实现本发明的示例性计算系统。

计算系统802包括一个或多个处理器804和至少一个存储器806。处理器804被配置为执行程序指令-并且可以是真实处理器或虚拟处理器。将理解，计算系统802不对所描述的实施例的使用范围或功能范围提出任何限制。计算系统802可以包括但不限于通用计算机、编程的微处理器、微控制器、集成电路以及能够实现构成本发明的方法的步骤的其他装置或装置的布置中的一个或多个。根据本发明的系统802的示例性实施例可以包括一个或多个服务器、台式计算机、笔记本型计算机、平板计算机、智能电话、移动电话、移动通信装置、平板电话和个人数字助理。在本发明的实施例中，存储器806可以存储用于实现本发明的各种实施例的软件。计算系统802可以具有附加组件。例如，计算系统802可以包括一个或多个通信信道808、一个或多个输入装置810、一个或多个输出装置812和存储装置814。诸如总线、控制器或网络的互连机制(未示出)将计算系统802的组件互连。在本发明的各种实施例中，操作系统软件(未示出)使用处理器804为计算系统802中执行的各种软件提供操作环境，并对计算系统802的组件的不同功能进行管理。

通信信道808允许通过通信介质与各种其他计算实体通信。通信介质在通信媒介中提供诸如程序指令或其他数据的信息。通信介质包括但不限于利用电、光、RF、红外、声学、微波、蓝牙或其他传输介质实现的有线或无线方法。

输入装置810可以包括但不限于触摸屏、键盘、鼠标、笔、操纵杆、轨迹球、语音装置、扫描装置或能够向计算系统802提供输入的任何其他装置。在本发明的实施例中，输入装置810可以是接收模拟形式或数字形式的音频输入的声卡或类似装置。输出装置812可以包括但不限于CRT、LCD、LED显示器上的用户界面，或与服务器、台式计算机、笔记本型计算机、平板计算机、智能电话、移动电话、移动通信装置、平板电话和个人数字助理、打印机、扬声器、CD/DVD写入器或提供来自计算系统802的输出的任意其它装置中的任意装置相关联的任意其它显示器上的用户界面。

存储装置814可以包括但不限于磁盘、磁带、CD-ROM、CD-RW、DVD、任何类型的计算机存储器、磁条、智能卡、印刷条形码或可以用于存储信息并且可以由计算系统802访问的任何其他暂时性或非暂时性的介质。在本发明的各种实施例中，存储装置814可以包含用于实现任何所述实施例的程序指令。

在本发明的实施例中，计算系统802是分布式网络的一部分或一组可用云资源的一部分。

本发明可以以包括作为系统、方法或计算机程序产品(诸如计算机可读存储介质或从远程位置传送编程指令的计算机网络)的多种方式实现。

本发明可以适当地体现为与计算系统802一起使用的计算机程序产品。本文描述的方法通常被实现为计算机程序产品，包括由计算系统802或任何其他类似装置执行的一组程序指令。所述一组程序指令可以是存储在诸如计算机可读存储介质(存储装置814)的有形介质(例如，软盘、CD-ROM、ROM、闪存驱动器或硬盘)上的一系列计算机可读代码，或可以是经由调制解调器或其他接口装置通过包括但不限于光学或模拟通信信道808的有形介质可发送到计算系统802的一系列计算机可读代码。作为计算机程序产品的本发明的实现可以是使用无线技术(包括但不限于微波、红外、蓝牙或其他传输技术)的无形形式。这些指令可以预先加载到系统中或记录在诸如CD-ROM的存储介质上，或者可以通过诸如互联网或移动电话网络的网络下载。该系列计算机可读指令可以体现本文先前描述的全部或部分功能。

虽然本文描述并示出了本发明的示例性实施例，但是将理解，它们仅仅是说明性的。本领域技术人员将理解，在不脱离或否定由所附权利要求限定的本发明的精神和范围的情况下，可以在形式和细节上进行各种修改。此外，本文说明性地公开的本发明可适当地在不存在本文未具体公开的任何元件的情况下被实施-并且在具体考虑的特定实施例中，意图在不存在本文未具体公开的任何元件的情况下实施。

Claims (23)

1.一种用于基于图像对运行环境内的异常事件的发生进行检测的方法，所述方法包括以下步骤：

从第一图像采集装置接收第一组信息，所述第一图像采集装置被配置为对所述运行环境的至少一部分进行成像，所述第一组信息包括从所述第一图像采集装置处产生的第一图像帧提取的图像信息；

分析所述第一组信息以确定所述第一图像帧是否成像了异常事件的发生；

响应于确定所述第一图像帧成像了异常事件的发生，执行以下步骤：

接收在第二装置处产生的第二组信息，其中，所述第二组信息表示所述运行环境的状态；以及

分析所述第二组信息以确定是否已发生异常事件；以及

至少基于来自所述第二组信息的分析的输出来产生异常识别决定。

2.如权利要求1所述的方法，其中，

分析所述第一组信息，输出第一分数，

分析所述第二组信息，输出第二分数，并且

产生的所述异常识别决定取决于所述第一分数和所述第二分数二者。

3.如权利要求1所述的方法，其中，基于与所述第一组信息相关联的时间戳和所述第二组信息相关联的时间戳，对所述第二组信息进行选择。

4.如权利要求1所述的方法，其中，

所述第二装置是被配置为对所述运行环境的至少一部分进行成像的第二图像采集装置，

所述第一图像采集装置具有第一视场，所述第二图像采集装置具有第二视场，使得所述第一视场和所述第二视场在视场重叠区域处相交，

所述第二组信息包括从在所述第二图像采集装置处产生的第二图像帧提取的图像信息，以及

分析所述第二组信息以确定异常事件的发生包括：确定所述第二图像帧是否成像了所述视场重叠区域内的异常事件的发生。

5.如权利要求4所述的方法，其中，至少所述第二图像采集装置可选择性地在第一异常检测配置和第二异常检测配置中的一个中操作，并且

其中，与所述第一异常检测配置相关联的第一异常检测分数要求选择性地高于与所述第二异常检测配置相关联的第二异常检测分数要求。

6.如权利要求5所述的方法，其中，所述第二图像采集装置被配置为响应于确定所述第一图像帧对异常事件的发生进行成像，实现所述第二异常检测配置。

7.如权利要求1所述的方法，其中，

所述第二装置是传感器，所述传感器被配置为测量与所述运行环境内的至少一个运行控制参数相对应的状态改变，

所述第二组信息包括从所述传感器接收到的状态改变信息，以及

分析所述第二组信息以确定是否已发生异常事件包括：对测量到的与所述至少一个运行控制参数相对应的所述状态改变进行分析。

8.如权利要求1或4所述的方法，其中，对所述第一组信息的分析包括以下分析中的一种或多种：轨迹分析、基于对象的分析、基于像素的分析、以及将所述第一组信息与从可燃气体传感器、光电离检测器或电化学传感器接收到的数据进行比较。

9.如权利要求1或4所述的方法，其中，分析所述第一组信息或所述第二组信息中的任意一个包括：分析被分析图像帧内的多个子区域内的像素信息，并为所述多个子区域中的每个子区域生成像素活动分数。

10.如权利要求1所述的方法，其中，

将与所述多个子区域对应的像素活动分数记录在活动分数矩阵内，并且

基于所述活动分数矩阵内的与所述多个子区域中的一个或多个子区域相对应的像素活动分数来产生所述异常识别决定。

11.如权利要求1所述的方法，其中，还基于确定检测到的异常事件是否受操作员致动事件或运行控制系统致动事件的影响，产生所述异常识别决定。

12.一种用于基于图像对运行环境内的异常事件的发生进行检测的系统，所述系统包括：

至少一个处理器；

由至少一个处理器实现的分析器，所述分析器被配置为：

从第一图像采集装置接收第一组信息，所述第一图像采集装置被配置为对所述运行环境的至少一部分进行成像，所述第一组信息包括从在所述第一图像采集装置处产生的第一图像帧提取的图像信息，

分析所述第一组信息以确定所述第一图像帧是否成像了异常事件的发生，

响应于确定所述第一图像帧成像了异常事件的发生，执行以下步骤；

接收在第二装置处产生的第二组信息，其中，所述第二组信息表示所述运行环境的状态，以及

分析所述第二组信息以确定是否已发生异常事件；以及

异常检测器，被配置为至少基于来自所述第二组信息的分析的输出来产生异常识别决定。

13.如权利要求12所述的系统，其中，

由至少一个处理器实现的所述分析器被配置为：

分析所述第一组信息，输出第一分数，并且

分析所述第二组信息，输出第二分数；以及

所述异常检测器被配置为使得产生的所述异常识别决定取决于所述第一分数和所述第二分数二者。

14.如权利要求12所述的系统，其中，由至少一个处理器实现的所述分析器被配置为：基于与所述第一组信息相关联的时间戳和所述第二组信息相关联的时间戳，对所述第二组信息进行选择。

15.如权利要求12所述的系统，其中，

所述第二装置是被配置为至少对所述运行环境的一部分进行成像的第二图像采集装置，

所述第一图像采集装置具有第一视场，所述第二图像采集装置具有第二视场，使得所述第一视场和所述第二视场在视场重叠区域处相交，以及

由至少一个处理器实现的所述分析器被配置为使得：

所述第二组信息包括从在所述第二图像采集装置处产生的第二图像帧提取的图像信息，以及

分析所述第二组信息以确定异常事件的发生包括：确定所述第二图像帧是否成像了所述视场重叠区域内的异常事件的发生。

16.如权利要求15所述的系统，其中，至少所述第二图像采集装置可选择性地在第一异常检测配置和第二异常检测配置中的一个中操作，并且

其中，与所述第一异常检测配置相关联的第一异常检测分数要求选择性地高于与所述第二异常检测配置相关联的第二异常检测分数要求。

17.如权利要求16所述的系统，其中，所述第二图像采集装置被配置为：响应于确定所述第一图像帧对异常事件的发生进行成像，实现所述第二异常检测配置。

18.如权利要求12所述的系统，其中，

所述第二装置是传感器，所述传感器被配置为测量与所述运行环境内的至少一个运行控制参数相对应的状态改变，

由至少一个处理器实现的所述分析器被配置为使得：

所述第二组信息包括从所述传感器接收到的状态改变信息，以及

分析所述第二组信息以确定是否已发生异常事件包括：对测量到的与所述至少一个运行控制参数相对应的状态改变进行分析。

19.如权利要求12或15所述的系统，其中，由至少一个处理器实现的所述分析器被配置为使得，对所述第一组信息的分析包括以下分析中的一种或多种：轨迹分析、基于对象的分析、基于像素的分析、以及将所述第一组信息与从可燃气体传感器、光电离检测器或电化学传感器接收到的数据进行比较。

20.如权利要求12或15所述的系统，其中，由至少一个处理器实现的所述分析器被配置为使得，对所述第一组信息或所述第二组信息中的任意一个进行分析包括：对被分析图像帧内的多个子区域内的像素信息进行分析，并为所述多个子区域中的每个子区域生成像素活动分数。

21.如权利要求12所述的系统，其中，

由至少一个处理器实现的所述分析器被配置为使得：与所述多个子区域相对应的像素活动分数被记录在活动分数矩阵内，并且

所述异常检测器被配置为使得：基于所述活动分数矩阵内的与所述多个子区域中的一个或多个子区域相对应的像素活动分数，产生所述异常识别决定。

22.如权利要求12所述的系统，其中，所述异常检测器被配置为使得：还基于确定检测到的异常事件是否受操作员致动事件或运行控制系统致动事件的影响，产生所述异常识别决定。

23.一种用于基于图像对运行环境内的异常事件的发生进行检测的计算机程序产品，所述计算机程序产品包括在其上实现计算机可读程序代码的非暂时性计算机可读介质，所述计算机可读程序代码包括用于进行以下步骤的指令：

从第一图像采集装置接收第一组信息，所述第一图像采集装置被配置为对所述运行环境的至少一部分进行成像，所述第一组信息包括从在所述第一图像采集装置处产生的第一图像帧提取的图像信息；

分析所述第一组信息以确定所述第一图像帧是否成像了异常事件的发生；

响应于确定所述第一图像帧成像了异常事件的发生，执行以下步骤：

接收在第二装置处产生的第二组信息，其中，所述第二组信息表示所述运行环境的状态；以及

分析所述第二组信息以确定是否发生异常事件；以及

至少基于来自所述第二组信息的分析的输出来产生异常识别决定。