JP2020515971A - 画像ベースによる異常検知の方法およびシステム - Google Patents

Abstract

本発明は、プロセス環境内の異常事象の発生を画像ベースで検知するための方法、システムおよびコンピュータプログラム製品を提供する。異常事象の発生の検知は、（ｉ）第１画像取得装置から第１の情報セットを受信するステップ；（ｉｉ）第１画像フレームが異常事象の発生を撮像したか否かを判定するために第１の情報セットを解析するステップ、（ｉｉｉ）第２装置で生成された、プロセス環境を表す第２の情報セットを受信するステップ、（ｉｖ）異常が発生したか否かを判定するために第２の情報セットを解析するステップ、および（ｖ）少なくとも第２の情報セットの解析からの出力に基づいて、異常識別の決定を生成するステップを含む。

Description

本発明は産業プラントまたは他の施設などのプロセス環境内における異常検知に関する。特に本発明は、一つまたは複数の画像取得装置から受信した画像の処理および解析に基づく、異常または異常事象の検知を可能にする。

産業プラントまたは他のプロセス環境における異常発生の監視は、プラントまたはプロセス環境が最適な状態または機能的な状態であることを確認するために必要な、ルーチン要件である。

このような監視により、異常検知またはシステム状態の予期しないまたは望ましくない変化に応じる予防保全や是正措置をタイムリーに開始することが可能となる。

プロセス環境内における監視および異常検知の一般的なソリューションとして、フィールドオペレータによるマニュアルインスペクションがある。このようなソリューションはフィールドオペレータの可用性に依存し、異常検知はフィールドオペレータが異常を視覚的に観察して識別することができる場合に生じるため、リアルタイムでプラント全体の異常を検知することは困難となる。

より一貫性のある連続的な異常検知を達成する一つのソリューションとして、視覚ベースシステム（すなわちカメラベースソリューション）を使用した産業プラント内における異常検知がある。このソリューションには、プラント内の様々な場所に設置された防犯カメラや他のカメラからの画像の受信や、受信画像上での画像処理アルゴリズムの実行による異常事象の識別が含まれる。異常事象が検知されると、予防保全や是正措置のアラートやアラームがトリガされる。

画像処理アルゴリズムには、画像から抽出された画像データもしくは画素データの処理、および予期せぬシステム状態もしくは挙動の存在の（画像データもしくは画素データに基づく）識別、または予期せぬ状態もしくは事象からの逸脱の識別を行う、任意の一つまたは複数のアルゴリズムが含まれ、特定の場合においては、異常な状態または異常なシステム挙動を識別するように訓練されたニューラルネットワークを使用した、画像データまたは画素データの処理が含まれる場合がある。異常な状態または挙動を認識するためのニューラルネットワークの訓練は、異常な状態または挙動に対応するものとしてすでに分類された画像からなるトレーニングデータセットを使用して、このようなネットワークを訓練することにより、達成することができる。このような訓練により、ニューラルネットワーク内の処理ノードの重さは、ニューラルネットワークの認識精度が所望の最小精度に到達するまで、トレーニングデータセットに基づいて繰り返し調整することができる。

使用時、ニューラルネットワークは一つまたは複数の撮像装置から受信した画像情報を受信、処理し、画像情報が異常状態または事象に対応する可能性を示す信頼スコアを出力する。一つまたは複数の所定のスコアリング要件を満足させる信頼スコアを受信すると、特定の画像または一組の画像は異常事象または状態に対応する画像情報を含んでいると判定され、このような画像は、ヒューマン・マシン・インターフェース（ＨＭＩ）ディスプレイに、異常が検知された特定の領域が任意選択でハイライトされて表示することができる。

異常検知に基づく画像解析の問題点は、特定の場合、画像情報が異常事象に関連しているか否かを画像処理アルゴリズムが最終的に判定できない可能性のあることである。これには、好ましくないカメラの位置決め、光学分解能の不足、不十分な焦点合わせ、カメラの不十分なズーム能力、不十分な画素分解能、または撮像装置と異常事象との間に一つまたは複数のオブジェクトが存在し、異常事象の一部がカメラから遮られるなどの、複数の理由がある。更に、プラント内には複数のカメラが設置されているにもかかわらず、異常事象の検知を向上させる手段として、複数のカメラからの情報を解析する整合性のとれた統合的なアプローチに対するソリューションがない。

本発明はこれらの問題および他の問題へ対処しようとするものである。

本発明は、プロセス環境内における異常事象の発生の画像ベースによる検知方法を提供する。本方法は、（ｉ）プロセス環境の少なくとも一部を撮像する第１画像取得装置から、当該第１画像取得装置で生成された第１画像フレームから抽出された画像情報を含む第１の情報セットを受信するステップと、（ｉｉ）第１画像フレームが異常事象の発生を撮像しているか否かを判定するために第１の情報セットを解析するステップと、（ｉｉｉ）第１画像フレームが異常事象の発生を撮像していると判定した場合、（ａ）第２装置で生成された、プロセス環境の状態を表す第２の情報セットを受信し、（ｂ）第２の情報セットを解析して異常事象が発生したか否かを判定するステップと、（ｉｖ）少なくとも第２の情報セットの解析からの出力に基づいて、異常識別の決定を生成するステップとを含む。

方法の実施形態において、（ｉ）第１の情報セットの解析によって第１スコアが出力され、（ｉｉ）第２の情報セットの解析によって第２スコアが出力され、（ｉｉｉ）生成された異常検知の決定は、第１及び第２スコアに基づいて行われる。

第２の情報セットの選択は、第１の情報セットおよび第２の情報セットのそれぞれに関連付けられたタイムスタンプに基づいて行うことができる。

一実施形態において、第２装置はプロセス環境の少なくとも一部を撮像する第２画像取得装置を備える。第１画像取得装置は第１視野を有し、第２画像取得装置は第２視野を有し、これらの第１視野および第２視野は視野重複領域で交差する。第２の情報セットは、第２画像取得装置で生成された第２画像フレームから抽出された画像情報を含む。異常事象の発生を判定するために第２の情報セットを解析するステップは、第２画像フレームが視野重複領域内で異常事象の発生を撮像したか否かを判定するステップを含んでもよい。

少なくとも第２画像取得装置は、第１の異常検知構成および第２の異常検知構成のうちの一つ内で選択的に動作可能であってもよい。第１の異常検知構成に関連付けられた第１の異常検知スコア要件は、第２の異常検知構成に関連付けられた第２の異常検知スコア要件よりも選択的に高くてもよい。

方法の実施形態において、第２画像取得装置は、第１画像フレームが異常事象の発生を撮像したという判定に応じて第２の異常検知構成を実装するように構成される。

第２装置は、プロセス環境における少なくとも一つのプロセス制御パラメータに対応する状態変化を測定するセンサを備えてもよい。第２の情報セットはセンサから受信した状態変化情報を含んでもよい。異常事象が発生したか否かを判定するための第２の情報セットを解析するステップは、少なくとも一つのプロセス制御パラメータに対応して測定された状態変化を解析するステップを含んでもよい。

方法の一実施形態において、第１の情報セットの解析には、軌道解析、オブジェクトベースの解析、画素ベースの解析、および第１の情報セットと可燃性ガスセンサ、光イオン化検知器、または電気化学センサから受信したデータとの比較の中の一つまたは複数が含まれる。

第１の情報セットまたは第２の情報セットのいずれかの解析には、解析中の画像フレーム内の複数のサブ領域内における画素情報を解析するステップ、および複数のサブ領域のそれぞれに対して画素アクティビティスコアを生成するステップが含まれる。

本方法の一実施形態によれば、複数のサブ領域に対応する画素アクティビティスコアは、アクティビティスコアマトリックス内に記録される。異常識別決定の生成は、アクティビティスコアマトリックス内の複数のサブ領域の中の一つまたは複数に対応する画素アクティビティスコアに基づいて行われる。

本方法はまた、検知された異常事象が、オペレータ作動事象またはプロセス制御システム作動事象による影響を受けたか否かの判定に基づいて異常識別決定を生成するステップを含む。

本発明は更に、プロセス環境内における異常事象の発生の、画像ベースによる検知を行うシステムに関する。このシステムは、（ｉ）少なくとも一つのプロセッサと、（ｉｉ）少なくとも一つのプロセッサ実装解析装置と、（ｉｉｉ）少なくとも第２の情報セットの解析からの出力に基づいて異常識別決定を生成する異常検知器とを備え、プロセッサ実装解析装置は、（ａ）プロセス環境の少なくとも一部を撮像する第１画像取得装置から、第１画像取得装置で生成された第１画像フレームから抽出された画像情報を含む第１の情報セットを受信し、（ｂ）第１画像フレームが異常事象の発生を撮像したか否かを判定するために第１の情報セットを解析し、（ｃ）第１画像フレームが異常事象の発生を撮像したという判定に応じて、（１）第２装置で生成された、プロセス環境の状態を表す第２の情報セットを受信し、（２）第２の情報セットを解析して異常事象が発生したか否かを判定する。

システムの一実施形態において、（ｉ）少なくとも一つのプロセッサ実装解析装置は、（ａ）第１の情報セットの解析によって第１スコアが出力され、（ｂ）第２の情報セットの解析によって第２スコアが出力されるように構成され、（ｉｉ）異常検知器は、生成された異常識別決定が第１および第２スコアの両方に基づくように構成される。

少なくとも一つのプロセッサ実装解析装置は、第２の情報セットの選択が第１の情報セットおよび第２の情報セットのそれぞれに関連付けられたタイムスタンプに基づいて行われるように構成することができる。

第２装置は、プロセス環境の少なくとも一部を撮像する第２画像取得装置を備えてもよい。第１画像取得装置は第１視野を有し、第２画像取得装置は第２視野を有し、第１視野および第２視野は視野重複領域で交差する。

少なくとも一つのプロセッサ実装解析装置は、（ｉ）第２の情報セットが第２画像取得装置で生成された第２画像フレームから抽出された画像情報を含み、（ｉｉ）異常事象の発生を判定するための第２の情報セットを解析するステップが、第２画像フレームが視野重複領域内で異常事象の発生を撮像したか否かを判定するステップを含むように構成することができる。

少なくとも第２画像取得装置は、第１の異常検知構成および第２の異常検知構成のいずれか内で選択的に動作可能とすることができる。第１の異常検知構成と関連付けられた第１異常検知スコア要件は、第２の異常検知構成と関連付けられた第２異常検知スコア要件よりも選択的に高い。

第２画像取得装置は、第１画像フレームが異常事象の発生を撮像したという判定に応じて、第２の異常検知構成を実装するように構成してもよい。

第２装置は、プロセス環境内における少なくとも一つのプロセス制御パラメータに対応する状態変化を測定するセンサを備えてもよい。少なくとも一つのプロセッサ実装解析装置は、（ｉ）第２の情報セットがセンサから受信した状態変化情報を含み、（ｉｉ）異常事象が発生したか否かを判定するための第２の情報セットを解析するステップが、少なくとも一つのプロセス制御パラメータに対応する測定状態変化を解析するステップを含むように構成してもよい。

システムの一実施形態において、少なくとも一つのプロセッサ実装解析装置は、第１の情報セットの解析が、軌道解析、オブジェクトベースの解析、画素ベースの解析および第１の情報セットと可燃性ガスセンサ、光イオン化検知器、または電気化学センサから受信したデータとの比較の中の一つまたは複数を含むように構成される。

少なくとも一つのプロセッサ実装解析装置は、第１の情報セットまたは第２の情報セットのいずれかを解析するステップが、解析中の画像フレーム内の複数のサブ領域内における画素情報を解析するステップと、複数のサブ領域のそれぞれに対して画素アクティビティスコアを生成するステップとを含むように構成してもよい。

少なくとも一つのプロセッサ実装解析装置は、一実施形態において、複数のサブ領域に対応する画素アクティビティスコアがアクティビティスコアマトリックス内に記録されるように構成されてもよい。異常検知器は、異常識別決定を生成するステップが、アクティビティスコアマトリックス内の複数のサブ領域の一つまたは複数に対応する画素アクティビティスコアに基づいて行われるように構成されてもよい。

異常検知器は、異常識別決定を生成するステップが、検知された異常事象がオペレータ作動事象またはプロセス制御システム作動事象による影響を受けたか否かという判定に更に基づいて行われるように構成してもよい。

本発明は更に、プロセス環境内における異常事象発生の画像ベース検知のためのコンピュータプログラム製品に関するものであり、コンピュータプログラム製品は、具現化されたコンピュータ可読プログラムコードを有する非一時的コンピュータ可読媒体を備える。コンピュータ可読プログラムコードは、以下、すなわち、（ｉ）プロセス環境の少なくとも一部を撮像する第１画像取得装置から、第１画像取得装置で生成された第１画像フレームから抽出された画像情報を含む第１の情報セットを受信するステップ、（ｉｉ）第１画像フレームが異常事象の発生を撮像したか否かを判定するために第１の情報セットを解析するステップ、（ｉｉｉ）第１画像フレームが異常事象の発生を撮像したという判定に応じて、（ａ）第２装置で生成された、プロセス環境の状態を表す第２の情報セットを受信し、（ｂ）異常事象が発生したか否かを判定するために第２の情報セットを解析するステップ、（ｉｖ）少なくとも第２の情報セットの解析からの出力に基づいて異常識別決定を生成するステップ、に対する命令を含んでもよい。

画像ベースの異常検知を示すフローチャートである。 ２つの画像取得装置からの画像フィードに基づいて検知された、異常の存在を検証する方法を示す図である。 異常検知のための画像情報解析に関する特定の方法を記載したフローチャートである。 複数の画像取得装置の重複視野の例示的配置を示す図である。 画像取得装置から受信した画像に基づいて生成された例示的アクティビティスコアマトリックスである。 異常事象の画像ベースの判定を検証する例示的方法を示す図である。 異常事象の画像ベースの判定を検証する例示的方法を示す図である。 本発明の方法を実装するために構成された例示的プロセス環境を示す図である。 本発明の種々の実施形態を実装することができる例示的コンピュータシステムを示す図である。

本発明は、例えば産業プラントまたは他の産業施設内における、画像ベースまたは画像フィードベースによる異常検知の方法、システムおよびコンピュータプログラム製品を提供する。本発明は画像解析結果の結合を可能にし、複数の撮像装置からの画像フィードの処理を可能にする。一実施形態において、本発明はまた異常検知精度の向上を目的とし、画像解析と、プロセス制御システム内の一つまたは複数の制御システムコンポーネントから受信したフィードバックまたはデータとの結合も可能にする。

本発明において、「異常」または「異常事象」という用語は、プロセス環境において予測される、または所望されるプロセスの状態またはコンポーネントの状態から逸脱した、またはそれに適合しない事象または状態のことであると理解されたい。産業プラントなどのプロセス環境で一般的にみられる異常の例として、液体または気体の漏れ、オーバーフロー、材料の漏れ、オイル漏れ、蒸気漏れ、一つまたは複数のコンポーネントの予期せぬ故障、装置の物理的な損傷、火、煙および温度もしくは圧力の許容できない降下またはスパイク、安全基準または規制の遵守要件からの逸脱、ならびに予期せぬもしくは疑わしい人または機械の動きがある。

本発明において、「制御システムパラメータ」という用語は、その判定可能な値を制御システムおよび／または制御操作の状態の指標として使用することのできる、一つまたは複数のパラメータのことであると理解されたい。

本発明において、「視野」または「視野角」という用語は、画像取得装置が電磁放射に反応する立体角のことである。換言すれば、上述の用語は画像取得装置（または画像取得装置内の画像センサまたは撮像基板）によって撮像可能な角度ボリューム（angular volume）である。

本発明において、「画像取得装置」という用語は、紫外線、可視光、近赤外線または赤外線スペクトルの任意の領域において画像を取得することのできる任意の装置のことであり、これにはデジタルカメラ、ビデオカメラ、赤外線カメラ、監視カメラ、デジタル画像を生成することが可能な画像センサおよび熱探知カメラが含まれると理解されたい。

本発明において、「タグ」という用語は、制御システム内の特定の機能ブロックと直接的または間接的に関連付けられ、制御システム内の特定の機能ブロックへのアクセスのために使用することのできる識別子であると理解されたい。分散制御システム（ＤＣＳ）または監視制御とデータ取得（ＳＣＡＤＡ）システムなどの制御システムにおいて、タグには、タグが割り当てられたコンポーネントもしくは機能ブロックへのアクセスまたは制御に使用することのできる固有の名前、変数もしくはメモリアドレスが含まれる。制御システム内の物理的なコンポーネントに関連付けられるタグは「物理タグ」と称され、データ変数、計算、論理演算または順次演算に関連付けられる（物理コンポーネントを識別しない）タグは「仮想タグ」と称することができる。

図１は本発明による画像ベースによる異常検知方法を示す。

ステップ１０２において、第１画像取得装置から受信した第１画像フレームの解析を行う。ここで、画像解析は、第１画像フレームが画像取得装置の視野内において異常の存在を示す、または確立する画像情報を含むか否かを判定することに向けられる。

第１画像フレームの画像解析は、任意の一つまたは複数の画像解析アルゴリズムに基づいて実装することができ、一実施形態において、異常を検知または識別する一つまたは複数のニューラルネットワークを使って画像情報を処理するステップを含んでもよい。本発明の種々の実施形態において、一つまたは複数の異なる手法は、軌道解析、オブジェクトベースの画像認識、および画素ベースの画像解析を含む異常検知のために実装することができる。特にプラントの安全監視の場合、個々の画像画素および／または画像フレーム内の画像画素の領域またはサブ領域の色および質感の特性解析は、オブジェクトベースによるものよりも、より効果的に異常を識別できることがわかった。例えば、隣接する画素にわたって検知される動作および動作の方向は、蒸気漏れや流体漏れなど他の異常の識別には特に有効であることがわかった。画像認識システムは、領域ベースの分解技術を使ってモデル化することができる。一般的にこのような技術には、アクティビティモデリングの分割統治法において、画像取得装置に対応する視野の個々のサブ領域の解析が含まれる。

本発明の目的のために画像フレームの画像解析を行う前に、画像フレームのノイズフィルタリング、クロッピング、リサイジング、デサイジング、サブサンプリングなどを含む適切な画像処理ステップを実行することができると理解されよう。

ステップ１０２の画像解析は、一実施形態において、異常検知が正確であるという可能性（すなわち、異常を表すものとして解釈された画像情報が実際には正真正銘の異常である可能性）を示す、または識別するその他の表示（例えば信頼スコア）を判定または計算するステップも含むことができる。更なる実施形態において、そのような信頼スコアを所定の最小値と比較し、信頼スコアが所定の最小値を超える場合のみ、異常を示す画像情報を含むものとして第１画像フレームにフラグを立ててもよい。

第１画像フレームの画像解析に基づく異常の識別または検知に応じて、ステップ１０２では第１画像フレーム内の異常の検知に関する通知、フラグもしくはアラートの生成または伝達を行うことができる。

ステップ１０４において、第１画像フレーム内の異常の検知に応じて、本方法では異常の存在を検証するための検証アクションが実行される。本発明の一実施形態において、検証アクションまたは検証解析は次の場合、すなわち、（ｉ）ステップ１０２で異常検知に関連付けられた信頼スコアが所定の最小値よりも小さい、または、（ｉｉ）ステップ１０２で異常検知に関連付けられた信頼スコアが所定の値の範囲内である場合に、トリガされる。検証解析（およびそのような検証解析結果の解釈方法）の特定の実施形態を以下に詳述するが、本発明の目的において、検証解析は画像解析ベースによる検証および制御システムパラメータベースによる検証の一方または両方を含むと理解されたい。

ステップ１０６において、ステップ１０２で事前に検知された異常の存在を確認する検証解析（ステップ１０４）の結果に応じ、異常通知または異常確認を生成する。

図２は本発明の実施形態を示し、異常検知および当該異常検知の検証はどちらも画像解析に基づいて行われる。

図２のステップ２０２において、第１画像取得装置から第１画像フレームを取得または受信する。第１画像取得装置は第１視野を有する。

第１視野の第１画像領域における異常検知に応じ、ステップ２０４では、第１視野の第１画像領域も第２視野に含まれるように、第２視野を有する第２画像取得装置を識別する。

ステップ２０４は、監視されている施設内の異なる視野をそれぞれカバーする複数の画像取得装置の配置を前提としている。ここで、２つ以上の画像取得装置は、一部が重複する視野を有してもよい。

図４Ａは、視野ＦＯＶ１、ＦＯＶ２およびＦＯＶ３をそれぞれ有する３つの画像取得装置によって監視される領域４００Ａを示す。図４Ａを参照すると、視野ＦＯＶ１およびＦＯＶ２は一部が重複し、重複によって第１重複領域Ａが生成されている。同様に、視野ＦＯＶ１およびＦＯＶ２は一部が重複し、重複によって第２重複領域Ｂが生成されている。

例示において、ステップ２０２で視野ＦＯＶ１を有する第１画像取得装置から第１画像フレームを取得し、更に異常が視野ＦＯＶ１の領域Ａ内にある画像領域内で検知されたとすると、ステップ２０４において視野ＦＯＶ２を有する第２画像取得装置が識別される可能性がある、というのも、視野ＦＯＶ２には異常が検知された画像領域Ａも含まれるからである。換言すれば、ステップ２０４の目的は、第１カメラまたは画像取得装置がすでに異常を検知した領域をカバーする視野を有する、第２カメラまたは画像取得装置を識別して、第２装置からの画像フレームを異常検証に使用できるようにすることである。

重複する視野を有する画像取得装置の識別は、様々な撮像装置における視野の所定のマップまたは相関図を参照することによって行うことができる。本発明の一実施形態において、所定のマッピングまたは相関図は、システム構成またはシステム工学時に実装してもよい。本発明の実施形態において、複数の画像取得装置および／またはそれらの対応する画像プロセッサまたは画像処理ノードは、ピアツーピア配置で通信可能に接続することができ、任意の一つの画像取得装置の視野内での異常検知に応じ、当該画像取得装置または関連する処理ノードは、第１画像取得装置によって異常が検知された画像領域を撮像する、少なくとも一つの他の画像取得装置を検索して識別する。

本発明の一実施形態において、第１画像取得装置および第２画像取得装置の視野、画素解像度、ピント設定、光学ズーム設定、デジタルズーム設定、露光設定、それらの対応する画像センサおよび視野間のフィルタ配置、視野角、パンもしくはチルト能力または設定、および／または電磁放射に対する感度はそれぞれ異なる場合がある。第１および第２画像取得装置が一つまたは複数の上述の点において異なる場合、図２に示す方法による結果、異常検知の精度が向上する可能性の高まることがわかった。

ステップ２０６において、第２画像取得装置によって生成された第２画像フレームが生成される。ここで、第２画像フレームの選択は、第１および第２画像フレームにそれぞれ関連付けられたタイムスタンプ情報に基づいて行われる。一実施形態において、第２画像フレームは、第１タイムスタンプに関連付けられた第１画像フレームおよび第２タイムスタンプに関連付けられた第２画像フレームの時間差が、所定の最大値未満であることの確認に基づいて選択される。一実施形態において、第２画像フレームは、第１画像フレームが第１撮像装置によって取得されるのと同時またはほぼ同時に、第２撮像装置によって取得される。別の実施形態において、第２画像フレームに関連付けられたタイムスタンプは、所定最小値を超え、所定最大値未満で、第１画像フレームに関連付けられたタイムスタンプから時系列に分離される。

ステップ２０８において、第２画像フレーム内の第１画像領域に対応する画像情報を異常の存在について解析する。ステップ２１０において、第１画像領域内で発生した異常または異常事象の存在は、第１画像フレームおよび第２画像フレームのうちの一方または両方の画像解析の結果に基づいて判定または確認される。

本発明の特定の実施形態において、各画像取得装置は、第１の異常検知構成または第２の異常検知構成のいずれかにおいて選択的に動作可能であってもよく、この場合、第１の異常検知構成および第２の異常検知構成は相互に異なる（すなわち相互に特徴がある、または区別可能である）。例示的実施形態において、第１の異常検知構成は第１最小信頼スコアまたは第１最小画素アクティビティスコアの要件を含み、また第２の異常検知構成は、第２最小信頼スコア／第２最小画素アクティビティスコアが第１最小信頼スコア／第２最小画素アクティビティスコアよりも低いという、第２最小信頼スコアまたは第２最小画素アクティビティスコアの要件を含んでもよい。図２により一般的に説明された方法の一実施形態において、（ｉ）ステップ２０２に従って画像取得装置から受信した画像フレームの異常の検知は、第１異常検知方法（すなわち要件の上位セット）に基づき、（ｉｉ）ステップ２０８に従って同じ画像取得装置から受信した画像フレーム内の異常の検知は、第２異常検知方法（すなわち要件の下位セット）に基づく。

本発明の一実施形態において、ステップ２１０では、ステップ２０８における異常検知に全面的に基づいた異常識別が行われる。別の実施形態において、ステップ２１０での異常識別には、第１画像フレームに基づく異常検知と第２画像フレームに基づく異常検知との結果の組み合わせが含まれてもよい。識別の実施形態において、ステップ２１０における異常識別には、第１および第２画像フレームのそれぞれの異常解析による第１および第２信頼スコアの組み合わせが含まれてもよい、ここで、第１および第２信頼スコアを組み合わせるステップと、組み合わされた結果を解釈するステップとは、信頼スコアの組み合わせまたは２つ以上の信頼スコアの結果を解釈するための所定の一組の規則に基づいて行うことができる。一実施形態において、ステップ２０１の（すなわちステップ２１０における異常を識別するための）異常解析には、一定期間にわたる信頼スコアの相互相関が含まれ得る。

図２の方法の目的において、上述の画像解析ベースの異常検知方法のいずれかを、 第１画像フレームの解析および第２画像フレームの解析の一方または両方に実装してもよいと理解されよう。図３はこのような画像解析ベースの異常検知に含まれる方法のステップの例示的実施形態を示す。

図３のステップ３０２において、画像取得装置の視野を複数のサブ領域に分割する。一実施形態において、複数のサブ領域への分割は、画像取得装置から受信した各画像フレームに関するフレーム単位の分割または分類命令を実装することによって達成することができる。

ステップ３０４において、画像取得装置から画像フレームを受信する。次のステップ３０６において、受信した画像フレームの各サブ領域内の画素情報を解析し、各サブ領域に対するアクティビティスコアを生成する。各サブ領域のアクティビティスコアは、上述のサブ領域内で検知された、アクティビティ（例えば、運動、動きまたは状態変化）の画像解析ベーススコアである。画像フレーム内の複数のサブ領域に対して判定されたアクティビティスコアは、画像フレーム全体のアクティビティスコアマトリックスの生成に使用される。

図４Ｂは、ステップ３０６で生成されたタイプの例示的なアクティビティスコアマトリックス４００Ｂを示している。図４Ｂのアクティビティスコアマトリックス４００Ｂは複数のアクティビティスコアを含み、それぞれ画像フレームサブ領域４０２〜４１４の一つに対応している。例示的アクティビティスコアマトリックス４００Ｂにおいて、画像フレームのサブ領域４０６は、他の画像フレームサブ領域４０２〜４１２および４１４〜４１６（それぞれ０．１１と０．２の間の範囲）と比較して、著しく高いアクティビティスコア（０．６）であることがわかるだろう。画素アクティビティ解析に基づいて生成された著しく高いアクティビティスコアは、画像サブ領域４１０内で観察可能な／視覚的に検知可能な状態変化の検知を示している。

その次のステップ３０８において、画像サブ領域内における異常の存在の識別または検知された異常の「タイプ」の識別を行う。この識別は、一実施形態において、アクティビティスコアマトリックス内の一つもしくは複数、または全てのアクティビティスコアのアルゴリズムまたはニューラルネットワークベースの処理に基づいて行われる。

ステップ３０２〜３０８に従う異常検知の結果は、上述の図１および図２、または以下に示す図５および図６に関連して説明される異常検知ステップのいずれかと関連して実装することができる。

図５は画像解析ベースによる異常検知の方法を示す。ここで、画像解析を使って検知された異常の検証は、制御システムパラメータの解析に基づいて行われる。

方法のステップ５０２において、画像取得装置の視野（または視野の定義された近傍内）に物理的に位置するプロセス制御システム（例えばＤＣＳまたはＳＣＡＤＡシステム）の一つまたは複数のコンポーネントの識別を行う。一実施形態、あるいはステップ５０２において、画像取得装置の視野内（または視野の定義された近傍）に物理的に位置するプロセス制御システムのコンポーネントに関連付けられたタグの識別を行ってもよい。一実施形態において、識別された制御システムのコンポーネントまたはこのようなコンポーネントに関連付けられたタグは、考察中の画像取得装置に関連付けまたはマッピングすることができる。

ステップ５０４において、識別されたプロセス制御システムコンポーネントまたはタグのうちの一つまたは複数を視野の特定の領域と任意選択に関連付け、そのような制御システムコンポーネントまたはタグを対応するサブ領域内（または定義された近傍内）に位置させる。

一実施形態において、ステップ５０２および５０４の一方または両方は、プロセス制御システム、画像取得装置またはプロセス環境に関連付けられた監視システムの構成中に実装することができる。

ステップ５０６において、画像取得装置から受信した画像フレームを解析して、その画像取得装置の視野内における異常の存在または発生の検知を行う。

ステップ５０８において、画像フレームの画像解析に基づく異常検知に応じて、異常の検知された視野の領域に関連付けられた（または視野もしくは画像取得装置全体に関連付けられた）一つまたは複数の制御システムコンポーネントまたはタグの選択を行う。

ステップ５１０において、選択された一つまたは複数のコンポーネントもしくはタグに関連付けられたプロセス制御パラメータを解析して、予期しないまたは異常な状態変化の識別を行う。本発明の一実施形態において、プロセス制御パラメータの解析には、検知されたプロセス制御パラメータと一つまたは複数の定義、予期、または予想されるパラメータ値またはパラメータ状態との比較が含まれてもよい。

ステップ５１２において、ステップ５０６における画像解析の結果および／またはステップ５１０におけるプロセス制御パラメータ解析の結果に基づいて異常識別を行う。一実施形態において、ステップ５１２における識別結果は、ステップ５１０における異常検知に全体的に基づくものである。別の実施形態では、ステップ５１２における異常識別において、ステップ５０６における画像解析に基づく異常検知の結果と、ステップ５１０におけるプロセス制御パラメータに基づく異常検知の結果とを組み合わせてもよい。

特定の実施形態において、ステップ５１２での異常識別には、ステップ５０６および５１０における異常解析にそれぞれ基づく第１および第２信頼スコアの組み合わせが含まれてもよく、ここで、第１および第２信頼スコアの組み合わせおよび組み合わせた結果の解釈のステップは、信頼スコアの組み合わせまたは２つ以上の信頼スコアの結果の解釈に対する所定の一組の規則に基づいて行ってもよい。

図６は本発明の例示的実施形態を示し、上述の画像解析ベースによる異常検知に関連する更なる検証ステップが含まれる。

ステップ６０２において、画像取得装置から画像フレームを受信する。画像フレームは、上述のいずれかの方法に従い、上述の画像取得装置の視野内における異常の存在または発生を検知するために解析される。

ステップ６０４において、画像フレームにおける画像解析ベースによる異常検知に応じ、画像取得装置の視野に関連付けられたプロセス制御コンポーネントまたはタグに対応するプロセス制御パラメータの解析が行われる。一実施形態において、プロセス制御コンポーネントまたはタグと画像取得装置の視野との関連付けは、上述の方法のステップ５０２および／または５０４に従って達成することができる。

ステップ６０６において、プロセス制御パラメータまたは識別されたコンポーネントもしくはタグに対応するパラメータの状態の変化が、熟考した上での、意図的または正当なオペレータの行為の結果であるのか、または考察中のプロセス制御システムの意図的な機能であるかを判定する。プロセス制御パラメータの状態または上述のコンポーネントまたはタグに対応する状態の変化が、熟考した上での、意図的または正当なオペレータの行為の結果、および／または考察中のプロセス制御システムの意図的な機能の結果ではないと判定した場合、ステップ６０８において、異常の存在または異常事象の発生を識別する。

図７は本発明の方法を実装する例示的プロセス環境７００を示す。

プロセス環境７００は複数の画像取得装置７０２ａ〜７０２ｎを含み、それぞれ対応する画像処理ノード７０４ａ〜７０４ｎに通信可能に接続されている。画像処理ノード７０４ａ〜７０４ｎはそれぞれ画像解析装置７０８に接続され、この画像解析装置は上述の方法のいずれかに従って画像ベースの異常検知を実装する。

画像解析装置７０８は更にロケーションデータベース７０６と通信可能に接続させることができ、このデータベースは、（ｉ）重複する視野を有する画像取得装置、（ｉｉ）複数の画像取得装置に共通する特定の視野サブ領域、および（ｉｉｉ）対応する視野画像取得装置の一つまたは複数の視野内（または近傍）に位置する特定の制御システムコンポーネント（または対応するタグ）に関連する情報を保存する豊富なデータを含むことができる。

画像解析装置７０８は更に制御システムモニタ７１０とも通信可能に接続させることができ、この制御システムモニタ７１０は、上述の目的にいずれかのために、制御システムパラメータおよび制御システムコンポーネント（または対応するタグ）のデータ状態をモニタすることができる。

画像解析装置７０８および制御システムモニタ７１０は、更に異常検知器７１２と通信可能に接続させることができる。異常検知器７１２は、上述の方法のいずれかに従って、異常の存在または異常事象の発生を検知するように構成することができる。異常検知器７１２は異常応答コントローラ７１４と通信可能に接続させることができ、この異常応答コントローラ７１４は、異常検知に関する通知、フラグまたはアラートの生成または通信を含むがこれらに限定されない、プロセス環境内の異常検知に反応する任意の一つまたは複数の所定の応答をトリガまたは実装するように構成することができる。

図８は本発明を実装するための例示的コンピュータシステムを示す。

コンピュータシステム８０２は、一つまたは複数のプロセッサ８０４および少なくとも一つのメモリ８０６を備える。プロセッサ８０４はプログラム命令を実行するように構成され、実際のプロセッサであってもよいし仮想のプロセッサであってもよい。コンピュータシステム８０２は、上述の実施形態の使用範囲または機能に関する制限を提案するものではないと理解されよう。コンピュータシステム８０２は、汎用コンピュータ、プログラムされたマイクロプロセッサ、マイクロコントローラ、集積回路、および本発明の方法を構成するステップを実装することのできるその他の装置または装置の配置のうちの一つまたは複数を含むが、これに限定されない。本発明によるシステム８０２の例示的実施形態には、一つまたは複数のサーバ、デスクトップ、ラップトップ、タブレット、スマートフォン、携帯電話、携帯通信装置、タブレット、ファブレットおよびパーソナルデジタルアシスタントが含まれてもよい。本発明の一実施形態において、メモリ８０６は本発明の種々の実施形態を実装するソフトウェアを保存することができる。コンピュータシステム８０２は更にコンポーネントを備えることができる。例えば、コンピュータシステム８０２は一つまたは複数の通信回路８０８、一つまたは複数の入力装置８１０、一つまたは複数の出力装置８１２および記憶装置８１４を含んでもよい。バス、コントローラまたはネットワークなどの相互接続機構（図示せず）は、コンピュータシステム８０２のコンポーネントを相互接続させる。本発明の種々の実施形態において、ＯＳソフト（図示せず）は、プロセッサ８０４を使ってコンピュータシステム８０２で実行される種々のソフトウェアの動作環境を提供し、コンピュータシステム８０２のコンポーネントの種々の機能を管理する。

通信回路８０８により、通信媒体を介した他の種々のコンピューティングエンティティへの通信が可能となる。当該通信媒体は、プログラム命令または他のデータのような情報を通信媒体内で提供する。当該通信媒体には電気、光、ＲＦ，赤外線、音響、マイクロ波、Ｂｌｕｅｔｏｏｔｈ（登録商標）または他の伝送媒体で実装される、有線または無線による方法が含まれるが、これらに限定されない。

入力装置８１０には、タッチスクリーン、キーボード、マウス、ペン、ジョイスティック、トラックボール、音声装置、スキャン装置またはコンピュータシステム８０２に入力を提供することのできる任意の他の装置が含まれるが、これらに限定されない。本発明の一実施形態において、入力装置１０１０は、サウンドカードまたは音声入力をアナログまたはデジタル形態で受け入れる同様のデバイスであってもよい。出力装置８１２には、ＣＲＴ、ＬＣＤ，ＬＥＤディスプレイ上のユーザインターフェース、またはサーバ、デスクトップ、ラップトップ、タブレット、スマートフォン、携帯電話、携帯通信装置、タブレット、ファブレットおよびパーソナルデジタルアシスタント、プリンタ、スピーカ、ＣＤ／ＤＶＤライターのいずれかに関連付けられた任意の他のディスプレイ、またはコンピュータシステム８０２からの出力を提供する他のデバイスが含まれるが、これらに限定されない。

記憶装置８１４には、磁気ディスク、磁気テープ、ＣＤ−ＲＯＭ，ＣＤ−ＲＷ，ＤＶＤ，任意のタイプのコンピュータメモリ、磁気ストライプ、スマートカード、プリントされたバーコードまたは情報を格納でき、コンピュータシステム１００２によってアクセスできる他の任意の一時的もしくは非一時的媒体を含むが、これらに限定されない。本発明の種々の実施形態において、記憶装置８１４には上述の実施形態のいずれかを実装するためのプログラム命令が含まれてもよい。

本発明の一実施形態において、コンピュータシステム８０２は分散ネットワークの一部または利用可能なクラウドリソースのセットの一部である。

本発明は、システム、方法、またはコンピュータ可読記憶装置媒体などのコンピュータプログラム製品またはコンピュータネットワークを含む多くの方法で実装することができ、プログラミング命令は遠隔地から通信される。

本発明はコンピュータシステム８０２と共に使用するために、コンピュータプログラム製品として適切に具現化してもよい。本明細書に記載する方法は、一般にコンピュータプログラム製品として実装され、コンピュータシステム８０２またはその他の任意の同様の装置によって実行される一組のプログラム命令を含む。当該一組のプログラム命令は、例えばコンピュータ可読記憶装置媒体（記憶装置８１４）などの有形媒体、ディスケット、ＣＤ−ＲＯＭ，ＲＯＭ，フラッシュドライブまたはハードディスクなどに格納された一連のコンピュータ可読コードであってもよく、光通信回路またはアナログ通信回路８０８を含むがこれらに限定されない有形媒体により、モデムまたは他のインターフェースデバイスを介してコンピュータシステム８０２に伝送可能であってもよい。本発明のコンピュータプログラム製品としての実装は、マイクロ波、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）または他の伝送技術を含むがそれらに限定されない無線技術を使った無形形態であってもよい。これらの命令はシステムにプリロードしたり、ＣＤ−ＲＯＭなどの記憶媒体に記憶したり、またはインターネットまたは携帯電話ネットワークなどのネットワークを介してダウンロードすることによって利用可能である。一連のコンピュータ可読命令は、本明細書において先に記載した機能の全てまたは一部を具現化させることができる。

本発明の例示的実施形態を本明細書で説明し、図示したが、これらは例示的なものにすぎないと理解されよう。添付の特許請求の範囲によって定義される本発明の趣旨および範囲から逸脱することなく、またはそれらに背くことなく、形態および細部における種々の修正を行うことができることを当事者であれば理解するだろう。更に本明細書に例示的に開示された本発明は、本明細書に具体的に開示されていない要素がなくても適切に実施することができ、特に具体的に考えられている実施形態は、本明細書に具体的に開示されていない要素がなくても実施されるよう意図されている。

Claims (23)

1. プロセス環境内における異常事象の発生の画像ベースによる検知方法であって、
   前記プロセス環境の少なくとも一部を撮像する第１画像取得装置から、該第１画像取得装置で生成された第１画像フレームから抽出された画像情報を含む第１の情報セットを受信するステップと、
   前記第１画像フレームが異常事象の発生を撮像しているか否かを判定するために、前記第１の情報セットを解析するステップと、
   前記第１画像フレームが異常事象の発生を撮像しているという判定に応じ、第２装置で生成された、前記プロセス環境を表す第２の情報セットを受信するステップと、
   異常事象が発生したか否かを判定するために前記第２の情報セットを解析するステップと、
   少なくとも前記第２の情報セットの解析からの出力に基づいて異常識別決定を生成するステップとを含む方法。
2. 請求項１に記載の方法において、
   前記第１の情報セットを解析するステップによって第１スコアが出力され、
   前記第２の情報セットを解析するステップによって第２スコアが出力され、
   前記生成された異常識別決定が前記第１スコアおよび第２スコアの両方に基づいて行われる方法。
3. 請求項１に記載の方法において、前記第２の情報セットの選択は、前記第１の情報セットおよび前記第２の情報セットにそれぞれ関連付けられたタイムスタンプに基づいて行われる方法。
4. 請求項１に記載の方法において、
   前記第２装置が前記プロセス環境の少なくとも一部を撮像する第２画像取得装置であり、
   前記第１画像取得装置が第１視野を有し、前記第２画像取得装置が第２視野を有し、前記第１視野および前記第２視野が視野重複領域で交差し、
   前記第２の情報セットが前記第２画像取得装置で生成された第２画像フレームから抽出された画像情報を含み、
   異常事象の発生を判定するための前記第２の情報セットを解析するステップが、前記第２画像フレームが前記視野重複領域内で異常事象の発生を撮像しているか否かを判定するステップを含む方法。
5. 請求項４に記載の方法において、
   少なくとも前記第２画像取得装置が、第１の異常検知構成および第２の異常検知構成のうちの一つ内で選択的に動作可能であり、
   前記第１の異常検知構成に関連付けられた第１異常検知スコア要件は、前記第２の異常検知構成に関連付けられた第２異常検知スコア要件よりも選択的に高い方法。
6. 請求項５に記載の方法において、前記第２画像取得装置が、前記第１画像フレームが異常事象の発生を撮像しているという判定に応じて前記第２の異常検知構成を実装する方法。
7. 請求項１に記載の方法において、
   前記第２装置が、前記プロセス環境内の少なくとも一つのプロセス制御パラメータに対応する状態変化を測定するセンサであり、
   前記第２の情報セットが前記センサから受信した状態変化情報を含み、
   前記異常事象が発生したか否かを判定するための前記第２の情報セットを解析するステップが、前記少なくとも一つのプロセス制御パラメータに対応する測定された状態変化を解析するステップを含む方法。
8. 請求項１〜４のいずれか一項に記載の方法において、前記第１の情報セットの解析には、軌道解析、オブジェクトベースの解析、画素ベースの解析および前記第１の情報セットと可燃性ガスセンサ、光イオン化検知器または電気化学センサから受信したデータとの比較のうちの一つまたは複数が含まれる方法。
9. 請求項１〜４のいずれか一項に記載の方法において、前記第１の情報セットまたは前記第２の情報セットのいずれかを解析するステップには、解析中の画像フレーム内の複数のサブ領域内において画素情報を解析するステップと、前記複数のサブ領域のそれぞれに対して画素アクティビティスコアを生成するステップとが含まれる方法。
10. 請求項１に記載の方法において、
    前記複数のサブ領域に対応する画素アクティビティスコアはアクティビティスコアマトリックス内に記録され、
    前記異常識別決定を生成するステップは、前記アクティビティスコアマトリックス内の前記複数のサブ領域のうちの一つまたは複数に対応する画素アクティビティスコアに基づいて行われる方法。
11. 請求項１に記載の方法において、前記異常識別決定を生成するステップは、検知された異常事象がオペレータ作動事象またはプロセス制御システム作動事象に影響を受けているか否かの判定に更に基づいて行われる方法。
12. プロセス環境内における異常事象の発生の画像ベースによる検知を行うシステムであって、該システムは、
    少なくとも一つのプロセッサと、
    少なくとも一つのプロセッサ実装解析装置と、
    少なくとも第２の情報セットの解析からの出力に基づいて異常識別決定を生成する異常検知器とを備え、
    前記プロセッサ実装解析装置が、
    前記プロセス環境の少なくとも一部を撮像する第１画像取得装置から、該第１画像取得装置で生成された第１画像フレームから抽出された画像情報を含む第１の情報セットを受信し、
    前記第１画像フレームが異常事象の発生を撮像しているか否かを判定するために前記第１の情報セットを解析し、
    前記第１画像フレームが異常事象の発生を撮像しているという判定に応じて、第２装置で生成された前記プロセス環境の状態を表す前記第２の情報セットを受信し、
    異常事象が発生したか否かを判定するために前記第２の情報セットを解析するシステム。
13. 請求項１２に記載のシステムにおいて、
    前記少なくとも一つのプロセッサ実装解析装置が、前記第１の情報セットの解析によって第１スコアが出力され、前記第２の情報セットの解析によって第２スコアが出力されるように構成され、
    前記異常検知器が、前記生成された異常識別決定が前記第１スコアおよび第２スコアの両方に基づいて行われるように構成されるシステム。
14. 請求項１２に記載のシステムにおいて、前記少なくとも一つのプロセッサ実装解析装置が、前記第２の情報セットの選択を、前記第１の情報セットおよび前記第２の情報セットにそれぞれ関連付けられたタイムスタンプに基づいて行うように構成されるシステム。
15. 請求項１２に記載のシステムにおいて、
    前記第２装置が、前記プロセス環境の少なくとも一部を撮像する第２画像取得装置であり、
    前記第１画像取得装置が第１視野を有し、前記第２画像取得装置が第２視野を有し、前記第１視野および前記第２視野が視野重複領域で交差し、
    前記少なくとも一つのプロセッサ実装解析装置が、前記第２の情報セットが前記第２画像取得装置で生成された第２画像フレームから抽出された画像情報を含むように構成され、
    異常事象の発生を判定するための第２の情報セットを解析するステップが、前記第２画像フレームが前記視野重複領域内における異常事象の発生を撮像しているか否かを判定するステップを含むシステム。
16. 請求項１５に記載のシステムにおいて、
    少なくとも前記第２画像取得装置は第１の異常検知構成および第２の異常検知構成のうちの一つ内で選択的に動作可能であり、
    前記第１の異常検知構成に関連付けられた第１異常検知スコア要件は、前記第２の異常検知構成に関連付けられた第２異常検知スコア要件よりも選択的に高いシステム。
17. 請求項１６に記載のシステムにおいて、前記第２画像取得装置が、前記第１画像フレームが異常事象の発生を撮像しているという判定に応じて、前記第２の異常検知構成を実行するように構成されたシステム。
18. 請求項１２に記載のシステムにおいて、
    前記第２装置が、前記プロセス環境内で少なくとも一つのプロセス制御パラメータに対応する状態変化を測定するセンサであり、
    前記少なくとも一つのプロセッサ実装解析装置が、前記第２の情報セットが前記センサから受信した状態変化情報を含むように構成され、
    異常事象が発生したか否かを判定するために前記第２の情報セットを解析するステップが、前記少なくとも一つのプロセス制御パラメータに対応して測定された状態変化を解析するステップを含むシステム。
19. 請求項１２または１５のいずれか一項に記載のシステムにおいて、前記少なくとも一つのプロセッサ実装解析装置は、前記第１の情報セットの解析が、軌道解析、オブジェクトベースの解析、画素ベースの解析、および第１の情報セットと可燃性ガスセンサ、光イオン化検知器、または電気化学センサから受信したデータとの比較のうちの一つまたは複数を含むように構成されるシステム。
20. 請求項１２または１５のいずれか一項に記載のシステムにおいて、前記少なくとも一つのプロセッサ実装解析装置が、前記第１の情報セットまたは前記第２の情報セットのいずれかを解析するステップが、解析中の画像フレームにおける複数のサブ領域内の画素情報を解析するステップと、前記複数のサブ領域のそれぞれに対する画素アクティビティスコアを生成するステップとを含むように構成されるシステム。
21. 請求項１２に記載のシステムにおいて、前記少なくとも一つのプロセッサ実装解析装置が、前記複数のサブ領域に対応する画素アクティビティスコアがアクティビティスコアマトリックス内に記録され、前記異常検知器が、前記異常識別決定を生成するステップが、前記アクティビティスコアマトリックス内の前記複数のサブ領域の一つまたは複数に対応する画素アクティビティスコアに基づいて行われるように構成されるシステム。
22. 請求項１２に記載のシステムにおいて、前記異常識別決定を生成するステップが更に、検知された異常事象がオペレータ作動事象またはプロセス制御システム作動事象の影響を受けるか否かの判定に基づいて行われるように、前記異常検知器が構成されるシステム。
23. プロセス環境内における異常事象の発生を画像ベースによって検知するためのコンピュータプログラム製品であって、具現化されたコンピュータ可読プログラムコードを有する非一時的コンピュータ可読媒体を備え、前記コンピュータ可読プログラムコードは、前記プロセス環境の少なくとも一部を撮像する第１画像取得装置から、該第１画像取得装置で生成された第１画像フレームから抽出された画像情報を含む第１の情報セットを受信するステップ、前記第１画像フレームが異常事象の発生を撮像したか否かを判定するために前記第１の情報セットを解析するステップ、前記第１画像フレームが異常事象の発生を撮像したという判定に応じて、第２装置で生成された、前記プロセス環境の状態を表す第２の情報セットを受信し、異常事象が発生したか否かを判定するために前記第２の情報セットを解析するステップ、および少なくとも前記第２の情報セットの解析からの出力に基づいて異常識別決定を生成するステップ、に対する命令を含むコンピュータプログラム製品。

Images