JP2006514757A - 多数の同時の動画像における事象検出を効率的に実行する方法およびシステム - Google Patents

Abstract

画像取得装置のセットを現場に設置することによって、画像ストリームにおける画像検出および対象物追跡を実行する方法およびシステムであって、各装置は、一つ以上の画像から成る取得された画像ストリームをデジタル形式に変換するローカルなプログラマブルプロセッサと、画像ストリームから特徴を生成するローカルエンコーダと、を含んでいる。特徴は、画像ストリーム内の対象物の属性に関連するパラメータである。エンコーダは、モーションの特徴が対応するしきい値を超えると、特徴のストリームを伝送する。画像取得装置それぞれは、対応するデータ通信チャネルによってデータネットワークに接続されている。しきい値を調べて特徴ストリームを処理する画像処理サーバも、データネットワークに接続されている。サーバが、対応するデータ通信チャネルおよびデータネットワークを通じてローカルエンコーダから特徴を受信すると、特徴ストリームを処理することによって画像ストリーム内の事象に関する示唆情報を生成し、それらの示唆情報をオペレータに伝送する。

Description

本発明は、映像処理の分野に関する。より詳細には、本発明は、多数の同時の入力動画像、若しくは取得された画像から導かれる特徴、またはその両方を効率的に処理することによって、複数の同時の圧縮動画像から意味のある情報をリアルタイムで取得する方法およびシステムに関する。

ビデオカメラおよびスチルカメラによって取得された画像から意味のあるデータを取り出す能力を改良するための研究開発が、過去において数多く行われてきた。このような能力は、個人用途、産業用途、医療用途、ビジネス用途など、いくつかの用途において使用されている。道路、空港、学校、銀行、オフィス、住宅には、標準的なセキュリティ手段として多数のカメラが配備されている。これらのカメラは、オペレータがセキュリティ事象を遠隔的にリアルタイムで見ることができるように、または、セキュリティ事象を記録しておき後から分析できるようにする目的で使用されている。

新しい技術の登場により、映像監視業界は、監視システムの機能性が大幅に高まる新しい方向に移行しつつある。リアルタイムアプリケーションとオフラインアプリケーションの両方を目的とするいくつかの処理アルゴリズムが使用されている。これらのアルゴリズムは、用途に応じて、純粋なソフトウェアから純粋なハードウェアまで様々なプラットフォーム上に実施されている。しかしながら、画像処理には大量の計算機資源が必要であるため、これらのプラットフォームは、通常は比較的少数の入力動画像を同時に処理するように設計されている。さらに、米国特許第６,１８８,３８１号に開示されているシステムなど一般的な画像処理システムのほとんどは、圧縮されていない画像データのみを処理するように設計されている。最近のネットワーク型映像環境では、複数の画像源から集められる多数の圧縮映像ストリームを効率的に処理する能力が要求される。

運用需要が増加する一方で、コスト上の制約があるため、事象検出を自動化するニーズが生まれた。そのような事象検出のソリューションでは、検出レベルが高く、人的資源が節約され、別の種類のセンサーに置き換えることができ、誤アラームの割合も低い。

従来のソリューションは、侵入者の自動的な検出、ナンバープレートの識別、顔認識、交通違反の検出、その他の画像ベースのアプリケーションに適用できるが、通常は、現場への設置が必要な高価なハードウェアプラットフォームを使用して、数個の同時の映像源をサポートしているため、設備コスト、保守コスト、アップグレードコストが高い。

従来の監査システムは、デジタル映像ネットワーキング技術と自動的な事象検出とを採用している。このうちデジタル映像ネットワーキングは、デジタル映像圧縮技術が開発されたことと、ＩＰベースネットワークが利用可能になったこととによって実現している。ＭＰＥＧ−４および類似する形式などの圧縮規格によって、比較的狭い帯域幅で高品質の画像を伝送することができる。

デジタル映像ネットワーキングを使用するときの重要な制限要因は、帯域幅の要件である。すべてのカメラを常時伝送することはコストが高すぎるため、ネットワークは、数台のカメラからのみデータを同時に伝送するように設計されている。常に、重要な事象を映しているカメラからのみデータを伝送することは、効果的かつ費用効果の高いデジタル映像ネットワークを確立するうえで極めて重要である。

この目的には、映像に基づく自動的な事象検出技術が有効である。この技術は、カメラの画像をリアルタイムで分析し、特殊な事象が起きた場合に通知することのできる一連のアルゴリズムから成る。現在利用可能な事象検出ソリューションでは、大量の処理資源を必要とする従来の画像処理方法を使用している。さらに、これらのソリューションでは、各カメラ入力あたり一定の処理パワー（通常は一個のプロセッサ）が割り当てられる。従って、このようなシステムは、資源の制限に起因してパフォーマンスが低いか、または極めて高価であるかのいずれかである。

この結果として、自動的な事象検出の現在のソリューションでは、大規模なデジタル監査設備、すなわち、検出の信頼性が高く、帯域幅が効率的に使用され、事象定義が柔軟であり、設計規模とコストが大きい監査設備、のニーズを満たすことができない。

ビデオモーション検出（ＶＭＤ）方法は、例えば、米国特許第６,３４９,１１４号、国際公開第０２／３７４２９号、米国特許出願公開第２００２／０４１,６２６号、米国特許出願公開第２００２／０５４,２１０号、国際公開第０１／６３９３７号、欧州特許第１１０７６０９号、欧州特許第１１７３０２０号、米国特許第６,３８４,８６２号、米国特許第６,１８８,３８１号、米国特許第６,１３０,７０７号、および米国特許第６,０６９,６５５号に開示されている。しかしながら、これらに記載されているいずれの方法も、複数の同時の動画像から意味のある情報をリアルタイムで効率的に取得するという課題に対して、満足のいくソリューションを提供していない。
米国特許第６,１８８,３８１号明細書 米国特許第６,３４９,１１４号明細書 国際公開第０２／３７４２９号パンフレット 米国特許出願公開第２００２／０４１,６２６号明細書 米国特許出願公開第２００２／０５４,２１０号明細書 国際公開第０１／６３９３７号パンフレット 欧州特許第１１０７６０９号明細書 欧州特許第１１７３０２０号明細書 米国特許第６,３８４,８６２号明細書 米国特許第６,１８８,３８１号明細書 米国特許第６,１３０,７０７号明細書 米国特許第６,０６９,６５５号明細書

本発明の目的は、複数の同時の動画像から意味のある情報をリアルタイムで取得する方法およびシステムを提供することである。

本発明の別の目的は、複数の同時の動画像から意味のある情報をリアルタイムで取得する、費用効果の高い方法およびシステムを提供することである。

本発明のさらなる目的は、複数の同時の動画像から意味のある情報をリアルタイムで取得する方法およびシステムであって、帯域幅資源の量が低減される方法およびシステム、を提供することである。

本発明のさらに別の目的は、複数の同時の動画像から意味のある情報をリアルタイムで取得する方法およびシステムであって、信頼性が高く、ノイズの多い環境において感度の高い方法およびシステム、を提供することである。

本発明のさらに別の目的は、複数の同時の動画像から意味のある情報をリアルタイムで取得する方法およびシステムであって、設置コストおよび保守コストが減少する方法およびシステム、を提供することである。

本発明の他の目的および利点は、以下の説明を読み進めることによって明らかになるであろう。

本明細書では、主としてビデオカメラについて述べるが、当業者には、スチルカメラ、コンピュータによって作成される画像、事前に記録された映像データなど、任意の適切な画像源に本発明が拡張されることと、画像源を同等に考慮すべきであることとが認識されるであろう。同様に、「映像（ビデオ）」および「映像ストリーム」という用語は、広義に解釈し、映像列（video sequences）、静止画、コンピュータによって作成されるグラフィック、または、コンピュータによって処理できる電子形式で提供される画像または電子形式に変換される画像の任意のシーケンスが含まれるものとする。

本発明は、画像ストリームにおける事象検出および対象物追跡を実行する方法を目的としている。画像取得装置のセットが現場に設置され、各装置は、一つ以上の画像から成る取得された画像ストリームをデジタル形式に変換するローカルなプログラマブルプロセッサと、画像ストリームから特徴を生成するローカルエンコーダとを備えている。特徴は、画像ストリーム内の対象物の属性に関連するパラメータである。各装置は、特徴の数およびタイプが対応するしきい値を超えると、特徴のストリームを伝送する。画像取得装置それぞれは、対応するデータ通信チャネルによってデータネットワークに接続されている。データネットワークに接続されている画像処理サーバは、しきい値を調べ、特徴ストリームを処理する。このサーバは、対応するデータ通信チャネルおよびデータネットワークを通じてローカルエンコーダから特徴を受信すると、特徴ストリームを処理することによって画像ストリーム内の事象に関する示唆情報を取得し、その示唆情報をオペレータに伝送する。

ローカルエンコーダは複合型エンコーダでよく、これは、画像ストリームを圧縮する回路をさらに備えているローカルエンコーダである。複合型エンコーダは、第１のモードと第２のモードとで動作することができる。第１のモードでは、複合型エンコーダは、特徴を生成してそれをサーバに伝送する。第２のモードでは、複合型エンコーダは、サーバから送られるコマンドに従って、特徴に加えて、画像ストリームの少なくとも一部を望ましい圧縮レベルでサーバに伝送する。複合型エンコーダのそれぞれは、サーバから送られるコマンドによって、第１のモードで動作するように制御されることが好ましい。サーバが複合型エンコーダから特徴を受信している間は、その複合型エンコーダは、サーバから送られるコマンドによって第２のモードで動作するように制御される。サーバは、特徴ストリームを処理することによって画像ストリーム内の事象に関する示唆情報を取得し、示唆情報若しくはそれに対応する画像ストリーム、またはその両方をオペレータに伝送する。

事象が含まれている一つ以上の必要な圧縮画像ストリームがオペレータステーションによって復号化されると、復号化された画像ストリームがオペレータのディスプレイに伝送されて表示される。ローカルエンコーダが第２のモードで動作している間に取得される圧縮画像ストリームは、記録することができる。

画像ストリームを受信するデータ通信チャネルには、サーバ内の追加の画像処理資源が動的に割り当てられることが好ましい。第１のモードで動作している間に取得される特徴ストリームは、画像の一部のみを含んでいてもよい。

サーバは、画像の枠または画像内のＡＯＩ（対象領域）の中に存在している目的の対象物を包含するグラフィック多角形を生成し、オペレータに視覚的に表示することができる。さらに、サーバは、画像の枠または画像内のＡＯＩの中に存在している目的の対象物の動きの履歴を示すグラフィックトレースを生成して表示することができる。

画像ストリームは、画像のグループ、すなわち、映像ストリームと、スチル画像と、コンピュータによって作成される画像と、ＭＰＥＧ形式を使用して圧縮されている、事前に記録されたデジタルまたはアナログの映像データまたは映像ストリームと、を含むグループ、から選択することができる。エンコーダは、各モードでの動作時、異なる解像度およびフレームレートを使用することができる。

特徴は、モーションの特徴、カラー、画像の一部、エッジデータ、周波数に関連する情報を含んでいることが好ましい。

サーバは、少なくとも一つの画像取得装置のローカルエンコーダから受信される特徴ストリームを使用して、次の動作、すなわち、
− ナンバープレート認識（ＬＰＲ）
− 顔認識（ＦＲ）
− 交通規則違反の検出
− 挙動認識
− 火災検出
− 交通量検出
− 煙検出
のうちの一つ以上、若しくはその組み合わせ、またはその両方を実行することができる。

本発明は、画像ストリームにおける事象検出および対象物追跡を実行するシステムであって、
ａ）現場に設置される画像取得装置のセットであり、装置のそれぞれが、
ａ１）取得された画像ストリームをデジタル形式に変換するローカルなプログラマブルプロセッサと、
ａ２）画像ストリーム内の対象物の属性に関するパラメータである特徴を 画像ストリームから生成し、モーションの特徴が対応するしきい値を超えるときに、特徴ストリームを伝送する、ローカルなエンコーダと、
を含んでいる、画像取得装置のセットと、
ｂ）各画像取得装置が対応するデータ通信チャネルを通じて接続されているデータネットワークと、
ｃ）データネットワークに接続されている画像処理サーバであって、しきい値を調べることと、特徴ストリームを処理することによって画像ストリーム内の事象に関する示唆情報を取得することと、示唆情報をオペレータに伝送することとができる、画像処理サーバと、
を備えている、システム、も目的としている。

このシステムは、事象を含んでいる一つ以上の画像ストリームを受信して表示するオペレータ用ディスプレイと、ローカルエンコーダが第１のモードで動作している間に取得される一つ以上の画像ストリームを記録するネットワークビデオレコーダと、をさらに備えていることができる。

本発明の上記およびその他の特徴および利点は、添付の図面を参照しながら、本発明の好ましい実施形態の以下の詳細な説明を読むことによって、より深く理解されるであろう。これらの実施形態は説明を目的としており、本発明はこれらに制限されることはない。

本発明によって提案される新規なデータ縮小手法を適用することによって、システム資源の相当な節約を達成することができる。何千台ものカメラが一台のサーバに接続されている状況において、分析する必要のある重要な事象を実際に捕らえているのは、少数のカメラに過ぎない。大規模なシステムが適正に機能するためには、有用な情報を含みうる入力を識別して、そのような入力に対してのみさらなる処理を実行する能力を持つ必要がある。このようなフィルタリングメカニズムは、必要とする処理資源および帯域幅資源が最小限であり、従って、このメカニズムを多数の画像ストリームに同時に適用できる。本発明は、大規模なデジタル映像ネットワーク環境における自動的な画像検出能力のニーズを満たすことを目的として、入力動画像、若しくは取得される画像から導かれる特徴ストリーム、またはこの両方を分析することに基づく、大規模同時画像処理（ＭＣＩＰ：Massively Concurrent Image Processing）技術と称されるフィルタリングメカニズムを提案する。

ＭＣＩＰ技術は、大規模なデータの低減、効果的なサーバの設計、最適化された画像処理アルゴリズムといった様々な技術を組み合わせることにより、従来のソリューションでは実現できない、主としてセキュリティ市場を対象とするプラットフォーム、特に、サポート可能なユーザ数が膨大なプラットフォームを提供する。ＭＣＩＰは、任意の広さの地理領域内に分散される数千のカメラ入力を同時にサポートし、かつリアルタイムの処理機能を持つ大規模なデジタル映像監視ネットワーク用に設計された分散型設備において事象を検出するための、ネットワーク型ソリューションである。ＭＣＩＰでは、消費する帯域幅が狭く、同時に検出の感度および確率が高く維持される独特な特徴伝送方法を採用している。ＭＣＩＰは、最近の監視システムおよびデジタル映像記録システムと両立するサーバベースのソリューションであり、複雑な検出アルゴリズムを実行し、現場での保守作業が軽減され、規模のスケーラビリティ（scalability）が改善され、アベイラビリティ（availability）が高く、チャネルあたりのコストが低く、バックアップ機能を持つ。このシステムは、ＶＭＤ、ＬＰＲ、ＦＲなどの複数のアプリケーションを同時に提供する。さらに、複数の異なる検出アプリケーションを同じカメラに関連付けることができる。

ＭＣＩＰは、様々なアプリケーションを備えているサーバプラットフォームと、カメラエンコーダ（カメラの内部または外部のいずれか）と、ネットワークビデオレコーダ（ＮＶＲ）と、オペレータステーションとから成る。サーバは、所有権が保持されているハードウェアコンポーネントおよびソフトウェアコンポーネントを備えているコンピュータを含んでいる。ＭＣＩＰは、現場に位置している（すなわちカメラの近傍にある）エンコーダによって実行される低レベルの特徴抽出と、これらの特徴を集めて分析する遠隔の中央サーバによって実行される高レベルの処理アプリケーションとに、画像処理アルゴリズムを分散させることに基づいている。

以下に説明するＭＣＩＰシステムは、帯域幅問題を解決するのみならず、サーバの負荷を軽減し、（デジタル映像ストリームではない）独自のタイプのデータストリームを使用し、大規模な映像監視環境においてリアルタイムで事象を検出するための効率的なプロセスを実行する。

ＭＣＩＰにおける重要な要素は、データの低減であり、これは、画像処理アルゴリズムを分散させることによって達成される。事象検出を必要とする映像源すべてが同時に伝送を行うため、各カメラの近傍において狭い帯域幅による特徴ストリームを生成することによって、必要なネットワーク帯域幅が減少する。縮小帯域幅で伝送される特徴を分析することによって、デジタル伝送される映像源において動く対象物を検出および追跡するためには、完全な映像ストリームを伝送する必要はなく、動く対象物に関する情報が含まれている部分的なデータのみを伝送すればよい。

このようにすることによって、使用されるデータ帯域幅が大幅に小さくなり、これにより、ネットワーク帯域幅と事象検出処理パワーの両方の所要量が減少する。さらに、形状、サイズ、動きの方向および速度のみを検出する必要がある場合、強度または輝度（intensity）や色に関するデータを伝送する必要はなく、従って帯域幅のさらなる低減が達成される。また、遠隔の中央サーバによってモーションのしきい値以下であると判断されたモーションすべてが伝送側エンコーダによって除去されるならば、さらに帯域幅の最適化も達成される。このようなしきい値は、動く対象物のＡＣレベル、モーションの距離、またはこれらの任意の組み合わせでよく、取得された画像の属性（例：解像度、ＡＯＩ、圧縮レベルなど）に従って動的に決定および変更することができる。しきい値以下である動く対象物は、ノイズ、または無関係なモーションのいずれかであるとみなされる。

エンコーダ側で特徴を抽出する一つの方法は、本来はデジタル映像を伝送するように設計されている既存の時間ベースの映像圧縮器を若干修正して性能を下げることによる。また、映像圧縮アルゴリズムとは無関係の固有の特徴抽出アルゴリズム（例えばモーションベクトルを生成するアルゴリズムなど）によっても、特徴を生成することができる。この縮小帯域幅モードで動作するときには、エンコーダの出力ストリームは一般的な映像ストリームではなく、従って、いかなる受信者もこのストリームを使用してビデオ画像を生成することはできない。

図１は、本発明の好ましい実施形態による、データネットワークに接続されている複数のカメラを備えている監視システムの構造を概略的に示している。システム１００は、ｎ個の画像源（この例においてはｎ個のカメラＣａｍ１，．．．．，Ｃａｍｎ）を備えており、各画像源は、Ｃａｍｊによって取得された画像を圧縮デジタル形式に変換するデジタルエンコーダｊに接続されている。各デジタルエンコーダｊは、ポイントｐｊにおいてデジタルデータネットワーク１０１に接続されており、対応するチャネルＣｊを通じてデータを伝送することができる。この場合のデータは、縮小帯域幅での特徴ストリームか、完全な圧縮映像ストリームでよい。データネットワーク１０１は、すべてのチャネルから伝送されるデータを集め、これらをデータバス１０３を通じてＭＣＩＰサーバ１０２に転送する。ＭＣＩＰサーバ１０２は、各チャネルから受信されるデータを処理し、縮小帯域幅による特徴ストリームと完全な圧縮映像ストリームの任意の組み合わせを伝送する一台以上のカメラを制御する。これらのストリームは、ＭＣＩＰサーバ１０２がリアルタイムで分析するか、または、ＮＶＲ１０４によって記録しておき後からＭＣＩＰサーバ１０２によって分析することができる。オペレータステーション１０５も、ＭＣＩＰサーバ１０２に接続されており、選択された完全な圧縮映像ストリームをリアルタイムで監視する。オペレータステーション１０５は、必要時にＭＣＩＰサーバ１０２の動作を手動で制御することができる。

ＭＣＩＰ（大規模同時画像処理）サーバは、データバス１０３とネットワーク１０１とを通じて画像源（図面にはカメラとして描いてあるが、テープ式ビデオ、スチルカメラ、ビデオカメラ、コンピュータによって作成される画像またはグラフィックなど、任意の画像源でもよい）に接続されており、圧縮形式における特徴または画像を受信する。最も広い意味では、これは有線式または無線式の任意のタイプのネットワークである。画像は、任意のタイプの圧縮を使用して圧縮することができる。実際には、ＩＰベースのネットワークと、ＤＣＴを使用する圧縮方式と、ＶｉｄｅｏＬＡＮ Ｃｌｉｅｎｔ（ＶＬＣ：各種の音声および映像形式、ＤＶＤ（Digital Versatile Discs）、ビデオＣＤ（ＶＣＤ）、および国際公開第０１／６３９３７号パンフレットに開示されている様々なストリーミングプロトコルに対応する、携帯性の高いマルチメディアプレイヤー）と、モーション推定手法（ＭＰＥＧなど）とが使用される。

システム１００は、オプションとして負荷バランシングモジュールを使用する。このモジュールによって、処理できる入力数を容易に増減させることが可能になり、また、バックアップＭＣＩＰサーバを作成することにより、単一の障害ポイントを除去する能力が導入される。システム１００は、各入力に対して実行すべき処理のタイプと、処理結果の送信先とを定義する目的に使用される構成設定コンポーネントも備えている。この送信先は、別のコンピュータ、電子メールアドレス、監視アプリケーション、または、テキストメッセージと視覚的メッセージの一方または両方を受信できる任意の装置でよい。

システムは、画像処理を支援する目的で、任意選択で外部データベースに接続することができる。例えば、容疑者、盗まれた車、あるいはナンバープレートの番号のデータベースを、車両を識別する目的に使用することができる。

図２は、システム資源の使用を減少させることを目的とする、本発明の好ましい実施形態によるＡＯＩ（対象領域）の使用を示している。ＡＯＩとは、検出が行われる領域を囲む多角形（この図においては六角形）である。長方形は、カメラから様々な距離における対象物の推定される大きさを示している。この例では、目的のシーンは、現場にいる人の動き検出を含んでいる（最初の長方形に示されている）。このシーンをフィルタリング装置で使用し、さらなる処理が必要かを判断することができる。この場合、フィルタリング装置は特徴データを調べる。特徴ストリームが分析され、十分に有意な特徴がＡＯＩ内に存在しているかが判断される。ＡＯＩの内側に位置しており変化を含む特徴の数がしきい値を超える場合、そのフレームは、事象を含んでいる可能性があると認識され、転送されてさらに処理される。そうでない場合、フレームはドロップされ、処理はそれ以上実行されない。

ＭＣＩＰサーバは、事象検出が必要であるすべての映像源から、縮小帯域幅による特徴ストリームを受信する（この特徴ストリームは映像ストリームではなく、従って表示可能な画像をこのストリームから再構築することはできない）。特定の映像源から伝送された縮小帯域幅によるストリームにおいて事象が検出されると、中央サーバはその映像源に動作モードを映像ストリームモードに変更するように命令することができる。このモードでは、その映像源は通常の映像エンコーダとして動作して標準の映像ストリームを伝送することができ、この映像ストリームは、観察、記録、さらなる処理、またはその他を目的として、サーバまたは任意の受信者が復号化することができる。随意に、映像エンコーダは特徴ストリームの伝送も同時に続行する。

この方式に従って動作すると、ほとんどの映像源は、縮小帯域幅モードのままであり、狭い帯域幅によるデータストリームを伝送するが、ＭＣＩＰサーバにおいて高い解像度およびフレームレートで事象を検出する目的には十分である。映像源のうち（事象が検出された）ほんの一部のみが、映像ストリームモードで同時に動作するように制御される。この結果として、合計のネットワーク帯域幅が、すべての映像源から同時に伝送する場合に要求されるネットワーク帯域幅よりも大幅に低減される。

例えば、１０００個のカメラを使用する従来の映像監視設備の場合、十分な画質で伝送するためには各カメラに約５００ｋｂｐ／ｓの帯域幅が必要である。縮小帯域幅モードでは、動く対象物に関する情報を同じ解像度およびフレームレートで伝送するのに各カメラに必要な帯域幅はわずか約５Ｋｂｐ／ｓである。従って、このモードにおいて動作しているすべてのカメラでは、合計で、５Ｋｂｐ／ｓ×１０００＝５Ｍｂｐ／ｓの帯域幅を使用している。定常状態において、疑わしい対象物がカメラの１％（１０個のカメラ）に現れ、これらのカメラが映像ストリームモードで動作すると想定すると、１０×５００ｋｂｐ／ｓ＝５Ｍｂｐ／ｓの余分な帯域幅が必要となる。従って、本発明によって提案されるソリューションを使用する場合に要求される合計ネットワーク帯域幅は、１０Ｍｂｐ／ｓである。従来のシステムでは、１０００台のカメラすべてが同時に映像ストリームを伝送する場合、必要な合計ネットワーク帯域幅５００Ｍｂｐ／ｓが消費される。

提案されるソリューションは、ライブカメラにおいてのみならず、記録された映像においても、動く対象物を高いレベルで検出および追跡する目的に適用することができる。多数の監視システムによって、膨大な量の映像が記録される。この記録された映像の中で対象の事象を検出するためには、大きな処理能力が必要である。デジタルまたはアナログで記録されている映像を、上述した手法に従って縮小帯域幅ストリームに変換することによって、処理上の要件が低減し動作が高速になり、事象検出がずっと容易になる。

本発明において提案されているシステムは、以下の構成要素を備えている。
１． 一つ以上のＭＣＩＰサーバ
２． 遠隔命令に従って縮小帯域幅モードまたは映像ストリームモードにおいて動作することのできる、一つ以上のデュアルモード映像エンコーダ。
３． システムの構成要素間の通信を確立する、デジタルネットワーク、ＬＡＮ、ＷＡＮ、ＩＰ、その他。
４． オペレータが事象基準およびその他のシステムパラメータを定義し、事象をリアルタイムで管理できる、一つ以上のオペレータステーション。
５． ネットワーク上で利用可能な選択された映像源を、要求時に記録および再生することのできる、ネットワークビデオレコーダ（ＮＶＲ）（オプション）。

セキュリティ用途の場合の実施例
本発明によって提案される方法を使用して極めて効果的に実施することのできる種類の画像処理アプリケーションを、以下にいくつか示す。

ビデオモーション検出：屋内と屋外の両方のアプリケーションがある。このタイプのアプリケーションは、一般には、保護区域への侵入者を検出する目的に使用される。動く木、ゴミ、動物などの非対象物は無視することが望ましい。本発明の本実施形態においては、特定の画像および画像の変化を除外する目的で、ストリームレベルで入力画像を操作する。このようなフィルタリングの例として、所定のしきい値、大きさ、または速度に基づくフィルタリングが挙げられ、これらはいずれもＡＯＩ内に適用されることが好ましく、これにより、さらなる処理に必要なシステム資源の量が大幅に減少する。システムはサーバベースであり、現場に（カメラ以外の）機器を設置する必要がないため、このソリューションは、住宅市場におけるアプリケーションなど低価格帯のアプリケーションの場合に非常に魅力的である。

特定の静的対象物の検出：このアプリケーションは、場合によってはアラームを必要とする静的対象物を検出する目的に使用される。このような対象物の例として、空港における持ち主不明の手荷物、幹線道路に停止している車、保護区域に立ち止まっている人などが挙げられる。本発明の本実施形態においては、ストリームレベルで入力画像を操作し、ＡＯＩにおけるモーションベクトルを調べる。動きを止めた対象物がさらに処理される。

ナンバープレート認識：このアプリケーションは、車両のアクセス制御、盗難または不審な車の検出、駐車の自動化を目的として使用される。本実施形態においては、現場に設置される数百またはそれ以上のカメラを使用して目的の車を検出することが可能であり、実用的な検出ソリューションを提供する。

顔認識：このアプリケーションは、犯罪者やテロリストの場所を特定したり、個人のアクセス制御を目的とする、バイオメトリクス方式の認証装置または検出装置用として望ましい。本実施形態を使用することにより、現場の多数のカメラに顔認識能力が提供される。これは、空港や公共場所の監視など大規模な設備の場合に非常に有用な手段である。

煙・炎の検出：このアプリケーションは火災感知に使用される。本発明の本実施形態を使用すると、カメラを装備している場所すべてにおいて、煙検出器または炎検出器を設置することなく、他のアプリケーションに加えてこのサービスを受けることができる。

交通違反：このアプリケーションは、赤信号無視、車線はみ出し、禁止区域での駐車または停車など、各種の交通違反を検出する。本実施形態を使用すると、道路沿いおよび交差点に位置する多数のカメラにこの機能を適用することができ、これによって警察業務が大幅に効率化される。

交通量分析：このアプリケーションは、交通上の障害物、事故、低速度、速度超過、混雑状況など、正常でない交通事象を自動的に検出することによって、交通センター用として有用である。本実施形態を使用することにより、交通センターは、大幅に良好な管理レベルを提供する目的で、カバー範囲に位置する必要な数のカメラを使用することができる。

不審な車両または人の追跡：このアプリケーションは、対象物を追跡する目的に使用される。泥棒と逃走車両を結びつけたり（link）、逃走中の容疑者を特定するなどの目的に必要である。本実施形態を使用すると、一台以上の選択された現場のカメラにこの機能を関連付けることができる。

留意すべき点として、上記のアプリケーションのそれぞれ、またはその組み合わせのそれぞれは、本発明の別個の実施形態とみなすことができ、いずれも、本明細書に詳述した基本的な構造を使用しているが、それぞれの実施形態では、それぞれに特化した構成要素を利用することができる。そのような構成要素を選択することと、本明細書に説明されている特徴とアプリケーションとを組み合わせることは、技術的な選択の問題であり、当業者には明らかである。

図３Ａ〜図３Ｃは、本発明の好ましい実施形態による、目的の対象物と、そのモーショントレースの生成を示している。図３Ａは、選択されたＡＯＩ（この例においては、人の立ち入りが禁止されている細長い区域）の画像であり、ＭＣＩＰサーバ１０２は、対応するエンコーダから受信される事前に定義されているサイズおよびモーションパラメータに従って決定される対象物をこのＡＯＩ上に生成する。この対象物は、禁止区域に侵入して右から左に歩いている人の体を含んでいる。モーションパラメータは、対象物の中心が追跡されるように絶えず更新される。ＭＣＩＰサーバ１０２は、禁止区域内での人のモーションに関するグラフィカルな示唆情報を提供するトレース（実線）を生成する。図３Ｂは、同一の選択されたＡＯＩの画像であり、ＭＣＩＰサーバ１０２は、このＡＯＩ上に対象物およびトレース（実線）を生成し、このトレースは、禁止区域内で左から右への、よりカメラに近いモーションに関するグラフィカルな示唆情報を提供する。図３Ｃは、同一の選択されたＡＯＩの画像であり、ＭＣＩＰサーバ１０２は、このＡＯＩ上に対象物およびトレース（実線）を生成し、このトレースは、禁止区域内での再び右から左への、よりカメラに近いモーションに関するグラフィカルな示唆情報を提供する。背景ノイズとみなされる背景の動き（木の頂きや草木など）の生成は、対応するエンコーダによって実行されるフィルタリング処理により阻止される。

上記の例および説明は、当然ながら説明のみを目的としており、本発明をいかなるようにも制限することは意図していない。当業者には理解されるように、本発明は、上記に説明した複数の手法を採用して極めて様々な方法で実行することができ、いずれも本発明の範囲を超えない。

本発明の好ましい実施形態による、データネットワークに接続されている複数のカメラを備えている監視システムの構造を概略的に示している。 システム資源の使用を減少させる目的で、本発明の好ましい実施形態に従って、事象検出が実行される領域を指定するＡＯＩ（対象領域）を使用する状況を示している。 本発明の好ましい実施形態による、目的の対象物と、そのモーショントレースの生成を示している。 本発明の好ましい実施形態による、目的の対象物と、そのモーショントレースの生成を示している。 本発明の好ましい実施形態による、目的の対象物と、そのモーショントレースの生成を示している。

Claims (29)

1. 画像ストリームにおける事象検出および対象物追跡を実行する方法であって、
   ａ）画像取得装置のセットを現場に設置するステップであって、前記装置のそれぞれが、一つ以上の画像から成る取得された画像ストリームをデジタル形式に変換するローカルなプログラマブルプロセッサと、前記画像ストリーム内の対象物の属性に関連するパラメータである特徴を、前記画像ストリームから生成し、前記モーションの特徴が対応するしきい値を超えたときに特徴のストリームを伝送するローカルなエンコーダと、を備えている、前記ステップと、
   ｂ）画像取得装置それぞれを、対応するデータ通信チャネルによってデータネットワークに接続するステップと、
   ｃ）画像処理サーバを前記データネットワークに接続するステップであって、前記サーバが、しきい値を調べることと、前記特徴ストリームを処理することとができる、前記ステップと、
   ｄ）前記サーバが対応するデータ通信チャネルおよび前記データネットワークを通じてローカルエンコーダから特徴を受信したときに、前記サーバが前記特徴ストリームを処理することによって前記画像ストリーム内の事象に関する示唆情報を取得し、前記示唆情報をオペレータに伝送するステップと、
   を含んでいる、方法。
2. 前記ローカルエンコーダが、前記画像ストリームを圧縮する回路をさらに備えている複合型エンコーダであり、かつ、第１のモードと第２のモードとで動作することができ、前記第１のモードにおいては、前記複合型エンコーダが前記特徴を生成して前記サーバに伝送し、前記第２のモードにおいては、前記複合型エンコーダが、前記サーバから送られるコマンドに従って、前記特徴に加えて、前記画像ストリームの少なくとも一部を望ましい圧縮レベルで前記サーバに伝送する、請求項１に記載の方法。
3. ａ）前記サーバが複合型エンコーダから特徴を受信している間は、前記サーバから送られるコマンドによって各複合型エンコーダを第１のモードで動作するように制御するステップと、
   ｂ）前記サーバから送られるコマンドによって前記複合型エンコーダを第２のモードで動作するように制御するステップと、
   ｃ）前記サーバが前記特徴ストリームを処理することによって前記画像ストリーム内の事象に関する示唆情報を取得し、前記示唆情報若しくはそれに対応する画像ストリーム、またはその両方をオペレータに伝送するステップと、
   をさらに含んでいる、請求項２に記載の方法。
4. 事象が含まれている一つ以上の圧縮画像ストリームを前記サーバによって復号化し、前記復号化された画像ストリームをオペレータのディスプレイに伝送して表示するステップ、
   をさらに含んでいる、請求項１または２に記載の方法。
5. 前記ローカルエンコーダが第２のモードで動作している間に取得される一つ以上の圧縮画像ストリームを記録するステップ、
   をさらに含んでいる、請求項１または２に記載の方法。
6. 画像ストリームを受信するデータ通信チャネルに、前記サーバ内の追加の画像処理資源を動的に割り当てるステップ、
   をさらに含んでいる、請求項１または２に記載の方法。
7. 前記第１のモードで動作している間に取得される一つ以上の特徴ストリームが、前記画像の一部のみを含んでいる、請求項１または２に記載の方法。
8. 画像の枠または前記画像内の対象領域（ＡＯＩ）の中に存在している目的の対象物を包含するグラフィック多角形を生成して表示するステップ、
   をさらに含んでいる、請求項６に記載の方法。
9. 画像の枠または画像内の対象領域（ＡＯＩ）の中に存在している目的の対象物の動きの履歴を示すグラフィックトレースを生成して表示するステップ、
   をさらに含んでいる、請求項８に記載の方法。
10. 前記画像ストリームが、映像ストリーム、スチル画像、コンピュータによって作成される画像、および事前に記録されたデジタルまたはアナログの映像データ、から成る画像のグループ、から選択される、請求項１または２に記載の方法。
11. 前記画像ストリームが、ＭＰＥＧ形式を使用して圧縮されている映像ストリームである、請求項１または２に記載の方法。
12. 各モードの間、前記エンコーダが異なる解像度およびフレームレートを使用する、請求項１または２に記載の方法。
13. 前記特徴が、以下のグループ、すなわち、
    − モーションの特徴、
    − カラー、
    − 画像の一部、
    − エッジデータ、
    − 周波数に関連する情報
    から選択される、請求項１または２に記載の方法。
14. 少なくとも一つの画像取得装置の前記ローカルエンコーダから受信される特徴ストリームを使用して、以下の動作、すなわち、
    − ナンバープレート認識（ＬＰＲ）
    − 顔認識（ＦＲ）
    − 交通規則違反の検出
    − 挙動認識
    − 火災検出
    − 交通量検出
    − 煙検出
    のうちの一つ以上、若しくはその任意の組み合わせ、またはその両方、を前記サーバによって実行するステップ、
    をさらに含んでいる、請求項１または２に記載の方法。
15. 画像ストリームにおける事象検出および対象物追跡を実行するシステムであって、
    ａ）現場に設置される画像取得装置のセットであって、前記装置のそれぞれが、
    ａ１）取得された画像ストリームをデジタル形式に変換するローカルなプログラマブルプロセッサと、
    ａ２）前記画像ストリーム内の対象物の属性に関するパラメータである特徴を前記画像ストリームから生成し、前記モーションの特徴が対応するしきい値を超えるときに特徴ストリームを伝送する、ローカルなエンコーダと、
    を含んでいる、前記画像取得装置のセットと、
    ｂ）各画像取得装置が対応するデータ通信チャネルを通じて接続されているデータネットワークと、
    ｃ）前記データネットワークに接続されている画像処理サーバであって、前記しきい値を調べることと、前記特徴ストリームを処理することによって前記画像ストリーム内の事象に関する示唆情報を取得することと、前記示唆情報をオペレータに伝送することとができる、前記画像処理サーバと、
    を備えている、システム。
16. 前記ローカルエンコーダが、前記画像ストリームを圧縮する回路をさらに備えている複合型エンコーダであり、かつ、第１のモードと第２のモードとで動作することができ、前記第１のモードにおいては、前記複合型エンコーダが前記特徴を生成して前記サーバに伝送し、前記第２のモードにおいては、前記複合型エンコーダが、前記サーバから送られるコマンドに従って、前記特徴に加えて、前記画像ストリームの少なくとも一部を望ましい圧縮レベルで前記サーバに伝送する、請求項１５に記載のシステム。
17. 前記サーバによって復号化されておりかつ事象を含んでいる一つ以上の画像ストリームを受信するオペレータ用ディスプレイ、をさらに備えている、請求項１５または１６に記載のシステム。
18. 前記ローカルエンコーダが第１のモードで動作している間に取得される一つ以上の画像ストリームを記録するネットワークビデオレコーダ、をさらに備えている、請求項１５または１６に記載のシステム。
19. 前記サーバが、画像ストリームを受信するデータ通信チャネルに追加の画像処理資源を動的に割り当てることができる、請求項１５または１６に記載のシステム。
20. 前記第１のモードで動作している間に取得される一つ以上の画像ストリームが、望ましいＡＯＩに対応する前記画像の一部のみを含んでいる、請求項１５または１６に記載のシステム。
21. 前記サーバが、画像の枠または前記画像内のＡＯＩの中に存在している目的の対象物を包含するグラフィック多角形を生成して表示する処理手段をさらに備えている、請求項１５または１６に記載のシステム。
22. 前記サーバが、画像の枠または画像内のＡＯＩの中に存在している目的の対象物の動きの履歴を示すグラフィックトレースを生成して表示する処理手段をさらに備えている、請求項２１に記載のシステム。
23. 前記画像ストリームが、映像ストリーム、スチル画像、コンピュータによって作成される画像、および事前に記録されたデジタルまたはアナログの映像データ、から成る画像のグループ、から選択される、請求項１５または１６に記載のシステム。
24. 前記画像ストリームが、ＭＰＥＧ形式を使用して圧縮されている映像ストリームである、請求項１５または１６に記載のシステム。
25. 各モードの間、前記エンコーダが異なる解像度およびフレームレートを使用する、請求項１５または１６に記載のシステム。
26. 前記特徴が、以下のグループ、すなわち、
    − モーションの特徴、
    − カラー、
    − 画像の一部、
    − エッジデータ、
    − 周波数に関連する情報
    から選択される、請求項１５または１６に記載のシステム。
27. 前記サーバが、以下の動作、すなわち、
    − ナンバープレート認識（ＬＰＲ）
    − 顔認識（ＦＲ）
    − 交通規則違反の検出
    − 挙動認識
    − 火災検出
    − 交通量検出
    − 煙検出
    のうちの一つ以上、若しくはその任意の組み合わせ、またはその両方、を実行する処理手段、をさらに備えている、請求項１５または１６に記載のシステム。
28. 実質的に説明および図解されているようにして、画像ストリームにおける事象検出および対象物追跡を実行する方法。
29. 実質的に説明および図解されているようにして、画像ストリームにおける事象検出および対象物追跡を実行するシステム。

Images