JP2018139403A - ビデオ監視システムで警告を発する方法 - Google Patents

Abstract

【課題】監視システムで警告を発する方法に関して、複雑な監視状況において、オペレータの支援を改善する。【解決手段】本方法は最初のステップとして、ビデオストリーム内で対象となる個人を検出すること、対象となる個人を選択すること、及び、対象となる個人を追跡することを含む。これらのステップをたどると、本方法は、検出された対象物がターゲットとされた人物であるとする識別に応答して、ビデオストリームの複数のフレーム上で検出された個人の行為を分類すること、及び、対象物の分類された行為が所定の警告が発せられる行為として分類される場合には、警告信号を発することを含む。【選択図】図１

Description

本発明は対象物の追跡方法に関し、具体的には、ビデオ監視システムで警告を発する方法に関する。

ビデオ監視及びビデオ解析の分野では、行動認識は開発中の領域である。行動認識の目的は、監視下にある現場において対象物によって行われる行為、一般的には人間の行為の自動検出を可能にすることにある。一例を挙げるならば、ある個人又は対象物が特定のエリアに入ってくるときに視野センサ（ｐｅｒｉｍｅｔｅｒ ｓｅｎｓｏｒ）が警告を発するのに対して、行動認識ではその人物が悪意に満ちた行為を行うときに警告を発しうる。この開発は画像処理技術の改良、ディープラーニングなどによって促進されており、近い将来、より進んだ処理を可能にする。

行動認識に関しては周知の技法が幾つかあり、これらは空間的技法と時間的技法に分けることができる。例えば、空間的技法には静止画（又は単一の画像フレーム）内の姿勢を分類する様々な方法が含まれ、一方、時間的技法には典型的に、一連の事象の評価、例えば、一連の画像フレーム内の姿勢の評価が含まれる。行動認識の実行にはニューラルネットワークが利用されうるが、最先端の技法にはサポートベクトルマシン（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）なども含まれる。行動認識に用いられるこの技法は本願の中心ではないが、更に幾つかの事例について詳細に説明を行う。

最新の監視状況においては、多くの場合、管理センターには大量の情報が集約されるが、その情報をその場で検討するのは１名ないし数名のオペレータである。典型的には、情報には多数の生中継ビデオストリームが含まれる。多くの場合、情報を後で再検討できるようにする録画機能はないが、むしろ遡って解析できるようにすることより、監視下にある現場の１つで発生する好ましからざる行為に瞬時に対応できる点でメリットがある。理論的には、ビデオカメラで撮影される内容をすべて追跡し、解析することは可能である。実際には、人的要因及び現在の処理性能の限界があるため、このようなアプローチ、すなわち、多数のビデオカメラで撮影されたすべての情報をその場で評価することは現実的ではない。

本発明の目的は、特に、複雑な監視状況において、オペレータの支援を改善することにある。

上記の観点から、本発明の目的は、ビデオ監視システムにおいて警告を発する方法を改善することによって、上記の問題点を解消又は軽減することにある。

第１のコンセプトによれば、監視システム（動画ビデオカメラ）で警告信号を発する方法であって、ビデオストリーム内でターゲットとされた個人を検出すること、ターゲットとされた個人を選択すること、ターゲットとされた個人を追跡すること、検出された対象物がターゲットとされた人物であるとする識別に応答して、ビデオストリームの複数の画像フレーム上で検出された個人の行為を分類すること、及び、対象物の分類された行為が所定の警告が発せられる行為として分類される場合には警告信号を発すること、を含む方法が提供される。

個人の識別は、本技術分野における任意の既存の技法に基づきうる。多くの場合、出力には、保存されているアピアランスモデルと比較されうるアピアランスモデル（アピアランスベクトル又は特徴ベクトルなど）が含まれる。

この第１の態様による本発明は、追跡プロセスの最適化及び、特に警告の発報の必要性に対処する。監視の観点から、一連の特定の事象を取捨選択するため、個人の行動を遡れることは有利で、このように、ビデオ監視はその用途全体にわたって非常に有効なツールとなっている。ビデオ監視は、禁止行為を行っている人物を捉えるためなど、特定の個人に注目する際にも有効である。監視システムは動画ビデオカメラであってもよい。

本願では、警告が発せられる行為を説明するため、「禁止」という用語を随所で使用している。これは、単に、最も明確な使用事例に、禁止とみなされる行為の検出が含まれるからである。しかしながら、これは、別の理由で注意喚起すべきとみなされうる行為を除外するものではなく、やや読みにくい文章にはなるが、より幅の広い表現では単純に「警告が発せられる」となりうる。
そこで、単純化するため、我々は「禁止された」という表現を用いて、「対処したくなる行為、起こった場合には対処なしでは済まされない行為」という意味合いをそれに付け加えた。

本発明がいかにオペレータの業務を助け、監視システムの効率を高めるかは明白である。

一又は複数の実施形態では、行動認識は、画像フレームの部分集合において、例えば、画像フレーム全体ではなくターゲットとされた個人を含むクロップ（ｃｒｏｐ）において、実行されることが好ましい。この方法では、特に多数の個人を含む画像に対しては計算負荷が大幅に軽減される。言うまでもなく、これは現場の一部の個人が無視されることを暗に意味する（選択され、追跡された個人についてのみ能動的に監視される）。

監視された個人をデータベースの内容と比較することは、識別及び／又は比較が手動又は自動で行われるかにかかわりなく、追跡シーケンスを始動する直接的な方法である。

システムは後で参照するため、個別化した特徴ベクトル又はアピアランスベクトルを出力してもよい。

一又は複数の実施形態では、ターゲットとされた人物の識別が認識アルゴリズムによって実行され、これにより識別はオペレータの利便性のために自動化されうる。この実施形態では、個人が識別され追跡が始動されたことがオペレータに警告されることもあれば、警告されないこともある。オペレータに警告される実施形態では、オペレータに対して追跡を中断すべきか否かを促すことがある。

手動又は自動で比較が行われるデータベースは、識別済みの個人を含むこともあり、現時点での識別状況においては、名前によって識別されていること、或いは、その身元が不明のままであっても以前の管理又は監視の対象であったという点で識別されていること、を暗に意味する。データベースは識別された個人の画像、及び／又は識別された個人を表わす特徴ベクトルを含みうる。

これに加えて、或いはその代わりに、データベースは、特定の監視状況又は監視場所に関連して識別された属性の組を含んでもよい。属性の例には、「バッグを持っている」、「目が隠されている」、「マスクをかけている」など、日常的には疑わしくない属性も含まれるが、状況によっては注目に値する属性となりうる。

一連の実施形態によれば、所定の警告が発せられる行為は、一連の「禁止」行為を含むデータベース内で選択されうる。この実施形態は幾つかのレベルの複雑性を有する。第１のレベルでは、識別されうる幾つかの行為のみが存在し、これらのうちの一部が禁止されているとみなされる。更には、特定の監視状況では、ある一連の行為が禁止とみなされ、更に別の一連の行為が禁止とみなされることがある。これらの一連の行為は、競技場や鉄道の駅での場合と比較して、大規模小売店舗では異なることがありうる。

しかも、ある個人が識別されると、監視状況に応じて、あらかじめ設定した一連の行為は警告（「このエリアでは以下の行為は禁止されている」）が発せられる対象となりうるが、他の実施形態又は関連する実施形態では、特定の個人（例えば、既に分かっている万引き犯）に基づいて、一連の行為が警告（「この人物に関しては、以下の行為が禁止されており、警告が発せられる」）の対象と判断されうる。これについては詳細説明で更に扱う。

更に厳密な実施形態では、警告が発せられる行為の選択は、個人及び／又は特定のエリアに関連付けられることがある。警告が発せられる行為の選択は、特定の個人に関連付けられることがある。オペレータ又はシステムが以前に禁止行為を行った個人を認識することもその例に含まれており、そのような場合には、その個人は禁止行為が繰り返されたイベントでは追跡されることがある。この実施形態は、少なくとも警告が発せられるまでは、オペレータが関わらなくても実行されうる。更には、警告が発せられる行為の選択は、特定のエリアに関連付けられることがあり、例えば、あるエリアでは最も一般的な禁止行為は走ることと略奪であるが、他のエリアでは「敵意の兆候を示すこと」、「個人のグループを形成すること」がその選択に含まれうる。これは、ターゲットとされた行動認識に関連して、計算負荷を軽減する更に別の方法となる。

一又は複数の実施形態では、ターゲットとされた個人が選択されると、警告が発せられる行為の選択が促される。これらの実施形態により、幾つかの代替案が可能になる。一例を挙げると、例えば、当該人物をクリックすることによってオペレータは人物を識別するため、選択ウインドウが表示される。選択ウインドウ内では、オペレータは当該の特定の人物に対して禁止とみなされる多数の行為を選択してもよい。利用可能な選択は、認識されうるすべての行為に、或いは、特定の個人に関連した行為、例えば、以前に行為を行ったことがわかっている個人の禁止行為の一部に限定されうる行為に、対応しうる。個人が識別されると、その個人が識別されたことを示すため、選択窓枠が自動的に配置され、オペレータはその窓枠を解除するか、選択を有効化することができる。選択窓枠は、疑いを示しうる多数の方法の一例にすぎない。

任意の実施形態では、行動認識はカメラの画像処理アルゴリズムによって少なくとも部分的に実行される。行動認識は、カメラの画像処理アルゴリズムによって全面的に実行されてもよい。

一又は複数の実施形態では、候補となる行為の認識装置は、対象物画像フレームに第１の行動認識アルゴリズムを適用し、これによって候補となる行為の存在を検出するように構成されており、ビデオ抽出装置は、ビデオシーケンスから複数の画像フレームに関連するビデオデータを抽出することによって、動作ビデオシーケンスの動作画像フレームを生成するように構成されており、ビデオデータが抽出される複数の画像フレームのうちの一又は複数は注目している対象物を含み、また、ネットワークインターフェースは動作ビデオシーケンスをサーバーへ送信するように構成されている。サーバーは、第２の行動認識アルゴリズムを動作ビデオシーケンスに適用し、これによって候補となる行為が当該行為であると検証するか却下するように構成された行為検証装置（ａｃｔｉｏｎ ｖｅｒｉｆｉｅｒ）を含む。これは更に、本願の別の節で詳細に説明されるように、本願の同時係属中の出願に開示されている。

一又は複数の実施形態では、行為の分類はカメラベースの画像解析（画像処理アルゴリズム）を用いて実行されてもよく、一方、他の実施形態又は関連の実施形態では、行為の分類は上述のように遠隔デバイスによって支援又は実行される。

本方法は更に、ビデオカメラネットワークへのアピアランスベクトルの通信を含む、監視システムの第１のデバイスから第２のデバイスへのハンドオーバーを含みうる。

一又は幾つかの実施形態では、ターゲットとされた対象物のアピアランスベクトルは、新しいポストとして、又は更新情報としてデータベースに記録される。

行動認識は、空間的／状況的認識アプローチ、又は時間的認識アプローチに基づきうる。

本発明の第２の態様では、画像処理回路を有するデジタルネットワークカメラ、対象物識別装置、対象物追跡装置、警告発生装置を備えるシステムが提供され、後者はデジタルネットワークカメラの一部を形成してもよく、サーバーベースソリューション（サーバー又はサーバーのネットワーク）に含まれてもよく、システムは更にユーザーインターフェースを含み、前記システムは本願に開示の一又は任意の実施形態による方法を実行するように構成されている。

本発明の更に別の態様によれば、処理能力を有するデバイスによって実行されると上記又は下記の方法を実行するように適合された命令を有するコンピュータ可読記憶媒体を含む、コンピュータプログラム製品が提供される。

本発明は、別途明示的に記載されない限り、特徴のすべての可能な組み合わせに関連することに、更に留意されたい。

本発明の応用可能性の更なる範囲は、下記に記載する詳細説明から明らかになろう。しかし、当業者にはこの詳細説明から本発明の範囲内の様々な変更及び修正が明らかになることから、詳細説明及び具体例は、本発明の好ましい実施形態を示しつつも、単なる例示として記載されていることを、理解されたい。したがって、説明されているデバイスの特定の構成要素部品、又は説明されている方法の特定のステップが変動しうるため、この発明は、かかるデバイス及びステップに限定されないことを、理解されたい。本明細書で使用される用語は、特定の実施形態を説明するためのものにすぎず、限定するものではないことを更に理解されたい。明細書及び添付の特許請求の範囲で使用されるように、冠詞（「ａ」、「ａｎ」、「ｔｈｅ」、及び「ｓａｉｄ」）は、文脈によって他のことが明らかに示されない限り、一又は複数の要素があることを意味していると意図されることに留意されたい。したがって、例えば、「センサ」（ａ ｓｅｎｓｏｒ）又は「前記センサ」（ｔｈｅ ｓｅｎｓｏｒ）に言及した場合、これは幾つかのセンサなどを含んでもよい。更に、「含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、他の要素又はステップを除外しない。

本発明の上記及び追加の目的、特徴、利点は、添付図面を参照しつつ、本発明の好ましい実施形態の以下の例示的かつ非限定的な詳細説明を通して、より明確に理解されるであろう。図面では類似要素に対して同じ参照番号が使用されている。

本発明の第１の実施形態を示すフロー図である。 図１の実施形態で開示されているように、本発明のシーケンスに対して可能な多数の実施形態を示す部分フロー図である。 図１の実施形態で開示されているように、本発明のステップに対して可能な多数の実施形態を示す部分フロー図である。 図１の実施形態で開示されているように、本発明のシーケンスに対して可能な多数の実施形態を示す部分フロー図である。 実施形態の１つ又はいずれかに従って、発明の方法を実行するように構成されたシステムの概略図である。 処理能力を有するデバイスによって実行されると、実施形態の１つ又はいずれかに従って、発明の方法を実行するように適合された命令を有するコンピュータ可読記憶媒体を備える、コンピュータプログラム製品の概略図である。

実際の状況においては、１名のオペレータが数台のカメラ表示を同時に監視する責任を負うことがある。店舗では、典型的に、監視カメラは入口、支払い行列、及び店舗内の複数の場所を網羅する。ある不審な個人がターゲットとされると、オペレータはターゲットとされた個人に対して認識度が高まるため、他の表示の認識度は低くなることが示唆される。

本発明によれば、ターゲットとされた人物が選択されるときには、すなわち、追跡すべき対象物として識別されるときには、オペレータは能動的な選択を行ってもよい。その結果、オペレータの注意は他の場所に向けられてもよく、禁止行為の１つが行われると、システムは警告信号を発し、これによってオペレータはその状況を全面的に注目するように通知されうる。

図１は、第１の実施形態による本発明の方法を示している。方法１００は、現場でターゲットとされた個人を検出するステップ１０２によって始動される。実のところ、当該の個人はまだターゲットになっていないが、単純化するため、「その後の段階でターゲットになる可能性のある個人」ではなく、「ターゲットとされた個人」という表現を使用している。実際には、多くの場合このステップに先行して、自動化されたステップが、映像化された現場にある個人が入ったこと、及びその個人が特定のエリアに位置していることを認識する対象物検出アルゴリズム又は動作検出アルゴリズムによって実行され、多くの場合、当該の個人（或いは他の移動体）は、矩形によってハイライトされる。第２のステップ１０４では、オペレータはターゲットとされた個人を選択する。当該の個人が矩形又は他の任意の方法で既にマークされている場合には、マーカーを使用して、表示の中で問題になっている個人の近傍をクリックすることによって選択が行われる可能性がある。

選択が有効になると、ターゲットとされた個人の追跡１０６が自動的に、又はユーザーの要求に応じて、任意の適切なインターフェースを介した通信手段によって始動されうる。更には、ターゲットとされた個人によって行われうる一連の行為は（本明細書の文脈で定義されているように）禁止されているものとして分類１０８される。これは他の実施形態を参照してより詳細に議論されるが、行為を「禁止された」と分類することは、手動又は自動で実行されうることは既に述べた。

この観点から、システムは、ターゲットとされた個人が一連の禁止行為に含まれる行為１１０を行うことが検出されるとすぐに、警告１１２を発する。警告は幾つかの目的に使用されうる。例えば、後で再確認するためのマーカーを生成してもよく、或いは、行為が検出されたら直ちにオペレータへの直接通知を生成してもよい。行為が禁止行為のリストに含まれていない場合には、システムは警告を発することなく、ただ単に追跡及び行動認識に戻る。

これらは本発明の任意の実施形態の主要な構成要素であるが、本方法を実行するシステムのオペレータ又は利用者の利便性のために、より入念なソリューションを提供するため、任意の構成要素は更に改良されうる。このような入念な作業の幾つかは以下で説明されるが、当業者であれば、本方法の代替的な実施形態を形成するため、論理的に不可能でない限り、改良された構成要素は自由に組み合わせうることを理解されたい。

個人の検出及び選択：図２
個人は多くの方法で検出されうる。個人を選択するステップは検出に密接に関連付けられうる。一実施形態では、個人はオペレータによって選択されることによって検出され、ターゲットとされる。この背景にはそれ以上のロジックはない。オペレータは、注目される特定の個人を含むデータベース１１６によって支援されうる。データベースは、本方法を実行するシステムに統合されてもよく、統合されなくてもよい。オペレータは、可能性のある個人の特定を示す認識システム１１４によっても支援されうる。特定の個人が常に選択されることが事実であるならば、例えば、既知の万引き犯が店舗に入ると、追跡が開始されたという警告をオペレータに送信するしないに関わらず、検出及び選択のステップ全体は、程度の差はあるものの自動的に実行されうる。

他の実施形態又は組み合わされた実施形態によれば、個人は属性１１８以外の個人的な外観に基づいて識別されることはない。属性は、人物がバッグを持っている、ショッピングカートを押している、ふさわしくない道具を持っているなどの物理的なものになりうる。要約するならば、本方法のこの部分は非常に単純であるが、利用可能な技術によって改良されてもよく、制限されてもよい。

個人に対して禁止される行為の分類
このステップは多かれ少なかれ再び改良されうるが、多数の異なる代替案が存在する。一実施形態では、禁止行為があらかじめ設定されるが、これは、ターゲットとされた特定の個人にかかわらず、同じ一連の行為が禁止とみなされる。これは次に、選択が特定の個人ではなく、特定のエリアに依存するという点で、更なる代替案を有しうる。

他の実施形態では、一連の禁止行為はオペレータによって定義され、また、更に他の実施形態又は関連の実施形態では、一連の禁止行為は識別された個人によって完全に又は部分的に定義される。後者は、識別された個人が選択された行為を行うことを暗に意味しているのではなく、特定の個人に対して特別に用意した一連の行為を全面的に又は部分的に設定しうることを意味している。一連の禁止行為がどの程度推測されるかにかかわらず、一又は複数の実施形態では、オペレータは行為を追加又は削除することによって、その内容を微調整することができる。

一連の禁止行為は場所に関連付けられてもよく、これは、行為が特定のエリア内で行われた場合にのみ警告が発せられるように、特定の行為が特定のエリア内で禁止されることを意味する。

問題となっている行為はまた、対象物のクラスにも関連付けられうる。例えば、子供と大人で、従業員と非従業員で区別することができ、これに従って警告が発せられる行為を調整することができる。問題となっている行為は、例えば、この人物はこのエリア内でバッグを持つことは認められない、などのように個々の対象物に関連付けられうる。

個人の追跡：図３
個人を追跡するステップは、既存の方法のいずれかによって実行されうる。１つのカメラが使用され、個人が現場を離れることがない場合には、追跡はきわめて直接的で、「検出による追跡」１２０、又は「動作に基づく追跡」１２２によって行うことができ、或いは、再識別による追跡など、一又は複数の現場にわたって同一の個人が追跡されることを保証する別の技術、又は現在の技術又は新しい技術の組み合わせによって行うことができる。

本発明は、複数のカメラが含まれるシステムでは、オペレータが追加の支援による利便性を享受しうる典型的な状況であるため、明確な利点を有する。このような状況では、アピアランスモデルは、すべてのカメラ（又は少なくとも関連のあるカメラ）で利用できる場所に保存すること１２４、或いは、システムの他のカメラに一斉送信すること１２６によって、システム内のすべてのカメラで利用可能になりうる。

行動認識と警告の発信
行動認識は本題というよりも、むしろ本発明を可能にするものであるが、幾つかの代替案が述べられることもある。本願の背景の節で既に述べたものもあるが、行動認識に関しては任意の方法が用いられうるというのが結論である。しかしながら、ビデオ監視の分野に関しては、関連しうる２つの特徴がある。１つは、即時の警告が望まれるため、行動認識はその場で実行すべきであるということで、もう１つは、カメラ上で利用できる処理性能には限界があるということである。空間的又は状況的な情報１２８に基づく技法など、直接的な行動認識技法に関しては、これらの技法が何らかの問題を引き起こすことはめったにない。しかしながら、大量のデータが処理されなければならない最新の技法に関しては、例えば、処理性能が不充分であるなどの問題を引き起こしうる。後者の例は、時間的に分解された画像シーケンスが使われる技法１３０である。

状況的な行動認識アルゴリズムの例は、Ｇｅｏｒｇｉａ Ｇｋｉｏｘａｒｉ、Ｒｏｓｓ Ｇｉｒｓｈｉｃｋ及びＪｉｔｅｎｄｒａ Ｍａｌｉｋによって、“Ｃｏｎｔｅｘｔｕａｌ Ａｃｔｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ Ｒ＊ＣＮＮ”； ａｒＸｉｖ：１５０５．０１１９７で開示されている。行動認識アルゴリズムの更なる実施例に関しては、状況的及び／又は空間的行動認識アルゴリズムについても、時間的行動認識アルゴリズムについても、ＣＮ１０２８５５４６２、ＣＮ１０３１０６３９４に記載されており、また、Ｋａｒｅｎ Ｓｉｍｏｎｙａｎ及びＡｎｄｒｅｗ Ｚｉｓｓｅｒｍａｎによって“Ｔｗｏ−Ｓｔｒｅａｍ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ａｃｔｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ Ｖｉｄｅｏｓ”； ａｒＸｉｖ：１４０６．２１９９に記載されている。

使用される技法を度外視するならば、画像の可能な限り最小の部分で、できるのであればターゲットとされた個人を含む断片（クロップ）で、行動認識を実行することが望ましい。幾つかの実施形態では、禁止された種類の行為を行う可能性のある個人の部分（小さめのクロップ）を含むだけで十分となりうるが、一方、更に別の実施形態では、状況的な評価を可能にするため、周囲の一部（やや大きなクロップ）を含むことが望ましい。

他の実施形態では、行動認識は二段階の処理１３２で実行される。第一段階では、最初の認識は、できるのであれば複雑度の低い行動認識技法、例えば、ターゲットとされた個人の現在の姿勢を評価するだけの技法などに基づいて行われる。第二段階では、確認は、時間的に分解された情報を用いる技法など、より複雑な技法を用いて行われる。これは、確認に続く迅速な「その場」での警告を可能にする。例えば、より複雑な技法がコンピュータ的に要求される場合には、例えば、画像フレーム又は画像フレームのクロップなどの、行動認識に必要な情報は、カメラと比較して上位の計算能力を有するサーバー１３４に転送される。この技法は、本出願人／譲受人による係属中の出願（２０１６年１１月４日付けで提出された欧州特許出願ＥＰ１６１９８６７１．１）に開示されており、参照により本願に組み込まれる。特に、参照は、関連する記述と共に提出された参照出願の図２に対して行われる。

警告の発信は、現在の警告発信で使用される技法、並びに、オペレータに警告する信号をＶＭＳに送信すること、あらかじめ設定された動作を実行することなど、警告を発信する新しい方法を含む、幾つかの異なる方法で実行されうる。

図５は、実施形態の１つ又はいずれかに従う発明の方法を実行するように構成システム１４０の概略図である。このシステムは、多かれ少なかれ必要とされる、一又は複数のネットワークカメラを含む。

デジタルネットワークカメラ１４２は現場を描画するビデオシーケンスを捕捉するように構成されている。デジタルネットワークカメラ１４２は、ハウジング１４４、レンズ１４６及び回路１４８を備える。デジタルネットワークカメラ１４２は、ビデオシーケンスを捕捉し、処理し、幾つかの実施形態では保存も行うように構成されている。回路１４８は画像センサ１５０、画像処理ユニット１５２、対象物識別装置１５４、候補となる行為の認識装置１５６及びネットワークインターフェース１５８を備える。回路１４８は更に、中央処理装置（ＣＰＵ）１６０、デジタルデータ記憶媒体（メモリ）１６２及び符号化ユニット１６４を備えうる。画像処理ユニット１５２、対象物識別装置１５４、候補となる行為の認識装置１５６，及び符号化ユニット１６４のうちの任意の１つは、専用ハードウェア回路及び／又はソフトウェアモジュールとして実装されうる。ソフトウェアが実装される場合には、ソフトウェアはＣＰＵ１６０の上で動作しうる。ＣＰＵ１６０は、デジタルデータ処理を実行するための任意の適切なＣＰＵとなりうる。任意の専用ハードウェア回路は、専用プロセッサ、又はＣＰＵ１６０の上で動作するソフトウェア部分を部分的に含みうることに留意されたい。デジタルネットワークカメラは、既に説明した構成要素によって実行される機能である追跡装置（図示せず）を備える。

メモリ１６２は、任意の種類の揮発性又は不揮発性メモリであってもよい。更に、メモリ１６２は複数のメモリユニットを含みうる。複数のメモリユニットのうちの少なくとも１つは、例えば、ビデオシーケンスのコンテンツを処理する間にデータをバッファリングするためのバッファメモリとして使用されうる。

デジタルネットワークカメラ１４２は、ネットワークインターフェース１５８を介して、サーバー１６６によって示されたデジタルネットワークに接続されるように構成されている。デジタルネットワークへの接続は有線又は無線になりうる。したがって、ネットワークインターフェース１５８は、１０／１００／１０００Ｍｂｐｓのデータトラフィックに適合されたネットワークポート（Ｅｔｈｅｒｎｅｔポートなど）、モジュラコネクタ（例えば、ＲＪ４５コネクタ）を受容するように構成されたモジュラーポートになりうる。通常、ＲＪ４５のようなコネクタポートは、（例えば、カテゴリー５、カテゴリー５ｅ又はカテゴリー６の）ツイストペアケーブルのようなネットワークケーブルを受容するように構成されている。代替的に、ネットワークポートのＩ／Ｏ手段は、モバイルインターネット通信規格（例えば、１Ｇ、２Ｇ、２．５Ｇ、２．７５Ｇ、３Ｇ、３．５Ｇ、３．７５Ｇ、３．９Ｇ、４Ｇ、５Ｇ）を使用する、又はＷｉＦｉを使用する無線Ｉ／Ｏ手段であってもよい。

カメラ構成要素、すなわち、レンズ装置１４６及び画像センサ１５０は、生の画像を捕捉するように構成されてもよく、生の画像はそれぞれ異なる波長で、異なる対象物又は対象物の一部から発せられる光として説明されうる。これらの生の画像は次にアナログからデジタルフォーマットに変換され、画像処理ユニット１５２へ送信される。この実施形態によれば、デジタルネットワークカメラ１４２は可視光画像を捕捉するように構成されたカメラである。代替的に、或いは組み合わせにより、デジタルネットワークカメラ１４２の画像センサ１５０は、熱画像、又は他の種類の画像を捕捉するように構成されうる。

対象物識別装置１５４は、カメラ１４２によって捕捉されたビデオシーケンス内で対象物を検出するように構成されている。注目している対象物は、本発明の目的では人間となりうるが、乗り物、動物などであってもよい。

対象物識別装置１５４は更に、ビデオシーケンスの一又は複数の画像フレーム内で注目している対象物を識別するように構成されている。

システムは更にユーザーインターフェース１６８を備え、これを介してユーザーは命令を送信してもよく、また、カメラの回路と別の通信を実行してもよい。上述のように、１つのシステムは開示された種類の幾つかのカメラを備えてもよく、これらはすべてデジタルネットワークに接続されており、好ましくは同一のデジタルネットワークに接続されている。ユーザーインターフェース１６８は、サーバー１６６を介して、カメラ１４２に直接接続されうる。

他の実施形態又は組み合わされた実施形態では、機密情報は、サーバー１６６上など、カメラから離れて配置されることがあり、これは、カメラが基本的にビデオストリームを収集し、処理は行わずに、或いは限られた処理を行って、それを別のネットワークデバイスへ転送する目的だけを果たすことを暗に示している。

システムはこのように、本発明の一又は任意の実施形態にしたがって、方法を実行するように構成されている。

図６は、処理能力を有するデバイスによって実行されると、実施形態の１つ又はいずれかに従って、発明の方法を実行するように適合された命令を有するコンピュータ可読記憶媒体を備える、コンピュータプログラム製品の概略図である。

Claims (15)

1. 監視システムで警告信号を発する方法であって、
   ビデオストリーム内で対象物を検出すること、
   前記対象物をターゲットとされた対象物として選択すること、
   前記ターゲットとされた対象物を追跡すること、
   前記ビデオストリームの各画像フレームの一部を切り出すことであって、前記ターゲットとされた対象物を含む各画像フレームの一部を切り出すこと、
   前記切り出した部分を解析することによって、前記追跡された対象物によって行われた行為を認識すること、
   前記認識した行為を分類すること、並びに、
   前記追跡された対象物の行為の一又は複数が所定の警告が発せられる行為として分類される場合に警告信号を発すること
   を含む方法。
2. 前記検出作業は、対象物検出アルゴリズム又は動作検出アルゴリズムによって実行される、請求項１に記載の方法。
3. 前記対象物を前記ターゲットとされた対象物として選択する作業は、前記対象物のアピアランスモデルを複数の対象物のアピアランスモデルのデータベースと比較することによって実行される、請求項１又は２に記載の方法。
4. 前記対象物を前記ターゲットとされた対象物として選択する作業は、認識アルゴリズムによって実行される、請求項１から３のいずれか一項に記載の方法。
5. 前記所定の警告が発せられる行為を選択することを更に含む、請求項１から４のいずれか一項に記載の方法。
6. 前記所定の警告が発せられる行為は、一連の禁止行為を含むデータベースから選択される、請求項５に記載の方法。
7. 前記所定の警告が発せられる行為の前記選択は、前記追跡された対象物と関連付けられている、請求項５又は６に記載の方法。
8. 前記所定の警告が発せられる行為の前記選択は、特定のエリアと相関連付けられている、請求項５から７のいずれか一項に記載の方法。
9. 前記所定の警告が発せられる行為の前記選択は、前記ターゲットとされた対象物の前記選択によって促される、請求項５から８のいずれか一項に記載の方法。
10. 行為を認識する前記作業は二段階のプロセスで実行され、第一段階では、候補となる行為を検出するため、前記ビデオストリームを捕捉するカメラで最初の行動認識が実行され、第二段階では、前記候補となる行為を真の行為として検証する又は却下するため、前記候補となる行為を始動する前記対象物を含むビデオデータがリモートサーバーへ送信される、請求項１から９のいずれか一項に記載の方法。
11. 前記追跡された対象物を記述するアピアランスモデルを引き渡すことを含む、前記監視システムの第１の装置から第２の装置へのハンドオーバーを更に含む、請求項１から１０のいずれか一項に記載の方法。
12. 前記ターゲットとされた対象物のアピアランスモデルは、新しいポストとして、又は更新情報として、前記データベースに記録される、請求項３から１１のいずれか一項に記載の方法。
13. 行為を認識する前記作業は、空間的／状況的認識アプローチ、時間的認識アプローチ、或いはこれら２つの組み合わせに基づいている、請求項１から１２のいずれか一項に記載の方法。
14. デジタルネットワークカメラを備えるシステムであって、画像処理回路、対象物識別装置、対象物追跡装置、警告発生装置を有し、後者は前記デジタルネットワークカメラの一部を形成してもよく、或いは、サーバーベースソリューションの中に含まれてもよく、また、前記システムはユーザーインターフェースを更に含み、前記システムは請求項１から１３のいずれか一項に記載の方法を実行するように構成される、システム。
15. 処理能力を有するデバイスによって実行されると、請求項１から１３のいずれか一項に記載の方法を実行するように適合された命令を有するコンピュータ可読記憶媒体を備える、コンピュータプログラム製品。

Images