JP2016086416A - 監視方法及びデバイス - Google Patents

Abstract

【課題】監視カメラからの情報と監視検出センサなどの外部センサからの情報を組み合わせる便利な方法を提供する。【解決手段】方法は、現場２００を監視するカメラからのビデオストリームのオーバーレイ２０４として、センサユニットからのセンサデータを含む。オーバーレイは、現場領域２０２ａ〜２０２ｆに対応するオーバーレイ領域２０６ａ〜２０６ｆを有し、センサユニットが現場領域で動きを検出すると、グラフィック要素２０８が、その現場領域に対応するオーバーレイ領域のオーバーレイに加えられる。ついで、物体特徴検出又は動き若しくは変化検出などのビデオ分析手順が、カメラ及びセンサユニットの両方によって特定の現場領域で検出が行われたかどうかを決定するために使用される。【選択図】図２

Description

本発明は、現場を監視するための方法及びデバイスに関する。

監視カメラは、屋内及び屋外の両方で様々な用途で使用される。そのようなカメラによって捕捉されたビデオは、動き検出及び物体検出又は認識など、様々なビデオ分析手順をビデオに適用し得るビデオ管理システム（ＶＭＳ）にしばしば送信されるが、この場合、物体とは、例えば、表面又はライセンスプレートであり得る。分析手順の結果は、順次警報を鳴らし得、人数又は車両数計測のためなど、種々の統計に回収されるイベントとしてログが取られ得る。ＶＭＳはまた、あるイベントが起こる場合に、ビデオの記録を開始するよう構成され得る。場合によっては、監視カメラそれ自体もまた、捕捉されたビデオを分析し、様々なビデオ分析手順を局部的に実行するための容量を有し得る。

熱放射の変化を感知する受動型赤外線（ＰＩＲ）センサなど、様々な種類の監視センサもまた存在する。監視カメラからのビデオで実行されるビデオ分析手順及び監視センサによる動き検出は、時に監視現場の中の興味の対象でない物体又は動きをもたらすこともある。カメラ及び他の種類のセンサからの出力を組み合わせるために様々な努力がなされている。１つの例として、ＰＩＲセンサは、監視カメラのＩ／Ｏポートに接続され得、ＰＩＲセンサが始動すると、カメラは記録を開始するように設定される。カメラからの出力を他のセンサの出力と組み合わせるための他のアイデアも存在するが、この分野においては、なおも改善の余地がある。

したがって、上記を考慮して、監視カメラからの情報と監視検出センサなどの外部センサからの情報を組み合わせる便利な方法を提供することが、本発明の目的である。

本発明の第１の態様によれば、ビデオ符号化ユニットは、現場を監視するカメラから複数の画像フレームを有するビデオストリームを受信するよう構成される第１のデータ入力と、複数の所定の現場領域で動きを検出するセンサユニットからセンサデータを受信するよう構成される第２のデータ入力と、センサデータを表示するオーバーレイを生成し、オーバーレイをビデオストリームの中の画像フレームに加えるよう構成される処理ユニットであって、オーバーレイは、現場領域を表示する複数のオーバーレイ領域を有し、かつオーバーレイは、センサデータが、センサユニットによって動きが検出されたことを示す現場領域を表示するこれらのオーバーレイ領域にグラフィック要素を含む、処理ユニットとを含む。

この方法では、センサデータを、非常に便利な方法でビデオストリームに含むことができる。任意の別個のチャネルをセンサデータに提供する必要はなく、オーバーレイがない場合と同じように、ビデオストリームを処理することができる。後の段階でビデオストリームからセンサデータを検索するために、標準ビデオ分析アルゴリズムを使用することができ、センサデータを送信又は受信するために、別個のハードウェア又はソフトウェアが提供される必要はない。

グラフィック要素は、動画グラフィック要素の形態を取り得る。動画グラフィック要素は、回転する又は位置をずらすことなどによって、オーバーレイ領域の内部に移動するグラフィック要素、又は形状、色若しくはパターンを変えることなどによって、異なる視覚状態を交互に繰り返すグラフィック要素のうちの少なくとも１つを含み得る。動画要素を使用することは、通常利用可能な動き又は物体検出方法によって、グラフィック要素を検出し、これによって簡単かつ便利な方法で、センサユニットが特定の現場領域で動きを検出したと決定することが容易になるであろうことを意味する。

処理ユニットは、画像フレームの一部の画素値をグラフィック要素を形成する画素と交換することによって、オーバーレイを画像フレームに加えるよう構成され得、換言すると、オーバーレイは、オーバーレイを加えるための標準手順を使用して、容易に加えられ得る。

場合によっては、画像フレームは、画像フレームの一部を空白の状態にしたフォーマットを有する現場の表示を含み得、次いで処理ユニットは、オーバーレイを空白の部分に加えるよう構成され得る。このことは、カメラからの情報がオーバーレイで隠れず、空白の部分だけが影響を受けるという有利な点を与えるだろう。このことは、ビデオストリームが広角レンズ又は魚眼レンズを有するカメラから受信されるときに特に役に立ち、周囲に空白のエリアを有する現場の円形表示が与えられる。

別の方法として、処理ユニットは、オーバーレイを画像フレームの別個のセクションに加え、フレームのオーバーレイに対して別個のセクションを加えることによって、ビデオストリームの中の画像フレームのサイズを大きくすること、及び画像データを記録し、フレームのオーバーレイに対して別個のセクションを加えることによって、画像フレームの中の画像データのサイズを小さくすることの何れかによって、別個のセクションをつくり出すよう構成され得る。この方法では、オーバーレイを加えるときに、カメラからビデオの情報が失われることがないので、重要な情報を含めることなく、カメラ画像にオーバーレイを加えるためのエリアがない場合に役に立つ。

本発明の別の態様によれば、カメラユニットは、現場を監視するよう構成されるカメラと、複数の所定の現場領域で動きを検出するよう構成されるセンサユニットと、前述のビデオ符号化ユニットとを含む。センサユニットは、ＰＩＲセンサのアレイを含み得、各ＰＩＲセンサは、現場領域のそれぞれの領域における熱放射の任意の変化を感知することによって、動きを検出するよう構成される。ＰＩＲセンサは、費用効率が高く頑丈な、動きを検出する方法を提供する。また、ビデオエンコーダーに搬送され、ビデオエンコーダーによって処理されるデータの量は、極わずかな帯域幅及び処理能力しか占めない。

更に又は別の方法として、センサユニットは、現場領域における物体までの距離の任意の変化を感知することによって、動きを検出するよう構成される固定又は回転ＬＩＤＡＲセンサを含み得る。ＬＩＤＡＲセンサは、ＰＩＲアレイよりも現場の詳しい表示を与えるので、ビデオ符号化ユニットは、結果的に生じるオーバーレイの生成前に、ＬＩＤＡＲデータの更なる分析又はフィルタリングを行い得る。例えば、動きを引き起こす物体のサイズ又は動きの範囲は、グラフィック要素がオーバーレイに加えられるべき動きを除去するために使用され得る。

更に又は別の方法として、センサユニットは、現場領域における物体までの距離の任意の変化を感知することによって、動きを検出するよう構成される超音波センサのアレイを含み得る。ＰＩＲセンサと同じように、超音波センサは、費用効率が高いオプションである。

更に又は別の方法として、センサユニットは、現場領域における物体までの距離の任意の変化を感知することによって、動きを検出するよう構成される飛行時間（ＴＯＦ）センサを含み得る。

更に又は別の方法として、センサユニットは、現場領域における物体までの距離の任意の変化を感知することによって、動きを検出するよう構成される構造化した光センサを含み得る。ＬＩＤＡＲセンサと同じように、ＴＯＦセンサ及び構造化した光センサは、ＰＩＲアレイよりも現場の詳しい表示を与えるので、ビデオ符号化ユニットは、結果的に生じるオーバーレイの生成前に、センサデータの更なる分析又はフィルタリングを行い得る。例えば、動きを引き起こす物体のサイズ又は動きの範囲は、グラフィック要素がオーバーレイに加えられるべき動きを除去するために使用され得る。

更に又は別の方法として、センサユニットは、現場領域における物体までの音の任意の変化を感知することによって、動きを検出するよう構成されるマイクロフォンのアレイを含み得る。例として、足音など、ある種の音が認識され得る。音データは、動きの検出だけではなく、他の種類の分析にも使用され得る。

本発明の別の態様によれば、ビデオ管理システムは、複数の所定の現場領域を有する現場を示す複数の画像フレームを有するビデオストリーム、及び現場領域を表示するオーバーレイ領域を有するオーバーレイを受信するよう構成される第３のデータ入力と、ビデオストリームを分析するために、かつ物体が現場領域で検出され、グラフィック要素が現場領域を表示するオーバーレイ領域で同時に検出されると、イベントを生成するよう構成されるビデオ分析ユニットとを含む。

この方法では、ビデオ管理システムは、特定のセンサデータチャネルに合わせる必要なく、便利で簡単な方法で純粋なビデオデータ以外のデータを利用することができる。オーバーレイ領域での検出を現場領域での検出と組み合わせることによって、陰がビデオの中で物体として検出される場合などに、誤報のリスクを低下させることができる。したがって、オーバーレイ領域での検出は、現場のビデオ画像での検出の検証と見なされ得る。

ビデオ分析ユニットは、現在の画像フレームの、一又は複数の以前の画像フレーム又は背景モデルとの比較などによって、現場領域における変化又は動きを検出することと、顔、人間、車両、ライセンスプレートなど、特定の物体種類の物体特徴を検出することによって、物体の存在を検出することとのうちの少なくとも１つによって、現場領域における物体を検出するよう構成され得る。類似の手順がオーバーレイ領域に使用され得、又はより具体的には、ビデオ分析ユニットは、現在の画像フレームの、一又は複数の以前の画像フレーム又は背景モデルとの比較などによって、グラフィック要素の変化又は動きを検出することと、若しくは特定の物体特徴を検出することによって、グラフィック要素の存在を検出することとのうちの少なくとも１つによって、オーバーレイ領域においてグラフィック要素を検出するよう構成され得る。

本発明の別の態様によれば、ビデオ監視システムは、前述のカメラユニットであって、処理ユニットによって生成されるビデオストリームを出力するようさらに構成されるカメラユニットと、前述のビデオ管理システムであって、生成されたビデオストリームを受信するよう構成されるビデオ管理システムとを含む。これにより、センサデータを提供するための任意の特定のチャネルをビデオ管理システムに加える必要なく、ビデオデータが動きセンサからのセンサデータと容易に組み合わせられ得るシステムが実現される。センサデータを検索し、そのセンサデータをビデオストリームでの検出と組み合わせて、より好ましい物体検出を実現し、これにより誤報を減らすために、次いで標準ビデオ分析手順が使用され得る。

本発明の別の態様によれば、符号化ビデオストリームを生成する方法は、現場を監視するカメラから複数の画像フレームを有するビデオストリームを受信するステップと、複数の所定の現場領域で動きを検出するセンサユニットからセンサデータを受信するステップと、センサデータを表示するオーバーレイを生成し、オーバーレイをビデオストリームの中の画像フレームに加えるステップであって、オーバーレイは、現場領域を表示する複数のオーバーレイ領域を有し、かつオーバーレイは、センサデータが、センサユニットによって動きが検出されたことを示す現場領域を表示するこれらのオーバーレイ領域にグラフィック要素を含む、生成し加えるステップとを含む。

本発明の別の態様によれば、ビデオ分析イベントを生成する方法は、複数の所定の現場領域を有する監視された現場を示す複数の画像フレームを有するビデオストリーム、及び現場領域を表示するオーバーレイ領域を有するオーバーレイを受信するステップと、ビデオストリームを分析し、物体が現場領域で検出され、グラフィック要素が現場領域を表示するオーバーレイ領域で同時に検出されると、イベントを生成するステップとを含む。

本発明の別の態様によれば、ビデオ監視方法は、前述の方法による符号化ビデオストリームを生成するステップと、前述の方法による符号化ビデオストリームを受信し、ビデオ分析イベントを生成するステップとを含む。

本発明の方法に関連する態様は、本発明の前述のデバイス及びシステムの態様と同一の有利な点と関連付けられる。

本発明の適用性の更なる範囲は、以下の詳細な説明から明らかになるだろう。しかしながら、当業者にとっては、本発明の範囲内の様々な変更及び修正がこの詳細な説明より明らかになるため、詳細な説明及び具体例は、本発明の好適な実施形態を示しながらも、例示的な形でのみ提示されることを理解されたい。

したがって、本発明は、説明されるデバイスの特定の構成要素部分及び説明される方法のステップが変更されることもあるので、それらに限定されないと理解すべきである。また、本明細書で使用される用語は、特定の実施形態を説明することだけを目的としており、限定的であることを意図していないと理解すべきである。明細書及び添付の特許請求の範囲で使用されるように、冠詞「１つの（「ａ」、「ａｎ」）」、及び「前記（「ｔｈｅ」、「ｓａｉｄ」）」は、文脈が明らかにそうでないことを示さない限り、要素のうちの一又は複数が存在することを意味すると意図している点に留意しなければならない。したがって、例えば、「１つのユニット（ａ ｕｎｉｔ）」又は「前記ユニット（ｔｈｅ ｕｎｉｔ）」は、いくつかのデバイスなどを含み得る。更に、用語「含む（「ｃｏｍｐｒｉｓｉｎｇ」「ｉｎｃｌｕｄｉｎｇ」「ｃｏｎｔａｉｎｉｎｇ」）及び類似の表現は、他の要素又はステップを除外しない。

ここから、実施例として、添付の概略図を参照しながら、本発明がより詳細に説明される。

ビデオ監視システムを示す。 画像フレームを示す。 別の画像フレームを示す。 カメラユニットの例を示す。 カメラユニットの例を示す。 カメラユニットの例を示す。 カメラユニットの例を示す。 カメラユニットの例を示す。 カメラユニットの例を示す。 符号化ビデオストリームを生成する方法を示す。 ビデオ分析イベントを生成する方法を示す。

図１は、カメラユニット１０２及びビデオ管理システム（ＶＭＳ）１０４を含むビデオ監視システム１００を示す。カメラユニット１０２は、カメラ１０６、センサユニット１０８、及びビデオ符号化ユニット１１０を含む。ビデオ符号化ユニット１１０は、カメラ１０６からビデオ画像を受信する第１の入力１１４、及びセンサユニット１０８からセンサデータを受信する第２の入力１１６を有する。ビデオ符号化ユニット１１０はまた、処理ユニット１１８も含む。カメラユニット１０２は、ビデオストリームをビデオ管理システム１０４に直接又はネットワークを介して配信する。ビデオ管理システム１０４は、第３のデータ入力１１２を介して、カメラユニットからビデオストリームを受信する。ビデオ管理システム１０４は、ビデオ分析ユニット１２０を含む。

カメラ１０６は、ビデオ画像を捕捉することによって、図２に示される現場２００を監視する。センサユニット１０８はまた、複数の現場領域２０２ａ〜２０２ｆのうちの任意の領域の動きを検出することによって、現場２００を監視する。センサユニット１０８は、現場領域２０２ａ〜２０２ｆに従った又はそれ以上の解像度を有しているが、それは、センサユニット１０８が、現場領域２０２ａ〜２０２ｆのうちのどの領域で動きが起こっているか、又は換言すれば、現場領域２０２ａ、現場領域２０２ｂ、現場領域２０２ｃなどで動きが起こっているかどうかを少なくとも検出することができるということを意味している。

センサユニット１０８で使用するセンサには、いくつかの可能な異なる選択肢がある。カメラ１０６及びセンサユニット１０８を含むカメラユニット１０２のいくつかの例が、図４から図９に示される。カメラユニットの示された例のうちの任意の１つは、説明されたセンサユニット又は他のセンサユニットのうちの任意の種類を含み得、以下で提案されるセンサユニット及び示されるカメラユニットの組み合わせは、単なる例に過ぎない。

第１の例として、ＰＩＲセンサのアレイが、センサユニットで使用され得る。ＰＩＲセンサの各々は、それぞれの現場領域における熱の変化を感知することによって、動きを感知し得る。通常、アレイの各ＰＩＲセンサは、現場領域２０２ａ〜２０２ｆのうちの１つの領域のみで動きを検出するように設定されるだろう。現場領域における熱の変化は、車両若しくは動物など、環境と異なる温度を有する人間又は他の物体がその領域内を移動したことを意味すると解釈される。したがって、センサユニットがＰＩＲセンサのアレイであるとき、センサユニット１０８によって現場の中で検出できる動きは、そのような熱の変化に関係している必要があるだろう。ＰＩＲセンサアレイの変形は、通常、解像度の低いサーモグラフィーカメラであり得る。

ＰＩＲセンサのアレイは、例えば、図４又は図６に示されるように、カメラユニット１０２で使用され得る。図４では、カメラユニットは、天井に隣接した壁の高いところに設置するように構成され、センサユニットのセンサのアレイは、カメラ１０６の下方にかつカメラ１０６に隣接して設置される。このカメラユニットは、部屋又は廊下を監視するときに、便利な選択肢となるだろう。図６には、天井又は天井内に取り付けるように適合されるカメラユニットが示される。センサユニット１０８のセンサは、カメラ１０６周囲に設置される。この場合、カメラは、かなり大きなエリアの概観を示すことができる広角レンズ又は魚眼レンズを有し得る。

センサユニット１０８の別の選択肢は、固定又は回転レーザー照射器で現場を照射し、現場領域の距離の任意の変化を発見するために反射光を分析することによって、距離を測定する固定又は回転ＬＩＤＡＲセンサである。次に、現場領域のうちの任意の領域における検出された距離の変化は、物体がその現場領域内で移動したことを意味すると解釈される。

固定又は回転ＬＩＤＡＲセンサは、例えば、図５又は図９に示されるように、カメラユニットに設置され得る。図５に示されるカメラユニットは、図４に示されるカメラユニットに類似するが、異なる種類のセンサユニットを有している。図９に示されるカメラユニットは、コンビニエンスストア内部などのエリアを監視するために、壁の高いところの棚に設置され得る。

センサユニット１０８の更に別の選択肢は、発せられた高周波音波からのエコーを読み取ることによって距離を測定する超音波センサのアレイだろう。この場合もまた、現場領域のうちの任意の領域における検出された距離の変化は、物体がその現場領域内で移動したことを意味すると解釈される。超音波センサのアレイは、例えば、図７に示されるように、カメラユニットの中に設置され得る。図７のカメラユニットは、図６に示されたカメラに広角レンズ又は魚眼レンズが装備されたようなものであり得る。

センサユニット１０８はまた、放射光が物体に到達してカメラに戻るまでに必要な時間を測定することによって、距離を測定する飛行時間（ＴＯＦ）センサを含み得る。現場領域のうちの任意の領域までの距離に変化があると、これは、物体がその現場領域内で移動したことを意味する。

センサユニット１０８はまた、既知のパターンの光を現場上に投影し、このパターンが変形する方法を分析することによって、距離を測定する構造化した光センサを含み得る。現場領域での物体の移動は、パターン変形の変化として検出される。

ＴＯＦセンサ又は構造化した光センサは、例えば、図８に示されるように、カメラユニットに設置され得る。センサユニット１０８及びカメラ１０６は、ここでは、一体化してカメラユニット１０２を形成する、２つの別個のユニットである。図８のセンサユニット１０８は、例えば、駐車場などの屋外の現場を監視するために使用され得る、ボックスタイプのカメラ１０６上に取り付けられる。

別の変形例によれば、センサユニット１０８は、現場領域から発生する音を分析することによって移動を検出するマイクロフォンのアレイを含み得る。マイクロフォンアレイと関連して移動するように決定される音は、現場内での移動を示すものである。別のオプションは、足音など、ある音のパターンに一致する音を検出することだろう。マイクロフォンのアレイは、例えば、図７に示されるように、カメラユニットの中に設置され得る。

図１に戻り、ビデオ符号化ユニット１１０は、現場２００を監視するカメラ１０６からのビデオストリーム、及びセンサユニット１０８からのセンサデータを受信する。ビデオ符号化ユニット１１８は、センサデータを視覚化するオーバーレイ２０４を作成し、このオーバーレイをカメラ１０６からのビデオストリームに加える。図２に示されるように、オーバーレイ２０４は、各々が対応する現場領域２０２ａ〜２０２ｆを表示する、任意の数のオーバーレイ領域２０６ａ〜２０６ｆを含む。図２（及び図３）で現場領域２０２ａ〜２０２ｆとオーバーレイ領域２０６ａ〜２０６ｆを指し示す点線は、実際には画像に必ずしも存在するわけではない。動きが検出されたことをセンサデータが示す場合のこれらの現場領域では、対応するオーバーレイ領域は、グラフィック要素２０８を含む。

図２で示される例では、センサデータは、現場領域２０２ｃにおいて、物体２１０からのビデオに動きが検出されるので、オーバーレイ２０６ｃは、グラフィック要素２０８を含むことを示している。グラフィック要素２０８は、異なる形態を取り得、概して、グラフィック要素２０８は、特定のグラフィックシンボル又は動画要素だろう。動画要素は、例えば、回転する、又はオーバーレイ領域内でその位置をずらす、例えば、図２に示されるように前後に移動するなどして、オーバーレイ領域で移動するグラフィック要素又はシンボルであり得る。

動画グラフィック要素はまた、色、パターン又は形状さえも変化させるなどして、２つ以上の異なる視覚状態を交互に繰り返すグラフィック要素であり得る。グラフィック要素は、例えば、黒と白との間でシフトし得、又は円と正方形などの２つの異なる形状を交互に繰り返し得る。別のオプションは、領域の「点滅」をつくり出すために、オーバーレイ領域全体で２つの視覚状態を交互に繰り返すことである。別のオプションは、グラフィック要素としてテキストを使用することであり、オプションで、例えば、「ＰＩＲセンサによって検出される動き」又は類似のものを指す移動又は回転だろう。グラフィック要素の特徴は、ビデオ管理システムでのビデオ分析の能力次第で、即ち、利用できるのがどのような種類の動き又は物体検出手順であるかによって、選択され得る。

図２において、グラフィック要素は、オーバーレイ領域で、矢印によって示されるように、前後に移動する円又は球である。オーバーレイ２０４は、図２に示される例では、画像の底部分に設置される。オーバーレイはまた、画像フレームの側面又は最上部に設置することもできるだろう。オーバーレイ２０４は、画像データの最上部に設置することができ、又は換言すれば、画像画素データは、画像エリアのオーバーレイ２０４に対する画素データに変更され得る。オーバーレイ２０４を設置するためのエリアは、好ましくは、重要な情報が画像の中に求められないエリアであろう。これは、通常、フレームの底部又は最上部を意味するだろう。ユーザにとって、オーバーレイが画像の境界線のうちの一又は複数付近に設置されることが最も便利だろうが、これは必要条件ではない。

図３には、カメラ１０６からの画像データが画像フレーム全体を占めない（ｄｏｅｓ ｎｏｔ ｔａｋｅ ｕｐ）場合の変形例が示される。これは、広角レンズ又は魚眼レンズを装備したカメラ１０６の事例であろう。図示されるように、現場の円形表示周囲のオーバーレイ２０４には余地があり、オーバーレイ領域２０６ａ〜２０６ｆは、それぞれの扇形現場領域２０２ａ〜２０２ｆの隣に設置される。図３に示される例では、物体２１０からの動きが現場領域２０２ｃで感知されることを示すグラフィック要素２０８は、満たされた（ｆｉｌｌｅｄ）オーバーレイ領域２０６ｃだけであり、オプションで発光又は点滅し得る、即ち、２つの色を交互に繰り返し得る。

オーバーレイ２０４設置の別のオプションは、カメラ１０６からの任意の画像データの最上部でないオーバーレイ２０４用の場所をつくり出すために、ビデオストリームを操作することである。これは、画像の底部で、オーバーレイ２０４に使用される２〜３の画素行を加えることなど、ビデオのサイズを変更することによって、達成されるだろう。別のオプションは、カメラ１０６からの画像をより小さなサイズに記録し、次にオーバーレイ２０４を表示するために画像データにはもはや使用されない画素を使用することであろう。

オーバーレイ２０４がどのような方法で画像フレームに設置されようとも、結果は、フレーム毎に２つの異なる方法で、即ち、カメラ１０６からのビデオ画像、及び同時にセンサユニット１０８によって感知されると現場２００の移動の視覚化を提供するオーバーレイ２０４によって、現場２００を表示するビデオストリームとして説明され得る。

ビデオストリームは、ＶＭＳ１０４に送信され、ビデオ分析ユニット１１２によって分析される。ビデオ分析ユニット１１２は、例えば、画像フレームを一又は複数の以前のフレームと比較することによって、又は画像フレームを背景モデルと比較することによって、任意の種類のビデオ動き検出又は物体検出を実行し得る。ビデオ分析ユニット１１２は、Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００１における、Ｐ．Ｖｉｏｌａ及びＭ．Ｊｏｎｅｓによる「簡易特徴のブーストされたカスケードを使用した迅速な物体検出（Ｒａｐｉｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ ｂｏｏｓｔｅｄ ｃａｓｃａｄｅ ｏｆ ｓｉｍｐｌｅ ｆｅａｔｕｒｅｓ）」という記事に記載されているように、例えば、Ｖｉｏｌａ−Ｊｏｎｅｓ型検出フレームワーク内部で物体の分類子のカスケードを使用するなど、様々な物体特徴を認識することによって物体を検出し得る。

ビデオ分析ユニット１１２は、有利には、実際のビデオ画像内部及びオーバーレイ２０４内部の両方で、動き、変化又は物体を検出するために、及びある現場領域２０２ａ〜２０２ｆでの検出を対応するオーバーレイ領域２０６ａ〜２０６ｆでの検出と関連付けるために設定され、その結果、現場領域及び対応するオーバーレイ領域の両方での検出が存在すると、イベントが作成される。このことは、外付けの動きセンサを有する監視カメラを補完することが望まれ、カメラが、ビデオストリーム以外のデータを受信できないＶＭＳに接続される状況で、特に有利である。センサデータがＶＭＳによって受信されるビデオストリームの画像フレームのオーバーレイとして表されるので、センサユニットからのセンサデータの別個のストリームをビデオ管理ストリームに提供する必要はない。ＶＭＳは、代わりに、オーバーレイからこの情報を抽出し、この情報を、ビデオ画像それ自体の分析から抽出された情報と組み合わせるために、標準物体又は動き検出方法を使用し得る。

図１０では、符号化ビデオストリームを生成する方法１０００が示される。ステップ１００２では、ビデオストリームがカメラから受信され、センサデータがセンサユニットから受信される。ステップ１００４では、センサユニットによって現場の動きが検出された領域を示すセンサデータから、オーバーレイが生成され、次いでステップ１００６では、符号化ビデオストリームを生成するために、オーバーレイがビデオストリームに加えられる。

図１１では、ビデオ分析イベントを生成する方法１１００が示される。ステップ１１０２では、方法１０００のステップ１００６で生成された符号化ビデオストリームが受信される。ステップ１１０４では、現場領域及びオーバーレイ領域の両方で動き及び／又は物体を検出するために、標準ビデオ分析手順を使用して、この符号化ビデオストリームが分析される。次にステップ１１０６では、現場領域及び対応するオーバーレイ領域の両方で検出が行われると、イベントが生成される。

要するに、本明細書では、現場２００を監視するカメラ１０６からのビデオストリームのオーバーレイ２０４として、センサユニット１０８からのセンサデータを含む方法及びシステムが説明される。オーバーレイは、現場領域２０２ａ〜２０２ｆに対応するオーバーレイ領域２０６ａ〜２０６ｆを有し、センサユニットが現場領域で動きを検出すると、グラフィック要素２０８が、その現場領域に対応するオーバーレイ領域のオーバーレイに加えられる。次いで、物体特徴検出又は動き若しくは変化検出などのビデオ分析手順が、カメラ及びセンサユニットの両方によって特定の現場領域で検出が行われたかどうかを決定するために使用され得る。

説明された実施形態のいくつかの変形例が可能である。例として、ビデオ管理システム及びカメラユニットは、１つのユニット内部に配置されてもよく、又はネットワークの異なるノードに備えられてもよい。ビデオ分析ユニット及びビデオ符号化ユニットのタスクは、全く同一の処理ユニットによって実行されても、異なる処理ユニットで実行されてもよい。

説明された実施形態の別の変形例はまた、カメラからのビデオで検出された動き又は物体のオーバーレイを加えることでもあろう。この場合、ビデオは、カメラユニットで分析され得、次いでビデオ符号化ユニットは、ビデオでの検出を説明する別のオーバーレイを加えるだろう。これは、カメラによって行われる動き又は物体検出の視覚化に役立ち得る。ＶＭＳは、「カメラ動き検出」オーバーレイ及び現場のビデオ画像のうちの１つ又は両方で動きを検出することを選択し得る。また、異なるオーバーレイ領域のいくつかのセンサユニットから情報を加えること、又は異なるセンサユニット又はカメラそれ自体によって行われる検出に対して、同一のオーバーレイ領域の異なるグラフィックシンボルを使用することさえも可能であろう。

１００ ビデオ監視システム
１０２ カメラユニット
１０４ ビデオ管理システム
１０６ カメラ
１０８ センサユニット
１１０ ビデオ符号化ユニット
１１２ 符号化ビデオストリーム用のデータ入力
１１４ カメラからのビデオストリーム用のデータ入力
１１６ センサデータ用のデータ入力
１１８ 処理ユニット
１２０ ビデオ分析ユニット
２００ 現場
２０２ａ−ｆ 現場領域
２０４ オーバーレイ
２０６ａ−ｆ オーバーレイ領域
２０８ グラフィック要素

Claims (15)

1. 現場を監視するカメラから複数の画像フレームを有するビデオストリームを受信するよう構成される第１のデータ入力と、
   複数の所定の現場領域で動きを検出するセンサユニットからセンサデータを受信するよう構成される第２のデータ入力と、
   前記センサデータを表示するオーバーレイを生成し、前記オーバーレイを前記ビデオストリームの中の前記画像フレームに加えるよう構成される処理ユニットであって、前記オーバーレイは、前記現場領域を表示する複数のオーバーレイ領域を有し、かつ前記オーバーレイは、前記センサデータが、前記センサユニットによって動きが検出されたことを示す現場領域を表示するこれらのオーバーレイ領域にグラフィック要素を含む、処理ユニットと
   を含む、ビデオ符号化ユニット。
2. 前記グラフィック要素は、動画グラフィック要素である、請求項１に記載のビデオ符号化ユニット。
3. 前記動画グラフィック要素は、
   回転する又は位置をずらすことなどによって、前記オーバーレイ領域の内部に移動するグラフィック要素と、
   形状、色又はパターンを変えることなどによって、異なる視覚状態を交互に繰り返すグラフィック要素と
   のうちの少なくとも１つを含む、請求項２に記載のビデオ符号化ユニット。
4. 前記処理ユニットは、前記画像フレームの一部の画素値を前記グラフィック要素を形成する画素と交換することによって、前記オーバーレイを前記画像フレームに加えるよう構成される、請求項１から３の何れか一項に記載のビデオ符号化ユニット。
5. 前記画像フレームは、前記画像フレームの一部を空白の状態にしたフォーマットを有する前記現場の表示を含み、前記処理ユニットは、前記オーバーレイを前記空白の部分に加えるよう構成される、請求項１から４の何れか一項に記載のビデオ符号化ユニット。
6. 前記処理ユニットは、前記オーバーレイを前記画像フレームの別個のセクションに加え、
   前記フレームの中の前記オーバーレイに対して別個のセクションを加えることによって、前記ビデオストリームの中の前記画像フレームのサイズを大きくすることと、
   前記画像データを記録し、前記フレームの中の前記オーバーレイに対して別個のセクションを加えることによって、前記画像フレームの中の画像データの前記サイズを小さくすることと
   の何れかによって、前記別個のセクションをつくり出すよう構成される、請求項１から３の何れか一項に記載のビデオ符号化ユニット。
7. 現場を監視するよう構成されるカメラと、
   複数の所定の現場領域で動きを検出するよう構成されるセンサユニットと、
   請求項１から６の何れか一項に記載のビデオ符号化ユニットと
   を含む、カメラユニット。
8. 前記センサユニットは、
   ＰＩＲセンサのアレイであって、各ＰＩＲセンサは、前記現場領域のそれぞれの領域における熱放射の任意の変化を感知することによって、動きを検出するよう構成される、ＰＩＲセンサのアレイと、
   前記現場領域における物体までの距離の任意の変化を感知することによって、動きを検出するよう構成される固定又は回転ＬＩＤＡＲセンサと、
   前記現場領域における物体までの距離の任意の変化を感知することによって、動きを検出するよう構成される超音波センサのアレイと、
   前記現場領域における物体までの距離の任意の変化を感知することによって、動きを検出するよう構成される飛行時間センサと、
   前記現場領域における物体までの距離の任意の変化を感知することによって、動きを検出するよう構成される構造化した光センサと、
   前記現場領域における物体からの音の任意の変化を感知することによって、動きを検出するよう構成されるマイクロフォンのアレイと
   のうちの少なくとも１つを含む、請求項７に記載のカメラユニット。
9. 複数の所定の現場領域を有する現場を示す複数の画像フレームを有するビデオストリーム、及び前記現場領域を表示するオーバーレイ領域を有するオーバーレイを受信するよう構成される第３のデータ入力と、
   前記ビデオストリームを分析するために、及び物体が現場領域で検出され、グラフィック要素が前記現場領域を表示するオーバーレイ領域で同時に検出されると、イベントを生成するよう構成されるビデオ分析ユニットと
   を含む、ビデオ管理システム。
10. 前記ビデオ分析ユニットは、
    現在の画像フレームの、一又は複数の以前の画像フレーム又は背景モデルとの比較などによって、前記現場領域における変化又は動きを検出することと、
    顔、人間、車両、ライセンスプレートなど、特定の物体種類の物体特徴を検出することによって、物体の存在を検出することと
    のうちの少なくとも１つによって、前記現場領域において物体を検出するよう構成される、請求項９に記載のビデオ管理システム。
11. 前記ビデオ分析ユニットは、
    現在の画像フレームの、一又は複数の以前の画像フレーム又は背景モデルとの比較などによって、前記グラフィック要素の変化又は動きを検出することと、
    特定の物体特徴を検出することによって、前記グラフィック要素の存在を検出することと
    のうちの少なくとも１つによって、前記オーバーレイ領域において前記グラフィック要素を検出するよう構成される、請求項９又は１０に記載のビデオ管理システム。
12. 請求項７又は８に記載のカメラユニットであって、前記処理ユニットによって生成される前記ビデオストリームを出力するようさらに構成されるカメラユニットと、
    前記生成されたビデオストリームを受信するよう構成される、請求項９から１１の何れか一項に記載のビデオ管理システムと
    を含む、ビデオ監視システム。
13. 現場を監視するカメラから複数の画像フレームを有するビデオストリームを受信するステップと、
    複数の所定の現場領域で動きを検出するセンサユニットからセンサデータを受信するステップと、
    前記センサデータを表示するオーバーレイを生成し、前記オーバーレイを前記ビデオストリームの中の前記画像フレームに加えるステップであって、前記オーバーレイは、前記現場領域を表示する複数のオーバーレイ領域を有し、かつ前記オーバーレイは、前記センサデータが、前記センサユニットによって動きが検出されたことを示す現場領域を表示するこれらのオーバーレイ領域にグラフィック要素を含む、生成し加えるステップと
    を含む、符号化ビデオストリームを生成する方法。
14. 複数の所定の現場領域を有する監視された現場を示す複数の画像フレームを有するビデオストリーム、及び前記現場領域を表示するオーバーレイ領域を有するオーバーレイを受信するステップと、
    前記ビデオストリームを分析し、物体が現場領域で検出され、グラフィック要素が前記現場領域を表示するオーバーレイ領域で同時に検出されると、イベントを生成するステップと
    を含む、ビデオ分析イベントを生成する方法。
15. 請求項１３に記載の符号化ビデオストリームを生成するステップと、
    請求項１４に記載の前記符号化ビデオストリームを受信し、ビデオ分析イベントを生成するステップと
    を含む、ビデオ監視方法。

Images