JP2013509050A

JP2013509050A - ビデオ監視を改善するための方法およびシステム

Info

Publication number: JP2013509050A
Application number: JP2012534510A
Authority: JP
Inventors: ワン，ユイジエン; ホワン，ボー; ピン，ホイビン; ホワン，チアンシオン; ジアン，ホンユエ
Original assignee: アルカテル−ルーセント
Priority date: 2009-10-23
Filing date: 2009-10-23
Publication date: 2013-03-07
Also published as: CN102550023A; KR101291414B1; WO2011047510A1; KR20120068937A; EP2493192A1; US20120218408A1; EP2493192A4

Abstract

本発明は、ビデオ監視を改善するための方法およびシステムを提供する。システムは、ビデオ監視プラットフォームＶｉＳＳと、ビデオ監視プラットフォームに接続された第１のサーバＳＶＡＳとを備える。ビデオ監視プラットフォームは、第２のサーバＣＳＭおよびゲートウェイＣＳＧも備える。ユーザ側カメラが、ユーザの頭部動作をキャプチャし、ユーザ側ＤＶＳが、キャプチャされたビデオを、ＶｉＳＳを介して、ＳＶＡＳに送信する。ＳＶＡＳは、ビデオを処理し、頭部動作を解析し、解析の結果をＣＭＳに送信する。その後、ＣＭＳは、解析の結果に従って、対応する命令をＣＳＧに送信する。次に、ＣＳＧは、受信した命令をＰＴＺ制御命令に変換し、このＰＴＺ制御命令をオンサイトＤＶＳに送信する。最後に、オンサイトＤＶＳは、ＰＴＺ制御命令に従って、対応する動作を実行するように、オンサイトカメラに指示する。

Description

本発明は、通信の分野に関し、より詳細には、頭部動作解析に基づいたインテリジェントビデオ監視に関する。

インテリジェントビデオ監視システムＶｉＳＳは、Ａｌｃａｔｅｌ−ＬｕｃｅｎｔＳｈａｎｇｈａｉＢｅｌｌ株式会社によって開発された、ブロードバンドネットワークに基づいて、リモートに監視を行い、インテリジェントビデオを送信し、管理するためのシステムである。図１に示されるように、ビデオ監視システムは、プラットフォーム、クライアント、およびヘッドエンドなどから成り、一般に、ＣＭＳ（中央管理サーバ）、ＡＡＡ（認証、認可、課金）サーバ、（アクセスサーバとしても知られている）ＣＳＧ（制御シグナリングゲートウェイ）、（アクセスサーバとしても知られている）ＳＭＧ（ストリームメディアゲートウェイ）、ＡＳ（アラームサーバ）、およびＳＡ（ストレージエージェント）サーバなどを含む。

ＣＭＳは、システム全体の中核であり、ビデオ監視システムの様々な管理機能のバックステージにおける実施、およびシステムの様々なデータの管理を担う。ＳＭＧは、主としてビデオの分配を担う。リモートに監視を行っている複数のユーザは、同じネットワークビデオサーバにアクセスする場合、ＳＭＧにリクエストを送信する必要があり、その後、ＳＭＧは、ネットワークビデオサーバにリクエストを送信する。その後、ＳＭＧは、ネットワークビデオサーバとＳＭＧ分配サーバの間に固有のメディアストリームが存在することを保証するために、監視を行っている複数のリモートユーザに、ネットワークビデオサーバから受信したデータを分配することを担う。ＣＳＧは、例えば雲台制御指令など、クライアントから送信された様々な監視指令を、対応するネットワークビデオサーバに転送することと、ネットワークビデオサーバから収集された様々なアラーム情報を受信し、それを管理サーバに配送することを担う。

ＶｉＳＳシステムは、フロントカメラの雲鏡を制御するために、ＰＴＺ制御技術を使用する。ＰＴＺは、パン／ティルト／ズームの省略形であり、雲台の全方向運動（上、下、左、右）を制御することと、カメラレンズのズームインおよびズームアウトを意味する。現在のＶｉＳＳ製品は、ＰＴＺ制御のマンマシン対話インタフェースとして、キーボード／マウスを採用しているが、このインタフェースは、キーボード／マウスを使用できない人達（例えば身体障害者）またはコンピュータを使用できない人達には不便であり、このインタフェースを用いる場合、ユーザが、臨場感（ｆｅｅｌｉｎｇｏｆｉｍｍｅｒｓｉｏｎ）を有する視覚的エクスペリエンスを得ることは難しい。

ＸｕｅｎｉｎｇＳｕｎ、ＰｉｎｇｆａｎＹａｎ、「Ａｍｅｔｈｏｄｆｏｒｒｏｂｕｓｔｅｓｔｉｍａｔｉｏｎｏｆｔｈｒｅｅｄｉｍｅｎｓｉｏｎａｌｍｏｔｉｏｎｐａｒａｍｅｔｅｒｓ」、ＣｈｉｎｅｓｅＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒｓ、１９９０年、１３（７）、４８１−４８８頁

本発明の目的は、従来技術の上記の問題を解決することである。

本発明の一態様によれば、ビデオ監視プラットフォームが、第１のサーバに接続され、ビデオ監視プラットフォームが、第２のサーバおよびゲートウェイも備える、ビデオ監視を改善するための方法が提案される。方法は、ユーザ側カメラが、ユーザの頭部動作をキャプチャし、ユーザ側デジタルビデオ処理ユニットが、キャプチャされたビデオを、ビデオ監視プラットフォームを介して、第１のサーバに送信するステップと、第１のサーバが、ビデオを処理し、頭部動作を解析し、解析の結果を第２のサーバに送信するステップと、第２のサーバが、解析の結果に従って、対応する命令をゲートウェイに送信するステップとを含む。方法は、ゲートウェイが、受信した命令をＰＴＺ制御命令に変換し、このＰＴＺ制御命令をオンサイトデジタルビデオユニットに送信するステップも含み、その後、オンサイトデジタルビデオユニットは、ＰＴＺ制御命令に従って、対応する動作を実行するように、オンサイトカメラに指示する。

本発明の別の態様によれば、ビデオ監視プラットフォームと、ビデオ監視プラットフォームに接続された第１のサーバとを備える、ビデオ監視を改善するためのシステムが提案される。ビデオ監視プラットフォームは、第２のサーバおよびゲートウェイも含む。第１のサーバは、ビデオ監視プラットフォームによって転送されたユーザの頭部動作についてのビデオを、前記ビデオを受信したときに処理し、頭部動作を解析し、解析の結果を第２のサーバに送信するために使用される。第２のサーバは、解析の結果を受信した後、解析の結果に従って、対応する命令をゲートウェイに送信するために使用される。ゲートウェイは、受信した命令をＰＴＺ制御命令に変換し、このＰＴＺ制御命令をオンサイトデジタルビデオユニットに送信するために使用され、その後、オンサイトデジタルビデオユニットは、ＰＴＺ制御命令に従って、対応する動作を実行するように、オンサイトカメラに指示する。

本発明の上記および他の多くの特徴および利点は、図面を参照する本発明の実施形態の以下の説明から明らかになる。

既存のインテリジェントビデオ監視システムＶｉＳＳを概略的に示す図である。ＶｉＳＳシステムにおいて、頭部動作解析に基づいて、ＰＴＺ制御をどのように実行するかを概略的に示す図である。本発明の一実施形態による、ビデオ監視システムを概略的に示す図である。本発明の一実施形態による、ビデオ監視システム内の様々なネットワーク要素間の接続を概略的に示す図である。本発明による、ビデオ監視システム内の様々なネットワーク要素間の情報交換プロセスを概略的に示す図である。本発明の一実施形態による、ビデオ監視方法のフローチャートである。

本発明の基本となる考えは、ユーザの頭部動作情報を使用してカメラに対するＰＴＺ制御を実行するために、インテリジェントビデオ処理モジュールを既存のＶｉＳＳシステムに導入することである。本発明は、ユーザ側のカメラを用いて収集されたビデオを解析することによって、ユーザの頭部位置および動作情報を検出し、命令を用いてオンサイトＰＴＺカメラをトリガすることによって、自動的かつ自律的に目標物を追跡するために、インテリジェントビデオ解析技術の動く目標物の検出および解析技術を採用する。図２は、ＶｉＳＳシステムにおいて、頭部動作解析に基づいて、ＰＴＺ制御をどのように実行するかを概略的に示している。

図３は、本発明の一実施形態による、ビデオ監視システムを示しており、図４は、ビデオ監視システム内の様々なネットワーク要素間の接続を示しており、図５は、ビデオ監視システム内の様々なネットワーク要素間の情報交換プロセスを示している。図３、図４、および図５を参照すると、本明細書ではセマンティックビデオアプリケーションサーバＳＶＡＳである、インテリジェントビデオ処理モジュールが、既存のＶｉＳＳプラットフォームに接続される。ユーザ側のカメラが、ユーザの頭部動作をキャプチャし始めると、このカメラに接続されたデジタルビデオサーバＤＶＳが、キャプチャされたビデオをＶｉＳＳプラットフォームに送信する。その後、ＶｉＳＳプラットフォームは、キャプチャされたビデオをＳＶＡＳに送信し、したがって、ＳＶＡＳは、インテリジェント動作検出および解析アルゴリズムを使用することによって、頭部動作を解析することができる。インテリジェント動作検出および解析アルゴリズムに関しては、ＸｕｅｎｉｎｇＳｕｎ、ＰｉｎｇｆａｎＹａｎによる、「Ａｍｅｔｈｏｄｆｏｒｒｏｂｕｓｔｅｓｔｉｍａｔｉｏｎｏｆｔｈｒｅｅｄｉｍｅｎｓｉｏｎａｌｍｏｔｉｏｎｐａｒａｍｅｔｅｒｓ」、ＣｈｉｎｅｓｅＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒｓ、１９９０年、１３（７）、４８１−４８８頁を参照することができる。しかし、本発明がこのアルゴリズムに限定されないことは明白であろう。例えば、ユーザの頭部動作解析の結果が、「上を向く」である場合、ＳＶＡＳは、「上を向く」メッセージを中央管理サーバＣＭＳに送信する。本明細書では、ユーザの頭部動作は、上を向く、下を向く、左を向く、右を向く、前に出す、後に引く、左上を向く、右上を向く、左下を向く、または右下を向くことを含むことができる。ＣＭＳは、対応する「上を向く」命令を制御シグナリングゲートウェイＣＳＧに送信し、その後、ＣＳＧは、それをＰＴＺ制御命令に変換し、それをオンサイトデジタルビデオサーバＤＶＳに送信する。その後、ＤＶＳは、ＰＴＺ制御命令に従って、対応する動作を実行するようにカメラに命令するための機械的命令を、オンサイトカメラに送信する。

そのようなインテリジェントビデオ監視システムでは、ＳＶＡＳおよびＣＭＳは、命令を発行するための「脳」部分を形成し、ＣＳＧおよびＤＶＳは、ＣＭＳからの命令を変換するための「神経」部分を形成する。

そのようなインテリジェントビデオ監視システムにおける情報交換は、例えば、ＸＭＬとＨＴＴＰとを組み合わせた（しかしそれに限定されない）、既存または将来の任意の通信プロトコルを使用して、実施できることに留意されたい。例えば、ＨＴＴＰとＸＭＬとの組み合わせを使用した「上を向く」メッセージは、以下のようになる：

ここで、
− ｃｍｄは、カメラの作動動作に対応し、
− ＴＵは、上に対応し、ＴＤは、下に対応し、ＰＬは、左に対応し、ＰＲは、右に対応し、ＴＵＰＲは、右上に対応し、ＴＤＰＲは、右下に対応し、ＴＵＰＬは、左上に対応し、ＴＤＰＬは、左下に対応し、
− ｓｐｅｅｄは、カメラの動作スピードに対応し、１−５レベルを含むことができ、
− ｐｒｏｔｏｃｏｌは、例えば、ＰＥＬＣＯ−Ｄ、ＰＥＬＣＯ−Ｐ、ＬｉＬｉｎなど、異なるカメラのそれぞれの雲台プロトコルに対応する。

実施においては、この実施形態のインテリジェントビデオ処理モジュールは、ソフトウェア、ハードウェア、またはそれらの組み合わせで実施することができる。例えば、当業者であれば、これらのコンポーネントを実施するために使用できる、マイクロプロセッサ、マイクロコントローラ、ＡＳＩＣ、ＰＬＤ、および／またはＦＰＧＡなどの、様々なデバイスについて熟知している。本実施形態のインテリジェントビデオ処理モジュールは、中央管理サーバＣＭＳと統合することができ、または独立に実施することができる。

本発明のインテリジェントビデオ監視システムを使用することによって、キーボード／マウスなどのマンマシンインタフェースを使用できないユーザが、はるかに便利になったビデオ監視を今では実行することができる。ユーザ側のカメラによってユーザの頭部動作をキャプチャすることで、インテリジェントな非接触インタフェースを提供することができる。この種のインテリジェントインタフェースを用いれば、ユーザは、より自然な方法でＰＴＺを制御し、臨場感を有する視覚的エクスペリエンスを得ることができる。例えば、ユーザが頭部を上向きにした場合、カメラは上を向き、したがって、ユーザは上方の視野を見ることができる。本発明のインテリジェントビデオ監視システムは、実施が簡単であるという利点も有する。

同じ発明概念に基づいて、本発明の別の態様によれば、ビデオ監視を改善するための方法が提案される。この方法は、図６を参照して、以下で説明される。本実施形態の方法は、例えば、図３に示されるようなシステムに適用可能とすることができ、前記システムについての説明は、ここでは繰り返されない。

図６に示されるように、ステップ６０１において、ユーザ側のカメラが、ユーザの頭部動作ビデオをキャプチャし、ユーザ側のデジタルビデオ処理ユニットが、キャプチャされたビデオを、ビデオ監視プラットフォームを介して、第１のサーバに送信する。本明細書では、ビデオ監視プラットフォームは、例えば、ＶｉＳＳシステムであり、第１のサーバは、例えば、ＳＶＡＳであり、ユーザ側のデジタルビデオ処理ユニットは、例えば、デジタルビデオサーバＤＶＳである。

ユーザ側のカメラとは、ユーザ側に配置され、ユーザの頭部動作をキャプチャするために使用されるカメラのことであり、ユーザ側のデジタルビデオ処理ユニットとは、ユーザ側のカメラに接続された、または前記カメラと統合されたデジタルビデオ処理ユニットのことであることを理解されたい。

次にステップ６０２において、第１のサーバが、前記ビデオを処理し、頭部動作を解析し、解析の結果を第２のサーバに送信する。本明細書では、第１のサーバは、例えば、ＳＶＡＳであり、第２のサーバは、例えば、ＣＭＳである。より具体的には、ＳＶＡＳは、インテリジェント動作検出および解析アルゴリズムを使用して、頭部動作を解析することができる。インテリジェント動作検出および解析アルゴリズムに関しては、上で言及された文書を参照することができる。しかし、本発明がこのアルゴリズムに限定されず、従来技術には、そのような多くのインテリジェント動作検出および解析アルゴリズムが存在することに留意されたい。例えば、ユーザの頭部動作の結果が、「上を向く」である場合、ＳＶＡＳは、「上を向く」メッセージを中央管理サーバＣＭＳに送信する。ユーザの頭部動作は、例えば、上を向く、下を向く、左を向く、右を向く、前に出す、後に引く、左上を向く、右上を向く、左下を向く、または右下を向くことを含むことができる。

次にステップ６０３において、第２のサーバが、解析の結果に従って、対応する命令をゲートウェイに送信する。本明細書では、第２のサーバは、例えば、ＣＭＳであり、ゲートウェイは、例えば、ＣＳＧである。例えば、解析の結果が、「上を向く」である場合、ＣＭＳは、対応する「上を向く」命令をＣＳＧに送信する。

次にステップ６０４において、ゲートウェイが、ビデオ監視プラットフォーム内で、受信した命令をＰＴＺ制御命令に変換し、ＰＴＺ制御命令をオンサイトデジタルビデオ処理ユニットに送信する。本明細書では、ゲートウェイは、例えば、ＣＳＧであり、ビデオ監視プラットフォームは、例えば、ＶｉＳＳシステムであり、オンサイトデジタルビデオ処理ユニットは、例えば、ＤＶＳである。

オンサイトカメラとは、実際の監視場所に配置され、一定の範囲のエリアを監視する、ユーザによって制御されるフロントカメラのことであり、デジタルビデオ処理ユニットとは、オンサイトカメラに接続された、または前記カメラと統合されたデジタルビデオ処理ユニットのことであることを理解されたい。

最後にステップ６０５において、オンサイトデジタルビデオ処理ユニットが、ＰＴＺ制御命令に従って、対応する動作を実行するように、オンサイトカメラに指示する。より具体的には、オンサイトデジタルビデオ処理ユニットは、受信したＰＴＺ制御命令に従って、対応する動作を実行するように前記カメラに指示する機械的命令を、オンサイトカメラに送信する。

上記の方法ステップにおけるそれらのネットワーク要素間の情報交換は、既存または将来の任意の通信プロトコルを使用して、例えば、ＸＭＬとＨＴＴＰとを組み合わせた上述の方法を使用して（しかしそれに限定されない）、実施できることに留意されたい。

このようにして、本発明のビデオ監視方法を利用することによって、キーボード／マウスなどのマンマシンインタフェースを使用できないユーザが、はるかに便利になったビデオ監視を今では実行することができる。ユーザ側のカメラによってユーザの頭部動作をキャプチャすることで、インテリジェントな非接触インタフェースを提供することができる。この種のインテリジェントインタフェースを用いれば、ユーザは、より自然な方法でＰＴＺを制御することができる。

ビデオ監視を改善するための方法およびシステムの例示的な実施形態が、上で詳細に説明されたが、上記の実施形態は網羅的ではなく、当業者は、本発明の主旨および範囲から逸脱することなく、多くの変更および修正を行うことができる。したがって、本発明は、それらの実施形態に限定されず、本発明の範囲は、添付の特許請求の範囲によってのみ画定される。

Claims

ビデオ監視を改善するための方法であって、ビデオ監視プラットフォームが、第１のサーバに接続され、ビデオ監視プラットフォームが、第２のサーバおよびゲートウェイも備え、方法が、
ユーザ側において、ユーザ側カメラが、ユーザの頭部動作をキャプチャし、ユーザ側デジタルビデオ処理ユニットが、キャプチャされたビデオを、ビデオ監視プラットフォームを介して、第１のサーバに送信するステップと、
第１のサーバが、ビデオを処理し、頭部動作を解析し、解析の結果を第２のサーバに送信するステップと、
第２のサーバが、解析の結果に従って、対応する命令をゲートウェイに送信するステップと
を含むことを特徴とする、方法。
ゲートウェイが、受信した命令をＰＴＺ制御命令に変換し、このＰＴＺ制御命令をオンサイトデジタルビデオ処理ユニットに送信し、その後、オンサイトデジタルビデオ処理ユニットが、ＰＴＺ制御命令に従って、対応する動作を実行するように、オンサイトカメラに指示する、請求項１に記載の方法。
頭部動作が、上を向く、下を向く、左を向く、右を向く、前に出す、後に引く、左上を向く、右上を向く、左下を向く、または右下を向くことを含む、請求項１または２に記載の方法。
第１のサーバが、インテリジェント動作検出および解析アルゴリズムを使用して、頭部動作を解析する、請求項１から３のいずれかに記載の方法。
インテリジェント動作検出および解析アルゴリズムが、３次元パラメータについてのロバストな推定アルゴリズムである、請求項４に記載の方法。
第１のサーバと、第２のサーバと、ユーザ側およびオンサイトデジタルビデオ処理ユニットと、ゲートウェイとが、ＨＴＴＰとＸＭＬとを組み合わせた技術を使用して、それらの間で情報を交換する、請求項１から５のいずれかに記載の方法。
第１のサーバが、セマンティックビデオアプリケーションサーバであり、第２のサーバが、中央管理サーバであり、ユーザ側およびオンサイトデジタルビデオ処理ユニットが、デジタルビデオサーバであり、ゲートウェイが、制御シグナリングゲートウェイである、請求項１から６のいずれかに記載の方法。
ビデオ監視を改善するためのシステムであって、システムが、ビデオ監視プラットフォームと、ビデオ監視プラットフォームに接続された第１のサーバとを備え、ビデオ監視プラットフォームが、第２のサーバおよびゲートウェイも含み、第１のサーバが、ビデオ監視プラットフォームによって転送されたユーザの頭部動作についてのビデオを、前記ビデオを受信したときに処理し、頭部動作を解析し、解析の結果を第２のサーバに送信するために使用され、第２のサーバが、解析の結果を受信した後、解析の結果に従って、対応する命令をゲートウェイに送信するために使用されることを特徴とする、システム。
ゲートウェイが、受信した命令をＰＴＺ制御命令に変換し、このＰＴＺ制御命令をオンサイトデジタルビデオ処理ユニットに送信するために使用され、オンサイトデジタルビデオ処理ユニットが、ＰＴＺ制御命令に従って、対応する動作を実行するように、オンサイトカメラに指示するために使用される、請求項８に記載のシステム。
頭部動作が、上を向く、下を向く、左を向く、右を向く、前に出す、後に引く、左上を向く、右上を向く、左下を向く、または右下を向くことを含む、請求項８または９に記載のシステム。
第１のサーバが、インテリジェント動作検出および解析アルゴリズムを使用して、頭部動作を解析する、請求項８から１０のいずれかに記載のシステム。
インテリジェント動作検出および解析アルゴリズムが、３次元パラメータについてのロバストな推定アルゴリズムである、請求項１１に記載のシステム。
第１のサーバと、第２のサーバと、ユーザ側およびオンサイトデジタルビデオ処理ユニットと、ゲートウェイとが、ＨＴＴＰとＸＭＬとを組み合わせた技術を使用して、それらの間で情報を交換する、請求項８から１２のいずれかに記載のシステム。
第１のサーバが、セマンティックビデオアプリケーションサーバであり、第２のサーバが、中央管理サーバであり、ユーザ側およびオンサイトデジタルビデオ処理ユニットが、デジタルビデオサーバであり、ゲートウェイが、制御シグナリングゲートウェイである、請求項８から１３のいずれかに記載のシステム。