JP2023063251A - ビデオストリームを送信するための方法およびシステム - Google Patents

Abstract

【課題】センサーデータビューを備えるビデオストリームを提供する方法及びシステムを提供する。
【解決手段】方法（３００）は、複数のセンサーからのセンサーデータビューから構成されたマルチビューを表す、マルチビュービデオストリームを、メインユニットからクライアントに送信するステップ（３０１）と、メインユニットにおいて、クライアントからズームイン動作を表すコマンドを受信するステップ（３０２）と、受信されたコマンドに従って、マルチビューを更新するステップ（３０３）と、更新されたマルチビューの内、支配的センサーデータビュー外のエリアが、所定のしきい値よりも小さいかまたは等しい場合、支配的センサーデータビューを表すシングルビュービデオストリームを送信するステップ（３０７）と、を含む。
【効果】マルチビュービデオストリームの送信からシングルビュービデオストリームの送信へ、シームレスに遷移できる。
【選択図】図４

Description

本開示は、センサーデータビューを備えるビデオストリームを提供するための、コンピュータ実装方法およびシステムに関する。より詳細には、本開示は、センサーデータビューのマルチビューおよびシングルビューに基づくビデオストリームのハンドリングに関する。同じ目的のためのコンピュータプログラムも開示される。

リアルタイムビデオ監視システムが、広範囲の適用例においてますます普及している。多方向およびマルチチャネルカメラでは、カメラは、各個々のセンサー／チャネルからストリームを作り出す。カメラはまた、すべてのセンサー／チャネルを１つのビデオストリームに組み合わせる、いわゆるマルチビューストリームを出力するためにセットアップされ得る。センサーは、単一のカメラデバイス中に位置するか、または互いに接続されたいくつかのカメラデバイス中に位置し得る。

監視システムは、画像、ビデオまたは他のコンテンツが収集されるエッジサイドと、「ビュー」の形態の視覚コンテンツがユーザに提示されるクライアントサイドとを含むと言われ得る。「ビュー」は、視覚情報を提示するための出力デバイス上の視覚コンテンツの構成と見なされ得る。その用語は、ビデオコンテンツのために頻繁に使用される。一例として、クワッドビューは、４つのビデオソースから構成されたビューである。

ビデオシステムのクライアントサイド上のマルチビューが、２つのやり方で達成され得る。クライアントサイド上のマルチビューを提供する第１のやり方は、エッジサイド上でマルチビューストリームを構成し、１つの、すなわち、単一のストリームをクライアントに送信することである。クライアントサイド上のマルチビューを提供する第２のやり方は、エッジサイドからの別個の、すなわち、複数のストリームを送信し、クライアントサイド上でマルチビューを構成することである。本開示は、クライアントサイド上のマルチビューを提供する第１のやり方、すなわち、１つのストリームを送信することに関する。

異なるタイプのマルチビューレイアウトが存在する。１つは、サイドバイサイドで、たとえば、４つのビューが正方形を形成するクワッドビューとしてビューを配置することである。別のタイプは、ビューが互いに重なるように配置された、いわゆる、ピクチャインピクチャである。たとえば、あるビュー中の画像部分が、同じシーン部分を示す別のカメラからのビデオと置き換えられ得る。他の変形態では、オーバーレイビデオがシーンの概観を示し得るが、２次ビューが、シーンのズームインされたビューを示し得る。マルチビューのまた別のフォーマットは、ビデオ中にまたはビデオのサイドにおいてセンサーデータ表現を追加することである。センサーデータは、入口を通過する人々をカウントするためのセンサーなど、画像センサーとは別のタイプのセンサーによってキャプチャされ得る。

パンチルトズーム（ＰＴＺ：Ｐａｎ Ｔｉｌｔ Ｚｏｏｍ）カメラは、方向制御およびズーム制御が可能であるカメラである。ＰＴＺカメラは、カメラの照準およびズームを物理的に調整するために光学ズームおよびモーターを使用する。デジタルパンチルトズーム（ＰＴＺ）カメラでは、チルト、パンおよびズーム動作は、機械的部品の移動を伴わない。代わりに、チルティング、パンニングおよびズーミングは、カメラのビューイングエリア内で電子的にナビゲートおよびスケーリングすることによって行われる。

マルチビュー構成のサポートを伴う既存のシステムは、マルチビューにおけるＰＴＺ動作を与えない。そのＰＴＺ動作が提供されるであろう範囲において、それは、たとえば、マルチビュー画像のサブセクションをデジタル的にスケールアップすることによって、いくつかのビューから構成されたマルチビューを処理することの問題であろう。したがって、より効率的にマルチビューストリームのビューおよびマルチビューストリームの解像度をハンドリングすることができるシステムの必要がある。

本開示の１つの目的は、ビデオストリームを提供するための方法およびシステムを提供することであり、これは、マルチビュービデオストリーミングおよびマルチビュービデオストリーミングのズーミングのコンテキストにおける、向上されたビデオ品質およびシームレスなユーザエクスペリエンスを与える。本開示の第１の態様は、メインユニットと複数のセンサーとを備えるシステムからビデオストリームを提供する方法であって、メインユニットが、複数のセンサーからデータを受信するように構成され、方法は、
メインユニットからクライアントにマルチビュービデオストリームを送信するステップであって、マルチビュービデオストリームが、システム中の複数のセンサーからのセンサーデータビューから構成されたマルチビューを表す、マルチビュービデオストリームを送信するステップと、
メインユニットにおいて、クライアントからズームイン動作を表すコマンドを受信するステップと、
受信されたコマンドに従って、更新されたマルチビューを算出するステップと、
更新されたマルチビューが、所定のしきい値よりも大きい、更新されたマルチビュー中の支配的センサーデータビュー外のエリアを含むかどうかを評価するステップと、
支配的センサーデータビュー外のエリアが、所定のしきい値よりも大きい場合、更新されたマルチビューを表すマルチビュービデオストリームを送信するステップと、
支配的センサーデータビュー外のエリアが、所定のしきい値よりも小さいかまたはそれに等しい場合、支配的センサーデータビューを表すシングルビュービデオストリームを送信するステップと
を含む、ビデオストリームを提供する方法に関する。

したがって、クライアントは、シングルビュービデオストリームまたはマルチビュービデオストリームのいずれかである１つのストリームを常に受信する。たとえば、ウェブブラウザ、ビデオ管理システム（ＶＭＳ）、モバイルフォン上のアプリケーション、または任意の他の好適なユーザインターフェースであり得る、クライアントが、ビデオストリームを受信する。クライアントは、たとえば、メインユニットのパン、チルト、およびズーム機能を制御するために、たとえば、ＶＡＰＩＸなどのｈｔｔｐベースＡＰＩなど、アプリケーションプログラミングインターフェース（ＡＰＩ）を通して、コマンドをメインユニットに送ることができる。したがって、メインユニットは、ズームイン動作に関係する動作を制御するために、クライアントからアプリケーションプログラミングインターフェース（ＡＰＩ）コマンドを受信するように構成され得る。メインユニットは、たとえば、画像センサーの形態の、いくつかのセンサーを有するカメラを備え得る。システムなどの一実施形態の一例が図１に示されている。クライアント観点からは、メインユニットからクライアントへの連続ストリームがある。クライアントは、シングルビュービデオストリームまたはマルチビュービデオストリームのいずれかである１つのストリームを受信する。マルチビュービデオストリームを送信することからシングルビュービデオストリームを送信することへの遷移は、クライアントにとってシームレスなエクスペリエンスである。

メインユニットはマスタユニットであり得る。複数のセンサーは、その場合、スレーブユニットまたはスレーブユニットの一部と見なされ得る。メインユニットと複数のスレーブユニットとを有するシステムからビデオストリームを提供する本開示の方法の１つの利点は、支配的センサーデータビューを表すシングルビュービデオストリームを送信することに切り替えるための条件のとき、クライアントからメインユニットへのコマンドが、支配的センサーデータビューが発信されるスレーブユニットにフォワーディングされ得ることである。これは、コマンドが直接スレーブユニットを制御することになることを意味する。

本開示は、クライアントからのズーム動作のハンドリングに関する。開始点は、メインユニットが、メインユニットからクライアントへのマルチビュービデオストリームを送信することである。マルチビュービデオストリームは、システム中の複数のセンサーからのセンサーデータビューから構成されたマルチビュー、たとえば、クワッドビューまたはピクチャインピクチャ（ＰｉＰ）ビューを表す。メインユニットが、クライアントから、ズームインコマンドを表すコマンドを受信するとき、処理ユニットが、そのコマンドに基づいて、更新されたマルチビューを算出する。センサーデータビューのうちの１つが、それが、更新されたマルチビューにおいて元のセンサーデータビューの最も大きいエリアを占有するという点で、今度は、「支配的」センサーデータビューになり得る。次のステップは、支配的センサーデータビュー外のエリアがあるかどうか、および、支配的センサーデータビュー外のエリアがある場合、そのエリアが所定のしきい値よりも大きいかどうかを評価することである。支配的センサーデータビュー外のエリアが、所定のしきい値よりも小さいかまたはそれに等しい場合、メインユニットは、支配的センサーデータビューを表すシングルビュービデオストリームをクライアントに送信することに切り替える。シングルビュービデオストリームは、単一のセンサーからのビデオまたはデータ表現を示す。ユーザとクライアントの両方の観点から、マルチビュービデオストリームを送信することからシングルビュービデオストリームを送信することへの遷移はシームレスである。シングルビュービデオストリームは、一般に、マルチビュービデオストリームよりも高い解像度を有し得る。

好ましくは、マルチビュービデオストリームは、システム中の複数のセンサーからのデータビューを備える単一のビデオストリームである。これは、マルチビューが、圧縮データストリームのアグリゲートされたビューであり得るが、シングルビュービデオストリームが、単一のセンサーからのビデオまたはデータ表現を示す単一のセンサーストリームであることを意味する。センサーからのビデオストリームおよびクライアントへのストリームは、処理ユニットによって制御され得る。

本開示は、さらに、
クライアントに接続されたメインユニットと、
複数のセンサーと、
処理ユニットと
を備えるシステムであって、処理ユニットは、
メインユニットからクライアントにマルチビュービデオストリームを送信することであって、マルチビュービデオストリームが、システム中の複数のセンサーからのセンサーデータビューから構成されたマルチビューを表す、マルチビュービデオストリームを送信することと、
ズームイン動作を表すクライアントからの受信されたコマンドに基づいて、受信されたコマンドに従って更新されたマルチビューを算出することと、
更新されたマルチビューが、所定のしきい値よりも大きい、更新されたマルチビュー中の支配的センサーデータビュー外のエリアを含むかどうかを評価することと、
支配的センサーデータビュー外のエリアが、所定のしきい値よりも大きい場合、更新されたマルチビューを表すマルチビュービデオストリームを送信することと、
支配的センサーデータビュー外のエリアが、所定のしきい値よりも小さい場合、支配的センサーデータビューを表すシングルビュービデオストリームを送信することと
を行うように構成された、システムに関する。

本開示は、さらに、命令を有するコンピュータプログラムであって、命令が、コンピューティングデバイスまたはコンピューティングシステムによって実行されたとき、コンピューティングデバイスまたはコンピューティングシステムに、ビデオストリームを提供する本開示の方法のいずれかの実施形態を行わせる、コンピュータプログラムに関する。このコンテキストにおけるコンピュータプログラムは、広く解釈されるものとし、たとえば、センサーを備える監視システムまたは任意のシステムの一部として稼働するように適応されたＰＣまたはコンピュータ上で稼働されるべきコンピュータプログラムを含む。

本発明のこれらおよび他の態様は、本発明の以下の詳細な説明において記載される。

本発明は、以下で、添付の図面を参照しながら説明され、これは、例示的であり、センサーデータビューを備えるビデオストリームを提供するための本開示の方法およびシステムを限定するものではない。

センサーデータビューを備えるビデオストリームを提供するための本開示のシステムの一実施形態の概略図である。 マルチビュー／シングルビューのいくつかの例示的なビューおよびズーム動作を示す図である。 マルチビュー／シングルビューのいくつかの例示的なビューおよびズーム動作を示す図である。 センサーデータビューを備えるビデオストリームを提供するための本開示の方法のためのいくつかの使用事例を示す図である。 センサーデータビューを備えるビデオストリームを提供するための本開示の方法の一実施形態のフローチャートである。 ズームアウト動作のハンドリングを含む、センサーデータビューを備えるビデオストリームを提供するための方法の一実施形態のフローチャートである。

本開示は、メインユニットと複数のセンサーとを備えるシステムからビデオストリームを提供する方法に関する。本方法は、メインユニットからクライアントにマルチビュービデオストリームを送信する第１のステップであって、マルチビュービデオストリームが、システム中の複数のセンサーからのセンサーデータビューから構成されたマルチビューを表す、マルチビュービデオストリームを送信する第１のステップを含む。ビデオストリームは、画像フレームのシーケンスとして見られ得る。しかしながら、マルチビュービデオストリームのすべてのビューが、必ずしも動いている視覚メディアまたはビデオでなければならないとは限らない。１つまたは複数のビューが、人カウンタ（ｐｅｏｐｌｅ ｃｏｕｎｔｅｒ）データなど、他のセンサーデータ、またはマルチビュービデオストリームにおいて関連する他の情報を備え得る。

本方法は、メインユニットにおいて、クライアントからズームイン動作を表すコマンドを受信するステップをさらに含む。コマンドは、入力デバイス、たとえば、ジョイスティックの移動に応答して送られ得る。本方法は、次いで、受信されたコマンドに従って、更新されたマルチビューを抽出または算出する。ズームイン動作は、パンおよび／またはチルト動作をも伴い得るズームインシナリオをカバーすると広く解釈されるものとする。たとえば、ユーザ／クライアントが、ビューの周辺エリアにズームすることを望む場合、ズームイン動作は、更新されたマルチビューを取得するために、対応するカメラにおいて実行されるパンおよび／またはチルト動作と組み合わせられ得る。ビューの「周囲」エリアは、場合によっては部分的にビュー外でさえある、ビューの外側セクションを指し得る。

ズームイン動作は、クライアントからのＶＡＰＩＸコマンドなど、コマンドに基づく。いくつかのタイプのズームコマンドがある。第１のタイプのズームコマンドによれば、ズームは、ビューの中心点を維持し、あるレベルのズームを適用する。これは、ＶＡＰＩＸにおける「ズーム」と呼ばれるコマンドに対応することができる。ＶＡＰＩＸにおける「エリアズーム」と呼ばれる第２のタイプのズームでは、ズームが実施されるが、中心点（ｘ，ｙ）が変更される。さらに、ＶＡＰＩＸでは、より徐々にズームするように、より連続するズームを明示的に求める、さらなるズームコマンド「ｃｏｎｔｉｎｕｏｕｓｚｏｏｍｍｏｖｅ」もある。ズームレベルは、相対値または絶対値として表され得る。

更新されたマルチビューが算出されたとき、更新されたマルチビューが、所定のしきい値よりも大きい、更新されたマルチビュー中の支配的センサーデータビュー外のエリアを含むかどうかが評価される。当業者は、そのような評価を実装するための必要な技能およびツールを有することになる。当業者は、更新されたマルチビュー中の異なるビューに関する情報を有し、よく知られている画像処理技法によってそれらのビューのサイズを計算することができる。次いで、更新されたマルチビュー中のセンサーデータビューのエリアサイズが、互いに対して比較され得る。更新されたマルチビューの最も大きいエリアを占有するセンサーデータビューは、支配的センサーデータビューと見なされ得る。

本方法は、支配的センサーデータビュー外のエリアが、所定のしきい値よりも小さいかまたはそれに等しい場合、マルチビュービデオストリームから支配的センサーデータビューのシングルビュービデオストリームに変更するステップをさらに含む。所定のしきい値は、支配的センサーデータビューが、更新されたマルチビュー全体、または更新されたマルチビュー全体の少なくとも大部分を実質的に占有するとき、システムが、マルチビュービデオストリームの代わりに、シングルビュービデオストリームをクライアントに送信することに切り替えるように、選択され得る。しきい値は、０に設定され得、これは、支配的センサーデータビューが、更新されたマルチビュー全体を占有する場合のみ、システムがマルチビュービデオストリームからシングルビュービデオストリームに切り替えることを意味する。好ましくは、メインユニットからクライアントに送信されるビデオストリームは、両方のビューについて同じフォーマットでコーディングされる。したがって、この実施形態によれば、ビデオフォーマットは、クライアントに送られているすべてのビデオストリームについて同じであり、したがって、クライアントは、本開示の方法およびシステムに準拠するために適応または更新される必要はない。クライアントは、常に、１つのビデオストリームを受信する。本方法は、実質的にリアルタイムで行われ得る。

図４は、センサーデータビューを備えるビデオストリームを提供するための本開示の方法の一実施形態のフローチャートを示す。本方法は、メインユニットからクライアントにマルチビュービデオストリームを送信するステップ（３０１）と、クライアントからズームイン動作を表すコマンドを受信するステップ（３０２）と、更新されたマルチビューを算出するステップ（３０３）と、更新されたマルチビューが、所定のしきい値よりも大きい、更新されたマルチビュー中の支配的センサーデータビュー外のエリアを含むかどうかを評価するステップ（３０４）と、支配的センサーデータビュー外のエリアが所定のしきい値よりも大きいかどうかを検査するステップ（３０５）と、所定のしきい値よりも大きい場合、更新されたマルチビューを表すマルチビュービデオストリームを送信するステップ（３０６）と、所定のしきい値よりも大きくない場合、支配的センサーデータビューを表すシングルビュービデオストリームを送信するステップ（３０７）とを含む。

図２Ａ～図２Ｄは、ズーム動作プロセス中のマルチビュー／シングルビューのいくつかの例示的なビューを示す。図２Ａ－図２Ｂ－図２Ｃ－図２Ｄによる遷移およびズーム動作は、ズーム動作の例を示す。図２Ａでは、クライアントは、システム中の複数のセンサーからのセンサーデータビュー（２０２）を備えるマルチビュービデオストリーム（２０１）を提供される。したがって、マルチビュービデオストリーム（２０１）は、複数のビューのコンポジションを備える単一のビデオストリームである。メインユニットがクライアントからズームインコマンドを受信したとき、処理ユニットが、クライアントからの受信されたコマンドに基づいて、更新されたマルチビューを算出する。そのような更新されたマルチビュー（２０５）が図２Ｂに示されている。更新されたマルチビュー中の支配的センサーデータビュー（図２Ｂ中の右上ビュー（２０２’））が、更新されたマルチビュー（２０５）の十分に大きい部分を占有しない、すなわち、支配的センサーデータビュー（２０２’）外のエリア（２０３）が所定のしきい値よりも大きいので、メインユニットは、更新されたマルチビュー（２０５）を表すマルチビュービデオストリーム（２０１）を送信する。この更新されたマルチビュー（２０５）は、支配的センサーデータビュー（２０２’）と、他のセンサーデータビュー（２０２’’）の部分とを備える。図２Ｂの構成から、ＶＭＳまたは同様のものであり得るクライアントは、コマンドをメインユニットに送ることによって、図２Ｃの構成にズームインし続ける。メインユニットは、マルチビュービデオストリーム（２０１）を、依然として支配的ビューであるが、シングルビュービデオストリームに切り替えるべき更新されたマルチビュー（２０５）全体の十分に大きい部分を依然として占有しない、センサーデータビュー（２０２）を含む別の更新されたマルチビュー（２０５）に更新する。メインユニットからクライアントへの連続ストリームがあることに留意されたい。図２Ｃから、さらなるズームインコマンドが受信され、そのとき、システムは、図２Ｄ中のセンサーデータビュー（２０２）にズームインする。センサーデータビュー（２０２）が、今度は、更新されたマルチビュー（２０５）全体を占有するので、メインユニットは、マルチビュービデオストリームの代わりにシングルビュービデオストリーム（２０４）を送信するように構成される。シングルビュービデオストリーム（２０４）は、図２Ｄ中の更新されたマルチビュー（２０５）中の唯一のビューである、支配的センサーデータビュー（２０２）を表す。したがって、遷移は、ユーザおよびクライアント観点からシームレスである。シングルビュービデオストリームが、動いている視覚メディアまたはビデオを備える場合、シングルビュービデオストリームは、センサーデータビュー（２０２）またはセンサーデータビュー（２０２）の拡大されたバージョンのいずれかについてのマルチビュービデオストリームよりも高い解像度を提供し得る。図２Ｄの構成から、システムは、たとえば、メインユニットが、センサーデータビュー（２０２）がシングルビュービデオストリーム（２０４）においてフルサイズで示されているときにズームアウトコマンドを受信した場合、マルチビュービデオストリームに戻ることができる。切り替えられたマルチビューストリームは、あらかじめ定義されたフォーマットのもの、たとえば、クワッドビューであり得る。

本開示のコンテキストにおけるマルチビュービデオストリームは、視覚メディアの形態の複数のセンサーからのセンサーデータビューを備える単一のビデオストリームとして定義され得る。最も一般的な視覚メディアは、画像センサーからの、ビデオとも呼ばれる画像のシーケンス、または静止画像である。センサーデータビューのうちの少なくとも１つが、画像キャプチャユニットからのビデオビューであり得る。たとえば、監視のためのビデオ管理システムでは、概観を有するために、サイドバイサイドで、たとえば、クワッドビュー構成または他の好適な構成（３×３、４×４、Ｍ×Ｎなど）で、いくつかのビューを表示することが極めて一般的である。クワッドビュー構成の一例が図３Ａにおいて提供される。４つのセンサーデータビュー（２０２）（ビデオ１、ビデオ２、ビデオ３、およびビデオ４）が、マルチビュービデオストリーム（２０１）においてサイドバイサイドで表示される。シングルビュービデオストリームに切り替えるための基準を満たす、ビデオ２へのズームイン動作が発生したとき、そのズームイン動作は、システムが、支配的センサーデータビュー（２０２）、この場合ビデオ２を表すシングルビュービデオストリーム（２０４）を送信することを引き起こす。マルチビューのさらなる例は、１つまたは複数のセンサーデータビューが、他のセンサーデータビューに重なるインセットウィンドウ中で表示される、ピクチャインピクチャ特徴である。そのようなウィンドウは、他のセンサーデータ中の／他のセンサーデータ上のどこかに置かれ得る。そのような構成の一例は、重なるビューまたはウィンドウが、ビデオの形態のセンサーデータビューを備えるビューである。より詳細には、一例によれば、建築物の外側を示す１つまたは複数のビューがあり得る。インセットウィンドウは、その場合、建築物の内部に位置するカメラデバイスによってキャプチャされた建築物の内部からのビューを示し得る。クライアントが、建築物の内部を示すビューにズームインするためのコマンドを送る場合、建築物の内部のシングルビュービデオストリームが送信される。図３Ｂおよび図３Ｃは、ピクチャインピクチャ構成の例を示す。図３Ｂでは、第２のセンサーデータビュー（２０２’’’）（ビデオ２）が、マルチビュービデオストリーム（２０１）において第１のセンサーデータビュー（２０２）（ビデオ１）の上に置かれる。第２のセンサーデータビュー（２０２’’’）は、第２のセンサーデータビュー（２０２’’’）が第２のセンサーデータビュー（２０２’’’）（ビデオ２）の後ろにある第１のセンサーデータビュー（２０２）（ビデオ１）の一部のビューを部分的に遮断するように構成され得る。代替的に、第２のセンサーデータビュー（２０２’’’）は、少なくとも部分的に透過的であり得る。図３Ｃでは、第２のセンサーデータビュー（２０２’’’）（センサーデータ）が、マルチビュービデオストリーム（２０１）において第１のセンサーデータビュー（２０２）（ビデオ）の上に置かれる。ビデオストリームを提供する本開示の方法は、図３Ｂおよび図３Ｃの構成に適用され得る。図３Ｂでは、シングルビュービデオストリームに切り替えるための基準を満たす、ビデオ２へのズームイン動作が、システムが、支配的センサーデータビュー（２０２’）、この場合ビデオ２を表すシングルビュービデオストリーム（２０４）を送信することを引き起こす。図３Ｃでは、シングルビュービデオストリームに切り替えるための基準を満たす、センサーデータ（２０２’’’）へのズームイン動作が、システムが、この場合、詳細なセンサーデータ（２０２’’’）である、支配的センサーデータビュー（２０２’）を表すシングルビュービデオストリーム（２０４）を送信することを引き起こす。

さらなる可能な構成は、マルチビューが、システム中の複数のセンサーからのセンサーデータビューから構成されたスティッチされたビューである、構成である。画像スティッチングまたは写真スティッチングは、セグメント化されたパノラマまたは高解像度画像を作り出すために、重なるまたは隣接する視野をもつ複数の画像を組み合わせるプロセスである。

センサーデータビューを備えるビデオストリームを提供するための本開示の方法およびシステム内で、ユニットおよびセンサーのいくつかの可能な構成が可能である。センサーデータビューは、画像、ビデオストリーム、レーダー画像ストリーム、または人カウンタデータの表示可能な表現、あるいはそれらの組み合わせを備え得る。カメラは、視覚画像をキャプチャする光学器械である。カメラは、静止画像または画像のシーケンスをキャプチャすることができる。カメラは、１つまたは複数のセンサーを含むことができるデバイスである。ＰＴＺカメラは、リモート方向制御およびズーム制御が可能であるカメラである。ＰＴＺカメラは、通常、１つの画像センサーのみを含む。他のタイプのカメラは、高解像度カメラが物理的カメラ移動なしで画像の部分にデジタル的にズームおよびパンする、ｅＰＴＺまたは仮想パンチルトズーム（ＶＰＴＺ）である。本開示の方法およびシステムは、特定のタイプのカメラまたはセンサーに限定されない。複数のセンサーは、異なるカメラからのセンサーであり得るが、１つのカメラ中のセンサーでもあり得る。異なるタイプのセンサーの組み合わせも可能である。一例として、メインユニットが、ＰＴＺカメラと組み合わせられた異なる方向を向くいくつかの固定画像センサーを有し得る。したがって、一実施形態では、マルチビューは、１つまたは複数の固定カメラビューおよびパンチルトズーム（ＰＴＺ）カメラからのセンサーデータビューを備える。複数のセンサーは、メインユニットの一部を形成するか、外部センサーであるか、またはそれらの組み合わせであり得る。

本開示の方法の一実施形態では、マルチビューは、第１のセンサーからのバックグラウンドビデオストリームと、第２のセンサーからの少なくとも１つの重畳ビデオとを備える。第１のセンサーからのバックグラウンドビデオストリームは、第１のカメラから発信され得るが、第２のセンサーからの少なくとも１つの重畳ビデオストリームは、第２のカメラから発信される。ストリームのうちの１つが、レーダーまたはレーダーシステムからのレーダービューであり得る。

マルチビュービデオストリームは、システム中の複数のセンサーからのデータビューを備える単一のビデオストリームである。これは、マルチビューが、圧縮データストリームのアグリゲートされたストリームであり得るが、シングルビュービデオストリームが、単一のセンサーからのビデオまたはデータ表現を示す単一のセンサーストリームであることを意味する。メインユニットは、Ｈ．２６５のビデオ圧縮規格を使用してマルチビュービデオストリームを送信するように構成され得る。Ｈ．２６５は、アドバンストビデオコーディング（ＡＶＣ）（Ｈ．２６４）の後継としてＭＰＥＧ－Ｈプロジェクトの一部として設計された、高効率ビデオコーディング（ＨＥＶＣ）、ビデオ圧縮規格としても知られる。Ｈ．２６５のビデオ圧縮規格を使用するとき、メインユニットは、複数のセンサーから、符号化されたストリームを受信し、それらをアグリゲートするように構成され得る。メインユニットは、代替的に、Ｈ．２６４のビデオ圧縮規格を使用してマルチビュービデオストリームを送信するように構成され得る。

上述のように、複数のセンサーのうちの少なくとも１つが、存在、人々またはオブジェクトの数、温度、湿度、汚染、火に関係するデータなど、環境データを提供するように構成されたモニタリングセンサーまたはセンサーシステムなど、非画像センサーであるか、あるいは環境データを提供するように構成された生化学的センサーまたはセンサーシステムであり得る。当業者によって認識されるように、カメラは人カウンタとして使用され得る。カメラベースの適用例は、たとえば、サイトを通過する人々の数、および人々がどの方向に移動するかに関する情報を提供することができる。それは、傾向、ピークおよび他の有益な情報をも提供することができる。本開示の方法の一実施形態では、支配的ビューが非画像センサーのビューであり、支配的センサーデータビュー外のエリアが所定のしきい値よりも小さいかまたはそれに等しい場合、ズームイン動作を受信すると、非画像センサーの環境データのより詳細なビューを備えるシングルビュービデオストリームが送信される。すなわち、複数のセンサーのうちの１つが、人カウンタなど、非画像センサーである場合、ズームインする前のマルチビュービデオストリームは、人カウンタに関係する高レベル情報を備え得る。ズームインが発生し、システムがシングルビュービデオストリームに切り替えるとき、人カウンタのより詳細な情報を伴うより詳細なビューが送信される。

その上、システムが、本開示の方法に従ってシングルビュービデオストリームに切り替えたとき、シングルビュービデオストリームが非画像センサーからのビューを備える場合、システムは、好ましくは、クライアントが、パン／チルト／ズームコマンドを含む、ＶＡＰＩＸなど、同じコマンドを使用し続けることができるように構成される。非画像センサーからのデータのシングルビュービデオストリームでは、これは、たとえば、さらなるズームインが、さらにより詳細なデータを提供すること、および／あるいはパンまたはチルトが、データについての時間ウィンドウまたは他のパラメータを更新することを暗示し得る。

ビデオストリームを提供する本開示の方法は、ディスプレイ上にマルチビュービデオストリームまたはシングルビュービデオストリームを表示するステップをさらに含み得る。

本開示は、さらに、
クライアントに接続されたメインユニットと、
複数のセンサーと、
処理ユニットと
を備えるシステムであって、処理ユニットは、
メインユニットからクライアントにマルチビュービデオストリームを送信することであって、マルチビュービデオストリームが、システム中の複数のセンサーからのセンサーデータビューから構成されたマルチビューを表す、マルチビュービデオストリームを送信することと、
ズームイン動作を表すクライアントからの受信されたコマンドに基づいて、受信されたコマンドに従って更新されたマルチビューを算出することと、
更新されたマルチビューが、所定のしきい値よりも大きい、更新されたマルチビュー中の支配的センサーデータビュー外のエリアを含むかどうかを評価することと、
支配的センサーデータビュー外のエリアが、所定のしきい値よりも大きい場合、更新されたマルチビューを表すマルチビュービデオストリームを送信することと、
支配的センサーデータビュー外のエリアが、所定のしきい値よりも小さい場合、支配的センサーデータビューを表すシングルビュービデオストリームを送信することと
を行うように構成された、システムに関する。

図１は、本開示のシステム（１０１）の一実施形態の概略図を示す。メインユニット（１０１）が、ビデオストリーム（１０５）をクライアント（１０３）に送信することができる。システムは、メインユニット（１０１）の一部であるかまたはメインユニット（１０１）に接続されたかのいずれかである、複数のセンサー（１０２）を備える。処理ユニット（１０４）は、クライアント（１０３）から受信されたコマンドをハンドリングし、マルチビュービデオストリームがクライアント（１０３）に送信されるものとするのか、シングルビュービデオストリームがクライアント（１０３）に送信されるものとするのかを決定するように構成される。

当業者は、本開示のシステムが、メインユニットと複数のセンサーとを備えるシステムからのビデオストリームを提供する本開示の方法のいずれかの実施形態を実施するように構成され得ることを認識されよう。複数のセンサーは、メインユニットの一部を形成し得る。代替的に、複数のセンサーは外部センサーである。これらの代替形態の組み合わせも可能である。

システムは、クライアントなど、有用な構成要素をさらに備え得、クライアントは、ビデオ管理システムおよび／またはディスプレイおよび／またはソフトウェアアプリケーション、ビデオストリームを送り、コマンドを受信するためのクライアントへのワイヤードまたはワイヤレスインターフェースなどを備え得る。

本開示は、さらに、メインユニットと複数のセンサーとを備えるシステムからビデオストリームを提供する方法であって、メインユニットが、複数のセンサーからデータを受信するように構成され、方法は、
メインユニットからクライアントにシングルビュービデオストリームを送信するステップであって、シングルビュービデオストリームが、複数のセンサーのうちの１つからのシングルビューを表す、シングルビュービデオストリームを送信するステップと、
クライアントからズームアウト動作を表すコマンドを受信すると、メインユニットからクライアントにマルチビュービデオストリームを送信するステップであって、マルチビュービデオストリームが、システム中の複数のセンサーからのセンサーデータビューから構成されたマルチビューを表す、マルチビュービデオストリームを送信するステップと
を含む、ビデオストリームを提供する方法に関する。

ズームアウトのためのビデオストリームを提供する方法は、ユーザがズームアウトするとき、シングルビュービデオストリームからマルチビュービデオストリームにシフトするために有用である。シングルビュービデオストリームでは、複数のセンサーのうちの１つからのシングルビューが送信される。

一実施形態によれば、本方法は、シングルビュー内でズームインがある、すなわち、シングルビューのすべてのコンテンツが示されているとは限らない構成からズームアウトが発生したとき、シングルビュービデオストリームを送信することからマルチビュービデオストリームを送信することに切り替える。ユーザが、（ズームアウトコマンドに基づいて）算出された更新されたシングルビューのすべてがビューに適合するレベルにズームアウトすることは、マルチビュービデオストリームを送信することに切り替えるためのトリガとして使用され得る。好ましくは、マルチビュービデオストリームは、所定のマルチビュービデオストリームである。

一実施形態では、システムは、シングルビューがフルサイズにある間、メインユニットが２つのズームアウトコマンドを受信するまで、シングルビュービデオストリームを送信し続け、それらのズームアウトコマンドを受信したとき、メインユニットは、マルチビュービデオストリームを送信することに切り替える。これは、シングルビュービデオストリームからマルチビュービデオストリームへの偶発的切替えを防ぎ得る。代替的に、システムは、経過されたあらかじめ定義された時間期間に基づいて、マルチビュービデオストリームを送信することに切り替えるように構成され得る。そのようなあらかじめ定義された時間期間は、クライアントからメインユニットに送られたコマンドの頻度に基づいて計算され、設定され得る。コマンドがどのくらいの頻度で送られるかが知られている場合、あるあらかじめ定義された時間が、ある数のコマンド、この場合、ズームアウトコマンド、が送られたことに対応することになる。マルチビュービデオストリームを送信することに切り替えるための条件を提供するためのさらなるオプションは、ズームアウトレベルが、あらかじめ定義された限界よりも大きいとき、切り替える、すなわち、小さいズームアウトの場合切り替えず、ある最小大きさのズームアウトの場合切り替えることである。

ビデオストリームを提供する方法は、マルチビュービデオストリーム構成から続く、
メインユニットにおいて、クライアントからズームイン動作を表すコマンドを受信するステップと、
受信されたコマンドに従って、更新されたマルチビューを算出するステップと、
更新されたマルチビューが、所定のしきい値よりも大きい、更新されたマルチビュー中の支配的センサーデータビュー外のエリアを含むかどうかを評価するステップと、
支配的センサーデータビュー外のエリアが、所定のしきい値よりも大きい場合、更新されたマルチビューを表すマルチビュービデオストリームを送信するステップと、
支配的センサーデータビュー外のエリアが、所定のしきい値よりも小さいかまたはそれに等しい場合、支配的センサーデータビューを表すシングルビュービデオストリームを送信するステップと
をさらに含み得る。

図５は、センサーデータビューを備えるビデオストリームを提供するための方法（４００）の一実施形態のフローチャートを示す。本方法は、メインユニットからクライアントにシングルビュービデオストリームを送信するステップであって、シングルビュービデオストリームが、複数のセンサーのうちの１つからのシングルビューを表す、シングルビュービデオストリームを送信するステップ（４０１）と、クライアントからズームアウト動作を表すコマンドを受信する（４０２）と、メインユニットからクライアントにマルチビュービデオストリームを送信するステップであって、マルチビュービデオストリームが、システム中の複数のセンサーからのセンサーデータビューから構成されたマルチビューを表す、マルチビュービデオストリームを送信するステップ（４０３）とを含む。

上述のように、異なるタイプのセンサーの組み合わせも可能である。本開示の技術は、魚眼レンズについても機能することになる。魚眼レンズは、広いパノラマまたは半球状画像を作成することを意図された強い視覚ひずみを作り出す超広角レンズである。魚眼について特殊であることは、魚眼画像上のＤＰＴＺ動作が、そのＤＰＴＺ動作が画像のクロップの直線変換以上のものであるように、画像のクロップであるだけでなくデワープ（ｄｅｗａｒｐ）されることである。その原理は、それ以外は同じある。魚眼は、マルチビュー中の１つのセンサーデータビューであり得る。魚眼ビューである、１つのセンサーデータビューのみがある場合、クライアントが、魚眼ビューをズームインするためのコマンドを送ることができる。原則として、サブビュー外のエリアが所定のしきい値よりも小さい場合、魚眼ビューにおいて示されたサブビューのデワープされたシングルビュービデオストリームを送信することに切り替えるためにこのズーミングを使用することが可能であろう。

Claims (15)

1. メインユニット（１０１）と複数のセンサー（１０２）とを備えるシステム（１００）からビデオストリームを提供する方法（３００）であって、前記メインユニット（１０１）が、前記複数のセンサー（１０２）からデータを受信するように構成され、前記方法は、
   前記メインユニット（１０１）からクライアント（１０３）にマルチビュービデオストリーム（２０１）を送信するステップ（３０１）であって、前記マルチビュービデオストリーム（２０１）が、前記システム（１００）中の前記複数のセンサー（１０２）からのセンサーデータビュー（２０２）から構成されたマルチビューを表す、マルチビュービデオストリーム（２０１）を送信するステップ（３０１）と、
   前記メインユニット（１０１）において、前記クライアント（１０３）からズームイン動作を表すコマンド（１０６）を受信するステップ（３０２）と、
   受信された前記コマンド（１０６）に従って、更新されたマルチビュー（２０５）を算出するステップ（３０３）と、
   前記更新されたマルチビュー（２０５）が、所定のしきい値よりも大きい、前記更新されたマルチビュー（２０５）中の支配的センサーデータビュー（２０２）外のエリア（２０３）を含むかどうかを評価するステップ（３０４）と、
   前記支配的センサーデータビュー（２０２）外の前記エリア（２０３）が、前記所定のしきい値よりも大きい場合、前記更新されたマルチビュー（２０５）を表すマルチビュービデオストリーム（２０１）を送信するステップ（３０６）と、
   前記支配的センサーデータビュー（２０２）外の前記エリア（２０３）が、前記所定のしきい値よりも小さいかまたはそれに等しい場合、前記支配的センサーデータビュー（２０２）を表すシングルビュービデオストリーム（２０４）を送信するステップ（３０７）と
   を含む、ビデオストリームを提供する方法（３００）。
2. 前記更新されたマルチビュー（２０５）中の前記支配的センサーデータビュー（２０２）が、前記更新されたマルチビュー（２０５）の最も大きいエリアを占有する前記センサーデータビューである、請求項１に記載のビデオストリームを提供する方法（３００）。
3. 前記所定のしきい値が０である、請求項１または２に記載のビデオストリームを提供する方法（３００）。
4. 前記複数のセンサー（１０２）が、前記メインユニット（１０１）の一部を形成するか、または、前記複数のセンサー（１０２）が外部センサーであるか、あるいはそれらの組み合わせである、請求項１から３のいずれか一項に記載のビデオストリームを提供する方法（３００）。
5. 前記メインユニット（１０１）がマスタユニットであり、前記複数のセンサー（１０２）が、スレーブユニットまたはスレーブユニットの一部であり、前記シングルビュービデオストリーム（２０４）を送信する（３０７）とき、前記クライアント（１０３）から前記支配的センサーデータビュー（２０２）に対応するスレーブユニットにさらなるコマンド（１０６）をフォワーディングするステップをさらに含む、請求項１から４のいずれか一項に記載のビデオストリームを提供する方法（３００）。
6. 前記シングルビュービデオストリーム（２０４）が、前記更新されたマルチビュー（２０５）を表す前記マルチビュービデオストリーム（２０１）の前記支配的センサーデータビュー（２０２）よりも高い解像度を有する、請求項１から５のいずれか一項に記載のビデオストリームを提供する方法（３００）。
7. 前記複数のセンサー（１０２）のうちの少なくとも１つが、存在、人々またはオブジェクトの数、温度、湿度、汚染、火に関係するデータなど、環境データを提供するように構成されたモニタリングセンサーまたはセンサーシステムなど、非画像センサーであるか、あるいは環境データを提供するように構成された生化学的センサーまたはセンサーシステムであり、
   ズームイン動作を表すコマンド（１０６）を受信すると、前記支配的センサーデータビュー（２０２）が、前記非画像センサーのビューであり、前記支配的センサーデータビュー（２０２）外の前記エリア（２０３）が、前記所定のしきい値よりも小さいかまたはそれに等しい場合、前記非画像センサーの前記環境データのより詳細なビューを備えるシングルビュービデオストリーム（２０４）が送信される、
   請求項１から６のいずれか一項に記載のビデオストリームを提供する方法（３００）。
8. 前記マルチビュービデオストリーム（２０１）が、前記システム（１００）中の複数センサー（１０２）からのデータビューを備える単一のビデオストリームである、請求項１から７のいずれか一項に記載のビデオストリームを提供する方法（３００）。
9. 前記マルチビューが、圧縮データストリームのアグリゲートされたビューである、請求項１から８のいずれか一項に記載のビデオストリームを提供する方法（３００）。
10. 前記マルチビューがピクチャインピクチャビューである、請求項１から９のいずれか一項に記載のビデオストリームを提供する方法（３００）。
11. 前記マルチビューが、第１のセンサー（１０２）からのバックグラウンドビデオストリームと、第２のセンサー（１０２）からの少なくとも１つの重畳ビデオとを備える、請求項１から１０のいずれか一項に記載のビデオストリームを提供する方法（３００）。
12. 処理能力を有するコンピューティングデバイスまたはコンピューティングシステム上で実行されたとき、請求項１から１１のいずれか一項に記載の方法を実装するための命令を記憶した非一時的コンピュータ可読記憶媒体。
13. クライアント（１０３）に接続されたメインユニット（１０１）と、
    複数のセンサー（１０２）と、
    処理ユニット（１０４）と
    を備えるシステム（１００）であって、前記処理ユニット（１０４）が、
    前記メインユニット（１０１）から前記クライアント（１０３）にマルチビュービデオストリーム（２０１）を送信すること（３０１）であって、前記マルチビュービデオストリーム（２０１）が、前記システム（１００）中の前記複数のセンサー（１０２）からのセンサーデータビュー（２０２）から構成されたマルチビューを表す、マルチビュービデオストリーム（２０１）を送信すること（３０１）と、
    ズームイン動作を表す前記クライアント（１０３）からの受信されたコマンド（１０６）に基づいて、前記受信されたコマンド（１０６）に従って、更新されたマルチビュー（２０５）を算出すること（３０３）と、
    前記更新されたマルチビュー（２０５）が、所定のしきい値よりも大きい、前記更新されたマルチビュー（２０５）中の支配的センサーデータビュー（２０２）外のエリア（２０３）を含むかどうかを評価すること（３０４）と、
    前記支配的センサーデータビュー（２０２）外の前記エリア（２０３）が、前記所定のしきい値よりも大きい場合、前記更新されたマルチビュー（２０５）を表すマルチビュービデオストリーム（２０１）を送信することと、
    前記支配的センサーデータビュー（２０２）外の前記エリア（２０３）が、前記所定のしきい値よりも小さい場合、前記支配的センサーデータビュー（２０２）を表すシングルビュービデオストリーム（２０４）を送信することと
    を行うように構成されている、システム（１００）。
14. 前記処理ユニット（１０４）が、請求項１から１１のいずれか一項に記載の方法を行うように構成されている、請求項１３に記載のシステム。
15. メインユニット（１０１）と複数のセンサー（１０２）とを備えるシステム（１００）からビデオストリームを提供する方法（４００）であって、前記メインユニット（１０１）が、前記複数のセンサー（１０２）からデータを受信するように構成され、前記方法は、
    前記メインユニット（１０１）からクライアント（１０３）にシングルビュービデオストリーム（２０４）を送信するステップ（４０１）であって、前記シングルビュービデオストリーム（２０４）が、前記複数のセンサー（１０２）のうちの１つからのシングルビューを表す、シングルビュービデオストリーム（２０４）を送信するステップ（４０１）と、
    前記クライアント（１０３）からズームアウト動作を表すコマンド（１０６）を受信する（４０２）と、前記メインユニット（１０１）から前記クライアント（１０３）にマルチビュービデオストリーム（２０１）を送信するステップ（４０３）であって、前記マルチビュービデオストリーム（２０１）が、前記システム（１００）中の前記複数のセンサー（１０２）からのセンサーデータビュー（２０２）から構成されたマルチビューを表す、マルチビュービデオストリーム（２０１）を送信するステップ（４０３）と
    を含む、ビデオストリームを提供する方法（４００）。

Images