JP2018508851A - モニタリング - Google Patents

Abstract

監視空間内に、コンピュータにより設定される少なくとも一つの仮想境界を定めるべく、少なくとも一つのジェスチャを認識すること、但し前記ジェスチャは経路に沿った動きであって、被監視シーン空間内の位置における動きを有し、前記監視空間と前記被監視シーン空間との間には対応関係が存在する、前記認識することと；前記被監視シーン空間に対応する前記監視空間の中に、コンピュータにより設定される少なくとも一つの仮想境界を作成することを生じさせること、但し前記仮想境界の少なくとも一部分は前記被監視シーン空間内の前記経路によって定められ、前記仮想境界の前記少なくとも一部分は、前記経路の位置に相当する、前記監視空間の対応する位置に位置する、前記生じさせることと；前記少なくとも一つの仮想境界に関連して前記被監視シーン空間の一部に変化があったとき、受け取ったデータを処理して応答イベントを生成することと；を含む。【選択図】図１

Description

本発明の実施形態はシーンのモニタリングに関する。特に、自動化されたモニタリングに関する。

背景

現在のモニタリングシステム、例えば監視システムは、音声付き又は無しのビデオを録画するための一つ又は複数のカメラを備え、これらのカメラは、有線又は無線で中央装置に接続される。中央装置は、シーンの録画データを保存したり、また保存することを可能にしたりする。操作者は、カメラや中央装置の設定をプログラムするために、当該中央装置を使用することができる場合がある。

摘要

本願が開示する様々な実施例（但し必ずしも全ての実施例ではない）によれば、請求項１−１３のいずれかに記載の方法が提供される。

本願が開示する様々な実施例（但し必ずしも全ての実施例ではない）によれば、請求項１４に記載の装置が提供されてもよい。

本願が開示する様々な実施例（但し必ずしも全ての実施例ではない）によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを格納する少なくとも１つのメモリとを備える装置であって、前記コンピュータプログラムコードが、前記プロセッサに実行されると、前記装置に、少なくとも、請求項１−１３のいずれかに記載の方法を遂行させるように構成される、装置が提供される。

本願が開示する様々な実施例（但し必ずしも全ての実施例ではない）によれば、少なくとも１つのプロセッサに実行されると、少なくとも、請求項１−１３のいずれかに記載の方法が遂行されるように構成される、コンピュータプログラムコードが提供される。

本願が開示する様々な実施例（但し必ずしも全ての実施例ではない）によれば、コンピュータで実行されると、請求項１−１３のいずれかに記載の方法を遂行するコンピュータプログラムが提供される。

本発明の様々な実施形態（但し必ずしも全ての実施形態ではない）によれば、装置の発明を特定する請求項に特定されるような例が提供される。

前述の簡単な説明を理解するために有用な種々の実施例の理解に資するべく、例として次の添付図面を参照する。
システムの例の概略図である。 状態マシンの例を描いた図である。 処理モジュールの例を描いた図である。 コンピュータプログラムの配送メカニズムの例を描いた図である。 システムの動作を描いた図である。 システムの動作を描いた図である。 システムの動作を描いた図である。 システムの動作を描いた図である。 システムの動作を描いた図である。 方法の例を描いた図である。 方法の例を描いた図である。

詳細説明

符号１００で示されているシステムは、少なくとも一つのシーンをモニターするシステムである。このシステムの動作は、シーンの中のユーザによってコントロールされることができる。そのようなコントロールは、シーンの中でアクションを実行することにより行われうる。例えばユーザは、システムをコントロールし、このシステムによる監視の対象となる、少なくとも一つの仮想的な境界を定義することができる。

図１はシステム１００の概略的に描いた図である。システム１００は、
シーン１４０からセンサデータ１１２を記録するように構成される一つ又は複数のセンサ１１０と；
シーン１４０から記録されたセンサデータ１１２を処理し、シーン１４０で起こったイベントを自動的に認識すると共に、前記認識の結果として自動的に判断を行うように構成される処理モジュール１２０と；
前記処理モジュール１２０によって、通信するという判断がなされた場合、通信を行うように構成される通信モジュール１３０と；
を備える。

認識されるイベントの幾つか（但し必ずしも全てではない）は、シーン１４０の中のオブジェクト１５２（又は特定のオブジェクト１５２）に関連していてもよい。このオブジェクトは、シーン１４０の中の非生物の物体であったり、動物であったり、人物であったり、特定の人物１５０であったりしてもよい。システム１００の実施例の幾つか（但し必ずしも全てではない）において、システム１００は、リアルタイムの認識システムであり、センサデータ１１２が記録されたら、それとほぼ同時に自動的に認識及び判断を行う。

システム１００は、監督や監視、アシステッドリビング、老人介護等のアプリケーションに使用されてもよい。システム１００は、ビジネスで使用されてもよいし、公共の場所や自宅で使用されてもよい。期待される利用分野の一つは自宅監視システムである。

システム１００は、ユーザがモニタリングを制御することを可能にする。例えば、ユーザがシーン１４０中の人物１５０であるときに、そのような制御を行うことを可能にする。システム１００はまた、ユーザが、認識および／または認識の結果を制御することを可能にする。例えばユーザがシーン１４０中の人物１５０であるときに、そのような制御を行うことを可能にする。

（必ずしも全ての例においてではないが）いくつかの例において、システム１００は、物理的に異なるいくつかの装置を備えていてもよい。例えば、複数のセンサ１１０を有してもよく、これらセンサ１１０はそれぞれ複数の異なる装置のいずれか配されていてもよい。また、処理モジュール１２０や通信モジュール１３０も、１つ以上の装置の中に配されていてもよい。システム１００の構成要素または構成要素群が物理的に異なる複数の装置に配される場合、これらの装置は全てローカルに存在していても、それぞれ互いにリモートに存在していてもよく、これらの装置がリモートにある場合、これらは、例えば、ネットワークを介して通信することができる。

（必ずしも全ての例においてではないが）いくつかの例において、システム１００は、単一の装置の中に収容されていてもよい。

センサ１１０は、シーン１４０からのセンサデータ１１２を記録するか記録を可能にするように構成される。

シーン１４０は、例として、例えば静的なオブジェクトなど、相対的位置が固定された静的な構成要素を有してもよい。これらの静的なオブジェクトは、シーンの三次元空間（シーン空間）においていろいろな静的位置を有する。シーン１４０は、例えば動くオブジェクトなど、動く構成要素を有してもよい。動くオブジェクトは、シーン空間中で時間経過とともに様々な位置をとる。様々なセンサデータ１１２、または様々な時間に関連する「シーン」への言及は、シーン１４０中で検出された静的構成要素の継続性を暗示するが、動的な構成要素の一部または全部の継続性は、それが生じることはあるにしても、必ずしも意味しない。

センサデータ１１２の記録は、一時的記録だけを含むこともあり、または恒久的記録を含むこともあり、または、一時的記録および恒久的記録の両方を含むこともある。一時的記録はデータを一時的に記録することを意味する。これは、例えば、検出する過程で行われることがあり、ダイナミックメモリで行われることがあり、循環バッファなどのバッファ、レジスタ、キャッシュ、または類似のものにおいて行われることもある。恒久的記録は、当該データがアドレス可能なメモリ空間から読み出し可能なアドレス可能データ構造の形式であることを暗示し、したがって削除または上書きされるまでは格納され読み出すことができるが、非揮発的な格納がされることもされないこともある。

センサ１１０は、音波および／または光波などの伝搬波を、電気信号に変換するように構成することができる。この電気信号は、シーン１４０からの伝搬波データを符号化するセンサデータ１１２である。

（必ずしも全ての例においてではないが）いくつかの例において、センサ１１０は、シーン空間１４０に対して空間的に固定される。他の例では、センサ１１０は、シーン空間１４０に対して移動しうるか、または移動している。

（必ずしも全ての実施形態においてではないが）いくつかの実施形態において、センサ１１０は画像センサ１１４であるか、または画像センサを備える。画像センサ１１４の一例は、カメラとして動作するように構成されたデジタル画像センサである。かかるカメラは、静的画像および／またはビデオ画像を記録するように動作することができる。

（必ずしも全ての実施形態においてではないが）いくつかの実施形態において、カメラは、シーン１４０がいろいろな視点から観察されうるように、立体的配置（または他の空間的配置）に構成することができる。これは、三次元画像の生成、および／または、例えば視差効果を介した、奥行きを設定するための処理を可能する。

（必ずしも全ての実施形態においてではないが）いくつかの実施形態において、センサ１１０はオーディオセンサ１１６であるか、またはオーディオセンサを備える。オーディオセンサ１１６の一例は、１つ又は複数のマイクロフォンである。マイクロフォンは、いろいろな収録点からシーン１４０がサンプリングされうるように、マイクロフォンアレイなど、立体的配置（または他の空間的配置）に構成することができる。これは、シーン１４０内のオーディオのポジショニングを可能にする三次元空間オーディオ処理を可能にできる。

（必ずしも全ての実施形態においてではないが）いくつかの実施形態において、これらのセンサは奥行きセンサ１１８であるか、または奥行きセンサを備える。奥行きセンサ１１８は、トランスミッタおよびレシーバを備えてもよい。トランスミッタは（例えば、超音波または赤外光など人間が検出できない信号などの）信号を送信し、レシーバは反射された信号を受信する。単一のトランスミッタおよび単一のレシーバを用い、送信から受信までの伝搬時間を測定することによっていくらかの奥行き情報を得ることができる。より多くのトランスミッタおよび／またはより多くのレシーバを用いることによってより良好な分解能（空間的ダイバーシチ）が達成できる。一例において、トランスミッタは、光、好ましくは、赤外光など不可視光を使い、空間依存的パターンで、シーン１４０を「描く」ように構成される。レシーバによる特定のパターンの検出は、シーン１４０が空間的に分解されることを可能にする。シーン１４０の空間的に分解された部分への距離は、伝搬時間および／または（レシーバがトランスミッタに対し立体的な位置にある場合）立体視法によって測定ができる。

これらの奥行き検出の「受動的」または「非能動的」例では、検出対象の人物１５０またはオブジェクト１５２は受動的で、トランスミッタによって放射される光または音波を反射しているだけである。但し、検出されるオブジェクトの動きを必要とする「能動的」例を、追加してまたは代わりに用いることができる。一例として、人物１５０は、測位装置を携行していてもよく、この測位装置は、シーン空間内で、当該測位装置の位置を決定しうるように構成されてもよい。この測位装置は、例えば加速度計を使って、基準位置からの当該測位装置の動きを測定することができる。実施例によっては、方位を測定するためにジャイロスコープを用いてもよい。上記に加えてまたは換えて、上記測位装置は、複数のレシーバに送信したり、複数のトランスミッタから受信したりすることによって、三角測量（三辺測量）を用い、位置決定を行ってもよい。

必ずしも全ての例ではないが、本願で示される例において、処理モジュール１２０は、メモリサブモジュール１２２、処理サブモジュール１２４、認識サブモジュール１２６、および制御サブモジュール１２８を備える。これらの「モジュール」は別々に記載され、示されているが、これらは、必須ではない。実施形態によってはこれらは別々のモジュールではないこともある。また、いろいろな組み合せに結合されている場合もある。例えば、処理サブモジュール１２４、認識サブモジュール１２６、および決定サブモジュール１２８は、同一の回路、または同一のコンピュータプログラムの制御の下で実装されることができる。上記に換えて、処理サブモジュール１２４、認識サブモジュール１２６、および決定サブモジュール１２８の１つ以上を、専用の回路または専用のコンピュータプログラムによって実装することもできる。これらサブモジュールは、ソフトウェア、専用のハードウェア、またはプログラムされたハードウェアとソフトウェアとの混成を使って実行することができる。

メモリサブモジュール１２２は、未処理のセンサデータ１１２および／または処理済みのセンサデータ１１２（シーンデータ）、コンピュータプログラム、シーン空間モデル、および処理モジュール１２０によって使われる他のデータを格納するために用いることができる。実施例によっては、他のサブモジュールがそれぞれ独自にメモリを有してもよい。

処理サブモジュール１２４は、シーン１４０について有意味なシーンデータを判断するために、センサデータ１１２を処理するように構成されてもよい。

処理サブモジュール１２４は、センサデータ１１２がカメラまたはカメラ群１１４からの画像データを含む場合に、画像処理を行うように構成されることができる。処理サブモジュール１２４は、センサデータ１１２がマイクロフォンまたはマイクロフォン群１１６からのオーディオデータを含む場合に、オーディオ処理を行うように構成されることができる。

処理サブモジュール１２４は、シーン１４０に対して有意味な可能性のあるシーンデータを生成するために、センサデータ１１２を用いて、以下のタスクの１つ以上を自動的に実行するように構成されることができる。

（ア）マシン（コンピュータ）ビジョンを用いて、
・ （移動しているまたは静的な）オブジェクトまたは人物を検出すること、
・ （移動しているまたは静的な）オブジェクトまたは人物を分類すること、
・ （移動しているまたは静的な）オブジェクトまたは人物を追跡すること、
の１つ以上を実行する。

（イ）空間分析を用いて、
・ 奥行き検出を使ってシーン空間中の（移動しているまたは静的な）オブジェクトの位置決めをすること、
・ シーン空間のマップを生成すること、
の１つ以上を実行する。

（ウ）挙動分析を用いて、シーン１４０中で生じるイベントを、有意味な可能性のあるシンボルとして記述する。

画像処理の一例に、画像に対する輝度勾配またはエッジ方向の分布を生成する「勾配特徴ヒストグラム（ｈｉｓｔｏｇｒａｍ ｏｆ ｇｒａｄｉｅｎｔ ｆｅａｔｕｒｅｓ）」分析がある。画像は小さな結合された領域（セル）に分割することが可能で、各セルに対し、セル内の画素に対する勾配方向またはエッジ方位のヒストグラムが生成される。次いで、これらのヒストグラムの組み合せが、記述子（ｄｅｓｃｒｉｐｔｏｒ）を表現する。

オーディオ処理の例には、「メル周波数ケプストラル係数（ｍｅｌ−ｆｒｅｑｕｅｎｃｙ ｃｅｐｓｔｒａｌ ｃｏｅｆｆｉｃｉｅｎｔｓ）」決定、（例えばオーディオビーム形成技法を使う）空間オーディオ処理、オーディオイベント認識もしくは分類、話者認識もしくは検証、またはスピーチ認識がある。

動き検出は、例えば、背景モデルに対する差分（背景除去法）、もしくは先行画像に対する差分（時間差分）を用い、または、ベクトルベースのアプローチを使うオプティカルフロー分析など、何らかの他のアプローチを用いて達成することができる。

オブジェクト分類は、例えば、形状ベースの分析、および／または動きベースの分析を用いて達成することができる。

人物の分類処理は、オブジェクトが人間か否かという分類処理であってもよい。または、オブジェクトが特定の人間（身元）であるか否かという分類処理であってもよい。身元確認は、可能性のある人物群のセット内の人物を一意的に識別する属性または属性の組み合せを用いて達成ができる。属性の例は、顔または声など、人物の固有のまたは固有であり得るバイオメトリック特徴を含んでもよい。また、人物の外形およびサイズ、その挙動を含んでもよい。

オブジェクトの追跡は、オブジェクトを標識し、該標識されたオブジェクトのシーン１４０中での位置を記録することによって達成することができる。このアルゴリズムは、シーン１４０へのオブジェクトの入場、シーン１４０からのオブジェクトの退場、シーン１４０へのオブジェクトの再入場、オブジェクトの遮蔽、オブジェクトの統合、のイベントのうちの１つ以上を取り扱う必要があり得る。これらのイベントをどう取り扱うかは本願の技術分野で既に知られている。

オブジェクト追跡は、オブジェクトまたは人物がいつ変化したかを判断するために用いてもよい。例えば、オブジェクトを大きなマクロスケールで追跡することで、そのオブジェクトと共に移動する基準枠を生成することができる。この基準枠は、オブジェクトに対する時間差分を用いてオブジェクトの形状の時間進展的な変化を追跡するために使うことができる。これは、ジェスチャ、手の動き、顔面の動きなど小規模な人間の動きを検出するために用いることができる。これらは、ユーザに関連する、シーン非依存性のユーザ（だけ）の動きである。

システムは、例えば、人物の体の関節１つ以上など、人物の身体に関連する複数のオブジェクトおよび／またはポイントを追跡することができる。いくつかの例において、システム１００は、人物の身体の全身骨格的な追跡を実行することができる。

人物の身体に関連する１つ以上のオブジェクトおよび／またはポイントの追跡技術が、ジェスチャの認識などにおいて、システム１００によって使用されてよい。

行動分析（Ｂｅｈａｖｉｏｕｒ ａｎａｌｙｓｉｓ）は、有意味シンボル体系を使って、シーン１４０中で生じるイベントを表すことを必要とする。イベントは、時空的なインスタンスで生じるある事柄でもよく、また時空的なシーケンス（時間経過における時空的インスタンスのパターン）でもよい。イベントは、オブジェクト（または人物）の動き、または人物とオブジェクトとの相互作用に関連するものでもよい。

（必ずしも全てではないが）いくつかの実装例において、イベントは、マシン（コンピュータ）ビジョン分析および／または空間分析から決定されたパラメータに関して定義された推定シンボルによって表現できる。これらのパラメータは、起こっていること、起こっている場所、起こっている時間、および誰がそれをしているかの、一つ以上を符号化する。

認識サブモジュール１２６は、シーン１４０中のイベントを、特定の意味に関連付けられた有意味シンボルとして符号化する推定シンボルを認識するように構成される。

認識サブモジュール１２６は、意味を有するとして、マシン（コンピュータ）ビジョン分析および／または空間分析から決定されたパラメータに関して定義され、処理サブモジュール１２４によって生成された推定シンボルを、認識するように構成することができる。認識サブモジュール１２６は、例えば、有意味参照シンボルのデータベースに格納を行い、またはアクセスすることが可能で、推定シンボルが或る有意味シンボルに「類似」しているかどうかを判断するための相似検査を用いることができる。

認識サブモジュール１２６は、パラメータ空間中の人工ニューラルネットワークまたはクラスタリングなど、マシン（コンピュータ）推論エンジンまたは他の認識エンジンとして構成してもよい。いくつかの例において、認識サブモジュール１２６には、有意味シンボルを参照シンボルと類似であると認識するために、教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を介して教育訓練を施すことができる。

制御サブモジュール１２８は、有意味なイベントがシーン１４０で生じたとの判断に、そのイベントに応じて応答する。

ａ）推定シンボルが応答シンボルに類似している場合、有意味なイベントは「応答」イベントであり、制御サブモジュール１２６は、応答アクションを実行する。
（必ずしも全ての例においてではないが）いくつかの例において、実行されるアクションはユーザによってプログラムすることができる。（必ずしも全ての例においてではないが）いくつかの例において、このプログラミングは、シーン内のユーザの動きを介して行うことができる。実行されるアクションの例には、警告または通知の生成があってもよい。
警告または通知は、通信モジュール１３０を介して提示ができる。通信モジュール１３０は、電波を使って無線で、または有線接続で、ローカルまたはリモートの装置に通信することができる。かかる装置の例は、以下に限らないが、ディスプレイ、テレビジョン、オーディオ出力装置、携帯電話もしくはパーソナルコンピュータなどの個人用デバイス、プロジェクタ、その他のユーザ出力装置を含む。

ｂ）推定シンボルがユーザ制御シンボルと類似している場合、有意味なイベントは「ユーザ制御」イベントであり、制御サブモジュール１２６は、モニタリングのユーザ制御および／または応答のユーザ制御を可能にする。
例えばユーザは、参照シンボルのデータベースに加えられる有意味な応答をプログラムしたり教えたりすることができてもよい。（必ずしも全ての例においてではないが）いくつかの例において、このプログラミングは、シーン１４０内のユーザの動きを介して行うことができる。
例えばユーザは、推定シンボルが応答シンボルに一致する場合に実行されるアクションをプログラムしたり教えたりすることができてもよい。実行されるアクションの例には、警告または通知の生成があってもよい。

処理モジュール１２０の動作は、処理モジュール１２０に対する状態マシン２００を示す図２から、さらに理解することができる。状態マシン２００は、モニタリング状態２１０、ユーザ制御状態２２０、および自動応答状態２３０を有する。

モニタリング状態２１０において、センサ１１０はセンサデータ１１２を提供し、処理サブモジュール１２４は、有意味な可能性のあるシーンデータを生成するために、センサデータ１１２（映像および／またはオーディオおよび／または奥行き）を自動的に処理する。認識サブモジュール１２６は、シーンデータ内の実際の意味、すなわち有意味シンボルを識別するため、該シーンデータを自動的に処理する。

有意味シンボルは事前決定されている、すなわち、認識の前に、シンボルを決める処置が取られている。但し、「事前決定」は厳密性または固定性を意味すると見なすべきではない。類似性の照合のために使われるシンボルは、単に先行の定めを有するのであり、これは動的に進展することもあり、または固定されることもある。

認識サブモジュール１２６が、シーン１４０中で有意味なイベントが発生したと判断した場合、制御サブモジュール１２６は、そのイベントに応じて自動的に応答する。有意味なイベントが「応答」イベントである場合、状態マシン２００は、応答状態２３０に遷移し、制御サブモジュール１２６は、応答アクションを実行する。イベントが「ユーザ制御」イベントである場合、状態マシン２００は、ユーザ制御状態２２０に遷移し、モニタリングおよび／または応答のユーザ制御が有効化される。

「ユーザ制御」イベントとして、特定のジェスチャユーザ入力を用いることができる。ジェスチャユーザ入力は、システム１００に対しユーザ入力としての意味を有するジェスチャである。ジェスチャは、静的なものであっても動的なものであってもよい。動きジェスチャ（動的ジェスチャ）は、或る動き、または一連の動きを含む動きのパターンを含むことができる。例えばこれは、旋回動作、または脇から脇への動き、または上下の動きをすること、または空間中で符号を描くこととしてもよい。例えば、動きジェスチャは、装置非依存性のジェスチャ、または装置依存性のジェスチャとしてもよい。動きジェスチャは、例えば、ユーザ身体の部分もしくは部分群、または追加の装置などのユーザ入力オブジェクトのセンサ１１０に対する動きを伴ってもよい。身体の部分は、ユーザの手、または親指以外の１つ以上の指および親指などユーザの手の一部を含んでよい。他の例において、ユーザ入力オブジェクトは、ユーザの頭または腕などユーザの身体のいろいろな部分を含んでもよい。三次元の動きは、任意の３つの直交方向のユーザ入力オブジェクトの動きを含むことができる。ユーザ入力オブジェクトの動きには、センサ１１０に向かうように又はセンサから離れるように動くことや、センサと平行な面内で動くこと、またこのような動きの任意の組み合せを含んでもよい。ジェスチャは、非接触のジェスチャでもよい。非接触ジェスチャは、ジェスチャの間のどの時点でも装置のセンサに接触することはない。ジェスチャは、センサ１１０からの絶対変位に関連して定義される絶対的ジェスチャとすることもできる。かかるジェスチャは、それがシーン空間中の正確な場所において行われるという点で制限があり得る。あるいは、ジェスチャは、ジェスチャの間の相対変位に関連して定義される相対的ジェスチャであってもよい。かかるジェスチャは、それがシーン空間中に対し正確な場所において行われる必要がないという点で、制限がなくてよく、多数の任意の場所で行うことができる。ジェスチャは、時間経過による、当初点に対する追跡点の変位の進展として定義することができる。これは、例えば、変位、速度など時間的可変パラメータを用いる、または他の運動学的パラメータを用いる動きに関連させて定義することができよう。制限なしのジェスチャは、相対時間Δｔに対する相対変位Δｄの進展として定義することができる。ジェスチャは、一空間次元（１Ｄジェスチャ）、二空間次元（２Ｄジェスチャ）、または三空間次元（３Ｄジェスチャ）において実施することができる。

いくつかの例において、システム１００は、ジェスチャ認識において、人物の身体に関連する１つ以上のオブジェクトおよび／またはポイントを追跡することができる。例えば、システム１００は、ジェスチャ認識において、人の身体の全骨格的追跡を実行することができる。

処理モジュール１２０または処理モジュール１２０の部分の実装は、コントローラ回路としてであってもよい。コントローラ回路は、ハードウェアのみ（例えば、回路、プロセッサなど）のみにより実装されてもよく、（ファームウェアを含む）ソフトウェア主体で実装されてもよい。または、ハードウェアとソフトウェア（ファームウェアを含む）の組み合わせにより実装されてもよい。

図３に描かれるように、コントローラ１２０は、ハードウェア機能を実現する命令であって、例えば、汎用プロセッサまたは特定用途向けプロセッサ３１０で実行可能なコンピュータプログラム命令３２２を用いて実装されてもよい。こうした命令は、プロセッサ３１０で実行されうるように、コンピュータ可読記憶媒体（ディスクやメモリ等）に格納されてもよい。

プロセッサ３１０は、メモリ３２０から読み出し、かつメモリ２４へ書き込むように構成される。プロセッサ３１０は出力インタフェースと入力インタフェースを備えてもよい。データおよび／または命令は、プロセッサ３１０によって出力インタフェースを介して出力され、入力インタフェースを介してプロセッサ３１０に入力される。

メモリ３２０はコンピュータプログラム３２２を格納する。コンピュータプログラム３２２は、プロセッサ３１０にロードされて処理モジュール１２０の動作を制御するコンピュータプログラム命令（コンピュータプログラムコード）を含む。コンピュータプログラム３２２のコンピュータプログラム命令は、処理モジュールが、図１，２，８，９の一つ以上を参照して紹介された方法を遂行することを可能とするロジックとルーチンとを提供する。プロセッサ３１０は、メモリ３２０を読み取ることによりコンピュータプログラム３２２をロードして実行することができる。

従ってシステム１００は装置１２０を含むことができ、この装置１２０は、
少なくとも１つのプロセッサ３１０と；
コンピュータプログラムコード３２２を含む少なくとも一つのメモリ３２０とを備える。コンピュータプログラムコード３２２は、プロセッサ３１０に実行されると、装置１２０に、図１のブロック１２４，１２６，１２８の一つ又は複数や、図８や９の一つ又は複数のブロックの少なくともいずれかを遂行させるように構成される。

図４に描かれるように、コンピュータプログラム３２２は、任意の適切な配信機構３２４を介して装置に提供されてもよい。配信メカニズム３２４は、例えば、非一時的なコンピュータ読取り可能記憶媒体、コンピュータプログラム製品、メモリデバイス、記録媒体、例えば、コンパクトディスク・リードオンリーメモリ（ＣＤ−ＲＯＭ：ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）またはデジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ）、コンピュータプログラム３２２を有形に具現した製造品であってもよい。配信機構はコンピュータプログラム３２２を確実に伝達するように構成される信号でもよい。装置１２０は、コンピュータデータ信号としてコンピュータプログラム３２２を伝達または伝送してもよい。

メモリ３２０は単独要素又は回路として示されているが、物理的に異なる複数の要素又は回路として実装されてもよい。こうした要素の一部または全部は組込み型でも着脱可能型でもよく、および／または永久／半永久／動的／キャッシュの記憶方式でもよい。

プロセッサ３１０は単独要素又は回路として示されているが、物理的に異なる複数の要素又は回路として実装されてもよい。こうした要素の一部または全部は組込み型でも着脱可能型でもよい。プロセッサ３１０はシングルコアのプロセッサでもよいし、マルチコアのプロセッサであってもよい。

「コンピュータ可読記憶媒体」や「コンピュータプログラム製品」，「有形物として具現化されたコンピュータプログラム」等の用語や、「コントローラ」，「コンピュータ」，「プロセッサ」等の用語は、様々なアーキテクチャを有するコンピュータだけでなく、特殊回路もカバーものと理解すべきである。こうしたコンピュータのアーキテクチャには、シングル／マルチプロセッサ・アーキテクチャや、直列（ノイマン型）／並列アーキテクチャ等がある。特殊回路にはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）や特定用途向け集積回路（ＡＳＩＣ），シグナルプロセッシングデバイス，その他の処理回路等がある。コンピュータプログラムや命令，コード等の用語は、プログラマブルプロセッサやファームウェア用のソフトウェアもカバーするものと理解すべきである。こうしたものとして例えば、プロセッサに対する命令や、固定機能デバイス，ゲートアレイ，プログラマブルロジックデバイス等の構成設定といったハードウェアデバイスのプログラマブルコンテンツ等がある。

なお本願において使用される「回路（ｃｉｒｃｕｉｔｒｙ）」との語句は、次の全てを表す：
（ａ）ハードウェアのみの回路実装（アナログおよび／またはデジタル回路のみの実装等）；
（ｂ）回路とソフトウェア（および／またはファームウェア）の組合せ、例えば（適用可能である場合）：（ｉ）一つまたは複数のプロセッサ、または（ｉｉ）一つまたは複数のプロセッサ／ソフトウェア（デジタルシグナルプロセッサを含む），ソフトウェア，一つまたは複数のメモリの一部（これらは協働して、携帯電話やサーバなどの装置に様々な機能を実行させる）；
（ｃ）一つまたは複数のマイクロプロセッサやその一部等の回路であって、動作するためにソフトウェアやファームウェアを必要とする回路（ソフトウェアやファームウェアは物理的に存在しなくてもよい）。

この「回路」の定義は、本願において当該用語を使う全ての場合において適用される。特許請求の範囲においても同様である。さらなる例として、本願で使用される場合、「回路（ｃｉｒｃｕｉｔｒｙ）」という用語は、単独（または複数）のプロセッサだけの実装やプロセッサの一部，付随するソフトウェアおよび／またはファームウェアによる実装も網羅するものである。「回路」という用語はまた、例えば、特許請求の範囲に記載される特定の要素をその範囲に含むことが可能な場合がある。例えば、携帯電話のベースバンド集積回路やアプリケーション処理集積回路を意味してもよく、サーバやセルラネットワークデバイス、その他のネットワークデバイスにおける同様の集積回路を意味してもよい。

図１のブロック１２４，１２６，１２８や、図８や９のブロックは、コンピュータプログラム３２２のコードにより具現化される、方法全体および／またはその一部のステップを表わしてもよい。ブロックを特定の順序で図示することは、必須順序又は推奨順序の存在を必ずしも示唆していない。こうしたブロックの順序や配置構成は変更することができる。また、一部のブロックを省略することも可能である。

図５は、システム１００の動作の例を描いた図である。図５のａは、シーン１４０を描いている。シーン１４０は現実世界のシーンである。シーン１４０は３次元空間を有し、従ってシーン空間１４０であると考えられてもよい。シーン空間１４０は、システム１００によって監視される。従ってこのシーン空間は、被監視シーン空間１４０であると考えられてもよい。図５の例において、被監視シーン空間１４０は、四つの壁、天井及び床を有する部屋である。

いくつかの実施例では、被監視シーン空間１４０は境界を有さない場合もある。さらに別の実施例では、被監視シーン空間１４０は複数の部屋を有してもよい。また、それら複数の部屋は空間的に繋がっている場合もあれば、つながっていない場合もある。

図５の例において、人物１５０は、被監視シーン空間１４０の中で起立している。人物１５０は、少なくとも一つのジェスチャユーザ入力１４６を実行している。このジェスチャユーザ入力１４６は、コンピュータにより設定される少なくとも一つの仮想境界１４４を定義する。ジェスチャユーザ入力１４６はジェスチャ１４６と呼ばれてもよい。また、図２を参照して前に説明されたようなものであってもよい。ジェスチャ１４６は、境界指示ジェスチャ１４６であると考えられてもよい。

図示された例において、人物１５０は、コンピュータにより設定される単一の仮想境界１４４を定義するために、ジェスチャ１４６を実行してもよい。

ジェスチャ１４６は、被監視シーン空間１４０の中の位置において、経路１４８に沿った動きを備えるものであってもよい。図５の例において、ジェスチャ１４６は、経路１４８に沿って自分の手でオブジェクト１５２を動かす人物１５０を有していてもよい。この例において、経路１４８は被監視シーン空間１４０を横切る直線である。

この例において、経路１４８は、一つの空間次元における動きを有していてもよく、又は２つの空間次元、３つの空間次元における動きを有していてもよく、又はその他の如何なる形態を有していてもよい。

図５のｃは、被監視シーン空間１４０を上から見た図であり、人物１５０が、コンピュータにより設定される仮想境界１４４を定義するために、ジェスチャ１４６を行っていることが描かれている。

図５のａ及びｃの例からわかるように、ジェスチャ１４６は、座標（ｘ，ｙ，ｚ）を有するシーン１４０中の位置から始まっている。ここでｘは左の壁から測られ、ｙは前面の壁から測られ、ｚは床から測られている。ジェスチャ１４６は、座標（ｘ'，ｙ'，ｚ'）を有する位置で終わっている。この位置は図５には描かれていない。

図５の例において、ジェスチャ１４６は、開始位置（ｘ，ｙ，ｚ）から経路１４８に沿ってオブジェクト１５２を動かす人物１５０を有する。ここで計５４８は、被監視シーン空間１４０を横切る直線である。

図示される例において、ジェスチャ１４６は一次元の動きである。つまり、経路１４８に沿ってｘの値が変化するが、ｙ及びｚの値は変わらず一定である。

別の例においては、被監視シーン空間１４０中の開始位置から経路１４８に沿ってｘ，ｙ，ｚの二つ以上の値が変化するかもしれない。

図５の例のｂは、監視空間１４２を描いている。監視空間１４２は、被監視シーン空間１４０の仮想的な表現を有する。この仮想的な表現は、システム１００によって作られ、使用される。監視空間１４２は、例えば、センサ１１０から受け取ったデータ（例えばイメージデータや奥行きデータ）から形成されてもよい。

図５のｂ，ｄは、それぞれａ，ｃに対応する監視空間１４２を描いており、同じ視点から描かれている。

実施例によっては、システム１００は、監視空間１４２を形成するために、被監視シーン空間１４０の形状情報を使用してもよい。例えばシステム１００は、監視空間１４２を形成するにおいて、被監視シーン空間１４０の３次元モデルを使用してもよい。被監視シーン空間１４０の３次元モデルは、システム１００によって作られてもよいし、システム１００が外部から受け取ったものであってもよい。被監視シーン空間１４０の３次元モデルを形成する方法は既知である。

システム１００は、シーン空間１４０を監視するために、監視空間１４２を使用してもよい。例えばシステムは、少なくとも一つの仮想境界１４４を作り監視するために、監視空間１４２を使用してもよい。

図５において、ａとｂとの間の矢印や、ｃとｄとの間の矢印で示されているように、監視空間１４２と被監視シーン空間１４０とは対応している。実施例によっては、監視空間１４２と被監視シーン空間１４０との間には、一対一の対応関係があってもよい。

実施例によっては、監視空間１４２と被監視シーン空間１４０との間には、スケール不変の変換があってもよい。

システム１００は人物１５０によってなされたジェスチャ１４６を認識し、それに応じて監視空間１４２において、仮想境界１４４を少なくとも一つ作ってもよい。実施例によっては、ジェスチャ１４６を認識することは、受信データを処理することを含んでもよい。この受信データは例えばイメージデータであってもよい。例えばシステム１００は、一つ又は複数のビデオフィードを解析してもよい。

実施例によっては、仮想境界１４４の少なくとも一部分は、被監視シーン空間１４０中の経路１４８によって決定されてもよい。また、仮想境界１４４の前記一部分は、被監視シーン空間１４０中の経路１４８の位置に相当する、監視空間中の対応する位置に位置してもよい。

例えば、少なくとも一つの仮想境界１４４は、被監視シーン空間１４０中の経路１４８の位置に相当する、監視空間１４２中の経路１４８に沿って、作られてもよい。

図５のｂやｄに描かれるように、仮想境界１４４は、監視空間１４２において、点（ｘ，ｙ，ｚ）から経路１４４に沿って作られてもよい。監視空間における点（ｘ，ｙ，ｚ）は、被監視シーン空間１４０における点（ｘ，ｙ，ｚ）と同じである。

システム１００は、仮想境界１４４を、経路１４８を超えて延長してもよい。システム１００は、仮想境界１４４を延ばすために、被監視シーン空間１４０の形状情報（例えば３次元モデル）を使用してもよい。

実施例によっては、システム１００は、監視空間１４２の少なくとも一つの境界（これは被監視シーン空間１４０の少なくとも一つの物理的境界に対応する）まで、仮想境界１４４を延長してもよい。例えばシステム１００は、仮想境界１４４を、第１の壁から第２の壁まで延長してもよい。また例えば、床から天井まで延長してもよい（図６参照）。

図５の例において、破線は仮想境界１４４の延長部分を示している。当該延長部分は監視空間１４２の左の境界へと、また右の境界へと延びている。これらの境界は、それぞれ、被監視シーン空間１４０の左の壁及び右の壁までに対応している。

実施例によっては、ユーザは、ある領域を包み込むような仮想境界の一部を含むような、経路１４８を示してもよい。そしてシステム１００は、自動的に、当該領域を包み込む仮想境界１４４を完成してもよい。例えば、ユーザが描く経路１４８は、ある形状の一部を含むようなものであってもよい。そしてシステム１００は、仮想境界１４４を作るときに、その形状を自動的に完成させてもよい。

例として、ユーザが描いた経路が円の一部である場合、システム１００は仮想境界１４４を自動的に延長し、完全な円としてもよい。

実施例によっては、ユーザはシステム１００に、ジェスチャ１４６及び／又は一つ又は複数の他の入力を用いて、仮想境界１４４を、ある領域を包み込むような境界を完成させるように延長すべきであることを、指示してもよい。

実施例によっては、システム１００は、描かれた経路１４８から、仮想境界１４４が、ある領域を包み込むように延長すべきものであることを推測し、仮想境界１４４を自動的に延長してもよい。

システム１００は、システム１００がジェスチャ１４６を理解し、仮想境界１４４を作成したことを確認するためのフィードバックをユーザに提供してもよい。このフィードバックは適切な如何なる形式のものでもよく、例えば音声フィードバックや視覚フィードバック、触覚フィードバック等であってもよい。それに加えて、またはそれに代えて、システム１００は、システム１００が仮想境界１４４を形成したことをユーザに知らせるために、一つ又は複数のメッセージを一つ又は複数のデバイスに送信してもよい。

少なくとも一つの仮想境界１４４に関連して被監視シーン空間１４０の一部に変化があったとき、システム１００は、受け取ったデータを処理して応答イベントを生成してもよい。例えばシステム１００は、センサ１１０から受け取ったデータを処理して応答イベントを作成してもよい。このデータは音声データやイメージデータであってもよい。システムは、一つ又は複数のオーディオフィード又はビデオフィードを解析し、応答イベントを生成してもよい。実施例によっては、受け取ったデータを処理して応答イベントを生成することは、仮想境界１４４をモニタリングすることを考慮してもよい。

例えば、同じセンサ（例えばカメラ）が、少なくとも一つの仮想境界１４４を定義するジェスチャ１４６を認識することと、この仮想境界１４４をモニタリングすることとの両方に使われてもよい。

実施例によっては、受け取ったデータを処理して応答イベントを生成することは、仮想境界１４４を監視して仮想境界１４４を横切るアクティビティを検出すべく、受信したデータを処理することを含んでもよい。及び／又は、仮想境界１４４から閾値以下の距離で発生したアクティビティを検出すべく、受信したデータを処理することを含んでもよい。例えばシステム１００は、オーディオデータ、イメージデータ、奥行きデータのいずれか一つ以上を処理することにより、仮想境界１４４を監視し、仮想境界１４４を横切るアクティビティ（又は仮想境界１４４から閾値以下の距離で発生したアクティビティ）を検出してもよい。

システム１００は、一つ又は複数の仮想境界１４４が、応答イベントを生成することなしに作成されたことを、ユーザが確認することを可能にしてもよい。

例えば、ユーザは、被監視シーン空間１４０のある位置でジェスチャ１４６を使って仮想境界１４４を定義してもよく、そして、被監視シーン空間１４０の当該位置とやり取りし、仮想境界１４４が適切な位置にあることを確認してもよい。例えば、ユーザが自身の体の少なくとも一部（例えば手）を被監視シーン空間の中で動かしたとき、システム１００は、ユーザが仮想境界１４４に触ったか又は境界を横切ったかを教えるフィードバックを提供してもよい。適切などのようなフィードバックが提供されてもよい。例えば音声フィードバックや視覚フィードバック、触覚フィードバックが提供されてもよい。それに加えて、又はそれに代えて、システム１００は、ユーザの一つ又は複数のデバイスに少なくとも一つのメッセージを送信してもよい。

実施例によっては、システム１００は、ユーザが仮想境界１４４を確認した後に、応答イベントを生成すべく受け取ったデータの処理を始めてもよい。例えばシステム１００は、ユーザが仮想境界１４４を確認するまでは、警告を生成したり、カウンタを増分させたりしないようにされてもよい。

応答イベントはフィードバックを提供することを含んでもよい。フィードバックを提供することは、例えば通信モジュール１３０を使用することを含んでもよい。実施例によっては、フィードバックは、一つ又は複数の警告を含んでいてもよい。この一つ又は複数の警告はどのような形式の警告でもよく、例えば音声及び／又は視覚的な警告であってもよい。それに加えて、又はそれに代えて、このフィードバックは、一つ又は複数のメッセージを装置に提供することを含んでもよい。この装置は、例えば携帯電話やタブレット、ラップトップコンピュータ、デスクトップコンピュータ等でもよい。

追加的に又は代替的に、実施例によっては、上記応答イベントはカウンタを増分させることを含んでもよい。例えばシステム１００は、境界に関する出来事の回数を監視してもよい。例えば、オブジェクト１５２が仮想境界１４４に接触したり、横切ったり、閾値以下の距離に近づいたりする回数を監視してもよい。それに加えて、又はそれに代えて、システム１００は、境界に関する出来事の方向を監視してもよい。例えば、境界を横切る方向を監視してもよい。システム１００は、協会に関する出来事の統計情報を提供するように構成されてもよい。

実施例によっては、システム１００は、高齢者がトイレ又は薬置き場に行く頻度を監視したり、子供が冷蔵庫を開けたりそのそばに行ったりする頻度を監視したり、公共のスペースに存在する人々を監視したりするのに使われてもよい。

システム１００のユーザ、例えば人物１５０は、応答イベントを構成してもよい。例えばユーザは、応答イベントを構成するために、システム１００に認識されうる一つ又は複数の追加的なジェスチャ１４６を行ってもよい。それに加えて、又はそれに代えて、ユーザは、タブレットや携帯電話のようなデバイスを使ってシステム１００に入力を提供し、応答イベントを構成してもよい。

実施例によっては、システム１００は、受け取ったデータを処理して、仮想境界１４４やオブジェクト１５２に関して被監視シーン空間１４０の一部に変化があったときに、応答イベントを生成してもよい。例えばシステムは、何らかのオブジェクト１５２が仮想境界１４４を横切ったり、接触したり、閾値以下の距離に近づいたりした場合に、応答イベントを生成してもよい。このような仮想境界１４４は、一般的な仮想境界１４４であると考えられてもよい。

実施例によっては、システム１００は、受け取ったデータを処理して、仮想境界１４４やユーザが指定したオブジェクト１５２に関して被監視シーン空間１４０の一部に変化があったときに、応答イベントを生成してもよい。

例えば、少なくとも一つの仮想境界１４４を定義するためのジェスチャ１４６を行った後、システム１００のユーザ１５０は、一つ又は複数のオブジェクト１５２をシステム１００に示すべく、ジェスチャ１４６を行ってもよい。例えばユーザ１５０は、その手や携帯電話を用いて、一つ又は複数のオブジェクト１５２を指し示してもよい。または、デバイスのビューファインダーに一つ又は複数のオブジェクトが位置するようにしてもよい。

実施例によっては、一つ又は複数のオブジェクトを指し示すジェスチャ１４６は、仮想境界１４４を定義するジェスチャ１４６の前に行われてもよい。

システム１００は、一つ又は複数のオブジェクト１５２を指し示すジェスチャ１４６を認識し、それに応じて、しかし仮想境界１４４や指示されたオブジェクト１５２に関して被監視シーン空間１４０の一部に変化があったときのみ、応答イベントを生成してもよい。例えばシステム１００は、指示されたオブジェクト１５２が仮想境界１４４を横切ったり、接触したり、閾値以下の距離に近づいたりした場合のみ、応答イベントを生成してもよい。このような仮想境界１４４は、特殊な仮想境界であると考えられてもよい。

図５の例を参照すると、人物１５０は、仮想境界１４４を定義すべくジェスチャ１４６を行っていてもよく、システム１００は、ジェスチャ１４６を認識し仮想境界１４４を形成してもよい。

人物１５０は更に、自身を指し示すような更なるジェスチャを行ってもよい。システムはこの更なるジェスチャを認識し、人物１５０に関してのみ、仮想境界１４４を監視する。例えばシステム１００は、人物１５０が仮想境界１４４を横切ったり接触したり、閾値以下の距離に近づいたときに、警告やカウンタ増分のような応答イベントを生成するか、オブジェクト１５２が仮想境界１４４を横切ったり接触したり、閾値以下の距離に近づいたとしても、応答イベントを生成しないようにされてもよい。

実施例によっては、人物１５０のようなユーザは、まず最初のジェスチャ１４６を行い、それによって、システム１００が認識しうるコンピュータ実装の仮想境界を定義するジェスチャ１４６を行うことができるようにされてもよい。

例えばユーザは、システム１００をユーザ制御状態２２０にセットすべくジェスチャ１４６を行ってもよく、それによってユーザは、境界を指示するジェスチャ１４６を行うことができるようにされてもよい。実施例によっては、システム１００をユーザ制御状態へセットするジェスチャ１４６は、手を叩くこと（又は手を叩くことを含むこと）であってもよい。叩いた音はオーディオシステムによって検出されうる。または、奥行きデータとして検出されうるジェスチャ１４６であってもよい。

例えば、システム１００は、最初のジェスチャ１４６を認識し、境界認識モードに入ってもよい。この境界認識モードにおいて、システム１００は、一つ又は複数の境界指示ジェスチャを認識できるようになっていてもよい。例えば、人物１５０のようなユーザは、システム１００のカメラをポイントし、境界指示ジェスチャ１４６を行おうとしていることを示してもよい。システム１００は、システム１００が境界認識モードに入ったことを確認できるように、音声フィードバックや視覚的フィードバック等のようなフィードバックをユーザに提供してもよい。

実施例によっては、ユーザは、コンピュータにより設定される仮想境界１４４を少なくとも一つ定義するために、ジェスチャ１４６を行ってもよい。

一つ又は複数の仮想境界１４４が設定された後、（例えば人物１５０のような）ユーザは、これら一つ又は複数の仮想境界１４４を変化させるジェスチャ１４６を実行してもよい。それに加えて、又はそれに代えて、ユーザは、携帯デバイスを使って仮想境界を変化させる入力を提供してもよい。

システム１００はジェスチャ１４６を認識し、それに応じて一つ又は複数の仮想境界１４４を変化させてもよい。仮想境界１４４のどのような特性をも、同様の方法で変化させることができてもよい。例えばユーザは、ジェスチャ１４６を実行することによって、仮想境界の位置や形状、大きさ、高さなどの一つ又は複数を変えることができてもよい。実施例によっては、仮想境界１４４を変化させるために、様々なジェスチャ１４６が存在してもよい。

この変化は一時的なものであってもよい。そしてシステム１００は、一定時間が経過した後に、仮想境界を元の状態に戻してもよい。この一定時間の長さは既定であってもよく、ユーザによって設定されたものでもよい。ユーザは例えば、ジェスチャや一つ又は複数の別の方法による入力を用いて、当該時間の長さを設定できてもよい。

図５の例において、仮想境界１４４を定義するためにユーザがジェスチャ１４６を実行し、システムが仮想境界を作成した後、ユーザは、監視空間１４２の仮想境界１４６の位置に対応する被監視シーン空間１４０の周辺で、「掴む」動作をしてもよい。図５の例においては、人物１５０は、経路１４８が描かれた空間を掴んでもよい。

実施例によっては、システム１００は、強化現実技術を用いて被監視シーン空間１４０の中に仮想境界１４４を投影するように構成されたプロジェクタやレーザーを一つ又は複数備えていてもよい。これに加えて、又はこれに代えて、ユーザは、強化現実技術を用いて、眼鏡のような一つ又は複数のデバイスを用いて、仮想境界を観察することができてもよい。

システム１００は「掴む」ジェスチャを認識すると共に、当該ジェスチャの位置が仮想境界１４４の近くであることを認識する。更に、人物が「掴む」ジェスチャを継続している間、被監視シーン空間１４０における人物の手の動きに対応するように、監視空間１４２の中で仮想境界を動かす。人物１５０が「掴む」ジェスチャをやめると、システム１００は、仮想境界１４４を新しい位置に設定する。

実施例によっては、ユーザは、応答イベントを生成することなく境界とのやりとりを行うことを一時的に可能にするように、仮想境界１４４を変化させてもよい。ここで「境界とのやりとり」とは、例えば接近したり触ったり、仮想境界を横切ったりすることなどであってもよい。これは、ジェスチャ１４６を用いて行われてもよいし、一つ又は複数の別の方法による入力を用いて行われてもよい。

実施例によっては、（例えば人物１５０のような）ユーザは、ジェスチャ１４６を実行してもよく、システム１００は当該ジェスチャ１４６を認識してもよい。それに応じてシステム１００は、一つ又は複数のオブジェクト１５２（例えば人物１５０）が、応答イベントを生成せずに、仮想境界に接近したり触ったり、仮想境界を横切ったりすることを可能にしてもよい。実施例によっては、この変化は空間的に一時的なものであってもよく、システム１００は、応答イベントを生成せずに仮想境界に接近したり触ったり仮想境界を横切ったりする回数を定めてもよい。この回数は既定であってもよく、ユーザによって設定されたものでもよい。ユーザは例えば、ジェスチャ１４６や一つ又は複数の別の方法による入力を用いて、当該時間の長さを設定できてもよい。

実施例によっては、上記の変化は時間的に制限されたものであってもよい。システム１００は、所定の時間の間、仮想境界に接近したり触ったり仮想境界を横切ったりすることを許可してもよい。この所定の時間の長さは既定であってもよく、ユーザによって設定されたものでもよい。ユーザは例えば、ジェスチャや一つ又は複数の別の方法による入力を用いて、当該時間の長さを設定できてもよい。

実施例によっては、仮想境界１４４を変化させるためのジェスチャ１４６は、空間的に制限されたものであってもよい。例えば、システム１００は、ジェスチャ１４６が、被監視空間の限られた領域でなされたものである場合にのみ、それを認識してもよい。例えばシステム１００は、ある高さ以上（Ｚの値がある閾値以上の場所の場所）で実行された場合のみ、ジェスチャ１４６を認識して仮想境界１４４を変化させてもよい。これは例えば、子供が仮想境界１４４を変化させてしまうことを防ぐためであってもよい。

それに加えて、又はそれに代えて、ジェスチャ１４６（例えば仮想境界１４４を変化させるジェスチャ１４６）は、特定の人物によって実行された場合にのみ、システム１００に認識されるものであってもよい。特定のジェスチャ１４６を行うことが許可された人物は、ジェスチャまたは一つ又は複数のその他の入力によってシステム１００に伝えられてもよい。例えばユーザは、許可される人物を指し示してもよく、又は許可される人物の携帯デバイスを指し示してもよい。また、デバイスのファインダ内に許可される人物が位置するようにしてもよい。

例えば、図５において、仮想境界１４４が設定された後、人物１５０は、自身の指を使って自身の顔の周りに円を描き、自分だけが仮想境界１４４を変化させることが許可される人物であることをシステム１００に伝えてもよい。

実施例によっては、仮想境界１４４は、条件付きで監視されてもよく、及び／又は、条件付きで有効化されたり無効化されたりしてもよい。例えばシステム１００は、受信したデータを処理して、仮想境界１４４に関して被監視空間１４４の一部に変化があり、一つ又は複数の基準を満たしたときのみ、応答イベントを生成してもよい。しかし、そのような基準を満たさないときは、当該データを処理して応答イベントを生成することはしないようにされてもよい。

この基準は既定であってもよく、ユーザによって設定されたものでもよい。ユーザは例えば、ジェスチャや一つ又は複数の別の方法による入力を用いて、当該基準を設定できてもよい。

どのような基準が使用されてもよい。例えば、時間的な基準や物理的な基準を使ってもよい。例えば、仮想境界１４４は、特定の時間帯や、特定の曜日、特定の週、特定の月のような条件付きで監視されてもよい。また、被監視シーン空間１４０の中に一つ又は複数のオブジェクト１５２が存在するかどうかに応じて監視されてもよい。

例えば図５において、仮想境界１４４が設定された後、人物１５０は、彼が被監視シーン空間１４０にいない時のみ仮想境界１４４を監視するように、ジェスチャ１４６を用いてシステム１００に伝えてもよい。

システム１００はこのジェスチャ１４６を認識し、人物１５０が被監視シーン空間１４０にいない時のみ、仮想境界１４４を監視してもよい。

実施例によっては、仮想境界は、人物１５０が被監視空間１４０を離れたときに監視され、当該人物１５０が被監視空間１４０に戻ってくると、当該仮想境界は消去されてもよい。

別の実施例では、仮想境界１４４はシステム１００に格納されてもよく、人物１５０が被監視シーン空間１４０から出るたびに有効化され、被監視シーン空間１４０に戻るたびに無効化されてもよい。いくつもの数の仮想境界１４４がシステム１００に格納されていてもよい。

図６は、システム１００の動作の例を描いた図である。

図６は、図５に描かれた被監視空間１４０に対応する監視空間１４２の例を描いたものである。図６の例において、人物１５０は、仮想境界１４４を定めるためにジェスチャ１４６を行ったところである。ここでジェスチャ１４６は、経路１４８に沿った動きを有している。

図６において、システム１００はジェスチャ１４６を認識し、仮想境界１４４を設定する。図６において、システム１００は、監視空間１４２において仮想境界１４４を拡大し、対応する被監視シーン空間１４０の壁から壁へと、また天井から床へと、仮想境界１４４を拡大する。

システム１００は、仮想境界１４４を拡大するために、被監視シーン空間１４０の形状情報を利用してもよい。例えばシステム１００は、仮想境界１４４を拡大するために、被監視空間１４０の３次元モデルを利用してもよい。

仮想境界１４４の拡大はオプションの機能であってもよい。また、（例えば人物１５０のような）ユーザによって設定可能であってもよい。実施例によっては、システム１００は、ジェスチャ１４６によって定義された仮想境界１４４を拡大することがデフォルトであってもよい。このとき、所定の大きさだけ拡大してもよいし、天井から壁まで、及び／又は、壁から壁まで、拡大してもよい。

別の実施例では、ユーザは、システム１００が仮想境界１４４を拡大するための追加の入力を提供してもよい。例えば、仮想境界１４４を定義するためのジェスチャ１４６を実行した後、ユーザは、仮想境界１４４が拡大されるべきであるか否かをシステム１００に示すための少なくとも一つの追加のジェスチャ１４６を実行してもよい。拡大されるべきであるならば、どのくらい拡大されるべきであるかを示す追加のジェスチャ１４６を実行してもよい。

これらの例において、仮想境界１４４は、（携帯電話のような）デバイスのスクリーンに可視化されてもよい。この可視化は、グラフィック描写によってなされてもよいし、強化現実技術によってなされてもよい。可視化によって、ユーザはデバイスを通じて被監視シーン空間１４０を見ることができ、例えば、被監視シーン空間１４０のライブビデオに重ねられた強化現実ビューにレンダリングされた仮想境界１４４を有する被監視シーン空間１４０を見ることができる。実施例によっては、デバイスは、ユーザに装着される眼鏡として構成されてもよい。

これに加えて、又はこれに代えて、仮想境界１４４は、一つ又は複数のプロジェクター及び／又はレーザーを用いて、被監視シーン空間１４０の壁及び／又は床及び／又は天井に投影されてもよい。

例えば、ユーザは、最初のジェスチャ１４６で、仮想境界１４４が壁から壁へと拡大されるべきであることを示し、及び／又は、第２のジェスチャ１４６で、仮想境界１４４が天井から床まで拡大されるべきことを示してもよい。システム１００はこれらのジェスチャ１４６を認識し、それに従って仮想境界１４４を拡大してもよい。

実施例によっては、システムは、仮想境界１４４を定めるために使われたジェスチャ１４６から、仮想境界１４４がどのように拡大されるべきかを推測してもよい。例えば、ユーザがオブジェクト１５２の周りでジェスチャ１４６を実行したり、ある空間を囲むようなジェスチャ１４６を実行したりする場合、システム１００は、床から天井までの拡大のみが適切であるだろうと推定してもよい。図７Ａ−７Ｃを参照されたい。

図７Ａ−７Ｃは、システム１００の動作を描いた図である。

図７Ａは、被監視シーン空間１４０の別の例を描いたものである。図７Ａにおいて、被監視シーン空間１４０には子供１５２が存在する。ユーザは、子供１５２の周りに、経路１４８を有するジェスチャ１４６を実行した所である。図７Ａの例において、経路１４８は子供１５２を包む矩形を含む。

図７Ｂは、図７Ａの例で描かれた被監視シーン空間２対応する監視空間１４２を描いたものである。

図７Ｂにおいて、システム１００はジェスチャ１４６を認識し、ジェスチャ１４６で定められた仮想境界１４４を設定する。図７Ｂの例において、システム１００は、仮想境界１４４を天井から床まで拡大する。図７Ｂには、仮想境界１４４の背面部分のみが描かれている。これは、床から天井まで拡大されたことをより明確に示すためである。

図７Ｃは、描かれた子供１５２の周りに完全に拡大された仮想境界１４４を含む監視空間１４２を描いたものである。

図７Ａ−Ｃの仮想境界１４４はオブジェクトに関係付けられた境界であり、、子供１５２に関係する。この例において、システム１００は、子供１５２が仮想境界１４４を横切ると警告を生成するが、その他のオブジェクトが仮想境界１４４を横切っても警告を生成しない。

実施例によっては、仮想境界１４４は、仮想境界１４４を定めるために用いられたジェスチャ１４６で決められた位置に固定されてもよい。このような仮想境界１４４は、固定仮想境界であると考えられてもよい。

図７Ａ−Ｃの例に関連して、子供１５２の周りの仮想境界１４４は固定されており、ユーザによって動かされない限り、動かない。

実施例によっては、システム１００は、図５に関連して説明されたようにシステムに示されてもよい一つ又は複数のオブジェクト１５２に関連して、仮想境界を動かすように構成されてもよい。ユーザは、一つ又は複数のジェスチャ１４６及び／又は一つ又は複数のその他の入力を用いて、仮想境界１４４が、一つ又は複数のオブジェクト１５２に関連して動くべきであることを、システム１００に示してもよい。

このような仮想境界１４４は、可動仮想境界であると考えられてもよい。

図７Ａ−Ｃの例に関連して、システム１００は、子供１５２が動くにつれて、仮想境界１４４を動かしてもよい。実施例によっては、システム１００は、示されたオブジェクト１５２が中心に来るように、可動仮想境界１４４を動かしてもよい。

可動仮想境界１４４は、例えば、２つのオブジェクト１５２が互いに一定の距離に近づかないようにするため、及び／又は、２つのオブジェクト１５２の間の距離がある閾値を超えないようにするために、使用されてもよい。

図７Ａ−Ｃの例において、ユーザはシステム１００に、子供１５２の周りの仮想境界１４４を、（図示されない）年上の兄弟が横切るべきではないことを示してもよい。子供１５２の周りの仮想境界１４４が、子供１５２の動きに追随する可動仮想境界である例において、そのような可動仮想境界は、子供１５２と年上の兄弟との間の最低距離を確保するために用いられうる。もし年上の兄弟が仮想境界１４４を跨ぐと、ユーザに警告が発せられる。

それに加えて、又はそれに代えて、ユーザが可動仮想境界１４４を設定した時に年上の兄弟がその仮想境界の中にいたら、可動仮想境界１４４は、２つのオブジェクト（子供と年上の兄弟）の間に存在しうる最大の距離を定義してもよい。もし年上の兄弟が仮想境界を跨ぐと、システム１００はユーザに警告してもよい。

実施例によっては、ユーザ（例えば人物１５０）は、可動仮想境界１４４はオブジェクト１５２（例えば子供１５２）の周りに形成されるべきであることを示してもよい。これは例えば、まず手を使って子供１５２を指し示し、次に手を使って子供１５２の周りの仮想境界１４４の距離を指し示すことでなされてもよい。

実施例によっては、この距離は、ユーザの腕の長さを超えてもよい。そのような例において、ユーザは、２本の腕を伸ばした状態に保ってもよく、それに応じてシステム１００は、仮想境界の距離を、一つ又は複数のプロジェクタ及び／又はレーザーを使って指し示し、ユーザに距離の指標を提供してもよい。システム１００は、ユーザの腕に沿って、また腕の長さを超えて、その指標を動かす。ユーザがその距離に満足した場合、例えばユーザは両手を組み合わせるなど、何らかのジェスチャをして、距離を決定してもよい。

実施例によっては、システム１００は、仮想境界１４４が示された後（例えば図７Ａ−Ｃのいずれかで示されたように）、仮想境界１４４の中から、又はその近傍で、ビデオを流してもよい。実施例によっては、ユーザは、表示されたビデオを、例えば携帯電話のようなデバイスで見ることができてもよい。

実施例によっては、応答イベントを生成することは、携帯デバイスのようなユーザデバイスに、境界とのやりとりが生じた場所を含む（又はそのような場所にフォーカスを当てた）ビデオや静止画のストリーミングを提供することを含んでもよい。

実施例によっては、ユーザは、その中でシステム１００が音を監視するような仮想境界１４４を設定してもよい。ユーザは、このような仮想領域を、一つ又は複数のジェスチャ１４６及び／又は一つ又は複数のその他の入力を使って、システム１００に伝えてもよい。

システム１００はそのようなジェスチャ１４６を認識し、仮想領域１４４の内部領域において音を監視してもよい。システム１００は例えば、仮想領域１４４の内部領域からの音を検出した場合、応答イベントを生成してもよい。

実施例によっては、システム１００は、所定の閾値を超える音のみを監視してもよい。

例えば、図７Ａ−Ｃの例において、システム１００は、仮想領域１４４の内部領域において音を監視してもよい。従ってシステムは、即席の赤ちゃん監修システムとして動作してもよい。実施例によっては、システム１００は、特定のタイプの音を監視してもよい。例えば、人からの音や動物の音などを監視してもよい。実施例によっては、ユーザは、一つ又は複数のジェスチャ１４６及び／又は一つ又は複数のその他の入力によって、監視すべき音を設定してもよい。

実施例によっては、ユーザは、強化現実を用いて一つ又は複数の仮想境界１４４を見ることができてもよい。例えばユーザは、強化現実メカニズムに基づくスマートグラスやビューファインダーを用いて、仮想境界１４４を見ることができてもよい。

例として、仮想境界は、それが強化現実を用いて観察されるとき、仮想境界１４４が適用される一つ又は複数のオブジェクト１５２を示す指標を有していてもよい。この指標はどのようなタイプのものでもよく、例えばテキストや画像を含むものであってもよい。

例えば、図７Ａ−Ｃの例において、強化現実技術を用いて観察される仮想境界１４４は、子供１５２のために半透明のオーバーレイを有していてもよい。

図８は、方法８００の例を描いた図である。方法８００は、システム１００によって遂行されてもよい。

ブロック８０２では、監視空間１４２においてコンピュータにより形成される少なくとも一つの仮想境界１４４を定めるための、少なくとも一つのジェスチャ１４６が認識される。実施例によっては、少なくとも一つのジェスチャ１４６を認識することは、受け取った画像データ及び／又は受け取った奥行きデータを処理することを含んでもよい。ジェスチャ１４６は、被監視シーン空間１４０内の経路１４８に沿った動きを有する。また、監視空間１４２と被監視シーン空間１４０との間には、対応関係が存在する。

ジェスチャ１４６は例えば、図２を参照して前に説明されたようなものであってもよい。

ブロック８０４では、監視空間１４２において少なくとも一つの仮想境界１４４の形成が行われる。仮想境界１４４の少なくとも一部分は、被監視シーン空間１４０中の経路１４８によって決定されてもよい。また、仮想境界１４４の前記一部分は、当該経路の位置に相当する、監視空間１４２中の対応する位置に位置してもよい。

実施例によっては、仮想境界１４４の設定は、仮想境界１４４を拡大することを含んでもよい。実施例によっては、システム１００は、監視空間１４２の少なくとも一つの境界（これは被監視シーン空間１４０の少なくとも一つの物理的境界に対応する）まで、仮想境界１４４を延長してもよい。

ブロック８０６において、少なくとも一つの仮想境界１４４に関連して被監視シーン空間１４０の一部に変化があったとき、受け取ったデータを処理して応答イベントを生成してもよい。

図９は、方法９００の例を描いた図である。方法９００は、システム１００によって遂行されてもよい。実施例によっては、図９の一つ又は複数のブロックは省略されてもよい。

ブロック９０２において、少なくとも一つの最初のジェスチャ１４６が認識される。この少なくとも一つの最初のジェスチャ１４６は、仮想境界１４４を設定するための少なくとも一つのジェスチャ１４６が認識されることを可能にしてもよい。

例えば、少なくとも一つの最初のジェスチャ１４６は、システムが境界認識モードに入ることを生じさせてもよい。

ブロック９０４及び９０６は、図８のブロック８０２及び８０４と同じである。

ブロック９０８において、少なくとも一つのオブジェクト１５２を指し示す、少なくとも一つの更なるジェスチャ１４６が認識される。例えば、少なくとも一つの更なるジェスチャ１４６は、一つ又は複数の仮想境界１４４に関係して一つ又は複数のオブジェクト１５２を監視すべきであることをしましてもよい。

ブロック９１０はブロック８０６と同じであってもよい。しかし、ブロック９０８が実行される例において、システム１００は、ブロック９１０において、受け取ったデータを処理して応答イベントを生成してもよい。データを処理して応答イベントを生成することは、少なくとも一つの仮想境界に関連して、また少なくとも一つの指し示されたオブジェクト１５２に関連して、被監視シーン空間１４０の一部に変化があったときに、行われてもよい。

実施例によっては、システム１００は、少なくとも一つの仮想境界１４４に関連して少なくとも一つの指示されたオブジェクト１５２を監視すべく、受け取ったデータを処理してもよい。

ブロック９１２において、少なくとも一つの仮想境界１４４を変化させるため、少なくとも一つの更なるジェスチャ１４６が認識される。

ブロック９１４において、ブロック９１０で認識された少なくとも一つの更なるジェスチャ１４６に応じて、少なくとも一つの仮想境界が変化させられる。例えば、少なくとも一つの仮想境界１４４が動かされたり、サイズを変化させられたり、形状を変化させられたり、消去されたりしてもよい。

ブロック９１６において、応答イベントが生成される。例えば警告が提供されてもよい。及び／又は、カウンタの増分が始まってもよい。

構造的特徴が記述されてきたが、こうした構造的特徴は、その構造的特徴における１つ又は複数の機能を実行する手段で置き換えられてもよい。こうした１つ又は複数の機能は明示的に記述されていてもよく、されていなくてもよい。

本願で開示された例は、監視システムのための仮想的な境界を定義し操作するための、簡単かつ直感的な方法を提供する。

本明細書において「含む、備える（ｃｏｍｐｒｉｓｅ）」という用語は、排他的な意味ではなく、包括的な意味で使用される。「Ｙを含むＸ」に関しては全て、「Ｘは１つのＹしか含むことができない」又は「複数のＹを含むことができる」を意味する。排他的な意味を有する「含む、備える（ｃｏｍｐｒｉｓｅ）」を意図する場合は、「〜を１つのみ含むこと」又は「〜から成る」と言及することにより、文脈内で明確にされよう。

この簡潔な説明では、様々な例への参照がなされてきた。実施例に関する特徴または機能の説明は、これらの特徴または機能が、その実施例に認められることを示す。本明細書中の「実施例（ｅｘａｍｐｌｅ）」「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」「〜できる、〜場合がある（ｍａｙ）」といった単語の使用は、明示的であれ非明示的であれ、特徴及び機能が、少なくとも記載された実施例に存在することを意味する。実施例としての記載及び不記載にかかわらず、これら特徴及び機能が、他の一部または全ての実施例に存在する可能性があるが、必ずしもそうではないことを意味する。このように、「実施例」「例えば」「〜できる、〜の場合がある」は、ある例示群における特定の事例であることを指す。上記特定の事例の特性は、その事例のみの特性である場合、または上記例示群に属する一部の群の特性である場合がある。すなわち、上記特定の事例の特性は、例示群中の例示の全特性とは限らないが特性の一部を含む。したがって、ある特定の実施例を参照しているが別の実施例を参照しないで記述された特徴は、それが他の実施例でも使用される可能性もあれば、他の実施例での使用が不要である可能性もあることを示唆している。

本願明細書及び図面において、本発明の様々な実施形態が様々な実施例と共に紹介されてきたが、当然のごとく、特許請求の範囲に特定される発明の範囲を逸脱することなく、紹介された実施形態を変形することができる。

これまでに記述してきた事項は、明示的に記述された組合せだけでなく、それ以外の組合せで用いられてもよい。

特定の事項を参照して種々の機能を記述してきたが、こうした機能は、記述の有無を問わずその他の事項によって遂行可能であってもよい。

特定の実施形態を参照して種々の事項を記述してきたが、こうした事項は、記述の有無を問わずその他の実施形態で用いられてもよい。

前述のように本明細書において、とりわけ重要であると考えられる本発明のこうした事項に注目するように努めてきた。しかし、前述した特許されうる全ての事項およびそれらの組合せに対して、参照された添付の図面にそうした事項が特段強調されていたかどうかにかかわらず、本出願人はその保護を求めるものである点を理解されたい。

Claims (15)

1. 監視空間内に、コンピュータにより設定される少なくとも一つの仮想境界を定めるべく、少なくとも一つのジェスチャを認識すること、但し前記ジェスチャは経路に沿った動きであって、被監視シーン空間内の位置における動きを有し、前記監視空間と前記被監視シーン空間との間には対応関係が存在する、前記認識することと；
   前記被監視シーン空間に対応する前記監視空間の中に、コンピュータにより設定される少なくとも一つの仮想境界が作成されることを生じさせること、但し前記仮想境界の少なくとも一部分は前記被監視シーン空間内の前記経路によって定められ、前記仮想境界の前記少なくとも一部分は、前記経路の位置に相当する、前記監視空間の対応する位置に位置する、前記生じさせることと；
   前記少なくとも一つの仮想境界に関連して前記被監視シーン空間の一部に変化があったとき、受け取ったデータを処理して応答イベントを生成することと；
   を含む、方法。
2. 前記少なくとも一つのジェスチャは認識することは、受け取ったデータを処理すること及び／又は受け取った奥行きデータを処理することを含む、請求項１に記載の方法。
3. 前記少なくとも一つのジェスチャの認識が可能となるように、少なくとも一つの最初のジェスチャを認識することを更に含む、請求項１又は２に記載の方法。
4. 前記被監視シーン空間の少なくとも一つの物理的な境界に対応する、前記監視空間の少なくとも一つの境界の方へ、前記仮想境界を拡大することを更に含む、請求項１から３のいずれかに記載の方法。
5. 前記仮想境界を拡大することは、該仮想境界を、第１の壁から第２の壁まで延ばすこと、及び／又は、床から天井まで延ばすことを含む、請求項４に記載の方法。
6. 前記少なくとも一つのジェスチャを認識することは、オブジェクトの動きを追跡することを含む、請求項１から５のいずれかに記載の方法。
7. 前記少なくとも一つのジェスチャを認識することは、前記被監視シーン空間の中の人物の体の少なくとも一部分の動作を追跡することを含む、請求項６に記載の方法。
8. 人物の体の前記動作は、前記被監視シーン空間内の経路に沿って前記人物が歩くことを含む、請求項７に記載の方法。
9. 少なくとも一つのオブジェクトを指し示す少なくとも一つの更なるジェスチャを認識することと、該認識することに応じて、前記少なくとも一つの仮想境界に関係して前記少なくとも一つのオブジェクトを監視すべく、データを処理することとを更に含む、請求項１から８のいずれかに記載の方法。
10. 受け取ったデータを処理して応答イベントを生成することは、前記少なくとも一つの仮想境界を監視して、該少なくとも一つの仮想境界を横切るアクティビティを検出するため、及び／又は、前記少なくとも一つの仮想境界から所定の閾値以内の距離で生じたアクティビティを検出するために、画像データを処理することを含む、請求項１から９のいずれかに記載の方法。
11. 前記応答イベントは、前記少なくとも一つの仮想境界を横切るアクティビティ及び／又は前記少なくとも一つの仮想境界から所定の閾値以内の距離で生じたアクティビティに応じて、フィードバックが提供されるようにすることを含む、請求項１０に記載の方法。
12. 少なくとも一つの更なるジェスチャを認識することと、該認識することに応じて前記少なくとも一つの仮想境界を変化させることと、を更に含む、請求項１から１１のいずれかに記載の方法。
13. 受け取ったデータを処理して応答イベントを生成することは、少なくとも一つの条件が満たされたときに行われるが、前記少なくとも一つの条件が満たされないときは行われない、請求項１から１２のいずれかに記載の方法。
14. 請求項１から１３のいずれかに記載の方法を実行する手段を備える、装置。
15. 装置の処理手段に実行されると、前記装置に、請求項１から１３のいずれかに記載の方法を遂行させるように構成されるプログラムコードを備える、コンピュータプログラム。

Images