JP2008198189A - 有害動作を表すモニター対象ユーザの動作を監視ユーザに警告するための方法、システム、およびプログラム - Google Patents

Abstract

【課題】有害動作を表すモニター対象ユーザの動作を監視ユーザに警告するための方法、システム、およびプログラムを提供する。
【解決手段】監視ユーザによってモニターされた特定の環境内のモニター対象ユーザの３次元運動を取り込むための動作処理システムを含み、モニター対象ユーザに向けられた少なくとも１つの画像取り込み装置を使用することによって３次元運動が決定される。動作処理システムは、取り込まれた運動を使用して３次元オブジェクト・プロパティ・ストリームを識別し、複数の有害動作定義と比較することにより、モニター対象ユーザの特定の定義済み有害動作を識別する。複数の有害動作定義の中から特定の定義済み有害動作を識別したことに応答して、動作処理システムは、監視ユーザのみによって検出可能な出力インターフェースによりモニター対象ユーザの特定の定義済み有害動作について監視ユーザに通知する。
【選択図】図１

Description

本発明は、一般に、改良された動作識別に関する。特に、本発明は、１つまたは複数の画像取り込み装置（image capture device）によって取り込まれた３次元画像ストリーム（three-dimensional imagestream）から他人の動作を検出し、他人の有害動作（adverse behavior）をユーザに通知することに関する。

通行止め（traffic stop）、尋問（interrogation）、セキュリティ・チェックポイント、ストア・セキュリティ、およびその他の日常法執行活動中に、法執行部員（lawenforcement agent）はその瞬間にボディ・ランゲージおよび動作に対する自分自身の知覚に制限される。特定の出来事を分析する際に後で使用するために法執行職員（lawenforcement personnel）がビデオ・テープ活動を行うことは一般的であるが、法執行部員がその瞬間にボディ・ランゲージおよび動作を誤解する可能性がある。一例では、法執行部員は、同時に複数の異なる問題を査定する可能性があり、隠匿凶器を所持する人を示す動作を見落とす可能性がある。

法執行部員に加えて、その他のタイプの仕事および役割では、その他の人または動物が相互に作用する環境を１人または複数の人がモニターし監視する必要があり、このような監視人もその瞬間にモニター中の人または動物のボディ・ランゲージおよびその他の動作に対する自分自身の知覚に制限される。

したがって、上記を考慮すると、有害動作が発生する可能性のある環境をモニターし、その環境内の人または動物の動作を同時に認識し、どの動作が有害動作を表しているかを判断し、法執行職員などの監視ユーザ（supervising user）が依然として環境をモニターしている間に潜在的に有害な動作をその監視ユーザに伝達するための方法、システム、およびプログラムが必要である。

したがって、本発明は、３次元取り込み画像（three-dimensional captured image）からの改良された動作識別を提供する。特に、本発明は、１つまたは複数の画像取り込み装置によって取り込まれた３次元画像ストリームから、他人の動作を検出し、他人の有害動作を監視ユーザに通知することを可能にする。

一実施形態では、コンピュータによって実行される方法、システム、およびプログラムは、監視ユーザによってモニターされた特定の環境内のモニター対象ユーザ（monitored user）の３次元運動（three-dimensional movement）を取り込むための動作処理システム（behaviorprocessing system）を含み、モニター対象ユーザに向けられた少なくとも１つの画像取り込み装置を使用することによって３次元運動が決定される。動作処理システムは、取り込まれた運動を使用して３次元オブジェクト・プロパティ・ストリーム（three-dimensionalobject properties stream）を識別する。動作処理システムは、識別された３次元オブジェクト・プロパティ・ストリームを複数の有害動作定義と比較することにより、３次元オブジェクト・プロパティ・ストリームによって表されたモニター対象ユーザの特定の定義済み有害動作を識別する。複数の有害動作定義の中から特定の定義済み有害動作を識別したことに応答して、動作処理システムは、監視ユーザのみによって検出可能な出力インターフェースによりモニター対象ユーザの特定の定義済み有害動作について監視ユーザに通知するための警告システムを起動する。

モニター対象ユーザの３次元運動を取り込む際に、動作処理システムは、特定の３次元運動を識別し追跡するための立体画像装置（stereoscopic image device）を使用して３次元運動を取り込む。さらに、他の実施形態では、動作処理システムは、３次元運動内で検出されたオブジェクトの１つまたは複数の追加特性を検出するために少なくとも１つの立体画像装置と少なくとも１つのセンサ対応装置（sensorenabled device）を使用してモニター対象ユーザの３次元運動を取り込む。

３次元オブジェクト・プロパティ・ストリームを表す特定の定義済み有害動作を識別する際に、動作処理システムは、取り込まれた３次元運動が特定の有害動作定義に定義された特定の動作を表す確率百分率（percentage probability）を計算し、取り込まれた３次元運動が有害である確率百分率を計算する。さらに、３次元オブジェクト・プロパティ・ストリームを表す特定の定義済み有害動作を識別する際に、動作処理システムは、有害動作定義の少なくとも１つと一致する３次元オブジェクト・プロパティ・ストリーム内のモニター対象ユーザの顔の表情、眼球運動、筋収縮、皮膚表面特性の変化などの微細細分性運動（finegranularity movement）を含む、モニター対象ユーザの身体運動（body movement）の少なくとも１つを識別する。さらに、特定の定義済み有害動作を識別する際に、動作処理システムは、３次元オブジェクト・プロパティから、モニター対象ユーザによる不審な活動、モニター対象ユーザの障害状態、モニター対象者が所持する隠匿凶器、モニター対象者による積極的態度、モニター対象者の怒った顔の表情、およびモニター対象者の神経質な状態のうちの１つを識別する。

一実施形態では、監視ユーザが通行止め、セキュリティ・チェックポイント、および尋問のうちの少なくとも１つを実行している法執行環境を含む特定の環境内で監視ユーザが法執行活動を実行していることを検出したことに応答して、動作処理システムは、特定の環境内のモニター対象ユーザの３次元運動の取り込みを起動する。他の実施形態では、モニター対象ユーザの心理状態をモニターする心理学の専門家を含む特定の環境内で監視ユーザが心理学的評価を実行していることを検出したことに応答して、動作処理システムは、特定の環境内のモニター対象ユーザの３次元運動の取り込みを起動する。

モニター対象ユーザの特定の定義済み有害動作について特定の環境に関する監視ユーザに通知する際に、動作処理システムは、監視ユーザに出力される警告信号を制御するために警告システムに特定の定義済み有害動作を送信する。警告システムは、モニター対象ユーザによって検出不能な監視ユーザへの警告出力を制御するために、特定の定義済み有害動作を出力装置の出力コントローラに出力するための出力信号に変換する。

一実施形態では、動作処理システムは、特定の環境内の監視ユーザの動作をモニターする。監視ユーザの動作が有害であるかまたは特定の環境に関する許容動作（acceptable behavior）のパラメータの範囲外であるかという判断が行われ、第１の監視ユーザを管理する管理監視ユーザは、第１の監視ユーザの動作が許容動作のパラメータの範囲外である動作を示すかまたはその他の警告パラメータに基づいて管理監視ユーザに警報する必要がある場合に警告される。

本発明に特有と思われる新規の特徴は特許請求の範囲に規定されている。しかし、本発明そのもの、ならびにその好ましい使用態様、その他の目的および利点は、添付図面に併せて読んだときに例示的な一実施形態に関する以下の詳細な説明を参照することにより最も良く理解されるであろう。

次に図１に関して説明すると、このブロック図は、動作処理方法、システム、およびプログラムにおける情報の流れを例示している。図１は、監視ユーザによってモニターされた環境内の画像ストリームを取り込み、これらの画像ストリームを処理して、環境内のモニター対象ユーザの動作を予測し、その動作が有害動作であるかどうかを予測するための情報の流れの一実施形態を提供するが、取り込みデータを処理し、動作のタイプならびにその動作が有害であるかどうかを予測するためにその他の情報の流れも実現可能であることが理解されるであろう。

本明細書全体を通して使用する「動作（behavior）」という用語は、ジェスチャおよび顔の表情などの動作またはボディ・ランゲージとして典型的に表示されるユーザ・アクションを含むことができ、任意の検出可能な身体運動、検出可能な身体の姿勢、検出可能な眼球運動、色、温度、トーン、および発汗レベルなどの皮膚表面特性の変化、筋収縮の変化、ならびにその他のタイプの非言語的コミュニケーションも含むことができることは留意すべき重要なことである。本明細書全体を通して使用する「有害動作（adversebehavior）」という用語は、任意の動作を含むことができるが、何らかの点で潜在的に不審な動作、不規則な動作、障害のある動作、危険な動作、またはその他の有害動作として予測された動作に関して本明細書全体を通して使用される。

加えて、本明細書全体を通して使用する「監視ユーザ（supervising user）」または「スーパバイザ（supervisor）」という用語は、特定の環境をモニターまたは監視する任意の人またはシステムを指すことができることは留意すべき重要なことである。監視ユーザは、特定の環境内に物理的に位置する場合もあれば、外部位置から特定の環境をモニターする場合もある。特定の環境内でモニターされる１人または複数のモニター対象ユーザの動作は、監視ユーザの視線の範囲内または範囲外である可能性がある。監視ユーザまたはスーパバイザの例としては、法執行職員、セキュリティ職員、心理学者、商店主、および教師を含むことができるが、これらに限定されない。さらに、監視ユーザの動作をモニターし、監視ユーザのマネージャに報告することもでき、その場合、監視ユーザはモニター対象ユーザと見なされる。本明細書全体を通して使用する「モニター対象ユーザ（monitoreduser）」という用語は、モニター対象環境内の任意の人または動物を含むことができる。

この例では、動作処理システム１００は３次元（３Ｄ）オブジェクト検出器１０４を含む。３Ｄオブジェクト検出器１０４は、移動オブジェクトおよび静止オブジェクトに関する画像およびその他のデータを取り込み、取り込みデータを簡素化（streamline）し、取り込み運動内の特定のオブジェクトを追跡し、特定のオブジェクトのプロパティをストリーム化（stream）し、３Ｄオブジェクト・プロパティ１１０によって例示されている通り、ストリーム化プロパティを取り込みオブジェクトの３Ｄ特性の３次元表現に結合するための複数のシステムを表している。３Ｄオブジェクト・プロパティ１１０としては、たとえば、モニター対象ユーザによる運動、監視ユーザによる運動、環境内のオブジェクト、ならびに環境の属性を識別する背景を表す位置、色、サイズ、および向きを含むことができるが、これらに限定されない。

この例では、３Ｄオブジェクト検出器１０４は、検出可能動作運動１０２として表される焦点領域（focus area）内の画像を取り込む。加えて、３Ｄオブジェクト検出器１０４は、焦点領域内のその他のタイプのデータを検出することができる。特に、３Ｄオブジェクト検出器１０４は、ビデオ画像の取り込み、身体部分運動の検出、皮膚テクスチャの検出、眼球運動の検出、皮膚表面特性の検出、熱画像の取り込みを含むが、これらに限定されない複数のタイプの画像およびデータ検出により検出可能動作運動１０２を検出する。複数のタイプの画像およびデータ検出をサポートするために、３Ｄオブジェクト検出器１０４は、立体鏡ビデオ画像取り込み用に配置された１つまたは複数のビデオ・カメラを含む、複数のタイプの画像取り込み装置と、熱身体画像センサ、皮膚テクスチャ・センサ、レーザ感知装置、サウンド・ナビゲーションおよびレンジング（ＳＯＮＡＲ）装置、または合成レーザまたはソナー・システムなど、１つまたは複数のオブジェクトの少なくとも１つの他の特性を取り込むためのその他のタイプのセンサとを含むことができる。特に、センサは、個別のセンサ・ユニットを使用して実現される場合もあれば、取り込み画像ストリームについて操作する論理装置により実現される場合もある。たとえば、論理装置は、取り込み画像ストリームを処理して、焦点領域内の滑らかな壁またはざらざらした葉などの皮膚以外のテクスチャから区別可能な顔面皮膚テクスチャを検出することができる。

検出可能動作運動１０２のいくつかの部分は、実際の動作を表す画像およびその他のデータを含むことができ、検出可能動作運動１０２のその他の部分は、動作を表さない画像およびデータを含むことができる。加えて、検出可能動作運動１０２は、移動および静止モニター対象ユーザと、移動および静止監視ユーザと、その他のオブジェクトのうちの１つまたは複数を含むことができる。

３Ｄオブジェクト検出器１０４は、検出可能動作運動１０２を検出されたオブジェクトの３Ｄプロパティのストリームに変換し、３Ｄオブジェクト・プロパティ１１０のストリームを動作インタープリタ１０６に渡す。動作インタープリタ１０６は、ストリーム化３Ｄオブジェクト・プロパティ１１０を各モニター対象ユーザに関する１つまたは複数の動作にマッピングし、モニター対象ユーザの各予測動作ごとに、検出可能動作運動１０２内の実際の動作が動作インタープリタ１０６によって正しく予測される確率を見積もる。加えて、動作インタープリタ１０６は、特定の予測動作も潜在的に有害な動作であるかどうかを予測する。さらに、動作インタープリタ１０６は、３Ｄオブジェクト・プロパティ１１０から監視ユーザによる動作を予測することができる。

動作インタープリタ１０６は、各予測動作、確率百分率、ならびにその予測動作が潜在的に有害であるかどうかを予測動作出力１０８として出力する。動作インタープリタ１０６は、１つまたは複数のシステムの１つまたは複数の動作対応アプリケーションに予測動作出力１０８を渡すことができる。

特に、検出可能動作運動１０２を処理し、予測動作出力１０８を生成する際に、３Ｄオブジェクト検出器１０４および動作インタープリタ１０６は、事前に蓄積し保管した動作定義の動作データベース１１２にアクセスして、３Ｄオブジェクト・プロパティ１１０内で動作を表すこれらのモニター対象オブジェクトをより適切に追跡して検出し、検出可能動作運動１０２内のその他のオブジェクトから分離したモニター対象ユーザをより適切に認識し、３Ｄオブジェクト・プロパティ１１０から潜在的に有害な動作をより適切に追跡、認識、予測することができる。

加えて、動作運動１０２を処理し、予測動作出力１０８を生成する際に、３Ｄオブジェクト検出器１０４および動作インタープリタ１０６は、予測動作出力１０８が出力される動作対応アプリケーションのタイプについて指定された動作定義を含む動作データベース１１２にアクセスすることができる。たとえば、この実施形態では、特定の警告システムに送信された場合に有害動作を表す可能性がより高いと判断されたタイプの動作にそっくりである検出オブジェクト運動から動作インタープリタ１０６があるタイプの動作を予測しようと試みるように、警告システムが警告信号に変換するために、予測動作出力１０８を警告システムに出力することができる。

一例では、法執行職員は、多種多様なタイプの環境をモニターすることができる。通行止め中の環境をモニターする法執行官（law enforcement officer）は、モニター対象ユーザが隠匿凶器を所持していないと思われる尋問中の環境をモニターする法執行官より潜在的に隠匿された凶器に関連する有害動作の警告の恩恵を受ける可能性がある。他の例では、セキュリティ・チェックポイントをモニターする法執行職員は、多量の発汗、不安の徴候、隠匿凶器を潜在的に示す不規則な衣服のドレープまたは不規則な衣服のかさばり、セキュリティ・チェックポイントにおいてセキュリティ・チェックポイントを通過するための有害目的の隠蔽を示す可能性のあるその他の動作など、モニター対象ユーザが実際にセキュリティ・チェックポイントに到達する前に、不審な動作の警告の恩恵を受ける可能性がある。

さらに、動作運動１０２を処理し、予測動作出力１０８を生成する際に、３Ｄオブジェクト検出器１０４および動作インタープリタ１０６は、モニター対象ユーザの動作を表すオブジェクトを識別し、その動作が行われた相互作用全体を考慮して動作のタイプを予測しようと試みる。したがって、３Ｄオブジェクト検出器１０４および動作インタープリタ１０６は、動作だけでなく、動作の意味をもたらすと思われる動作に含まれる重要性のレベル、動作の意味をもたらすと思われる動作を行うモニター対象ユーザの背景、動作の意味をもたらすと思われるモニター対象ユーザが動作を行う環境、各動作の意味をもたらす同時に行われた複数動作の組み合わせ、ならびに動作の意味をもたらすその他の検出可能な要因をも判断しようと試みる。したがって、動作データベース１１２は、動作の意味に影響を及ぼす可能性のある種々のタイプの人、環境、およびその他の要因に対応する動作定義を含む。加えて、動作データベース１１２は、対応する顔の表情またはその他の対応する動作に応じて調整された動作定義を含む。さらに、動作データベース１１２は、特定の監視ユーザが最も一般的に相互に作用する特定の人、動物、場所、または物事を表すオブジェクトをより正確に識別し、特定のスーパバイザに対して有害動作を表す動作内で移動するオブジェクトをより正確に識別するように調整することができ、したがって、より多くの指定の動作定義を提供する。

加えて、動作運動１０２を処理する際に、画像取り込み装置およびその他のセンサからなる複数の個別システムはそれぞれ、異なる角度から分離した焦点領域または重なっている焦点領域について画像およびデータを取り込むことができる。画像取り込み装置およびその他のセンサからなる複数の個別システムは、無線接続または有線接続を介して通信可能に接続することができ、データの組み合わせにより動作インタープリタ１０６がより正確に動作を解釈できるように、３Ｄ動作検出器間または動作インタープリタ間で取り込み画像およびデータを相互に共用することができる。

次に図２を参照すると、この例示的な図は、３Ｄオブジェクト検出器が取り込み、取り込まれた動作運動を表す３Ｄオブジェクト・プロパティを生成する環境の一例を描写している。検出可能運動環境２００は、図１の動作処理システム１００に関して記載した通り、３Ｄオブジェクト検出器１０４が検出可能動作運動１０２を表す画像およびデータを検出する環境の一例であることが理解されるであろう。動作運動が検出され処理されるその他の環境も実現可能である。たとえば、図１０は、モニター対象ユーザと監視ユーザの両方が検出される環境を例示している。他の実施形態では、監視ユーザの動作運動が検出され、モニターされる。

この例では、検出可能運動環境２００は、結合された３Ｄ焦点領域２２０内でモニター対象ユーザを含む１つまたは複数のオブジェクトの運動を検出するようにそれぞれが位置決めされた画像取り込み装置２０２と画像取り込み装置２０４とを含む立体画像装置を含む。描写されている実施形態では、３Ｄ焦点領域２２０によって表される領域が絶えず焦点が合った状態に保持されるように、画像取り込み装置２０２および画像取り込み装置２０４はそれぞれ、１つの固定軸または別々の固定軸上に位置決めすることができる。加えて、描写されている実施形態では、画像取り込み装置２０２および画像取り込み装置２０４ならびに任意のその他のセンサは、３Ｄ焦点領域２２０内の画像の範囲を制御し、画像を取り込むために、平行に、接線上に、または任意のその他の角度に位置決めすることができる。

他の実施形態では、３Ｄ焦点領域２２０によって表される領域を再位置決めできるように、画像取り込み装置２０２および画像取り込み装置２０４がそれぞれ位置調整可能軸（position adjustable axis）上に位置決めされる場合もあれば、画像取り込み装置２０２および画像取り込み装置２０４の実際の焦点が調整可能である場合もある。一例では、画像取り込み装置２０２および画像取り込み装置２０４のそれぞれは、広い領域内の熱画像ベースの運動を検出する１つまたは複数の熱画像装置（thermalimaging device）と結合することができ、各カメラの焦点領域内の熱運動（thermal movement）を追跡するように画像取り込み装置２０２および画像取り込み装置２０４のそれぞれの焦点領域の再位置決めを誘導する。

さらに、この実施形態では、画像取り込み装置２０２および画像取り込み装置２０４は、モニター対象ユーザまたは監視ユーザによって所持または装着される装置に固定することができる。たとえば、ユーザが動くにつれて３Ｄ焦点領域２２０が変化するように、画像取り込み装置２０２および画像取り込み装置２０４をモニター対象ユーザまたは監視ユーザ用のメガネまたはその他のヘッドウェアに固定することができる。他の例では、車両が移動するにつれて３Ｄ焦点領域２２０が変化するように、画像取り込み装置２０２および画像取り込み装置２０４を車両などの移動機械に固定することができる。

描写されていないが、他の実施形態では、画像取り込み装置２０２などの単一ビデオ・カメラのみを立体画像装置として実現することができる。この単一ビデオ・カメラは軌道またはその他の調整可能軸上に置かれ、コントローラが軌道に沿って単一ビデオ・カメラの位置を調整し、その場合、単一ビデオ・カメラは軌道に沿って種々の位置決め点で焦点領域内のビデオ画像ストリームを取り込み、３Ｄ動作検出器１０４はその画像ストリームを検出可能オブジェクトのプロパティの３Ｄオブジェクト・プロパティ・ストリームに結合する。一例では、カメラの位置が変化するにつれて、輝度の変化を比較し、フレーム全域でシャドーイングを行うことにより、３Ｄオブジェクト・プロパティ・ストリームを生成することができる。代わって、奥行きを検出するセンサに結合された単一固定カメラを使用して、立体画像装置を実現することができる。さらに代わって、画像を処理し、定位置から奥行きを検出できるようになっている単一カメラも立体画像装置として機能することができる。たとえば、この単一カメラは、光源の移動を検出し、輝度の変化を比較し、取り込み画像フレーム全域でシャドーイングを行うことにより、画像を処理し、奥行きを検出することができる。特に、この単一カメラ・システムは、まず目、口、および鼻に焦点を合わせてモニター対象ユーザの顔面モデルをマッピングし、次に輝度の変化を検出し、画像フレーム全域でシャドーイングを行って、顔面奥行き特性を検出することができる。その他の例では、センサが取り込まれたビデオ画像ストリームを処理して、画像ストリームのその他の特性から奥行きを抽出することができる。

例のために、３Ｄ焦点領域２２０は、画像取り込み装置２０２によって取り込まれた第１の取り込み面（capture plane）２０６と、画像取り込み装置２０４によって取り込まれた第２の取り込み面２０８とを含む。第１の取り込み面２０６は参照番号２１４によって例示された平面内の運動を検出し、第２の取り込み面２０８は参照番号２１６によって例示された平面内の運動を検出する。したがって、たとえば、画像取り込み装置２０２はあるオブジェクトの左右または上下の運動を検出し、画像取り込み装置２０４は３Ｄ焦点領域２２０内のあるオブジェクトの前後の運動を検出する。オブジェクトの運動が微細細分性で追跡されると、モニター対象ユーザの上がった眉毛、前に突き出されたあご、またはかすかな足取りなどの身体運動の小さい調整さえ追跡され、監視ユーザに対して警告しなければならない有害動作を示すものとして解釈できることは留意すべき重要なことである。

この例では、３Ｄ焦点領域２２０内の手２１０は移動オブジェクトを表し、ボックス２１２は静止オブジェクトを表している。この例では、手２１０は３Ｄ焦点領域２２０内の人の手の一部分である。モニター対象ユーザは、手２１０を動かすことにより、任意の数の運動を行うことができ、そのうちのいくつかは有害動作を表すものである。

人が３Ｄ焦点領域２２０内で手２１０を動かすにつれて、画像取り込み装置２０２および画像取り込み装置２０４のそれぞれは、取り込み面２０６および取り込み面２０８内で手２１０の運動のビデオ・ストリームを取り込む。このビデオ・ストリームから３Ｄオブジェクト検出器１０４は、手２１０を３Ｄ焦点領域２２０内の移動オブジェクトとして検出し、ある期間中の手２１０について３Ｄオブジェクト・プロパティ１１０を表す３Ｄプロパティ・ストリームを生成する。

加えて、人は、ボックス２１２または他のオブジェクトに対して手２１０を動かすことができる。たとえば、ユーザは、ボックス２１２を指すかまたはボックス２１２に向けられた他のタイプの動作を行うことができる。人が３Ｄ焦点領域２２０内で手２１０を動かすにつれて、画像取り込み装置２０２および画像取り込み装置２０４によって取り込まれたビデオ・ストリームは、手２１０およびボックス２１２の運動を含む。このビデオ・ストリームから３Ｄオブジェクト検出器１０４は、手２１０を移動オブジェクトとして検出し、ボックス２１２を３Ｄ焦点領域２２０内の静止オブジェクトとして検出し、ある期間中のボックス２１２の３Ｄプロパティならびにボックス２１２に対する手２１０の３Ｄプロパティを示す３Ｄオブジェクト・プロパティ・ストリームを生成する。

複数のカメラを使用して３Ｄ焦点領域２２０内の異なる運動面（plane of movement）を取り込むことにより、典型的な静止単一カメラによって行われると思われるものより多くの運動点（pointof movement）が取り込まれることは留意すべき重要なことである。２つ以上の角度からより多くの運動点を取り込むことにより、３Ｄオブジェクト検出器１０４は、３Ｄ焦点領域２２０内の動作を含む、静止オブジェクトおよび移動オブジェクトの３Ｄ表現をより正確に検出して定義することができる。加えて、３Ｄオブジェクト検出器１０４が移動オブジェクトの３Ｄ表現をより正確に定義するほど、動作インタープリタ１０６はその３Ｄモデルからより正確に動作を予測することができる。たとえば、ある動作は、ユーザが２次元フレーム内で取り込むことができないと思われるモーションをビデオ・カメラ２０２およびビデオ・カメラ２０４のうちの一方に向かってまたはそれから離れて行うことから構成される可能性があり、３Ｄ動作検出器１０４はその動作の３Ｄ表現を移動オブジェクトとして検出して定義し、動作インタープリタ１０６はその運動の３Ｄモデルからビデオ・カメラに向かうかまたはそれから離れる運動によって行われた動作を予測する。

たとえば、モニター対象ユーザは、手２１０の位置を固く結んだ握りこぶしまで変化させることができる。握りこぶしの堅さと握りこぶしの中の親指の位置は、握りこぶしを固く結ぶという動作を有害動作として解釈しなければならないかどうかをもたらす可能性がある。微細細分性で固く結んだ握りこぶしの３Ｄ画像を取り込み、マッピングし、追跡することにより、握りこぶしの堅さと握りこぶしの中の親指の位置が検出され、その結果、動作インタープリタ１０６はより正確にマッピングし、検出された動作が固く結んだ握りこぶしであることと、特定の固く結んだ握りこぶしが有害動作を表すかどうかを予測することができる。たとえば、親指の位置が３Ｄ画像から直接取り込まれない場合、依然として他の指の３Ｄ位置決めが検出され、動作インタープリタ１０６は、他の指の３Ｄ位置決めから、他の指が親指に巻き付けられているかどうかまたは親指が外側から他の指を押さえつけているかどうかを判断する。

加えて、図２はジェスチャ中の手２１０と静止ボックス２１２を例示しているが、代替諸実施形態では、画像取り込み装置２０２および画像取り込み装置２０４が複数の人の動作の画像を取り込み、３Ｄオブジェクト検出器１０４がそれぞれの人のそれぞれの動作を個別オブジェクトとして検出するように、３Ｄ焦点領域２２０が複数の個別モニター対象ユーザおよび監視ユーザを含むことができることは留意すべき重要なことである。特に、３Ｄオブジェクト検出器１０４は、画像取り込み装置２０２および画像取り込み装置２０４から取り込まれたビデオ画像から、手によって行われた動作などのモーションの多い動作と、顔の表情などのモーションの少ない動作を検出し、ある人と他の人との非言語的コミュニケーションならびに相互作用の３Ｄオブジェクト・プロパティをより正確に生成することができる。

この例では、検出可能運動環境２００内で焦点領域２２０内の画像を取り込むことに加えて、他のセンサが焦点領域２２０外の環境に関する情報を検出することができる。たとえば、センサ２４０は、センサ領域２４２内の情報を検出することができる。センサ領域２４２は、焦点領域２２０の上に部分的に重なるか、焦点領域２２０内に組み込まれるか、焦点領域２２０を組み込むか、または焦点領域２２０から分離している可能性がある。３Ｄオブジェクト検出器１０４は、感知情報を取り込み画像と結合し、３Ｄオブジェクト・プロパティ１１０をより正確に生成し、環境に関する追加情報を警告システムに提供する。

一例では、センサ２４０は、取り込み画像ストリームから顔面認識またはその他の識別認識を実行することができる。一例では、センサ２４０は、モニター対象ユーザおよび監視ユーザに関する顔面マッピングのデータベースにアクセスし、そのデータベースから特定の顔面マッピングと一致する特定のユーザ顔面マッピングを識別することができる。他の例では、センサ２４０は、モニター対象ユーザを識別可能なテキストについて取り込み画像ストリームを分析することができる。たとえば、センサ２４０は、モニター対象ユーザまたは監視ユーザが装着しているバッジの取り込み画像ストリームからバッジ番号を検出することができる。センサ２４０がユーザＩＤを検出することにより、オブジェクト検出器１０４は３Ｄオブジェクト・プロパティをより正確に生成することができ、動作インタープリタ１０６は動作データベース１１２内に識別されたユーザについて指定された定義からユーザ動作のタイプをより正確に予測することができる。

さらに、他の例では、センサ２４０は、センサ領域２４２内の項目上に置かれたＲＦＩＤチップから同報された情報を検出することにより、ユーザ認識を補足することができ、その場合、あるオブジェクトのＲＦＩＤは、そのオブジェクトに関連するオブジェクト・タイプ、オブジェクト位置、および任意の警告条件を同報する。特定のオブジェクトの位置に関する感知情報をそこから画像が識別される取り込み画像と結合することにより、オブジェクト検出器１０４は３Ｄオブジェクト・プロパティ１１０をより正確に生成することができ、動作インタープリタ１０６は３Ｄオブジェクト・プロパティ１１０内で検出された３Ｄオブジェクトのタイプおよび潜在的に有害な動作をより正確に予測することができる。加えて、センサ２４０が位置情報にアクセスすることにより、動作インタープリタ１０６は、動作対応警告システムが特定のモニター対象ユーザに対してならびに特定のモニター対象環境内で動作をマッピングできるようにする動作レコードとともに位置識別データを含むことができる。

他の例では、センサ２４０はセンサ領域２４２内の追跡オブジェクトの相対位置を追跡することができる。描写されていないが、センサ領域２４２は、センサ領域２４２内の第１の焦点領域２２０から第２の焦点領域まで、モニター対象ユーザまたは監視ユーザを含む移動オブジェクトを追跡することができる。複数の焦点領域全域で運動を追跡することにより、センサ２４０は、３Ｄオブジェクト・プロパティ１１０を生成するときに種々の焦点領域で収集されたデータを共用できるように、モニター対象ユーザまたは監視ユーザの位置に関する追加の追跡情報を提供する。さらに、センサ領域２４２は、センサ領域２４２内でモーションが検出された場合にセンサ２４０が焦点領域２２０の調整を起動してモーションの原因となるエンティティを取り込む特定のセキュリティ領域を表すことができる。その上、特定のＧＰＳ位置に関連するマップまたはその他の情報にアクセスし、３Ｄオブジェクト・プロパティ１１０を生成し、動作が潜在的に有害であるかどうかを判断し、ＧＰＳマッピング領域内で検出された潜在的に有害な動作についてＧＰＳマッピング領域内のスーパバイザに警告する際にそれを使用できるように、センサ２４０はセンサ領域２４２の変化するＧＰＳ位置を検出することができる。

さらに他の例では、センサ２４０は、あるオブジェクトの奥行き、表面積、色温度、またはその他の特性に関する追加情報を検出して、そのオブジェクトが特定の動作を表すかどうかならびにその動作が潜在的に有害であるかどうかをより正確に予測することができる。特に、あるオブジェクトの奥行き、表面積、またはその他の特性に関する追加情報を検出することにより、センサ２４０によって収集されたデータが画像取り込み装置２０２および画像取り込み装置２０４によって取り込まれた画像と結合され、検出された３Ｄオブジェクト内で追加の詳細度および粒度がもたらされる。

次に図３に関して説明すると、このブロック図は、動作インタープリタが３Ｄオブジェクト・プロパティからモニター対象ユーザの動作ならびにこれらの動作が潜在的に有害であるかどうかを解釈できるようにするために３Ｄオブジェクト・プロパティを生成するための３Ｄオブジェクト検出器システムの一実施形態を例示している。３Ｄオブジェクト検出器１０４内に描写されている複数のコンポーネントは、単一システム内に組み込まれるか、あるいはネットワーク、その他の通信媒体、またはその他の転送媒体を介して複数のシステム全域に分散される可能性があることは留意すべき重要なことである。加えて、画像およびデータを取り込み、３Ｄオブジェクト・プロパティ１１０のストリームを生成するために、例示されているものとは異なる追加または代替コンポーネントを３Ｄオブジェクト検出器１０４内で実現可能であることは留意すべき重要なことである。

初めに、画像取り込み装置２０２、画像取り込み装置２０４、およびセンサ２４０などの複数の画像取り込み装置は、３Ｄ焦点領域２２０およびセンサ領域２４２などの３Ｄ焦点領域およびセンサ領域内の検出可能運動１０２を表すデータを取得するための立体画像取り込み装置を表す。前に記載した通り、画像取り込み装置２０２および画像取り込み装置２０４は、ビデオ画像を取り込むためのビデオ・カメラを表すことができる。加えて、画像取り込み装置２０２および画像取り込み装置２０４は、カメラまたはその他の静止画像取り込み装置を表すことができる。加えて、画像取り込み装置２０２および画像取り込み装置２０４は、検出可能動作運動１０２を表すデータを取り込むことができるその他のタイプの装置を表すことができる。画像取り込み装置２０２および画像取り込み装置２０４は、同じタイプの画像取り込みシステムまたは異なるタイプの画像取り込みシステムを使用して実現することができる。加えて、画像取り込み装置２０２および画像取り込み装置２０４のそれぞれによって取り込まれた取り込み領域および取り込み面の範囲、サイズ、および位置は様々になる可能性がある。

センサ２４０は、ＲＦＩＤ読み取り装置、熱身体画像センサ、皮膚テクスチャ・センサ、レーザ感知装置、サウンド・ナビゲーションおよびレンジング（ＳＯＮＡＲ）装置、または合成レーザまたはソナー・システムを含むがこれらに限定されない１つまたは複数の異なるタイプのセンサを表すことができる。加えて、センサ２４０は、特定のタイプの身体部分、特定のタイプの身体運動、または皮膚ベース以外のテクスチャから分離した皮膚を示すテクスチャを検出するセンサを含むことができる。センサ２４０は、あるオブジェクトに関する独立データを収集する場合もあれば、画像取り込み装置２０２および画像取り込み装置２０４によって取り込まれた画像を処理する場合もある。

特に、センサ２４０は、３Ｄオブジェクト・プロパティ１１０を作成するための３Ｄオブジェクト検出器１０４の能力を強化する、特定のセンタ領域内のオブジェクトに関する情報を検出する。たとえば、ＳＯＮＡＲ装置によりセンサ２４０を実現することにより、センサ２４０は、あるオブジェクトの奥行きおよびＳＯＮＡＲ装置からそのオブジェクトまでの距離に関する追加情報を収集し、その場合、奥行き測定値は、３Ｄオブジェクト・プロパティ１１０を生成するために、ビデオ・プロセッサ３１６、ビデオ・プロセッサ３０８、または形状プロセッサ（geometry processor）３２０のうちの１つまたは複数によって使用される。センサ２４０が移動オブジェクトに取り付けられている場合、合成ＳＯＮＡＲ装置を実現することができる。

画像取り込み装置２０２、画像取り込み装置２０４、およびセンサ２４０のそれぞれは、初めに取り込み画像およびデータを受信してバッファに入れることができるようになっている１つまたは複数のコンピューティング・システムに取り込み画像およびデータを送信する。この例では、画像取り込み装置２０２は画像取り込みサーバ３０８に取り込み画像を送信し、画像取り込み装置２０４は画像取り込みサーバ３１０に取り込み画像を送信し、センサ２４０はセンサ・サーバ３１２に取り込みデータを送信する。画像取り込みサーバ３０８、画像取り込みサーバ３１０、およびセンサ・サーバ３１２は、１つまたは複数のサーバ・システム内に実現することができる。

画像取り込みサーバ３０８、画像取り込みサーバ３１０、およびセンサ・サーバ３１２のそれぞれは、バッファに入れた画像およびデータを、画像取り込み装置２０２、画像取り込み装置２０４、およびセンサ装置２４０から１つまたは複数のプロセッサにストリーム化する。この例では、画像取り込みサーバ３０８はビデオ・プロセッサ３１６に画像をストリーム化し、画像取り込みサーバ３１０はビデオ・プロセッサ３１８に画像をストリーム化し、センサ・サーバ３１２はセンサ・プロセッサ３１９に感知データをストリーム化する。ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、およびセンサ・プロセッサ３１９は１つまたは複数のコンピュータ・システム内の１つまたは複数のプロセッサ内に実現できることは留意すべき重要なことである。

一例では、画像取り込みサーバ３０８および画像取り込みサーバ３１０はそれぞれビデオ・プロセッサ３１６およびビデオ・プロセッサ３１８に画像をストリーム化し、その場合、画像はフレーム単位でストリーム化される。各フレームは、画像取り込み装置のカメラＩＤ、フレーム番号、タイム・スタンプ、および画素数を含むことができるが、これらに限定されない。

ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、およびセンサ・プロセッサ３１９は、画像フレーム内のオブジェクトを検出して追跡するようにプログラミングされる。特に、ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、およびセンサ・プロセッサ３１９は複合データのストリームを受信し、そのデータを処理し、モニター対象ユーザおよび監視ユーザを表すオブジェクトを含む３次元オブジェクトならびにその３次元オブジェクトの特性を識別するので、ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、およびセンサ・プロセッサ３１９は、セル・ブロードバンド・エンジン（Ｃｅｌｌ ＢＥ：Cell Broadband Engine）アーキテクチャを実現することができる（セル・ブロードバンド・エンジンはソニー・コンピュータ・エンタテインメント社の登録商標である）。Ｃｅｌｌ ＢＥアーキテクチャは、共同処理エレメント（ＳＰＥ：SynergeticProcessing Element）とも呼ばれ、プロセッサ・エレメント間の効率的な通信のための１組のＤＭＡコマンドを実現する複数の追加プロセッサ・エレメントに接続されたパワー・アーキテクチャベースの制御プロセッサ（ＰＰＥ：PowerArchitecture-based control processor）などの基本プロセッサ・エレメントを含むプロセッサ・アーキテクチャを指す。特に、ＳＰＥは、特定のタイプの処理タスクを他のものより効率的に処理するように設計することができる。たとえば、ＳＰＥは、フレーム・ストリーム内の移動オブジェクトの点を識別してマッピングするためにビデオ・ストリームの処理をより効率的に処理するように設計することができる。加えて、ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、およびセンサ・プロセッサ３１９は、ビデオ画像の効率的な処理により、そこからモニター対象ユーザの動作ならびにその動作が有害である可能性を予測できるビデオ画像内の移動オブジェクトおよび静止オブジェクトを３次元で識別できるようにする、他のタイプのプロセッサ・アーキテクチャを実現することができる。

この例では、ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、およびセンサ・プロセッサ３１９はそれぞれ、検出されたオブジェクトの位置、色、サイズ、形状、および向きを含むプロパティを作成し、それを形状プロセッサ３２０にストリーム化する。一例では、形状プロセッサ３２０にストリーム化された各処理済みフレームは、カメラＩＤ、フレーム番号、タイム・スタンプ、ならびに、Ｘ軸座標（ｘ＿ｌｏｃ）、Ｙ軸座標（ｙ＿ｌｏｃ）、およびＺ軸座標（ｚ＿ｌｏｃ）のうちの２つまたはそれ以上の組み合わせを含むことができるが、これらに限定されない。ｘ＿ｌｏｃ、ｙ＿ｌｏｃ、およびｚ＿ｌｏｃはそれぞれ、あるオブジェクトのすべてのプロパティを識別する複数組の点およびその他のデータを含むことができることは留意すべき重要なことである。単一フレーム内で複数のオブジェクトが検出され追跡された場合、各オブジェクトに関するＸ軸座標およびＹ軸座標は、単一ストリーム化オブジェクト・プロパティ・レコードに、または複数の個別ストリーム化オブジェクト・プロパティ・レコードに含めることができる。加えて、ＳＯＮＡＲ検出位置に関するセンサ・プロセッサ３１９からのフレームなどのストリーム化プロパティ・フレームは、たとえば、ｚ＿ｌｏｃとしてリストされるＺ軸位置座標を含むことができる。

形状プロセッサ３２０は、ビデオ・プロセッサ３１６およびビデオ・プロセッサ３１８から２Ｄストリーム化オブジェクト・プロパティを受信し、センサ・プロセッサ３１９からその他のオブジェクト・データを受信する。形状プロセッサ３２０は、ストリーム化２Ｄオブジェクト・プロパティとその他のデータを組み合わせ、ストリーム化２Ｄオブジェクト・プロパティとその他のデータから３Ｄオブジェクト・プロパティ１１０を構築する。特に、形状プロセッサ３２０は、あるオブジェクトの奥行きを含む３Ｄオブジェクト・プロパティ１１０を構築する。一例では、形状プロセッサ３２０によって構築された各３Ｄオブジェクト・プロパティ・レコードは、タイム・スタンプ、オブジェクトまたはユーザ運動ラベル、Ｘ軸座標（ｘ＿ｌｏｃ）、Ｙ軸座標（ｙ＿ｌｏｃ）、およびＺ軸座標（ｚ＿ｌｏｃ）、ならびにセンサから収集された追加情報を含むことができる。たとえば、センサから収集された追加情報としては、ＲＦＩＤから受信した位置ＩＤまたはＧＰＳ検出位置座標を含むことができる。

ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、センサ・プロセッサ３１９、および形状プロセッサ３２０のいずれでも、プロパティ・レコードは、オブジェクトを追跡する際の永続性を可能にするために少なくとも１つのＩＤを含むことができる。たとえば、このＩＤは、オブジェクトそのものに関する固有のＩＤと、ユーザ運動として識別されたオブジェクトを含む、オブジェクトのクラスまたはタイプのＩＤとを含むことができる。

特に、ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、およびセンサ・プロセッサ３１９がオブジェクト・プロパティを識別して分類することにより、それぞれのプロセッサは、前に処理された入力および動作マッピングにアクセスするために動作データベース１１２にアクセスし、より正確に２Ｄオブジェクト・プロパティを識別して分類し、ストリーム化２Ｄオブジェクト・プロパティを検出して、それをオブジェクトと一致させることができる。加えて、形状プロセッサ３２０は、動作データベース１１２からアクセスされたオブジェクトについて前に一致させ構築された３Ｄプロパティに基づいて、ストリーム化２Ｄオブジェクト・プロパティに基づくオブジェクトの３Ｄプロパティをより正確に構築することができる。さらに、オブジェクト・データベース１２２は、今後の参照のためにストリーム化２Ｄオブジェクト・プロパティおよび３Ｄオブジェクト・プロパティを保管することができる。

加えて、ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、およびセンサ・プロセッサ３１９がオブジェクト・プロパティを識別して分類し、形状プロセッサが３Ｄオブジェクト・プロパティ１１０を構築することにより、それぞれのプロセッサは、モニター対象ユーザの動作を含む、検出オブジェクトを識別することができる。たとえば、ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、センサ・プロセッサ３１９、および形状プロセッサ３２０は、顔の表情およびその他の身体運動をマッピングし、顔面その他の身体運動認識を実行し、動作を表すオブジェクトを識別するための追加処理を実行する際に使用するための指定を含む動作データベース１１２にアクセスすることができる。加えて、ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、センサ・プロセッサ３１９、および形状プロセッサ３２０は、検出オブジェクトおよび背景に基づいてユーザが位置する特定の環境を識別する際に使用するための種々のタイプの環境に関する指定を含む動作データベース１１２にアクセスすることができる。さらに、３Ｄオブジェクト・プロパティ１１０を構築する際に、ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、センサ・プロセッサ３１９、および形状プロセッサ３２０は、その環境内の複数の検出オブジェクトを識別することができ、したがって、単一モニター対象ユーザの複数の動作あるいは複数ユーザ間の１つまたは複数の相互作用を識別することができる。オブジェクトが位置する環境内で検出されたオブジェクト間の相互作用をモニターして識別することにより、ある動作が行われたコンテキストにおいてその動作のより正確な予測を実行することができる。

次に図４を参照すると、このブロック図は、動作インタープリタ・システムの一実施形態を例示している。動作インタープリタ１０６内に描写されている複数のコンポーネントは、単一システム内に組み込まれるか、あるいはネットワークを介して複数のシステム全域に分散される可能性があることは留意すべき重要なことである。この例では、３Ｄプロパティ・レコード４０２は、「タイム・スタンプ」、「ｘ＿ｌｏｃ」、「ｙ＿ｌｏｃ」、および「ｚ＿ｌｏｃ」データ・エレメントを含む。３Ｄプロパティ・レコード４０２は、図３の形状プロセッサ３２０によって決定される追加または代替データ・エレメントを含むことができることが理解されるであろう。たとえば、３Ｄプロパティ・レコード４０２は、焦点領域内だけでなくセンサ領域内のユーザの特定の位置または相対位置を識別する追加情報、色、ならびに画像取り込み装置およびセンサによって収集され、３Ｄオブジェクト検出器１０４内で処理されたその他のデータを含むことができる。

動作インタープリタ１０６は動作インタープリタ・コントローラ４０４を含み、動作インタープリタ・コントローラ４０４は、動作解釈を実行するようにプログラミングされた１つまたは複数のプロセッサを含むことができる。たとえば、動作インタープリタ・コントローラ４０４は、Ｃｅｌｌ ＢＥアーキテクチャを備え、３Ｄオブジェクト・プロパティ・データ・ストリームを効率的に処理し、３Ｄオブジェクト・プロパティ・ストリームからモニター対象ユーザの動作を予測し、その動作が潜在的に有害であるかどうかを予測するようにプログラミングされたプロセッサを含むことができる。加えて、動作インタープリタ・コントローラ４０４は、そこでソフトウェアが実行されるプロセッサを含むことができ、そのソフトウェアは、３Ｄオブジェクト・プロパティ・ストリームの処理を指示し、３Ｄオブジェクト・プロパティ・ストリームからモニター対象ユーザの動作を予測し、その動作が潜在的に有害であるかどうかを予測する。

３Ｄオブジェクト・プロパティ・ストリームを処理し、動作を予測し、潜在的に有害な動作を予測する際に、動作インタープリタ・コントローラ４０４は、ストリーム化３Ｄオブジェクト・プロパティがマッピングされた動作アクションを表す確率百分率ならびに予測動作が有害動作を表す確率百分率で、３Ｄオブジェクト・プロパティを１つまたは複数の動作アクションにマッピングする。特に、動作インタープリタ・コントローラ４０４は、１つまたは複数の動作に関する１つまたは複数の動作定義にアクセスし、３Ｄオブジェクト・プロパティが動作定義のうちの１つまたは複数に定義された１つまたは複数の動作の１つまたは複数の特性と一致するかどうかを判断する。動作定義は、１つまたは複数のタイプの動作についてマッピングされた３Ｄモデルを含むことができる。加えて、動作定義は、検出された身体部分、運動のタイプ、表面特性、形状、運動速度、頻度、運動範囲、運動の奥行き、温度、および色を含むがこれらに限定されない動作の特性を識別するパラメータを定義することができる。

加えて、動作が潜在的に有害であることを動作の特性が示すかどうかを動作インタープリタ・コントローラ４０４が判断できるように動作定義が指定される。たとえば、１つまたは複数の動作定義から、あるオブジェクト・ストリームが「握りこぶしを作る」という動作を表していると動作インタープリタ・コントローラ４０４が判断すると、動作インタープリタ・コントローラ４０４は、握りこぶしの堅さなど、握りこぶしの追加特性を堅さについて動作定義に定義されている特性と比較する。たとえば、動作定義は、掌までの指の曲がりの量によって決定される堅さの範囲を指定することができる。この動作定義では、握りこぶしが固いほど、動作が有害である可能性が高い。他の例では、動作定義は、握りこぶしの堅さと、モニター対象ユーザの身体に対する握りこぶしの位置が相俟って、その動作が潜在的に有害であるかどうかを決定すると指定することもできる。

他の例では、１つまたは複数の動作定義から、あるオブジェクト・ストリームが「手からオブジェクトを落とす」という動作を表していると動作インタープリタ・コントローラ４０４が判断すると、動作インタープリタ・コントローラ４０４は、落とされたオブジェクトの追加特性と、そのオブジェクトが落とされた位置を決定し、オブジェクトの特性および位置を、潜在的に有害な落下オブジェクトに関する動作定義に定義された追加要因と比較する。ゴミ入れに紙片を落とすことは潜在的に有害な動作を示さない可能性があるが、座席の下にバッグを落とすことは潜在的に有害な動作を示す可能性がある。

さらに他の例では、１つまたは複数の動作定義から、あるオブジェクト・ストリームが「衣服の下に所持するオブジェクト」という動作を表していると動作インタープリタ・コントローラ４０４が判断すると、動作インタープリタ・コントローラ４０４は、オブジェクト領域のかさばりに関する追加特性を判断し、そのかさばり特性を潜在的に有害な所持オブジェクトについて動作定義に定義された追加要因と比較する。

３Ｄオブジェクト・プロパティ・ストリームを解釈する際に、動作インタープリタ・コントローラ４０４は１つまたは複数の動作処理システムによって特定の焦点領域について識別された１つまたは複数の３Ｄオブジェクト・プロパティ・ストリーム内のすべての追跡オブジェクトの集合分析を実行することは留意すべき重要なことである。一例では、動作インタープリタ・コントローラ４０４は、特定の焦点領域および特定のセンサ領域について３Ｄオブジェクト・プロパティ・ストリームを集合させる。他の例では、動作インタープリタ・コントローラ４０４は、焦点領域およびセンサ領域に重なる領域から複数の３Ｄオブジェクト・プロパティ・ストリームを受信し、類似性、位置標識、および向き標識について３Ｄオブジェクト・プロパティ・ストリームを分析し、ある領域の３Ｄ集合表現内に３Ｄオブジェクト・プロパティ・ストリームを構築することができる。

一実施形態では、動作インタープリタ・コントローラ４０４は、追跡オブジェクトの集合を単一動作定義に直接マッピングすることができる。他の実施形態では、動作インタープリタ・コントローラ４０４は、複数の集合追跡オブジェクトを複数の動作定義にマッピングする。たとえば、ある人は、顔の動作および手の動作により同時に伝達する可能性があり、顔の動作および手の動作の追跡運動により伝達される実際の動作を予測する際に、動作インタープリタ・コントローラ４０４は、手の動作の３Ｄオブジェクト・プロパティと相関関係にある顔の動作の３Ｄオブジェクト・プロパティを分析し、それぞれの動作の予測を可能にし、複数の動作が組み合わせた状態で潜在的に有害な動作を表すかどうかの予測を可能にするために動作定義にアクセスする。さらに、動作インタープリタ・コントローラ４０４は、ある環境内の複数のモニター対象ユーザによる動作を表す追跡オブジェクトを集合させることができる。その場合、動作インタープリタ・コントローラ４０４は、複数のモニター対象ユーザによる動作の組み合わせが潜在的に有害な動作を表すかどうかを予測する。

この例では、動作インタープリタ・コントローラ４０４は、一般動作定義４１２、環境固有動作定義４１４、アプリケーション固有動作定義４１６、およびユーザ固有動作定義４１８を含む動作データベース１１２からの動作定義にアクセスする。動作データベース１１２が追加または代替タイプの動作定義を含むことができることが理解されるであろう。加えて、この例に例示されている動作定義のグループ化のそれぞれが単一データベース内に存在する場合もあれば、ネットワークを介して複数のデータベースおよびデータ記憶システムからアクセスされる場合もあることは留意すべき重要なことである。

一般動作定義４１２は、ある一般動作が有害であるかどうかを判断するための一般的な動作および要因に関する動作定義を含む。たとえば、一般動作定義４１２は、指さす人、手を振る人、「はい」とうなずくかまたは「いいえ」と首を横に振る人などの一般的な動作、あるいは一般に有害動作とは関連しないが、コンテキスト次第で有害動作を表す可能性のあるその他のタイプの一般的な動作に関する動作定義を含むことができる。たとえば、「いいえ」と首を横に振る人を識別する際に、その人が首を振る速度ならびにその人の眉毛が上がっているかどうかなどの追加要因も検出され、その追加要因はその人の首振りが潜在的に有害な動作であるかどうかという検出効果のレベルに影響を及ぼす。他の例では、一般動作定義４１２は、歯を食いしばっている人またはあごを前に突き出している人などの有害動作を一般に表す動作を含むことができる。

環境固有動作定義４１４は、その動作が有害であるかどうかを判断するための動作定義および要因であって、その動作が検出されるコンテキストに固有のものを含む。コンテキストの例としては、モニター対象ユーザの現在位置、時刻、コンテキスト内でジェスチャおよびその他の動作の背後にある文化的意味、コンテキスト内で話される言語、ならびにその動作が解釈される可能性のあるコンテキストに影響を及ぼすその他の要因を含むことができるが、これらに限定されない。モニター対象ユーザの現在位置は、そのユーザが位置する国または地域を含むことができ、たとえば、通行止め、密閉された部屋、またはセキュリティ・チェックポイントなどの実際の物理的環境を含むことができる。動作インタープリタ・コントローラ４０４は、モニター対象ユーザまたは監視ユーザの位置を示すＧＰＳ標識にアクセスすること、モニター対象ユーザの音声について音声分析を実行して言語および方言の変化を検出すること、特定のタイプの位置を示す画像データ内のオブジェクトを検出すること、あるいはモニター対象ユーザがモニターされているコンテキストをモニターしている他のシステムからの追加データを受信することにより、現行コンテキストを検出することができる。

アプリケーション固有動作定義４１６は、予測動作出力１０８が送信される動作対応アプリケーションに固有の動作定義を含む。たとえば、この実施形態では、予測動作出力１０８は、警察官が装着するヘッドセットに音声ナビゲーションおよび警告出力を提供するナビゲーション・システム内に組み込まれた警告システムである動作対応アプリケーションに出力することができ、選択された動作定義は、ナビゲーション・ベースの警告システムに関連すると思われる動作のタイプに焦点を合わせる。他の例では、予測動作出力１０８は、モニターされたビデオ・フィードからそのビデオ・フィード内で潜在的に有害な動作の強調を行う監視システム内に組み込まれた警告システムである動作対応アプリケーションに出力することができ、選択された動作定義は、監視ベースの警告システムによって警告される動作に焦点を合わせる。

ユーザ固有動作定義４１８は、モニター対象ユーザまたは監視ユーザに固有の動作定義を含む。一例では、動作インタープリタ・コントローラ４０４は、セキュリティ・チェックポイントまたは通行止めなどでユーザが走査可能な識別情報を提示することにより、モニター対象ユーザに関するＩＤにアクセスし、その走査によりモニター対象ユーザに関するＩＤが動作インタープリタ・コントローラ４０４に提供される。他の例では、動作インタープリタ・コントローラ４０４は、３Ｄオブジェクト検出器１０４によって検出されたユーザの属性をユーザ属性のデータベースと比較することにより、モニター対象ユーザに関するＩＤにアクセスする。たとえば、動作インタープリタ・コントローラ４０４は、３Ｄオブジェクト検出器１０４によってまだ実行されていない場合に顔面または音声認識を実行することができる。動作インタープリタ・コントローラ４０４がモニター対象ユーザまたは監視ユーザについてその他のタイプのＩＤアクセスおよび認証を実行できることは理解されるであろう。

加えて、動作データベース１１２は、特定の環境について監視ユーザまたは監視ユーザ・グループに固有の動作定義およびその他の要因を含むことができる。特に、動作定義およびその他の要因は、監視ユーザの動作が有害である場合を指定することができる。たとえば、特定の環境においてまたはモニター対象ユーザの特定の有害動作に応答して監視ユーザの動作が許容動作または力のパラメータの範囲外である場合に、監視ユーザの動作が有害と見なされる可能性がある。加えて、たとえば、経験不足を示す動作を含む監視ユーザの動作が、何らかの点で監視ユーザに障害があることを示す場合に、監視ユーザの動作が有害と見なされる可能性がある。

また、動作データベース１１２は、特定の環境内におけるモニター対象ユーザまたは監視ユーザの経験レベルに応じて指定された動作定義およびその他の要因を含むこともできる。たとえば、特定の位置をモニターする際の監視ユーザの経験レベルは、監視ユーザの動作が潜在的に有害であると見なされるかどうかに影響を及ぼす可能性がある。他の例では、モニター対象ユーザの経験レベルまたは特定の場所に入る頻度は、モニター対象ユーザの動作または確立された基準からの動作の変化が潜在的に有害であると見なされるかどうかに影響を及ぼす可能性がある。

さらに、使用可能な動作定義内で、ある動作定義を特定の運動領域または３Ｄ焦点領域内の特定の運動の奥行きに関連付けることができる。特に、運動が検出される３次元焦点領域を複数の３次元部分に分割することができ、それぞれの部分で行われる運動は、種々の動作定義選択に基づいて解釈することができる。たとえば、焦点領域の１つの３次元部分は「アクティブ領域」と見なされる可能性があり、その領域内で検出された運動は、セキュリティ・ポイントから特定の距離内の領域など、その特定のアクティブ領域に関連する動作定義選択と比較される。

さらに、動作データベース１１２は、個別の定義データベース内にまたは定義データベースに統合された個別の定義データベース内に、動物全般、特定のタイプの動物、特定の環境内の動物、および特定の動物について指定された動作定義を含むことができる。加えて、動物に関する動作定義は、潜在的に有害な動作が報告される監視ユーザに基づくかまたは動物が相互に作用する監視ユーザに基づいて、様々になる可能性がある。

動作データベース１１２内に含まれる動作定義は、モニター対象ユーザまたは監視ユーザのユーザ・フィードバックに追加するか、それに基づいて調整することができる。たとえば、動作データベース１１２は、動作全般、異なるコンテキスト内の動作、アプリケーションに固有の動作、特定のモニター対象ユーザおよび監視ユーザに固有の動作をより正確にマッピングして予測するために、音声認識システムを訓練するのと同じように、予測が正しいかどうかを示すために潜在的に有害な動作に関する警告指示に監視ユーザが応答することにより、追加の動作定義を学習し、すでに学習した動作定義のパラメータを調整することができる。

動作インタープリタ・コントローラ４０４がモニター対象ユーザの進路を示すデータを受信する場合、動作インタープリタ・コントローラ４０４が動作を識別すると、動作インタープリタ・コントローラ４０４は、モニター対象ユーザの動作が保護当事者または保護領域と交差するかどうかを予測することができる。たとえば、モニター対象ユーザが警備員付きビルへの入口の外側の歩道上を特定の方向に歩いていること、ならびにモニター対象ユーザが歯を食いしばり、きびきびと歩いており、それによりユーザが怒っていることが潜在的に示されることを動作インタープリタ・コントローラ４０４が検出すると、動作インタープリタ・コントローラ４０４は、モニター対象ユーザの進路が監視中の警備員の１人によってモニターされている領域に向かって曲がるかどうかを予測し、警告信号を監視中の警備員に提供する警告システムによる使用のための動作レコードを生成することができる。

動作インタープリタ・コントローラ４０４は、動作レコード４２０などの１つまたは複数の動作レコードの形で予測有害動作出力１０８を出力することができる。動作レコード４２０は、「動作タイプ」、「動作としての確率％」、および「有害動作としての確率％」を示す。加えて、動作レコード４２０は、「ｓｔａｒｔ＿ｘ＿ｐｏｓ」、「ｅｎｄ＿ｘ＿ｐｏｓ」、「ｓｔａｒｔ＿ｙ＿ｐｏｓ」、「ｅｎｄ＿ｙ＿ｐｏｓ」、「ｓｔａｒｔ＿ｚ＿ｐｏｓ」、「ｅｎｄ＿ｚ＿ｐｏｓ」としてリストされ、動作の位置、運動方向、および運動速度を示す、検出動作の開始ＸＹＺ軸プロパティおよび終了ＸＹＺ軸プロパティを含む。描写されていないが、動作レコード４２０は、モニター対象ユーザまたは監視ユーザの位置、運動方向、および運動速度を示す、モニター対象ユーザの運動のＸＹＺ軸の開始および終了プロパティも示すことができる。さらに、ＲＦＩＤデータ、ＧＰＳ座標、皮膚表面特性、およびその他の感知データなど、センサから取得された追加情報は、特定の動作レコードに関連付けるかまたは個別オブジェクト・レコードに含めることができる。

動作レコード４２０を渡す際に、動作インタープリタ・コントローラ４０４は、特定のタイプの動作レコードをフィルタで除去することができる。たとえば、動作インタープリタ・コントローラ４０４は、ある動作が有害動作として予測される可能性が特定の百分率より低いレコードを渡さない可能性がある。

代替一実施形態では、動作インタープリタ・コントローラ４０４が、動作タイプと、検出画像が予測動作を表す確率百分率のみを予測し、すべての検出動作に関するレコードも動作対応アプリケーションに渡す可能性があることは留意すべき重要なことである。その場合、動作対応アプリケーションは、どの動作が有害である可能性があるかを予測し、スーパバイザに対してどのように潜在的に有害な動作を通知するかを制御する。

次に図５に関して説明すると、このブロック図は、本発明を実現可能なコンピューティング・システムの一実施形態を描写している。本発明のコントローラおよびシステムは、ネットワーク５０２などのネットワークに通信可能に接続された、コンピュータ・システム５００などの様々なコンピューティング・システムを含む、様々なシステムで実行することができる。

コンピュータ・システム５００は、コンピュータ・システム５００内で情報を伝達するためのバス５２２またはその他の通信装置と、情報を処理するためにバス５２２に結合されたプロセッサ５１２などの少なくとも１つの処理装置とを含む。バス５２２は好ましくは、ブリッジおよびアダプタによって接続され、複数のバス・コントローラによりコンピュータ・システム５００内で制御される低待ち時間および高待ち時間パスを含む。サーバとして実現される場合、コンピュータ・システム５００は、ネットワーク・サービス能力を改善するように設計された複数のプロセッサを含むことができる。複数のプロセッサがバス５２２を共用する場合、バス・アクセスおよびロックを管理するための追加コントローラ（描写されていない）を実現することができる。

プロセッサ５１２は、通常動作中に、オペレーティング・システム５６０、アプリケーション・ソフトウェア５７０、ミドルウェア（描写されていない）、ならびに、ランダム・アクセス・メモリ（ＲＡＭ）５１４などの動的記憶装置、読み取り専用メモリ（ＲＯＭ）５１６などの静的記憶装置、大容量記憶装置５１８などのデータ記憶装置、またはその他のデータ記憶媒体からアクセス可能なその他のコードの制御下でデータを処理するＩＢＭのＰｏｗｅｒＰＣ（Ｒ）プロセッサなどの汎用プロセッサにすることができる。一例では、プロセッサ５１２は、３Ｄの複合データ・ストリームをより効率的に処理するようにＣｅｌｌ ＢＥアーキテクチャをさらに実現することができる。プロセッサ５１２が他のタイプのプロセッサ・アーキテクチャを実現可能であることは理解されるであろう。加えて、プロセッサ５１２は、ローカルにまたはネットワークを介して接続され、効率的に処理タスクを分散できるようになっている複数のプロセッサ・チップを表すことができることは留意すべき重要なことである。

一実施形態では、プロセッサ５１２によって実行される動作は、スーパバイザによる環境のモニター、検出動作からの有害動作予測、図１１〜図１４の流れ図の動作に描写されている予測有害動作の標識のスーパバイザへの出力、ならびに本明細書に記載されているその他の動作と同時に行われる、ある環境に関する取り込み画像およびデータからの３Ｄ動作検出を制御することができる。プロセッサ５１２によって実行される動作は、オペレーティング・システム５６０、アプリケーション・ソフトウェア５７０、ミドルウェア、またはその他のコードによって要求される場合もあれば、本発明の諸ステップは、その諸ステップを実行するためのハードワイヤード・ロジックを収容する特定のハードウェア・コンポーネントによるかまたはプログラム式コンピュータ・コンポーネントとカスタム・ハードウェア・コンポーネントの任意の組み合わせによって実行される可能性もある。

本発明は、コンピュータ・システム５００上で実行されたときに本発明によるプロセスをコンピュータ・システム５００に実行させるコンピュータ可読プログラムの実行可能命令がそこに保管されているコンピュータ可読媒体または機械可読媒体上に含まれるコンピュータ・プログラムとして提供することができる。本明細書で使用する「コンピュータ可読媒体」または「機械可読媒体」という用語は、実行のためにプロセッサ５１２またはコンピュータ・システム５００のその他のコンポーネントへの命令の提供に関与する任意の媒体を含む。このような媒体は、不揮発性媒体および揮発性媒体などの記憶タイプの媒体ならびに伝送媒体を含むがこれらに限定されない多くの形を取ることができる。不揮発性媒体の一般的な形としては、たとえば、フロッピー（登録商標）・ディスク、フレキシブル・ディスク、ハード・ディスク、磁気テープまたは任意のその他の磁気媒体、コンパクト・ディスクＲＯＭ（ＣＤ−ＲＯＭ）または任意のその他の光学媒体、パンチ・カードまたは穿孔パターンを有する任意のその他の物理的媒体、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的ＥＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、任意のその他のメモリ・チップまたはカートリッジ、あるいはそこからコンピュータ・システム５００が読み取ることができ、命令を保管するのに適した任意のその他の媒体を含む。この実施形態では、不揮発性媒体の一例は、描写されている通り、コンピュータ・システム５００の内部コンポーネントである大容量記憶装置５１８であるが、外部装置でも提供されるものであることが理解されるであろう。揮発性媒体としては、ＲＡＭ５１４などのダイナミック・メモリを含む。伝送媒体としては、バス５２２を有するワイヤを含む、同軸ケーブル、銅線、または光ファイバを含む。また、伝送媒体は、電波通信または赤外線データ通信中に発生するものなどの音波または光波の形を取ることもできる。

その上、本発明はコンピュータ・プログラムとしてダウンロードまたは配布することができ、その場合、コンピュータ可読プログラム命令は、ネットワーク５０２を介してネットワーク・リンク５３４（たとえば、モデムまたはネットワーク接続）ならびにバス５２２に結合された通信インターフェース５３２への搬送波またはその他の伝送媒体に実施されたデータ信号によりサーバ５４０などのリモート・コンピュータから要求側コンピュータ・システム５００に伝送することができる。プロセッサ５１２が複数のプロセッサ・エレメントを含む一例では、プロセッサ・エレメント間で分散される処理タスクは、ローカルであるかネットワークを介するかにかかわらず、コンピュータ・プログラムを表すことができ、その処理タスクは、プロセスを実行するためのプログラム命令またはＪａｖａ（Ｊａｖａはサン・マイクロシステムズ社の登録商標である）オブジェクトにアクセスするためのプログラム命令あるいはプロセスを実行するためのその他の実行可能プログラムを含む。通信インターフェース５３２は、たとえば、ローカル・エリア・ネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、またはインターネット・サービス・プロバイダ（ＩＳＰ）に直接接続可能なネットワーク・リンク５３４に結合する双方向データ通信を可能にする。特に、ネットワーク・リンク５３４は、ネットワーク５０２などの１つまたは複数のネットワークへの有線または無線あるいはその両方のネットワーク通信を可能にすることができる。さらに、描写されていないが、通信インターフェース５３２は、デバイス・ドライバなどのソフトウェア、アダプタなどのハードウェア、ならびに通信を可能にするその他のコントローラを含むことができる。サーバとして実現された場合、コンピュータ・システム５００は、たとえば、入出力コントローラに接続された複数の周辺装置相互接続（ＰＣＩ）バス・ブリッジを介してアクセス可能な複数の通信インターフェースを含むことができる。このように、コンピュータ・システム５００は複数の個別ポートを介して複数のクライアントへの通信を可能にし、各ポートは複数のクライアントへの複数の接続もサポートすることができる。

ネットワーク・リンク５３４およびネットワーク５０２はいずれも、デジタル・データ・ストリームを運搬する電気信号、電磁信号、または光学信号を使用する。様々なネットワークを通る信号と、ネットワーク・リンク５３４上ならびに通信インターフェース５３２を通る信号であって、コンピュータ・システム５００との間でデジタル・データを運搬する信号は、情報を転送する搬送波の形にすることができる。

加えて、コンピュータ・システム５００は、入力および出力を容易にする複数の周辺装置を含むことができる。これらの周辺装置は、バス５２２の複数レベルの１つに結合された、入出力（Ｉ／Ｏ）インターフェース５２６などの複数のコントローラ、アダプタ、および拡張スロットに接続されている。たとえば、入力装置５２４は、入力を制御する入出力インターフェース５２６を介してバス５２２上で通信可能に使用可能になっているマイクロホン、ビデオ・キャプチャ装置、身体走査システム、キーボード、マウス、またはその他の入力周辺装置を含むことができる。加えて、たとえば、出力を制御するために入出力インターフェース５２６を介してバス５２２上で通信可能に使用可能になっている出力装置５２０は、１つまたは複数の図形表示装置、オーディオ・スピーカ、および触覚検出可能出力インターフェースを含むことができるが、その他の出力インターフェースも含むことができる。本発明の代替諸実施形態では、追加または代替入出力周辺装置を追加することができる。

当業者であれば、図５に描写されているハードウェアが様々になる可能性があることが分かるであろう。さらに、当業者であれば、描写されている例が本発明に関するアーキテクチャ上の制限を示すためのものではないことが分かるであろう。

次に図６を参照すると、このブロック図は、動作対応警告方法、システム、およびプログラムを実現可能な分散ネットワーク環境の一例を描写している。分散ネットワーク環境６００は、動作対応警告方法、システム、およびプログラムを実現可能な、あるタイプのネットワーク環境の例証となるものであるが、動作対応警告方法、システム、およびプログラムは他のネットワーク環境でも実現可能であることは留意すべき重要なことである。加えて、分散ネットワーク環境６００内のシステム分散はシステム分散の例証となるものであるが、ネット枠環境内の他のシステム分散も実現可能であることは留意すべき重要なことである。さらに、この例で描写されているシステムは、動作処理システムおよび動作対応警告システムを実現する際にアクセスされるかまたはアクセスを要求する可能性のあるタイプのシステムおよびサービスを表していることは留意すべき重要なことである。あるネットワーク環境内のその他のタイプのシステムおよびサービスならびにシステムおよびサービスのその他のグループ化も動作処理システムおよび動作対応警告システムを実現可能であることが理解されるであろう。

例示されている通り、分散ネットワーク環境６００内の複数のシステムはネットワーク５０２を介して通信可能に接続することができ、そのネットワークは、通信可能に接続された様々な装置とコンピュータとの間の通信リンクを提供するために使用される媒体である。ネットワーク５０２は、たとえば、ワイヤまたは光ファイバ・ケーブルなどの永続接続ならびに電話接続および無線伝送接続によって行われる一時接続を含むことができる。ネットワーク５０２は、パケット交換ベースと電話ベースの両方のネットワーク、ローカル・エリア・ネットワークおよび広域ネットワーク、公衆網および私設網を表すことができる。図６は、動作処理システムおよび動作対応警告システムをサポートするための分散通信ネットワークの一例を表すものであるが、その他のネットワーク構成およびネットワーク・コンポーネントも実現可能であることが理解されるであろう。

図６に描写されているネットワーク環境は、複数タイプのネットワーク・アーキテクチャを実現することができる。一例では、このネットワーク環境は、クライアント／サーバ・アーキテクチャを使用して実現することができ、データまたはプロセスを要求するコンピューティング・システムはクライアントと呼ばれ、データ要求およびプロセスを処理するコンピューティング・システムはサーバと呼ばれる。クライアント／サーバ・アーキテクチャ内では、クライアント・システムはクライアントとサーバの両方として実行することができ、サーバ・システムはクライアントとサーバの両方として実行できることが理解されるであろう。加えて、その他のタイプのネットワーク・アーキテクチャおよびネットワーク・アーキテクチャの組み合わせも実現可能であることが理解されるであろう。

この例では、分散ネットワーク環境６００は、画像取り込みシステム６０４を有するクライアント・システム６０２と、画像取り込みシステム６０８を有するクライアント・システム６０６とを含む。一例では、画像取り込みシステム６０４および６０８は、画像取り込み装置２０２および２０４などの１つまたは複数の画像取り込み装置を実現する立体画像装置を含み、センサ２４０などの１つまたは複数のセンサを含むことができる。画像取り込みシステム６０４および６０８は、画像およびその他のデータを取り込み、処理のためにネットワーク５０２を介して画像およびその他のデータを他のシステムにストリーム化する。加えて、画像取り込みシステム６０４および６０８は、図３に関して記載したビデオ・プロセッサ３１６およびビデオ・プロセッサ３１８などのオブジェクト・プロパティを追跡するためのビデオ・プロセッサと、図３に関して記載した形状プロセッサ３２０などの３Ｄオブジェクト・プロパティのストリームを生成するための形状プロセッサとを含むことができる。

一例では、クライアント・システム６０２およびクライアント・システム６０６のそれぞれは、取り込み画像フレームを１つまたは複数の動作検出サービスにストリーム化することができる。一例では、動作処理サービス・プロバイダ・サーバ６２０は、ストリーム化画像およびその他のデータを処理するための３Ｄオブジェクト検出器１０４などのオブジェクト検出器サービスと、あるタイプの動作を予測し、取り込み画像が予測タイプの動作を表す確率を予測し、その動作が有害である確率を予測し、ネットワーク５０２を介してアクセス可能な１つまたは複数の他のシステムへの予測動作レコードの出力を制御するための動作インタープリタ１０６などの動作インタープリタ・サービスの両方を含むサービスを提供する。

動作処理サービス・プロバイダ・サーバ６２０については、種々のエンティティが動作処理サービスを実現することができ、種々のエンティティが動作処理サービスにアクセスすることができる。一例では、クライアント・システム６０２またはクライアント・システム６０６の一方にログインしたユーザは、動作処理サービスに加入することができる。他の例では、画像取り込みシステムまたは動作処理を要求する特定のアプリケーションは、取り込み画像およびデータを自動的に動作処理サービスにストリーム化することができる。さらに他の例では、企業またはその他のエンティティは、通信ネットワーク内で動作処理サービスを実現することができる。

他の例では、クライアント・システム６０２およびクライアント・システム６０６のそれぞれは、取り込みフレームを３Ｄオブジェクト検出器サーバ６２４にストリーム化することができる。３Ｄオブジェクト検出器サーバ６２４は、画像取り込みシステム６０４または画像取り込みシステム６０８などの画像取り込みシステムから取り込み画像およびその他のデータを受信し、その画像およびその他のデータを処理し、動作インタープリタ・サーバ６２２または動作処理サービス・プロバイダ・サーバ６２０などの動作インタープリタ・システムに出力するために検出動作の３Ｄオブジェクト・プロパティを生成する。追加または代替諸実施形態では、オブジェクト検出器サービスは１つまたは複数の他のシステム内で実現することができ、１つまたは複数の他のサービスはこれらのシステム内で実行される。特に、追加または代替諸実施形態では、オブジェクト検出器サービスは、画像およびその他のデータが取り込まれるクライアント・システム内で実現することができる。

特に、動作インタープリタ・サーバ６２２および３Ｄオブジェクト検出器サーバ６２４については、これらのサーバのそれぞれを１つまたは複数のシステム全域で分散させることができる。特に、動作インタープリタ・サーバ６２２および３Ｄオブジェクト検出器サーバ６２４のそれぞれは、効率的な３Ｄデータ処理を実行するようにプログラミングされたＣｅｌｌ ＢＥアーキテクチャを有するプロセッサを含む、３Ｄ画像処理能力を有するシステム全域で分散させる。一例では、企業またはサービス・プロバイダなどのエンティティは、オブジェクト検出および動作解釈のために個別のサーバ・システムを実現することができ、種々のタイプの３Ｄオブジェクト・プロパティを処理する各動作インタープリタ・サーバによって複数の動作インタープリタ・サーバが実現される。

動作処理サービス・プロバイダ・サーバ６２０、動作インタープリタ・サーバ６２２、および３Ｄオブジェクト検出器サーバ６２４は、生画像、３Ｄ動作プロパティ、および動作定義について、動作データベース１１２などの動作データベースをローカルに保管することができる。加えて、動作処理サービス・プロバイダ・サーバ６２０、動作インタープリタ・サーバ６２２、および３Ｄオブジェクト検出器サーバ６２４は、動作データベース１１２を容易にする動作データベース・サービス・サーバ６２６にアクセスすることができる。前に記載した通り、動作データベース１１２は、生画像およびデータ、３Ｄ動作プロパティ、動作定義、ならびにオブジェクト予測を含むことができるが、これらに限定されない。

加えて、動作データベース・サービス・サーバ６２６は動作学習コントローラ６３０を含む。動作学習コントローラ６３０は、特定のタイプの動作のサンプルを提供するよう、モニター対象ユーザまたは監視ユーザにかかわらず、ユーザにプロンプトを出し、予測タイプの動作が実際の動作と一致するかどうかならびに予測有害動作が実際に有害であるかどうかを示すよう、ユーザにプロンプトを出す。加えて、動作学習コントローラ６３０は、動作オブジェクト検出器サービスおよび動作インタープリタ・サービスによってアクセスされたときに、これらのサービスによる３Ｄオブジェクト・プロパティ生成の正確さと、これらのサービスによる３Ｄオブジェクト・プロパティからの動作ならびに動作の潜在的な有害性の予測の正確さを増すような、動作データベース１１２内の動作情報を動作学習コントローラ６３０が学習し維持できるようにするその他の情報を収集する。

さらに、動作処理サービス・プロバイダ・サーバ６２０、動作インタープリタ・サーバ６２２、３Ｄオブジェクト検出器サーバ６２４、または動作データベース・サービス・サーバ６２６は、有害と見なされる動作のタイプならびにクライアント・プロファイル・サービス・サーバ６４０からユーザが検出可能な警告のタイプを指定し、モニター対象ユーザまたは監視ユーザを含むユーザに関する追加のコンテキスト情報にアクセスすることができる。加えて、クライアント・プロファイル・サービス・サーバ６４０は、ユーザの現在位置、ユーザが位置する現在の物理的環境、ユーザについて現在スケジューリングされているイベントなどのモニター対象情報からユーザの位置に関する追加情報をモニターし提供することができる。一例では、クライアント・プロファイル・サービス・サーバ６４０は、たとえば、ユーザの個人用携帯電話装置からユーザの電子カレンダまたはユーザの現行ＧＰＳ位置をモニターする。

動作処理サービス・プロバイダ・サーバ６２０および動作インタープリタ・サーバ６２２は、動作レコード４２０などの予測動作レコードをネットワーク５０２を介して動作対応アプリケーションにストリーム化する。この実施形態例では、クライアント・システム６０６は、クライアント・システム６０６が動作レコードおよびその他のデータに基づいて警告信号を判断し、その警告信号を監視ユーザに出力できるようにする、動作対応アプリケーションである警告システム６１０を含む。クライアント・システム６０６の警告システム６１０は、画像取り込みシステム６０８によって取り込まれたようにクライアント・システム６０６から予測動作レコードを受信する場合もあれば、画像取り込みシステム６０８あるいはその他の画像取り込み装置または画像取り込みシステムによって検出された画像およびデータに基づく予測動作レコードを受信する場合もある。

加えて、この実施形態例では、クライアント・サービス・プロバイダ・サーバ６１２は、クライアント・サービス・プロバイダ・サーバ６１２が動作レコードおよびその他のデータに基づいて警告信号を判断して出力できるようにするための動作対応サービスである警告システム６１４を含む。クライアント・サービス・プロバイダ・サーバ６１２は、１つまたは複数の加入クライアント・システムに警告サービスを提供するサーバを表している。警告システム６１４は、１つまたは複数のシステムから特定の環境に関する動作レコードを受信し、警告信号を判断し、その警告信号を１つまたは複数のクライアント・システムに出力することができる。

次に図７に関して説明すると、このブロック図は、動作対応警告システムと通信する動作インタープリタ・システムの実現の一例を例示している。警告システム７００は、スーパバイザがモニターしている実際の環境について取り込まれたリアルタイムの３Ｄ画像およびその他のデータに基づいて警告システム７００が警告出力を提供できるようにする動作処理システム１００から予測動作レコードを受信する。ある利点によれば、警告システム７００は、監視ユーザのみが警告信号を検出し、警告信号がモニター対象ユーザにとって検出不能になるように警告信号の出力を制御する出力装置への警告信号を制御することができる。

特に、警告システム７００の警告コントローラ７０８は、警告命令を動作レコード７０２などの動作レコードに基づくものにすることができる。加えて、警告コントローラ７０８は、動作レコード７０２に含まれるデータと結合されたその他のデータに基づいて警告命令を強化または生成することができる。たとえば、警告コントローラ７０８は、モニター対象環境に関する構造マップ、写真、ビデオ・ストリーム、ＲＦＩＤ情報、およびその他のデータにアクセスすることにより、モニター中の環境に関する静的または動的情報にアクセスすることができる。加えて、警告コントローラ７０８は、その他の画像装置により、ある環境内のモニター対象ユーザに関する情報にアクセスすることができる。次に、警告コントローラ７０８は、モニター対象環境内の位置で予測動作レコードのマッピングを生成することができる。

特に、この例では、警告システム７００は動作レコード７０２を受信し、警告コントローラ７０８は動作レコード７０２を、環境のモデリングおよび監視ユーザへの警告命令の生成を容易にする入力に変換する。描写されている実施形態では、動作レコード７０２を変換する際に、警告コントローラ７０８は動作変換データベース７１０にアクセスして、動作のタイプ、そのタイプの動作の確率百分率、その動作が有害である確率百分率を、警告命令が出力される装置のタイプに基づいて警告命令に変換する。その他の諸実施形態では、警告システムを実現するために警告コントローラ７０８によって使用可能なその他のタイプのデータに動作レコードを変換することができる。ユーザ・プリファレンス・データベース７０６は、警告命令が出力される装置のタイプに関するプリファレンスと、有害動作変換データベース７１０をフィルタリングする際に使用するための追加のフィルタリング・プリファレンスとを指定することができる。加えて、有害動作変換データベース７１０は、特定の監視ユーザに関連付けるか、または警告システム７００にとって使用可能な複数の有害動作変換データベースの選択の中から他の基準に応じて選択することができる。

この例では、有害動作変換データベース７１０は、各項目ごとに、複数のカテゴリで指定されたデータを含む。特に、この例では、各項目は、ジェスチャ・タイプと最小（ｍｉｎ）有害動作百分率を含み、さらに適用可能であれば、赤外線コントローラ、触覚フィードバック装置、オーディオ・フィードバック装置、および画像オーバーレイ・コントローラに対する警告信号を生成するための命令を含む。加えて、描写されていないが、各項目は、その動作タイプが正しく予測される最小しきい確率百分率と、追加または代替タイプの警告システム出力装置に関する警告信号を生成するための命令を含むことができる。

特に、この例では、動作レコード７０２に含まれるモニター対象動作は、モニター対象ユーザが不規則な足取りで歩いていることを示しており、そのモニター対象動作が左側の不規則な足取りである確率は９０％の確実性であり、その不規則な足取りが有害動作を表す確率は７０％の確実性である。加えて、動作レコード７０２は、一般モニター対象環境を「ビルＢ」として示している。予測動作レコード７０２に含まれるデータの例は、動作処理システム１００によって出力され、警告システム７００によって受信される動作レコードに含まれる可能性のあるデータのタイプおよびデータの詳細の例証となるものであるが、これらを制限するものではないことは留意すべき重要なことである。たとえば、動作レコードは、モニター対象ユーザが歩いている速度、モニター対象ユーザが歩いている方向、ならびにモニター対象環境が２人以上のモニター対象ユーザを含む場合に、シャツの色または髪の色など、モニター対象ユーザを識別すると思われる情報も示すことができるであろう。

この例では、警告コントローラ７０８は、例示されている装置のうちの１つまたは複数への警告命令を制御することができる。たとえば、警告コントローラ７０８は、動作レコード７０２を有害動作変換データベース７２０の項目７２２と比較し、動作レコード７０２およびその他の収集データを項目７２２と比較したことにより生成される命令に基づいて、赤外線コントローラ７３０、画像オーバーレイ・コントローラ７４０、触覚フィードバック・コントローラ７５０、およびオーディオ・フィードバック・コントローラ７６０のうちの１つまたは複数への警告信号を制御することができる。警告コントローラ７０８が追加または代替タイプの出力装置ならびに複数の同じタイプの出力装置に警告信号を出力できることは理解されるであろう。

動作レコード７０２に基づいて警告命令を制御する際に、一例では、警告コントローラ７０８は、「ビルＢ」という環境内で赤外線コントローラ７３０をオンにするための信号を送信する必要があると判断することができる。警告コントローラ７０８は、赤外線コントローラ７３０が「ビルＢ」をモニターするために赤外線装置を制御すると判断する。警告コントローラは、警告信号を生成し、参照番号７３２に例示されている通り、その警告信号を赤外線コントローラ７３０に送信して、赤外線システムをオンにする。赤外線システムをオンにするように赤外線コントローラ７３０に指示することに加えて、警告コントローラ７０８は、赤外線コントローラ７３０がモニター対象ユーザに焦点を合わせることができるようにするための追加命令を提供することができる。

他の例では、動作レコード７０２に基づいて警告命令を制御する際に、警告コントローラ７０８は、「ビルＢ」内で取り込まれた画像について画像オーバーレイ・コントローラ７４０に信号を送信する必要があると判断することができる。この例では、画像オーバーレイ・コントローラ７４０は、取り込み画像ストリーム上に画像層をオーバーレイすることを制御する。画像層は、テキスト画像、図形画像、およびビデオ画像を含むことができるが、これらに限定されない。一例では、「ビルＢ」内の取り込みビデオ画像の上の画像層として透明な着色オーバーレイを配置して、モニター対象ユーザの一部分が潜在的に有害な動作の標識を起動したことを示すことができる。たとえば、警告コントローラ７０８は、参照番号７４２に例示されている警告信号を送信し、左側の不規則な足取りに画像層の焦点を合わせるよう画像オーバーレイ・コントローラ７４０に指示する。加えて、画像オーバーレイ・コントローラ７４０が不規則な足取りを示す画像層を前に取り込んだかまたは現在取り込んでいる画像ストリームの１つにマッピングできるように、警告コントローラ７０８は検出動作の座標の標識を含む動作レコード７０２を送信することができる。

さらに他の例では、動作レコード７０２に基づいて警告命令を制御する際に、警告コントローラ７０８は、触覚フィードバック・コントローラ７５０に信号を送信する必要があると判断することができる。触覚フィードバック・コントローラ７５０は１つまたは複数の触覚フィードバック装置への出力を制御する。触覚フィードバック特性としては、パルスの強さ、強度、パターン、持続時間、および位置を含むことができるが、これらに限定されない。加えて、監視ユーザは１つまたは複数の触覚フィードバック装置からの触覚フィードバックを検出することができ、警告コントローラ７０８は複数の触覚フィードバック装置について１つの同じ信号または複数の異なる信号を生成することができる。この例では、警告コントローラ７０８は、参照番号７５２に例示されている警告信号を送信し、７０％の強さで左の触覚フィードバック装置にパルス出力するよう触覚フィードバック・コントローラ７５０に指示する。

さらに、他の例では、動作レコード７０２に基づいて警告命令を制御する際に、警告コントローラ７０８は、オーディオ・フィードバック・コントローラ７６０に信号を送信する必要があると判断することができる。オーディオ・フィードバック・コントローラ７６０は１つまたは複数のオーディオ・フィードバック装置への出力を制御する。警告コントローラ７０８は、音声フィードバックに変換される警告信号音パターンおよびテキストを生成する音を含むがこれに限定されない種々のタイプのオーディオ・フィードバックを制御することができる。この例では、警告コントローラ７０８は、参照番号７６２に例示されている警告信号を送信し、「不規則な足取り、左側」というオーディオ信号を出力するようオーディオ・フィードバック・コントローラ７６０に指示する。

項目７２２に加えて、有害動作変換データベース７１０の項目７２０および７２４はさらに、有害動作変換データベース７１０に含めることができる項目のタイプの例証となるものである。たとえば、項目７２０は、「目をそらすこと（eye aversion）」として示されているジェスチャの場合、最小有害性が７５％であり、いかなる赤外線コントローラも起動する必要がないと指定しているが、その強度百分率で両方の触覚リングに１回パルス出力するための触覚フィードバック・コントローラへの警告信号、「目をそらすこと」というオーディオ・フィードバックを提供するためのオーディオ・フィードバック・コントローラへの警告信号、あるいはその有害百分率の透明度で目の領域を赤で強調表示するための画像オーバーレイ・コントローラへの警告信号をフォーマットするための命令が指定されている。他の例では、項目７２４は、「多量の発汗（heavyperspiration）」として示されているジェスチャの場合、最小有害性が８０％であり、ユーザ・プリファレンス・データベース７０６に指定されている場合に赤外線コントローラを起動する必要があると指定しており、両方の触覚リングに高速で２回パルス出力するための触覚フィードバック・コントローラへの警告信号、「多量の発汗」というオーディオ・フィードバックを提供するためのオーディオ・フィードバック・コントローラへの警告信号、あるいはその有害百分率の透明度で発汗領域を緑で強調表示するための画像オーバーレイ・コントローラへの警告信号をフォーマットするための命令が指定されている。

この例では、警告コントローラ７０８は、赤外線コントローラ７３０によりモニター装置をオンにする警告信号、画像オーバーレイ・コントローラ７４０によりモニター対象ビデオ画像を調整する警告信号、ならびに触覚フィードバック・コントローラ７５０およびオーディオ・フィードバック・コントローラ７６０により個々の監視ユーザに警告する警告信号を制御する。したがって、有利なことに、警告コントローラ７０８は、警告信号の出力がモニター対象ユーザにとって検出不能である装置への警告信号の出力を制御する。モニター対象ユーザが画像オーバーレイ・コントローラ７４０によって制御された画像を見ることができる環境では、ユーザ・プリファレンス・データベース７０６は画像オーバーレイ・コントローラ７４０への出力を除外することができる。

次に図８に関して説明すると、このブロック図は、オブジェクト検出インターフェースおよびナビゲーション出力インターフェースの一例を例示している。この例では、図８は、装着型装置であるヘッドピース８００を含む。一例では、監視ユーザは、メガネとして例示されているヘッドピース８００を装着する。追加または代替一実施形態では、ヘッドピース８００は他のタイプの装着型装置を表すことができる。加えて、ヘッドピース８００は、ヘッドピース８００を装着している監視ユーザに関して記載されているが、代替諸実施形態では、モニター対象ユーザがヘッドピース８００を装着することもできる。

この例では、画像取り込み装置２０２および画像取り込み装置２０４はそれぞれ、ヘッドピース８００に固定されている。画像取り込み装置２０２および画像取り込み装置２０４のそれぞれは、ビデオ画像ストリームおよびその他のタイプの感知データを取り込む。画像取り込み装置２０２および画像取り込み装置２０４のそれぞれは、有線接続によるかまたはヘッドピース８００に固定された無線送信機８１０による送信により、動作処理システム１００を実現するコンピュータ・システム８１２に画像およびデータを送信することができる。

一例では、コンピュータ・システム８１２は、ヘッドピース８００を装着している監視ユーザによって所持または装着されているコンピュータ・システム５００などのローカル・モバイル・コンピューティング・システムである。たとえば、ローカル・モバイル・コンピューティング・システムとしてのコンピュータ・システム８１２は、ヒップベルトで取り付けたコンピューティング・システム、無線電話装置、またはラップトップ・コンピューティング・システムで実現することができる。他の例では、コンピュータ・システム８１２は、定位置に存続するかまたは１人の監視ユーザによって装着されるが、コンピュータ・システム８１２に関連する受信機の放送受信範囲内の無線送信機８１０またはその他の無線送信機からの無線伝送を受信する。

動作処理システム１００は、コンピュータ・システム８１２内で実行される場合もあれば、動作処理サービスを提供する他のコンピューティング・システムと相互作用して、図６に例示されている通り、取り込み画像およびデータを処理し、取り込み画像およびデータから予測ジェスチャを返す場合もある。特に、コンピュータ・システム８１２は、それによりコンピュータ・システム８１２がネットワーク５０２を介して他のコンピューティング・システムと相互作用する有線または無線ネットワーク・インターフェースを含むことができる。

一例では、画像取り込み装置２０２および画像取り込み装置２０４は、監視ユーザの正面数ヤード（数メートル）など、ユーザの真正面から監視ユーザの正面に伸びる距離までの焦点領域を取り込むために、ヘッドピース８００上に位置決めされる。焦点領域がユーザの真正面の領域を含むことにより、画像取り込み装置２０２および画像取り込み装置２０４は、ヘッドピース８００を装着している監視ユーザによって行われる動作の画像を取り込むことができる。加えて、焦点領域が監視ユーザの正面に伸びる領域を含むことにより、画像取り込み装置２０２および画像取り込み装置２０４は、監視ユーザの進路内のモニター対象ユーザの動作の画像を取り込むことができる。さらに、画像取り込み装置２０２および画像取り込み装置２０４は、監視ユーザがその中に存在する環境次第で、側面、監視ユーザの上および後ろの領域を取り込むために、ヘッドピース８００上に位置決めすることができる。動作処理システム１００は、画像取り込み装置２０２および画像取り込み装置２０４によって取り込まれた画像およびデータを処理し、監視ユーザにとって最も有用な動作認識のタイプの学習に基づいて、監視ユーザに出力するために予測障害レコードを警告システム７００に渡す。

警告システム７００が監視ユーザへの出力を制御する際に、この例では、警告システム７００はオーディオ・フィードバックをヘッドピース８００に送信することができ、ヘッドピース８００は、ヘッドピース８００に固定され、ユーザの耳にオーディオを出力するためのイヤホンとして位置決めされたオーディオ出力装置８０６およびオーディオ出力装置８０８を含む。オーディオ出力装置８０６およびオーディオ出力装置８０８のそれぞれは、警告システム７００によって指示された通り、有線接続を介してコンピュータ・システム８１２からまたは無線送信機８１０からの出力のためのオーディオ伝送を受信することができる。

一例では、画像取り込み装置２０２および画像取り込み装置２０４は監視ユーザに接近するモニター対象ユーザの画像を取り込み、動作処理システム１００は、取り込み画像を受信し、モニター対象ユーザの動作ならびにその動作が潜在的に有害な動作であるかどうかを予測する。動作処理システム１００は、動作タイプならびにその動作が有害動作として予測されたかどうかを予測動作レコードに入れて警告システム７００に渡す。図７に関して前に記載した通り、警告システム７００は、予測動作レコードをオーディオ出力に変換し、オーディオ出力装置８０６およびオーディオ出力装置８０８に対する変換されたオーディオの出力を制御する。有利なことに、監視ユーザによって装着されたオーディオ出力装置８０６およびオーディオ出力装置８０８への警告信号の出力を制御することにより、モニター対象ユーザではなく、監視ユーザのみがオーディオ出力警告信号を受信する。

この例では、画像取り込み装置２０２、画像取り込み装置２０４、オーディオ出力装置８０６、およびオーディオ出力装置８０８は同じヘッドピース８００に固定されているが、代替諸実施形態では、画像取り込み装置はオーディオ出力装置とは別のヘッドピースに固定できることは留意すべき重要なことである。加えて、この例では、コンピュータ・システム８１２は動作処理システム１００と警告システム７００の両方を含むが、代替一実施形態では、動作処理システム１００と警告システム７００のそれぞれを異なるコンピューティング・システムで実現できることは留意すべき重要なことである。

加えて、複数の監視ユーザおよびモニター対象ユーザのそれぞれが個別のヘッドピースを装着することができ、それぞれのヘッドピース上の画像取り込み装置によって取り込まれた画像は無線または有線ネットワーク接続を介してコンピュータ・システム８１２などの同じコンピュータ・システムに送信されることは留意すべき重要なことである。複数の人から協調画像およびデータを収集することにより、動作処理システム１００は、動作を表すオブジェクトをより正確に検出し、動作のタイプならびにその動作が潜在的に有害であるかどうかをより正確に予測することができる。さらに、複数のローカル・モバイル・コンピュータ・システムのそれぞれが、ヘッドピースに固定された画像取り込み装置およびセンサから画像およびデータを収集し、無線または有線ネットワーク接続を介して相互に通信し、収集画像、データ、検出オブジェクト、予測動作、ならびに予測動作が潜在的に有害であるかどうかを共用できることは留意すべき重要なことである。監視ユーザは、保護されたネットワーク内で収集画像および予測動作レコードを共用することに同意することができる。

協調画像およびデータが単一システムで収集されるかまたは複数のシステム間で共用される場合、他のセットの取り込み画像およびデータに対する種々のセットの取り込み画像およびデータの配置を容易にするために、画像およびデータに追加情報を追加するかまたはそこから追加情報を抽出することができる。たとえば、各セットの画像およびデータを他のセットの画像およびデータに対して位置合わせし方向付けることができるように、協調のために送信された画像およびデータは位置標識および向き標識を含むことができる。

次に図９を参照すると、この例示的な図は、警告システムから触覚フィードバックを受信する触覚検出可能フィードバック装置の一例を例示している。例示されている通り、人はリストバンド９０４および９０８を装着することができ、そのそれぞれは、触覚検出可能出力を制御するためのコントローラと、触覚検出可能出力を作成するように制御可能なハードウェアとを含む。触覚検出可能出力の例としては、検出可能圧力パルス、リストバンドの表面の検出可能変化、ならびにリストバンド９０４および９０８を装着しているユーザによって感知可能なその他の調整を含むことができる。加えて、触覚検出可能出力は、頻度、強度、持続時間、ならびにリストバンド９０４および９０８を装着している監視ユーザによって感知可能なその他の特性について調整することができる。

この例では、リストバンド９０４は無線送信機９０２を含み、リストバンド９０８は無線送信機９０６を含む。無線送信機９０２および無線送信機９０６のそれぞれは、触覚フィードバック・コントローラ７５０への無線ネットワーク伝送を介して通信する。触覚フィードバック・コントローラ７５０は、警告システム７００から触覚信号を受信し、それぞれの無線送信機９０２および９０６に信号を送信して、リストバンド９０４およびリストバンド９０８からの触覚出力を指示する。有利なことに、監視ユーザによって装着されたリストバンド９０４およびリストバンド９０８への警告信号の出力を制御することにより、モニター対象ユーザではなく、監視ユーザのみが触覚出力警告信号を検出する。

特に、警告システム７００は、各リストバンドの周辺で出力のパルス・パターン、位置、力、持続時間、頻度、およびタイミングを制御するために無線送信機９０２および９０６のそれぞれに触覚警告信号を送信する。参照番号９１０に例示されている一例では、警告システム７００はバンド９１２を制御するための触覚信号を送信し、各触覚信号はｘｙ座標と力を含む。パルスのパターンおよび位置は、ｙ位置からｘ位置へのなどの幅ならびにリストバンドの周りを時計回りに回転するパルスなどの方向の点で変動する可能性がある。

無線送信機９０２および９０６のそれぞれは、重力と比較したリストバンド９０４および９０８のそれぞれの相対位置をモニターするためのセンサを含むことができる。参照番号９１０に例示されている例を参照すると、バンド９１２を装着しているユーザが自分の腕を回転するにつれて、ユーザの腕の現在位置に基づいて描写されている軸の周りに触覚信号が再位置決めされるように、触覚出力を制御するためのｙ位置は重力に対して常に上に保持され、−ｙ位置も下に保持されると思われる。

一例では、警告システム７００は、予測動作ならびにその予測動作が潜在的に有害である確率百分率を、項目例７２０、７２２、および７２４に例示されている通り、動作タイプならびにその動作が潜在的に有害である確率百分率を監視ユーザに対して明確に示す触覚出力に変換する。しかし、他の例では、警告システム７００は、予測動作ならびにその予測動作が潜在的に有害である確率百分率を、予測動作ならびにその動作が有害である確率に関連するモニター対象ユーザの領域に監視ユーザを向ける触覚出力に変換することができる。さらに他の例では、警告システム７００は、予測動作ならびに確率百分率を、腕を上げること、防御装置に手を伸ばすこと、あるいは監視ユーザが触覚出力から検出可能なその他の応答など、何らかの方法で物理的に応答するよう監視ユーザに指示する触覚出力に変換することができる。

リストバンド９０４および９０８が２つの定位置に位置するあるタイプの触覚フィードバック装置の例であり、代替諸実施形態では、他のタイプの触覚フィードバック装置を実現することができ、１つまたは複数の触覚装置を実現することができ、触覚装置を１つまたは複数の位置で検出可能なものにすることができることは留意すべき重要なことである。たとえば、多くの電話装置はすでに、予測動作ならびにその予測動作が潜在的に有害である確率百分率を表すバイブレーションを制御するための信号を送信することにより警告システム７００が制御可能なバイブレーション機能を含む。他の例では、監視ユーザは、グローブの指先に触覚調整可能インターフェースとともに点字（Braille）装置または３Ｄ「感触（feel）」装置として機能する触覚検出可能グローブを装着することができる。

ユーザはヘッドピース８００と触覚検出可能リストバンド９０４および９０８の両方を装着できることは留意すべき重要なことである。この例では、警告システム７００は、触覚フィードバック・コントローラ７５０および無線送信機８１０の一方または両方への出力を制御するであろう。さらに、ヘッドピース８００は、ユーザの周りの音声を検出するマイクロホン（描写されていない）を含むことができ、警告システム７００は、ノイズが特定のレベル以下であるときにオーディオ・フィードバックを出力することを選択し、ノイズが特定のレベル以上であるときに触覚検出可能出力を出力することを選択することができる。

次に図１０に関して説明すると、この例示的な図は、モニター対象ユーザの潜在的に有害な動作が検出され、警告システムによって監視ユーザに伝達される環境の一例を描写している。この例では、環境１０１０は、法執行官などの監視ユーザ１０１２と、モニター対象ユーザ１０１４とを含む。この例では、監視ユーザ１０１２は車両１００６から外に出ている。車両１００６は、環境１０１０内の動作運動を表す画像を取り込むために、画像取り込み装置２０２、画像取り込み装置２０４、およびセンサ２４０のうちの１つまたは複数などの画像取り込みシステム１００４を含む。画像取り込みシステム１００４はコンピュータ・システム８１２の動作処理システム１００に取り込みデータを渡し、コンピュータ・システム８１２は、車両１００６内に位置するかあるいはネットワーク５０２を介してアクセス可能な１つまたは複数のコンピュータ・システムを表すことができる。

動作処理システム１００は、画像取り込みシステム１００４によって取り込まれた画像を処理する。この例では、動作処理システム１００は、役人によって実行される巡回のタイプおよび役人のＩＤの表示とともに、車両１００６から画像を受信する。通行止めを実行する役人ならびに「役人Ａ」という役人ＩＤを考慮して、動作処理システム１００は通行止め動作定義１０２０および役人Ａ動作定義１０２２にアクセスし、通行止め中に一般的な動作をより正確に予測し、定義１０２０および１０２２に定義されている通行止めに関連する動作ならびに「役人Ａ」に関連する動作をより正確に予測する。

動作処理システム１００は、出力コントローラ１００８を介して監視ユーザ１０１２に出力するための警告命令を決定する際に警告システム７００によって使用するための予測動作レコードを生成する。監視ユーザ１０１２に出力するための警告命令を決定する際に、警告システム７００は、「役人Ａ」に関するユーザ・プリファレンス、通行止めについて設定されたプリファレンス、ならびに「役人Ａ」または役人全般に関する有害動作変換データベースにアクセスすることができる。

警告システム７００によって生成された警告命令に基づいて、警告システム７００は、車両１００６の外部の監視ユーザ１０１２にとってアクセス可能な出力装置および車両１００６から制御される出力装置への出力を制御するために出力コントローラ１００８への出力信号を制御する。たとえば、監視ユーザ１０１２は、それに対するオーディオ信号の出力を出力コントローラ１００８が制御するヘッドホンを装着する場合もあれば、それに対する触覚信号の出力を出力コントローラ１００８が制御する触覚検出可能装置を装着する場合もある。他の例では、車両１００６は、赤外線装置がオンになるかどうかならびに赤外線装置の取り込み領域の位置決めを制御するための信号を出力コントローラ１００８がそれに対して出力する赤外線装置を装備することもできる。出力コントローラ１００８は車両１００６内または監視ユーザ１０１２にとってアクセス可能な他のタイプの出力装置への出力信号を制御できることが理解されるであろう。加えて、出力コントローラ１００８は、複数の監視ユーザにとってまたは出力コントローラ１００８から特定の距離の範囲内にあるすべての監視ユーザにとってアクセス可能な出力装置への出力信号を制御することができる。さらに、警告システム１００８は、それに対して警告システム１００８が伝達する、他の車両または他の位置にある他の出力コントローラへの信号を制御することができる。

車両１００６などの任意のタイプの移動ユニットは監視ユーザに警告信号を提供するための動作処理システムおよび警告システムを実現可能であることは留意すべき重要なことである。加えて、車両１００６は移動ユニットであるが、その他の例では、セキュリティ・チェックポイントまたは公共輸送機関の入口点にあるユニットなどのユニットは、監視ユーザに警告信号を提供するための動作処理システムおよび警告システムを実現することができる。

加えて、図１０の例は通行止め中にある人と相互作用している監視ユーザを例示しているが、他の例では、動物またはその他の移動エンティティと相互作用する監視ユーザをモニターするために、車両１００６などの移動ユニットを実現できることは留意すべき重要なことである。

次に図１１を参照すると、この高レベル論理流れ図は、動作処理システムが所定の確率百分率でオブジェクト・タイプおよび進路を予測するためのプロセスおよびプログラムを描写している。この例では、プロセスはブロック１１００から始まり、その後、ブロック１１０２に移行する。ブロック１１０２は、焦点領域内で立体画像装置を介して複数の画像ストリームを取り込み、センサを介してセンサ・データを取り込むことを描写している。次に、ブロック１１０４は、画像およびセンサ・データ内のオブジェクトを追跡することを例示している。その後、ブロック１１０６は、追跡オブジェクトについて３Ｄオブジェクト・プロパティのストリームを生成することを描写している。その後、ブロック１１０８は、それぞれの追跡オブジェクトについて３Ｄオブジェクト・プロパティを集合させることを描写している。特に、集合３Ｄオブジェクト・プロパティは、少なくとも１人のモニター対象ユーザに関連して追跡され、少なくとも１人のモニター対象ユーザの動作を表す１つまたは複数のオブジェクトを表している。加えて、集合３Ｄオブジェクト・プロパティは、１人または複数の監視ユーザに関連して追跡され、１人または複数の監視ユーザの動作を表す１つまたは複数のオブジェクトを表すことができる。次に、ブロック１１１０は、ある確率百分率で３Ｄオブジェクト・プロパティの集合ストリームと一致する１つまたは複数の動作定義からの３Ｄオブジェクト・プロパティの集合ストリームから少なくとも１つのタイプの動作を予測することを例示している。加えて、次に、ブロック１１１２は、動作定義からある確率百分率でその動作が潜在的に有害であるかどうかを予測することを描写している。特に、ある動作が潜在的に有害であるかどうかを予測する際に、動作の潜在的有害性は、その動作が実行される環境のタイプ、特定の環境内の人の数、監視ユーザとモニター対象ユーザとの近接性、ならびに動作定義に定義可能なその他の要因に基づいて変化する可能性がある。その後、ブロック１１１４は、各予測動作タイプならびにその動作が潜在的に有害であるかどうかを動作レコードに入れて警告システムなどの動作対応アプリケーションに送信することを描写し、プロセスは終了する。

次に図１２に関して説明すると、この高レベル論理流れ図は、画像ストリームおよびその他の感知データ内のオブジェクトを追跡し、動作を表す追跡オブジェクトに関する３Ｄオブジェクト・プロパティを生成することによる動作検出のためのプロセスおよびプログラムを描写している。例示されている通り、プロセスはブロック１２００から始まり、その後、ブロック１２０２に移行する。ブロック１２０２は、オブジェクト検出器システムが１つまたは複数の画像取り込み装置を介して複数の画像ストリームを受信し、１つまたは複数のセンサを介して感知データを受信することを描写している。次に、ブロック１２０４は、オブジェクト検出器システムがメタデータを画像フレームおよび感知データに付加することを例示し、プロセスはブロック１２０６に移行する。一例では、メタデータは、カメラＩＤ、フレーム番号、タイム・スタンプ、および画素数などのデータを含むが、これらに限定されない。

ブロック１２０６は、オブジェクト検出器システムが各画像ストリームおよび感知データを処理し、オブジェクトを検出し追跡することを描写し、オブジェクトとしては、物理的オブジェクトならびに動作を示すユーザ運動を含むことができる。次に、ブロック１２０８は、各画像ストリームからのメタデータとともに追跡オブジェクト・プロパティのストリームを生成することを例示している。その後、ブロック１２１０は、３Ｄオブジェクト・プロパティを生成するための追跡オブジェクト・プロパティをメタデータと結合することを描写している。次に、ブロック１２１２は、３Ｄ追跡オブジェクト・プロパティを動作インタープリタ・システムに送信することを例示し、プロセスは終了する。

次に図１３を参照すると、この高レベル論理流れ図は、追跡３Ｄオブジェクト・プロパティからの動作予測のためのプロセスおよびプログラムを描写している。この例では、プロセスはブロック１３００から始まり、その後、ブロック１３０２に移行する。ブロック１３０２は、動作インタープリタ・システムが３Ｄオブジェクト・プロパティを受信するかどうかの判断を描写している。動作インタープリタ・システムが３Ｄオブジェクト・プロパティを受信すると、プロセスはブロック１３０４に移行する。ブロック１３０４は、ある範囲の適用可能動作定義にアクセスすることを描写し、プロセスはブロック１３０６に移行する。

ブロック１３０６は、動作インタープリタ・システムが追跡オブジェクトに関する３Ｄオブジェクト・プロパティを適用可能動作定義と比較することを例示している。次に、ブロック１３０８は、動作インタープリタ・システムが１つまたは複数セットの３Ｄオブジェクト・プロパティに最も一致している少なくとも１つの動作定義を検出することを描写している。その後、ブロック１３１０は、３Ｄオブジェクト・プロパティが動作定義と一致する確率百分率を計算することを例示している。次に、ブロック１３１２は、動作定義に設定された有害性特性に基づいて予測動作が潜在的に有害であるかどうかを予測することを描写している。その後、ブロック１３１４は、任意の予測動作、その予測動作が正しい確率百分率、その予測動作が潜在的に有害である確率百分率、およびその他の感知データを含む少なくとも１つの予想動作レコードを生成することを例示している。次に、ブロック１３１６は、メタデータを含む予測動作レコードを特定の動作対応アプリケーションに送信することを描写し、プロセスは終了する。

次に図１４に関して説明すると、この高レベル論理流れ図は、動作対応ナビゲーション・システム内で予測動作レコードを適用するためのプロセスおよびプログラムを描写している。例示されている通り、プロセスはブロック１４００から始まり、その後、ブロック１４０２に移行する。ブロック１４０２は、動作対応警告システムが予測動作レコードを受信するかどうかの判断を描写している。警告システムが予測動作レコードを受信すると、プロセスはブロック１４０４に移行する。ブロック１４０４は、他の監視ユーザの位置、環境内の他の予測動作レコード、および警告システムにとってアクセス可能なその他のデータを含むがこれらに限定されない、特定の環境に関連するその他のデータを収集することを例示している。その後、ブロック１４０６は、予測動作およびその他の収集データを監視環境内の１つまたは複数の位置にマッピングすることを描写している。次に、ブロック１４０８は、予測動作レコードおよびその他の収集データを、環境内の有害動作の位置を示す警告信号を含む、監視ユーザに出力するための１つまたは複数の警告信号に変換することを例示している。その後、ブロック１４１０は、選択された出力インターフェース・コントローラへの信号の出力を制御することを例示し、プロセスは終了する。

好ましい一実施形態に関して本発明を詳しく示し記載してきたが、当業者であれば、本発明の精神および範囲を逸脱せずに、形式および詳細について様々な変更が可能であることが理解されるであろう。

動作処理方法、システム、およびプログラムにおける情報の流れを例示するブロック図である。 ３Ｄオブジェクト検出器が取り込み、取り込まれた動作運動を表す３Ｄオブジェクト・プロパティを生成する環境の一例を描写する例示的なブロック図である。 動作インタープリタが３Ｄオブジェクト・プロパティからモニター対象ユーザの動作ならびにこれらの動作が潜在的に有害であるかどうかを解釈できるようにするために３Ｄオブジェクト・プロパティを生成するための３Ｄオブジェクト検出器システムの一実施形態を例示するブロック図である。 動作インタープリタ・システムの一実施形態を描写するブロック図である。 本発明を実現可能なコンピューティング・システムの一実施形態を例示するブロック図である。 動作対応警告方法、システム、およびプログラムを実現可能な分散ネットワーク環境の一例を描写するブロック図である。 動作対応警告システムと通信する動作インタープリタ・システムの実現の一例を例示するブロック図である。 オブジェクト検出インターフェースおよびナビゲーション出力インターフェースの一例を描写するブロック図である。 警告システムから触覚フィードバックを受信する触覚検出可能フィードバック装置の一例を例示する例示的な図である。 モニター対象ユーザの潜在的に有害な動作が検出され、警告システムによって監視ユーザに伝達される環境の一例を描写する例示的な図である。 動作処理システムが所定の確率百分率でオブジェクト・タイプおよび進路を予測するためのプロセスおよびプログラムを例示する高レベル論理流れ図である。 画像ストリームおよびその他の感知データ内のオブジェクトを追跡し、動作を表す追跡オブジェクトに関する３Ｄオブジェクト・プロパティを生成することによる動作検出のためのプロセスおよびプログラムを描写する高レベル論理流れ図である。 追跡３Ｄオブジェクト・プロパティからの動作予測のためのプロセスおよびプログラムを例示する高レベル論理流れ図である。 動作対応ナビゲーション・システム内で予測動作レコードを適用するためのプロセスおよびプログラムを描写する高レベル論理流れ図である。

符号の説明

１００：動作処理システム
１０２：検出可能動作運動
１０４：３Ｄオブジェクト検出器
１０６：動作インタープリタ
１０８：予測動作出力
１１０：３Ｄオブジェクト・プロパティ
１１２：動作データベース

Claims (20)

1. 有害動作を表すモニター対象ユーザの動作を監視ユーザに警告するためのコンピュータによって実行される方法において、
   前記監視ユーザによってモニターされた特定の環境内のモニター対象ユーザの３次元運動を取り込むステップであって、前記モニター対象ユーザに向けられた少なくとも１つの画像取り込み装置を使用して前記３次元運動が決定されるステップと、
   取り込まれた前記運動を使用して３次元オブジェクト・プロパティ・ストリームを識別するステップと、
   識別された前記３次元オブジェクト・プロパティ・ストリームを複数の有害動作定義と比較することにより、前記３次元オブジェクト・プロパティ・ストリームによって表された前記モニター対象ユーザの特定の定義済み有害動作を識別するステップと、
   前記複数の有害動作定義の中から前記モニター対象ユーザの前記特定の定義済み有害動作を識別したことに応答して、前記監視ユーザのみによって検出可能なインターフェースにより前記モニター対象ユーザの前記特定の定義済み有害動作について前記特定の環境に関する前記監視ユーザに通知するステップと、
   を含む方法。
2. 前記モニター対象ユーザの３次元運動を取り込む前記ステップが、前記モニター対象ユーザの特定の３次元運動を識別し追跡するための立体画像装置を使用して前記３次元運動を取り込むステップをさらに含む、請求項１に記載の方法。
3. 前記モニター対象ユーザの３次元運動を取り込む前記ステップが、前記３次元運動内で検出されたオブジェクトの少なくとも１つの追加特性を検出するために少なくとも１つの立体画像装置と少なくとも１つのセンサ対応装置を使用して前記３次元運動を取り込むステップをさらに含む、請求項１に記載の方法。
4. 前記３次元オブジェクト・プロパティ・ストリームを表す特定の定義済み有害動作を識別する前記ステップが、取り込まれた前記３次元運動が前記特定の有害動作定義に定義された特定の動作を表す確率百分率を計算するステップと、取り込まれた前記３次元運動が有害である確率百分率を計算するステップとをさらに含む、請求項１に記載の方法。
5. 前記３次元オブジェクト・プロパティ・ストリームを表す特定の定義済み有害動作を識別する前記ステップが、前記複数の有害動作定義の少なくとも１つと一致する前記３次元オブジェクト・プロパティ・ストリーム内の前記モニター対象ユーザの顔の表情、眼球運動、筋収縮、皮膚表面特性の変化のうちの少なくとも１つの微細細分性運動を含む、前記モニター対象ユーザの身体運動の少なくとも１つを識別するステップをさらに含む、請求項１に記載の方法。
6. 前記監視ユーザが通行止め、セキュリティ・チェックポイント、および尋問のうちの少なくとも１つを実行している法執行環境を含む前記特定の環境内で前記監視ユーザが法執行活動を実行していることを検出したことに応答して、前記特定の環境内の前記モニター対象ユーザの前記３次元運動を取り込むステップ
   をさらに含む、請求項１に記載の方法。
7. 前記モニター対象ユーザの心理状態をモニターする心理学の専門家を含む前記特定の環境内で前記監視ユーザが心理学的評価を実行していることを検出したことに応答して、前記特定の環境内の前記モニター対象ユーザの前記３次元運動を取り込むステップ
   をさらに含む、請求項１に記載の方法。
8. 識別された前記３次元オブジェクト・プロパティ・ストリームを複数の有害動作定義と比較することにより、前記３次元オブジェクト・プロパティ・ストリームを表す特定の定義済み有害動作を識別する前記ステップが、前記３次元オブジェクト・プロパティから、前記モニター対象ユーザによる不審な活動、前記モニター対象ユーザの障害状態、前記モニター対象者が所持する隠匿凶器、前記モニター対象者による積極的態度、前記モニター対象者の怒った顔の表情、および前記モニター対象者の神経質な状態のうちの１つを識別するステップをさらに含む、請求項１に記載の方法。
9. 前記モニター対象ユーザの前記特定の定義済み有害動作について前記特定の環境に関する前記監視ユーザに通知する前記ステップが、
   前記監視ユーザに出力される警告信号を制御するために警告システムに前記特定の定義済み有害動作を送信するステップと、
   前記警告システムにおいて、前記モニター対象ユーザによって検出不能な監視ユーザへの前記警告信号の出力を制御するために、前記特定の定義済み有害動作を出力装置の出力コントローラに出力するための出力信号に変換するステップと、
   をさらに含む、請求項１に記載の方法。
10. 有害動作を表すモニター対象ユーザの動作を監視ユーザに警告するためのシステムにおいて、
    ネットワークに通信可能に接続された動作処理システムであって、
    前記監視ユーザによってモニターされた特定の環境内のモニター対象ユーザの３次元運動を取り込むための手段であって、前記モニター対象ユーザに向けられた少なくとも１つの画像取り込み装置を使用して前記３次元運動が決定される手段と、
    取り込まれた前記運動を使用して３次元オブジェクト・プロパティ・ストリームを識別するための手段と、
    識別された前記３次元オブジェクト・プロパティ・ストリームを複数の有害動作定義と比較することにより、前記３次元オブジェクト・プロパティ・ストリームによって表された前記モニター対象ユーザの特定の定義済み有害動作を識別するための手段と、
    をさらに有する動作処理システムと、
    前記監視ユーザのみによって検出可能なインターフェースにより前記モニター対象ユーザの前記特定の定義済み有害動作について前記特定の環境に関する前記監視ユーザに通知するための少なくとも１つの警告信号を送信するために前記ネットワークを介して前記動作処理システムに通信可能に接続された警告システムと、
    を有するシステム。
11. 前記モニター対象ユーザの３次元運動を取り込むための前記手段が、前記モニター対象ユーザの特定の３次元運動を識別し追跡するための立体画像装置を使用して前記３次元運動を取り込むための手段をさらに有する、請求項１０に記載のシステム。
12. 前記３次元オブジェクト・プロパティ・ストリームを表す特定の定義済み有害動作を識別するための前記手段が、取り込まれた前記３次元運動が前記特定の有害動作定義に定義された特定の動作を表す確率百分率を計算し、取り込まれた前記３次元運動が有害である確率百分率を計算するための手段をさらに有する、請求項１０に記載のシステム。
13. 前記３次元オブジェクト・プロパティ・ストリームを表す特定の定義済み有害動作を識別するための前記手段が、前記複数の有害動作定義の少なくとも１つと一致する前記３次元オブジェクト・プロパティ・ストリーム内の前記モニター対象ユーザの顔の表情、眼球運動、筋収縮、皮膚表面特性の変化のうちの少なくとも１つの微細細分性運動を含む、前記モニター対象ユーザの身体運動の少なくとも１つを識別するための手段をさらに有する、請求項１０に記載のシステム。
14. 前記監視ユーザが通行止め、セキュリティ・チェックポイント、および尋問のうちの少なくとも１つを実行している法執行環境を含む前記特定の環境内で前記監視ユーザが法執行活動を実行していることを検出したことに応答して、前記特定の環境内の前記モニター対象ユーザの前記３次元運動を取り込むための手段を前記動作処理システムがさらに有する、請求項１０に記載のシステム。
15. 前記モニター対象ユーザの心理状態をモニターする心理学の専門家を含む前記特定の環境内で前記監視ユーザが心理学的評価を実行していることを検出したことに応答して、前記特定の環境内の前記モニター対象ユーザの前記３次元運動を取り込むための手段を前記動作処理システムがさらに有する、請求項１０に記載のシステム。
16. 識別された前記３次元オブジェクト・プロパティ・ストリームを複数の有害動作定義と比較することにより、前記３次元オブジェクト・プロパティ・ストリームを表す特定の定義済み有害動作を識別するための前記手段が、前記３次元オブジェクト・プロパティから、前記モニター対象ユーザによる不審な活動、前記モニター対象ユーザの障害状態、前記モニター対象者が所持する隠匿凶器、前記モニター対象者による積極的態度、前記モニター対象者の怒った顔の表情、および前記モニター対象者の神経質な状態のうちの１つを識別するための手段をさらに有する、請求項１０に記載のシステム。
17. 前記警告システムが、
    前記モニター対象ユーザによって検出不能な監視ユーザへの前記警告信号の出力を制御するために、前記特定の定義済み有害動作を出力装置の出力コントローラに出力するための出力信号に変換するための手段
    をさらに有する、請求項１０に記載のシステム。
18. 有害動作を表すモニター対象ユーザの動作を監視ユーザに警告するためのコンピュータ可読プログラムを含む記憶装置タイプのコンピュータで使用可能な媒体を有するプログラムにおいて、コンピュータ上で実行されたときに、前記コンピュータ可読プログラムが、
    前記監視ユーザによってモニターされた特定の環境内のモニター対象ユーザの３次元運動を取り込むステップであって、前記モニター対象ユーザに向けられた少なくとも１つの画像取り込み装置を使用して前記３次元運動が決定されるステップと、
    取り込まれた前記運動を使用して３次元オブジェクト・プロパティ・ストリームを識別するステップと、
    識別された前記３次元オブジェクト・プロパティ・ストリームを複数の有害動作定義と比較することにより、前記３次元オブジェクト・プロパティ・ストリームによって表された前記モニター対象ユーザの特定の定義済み有害動作を識別するステップと、
    前記監視ユーザのみによって検出可能なインターフェースにより前記モニター対象ユーザの前記特定の定義済み有害動作について前記特定の環境に関する前記監視ユーザに通知するステップと、
    を前記コンピュータに実行させるプログラム。
19. 前記コンピュータ可読プログラムがネットワークにより伝送される、請求項１８に記載のプログラム。
20. コンピュータ上で実行されたときに、前記コンピュータ可読プログラムが、前記モニター対象ユーザの特定の３次元運動を識別し追跡するための立体画像装置を使用して前記３次元運動を取り込むステップを前記コンピュータにさらに実行させる、請求項１８に記載のプログラム。

Images