JP2014516187A - 奥行きに基づく質量の中心からの頭部回転のトラッキング - Google Patents

奥行きに基づく質量の中心からの頭部回転のトラッキング Download PDF

Info

Publication number
JP2014516187A
JP2014516187A JP2014514528A JP2014514528A JP2014516187A JP 2014516187 A JP2014516187 A JP 2014516187A JP 2014514528 A JP2014514528 A JP 2014514528A JP 2014514528 A JP2014514528 A JP 2014514528A JP 2014516187 A JP2014516187 A JP 2014516187A
Authority
JP
Japan
Prior art keywords
depth
head
user
center
mass
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014514528A
Other languages
English (en)
Other versions
JP6080843B2 (ja
Inventor
アイホーン，デーヴィッド・マーク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2014516187A publication Critical patent/JP2014516187A/ja
Application granted granted Critical
Publication of JP6080843B2 publication Critical patent/JP6080843B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

ユーザーの頭部の回転は、奥行き画像からの奥行き値の関数として決定されうる。いくつかの実施形態に従って、ユーザーの頭部を含む奥行き画像からの画素の範囲は、頭部領域として識別される。頭部領域中の画素の奥行き値は、ユーザーの頭部に対する奥行き質量の中心を計算するために使用される。ユーザーの頭部の回転は、ユーザー頭部に対する奥行き質量の中心に基づいて決定されうる。

Description

本願発明の一実施例は、例えば、奥行きに基づく質量の中心からの頭部回転のトラッキングに関する。
[0001]多くのソフトウェアアプリケーションでは、ユーザーの頭部の向きは、入力の実際のかつそのままの形として使用されうる。例えば、３次元（３Ｄ）ゲーム、仮想現実環境および視覚化では、頭部の向きは、場面を視認するカメラの向きを制御するために使用されて、ユーザーが体験をより制御できるようにして、イマージョン（ｉｍｍｅｒｓｉｏｎ）を高めて、他の仕事のために、ジョイスティック、マウスまたはハットスイッチなどのいくつかの他の手段によってカメラの制御からユーザーの手を自由にする。これは、例えば、フライトシミュレーターおよびドライビングシミュレーターのファンの間では人気があり、彼らが仮想コックピットを見回し周囲を迅速に走査することを可能にする。
[0002]従来より、これらのタイプの頭部の向きのトラッキングシステムは、２つの手法のうち１つを選択することが多かった。トラッキングを可能にするために、ユーザーの頭部または帽子に取り付けたリフレクターまたは能動型赤外線ＬＥＤなどの特別なハードウェアをユーザーに付加する必要があるものがある。これは、ユーザーの快適さに影響を及ぼし、トラッキング体験のための準備が必要となり、またＬＥＤに給電するバッテリまたはケーブルを必要とする。ハードウェアの拡張をしないでユーザーをトラッキングする方法では、カメラ情報を処理し頭部向きを決定するためには、非常に複雑で計算処理上で高価なアルゴリズムが必要となる。この情報が、ＲＧＢ（すなわち、カラー）カメラからもたらされるとき、その成果物の質は、多くの現在の実施の場合と同様に照明によって影響されうる。このトピック上の学究的文献に記述されたアルゴリズムの多くは、大きな処理資源を必要とし、そのため多くのアプリケーションでは非実用的なものとなる。
本願発明の一実施例は、例えば、奥行きに基づく質量の中心からの頭部回転のトラッキングに関する。
[0003]この概要は、以降の「発明を実施するための形態」でさらに説明される概念の選択肢を概略化した形で紹介するために提供される。この概要は、特許請求の主題の主要な特徴または本質的な特徴を識別するものではなく、特許請求の主題の範囲の決定を補助するものとして使用されるものでもない。
[0004]本発明の実施形態は、奥行き画像からの奥行き値を使用することによって、ユーザーの頭部の回転を決定することに関する。ユーザーの頭部を含む奥行き画像の範囲は、頭部領域として識別されうる。次いで、頭部領域中の画素からの奥行き値は、ユーザーの頭部の回転と相関する奥行き質量の中心を計算するために使用されうる。したがって、ユーザーの頭部の回転は、ユーザーの頭部について計算された奥行き質量の中心に基づいて決定されうる。
[0005]本発明は、添付の図面を参照して以下に詳細に説明される。
[0006]本発明の実施形態を実施する際使用するのに適した例示的なコンピューティング環境のブロック図である。 [0007]本発明の一実施形態による、ユーザーの頭部の奥行き質量の中心を決定し、この奥行き質量の中心を用いてユーザーの頭部の回転を決定するための方法を示す流れ図である。 [0008]図３Ａは、本発明の実施形態による、ユーザーの頭部の周りで識別された頭部領域をもつ奥行き画像を示す図である。図３Ｂは、本発明の実施形態による、ユーザーの頭部の周りで識別された頭部領域をもつ奥行き画像を示す図である。 [0009]ユーザーの頭部の頂部、および、画素の奥行き値に対応する、所与のリファレンス位置から頭部上の点までの距離を示す平面図である [0010]図５Ａは、ユーザーの頭部が左側または右側に回転するにつれて、左側または右側にシフトする奥行き質量の中心をもつユーザーの頭部の頂部を示す平面図である。図５Ｂは、ユーザーの頭部が左側または右側に回転するにつれて、左側または右側にシフトする奥行き質量の中心をもつユーザーの頭部の頂部を示す平面図である。図５Ｃは、ユーザーの頭部が左側または右側に回転するにつれて、左側または右側にシフトする奥行き質量の中心をもつユーザーの頭部の頂部を示す平面図である。 [0011]本発明の実施形態による、背景の奥行き値を用いてユーザーの頭部の奥行き質量の中心およびユーザーの頭部の回転を決定するための方法を示す流れ図である。 [0012]所与の点に対応する画素の奥行き値および背景の奥行き値に基づいて決定された所与の点に対するユーザーの頭部の奥行きを示す平面図である。
[0013]本発明の主題は、法的要件を満たすように本明細書において具体的に説明される。ただし、その説明はそれ自体、本特許の範囲を限定するものではない。正しくは、発明者は、現在および今後の他の技術と併せて、本文書において説明されるものと異なるステップまたは同様のステップの組合せを含む他の方式でも特許請求の主題が実施されうることを企図してきた。さらに、用語「ステップ」および／または「ブロック」は、使用された方法の異なる要素を包含するように本明細書において使用されてよく、これら用語は、個々のステップの順序が明確に述べられた場合を除き、本明細書において開示された様々なステップ間のいかなる特定の順序も意味すると解釈されるべきではない。
[0014]本発明の実施形態は、奥行きカメラからの距離情報および軽量化計算メトリックを用いてユーザーの頭部の回転をトラッキングすることを対象とする。この手法は、極めて少ないメモリおよびＣＰＵ消費で、リアルタイムに実行することが可能である。加えて、この手法は、ユーザーの頭部にいかなる特別なハードウェアも付け加える必要がなく、ＲＧＢカメラを使用する必要もない。このように、本発明の実施形態は、任意の種々の異なる用途のために、ユーザーの頭部の回転を決定するのに有用である。これは、限定はしないが、ビデオゲームまたは他の仮想環境用のカメラ視点を制御するために回転を使用するステップを含むことができる。
[0015]本発明の実施形態に従って、奥行き画像は、ユーザーが配置された範囲から取り込まれうる。当技術分野で知られているように、奥行き画像は、画素それぞれの奥行き値をもついくつかの画素を備えることができる。画素それぞれの奥行き値は、奥行きカメラが視認する範囲内の対象物上の点とリファレンス位置との間の距離に対応する。奥行き画像内のユーザーの頭部を含む範囲は、頭部領域として識別されうる。次いで、頭部領域内の画素の奥行き値は、ユーザーの頭部の奥行き質量の中心を計算するために使用されうる。奥行き質量の中心は、均一密度の固体の質量の中心に対応することができ、質量の厚さは、頭部領域内の画素の奥行き値の関数である。この手法は、奥行き画像からの奥行きデータに依存するので、これは、本明細書において「奥行き質量の中心」と呼ばれる。概念的に、奥行きは、密度に代わるものとみなしてよい。いくつかの実施形態では、これは、背景の奥行き値を設定するステップと、頭部領域中の画素の奥行き値と背景の奥行き値との差によって決定される頭部領域中のユーザーの頭部の厚さを備える固体の奥行き質量の中心を決定するステップとを含むことができる。次いで、こうした実施形態での奥行き質量の中心は、固体が均一密度であると仮定すると固体の質量の中心にほぼ対応する。
[0016]奥行き質量の中心は、ユーザーの頭部の回転と適切な相関関係をもたらす。このように、ユーザーの頭部の回転は、奥行き画像から計算された奥行き質量の中心に基づいて決定されうる。いくつかの実施形態では、この回転は、奥行き質量の中心の位置とやはり奥行き画像から決定されうるユーザーの頭部の中心の位置との差に基づくことができる
[0017]したがって、一態様では、本発明の一実施形態は、１つまたは複数のコンピューティングデバイスで使用されるときこの１つまたは複数のコンピューティングデバイスに方法を実行させる、コンピューター使用可能命令を記憶する１つまたは複数のコンピューター記憶媒体を対象とする。この方法は、奥行き画像の奥行き画像データを受信するステップを含み、奥行き画像データは、複数の画素それぞれの奥行き値を含む。この方法は、奥行き画像の頭部領域を識別するステップも含み、頭部領域は、ユーザーの頭部に対応する。この方法は、背景の奥行き値を決定するステップをさらに含む。この方法は、ユーザーの頭部の奥行き質量の中心を、頭部領域中の画素の奥行き値、背景の奥行き値および頭部領域中の画素の位置の関数として計算するステップも含む。この方法は、頭部位置の中心を識別するステップをさらに含む。この方法は、奥行き質量の中心および頭部位置の中心に基づいてユーザーの頭部の回転を決定するステップをさらに含む。
[0018]別の実施形態では、本発明の一態様は、奥行き画像を用いてユーザーの頭部の回転を決定するための方法を対象とする。この方法は、奥行き画像の頭部領域の画素に対応する奥行き画像データを受信するステップを含む。この方法は、頭部領域の画素の奥行き値に基づいて、ユーザーの頭部の奥行き質量の中心を計算するステップも含む。この方法は、奥行き質量の中心に基づいて、ユーザーの頭部の回転を決定するステップをさらに含む。
[0019]本発明のさらなる実施形態は、奥行き画像の複数の画素の奥行き値を受信し、この奥行き値を解析してユーザーの頭部を含む画素の第１のサブセットを含む頭部領域を識別し、画素の第１のサブセットの奥行き値を解析することによって背景の奥行き値を決定し、奥行き質量の中心を、背景の奥行き値を超えない奥行き値を有する頭部領域中の画素の第２のサブセットの奥行き値の関数として計算し、奥行き質量の中心が、画素の第２のサブセットの奥行き値および背景の奥行き値から決定された均一密度の固体の質量の中心を算定することによって計算され、ユーザーの頭部の中心に対応するこの頭部領域中の位置を識別し、奥行き質量の中心およびユーザーの頭部の中心に対応する頭部領域中の位置に基づいて、ユーザーの頭部の回転を決定する、ように構成されたプロセッサを備えるコンピューティングデバイスを対象とする。
[0020]本発明の実施形態の要旨について簡単に説明してきたが、本発明の様々な態様の全体的なコンテキストを提供するために、本発明の実施形態が実施されうる例示的な動作環境を以下に説明する。始めに、特に図１を参照すると、本発明の実施形態を実施するための例示的動作環境が、示され、一般に、コンピューティングデバイス１００と呼ばれる。コンピューティングデバイス１００は、適したコンピューティング環境の一例であるだけであり、本発明の使用または機能性の範囲に対して何らかの限定を提案するものではない。コンピューティングデバイス１００は、図示された構成要素のいずれか１つまたは組合せに関するいずれの従属性または要件を有するとして解釈されるべきでもない。
[0021]本発明は、コンピューターまたは、携帯情報端末（ｐｅｒｓｏｎａｌ ｄａｔａ ａｓｓｉｓｔａｎｔ）もしくは他の携帯型デバイスなどの他のマシンによって実行されるプログラムモジュールなどのコンピューター実行可能命令を含む、コンピューターコードまたはマシン使用可能命令の全体的なコンテキストにおいて説明されうる。一般に、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含むプログラムモジュールは、特定のタスクを実行し、または特定の抽象データ型を実行するコードを参照する。本発明は、携帯型デバイス、家電製品、汎用コンピューター、より専門的なコンピューティングデバイス等を含む、種々のシステム構成で実践されうる。本発明は、タスクが通信ネットワークを通してリンクされた遠隔処理デバイスによって実行される分散型コンピューティング環境でも実践されうる。
[0022]図１を参照すると、コンピューティングデバイス１００は、メモリ１１２、１つまたは複数のプロセッサ１１４、１つまたは複数のプレゼンテーションコンポーネント１１６、入力／出力（Ｉ／Ｏ）ポート１１８、入力／出力コンポーネント１２０および実例的な電源１２２などのデバイスを、直接または間接的に結合するバス１１０を含む。バス１１０は、１つまたは複数のバス（アドレスバス、データバスまたはその組合せなど）としうるものを表す。図１の様々なブロックは、明瞭さのために線で示され、実際には、様々なコンポーネントの描写はそれほど明確ではなく、比喩的に言えば、この線は、より正確には灰色で曖昧（ｇｒｅｙ ａｎｄ ｆｕｚｚｙ）である。例えば、表示デバイスなどのプレゼンテーションコンポーネントをＩ／Ｏコンポーネントとみなすこともありうる。プロセッサはメモリも有する。本発明者は、こうしたことが当技術分野の本質であることを理解し、図１は、単に本発明の１つまたは複数の実施形態に関連して使用されうる例示的コンピューティングデバイスを示す図であることを重ねて述べる。全てが図１の範囲内で「コンピューティングデバイス」を参照して企図されるように、「ワークステーション」「サーバー」「ラップトップ」「携帯型デバイス」等のこうしたカテゴリ間の区別をしない。
[0023]コンピューティングデバイス１００は、通常、種々のコンピューター可読媒体を含む。コンピューター可読媒体は、コンピューティングデバイス１００によってアクセスされうる任意の使用可能な媒体とすることができ、また、揮発性媒体も不揮発性媒体も、リムーバブル媒体もノンリムーバブル媒体も含む。例として、限定せず、コンピューター可読媒体は、コンピューター記憶媒体および通信媒体を備えることができる。コンピューター記憶媒体は、コンピューター可読命令、データ構造、プログラムモジュールまたは他のデータなどの情報を記憶するための任意の方法または技術で実施される、揮発性媒体も不揮発性媒体も、リムーバブル媒体もノンリムーバブル媒体も含む。コンピューター記憶媒体には、限定はしないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタルヴァーサタイルディスク（ＤＶＤ）もしくは他の光ディスク記憶デバイス、磁気カセット、磁気テープ、磁気ディスク記憶デバイスもしくは他の磁気記憶デバイス、または、所望の情報を記憶しコンピューティングデバイス１００によってアクセス可能な他の任意の媒体が含まれる。通信媒体は、通常、コンピューター可読命令、データ構造、プログラムモジュールまたは他のデータを、搬送波もしくは他のトランスポート機構などの変調データ信号中で実現し、また、任意の情報配信媒体を含む。用語「変調データ信号」とは、信号中の情報を符号化するような方式で、１つまたは複数のその特性を設定させるまたは変えさせる信号を意味する。例として、限定せず、通信媒体には、有線ネットワークまたは直接有線接続などの有線媒体、ならびに音波、ＲＦ、赤外線および他の無線媒体などの無線媒体が含まれる。上記のいずれの組合せも、コンピューター可読媒体の範囲に含まれるべきである。
[0024]メモリ１１２は、揮発性メモリおよび／または不揮発性メモリの形式のコンピューター記憶媒体を含む。このメモリは、リムーバブル、ノンリムーバブルまたはその組合せであってよい。例示的ハードウェアデバイスには、ソリッドステートメモリ、ハードドライブ、光ディスクドライブ等が含まれる。コンピューティングデバイス１００は、メモリ１１２またはＩ／Ｏコンポーネント１２０などの様々なエンティティからのデータを読み込む１つまたは複数のプロセッサを含む。プレゼンテーションコンポーネント１１６は、ユーザーまたは他のデバイスにデータ表示を示す。例示的プレゼンテーションコンポーネントには、ディスプレイデバイス、スピーカー、印刷コンポーネント、振動コンポーネント等が含まれる。
[0025]Ｉ／Ｏポート１１８により、コンピューティングデバイス１００が、Ｉ／Ｏコンポーネント１２０を含む、組み込み式もありうる他のデバイスに論理的に結合されるようになる。実例としてのコンポーネントには、マイクロホン、ジョイスティック、ゲームパッド、パラボラアンテナ、スキャナー、プリンター、無線デバイス等が含まれる。
[0026]ここで図２を参照して、本発明の実施形態による、ユーザーの頭部の奥行き質量の中心を決定し、この奥行き質量の中心を用いてユーザーの頭部の回転を決定するための方法２００を示す流れ図を提供する。ブロック２０２に示すように、始めに奥行き画像データが受信される。これは、単一の奥行き画像フレームの奥行き画像データであってよい。この奥行き画像は、周知の奥行きカメラ技術を用いて取り込まれてよい。当技術分野で知られているように、奥行き画像データは、奥行き画像内のいくつかの画素それぞれの奥行き値を備えることができる。所与の画素の奥行き値は、画像化される対象物上の点とリファレンス位置との間の距離に対応する。
[0027]ブロック２０４に示すように、ユーザーの頭部の周りの範囲は、頭部領域として奥行き画像内で識別される。本明細書で使用される頭部領域は、ユーザーの頭部を含むものとして識別された奥行き画像内の画素の広がりである。この頭部領域は、このユーザーの頭部の広がりまたはユーザーの頭部の部分領域を含むことができる。加えて、頭部領域は、本発明の実施形態に従って、奥行き画像の任意の形状またはサイズの範囲でありうる。これを、図３Ａおよび図３Ｂに例として図示する。例えば、図３Ａに、ユーザー３０２Ａを含む奥行き画像３００Ａを示し、ここではユーザーの頭部の周りの矩形範囲が、頭部領域３０４Ａとして識別された。図３Ｂに、ユーザー３０２Ｂを含む奥行き画像３００Ｂを示し、ここでは、ユーザーの頭部の周りの円形範囲が、頭部領域３０４Ａとして識別された。奥行き画像３００Ａおよび３００Ｂは、本明細書において図示するために簡略化されており、実際には、奥行き画像は、おそらくより複雑になり、異なった奥行きの多数の対象物をもつ範囲を取り込むことが理解されるべきである。加えて、図３Ａおよび図３Ｂは、ユーザーの全身を含む奥行き画像３００Ａおよび３００Ｂを図示するが、奥行き画像は、ユーザーの身体の一部（例えば、ユーザーの腰部からユーザーの頭部まで）を取り込むだけでよいことが理解されるべきである。
[0028]頭部領域は、本発明の様々な実施形態に従っていくつかの別々の方式で奥行き画像内で識別されうる。いくつかの実施形態では、システムは、奥行き画像を解析して頭部領域を自動的に識別する。これは、人間の頭部のサイズおよび形状にほぼ対応する、奥行き画像中の対象物のシルエットを識別するステップを含むことができる。この手法は、計算処理上で比較的軽量化となる。この手法の一例として、一実施形態では、対象物は、似た奥行きをもつ画素の範囲を見つけ出し、異なる奥行きをもつ画素の範囲によって縁部を作り出させることによって、奥行き画像内でほぼ識別されうる。いくつかの別々の対象物が、奥行き画像内で識別されうる。このように、別々の対象物が、それぞれ解析されて人間の頭部のサイズおよび形状にもっとも厳密に対応するものを決定することができる。これは、まず人間の身体のサイズおよび形状に厳密に対応するシルエットを見つけ出すステップと、次いで人間の頭部のサイズおよび形状に対応する対象物の一部を見つけ出すステップとを含むことができる。
[0029]他の実施形態では、頭部領域は、ユーザーによって手動で設定されうる。例えば、ユーザーが頭部位置を指定することができるユーザーインターフェース（ＵＩ）が提供されうる。このＵＩは、ユーザーのリアルタイム画像を含むことができ、ユーザーが、（例えば、境界ボックスを左側、右側、頂部側、底部側に移動することによって）ユーザーの頭部の周りの表示された頭部領域の境界を移動できるようにすることができる。この手法は、ユーザーが固定いすに着席しているときなど、ユーザーの頭部が同じ範囲に留まるような、ユーザーがおそらく動き回らないであろうという状況で特に適用可能となりうる。ユーザーが頭部領域を手動で設定できることによって、上述のような、奥行き画像を解析して頭部領域を識別するプロセスは回避されうる。
[0030]さらなる実施形態では、頭部領域は、システムによって設定された固定領域とすることができ、ユーザーは、頭部領域に対応する範囲内にユーザーの頭部を配置するように指示されうる。例えば、ユーザーの頭部の表示および頭部領域に対応するボックスを示すようなＵＩが提供されうる。次いで、ユーザーは、ＵＩ中のユーザーの頭部がＵＩに示されるボックス中に位置するようにユーザー自身を配置するように指示されることになる。
[0031]再び図２を参照すると、ブロック２０６に示すように、奥行き質量の中心は、頭部領域中の画素の奥行き値に基づいて、ユーザーの頭部について計算される。前述したように、奥行き質量の中心は、奥行き画像の頭部領域中の画素からの奥行き値に基づいて、均一密度の固体として決定された質量の中心であると概して言うことができる。奥行き質量の中心は、ユーザーの頭部に対応する体積またはユーザーの頭部と奥行き値を生成するために使用されるリファレンス位置との間の範囲に対応する体積に基づくことができる（例えば、ユーザーの頭部の奥行き質量の中心は、前者の体積に直接比例することになるが、ユーザーの頭部の奥行き質量の中心は、後者の体積に間接的に比例することになる。）。概して言えば、アルゴリズムは、ユーザーの頭部の奥行き質量の中心を、画素それぞれの奥行き値（例えば、奥行き画像を取り込んだ奥行きカメラによって決定される、対象物からリファレンス位置までの距離）、および画素それぞれのＸ位置（すなわち水平位置）の関数として計算するために使用されうる。これは、頭部領域中の全ての画素またはその一部を含むことができる。いくつかの実施形態では、縁部付近の画素は重みがより小さくなるように、画素それぞれのＸ位置の関数として、重みが付けられうる。これは、縁部付近のノイズの考慮に役立つことができる。
[0032]概念的に、これは、図４および図５Ａ〜図５Ｂに図示される。特に、図４は、ユーザーの頭部の頂部４０２および奥行き画像の頭部領域として画像化される範囲４０４を示す平面図を図示する。奥行き画像の画素それぞれは、いくつかのリファレンス位置４０６に対する対象物上の点の距離ＺＮを示す奥行き値を有する。
[0033]図５Ａから理解できるように、ユーザーが前方を見ているとき、頭部領域５０４Ａの中心点５０６Ａの両側の奥行き値は、ほとんど同一となり、奥行き質量の中心（図５Ａに図示せず）は、中心点５０６Ａ付近になるように計算されるはずである。ただし、図５Ｂに示すように、ユーザーがユーザーの頭部５０２Ｂをユーザーの左側に回転させたならば、頭部領域５０４Ｂに対応する範囲内のユーザーの頭部５０２Ｂのより多くの部分が、ユーザーの左側にシフトすることになり、ユーザーの頭部の質量の中心もユーザーの左側にシフトすることになる。これは、ユーザーの頭部５０２Ｂとの距離が、右側に比較して左側で集合的により短くなるという点で、奥行き画像に反映されることになる。結果として、奥行き質量の中心５０８Ｂは、ユーザーの中心点５０６Ｂの左側に位置するようなこうした奥行き値に基づいて計算されることになる。図５Ｂに示すように、奥行き質量の中心５０８Ｂは、Ｘ方向に沿った位置に対応する。あるいは、図５Ｃに示すように、ユーザーがユーザーの頭部５０２Ｃをユーザーの右側に回転させたならば、頭部領域５０４Ｃに対応する範囲内のユーザーの頭部５０２Ｃのより多くの部分が、ユーザーの右側にシフトすることになり、ユーザーの頭部の質量の中心もユーザーの右側にシフトすることになる。これは、ユーザーの頭部５０２Ｃとの距離が、左側に比較して右側が集合的により短くなるという点で、奥行き画像に反映されることになる。結果として、奥行き質量の中心５０８Ｃは、ユーザーの中心点５０６Ｃの右側に位置するこうした奥行き値に基づいて計算されることになる。
[0034]再び図２に戻ると、ブロック２０８に示すように、ブロック２０６で計算された奥行き質量の中心に基づいて、ユーザーの頭部の回転が決定される。例えば、図５Ｂに示すように、Ｘ方向に沿った奥行き質量の中心５０８Ｂの位置は、ユーザーの頭部５０２Ｂが、ユーザーの左側に回転した程度を表すことができる。同様に、図５Ｃに示すように、Ｘ方向に沿った奥行き質量の中心５０８Ｃの位置は、ユーザーの頭部５０２Ｃが、ユーザーの右側に回転した程度を表すことができる。いくつかの実施形態では、ユーザーの頭部の回転は、ユーザーの頭部の奥行き質量の中心と中心位置とを比較することによって決定されうる。例えば、これは、中心位置５０６Ｂと共に図５Ｂの奥行き質量の中心の位置を含むことができる。
[0035]ブロック２０８で決定されるユーザーの頭部の回転は、種々の異なる用途のいずれかで使用されうる。例としてだけで、限定せず、いくつかの実施形態では、ユーザーの頭部の回転は、ゲームまたは他の仮想世界のカメラ視点の回転を制御するために使用されうる。
[0036]いくつかの実施形態では、ユーザーの頭部の奥行き質量の中心は、背景の奥行きに対する画素それぞれでのユーザーの頭部の奥行きまたは厚さを計算するために、リファレンス点として背景の奥行きを用いて決定されうる。この手法について、図６の方法６００を参照して説明し、図７に概念的に図示する。図６に示すように、背景の奥行き値は、ブロック６０２で決定される。これは、例えば、（例えば、図２のブロック２０４を参照して先に述べたように）奥行き画像の頭部領域を識別した後に行われうる。
[0037]背景の奥行き値は、本発明の実施形態の範囲内で種々の方式で決定されうる。いくつかの実施形態では、頭部領域内の画素からの最大奥行き値は、背景の奥行き値として単純に設定されうる。他の実施形態では、背景の奥行き値は、頭部領域中の画素の奥行き値から計算される平均奥行き値の関数とすることができる。例えば、頭部領域中の全ての画素の平均奥行き値が、計算され、一定量の奥行き（例えば、１０ｃｍ〜２０ｃｍ）は、背景の奥行き値を生成するために、その平均奥行き値の上に加算されうる。いくつかの例では、平均値は、頭部領域の中心付近の範囲中の画素などの頭部領域中の画素の一部のみから計算されうる。さらなる実施形態では、背景の奥行き値は、ユーザーによって手動で設定されうる。例えば、先に述べたようにユーザーが頭部領域を手動で設定するとき、背景の奥行き値を設定するための手動の手法が使用されうる。概して言えば、ユーザーが頭部領域の境界範囲を移動および設定するだけでなく、背景奥行き値を設定することもできるようにするＵＩが提供されうる。重ねて言うが、この手法は、ユーザーの頭部がほぼ同じ場所に留まるような、ユーザーがおそらく動き回らないであろうという状況でより適用可能となりうる。
[0038]ブロック６０４に示すように、背景の奥行き値より大きい奥行き値をもつ頭部領域中の画素は、無視されうる。このように、背景の奥行き値より小さい奥行き値をもつ画素のみが、次に、さらなる処理について考慮される。本質において、背景の奥行き値より大きい奥行き値をもつ頭部領域の一部が、さらなる処理から除外され削除されうる。
[0039]ブロック６０６に示すように、残りの画素の奥行き値、背景の奥行き値および残りの画素のＸ位置（すなわち、水平位置）を用いて、ユーザーの頭部の奥行き質量の中心が計算される。いくつかの実施形態に従って、これは、画素それぞれの奥行き値と背景の奥行き値との差に基づいて、画素それぞれでのユーザーの頭部の奥行き（すなわち、厚さ）を決定するステップを含むことができる。これは、図７に概念的に図示される。特に、図７に、ユーザーの頭部７０２の頂部および奥行き画像の頭部領域に対応する範囲７０４を示す平面図を図示する。画素Ａの奥行き値は、リファレンス位置（図示せず）からユーザーの頭部７０２上の点７０８までの距離ＺＡ７０６に対応することになり、背景の奥行き値は、リファレンス位置からの距離ＺＢ７１０に対応することになる。距離ＺＡ７０６とＺＢ７１０の差は、点７０８でのユーザーの頭部の奥行き（すなわち、厚さ）ＤＡ７１２に対応することになる。
[0040]したがって、いくつかの実施形態では、奥行き質量の中心は、画素それぞれの奥行き値と背景の奥行き値との差に基づいて、画素ぞれぞれでのユーザーの頭部の奥行き値（すなわち、厚さ）を計算することによって決定されうる。画素ぞれぞれでのユーザーの頭部の奥行きを、画素それぞれのＸ位置と掛け合わせ、これらの値を合計し、この合計値を、画素それぞれのユーザーの頭部の奥行きの合計で除して、ユーザーの頭部の奥行き質量の中心を計算することができる。この手法は、以下の式に示されうる。
Figure 2014516187
[0041]式中、ＣＤＭは、奥行き質量の中心を示し、Ｘｉは画素ｉのＸ位置、Ｄｉは画素ｉでのユーザーの頭部の奥行きである。上記のように、所与の画素でのユーザーの頭部の奥行き（すなわち、Ｄｉ）は、画素の奥行き値（すなわち、リファレンス点から画像化された対象物上の点までの距離）と背景の奥行き値との差である。この方式では、奥行き質量の中心は、均一密度の固体の質量の中心と類似しており、この固体は、奥行き値に対応するユーザーの頭部の厚さおよび背景の奥行き値に対応する。いくつかの実施形態では、縁部付近の画素は重みがより小さくなるように、画素それぞれのＸ位置の関数として、重みが付けられうる。
[0042]再び図６を参照すると、奥行き質量の中心を決定するステップに加えて、ユーザーの頭部の中心位置も、ブロック６０８で示すように決定されうる。いくつかの実施形態では、これは、単純に頭部領域の中心になりうる。他の実施形態では、これは、ユーザーの頭部のシルエットの中心とすることができ、ブロック６０４での背景の奥行き値を超える奥行き値をもつ画素を除外した後の残りの画素に対応すると考えてよい。いくつかの実施形態では、奥行き質量の中心のための上記の式と同様の式は、考えられる全ての画素のユーザーの頭部の奥行きの同一値（例えば、１の値）を単純に使用することによって、頭部位置の中心を決定するために使用されうる。
[0043]ブロック６１０に示すように、ユーザーの頭部の回転は、ブロック６０６で決定された奥行き質量の中心とブロック６０８で決定された頭部位置の中心とを比較することによって決定される。先に記述したように、ユーザーの頭部の回転は、種々の異なる用途のいずれかで使用されうる。例としてだけで、限定せず、いくつかの実施形態では、ユーザーの頭部の回転は、ゲームまたは仮想世界のカメラ視点の回転を制御するために使用されうる。
[0044]いくつかの実施形態では、ユーザーがユーザーの頭部に何か（例えば、前側につばのある帽子または標準形状のある種のヘルメット）を着用している場合に、これは、回転とともに左／右側にシフトする奥行き質量をさらに提供しまた頭部形状を標準化することによって、トラッキングを改善することができる。これは、例えば、ユーザーの頭部が十分にトラッキングされない状況で、または確実に一貫性のある体験ができるように使用されうる。特別な事例として、この手法は、ユーザーがヘルメットを着用するアミューズメントパークでのシミュレーションゲームなどの状況で使用されることが可能であり、全てのユーザーが同一のヘルメットを着用するので、風変わりな形状の髪型またはユーザー間で著しく異なる他の形状／サイズによりシステムの問題が生じることはない。
[0045]本明細書において説明してきた実施形態では、奥行き質量の中心が、水平面でユーザーの頭部の回転を決定するＸ方向（すなわち、水平方向）で決定されてきたが、いくつかの実施形態では、垂直面でユーザーの頭部の回転を決定するＹ方向（すなわち、垂直方向）で、奥行き質量の中心を決定する同様の手法を使用することもできることが理解されるべきである。加えて、本明細書において説明したユーザーの頭部の回転を決定するプロセスは、ユーザーの頭部の回転を経時的にトラッキングする奥行き画像の別々のフレーム用に連続して繰り返されうる。いかなるおよび全てのこのような変更およびその組合せは、本発明の実施形態の範囲内であることが企図される。
[0046]理解されうるように、本発明の実施形態は、奥行き画像から計算された奥行き質量の中心に基づいて、ユーザーの頭部の回転決定するステップを提供する。本発明について、特定の実施形態に関して説明してきたが、これは、全ての点で、制限するためではなく実例として挙げるためのものである。代替実施形態は、本発明は、その範囲を逸脱することなく属することが当業者には明らかであろう。
[0047]先の記述から、本発明は、明白な、かつシステムおよび方法に特有の他の利点と共に、先に明記した全ての目標および目的を達成するためによく適合されたものであることがわかる。一定の特徴および部分的組合せは、有用であり、他の特徴および部分的組合せを参照することなしに使用されうることが理解されたい。これは、特許請求の範囲によって企図され、またその範囲内にある。

Claims (10)

  1. コンピューター使用可能命令を記憶する１つまたは複数のコンピューター記憶媒体であって、１つまたは複数のコンピューティングデバイスで使用されるとき前記１つまたは複数のコンピューティングデバイスに方法を実行させ、前記方法が、
    奥行き画像(depth image)の奥行き画像データを受信するステップであって、前記奥行き画像データが複数の画素それぞれの奥行き値を含む、受信するステップと、
    前記奥行き画像の頭部領域(head region)を識別するステップであって、前記頭部領域が、ユーザーの頭部に対応する、識別するステップと、
    背景の奥行き値を決定するステップと、
    前記ユーザーの頭部の奥行き質量(depth-mass)の中心を、前記頭部領域中の画素の奥行き値、前記背景の奥行き値および前記頭部領域中の画素の位置の関数として計算するステップと、
    頭部位置の中心を識別するステップと、
    前記奥行き質量の中心および前記頭部位置の中心に基づいて、前記ユーザーの頭部の回転を決定するステップとを含む、１つまたは複数のコンピューター記憶媒体。
  2. 前記奥行き画像の頭部領域を識別するステップが、
    奥行き値(depth values)に基づいて前記奥行き画像の対象物を識別するステップと、
    前記対象物を解析して人間のサイズおよび形状に対応するシルエット(silhouette)を有する第１の対象物を識別するステップとを含む、請求項１に記載の１つまたは複数のコンピューター記憶媒体。
  3. 前記奥行き画像の頭部領域を識別するステップが、
    ユーザーが、前記ユーザーの頭部の画像を見ることができ、前記頭部領域の境界の位置を制御することができるユーザーインターフェースを提供するステップと、
    前記頭部領域の前記境界の前記位置を設定するユーザー入力を受信するステップとを含む、請求項１に記載の１つまたは複数のコンピューター記憶媒体。
  4. 前記背景の奥行き値を決定するステップが、
    前記頭部領域内の画素からの最大奥行き値を識別し、前記背景の奥行き値を前記最大奥行き値の関数として設定するステップと、
    前記頭部領域中の画素の少なくとも一部の奥行き値に基づいて平均奥行き値を計算し、前記背景の奥行き値を前記平均奥行き値の関数として設定するステップと、または、
    ユーザー入力を受信して前記背景の奥行き値を設定するステップとのうちから選択された１つのステップを含む、請求項１に記載の１つまたは複数のコンピューター記憶媒体。
  5. 前記ユーザーの頭部の前記奥行き質量の中心を計算するステップが、
    前記頭部領域から画素群を識別するステップと、
    前記画素群からの画素それぞれの前記奥行き値と前記背景の奥行き値との差に基づいて、前記画素群からの画素それぞれの前記ユーザーの頭部の厚さを決定するステップと、
    前記画素群からの画素それぞれの前記ユーザーの頭部の前記厚さと、前記画素群からの画素それぞれの位置とを掛け合わせた(multiplying)結果を合計する(summing)ことによって第１の値を計算するステップと、
    前記画素群中の画素の前記奥行き値を合計することによって第２の値を計算するステップと、
    前記第１の値を前記第２の値で除す(dividing)ことによって前記ユーザーの頭部の前記奥行き質量の中心を計算するステップとを含む、請求項１に記載の１つまたは複数のコンピューター記憶媒体。
  6. 前記ユーザーの頭部の前記奥行き質量の中心を計算するステップが、前記頭部領域内の画素位置の関数として、重みを付けるステップを含む、請求項１に記載の１つまたは複数のコンピューター記憶媒体。
  7. 頭部位置の中心を識別するステップが、前記背景の奥行き値を超えない奥行き値を有する前記頭部領域中の画素の中心位置を識別するステップを含む、請求項１に記載の１つまたは複数のコンピューター記憶媒体。
  8. 仮想環境のカメラ視点を制御するために前記ユーザーの頭部の前記回転を使用するステップをさらに含む、請求項１に記載の１つまたは複数のコンピューター記憶媒体。
  9. 奥行き画像を用いてユーザーの頭部の回転を決定するための方法であって、
    前記奥行き画像内の頭部領域の画素に対応する奥行き画像データを受信するステップと、
    前記頭部領域中の前記画素の奥行き値に基づいて、前記ユーザーの頭部の奥行き質量の中心を計算するステップと、
    前記奥行き質量の中心に基づいて、前記ユーザーの頭部の前記回転を決定するステップとを含む、方法。
  10. 奥行き画像の複数の画素の奥行き値を受信し、
    前記奥行き値を解析して、ユーザーの頭部を含む画素の第１のサブセットを含む頭部領域を識別し、
    前記画素の第１のサブセットの奥行き値を解析することによって背景の奥行き値を決定し、
    奥行き質量の中心を、前記背景の奥行き値を超えない奥行き値を有する前記頭部領域中の画素の第２のサブセットの奥行き値の関数として計算し、前記奥行き質量の中心が、前記画素の第２のサブセットの前記奥行き値および前記背景の奥行き値から決定された均一密度の固体(solid)の質量の中心を算定することによって計算され、
    前記ユーザーの頭部の中心に対応する前記頭部領域中の位置を識別し、
    前記奥行き質量の中心および前記ユーザーの頭部の前記中心に対応する前記頭部領域中の前記位置に基づいて、前記ユーザーの頭部の回転を決定する
    ように構成されたプロセッサを備える、コンピューティングデバイス。
JP2014514528A 2011-06-06 2012-06-04 奥行きに基づく質量の中心からの頭部回転のトラッキング Active JP6080843B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161493785P 2011-06-06 2011-06-06
US61/493,785 2011-06-06
US13/212,745 US9098110B2 (en) 2011-06-06 2011-08-18 Head rotation tracking from depth-based center of mass
US13/212,745 2011-08-18
PCT/US2012/040774 WO2012170357A2 (en) 2011-06-06 2012-06-04 Head rotation tracking from depth-based center of mass

Publications (2)

Publication Number Publication Date
JP2014516187A true JP2014516187A (ja) 2014-07-07
JP6080843B2 JP6080843B2 (ja) 2017-02-15

Family

ID=47261728

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014514528A Active JP6080843B2 (ja) 2011-06-06 2012-06-04 奥行きに基づく質量の中心からの頭部回転のトラッキング

Country Status (5)

Country Link
US (1) US9098110B2 (ja)
EP (1) EP2719186B1 (ja)
JP (1) JP6080843B2 (ja)
KR (1) KR101932788B1 (ja)
WO (1) WO2012170357A2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9406135B2 (en) * 2012-10-29 2016-08-02 Samsung Electronics Co., Ltd. Device and method for estimating head pose
US9052746B2 (en) * 2013-02-15 2015-06-09 Microsoft Technology Licensing, Llc User center-of-mass and mass distribution extraction using depth images
US10362296B2 (en) 2017-08-17 2019-07-23 Microsoft Technology Licensing, Llc Localized depth map generation
EP3496037A1 (en) 2017-12-06 2019-06-12 Koninklijke Philips N.V. Device, system and method for detecting body movement of a patient
US11157728B1 (en) * 2020-04-02 2021-10-26 Ricoh Co., Ltd. Person detection and identification using overhead depth images
CN111709974B (zh) * 2020-06-22 2022-08-02 苏宁云计算有限公司 基于rgb-d图像的人体跟踪方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001143072A (ja) * 1999-11-10 2001-05-25 Nippon Telegr & Teleph Corp <Ntt> 物体形状識別装置
US20030035001A1 (en) * 2001-08-15 2003-02-20 Van Geest Bartolomeus Wilhelmus Damianus 3D video conferencing
US20100034457A1 (en) * 2006-05-11 2010-02-11 Tamir Berliner Modeling of humanoid forms from depth maps

Family Cites Families (170)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (ja) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
CA2101633A1 (en) 1991-12-03 1993-06-04 Barry J. French Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US6229913B1 (en) 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
WO1999044698A2 (en) 1998-03-03 1999-09-10 Arena, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
US6152856A (en) 1996-05-08 2000-11-28 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
CN1168057C (zh) 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) * 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
WO1999019828A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP3549725B2 (ja) * 1998-04-13 2004-08-04 シャープ株式会社 画像処理装置
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
AU1574899A (en) 1998-12-16 2000-07-03 3Dv Systems Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US6891518B2 (en) 2000-10-05 2005-05-10 Siemens Corporate Research, Inc. Augmented reality visualization device
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US6937745B2 (en) * 2001-12-31 2005-08-30 Microsoft Corporation Machine vision system and method for estimating and tracking facial pose
ATE321689T1 (de) 2002-04-19 2006-04-15 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
AU2003277240A1 (en) 2002-10-15 2004-06-07 University Of Southern California Augmented virtual environments
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP4546956B2 (ja) 2003-06-12 2010-09-22 本田技研工業株式会社 奥行き検出を用いた対象の向きの推定
KR100682889B1 (ko) 2003-08-29 2007-02-15 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US20050196015A1 (en) * 2004-03-02 2005-09-08 Trw Automotive U.S. Llc Method and apparatus for tracking head candidate locations in an actuatable occupant restraining system
CN100573548C (zh) 2004-04-15 2009-12-23 格斯图尔泰克股份有限公司 跟踪双手运动的方法和设备
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR100656342B1 (ko) 2004-12-16 2006-12-11 한국전자통신연구원 다중 입체 영상 혼합 제시용 시각 인터페이스 장치
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
HUE049974T2 (hu) 2005-01-07 2020-11-30 Qualcomm Inc Képeken lévõ objektumok észlelése és követése
CN101137996A (zh) 2005-01-07 2008-03-05 格斯图尔泰克股份有限公司 基于光流的倾斜传感器
EP1851750A4 (en) 2005-02-08 2010-08-25 Oblong Ind Inc SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
EP1886509B1 (en) 2005-05-17 2017-01-18 Qualcomm Incorporated Orientation-sensitive signal output
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US20100128112A1 (en) 2008-11-26 2010-05-27 Samsung Electronics Co., Ltd Immersive display system for interacting with three-dimensional content
US20100311512A1 (en) 2009-06-04 2010-12-09 Timothy James Lock Simulator with enhanced depth perception
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001143072A (ja) * 1999-11-10 2001-05-25 Nippon Telegr & Teleph Corp <Ntt> 物体形状識別装置
US20030035001A1 (en) * 2001-08-15 2003-02-20 Van Geest Bartolomeus Wilhelmus Damianus 3D video conferencing
US20100034457A1 (en) * 2006-05-11 2010-02-11 Tamir Berliner Modeling of humanoid forms from depth maps

Also Published As

Publication number Publication date
WO2012170357A3 (en) 2013-06-13
US9098110B2 (en) 2015-08-04
KR20140028060A (ko) 2014-03-07
EP2719186A2 (en) 2014-04-16
EP2719186B1 (en) 2016-06-01
KR101932788B1 (ko) 2018-12-27
JP6080843B2 (ja) 2017-02-15
EP2719186A4 (en) 2014-10-29
US20120308116A1 (en) 2012-12-06
WO2012170357A2 (en) 2012-12-13

Similar Documents

Publication Publication Date Title
JP6080843B2 (ja) 奥行きに基づく質量の中心からの頭部回転のトラッキング
US10762694B1 (en) Shadows for inserted content
US9905039B2 (en) View independent color equalized 3D scene texturing
JP5639646B2 (ja) スケルトン・データーのゲーム・アバターへのリアル・タイム・リターゲティング
US10467793B2 (en) Computer implemented method and device
US11244506B2 (en) Tracking rigged polygon-mesh models of articulated objects
US10192342B1 (en) Using stand-in camera to determine grid for rendering an image from a virtual camera
JP2023504609A (ja) ハイブリッドストリーミング
CN111696190B (zh) 来自发光的插入内容的照明效果
US10147218B2 (en) System to identify and use markers for motion capture
US11308684B2 (en) Ray-tracing for auto exposure
US20240127539A1 (en) Mechanical weight index maps for mesh rigging
US20240153188A1 (en) Physics-based simulation of dynamic character motion using generative artificial intelligence
US20240135618A1 (en) Generating artificial agents for realistic motion simulation using broadcast videos
US20230085156A1 (en) Entropy-based pre-filtering using neural networks for streaming applications
US20230336799A1 (en) Video streaming scaling using virtual resolution adjustment
WO2023033803A1 (en) Systems and methods for progressive rendering of refinement tiles in images
JP2024026023A (ja) オプティカル・フローを使用したフレーム・レート・アップコンバージョン

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150520

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170117

R150 Certificate of patent or registration of utility model

Ref document number: 6080843

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250