JP2002189545A - 表示画像と相互作用させるためのユーザー入力装置及び方法 - Google Patents

表示画像と相互作用させるためのユーザー入力装置及び方法

Info

Publication number
JP2002189545A
JP2002189545A JP2001265151A JP2001265151A JP2002189545A JP 2002189545 A JP2002189545 A JP 2002189545A JP 2001265151 A JP2001265151 A JP 2001265151A JP 2001265151 A JP2001265151 A JP 2001265151A JP 2002189545 A JP2002189545 A JP 2002189545A
Authority
JP
Japan
Prior art keywords
image
arm
human
video
image processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001265151A
Other languages
English (en)
Other versions
JP3733587B2 (ja
Inventor
Richard Marks
マークス リチャード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment America LLC
Original Assignee
Sony Computer Entertainment America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment America LLC filed Critical Sony Computer Entertainment America LLC
Publication of JP2002189545A publication Critical patent/JP2002189545A/ja
Application granted granted Critical
Publication of JP3733587B2 publication Critical patent/JP3733587B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【課題】 ユーザー入力に応じて、表示画像上でオブジ
ェクトを動かす装置と方法を実現する。 【解決手段】 入力装置は、ビデオ画像をキャプチャす
る構成要素と、ビデオ画像から得られるモーションに応
じて出力信号を生成する入力画像プロセッサと、入力画
像プロセッサから受信される信号に応じて表示画像上で
オブジェクトを動かすようにプログラムされる出力画像
プロセッサとを有する。背景から人間の形を分離するた
めにビデオ画像がキャプチャされ、処理され、その人間
の形から腕の位置と運動データとが計算され、表示画像
上で鳥等のオブジェクトの動きを制御するためにこのデ
ータに応じて信号が生成される。表示画像上で制御され
る動きは、動くオブジェクトの形や、このようなオブジ
ェクトが受ける可能性のある視点の変化の形態をとるこ
とができる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は一般に、表示画像上
でオブジェクトを動かすユーザー入力装置及び方法に関
し、さらに具体的には、ユーザーのビデオ画像がキャプ
チャされ、処理されて、ディスプレイ上のオブジェクト
の平行移動及び／又は回転運動を起こす信号を出力する
入力装置及び方法に関する。特に、本発明はビデオ・ゲ
ームのようなグラフィック・エンタテインメント・シス
テムに適用可能である。
【０００２】
【従来の技術】ビデオ・モニター等の画像表示装置上で
オブジェクトを動かすために、ビデオ画像を用いるシス
テム、方法、入出力装置が利用される。しばしば、この
ようなビデオ入力装置は、ビデオ・キャプチャ装置の視
野内のユーザーの動きまたは位置に応答する。最近で
は、一連のビデオ画像としてキャプチャされたユーザー
の動きをゲーム制御用信号に変換するために、ビデオ画
像処理を利用している。従来技術の入力システムには、
システム・ユーザーが存在する視野を走査するビデオ・
キャプチャ装置が含まれる。このキャプチャされたビデ
オ画像はビデオ・ディジタイザに供給され、ビデオ・デ
ィジタイザは、該ディジタイザから受信したデジタル情
報を分析し処理するプロセッサへデジタル出力を行う。
次いで、視野内の参加者の位置または動きに基づいて、
プロセッサは、ディスプレイ上のオブジェクトを動かす
ために画像作成システムによって用いられる信号を生成
する。参加者の位置または動きによって装置または画像
表示の操作または出力を行うことができるとはいえ、必
要なコンピュータ処理時間はしばしば非常に長く、処理
は複雑であることが多く、高能力のコンピュータ・リソ
ース及び／又はタイム・リソースを必要とする傾向があ
る。
【０００３】さらに、画像表示装置上でオブジェクトを
動かすために利用されるユーザービデオ画像データを用
いる公知の装置と方法は、一般に、ビデオカメラの視野
の範囲内の参加者に対するかなりの負担によって特徴づ
けられる。このようなシステムには、一体化された腕カ
バーやグローブ、さらに容易に検出可能な部分や色、及
び／又は発光ダイオード等の可視光源等の、参加者が着
用を求められる追加装置が含まれる場合もある。しか
し、このようなシステムは、ビデオゲーム用コントロー
ラに求められるような消費者用アイテムの市場要件を満
たすための、使い易さ、迅速なレスポンス、単純さ等を
備えたユーザー入力装置の供給を考慮するものではな
い。
【０００４】さらに、公知のシステムには、すでに存在
しているマークとの比較などのような、生じている動き
を理解したり認識したりするためのビデオ画像の追加的
分析が含まれる。この分析によってシステムの複雑さと
応答時間とが加わるため、公知のシステムは広く利用す
るには実際的なものではなくなっている。
【０００５】さらに、公知のシステムは、画像表示を制
御する目的で出力信号を生成するためにかなり多数のセ
グメント、境界及び／又はボックスを認識し決定するよ
うに入力ビデオ画像プロセッサに要求することができる
とはいえ、これらのシステムは、限られたセグメント／
モーメントの最低限の初期測定値に基づいて制御信号の
配列計算を行うものではなく、入力ビデオ解像度が低い
場合とシステムとに適した単純でスムーズな方法で出力
信号を生成するものでもない。
【０００６】したがって、表示画像上でのオブジェクト
とのインタラクション用としてユーザービデオ画像入力
を用いる現在のシステムは、出力画像表示で効率的な制
御レベルを保ちながら、単純さと、応答性の良さと、求
められる多くの市場性を有する性能とを一般に提供する
ことができない。
【０００７】
【発明が解決しようとする課題】グラフィック画像との
インタラクション用にビデオ画像を用いるユーザー入力
の現状の技術に関する上述の欠点を考慮して、単純な設
計と方法論とを与え、しかも確固で効率的なインタラク
ションを提供するユーザー入力システム及び方法を提供
することが本発明の目的である。
【０００８】いくつかのセグメント／モーメントだけの
初期測定値から制御信号の配列計算を行うユーザー入力
システムを提供することが本発明の実施例のさらなる目
的である。
【０００９】消費者用エンタテインメント・システムと
互換性のあるコンピュータ処理能力を必要とするユーザ
ー入力システムを提供することが本発明の実施例のさら
なる目的である。
【００１０】ビデオカメラの視野の範囲内のユーザーに
負担をかけないユーザー入力システムを提供することが
本発明の実施例のさらなる目的である。
【００１１】
【課題を解決するための手段】本発明は、ユーザー入力
に応じて、表示画像（または、グラフィック画像）上で
オブジェクトを動かす装置及び方法に関する。入力装置
は、ビデオ画像をキャプチャする構成要素と、キャプチ
ャされたビデオ画像を処理し、このビデオ画像から得ら
れるモーションに応じて出力信号を生成する入力画像プ
ロセッサと、入力画像プロセッサから受信された信号に
応じて表示画像上でオブジェクトを動かすようにプログ
ラムされた出力画像プロセッサとを有する。様々なアル
ゴリズムが入力画像プロセッサに用いられ、表示画像上
でオブジェクトを動かすための初期データ及び派生デー
タが決定される。好適な実施例では、背景から人間の形
（姿）を分離するためにビデオ画像がキャプチャされ、
処理され、その人間の形から腕等の位置と動きのデータ
が計算され、このデータに応じて、画像表示装置上で鳥
等のオブジェクトの動きを制御するための信号が入力画
像プロセッサで生成される。表示画像上で制御される動
きは、動くオブジェクトの形態や、このようなオブジェ
クトが眺める（経験する）眺望や視界（例えば鳥の眼か
ら見た視界）の変化という形態をとることができる。
【００１２】本発明の他の特徴と利点とは添付図面と以
下の詳細な記述とから明らかとなる。
【００１３】
【発明の実施の形態】本発明の実施の形態は、添付図の
図面の中で例として示されるものにすぎず、これらの例
は本発明を限定するものではない。同様の参照符号は同
様のエレメントを示す。
【００１４】以下、ユーザー入力に応じて、グラフィッ
ク画像上でオブジェクトを動かす（影響または作用を与
える）装置及び方法を開示する。以下の説明では、説明
を行う目的で、多数の具体的な細部が本発明の完全な理
解を与えるために記述される。しかし、これらの具体的
な細部がなくても本発明の実施が可能であることは、一
般の当業者には明らかであろう。他の例では、説明を容
易にするためにブロック図の形で周知の構造と装置とが
示される。好適な実施例についての説明は、本明細書に
添付の請求項の範囲の限定を意図するものではない。
【００１５】［ハードウェアの概観］本発明の態様は、
基本ビデオ画像処理の実行が可能で画像表示が可能な装
置によって実現可能である。図１は、本発明の実施例を
実現するために使用できる、表示画像上のオブジェクト
とのインタラクション用の例示的ユーザー入力システム
を示すブロック図である。図１に図示のように、ユーザ
ー入力システム１００は、ビデオ・キャプチャ装置１０
２と、入力画像プロセッサ１０４と、出力画像プロセッ
サ１０６と、ビデオ表示装置１０８とから構成される。
【００１６】ビデオ・キャプチャ装置１０２は、一連の
ビデオ画像をキャプチャすることが可能なものであれば
いずれの装置であってもよく、本好適な実施例では、
“ウェブ・カム（web-cam）”等のデジタルビデオカメ
ラや、類似のキャプチャ装置である。入力画像プロセッ
サ１０４は、人間の腕のモーションがキャプチャされた
ビデオ画像を信号に変換し、この信号を出力画像プロセ
ッサへ供給する。１つの実施例では、入力画像プロセッ
サ１０４は、キャプチャされたビデオ画像内の背景から
人間の形を分離し、人間のトルソ（胴部分）から腕部分
を分離し、人間の腕の位置と動きとを決定（測定または
検出）し、人間の腕の位置及び／又は動きに応じて出力
信号を生成するようにプログラムされる。出力画像プロ
セッサ１０６は、入力画像プロセッサ１０４から受信さ
れる信号に応じて、ビデオ表示装置１０８上のオブジェ
クトの平行移動及び／又は回転運動を起こすようにプロ
グラムされる。
【００１７】本発明の上記の態様と追加の態様はソフト
ウェアの命令を実行する１以上のプロセッサによって実
行することができる。本発明の１つの実施例に従って、
単一プロセッサが入力画像処理と出力画像処理の双方を
実行する。しかし、図に示されているように、また、説
明の容易さのために、これらの処理操作は入力画像プロ
セッサ１０４と出力画像プロセッサ１０６との間で分け
られるものとして示されている。本発明は、２つ以上の
プロセッサのような、いずれかの特別のプロセッサ構成
に限定されるものと解釈されるものでは決してないこと
に留意されたい。図１およびその他の図に示す多重処理
ブロックは説明の便宜上示されているものにすぎない。
【００１８】図２は、本発明の実施例に従う、ディスプ
レイに表示されたグラフィック画像上のオブジェクトと
のユーザー対話（相互作用：interaction）処理用入力
システムを例示する。入力システム環境２００には、ユ
ーザー２０２と、ビデオ・キャプチャ装置２０４と、ビ
デオ表示装置２０６と、ビデオ・ゲーム・マシーン等の
プロセッサ機能を含むコンソール２０８とが含まれる。
入力システム環境２００内のユーザー２０２は、ビデオ
・キャプチャ装置２０４の視野２１０の範囲内に位置す
る。処理システム２０８は、Ｓｏｎｙ（登録商標）・プ
レイステーションTMＩＩまたはＳｏｎｙ・プレイステー
ションTMＩタイプ等の、処理システム及びコンピュータ
・エンタテインメント・システムによって実現が可能で
ある。このような実現例について、以下の好適な実施例
のセクションでより詳細に説明する。しかし、処理シス
テム２０８は、パーソナル・コンピュータ、ワークステ
ーション、ラップトップ・コンピュータ、無線計算機、
または他のタイプの計算機（グラフィック画像データを
受信し、処理することができるもの）などからなる、他
のタイプのコンピュータ・システムによっても実現可能
であることに留意されたい。
【００１９】［画像処理方法］図１及び図２のシステム
は、ビデオ装置によってキャプチャされた人間の腕の位
置・運動データを利用して、表示画像（モニタやスクリ
ーン等に表示されたまたは表示するための画像）上でオ
ブジェクトの平行移動及び／又は回転運動を起こす信号
を生成する方法によって実現される。ユーザー２０２が
動いたり、カメラ２０４の視野２１０の範囲内に自分の
位置を定めたりするにつれて、表示装置２０６上の単数
または複数のオブジェクトが対応して動いたり、位置が
決められたりする。例えば、表示された背景場面に対し
て相対的に、カーソルまたはアニメーション・キャラク
タを動かすためにユーザーの動きを利用することができ
る。好適な実施例では、このビデオ処理の方法論のステ
ップは、（１）視野の範囲内の背景の差引き、（２）視
野オブジェクトの決定、（３）腕／付属体（アペンデー
ジ）の角度または位置の決定、（４）フライト・パラメ
ータの決定の、各ステップとなる。
【００２０】［ステップ１：バックグラウンド差引き］
表示画像の動きを制御するために利用される人物や他の
オブジェクトが視野２１０の中にあるとき、人物の画像
がデジタルカメラ２０４によってキャプチャされ、プロ
セッサ・ユニット２０８における処理のためのピクセル
・データが生成される。本発明の１つの実施例では、バ
ックグラウンド差引きを利用して、人物（前景）または
非人物（背景）のいずれかとしてピクセル当たりの画像
のラベリングを行う（ラベリングが作成される）。この
ラベリングは、場面が人物を含まない場合には、ビデオ
・シーケンスからフレームを格納することにより行われ
る。この格納されたフレームはライブのビデオ・シーケ
ンスから差引きされ、差引きフィルタリング処理を用い
て前景画像が作成される。この差引きを行う方法に関し
ていくつかのバリエーションが存在する。１つの実施例
では、重み付けされた輝度の合計（weighted sum）と色
差に対する単純な閾値処理方式を用いてピクセルが前景
にあるか背景にあるかが判定される。基本処理は以下の
ようになる。すなわち、第１に、静止背景のフレームＹ
０，Ｕ０，Ｖ０を取得し；第２に、５×５ガウス畳み込
み（重畳）（Gaussian convolution）を用いてＹ０，Ｕ
０，Ｖ０を平滑化し；第３に、現在のビデオ・フレーム
Ｙ，Ｕ，Ｖを取得し；第４に、５×５ガウス畳み込みを
用いてＹ，Ｕ，Ｖを平滑化し；第５に、Ｙ内の各ピクセ
ルについて、Ｙdif＝abs（Ｙ−Ｙ０）を計算し；第６
に、Ｕ内の各ピクセルについて、Ｕdif＝abs（Ｕ−Ｕ
０）を計算し；第７に、Ｖ内の各ピクセルについて、Ｖ
dif＝abs（Ｖ−Ｖ０）を計算し；第８に、Ｙdif，Ｕdi
f，Ｖdif内の各ピクセルについて、Ｓｕｍ＝Ｙdif＋Ｕd
if＊８＋Ｖdif＊８を計算し；第９に、Ｓｕｍの各ピク
セルについて、Ｓｕｍ＞Threshold（閾値）ならばForeg
round（前景）＝１、そうでない場合にはForeground＝
０と計算し；第１０に、標準収縮モルフォロジー・フィ
ルタ（standard erosion morphological filter）を用
いてForegroundを収縮する（この収縮処理は、白黒（sa
lt-and-pepper）ノイズによって生じるような単一ピク
セル・エラー測定値を取り除くために行う）。一般に、
上述の第３から第１０のステップだけがビデオ・フレー
ム毎に反復される。上述の処理では、Ｙはピクセルの輝
度を表し、ＵとＶはピクセルの色差を表す。なお、式
［abs（数値）］からは、数値の絶対値が得られる。
【００２１】［ステップ２：視野内人物の決定］次のス
テップは、人物がビデオ・キャプチャ装置の視野内に存
在するか否かを判定するステップである。このステップ
によって、画像表示アプリケーションを駆動するために
ユーザーのビデオ画像処理を利用するか否かが判定され
る。このステップは、前景画像内のノンゼロ・ピクセル
（ゼロでない値を有する画素）の総数をカウントするス
テップと、その総計が最小閾値と最大閾値の間に在るこ
とを確認するステップとから構成される。最小閾値は、
静止背景と現在のビデオ・フレーム間に何らかの違いが
存在することの確認に用いられる。最大閾値はこの違い
が大きすぎないことの確認に用いられる。この大きすぎ
る違いは、例えば、人物がカメラ画像を完全にブロック
している場合や、格納された背景フレームの初期化を忘
れた場合に生じることもある。
【００２２】［ステップ３：腕の角度の決定］本発明の
１つの実施例では、表示装置上に表示された画像オブジ
ェクトの動きまたは位置は、視野内の人物の腕及び／又
は脚（すなわち、身体の一部）の動きまたは位置によっ
て作用される。この処理は一般に、分離された前景画像
の領域統計値（area statistics）の計算によって行わ
れる。図３は、本発明の１つの実施例に従う、腕の角度
を決定するための左右の腕のサブイメージへの分割処理
を示す、前景（人物）画像の例示図である。前景画像３
０２は、人物のトルソ（胴体）部分３００と、左腕のサ
ブイメージ３０６と、右腕のサブイメージ３０４を含
む。まず、図３でわかるように、トルソの水平範囲
“Ｗ”は、前景画像内のノンゼロ・ピクセルの重心（中
心：Centroid）と第２の水平モーメント（SecondMomen
t）との計算により決定される。 １．TorsoStartX＝CentroidX−Sqrt（SecondMomentX） ２．TorsoEndX＝CentroidX＋Sqrt（SecondMomentX） 但し、TorsoStartXはトルソ部分３００の左側を通って
下りるラインとして示され、TorsoEndXはトルソ部分３
００の右側を通って下りるラインとして示される。式
［Sqrt（数値）］からは、数値の平方根が得られる。
【００２３】次に、左腕の角度を決定するためにTorsoS
tartXの左側のサブイメージ３０６が処理される。この
サブイメージ内のノンゼロ・ピクセルの主モーメントの
角度が計算される。この角度は０〜１８０度の範囲をと
ることができ、この範囲は左腕の動きの範囲として考慮
されるものである。TorsoEndXの右側のサブイメージ３
０４も同様に処理される。主モーメントの角度は、ピク
セルに最も適合するラインの勾配として求めたものと考
えることができる。主モーメントの角度を求める技術
は、画像処理および動的モデリングを行う際の標準技術
である。このような技術は、例えば、テキストブック
「材料力学（Mechanics of Materials）」（ティモシェ
ンコ（Timoshenko）、ギア（Gere）共著、１９９７年）
中の記載から知ることができるであろう。
【００２４】［ステップ４：フライト・パラメータ決
定］ユーザーの位置と、ユーザーの腕の動きの速度及び
タイプに関する特性が、画像表示装置上に表示される図
画要素を動かすために利用される。例えば、風景の上空
を飛行するゲーム・キャラクタが現れるフライト・ゲー
ム（フライト・シミュレーション・ゲーム）中におい
て、そのキャラクタのモーションを制御するためにユー
ザーの動きを利用することができる。
【００２５】フライト・ゲームに付随するパラメータに
関しては、フライト・シミュレーション・プログラムに
おいて利用される対気速度の加速度（Accel）、バンク
角（横傾斜角：BankAngle）、及びピッチ角（縦傾斜
角：PitchAngle）を計算するために、各ユーザー（人
物）の、トルソに対する腕の角度が処理される。バンク
角は２つの腕の角度（左腕の角度（LeftAngle）及び右
腕の角度（RightAngle））の有符号差分値から計算され
る。ピッチ角は、２つの腕の角度の平均値から９０度を
減算することによって計算される。したがって、まっす
ぐ伸ばした腕はゼロ・ピッチ角を表す。次いで、このピ
ッチ角は、「０.１」でスケール・ダウンされる（−９
０°から９０°のピッチでは大きすぎる）。対気速加速
度は、腕の角度の平均値の時間変化率として計算される
（適切な値となるように定められる）。この時間変化率
は、さらに平滑な信号を生成するために数フレームにわ
たって計算される。
【００２６】一般に、計算されるパラメータの全ては、
グラフィック表示画像の生成に用いられる前に平滑化さ
れる。この平滑化によって、若干のタイムラグが加わる
がしかし、途切れ途切れになる（時間遅延になる）こと
の少ないビデオ表示が得られる。この平滑化は、ビデオ
・キャプチャ装置または処理システムが低解像度処理し
かできない場合に特に望ましい。
【００２７】１つの実施例では、フライト・シミュレー
タまたは類似のフライト・プログラムで利用されるグラ
フィック処理用変数を生成するための様々なパラメータ
の計算は、以下のように行われる。 １．BankAngle＝LeftAngle−RightAngle ２．PitchAngle＝（（（LeftAngle＋RightAngle）／2.
0）−90）＊0.1 ３．Accel＝abs（（LeftAngle＋RightAngle）−（LeftA
nglePrev＋RightAnglePrev））＊K ４．以下のように平滑化計算が行われる： BankAngleSmooth＝k1＊BankAngle＋（1−k1）＊BankAng
leSmooth PitchAngleSmooth＝k2＊PitchAngle＋（1−k2）＊Pitch
AngleSmooth AccelSmooth＝k3＊Accel＋（1−k3）＊AccelSmooth なお、添字Prevは、その値が先の（過去の）値であるこ
とを示しており、実際には、例えば過去の（または直前
の）フレームから得られた値を示している。また、添字
Smoothは、その値が平滑化後の値であることを示してい
る。前記４式は、プログラム的に記載されているが、こ
の式の内容をより明確にするために、右辺の「BankAngl
eSmooth」、「PitchAngleSmooth」及び「AccelSmooth」
を、それぞれ過去の平滑化値を表す「BankAngleSmoothP
rev」、「PitchAngleSmoothPrev」及び「AccelSmoothPr
ev」と記載するようにしてもよい。
【００２８】これらの平滑化された量がシミュレーショ
ン用に使用される。前記３式中の「Ｋ」は、定数を表
す。この定数Ｋは、ユーザーに与えられる実際の加速度
に基づいて変更される。また、定数ｋ１、ｋ２、ｋ３
は、表示オブジェクトのレスポンス（応答）特性を規定
する。このことは、ユーザーの動きと表示オブジェクト
の動きとの相関性をカスタマイズすることで、様々な経
験（例えば、ゲームの体験）を得ること可能とする。例
えば、フライト・シミュレータ・プログラムにおいて、
様々なタイプの飛行機や飛行物体に関連する様々な特性
を選択しまたは決定するように前記定数をプログラムす
ることができ、これによって様々なシミュレーションを
経験することが可能になる。例えば、これらの定数の設
定のし方によって、ジェット機の感覚をシミュレートす
ることや、ハンググライダーの感覚をシミュレートする
ことができる。
【００２９】図４は、本発明の１つの実施例における、
上述の方法論に従う、ユーザーの腕の動きに応じて表示
装置上のオブジェクトを動かすステップを例示するフロ
ーチャートである。図４のフローチャート４００の最初
の２つのステップは、バックグラウンド差引きのステッ
プを有する。ステップ４０４で、キャプチャされた人物
を含まないビデオ画像が格納され、ステップ４０６で、
この格納されたビデオ画像がライブ（生または現在）の
ビデオ・シーケンスから差引きされる。次に、人物がデ
ジタルカメラの視野の範囲内にいるかどうかが判定され
る（ステップ４０８）。ステップ４１０は、アーム角度
決定ステップの第１の部分である、トルソの水平範囲を
決定するステップで構成される。ステップ４１２では、
各アーム角度が決定される。この角度の決定は、各腕の
サブイメージの主モーメントの角度を計算することによ
り行われる。
【００３０】この好適な実施例では、フライト・パラメ
ータ決定ステップは、図４の最後の３つのステップで構
成される。第１に、ステップ４１４で、上記列挙したも
のと同じ数式を用いて腕の角度を処理してフライト・パ
ラメータの計算を行う。第２に、ステップ４１６で、特
定のフライト経験（例えばジェット機、グライダーな
ど）用として選択される定数を含む関数を用いてこれら
の量が平滑化される。最後に、ステップ４１８で、これ
らの平滑化されたパラメータは、表示画像上でオブジェ
クトの平行移動及び／又は回転運動を起こすためにフラ
イト・シミュレーションで使用される。
【００３１】本発明の代替実施例によれば、単に表示画
像上のオブジェクトの動きに影響を与えるためだけでな
く、公知の電気通信システム内で利用するために信号が
生成される。本実施例は、人間の腕の位置及び／又は運
動データに応じて信号を生成する方法として記述するこ
とができる。すなわち、該方法は、イメージ・プロセッ
サとビデオ画像をキャプチャする装置とを提供するステ
ップと、該装置を用いてビデオ画像をキャプチャし、且
つ、該イメージ・プロセッサを利用してそれらの画像を
処理することにより背景から人体部分（人間の形の部
分）を分離するステップと、該イメージ・プロセッサを
用いて、キャプチャされたビデオ画像（または、分離さ
れた人体の画像）から人体の腕の部分を分離するステッ
プと、該イメージ・プロセッサを用いて腕の位置と運動
のデータを計算するステップと、該イメージ・プロセッ
サを用いて、腕の位置と運動のデータに応じて信号を生
成するステップとを有する。
【００３２】［グラフィック入力および処理機能］本好
適な実施例では、ユーザーの腕のアクションがビデオ・
キャプチャ装置によってキャプチャされ、それに対応す
るアクションが、表示画像上に現れる鳥（飛行生物）の
キャラクタのモーションに変換される。代表的な腕のア
クションと、それらと鳥の動きとの相関関係が図５〜図
９に例示されている。図５は、本発明の１つの実施例に
従う、ユーザーの腕の羽ばたき動作と、表示画像上にお
ける鳥の上昇動作との相関関係を例示する。図５に図示
のように、相関システム５００には、左腕５０４と右腕
５０６とを有し、これらの腕を図中の２方向の矢印５０
８で示すように羽ばたかせているユーザー５０２が図示
されている。このアクションは、対応する表示画像５１
０上における景観５１６との関係において、矢印５１４
で示すように上昇する鳥５１２の動作と相関する。
【００３３】図６は、本発明の１つの実施例に従う、自
分の腕をまっすぐ伸ばした状態に保つユーザーの動作
と、表示画像上で滑空（ソアリング）する鳥の動作との
相関関係を例示する。図６に図示のように、相関システ
ム６００には、左腕６０４と右腕６０６とを有し、これ
らの腕を水平の矢印６０８で示すようにまっすぐに伸ば
した状態に保つユーザー６０２が例示されている。この
アクションは、対応する表示画像６１０上における景観
６１６との関係において、水平な飛翔針路で例示されて
いるような鳥６１２の滑翔動作と相関する。
【００３４】図７は、本発明の１つの実施例に従う、自
分の腕を左へ傾けるユーザーと、表示画像上で左へ傾い
て飛んでいる鳥との相関関係を例示する。図７に図示の
ように、相関システム７００には、左腕７０４と右腕７
０６とを有し、下向きの矢印７０８と上向きの矢印７１
０によって例示されているように、左腕７０４が右腕７
０６より低くなるように位置させているユーザー７０２
の動作が図示されている。このアクションは、対応する
表示画像７１４上における景観７１６との関係におい
て、正の勾配を有する鳥の体の軸線によって例示されて
いるように左へ傾いて飛んでいる鳥７１２の動作と相関
する。
【００３５】図８は、本発明の１つの実施例に従う、自
分の腕を右側へ傾けるユーザーの動作と、表示画像上で
右へ傾いて飛んでいる鳥の動作との相関関係を例示す
る。図８に図示のように、相関システム８００には、左
腕８０４と右腕８０６とを有し、上向きの矢印８０８と
下向きの矢印８１０とによって例示されているように、
左腕８０４の方を右腕８０６より高くなるように位置さ
せているユーザー８０２の動作が図示されている。この
アクションは、対応する表示画像８１２上における景観
８１８との関係において、負の勾配を持つ鳥の体の軸線
によって例示されているように右へ傾いて飛んでいる鳥
８１４の動作と相関する。
【００３６】図９は、本発明の１つの実施例に従う、自
分の腕を後へしまい込む（タックする）ユーザーの動作
と、表示画像上で下降している鳥の動作との相関関係を
例示する。図９に図示のように、相関システム９００に
は、左腕９０４と右腕９０６とを有し、これらの腕を、
下向き矢印９０８によって例示されているように後へタ
ックするように位置させている、ユーザー９０２の動作
が示されている。このアクションは、対応する表示画像
９１０上における景観９１６との関係において、矢印９
１４によって例示されているように下降する鳥９１２の
動作と相関する。
【００３７】上記好適な実施例では、本発明のユーザー
入力装置及び方法は、図１０のブロック図によって例示
されているコンピュータ処理システムによって実現され
る。この処理システムは、メイン・メモリ１００２とグ
ラフィック処理ユニット（ＧＰＵ）１００６とに接続さ
れる中央演算処理装置（ＣＰＵ）１００４を含むコンピ
ュータベースのエンタテインメント・システムの実施例
を表している。ＣＰＵ１００４は入出力用プロセッサ
（ＩＯＰ）バス１００８とも接続される。１つの実施例
では、ＧＰＵ１００６はピクセルベースのグラフィック
・データの高速処理用内部バッファを含む。さらに、Ｇ
ＰＵは、エンタテインメント・システム１０００あるい
はそのエレメントの外部に接続されたテレビ・モニタ１
００７へ送信するために、処理された画像データを規格
テレビ信号（ＮＴＳＣやＰＡＬなど）に変換する出力処
理部または機能を含むことができる。上記とは別に、コ
ンピュータ用モニターや、ＬＣＤ（液晶表示）装置、あ
るいは、その他のタイプの表示装置のような、テレビ・
モニタ以外の表示装置に対してデータ出力信号を出力す
ることができる。
【００３８】ＩＯＰバス１００８は、ＣＰＵ１００４を
様々な入力／出力装置および他のバスや装置と接続す
る。ＩＯＰバス１００８は、入出力用プロセッサ（ＩＯ
Ｐ）・メモリ１０１０、コントローラ１０１２、メモリ
ー・カード１０１４、ユニバーサル・シリアル・バス
（ＵＳＢ）ポート１０１６、ＩＥＥＥ１３９４（Firewi
reインターフェースとしても知られている）ポート１０
１８、バス１０３０と接続される。バス１０３０は、オ
ペレーティング・システム（ＯＳ）ＲＯＭ１０２０、フ
ラッシュ・メモリ１０２２、音声処理ユニット（ＳＰ
Ｕ）１０２４、光ディスク制御ユニット１０２６、ハー
ドディスク・ドライブ（ＨＤＤ）１０２８を含むいくつ
かの他のシステム構成要素をＣＰＵ１００４と接続す
る。この実施例の１つの態様では、ビデオ・キャプチャ
装置は、ＣＰＵ１００４への送信用として使用されるＩ
ＯＰバス１００８と直接接続されてもよい。このＩＯＰ
バスの中で、ビデオ・キャプチャ装置から得られるデー
タを用いてＧＰＵ１００６内にグラフィック画像の生成
用として使用される値を変更または更新することが可能
である。さらに、本発明の実施例は、「アウトライン生
成データ、生成方法及び装置」という表題の米国特許出
願０９/５７３,１０５（２０００年５月１７日出願）に
記載のような種々の画像処理構成と技術とを利用するこ
とができる。該特許出願はその全体が本明細書に参考文
献として取り入れられている。
【００３９】いくつかの異なる方法によって、本発明の
態様を具現化するプログラムまたはコンピュータ命令を
与えることができる。例えば、グラフィック画像との相
互作用を与えるためのユーザー入力方法は、ＨＤＤ１０
２８、フラッシュ・メモリ１０２２、ＯＳＲＯＭ１０２
０またはメモリー・カード１０１２に格納されたプログ
ラムの形で提供することが可能である。上記とは別に、
ＣＰＵ１００４と接続された１以上の入力ポートを通じ
て処理ユニット１０００へプログラムをダウンロードす
ることができる。入力方法を定義するプログラム・モジ
ュールを、ＣＰＵ１００４に実行され、表示装置１００
７上に表示されるゲームまたはアプリケーション・プロ
グラムに設けることができる。あるいは、ローカルなメ
イン・メモリ１００２から実行する場合のように、これ
らのプログラム・モジュールをアプリケーション・プロ
グラムとは別に供給してもよい。
【００４０】本発明の実施例はまた、分散型画像処理構
成についても考慮するものである。例えば、本発明は、
キャプチャされた画像や表示画像の処理が、ＣＰＵ内、
または、ＣＰＵと他の１つのエレメント内で行われる場
合のような、１つまたは２つの場所で行われる形態に限
定されるものではない。例えば、入力画像処理は、処理
の実行が可能な関連するＣＰＵ、プロセッサまたは装置
内で容易に行うことが可能である。ほぼ全ての画像処理
を相互接続システムを通じて分散することができる。し
たがって、本発明は、いずれの特定の画像処理用ハード
ウェア回路構成及び／又はソフトウェアにも限定される
ものではない。本発明はまた、一般的ハードウェア回路
構成及び／又はソフトウェアのいずれかの特定の組合せ
に限定されるものではなく、また、処理用構成要素によ
って実行される命令のいずれかの特定のソースに限定さ
れるものでもない。
【００４１】［その他の実施例］１つの実施例では、フ
ライト・シミュレータのデモンストレーションに対して
羽ばたき音を追加することが可能である。腕の角度の平
均値の符号付き時間変化率がある特定の閾値を上回った
場合、この羽ばたき音はトリガーされる。このトリガー
は、ユーザーが自分の両腕を一緒に下ろしたときにのみ
羽ばたき音につながる。羽ばたき音の音量はその振舞い
によっても同様にスケールされる。したがって、羽ばた
きモーションが誇張されればされるほど（すなわち、モ
ーションが大きくなればなるほど）、大きな羽ばたき音
が生成される。
【００４２】さらなる実施例にはデモンストレーション
への追加があり、この中では、腕の角度を利用して、鳥
の羽ばたきを示す予め生成されたアニメーションへ変換
する指標が与えられる。これらの腕の角度は、このアニ
メーションに変換する指標として用いられる。この実施
例では、デモンストレーションは１人称の人物から見た
もの、すなわち、飛行物体等のオブジェクトの視点に基
づくものであってもよく、この場合、鳥のアニメーショ
ンは見えない。もっとも、風景上に日光によって投影さ
れるような鳥の影を見ることはできる。
【００４３】ネットワーク・デモンストレーションで
は、実際の鳥のアニメーションはプレイしている一方の
人物のモーションに対応する。竜、鷲、鷹等のような、
鳥の変形例のいくつかのアニメーションが存在してもよ
い。これらのアニメーションの各々に対してわずかに異
なるフライト経験を与えるために上述の平滑化パラメー
タが提供される。例えば竜は大きくて動きが遅いのでグ
ライダーのパラメータが用いられるが、鷹は小さくて素
早いのでジェット戦闘機用パラメータが用いられる。
【００４４】当業者ならば理解できるように、本明細書
に記載のグラフィック入力および処理方法のアプリケー
ションは、フライト・ゲームやシミュレータ以外の他の
タイプのシミュレーションまたはプログラムに拡張可能
である。例えば、ユーザーのモーションは、ドライブ用
オブジェクトや走行（競争、滑走）用オブジェクトを含
むビデオゲームや教育用プログラムの中で、あるいは、
スキー、自転車競技、格闘、および類似のアクション等
のユーザーのモーションを含む様々なスポーツゲームの
中で、オブジェクトを制御するために利用することが可
能である。
【００４５】さらに、本発明の実施例を、表示オブジェ
クトを動かすために利用されるユーザーの腕の動きに関
して例示し、説明してきたが、ユーザーの脚や頭部ある
いはユーザーが把持する物体の動きに基づいてグラフィ
ック制御を行う類似の処理技術の利用も可能であること
に留意されたい。
【００４６】本発明の実施例では、様々な後処理フィル
タリングや、シャドウ効果、歪み、モーフィング効果等
のような表示オブジェクトに対する特殊効果の、好適で
かつ便利な手段を考慮することもできる。このような後
処理フィルタリングや特殊効果は好適な追加であり、こ
れらを用いて基本システムの単純さと効率性を活用する
ことができる。
【００４７】以上、表示画像上でオブジェクトを動かす
ユーザー入力システムについて説明した。特定の例示実
施例と関連して本発明を説明したとはいえ、請求項に記
載のような本発明のさらに広い精神と範囲から逸脱する
ことなくこれらの実施例に対して様々な改変や変更を行
うことが可能であることは明らである。例えば、フライ
トと関連する出力を有するシステムまたはフライト・ゲ
ーム以外のアプリケーションに本発明の実施例を拡張す
ることが可能である。一般に、表示オブジェクトの動き
または位置決めがユーザーの動きまたは位置決めによっ
て制御される任意のグラフィック・ベースのアプリケー
ションを本明細書に記載の処理方法と関連して利用する
ことが可能である。したがって、本明細書と図面とは限
定的な意味ではなく例示的な意味で考慮されるべきもの
である。
【発明の効果】本発明によれば、グラフィック画像との
インタラクション用にビデオ画像を用いるユーザー入力
に関し、単純な設計と方法論とを与え、しかも確固で効
率的なインタラクションを提供することができる。
【図面の簡単な説明】
【図１】本発明の実施例を実現するために使用可能な、
表示画像上でオブジェクトとインタラクションを行うた
めの、例示的ユーザー入力システムを示すブロック図で
ある。
【図２】本発明の１つの実施例に従う、表示画像上でオ
ブジェクトとのインタラクションを行うためのユーザー
入力システムを例示する。
【図３】本発明の１つの実施例に従う、腕の角度を決定
するための、左右の腕のサブ画像への分割を示す人間の
画像を例示する図である。
【図４】本発明の１つの実施例に従う、ユーザーの腕の
動きに応じて、表示画像上でオブジェクトを動かすステ
ップを例示するフローチャートである。
【図５】本発明の１つの実施例に従う、第１例のユーザ
ー位置における、ユーザーの腕と表示画像上でのオブジ
ェクトとの間の相関関係を例示する。
【図６】本発明の１つの実施例に従う、第２例のユーザ
ー位置における、ユーザーの腕と表示画像上でのオブジ
ェクトとの間の相関関係を例示する。
【図７】本発明の１つの実施例に従う、第３例のユーザ
ー位置における、ユーザーの腕と表示画像上でのオブジ
ェクトとの間の相関関係を例示する。
【図８】本発明の１つの実施例に従う、第４例のユーザ
ー位置における、ユーザーの腕と表示画像上でのオブジ
ェクトとの間の相関関係を例示する。
【図９】本発明の１つの実施例に従う、第５例のユーザ
ー位置における、ユーザーの腕と表示画像上でのオブジ
ェクトとの間の相関関係を例示する。
【図１０】本発明の実施例に従うユーザー入力装置及び
方法を実現する例示的処理システムのブロック図であ
る。
【符号の説明】
１００：ユーザー入力システム、１０２：ビデオ・キャ
プチャ装置、１０４：入力画像プロセッサ、１０６：出
力画像プロセッサ、１０８：ビデオ表示装置、１００
０：エンタテインメント・システム（処理ユニット）、
１００２：メイン・メモリ、１００４：ＣＰＵ、１００
６：ＧＰＵ、１００７：テレビ・モニタ、１００８：Ｉ
ＯＰ、１０１０：ＩＯＰメモリ、１０１２：コントロー
ラ、１０１４：メモリー・カード、１０１６：ＵＳＢポ
ート、１０１８：ＩＥＥＥ１３９４ポート、１０２０：
ＯＳＲＯＭ、１０２２：フラッシュ・メモリ、１０２
４：ＳＰＵ、１０２６：光ディスク制御ユニット、１０
２８：ＨＤＤ、１０３０：バス
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/00 １００ Ｇ０６Ｔ 7/00 １００Ｃ 7/20 7/20 Ａ 7/60 １５０ 7/60 １５０Ｂ １５０Ｐ 11/60 ２００ 11/60 ２００ 17/40 17/40 Ｅ // Ａ６３Ｆ 13/00 Ａ６３Ｆ 13/00 Ｆ (72)発明者 リチャード マークス アメリカ合衆国、カリフォルニア州 94404−2175、フォスター・シティー、セ カンド・フロアー、イースト・ヒルスダイ ル・ブルバード 919 ソニー・コンピュ ータ・エンタテインメント・アメリカ・イ ンク内 Ｆターム(参考） 2C001 CB00 5B050 AA10 BA08 BA09 BA11 BA12 BA18 CA07 EA06 EA07 EA09 EA12 EA13 EA15 EA18 EA24 EA27 FA02 FA05 FA10 5B057 AA20 BA30 CA01 CA08 CA12 CA13 CA16 CB01 CB08 CB13 CB16 CC03 CD02 CD03 CE05 CE16 CF04 CH01 CH11 CH12 CH14 CH16 DA07 DA16 DB02 DB06 DB09 DC08 DC25 DC32 5E501 AA17 BA05 CA02 CB14 EB11 FA15 FB22 FB24 5L096 AA02 AA06 BA20 CA02 DA04 EA06 EA35 FA06 FA67 FA69 GA08 GA28 HA04 JA18 LA05

Claims (21)

    【特許請求の範囲】
  1. 【請求項１】 表示画像上のオブジェクトの平行移動及
    び／又は回転運動に作用する信号を供給する入力装置に
    おいて、 ビデオ画像をキャプチャする装置と、 キャプチャされた人間の腕等のモーションのビデオ画像
    を出力信号に変換する入力画像プロセッサであって、
    （ａ）前記キャプチャされたビデオ画像内の背景から人
    間の形を分離し、（ｂ）前記人間の腕等の位置及び／又
    は動きを検出し、（ｃ）前記人間の腕等の位置及び／又
    は動きに応じて出力信号を生成する、ようにプログラム
    される入力画像プロセッサと、 前記入力画像プロセッサから受信した信号に応じて、表
    示画像上のオブジェクトの平行移動及び／又は回転運動
    に作用を与えるようにプログラムされる出力画像プロセ
    ッサと、を有する入力装置。
  2. 【請求項２】 請求項１に記載の入力装置において、 前記出力画像プロセッサが、飛行物体から見た視点に基
    づいて前記表示画像を変化させる、入力装置。
  3. 【請求項３】 請求項１に記載の入力装置において、 前記出力画像プロセッサが、前記入力画像プロセッサか
    ら出力される前記信号に応じた位置とモーションを持つ
    飛行物体の表示画像を生成する、入力装置。
  4. 【請求項４】 人間の腕等の位置及び／又は運動データ
    を用いて、表示画像上のオブジェクトの平行移動及び／
    又は回転運動に作用する信号を生成する方法において、 イメージ・プロセッサと、ビデオ画像をキャプチャする
    装置とを提供するステップと、 ビデオ画像をキャプチャし、それらのビデオ画像を処理
    することによって背景から人間の形を分離するステップ
    と、 前記人間の形における腕等の部分を分離するステップ
    と、 前記腕等の位置及び／又は運動データを計算するステッ
    プと、 表示画像上のオブジェクトの平行移動及び／又は回転運
    動に作用させるための信号を、前記腕等の位置及び／又
    は運動データに応じて生成するステップと、を有する方
    法。
  5. 【請求項５】 人間の腕等の位置及び／又は運動データ
    を用いて信号を生成する方法において、 イメージ・プロセッサと、ビデオ画像をキャプチャする
    装置とを提供するステップと、 前記装置を用いてビデオ画像をキャプチャし、前記イメ
    ージ・プロセッサを用いてそれらのビデオ画像を処理し
    て背景から人間の形を分離するステップと、 前記イメージ・プロセッサを用いて、キャプチャされた
    ビデオ画像から前記人間の形における腕等の部分を分離
    するステップと、 前記イメージ・プロセッサを用いて、前記腕等の位置及
    び／又は運動データを計算するステップと、 前記イメージ・プロセッサを用いて、前記腕等の位置及
    び／又は運動データに応じた信号を生成するステップ
    と、を有する方法。
  6. 【請求項６】 人間の腕等の位置及び／又は運動データ
    を用いて、表示画像上のオブジェクトの平行移動及び／
    又は回転運動に作用する信号を生成する方法において、 イメージ・プロセッサと、ビデオ・シーケンスをキャプ
    チャする装置とを提供するステップと、 前記ビデオ・シーケンスから、人間を含まないフレーム
    をキャプチャするステップと、 前記ビデオ・シーケンスと前記人間を含まないフレーム
    とに対してアルゴリズムを実行することにより、前景被
    写体画像を含む画像を分離するステップと、 前記分離された画像が人間の画像を含むかどうかを判定
    するステップと、 キャプチャされた各ビデオ・フレームにおける前記被写
    体のトルソの水平範囲を検出することにより、前記人間
    の形における腕等の部分を分離するステップと、 前記ビデオ・フレームの前記腕等の部分におけるノンゼ
    ロ・ピクセルの主モーメントの角度を計算することによ
    り前記腕等の角度を計算するステップと、 表示画像上のオブジェクトの平行移動及び／又は回転運
    動に作用させるための腕等の位置及び／又は運動データ
    信号を前記腕等の角度に応じて生成するステップと、を
    有する方法。
  7. 【請求項７】 請求項６に記載の方法において、 前記分離された画像が人間の画像を含むかどうかを判定
    するステップが、 前景画像内のノンゼロ・ピクセルの総数をカウントする
    ステップと、 前記ノンゼロ・ピクセルの総数が、ピクセルの最小及び
    最大の閾値で規定される範囲内に入ることを確認するス
    テップと、を有する方法。
  8. 【請求項８】 請求項６に記載の方法において、 前記前景被写体画像を含む画像を分離するステップ内の
    前記アルゴリズムが、前記ビデオ・シーケンス内の個々
    のフレームから、前記人間を含まないフレームを差引き
    するステップを含む、方法。
  9. 【請求項９】 請求項６に記載の方法において、 前記前景被写体画像を含む画像を分離するステップで用
    いられるアルゴリズムでは、（ａ）静止背景フレームＹ
    ０，Ｕ０，Ｖ０を取得し、（ｂ）５×５ガウス畳み込み
    を用いてＹ０，Ｕ０，Ｖ０を平滑化し、（ｃ）現在のビ
    デオ・フレームＹ，Ｕ，Ｖを取得し、（ｄ）５×５ガウ
    ス畳み込みを用いてＹ，Ｕ，Ｖを平滑化し、（ｅ）Ｙ内
    の各ピクセルについて、Ｙdif＝abs（Ｙ−Ｙ０）を計算
    し、（ｆ）Ｕ内の各ピクセルについて、Ｕdif＝abs（Ｕ
    −Ｕ０）を計算し、（ｇ）Ｖ内の各ピクセルについて、
    Ｖdif＝abs（Ｖ−Ｖ０）を計算し、（ｈ）Ｙdif，Ｕdi
    f，Ｖdif内の各ピクセルについて、Ｓｕｍ＝Ｙdif＋Ｕd
    if＊８＋Ｖdif＊８を計算し、（ｉ）Ｓｕｍの各ピクセ
    ルについて、Ｓｕｍ＞ThresholdならばForeground＝
    １、そうでない場合にはForeground＝０と計算し、
    （ｊ）標準収縮モルフォロジー・フィルタを用いて前景
    を収縮し、これによって白黒ノイズによって生じるよう
    な任意の単一ピクセル・エラー測定値が除去される、方
    法。
  10. 【請求項１０】 請求項６に記載の方法において、 前記生成ステップで生成される前記腕等の位置及び／又
    は運動データ信号が、オブジェクトの対気速加速度、バ
    ンク角、および、ピッチ角と関連する信号から成るグル
    ープの中から選択される、方法。
  11. 【請求項１１】 請求項６に記載の方法において、 前記生成ステップで生成される前記腕等の位置及び／又
    は運動データ信号が、平滑化定数を用いて求められる、
    方法。
  12. 【請求項１２】 平行移動及び／又は回転運動に作用す
    る人間の腕等の位置データを用いてフライト・シミュレ
    ータ表示画像で使用する信号を生成する方法において、 ビデオ画像をキャプチャする装置とイメージ・プロセッ
    サとを提供するステップと、 前記装置を用いてビデオ画像をキャプチャし、前記イメ
    ージ・プロセッサを利用して該ビデオ画像を処理して背
    景から人間の形を分離するステップと、 前記イメージ・プロセッサを用いて、前記キャプチャさ
    れたビデオ画像から前記人間の形における腕等の部分を
    分離するステップと、 前記イメージ・プロセッサを用いて、腕等の位置及び／
    又は運動データを計算するステップと、 フライト・シミュレータ表示画像の状態を生成する際
    に、前記イメージ・プロセッサを用いて、前記腕等の位
    置及び／又は運動データに応じた信号を生成するステッ
    プと、を有する方法。
  13. 【請求項１３】 請求項１２に記載の方法において、 前記フライト・シミュレータ表示画像が、オブジェクト
    として、羽を動かす飛行生物を含む、方法。
  14. 【請求項１４】 請求項１２に記載の方法において、 前記フライト・シミュレータ表示画像に、飛行生物の視
    点から見たときの変化が描かれる、方法。
  15. 【請求項１５】 請求項１３に記載の方法において、 前記飛行生物の羽の動きに対応して羽ばたき音を生成す
    るステップを含む、方法。
  16. 【請求項１６】 請求項１５に記載の方法において、 キャプチャされた前記腕等のモーションが大きくなるの
    に伴って、前記羽ばたき音の音量が増える、方法。
  17. 【請求項１７】 請求項１５に記載の方法において、 前記腕等の角度の平均値の符号付き時間変化率が所定の
    閾値を上回った場合に、前記羽ばたき音がトリガーされ
    る、方法。
  18. 【請求項１８】 マシーンによって実行可能な命令プロ
    グラムを備えた製造物であって、前記命令プログラム
    が、 ビデオ画像をキャプチャし、それらのビデオ画像を処理
    することによって背景から人間の形を分離する命令と、 前記人間の形における腕等の部分を分離する命令と、 前記腕等の位置及び／又は運動データを計算する命令
    と、 表示画像上のオブジェクトの平行移動及び／又は回転運
    動に作用を与えるための、前記腕等の位置及び／又は運
    動データに応じた信号を生成する命令と、を含む製造
    物。
  19. 【請求項１９】 請求項１８に記載の製造物において、 前記命令プログラムによって生成された前記信号を用い
    て、フライト・シミュレータ表示画像の状態を生成す
    る、製造物。
  20. 【請求項２０】 マシーンによって実行可能な命令プロ
    グラムを備えた製造物であって、前記命令プログラム
    が、 装置を用いてビデオ画像をキャプチャし、イメージ・プ
    ロセッサを用いてそれらのビデオ画像を処理して背景か
    ら人間の形を分離する命令と、 前記イメージ・プロセッサを用いて、キャプチャされた
    ビデオ画像から前記人間の形における腕等の部分を分離
    する命令と、 前記イメージ・プロセッサを用いて、前記腕等の位置及
    び／又は運動データを計算する命令と、 前記イメージ・プロセッサを用いて、前記腕等の位置及
    び／又は運動データに応じた信号を生成する命令と、を
    含む製造物。
  21. 【請求項２１】 マシーンによって実行可能な命令プロ
    グラムを備えた製造物であって、前記命令プログラム
    が、 ビデオ・シーケンスから、人間を含まないフレームをキ
    ャプチャする命令と、 前記ビデオ・シーケンスと前記人間を含まないフレーム
    とに対してアルゴリズムを実行することにより、前景／
    被写体画像を分離する命令と、 前記分離された画像が人間の画像を含むかどうかを判定
    する命令と、 キャプチャされた各ビデオ・フレームにおける前記被写
    体のトルソの水平範囲を検出することにより、前記人間
    の形における腕等の部分を分離する命令と、 前記ビデオ・フレームの前記腕等の部分におけるノンゼ
    ロ・ピクセルの主モーメントの角度を計算することによ
    り前記腕等の角度を計算するステップと、 表示画像上のオブジェクトの平行移動及び／又は回転運
    動に作用させるための腕等の位置及び／又は運動データ
    信号を、前記腕等の角度に応じて生成するステップと、
    を有する製造物。
JP2001265151A 2000-09-01 2001-08-31 表示画像上のオブジェクトの平行移動及び回転運動に作用する信号を供給する入力装置及び方法 Expired - Fee Related JP3733587B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/654,141 US7071914B1 (en) 2000-09-01 2000-09-01 User input device and method for interaction with graphic images
US09/654141 2000-09-01

Publications (2)

Publication Number Publication Date
JP2002189545A true JP2002189545A (ja) 2002-07-05
JP3733587B2 JP3733587B2 (ja) 2006-01-11

Family

ID=24623598

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001265151A Expired - Fee Related JP3733587B2 (ja) 2000-09-01 2001-08-31 表示画像上のオブジェクトの平行移動及び回転運動に作用する信号を供給する入力装置及び方法

Country Status (6)

Country Link
US (1) US7071914B1 (ja)
EP (2) EP1314150A4 (ja)
JP (1) JP3733587B2 (ja)
KR (1) KR100678373B1 (ja)
CN (1) CN1244087C (ja)
WO (1) WO2002019310A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2003095048A1 (ja) * 2002-05-08 2005-09-08 コナミ株式会社 ゲーム装置
JP2007282787A (ja) * 2006-04-14 2007-11-01 Nintendo Co Ltd ゲーム装置およびゲームプログラム
JP2008023359A (ja) * 2002-05-08 2008-02-07 Konami Digital Entertainment:Kk ゲーム装置
JP2010129069A (ja) * 2008-12-01 2010-06-10 Fujitsu Ten Ltd ディスプレイ装置
JP2011191899A (ja) * 2010-03-12 2011-09-29 Konami Digital Entertainment Co Ltd 画像処理装置、画像処理方法、ならびに、プログラム
JP2013500822A (ja) * 2009-08-05 2013-01-10 エヌシーソフト コーポレーション ゲームキャラクターの動きの制御装置および制御方法
JP2013178783A (ja) * 2013-03-07 2013-09-09 Fujitsu Ten Ltd ディスプレイ装置
KR101315052B1 (ko) * 2005-08-12 2013-10-08 코닌클리케 필립스 일렉트로닉스 엔.브이. 상호 작용식 오락 시스템과 이의 작동 방법
JP2021505255A (ja) * 2017-12-06 2021-02-18 ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー 双方向ビデオゲームシステム

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6358235B1 (en) * 1998-07-29 2002-03-19 The Procter & Gamble Company Soft conformable hollow bag tampon
US20030218537A1 (en) * 2002-05-21 2003-11-27 Lightspace Corporation Interactive modular system
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7809145B2 (en) * 2006-05-04 2010-10-05 Sony Computer Entertainment Inc. Ultra small microphone array
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US7391409B2 (en) * 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US9682319B2 (en) 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
KR100580174B1 (ko) * 2003-08-21 2006-05-16 삼성전자주식회사 회전 가능한 디스플레이 장치 및 화면 조정 방법
US8287373B2 (en) 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US9573056B2 (en) 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US10279254B2 (en) 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
US20050255434A1 (en) * 2004-02-27 2005-11-17 University Of Florida Research Foundation, Inc. Interactive virtual characters for training including medical diagnosis training
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
JP2006068315A (ja) * 2004-09-02 2006-03-16 Sega Corp ポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4433948B2 (ja) * 2004-09-02 2010-03-17 株式会社セガ 背景画像取得プログラム、ビデオゲーム装置、背景画像取得方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
US8842186B2 (en) * 2004-10-25 2014-09-23 I-Interactive Llc Control system and method employing identification of a displayed image
JP4244919B2 (ja) * 2004-12-14 2009-03-25 ソニー株式会社 情報処理装置および方法、プログラム、並びに情報処理システム
US7620266B2 (en) * 2005-01-20 2009-11-17 International Business Machines Corporation Robust and efficient foreground analysis for real-time video surveillance
KR100678900B1 (ko) * 2005-01-26 2007-02-05 삼성전자주식회사 그래픽 객체를 동시에 디스플레이 하는 장치 및 방법
WO2006088221A1 (en) * 2005-02-17 2006-08-24 Ssd Company Limited Game apparatus and controller
WO2006103676A2 (en) * 2005-03-31 2006-10-05 Ronen Wolfson Interactive surface and display system
TWI258682B (en) * 2005-05-06 2006-07-21 Sunplus Technology Co Ltd Interactive video game system
US8549442B2 (en) 2005-12-12 2013-10-01 Sony Computer Entertainment Inc. Voice and video control of interactive electronically simulated environment
US7570250B2 (en) * 2006-05-04 2009-08-04 Yi-Ming Tseng Control device including a ball that stores data
JP2007301039A (ja) * 2006-05-09 2007-11-22 Nintendo Co Ltd ゲームプログラム及びゲーム装置
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
US8519979B1 (en) * 2006-12-29 2013-08-27 The Mathworks, Inc. Multi-point interface for a graphical modeling environment
WO2008091857A1 (en) 2007-01-22 2008-07-31 Bell Helicopter Textron, Inc. System and method for controlling a virtual reality environment by an actor in the virtual reality environment
US8996409B2 (en) 2007-06-06 2015-03-31 Sony Computer Entertainment Inc. Management of online trading services using mediated communications
US20090075711A1 (en) 2007-06-14 2009-03-19 Eric Brosius Systems and methods for providing a vocal experience for a player of a rhythm action game
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
CN101399897B (zh) * 2007-09-30 2010-12-29 宏达国际电子股份有限公司 图像处理方法
US8122356B2 (en) * 2007-10-03 2012-02-21 Eastman Kodak Company Method for image animation using image value rules
US8542907B2 (en) 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
KR101335346B1 (ko) 2008-02-27 2013-12-05 소니 컴퓨터 엔터테인먼트 유럽 리미티드 장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US8663013B2 (en) 2008-07-08 2014-03-04 Harmonix Music Systems, Inc. Systems and methods for simulating a rock band experience
US8447421B2 (en) * 2008-08-19 2013-05-21 Sony Computer Entertainment Inc. Traffic-based media selection
US8290604B2 (en) * 2008-08-19 2012-10-16 Sony Computer Entertainment America Llc Audience-condition based media selection
US8961313B2 (en) 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
US8527657B2 (en) 2009-03-20 2013-09-03 Sony Computer Entertainment America Llc Methods and systems for dynamically adjusting update rates in multi-player network gaming
US8342963B2 (en) 2009-04-10 2013-01-01 Sony Computer Entertainment America Inc. Methods and systems for enabling control of artificial intelligence game characters
US8142288B2 (en) 2009-05-08 2012-03-27 Sony Computer Entertainment America Llc Base station movement detection and compensation
US8393964B2 (en) 2009-05-08 2013-03-12 Sony Computer Entertainment America Llc Base station for position location
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
US8449360B2 (en) 2009-05-29 2013-05-28 Harmonix Music Systems, Inc. Displaying song lyrics and vocal cues
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
EP2494432B1 (en) 2009-10-27 2019-05-29 Harmonix Music Systems, Inc. Gesture-based user interface
US8550908B2 (en) 2010-03-16 2013-10-08 Harmonix Music Systems, Inc. Simulating musical instruments
CA2802348A1 (en) 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Dance game and tutorial
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
US20130106757A1 (en) * 2010-07-15 2013-05-02 Hewlett-Packard Development Company, L.P. First response and second response
US9075434B2 (en) * 2010-08-20 2015-07-07 Microsoft Technology Licensing, Llc Translating user motion into multiple object responses
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
JP2012068713A (ja) 2010-09-21 2012-04-05 Sony Corp 情報処理装置、および情報処理方法
US8484219B2 (en) 2010-09-21 2013-07-09 Sony Computer Entertainment America Llc Developing a knowledge base associated with a user that facilitates evolution of an intelligent user interface
US8504487B2 (en) 2010-09-21 2013-08-06 Sony Computer Entertainment America Llc Evolution of a user interface based on learned idiosyncrasies and collected data of a user
JP5997699B2 (ja) * 2010-11-01 2016-09-28 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ジェスチャ入力を検知する方法と装置
US9848106B2 (en) * 2010-12-21 2017-12-19 Microsoft Technology Licensing, Llc Intelligent gameplay photo capture
US20130100015A1 (en) * 2011-10-25 2013-04-25 Kenneth Edward Salsman Optical input devices
US9033795B2 (en) * 2012-02-07 2015-05-19 Krew Game Studios LLC Interactive music game
US9105178B2 (en) 2012-12-03 2015-08-11 Sony Computer Entertainment Inc. Remote dynamic configuration of telemetry reporting through regular expressions
US10152136B2 (en) * 2013-10-16 2018-12-11 Leap Motion, Inc. Velocity field interaction for free space gesture interface and control
US9740296B2 (en) 2013-12-16 2017-08-22 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras in the interaction space
US9751019B2 (en) * 2013-12-18 2017-09-05 Activision Publishing, Inc. Input methods and devices for music-based video games
US10441876B2 (en) * 2013-12-20 2019-10-15 Activision Publishing, Inc. Video game integrating recorded video
US9118888B1 (en) * 2014-03-14 2015-08-25 Tribune Broadcasting Company, Llc News production system with integrated display
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10429923B1 (en) 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
JP7140465B2 (ja) * 2016-06-10 2022-09-21 任天堂株式会社 ゲームプログラム、情報処理装置、情報処理システム、ゲーム処理方法
EP3493011B1 (en) * 2016-07-29 2022-09-14 NEC Solution Innovators, Ltd. Mobile body control system, control signal transmission system, mobile body control method, program, and recording medium
US11467572B2 (en) 2016-07-29 2022-10-11 NEC Solution Innovations, Ltd. Moving object operation system, operation signal transmission system, moving object operation method, program, and recording medium
CN106569602B (zh) * 2016-10-27 2020-05-19 腾讯科技（深圳）有限公司 行为数据的交互方法和装置
US10653957B2 (en) 2017-12-06 2020-05-19 Universal City Studios Llc Interactive video game system
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
CN111986070B (zh) * 2020-07-10 2021-04-06 中国人民解放军战略支援部队航天工程大学 基于gpu的vdif格式数据异构并行编帧方法
US11726553B2 (en) 2021-07-20 2023-08-15 Sony Interactive Entertainment LLC Movement-based navigation
US11786816B2 (en) 2021-07-30 2023-10-17 Sony Interactive Entertainment LLC Sharing movement data
US20230051703A1 (en) * 2021-08-16 2023-02-16 Sony Interactive Entertainment LLC Gesture-Based Skill Search

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09185456A (ja) * 1995-04-28 1997-07-15 Matsushita Electric Ind Co Ltd インターフェイス装置
JP2000020193A (ja) * 1998-06-29 2000-01-21 Toshiba Corp 仮想物体制御方法および仮想物体制御装置および記録媒体
JP2000033184A (ja) * 1998-05-14 2000-02-02 Masanobu Kujirada 全身動作入力型のゲ―ム及びイベント装置

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3943277A (en) 1969-02-20 1976-03-09 The United States Of America As Represented By The Secretary Of The Navy Digital memory area correlation tracker
US4133004A (en) 1977-11-02 1979-01-02 Hughes Aircraft Company Video correlation tracker
US4448200A (en) 1978-03-27 1984-05-15 University Of Southern California System and method for dynamic background subtraction
IL69327A (en) 1983-07-26 1986-11-30 Elscint Ltd Automatic misregistration correction
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US5034986A (en) 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
GB9001468D0 (en) 1990-01-23 1990-03-21 Sarnoff David Res Center Computing multiple motions within an image region
JPH04123122A (ja) 1990-09-13 1992-04-23 Sony Corp 入力装置
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5680487A (en) 1991-12-23 1997-10-21 Texas Instruments Incorporated System and method for determining optical flow
US5450504A (en) 1992-05-19 1995-09-12 Calia; James Method for finding a most likely matching of a target facial image in a data base of facial images
JP3679426B2 (ja) 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
FR2714502A1 (fr) 1993-12-29 1995-06-30 Philips Laboratoire Electroniq Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.
US5611000A (en) 1994-02-22 1997-03-11 Digital Equipment Corporation Spline-based image registration
US5649032A (en) 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
GB2295936B (en) 1994-12-05 1997-02-05 Microsoft Corp Progressive image transmission using discrete wavelet transforms
US5704836A (en) * 1995-03-23 1998-01-06 Perception Systems, Inc. Motion-based command generation technology
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US5805745A (en) 1995-06-26 1998-09-08 Lucent Technologies Inc. Method for locating a subject's lips in a facial image
US5970173A (en) 1995-10-05 1999-10-19 Microsoft Corporation Image compression and affine transformation for image motion compensation
US5825308A (en) 1996-11-26 1998-10-20 Immersion Human Interface Corporation Force feedback interface having isotonic and isometric functionality
US5963209A (en) 1996-01-11 1999-10-05 Microsoft Corporation Encoding and progressive transmission of progressive meshes
US6049619A (en) 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
US6009188A (en) 1996-02-16 1999-12-28 Microsoft Corporation Method and system for digital plenoptic imaging
US5805170A (en) 1996-05-07 1998-09-08 Microsoft Corporation Systems and methods for wrapping a closed polygon around an object
US6104412A (en) * 1996-08-21 2000-08-15 Nippon Telegraph And Telephone Corporation Method for generating animations of a multi-articulated structure, recording medium having recorded thereon the same and animation generating apparatus using the same
US6121953A (en) 1997-02-06 2000-09-19 Modern Cartoons, Ltd. Virtual reality system for sensing facial movements
US5917937A (en) 1997-04-15 1999-06-29 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements
US6049636A (en) 1997-06-27 2000-04-11 Microsoft Corporation Determining a rectangular box encompassing a digital picture within a digital image
US5990901A (en) 1997-06-27 1999-11-23 Microsoft Corporation Model based image editing and correction
US6009190A (en) 1997-08-01 1999-12-28 Microsoft Corporation Texture map construction method and apparatus for displaying panoramic image mosaics
US6044181A (en) 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US5987164A (en) 1997-08-01 1999-11-16 Microsoft Corporation Block adjustment method and apparatus for construction of image mosaics
US6018349A (en) 1997-08-01 2000-01-25 Microsoft Corporation Patch-based alignment method and apparatus for construction of image mosaics
US5986668A (en) 1997-08-01 1999-11-16 Microsoft Corporation Deghosting method and apparatus for construction of image mosaics
US6031934A (en) 1997-10-15 2000-02-29 Electric Planet, Inc. Computer vision system for subject characterization
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US5905894A (en) 1997-10-29 1999-05-18 Microsoft Corporation Meta-programming methods and apparatus
US20030137486A1 (en) * 1998-12-11 2003-07-24 Alexis Wilke Method and apparatus for locating a pointing elements within a digital image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09185456A (ja) * 1995-04-28 1997-07-15 Matsushita Electric Ind Co Ltd インターフェイス装置
JP2000033184A (ja) * 1998-05-14 2000-02-02 Masanobu Kujirada 全身動作入力型のゲ―ム及びイベント装置
JP2000020193A (ja) * 1998-06-29 2000-01-21 Toshiba Corp 仮想物体制御方法および仮想物体制御装置および記録媒体

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2003095048A1 (ja) * 2002-05-08 2005-09-08 コナミ株式会社 ゲーム装置
JP2008023359A (ja) * 2002-05-08 2008-02-07 Konami Digital Entertainment:Kk ゲーム装置
KR101315052B1 (ko) * 2005-08-12 2013-10-08 코닌클리케 필립스 일렉트로닉스 엔.브이. 상호 작용식 오락 시스템과 이의 작동 방법
JP2007282787A (ja) * 2006-04-14 2007-11-01 Nintendo Co Ltd ゲーム装置およびゲームプログラム
JP2010129069A (ja) * 2008-12-01 2010-06-10 Fujitsu Ten Ltd ディスプレイ装置
JP2013500822A (ja) * 2009-08-05 2013-01-10 エヌシーソフト コーポレーション ゲームキャラクターの動きの制御装置および制御方法
JP2011191899A (ja) * 2010-03-12 2011-09-29 Konami Digital Entertainment Co Ltd 画像処理装置、画像処理方法、ならびに、プログラム
JP2013178783A (ja) * 2013-03-07 2013-09-09 Fujitsu Ten Ltd ディスプレイ装置
JP2021505255A (ja) * 2017-12-06 2021-02-18 ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー 双方向ビデオゲームシステム
JP7403452B2 (ja) 2017-12-06 2023-12-22 ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー 双方向ビデオゲームシステム

Also Published As

Publication number Publication date
KR20020064789A (ko) 2002-08-09
EP1314150A4 (en) 2010-10-20
CN1244087C (zh) 2006-03-01
KR100678373B1 (ko) 2007-02-05
EP1314150A1 (en) 2003-05-28
EP2405419A2 (en) 2012-01-11
US7071914B1 (en) 2006-07-04
JP3733587B2 (ja) 2006-01-11
CN1394325A (zh) 2003-01-29
WO2002019310A1 (en) 2002-03-07

Similar Documents

Publication Publication Date Title
JP3733587B2 (ja) 表示画像上のオブジェクトの平行移動及び回転運動に作用する信号を供給する入力装置及び方法
TWI469813B (zh) 在動作擷取系統中追踪使用者群組
CN102449576B (zh) 姿势快捷方式
JP5782440B2 (ja) 視覚表示の自動生成方法及びシステム
CN102947774B (zh) 用于驱动交互式故事的自然用户输入
CN102596340B (zh) 用于将动画或运动应用到角色的系统和方法
CN102470273B (zh) 基于玩家表情的视觉表示表情
KR101643020B1 (ko) 애니메이션을 체이닝하는 방법 및 애니메이션 블렌딩 장치
CN102448566B (zh) 骨架以外的姿势
JP4694141B2 (ja) ゲームプレイの状態に基づいてカメラのパラメータを動的に制御する方法および装置
CN102448561B (zh) 姿势教练
JP5739872B2 (ja) モーションキャプチャにモデルトラッキングを適用するための方法及びシステム
CN102414641B (zh) 改变显示环境内的视图视角
CN105073210B (zh) 使用深度图像的用户身体角度、曲率和平均末端位置提取
CN102301315A (zh) 姿势识别器系统架构
CN105144240B (zh) 使用深度图像的用户质心和质量分布提取
WO2011087888A2 (en) Directed performance in motion capture system
EP2118840A1 (en) Interactive user controlled avatar animations
WO2008106197A1 (en) Interactive user controlled avatar animations
CN103207667A (zh) 一种人机互动的控制方法及其运用
Velho et al. Expanded Virtual Puppeteering.
Zivkovic Optical-flow-driven gadgets for gaming user interface
Marks et al. Real-time motion capture for interactive entertainment
Luo et al. Research and simulation on virtual movement based on kinect
Hunt et al. Puppet Show: Intuitive puppet interfaces for expressive character control

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050328

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050628

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051009

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091028

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091028

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101028

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111028

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121028

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121028

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131028

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees