JP2007328781A - インタラクティブな3次元位置追跡のためのシステム及び方法 - Google Patents

インタラクティブな3次元位置追跡のためのシステム及び方法 Download PDF

Info

Publication number
JP2007328781A
JP2007328781A JP2007143290A JP2007143290A JP2007328781A JP 2007328781 A JP2007328781 A JP 2007328781A JP 2007143290 A JP2007143290 A JP 2007143290A JP 2007143290 A JP2007143290 A JP 2007143290A JP 2007328781 A JP2007328781 A JP 2007328781A
Authority
JP
Japan
Prior art keywords
image
image sensor
game
display screen
input device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007143290A
Other languages
English (en)
Inventor
Soo Sean Lim
ソー・シーン・リム
Shalini Venkatesh
シャリニ・ヴェンカテシュ
Lye Hock Chan
ライ・ホック・チャン
Tong Sen Liew
トン・セン・リュー
Nobutaka Itagaki
信孝 板垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avago Technologies International Sales Pte Ltd
Original Assignee
Avago Technologies General IP Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avago Technologies General IP Singapore Pte Ltd filed Critical Avago Technologies General IP Singapore Pte Ltd
Publication of JP2007328781A publication Critical patent/JP2007328781A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザ入力装置の3次元方向の動きを反映可能な対話型コンピュータシステムを提供する。
【解決手段】対話型コンピュータシステム100におけるイメージセンサ115の位置のx、y、z座標を追跡するためのシステム100及び方法300が開示される。イメージセンサ115は入力装置110に配置され、表示画面120に表示された電子マーカー125の画像を捕捉する。入力装置110の位置が変わると、イメージセンサ115によって捕捉された電子マーカー125の特徴も変化する。ゲームプレイ中に捕捉された電子マーカー125の画像を電子マーカー125の較正画像と比較してイメージセンサ115の位置(p0,p1)の現在のx、y、z座標を決定する。イメージセンサ115の動きを反映するためにゲームの表示が更新される。
【選択図】図1

Description

本発明の実施形態は一般に対話型コンピュータシステムの分野に関する。より具体的には、本発明の実施形態は、コンピュータシステム用のユーザ入力装置の位置追跡に関する。
今日の利用可能な多くの対話型コンピュータシステム(インタラクティブコンピュータシステム)は、ゲームなどのコンピュータプログラムのキャラクター及び/または風景と相互作用(または対話)をするためにユーザによって保持または操作される入力装置を使用する。たとえば、従来のビデオゲームは、ユーザが、表示画面上のクレーピジョンを狙って「銃」を構えて「射撃」できるようにする。銃は、コード(たとえばケーブルなど)か無線リンクでゲームコントローラに接続される。引き金が引かれたときの銃のx−y位置は、画面上に電子マーカーを光らせる(または一時的に表示する)ことにより判定される。電子マーカーの画像は入力装置のセンサによって捕捉(撮像)され、捕捉された画像の外観を使用して、引き金が引かれたときの銃のx−y位置を判定(または評価)する。このようにして、従来のインタラクティブシステム(対話型システム)は、ユーザ入力装置の2次元追跡を可能にしている。
2次元追跡によって提供される、ユーザと、ゲームなどのコンピュータプログラムの要素との対話(または相互作用)は限られている。たとえば、上述のゲームでは、クレーピジョンが表示画面上を移動するときに、ユーザは、それらのクレーピジョンにねらいを定めて射撃することができる。しかしながら、従来のシステムは、ユーザが表示画面に対して前方または後方に動くときの入力装置の移動を追跡することはしない。従来のシステムでは、表示画面からのユーザの距離は、ゲームのインタラクティブ性の要素として考慮されていない。
典型的には、センサはフォトダイオードである。従来のシステムでは、電子マーカーが光る(または表示される)とプログラム(たとえばゲーム)が短時間中断するが、その発光(または表示)は一般にユーザが認識可能なものである。この中断は、プログラムすなわちゲームの楽しみを損なわせる厄介なものになる場合がある。たとえば、いくつかのシステムでは、ユーザが知覚可能な時間の間、画面全体を白く光らせることができる。
本発明の実施形態として、表示画面上の電子マーカー及び入力装置のイメージセンサを使用して、インタラクティブな電子コンピュータシステム用のx、y及びz追跡を行うための方法及びシステムが開示される。先ず、x、y及びz座標を有する較正位置が画定される。次に、較正位置から見たプログラムのビュー(眺めまたは外観などのこと)を表す第1の一連のプログラムフレームが表示画面に表示される。次に、電子マーカーを表示画面上で(一時的または瞬間的に)光らせ、または表示させる。電子マーカーの画像がイメージセンサによって捕捉され、イメージセンサにおける電子マーカーの位置を用いて入力装置の相対的な位置(以下、相対位置)が計算される。相対位置もまたx、y、z座標を有する。次に、第2の一連のプログラムフレームが表示画面に表示され、この相対位置から見たプログラムのビューが示される。
本発明の種々の実施形態を詳細に参照して本発明の説明を行うが、それらのいくつかの例は添付図面に示されている。本発明を種々の実施形態に関して説明するが、本発明をそれらの実施形態に限定することは意図されていない。本発明は、特許請求の範囲によって画定される本発明の思想及び範囲内に含まれる代替形態、変更形態及び等価物を包含することが意図されている。さらに、以下の本発明の詳細な説明では、本発明を十分に理解できるようにするために多くの特定の細部が説明される。しかしながら、それらの特定の細部を要することなく本発明を実施できることは当業者には明らかであろう。他の例では、本発明のいくつかの局面が不必要に不明瞭にならないようにするために、周知の方法、手順、コンポーネント(構成要素)、構造及び装置(またはデバイス)については詳しくは説明していない。
図1は、本発明の実施形態によるコンピュータシステムを示す。図1に示すシステムは、インタラクティブな(すなわち、対話型または相互作用型の)電子ゲームシステムである。図1に示す実施形態では、ユーザは、イメージセンサ115を備える入力装置110を持っている。この例では、入力装置110は剣であるが、入力装置110は、ゲームシステム100で行われるそれぞれのゲームに対応して任意の形状または大きさでありうる。他の実施形態では、入力装置は、ユーザが物理的に手で持たないリモート制御される装置または他の装置とすることができる。図1のゲームシステム100は、コントローラ130と表示画面120を有する。図1では、コントローラ130及び表示画面120は、コード150によって接続されているが、ワイヤレス接続や他の既知の接続手段を用いることもできる。
システム100の表示画面120に電子マーカー125が表示されるときは、入力装置110のイメージセンサ115によって電子マーカー125の画像が捕捉される。本発明の1実施形態では、イメージセンサ115は光学位置変位センサである。電子マーカーの画像がイメージセンサ115において捕捉されると、捕捉された画像はコントローラ130の受信器135に送信される。図1では、入力装置110とコントローラ130はワイヤレス接続(無線接続)140を介して接続されているが、コードや他の伝送手段を用いることもできる。画像が捕捉されたときの電子マーカー125の外観は情報を伝えるものであり、その情報は、入力装置110の位置のx、y、z座標を計算するためにコントローラによって使用される。
たとえば、図2A及び図2Bは、本発明の1実施形態を示す。図2A及び図2Bのゲームシステム100は、フェンシングゲームをするために使用されている。ユーザは、この実施形態では剣に似た形状の入力装置110を手に持っている。ユーザは、表示画面120上のユーザの戦闘相手と対戦するときは、表示画面120の前方の領域のあたりに物理的に移動する。ユーザは、ときには画面120に近づき、ときには、画面120から遠ざかり、また、画面120の右側や左側に移動する。すべてのこうした動きは追跡され、ゲームの経験データに組み込まれる。
図2A及び図2Bは、ゲームシステム100のインタラクティブ性を示している。ユーザが表示画面120の前方の空間のあたりで入力装置110を動かすと、ゲームの視点が変化(または展開)する。たとえば、図2Bでは、入力装置の位置が、図2Aにおける入力装置の位置の左側に後退し、かつ上側に移動している。図2Bの表示画面は入力装置110の位置の変化を反映しており、たとえば、図2Bでは、風景の特徴物が図2Aの場合よりも遠くに見えている。ユーザとゲームの間の3次元相互作用を提供するために、入力装置110の位置のx、y、z座標が追跡される。
図1を再度参照すると、イメージセンサ115によって電子マーカー125の画像が捕捉されたときのイメージセンサ115における電子マーカー125の捕捉された画像の位置を使用して、入力装置110の絶対的な位置(以下、絶対位置)を計算する。較正位置を画定するために、絶対位置が、ゲームの始めに、並びに、基準が必要なときはゲーム中いつでも計算される。絶対位置の計算に続いて、イメージセンサ115によって捕捉された電子マーカー125の画像を用い、相互相関を使用することによって絶対位置に基づいて相対的な位置(以下、相対位置)を計算する。本発明の1実施形態では、ゲーム全体の時間にわたって予め決められた時間間隔で基準位置を確立するために、電子マーカー125を(瞬間的または一時的に)光らせ、または表示する。別の実施形態では、必要とされたときのみ(ときにはゲームプレーによって決定されるが)、絶対位置を確立するために、電子マーカー125を(瞬間的または一時的に)光らせ、または表示する。
電子マーカー125は、ゲームコントローラ130によって生成されて、表示画面120に表示されるあるパターンである。1実施形態では、電子マーカー125は、ユーザの気を散らさないようにするために、画面の小さな部分だけを占有し、常時表示される。別の実施形態では、電子マーカー125は、表示画面の大きな部分にわたって表示されるが、ユーザの気を散らさないようにするために、間欠的に表示されるだけである。
1実施形態では、電子マーカー125のパターンは、黒と白の正方形が交互に並んだ行である。他の実施形態では、他のパターンが使用される。入力装置110の位置は表示画面120に対して計算される。このようにして、ゲームは、ユーザがゲーム内の3次元空間を実際に動き回っているかのように、ユーザがゲーム(たとえば、風景、他の戦闘員など)を知覚することができるようにする。
電子マーカー125のパターンの特徴は、イメージセンサ115によって捕捉された画像の位置を較正するために、基準となるx及びy座標を直接提供する。本発明の1実施形態では、イメージセンサ115は、「フライングマウス(flying mouse)またはチビフクロモモンガ」タイプのナビゲーションセンサ(たとえば、光学位置変位センサ)である。イメージセンサ115は、典型的なゲームプレーの間、可能な限り表示画面120に向き合うようように、入力装置110に位置決めされる。
電子マーカー125のパターンの特徴の分離(または分離の程度)は、相対的なz軸基準を提供する。たとえば、パターンの特徴が、イメージセンサ115によって捕捉された電子マーカー125の画像内において遠くに離れて現れるほど、入力装置110は表示画面120の近くになければならない。一方、パターンの特徴が、イメージセンサ115によって捕捉された電子マーカー125の画像内においてより近くに現れるほど、入力装置110は表示画面120から遠くになければならない。
表示画面(表示スクリーンともいう)120は、インタラクティブな電子ゲームの映像部分を表示することが可能な任意のタイプの表示画面とすることができる。1実施形態では、表示画面120はコンピュータのモニタである。別の実施形態では、表示画面120はビデオゲームの画面(video arcade game screen。たとえば、ゲームセンターなどにあるビデオゲーム機のモニタ)である。さらに他の実施形態では、表示画面120は、陰極線管(ブラウン管:cathode ray tubeすなわちCRT)である。CRTを用いる実施形態では、ゲームコントローラ130によって同期信号が生成されて、パターン情報を見るのに適切な時刻に画像の捕捉が開始される。
好適な実施形態では、ゲームシステム100は、図3のフローチャート300に示された方法によって、入力装置110のx、y及び相対的なz位置を追跡する。ステップ310に示すように、最初に、入力装置110のために較正位置が画定される。較正位置は、イメージセンサ115における電子マーカー125の画像を捕捉することによって、ゲームプレイの最初、及び、ゲームプレイを通じて必要なときに画定される。1実施形態では、電子マーカー125のこの較正表示は、ゲームコントローラ130が表示画面120にビデオゲームのフレームの送信を開始する前の閃光(または、フラッシュ発光や瞬間的な表示)からなる。1実施形態では、電子マーカー125の閃光は、ユーザが知覚可能なものではない。他の実施形態では、電子マーカー125を、表示画面120のある領域に、たとえば、表示画面120の上部や下部や側部に沿って黒と白の正方形が交互に現れる行として、絶えず表示させることができる。
イメージセンサ115において捕捉された電子マーカー125の較正表示の画像の外観(または出現状態)、たとえば、イメージセンサ115における捕捉された画像の位置は、電子マーカー125の基準画像(参照画像)を提供する。電子マーカー125の較正画像はゲームコントローラ130によって記憶される。較正位置が画定されると、ステップ320に示すように、第1(または最初)の一連のビデオゲームのフレームが表示画面120に表示される。第1の一連のフレームは、較正位置の視点から見たゲームを表す。1実施形態では、第1の一連のフレームは30フレームからなる。他の実施形態では、ステップ330に示す、イメージセンサによる電子マーカーの第2(または次)の画像の捕捉の前に、それとは異なる数のゲームのフレームが表示される。
1実施形態では、たとえば、第1(または最初)の一連のゲームフレームの後に電子マーカー125の閃光(フラッシュ発光、または瞬間的な表示)が生じ、その後、第2(または次)の一連のゲームフレームが現れる(ステップ350)といったように、電子マーカー125は間欠的に表示される。電子マーカー125が間欠的に表示される場合には、電子マーカー125は、1秒の何分の一かの間だけ表示され、ユーザには認識できない。他の実施形態では、電子マーカーは表示画面120のある部分に常時表示され、したがって、第1の一連のゲームフレーム(ステップ320)と第2の一連のゲームフレーム(ステップ350)との間にとぎれは生じない。
ゲームプレイの間(すなわち、ゲームの実行中)、電子マーカー125は、ゲームコントローラ130によって生成され、入力装置110の現在の位置を反映する。たとえば、図4Aを参照すると、較正の時刻tにおいて、入力装置110のイメージセンサ115は較正位置pにある。位置pは座標x、y、zを有する。位置pは、入力装置100のイメージセンサの後続の相対位置を相互相関を用いて計算するために使用されることになる。
1例として示した図4Aと共にフローチャート300を再度参照すると、ゲームコントローラ130によって生成された第1の一連のゲームフレーム(図3のステップ320)は表示画面120上に表示されて、位置pの視点からのゲームを描写する。電子マーカーは、第1の一連のゲームフレームの終わりに(または、第1の一連のゲームフレームの間ずっと)表示され、pを反映する。
図3のステップ330に示すように、第1の一連のゲームフレームの後、電子マーカー125は、イメージセンサ115によって再度捕捉される。図4Bを参照すると、電子マーカー125の第2の捕捉が時刻tに実施される。ユーザが入力装置110の物理的な位置を時刻tから変えた場合には、イメージセンサ115の視点からの捕捉された電子マーカー125の外観(または出現状態)も変化しているであろう。たとえば、図4Bに示すように、ユーザの動きに起因して、時刻tにおいて、入力装置110のイメージセンサ115は位置pにある。
位置pにおいて捕捉された電子マーカー125のパターンの特徴部(たとえば、形状や輪郭など)は、位置pにおいて捕捉されたパターンの特徴部とは異なる。たとえば、図4Bに示すように、位置pが較正位置pよりも表示画面120から離れている場合は、時刻tにおいてイメージセンサ115で捕捉された電子マーカー125の特徴部は互いにより近接したものになるであろう。これに対して、位置pが較正位置pよりも表示画面120に近い場合は、時刻tにおいてイメージセンサ115で捕捉された電子マーカー125の特徴部はより離れるであろう。
ゲームコントローラ130は、時刻tにおいて捕捉された電子マーカーの外観と時刻tにおいて捕捉された電子マーカーの外観を比較する。相互相関を用いて、図3のステップ340に示すように、時刻tにおける入力装置110の第1の相対位置が計算される。相対位置pは、座標x、y、zを含む。ゲームコントローラは、次に、第2の一連のゲームフレームに対する新たな視点を生成する。第2の一連のゲームフレームは、位置pの視点からのゲームを表す(図3のステップ350)。
ゲームプレイの間、電子マーカーは、予め決められたインターバルで、または、ゲームプレイ中の必要なときに捕捉される。入力装置110のイメージセンサ115の新たな相対位置が計算されて、表示画面120上においてビデオゲームのフレームに反映される。好適な実施形態では、電子マーカーの捕捉は、ユーザがゲームの仮想的な環境内を実際に動き回っているかのようにゲームを認識するのに十分な頻度で発生する。
図5は、ゲームシステム100のブロック図である。上述したように、表示画面120は、入力装置100にあるイメージセンサ115によって捕捉される電子マーカー125の画像を表示する。好適な実施形態では、入力装置は、ゲームと相互作用するために入力装置を使用するユーザによって保持される。ユーザがゲームを行うときは、ユーザはある領域(図4A、4Bの400)を物理的に動き回り、ユーザは、入力装置を上下及び周囲に動かす(図2A、2B参照)。1実施形態では、入力装置は剣などの武器である。ユーザは、自身の体と入力装置110を動かして、環境及びゲーム内の戦闘相手と相互作用を行う。
入力装置110のイメージセンサ115の位置の更新が望まれるときはいつでも(たとえば、一定のインターバル(時間間隔)で、またはゲーム内の予め決められたイベントの後)、電子マーカー125の画像がイメージセンサ115によって捕捉される。次にこの捕捉した画像をゲームコントローラ130に伝達する。この伝達を容易にするために、通信リンク140(例えば、無線接続)によって入力装置110をゲームコントローラ130に結合する。
イメージセンサ115によって捕捉された画像はゲームコントローラの画像受信器コンポーネント135で受信される。次に、この捕捉された画像に関するデータがゲームコントローラ130内の相互相関コンポーネント(相互相関器)136によって使用されて、入力装置110にあるイメージセンサ115の現在位置のx、y、z座標が決定される。次に、イメージセンサ115の現在位置がゲームに組み込まれ、ゲームコントローラ130内のビデオ発生器137が現在位置を反映する新たな一連のゲームフレームを生成する。この新たな一連のゲームフレームは、第2の通信リンク150(例えば、コード)によって表示画面120に伝達される。
本発明の好適な実施形態はインタラクティブな電子ゲームシステムであるが、当業者は、表示画面に表示され、イメージセンサにおいて捕捉される電子マーカーの画像を用いて電子ゲームシステム以外の用途のためにx、y、及び相対的なz位置を追跡することができるということを理解するであろう。
本発明の特定の実施形態についての上記説明は、例示と説明のために提示されたものである。それらは、本発明を網羅することも本発明を開示した形態そのものに限定することも意図するものではなく、上記教示に照らして多くの修正及び変更が可能である。実施形態は、本発明の原理とその実際の適用を最もうまく説明するために選択され記述されたものであり、これによって、当業者が、意図する特定の用途に適するように種々の変更を加えながら本発明及び種々の実施形態を最も好適に使用することが可能である。本発明の範囲は、添付の特許請求の範囲及びそれの等価物によって画定されることが意図されている。
本発明は、対話型コンピュータシステムにおける入力装置の位置のx、y、z座標を追跡するためのシステム及び方法に関する。入力装置に配置されたイメージセンサは表示画面に表示された電子マーカーの画像を捕捉する。入力装置の位置が変わると、イメージセンサによって捕捉された電子マーカーの特徴も変化する。ゲームプレイ中に捕捉された電子マーカーの画像を電子マーカーの較正画像と比較して入力装置の位置の現在のx、y、z座標を決定する。入力装置の動きを反映するためにゲームの表示が更新される。
以下に、本発明の種々の構成要件の組み合わせからなる例示的な実施態様を示す。
1.インタラクティブな電子システム用の入力装置の位置を追跡する方法であって、
x、y、z座標からなる前記入力装置の較正位置を画定するステップと、
表示画面に第1の一連のプログラムフレームを表示するステップであって、前記第1の一連のフレームは、前記較正位置からのプログラムのビュー(眺め、見え方、または外観)を表すことからなる、ステップと、
電子マーカーを前記表示画面に表示するステップと、
前記イメージセンサのある位置において前記電子マーカーの第1の画像を捕捉するステップと、
x、y、z座標からなる前記入力装置の第1の相対位置を計算するステップと、
前記表示画面に第2の一連のプログラムフレームを表示するステップ
を含み、
前記第2の一連のフレームは、前記第1の相対位置からの前記プログラムのビューを表すことからなる、方法。
2.前記較正位置を画定する前記ステップが、
前記電子マーカーを表示画面に表示するステップと、
前記イメージセンサにおける初期位置において前記電子マーカーの較正画像を捕捉するステップと、
前記初期位置における前記較正画像の外観に基づいて、較正x、y、z座標を割り当てるステップ
を含むことからなる、上項1の方法。
3.前記第1の相対位置を計算する前記ステップが、相互相関を用いて、前記第1の画像と前記較正画像を比較することにより実施される、上項2の方法。
4.前記イメージセンサがナビゲーションセンサである、上項1の方法。
5.前記ナビゲーションセンサがフライングマウス(チビフクロモモンガ型マウス)である、上項4の方法。
6.前記表示画面がテレビ画面である、上項1の方法。
7.前記表示画面がコンピュータ画面である、上項1の方法。
8.前記表示画面がビデオゲームモニタ(ビデオゲーム機のモニタ)である、上項1の方法。
9.前記第1の一連の可視のフレームが30フレームからなる、上項1の方法。
10.前記電子マーカーを表示する前記ステップによる表示が、ユーザに認識可能なものではない、上項1の方法。
11.前記電子マーカーが複数の特徴を含むパターンからなり、前記特徴の外観がx及びy座標を提供し、前記特徴の分離(または分離の程度)が相対的なz軸基準を提供する、上項1の方法。
12.前記パターンは黒と白の正方形が交番する行からなる、上項11の方法。
13.前記プログラムがゲームである、上項1の方法。
14.インタラクティブな電子システムであって、該電子システムは、イメージセンサを有する入力装置を備え、電子マーカーの第1の画像が、コントローラによって生成され、表示画面上に発光させられ、前記イメージセンサによって捕捉され、前記第1の画像を使用して、前記入力装置の較正位置のx、y、z座標を評価し、前記イメージセンサによって捕捉された前記電子マーカーの第2の画像を相互相関コンポーネントによって使用して、前記入力装置の相対位置のx、y、z座標を計算することからなる、電子システム。
15.前記イメージセンサはナビゲーションセンサである、上項14のシステム。
16.前記ナビゲーションセンサはフライングマウス(チビフクロモモンガ型マウス)である、上項14のシステム。
17.前記コントローラと前記入力装置が無線リンクによって接続される、上項14のシステム。
18.前記コントローラと前記入力装置がコードによって接続される、上項14のシステム。
19.前記表示画面が陰極線管である、上項14のシステム。
20.前記表示画面がコンピュータ画面である、上項14のシステム。
21.前記表示画面がビデオゲームモニタ(ビデオゲーム機のモニタ)である、上項14のシステム。
22.前記入力装置の前記位置が、
第1の一連のフレームを表示画面に表示するステップであって、前記第1の一連のフレームは、前記較正位置からのゲームのビューを表すことからなる、ステップと、
前記第2の画像を捕捉するステップと、
前記第2の画像と前記第1の画像を比較するステップと、
x、y、z座標からなる前記入力装置の第1の相対位置を計算するステップと、
第2の一連のフレームを前記モニタに表示するステップであって、前記第2の一連のフレームは、前記第1の相対位置からの前記ゲームのビューを表すことからなる、ステップ
からなる方法にしたがって追跡されることからなる、上項14のシステム。
本願の一部を構成する添付図面は、本発明の実施形態を図示するものであり、本明細書の記載と併せて、本発明の原理を説明するのに役立つものである。
本発明の実施形態に従う対話型コンピュータシステムの1例を示す。 本発明の実施形態に従う対話型コンピュータシステムの別の例を示す。 本発明の実施形態に従う対話型コンピュータシステムの別の例を示す。 本発明の実施形態に従う対話型コンピュータシステムの入力装置の位置を追跡する方法におけるステップを記述したフローチャートである。 本発明の対話型コンピュータシステムを上から見た図である。 本発明の対話型コンピュータシステムを上から見た図である。 本発明による対話型コンピュータシステムのブロック図である。
符号の説明
100 対話型電子システム
110 入力装置
115 イメージセンサ
120 表示画面
125 電子マーカー

Claims (10)

  1. インタラクティブな電子システム(100)用の入力装置(110)のイメージセンサ(115)の位置を追跡する方法(300)であって、
    x、y、z座標からなる前記イメージセンサ(115)の較正位置(p)を画定するステップと、
    表示画面(120)に第1の一連のプログラムフレームを表示するステップであって、前記第1の一連のフレームは、前記較正位置(p)からのプログラムのビューを表すことからなる、ステップと、
    電子マーカー(125)を前記表示画面(120)に表示するステップと、
    前記イメージセンサ(115)のある位置において前記電子マーカー(125)の第1の画像を捕捉するステップと、
    前記入力装置(110)のx、y、z座標からなる第1の相対位置(p)を計算するステップと、
    前記表示画面(120)に第2の一連のプログラムフレームを表示するステップ
    を含み、
    前記第2の一連のフレームは、前記第1の相対位置(p)からの前記プログラムのビューを表すことからなる、方法。
  2. 前記第1の相対位置(p)を計算する前記ステップが、相互相関を用いて、前記第1の画像と前記較正画像を比較することにより実施される、請求項1の方法(300)。
  3. 前記イメージセンサ(115)がナビゲーションセンサである、請求項1の方法(300)。
  4. 前記ナビゲーションセンサがフライングマウスである、請求項3の方法(300)。
  5. 電子マーカー(125)を表示する前記ステップが、ユーザに認識可能なものではない、請求項1の方法(300)。
  6. 前記電子マーカー(125)が複数の特徴を含むパターンからなり、前記特徴の外観がx及びy座標を提供し、前記特徴の分離が相対的なz軸基準を提供する、請求項1の方法(300)。
  7. 前記パターンは黒と白の正方形が交互をなす行からなる、請求項6の方法(300)。
  8. インタラクティブな電子システム(100)であって、該電子システムは、イメージセンサ(115)を有する入力装置(110)を備え、電子マーカー(125)の第1の画像が、コントローラ(130)によって生成され、表示画面(120)上で光らせられ、及び、前記イメージセンサ(115)によって捕捉され、前記第1の画像を使用して、前記イメージセンサの較正位置(p)のx、y、z座標を評価し、前記イメージセンサ(115)によって捕捉された前記電子マーカー(125)の第2の画像を相互相関コンポーネントによって使用して、前記イメージセンサ(115)の相対位置(p)のx、y、z座標を計算することからなる、電子システム。
  9. 前記イメージセンサ(115)はナビゲーションセンサである、請求項8のシステム(100)。
  10. 前記イメージセンサ(115)の前記位置が、
    第1の一連のフレームを表示画面(120)に表示するステップであって、前記第1の一連のフレームは、前記較正位置(p)からのゲームのビューを表すことからなる、ステップと、
    前記第2の画像を捕捉するステップと、
    前記第2の画像と前記第1の画像を比較するステップと、
    前記イメージセンサ(115)のx、y、z座標からなる第1の相対位置(p)を計算するステップと、
    第2の一連のフレームを前記表示画面(120)に表示するステップであって、前記第2の一連のフレームは、前記第1の相対位置(p)からの前記ゲームのビューを表すことからなる、ステップ
    からなる方法にしたがって追跡されることからなる、請求項8のシステム。
JP2007143290A 2006-06-07 2007-05-30 インタラクティブな3次元位置追跡のためのシステム及び方法 Pending JP2007328781A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/449,263 US7978174B2 (en) 2006-06-07 2006-06-07 System and method for interactive three-dimensional position tracking

Publications (1)

Publication Number Publication Date
JP2007328781A true JP2007328781A (ja) 2007-12-20

Family

ID=38821409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007143290A Pending JP2007328781A (ja) 2006-06-07 2007-05-30 インタラクティブな3次元位置追跡のためのシステム及び方法

Country Status (2)

Country Link
US (1) US7978174B2 (ja)
JP (1) JP2007328781A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010095191A1 (ja) * 2009-02-19 2010-08-26 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
JP2011514232A (ja) * 2008-03-17 2011-05-06 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー インタラクティブアプリケーションのインタフェースとなる一体型カメラを備えたコントローラおよびその方法
KR101605977B1 (ko) 2014-12-31 2016-03-23 한국과학기술원 햅틱 디스플레이 장치 및 이를 최소한의 자유도로 제어하기 위한 방법
JP2022145734A (ja) * 2020-07-28 2022-10-04 グリー株式会社 制御プログラム、ゲーム装置、及び制御方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8497902B2 (en) * 2009-12-18 2013-07-30 Sony Computer Entertainment Inc. System for locating a display device using a camera on a portable device and a sensor on a gaming console and method thereof
JP5101677B2 (ja) 2010-09-14 2012-12-19 株式会社ソニー・コンピュータエンタテインメント 情報処理システム
JP5058319B2 (ja) * 2010-09-14 2012-10-24 株式会社ソニー・コンピュータエンタテインメント 情報処理システム
US8858333B2 (en) * 2011-04-01 2014-10-14 Electronic Arts, Inc. Method and system for media control
US9849376B2 (en) 2012-05-02 2017-12-26 Microsoft Technology Licensing, Llc Wireless controller
US8851996B2 (en) * 2012-08-17 2014-10-07 Microsoft Corporation Dynamic magnetometer calibration
US10467456B2 (en) * 2017-04-17 2019-11-05 Htc Corporation Tracking system for tracking an object based on silhouette
US11534246B2 (en) * 2018-06-15 2022-12-27 Verb Surgical Inc. User input device for use in robotic surgery

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5672858A (en) * 1994-06-30 1997-09-30 Symbol Technologies Inc. Apparatus and method for reading indicia using charge coupled device and scanning laser beam technology
JPH10198506A (ja) 1997-01-13 1998-07-31 Osaka Gas Co Ltd 座標検出システム
US6852032B2 (en) * 2000-12-06 2005-02-08 Nikon Corporation Game machine, method of performing game and computer-readable medium
JP2002351603A (ja) 2001-05-25 2002-12-06 Mitsubishi Electric Corp 携帯情報処理装置
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
WO2005119356A2 (en) * 2004-05-28 2005-12-15 Erik Jan Banning Interactive direct-pointing system and calibration method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011514232A (ja) * 2008-03-17 2011-05-06 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー インタラクティブアプリケーションのインタフェースとなる一体型カメラを備えたコントローラおよびその方法
WO2010095191A1 (ja) * 2009-02-19 2010-08-26 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
JP2010191827A (ja) * 2009-02-19 2010-09-02 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
CN102317888A (zh) * 2009-02-19 2012-01-11 索尼计算机娱乐公司 信息处理装置以及信息处理方法
US8879787B2 (en) 2009-02-19 2014-11-04 Sony Corporation Information processing device and information processing method
KR101605977B1 (ko) 2014-12-31 2016-03-23 한국과학기술원 햅틱 디스플레이 장치 및 이를 최소한의 자유도로 제어하기 위한 방법
JP2022145734A (ja) * 2020-07-28 2022-10-04 グリー株式会社 制御プログラム、ゲーム装置、及び制御方法
JP7421737B2 (ja) 2020-07-28 2024-01-25 グリー株式会社 制御プログラム、ゲーム装置、及び制御方法

Also Published As

Publication number Publication date
US7978174B2 (en) 2011-07-12
US20070285386A1 (en) 2007-12-13

Similar Documents

Publication Publication Date Title
JP2007328781A (ja) インタラクティブな3次元位置追跡のためのシステム及び方法
US6379249B1 (en) Image generation device and information storage medium
US6972734B1 (en) Mixed reality apparatus and mixed reality presentation method
US8241125B2 (en) Apparatus and method of interaction with a data processor
US9684369B2 (en) Interactive virtual reality systems and methods
US7059962B2 (en) Gun shooting game device, method of controlling computer and program
JP3413127B2 (ja) 複合現実感装置及び複合現実感提示方法
EP2711806B1 (en) Input device, information processing system, information processing device and information processing method
US9542011B2 (en) Interactive virtual reality systems and methods
US8568229B2 (en) Apparatus and method for displaying player character showing special movement state in network game
JP3626711B2 (ja) 指向位置検出用マーカ、指向位置検出装置及び射的ゲーム装置
US20060223635A1 (en) method and apparatus for an on-screen/off-screen first person gaming experience
US20110244956A1 (en) Image generation system, image generation method, and information storage medium
US9345972B2 (en) Information storage medium, image generation system, and image generation method
CN1676184A (zh) 图像生成装置、图像显示方法和程序
JP2003030686A (ja) ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム
JP5291305B2 (ja) ゲームプログラムおよびゲーム装置
AU2015244158A1 (en) Interactive virtual reality systems and methods
JP3413128B2 (ja) 複合現実感提示方法
JP2007007064A (ja) ネットワークゲームシステム、ゲーム装置、ゲーム装置の制御方法及びプログラム
JP5638797B2 (ja) ゲーム装置およびゲームプログラム
JP4563267B2 (ja) ネットワークゲームシステム、ネットワークゲーム制御方法、ゲーム装置、ゲーム制御方法及びプログラム
JP5977309B2 (ja) ゲーム装置およびゲームプログラム
CN115779407A (zh) 用于荧幕的多人立体射击瞄准方法及相关设备
JP4420933B2 (ja) 情報記憶媒体及び画像生成装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090414

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090701

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090728