JP2001075726A - 三次元オブジェクトの動きを制御するための6つの自由度を持つコンピュータ入力装置 - Google Patents
三次元オブジェクトの動きを制御するための6つの自由度を持つコンピュータ入力装置Info
- Publication number
- JP2001075726A JP2001075726A JP2000232696A JP2000232696A JP2001075726A JP 2001075726 A JP2001075726 A JP 2001075726A JP 2000232696 A JP2000232696 A JP 2000232696A JP 2000232696 A JP2000232696 A JP 2000232696A JP 2001075726 A JP2001075726 A JP 2001075726A
- Authority
- JP
- Japan
- Prior art keywords
- input device
- light source
- led
- light sources
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Position Input By Displaying (AREA)
Abstract
(57)【要約】
【課題】 実際のまたは仮想的な三次元オブジェクトを
操作するのに使用するために6つの自由度を有する位置
及び方位情報を用意するための入力装置を提供する。 【解決手段】実施例は上部にプレートが取り付けられて
いるハンドルを包含する。プレートの上平面に所定のパ
ターンに配置された一組のLEDまたは他の光源が対応
付けされている。カメラまたは他の適当なタイプの検出
装置が入力装置の位置、例えば、X、Y及びZ位置パラ
メータ及び方位、例えば、横揺れ角、縦揺れ角及び偏揺
れ角の各回転パラメータを求めるために光源からの光を
検出する。コンピュータ・システム上で実行される制御
ソフトウエアを使用して、カメラによって生成された所
定イメージの中に見える光源の検出及び定位を行ない、
それら各光源を対応するラベルに対応付けし、イメージ
の中の光源の位置から位置及び方位情報を求め、その位
置及び方位情報をコンピュータ・システム上で実行され
る少なくとも1個のアプリケーションに伝達することが
可能である。
操作するのに使用するために6つの自由度を有する位置
及び方位情報を用意するための入力装置を提供する。 【解決手段】実施例は上部にプレートが取り付けられて
いるハンドルを包含する。プレートの上平面に所定のパ
ターンに配置された一組のLEDまたは他の光源が対応
付けされている。カメラまたは他の適当なタイプの検出
装置が入力装置の位置、例えば、X、Y及びZ位置パラ
メータ及び方位、例えば、横揺れ角、縦揺れ角及び偏揺
れ角の各回転パラメータを求めるために光源からの光を
検出する。コンピュータ・システム上で実行される制御
ソフトウエアを使用して、カメラによって生成された所
定イメージの中に見える光源の検出及び定位を行ない、
それら各光源を対応するラベルに対応付けし、イメージ
の中の光源の位置から位置及び方位情報を求め、その位
置及び方位情報をコンピュータ・システム上で実行され
る少なくとも1個のアプリケーションに伝達することが
可能である。
Description
【0001】
【発明の属する技術分野】本発明は、コンピュータ及び
その他のディスプレー・ベースの処理システムに使用す
る入力装置に関し、特に、三次元空間内で実際のオブジ
ェクトまたはバーチャル・オブジェクトの動きを制御す
るために6つの自由度の情報を供することが出来る入力
装置に関する。
その他のディスプレー・ベースの処理システムに使用す
る入力装置に関し、特に、三次元空間内で実際のオブジ
ェクトまたはバーチャル・オブジェクトの動きを制御す
るために6つの自由度の情報を供することが出来る入力
装置に関する。
【0002】
【従来の技術】マウスやトラック・ボール或いはジョイ
スティックのような、多数の従来のコンピュータ入力装
置はコンピュータによって生成された二次元オブジェク
ト、例えば、コンピュータ・スクリーン上のカーソルの
制御を可能にする。これらの装置は2つの位置パラメー
タの形ち、即ち、X及びY方向平行変換位置としても既
知の左右方向の動き及び前後方向の動きの2つの自由度
を供する。その他の従来のコンピュータ入力装置は3つ
以上の自由度を供する。例えば、3つの位置パラメー
タ、即ち、X、Y及びZ方向平行変換位置としても既知
の左右方向、前後方向及び上下方向の動きにまたがる制
御だけでなく、3つの回転即ち方位パラメータ即ち、横
揺れ角(roll)、縦揺れ角(pitch)及び偏揺れ角(ya
w)にまたがる制御の、全体で6つの自由度を供する幾
つかの既に知られている入力装置が有る。そのような装
置は、バーチャル・リアリティ、ビデオ・ゲーム及びグ
ラフィカル編集のようなアプリケーションにおけるコン
ピュータによって生成された三次元オブジェクトの現実
感のある制御を供する。
スティックのような、多数の従来のコンピュータ入力装
置はコンピュータによって生成された二次元オブジェク
ト、例えば、コンピュータ・スクリーン上のカーソルの
制御を可能にする。これらの装置は2つの位置パラメー
タの形ち、即ち、X及びY方向平行変換位置としても既
知の左右方向の動き及び前後方向の動きの2つの自由度
を供する。その他の従来のコンピュータ入力装置は3つ
以上の自由度を供する。例えば、3つの位置パラメー
タ、即ち、X、Y及びZ方向平行変換位置としても既知
の左右方向、前後方向及び上下方向の動きにまたがる制
御だけでなく、3つの回転即ち方位パラメータ即ち、横
揺れ角(roll)、縦揺れ角(pitch)及び偏揺れ角(ya
w)にまたがる制御の、全体で6つの自由度を供する幾
つかの既に知られている入力装置が有る。そのような装
置は、バーチャル・リアリティ、ビデオ・ゲーム及びグ
ラフィカル編集のようなアプリケーションにおけるコン
ピュータによって生成された三次元オブジェクトの現実
感のある制御を供する。
【0003】6つの自由度を供するの入力装置の例が、
Toyamaほかに付与された“Vision-Based Six-Degree-of
-Freedom Computer Input Device”なる表題の米国特許
第5,889,505号に記載されている。この特許の
入力装置の位置及び方位は、ユーザがそれを動かすとき
に数本のケーブルに支承された物理オブジェクトを追跡
することによって求められる。この追跡メカニズムはそ
の追跡されたオブジェクトが最初にイメージされる場所
を“ホーム・ポジション”に初期化するか或いは現在の
データを前に格納されたデータと比較することの何れか
を必要とする。そのZ座標は追跡されたオブジェクトの
ピクセルがそのオブジェクトの中心からどれだけ離れて
いるかを計算することによって測定される。従って、そ
の方法ではそのZ座標計算において追跡されたオブジェ
クトのピクセルが全て包含される。この特許の方法に
は、方位が異なる特徴を有する2つの基準点を追跡する
ことによって計算される別の問題が有る。換言すると、
これら基準点は見分けられるものでなければならない。
この特許の方法には、更に回転パラメータ及び平行変換
パラメータが絶対値で与えられず、実際の量に対する比
例値でしか与えられない別の欠点が有る。従って、これ
らの値はアプリケーションの制御に使用される前に倍率
調整されなければならない。
Toyamaほかに付与された“Vision-Based Six-Degree-of
-Freedom Computer Input Device”なる表題の米国特許
第5,889,505号に記載されている。この特許の
入力装置の位置及び方位は、ユーザがそれを動かすとき
に数本のケーブルに支承された物理オブジェクトを追跡
することによって求められる。この追跡メカニズムはそ
の追跡されたオブジェクトが最初にイメージされる場所
を“ホーム・ポジション”に初期化するか或いは現在の
データを前に格納されたデータと比較することの何れか
を必要とする。そのZ座標は追跡されたオブジェクトの
ピクセルがそのオブジェクトの中心からどれだけ離れて
いるかを計算することによって測定される。従って、そ
の方法ではそのZ座標計算において追跡されたオブジェ
クトのピクセルが全て包含される。この特許の方法に
は、方位が異なる特徴を有する2つの基準点を追跡する
ことによって計算される別の問題が有る。換言すると、
これら基準点は見分けられるものでなければならない。
この特許の方法には、更に回転パラメータ及び平行変換
パラメータが絶対値で与えられず、実際の量に対する比
例値でしか与えられない別の欠点が有る。従って、これ
らの値はアプリケーションの制御に使用される前に倍率
調整されなければならない。
【0004】Battermanほかに付与された“Method and
Apparatus for Determining Position and Orientatio
n”なる表題の米国特許第5,856,844号には頭
部装着型ディスプレーについて6つの自由度を決定する
方法及び頭部装着型ディスプレーに光変調されたターゲ
ット(optically-modulated target)を付属させるハン
ドルが記載されている。そのターゲットはそのディスプ
レーの表示面に四角形でマーキングされ、それらの四角
形の透視図を追跡することによって6つの自由度が計算
される。この特許の方法には、それらの四角形の順序を
識別するために光変調されたターゲットの中に特別な方
位マークが必要とされる問題が有る。この方法では回転
角が直接求められ、従ってノイズが関係する歪みを甚だ
しく被り易い別の問題が有る。
Apparatus for Determining Position and Orientatio
n”なる表題の米国特許第5,856,844号には頭
部装着型ディスプレーについて6つの自由度を決定する
方法及び頭部装着型ディスプレーに光変調されたターゲ
ット(optically-modulated target)を付属させるハン
ドルが記載されている。そのターゲットはそのディスプ
レーの表示面に四角形でマーキングされ、それらの四角
形の透視図を追跡することによって6つの自由度が計算
される。この特許の方法には、それらの四角形の順序を
識別するために光変調されたターゲットの中に特別な方
位マークが必要とされる問題が有る。この方法では回転
角が直接求められ、従ってノイズが関係する歪みを甚だ
しく被り易い別の問題が有る。
【0005】DeMenthonに付与された“Computer Vision
System for Position Monitoringin Three Dimensions
Using Non-Coplanar Light Sources Attached to a Mo
nitored Object”なる表題の米国特許第5,227,9
85号及びDeMenthonほかに付与された“Three Dimensi
onal Pointing Device Monitored by Computer Visio
n”なる表題の米国特許第5,297,061号にはオ
ブジェクトの位置及び方位をそのオブジェクトに装着さ
れた一組の非共面光源を使用することによって求める技
術が記載されている。この方法には非共面光源の使用が
その装置の製造をより困難にし、その結果更に高価にし
ている問題が有る。この方法で使用される光源は対応す
るイメージの中でそれら光源の順序を正確に識別するた
めにサイズが異なっており、本装置を更に複雑にしてい
る別の問題が有る。
System for Position Monitoringin Three Dimensions
Using Non-Coplanar Light Sources Attached to a Mo
nitored Object”なる表題の米国特許第5,227,9
85号及びDeMenthonほかに付与された“Three Dimensi
onal Pointing Device Monitored by Computer Visio
n”なる表題の米国特許第5,297,061号にはオ
ブジェクトの位置及び方位をそのオブジェクトに装着さ
れた一組の非共面光源を使用することによって求める技
術が記載されている。この方法には非共面光源の使用が
その装置の製造をより困難にし、その結果更に高価にし
ている問題が有る。この方法で使用される光源は対応す
るイメージの中でそれら光源の順序を正確に識別するた
めにサイズが異なっており、本装置を更に複雑にしてい
る別の問題が有る。
【0006】Egliほかに付与された“Method and Appar
atus for Determining Location and Orientation of O
bjects”なる表題の米国特許第4,672,562号に
は直交関係にあるターゲット・アレイを具備する入力装
置が記載されている。この特許では、各ターゲット・ポ
イントが、その3個の第1ターゲット・ポイントを別々
に通るする第1、第2及び第3の線の投影の共通する交
差点が第4ターゲット・ポイントを形成し、その第4タ
ーゲット・ポイントにそれら線の投影が交差する極めて
具体的な構成に配置されている。更に、これらの線の投
影は第4ターゲット・ポイントで3つの直角を形成しな
ければならない。そのような制約は、一般的にはそれら
が本装置の製造及び使用を困難にする恐れが有るので好
ましくない。
atus for Determining Location and Orientation of O
bjects”なる表題の米国特許第4,672,562号に
は直交関係にあるターゲット・アレイを具備する入力装
置が記載されている。この特許では、各ターゲット・ポ
イントが、その3個の第1ターゲット・ポイントを別々
に通るする第1、第2及び第3の線の投影の共通する交
差点が第4ターゲット・ポイントを形成し、その第4タ
ーゲット・ポイントにそれら線の投影が交差する極めて
具体的な構成に配置されている。更に、これらの線の投
影は第4ターゲット・ポイントで3つの直角を形成しな
ければならない。そのような制約は、一般的にはそれら
が本装置の製造及び使用を困難にする恐れが有るので好
ましくない。
【0007】
【発明が解決しようとする課題】上記観点から、当然6
つの自由度を与えることが出来、また従来の方法に絡む
問題を回避する改良された入力装置に対する必要性が存
在する。
つの自由度を与えることが出来、また従来の方法に絡む
問題を回避する改良された入力装置に対する必要性が存
在する。
【0008】
【発明の目的】本発明は、実際のまたは仮想的な三次元
オブジェクトを操作する際に使用するために、6つの自
由度を有する位置及び方位情報を供する改良された入力
装置及び関連する方法を提供することを目的とする。
オブジェクトを操作する際に使用するために、6つの自
由度を有する位置及び方位情報を供する改良された入力
装置及び関連する方法を提供することを目的とする。
【0009】
【課題を解決するための手段】実施例は上部にプレート
が取り付けられたハンドルを包含する。そのプレートの
上平坦部には所定のパターンに配置された一組の光源が
対応付けられる。カメラ或いはその他の検出装置が入力
装置の位置、例えば、X、Y及びZ位置パラメータ及び
方位、例えば、横揺れ角、縦揺れ角及び偏揺れ角の各回
転パラメータを求めるために光源からの光を検出する。
コンピュータ・システム上で実行される制御ソフトウエ
アを使用して、カメラによって生成された所定のイメー
ジの中に見える光源の検出及び定位を行ない、それら各
光源を対応するラベルに対応付けし、イメージの中の光
源の位置から位置及び方位情報を求め、その位置及び方
位情報をコンピュータ・システム上で実行される少なく
とも1個のアプリケーションに伝達することが可能であ
る。
が取り付けられたハンドルを包含する。そのプレートの
上平坦部には所定のパターンに配置された一組の光源が
対応付けられる。カメラ或いはその他の検出装置が入力
装置の位置、例えば、X、Y及びZ位置パラメータ及び
方位、例えば、横揺れ角、縦揺れ角及び偏揺れ角の各回
転パラメータを求めるために光源からの光を検出する。
コンピュータ・システム上で実行される制御ソフトウエ
アを使用して、カメラによって生成された所定のイメー
ジの中に見える光源の検出及び定位を行ない、それら各
光源を対応するラベルに対応付けし、イメージの中の光
源の位置から位置及び方位情報を求め、その位置及び方
位情報をコンピュータ・システム上で実行される少なく
とも1個のアプリケーションに伝達することが可能であ
る。
【0010】本発明によれば、制御ソフトウエアが、そ
れぞれが平面に対応付けされ、それぞれが光源の一つと
対応し、それらのうちの所定の一つが基本ポイントとし
て選択されている一組のポイントの関数である指標を少
なくとも部分的に使用し、それら各光源に対する対応す
るラベルを特定する。上記指標は透視投影の下では不変
であり、もし平面と対応するそれら一組のポイントがイ
メージ中へ投影されると、平面と対応するそれら一組の
ポイントに対して生成された指標がそのイメージ中へ投
影された場合のポイントに対して生成される指標と同じ
である。制御ソフトウエアは最初全ての光源の三次元位
置を計算し、続いて計算された平行変換ベクトルから直
接横揺れ角、縦揺れ角及び偏揺れ角の各回転パラメータ
を計算することによって方位情報を求める。
れぞれが平面に対応付けされ、それぞれが光源の一つと
対応し、それらのうちの所定の一つが基本ポイントとし
て選択されている一組のポイントの関数である指標を少
なくとも部分的に使用し、それら各光源に対する対応す
るラベルを特定する。上記指標は透視投影の下では不変
であり、もし平面と対応するそれら一組のポイントがイ
メージ中へ投影されると、平面と対応するそれら一組の
ポイントに対して生成された指標がそのイメージ中へ投
影された場合のポイントに対して生成される指標と同じ
である。制御ソフトウエアは最初全ての光源の三次元位
置を計算し、続いて計算された平行変換ベクトルから直
接横揺れ角、縦揺れ角及び偏揺れ角の各回転パラメータ
を計算することによって方位情報を求める。
【0011】
【作用】本発明の技術は上述の従来の方法を凌駕する幾
つかの重要な利点を具備する。例えば、本発明の実施例
による入力装置は、各々が同特性を有し、従って従来の
装置より製造が容易で且つ安価な平面配列の光源を使用
する。方位マークは必要ではなく、且つ、光源が上記指
標を使用して区別が可能である限りでは光源のパターン
には制約は無い。更に、本発明による入力装置は何ら縮
尺に曖昧性無く正確な位置及び方位の値を生成すること
が出来る。更に、本発明は最初全ての光源の三次元位置
を計算し、この情報を使用して方位を求めるので、直接
回転角を求める方法より速やかに解が得られ、且つノイ
ズが関係する歪みを受け難い。
つかの重要な利点を具備する。例えば、本発明の実施例
による入力装置は、各々が同特性を有し、従って従来の
装置より製造が容易で且つ安価な平面配列の光源を使用
する。方位マークは必要ではなく、且つ、光源が上記指
標を使用して区別が可能である限りでは光源のパターン
には制約は無い。更に、本発明による入力装置は何ら縮
尺に曖昧性無く正確な位置及び方位の値を生成すること
が出来る。更に、本発明は最初全ての光源の三次元位置
を計算し、この情報を使用して方位を求めるので、直接
回転角を求める方法より速やかに解が得られ、且つノイ
ズが関係する歪みを受け難い。
【0012】
【発明の実施の形態】図1は本発明による入力装置10
の実施例を示している。入力装置10は最小で3つの位
置パラメータ、即ち、左右方向即ちX、前後方向即ちY
及び上下方向即ちZと3つの角度パラメータ、即ち、横
揺れ角、縦揺れ角及び偏揺れ角を既定し、従って例えば
多数のアプリケーションにおいて三次元オブジェクトの
動きを制御するための6つの自由度を供する。入力装置
10はハンドル12とこのハンドル12の上端に取り付
けられたプレート14を包含する。
の実施例を示している。入力装置10は最小で3つの位
置パラメータ、即ち、左右方向即ちX、前後方向即ちY
及び上下方向即ちZと3つの角度パラメータ、即ち、横
揺れ角、縦揺れ角及び偏揺れ角を既定し、従って例えば
多数のアプリケーションにおいて三次元オブジェクトの
動きを制御するための6つの自由度を供する。入力装置
10はハンドル12とこのハンドル12の上端に取り付
けられたプレート14を包含する。
【0013】数個の発光デバイス(light emitting dev
ice;以下LEDと言う)16がプレート14の上面に
装着されている。これらのLED16はこの入力装置1
0に取り付けられたスイッチ15−1、15−2及び1
5−3を使用してオン・オフすることが出来る。これら
のLED16の1つは“トリガーLED”と呼ばれ、ハ
ンドル12の前に取り付けられている“トリガー・スイ
ッチ”15−1を使用してオン・オフされる。トリガー
・スイッチ15−1が押されるとトリガーLEDがター
ン・オン、即ち、発光し、トリガー・スイッチ15−1
が開放されるとトリガーLEDがターン・オフ、即ち、
発光を停止する。他のスイッチ15−2及び15−3は
同時に複数のLEDを制御することが出来る。各LED
16は同カラーのものであってもよく、或いは異なるカ
ラーのものであってもよく、且つ様々な異なるパターン
に配置することが出来る。これらLED16は、例えば
ハンドル12の中に収容されている電池によって電力を
供給することが出来る。これらLED16は、例えば発
光ダイオード或いはその他の同様な発光デバイスとする
ことが出来る。
ice;以下LEDと言う)16がプレート14の上面に
装着されている。これらのLED16はこの入力装置1
0に取り付けられたスイッチ15−1、15−2及び1
5−3を使用してオン・オフすることが出来る。これら
のLED16の1つは“トリガーLED”と呼ばれ、ハ
ンドル12の前に取り付けられている“トリガー・スイ
ッチ”15−1を使用してオン・オフされる。トリガー
・スイッチ15−1が押されるとトリガーLEDがター
ン・オン、即ち、発光し、トリガー・スイッチ15−1
が開放されるとトリガーLEDがターン・オフ、即ち、
発光を停止する。他のスイッチ15−2及び15−3は
同時に複数のLEDを制御することが出来る。各LED
16は同カラーのものであってもよく、或いは異なるカ
ラーのものであってもよく、且つ様々な異なるパターン
に配置することが出来る。これらLED16は、例えば
ハンドル12の中に収容されている電池によって電力を
供給することが出来る。これらLED16は、例えば発
光ダイオード或いはその他の同様な発光デバイスとする
ことが出来る。
【0014】実施例でLED16を使用しているのは一
例であり、本発明の別の実施例ではその他のタイプの光
源を使用することが出来る。また、1個以上のLEDを
反射マーカで置換することも可能である。用語“光源”
は、本明細書で使用されるときはそのような反射マーカ
だけでなく、光を発生または誘導することが出来るその
他のタイプの装置を包含することを想定している。
例であり、本発明の別の実施例ではその他のタイプの光
源を使用することが出来る。また、1個以上のLEDを
反射マーカで置換することも可能である。用語“光源”
は、本明細書で使用されるときはそのような反射マーカ
だけでなく、光を発生または誘導することが出来るその
他のタイプの装置を包含することを想定している。
【0015】図2は図1の入力装置がコンピュータ・シ
ステム20と一緒に動作する具体例としての構成を示し
ている。コンピュータ・システム20はコンピュータ2
1、モニター22及びキーボード23を包含する。コン
ピュータ21に接続されているカメラ24は入力装置1
0のLEDから発光された光を検出するように配置され
ている。入力装置10とコンピュータ・システム20は
テーブルトップ或いはデスクトップのような平坦面25
上に配置されている。ハンドル12はその下部を平坦面
25上に直接置くことが出来、或いはまた本装置を容易
に回転することが可能となるようにハンドル12が架台
(cradle)、球(ball)またはその他の支持装置上に置
くように構成することも出来る。操作中は、ユーザがカ
メラ24の下でハンドル12の部分で入力装置10を保
持する。ユーザがカメラ24の下で入力装置10を動か
すと、カメラ24からビデオ信号がコンピュータ21へ
送出され、コンピュータ21上で実行される関連制御ソ
フトウエアが入力装置10の三次元(three-dimensiona
l;3D)位置及び方位を計算する。
ステム20と一緒に動作する具体例としての構成を示し
ている。コンピュータ・システム20はコンピュータ2
1、モニター22及びキーボード23を包含する。コン
ピュータ21に接続されているカメラ24は入力装置1
0のLEDから発光された光を検出するように配置され
ている。入力装置10とコンピュータ・システム20は
テーブルトップ或いはデスクトップのような平坦面25
上に配置されている。ハンドル12はその下部を平坦面
25上に直接置くことが出来、或いはまた本装置を容易
に回転することが可能となるようにハンドル12が架台
(cradle)、球(ball)またはその他の支持装置上に置
くように構成することも出来る。操作中は、ユーザがカ
メラ24の下でハンドル12の部分で入力装置10を保
持する。ユーザがカメラ24の下で入力装置10を動か
すと、カメラ24からビデオ信号がコンピュータ21へ
送出され、コンピュータ21上で実行される関連制御ソ
フトウエアが入力装置10の三次元(three-dimensiona
l;3D)位置及び方位を計算する。
【0016】その3D位置は3つの数(X,Y,Z)に
よって表され、3D方位は3つの角(横揺れ角、縦揺れ
角及び偏揺れ角)によって表される。これら6個のパラ
メータはまた制御パラメータとも呼ばれ、多元的な入力
を必要とするアプリケーションを制御するのに使用され
る。そのようなアプリケーションの一例に、ユーザがオ
ブジェクトを移動及び回転出来るようにする3Dグラフ
ィカル・エディタが有る。この場合、モニター22上に
表示される選択されたオブジェクトは単に入力装置10
をカメラ24の下で移動及び回転させるだけで3D(三
次元)で移動及び回転させることが出来る。他の例のア
プリケーションに、ユーザが入力装置10を移動及び回
転することによってバーチャル3Dフライトを制御する
コンピュータ・ビデオ・ゲームが有る。入力装置10は
また例えばロボット・アームのような実際のオブジェク
トの制御に関するアプリケーションと一緒に使用するこ
とも可能である。
よって表され、3D方位は3つの角(横揺れ角、縦揺れ
角及び偏揺れ角)によって表される。これら6個のパラ
メータはまた制御パラメータとも呼ばれ、多元的な入力
を必要とするアプリケーションを制御するのに使用され
る。そのようなアプリケーションの一例に、ユーザがオ
ブジェクトを移動及び回転出来るようにする3Dグラフ
ィカル・エディタが有る。この場合、モニター22上に
表示される選択されたオブジェクトは単に入力装置10
をカメラ24の下で移動及び回転させるだけで3D(三
次元)で移動及び回転させることが出来る。他の例のア
プリケーションに、ユーザが入力装置10を移動及び回
転することによってバーチャル3Dフライトを制御する
コンピュータ・ビデオ・ゲームが有る。入力装置10は
また例えばロボット・アームのような実際のオブジェク
トの制御に関するアプリケーションと一緒に使用するこ
とも可能である。
【0017】図2は入力装置10の動作を従来のデスク
トップ・コンピュータ・システム20と組み合わせて示
しているが、入力装置10は勿論ポータブルまたはパー
ムトップ・コンピュータ、ワークステーション、パーソ
ナル・ディジタル・アシスタント(personal digital a
ssistant;PDAS)、テレビジョン受像機、セット・
トップ・ボックス等のようなその他のタイプの情報処理
装置と一緒に使用することが可能である。用語“コンピ
ュータ”は、本明細書で使用されるときは上記及びその
他のプロセッサをベースとする装置を包含することを想
定している。
トップ・コンピュータ・システム20と組み合わせて示
しているが、入力装置10は勿論ポータブルまたはパー
ムトップ・コンピュータ、ワークステーション、パーソ
ナル・ディジタル・アシスタント(personal digital a
ssistant;PDAS)、テレビジョン受像機、セット・
トップ・ボックス等のようなその他のタイプの情報処理
装置と一緒に使用することが可能である。用語“コンピ
ュータ”は、本明細書で使用されるときは上記及びその
他のプロセッサをベースとする装置を包含することを想
定している。
【0018】図3は図2の構成のアーキテクチャを示す
ブロック図である。カメラ24は入力装置10によって
発光された光を検出し、対応するビデオ信号を一組の制
御ソフトウエア30へ送出する。制御ソフトウエア30
はコンピュータ21上で動き、例えばコンピュータ21
の電子メモリ或いはディスク・ベースのメモリに格納さ
れ、コンピュータ21のマイクロプロセッサまたはその
他のディジタル・データ・プロセッサによって実行され
るようにすることが出来る。以下で更に詳述するよう
に、制御ソフトウエア30はカメラ24からのイメージ
を解析してターン・オンされている特定のLEDを識別
し、入力装置10の位置及び方位を推定して入力装置1
0から送出された制御信号を解明し、これらの位置、方
位及び制御信号情報を入力装置10からの制御を見込む
アプリケーション、例えばアプリケーション32−1、
32−2及び32−3へ送出する。
ブロック図である。カメラ24は入力装置10によって
発光された光を検出し、対応するビデオ信号を一組の制
御ソフトウエア30へ送出する。制御ソフトウエア30
はコンピュータ21上で動き、例えばコンピュータ21
の電子メモリ或いはディスク・ベースのメモリに格納さ
れ、コンピュータ21のマイクロプロセッサまたはその
他のディジタル・データ・プロセッサによって実行され
るようにすることが出来る。以下で更に詳述するよう
に、制御ソフトウエア30はカメラ24からのイメージ
を解析してターン・オンされている特定のLEDを識別
し、入力装置10の位置及び方位を推定して入力装置1
0から送出された制御信号を解明し、これらの位置、方
位及び制御信号情報を入力装置10からの制御を見込む
アプリケーション、例えばアプリケーション32−1、
32−2及び32−3へ送出する。
【0019】図1乃至図3に関連して記載される実施例
では、入力装置10は無線装置であり入力装置10とコ
ンピュータ21との間の唯一の通信手段はカメラ24を
介するだけである。他の実施例ではその他の構成を包含
することが出来る。例えば、入力装置10は例えばケー
ブルまたは無線接続を介するカメラ24への直結リンク
を包含するように構成することが出来る。そのような直
結リンクは上記追加制御信号を送受信するために使用可
能である。他の例として、入力装置10はユーザへ操作
に対する手ごたえ感を与える強制フィードバック・メカ
ニズムを包含するように構成することが出来る。
では、入力装置10は無線装置であり入力装置10とコ
ンピュータ21との間の唯一の通信手段はカメラ24を
介するだけである。他の実施例ではその他の構成を包含
することが出来る。例えば、入力装置10は例えばケー
ブルまたは無線接続を介するカメラ24への直結リンク
を包含するように構成することが出来る。そのような直
結リンクは上記追加制御信号を送受信するために使用可
能である。他の例として、入力装置10はユーザへ操作
に対する手ごたえ感を与える強制フィードバック・メカ
ニズムを包含するように構成することが出来る。
【0020】図4はLED16の具体例としてのラベル
付けを有する入力装置10を示している。プレート14
の上面上にあるLEDの特定パターンは単なる例であ
り、他に多数のLEDパターンを他の実施例で使用する
いことが可能である。それらLEDには図示のように、
LED−T、LED−U、LED−D、LED−1、L
ED−2、LED−3、LED−4及びLED−5なる
名前が付けられている。ユーザがトリガー・スイッチ1
5−1を押すと、トリガーLED(LED−T)がター
ン・オンし、且つ、このターン・オンが制御ソフトウエ
ア30によって“クリック・イベント”として検出され
る。このクリック・イベントは続いて制御ソフトウエア
30と通信している全てのアプリケーションへ送出され
る。この実施例の入力装置10は1個のトリガー・スイ
ッチと1個のトリガーLEDのみを包含するが、他の実
施例ではそのような組合わせを多数包含することが出来
る。
付けを有する入力装置10を示している。プレート14
の上面上にあるLEDの特定パターンは単なる例であ
り、他に多数のLEDパターンを他の実施例で使用する
いことが可能である。それらLEDには図示のように、
LED−T、LED−U、LED−D、LED−1、L
ED−2、LED−3、LED−4及びLED−5なる
名前が付けられている。ユーザがトリガー・スイッチ1
5−1を押すと、トリガーLED(LED−T)がター
ン・オンし、且つ、このターン・オンが制御ソフトウエ
ア30によって“クリック・イベント”として検出され
る。このクリック・イベントは続いて制御ソフトウエア
30と通信している全てのアプリケーションへ送出され
る。この実施例の入力装置10は1個のトリガー・スイ
ッチと1個のトリガーLEDのみを包含するが、他の実
施例ではそのような組合わせを多数包含することが出来
る。
【0021】入力装置10のスイッチ15−2はLED
−U及びLED−Dなる名前が付されているLEDを制
御する。これらのLEDは通常はオフである。LED−
Uはユーザがスイッチ15−2の上部を押すとオンにな
り、その上部が開放されるとターン・オフする。同様
に、LED−Dはスイッチ15−2の下部が押されると
オンになり、その下部が開放されるとターン・オフす
る。スイッチ15−2は、その上部が押されているとき
だけLED−Uがオンになり、そのスイッチの下部が押
されているときだけLED−Dがオンになるように構成
されている。その上部と下部とは同時に押すことは出来
ず、従ってLED−UとLED−Dのうちの1つだけが
任意の時点においてオンになることが出来る。スイッチ
15−2は幾つかの異なる方法で実行することが出来
る。例えば、それは押し上げられたときLED−Uをタ
ーン・オンし、押し下げられたときLED−Dをターン
・オンする小さな棒状突起とすることが出来る。
−U及びLED−Dなる名前が付されているLEDを制
御する。これらのLEDは通常はオフである。LED−
Uはユーザがスイッチ15−2の上部を押すとオンにな
り、その上部が開放されるとターン・オフする。同様
に、LED−Dはスイッチ15−2の下部が押されると
オンになり、その下部が開放されるとターン・オフす
る。スイッチ15−2は、その上部が押されているとき
だけLED−Uがオンになり、そのスイッチの下部が押
されているときだけLED−Dがオンになるように構成
されている。その上部と下部とは同時に押すことは出来
ず、従ってLED−UとLED−Dのうちの1つだけが
任意の時点においてオンになることが出来る。スイッチ
15−2は幾つかの異なる方法で実行することが出来
る。例えば、それは押し上げられたときLED−Uをタ
ーン・オンし、押し下げられたときLED−Dをターン
・オンする小さな棒状突起とすることが出来る。
【0022】図5はスイッチ15−2の他の考えられる
実行例を示している。この実行例ではスイッチ15−2
はフォーク形突起を具備し、ユーザがその中へ指、例え
ば親指を指し入れ、その指を上下に動かすことによって
それらLEDを制御することが出来る。また、ユーザが
その中へ指を指し入れるリングのような他の適当な装置
を使用することも可能である。
実行例を示している。この実行例ではスイッチ15−2
はフォーク形突起を具備し、ユーザがその中へ指、例え
ば親指を指し入れ、その指を上下に動かすことによって
それらLEDを制御することが出来る。また、ユーザが
その中へ指を指し入れるリングのような他の適当な装置
を使用することも可能である。
【0023】入力装置10のスイッチ15−3はLED
−1、LED−2、LED−3、LED−4及びLED
−5なる名前が付けられているLEDを制御する。ユー
ザが入力装置10を使用しようと思うとき、スイッチ1
5−3はオン・ポジションへ押され、且つ上記5個のL
EDがターン・オンし、そのスイッチがオフ・ポジショ
ンへ押し戻されるまでオンになっている。これら5個の
LEDは集合的に“基本LED”と呼ばれ、スイッチ1
5−3がオン・ポジションにあるときはいつもオンにな
っている。従ってスイッチ15−3は入力装置10に対
するオン/オフ・スイッチとして有効に作用する。
−1、LED−2、LED−3、LED−4及びLED
−5なる名前が付けられているLEDを制御する。ユー
ザが入力装置10を使用しようと思うとき、スイッチ1
5−3はオン・ポジションへ押され、且つ上記5個のL
EDがターン・オンし、そのスイッチがオフ・ポジショ
ンへ押し戻されるまでオンになっている。これら5個の
LEDは集合的に“基本LED”と呼ばれ、スイッチ1
5−3がオン・ポジションにあるときはいつもオンにな
っている。従ってスイッチ15−3は入力装置10に対
するオン/オフ・スイッチとして有効に作用する。
【0024】制御ソフトウエア30について以下で更に
詳細に説明する既に述べたように、制御ソフトウエア3
0はカメラ24を介して得られる入力装置10のイメー
ジを解析し、その入力装置10の位置及び方位並びに追
加制御情報を計算する。制御ソフトウエア30によって
実行される具体例としての処理アルゴリズムには次の5
つのメインのステップが包含される。 1.そのイメージの中に見えるLEDの検出及び定位を
行なうステップ。 2.各LEDにその正しいラベルを対応付けるステッ
プ。 3.そのイメージの中のLEDの位置から入力装置10
の位置及び方位を求めるステップ。 4.追加制御信号を発生するステップ。 5.アプリケーションと通信するステップ。
詳細に説明する既に述べたように、制御ソフトウエア3
0はカメラ24を介して得られる入力装置10のイメー
ジを解析し、その入力装置10の位置及び方位並びに追
加制御情報を計算する。制御ソフトウエア30によって
実行される具体例としての処理アルゴリズムには次の5
つのメインのステップが包含される。 1.そのイメージの中に見えるLEDの検出及び定位を
行なうステップ。 2.各LEDにその正しいラベルを対応付けるステッ
プ。 3.そのイメージの中のLEDの位置から入力装置10
の位置及び方位を求めるステップ。 4.追加制御信号を発生するステップ。 5.アプリケーションと通信するステップ。
【0025】これらの各ステップについて、以下詳細に
述べる。
述べる。
【0026】ステップ1:ステップ1はカメラ24によ
って生成されたビデオ信号の各イメージ、例えば、フレ
ームを解析し、オンしているLEDのピクセル位置、即
ち、座標を求める処理に関与する。幾つかのよく知られ
ている従来の特徴抽出または領域抽出技術のうちの何れ
かをこの関数を実行するために使用することが可能であ
る。実施例では、従来の領域抽出技術が、オンしている
LEDに対応するイメージ中での領域を求めるために使
用される。そのような各LEDについて、上記アルゴリ
ズムが対応する領域の中心のピクセル座標(x,y)を
計算する。かくして、ステップ1ではイメージ中のLE
Dのセンターに対応する一組のピクセル位置(x,y)
が出力される。
って生成されたビデオ信号の各イメージ、例えば、フレ
ームを解析し、オンしているLEDのピクセル位置、即
ち、座標を求める処理に関与する。幾つかのよく知られ
ている従来の特徴抽出または領域抽出技術のうちの何れ
かをこの関数を実行するために使用することが可能であ
る。実施例では、従来の領域抽出技術が、オンしている
LEDに対応するイメージ中での領域を求めるために使
用される。そのような各LEDについて、上記アルゴリ
ズムが対応する領域の中心のピクセル座標(x,y)を
計算する。かくして、ステップ1ではイメージ中のLE
Dのセンターに対応する一組のピクセル位置(x,y)
が出力される。
【0027】ステップ2:入力装置10の各LEDが、
図4に示されるように、それと対応する特有のラベル即
ち名称を有する。入力装置10がカメラ24の下で移動
及び回転されるとき、各LEDはイメージ中の異なる位
置に投影され、このステップ2のゴールではイメージ中
で各LEDが識別される。即ち、イメージ中で各LED
がその正しいラベルに対応付けされる。
図4に示されるように、それと対応する特有のラベル即
ち名称を有する。入力装置10がカメラ24の下で移動
及び回転されるとき、各LEDはイメージ中の異なる位
置に投影され、このステップ2のゴールではイメージ中
で各LEDが識別される。即ち、イメージ中で各LED
がその正しいラベルに対応付けされる。
【0028】一例として、図6の(a)は基本LEDで
あるLED−1乃至LED−5のみがオンしていると
き、イメージがどのように見えるかを示している。上記
アルゴリズムの上記ステップ1ではイメージ中のLED
のセンターのピクセル位置(x i,yi)が求められるこ
とになる。目に見える5個のLEDが有るので、5個の
そのような(xi,yi)ペアが存在することになる。ス
テップ2はこれらのピクセル位置を入力として取り、図
6の(b)に示されるように、各LEDに対する正しい
ラベルを特定する。他の例のイメージ及びラベル付けが
図7の(a)と図7の(b)に示されている。
あるLED−1乃至LED−5のみがオンしていると
き、イメージがどのように見えるかを示している。上記
アルゴリズムの上記ステップ1ではイメージ中のLED
のセンターのピクセル位置(x i,yi)が求められるこ
とになる。目に見える5個のLEDが有るので、5個の
そのような(xi,yi)ペアが存在することになる。ス
テップ2はこれらのピクセル位置を入力として取り、図
6の(b)に示されるように、各LEDに対する正しい
ラベルを特定する。他の例のイメージ及びラベル付けが
図7の(a)と図7の(b)に示されている。
【0029】ステップ2は幾つかの異なる方法で実行す
ることが可能である。その1つの方法では、様々なカラ
ーまたは他の物理特性のLEDを使用し、これらの特性
に基づいてそれらのLEDのラベルが特定される。他の
有望な方法では、動き追跡アルゴリズムを使用してLE
Dが1つのフレームからその次のフレームへ追跡され
る。この後者の方法では、一般的に入力装置10がカメ
ラ24の下で特定の方位で示され、その結果ラベルが容
易に特定されるようになる初期化段階が必要である。こ
の初期化段階後、現在の表示フレーム(video frame)
内のLEDが前のフレームから利用可能な情報を使用し
て追跡される。
ることが可能である。その1つの方法では、様々なカラ
ーまたは他の物理特性のLEDを使用し、これらの特性
に基づいてそれらのLEDのラベルが特定される。他の
有望な方法では、動き追跡アルゴリズムを使用してLE
Dが1つのフレームからその次のフレームへ追跡され
る。この後者の方法では、一般的に入力装置10がカメ
ラ24の下で特定の方位で示され、その結果ラベルが容
易に特定されるようになる初期化段階が必要である。こ
の初期化段階後、現在の表示フレーム(video frame)
内のLEDが前のフレームから利用可能な情報を使用し
て追跡される。
【0030】本発明によるステップ2の好適な実行例は
異なる物理特性を持つLEDを必要とせず、しかも動き
追跡を実行せず、従って初期化を必要としない。この実
行例を以下、説明する。
異なる物理特性を持つLEDを必要とせず、しかも動き
追跡を実行せず、従って初期化を必要としない。この実
行例を以下、説明する。
【0031】5個のポイントP1、P2、P3、P4及びP
5が平坦面上に位置していると考える。これら5個のポ
イントのそれらの1つを“基本ポイント”とする関数で
ある“基本指標(basic measure;BM)”と呼ばれる
量を定義する。例えば、P5が基本ポイントとして選択
された上記5個のポイントの基本指標はBM(P5;
P1,P2,P3,P4)で表され、以下の方法で計算され
る。
5が平坦面上に位置していると考える。これら5個のポ
イントのそれらの1つを“基本ポイント”とする関数で
ある“基本指標(basic measure;BM)”と呼ばれる
量を定義する。例えば、P5が基本ポイントとして選択
された上記5個のポイントの基本指標はBM(P5;
P1,P2,P3,P4)で表され、以下の方法で計算され
る。
【0032】図8の(a)はそれら5個のポイントを示
している。BM(P5;P1,P2,P3,P4)を計算す
るために、図8の(b)に示されるように、最初にP5
からP1、P2、P3及びP4へそれぞれ線を引く。次に、
図8の(c)に示されるように、それら線分;P5P1、
P5P2、P5P3及びP5P4と交差する任意の線Lを選択
する。交差するポイントがA、B、C及びDであるとす
る。これらのポイントは左から右方向へ或いは右から左
方向へ順番にラベル付けされなければならない。
している。BM(P5;P1,P2,P3,P4)を計算す
るために、図8の(b)に示されるように、最初にP5
からP1、P2、P3及びP4へそれぞれ線を引く。次に、
図8の(c)に示されるように、それら線分;P5P1、
P5P2、P5P3及びP5P4と交差する任意の線Lを選択
する。交差するポイントがA、B、C及びDであるとす
る。これらのポイントは左から右方向へ或いは右から左
方向へ順番にラベル付けされなければならない。
【数1】 がポイントXとYとを結ぶ線分の長さを表すものとす
る。すると、P5が基本ポイントとして選択された5個
のポイントの基本指標は次の式(1)によって定義され
る。
る。すると、P5が基本ポイントとして選択された5個
のポイントの基本指標は次の式(1)によって定義され
る。
【数2】
【0033】上記基本指標は透視投影の下で不変である
ことが分かる。ここで透視投影は、或るシーン中の3D
オブジェクトがイメージを形成するためにレンズを通し
て投影される結像処理をモデル化するカメラの数学的モ
デルを参照する。特に、もしそれら5個のポイント
P1、P2、P3、P4及びP5がカメラによって撮像さ
れ、且つ、もしそれらポイントp1、p2、p3、p4及び
p5がイメージの中でのこれらのポイントのそれぞれの
投影であれば、Piが基本ポイントとして選択されてい
るオリジナルのポイントの基本指標はpiが基本ポイン
トとして選択されているイメージのポイントの基本指標
と厳密に同じである。即ち、BM(P1;P2,P3,
P4,P5)= BM(p1;p2,p3,p4,p5)、BM
(P2;P1,P3,P4,P5)= BM(p2;p1,p3,
p4,p5)等が成り立つ。透視投影の下での基本指標の
この不変性は、以下に述べる方法で、イメージ中の各L
EDの正しいラベルを特定するために上記アルゴリズム
のステップ2で使用される。
ことが分かる。ここで透視投影は、或るシーン中の3D
オブジェクトがイメージを形成するためにレンズを通し
て投影される結像処理をモデル化するカメラの数学的モ
デルを参照する。特に、もしそれら5個のポイント
P1、P2、P3、P4及びP5がカメラによって撮像さ
れ、且つ、もしそれらポイントp1、p2、p3、p4及び
p5がイメージの中でのこれらのポイントのそれぞれの
投影であれば、Piが基本ポイントとして選択されてい
るオリジナルのポイントの基本指標はpiが基本ポイン
トとして選択されているイメージのポイントの基本指標
と厳密に同じである。即ち、BM(P1;P2,P3,
P4,P5)= BM(p1;p2,p3,p4,p5)、BM
(P2;P1,P3,P4,P5)= BM(p2;p1,p3,
p4,p5)等が成り立つ。透視投影の下での基本指標の
この不変性は、以下に述べる方法で、イメージ中の各L
EDの正しいラベルを特定するために上記アルゴリズム
のステップ2で使用される。
【0034】最初に上記5個の基本LED;LED−
1、LED−2、・・・LED−5のみがオンしている
場合を考える。BMiはLED−iが基本LEDとして
選択されている5個のLEDの基本指標を表すものとす
る。以下の説明では、本明細書のコンテクストに従い、
用語“LED”は実際のLED、この実際のLEDのセ
ンターでのポイント或いはイメージ中のLEDの投影の
センターでのポイントを参照することが出来る。入力装
置10上のそれらLEDの正確な位置は既知であるの
で、5個のBMiの値の全てもまた既知である。それら
LEDは、BM1が他のBMiの値から大きく相違するよ
うに配置される。
1、LED−2、・・・LED−5のみがオンしている
場合を考える。BMiはLED−iが基本LEDとして
選択されている5個のLEDの基本指標を表すものとす
る。以下の説明では、本明細書のコンテクストに従い、
用語“LED”は実際のLED、この実際のLEDのセ
ンターでのポイント或いはイメージ中のLEDの投影の
センターでのポイントを参照することが出来る。入力装
置10上のそれらLEDの正確な位置は既知であるの
で、5個のBMiの値の全てもまた既知である。それら
LEDは、BM1が他のBMiの値から大きく相違するよ
うに配置される。
【0035】制御ソフトウエア・アルゴリズムのステッ
プ2は次のようにそれらLEDのラベルを特定する。既
に述べたように、ステップ1は上記5個のLEDのセン
ターをイメージ中に与えるが、LEDはどれがどれかは
分からない。ステップ2は3個のポイントのうちの1つ
を任意に選択し、選択されたポイントを基本ポイントと
する5個のポイントの基本指標を計算する。もしこの基
本指標がBM1と同じであれば、選択されたポイントは
LED−1である。もし同じでない場合は、LED−1
が求められるまでこの処理が別のポイントを基本ポイン
トとして反復される。一旦LED−1が求められると、
LED装置の幾何学的配列(ジオメトリー;geometry)
は他のLEDのラベルを識別するのに十分である。例え
ば、LED−2とLED−5はLED−3及びLED−
4よりもLED−1に近似している。これにより、前者
を後者と区別することが可能になる。また、選択された
LED−1を原点とした状態では、LED−2とLED
−5とを区別することが可能であるように、LED−5
からLED−2への反時計回り角度はLED−2からL
ED−3へのそれよりも小さい。同様な議論はLED−
3及びLED−4に当て嵌まる。
プ2は次のようにそれらLEDのラベルを特定する。既
に述べたように、ステップ1は上記5個のLEDのセン
ターをイメージ中に与えるが、LEDはどれがどれかは
分からない。ステップ2は3個のポイントのうちの1つ
を任意に選択し、選択されたポイントを基本ポイントと
する5個のポイントの基本指標を計算する。もしこの基
本指標がBM1と同じであれば、選択されたポイントは
LED−1である。もし同じでない場合は、LED−1
が求められるまでこの処理が別のポイントを基本ポイン
トとして反復される。一旦LED−1が求められると、
LED装置の幾何学的配列(ジオメトリー;geometry)
は他のLEDのラベルを識別するのに十分である。例え
ば、LED−2とLED−5はLED−3及びLED−
4よりもLED−1に近似している。これにより、前者
を後者と区別することが可能になる。また、選択された
LED−1を原点とした状態では、LED−2とLED
−5とを区別することが可能であるように、LED−5
からLED−2への反時計回り角度はLED−2からL
ED−3へのそれよりも小さい。同様な議論はLED−
3及びLED−4に当て嵌まる。
【0036】もしトリガーLED(LED−T)もまた
発光すると、それはその他のLEDに先んじて、最初に
ラベル付けされる。LED−Tを識別する幾つかの方法
が有る。その1つはLED−Tが基本LEDによって形
成される凹多角形の内側に有る事実を使用する方法であ
る。
発光すると、それはその他のLEDに先んじて、最初に
ラベル付けされる。LED−Tを識別する幾つかの方法
が有る。その1つはLED−Tが基本LEDによって形
成される凹多角形の内側に有る事実を使用する方法であ
る。
【0037】LED−UとLED−Dとは、それらもま
た基本指標或いはジオメトリーの何れかを使用して容易
にラベル付けすることが出来るように本装置上に配置さ
れている。最も一般的なケースでは、種々の可能な組合
わせを説明するために多数の基本指標を計算しなければ
ならないであろう。
た基本指標或いはジオメトリーの何れかを使用して容易
にラベル付けすることが出来るように本装置上に配置さ
れている。最も一般的なケースでは、種々の可能な組合
わせを説明するために多数の基本指標を計算しなければ
ならないであろう。
【0038】異なるカラーのLEDがそのラベル付け処
理を支援するために使用可能であるが、そのときはカラ
ー・カメラが必要であろう。
理を支援するために使用可能であるが、そのときはカラ
ー・カメラが必要であろう。
【0039】ステップ3:このステップはイメージの中
のLEDの位置から入力装置10の位置及び方位を求め
る。このステップは、上記ステップ1と2で既知となっ
たイメージ座標及びラベルを持つ基本LEDのみを使用
する。
のLEDの位置から入力装置10の位置及び方位を求め
る。このステップは、上記ステップ1と2で既知となっ
たイメージ座標及びラベルを持つ基本LEDのみを使用
する。
【0040】N個のポイントが平坦面上に位置している
場合を考える。これらのポイントの正確な位置が既知で
あるものと想定する。平坦面上の任意のポイントを原点
として選択し、ここでは“世界座標系(world coordina
te system)”と呼ばれる座標系を平坦面がX−Y面と
対応するように選択する。N個のポイントの位置は既知
であるので、選択された座標系に関するそれらの座標も
また既知である。これらの座標はi = 1、2、...、
Nに対して(Xi,Yi,Zi)なる形ちのものである。
平坦面はX−Y面に対応するので、Ziは全てゼロであ
る。
場合を考える。これらのポイントの正確な位置が既知で
あるものと想定する。平坦面上の任意のポイントを原点
として選択し、ここでは“世界座標系(world coordina
te system)”と呼ばれる座標系を平坦面がX−Y面と
対応するように選択する。N個のポイントの位置は既知
であるので、選択された座標系に関するそれらの座標も
また既知である。これらの座標はi = 1、2、...、
Nに対して(Xi,Yi,Zi)なる形ちのものである。
平坦面はX−Y面に対応するので、Ziは全てゼロであ
る。
【0041】図9はポイントPとそのイメージpに対す
る画像処理のジオメトリーを示している。この図9はま
た、カメラ24と対応する座標系も示している。この
“カメラ座標系”の原点はカメラ24のレンズ52のセ
ンターであり、そのX−Y面は結像面54と平行であ
り、そのZ軸はカメラ24の光軸56と一致する。もし
ポイントPがこのカメラ座標系中に座標
る画像処理のジオメトリーを示している。この図9はま
た、カメラ24と対応する座標系も示している。この
“カメラ座標系”の原点はカメラ24のレンズ52のセ
ンターであり、そのX−Y面は結像面54と平行であ
り、そのZ軸はカメラ24の光軸56と一致する。もし
ポイントPがこのカメラ座標系中に座標
【数3】 を有すると、P及びpは次式で関係付けられる。
【数4】
【数5】
【0042】ここで(x,y)はイメージpのピクセル
座標を表し、Fはレンズ52の焦点距離とピクセル・サ
イズで決まる倍率との積である。
座標を表し、Fはレンズ52の焦点距離とピクセル・サ
イズで決まる倍率との積である。
【0043】もしポイントPが世界座標系(world coor
dinate frame)中に座標(X,Y,Z)を持てば、
(X,Y,Z)及び
dinate frame)中に座標(X,Y,Z)を持てば、
(X,Y,Z)及び
【数3】 は次式で関係付けられる。
【数6】
【数7】
【数8】 ここで、RijはマトリックスRの成分であり、Tx、
Ty、Tzは上記2つの座標系の間の変換を求める平行変
換ベクトルTの成分である。
Ty、Tzは上記2つの座標系の間の変換を求める平行変
換ベクトルTの成分である。
【0044】上記二組の式を統合することにより、Pの
世界座標とそのイメージpのピクセル座標との間に次の
関係が導かれる。
世界座標とそのイメージpのピクセル座標との間に次の
関係が導かれる。
【数9】
【数10】
【0045】入力装置10の場合、平坦面上に位置して
いるN個のポイントが有る。これらのポイントの座標
(Xi,Yi,Zi)は平坦面に取り付けられている座標
系に関して既知である。イメージ中のそれらポイントの
投影のピクセル座標(xi,yi)は既に求められてお
り、従って、発明の目的は本装置の位置及び方位を求め
ること、即ち、回転マトリックスR及び平行変換ベクト
ルTを求めることである。平行変換ベクトルTを求める
方法を最初に述べる。
いるN個のポイントが有る。これらのポイントの座標
(Xi,Yi,Zi)は平坦面に取り付けられている座標
系に関して既知である。イメージ中のそれらポイントの
投影のピクセル座標(xi,yi)は既に求められてお
り、従って、発明の目的は本装置の位置及び方位を求め
ること、即ち、回転マトリックスR及び平行変換ベクト
ルTを求めることである。平行変換ベクトルTを求める
方法を最初に述べる。
【0046】入力装置10上の各ポイント(Xi,Yi,
Zi)は上記の式(7)及び(8)で与えられるような
2つの式を生じる。これらのポイントのZ座標は選択さ
れた世界座標系中でゼロであるので、上記の式は次式
(9)及び(10)のようになる。
Zi)は上記の式(7)及び(8)で与えられるような
2つの式を生じる。これらのポイントのZ座標は選択さ
れた世界座標系中でゼロであるので、上記の式は次式
(9)及び(10)のようになる。
【数11】
【数12】
【0047】上記の式(9)及び(10)は次式(1
1)及び(12)のように書き換えることが出来る。
1)及び(12)のように書き換えることが出来る。
【数13】
【数14】
【0048】上記の式(11)及び(12)をTzで除
すると次式(13)及び(14)に書き換えられる。
すると次式(13)及び(14)に書き換えられる。
【数15】
【数16】
【0049】上記の組の式は次の8個の未知量を使って
2N個から成る一組の線形式(linear equation)を与
える。
2N個から成る一組の線形式(linear equation)を与
える。
【数17】
【0050】1実施例では任意の時点にオンしている最
小で5個のLEDが有るので、常時少なくとも10個の
式が存在し、従って上記システムはそれら未知のパラメ
ータを解明することが出来る。
小で5個のLEDが有るので、常時少なくとも10個の
式が存在し、従って上記システムはそれら未知のパラメ
ータを解明することが出来る。
【0051】これら8個のパラメータが解明された後
で、Tx、Ty、Tzが次のように計算される。ここで、
で、Tx、Ty、Tzが次のように計算される。ここで、
【数18】 とし、また、
【数19】 とする。すると、次式(17)の関係が得られる。
【数20】
【0052】量Rij(i = 1,2,3;j = 1,2,
3)は回転マトリックスRの成分であり、従ってそれら
は次式(18)、(19)及び(20)を満たす。
3)は回転マトリックスRの成分であり、従ってそれら
は次式(18)、(19)及び(20)を満たす。
【数21】
【数22】
【数23】
【0053】式(17)から(20)を直接代数処理す
ると、それらからαに関して次式(21)が得られる。
ると、それらからαに関して次式(21)が得られる。
【数24】 なお、式(21)中のBは、B = a2 + b2 +c2 + d2で
与えられる。
与えられる。
【0054】αに関して、式(21)中のプラス符号と
マイナス符号の何れが選択されるかにより2つの選択肢
が有る。正しい選択肢を決めるために、先ず
マイナス符号の何れが選択されるかにより2つの選択肢
が有る。正しい選択肢を決めるために、先ず
【数19】 であるからαは決してゼロになることは無く、且つ、F
もゼロには成り得ないことに留意しなければならない。
ここで、式(21)でマイナス符号が選択されると、a
d − bc = 0のときα2 = 0となる。これは、例え
ばRが単位マトリックス(identity matrix)であると
きに起きる。このことは、式(21)ではマイナス符号
ではなくプラス符号が選択されなければならないことを
意味する。プラス符号を選択することにより、αに関し
て次式(22)が与えられる。
もゼロには成り得ないことに留意しなければならない。
ここで、式(21)でマイナス符号が選択されると、a
d − bc = 0のときα2 = 0となる。これは、例え
ばRが単位マトリックス(identity matrix)であると
きに起きる。このことは、式(21)ではマイナス符号
ではなくプラス符号が選択されなければならないことを
意味する。プラス符号を選択することにより、αに関し
て次式(22)が与えられる。
【数25】
【0055】さて、F > 0、且つTz > 0であるから
αはプラスである。なお、Tz >0であるのは実施例で
は入力装置10がカメラ24の前に保持されているから
である。従って、αを得るために、式(22)で与えら
れているα2に関する式の正の平方根を取る。αが求め
られると、式(16)のTx及びTyは次式(23)のよ
うに求められる。
αはプラスである。なお、Tz >0であるのは実施例で
は入力装置10がカメラ24の前に保持されているから
である。従って、αを得るために、式(22)で与えら
れているα2に関する式の正の平方根を取る。αが求め
られると、式(16)のTx及びTyは次式(23)のよ
うに求められる。
【数26】 また、Tzも次式(24)で与えられる。
【数27】 g及びhは既知であるから、Tx及びTyは完全に決まっ
た値となる。しかし、Fは依然として未知であり、従っ
てTzはこの未知の倍率Fにだけ即して求められる。
た値となる。しかし、Fは依然として未知であり、従っ
てTzはこの未知の倍率Fにだけ即して求められる。
【0056】さて、αが既に解明されており、回転マト
リックスRの成分Rijは直ぐに解明することが出来るの
で、横揺れ角、縦揺れ角及び偏揺れ角の観点での本装置
の方位は特定可能である。しかし、このプロシージャは
概ね速やかに解が得られる(robust)ものではなく、極
めてノイズが多い結果が生じる。その主な理由は、上述
のRの特定では単にRの近似推定値が生じるだけであ
り、測定誤差により、そのような近似推定値は転じて、
横揺れ、縦揺れ及び偏揺れの各回転角に関して極めて正
確さに欠ける推定値を生じる可能性が有る。
リックスRの成分Rijは直ぐに解明することが出来るの
で、横揺れ角、縦揺れ角及び偏揺れ角の観点での本装置
の方位は特定可能である。しかし、このプロシージャは
概ね速やかに解が得られる(robust)ものではなく、極
めてノイズが多い結果が生じる。その主な理由は、上述
のRの特定では単にRの近似推定値が生じるだけであ
り、測定誤差により、そのような近似推定値は転じて、
横揺れ、縦揺れ及び偏揺れの各回転角に関して極めて正
確さに欠ける推定値を生じる可能性が有る。
【0057】極めて速やかに解が得られ(robust)、且
つ、回転角について優れた推定値を生じる好適な実行例
が以下に与えられる。
つ、回転角について優れた推定値を生じる好適な実行例
が以下に与えられる。
【0058】カメラ座標系に関する世界座標系の原点の
平行変換座標(Tx,Ty,Tz)の上記確定では、Tzは
単に倍率に即して求められたものであるので、この結果
は
平行変換座標(Tx,Ty,Tz)の上記確定では、Tzは
単に倍率に即して求められたものであるので、この結果
は
【数28】 として記述することが出来る。ここで、
【数29】 である。従って、回転角を求めるために次のプロシージ
ャを使用することが出来る。
ャを使用することが出来る。
【0059】既に述べたように、入力装置10の実施例
は5個のポイント、即ち、常時見える基本LEDを有す
る。最初に、世界座標系が、その原点がLED−1であ
り且つそのX−Y面が入力装置10の上平面に一致する
ように選択される。続いて、上記プロシージャを使用し
て、
は5個のポイント、即ち、常時見える基本LEDを有す
る。最初に、世界座標系が、その原点がLED−1であ
り且つそのX−Y面が入力装置10の上平面に一致する
ように選択される。続いて、上記プロシージャを使用し
て、
【数30】 と表されたカメラ24に関する世界座標系の原点の平行
変換座標が求められる。これにより、Tzの未知の倍率
を除いてカメラ24に関するLED−1の位置が与えら
れる。
変換座標が求められる。これにより、Tzの未知の倍率
を除いてカメラ24に関するLED−1の位置が与えら
れる。
【0060】次に、前の世界座標系から平行変換座標だ
け相違する別の世界座標系が選択される。即ち、その新
たな座標系の原点はLED−1の代わりにLED−2で
あるように選択される。続いて、この新たな座標系の平
行変換座標がカメラ24に関して求められる。これによ
り、カメラ24に関してLED−2の位置
け相違する別の世界座標系が選択される。即ち、その新
たな座標系の原点はLED−1の代わりにLED−2で
あるように選択される。続いて、この新たな座標系の平
行変換座標がカメラ24に関して求められる。これによ
り、カメラ24に関してLED−2の位置
【数31】 が求められる。この処理が他の3個の基本LEDに対し
て反復され、カメラ24に関する全ての基本LEDの位
置
て反復され、カメラ24に関する全ての基本LEDの位
置
【数32】 が求められる。
【0061】次のステップで、Tzに関連する倍率Fが
求められる。この算出はLED間の実際の距離が既知で
あるから容易に為される。例えば、D12をLED−1
とLED−2との間の既知の距離であるとする。する
と、次式(25)で成立する。
求められる。この算出はLED間の実際の距離が既知で
あるから容易に為される。例えば、D12をLED−1
とLED−2との間の既知の距離であるとする。する
と、次式(25)で成立する。
【数33】 しかし、
【数34】 であるから、式(25)を次式(26)に書き換えるこ
とが出来、この式(26)からFを計算することが出来
る。
とが出来、この式(26)からFを計算することが出来
る。
【数35】 一旦Fが計算されると、次式
【数36】 を使用してTzが計算される。上記プロシージャによ
り、カメラ24に関する基本LEDの位置
り、カメラ24に関する基本LEDの位置
【数37】 が与えられる。この情報が与えられると、入力装置10
の方位は各LEDの配列に基づいて計算される。例え
ば、図4に示される配列に関しては、横揺れ角、縦揺れ
角及び偏揺れ角が次式(27)、(28)及び(29)
で与えられる。
の方位は各LEDの配列に基づいて計算される。例え
ば、図4に示される配列に関しては、横揺れ角、縦揺れ
角及び偏揺れ角が次式(27)、(28)及び(29)
で与えられる。
【数38】
【数39】
【数40】
【0062】カメラに対する本装置の位置(X,Y,
Z)は上記5個の量
Z)は上記5個の量
【数41】 の平均値となるように選択される。
【0063】ステップ4:このステップではそれらLE
Dの状態に基づいて追加制御信号を生成する。任意の数
の追加制御信号を有することが可能であるが、以下は3
つの例である。
Dの状態に基づいて追加制御信号を生成する。任意の数
の追加制御信号を有することが可能であるが、以下は3
つの例である。
【0064】1.トリガー信号:トリガー信号はトリガ
ーLED (LED−T)がオンしているときに生成さ
れる。ユーザはトリガー・スイッチ15−1を押すこと
によってこの信号を発生させることが出来る。このトリ
ガー信号はアプリケーションへ送出され、実質的に従来
のマウスによって生成される“クリック・イベント”信
号と同じである。複数のトリガー・スイッチと複数のト
リガーLEDを入力装置に組み込むことにより、複数の
トリガー信号を供することが出来る。
ーLED (LED−T)がオンしているときに生成さ
れる。ユーザはトリガー・スイッチ15−1を押すこと
によってこの信号を発生させることが出来る。このトリ
ガー信号はアプリケーションへ送出され、実質的に従来
のマウスによって生成される“クリック・イベント”信
号と同じである。複数のトリガー・スイッチと複数のト
リガーLEDを入力装置に組み込むことにより、複数の
トリガー信号を供することが出来る。
【0065】2.アップ信号:アップ信号はLED−U
がターン・オンするときに生成される。この信号は代表
的にはアプリケーションによって視点またはオブジェク
トを上方へ動かすために使用されるが、他の動作に使用
することも可能である。
がターン・オンするときに生成される。この信号は代表
的にはアプリケーションによって視点またはオブジェク
トを上方へ動かすために使用されるが、他の動作に使用
することも可能である。
【0066】3.ダウン信号:このダウン信号はLED
−Dがターン・オンするときに生成される。この信号は
代表的にはアプリケーションによって視点またはオブジ
ェクトを下方へ動かすために使用されるが、他の動作に
使用することも可能である。
−Dがターン・オンするときに生成される。この信号は
代表的にはアプリケーションによって視点またはオブジ
ェクトを下方へ動かすために使用されるが、他の動作に
使用することも可能である。
【0067】上記アップ信号及びダウン信号はアプリケ
ーションによってZ座標を制御するために使用すること
が出来る。そのような場合、ユーザがZ座標を変換する
ために本装置を上方或いは下方へ動かす必要は無い。そ
の代わりに、ユーザは自分の腕を例えばテーブル上に無
理無く載置してスイッチ15−2を制御し、続いてLE
D−U、LED−Dを制御することによりZ座標を制御
することが出来る。
ーションによってZ座標を制御するために使用すること
が出来る。そのような場合、ユーザがZ座標を変換する
ために本装置を上方或いは下方へ動かす必要は無い。そ
の代わりに、ユーザは自分の腕を例えばテーブル上に無
理無く載置してスイッチ15−2を制御し、続いてLE
D−U、LED−Dを制御することによりZ座標を制御
することが出来る。
【0068】ステップ5:このステップは情報をアプリ
ケーションへ通信することに関わる。このステップでは
位置及び方位パラメータ及び追加制御信号が本装置によ
って制御されるアプリケーションへ送出される。このス
テップでは本技術でよく知られている標準の通信方法を
使用することが出来、従って、ここではこれ以上触れな
いことにする。
ケーションへ通信することに関わる。このステップでは
位置及び方位パラメータ及び追加制御信号が本装置によ
って制御されるアプリケーションへ送出される。このス
テップでは本技術でよく知られている標準の通信方法を
使用することが出来、従って、ここではこれ以上触れな
いことにする。
【0069】入力装置10の上記実施例は更に1つ以上
の別の特徴を包含するように変更することが出来る。例
えば、既に述べたように、制御信号、例えばアップ信
号、ダウン信号及びトリガー信号は電気ケーブルを使用
しまたは赤外線チャネルのような無線チャネルを介して
直接コンピュータ21へ送出することが可能である。こ
れによって、LED−U、LED−D及びLED−Tの
必要性が解消される。ここで、任意の数のそのような信
号が直接コンピュータ21へ送出可能であることを留意
しなければならない。他の例として、入力装置10はコ
ンピュータ21から戻される信号を受信し、これらの信
号を使用してユーザへ強制フィードバックを行うように
構成することが可能である。そのような強制フィードバ
ックには既存のよく知られている電気・機械的技術を使
用することが出来る。
の別の特徴を包含するように変更することが出来る。例
えば、既に述べたように、制御信号、例えばアップ信
号、ダウン信号及びトリガー信号は電気ケーブルを使用
しまたは赤外線チャネルのような無線チャネルを介して
直接コンピュータ21へ送出することが可能である。こ
れによって、LED−U、LED−D及びLED−Tの
必要性が解消される。ここで、任意の数のそのような信
号が直接コンピュータ21へ送出可能であることを留意
しなければならない。他の例として、入力装置10はコ
ンピュータ21から戻される信号を受信し、これらの信
号を使用してユーザへ強制フィードバックを行うように
構成することが可能である。そのような強制フィードバ
ックには既存のよく知られている電気・機械的技術を使
用することが出来る。
【0070】本明細書に記載されている具体例としての
装置及び技術は本発明の動作を示すように意図されてお
り、従って本発明を何らかの特定の1つ或いはグループ
の実施例に限定するように解釈されるべきではないこと
が強調されなければならない。例えば、本明細書では特
定パターンのLEDを持つLEDをベースとした装置を
使用して示されているが、本発明の別の実施例では他の
構成に配置された他のタイプの光源を使用することが出
来る。別の例として、図1に示されるような入力装置の
構成は他の実施例に変更することが出来る。例えば、他
の種類、形状及び構成のハンドルまたはプレートを使用
することが出来、且つ、そのようなエレメントを相互に
接続する方法も変更可能である。従って、これらの実施
例及び他の多数の別の実施例が本発明の特許請求の範囲
内にあることは当業者に明らかであろう。
装置及び技術は本発明の動作を示すように意図されてお
り、従って本発明を何らかの特定の1つ或いはグループ
の実施例に限定するように解釈されるべきではないこと
が強調されなければならない。例えば、本明細書では特
定パターンのLEDを持つLEDをベースとした装置を
使用して示されているが、本発明の別の実施例では他の
構成に配置された他のタイプの光源を使用することが出
来る。別の例として、図1に示されるような入力装置の
構成は他の実施例に変更することが出来る。例えば、他
の種類、形状及び構成のハンドルまたはプレートを使用
することが出来、且つ、そのようなエレメントを相互に
接続する方法も変更可能である。従って、これらの実施
例及び他の多数の別の実施例が本発明の特許請求の範囲
内にあることは当業者に明らかであろう。
【0071】
【発明の効果】以上説明したように、本発明は、次の諸
効果が得られる、即ち、本発明の入力装置は、各々が同
特性を有し、従って従来の装置より製造が容易で且つ安
価な平面配列の光源を使用するすることが出来、方位マ
ークを必要とせず、且つ、光源が上記指標を使用して区
別が可能である限りでは光源のパターンには制約は無
い。更に、本発明による入力装置は何ら縮尺に曖昧性無
く正確な位置及び方位の値を生成することが出来る。更
に、本発明は最初全ての光源の三次元位置を計算し、こ
の情報を使用して方位を求めるので、直接回転角を求め
る方法より速やかに解が得られ、且つノイズが関係する
歪みを受け難い。
効果が得られる、即ち、本発明の入力装置は、各々が同
特性を有し、従って従来の装置より製造が容易で且つ安
価な平面配列の光源を使用するすることが出来、方位マ
ークを必要とせず、且つ、光源が上記指標を使用して区
別が可能である限りでは光源のパターンには制約は無
い。更に、本発明による入力装置は何ら縮尺に曖昧性無
く正確な位置及び方位の値を生成することが出来る。更
に、本発明は最初全ての光源の三次元位置を計算し、こ
の情報を使用して方位を求めるので、直接回転角を求め
る方法より速やかに解が得られ、且つノイズが関係する
歪みを受け難い。
【0072】なお、特許請求の範囲に記載した参照符号
は発明の理解を容易にするためのものであり、特許請求
の範囲を制限するように理解されるべきものではない。
は発明の理解を容易にするためのものであり、特許請求
の範囲を制限するように理解されるべきものではない。
【図1】 本発明による入力装置の実施例を示す図であ
る。
る。
【図2】 図1の入力装置がコンピュータ・システムと
一緒に使用される方法の一例を示す図である。
一緒に使用される方法の一例を示す図である。
【図3】 図1の入力装置のシステム・アーキテクチャ
を示すブロック図である。
を示すブロック図である。
【図4】 図1の入力装置中のLEDの具体例としての
ラベル付けを示す図である。
ラベル付けを示す図である。
【図5】 図1の入力装置で使用出来る具体例としての
フォーク形スイッチを示す図である。
フォーク形スイッチを示す図である。
【図6】 本発明による入力装置の各LEDに対して正
しいラベルを特定することが可能な方法の第1の実施の
形態を示す図である。
しいラベルを特定することが可能な方法の第1の実施の
形態を示す図である。
【図7】 本発明による入力装置の各LEDに対して正
しいラベルを特定することが可能な方法の第2の実施の
形態を示す図である。
しいラベルを特定することが可能な方法の第2の実施の
形態を示す図である。
【図8】 本発明による、所定の基本ポイントを使用し
て行うポイント測定を示す図である。
て行うポイント測定を示す図である。
【図9】 本発明による入力装置の具体例としての映像
ジオメトリーを示す図である。
ジオメトリーを示す図である。
10 入力装置 12 ハンドル 14 プレート 15−1 スイッチ(トリガー・スイッチ) 15−2 スイッチ(アップ/ダウン・スイッチ) 15−3 スイッチ 16 LED 20 コンピュータ・システム 21 コンピュータ 22 モニター 23 キーボード 24 カメラ 25 平坦面 30 制御ソフトウエア 32−1 アプリケーション 32−2 アプリケーション 32−3 アプリケーション 52 レンズ 54 結像面 56 光軸
───────────────────────────────────────────────────── フロントページの続き (71)出願人 596077259 600 Mountain Avenue, Murray Hill, New Je rsey 07974−0636U.S.A. (72)発明者 センシル クーマー アメリカ合衆国、07747 ニュージャージ ー、アバーディーン、ハイウェイ 34 1250、アパートメント 2−15 (72)発明者 レイモンド アール.スターブ アメリカ合衆国、08724 ニュージャージ ー、ブリック、クリフ ロード 177
Claims (24)
- 【請求項1】 多くの自由度を持つ位置及び方位情報を
供するための入力装置(10)であって、本入力装置が
ハンドル(12)と、 前記ハンドルの上部に取り付けられ、且つ、複数の光源
が対応付けされている平面を有するプレート(14)
と、を具備し、 前記平面の近傍に配置されている検出装置が本入力装置
に関する位置及び方位情報を求めるために少なくとも一
部の光源からの光を検出することを特徴とする、入力装
置。 - 【請求項2】 前記複数の光源の少なくとも一部が発光
ダイオード(16)を具備することを特徴とする、請求
項1に記載の入力装置。 - 【請求項3】 前記複数の光源が前記位置及び方位情報
を求めるために使用される少なくとも5個から成る一組
の基本光源(LED−1、LED−2、LED−3、L
ED−4、LED−5)を包含することを特徴とする、
請求項1に記載の入力装置。 - 【請求項4】 更に前記ハンドル上に配置されたオン/
オフ・スイッチ(15−1)を包含し、該オン/オフ・
スイッチがオン・ポジションにあるときに前記5個の基
本光源がオンしており、そのオン/オフ・スイッチがオ
フ・ポジションにあるときに前記5個の基本光源がオフ
していることを特徴とする、請求項3に記載の入力装
置。 - 【請求項5】 前記複数の光源が、前記ハンドル上に配
置された対応するトリガー・スイッチの状態を表示する
少なくとも1個のトリガー光源(LED−T)を包含す
ることを特徴とする、請求項1に記載の入力装置。 - 【請求項6】 前記複数の光源がアップ・インジケータ
光源(LED−U)及びダウン・インジケータ光源(L
ED−D)を包含し、各インジケータ光源が前記ハンド
ル上に配置されたアップ/ダウン・スイッチ(15−
2)がアップ・ポジションにあるかダウン・ポジション
にあるかを表示することを特徴とする、請求項1に記載
の入力装置。 - 【請求項7】 前記アップ/ダウン・スイッチが、前記
ハンドルの側部から突出する作動部材を包含し、該作動
部材がユーザの指を受信するように適用され、ユーザに
よる前記作動部材の第1の方向への動きが前記アップ・
インジケータ光源をターン・オンし且つ前記ダウン・イ
ンジケータ光源をターン・オフし、ユーザによる前記作
動部材の第2の方向への動きが前記ダウン・インジケー
タ光源をターン・オンし且つ前記アップ・インジケータ
光源をターン・オフすることを特徴とする、請求項6に
記載の入力装置。 - 【請求項8】 前記自由度には、X、Y及びZ方向位置
パラメータ並びに横揺れ角(roll)、縦揺れ角(pitc
h)及び偏揺れ角(yaw)回転パラメータのうちの1つ以
上が包含されることを特徴とする、請求項1に記載の入
力装置。 - 【請求項9】 少なくとも6個の制御パラメータにまた
がる制御を供することを特徴とする、請求項1に記載の
入力装置。 - 【請求項10】 前記ハンドルの下部が支持装置と摺動
係合するように適用されていることを特徴とする、請求
項1に記載の入力装置。 - 【請求項11】 前記検出装置がカメラを具備し、更に
コンピュータ・システムの制御ソフトウエアが前記位置
及び方位情報を求めるために前記カメラによって生成さ
れたイメージを処理することを特徴とする、請求項1に
記載の入力装置。 - 【請求項12】 前記制御ソフトウエアが前記イメージ
のうちの所定のイメージ中に見える光源の検出及び定位
を行ない、前記各光源に対応するラベルを対応付けし、
前記イメージ中の前記光源の位置から前記位置及び方位
情報を求め、且つ、前記位置及び方位情報を前記コンピ
ュータ・システム上で実行される少なくとも1つのアプ
リケーションへ伝達することを特徴とする、請求項11
に記載の入力装置。 - 【請求項13】 前記制御ソフトウエアが、基本ポイン
トとして選択された前記ポイントのうちの所定のポイン
トに関して、前記平面と対応する一組の対応ポイントの
関数である指標を使用して少なくとも部分的に前記各光
源に対する前記対応するラベルを特定することを特徴と
する、請求項12に記載の入力装置。 - 【請求項14】 前記指標が、透視投影の下で不変であ
り、それによりもし前記平面に対応付けされた前記一組
のポイントがイメージ中へ投影された場合に、前記平面
に対応付けされた前記一組のポイントに対して生成され
た前記指標が前記イメージ中へ投影されたときの前記ポ
イントに対して生成される指標と同じであることを特徴
とする、請求項13に記載の入力装置。 - 【請求項15】 計算された平行変換ベクトル(transi
tional vector)から、前記制御ソフトウエアが横揺れ
角、縦揺れ角及び偏揺れ角の各回転パラメータを直接計
算することにより、前記方位情報を求めることを特徴と
する、請求項11に記載の入力装置。 - 【請求項16】 位置及び方位情報に多くの自由度を供
する方法であって、該方法が 入力装置のイメージを解析することによって前記入力装
置の平坦面と対応する複数の光源から発光された光を検
出するステップと、 前記各光源を対応するラベルに対応付けするステップ
と、 前記イメージ中の前記光源の位置から前記位置及び方位
情報を求めるステップと、 前記位置及び方位情報をコンピュータ・システム上で実
行される少なくとも1つのアプリケーションへ通信する
ステップとを具備することを特徴とする方法。 - 【請求項17】 前記複数の光源が、前記位置及び方位
情報を求めるために使用される少なくとも5個から成る
一組の基本光源を包含することを特徴とする、請求項1
6に記載の方法。 - 【請求項18】 更に、前記アプリケーションへ追加制
御情報を供するために1個以上の追加光源から発光され
た光を検出するステップを包含することを特徴とする、
請求項16に記載の方法。 - 【請求項19】 前記自由度には、X、Y及びZ方向位
置パラメータ並びに横揺れ角、縦揺れ角及び偏揺れ角の
各回転パラメータのうちの1つ以上が包含されることを
特徴とする、請求項16に記載の方法。 - 【請求項20】 前記入力装置が少なくとも6個の制御
パラメータにまたがる制御を供することを特徴とする、
請求項16に記載の方法。 - 【請求項21】 対応するラベルを特定する前記ステッ
プは、基本ポイントとして選択された前記ポイントのう
ちの所定のポイントに関して、前記平面と対応する一組
の対応ポイントの関数である指標を使用して少なくとも
部分的に前記各光源に対する前記対応するラベルを特定
することを特徴とする、請求項16に記載の方法。 - 【請求項22】 前記指標が、透視投影の下で不変であ
り、それによりもし前記平面に対応付けされた前記一組
のポイントがイメージ中へ投影された場合に、前記平面
に対応付けされた前記一組のポイントに対して生成され
た前記指標が前記イメージ中へ投影されたときの前記ポ
イントに対して生成される指標と同じであることを特徴
とする、請求項21に記載の方法。 - 【請求項23】 前記位置及び方位情報を求める前記ス
テップが、計算された平行変換ベクトルから横揺れ角、
縦揺れ角及び偏揺れ角の各回転パラメータを直接計算す
ることにより、前記方位情報を求めるステップを包含す
ることを特徴とする、請求項16に記載の方法。 - 【請求項24】 処理装置中で実行されるとき、前記処
理装置によって以下の各ステップが実行されるようにす
る1つ以上のソフトウエア・プログラムを有する製品で
あって、それらステップが、 入力装置のイメージを解析することによって前記入力装
置の平坦面と対応する複数の光源から発光された光を検
出するステップと、 前記各光源を対応するラベルに対応付けするステップ
と、 前記イメージ中の前記光源の位置から前記位置及び方位
情報を求めるステップと、 前記位置及び方位情報をコンピュータ・システム上で実
行される少なくとも1つのアプリケーションへ通信する
ステップとであることを特徴とする、製品。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/366,012 US6417836B1 (en) | 1999-08-02 | 1999-08-02 | Computer input device having six degrees of freedom for controlling movement of a three-dimensional object |
US09/366012 | 1999-08-02 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001075726A true JP2001075726A (ja) | 2001-03-23 |
Family
ID=23441325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000232696A Abandoned JP2001075726A (ja) | 1999-08-02 | 2000-08-01 | 三次元オブジェクトの動きを制御するための6つの自由度を持つコンピュータ入力装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6417836B1 (ja) |
EP (1) | EP1074934A3 (ja) |
JP (1) | JP2001075726A (ja) |
CA (1) | CA2314548C (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006317441A (ja) * | 2005-05-10 | 2006-11-24 | Pixart Imaging Inc | イメージディスプレイ及びイメージセンサを含む定位システム |
JP2007521559A (ja) * | 2003-06-23 | 2007-08-02 | アフィネオン・テクノロジーズ・ピーティーイー・リミテッド | 自由度6の航跡を入れるコンピュータ入力装置 |
KR20140009913A (ko) * | 2012-07-12 | 2014-01-23 | 삼성전자주식회사 | 가상 세계 처리 장치 및 방법 |
JP2016526675A (ja) * | 2013-07-04 | 2016-09-05 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 向きの割り出し |
JP7566047B2 (ja) | 2020-06-25 | 2024-10-11 | ソフト2テック ゲーエムベーハー | マーキングの方向及び位置を検出するための装置並びにコンピュータプログラム製品 |
Families Citing this family (121)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6795068B1 (en) * | 2000-07-21 | 2004-09-21 | Sony Computer Entertainment Inc. | Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program |
GB0121536D0 (en) * | 2001-09-06 | 2001-10-24 | 4D Technology Systems Ltd | Controlling electronic device |
JP5037765B2 (ja) * | 2001-09-07 | 2012-10-03 | 株式会社トプコン | オペレータ誘導システム |
EP1483658A2 (en) * | 2002-03-08 | 2004-12-08 | 3Dconnexion GmbH | Multi-dimensional object manipulation |
US7161579B2 (en) | 2002-07-18 | 2007-01-09 | Sony Computer Entertainment Inc. | Hand-held computer interactive device |
US8797260B2 (en) | 2002-07-27 | 2014-08-05 | Sony Computer Entertainment Inc. | Inertially trackable hand-held controller |
US7646372B2 (en) | 2003-09-15 | 2010-01-12 | Sony Computer Entertainment Inc. | Methods and systems for enabling direction detection when interfacing with a computer program |
US7883415B2 (en) | 2003-09-15 | 2011-02-08 | Sony Computer Entertainment Inc. | Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion |
US7102615B2 (en) * | 2002-07-27 | 2006-09-05 | Sony Computer Entertainment Inc. | Man-machine interface using a deformable device |
US7809145B2 (en) * | 2006-05-04 | 2010-10-05 | Sony Computer Entertainment Inc. | Ultra small microphone array |
US8947347B2 (en) * | 2003-08-27 | 2015-02-03 | Sony Computer Entertainment Inc. | Controlling actions in a video game unit |
US7623115B2 (en) * | 2002-07-27 | 2009-11-24 | Sony Computer Entertainment Inc. | Method and apparatus for light input device |
US7352358B2 (en) * | 2002-07-27 | 2008-04-01 | Sony Computer Entertainment America Inc. | Method and system for applying gearing effects to acoustical tracking |
US7352359B2 (en) * | 2002-07-27 | 2008-04-01 | Sony Computer Entertainment America Inc. | Method and system for applying gearing effects to inertial tracking |
US7918733B2 (en) * | 2002-07-27 | 2011-04-05 | Sony Computer Entertainment America Inc. | Multi-input game control mixer |
US9474968B2 (en) | 2002-07-27 | 2016-10-25 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
US20070015559A1 (en) * | 2002-07-27 | 2007-01-18 | Sony Computer Entertainment America Inc. | Method and apparatus for use in determining lack of user activity in relation to a system |
US8686939B2 (en) | 2002-07-27 | 2014-04-01 | Sony Computer Entertainment Inc. | System, method, and apparatus for three-dimensional input control |
US7760248B2 (en) | 2002-07-27 | 2010-07-20 | Sony Computer Entertainment Inc. | Selective sound source listening in conjunction with computer interactive processing |
US8313380B2 (en) | 2002-07-27 | 2012-11-20 | Sony Computer Entertainment America Llc | Scheme for translating movements of a hand-held controller into inputs for a system |
US10086282B2 (en) * | 2002-07-27 | 2018-10-02 | Sony Interactive Entertainment Inc. | Tracking device for use in obtaining information for controlling game program execution |
US7850526B2 (en) * | 2002-07-27 | 2010-12-14 | Sony Computer Entertainment America Inc. | System for tracking user manipulations within an environment |
US8233642B2 (en) * | 2003-08-27 | 2012-07-31 | Sony Computer Entertainment Inc. | Methods and apparatuses for capturing an audio signal based on a location of the signal |
US20060256081A1 (en) * | 2002-07-27 | 2006-11-16 | Sony Computer Entertainment America Inc. | Scheme for detecting and tracking user manipulation of a game controller body |
US7627139B2 (en) * | 2002-07-27 | 2009-12-01 | Sony Computer Entertainment Inc. | Computer image and audio processing of intensity and input devices for interfacing with a computer program |
US8570378B2 (en) | 2002-07-27 | 2013-10-29 | Sony Computer Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
US7854655B2 (en) | 2002-07-27 | 2010-12-21 | Sony Computer Entertainment America Inc. | Obtaining input for controlling execution of a game program |
US9174119B2 (en) | 2002-07-27 | 2015-11-03 | Sony Computer Entertainement America, LLC | Controller for providing inputs to control execution of a program when inputs are combined |
US7782297B2 (en) * | 2002-07-27 | 2010-08-24 | Sony Computer Entertainment America Inc. | Method and apparatus for use in determining an activity level of a user in relation to a system |
US7391409B2 (en) * | 2002-07-27 | 2008-06-24 | Sony Computer Entertainment America Inc. | Method and system for applying gearing effects to multi-channel mixed input |
US9393487B2 (en) * | 2002-07-27 | 2016-07-19 | Sony Interactive Entertainment Inc. | Method for mapping movements of a hand-held controller to game commands |
US8160269B2 (en) | 2003-08-27 | 2012-04-17 | Sony Computer Entertainment Inc. | Methods and apparatuses for adjusting a listening area for capturing sounds |
US8139793B2 (en) * | 2003-08-27 | 2012-03-20 | Sony Computer Entertainment Inc. | Methods and apparatus for capturing audio signals based on a visual image |
US7803050B2 (en) * | 2002-07-27 | 2010-09-28 | Sony Computer Entertainment Inc. | Tracking device with sound emitter for use in obtaining information for controlling game program execution |
US9682319B2 (en) | 2002-07-31 | 2017-06-20 | Sony Interactive Entertainment Inc. | Combiner method for altering game gearing |
US9177387B2 (en) | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
KR100507554B1 (ko) | 2003-05-21 | 2005-08-17 | 한국과학기술연구원 | 병렬형 햅틱 조이스틱 시스템 |
US8072470B2 (en) * | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
US7038661B2 (en) * | 2003-06-13 | 2006-05-02 | Microsoft Corporation | Pointing device and cursor for use in intelligent computing environments |
US10279254B2 (en) | 2005-10-26 | 2019-05-07 | Sony Interactive Entertainment Inc. | Controller having visually trackable object for interfacing with a gaming system |
US9573056B2 (en) | 2005-10-26 | 2017-02-21 | Sony Interactive Entertainment Inc. | Expandable control device via hardware attachment |
US8287373B2 (en) | 2008-12-05 | 2012-10-16 | Sony Computer Entertainment Inc. | Control device for communicating visual information |
US7874917B2 (en) | 2003-09-15 | 2011-01-25 | Sony Computer Entertainment Inc. | Methods and systems for enabling depth and direction detection when interfacing with a computer program |
US8323106B2 (en) | 2008-05-30 | 2012-12-04 | Sony Computer Entertainment America Llc | Determination of controller three-dimensional location using image analysis and ultrasonic communication |
US8133115B2 (en) | 2003-10-22 | 2012-03-13 | Sony Computer Entertainment America Llc | System and method for recording and displaying a graphical path in a video game |
US7663689B2 (en) | 2004-01-16 | 2010-02-16 | Sony Computer Entertainment Inc. | Method and apparatus for optimizing capture device settings through depth information |
US9229540B2 (en) | 2004-01-30 | 2016-01-05 | Electronic Scripting Products, Inc. | Deriving input from six degrees of freedom interfaces |
US7826641B2 (en) | 2004-01-30 | 2010-11-02 | Electronic Scripting Products, Inc. | Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features |
US7961909B2 (en) | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
DE102004013708A1 (de) * | 2004-03-18 | 2005-10-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Interaktionsvorrichtung, Interaktionssystem und Markersystem |
US7307736B2 (en) * | 2004-03-31 | 2007-12-11 | Mitutoyo Corporation | Scale for use with a translation and orientation sensing system |
US8547401B2 (en) | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
US20060071933A1 (en) | 2004-10-06 | 2006-04-06 | Sony Computer Entertainment Inc. | Application binary interface for multi-pass shaders |
US8760522B2 (en) | 2005-10-21 | 2014-06-24 | I-Interactive Llc | Multi-directional remote control system and method |
US8842186B2 (en) | 2004-10-25 | 2014-09-23 | I-Interactive Llc | Control system and method employing identification of a displayed image |
US8456534B2 (en) * | 2004-10-25 | 2013-06-04 | I-Interactive Llc | Multi-directional remote control system and method |
JP4886770B2 (ja) * | 2005-05-05 | 2012-02-29 | 株式会社ソニー・コンピュータエンタテインメント | コンピュータ対話型処理と共に使用する選択的音源聴音 |
US7636126B2 (en) | 2005-06-22 | 2009-12-22 | Sony Computer Entertainment Inc. | Delay matching in audio/video systems |
EP2296079A3 (en) | 2005-10-26 | 2011-04-13 | Sony Computer Entertainment Inc. | System and method for interfacing with a computer program |
US7773100B2 (en) * | 2006-04-10 | 2010-08-10 | Roland Wescott Montague | Extended rotation and sharpening of an object viewed from a finite number of angles |
US9129415B2 (en) | 2006-04-10 | 2015-09-08 | Roland Wescott Montague | Appearance of an object |
US7965859B2 (en) | 2006-05-04 | 2011-06-21 | Sony Computer Entertainment Inc. | Lighting control of a user environment via a display device |
KR101020509B1 (ko) | 2006-05-04 | 2011-03-09 | 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨 | 프로그램의 실행을 제어하기 위한 입력을 획득하는 방법 |
US7570250B2 (en) * | 2006-05-04 | 2009-08-04 | Yi-Ming Tseng | Control device including a ball that stores data |
CN102989174B (zh) * | 2006-05-04 | 2016-06-29 | 美国索尼电脑娱乐公司 | 获得用于控制游戏程序的运行的输入 |
US7880746B2 (en) | 2006-05-04 | 2011-02-01 | Sony Computer Entertainment Inc. | Bandwidth management through lighting control of a user environment via a display device |
US20110014981A1 (en) * | 2006-05-08 | 2011-01-20 | Sony Computer Entertainment Inc. | Tracking device with sound emitter for use in obtaining information for controlling game program execution |
US8013838B2 (en) | 2006-06-30 | 2011-09-06 | Microsoft Corporation | Generating position information using a video camera |
DE112007000074T5 (de) * | 2006-07-10 | 2009-04-02 | Memsic Inc., Andover | System zum Erfassen einer Gierrate unter Verwendung eines Magnetfeldsensors sowie tragbare elektronische Vorrichtungen unter Verwendung hiervon |
US7907117B2 (en) * | 2006-08-08 | 2011-03-15 | Microsoft Corporation | Virtual controller for visual displays |
US8781151B2 (en) | 2006-09-28 | 2014-07-15 | Sony Computer Entertainment Inc. | Object detection using video input combined with tilt angle information |
US8310656B2 (en) | 2006-09-28 | 2012-11-13 | Sony Computer Entertainment America Llc | Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen |
USRE48417E1 (en) | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
US20080098448A1 (en) * | 2006-10-19 | 2008-04-24 | Sony Computer Entertainment America Inc. | Controller configured to track user's level of anxiety and other mental and physical attributes |
US20080096654A1 (en) * | 2006-10-20 | 2008-04-24 | Sony Computer Entertainment America Inc. | Game control using three-dimensional motions of controller |
US20080111789A1 (en) * | 2006-11-09 | 2008-05-15 | Intelligence Frontier Media Laboratory Ltd | Control device with hybrid sensing system comprised of video-based pattern recognition and electronic signal transmission |
US8237656B2 (en) * | 2007-07-06 | 2012-08-07 | Microsoft Corporation | Multi-axis motion-based remote control |
US8902227B2 (en) * | 2007-09-10 | 2014-12-02 | Sony Computer Entertainment America Llc | Selective interactive mapping of real-world objects to create interactive virtual-world objects |
DE102007053008A1 (de) * | 2007-11-05 | 2009-05-14 | Repetzki, Sebastian, Dr.-Ing. | Zielkörper und Verfahren zur Bestimmung seiner räumlichen Lage |
AT505672B1 (de) * | 2007-11-28 | 2009-03-15 | Thomas Dipl Ing Kienzl | Computerunterstütztes schnittstellensystem |
US8542907B2 (en) | 2007-12-17 | 2013-09-24 | Sony Computer Entertainment America Llc | Dynamic three-dimensional object mapping for user-defined control device |
KR101335346B1 (ko) | 2008-02-27 | 2013-12-05 | 소니 컴퓨터 엔터테인먼트 유럽 리미티드 | 장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들 |
US8368753B2 (en) | 2008-03-17 | 2013-02-05 | Sony Computer Entertainment America Llc | Controller with an integrated depth camera |
US8961313B2 (en) | 2009-05-29 | 2015-02-24 | Sony Computer Entertainment America Llc | Multi-positional three-dimensional controller |
US8250001B2 (en) * | 2008-12-18 | 2012-08-21 | Motorola Mobility Llc | Increasing user input accuracy on a multifunctional electronic device |
GB2467951A (en) * | 2009-02-20 | 2010-08-25 | Sony Comp Entertainment Europe | Detecting orientation of a controller from an image of the controller captured with a camera |
US20100218141A1 (en) * | 2009-02-23 | 2010-08-26 | Motorola, Inc. | Virtual sphere input controller for electronics device |
US8527657B2 (en) | 2009-03-20 | 2013-09-03 | Sony Computer Entertainment America Llc | Methods and systems for dynamically adjusting update rates in multi-player network gaming |
US8342963B2 (en) | 2009-04-10 | 2013-01-01 | Sony Computer Entertainment America Inc. | Methods and systems for enabling control of artificial intelligence game characters |
US8142288B2 (en) | 2009-05-08 | 2012-03-27 | Sony Computer Entertainment America Llc | Base station movement detection and compensation |
US8393964B2 (en) | 2009-05-08 | 2013-03-12 | Sony Computer Entertainment America Llc | Base station for position location |
US20110050575A1 (en) * | 2009-08-31 | 2011-03-03 | Motorola, Inc. | Method and apparatus for an adaptive touch screen display |
US10786736B2 (en) | 2010-05-11 | 2020-09-29 | Sony Interactive Entertainment LLC | Placement of user information in a game space |
DE102011075253A1 (de) | 2011-05-04 | 2012-11-08 | Eberhard-Karls-Universität Tübingen | Verfahren zur Bestimmung der relativen Lage eines Objekts im Raum sowie optisches Eingabesystem |
US8655094B2 (en) | 2011-05-11 | 2014-02-18 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Photogrammetry system and method for determining relative motion between two bodies |
US9342817B2 (en) | 2011-07-07 | 2016-05-17 | Sony Interactive Entertainment LLC | Auto-creating groups for sharing photos |
TWI468997B (zh) * | 2013-01-09 | 2015-01-11 | Pixart Imaging Inc | 具有較大可操作範圍的指向系統及影像系統 |
CN103941884B (zh) * | 2013-01-17 | 2017-05-24 | 原相科技股份有限公司 | 具有较大可操作范围的指向系统及图像系统 |
EP3008421A1 (en) * | 2013-06-13 | 2016-04-20 | Basf Se | Detector for optically detecting an orientation of at least one object |
KR102246139B1 (ko) | 2013-06-13 | 2021-04-30 | 바스프 에스이 | 적어도 하나의 물체를 광학적으로 검출하기 위한 검출기 |
WO2016005893A1 (en) | 2014-07-08 | 2016-01-14 | Basf Se | Detector for determining a position of at least one object |
WO2016092451A1 (en) | 2014-12-09 | 2016-06-16 | Basf Se | Optical detector |
US10094651B2 (en) | 2015-01-15 | 2018-10-09 | CSEM Centre Suisse d'Electronique et de Microtechnique SA—Recherche et Développement | Positioning system and method |
EP3054311B1 (en) | 2015-01-15 | 2023-01-11 | Atracsys Sàrl | Positioning system and method |
US9696185B2 (en) | 2015-01-15 | 2017-07-04 | Csm Centre Suisse D'electronique Et De Microtechnique Sa—Recherche Et Développement | 6D positioning system using a shadow sensor |
JP6841769B2 (ja) | 2015-01-30 | 2021-03-10 | トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング | 少なくとも1個の物体を光学的に検出する検出器 |
JP6877418B2 (ja) | 2015-07-17 | 2021-05-26 | トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング | 少なくとも1個の対象物を光学的に検出するための検出器 |
WO2017046121A1 (en) | 2015-09-14 | 2017-03-23 | Trinamix Gmbh | 3d camera |
US11577159B2 (en) | 2016-05-26 | 2023-02-14 | Electronic Scripting Products Inc. | Realistic virtual/augmented/mixed reality viewing and interactions |
US11211513B2 (en) | 2016-07-29 | 2021-12-28 | Trinamix Gmbh | Optical sensor and detector for an optical detection |
EP3532796A1 (en) | 2016-10-25 | 2019-09-04 | trinamiX GmbH | Nfrared optical detector with integrated filter |
EP3532864B1 (en) | 2016-10-25 | 2024-08-28 | trinamiX GmbH | Detector for an optical detection of at least one object |
US11860292B2 (en) | 2016-11-17 | 2024-01-02 | Trinamix Gmbh | Detector and methods for authenticating at least one object |
CN109964148B (zh) | 2016-11-17 | 2023-08-01 | 特里纳米克斯股份有限公司 | 用于光学检测至少一个对象的检测器 |
US10664993B1 (en) * | 2017-03-13 | 2020-05-26 | Occipital, Inc. | System for determining a pose of an object |
CN110770555A (zh) | 2017-04-20 | 2020-02-07 | 特里纳米克斯股份有限公司 | 光学检测器 |
DE102017113615A1 (de) * | 2017-06-20 | 2018-12-20 | Carl Zeiss Smt Gmbh | System, Verfahren und Marker zur Positionsbestimmung eines beweglichen Objektes im Raum |
EP3645965B1 (en) | 2017-06-26 | 2022-04-27 | trinamiX GmbH | Detector for determining a position of at least one object |
US11042226B2 (en) * | 2018-04-02 | 2021-06-22 | Microsoft Technology Licensing, Llc | Constellation-based augmentation of mouse form-factor for virtual reality applications |
JP2021523503A (ja) * | 2018-05-09 | 2021-09-02 | ドリームスケイプ・イマーシブ・インコーポレイテッド | 光学追跡仮想現実システムのためのユーザ選択可能ツール |
DE102020201198B4 (de) * | 2020-01-31 | 2023-08-17 | Carl Zeiss Industrielle Messtechnik Gmbh | Verfahren und Anordnung zum Ermitteln einer Position und/oder einer Ausrichtung eines beweglichen Objekts einer Anordnung von Objekten |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60136806A (ja) * | 1983-12-26 | 1985-07-20 | Agency Of Ind Science & Technol | ロボツト作業教示装置 |
US4672562A (en) | 1984-12-11 | 1987-06-09 | Honeywell Inc. | Method and apparatus for determining location and orientation of objects |
US4662752A (en) * | 1985-11-04 | 1987-05-05 | Actel Partnership | Position and orientation (POSE) sensor and related method |
US5222400A (en) | 1985-12-18 | 1993-06-29 | Spaceball Technologies Incorporated | Force and torque converter |
US4811608A (en) | 1985-12-18 | 1989-03-14 | Spatial Systems Pty Limited | Force and torque converter |
US4761000A (en) * | 1987-04-07 | 1988-08-02 | American Sterilizer Company | Surgical table having horizontally displaceable tabletop |
US5045843B1 (en) | 1988-12-06 | 1996-07-16 | Selectech Ltd | Optical pointing device |
DE69033269T2 (de) | 1989-06-20 | 2000-01-05 | Fujitsu Ltd., Kawasaki | Verfahren und Vorrichtung zum Messen der Position und Stellung eines Gegenstandes |
US5128671A (en) | 1990-04-12 | 1992-07-07 | Ltv Aerospace And Defense Company | Control device having multiple degrees of freedom |
US5146566A (en) | 1991-05-29 | 1992-09-08 | Ibm Corporation | Input/output system for computer user interface using magnetic levitation |
US5227985A (en) | 1991-08-19 | 1993-07-13 | University Of Maryland | Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object |
US5212888A (en) * | 1991-09-16 | 1993-05-25 | Calcomp Inc. | Dual function sensor for a pen plotter |
US5335557A (en) | 1991-11-26 | 1994-08-09 | Taizo Yasutake | Touch sensitive input control device |
US5230623A (en) | 1991-12-10 | 1993-07-27 | Radionics, Inc. | Operating pointer with interactive computergraphics |
US5297061A (en) | 1993-05-19 | 1994-03-22 | University Of Maryland | Three dimensional pointing device monitored by computer vision |
US5672820A (en) | 1995-05-16 | 1997-09-30 | Boeing North American, Inc. | Object location identification system for providing location data of an object being pointed at by a pointing device |
JPH11513483A (ja) | 1995-09-21 | 1999-11-16 | オムニプラナー,インコーポレーテッド | 位置及び方位を決定する方法及び装置 |
US5828770A (en) * | 1996-02-20 | 1998-10-27 | Northern Digital Inc. | System for determining the spatial position and angular orientation of an object |
US5889505A (en) | 1996-04-04 | 1999-03-30 | Yale University | Vision-based six-degree-of-freedom computer input device |
DE19626459C2 (de) * | 1996-07-02 | 1999-09-02 | Kuka Schweissanlagen Gmbh | Verfahren und Vorrichtung zum Teachen eines programmgesteuerten Roboters |
US6172354B1 (en) * | 1998-01-28 | 2001-01-09 | Microsoft Corporation | Operator input device |
JP4264601B2 (ja) * | 1998-10-21 | 2009-05-20 | ソニー株式会社 | 情報入力装置、情報入力方法及びゲーム装置 |
-
1999
- 1999-08-02 US US09/366,012 patent/US6417836B1/en not_active Expired - Fee Related
-
2000
- 2000-07-24 EP EP00306259A patent/EP1074934A3/en not_active Withdrawn
- 2000-07-26 CA CA002314548A patent/CA2314548C/en not_active Expired - Fee Related
- 2000-08-01 JP JP2000232696A patent/JP2001075726A/ja not_active Abandoned
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007521559A (ja) * | 2003-06-23 | 2007-08-02 | アフィネオン・テクノロジーズ・ピーティーイー・リミテッド | 自由度6の航跡を入れるコンピュータ入力装置 |
JP2006317441A (ja) * | 2005-05-10 | 2006-11-24 | Pixart Imaging Inc | イメージディスプレイ及びイメージセンサを含む定位システム |
KR20140009913A (ko) * | 2012-07-12 | 2014-01-23 | 삼성전자주식회사 | 가상 세계 처리 장치 및 방법 |
KR102024863B1 (ko) | 2012-07-12 | 2019-09-24 | 삼성전자주식회사 | 가상 세계 처리 장치 및 방법 |
JP2016526675A (ja) * | 2013-07-04 | 2016-09-05 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 向きの割り出し |
JP7566047B2 (ja) | 2020-06-25 | 2024-10-11 | ソフト2テック ゲーエムベーハー | マーキングの方向及び位置を検出するための装置並びにコンピュータプログラム製品 |
Also Published As
Publication number | Publication date |
---|---|
EP1074934A2 (en) | 2001-02-07 |
US6417836B1 (en) | 2002-07-09 |
CA2314548A1 (en) | 2001-02-02 |
CA2314548C (en) | 2005-03-01 |
EP1074934A3 (en) | 2002-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2001075726A (ja) | 三次元オブジェクトの動きを制御するための6つの自由度を持つコンピュータ入力装置 | |
US9075455B2 (en) | Method for determining the relative position of an object in an area, and optical input system | |
US5818424A (en) | Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space | |
Ha et al. | WeARHand: Head-worn, RGB-D camera-based, bare-hand user interface with visually enhanced depth perception | |
US7598942B2 (en) | System and method for gesture based control system | |
JP5920352B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US7613361B2 (en) | Information processing method and device | |
US20060082546A1 (en) | Computer input device tracking six degrees of freedom | |
US20150138086A1 (en) | Calibrating control device for use with spatial operating system | |
US20050251290A1 (en) | Method and a system for programming an industrial robot | |
US20090278915A1 (en) | Gesture-Based Control System For Vehicle Interfaces | |
US20100201808A1 (en) | Camera based motion sensing system | |
CN106104198A (zh) | 信息处理设备、信息处理方法和程序 | |
CN108022264A (zh) | 相机位姿确定方法及设备 | |
US20130076616A1 (en) | Adaptive tracking system for spatial input devices | |
US11995254B2 (en) | Methods, devices, apparatuses, and storage media for mapping mouse models for computer mouses | |
JPH1163927A (ja) | 頭部位置・姿勢の計測装置および作業監視装置 | |
JP2009258884A (ja) | ユーザインタフェイス | |
US20230405432A1 (en) | Device and method for sensing movement of sphere moving on plane surface using camera, and device and method for sensing golfball moving on putting mat | |
JP2005147894A (ja) | 計測方法、計測装置 | |
Chung et al. | Postrack: A low cost real-time motion tracking system for vr application | |
Petrič et al. | Real-time 3D marker tracking with a WIIMOTE stereo vision system: Application to robotic throwing | |
Bianchi et al. | High-fidelity visuo-haptic interaction with virtual objects in multi-modal AR systems | |
JP2019197278A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
Kondaxakis et al. | Temporal arm tracking and probabilistic pointed object selection for robot to robot interaction using deictic gestures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070725 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20080410 |