JP2009535727A - 凍結及び再開機能を備える3d入力/ナビゲーションデバイス - Google Patents

凍結及び再開機能を備える3d入力/ナビゲーションデバイス Download PDF

Info

Publication number
JP2009535727A
JP2009535727A JP2009508576A JP2009508576A JP2009535727A JP 2009535727 A JP2009535727 A JP 2009535727A JP 2009508576 A JP2009508576 A JP 2009508576A JP 2009508576 A JP2009508576 A JP 2009508576A JP 2009535727 A JP2009535727 A JP 2009535727A
Authority
JP
Japan
Prior art keywords
input
navigation device
operator
computer system
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009508576A
Other languages
English (en)
Inventor
ノルベルト シー エッセル
パウルス エム エイチ エム エイ ゴリッセン
ヴィルヘルムス ピー エイ ジェイ ミヒールス
ユルイェン ピー パウヴ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2009535727A publication Critical patent/JP2009535727A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Abstract

操作者による3次元空間での対象物の制御のための3D入力/ナビゲーションデバイス、方法及びコンピュータプログラムが与えられる。そこでは、操作者によって決定される面内又は線に沿ってのみ対象物が動かされることができるよう、少なくとも1つの方向に関して対象物の動きが抑制される凍結状態に対象物が切り替えられることができ、及び、基準系におけるデバイスの相対位置に応じて自由に制御可能となるよう、その対象物が再開又は解放される解放状態に対象物が切り替えられることができる。

Description

本発明は、一般に3D入力/ナビゲーションデバイスに関し、より詳細には、操作性が拡張された3D入力/ナビゲーションデバイスに関する。斯かる3D入力/ナビゲーションデバイスは、医療分野に特定の用途を見出し、そこでは、医師又は他の医療専門家が、ディスプレイに表示される3次元画像及び3次元構造をそれぞれ見ることが多い。医療専門家はそれぞれそこで、3次元画像内をナビゲートし、及び対象物を制御しなければならない。しかしながら、本発明は、例えば、建築、航空宇宙、及び医療エンジニアリング分野に加えて、コンピュータゲーム又は仮想世界といったエンターテイメント分野にも適用されることができる点を理解されたい。
上述した分野において、人々は3次元空間でより多くの操作を行っており、3次元対象物が、ディスプレイに表示されるか、又は操作者によって直接観察可能になっている。位置及び/又は方向に関するデータを生成可能な3D入力/ナビゲーションデバイスであって、ディスプレイに表示される3次元空間において対象物を制御するためこれらのデータをコンピュータシステムに入力することが可能な複数の異なる3D入力/ナビゲーションデバイスが無数にある。
Shenholzによる、タイトルが「Three-dimensional computer mouse」であるEP 0 526 015 A1号は、斯かる3D入力デバイスの1つを表す。この文書は、空間でユーザにより動かされることができるポインタと、そのポインタに一体化された部分である送信機と、少なくとも3つの受信機と、マイクロプロセッサを持つ処理ユニットと、入力/出力通信インタフェースと、情報及び電力伝達手段並びにソフトウェア手段のための接続ユニットとを有するコンピュータのディスプレイ用の3次元マウスシステム、又はロボットを開示する。送信機から受信される信号に受信機が反応するとき、受信機は、受信機に対する送信機の空間位置に基づき、その空間位置に対応するよう、独立的にマイクロプロセッサにその出力信号を送信する。マイクロプロセッサは、送信機の空間位置を計算する。マイクロプロセッサの出力信号は、適切な形式に変換されてコンピュータに送られ、空間におけるポインタの動きにリアルタイムに応じて、コンピュータディスプレイ又はロボット動作における3次元反応を提供するよう、ソフトウェア手段により処理される。
対象物を制御し3次元空間でナビゲートするため空間で自由に動くことができる3D入力/ナビゲーションデバイスを用いたナビゲーション及び制御は、特殊な不都合点を持つ。例えば、特に医療、航空学又は機械エンジニアリング分野でしばしば必要となる高精度のナビゲーション及び制御が、従来の3D入力/ナビゲーションデバイスでは不可能である。なぜなら、例えば身震いによる操作者の腕若しくは手の意図しない動き、又は操作者の極度の疲労若しくは不完全な集中による意図しない動きが、制御される対象物の意図しない動きをもたらすからである。更に、特定の線に沿って、又は特定の面内でナビゲート及び制御を行うことが、しばしば必要とされるか又は少なくとも有益である。
更に、従来の3D入力/ナビゲーションデバイスを用いて、操作者が3D画像における特定の位置「A」までナビゲートし、そこから更にナビゲートすることを望む場合、その操作者の腕が既に完全に伸びきっていると、操作者は、腕だけを再調整することができない、即ち腕を適切な位置に配置できない。それだけでなく、その結果、上述の位置「A」から開始するナビゲーション及び制御を続行することもできない。なぜなら、腕を再調整する動きも、制御される対象物の所望されない動きをもたらすことになるからである。これは、特に、3D入力/ナビゲーションデバイスの問題である。なぜなら、一般に望ましくないわずかなシフトは発生するものの、従来の2Dマウスは、持ち上げて、制御対象物の位置の実質的な変化を伴うことなしにどこか別の場所に置くことができるからである。
本発明の目的は、3次元空間におけるナビゲーションとその3次元空間での対象物の制御を更に改善する3D入力/ナビゲーションデバイス、方法及びコンピュータプログラムを提供することにある。
本発明によれば、上記目的は、請求項1に記載の特徴を備える3D入力/ナビゲーションデバイス、請求項14の特徴を備える方法、及び請求項18の特徴を備えるコンピュータプログラムにより達成される。好ましい実施形態が、各従属項に規定される。
本発明の利点は、ディスプレイに表示されるか、又は操作者により直接見られることのできる対象物の高精度のナビゲーション及び制御を提供できる点にある。
本発明の更なる利点は、操作性の良さが改善される点にある。
1つの側面によれば、本発明は、操作者による3次元空間での対象物の制御のための3D入力/ナビゲーションデバイスに関する。そこでは、上記デバイスが、コンピュータシステムに動作可能に結合されることができ、データ生成器が、基準系における上記デバイスの相対位置に基づきデータを生成するよう動作可能に提供され、かつ上記コンピュータシステムにデータを出力するよう動作可能であり、上記デバイスが、上記操作者によって決定される面内又は線に沿ってのみ上記対象物が動かされることができるよう、少なくとも1つの方向に関して上記対象物の動きが抑制される凍結状態に上記対象物を切り替えることができ、及び、上記基準系における上記デバイスの相対位置に応じて自由に制御可能となるよう、上記対象物が解放される、再開、解放又は非凍結状態に上記対象物を切り替えることができる。その面は、面、曲面、直線、曲線、又は他の任意の種類の面及び線とすることができる。
凍結及び抑制はそれぞれ、出力生成器が、位置及び/又は方向に関して少なくとも1つの凍結された座標を持つデータを出力するという点で実現される。こうして、座標系(しばしばX、Y、Zと呼ばれる、互いに直交する3軸)に平行な線及び面に関する所定の動きが可能である。しかしながら、3D入力/ナビゲーションデバイスの出力が、コンピュータシステムにより実行されるコンピュータプログラムに、制御される対象物の特殊な動き、即ち、決定される又は所定の動きを凍結又は抑制させることをもたらす態様で、凍結又は抑制が実現されることも可能である。更に、制御又はナビゲーションの前に、コンピュータシステムを用いて操作者により規定される面、線及び/又は方向を入力及び格納し、所定の決定事項(predetermination)に関してのみナビゲーション及び制御が可能になるという態様で3D入力/ナビゲーションデバイスを用いて作動させることにより、こうした所定の面、線及び/又は方向にアクセスすることも可能である。面、線及び/又は方向は、例えば、数学関数の形式で規定されることができる。こうして、複雑な面及び線が規定されることができる。操作者のリクエストに応じてモニタに表示可能なメニューから所定の面、線及び/又は方向を選択するのに3D入力/ナビゲーションデバイスが使用されることができる。
上記観点から、高精度の制御が実現される。なぜなら、(事前に)決定された面、線及び方向に関して上記対象物をナビゲートすることが可能だからである。
その構成は、操作者の手又は腕又は他の位置変化により3D入力/ナビゲーションデバイスを用いて実行される制御運動に応じてデータを提供することができる。基準系における3D入力/ナビゲーションデバイスの個別の位置/動きに基づき対象物を制御するためのデータ(x、y、z;φ(ファイ)、ψ(プサイ)、θ及び/又はΔx、Δy、Δz;Δφ、Δψ、Δθ)を提供するのに、従来より知られる複数の構成が存在する点を理解されたい。3D入力/ナビゲーションデバイスの動き及び/又は位置を検出及び決定する可能性は、並進加速検出と、位置感知又は検出装置と、送信機と、受信機と、RF信号と、超音波信号と、増幅器と、距離測定と、光源及び対応する影の進路等と、コンピュータシステム及び/又は3D入力/ナビゲーションデバイスに動作可能に結合される対応デバイスとに基づかれることができる。
基準系は、対象物を制御するため3D入力/ナビゲーションデバイスが動かされる空間である。配置に依存して、基準系は、対応する3D入力/ナビゲーションデバイス位置検出装置により感知され検出される「固定の」基準系とすることができる。
この点に関して、3D入力/ナビゲーションデバイス内のデータ生成器が、例えば、並進加速を用いて、3D入力/ナビゲーションデバイスの位置/動きに応じてデータを生成するよう適合されることができる。しかしながら、データ生成器は、例えば個別の位置検出装置を用いて3D入力/ナビゲーションデバイスの位置/動きを決定するため検出されたデータを処理及び出力する3D入力/ナビゲーションデバイスの外側にある手段とすることもできる。
好ましい実施形態による3D入力/ナビゲーションデバイスは、操作者による作動に応じて、現在の位置及び/又は方向に関して上記対象物が凍結される完全な凍結状態に上記対象物を切り替えることができ、並びに、正確な以前の凍結位置から始めて制御可能な態様で上記対象物が解放される解放状態に上記対象物を切り替えることができる。
完全な凍結は、種々の方法で実現されることができる。例えば、データ生成器は、全くデータを出力しないよう構成されることができる。しかしながら、コンピュータシステムと3D入力/ナビゲーションデバイスとの間の動作結合が、凍結状態の間中断されることも可能である。更に、3D入力/ナビゲーションデバイスの出力が、コンピュータシステムで実行中のプログラムに現在の位置及び/又は方向を凍結させることで、完全な凍結が実現されることもできる。3D入力/ナビゲーションデバイスが使用されるシステムに基づき、3D入力/ナビゲーションデバイスが、個別の位置検出手段を、対象物を凍結させる「オフ状態」と対象物を再開させる「オン状態」との間で切り替えることも可能である。
従って、本発明の3D入力/ナビゲーションデバイスは、対象物を完全に凍結させることにより、制御される対象物の意図しない動きをもたらすことなく、操作者が、リラックスしたり、気晴らししたり、特に腕を再調整したり又はその位置をずらししたりすることを可能にする。再調整の後、操作者は、再開に続いて、その完全に凍結された位置/方向から開始して制御を継続することができる。従って、操作の正確性だけでなく、操作の容易性が改善される。
更に、本発明の3D入力/ナビゲーションデバイスは、凍結及び再開、即ち切替動作が作動されることができる少なくとも1つの作動手段を具備することができる。作動手段は、ボタン、コントロールレバー若しくはスライダ、又は他の任意の種類の作動又は停止手段とすることができる。3D入力/ナビゲーションデバイスが追加の機能手段を具備することができる点を理解されたい。
しかしながら、切り替えは、音声制御を介して作動されることもできる。この場合、3D入力/ナビゲーションデバイスは、受信機及び適切な電子機器を具備することになる。
3D入力/ナビゲーションデバイスは、例えばトラックボール、コントロールレバー、制御ボタン、角速度検出器、スクロール手段等の、操作者により実行される方向制御運動(構造に依存し、押し動作、引き動作、傾け動作、スクロール動作、回転動作等)に応じてデータを生成するよう動作可能な方向制御手段も具備することができる。
本発明による3D入力/ナビゲーションデバイスは、例えば無線通信といった無線で及び/又はケーブルにより、コンピュータシステムに動作可能に結合されることができる。3D入力/ナビゲーションデバイス及びコンピュータシステムがそれぞれ、インターネットといったネットワークを介して対象物に動作可能に結合されることもできる。従って、本発明は、例えばリモート操作に使用されることができる。
本発明の別の実施形態では、3D入力/ナビゲーションデバイスが、対象物を制御する空間で自由に動かされることができる。しかしながら、3D入力/ナビゲーションデバイスが、制御及びナビゲーションの間、2つの次元及び方向に対してそれぞれ実質的に水平な平面に配置されることも可能である。その場合、3D入力/ナビゲーションデバイスは、3つ目の次元に対する3次元画像での制御及びナビゲーションのため上下に動かされる。
更に、データ生成器が、位置決定装置に基づき、絶対位置及び/若しくは方向(x、y、z;φ、ψ、θ)に関するデータ、並びに/又は相対位置及び/若しくは方向(Δx、Δy、Δz;Δφ、Δψ、Δθ)に関するデータを提供することができる。
本発明の方法の特定の実現は、
現在の位置及び/又は方向に関して対象物が凍結される完全な凍結状態に上記対象物を切り替えるステップと、
上記凍結状態から開始して制御可能となるよう、上記対象物が解放される解放状態に上記対象物を切り替えるステップとを有する。
本発明の実現の特定の例は、
上記対象物が制御されることになる面、及び/又は上記対象物が沿うように制御されることになる線、及び/又は上記対象物が向けられる向きを事前規定するステップと、
上記面、線、及び/又は方向をコンピュータシステムに入力するステップと、
デバイスを用いて、ディスプレイに表示可能なメニューから面及び/又は線及び/又は方向を選択するステップとを有する。例えば、対象物の方向を制御するステップが組み込まれる。
本発明のより完全な理解並びにその多くの利点及び側面が、以下の詳細な説明及び対応する図面を参照して容易に得られ、同時に、理解されるであろう。
本発明の選択された実施形態が以下、図面を参照して説明されることになる。本発明の実施形態の以下の説明は、説明目的のためだけにあり、添付される特許請求の範囲及びその均等の範囲により規定される本発明を限定するためにあるものではない点を理解されたい。
図1は、本発明の第1の実施形態を示す。3D入力/ナビゲーションデバイス1(以下、3D制御デバイスと呼ばれる)が、破線により概略的に示される基準系内に配置される。基準系は、その3D制御デバイスが動かされる空間のことである。3D制御デバイス1は、操作者4により制御され、モニタ又はディスプレイ3に表示される対象物2を制御するコンピュータシステムに動作可能に結合される。コンピュータシステムは、特にディスプレイ3、中央処理ユニット、入力/出力インタフェース、ランダムアクセスメモリ、リードオンリメモリ、制御回路、入力手段(例えばキーボード)、コンピュータプログラム等を含む。
コンピュータプログラムは、3D制御デバイス1からのデータ及び命令を処理することができるコンピュータシステムにインストールされる。従来技術より既知であるコンピュータプログラムが、本3D制御デバイス1と共に機能できるような態様でアップグレード又は更新されることができる点を理解されたい。
3D制御デバイス1の相対運動に基づき対象物2を制御するため、基準系における3D制御デバイス1の位置/動きを決定することが必要である。このため、基準系における3D制御デバイス1の位置/動きに応じたデータを生成するよう動作可能なデータ生成器が、3D制御デバイス1に一体化される。第1の実施形態において、3D制御デバイス1は、3D制御デバイス1の動き/位置を決定する加速検出手段を用いる。
更に、受信機5が、データ生成器からの出力を検出するよう構成される。各電子機器、例えば送信機が、3D制御デバイス1において受信機5に動作可能に結合するよう構成されることが、当業者には明らかであろう。受信機5は、3D制御デバイス1とコンピュータシステムとに動作可能に結合され、対象物2のナビゲーションが実行されることができるコンピュータシステムにデータを提供する。3D制御デバイス1は、コンピュータシステムにケーブルを介して接続される場合と比べて、3D制御デバイス1の自由で制限のない動きが可能となるよう、受信機5と無線で動作可能に結合される。
更に、3D制御デバイス1は、操作者4により実行される方向制御移動(構造に応じて、押し動作、引き動作、傾け動作等)に応じてデータを生成するよう動作可能な、少なくとも1つの方向制御手段を具備する。例えば、トラックボール、コントロールレバー、コントロールボタン、角速度検出器、スクロール手段等である。位置及び方向に関する生成データが、コンピュータシステムに与えられ、そのコンピュータシステムにより実行可能な対応するコンピュータプログラムにより処理される。
上述の構成は、操作者の手及び/又は腕により基準系において3D制御デバイスに生じる制御移動に応じてデータを提供することができる。そのデータは、絶対データ(x、y、z;φ、ψ、θ)だけでなく、相対データ(Δx、Δy、Δz;Δφ、Δψ、Δθ)とすることができる点を理解されたい。更に、上述の構成は、(固定)基準系における3D制御デバイスの個別の位置/動きに基づき対象物を制御するため、データ(x、y、z;φ、ψ、θ及び/又はΔx、Δy、Δz;Δφ、Δψ、Δθ)を提供するのに、従来技術において知られる複数の構成の1つにすぎない点を理解されたい。
3D制御デバイスの動き及び/又は位置を検出及び決定する可能性は、並進加速検出と、送信機と、受信機と、位置検出装置(検出器を用いた3D制御デバイス位置の検出)と、RF信号、超音波信号、距離測定、光源及び対応する影進路等に基づく増幅器とに基づかれることができる。その場合、個別のデバイスは、3D制御デバイス及びコンピュータシステムに動作可能に結合される。
図1を再度参照すると、3D制御デバイス1は、操作者4によって決定される面内又は線に沿ってのみ対象物2が動かされることができるよう、少なくとも1つの方向に関して対象物2の動きが抑制又は防止される凍結状態に対象物2を切り替えることができ、及び、基準系における3D制御デバイス1の相対位置/動きに応じて自由に制御可能となるよう、その対象物2が解放される、解放、再開又は非凍結状態に対象物2を切り替えることができる。この機能は、図2に更に詳細に説明される。
図2は、ディスプレイ3(図示省略)に表示される3次元画像を示す。参照符号2は、制御又はナビゲートされる例示的な対象物を示し、参照符号7は、操作者4がナビゲートしたい第1のターゲット位置を示し、参照符号8は、個別の環境に基づき、特定の理由のため、操作者4がナビゲートしたい面を示す。操作者4は、開始位置6から第1のターゲット位置7まで対応する腕の相対移動により、対象物2を制御することができる。その場合、第1のターゲット位置7に来るには、開始位置6と第1のターゲット位置7とを結ぶ破線により示されるように、複数の異なる方法が可能である。対象物2が、第1のターゲット位置7に到達するとき、操作者4は、方向Yにおける対象物2の如何なる動きも抑制又は防止したいと考える。
このため、操作者4は、3D制御デバイス1に配置されるボタン又は他の任意のスイッチ手段を作動させる。ボタンは、データ生成器に動作可能に結合され、データ生成器がY方向を凍結することをもたらす。これは、方向Yでの動きを凍結した後、操作者4が方向Yで腕を動かすとき、データ生成器は、変更のない、即ち凍結されたy座標を出力することを意味する。そのy座標は、本例では、第1のターゲット位置7のy座標である(第1のターゲット位置7は、面8内に位置する)。凍結されたy座標で対象物2を制御する間、データ生成器は、凍結されたy座標を持ち、残りの座標及び方向に関しては変化可能な座標を持つ(「自由度5」の)データを出力する。
面8において一定時間ナビゲートした後、第1のターゲット位置7と第2のターゲット位置9との間の破線により示されるように、操作者4は、面8の外側の第3のターゲット位置10へナビゲートしたいと望む。結果として、操作者4は、第3のターゲット位置10へと自由に制御可能となるよう、その対象物2が解放される、解放、再開又は非凍結状態に対象物2を切り替えなければならない。このため、操作者4は、y座標の解放又は再開をもたらすため、y座標を凍結するのに作動されたのと同じボタン(又は再開を機能させるための別のボタン)を作動させる。従って、データ生成器は、変化可能なy座標を持つ、操作者4の制御移動に対応する(「自由度6の」)データを出力する。3次元軸X,Y、Zに平行な面及び線は、
水平面(x/z平面に平行): Y座標を凍結
垂直面(y/z平面に平行): X座標を凍結
垂直面(x−y面に平行): Z座標を凍結
として規定されることができる点を理解されたい。
第1の実施形態において、特殊な方向は必要でなく、又は対象物2の方向を変化させる必要はない。しかしながら、3次元軸X、Y、Zに平行な真っ直ぐな直線の周りでの回転、即ち対象物2の方向の変更又は適合は、
軸Xに平行な直線の周りでの回転: ψ、θ座標を凍結
軸Yに平行な直線の周りでの回転: φ、θ座標を凍結
軸Zに平行な直線の周りでの回転: φ、ψ座標を凍結
として規定されることができる。
第1の実施形態において、操作者4は、Y軸に平行な動きを抑制したいと望むのみである。これは、結果として、X/Z面に平行な面をもたらす。
しかしながら、曲がった又は落ち込んだ面及び線でさえ、又は他の任意の種類の線若しくは面だけでなく、さまざまな方向でさえ本発明で規定可能である。このため、操作者は、個別の面及び線、例えば、数学関数をプログラムすることができ、それらをコンピュータシステムで実行可能なコンピュータプログラムに入力し、並びに、操作者により処理される3D制御デバイスの対応する出力を介して、これらの所定の面、線、及び方向にアクセスすることができる。例えば、操作者による作動の際に、メニューがディスプレイに表示されることができる。メニューから、特定の所定の面、線、及び方向が選択されることができる。
操作者4の腕が完全に伸ばされて第3のターゲット位置10に到達するとき、操作者4は、第4のターゲット位置11にナビゲートしなければならないとする。第4のターゲット位置11にナビゲートするために、操作者4は、対象物2が現在の位置及び/又は方向、即ち第1の実施形態における第3のターゲット位置10に凍結される完全な凍結状態に対象物2を切り替えるよう3D制御デバイス1を操作する。第1の実施形態では、データ生成器が、位置及び方向に関するすべての座標を凍結するという態様で、「完全な」凍結が実行される。
凍結に続き、操作者4は、自分自身を再調整する。これは、第1の実施形態では、腕を体に近づける向きに動かすことを意味する。再調整の後、操作者4は、その凍結位置、即ち第3のターゲット位置10から始めて第4のターゲット位置11まで制御可能な態様で、対象物2が解放される解放状態に対象物2を切り替えるよう3D制御デバイス1を操作する。
図3は、本発明の第2の実施形態の重要なステップが図示される簡略化されたフローチャートである。第2の実施形態における方法ステップは、第1の実施形態において実質的に上述された構成で実行される。従って、第1の実施形態と同じ参照符号が使用される。
ステップS100では、操作者4は、基準系における3D制御デバイス1の相対位置に応じて、ディスプレイ3に表示される対象物2を制御する。ステップS105では、操作者4が、現在の位置及び/又は方向に関して完全な凍結状態に対象物2を切り替えたいと望む。ステップS110では、操作者4が、対象物2を完全な凍結状態にするため、3D制御デバイス1でボタンを作動させる。ステップS115では、操作者4が、自分の腕を再調整する、及び/又は自身の位置を再変更する、及び/又は他の何らかの行動を取る。ステップS120では、操作者4が、凍結された位置及び/又は方向から開始する制御を継続したいと望む。従って、操作者4は、ステップS125において、凍結された位置及び/又は方向から開始して制御可能となるよう、対象物2を解放するため、3D制御デバイス1でボタンを作動させる。その後、ステップS130において、操作者4は、基準系における3D制御デバイス1の動き又は相対位置それぞれに応じて、対象物2を制御することができる。
図4は、本発明の第3の実施形態の重要なステップが説明される簡略化されたフローチャートである。第3の実施形態における方法ステップは、第1の実施形態に関して説明された構成で実行される。従って、第1の実施形態と同じ参照符号が使用される。
ステップS200では、操作者4が、現在の状況に基づき、複数の異なる面、線、及び方向を規定及び入力する。その面において、又は線に沿って、ディスプレイ3に表示可能な対象物2が制御されることになる。その後、操作者4は、ステップS205において、基準系における3D制御デバイス1の相対位置に基づき、対象物2を制限なく制御する。ステップS210において、操作者4は、所定の面にアクセスしたいと望む。ステップS215では、操作者4は、3D制御デバイス1でボタンを作動させる。するとすぐ、所定の面、線及び方向を複数示すメニューがディスプレイ3に現れる。ステップS220では、操作者4が、3D制御デバイス1を用いて、所定の面を選択し、及び面にアクセスする。ステップS225において、操作者4は、その所定の、アクセスされる面で対象物2を制御する。ステップS230では、操作者4は、何ら制限無く自由に制御可能であるよう、対象物2を解放したいと望む。その後、操作者4は、ステップS235で、自由に制御可能であるよう対象物2を解放するため、3D制御デバイス1でボタンを作動させる。その後、ステップS240では、操作者4が、基準系における3D制御デバイス1の動き又は相対位置それぞれに基づき、対象物2を制御することができる。
本発明の核心を説明するために、好ましい実施形態だけが選択されたが、添付される特許請求の範囲に規定される本発明の範囲から逸脱すること無く、この開示に基づき様々な変更及び修正がなされることができる点が当業者には明らかであろう。
例えば、対象物がモニタに表示されるのではなく、操作者により直接見えるようになっていることも可能である。
更に、特定の環境では、対象物を正確に揃える又は方向付ける必要がある。しかしながら、斯かる位置揃えはしばしば非常に困難である。なぜなら、操作者は、自分の腕が絶対に動かないか、又は固定されているよう言い聞かせなければならず、実際それはかなり不可能だからである。操作者の腕は、震える可能性があるが、にも関わらず、操作者は、所望の方向又は配向に対象物を正確に位置揃えすることができる。なぜなら、対象物が向けられる特定の位置に関して、その対象物が凍結されることができるからである。
上述の実施形態において説明される構成は、加速検出手段を用いて位置/動きに関するデータを提供する。しかしながら、3Dマウスの位置、並進運動及び/又は回転運動の決定及び検出に関する複数の異なった可能性が存在することを当業者であれば理解されたい。
既に述べたことだが、本書において本発明の実施形態が説明目的で説明されてきたが、当業者であれば多くの修正及び変更が明らかであろう。従って、添付される特許請求の範囲に規定される本発明の範囲から逸脱することなく、様々な変更及び修正が本書でなされることができる。コンピュータプログラムは、コンピュータ可読媒体に格納されることができるか、インターネットといったネットワークを介してダウンロード可能であるか、又は他の任意の態様で利用可能又は販売可能な任意のソフトウェア製品を意味するものと理解されたい。
本発明の第1の実施形態による3D入力/ナビゲーションデバイスと共に、操作者、コンピュータシステム及び受信機を概略的に示す透視図である。 本発明の第1の実施形態によるディスプレイに表示される3次元空間を概略的に示す透視図である。 本発明の第2の実施形態による制御手順の簡略化されたフローチャートを示す図である。 本発明の第3の実施形態による制御手順の簡略化されたフローチャートを示す図である。

Claims (16)

  1. 操作者による3次元空間での対象物の制御のための3D入力/ナビゲーションデバイスであって、前記デバイスが、コンピュータシステムに動作可能に結合されることができ、データ生成器が、基準系における前記デバイスの相対位置に基づきデータを生成するよう動作可能に提供され、かつ前記コンピュータシステムにデータを出力するよう動作可能であり、前記デバイスが、前記操作者によって決定される面内又は線に沿ってのみ前記対象物が動かされることができるよう、少なくとも1つの方向に関して前記対象物の動きが抑制される凍結状態に前記対象物を切り替えることができ、及び、前記基準系における前記デバイスの相対位置に応じて自由に制御可能となるよう、前記対象物が解放される解放状態に前記対象物を切り替えることができる、3D入力/ナビゲーションデバイス。
  2. 前記デバイスが、現在の位置及び/又は方向に関して前記対象物が凍結される完全な凍結状態に前記対象物を切り替えることができ、並びに、前記凍結状態から始めて制御可能な態様で前記対象物が解放される解放状態に前記対象物を切り替えることができる、請求項1に記載の3D入力/ナビゲーションデバイス。
  3. 前記デバイスが、ディスプレイに表示可能なメニューを呼び出すよう構成され、前記メニューから所定の面、線及び方向がアクセスされることができる、請求項1又は2に記載の3D入力/ナビゲーションデバイス。
  4. 前記切り替え動作が、前記デバイスに配置される少なくとも1つの作動手段を介して作動される、請求項1乃至3のいずれか一項に記載の3D入力/ナビゲーションデバイス。
  5. 前記対象物の方向を制御する少なくとも1つの手段が、前記デバイスに配置される、請求項1乃至4のいずれか一項に記載の3D入力/ナビゲーションデバイス。
  6. 前記凍結及び再開が、音声制御を介して作動される、請求項1乃至5のいずれか一項に記載の3D入力/ナビゲーションデバイス。
  7. 前記デバイスが、前記コンピュータシステムに無線で動作可能に結合される、請求項1乃至6のいずれか一項に記載の3D入力/ナビゲーションデバイス。
  8. 前記デバイスが、前記コンピュータシステムに少なくとも1つのワイヤを介して動作可能に結合される、請求項1乃至7のいずれか一項に記載の3D入力/ナビゲーションデバイス。
  9. 前記デバイス及び前記コンピュータシステムが、ネットワークを介して前記対象物に動作可能に結合される、請求項1乃至8のいずれか一項に記載の3D入力/ナビゲーションデバイス。
  10. 前記デバイスが、前記対象物を制御するため前記操作者により空間で自由に移動可能である、請求項1乃至9のいずれか一項に記載の3D入力/ナビゲーションデバイス。
  11. 前記デバイスが、水平方向の面に平行な面で前記対象物を制御する間、実質的に水平な面に配置されることができ、前記面に実質的に垂直な方向に関する制御のためにだけ、上下に動かされる、請求項1乃至10のいずれか一項に記載の3D入力/ナビゲーションデバイス。
  12. 前記データ生成器が、絶対位置及び/若しくは方向に関するデータ、並びに/又は相対位置及び/若しくは方向に関するデータを提供するよう構成される、請求項1乃至11のいずれか一項に記載の3D入力/ナビゲーションデバイス。
  13. 前記データ生成器が、前記デバイスの内側に配置され、前記コンピュータシステムに動作可能に結合される、請求項1乃至12のいずれか一項に記載の3D入力/ナビゲーションデバイス。
  14. 操作者による3次元空間での対象物の制御に関する方法において、3D入力/ナビゲーションデバイスが、コンピュータシステムに動作可能に結合されることができ、データ生成器が、基準系における前記デバイスの相対位置に基づきデータを生成するよう動作可能に提供され、かつ前記コンピュータシステムにデータを出力するよう動作可能であり、
    前記基準系における前記デバイスの動きに基づき前記対象物を制御するステップと、
    前記操作者によって決定される面内又は線に沿ってのみ前記対象物が動かされることができるよう、少なくとも1つの方向に関して前記対象物の動きが抑制される凍結状態に前記対象物を切り替えるステップと、
    前記基準系における前記デバイスの相対位置に応じて自由に制御可能となるよう、前記対象物が解放される解放状態に前記対象物を切り替えるステップとを有する、方法。
  15. 操作者による3次元空間での対象物の制御に関する方法を実行するよう構成されるプログラムであって、3D入力/ナビゲーションデバイスが、コンピュータシステムに動作可能に結合されることができ、データ生成器が、基準系における前記デバイスの相対位置に基づきデータを生成するよう動作可能に提供され、かつ前記コンピュータシステムにデータを出力するよう動作可能であり、前記方法が、
    前記基準系における前記デバイスの動きに基づき前記対象物を制御するステップと、
    前記操作者によって決定される面内又は線に沿ってのみ前記対象物が動かされることができるよう、少なくとも1つの方向に関して前記対象物の動きが抑制される凍結状態に前記対象物を切り替えるステップと、
    前記基準系における前記デバイスの相対位置に応じて自由に制御可能となるよう、前記対象物が解放される解放状態に前記対象物を切り替えるステップとを有する、コンピュータプログラム。
  16. 前記プログラムが、コンピュータシステムで実行可能なコンピュータプログラムをアップグレード又は更新するよう構成されるソフトウェアパッケージの形態である、請求項15に記載のコンピュータプログラム。
JP2009508576A 2006-05-02 2007-04-25 凍結及び再開機能を備える3d入力/ナビゲーションデバイス Pending JP2009535727A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP06113367 2006-05-02
PCT/IB2007/051523 WO2007125484A1 (en) 2006-05-02 2007-04-25 3d input/navigation device with freeze and resume function

Publications (1)

Publication Number Publication Date
JP2009535727A true JP2009535727A (ja) 2009-10-01

Family

ID=38370988

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009508576A Pending JP2009535727A (ja) 2006-05-02 2007-04-25 凍結及び再開機能を備える3d入力/ナビゲーションデバイス

Country Status (5)

Country Link
US (1) US20090265668A1 (ja)
EP (1) EP2016479A1 (ja)
JP (1) JP2009535727A (ja)
CN (1) CN101432680A (ja)
WO (1) WO2007125484A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7459624B2 (en) 2006-03-29 2008-12-02 Harmonix Music Systems, Inc. Game controller simulating a musical instrument
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
JP2010531159A (ja) 2007-06-14 2010-09-24 ハーモニックス・ミュージック・システムズ・インコーポレイテッド ロックバンド疑似体験システム及び方法。
DE102008019144B4 (de) * 2008-04-16 2016-12-01 Spacecontrol Gmbh Vorrichtung zur Eingabe von Steuersignalen zum Bewegen eines Gegenstands
WO2010006054A1 (en) 2008-07-08 2010-01-14 Harmonix Music Systems, Inc. Systems and methods for simulating a rock and band experience
CN102187309A (zh) * 2008-08-22 2011-09-14 谷歌公司 移动设备上的三维环境中的导航
KR101666995B1 (ko) * 2009-03-23 2016-10-17 삼성전자주식회사 멀티 텔레포인터, 가상 객체 표시 장치, 및 가상 객체 제어 방법
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
EP2494432B1 (en) 2009-10-27 2019-05-29 Harmonix Music Systems, Inc. Gesture-based user interface
US8568234B2 (en) 2010-03-16 2013-10-29 Harmonix Music Systems, Inc. Simulating musical instruments
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
US20110306397A1 (en) 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Audio and animation blending
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
US10220303B1 (en) 2013-03-15 2019-03-05 Harmonix Music Systems, Inc. Gesture-based music game
JP6113773B2 (ja) * 2015-03-25 2017-04-12 株式会社日立製作所 超音波診断システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4839838A (en) * 1987-03-30 1989-06-13 Labiche Mitchell Spatial input apparatus
JPH06501119A (ja) * 1990-09-27 1994-01-27 トリトン・テクノロジーズ・インコーポレイテッド コンピュータ装置入力装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04218824A (ja) * 1990-12-19 1992-08-10 Yaskawa Electric Corp 多次元情報入力装置
US5144594A (en) * 1991-05-29 1992-09-01 Cyber Scientific Acoustic mouse system
WO1995027936A1 (fr) * 1994-04-11 1995-10-19 Japan Nesamac Corporation Appareil d'introduction de donnees par prehension d'un crayon, et appareil d'introduction de donnees du type crayon
US5617515A (en) * 1994-07-11 1997-04-01 Dynetics, Inc. Method and apparatus for controlling and programming a robot or other moveable object
JP5053078B2 (ja) * 2004-04-30 2012-10-17 ヒルクレスト・ラボラトリーズ・インコーポレイテッド ハンドヘルドポインティングデバイス及びその作動方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4839838A (en) * 1987-03-30 1989-06-13 Labiche Mitchell Spatial input apparatus
JPH06501119A (ja) * 1990-09-27 1994-01-27 トリトン・テクノロジーズ・インコーポレイテッド コンピュータ装置入力装置

Also Published As

Publication number Publication date
US20090265668A1 (en) 2009-10-22
EP2016479A1 (en) 2009-01-21
CN101432680A (zh) 2009-05-13
WO2007125484A1 (en) 2007-11-08

Similar Documents

Publication Publication Date Title
JP2009535727A (ja) 凍結及び再開機能を備える3d入力/ナビゲーションデバイス
JP5503052B2 (ja) 移動ロボットを遠隔操作するための方法およびシステム
US8531399B2 (en) Control apparatus, input apparatus, control system, control method, and handheld apparatus
CN110799144B (zh) 用于远程控制系统中菜单项的选择的触觉反馈的系统和方法
KR101380260B1 (ko) 자율 이동 장치
US20150331499A1 (en) Information processing apparatus, input apparatus, information processing system, information processing method, and program
WO2016097841A2 (en) Methods and apparatus for high intuitive human-computer interface and human centric wearable "hyper" user interface that could be cross-platform / cross-device and possibly with local feel-able/tangible feedback
US20100182235A1 (en) Input device and input method, information processing device and information processing method, information processing system and program
JP2010282408A (ja) 制御装置、入力装置、制御システム、ハンドヘルド装置及び制御方法
WO2006047018A2 (en) Input device for controlling movement in a three dimensional virtual environment
WO2012094522A1 (en) System and method for selecting a device for remote control based on determined navigation state of a remote control device
JP5561092B2 (ja) 入力装置、入力制御システム、情報処理方法及びプログラム
JP5821895B2 (ja) 地図表示制御装置
US9063569B2 (en) Vehicular device
EP2465023B1 (en) System and method for moving a cursor on a screen
US20200198120A1 (en) Robot system and method of controlling robot system
US8823648B2 (en) Virtual interface and control device
US20060281990A1 (en) User interfaces and navigation methods for vascular navigation
US8872769B2 (en) Haptic input device
US20210401519A1 (en) Association processes and related systems for manipulators
JP2001337783A (ja) レーザビームポインタ並びにその操作方法
Han et al. Remote interaction for 3D manipulation
JP2007304996A (ja) 入力システム
KR101983696B1 (ko) 게임 인터페이스 장치
CN115016635A (zh) 一种基于动作识别的目标控制方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120920

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130402