JP2003085590A - ３次元情報操作方法およびその装置，３次元情報操作プログラムならびにそのプログラムの記録媒体 - Google Patents

３次元情報操作方法およびその装置，３次元情報操作プログラムならびにそのプログラムの記録媒体

Info

Publication number
JP2003085590A
JP2003085590A JP2001277688A JP2001277688A JP2003085590A JP 2003085590 A JP2003085590 A JP 2003085590A JP 2001277688 A JP2001277688 A JP 2001277688A JP 2001277688 A JP2001277688 A JP 2001277688A JP 2003085590 A JP2003085590 A JP 2003085590A
Authority
JP
Japan
Prior art keywords
screen
dimensional
input device
dimensional information
tool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001277688A
Other languages
English (en)
Inventor
Yoshinari Shirai
良成 白井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2001277688A priority Critical patent/JP2003085590A/ja
Publication of JP2003085590A publication Critical patent/JP2003085590A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 ２次元ディスプレイ上での３次元表現に対す
る簡易でかつ直感的な入力・操作手段を提供する。 【解決手段】 ディスプレイ３の画面に２次元表示され
た仮想空間内の３次元オブジェクト51,52 を選択，操作
する際に，ユーザが入力器具として使用する棒状位置セ
ンサ（ペン２）の画面に対する３次元位置と傾きを検出
し，ペン２の先端を延長した方向の画面内に仮想的な道
具（Ｃ−Ｂ）を表示し，ペン２の動きに合わせて仮想的
な道具を動かし，この仮想的な道具によって３次元オブ
ジェクト51,52 選択または操作する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は，２次元ディスプレ
イ上に投影された３次元表現の奥行き認識および入力，
操作に関する技術に係わり，特に，仮想空間内の３次元
オブジェクトを選択，操作するための３次元情報操作方
法およびその装置，３次元情報操作プログラムならびに
そのプログラムの記録媒体に関するものである。
【０００２】本発明は，実世界の行為を模倣することに
よる，２次元ディスプレイ上の情報の３次元表現の認識
の補助と，３次元オブジェクトの操作，実数値による３
次元オブジェクトの作成を可能とする。
【０００３】以下，本明細書の理解を容易にするため
に，本明細書で用いている用語を簡単に説明する。・タ
ップ：画面上の一点を触ることをいう。・ＨＭＤ（Head
Mounted Display）：眼鏡型のディスプレイである。・
直接操作：ポインタを介さずに画面上のオブジェクトを
直接ペンや指で触り，操作する方式をいう。・間接操
作：ポインタを用い，間接的に画面上のオブジェクトを
操作する方式をいう。・仮想空間：ディスプレイ内部の
計算機が定義する空間である。・実空間：ディスプレイ
外部の我々が実際に存在する空間である。
【０００４】
【従来の技術】計算機の性能の向上と３次元ビジュアラ
イゼーション技術の発展に伴い，今後一般の人々がコン
ピュータを用いて３次元コンテンツに触れる機会が増え
ていくと考えられる。例えば，インフォメーションビジ
ュアライゼーションの研究領域では，古くから，ディレ
クトリ構造やプログラムソースコードの３次元視覚化に
より，利用者にわかりやすく情報を提示する研究が行わ
れてきた。また，自動車，建築などの世界では，ＣＡＤ
／ＣＡＭを用いて，自動車や家の３次元モデルを構築
し，デザインの検証や，ユーザに対しての説明に用いら
れたりしている。
【０００５】これらの３次元グラフィックスは，２次元
グラフィックスと比較して，対話的に視点を移動できる
というメリットがある。また，３次元仮想空間を用いた
コンテンツも増大している。ゲームの世界では，ゲーム
機の性能の向上により，３次元グラフィックスを利用し
たものが多く見られるようになり，また，バーチャルモ
ールやデジタルシティなどでも，３次元空間が利用され
ている。
【０００６】このように，一般の人々が今後さまざまな
３次元コンテンツに接する機会が増えると考えられ，３
次元コンテンツを把握し，操作，加工するためのインタ
フェースが研究されている。
【０００７】現在，ポインティングデバイスとして一般
的に用いられているマウスは，平面的な動きを目的とし
た入力インタフェースであり，３次元コンテンツを操
作，加工するのには必ずしも適しているとは言えない。
そこで，バーチャルリアリティの世界では，３次元入力
装置の研究が進められている。
【０００８】データグローブは，特殊なセンサーを手に
装着し，手の動き，指の曲がり等を計測することにより
３次元入力を可能とする［参考文献１］。
【０００９】また，空間センサを用いた方式もある。ポ
ヒマスセンサは磁気を用いて，センサの空間内の位置を
把握する［参考文献２］。また，ＭＡＧＥＬＬＡＮは従
来のマウスと併用して利用することで，非装着に３次元
操作を可能とした［参考文献３］。その他にもＥＧＧ
［参考文献４］，ＳＰＩＤＡＲ［参考文献５］，Ｒｏｃ
ｋｉｎ’Ｍｏｕｓｅ［参考文献６］，ＰａｄＭｏｕｓｅ
［参考文献７］等，さまざまな３次元入力インタフェー
スが考案されている。
【００１０】〔参考文献〕 ［参考文献１］http://www.tradepia.or.jp/nevc/advan
ced/vr/cyberglv.htm ［参考文献２］http://www.tradepia.or.jp/nevc/advan
ced/vr/vr2.htm ［参考文献３］http://www.tradepia.or.jp/nevc/advan
ced/magellan/ ［参考文献４］Zhai,S.:Human Performance in six deg
ree-of-freedom input control,Ph.D.Thesis. Departme
nt of Industrial Engineering,University of Tronto,
1995.(http://vered.rose.utoronto.ca/people/shumin
＿dir/papers/PhD＿Thesis/top＿page.html) ［参考文献５］佐藤誠：ハプティックインタフェースＳ
ＰＩＤＡＲ，http://sklab-www.pi.titech.ac.jp/msato
/spidar.pdf ［参考文献６］Balakrishnan,R.,Baudel,T.,Kurtenbac
h,G.,& Fitzmaurice,G.:The Rockin'Mouse:Integral 3D
manipulation on a plane,Proceedings of the ACM Co
nference on Human Factors in Computing Systems(CH
I'97),pp.311-318,1997. ［参考文献７］Balakrishnan,R.& Patel,P.:The PadMou
se:Facilitating selection and spatial positioning
for the non-dominant hand,Proceedings of theACM Co
nference on Human Factors in Computing Systems(CH
I'98),pp.9-16,1998. 今後，一般の人々を対象とした簡単で直感的な３次元コ
ンテンツの操作，入力が可能なデバイスがますます必要
になってくると考えられる。
【００１１】一方，パーソナルコンピュータの市場で
は，現在ペン型インタフェースが注目されている。液晶
タブレットに直接ペン型入力装置を用いて入力するスタ
イルは，画面への直接入力が可能であり，利用者にとっ
てわかりやすく，一般に浸透していくと考えられてい
る。そこで，ペンを利用した入力手法が多数考案されて
いる。例えば，下記の参考文献８では，ペンの傾きを利
用した入力手法が提案されている。 ［参考文献８］黒木剛，川合慧：ペンの傾き情報を利用
した入力法，インタラクティブシステムとソフトウェア
VII,近代科学社，pp.1-6,1999. 今後，ペン型インタフェースを利用した２次元ディスプ
レイに対する３次元入力方式が必要になると考えられ
る。
【００１２】
【発明が解決しようとする課題】しかし，従来の技術に
は，以下のような問題点が指摘できる。
【００１３】上記の入力装置はポインタを利用した間接
入力装置であり，ユーザに対してポインティング対象を
間接的にしか操作できないという印象を与える。人は，
マウスを動かすとどのようにポインタが動くかというこ
とを，使用していくうちに経験として認識する。
【００１４】しかし，３次元入力装置の場合，経験とし
て認識することが２次元入力装置に比べ困難である。以
下の参考文献９では，３次元入力装置による３次元仮想
空間内のポインティング実験を行い，３次元入力におい
てもfitts の法則が一部適応可能であることを指摘して
いるが，実験回数を重ねることによる習熟効果に統計的
な有意差は認められず，３次元空間でのポイント操作が
慣れにくいことを指摘している。 ［参考文献９］森健一，森本一成，黒川隆夫：仮想空間
における３Ｄマウスによるポインティング特性，ヒュー
マンインタフェースシンポジウム論文集，Vol.14,pp137
-142,1998. この原因の一つとして，現在の３次元コンテンツの表示
装置の多くが，２次元ディスプレイであるという点があ
る。２次元ディスプレイでは，３次元のコンテンツを２
次元にマッピングしているため，奥行き方向の距離感が
つかみにくくなってしまう。このため，３次元入力装置
の入力を反映したポインタの動きが，実際にはどの程度
動いたのか視覚的に読み取りづらい。例えば，ある人が
３次元入力装置にある力を加えポインタを動かしたとき
に，ポインタが横にちょっと動いただけなのか，奥行き
方向に大きく動きながら少しだけ横にスライドしたのか
を判断するのは難しい。
【００１５】また，従来の３次元入力装置は，画面と独
立して存在するため，３次元入力装置のＸＹＺ軸と画面
内のＸＹＺ軸をユーザが各自対応付ける必要があった。
２次元マウスを利用した場合，ユーザがマウスを操作す
ることにより，これらの対応付けは無意識のうちに頭の
中で行われるが，次元数が増えることにより，この対応
付けは難しくなる。
【００１６】ギブソンによれば，人間は空間を認識する
際に，変化の中から不変な部分を見つけるということを
行っている［参考文献１０］。 ［参考文献１０］佐々木正人：アフォーダンス 新しい
認知の理論，岩波書店，1994． そのため，眼や頭を小刻みに動かしたり，空間内のオブ
ジェクトを動かしたりすることで，空間内の不変項を見
出す。しかし，２次元ディスプレイ内の映像は，眼や頭
の動きによって，見え方は変わらないだけでなく，映像
を操作する道具を上手く操作できないため，空間内の不
変項の発見が難しくなっているのではないかと考えられ
る。
【００１７】このような，ポインタに関する問題に対
し，２次元コンテンツの世界では，ダイレクトポインテ
ィングが用いられている。画面に対して，ペンや指を用
いることにより，ポインタの動きを意識することなく入
力できる。しかし，３次元コンテンツの世界では，画面
の奥行き方向にあるものを，ペンや指で直接ポインティ
ングすることはできない。
【００１８】３次元のコンテンツを直接ポインティング
するためには，透過型のＨＭＤを利用して実際の手の位
置に３次元オブジェクトを重ねて表示する方法を挙げる
ことができる。この方式では，オブジェクトに対する直
接操作が可能となり，３次元空間の認識も容易となる。
また，ＨＭＤによっては，右眼，左眼に異なる映像を見
せることが可能なため，両眼視差を用いた立体視も可能
となり，奥行きの認識が２次元ディスプレイに表示した
場合に比べスムーズになる。しかし，ＨＭＤ等を用いた
方式は，現段階では位置合わせの問題やＨＭＤを用いる
ことによる疲れ（酔い）の問題があるなど，多くの技術
的課題が存在する。
【００１９】そのため，２次元ディスプレイ上での３次
元表現に対する簡易な操作手法が望まれている。
【００２０】
【課題を解決するための手段】そこで，上記の問題点を
解決する方法として，道具メタファを用いたダイレクト
ポインティング手法を発明した。実生活の中でも，触れ
られない，触れたくないという状況は多々存在する。例
えば，高いところにある柿に手が届かない，池の中に落
ちたボールに手が届かない，沸騰した油の中にある揚げ
物に触れることができないなどである。このような場
合，人間は，さまざまな道具を使って問題を解決する。
例えば，前述の例では，棒を使って柿を落としたり，捕
虫網を使ってボールをすくったり，菜ばしを使って揚げ
物を掴むことで解決される。また，これらの道具は３次
元空間の認識にも用いられる。例えば，沼地やプールで
は，光の屈折のために水上からは深さが掴みにくい。そ
のため，その場にある棒などを用いて水中をつつくこと
により，水に触れずに３次元空間の特徴を掴むことがで
きる。
【００２１】そこで，２次元ディスプレイの表面を，触
れられる場所と触れられない（触れたくない）場所の境
界と捉え，触れられない場所にあるものを道具を用いて
操作する手法を提案する。例えば，２次元ディスプレイ
の表面を水面，奥行きを水中と考えるとわかりやすい。
現実世界では，光の屈折作用によって，水中の奥行き感
は，実際には水上から見ただけでは掴みにくい場合が多
い。そこで，現実世界では，棒を突っ込んだりして，深
さや目的の物までの距離を掴むという動作がよく行われ
る。同じように，奥行きが掴みにくい２次元ディスプレ
イ内のオブジェクトを，棒や網，糸を用いて操作する。
【００２２】人間は，濡れたくない状況で水中のものを
操作するときに，釣り糸を操って魚を捕まえたり，網で
すくったり，棒でつついたり，挟んだりとさまざまなこ
とをする。これらの行為を模倣することにより，直感的
な操作を可能とする。
【００２３】具体的には，本発明は，コンピュータディ
スプレイ上に２次元表示された３次元オブジェクトを，
コンピュータに接続された例えば棒状（ペン型）位置セ
ンサと，このセンサの位置を測定する手段を用いて，画
面に表示された３次元仮想空間において，ユーザが棒状
位置センサにより操作している位置を表示し，コンピュ
ータ内の３次元オブジェクトを直感的または簡易に操作
することを可能にしている。すなわち，本発明では，３
次元位置と傾きとを特定できる棒状位置センサ等の３次
元位置入力器具の操作位置を，コンピュータ上に操作に
応じて表示する。
【００２４】また，本発明では，棒状位置センサ等の３
次元位置入力器具が，ディスプレイの表面と奥行きを常
に軸として操作されるようにする。このため，操作方法
が常に一定であり，３次元位置入力器具と画面内の軸と
の一致を考慮する必要がない。
【００２５】
【発明の実施の形態】以下に，図面を参照しながら本発
明の実施の形態を説明する。
【００２６】［実施の形態１］本実施の形態では，３次
元位置センサ（磁気センサ，超音波センサ，PositionSe
nsing devise ，カメラなど）を利用する。ここでは，
磁気センサを用いた例を説明する。
【００２７】図１に，実施の形態１に係る装置の構成例
を示している。処理装置１は，ＣＰＵおよびメモリなど
からなる装置である。センサとしては，棒状位置センサ
であるスタイラスレシーバ（以下，ペンと呼ぶ）２を用
い，ディスプレイ３上に，磁界発生源４を固定する。ペ
ン２には，ボタンが付いているものとする。これによ
り，処理装置１の位置・傾き検出手段１０は，ペン先の
３次元位置と３軸の傾きが読み取れる。磁界発生源４お
よびペン２のようなセンサを用いる方法に限らず，３次
元位置および３軸の傾きの計測方法については，既知の
技術であり，各種の計測方法が知られているので，ここ
での各種の計測方法についての詳細な説明は省略する。
【００２８】また，３次元位置センサの他に，ディスプ
レイ３がタッチパネルになっていると，画面をペン２で
タップしたときに，３次元位置センサと画面上の位置と
の位置合わせが行えるため，本実施の形態では，ディス
プレイ３の画面がタッチパネルになっているものとす
る。
【００２９】処理装置１は，位置・傾き検出手段１０，
仮想道具情報記憶手段１１，仮想道具選択処理手段１
２，仮想道具位置計算手段１３，仮想道具表示処理手段
１４，３次元オブジェクト管理手段１５，オブジェクト
選択・操作手段１６を備える。これらの各処理部は，ソ
フトウェアプログラムやアダプタ等によって構成され
る。
【００３０】位置・傾き検出手段１０は，ペン２からの
入力によって，３次元位置と傾きととを検出する。仮想
道具情報記憶手段１１は，仮想空間内の３次元オブジェ
クトを選択または操作するための仮想的な道具に関する
情報を記憶するデータベースである。仮想道具選択処理
手段１２は，位置・傾き検出手段１０からの入力または
他のユーザインタフェースによって仮想道具情報記憶手
段１１に記憶されている仮想道具を選択する。
【００３１】仮想道具位置計算手段１３は，位置・傾き
検出手段１０によって検出したペン２の位置と傾きとを
もとに画面内に表示する仮想道具の位置を計算する。仮
想道具表示処理手段１４は，仮想道具位置計算手段１３
によって計算した位置に，仮想道具選択処理手段１２に
よってあらかじめ選択した仮想道具を表示する。
【００３２】３次元オブジェクト管理手段１５は，仮想
空間内に存在する３次元情報を有するオブジェクトの位
置，形状，色その他の属性情報を管理する手段である。
オブジェクト選択・操作手段１６は，仮想道具と画面に
表示された３次元情報を有するオブジェクトとの位置関
係により，その３次元オブジェクトを選択または操作す
る。
【００３３】仮想道具位置計算手段１３が仮想道具の位
置を計算するにあたって，あらかじめいくつかの入力モ
ードが用意されており，それによって仮想道具の表示位
置が異なる。第１のモードでは，実空間座標系から画面
に表示する仮想空間座標系への変換行列を用いて，ペン
２の先端から延長した方向の画面内の位置を，表示する
仮想道具の位置とする。
【００３４】第２のモードは，実空間座標系と画面に表
示する仮想空間座標系とを画面を界面として連結し，画
面に対してペン２の位置と面対称の位置を，表示する仮
想道具の位置とする。この位置は，画面の表面を鏡と見
た場合にペン２が映ったように見える位置であり，この
モードをミラーモードと呼ぶ。
【００３５】第３のモードは，同様に実空間座標系と画
面に表示する仮想空間座標系とを画面を界面として連結
し，ペン２の先端と，ペン２の先端から延長した方向と
画面とが交差する位置との距離と同じ距離だけ，ペン２
の先端から延長した方向と画面とが交差する位置から画
面の内部に延長した位置を，表示する仮想的な道具の位
置とする。
【００３６】ペン２に振動子を内蔵させ，例えば仮想道
具と仮想空間内のオブジェクトとが衝突したような場合
に，オブジェクト選択・操作手段１６により，ペン２の
振動子を振動させて触覚フィードバックを行うことによ
り，ペン２が実際の道具であるかのような感覚を持たせ
るような実施も可能である。
【００３７】図２は，実施の形態１の動作説明図であ
る。以下，図２に従って本実施の形態の動作の概略を説
明する。
【００３８】まず，図２（Ａ）に示すように，ペン２に
対応付けする道具を選択する。選択できるものとして
は，棒，網（捕虫網），スプーン，フォークなどを挙げ
ることができる。ここでは，棒を選択したと仮定する。
【００３９】次に道具（棒）の長さを設定する。棒の長
さを設定する方式として，例えば図２（Ｂ）に示すよう
に，空間設定方式と２点タップ方式がある。空間設定方
式では，画面上の一点をタップし，そこからペン２を離
し，空間内のある場所でペン２のボタンをクリックす
る。これにより，棒の長さは，画面上のタップした一点
と，空間内でボタンをクリックした時のペン先を結ぶ長
さに決定される。
【００４０】２点タップ方式では，画面内の２点をペン
２でタップすることで，棒の長さを決定する。もし，設
定する棒の長さが画面内に収まる大きさであれば，この
２点タップ方式を用いることができる。
【００４１】棒の長さを設定することにより，図１の処
理装置１における各処理部は，ペン２の延長線上に，設
定した長さの棒が延びているものと認識する。画面にペ
ン２を近づけると，棒の先が実空間と仮想空間を分ける
境界線（ディスプレイの表面）に接触し，さらに近づけ
ると，３次元映像として，仮想空間内に棒が表示され
る。
【００４２】図３で説明する。図３において，Ｃ点はデ
ィスプレイ３の画面表面の点であり，Ａ−Ｃ間が画面外
であり，Ｂ−Ｃ間が画面内である。Ａ−Ｂ間の距離が設
定した棒の長さである。この長さは棒の長さを変えるま
で一定である。ペン２をペン２の傾きを変えないままＣ
点方向（図中Ｌの方向）に接近させていくと，画面内の
棒の先端（Ｂ点）もそれに従ってＬ′の方向に移動す
る。反対にペンをＭの方向に移動させると，棒の先端は
Ｍ′の方向に移動していき，最終的にＣ点に到達し，画
面内から消失する。ユーザはこのペン２を用いて，画面
内の３次元オブジェクト５１，５２を操作する。
【００４３】図３（Ｂ）は，上から見た図である。図３
（Ｂ）に示されるように，ペン２を動かしたＡ−Ｂ間，
Ａ′−Ｂ′間を常に一定に保つことで，ユーザは棒を動
かすうちに３次元空間内の距離感が得られる。
【００４４】本システムの全体の動作について説明す
る。システムが立ち上げられると，磁気センサのキャリ
ブレーションを行う。すなわち，ペン２を用いた磁気セ
ンサから得られる位置情報と画面上の位置との位置合わ
せを，以下に説明する連絡座標系を用いて行う。
【００４５】図４は，連絡座標系の説明図である。図４
のように，本システムには，画面の外側で，磁気センサ
が定義する実空間座標系と，画面内でオペレーティング
・システム（ＯＳ）やアプリケーションプログラムが定
義する仮想空間座標系の２種類の座標系が存在する。そ
こで，実空間と仮想空間を結びつける連絡座標系を新た
に定義する。連絡座標系は，画面表面上で水平方向をｘ
軸，垂直方向をｙ軸，画面表面に対して鉛直方向をｚ軸
と定義する。
【００４６】磁気センサから得られる実空間座標系の位
置情報と画面内の仮想空間位置情報とを画面（表面）上
で比較することにより，画面上の点と磁気センサから得
られる３次元位置情報との対応付けが可能となる。例え
ば，点Ｃは連絡座標系では，（ａ″，ｂ″，０）とな
る。
【００４７】キャリブレーションに関しては，さまざま
な手法が考えられるが，例えばシステムが提示する複数
の場所でユーザにペン２のボタンを押させる。これをも
とに，実空間座標系から連絡座標系への変換行列を生成
する。また，本実施の形態では，タッチパネル式ディス
プレイを用いているため，ユーザが画面上をタップした
ときは，磁気センサとタッチパネルの両方から位置情報
を得ることができ，実空間座標系から連絡座標系への変
換行列を修正することができる。
【００４８】仮想空間座標系から連絡座標系に変換する
ための変換行列は，システム情報（ディスプレイの大き
さなど）を用いて生成できるが，本実施の形態では，説
明の簡略化のため，以後，仮想空間座標系と連絡座標系
とは等しいものとする。
【００４９】次に，システムは，ペンに対応付けする道
具をユーザが選択すると，道具に対応する知識を道具デ
ータベースから取り出す。道具データベースには，オブ
ジェクトの基本的なパラメータ（長さ，太さ等），道具
が３次元仮想オブジェクトと触れたときの動作（例え
ば，３次元仮想オブジェクトが選択状態になる，オブジ
ェクトが弾き飛ばされる，オブジェクトが選択され回転
待ち状態になるなど）や，また，ある３次元仮想オブジ
ェクト選択状態で道具を動かしたときの動作についての
情報などが蓄えられている。
【００５０】これらは，ユーザがエディットするごとに
変化する。道具選択後の入力装置の動作は，道具データ
ベースから引き出された知識に従う。動作時には，この
知識をもとに，道具の動作と道具のパラメータに対応す
る動作が参照される。例えば，道具として棒を選択し，
棒の側面に仮想オブジェクトが衝突した場合，仮想オブ
ジェクトは棒に押される方向に移動する。
【００５１】道具データベースの例を，図５に示す。道
具データベースには，道具の種類ごとに，長さ，太さ，
側面衝突時の動作，正面衝突時の動作，選択時の動作，
…などの情報が格納される。
【００５２】次に，道具の長さの設定に移る。道具の長
さの設定では，まず長さの設定方法を選択する。ユーザ
が空間設定方式を選択した場合には，システムは，まず
画面上の一点がユーザによってタップされるのを待つ。
ユーザが画面上のある一点をタップすると，タッチパネ
ルと磁気センサから得られる位置情報をもとに，タップ
された位置の実空間での３次元位置を取得する。続いて
実空間上で，ペン２のボタンが押されるのを待つ。ペン
２のボタンが押されると，システムは，磁気センサから
得られるペン先の位置を取得する。そして，２点の３次
元位置をもとに，２点間の距離を算出し，その長さを道
具の長さと設定する。一方，２点タップ方式では，ユー
ザが画面上の２点をタップした時の平面上の位置情報を
もとに，２点間の距離を算出し，その長さを道具の長さ
と設定する。
【００５３】道具の選択と道具の長さの設定が終わる
と，その道具の特徴を生かした操作が可能となる。以下
では，道具として棒を選択した場合のシステム動作につ
いて説明する。棒を選択して，長さを設定した後，ユー
ザはペン２を動かすことにより，ペン先から伸びる仮想
的な棒を操作する。ペン先の位置とペン２の傾きは絶え
ず磁気センサによりトラッキングされ，連絡座標系上で
の位置情報と傾き情報に変換される。
【００５４】ペン先の位置を（ａ，ｂ，ｃ），ペン２の
傾きを（α，β，γ）とすると，直線（捧）の式は，次
式のようになる。
【００５５】
【数１】
【００５６】また，棒の長さをｓとすると，棒先の位置
Ｂ（ａ′，ｂ′，ｃ′）は，
【００５７】
【数２】
【００５８】となる。また，直線と画面平面が交わる点
Ｃ（ａ″，ｂ″，０）は，
【００５９】
【数３】
【００６０】より，
【００６１】
【数４】
【００６２】となる。ただし，Ｃが画面平面上に存在す
るためには，ｔ＜ｓ，cos γ＜０とする。
【００６３】捧が，仮想空間内の３次元オブジェクトと
接触した場合には，道具データベースで定義されている
衝突時の動作に従った動作を行う。３次元オブジェクト
に対し棒の先端（正面）が接触した場合には，３次元オ
ブジェクトは選択状態（棒の先にオブジェクトが刺さっ
た状態）となる。一方，３次元オブジェクトが棒の側面
と接触した場合には，３次元オブジェクトは棒が押す方
向に移動し，ある一定以上のスピードで接触した場合に
は，３次元オブジェクトは弾き飛ぶ。
【００６４】図６は，図１に示す処理装置１の処理フロ
ーチャートである。まず，ペン先の位置，ペン２の傾き
を取得する（Ｓ１）。次に，実空間座標系と連結座標系
間の座標変換行列７１および現在設定されている道具の
パラメータ７２をもとに，仮想的な道具の位置を計算す
る（Ｓ２）。
【００６５】次に，仮想的な道具によって画面内（仮想
空間内）に起きるインタラクションを計算する（Ｓ
３）。例えば，仮想的な道具と仮想空間内のオブジェク
トが衝突することで，仮想空間内のオブジェクトが移動
する。最後に，計算結果をもとに，仮想空間と仮想的な
道具をディスプレイに表示する（Ｓ４）。
【００６６】基本的な処理は，以上のステップＳ１〜Ｓ
４の繰り返しとなるが，その他に，キャリブレーション
（Ｓ５）や，道具変更（Ｓ６１），道具パラメータ変更
（Ｓ６２），入力モード変更（Ｓ６３）などの設定変更
の処理（Ｓ６）が加わる。
【００６７】システムを立ち上げたときには，仮想空間
と実空間とが連結されていない状態である。そこで，キ
ャリブレーションを行い，実空間と仮想空間を結び付け
る行列を生成する。多くの３次元位置センサでは，使用
しているうちに誤差が発生し，仮想空間と実空間の位置
関係にずれが生じるため，ずれた場合には，システム立
ち上げ時でなくても，適宜ユーザがキャリブレーション
を行う必要がある。
【００６８】また，ユーザが道具の変更や選択している
道具のパラメータの変更を行いたい場合がある。その場
合には，現在の道具パラメータの変更などの処理を行う
必要がある。これらの値は，仮想道具位置計算（Ｓ
２），画面内動作決定（Ｓ３）の処理の際に反映され
る。
【００６９】［実施の形態２］第２の実施の形態とし
て，棒の長さを調節する例を説明する。ユーザインタフ
ェースとして，長さ調節モードを選択することができる
機能がある。
【００７０】この長さ調節モードでは，ペン２のボタン
を押すことにより，道具の長さを調節することができ
る。ボタンを押すことにより，一定のスピードで道具が
伸縮する。これにより，例えば，仮想空間内の３次元空
間内のオブジェクトまで道具が届かない場合に，３次元
オブジェクトの方向にペン２を向けて，ボタンを押すこ
とで３次元オブジェクトまで道具を伸ばすことができ
る。
【００７１】道具データベースには，長さ調節中に道具
が３次元オブジェクトに衝突した時の動作も記述されて
いる。例えば，静止の場合には，道具と仮想空間内の３
次元オブジェクトが衝突すると，道具が伸びるのをやめ
るため，その状態で道具を動かすことにより，３次元オ
ブジェクトまでの距離も把握し易くなる。道具を画面か
ら遠ざけていくと，棒の画面内に表示されている部分が
減少していき，最終的に画面から出る（画面内に表示さ
れなくなる）。これにより，現在の道具の長さを実環境
内での道具の長さとして認識することが可能となる。
【００７２】もちろん，長さ調節モードにおいて，道具
の長さをユーザが所望する長さに伸ばすだけでなく，縮
めることもできる。
【００７３】［実施の形態３］第３の実施の形態とし
て，メタファを利用する例について説明する。
【００７４】触れられない，触れたくない物に間接的に
触れ，操作する道具として，棒，スプーン，フォーク，
箸，その他料理道具（例：フライ返し，おたま），バッ
ト，ラケット，ゴルフクラブ，紐（例：投げ縄，ロー
プ，釣り糸），はさみ（例：高枝切り鋏）などが挙げら
れる。また，触れられるが望む操作が手では難しく，操
作を助けるものとして，包丁，ナイフ，カッター，はさ
み，その他大工道具（例：ナタ，チョウナ），工具
（例：ドライバー，錐，ペンチ）などを挙げることがで
きる。この他にも，実世界には多くの道具が存在する。
【００７５】これらの道具を仮想的な道具として用いる
ことで，ユーザの仮想空間内の３次元オブジェクトの操
作，加工を容易にする。上記の道具は，棒タイプと紐タ
イプ，箸タイプ（複数の棒）に分けることができる。棒
タイプの動作は，実施の形態１の動作説明で述べたもの
と基本的に同じであり，それぞれの道具の機能を実現す
る。例えば，フォークの場合には，３次元オブジェクト
を刺して，選択することができる。また，棒タイプで
は，仮想空間内で動かすことができないと定義されてい
る３次元オブジェクトに正面からぶつかった時，そのま
まさらに押し続けると，棒の長さが変わる場合と，棒が
しなることで棒の長さを維持する場合とがある。
【００７６】一方，紐タイプは，必ずしもペン先からペ
ン２と平行に道具が伸びていない。例えば，画面内のあ
るオブジェクトを指定し，ペン先を動かすことで，オブ
ジェクトから紐が伸び，オブジェクトを好きな方向に引
っ張ることができる。
【００７７】図７は，紐を用いたオブジェクトの操作例
を示している。図７では，紐の長さが自由に変えられる
状態でオブジェクトＡを選択し，ペン２をｍ１のように
動かしペン２を引っ張る方向を決め，紐の長さを固定す
る。この状態でペン２をｍ２のように動かすと，ペン２
を動かした方向にオブジェクトＡを移動させることがで
きる。
【００７８】また，回転モード状態でオブジェクトを選
択すると，紐がオブジェクトに巻きつき，紐の長さを固
定にして引っ張ることでオブジェクトを回転させること
ができる。紐の巻きつき方は，オブジェクトの選択した
位置とペン２の傾きによって異なる。例えば，ペン先を
上に傾けた状態でオブジェクトの下部を指定すると紐が
下から上方向に巻きつく。
【００７９】また，新たな道具を作成することも可能で
ある。道具の外観をデザインし，道具の特徴を道具デー
タベースに定義することにより，ユーザの使用方法に適
した道具を新たに登録できる。ただし，複数の人が利用
するような環境では，実環境に存在する道具のメタファ
を利用し，道具から操作方法が予測できる機能を提供す
ることが望ましい。
【００８０】［実施の形態４］第４の実施の形態とし
て，ミラーモードについて説明する。
【００８１】実環境に存在する道具のメタファを利用す
ることで，道具の操作方法の予測が可能となるが，仮想
空間の特徴を生かした機能を追加することで，操作方法
の柔軟性を高めることができる。ディスプレイの表面を
鏡として捉えることにより，いくつかの入力方式が実現
できる。
【００８２】前述した実施の形態１の動作方式では，仮
想的な棒の長さより遠くにあるオブジェクトには棒が届
かず，その都度，棒の長さを変える必要があった。そこ
で，ディスプレイの表面を鏡として捉えることにより，
ポインタの位置を動的に変えることができる。
【００８３】図８は，ミラーモードを説明する図であ
る。ミラーモードでは，図８（Ａ）に示すように，ディ
スプレイの表面を鏡として捉えた操作が行われる。図８
（Ｂ）にこの鏡メタファを用いた入力方式を示す。
【００８４】方式Ａでは，通常の鏡のように，ペン２の
ペン先Ａをディスプレイ表面に近づけると，ディスプレ
イ中に鏡像としての仮想的なペン２０を想定した場合の
ペン先の位置を示すポインタＢもディスプレイ表面に近
づき，反対にペン先Ａをディスプレイ表面から離すと，
ポインタＢもディスプレイ表面から離れる。つまり，ポ
インタＢはディスプレイ表面を界面とし，ペン先Ａと面
対称の位置に存在する。連絡座標系でのペン先の位置を
Ａ（ａ，ｂ，ｃ）とすれば，ポインタＢの位置は（ａ，
ｂ，−ｃ）となる。
【００８５】一方，方式Ｂはペン２′の傾きを考慮した
方式で，通常の鏡とは動作が異なる。方式Ｂでは，ペン
２′の延長線上とディスプレイ表面の接触点Ｃ′に関し
て点対称な位置にポインタＢ′を持ってきている。この
方式Ｂでは，棒と同じようにペン２′の傾きとポインタ
Ｂ′の位置を同期させつつ，ポインタＢ′の位置をペン
２の移動のみで操作できる。ポインタＢ′を表示するだ
けでなく，ＣとＢ，Ｃ′とＢ′を結ぶラインを表示する
ことにより，さらに位置関係が容易に把握できるように
なると考えられる。
【００８６】連絡座標系でのペン先の位置をＡ′
（ａ′，ｂ′，ｃ′），Ｃ′の位置をＣ′（ａ″，
ｂ″，０）とすれば，（Ｃ′の位置の求め方は実施の形
態１参照）ポインタＢ′の位置は，（ａ″−（ａ′−
ａ″），ｂ″−（ｂ′−ｂ″），−ｃ′）から，（２
ａ″−ａ′，２ｂ″−ｂ′，−ｃ′）となる。
【００８７】［実施の形態５］第５の実施の形態とし
て，モードの切り替えについて説明する。前述した実施
の形態３および４において，多くのメタファを用いた操
作方法を述べた。これらのメタファの切り替え方法とし
て，画面上のボタンを押すことで切り替える方式が考え
られる。利用頻度が高いメタファに関しては，ペン２に
付属のボタンをクリックすることで切り替える方式，ペ
ン２に付属のホイールを利用して切り替える方式等が考
えられる。
【００８８】［実施の形態６］第６の実施の形態とし
て，画面外の取り扱いを説明する。画面外の部分も可視
にすることにより，棒の長さがわかりやすくなる。そこ
で，ペン先から可視性の高いレーザ光や指向性の高いラ
イトを発射し，光路が見えるようにするために，タバコ
の煙等を室内に充満させる。これによって，乱反射が生
じ光路が見えることで，ペン先と画面内の棒等との位置
関係が明確になり，操作がわかりやすくなる。紐メタフ
ァを利用しているときには，自動的にレーザ光の方向を
変える必要があるが，屈折率を自動的に変化させるレン
ズを４枚利用することで実現が可能である。
【００８９】［実施の形態７］第７の実施の形態とし
て，触覚フィードバック装置を内蔵する例について説明
する。
【００９０】ペン２に，触覚フィードバック装置を内蔵
することで，視覚と触覚を利用した３次元空間の認識が
可能となる。例えば，ペン２にバイブレーション機能を
内蔵し，３次元空間中のオブジェクトに触れたときに，
振動のフィードバックを与えることで，利用者は，オブ
ジェクトに触れたということを実感できる。
【００９１】また，ペン２を動かしたときに，動かし方
により振動の度合いを変えることにより，現在どのよう
な状態にディスプレイ内部がなっているかを伝えること
ができる。例えば，現実世界では，水中に棒を深く入れ
るほど，棒を動かしたときに強い圧力を感じる。また，
棒ではなくボートのオール状の物を利用すれば同じ深さ
でも動かしたときの圧力が上がる。このように，モード
の種類や入れ具合によって，振動に強弱をつけること
で，現在の画面内の深さや状況を触覚的に伝達すること
ができる。音によるフィードバック等も組み合わせるこ
とでさらにわかりやすくすることができる。
【００９２】［実施の形態８］第８の実施の形態とし
て，各種センサを利用する例について説明する。
【００９３】例えば，釣りのときには，釣り竿の振り方
の強弱で，釣り針の落ちる位置が変化する。例えば，デ
ィスプレイ表面やペン２のペン先に感圧センサをつける
ことで，ペン２で画面をタップするときの圧力を検出
し，それによって棒の長さを変化させる。また，ペン２
に加速度センサを内蔵することで，釣り針の落ちる位置
を変化させるというようにすることもできる。これらの
方式は，精密な作業には適していないが，操作の不確実
性が生まれることから，エンターテイメント等への利用
が考えられる。
【００９４】［実施の形態９］第９の実施の形態とし
て，実世界入力の例について説明する。仮想空間内のオ
ブジェクトは，実際の大きさを掴みにくい。そこで，実
世界の数値を利用したオブジェクトの作成手法を，図９
の例に従って述べる。
【００９５】まず，図９（Ａ）に示すように，画面表面
を２次元の画板と考え，ペン２を用いて３次元オブジェ
クトの底面を描画する。次に，図９（Ｂ），（Ｃ）に示
すように，底面を選択した状態でペン２を画面から離し
ていくことで，底面を押し出す。図９（Ｄ）に示すよう
に，希望する高さでペン２のボタンを押すことにより，
面の位置を決定する。
【００９６】ここで，ペン２を画面から離しながらペン
２の傾きを変えることにより，押し出された面の傾きを
変えることも可能である。例えば，面の大きさ，形を維
持したままペン２の傾きを面の法線ベクトルとする。
【００９７】図９の例では，面の傾きは変更になってい
ないため，平行移動スイープである。面Ｎ上の点Ｂ
（ａ′，ｂ′，ｃ′）は，
【００９８】
【数５】
【００９９】で求められる。ここで，ｔx ，ｔy ，ｔz
は，ｘ軸，ｙ軸，ｚ軸の移動量であり，
【０１００】
【数６】
【０１０１】で求められる。
【０１０２】同様にして，面Ｎ上の点は面Ｍ上の点から
計算することができる。また，傾きも変更する場合，面
Ｍを指定時のペン２の傾きを（α，β，γ）とし，面Ｎ
を指定したときのペン２の傾きを（α′，β′，γ′）
とすると，面Ｎは，面Ｍを平行移動し，点Ｂを通り，点
Ｂを中心として，（α−α′，β−β′，γ−γ′）だ
け傾けた面となる。そのためには，点Ｂが原点となるよ
うに，面Ｎを平行移動し，ｘ軸，ｙ軸，ｚ軸それぞれに
対して，回転を行い，点Ｂが元の位置に戻るように平行
移動する。
【０１０３】点（ｘ，ｙ，ｚ）をｘ軸，ｙ軸，ｚ軸に対
して角度θだけ回転させる式は，それぞれ，
【０１０４】
【数７】
【０１０５】
【数８】
【０１０６】で表されるため，傾ける前の面Ｎ上の点を
（ｘ，ｙ，ｚ），傾けた後の面Ｎ上の点を（ｘ′，
ｙ′，ｚ′）とすれば，
【０１０７】
【数９】
【０１０８】で表すことができる。
【０１０９】本方式では，数値はすべて実際の数値で入
力が可能であるという特徴がある。面だけでなく，辺や
頂点を指定した状態でペン２を画面から離していくこと
で，辺，面の大きさや方向を決定することもできる。
【０１１０】図１０に，その様子を示す。まず，図１０
（Ａ）に示すように，画面上で作成しようとするペン２
により３次元オブジェクトの底面を書く。次に，図１０
（Ｂ）に示すように，作成した底面の辺を指定する。図
１０（Ｃ）に示すように，ペン先を画面から離していく
ことによって，その１辺を対向する辺を固定したまま押
し出す。図１０（Ｄ）に示すように，希望する高さでペ
ン２のボタンを押すことにより，辺の位置を決定する。
【０１１１】また，画面から離していくときの軌跡に沿
ってスイープさせるという方法も可能である。図１１
は，底面のスイープと押し出された面の傾きの変更例で
ある。図１１（Ａ），（Ｂ）のように，ペン２で底面を
書き，ペン２のボタンを押すことにより底面の中心を指
定する。次に，図１１（Ｃ）のように，ペン先を画面か
ら離していくことにより，底面を押し出し，必要であれ
ば，図１１（Ｄ）のように，ペン２を傾けることで面を
傾ける。このようにペン２を動かすことにより，画面か
ら離していくときの軌跡に沿ってスイープさせ，図１１
（Ｅ）のように，形状が決まったところでボタンを押
す。これにより底面の軌跡によって得られる３次元オブ
ジェクトの形状を決定する。ここでスイープとは，２次
元図形が３次元空間内で動いた軌跡が占める領域を３次
元の形状とすることをいう。
【０１１２】なお，図９ないし図１１に示す操作におい
て，ペン２のボタンを押した状態でペン２を動かしてい
る間をスイープ区間とし，ボタンを離したときに形状を
決定するようにしてもよい。
【０１１３】本手法では，実施の形態４で説明した２種
類のミラーモードと組み合わせることで理解が容易にな
る。実空間上でのペン２の移動の軌跡は，可視化されな
いため，画面内に軌跡と軌跡によって得られる仮想３次
元オブジェクトが絶えず表示される。ユーザは画面内の
軌跡や仮想３次元オブジェクトを見ながら，修正を行
い，最終的に決まった位置でボタンを押すことにより，
形状を決定することができる。
【０１１４】ペン２の軌跡を利用したスイープの場合，
手ぶれ等により，思ったようにペン２の軌跡が描けず，
期待した立体が作成できない場合がある。そこで，傾き
を利用しないモード，最終的なペン２の位置に対して平
行スイープするモードなどのように，モードを切り替え
ることで対応する。
【０１１５】また，手ぶれによる傾きの変化に対して
は，例えば，取得した傾きの平均を用いることで，ある
程度誤差を修正できる。また，誤差が入ったペン２の軌
跡から，幾何曲線プリミティブを抽出する手法として，
例えば下記の参考文献１１，１２，１３には，ＦＳＣＩ
という手法が提案されており，これらの手法を用いるこ
とで，誤差が入ったペン２の軌跡からスムーズな幾何曲
線を抽出することが可能である。 ［参考文献１１］佐賀聡人，牧野宏美，佐々木淳一：手
書き曲線モデルの一構成法−ファジィスプライン補間法
−，電子情報通信学会論文誌Ｄ−II，Vol.77,No.8,pp16
10-1619,1994. ［参考文献１２］佐賀聡人，佐々木淳一：ファジィスプ
ライン曲線同定法を用いた手書きＣＡＤ図形入力インタ
フェースの試作，情報処理学会論文誌，Vol.36,No.2,pp
338-350,1995. ［参考文献１３］佐藤洋一，佐賀聡人：逐次型ファジィ
スプライン曲線生成法，情報処理学会研究報告，2000-H
I-90,pp1-8,2000. ［実施の形態１０］第１０の実施の形態として，仮想空
間モデルの構成例について説明する。仮想空間内に詳細
な物理モデルやその他のモデルを用いた場合には，道具
データベースの項目も異なる。例えば，棒と３次元オブ
ジェクトが側面から衝突したときの処理を詳細な物理法
則に基づいて行いたい場合には，反発係数や，摩擦係数
の項目等も必要となる。また，道具データベースだけで
なく，３次元オブジェクトのパラメータ（質量など）を
管理するオブジェクトデータベースも必要となる。
【０１１６】［実施の形態１１］第１１の実施の形態と
して，３次元位置センサの簡易的な実現例について説明
する。
【０１１７】現在のタブレットは，タブレットから離し
た状態ではペンの位置を検出することはできないが（方
式によっては近距離なら可能），電磁授受方式のタブレ
ットでは，ペン先をタブレットに付けた状態でペンの位
置だけでなく筆圧や傾きを検出することが可能である
［参考文献１４，１５］。 ［参考文献１４］ http://tablet.wacom.co.jp/ ［参考文献１５］ 暦本純一，Eduardo Sciammarella:T
oolStone：多様な物理的操作を可能にする入力デバイ
ス，インタラクティブシステムとソフトウェアVIII，近
代科学社，pp7-12,2000. そのため，簡易的な実現が可能である。例えば，棒メタ
ファを利用する際には，画面上の２点を指定して棒の長
さを決める。そして，ペンを画面につけた状態で，ペン
を移動したり動かしたりすることで，画面内の奥行きを
把握しオブジェクトの移動等を実現することが可能とな
る。また，ペンの傾きが検出できることにより，３次元
的な操作が可能となるため，仮想的な道具を表示しない
場合でも３次元空間の操作はやりやすくなる。例えば，
マウスを用いた仮想空間内の３次元オブジェクトの操作
では，回転操作をする際に，どの軸に対する回転なのか
が非常に判りにくかった。しかし，ペンの傾きの方向に
仮想空間内の３次元オブジェクトを回転をさせること
で，わかりやすくなる。
【０１１８】［実施の形態１２］第１２の実施の形態と
して，本手法を適応可能な３次元仮想空間の例について
説明する。
【０１１９】本手法を適応する３次元仮想空間として
は，さまざまな３次元仮想空間が考えられる。例えば，
デジタルシティやバーチャルモールなどで，車や家を把
握するために利用したり，３次元インフォメーションビ
ジュアライゼーションや３次元サイエンティフィックビ
ジュアライゼーションの理解や操作にも利用することが
できる。また，現在のデスクトップ型ＧＵＩを３次元方
向に拡張する研究が行われているが，それらの操作イン
タフェースとしても利用が可能である。
【０１２０】以上説明した実施の形態において，３次元
位置を検出するためのペン２，磁界発生源４およびその
入出力インタフェース以外については，通常のパーソナ
ルコンピュータおよびソフトウェアプログラム等によっ
て実現することができ，そのソフトウェアプログラム
は，コンピュータが読み取り可能な可搬媒体メモリ，半
導体メモリ，ハードディスク等の適当な記録媒体に格納
することができる。
【０１２１】
【実施例】図１２に，本発明を実施する場合のプログラ
ムのモジュール構成の例を示す。処理装置１のプログラ
ムモジュールは，例えば位置センサ制御部２０，表示制
御部２１，ユーザインタフェース部２２，パラメータ管
理部２３，データベース管理部２４，位置管理部２５，
空間管理部２６，描画処理部２７などからなる。
【０１２２】位置センサ制御部２０は，ペン２からの入
力を制御する。表示制御部２１は，ディスプレイ３への
表示制御を行う。ユーザインタフェース部２２は，キャ
リブレーションや，道具や，道具パラメータの変更など
をユーザと対話的に行うためのユーザインタフェースを
提供する。
【０１２３】パラメータ管理部２３は，座標変換行列や
現在選択されている道具，道具のパラメータなどを管理
している。データベース管理部２４では，道具パラメー
タなどの管理を行っており，パラメータ管理部２３から
送られてくる道具に対応するパラメータの参照などの要
求を処理する。
【０１２４】位置管理部２５では，位置センサ制御部２
０から実空間座標系内でのペン２の位置を取得し，パラ
メータ管理部２３で管理されている座標変換行列をもと
に，連結座標系（仮想空間座標系）内でのペン先の位置
を計算し，また，道具パラメータをもとに，連結座標系
内に仮想道具を作成する。
【０１２５】空間管理部２６では，仮想空間内の特性
（オブジェクトなど）の管理を行っている。現在の仮想
道具の位置を位置管理部２５から取得し，道具パラメー
タと仮想空間内の特性をもとに仮想空間の変化（道具と
オブジェクトとの衝突によるオブジェクトの移動など）
を計算する。
【０１２６】描画処理部２７では，空間管理部２６で計
算された空間データをもとに，仮想道具と仮想空間をデ
ィスプレイに描画する。もちろん，本発明の実施は，こ
のようなモジュール構成に限られるわけではなく，これ
以外にも種々のプログラム構成による実現が可能である
ことは言うまでもない。
【０１２７】
【発明の効果】以上説明したように，本発明によれば，
ユーザはディスプレイに２次元表示された３次元情報を
有するオブジェクトの選択や操作を容易に行うことがで
きるようになる。特に，画面内の仮想的な３次元空間の
奥行きを容易に把握することが可能になる。また，コン
ピュータで扱う３次元オブジェクトを作成する場合に，
従来の３面図等を用いた場合よりも，ユーザのスキルに
依存せずに，簡易でかつ直感的な操作により作成するこ
とができるようになる。
【図面の簡単な説明】
【図１】実施の形態１に係る装置の構成例を示す図であ
る。
【図２】実施の形態１の装置の動作の流れを示す図であ
る。
【図３】実施の形態１の装置の動作原理を示す図であ
る。
【図４】実施の形態１の連絡座標系の説明図である。
【図５】実施の形態１の道具データベースの例を示す図
である。
【図６】実施の形態１の処理フローチャートである。
【図７】実施の形態３の紐を用いたオブジェクトの操作
を示す図である。
【図８】実施の形態４のミラーモードを説明する図であ
る。
【図９】実施の形態９の実際の数値による入力方式（底
面）の例を示す図である。
【図１０】実施の形態９の実際の数値による入力方式
（辺）の例を示す図である。
【図１１】実施の形態９の実際の数値による入力方式
（ペンによるスイープ）を示す図である。
【図１２】本発明を実施する場合のプログラムのモジュ
ール構成の例を示す図である。
【符号の説明】
１ 処理装置 ２ スタイラスレシーバ（ペン） ３ ディスプレイ ４ 磁界発生源 １０ 位置・傾き検出手段 １１ 仮想道具情報記憶手段 １２ 仮想道具選択処理手段 １３ 仮想道具位置計算手段 １４ 仮想道具表示処理手段 １５ ３次元オブジェクト管理手段 １６ オブジェクト選択・操作手段 ２０ 位置センサ制御部 ２１ 表示制御部 ２２ ユーザインタフェース部 ２３ パラメータ管理部 ２４ データベース管理部 ２５ 位置管理部 ２６ 空間管理部 ２７ 描画処理部 ５１，５２ ３次元オブジェクト
フロントページの続き Ｆターム(参考） 5B050 BA06 BA07 BA09 BA18 CA07 EA26 FA02 5B087 AA07 AB12 BC03 BC12 BC13 BC26 BC34 DD03 DE03 5E501 AA30 AC37 BA14 CA03 CB20 EA01 FA14 FA27 FA36

Claims (15)

    【特許請求の範囲】
  1. 【請求項１】 ２次元表示された３次元情報を有するオ
    ブジェクトを選択，操作するための方法であって，３次
    元位置と傾きとを特定できる入力器具から，その入力器
    具の画面に対する位置と傾きとを取得する過程と，取得
    した位置と傾きとをもとに，前記入力器具の先端から延
    長した方向の画面内の位置に仮想的な道具を表示する過
    程と，前記入力器具の動きを検出して仮想的な道具を動
    かすことにより，３次元情報を有するオブジェクトを選
    択または操作する過程とを有することを特徴とする３次
    元情報操作方法。
  2. 【請求項２】 請求項１記載の３次元情報操作方法にお
    いて，前記仮想的な道具を表示する過程では，あらかじ
    め前記仮想的な道具に関する長さを指定させ，前記入力
    器具の先端から，前記入力器具の長手方向に延長した方
    向と画面とが交差する位置までの距離と，前記入力器具
    の長手方向に延長した方向と画面とが交差する位置か
    ら，画面内に表示された仮想的な道具の先端までの距離
    とを合わせた見かけ上の長さを，前記指定された長さに
    保つように，仮想的な道具を表示することを特徴とする
    ３次元情報操作方法。
  3. 【請求項３】 ２次元表示された３次元情報を有するオ
    ブジェクトを選択，操作するための方法であって，画面
    における操作対象の３次元情報を有するオブジェクトを
    操作するための仮想的な道具を選択する過程と，操作対
    象の前記オブジェクトを選択する過程と，少なくとも３
    次元位置を特定できる入力器具から，その入力器具の画
    面に対する位置または画面に対する位置と傾きとを取得
    する過程と，取得した位置の情報または位置と傾きの情
    報に基づき，前記選択した仮想的な道具を画面内の仮想
    的な３次元空間内で動かす過程と，前記仮想的な道具と
    前記選択したオブジェクトとの位置関係を算出する過程
    と，前記仮想的な道具と前記選択したオブジェクトとの
    位置関係によって，当該３次元情報を有するオブジェク
    トに対する操作を決定する過程とを有することを特徴と
    する３次元情報操作方法。
  4. 【請求項４】 ２次元表示された３次元情報を有するオ
    ブジェクトを選択，操作するための方法であって，少な
    くとも３次元位置を特定できる入力器具から，その入力
    器具の画面に対する位置または画面に対する位置と傾き
    とを取得する過程と，前記入力器具の先端と画面表面と
    を最短に結ぶ線分を，前記入力器具の先端と画面表面と
    を最短に結ぶ線分と同じ長さだけ画面内に延長した位置
    を，画面に表示される３次元空間の位置を示すポインタ
    とする過程と，このポインタを用いて前記３次元情報を
    有するオブジェクトを選択または操作する過程とを有す
    ることを特徴とする３次元情報操作方法。
  5. 【請求項５】 ２次元表示された３次元情報を有するオ
    ブジェクトを選択，操作するための方法であって，３次
    元位置と傾きとを特定できる入力器具から，その入力器
    具の画面に対する位置と傾きとを取得する過程と，前記
    入力器具の先端と，前記入力器具の長手方向に延長した
    方向と画面とが交差する位置との距離と同じ距離だけ，
    前記入力器具の長手方向に延長した方向と画面とが交差
    する位置から画面の内部に延長した位置を，画面に表示
    される３次元空間の位置を示すポインタとする過程と，
    このポインタを用いて前記３次元情報を有するオブジェ
    クトを選択または操作する過程とを有することを特徴と
    する３次元情報操作方法。
  6. 【請求項６】 請求項１から請求項５までのいずれかに
    記載の３次元情報操作方法において，前記入力器具とし
    て振動子を内蔵する入力器具を用い，前記３次元情報を
    有するオブジェクトの選択または操作に対して，前記入
    力器具に付属の振動子を振動させることにより，選択ま
    たは操作結果の触覚フィードバックを行うことを特徴と
    する３次元情報操作方法。
  7. 【請求項７】 ２次元表示された３次元情報を有するオ
    ブジェクトを作成する操作のための方法であって，３次
    元位置と傾きとを特定できる入力器具から，その入力器
    具の画面に対する位置と傾きとを取得する過程と，前記
    入力器具からの入力情報に基づいて２次元オブジェクト
    を画面の表面に描画する過程と，描画された２次元オブ
    ジェクトの面，辺または点などの一部分の指定情報を入
    力する過程と，前記入力器具が画面から離れたときの軌
    跡または線分に沿って，指定された２次元オブジェクト
    をスイープし，３次元情報を有するオブジェクトを作成
    する過程とを有することを特徴とする３次元情報操作方
    法。
  8. 【請求項８】 請求項７記載の３次元情報操作方法にお
    いて，前記指定された２次元オブジェクトをスイープ
    し，３次元情報を有するオブジェクトを作成する過程で
    は，前記入力器具の傾きの変化に応じてスイープさせて
    いる平面，辺または点を含む一部分を傾けながら，指定
    された２次元オブジェクトをスイープし，作成する３次
    元情報を有するオブジェクトの形状を決定することを特
    徴とする３次元情報操作方法。
  9. 【請求項９】 ２次元表示された３次元情報を有するオ
    ブジェクトを選択，操作する３次元情報操作装置であっ
    て，３次元位置と傾きとを特定できる入力器具と，前記
    入力器具の３次元位置と傾きとを検出する手段と，前記
    オブジェクトを選択または操作するための仮想的な道具
    に関する情報を記憶する道具情報記憶手段と，前記道具
    情報記憶手段に記憶されている仮想的な道具を選択する
    手段と，前記入力器具の位置と傾きとをもとに画面内に
    表示する仮想的な道具の位置を計算する手段と，計算し
    た位置に前記仮想的な道具を表示する手段と，前記仮想
    的な道具と画面に表示された３次元情報を有するオブジ
    ェクトとの位置関係により，当該オブジェクトを選択ま
    たは操作する手段とを備えることを特徴とする３次元情
    報操作装置。
  10. 【請求項１０】 請求項９記載の３次元情報操作装置に
    おいて，前記仮想的な道具の位置を計算する手段は，実
    空間座標系から画面に表示する仮想空間座標系への変換
    行列を持ち，前記入力器具の先端から延長した方向の画
    面内の位置を，表示する仮想的な道具の位置とすること
    を特徴とする３次元情報操作装置。
  11. 【請求項１１】 請求項９記載の３次元情報操作装置に
    おいて，前記仮想的な道具の位置を計算する手段は，実
    空間座標系と画面に表示する仮想空間座標系とを画面を
    界面として連結し，画面に対して前記入力器具の位置と
    面対象の位置を，表示する仮想的な道具の位置とするこ
    とを特徴とする３次元情報操作装置。
  12. 【請求項１２】 請求項９記載の３次元情報操作装置に
    おいて，前記仮想的な道具の位置を計算する手段は，実
    空間座標系と画面に表示する仮想空間座標系とを画面を
    界面として連結し，前記入力器具の先端と，前記入力器
    具の長手方向に延長した方向と画面とが交差する位置と
    の距離と同じ距離だけ，前記入力器具の長手方向に延長
    した方向と画面とが交差する位置から画面の内部に延長
    した位置を，表示する仮想的な道具の位置とすることを
    特徴とする３次元情報操作装置。
  13. 【請求項１３】 請求項９から請求項１２までのいずれ
    かに記載の３次元情報操作装置において，前記入力器具
    は触覚フィードバックを行うための振動子を内蔵し，前
    記オブジェクトを選択または操作する手段は，前記３次
    元情報を有するオブジェクトの選択または操作に対し
    て，前記入力器具に付属の振動子を振動させる手段を持
    つことを特徴とする３次元情報操作装置。
  14. 【請求項１４】 請求項１から請求項８までのいずれか
    に記載の３次元情報操作方法を実現するステップを，コ
    ンピュータに実行させるための３次元情報操作プログラ
    ム。
  15. 【請求項１５】 請求項１から請求項８までのいずれか
    に記載の３次元情報操作方法を実現するステップを，コ
    ンピュータに実行させるためのプログラムを記録したこ
    とを特徴とする３次元情報操作プログラムの記録媒体。
JP2001277688A 2001-09-13 2001-09-13 ３次元情報操作方法およびその装置，３次元情報操作プログラムならびにそのプログラムの記録媒体 Pending JP2003085590A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001277688A JP2003085590A (ja) 2001-09-13 2001-09-13 ３次元情報操作方法およびその装置，３次元情報操作プログラムならびにそのプログラムの記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001277688A JP2003085590A (ja) 2001-09-13 2001-09-13 ３次元情報操作方法およびその装置，３次元情報操作プログラムならびにそのプログラムの記録媒体

Publications (1)

Publication Number Publication Date
JP2003085590A true JP2003085590A (ja) 2003-03-20

Family

ID=19102172

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001277688A Pending JP2003085590A (ja) 2001-09-13 2001-09-13 ３次元情報操作方法およびその装置，３次元情報操作プログラムならびにそのプログラムの記録媒体

Country Status (1)

Country Link
JP (1) JP2003085590A (ja)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006041097A1 (ja) * 2004-10-12 2006-04-20 Nippon Telegraph And Telephone Corporation ３次元ポインティング方法、３次元表示制御方法、３次元ポインティング装置、３次元表示制御装置、３次元ポインティングプログラム、及び３次元表示制御プログラム
WO2007116743A1 (ja) 2006-03-31 2007-10-18 Brother Kogyo Kabushiki Kaisha 画像表示装置
WO2007135835A1 (ja) * 2006-05-19 2007-11-29 Panasonic Corporation 画像操作装置、画像操作方法、及び画像操作プログラム
WO2008041315A1 (fr) * 2006-10-02 2008-04-10 Pioneer Corporation Dispositif d'affichage d'images
JP2008226279A (ja) * 2008-06-23 2008-09-25 Matsushita Electric Works Ltd 仮想空間内位置指示装置
JP2008293357A (ja) * 2007-05-25 2008-12-04 Canon Inc 情報処理方法および情報処理装置
WO2009087538A2 (en) * 2008-01-02 2009-07-16 Nokia Corporation Pointing device detection
JP2009261588A (ja) * 2008-04-24 2009-11-12 Shimadzu Corp 光生体測定装置及びそれに用いられるホルダ配置支援システム
JP2011108152A (ja) * 2009-11-20 2011-06-02 Fujitsu Toshiba Mobile Communications Ltd ３次元入力表示装置
JP2011221980A (ja) * 2010-04-09 2011-11-04 Fuji Xerox Co Ltd バーチャル・モデル生成システム、バーチャル・モデル生成プログラム、および、インタラクティブ・バーチャル・コンテンツ生成システム
JP2011528474A (ja) * 2008-07-15 2011-11-17 イマージョン コーポレイション 振動触覚メッセージングのためにメッセージコンテンツを仮想物理特性にマッピングするシステム及び方法
JP2012064199A (ja) * 2010-08-20 2012-03-29 Nintendo Co Ltd 位置算出システム、位置算出装置、位置算出プログラム、および位置算出方法
JP2012073857A (ja) * 2010-09-29 2012-04-12 Copcom Co Ltd 画像処理プログラム、及び画像処理装置
JP2012113389A (ja) * 2010-11-22 2012-06-14 Internatl Business Mach Corp <Ibm> タッチパネルにおけるドラッグ操作でオブジェクトを移動させる方法、装置及びコンピュータプログラム
WO2012164871A1 (ja) * 2011-05-31 2012-12-06 ソニー株式会社 ポインティングシステム、ポインティングデバイス及びポインティング制御方法
US8402393B2 (en) 2008-10-23 2013-03-19 Samsung Electronics Co., Ltd. Apparatus and method for manipulating virtual object
JP2013097805A (ja) * 2011-11-03 2013-05-20 Optoelectronics Co Ltd Shenzhen Super Multi 立体的インタラクティブシステム及び立体的インタラクティブ方法
JP2013524351A (ja) * 2010-03-31 2013-06-17 イマージョン コーポレーション 位置に基づいて触覚刺激を提供するシステム及び方法
JP2013190926A (ja) * 2012-03-13 2013-09-26 Nikon Corp 入力装置、及び表示装置
JP2014135069A (ja) * 2014-02-28 2014-07-24 Sony Corp 情報処理装置、情報処理方法および情報処理システム
JP2015511043A (ja) * 2012-03-29 2015-04-13 インテル コーポレイション ジェスチャーを用いた３次元グラフィックスの作成
US9207756B2 (en) 2011-12-30 2015-12-08 Samsung Electronics Co., Ltd. Apparatus and method for controlling 3D image
US9323387B2 (en) 2010-11-02 2016-04-26 Sony Corporation Display device, position correction method, and program
US10150033B2 (en) 2010-08-20 2018-12-11 Nintendo Co., Ltd. Position calculation system, position calculation device, storage medium storing position calculation program, and position calculation method
WO2020166242A1 (ja) * 2019-02-14 2020-08-20 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
EP3574387A4 (en) * 2017-07-18 2020-09-30 Hewlett-Packard Development Company, L.P. PROJECTION OF INPUTS ON THREE-DIMENSIONAL OBJECT REPRESENTATIONS
WO2021029256A1 (ja) * 2019-08-13 2021-02-18 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11481025B2 (en) 2018-11-21 2022-10-25 Sony Group Corporation Display control apparatus, display apparatus, and display control method

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006041097A1 (ja) * 2004-10-12 2006-04-20 Nippon Telegraph And Telephone Corporation ３次元ポインティング方法、３次元表示制御方法、３次元ポインティング装置、３次元表示制御装置、３次元ポインティングプログラム、及び３次元表示制御プログラム
CN100407118C (zh) * 2004-10-12 2008-07-30 日本电信电话株式会社 三维指示方法和三维指示装置
US7880726B2 (en) 2004-10-12 2011-02-01 Nippon Telegraph And Telephone Corporation 3D pointing method, 3D display control method, 3D pointing device, 3D display control device, 3D pointing program, and 3D display control program
JP4515458B2 (ja) * 2004-10-12 2010-07-28 日本電信電話株式会社 ３次元ポインティング方法、３次元ポインティング装置、及び３次元ポインティングプログラム
JPWO2006041097A1 (ja) * 2004-10-12 2008-05-15 日本電信電話株式会社 ３次元ポインティング方法、３次元表示制御方法、３次元ポインティング装置、３次元表示制御装置、３次元ポインティングプログラム、及び３次元表示制御プログラム
KR100832355B1 (ko) * 2004-10-12 2008-05-26 니폰 덴신 덴와 가부시끼가이샤 3차원 포인팅 방법, 3차원 표시제어방법, 3차원 포인팅장치, 3차원 표시 제어장치, 3차원 포인팅 프로그램, 및3차원 표시제어 프로그램
JP2012079328A (ja) * 2004-10-12 2012-04-19 Nippon Telegr & Teleph Corp <Ntt> ３次元ポインティング方法、３次元ポインティング装置、及び３次元ポインティングプログラム
WO2007116743A1 (ja) 2006-03-31 2007-10-18 Brother Kogyo Kabushiki Kaisha 画像表示装置
JPWO2007135835A1 (ja) * 2006-05-19 2009-10-01 パナソニック株式会社 画像操作装置、画像操作方法、及び画像操作プログラム
US8089457B2 (en) 2006-05-19 2012-01-03 Panasonic Corporation Image operating device, image operating method, and image operating program embodied on computer readable medium
WO2007135835A1 (ja) * 2006-05-19 2007-11-29 Panasonic Corporation 画像操作装置、画像操作方法、及び画像操作プログラム
WO2008041315A1 (fr) * 2006-10-02 2008-04-10 Pioneer Corporation Dispositif d'affichage d'images
JPWO2008041315A1 (ja) * 2006-10-02 2010-02-04 パイオニア株式会社 画像表示装置
JP2008293357A (ja) * 2007-05-25 2008-12-04 Canon Inc 情報処理方法および情報処理装置
WO2009087538A3 (en) * 2008-01-02 2009-11-19 Nokia Corporation Pointing device detection
WO2009087538A2 (en) * 2008-01-02 2009-07-16 Nokia Corporation Pointing device detection
JP2009261588A (ja) * 2008-04-24 2009-11-12 Shimadzu Corp 光生体測定装置及びそれに用いられるホルダ配置支援システム
JP4678428B2 (ja) * 2008-06-23 2011-04-27 パナソニック電工株式会社 仮想空間内位置指示装置
JP2008226279A (ja) * 2008-06-23 2008-09-25 Matsushita Electric Works Ltd 仮想空間内位置指示装置
US10248203B2 (en) 2008-07-15 2019-04-02 Immersion Corporation Systems and methods for physics-based tactile messaging
JP2011528474A (ja) * 2008-07-15 2011-11-17 イマージョン コーポレイション 振動触覚メッセージングのためにメッセージコンテンツを仮想物理特性にマッピングするシステム及び方法
JP2018088260A (ja) * 2008-07-15 2018-06-07 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 受動及び能動モード間で触覚フィードバック機能を転換するシステム及び方法
US8402393B2 (en) 2008-10-23 2013-03-19 Samsung Electronics Co., Ltd. Apparatus and method for manipulating virtual object
JP2011108152A (ja) * 2009-11-20 2011-06-02 Fujitsu Toshiba Mobile Communications Ltd ３次元入力表示装置
US9987555B2 (en) 2010-03-31 2018-06-05 Immersion Corporation System and method for providing haptic stimulus based on position
JP2013524351A (ja) * 2010-03-31 2013-06-17 イマージョン コーポレーション 位置に基づいて触覚刺激を提供するシステム及び方法
KR101914423B1 (ko) * 2010-03-31 2018-11-01 임머숀 코퍼레이션 위치에 기초한 촉각 자극을 제공하는 시스템 및 방법
JP2018125007A (ja) * 2010-03-31 2018-08-09 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 位置に基づいて触覚刺激を提供するシステム及び方法
JP2011221980A (ja) * 2010-04-09 2011-11-04 Fuji Xerox Co Ltd バーチャル・モデル生成システム、バーチャル・モデル生成プログラム、および、インタラクティブ・バーチャル・コンテンツ生成システム
JP2012064199A (ja) * 2010-08-20 2012-03-29 Nintendo Co Ltd 位置算出システム、位置算出装置、位置算出プログラム、および位置算出方法
US10150033B2 (en) 2010-08-20 2018-12-11 Nintendo Co., Ltd. Position calculation system, position calculation device, storage medium storing position calculation program, and position calculation method
JP2012073857A (ja) * 2010-09-29 2012-04-12 Copcom Co Ltd 画像処理プログラム、及び画像処理装置
US9323387B2 (en) 2010-11-02 2016-04-26 Sony Corporation Display device, position correction method, and program
JP2012113389A (ja) * 2010-11-22 2012-06-14 Internatl Business Mach Corp <Ibm> タッチパネルにおけるドラッグ操作でオブジェクトを移動させる方法、装置及びコンピュータプログラム
WO2012164871A1 (ja) * 2011-05-31 2012-12-06 ソニー株式会社 ポインティングシステム、ポインティングデバイス及びポインティング制御方法
US9880639B2 (en) 2011-05-31 2018-01-30 Sony Corporation Pointing system, pointing device, and pointing control method
JP2012252398A (ja) * 2011-05-31 2012-12-20 Sony Corp ポインティングシステム、ポインティングデバイス及びポインティング制御方法
US10191562B2 (en) 2011-05-31 2019-01-29 Sony Corporation Pointing system, pointing device, and pointing control method
JP2013097805A (ja) * 2011-11-03 2013-05-20 Optoelectronics Co Ltd Shenzhen Super Multi 立体的インタラクティブシステム及び立体的インタラクティブ方法
US9207756B2 (en) 2011-12-30 2015-12-08 Samsung Electronics Co., Ltd. Apparatus and method for controlling 3D image
JP2013190926A (ja) * 2012-03-13 2013-09-26 Nikon Corp 入力装置、及び表示装置
JP2015511043A (ja) * 2012-03-29 2015-04-13 インテル コーポレイション ジェスチャーを用いた３次元グラフィックスの作成
JP2014135069A (ja) * 2014-02-28 2014-07-24 Sony Corp 情報処理装置、情報処理方法および情報処理システム
EP3574387A4 (en) * 2017-07-18 2020-09-30 Hewlett-Packard Development Company, L.P. PROJECTION OF INPUTS ON THREE-DIMENSIONAL OBJECT REPRESENTATIONS
US11481025B2 (en) 2018-11-21 2022-10-25 Sony Group Corporation Display control apparatus, display apparatus, and display control method
WO2020166242A1 (ja) * 2019-02-14 2020-08-20 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
US20220129110A1 (en) * 2019-02-14 2022-04-28 Sony Group Corporation Information processing device, information processing method, and recording medium
US11614835B2 (en) 2019-02-14 2023-03-28 Sony Group Corporation Information processing device that projects drawing information according to ratio of distances, information processing method, and recording medium
WO2021029256A1 (ja) * 2019-08-13 2021-02-18 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Similar Documents

Publication Publication Date Title
JP2003085590A (ja) ３次元情報操作方法およびその装置，３次元情報操作プログラムならびにそのプログラムの記録媒体
JP7186913B2 (ja) 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用
CN110603509B (zh) 计算机介导的现实环境中直接和间接交互的联合
EP3607418B1 (en) Virtual object user interface display
Mendes et al. A survey on 3d virtual object manipulation: From the desktop to immersive virtual environments
US20230266859A1 (en) Eclipse cursor for virtual content in mixed reality displays
JP7118007B2 (ja) 視野周辺の視覚的背光
Grossman et al. Multi-finger gestural interaction with 3d volumetric displays
Mine Virtual environment interaction techniques
Satriadi et al. Augmented reality map navigation with freehand gestures
Benko et al. Balloon selection: A multi-finger technique for accurate low-fatigue 3d selection
JP2020161158A (ja) ３次元空間内の仮想オブジェクトの自動配置
JP2022547775A (ja) 仮想環境中のプロジェクションキャスティング
De Haan et al. Towards intuitive exploration tools for data visualization in VR
Wang et al. Immersive wysiwyg (what you see is what you get) volume visualization
Kim et al. Virtual object sizes for efficient and convenient mid-air manipulation
Mahdikhanlou et al. Object manipulation and deformation using hand gestures
Serra et al. Interaction techniques for a virtual workspace
NZ786547A (en) Interactions with 3d virtual objects using poses and multiple-dof controllers
NZ786551A (en) Interactions with 3d virtual objects using poses and multiple-dof controllers
Naef Interaction and ergonomics issues in immersive design review environments
Andrew et al. The Range of Tactile & Haptic Interaction Techniques
Gold Multi-Dimensional Input Devices and Interaction Techniques for a Modeler-Anirnator
Ramírez Guidelines for choosing VR devices from interaction techniques
TEATHER EVALUATING 3D INTERACTION TECHNIQUES