JP2001337645A - 表示システム及び記憶媒体 - Google Patents
表示システム及び記憶媒体Info
- Publication number
- JP2001337645A JP2001337645A JP2000157476A JP2000157476A JP2001337645A JP 2001337645 A JP2001337645 A JP 2001337645A JP 2000157476 A JP2000157476 A JP 2000157476A JP 2000157476 A JP2000157476 A JP 2000157476A JP 2001337645 A JP2001337645 A JP 2001337645A
- Authority
- JP
- Japan
- Prior art keywords
- display
- virtual space
- displayed
- pointer
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
ーザが装着する表示器に表示させ、ユーザの頭の動きに
応じてその表示部分を移動させるようにした表示システ
ムにおいて、その表示器の表示部分を見ながら仮想空間
表示画面上の所望の位置の探査がし易くなるようにする
ことである。 【解決手段】上記課題は、仮想空間表示画面の一部をユ
ーザが装着する表示器に表示し、ユーザの頭の動きに応
じて該表示器に表示させる部分を移動するようにした表
示システムにおいて、表示器に表示させる部分を移動さ
せる際に、当該表示器に表示させる部分が仮想空間表示
画面の一方の末端から他方の末端に移って該他方の末端
から仮想空間表示画面内に移動するように制御する表示
制御手段を有する表示システムにて達成される。
Description
にてユーザに表示画像を提供するための表示システムに
係り、詳しくは、仮想空間表示画面の一部をユーザが装
着する表示器に表示し、ユーザの頭(顔)の動きに応じ
て該表示器に表示させる部分を移動するようにした表示
システムに関する。
での処理をコンピュータに行わせるためのプログラムを
記憶した記憶媒体に関する。
表示画面の一部をユーザが装着するヘッドマウントディ
スプレイ(HMD)に表示させ、ユーザの頭の動きに応
じてその表示部分を移動させるようにした表示システム
が提案されている。このような表示システムによれば、
ユーザは、顔の向きを変えながらヘッドマウントディス
プレイ(HMD)に表示される画像を見ることにより、
仮想空間表示画面全体の端から端までの画像を順次見る
ことが可能となる。
は、ユーザが装着するヘッドマウントディスプレイ(H
MD)の画面上の所定位置にポインタを固定すると、ユ
ーザが顔の向きを変えながらヘッドマウントディスプレ
イに表示される仮想空間表示画面上の部分を変えること
によりそのポインタを仮想空間表示画面上で移動させる
ことができる。そして、適当な入力手段(スイッチ、音
声入力装置など)により、そのポインタが指し示す仮想
空間表示画面上の位置を指定することができる。このよ
うに、上記表示システムにおいて仮想空間表示画面上の
ポインティング機能を実現することができる。
用される表示システムでは、顔の絶対的な向き、顔が向
いている角度に応じて表示すべき画像を決定していた。
表示画面の一部をユーザが装着する表示器(例えば、ヘ
ッドマウントディスプレイ)に表示させ、ユーザの頭の
動きに応じてその表示部分を移動させるようにした表示
システムでは、ユーザは仮想空間表示画面全体の画像を
一度に見ることはできない。このため、当該表示システ
ムにおいて上述したようなポインティング機能を実現す
る場合、ユーザは表示器に表示される仮想空間表示画面
の限られた範囲の画像を見ながら頭を動かしてポインタ
を仮想空間表示画面上で移動させることになる。このよ
うにユーザは仮想空間表示画面の限られた範囲の画像を
見ながら仮想空間表示画面上の所望の位置を探査しなけ
ればならないので、その所望の位置をみつけることが比
較的難しい。
では、顔の絶対的な向き、顔の角度に応じて表示すべき
画像を決定しているので、解像度が高くなったときに、
画面の1ドットに対する向きの精度が低下する。例え
ば、表示システムの画面上で映像角100度の範囲を1
00ドットで見た場合に、もしセンサから1度単位の角
度情報が得られるとすると、表示画面上での角度に対す
る距離の割合は1ドット/度であるので、比較的スムー
ズな移動が可能である。しかし、映像角100度の範囲
を1000ドットで見た場合、表示画面上での角度に対
する距離の割合が10ドット/度であり、1度当たりの
ドット数(距離)が増える。このため、ドット移動のた
めの精度が同じであれば、移動位置の精度が落ちる。こ
のため、スムーズなユーザの視界の移動ができなくな
り、操作の支障や表示画面を見るユーザの酔いの可能性
を生じる。
表示画面の一部をユーザが装着する表示器に表示させ、
ユーザの頭の動きに応じてその表示部分を移動させるよ
うにした表示システムにおいて、その表示器の表示部分
を見ながら仮想空間表示画面上の所望の位置の探査がし
易くなるようにすることである。
表示システムでの処理をコンピュータに行わせるための
プログラムを記憶した記憶媒体を提供することである。
め、本発明は、請求項1に記載されるように、仮想空間
表示画面の一部をユーザが装着する表示器に表示し、ユ
ーザの頭の動きに応じて該表示器に表示させる部分を移
動するようにした表示システムにおいて、表示器に表示
させる部分を移動させる際に、当該表示器に表示させる
部分が仮想空間表示画面の一方の末端から他方の末端に
移って該他方の末端から仮想空間表示画面内に移動する
ように制御する表示制御手段を有するように構成され
る。
の動きに応じて表示器に表示させる部分を移動させる際
に、その表示器に表示させる部分は、仮想空間表示画面
の一方の末端に達すると、その末端からから他方の末端
に移って該他方の末端から仮想空間表示画面内に移動す
るようになる。従って、ユーザが表示器に表示される画
像を見ながら頭を動かして仮想空間表示画面内の位置を
探査する際に、表示器に表示させる部分を頭の動きの方
向をかえずに仮想空間表示画面の一方の末端から他方の
末端に移って仮想空間表示画面内に移動させることが可
能となる。
面の横方向に移動させる場合に適用できるという観点か
ら、本発明は、請求項2に記載されるように、上記表示
システムにおいて、上記表示制御手段は、上記表示器に
表示させる部分が仮想空間表示画面の横方向における一
方の末端から他方の末端に移って該他方の端末から仮想
空間表示画面内に移動するように制御する第一の表示制
御手段を有するように構成することができる。
表示画面の縦方向に移動させる場合に適用できるという
観点から、本発明は、請求項3に記載されるように、上
記表示システムにおいて、上記表示制御手段は、上記表
示器に表示させる部分が仮想空間表示画面の縦方向にお
ける一方の末端から他方の末端に移って該他方の末端か
ら仮想空間表示画面内に移動するように制御する第二の
表示制御手段を有するように構成することができる。
移動させる際にその操作が容易になるという観点から、
本発明は、請求項4に記載されるように、上記各表示シ
ステムにおいて、頭の動きに対する上記表示器に表示さ
せる部分の移動禁止及び移動再開を制御するオフセット
制御手段を有するように構成することができる。
応じて表示器に表示させる部分を移動している際に、頭
の動きに対する上記表示器に表示させる部分の移動禁止
を行って、頭をもとの位置に戻す。そして、頭の動きに
対する当該表示器に表示させる部分の移動再開を行う
と、更に、その部分は移動する。このようなことを繰り
返すことにより、少ないストロークの頭の動きを繰り返
して表示器に表示させる部分を長い距離移動させること
ができる。
は、請求項5に記載されるように、仮想空間表示画面の
一部をユーザが装着する表示器に表示し、ユーザの頭の
動きに応じて該表示器に表示させる部分を移動するよう
にした表示システムでの処理をコンピュータに行わせる
ためのプログラムを記憶した記憶媒体において、表示器
に表示させる部分を移動させる際に、当該表示器に表示
させる部分が仮想空間表示画面の一方の末端から他方の
末端に移って該他方の末端から仮想空間表示画面内に移
動するように制御する表示制御手順を含むプログラムを
記憶した記憶媒体として構成される。
発明は、請求項6に記載されるように、仮想空間表示画
面の一部をユーザが装着する表示器に表示する表示シス
テムにおいて、ユーザの頭の動きの移動量に応じて上記
表示器に表示させる部分を決定する表示制御手段とを有
するように構成することができる。
移動量に応じて表示器に表示させる部分を決定している
ので、表示器の解像度によらず、頭の動きの移動量に対
応した量だけ表示すべきエリアを移動させることができ
る。
に基づいて説明する。
の原理は図1に示すようになる。
想空間表示画面)上の画像の一部をユーザが装着するヘ
ッドマウントディスプレイ(以下、HMDという)10
に表示させ、ユーザの頭の動きに応じてHMD10に表
示される部分を移動させるようにしている。ユーザはH
MD10に表示された画像を見る。
に示すような構成となる。
装置100(例えば、パーソナルコンピュータ)、HM
D10、切替器20、ヘッドホンマイク30、ヘッドマ
ウントディスプレイポインタ(以下、HMDPという)
40及びCD−ROMドライブユニット50を有してい
る。制御装置100は、OS(オペレーティングステ
ム:例えば、Windows 98(登録商標))110に従って
動作し、HMD10のインタフェースとなるビデオカー
ド120、ヘッドホンマイク30のインタフェースとな
るサウンドカード130及びHMDP40のインタフェ
ース(例えば、PS/2)140を有している。制御装
置100は、更に、HMD10に表示させる画像の生
成、処理を行う画像表示アプリケーション150と、ヘ
ッドホンマイク30からの入力音声の認識処理を行う音
声認識アプリケーション160とを有している。
は、後述するようなマルチモニタ機能110aをサポー
トしている。このマルチモニタ機能110aによりプラ
イマリモニタとセカンダリモニタの2つの表示画面を形
成することができる。
ウントディスプレイであり、例えば、液晶パネルに表示
された映像を光学系で拡大してユーザの視野に虚像を形
成する。このHMD10により、ユーザは拡大された映
像をあたかも目の前のスクリーンに映し出されたように
見ることができる。
れ、頭の動き(例えば、角速度)に応じた信号を出力
し、ユーザの顔の向きを検出するためのセンサとして使
用される。このHMDP40は、例えば、コードレスマ
ウス(ポインティングデバイス)として市販されている
「Gyro Point」(ixMICRO社製)を利用して構成するこ
とができる。この場合、顔(頭)の動きに応じて動くコ
ードレスマウス内のジャイロセンサの動き(例えば、角
速度)に応じた距離が求められ、求められた距離はHM
DP40のインターフェース140を介してOS110
に通知される。なお、このコードレスマウスを利用して
HMDP40を構成することにより、制御装置100に
おいてマウスインタフェースをそのまま使用できるよう
になる。
声にて入力するために用いられる。ヘッドホンマイク3
0から音声入力された操作の内容(クリック等のポイン
ティング操作、モード指定、機能指定等)が音声認識ア
プリケーション160にて認識され、その認識された操
作内容に従った制御信号が画像表示アプリケーション1
50に提供される。
プログラム(画像表示アプリケーション、音声認識アプ
リケーションなど)は、例えば、CD−ROM51にて
提供される。このCD−ROM51がCD−ROMドラ
イブユニット50にセットされると、CD−ROM51
に書き込まれたプログラムがCD−ROMドライブユニ
ット50にて読み出され、その読み出されたプログラム
が制御装置100にインストールされる。
コンピュータ本体で複数のモニタを制御する機能であ
り、1つのモニタ(プライマリモニタ)の画像と他のモ
ニタ(セカンダリモニタ)の画像を制御するものであ
る。上記画像表示アプリケーション150は、図3に示
すように、このようなマルチモニタ機能110aにて形
成されるプライマリモニタW1を仮想空間ディスプレイ
(仮想空間表示画面)とすると共に、セカンダリモニタ
W2をHMD10の表示画面とし、プライマリモニタW
1の画像の一部をセカンダリモニタW2の全面に表示す
るように画像表示制御を行う。この場合、セカンダリモ
ニタW2の画像情報がビデオカード120から切替器2
0を介してHMD10に供給される。これにより、HM
D10を装着したユーザは、仮想空間ディスプレイの一
部をHMD10にて見ることができる。
に、横Xv、縦Yvの仮想空間ディスプレイ(プライマ
リモニタW1)上におけるポインタ(x、y)を含む横
Xr、縦Yrの領域Edを拡大してHMD10(セカン
ダリモニタW2)に表示させている。ポインタ(矢印ま
たは+にて表す)はHMD10の表示画面の中央に固定
的に設定されている。HMDP40からの検出信号に基
づいてHMD10を装着したユーザの顔の方向を検出
し、ポインタの位置がその検出した顔の方向と対応づけ
られる。その結果、頭の動きに応じてポインタの位置が
仮想空間ディスプレイ上で移動するようになる。そし
て、そのポインタが中心となる表示領域Ed(Xr×Y
r)の画像がHMD10に表示すべき画像として仮想空
間ディスプレイ(Xv×Yv)の画像から選択される。
即ち、ユーザの頭の動きに応じて表示領域Edを仮想空
間ディスプレイ上で移動させることができる。
させる画像の表示モードとして、ノーマルモード、バー
チャルシリンダモード及びバーチャルスフィアモードが
ある。
×Yr)が仮想空間ディスプレイの末端を含む場合にそ
の仮想空間ディスプレイの末端より外の部分は背景(例
えば、黒画像)として表示される。
Ed(Xr×Yr)が仮想空間ディスプレイの横方向の
末端を含む場合にその仮想空間ディスプレイの末端より
外の部分には逆側の末端から内側部分が表示される。従
って、ユーザの頭の動きによって表示領域Edを仮想空
間ディスプレイの横方向において一方の末端から出つつ
他方の末端から入るように移動させることができる。そ
の結果、その表示領域Edの画像をHMD10にて見る
ユーザは、仮想空間ディスプレイがあたかも円筒状(シ
リンダ状)となる感覚で当該仮想空間ディスプレイの末
端部分の画像を見ることができる。なお、このバーチャ
ルシリンダモードでは、仮想空間ディスプレイの縦方向
については、上記ノーマルモードと同様に、表示領域E
dが仮想空間ディスプレイの縦方向の末端を含む場合に
その仮想空間ディスプレイの当該末端より外側は背景と
して表示される。
ャルシリンダモードの拡張版であり、表示領域Edが仮
想空間ディスプレイの縦方向の末端を含む場合にもその
仮想空間ディスプレイの末端より外の部分には逆側の末
端から内側部分が表示される。従って、ユーザの頭の動
きによって表示領域Edを仮想空間ディスプレイの縦方
向及び横方向において一方の末端から出つつ他方の末端
から入るように移動させることができる。その結果、そ
の表示領域Edの画像をHMD10で見るユーザは、仮
想空間ディスプレイがあたかも球状(スフィア状)とな
る感覚で当該仮想空間ディスプレイの末端部分の画像を
見ることができる。
(x、y)に応じてHMD10に表示すべき画像の条件
が以下のように予め定められている。
プレイをA〜Iの9つの領域に分類することができる。
≦Yv−Yr/2 領域F:x>Xv−Xr/2、Yr/2≦y≦Yv−Y
r/2 領域G:x<Xr/2、y>Yv−Yr/2 領域H:Xr/2≦x≦Xv−Xr/2、y>Yv−Y
r/2 領域I:x>Xv−Xr/2、y>Yv−Yr/2 ポインタ(x、y)が領域A、領域C、領域G、領域I
のそれぞれに位置する場合、表示領域Edは仮想空間デ
ィスプレイの末端である左上端点(0、0)、右上端点
(Xv、0)、左下端点(0、Yv)、右下端点(X
v、Yv)から更にその外側部分を含む。それぞれの場
合、図6A、C、G、Iに示す仮想空間ディスプレイの
画像部分I(1)、I(2)、I(3)、I(4)が図
7(a)、(c)、(g)、(i)に示す表示領域Ed
に対応したHMD10の表示画面の表示部分(1)、
(2)、(3)、(4)に割当てられる。そして、ノー
マルモードでは、仮想空間ディスプレイのポインタ
(+)を含む端部の画像部分I(1)が表示部分(1)
に表示され、他の表示部分(2)、(3)、(4)は背
景画(例えば、黒画像)となる。また、バーチャルシリ
ンダモードでは、仮想空間ディスプレイの画像部分I
(1)と横方向において逆の端部に位置する画像部分I
(2)がそれぞれ表示部分(1)、(2)に表示され、
他の表示部分(3)、(4)は背景画となる。更に、バ
ーチャルスフィアモードでは、仮想空間ディスプレイの
各画像部分I(1)、I(2)、I(3)、I(4)が
それぞれ対応する表示部分(1)、(2)、(3)、
(4)に表示される。
れに位置する場合、表示領域Edは仮想空間ディスプレ
イの上端線(y=0)、下端線(y=Yv)から更にそ
の外側部分を含む。それぞれの場合、図6B、Hに示す
仮想空間ディスプレイの画像部分I(1)、I(2)が
図7(b)、(h)に示す表示領域Edに対応したHM
D10の表示画面の表示部分(1)、(2)に割当てら
れる。そして、ノーマルモード及びバーチャルシリンダ
モードでは、仮想空間ディスプレイのポインタ(+)を
含む端部の画像部分I(1)が表示部分(1)に表示さ
れ、他の表示部分(2)は背景画となる。また、バーチ
ャルスフィアモードでは、仮想空間ディスプレイの各画
像部分I(1)、I(2)がそれぞれ対応する表示部分
(1)、(2)に表示される。
れに位置する場合、表示領域Edは仮想空間ディスプレ
イの左端線(x=0)、右端線(x=Xv)から更に外
側部分を含む。それぞれの場合、図6D、Fに示す仮想
空間ディスプレイの画像部分I1(1)、I(2)が図
7(d)、(f)に割当てられる。そして、ノーマルモ
ードでは、仮想空間ディスプレイのポインタ(+)を含
む端部の画像部分I(1)が表示部分(1)に表示さ
れ、他の表示部分(2)は背景画となる。また、バーチ
ャルシリンダモード及びバーチャルスフィアモードで
は、仮想空間ディスプレイの各画像部分I(1)、I
(2)がそれぞれ対応する表示部分(1)、(2)に表
示される。
合、表示領域Edは仮想空間ディスプレイの内部とな
る。この場合、いずれのモードであっても、図6Eに示
す表示領域Ed内の画像I(1)が図7(e)に示すよ
うにHMD10の表示画面全体(1)に表示される。
スプレイ上の一部をHMD10の表示画面に表示させる
ため、画像表示アプリケーション150は、例えば、図
9乃至図11に示す手順に従って処理を実行する。この
例では、仮想空間ディスプレイW1(プライマリモニ
タ)のサイズ及び表示領域Edのサイズ及びHMD10
の表示画面のサイズは、図8のように定義される。
v=800、縦Yv=600であり、表示領域Edは、
横Xr=200、縦Yr=150である。ここで、Xr
/2=100、Yr/2=75となる。
れる(S1)。この初期設定処理では、セカンダリモニ
タW2上の表示領域が所定のメモリ上に準備され、各種
初期位置の設定がなされる。HMDP40からの検出信
号に基づいてプライマリモニタ(仮想空間ディスプレイ
W1:800×600)上でのポインタの位置(座標)
が取得される(S2)。そして、オフセット機能が有効
であるか否かの判定がなされる(S3)。このオフセッ
ト機能については後述する。ここで、オフセット機能が
有効でない場合、取得したポインタの座標値(x、y)
がオフセット座標(Wx、Wy)として設定される(S
4)。オフセット機能が有効でない場合、以後、ポイン
タの座標を取得する毎に、その座標値にオフセット座標
(Wx、Wy)が更新される。
ポインタの座標(x、y)がオフセット座標値(Wx、
Wy)に固定される。以後、ポインタの位置が変更され
も、オフセット機能が有効である限り、ポインタの座標
(x、y)はオフセット座標値(Wx、Wy)に固定さ
れる。
モードがノーマルモードであるか否かが判定される(S
11)。ノーマルモードでなければ(バーチャルシリン
ダモードまたはバーチャルスフィアモード)、ポインタ
がプライマリモニタの左末端(x=0)に達したか否か
が判定される(S12)。ポインタがプライマリモニタ
の左末端(x=0)に達していれば(S12でYE
S)、ポインタの座標値xがx=799に変更される
(S14)。その結果、ポインタの位置がプライマリモ
ニタの右末端(x=799)に移動したことになる。こ
れは、バーチャルシリンダモードまたはバーチャルスフ
ィアモードで、ポインタが仮想空間ディスプレイの左末
端に達したときに仮想空間ディスプレイの右末端に移る
ことを実現するためになされる。ポインタがプライマリ
モニタの左末端(x=0)に達していない場合(S12
でNO)、更に、ポインタがプライマリモニタの右末端
(x=799)に達したか否かが判定される(S1
3)。ポインタがプライマリモニタの右末端(x=79
9)に達していれば(S13でYES)、ポインタの座
標値xがx=0に変更される(S15)。その結果、ポ
インタの位置がプライマリモニタの左末端(x=0)に
移動したことになる。これは、バーチャルシリンダーモ
ードまたはバーチャルスフィアモードで、ポインタが仮
想空間ディスプレイの右末端に達したとときに仮想空間
ディスプレイの左末端に移ることを実現するためになさ
れる。
モードがバーチャルシリンダモードか否かが判定される
(S16)。表示モードがバーチャルシリンダーモード
であれば(S16でYES)、横方向の処理(S12、
S13、S14、S15)が既に終了したとして次の処
理に移行する()。また、一方、表示モードがバーチャ
ルシリンダモードでなければ、即ち、バーチャルスフィ
アモードであれば(S16でNO)、ポインタがプライ
マリモニタの上末端(y=0)に達したか否かが判定さ
れる(S17)。ポインタがプライマリモニタの上末端
(y=0)に達していれば(S17でYES)、ポイン
タの座標値yがy=599に変更される(S19)。そ
の結果、ポインタの位置がプライマリモニタの下末端
(y=599)に移動したことになる。これは、バーチ
ャルスフィアモードで、ポインタが仮想空間ディスプレ
イの上末端に達したときに仮想空間ディスプレイの下末
端に移ることを実現するためになされる。ポインタがプ
ライマリモニタの上末端(y=0)に達していない場合
(S17でNO)、更に、ポインタがプライマリモニタ
の下末端(y=599)に達したか否かが判定される
(S18)。ポインタがプライマリモニタの下末端(x
=599)に達していれば(S18でYES)、ポイン
タの座標値yがy=0に変更される(S20)。その結
果、ポインタの位置がプライマリモニタの上末端(y=
0)に移動したことになる。これは、バーチャルスフィ
アモードで、ポインタが仮想空間ディスプレイの下末端
に達したときに仮想空間ディスプレイの上末端に移るこ
とを実現するためになされる。
と判定された場合(S11でYES)、上述したポイン
タの移動に関する処理(S12乃至S20)は実行され
ずに、次の処理に移行する()。
ンタの位置(座標)に応じた画像表示に関する処理が行わ
れる。
域A〜Hのいずれにあるかが判定される。ポインタの座
標値yが75(Yr/2)より小さく(S21でYE
S)、かつポインタの座標値xが700(Xv−Xr/
2)より大きい場合(S22でYES)、ポインタが図
5に示す領域Cに位置すると判定される。この場合、図
6Cに示すプライマリモニタ上の画像部分I(1)、I
(2)、I(3)、I(4) I(1):(x−100、0)−(799、y+75)
の画像部分 I(2):(0、0)−(x−700、y+75)の画
像部分*1 I(3):(x−100、y+525)−(799、5
99)の画像部分*2 I(4):(0、y+525)−(x−700、59
9)の画像部分*2 が、図7(c)に示すセカンダリモニタ(HMD10の
表示画面)の表示部分(1)、(2)、(3)、(4)
に割当てられる。そして、特にノーマルモードであれ
ば、画像部分I(2)、I(3)、I(4)が背景画に
代えられ、バーチャルシリンダモードであれば、画像部
分I(3)、I(4)が背景画に代えられる。そして、
各領域(1)、(2)、(3)、(4)に割当てられた
画像部分が各モードに従ってセカンダリモニタ(HMD
10)に表示される(S24)。
えられる画像部分を表し、*2は、ノーマルモード及びバ
ーチャルシリンダモードで背景画に代えられる画像部分
を表す(以下、同じ)。
21でYES)、かつポインタの座標値xが100(X
r/2)と700(Xv−Xr/2)との間となる場合
(S22でNO、S23でYES)、ポインタが図5に
示す領域Bに位置すると判定される。この場合、図6B
に示すプライマリモニタ上の画像部分I(1)、I
(2) I(1):(x−100、0)−(x+100、y+7
5) I(2):(x−100、y+525)−(x+10
0、599)*2 が、図7(b)に示すセカンダリモニタの表示部分
(1)、(2)に割当てられる。そして、特にノーマル
モード及びバーチャルシリンダモードであれば、画像部
分I(2)が背景画に代えられる。そして、各領域
(1)、(2)に割当てられた画像部分が各モードに従
ってセカンダリモニタ(HMD10)に表示される(S
25)。
21でYES)、かつポインタの座標値xが100より
小さい場合(S22でNO、S23でNO)、ポインタ
が図5に示す領域Aに位置すると判定される。この場
合、図6Aに示すプライマリモニタ上の画像部分I
(1)、I(2)、I(3)、I)(4) I(1):(0、0)−(x+100、y+75) I(2):(x+700、0)−(799、y+75)
*1 I(3):(0、y+525)−(x+100、59
9)*2 I(4):(x+700、y+525)−(799、5
99)*2 が、図7(a)に示すセカンダリモニタの表示部分
(1)、(2)、(3)、(4)に割当てられる(S2
6)。セカンダリモニタでの表示制御はS24(領域C
での表示制御)での処理と同様である。
525(Yv−Yr/2)との間に位置し(S21でN
O、S27でYES)、かつポインタの座標値xが70
0より大きい場合(S28でYES)、ポインタが図5
に示す領域Fに位置すると判定される。この場合、図6
Fに示すプライマリモニタ上の画像部分I(1)、I
(2) I(1):(x−100、y−75)−(799、y+
75) I(2):(0、y−75)−(x−700、y+7
5)*1 が、図7(f)に示すセカンダリモニタの表示部分
(1)、(2)に割当てられる。そして、特にノーマル
モードであれば、画像部分I(2)が背景画に代えられ
る。そして、各領域(1)、(2)に割当てられた画像
部分が各モードに従ってセカンダリモニタ(HMD1
0)に表示される(S30)。
に位置し(S21でNO、S27でYES)、かつポイ
ンタの座標値xが100と700との間に位置する場合
(S28でNO、S29でYES)、ポインタが図5に
示す領域Eに位置すると判定される。この場合、図6E
に示すプライマリモニタ上の画像部分I(1) I(1):(x−100、y−75)−(x+100、
y+75) が、図7(e)に示すセカンダリモニタの表示部分
(1)(全体)に表示される(S31)。
に位置し(S21でNO、S27でYES)、かつポイ
ンタの座標値xが100より小さい場合(S28でN
O、S29でNO)、ポインタが図5に示す領域Dに位
置すると判定される。この場合、図6Dに示すプライマ
リモニタ上の画像部分I(1)、I(2) I(1):(0、y−75)−(x+100、y+7
5) I(2):(x+700、y−75)−(799、y+
75)*1 が、図7(d)に示すプライマリモニタ上の表示部分
(1)、(2)に割当てられる(S32)。セカンダリ
モニタでの表示制御はS30(領域Fでの表示制御)で
の処理と同様である。
きく(S27でNO)、かつポインタの座標値xが70
0より大きい場合(S33でYES)、ポインタが図5
に示す領域Iに位置すると判定される。この場合、図6
Iに示すプライマリモニタ上の画像部分I(1)、I
(2)、I(3)、I(4) I(1):(x−100、y−75)−(799、59
9) I(2):(0、y−75)−(x−700、599)
*1 I(3):(x−100、0)−(799、y−52
5)*2 I(4):(0、0)−(x−700、y−525)*2 が、図7(i)に示すセカンダリモニタの表示部分
(1)、(2)、(3)、(4)に割当てられる(S3
5)。セカンダリモニタでの表示制御はS24(領域C
での表示制御)での処理と同様である。
(S27でNO)、かつポインタの座標値xが100と
700との間に位置する場合(S33でNO、S34で
YES)、ポインタが図5に示す領域Hに位置すると判
定される。この場合、図6Hに示すプライマリモニタ上
の画像部分I(1)、I(2) I(1):(x−100、y−75)−(x+100、
599) I(2):(x−100、0)−(x+100、y−5
25)*2 が、図7(h)に示すセカンダリモニタの表示部分
(1)、(2)に割当てられる(S36)、セカンダリ
モニタでの表示制御はS25(領域Bでの表示制御)で
の処理と同様である。
(S27でNO)、かつポインタの座標値xが100よ
り小さい場合(S33でNO、S34でNO)ポインタ
が図5に示す領域Gに位置すると判定される。この場
合、図6Gに示すプライマリモニタ上の画像部分I
(1)、I(2)、I(3)、I(4) I(1):(0、y−75)−(x+100、599) I(2):(x+700、y−75)−(799、59
9)*1 I(3):(0、0)−(x+100、y−525)*2 I(4):(x+700、0)−(799、y−52
5)*2 が、図7(g)に示すセカンダリモニタの表示部分
(1)、(2)、(3)、(4)に割当てられる(S3
7)。セカンダリモニタでの表示制御はS24(領域C
での表示制御)での制御と同様である。
ユーザが頭を動かす過程で、HMDP40からの検出信
号に基づいてポインタの位置(座標)が取得される毎
に、図9、図10、図11に示す処理が実行される。そ
の結果、マルチモニタ機能にて形成されるセカンダリモ
ニタに対応したHMD10の表示画面には、そのポイン
タの位置する領域毎に定められた仮想空間ディスプレイ
(プライマリモニタ)の画像部分(図5乃至図7参照)が
表示される。これにより、ユーザは、HMD10によっ
て仮想空間ディスプレイ上を表示領域Edを移動させな
がら当該仮想空間ディスプレイ上の画像を見ることがで
きる。
域Gの座標(x、y)=(50、550)に位置する場
合、図12(A)に示す仮想空間ディスプレイ(プライ
マリモニタ)における画像部分I(1)、I(2)、I
(3)、I(4) I(1):(0、475)−(150、599) I(2):(750、475)−(799、599) I(3):(0、0)−(150、25) I(4):(750、0)−(799、25) が、HMD10の表示画面(セカンダリモニタ)の表示
部分(1)、(2)、(3)、(4)に割当てられる。
そして、表示モードがノーマルモードであれば、表示部
分(2)、(3)、(4)が背景画(黒画像)となる。
その結果、画像部分I(1)がHMD10の表示画面の
表示部分(1)に表示されることにより、ユーザは、例
えば、図13に示すような画像を見ることができる。ま
た、表示モードがバーチャルシリンダモードであれば、
表示部分(3)、(4)が背景画となる。その結果、画
像部分I(1)及びI(2)がHMD10の表示画面の
表示部分(1)、(2)に表示されることにより、ユー
ザは、例えば、図14に示すような画像を見ることがで
きる。更に、表示モードがバーチャルスフィアモードで
あれば、画像部分I(1)、I(2)、I(3)、I
(4)が表示部分(1)、(2)、(3)、(4)に表
示されることにより、ユーザは、例えば、図15に示す
ような画像を見ることができる。
間ディスプレイ上に設定される表示領域Edの画像がH
MDに表示され、ユーザの頭の動きに応じてその表示領
域Edが移動するようになる。そして、所望の画像部分
で頭の移動を止め、ヘッドホンマイク30から、例え
ば、クリック操作に対応した音声を入力すると、仮想空
間ディスプレイにおけるポインタ位置の画像部分が指定
されたことをシステムは認識することができる。また、
表示モードをバーチャルシリンダモードまたはバーチャ
ルスフィアモードにしておけば(音声入力により指定で
きる)、ポインタが仮想空間ディスプレイの末端に達し
ても、仮想空間ディスプレイの逆側末端の画像が引続き
表示されているので、仮想空間ディスプレイ上の所望の
位置を探査するために頭を動かす方向の変化を減らすこ
とができ、その所望の位置を探査しやすくなる。
変えながら仮想空間ディスプレイ上でポインタを移動さ
せることになる。そのため、長い距離ポインタを移動さ
せるには、ユーザは頭の回転量や体のひねり量を多くし
なければならない。特に、バーチャルシリンダモードや
バーチャルスフィアモードでは、ポインタの移動距離が
長くなくなりやすいので、頭の回転量や体のひねり量が
益々多くなり得る。このように長い距離ポインタを移動
させるのに、頭の回転量や体のひねり量が増えるのを防
止するため、上述したオフセット機能がある。更に、こ
のオフセット機能は、センサのずれを補うものである。
インタを移動させている過程で、オフセット機能を有効
にすると(音声入力により指定できる)、図9に示すS
5での処理により、ポインタの座標(x、y)がオフセ
ット座標(Wx、Wy)に固定される。以後、オフセッ
ト機能が有効である間、顔の向きを変えても仮想空間デ
ィスプレイ上でのポインタの位置が固定され、HMD1
0に表示されるそのポインタを中心とした領域の画像も
変化しない。従って、オフセット機能を無効にした状態
で、頭の動きに応じてポインタを移動させ、オフセット
機能を有効にしてポインタを停止させた状態で、頭を戻
し、更に、オフセット機能を無効にして、頭の動きに応
じてポインタを更に移動させることができる。このよう
に、オフセット機能の有効、無効を繰り返すことによ
り、少ない量の頭の動きを繰り返して長い距離ポインタ
を移動させることが可能となる。
ンサを内蔵したHMDP40及びマウスインターフェー
ス140を利用して、そのマウスインターフェースから
通知される頭の動きの相対的な移動量に従って表示画面
が制御される。画像表示アプリケーション150がマウ
スインタフェース140から通知されたポインタの座標
値を取得し、その取得した座標値により画像を移動させ
るため、HMD10が高解像度、低解像度のいずれの場
合であっても表示画像のスムーズな移動が可能となる。
例えば、映像角100度の範囲を100ドットで見た場
合でも、同範囲を1000ドットで見た場合でも、頭の
移動量が同じであれば、ポインタを同じ座標値に移動さ
せることが可能となる。
1の処理が表示制御手段に対応する。また、図10に示
すS12〜S15での処理、及び図11に示す処理が第
一の表示制御手段に対応し、図10に示すS12〜S2
0での処理、及び図11に示す処理が第二の表示制御手
段に対応する。また、図9に示すS3〜S5での処理が
オフセット制御手段に対応する。
至4記載の本願発明に係る表示システムによれば、ユー
ザが表示器に表示される画像を見ながら頭を動かして仮
想空間表示画面内の位置を探査する際に、表示器に表示
させる部分を頭の動きの方向をかえずに仮想空間表示画
面の一方の末端から他方の末端に移って仮想空間表示画
面内に移動させることが可能となるため、その表示器の
表示部分を見ながら仮想空間表示画面上の所望の位置の
探査がし易くなる。
れば、上記のような表示システムでの処理をコンピュー
タに行わせるためのプログラムを記憶した記憶媒体を提
供することができる。
れば、表示器の解像度によらず、頭の動きの移動量に対
応した量だけ表示すべきエリアを移動させることができ
るので、その表示器の表示部分を見ながら仮想空間表示
画面上の所望の位置の探査がし易くなる。
理を説明するための図である。
ステム構成例を示す図である。
表示画面との関係を示す図である。
領域区分の例を示す図である。
各領域部分にポインタが位置する場合における表示画像
部分の一例を示す図である。
る表示部の配列の例を示す図である。
表示画面との具体的な関係を示す図である。
ャートである。
チャートである。
チャートである。
イにおける画像部分、表示領域及びHMDの表示画面の
表示部分との更に具体的な関係を示す図である。
図である。
ド)を示す図である。
ド)を示す図である。
P) 50 CD−ROMドライバ 51 CD−ROM 100 制御装置 110 OS 110a マルチモニタ機能 120 ビデオカード 130 サウンドカード 140 インタフェース 150 画像表示アプリケーション 160 音声認識アプリケーション
Claims (6)
- 【請求項1】仮想空間表示画面の一部をユーザが装着す
る表示器に表示し、ユーザの頭の動きに応じて該表示器
に表示させる部分を移動するようにした表示システムに
おいて、 表示器に表示させる部分を移動させる際に、当該表示器
に表示させる部分が仮想空間表示画面の一方の末端から
他方の末端に移って該他方の末端から仮想空間表示画面
内に移動するように制御する表示制御手段を有する表示
システム。 - 【請求項2】請求項1記載の表示システムにおいて、 上記表示制御手段は、上記表示器に表示させる部分が仮
想空間表示画面の横方向における一方の末端から他方の
末端に移って該他方の末端から仮想空間表示画面内に移
動するように制御する第一の表示制御手段を有する表示
システム。 - 【請求項3】請求項1または2記載の表示システムにお
いて、 上記表示制御手段は、上記表示器に表示させる部分が仮
想空間表示画面の縦方向における一方の末端から他方の
末端に移って該他方の末端から仮想空間表示画面内に移
動するように制御する第二の表示制御手段を有する表示
システム。 - 【請求項4】請求項1乃至3いずれか記載の表示システ
ムにおいて、 頭の動きに対する上記表示器に表示させる部分の移動禁
止及び移動再開を制御するオフセット制御手段を有する
表示システム。 - 【請求項5】仮想空間表示画面の一部をユーザが装着す
る表示器に表示し、ユーザの頭の動きに応じて該表示器
に表示させる部分を移動するようにした表示システムで
の処理をコンピュータに行わせるためのプログラムを記
憶した記憶媒体において、 表示器に表示させる部分を移動させる際に、当該表示器
に表示させる部分が仮想空間表示画面の一方の末端から
他方の末端に移って該他方の末端から仮想空間表示画面
内に移動するように制御する表示制御手順を含むプログ
ラムを記憶した記憶媒体。 - 【請求項6】仮想空間表示画面の一部をユーザが装着す
る表示器に表示する表示システムにおいて、 ユーザの頭の動きの移動量に応じて上記表示器に表示さ
せる部分を決定する表示制御手段とを有する表示システ
ム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000157476A JP2001337645A (ja) | 2000-05-26 | 2000-05-26 | 表示システム及び記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000157476A JP2001337645A (ja) | 2000-05-26 | 2000-05-26 | 表示システム及び記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001337645A true JP2001337645A (ja) | 2001-12-07 |
Family
ID=18662105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000157476A Pending JP2001337645A (ja) | 2000-05-26 | 2000-05-26 | 表示システム及び記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001337645A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005321479A (ja) * | 2004-05-06 | 2005-11-17 | Olympus Corp | 頭部装着型表示装置 |
JP2008033891A (ja) * | 2006-06-27 | 2008-02-14 | Matsushita Electric Ind Co Ltd | 表示装置及びその制御方法 |
JP2008065675A (ja) * | 2006-09-08 | 2008-03-21 | Ritsumeikan | 複合現実感システムとそのイベント入力方法及びヘッドマウントディスプレイ |
WO2016092698A1 (ja) * | 2014-12-12 | 2016-06-16 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2017004491A (ja) * | 2016-01-20 | 2017-01-05 | 株式会社コロプラ | フローティング・グラフィカルユーザインターフェース |
JP2017054201A (ja) * | 2015-09-07 | 2017-03-16 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像生成方法 |
JP2021501397A (ja) * | 2017-10-27 | 2021-01-14 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 拡張現実システムのための仮想レチクル |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05241764A (ja) * | 1992-03-02 | 1993-09-21 | Toshiba Corp | 表示制御方式 |
JPH10240213A (ja) * | 1997-03-03 | 1998-09-11 | Olympus Optical Co Ltd | 映像表示装置 |
JPH11153987A (ja) * | 1997-11-19 | 1999-06-08 | Olympus Optical Co Ltd | グラフィック表示装置 |
-
2000
- 2000-05-26 JP JP2000157476A patent/JP2001337645A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05241764A (ja) * | 1992-03-02 | 1993-09-21 | Toshiba Corp | 表示制御方式 |
JPH10240213A (ja) * | 1997-03-03 | 1998-09-11 | Olympus Optical Co Ltd | 映像表示装置 |
JPH11153987A (ja) * | 1997-11-19 | 1999-06-08 | Olympus Optical Co Ltd | グラフィック表示装置 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005321479A (ja) * | 2004-05-06 | 2005-11-17 | Olympus Corp | 頭部装着型表示装置 |
JP2008033891A (ja) * | 2006-06-27 | 2008-02-14 | Matsushita Electric Ind Co Ltd | 表示装置及びその制御方法 |
JP2008065675A (ja) * | 2006-09-08 | 2008-03-21 | Ritsumeikan | 複合現実感システムとそのイベント入力方法及びヘッドマウントディスプレイ |
WO2016092698A1 (ja) * | 2014-12-12 | 2016-06-16 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
US9965830B2 (en) | 2014-12-12 | 2018-05-08 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
JP2017054201A (ja) * | 2015-09-07 | 2017-03-16 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像生成方法 |
US10627628B2 (en) | 2015-09-07 | 2020-04-21 | Sony Interactive Entertainment Inc. | Information processing apparatus and image generating method |
JP2017004491A (ja) * | 2016-01-20 | 2017-01-05 | 株式会社コロプラ | フローティング・グラフィカルユーザインターフェース |
JP2021501397A (ja) * | 2017-10-27 | 2021-01-14 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 拡張現実システムのための仮想レチクル |
JP7116166B2 (ja) | 2017-10-27 | 2022-08-09 | マジック リープ, インコーポレイテッド | 拡張現実システムのための仮想レチクル |
JP7480218B2 (ja) | 2017-10-27 | 2024-05-09 | マジック リープ, インコーポレイテッド | 拡張現実システムのための仮想レチクル |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
USRE42336E1 (en) | Intuitive control of portable data displays | |
US6127990A (en) | Wearable display and methods for controlling same | |
US20220075466A1 (en) | External user interface for head worn computing | |
RU2288512C2 (ru) | Способ и устройство для просмотра информации на дисплее | |
US9817232B2 (en) | Head movement controlled navigation among multiple boards for display in a headset computer | |
US20100100853A1 (en) | Motion controlled user interface | |
US10642348B2 (en) | Display device and image display method | |
US20020044152A1 (en) | Dynamic integration of computer generated and real world images | |
JPH08202281A (ja) | 頭部装着型映像表示装置システム | |
US20190385372A1 (en) | Positioning a virtual reality passthrough region at a known distance | |
US20110173563A1 (en) | Information processing apparatus and display method | |
JP2002328040A (ja) | ナビゲーション装置、情報表示装置、画像の縮尺変更方法、記憶媒体、プログラム | |
US10600246B2 (en) | Pinning virtual reality passthrough regions to real-world locations | |
WO2017051595A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JPH09179062A (ja) | コンピュータシステム | |
JP2001337645A (ja) | 表示システム及び記憶媒体 | |
JPH10161801A (ja) | 入力装置 | |
JPH07248872A (ja) | 入力装置及び演算入出力装置 | |
JP4761603B2 (ja) | 表示制御装置 | |
KR100320297B1 (ko) | 신체 아이콘을 이용한 가상 공간 탐색 인터페이스 방법 | |
KR102312601B1 (ko) | 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치 | |
JP2000242383A (ja) | 画面表示拡大制御装置 | |
JP2638444B2 (ja) | 頭部搭載型画像表示装置 | |
JPH09128138A (ja) | 画像表示装置および方法 | |
WO2023166893A1 (ja) | 情報処理システム、情報処理方法、及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100608 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100824 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110104 |