JP2003296757A - 情報処理方法および装置 - Google Patents
情報処理方法および装置Info
- Publication number
- JP2003296757A JP2003296757A JP2002095537A JP2002095537A JP2003296757A JP 2003296757 A JP2003296757 A JP 2003296757A JP 2002095537 A JP2002095537 A JP 2002095537A JP 2002095537 A JP2002095537 A JP 2002095537A JP 2003296757 A JP2003296757 A JP 2003296757A
- Authority
- JP
- Japan
- Prior art keywords
- operator
- instruction
- image
- pointing
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0338—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B2027/0192—Supplementary details
- G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【課題】 操作者が三次元空間に対して、操作者の視点
から見た画面を見ながら二次元入力手段を用いて操作を
行う際、操作者の視線方向が不安定な場合には指示方向
がワールド座標系の中で大きくぶれてしまうため、入力
が難しいという問題があった。 【解決手段】 視点情報を検出し、指示画像の位置を操
作するための操作者の指示を入力し、操作者の指示に応
じて、指示座標系における指示方向を求め、指示方向に
基づき指示画像を生成する。そして、操作者の特定の指
示に応じて、検出された視点情報から指示座標系を変更
する。
から見た画面を見ながら二次元入力手段を用いて操作を
行う際、操作者の視線方向が不安定な場合には指示方向
がワールド座標系の中で大きくぶれてしまうため、入力
が難しいという問題があった。 【解決手段】 視点情報を検出し、指示画像の位置を操
作するための操作者の指示を入力し、操作者の指示に応
じて、指示座標系における指示方向を求め、指示方向に
基づき指示画像を生成する。そして、操作者の特定の指
示に応じて、検出された視点情報から指示座標系を変更
する。
Description
【０００１】
【発明の属する技術分野】操作者によって操作される指
示画像が合成された画像を表示する情報処理方法および
情報処理装置に関する。
示画像が合成された画像を表示する情報処理方法および
情報処理装置に関する。
【０００２】
【従来の技術】ヴァーチャルリアリティ（ＶＲ）では、
三次元仮想空間をＨＭＤ等のディスプレイを用いて操作
者の視点から見て、その中で作業を行うことが可能であ
る。また、複合現実感（ＭＲ）では、操作者がシースル
ーＨＭＤを用いることで、現実空間と三次元仮想空間を
重ねて見ることが可能になっている。
三次元仮想空間をＨＭＤ等のディスプレイを用いて操作
者の視点から見て、その中で作業を行うことが可能であ
る。また、複合現実感（ＭＲ）では、操作者がシースル
ーＨＭＤを用いることで、現実空間と三次元仮想空間を
重ねて見ることが可能になっている。
【０００３】また、テレプレゼンスシステムでは、操作
者が遠隔地にあるカメラを操作し、そのカメラの捉えた
映像を見ながら作業を行うことで、あたかも遠隔地に操
作者が実際に存在するかのようにして作業を行うことが
可能である。
者が遠隔地にあるカメラを操作し、そのカメラの捉えた
映像を見ながら作業を行うことで、あたかも遠隔地に操
作者が実際に存在するかのようにして作業を行うことが
可能である。
【０００４】さて、このようなＶＲやＭＲ、テレプレゼ
ンスシステムにおいて、操作者が現実または仮想の三次
元空間に対して何らかの操作を行う場合がある。たとえ
ば操作者が三次元仮想空間内の仮想の物体を動かした
り、現実の三次元空間の物体を指定してその情報をディ
スプレイに表示したりといった場合である。こうした操
作は、従来、三次元的に指示が可能な磁気センサや光学
センサなどの三次元入力装置で行われてきた。
ンスシステムにおいて、操作者が現実または仮想の三次
元空間に対して何らかの操作を行う場合がある。たとえ
ば操作者が三次元仮想空間内の仮想の物体を動かした
り、現実の三次元空間の物体を指定してその情報をディ
スプレイに表示したりといった場合である。こうした操
作は、従来、三次元的に指示が可能な磁気センサや光学
センサなどの三次元入力装置で行われてきた。
【０００５】このような三次元空間に対して三次元入力
装置で操作を入力する方法に対して、マウスなどの二次
元入力装置を用いて三次元空間に操作を行う方法が知ら
れている。このような入力法の例として、例えば、マウ
スなどの入力装置を用いて、三次元空間を透視変換され
たスクリーン座標（ｘ，ｙ）上での指示位置から奥行方
向ｚ座標の値をあらかじめ用意したテーブルから得るこ
とで三次元空間への入力を行う方法が知られている。
装置で操作を入力する方法に対して、マウスなどの二次
元入力装置を用いて三次元空間に操作を行う方法が知ら
れている。このような入力法の例として、例えば、マウ
スなどの入力装置を用いて、三次元空間を透視変換され
たスクリーン座標（ｘ，ｙ）上での指示位置から奥行方
向ｚ座標の値をあらかじめ用意したテーブルから得るこ
とで三次元空間への入力を行う方法が知られている。
【０００６】これらの二次元入力装置を用いた手法は、
いずれも三次元空間を透視変換した画像上において、ポ
インタを二次元入力装置で操作することによって入力を
行っている。このような従来の入力法で三次元空間に対
して二次元入力装置で操作を入力するＶＲアプリケーシ
ョンの例を以下に記す。
いずれも三次元空間を透視変換した画像上において、ポ
インタを二次元入力装置で操作することによって入力を
行っている。このような従来の入力法で三次元空間に対
して二次元入力装置で操作を入力するＶＲアプリケーシ
ョンの例を以下に記す。
【０００７】操作者は図１に示されるようなＨＭＤ２０
１を装着する。ＨＭＤ２０１は操作者に三次元仮想空間
を提示する。ＨＭＤ２０１には頭部位置姿勢センサ２０
２が付いており、頭部位置姿勢センサ２０２はＨＭＤ２
０１の位置および姿勢を出力する。また、操作者は手に
図２に示されるような二次元入力装置１０１を持つ。操
作者は、二次元ポインティングスティック１０２によっ
て二次元の値を入力することができる。すなわち、ポイ
ンティングスティック１０２を倒す方向と角度によっ
て、図のように（ｘ，ｙ）＝（０，０）〜（１００，１
００）の値を入力することができる。また、二次元入力
装置１０１は第一ボタン１０３および第二ボタン１０４
を備える。
１を装着する。ＨＭＤ２０１は操作者に三次元仮想空間
を提示する。ＨＭＤ２０１には頭部位置姿勢センサ２０
２が付いており、頭部位置姿勢センサ２０２はＨＭＤ２
０１の位置および姿勢を出力する。また、操作者は手に
図２に示されるような二次元入力装置１０１を持つ。操
作者は、二次元ポインティングスティック１０２によっ
て二次元の値を入力することができる。すなわち、ポイ
ンティングスティック１０２を倒す方向と角度によっ
て、図のように（ｘ，ｙ）＝（０，０）〜（１００，１
００）の値を入力することができる。また、二次元入力
装置１０１は第一ボタン１０３および第二ボタン１０４
を備える。
【０００８】図３はこのようなアプリケーションで操作
者に提示される三次元仮想空間の概要を表している。三
次元仮想空間３００は直方体３０１で構成され、直方体
３０１の内部には仮想の球体Ａ３０２、Ｂ３０３、Ｃ３
０４が浮遊している。また、操作者も直方体３０１の内
部に存在する。また、３０６は直方体３０１の隅を原点
としたワールド座標系である。図４は仮想空間３００の
操作者視点からの見え方を表したものである。
者に提示される三次元仮想空間の概要を表している。三
次元仮想空間３００は直方体３０１で構成され、直方体
３０１の内部には仮想の球体Ａ３０２、Ｂ３０３、Ｃ３
０４が浮遊している。また、操作者も直方体３０１の内
部に存在する。また、３０６は直方体３０１の隅を原点
としたワールド座標系である。図４は仮想空間３００の
操作者視点からの見え方を表したものである。
【０００９】図５は操作者のＨＭＤ２０１に表示される
画面５００を表したものである。画面５００は幅６４０
ピクセル、高さ４８０ピクセルからなり、その画面上で
の座標位置は画面５００の左上を原点として（Ｘ，Ｙ）
＝（６４０，４８０）のように表される。５０１は画面
５００に表示されるポインタであり、操作者が二次元ポ
インティングスティック１０２を操作することで移動す
る。ポインタ５０１はポインティングスティック１０２
の操作量に応じて画面５００上を移動し、図５では
（Ｘ，Ｙ）＝（４９０，８０）の位置にある。
画面５００を表したものである。画面５００は幅６４０
ピクセル、高さ４８０ピクセルからなり、その画面上で
の座標位置は画面５００の左上を原点として（Ｘ，Ｙ）
＝（６４０，４８０）のように表される。５０１は画面
５００に表示されるポインタであり、操作者が二次元ポ
インティングスティック１０２を操作することで移動す
る。ポインタ５０１はポインティングスティック１０２
の操作量に応じて画面５００上を移動し、図５では
（Ｘ，Ｙ）＝（４９０，８０）の位置にある。
【００１０】操作者が第一ボタン１０３を押すと、画面
５００上でポインタ５０１の下にある物体が指定され
る。例えば、図５ではポインタ５０１が仮想球体Ａ３０
２に重ねて表示されているため、この時に操作者が第一
ボタン１０３を押すと、仮想球体Ａ３０２が指定され
る。この時、ポインタ５０１が仮想球体Ａ３０２の上に
あるかどうかの判断は、例えば座標（４９０，８０）の
Ｚバッファ値を獲得することで可能である。
５００上でポインタ５０１の下にある物体が指定され
る。例えば、図５ではポインタ５０１が仮想球体Ａ３０
２に重ねて表示されているため、この時に操作者が第一
ボタン１０３を押すと、仮想球体Ａ３０２が指定され
る。この時、ポインタ５０１が仮想球体Ａ３０２の上に
あるかどうかの判断は、例えば座標（４９０，８０）の
Ｚバッファ値を獲得することで可能である。
【００１１】
【発明が解決しようとする課題】上述した磁気センサや
光学センサを用いた三次元入力装置は一般に高価であ
る。また、使用するセンサによっては一度に計測できる
被計測物の数が限られている場合があるため、入力装置
をセンサで測定することができない場合があった。ま
た、光学センサを用いた三次元入力装置などでは計測装
置と計測対象の間が体や物体によって遮られてしまうと
計測できなくなるという問題があった。
光学センサを用いた三次元入力装置は一般に高価であ
る。また、使用するセンサによっては一度に計測できる
被計測物の数が限られている場合があるため、入力装置
をセンサで測定することができない場合があった。ま
た、光学センサを用いた三次元入力装置などでは計測装
置と計測対象の間が体や物体によって遮られてしまうと
計測できなくなるという問題があった。
【００１２】マウスなどの二次元入力装置を用いれば上
述の問題は回避できるが、従来の三次元空間を透視変換
した画像上においてポインタを二次元入力装置で移動さ
せるという方法では、操作者の視線方向が不安定な場合
に、ポインタの指示方向が三次元空間で大きく変化して
しまう。言い換えると、指示方向が視野座標系によって
定義されるため、視野座標系が固定されていない場合
に、指示方向がワールド座標系の中で大きく変化してし
まうという問題がある。
述の問題は回避できるが、従来の三次元空間を透視変換
した画像上においてポインタを二次元入力装置で移動さ
せるという方法では、操作者の視線方向が不安定な場合
に、ポインタの指示方向が三次元空間で大きく変化して
しまう。言い換えると、指示方向が視野座標系によって
定義されるため、視野座標系が固定されていない場合
に、指示方向がワールド座標系の中で大きく変化してし
まうという問題がある。
【００１３】たとえば操作者がＨＭＤを装着している場
合、ＨＭＤの重みなどで操作者の頭部がふらつくと、画
面上でポインタの位置座標が変わらなくても、指示方向
が大きく変化してしまう。そのため、正確に三次元空間
内の物体を指示するためには操作者が頭部を固定する必
要があり、ユーザに苦痛を強いることになっていた。こ
の問題を以下で図を用いて説明する。
合、ＨＭＤの重みなどで操作者の頭部がふらつくと、画
面上でポインタの位置座標が変わらなくても、指示方向
が大きく変化してしまう。そのため、正確に三次元空間
内の物体を指示するためには操作者が頭部を固定する必
要があり、ユーザに苦痛を強いることになっていた。こ
の問題を以下で図を用いて説明する。
【００１４】図６は上述のＶＲアプリケーションにおい
て、ワールド座標系３０６と視野座標系６０１の関係を
示した図である。視野座標系６０１のワールド座標系３
０６における位置および姿勢は頭部位置姿勢センサ２０
２から得られる。画像平面６０２は視野座標系６０１に
対して相対的に配置され、操作者の指示方向６０３は視
野座標系６０１の原点とポインタ５０１を結ぶ矢印で表
される。
て、ワールド座標系３０６と視野座標系６０１の関係を
示した図である。視野座標系６０１のワールド座標系３
０６における位置および姿勢は頭部位置姿勢センサ２０
２から得られる。画像平面６０２は視野座標系６０１に
対して相対的に配置され、操作者の指示方向６０３は視
野座標系６０１の原点とポインタ５０１を結ぶ矢印で表
される。
【００１５】図７は、操作者の頭部がふらつき、操作者
の視線方向が変化した場合に、操作者の指示方向６０３
がどのように変化するかを示した図である。図７に示す
ように、操作者の視線方向が変化することによってワー
ルド座標系３０６と視野座標系６０１の関係が変化し、
画像平面６０２およびポインタ５０１の位置が変わり、
ワールド座標系３０６における指示方向６０３の示す方
向が大きく変化している。
の視線方向が変化した場合に、操作者の指示方向６０３
がどのように変化するかを示した図である。図７に示す
ように、操作者の視線方向が変化することによってワー
ルド座標系３０６と視野座標系６０１の関係が変化し、
画像平面６０２およびポインタ５０１の位置が変わり、
ワールド座標系３０６における指示方向６０３の示す方
向が大きく変化している。
【００１６】図８はこのとき操作者のＨＭＤ２０１に表
示される画面８０１を表したものである。点線で示され
ている枠８０２は視線方向が変化する前、すなわち図６
の時点での画面位置を示している。図からわかるよう
に、視線方向が変化する前はポインタ５０１は仮想球体
Ａ３０２に重ねて表示されているが、視線方向の変化に
よってポインタ５０１の位置が変化し、仮想球体Ａ３０
２から離れて表示されている。そのため、仮想球体Ａ３
０２を指定するためには再びポインタ５０１を移動させ
ねばならず、移動後も頭部がふらつき視線方向が変化し
た際にはまた同じ作業を行う必要がある。つまり、安定
して操作を行うためにはＨＭＤ２０１を装着した頭部を
固定する必要があり、これは操作者に苦痛をもたらす。
示される画面８０１を表したものである。点線で示され
ている枠８０２は視線方向が変化する前、すなわち図６
の時点での画面位置を示している。図からわかるよう
に、視線方向が変化する前はポインタ５０１は仮想球体
Ａ３０２に重ねて表示されているが、視線方向の変化に
よってポインタ５０１の位置が変化し、仮想球体Ａ３０
２から離れて表示されている。そのため、仮想球体Ａ３
０２を指定するためには再びポインタ５０１を移動させ
ねばならず、移動後も頭部がふらつき視線方向が変化し
た際にはまた同じ作業を行う必要がある。つまり、安定
して操作を行うためにはＨＭＤ２０１を装着した頭部を
固定する必要があり、これは操作者に苦痛をもたらす。
【００１７】上記の例はＨＭＤを用いたＶＲアプリケー
ションの例であったが、この問題はＭＲアプリケーショ
ンやテレプレゼンスアプリケーションにおいても同様に
問題となる。たとえば、テレプレゼンスシステムにおい
ては、遠隔地にカメラを置いた場合に、機械的な要因や
風などの外部環境の変化からカメラの撮影方向がふらつ
くことがある。上述した従来の手法は視点位置および視
線方向が固定された状態を前提としている方法であるた
め、このような問題に対応できない。
ションの例であったが、この問題はＭＲアプリケーショ
ンやテレプレゼンスアプリケーションにおいても同様に
問題となる。たとえば、テレプレゼンスシステムにおい
ては、遠隔地にカメラを置いた場合に、機械的な要因や
風などの外部環境の変化からカメラの撮影方向がふらつ
くことがある。上述した従来の手法は視点位置および視
線方向が固定された状態を前提としている方法であるた
め、このような問題に対応できない。
【００１８】本発明の目的は、上述の課題を解決し、操
作者の視線方向が不安定な場合においても、安定して入
力を行うことができるようにすることを目的とする。
作者の視線方向が不安定な場合においても、安定して入
力を行うことができるようにすることを目的とする。
【００１９】
【課題を解決するための手段】上記目的を達成するため
に本発明は以下の構成を有することを特徴とする。
に本発明は以下の構成を有することを特徴とする。
【００２０】本願請求項１の発明は、指示画像が合成さ
れた画像を表示する情報処理方法であって、視点情報を
検出し、前記指示画像の位置を操作するための操作者の
指示を入力し、前記操作者の指示に応じて、指示座標系
における指示方向を求め、前記指示方向に基づき指示画
像を生成する情報処理方法であり、前記操作者の特定の
指示に応じて、前記検出された視点情報から前記指示座
標系を変更することを特徴とする。
れた画像を表示する情報処理方法であって、視点情報を
検出し、前記指示画像の位置を操作するための操作者の
指示を入力し、前記操作者の指示に応じて、指示座標系
における指示方向を求め、前記指示方向に基づき指示画
像を生成する情報処理方法であり、前記操作者の特定の
指示に応じて、前記検出された視点情報から前記指示座
標系を変更することを特徴とする。
【００２１】本願請求項５の発明は、操作者の視点情報
を検出するセンサ、操作者が前記指示画像の位置を操作
する指示を入力する操作部、前記操作部に入力された指
示に応じて、指示座標系における指示方向を求める指示
方向決定部、前記指示方向に基づき指示画像を生成し、
他の画像と合成する画像生成部、前記画像生成部によっ
て生成された合成画像を表示する表示部とを有し、前記
指示座標系は、前記操作者の指示に応じて、前記検出さ
れた視点情報を用いて変更されることを特徴とする。
を検出するセンサ、操作者が前記指示画像の位置を操作
する指示を入力する操作部、前記操作部に入力された指
示に応じて、指示座標系における指示方向を求める指示
方向決定部、前記指示方向に基づき指示画像を生成し、
他の画像と合成する画像生成部、前記画像生成部によっ
て生成された合成画像を表示する表示部とを有し、前記
指示座標系は、前記操作者の指示に応じて、前記検出さ
れた視点情報を用いて変更されることを特徴とする。
【００２２】
【発明の実施の形態】以下、図面を参照して本発明の好
ましい実施形態について説明する。本実施形態は、操作
者がＨＭＤを装着し、仮想の三次元空間内に存在する仮
想の球体を指定する前述のＶＲアプリケーションである
が、入力方法が前述の方法とは異なる。本実施形態の入
力方法は、任意のＶＲおよびＭＲアプリケーション、お
よびテレプレゼンスアプリケーションに適用することが
できる。
ましい実施形態について説明する。本実施形態は、操作
者がＨＭＤを装着し、仮想の三次元空間内に存在する仮
想の球体を指定する前述のＶＲアプリケーションである
が、入力方法が前述の方法とは異なる。本実施形態の入
力方法は、任意のＶＲおよびＭＲアプリケーション、お
よびテレプレゼンスアプリケーションに適用することが
できる。
【００２３】図９は、本実施形態における入力方法の構
成例を示すブロック図である。本発明は、二次元入力装
置１０１、頭部位置姿勢センサ２０２、ＨＭＤ２０１を
備え、さらに指示方向決定手段９０１および指示方向復
帰手段９０２および指示方向リセット手段９０３および
画像生成手段９０４を備える。各部の説明を以下で行
う。
成例を示すブロック図である。本発明は、二次元入力装
置１０１、頭部位置姿勢センサ２０２、ＨＭＤ２０１を
備え、さらに指示方向決定手段９０１および指示方向復
帰手段９０２および指示方向リセット手段９０３および
画像生成手段９０４を備える。各部の説明を以下で行
う。
【００２４】二次元入力装置１０１はたとえばポインテ
ィングスティックからなり、操作者はこれを操作して二
次元の値を入力することができる。二次元入力装置１０
１は二次元の値を入力できるものであれば何でもよく、
たとえばマウスであってもよい。また、たとえば、上下
ボタン、左右ボタンの４つのボタンで構成されてもよ
い。出力される二次元入力値は指示方向決定手段９０１
に送られる。
ィングスティックからなり、操作者はこれを操作して二
次元の値を入力することができる。二次元入力装置１０
１は二次元の値を入力できるものであれば何でもよく、
たとえばマウスであってもよい。また、たとえば、上下
ボタン、左右ボタンの４つのボタンで構成されてもよ
い。出力される二次元入力値は指示方向決定手段９０１
に送られる。
【００２５】頭部位置姿勢センサ２０２はたとえばＨＭ
Ｄ２０１に装着された磁気センサからなり、ＨＭＤ２０
１の視点位置（３自由度）および視点の姿勢（３自由
度）の計６自由度を随時出力する。頭部位置姿勢センサ
２０２は必ずしも６自由度を出力できる必要はなく、た
とえばＨＭＤ２０１の位置が固定されている場合には、
姿勢の３自由度のみを出力できればよい。頭部位置姿勢
センサ２０２は、ＨＭＤ２０１の位置姿勢情報を出力で
きるものであれば何で構成されてもよく、たとえばロー
タリーエンコーダや光学センサから構成される。出力さ
れた位置・姿勢情報は指示方向決定手段９０１に送られ
る。
Ｄ２０１に装着された磁気センサからなり、ＨＭＤ２０
１の視点位置（３自由度）および視点の姿勢（３自由
度）の計６自由度を随時出力する。頭部位置姿勢センサ
２０２は必ずしも６自由度を出力できる必要はなく、た
とえばＨＭＤ２０１の位置が固定されている場合には、
姿勢の３自由度のみを出力できればよい。頭部位置姿勢
センサ２０２は、ＨＭＤ２０１の位置姿勢情報を出力で
きるものであれば何で構成されてもよく、たとえばロー
タリーエンコーダや光学センサから構成される。出力さ
れた位置・姿勢情報は指示方向決定手段９０１に送られ
る。
【００２６】ＨＭＤ２０１は操作者に操作者視点からの
映像を提示する。指示方向決定手段９０１は二次元入力
装置１０１から二次元入力値を、頭部位置姿勢センサ２
０２からＨＭＤ２０１の位置・姿勢情報を受け取り、指
示方向を決定する。指示方向リセット手段９０３は指示
方向のリセットを行う。指示方向復帰手段９０２は指示
方向の復帰を行う。画像生成手段９０４は指示方向手段
９０１から指示方向情報およびＨＭＤ２０１の位置・姿
勢情報を受け取り、ＨＭＤ２０１の視界に納まる範囲の
三次元仮想空間を描画し、また指示方向を表すポインタ
を描画し、ＨＭＤ２０１に描画した映像を送る。
映像を提示する。指示方向決定手段９０１は二次元入力
装置１０１から二次元入力値を、頭部位置姿勢センサ２
０２からＨＭＤ２０１の位置・姿勢情報を受け取り、指
示方向を決定する。指示方向リセット手段９０３は指示
方向のリセットを行う。指示方向復帰手段９０２は指示
方向の復帰を行う。画像生成手段９０４は指示方向手段
９０１から指示方向情報およびＨＭＤ２０１の位置・姿
勢情報を受け取り、ＨＭＤ２０１の視界に納まる範囲の
三次元仮想空間を描画し、また指示方向を表すポインタ
を描画し、ＨＭＤ２０１に描画した映像を送る。
【００２７】図１０は、本実施形態の入力方法の処理手
順の例を示すフローチャートである。以下、図１０を参
照しながら順を追って本発明の入力方法の説明を行う。
順の例を示すフローチャートである。以下、図１０を参
照しながら順を追って本発明の入力方法の説明を行う。
【００２８】ステップＳ１０１で頭部位置姿勢センサ２
０２からＨＭＤ２０１の位置・姿勢が取得される。取得
された位置・姿勢情報は指示方向決定手段９０１に送ら
れる。ステップＳ１０２で第二ボタン１０４が押されて
いるかどうかがチェックされ、押されている場合にはス
テップＳ１０３に、押されていない場合にはステップＳ
１０４に進む。ステップＳ１０３では、指示方向リセッ
ト手段９０３において指示方向リセットが行われる。
０２からＨＭＤ２０１の位置・姿勢が取得される。取得
された位置・姿勢情報は指示方向決定手段９０１に送ら
れる。ステップＳ１０２で第二ボタン１０４が押されて
いるかどうかがチェックされ、押されている場合にはス
テップＳ１０３に、押されていない場合にはステップＳ
１０４に進む。ステップＳ１０３では、指示方向リセッ
ト手段９０３において指示方向リセットが行われる。
【００２９】図１１は指示方向リセットを説明する図で
ある。第二ボタン１０４が押された時点で、指示方向リ
セット手段９０３は頭部位置姿勢センサ２０２から得ら
れたＨＭＤ２０１の位置・姿勢情報を元にして、指示座
標系１１０１を生成する。指示座標系１１０１は、ＨＭ
Ｄ２０１の視点位置１１０２を原点とし、正面をｚ軸、
真下をｙ軸、右方向をｘ軸とした座標系である。ここ
で、指示座標系１１０１は、原点位置が視点位置１１０
２に連動し、姿勢はワールド座標系３０６に対して常に
一定であるものとする。そのため、図１２のように視点
位置１１０２が平行移動した場合には指示座標系１１０
１も一緒に動くが、図１３のように視線の向きが変わっ
た場合には指示座標系１１０１は変化しない。
ある。第二ボタン１０４が押された時点で、指示方向リ
セット手段９０３は頭部位置姿勢センサ２０２から得ら
れたＨＭＤ２０１の位置・姿勢情報を元にして、指示座
標系１１０１を生成する。指示座標系１１０１は、ＨＭ
Ｄ２０１の視点位置１１０２を原点とし、正面をｚ軸、
真下をｙ軸、右方向をｘ軸とした座標系である。ここ
で、指示座標系１１０１は、原点位置が視点位置１１０
２に連動し、姿勢はワールド座標系３０６に対して常に
一定であるものとする。そのため、図１２のように視点
位置１１０２が平行移動した場合には指示座標系１１０
１も一緒に動くが、図１３のように視線の向きが変わっ
た場合には指示座標系１１０１は変化しない。
【００３０】指示座標系１１０１が生成されると同時
に、指示方向リセット手段９０３はｚ軸上に大きさ１の
方向ベクトル１１０３を生成する。指示座標系１１０１
の原点から方向ベクトル１１０３の方向に伸ばした直線
と画像平面６０２との交点にはポインタ５０１が描画さ
れ、このポインタ５０１は指示座標系１１０１および方
向ベクトル１１０３の定義から、指示方向リセット時に
は常に画像平面６０２の中心に来る。
に、指示方向リセット手段９０３はｚ軸上に大きさ１の
方向ベクトル１１０３を生成する。指示座標系１１０１
の原点から方向ベクトル１１０３の方向に伸ばした直線
と画像平面６０２との交点にはポインタ５０１が描画さ
れ、このポインタ５０１は指示座標系１１０１および方
向ベクトル１１０３の定義から、指示方向リセット時に
は常に画像平面６０２の中心に来る。
【００３１】ステップＳ１０３で指示方向リセットが終
了すると、ステップＳ１０４において二次元入力装置１
０１から二次元入力値が取得される。ここで、操作者
は、図２に示される二次元ポインティングスティック１
０２によって二次元の値を入力することができる。すな
わち、ポインティングスティック１０２を倒す方向と角
度によって、図２のように（ｘ，ｙ）＝（０，０）〜
（１００，１００）の値を入力することができる。入力
された二次元入力値は指示方向決定手段９０１に送られ
る。
了すると、ステップＳ１０４において二次元入力装置１
０１から二次元入力値が取得される。ここで、操作者
は、図２に示される二次元ポインティングスティック１
０２によって二次元の値を入力することができる。すな
わち、ポインティングスティック１０２を倒す方向と角
度によって、図２のように（ｘ，ｙ）＝（０，０）〜
（１００，１００）の値を入力することができる。入力
された二次元入力値は指示方向決定手段９０１に送られ
る。
【００３２】ステップＳ１０５では、指示方向決定手段
９０１において指示方向６０３の決定がなされる。指示
方向６０３は指示座標系１１０１の原点から方向ベクト
ル１１０３の方向に伸ばした直線で定められる。ここで
方向ベクトル１１０３は図１４のように、二次元ポイン
ティングスティック１０２が下に倒された場合には下を
向き、右に倒された場合には右に向くように変化する。
９０１において指示方向６０３の決定がなされる。指示
方向６０３は指示座標系１１０１の原点から方向ベクト
ル１１０３の方向に伸ばした直線で定められる。ここで
方向ベクトル１１０３は図１４のように、二次元ポイン
ティングスティック１０２が下に倒された場合には下を
向き、右に倒された場合には右に向くように変化する。
【００３３】方向ベクトル１１０３を図１４のように変
化させるために、二次元入力値と方向ベクトル１１０３
との関係を例えば以下のように定める。図１９のよう
に、方向ベクトル１１０３の指示座標系ｘ−ｚ平面への
射影がｚ軸となす角をθ、大きさ１の方向ベクトル１１
０３が指示座標系ｘ−ｚ平面となす角をφとする。θ、
φの変化量ｄθ、ｄφを以下のように定める。 ｄθ＝（ｘ１−５０）／２００π ｄφ＝（ｙ１−５０）／２００π （単位：ラジアンｘ１，ｙ１はポインティングスティッ
クの二次元入力値） 以上のようにｄθ，ｄφを定め、変化量を積分していく
ことで、ある時点でのθ、φを求めることができ、この
式に従うことで図１４のように方向ベクトル１１０３を
操作することが可能である。
化させるために、二次元入力値と方向ベクトル１１０３
との関係を例えば以下のように定める。図１９のよう
に、方向ベクトル１１０３の指示座標系ｘ−ｚ平面への
射影がｚ軸となす角をθ、大きさ１の方向ベクトル１１
０３が指示座標系ｘ−ｚ平面となす角をφとする。θ、
φの変化量ｄθ、ｄφを以下のように定める。 ｄθ＝（ｘ１−５０）／２００π ｄφ＝（ｙ１−５０）／２００π （単位：ラジアンｘ１，ｙ１はポインティングスティッ
クの二次元入力値） 以上のようにｄθ，ｄφを定め、変化量を積分していく
ことで、ある時点でのθ、φを求めることができ、この
式に従うことで図１４のように方向ベクトル１１０３を
操作することが可能である。
【００３４】また、θ、φを用いて直交座標系で方向ベ
クトル１１０３を表す場合には以下の式を用いる。 ｘ＝ｓｉｎθ・ｃｏｓφ ｙ＝ｓｉｎφ ｚ＝ｃｏｓθ・ｃｏｓφ ここでは極座標を用いて方向ベクトル１１０３を表現す
る方法を挙げたが、これは図１４のようにポインティン
グスティック１０２を倒す方向と方向ベクトル１１０３
の変化する方向が一致する方法であれば何でもよく、た
とえば以下のような方法を取ってもよい。
クトル１１０３を表す場合には以下の式を用いる。 ｘ＝ｓｉｎθ・ｃｏｓφ ｙ＝ｓｉｎφ ｚ＝ｃｏｓθ・ｃｏｓφ ここでは極座標を用いて方向ベクトル１１０３を表現す
る方法を挙げたが、これは図１４のようにポインティン
グスティック１０２を倒す方向と方向ベクトル１１０３
の変化する方向が一致する方法であれば何でもよく、た
とえば以下のような方法を取ってもよい。
【００３５】方向ベクトル１１０３を指示方向リセット
時、指示座標系１１０１で（ｘ，ｙ，ｚ）＝（０，０，
１）として表現し、ｘがポインティングスティックの横
方向、またｙがポインティングスティックの縦方向で変
化させられるものとし、ｚは不変とする。ｘ，ｙの変化
量ｄｘ，ｄｙを以下のように定める。 ｄｘ＝（ｘ１−５０）／５０ ｄｙ＝（ｙ１−５０）／５０ （ｘ１，ｙ１はポインティングスティックの二次元入力
値） 以上のようにｄｘ，ｄｙを定め、変化量を積分していく
ことで、ポインティングスティックを動かした際に図１
４のように方向ベクトル１１０３を操作することが可能
である。
時、指示座標系１１０１で（ｘ，ｙ，ｚ）＝（０，０，
１）として表現し、ｘがポインティングスティックの横
方向、またｙがポインティングスティックの縦方向で変
化させられるものとし、ｚは不変とする。ｘ，ｙの変化
量ｄｘ，ｄｙを以下のように定める。 ｄｘ＝（ｘ１−５０）／５０ ｄｙ＝（ｙ１−５０）／５０ （ｘ１，ｙ１はポインティングスティックの二次元入力
値） 以上のようにｄｘ，ｄｙを定め、変化量を積分していく
ことで、ポインティングスティックを動かした際に図１
４のように方向ベクトル１１０３を操作することが可能
である。
【００３６】以上のような指示方向決定を行うことで、
操作者の視線方向が不安定な場合にも安定した入力を行
うことが可能であることを図１５、図１６を用いて説明
する。図１５は、指示方向リセットを行った後に、二次
元入力装置１０１を操作して仮想球体Ａ３０２を指示し
た状態を表している。この時、方向ベクトル１１０３は
指示座標系１１０１によって定義され、また、指示座標
系１１０１の姿勢はワールド座標系３０６において一定
である。そのため、図１６のように操作者の視線方向が
変わり、ワールド座標系３０６において画像平面６０２
が移動した場合にも、指示方向６０３はワールド座標系
３０６の中で一定で、仮想球体Ａ３０２を指示したまま
である。
操作者の視線方向が不安定な場合にも安定した入力を行
うことが可能であることを図１５、図１６を用いて説明
する。図１５は、指示方向リセットを行った後に、二次
元入力装置１０１を操作して仮想球体Ａ３０２を指示し
た状態を表している。この時、方向ベクトル１１０３は
指示座標系１１０１によって定義され、また、指示座標
系１１０１の姿勢はワールド座標系３０６において一定
である。そのため、図１６のように操作者の視線方向が
変わり、ワールド座標系３０６において画像平面６０２
が移動した場合にも、指示方向６０３はワールド座標系
３０６の中で一定で、仮想球体Ａ３０２を指示したまま
である。
【００３７】図１７はこのとき操作者のＨＭＤ２０１に
表示される画面１７０１を表したものである。点線で示
されている枠１７０２は視線方向が変化する前の時点、
つまり図１５の時点での画面位置を示している。図から
わかるように、視線方向が変化してもポインタ５０１は
仮想球体Ａ３０２を指示したままである。
表示される画面１７０１を表したものである。点線で示
されている枠１７０２は視線方向が変化する前の時点、
つまり図１５の時点での画面位置を示している。図から
わかるように、視線方向が変化してもポインタ５０１は
仮想球体Ａ３０２を指示したままである。
【００３８】従来の手法では図７、図８のように視線方
向が変わることで指示方向６０３が大きく変化するのに
比べると、本発明の手法は安定した入力が可能であるこ
とがわかる。
向が変わることで指示方向６０３が大きく変化するのに
比べると、本発明の手法は安定した入力が可能であるこ
とがわかる。
【００３９】ステップＳ１０５で以上のように指示方向
６０３が決定された後、ステップＳ１０６で指示方向復
帰手段９０２においてポインタ５０１が視界内にあるか
どうかが判断される。このステップは、操作者が指示方
向６０３を見失ってしまうことを防ぐために行われる。
ポインタ５０１が視界内にあると判断された場合にはス
テップＳ１０８に、視界内にないと判断された場合には
ステップＳ１０７に進む。
６０３が決定された後、ステップＳ１０６で指示方向復
帰手段９０２においてポインタ５０１が視界内にあるか
どうかが判断される。このステップは、操作者が指示方
向６０３を見失ってしまうことを防ぐために行われる。
ポインタ５０１が視界内にあると判断された場合にはス
テップＳ１０８に、視界内にないと判断された場合には
ステップＳ１０７に進む。
【００４０】ステップＳ１０７では指示方向６０３の復
帰が行われる。指示方向６０３の復帰は、指示座標系１
１０１を図１８のように移動させることで行われる。図
のように指示座標系１１０１のｚ軸が視界におさまるよ
うに設定し、ｚ軸上に方向ベクトル１１０３を設定する
ことで、ポインタ５０１を再び視野に納めることが可能
である。
帰が行われる。指示方向６０３の復帰は、指示座標系１
１０１を図１８のように移動させることで行われる。図
のように指示座標系１１０１のｚ軸が視界におさまるよ
うに設定し、ｚ軸上に方向ベクトル１１０３を設定する
ことで、ポインタ５０１を再び視野に納めることが可能
である。
【００４１】ステップＳ１０８では画像生成手段９０４
で操作者に提示される画像が生成される。画像生成手段
９０４はステップＳ１０１で取得したＨＭＤ２０１の位
置・姿勢情報を元にＣＧ画像を生成する。また、ステッ
プＳ１０５もしくはステップＳ１０７で決定された指示
方向６０３が画像平面６０２と交わる点にポインタ５０
１を描画する。
で操作者に提示される画像が生成される。画像生成手段
９０４はステップＳ１０１で取得したＨＭＤ２０１の位
置・姿勢情報を元にＣＧ画像を生成する。また、ステッ
プＳ１０５もしくはステップＳ１０７で決定された指示
方向６０３が画像平面６０２と交わる点にポインタ５０
１を描画する。
【００４２】以上説明したように、本発明を用いること
で、操作者がＶＲおよびＭＲおよびテレプレゼンスアプ
リケーションにおいて、仮想または現実の三次元空間に
対して操作者の視点から見た画面を見ながら操作を行う
際、操作者の視線方向が不安定な場合においても、二次
元入力手段を用いて安定して入力を行う方法を提供する
ことができる。
で、操作者がＶＲおよびＭＲおよびテレプレゼンスアプ
リケーションにおいて、仮想または現実の三次元空間に
対して操作者の視点から見た画面を見ながら操作を行う
際、操作者の視線方向が不安定な場合においても、二次
元入力手段を用いて安定して入力を行う方法を提供する
ことができる。
【００４３】（他の実施の形態）上述の実施形態は操作
者に三次元仮想空間のみが提示されるＶＲアプリケーシ
ョンであったが、本実施形態は操作者に三次元仮想空間
のみでなく現実の三次元空間を提示するＭＲアプリケー
ションにも適用可能である。また、本発明の入力方法は
テレプレゼンスアプリケーションにも適用可能である。
者に三次元仮想空間のみが提示されるＶＲアプリケーシ
ョンであったが、本実施形態は操作者に三次元仮想空間
のみでなく現実の三次元空間を提示するＭＲアプリケー
ションにも適用可能である。また、本発明の入力方法は
テレプレゼンスアプリケーションにも適用可能である。
【００４４】また、操作者は三次元仮想空間に存在する
仮想物体を指示する操作を行っていたが、ＭＲアプリケ
ーションやテレプレゼンスアプリケーションにおいては
本発明の入力方法を現実物体を指示する操作に用いるこ
とが可能である。
仮想物体を指示する操作を行っていたが、ＭＲアプリケ
ーションやテレプレゼンスアプリケーションにおいては
本発明の入力方法を現実物体を指示する操作に用いるこ
とが可能である。
【００４５】また、操作者に空間を提示する装置として
ＨＭＤが用いられているが、操作者に映像を提示できる
ものであれば何でもよく、単にモニタで構成されてもよ
い。たとえばテレプレゼンスアプリケーションにおい
て、ロボットカメラの撮影した映像を操作者が遠隔地か
ら見る場合などについてはこのような構成となる。
ＨＭＤが用いられているが、操作者に映像を提示できる
ものであれば何でもよく、単にモニタで構成されてもよ
い。たとえばテレプレゼンスアプリケーションにおい
て、ロボットカメラの撮影した映像を操作者が遠隔地か
ら見る場合などについてはこのような構成となる。
【００４６】本実施形態では処理手順のステップＳ１０
３において、指示座標系１１０１がＨＭＤ２０１の視点
位置１１０２を原点とし、正面をｚ軸、真下をｙ軸、右
方向をｘ軸とした座標系として定義されている。しかし
指示座標系１１０１は必ずしもこのように定義されなく
てもよく、位置が視点位置１１０２に連動し、姿勢がワ
ールド座標系３０６において固定されてさえいればどの
ように定義されてもよい。
３において、指示座標系１１０１がＨＭＤ２０１の視点
位置１１０２を原点とし、正面をｚ軸、真下をｙ軸、右
方向をｘ軸とした座標系として定義されている。しかし
指示座標系１１０１は必ずしもこのように定義されなく
てもよく、位置が視点位置１１０２に連動し、姿勢がワ
ールド座標系３０６において固定されてさえいればどの
ように定義されてもよい。
【００４７】また、本実施形態では処理手順のステップ
Ｓ１０６においてポインタ５０１が視界内にあるかどう
かが判定されているが、このステップは省略されてもよ
い。この場合、ポインタ５０１が視界に入らない瞬間が
存在することになるが、アプリケーションの種類によっ
てはこのような入力方法の方が有効である。
Ｓ１０６においてポインタ５０１が視界内にあるかどう
かが判定されているが、このステップは省略されてもよ
い。この場合、ポインタ５０１が視界に入らない瞬間が
存在することになるが、アプリケーションの種類によっ
てはこのような入力方法の方が有効である。
【００４８】本実施形態では指示方向を画面上で表現す
るためにポインタが用いられているが、これは指示方向
を画面上で表現できるものであれば何でもよく、たとえ
ば指示方向を表現するレーザーのような仮想の三次元オ
ブジェクトなどが用いられてもよい。
るためにポインタが用いられているが、これは指示方向
を画面上で表現できるものであれば何でもよく、たとえ
ば指示方向を表現するレーザーのような仮想の三次元オ
ブジェクトなどが用いられてもよい。
【００４９】前述した実施の形態の機能を実現する様に
各種のデバイスを動作させる様に該各種デバイスと接続
された装置あるいはシステム内のコンピュータに、前記
実施の形態の機能を実現するためのソフトウエアのプロ
グラムコードを供給し、そのシステムあるいは装置のコ
ンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプロ
グラムに従って前記各種デバイスを動作させることによ
って実施したものも本発明の範疇に含まれる。
各種のデバイスを動作させる様に該各種デバイスと接続
された装置あるいはシステム内のコンピュータに、前記
実施の形態の機能を実現するためのソフトウエアのプロ
グラムコードを供給し、そのシステムあるいは装置のコ
ンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプロ
グラムに従って前記各種デバイスを動作させることによ
って実施したものも本発明の範疇に含まれる。
【００５０】この場合、前記ソフトウエアのプログラム
コード自体が前述した実施の形態の機能を実現すること
になり、そのプログラムコード自体、及びそのプログラ
ムコードをコンピュータに供給するための手段、例えば
かかるプログラムコードを格納した記憶媒体は本発明を
構成する。
コード自体が前述した実施の形態の機能を実現すること
になり、そのプログラムコード自体、及びそのプログラ
ムコードをコンピュータに供給するための手段、例えば
かかるプログラムコードを格納した記憶媒体は本発明を
構成する。
【００５１】かかるプログラムコードを格納する記憶媒
体としては例えばフレキシブルディスクディスク、ハー
ドディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯ
Ｍ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を
用いることが出来る。
体としては例えばフレキシブルディスクディスク、ハー
ドディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯ
Ｍ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を
用いることが出来る。
【００５２】またコンピュータが供給されたプログラム
コードを実行することにより、前述の実施形態の機能が
実現されるだけではなく、そのプログラムコードがコン
ピュータにおいて稼働しているＯＳ（オペレーティング
システム）、あるいは他のアプリケーションソフト等と
共同して前述の実施形態の機能が実現される場合にもか
かるプログラムコードは本発明の実施形態に含まれるこ
とは言うまでもない。
コードを実行することにより、前述の実施形態の機能が
実現されるだけではなく、そのプログラムコードがコン
ピュータにおいて稼働しているＯＳ（オペレーティング
システム）、あるいは他のアプリケーションソフト等と
共同して前述の実施形態の機能が実現される場合にもか
かるプログラムコードは本発明の実施形態に含まれるこ
とは言うまでもない。
【００５３】更に供給されたプログラムコードが、コン
ピュータの機能拡張ボードやコンピュータに接続された
機能拡張ユニットに備わるメモリに格納された後そのプ
ログラムコードの指示に基づいてその機能拡張ボードや
機能格納ユニットに備わるＣＰＵ等が実際の処理の一部
または全部を行い、その処理によって前述した実施形態
の機能が実現される場合も本発明に含まれることは言う
までもない。
ピュータの機能拡張ボードやコンピュータに接続された
機能拡張ユニットに備わるメモリに格納された後そのプ
ログラムコードの指示に基づいてその機能拡張ボードや
機能格納ユニットに備わるＣＰＵ等が実際の処理の一部
または全部を行い、その処理によって前述した実施形態
の機能が実現される場合も本発明に含まれることは言う
までもない。
【００５４】
【発明の効果】本発明によれば、操作者の視線方向が不
安定な場合においても、安定して入力を行うことができ
る。
安定な場合においても、安定して入力を行うことができ
る。
【図１】操作者が装着するＨＭＤを示す図である。
【図２】操作者が手に持つ二次元入力装置を示す図であ
る。
る。
【図３】操作者に提示される三次元仮想空間を示す図で
ある。
ある。
【図４】三次元仮想空間を操作者の視点から見た図であ
る。
る。
【図５】操作者のＨＭＤに表示される画面を示した図で
ある。
ある。
【図６】ワールド座標系と視野座標系の関係を示した図
である。
である。
【図７】従来の入力法において、操作者の視線方向が変
化した場合に、操作者の指示方向がどのように変化する
かを示した図である。
化した場合に、操作者の指示方向がどのように変化する
かを示した図である。
【図８】従来の入力法において、操作者のＨＭＤに表示
される画面が操作者の視線方向が変化する前と変化した
後にどのように変化するかを表した図である。
される画面が操作者の視線方向が変化する前と変化した
後にどのように変化するかを表した図である。
【図９】実施形態による入力方法の構成例を示すブロッ
ク図である。
ク図である。
【図１０】実施形態の入力方法の処理手順の例を示すフ
ローチャートである。
ローチャートである。
【図１１】実施形態の入力方法における指示方向リセッ
トを説明する図である。
トを説明する図である。
【図１２】実施形態の入力方法において、視点位置が平
行移動した場合の指示座標系を示した図である。
行移動した場合の指示座標系を示した図である。
【図１３】実施形態の入力方法において、視線の向きが
変わった場合の指示座標系を示した図である。
変わった場合の指示座標系を示した図である。
【図１４】本実施形態の入力方法における二次元ポイン
ティングスティックの操作方向と方向ベクトルの変化を
示した図である。
ティングスティックの操作方向と方向ベクトルの変化を
示した図である。
【図１５】実施形態の入力方法において、仮想球体を指
示した状態を示した図である。
示した状態を示した図である。
【図１６】実施形態の入力方法において、操作者の視線
方向が変わっても指示方向が変化しないことを示した図
である。
方向が変わっても指示方向が変化しないことを示した図
である。
【図１７】実施形態の入力方法において、操作者のＨＭ
Ｄに表示される画面が操作者の視線方向が変化する前と
変化した後にどのように変化するかを表した図である。
Ｄに表示される画面が操作者の視線方向が変化する前と
変化した後にどのように変化するかを表した図である。
【図１８】実施形態の入力方法において、視界からポイ
ンタが外れた場合の指示方向復帰を示した図である。
ンタが外れた場合の指示方向復帰を示した図である。
【図１９】実施形態の入力方法において、方向ベクトル
を極座標で表現した場合の図である。
を極座標で表現した場合の図である。
─────────────────────────────────────────────────────
フロントページの続き
Ｆターム(参考） 5B050 BA07 BA09 CA07 EA07 EA19
EA27 EA28 FA02 FA09
5B087 AB04 BC26 DE00
Claims (7)
- 【請求項１】 指示画像が合成された画像を表示する情
報処理方法であって、 視点情報を検出し、 前記指示画像の位置を操作するための操作者の指示を入
力し、 前記操作者の指示に応じて、指示座標系における指示方
向を求め、 前記指示方向に基づき指示画像を生成する情報処理方法
であり、 前記操作者の特定の指示に応じて、前記検出された視点
情報から前記指示座標系を変更することを特徴とする情
報処理方法。 - 【請求項２】 前記視点情報に応じて仮想画像を生成
し、 前記指示方向に応じて前記指示画像を前記仮想画像に合
成し、表示画像を生成することを特徴とする請求項１記
載の情報処理方法。 - 【請求項３】 前記指示座標系は、前記操作者によって
特定の指示がされた時の視点情報に基づき生成される座
標系であり、ワールド座標系の中で姿勢が固定された座
標系であることを特徴とする請求項１記載の情報処理方
法。 - 【請求項４】 視野から指示方向が外れたか判断し、外
れた場合に視野内に移動させることを特徴とする請求項
１に記載の情報処理方法。 - 【請求項５】 操作者の視点情報を検出するセンサ、 操作者が前記指示画像の位置を操作する指示を入力する
操作部、 前記操作部に入力された指示に応じて、指示座標系にお
ける指示方向を求める指示方向決定部、 前記指示方向に基づき指示画像を生成し、他の画像と合
成する画像生成部、 前記画像生成部によって生成された合成画像を表示する
表示部とを有し、 前記指示座標系は、前記操作者の指示に応じて、前記検
出された視点情報を用いて変更されることを特徴とする
情報処理装置。 - 【請求項６】 前記表示部はヘッドマウントディスプレ
イであることを特徴とする請求項５記載の情報処理装
置。 - 【請求項７】 前記操作部は二次元入力手段であること
を特徴とする請求項５記載の情報処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002095537A JP2003296757A (ja) | 2002-03-29 | 2002-03-29 | 情報処理方法および装置 |
| US10/395,176 US7123214B2 (en) | 2002-03-29 | 2003-03-25 | Information processing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002095537A JP2003296757A (ja) | 2002-03-29 | 2002-03-29 | 情報処理方法および装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003296757A true JP2003296757A (ja) | 2003-10-17 |
Family
ID=28449726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002095537A Pending JP2003296757A (ja) | 2002-03-29 | 2002-03-29 | 情報処理方法および装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7123214B2 (ja) |
| JP (1) | JP2003296757A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013114491A (ja) * | 2011-11-29 | 2013-06-10 | Buffalo Inc | 情報表示装置及びプログラム |
| JP2017004491A (ja) * | 2016-01-20 | 2017-01-05 | 株式会社コロプラ | フローティング・グラフィカルユーザインターフェース |
| KR20190028238A (ko) * | 2017-09-08 | 2019-03-18 | 삼성전자주식회사 | 가상 현실에서의 포인터 제어 방법 및 전자 장치 |
| KR20190085071A (ko) * | 2017-01-18 | 2019-07-17 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 가상 캐릭터의 오리엔테이션을 결정하기 위한 방법, 장치 및 저장 매체 |
| US10949055B2 (en) | 2016-12-14 | 2021-03-16 | Seiko Epson Corporation | Display system, display apparatus, control method for display apparatus |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11033821B2 (en) * | 2003-09-02 | 2021-06-15 | Jeffrey D. Mullen | Systems and methods for location based games and employment of the same on location enabled devices |
| JP4677281B2 (ja) * | 2005-05-11 | 2011-04-27 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
| JP4785662B2 (ja) * | 2005-10-03 | 2011-10-05 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| JP4777182B2 (ja) * | 2006-08-01 | 2011-09-21 | キヤノン株式会社 | 複合現実感提示装置及びその制御方法、プログラム |
| JP4883774B2 (ja) * | 2006-08-07 | 2012-02-22 | キヤノン株式会社 | 情報処理装置及びその制御方法、プログラム |
| US9703369B1 (en) * | 2007-10-11 | 2017-07-11 | Jeffrey David Mullen | Augmented reality video game systems |
| JP5728009B2 (ja) * | 2010-06-17 | 2015-06-03 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 指示入力装置、指示入力方法、プログラム、記録媒体および集積回路 |
| DE102011112617A1 (de) * | 2011-09-08 | 2013-03-14 | Eads Deutschland Gmbh | Kooperativer 3D-Arbeitsplatz |
| JP6165164B2 (ja) | 2011-12-14 | 2017-07-19 | フィリップス ライティング ホールディング ビー ヴィ | 照明を制御する方法及び装置 |
| TWI464449B (zh) * | 2012-08-31 | 2014-12-11 | Ind Tech Res Inst | 穿戴式顯示器及其調整方法 |
| US9091849B2 (en) | 2012-08-31 | 2015-07-28 | Industrial Technology Research Institute | Wearable display and adjusting method thereof |
| JP6287849B2 (ja) * | 2013-02-22 | 2018-03-07 | ソニー株式会社 | ヘッドマウントディスプレイ、画像表示装置及び画像表示方法 |
| FR3003049B1 (fr) * | 2013-03-08 | 2015-04-10 | Thales Sa | Systeme de visualisation de casque comportant des moyens visuels d'interaction avec la symbologie affichee |
| US9762895B1 (en) * | 2014-03-11 | 2017-09-12 | Rockwell Collins, Inc. | Dual simultaneous image presentation for a three-dimensional aviation display |
| US9361732B2 (en) * | 2014-05-01 | 2016-06-07 | Microsoft Technology Licensing, Llc | Transitions between body-locked and world-locked augmented reality |
| JP6682222B2 (ja) | 2015-09-24 | 2020-04-15 | キヤノン株式会社 | 検知装置及びその制御方法、コンピュータプログラム |
| CN107798675B (zh) * | 2017-09-29 | 2024-02-13 | 歌尔光学科技有限公司 | 显示图像中拖影的检测方法及装置 |
| CN110134197A (zh) * | 2019-06-26 | 2019-08-16 | 北京小米移动软件有限公司 | 可穿戴式控制设备、虚拟/增强现实系统及控制方法 |
| US11630639B2 (en) * | 2020-12-08 | 2023-04-18 | Samsung Electronics Co., Ltd. | Control method of electronic device using a plurality of sensors and electronic device thereof |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05250089A (ja) * | 1992-03-05 | 1993-09-28 | Olympus Optical Co Ltd | コンピュータ画像表示装置 |
| JPH05290147A (ja) * | 1992-04-06 | 1993-11-05 | Matsushita Electric Ind Co Ltd | 視点・光源機能の属性追加交換直接操作システム |
| JPH07271546A (ja) * | 1994-03-31 | 1995-10-20 | Olympus Optical Co Ltd | 画像表示制御方法 |
| JPH08202281A (ja) * | 1995-01-30 | 1996-08-09 | Olympus Optical Co Ltd | 頭部装着型映像表示装置システム |
| JPH10334274A (ja) * | 1997-05-29 | 1998-12-18 | Canon Inc | 仮想現実方法及び装置並びに記憶媒体 |
| JP2000020753A (ja) * | 1998-07-07 | 2000-01-21 | Mitsubishi Electric Corp | 仮想空間制御装置 |
| JP2000102036A (ja) * | 1998-09-22 | 2000-04-07 | Mr System Kenkyusho:Kk | 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2173079B (en) * | 1985-03-29 | 1988-05-18 | Ferranti Plc | Cursor display control apparatus |
| US5068645A (en) * | 1987-10-14 | 1991-11-26 | Wang Laboratories, Inc. | Computer input device using an orientation sensor |
| US5457641A (en) * | 1990-06-29 | 1995-10-10 | Sextant Avionique | Method and apparatus for determining an orientation associated with a mobile system, especially a line of sight inside a helmet visor |
| US5367315A (en) * | 1990-11-15 | 1994-11-22 | Eyetech Corporation | Method and apparatus for controlling cursor movement |
| US5585813A (en) * | 1992-10-05 | 1996-12-17 | Rockwell International Corporation | All aspect head aiming display |
| US5323174A (en) * | 1992-12-02 | 1994-06-21 | Matthew H. Klapman | Device for determining an orientation of at least a portion of a living body |
| US5803089A (en) * | 1994-09-15 | 1998-09-08 | Visualization Technology, Inc. | Position tracking and imaging system for use in medical applications |
| US6373961B1 (en) * | 1996-03-26 | 2002-04-16 | Eye Control Technologies, Inc. | Eye controllable screen pointer |
| US6204828B1 (en) * | 1998-03-31 | 2001-03-20 | International Business Machines Corporation | Integrated gaze/manual cursor positioning system |
-
2002
- 2002-03-29 JP JP2002095537A patent/JP2003296757A/ja active Pending
-
2003
- 2003-03-25 US US10/395,176 patent/US7123214B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05250089A (ja) * | 1992-03-05 | 1993-09-28 | Olympus Optical Co Ltd | コンピュータ画像表示装置 |
| JPH05290147A (ja) * | 1992-04-06 | 1993-11-05 | Matsushita Electric Ind Co Ltd | 視点・光源機能の属性追加交換直接操作システム |
| JPH07271546A (ja) * | 1994-03-31 | 1995-10-20 | Olympus Optical Co Ltd | 画像表示制御方法 |
| JPH08202281A (ja) * | 1995-01-30 | 1996-08-09 | Olympus Optical Co Ltd | 頭部装着型映像表示装置システム |
| JPH10334274A (ja) * | 1997-05-29 | 1998-12-18 | Canon Inc | 仮想現実方法及び装置並びに記憶媒体 |
| JP2000020753A (ja) * | 1998-07-07 | 2000-01-21 | Mitsubishi Electric Corp | 仮想空間制御装置 |
| JP2000102036A (ja) * | 1998-09-22 | 2000-04-07 | Mr System Kenkyusho:Kk | 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013114491A (ja) * | 2011-11-29 | 2013-06-10 | Buffalo Inc | 情報表示装置及びプログラム |
| JP2017004491A (ja) * | 2016-01-20 | 2017-01-05 | 株式会社コロプラ | フローティング・グラフィカルユーザインターフェース |
| US10949055B2 (en) | 2016-12-14 | 2021-03-16 | Seiko Epson Corporation | Display system, display apparatus, control method for display apparatus |
| KR20190085071A (ko) * | 2017-01-18 | 2019-07-17 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 가상 캐릭터의 오리엔테이션을 결정하기 위한 방법, 장치 및 저장 매체 |
| JP2019531822A (ja) * | 2017-01-18 | 2019-11-07 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | 仮想キャラクタの方位確定方法、装置及び記憶媒体 |
| US10825261B2 (en) | 2017-01-18 | 2020-11-03 | Tencent Technology (Shenzhen) Company Limited | Method and device for determining and adjusting spatial attribute of virtual character in virtual reality applications |
| KR102288248B1 (ko) | 2017-01-18 | 2021-08-09 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 가상 캐릭터의 오리엔테이션을 결정하기 위한 방법, 장치 및 저장 매체 |
| JP7070843B2 (ja) | 2017-01-18 | 2022-05-18 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | 仮想キャラクタの方位確定方法、装置及びコンピュータプログラム |
| KR20190028238A (ko) * | 2017-09-08 | 2019-03-18 | 삼성전자주식회사 | 가상 현실에서의 포인터 제어 방법 및 전자 장치 |
| KR102374408B1 (ko) * | 2017-09-08 | 2022-03-15 | 삼성전자주식회사 | 가상 현실에서의 포인터 제어 방법 및 전자 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| US7123214B2 (en) | 2006-10-17 |
| US20030184602A1 (en) | 2003-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003296757A (ja) | 情報処理方法および装置 | |
| CA2888943C (en) | Augmented reality system and method for positioning and mapping | |
| EP1292877B1 (en) | Apparatus and method for indicating a target by image processing without three-dimensional modeling | |
| JP4533087B2 (ja) | 画像処理方法、画像処理装置 | |
| JP2013258614A (ja) | 画像生成装置および画像生成方法 | |
| JP4677281B2 (ja) | 画像処理方法、画像処理装置 | |
| US20120319949A1 (en) | Pointing device of augmented reality | |
| JP5656514B2 (ja) | 情報処理装置及び方法 | |
| JP2013029958A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| US20210208699A1 (en) | Direct three-dimensional pointing using light tracking and relative position detection | |
| JP2012053631A (ja) | 情報処理装置、情報処理方法 | |
| JP7267753B2 (ja) | 制御装置、制御方法、及びプログラム | |
| JP2007047294A (ja) | 立体画像表示装置 | |
| JP2008293357A (ja) | 情報処理方法および情報処理装置 | |
| JP2018142230A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
| JP2005174021A (ja) | 情報提示方法及び装置 | |
| JP7273325B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
| JP2005147894A (ja) | 計測方法、計測装置 | |
| TW201337639A (zh) | 指向性影像操控裝置及其方法 | |
| JP6549066B2 (ja) | 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム | |
| Cho et al. | Multi-scale 7DOF view adjustment | |
| US10345595B2 (en) | Head mounted device with eye tracking and control method thereof | |
| JP6124862B2 (ja) | ポインティング・ジェスチャに応じたアクションをする方法、会議支援システム、およびコンピュータ・プログラム | |
| JP2005251118A (ja) | 画像処理方法、画像処理装置 | |
| KR100708875B1 (ko) | 표시화면을 가리키는 포인터의 포인팅 위치를 산출하는장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060228 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060501 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060614 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060804 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060829 |