JP2003132374A - 画像表示装置及びその方法並びに記憶媒体 - Google Patents
画像表示装置及びその方法並びに記憶媒体Info
- Publication number
- JP2003132374A JP2003132374A JP2001329360A JP2001329360A JP2003132374A JP 2003132374 A JP2003132374 A JP 2003132374A JP 2001329360 A JP2001329360 A JP 2001329360A JP 2001329360 A JP2001329360 A JP 2001329360A JP 2003132374 A JP2003132374 A JP 2003132374A
- Authority
- JP
- Japan
- Prior art keywords
- posture
- image
- sensor
- coordinate system
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 62
- 238000012937 correction Methods 0.000 claims abstract description 149
- 238000005259 measurement Methods 0.000 claims abstract description 43
- 238000004364 calculation method Methods 0.000 claims description 74
- 230000006870 function Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 239000003990 capacitor Substances 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 abstract 1
- 238000004088 simulation Methods 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 16
- 230000008569 process Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 2
- 101100321669 Fagopyrum esculentum FA02 gene Proteins 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/16—Using real world measurements to influence rendering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Position Input By Displaying (AREA)
Abstract
(57)【要約】
【課題】センサ座標系における姿勢を世界座標系におけ
る姿勢に変換するための補正情報を容易に取得するこ
と。 【解決手段】現実の風景600が表示画面を通して観察さ
れている状況において、姿勢センサの姿勢に関して、傾
斜角については姿勢センサの計測値を、方位角について
は固定値を使用して、建設予定ビルのＣＧ映像620を生
成しこれを表示画面に表示する。ここで観察される像63
0は、傾斜角方向に関しては位置合わせが正しく行われ
ており、方位角方向のみに位置ずれが生じた像となる。
ユーザは、観察像において現実の風景とＣＧ映像が正し
い位置関係となるように視点の方位方向を調整し（640,
650,660）、正しい位置関係となった時点（660）でその
旨の指示を入力することで補正情報が較正される。この
とき、視点の傾斜角に関しては固定する必要がないた
め、姿勢の調整を格段に容易に行える。
る姿勢に変換するための補正情報を容易に取得するこ
と。 【解決手段】現実の風景600が表示画面を通して観察さ
れている状況において、姿勢センサの姿勢に関して、傾
斜角については姿勢センサの計測値を、方位角について
は固定値を使用して、建設予定ビルのＣＧ映像620を生
成しこれを表示画面に表示する。ここで観察される像63
0は、傾斜角方向に関しては位置合わせが正しく行われ
ており、方位角方向のみに位置ずれが生じた像となる。
ユーザは、観察像において現実の風景とＣＧ映像が正し
い位置関係となるように視点の方位方向を調整し（640,
650,660）、正しい位置関係となった時点（660）でその
旨の指示を入力することで補正情報が較正される。この
とき、視点の傾斜角に関しては固定する必要がないた
め、姿勢の調整を格段に容易に行える。
Description
【０００１】
【発明の属する技術分野】本発明は、姿勢センサの出力
値に基づいて実空間に融合した仮想空間の画像を表示さ
せる画像表示装置及び方法に関する。更に詳しくは、撮
像装置によって撮像された実画像に仮想空間の画像を重
畳した重畳画像を生成し、これを表示画面に表示する画
像表示装置、あるいは、表示画面に現実空間を光学的に
透過させつつ当該表示画面に仮想空間の画像を表示する
画像表示装置、及びそれらの方法並びに記憶媒体に関す
るものである。
値に基づいて実空間に融合した仮想空間の画像を表示さ
せる画像表示装置及び方法に関する。更に詳しくは、撮
像装置によって撮像された実画像に仮想空間の画像を重
畳した重畳画像を生成し、これを表示画面に表示する画
像表示装置、あるいは、表示画面に現実空間を光学的に
透過させつつ当該表示画面に仮想空間の画像を表示する
画像表示装置、及びそれらの方法並びに記憶媒体に関す
るものである。
【０００２】
【従来の技術】近年、現実空間と仮想空間の繋ぎ目のな
い結合を目的とした、複合現実感（以下、“ＭＲ”（Mi
xed Reality）と称す）に関する研究が盛んに行われて
いる。ＭＲには、ビデオカメラなどの撮影装置で撮影さ
れた現実空間の画像に仮想空間（たとえばコンピュータ
グラフィックス（以下、ＣＧと称す）により描画された
仮想物体や文字情報など）の画像を重畳して表示するビ
デオシースルー方式と、表示装置の表示画面に現実空間
を光学的に透過させつつ、その表示画面に仮想空間の画
像を重畳表示する光学シースルー方式がある。
い結合を目的とした、複合現実感（以下、“ＭＲ”（Mi
xed Reality）と称す）に関する研究が盛んに行われて
いる。ＭＲには、ビデオカメラなどの撮影装置で撮影さ
れた現実空間の画像に仮想空間（たとえばコンピュータ
グラフィックス（以下、ＣＧと称す）により描画された
仮想物体や文字情報など）の画像を重畳して表示するビ
デオシースルー方式と、表示装置の表示画面に現実空間
を光学的に透過させつつ、その表示画面に仮想空間の画
像を重畳表示する光学シースルー方式がある。
【０００３】このようなＭＲの応用としては、現実の街
中において建物等にその名称や案内を重畳表示するナビ
ゲーションや、ビルの建設予定地に建設予定のビルのＣ
Ｇ映像を重畳表示する景観シミュレーションなど、今ま
でのバーチャルリアリティとは質的に全く異なった新た
な分野が期待されている。これらの応用に対して共通に
要求されるのは、現実空間と仮想空間の間の位置合わせ
をいかにして正確に行うかということであり、従来から
多くの取り組みが行われてきた。
中において建物等にその名称や案内を重畳表示するナビ
ゲーションや、ビルの建設予定地に建設予定のビルのＣ
Ｇ映像を重畳表示する景観シミュレーションなど、今ま
でのバーチャルリアリティとは質的に全く異なった新た
な分野が期待されている。これらの応用に対して共通に
要求されるのは、現実空間と仮想空間の間の位置合わせ
をいかにして正確に行うかということであり、従来から
多くの取り組みが行われてきた。
【０００４】ビデオシースルー方式のＭＲにおける位置
合わせの問題は、現実空間に設定した世界座標系（以
後、単に世界座標系と呼ぶ）における、撮影装置の視点
の３次元位置姿勢を求める問題に帰結される。また光学
シースルー方式のＭＲにおける位置合わせの問題は、同
様に世界座標系におけるユーザの視点の３次元位置姿勢
を求める問題といえる。
合わせの問題は、現実空間に設定した世界座標系（以
後、単に世界座標系と呼ぶ）における、撮影装置の視点
の３次元位置姿勢を求める問題に帰結される。また光学
シースルー方式のＭＲにおける位置合わせの問題は、同
様に世界座標系におけるユーザの視点の３次元位置姿勢
を求める問題といえる。
【０００５】これらの問題を解決する方法として、磁気
センサや超音波センサなどの３次元位置姿勢センサを利
用して、世界座標系における撮影装置やユーザの視点
（以下、単に視点と呼ぶ）の３次元位置姿勢を取得する
ことが一般的に行われている。
センサや超音波センサなどの３次元位置姿勢センサを利
用して、世界座標系における撮影装置やユーザの視点
（以下、単に視点と呼ぶ）の３次元位置姿勢を取得する
ことが一般的に行われている。
【０００６】また、屋外において対象までの距離が十分
離れている場合のように、視点の位置については固定値
を用いても差し支えのない状況下では、ジャイロセンサ
や加速度計の組み合わせによって構成される３次元姿勢
センサを用いて視点の３次元姿勢を得て、それを元に視
点の３次元位置姿勢を取得することが一般的に行われて
いる。
離れている場合のように、視点の位置については固定値
を用いても差し支えのない状況下では、ジャイロセンサ
や加速度計の組み合わせによって構成される３次元姿勢
センサを用いて視点の３次元姿勢を得て、それを元に視
点の３次元位置姿勢を取得することが一般的に行われて
いる。
【０００７】３次元姿勢センサが出力する出力値は、例
えば（株）トキメック製の姿勢センサTISS-5-40を例に
とると、重力の逆方向をＹ軸、このＹ軸によって定めら
れるＸ−Ｚ平面上でのセンサ起動時のセンサの正面方向
を−Ｚ軸として定義される座標系であるところのセンサ
座標系におけるセンサ自身の３次元姿勢である。このよ
うに、３次元姿勢センサが出力する出力値は、計測対象
である世界座標系における視点の３次元姿勢ではないの
が一般的である。すなわち、センサ出力値をそのまま世
界座標系における視点の３次元姿勢として用いることは
できず、何らかの座標変換を行う必要がある。具体的に
は、センサ自身の姿勢を視点の姿勢に変換する座標変換
と、センサ座標系における姿勢を世界座標系における姿
勢に変換する座標変換が必要となる。なお、本明細書に
おいて、センサ出力値と世界座標系における視点の３次
元姿勢との間の座標変換を行うためのデータを補正情報
と呼ぶこととする。
えば（株）トキメック製の姿勢センサTISS-5-40を例に
とると、重力の逆方向をＹ軸、このＹ軸によって定めら
れるＸ−Ｚ平面上でのセンサ起動時のセンサの正面方向
を−Ｚ軸として定義される座標系であるところのセンサ
座標系におけるセンサ自身の３次元姿勢である。このよ
うに、３次元姿勢センサが出力する出力値は、計測対象
である世界座標系における視点の３次元姿勢ではないの
が一般的である。すなわち、センサ出力値をそのまま世
界座標系における視点の３次元姿勢として用いることは
できず、何らかの座標変換を行う必要がある。具体的に
は、センサ自身の姿勢を視点の姿勢に変換する座標変換
と、センサ座標系における姿勢を世界座標系における姿
勢に変換する座標変換が必要となる。なお、本明細書に
おいて、センサ出力値と世界座標系における視点の３次
元姿勢との間の座標変換を行うためのデータを補正情報
と呼ぶこととする。
【０００８】図１は、光学シースルー方式の複合現実感
の提示を行う一般的な画像表示装置の構成を示す図であ
る。
の提示を行う一般的な画像表示装置の構成を示す図であ
る。
【０００９】表示画面１１０はシースルー型であり、姿
勢センサ１２０と共に頭部装着部１００に固定されてい
る。不図示のユーザが、表示画面１１０が眼前に位置す
るように頭部装着部１００を装着すると、表示画面１１
０の光学系（図１には不図示）を通して表示画面の前方
の現実空間を観察することができる。姿勢センサ１２０
は、センサ座標系におけるセンサ自身の姿勢を計測し、
３自由度の姿勢計測値を出力する。なお、姿勢センサ１
２０は地球の重力方向を計測可能な傾斜計（不図示）を
内部に有しており、上述したように、センサ座標系の１
つの軸（本例ではＹ軸とする）は重力の逆方向に設定さ
れる。
勢センサ１２０と共に頭部装着部１００に固定されてい
る。不図示のユーザが、表示画面１１０が眼前に位置す
るように頭部装着部１００を装着すると、表示画面１１
０の光学系（図１には不図示）を通して表示画面の前方
の現実空間を観察することができる。姿勢センサ１２０
は、センサ座標系におけるセンサ自身の姿勢を計測し、
３自由度の姿勢計測値を出力する。なお、姿勢センサ１
２０は地球の重力方向を計測可能な傾斜計（不図示）を
内部に有しており、上述したように、センサ座標系の１
つの軸（本例ではＹ軸とする）は重力の逆方向に設定さ
れる。
【００１０】姿勢情報出力部１３０は、メモリ１４０が
保持する補正情報に従って、姿勢センサ１２０より入力
した計測値に変換を加え、世界座標系におけるユーザの
視点の姿勢を算出しこれを姿勢情報として出力する。画
像生成部１５０は、姿勢情報出力部１３０より入力した
姿勢情報に従ってユーザの視点の姿勢に対応した仮想画
像を生成し、これを出力する。表示画面１１０は、画像
生成部１５０より仮想画像を入力しこれを表示する。以
上の構成により、不図示のユーザは、表示画面１１０を
通した現実空間の像に重ねて、表示画面１１０に表示さ
れた仮想画像を見ることとなる。
保持する補正情報に従って、姿勢センサ１２０より入力
した計測値に変換を加え、世界座標系におけるユーザの
視点の姿勢を算出しこれを姿勢情報として出力する。画
像生成部１５０は、姿勢情報出力部１３０より入力した
姿勢情報に従ってユーザの視点の姿勢に対応した仮想画
像を生成し、これを出力する。表示画面１１０は、画像
生成部１５０より仮想画像を入力しこれを表示する。以
上の構成により、不図示のユーザは、表示画面１１０を
通した現実空間の像に重ねて、表示画面１１０に表示さ
れた仮想画像を見ることとなる。
【００１１】次に、図２を用いて、姿勢情報出力部１３
０において、世界座標系におけるユーザの視点の姿勢を
算出する方法を説明する。
０において、世界座標系におけるユーザの視点の姿勢を
算出する方法を説明する。
【００１２】同図において、世界座標系２００における
センサ座標系２１０の姿勢をＲTW、センサ座標系２１０
における姿勢センサ１２０の姿勢をＲST、姿勢センサ１
２０からみたユーザの視点２２０の相対的な姿勢を
ＲVS、世界座標系２００におけるユーザの視点２２０の
姿勢をＲVWとする。
センサ座標系２１０の姿勢をＲTW、センサ座標系２１０
における姿勢センサ１２０の姿勢をＲST、姿勢センサ１
２０からみたユーザの視点２２０の相対的な姿勢を
ＲVS、世界座標系２００におけるユーザの視点２２０の
姿勢をＲVWとする。
【００１３】ここで、Ｒは４×４の行列であって、ＲBA
はある座標系Ａにおける対象Ｂの姿勢を記述する。これ
は言い換えれば、座標系Ａから対象Ｂが定義する座標系
Ｂへの座標変換行列であり、座標系Ａにおける座標ＰA
＝（ＸA，ＹA，ＺA，１）Tを座標系Ｂにおける座標ＰB
＝（ＸB，ＹB，ＺB，１）Tに変換する変換式、ＰB＝Ｒ
BAＰAを定義するものである。すなわち、世界座標系２
００におけるユーザの視点２２０の姿勢ＲVWは、世界座
標系２００における座標ＰW＝（ＸW，ＹW，ＺW，１）T
をユーザの視点座標系２３０における座標ＰV＝（ＸV，
ＹV，ＺV，１）Tに変換するための座標変換行列（ＰV＝
ＲVWＰW）と言い換えることもできる。
はある座標系Ａにおける対象Ｂの姿勢を記述する。これ
は言い換えれば、座標系Ａから対象Ｂが定義する座標系
Ｂへの座標変換行列であり、座標系Ａにおける座標ＰA
＝（ＸA，ＹA，ＺA，１）Tを座標系Ｂにおける座標ＰB
＝（ＸB，ＹB，ＺB，１）Tに変換する変換式、ＰB＝Ｒ
BAＰAを定義するものである。すなわち、世界座標系２
００におけるユーザの視点２２０の姿勢ＲVWは、世界座
標系２００における座標ＰW＝（ＸW，ＹW，ＺW，１）T
をユーザの視点座標系２３０における座標ＰV＝（ＸV，
ＹV，ＺV，１）Tに変換するための座標変換行列（ＰV＝
ＲVWＰW）と言い換えることもできる。
【００１４】また行列Ｒは、Ｘ軸まわりの回転角θによ
って定義される回転行列Ｒｘ、Ｙ軸まわりの回転角（方
位角）φによって定義される回転行列Ｒｙ、Ｚ軸まわり
の回転角ψによって定義される回転行列Ｒｚの積により
構成されており、Ｒ＝ＲｚＲｘＲｙの関係が成立してい
る。これらの行列はそれぞれ次のように表される。
って定義される回転行列Ｒｘ、Ｙ軸まわりの回転角（方
位角）φによって定義される回転行列Ｒｙ、Ｚ軸まわり
の回転角ψによって定義される回転行列Ｒｚの積により
構成されており、Ｒ＝ＲｚＲｘＲｙの関係が成立してい
る。これらの行列はそれぞれ次のように表される。
【００１５】
【数１】
【００１６】このときＲVWは、
ＲVW＝ＲVS・ＲST・ＲTW … （式Ａ）
によって示すことができる。
【００１７】ここで、センサ座標系２１０のＹ軸は重力
の逆方向に設定されているので、世界座標系２００のＹ
軸を地表面と垂直に定義することにより、世界座標系２
００とセンサ座標系２１０のＹ軸の方向を一致させるこ
とができる。このとき、ＲTWのＸ軸およびＺ軸まわりの
成分であるＲｘTWおよびＲｚTWはそれぞれ単位行列とな
り、ＲTWは、Ｙ軸まわりの回転角φTWによって定義され
る回転行列ＲｙTWと等価となる。したがって、上記の
（式Ａ）は、 ＲVW＝ＲVS・ＲST・ＲｙTW … （式Ｂ） に変形される。
の逆方向に設定されているので、世界座標系２００のＹ
軸を地表面と垂直に定義することにより、世界座標系２
００とセンサ座標系２１０のＹ軸の方向を一致させるこ
とができる。このとき、ＲTWのＸ軸およびＺ軸まわりの
成分であるＲｘTWおよびＲｚTWはそれぞれ単位行列とな
り、ＲTWは、Ｙ軸まわりの回転角φTWによって定義され
る回転行列ＲｙTWと等価となる。したがって、上記の
（式Ａ）は、 ＲVW＝ＲVS・ＲST・ＲｙTW … （式Ｂ） に変形される。
【００１８】このうち、ＲSTが姿勢センサ１２０から姿
勢情報出力部１３０への入力、ＲVWが姿勢情報出力部１
３０から画像生成部１５０への出力であり、ＲVS及びＲ
ｙTW（言い換えると、ＲVSを定義する３軸まわりの回転
角θVS，φVS，ψVS及びＲｙ TWを定義する回転角φTW）
が、ＲSTをＲVWに変換するために必要な補正情報に相当
する。姿勢情報出力部１３０は、姿勢センサ１２０から
入力されるＲSTと、メモリ１４０に保持されているＲVS
及びＲｙTWとを用いて、（式Ｂ）に基づいてＲ VWを算出
し、これを画像生成部１５０へと出力する。
勢情報出力部１３０への入力、ＲVWが姿勢情報出力部１
３０から画像生成部１５０への出力であり、ＲVS及びＲ
ｙTW（言い換えると、ＲVSを定義する３軸まわりの回転
角θVS，φVS，ψVS及びＲｙ TWを定義する回転角φTW）
が、ＲSTをＲVWに変換するために必要な補正情報に相当
する。姿勢情報出力部１３０は、姿勢センサ１２０から
入力されるＲSTと、メモリ１４０に保持されているＲVS
及びＲｙTWとを用いて、（式Ｂ）に基づいてＲ VWを算出
し、これを画像生成部１５０へと出力する。
【００１９】現実空間と仮想空間の正確な位置合わせを
行うためには、何らかの手段によってメモリ１４０に正
確な補正情報が設定される必要がある。正確な補正情報
が与えられてはじめて、現実空間に正確に位置合わせの
なされた仮想画像の表示が実現される。
行うためには、何らかの手段によってメモリ１４０に正
確な補正情報が設定される必要がある。正確な補正情報
が与えられてはじめて、現実空間に正確に位置合わせの
なされた仮想画像の表示が実現される。
【００２０】補正情報を設定する公知の方法の一つとし
て、ユーザあるいはオペレータが、不図示の入力手段を
介してメモリ１４０に格納されたθVS，φVS，ψVS及び
φTWの各値を対話的に増減し、正確な位置合わせが達成
されるまで各値の調整を試行錯誤的に行うという方法が
ある。
て、ユーザあるいはオペレータが、不図示の入力手段を
介してメモリ１４０に格納されたθVS，φVS，ψVS及び
φTWの各値を対話的に増減し、正確な位置合わせが達成
されるまで各値の調整を試行錯誤的に行うという方法が
ある。
【００２１】しかしこの方法では、４つのパラメータを
同時に調整する必要があるため、作業が煩雑であり調整
に時間がかかるという問題点があった。
同時に調整する必要があるため、作業が煩雑であり調整
に時間がかかるという問題点があった。
【００２２】この煩雑さを軽減する一つの方法として、
特願２００１−０５０９９０号により提案された方法が
ある。以下では、この補正情報設定手法について説明す
る。
特願２００１−０５０９９０号により提案された方法が
ある。以下では、この補正情報設定手法について説明す
る。
【００２３】図３は、図１の画像表示装置にこの補正情
報設定方法を組込んだ際の画像表示装置の構成を示すブ
ロック図である。同図に示したように、本構成は、図１
の構成に、補正情報算出部３１０、指示情報入力部３２
０及び切替え部３３０が追加された構成となる。また、
本画像表示装置における図１の姿勢情報出力部１３０及
びメモリ１４０に相当する構成要素はその機能が図１の
画像表示装置とは異なるため、図３の画像表示装置では
これを姿勢情報出力部１３０’及びメモリ１４０’と表
記する。
報設定方法を組込んだ際の画像表示装置の構成を示すブ
ロック図である。同図に示したように、本構成は、図１
の構成に、補正情報算出部３１０、指示情報入力部３２
０及び切替え部３３０が追加された構成となる。また、
本画像表示装置における図１の姿勢情報出力部１３０及
びメモリ１４０に相当する構成要素はその機能が図１の
画像表示装置とは異なるため、図３の画像表示装置では
これを姿勢情報出力部１３０’及びメモリ１４０’と表
記する。
【００２４】補正情報の算出は、ユーザの視点２２０の
姿勢を、世界座標系におけるある予め定めた姿勢であっ
て、地平面と水平な視軸を持つ姿勢Ｒｙ0 VWに移動させ
て、その時点での姿勢センサ１２０の出力Ｒ0 STを取得
することで行われる。メモリ１４０’は、補正情報の他
に、上記の予め定めた視点の姿勢Ｒｙ0 VW（あるいはそ
れを定義するＹ軸まわりの回転角φ0 VW）を保持してい
る。
姿勢を、世界座標系におけるある予め定めた姿勢であっ
て、地平面と水平な視軸を持つ姿勢Ｒｙ0 VWに移動させ
て、その時点での姿勢センサ１２０の出力Ｒ0 STを取得
することで行われる。メモリ１４０’は、補正情報の他
に、上記の予め定めた視点の姿勢Ｒｙ0 VW（あるいはそ
れを定義するＹ軸まわりの回転角φ0 VW）を保持してい
る。
【００２５】切替え部３３０は、ユーザあるいはオペレ
ータ（いずれも図３には不図示）からの入力を受け、姿
勢情報出力部１３０’のモードを通常モードあるいは補
正情報算出モードに設定する。
ータ（いずれも図３には不図示）からの入力を受け、姿
勢情報出力部１３０’のモードを通常モードあるいは補
正情報算出モードに設定する。
【００２６】姿勢情報出力部１３０’は、モードが通常
モードの場合には、図１で説明した姿勢情報出力部１３
０と同様に、姿勢センサ１２０から入力されるＲSTから
補正情報を用いてＲVWを算出し、これを姿勢情報として
画像生成部１５０へと出力する。
モードの場合には、図１で説明した姿勢情報出力部１３
０と同様に、姿勢センサ１２０から入力されるＲSTから
補正情報を用いてＲVWを算出し、これを姿勢情報として
画像生成部１５０へと出力する。
【００２７】一方、モードが補正情報算出モードの場合
には、メモリ１４０’からＲｙ0 VWを入力し、これを姿
勢情報として画像生成部１５０へと出力する。指示情報
入力部３２０は、ユーザあるいはオペレータからの入力
を受け、補正情報算出処理実行の指示を補正情報算出部
３１０へと送信する。より具体的には、ユーザあるいは
オペレータは、補正情報算出モードにおいて、表示画面
１１０に表示された仮想画像と、表示画面１１０を光学
的に透過して観察される現実空間の像が正しい位置関係
になるように視点２２０の姿勢を調整する。そして、両
画像が十分に重なり合っていると判断した時点（すなわ
ち、視点２２０が姿勢Ｒｙ0 VWに位置していると判断さ
れた時点）で、例えば特定のキーを押すことにより指示
情報入力部３２０への入力を行う。
には、メモリ１４０’からＲｙ0 VWを入力し、これを姿
勢情報として画像生成部１５０へと出力する。指示情報
入力部３２０は、ユーザあるいはオペレータからの入力
を受け、補正情報算出処理実行の指示を補正情報算出部
３１０へと送信する。より具体的には、ユーザあるいは
オペレータは、補正情報算出モードにおいて、表示画面
１１０に表示された仮想画像と、表示画面１１０を光学
的に透過して観察される現実空間の像が正しい位置関係
になるように視点２２０の姿勢を調整する。そして、両
画像が十分に重なり合っていると判断した時点（すなわ
ち、視点２２０が姿勢Ｒｙ0 VWに位置していると判断さ
れた時点）で、例えば特定のキーを押すことにより指示
情報入力部３２０への入力を行う。
【００２８】補正情報算出部３１０は、補正情報算出処
理実行の指示を指示情報入力部３２０から入力し、その
時点（すなわち、視点２２０が姿勢Ｒｙ0 VWに位置して
いるとユーザあるいはオペレータが判断した時点）にお
ける姿勢センサ１２０の出力Ｒ0 STを入力し、姿勢Ｒｙ0
VWと姿勢Ｒ0 STに基づいて補正情報の算出を行う。
理実行の指示を指示情報入力部３２０から入力し、その
時点（すなわち、視点２２０が姿勢Ｒｙ0 VWに位置して
いるとユーザあるいはオペレータが判断した時点）にお
ける姿勢センサ１２０の出力Ｒ0 STを入力し、姿勢Ｒｙ0
VWと姿勢Ｒ0 STに基づいて補正情報の算出を行う。
【００２９】上記の方法では、補正情報の１つである姿
勢ＲVSのうち、その逆行列ＲSV（ユーザの視点から見た
姿勢センサの相対的な姿勢を表わす）のｙ軸まわりの回
転成分ＲｙSV（あるいはそれを定義するＹ軸まわりの回
転角φSV）が何らかの方法によって既知であり、すでに
メモリ１４０’に記憶されている必要がある。
勢ＲVSのうち、その逆行列ＲSV（ユーザの視点から見た
姿勢センサの相対的な姿勢を表わす）のｙ軸まわりの回
転成分ＲｙSV（あるいはそれを定義するＹ軸まわりの回
転角φSV）が何らかの方法によって既知であり、すでに
メモリ１４０’に記憶されている必要がある。
【００３０】このとき、補正情報算出部３１０で処理さ
れるデータの間には、（式Ｂ）より、 Ｒｙ0 VW＝ＲVS・Ｒ0 ST・ＲｙTW … （式Ｃ） の関係が成立する。ここで、（式Ｃ）を変形すると、 Ｒｙ0 VW＝（ＲｚSVＲｘSVＲｙSV）-１Ｒ0 STＲｙTW … （式Ｄ） となる。
れるデータの間には、（式Ｂ）より、 Ｒｙ0 VW＝ＲVS・Ｒ0 ST・ＲｙTW … （式Ｃ） の関係が成立する。ここで、（式Ｃ）を変形すると、 Ｒｙ0 VW＝（ＲｚSVＲｘSVＲｙSV）-１Ｒ0 STＲｙTW … （式Ｄ） となる。
【００３１】補正情報算出部３１０は、メモリ１４０’
よりＲｙ0 VWおよびＲｙSVを、センサ１２０よりＲ0 STを
入力し、（式Ｄ）に基づいて未知の補正情報ＲｚSV，Ｒ
ｘS V，ＲｙTWを算出する。以下にその手順を示す。
よりＲｙ0 VWおよびＲｙSVを、センサ１２０よりＲ0 STを
入力し、（式Ｄ）に基づいて未知の補正情報ＲｚSV，Ｒ
ｘS V，ＲｙTWを算出する。以下にその手順を示す。
【００３２】（式Ｄ）をさらに変形すると、
ＲｚSVＲｘSVＲｙSVＲｙ0 VW＝Ｒｚ0 STＲｘ0 STＲｙ0 STＲｙTW … （式Ｅ）
となる。ここで、（式Ｅ）の左辺および右辺のそれぞれ
がＺ、Ｘ、Ｙ軸周りの回転成分の積となっているので、
Ｚ、Ｘ、Ｙ軸周りの回転成分毎に恒等式が成立する。
がＺ、Ｘ、Ｙ軸周りの回転成分の積となっているので、
Ｚ、Ｘ、Ｙ軸周りの回転成分毎に恒等式が成立する。
【００３３】まず、Ｚ、Ｘ軸周りの回転成分の恒等式は
以下の通りとなる。すなわち、 ＲｚSV＝Ｒｚ0 ST … （式Ｆ） ＲｘSV＝Ｒｘ0 ST … （式Ｇ） これより、ＲｚSVおよびＲｘSVを求めることができる。
以下の通りとなる。すなわち、 ＲｚSV＝Ｒｚ0 ST … （式Ｆ） ＲｘSV＝Ｒｘ0 ST … （式Ｇ） これより、ＲｚSVおよびＲｘSVを求めることができる。
【００３４】一方、Ｙ軸周りの回転成分の恒等式は以下
の通りとなる。すなわち、 ＲｙSVＲｙ0 VW＝Ｒｙ0 STＲｙTW これより、 ＲｙTW＝ＲｙSVＲｙ0 VWＲｙ0 ST -1 … （式Ｈ） となり、ＲｙTWを求めることができる。
の通りとなる。すなわち、 ＲｙSVＲｙ0 VW＝Ｒｙ0 STＲｙTW これより、 ＲｙTW＝ＲｙSVＲｙ0 VWＲｙ0 ST -1 … （式Ｈ） となり、ＲｙTWを求めることができる。
【００３５】補正情報算出部３１０は、上記の処理によ
って補正情報ＲｚSV，ＲｘSV，Ｒｙ TWの算出を行い、こ
れらの値からさらにＲVS（＝（ＲｚSVＲ×SVＲ
ｙSV）-1）を算出して、ＲVSおよびＲｙTW（あるいはそ
れらを定義する回転角θSV，ψSV及びφTW）をメモリ１
４０’へと出力する。
って補正情報ＲｚSV，ＲｘSV，Ｒｙ TWの算出を行い、こ
れらの値からさらにＲVS（＝（ＲｚSVＲ×SVＲ
ｙSV）-1）を算出して、ＲVSおよびＲｙTW（あるいはそ
れらを定義する回転角θSV，ψSV及びφTW）をメモリ１
４０’へと出力する。
【００３６】なお、ＲｙSVの導出は分度器等の計測値を
手掛りに試行錯誤的に行ってもよいし、他のいずれの計
測手段を用いて行ってもよい。
手掛りに試行錯誤的に行ってもよいし、他のいずれの計
測手段を用いて行ってもよい。
【００３７】以上によって、視点の姿勢の３自由度全て
を予め定められた姿勢に固定しさえすれば、未知な補正
情報を容易に導出することができ、正確な位置合わせを
実現することが可能となる。
を予め定められた姿勢に固定しさえすれば、未知な補正
情報を容易に導出することができ、正確な位置合わせを
実現することが可能となる。
【００３８】
【発明が解決しようとする課題】表示画面１１０と姿勢
センサ１２０との位置関係が固定されている限りにおい
ては補正情報のうちのＲVS（あるいは回転角θSVおよび
ψSV）は不変であり、ひとたび補正情報が導出されれば
（すなわちＲVSが既知となれば）システムの使用ごとに
変化する補正情報はＲｙTW（あるいは回転角φTW）のみ
である。しかしながら、上記の方法においては、システ
ムの使用ごとに全ての補正情報を導出するのと同様な作
業（すなわち視点の姿勢の３自由度全てを予め定められ
た姿勢に固定するという作業）を行わなくてはならなか
った。
センサ１２０との位置関係が固定されている限りにおい
ては補正情報のうちのＲVS（あるいは回転角θSVおよび
ψSV）は不変であり、ひとたび補正情報が導出されれば
（すなわちＲVSが既知となれば）システムの使用ごとに
変化する補正情報はＲｙTW（あるいは回転角φTW）のみ
である。しかしながら、上記の方法においては、システ
ムの使用ごとに全ての補正情報を導出するのと同様な作
業（すなわち視点の姿勢の３自由度全てを予め定められ
た姿勢に固定するという作業）を行わなくてはならなか
った。
【００３９】しかし、視点の姿勢の３自由度全てを予め
定められた姿勢に固定することは容易ではなく、予め定
められた姿勢と指示情報を入力した際の実際の姿勢との
ずれが、導出する補正情報の誤差として現れてきてしま
うという問題があった。そのため、十分な位置合わせが
達成できるまで、上記の補正値算出処理を繰り返し行わ
なくてはならないという問題があった。
定められた姿勢に固定することは容易ではなく、予め定
められた姿勢と指示情報を入力した際の実際の姿勢との
ずれが、導出する補正情報の誤差として現れてきてしま
うという問題があった。そのため、十分な位置合わせが
達成できるまで、上記の補正値算出処理を繰り返し行わ
なくてはならないという問題があった。
【００４０】本発明は以上の問題に鑑みてなされたもの
であり、センサ計測値を世界座標系における視点の姿勢
に変換するための補正情報を、より簡便に取得すること
を目的とする。
であり、センサ計測値を世界座標系における視点の姿勢
に変換するための補正情報を、より簡便に取得すること
を目的とする。
【００４１】
【課題を解決するための手段】本発明の目的を解決する
為に、例えば本発明の画像表示装置は以下の構成を備え
る。すなわち、表示画面を観察するユーザの視点の姿勢
に応じた仮想画像を当該表示画面に表示する画像表示装
置であって、姿勢計測値を出力する姿勢センサと、前記
視点の姿勢を取得するために、前記姿勢センサからの姿
勢計測値を補正情報を用いて世界座標系で表された視点
の姿勢に変換する変換手段と、前記補正情報の較正のた
めに、メモリに予め格納された所定方位角を前記姿勢セ
ンサの世界座標系における方位角として用い、該姿勢セ
ンサからの姿勢計測値に基づいて世界座標系における前
記視点の姿勢を算出する算出手段と、前記算出手段で算
出された前記視点の姿勢を用いて仮想画像を生成し、前
記表示画面に表示する表示手段と、前記表示手段による
前記仮想画像の表示中において所定の指示入力があった
とき、前記姿勢センサからの姿勢計測値と前記所定方位
角とに基づいて、前記補正情報を較正する較正手段とを
備える。
為に、例えば本発明の画像表示装置は以下の構成を備え
る。すなわち、表示画面を観察するユーザの視点の姿勢
に応じた仮想画像を当該表示画面に表示する画像表示装
置であって、姿勢計測値を出力する姿勢センサと、前記
視点の姿勢を取得するために、前記姿勢センサからの姿
勢計測値を補正情報を用いて世界座標系で表された視点
の姿勢に変換する変換手段と、前記補正情報の較正のた
めに、メモリに予め格納された所定方位角を前記姿勢セ
ンサの世界座標系における方位角として用い、該姿勢セ
ンサからの姿勢計測値に基づいて世界座標系における前
記視点の姿勢を算出する算出手段と、前記算出手段で算
出された前記視点の姿勢を用いて仮想画像を生成し、前
記表示画面に表示する表示手段と、前記表示手段による
前記仮想画像の表示中において所定の指示入力があった
とき、前記姿勢センサからの姿勢計測値と前記所定方位
角とに基づいて、前記補正情報を較正する較正手段とを
備える。
【００４２】また、上記の目的を達成するための本発明
による画像表示方法は、表示画面に現実空間を光学的に
透過させつつ、当該表示画面を観察するユーザの視点の
姿勢に応じた仮想空間の画像を当該表示画面に表示する
画像表示方法であって、３自由度の姿勢を計測する姿勢
センサから姿勢計測値を入力し、当該姿勢センサの世界
座標系における姿勢のうちの方位角が予め定められた方
位角に固定されているものとして、該予め定められた方
位角と該姿勢計測値のうちの傾斜角計測値に基づいて前
記視点の姿勢を算出して、これを姿勢情報として出力す
る姿勢情報出力工程と、前記姿勢情報出力工程が出力す
る姿勢情報に基づいて前記画像を生成する画像生成工程
と、指示情報を入力する指示情報入力工程と、前記指示
情報が入力された時点及び／または該時点の前後におけ
る前記姿勢計測値のうちの方位角計測値と、前記予め定
められた方位角に基づいて、センサ座標系における姿勢
を世界座標系における姿勢に変換するための補正情報を
算出する補正情報算出工程とを備える。更に、本発明の
他の態様による画像表示方法は、撮像装置によって撮像
された実画像に当該撮像装置の視点の姿勢に応じた仮想
空間の画像を重畳した重畳画像を生成し、これを表示画
面に表示する画像表示方法であって、３自由度の姿勢を
計測する姿勢センサから姿勢計測値を入力し、当該姿勢
センサの世界座標系における姿勢のうちの方位角が予め
定められた方位角に固定されているものとして、該予め
定められた方位角と該姿勢計測値のうちの傾斜角計測値
に基づいて前記視点の姿勢を算出して、これを姿勢情報
として出力する姿勢情報出力工程と、前記姿勢情報出力
工程が出力する姿勢情報に基づいて前記重畳画像を生成
する画像生成工程と、指示情報を入力する指示情報入力
工程と、前記指示情報が入力された時点及び／または該
時点の前後における前記姿勢計測値のうちの方位角計測
値と、前記予め定められた方位角に基づいて、センサ座
標系における姿勢を世界座標系における姿勢に変換する
ための補正情報を算出する補正情報算出工程とを備え
る。
による画像表示方法は、表示画面に現実空間を光学的に
透過させつつ、当該表示画面を観察するユーザの視点の
姿勢に応じた仮想空間の画像を当該表示画面に表示する
画像表示方法であって、３自由度の姿勢を計測する姿勢
センサから姿勢計測値を入力し、当該姿勢センサの世界
座標系における姿勢のうちの方位角が予め定められた方
位角に固定されているものとして、該予め定められた方
位角と該姿勢計測値のうちの傾斜角計測値に基づいて前
記視点の姿勢を算出して、これを姿勢情報として出力す
る姿勢情報出力工程と、前記姿勢情報出力工程が出力す
る姿勢情報に基づいて前記画像を生成する画像生成工程
と、指示情報を入力する指示情報入力工程と、前記指示
情報が入力された時点及び／または該時点の前後におけ
る前記姿勢計測値のうちの方位角計測値と、前記予め定
められた方位角に基づいて、センサ座標系における姿勢
を世界座標系における姿勢に変換するための補正情報を
算出する補正情報算出工程とを備える。更に、本発明の
他の態様による画像表示方法は、撮像装置によって撮像
された実画像に当該撮像装置の視点の姿勢に応じた仮想
空間の画像を重畳した重畳画像を生成し、これを表示画
面に表示する画像表示方法であって、３自由度の姿勢を
計測する姿勢センサから姿勢計測値を入力し、当該姿勢
センサの世界座標系における姿勢のうちの方位角が予め
定められた方位角に固定されているものとして、該予め
定められた方位角と該姿勢計測値のうちの傾斜角計測値
に基づいて前記視点の姿勢を算出して、これを姿勢情報
として出力する姿勢情報出力工程と、前記姿勢情報出力
工程が出力する姿勢情報に基づいて前記重畳画像を生成
する画像生成工程と、指示情報を入力する指示情報入力
工程と、前記指示情報が入力された時点及び／または該
時点の前後における前記姿勢計測値のうちの方位角計測
値と、前記予め定められた方位角に基づいて、センサ座
標系における姿勢を世界座標系における姿勢に変換する
ための補正情報を算出する補正情報算出工程とを備え
る。
【００４３】
【発明の実施の形態】以下、添付図面を参照して、本発
明の好適な実施形態について詳細に説明する。
明の好適な実施形態について詳細に説明する。
【００４４】以下、本発明の画像表示装置及びその方法
を、建設予定のビルの景観シミュレーションを行うシミ
ュレーション装置及びその方法に適用する場合の詳細を
説明する。
を、建設予定のビルの景観シミュレーションを行うシミ
ュレーション装置及びその方法に適用する場合の詳細を
説明する。
【００４５】図４は、本実施形態のシミュレーション装
置によってユーザに提示される像の一例を示している。
すなわち、本実施形態のシミュレーション装置は、不図
示のユーザがビルの建設予定地５１０を含む現実の風景
５００を観察している際に、建設予定ビルのＣＧ画像５
２０をユーザの視点の姿勢にしたがって生成し、これを
表示することにより、建設予定地５１０に建設予定ビル
が建っているがごとき像５３０をユーザに観察させる。
置によってユーザに提示される像の一例を示している。
すなわち、本実施形態のシミュレーション装置は、不図
示のユーザがビルの建設予定地５１０を含む現実の風景
５００を観察している際に、建設予定ビルのＣＧ画像５
２０をユーザの視点の姿勢にしたがって生成し、これを
表示することにより、建設予定地５１０に建設予定ビル
が建っているがごとき像５３０をユーザに観察させる。
【００４６】本実施形態のシミュレーション装置は、図
３において示した補正情報ＲVSおよびＲｙTW（あるいは
それらを定義する回転角θSV，ψSV及びφTW）を求める
補正情報算出方法に加え、補正情報ＲVS（あるいはそれ
を定義する回転角θSV及びψ SV）が算出済みである場合
に、補正情報ＲｙTW（あるいはそれを定義する回転角φ
TW）のみを効率的に算出する補正情報算出機能を有して
いる。
３において示した補正情報ＲVSおよびＲｙTW（あるいは
それらを定義する回転角θSV，ψSV及びφTW）を求める
補正情報算出方法に加え、補正情報ＲVS（あるいはそれ
を定義する回転角θSV及びψ SV）が算出済みである場合
に、補正情報ＲｙTW（あるいはそれを定義する回転角φ
TW）のみを効率的に算出する補正情報算出機能を有して
いる。
【００４７】図５は、本実施形態のシミュレーション装
置の装置構成を示している。同図に示したように、本実
施形態のシミュレーション装置は、図３に示した画像表
示装置における姿勢情報出力部１３０’，補正情報算出
部３１０，切替え部３３０，及びメモリ１４０’に相当
する構成要素として、姿勢情報出力部１３０”，補正情
報算出部３１０’，切替え部３３０’，及びメモリ１４
０”を構成要素として有した構成となる。また、画像生
成部１５０’は、仮想画像として建設予定のビルのＣＧ
画像を生成する機能を有しているものとする。
置の装置構成を示している。同図に示したように、本実
施形態のシミュレーション装置は、図３に示した画像表
示装置における姿勢情報出力部１３０’，補正情報算出
部３１０，切替え部３３０，及びメモリ１４０’に相当
する構成要素として、姿勢情報出力部１３０”，補正情
報算出部３１０’，切替え部３３０’，及びメモリ１４
０”を構成要素として有した構成となる。また、画像生
成部１５０’は、仮想画像として建設予定のビルのＣＧ
画像を生成する機能を有しているものとする。
【００４８】尚、頭部装着部１００、表示画面１１０、
姿勢センサ１２０、及び指示情報入力部３２０の動作は
図３に示した画像表示装置と同様であるので説明を省略
する。
姿勢センサ１２０、及び指示情報入力部３２０の動作は
図３に示した画像表示装置と同様であるので説明を省略
する。
【００４９】また、本実施形態においては、メモリ１４
０”は、図３に示した画像表示装置における補正情報、
予め定めた視点の姿勢Ｒｙ0 VW（あるいは回転角φ0 VW）
に加え、世界座標系における姿勢センサ１２０の予め定
められた方位角φ0 SW（あるいはそれによって定義され
る回転行列Ｒｙ0 SW）を保持している。
０”は、図３に示した画像表示装置における補正情報、
予め定めた視点の姿勢Ｒｙ0 VW（あるいは回転角φ0 VW）
に加え、世界座標系における姿勢センサ１２０の予め定
められた方位角φ0 SW（あるいはそれによって定義され
る回転行列Ｒｙ0 SW）を保持している。
【００５０】切替え部３３０’は、ユーザあるいはオペ
レータ（いずれも図５には不図示）からの入力を受け、
姿勢情報出力部１３０”のモードを、図３に示した画像
表示装置における通常モード，補正情報算出モード（本
実施形態ではこれを第一の補正情報算出モードと呼ぶ）
あるいは、補正情報ＲｙTWを算出するための第二の補正
情報算出モードに設定する。また、同様に、切替え部３
３０’は、補正情報算出部３１０’のモードを、上記第
一の補正情報算出モードあるいは第二の補正情報算出モ
ードのいずれかに設定する。
レータ（いずれも図５には不図示）からの入力を受け、
姿勢情報出力部１３０”のモードを、図３に示した画像
表示装置における通常モード，補正情報算出モード（本
実施形態ではこれを第一の補正情報算出モードと呼ぶ）
あるいは、補正情報ＲｙTWを算出するための第二の補正
情報算出モードに設定する。また、同様に、切替え部３
３０’は、補正情報算出部３１０’のモードを、上記第
一の補正情報算出モードあるいは第二の補正情報算出モ
ードのいずれかに設定する。
【００５１】姿勢情報出力部１３０”は、モードが通常
モードあるいは第一の補正情報算出モードの場合には、
姿勢情報出力部１３０’と同様な姿勢情報を画像生成部
１５０’へと出力する。すなわち、モードが通常モード
の場合には、図１で説明した姿勢情報出力部１３０と同
様に、姿勢センサ１２０から入力されるＲSTから補正情
報を用いてＲVWを算出し、これを姿勢情報として画像生
成部１５０へと出力する。また、モードが第一の補正情
報算出モードの場合には、メモリ１４０’からＲｙ0 VW
を入力し、これを姿勢情報として画像生成部１５０へと
出力する。
モードあるいは第一の補正情報算出モードの場合には、
姿勢情報出力部１３０’と同様な姿勢情報を画像生成部
１５０’へと出力する。すなわち、モードが通常モード
の場合には、図１で説明した姿勢情報出力部１３０と同
様に、姿勢センサ１２０から入力されるＲSTから補正情
報を用いてＲVWを算出し、これを姿勢情報として画像生
成部１５０へと出力する。また、モードが第一の補正情
報算出モードの場合には、メモリ１４０’からＲｙ0 VW
を入力し、これを姿勢情報として画像生成部１５０へと
出力する。
【００５２】一方、モードが第二の補正情報算出モード
の場合には、姿勢情報出力部１３０”は、姿勢センサ１
２０から計測値ＲST（あるいはこれを定義する回転角）
を入力し、さらに、メモリ１４０”より補正情報ＲVS及
び予め定められた回転行列Ｒｙ0 SW（あるいはこれらを
定義する回転角）を入力し、次式 Ｒ’VW＝ＲVS・ＲｚST・ＲｘST・Ｒｙ0 SW …（式Ｉ） によって算出される姿勢Ｒ’VW（あるいはこれを定義す
る回転角）を、姿勢情報として画像生成部１５０’へと
出力する。
の場合には、姿勢情報出力部１３０”は、姿勢センサ１
２０から計測値ＲST（あるいはこれを定義する回転角）
を入力し、さらに、メモリ１４０”より補正情報ＲVS及
び予め定められた回転行列Ｒｙ0 SW（あるいはこれらを
定義する回転角）を入力し、次式 Ｒ’VW＝ＲVS・ＲｚST・ＲｘST・Ｒｙ0 SW …（式Ｉ） によって算出される姿勢Ｒ’VW（あるいはこれを定義す
る回転角）を、姿勢情報として画像生成部１５０’へと
出力する。
【００５３】なお、（式Ｉ）において、Ｒｙ0 SWは、Ｒ
ｙ0 ST・Ｒｙ0 TWに相当する（（式Ｂ）参照）。すなわ
ち、（式Ｂ）において姿勢センサ１２０の計測値Ｒ
STを、傾斜角成分（ＲｚSTとＲｘST）と方位角成分（Ｒ
ｙST）に分け、姿勢センサ１２０の世界座標系に対する
方位角成分を固定値（Ｒｙ0 ST・Ｒｙ0 TW＝Ｒｙ0 SW）と
したものである。
ｙ0 ST・Ｒｙ0 TWに相当する（（式Ｂ）参照）。すなわ
ち、（式Ｂ）において姿勢センサ１２０の計測値Ｒ
STを、傾斜角成分（ＲｚSTとＲｘST）と方位角成分（Ｒ
ｙST）に分け、姿勢センサ１２０の世界座標系に対する
方位角成分を固定値（Ｒｙ0 ST・Ｒｙ0 TW＝Ｒｙ0 SW）と
したものである。
【００５４】また、補正情報算出部３１０’は、モード
が第一の補正情報算出モードの場合には、補正情報算出
部３１０と同様な補正情報の算出を行う。すなわち、補
正情報算出部３１０は、補正情報算出処理実行の指示を
指示情報入力部３２０から入力し、視点２２０が姿勢Ｒ
ｙ0 VWに位置しているとユーザあるいはオペレータが判
断した時点における姿勢センサ１２０の出力Ｒ0 STを入
力し、姿勢Ｒｙ0 VWと姿勢Ｒ0 STに基づいて補正情報の算
出を行う。
が第一の補正情報算出モードの場合には、補正情報算出
部３１０と同様な補正情報の算出を行う。すなわち、補
正情報算出部３１０は、補正情報算出処理実行の指示を
指示情報入力部３２０から入力し、視点２２０が姿勢Ｒ
ｙ0 VWに位置しているとユーザあるいはオペレータが判
断した時点における姿勢センサ１２０の出力Ｒ0 STを入
力し、姿勢Ｒｙ0 VWと姿勢Ｒ0 STに基づいて補正情報の算
出を行う。
【００５５】一方、モードが第二の補正情報算出モード
の場合には、補正情報算出部３１０’は、補正情報算出
処理実行の指示を指示情報入力部３２０から入力する
と、その時点における姿勢センサ１２０の出力のうちの
方位角φ0 ST（あるいはそれによって定義される回転行
列Ｒｙ0 ST）を入力し、さらに、メモリ１４０”より方
位角φ0 SW（あるいはそれによって定義される回転行列
Ｒｙ0 SW）を入力し、次式 φTW＝ φ0 SW−φ0 ST …（式Ｊ） によって算出される補正情報φTW（あるいはそれによっ
て定義される回転行列ＲｙTW）をメモリ１４０”へと出
力する。
の場合には、補正情報算出部３１０’は、補正情報算出
処理実行の指示を指示情報入力部３２０から入力する
と、その時点における姿勢センサ１２０の出力のうちの
方位角φ0 ST（あるいはそれによって定義される回転行
列Ｒｙ0 ST）を入力し、さらに、メモリ１４０”より方
位角φ0 SW（あるいはそれによって定義される回転行列
Ｒｙ0 SW）を入力し、次式 φTW＝ φ0 SW−φ0 ST …（式Ｊ） によって算出される補正情報φTW（あるいはそれによっ
て定義される回転行列ＲｙTW）をメモリ１４０”へと出
力する。
【００５６】つぎに、図６を用いて、本実施形態のシミ
ュレーション装置の、第二の補正情報算出モードにおけ
る動作の原理を説明する。
ュレーション装置の、第二の補正情報算出モードにおけ
る動作の原理を説明する。
【００５７】第二の補正情報算出モードを実行する時点
において、補正情報ＲVSは既に得られている。第二の補
正値算出モードにおいては、不図示のユーザが現実空間
を観察し、その結果、表示画面１１０を通して現実の風
景６００が観察されているものとする。このとき、画像
生成部１５０’は、姿勢情報出力部１３０”が（式Ｉ）
に基づいて出力する姿勢情報を入力して、建設予定ビル
のＣＧ画像６２０を生成し、これを表示画面１１０へと
出力する。（式Ｉ）は、姿勢センサ１２０の姿勢に関し
て、傾斜角（ＲｚSTとＲｘST）については姿勢センサ１
２０の計測値を、方位角については固定値を使用したも
のであるので、傾斜角方向については視点の姿勢に連動
していて方位角方向については姿勢の固定されたＣＧ画
像が生成される。したがって、ユーザが観測する観察像
６３０は、傾斜角方向に関しては位置合わせが正しく行
われており、方位角方向のみに位置ずれが生じた像とな
る。
において、補正情報ＲVSは既に得られている。第二の補
正値算出モードにおいては、不図示のユーザが現実空間
を観察し、その結果、表示画面１１０を通して現実の風
景６００が観察されているものとする。このとき、画像
生成部１５０’は、姿勢情報出力部１３０”が（式Ｉ）
に基づいて出力する姿勢情報を入力して、建設予定ビル
のＣＧ画像６２０を生成し、これを表示画面１１０へと
出力する。（式Ｉ）は、姿勢センサ１２０の姿勢に関し
て、傾斜角（ＲｚSTとＲｘST）については姿勢センサ１
２０の計測値を、方位角については固定値を使用したも
のであるので、傾斜角方向については視点の姿勢に連動
していて方位角方向については姿勢の固定されたＣＧ画
像が生成される。したがって、ユーザが観測する観察像
６３０は、傾斜角方向に関しては位置合わせが正しく行
われており、方位角方向のみに位置ずれが生じた像とな
る。
【００５８】ユーザあるいはオペレータ（いずれも不図
示）は、観察像において現実の風景と仮想の映像（建設
予定ビルのＣＧ映像）が正しい位置関係となるように視
点の方位方向を調整し（６４０，６５０，６６０）、正
しい位置関係の観察像が観察された時点（６６０）で、
補正情報算出処理実行の指示を指示情報入力部３２０へ
と入力する。このとき、視点の傾斜角に関しては固定す
る必要がないため、一般的な手法と比べて姿勢の調整を
容易に行うことができる。
示）は、観察像において現実の風景と仮想の映像（建設
予定ビルのＣＧ映像）が正しい位置関係となるように視
点の方位方向を調整し（６４０，６５０，６６０）、正
しい位置関係の観察像が観察された時点（６６０）で、
補正情報算出処理実行の指示を指示情報入力部３２０へ
と入力する。このとき、視点の傾斜角に関しては固定す
る必要がないため、一般的な手法と比べて姿勢の調整を
容易に行うことができる。
【００５９】ここで、現実空間の像と仮想空間の像の位
置関係が正しいとされた時点（６６０）におけるに姿勢
センサ１２０の出力を（式Ｂ）に基づいて正しい補正情
報によって補正することによって得られる姿勢情報は、
（式Ｉ）で算出される姿勢情報と等しくなるはずであ
る。よって（式Ｂ）および（式Ｉ）から、 ＲVS・Ｒ0 ST・ＲｙＴＷ ＝ＲVS・Ｒ0ｚST・Ｒ0ｘST・Ｒｙ0 SW …（式Ｋ） なる関係が成立する。
置関係が正しいとされた時点（６６０）におけるに姿勢
センサ１２０の出力を（式Ｂ）に基づいて正しい補正情
報によって補正することによって得られる姿勢情報は、
（式Ｉ）で算出される姿勢情報と等しくなるはずであ
る。よって（式Ｂ）および（式Ｉ）から、 ＲVS・Ｒ0 ST・ＲｙＴＷ ＝ＲVS・Ｒ0ｚST・Ｒ0ｘST・Ｒｙ0 SW …（式Ｋ） なる関係が成立する。
【００６０】したがって、
Ｒｙ0 ST・ＲｙTW＝Ｒｙ0 SW …（式Ｌ）
となり、これより（式Ｊ）が導出さる。したがって、補
正情報算出部３１０’において、（式Ｊ）に基づいて補
正情報φTWを算出することが可能となる。
正情報算出部３１０’において、（式Ｊ）に基づいて補
正情報φTWを算出することが可能となる。
【００６１】図７は本実施形態のシミュレーション装置
による処理の手順を示すフローチャートである。なお、
同フローチャートに従ったプログラムコードは本実施形
態の装置内の不図示のＲＡＭやＲＯＭなどのメモリ内に
格納され、不図示のＣＰＵにより読み出され、実行され
る。
による処理の手順を示すフローチャートである。なお、
同フローチャートに従ったプログラムコードは本実施形
態の装置内の不図示のＲＡＭやＲＯＭなどのメモリ内に
格納され、不図示のＣＰＵにより読み出され、実行され
る。
【００６２】ステップＳ１０１０において、切替え部３
３０’における現在の設定モードが通常モード、第一の
補正情報算出モード及び第二の補正情報算出モードの何
れであるかの判定を行う。姿勢センサ１２０及び／また
は表示画面１１０が頭部装着部１００にはじめて固定さ
れたときや、姿勢センサ１２０と表示画面１１０の相対
的な姿勢の関係が変化した場合には、全ての補正情報を
導出する必要がある。このような場合、ユーザあるいは
オペレータは、切替え部３３０’によってモードを第一
の補正情報算出モードに切替え、補正情報の算出処理を
実行する。
３０’における現在の設定モードが通常モード、第一の
補正情報算出モード及び第二の補正情報算出モードの何
れであるかの判定を行う。姿勢センサ１２０及び／また
は表示画面１１０が頭部装着部１００にはじめて固定さ
れたときや、姿勢センサ１２０と表示画面１１０の相対
的な姿勢の関係が変化した場合には、全ての補正情報を
導出する必要がある。このような場合、ユーザあるいは
オペレータは、切替え部３３０’によってモードを第一
の補正情報算出モードに切替え、補正情報の算出処理を
実行する。
【００６３】モードが第一の補正情報算出モードの場
合、処理はステップＳ１１００に進み、指示情報入力部
３２０から指示情報が入力されているかどうかの判定が
行われる。
合、処理はステップＳ１１００に進み、指示情報入力部
３２０から指示情報が入力されているかどうかの判定が
行われる。
【００６４】指示情報が入力されていない場合、処理は
ステップＳ１１００からステップＳ１１５０へ進み、姿
勢情報出力部１３０”はメモリ１４０”から予め定めた
姿勢情報を入力する。そして、ステップＳ１０５０にお
いてこれを視点の姿勢情報として画像生成部１５０’へ
と出力する。
ステップＳ１１００からステップＳ１１５０へ進み、姿
勢情報出力部１３０”はメモリ１４０”から予め定めた
姿勢情報を入力する。そして、ステップＳ１０５０にお
いてこれを視点の姿勢情報として画像生成部１５０’へ
と出力する。
【００６５】画像生成部１５０’は、ステップＳ１０６
０において姿勢情報出力部１３０”から視点の姿勢情報
を入力し、これを仮想物体の描画パラメータとして設定
する。そして、ステップＳ１０７０において、ステップ
Ｓ１０６０で設定された描画パラメータを用いて仮想物
体のＣＧ画像を生成し、ステップＳ１０８０において生
成したＣＧ画像を表示画面１１０へと出力する。これに
より、予め定めた姿勢にしたがった仮想物体の像が表示
画面１１０上へと表示される。この処理は、第一の補正
情報算出モードの間繰り返し行われる。
０において姿勢情報出力部１３０”から視点の姿勢情報
を入力し、これを仮想物体の描画パラメータとして設定
する。そして、ステップＳ１０７０において、ステップ
Ｓ１０６０で設定された描画パラメータを用いて仮想物
体のＣＧ画像を生成し、ステップＳ１０８０において生
成したＣＧ画像を表示画面１１０へと出力する。これに
より、予め定めた姿勢にしたがった仮想物体の像が表示
画面１１０上へと表示される。この処理は、第一の補正
情報算出モードの間繰り返し行われる。
【００６６】以上のようにして仮想物体の像を表示画面
１１０上に表示している間に、ユーザあるいはオペレー
タは、表示画面１１０に表示された仮想物体が現実空間
と正しい位置関係になるように頭部の３次元的な姿勢を
調整する。そして、正しい位置関係となった時点で指示
情報入力部３２０により指示情報の入力を行う。
１１０上に表示している間に、ユーザあるいはオペレー
タは、表示画面１１０に表示された仮想物体が現実空間
と正しい位置関係になるように頭部の３次元的な姿勢を
調整する。そして、正しい位置関係となった時点で指示
情報入力部３２０により指示情報の入力を行う。
【００６７】第一の補正情報算出モードで指示情報が入
力された場合、補正情報算出部３１０’は、ステップＳ
１１１０において姿勢センサ１２０から計測値を入力
し、ステップＳ１１２０において予め定めた姿勢および
補正情報ＲｙSV（あるいはそれを定義する回転角φSV）
をメモリ１４０”から入力する。さらに、ステップＳ１
１３０において、（式Ｆ），（式Ｇ）および（式Ｈ）に
従って未知の補正情報を算出し、ステップＳ１１４０に
おいて、算出した補正情報をメモリ１４０”へと出力す
る。
力された場合、補正情報算出部３１０’は、ステップＳ
１１１０において姿勢センサ１２０から計測値を入力
し、ステップＳ１１２０において予め定めた姿勢および
補正情報ＲｙSV（あるいはそれを定義する回転角φSV）
をメモリ１４０”から入力する。さらに、ステップＳ１
１３０において、（式Ｆ），（式Ｇ）および（式Ｈ）に
従って未知の補正情報を算出し、ステップＳ１１４０に
おいて、算出した補正情報をメモリ１４０”へと出力す
る。
【００６８】一方、第一の補正情報算出モードにおいて
補正情報を算出した後であって、姿勢センサ１２０と表
示画面１１０の相対的な姿勢の関係が変化していない状
況において、本実施形態のシミュレーション装置を再度
使用する場合には、ユーザあるいはオペレータは、切替
え部３３０’によってモードを第二の補正値算出モード
に切替え、補正情報の算出処理を実行すればよい。
補正情報を算出した後であって、姿勢センサ１２０と表
示画面１１０の相対的な姿勢の関係が変化していない状
況において、本実施形態のシミュレーション装置を再度
使用する場合には、ユーザあるいはオペレータは、切替
え部３３０’によってモードを第二の補正値算出モード
に切替え、補正情報の算出処理を実行すればよい。
【００６９】切替え部３３０’において第二の補正情報
算出モードが設定されている場合、処理はステップＳ１
１６０に進み、指示情報入力部３２０から指示情報が入
力されているかどうかの判定が行われる。
算出モードが設定されている場合、処理はステップＳ１
１６０に進み、指示情報入力部３２０から指示情報が入
力されているかどうかの判定が行われる。
【００７０】指示情報が入力されていない場合、姿勢情
報出力部１３０”は、ステップＳ１２１０において姿勢
センサ１２０から計測値を入力し、ステップＳ１２２０
においてメモリ１４０”より補正情報ＲVS及び予め定め
られた回転行列Ｒｙ0 SW（あるいはこれらを定義する回
転角）を入力する。そして、ステップＳ１２３０におい
て（式Ｉ）に基づき視点の姿勢を算出し、ステップＳ１
０５０においてこれを視点の姿勢情報として画像生成部
１５０’へと出力する。
報出力部１３０”は、ステップＳ１２１０において姿勢
センサ１２０から計測値を入力し、ステップＳ１２２０
においてメモリ１４０”より補正情報ＲVS及び予め定め
られた回転行列Ｒｙ0 SW（あるいはこれらを定義する回
転角）を入力する。そして、ステップＳ１２３０におい
て（式Ｉ）に基づき視点の姿勢を算出し、ステップＳ１
０５０においてこれを視点の姿勢情報として画像生成部
１５０’へと出力する。
【００７１】画像生成部１５０’は、ステップＳ１０６
０において姿勢情報出力部１３０”から視点の姿勢情報
を入力し、これを仮想物体の描画パラメータとして設定
する。さらに、ステップＳ１０７０において仮想物体の
描画を行い、ステップＳ１０８０において生成したＣＧ
画像を表示画面１１０へと出力する。これにより、方位
角のみが一定方向に固定された仮想物体が表示画面１１
０上へと表示される。以上の処理は、第二の補正情報算
出モードの間繰り返し行われる。
０において姿勢情報出力部１３０”から視点の姿勢情報
を入力し、これを仮想物体の描画パラメータとして設定
する。さらに、ステップＳ１０７０において仮想物体の
描画を行い、ステップＳ１０８０において生成したＣＧ
画像を表示画面１１０へと出力する。これにより、方位
角のみが一定方向に固定された仮想物体が表示画面１１
０上へと表示される。以上の処理は、第二の補正情報算
出モードの間繰り返し行われる。
【００７２】以上のようにして仮想物体の像を表示画面
１１０上に表示している間に、ユーザあるいはオペレー
タは、表示画面１１０に表示された仮想物体が現実空間
と正しい位置関係になるように頭部の方位角方向を調整
する（図６の６３０〜６６０）。そして、正しい位置関
係となった時点で指示情報入力部３２０により指示情報
の入力を行う。
１１０上に表示している間に、ユーザあるいはオペレー
タは、表示画面１１０に表示された仮想物体が現実空間
と正しい位置関係になるように頭部の方位角方向を調整
する（図６の６３０〜６６０）。そして、正しい位置関
係となった時点で指示情報入力部３２０により指示情報
の入力を行う。
【００７３】指示情報が入力された場合、補正情報算出
部３１０’は、ステップＳ１１７０において、姿勢セン
サ１２０から計測値を入力し、ステップＳ１１８０にお
いて、予め定められた方位角φ0 SW（あるいはこれによ
って定義される回転行列Ｒｙ0 SW）をメモリ１４０”か
ら入力する。さらに、ステップＳ１１９０において（式
Ｊ）に従って未知の補正情報φTWを算出し、ステップＳ
１２００において、上記算出された補正情報をメモリ１
４０”へと出力する。こうして、最終的な補正情報がメ
モリ１４０”に格納される。
部３１０’は、ステップＳ１１７０において、姿勢セン
サ１２０から計測値を入力し、ステップＳ１１８０にお
いて、予め定められた方位角φ0 SW（あるいはこれによ
って定義される回転行列Ｒｙ0 SW）をメモリ１４０”か
ら入力する。さらに、ステップＳ１１９０において（式
Ｊ）に従って未知の補正情報φTWを算出し、ステップＳ
１２００において、上記算出された補正情報をメモリ１
４０”へと出力する。こうして、最終的な補正情報がメ
モリ１４０”に格納される。
【００７４】切替え部３３０’によって設定されたモー
ドが通常モードの場合、姿勢情報出力部１３０”は、ス
テップＳ１０２０において、姿勢センサ１２０から計測
値を入力し、ステップＳ１０３０において、メモリ１４
０”から補正情報を入力する。さらに、ステップＳ１０
４０において、計測値と補正情報から視点の姿勢を算出
し、ステップＳ１０５０においてこれを視点の姿勢情報
として画像生成部１５０’へと出力する。
ドが通常モードの場合、姿勢情報出力部１３０”は、ス
テップＳ１０２０において、姿勢センサ１２０から計測
値を入力し、ステップＳ１０３０において、メモリ１４
０”から補正情報を入力する。さらに、ステップＳ１０
４０において、計測値と補正情報から視点の姿勢を算出
し、ステップＳ１０５０においてこれを視点の姿勢情報
として画像生成部１５０’へと出力する。
【００７５】画像生成部１５０’は、ステップＳ１０６
０において、姿勢情報出力部１３０”から視点の姿勢情
報を入力し、ステップＳ１０７０において、その姿勢情
報に基づいて仮想物体のＣＧ画像を生成する。次に、ス
テップＳ１０８０において、生成したＣＧ画像を表示画
面１１０へと出力する。これにより、視点の姿勢にした
がった仮想物体の像が表示画面１１０上へと表示され
る。この処理は、通常モードの間繰り返し行われる。
０において、姿勢情報出力部１３０”から視点の姿勢情
報を入力し、ステップＳ１０７０において、その姿勢情
報に基づいて仮想物体のＣＧ画像を生成する。次に、ス
テップＳ１０８０において、生成したＣＧ画像を表示画
面１１０へと出力する。これにより、視点の姿勢にした
がった仮想物体の像が表示画面１１０上へと表示され
る。この処理は、通常モードの間繰り返し行われる。
【００７６】尚、姿勢情報出力部１３０”，メモリ１４
０”，画像生成部１５０’，補正情報算出部３１０’，
指示情報入力部３２０，および切替え部３３０’は、例
えば１台の汎用コンピュータ（ノート型コンピュータ
等）により構成することが可能である。また、本実施形
態では、姿勢センサ１２０は例えばトキメック（株）の
姿勢センサTISS-5-40を含んで構成したが、他の姿勢セ
ンサでももちろんかまわない。
０”，画像生成部１５０’，補正情報算出部３１０’，
指示情報入力部３２０，および切替え部３３０’は、例
えば１台の汎用コンピュータ（ノート型コンピュータ
等）により構成することが可能である。また、本実施形
態では、姿勢センサ１２０は例えばトキメック（株）の
姿勢センサTISS-5-40を含んで構成したが、他の姿勢セ
ンサでももちろんかまわない。
【００７７】尚、切替え部３３０’および指示情報入力
部３２０への入力は、同一のユーザインターフェイスを
介して行われることが望ましく、例えば、キーボード
や、コントロールパッドを用いることができる。
部３２０への入力は、同一のユーザインターフェイスを
介して行われることが望ましく、例えば、キーボード
や、コントロールパッドを用いることができる。
【００７８】また、上記実施形態は光学シースルー方式
のＭＲを実現するためのものであったが、光学シースル
ー方式に限定されるものではなく、ビデオシースルー方
式のＭＲにも適用可能である。その場合、上述の実施形
態ではユーザの視点２２０であった姿勢の計測対象が、
撮像装置（例えばビデオカメラ）の視点となる。また、
ビデオシースルー方式の場合、画像生成部１５０’は、
撮像装置が撮影した現実空間の画像にＣＧ画像を重畳描
画し、これを表示画面１１０へと表示する。
のＭＲを実現するためのものであったが、光学シースル
ー方式に限定されるものではなく、ビデオシースルー方
式のＭＲにも適用可能である。その場合、上述の実施形
態ではユーザの視点２２０であった姿勢の計測対象が、
撮像装置（例えばビデオカメラ）の視点となる。また、
ビデオシースルー方式の場合、画像生成部１５０’は、
撮像装置が撮影した現実空間の画像にＣＧ画像を重畳描
画し、これを表示画面１１０へと表示する。
【００７９】＜変形例１＞上記実施形態は、位置合わせ
の手掛りとして表示対象である仮想物体のＣＧ画像を用
いたが、仮想空間と現実空間の位置合わせがなされてい
ることを確認するための視覚的なキューとなる幾何情報
であれば、いずれの幾何情報を用いてもよい。例えば地
形や現実のビルの形状のモデリングを行い、現実空間の
同位置にそのワイヤーフレームモデルを重畳描画するよ
うにして位置合わせを行なってもよい。なお、現実物体
のワイヤーフレームモデルと表示対象である仮想物体と
を組み合わせて表示することが可能あることは言うまで
もない。
の手掛りとして表示対象である仮想物体のＣＧ画像を用
いたが、仮想空間と現実空間の位置合わせがなされてい
ることを確認するための視覚的なキューとなる幾何情報
であれば、いずれの幾何情報を用いてもよい。例えば地
形や現実のビルの形状のモデリングを行い、現実空間の
同位置にそのワイヤーフレームモデルを重畳描画するよ
うにして位置合わせを行なってもよい。なお、現実物体
のワイヤーフレームモデルと表示対象である仮想物体と
を組み合わせて表示することが可能あることは言うまで
もない。
【００８０】＜変形例２＞また、上記実施形態は、本発
明の画像表示装置及びその方法を、景観シミュレーショ
ンに適用したものであったが、言うまでもなく景観シミ
ュレーション以外のＭＲシステムにも適応可能である。
また、ＭＲシステムに限らず、姿勢センサを用いて視点
の位置姿勢を計測する種々の用途に用いることも可能で
ある。
明の画像表示装置及びその方法を、景観シミュレーショ
ンに適用したものであったが、言うまでもなく景観シミ
ュレーション以外のＭＲシステムにも適応可能である。
また、ＭＲシステムに限らず、姿勢センサを用いて視点
の位置姿勢を計測する種々の用途に用いることも可能で
ある。
【００８１】＜変形例３＞上記実施形態では、姿勢セン
サとしてトキメック（株）の姿勢センサTISS-5-40を使
用しているが、このセンサの適用に限られるものではな
い。センサ座標系の１つの軸が世界座標系に関連づけて
設定される姿勢センサであれば、いずれのセンサに対し
ても適用可能である。
サとしてトキメック（株）の姿勢センサTISS-5-40を使
用しているが、このセンサの適用に限られるものではな
い。センサ座標系の１つの軸が世界座標系に関連づけて
設定される姿勢センサであれば、いずれのセンサに対し
ても適用可能である。
【００８２】＜変形例４＞上記実施形態では、補正情報
算出部３１０は、指示情報が入力された時点における姿
勢センサ１２０の出力をＲ0 STとして入力し、これを補
正情報の算出に用いた（ステップＳ１１７０）が、必ず
しも指示情報が入力された時点の姿勢センサ１２０の出
力をＲ0 STとしなくてもよい。例えば、該指示情報が入
力された時点の前後における姿勢センサ１２０の計測値
（例えばそれらの平均値）を用いるようにしてもよい。
或は、視点２２０を姿勢Ｒｙ0 VWに一定時間静止させて
おき、その間の姿勢センサ１２０の出力の平均値を元に
Ｒ0 STを求めても良いし、視点２２０が姿勢Ｒｙ0 VWに位
置している際の姿勢センサ１２０の出力を得ることが出
来れば、いずれの方法でＲ0 STを取得してもよい。
算出部３１０は、指示情報が入力された時点における姿
勢センサ１２０の出力をＲ0 STとして入力し、これを補
正情報の算出に用いた（ステップＳ１１７０）が、必ず
しも指示情報が入力された時点の姿勢センサ１２０の出
力をＲ0 STとしなくてもよい。例えば、該指示情報が入
力された時点の前後における姿勢センサ１２０の計測値
（例えばそれらの平均値）を用いるようにしてもよい。
或は、視点２２０を姿勢Ｒｙ0 VWに一定時間静止させて
おき、その間の姿勢センサ１２０の出力の平均値を元に
Ｒ0 STを求めても良いし、視点２２０が姿勢Ｒｙ0 VWに位
置している際の姿勢センサ１２０の出力を得ることが出
来れば、いずれの方法でＲ0 STを取得してもよい。
【００８３】＜変形例５＞上記実施形態では、補正情報
ＲVSを求めるために第一の補正情報算出モードを設けて
いたが、補正情報ＲVSの取得方法はこれに限定されるも
のではなく、他のいかなる方法によって取得しても良
い。例えば、従来例で述べたような試行錯誤的な方法に
よって補正情報ＲVSの算出を行ってもよい。この場合、
上記実施形態における第一の補正情報算出モードに関連
する機能は不用となる。また、切替え部３３０’は通常
モードと第二の補正情報算出モードの切替えを行い、姿
勢情報出力部１３０”は通常モードまたは第二の補正値
算出モードにおける処理を行い、補正情報算出部３１
０’は第二の補正値算出モードにおける処理を行えばよ
い。
ＲVSを求めるために第一の補正情報算出モードを設けて
いたが、補正情報ＲVSの取得方法はこれに限定されるも
のではなく、他のいかなる方法によって取得しても良
い。例えば、従来例で述べたような試行錯誤的な方法に
よって補正情報ＲVSの算出を行ってもよい。この場合、
上記実施形態における第一の補正情報算出モードに関連
する機能は不用となる。また、切替え部３３０’は通常
モードと第二の補正情報算出モードの切替えを行い、姿
勢情報出力部１３０”は通常モードまたは第二の補正値
算出モードにおける処理を行い、補正情報算出部３１
０’は第二の補正値算出モードにおける処理を行えばよ
い。
【００８４】＜変形例６＞上記実施形態では、通常モー
ドにおいて、算出された補正情報を利用して視点の姿勢
の変化に応じたＣＧ画像の重畳表示を行っているが、算
出した補正情報を例えば他の画像表示装置で利用するこ
とを目的として、本発明の画像表示装置を補正情報の算
出のみのために用いることも可能である。この場合に
は、上記実施形態における通常モードが不用となるの
で、切替え部３３０’を省略し、姿勢情報出力部１３
０”は常に第二の補正値算出モードにおける処理のみを
行う構成とすることができる。
ドにおいて、算出された補正情報を利用して視点の姿勢
の変化に応じたＣＧ画像の重畳表示を行っているが、算
出した補正情報を例えば他の画像表示装置で利用するこ
とを目的として、本発明の画像表示装置を補正情報の算
出のみのために用いることも可能である。この場合に
は、上記実施形態における通常モードが不用となるの
で、切替え部３３０’を省略し、姿勢情報出力部１３
０”は常に第二の補正値算出モードにおける処理のみを
行う構成とすることができる。
【００８５】＜変形例７＞更に、上記実施形態では、第
二の補正値算出モードから通常モードへの切替えは、切
替え部３３０’によって行ったが、この切替えは別の方
法を用いて行っても良い。例えば、第二の補正値算出モ
ードにおいて指示情報入力部３２０によって指示情報が
入力され、それにより補正情報算出部３１０’が補正情
報を算出したタイミングで、通常モードへ移行するよう
にしてもよい。
二の補正値算出モードから通常モードへの切替えは、切
替え部３３０’によって行ったが、この切替えは別の方
法を用いて行っても良い。例えば、第二の補正値算出モ
ードにおいて指示情報入力部３２０によって指示情報が
入力され、それにより補正情報算出部３１０’が補正情
報を算出したタイミングで、通常モードへ移行するよう
にしてもよい。
【００８６】［他の実施形態］本発明の目的は、前述し
た実施形態の機能を実現するソフトウェアのプログラム
コードを記録した記憶媒体（または記録媒体）を、シス
テムあるいは装置に供給し、そのシステムあるいは装置
のコンピュータ（またはCPUやMPU）が記憶媒体に格納さ
れたプログラムコードを読み出し実行することによって
も、達成されることは言うまでもない。この場合、記憶
媒体から読み出されたプログラムコード自体が前述した
実施形態の機能を実現することになり、そのプログラム
コードを記憶した記憶媒体は本発明を構成することにな
る。また、コンピュータが読み出したプログラムコード
を実行することにより、前述した実施形態の機能が実現
されるだけでなく、そのプログラムコードの指示に基づ
き、コンピュータ上で稼働しているオペレーティングシ
ステム(OS)などが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。
た実施形態の機能を実現するソフトウェアのプログラム
コードを記録した記憶媒体（または記録媒体）を、シス
テムあるいは装置に供給し、そのシステムあるいは装置
のコンピュータ（またはCPUやMPU）が記憶媒体に格納さ
れたプログラムコードを読み出し実行することによって
も、達成されることは言うまでもない。この場合、記憶
媒体から読み出されたプログラムコード自体が前述した
実施形態の機能を実現することになり、そのプログラム
コードを記憶した記憶媒体は本発明を構成することにな
る。また、コンピュータが読み出したプログラムコード
を実行することにより、前述した実施形態の機能が実現
されるだけでなく、そのプログラムコードの指示に基づ
き、コンピュータ上で稼働しているオペレーティングシ
ステム(OS)などが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。
【００８７】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【００８８】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には先に説明した（図７に示す）フローチャ
ートに対応するプログラムコードが格納されることにな
る。
の記憶媒体には先に説明した（図７に示す）フローチャ
ートに対応するプログラムコードが格納されることにな
る。
【００８９】
【発明の効果】以上説明したように、本発明によれば、
センサ計測値を世界座標系における視点の姿勢に変換す
るための補正情報をより簡便に取得することが可能とな
る。
センサ計測値を世界座標系における視点の姿勢に変換す
るための補正情報をより簡便に取得することが可能とな
る。
【図１】光学シースルー方式の複合現実感の提示を行う
一般的な画像表示装置の構成を示す図である。
一般的な画像表示装置の構成を示す図である。
【図２】姿勢情報出力部１３０において、世界座標系２
００におけるユーザの視点２２０の姿勢を算出する方法
を説明する図である。
００におけるユーザの視点２２０の姿勢を算出する方法
を説明する図である。
【図３】補正情報算出部を備えた画像表示装置の構成を
示す図である。
示す図である。
【図４】本発明の第１の実施形態における景観シミュレ
ーションが提示する像の例を示した図である。
ーションが提示する像の例を示した図である。
【図５】本発明の第１の実施形態における景観シミュレ
ーション装置の構成を示した図である。
ーション装置の構成を示した図である。
【図６】本発明の第１の実施形態における景観シミュレ
ーション装置の、第二の補正情報算出モードにおける動
作の原理を説明した図である。
ーション装置の、第二の補正情報算出モードにおける動
作の原理を説明した図である。
【図７】本発明の第１の実施形態の景観シミュレーショ
ン装置の処理手順を示すフローチャートである。
ン装置の処理手順を示すフローチャートである。
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成１４年９月２０日（２００２．９．２
０）
０）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】請求項１１
【補正方法】変更
【補正内容】
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】請求項１２
【補正方法】変更
【補正内容】
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】請求項１３
【補正方法】変更
【補正内容】
フロントページの続き
Ｆターム(参考） 5B050 AA03 BA11 CA07 EA19 EA24
EA27 FA02
5B087 AA07 AD02 CC09 CC24 CC26
DE03 DJ03
5C082 AA01 AA27 BA12 BB42 CA56
CB01 DA61 DA87 MM10
Claims (13)
- 【請求項１】 表示画面を観察するユーザの視点の姿勢
に応じた仮想画像を当該表示画面に表示する画像表示装
置であって、 姿勢計測値を出力する姿勢センサと、 前記視点の姿勢を取得するために、前記姿勢センサから
の姿勢計測値を補正情報を用いて世界座標系で表された
視点の姿勢に変換する変換手段と、 前記補正情報の較正のために、メモリに予め格納された
所定方位角を前記姿勢センサの世界座標系における方位
角として用い、該姿勢センサからの姿勢計測値に基づい
て世界座標系における前記視点の姿勢を算出する算出手
段と、 前記算出手段で算出された前記視点の姿勢を用いて仮想
画像を生成し、前記表示画面に表示する表示手段と、 前記表示手段による前記仮想画像の表示中において所定
の指示入力があったとき、前記姿勢センサからの姿勢計
測値と前記所定方位角とに基づいて、前記補正情報を較
正する較正手段とを備えることを特徴とする画像表示装
置。 - 【請求項２】 前記表示画面への仮想画像の表示は、該
表示画面に現実空間の像を光学的に投影させつつ、当該
表示画面上に仮想画像を表示することを特徴とする請求
項１に記載の画像表示装置。 - 【請求項３】 前記表示画面への仮想画像の表示は、該
表示画面上に撮像装置によって撮像された実画像に、仮
想画像を重畳して表示することを特徴とする請求項１に
記載の画像表示装置。 - 【請求項４】 前記較正手段は、前記所定の指示入力が
なされた時点及び／または該時点の前後における前記姿
勢センサからの姿勢計測値と、前記所定方位角とに基づ
いて前記補正情報を較正することを特徴とする請求項１
乃至３のいずれかに記載の画像表示装置。 - 【請求項５】 前記姿勢センサからの姿勢計測値は、方
位角計測値と傾斜角計測値を含み、 前記算出手段は、前記所定方位角を前記姿勢センサの世
界座標系における方位角とし、該方位角と前記傾斜角計
測値とを用いて世界座標系における前記視点の姿勢を算
出することを特徴とする請求項１乃至４のいずれかに記
載の画像表示装置。 - 【請求項６】 通常モードと補正値算出モードとの切替
えを行う切替え手段をさらに有し、 前記通常モードにおいては、前記変換手段で得られた視
点の姿勢に応じた仮想画像を前記表示画面に表示し、 前記補正値算出モードでは、前記算出手段、前記表示手
段、前記較正手段を機能させることを特徴とする請求項
１乃至５のいずれかに記載の画像表示装置。 - 【請求項７】 前記較正手段は、センサ座標系と世界座
標系の間の方位角のオフセット値を補正することを特徴
とする請求項１乃至６のいずれかに記載の画像表示装
置。 - 【請求項８】 表示画面に現実空間を光学的に透過させ
つつ、当該表示画面を観察するユーザの視点の姿勢に応
じた仮想空間の画像を当該表示画面に表示する画像表示
方法であって、 ３自由度の姿勢を計測する姿勢センサから姿勢計測値を
入力し、当該姿勢センサの世界座標系における姿勢のう
ちの方位角が予め定められた方位角に固定されているも
のとして、該予め定められた方位角と該姿勢計測値のう
ちの傾斜角計測値に基づいて前記視点の姿勢を算出し
て、これを姿勢情報として出力する姿勢情報出力工程
と、 前記姿勢情報出力工程が出力する姿勢情報に基づいて前
記画像を生成する画像生成工程と、 指示情報を入力する指示情報入力工程と、 前記指示情報が入力された時点及び／または該時点の前
後における前記姿勢計測値のうちの方位角計測値と、前
記予め定められた方位角に基づいて、センサ座標系にお
ける姿勢を世界座標系における姿勢に変換するための補
正情報を算出する補正情報算出工程と、 を備えることを特徴とする画像表示方法。 - 【請求項９】 撮像装置によって撮像された実画像に当
該撮像装置の視点の姿勢に応じた仮想空間の画像を重畳
した重畳画像を生成し、これを表示画面に表示する画像
表示方法であって、 ３自由度の姿勢を計測する姿勢センサから姿勢計測値を
入力し、当該姿勢センサの世界座標系における姿勢のう
ちの方位角が予め定められた方位角に固定されているも
のとして、該予め定められた方位角と該姿勢計測値のう
ちの傾斜角計測値に基づいて前記視点の姿勢を算出し
て、これを姿勢情報として出力する姿勢情報出力工程
と、 前記姿勢情報出力工程が出力する姿勢情報に基づいて前
記重畳画像を生成する画像生成工程と、 指示情報を入力する指示情報入力工程と、 前記指示情報が入力された時点及び／または該時点の前
後における前記姿勢計測値のうちの方位角計測値と、前
記予め定められた方位角に基づいて、センサ座標系にお
ける姿勢を世界座標系における姿勢に変換するための補
正情報を算出する補正情報算出工程と、 を備えることを特徴とする画像表示方法。 - 【請求項１０】 通常モードと補正値算出モードとの切
替えを行う切替え工程をさらに有し、 前記姿勢情報出力工程は、前記通常モードにおいては、
前記補正情報と前記姿勢計測値に基づいて前記視点の世
界座標系における姿勢を算出してこれを姿勢情報として
出力し、前記補正値算出モードにおいては、前記予め定
められた方位角と前記傾斜角計測値に基づいて前記視点
の姿勢を算出して、これを姿勢情報として出力すること
を特徴とする、請求項８または９に記載の画像表示方
法。 - 【請求項１１】 前記補正情報は、センサ座標系と世界
座標系の間の方位角のオフセット値であることを特徴と
する請求項８乃至１０に記載の画像表示方法。 - 【請求項１２】 請求項８乃至１１に記載の画像表示方
法をコンピュータに実行させるためのプログラムコード
を格納し、コンピュータが読み取り可能な記憶媒体。 - 【請求項１３】 請求項８乃至１１に記載の画像表示方
法をコンピュータに実行させるための制御プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001329360A JP3805231B2 (ja) | 2001-10-26 | 2001-10-26 | 画像表示装置及びその方法並びに記憶媒体 |
| EP02257360A EP1306809A3 (en) | 2001-10-26 | 2002-10-23 | Mixed reality imaging |
| US10/278,947 US7446768B2 (en) | 2001-10-26 | 2002-10-24 | Virtual image display apparatus and method using calibrated measurement of attitude sensor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001329360A JP3805231B2 (ja) | 2001-10-26 | 2001-10-26 | 画像表示装置及びその方法並びに記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003132374A true JP2003132374A (ja) | 2003-05-09 |
| JP3805231B2 JP3805231B2 (ja) | 2006-08-02 |
Family
ID=19145274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001329360A Expired - Fee Related JP3805231B2 (ja) | 2001-10-26 | 2001-10-26 | 画像表示装置及びその方法並びに記憶媒体 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7446768B2 (ja) |
| EP (1) | EP1306809A3 (ja) |
| JP (1) | JP3805231B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006318015A (ja) * | 2005-05-10 | 2006-11-24 | Sony Corp | 画像処理装置および画像処理方法、画像表示システム、並びに、プログラム |
| JP2008500624A (ja) * | 2004-05-24 | 2008-01-10 | ３ディー フォー オール シャミタステクニカイ フェリャズト ケーエフティー | 仮想３次元空間内で動作するシステム及び方法と視覚化システムを介してオペレーションを選択するシステム |
| US7414596B2 (en) | 2003-09-30 | 2008-08-19 | Canon Kabushiki Kaisha | Data conversion method and apparatus, and orientation measurement apparatus |
| WO2011048773A1 (en) * | 2009-10-20 | 2011-04-28 | Sony Corporation | Image display apparatus, image display method, and program |
| JP2012109708A (ja) * | 2010-11-16 | 2012-06-07 | Seiko Epson Corp | 映像表示装置及び映像表示方法 |
| JP2014002645A (ja) * | 2012-06-20 | 2014-01-09 | Shimizu Corp | 合成画像表示システム及びその方法 |
| WO2015071940A1 (ja) * | 2013-11-15 | 2015-05-21 | 国土交通省国土技術政策総合研究所長が代表する日本国 | 情報処理装置、情報処理方法及びプログラム |
| JP2016053961A (ja) * | 2015-09-28 | 2016-04-14 | 国土交通省国土技術政策総合研究所長 | 情報処理装置、情報処理方法及びプログラム |
| WO2017064972A1 (ja) * | 2015-10-14 | 2017-04-20 | アルプス電気株式会社 | ウェアラブル装置とその姿勢測定方法及びプログラム |
| JP2017187757A (ja) * | 2016-03-30 | 2017-10-12 | ＴｓＺ株式会社 | 画像表示装置 |
Families Citing this family (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3486613B2 (ja) * | 2001-03-06 | 2004-01-13 | キヤノン株式会社 | 画像処理装置およびその方法並びにプログラム、記憶媒体 |
| JP2004199496A (ja) * | 2002-12-19 | 2004-07-15 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| JP4136859B2 (ja) * | 2003-01-10 | 2008-08-20 | キヤノン株式会社 | 位置姿勢計測方法 |
| US7369102B2 (en) * | 2003-03-04 | 2008-05-06 | Microsoft Corporation | System and method for navigating a graphical user interface on a smaller display |
| JP4532856B2 (ja) * | 2003-07-08 | 2010-08-25 | キヤノン株式会社 | 位置姿勢計測方法及び装置 |
| JP4537104B2 (ja) * | 2004-03-31 | 2010-09-01 | キヤノン株式会社 | マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法 |
| JP2005326275A (ja) * | 2004-05-14 | 2005-11-24 | Canon Inc | 情報処理方法および装置 |
| JP4593968B2 (ja) * | 2004-05-14 | 2010-12-08 | キヤノン株式会社 | 位置姿勢計測方法および装置 |
| US9071870B2 (en) * | 2004-12-08 | 2015-06-30 | Nokia Technologies Oy | System and method for viewing digital visual content on a device |
| JP5127128B2 (ja) * | 2004-12-21 | 2013-01-23 | 韓國電子通信研究院 | カメラの位置及び姿勢情報補正方法及びその装置 |
| EP1686554A3 (en) * | 2005-01-31 | 2008-06-18 | Canon Kabushiki Kaisha | Virtual space generating system, image processing apparatus and information processing method |
| US7737965B2 (en) * | 2005-06-09 | 2010-06-15 | Honeywell International Inc. | Handheld synthetic vision device |
| JP4914039B2 (ja) * | 2005-07-27 | 2012-04-11 | キヤノン株式会社 | 情報処理方法および装置 |
| JP4810295B2 (ja) * | 2006-05-02 | 2011-11-09 | キヤノン株式会社 | 情報処理装置及びその制御方法、画像処理装置、プログラム、記憶媒体 |
| FR2935810B1 (fr) * | 2008-09-09 | 2010-10-22 | Airbus France | Procede de reglage d'une compensation d'harmonisation entre capteur video et dispositif de visualisation tete haute, et dispositifs correspondants |
| US8416263B2 (en) * | 2010-03-08 | 2013-04-09 | Empire Technology Development, Llc | Alignment of objects in augmented reality |
| EP2378394A3 (en) * | 2010-04-15 | 2015-03-25 | Electronics and Telecommunications Research Institute | User interface device and method for recognizing user interaction using same |
| KR101874895B1 (ko) * | 2012-01-12 | 2018-07-06 | 삼성전자 주식회사 | 증강 현실 제공 방법 및 이를 지원하는 단말기 |
| US20140123507A1 (en) | 2012-11-02 | 2014-05-08 | Qualcomm Incorporated | Reference coordinate system determination |
| JP6138566B2 (ja) * | 2013-04-24 | 2017-05-31 | 川崎重工業株式会社 | 部品取付作業支援システムおよび部品取付方法 |
| US9330504B2 (en) * | 2013-04-30 | 2016-05-03 | Hover Inc. | 3D building model construction tools |
| JP6397269B2 (ja) | 2013-09-06 | 2018-09-26 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| CN103996215A (zh) * | 2013-11-05 | 2014-08-20 | 深圳市云立方信息科技有限公司 | 一种实现虚拟视图转立体视图的方法及装置 |
| US11617623B2 (en) * | 2014-01-24 | 2023-04-04 | Koninklijke Philips N.V. | Virtual image with optical shape sensing device perspective |
| JP6393106B2 (ja) | 2014-07-24 | 2018-09-19 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| US9965030B2 (en) | 2014-07-31 | 2018-05-08 | Samsung Electronics Co., Ltd. | Wearable glasses and method of displaying image via the wearable glasses |
| CN104142631B (zh) * | 2014-08-01 | 2016-08-24 | 北京理工大学 | 飞行控制系统的快速原型设计与半物理仿真方法及系统 |
| JP6971544B2 (ja) | 2015-08-06 | 2021-11-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| US10156901B2 (en) * | 2015-10-16 | 2018-12-18 | Wisconsin Alumni Research Foundation | Touch surface for mobile devices using near field light sensing |
| JP6711715B2 (ja) | 2016-07-19 | 2020-06-17 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP6840481B2 (ja) | 2016-07-19 | 2021-03-10 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP2018110615A (ja) | 2017-01-06 | 2018-07-19 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP6934734B2 (ja) | 2017-03-17 | 2021-09-15 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法およびプログラム |
| CN107941240A (zh) * | 2017-10-10 | 2018-04-20 | 深圳市虚拟现实科技有限公司 | 姿态测量装置自动校正的方法及系统 |
| JP7058585B2 (ja) | 2017-12-25 | 2022-04-22 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
| WO2019130827A1 (ja) | 2017-12-25 | 2019-07-04 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
| WO2020010097A1 (en) | 2018-07-02 | 2020-01-09 | Magic Leap, Inc. | Pixel intensity modulation using modifying gain values |
| CN112955073A (zh) | 2018-08-22 | 2021-06-11 | 奇跃公司 | 患者观察系统 |
| JP7206706B2 (ja) * | 2018-08-31 | 2023-01-18 | 積水ハウス株式会社 | シミュレーションシステム |
| CN113454507B (zh) | 2018-12-21 | 2024-05-07 | 奇跃公司 | 用于促进波导内的全内反射的气穴结构 |
| JP2022523852A (ja) * | 2019-03-12 | 2022-04-26 | マジック リープ， インコーポレイテッド | 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ |
| WO2021097318A1 (en) | 2019-11-14 | 2021-05-20 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
| CN114120792B (zh) * | 2021-11-30 | 2024-02-27 | 中国人民解放军海军航空大学 | 一种基于飞机姿态控制的专用教具 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4583094A (en) * | 1983-04-28 | 1986-04-15 | Rockwell International Corporation | Solid state attitude director indicator |
| US5815411A (en) * | 1993-09-10 | 1998-09-29 | Criticom Corporation | Electro-optic vision system which exploits position and attitude |
| US6064398A (en) * | 1993-09-10 | 2000-05-16 | Geovector Corporation | Electro-optic vision systems |
| US6654014B2 (en) * | 1995-04-20 | 2003-11-25 | Yoshinori Endo | Bird's-eye view forming method, map display apparatus and navigation system |
| US6057856A (en) * | 1996-09-30 | 2000-05-02 | Sony Corporation | 3D virtual reality multi-user interaction with superimposed positional information display for each user |
| US6064335A (en) * | 1997-07-21 | 2000-05-16 | Trimble Navigation Limited | GPS based augmented reality collision avoidance system |
| US6166744A (en) * | 1997-11-26 | 2000-12-26 | Pathfinder Systems, Inc. | System for combining virtual images with real-world scenes |
| JP3632895B2 (ja) | 1999-08-10 | 2005-03-23 | 東光電気株式会社 | 光電圧センサ |
| US6596976B2 (en) * | 1999-12-07 | 2003-07-22 | American Gnc Corporation | Method and system for pointing and stabilizing a device |
| US6298286B1 (en) * | 1999-12-17 | 2001-10-02 | Rockwell Collins | Method of preventing potentially hazardously misleading attitude data |
| JP3631151B2 (ja) * | 2000-11-30 | 2005-03-23 | キヤノン株式会社 | 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体 |
| US7176936B2 (en) * | 2001-03-27 | 2007-02-13 | Siemens Corporate Research, Inc. | Augmented reality guided instrument positioning with modulated guiding graphics |
-
2001
- 2001-10-26 JP JP2001329360A patent/JP3805231B2/ja not_active Expired - Fee Related
-
2002
- 2002-10-23 EP EP02257360A patent/EP1306809A3/en not_active Withdrawn
- 2002-10-24 US US10/278,947 patent/US7446768B2/en not_active Expired - Fee Related
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7414596B2 (en) | 2003-09-30 | 2008-08-19 | Canon Kabushiki Kaisha | Data conversion method and apparatus, and orientation measurement apparatus |
| JP2008500624A (ja) * | 2004-05-24 | 2008-01-10 | ３ディー フォー オール シャミタステクニカイ フェリャズト ケーエフティー | 仮想３次元空間内で動作するシステム及び方法と視覚化システムを介してオペレーションを選択するシステム |
| JP2006318015A (ja) * | 2005-05-10 | 2006-11-24 | Sony Corp | 画像処理装置および画像処理方法、画像表示システム、並びに、プログラム |
| WO2011048773A1 (en) * | 2009-10-20 | 2011-04-28 | Sony Corporation | Image display apparatus, image display method, and program |
| JP2012109708A (ja) * | 2010-11-16 | 2012-06-07 | Seiko Epson Corp | 映像表示装置及び映像表示方法 |
| JP2014002645A (ja) * | 2012-06-20 | 2014-01-09 | Shimizu Corp | 合成画像表示システム及びその方法 |
| WO2015071940A1 (ja) * | 2013-11-15 | 2015-05-21 | 国土交通省国土技術政策総合研究所長が代表する日本国 | 情報処理装置、情報処理方法及びプログラム |
| JP5817012B2 (ja) * | 2013-11-15 | 2015-11-18 | 国土交通省国土技術政策総合研究所長 | 情報処理装置、情報処理方法及びプログラム |
| JP2016053961A (ja) * | 2015-09-28 | 2016-04-14 | 国土交通省国土技術政策総合研究所長 | 情報処理装置、情報処理方法及びプログラム |
| WO2017064972A1 (ja) * | 2015-10-14 | 2017-04-20 | アルプス電気株式会社 | ウェアラブル装置とその姿勢測定方法及びプログラム |
| JPWO2017064972A1 (ja) * | 2015-10-14 | 2018-09-06 | アルプス電気株式会社 | ウェアラブル装置とその姿勢測定方法及びプログラム |
| US10760904B2 (en) | 2015-10-14 | 2020-09-01 | Alps Alpine Co., Ltd. | Wearable device, posture measurement method, and non-transitory recording medium |
| JP2017187757A (ja) * | 2016-03-30 | 2017-10-12 | ＴｓＺ株式会社 | 画像表示装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US7446768B2 (en) | 2008-11-04 |
| US20030080976A1 (en) | 2003-05-01 |
| JP3805231B2 (ja) | 2006-08-02 |
| EP1306809A2 (en) | 2003-05-02 |
| EP1306809A3 (en) | 2007-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3805231B2 (ja) | 画像表示装置及びその方法並びに記憶媒体 | |
| US7095424B2 (en) | Image display apparatus and method, and storage medium | |
| US11016297B2 (en) | Image generation apparatus and image generation method | |
| EP3343320B1 (en) | Information processing apparatus, information processing system, and information processing method | |
| JP4218952B2 (ja) | データ変換方法及び装置 | |
| US6990429B2 (en) | Information processing apparatus, and information processing method | |
| US20060227211A1 (en) | Method and apparatus for measuring position and orientation | |
| US20070120872A1 (en) | Image processing device and method therefor and program codes, storing medium | |
| JP4677281B2 (ja) | 画像処理方法、画像処理装置 | |
| US20030184602A1 (en) | Information processing method and apparatus | |
| JP7121523B2 (ja) | 画像表示装置、画像表示方法 | |
| JP4095320B2 (ja) | センサ較正装置、センサ較正方法、プログラム、記憶媒体 | |
| US20050078053A1 (en) | Image-displaying apparatus and method for obtaining pixel data therefor | |
| JP2005038321A (ja) | ヘッドマウントディスプレイ装置 | |
| JP3840171B2 (ja) | 画像表示装置及びその方法並びに記憶媒体 | |
| JP5870656B2 (ja) | 軌跡演算装置および軌跡演算方法 | |
| JP2004234549A (ja) | 現実物体モデル作成方法 | |
| JP4926598B2 (ja) | 情報処理方法、情報処理装置 | |
| JP4568050B2 (ja) | カメラパラメータ算出較正装置およびカメラパラメータ算出較正プログラム | |
| JP2005122233A (ja) | 情報処理装置および方法並びに記憶媒体 | |
| JP4810403B2 (ja) | 情報処理装置、情報処理方法 | |
| JP2004108836A (ja) | 撮像装置の方位角計算方法及び装置、撮像装置の姿勢検出装置、撮像装置の傾きセンサ、コンピュータプログラム、並びに三次元モデル構成装置 | |
| JP7030906B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP7465133B2 (ja) | 情報処理装置、情報処理方法 | |
| JP2006277350A (ja) | 情報処理方法、情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051216 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060421 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060509 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100519 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100519 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130519 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140519 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |