JP2002228442A - 位置姿勢の決定方法及び装置並びに記憶媒体 - Google Patents
位置姿勢の決定方法及び装置並びに記憶媒体Info
- Publication number
- JP2002228442A JP2002228442A JP2001045536A JP2001045536A JP2002228442A JP 2002228442 A JP2002228442 A JP 2002228442A JP 2001045536 A JP2001045536 A JP 2001045536A JP 2001045536 A JP2001045536 A JP 2001045536A JP 2002228442 A JP2002228442 A JP 2002228442A
- Authority
- JP
- Japan
- Prior art keywords
- orientation
- imaging
- unit
- feature point
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 111
- 238000003384 imaging method Methods 0.000 claims description 89
- 238000012937 correction Methods 0.000 claims description 87
- 238000012545 processing Methods 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 20
- 238000005259 measurement Methods 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 6
- 239000003550 marker Substances 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims 3
- 239000011159 matrix material Substances 0.000 abstract description 41
- 230000009466 transformation Effects 0.000 abstract description 6
- 239000002131 composite material Substances 0.000 abstract 2
- 239000013598 vector Substances 0.000 description 33
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000007796 conventional method Methods 0.000 description 6
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
Abstract
(57)【要約】
【課題】 撮像されたランドマークを反映して特にカメ
ラの位置姿勢を示すパラメータの補正を行うこと。 【解決手段】 ＨＭＤの位置姿勢を示す信号に基づいて
ＨＭＤの位置姿勢を示すビューイング変換行列を生成す
る（Ｓ６０２）。一方、撮像された映像に基づいてラン
ドマーク及びその位置を検出し（Ｓ６０４）、検出した
ランドマークの位置を用いて補正行列ΔＭｃを生成する
（Ｓ６０５）。以上の各処理により生成したビューイン
グ変換行列、及び補正行列ΔＭｃを用いてＨＭＤの位置
姿勢を補正し（Ｓ６０６）、補正したＨＭＤの位置姿勢
を示す外部パラメータに基づいて仮想物体の映像を生成
し、複合現実感映像を生成する（Ｓ６０７）。生成した
複合現実感映像は表示部に表示される（Ｓ６０９）。
ラの位置姿勢を示すパラメータの補正を行うこと。 【解決手段】 ＨＭＤの位置姿勢を示す信号に基づいて
ＨＭＤの位置姿勢を示すビューイング変換行列を生成す
る（Ｓ６０２）。一方、撮像された映像に基づいてラン
ドマーク及びその位置を検出し（Ｓ６０４）、検出した
ランドマークの位置を用いて補正行列ΔＭｃを生成する
（Ｓ６０５）。以上の各処理により生成したビューイン
グ変換行列、及び補正行列ΔＭｃを用いてＨＭＤの位置
姿勢を補正し（Ｓ６０６）、補正したＨＭＤの位置姿勢
を示す外部パラメータに基づいて仮想物体の映像を生成
し、複合現実感映像を生成する（Ｓ６０７）。生成した
複合現実感映像は表示部に表示される（Ｓ６０９）。
Description
【０００１】
【発明の属する技術分野】本発明は、現実空間にコンピ
ュータグラフィックス等の他の空間の画像を合成する画
像処理を実行するにあたり、当該現実空間を撮像する撮
像装置の撮像された映像を利用する以外の方法で計測し
た位置姿勢を示すパラメータを撮像した映像の情報を基
に同定する撮像装置の位置姿勢を決定する処理装置及び
その方法並びに記憶媒体に関するものである。また、撮
像装置の位置姿勢を決定する用途であれば、現実空間に
他の空間画像を合成する目的以外にも利用可能である。
ュータグラフィックス等の他の空間の画像を合成する画
像処理を実行するにあたり、当該現実空間を撮像する撮
像装置の撮像された映像を利用する以外の方法で計測し
た位置姿勢を示すパラメータを撮像した映像の情報を基
に同定する撮像装置の位置姿勢を決定する処理装置及び
その方法並びに記憶媒体に関するものである。また、撮
像装置の位置姿勢を決定する用途であれば、現実空間に
他の空間画像を合成する目的以外にも利用可能である。
【０００２】
【従来の技術】現実空間の画像とコンピュータグラフィ
ックス等の非現実空間の画像を合成するＡＲ（複合現実
感）において、カメラを用いて現実空間を撮像する際、
撮像する映像を利用する以外の方法、例えば磁気センサ
等の位置姿勢センサによるカメラの位置の計測ではその
精度が不十分であった。そのためにこのセンサによるカ
メラの位置姿勢に基づいて仮想物体を現実空間に重畳表
示しようとすると、所望の位置よりずれて表示されるこ
とがあった。
ックス等の非現実空間の画像を合成するＡＲ（複合現実
感）において、カメラを用いて現実空間を撮像する際、
撮像する映像を利用する以外の方法、例えば磁気センサ
等の位置姿勢センサによるカメラの位置の計測ではその
精度が不十分であった。そのためにこのセンサによるカ
メラの位置姿勢に基づいて仮想物体を現実空間に重畳表
示しようとすると、所望の位置よりずれて表示されるこ
とがあった。
【０００３】そのために従来では、現実空間を撮像する
カメラの外部パラメータ（位置姿勢）の精度を向上させ
る方法として、いくつか提案されてきた。その一つとし
て現実空間に３次元位置が既知である特徴点（ランドマ
ーク）を複数配置しておき、カメラにより撮像され、カ
メラの表示面に表示されたいくつかのランドマークのう
ち、注目ランドマークの実際の位置とこのときのカメラ
の位置姿勢により予測される注目ランドマークの位置と
の誤差を用いてカメラの外部パラメータを補正する方法
があった。
カメラの外部パラメータ（位置姿勢）の精度を向上させ
る方法として、いくつか提案されてきた。その一つとし
て現実空間に３次元位置が既知である特徴点（ランドマ
ーク）を複数配置しておき、カメラにより撮像され、カ
メラの表示面に表示されたいくつかのランドマークのう
ち、注目ランドマークの実際の位置とこのときのカメラ
の位置姿勢により予測される注目ランドマークの位置と
の誤差を用いてカメラの外部パラメータを補正する方法
があった。
【０００４】ここで注目ランドマークとして、人工的に
特定の色や形の情報を持ったシール状のものなどを現実
空間中の物体に貼り付けたマーカを用いても良いし、自
然シーン中の特徴的な点をランドマークとしても良い。
特定の色や形の情報を持ったシール状のものなどを現実
空間中の物体に貼り付けたマーカを用いても良いし、自
然シーン中の特徴的な点をランドマークとしても良い。
【０００５】又その他の方法として、現実空間に複数の
ランドマークがあるとき、カメラにより撮像された視野
内の３つ（ないしは１〜２つ）のランドマークと位置姿
勢センサの計測値とを同時に用いて、現実空間（３次元
空間）からカメラの表示面（２次元平面）への射影行列
を行列演算により求め、求めた行列を用いてカメラの外
部パラメータの補正を行う方法があった。
ランドマークがあるとき、カメラにより撮像された視野
内の３つ（ないしは１〜２つ）のランドマークと位置姿
勢センサの計測値とを同時に用いて、現実空間（３次元
空間）からカメラの表示面（２次元平面）への射影行列
を行列演算により求め、求めた行列を用いてカメラの外
部パラメータの補正を行う方法があった。
【０００６】
【発明が解決しようとする課題】しかし従来の方法にお
いて前者の方法は注目ランドマークに基づいてカメラの
外部パラメータの補正を行うので、例えば注目ランドマ
ークから遠く離れた位置に仮想物体を重畳表示する場
合、所望の位置よりずれて表示される場合がある。ま
た、カメラの視野範囲の変更により注目ランドマークが
切り替わり変更されるので、その切り替わりの時に補正
値が大きく変更される場合がある。
いて前者の方法は注目ランドマークに基づいてカメラの
外部パラメータの補正を行うので、例えば注目ランドマ
ークから遠く離れた位置に仮想物体を重畳表示する場
合、所望の位置よりずれて表示される場合がある。ま
た、カメラの視野範囲の変更により注目ランドマークが
切り替わり変更されるので、その切り替わりの時に補正
値が大きく変更される場合がある。
【０００７】一方、従来の方法において後者の方法で
は、求めた射影行列が元の座標系の座標軸の直交性を損
なう写像を行う場合があり、例えばランドマークの検出
精度によっては空間のひずみを生じる問題があった。
は、求めた射影行列が元の座標系の座標軸の直交性を損
なう写像を行う場合があり、例えばランドマークの検出
精度によっては空間のひずみを生じる問題があった。
【０００８】本発明は以上の問題に鑑みてなされたもの
であり、撮像されたランドマークを反映して特にカメラ
の位置姿勢を示すパラメータの補正を行うことを目的と
する。
であり、撮像されたランドマークを反映して特にカメラ
の位置姿勢を示すパラメータの補正を行うことを目的と
する。
【０００９】
【課題を解決するための手段】本発明の目的を達成する
ために、例えば本発明の位置姿勢決定装置は以下の構成
を備える。
ために、例えば本発明の位置姿勢決定装置は以下の構成
を備える。
【００１０】すなわち、３次元位置が既知である複数の
特徴点の存在する現実空間において、当該現実空間を撮
像する撮像手段の位置姿勢を示すパラメータを同定する
位置姿勢決定装置であって、前記撮像手段の位置姿勢を
撮像された映像を利用する以外の方法で計測する位置姿
勢計測手段と、前記撮像手段により撮像された現実空間
の映像より前記複数特徴点及びその撮像面上での２次元
位置を検出する検出手段と、前記位置姿勢計測手段によ
り計測された前記撮像手段の位置姿勢に基づいて前記特
徴点の撮像面上での２次元位置を予測する予測手段と、
前記撮像手段の撮像面上における前記予測手段による前
記特徴点の位置と、前記検出手段による前記特徴点の位
置とに基づいて、前記撮像手段の位置姿勢を示すパラメ
ータを補正する補正手段とを備え、前記補正手段により
前記パラメータを補正することで、現実空間を撮像する
撮像手段の位置姿勢を示すパラメータを同定する。
特徴点の存在する現実空間において、当該現実空間を撮
像する撮像手段の位置姿勢を示すパラメータを同定する
位置姿勢決定装置であって、前記撮像手段の位置姿勢を
撮像された映像を利用する以外の方法で計測する位置姿
勢計測手段と、前記撮像手段により撮像された現実空間
の映像より前記複数特徴点及びその撮像面上での２次元
位置を検出する検出手段と、前記位置姿勢計測手段によ
り計測された前記撮像手段の位置姿勢に基づいて前記特
徴点の撮像面上での２次元位置を予測する予測手段と、
前記撮像手段の撮像面上における前記予測手段による前
記特徴点の位置と、前記検出手段による前記特徴点の位
置とに基づいて、前記撮像手段の位置姿勢を示すパラメ
ータを補正する補正手段とを備え、前記補正手段により
前記パラメータを補正することで、現実空間を撮像する
撮像手段の位置姿勢を示すパラメータを同定する。
【００１１】
【発明の実施の形態】以下添付図面を参照して、本発明
をその好適な実施形態に従って詳細に説明する。
をその好適な実施形態に従って詳細に説明する。
【００１２】［第１の実施形態］まず従来の方法におい
て、現実空間に複数のランドマークがあるとき、カメラ
により撮像され、カメラの表示面に表示されたいくつか
のランドマークのうち、注目ランドマークの実際の位置
と、このときの別の位置姿勢センサにより得られるカメ
ラの位置姿勢により予測される注目ランドマークの位置
との誤差を用いてカメラの外部パラメータを補正する方
法について説明し、次にこの方法を複数のランドマーク
に対して用いた本実施形態における方法について説明す
る。
て、現実空間に複数のランドマークがあるとき、カメラ
により撮像され、カメラの表示面に表示されたいくつか
のランドマークのうち、注目ランドマークの実際の位置
と、このときの別の位置姿勢センサにより得られるカメ
ラの位置姿勢により予測される注目ランドマークの位置
との誤差を用いてカメラの外部パラメータを補正する方
法について説明し、次にこの方法を複数のランドマーク
に対して用いた本実施形態における方法について説明す
る。
【００１３】＜従来の方法＞図１は上述の従来の方法を
説明する模式図である。点Ａはカメラの位置姿勢に基づ
いて予測されるランドマークの位置、点Ｂはこのランド
マークの実際の位置、点Ｃはカメラ視点の位置を示す。
なお点Ａ、点Ｂが示す位置はカメラ座標系における位置
であって、点Ｃはカメラ座標系の原点である。また、点
Ｐは撮像面上における点Ａの位置、点Ｑは撮像面上にお
ける点Ｂの位置を示す。ここで同図の通り、点Ｐ、Ｑの
座標を夫々（Ｘｐ、Ｙｐ）、（Ｘｑ、Ｙｑ）、撮像面の
幅、高さを夫々ｗ、ｈ、カメラの焦点距離（点Ｃと撮像
面との距離）をｄとし、ｖ１を点Ｃから点Ｑへのベクト
ル、ｖ２を点Ｃから点Ｐへのベクトル、θをベクトルｖ
１，ｖ２のなす角とする。
説明する模式図である。点Ａはカメラの位置姿勢に基づ
いて予測されるランドマークの位置、点Ｂはこのランド
マークの実際の位置、点Ｃはカメラ視点の位置を示す。
なお点Ａ、点Ｂが示す位置はカメラ座標系における位置
であって、点Ｃはカメラ座標系の原点である。また、点
Ｐは撮像面上における点Ａの位置、点Ｑは撮像面上にお
ける点Ｂの位置を示す。ここで同図の通り、点Ｐ、Ｑの
座標を夫々（Ｘｐ、Ｙｐ）、（Ｘｑ、Ｙｑ）、撮像面の
幅、高さを夫々ｗ、ｈ、カメラの焦点距離（点Ｃと撮像
面との距離）をｄとし、ｖ１を点Ｃから点Ｑへのベクト
ル、ｖ２を点Ｃから点Ｐへのベクトル、θをベクトルｖ
１，ｖ２のなす角とする。
【００１４】このとき、撮像面においてカメラの位置姿
勢により予測されるランドマークの位置と実際の位置と
ではずれ（誤差）があり、このずれを補正するのに２種
類の方法がある。すなわち、カメラの位置は固定して姿
勢をθだけ点Ｂ方向から点Ａ方向に変化させる方法（カ
メラの回転による補正方法）、もしくは、ＡＢ間の距離
だけ点Ｂから点Ａの方向にカメラを平行移動させる方法
（カメラの平行移動による補正方法）である。以下この
２つの方法について夫々の処理のフローチャートを示す
図７，８を用いて説明する。
勢により予測されるランドマークの位置と実際の位置と
ではずれ（誤差）があり、このずれを補正するのに２種
類の方法がある。すなわち、カメラの位置は固定して姿
勢をθだけ点Ｂ方向から点Ａ方向に変化させる方法（カ
メラの回転による補正方法）、もしくは、ＡＢ間の距離
だけ点Ｂから点Ａの方向にカメラを平行移動させる方法
（カメラの平行移動による補正方法）である。以下この
２つの方法について夫々の処理のフローチャートを示す
図７，８を用いて説明する。
【００１５】＜１ カメラの回転による補正方法＞上述
の設定からベクトルｖ１，ｖ２の夫々の成分は以下のよ
うになる（ステップＳ７０１）。
の設定からベクトルｖ１，ｖ２の夫々の成分は以下のよ
うになる（ステップＳ７０１）。
【００１６】 ｖ１＝（Ｘｑ−ｗ／２，Ｙｑ−ｈ／２，−ｄ） ｖ２＝（Ｘｐ−ｗ／２，Ｙｐ−ｈ／２，−ｄ） ここで夫々のベクトルを大きさ１のベクトルに正規化す
る（ステップＳ７０２）。ここで｜ｖ｜はｖの大きさを
表す。
る（ステップＳ７０２）。ここで｜ｖ｜はｖの大きさを
表す。
【００１７】ｖｎ１＝ｖ１／｜ｖ１｜ ｖｎ２＝ｖ２／｜ｖ２｜ ここでカメラを回転させる場合、その回転軸はベクトル
ｖ１，ｖ２がなす平面と直交し、カメラ視点位置（点
Ｃ）を通る直線となる。この回転軸の方向ベクトルはベ
クトルｖ１，ｖ２の外積により求めることができる（実
際にはベクトルｖ１，ｖ２を正規化したものを用いる）
（ステップＳ７０３）。
ｖ１，ｖ２がなす平面と直交し、カメラ視点位置（点
Ｃ）を通る直線となる。この回転軸の方向ベクトルはベ
クトルｖ１，ｖ２の外積により求めることができる（実
際にはベクトルｖ１，ｖ２を正規化したものを用いる）
（ステップＳ７０３）。
【００１８】ｖｘ＝ｖｎ１×ｖｎ２ ｖｘは回転軸の方向ベクトルであって、その成分を
（ｌ、ｍ、ｎ）とする。また回転角θはベクトルｖ１，
ｖ２のなす角なので、以下のようにして求めることがで
きる（実際にはベクトルｖ１，ｖ２を正規化したものを
用いる）（ステップＳ７０４）。
（ｌ、ｍ、ｎ）とする。また回転角θはベクトルｖ１，
ｖ２のなす角なので、以下のようにして求めることがで
きる（実際にはベクトルｖ１，ｖ２を正規化したものを
用いる）（ステップＳ７０４）。
【００１９】θ＝ａｒｃｃｏｓ（ｖｎ１・ｖｎ２） よって、カメラの回転による補正に用いる補正行列ΔＭ
ｃは以下のように計算される（ステップＳ７０５）。
ｃは以下のように計算される（ステップＳ７０５）。
【００２０】
【数１】
【００２１】この補正行列ΔＭｃをカメラの位置姿勢を
示す行列（ビューイング変換行列）にかけることでカメ
ラの位置姿勢（外部パラメータ）は補正される。つまり
点Ｐが点Ｑの位置に表示され、撮像面上におけるランド
マークの予測される位置と実際の位置とが一致する。
示す行列（ビューイング変換行列）にかけることでカメ
ラの位置姿勢（外部パラメータ）は補正される。つまり
点Ｐが点Ｑの位置に表示され、撮像面上におけるランド
マークの予測される位置と実際の位置とが一致する。
【００２２】＜２ カメラの平行移動による補正方法＞
カメラの平行移動により誤差を補正する場合、上述の通
りカメラの位置をＡＢ間の距離だけ点Ｂから点Ａの方向
に平行移動させればよい。その結果撮像面上では点Ｐの
位置に見えていたものが点Ｑの位置に見ることができ
る。まずベクトルｖ１，ｖ２を求めておく（ステップＳ
８０１）。また点Ｐから点Ｑへのベクトルｖｍは以下の
ようになる（ステップＳ８０２）。
カメラの平行移動により誤差を補正する場合、上述の通
りカメラの位置をＡＢ間の距離だけ点Ｂから点Ａの方向
に平行移動させればよい。その結果撮像面上では点Ｐの
位置に見えていたものが点Ｑの位置に見ることができ
る。まずベクトルｖ１，ｖ２を求めておく（ステップＳ
８０１）。また点Ｐから点Ｑへのベクトルｖｍは以下の
ようになる（ステップＳ８０２）。
【００２３】ｖｍ＝ｖ１−ｖ２ ここで点Ｃから点Ａへのベクトルをｖａとすると（ステ
ップＳ８０３）、三角形ＣＰＱと三角形ＣＡＢが相似形
であることから、点Ａから点Ｂへのベクトルｖ３を以下
のようにして求めることができる（ステップＳ８０
４）。
ップＳ８０３）、三角形ＣＰＱと三角形ＣＡＢが相似形
であることから、点Ａから点Ｂへのベクトルｖ３を以下
のようにして求めることができる（ステップＳ８０
４）。
【００２４】ｖ３＝｜ｖａ｜／｜ｖ２｜×ｖｍ このずれ（｜ｖ３｜）がカメラ空間におけるランドマー
クの位置のずれに相当するので、ｖ３＝（ｓ、ｔ、ｕ）
とおくと、カメラの平行移動に用いる補正行列ΔＭｃは
以下のようにして計算される（ステップＳ８０５）。
クの位置のずれに相当するので、ｖ３＝（ｓ、ｔ、ｕ）
とおくと、カメラの平行移動に用いる補正行列ΔＭｃは
以下のようにして計算される（ステップＳ８０５）。
【００２５】
【数２】
【００２６】この補正行列ΔＭｃをカメラの位置姿勢を
示す行列にかけることでカメラの位置姿勢（外部パラメ
ータ）は補正され、その結果撮像面上では点Ｐの位置に
見えていたものが点Ｑの位置に見ることができる。
示す行列にかけることでカメラの位置姿勢（外部パラメ
ータ）は補正され、その結果撮像面上では点Ｐの位置に
見えていたものが点Ｑの位置に見ることができる。
【００２７】＜本実施形態における方法＞上述の＜従来
の方法＞では、注目ランドマーク近傍に対してのみ上述
の誤差は少なくなるが、その他のランドマーク近傍にお
いてはその誤差は大きい場合がある。よって本実施形態
ではカメラの視野に含まれる全てのランドマークに対し
てずれ検出を行い、平均的に利用する。
の方法＞では、注目ランドマーク近傍に対してのみ上述
の誤差は少なくなるが、その他のランドマーク近傍にお
いてはその誤差は大きい場合がある。よって本実施形態
ではカメラの視野に含まれる全てのランドマークに対し
てずれ検出を行い、平均的に利用する。
【００２８】図２は本実施形態における補正方法を説明
する模式図である。点Ｐ１，Ｐ２，Ｐ３はカメラの位置
姿勢に基づいて予測される夫々のランドマークの撮像面
上での位置を示し、Ｑ１，Ｑ２，Ｑ３は夫々のランドマ
ークの実際の位置を撮像面上に投影した位置を示す。本
実施形態ではＰ１、Ｐ２，Ｐ３の代表点（Ｐａｖ）及び
Ｑ１，Ｑ２，Ｑ３の代表点Ｑａｖを生成し、この代表点
ＰａｖがＱａｖに一致するようにカメラの回転、もしく
は平行移動を行う。もしくは、Ｐ１，Ｐ２，Ｐ３の点群
が夫々Ｑ１，Ｑ２，Ｑ３へ平均的に一致するようにカメ
ラの回転、もしくは平行移動を行う。
する模式図である。点Ｐ１，Ｐ２，Ｐ３はカメラの位置
姿勢に基づいて予測される夫々のランドマークの撮像面
上での位置を示し、Ｑ１，Ｑ２，Ｑ３は夫々のランドマ
ークの実際の位置を撮像面上に投影した位置を示す。本
実施形態ではＰ１、Ｐ２，Ｐ３の代表点（Ｐａｖ）及び
Ｑ１，Ｑ２，Ｑ３の代表点Ｑａｖを生成し、この代表点
ＰａｖがＱａｖに一致するようにカメラの回転、もしく
は平行移動を行う。もしくは、Ｐ１，Ｐ２，Ｐ３の点群
が夫々Ｑ１，Ｑ２，Ｑ３へ平均的に一致するようにカメ
ラの回転、もしくは平行移動を行う。
【００２９】＜方法１＞以下、方法１の処理のフローチ
ャートを示す図９を用いて説明する。カメラの位置姿勢
に基づいて予測される夫々のランドマークの撮像面上で
の位置を示す変数をＰｉ（１≦ｉ≦ｎ）、夫々のランド
マークの実際の位置を撮像面上に投影した位置を示す変
数をＱｉ（１≦ｉ≦ｎ）とした場合、代表点Ｐａｖとし
て全ての点Ｐｉの平均値を用いる（ステップＳ９０
１）。
ャートを示す図９を用いて説明する。カメラの位置姿勢
に基づいて予測される夫々のランドマークの撮像面上で
の位置を示す変数をＰｉ（１≦ｉ≦ｎ）、夫々のランド
マークの実際の位置を撮像面上に投影した位置を示す変
数をＱｉ（１≦ｉ≦ｎ）とした場合、代表点Ｐａｖとし
て全ての点Ｐｉの平均値を用いる（ステップＳ９０
１）。
【００３０】Ｐａｖ＝（Ｘｐ＿ａｖ，Ｙｐ＿ａｖ） Ｐｉ＝（Ｘｐｉ，Ｙｐｉ） Ｘｐ＿ａｖ＝（Ｘｐ１＋Ｘｐ２＋，，，＋Ｘｐｎ）／ｎ Ｙｐ＿ａｖ＝（Ｙｐ１＋Ｙｐ２＋，，，＋Ｙｐｎ）／ｎ 同様に代表点Ｑａｖとしては全ての点Ｑｉの平均値を用
いる。
いる。
【００３１】Ｑａｖ＝（Ｘｑ＿ａｖ，Ｙｑ＿ａｖ） Ｑｉ＝（Ｘｑｉ，Ｙｑｉ） Ｘｑ＿ａｖ＝（Ｘｑ１＋Ｘｑ２＋，，，＋Ｘｑｎ）／ｎ Ｙｑ＿ａｖ＝（Ｙｑ１＋Ｙｑ２＋，，，＋Ｙｑｎ）／ｎ そして求めた代表点Ｐａｖ、Ｑａｖを夫々図１における
点Ｐ、Ｑとして上述のカメラの回転による補正方法（図
７に示したフローチャート）又は、カメラの平行移動に
よる補正方法（図８に示したフローチャート）を実行し
（ステップＳ９０２）、補正行列ΔＭｃを生成する。
点Ｐ、Ｑとして上述のカメラの回転による補正方法（図
７に示したフローチャート）又は、カメラの平行移動に
よる補正方法（図８に示したフローチャート）を実行し
（ステップＳ９０２）、補正行列ΔＭｃを生成する。
【００３２】なおカメラの平行移動による補正の場合
（図８に示したフローチャートに従った処理を実行する
場合）、カメラの位置姿勢に基づいて予測される夫々の
ランドマークの位置を示す点（図１では点Ａ）群の代表
点（平均値）を求める。なおこの処理はステップＳ９０
１において行う。そして図１における点Ａとして用い
る。
（図８に示したフローチャートに従った処理を実行する
場合）、カメラの位置姿勢に基づいて予測される夫々の
ランドマークの位置を示す点（図１では点Ａ）群の代表
点（平均値）を求める。なおこの処理はステップＳ９０
１において行う。そして図１における点Ａとして用い
る。
【００３３】＜方法２＞カメラの位置姿勢に基づいて予
測される夫々のランドマークの撮像面上での位置を示す
変数をＰｉ（１≦ｉ≦ｎ）、夫々のランドマークの実際
の位置を撮像面上に投影した位置を示す変数をＱｉ（１
≦ｉ≦ｎ）とした場合、代表点Ｐａｖとして全ての点Ｐ
ｉの重み付け平均値を用いる。
測される夫々のランドマークの撮像面上での位置を示す
変数をＰｉ（１≦ｉ≦ｎ）、夫々のランドマークの実際
の位置を撮像面上に投影した位置を示す変数をＱｉ（１
≦ｉ≦ｎ）とした場合、代表点Ｐａｖとして全ての点Ｐ
ｉの重み付け平均値を用いる。
【００３４】Ｐａｖ＝（Ｘｐ＿ａｖ，Ｙｐ＿ａｖ） Ｐｉ＝（Ｘｐｉ，Ｙｐｉ） Ｘｐ＿ａｖ＝ｗ１×Ｘｐ１＋ｗ２×Ｘｐ２＋，，，＋ｗ
ｎ×Ｘｐｎ Ｙｐ＿ａｖ＝ｗ１×Ｙｐ１＋ｗ２×Ｙｐ２＋，，，＋ｗ
ｎ×Ｙｐｎ 但し、ｗ１＋ｗ２＋，，，＋ｗｎ＝１ この重み付け係数ｗｉ（１≦ｉ≦ｎ）は本実施形態では
撮像面の中心に近いほど大きい係数値とする。なおこの
他にも例えば注目領域内に対してのみ数値を与えて、注
目領域外の重み付け係数ｗｉは０としてもよい。
ｎ×Ｘｐｎ Ｙｐ＿ａｖ＝ｗ１×Ｙｐ１＋ｗ２×Ｙｐ２＋，，，＋ｗ
ｎ×Ｙｐｎ 但し、ｗ１＋ｗ２＋，，，＋ｗｎ＝１ この重み付け係数ｗｉ（１≦ｉ≦ｎ）は本実施形態では
撮像面の中心に近いほど大きい係数値とする。なおこの
他にも例えば注目領域内に対してのみ数値を与えて、注
目領域外の重み付け係数ｗｉは０としてもよい。
【００３５】同様に代表点Ｑａｖとしては全ての点Ｑｉ
の重み付け平均値を用いる。
の重み付け平均値を用いる。
【００３６】Ｑａｖ＝（Ｘｑ＿ａｖ，Ｙｑ＿ａｖ） Ｑｉ＝（Ｘｑｉ，Ｙｑｉ） Ｘｑ＿ａｖ＝ｗ１×Ｘｑ１＋ｗ２×Ｘｑ２＋，，，＋ｗ
ｎ×Ｘｑｎ Ｙｑ＿ａｖ＝ｗ１×Ｙｑ１＋ｗ２×Ｙｑ２＋，，，＋ｗ
ｎ×Ｙｑｎ 但し、ｗ１＋ｗ２＋，，，＋ｗｎ＝１ そして求めた代表点Ｐａｖ、Ｑａｖを夫々図１における
点Ｐ、Ｑとして上述の方法を用いてカメラの回転による
補正、又はカメラの平行移動による補正を行う。
ｎ×Ｘｑｎ Ｙｑ＿ａｖ＝ｗ１×Ｙｑ１＋ｗ２×Ｙｑ２＋，，，＋ｗ
ｎ×Ｙｑｎ 但し、ｗ１＋ｗ２＋，，，＋ｗｎ＝１ そして求めた代表点Ｐａｖ、Ｑａｖを夫々図１における
点Ｐ、Ｑとして上述の方法を用いてカメラの回転による
補正、又はカメラの平行移動による補正を行う。
【００３７】なお＜方法２＞における処理のフローチャ
ートは図９に示したフローチャートにおいて、ステップ
Ｓ９０１での平均計算を行う処理を、上述の重み付け平
均計算を行う処理に変更したフローチャートとなる。
ートは図９に示したフローチャートにおいて、ステップ
Ｓ９０１での平均計算を行う処理を、上述の重み付け平
均計算を行う処理に変更したフローチャートとなる。
【００３８】なおカメラの平行移動による補正の場合、
カメラの位置姿勢に基づいて予測される夫々のランドマ
ークの位置を示す点（図１では点Ａ）群の代表点（重み
付け平均値）を求める。なおこの処理はステップＳ９０
１において行う。そして、図１における点Ａとして用い
る。
カメラの位置姿勢に基づいて予測される夫々のランドマ
ークの位置を示す点（図１では点Ａ）群の代表点（重み
付け平均値）を求める。なおこの処理はステップＳ９０
１において行う。そして、図１における点Ａとして用い
る。
【００３９】＜方法３＞方法１，２ではカメラの位置姿
勢に基づいて予測される夫々のランドマークの撮像面上
での位置から代表点Ｐａｖを一つ求め、また夫々のラン
ドマークの実際の位置を撮像面上に投影した位置から代
表点Ｑａｖを一つ求めることで、上述の１つのランドマ
ークを用いての補正方法を用いていた。これらの方法は
以下に示す方法に比べて計算コストが低く、効率の良い
方法であるが、例えば奥行き方向の距離が著しく違う２
つのランドマークに対して用いると平均化されてしまう
ので、不具合が生じる。
勢に基づいて予測される夫々のランドマークの撮像面上
での位置から代表点Ｐａｖを一つ求め、また夫々のラン
ドマークの実際の位置を撮像面上に投影した位置から代
表点Ｑａｖを一つ求めることで、上述の１つのランドマ
ークを用いての補正方法を用いていた。これらの方法は
以下に示す方法に比べて計算コストが低く、効率の良い
方法であるが、例えば奥行き方向の距離が著しく違う２
つのランドマークに対して用いると平均化されてしまう
ので、不具合が生じる。
【００４０】＜方法３＞ではカメラの回転による補正方
法を示すが、その際に代表点を求めずに、上述のカメラ
の回転による補正方法を用いて夫々のランドマークに対
するカメラの回転角、回転軸の方向ベクトルを求め、夫
々を平均的に用いる。以下図１０に示す＜方法３＞の処
理のフローチャートを用いて説明する。
法を示すが、その際に代表点を求めずに、上述のカメラ
の回転による補正方法を用いて夫々のランドマークに対
するカメラの回転角、回転軸の方向ベクトルを求め、夫
々を平均的に用いる。以下図１０に示す＜方法３＞の処
理のフローチャートを用いて説明する。
【００４１】カメラの位置姿勢に基づいて予測される夫
々のランドマークの撮像面上での位置を示す変数をＰｉ
（１≦ｉ≦ｎ）、夫々のランドマークの実際の位置を撮
像面上に投影した位置を示す変数をＱｉ（１≦ｉ≦ｎ）
とする。
々のランドマークの撮像面上での位置を示す変数をＰｉ
（１≦ｉ≦ｎ）、夫々のランドマークの実際の位置を撮
像面上に投影した位置を示す変数をＱｉ（１≦ｉ≦ｎ）
とする。
【００４２】まず各Ｐｉ，Ｑｉを用いて上述のカメラの
回転による補正方法と同様の方法を用いて、回転軸の直
線の方向ベクトルｖｘｉ（１≦ｉ≦ｎ）を求め（ステッ
プＳ１００１〜Ｓ１００３）、全てのｖｘｉの平均値ｖ
ｘ＿ａｖを求める（ステップＳ１００４）。
回転による補正方法と同様の方法を用いて、回転軸の直
線の方向ベクトルｖｘｉ（１≦ｉ≦ｎ）を求め（ステッ
プＳ１００１〜Ｓ１００３）、全てのｖｘｉの平均値ｖ
ｘ＿ａｖを求める（ステップＳ１００４）。
【００４３】 ｖｘ＿ａｖ＝（ｖｘ１＋ｖｘ２＋，，，＋ｖｘｎ）／ｎ ｖｘ＿ａｖを求める方法を説明する図である図３に示す
とおり、このｖｘ＿ａｖはすべてのＰｉ，Ｑｉを反映し
た平均的な回転軸の直線の方向ベクトルとなる。
とおり、このｖｘ＿ａｖはすべてのＰｉ，Ｑｉを反映し
た平均的な回転軸の直線の方向ベクトルとなる。
【００４４】次にこの回転軸（ｖｘ＿ａｖを方向ベクト
ルとする直線）周りに回転するための回転角を求める。
まず点Ｃから点Ｑｉに対するベクトルｖ１ｉとｖｘ＿ａ
ｖを通る平面Ｓｉを求める（ステップＳ１００６）。そ
して点Ｃから点Ｐｉに対するベクトルｖ２ｉをこの平面
Ｓｉに射影したベクトルｖ４ｉを求める（ステップＳ１
００７）。図４に以上の各処理により算出されるベクト
ルｖ４ｉの生成方法の模式図を示す。同図においてカメ
ラが回転することで点Ｐｉが点Ｑｉに一致させる際の回
転角はθｉであって、回転角θｉはベクトルｖ２ｉ、ｖ
４ｉにより以下の式で求めることができる（ステップＳ
１００８）。
ルとする直線）周りに回転するための回転角を求める。
まず点Ｃから点Ｑｉに対するベクトルｖ１ｉとｖｘ＿ａ
ｖを通る平面Ｓｉを求める（ステップＳ１００６）。そ
して点Ｃから点Ｐｉに対するベクトルｖ２ｉをこの平面
Ｓｉに射影したベクトルｖ４ｉを求める（ステップＳ１
００７）。図４に以上の各処理により算出されるベクト
ルｖ４ｉの生成方法の模式図を示す。同図においてカメ
ラが回転することで点Ｐｉが点Ｑｉに一致させる際の回
転角はθｉであって、回転角θｉはベクトルｖ２ｉ、ｖ
４ｉにより以下の式で求めることができる（ステップＳ
１００８）。
【００４５】ｖ２ｎｉ＝ｖ２ｉ／｜ｖ２ｉ｜ ｖ４ｎｉ＝ｖ４ｉ／｜ｖ４ｉ｜ θｉ＝ａｒｃｃｏｓ（ｖ２ｎｉ・ｖ４ｎｉ） そして全ての回転角θｉの平均値θmeanを計算する（ス
テップＳ１０１０）。
テップＳ１０１０）。
【００４６】 θmean＝（θ１＋θ２＋，，，＋θｎ）／ｎ その結果ｖｘ＿ａｖを方向ベクトルとする回転軸周りに
回転角θmeanだけカメラを回転させることで、撮像面上
の全Ｐｉ，Ｑｉを反映したカメラの回転を行うことがで
きる。以上の計算の結果、ｖｘ＿ａｖ、θmeanを用いて
補正行列ΔＭｃを求める（ステップＳ１０１１）。ｖｘ
＿ａｖ＝（ｌ'、ｍ'、ｎ'）とすると、補正行列ΔＭｃ
は以下の式で表される。
回転角θmeanだけカメラを回転させることで、撮像面上
の全Ｐｉ，Ｑｉを反映したカメラの回転を行うことがで
きる。以上の計算の結果、ｖｘ＿ａｖ、θmeanを用いて
補正行列ΔＭｃを求める（ステップＳ１０１１）。ｖｘ
＿ａｖ＝（ｌ'、ｍ'、ｎ'）とすると、補正行列ΔＭｃ
は以下の式で表される。
【００４７】
【数３】
【００４８】この補正行列ΔＭｃをカメラの位置姿勢を
示す行列にかけることでカメラの位置姿勢（外部パラメ
ータ）は補正される。つまり撮像面上の各点Ｐｉが平均
的に各点Ｑｉの位置に表示され、ランドマークの予測さ
れる位置と実際の位置とが平均的に一致する。この方法
により撮像面上の全てのランドマークの位置情報を反映
して補正行列を生成することができると共に、生成され
た補正行列により変換される座標系の直交性を保つこと
ができる。
示す行列にかけることでカメラの位置姿勢（外部パラメ
ータ）は補正される。つまり撮像面上の各点Ｐｉが平均
的に各点Ｑｉの位置に表示され、ランドマークの予測さ
れる位置と実際の位置とが平均的に一致する。この方法
により撮像面上の全てのランドマークの位置情報を反映
して補正行列を生成することができると共に、生成され
た補正行列により変換される座標系の直交性を保つこと
ができる。
【００４９】＜方法４＞方法３ではｖｘ＿ａｖ、θmean
を求める際、夫々ｖｘｉ、θｉの平均を計算することで
求めたが、方法４では重み付け平均を計算することで求
める。すなわち、以下の式により求める。
を求める際、夫々ｖｘｉ、θｉの平均を計算することで
求めたが、方法４では重み付け平均を計算することで求
める。すなわち、以下の式により求める。
【００５０】ｖｘ＿ａｖ＝ｗ１×ｖｘ１＋ｗ２×ｖｘ２
＋，，，＋ｗｎ×ｖｘｎ θmean＝ｗ１×θ１＋ｗ２×θ２＋，，，＋ｗｎ×θｎ 但し、ｗ１＋ｗ２＋，，，＋ｗｎ＝１ それ以外の方法は方法３と同じ方法である。なお＜方法
４＞における処理のフローチャートは図１０に示したフ
ローチャートにおいて、ステップＳ１００４、ステップ
Ｓ１０１０における平均計算を上述の重み付け平均計算
に置き換えた処理のフローチャートである。
＋，，，＋ｗｎ×ｖｘｎ θmean＝ｗ１×θ１＋ｗ２×θ２＋，，，＋ｗｎ×θｎ 但し、ｗ１＋ｗ２＋，，，＋ｗｎ＝１ それ以外の方法は方法３と同じ方法である。なお＜方法
４＞における処理のフローチャートは図１０に示したフ
ローチャートにおいて、ステップＳ１００４、ステップ
Ｓ１０１０における平均計算を上述の重み付け平均計算
に置き換えた処理のフローチャートである。
【００５１】＜方法５＞方法１，２ではカメラの位置姿
勢に基づいて予測される夫々のランドマークの撮像面上
での位置から代表点Ｐａｖを一つ求め、また夫々のラン
ドマークの実際の位置を撮像面上に投影した位置から代
表点Ｑａｖを一つ求めることで、上述の１つのランドマ
ークを用いての補正方法を用いていた。方法５ではカメ
ラの平行移動による補正方法を示すが、その際に代表点
を求めずに、上述のカメラの平行移動による補正方法を
用いて夫々のランドマークに対するカメラの平行移動成
分を求め、夫々を平均的に用いる。以下図１１に示す＜
方法５＞の処理のフローチャートを用いて説明する。
勢に基づいて予測される夫々のランドマークの撮像面上
での位置から代表点Ｐａｖを一つ求め、また夫々のラン
ドマークの実際の位置を撮像面上に投影した位置から代
表点Ｑａｖを一つ求めることで、上述の１つのランドマ
ークを用いての補正方法を用いていた。方法５ではカメ
ラの平行移動による補正方法を示すが、その際に代表点
を求めずに、上述のカメラの平行移動による補正方法を
用いて夫々のランドマークに対するカメラの平行移動成
分を求め、夫々を平均的に用いる。以下図１１に示す＜
方法５＞の処理のフローチャートを用いて説明する。
【００５２】カメラの位置姿勢に基づいて予測される夫
々のランドマークの撮像面上での位置を示す変数をＰｉ
（１≦ｉ≦ｎ）、夫々のランドマークの実際の位置を撮
像面上に投影した位置を示す変数をＱｉ（１≦ｉ≦ｎ）
とした場合、まず上述のカメラの平行移動による補正方
法を用いて、各Ｐｉ，Ｑｉに対するベクトルｖ３ｉ＝
（ｓｉ，ｔｉ，ｕｉ）を求める（ステップＳ１１０１〜
Ｓ１１０３）。そして各Ｐｉ，Ｑｉに対するベクトルｖ
３ｉの平均値を求める（ステップＳ１１０４）。
々のランドマークの撮像面上での位置を示す変数をＰｉ
（１≦ｉ≦ｎ）、夫々のランドマークの実際の位置を撮
像面上に投影した位置を示す変数をＱｉ（１≦ｉ≦ｎ）
とした場合、まず上述のカメラの平行移動による補正方
法を用いて、各Ｐｉ，Ｑｉに対するベクトルｖ３ｉ＝
（ｓｉ，ｔｉ，ｕｉ）を求める（ステップＳ１１０１〜
Ｓ１１０３）。そして各Ｐｉ，Ｑｉに対するベクトルｖ
３ｉの平均値を求める（ステップＳ１１０４）。
【００５３】 ｓmean＝（ｓ１＋ｓ２＋，，，＋ｓｎ）／ｎ ｔmean＝（ｔ１＋ｔ２＋，，，＋ｔｎ）／ｎ ｕmean＝（ｕ１＋ｕ２＋，，，＋ｕｎ）／ｎ そしてｓmean、ｔmean、ｕmeanを用いて補正行列を以下
のようにして求める（ステップＳ１１０５）。
のようにして求める（ステップＳ１１０５）。
【００５４】
【数４】
【００５５】＜方法６＞方法５ではカメラの平行移動成
分を求める際、ベクトルｖ３ｉの平均値を用いていた
が、方法６では重み付け平均値を用いる。この重み付け
平均値は以下のようにして求める。
分を求める際、ベクトルｖ３ｉの平均値を用いていた
が、方法６では重み付け平均値を用いる。この重み付け
平均値は以下のようにして求める。
【００５６】ｓw_mean＝（ｗ１×ｓ１＋ｗ２×ｓ２
＋，，，＋ｗｎ×ｓｎ）／ｎ ｔw_mean＝（ｗ１×ｔ１＋ｗ２×ｔ２＋，，，＋ｗｎ×
ｔｎ）／ｎ ｕw_mean＝（ｗ１×ｕ１＋ｗ２×ｕ２＋，，，＋ｗｎ×
ｕｎ）／ｎ 但し、ｗ１＋ｗ２＋，，，＋ｗｎ＝１ そしてｓw_mean、ｔw_mean、ｕw_meanを用いて補正行列
を以下のようにして求める。
＋，，，＋ｗｎ×ｓｎ）／ｎ ｔw_mean＝（ｗ１×ｔ１＋ｗ２×ｔ２＋，，，＋ｗｎ×
ｔｎ）／ｎ ｕw_mean＝（ｗ１×ｕ１＋ｗ２×ｕ２＋，，，＋ｗｎ×
ｕｎ）／ｎ 但し、ｗ１＋ｗ２＋，，，＋ｗｎ＝１ そしてｓw_mean、ｔw_mean、ｕw_meanを用いて補正行列
を以下のようにして求める。
【００５７】
【数５】
【００５８】なお＜方法６＞における処理のフローチャ
ートは図１１に示したフローチャートにおいて、ステッ
プＳ１１０４における平均計算を上述の重み付け平均計
算に置き換えた処理のフローチャートである。
ートは図１１に示したフローチャートにおいて、ステッ
プＳ１１０４における平均計算を上述の重み付け平均計
算に置き換えた処理のフローチャートである。
【００５９】＜方法７＞方法１から６までの方法はいず
れの場合も、回転による補正行列または平行移動による
補正行列のいずれかのみを算出する方法であって、回転
と平行移動の双方の成分を同時に持つ補正行列は得られ
ない。そこで回転による補正行列の算出と，平行移動に
よる補正行列の算出を両方行い、それらを組み合わせた
補正行列を算出する方法とするのが方法７である。
れの場合も、回転による補正行列または平行移動による
補正行列のいずれかのみを算出する方法であって、回転
と平行移動の双方の成分を同時に持つ補正行列は得られ
ない。そこで回転による補正行列の算出と，平行移動に
よる補正行列の算出を両方行い、それらを組み合わせた
補正行列を算出する方法とするのが方法７である。
【００６０】これはまず、いずれかの方法で回転による
補正行列を求める。次に、得られた補正行列にて、カメ
ラの位置姿勢を補正し現実空間中のランドマークの撮像
面上へ位置を計算し直す。これで得られる予測位置を基
にして、新たに平行移動による補正行列をいずれかの方
法にて求めるという方法である。この方法は、平行移動
による補正を先に行い、後から回転による補正を行って
もよい。
補正行列を求める。次に、得られた補正行列にて、カメ
ラの位置姿勢を補正し現実空間中のランドマークの撮像
面上へ位置を計算し直す。これで得られる予測位置を基
にして、新たに平行移動による補正行列をいずれかの方
法にて求めるという方法である。この方法は、平行移動
による補正を先に行い、後から回転による補正を行って
もよい。
【００６１】また、上述のように回転による補正と平行
移動による補正をおのおの１回ずつ行うだけではなく、
複数回交互に繰り返してもよい。
移動による補正をおのおの１回ずつ行うだけではなく、
複数回交互に繰り返してもよい。
【００６２】さらには、複数回繰り返す際に予め定めた
回数繰り返すだけではなく、カメラ位置姿勢から予測し
た撮像面上でのランドマークの予測位置と実際に撮像し
て得られた位置との間の誤差を基にして繰り返しの判定
を行ってもよい。これは誤差が一定閾値以下になったか
どうかを判定する方法でもよいし、誤差の変化分が一定
値以下になったかどうかを判定する方法でもよいし、そ
れらの組み合わせでもよい。
回数繰り返すだけではなく、カメラ位置姿勢から予測し
た撮像面上でのランドマークの予測位置と実際に撮像し
て得られた位置との間の誤差を基にして繰り返しの判定
を行ってもよい。これは誤差が一定閾値以下になったか
どうかを判定する方法でもよいし、誤差の変化分が一定
値以下になったかどうかを判定する方法でもよいし、そ
れらの組み合わせでもよい。
【００６３】＜補正処理装置＞図５に本実施形態におけ
る上述の補正処理を行う補正処理装置の概略構成を示
す。５０１はヘッドマウントディスプレイ（以下ＨＭ
Ｄ）で、ＨＭＤ５０１の３次元空間における位置姿勢に
基づいた信号を後述の位置姿勢計測部５０２に出力する
３次元位置姿勢センサ５０１ａ、現実空間の撮像を行う
カメラ５０１ｂ、ＨＭＤ５０１を頭部に装着したユーザ
に対して映像を提供する表示部５０１ｃにより構成され
ている。なお本実施形態におけるＨＭＤ５０１はビデオ
シースルーのタイプのものであり、ここでＨＭＤ５０１
の位置姿勢とは、カメラ５０１ｂの位置姿勢を表すもの
とする。
る上述の補正処理を行う補正処理装置の概略構成を示
す。５０１はヘッドマウントディスプレイ（以下ＨＭ
Ｄ）で、ＨＭＤ５０１の３次元空間における位置姿勢に
基づいた信号を後述の位置姿勢計測部５０２に出力する
３次元位置姿勢センサ５０１ａ、現実空間の撮像を行う
カメラ５０１ｂ、ＨＭＤ５０１を頭部に装着したユーザ
に対して映像を提供する表示部５０１ｃにより構成され
ている。なお本実施形態におけるＨＭＤ５０１はビデオ
シースルーのタイプのものであり、ここでＨＭＤ５０１
の位置姿勢とは、カメラ５０１ｂの位置姿勢を表すもの
とする。
【００６４】５０２は位置姿勢計測部で、３次元位置姿
勢センサ５０１ａから出力された信号に基づいてＨＭＤ
５０１の位置姿勢を示す行列（ビューイング変換行列）
を生成する。５０３はランドマーク検出部で、カメラ５
０１ｂにより撮像された映像からランドマークを検出す
ると共に、ランドマークの位置も検出する。検出の方法
はここでは特には限らないが、例えばランドマークとし
て、予め特定の色を配色したマーカを用い、カメラ５０
１ｂにより撮像された映像中でこの特定の色を検出する
ことで、映像中におけるランドマーク及びその位置を検
出することができる。
勢センサ５０１ａから出力された信号に基づいてＨＭＤ
５０１の位置姿勢を示す行列（ビューイング変換行列）
を生成する。５０３はランドマーク検出部で、カメラ５
０１ｂにより撮像された映像からランドマークを検出す
ると共に、ランドマークの位置も検出する。検出の方法
はここでは特には限らないが、例えばランドマークとし
て、予め特定の色を配色したマーカを用い、カメラ５０
１ｂにより撮像された映像中でこの特定の色を検出する
ことで、映像中におけるランドマーク及びその位置を検
出することができる。
【００６５】５０４は位置姿勢補正部で、ランドマーク
検出部５０３から出力された各ランドマークの位置情報
に基づいて上述の方法（＜方法１＞から＜方法７＞のい
ずれか）を用いて補正行列を算出し、位置姿勢計測部５
０２から出力されたＨＭＤ５０１の位置姿勢を示す行列
に掛け、ＨＭＤ５０１の位置姿勢（外部パラメータ）を
補正する。５０５は画像生成部で、位置姿勢補正部５０
４により補正された行列に基づいて仮想物体の映像を生
成し、カメラ５０１ｂから入力される現実空間の映像と
合成し、複合現実映像（画像）を生成する。なお仮想物
体に関するデータは外部のメモリに格納されているもの
とする。生成された画像は表示部５０１ｃに出力する。
検出部５０３から出力された各ランドマークの位置情報
に基づいて上述の方法（＜方法１＞から＜方法７＞のい
ずれか）を用いて補正行列を算出し、位置姿勢計測部５
０２から出力されたＨＭＤ５０１の位置姿勢を示す行列
に掛け、ＨＭＤ５０１の位置姿勢（外部パラメータ）を
補正する。５０５は画像生成部で、位置姿勢補正部５０
４により補正された行列に基づいて仮想物体の映像を生
成し、カメラ５０１ｂから入力される現実空間の映像と
合成し、複合現実映像（画像）を生成する。なお仮想物
体に関するデータは外部のメモリに格納されているもの
とする。生成された画像は表示部５０１ｃに出力する。
【００６６】以上の構成を有する補正処理装置が行うメ
インの処理のフローチャートを図６に示し、以下説明す
る。なお同図に従った各処理は上述したとおりなのでこ
こでは詳細な説明は省く。また同図のフローチャートに
従ったプログラムコードは本実施形態における補正処理
装置内の不図示のＲＡＭやＲＯＭなどのメモリに格納さ
れ、不図示のＣＰＵにより読み出され、実行される。
インの処理のフローチャートを図６に示し、以下説明す
る。なお同図に従った各処理は上述したとおりなのでこ
こでは詳細な説明は省く。また同図のフローチャートに
従ったプログラムコードは本実施形態における補正処理
装置内の不図示のＲＡＭやＲＯＭなどのメモリに格納さ
れ、不図示のＣＰＵにより読み出され、実行される。
【００６７】まず３次元位置姿勢センサ５０１ａからＨ
ＭＤ５０１の位置姿勢を示す信号が位置姿勢計測部５０
２に入力され（ステップＳ６０１）、位置姿勢計測部５
０２は入力した信号に基づいてＨＭＤ５０１の位置姿勢
を示すビューイング変換行列を生成する（ステップＳ６
０２）。一方、現実空間の映像がカメラ５０１ｂにより
撮像され（ステップＳ６０３）、撮像された映像はラン
ドマーク検出部５０３に入力され、ランドマーク及びそ
の位置が検出される（ステップＳ６０４）。位置姿勢補
正部５０４は検出されたランドマークの位置を用いて上
述の方法（＜方法１＞から＜方法７＞のいずれか）によ
り補正行列ΔＭｃを生成する（ステップＳ６０５）。
ＭＤ５０１の位置姿勢を示す信号が位置姿勢計測部５０
２に入力され（ステップＳ６０１）、位置姿勢計測部５
０２は入力した信号に基づいてＨＭＤ５０１の位置姿勢
を示すビューイング変換行列を生成する（ステップＳ６
０２）。一方、現実空間の映像がカメラ５０１ｂにより
撮像され（ステップＳ６０３）、撮像された映像はラン
ドマーク検出部５０３に入力され、ランドマーク及びそ
の位置が検出される（ステップＳ６０４）。位置姿勢補
正部５０４は検出されたランドマークの位置を用いて上
述の方法（＜方法１＞から＜方法７＞のいずれか）によ
り補正行列ΔＭｃを生成する（ステップＳ６０５）。
【００６８】以上の各処理により生成されたＨＭＤ５０
１の位置姿勢を示すビューイング変換行列、及び補正行
列ΔＭｃを用いて位置姿勢補正部５０４はＨＭＤ５０１
の位置姿勢を補正し（ステップＳ６０６）、補正したＨ
ＭＤ５０１の位置姿勢を示す外部パラメータに基づいて
画像生成部５０５は仮想物体の映像を生成し、複合現実
感映像を生成する（ステップＳ６０７）。そして生成さ
れた複合現実感映像は表示部１０１ａに出力され（ステ
ップＳ６０８）、表示部１０１ａに表示される（ステッ
プＳ６０９）。
１の位置姿勢を示すビューイング変換行列、及び補正行
列ΔＭｃを用いて位置姿勢補正部５０４はＨＭＤ５０１
の位置姿勢を補正し（ステップＳ６０６）、補正したＨ
ＭＤ５０１の位置姿勢を示す外部パラメータに基づいて
画像生成部５０５は仮想物体の映像を生成し、複合現実
感映像を生成する（ステップＳ６０７）。そして生成さ
れた複合現実感映像は表示部１０１ａに出力され（ステ
ップＳ６０８）、表示部１０１ａに表示される（ステッ
プＳ６０９）。
【００６９】以上の説明により、本実施形態における補
正処理装置及びその方法によれば、３次元位置姿勢セン
サ５０１ａによるＨＭＤ５０１の位置姿勢の計測精度が
不十分でもＨＭＤ５０１の位置姿勢を補正することがで
きる。
正処理装置及びその方法によれば、３次元位置姿勢セン
サ５０１ａによるＨＭＤ５０１の位置姿勢の計測精度が
不十分でもＨＭＤ５０１の位置姿勢を補正することがで
きる。
【００７０】またＨＭＤ５０１内のカメラ５０２ｂによ
り撮像された現実空間の映像にＨＭＤ５０１の位置姿勢
に基づいて生成された仮想物体の映像を合成しても位置
のずれを防ぐことができる。
り撮像された現実空間の映像にＨＭＤ５０１の位置姿勢
に基づいて生成された仮想物体の映像を合成しても位置
のずれを防ぐことができる。
【００７１】また、撮像面上の全てのランドマークを用
いてＨＭＤ５０１の位置姿勢の補正を行っているので、
カメラの視野範囲の変更による補正値の大きな変更を防
ぐことができる。
いてＨＭＤ５０１の位置姿勢の補正を行っているので、
カメラの視野範囲の変更による補正値の大きな変更を防
ぐことができる。
【００７２】［他の実施形態］本発明の目的は、前述し
た実施形態の機能を実現するソフトウェアのプログラム
コードを記録した記憶媒体（または記録媒体）を、シス
テムあるいは装置に供給し、そのシステムあるいは装置
のコンピュータ（またはCPUやMPU）が記憶媒体に格納さ
れたプログラムコードを読み出し実行することによって
も、達成されることは言うまでもない。この場合、記憶
媒体から読み出されたプログラムコード自体が前述した
実施形態の機能を実現することになり、そのプログラム
コードを記憶した記憶媒体は本発明を構成することにな
る。また、コンピュータが読み出したプログラムコード
を実行することにより、前述した実施形態の機能が実現
されるだけでなく、そのプログラムコードの指示に基づ
き、コンピュータ上で稼働しているオペレーティングシ
ステム(OS)などが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。
た実施形態の機能を実現するソフトウェアのプログラム
コードを記録した記憶媒体（または記録媒体）を、シス
テムあるいは装置に供給し、そのシステムあるいは装置
のコンピュータ（またはCPUやMPU）が記憶媒体に格納さ
れたプログラムコードを読み出し実行することによって
も、達成されることは言うまでもない。この場合、記憶
媒体から読み出されたプログラムコード自体が前述した
実施形態の機能を実現することになり、そのプログラム
コードを記憶した記憶媒体は本発明を構成することにな
る。また、コンピュータが読み出したプログラムコード
を実行することにより、前述した実施形態の機能が実現
されるだけでなく、そのプログラムコードの指示に基づ
き、コンピュータ上で稼働しているオペレーティングシ
ステム(OS)などが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。
【００７３】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【００７４】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明した図６に示したフローチャ
ート及び、＜方法１＞乃至＜方法６＞で説明した夫々の
フローチャートのうち少なくとも一つのフローチャート
に対応するプログラムコードが格納されることになる。
の記憶媒体には、先に説明した図６に示したフローチャ
ート及び、＜方法１＞乃至＜方法６＞で説明した夫々の
フローチャートのうち少なくとも一つのフローチャート
に対応するプログラムコードが格納されることになる。
【００７５】
【発明の効果】以上の説明した通り本発明によれば、撮
像されたランドマークを反映して特にカメラの位置姿勢
を示すパラメータの補正を行うことができる。
像されたランドマークを反映して特にカメラの位置姿勢
を示すパラメータの補正を行うことができる。
【図１】従来の補正方法を説明する模式図である。
【図２】本発明の第１の実施形態における補正方法を説
明する模式図である。
明する模式図である。
【図３】ｖｘ＿ａｖを求める方法を説明する図である。
【図４】ベクトルｖ４ｉを示す模式図である。
【図５】本発明の第１の実施形態における補正処理装置
の概略構成を示す図である。
の概略構成を示す図である。
【図６】本発明の第１の実施形態における補正処理装置
が行うメインの処理のフローチャートである。
が行うメインの処理のフローチャートである。
【図７】従来の補正方法において、カメラの回転による
補正方法のフローチャートである。
補正方法のフローチャートである。
【図８】従来の補正方法において、カメラの平行移動に
よる補正方法のフローチャートである。
よる補正方法のフローチャートである。
【図９】＜方法１＞の処理を示すフローチャートであ
る。
る。
【図１０】＜方法３＞の処理を示すフローチャートであ
る。
る。
【図１１】＜方法５＞の処理を示すフローチャートであ
る。
る。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/60 １５０ Ｇ０６Ｔ 7/60 １５０Ｐ Ｆターム(参考） 2H105 EE16 EE31 5L096 AA06 BA08 CA02 EA15 EA16 FA67 FA69
Claims (22)
- 【請求項１】 ３次元位置が既知である複数の特徴点の
存在する現実空間において、当該現実空間を撮像する撮
像手段の位置姿勢を示すパラメータを同定する位置姿勢
決定装置であって、 前記撮像手段の位置姿勢を撮像された映像を利用する以
外の方法で計測する位置姿勢計測手段と、 前記撮像手段により撮像された現実空間の映像より前記
複数特徴点及びその撮像面上での２次元位置を検出する
検出手段と、 前記位置姿勢計測手段により計測された前記撮像手段の
位置姿勢に基づいて前記複数特徴点の撮像面上での２次
元位置を予測する予測手段と、 前記撮像手段の撮像面上における前記予測手段による前
記特徴点の位置と、前記検出手段による前記特徴点の位
置とに基づいて、前記撮像手段の位置姿勢を示すパラメ
ータを補正する補正手段とを備え、 前記補正手段により前記パラメータを補正することで、
現実空間を撮像する撮像手段の位置姿勢を示すパラメー
タを同定することを特徴とする位置姿勢決定装置。 - 【請求項２】 前記３次元位置が既知である複数の特徴
点として、人工的に貼り付けたマーカを用いることを特
徴とする請求項１に記載の位置姿勢決定装置。 - 【請求項３】 前記３次元位置が既知である複数の特徴
点として、前記現実空間中に元来存在している点であっ
て，前記検出手段にて撮像面上での２次元位置を検出す
ることが可能である点を用いることを特徴とする請求項
１に記載の位置姿勢決定装置。 - 【請求項４】 更に前記撮像手段により撮像された現実
空間の映像に他の画像を重畳表示することを特徴とする
請求項１乃至３いずれか１項に記載の位置姿勢決定装
置。 - 【請求項５】 前記他の画像は仮想物体の描画画像であ
ることを特徴とする請求項４に記載の位置姿勢決定装
置。 - 【請求項６】 前記位置姿勢計測手段は、前記撮像手段
の位置姿勢を計測するセンサであることを特徴とする請
求項１乃至５のいずれか１項に記載の位置姿勢決定装
置。 - 【請求項７】 前記センサは、前記撮像手段の３次元位
置姿勢を計測する磁気センサであることを特徴とする請
求項６に記載の位置姿勢決定装置。 - 【請求項８】 前記補正手段は、前記撮像手段が回転、
もしくは平行移動のいずれかを行うように前記パラメー
タを補正することを特徴とする請求項１乃至７のいずれ
か１項に記載の位置姿勢決定装置。 - 【請求項９】 前記補正手段は、前記撮像手段の前記パ
ラメータを回転変換と平行移動の組み合わせにて補正す
ることを特徴とする請求項１乃至７のいずれか１項に記
載の位置姿勢決定装置。 - 【請求項１０】 前記補正手段は、前記撮像手段の前記
パラメータを回転変換と平行移動の組み合わせを交互に
複数回行い、補正することを特徴とする請求項９に記載
の位置姿勢補正装置。 - 【請求項１１】 前記補正手段は、前記撮像手段が回転
するように前記パラメータを補正した後に、前記現実空
間中の特徴点の位置と補正後のカメラの位置姿勢から，
再度撮像面上での特徴点の２次元位置を予測し直し、更
に前記撮像手段が平行移動するようにパラメータを補正
することを特徴とする請求項９又は１０に記載の位置姿
勢決定装置。 - 【請求項１２】 前記補正手段は、前記撮像手段が平行
移動するようにパラメータを補正した後に、前記現実空
間中の特徴点の位置と補正後のカメラの位置姿勢から、
再度撮像面上での特徴点の２次元位置を予測し直し、更
に前記撮像手段が回転するようにパラメータを補正する
ことを特徴とする請求項９又は１０に記載の位置姿勢補
正装置。 - 【請求項１３】 前記補正手段は前記予測手段による特
徴点の位置を用いた前記撮像手段の撮像面上の第１の平
均値、及び前記検出手段により検出された特徴点の前記
撮像手段の撮像面上の位置の第２の平均値を算出し、前
記第１の平均値が前記第２の平均値に一致するように前
記パラメータを補正することを特徴とする請求項１乃至
１２のいずれか１項に記載の位置姿勢決定装置。 - 【請求項１４】 前記補正手段は前記予測手段による特
徴点の位置を用いた前記撮像手段の撮像面上の第１の重
み付け平均値、及び前記検出手段により検出された特徴
点の前記撮像手段の撮像面上の位置の第２の重み付け平
均値を算出し、第１の重み付け平均値が第２の重み付け
平均値に一致するように前記パラメータを補正すること
を特徴とする請求項１乃至１２のいずれか１項に記載の
位置姿勢決定装置。 - 【請求項１５】 前記補正手段は、前記撮像手段の前記
パラメータを回転変換と平行移動の組み合わせを交互に
複数回行う場合に，前記予測手段による特徴点の補正後
の位置と撮像面上での特徴点位置との誤差の平均、もし
くは重み付け平均が十分に小さくなる、もしくは誤差が
減少しなくなるまで繰り返すことを特徴とする請求項１
３又は１４に記載の位置姿勢決定装置。 - 【請求項１６】 前記補正手段が前記撮像手段が回転す
るように前記パラメータを補正する場合、前記予測手段
により予測される位置の特徴点と前記検出手段により検
出された特徴点との対応をとり、前記予測手段による特
徴点の位置を用いた前記撮像手段の撮像面上の位置が前
記検出手段による特徴点の前記撮像手段の撮像面上の位
置に一致するような回転軸と回転角を全ての対応のとれ
た特徴点毎に求め、対応のとれた特徴点毎に求めた回転
軸と回転角夫々の平均値を用いて前記パラメータの補正
を行うことを特徴とする請求項１３に記載の位置姿勢決
定装置。 - 【請求項１７】 前記補正手段が前記撮像手段が回転す
るように前記パラメータを補正する場合、前記予測手段
により予測される位置の特徴点と前記検出手段により検
出された特徴点との対応をとり、前記予測手段による特
徴点の位置を用いた前記撮像手段の撮像面上の位置が前
記検出手段による特徴点の前記撮像手段の撮像面上の位
置に一致するような回転軸と回転角を全ての対応のとれ
た特徴点毎に求め、対応のとれた特徴点毎に求めた回転
軸と回転角夫々の重み付け平均値を用いて前記パラメー
タの補正を行うことを特徴とする請求項１４に記載の位
置姿勢決定装置。 - 【請求項１８】 前記補正手段は前記撮像手段が平行移
動するように前記パラメータを補正する場合、前記予測
手段により予測される位置の特徴点と前記検出手段によ
り検出された特徴点との対応をとり、前記予測手段によ
る特徴点の位置と前記検出手段による特徴点の位置との
差分を対応のとれた特徴点毎に求め、対応のとれた特徴
点毎に求めた前記差分の平均値を用いて前記パラメータ
の補正を行うことを特徴とする請求項１３に記載の位置
姿勢決定装置。 - 【請求項１９】 前記補正手段は前記撮像手段が平行移
動するように前記パラメータを補正する場合、前記予測
手段により予測される位置の特徴点と前記検出手段によ
り検出された特徴点との対応をとり、前記予測手段によ
る特徴点の位置と前記検出手段による特徴点の位置との
差分を対応のとれた特徴点毎に求め、対応のとれた特徴
点毎に求めた前記差分の重み付け平均値を用いて前記パ
ラメータの補正を行うことを特徴とする請求項１４に記
載の位置姿勢決定装置。 - 【請求項２０】 ３次元位置が既知である複数の特徴点
の存在する現実空間において、当該現実空間を撮像する
撮像手段の位置姿勢を示すパラメータを同定する位置姿
勢決定方法であって、 前記撮像手段の位置姿勢を撮像された映像を利用する以
外の方法で計測する位置姿勢計測工程と、 前記撮像手段により撮像された現実空間の映像より前記
複数特徴点及びその撮像面上での２次元位置を検出する
検出工程と、 前記位置姿勢計測工程により計測された前記撮像手段の
位置姿勢に基づいて前記特徴点の撮像面上での２次元位
置を予測する予測工程と、 前記撮像手段の撮像面上における前記予測工程による前
記複数特徴点の位置と、前記検出工程による前記特徴点
の位置とに基づいて、前記撮像手段の位置姿勢を示すパ
ラメータを補正する補正工程とを備え、 前記補正工程により前記パラメータを補正することで、
現実空間を撮像する撮像手段の位置姿勢を示すパラメー
タを同定することを特徴とする位置姿勢決定方法。 - 【請求項２１】 請求項２０に記載の位置姿勢決定方法
を実行するプログラムコード。 - 【請求項２２】 請求項２１に記載のプログラムコード
を格納する記憶媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001045536A JP3467017B2 (ja) | 2000-11-30 | 2001-02-21 | 位置姿勢の決定方法及び装置並びに記憶媒体 |
| US09/818,602 US6834250B2 (en) | 2000-11-30 | 2001-03-28 | Position and orientation determining method and apparatus and storage medium |
| EP01108057A EP1213683A3 (en) | 2000-11-30 | 2001-03-29 | Position and orientation determining method and apparatus and storage medium |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000364230 | 2000-11-30 | ||
| JP2000-364230 | 2000-11-30 | ||
| JP2001045536A JP3467017B2 (ja) | 2000-11-30 | 2001-02-21 | 位置姿勢の決定方法及び装置並びに記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002228442A true JP2002228442A (ja) | 2002-08-14 |
| JP3467017B2 JP3467017B2 (ja) | 2003-11-17 |
Family
ID=26604892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001045536A Expired - Fee Related JP3467017B2 (ja) | 2000-11-30 | 2001-02-21 | 位置姿勢の決定方法及び装置並びに記憶媒体 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6834250B2 (ja) |
| EP (1) | EP1213683A3 (ja) |
| JP (1) | JP3467017B2 (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100447778B1 (ko) * | 2002-07-18 | 2004-09-08 | 김장헌 | 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현장치 및 그 방법 |
| JP2006287748A (ja) * | 2005-04-01 | 2006-10-19 | Canon Inc | 情報処理方法、情報処理装置 |
| JP2006292417A (ja) * | 2005-04-06 | 2006-10-26 | Canon Inc | 位置姿勢計測方法及び装置 |
| CN100410622C (zh) * | 2004-05-14 | 2008-08-13 | 佳能株式会社 | 用于获得目标物体的位置和方位的信息处理方法和设备 |
| JP2008292407A (ja) * | 2007-05-28 | 2008-12-04 | Canon Inc | 情報処理方法及び情報処理装置 |
| JP2009512088A (ja) * | 2005-10-31 | 2009-03-19 | 韓國電子通信研究院 | リアルタイムに位置を算出するためのシステムおよび方法 |
| US7613356B2 (en) | 2003-07-08 | 2009-11-03 | Canon Kabushiki Kaisha | Position and orientation detection method and apparatus |
| US7627137B2 (en) | 2004-05-17 | 2009-12-01 | Canon Kabushiki Kaisha | Image composition system, image composition method, and image composition apparatus |
| US7664341B2 (en) | 2005-02-02 | 2010-02-16 | Canon Kabushiki Kaisha | Index layout measurement method, position and orientation estimation method, index layout measurement apparatus, and position and orientation estimation apparatus |
| WO2013021458A1 (ja) * | 2011-08-09 | 2013-02-14 | パイオニア株式会社 | 複合現実感装置 |
| JP2016009912A (ja) * | 2014-06-23 | 2016-01-18 | 富士通株式会社 | キャリブレーション装置、キャリブレーション方法、表示制御装置および表示制御方法 |
| KR20170023030A (ko) * | 2014-05-30 | 2017-03-02 | 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 | 가상 환경 컨텐츠를 렌더링하기 위한 모바일 컴퓨팅 디바이스를 이용한 인터페이스를 갖는 헤드 장착 디스플레이(hmd) 시스템 |
| JP2018121267A (ja) * | 2017-01-27 | 2018-08-02 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
Families Citing this family (56)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7259747B2 (en) * | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
| US8035612B2 (en) | 2002-05-28 | 2011-10-11 | Intellectual Ventures Holding 67 Llc | Self-contained interactive video display system |
| US8300042B2 (en) | 2001-06-05 | 2012-10-30 | Microsoft Corporation | Interactive video display system using strobed light |
| US20030062675A1 (en) * | 2001-09-28 | 2003-04-03 | Canon Kabushiki Kaisha | Image experiencing system and information processing method |
| US20030095681A1 (en) * | 2001-11-21 | 2003-05-22 | Bernard Burg | Context-aware imaging device |
| JP3796449B2 (ja) * | 2002-01-31 | 2006-07-12 | キヤノン株式会社 | 位置姿勢決定方法および装置並びにコンピュータプログラム |
| EP1349114A3 (en) * | 2002-03-19 | 2011-06-15 | Canon Kabushiki Kaisha | Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus |
| US7710391B2 (en) | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
| US7348963B2 (en) * | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
| US7170492B2 (en) * | 2002-05-28 | 2007-01-30 | Reactrix Systems, Inc. | Interactive video display system |
| EP1398601A3 (en) * | 2002-09-13 | 2014-05-07 | Canon Kabushiki Kaisha | Head up display for navigation purposes in a vehicle |
| WO2004055776A1 (en) | 2002-12-13 | 2004-07-01 | Reactrix Systems | Interactive directed light/sound system |
| US7576727B2 (en) * | 2002-12-13 | 2009-08-18 | Matthew Bell | Interactive directed light/sound system |
| JP2004213355A (ja) * | 2002-12-27 | 2004-07-29 | Canon Inc | 情報処理方法 |
| JP4136859B2 (ja) * | 2003-01-10 | 2008-08-20 | キヤノン株式会社 | 位置姿勢計測方法 |
| KR100816589B1 (ko) * | 2003-07-24 | 2008-03-24 | 올림푸스 가부시키가이샤 | 화상 처리 장치 |
| JP2005107247A (ja) * | 2003-09-30 | 2005-04-21 | Canon Inc | 位置姿勢推定方法および装置 |
| JP4794453B2 (ja) | 2003-10-24 | 2011-10-19 | インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー | インタラクティブ・ビデオ・ディスプレイ・システムを管理する方法及びシステム |
| WO2005041579A2 (en) | 2003-10-24 | 2005-05-06 | Reactrix Systems, Inc. | Method and system for processing captured image information in an interactive video display system |
| JP4522140B2 (ja) * | 2004-05-14 | 2010-08-11 | キヤノン株式会社 | 指標配置情報推定方法および情報処理装置 |
| JP2005326275A (ja) * | 2004-05-14 | 2005-11-24 | Canon Inc | 情報処理方法および装置 |
| US7864159B2 (en) | 2005-01-12 | 2011-01-04 | Thinkoptics, Inc. | Handheld vision based absolute pointing system |
| DE102005007536A1 (de) * | 2005-02-17 | 2007-01-04 | Isra Vision Systems Ag | Verfahren zur Kalibrierung eines Messsystems |
| US9128519B1 (en) | 2005-04-15 | 2015-09-08 | Intellectual Ventures Holding 67 Llc | Method and system for state-based control of objects |
| US8081822B1 (en) | 2005-05-31 | 2011-12-20 | Intellectual Ventures Holding 67 Llc | System and method for sensing a feature of an object in an interactive video display |
| JP4574473B2 (ja) | 2005-07-11 | 2010-11-04 | キヤノン株式会社 | 情報処理装置および方法 |
| JP4773170B2 (ja) | 2005-09-14 | 2011-09-14 | 任天堂株式会社 | ゲームプログラムおよびゲームシステム |
| JP4785662B2 (ja) * | 2005-10-03 | 2011-10-05 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| JP4752447B2 (ja) * | 2005-10-21 | 2011-08-17 | ソニー株式会社 | 固体撮像装置およびカメラ |
| US8098277B1 (en) | 2005-12-02 | 2012-01-17 | Intellectual Ventures Holding 67 Llc | Systems and methods for communication between a reactive video system and a mobile communication device |
| DE102006004731B4 (de) * | 2006-02-02 | 2019-05-09 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Einrichtung zur Bestimmung der Position und/oder Orientierung einer Kamera bezüglich eines realen Objektes |
| US8913003B2 (en) | 2006-07-17 | 2014-12-16 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer using a projection marker system |
| JP5036260B2 (ja) * | 2006-09-14 | 2012-09-26 | キヤノン株式会社 | 位置姿勢算出方法及び装置 |
| US7839431B2 (en) * | 2006-10-19 | 2010-11-23 | Robert Bosch Gmbh | Image processing system and method for improving repeatability |
| JP5403861B2 (ja) * | 2006-11-06 | 2014-01-29 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| US9176598B2 (en) | 2007-05-08 | 2015-11-03 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer with improved performance |
| JP5430572B2 (ja) | 2007-09-14 | 2014-03-05 | インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー | ジェスチャベースのユーザインタラクションの処理 |
| JP5354767B2 (ja) * | 2007-10-17 | 2013-11-27 | 株式会社日立国際電気 | 物体検知装置 |
| US8159682B2 (en) | 2007-11-12 | 2012-04-17 | Intellectual Ventures Holding 67 Llc | Lens system |
| US8696458B2 (en) * | 2008-02-15 | 2014-04-15 | Thales Visionix, Inc. | Motion tracking system and method using camera and non-camera sensors |
| US8259163B2 (en) | 2008-03-07 | 2012-09-04 | Intellectual Ventures Holding 67 Llc | Display with built in 3D sensing |
| US8595218B2 (en) | 2008-06-12 | 2013-11-26 | Intellectual Ventures Holding 67 Llc | Interactive display management systems and methods |
| JP5446794B2 (ja) * | 2009-12-04 | 2014-03-19 | ソニー株式会社 | 撮像装置、およびデータ処理方法、並びにプログラム |
| JP5460341B2 (ja) * | 2010-01-06 | 2014-04-02 | キヤノン株式会社 | ３次元計測装置及びその制御方法 |
| JP6162681B2 (ja) * | 2011-03-31 | 2017-07-12 | エーティーエス オートメーション ツーリング システムズ インコーポレイテッドＡｔｓ Ａｕｔｏｍａｔｉｏｎ Ｔｏｏｌｉｎｇ Ｓｙｓｔｅｍｓ Ｉｎｃ． | 光媒体を通じた３次元的な光検知 |
| CN102843347B (zh) * | 2011-06-24 | 2017-10-31 | 中兴通讯股份有限公司 | 实现移动增强现实业务的系统及方法、终端及服务器 |
| KR101874895B1 (ko) * | 2012-01-12 | 2018-07-06 | 삼성전자 주식회사 | 증강 현실 제공 방법 및 이를 지원하는 단말기 |
| US9367962B2 (en) * | 2013-10-22 | 2016-06-14 | Topcon Positioning Systems, Inc. | Augmented image display using a camera and a position and orientation sensor |
| US9754415B2 (en) | 2014-03-27 | 2017-09-05 | Microsoft Technology Licensing, Llc | Display relative motion compensation |
| US9558424B2 (en) * | 2015-06-30 | 2017-01-31 | Mitsubishi Electric Research Laboratories, Inc. | On-road stereo visual odometry without explicit pose determinations |
| US10565723B2 (en) * | 2016-02-02 | 2020-02-18 | Samsung Electronics Co., Ltd. | Systems and methods for drift correction |
| US10579162B2 (en) | 2016-03-24 | 2020-03-03 | Samsung Electronics Co., Ltd. | Systems and methods to correct a vehicle induced change of direction |
| US10979843B2 (en) * | 2016-04-08 | 2021-04-13 | Qualcomm Incorporated | Spatialized audio output based on predicted position data |
| CN111052188B (zh) * | 2017-07-27 | 2023-11-24 | 西屋电气有限责任公司 | 在工作空间内定位远程操作车辆的方法以及采用这种方法的远程检查系统 |
| IL255891B2 (en) | 2017-11-23 | 2023-05-01 | Everysight Ltd | Selecting a site for displaying information |
| CN112363940B (zh) * | 2020-11-12 | 2023-10-03 | 广州博冠信息科技有限公司 | 一种数据处理方法、装置、存储介质及服务器 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61277012A (ja) * | 1985-06-03 | 1986-12-08 | Nippon Telegr & Teleph Corp <Ntt> | カメラ位置姿勢校正方法 |
| JPH02276901A (ja) * | 1989-04-19 | 1990-11-13 | Fanuc Ltd | 視覚センサの位置ズレ修正方法 |
| JPH0727545A (ja) * | 1993-07-07 | 1995-01-27 | Toshiba Corp | 長尺材真直度測定装置 |
| JPH07199281A (ja) * | 1993-12-30 | 1995-08-04 | Canon Inc | カメラシステム |
| JPH0882505A (ja) * | 1994-09-12 | 1996-03-26 | Mazda Motor Corp | カメラパラメーターのキャリブレーション方法および物体の位置計測方法 |
| JPH1011146A (ja) * | 1996-06-25 | 1998-01-16 | Shinko Electric Co Ltd | 移動体の停止姿勢補正装置 |
| JPH1133962A (ja) * | 1997-07-18 | 1999-02-09 | Yaskawa Electric Corp | ロボットの三次元位置センサのキャリブレーション 方法とその装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5764786A (en) * | 1993-06-10 | 1998-06-09 | Kuwashima; Shigesumi | Moving object measurement device employing a three-dimensional analysis to obtain characteristics of the moving object |
| US6445814B2 (en) * | 1996-07-01 | 2002-09-03 | Canon Kabushiki Kaisha | Three-dimensional information processing apparatus and method |
| US6064749A (en) * | 1996-08-02 | 2000-05-16 | Hirota; Gentaro | Hybrid tracking for augmented reality using both camera motion detection and landmark tracking |
| US5878151A (en) * | 1996-10-31 | 1999-03-02 | Combustion Engineering, Inc. | Moving object tracking |
| US6658282B1 (en) * | 2002-12-19 | 2003-12-02 | Bausch & Lomb Incorporated | Image registration system and method |
-
2001
- 2001-02-21 JP JP2001045536A patent/JP3467017B2/ja not_active Expired - Fee Related
- 2001-03-28 US US09/818,602 patent/US6834250B2/en not_active Expired - Fee Related
- 2001-03-29 EP EP01108057A patent/EP1213683A3/en not_active Withdrawn
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61277012A (ja) * | 1985-06-03 | 1986-12-08 | Nippon Telegr & Teleph Corp <Ntt> | カメラ位置姿勢校正方法 |
| JPH02276901A (ja) * | 1989-04-19 | 1990-11-13 | Fanuc Ltd | 視覚センサの位置ズレ修正方法 |
| JPH0727545A (ja) * | 1993-07-07 | 1995-01-27 | Toshiba Corp | 長尺材真直度測定装置 |
| JPH07199281A (ja) * | 1993-12-30 | 1995-08-04 | Canon Inc | カメラシステム |
| JPH0882505A (ja) * | 1994-09-12 | 1996-03-26 | Mazda Motor Corp | カメラパラメーターのキャリブレーション方法および物体の位置計測方法 |
| JPH1011146A (ja) * | 1996-06-25 | 1998-01-16 | Shinko Electric Co Ltd | 移動体の停止姿勢補正装置 |
| JPH1133962A (ja) * | 1997-07-18 | 1999-02-09 | Yaskawa Electric Corp | ロボットの三次元位置センサのキャリブレーション 方法とその装置 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100447778B1 (ko) * | 2002-07-18 | 2004-09-08 | 김장헌 | 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현장치 및 그 방법 |
| US7613356B2 (en) | 2003-07-08 | 2009-11-03 | Canon Kabushiki Kaisha | Position and orientation detection method and apparatus |
| CN100410622C (zh) * | 2004-05-14 | 2008-08-13 | 佳能株式会社 | 用于获得目标物体的位置和方位的信息处理方法和设备 |
| US7627137B2 (en) | 2004-05-17 | 2009-12-01 | Canon Kabushiki Kaisha | Image composition system, image composition method, and image composition apparatus |
| US7664341B2 (en) | 2005-02-02 | 2010-02-16 | Canon Kabushiki Kaisha | Index layout measurement method, position and orientation estimation method, index layout measurement apparatus, and position and orientation estimation apparatus |
| JP4562183B2 (ja) * | 2005-04-01 | 2010-10-13 | キヤノン株式会社 | 情報処理方法、情報処理装置 |
| JP2006287748A (ja) * | 2005-04-01 | 2006-10-19 | Canon Inc | 情報処理方法、情報処理装置 |
| JP2006292417A (ja) * | 2005-04-06 | 2006-10-26 | Canon Inc | 位置姿勢計測方法及び装置 |
| JP2009512088A (ja) * | 2005-10-31 | 2009-03-19 | 韓國電子通信研究院 | リアルタイムに位置を算出するためのシステムおよび方法 |
| JP2008292407A (ja) * | 2007-05-28 | 2008-12-04 | Canon Inc | 情報処理方法及び情報処理装置 |
| WO2013021458A1 (ja) * | 2011-08-09 | 2013-02-14 | パイオニア株式会社 | 複合現実感装置 |
| JPWO2013021458A1 (ja) * | 2011-08-09 | 2015-03-05 | パイオニア株式会社 | 複合現実感装置 |
| KR20170023030A (ko) * | 2014-05-30 | 2017-03-02 | 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 | 가상 환경 컨텐츠를 렌더링하기 위한 모바일 컴퓨팅 디바이스를 이용한 인터페이스를 갖는 헤드 장착 디스플레이(hmd) 시스템 |
| KR101955224B1 (ko) * | 2014-05-30 | 2019-03-08 | 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 | 가상 환경 컨텐츠를 렌더링하기 위한 모바일 컴퓨팅 디바이스를 이용한 인터페이스를 갖는 헤드 장착 디스플레이(hmd) 시스템 |
| JP2016009912A (ja) * | 2014-06-23 | 2016-01-18 | 富士通株式会社 | キャリブレーション装置、キャリブレーション方法、表示制御装置および表示制御方法 |
| JP2018121267A (ja) * | 2017-01-27 | 2018-08-02 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1213683A3 (en) | 2011-03-23 |
| JP3467017B2 (ja) | 2003-11-17 |
| US20020103617A1 (en) | 2002-08-01 |
| US6834250B2 (en) | 2004-12-21 |
| EP1213683A2 (en) | 2002-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3467017B2 (ja) | 位置姿勢の決定方法及び装置並びに記憶媒体 | |
| JP3796449B2 (ja) | 位置姿勢決定方法および装置並びにコンピュータプログラム | |
| EP1596330B1 (en) | Estimating position and orientation of markers in digital images | |
| US8144238B2 (en) | Image processing apparatus and method | |
| JP5063023B2 (ja) | 位置姿勢補正装置、位置姿勢補正方法 | |
| JP5832341B2 (ja) | 動画処理装置、動画処理方法および動画処理用のプログラム | |
| US7092109B2 (en) | Position/orientation measurement method, and position/orientation measurement apparatus | |
| JP5248806B2 (ja) | 情報処理装置、情報処理方法 | |
| US20100165105A1 (en) | Vehicle-installed image processing apparatus and eye point conversion information generation method | |
| JP5182229B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2002259992A (ja) | 画像処理装置およびその方法並びにプログラムコード、記憶媒体 | |
| JP2011179908A (ja) | ３次元計測装置、その処理方法及びプログラム | |
| JP6744747B2 (ja) | 情報処理装置およびその制御方法 | |
| JP2004213355A (ja) | 情報処理方法 | |
| JP2005107247A (ja) | 位置姿勢推定方法および装置 | |
| JP7280385B2 (ja) | 視覚的ポジショニング方法および関連装置、機器並びにコンピュータ可読記憶媒体 | |
| JP2003279310A (ja) | 位置姿勢補正装置、及び位置姿勢補正方法 | |
| JP6894707B2 (ja) | 情報処理装置およびその制御方法、プログラム | |
| JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
| KR100248374B1 (ko) | 증강현실 시스템에서 카메라와 트랙커간의 오차 보정방법 | |
| JP2006285789A (ja) | 画像処理方法、画像処理装置 | |
| JP4307189B2 (ja) | 情報処理方法、情報処理装置、識別方法 | |
| JP3452188B2 (ja) | ２次元動画像中の特徴点の追跡方法 | |
| JP3548652B2 (ja) | 物体形状復元装置及びその方法 | |
| JP4810403B2 (ja) | 情報処理装置、情報処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030801 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070829 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080829 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080829 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090829 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090829 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100829 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130829 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |