JP2002109539A - 画像撮影手段の位置姿勢検出装置、３次元物体認識装置および地図特徴データ作成方法 - Google Patents
画像撮影手段の位置姿勢検出装置、３次元物体認識装置および地図特徴データ作成方法Info
- Publication number
- JP2002109539A JP2002109539A JP2001193437A JP2001193437A JP2002109539A JP 2002109539 A JP2002109539 A JP 2002109539A JP 2001193437 A JP2001193437 A JP 2001193437A JP 2001193437 A JP2001193437 A JP 2001193437A JP 2002109539 A JP2002109539 A JP 2002109539A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- feature data
- map
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】
【課題】 ３次元空間中の特徴点と入力した画像上の特
徴点の対応関係が未知の場合でも、高い信頼度で画像撮
影手段の位置姿勢を特定し、入力した画像中の物体が、
予め登録された物体のどれであるかを高い信頼度で特定
することを目的とする。 【解決手段】 地図特徴格納手段と、画像入力手段と、
画像特徴抽出手段と、画像特徴選択手段と、地図特徴選
択手段と、選択した画像特徴と地図特徴とから画像撮影
手段の位置姿勢の候補を算出する位置姿勢候補算出手段
と、算出した位置姿勢候補の妥当性を検証し、画像撮影
手段の位置姿勢を特定する妥当性検証手段とを有する。
徴点の対応関係が未知の場合でも、高い信頼度で画像撮
影手段の位置姿勢を特定し、入力した画像中の物体が、
予め登録された物体のどれであるかを高い信頼度で特定
することを目的とする。 【解決手段】 地図特徴格納手段と、画像入力手段と、
画像特徴抽出手段と、画像特徴選択手段と、地図特徴選
択手段と、選択した画像特徴と地図特徴とから画像撮影
手段の位置姿勢の候補を算出する位置姿勢候補算出手段
と、算出した位置姿勢候補の妥当性を検証し、画像撮影
手段の位置姿勢を特定する妥当性検証手段とを有する。
Description
【０００１】
【発明の属する技術分野】本発明は、あらかじめ作成し
保持してある被写体の特徴の３次元情報を含んだ辞書、
すなわち地図と、カメラ等の画像撮影手段で撮影した画
像の特徴とを照らし合わせることで、画像撮影手段がど
の位置からどの方向を映しているかを特定する、画像撮
影手段の位置姿勢検出装置に関する。また、同様の技術
思想に基づいて、３次元空間の物体を被写体とし、特徴
を物体ごとに地図に格納し、保持してある物体の特徴と
画像撮影手段で撮影した画像の特徴とを照らし合わせる
ことで、撮影した画像は、保持してあるどの物体をどの
方向から撮影したものかを特定する、３次元物体認識装
置に関する。
保持してある被写体の特徴の３次元情報を含んだ辞書、
すなわち地図と、カメラ等の画像撮影手段で撮影した画
像の特徴とを照らし合わせることで、画像撮影手段がど
の位置からどの方向を映しているかを特定する、画像撮
影手段の位置姿勢検出装置に関する。また、同様の技術
思想に基づいて、３次元空間の物体を被写体とし、特徴
を物体ごとに地図に格納し、保持してある物体の特徴と
画像撮影手段で撮影した画像の特徴とを照らし合わせる
ことで、撮影した画像は、保持してあるどの物体をどの
方向から撮影したものかを特定する、３次元物体認識装
置に関する。
【０００２】
【従来の技術】撮影画像を元にカメラの位置姿勢を検出
する従来例１として、特公平6-80402に開示されている
位置計測装置がある。上記位置計測装置においては、撮
影した画像上の３点以上の点が、予め３次元位置が知ら
れ、地図に登録されている点の、どの点に対応している
かという情報から位置を算出する。この方法の原理を図
１３に示す。
する従来例１として、特公平6-80402に開示されている
位置計測装置がある。上記位置計測装置においては、撮
影した画像上の３点以上の点が、予め３次元位置が知ら
れ、地図に登録されている点の、どの点に対応している
かという情報から位置を算出する。この方法の原理を図
１３に示す。
【０００３】同図においては、Ｐ１(X1, Y1, Z1)、Ｐ２
(X2, Y2, Z2)、Ｐ３(X3, Y3, Z3)はそれぞれ、あらかじ
め位置が地図に登録されている３次元空間の点であるも
のとする。点Ｃ(X, Y, Z) はカメラのレンズ中心であ
り、この位置は未知である。Ｐ１，Ｐ２，Ｐ３がフィル
ム面上に映し出された点をＱ１(x1, y1)、Ｑ２(x2,y
2)、Ｑ３(x3, y3)とし、∠Ｑ１ＣＱ２＝θ３、∠Ｑ２Ｃ
Ｑ３＝θ１、∠Ｑ３ＣＱ１＝θ２とおく。θ１、θ２、
θ３は撮影画像から容易に求まる。
(X2, Y2, Z2)、Ｐ３(X3, Y3, Z3)はそれぞれ、あらかじ
め位置が地図に登録されている３次元空間の点であるも
のとする。点Ｃ(X, Y, Z) はカメラのレンズ中心であ
り、この位置は未知である。Ｐ１，Ｐ２，Ｐ３がフィル
ム面上に映し出された点をＱ１(x1, y1)、Ｑ２(x2,y
2)、Ｑ３(x3, y3)とし、∠Ｑ１ＣＱ２＝θ３、∠Ｑ２Ｃ
Ｑ３＝θ１、∠Ｑ３ＣＱ１＝θ２とおく。θ１、θ２、
θ３は撮影画像から容易に求まる。
【０００４】円周角定理（例えば新数学辞典、大阪書
籍）より、位置が未知の点ＣはＰ１Ｐ２を弦とし円周角
がθ３であるような円周上のどこかにあることが結論で
きる。弦Ｐ１Ｐ２は３次元空間中にあるので、ＣはＰ１
Ｐ２を弦とし円周角がθ３である一つの円をＰ１Ｐ２を
軸として回転させてできる曲面上のどこかに存在するこ
とになる。
籍）より、位置が未知の点ＣはＰ１Ｐ２を弦とし円周角
がθ３であるような円周上のどこかにあることが結論で
きる。弦Ｐ１Ｐ２は３次元空間中にあるので、ＣはＰ１
Ｐ２を弦とし円周角がθ３である一つの円をＰ１Ｐ２を
軸として回転させてできる曲面上のどこかに存在するこ
とになる。
【０００５】∠Ｑ２ＣＱ３＝θ１、∠Ｑ３ＣＱ１＝θ２
に着目した時も同様の議論が成り立ち、従って、カメラ
レンズの中心Ｃの位置はこれら３つの曲面が交差する点
として求まる。レンズ中心の位置が求まれば、点Ｐ１、
Ｐ２、Ｐ３が投影される点がＱ１、Ｑ２，Ｑ３になるよ
うなカメラの向きが容易に求まる。
に着目した時も同様の議論が成り立ち、従って、カメラ
レンズの中心Ｃの位置はこれら３つの曲面が交差する点
として求まる。レンズ中心の位置が求まれば、点Ｐ１、
Ｐ２、Ｐ３が投影される点がＱ１、Ｑ２，Ｑ３になるよ
うなカメラの向きが容易に求まる。
【０００６】同様の原理に基づく方法が拡張現実感シス
テムのための画像からの実時間カメラ位置姿勢推定、電
子情報通信学会論文誌、1999年, Vol.J82-D II, No.11,
pp.1784-1792.に記載されている。本文献では、推定し
たカメラの位置姿勢に基づいて、実写画像にＣＧのオブ
ジェクトを重畳表示する例が示されている。一方、撮影
した物体が予め登録してある複数の物体のうちどれであ
るかを認識する従来例２として、三次元物体安定認識の
ための Visual Learningシステム,電気学会論文誌, 199
7年, Vol.117-C, No.5, pp.528-533."Eigen-Window 法
を用いた顔画像に基づく個人識別,"第15回日本ロボット
学会学術講演会予稿集, Vol.2, pp.361-362, 1997.があ
る。この従来例２の概要を図１４に示す。
テムのための画像からの実時間カメラ位置姿勢推定、電
子情報通信学会論文誌、1999年, Vol.J82-D II, No.11,
pp.1784-1792.に記載されている。本文献では、推定し
たカメラの位置姿勢に基づいて、実写画像にＣＧのオブ
ジェクトを重畳表示する例が示されている。一方、撮影
した物体が予め登録してある複数の物体のうちどれであ
るかを認識する従来例２として、三次元物体安定認識の
ための Visual Learningシステム,電気学会論文誌, 199
7年, Vol.117-C, No.5, pp.528-533."Eigen-Window 法
を用いた顔画像に基づく個人識別,"第15回日本ロボット
学会学術講演会予稿集, Vol.2, pp.361-362, 1997.があ
る。この従来例２の概要を図１４に示す。
【０００７】学習部は、以下の処理を行う。 １．登録する物体のそれぞれを複数の視点から撮影し、
得られる画像を入力する（多視点画像入力）。 ２．入力されたそれぞれの画像において、コーナなどそ
の周囲で特別の濃淡パターンを持つ点を抽出する（特徴
点抽出）。 ３．抽出された特徴点を中心としたある一定の大きさの
ウインドウ内の濃淡パターンを特徴付けるベクトルを抽
出する（局所特徴ベクトル抽出）。 ４．辞書に、入力された多視点画像のそれぞれに対応す
る物体、撮影方向毎に、特徴点座標群、局所特徴ベクト
ル群を格納する。
得られる画像を入力する（多視点画像入力）。 ２．入力されたそれぞれの画像において、コーナなどそ
の周囲で特別の濃淡パターンを持つ点を抽出する（特徴
点抽出）。 ３．抽出された特徴点を中心としたある一定の大きさの
ウインドウ内の濃淡パターンを特徴付けるベクトルを抽
出する（局所特徴ベクトル抽出）。 ４．辞書に、入力された多視点画像のそれぞれに対応す
る物体、撮影方向毎に、特徴点座標群、局所特徴ベクト
ル群を格納する。
【０００８】認識部は、以下の処理を行う。 １．認識対象物体を撮影した画像を入力する（画像入
力）。 ２．学習部と同様に、入力された画像の特徴点抽出、局
所特徴ベクトル抽出の処理を行う。照合部は、特徴点の
座標と局所特徴ベクトルを辞書と照合することによって
入力された画像が辞書に登録されているどの物体をどの
方向から撮影したかを特定するため、以下の処理を行
う。 １．辞書内のそれぞれの物体・ 撮影方向において、認識
対象画像のそれぞれの特徴点の局所特徴ベクトルと類似
性が高い（例えば相関が大きい）局所特徴ベクトルを辞
書に保持した局所特徴ベクトル群の中から選択する。例
えば、類似性が高いほうから一定個数の局所特徴ベクト
ルを選択する（類似特徴点選択）。 ２．入力画像から抽出された特徴点の座標とそれに類似
するとして選択された辞書内のそれぞれの局所特徴ベク
トルに対応する特徴点の座標間の平行移動量を算出する
（平行移動量算出）。３．予め、それぞれの物体・ 撮影
方向毎に平行移動量に関するヒストグラムを格納するメ
モリを用意する。このメモリの各セルと平行移動量は対
応しており、そのセルの内容が対応する平行移動量の度
数である。各セルは認識処理に先立って全てゼロに初期
化される。その後、平行移動量が算出される度に対応す
るセルの内容に１を加算する。全ての投票が終了する
と、各セルにはそれに対応する平行移動量が何回算出さ
れたかが記録される。例えば、認識対象の画像が辞書内
のある物体・ 撮影方向に対応する画像に全体的な位置の
ズレを除いて一致しているとすると、認識対象画像の特
徴点の位置とそれに対応する辞書内の特徴点の位置の間
の平行移動量は特徴点に因らずに一定となる。従って、
この場合、一定となった平行移動量だけが算出されるこ
とになり、ヒストグラムはその平行移動量のところで鋭
いピークを持つことになる。逆にこのような鋭いピーク
を持つヒストグラムがあれば、そのヒストグラムに対応
する物体・ 撮影方向が認識対象画像と同じものであると
判断できる。このような考え方から、物体と撮影方向の
選択では、ある閾値以上の度数を持つピークがある物体
・ 撮影方向が答えとして選択・ 出力される（投票処
理）。
力）。 ２．学習部と同様に、入力された画像の特徴点抽出、局
所特徴ベクトル抽出の処理を行う。照合部は、特徴点の
座標と局所特徴ベクトルを辞書と照合することによって
入力された画像が辞書に登録されているどの物体をどの
方向から撮影したかを特定するため、以下の処理を行
う。 １．辞書内のそれぞれの物体・ 撮影方向において、認識
対象画像のそれぞれの特徴点の局所特徴ベクトルと類似
性が高い（例えば相関が大きい）局所特徴ベクトルを辞
書に保持した局所特徴ベクトル群の中から選択する。例
えば、類似性が高いほうから一定個数の局所特徴ベクト
ルを選択する（類似特徴点選択）。 ２．入力画像から抽出された特徴点の座標とそれに類似
するとして選択された辞書内のそれぞれの局所特徴ベク
トルに対応する特徴点の座標間の平行移動量を算出する
（平行移動量算出）。３．予め、それぞれの物体・ 撮影
方向毎に平行移動量に関するヒストグラムを格納するメ
モリを用意する。このメモリの各セルと平行移動量は対
応しており、そのセルの内容が対応する平行移動量の度
数である。各セルは認識処理に先立って全てゼロに初期
化される。その後、平行移動量が算出される度に対応す
るセルの内容に１を加算する。全ての投票が終了する
と、各セルにはそれに対応する平行移動量が何回算出さ
れたかが記録される。例えば、認識対象の画像が辞書内
のある物体・ 撮影方向に対応する画像に全体的な位置の
ズレを除いて一致しているとすると、認識対象画像の特
徴点の位置とそれに対応する辞書内の特徴点の位置の間
の平行移動量は特徴点に因らずに一定となる。従って、
この場合、一定となった平行移動量だけが算出されるこ
とになり、ヒストグラムはその平行移動量のところで鋭
いピークを持つことになる。逆にこのような鋭いピーク
を持つヒストグラムがあれば、そのヒストグラムに対応
する物体・ 撮影方向が認識対象画像と同じものであると
判断できる。このような考え方から、物体と撮影方向の
選択では、ある閾値以上の度数を持つピークがある物体
・ 撮影方向が答えとして選択・ 出力される（投票処
理）。
【０００９】
【発明が解決しようとする課題】従来例１の方法では、
撮影した画像上の特徴点と地図上の特徴点との対応関係
を知っておく必要があるため、撮影する物体に識別が容
易なマーカを付けるなどの処理が必要であった。マーカ
を付けない場合には、対応関係を判定するための処理が
必要となるが、判定は必ずしも容易ではなく、誤対応が
避けられなかった。
撮影した画像上の特徴点と地図上の特徴点との対応関係
を知っておく必要があるため、撮影する物体に識別が容
易なマーカを付けるなどの処理が必要であった。マーカ
を付けない場合には、対応関係を判定するための処理が
必要となるが、判定は必ずしも容易ではなく、誤対応が
避けられなかった。
【００１０】従来例２の方法では、画像にノイズが存在
しても安定した認識精度が期待できるという長所がある
反面、辞書すなわち地図に特徴点を登録したときの撮影
方向と異なる方向から画像を入力した場合には、局所特
徴ベクトルが変化するため、対応できないという問題点
がある。本発明は、 １．地図上の特徴点と撮影した画像上の特徴点との対応
関係が未知の場合でも、高い信頼度で画像撮影手段の位
置姿勢を特定し、 ２．任意の方向から撮影した画像を基に、撮影した物体
が地図に保持された物体のどれであるかを、高い信頼度
で特定する ことを目的とする。
しても安定した認識精度が期待できるという長所がある
反面、辞書すなわち地図に特徴点を登録したときの撮影
方向と異なる方向から画像を入力した場合には、局所特
徴ベクトルが変化するため、対応できないという問題点
がある。本発明は、 １．地図上の特徴点と撮影した画像上の特徴点との対応
関係が未知の場合でも、高い信頼度で画像撮影手段の位
置姿勢を特定し、 ２．任意の方向から撮影した画像を基に、撮影した物体
が地図に保持された物体のどれであるかを、高い信頼度
で特定する ことを目的とする。
【００１１】
【課題を解決するための手段】請求項１に記載の発明
は、３次元空間の特徴点の座標を地図特徴データとして
保持する地図特徴格納手段と、入力された画像の特徴点
の２次元座標を画像特徴データとして抽出する画像特徴
抽出手段と、抽出した画像特徴データから少なくとも３
個を選択する画像特徴選択手段と、選択した画像特徴デ
ータと同数の地図特徴データを選択する地図特徴選択手
段と、選択した画像特徴データと地図特徴データとが対
応しているものとして、画像を撮影した画像撮影手段の
位置姿勢の候補を算出する位置姿勢候補算出手段と、候
補として算出した位置姿勢から地図特徴データを入力画
像に投影し、投影した地図特徴データと画像特徴データ
とから位置姿勢候補の妥当性を算出し、妥当性が所定の
値を超えた位置姿勢候補を画像撮影手段の位置姿勢とす
る妥当性検証手段とを有することを特徴とする。
は、３次元空間の特徴点の座標を地図特徴データとして
保持する地図特徴格納手段と、入力された画像の特徴点
の２次元座標を画像特徴データとして抽出する画像特徴
抽出手段と、抽出した画像特徴データから少なくとも３
個を選択する画像特徴選択手段と、選択した画像特徴デ
ータと同数の地図特徴データを選択する地図特徴選択手
段と、選択した画像特徴データと地図特徴データとが対
応しているものとして、画像を撮影した画像撮影手段の
位置姿勢の候補を算出する位置姿勢候補算出手段と、候
補として算出した位置姿勢から地図特徴データを入力画
像に投影し、投影した地図特徴データと画像特徴データ
とから位置姿勢候補の妥当性を算出し、妥当性が所定の
値を超えた位置姿勢候補を画像撮影手段の位置姿勢とす
る妥当性検証手段とを有することを特徴とする。
【００１２】本発明による画像撮影手段の位置姿勢検出
装置の基本構成を図１に示す。画像撮影手段１は、画像
を撮影し、画像入力手段２は、撮影した画像をデジタル
の入力画像に変換する。画像特徴抽出手段３は、入力画
像の濃淡パターンから、画像中の特徴点Ｑを抽出する。
たとえば、図２に示す画像が入力された場合、入力した
画像中における特徴点のデータとして、各頂点Ｑ１，Ｑ
２，Ｑ３，Ｑ４の２次元座標を抽出する。画像特徴格納
手段４は、抽出した特徴点Ｑの座標を画像特徴Ｑとして
格納する。図３は、ｍ個の画像特徴データを格納した例
を示す。
装置の基本構成を図１に示す。画像撮影手段１は、画像
を撮影し、画像入力手段２は、撮影した画像をデジタル
の入力画像に変換する。画像特徴抽出手段３は、入力画
像の濃淡パターンから、画像中の特徴点Ｑを抽出する。
たとえば、図２に示す画像が入力された場合、入力した
画像中における特徴点のデータとして、各頂点Ｑ１，Ｑ
２，Ｑ３，Ｑ４の２次元座標を抽出する。画像特徴格納
手段４は、抽出した特徴点Ｑの座標を画像特徴Ｑとして
格納する。図３は、ｍ個の画像特徴データを格納した例
を示す。
【００１３】地図特徴格納手段５には、あらかじめ画像
撮影手段１周辺のシーンの画像、すなわち３次元座標が
既知の特徴点を有する画像を撮影し、画像特徴抽出手段
３と同様にして抽出した特徴点Ｐの３次元座標を地図特
徴Ｐとして格納しておく。図４は、ｎ個の地図特徴デー
タを格納した例を示す。画像特徴選択手段６は、画像特
徴データから少なくとも３個をランダムに選択し、地図
特徴選択手段７は、地図特徴データから、画像特徴選択
手段６で選択した画像特徴データと同数の地図特徴デー
タを選択し、位置姿勢候補算出手段８に送る。
撮影手段１周辺のシーンの画像、すなわち３次元座標が
既知の特徴点を有する画像を撮影し、画像特徴抽出手段
３と同様にして抽出した特徴点Ｐの３次元座標を地図特
徴Ｐとして格納しておく。図４は、ｎ個の地図特徴デー
タを格納した例を示す。画像特徴選択手段６は、画像特
徴データから少なくとも３個をランダムに選択し、地図
特徴選択手段７は、地図特徴データから、画像特徴選択
手段６で選択した画像特徴データと同数の地図特徴デー
タを選択し、位置姿勢候補算出手段８に送る。
【００１４】位置姿勢候補算出手段８は、選択した画像
特徴Ｐと地図特徴Ｑとが対応しているものとし、図１３
に示す原理を用いて画像撮影手段の位置姿勢候補Ｃを算
出し、妥当性検証手段９に送る。妥当性検証手段９で
は、図５に示すごとく、候補として算出した画像撮影手
段の位置姿勢Ｃから選択した地図特徴Ｐを入力画像に投
影し、投影した地図特徴Ｒの２次元座標と、選択した入
力画像の画像特徴Ｑの２次元座標とから、ＲとＱとの距
離ｄを算出し、距離ｄがあらかじめ定めた所定の値より
も小さい地図特徴の点の数と選択した地図特徴の点の数
との比を位置姿勢の妥当性として算出する。
特徴Ｐと地図特徴Ｑとが対応しているものとし、図１３
に示す原理を用いて画像撮影手段の位置姿勢候補Ｃを算
出し、妥当性検証手段９に送る。妥当性検証手段９で
は、図５に示すごとく、候補として算出した画像撮影手
段の位置姿勢Ｃから選択した地図特徴Ｐを入力画像に投
影し、投影した地図特徴Ｒの２次元座標と、選択した入
力画像の画像特徴Ｑの２次元座標とから、ＲとＱとの距
離ｄを算出し、距離ｄがあらかじめ定めた所定の値より
も小さい地図特徴の点の数と選択した地図特徴の点の数
との比を位置姿勢の妥当性として算出する。
【００１５】画像特徴Ｑと地図特徴Ｐとから、ランダム
な特徴点選択、画像撮影手段の位置姿勢の候補算出、妥
当性の算出を繰り返し、妥当性があらかじめ定めた所定
の値より高い候補が得られた時点でその候補を画像撮影
手段の位置姿勢として特定し、処理を終了する。本発明
によれば、撮影した画像上の特徴点Ｑと地図上の特徴点
Ｐとの対応関係が未知の場合であっても、複数の特徴点
同士の組み合わせの妥当性を算出し評価することで、高
い信頼度をもって画像撮影手段の位置姿勢を特定するこ
とができる。
な特徴点選択、画像撮影手段の位置姿勢の候補算出、妥
当性の算出を繰り返し、妥当性があらかじめ定めた所定
の値より高い候補が得られた時点でその候補を画像撮影
手段の位置姿勢として特定し、処理を終了する。本発明
によれば、撮影した画像上の特徴点Ｑと地図上の特徴点
Ｐとの対応関係が未知の場合であっても、複数の特徴点
同士の組み合わせの妥当性を算出し評価することで、高
い信頼度をもって画像撮影手段の位置姿勢を特定するこ
とができる。
【００１６】請求項２に記載の発明は、３次元空間の物
体の特徴点の座標を物体特徴データとして物体ごとにま
とめて保持する物体特徴格納手段と、入力された画像の
特徴点の２次元座標を画像特徴データとして抽出する画
像特徴抽出手段と、抽出した画像特徴データから少なく
とも３個を選択する画像特徴選択手段と、選択した画像
特徴データと同数の物体特徴データを、物体特徴格納手
段から物体ごとに選択する物体特徴選択手段と、選択し
た画像特徴データと物体特徴データとが対応しているも
のとして、画像を撮影した画像撮影手段の位置姿勢の候
補を算出する位置姿勢候補算出手段と、候補として算出
した位置姿勢から物体特徴データを入力画像に投影し、
投影した物体特徴データと画像特徴データとから位置姿
勢候補の妥当性を算出し、妥当性が所定の値を超えた位
置姿勢候補を画像撮影手段の位置姿勢とし、物体を特定
する妥当性検証手段とを有することを特徴とする。
体の特徴点の座標を物体特徴データとして物体ごとにま
とめて保持する物体特徴格納手段と、入力された画像の
特徴点の２次元座標を画像特徴データとして抽出する画
像特徴抽出手段と、抽出した画像特徴データから少なく
とも３個を選択する画像特徴選択手段と、選択した画像
特徴データと同数の物体特徴データを、物体特徴格納手
段から物体ごとに選択する物体特徴選択手段と、選択し
た画像特徴データと物体特徴データとが対応しているも
のとして、画像を撮影した画像撮影手段の位置姿勢の候
補を算出する位置姿勢候補算出手段と、候補として算出
した位置姿勢から物体特徴データを入力画像に投影し、
投影した物体特徴データと画像特徴データとから位置姿
勢候補の妥当性を算出し、妥当性が所定の値を超えた位
置姿勢候補を画像撮影手段の位置姿勢とし、物体を特定
する妥当性検証手段とを有することを特徴とする。
【００１７】本発明による３次元物体認識装置の基本構
成を図６に示す。本構成は、図１に示す画像撮影手段の
位置姿勢の検出装置における、地図特徴格納手段５と地
図特徴選択手段７との代わりに、物体特徴格納手段３５
と物体特徴選択手段３７とを備える。物体特徴格納手段
３５は物体ごとに物体の特徴点の３次元座標を保持し、
物体特徴選択手段３７は物体特徴の選択を物体ごとに行
い、妥当性検証手段３９は妥当性算出の処理を物体ごと
に独立して行い、妥当性があらかじめ定めた所定の値よ
り高い候補が得られた時点でその候補を画像撮影手段の
位置姿勢として特定し、物体を特定し、処理を終了す
る。
成を図６に示す。本構成は、図１に示す画像撮影手段の
位置姿勢の検出装置における、地図特徴格納手段５と地
図特徴選択手段７との代わりに、物体特徴格納手段３５
と物体特徴選択手段３７とを備える。物体特徴格納手段
３５は物体ごとに物体の特徴点の３次元座標を保持し、
物体特徴選択手段３７は物体特徴の選択を物体ごとに行
い、妥当性検証手段３９は妥当性算出の処理を物体ごと
に独立して行い、妥当性があらかじめ定めた所定の値よ
り高い候補が得られた時点でその候補を画像撮影手段の
位置姿勢として特定し、物体を特定し、処理を終了す
る。
【００１８】本発明によれば、撮影した画像上の特徴点
Ｑと地図上の特徴点Ｐとの対応関係が未知の場合であっ
ても、複数の特徴点同士の組み合わせの妥当性を算出し
評価することで、撮影した画像上の物体が、あらかじめ
物体特徴格納手段３５に登録した物体のどれであるか
を、高い信頼度で特定することが可能になる。以上説明
したごとく、本発明の本質は妥当性検証手段を設けた点
にある。したがって、画像から抽出する特徴データは、
必ずしも「特徴点の座標」のみである必要はなく、例え
ば抽出した画像特徴の近傍の濃淡パターンの局所特徴ベ
クトルを付加しても良い。
Ｑと地図上の特徴点Ｐとの対応関係が未知の場合であっ
ても、複数の特徴点同士の組み合わせの妥当性を算出し
評価することで、撮影した画像上の物体が、あらかじめ
物体特徴格納手段３５に登録した物体のどれであるか
を、高い信頼度で特定することが可能になる。以上説明
したごとく、本発明の本質は妥当性検証手段を設けた点
にある。したがって、画像から抽出する特徴データは、
必ずしも「特徴点の座標」のみである必要はなく、例え
ば抽出した画像特徴の近傍の濃淡パターンの局所特徴ベ
クトルを付加しても良い。
【００１９】局所特徴ベクトルを「特徴データ」に付加
することにより、画像特徴と異なる局所特徴ベクトルを
持った地図特徴は、座標が画像特徴と近接した地図特徴
であっても、識別が可能となり、処理を簡単化し、信頼
度を高める。請求項５に記載の発明は、請求項３に記載
の発明における地図特徴データの作成方法であって、地
図特徴データ作成の対象となるシーンを複数の視点から
撮影して多視点画像として入力し、入力した多視点画像
のそれぞれにおいて特徴点を抽出し、それぞれの特徴点
において、その点を中心とする所定の大きさの窓内の濃
淡パターンの局所特徴ベクトルを算出し、多視点画像の
それぞれの画像間で特徴点の対応関係を求め、特徴点の
対応関係から特徴点の３次元座標を算出し、各特徴点の
３次元座標と各局所特徴ベクトルとを地図特徴データと
することを特徴とする。
することにより、画像特徴と異なる局所特徴ベクトルを
持った地図特徴は、座標が画像特徴と近接した地図特徴
であっても、識別が可能となり、処理を簡単化し、信頼
度を高める。請求項５に記載の発明は、請求項３に記載
の発明における地図特徴データの作成方法であって、地
図特徴データ作成の対象となるシーンを複数の視点から
撮影して多視点画像として入力し、入力した多視点画像
のそれぞれにおいて特徴点を抽出し、それぞれの特徴点
において、その点を中心とする所定の大きさの窓内の濃
淡パターンの局所特徴ベクトルを算出し、多視点画像の
それぞれの画像間で特徴点の対応関係を求め、特徴点の
対応関係から特徴点の３次元座標を算出し、各特徴点の
３次元座標と各局所特徴ベクトルとを地図特徴データと
することを特徴とする。
【００２０】
【発明の実施の形態】図７は、画像撮影手段の位置姿勢
検出の実施例１を示す。実施例１において、携帯端末に
は画像撮影手段と表示手段が備えられ、画像撮影手段で
撮影した携帯端末周辺の画像をサーバに転送する。サー
バには、図１に示す画像撮影手段の位置姿勢検出装置を
備え、該装置の地図特徴格納手段は、地図の特徴点の３
次元座標と、この座標に関連付けられたＵＲＬリストと
を保持する。
検出の実施例１を示す。実施例１において、携帯端末に
は画像撮影手段と表示手段が備えられ、画像撮影手段で
撮影した携帯端末周辺の画像をサーバに転送する。サー
バには、図１に示す画像撮影手段の位置姿勢検出装置を
備え、該装置の地図特徴格納手段は、地図の特徴点の３
次元座標と、この座標に関連付けられたＵＲＬリストと
を保持する。
【００２１】実施例１においては、画像撮影手段の位置
姿勢検出結果から携帯端末が撮影した画像の位置を特定
し、その位置に関連付けられたＵＲＬを通じてインター
ネット上のＵＲＬ関連情報を引き出し、携帯端末に転送
し、表示手段に表示する。実施例１における画像撮影手
段の位置姿勢検出の処理例を図７をもって説明する。地
図特徴格納手段には、あらかじめ、ｎ個の特徴点Ｐの番
号とその特徴点の３次元座標を格納しておく。
姿勢検出結果から携帯端末が撮影した画像の位置を特定
し、その位置に関連付けられたＵＲＬを通じてインター
ネット上のＵＲＬ関連情報を引き出し、携帯端末に転送
し、表示手段に表示する。実施例１における画像撮影手
段の位置姿勢検出の処理例を図７をもって説明する。地
図特徴格納手段には、あらかじめ、ｎ個の特徴点Ｐの番
号とその特徴点の３次元座標を格納しておく。
【００２２】画像特徴抽出手段では、例えば図８に示す
以下の画像処理を撮影した画像Ｉに施してコーナ特徴点
を抽出し、特徴点Ｑとする。１．画像Ｉの、座標（ｘ、
ｙ）におけるｘ方向の微分Ｄｘ（ｘ、ｙ）とｙ方向の微
分Ｄｙ（ｘ、ｙ）を次式で算出する（空間微分）。 Ｄｘ（ｘ、ｙ）＝Ｉ（ｘ＋1 、ｙ）−Ｉ（ｘ−１、ｙ） Ｄｙ（ｘ、ｙ）＝Ｉ（ｘ、ｙ＋１）−Ｉ（ｘ、ｙ−１） ２．次式に従って２×２の行列、局所共分散行列Ｖを算
出する。 Ｖ1,1 （ｘ、ｙ）＝ΣＤｘＤｘ Ｖ1,2 （ｘ、ｙ）＝Ｖ2,1 （ｘ、ｙ）＝ΣＤｘＤｙ Ｖ2,2 （ｘ、ｙ）＝ΣＤｙＤｙ ここで、Σは（ｘ、ｙ）を中心とするある大きさの窓内
での総和を表す。３．各画素（ｘ、ｙ）において、２×
２の行列Ｖ（ｘ、ｙ）の二つの固有値λ（ｘ、ｙ）、μ
（ｘ、ｙ）（λ＞μ）を算出する（固有値算出）。４．
小さいほうの固有値μ（ｘ、ｙ）が極大であって、しか
もλ（ｘ、ｙ）＜２μ（ｘ、ｙ）であるような画素をコ
ーナ特徴点として抽出し（コーナ特徴点抽出）、抽出し
たｍ個の特徴点Ｑの２次元座標を画像特徴格納手段に格
納する。
以下の画像処理を撮影した画像Ｉに施してコーナ特徴点
を抽出し、特徴点Ｑとする。１．画像Ｉの、座標（ｘ、
ｙ）におけるｘ方向の微分Ｄｘ（ｘ、ｙ）とｙ方向の微
分Ｄｙ（ｘ、ｙ）を次式で算出する（空間微分）。 Ｄｘ（ｘ、ｙ）＝Ｉ（ｘ＋1 、ｙ）−Ｉ（ｘ−１、ｙ） Ｄｙ（ｘ、ｙ）＝Ｉ（ｘ、ｙ＋１）−Ｉ（ｘ、ｙ−１） ２．次式に従って２×２の行列、局所共分散行列Ｖを算
出する。 Ｖ1,1 （ｘ、ｙ）＝ΣＤｘＤｘ Ｖ1,2 （ｘ、ｙ）＝Ｖ2,1 （ｘ、ｙ）＝ΣＤｘＤｙ Ｖ2,2 （ｘ、ｙ）＝ΣＤｙＤｙ ここで、Σは（ｘ、ｙ）を中心とするある大きさの窓内
での総和を表す。３．各画素（ｘ、ｙ）において、２×
２の行列Ｖ（ｘ、ｙ）の二つの固有値λ（ｘ、ｙ）、μ
（ｘ、ｙ）（λ＞μ）を算出する（固有値算出）。４．
小さいほうの固有値μ（ｘ、ｙ）が極大であって、しか
もλ（ｘ、ｙ）＜２μ（ｘ、ｙ）であるような画素をコ
ーナ特徴点として抽出し（コーナ特徴点抽出）、抽出し
たｍ個の特徴点Ｑの２次元座標を画像特徴格納手段に格
納する。
【００２３】画像特徴選択手段では、画像特徴格納手段
に保持している特徴点Ｑの中からランダムに３個の特徴
点Ｑｍ１（ｘｍ１，ｙｍ１）、Ｑｍ２（ｘｍ２，ｙｍ
２）、Ｑｍ３（ｘｍ３，ｙｍ３）を選択する。地図特徴
選択手段では、地図特徴格納手段に保持しているｎ個の
特徴点Ｐの中からランダムに、画像特徴選択手段で選択
した画像特徴と同数、この場合は３個の特徴点Ｐｎ１
（Ｘｎ１，Ｙｎ１，Ｚｎ１）、Ｐｎ２（Ｘｎ２，Ｙｎ
２，Ｚｎ２）、Ｐｎ３（Ｘｎ３，Ｙｎ３，Ｚｎ３）を選
択する。
に保持している特徴点Ｑの中からランダムに３個の特徴
点Ｑｍ１（ｘｍ１，ｙｍ１）、Ｑｍ２（ｘｍ２，ｙｍ
２）、Ｑｍ３（ｘｍ３，ｙｍ３）を選択する。地図特徴
選択手段では、地図特徴格納手段に保持しているｎ個の
特徴点Ｐの中からランダムに、画像特徴選択手段で選択
した画像特徴と同数、この場合は３個の特徴点Ｐｎ１
（Ｘｎ１，Ｙｎ１，Ｚｎ１）、Ｐｎ２（Ｘｎ２，Ｙｎ
２，Ｚｎ２）、Ｐｎ３（Ｘｎ３，Ｙｎ３，Ｚｎ３）を選
択する。
【００２４】位置姿勢候補算出手段では、Ｐｎ１〜Ｐｎ
３、Ｑｍ１〜Ｑｍ３を、それぞれＰ１〜Ｐ３、Ｑ１〜Ｑ
３と読み替え、図１３に示すように、Ｑ１はＰ１を投影
した点、Ｑ２はＰ２を投影した点、Ｑ３はＰ３を投影し
た点であると仮定し、画像撮影手段の位置姿勢Ｃを求め
る。妥当性検証手段では、図５に示すごとく、算出した
画像撮影手段の位置姿勢Ｃを基に、地図特徴格納手段に
格納したｎ個の特徴点Ｐ１、Ｐ２，．．．，Ｐｎの３次
元座標を画像撮影手段の位置姿勢Ｃで撮影した場合に得
られる画像に投影し、投影した特徴点Ｒ１，Ｒ
２，．．．，Ｒｎを求める。
３、Ｑｍ１〜Ｑｍ３を、それぞれＰ１〜Ｐ３、Ｑ１〜Ｑ
３と読み替え、図１３に示すように、Ｑ１はＰ１を投影
した点、Ｑ２はＰ２を投影した点、Ｑ３はＰ３を投影し
た点であると仮定し、画像撮影手段の位置姿勢Ｃを求め
る。妥当性検証手段では、図５に示すごとく、算出した
画像撮影手段の位置姿勢Ｃを基に、地図特徴格納手段に
格納したｎ個の特徴点Ｐ１、Ｐ２，．．．，Ｐｎの３次
元座標を画像撮影手段の位置姿勢Ｃで撮影した場合に得
られる画像に投影し、投影した特徴点Ｒ１，Ｒ
２，．．．，Ｒｎを求める。
【００２５】次にそれぞれの投影した特徴点Ｒに対して
所定の距離内に入力画像から抽出された特徴点Ｑ１，Ｑ
２，．．．，Ｑｍのうちどれか一つでも存在するかどう
かを判定し、存在すると判定したＲの数ｌを求める。ｌ
のｎに対する比、すなわち妥当性が所定の値より大きい
とき、仮定した画像撮影手段の位置姿勢Ｃは妥当である
と判断し、撮影した画像特徴Ｑは、地図特徴Ｐであると
特定する。
所定の距離内に入力画像から抽出された特徴点Ｑ１，Ｑ
２，．．．，Ｑｍのうちどれか一つでも存在するかどう
かを判定し、存在すると判定したＲの数ｌを求める。ｌ
のｎに対する比、すなわち妥当性が所定の値より大きい
とき、仮定した画像撮影手段の位置姿勢Ｃは妥当である
と判断し、撮影した画像特徴Ｑは、地図特徴Ｐであると
特定する。
【００２６】つぎに、地図特徴Ｐに対応つけられたＵＲ
Ｌを介してインターネットから地図特徴Ｐ関連の情報を
取得し、携帯端末に転送する。図７に示した請求項１の
実施例１に対応する請求項２の実施例２は、図７におけ
る画像撮影手段の位置姿勢検出装置（図１）を、３次元
物体認識装置に置（図６）に置き換えることで実現でき
る。
Ｌを介してインターネットから地図特徴Ｐ関連の情報を
取得し、携帯端末に転送する。図７に示した請求項１の
実施例１に対応する請求項２の実施例２は、図７におけ
る画像撮影手段の位置姿勢検出装置（図１）を、３次元
物体認識装置に置（図６）に置き換えることで実現でき
る。
【００２７】この場合、物体特徴格納手段３５には、図
９に示すごとく、Ｎ個の物体に対して、それぞれの物体
ごとに特徴点Ｐの番号と３次元座標とＵＲＬとを格納し
ておく。以下、物体特徴Ｐの選択、妥当性検証の処理は
物体ごとに独立して行い、妥当性が所定の値よりも大き
いとき、仮定した画像撮影手段の位置姿勢は妥当であ
り、撮影した画像特徴Ｑは、物体特徴Ｐであると判断
し、Ｐに対応する物体を特定する。
９に示すごとく、Ｎ個の物体に対して、それぞれの物体
ごとに特徴点Ｐの番号と３次元座標とＵＲＬとを格納し
ておく。以下、物体特徴Ｐの選択、妥当性検証の処理は
物体ごとに独立して行い、妥当性が所定の値よりも大き
いとき、仮定した画像撮影手段の位置姿勢は妥当であ
り、撮影した画像特徴Ｑは、物体特徴Ｐであると判断
し、Ｐに対応する物体を特定する。
【００２８】実施例２では、ＵＲＬのリストは物体に対
応つけられており、インターネットから撮影した建物等
の物体に関連する情報を取得し、携帯端末に転送する。
図１０は、実施例３として、請求項３に記載の発明にお
ける局所特徴ベクトルを抽出する処理例を示す。実施例
３の処理では、学習部において以下に示す手順で特徴点
の座標と局所特徴ベクトルとを抽出し、地図特徴として
地図特徴格納手段に格納する。 Ｓ１．撮影の対象となるシーンを、あらかじめ複数の視
点から撮影し、多視点画像として入力する。 Ｓ２．入力した多視点画像のそれぞれにおいて、特徴点
を抽出する。特徴点の抽出は例えば、実施例１と同様の
方法による。 Ｓ３．局所特徴ベクトル抽出では、それぞれの特徴点に
おいて、その点を中心とする所定の大きさの窓内の濃淡
パターンを特徴付けるベクトルＦを算出する。この算出
は例えば、「三次元物体安定認識のための Visual Lear
ningシステム」,電気学会論文誌, 1997年, Vol.117-C,
No.5, pp.528-533.に記載されている方法による。 Ｓ４．３次元復元では、視点が異なる画像間で特徴点の
対応関係を抽出する。局所特徴ベクトルＦが類似してい
る特徴点同士が対応しているものと判断する。次に、特
徴点の対応関係に基づいてこれら特徴点の３次元座標を
算出する。この算出は例えば、Takashi Toriu, and Tos
hio Endoh, "Maximum Likelihood Estimator for Struc
ture and Motion from Multiple Perspective Views",
Proceedings of Second Asian Conference on Computer
Vision, Vol. 2 of 3, pp.707-711, Singapore, Dec.,
1995. による。 Ｓ５．以上の処理によって得られた各特徴点の３次元座
標と、それらの特徴点のそれぞれに対する各視点の画像
毎の局所特徴ベクトルＦを地図特徴格納手段に格納す
る。
応つけられており、インターネットから撮影した建物等
の物体に関連する情報を取得し、携帯端末に転送する。
図１０は、実施例３として、請求項３に記載の発明にお
ける局所特徴ベクトルを抽出する処理例を示す。実施例
３の処理では、学習部において以下に示す手順で特徴点
の座標と局所特徴ベクトルとを抽出し、地図特徴として
地図特徴格納手段に格納する。 Ｓ１．撮影の対象となるシーンを、あらかじめ複数の視
点から撮影し、多視点画像として入力する。 Ｓ２．入力した多視点画像のそれぞれにおいて、特徴点
を抽出する。特徴点の抽出は例えば、実施例１と同様の
方法による。 Ｓ３．局所特徴ベクトル抽出では、それぞれの特徴点に
おいて、その点を中心とする所定の大きさの窓内の濃淡
パターンを特徴付けるベクトルＦを算出する。この算出
は例えば、「三次元物体安定認識のための Visual Lear
ningシステム」,電気学会論文誌, 1997年, Vol.117-C,
No.5, pp.528-533.に記載されている方法による。 Ｓ４．３次元復元では、視点が異なる画像間で特徴点の
対応関係を抽出する。局所特徴ベクトルＦが類似してい
る特徴点同士が対応しているものと判断する。次に、特
徴点の対応関係に基づいてこれら特徴点の３次元座標を
算出する。この算出は例えば、Takashi Toriu, and Tos
hio Endoh, "Maximum Likelihood Estimator for Struc
ture and Motion from Multiple Perspective Views",
Proceedings of Second Asian Conference on Computer
Vision, Vol. 2 of 3, pp.707-711, Singapore, Dec.,
1995. による。 Ｓ５．以上の処理によって得られた各特徴点の３次元座
標と、それらの特徴点のそれぞれに対する各視点の画像
毎の局所特徴ベクトルＦを地図特徴格納手段に格納す
る。
【００２９】図１１は、複数の視点に対応する局所特徴
ベクトルを付加した地図特徴Ｐの格納例を示す。図１１
において、Ｆnvはｎ番目の特徴点のｖ番目の視点の画像
における局所特徴ベクトルである。認識部は、以下に示
す方法で地図特徴Ｐを参照し、画像撮影手段の位置姿勢
を算出する。 Ｓ１１．画像特徴点抽出では、学習部と同様の方法で入
力画像から特徴点Ｑを抽出する。 Ｓ１２．局所特徴ベクトル抽出では、学習部と同様の方
法で各特徴点Ｑにおける局所特徴ベクトルＦを抽出す
る。 Ｓ１３．抽出した特徴点Ｑの２次元座標と局所特徴ベク
トルＦとを画像特徴格納手段に格納する。図１２は局所
特徴ベクトルを付加した画像特徴Ｑをｍ個抽出し、格納
した例を示す。
ベクトルを付加した地図特徴Ｐの格納例を示す。図１１
において、Ｆnvはｎ番目の特徴点のｖ番目の視点の画像
における局所特徴ベクトルである。認識部は、以下に示
す方法で地図特徴Ｐを参照し、画像撮影手段の位置姿勢
を算出する。 Ｓ１１．画像特徴点抽出では、学習部と同様の方法で入
力画像から特徴点Ｑを抽出する。 Ｓ１２．局所特徴ベクトル抽出では、学習部と同様の方
法で各特徴点Ｑにおける局所特徴ベクトルＦを抽出す
る。 Ｓ１３．抽出した特徴点Ｑの２次元座標と局所特徴ベク
トルＦとを画像特徴格納手段に格納する。図１２は局所
特徴ベクトルを付加した画像特徴Ｑをｍ個抽出し、格納
した例を示す。
【００３０】画像特徴選択（Ｓ２１）では画像特徴格納
（Ｓ１３）で格納したｍ個の特徴点からランダムに３個
の特徴点Ｑｍ１（ｘｍ１，ｙｍ１）、Ｑｍ２（ｘｍ２，
ｙｍ２）、Ｑｍ３（ｘｍ３，ｙｍ３）を選択する。地図
特徴選択（Ｓ２２）では、地図特徴格納（Ｓ5)で格納し
た地図特徴から、いずれかの視点の画像で局所特徴ベク
トルＦｍ１に類似する局所特徴ベクトルを持つ特徴点を
ランダムに一つ選び、その特徴の番号をｌ１とする。同
様に、ｆｍ２、ｆｍ３に類似する局所特徴ベクトルを持
つ特徴点をランダムに選択し、それぞれ、ｌ２、ｌ３と
する。
（Ｓ１３）で格納したｍ個の特徴点からランダムに３個
の特徴点Ｑｍ１（ｘｍ１，ｙｍ１）、Ｑｍ２（ｘｍ２，
ｙｍ２）、Ｑｍ３（ｘｍ３，ｙｍ３）を選択する。地図
特徴選択（Ｓ２２）では、地図特徴格納（Ｓ5)で格納し
た地図特徴から、いずれかの視点の画像で局所特徴ベク
トルＦｍ１に類似する局所特徴ベクトルを持つ特徴点を
ランダムに一つ選び、その特徴の番号をｌ１とする。同
様に、ｆｍ２、ｆｍ３に類似する局所特徴ベクトルを持
つ特徴点をランダムに選択し、それぞれ、ｌ２、ｌ３と
する。
【００３１】位置姿勢候補算出では、入力画像から抽出
した特徴点Ｑｍ１、Ｑｍ２、Ｑｍ３と格納した特徴点ｌ
１、ｌ２、ｌ３が対応していると仮定し、実施例１と同
様にして画像撮影手段の位置姿勢を算出し、妥当性の検
証を行う。本実施例によれば、局所ベクトルが類似して
いる特徴点だけを選択しているため、実施例１と比較し
て候補として算出された位置姿勢が正しい確率が高くな
り、計算に要する時間を短縮することが可能になる。
した特徴点Ｑｍ１、Ｑｍ２、Ｑｍ３と格納した特徴点ｌ
１、ｌ２、ｌ３が対応していると仮定し、実施例１と同
様にして画像撮影手段の位置姿勢を算出し、妥当性の検
証を行う。本実施例によれば、局所ベクトルが類似して
いる特徴点だけを選択しているため、実施例１と比較し
て候補として算出された位置姿勢が正しい確率が高くな
り、計算に要する時間を短縮することが可能になる。
【００３２】
【発明の効果】以上説明したごとく、本発明によれば、 １．３次元空間中の特徴点と撮影した画像上の特徴点の
対応関係が未知の場合でも、高い信頼度で画像撮影手段
の位置姿勢を特定する。 ２．任意の方向から撮影した画像を基にその物体が予め
登録された物体のどれであるかを、高い信頼度で特定す
る。 ことが可能となり、計算に要する時間を短縮することが
可能になる。
対応関係が未知の場合でも、高い信頼度で画像撮影手段
の位置姿勢を特定する。 ２．任意の方向から撮影した画像を基にその物体が予め
登録された物体のどれであるかを、高い信頼度で特定す
る。 ことが可能となり、計算に要する時間を短縮することが
可能になる。
【図１】 画像撮影手段の位置姿勢検出装置の基本構成
【図２】 入力画像の例
【図３】 画像特徴の格納例
【図４】 地図特徴の格納例
【図５】 算出した画像撮影手段の位置姿勢候補からの
投影
投影
【図６】 ３次元物体認識装置の基本構成
【図７】 実施例１
【図８】 特徴点抽出処理例
【図９】 物体特徴の格納例
【図１０】 実施例３の処理
【図１１】 局所特徴ベクトルを付加した地図特徴の格
納例
納例
【図１２】 局所特徴ベクトルを付加した画像特徴の格
納例
納例
【図１３】 画像撮影手段の位置姿勢の検出原理
【図１４】 従来例２
１ 画像撮影手段 ２ 画像入力手段 ３ 画像特徴抽出手段 ４ 画像特徴格納手段 ５ 地図特徴格納手段 ６ 画像特徴選択手段 ７ 地図特徴選択手段 ８、３８ 位置姿勢候補算出手段 ９、３９ 妥当性検証手段 ３５ 物体特徴格納手段 ３７ 物体特徴選択手段 Ｃ 画像撮影手段の位置 Ｐ 地図特徴 Ｑ 画像特徴 Ｒ 投影した地図特徴
フロントページの続き Ｆターム(参考） 5B057 AA20 BA02 CA08 CA13 CA16 CB08 CB13 CB16 CC01 CE08 DA07 DB03 DB09 DC05 DC36 5C054 AA05 CH02 EA05 FC00 FD03 HA00 5L096 AA06 AA09 BA08 CA05 EA14 FA12 FA45 FA69 HA08 JA11
Claims (6)
- 【請求項１】 ３次元空間の特徴点の座標を地図特徴デ
ータとして保持する地図特徴格納手段と、入力された画
像の特徴点の２次元座標を画像特徴データとして抽出す
る画像特徴抽出手段と、抽出した画像特徴データから少
なくとも３個を選択する画像特徴選択手段と、選択した
画像特徴データと同数の地図特徴データを選択する地図
特徴選択手段と、選択した画像特徴データと地図特徴デ
ータとが対応しているものとして、画像を撮影した画像
撮影手段の位置姿勢の候補を算出する位置姿勢候補算出
手段と、候補として算出した位置姿勢から地図特徴デー
タを入力画像に投影し、投影した地図特徴データと画像
特徴データとから位置姿勢候補の妥当性を算出し、妥当
性が所定の値を超えた位置姿勢候補を画像撮影手段の位
置姿勢とする妥当性検証手段とを有することを特徴とす
る画像撮影手段の位置姿勢検出装置。 - 【請求項２】 ３次元空間の物体の特徴点の座標を物体
特徴データとして物体ごとにまとめて保持する物体特徴
格納手段と、入力された画像の特徴点の２次元座標を画
像特徴データとして抽出する画像特徴抽出手段と、抽出
した画像特徴データから少なくとも３個を選択する画像
特徴選択手段と、選択した画像特徴データと同数の物体
特徴データを、物体特徴格納手段から物体ごとに選択す
る物体特徴選択手段と、選択した画像特徴データと物体
特徴データとが対応しているものとして、画像を撮影し
た画像撮影手段の位置姿勢の候補を算出する位置姿勢候
補算出手段と、候補として算出した位置姿勢から物体特
徴データを入力画像に投影し、投影した物体特徴データ
と画像特徴データとから位置姿勢候補の妥当性を算出
し、妥当性が所定の値を超えた位置姿勢候補を画像撮影
手段の位置姿勢とし、物体を特定する妥当性検証手段と
を有することを特徴とする３次元物体認識装置。 - 【請求項３】 請求項１に記載の画像撮影手段の位置姿
勢検出装置において、地図特徴格納手段は、地図特徴デ
ータとして、地図の特徴点の３次元の座標と特徴点の近
傍の濃淡パターンの局所特徴ベクトルとを保持し、画像
特徴抽出手段は、画像特徴データとして、画像の特徴点
の２次元座標と特徴点の近傍の濃淡パターンの局所特徴
ベクトルを抽出することを特徴とする画像撮影手段の位
置姿勢検出装置。 - 【請求項４】 ３次元空間の特徴点の座標を地図特徴デ
ータとして保持し、画像撮影手段で撮影した画像を入力
する手順と、入力した画像の特徴点の２次元座標を画像
特徴データとして抽出する画像特徴抽出手順と、抽出し
た画像特徴データから少なくとも３個を選択する画像特
徴選択手順と、選択した画像特徴データと同数の地図特
徴データを選択する地図特徴選択手順と、選択した画像
特徴データと地図特徴データとが対応しているものとし
て画像を入力した画像撮影手段の位置姿勢の候補を算出
する位置姿勢候補算出手順と、候補として算出した位置
姿勢から地図特徴データを入力画像に投影し、投影した
地図特徴データと画像特徴データとから位置姿勢候補の
妥当性を算出し、妥当性が所定の値を超えた位置姿勢候
補を画像撮影手段の位置姿勢とする妥当性検証手順とを
有することを特徴とするプログラムを記録したコンピュ
ータ読み取り可能な記録媒体。 - 【請求項５】 地図特徴データ作成の対象となるシーン
を複数の視点から撮影して多視点画像として入力し、入
力した多視点画像のそれぞれにおいて特徴点を抽出し、
それぞれの特徴点において、その点を中心とする所定の
大きさの窓内の濃淡パターンの局所特徴ベクトルを算出
し、多視点画像のそれぞれの画像間で特徴点の対応関係
を求め、特徴点の対応関係から特徴点の３次元座標を算
出し、各特徴点の３次元座標と各局所特徴ベクトルとを
地図特徴データとすることを特徴とする電子的な地図作
成方法。 - 【請求項６】 ３次元空間の特徴点の座標を地図特徴デ
ータとして保持するコンピュータに、画像撮影手段で撮
影した画像を入力する手順と、入力した画像の特徴点の
２次元座標を画像特徴データとして抽出する画像特徴抽
出手順と、抽出した画像特徴データから少なくとも３個
を選択する画像特徴選択手順と、選択した画像特徴デー
タと同数の地図特徴データを選択する地図特徴選択手順
と、選択した画像特徴データと地図特徴データとが対応
しているものとして、画像を入力した画像撮影手段の位
置姿勢の候補を算出する位置姿勢候補算出手順と、候補
として算出した位置姿勢から地図特徴データを入力画像
に投影し、投影した地図特徴データと画像特徴データと
から位置姿勢候補の妥当性を算出し、妥当性が所定の値
を超えた位置姿勢候補を画像撮影手段の位置姿勢とする
妥当性検証手順とを実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001193437A JP2002109539A (ja) | 2000-07-26 | 2001-06-26 | 画像撮影手段の位置姿勢検出装置、３次元物体認識装置および地図特徴データ作成方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000225611 | 2000-07-26 | ||
| JP2000-225611 | 2000-07-26 | ||
| JP2001193437A JP2002109539A (ja) | 2000-07-26 | 2001-06-26 | 画像撮影手段の位置姿勢検出装置、３次元物体認識装置および地図特徴データ作成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002109539A true JP2002109539A (ja) | 2002-04-12 |
Family
ID=26596718
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001193437A Withdrawn JP2002109539A (ja) | 2000-07-26 | 2001-06-26 | 画像撮影手段の位置姿勢検出装置、３次元物体認識装置および地図特徴データ作成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002109539A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008288922A (ja) * | 2007-05-18 | 2008-11-27 | Olympus Imaging Corp | カメラ |
| US8705795B2 (en) | 2010-11-19 | 2014-04-22 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
| JP2016076836A (ja) * | 2014-10-07 | 2016-05-12 | 日本放送協会 | 撮像装置 |
| JP2018096969A (ja) * | 2016-08-30 | 2018-06-21 | ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ | ジオアーク（ｇｅｏａｒｃ）を使用したビークルの二次元位置の特定 |
| US10102647B2 (en) | 2015-06-16 | 2018-10-16 | Fujitsu Limited | Image processing device, image processing method, and non-transitory computer-readable storage medium that determines camera position based on a comparison of estimated postures |
| KR102407802B1 (ko) * | 2021-12-22 | 2022-06-10 | (주)리얼메이커 | 인공신경망 학습 기반의 실내외 3차원 좌표 및 방위 추정 장치 |
-
2001
- 2001-06-26 JP JP2001193437A patent/JP2002109539A/ja not_active Withdrawn
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008288922A (ja) * | 2007-05-18 | 2008-11-27 | Olympus Imaging Corp | カメラ |
| US8705795B2 (en) | 2010-11-19 | 2014-04-22 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
| JP2016076836A (ja) * | 2014-10-07 | 2016-05-12 | 日本放送協会 | 撮像装置 |
| US10102647B2 (en) | 2015-06-16 | 2018-10-16 | Fujitsu Limited | Image processing device, image processing method, and non-transitory computer-readable storage medium that determines camera position based on a comparison of estimated postures |
| JP2018096969A (ja) * | 2016-08-30 | 2018-06-21 | ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ | ジオアーク（ｇｅｏａｒｃ）を使用したビークルの二次元位置の特定 |
| JP7033859B2 (ja) | 2016-08-30 | 2022-03-11 | ザ・ボーイング・カンパニー | ジオアーク（ｇｅｏａｒｃ）を使用したビークルの二次元位置の特定 |
| KR102407802B1 (ko) * | 2021-12-22 | 2022-06-10 | (주)리얼메이커 | 인공신경망 학습 기반의 실내외 3차원 좌표 및 방위 추정 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10650546B2 (en) | Method of providing a descriptor for at least one feature of an image and method of matching features | |
| US11887247B2 (en) | Visual localization | |
| CN111126304B (zh) | 一种基于室内自然场景图像深度学习的增强现实导航方法 | |
| US9818023B2 (en) | Enhanced face detection using depth information | |
| US11003956B2 (en) | System and method for training a neural network for visual localization based upon learning objects-of-interest dense match regression | |
| US8638986B2 (en) | Online reference patch generation and pose estimation for augmented reality | |
| JP6265499B2 (ja) | 特徴量抽出装置及び場所推定装置 | |
| Ulrich et al. | Towards fast fiducial marker with full 6 dof pose estimation | |
| JP2002109539A (ja) | 画像撮影手段の位置姿勢検出装置、３次元物体認識装置および地図特徴データ作成方法 | |
| Sedaghat et al. | Accurate affine invariant image matching using oriented least square | |
| Micheal et al. | Comparative analysis of SIFT and SURF on KLT tracker for UAV applications | |
| Ecklbauer | A mobile positioning system for android based on visual markers | |
| Sadeghi et al. | Ocrapose ii: An ocr-based indoor positioning system using mobile phone images | |
| Sourimant et al. | Toward automatic GIS–video initial registration: And application to buildings textures computation | |
| Kobori et al. | Proposal of an Encoded Marker for Working Robots: An Encoded Marker Easy to Detect in Various Positions and under Blur | |
| Butt et al. | Multi-task Learning for Camera Calibration | |
| CN117115333A (zh) | 一种结合imu数据的三维重建方法 | |
| CN115457231A (zh) | 一种更新三维图像的方法及相关装置 | |
| Pylvänäinen et al. | Revisiting the P n P Problem with a GPS | |
| Wang et al. | Automatic Registration of Terrestrial Laser Sensor Scans Using Reflectance Intensity and Geometry Features | |
| Skulimowski et al. | Urban Object Identification in Scenes Recorded by a Smartphone | |
| JP2014215821A (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080902 |