JP2004132933A - アクティブセンサの位置・姿勢推定方法及びその装置、並びにアクティブセンサの位置・姿勢推定プログラム - Google Patents

アクティブセンサの位置・姿勢推定方法及びその装置、並びにアクティブセンサの位置・姿勢推定プログラム Download PDF

Info

Publication number
JP2004132933A
JP2004132933A JP2002300173A JP2002300173A JP2004132933A JP 2004132933 A JP2004132933 A JP 2004132933A JP 2002300173 A JP2002300173 A JP 2002300173A JP 2002300173 A JP2002300173 A JP 2002300173A JP 2004132933 A JP2004132933 A JP 2004132933A
Authority
JP
Japan
Prior art keywords
histogram
active sensor
current position
omnidirectional
reference point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002300173A
Other languages
English (en)
Other versions
JP2004132933A5 (ja
Inventor
Saika O
王 彩華
Hideki Tanahashi
棚橋 英樹
Hidekazu Hirayu
平湯 秀和
Katsutaka Sato
佐藤 雄隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Science and Technology Agency
Softopia Japan Foundation
Original Assignee
Japan Science and Technology Agency
Softopia Japan Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science and Technology Agency, Softopia Japan Foundation filed Critical Japan Science and Technology Agency
Priority to JP2002300173A priority Critical patent/JP2004132933A/ja
Publication of JP2004132933A publication Critical patent/JP2004132933A/ja
Publication of JP2004132933A5 publication Critical patent/JP2004132933A5/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】全方位画像の統計量を用いて、数少ない参照地点に基づいてセンサの現在の位置と姿勢を精度良くロバストに推定する。
【解決手段】複数の参照地点でアクティブセンサ11が取得した全方位画像に基づいて各参照地点の全方位エッジヒストグラムを生成する。アクティブセンサ11が取得した現在位置の全方位画像に基づき、現在位置の全方位エッジヒストグラムを生成する。参照地点と現在位置の全方位エッジヒストグラムを動的計画法によりマッチングし、各方位におけるヒストグラムの総合シフト量を算出する。総合シフト量に基づき各参照地点に対する現在位置のアクティブセンサ11の回転量と移動方向及び相対的な移動量を算出する。現在位置と最も近い2つの参照地点に対する移動方向を用いてアクティブセンサ11の現在位置と回転角度を推定する。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、アクティブセンサの位置・姿勢推定方法及びその装置、並びにアクティブセンサの位置・姿勢推定プログラムに関するものである。
【0002】
【従来の技術】
アクティブセンサの位置及び姿勢の推定は、ロボットナビゲーションやコンピュータビジョンにおける最も重要な課題となっている。
【0003】
近年現れた全方位センサは周りの環境の360°視野角の情報を同時に取得できるため、ロボットやセンサの位置及び推定にも大変有効であり、ロボットや自動監視分野では注目が集まっている。
【0004】
上記のような全方位センサから得られる全方位画像は、360°のシーンの情報を持っているため、ロボットの位置及び姿勢推定によく使われ、全方位画像を用いたロボット位置推定については、様々な方法が提案されている。
【0005】
これらの方法は主としてビュー・ベースド(View−based)・マッチングと、幾何特徴マッチングに分けることができる。
ビュー・ベースド・マッチングでは、環境中の学習経路上の各地点の全方位画像から抽出された特徴量を予め記憶し、センサの位置を推定するとき、現位置で得られた全方位画像から同じく特徴量を抽出し、予め記憶した学習画像の特徴量と比較することによって、学習経路にある最も近い地点を求める。
【0006】
例えば、ノン・モノトニック(Non−monotonic)連続DPを用いて、全方位画像から抽出した回転不変特徴量の時空間系列をマッチングすることによって、ロボットの位置推定を行う技術が提案されている(非特許文献1参照)。
【0007】
又、時空間系列画像を固有空間で表し、画像の固有空間の特徴量と学習画像のトラジェクトリとのマッチングによって、位置推定を行うことも提案されている(非特許文献2参照)。
【0008】
さらに、全方位画像の時空間系列の自己相関画像から回転不変特徴を抽出し、固有空間内でのそれらの特徴量に対してK−L展開で固有空間を構築し、固有空間内で最も接近した学習画像を検索することによって位置推定を行うことが提案されている(非特許文献3参照)。
【0009】
一方、幾何特徴マッチングでは、シーンの中にあるエッジやコーナーなどの幾何特徴を用いる(非特許文献4〜6参照)。
非特許文献4では、全方位画像を用いて、環境マップとシーンの垂直エッジをマッチングし、ロボットの位置を推定している。
【0010】
或いは、時系列の全方位画像のフレーム間でコーナ追跡(非特許文献5参照)や、床のエッジ追跡(非特許文献6参照)で得られた特徴点の対応付けからセンサの移動パラメータ(相対的な位置、姿勢)を推定している。
【0011】
【非特許文献1】
西村,野崎,岡,”Non−monotonic連続DPによるスプッティングに基づく移動ロボットの時系列を用いた大局的な位置推定”,電子情報通信学会論文誌 1998年,D−II,Vol.J81−D−II,No.8,p.1876−1884
【非特許文献2】
エヌ・ウィンターズ(N. Winters),ジェイ・ギャスパー(J. Gaspar),ジィ・ラセイ(G. Lacey),ジェイ・サントス−ヴィクタ(J. Santos−Victor),”ロボットナビゲーションのための全方位画像(Omni−directional Vision for Robot Navigation )”,「全方位画像研究会」における米国電気電子学会論文誌(Proc. of IEEE Workshop on  Omni−directional Vision ),米国,2000年,p.21−28
【非特許文献3】
岩佐,粟飯原,横矢,竹村,”全方位画像を用いた記憶に基づく位置推定”,電子情報通信学会論文誌 2001年,D−II,Vol.J84−D−II,No.2,p.310−320
【非特許文献4】
八木(Y. Yagi),西沢(Y. Nishizawa ),谷内田(M. Yachida),”全方位画像センサ(COPICS)を備えた移動ロボットのためのマップ・ベースのナビゲーション(Map−Based Navigation for a Mobile Robot with Omnidirectional ImageSensor COPICS)”,「ロボットとオートメーション」の米国電気電子学会論文誌(IEEE Trans. on Robotics and Automation),米国,1995年,Vol.11,No.5,p634−648
【非特許文献5】
ジェイ・ギャスパー(J. Gaspar),エヌ・ウィンターズ(N. Winters),ジィ・ラセイ(G. Lacey),ジェイ・サントス−ヴィクタ(J. Santos−Victor),”全方位画像カメラを用いたヴィジョン・ベースのナビゲーションと環境画像(Vision Based Navigation and Environmental Representations with an Omnidirectional Camera )”,「ロボットとオートメーション」の米国電気電子学会論文誌(IEEE Trans. on Robotics and Automation),米国,2000年,Vol.16,No.6,p890−898
【非特許文献6】
山澤,八木,谷内田,”移動ロボットのナビゲーションのための全方位視覚センサ Hyper Omni Visionの提案”,電子情報通信学会論文誌 1996年,D−II,Vol.J79−D−II,No.5,p.698−707
【0012】
【発明が解決しようとする課題】
非特許文献1〜3に示された方法は、回転不変特徴を用いるため、センサの回転によらずに位置を推定することが可能である。しかしながら、その反面、センサの向きを推定するには他の処理が必要となる。
【0013】
又、これらの方法では、現地点から学習した経路上にある最も近い点しか認識できず、経路から離れた場合の現地点の正確な位置の推定は難しい。
非特許文献4〜6に示された方法では、一般的に複雑な実環境では、安定的な特徴点抽出や特徴点の対応付けが困難であり、特徴点抽出の誤差や誤対応が位置推定に大きな影響を与える。
【0014】
本発明は、全方位画像がシーンの全体的な情報量を持っていることに注目し、上記問題点を解決するためになされたものである。すなわち、本発明は、全方位画像の統計量を用いて、数少ない参照地点に基づいてセンサの現在の位置と姿勢を精度良くロバストに推定するアクティブセンサの位置・姿勢推定方法及びその装置、並びに位置・姿勢推定プログラムを提供することを目的としている。
【0015】
そして、本発明では、全方位画像における個々のエッジをマッチングすることなく、その統計量であるヒストグラムを用い、ノイズや環境の複雑さに対する頑丈性が高いアクティブセンサの位置・姿勢推定方法及び装置、並びにアクティブセンサの位置・姿勢推定プログラムを提供することにある。
【0016】
【課題を解決するための手段】
上記問題点を解決するため、請求項1記載の発明は、全方位画像を取得可能であり、環境内を移動可能なアクティブセンサの位置・姿勢推定方法において、環境内の複数の参照地点で全方位画像を取得し、同全方位画像に基づいて各参照地点における全方位エッジヒストグラム(以下、参照地点ヒストグラムという)を生成して記憶し、次に、前記環境内の任意の地点に移動した際に、同任意の地点(以下、現在位置という)で全方位画像を取得し、現在位置における全方位エッジヒストグラム(以下、現在位置ヒストグラムという)を生成し、前記参照地点ヒストグラムと現在位置ヒストグラムをマッチングして、各方位におけるヒストグラムの総合シフト量を算出し、前記総合シフト量に基づいて、前記各参照地点に対する現在位置のアクティブセンサの回転量、移動方向及び相対的な移動量を算出し、前記現在位置と最も近い2つの参照地点に対する移動方向を用いてアクティブセンサの現在位置と姿勢を推定することを特徴とするアクティブセンサの位置・姿勢推定方法を要旨とするものである。
【0017】
請求項2の発明は、請求項1において、前記マッチングは、動的計画法によるものであり、総合シフト量は、動的計画法にて得られた最小コストパスに基づくものであることを特徴とする。
【0018】
請求項3の発明は、アクティブセンサにて取得した環境内の複数の参照地点における全方位画像を入力し、同全方位画像に基づいて全方位エッジヒストグラム(以下、参照地点ヒストグラムという)を生成する第1生成手段と、前記生成した各参照地点の参照地点ヒストグラムを記憶する記憶手段と、環境内の任意の地点に移動した際に、同任意の地点(以下、現在位置という)で全方位画像を入力し、現在位置おける全方位エッジヒストグラム(以下、現在位置ヒストグラムという)を生成する第2生成手段と、前記参照地点ヒストグラムと現在位置ヒストグラムをマッチングして、各方位におけるヒストグラムの総合シフト量を算出する第1算出手段と、前記総合シフト量に基づいて、前記各参照地点に対する現在位置におけるアクティブセンサの回転量、移動方向及び相対的な移動量を算出する第2算出手段と、現在位置と最も近い2つの参照地点に対する移動方向を用いてアクティブセンサの位置と姿勢を推定する推定手段とを備えたことを特徴とするアクティブセンサの位置・姿勢推定装置を要旨とするものである。
【0019】
請求項4の発明は、請求項3において、前記第1算出手段は動的計画法により演算することを特徴とする。
請求項5の発明は、コンピュータを、環境内の複数の参照地点における全方位画像をアクティブセンサから入力し、同全方位画像に基づいて全方位エッジヒストグラム(以下、参照地点ヒストグラムという)を生成する第1生成手段と、前記生成した各参照地点の参照地点ヒストグラムを記憶する記憶手段と、環境内の任意の地点(以下、現在位置という)でアクティブセンサが取得した全方位画像に基づいて、現在位置おける全方位エッジヒストグラム(以下、現在位置ヒストグラムという)を生成する第2生成手段と、前記参照地点ヒストグラムと現在位置ヒストグラムをマッチングして、各方位におけるヒストグラムの総合シフト量を算出する第1算出手段と、前記総合シフト量に基づいて、前記各参照地点に対する現在位置におけるアクティブセンサの回転量、移動方向及び相対的な移動量を算出する第2算出手段と、現在位置と最も近い2つの参照地点に対する移動方向を用いてアクティブセンサの位置と姿勢を推定する推定手段として機能させるためのアクティブセンサの位置・姿勢推定プログラムを要旨とするものである。
【0020】
【発明の実施の形態】
以下、本発明の位置・姿勢推定装置を具体化した一実施形態を図1〜図10を参照して説明する。
【0021】
本実施形態の位置・姿勢推定装置は、アクティブセンサ11とコンピュータ16にて構成されている。
図1はアクティブセンサの電気的構成を示すブロック図である。図2はアクティブセンサ11の機械的構成の概略図である。
【0022】
アクティブセンサ11は、複数の車輪を有する車体βを備えており、車体β内に設けられた図示しない電動モータにより前記車輪が駆動されて環境K内の任意の位置に向けて自動走行(直線及び曲線に沿った走行を含む)及びが可能である。なお、図2においては、説明の便宜上、環境Kは、車体βに比較して、小さく図示している。
【0023】
アクティブセンサ11は、複数の3眼ステレオユニット(以下、単にステレオユニット12という)、メモリユニット15、同期信号発生器17等を備えている。メモリユニット15、コンピュータ16、同期信号発生器17等は車体β内に格納されている。
【0024】
前記複数のステレオユニット12は、全方位画像取得手段に相当する。
又、前記コンピュータ16は、第1生成手段、第2生成手段、第1算出手段、第2算出手段及び推定手段に相当する。
【0025】
アクティブセンサ11は、3次元空間内の、全ての方向におけるカラー画像と3次元情報を、同時刻にリアルタイムで取得することが可能な装置である。
ステレオユニット12は、3個のビデオカメラからなり、各ステレオユニット12は正20面体の各面上にそれぞれ配置されている。
【0026】
そして、各ステレオユニット12は同特性を備え、各面に配置したステレオユニット12により、全方向のカラー画像と白黒画像(距離画像)を同一時刻にリアルタイムで取得可能なシステムである。これによって、3次元空間上の全ての方向におけるカラー画像と3次元情報を同一時刻に得ることができる。
【0027】
又、同じ特性を持つステレオユニット12を正20面体の各面上に配置したことにより、3次元空間を均等に分割し、高解像度の情報の取得が可能である。なお、このアクティブセンサ11は、「”実環境センシングのための全方向ステレオシステム(SOS)”、電気学会論文誌C.Vol.121−C,No.5,pp.876−881,2001」に記載されている。
【0028】
ステレオユニット12では、図1に示すように、1つの基準ビデオカメラVCsと、一対の参照用ビデオカメラVCとからなる。そして、参照用ビデオカメラVCは基準ビデオカメラVCsの光軸を交線として、互いに直交する一対の平面に含ませるように配置されている。そして、これらのカメラにより、2つのステレオペアを構成するように配置されている。
【0029】
各ステレオユニット12からは、1枚のカラー画像と2枚の白黒画像とからなるステレオ画像が取得され、全方向の20枚のカラー画像と40枚の白黒画像を1セットとして15セット/秒でメモリユニット15に転送する。メモリユニット15は、転送されてきた全方位の画像データ(以下、全方位画像という)を記憶する。
【0030】
各ステレオユニット12の各ビデオカメラには、同期信号発生器17から共通の外部同期信号が供給されている。このことにより、ディジタル化されたフレームにおいて、完全に同期した画像データが得られる。
【0031】
コンピュータ16は、所定の周期毎に、同コンピュータ16内に備えているROM16aに予め格納した位置・姿勢推定プログラムを実行する。前記ROM16aを備えたコンピュータ16は記憶手段に相当する。
【0032】
又、コンピュータ16は、メモリユニット15にアクセスし、全方位画像をその時々に取得する。
(作用)
さて、以上のように構成された位置・姿勢推定装置の作用を図3〜図10を参照して説明する。
【0033】
図3は、コンピュータ16が実行する位置・姿勢推定プログラムのフローチャートであり、コンピュータ16は、所定周期毎に実行し、アクティブセンサ11の現在位置及び姿勢を推定する。
【0034】
以下、各ステップ毎に説明する。
1. S10(エッジの検出)
ステップ(以下、Sで表す)10では、エッジ検出を行う。
【0035】
すなわち、基準ビデオカメラVCs(センタカメラ)が取得した全方位画像に対してLoG(Laplasian of Gaussian)フィルタを通し、ゼロクロス点をエッジとして検出する。
【0036】
2. S20(最大エッジ勾配の算出)
次に、最大エッジ勾配の算出を行う。
すなわち、Sobelフィルタにて各エッジ画素におけるエッジの勾配(強度)を計算し、画像中の最大エッジ勾配(すなわち、最大エッジ強度)を求める。
【0037】
これは、LoGフィルタはノイズに影響されやすいため、ノイズや照明の影響で偽のエッジ多く存在するためであり、これを除くための処理である。
この処理によって、強度が最大エッジ勾配値の5%未満のエッジ画素をノイズとしてエッジから削除する。
【0038】
3. S30(現在位置のエッジヒストグラムの生成)
次に、S30において、各ステレオユニット12のセンタカメラである基準ビデオカメラVCsで得られたエッジ点から、360°のパノラマエッジ画像座標系に写像し、縦方向投影のエッジヒストグラムを生成する。エッジヒストグラムは統計量に相当する。
【0039】
前記360°のパノラマエッジ画像は360°の円筒画像ともいう。すなわち、この円筒画像におけるエッジを縦方向(円筒の軸心に沿った方向)に投影して、全方位エッジヒストグラムを生成するのである。
【0040】
図5は、生成された全方位エッジヒストグラムの例を示している。図5において、横軸は0〜360°の範囲を示し、縦軸はそのヒストグラムである。図4は、図5に対応するパノラマエッジ画像を示している。
【0041】
(位置・姿勢と全方位エッジヒストグラムとの関係)
ここで、アクティブセンサ11の位置・姿勢とヒストグラムとの関係を説明する。
【0042】
アクティブセンサ11の移動や回転は、アクティブセンサ11で得られた全方位画像のエッジヒストグラムのシフトを引き起こす。
アクティブセンサ11の回転によって生じたエッジヒストグラムの回転量はすべての方位角において一定である。しかし、アクティブセンサ11の平行移動で生じたエッジヒストグラムの移動量は移動方向とエッジの方位角に関係する。
【0043】
図6に示すように、アクティブセンサ11が参照地点αからある移動方向ωに向いて動いたとき、ω±nπ,n=0,1の方位角においてはエッジヒストグラムの移動量が小さい。n=0は移動方向ωであり、n=1は移動方向ωとは反対方向の意味である。
【0044】
なお、総合シフト量とは、前記回転量と移動量の合計の量である。又、移動方向ωは、図6に示すように参照地点αを中心として所定の方向の向きを0°としたとき、その0°からω°離れた方向をいう。
【0045】
ω±(2n+1)π/2の方位角においてはそのエッジヒストグラムの移動量が大きくなる。
アクティブセンサ11が移動方向ωに沿う移動距離をLとし、移動しながら回転角度φにて回転したとする。
【0046】
この場合、ある方位角θに位置するエッジピクセルの円筒座標系(360°のパノラマエッジ画像座標系)における総合シフト量δθは次の式で決まる。
【0047】
【数1】
Figure 2004132933
ここで、dθは方位角θに位置するエッジの3次元での奥行き(アクティブセンサ11中心までの距離)である。実際には、多くの場合同じ方位にあるエッジは異なる奥行きをもっているため、式(1)は理想的な場合(同じ方位のエッジは同一の奥行きを持つ場合)だけを表している。
【0048】
式(1)は、エッジの奥行きに影響されるが、図7(c)に示すように、sinで近似することができ、sin曲線と同様に2πの周期を持つ。その総合シフト量の符号はπ周期毎に反転する。
【0049】
なお、図7(c)は全方位エッジヒストグラムの総合シフト量を式(1)で計算した場合の曲線とsin曲線を表した説明図である。
同図において、Aはsin曲線(正弦波曲線)であり、Bは、円筒形の部屋でアクティブセンサ11が動いた場合の、全方位エッジヒストグラムの総合シフト量を式(1)に基づいて演算した曲線である(図7(a)参照)。
【0050】
又、Cは正方形の部屋でアクティブセンサ11が動いた場合の、全方位エッジヒストグラムの総合シフト量を式(1)に基づいて演算した曲線である(図7(b)参照)。
【0051】
本実施形態では、式(1)の符号がπ周期毎に反転する特徴を利用して、全方位エッジヒストグラムの総合シフト量δθからアクティブセンサ11の移動方向ωと回転角度φを簡単かつロバストに推定するのである。
【0052】
4. S40(動的計画法によるマッチング:DPマッチング)
S40では、アクティブセンサ11の現在位置の全方位エッジヒストグラムと各参照地点の全方位エッジヒストグラムをDPマッチングし、それぞれの方位角(各参照地点の方位角)におけるヒストグラムの総合シフト量δθを求める。
【0053】
現在位置の全方位エッジヒストグラムは現在位置ヒストグラムに相当し、参照地点の全方位エッジヒストグラムは参照地点ヒストグラムに相当する。
この総合シフト量δθを求めることにより、各参照地点に対するアクティブセンサ11の現在位置の移動方向ωと回転角度φを算出する。
【0054】
なお、環境K内の複数の参照地点、すなわち、環境K内において、アクティブセンサ11が移動できる複数の位置は参照地点とされており、同参照地点では、アクティブセンサ11にて、予め全方位画像が取得されている。そして、同全方位画像に基づいて各参照地点における全方位エッジヒストグラムがコンピュータ16にてそれぞれ生成されており、それらの全方位エッジヒストグラムは、図示しないROM16aに予め格納されている。
【0055】
以下、各参照地点に対する、アクティブセンサ11の現在位置の全方位エッジヒストグラムの総合シフト量δθの算出の仕方を詳細に説明する。
(動的計画法マッチング(DPマッチング)について)
ここでは、現在位置の全方位エッジヒストグラムと、ある参照地点の全方位エッジヒストグラムのDPマッチングについて、すなわち、2つの全方位エッジヒストグラムをDPマッチングする方法を説明する。
【0056】
参照地点と現在位置の全方位エッジヒストグラムのそれぞれを
参照地点:Hr={hr(i),i=0,…,…,N−1}

現在位置:Hc={hc(j),j=0,…,…,N−1}
とする。
【0057】
Nは360の倍数であり、エッジヒストグラムを生成するときの方位角θで決まる。本実施形態では、N=720である。すなわち、エッジヒストグラムの角度分解能は0.5°である。参照地点の全方位エッジヒストグラムHの1つのピンh(i)は、移動と回転によってアクティブセンサ11の現在位置の全方位エッジヒストグラムHにおいてシフト量sが生じたとき、h(i)とh(i+s)と似ていると仮定することができる。
【0058】
(i)とh(i+s)との差の二乗をh(i)とh(i+s)との間のマッチングコストとすると、次のマッチングコストマトリクスC(s,i)が得られる。
【0059】
【数2】
Figure 2004132933
ここで全方位エッジヒストグラムが2πの周期を持つため、i+s≧Nの場合、
(i+s)≡h(i+s−N)とする。
【0060】
{(h(i),h(i+s)),i=0,…,N−1}が正しいマッチングである場合、それらのマッチングペアはマッチングコストマトリクスC(s,i)の中でコストが低く、かつ式(1)の形をした曲線をなす。ここでは、(h(i),h(i+s))はh(i)とh(i+s)とのマッチングペアを表している。
【0061】
図8は、アクティブセンサ11の2つの地点における全方位エッジヒストグラムのマッチングコストマトリクスC(s,i)を示す。なお、説明の便宜上、マトリクス中のマッチングコストの低いパスをセンタリングし、上下をカットしている。又、図中、「.−+*&%#$@ABCD」の各記号は、コストのレベルをそれぞれ示し、「.−+*&%#$@ABCD」の順番は、左から右に向かってコストの低い順から高い順に並べている。すなわち、マッチングコストは「 」<「 」<「 」<「 」<「 」<「 」<「 」<「 」<「 」<「 」<「 」<「 」<「 」の大小関係となっている。
【0062】
図中、縦軸はエッジのシフト量s、横軸はiであり、方位角θに相当する。又、図中、C(s,i)の中のsin曲線に似たコストの低い曲線は各方位角θにおけるエッジヒストグラムの総合シフト量に対応する。C(s,i)の中のsin曲線に似たコストの低い曲線を探索することで、HとHの間の全方位ヒストグラムの総合シフト量が求められる。
【0063】
本実施形態では、計算コストの低い動的計画法(DP)を用いて、C(s,i)から周期2πを持ち、かつ連続した最小コストのパスを求め、そのパスからロバストに回転角度φと移動方向ωを推定する。
【0064】
C(s,i)から周期2πを持ちかつ連続した最小コストのパスは次の条件付き最小化問題に定義することができる。
【0065】
【数3】
Figure 2004132933
ここで、sは求めたいエッジヒストグラムの総合シフト量である。
【0066】
(i)とh(j)の周期がNであるため、C(s,i)のインデックスのsとiに関しては、s±N→sとi±N→iで計算される。
パスが特定の行kから始まる(すなわち、s=k)と仮定した場合には、式(2)の最小化は次のように動的計画法で求めることができる。
【0067】
【数4】
Figure 2004132933
【0068】
【数5】
Figure 2004132933
【0069】
【数6】
Figure 2004132933
S(s,i)を計算するときは、min{S(s−1,i−1),S(s,i−1),S(s+1,i−1)}の中のいずれが最小になっていたかを記憶しておき、Cmin(k)まで来たパスを逆に辿れば、最小コストのパス(以下、最小コストパスという)が得られる。
【0070】
k=0,…,N−1に対して、上記のようにCmin(k)を計算し、そのうち、
最小値C^min(k)=Cmin(k^)
を求める。
【0071】
min(k^)が対応しているパスがHとHの間の最適マッチングとする。
以下、上記パスを最適マッチングパスという。
上記計算により、2πの周期を持ち、かつ連続性のあるエッジヒストグラムのマッチングパスを探索できる。
【0072】
そして、以下、現在位置の全方位エッジヒストグラムと他の参照地点の全方位エッジヒストグラムのマッチングについても同様に処理する。
5. S50(姿勢と移動方向の推定)
S50では、S40で得られたアクティブセンサ11の現在位置と参照地点の全方位エッジヒストグラムの総合シフト量から参照地点に対するアクティブセンサ11の移動方向ωと回転角度φを推定する。
【0073】
(回転の推定)
まず、アクティブセンサ11の回転の推定について説明する。
DPマッチングで得られた最小コストパスであるs,(i=0,…,N−1)は、アクティブセンサ11の現在位置と参照地点のそれぞれの全方位エッジヒストグラムHとHの間の総合シフト量を表している。図9中のsin曲線の近傍に示された波形はDPマッチングで得られた最小コストパスを示す。
【0074】
式(1)で示したように、これらの総合シフト量はアクティブセンサ11の回転角度φで生じたヒストグラム全体の回転量と、移動方向ωにおける平行移動で生じた各方位角での移動量からなる。
【0075】
式(1)から分かるように、ヒストグラムの総合シフト量は回転角度φに相当する回転量sφを引けば、引いた後のシフト量はπ周期毎に反転する。すなわち、回転角度φを中心にπ周期で、上下反転する(図9参照)。
【0076】
従って、本実施形態のS50では、回転量sφは次の式で演算することにより推定する。
【0077】
【数7】
Figure 2004132933
【0078】
【数8】
Figure 2004132933
すなわち、回転量sφがエッジヒストグラムのシフト量s,(i=0,…,N−1)を上下2等分に分けることになる(図9参照)。
【0079】
(アクティブセンサ11の移動方向ωの推定)
次に、式(1)がsin曲線の周期性を保たれていることを利用して、アクティブセンサ11の移動方向ωをロバストに推定する。
【0080】
この推定の根拠は下記の通りである。
上述したように回転量sφを引いた後のエッジヒストグラムのシフト量s’をsin曲線に近似する。しかし、図7に示しているように、これらのシフト量は、エッジの奥行きや空間の形に影響される。
【0081】
エッジヒストグラムのシフト量s’は、エッジの奥行きや空間の形の影響でsin曲線からずれるが、図7に示すように(0,π)の区間では、正の値を、(π,2π)の区間では、負の値をもっていると仮定することができる。
【0082】
従って、シフト量s’の符号を用いて、sin曲線をロバストに当てはめることができる。
ここで、回転角度φにより、シフト量s’の−1,0,1の3つの値に変換し、−1と1の値に対応するシフト量s’の中心がそれぞれなるべくsin曲線の負と正のピークに対応するように移動方向ωを決定する。
【0083】
これは次の最大化問題になる。
【0084】
【数9】
Figure 2004132933
【0085】
【数10】
Figure 2004132933
ここで、回転角度φに相当するsφとsφ±1を0にすることにより、エッジヒストグラムのシフト量s’は符号へのノイズの影響を軽減することができる。
【0086】
式(9)の左辺の微分を0とすると、次の方程式が得られる。
【0087】
【数11】
Figure 2004132933
上の式(11)から次のように、移動方向ωを直接求める。
【0088】
【数12】
Figure 2004132933
なお、式(11)は、式(9)の最大化のみならず、最小化も含んでいる。tan(θ)の周期がπであるから、移動方向ω又はω+πのどちらかが式(9)を最大化することが分かる。
【0089】
なお、式(1)をsin曲線で近似したとき、振幅aを次の式で推定する。
振幅aは参照地点からの移動距離Lに比例する。
【0090】
【数13】
Figure 2004132933
上記のようにして、本実施形態のS50では、式(12)に基づいて、移動方向ωを算出する。
【0091】
S50では、上記のようにして、参照地点に対するアクティブセンサ11の回転角度φや移動方向ωと、移動距離Lに比例するマッチングパスの振幅aを推定することができる。なお、振幅aにはエッジの奥行きの影響も含んでいるため、参照地点からのアクティブセンサ11の移動距離Lの相対値しか表していない。このため、1つの参照地点だけでは、アクティブセンサ11の正確な現在位置を推定するのは困難であるため、S60において、アクティブセンサ11の現在位置を正確に推定する。
【0092】
(S60)(アクティブセンサ11の現在位置の推定)
S60では、アクティブセンサ11の現在位置の推定を行う。
本実施形態では、アクティブセンサ11の現在位置に最も近い2つの参照地点を用いて、図10に示すように、2つの参照地点に対する移動方向ω1と移動方向ω2の交点を求め、アクティブセンサ11の正確な現在位置を推定する。
【0093】
アクティブセンサ11の現在位置と参照地点が近ければ近いほどその全方位エッジヒストグラムが似ているため、DPマッチングで得られた最適マッチングのコストを用いて現在位置に最も近い参照地点を決定する。
【0094】
以下は、現在位置の算出の仕方である。
求めたいアクティブセンサ11の現在位置をP=(x,y)とし、現在位置から最も近い2つの参照地点をP=(x,y),P=(x,y)とする。
【0095】
とPからの移動方向ωとωのベクトルをそれぞれvとv、エッジヒストグラムにおける最適マッチングのパスの振幅をそれぞれaとaとする。一般的に、次の2つの連立方程式からアクティブセンサ11の現在位置Pの座標(x,y)を演算する。
【0096】
【数14】
Figure 2004132933
【0097】
【数15】
Figure 2004132933
なお、P,P,Pはほぼ同一直線上にあるとした場合、すなわち、∠(P ,v)及び∠(P ,v)が小さいとき(本実施形態では、これらの角度が30°よりも小さいとき)は、下記の式(16)、式(17)でアクティブセンサ11の現在位置Pの座標(x,y)を演算する。この理由は、P,P,Pはほぼ同一直線上にあるとした場合、式(14)、式(15)の式では、移動方向の推定誤差がアクティブセンサ11の位置推定の大きな誤差となるためである。
【0098】
【数16】
Figure 2004132933
【0099】
【数17】
Figure 2004132933
ここで、dはPとPの間の距離であり、gとgは次の式で算出される。
【0100】
【数18】
Figure 2004132933
ここでは、i,j=1,2かつj≠iであり、・は2つのベクトルの内積演算である。
【0101】
なお、現在位置のエッジヒストグラムとの最適マッチングパスのコストの和が最も小さい参照地点を最も近い参照地点として扱う。その理由は下記の通りである。
【0102】
多くの場合、最適マッチングパスのコストとパスの振幅aは同じ大小関係を保つが、エッジの奥行きの影響が強いとき、それらの大小関係は逆になる場合もある。しかし、高いエッジヒストグラムのDPマッチングを用いれば、より安定的にアクティブセンサ11の参照地点に対する回転角と移動方向を推定できるため、本実施形態では、最小のマッチングコストを持つ参照地点を最も近い参照地点として決定しているのである。
【0103】
上記のようにして、S60において、アクティブセンサ11の現在位置P=(x,y)を算出し、このプログラムを終了する。
上記実施の形態によれば、下記に示す効果を有する。
【0104】
(1) 本実施形態のアクティブセンサ11の位置・姿勢推定方法では、環境K内の複数の参照地点でアクティブセンサ11が取得した全方位画像に基づいて各参照地点の全方位エッジヒストグラム(参照地点ヒストグラム)を生成してROM等に記憶するようにした。
【0105】
そして、アクティブセンサ11が環境K内の任意の地点に移動した際に、そのときの位置、すなわち、現在位置でアクティブセンサ11が取得した全方位画像に基づいて、現在位置における全方位エッジヒストグラム(現在位置ヒストグラム)を生成する。
【0106】
続いて、参照地点ヒストグラムと現在位置ヒストグラムを動的計画法によりマッチングして、各方位におけるヒストグラムの総合シフト量δθ、すなわち、sを算出した。次に、前記総合シフト量に基づいて、各参照地点に対する現在位置のアクティブセンサ11の回転角度φに相当する回転量sφと移動方向ω及び相対的な移動量を算出した。
【0107】
そして、現在位置Pと最も近い2つの参照地点P,Pに対する移動方向ω,ωを用いてアクティブセンサ11の現在位置Pと姿勢(回転角度φ)を推定するようにした。
【0108】
この結果、全方位画像のエッジヒストグラム(統計量)を用いて、数少ない参照地点に基づいてアクティブセンサ11の現在位置と回転角度φ(姿勢)を精度良くロバストに推定することができる。
【0109】
又、本実施形態では、全方位画像における個々のエッジをマッチングするのではなく、その統計量であるエッジヒストグラムをマッチングすることにより、ノイズや環境Kの複雑さに対する頑丈性が高いアクティブセンサ11の位置・姿勢推定方法とすることができる。
【0110】
(2) 本実施形態では、前記総合シフト量を、動的計画法にて得られた最小コストパスに基づき算出した。
この結果、それぞれの全方位における参照地点ヒストグラムと現在位置ヒストグラムを効率的にマッチングすることができ、現在位置ヒストグラムの総合シフト量を効率的に得ることができる。
【0111】
(3) 本実施形態の位置・姿勢推定装置は、全方位画像取得手段としての複数のステレオユニット12にて、環境K内の地点で全方位画像を取得するようにした。そして、コンピュータ16は第1生成手段として、前記全方位画像に基づいて複数の参照地点における参照地点ヒストグラムを生成するようにした。コンピュータ16は記憶手段として、前記生成した各参照地点の参照地点ヒストグラムを記憶するようにした。そして、コンピュータ16は、第2生成手段として、環境K内の任意の地点に移動した際に、現在位置で取得した全方位画像に基づいて、現在位置における現在位置ヒストグラムを生成する。又、コンピュータ16は、第1算出手段として、参照地点ヒストグラムと現在位置ヒストグラムをマッチングして、各方位におけるヒストグラムの総合シフト量を算出するようにした。
【0112】
さらに、コンピュータ16は、第2算出手段として、総合シフト量に基づいて、前記各参照地点に対する現在位置におけるアクティブセンサの回転量、移動方向及び相対的な移動量を算出するようにした。
【0113】
そして、コンピュータ16は、推定手段として、現在位置と最も近い2つの参照地点に対する移動方向を用いてアクティブセンサ11の位置と姿勢を推定するようにした。
【0114】
この結果、上記(1)の作用効果を奏することができる。
(4) 本実施形態の位置・姿勢推定装置は、総合シフト量を、動的計画法にて得られた最小コストパスに基づき算出するようにした。
【0115】
この結果、上記(2)の作用効果を奏することができる。
(5) 本実施形態の、位置・姿勢推定プログラムは、コンピュータ16を、環境内の複数の参照地点でアクティブセンサ11が取得した全方位画像に基づいて参照地点ヒストグラムを生成する第1生成手段として機能させるようにした。
【0116】
又、位置・姿勢推定プログラムは、コンピュータ16を、前記生成した各参照地点の参照地点ヒストグラムを記憶する記憶手段として機能させる。さらに、位置・姿勢推定プログラムは、環境内の現在位置でアクティブセンサ11が取得した全方位画像に基づいて、現在位置おける現在位置ヒストグラムを生成する第2生成手段として機能させる。
【0117】
又、位置・姿勢推定プログラムは、コンピュータ16を、前記参照地点ヒストグラムと現在位置ヒストグラムをマッチングして、各方位におけるヒストグラムの総合シフト量を算出する第1算出手段として機能させる。
【0118】
さらに、位置・姿勢推定プログラムは、コンピュータ16を、前記総合シフト量に基づいて、前記各参照地点に対する現在位置におけるアクティブセンサの回転量、移動方向及び相対的な移動量を算出する第2算出手段として機能させる。又、位置・姿勢推定プログラムは、コンピュータ16を、現在位置と最も近い2つの参照地点に対する移動方向を用いてアクティブセンサの位置と姿勢を推定する推定手段として機能させる。
【0119】
この結果、上記(1)の作用効果を奏することができる。
(第2実施形態)
次に第2実施形態について説明する。
【0120】
第2実施形態では、コンピュータ16が実行する位置・姿勢推定プログラム中、S40のDPマッチングの仕方が異なり、図3のフローチャートにおいて、他のステップについては、第1実施形態と同様である。
【0121】
又、第2実施形態のハード構成は第1実施形態のハード構成と同一であるため、その説明は省略する。
以下、第2実施形態のS40について説明する。
【0122】
第1実施形態におけるDPマッチングでは、2πの周期を持ち、かつ連続性のあるエッジヒストグラムのマッチングパスを探索できるが、パスの始まる行を全てk=0,…,N−1に仮定して行う必要があり、計算コストがかかる。
【0123】
これに対し、式(3)の最小化の条件から、パスが閉じているという条件−1≦s−sN−1≦1を除けば、普通のDPマッチングで最小コストパスを効率的に探索が可能である。
【0124】
すなわち、i=0→i=N−1順と、その逆順でDPマッチングの探索を行い、2つの探索順で得られたDPマッチングのマッチングパスから式(3)の条件を満たし、かつコストが最小になるパスを探索する。
【0125】
具体的には、S40では、下記のようにDPマッチングを行う。
式(19)と式(20)のように普通のDPマッチングで、i=0→i=N−1順のヒストグラムのマッチングパスを計算する。
【0126】
【数19】
Figure 2004132933
【0127】
【数20】
Figure 2004132933
ただし、S(s,−1)=0,I(s,−1)=sである。
【0128】
s^はmin{S(s−1,i−1),S(s,i−1),S(s+1,i−1)}に対応するsの値である。
(s,i)は現パスのスタート行を記憶している。
同様に、i=N−1→i=0順のヒストグラムのマッチングパスを次式で計算する。
【0129】
【数21】
Figure 2004132933
【0130】
【数22】
Figure 2004132933
ただし、
(s,N)=0,I(s,N)=sである。
【0131】
s^はmin{S(s−1,i+1),S(s,i+1),S(s+1,i+1)}に対応するsの値である。
上記の2通りのDPマッチングパスから、次のように式(3)の条件を満たす最小コストパスを求める。
【0132】
【数23】
Figure 2004132933
ただし、−1≦I(s,i)−I(s,i)≦1
例えば、S(s^,i^)とS(s^,i^)が式(23)を最小化した場合、S(s^,i^)とS(s^,i^)からそれぞれS(s,0)とS(s,N−1)までのマッチングパスを辿れば、最小コストパスが得られる。
【0133】
第1実施形態では、式(5)と式(6)でN回のDPマッチングの探索を行う必要があるが、第2実施形態では、2回のDPマッチングの探索と1回の最小値探索しか行わない。
【0134】
なお、現在位置と、参照地点の距離が大きい場合、S(s,i)とS(s,i)の中に、式(23)の条件を満たすパスがない場合がある。
この場合、S50,S60において、アクティブセンサ11の現在位置と姿勢を推定する際、アクティブセンサ11に最も近いと考えられる2つの参照地点の候補から、式(23)の条件を満たすパスがない参照地点を除外し、残った参照地点から、最も近い2つの参照地点を選択するものとする。
【0135】
第2実施形態では、前記第1実施形態の(1)〜(4)に記載の作用効果の他、下記の作用効果を奏する。
(1) 第2実施形態では、i=0→i=N−1順と、その逆順でDPマッチングの探索を行い、2つの探索順で得られたDPマッチングのマッチングパスから式(3)の条件を満たし、かつコストが最小になるパスを探索するようにしたため、第1実施形態に比して、最小コストパスの探索を効率的にできる。
【0136】
なお、本発明の実施形態は上記実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲で、適宜に変更して次のように実施することもできる。
(1) 前記実施形態では、アクティブセンサ11として、「”実環境センシングのための全方向ステレオシステム(SOS)”、電気学会論文誌C.Vol.121−C,No.5,pp.876−881.2001」に記載されているものを使用した。これに限らず、他の全方位カメラから得られた全方位画像を入力するようにしてもよい。
【0137】
【発明の効果】
以上詳述したように請求項1乃至請求項5に記載の発明によれば、全方位画像の統計量を用いて、数少ない参照地点に基づいてセンサの現在の位置と姿勢を精度良くロバストに推定することができる効果を奏する。
【0138】
又、請求項1乃至請求項5に記載の発明によれば、全方位画像における個々のエッジをマッチングすることなく、その統計量であるヒストグラムを用い、ノイズや環境の複雑さに対する頑丈性を高くすることができる効果を奏する。
【図面の簡単な説明】
【図1】アクティブセンサ11の電気的構成のブロック図。
【図2】アクティブセンサ11の機械的構成の概略図。
【図3】コンピュータ16が実行する位置・姿勢推定プログラムのフローチャート。
【図4】図5に対応するパノラマエッジ画像の説明図。
【図5】エッジヒストグラムの例を示す説明図。
【図6】アクティブセンサ11の平行移動におけるエッジヒストグラムのシフトを説明するための説明図。
【図7】(a)はアクティブセンサ11を中心にした円筒座標系の説明図、(b)は、アクティブセンサ11を中心にした四角筒座標系の説明図、(c)は、異なる空間系にエッジを写像したときの、ヒストグラムのシフトとsin曲線を表した説明図。
【図8】アクティブセンサ11の2つの地点における全方位エッジヒストグラムのマッチングコストマトリクスC(s,i)の説明図。
【図9】総合シフト量から回転量sφと移動方向ωを求める方法の説明図。
【図10】2つの参照地点P,Pに対する移動方向ω1、移動方向ω2の説明図。
【符号の説明】
11…アクティブセンサ
12…ステレオユニット
16…コンピュータ(記憶手段、第1生成手段、第2生成手段、第1算出手段、及び第2算出手段)
VC…参照用ビデオカメラ
VCs…基準ビデオカメラ

Claims (5)

  1. 全方位画像を取得可能であり、環境内を移動可能なアクティブセンサの位置・姿勢推定方法において、
    環境内の複数の参照地点で前記アクティブセンサにて取得した全方位画像に基づいて各参照地点における全方位エッジヒストグラム(以下、参照地点ヒストグラムという)を生成して記憶し、
    次に、前記環境内の任意の地点(以下、現在位置という)でアクティブセンサが取得した全方位画像に基づいて現在位置における全方位エッジヒストグラム(以下、現在位置ヒストグラムという)を生成し、
    前記参照地点ヒストグラムと現在位置ヒストグラムをマッチングして、各方位におけるヒストグラムの総合シフト量を算出し、
    前記総合シフト量に基づいて、前記各参照地点に対する現在位置のアクティブセンサの回転量、移動方向及び相対的な移動量を算出し、
    前記現在位置と最も近い2つの参照地点に対する移動方向を用いてアクティブセンサの現在位置と姿勢を推定することを特徴とするアクティブセンサの位置・姿勢推定方法。
  2. 前記マッチングは、動的計画法によるものであり、総合シフト量は、動的計画法にて得られた最小コストパスに基づくものであることを特徴とする請求項1に記載のアクティブセンサの位置・姿勢推定方法。
  3. アクティブセンサにて取得した環境内の複数の参照地点における全方位画像に基づいて全方位エッジヒストグラム(以下、参照地点ヒストグラムという)を生成する第1生成手段と、
    前記生成した各参照地点の参照地点ヒストグラムを記憶する記憶手段と、
    前記環境内の任意の地点(以下、現在位置という)でアクティブセンサが取得した全方位画像に基づいて、現在位置おける全方位エッジヒストグラム(以下、現在位置ヒストグラムという)を生成する第2生成手段と、
    前記参照地点ヒストグラムと現在位置ヒストグラムをマッチングして、各方位におけるヒストグラムの総合シフト量を算出する第1算出手段と、
    前記総合シフト量に基づいて、前記各参照地点に対する現在位置におけるアクティブセンサの回転量、移動方向及び相対的な移動量を算出する第2算出手段と、
    現在位置と最も近い2つの参照地点に対する移動方向を用いてアクティブセンサの位置と姿勢を推定する推定手段とを備えたことを特徴とするアクティブセンサの位置・姿勢推定装置。
  4. 前記第1算出手段は動的計画法により演算することを特徴とする請求項3に記載のアクティブセンサの位置・姿勢推定装置。
  5. コンピュータを、環境内の複数の参照地点でアクティブセンサが取得した全方位画像に基づいて全方位エッジヒストグラム(以下、参照地点ヒストグラムという)を生成する第1生成手段と、前記生成した各参照地点の参照地点ヒストグラムを記憶する記憶手段と、環境内の任意の地点(以下、現在位置という)でアクティブセンサが取得した全方位画像に基づいて、現在位置おける全方位エッジヒストグラム(以下、現在位置ヒストグラムという)を生成する第2生成手段と、前記参照地点ヒストグラムと現在位置ヒストグラムをマッチングして、各方位におけるヒストグラムの総合シフト量を算出する第1算出手段と、前記総合シフト量に基づいて、前記各参照地点に対する現在位置におけるアクティブセンサの回転量、移動方向及び相対的な移動量を算出する第2算出手段と、現在位置と最も近い2つの参照地点に対する移動方向を用いてアクティブセンサの位置と姿勢を推定する推定手段として機能させるためのアクティブセンサの位置・姿勢推定プログラム。
JP2002300173A 2002-10-15 2002-10-15 アクティブセンサの位置・姿勢推定方法及びその装置、並びにアクティブセンサの位置・姿勢推定プログラム Pending JP2004132933A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002300173A JP2004132933A (ja) 2002-10-15 2002-10-15 アクティブセンサの位置・姿勢推定方法及びその装置、並びにアクティブセンサの位置・姿勢推定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002300173A JP2004132933A (ja) 2002-10-15 2002-10-15 アクティブセンサの位置・姿勢推定方法及びその装置、並びにアクティブセンサの位置・姿勢推定プログラム

Publications (2)

Publication Number Publication Date
JP2004132933A true JP2004132933A (ja) 2004-04-30
JP2004132933A5 JP2004132933A5 (ja) 2005-11-10

Family

ID=32289094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002300173A Pending JP2004132933A (ja) 2002-10-15 2002-10-15 アクティブセンサの位置・姿勢推定方法及びその装置、並びにアクティブセンサの位置・姿勢推定プログラム

Country Status (1)

Country Link
JP (1) JP2004132933A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005331738A (ja) * 2004-05-20 2005-12-02 Seiko Epson Corp ミスフォーカス判定方法およびこれに関するプログラム
JP2006338482A (ja) * 2005-06-03 2006-12-14 Fuji Mach Mfg Co Ltd 画像処理用部品データ作成方法及び画像処理用部品データ作成装置
JP2008083045A (ja) * 2006-09-26 2008-04-10 Samsung Electronics Co Ltd 全方位映像を用いたロボットの位置決定方法及び装置
WO2012132234A1 (ja) * 2011-03-31 2012-10-04 パナソニック株式会社 全周囲立体画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
JP2020004121A (ja) * 2018-06-28 2020-01-09 大日本印刷株式会社 情報処理装置、情報処理方法及びプログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005331738A (ja) * 2004-05-20 2005-12-02 Seiko Epson Corp ミスフォーカス判定方法およびこれに関するプログラム
JP4661084B2 (ja) * 2004-05-20 2011-03-30 セイコーエプソン株式会社 ミスフォーカス判定方法およびこれに関するプログラム
JP2006338482A (ja) * 2005-06-03 2006-12-14 Fuji Mach Mfg Co Ltd 画像処理用部品データ作成方法及び画像処理用部品データ作成装置
JP4674853B2 (ja) * 2005-06-03 2011-04-20 富士機械製造株式会社 画像処理用部品データ作成方法及び画像処理用部品データ作成装置
JP2008083045A (ja) * 2006-09-26 2008-04-10 Samsung Electronics Co Ltd 全方位映像を用いたロボットの位置決定方法及び装置
JP4500838B2 (ja) * 2006-09-26 2010-07-14 三星電子株式会社 全方位映像を用いたロボットの位置決定方法及び装置
CN101152718B (zh) * 2006-09-26 2011-09-28 三星电子株式会社 使用全向图像确定机器人位置的方法和设备
WO2012132234A1 (ja) * 2011-03-31 2012-10-04 パナソニック株式会社 全周囲立体画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
US8907968B2 (en) 2011-03-31 2014-12-09 Panasonic Corporation Image rendering device, image rendering method, and image rendering program for rendering stereoscopic panoramic images
JP5891426B2 (ja) * 2011-03-31 2016-03-23 パナソニックIpマネジメント株式会社 全周囲立体画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
JP2020004121A (ja) * 2018-06-28 2020-01-09 大日本印刷株式会社 情報処理装置、情報処理方法及びプログラム
JP7059829B2 (ja) 2018-06-28 2022-04-26 大日本印刷株式会社 情報処理装置、情報処理方法及びプログラム

Similar Documents

Publication Publication Date Title
Li et al. DeepI2P: Image-to-point cloud registration via deep classification
US10395383B2 (en) Method, device and apparatus to estimate an ego-motion of a video apparatus in a SLAM type algorithm
CN109345588B (zh) 一种基于Tag的六自由度姿态估计方法
US10225473B2 (en) Threshold determination in a RANSAC algorithm
Urban et al. Mlpnp-a real-time maximum likelihood solution to the perspective-n-point problem
Caruso et al. Large-scale direct SLAM for omnidirectional cameras
KR101708659B1 (ko) 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
EP3680809A1 (en) Visual slam method and apparatus based on point and line characteristic
US10109104B2 (en) Generation of 3D models of an environment
CN109903313B (zh) 一种基于目标三维模型的实时位姿跟踪方法
US20160063330A1 (en) Methods and Systems for Vision-Based Motion Estimation
KR20150144729A (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
Knorr et al. Online extrinsic multi-camera calibration using ground plane induced homographies
WO2018152214A1 (en) Event-based feature tracking
Shin et al. Bundle adjustment from sonar images and SLAM application for seafloor mapping
US10229508B2 (en) Dynamic particle filter parameterization
Christie et al. 3D reconstruction of dynamic vehicles using sparse 3D-laser-scanner and 2D image fusion
Gählert et al. Single-shot 3d detection of vehicles from monocular rgb images via geometrically constrained keypoints in real-time
US20180200614A1 (en) 6DoF Inside-Out Tracking Game Controller
Tsaregorodtsev et al. Extrinsic camera calibration with semantic segmentation
Gählert et al. Single-shot 3d detection of vehicles from monocular rgb images via geometry constrained keypoints in real-time
JP2004132933A (ja) アクティブセンサの位置・姿勢推定方法及びその装置、並びにアクティブセンサの位置・姿勢推定プログラム
Verma et al. Vision based object follower automated guided vehicle using compressive tracking and stereo-vision
Schwarz et al. Tracking planes with time of flight cameras and j-linkage
Irie et al. A high dynamic range vision approach to outdoor localization

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050928

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070828

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071225