JP2006220521A

JP2006220521A - 自己位置計測装置及び自己位置計測方法を実行するためのプログラム

Info

Publication number: JP2006220521A
Application number: JP2005033772A
Authority: JP
Inventors: Masahiro Kato; 雅弘加藤; Takeshi Kato; 猛加藤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2005-02-10
Filing date: 2005-02-10
Publication date: 2006-08-24
Also published as: US20060177101A1

Abstract

【課題】全方位画像を撮影し、撮影された画像から自己位置と姿勢を求めることを特徴とする自己位置計測装置を提供する。
【解決手段】ロボットを初期位置に配置したときに取得することができる全方位画像から、
ロボットが初期位置から移動した場合を想定して合成した全方位の予測画像を作成しておき、この予測顔図とロボットが実際に移動して新たに取得した全方位の画像とを照合して、
ロボットの自己位置と姿勢（向き）を検出する。
【選択図】図２

Description

本発明は、全方位画像を撮影し、撮影された画像から自己位置と姿勢を求めることを特徴とする自己位置計測方法及び装置に関する。

自己位置を計測することを目的とした自己位置計測手段は、自律移動ロボットシステムの構成要素として不可欠である。建物内や周囲を遮蔽物に囲まれた場所でロボットを使用する場合を想定すると、例えば遮蔽物に弱いＧＰＳを用いた構成よりも、周囲の視野内にあるマーカなどから自己位置を計測する方法がより適している。
周囲の視野内にあるマーカなどから自己位置を計測する代表的な方法としては、例えば、自律移動ロボット等の移動体の周囲にある複数のランドマークを、移動体に設置された全方位カメラで撮影して処理することにより、移動体の自己位置と向きを計測する技術がある（例えば、特許文献１参照）。
また、移動体の充電等の固有の目的を達成するために、前記移動体を所定の位置へ誘導すれば目的を達成できる場合に、所定の位置と自己位置との相対距離を測定する技術もある（例えば、特許文献２参照）。
さらに、移動体の上方に設置された天井蛍光灯等の所定のマーカが、移動体の誘導経路地図上のランドマークとして事前に与えられている場合には、前記天井蛍光灯等の所定のマーカを検出して誘導経路地図と照合することで、誘導目的を果たせる場合もある。

特開２０００−３３７８８７号公報

特開２００４−３０３１３７号公報

前述した従来の方法は、移動体の自己位置を計測するために移動体周囲から検出され得る所定のランドマークが識別（判別）できることが前提とされている。例えば、特許文献１記載の技術では、ランドマークに「＋」「−」「／」「＝」などの固有のマークが付加される。よって、所定のランドマークが検出できなかったり、検出できた後に個別のランドマークを識別（判別）できない場合には、自己位置が計測できないという問題があった。
また、移動体が、計画された誘導経路と、前記誘導経路上に設置された天上蛍光灯等のランドマークを記憶している場合には、記憶した移動経路を辿りながら、新たに検出されたランドマークと記憶したランドマークを照合することにより経路上のランドマークを判別することが可能であるが、この場合には事前に前記誘導経路と誘導経路上に配置されたランドマークを記憶しておく必要が生じる

本願で開示する代表的な発明は以下の通りである。
全方位画像を取得する撮像部を有する自己位置計測装置であって、複数の配置箇所各々で上記撮像部を介して撮像されると予測される予測画像を該複数の配置箇所各々とに対応づけて記録する記録部と、撮像画像と、上記複数の予測画像との照合を行って自己位置と姿勢とを取得する自己位置計測部とを有するもの。又、該自己位置計測部を実現するプログラム。

視野内に人物等が侵入することにより、特定のマーカを認識することなく自己位置と姿勢（向き）を同定することができる。

以下、本発明の実施例について図面を参照しながら詳述する。
図１は、本発明による自己位置計測の第１の実施形態を説明する図である。
図１は、視野角１８０度の広角カメラ1000が初期位置にあり、前記カメラ1000の光軸が垂直下向きになるように固定されている状態を示している。尚、本実施例においては１８０度の角度としているがほぼ水平方向の視野とみなすことが可能な範囲なら良い。具体的には１８０±６０度程度を想定する。前記カメラ1000の視野の内、光軸と直交する帯状の領域を1004とし、この領域を広角カメラ1000が撮像することにする。また、前記カメラ1000の周囲には、３個の同じ形状のマーカ1001〜1003が設置されている。そして、カメラの中心を原点とする座標系ｘ−ｙ−ｚを定義して図中に表示した。この座標系において、ｚ軸周りの回転角θを、ｘ軸からｙ軸に向かう向きを正として、図１に記入した様に定義した。
このような条件で撮影した画像の内、前記帯状の領域1004を平面上に展開して表示すると1005の様になる。この画像の横軸は、前記回転角θであり、縦軸はｚ軸の座標を表す。
この様に定義した座標系において、前記マーカ1001〜1003は、カメラ1000がｘ−ｙ座標上の任意の位置に移動して任意の姿勢を取って撮影した前記帯状画像1005が、その位置、及び、その姿勢でしか撮影することが出来ない固有の画像となるように配置されなければならない。そこで、少なくとも３個以上のマーカを前記座標原点を中心として非対称な位置に配置すれば、上記の条件を満たす領域を広く取ることができる。さらに、一般家庭やオフィスなどの屋内の全方位画像を処理の対象とする場合には、この画像に含まれる家具、窓、柱などのパターン配置は、一般に非対称であることから、これらのパターンをマーカとして用いる場合には、殊更に非対称配置を意識しなくても差し支えない。

図２は、自己位置計測の手順を説明するフロー図である。このフロー図は、ステップ2001〜2003までの初期化処理と、ステップ2004〜2006までの自己位置計測処理の２つの独立した処理から構成される。この２つの処理の実施方法として、最初に、ロボット（カメラ）を初期位置に配置して初期化処理を１回実施し、次に実際にロボット（カメラ）の自己位置を移動させながら、自己位置計測処理を実施することができる。又、ロボットに搭載したカメラとは別のカメラを初期位置に固定して、初期化処理を継続して実施し、同時並行して、ロボットの自己位置を移動して、自己位置計測処理を実施しても良い。このような実施方法にすることにより、自己位置計測を行おうとする環境に、他のロボット、あるいは、人物が入ったり、照明条件などが変化して初期画像が変化しても、常に最新の初期化処理結果を用いて自己位置を計測することができ照合精度の向上を図ることができる。
まず、ステップ2001で初期方角情報を取得する。この初期方角情報は、以下に記載する２種類の異なる画像情報のことを表す。すなわち、本実施例において撮像領域となる、カメラ光軸と垂直な方向にある帯状の画像1005と、この画像と同じ位置で撮影した距離画像である。
初期方角情報は、全方位画像1005に含まれる任意のパターンをマーカとして用いる。例えば、図１に示した、超広角カメラ1000の周囲の任意の場所に３個のマーカ物体1000、1002、1003が配置してあった場合を例として取り上げて説明する。この例の場合には、撮影された画像の内、帯状の部分1004を切り出して表示すると1005のようになる。この1005において、縦軸はカメラ中心の座標系における光軸すなわちｚ軸を表し、横軸はｚ軸回りの回転角θを表す。この例におけるマーカ1001〜1003は特別に設置する必要は無く、カメラ1000により撮影された屋内風景で十分である。
さらに帯状の部分1004に含まれる全画素に１対１に対応した距離画像を取得する。距離画像とは画像を構成する各画素には、カメラ1000の中心から前記画素に対応した屋内構造物（壁、家具等）までの距離値が登録されているものをいう。このような距離画像の撮影には、例えば、公知のレーザーレーダを用いる方法が好適である。

ステップ2002では、カメラ位置（自己位置）が移動したことによる画像の変化を予測計算する。この計算は、帯状の部分1004に含まれる画素に対して、例えば数2001を適用することにより求めることができる。

数2001は、カメラの初期位置を（０，０）とし、初期位置で撮影した全方位画像に映っている屋内対象点の位置を（ｘ，ｙ）、方向をθとしたとき、前記カメラが初期位置から移動ベクトル（ｘ，ｙ）だけ移動した場合、屋内対象点の方向θが変化して、θ_１となった場合を表している。数2001のｒは、カメラの初期位置（０，０）で撮影した距離画像に登録された屋内対象点に対応する距離値を表す。ただし、数2001は、数2002の条件を満たす必要がある。

数2001により、カメラ位置（自己位置）が移動に応じて前記帯状の部分1004に含まれる各画素が、画像中のどこへ移動するかを予測することができる。予測した位置に画素を移動して描画することにより、移動後の予測画像を合成することができる。なお、予測計算の結果、画素配置に粗密が発生し、合成した予測画像に画素抜けが発生しないために、適宜補間計算を施すことが望ましい。
ステップ2003でロボットが走行しうる範囲について作成した、予測計算後の合成画像を前記カメラ位置（自己位置）と対応付けて予測画像リストに保存する。予測画像リストの総数は、ロボットが走行しうる範囲の分割数によって決まるが、この分割数は、ロボットの走行軌跡を再現できる程度の粒度に設定することが望ましい。
次にステップ2004では、実際に自己位置を移動して移動先の位置から見た全方位画像を撮影する。ステップ2005では、前ステップで撮影した全方位画像を、ステップ2003で予測画像リストに保存した予測計算後の合成画像と照合する。照合の方法は、予測画像と全方位画像を水平（θ）方向にずらしながら画像の一致度を計算し、一致度が最大となったとき照合に成功したとする。照合の結果、ステップ2004で撮影した全方位画像と予測計算後の合成画像が水平（θ）方向に一定のズレ量を含んで照合に成功した場合には、このズレ量が、ロボット初期姿勢に対する姿勢角に対応する。そこで、ステップ2006では、照合に成功した予測方角に対応する位置と姿勢を出力する。上記のステップ2001〜2006の実施形態として、図２の様にステップ2001〜2003までを初期化処理として最初に１回だけ実施し、ロボット（カメラ）が自己位置を移動するときに、ステップ2004〜2006までの自己位置計測処理を繰り返し実施すれば移動時の計算量を減らすことができる。又、ステップ2001だけを初期化処理として最初に１回だけ実施し、ステップ2002〜2006までを繰り返し実施してもよい。この様にすると、初期方角情報だけを自己位置計測処理に渡せばよくなり、渡す情報が少なくて済む。
さらに、初期化処理フローに用いる初期位置が絶対座標で与えられている場合には、ステップ2006で初期位置に対する相対位置として出力される自己位置を前記絶対座標とベクトル的に足し算することにより絶対座標で出力することが可能となる。
予測画像と移動後の撮像画像を照合することにより自己位置を計測する方法のメリットは、自己位置計算用に与えた特定のマーカを識別できなくても、その後の処理で失敗し難いことである。特定のマーカを識別できない例としては、例えば、自己位置計測処理の過程で照明条件の変動が発生して所定のマーカが検出できなくなる場合や、移動障害物等がカメラ視野内に侵入して事前に特定したマーカを抽出できない場合が発生し得る。このような場合でも、予測画像に含まれる何らかの特徴パターンがマーカの代わりになれば自己位置計測に失敗しないため、頑健な自己位置計測方法となる。

図３は、本発明の第２の実施形態に係る自己位置計測装置の構成図である。本実施例においては設置されているマーカを認識することで自己位置・姿勢を認識する装置を開示する。本実施例を図２のステップ2001、及び、ステップ2004の代わりに用いれば、より簡単な計算で自己位置と姿勢を求めることができる。前記自己位置計測装置は、視野角3003のカメラ3001が自己位置計測装置3005につながれた構成となっている。カメラ3001には視野角120度以上の超広角レンズが装着されている。また、カメラ3001は垂直下向きに設置されている。以下、自己位置をこのカメラ3001の位置と定義する。本実施例では、自己位置の計算に用いるマーカ3002が、カメラ3001の視軸との距離3004がＬ１となる位置に設置されている。このとき、カメラ3001で撮影された画像は、3006のようになる。前記画像3006には、マーカ3002の像3007が映っている。このマーカ像3007は、画像3006に記入した座標の原点周りの回転角3009がθとなる位置に映る。この画像3006の座標原点を中心とする円を3008とし、以後この円はこの位置に固定されているものとする。この円3008の内、マーカ像3007に含まれる（曲）線分を3010として図中に記入した。

さて、カメラ3001がマーカ3002に向かって移動して、マーカ3002とカメラ3001の間の距離3012がＬ２になると、カメラ3001で撮影された画像3006に映っているマーカ3002の像3007も変形して像3014のようになる。このとき円3015の内、マーカ像3014に含まれる（曲）線分を3017として図中に記入した。
この条件下では、回転角3009及び回転角3016は、カメラ位置から見たマーカの方角に対応する。また、（曲）線分3010及び（曲）線分3017の長さは、カメラ（自己位置）から見たマーカの距離に対応する。従って画像3006および画像3013からこれらの（曲）線分を検出することにより、カメラから見たマーカの方角と距離を検出することができる。

次に、図４〜図７を用いて、撮像画像中の円3008および3015に含まれる画像から検出した線分3010および3017をウェーブレット変換して得られるスペクトル成分の位置と周波数からマーカを検出する実施例について説明する。
図４は本発明の一実施例に係る自己位置計測装置3005による処理フロー図である。ステップ4001では、画像データ取り込み部がカメラ3001により撮影された全方位画像を自己位置計測装置3005に取り込む。ステップ4002では、周波数分析領域選択部が、周波数分析を行う領域を前ステップ4001で取り込まれた画像の中から選択する。周波数分析を行う領域は、視野角１８０±６０度の範囲で設定する。図３の例では、円3008を周波数分析領域として選択した。ステップ4003では、ウェーブレット変換手段を用いて前記の周波数分析領域をウェーブレット変換して画像空間−周波数空間の2次元スペクトルを出力する。このスペクトルは、例えば図７（Ｂ）に示すスペクトルグラフの形式で表示することができる。このスペクトルの卓越成分に対応する方角θを抽出し、マーカ画像の特徴点とする。そこで、図７（Ｂ）のスペクトルグラフのθ軸に対応した１次元データ配列を作成し、マーカの特徴点θに対応した配列データに１を格納し、それ以外の配列データに０を格納した配列は、図２のステップ2001あるいは2004で撮影される全方位画像データを１次元化したデータと同じ形式のデータと見なすことができる。
この場合には、全画像に対応した距離画像を撮影しなくとも、マーカ位置に対応付けて１を格納した前記配列データに対してのみ距離データを与えればよい。そこで、ステップ4003では、距離画像の代わりに、例えば図７（Ｂ）のスペクトルグラフの縦軸から読み取った距離データを用いることができる。そして、カメラ3001からマーカ3002までの距離ｒをウェーブレット変換部4003で計測して数2001に代入すればθ_１を計算できる。
すなわち、図４のステップ4001〜4004を図２のステップ2001、及び、ステップ2004の代わりに用いれば、より簡単な計算で自己位置と姿勢を求めることができる。

図５は前記のウェーブレット変換手段4003により、カメラ3001からマーカ3002までの距離3012を計算する原理を説明する図である。図３において、円3015を周波数分析領域として選択し、円3015の内、マーカ像3014に含まれる線分3017上の画像データが、図５に示したパルス波形5001として検出された場合を想定して説明する。もしも、このパルス波形5001の基本周波数と、カメラ3001とマーカ3002との距離3012の対応関係が既知であるとすれば、この知識からパルス波形5001の周波数から、カメラ3001とマーカ3002の距離を求めることができる。例えば、パルス波形5001とパルス波形5003のパルス幅を比較すると、パルス波形5003のパルス幅が狭くなっている。そこで、パルス波形5001とパルス波形5003をウェーブレット変換した結果、パルス波形5001については、低い基本周波数に対応した波形5002が出力され、パルス波形5003については高い基本周波数に対応した波形5004が出力されることが分かれば、この関係をカメラ3001からマーカ3002までの距離に対応つけることができる。すなわち、この例の場合には、パルス波形5001はパルス波形5003よりも近くにあることが分かる。パルス波形5001の距離を１とすると、パルス波形5003の距離は、（波形5004の基本周波数／波形5002の基本周波数）で計算することができる。そこで、以下に、ウェーブレット変換部4003により出力される周波数成分とパルス波形の幅との関係を説明する。
ウェーブレット変換部4003は、例えば5002に示す局在波形を直交基底関数として、パルス波形5001を直交展開する。この直交展開処理において、パルス波形5001の周波数成分のうち、高周波数成分は、波形の幅が狭い直交基底関数で展開され、逆に低周波数成分は、波形の幅が広い直交基底関数で展開される。そして、ちょうど直交基底関数の波形の幅と、パルス波形のパルス幅が一致した成分がパルス波形の卓越周波数になる。例えば、パルス波形5001をウェーブレット変換した場合には、直交基底関数5002に対応した低い周波数が卓越して出力される。パルス状の波形の幅が狭くなり、パルス波形5003となった場合には、直交基底関数5004に対応した高い周波数が卓越して出力される。ウェーブレット変換部のこのような性質からパルス波形の幅と卓越周波数を関係つけることができて、さらに前記卓越周波数と距離の対応関係を求めることができる。

ここでウェーブレット変換の計算原理、及び、計算式について補足説明する。
計測対象とカメラとの間の距離を測定する方法として寸法既知の物体の模様（テクスチャ）の空間周波数の変化から計測対象までの距離を測定する方法がある。この方法は、画像データを直接周波数分析して得られた空間周波数を、計測対象までの距離に対応させる方法により、画像から物体像を抽出せずに距離を測定することができるので汎用性がある。
今、仮に、視野内に静止した物体があって、この物体を同じ視点で見た場合には、物体模様の空間周波数が変わらないと仮定する。このような条件下では、自分の近くにある物体の空間周波数は低く、自分から遠ざかるにつれて空間周波数が高くなる。
観測する分解能を現実世界の性質と一致させるため、画像空間と周波数空間の窓幅を周波数に対応して連続的に変化する関数で定義した可変窓幅関数を基底関数に採用する技術が特開平10-281076で開示されている。
このウェーブレット変換では、低周波数領域においては、画像空間の分解能を低く設定して周波数空間の観測分解能を高め、高周波数領域においては、逆に画像空間の分解能を高く設定して画像空間の分解能を高めている。この方法を寸法既知の物体の模様の空間周波数を測定して、前記空間周波数の変化から寸法既知の物体までの距離を測定することを特徴とする自己位置計測部に適用する。すると、物体が遠くにある場合には、物体がある方向を精度良く観測することができる。また、物体が近づくにつれて、物体までの距離を精度良く観測できる。

このウェーブレット変換は以下のような計算式により計算することができる。下記の計算式において、スケーリングファクターａの逆数１／ａが前記周波数を表している。図７のスペクトルグラフにおいては、１／ａが縦軸の距離に対応している。また、経過時間ｂが、前記の局在する卓越周波数成分が存在する位置に対応する。図７のスペクトルグラフにおいては、ｂが横軸の角度に対応している。
ウェーブレット変換では、非定常な信号に対してその信号の特徴を明瞭にズームアップすることが可能で、同様な目的で利用されている短時間フーリエ変換に比べて、分解能がサンプリング時間長の影響を受けずにあらゆる周波数帯域においても確保される特徴がある。
時系列データｆ（ｘ）の連続ウェーブレット変換 (Ｗ_Ψｆ)（ｂ，ａ）は数5001で定義される。

数5001において、Ψはアナライジングウェーブレット、ｂは経過時間、ａはスケーリングファクターを表す。数5001を周波数ωがパラメータとなるように書き換えると数5002となる。

連続ウェーブレット変換においては、アナライジングウェーブレットΨに数5003の条件が求められる。

連続ウェーブレット変換では、アナライジングウェーブレットΨとして下記の数5004を用い、Ψをａスケール、ｂトランスレートした式である数5005をフーリエ積分して求めた数5006を上記数5002に代入して数5007を得る。

上記技術は、全方位画像を周波数解析した結果得られる卓越成分を距離に対応させることにより、全方位画像から容易に距離が算出できるという効果がある。又、特に、周期性のない局在波形を対象とするため、本願では観測すべきスペクトルがオーバーオール（解析しようとしている空間全体）で平均化されてしまう傾向がある通常のフーリエ変換よりも効果が期待できる。更に「短時間フーリエ変換」の、画像空間と周波数空間の分解能を固定しているので、現実世界の性質とは一致しないという課題点も解決する。

図６は、本発明の一実施例に係る自己位置計測装置を、天井走行ロボット6006〜6008に適用した例を説明する図である。図６に示すロボット走行領域には、その四隅にマーカＡ6001、マーカＢ6002、マーカＣ6003、マーカＤ6004が非対称な位置に設置されている。今、ロボット走行領域に座標原点を6009とするｘ−ｙ座標系を定義する。このｘ−ｙ座標系を視点6010から見下ろすと右手座標系に見える。さらにロボット走行領域には、３台のロボット6006、6007、6008がある。これらのロボットには、本発明による自己位置計測装置が取り付けられている。自己位置計測装置のカメラの視軸は垂直下向きに設定されている。

図７は、前記のロボット走行領域の座標Ｓに１台のロボット7001を設置して前記の視点6010から見下ろした様子を表す図である。図７に記入したｘ−ｙ座標系において、ロボット座標ＳとマーカＡ6001との距離をＡＳとする。ロボット座標ＳとマーカＢ6002との距離をＢＳとする。また、ロボット座標ＳとマーカＡ6001の中心座標を結んだ直線とロボット座標ＳとマーカＢ6002の中心座標を結んだ直線がなす角をＡＢとする。ロボット座標ＳとマーカＤ6004の中心座標を結んだ直線とロボット座標ＳとマーカＡ6001の中心座標を結んだ直線がなす角をＤＡとする。このとき、前記ロボット7001に取り付けられたカメラで撮影された画像に前記図３を用いて説明した方法により、周波数分析領域を選定して、周波数分析を行った結果のスペクトルグラフを図７（B）に示す。このグラフにおいて、横軸はロボット座標Ｓを中心とするローカル座標系における角度を表し、縦軸は前記ロボット座標Ｓからマーカまでの距離を表す。このグラフに、マーカＡ6001マーカＢ6002、マーカＣ6003、マーカＤ6004に対応するスペクトルを記入した。また、前記の距離ＡＳ、距離ＢＳ、および角度ＡＢ、角度ＤＡのこのスペクトルグラフ上での対応関係も記入した。
このスペクトルグラフからロボット座標ＳからマーカＡ〜Ｄまでの距離、及び、方向が同時に分かり、図４、及び、図２（Ａ），（Ｂ）のフローに従って自己位置と姿勢を計測することができる。

図８を用いて本発明の一実施例に係る自己位置計測装置を天井走行ロボットに適用して自律移動ロボットを構築するためにさらに必要となるシステム構成を説明する。まず、前記システム全体を8001とする。前記システム全体8001は、本発明による図３の3005に相当する自己位置計測部8004と、ロボットの運動制御を行う制御部8006を含んで構成される運動制御部8002と、ユーザとの対話等を含む、より上位の制御を行う知能制御部8003から構成される。知能制御部8003は、自律移動のための制御コマンドを生成するナビゲーション部8007と音声認識部8008、画像認識部8009、音声合成部8010から構成される。さらに制御部8006は広域無線システム8012と接続した構成とすることにより、ロボット周囲の広域情報をロボットに取り込むことも可能である。

図９は、前記ナビゲーション部8007から制御部8006に送信される前記制御コマンドの１例である。この例で取り上げている制御コマンドは、ロボットの移動方向を指示することを目的としている。移動方向は、例えば9001に示す８方向と右旋回10、左旋回11、および停止0を含む計１１種で示すことができる。

図１０は、ロボットが円軌道上を自律移動している様子を表す図である。ナビゲーション部8007はロボットの移動目標となる位置を決定し、この位置に到達するために必要となる制御コマンドを逐次与え続ける。
例えば、ロボットに与えるタスクが、屋内監視である場合には、普段は、図１０に示すように予め記憶される経路情報に基づいて屋内を円軌道を描いて巡回しているが、不審者等を発見した場合には、この不審者を追跡目標とした追跡走行を開始するようにできる。
本発明に係る自己位置計測装置の基本構成を図１１、及び、図１２を用いて説明する。図１１は、全方位カメラとレーザーレーダを初期位置に設置して図２（Ａ）で説明した初期化処理フローを実施した後、前記の全方位カメラのみ移動させながら自己位置を計測する場合に用いられる構成である。図１２は、初期化処理フローと自己位置計測処理フローを同時並列に実行する場合に用いられる構成である。

図１１は、切替えスイッチ11005により、Ａ、Ｂの信号線を切り替えて用いる。まず、初期化処理フローを実施するときには、前記切替えスイッチ11005は、信号線Ａを選択している。この時、カメラ11001とレーザーレーダ11002を１回初期位置に設置して撮影された全方位画像及び全方位距離画像を、全方位画像記憶部11003、及び、全方位距離画像記憶部11004に記憶する。予測画像計算実行部11006は、前記全方位画像記憶部11003、及び、全方位距離画像記憶部11004に記憶されたデータを読み出して予測画像を作成し、予測画像記憶部11008に記憶する。次の自己位置計測処理フローでは、切替えスイッチ11005が信号線Ｂを選択する。そして、前記の全方位カメラ11001のみ移動させながら全方位画像を撮影し全方位画像記憶部11003を更新する。画像照合部11007は、前記全方位画像記憶部11003に記憶された全方位画像データと予測画像記憶部11008に記憶された予測画像とを照合して自己位置、及び、姿勢を算出し、自己位置姿勢出力部11009から出力する。図１２は、切替えスイッチ11005の代わりに、全方位カメラ12001と全方位画像記憶部12002を新たに用意して自己位置計測処理フローだけを実施させることにより、初期化処理フローと自己位置計測処理フローを同時並列に実行することを可能にした。図１２の構成では、全方位カメラ12001と11001、および、全方位画像記憶部12002と11003は同じ仕様のものを使用する。さらに、図１３、及び、図１４は、図２の処理フローを実施する特徴量抽出部13001を備えることにより、レーザーレーダ11002および全方位距離画像記憶部11004が不要になり構成を簡単化している。
尚、本願で開示した処理はコンピュータにプログラムを読みこむことで実現される。また、ソフトウェアとハードウェアとの協調処理によって実現されるものであっても良い。

本発明による自己位置計測装置は、カメラに超広角レンズを装着した構成で撮影される全方位画像からロボットの自己位置を計測する装置に関する発明であり、小型軽量な自己位置計測装置が必要となる自律移動ロボット、あるいは、自律移動ロボットを構成要素とするゲームシステム、屋内移動監視システムなどの分野で応用される可能性がある。

図２で説明したフロー図を実施する形態を説明する図。初期化処理及び自己位置計測処理の流れの例を説明するフロー図。自己位置計測の実施例を説明する図。特徴量抽出部の処理フロー図。ウェーブレット変換部4003により、カメラ3001からマーカ3002までの距離3012を計算する原理を説明する図。自己位置計測装置を、天井走行ロボット6006〜6008に適用した例を説明する図。ロボット走行領域の座標Ｓに１台のロボット7001を設置して前記の視点7010から見下ろした様子を表す図。自己位置計測装置を天井走行ロボットに適用して自律移動ロボットのシステム構成の一実施例。ナビゲーション部8007から制御部8006に送信される前記制御コマンドの１例。ロボットが円軌道上を自律移動している様子を表す図。初期化処理フローと自己位置計測処理フローをシーケンシャルに実施する例の構成図。初期化処理フローと自己位置計測処理フローをパラレルに実施する例の構成図。図１１の構成に特徴量抽出部を適用した実施例の構成図。図１２の構成に特徴量抽出部を適用した実施例の構成図。

符号の説明

1001 カメラ
1002 マーカ
1005 自己位置計測部
1006 カメラ1001で撮影された画像
3001 マーカ1002に対応するパルス波形
3002 パルス波形3001をウェーブレット変換して得られる基本周波数に対応した波形
4005 基準マーカ
4007 天井走行ロボット
5001 天井走行ロボット
9001 本発明の一実施例に係る自己位置計測装置を天井走行ロボットに適用して自律移動ロボットを構築するためにさらに必要となるシステム構成。

Claims

全方位画像を取得する撮像部と、
複数の配置箇所各々で上記撮像部を介して撮像されると予測される予測画像生成する予測画像計算実行部と、
上記生成された予測画像を該複数の配置箇所各々とに対応づけて記録する記録部と、
上記撮像部を介して取得した撮像画像と、上記複数の予測画像との照合を行って自己位置と姿勢を取得する自己位置照合部とを有することを特徴とする自己位置計測装置。
上記自己位置照合部は、初期位置で撮像した画像と該画像中の被撮像物までの距離情報から上記予測画像を生成することを特徴とする請求項１記載の自己位置計測装置。
上記撮像画像から周波数分析を行う領域を選択し、該周波数分析領域の画像データをウェーブレット変換して、得られたスペクトル成分に対応するマーカの距離と方角を抽出する特徴抽出部を有し、
上記予測画像計算実行部は上記距離と方角の情報を用いて上記予測画像を生成することを特徴とする請求項１に記載の自己位置計測装置。
上記マーカは該初期位置に対して非点対称な位置に配置され、３つ以上あるものであることを特徴とする請求項３記載の自己位置計測装置。
屋内の天井面を走行することを特徴とする請求項１乃至４の何れかに記載の自己位置計測装置。
撮像部を有する移動体に接続された情報処理において実行される自己位置計測方法を実行するためのプログラムであって、
上記自己位置計測方法は、
全方位画像を取得し、
上記移動体が移動場所で撮像すると予測される予測画像を生成し、該複数の移動場所の情報と対応づけて記録部に記憶し、
新たに上記移動体から取得した撮像画像と上記複数の予測画像との照合を行って自己位置と姿勢を決定するステップを有することを特徴とするプログラム。
初期位置で撮像した画像と該画像中の被撮像物までの距離情報から上記予測画像を生成
することを特徴とする請求項６記載のプログラム。
上記自己位置計測方法は、
上記決定された自己位置と姿勢の情報と予め記憶される経路情報に基づいて、上記移動体への動作制御コマンドを送出するステップをさらに有することを特徴とする請求項６又は７に記載のプログラム。