JP2021081852A

JP2021081852A - 移動体及びシステム

Info

Publication number: JP2021081852A
Application number: JP2019207099A
Authority: JP
Inventors: 拓弥宮本; Takuya Miyamoto; 賢一下山; Kenichi Shimoyama; 恵古野口; Keiko Noguchi
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2019-11-15
Filing date: 2019-11-15
Publication date: 2021-05-27
Anticipated expiration: 2039-11-15
Also published as: JP7273696B2; US20210150750A1; US11715229B2

Abstract

【課題】位置の推定精度が向上した移動体及びそれを含むシステムを提供すること。【解決手段】移動体は、センサ情報収集部５１と、判定部１２と、位置推定部２２とを有する。センサ情報収集部５１は、移動体の外部の画像を収集する外界センサと、移動体の内部の状態に関連する情報を収集する内界センサとを有する。判定部１２は、内界センサで収集された移動体の内部の状態に関連する情報から、外界センサで収集された画像を移動体の位置の推定のための第１の画像として採用するか否かを判定する。位置推定部２２は、第１の画像と、収集位置と関連付けられている第２の画像とを比較して移動体の位置を推定する。【選択図】図１

Description

実施形態は、移動体及びそれを含むシステムに関する。

物流倉庫でのカゴ台車の搬送の自動化に向けて移動体の開発が進んでいる。移動体は、荷物が積まれたカゴ台車を指定された場所で受け取り、受け取ったカゴ台車を指定された場所まで自律的に搬送し、指定された場所でカゴ台車を陳列する。これらの動作のうち、カゴ台車を受け取る動作及びカゴ台車を陳列する動作を正確に行うためには、移動体の正確な位置が推定されている必要がある。

移動体の位置を推定するための手法として、移動体に取り付けられたカメラによって取得された画像を用いる手法がある。例えば、目標位置で撮影された画像と走行領域内の複数の位置で撮影された画像とを格納する位置情報データベースを予め作成しておき、位置情報データベースに格納された画像と移動体のカメラで取得された画像とを参照することによって移動体の位置を推定する手法がある。

特開２０１７−０９３６２６号公報

"Physical Cue based Depth-Sensing by Color Coding with Deaberration Network", Nao Mishima (Toshiba Research and Development Center); Tatsuo Kozakaya (Toshiba); Akihisa Moriya (Toshiba); Ryuzo Okdata (Toshiba); Shinsaku Hiura (University of Hyogo), British Machine Vision Conference(BMVC), 2019 J. Borenstein, Liqiang Feng, "Measurement and Correction of Systematic Odometry Errors in Mobile Robots", IEEE Transaction on Robotics and Automation, vol.12, no.6, pp.869-880, 1996

画像の参照によって位置を推定するに際して、カメラの揺れ等の撮影時の撮影状態が考慮されていないと、参照する画像の画質が安定しておらず、位置の推定精度が低下する。

実施形態は、位置の推定精度が向上した移動体及びそれを含むシステムを提供することを目的とする。

一態様の移動体は、センサ情報収集部と、判定部と、位置推定部とを有する。センサ情報収集部は、移動体の外部の画像を収集する外界センサと、移動体の内部の状態に関連する情報を収集する内界センサとを有する。判定部は、内界センサで収集された移動体の内部の状態に関連する情報から、外界センサで収集された画像を移動体の位置の推定のための第１の画像として採用するか否かを判定する。位置推定部は、第１の画像と、収集位置と関連付けられている第２の画像とを比較して移動体の位置を推定する。

図１は、第１の実施形態に係るシステムの一例の構成を示す図である。図２は、位置推定装置のハードウェア構成の一例を示す図である。図３は、外界センサの一例としてのステレオカメラの配置例を示す図である。図４は、参照用辞書を作成する際の処理を示すフローチャートである。図５は、図４の処理に従って参照用辞書に登録される画像の撮影位置の例を示す図である。図６は、位置推定時の処理を示すフローチャートである。図７Ａは、撮影状態の異なる画像で特徴点マッチングがされたときの例を示す図である。図７Ｂは、撮影状態の同等な画像で特徴点マッチングがされたときの例を示す図である。図８は、第２の実施形態に係るシステムの一例の構成を示す図である。図９は、処理部による欠損箇所の検出例を示す図である。

以下、図面を参照して実施形態を説明する。

［第１の実施形態］
図１は、第１の実施形態に係るシステムの一例の構成を示す図である。システムは、位置推定装置１と、移動体５０とを有している。位置推定装置１は、移動体５０と通信できるように構成されている。

移動体５０は、移動体制御部５１と、センサ情報収集部５２とを有している。また、図示はしていないが、移動体５０は、移動のために必要な駆動機構を有している。

移動体制御部５１は、移動体５０の移動等に関わる制御を行う。移動体制御部５１は、例えば、指定された目標位置へ移動体５０を移動させるための駆動機構の制御を行う。

センサ情報収集部５２は、移動体５０に備えられた各種の内界センサ及び外界センサを有し、各種のセンサ情報を収集する。内界センサは、移動体５０の自己の状態に関連するセンサ情報を収集するためのセンサである。実施形態では、内界センサは、主に移動体５０の自己の動きに関連するセンサ情報を収集する。一方、外界センサは、移動体５０の外部の状態に関連するセンサ情報を収集するセンサである。実施形態では、外界センサは、主に移動体５０の外部の画像を収集する。

位置推定装置１は、移動体５０で収集される画像から、移動体５０の位置を推定するように構成されている。位置推定装置１は、移動体５０の位置の推定結果に基づいて移動体５０の移動を制御する上位システムであってもよい。位置推定装置１は、例えばパーソナルコンピュータ（ＰＣ）である。位置推定装置１は、センサ情報処理部１０と、センサ情報取得部２１と、位置推定部２２と、制御部２３と、辞書記憶部３０とを有している。

センサ情報取得部２１は、移動体５０のセンサ情報収集部５２からセンサ情報を取得する。例えば、センサ情報取得部２１は、移動体５０から通信される信号からセンサ情報を取り出す。

センサ情報処理部１０は、センサ情報取得部２１で取得されたセンサ情報を処理する。センサ情報処理部１０は、評価情報算出部１１と、判定部１２とを有している。

評価情報算出部１１は、センサ情報取得部２１で取得された移動体５０の内界センサのセンサ情報に基づいて、判定部１２での判定のための評価情報を算出する。評価情報は、例えば移動体５０の動きに関連する情報であり、例えば移動体５０の速度、角速度、加速度といった情報を含む。

判定部１２は、センサ情報取得部２１で取得された移動体５０の外部の画像を、移動体５０の位置の推定に採用するか否かを判定する。判定部１２は、辞書記憶部３０に記憶されている画像が収集されたときの評価情報と同等の評価情報の画像を、移動体５０の位置の推定に採用すると判定する。

位置推定部２２は、センサ情報取得部２１で取得された移動体５０の外部の画像のうちで判定部１２によって位置の推定に採用すると判定された画像と辞書記憶部３０に登録されている画像とに基づいて移動体５０の位置を推定する。

制御部２３は、位置推定部２２で推定された移動体５０の位置に従って、移動体５０の動作を制御する。

辞書記憶部３０は、移動体５０の目標位置の画像と、目標位置の周辺の複数の撮影位置で収集された画像と、各画像から抽出される特徴点及び特徴量と、各画像間の対応関係と、各画像の収集位置の情報と、各画像の評価情報を保持した辞書を記憶している。

図２は、位置推定装置１のハードウェア構成の一例を示す図である。位置推定装置１は、例えばＣＰＵ１０１と、入力装置１０２と、表示装置１０３と、通信装置１０４と、記憶装置１０５とをハードウェアとして有している。ＣＰＵ１０１と、入力装置１０２と、表示装置１０３と、通信装置１０４と、記憶装置１０５とは、バス１０６に接続されている。

ＣＰＵ１０１は、位置推定装置１の全体的な動作を制御するプロセッサである。ＣＰＵ１０１は、例えば記憶装置１０５に記憶されているプログラムを実行することによって、センサ情報処理部１０、センサ情報取得部２１、位置推定部２２、制御部２３として動作する。ＣＰＵ１０１は、ＭＰＵ、ＧＰＵ、ＡＳＩＣ、ＦＰＧＡ等に置き換えられてもよい。ＣＰＵ１０１は、単一のＣＰＵ等であってもよいし、複数のＣＰＵ等であってもよい。

入力装置１０２は、ジョイスティック、タッチパネル、キーボード、マウス等の入力装置である。入力装置１０２の操作がされた場合、操作内容に応じた信号がバス１０６を介してＣＰＵ１０１に入力される。ＣＰＵ１０１は、この信号に応じて各種の処理を行う。

表示装置１０３は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置である。表示装置１０３は、各種の画像を表示する。

通信装置１０４は、例えば無線ＬＡＮ通信のための通信装置である。通信装置１０４は、移動体５０と通信する。通信装置１０４は、必ずしも無線ＬＡＮ通信のための通信装置でなくてもよい。

記憶装置１０５は、例えばハードディスクドライブ、ソリッドステートドライブといった記憶装置である。記憶装置１０５は、辞書記憶部３０として動作する。また、記憶装置１０５は、ＣＰＵ１０１によって実行される各種のプログラムを記憶していてもよい。

バス１０６は、ＣＰＵ１０１と、入力装置１０２と、表示装置１０３と、通信装置１０４と、記憶装置１０５との間のデータのやり取りのためのデータ転送路である。

以下、図１で示した各構成についてさらに詳しく説明する。図１で示す移動体５０は、例えば無人搬送車（Automated Guided Vehicle：ＡＧＶ）である。ＡＧＶは、指示された荷物積み場所へ自動走行し、荷物積み場所において人や自動ロボット等によって積み込まれた荷物を、指示された荷降ろし場所まで搬送する無軌道車両である。移動体５０は、あらゆる駆動機構を有することができる。例えば、移動体５０は、２輪駆動機構を有していてもよいし、４輪駆動機構を有していてもよいし、無限軌道機構（キャタピラ）を有していてもよい。また、移動体５０は、２足又は多足で歩行する移動体であってもよいし、飛行体であってもよい。また、移動体５０は、無軌道でなく、指定された軌道を移動するライントレース方式の移動体であってもよい。実施形態においては特記しない限り移動体５０はＡＧＶであるとする。

移動体制御部５１は、移動体５０を指定された目標位置へ移動させるための駆動機構の制御を行う。このとき、移動体制御部５１は、位置推定装置１で推定された位置によって自己の位置を認識しつつ、指定された目標位置に向かうために必要な方向及び距離を判断して駆動機構を制御してよい。移動体５０の目標位置は、移動体５０の上位のシステムとしての例えば位置推定装置１から与えられてもよいし、事前に設定されたものを呼び出すことによって与えられてもよいし、人が直接設定することによって与えられてもよい。目標位置は、移動体５０の空間的な位置だけでなく、目標位置における移動体５０の姿勢を含んでいてもよい。実施形態においては特記しない限り、移動体５０に搭載されるセンサの位置及び姿勢が移動体の位置及び姿勢であるとする。目標位置が指定されるに当たり、特定の位置の座標が指定されるだけでなく、作業エリアの地図等の情報が利用されることで、「Ａの場所」、「Ｂの作業エリア」といった領域が指定されてもよい。さらに、移動の命令は、絶対的の位置を指定する命令に限らず、現在の位置からの相対的な位置を指定する命令であってもよい。例えば、移動の命令は、１ｍ前方で３０度時計回りに旋回した位置、といった命令であってもよい。所定の場所への移動に際してその移動の経路が重要になる場合もある。これは、単純に所定の位置へ直線的に移動しようとしても障害物等によって移動が困難な場合があるためである。移動の経路は、移動体制御部５１が決定してもよいし、上位のシステムによって与えられてもよい。さらに、移動の経路は、事前に設定されたものを呼び出すことによって与えられてもよいし、人が直接設定することによって与えられてもよい。

センサ情報収集部５２の内界センサは、例えばロータリエンコーダ、加速度センサ、ジャイロセンサ等の角速度センサを含む。これらの内界センサによって移動体５０の移動量及び姿勢を測定することができる。移動体５０の移動量と姿勢とから、移動体５０のおおよその位置を取得することができる。

センサ情報収集部５２の外界センサは、移動体５０の外部の画像を収集する。外界センサは、移動体５０の外部の画像に加えて、移動体５０の周辺の距離を計測又は算出できるセンサ情報を収集できることが好ましい。外界センサは、移動体５０の周辺の距離を面で計測又は算出できるセンサ情報を収集できることがさらに好ましい。例えば、Depthカメラ及びLIDAR(Light Detecting and Raging)等は、面状の距離画像を収集できる。距離画像は、距離の値を輝度の値に変換することによって生成される画像である。Depthカメラは、ToF(Time of Flight)式、パターン照射式等、どのような方式のものでもかまわない。また、ライン計測式のレーザ距離計等であっても、機械的に計測方向を変更させたり、複数台の計測方向を変えたりすることで面状の距離画像を収集できる。さらに、直接計測しない方法としては、ステレオカメラや単眼カメラ等を利用することも考えられる。ステレオカメラであればステレオマッチング方式によって画像を距離情報に変換することができる。単眼カメラであっても、移動体の位置、姿勢を変化させることでステレオカメラと同様のステレオ撮影が実現でき、距離情報を算出することが可能である。外界センサはこれら以外のものでもかまわない。実施形態では特記しない限り外界センサはステレオカメラであるとする。

図３は、外界センサの一例としてのステレオカメラの配置例を示す。図３では、移動体５０の上面中央部にステレオカメラ５２１が設置されている。ステレオカメラ５２１は、その光学中心５２２が地面６２から高さｈの位置になるように設置される。そして、ステレオカメラ５２１の光軸は、地面６２に対して角度φだけ傾けられている。また、ステレオカメラ５２１の画角は、θｘである。このとき、ステレオカメラ５２１の撮影範囲７０は、主として地面６２から高さＨの位置にある天井６０を含む撮影範囲７１である。図３に示すように、移動体５０が壁６１に近づいているときには、ステレオカメラ５２１の撮影範囲７０は、天井６０及び壁６１を含む撮影範囲７１及び７２である。ステレオカメラ５２１の撮影範囲７０は、ステレオカメラ５２１で収集される画像の用途によって変えられてよい。例えば、用途が移動体５０の位置の推定であるとき、ステレオカメラ５２１で収集される画像内の被写体は、移動体５０の位置にだけ依存して変動し、時間的には変動しないことが好ましい。図３に示すように、ステレオカメラ５２１の撮影範囲７０が天井６０及び壁６１を含み得る撮影範囲７１及び７２に設定されることによって、被写体の時間的な変動の少ない、移動体５０の位置の推定に適した画像が収集され得る。勿論、ステレオカメラ５２１の設置位置及び向きは図３で示したものに限定されるものではない。

次に、センサ情報処理部１０についてさらに説明する。評価情報算出部１１は、センサ情報取得部２１で取得された内界センサのセンサ情報から移動体５０の動きに関連する情報を算出する。

移動体５０の動きに関連する情報は、例えば移動体５０の速度である。この場合、評価情報算出部１１は、例えば移動体５０の車輪に取り付けられた内界センサとしてのロータリエンコーダの測定値から移動体５０の移動量を算出する。そして、評価情報算出部１１は、算出した移動量を時間で微分することによって移動体５０の速度を算出する。評価情報算出部１１は、車輪等の駆動機構の回転速度を移動体５０の速度に変換することで移動体５０の速度を算出してもよいし、車輪等の駆動機構の角速度を移動体５０の速度に変換することで移動体５０の速度を算出してもよい。また、移動体５０に内界センサとしての加速度センサが取り付けられていれば、評価情報算出部１１は、移動体５０の本体の加速度を積分することによって移動体５０の速度を算出してもよい。さらには、評価情報算出部１１は、車輪等の駆動機構に対して移動体制御部５１から入力される駆動電流値等から移動体５０の速度を算出してもよい。つまり、評価情報算出部１１は、任意の内界センサのセンサ情報を用いて速度を算出してよい。

また、移動体５０の動きに関連する情報は、移動体５０の速度に限らない。例えば、移動体５０の動きに関連する情報は、移動体５０に設けられた車輪等の駆動機構の回転速度又は角速度であってもよいし、移動体５０の加速度であってもよい。

判定部１２は、評価情報算出部１１で算出された移動体５０の動きに関連する評価情報と辞書記憶部３０に登録されている目標位置の画像に関連づけられた評価情報とを参照することによって、移動体５０で収集された画像を移動体５０の位置の推定のための画像として採用するか否かを判定する。具体的には、判定部１２は、評価情報の差異が少ないときに、移動体５０で収集された画像が移動体５０の位置の推定のための画像に適していると判定する。このとき、判定部１２は、移動体５０で収集された画像を移動体５０の位置の推定のための画像として採用すると判定する。

例えば、判定部１２は、評価情報算出部１１で算出された移動体５０の速度と辞書記憶部３０に登録されている目標位置の画像に関連づけられた速度との差が一定範囲内であるときに、移動体５０で収集された画像を移動体５０の位置の推定のための画像に適していると判定する。ここで、速度差の範囲は、人によって指定されてもよいし、辞書記憶部３０に登録されている目標位置の画像に関連づけられた速度に対する割合によって定義されてもよい。例えば、速度差の範囲は、移動体５０が停止している状態の０±０.１[ｍ/ｓ]に設定されてよい。また、例えば、速度差の範囲は、辞書記憶部３０に登録されている目標位置の画像が３[ｍ/ｓ]の速度のときに撮影されている場合、その１０％である±０.３[ｍ/ｓ]に設定されてよい。

また、判定部１２は、辞書記憶部３０に登録されている速度をロータリエンコーダやジャイロセンサ等の内界センサのセンサ情報に変換し、このセンサ情報を内界センサのセンサ情報と比較してもよい。この場合、判定部１２は、センサ情報取得部２１で取得されたセンサ情報と、辞書記憶部３０に登録されている速度から変換されたセンサ情報との差が一定範囲内であるときに、移動体５０で収集された画像を移動体５０の位置の推定のための画像に適していると判定してよい。例えば、判定部１２は、辞書記憶部３０に登録した速度から変換された角速度が１０[ｒａｄ/ｓ]であるときに、センサ情報取得部２１で取得した角速度が±１[ｒａｄ/ｓ]の差であれば画像を使用すると判定してよい。

また、辞書記憶部３０に複数の目標位置の画像が登録されている場合、判定部１２は、上位システムから指定された目標位置について判定をしてもよいし、予め設定された目標位置について判定をしてもよい。

次に、辞書記憶部３０について説明する。辞書記憶部３０は、センサ情報処理部１０及び位置推定部２２で必要な目標位置の情報が登録された参照用辞書を記憶している。参照用辞書の登録情報としては例えば以下がある。
・目標位置とその周辺の画像
・目標位置とその周辺の画像の特徴点と特徴量
・画像間の対応付け結果
・目標位置とその周辺の画像の位置
・目標位置の画像の撮影時の移動体の動きに関連する評価情報（例えば速度）
目標位置が複数存在する場合の参照用辞書の登録方法には、１）すべての目標位置についての登録情報をまとめて１つの辞書に登録する方法と、２）目標位置毎の辞書に分ける方法の２種類がある。１）の方法では、辞書の選択をする必要がなくなる反面、参照用辞書に登録されている画像の全てに対して特徴点のマッチングをする必要があるために位置の推定の処理に時間がかかる。また、２）の方法では、必要な目標位置が登録されている参照用辞書に対する処理だけで済むため、位置の推定の処理は短い。一方、２）の方法では、上位システム及び人手等で使用する参照用辞書が指定される必要がある。このように参照用辞書の登録方法１）と２）にはそれぞれメリットとデメリットがある。したがって、必要に応じて参照用辞書の登録方法１）と２）は、使い分けられることが好ましい。

図４は、参照用辞書を作成する際の処理を示すフローチャートである。図４の処理は、位置の推定に先立って行われる。

ステップＳ１０１において、位置推定装置１の制御部２３は、移動体５０の１つの指定位置までの移動を開始させる。指定位置は、目標位置と、その周辺の撮影位置とを含む。制御部２３は、このうちの１つを選択し、移動体５０に対して移動を指示する。これを受けて、移動体５０は、自律的に移動を開始する。なお、移動体５０の移動は、ジョイスティック等の操作によるマニュアルで行われてもよい。

ステップＳ１０２において、制御部２３は、センサ情報取得部２１で取得されたセンサ情報から、移動体５０が停止したか否かを判定する。制御部２３は、例えば、センサ情報取得部２１で取得されたセンサ情報から移動体５０の速度を算出し、算出した速度が閾値以下であるときに移動体５０が停止したと判定する。移動体５０の速度は、評価情報算出部１１で算出される速度が用いられてよい。ここで、移動体５０が停止するのは、目標位置又は撮影位置に到着した場合に限るものではない。例えば、移動体５０は、目標位置又は撮影位置に向かうまでの曲がり角等で停止するように構成されていてもよい。この場合も、ステップＳ１０２の判定において、移動体５０の速度が閾値以下であるときには、移動体５０が停止したと判定される。ステップＳ１０２において、移動体５０が停止したと判定されるまで、処理は待機される。ステップＳ１０２において、移動体５０が停止したと判定された場合、処理はステップＳ１０３に移行する。

ステップＳ１０３において、制御部２３は、移動体５０に撮影を指示して、移動体５０から画像を取得する。

ステップＳ１０４において、制御部２３は、指定した枚数分の画像を取得したか否かを判定する。例えば、制御部２３は、目標位置と、すべての撮影位置の画像を取得したときに、指定した枚数分の画像を取得したと判定する。ステップＳ１０４において、指定した枚数分の画像を取得していない、すなわち画像を取得していない撮影位置が残っているときには、処理はステップＳ１０１に戻る。この場合、制御部２３は、新たな撮影位置を指定して、移動体５０の移動を開始させる。ステップＳ１０４において、指定した枚数分の画像を取得したときには、処理はステップＳ１０５に移行する。

ステップＳ１０５において、位置推定部２２は、取得した画像から特徴点を検出する。位置推定部２２は、SIFT(Scale Invariant Feature Transform)、AKAZE(Accelerated KAZE)等を用いて特徴点を検出してよい。

ステップＳ１０６において、位置推定部２２は、検出した各特徴点から特徴量を抽出する。位置推定部２２は、特徴点検出に用いた手法に従って特徴量を抽出してよい。

ステップＳ１０７において、位置推定部２２は、目標位置の画像と、各撮影位置の画像との特徴点マッチングをする。具体的には、位置推定部２２は、特徴量の差が最も小さくなるように各画像の特徴点を対応付ける。位置推定部２２は、NN(Nearest Neighbor)、k-NN、kd-tree、ハミング距離等の手法で特徴点マッチングを行ってよい。

ステップＳ１０８において、位置推定部２２は、目標位置の画像と、各撮影位置の画像との対応関係を推定する。例えば、位置推定部２２は、目標位置の画像と撮影位置の画像との特徴点の対応関係から、目標位置に対する各撮影位置の移動体５０の相対位置及び相対姿勢を推定する。そして、位置推定部２２は、推定した相対位置及び相対姿勢を用いて三角測量の原理により、各画像についての３次元情報を生成する。

ステップＳ１０９において、位置推定部２２は、画像毎の特徴点及び特徴量、目標位置に対する各撮影位置の画像の対応関係、目標位置及び撮影位置の座標、それぞれの画像の収集時の移動体５０の動きに関連する評価情報、例えば移動体５０の速度を参照用辞書に登録する。

図５は、図４の処理に従って参照用辞書に登録される画像の撮影位置の例を示す図である。図５では、カゴ台車の位置ＲＢＰの直前の位置が目標位置Ｐ０とされている。また、目標位置Ｐ０の周辺の位置Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５が撮影位置とされている。撮影位置Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５では、目標位置Ｐ０の方にステレオカメラが向けられて撮影が行われる。目標位置Ｐ０は、例えば上位システム等によって与えられる既知の位置である。一方、撮影位置Ｐ１−Ｐ５は、各々の位置で撮影される毎に計測される位置である。

ここで、参照用辞書に登録する画像の枚数、すなわち撮影位置の数は特定の値に限定されない。また、目標位置と撮影位置との位置関係は原理上どのような関係であっても問題ない。実際には、撮影位置は、目標位置の近傍の範囲ＮＢ内に位置していることが望ましい。

次に、位置推定部２２について説明する。位置推定部２２は、センサ情報取得部２１で取得した画像のうちでセンサ情報処理部１０の判定部１２によって移動体５０の位置の推定に採用してよいと判定された画像と辞書記憶部３０の参照用辞書に登録されている画像とを比較することで、移動体５０の位置を推定する。図６は、位置推定時の処理を示すフローチャートである。

ステップＳ２０１において、センサ情報取得部２１は、移動体５０のセンサ情報収集部５２から内界センサのセンサ情報である例えばロータリエンコーダの測定値及び外界センサのセンサ情報である例えばステレオカメラで得られた画像を取得する。センサ情報取得部２１は、例えば一定の間隔毎に移動体５０のセンサ情報収集部５２からセンサ情報を取得する。

ステップＳ２０２において、評価情報算出部１１は、センサ情報取得部２１で取得された内界センサのセンサ情報から評価情報を算出する。例えば、評価情報算出部１１は、ロータリエンコーダの測定値から移動体５０の速度を算出する。

ステップＳ２０３において、判定部１２は、センサ情報取得部２１から取得した画像が移動体５０の位置の推定に適した画像であるか否かを判定する。例えば、判定部１２は、評価情報算出部１１で算出された移動体５０の速度と辞書記憶部３０に登録されている目標位置の画像に関連づけられた速度との差が一定範囲内であるときに、移動体５０で収集された画像を移動体５０の位置の推定のための画像に適していると判定する。ステップＳ２０３において、センサ情報取得部２１から取得した画像が移動体５０の位置の推定に適した画像でないと判定されたときには、図６の処理は終了する。図６の処理は、センサ情報取得部２１による次のセンサ情報の取得のタイミングで再び行われる。ステップＳ２０３において、センサ情報取得部２１から取得した画像が移動体５０の位置の推定に適した画像であると判定されたときには、処理はステップＳ２０４に移行する。

ステップＳ２０４において、位置推定部２２は、ステップＳ２０３において位置の推定に適しているために位置の推定に採用すると判定された画像をセンサ情報取得部２１から取得する。そして、位置推定部２２は、取得した画像から特徴点を検出する。位置推定部２２は、SIFT(Scale Invariant Feature Transform)、AKAZE(Accelerated KAZE)等を用いて特徴点を検出してよい。

ステップＳ２０５において、位置推定部２２は、検出した各特徴点から特徴量を抽出する。位置推定部２２は、特徴点検出に用いた手法に従って特徴量を抽出してよい。

ステップＳ２０６において、位置推定部２２は、辞書記憶部３０に記憶されている参照辞書に登録されている目標位置の画像及びその周辺の撮影位置の画像と、センサ情報取得部２１で取得された画像との特徴点マッチングをする。具体的には、位置推定部２２は、特徴量の差が最も小さくなるように特徴点をマッチングさせる。ここで、参照用辞書に複数の目標位置が登録されている場合には、目標位置が選択される必要がある。目標位置は、１）移動体に上位システムを搭載しておき、その上位システムから目標位置を取得する手法、２）参照用辞書に登録されている全ての目標位置に対して移動体５０の位置を推定し、最も良い推定結果を選択する手法、の何れかによって選択され得る。

ステップＳ２０７において、位置推定部２２は、参照用辞書に登録されている特徴点の３次元点群と対応付けた２次元点の関係から、PnP(Perspective n-Point)を用いて相対位置を算出する。そして、位置推定部２２は、目標位置からみた移動体５０の位置を推定する。その後、図６の処理は終了する。図６の処理は、センサ情報取得部２１による次のセンサ情報の取得のタイミングで再び行われる。

以上説明したように第１の実施形態では、移動体５０に備えられた内界センサで収集されるセンサ情報に基づく評価情報と、参照用辞書に登録される画像の収集時のセンサ情報に基づく評価情報との差異が少ないときに、移動体５０に備えられた外界センサで収集された画像が移動体５０の位置の推定のための画像として採用される。

位置推定部２２で推定される移動体５０の位置の精度は、撮影状態が考慮されているか否かで大きく変化する。

図７Ａは、撮影状態の異なる画像で特徴点マッチングがされたときの例を示す図である。図７Ａの画像ＲＩは参照用辞書に登録されている画像であり、画像ＳＩは位置推定のために収集された画像である。位置推定の時の収集時と参照用辞書への登録時とでは撮影状態が異なっている可能性がある。例えば、図７Ａにおいて画像ＳＩは、撮影時の移動体５０の揺れによって画像ＲＩには発生していなかったブレが発生している。この場合、画像ＲＩと画像ＳＩとのマッチングの結果、本来のマッチングすべき特徴点の位置とは異なる位置でマッチングしてしまう可能性がある。図７Ａでは、特徴点ＲＦ１と特徴点ＳＦ１１、特徴点ＲＦ２と特徴点ＳＦ２１、特徴点ＲＦ３と特徴点ＳＦ３１、特徴点ＲＦ４と特徴点ＳＦ４１でマッチングする必要があるところ、特徴点ＲＦ１と特徴点ＳＦ１２、特徴点ＲＦ２と特徴点ＳＦ２２、特徴点ＲＦ３と特徴点ＳＦ３２、特徴点ＲＦ４と特徴点ＳＦ４２でマッチングしてしまった状態が示されている。このような誤った特徴点のマッチングの結果、位置の推定精度は低下する。

図７Ｂは、撮影状態の同等な画像で特徴点マッチングがされたときの例を示す図である。図７Ｂの画像ＲＩは参照用辞書に登録されている画像であり、画像ＳＩは位置推定のために収集された画像である。位置推定の時の収集時と参照用辞書への登録時とでは撮影状態が同等であるので、特徴点ＲＦ１と特徴点ＳＦ１、特徴点ＲＦ２と特徴点ＳＦ２、特徴点ＲＦ３と特徴点ＳＦ３、特徴点ＲＦ４と特徴点ＳＦ４といったように本来のマッチングすべき特徴点の位置でマッチングする。このように、第１の実施形態では、位置の推定精度の低下の要因となるステレオカメラの揺れ等の影響を未然に防ぎ、良質な画像から特徴点マッチングと移動体５０の位置推定の処理とが行われ得る。したがって、移動体５０の位置推定の精度が向上する。

また、実施形態では、参照用辞書に登録される画像は、移動体５０の速度が閾値以下となったときに撮影される。このため、参照用辞書に登録される画像におけるブレは小さいと考えることができる。また、例えば移動体５０が自律的に移動することが想定される場合、移動体５０が低速になるのは、目標位置の近辺、曲がり角、行き止まり等の注目すべき場所であることが多い。このような場所で撮影が行われることにより、意味のある移動体５０の位置推定が行われ得る。

ここで、第１の実施形態では、移動体５０と位置推定装置１とが別体のシステムであるとして説明されている。しかしながら、移動体５０と位置推定装置１とは一体であってもよい。また、位置推定装置１の一部は、位置推定装置１とは別体であってもよい。例えば、辞書記憶部３０は、位置推定装置１の外部のサーバ等に設けられていてもよい。

［第２の実施形態］
図８は、第２の実施形態に係るシステムの一例の構成を示す図である。第１の実施形態と同様に、システムは、位置推定装置１と、移動体５０とを有している。位置推定装置１は、移動体５０と通信できるように構成されている。なお、以下の説明において、第１の実施形態において説明した部分については第１の実施形態と同一の参照符号を付すことで説明を省略する。第２の実施形態では、位置推定装置１が処理部２４を有している点のみが異なる。なお、処理部２４は、例えばＣＰＵ１０１によって実現され得る。

処理部２４は、辞書記憶部３０の参照用辞書に登録された目標位置の画像と、移動体５０において異なる時間で収集された目標位置の画像とを比較し、目標位置における欠損箇所を検出する。欠損箇所とは、壁に空いた穴、亀裂、傷等の本来の目標位置には存在しない箇所のことを言う。図９は、処理部２４による欠損箇所の検出例を示す図である。

前述したように、実施形態の位置推定部２２は、判定部１２によって採用された画像を用いて移動体５０の位置の推定をする。したがって、位置推定部２２が推定した移動体５０の位置が目標位置であるとき、センサ情報取得部２１で取得されている画像ＳＩの撮影状態は、参照用辞書に登録された目標位置の画像ＲＩの撮影状態と同等であって基本的には画像ＲＩと画像ＳＩとは一致する。一方、目標位置に欠損箇所がある場合、図９に示すように、この欠損箇所が画像ＲＩと画像ＳＩとの差異として表れることになる。

処理部２４による欠損箇所の検出処理としては、特徴点マッチングを利用して２画像間の対応付けを行った上で差異の大きい箇所を欠損箇所として検出する処理、テンプレートマッチングによって探索される類似度の低い箇所を欠損箇所として検出する処理、背景差分法により輝度差の大きい箇所を欠損箇所として検出する処理といった種々の処理が適用され得る。

以上説明したように第２の実施形態によれば、良質な画像を用いて欠損箇所の検出が行われ得る。このため、移動体５０を保守点検に利用する等の各種の応用が期待される。

第１の実施形態と同様に第２の実施形態においても、移動体５０と位置推定装置１とは一体であってもよい。また、位置推定装置１の一部は、位置推定装置１とは別体であってもよい。例えば、辞書記憶部３０は、位置推定装置１の外部のサーバ等に設けられていてもよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１位置推定装置、１０センサ情報処理部、１１評価情報算出部、１２判定部、２１センサ情報取得部、２２位置推定部、２３制御部、２４処理部、３０辞書記憶部、５０移動体、５１移動体制御部、５２センサ情報収集部、１０１ＣＰＵ、１０２入力装置、１０３表示装置、１０４通信装置、１０５記憶装置、１０６バス。

Claims

移動体の外部の画像を収集する外界センサと、前記移動体の内部の状態に関連する情報を収集する内界センサとを有するセンサ情報収集部と、
前記内界センサで収集された前記移動体の内部の状態に関連する情報から、前記外界センサで収集された画像を前記移動体の位置の推定のための第１の画像として採用するか否かを判定する判定部と、
前記第１の画像と、収集位置と関連付けられている第２の画像とを比較して前記移動体の位置を推定する位置推定部と、
を具備する移動体。
同じ収集位置で収集された前記第１の画像と前記第２の画像との比較により、前記第１の画像において前記第２の画像と異なっている部分を欠損箇所として検出する処理部をさらに具備する請求項１に記載の移動体。
前記移動体の内部の状態に関する情報は、前記移動体の動きに関する情報である請求項１又は２に記載の移動体。
前記第２の画像には、収集されたときの前記移動体の動きに関連する評価情報が関連付けられており、
前記判定部は、前記外界センサで画像が収集されたときに前記内界センサで収集された前記移動体の動きに関連する評価情報と、前記第２の画像に関連付けられている前記移動体の動きに関する評価情報との差異が少ないときに、前記外界センサで収集された画像を前記第１の画像として採用すると判定する請求項３に記載の移動体。
前記動きに関する評価情報は、前記移動体の速度と前記移動体の角速度との少なくとも何れかを含む請求項３又は４に記載の移動体。
前記第２の画像は、前記移動体の動きに関する評価情報が閾値以下のときに撮影された画像である請求項３乃至５の何れか１項に記載の移動体。
移動体の外部の画像を収集する外界センサと、前記移動体の内部の状態に関連する情報を収集する内界センサとを有するセンサ情報収集部を具備する移動体と、
前記内界センサで収集された前記移動体の内部の状態に関連する情報から、前記外界センサで収集された画像を前記移動体の位置の推定のための第１の画像として採用するか否かを判定する判定部と、
前記第１の画像と、収集位置と関連付けられている第２の画像とを比較して前記移動体の位置を推定する位置推定部と、
を具備する位置推定装置と、
を有するシステム。