JP2023069019A - 情報処理装置、情報処理システム、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】高精度な地図情報を作成する作業の煩雑さをより軽減すること。【解決手段】移動体の周辺環境の地図情報を処理する情報処理装置２００において、センサ情報取得部１０１は移動体の移動量また周辺環境に関する計測を行うセンサ１００の出力情報を取得する。誤差発生量算出部１０２は、取得された情報に基づいて地図情報を構成する要素の位置情報の誤差発生量を算出する。蓄積誤差評価部１０３は、算出された誤差発生量の蓄積度合いを評価する。補正判定部１０４は、蓄積誤差の評価結果に基づいて地図情報に係る蓄積誤差補正処理の必要性を判定する。補正判定部１０４からの指示にしたがって、通知装置３００はループクロージャーによる補正の必要性をユーザに通知する。【選択図】 図１

Description

本発明は、移動体の位置姿勢の計測技術および移動制御技術に関する。

“Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ”（以下、ＳＬＡＭという）は、カメラ等のセンサを移動させて、自己位置や姿勢および周辺環境の地図情報を推定する技術である。非特許文献１では、高精度な地図情報の推定方法として、ループクロージャー（以下、ＬＣともいう）と呼ばれる技術が開示されている。ＬＣは、センサの移動経路上でループ状の区間（閉経路）を認識し、閉経路における地図の連続性を拘束条件に加えることで、地図情報に関する蓄積誤差（累積誤差）の低減が可能である。

また、特許文献１には、頭部装着型ディスプレイに備えられたカメラが、複合現実感の体験者に対して、ＬＣが可能な位置や姿勢に近づくように移動を促す表示コンテンツを生成する技術が開示されている。

特許第６８２３４０３号公報

Raul Mur-Artal, J.M.M.Montiel, J.D.Tardos, "ORB-SLAM: A Versatile and Accurate Monocular SLAM System", IEEE Transactions on Robotics, 2015

従来の技術では、ＳＬＡＭの地図情報作成用の動画撮影中に蓄積誤差を適切に補正するためのＬＣによる補正実行に係る位置やタイミングを、ユーザが把握できないという問題があった。そのため、蓄積誤差が補正された、より高精度な地図情報を作成する作業が煩雑になっていた。
本発明は、高精度な地図情報を作成する作業の煩雑さをより軽減することを目的とする。

本発明の実施形態の情報処理装置は、移動体の移動量または周辺環境に関する情報を取得する取得手段と、前記取得手段により取得される情報を用いて、前記周辺環境の地図情報に係る位置情報の誤差発生量を算出する算出手段と、前記誤差発生量の蓄積度合いを評価する評価手段と、前記評価手段による蓄積度合いの評価結果を取得して、前記地図情報に対する蓄積誤差の補正処理の必要性を判定する判定手段と、を備え、前記判定手段は、前記補正処理の必要性の判定結果を通知装置、または、前記移動体の移動制御を行う制御装置に出力することを特徴とする。

本発明によれば、高精度な地図情報を作成する作業の煩雑さをより軽減することができる。

第１および第２実施例における情報処理システムの構成例を示す図である。 第１および第２実施例におけるハードウェア構成例を示す図である。 第１および第２実施例における処理を説明するフローチャートである。 第３実施例における情報処理システムの構成例を示す図である。 第３実施例における処理を説明するフローチャートである。

以下、本発明の実施形態について、図面を参照しつつ詳細に説明する。実施例では本発明に係る情報処理装置の適用例として移動体の移動制御を行う情報処理システムを説明する。移動体の一例として無人搬送車を示す。

［第１実施例］
本実施例では、移動体に搭載された撮像装置によってＶｉｓｕａｌ ＳＬＡＭの地図情報作成に用いる画像に係る撮影を行う。本実施例の情報処理システムは、センサの計測値を取得して誤差発生量を算出する。誤差発生量は、地図情報の算出ごとに発生する誤差量と相関を有する値であって、移動体の移動量に関連する値である。Ｖｉｓｕａｌ ＳＬＡＭの地図情報については、移動体の移動に伴いキーフレームの追加等の地図情報の更新が行われる。キーフレームや特徴点の位置姿勢にドリフト誤差を含む情報が追加される。特徴点とは、取得された画像内のコーナーやエッジ等の輝度変化から、画像上で一意に定まる点のことである。

このように情報処理システムは、移動体の移動距離、または移動距離と相関のある量（移動量）に関する情報を誤差発生量として算出する処理を実行し、算出された誤差発生量に基づいて蓄積誤差（累積誤差）の評価を行う。誤差発生量を用いて、ＳＬＡＭの地図情報作成中に蓄積されるドリフト誤差の蓄積値が評価される。情報処理システムは、適切に蓄積誤差の補正処理を行うためにループクロージャーによる補正の必要性を判定してユーザに通知する処理を実行する。

図１（Ａ）は、本実施例に係る情報処理システムの構成例を示すブロック図である。情報処理システムはセンサ１００、情報処理装置２００、通知装置３００を備える。各構成要素は、Ｖｉｓｕａｌ ＳＬＡＭの地図情報作成に用いる画像に係る撮影が可能な無人搬送車１に搭載される。

図１（Ｂ）は、無人搬送車１の構成の概要を示す図である。無人搬送車１は撮像装置１０、情報処理装置２００、信号送受信部２１０、駆動制御部２２０を備える。撮像装置１０により取得される周辺環境の撮影画像情報は情報処理装置２００によって処理される。情報処理装置２００は撮影画像情報に基づく制御信号を、信号送受信部２１０を介して駆動制御部２２０に送信する。駆動制御部２２０は受信した制御信号にしたがって車輪の駆動源に係る駆動制御を行う。

図１を参照して、情報処理装置２００の構成について説明する。センサ１００は無人搬送車１の移動量に関する情報（以下、センサ情報という）を取得する。本実施例では、センサ１００としてロータリエンコーダと回転計が使用される。無人搬送車１の車輪の回転量が移動量に関する情報として用いられる。通知装置３００は、ＬＣによる補正の必要性をユーザに通知する。通知装置３００は、例えばスピーカのような音声出力装置を有する。無人搬送車１は、ステレオカメラ等の撮像装置１０を搭載しており、ユーザ操作にしたがって移動しつつ、地図情報作成のための複数の視点画像を取得する。複数の視点画像は互いに異なる視点で撮像された画像であり、視差を有する画像である。

情報処理装置２００は、センサ１００から移動量に関する情報を取得して誤差蓄積量の評価を行い、ＬＣによる補正の必要性について判定処理を行う。情報処理装置２００は判定結果に基づいて通知装置３００によりユーザへの通知を行う。情報処理装置２００は、センサ情報取得部１０１、誤差発生量算出部１０２、蓄積誤差評価部１０３、補正判定部１０４を備える。

センサ情報取得部（以下、取得部という）１０１はセンサ１００からセンサ情報を取得して、誤差発生量算出部１０２に出力する。誤差発生量算出部（以下、算出部という）１０２は、取得したセンサ情報を用いて誤差発生量の推定および算出を行う。蓄積誤差評価部（以下、評価部という）１０３は、算出部１０２により算出された誤差発生量を取得し、誤差発生量に基づいて誤差の蓄積度合いを評価する。

補正判定部１０４は、評価部１０３による蓄積誤差の評価結果に基づいて、ＬＣによる蓄積誤差の補正処理の必要性を判定する。補正判定部１０４による判定結果の情報は通知装置３００に送られる。通知装置３００は判定結果に基づいて、ＬＣによる補正の必要性をユーザに通知する。

具体的にはセンサ１００にて、無人搬送車１が有する車輪の軸の回転変位量に応じてロータリエンコーダがパルス列を出力し、回転計がパルス列のカウントを行うことにより回転角に変換する。センサ１００は取得部１０１に対し、定期的に回転量の信号を送信する。取得部１０１は、回転量の情報を算出部１０２に出力する。算出部１０２は、誤差発生量の情報を評価部１０３に出力する。本実施例では、誤差発生量として回転量が用いられる。評価部１０３は、蓄積誤差の度合いを算出および評価して補正判定部１０４に送信する。補正判定部１０４は、蓄積誤差の度合いに基づくＬＣによる補正の必要性の判定結果を通知装置３００に出力する。

図２は、情報処理装置２００のハードウェア構成の一例を示すブロック図である。情報処理装置２００はＣＰＵ（Central Processing Unit）２０１を備え、システムバス２０８により接続された各種デバイスを制御する。ＲＯＭ（Read Only Memory）２０２は、情報処理装置２００が利用するＢＩＯＳ（Basic Input Output System）のプログラムやブートプログラムを記憶する。ＲＡＭ（Random Access Memory）２０３はＣＰＵ２０１の主記憶装置として使用される。外部メモリ２０４は情報処理装置２００が処理するプログラムやデータを記憶する。

入力部２０５はキーボードやポインティングデバイス、ロボットコントローラ、ボタン等の操作や情報入力を行うための入力デバイスを有する。表示部２０６はＣＰＵ２０１の指令にしたがって情報処理装置２００の演算処理の結果を表示する。表示部２０６は液晶表示装置やプロジェクタ、ＬＥＤインジケータ等の表示デバイスを有する。

Ｉ／Ｏ２０７は通信インターフェース部であり、ネットワーク等を介して外部装置との間で情報通信を行う。Ｉ／Ｏ２０７については、イーサーネット（登録商標）、ＵＳＢ（Universal Serial Bus）やシリアル通信、無線通信等が可能であり、通信の種類の如何は問わない。情報処理装置２００においてセンサの計測値や計測に関するデータはＩ／Ｏ２０７を介して取得することができる。

図３を参照して、情報処理装置２００が行う処理の内容について説明する。図３は本実施例における処理の流れを示すフローチャートであり、以下の処理はＣＰＵ２０１がプログラムを実行することにより実現される。

地図情報用の撮影が開始すると、Ｓ３０１において取得部１０１、算出部１０２、評価部１０３、補正判定部１０４は、ＲＯＭ２０２に記憶された設定値やパラメータを読み込む。取得されたセンサ情報、誤差発生量、蓄積誤差の評価値等を記憶するメモリの初期化処理が実行される。また、取得部１０１は、センサ１００による回転量の初期値を記録する。それ以降にセンサ１００から単位時間ごとに受信される回転量との差分が取得されるため、Ｓ３０１で取得される回転量は、地図情報作成用の画像取得の開始時点からの回転量に変換するための初期値として保持される。さらには、評価部１０３は誤差発生量の増加に伴う蓄積誤差量の値をゼロに初期化する。

Ｓ３０２で取得部１０１は、センサ１００からセンサ情報として、所定の時間（Ｔと記す）ごとの回転量の値を取得する。Ｔの値は任意に設定可能である。取得部１０１は、取得した回転量と前回の取得時の回転量との差分を算出する。初期化直後のセンサ情報としてはＳ３０１で保持されたセンサ１００の回転量の初期値が用いられる。取得部１０１は算出した単位時間当たりの回転量の信号を算出部１０２に送信する。

Ｓ３０３で算出部１０２は、取得部１０１から受信した信号に含まれるセンサ情報に基づいて誤差発生量を算出する。具体的には、取得部１０１から取得された単位時間当たりの回転量から、単位時間当たりの誤差発生量が算出される。評価部１０３はＶｉｓｕａｌ ＳＬＡＭの地図情報作成に用いる画像の取得開始時点からの回転量の総和を、蓄積誤差発生量として算出する。

Ｓ３０４で評価部１０３は、Ｓ３０３で算出した蓄積誤差発生量に基づいて、蓄積誤差の度合いを評価する。蓄積誤差発生量をMと表記し、センサ情報ごとの蓄積誤差度合い係数をCmと表記し、蓄積誤差度合いをDと表記する。蓄積誤差度合いDの評価式の一例として、下記式（１）を用いることができる。
D = Cm × M 式（１）
センサ情報が回転量を表す場合、蓄積誤差度合い係数Cmは、回転量に対する蓄積誤差の度合いを示す値である。評価部１０３は算出した蓄積誤差度合いDの値を補正判定部１０４に送信する。

Ｓ３０５で補正判定部１０４は、Ｓ３０４にて評価された蓄積誤差に基づいて蓄積誤差の補正処理の必要性について判定処理を行う。評価部１０３から取得された蓄積誤差度合いが、ループクロージャーによる補正を実行すべき蓄積誤差度合いであるか否かが判定される。具体的には、蓄積誤差度合いDの値は閾値と比較される。この閾値は、地図情報の運用に支障をきたす誤差が蓄積しているとみなせる蓄積度合いの閾値である。取得された蓄積誤差度合いDの値が閾値を超える場合、補正判定部１０４はＬＣによる補正実行が必要であると判定する。この場合、Ｓ３０６にて補正の必要有りと判定されてＳ３０７の処理に進む。また取得された蓄積誤差度合いDの値が閾値以下である場合、補正判定部１０４は補正の必要はないと判定する。この場合、Ｓ３０６にて補正の必要無しと判定されてＳ３０８の処理に進む。なお、センサ情報が取得されるたびに蓄積誤差補正の必要性の判定処理が継続される。

Ｓ３０７で補正判定部１０４は、通知装置３００にＬＣによる補正を促す通知（地図補正通知）を指示する。通知装置３００は、ＬＣによる補正の必要性をユーザに通知する。無人搬送車１を操作して移動中のユーザに対し、無人搬送車１に搭載されたスピーカから、ＬＣによる補正を促す音声が出力される。通知装置３００による通知音声を聞いたユーザは、ＬＣによる補正を実行できるように無人搬送車１を旋回させる操作を行う。これにより蓄積誤差の補正に適切な位置とタイミングでＬＣによる補正を実行可能な無人搬送車１による撮影を行うことができる。Ｓ３０７の処理後、Ｓ３０８の処理に進む。

Ｓ３０８でＣＰＵ２０１は、入力部２０５を介したユーザからの撮影終了指示入力の有無について判定処理を実行する。Ｓ３０８にて撮影終了指示入力が無いと判定された場合、Ｓ３０２に戻って処理を続行する。またＳ３０８にて撮影終了指示入力が有ると判定され場合には、一連の処理を終了する。

本実施例によれば、蓄積誤差の評価に基づいた適切なループクロージャーに係る位置やタイミングをユーザが把握でき、高精度な地図情報を作成する作業の煩雑さを軽減することが可能である。

次に、第１実施例の変形例（第１変形例）を説明する。
（第１変形例の１）
第１実施例では、地図情報作成中の移動量と相関のある値として、無人搬送車１の車輪の回転量を誤差発生量として用いる例を説明した。本変形例では、地図情報作成中の移動量と相関のある値として、無人搬送車１の移動距離の計測値を用いる。

無人搬送車１の移動距離の計測では、車輪の回転量と半径から走行距離を算出する方法と、移動距離を計測する計測手段を設ける方法がある。例えば、俯瞰カメラの画像を用いて、画像内に映る地図情報作成中の無人搬送車１の位置を推定して移動距離を計測することができる。また、屋外の場合にはＧＰＳ（Global Positioning System）を用いて位置情報を取得し、無人搬送車１の位置情報を用いて移動距離を計測することができる。さらに、Ｖｉｓｕａｌ ＳＬＡＭの地図情報作成時の自己位置推定のような画像処理で移動距離を計測する方法がある。

（第１変形例の２）
本変形例では、誤差発生量としてセンサ情報の回転量をそのまま使用する代わりに、センサ１００の出力を正規化した値を誤差発生量として用いる。正規化された誤差発生量に基づいて評価される蓄積誤差を用いて、蓄積誤差補正の必要性に関する、より正確な判定処理を行うことが可能である。

（第１変形例の３）
第１実施例では、無人搬送車１に搭載された音声出力装置を用いて、ＬＣによる補正の必要性をユーザに通知する例を説明した。通知装置３００については、ユーザにＬＣによる補正の必要性を通知できるものであれば、どのような手段を用いてもよい。

本変形例では、通知装置３００として警告灯を無人搬送車１に設置し、警告灯を点灯させることでＬＣによる補正の必要性をユーザに通知する。あるいは、ディスプレイ等の表示手段を用いて、文字や画像の表示によってユーザにＬＣによる補正の必要性を通知する構成でもよい。

さらには、本変形例では無人搬送車１が通信装置を備えており、当該通信装置とは異なる通信端末装置が通知装置３００として使用される。例えば、無人搬送車１の操作に使用されるタブレットや、無線通信が可能なパーソナルコンピュータ等を通知装置３００として使用することができる。

［第２実施例］
次に、本発明の第２実施例を説明する。本実施例では、無人搬送車１の移動量に関する計測値の例として、撮像装置１０により取得された画像から導出される移動距離を用いて、蓄積誤差補正の必要性を判定してユーザに通知する処理を説明する。

本実施例の情報処理システムは、地図要素の位置誤差の度合いに影響する精度低下要因を考慮して、より高精度に蓄積誤差の度合いを評価して補正判定を行う。Ｖｉｓｕａｌ ＳＬＡＭの自己位置推定では、地図要素の一つであるキーフレーム画像から検出される特徴点を用いて３次元座標の位置姿勢を算出する処理が行われる。キーフレーム画像の特徴点と自己位置推定時の取得画像内における複数の特徴点との一致を確認して自己位置姿勢の算出処理が行われる。特徴点の位置ずれは誤差要因であり、特徴点が十分な数で検出できないと、Ｖｉｓｕａｌ ＳＬＡＭの地図情報の精度低下をもたらす可能性がある。

本実施例では、キーフレーム画像として追加される撮影画像で検出される特徴点数の少なさを精度低下要因として考慮し、蓄積誤差の評価を実施する処理について説明する。なお、本実施例の情報処理システムの構成は図１にて説明した構成と同様であるが、本実施例におけるセンサ１００は、無人搬送車１に搭載された撮像装置１０である。第１実施例にて説明済みの事項についての詳細な説明を省略し、主に第１実施例との相違点を説明する。このような説明の省略方法については後述の実施例や変形例でも同じである。

図３を参照して、本実施例の情報処理装置２００が行う処理について説明する。地図情報用の撮影が開始されると、Ｓ３０１にて情報処理装置２００内の各部は初期化処理を行うが、取得部１０１は撮像装置１０の初期化や撮影画像の取得準備を行う。また、算出部１０２は移動距離の値をゼロにリセットする。

Ｓ３０２で取得部１０１は、撮像装置１０からセンサ情報を取得する。センサ情報として画像および画像撮影に関する設定情報が取得される。取得部１０１は、取得した画像および画像撮影に関する設定情報を算出部１０２に出力する。

Ｓ３０３で算出部１０２は、誤差発生量として、取得した画像および画像撮影に関する設定情報に基づいて画像取得ごとの移動距離を算出する。Ｖｉｓｕａｌ ＳＬＡＭと同様の方法で、現在の自己位置を算出して、前回の取得画像における自己位置との差分から移動距離を算出する処理が行われる。

Ｓ３０３における移動距離の算出方法については、移動体の移動距離を算出できればどのような方法でもよい。本実施例ではＶｉｓｕａｌ ＳＬＡＭの自己位置推定と同様に取得画像内の特徴から特徴点が抽出される。抽出された特徴点に基づいて自己位置姿勢を算出して３次元座標系の情報として記録する処理が行われる。画像が取得されるたびに自己位置姿勢情報の差分の算出が行われる。

位置姿勢に関する情報の一例として、地図情報作成開始時の撮像装置１０または無人搬送車１の位置を表す３パラメータと、撮像装置１０の姿勢を表す３パラメータが用いられる。位置を表す３パラメータは、３次元座標系における（Ｘ，Ｙ，Ｚ）の組である。姿勢を表す３パラメータは、３次元座標系の座標軸をそれぞれ中心軸とする回転角度のパラメータ（Ｒｏｌｌ，Ｐｉｔｃｈ，Ｙａｗ）の組である。

算出部１０２は、ＳＬＡＭの自己位置推定の精度低下要因に関して、特徴点数を地図精度情報として算出する。Ｖｉｓｕａｌ ＳＬＡＭの地図情報作成時と同様に、所定の移動距離ごとにキーフレームを追加するタイミングで取得画像の特徴点の検出およびカウント処理が行われる。算出部１０２は、自己位置推定に用いる特徴点数の、所定の最大値に対する割合を算出する。最大値に対する特徴点数の割合に応じたランク付け処理が実行される。例えば、ランク付け処理にて“GOOD”，“WEAK”にそれぞれ対応する値が決定される。最大値に対する特徴点数の割合が、所定の閾値以上である状態（高精度な状態）のときに“GOOD”とランク付けがなされる。また、特徴点数はやや少ないが自己位置推定が可能な場合には“WEAK”とランク付けがなされる。本実施例では、ランク付けされた情報が地図精度情報として用いられる。

Ｓ３０４で評価部１０３は、誤差発生量と地図精度情報を用いて蓄積誤差の度合いを評価する。蓄積誤差発生量M、センサ情報ごとの蓄積誤差度合い係数Cmに加えて、精度低下係数をDAと表記する。蓄積誤差度合いDの評価式の一例として、下記式（２）を用いることができる。
D = Cm × M × DA 式（２）
本実施例のセンサ情報は移動体の移動距離であるので、蓄積誤差度合い係数Cmは移動距離に関する蓄積誤差の度合いを示す値である。また、精度低下係数DAは、移動距離内で検出される有効な特徴点数の割合に関する精度低下を示す係数である。

例えば、地図精度情報のキーフレームで検出される特徴点のランク付けの結果が、所定の閾値以上の数のフレームで“GOOD”の場合を想定する。この場合、特徴点の検出数が十分であるので、精度低下係数DA＝１と設定される。また、特徴点のランク付けの結果が“GOOD”であるフレーム数が所定の閾値以下であって、移動距離内で“WEAK”のランク付けの結果が多い場合を想定する。この場合、蓄積誤差が増大するので、精度低下係数DA=２と設定される。なお、これらの係数は実施上の一例であり、本発明の適用上では任意の係数を用いることが可能である。

Ｓ３０４で評価部１０３は、蓄積誤差度合いに関する情報と、誤差発生量やセンサ情報を含めて蓄積誤差評価情報として当該情報を補正判定部１０４に出力する。Ｓ３０５で補正判定部１０４は蓄積誤差補正の必要性について判定処理を行う。そしてＳ３０６からＳ３０８の処理が実行される。

本実施例では、地図情報の精度低下要因を考慮し、地図精度情報を用いて、より高精度に蓄積誤差の度合いを評価して補正処理の実施に係る判定（補正判定）を行うことができる。

次に、第２実施例の変形例（第２変形例）を説明する。
（第２変形例の１）
第２実施例では、安定した画像の取得を前提として特徴点数のランク付け情報を地図精度情報として利用するが、周辺環境によっては良好な撮影画像を取得できない場合がありうる。例えば、撮影画像のノイズ量が多すぎる場合や、撮影画像が明るすぎる場合、または、撮影画像が暗すぎる場合がある。このような場合に取得される画像から検出された特徴点は再現性が低いので、地図情報の利用時の精度を低下させる要因となる。

本変形例では算出部１０２が地図精度情報に関して画像取得状況のランク付け処理を行い、特徴点数のランク付け情報と同様に蓄積誤差の評価に使用し、または併用する。例えば、画像取得状況のランク付け情報として“NOISELESS”，“NOISY”にそれぞれ対応する値が使用される。画像中のランダムノイズの画素数の割合が所定の閾値以下である場合、“NOISELESS”のランク付けがなされる。また画像中のランダムノイズの画素数の割合が所定の閾値より大きい場合、“NOISY”のランク付けがなされる。

また本変形例では、画像の平均輝度値を算出して下限または上限の閾値と比較することでランク付け処理が実行される。例えば、画像の平均輝度値が下限の閾値以下である場合、“DARK”のランク付けがなされる。また画像の平均輝度値が上限の閾値以上である場合、“LIGHT”のランク付けがなされる。画像の平均輝度値が下限の閾値より大きく、かつ上限の閾値未満である場合には“NORMAL”のランク付けがなされる。

本変形例によれば、各種のランク付け情報を蓄積誤差の評価に使用して、より高精度に蓄積誤差の度合いを評価して補正判定を行うことができる。

（第２変形例の２）
第２実施例では、撮影画像やカメラの撮影設定による取得画像の相違については考慮せずに、地図精度情報を利用する例を説明した。本変形例では、撮影画像やカメラの撮影設定の相違を示す情報を地図精度情報に含む。

一般に高解像度の画像で地図情報を作成する方が精度は高い。本変形例では、算出部１０２が撮影画像の解像度に対してランク付け処理を行い、“High”，“Middle”，“Low”といったランクを決定する。決定されたランクに対応する係数を用いて蓄積誤差の評価が行われる。

また本変形例では、算出部１０２が撮影画像の画質に関するカメラの撮影設定情報を取得してランク付け処理を行い、ランク付け情報を地図精度情報に用いる。例えば、ＡＥ（Auto Exposure）機能がカメラに備わっている場合、“HIGH QUALITY”のランク付けがなされる。ＡＥ機能がカメラに備わっていない場合、“LOW QUALITY”のランク付けがなされる。それぞれのランクに対応する係数が割り当てられて地図精度情報に使用される。
本変形例によれば、撮影画像や撮像装置の撮影設定の相違を示す情報を地図精度情報に含めることで、より高精度に蓄積誤差の度合いを評価して補正判定を行うことができる。

（第２変形例の３）
第２実施例では、キーフレームとして追加する取得画像の特徴点数を地図精度情報に用いる例を説明したが、特徴点数に限定されるものではない。本変形例では、検出された画像内の特徴点に相当する物体の位置と撮影位置（撮像装置の位置）との距離情報を地図精度情報として用いる。当該距離情報の算出は算出部１０２または距離情報算出部（不図示）が行う。

一般に取得画像内の特徴点に相当する物体の位置が、撮影位置に近い場合と撮影位置から遠い場合とでは、撮影位置に近い場合の方が、より高精度にＶｉｓｕａｌ ＳＬＡＭの自己位置推定を行うことが可能である。本変形例では撮像装置と、特徴点に相当する実空間内の物体との距離を算出する処理が行われる。評価部１０３は、所定の閾値よりも距離が大きい特徴点の数が多いほど、蓄積誤差度合いの値が大きくなるように係数を調整する処理を行うので、より的確に蓄積誤差を評価することができる。

本変形例によれば、画像内の特徴点に相当する物体の位置と撮影位置との距離情報を用いて、より高精度に蓄積誤差の度合いを評価して補正判定を行うことができる。

（第２変形例の４）
本変形例では、地図精度情報に係るランク付け処理において離散化された値ではなく、ランク付け処理の基準となる値を用いて誤差蓄積量を算出する。例えば、特徴点数の和の逆数を誤差発生量として用いて、蓄積誤差度合いを評価する処理が行われる。

本変形例によれば、地図精度情報に係るランク付け処理の基準となる値を用いて、より高精度に蓄積誤差の度合いを評価して補正判定を行うことができる。

（第２変形例の５）
センサ１００に振動が加わった場合、画像内の特徴点の検出精度が低下し、特徴点の位置姿勢に関する蓄積誤差が増加する。そこで本変形例では振れ検出手段としてセンサ１００または無人搬送車１に振動計を搭載して振動の振幅を算出する。評価部１０３は所定の時間間隔における振幅の和が大きいほど、地図情報作成精度が低下したと評価する。

また、照度変化が顕著な場合、画像内の特徴点のトラッキング精度が低下して、トラッキングが可能な特徴点数や特徴点の位置姿勢の蓄積誤差が増加する。そこで本変形例では、無人搬送車１が備えるセンサ１００の近傍に照度計を搭載して照度変化の大きさを算出する。評価部１０３は所定の時間間隔における照度変化の大きさの和が大きいほど、地図情報作成精度が低下したと評価する。さらに、外光が入射する環境では時刻の違いによる照度変化が発生するので、評価部１０３は、このような環境では地図情報作成精度が低いと評価する。

本変形例によれば、センサへの振動の影響や周辺環境の状況変化（照度変化、外光の有無、温度変化、湿度変化等）の影響を考慮して、より高精度に蓄積誤差の度合いを評価して補正判定を行うことができる。

［第３実施例］
図４および図５を参照して、本発明の第３実施例について説明する。前記実施例では、補正判定結果に基づいてユーザにループクロージャーによる補正を促す通知を行う実施形態を説明した。本実施例では、補正判定結果に基づいて、地図情報の作成中にＬＣによる補正が実行されるように無人搬送車１の位置または姿勢を変更する制御を行う例について説明する。地図情報の作成は、情報処理装置２００が備える地図情報作成部により公知の方法で実施される。

図４は本実施例における情報処理装置２００のハードウェア構成の一例を示すブロック図である。図２との相違点は、通知装置３００の代わりに制御装置４００を配置した点である。制御装置４００は、無人搬送車１の移動制御を行う。

図５は本実施例の処理全体の流れを示すフローチャートである。Ｓ５０１からＳ５０６の処理内容についてはそれぞれ、図３のＳ３０１からＳ３０６と同様であるので、それらの詳細な説明を省略する。

Ｓ５０６にて、地図情報の補正が必要であると判定された場合、Ｓ５０７の処理に進む。Ｓ５０７にて補正判定部１０４は、地図情報の補正のための移動指示を制御装置４００に通知する。移動指示を受けた制御装置４００は、Ｖｉｓｕａｌ ＳＬＡＭの地図情報作成時にて自動的にループクロージャーが実行されるように無人搬送車１を旋回させるか、または、移動経路が閉ループを形成するように無人搬送車１を移動させる制御を行う。Ｓ５０７の次にＳ５０８の処理に進む。また、Ｓ５０６にて地図情報の補正が必要でないと判定された場合には、Ｓ５０８の処理に進む。

Ｓ５０８でＣＰＵ２０１は、地図情報の作成が終了したか否かを判定する。地図情報の作成が終了したと判定された場合、一連の処理を終了し、地図情報の作成が終了していないと判定された場合にはＳ５０２に移行して処理を続行する。

制御装置４００は、撮像装置１０での連続撮影により取得される画像群に関し、時間的に前後の撮影画像の一部に、少なくとも共通の領域が映る点を維持しながら、無人搬送車１の旋回または移動を制御する。そして、無人搬送車１の旋回または移動の開始時点から撮像装置１０の撮影方向が３６０°回転して、開始位置付近または開始時点と同方向に戻るように無人搬送車１の動作制御が行われる。

本実施例によれば、蓄積誤差の評価に基づいた適切なＬＣによる補正実行に係る位置やタイミングを決定して、無人搬送車１の位置姿勢を変更する制御を行うことにより、無人搬送車１が自動的に地図情報の作成用撮影を実行することができる。よって高精度な地図情報を作成する作業の煩雑さを軽減できる。蓄積誤差の度合いの評価結果に基づいて、ＬＣによる補正の実行が必要な適切な位置とタイミングを判定し、ユーザの手間をかけずに自動でＬＣによる補正が施された、高精度な地図情報を生成することができる。

次に、第３実施例の変形例（第３変形例）を説明する。
（第３変形例）
第３実施例では無人搬送車１の旋回または移動の制御を行う例を説明したが、ＬＣによる補正のための制御方法として本変形例ではセンサ１００である撮像装置１０を回転または移動させる。撮像装置１０の回転機構部もしくは移動機構部、またはその両方が設けられており、制御装置４００は撮像装置１０の回転または移動の制御を行う。

前記実施形態では、地図情報作成用の撮影中に蓄積誤差の評価と補正判定の結果に基づいてＬＣによる補正の必要性をユーザに通知し、または前記移動制御、旋回もしくは回転制御を行う。これにより、高精度な地図情報を作成する作業の煩雑さをより軽減することができる。

最後に、前記第１実施例から第３実施例の変形例（第４変形例）を説明する。
（第４変形例の１）
本変形例では、蓄積誤差補正の必要性の判定において、地図精度に関する設定を反映させることができる。あらかじめ、ユーザ操作により入力部２０５を介して、高精度の地図情報を作成するのか、または低精度の地図情報を作成するのかを選択する処理が実行される。高精度の地図情報を作成することが選択された場合、情報処理装置２００はＬＣによる補正実行の頻度が高くなるように補正判定部１０４の判定パラメータを調整する。例えば、蓄積誤差補正の必要性の判定に用いられる閾値が低い値に設定される。一方、低精度の地図情報を作成することが選択された場合、情報処理装置２００はＬＣによる補正実行の頻度が低くなるように補正判定部１０４の判定パラメータを調整する。

本変形例によれば、ユーザ操作にしたがって所望の地図精度に関する選択を行い、地図情報作成用の撮影を行うことができる。

（第４変形例の２）
前記実施例では、無人搬送車１内に情報処理装置２００を備える実施形態を説明した。本変形例の情報処理装置２００は無人搬送車１の外部に設置され、無人搬送車１のセンサ１００から無線通信等でセンサ情報を取得する。

本変形例では、無人搬送車１の外部装置である情報処理装置２００によって、ＬＣによる蓄積誤差補正に関する判定やＬＣのための無人搬送車１の動作制御を行うことができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：センサ ２００：情報処理装置 ３００：通知装置 ４００：制御装置

Claims (18)

1. 移動体の移動量または周辺環境に関する情報を取得する取得手段と、
   前記取得手段により取得される情報を用いて、前記周辺環境の地図情報に係る位置情報の誤差発生量を算出する算出手段と、
   前記誤差発生量の蓄積度合いを評価する評価手段と、
   前記評価手段による蓄積度合いの評価結果を取得して、前記地図情報に対する蓄積誤差の補正処理の必要性を判定する判定手段と、を備え、
   前記判定手段は、前記補正処理の必要性の判定結果を通知装置、または、前記移動体の移動制御を行う制御装置に出力する
   ことを特徴とする情報処理装置。
2. 前記取得手段は、前記移動体の移動量に関する情報、または撮像手段により撮像された画像に基づく前記移動体の移動距離の情報を取得し、
   前記判定手段は、前記取得手段が前記情報を取得しているときに前記蓄積誤差の補正処理の実施について判定する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記評価手段は、前記地図情報の精度に関する地図精度情報を用いて前記蓄積度合いを評価する
   ことを特徴とする請求項１または請求項２に記載の情報処理装置。
4. 前記取得手段は、撮像手段により撮像された画像の情報を取得し、
   前記算出手段は、前記地図情報に係る地図要素の画像から検出される特徴点数を用いてランク付け処理を行い、ランク付けされた情報を前記地図精度情報として前記評価手段に出力する
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記取得手段は、撮像手段により撮像された画像の情報を取得し、
   前記算出手段は、前記画像の取得状況に係るランク付け処理を行い、ランク付けされた情報を前記地図精度情報として前記評価手段に出力する
   ことを特徴とする請求項３に記載の情報処理装置。
6. 前記取得手段は、撮像手段により撮像された画像の情報を取得し、
   前記算出手段は、前記画像の平均輝度値を算出して閾値と比較することでランク付け処理を行い、ランク付けされた情報を前記地図精度情報として前記評価手段に出力する
   ことを特徴とする請求項３に記載の情報処理装置。
7. 前記取得手段は、撮像手段により撮像された画像の情報を取得し、
   前記算出手段は、前記画像の解像度に対してランク付け処理を行い、ランク付けされた情報を前記地図精度情報として前記評価手段に出力する
   ことを特徴とする請求項３に記載の情報処理装置。
8. 前記取得手段は、撮像手段により撮像された画像の情報を取得し、
   前記算出手段は、前記画像の画質に関する前記撮像手段の撮影設定情報を取得してランク付け処理を行い、ランク付けされた情報を前記地図精度情報として前記評価手段に出力
   評価する
   ことを特徴とする請求項３に記載の情報処理装置。
9. 前記評価手段は、前記ランク付け処理の基準となる値を用いて誤差蓄積量を算出し、前記蓄積度合いを評価する
   ことを特徴とする請求項４から８のいずれか１項に記載の情報処理装置。
10. 前記取得手段は、撮像手段により撮像された画像の情報を取得し、
    前記算出手段は、前記画像内の特徴点に相当する物体の位置と前記撮像手段の位置との距離情報を前記地図精度情報として前記評価手段に出力する
    ことを特徴とする請求項３に記載の情報処理装置。
11. 前記取得手段は、前記移動体または撮像手段の振動を検出する検出手段からの情報を取得し、
    前記評価手段は、前記振動の振幅に基づく前記地図精度情報を用いて前記蓄積度合いを評価する
    ことを特徴とする請求項３に記載の情報処理装置。
12. 前記取得手段は、前記移動体の周辺環境の状況変化を検出する検出手段からの情報を取得し、
    前記評価手段は、前記周辺環境の状況変化に基づく前記地図精度情報を用いて前記蓄積度合いを評価する
    ことを特徴とする請求項３に記載の情報処理装置。
13. 前記取得手段は、前記周辺環境の照度を検出する検出手段からの情報を取得し、
    前記評価手段は、前記周辺環境の照度変化に基づく前記地図精度情報を用いて前記蓄積度合いを評価する
    ことを特徴とする請求項１２に記載の情報処理装置。
14. 請求項１から１３のいずれか１項に記載の情報処理装置と、
    前記移動体の移動量または周辺環境に関する計測を行うセンサと、
    前記補正処理の必要性の判定結果を通知する通知装置、または前記移動体の移動制御を行う制御装置と、を備える
    ことを特徴とする情報処理システム。
15. 前記判定手段により前記補正処理の必要があると判定された場合、前記制御装置は前記移動体または撮像手段の位置または姿勢を変更する制御を行う
    ことを特徴とする請求項１４に記載の情報処理システム。
16. 前記制御装置は前記移動体を旋回させるか、または、移動経路が閉ループを形成するように前記移動体を移動させる制御を行う
    ことを特徴とする請求項１５に記載の情報処理システム。
17. 移動体の周辺環境の地図情報を処理する情報処理装置にて実行される情報処理方法であって、
    前記移動体の移動量または周辺環境に関する情報を取得する取得工程と、
    取得された前記情報を用いて、前記地図情報に係る位置情報の誤差発生量を算出する算出工程と、
    前記誤差発生量の蓄積度合いを評価する評価工程と、
    前記評価工程による蓄積度合いの評価結果を取得して、前記地図情報に対する蓄積誤差の補正処理の必要性を判定する判定工程と、
    前記判定工程による前記補正処理の必要性の判定結果を通知装置、または、前記移動体の移動制御を行う制御装置に出力する出力工程と、を有する
    ことを特徴とする情報処理方法。
18. 請求項１７に記載の各工程をコンピュータに実行させるプログラム。
    
    

Images