JP2022182898A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】現在位置の推定処理にかかる負荷を低減する。【解決手段】本開示の情報処理装置は、画像取得部と制御部とを含む。前記画像取得部は、移動体の周囲の画像を取得する。前記制御部は、前記画像取得部の取得した画像から、前記移動体が移動可能な通路を含む移動可能領域を検出し、前記移動可能領域に基づいて決定される前記画像の一部である部分画像に基づき前記移動体の現在位置を推定する。【選択図】図１０

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。

移動体がカメラを用いて撮像した画像に基づいて、自己位置の推定を行う自己位置推定技術の開発が進められている。例えば、特許文献１では、撮像した画像からランドマークを検出し、検出した画像のランドマークと、ランドマークの位置を記憶した地図データと比較する処理を行うことにより、自己位置を推定している。

国際公開第２０２０／２１３２７５号

しかしながら、リアルタイム性の高い自己位置推定を行うために、先行技術では処理方法を改善する余地がある。

本開示の目的は、移動体の現在位置の推定処理を行う負荷を低減することができる情報処理装置、情報処理方法およびプログラムを提供することにある。

本開示の情報処理装置は、画像取得部と制御部とを含む。前記画像取得部は、移動体の周囲の画像を取得する。前記制御部は、前記画像取得部の取得した画像から、前記移動体が移動可能な通路を含む移動可能領域を検出し、前記移動可能領域に基づいて決定される前記画像の一部である部分画像に基づき前記移動体の現在位置を推定することを特徴とするものである。

本開示の情報処理方法は、移動体の周囲の画像を取得することと、前記画像から、前記移動体が移動可能な通路を含む移動可能領域を検出することと、前記移動可能領域に基づいて決定される前記画像の一部である部分画像に基づき前記移動体の現在位置を推定することとを含むことを特徴とするものである。

本開示のプログラムは、移動体の周囲の画像を取得することと、前記画像から、前記移動体が移動可能な通路を含む移動可能領域を検出することと、前記移動可能領域に基づいて決定される前記画像の一部である部分画像に基づき前記移動体の現在位置を推定することとを含む処理をコンピュータに実行させることを特徴とするものである。

本開示の実施形態によれば、現在位置の推定処理を行う負荷を低減した情報処理装置、情報処理方法およびプログラムを提供することができる。

一実施形態に係る情報処理システムの概略構成を示す図である。 図１の携帯型情報処理装置の概略構成を示すブロック図である。 フリースペースと自己位置推定処理エリアの位置関係の一例を示す図である。 フリースペースと自己位置推定処理エリアの位置関係の一例を示す図である。 移動体が移動しているときのフリースペース検出処理エリアの一例を示す図である。 移動体が移動しているときのフリースペース検出処理エリアの一例を示す図である。 図１の情報処理システムが適用される場面の一例である駅のプラットホームを上側から見た図である。 携帯型情報処理装置の制御部が実行する処理の一例を示すフローチャートである。 図８の目的地の方向を決定する処理の詳細を示すフローチャートである。 図８の自己位置推定処理（停止時）の詳細を示すフローチャートである。 画像取得部１１により取得される画像を加工した画像の一例を示す図である。 図８の自己位置推定処理（移動中）の詳細を示すフローチャートである。 図１１の画像を取得し移動した後に、画像取得部１１により取得される画像を加工した画像の一例を示す図である。 図１３の画像を取得し移動した後に、画像取得部１１により取得される画像を加工した画像の一例を示す図である。 他の一実施形態に係る情報処理システムの概略構成を示す図である。 図１５の情報処理装置の概略構成を示すブロック図である。 図１５の携帯型端末の概略構成を示すブロック図である。 地図情報を利用せずに自己位置推定を行う処理の一例を示すフローチャートである。 本開示の情報処理装置を有するロボットの構成を示すブロック図である。

以下、本開示の実施形態について、図面を参照して説明する。以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。

（全体構成）
一実施形態に係る情報処理システム１は、図１に示すように、携帯型情報処理装置１０と地図情報サーバ１００とを含んで構成される。携帯型情報処理装置１０と地図情報サーバ１００とは、ネットワーク５を介して通信可能に構成される。ネットワーク５は、インターネットまたは特定の通信事業者により提供されるネットワークを使用しうる。携帯型情報処理装置１０は、ネットワーク５に無線通信により接続することができる。携帯型情報処理装置１０は、第４世代移動通信システム（４Ｇ：4th Generation）、第５世代移動通信システム（５Ｇ：5th Generation）、または、Ｗｉ－Ｆｉ等の無線ＬＡＮを介してネットワーク５に接続されてよい。地図情報サーバ１００は、ネットワーク５に有線または無線通信により接続されてよい。

一実施形態において、情報処理システム１は、駅のプラットホームを歩行する視覚障害者である利用者の位置を検出し、当該利用者を、目的地まで導くシステムである。したがって、情報処理システム１は、歩行者案内システムと言い換えることができる。利用者は、携帯型情報処理装置１０の案内に従って、目的地まで移動する。この場合、利用者は人である。利用者は、移動体に含まれる。

地図情報サーバ１００は、携帯型情報処理装置１０に対して、当該携帯型情報処理装置１０の周辺の地図情報を送信することができる。地図情報は、ＶＳＬＡＭ(Visual Simultaneous Localization and Mapping)、および、ＶＩＳＬＡＭ (Visual-Inertial Simultaneous Localization and Mapping)等の技術を用いて予め作成された地図情報を用いることができる。地図情報は、固定物の３次元の情報を含むことができる。固定物は、駅の柱および屋根等の構造物、並びに、情報表示板、ベンチ及び自動販売機等の設置物を含む。固定物は、短時間に位置を変えることがない、または、位置を変えることが稀である物体である。地図情報は、固定物の特徴となる部分の３次元位置情報を含んでよい。

（携帯型情報処理装置の構成）
携帯型情報処理装置１０は、図２に示すように、画像取得部１１、入力部１２、通知部１３、制御部１４、地図情報取得部１５、記憶部１６、及び、警報部１７を含む。携帯型情報処理装置１０は、これらの構成部を有するスマートフォン、スマートウォッチ又は他の携帯型情報端末を用いることができる。

画像取得部１１は、利用者の周囲の画像を取得する。画像取得部１１は、例えばスマートフォンに内蔵するカメラとすることができる。画像取得部１１は、携帯型情報処理装置１０とは別に設けられたカメラから、画像データを取得するように構成されてよい。カメラは、通常の単眼のカメラ、複数の撮像部により構成されるステレオカメラ、および、奥行き情報を取得可能なデプスカメラを含む。画像取得部１１は、利用者の正面の方向の画像を取得することができる。このため、携帯型情報処理装置１０が、スマートフォンの場合、携帯型情報処理装置１０は、内蔵するカメラの光軸を利用者の正面方向に向けるように、利用者の体に装着されてよい。画像取得部１１は、カメラから取得した画像に対して、ひずみ補正、明度調整、コントラスト調整等の任意の画像処理を実行してよい。

入力部１２は、利用者から目的地の入力を受けるように構成される。入力部１２は、例えばマイクである。マイクにより入力された利用者の音声は、制御部１４により音声認識処理を受けてよい。

通知部１３は、制御部１４の制御の下で、利用者に対して進行、方向変更、および停止等の案内を行う。通知部１３は、スピーカ、イヤホン及びバイブレータ等を含んでよい。

制御部１４は、携帯型情報処理装置１０全体の処理を制御するとともに、種々の処理を実行する。制御部１４は、一つまたは複数のプロセッサ及びメモリを含む。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および、特定の処理に特化した専用のプロセッサが含まれる。専用プロセッサとしては、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）およびＦＰＧＡ（Field-Programmable Gate Array）等を採用しうる。メモリは、種々の処理のためのプログラム及び演算中の情報を記憶する。制御部１４の実行する処理は、以下においてさらに記載される。

地図情報取得部１５は、地図情報サーバ１００から地図情報を取得する。以下に説明する例では、地図情報は駅構内の地図情報であって、プラットホーム上の地図情報を含む。地図情報取得部１５は、ネットワーク５を介して地図情報サーバ１００と通信する通信部であってよい。地図情報取得部１５は、特定の無線通信規格に対応した無線通信機を含んでよい。

記憶部１６は、地図情報取得部１５を介して取得した地図情報、および、携帯型情報処理装置１０で実行される各種のプログラム等を記憶する。記憶部は、例えば半導体メモリ、磁気メモリ、および光メモリ等の何れか一つ以上を用いて構成されてよい。半導体メモリは、揮発性メモリおよび不揮発性メモリを含んでよい。

警報部１７は、制御部１４の制御の下で、制御部１４が利用者の危険な方向への移動を検出した場合に、利用者に対して危険を知らせるための警報を発生させる。警報部１７は、通知部１３と共通のスピーカ、イヤホン及びバイブレータ等を使用してよい。

（制御部の処理の概要）
制御部１４は、画像取得部１１で取得した画像に基づいて、利用者が移動可能な通路を含むフリースペースを検出することができる。「フリースペース」は、移動体の移動の障害となる障害物が存在しない通路上の移動可能な領域である。移動体が歩行者の場合、「フリースペース」は、歩行者が他の歩行者または通路上の障害物と干渉することなく歩行可能な通路上の領域を意味する。フリースペースは、移動可能領域と言い換えることができる。

制御部１４は、機械学習または深層学習（ディープラーニング）によるフリースペースの検知を行うことができる。制御部１４は、機械学習による学習済みのモデルを使用して、取得した画像内の、歩行者、ベンチ等の設置物、柱等の構造物を含む物体の検出と、フリースペースの検出とを行うことができる。このため、制御部１４は、専用の画像処理用のプロセッサを搭載することができる。画像処理用のプロセッサは、例えば、機械学習で使用される畳み込みニューラルネットワークを用いた画像判別処理を実装する。自動車等の移動体分野において、撮像装置から取得した画像に基づいて、フリースペースを検出する技術は、近年多くの研究がなされている。機械学習の結果、フリースペースを精度高く検出できることが知られている

制御部１４は、検出したフリースペースに基づいて、画像取得部１１で取得した画像の一部の領域を自己位置推定処理エリアとして決定することができる。制御部１４は、検出したフリースペースの一部または全部の領域を含んで、自己位置推定処理エリアとして決定してよい。自己位置推定処理エリアの画像は、部分画像である。部分画像とは、すなわち画像取得部１１で取得した画像の一部である。自己位置推定処理エリアは、画像取得部１１から取得した画像の領域の１／２以下、１／４以下、または、１／８以下の大きさとすることができる。制御部１４は、自己位置推定処理エリアに基づいて、携帯型情報処理装置１０の自己位置を推定する処理を実行する。携帯型情報処理装置１０の自己位置は、利用者の現在位置に対応する。すなわち、制御部１４は、利用者の現在位置を推定することができる。

図３に示すように、フリースペース２７は歩行者Ｐ、ベンチ等の設置物、柱２４等の構造物を含む障害物によって、二つ以上の領域で検出される場合がある。図３は、後述の例と同じく駅のプラットホームの上で撮像した画像の例である。図４から図６についても同様。利用者が移動する方向は、複数のフリースペース２７ａ、２７ｂの中で大きさがある所定の大きさ以上であり、面積が最も大きいフリースペース２７ａの重心位置Ｃｇを含んだ自己位置推定処理エリア２８により決定されてよい。図４に示すように、フリースペース２７が一つの領域で検出され、大きさが所定の大きさ以上である場合は、同様にフリースペースの重心位置Ｃｇを含んだ自己位置推定処理エリア２８が設定され、移動する方向が決定されてよい。

図５および図６を参照して、制御部１４は、カメラ等センサーの姿勢の変化が小さく、連続的に自己位置推定処理が実行されている場合、移動速度を推定することができる。移動速度によって、画像取得部１１で取得した画像の一部の領域をフリースペース検出処理エリア２７Ａとして決定できる。フリースペース検出処理エリア２７Ａは、画像取得部１１で取得した画像中でフリースペース２７の検出を行う領域である。フリースペース２７は、路面または床面等に位置するので、画像中の水平方向付近より下側から探索される。移動速度を考慮することによって、画像取得部１１で取得した画像中の利用者の最も近傍に位置する最下部の領域は、フリースペース検出処理エリア２７Ａから除外されてよい。利用者の近傍のエリアは、移動を考慮した場合、撮像した次の瞬間には画像に映らない領域になりフリースペースの検出が不要となるからである。

制御部１４は、自己位置推定処理エリア２８を長方形の領域として決定してよい。制御部１４は、自己位置推定処理エリア２８を少なくとも部分的にフリースペース２７を含むように決定する。制御部１４は、自己位置推定処理エリア２８を画像取得部１１が取得した画像から、所定の大きさ以上のフリースペース２７を含むように決定してよい。例えば、制御部１４は、画像中のフリースペース２７の中から所定の大きさ以上の大きさを有する凸な平面領域（例えば、凸多角形）または凹な平面領域（例えば、凹多角形）を抽出し、この凸な平面領域または凹な平面領域を含むように自己位置推定処理エリア２８を決定してよい。制御部１４は、自己位置推定処理エリア２８を位置推定のための特徴となる物体を含むように決定してよい。制御部１４は、自己位置推定処理エリア２８を画像取得部１１が取得した画像から、他の歩行者等の移動する物体を含まないように決定してよい。

制御部１４は、自己位置推定処理エリア２８の画像と、地図情報取得部１５から取得される利用者の周辺の地図情報とに基づいて、携帯型情報処理装置１０の自己位置を推定する。自己位置は、携帯型情報処理装置１０の空間内の３次元で表される位置に加え、３次元で表される姿勢または向きの情報を含む６自由度の量として表すことができる。携帯型情報処理装置１０の自己位置は、利用者の現在位置と言い換えることができる。制御部１４は、例えば、自己位置推定処理エリア２８に含まれる特徴点と、ＶＳＬＡＭ等の技術で作成されたプラットホーム上の地図情報の特徴点とのマッチングを行うことで自己位置を推定することができる。制御部１４は、自己位置推定処理エリア２８の画像に含まれる、プラットホームのエッジ部、プラットホームの番号を表示する表示板、および、自動販売機等の特徴となる物体の画像の方向やこれらの物体との距離と、地図情報とのマッチングにより自己位置を推定してよい。

制御部１４は、入力部１２から入力された音声を認識して、目的地を認識するように構成される。制御部１４は、フリースペース２７と地図情報とに基づいて目的地に移動するための移動方向を決定することができる。制御部１４は、目的地に近づくため、利用者を一定以上の大きさを有するフリースペース２７の方向に案内することができる。制御部１４は、利用者の移動中に移動方向を順次決定し、該移動方向に基づいて利用者の移動を案内することができる。

一例として、本開示の携帯型情報処理装置１０が適用される駅のプラットホーム２０の構成例が、図７に示される。プラットホーム２０には、地下の通路からプラットホーム２０上に移動するための階段２１がある。利用者Ｕは、階段２１を上った位置から、目的地Ｇである乗車位置まで移動するものとする。プラットホーム２０は、２本の線路２２ａおよび２２ｂに挟まれた島式ホームとする。

プラットホーム２０は、全体が上部を屋根２３で覆われている。屋根２３は、プラットホーム２０上に配置された複数の柱２４により支えられる。さらに、プラットホーム２０上には、ベンチ、自動販売機、売店、事務所、および、情報表示板などの種々の固定物２５が設置されている。

（利用者を目的地に案内する処理フロー）
図８を参照して、携帯型情報処理装置１０の制御部１４の処理フローの一例を説明する。

まず、利用者Ｕが携帯型情報処理装置１０の入力部１２に目的地情報を音声で入力することにより、制御部１４はこの音声を認識し目的地情報を取得する（ステップＳ１０１）。利用者Ｕは、目的地Ｇを「Ａ駅の４番線１号車の２番乗車位置まで」のように発話して指定することができる。携帯型情報処理装置１０が、ＧＰＳ受信機から得られる緯度及び経度情報、または、携帯電話の通信可能な基地局の位置情報を取得可能な場合、駅名等のおよその現在位置を示す情報の入力は、省略することができる。利用者Ｕは、目的地Ｇの入力に加え、「北側階段上から」のように、音声により現在位置の情報を入力することができる。

次に、制御部１４は、地図情報取得部１５を介して、地図情報サーバ１００から利用者Ｕの現在位置の周辺の地図情報を取得する（ステップＳ１０２）。利用者Ｕが徒歩で移動する場合、利用者Ｕの現在位置の周辺の地図情報は、目的位置の周辺の地図情報に少なくとも部分的に重複する。したがって、制御部１４は、ステップＳ１０１で入力された目的地を含む周辺の地図情報を取得してよい。制御部１４は、取得した地図情報を記憶部１６に記憶する。

制御部１４は、ステップＳ１０２の後、目的地Ｇの方向を決定する（ステップＳ１０３）。目的地Ｇの方向を決定するフローは、図９に示される。

まず、制御部１４は、利用者Ｕに対して、画像取得部１１の画像取得に使用されるカメラを、利用者Ｕを中心にして水平方向に移動するように指示する（ステップＳ２０１）。利用者Ｕがカメラを搭載したスマートフォンを体に装着している場合、制御部１４は利用者Ｕに対してその場でゆっくり回転しながら向きを変えるように指示をする。画像取得部１１は、順次連続的に画像を取得する（ステップＳ２０２）。これにより、画像取得部１１の取得する画像の方向は、利用者Ｕを中心として変化する。

制御部１４は、画像取得部１１から取得した画像を順次地図情報と対比することにより、自己位置を推定するとともに、取得した画像の方向と地図上の目的地Ｇの方向とが一致しているか判定する（ステップＳ２０３）。例えば、制御部１４は、画像に含まれる目印となる物体（ランドマーク）の位置と、同物体の地図情報における位置から、自己位置と目的地Ｇの方向の一致又は不一致を決定することができる。

制御部１４が画像取得部１１から取得した画像の方向が、目的地Ｇの方向と一致していない場合（ステップＳ２０４：Ｎｏ）、制御部１４は、ステップＳ２０２の処理に戻る。制御部１４は、取得した画像の方向と目的地Ｇの方向とが一致するまで、利用者Ｕにより移動されるカメラの向きに応じて、ステップＳ２０２からＳ２０４の処理を繰り返す。

ステップＳ２０４において、画像取得部１１から取得した画像の方向が移動方向に一致した場合（ステップＳ２０４：Ｙｅｓ）、制御部１４は、利用者Ｕに目的地Ｇの方向を通知する（ステップＳ２０５）。例えば、制御部１４は、通知部１３のバイブレータを振動させることにより、カメラが現在向いている向きが目的地Ｇの向きであることを、利用者Ｕに知らせる。これにより、利用者Ｕは、目的地Ｇの方向を把握することができる。

次に、図８のフローチャートに戻り、制御部１４は、停止中において自己位置を推定する自己位置推定処理を実行する（ステップＳ１０４）。自己位置推定処理は、図１０を参照して以下に説明される。

まず、制御部１４は、画像取得部１１を介して、目的地の方向の画像を取得する（ステップＳ３０１）。目的地の方向は、利用者Ｕの向いている正面の方向と一致してよい。図１１は、画像取得部１１により取得される画像を加工した画像の一例を説明する図である。画像取得部１１により取得される画像は、プラットホーム２０、線路２２ａ，２２ｂ、屋根２３、柱２４に加え、線路２２ａおよび２２ｂの番号を示す表示板２６ａおよび２６ｂ等が含まれてよい。表示板２６ａ及び２６ｂは、情報表示板である。

制御部１４は、取得した画像からフリースペース２７を検出する（ステップＳ３０２）。フリースペース２７は、図１１において、プラットホーム２０上の網掛された領域として示される。プラットホーム２０上の柱２４等の構造物及び歩行者Ｐと重なる部分は、利用者Ｕが移動できない領域であり、フリースペース２７に含まれない。

次に、制御部１４は、フリースペース２７に基づき画像の一部分を自己位置推定処理エリア２８（図１１において二点鎖線で囲まれた領域）として決定する（ステップＳ３０３）。自己位置推定処理エリア２８の画像は部分画像である。例えば、制御部１４は、図１１においてプラットホーム２０上の比較的広いフリースペース２７を含む、柱２４の左側の長方形の領域を自己位置推定処理エリア２８として決定する。自己位置推定処理エリア２８は、歩行者Ｐを含まないように決定されてよい。自己位置推定処理エリア２８は、プラットホーム２０のエッジ部２０ａ、屋根２３、および、線路２２ａの番号を示す表示板２６ａ等のマッチングにおいて特徴となる物体またはその部分の画像が含まれてよい。このため、図１１の例では、自己位置推定処理エリア２８は、フリースペース２７の位置する画像内の下部から画像内の上部までの領域を含んでいる。

制御部１４は、自己位置推定処理エリア２８の画像と地図情報とに基づき自己位置を推定する（ステップＳ３０４）。自己位置推定には、ＶＳＬＡＭ、ＶＩＳＬＡＭ、ＶＯ（Visual Odometry）、または、ＶＩＯ（Visual Inertial Odometry）等の移動体による自己位置推定の技術を利用することができる。位置推定の技術は、これらに限られない。

例えば、制御部１４は、自己位置推定処理エリア２８の画像から、複数の特徴点を抽出する。制御部１４は、自己位置推定処理エリア２８の画像に含まれる複数の特徴点と地図情報に含まれる複数の特徴点のマッチングにより、携帯型情報処理装置１０の自己位置を推定することができる。制御部１４は、さらに、画像に含まれるベンチおよび自動販売機等の固定物２５、ならびに、屋根２３および線路の番号を表示する表示板２６ａ等を特徴物として、自己位置推定に利用することができる。プラットホーム２０のエッジ部２０ａを表す直線の画像は、特徴となる画像要素として自己位置推定に利用することができる。表示板２６ａには、例えば「３」のような線路２２ａに割り振られた番号が表示される。制御部１４は、表示板２６ａの文字等の特徴を位置推定に利用してよい。

地図情報には含まれない画像中の歩行者Ｐ等の移動可能な物体は、自己位置推定を行ううえにおいてノイズとなる。自己位置推定処理エリア２８は、フリースペース２７の一部を含むので、画像中の特徴点または特徴物が歩行者Ｐ等と重なることがない、または、重なることが少ない。さらに、自己位置推定処理エリア２８は、プラットホーム２０のエッジ部２０ａ、線路の番号を含む表示板２６ａ、および、柱２４等の画像中の特徴となる画像部分を含む。このため、制御部１４は、地図情報に含まれる特徴点または特徴物を精度よく検出することができる。したがって、制御部１４は、自己位置推定処理エリア２８を、画像取得部１１で取得した画像全体から、狭い範囲に限定しながら、精度よく自己位置推定をすることが可能となる。これによって、利用者Ｕの現在位置を推定する処理を行う負荷が低減される。

次に、制御部の処理は、図８に戻る。制御部１４は、移動可能なスペースの有無を判定する（ステップＳ１０５）。移動可能なスペースは、フリースペース２７に基づいて判定されてよい。フリースペース２７が、目的地Ｇに向かう方向に所定の大きさ以上の移動可能なスペースを含んでいる場合（ステップＳ１０５：Ｙｅｓ）、当該移動可能なスペースの方向が移動方向となる。移動可能なスペースは、例えば、他の物体に干渉せずに所定の距離、例えば、２ｍまたは３ｍ以上進むことができる空間を意味する。フリースペース２７が、目的地Ｇに向かうために移動可能なスペースを含まない場合（ステップＳ１０５：Ｎｏ）、制御部１４はステップＳ１０４に戻り、移動可能なスペースを探索する処理を繰りかえす。時間とともに、利用者Ｕの周囲の歩行者Ｐが移動することにより、利用者Ｕの移動が可能なる。

制御部１４は、ステップＳ１０５で移動可能なスペースがあると判定した場合、移動方向に移動を開始することを、通知部１３のスピーカまたはイヤホンを介して利用者Ｕに通知する（ステップＳ１０６）。例えば、図１１の例では、制御部１４は、柱２４を避けて前進するために、「左に１ｍ進んで、元の向きに戻って直進して下さい。」のように、利用者Ｕに対して通知することができる。このため、制御部１４は、音声合成機能を有してよい。

移動開始後の移動中に、制御部１４は、自己位置推定処理（ステップＳ１０７）を実行する。ステップＳ１０７の移動中の自己位置推定処理のフローは、図１２に示される。図１２に示す自己位置推定処理（移動中）は、図１０に示す自己位置推定処理（停止時）と部分的に共通する。ステップＳ４０１およびステップＳ４０２は、ステップＳ３０１およびステップＳ３０２と同一または類似する。ステップＳ４０３において、制御部１４は、フリースペース２７と、自己位置及び推定される携帯型情報処理装置１０の移動速度に基づき画像の一部分を自己位置推定処理エリア２８として決定する。携帯型情報処理装置１０の移動速度は、利用者Ｕの移動速度である。ステップＳ４０３では、ステップＳ３０３とは異なり利用者Ｕの移動速度が考慮される。制御部１４は、移動速度に基づいて移動速度の情報がない場合に比べて自己位置推定処理エリア２８をさらに狭めることができる。移動速度は、図１２のフローチャートの処理で、後述するステップＳ４０５において推定された移動速度が使用される。使用可能な所定の移動速度の範囲内で使用され、移動速度が速いほどフリースペース検出処理エリア２７Ａ及び自己位置推定処理エリア２８を狭めて使用することが可能である。なお、自己位置推定処理を開始してから時間が経過することにより、自己位置推定精度が向上している場合には、自己位置推定処理エリア２８を徐々に狭めていっても良い。

制御部１４は、自己位置推定処理エリア２８の画像と地図情報とに基づき最新の自己位置を推定する（ステップＳ４０４）。制御部１４は、ステップＳ３０４と同一または類似の方法で自己位置を推定してよい。制御部１４は、直前に撮像した画像からの画像の変化を考慮して、現在の自己位置を推定してよい。制御部１４は、自己位置の情報を順次更新する。制御部１４は、自己位置の時系列の情報を順次記憶部１６に記憶してよい。

制御部１４は、自己位置の時系列の変化に基づいて最新の移動速度を推定することができる（ステップＳ４０５）。制御部１４は、移動速度の情報を順次更新する。

図１２の処理の後、制御部１４は、図８のフローチャートの処理に戻る。制御部１４は、移動可能なスペースの有無を判定する（ステップＳ１０８）。ステップＳ１０８は、ステップ１０５と類似して、フリースペース２７に基づいて判定される。ステップＳ１０８の判定においては、移動速度が考慮される。移動速度が速い場合、利用者Ｕが移動することを考慮して、利用者Ｕが停止している場合よりも、利用者Ｕのより前方のフリースペース２７の有無が判定に用いられる。

制御部１４は、フリースペース２７の利用者Ｕの前方に十分な大きさの移動可能なスペースがない場合（ステップＳ１０８：Ｎｏ）、通知部１３のスピーカまたはイヤホン等を用いて、利用者Ｕに停止要求を通知する（ステップＳ１０９）。例えば、制御部１４は、利用者Ｕに対して、「止まってください」のような音声を通知する。これによって、利用者Ｕは目的地Ｇに向かう方向に移動可能なスペースがない場合、歩行を停止することにより他の歩行者Ｐまたは固定物２５と接触すること避けることができる。

制御部１４は、移動可能なスペースがある場合（ステップＳ１０８：Ｙｅｓ）、利用者Ｕに移動方向を指示する（ステップＳ１１０）。一例として、図１１の画像を撮像後に移動を開始した利用者Ｕの携帯型情報処理装置１０が、図１３に示す画像を取得した場合を想定する。この場合、制御部１４は、プラットホーム２０上のフリースペース２７に基づいて、移動可能な方向を判定する。図１３の例では、撮像方向中央に移動可能なスペースがあるので、制御部１４は、利用者Ｕに対して通知部１３のスピーカまたはイヤホンを介して、「直進して下さい」のように進行方向を指示してよい。

制御部１４は、移動可能なスペースの有無を判定するとき、携帯型情報処理装置１０の移動速度およびフリースペース２７の時間的変化を考慮することができる。利用者Ｕ自身の移動および歩行者Ｐの移動によって、画像取得部１１で取得される画像中のフリースペース２７の大きさおよび形状は、時間とともに変化する。制御部１４は、フリースペース２７の所定時間後（例えば、１秒から３秒後）の変化を予測して、利用者Ｕに移動方向の指示または停止指示をしてよい。

ステップＳ１１０の後、制御部１４は、携帯型情報処理装置１０が、目的地Ｇである乗車位置に到着したか否かを判定する（ステップＳ１１１）。目的地Ｇへの到着は、目的地Ｇへ完全に到達した場合以外に、目的地Ｇの近傍に到着した場合を含む。目的地Ｇへの到着は、ステップＳ１０７における自己位置推定処理で推定された自己位置と目的地Ｇの位置との対比により行うことができる。

制御部１４は、ステップＳ１１１で目的地Ｇに未だ到着していないと判断した場合（ステップＳ１１１：Ｎｏ）、ステップＳ１０７に戻って、利用者Ｕを案内する処理を続ける。

制御部１４は、ステップＳ１１１で目的地Ｇである乗車位置に到着したと判断した場合、利用者Ｕに通知部１３のスピーカまたはイヤホンを介して目的地Ｇに到着したことを通知する。例えば、図１３の画像を撮像後に、利用者Ｕの携帯型情報処理装置１０が図１４の画像を取得した場合を想定する。この場合、目的地Ｇである乗車位置は、プラットホーム２０の右側に位置する。一方、利用者Ｕの正面には歩行者Ｐが存在するので、前方のフリースペース２７が狭くなっている。このような場合、制御部１４は、利用者Ｕに対して、「右へ１ｍ進んで、元の向きに戻り３ｍ直進した右側が乗車位置です」のように通知することができる。

なお、図８のフローチャートには含まれていないが、制御部１４は、利用者Ｕがプラットホーム２０のエッジ部２０ａに近づいた場合に、警報を発することができる。例えば、制御部１４は、プラットホーム２０のエッジ部２０ａからプラットホーム２０の内側方向に所定の幅（例えば、５０ｃｍ）の領域を安全確保領域とすることができる。安全確保領域は、フリースペース２７に含まれてよい。図１１、図１３および図１４に、プラットホーム２０上の安全確保領域の境界を示す仮想的な直線である安全確保領域境界線２９が示されている。制御部１４は、携帯型情報処理装置１０の推定された自己位置が、安全確保領域境界線２９を超えて安全確保領域に入った場合、警報部１７により、利用者Ｕに対する警報を発生させることができる。これにより、携帯型情報処理装置１０は、利用者Ｕに対してシームレスな移動支援を行いながら、プラットホーム２０からの転落を防止することができる。

以上説明したように本実施形態によれば、制御部１４は、フリースペース２７に基づいて決定されたフリースペース２７の一部を含む自己位置推定処理エリア２８により、自己位置を推定する。フリースペース２７は、自己位置推定をするうえでノイズとなる歩行者Ｐ等の移動する物体が含まれない。このため、制御部１４は、自己位置推定処理エリア２８の画像から、地図情報と対比して位置を推定するための特徴点または特徴物を精度よく検出することができる。したがって、制御部１４は、画像取得部１１から取得した画像の一部分である自己位置推定処理エリア２８を用いて自己位置推定を行うことで、所望の精度を満足しながら処理負荷を低減することができる。携帯型情報処理装置１０の自己位置は、利用者Ｕの現在位置に対応する。したがって、本実施形態によれば、よりリアルタイム性の高い利用者Ｕの現在位置の推定、および、目的地への案内が可能になる。

（情報処理装置の機能分担）
図１の情報処理システム１では、携帯型情報処理装置１０が制御部１４により利用者の現在位置の推定、および、目的地Ｇへの案内の処理を行っていた。他の実施形態では、携帯型情報処理装置１０の行っていた処理は、他の装置と機能分担することができる。一例として、図１５に示す情報処理システム２は、情報処理装置３０と携帯型端末４０と地図情報サーバ１００とを含む。情報処理装置３０は、利用者から離れた情報処理センター等に配置されるコンピュータである。携帯型端末４０は、利用者が携帯するスマートフォン等の情報端末である。

例えば、情報処理装置３０は、図１６に示すように、第１通信部３１と、制御部３２と、記憶部３３とを含む。第１通信部３１は、ネットワーク５を介して一つ以上の携帯型端末４０および地図情報サーバ１００と通信をすることができる。制御部３２は、携帯型端末４０から画像を取得し、利用者の現在位置の推定、および、移動可能なスペースの有無の判定等の処理を実行する。制御部３２は、一つ以上のプロセッサを含んで構成される。記憶部３３は、地図情報サーバ１００から第１通信部３１を介して取得した、利用者の周辺の地図情報を記憶する。

例えば、携帯型端末４０は、図１７に示すように、第２通信部４１、画像取得部４２、入力部４３、通知部４４、制御部４５、および、警報部４６を含む。画像取得部４２、入力部４３、通知部４４、および、警報部４６は、それぞれ、図２の携帯型情報処理装置１０の画像取得部１１、入力部１２、通知部１３、および、警報部１７と同一または類似に構成される。制御部４５は、制御部１４と同じに一つ以上のプロセッサを含んで構成される。制御部４５は、情報処理装置３０の制御部３２と連携して、利用者を目的地Ｇまで案内する。

以上のような構成により、情報処理システム２では、利用者の周辺の画像の取得および利用者に対する情報の入出力を携帯型端末４０により行い、取得した情報の処理を情報処理装置３０で行うことができる。例えば、図８のフローチャートにおける、ステップＳ１０１、Ｓ１０６、Ｓ１０９、Ｓ１１０およびＳ１１２に相当する処理の少なくとも一部が携帯型端末４０により実行され、他のステップに相当する処理が情報処理装置３０により実行されてよい。このようにすることによって、携帯型端末４０、または、図１の携帯型情報処理装置１０ですべての処理をする場合に比べて、携帯型端末４０側の処理負荷を低減することができる。上記機能分担は例示である。情報処理装置３０と携帯型端末４０との間は、種々の方法で機能を分担することができる。

（地図情報がない場合の移動支援）
上記実施形態では、携帯型情報処理装置１０は外部の地図情報サーバ１００から地図情報を取得する。携帯型情報処理装置１０は、所定の環境下で外部から地図情報を取得しないで、取得した画像のみから相対的な自己位置を推定することが可能である。携帯型情報処理装置１０は、地図情報が存在しない駅のプラットホーム２０で、プラットホーム２０のエッジ部２０ａを検出し、プラットホーム２０上での自己位置を推定することができる。この場合の自己位置は、エッジ部２０ａからの距離およびエッジ部２０ａに対する姿勢または向きである。携帯型情報処理装置１０は、利用者に対して、プラットホーム２０を歩行する際にエッジ部２０ａまで安全な距離を確保した移動支援を行うことができる。

地図なしで携帯型情報処理装置１０の制御部１４が実行する処理を、図１８を参照して説明する。

まず、制御部１４は、画像取得部１１を介して利用者Ｕの正面に位置する利用者Ｕの周辺の画像を取得する（ステップＳ５０１）。

制御部１４は、取得した画像からフリースペース２７を検出する処理を実行する（ステップＳ５０２）。

制御部１４は、検出したフリースペース２７に基づいて、画像取得部１１から取得した画像の一部分を自己位置推定処理エリア２８として決定する（ステップＳ５０３）。自己位置推定処理エリア２８は、フリースペース２７の一部分を含む。地図情報なしで、駅のプラットホーム２０において自己位置を推定する場合、制御部１４は、プラットホーム２０のエッジ部２０ａが含まれる範囲を自己位置推定処理エリア２８として決定してよい。

制御部１４は、ステップＳ５０３で決定された自己位置推定処理エリアの画像から、特徴となる画像要素を抽出する（ステップＳ５０４）。この例では、プラットホーム２０のエッジ部２０ａに対応する直線が抽出される。

制御部１４は、画像要素に対応する実空間の空間要素に対する距離及び姿勢を現在位置として判定する（ステップＳ５０５）。この例では、空間要素は、検出した直線に対応する、実空間におけるプラットホーム２０の端部であるエッジ部２０ａである。すなわち、制御部１４は、プラットホーム２０のエッジ部２０ａに対する利用者Ｕの距離および利用者Ｕの向きを検出する。

さらに、制御部１４は、位置検出で検出された現在位置の変化から、携帯型情報処理装置１０の、空間要素（すなわち、プラットホーム２０のエッジ部２０ａ）に対する、移動速度を推定することができる（ステップＳ５０６）。移動速度は、エッジ部２０ａに対する距離の時間変化として算出することができる。

制御部１４は、空間要素に対する距離および移動速度の少なくとも何れかが、所定の条件を満たす場合に、警報部１７から利用者Ｕに対して警報を発することができる（ステップＳ５０７）。例えば、制御部１４は、携帯型情報処理装置１０のエッジ部２０ａからの距離が、所定距離よりも短くなった場合に、利用者Ｕに対して、プラットホーム２０から転落する可能性があることを警告する。また、例えば、制御部１４は、携帯型情報処理装置１０がエッジ部２０ａに向かう方向に、所定速度以上の速さで移動している場合、エッジ部２０ａからの距離と移動速度とに基づいて警報を発してよい。例えば、制御部１４は、現在の速度で移動を継続した場合に、所定時間（例えば、３秒間）以内にエッジ部２０ａに到達する場合に警報を発してよい。

以上説明したように、携帯型情報処理装置１０は、地図情報がない場合でも、駅のプラットホーム２０などの所定の条件下で、自己位置推定をすることができる。携帯型情報処理装置１０は、利用者Ｕがプラットホーム２０のエッジ部２０ａに近づくと警報を発生するので、利用者Ｕは駅のプラットホーム２０上で、エッジ部２０ａまでの安全な距離を確保した移動が可能になる。また、携帯型情報処理装置１０は、取得した画像の一部である自己位置推定処理エリア２８の画像を用いて自己位置を推定するので、自己位置推定に係る処理負荷を低減することができる。

（ロボットへの適用）
上記実施形態において、移動体は視覚障害者であるものとして説明したが、移動体は視覚障害者等の人に限られない。また、本開示の情報処理装置およびプログラムが適用される環境は、駅のプラットホーム２０に限られない。例えば、移動体はロボットであってよい。ロボットには、物品を運搬するロボット、無人で警備を行うロボット、および、掃除をするロボット等が含まれる。また、適用される環境は、駅のプラットホーム以外の施設であってよい。

本開示の一実施形態に係る情報処理装置５０をロボット６０に採用した例が、図１９に示される。ロボット６０は、情報処理装置５０と、カメラ６１と、駆動機構６２とを含む。カメラ６１は、ロボット６０の通常前進する方向に光軸を向けて取り付けられる。駆動機構６２は、モーターおよびタイヤ等任意のロボット６０を移動させる手段を含む。駆動機構６２は、ロボット６０の進む方向を変更可能である。駆動機構６２は、ロボット６０を情報処理装置５０からの指示に従って移動させる。情報処理装置５０は、図２の携帯型情報処理装置１０と類似しており、画像取得部５１、入力部５２、出力部５３、制御部５４、地図情報取得部５５、および、記憶部５６を含む。

画像取得部５１は、カメラ６１が撮像した画像を順次取得する。

入力部５２は、ロボット６０の移動の目的地の入力を受けるように構成される。ロボット６０は、キーボード等の任意の入力装置または通信により目的地の入力を受けてよい。

出力部５３は、ロボット６０の移動中の状態または移動完了などを、予め定められた外部に通知する。出力部５３は、外部と無線通信を行う通信インタフェースを含んでよい。

制御部５４は、情報処理装置５０の全体を制御するとともに、駆動機構６２を制御してロボット６０の移動を制御する。制御部５４は、携帯型情報処理装置１０の制御部１４と同じに、一つまたは複数のプロセッサおよびメモリを含んでよい。制御部５４は、制御部１４と同じに、フリースペース検知処理、自己位置推定処理、移動可能なスペースの検出処理等を実行してよい。制御部５４は、入力部５２から入力された目的地に移動するように、順次移動可能なスペースを検出して進行するように、駆動機構６２を制御してよい。

地図情報取得部５５は、携帯型情報処理装置１０の地図情報取得部１５と同じに、地図情報サーバ１００から地図情報を取得することができる。記憶部５６は、携帯型情報処理装置１０の記憶部１６と同じに、地図情報および各種プログラム等を記憶することができる。ロボット６０が特定の場所のみで使用される場合、地図情報取得部５５および地図情報サーバ１００は不要である。地図情報はあらかじめ記憶部５６に記憶されていてよい。

ロボット６０の情報処理装置５０に含まれる制御部５４は、図８に示された携帯型情報処理装置１０の実行する処理と類似の処理を実行する。ただし、制御部５４は、入力部４３または外部システムから目的地情報を取得する。制御部５４は、利用者Ｕに対して指示または通知を行うことに代えて、駆動機構６２を駆動させロボット６０を移動させる。

以上説明したような構成によって、ロボット６０は、歩行者または他のロボットとぶつからないようにしながら、目的地まで移動することが可能になる。ロボット６０は、駅のプラットホーム上のみならず、店舗、病院または公共施設等で利用することができる。

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した非一時的なコンピュータ可読媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。

１，２ 情報処理システム
５ ネットワーク
１０ 携帯型情報処理装置（情報処理装置）
１１ 画像取得部
１２ 入力部
１３ 通知部
１４ 制御部
１５ 地図情報取得部
１６ 記憶部
１７ 警報部
２０ プラットホーム
２１ 階段
２２ａ，２２ｂ 線路
２３ 屋根
２４ 柱
２５ 固定物
２６ａ，２６ｂ 表示板（情報表示板）
２７ フリースペース（移動可能領域）
２７Ａ フリースペース検出処理エリア
２８ 自己位置推定処理エリア（部分画像）
２９ 安全確保領域境界線
３０ 情報処理装置
３１ 第１通信部
３２ 制御部
３３ 記憶部
４０ 携帯型端末
４１ 第２通信部
４２ 画像取得部
４３ 入力部
４４ 通知部
４５ 制御部
４６ 警報部
５０ 携帯型情報処理装置
５１ 画像取得部
５２ 入力部
５３ 通知部
５４ 制御部
５５ 記憶部
５６ 警報部
１００ 地図情報サーバ
Ｕ 利用者（移動体）
Ｐ 歩行者
Ｇ 目的地

Claims (12)

1. 移動体の周囲の画像を取得する画像取得部と、
   前記画像取得部の取得した画像から、前記移動体が移動可能な通路を含む移動可能領域を検出し、前記移動可能領域に基づいて決定される前記画像の一部である部分画像に基づき前記移動体の現在位置を推定する制御部と
   を備える情報処理装置。
2. 前記移動可能領域は、前記移動体の移動の障害となる障害物が存在しない通路上の領域である、請求項１に記載の情報処理装置。
3. 前記部分画像は、前記移動可能領域を含む画像である、請求項１又は２に記載の情報処理装置。
4. 前記制御部は、前記移動体の現在位置の推定を開始した時からの経過時間に応じて、前記部分画像の大きさを小さくさせる、請求項１から３に記載の情報処理装置。
5. 前記移動体の周囲の地図情報を取得する地図情報取得部をさらに備え、
   前記制御部は、前記部分画像と前記地図情報とに基づいて、前記現在位置を判定する、請求項１から４の何れか一項に記載の情報処理装置。
6. 前記地図情報は、前記移動体の周辺の固定物の３次元の位置情報を含む、請求項５に記載の情報処理装置。
7. 前記制御部は、駅における、プラットホームのエッジ部、柱、および、情報表示板の少なくとも何れかを含む前記部分画像と、前記地図情報とを対比して前記現在位置を判定する、請求項５または６に記載の情報処理装置。
8. 前記移動体の目的地の情報の入力を受ける入力部をさらに備え、
   前記制御部は、前記移動可能領域、前記現在位置、及び前記地図情報に基づいて、前記目的地に移動するための移動方向を決定する、請求項５から７の何れか一項に記載の情報処理装置。
9. 前記制御部は、前記部分画像から駅のプラットホームのエッジ部に対応する直線を抽出し、抽出した該エッジ部からの距離を、前記現在位置として判定する、請求項１から４の何れか一項に記載の情報処理装置。
10. 前記移動体は人であり、前記情報処理装置は、前記移動体に対して警報を発する警報部をさらに備え、前記制御部は前記移動体の前記プラットホームの前記エッジ部からの距離及び前記プラットホームの前記エッジ部に向かう移動速度の少なくとも何れかに基づいて、前記移動体に対する警報を発するように構成される、請求項９に記載の情報処理装置。
11. 移動体の周囲の画像を取得することと、
    前記画像から、前記移動体が移動可能な通路を含む移動可能領域を検出することと、
    前記移動可能領域に基づいて決定される前記画像の一部である部分画像に基づき前記移動体の現在位置を推定することと
    を含む情報処理方法。
12. 移動体の周囲の画像を取得することと、
    前記画像から、前記移動体が移動可能な通路を含む移動可能領域を検出することと、
    前記移動可能領域に基づいて決定される前記画像の一部である部分画像に基づき前記移動体の現在位置を推定することと
    を含む処理をコンピュータに実行させるプログラム。

Images