JP2023046298A - 音声ガイドによる歩行者等支援方法 - Google Patents

Abstract

【課題】視覚に頼らずに確実に目的地までの移動経路を移動することができる音声ガイドによる歩行者等支援方法の提供。【解決手段】三次元のマップデータを登録したサーバに無線ネットワークを介して接続する携帯端末を利用して、マップデータに基づいて現在地から目的地までの音声ガイドを行なう。携帯端末を歩行者等が使用してその音声入力部から目的地を音声入力し、携帯端末の検出部の検出信号から現在位置及び方向を推定し、撮像部で前方の三次元画像を撮像して撮像信号を生成し、撮像信号から三次元点群を演算し、三次元点群と撮像時の検出部の検出信号とから現在位置の周辺環境における物体までの距離を検出し、その距離を参照して当該物体を回避するように現在位置から目的地までの移動に係るエリアのマップデータをサーバから受信して現在位置から目的地までの移動経路を作成し、移動経路に沿った移動に応じて進路ガイドを音声出力部から音声出力する。【選択図】図１

Description

本発明は、例えば視覚障碍者あるいは視力低下により通常の歩行が困難である者や、歩行可能であっても不慣れな場所や地域を移動しようとする者、或いは地理不案内の者や荷物運搬者等が道路を通って移動する際に、音声ガイドにより歩行者等の歩行を支援するための音声ガイドによる歩行者等支援方法に関するものである。

従来、例えば視覚障碍者が道路等を歩行して移動する場合、白杖を使用しあるいは盲導犬を利用して歩行を行なうようにしている。しかしながら、このような方法では、視覚障碍者自身が、移動経路となる道路及び周辺環境を知らない場合には、極めて歩行が困難となる。

これに対して、従来、スマートホンにインストールしたナビゲーションアプリが広く利用されている。このようなナビゲーションアプリは、利用者がスマートホンを操作してナビゲーションアプリの機能を利用し、現在位置から目的地までの経路をスマートホンの画面に表示させて利用する。利用者はスマートホンの画面を見ながらスマートホンの画面に表示される表示内容及びスピーカ又はイヤホン等の音声ガイドにより、容易に目的地に到達することができる。特に、近年では歩行者向けに、ビル内の通路等についてもマップデータが用意されていて、ナビゲーションが可能となっている。

しかしながら、このような音声ガイドによるナビゲーション機能は、健常者を対象にしていることから、例えば視覚障碍者あるいは視力低下により通常の歩行が困難である者が目的地まで移動しようとしても、音声ガイドの内容のみでは例えば横断歩道の位置、車道と歩道の区別、交通標識等を認識することは困難であると共に、道路上の障害物、走行中の自動車や対向する歩行者を把握し、確実に回避することが困難である。

また、健常者であっても、不慣れな場所や区域、地域を移動しようとする場合に、例えば同じような景色が連続しているビル街や、ビル内の通路、特に地下通路等を歩行するような場合、目的地までの移動経路を視認することが困難で、迷ってしまうことがある。

本発明は以上の点に鑑み、簡単な構成により視覚に頼らずに確実に目的地までの移動経路を移動することができるようにした、音声ガイドによる歩行者等支援方法を提供することを目的としている。

本発明は、道路及び周辺環境に関する三次元のマップデータを登録した記憶部を備えたサーバとサーバに無線ネットワークを介して接続される携帯端末とを含む支援システムを利用して、サーバから受信したマップデータに基づいて携帯端末により現在地から目的地までの音声ガイドを行なう歩行者等支援方法であって、携帯端末がサーバに無線ネットワークを介して接続される送受信部，制御部，記憶部及び表示部と、撮像部と、姿勢検出センサ及び位置センサから成る検出部と、音声入力部及び音声出力部と、を備え、この携帯端末を歩行者等が携帯し使用してその音声入力部から目的地を音声入力する段階と、携帯端末の制御部において検出部の検出信号から現在位置及び方向を推定する位置取得段階と、携帯端末の撮像部において前方の道路又は周辺環境の三次元画像を撮像して撮像信号を生成する撮像段階と、携帯端末の制御部において撮像信号に基づいて当該三次元画像に対応する三次元点群を演算する演算段階と、携帯端末の制御部において三次元点群と撮像時における検出部の姿勢検出センサ及び位置センサの検出信号とから、現在位置の周辺環境における物体までの距離を検出する物体検出段階と、携帯端末の制御部において、物体検出段階で検出された歩行者，自転車又は自動車や障害物等の物体までの距離を参照して、当該物体を回避するように現在位置から目的地までの移動に係るエリアのマップデータをサーバから受信して、現在位置から目的地までの移動経路を作成する移動経路作成段階と、携帯端末の制御部が、移動経路に沿った移動に応じて移動経路における進路ガイドを音声出力部から音声出力する音声ガイド段階と、を備えることを特徴とする。

上記構成において、好ましくは、音声ガイド段階にて、物体検出段階における物体までの距離とマップデータとの相違を検出して、相違点に関する警告を音声出力部から音声出力する。
好ましくは、物体検出段階にて、検出した物体の位置が移動経路に沿う移動を妨げる場合に、移動経路作成段階にて当該物体を回避するように現在位置から目的地までの移動経路を修正する。
携帯端末は、好ましくはライダーを備えており、物体検出段階にて、三次元点群と撮像時における検出部の検出信号及びライダーの検出信号とから移動経路中における周辺環境における物体までの距離を検出する。
携帯端末の音声出力手段は、好ましくは３Ｄサラウンド方式の音声を出力する。音声ガイド段階では、現在位置に関して移動経路中の道路等の幅方向の位置を音声出力する。音声ガイド段階にて移動経路の進行方向前方に検出された物体等の方向を音声出力する。
好ましくは、演算段階にて、携帯端末の制御部が撮像信号から画像認識により交通標識，交通信号，横断歩道及び点字ブロック等の各種表示を認識し、移動経路作成段階にて認識した各種表示をマップデータと照合すると共に、認識した各種表示を参照して移動経路を作成し、音声ガイド段階にて各種表示に関する注意を音声出力部から音声出力する。
携帯端末は、好ましくはバイブレーション機能を備え、物体検出段階にて検出した物体までの距離が所定値以下の場合に、携帯端末の制御部がバイブレーション機能を作動させて振動を発生させる。
サーバは、携帯端末の利用者の自己位置を推定する自己位置推定部を備え、
この自己位置推定部は、サーバの記憶部に格納されたマップデータにより二次元のポイントクラウドと位置情報とからなるデータセットを生成し、携帯端末から自己位置推定のための二次元の検索画像を受信するとマップデータとデータセットとにより検索画像の自己位置情報を推定し、該自己位置情報を無線ネットワークを含むネットワークを介して携帯端末に送信する。
サーバの自己位置推定部は、好ましくは、検索画像の特徴の抽出とマップデータ画像の特徴の抽出とを行い、検索画像の特徴とマップデータの画像の特徴とのマッチングにより検索画像の特徴に適合するマップデータの画像の特徴を抽出し、マッチングで抽出したマップデータの画像とデータセットとから利用者の位置を推定して、該利用者の自己位置情報を抽出する。携帯端末は、好ましくはスマートデバイスである。
エレベータを備えた建造物において、該エレベータのエレベータ制御装置が、無線ネットワークを介してサーバに接続されており、携帯端末からのエレベータ利用情報及びエレベータ制御情報に基づいてエレベータの昇降が制御されてもよい。

このようにして、本発明によれば、簡単な構成により視覚に頼らずに確実に目的地までの移動経路を移動することができるようにした、音声ガイドによる歩行者等支援方法を提供することができる。

本発明による歩行者等支援方法を実行するための歩行者等支援システムの一例の構成を示すブロック図である。 図１の支援システムにおける音声ガイドによる歩行者等支援の手順を示すフローチャートである。 図１の支援システムにおいて、音声ガイドによる歩行者等支援の目的地設定から音声ガイド開始までの具体的な手順を示すフローチャートである。 図１の支援システムにおいて、歩行者等支援の音声ガイド中の具体的な手順を示すフローチャートである。 利用者がエレベータによる移動ができる別の支援システムの構成を示すブロック図である。 サーバにより利用者の自己位置推定を行う支援システムの構成を示すブロック図である。 サーバにおけるデータセット生成のワークフロー図である。 サーバにおける利用者の自己位置推定のワークフロー図である。 利用者が撮影した検索画像となる二次元写真と、サーバの三次元のポイントクラウドから特徴マッチングにより抽出した二次元画像を示す図である。

以下、図面に示した実施形態に基づいて本発明を詳細に説明するが、本発明の範囲は実施形態に限定されることなく適宜変更することができる。特に、図面に記載した各部材の名称、形状、寸法、位置関係などについては概念的な事項を示すに過ぎず、その適用場面に応じて変更することができる。
図１は、本発明に係る音声ガイドによる歩行者等支援方法の一実施形態を実施するための支援システム１０の一例の全体構成を示す。支援システム１０は、サーバ２０と、携帯端末３０と、無線ネットワーク４０と、から構成されている。支援システム１０の利用者は、視覚障碍者、視力低下により通常の歩行が困難である者、歩行可能であっても不慣れな区域等を移動しようとする者、車椅子の利用者等にとくに有効であるが、それに限ることなく、地理不案内の者や荷物の集配者などにも広く適用可能である。

ここで、無線ネットワーク４０は、携帯端末３０が接続可能な任意の構成の無線ネットワークであって、専用回線ネットワークであっても、また４Ｇ、５Ｇのような携帯電話で使用する公衆回線ネットワークであってもよく、あるいはＷｉ－Ｆｉ等の無線ＬＡＮであってもよい。

サーバ２０は、適宜の箇所に設置され、音声ガイドによる歩行者等支援のためのマップデータ（以下、マップデータという）２１を登録する記憶部２２と、記憶部２２に対してマップデータ２１の読み書きを行なう入出力部２３と、から構成されている。

ここで、マップデータ２１は、歩行者等の移動可能であるエリアに関して歩行者等の音声ガイドのために必要な道路及び周辺環境に関するデータ、例えば歩道と車道の境界，段差，歩行者用信号，点字ブロック、ビル、店舗、後述する無線ＬＡＮのアクセスポイントの位置、高さ等の情報を含む三次元データである。高さとは、当該携帯端末３０の高さ位置である。マップデータ２１の三次元データは、所謂高精細マップである三次元点群マップが好ましい。

記憶部２２には、マップデータ２１がデータベースとして登録されており、位置情報に基づいて、当該位置情報付近を含むマップデータを読み出すことができる。マップデータには、無線ＬＡＮ、例えばＷｉＦｉ（登録商標）のアクセスポイントの設置されているビル、店舗等の位置情報とアクセスポイントのＳＳＩＤに関するＷｉＦｉ情報とが紐付けられていることが好適である。

さらに、利用者が訪問するビル等の施設が複数階に跨がるような場合には、マップデータ２１には、ビル内の他の階への移動のために利用者が利用できる所定のエレベータの番号や位置情報等を含むように作成されてもよい。

入出力部２３は、後述するように、携帯端末３０から送られてくる現在位置から目的地の移動経路に基づいて、当該移動経路を含むエリアのマップデータ２１を、記憶部２２から読み出して当該携帯端末３０に対して送信する。

携帯端末３０は公知の構成の携帯端末、例えばスマートホン，タブレット等のスマートデバイスであって、無線ネットワーク４０に接続可能に構成される。携帯端末３０は図１に示すように、送受信部３１，制御部３２，記憶部３３，表示部３４，撮像部３５，検出部３６，音声入力部３７，音声出力部３８及びバイブレータ３９から構成される。

送受信部３１は、無線ネットワーク４０に接続してデータの送受信を行なう。制御部３２は、送受信部３１，記憶部３３，表示部３４，撮像部３５，検出部３６，音声入力部３７，音声出力部３８及びバイブレータ３９を制御して、所定の動作を行なう。

表示部３４は所謂タッチパネルとして構成され、制御部３２により駆動制御されて所定の表示を行なうと共に、表示された画面を手指で操作することで、所定の入力を行なうことができる。

撮像部３５は、例えば静止画カメラ又はＴＯＦ(Time of Flight)カメラからなり、所定の操作に基づいて撮像を行ない、撮像信号３５ａを記憶部３３に記録すると共に、制御部３２に送出する。静止画カメラ又はＴＯＦカメラで撮像する画像は静止画像又は動画でもよい。静止画カメラにおいては、写真測量により即ち同じ対象に対する相互の視差に基づいて、所謂三角測量の方法で各画素の距離を演算して三次元画像を得る。ＴＯＦ(Time of Flight)カメラは、距離計測技術を用いた測距センサ搭載のカメラであって、撮像したＴＯＦ画像データには、画素毎に被写体までの距離情報を含んでおり、それ自体三次元画像を構成している。このため、近年例えばスマートホン等のスマートデバイスでは、従来のカメラの代わりにＴＯＦカメラが搭載されるか又は従来のカメラにさらにＴＯＦカメラも搭載されている。

検出部３６は、姿勢検出センサ３６ａ，位置センサ３６ｂ及び周囲センサ３６ｄを含んでいる。さらに、高さセンサ３６ｅを備えていてもよい。姿勢検出センサ３６ａは、所謂加速度センサと角速度を検出するジャイロからなり、ＩＭＵ（Inertial Measurement Unit、慣性計測装置）とも呼ばれる。さらに、必要に応じて磁気センサを備えて構成されてもよい。当該携帯端末３０の三軸方向の加速度及び／又は角速度により、携帯端末３０の三次元の位置と方向、つまり姿勢を検出して検出信号Ｓ１を制御部３２に出力する。

位置センサ３６ｂは例えばＧＰＳセンサであり、当該携帯端末３０の位置、即ち経度及び緯度を検出して検出信号Ｓ２を制御部３２に出力する。

周囲センサ３６ｃは、携帯端末３０の本体又は本体の外側に設けられ、ライダー３６ｄから構成されているが、ライダーの代わりに、外付けのステレオカメラ等から構成されていてもよい。ライダー３６ｄは、レーザーレーダーとも呼ばれ、光検出と測距（LIDAR(Light Detection and Ranging)）又はレーザー画像検出と測距（Laser Imaging Detection and Ranging)）を行なう。ライダー３６ｄとしては、二次元ライダーや三次元ライダーを用いてもよい。三次元ライダーは、例えば垂直方向に位置する物体のレーザー画像検出と、検出した物体との測距を行なうことができる。ライダー３６ｄによれば、従来のカメラやＴＯＦカメラに比較して、測距の精度が向上する。

周囲センサ３６ｃは携帯端末３０本体の周囲、即ち前後左右の障害物や他の歩行者，自動車等の移動経路上の物体を検出する。周囲センサ３６ｃは、移動経路上の物体を検出した場合、その物体の方向及び距離を含む検出信号Ｓ３を制御部３２に送出する。

上記構成によれば、撮像部３５による撮像信号３５ａだけでなく、検出部３６の検出信号Ｓ３、つまりライダー３６ｅの検出信号も利用することによって、物体の位置及び大きさがより正確に検出され、これらの物体を回避するように移動経路を修正することで、利用者はより安全な移動経路に沿って移動することができる。

音声入力部３７は携帯端末３０に備えられたマイクであって、音声入力部３７から音声を入力することにより、制御部３２は、音声入力部３７からの音声信号に基づき音声認識を行なって音声の内容に対応する信号を作成する。

音声出力部３８は携帯端末３０に備えられたスピーカであり、制御部３２からの音声信号に基づいて音声を発生させる。なお、音声入力部３７及び音声出力部３８は、携帯端末３０に接続されるマイク付きイヤホン又はヘッドホン等により代替され得る。

音声出力部３８は、好ましくは左右一対のステレオスピーカー，ステレオイヤホン又はステレオヘッドホンが使用され、所謂３Ｄサラウンド方式で音声を出力する。

バイブレータ３９は、携帯端末３０に備えられた振動発生手段であって、制御部３２からの作動信号に基づいて振動を発生させる。バイブレータ３９の振動を発生させる機能を、バイブレーション機能と呼ぶ。

さらに、携帯端末３０は、無線ネットワーク４０を介してサーバ２０に接続し、本発明の音声ガイドによる歩行者等支援方法を実現するためのアプリ５０をダウンロードして、記憶部３３にインストールすることで、音声ガイドによる歩行者等支援のために必要なデータを、無線ネットワーク４０を介してサーバ２０から受信することができる。

次に、音声ガイドによる歩行者等支援方法における携帯端末３０の使用方法について説明する。以下の説明においては、歩行者等が通行する道路としては、公道，歩道，工場や公園，遊園地，各種施設等の私有地の道路又は歩道を含む。さらに、歩行者等がビル等の建物内に出入りする場合には、ビル内の各階の通路やエレベータを介した通路を含む。

図２は、図１の支援システム１０において、音声ガイドによる歩行者等支援の手順を示すフローチャートであり、以下のステップ１～７の手順で行なわれる、即ち、
ステップ１：携帯端末３０の音声入力部３７から目的地と必要に応じて大凡の現在位置を音声入力する段階、
ステップ２：携帯端末３０の制御部３２において検出部３６の位置センサ３６ｂの検出信号Ｓ２から大凡の現在位置を推定する位置取得段階、
ステップ３：携帯端末３０の撮像部３５において前方の道路又は周辺環境の三次元画像を撮像して撮像信号３５ａを生成する撮像段階と、携帯端末３０の制御部３２において撮像信号３５ａに基づいて当該三次元画像に対応する三次元点群を演算する演算段階と、により利用者の詳細位置と向きを取得する段階、
ステップ４：携帯端末３０の制御部３２において、物体検出段階で検出された歩行者，自転車又は自動車や障害物等の物体までの距離を参照して、当該物体を回避するように、現在位置から目的地までの移動に係るエリアのマップデータをサーバ２０から受信して、現在位置から目的地までの全域移動経路を作成する移動経路作成段階、
ステップ５：携帯端末３０の制御部３２において三次元点群と撮像時における検出部３６の姿勢検出センサ３６ａ，位置センサ３６ｂ及び周辺センサ３６ｄの検出信号Ｓ１～Ｓ３とから、現在位置の周辺環境における物体までの距離を検出する物体検出段階、
ステップ６：携帯端末３０の制御部３２が、移動経路に沿った移動に応じてステップ３における利用者の詳細位置と向きを取得すると共に、ステップ４の物体検出段階及び移動経路作成段階を行い、必要に応じて移動経路における進路ガイドを音声出力部３８から音声出力する音声ガイド段階、
の手順である。

ステップ２において、利用者がビル内等の電波が届かない場所にいて位置センサ３６ｂが動作しない場合には、携帯端末３０の制御部３２は、無線ＬＡＮ、赤外線発信ビーコン、ＱＲコード（登録商標）等を用いて利用者の位置を取得してもよい。無線ＬＡＮの場合には、携帯端末３０の送受信部３０が備えているＷｉＦｉ（登録商標）、ブルーツース（Bluetooth（登録商標））及び超広帯域通信（Ultra Wide Band、ＵＷＢとも称される）の何れかを用いることができる。例えば、ＷｉＦｉ（登録商標）の場合には、携帯端末３０の送受信部３１の周囲に設置されているＷｉＦｉ（登録商標）のアクセスポイントで使用されているＷｉＦｉルーター（無線ＬＡＮルーターとも呼ばれている）から送信されるＷｉＦｉ信号を受信し、少なくとも三つ以上のＷｉＦｉルーターを識別するＳＳＩＤ（Service Set Identifier）とそれらの信号強度を測定する。ＳＳＩＤの信号強度は、携帯端末３０に近い程強くなる。各ＷｉＦｉルーターのＳＳＩＤをＷｉＦｉ情報とも呼ぶ。

ここで、大凡の現在位置から目的地までの移動に係るエリアのマップデータ２１には、ビル内のコンビニエンスストア、駅、ホテル等に設置されているＷｉＦｉのアクセスポイントの位置情報とそれらのＳＳＩＤ情報が紐付けされて格納されている。以下のステップを経てＷｉＦｉ情報又はＱＲコード（登録商標）により携帯端末３０の現在位置の取得ができる。
（ステップ２Ａ）
制御部３２は、ステップ１で取得した大凡の現在位置と目的地とをサーバ２０Ａに送信し、現在位置から目的地までの移動に係るエリアのマップデータ２１をダウンロードする。これを受けて、制御部３２は、マップデータ２１のＷｉＦｉ情報を参照して三つのアクセスポイントの位置を特定し、三角測量の原理を用いた計算により携帯端末３０の大凡の現在位置の取得ができる。

（ステップ２Ｂ）
利用者が、位置センサ３６ｂが動作せずかつＷｉＦｉのアクセスポイントが整備されていない施設にいる場合には、位置情報を付したＱＲコード（登録商標）を用いてもよい。ＱＲコード（登録商標）は、施設の入り口又は目立つ場所に貼り付けてられる。携帯端末３０の制御部３２は、利用者にＱＲコード（登録商標）の貼られている施設において、撮像部３５のカメラでＱＲコード（登録商標）を撮影するように表示部３４又は音声入力部３７により指示をして、撮像部３５で取得したＱＲコード（登録商標）の情報により携帯端末３０の利用者の現在位置を取得し、現在位置を初期化することができる。視覚障碍者には、視覚障碍者用点字プレートにて、ＱＲコード（登録商標）の貼られている場所を知らせてもよい。

ステップ６において、出力地点から目的地迄の経路においては、制御部３２が、撮像部３６で取得した三次元点群とマップデータ２１とのマッチング、つまり対比により後述する利用者の自己位置推定を実行すると共に、物体検出段階及び移動経路作成段階を行ってもよい。さらに、ステップ６において、ビル内等で位置センサ３６ｂによる大凡の現在位置の推定ができない場合には、上述のように、ＷｉＦｉルーター、Bluetooth（登録商標）等の無線信号の強度による距離推定や、壁や天井に貼られたＱＲコード（登録商標）、赤外線発信ビーコン等による距離推定により自己位置推定を実行してもよい。この場合、利用者の方向は、ジャイロセンサ及び／又は加速度センサのような姿勢検出センサ３６ａで随時に補正することができる。また、自己位置推定と共に行う歩行者、車、歩道にある荷物などの障害物のような物体検出は、撮像部及び／又は周辺センサ３６ｄで物体認識と距離計測により障害物を回避し、移動経路の修正をすることができる。

本発明の音声ガイドによる歩行者等支援方法によれば、携帯端末３０の撮像部３５で、前方の道路又は周辺環境の三次元画像を撮像し、三次元画像から三次元点群を演算し、この三次元点群と撮影時の検出部３６の検出信号Ｓ１～Ｓ３とから、現在位置を推定すると共に、周辺環境における物体までの距離を検出する。そして、現在位置から目的地までの移動に係るエリアのマップデータをサーバ２０から受信して、周辺環境における物体を回避するように現在位置から目的地までの移動経路を作成する。これにより、利用者が当該携帯端末３０を携帯して、撮像部３５を進行方向前方に向けることで、移動経路に沿った移動に応じて移動経路における進路ガイドを音声出力部３８から音声出力する。
従って、利用者は、携帯端末３０の音声出力部３８から発せられる音声ガイドを聴きながら、その音声ガイドの内容に従って移動することで、視覚に頼らずに迷うことなく目的地まで移動することができる。このようにして、マップデータに登録されていない道路上の障害物あるいは走行中の自動車や対向する歩行者等の物体の存在を音声出力することにより、利用者はこれらの物体の存在を認知することができる。

利用者は、自分が所持しているスマートホン，タブレット等の各種スマートデバイス、つまり、広く普及している携帯端末３０を利用することにより、初期投資がほぼ不要となり、低コストで且つ音声ガイドによる歩行者等支援のサービスを受けることができる。健常者であっても、迷いやすいビル街や、ビル内の通路、特に周りの景色が見えない地下通路等であっても、音声ガイドに従って移動することで、迷わずに目的地まで移動することが可能である。

上記構成によれば、利用者は、自分の所持する携帯端末３０を使用して、専用のアプリ５０をダウンロード及びインストールすることで、音声ガイドによる歩行者等支援のサービスを受けることができる。そして、利用者は、目的地を音声入力することで、現在位置から目的地までの移動経路に沿って音声ガイドにより、途中障害物や自動車，歩行者等を確実に回避しながら、また交通標識，信号等の情報を音声ガイドにより取得しながら、円滑に且つ安全に移動することができる。

本発明の音声ガイドによる歩行者等支援方法を実施するための支援システム１０を利用しての実施形態は、携帯端末３０にインストールされたプログラム、即ちアプリ５０に従って以下のように実行される。その際、前提として、利用者は、携帯端末３０を適宜の方法で、即ち例えばネックストラップにより首から吊り下げ又は胸ポケットに収納して、あるいは手で把持して胸又は腹の前側に保持又は装着することで、撮像部３５の撮影方向が利用者の前方を向くようにしておく。

まず、目的地設定から音声ガイド開始までの具体的手順について、図３のフローチャートに従って説明する。
利用者が携帯端末３０を操作してアプリ５０を起動すると、ステップＡ１にて、携帯端末３０の制御部３２は、表示部３４に目的地の入力画面を表示すると共に、音声出力部３８から「目的地を入力して下さい。」という音声を出力する。

ここで、ステップＡ２にて、利用者が携帯端末３０の音声入力部３７から目的地を音声入力すると、携帯端末３０の制御部３２は、ステップＡ３にて、音声入力された音声信号から音声認識により目的地情報３２ａを生成する。

続いて、携帯端末３０の制御部３２は、ステップＡ４にて、検出部３６からの検出信号Ｓ１～Ｓ３に基づいて当該携帯端末３０の現在位置情報３２ｂを生成する。

次に、携帯端末３０の制御部３２は、ステップＡ５にて、目的地情報３２ａ及び現在位置情報３２ｂを無線ネットワーク４０を介してサーバ２０に送信する。

これにより、サーバ２０の入出力部２３は、ステップＡ６にて、当該目的地情報３２ａに含まれる目的地と現在位置情報３２ｂに含まれる現在位置とから当該現在位置から目的地までの移動経路を含むエリアのマップデータ２１を記憶部２２から読み出して、ステップＡ７にて、無線ネットワーク４０を介して当該携帯端末３０に送信する。

また、携帯端末３０の制御部３２は、ステップＡ８にて、撮像部３５で前方の道路又は周辺環境の三次元画像を撮像させ、その撮像信号３５ａを受け取って、ステップＡ９にてこの撮像信号３５ａによる三次元画像に対応する三次元点群３２ｃを演算する。

続いて、携帯端末３０の制御部３２は、ステップＡ１０にて、この三次元点群３２ｃと撮像時における検出部３６の検出信号Ｓ１～Ｓ３とから、現在位置の周辺環境における前方の物体を検出し、各物体までの距離を検出する。

そして、携帯端末３０の制御部３２は、ステップＡ１１にて、検出した物体までの距離と現在位置におけるマップデータ２１とを比較することでマップデータ２１との相違を検出し、この相違がマップデータ２１には登録されていない障害物，自動車や歩行者等の物体と判断する。ステップＡ１１の障害物等の検出は、撮像部３５から取得した三次元点群３２ｃとマップデータ２１とを比較することで検出してもよい。この場合には、さらに、周囲センサ３６ｃによる障害物の検出と比較してもよい。これにより、利用者の前方に位置する障害物，走行中あるいは駐車中の自動車や、他の歩行者等の物体が検出される。

携帯端末３０の制御部３２は、利用者に、前方から来る歩行者、自転車の位置関係を、前方１８０度を例えば６分割して３０度ごとに方向を示して表示部３４に表示し、音声ガイドで知らせてもよい。また、音声ガイドに相対的な距離も追加するとさらに分かりやすい。これにより、利用者は、前方に検出された物体がどの方向に存在するのかを把握して当該物体を意識して回避することができる。

その後、携帯端末３０の制御部３２は、ステップＡ１２にて、検出された各物体までの距離を参照してサーバ２０から受信したマップデータ２１に基づいて各物体を回避するように現在位置から目的地までの移動経路３２ｄを作成し、マップデータ２１に基づいて現在位置付近の地図に重ねて現在位置３２ｂ及び移動経路３２ｄを表示部３４に表示する。なお、この移動経路３２ｄには、マップデータ２１に含まれる歩行可能な通路に関する交通標識，交通信号，横断歩道及び点字ブロック等の各種表示の情報が付加されている。また、移動経路３２ｄは、点字ブロックが配置されている道路等においては、できるだけ点字ブロックに沿って移動するように作成される。

そして、携帯端末３０の制御部３２は、ステップＡ１３にて、移動経路３２ｄに従って音声出力部３８から音声による音声ガイドを開始する。
以上で、目的地設定から音声ガイド開始までの作業が完了する。

次に、音声ガイド中の動作について、図４のフローチャートに従って説明する。
まず、音声ガイドが開始されると、携帯端末３０の制御部３２は、ステップＢ１にて、移動経路３２ｄに沿った現在位置３２ｂの移動に伴って進路ガイドを行なう、即ち移動経路３２ｄ中に含まれる例えば「○ｍ先で右に曲がる」、「○ｍ先で左に曲がる」等の情報があれば、これらの情報を音声出力部３８から音声出力すると共に、例えば交通信号や横断歩道あるいは階段の手前では、「止まれ」の音声を出力して、交通信号や横断歩道，階段の存在を知らせる。これにより、利用者は、各種表示に関する注意の音声ガイドを聴くことで、移動経路中に存在する各種表示を確実に把握し、これらの各種表示に対応した移動を行なって、より安全に目的地まで移動することができる。

その際、音声出力部３８が３Ｄサラウンド方式で音声を出力する場合、右折時には右側の音声を出力し、左折時には左側の音声を出力すれば、直感的に方向性を知らせることができる。この構成によれば、音声ガイドの内容が方向の属性を含んでいる場合には当該方向から聞こえるような音声を出力する。これにより、例えば右に曲がるような場合には、右寄りの音声を出力することで、利用者は音声ガイドが聞こえる方向で右側に関する音声ガイドであることを直感的に把握することができる。

さらに、交通信号の場合には、撮像部３５からの撮像信号３５ａに基づいて、携帯端末３０の制御部３２は画像認識により交通信号の点灯色を判別し、音声出力部３８から例えば「赤信号です。」等の音声を出力するようにしてもよい。

ここで、ステップＢ２にて、撮像部３５からの撮像信号３５ａに基づいて、新たな物体が検出されると、ステップＢ３にて、携帯端末３０の制御部３２は、音声出力部３８から新たな物体が検出された旨及び距離と方向を音声出力する、あるいは３Ｄサラウンド方式の場合には、その方向から音が聞こえるように音声出力すると共に、ステップＢ４にて、新たな物体までの距離が所定距離以下である場合には、携帯端末３０の制御部３２は、ステップＢ５にてバイブレータ３９を作動させて、警告として振動を発生させる。

これにより、移動経路に沿う移動を妨げるような物体が存在する場合、これらの物体を回避するように修正された移動経路に沿って移動することで、利用者がこれらの物体に衝突してしまうことが防止される。つまり、利用者は、携帯端末３０のバイブレータ３９のバイブレーション機能による振動を感じることで、進行方向前方の物体に衝突してしまうようなことがなく、より安全に目的地まで移動することができる。

続いて、携帯端末３０の制御部３２は、ステップＢ６にて新たな物体が移動経路３２ｄ内で回避可能か否かを判断し、回避可能である場合には、ステップＢ７にて当該新たな物体を回避するように移動経路３２ｄを修正し、ステップＢ８にて音声ガイドを継続する。これに対して、ステップＢ６にて新たな物体が回避不可である場合には、携帯端末３０の制御部３２は、ステップＢ９にて音声出力部３８から例えば「止まれ」の音声を出力すると共に、当該新たな物体により当該道路等が通行不可であると判断して、当該道路等を迂回するような新たな移動経路３２ｄを再作成し、再作成した移動経路３２ｄに基づいて、ステップＢ８にて音声ガイドを継続する。

また、携帯端末３０の制御部３２はステップＢ１０にて、適宜の時間間隔であるいは上述した種々の音声ガイドを行なった後に、撮像部３５からの撮像信号３５ａによる三次元点群３２ｃに基づき、例えば三角測量法を利用して移動経路３２ｄの道路等の幅方向の位置を演算し、音声出力部３８から例えば「幅○ｍ，右端から○ｍを通行中」等の音声を発生させる。これにより、利用者は、音声ガイドによって自分が通行している歩道等の真ん中を進んでいるか、端を進んでいるかを知ることができる。このようにして、目的地に向かってマップ上の「どの位置にいるか」、「目的地まであと何キロメートルです」、「〇○交差点を通過しました」等の案内を、音声ガイドにより利用者に知らせることができる。この構成によれば、利用者は、音声ガイドにより移動経路３２ｄのどの位置にいるかを把握しながら、現在移動している道路等の幅方向に関してどの位置を移動しているのかを把握することにより、道路の縁石や路肩に接近し過ぎるようなことがなく、安全に移動することができる。

そして、ステップＢ１１にて所定時間経過後に、携帯端末３０の制御部３２は、ステップＢ１２にて現在位置と目的地とを比較し、目的地に到達していなければ再びステップＢ１に戻って、ステップＢ１～Ｂ１０の動作を繰り返す。これに対して、ステップＢ１２にて目的地に到達していれば、ステップＢ１３にて携帯端末３０の制御部３２は、音声出力部３８から目的地到達の旨の音声を出力して音声ガイドを終了する。

（エレベータによる移動）
図５は、利用者がエレベータによる移動ができる別の支援システム１０Ａの構成を示すブロック図である。この支援システム１０Ａが、支援システム１０と異なるのは、さらにビル５５に設置されているエレベータ６０が、無線ネットワーク４０を介してサーバ２０Ａに接続されている点である。サーバ２０Ａのマップデータ２１Ａには、ビル５５と当該ビル５５に設置されているエレベータに関する情報が格納されている。
エレベータ６０はかご室７０とかご室７０を昇降するモータ及びモータの駆動を制御するモータ駆動部（図示せず）とからなるエレベータ制御装置７１とを備える。エレベータ制御装置７１は、ビル制御用サーバ７２にゲートウェイ７３を介して接続される。ビル制御用サーバ７２は、ゲートウェイ７４と無線ネットワーク４０とを介してサーバ２０Ａに接続される。このように、支援システム１０Ａでは、携帯端末３０、サーバ２０Ａ及びビル５５がネットワーク４０を介してエレベータ６０に相互に接続される。これにより、ビル５５内のエレベータ６０や図示しないセキュリティゲート等の電気設備が、サーバ２０Ａの入出力部２３Ａにより無線ネットワーク４０を介して制御される。

サーバ２０Ａの入出力部２３Ａは、携帯端末３０からネットワーク４０を介して受信した利用者の目的地情報３２ａ又は移動経路３２ｄにエレベータ６０が含まれる場合には、エレベータ利用情報６１ａ及びエレベータ制御情報６１ｂを、無線ネットワーク４０を介してエレベータ制御装置７１に対して送信する。利用者がエレベータ６０の前まで移動して、携帯端末３０からエレベータ６０を呼び出す通知を送信すると、エレベータ制御装置８１は、利用者がいる階５５ａ例えば１階にエレベータ６０を移動し、無線ネットワーク４０を介して携帯端末３０に指定された階５５ａへの到着を通知する。携帯端末３０の利用者は、エレベータ６０の開扉により乗り込み、携帯端末３０から行き先階５５ｎへの入力信号を送出する。これを受けて、サーバ２０Ａの入出力部２３Ａは、利用者からの行き先階５５ｎへ移動するように、制御信号６１ｂをビル制御用サーバ７２を介してエレベータ制御装置７１に送信してエレベータ６０の昇降を制御する。これにより
、利用者は、所望の階５５ｎへ到着し、エレベータ６０の扉が開いたらエレベータ６０の外に移動することができる。

携帯端末３０の利用者が視覚障碍者である場合は、携帯端末３０の制御部３２は、エレベータ６０に乗る階に到着したことや所定の階に到着したこと等を音声出力部３８により音声ガイドにより知らせてもよい。また、視覚障碍者に、音声入力部３７を用いた音声入力により行き先階を知らせてもよい。例えば、エレベータ６０の前で、「エレベータ、２２階までお願いします。」という音声入力により行き先階を知らせてもよい。この場合、制御部３２では、音声入力部３７からの音声入力を「２２階ですね？」という確認の音声出力を音声出力部３８から通知し、視覚障碍者からの「はい」という回答を確認した後、携帯端末３０の送信部から無線ネットワーク４０を介してサーバ２０Ａにエレベータ利用情報６１ａとして送出する。

データ２１Ａは、ビル５５内において使用可能な所定のエレベータ６０と紐付けられていてもよい。これにより、サーバ２０Ａの入出力部は、利用者からエレベータ利用情報６１ａを受信すると、ビル５５内に複数のエレベータがある場合には、予めマップデータ２１に登録された所定のエレベータ６０を携帯端末３０の送受信部３１を介して通知する。これにより利用者は、ビル５５内の利用可能なエレベータ６０に誘導される。

ビル５５のエレベータ６０としては、例えば無人自動運転ロボットが配送,警備や清掃のために移動しやすいように、エレベータ６０等の設備をロボットと連携させて稼働させることができるようにした所謂ロボットマネジメントプラットホームを採用したビル等に設置されているエレベータにも適用ができる。携帯端末２０にインストールしたアプリ５０に、当該ビルで対応できるように、エレベータ６０の乗降口の前に位置したときにエレベータの呼び出し操作の信号を送出し、エレベータ６０に乗り込んだ際には、行き先階の入力信号を送出する機能を備えるようにしておけば、エレベータ６０に関する直接の手動操作を行う必要なしに、エレベータ６０の利用が可能となる。行き先階の入力信号を送出する機能としては、利用者の音声入力を用いてもよい。これにより、エレベータ６０を備えたビル５５において、該エレベータ６０のエレベータ制御装置７１が、無線ネットワーク４０を介してサーバ２０Ａに接続されており、携帯端末３０からのエレベータ利用情報６１ａ及びエレベータ制御情報６１ｂに基づいてエレベータ６０の昇降が制御される。

（サーバによる利用者の自己位置推定）
図６は、サーバ２０Ｂにより利用者の自己位置推定を行う場合の支援システム１０Ｂの構成を示し、図７はサーバ２０Ｂにおけるデータセット生成のワークフロー図、図８はサーバ２０Ｂにおける利用者の自己位置推定のワークフロー図である。
支援システム１０Ｂが、図１に示す支援システム１０と異なるのは、利用者が携帯端末３０Ｂで写真を撮影し、その写真を図６に示すようにデータベースを有するサーバ２０Ｂへ転送し、サーバ２０Ｂ上で写真を検索対象として、データベース中の画像とマッチングを行い、利用者の自己位置情報を抽出して、当該自己位置情報２６をサーバ２０Ｂから携帯端末３０Ｂに転送するよう構成した点である。

具体的には、携帯端末３０Ｂは撮像部３５で例えば静止画の二次元画像を撮影し、携帯端末３０Ｂの制御部３２ａはその撮像信号３５ｂを送受信部３１とネットワーク４０Ｂを介してサーバ２０Ｂに送信する。ネットワーク４０Ｂは、送受信部３１と接続可能な４Ｇ又は５Ｇのような携帯電話の任意の構成の無線ネットワークを介してサーバ２０Ｂに接続されている。送受信部３１は専用回線ネットワーク（ＶＰＮ）又はインターネットを介して接続されてもよい。サーバ２０Ｂは、所謂クラウドとしてもよい。

支援システム１０のサーバ２０と異なり、図６に示すサーバ２０Ｂは、さらに入出力部２３Ｂに接続される自己位置推定部２４と、記憶部２２Ｂに格納される自己位置推定部２４用のアプリ５２とを備えている点である。サーバ２０Ｂは、ＣＰＵ、ＧＰＵ、通信用チップ、ＤＲＡＭ、ＨＤＤやＳＳＤのような不揮発メモリ等からなる所謂サーバから構成される。

サーバ２０Ｂに格納されているマップデータ２１Ｂは、三次元ライダーにより取得された三次元画像データと、ＧＰＳ等の位置センサとＩＭＵ等の姿勢検出センサとにより取得された位置情報を紐つけたポイントクラウドを含むデータである。ここで、ポイントクラウドは、前方の物体との相対距離を示す三次元点群に、位置情報つまり、絶対座標（緯度、経度、標高）による座標を加えた絶対座標で表示する点群である。ポイントクラウドは単に点群と呼ぶ場合もある。絶対座標はさらに、ＧＰＳセンサによる位置取得時刻を加えて、絶対座標を（緯度、経度、標高、時刻）で表してもよい。

図６の支援システム１０Ｂによれば、サーバ２０Ｂは、携帯端末３０Ｂの利用者の自己位置を推定する自己位置推定部２４を備え、この自己位置推定部２４は、サーバ２０Ｂの記憶部２２Ｂに格納されたマップデータ２１Ｂにより、二次元のポイントクラウドと位置情報とからなるデータセット２５（図７参照）を生成し、携帯端末３０Ｂから自己位置推定のための二次元の検索画像を受信すると、マップデータ２１Ｂとデータセット２５とにより検索画像の自己位置情報２６を推定し、この自己位置情報２６を、無線ネットワークを含むネットワーク４０Ｂを介して携帯端末３０Ｂに送信する。具体的には、サーバ２０Ｂの自己位置推定部２４は、検索画像の特徴の抽出とマップデータ画像の特徴の抽出とを行い、検索画像の特徴とマップデータ２１Ｂの画像の特徴とをマッチングすることにより、検索画像の特徴に適合するマップデータ２１Ｂの画像の特徴を抽出し、マッチングによって抽出したマップデータ２１Ｂの画像とデータセットとから利用者の位置を推定して、利用者の自己位置情報２１を抽出するようにしている。

図７に示すように、サーバ２０Ｂにあっては、マップデータ２１Ｂは、データセット２５のファイルとして自己位置推定のために使用される。例えば、ロボットオペレーティングシステム（Robot Operating System）のデータセット２５のファイルは、ロボットオペレーティングシステムで用いるメッセージのデータを保存するためのロスバッグ（ROSBAG）２５ａのファイル形式で作成される。

マップデータ２１Ｂが、ライダーにより取得された三次元画像データと、位置センサ及びＩＭＵにより取得される位置情報を含むので、データセット２５は、ライダーを用いた所謂ＬＩＯＳＡＭ（Lidar Inertial Odometry via Smoothing and Mapping）のアルゴリズムを実行するように構成される。

データセット２５は、ＬＩＯＳＡＭに関するフォルダ２５ｂ（Interactive-SLAM pose-graph folder）と、画像データ２５ｃと、ＩＭＵのような姿勢検出センサからＲＯＳトピックエコー（rostopic echo）により取得されたＩＭＵデータに関するＣＳＶファイル（imu-data.csv）２５ｄとが、統合されたフォルダ構造（organized folder structure）２５ｅからなる。統合されたフォルダ構造２５ｅが、位置データセット生成器２５ｆによりカラーポイントクラウド２５ｇと位置情報データ２５ｈを生成する。

図８に示すワークフロー図は自己位置推定の一例であり、サーバ２０Ｂにおいて、記憶部２２Ｂに格納されている自己位置推定部２４用のアプリ５２と、マップデータ２１Ｂから生成されたデータセット２５により実行されるアルゴリズムを示す。

自己位置推定部２４は、記憶部２２Ｂに格納されている三次元のマップデータ２１Ｂの画像と、検索画像となる利用者のカメラで撮影した二次元画像の撮像信号３５ｂとから各特徴を抽出し、特徴から検索画像にマッチングするマップデータ２１Ｂの画像を抽出して、検索画像の６次元の自己位置推定を行う。このアルゴリズムは、階層的位置推定（Hierachical Localization、Hloc）とも呼ばれている。

図８のワークフロー図において、携帯端末３０Ｂから自己位置推定のための二次元の検索画像を受信する（ステップＣ１の検索画面(query image)）と、ステップＣ２において、検索画面の特徴が抽出され、ステップＣ３で検索画面の特徴が記録され、ステップＣ４で検索画面の特徴がグローバル記述子（global descriptor）として記録される。ここで、ステップＣ２の検索画面の特徴は、例えば畳み込みニューラルネットワーク（Convolution Neural Network、ＣＮＮとも呼ぶ）等の所謂機械学習により抽出される。

一方、記憶部２２Ｂに格納されている実際の三次元のマップデータ２１Ｂは、ステップＤ１において二次元のデータセット画像(dataset images)とされ、ステップＤ２においてデータセット画像の特徴が抽出され、ステップＤ３において抽出されたデータセット画像の特徴がグローバル記述子のインデックス（global descriptor index）として記録される。ここで、データセット画像の特徴は、例えば畳み込みニューラルネットワーク（Convolution Neural Network、ＣＮＮとも呼ぶ）等の所謂機械学習により抽出される。

次に、ステップＥ１において、検索画像に係るグローバル記述子（Ｃ４参照）が、データセット画像に係るグローバル記述子のインデックスで検索され、最も近い画像が検索され、ステップＥ２において、最も得点の高い画像が抽出される。ステップＥ３において、この抽出されたデータセット画像からＰｎＰ（三次元のデータセット画像と二次元の検索画像とからカメラ位置を求める方法）により利用者のカメラの位置が推定される。
次に、ステップＥ４において、利用者の位置情報（位置と向きに関する６次元のデータ（6DoF pose result））が推定され、利用者の自己位置情報２６として、入出力部２３Ｂとネットワーク４０Ｂを介して携帯端末３０Ｂに送出される。以下、利用者の自己位置情報２６の推定を、実施例によりさらに詳細に説明する。

本実施例の音声ガイドによる歩行者等支援は、以下の携帯端末３０Ｂとサーバ２０Ｂを用いて利用者の自己位置情報２６を推定した。
携帯端末３０Ｂ：ｉＰｈｏｎｅ（アップル製、型番：ｉＰｈｏｎｅ１３Ｐｒｏ）（ｉＰｈｏｎｅは登録商標、以下、ｉ－ホンと称する。）
サーバ２０Ｂ：アマゾンのクラウドサービスであるＡＷＳをサーバとして用いた。
携帯端末３０Ｂには、音声ガイドによる歩行者等支援方法のアプリ５０Ｂをインストールし、ＡＷＳには、マップデータ２１Ｂ、アプリ５２及び図７～８に関するソフトウェアをインストールして、自己位置位置推定部２４等を含むサーバ２０Ｂを構成した。記憶部２２Ｂに格納されている実際の三次元のマップデータ２１Ｂは、発明者が作成し、ビル内のマップも含む。利用者が携帯端末３０Ｂであるｉ－ホン１３Ｐｒｏにより写真を撮影すると、サーバ２０Ｂから５秒前後で非常に高速にこのｉ－ホン１３Ｐｒoへ利用者の自己位置情報２６が送信されることを確認した。

図９は、利用者が撮影した検索画像となる二次元写真と、サーバ２０Ｂの三次元のポイントクラウドから特徴マッチングにより抽出した二次元画像を示す図である。
図９に白丸で示すように、左側の検索画像のマッチングした点と、中央の三次元のポイントクラウドから抽出した二次元画像のマッチングした点は良く一致していることが分かる。本発明においては、自己位置情報２６の精度は、屋内外を問わず高精度であり、２０ｃｍ以下であった。また、壁や物体等の種々の目標物が認識されることも確認した。このように、本発明の支援システム１０Ｂによれば、利用者の携帯端末３０Ｂのカメラで撮影した画像とサーバ２０Ｂに格納した三次元画像とによる画像認識及び点群姿勢計算により、ＧＰＳ等の位置センサを使用しない環境でも、２０ｃｍで自己位置の精度が得られる。

（比較例）
比較例としてグーグールマップによる音声ガイドと対比した。この場合、利用者が撮影した検索画像とストリートビューの画像とでマッチングが実行される。自己位置情報の精度については、屋外では６０ｃｍ前後であり、屋内ではさらに誤差が増大した。本発明の実施例と比較例について、自己位置情報の精度等の対比を表１に示す。

本発明によれば、マップデータ２１Ｂとして三次元のポイントクラウドを用い、カメラ画像で取得した検索画像の特徴点とマップデータ２１Ｂのポイントクラウドの特徴点とのマッチングにより自己位置推定を行うことによって、屋内外問わず２０ｃｍ以下の高精度で、かつ、利用者の前方にある壁や物体を認識可能であることが分かる。なお、図５に示すビル５５に設置されているエレベータ６０が、無線ネットワーク４０を介してサーバ２０Ｂに接続されている場合には、利用者は、ビル５５に設置されているエレベータも利用することができる。

本発明は、その趣旨を逸脱しない範囲において様々な形態で実施することができる。
例えば、上述した実施形態においては、携帯端末３０がスマートホン，タブレット等のスマートデバイスである場合について説明したが、これに限らず、ノートパソコン等の携帯端末であってもよいことは明らかである。

上述した実施形態においては、携帯端末３０の制御部３２が、マップデータ２１に基づいて移動経路３２ｄを作成するようになっているが、これに限らず、サーバ２０側で、当該携帯端末３０の目的地情報３２ａ及び現在位置情報３２ｂから移動経路３２ｄを作成するようにしてもよい。

上述した実施形態においては、携帯端末３０の検出部３６は、周辺センサ３６ｄとしてライダー３６ｅを備えているが、周辺センサ３６ｄは省略されてもよい。この場合、物体の検出は、撮像部３５からの撮像信号３５ａによる複数枚の三次元画像を利用して、写真測量による相互の視差に基づいて三角測量の方法で演算することで、三次元点群を作成することによって行なわれ得る。

また、携帯端末３０で同じアプリ５０を利用する他の利用者との間で、利用履歴を交換できるようにしておけば、他の利用者が、リアルタイムで当該利用履歴を参照することによって、利用経路３２ｄ上の駅や各種施設等の場所又は時間による混み具合等を把握し、混雑を避け、ストレスを回避することができる。例えば、銀座一丁目から中央通りを歩いて三越に行く場合、日曜日の１２時にＡ氏、Ｂ氏など複数の利用者が同じ時間帯で人混みを検知、通常の倍以上時間が掛かった記録があれば、該記録がアプリ５０において、目的地に関する目的地情報として共有され、銀座に行く前の計画段階でスマホで確認することができる。また、利用者が既に移動中であった場合は、その旨を携帯端末３０から他の利用者に通知することができ、他の利用者は安心して混み具合等の目的地情報を閲覧して計画を変更するなどの対応が可能となる。これにより、利用履歴や目的地情報を交換できるように共有した、利用者同士や同じ障碍をもつ利用者同士の利用履歴の交換は、利用者の安心や利便性に寄与する。

他方、携帯端末３０の表示部３４に移動経路３２ｄを画面表示しておくことで、健常者も当該アプリ５０を利用して目的地に容易に移動することができ、例えば大きな繁華街，地下鉄、鉄道等の駅構内、バス停、病院や学校等の各種施設、あるいはショッピングセンター等の屋内を通行するような場合に、迷わずに目的地に到達することが容易となる。

上述した実施形態においては、高さをマップデータ２１から取得しているが、マップデータ２１から高さを取得できない場合には、気圧センサ等の高さセンサ３６ｅを備えて、検出信号Ｓ４として取得してもよい。また、高さは、カメラやライダー３６ｄにより算出してもよい。携帯端末３０が高さセンサ３６ｅを備えている場合には、検出部から出力される検出信号は、Ｓ１～Ｓ４となる。

上述した実施形態においては、さらに、歩行者から予め移動経路の移動について連絡を受けた遠隔地の健常者が、障碍者の携帯している携帯端末３０の撮像部３５のカメラを通じた周辺環境、サーバから受信する三次元マップに基づいて、携帯端末３０に格納されたアプリ５０ではカバーできない場合や不具合が生じた場合など緊急時に、遠隔で電話で音声指示をしてもよい。遠隔地の健常者は、歩行者から予め連絡を受けた際には、携帯端末３０の利用者と同様にアプリ５０を、健常者の携帯端末に格納しておけばよい。これにより、障碍者から予め移動の連絡を受けた遠隔地の健常者が、撮像部３５のカメラによる映像とカメラでは見えにくい領域を三次元マップで見ることができ、緊急時に障碍者に、障害物を避ける等の音声指示が迅速にできるので、障碍者の安全が保たれる。

１０，１０Ａ，１０Ｂ 支援システム
２０，２０Ａ，２０Ｂ サーバ
２１，２１Ａ，２１Ｂ マップデータ
２２，２２Ａ，２２Ｂ 記憶部
２３，２３Ａ，２３Ｂ 入出力部
２４ 自己位置推定部
２５ データセット
２５ａ ROSBAG
２５ｂ ＬＩＯＳＡＭに関するフォルダ
２５ｃ 画像データ
２５ｄ 姿勢検出センサからのデータ
２５ｅ 統合されたフォルダ構造
２５ｆ 位置データセット生成器
２５ｇ カラーポイントクラウド
２５ｈ 位置情報データ
２６ 利用者の自己位置情報
３０，３０Ｂ 携帯端末
３１ 送受信部
３２ 制御部
３２ａ 目的地情報
３２ｂ 現在位置情報
３２ｃ 三次元点群
３２ｄ 移動経路
３３ 記憶部
３４ 表示部
３５ 撮像部
３５ａ 撮像信号
３６ 検出部
３６ａ 姿勢検出センサ
３６ｂ 位置センサ
３６ｃ 周辺センサ
３６ｄ ライダー
３６ｅ 高さセンサ
３７ 音声入力部
３８ 音声出力部
３９ バイブレータ
４０ 無線ネットワーク
５０ 音声ガイドによる歩行者等支援のためのアプリ
５２ 自己位置推定部用のアプリ
５５ ビル
６０ エレベータ
６１ａ エレベータ利用情報
６１ｂ エレベータ制御情報
７０ かご室
７１ エレベータ制御装置
７２ ビル制御用サーバ
７３，７４ ゲートウェイ
Ｓ１～Ｓ３（Ｓ１～Ｓ４） 検出信号

Claims (13)

1. 道路及び周辺環境に関する三次元のマップデータを登録した記憶部を備えるサーバと、前記サーバに無線ネットワークを介して接続される携帯端末と、を利用して、前記サーバから受信したマップデータに基づいて、前記携帯端末により現在地から目的地までの音声ガイドを行なう歩行者等支援方法であって、
   前記携帯端末が、前記サーバに無線ネットワークを介して接続される送受信部，制御部，記憶部及び表示部と、撮像部と、姿勢検出センサ及び位置センサから成る検出部と、音声入力部及び音声出力部と、を備え、該携帯端末を歩行者等が携帯して使用し、
   前記携帯端末の音声入力部から目的地を音声入力する段階と、
   前記携帯端末の制御部において前記検出部の検出信号から現在位置及び方向を推定する位置取得段階と、
   前記携帯端末の撮像部において前方の道路又は周辺環境の三次元画像を撮像して撮像信号を生成する撮像段階と、
   前記携帯端末の制御部において前記撮像信号に基づいて当該三次元画像に対応する三次元点群を演算する演算段階と、
   前記携帯端末の制御部において前記三次元点群と撮像時における前記検出部の姿勢検出センサ及び位置センサの検出信号とから、前記現在位置の周辺環境における物体までの距離を検出する物体検出段階と、
   前記携帯端末の制御部において、前記物体検出段階で検出された歩行者，自転車又は自動車や障害物等の物体までの距離を参照して、当該物体を回避するように、前記現在位置から目的地までの移動に係るエリアのマップデータを前記サーバから受信して、前記現在位置から目的地までの移動経路を作成する移動経路作成段階と、
   前記携帯端末の制御部が、前記移動経路に沿った移動に応じて、移動経路における進路ガイドを音声出力部から音声出力する音声ガイド段階と、
   を備えることを特徴とする、音声ガイドによる歩行者等支援方法。
2. 前記音声ガイド段階にて、前記物体検出段階における物体までの距離と前記マップデータとの相違を検出して、相違点に関する警告を音声出力部から音声出力することを特徴とする、請求項１に記載の音声ガイドによる歩行者等支援方法。
3. 前記物体検出段階にて、検出した物体の位置が、前記移動経路に沿う移動を妨げる場合に、前記移動経路作成段階にて、当該物体を回避するように、現在位置から目的地までの移動経路を修正することを特徴とする、請求項１に記載の音声ガイドによる歩行者等支援方法。
4. 前記携帯端末が、ライダーを備えており、
   前記物体検出段階にて、前記三次元点群と、撮像時における前記検出部の検出信号及び前記ライダーの検出信号と、から前記移動経路中における周辺環境における物体までの距離を検出することを特徴とする、請求項１に記載の音声ガイドによる歩行者等支援方法。
5. 前記携帯端末の音声出力手段が、３Ｄサラウンド方式の音声を出力することを特徴とする、請求項１に記載の音声ガイドによる歩行者等支援方法。
6. 前記音声ガイド段階にて、現在位置に関して移動経路中の道路等の幅方向の位置を音声出力することを特徴とする、請求項１に記載の音声ガイドによる歩行者等支援方法。
7. 前記音声ガイド段階にて、移動経路の進行方向前方に検出された物体等の方向を音声出力することを特徴とする、請求項１に記載の音声ガイドによる歩行者等支援方法。
8. 前記演算段階にて、前記携帯端末の制御部が前記撮像信号から画像認識により交通標識，交通信号，横断歩道及び点字ブロック等の各種表示を認識し、
   前記移動経路作成段階にて、認識した前記各種表示をマップデータと照合すると共に、認識した各種表示を参照して移動経路を作成し、
   前記音声ガイド段階にて、前記各種表示に関する注意を音声出力部から音声出力することを特徴とする、請求項１に記載の音声ガイドによる歩行者等支援方法。
9. 前記携帯端末が、バイブレーション機能を備えており、
   前記物体検出段階にて、検出した物体までの距離が所定値以下の場合に、前記携帯端末の制御部が、バイブレーション機能を作動させて振動を発生させることを特徴とする、請求項１に記載の音声ガイドによる歩行者等支援方法。
10. 前記サーバは、前記携帯端末の利用者の自己位置を推定する自己位置推定部を備え、
    該自己位置推定部は、
    前記サーバの記憶部に格納されたマップデータにより、二次元のポイントクラウドと位置情報とからなるデータセットを生成し、
    前記携帯端末から自己位置推定のための二次元の検索画像を受信すると、前記マップデータと前記データセットとにより前記検索画像の自己位置情報を推定し、
    該自己位置情報を、前記無線ネットワークを含むネットワークを介して前記携帯端末に送信する、請求項１に記載の音声ガイドによる歩行者等支援方法。
11. 前記サーバの自己位置推定部は、
    前記検索画像の特徴の抽出と前記マップデータ画像の特徴の抽出とを行い、
    前記検索画像の特徴と前記マップデータの画像の特徴とのマッチングにより前記検索画像の特徴に適合する前記マップデータの画像の特徴を抽出し、
    前記マッチングで抽出したマップデータの画像と前記データセットとから前記利用者の位置を推定して、該利用者の自己位置情報を抽出する、請求項１０に記載の音声ガイドによる歩行者等支援方法。
12. 前記携帯端末が、スマートデバイスであることを特徴とする、請求項１から１１の何れかに記載の音声ガイドによる歩行者等支援方法。
13. エレベータを備えた建造物において、該エレベータのエレベータ制御装置が、前記無線ネットワークを介して前記サーバに接続されており、前記携帯端末からのエレベータ利用情報及びエレベータ制御情報に基づいて前記エレベータの昇降が制御されることを特徴とする、請求項１から１１の何れかに記載の音声ガイドによる歩行者等支援方法。

Images