JP2022530347A - コンピュータにより実行される、交通参加者を案内するための方法 - Google Patents

Abstract

交通参加者、特に歩行者、特に視覚障害者を、特に都市環境において、少なくとも２つの場所の間で案内するための、コンピュータにより実行される方法であって、Ａ．マルチモーダル３次元マップを提供するステップと、Ｂ．前記マルチモーダル３次元マップに基づいて、少なくとも１つのウェイポイントを経由して前記少なくとも２つの場所を結ぶ経路を計算するステップと、Ｃ．好ましくは前記マルチモーダル３次元マップを使用して、前記交通参加者の正確な位置を特定するステップと、Ｄ．前記経路に沿って前記ウェイポイントにビーコンを設定するステップとを含む方法。

Description

本発明は、交通参加者、特に歩行者、特に視覚障害者を、特に都市環境において、少なくとも２つの場所の間で案内するための、コンピュータにより実行される方法に関する。

GPS(Global Positioning System)への公衆のアクセスのしやすさと、継続的に強力になるスマートフォンなどの可搬型コンピュータ装置の開発により、コンピュータナビゲーションシステムの使用が、電動の交通参加者と非電動の交通参加者の間で広く普及している。

しかし、車の往来の中を移動する際に最も支援を必要とすると思われる視覚障害者は、現在のナビゲーションシステムを利用することができない。

したがって、本発明の目的は、前述の障害および欠点を克服し、任意の交通参加者、特に視覚障害者が使用できるナビゲーションシステムを提供することである。

この課題は、請求項１に記載の方法によって解決される。

本発明の更に好ましい有利な実施形態は、従属項の主題である。

以下では、本発明の好ましい実施形態と現在の技術の問題について説明する。

以下に記載する実施形態および態様は、本発明とそれに関連する問題を例示することのみを目的としており、図示した例に限定されるものではなく、広範囲の応用が可能である。

問題点を例示する都市のシーンの図を示す。 本発明に従って生成される経路を有する図１のシーンを示す。 本発明に従って生成される経路を有する別の都市のシーン。 ２次元マップ。 図４に示す領域の航空写真。 図４に示す領域の従来の３次元マップ。 図４に示す近似領域のデプス画像。 図４に示す領域のあるセクションのマルチモーダル３次元マップ。 本発明により生成される経路を有する、図８のマルチモーダル３次元マップ。 システムのユーザの位置を特定する方法を概略的に示すフローチャート。

図１は、都市のシーン１を示す。この都市のシーン１は、歩道２と、車道のより近くに建てられた建物３と、車道からより遠くに建てられた建物４と、花壇５と、街灯柱６と、停車中の車７とを有する。また、図１は、例示的な経路８を示す。この例示的な経路８は、従来のナビゲーションシステムによって計算することができる。歩行者が取る実際の経路は、通常、図示された直線から逸脱し、花壇５と、車道により近い建物３を考慮することが明確にわかる。しかし、この動作を行うには、歩行者は、花壇５または不規則に配置された建物３、４について知る必要がある。この情報は、そのシーンに存在して、前述の都市の構成要素の配置を見るだけで簡単に取得することができる。しかし、そのシーンを評価するための視覚的情報が不足している場合、上記の経路８は不十分であり、危険ですらある。例えば、視覚障害者は、時として白杖で発見することができない花壇５の縁でつまずいてしまう。

図２に示すシーンは、図１と同じであり、改良された経路９を有する。この経路９を歩行者がたどる場合、障害物に起因する調整は不要である。花壇５と、配置の異なる建物３，４は、もはや危険ではない。

他の２つの問題を図３に示す。第１に、視覚障害のある歩行者が車道１０を横断したいときに生じる問題がある。安全が最重要であることを前提とすると、車道の横断を要するすべての経路は、横断歩道１１が常に他の経路より優先されるように構築する必要がある。第２に、特に都市周辺では、ボラード１２、街灯柱６（図１参照）、ゴミ箱１３、道路標識１４などの固定設備は、回避しなければならない安全上の危険である。これらの要件を満たす最適化された経路１５も図３に示す。

このような最適化された経路９、１５を作成し、効率的に使用するために、システムの３つの主要な特性が非常に有利である。第１に、できるだけ正確で細かい経路が地図上に定義される。第２に、ユーザが経路をたどることができるように、ユーザの位置は、非常に高い精度で、非常に細かい測定値の範囲内で（およそ数センチの範囲内で）知る必要がある。ＧＰＳや磁気センサ（モバイル機器のコンパス）などの現在の技術によって提供されている通常の「数メートル」の精度では不十分である。第３に、視覚障害者が経路情報を利用することができるように、経路情報は、そのような人が利用できるような方法で伝達される。

このタスクを遂行するために、本発明に係る視覚障害者のための案内システムは、以下のステップの遂行を含む必要がある。
Ａ．マルチモーダル３次元マップを提供すること
Ｂ．マルチモーダル３次元マップに基づいて、少なくとも１つのウェイポイントを経由して少なくとも２つの場所を結ぶ経路を計算すること
Ｃ．好ましくはマルチモーダル３次元マップを使用して、交通参加者の正確な位置を特定すること
Ｄ．経路に沿ってウェイポイントにビーコンを設定すること

ステップＡで提供されるマルチモーダル３次元マップは、２つ以上の異なるソースから導出され、各ソースは別の情報のレイヤを追加する。正確ではあるが従来型の地図は、歩道や車道の位置ついての情報を含むことができるが、おそらく歩道と花壇を区別しない。（地方自治体の）樹木の目録は、樹木の位置に関する情報を提供することができる。この樹木の目録は、しばしば、公共の花壇の正確な位置が図示される、庭園と公園部門と組み合わされる。地方公営企業は、電気（街灯柱）と水（消火栓、マンホール）に関する情報を提供することができる。交通を担当する部門は、信号機、横断歩道などの位置を示す図面を提供することができる。

前述の地図および測地情報の次に、他の情報ソース、例えば、航空写真、衛星画像、地表面テクスチャデータまたは従来の３Ｄデータを、マルチモーダル３次元マップに追加することができる。後者は、住宅の形状や場所など、３次元オブジェクトに関する単純な幾何学的情報である。

マルチモーダル３次元マップを作成するための上記のソース候補のリストは網羅的なものではなく、都市や地域の特徴を反映するように拡張することができる。例えば、歩道上の自転車通路、馬車用のスペース、路面電車の線路、階段、舗装の種類（特に敷石）、記念碑、（公園の）ベンチ、水飲み場、ゴミ箱、自転車スタンド、レストランの屋外ダイニングエリア、除細動器などである。

図４～図６は、自由に利用可能な地図と情報の様々な例を示している。これらの地図と情報は、マルチモーダル３次元マップに組み合わせることができる。図４は、２次元マップを示す。図５は、再構成された航空写真を示す。この航空写真は、様々なセンサを有する様々な衛星からの様々な多数のデータセットを有する衛星画像から導出される。図６は、図４と図５に描かれた領域の３次元モデルを示す。図７は、図４～図６に示す領域のいわゆる「デプス画像」を示す。デプス画像は、定義された軸に沿った距離を示す。通常、遠い地表面は暗く表現され、近い地表面は明るく表現される。図示した例では、定義された軸は垂直である。要するに、デプス画像の明るい部分は高い部分で、暗い部分は平坦または低い部分である。都市のシーンの場合、図７のデプス画像は、従って、建物とその他の構造物の高さを示す。

すべてのデータレイヤは、多数の利用可能なソースから取得することができる。データを入手する好ましい方法は、オープンソースを使用することである。例えば、２次元マップデータ、航空写真／地図、および従来の３次元マップデータは、多くの場合、使用制限なしに、ＯｐｅｎＳｔｒｅｅｔＭａｐ財団などから入手できる。さらに、政府機関のような他の情報ソースは、都市に関する地理的データを公開している。

例えば、ウィーン市には、前述の３つのソースと、地図上の各ポイントに存在するオブジェクトの高さを抽出できる前述の地表面モデルとがある。ウィーン市には合計で５０を超える様々なデータセットがあり、それらは複数の詳細レベルを有し、マルチモーダル３次元マップを作成するために使用できる。．

本発明の好ましい実施形態では、マルチモーダル３次元マップの異なるレイヤは、空間的に整合するように結合される。空間的な整合性は、例えば、住宅のような物体や特徴を共通の座標系で定義することで達成することができる。このステップを実行するだけで、各レイヤはすでにある程度位置合わせされる。さらに、より正確な位置合わせは、本技術分野で周知の画像レジストレーション方法を、両方のマップレイヤに存在する特徴（例えば、航空写真と２次元レイヤの建物）に基づいて使用することで、達成することができる。この位置合わせにより、一部のレイヤにのみ存在するオブジェクトの位置（道路の境界や消火栓など）を、マルチモーダルマップ上の他のすべての特徴と関連付けることができる。

組み合わせると、図４～図７に例示する様々なタイプのデータセットから、以下の情報を抽出することができる。

３次元レイヤからは、例えば、建物の壁１９（図８参照）又は縁２０（図８参照）の正確な位置に関する情報を得ることができる。歩道２と車道１０の境界２２（図９参照）は、航空写真から抽出することができる。デプス画像と３次元マップの組み合わせるからは、例えば、樹木の正しい位置についての非常に正確な推定値（図８の障害物２１を参照）が得られる。この例で言及しているすべての情報ソースは、ウィーン市にあり、市政府とその他の非政府の情報ソースから自由に入手可能なオープンデータである。

マルチモーダル３次元マップはまた、例えば、自律走行車を自動的に案内したり、路上での大きな物体の輸送を計画したりする場合に、本発明とは独立して非常に有用であり得る。

本発明のさらなる実施形態によれば、少なくとも１つの歩行可能な空間がマルチモーダル３次元マップ内に定義される。この歩行可能な空間は、非常に単純な例では、すべての歩道から歩道以外のすべてを差し引いたものである。例えば、歩道からすべてのベンチ、ゴミ箱、シングポスト、街灯柱、ボラード、花壇などを差し引いたものである。この場合、歩行可能な空間は自動的に定義することができる。もちろん、歩行可能な空間は手動で定義することもできる。

基本的に静止している前述のオブジェクトの次に、他の側面も考慮に入れることができる。例えば、非常に忙しい店の入口部分は、歩行可能な空間から除外して回避することができる。

したがって、ステップＢは、マルチモーダル３次元マップに基づいて、特に歩行可能な空間に基づいて、実行されることが好ましい。

また、ステップＢ（経路の計算）を実行する際、２つの歩行可能な空間を少なくとも１つのウェイポイントを介して接続することができる。さらに、２つ以上の歩行可能な空間がマルチモーダル３次元マップ内で互いに隣接していない場合、少なくとも１つの移行空間が定義され、その移行空間は、前記２つ以上の歩行可能な空間の間の隙間を埋める。

これを図３に示す。歩道２は、他の離れた歩道１６と直接隣接していない。それらの歩道は、２つのウェイポイント１７、１８を介して接続されている。それらの歩道の間に横断歩道１１がある。この場合、横断歩道１１は、２つの歩道２、１６の間の隙間を埋める移行空間である。その他の種類の移行空間としては、例えば、信号機とそれらの間の道路などがある。ただし、階段や、石畳のような困難な舗装の空間も、安全な歩行空間と見なされない場合には、移行空間になる可能性がある。

本発明の別の態様を、図８と図９に示す。これらの図は、マルチモーダル３次元マップの２次元ビューの非常に単純化された例を示す。

マルチモーダル３次元マップは、通常のマップと同様に、建物３、車道１０および歩道２を示す。しかし、情報の追加レイヤへの猶予により、建物３の壁１９および縁２０の正しい位置が、それらの実際の位置とともに正しく記される。樹木２１が登録され、適宜配置されている。同じことが、歩道２と車道１０の間に正しく記された境界２２にも当てはまる。

本発明の好ましい一実施形態によれば、少なくとも１つの障害物が識別され、マルチモーダル３次元マップ内にマークされ、少なくとも１つのウェイポイントがその障害物を回避するように設定される。

図９に見られるように、経路１５は、いくつかのウェイポイント２３に沿って作成されている。これらのウェイポイント２３は、壁１９、縁２０、樹木２１のような障害物を回避し、車道１０と歩道２の間の境界２３を回避する。

ウェイポイント２３を自動または手動で設定する場合、歩行可能な空間ではない空間から最大距離になるように試みることが重要である。ウェイポイントに適した場所を見つける簡単な方法は、ボトルネックを特定し、本質的にそのボトルネックの中央にウェイポイントを配置して、歩行可能な空間ではないすべての空間への最大距離を実現することである。

現在作成されている経路をたどるには、人（または車両／ドローン）の正確な位置を知る必要がある。これは、好ましくは、コンピュータにより実行される本方法を実行するために使用される装置、例えば、スマートフォンの位置を特定することによって行うことができる。しかし、装置の位置を特定する方法は、装置が経路上のどこにあるのか、または経路上または経路の近くにあるか否かを確実に判断するのに十分な精度ではない。

本発明のステップＣの間に交通参加者の正確な位置を決定するための１つの可能な方法を、図１０のフローチャートに示す。

図示した好適な実施形態は、以下のサブステップを含む。
ａ．周囲の少なくとも１つのデジタル画像を処理して実際のビューを取得し、
ｂ．未加工の位置に基づいて少なくとも１つの可能な人工的なビューを生成し、その未加工の位置は、マルチモーダル３次元マップの一部であり、その人工的なビューを提供するために描かれているシーンを提供し、
ｃ．人工的なビューと実際のビューを比較し、
ｄ．人工的なビューと実際のビューが本質的に同じである場合に、その人工的なビューが生成された視点として位置を提供し、サブプロセスを完了し、
ｅ．人工的なビューと実際のビューが本質的に同じでない場合に、少なくとも１つの異なる人工的なビューでサブプロセスを繰り返す。

ステップａ．は、プロセスを実行するために使用される装置の前のシーンを撮影することで簡単に実行できる。その装置がスマートフォンである場合には、スマートフォンのカメラを使用できる。

シーンの撮影も写真の撮影と見なされる。なぜなら撮影は、基本的に（高い）フレームレートで写真を撮影することであるからである。

より大きな実際のビューを作成するために紐付けられた一連の画像も、本発明の範囲内にあると考えられる。

次に、少なくとも１つの人工的なビューを作成する。これは、例えば、当業者に周知であるように、レイキャスタを使用することによって行うことができる。単純なレイキャスタは、ある視点から３Ｄ表面に対して光線を飛ばし、光線が最初に当たる表面をレンダリングする。より洗練されたレイキャスタは、素材を考慮に入れ、例えば、ガラスを通過したかのようにビューをレンダリングすることさえできる。しかし、本発明のこの実施形態では、非常に単純なレイキャスタで十分である。３Ｄ画像をレンダリングする他の方法も採用することができる。この実施形態の場合、３Ｄ表面は、マルチモーダル３次元マップである。

視点は未加工の位置である。未加工の位置は、例えば、ＧＰＳ、磁気センサ、または加速度計やジャイロスコープのようなモーションセンサを使用する慣性航法システムのような、任意の既知の位置特定手段によって得ることができる。未加工の位置の推定は、マップ内の以前の既知の正確な位置の一部またはすべてを考慮することによっても改善することができる。この情報は、地図の（壁のような）幾何学的制約とともに使用して、センサから推定される現在の未加工の位置の不確実性を低減することができる。例えば、人は建物や樹木がある場所に立つことはできない。

次に、人工的なビューと実際のビューが比較される。それらが本質的に同じである場合、人工的なビューの視点は交通参加者の位置と見なされる。それらが同じでない場合、位置が特定されるまで、さらに人工的なビューが実際のビューと比較される。

位置を特定するための前述の方法を妨げる可能性がある１つの問題は、実際のビューを作成するために使用される画像を撮るカメラの視野が妨げられることである。

そのような障害となり得るのは、マルチモーダル３次元マップの表面およびオブジェクトとカメラとのの間にあるオブジェクトである。そのような障害の通常の原因は、シーンの一部になり得るが、マルチモーダル３次元マップによって捕捉されない動的なオブジェクトである。例えば、自動車２４、歩行者２５（両方について図３を参照）、一時的なアート・インスタレーション、またはＡ型看板のような広告である。

実際のビューと人工的なビューを考慮するためのしきい値が非常に粗く設定されている場合でも、動的オブジェクトの数が多いと、ビューを比較するときに誤った否定が発生する可能性がある。この問題を回避するために、デジタル画像を処理して実際のビューを作成するときに、「ｉ．画像から動的オブジェクト削除する」というサブステップを実行する。動的オブジェクトを削除する１つの可能な手段は、人工知能でそれらを識別することである。ここで言う人工知能とは、例えば、画像中の歩行者、自動車、自転車などを識別するように訓練された畳み込みニューラルネットワークである。

ここに記述した位置を特定する方法は、本発明とは無関係に有利に実施することができる。この方法は、本発明の前述の他の特徴と組み合わせて使用することも、単独で使用することもできる。

正確な位置が特定されると、ユーザとその周辺との関係が分かり、現実に正確に適合する拡張現実を生成することができる。

この場合のユーザは、当該技術分野において周知である必要はない。ユーザは、本方法が実行されてる装置を単に操作することができれば、例えば、スマートフォンを使用できれば、それで十分である。

本発明の好ましい実施形態によれば、ステップＤからのビーコンは、上記の拡張現実内で認識可能である。

例えば、知覚可能なビーコンは、スマートグラスの視野内であって、位置を特定するために撮影された写真内、または前述の装置のカメラの視野内に重ね合わせることができる。

しかし、これらの手段は視覚障害者にとってほとんどまたは全く役に立たない。したがって、本発明のさらに好ましい実施形態によれば、本方法は、拡張現実が音響的であり、ビーコンがそれぞれの位置で聞こえることを特徴とする。これは、例えば、各位置でノイズをシミュレートするヘッドホンを介して実現することができる。より単純な例示的な実施形態では、装置は、最も近いビーコンに向けられたときに大きな音を発生させ、離れたときに小さい音を発生させる。ビーコン／ウェイポイントに到達すると、音を再生して、次のビーコンの音が再生されていることを示すことができる。ステレオ技術を使用すると、ウェイポイントがユーザの左側にある場合には左スピーカで音が大きく聞こえ、ウェイポイントがユーザの右側にある場合には右スピーカで音が大きく聞こえるようになる。好ましい実施形態では、バイノーラル仮想オーディオ（空間オーディオまたは３Ｄオーディオとも呼ばれる）を使用することができる。この場合、装置は音源を処理して、音がウェイポイントの実際の空間位置から来ていることをユーザに対してシミュレートする。この技術は、人間が音源の方向と距離を知覚する方法をシミュレートするものであり、空間に仮想音源を実装する（オーディオ拡張現実）ための真の手段であるため、ユーザに経路を案内することが理想的である。

また、一度に１つのビーコンのみがアクティブになることが好ましい。経路に沿って最も近いビーコンのみがアクティブであり、ユーザがそれぞれのウェイポイントに到達すると、次のビーコンに切り替わることが好ましい。

ここに記述した人を案内するための方法は、本発明とは無関係に有利に実施することができる。例えば、人に建物内を案内するような、他の方法に基づく案内システムに使用することができる。その場合、周囲に対するユーザの位置を特定するための可能な方法は、例えば、建物内のＲＦＩＤトランスポンダと、ユーザに取り付けた対応するＲＦＩＤチップを使用することである。

もちろん、拡張現実には、さらなる指標を含めることができる。例えば、遷移空間に到達または交差するとき、または、どのようなタイプの遷移空間があるのか（横断歩道、信号機、階段、ランプ、リフト、エスカレータなど）を示すものである。

一般に、マルチモーダル３次元マップに記されるすべての要素は、拡張現実の一部となり得る。

本発明に係る交通参加者は、歩行者だけでなく、自転車に乗る人、ドローン、自動車などであってもよい。

１ 都市のシーン
２ 歩道
３ 建物
４ 建物
５ 花壇
６ 街灯柱
７ 車
８ 経路
９ 経路
１０ 車道
１１ 横断歩道
１２ ボラード
１３ ゴミ箱
１４ 道路標識
１５ 経路
１６ 歩道（未接続）
１７ ウェイポイント
１８ ウェイポイント
１９ 壁
２０ 縁／角
２１ 樹木
２２ 境界
２３ ウェイポイント
２４ 自動車
２５ 歩行者

Claims (15)

1. 交通参加者、特に歩行者、特に視覚障害者を、特に都市環境において、少なくとも２つの場所の間で案内するための、コンピュータにより実行される方法であって、
   Ａ．マルチモーダル３次元マップを提供するステップと、
   Ｂ．前記マルチモーダル３次元マップに基づいて、少なくとも１つのウェイポイントを経由して前記少なくとも２つの場所を結ぶ経路を計算するステップと、
   Ｃ．好ましくは前記マルチモーダル３次元マップを使用して、前記交通参加者の正確な位置を特定するステップと、
   Ｄ．前記経路に沿って前記ウェイポイントにビーコンを設定するステップと
   を含む方法。
2. 前記マルチモーダル３次元マップは、少なくとも２つの、好ましくはより多くのソースから作成されることを特徴とする、請求項１に記載の方法。
3. ステップＡのソースは、２次元マップデータ、衛星画像、従来の３次元情報、地形図、（地方自治体の）街路樹目録、消火栓の計画、道路建設の計画、３次元モデルの表面テクスチャおよび航空写真のうちの少なくとも１つ以上を含むことを特徴とする、請求項２に記載の方法。
4. 前記マルチモーダル３次元マップ内に少なくとも１つの歩行可能な空間が定義されることを特徴とする、請求項１から３のいずれか１項に記載の方法。
5. ステップＢは、前記マルチモーダル３次元マップ内の前記歩行可能な空間に基づいて実行されることを特徴とする、請求項４に記載の方法。
6. ２つの隣接する歩行可能な空間は、少なくとも１つのウェイポイントを介して接続されることを特徴とする、請求項４または５に記載の方法。
7. ステップＡの間に、前記マルチモーダル３次元マップ内に少なくとも１つの遷移空間が定義され、その遷移空間は、互いに隣接していない少なくとも２つの歩行可能な空間の間の隙間を埋めることを特徴とする、請求項４から６のいずれか１項に記載の方法。
8. 前記マルチモーダル３次元マップにおいて少なくとも１つの障害物が識別されてマークされ、少なくとも１つのウェイポイントが前記障害物を回避するように設定されることを特徴とする、請求項１から７のいずれか１項に記載の方法。
9. ステップＣは、
   ａ．周囲の少なくとも１つのデジタル画像を処理して実際のビューを取得し、
   ｂ．未加工の位置に基づいて少なくとも１つの可能な人工的なビューを生成し、その未加工の位置は、前記マルチモーダル３次元マップの一部であり、前記人工的なビューを提供するために描かれているシーンを提供し、
   ｃ．前記人工的なビューと前記実際のビューを比較し、
   ｄ．前記人工的なビューと前記実際のビューが本質的に同じである場合に、前記人工的なビューが生成された視点として位置を提供し、前記サブプロセスを完了し、
   ｅ．前記人工的なビューと前記実際のビューが本質的に同じでない場合に、少なくとも１つの異なる人工的なビューで前記サブプロセスを繰り返す
   というサブステップで実行されることを特徴とする、請求項１から８のいずれか１項に記載の方法。
10. サブステップＣ．ａ．は、
    ｉ．前記デジタル画像から動的オブジェクトを削除する
    というサブステップを含むことを特徴とする、請求項９に記載の方法。
11. 前記動的オブジェクトは、自動車、他の歩行者、動物、移動可能なゴミ箱、Ａ型看板、移動可能な広告用の設置物、自転車などを含むリストの中の１つ以上であることを特徴とする、請求項１０に記載の方法。
12. ステップＣの正確な位置と、ステップＡからの前記マルチモーダル３次元マップとにより、ユーザの周囲に拡張現実が作成され、ステップＤからの前記ビーコンは前記拡張現実において知覚可能であることを特徴とする、請求項１から１１のいずれか一項に記載の方法。
13. 前記拡張現実は音響的であり、前記ビーコンはそれぞれの位置で聞こえることを特徴とする、請求項１２に記載の方法。
14. １つまたは２つのビーコンのみが同時にアクティブであり、前記アクティブなビーコンは経路の方向に最も近接していることを特徴とする、請求項１から１３のいずれか１項に記載の方法。
15. 装置が、請求項１から１４のいずれか１項に記載の方法を実行することを特徴とする、交通参加者を案内するためのシステム。
    
    

Images