JP2019046464A - 歩道進行支援システム及び歩道進行支援ソフトウェア - Google Patents
歩道進行支援システム及び歩道進行支援ソフトウェア Download PDFInfo
- Publication number
- JP2019046464A JP2019046464A JP2018151756A JP2018151756A JP2019046464A JP 2019046464 A JP2019046464 A JP 2019046464A JP 2018151756 A JP2018151756 A JP 2018151756A JP 2018151756 A JP2018151756 A JP 2018151756A JP 2019046464 A JP2019046464 A JP 2019046464A
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- sidewalk
- line segment
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
- Navigation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】歩行弱者の歩道における進行を支援できる、歩道進行支援システム及び歩道進行支援ソフトウェアを提供する。【解決手段】歩道進行支援システム１は、メガネ装置２と、メガネ装置２と通信可能なサーバ３とを備える。メガネ装置２は、歩行者の少なくとも前方を撮像可能な撮像カメラ４と、撮像画像の中で、可動物体及び静止物体を検出可能な物体検出部５と、歩行者の現在位置情報を検出可能な現在位置情報検出部８を有する。サーバ３は、物体検出部５が検出した静止物体または可動物体の地図座標を作成可能な物体地図座標作成部１２と、歩道内の進行可能領域の位置情報を検出可能な進行可能領域位置情報検出部１５と、目的地と現在位置との間の経路であって歩行者が進行可能な経路に関する情報である進行可能経路情報を決定可能な進行可能経路情報決定部１８とを有する。【選択図】図１
Description
本発明は歩道進行支援システム及び歩道進行支援ソフトウェアに関する。詳しくは、例えば、高齢者や目の不自由な人といった歩行弱者のための、歩道進行支援システム及び歩道進行支援ソフトウェアに係るものである。
歩行弱者にとって、外出して道を歩き、目的地へ向かうということは、その道がどんなに単純な道であったとしても、とても難しい。
こうした歩行弱者特に目の不自由な人の歩行を支援すべく、点字ブロック、誘導鈴、点字サイン、白杖が存在し、また、盲導犬の使用や歩行訓練士による歩行訓練も行われている。
また、歩行弱者の歩行を支援するための様々な技術も提案されている。
例えば、特許文献１には、インターネットに接続された、監視装置と誘導装置とを備える個人ナビゲーションシステムが記載されている。
例えば、特許文献１には、インターネットに接続された、監視装置と誘導装置とを備える個人ナビゲーションシステムが記載されている。
監視装置は、携帯電話機の使用者がどのような経路を経て移動するかを、インターネットを通じて監視する。
また、誘導装置は、内部に各種のデータベースを備えており、携帯電話機の使用者に対して目的地まで誘導するデータを検索し、これを監視装置に提供する。
また、誘導装置は、内部に各種のデータベースを備えており、携帯電話機の使用者に対して目的地まで誘導するデータを検索し、これを監視装置に提供する。
また、誘導装置が備えるデータベースのうち、地図情報データベースには、デジタル地図情報と、各地域に存在する歩道と車道の段差、歩道上に存在する電信柱、花壇などの障害物の一覧とこれらの位置とに関するデータが格納されている。
また、携帯電話機の使用者は、音声で指示を受けながら正規のルートに沿って進行し、これによってそのときどきの位置情報が携帯電話機から監視装置へ送られる。
また、監視装置は、携帯電話機の位置情報をチェックし、例えば前方数メートルの範囲内でポストなどの障害物が存在する場合には、進行方向を一時的に変更して障害物に対する回避処理を実行する。
また、監視装置は、携帯電話機の位置情報をチェックし、例えば前方数メートルの範囲内でポストなどの障害物が存在する場合には、進行方向を一時的に変更して障害物に対する回避処理を実行する。
しかしながら、特許文献１に記載のシステムでは、電信柱や縁石など予め設置された静止物体については回避できるものの、通行人や自転車を運転中の人といった可動物体を回避し難いという問題が挙げられる。
また、静止物体についても、例えば歩行者が歩行する当日に歩道に突然設置されたコーンなどの工事関連設置物については、すぐにはデータベースに反映され難いため、特許文献１に記載のシステムでは、このような静止物体を回避し難いという問題も挙げられる。
従って、歩行弱者の歩行を支援できる、さらなるシステムが求められていた。
従って、歩行弱者の歩行を支援できる、さらなるシステムが求められていた。
本発明は、以上の点に鑑みて創案されたものであり、歩行弱者の歩道における進行を支援できる、歩道進行支援システム及び歩道進行支援ソフトウェアを提供することを目的とする。
上記の目的を達成するために、本発明の歩道進行支援システムは、歩行者の少なくとも前方を撮像可能な撮像部と、該撮像部が撮像して得られた撮像画像の中で、動く物体である可動物体及び静止した物体である静止物体を検出可能な物体検出部と、前記撮像画像の中で、同撮像画像の下部から同撮像画像の略中央領域へ向けて延びる第１の線分と、同撮像画像の下部から同撮像画像の略中央領域へ向けて延びると共に同撮像画像の下部から同撮像画像の略中央領域に近づくにつれて同第１の線分との間の距離が短くなった第２の線分とを検出可能な線分検出部と、前記撮像画像の中で、前記線分検出部が検出した、前記第１の線分と前記第２の線分との間の領域を歩道として決定可能な歩道決定部と、前記撮像部が装着された歩行者の位置情報である現在位置情報を検出可能な現在位置情報検出部と、前記撮像部の撮像方向を検出可能な方向検出部と、前記撮像部から同撮像部に撮像された物体までの距離を前記撮像画像に基づいて測定可能な距離測定部と、地図に関する情報である地図情報を記録可能な地図情報記録部と、前記物体検出部が検出した静止物体または可動物体の位置を、前記方向検出部が検出した撮像方向と、前記距離測定部が測定した前記撮像部と同静止物体または同可動物体との間の距離とに基づいて、同撮像部が装着された歩行者の位置を原点とする動座標系の座標値として算出可能であり、かつ、前記現在位置情報検出部が検出した現在位置情報を原点として、算出された同座標値を、前記地図情報記録部が記録した地図情報に含まれる地図座標系の緯度経度に変換して、同静止物体または同可動物体の地図座標を作成可能な物体地図座標作成部と、可動物体に関する情報である可動物体情報及び静止物体に関する情報である静止物体情報を記録可能な検出物体情報記録部と、前記物体検出部が検出した可動物体または静止物体と、前記検出物体情報記録部が記録した前記可動物体情報及び前記静止物体情報とを照合して、同可動物体及び同静止物体を特定可能な物体特定部と、前記歩道決定部が歩道を決定したときの同歩道を挟む、前記第１の線分及び前記第２の線分それぞれに対応する、前記物体地図座標作成部が作成した前記地図座標の緯度経度位置情報と、同第１の線分と同第２の線分との間に位置する静止物体または可動物体に対応する、前記物体地図座標作成部が作成した前記地図座標の緯度経度位置情報とに基づいて、同歩道内の進行可能領域の位置情報を検出可能な進行可能領域位置情報検出部と、音声と、前記地図情報記録部が記録した前記地図情報とに基づいて、目的地に関する情報である目的地情報を決定可能な目的地情報決定部と、該目的地情報決定部が決定した前記目的地情報と、前記現在位置情報検出部が検出した前記現在位置情報とに基づいて、目的地と現在位置との間の経路に関する情報である経路情報を決定可能な経路情報決定部と、該経路情報決定部が決定した前記経路情報と、前記進行可能領域位置情報検出部が検出した前記進行可能領域位置情報とに基づいて、目的地と現在位置との間の経路であって歩行者が進行可能な経路に関する情報である進行可能経路情報を決定可能な進行可能経路情報決定部とを備える。
ここで、物体検出部が検出した可動物体または静止物体と、検出物体情報記録部が記録した可動物体情報及び静止物体情報とを照合して、可動物体及び静止物体を特定可能な物体特定部によって、歩道を歩行する歩行弱者の少なくとも前方に実際に存在する物体を特定できる。
また、物体検出部が検出した静止物体または可動物体の位置を、方向検出部が検出した撮像方向と、距離測定部が測定した撮像部と静止物体または可動物体との間の距離とに基づいて、撮像部が装着された歩行者の位置を原点とする動座標系の座標値として算出可能であり、かつ、現在位置情報検出部が検出した現在位置情報を原点として、算出された座標値を、地図情報記録部が記録した地図情報に含まれる地図座標系の緯度経度に変換して、静止物体または可動物体の地図座標を作成可能な物体地図座標作成部によって、歩道を歩行する歩行弱者の少なくとも前方に実際に存在する物体の、地図座標における位置を把握することができる。
さらに、経路情報決定部が決定した経路情報と、進行可能領域位置情報検出部が検出した進行可能領域位置情報とに基づいて、目的地と現在位置との間の経路であって歩行者が進行可能な経路に関する情報である進行可能経路情報を決定可能な進行可能経路情報決定部によって、地図情報には含まれない実際に歩行する際の歩道における状況が考慮された、歩道の進行可能経路を決定できる。
また、本発明の歩道進行支援システムは、物体特定部が可動物体を特定した場合に可動物体が存在することを告知可能であり、かつ、進行可能経路情報決定部が決定した進行可能経路情報を告知可能な告知部を備える構成とすることができる。
この場合、歩行弱者は、実際に歩行する際の歩道における状況に対応した、進行できる経路情報を知ることができる。
さらに、本発明の歩道進行支援システムは、方向検出部が検出した撮像部の撮像方向が向けられた物体と撮像部との間の、距離測定部が測定した距離が所定の値以下であり、かつ、物体検出部が検出した物体が鉛直方向に所定の長さ以上延びる線分である鉛直線分を有する場合に、告知部に警告を告知させる制御もしくは距離測定部が測定した物体と撮像部との間の距離が所定の値より大きくなる方向へ誘導する内容を告知させる制御が可能な制御部を備える構成とすることができる。
この場合、歩行弱者は、物体との衝突を避け易くなる。
また、本発明の歩道進行支援システムにおいて、線分検出部は、さらに、撮像画像の中で、第１の線分及び第２の線分それぞれと交差する、第１の交差線分及び第２の交差線分を検出可能であり、距離測定部は、さらに撮像画像に基づいて線分と線分の間の距離を測定可能であり、制御部は、距離測定部が測定した第１の交差線分と第２の交差線分の間の距離が所定の値より大きい場合に、撮像部の撮像方向が左方向へ向くことである左方向転換へ誘導する内容及び撮像部の撮像方向が右方向へ向くことである右方向転換へ誘導する内容を告知部に告知させる制御が可能である構成とすることができる。
この場合、第１の交差線分と第２の交差線分との間の領域すなわち歩道と交差する領域は車道であることが多いので、車道を横切る際に歩行弱者に車道の状況を撮像させることができる。
また、本発明の歩道進行支援システムは、物体特定部が特定した結果、静止物体が点字ブロックであると特定された場合に、点字ブロックに対応する、物体地図座標作成部が作成した地図座標の緯度経度位置情報と、現在位置情報検出部が検出した現在位置情報とを対比可能な位置情報対比部を備え、物体特定部は、物体特定部が特定した結果、静止物体が点字ブロックであると特定された場合に、さらに検出物体情報記録部が記録した静止物体情報に基づいて、複数の点字ブロックが互いに連結した構成である点字ブロック連結体の意味を特定可能であり、制御部は、位置情報対比部が対比した結果、点字ブロックの位置情報と現在位置情報が一致しない場合に、告知部に点字ブロックの位置への誘導を告知させる制御が可能である構成とすることができる。
この場合、歩行弱者が歩道上の点字ブロックから離れてしまっても、点字ブロックに近づくことができる。
また、本発明の歩道進行支援システムにおいて、距離測定部はレーザを照射可能であり、かつ、照射されたレーザの反射に基づいて撮像部から撮像部に撮像された物体までの距離をさらに測定可能であり、制御部は、斜め下方へ照射されたレーザの反射に基づいて連続して測定された距離が変化した場合に、告知部に段差が存在することを告知させる制御が可能である構成とすることができる。
また、本発明の歩道進行支援システムにおいて、距離測定部は、２眼や３眼などのステレオカメラを使用することができれば、近距離１０〜１５ｍ程度までの範囲で画像の両眼視差からおおよその距離を計算によって求めることができる。
ただし、レーザ距離計ほどの精度は得られず、段差判定も難しいが、歩行障害物までのおおよその距離を測定することは可能である。
ただし、レーザ距離計ほどの精度は得られず、段差判定も難しいが、歩行障害物までのおおよその距離を測定することは可能である。
この場合、歩行弱者は、段差を避けたり、段差に適切に対応したりすることができる。
また、本発明の歩道進行支援システムは、物体地図座標作成部が作成した静止物体の地図座標と、物体特定部が静止物体を特定した特定結果と、地図情報記録部が記録した地図情報とに基づいて、特定された物体の地図上における配置に関する情報である物体配置情報を作成可能な物体配置情報作成部と、物体配置情報作成部が作成した物体配置情報を記録可能な物体配置情報記録部とを備える構成とすることができる。
この場合、どの場所の歩道に、実際にどのような物体が配置されているかを記録して、検索できるようにすることができる。
また、本発明の歩道進行支援システムは、音声と、目的地情報決定部が決定した目的地情報と、地図情報記録部が記録した地図情報のうち目的地情報に関連する情報である目的地関連地図情報とに基づいて、目的地情報よりも局所的な情報である局所目的地情報を決定可能な局所目的地情報決定部を備え、経路情報決定部は、目的地情報決定部が決定した目的地情報の代わりに局所目的地情報決定部が決定した局所目的地情報と、現在位置情報検出部が検出した現在位置情報とに基づいて経路情報を決定可能である構成とすることができる。
この場合、さらに詳細に目的地を決めて、歩行者の希望に沿うことができる。
また、本発明の歩道進行支援システムは、進行可能経路情報決定部が決定した進行可能経路情報と、進行可能経路情報の進行可能経路を歩行者が進行したときに現在位置情報検出部が検出した現在位置情報と、現在位置情報が検出されたときの撮像画像とを関連付けて記録可能な進行履歴記録部を備える構成とすることができる。
この場合、目的地までの歩行弱者の実際の歩行を記録しておき、同じ歩行者あるいは別の歩行者が同様の経路を歩行する際の参考にすることができる。
また、本発明の歩道進行支援システムは、音声に基づいて、前記地図情報記録部が記録した地図情報と物体配置情報記録部が記録した物体配置情報を検索可能な検索部を備え、告知部は、検索部の検索結果を告知可能である構成とすることができる。
この場合、歩行弱者は、現在自分が位置する場所の周辺情報について、地図情報に含まれる情報のみならず、実際にどのような物体が配置されているかを検索して知ることができる。
また、本発明の歩道進行支援システムは、物体検出部が検出した可動物体及び静止物体それぞれの画像を撮像画像から切出可能な画像切出部と、画像切出部が切出した、可動物体の切出画像及び静止物体の切出画像と、可動物体及び静止物体を物体特定部が特定した特定結果とを関連付けて得られた情報である教師情報を記録可能な教師情報記録部とを備える構成とすることができる。
この場合、物体を特定する際に利用する人工知能の精度を向上させるためのディープラーニングを行うことができる。
また、本発明の歩道進行支援システムにおいて、告知部は、告知内容を音声で告知可能な音声告知部及び、長手方向を有し、かつ、長手方向の一方側と、この一方側とは反対側に位置する他方側とを着脱可能に連結可能な本体と、該本体の一方の面に同本体の長手方向と同じ方向に並べて取付けられており、かつ、告知する場合に告知内容に応じて一部または全部を振動可能な複数の振動体とを有する振動告知部の中の少なくとも１つである構成とすることができる。
この場合、振動告知部については、本体の一方側と本体の他方側とを連結して本体を環状と成して歩行者の身体に本体を取付けることができ、また、音声告知部の告知に比べて早く告知することができる。
また、「長手方向の一方側」や「長手方向の他方側」にはそれぞれ、端部から所定の範囲が含まれるものとする。
また、音声告知部については、振動告知部の告知に比べて告知内容を詳しく告知することができる。
また、「長手方向の一方側」や「長手方向の他方側」にはそれぞれ、端部から所定の範囲が含まれるものとする。
また、音声告知部については、振動告知部の告知に比べて告知内容を詳しく告知することができる。
また、上記の目的を達成するために、本発明の歩道進行支援ソフトウェアは、歩道上の歩行者の進行を支援するための歩道進行支援ソフトウェアであって、情報処理機器を、地図に関する情報である地図情報を記録可能な地図情報記録部と、歩行者の少なくとも前方を撮像可能な撮像部が撮像して得られた撮像画像の中で検出された、動く物体である可動物体及び静止した物体である静止物体の位置を、同撮像部の撮像方向と、同撮像画像に基づいて測定された同撮像部と同静止物体または同可動物体との間の距離とに基づいて、同撮像部が装着された歩行者の位置を原点とする動座標系の座標値として算出可能であり、かつ、検出された、同撮像部が装着された歩行者の位置情報である現在位置情報を原点として、算出された同座標値を、前記地図情報記録部が記録した地図情報に含まれる地図座標系の緯度経度に変換して、同静止物体または同可動物体の地図座標を作成可能な物体地図座標作成部と、可動物体に関する情報である可動物体情報及び静止物体に関する情報である静止物体情報を記録可能な検出物体情報記録部と、前記撮像画像の中で検出された可動物体または静止物体と、前記検出物体情報記録部が記録した前記可動物体情報及び前記静止物体情報とを照合して、同可動物体及び同静止物体を特定可能な物体特定部と、前記撮像画像の中で検出された、同撮像画像の下部から同撮像画像の略中央領域へ向けて延びる第１の線分と、同撮像画像の下部から同撮像画像の略中央領域へ向けて延びると共に同撮像画像の下部から同撮像画像の略中央領域に近づくにつれて同第１の線分との間の距離が短くなった第２の線分との間の領域が歩道として決定されたときの同歩道を挟む、同第１の線分及び同第２の線分それぞれに対応する、前記物体地図座標作成部が作成した前記地図座標の緯度経度位置情報と、同第１の線分と同第２の線分との間に位置する静止物体または可動物体に対応する、前記物体地図座標作成部が作成した前記地図座標の緯度経度位置情報とに基づいて、同歩道内の進行可能領域の位置情報を検出可能な進行可能領域位置情報検出部と、音声と、前記地図情報記録部が記録した前記地図情報とに基づいて、目的地に関する情報である目的地情報を決定可能な目的地情報決定部と、該目的地情報決定部が決定した前記目的地情報と、検出された前記現在位置情報とに基づいて、目的地と現在位置との間の経路に関する情報である経路情報を決定可能な経路情報決定部と、該経路情報決定部が決定した前記経路情報と、前記進行可能領域位置情報検出部が検出した前記進行可能領域位置情報とに基づいて、目的地と現在位置との間の経路であって歩行者が進行可能な経路に関する情報である進行可能経路情報を決定可能な進行可能経路情報決定部と、を含む手段として機能させるためのソフトウェアである。
さらに、上記の目的を達成するために、本発明の歩道進行支援ソフトウェアは、歩道上の歩行者の進行を支援するための歩道進行支援ソフトウェアであって、情報処理機器を、歩行者の少なくとも前方を撮像可能な撮像部が撮像して得られた撮像画像の中で、動く物体である可動物体及び静止した物体である静止物体を検出可能な物体検出部と、前記撮像画像の中で、同撮像画像の下部から同撮像画像の略中央領域へ向けて延びる第１の線分と、同撮像画像の下部から同撮像画像の略中央領域へ向けて延びると共に同撮像画像の下部から同撮像画像の略中央領域に近づくにつれて同第１の線分との間の距離が短くなった第２の線分とを検出可能な線分検出部と、前記撮像画像の中で、前記線分検出部が検出した、前記第１の線分と前記第２の線分との間の領域を歩道として決定可能な歩道決定部と、地図に関する情報である地図情報を記録可能な地図情報記録部と、前記物体検出部が検出した静止物体または可動物体の位置を、前記撮像部の撮像方向と、同撮像画像に基づいて測定された同撮像部と同静止物体または同可動物体との間の距離とに基づいて、同撮像部が装着された歩行者の位置を原点とする動座標系の座標値として算出可能であり、かつ、検出された、同撮像部が装着された歩行者の位置情報である現在位置情報を原点として、算出された同座標値を、前記地図情報記録部が記録した地図情報に含まれる地図座標系の緯度経度に変換して、同静止物体または同可動物体の地図座標を作成可能な物体地図座標作成部と、可動物体に関する情報である可動物体情報及び静止物体に関する情報である静止物体情報を記録可能な検出物体情報記録部と、前記物体検出部が検出した可動物体または静止物体と、前記検出物体情報記録部が記録した前記可動物体情報及び前記静止物体情報とを照合して、同可動物体及び同静止物体を特定可能な物体特定部と、前記歩道決定部が歩道を決定したときの同歩道を挟む、前記第１の線分及び前記第２の線分それぞれに対応する、前記物体地図座標作成部が作成した前記地図座標の緯度経度位置情報と、同第１の線分と同第２の線分との間に位置する静止物体または可動物体に対応する、前記物体地図座標作成部が作成した前記地図座標の緯度経度位置情報とに基づいて、同歩道内の進行可能領域の位置情報を検出可能な進行可能領域位置情報検出部と、音声と、前記地図情報記録部が記録した前記地図情報とに基づいて、目的地に関する情報である目的地情報を決定可能な目的地情報決定部と、該目的地情報決定部が決定した前記目的地情報と、検出された前記現在位置情報とに基づいて、目的地と現在位置との間の経路に関する情報である経路情報を決定可能な経路情報決定部と、該経路情報決定部が決定した前記経路情報と、前記進行可能領域位置情報検出部が検出した前記進行可能領域位置情報とに基づいて、目的地と現在位置との間の経路であって歩行者が進行可能な経路に関する情報である進行可能経路情報を決定可能な進行可能経路情報決定部と、を含む手段として機能させるためのソフトウェアである。
ここで、物体特定部によって、歩道を歩行する歩行弱者の少なくとも前方に実際に存在する物体を特定できる。
また、物体地図座標作成部によって、歩道を歩行する歩行弱者の少なくとも前方に実際に存在する物体の、地図座標における位置を把握することができる。
また、進行可能経路情報決定部によって、地図情報には含まれない実際に歩行する際の歩道における状況が考慮された、歩道の進行可能経路を決定できる。
また、物体地図座標作成部によって、歩道を歩行する歩行弱者の少なくとも前方に実際に存在する物体の、地図座標における位置を把握することができる。
また、進行可能経路情報決定部によって、地図情報には含まれない実際に歩行する際の歩道における状況が考慮された、歩道の進行可能経路を決定できる。
本発明に係る歩道進行支援システムは、歩行弱者の歩道における進行を支援できる。
本発明に係る歩道進行支援ソフトウェアは、歩行弱者の歩道における進行を支援できる。
本発明に係る歩道進行支援ソフトウェアは、歩行弱者の歩道における進行を支援できる。
以下、本発明の実施の形態について図面を参照しながら説明し、本発明の理解に供する。
図１は、本発明を適用した歩道進行支援システムの構成の一例を示す概略図である。
図１は、本発明を適用した歩道進行支援システムの構成の一例を示す概略図である。
図１に示す本発明の歩道進行支援システム１は、一般的なメガネの形状を有するメガネ装置２と、メガネ装置２とインターネット３０を介して通信可能なサーバ３とを備える。
また、メガネ装置２は、例えば目の不自由な歩行者に装着されている。
また、メガネ装置２は、例えば目の不自由な歩行者に装着されている。
また、メガネ装置２は、歩行者の少なくとも前方を撮像可能な撮像カメラ４を有する。
ここで、撮像カメラは撮像部の一例である。
ここで、撮像カメラは撮像部の一例である。
また、メガネ装置２は、撮像カメラ４が撮像して得られた撮像画像を、インターネット３０を介してサーバ３へ送信可能な撮像画像送信部４Ａを有する。
一方、サーバ３は、送信された撮像画像を受信可能な撮像画像受信部４Ｂを有する。
また、メガネ装置２は、物体検出部５を有する。
ここで、物体検出部５は、撮像カメラ４が撮像して得られた撮像画像の中で、動く物体である可動物体及び静止した物体である静止物体を検出可能である。
可動物体としては具体的には例えば、通行人、自転車に乗った人、動物が挙げられる。
また、静止物体としては具体的には例えば、点字ブロック、電信柱、縁石、自動販売機、各種標識、郵便ポスト、生垣、花壇、駐車中の自動車、駐輪中の自転車、街路樹が挙げられる。
ここで、物体検出部５は、撮像カメラ４が撮像して得られた撮像画像の中で、動く物体である可動物体及び静止した物体である静止物体を検出可能である。
可動物体としては具体的には例えば、通行人、自転車に乗った人、動物が挙げられる。
また、静止物体としては具体的には例えば、点字ブロック、電信柱、縁石、自動販売機、各種標識、郵便ポスト、生垣、花壇、駐車中の自動車、駐輪中の自転車、街路樹が挙げられる。
また、メガネ装置２は、物体検出部５が検出した静止物体及び可動物体に関する情報例えば物体の色彩や物体を囲む存在領域矩形を表示した拡張現実画像を、インターネット３０を介してサーバ３へ送信可能な検出物体送信部５Ａを有する。
一方、サーバ３は、送信された静止物体及び可動物体に関する情報を受信可能な検出物体受信部５Ｂを有する。
また、メガネ装置２は、線分検出部６を有する。
ここで、線分検出部６は、撮像画像の中で、撮像画像の下部から撮像画像の略中央領域へ向けて延びる第１の線分と、撮像画像の下部から撮像画像の略中央領域へ向けて延びると共に撮像画像の下部から撮像画像の略中央領域に近づくにつれて第１の線分との間の距離が短くなった第２の線分とを検出可能である。
ここで、線分検出部６は、撮像画像の中で、撮像画像の下部から撮像画像の略中央領域へ向けて延びる第１の線分と、撮像画像の下部から撮像画像の略中央領域へ向けて延びると共に撮像画像の下部から撮像画像の略中央領域に近づくにつれて第１の線分との間の距離が短くなった第２の線分とを検出可能である。
線分検出部６は、例えば、撮像画像の中の縁石や、歩道沿いの建物の線分など、静止物体に基づいて第１の線分と第２の線分を検出できる。
また、線分検出部６は、さらに、撮像画像の中で、第１の線分及び第２の線分それぞれと交差する、第１の交差線分及び第２の交差線分を検出可能である。
また、メガネ装置２は、歩道決定部７を有する。
ここで、歩道決定部７は、撮像画像の中で、線分検出部６が検出した、第１の線分と第２の線分との間の領域を歩道として決定可能である。
ここで、歩道決定部７は、撮像画像の中で、線分検出部６が検出した、第１の線分と第２の線分との間の領域を歩道として決定可能である。
また、メガネ装置２は、歩道決定部７が決定した歩道に関する情報例えば歩道を挟んだ第１の線分と第２の線分を表示した拡張現実画像を、インターネット３０を介してサーバ３へ送信可能な決定歩道送信部７Ａを有する。
一方、サーバ３は、送信された歩道に関する情報を受信可能な決定歩道受信部７Ｂを有する。
また、メガネ装置２は、現在位置情報検出部８を有する。
ここで、現在位置情報検出部８は、撮像カメラ４が装着された、すなわち撮像カメラ４を有するメガネ装置２が装着された歩行者の位置情報である現在位置情報を検出可能である。
また、現在位置情報は、撮像カメラ４が撮像するごとに検出される緯度経度である。
ここで、現在位置情報検出部８は、撮像カメラ４が装着された、すなわち撮像カメラ４を有するメガネ装置２が装着された歩行者の位置情報である現在位置情報を検出可能である。
また、現在位置情報は、撮像カメラ４が撮像するごとに検出される緯度経度である。
また、メガネ装置２は、現在位置情報検出部８が検出した歩行者の現在位置情報を、インターネット３０を介してサーバ３へ送信可能な現在位置情報送信部８Ａを有する。
一方、サーバ３は、送信された歩行者の現在位置情報を受信可能な現在位置情報受信部８Ｂを有する。
また、メガネ装置２は、撮像カメラ２の撮像方向すなわち歩行者の正面方向を検出可能な方向検出部９を有する。
ここで、方向検出部は具体的には例えば、電子コンパスである。
ここで、方向検出部は具体的には例えば、電子コンパスである。
また、メガネ装置２は、方向検出部９が検出した撮像方向に関する情報を、インターネット３０を介してサーバ３へ送信可能な撮像方向送信部９Ａを有する。
一方、サーバ３は、送信された撮像方向に関する情報を受信可能な撮像方向受信部９Ｂを有する。
また、メガネ装置２は、距離測定部１０を有する。
ここで、距離測定部１０は、撮像カメラから撮像カメラに撮像された物体までの距離を撮像画像に基づいて測定可能である。
ここで、距離測定部１０は、撮像カメラから撮像カメラに撮像された物体までの距離を撮像画像に基づいて測定可能である。
また、距離測定部１０は、さらに撮像画像に基づいて線分と線分の間の距離を測定可能である。
また、距離測定部１０はレーザを照射可能であり、かつ、照射されたレーザの反射に基づいて撮像カメラ４から撮像カメラ４に撮像された物体までの距離をさらに測定可能である。
また、距離測定部１０はレーザを照射可能であり、かつ、照射されたレーザの反射に基づいて撮像カメラ４から撮像カメラ４に撮像された物体までの距離をさらに測定可能である。
また、メガネ装置２は、距離測定部１０が測定した距離に関する情報を、インターネット３０を介してサーバ３へ送信可能な測定距離送信部１０Ａを有する。
一方、サーバ３は、送信された距離に関する情報を受信可能な測定距離受信部１０Ｂを有する。
また、サーバ３は、地図に関する情報である地図情報を記録可能な地図情報データベース１１を有する。
ここで、地図情報データベースは地図情報記録部の一例である。
ここで、地図情報データベースは地図情報記録部の一例である。
また、サーバ３は、物体地図座標作成部１２を有する。
ここで、物体地図座標作成部１２は、物体検出部５が検出した静止物体または可動物体の位置を、方向検出部９が検出した撮像方向と、距離測定部１０が測定した撮像カメラ４と静止物体または可動物体との間の距離とに基づいて、撮像カメラ４が装着された歩行者の位置を原点とする動座標系の座標値として算出可能である。
また、物体地図座標作成部１２は、現在位置情報検出部８が検出した現在位置情報を原点として、算出された座標値を、地図情報データベース１１が記録した地図情報に含まれる地図座標系の緯度経度に変換して、静止物体または可動物体の地図座標を作成可能である。
ここで、物体地図座標作成部１２は、物体検出部５が検出した静止物体または可動物体の位置を、方向検出部９が検出した撮像方向と、距離測定部１０が測定した撮像カメラ４と静止物体または可動物体との間の距離とに基づいて、撮像カメラ４が装着された歩行者の位置を原点とする動座標系の座標値として算出可能である。
また、物体地図座標作成部１２は、現在位置情報検出部８が検出した現在位置情報を原点として、算出された座標値を、地図情報データベース１１が記録した地図情報に含まれる地図座標系の緯度経度に変換して、静止物体または可動物体の地図座標を作成可能である。
また、サーバ３は、可動物体に関する情報である可動物体情報及び静止物体に関する情報である静止物体情報を記録可能な検出物体情報データベース１３を有する。
ここで、検出物体情報データベースは検出物体情報記録部の一例である。
ここで、検出物体情報データベースは検出物体情報記録部の一例である。
また、検出物体情報データベース１３は、具体的には例えば、撮像画像の中での各物体の存在領域矩形の数値情報例えば大きさや色彩情報を記録可能である。
また、サーバ３は、物体特定部１４を有する。
ここで、物体特定部１４は、物体検出部５が検出した可動物体または静止物体と、検出物体情報データベース１３が記録した可動物体情報及び静止物体情報とを照合して、可動物体及び静止物体を特定可能である。
ここで、物体特定部１４は、物体検出部５が検出した可動物体または静止物体と、検出物体情報データベース１３が記録した可動物体情報及び静止物体情報とを照合して、可動物体及び静止物体を特定可能である。
また、サーバ３は、物体特定部１４が特定した物体に関する情報を、インターネット３０を介してメガネ装置２へ送信可能な特定物体送信部１４Ａを有する。
一方、メガネ装置２は、送信された物体に関する情報を受信可能な特定物体受信部１４Ｂを有する。
また、サーバ３は、進行可能領域位置情報検出部１５を有する。
ここで、進行可能領域位置情報検出部１５は、歩道決定部７が歩道を決定したときの歩道を挟む、第１の線分及び第２の線分それぞれに対応する、物体地図座標作成部１２が作成した地図座標の緯度経度位置情報と、第１の線分と第２の線分との間に位置する静止物体または可動物体に対応する、物体地図座標作成部１２が作成した地図座標の緯度経度位置情報とに基づいて、歩道内の進行可能領域の位置情報を検出可能である。
ここで、進行可能領域位置情報検出部１５は、歩道決定部７が歩道を決定したときの歩道を挟む、第１の線分及び第２の線分それぞれに対応する、物体地図座標作成部１２が作成した地図座標の緯度経度位置情報と、第１の線分と第２の線分との間に位置する静止物体または可動物体に対応する、物体地図座標作成部１２が作成した地図座標の緯度経度位置情報とに基づいて、歩道内の進行可能領域の位置情報を検出可能である。
また、サーバ３は、音声と、地図情報データベース１１が記録した地図情報とに基づいて、目的地に関する情報である目的地情報を決定可能な目的地情報決定部１６を有する。
また、メガネ装置２は、サーバ３へ、インターネット３０を介して音声を送信可能な音声送信部１６Ａを有し、サーバ３は、送信された音声を受信可能な音声受信部１６Ｂを有する。
また、メガネ装置２は、サーバ３へ、インターネット３０を介して音声を送信可能な音声送信部１６Ａを有し、サーバ３は、送信された音声を受信可能な音声受信部１６Ｂを有する。
また、サーバ３は、音声受信部１６Ｂが受信した音声のうち、質問音声の音声認識を行い、質問内容を解析可能な質問解析部２９を有する。
また、サーバ３は、質問解析部２９が解析して得られた質問に対する回答である音声回答を、メガネ装置２へインターネット３０を介して送信可能な音声回答部１６Ｃを有する。
また、メガネ装置２は、送信された音声回答を受信可能な回答受信部１６Ｄを有する。
また、メガネ装置２は、送信された音声回答を受信可能な回答受信部１６Ｄを有する。
また、サーバ３は、経路情報決定部１７を有する。
ここで、経路情報決定部１７は、目的地情報決定部１６が決定した目的地情報と、現在位置情報検出部８が検出した現在位置情報とに基づいて、目的地と現在位置との間の歩道ネットワーク経路に関する情報である経路情報を決定可能である。
ここで、経路情報決定部１７は、目的地情報決定部１６が決定した目的地情報と、現在位置情報検出部８が検出した現在位置情報とに基づいて、目的地と現在位置との間の歩道ネットワーク経路に関する情報である経路情報を決定可能である。
また、サーバ３は、進行可能経路情報決定部１８を有する。
ここで、進行可能経路情報決定部１８は、経路情報決定部１７が決定した経路情報と、進行可能領域位置情報検出部１５が検出した進行可能領域位置情報とに基づいて、目的地と現在位置との間の経路であって歩行者が進行可能な経路に関する情報である進行可能経路情報を決定可能である。
ここで、進行可能経路情報決定部１８は、経路情報決定部１７が決定した経路情報と、進行可能領域位置情報検出部１５が検出した進行可能領域位置情報とに基づいて、目的地と現在位置との間の経路であって歩行者が進行可能な経路に関する情報である進行可能経路情報を決定可能である。
また、サーバ３は、進行可能経路情報決定部１８が決定した進行可能経路情報を、インターネット３０を介してメガネ装置２へ送信可能な進行可能経路情報送信部１８Ａを有する。
一方、メガネ装置２は、送信された進行可能経路情報を受信可能な進行可能経路情報受信部１８Ｂを有する。
また、メガネ装置２は、告知部１９を有する。
ここで、告知部１９は、物体特定部１４が可動物体を特定した場合に可動物体が存在することを告知可能であり、かつ、進行可能経路情報決定部１８が決定した進行可能経路情報を告知可能である。
また、告知の方法は特に限定されず、例えば音声、振動が挙げられる。
ここで、告知部１９は、物体特定部１４が可動物体を特定した場合に可動物体が存在することを告知可能であり、かつ、進行可能経路情報決定部１８が決定した進行可能経路情報を告知可能である。
また、告知の方法は特に限定されず、例えば音声、振動が挙げられる。
また、メガネ装置２は、制御部２０を有する。
ここで、制御部２０は、方向検出部９が検出した撮像カメラ４の撮像方向が向けられた物体と撮像カメラ４との間の、距離測定部１０が測定した距離が所定の値以下例えば２ｍ以下であり、かつ、物体検出部５が検出したその物体が鉛直方向に所定の長さ以上例えば１ｍ以上延びる線分である鉛直線分を有する場合に、告知部１９に警告を告知させる制御が可能である。
ここで、制御部２０は、方向検出部９が検出した撮像カメラ４の撮像方向が向けられた物体と撮像カメラ４との間の、距離測定部１０が測定した距離が所定の値以下例えば２ｍ以下であり、かつ、物体検出部５が検出したその物体が鉛直方向に所定の長さ以上例えば１ｍ以上延びる線分である鉛直線分を有する場合に、告知部１９に警告を告知させる制御が可能である。
または、制御部２０は、方向検出部９が検出した撮像カメラ４の撮像方向が向けられた物体と撮像カメラ４との間の、距離測定部１０が測定した距離が所定の値以下例えば２ｍ以下であり、かつ、物体検出部５が検出したその物体が鉛直方向に所定の長さ以上例えば１ｍ以上延びる線分である鉛直線分を有する場合に、距離測定部１０が測定したその物体と撮像カメラ４との間の距離が所定の値例えば２ｍより大きくなる方向へ誘導する内容を告知させる制御が可能である。
また、制御部２０は、距離測定部１０が測定した第１の交差線分と第２の交差線分の間の距離が所定の値例えば約２．５ｍより大きい場合に、撮像カメラ４の撮像方向が左方向へ向くことである左方向転換へ誘導する内容及び撮像カメラ４の撮像方向が右方向へ向くことである右方向転換へ誘導する内容を告知部に告知させる制御が可能である。
また、制御部２０は、斜め下方へ照射されたレーザの反射に基づいて連続して測定された距離が変化した場合に、告知部１９に段差が存在することを告知させる制御が可能である。
また、サーバ３は、位置情報対比部２１を有する。
ここで、位置情報対比部２１は、物体特定部１４が特定した結果、静止物体が点字ブロックであると特定された場合に、点字ブロックに対応する、物体地図座標作成部１２が作成した地図座標の緯度経度位置情報と、現在位置情報検出部８が検出した現在位置情報とを対比可能である。
ここで、位置情報対比部２１は、物体特定部１４が特定した結果、静止物体が点字ブロックであると特定された場合に、点字ブロックに対応する、物体地図座標作成部１２が作成した地図座標の緯度経度位置情報と、現在位置情報検出部８が検出した現在位置情報とを対比可能である。
また、サーバ３は、位置情報対比部２１が対比した結果を、インターネット３０を介してメガネ装置２へ送信可能な対比結果送信部２１Ａを有する。
一方、メガネ装置２は、送信された対比結果を受信可能な対比結果受信部２１Ｂを有する。
一方、メガネ装置２は、送信された対比結果を受信可能な対比結果受信部２１Ｂを有する。
また、物体特定部１４は、物体特定部１４が特定した結果、静止物体が点字ブロックであると特定された場合に、さらに検出物体情報データベース１３が記録した静止物体情報に基づいて、複数の点字ブロックが互いに連結した構成である点字ブロック連結体の意味を特定可能である。
また、制御部２０は、位置情報対比部２１が対比した結果、点字ブロックの位置情報と現在位置情報が一致しない場合に、告知部１９に点字ブロックの位置への誘導を告知させる制御が可能である。
また、サーバ３は、物体配置情報作成部２２を有する。
ここで、物体配置情報作成部２２は、物体地図座標作成部１２が作成した静止物体の地図座標と、物体特定部１４がこの静止物体を特定した特定結果と、地図情報データベース１１が記録した地図情報とに基づいて、特定された物体の地図上における配置に関する情報である物体配置情報を作成可能である。
ここで、物体配置情報作成部２２は、物体地図座標作成部１２が作成した静止物体の地図座標と、物体特定部１４がこの静止物体を特定した特定結果と、地図情報データベース１１が記録した地図情報とに基づいて、特定された物体の地図上における配置に関する情報である物体配置情報を作成可能である。
また、サーバ３は、物体配置情報作成部２２が作成した物体配置情報を記録可能な物体配置情報データベース２３を有する。
ここで、物体配置情報データベースは物体配置情報記録部の一例である。
ここで、物体配置情報データベースは物体配置情報記録部の一例である。
また、サーバ３は、局所目的地情報決定部２４を有する。
ここで、局所目的地情報決定部２４は、音声と、目的地情報決定部１６が決定した目的地情報と、地図情報データベース１１が記録した地図情報のうち目的地情報に関連する情報である目的地関連地図情報とに基づいて、目的地情報よりも局所的な情報である局所目的地（中間目的地）情報を決定可能である。
ここで、局所目的地情報決定部２４は、音声と、目的地情報決定部１６が決定した目的地情報と、地図情報データベース１１が記録した地図情報のうち目的地情報に関連する情報である目的地関連地図情報とに基づいて、目的地情報よりも局所的な情報である局所目的地（中間目的地）情報を決定可能である。
また、経路情報決定部１７は、目的地情報決定部１６が決定した目的地情報の代わりに局所目的地情報決定部２４が決定した局所目的地情報と、現在位置情報検出部８が検出した現在位置情報とに基づいて経路情報を決定可能である。
また、サーバ３は、進行履歴データベース２５を有する。
ここで、進行履歴データベース２５は、進行可能経路情報決定部１８が決定した進行可能経路情報と、進行可能経路情報の進行可能経路を歩行者が進行したときに現在位置情報検出部８が検出した現在位置情報と、現在位置情報が検出されたときの撮像画像とを関連付けて記録可能である。
ここで、進行履歴データベース２５は、進行可能経路情報決定部１８が決定した進行可能経路情報と、進行可能経路情報の進行可能経路を歩行者が進行したときに現在位置情報検出部８が検出した現在位置情報と、現在位置情報が検出されたときの撮像画像とを関連付けて記録可能である。
また、サーバ３は、検索部２６を有する。
ここで、検索部２６は、音声に基づいて、地図情報データベース１１が記録した地図情報と物体配置情報データベース２３が記録した物体配置情報を検索可能である。
ここで、検索部２６は、音声に基づいて、地図情報データベース１１が記録した地図情報と物体配置情報データベース２３が記録した物体配置情報を検索可能である。
また、サーバ３は、検索部２６が検索して得られた結果を、インターネット３０を介してメガネ装置２へ送信可能な検索結果送信部２６Ａを有する。
一方、メガネ装置２は、送信された検索結果を受信可能な検索結果受信部２６Ｂを有する。
また、告知部１９は、検索部２６の検索結果を告知可能である。
また、告知部１９は、検索部２６の検索結果を告知可能である。
また、メガネ装置２は、物体検出部５が検出した可動物体及び静止物体それぞれの画像を撮像画像から切出可能な画像切出部２７を有する。
また、メガネ装置２は、画像切出部２７が切出した切出画像を、インターネット３０を介してサーバ３へ送信可能な切出画像送信部２７Ａを有する。
また、メガネ装置２は、画像切出部２７が切出した切出画像を、インターネット３０を介してサーバ３へ送信可能な切出画像送信部２７Ａを有する。
一方、サーバ３は、送信された切出画像を受信可能な切出画像受信部２７Ｂを有する。
また、サーバ３は、教師情報データベース２８を有する。
ここで、教師情報データベース２８は、画像切出部２７が切出した、可動物体の切出画像及び静止物体の切出画像と、この可動物体及びこの静止物体を物体特定部１４が特定した特定結果とを関連付けて得られた情報である教師情報（例えば物体名称や物体ＩＤ）を記録可能である。
ここで、教師情報データベース２８は、画像切出部２７が切出した、可動物体の切出画像及び静止物体の切出画像と、この可動物体及びこの静止物体を物体特定部１４が特定した特定結果とを関連付けて得られた情報である教師情報（例えば物体名称や物体ＩＤ）を記録可能である。
また、本発明の歩道進行支援システムは、進行可能経路情報に従って歩行者が歩道を進行できるのであれば、必ずしも告知部を備えていなくてもよく、例えば歩行者が掴みながら歩行できる車輪付き誘導型ロボットが進行可能経路情報に従って歩道を進行することで、結果的に歩行者が進行可能経路情報を進行できるようにすることもできる。
なお、告知部があれば、歩行弱者は、実際に歩行する際の歩道における状況に対応した、進行できる経路情報を知ることができるので好ましい。
また、本発明の歩道進行支援システムは、必ずしも制御部を備えていなくてもよいが、制御部を備えていれば、歩行弱者は、物体との衝突を避け易くなるので好ましい。
また、線分検出部は、必ずしも第１の交差線分及び第２の交差線分を検出可能でなくてもよく、また、距離測定部は、必ずしも撮像画像に基づいて線分と線分の間の距離を測定可能でなくてもよく、また、制御部は、必ずしも距離測定部が測定した第１の交差線分と第２の交差線分の間の距離が所定の値より大きい場合に左方向転換や右方向転換へ誘導する内容を告知部に告知させる制御が可能でなくてもよい。
しかし、線分検出部が第１の交差線分及び第２の交差線分を検出可能であり、距離測定部が撮像画像に基づいて線分と線分の間の距離を測定可能であり、制御部が、このように制御可能であれば、第１の交差線分と第２の交差線分との間の領域すなわち歩道と交差する領域は車道であることが多いので、車道を横切る際に歩行者に車道の状況を撮像させることができ、好ましい。
また、本発明の歩道進行支援システムは、必ずしも位置情報対比部を備えていなくてもよく、また、制御部は、必ずしも告知部に点字ブロックの位置への誘導を告知させる制御が可能でなくてもよい。
しかし、位置情報対比部があり、制御部がこのように制御可能であれば、歩行弱者が歩道上の点字ブロックから離れてしまっても、点字ブロックに近づくことができるので好ましい。
また、本発明の歩道進行支援システムにおいて、距離測定部は必ずしもレーザを照射して、照射されたレーザの反射に基づいて撮像カメラすなわち撮像部から撮像部に撮像された物体までの距離をさらに測定可能でなくてもよく、また、制御部は、必ずしも斜め下方へ照射されたレーザの反射に基づいて連続して測定された距離が変化した場合に、告知部に段差が存在することを告知させる制御が可能でなくてもよい。
しかし、距離測定部がこのように距離を測定可能であり、制御部がこのように制御可能であれば、歩行弱者は、段差を避けたり、段差に適切に対応したりすることができるので好ましい。
また、本発明の歩道進行支援システムは、必ずしも物体配置情報作成部と、物体配置情報データベースすなわち物体配置情報記録部を備えていなくてもよい。
しかし、物体配置情報作成部と物体配置情報記録部があれば、どの場所の歩道に、実際にどのような物体が配置されているかを記録して、検索できるようにすることができるので好ましい。
また、本発明の歩道進行支援システムは、必ずしも局所目的地情報決定部を備えていなくてもよく、また、経路情報決定部は、必ずしも目的地情報決定部が決定した目的地情報の代わりに局所目的地情報決定部が決定した局所目的地情報と、現在位置情報検出部が検出した現在位置情報とに基づいて経路情報を決定可能でなくてもよい。
しかし、局所目的地情報決定部があり、経路情報決定部がこのように決定可能であれば、さらに詳細に目的地を決めて、歩行者の希望に沿うことができるので好ましい。
また、本発明の歩道進行支援システムは、必ずしも進行履歴データベースすなわち進行履歴記録部を備えていなくてもよい。
しかし、進行履歴記録部があれば、目的地までの歩行者の実際の歩行を記録しておき、同じ歩行者あるいは別の歩行者が同様の経路を歩行する際の参考にすることができるので好ましい。
しかし、進行履歴記録部があれば、目的地までの歩行者の実際の歩行を記録しておき、同じ歩行者あるいは別の歩行者が同様の経路を歩行する際の参考にすることができるので好ましい。
また、本発明の歩道進行支援システムは、必ずしも検索部を備えていなくてもよく、また、告知部は必ずしも検索部の検索結果を告知可能でなくてもよい。
しかし、検索部があり、告知部がこのように告知可能であれば、歩行者は、現在自分が位置する場所の周辺情報について、地図情報に含まれる情報のみならず、実際にどのような物体が配置されているかを検索して知ることができるので好ましい。
しかし、検索部があり、告知部がこのように告知可能であれば、歩行者は、現在自分が位置する場所の周辺情報について、地図情報に含まれる情報のみならず、実際にどのような物体が配置されているかを検索して知ることができるので好ましい。
また、本発明の歩道進行支援システムは、必ずしも画像切出部と、教師情報データベースすなわち教師情報記録部を備えていなくてもよい。
しかし、画像切出部と教師情報記録部があれば、物体を特定する際に利用する人工知能の精度を向上させるためのディープラーニングを行うことができるので好ましい。
しかし、画像切出部と教師情報記録部があれば、物体を特定する際に利用する人工知能の精度を向上させるためのディープラーニングを行うことができるので好ましい。
また、このような歩道進行支援システムを実行するための本発明の歩道進行支援ソフトウェアは、情報処理機器を、前述のような機能を有するサーバとして機能させるためのソフトウェアである。
また、図１に示す例は一例であり、メガネ装置及びサーバそれぞれが有する機能は、これに限定されるものではない。
例えば、サーバが、物体検出部と、線分検出部と、歩道決定部とを有することもでき、この場合、歩道進行支援システムを実行するための本発明の歩道進行支援ソフトウェアは、情報処理機器を、さらに物体検出部と、線分検出部と、歩道決定部の機能を有するサーバとして機能させるためのソフトウェアである。
例えば、サーバが、物体検出部と、線分検出部と、歩道決定部とを有することもでき、この場合、歩道進行支援システムを実行するための本発明の歩道進行支援ソフトウェアは、情報処理機器を、さらに物体検出部と、線分検出部と、歩道決定部の機能を有するサーバとして機能させるためのソフトウェアである。
また、例えば、サーバは地図経路を検索する機能と情報を蓄積する機能のみを有し、それ以外の本発明の歩道進行支援システムのための機能をメガネ装置が有するようにすることもできる。
次に、本発明の歩道進行支援システムを利用した歩行者の歩行支援の流れの一例について説明する。
サーバ３が、地図座標系（グローバルマップ）を含む地図情報を取込み、サーバ３の地図情報データベース１１が地図情報を記録する。
また、メガネ装置２の現在位置情報検出部８が、例えば０．５〜１秒ごとに、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ＝全地球測位システム）を構成する複数のＧＰＳ衛星から提供される信号を受信して、メガネ装置２が有する撮像カメラ４の現在位置情報すなわち、撮像カメラ４を有するメガネ装置２を装着した歩行者の現在位置情報である緯度経度を検出する。
また、メガネ装置２の現在位置情報送信部８Ａが、現在位置情報検出部８が検出した歩行者の現在位置情報を、インターネット３０を介してサーバ３へ送信する。
また、サーバ３の現在位置情報受信部８Ｂが、歩行者の現在位置情報をメガネ装置２から受信する。
また、サーバ３の現在位置情報受信部８Ｂが、歩行者の現在位置情報をメガネ装置２から受信する。
歩行者は、自分が行きたい場所の例えば地名や建物名を声に出して言うことで、メガネ装置２が有する音声送信部１６Ａが、その地名や建物名の音声を、インターネット３０を介してサーバ３へ送信する。
また、サーバ３の音声受信部１６Ｂが、歩行者の行きたい場所の地名や建物名の音声を受信する。
そして、サーバ３の目的地情報決定部１６が、音声受信部１６Ｂが受信した音声と、地図情報データベース１１が記録した地図情報とに基づいて、目的地情報を決定する。
そして、サーバ３の目的地情報決定部１６が、音声受信部１６Ｂが受信した音声と、地図情報データベース１１が記録した地図情報とに基づいて、目的地情報を決定する。
さらに、サーバ３の経路情報決定部１７が、目的地情報決定部１６が決定した目的地情報と、現在位置情報検出部８が検出した現在位置情報とに基づいて、目的地と現在位置との間の経路情報を決定する。
また、サーバ３が、歩行者の現在位置を原点とし、かつ、歩行者の正面方向をｙ軸とし、かつ、この正面方向に対して９０度右手方向及び９０度左手方向をｘ軸とした動座標系（ローカルマップ）を設定する。
また、サーバ３は、歩行の障害となる物体を特定するための人工知能であるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ＝畳み込みニューラルネットワーク）アルゴリズムを読み込む。
図２（ａ）は、本発明を適用した歩道進行支援システムにおける撮像画像の第１の例を示す概略図であり、図２（ｂ）は、図２（ａ）に示す撮像画像の拡張現実画像の一例を示す概略図である。
撮像カメラ４が歩行者の正面の風景を例えば０．５〜１秒ごとに撮像し、フレーム画像４１を得る。フレーム画像４１が大きければ、例えばピラミッド画像作成方法により、例えば幅５００画素×高さ３００ライン程度の縮小画像を作成する。
また、方向検出部９が、撮像カメラ４の撮像方向を検出する。
また、メガネ装置２の撮像方向送信部９Ａが、方向検出部９が検出した撮像方向に関する情報を、インターネット３０を介してサーバ３へ送信する。
また、メガネ装置２の撮像方向送信部９Ａが、方向検出部９が検出した撮像方向に関する情報を、インターネット３０を介してサーバ３へ送信する。
また、サーバ３の撮像方向受信部９Ｂが、撮像方向に関する情報をメガネ装置２から受信する。
そして、距離測定部１０が、歩行者の左右方向及び前方へ例えば歩行者から３ｍまでの範囲では路面へ向けて斜め下方に、歩行者から１０〜１５ｍまでの範囲では水平にレーザを照射する。斜め照射レーザはできるだけ左から右に照射し、その距離での歩道幅も推定する。
また、距離測定部１０が、照射された水平レーザの反射に基づいて、撮像カメラ４から撮像カメラ４に撮像された電信柱などの物体までの距離を測定する。
また、メガネ装置２の測定距離送信部１０Ａが、距離測定部１０が測定した距離に関する情報を、インターネット３０を介してサーバ３へ送信する。
また、サーバ３の測定距離受信部１０Ｂが、距離に関する情報をメガネ装置２から受信する。
また、サーバ３の測定距離受信部１０Ｂが、距離に関する情報をメガネ装置２から受信する。
また、ハフ変換によりフレーム画像４１の中において、高いポールやビルの垂直壁などの長い線分を検出する。
検出された長い線分の傾きの平均角度を算出し、長い線分が垂直になるようにフレーム画像４１の中心を回転中心として回転補正を行う。
すなわち、図２（ａ）に示すように、フレーム画像４１と回転補正された画像との間でズレが生じ、重ならなくなった領域は黒色で表示される。
すなわち、図２（ａ）に示すように、フレーム画像４１と回転補正された画像との間でズレが生じ、重ならなくなった領域は黒色で表示される。
この「回転補正された画像」を、以降の処理での入力画像とし、この入力画像を「撮像画像」と称することとする。
そして、メガネ装置２の撮像画像送信部４Ａが、インターネット３０を介して撮像画像をサーバ３へ送信する。
また、サーバ３の撮像画像受信部４Ｂは、撮像画像をメガネ装置２から受信する。
また、サーバ３の撮像画像受信部４Ｂは、撮像画像をメガネ装置２から受信する。
図２（ａ）に示す撮像画像４０は、右側縁石４２と、左側縁石４３と、歩道４４と、電信柱４５と、通行人４６などが撮像された画像の一例である。
次に、物体検出部５が、撮像画像４０に「ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ＝勾配方向ヒストグラム化）人物検出処理」を行い、撮像画像４０の中で、可動物体である通行人４６を検出し、図２（ｂ）に示すように、検出された通行人４６を囲んだ人物候補存在領域矩形５１を、拡張現実画像４７において表示する。
そして、物体特定部１４が、検出された通行人４６の存在領域矩形の数値情報例えば大きさと、検出物体情報データベースが記録した人物の条件例えば大きさの範囲とを照合して大きさが範囲内であり、さらに、精度を高めるために、ＣＮＮを利用して、検出された通行人４６が人物であることの特徴量を算出し、この特徴量が規定値以上である場合、人物であると特定する。
また、物体検出部５が、ハフ変換により撮像画像４０において検出された、垂直角度±５度の範囲で鉛直方向に延びる所定の長さ以上の線分である鉛直線分５２に基づいて、静止物体である電信柱４５を検出する。
すなわち、物体検出部５は、撮像画像４０の中で、鉛直線分５２と鉛直線分５２との間の距離が所定の範囲である電信柱４５を検出し、図２（ｂ）に示すように、検出された電信柱４５が延びる方向に沿って鉛直線分５２を、拡張現実画像４７において表示する。
すなわち、物体検出部５は、撮像画像４０の中で、鉛直線分５２と鉛直線分５２との間の距離が所定の範囲である電信柱４５を検出し、図２（ｂ）に示すように、検出された電信柱４５が延びる方向に沿って鉛直線分５２を、拡張現実画像４７において表示する。
そして、物体特定部１４が、検出された電信柱４５の幅方向の数値すなわち、鉛直線分５２と鉛直線分５２との間の距離や鉛直線分５２の長さと、検出物体情報データベース１３が記録した、鉛直線分特性を有する歩行障害物の条件例えば幅方向の数値範囲や鉛直線分長さの数値範囲とを照合する。
さらに、物体特定部１４は、検出された電信柱４５の幅方向の濃度変化と、検出物体情報データベース１３が記録した、鉛直線分特性を有する歩行障害物の幅方向の濃度変化とを照合する。
照合した結果、検出された電信柱４５の幅方向の数値や幅方向の濃度変化が合致した場合、物体特定部１４は、検出された電信柱４５を、鉛直線分特性を有する歩行障害物であると特定するか、或いは電信柱であると特定する。
照合した結果、検出された電信柱４５の幅方向の数値や幅方向の濃度変化が合致した場合、物体特定部１４は、検出された電信柱４５を、鉛直線分特性を有する歩行障害物であると特定するか、或いは電信柱であると特定する。
特に、検出された物体の鉛直線分の数値が幅方向の数値に比して規定以上に大きく、検出された物体の上部が撮像画像４０の上半分に位置していれば、物体特定部１４は、検出された物体を街灯、信号機、電信柱などであると特定する。
幅方向の濃度変化を調べることで、中心線付近だけに物体がある柱状物体か、中心線の左または右領域に物体が続く壁面状（板状）物体であるかを特定する。
幅方向の濃度変化を調べることで、中心線付近だけに物体がある柱状物体か、中心線の左または右領域に物体が続く壁面状（板状）物体であるかを特定する。
そして、サーバ３の特定物体送信部１４Ａが、物体特定部１４が特定した物体に関する情報を、インターネット３０を介してメガネ装置２へ送信する。
また、メガネ装置２の特定物体受信部１４Ｂが、物体に関する情報をサーバ３から受信する。
また、メガネ装置２の特定物体受信部１４Ｂが、物体に関する情報をサーバ３から受信する。
また、図示していないが、物体検出部５が、撮像画像４０から低彩度領域、例えば彩度値範囲［０、５］画素を二値化処理で抽出しラべリング処理をかけ、微小ブロブ（塊）や大きすぎるブロブ（塊）を除去して、残った領域を囲んだ右側縁石候補存在領域矩形と左側縁石候補存在領域矩形などを表示する。
そして、物体特定部１４が、検出された右側縁石４２の存在領域矩形の数値情報例えば大きさや彩度、並びに検出された左側縁石４３の存在領域矩形の数値情報例えば大きさや彩度と、検出物体情報データベース１３が記録した、低彩度歩行障害物の条件例えば大きさの範囲や彩度範囲とを照合して、大きさや彩度が範囲内であり、さらに、精度を高めるためにＣＮＮを利用して、検出された右側縁石４２及び左側縁石４３が縁石であることの特徴量を算出し、この特徴量が規定値以上である場合、縁石であると特定する。
また、線分検出部６が、撮像画像４０の中で、撮像画像４０の下部から撮像画像４０の略中央領域へ向けて傾斜して延びる右側傾斜線分４９と、撮像画像４０の下部から撮像画像４０の略中央領域へ向けて傾斜して延びると共に撮像画像４０の下部から撮像画像４０の略中央領域に近づくにつれて右側傾斜線分４９との間の距離が短くなった左側傾斜線分５０とを検出する。
一般に、歩道の幅は進行方向２０〜３０ｍの範囲では一定であることが多く、また、歩道が延びる方向と同じ方向を向いて歩道を撮像すると、撮像画像において、歩道の左右両側の線形は左右の斜め線として映る。
そして、左右の斜め線は撮像画像の中心付近において、一点で交わるように見える。この交わる点を消失点と呼んでいる。
そして、左右の斜め線は撮像画像の中心付近において、一点で交わるように見える。この交わる点を消失点と呼んでいる。
また、右側傾斜線分４９は右側縁石４２に基づいて検出された線分であり、左側傾斜線分５０は左側縁石４３に基づいて検出された線分である。
また、右側傾斜線分は第１の線分の一例であり、左側傾斜線分は第２の線分の一例である。
また、右側傾斜線分は第１の線分の一例であり、左側傾斜線分は第２の線分の一例である。
従って、線分検出部６は、図２（ｂ）に示すように、拡張現実画像４７において、右側縁石４２に沿って右側傾斜線分４９を表示し、左側縁石４３に沿って左側傾斜線分５０を表示する。
また、右側傾斜線分４９と左側傾斜線分５０は、図２（ｂ）に示すように、拡張現実画像４７の中心付近で交わっているので、拡張現実画像４７の中心付近に消失点４８が表示されている。
また、右側傾斜線分４９と左側傾斜線分５０は、図２（ｂ）に示すように、拡張現実画像４７の中心付近で交わっているので、拡張現実画像４７の中心付近に消失点４８が表示されている。
そして、歩道決定部７が、右側傾斜線分４９と左側傾斜線分５０との間の領域を歩道として決定する。
また、本発明において、線分検出部が第１の線分と第２の線分とを検出可能であれば、撮像画像の中心付近に消失点を検出した後に、検出された消失点に基づいて第１の線分と第２の線分とを検出するようにすることもできる。
また、メガネ装置２の決定歩道送信部７Ａが、歩道決定部７が決定した歩道に関する情報例えば歩道を挟んだ第１の線分と第２の線分を表示した拡張現実画像を、インターネット３０を介してサーバ３へ送信する。
また、サーバ３の決定歩道受信部７Ｂが、歩道に関する情報をメガネ装置２から受信する。
また、サーバ３の決定歩道受信部７Ｂが、歩道に関する情報をメガネ装置２から受信する。
図３は、本発明を適用した歩道進行支援システムにおける、動座標系と地図座標系の一例を示す概略図である。
物体検出部５が検出した、右側縁石４２、左側縁石４３、電信柱４５及び通行人４６の位置を、物体地図座標作成部１２が、動座標系５７の座標値として算出する。
すなわち、歩行者の位置を原点５６とし、かつ、方向検出部９が検出した撮像方向すなわち歩行者の正面方向をｙ軸５４とし、かつ、この正面方向に対して９０度右手方向をｘ正軸５５とした、原点から半径２０〜３０ｍほどの動座標系を設定する。
また、撮像カメラ４に撮像された、右側縁石４２、左側縁石４３、電信柱４５及び通行人４６が、歩行者の正面方向であるｙ軸の右側に位置するか左側に位置するかは撮像画像から判断される。
また、撮像カメラ４に撮像された、右側縁石４２、左側縁石４３、電信柱４５及び通行人４６が、歩行者の正面方向であるｙ軸の右側に位置するか左側に位置するかは撮像画像から判断される。
また、距離測定部１０が測定した、撮像カメラ４と右側縁石４２との間の距離や、撮像カメラ４と左側縁石４３との間の距離や、撮像カメラ４と電信柱４５との間の距離及び角度や、撮像カメラ４と通行人４６との間の距離及び角度に基づいて動座標系の原点からの距離及び方向角が判る。
ここで言う角度とは、正面方向からの物体の見える角度であり、正面方向角と左右角度とを足し合わせて得られた、障害物体の方向角である。
ここで言う角度とは、正面方向からの物体の見える角度であり、正面方向角と左右角度とを足し合わせて得られた、障害物体の方向角である。
従って、物体地図座標作成部１２は、物体検出部５が検出した、右側縁石４２、左側縁石４３、電信柱４５及び通行人４６の位置を、動座標系５７の座標値として算出できる。
さらに、現在位置情報検出部８が例えば０．５〜１秒ごとに、すなわち撮像カメラ４が撮像するごとに歩行者の現在位置情報である緯度経度を検出しているので、動座標系５７の原点の緯度経度が判る。
従って、物体地図座標作成部１２は、現在位置情報検出部８が検出した現在位置情報を原点として、動座標系５７の座標値を、地図情報データベース１１が記録した地図情報に含まれる地図座標系５８の緯度経度に変換して、右側縁石４２、左側縁石４３、電信柱４５及び通行人４６の地図座標を作成する。
従って、物体地図座標作成部１２は、現在位置情報検出部８が検出した現在位置情報を原点として、動座標系５７の座標値を、地図情報データベース１１が記録した地図情報に含まれる地図座標系５８の緯度経度に変換して、右側縁石４２、左側縁石４３、電信柱４５及び通行人４６の地図座標を作成する。
また、サーバ３は、物体地図座標作成部１２が、検出された静止物体または可動物体の地図座標を作成するごとに、作成された物体名とその地図座標を保存することができる。
また、歩道決定部７が、右側傾斜線分４９と左側傾斜線分５０との間の領域を歩道として決定しており、また、右側傾斜線分４９は右側縁石４２に基づいて検出された線分であり、左側傾斜線分５０は左側縁石４３に基づいて検出された線分であるから、図３において右側縁石４２と左側縁石４３との間の領域が歩道領域５３である。
また、経路情報決定部１７が決定した経路情報は、地図情報に基づいて決定された情報であるが、歩道領域５３には電信柱４５や通行人４６が存在しており、地図情報にはこのような情報は含まれておらず、経路情報にもこのような情報は含まれていないので、このような経路情報に基づいて歩行ナビゲーションを行うと、実際の歩行に影響を与えてしまう。
そこで、サーバの進行可能領域位置情報検出部１５が、右側傾斜線分４９と左側傾斜線分５０それぞれに対応する、物体地図座標作成部１２が作成した地図座標の緯度経度位置情報と、右側傾斜線分４９と左側傾斜線分５０との間に位置する電信柱４５や通行人４６に対応する、物体地図座標作成部１２が作成した地図座標の緯度経度位置情報とに基づいて、歩道領域５３内の進行可能領域の位置情報を検出する。
そして、サーバの進行可能経路情報決定部１８が、経路情報決定部１７が決定した経路情報と、進行可能領域位置情報検出部１５が検出した進行可能領域位置情報とに基づいて、目的地と現在位置との間の進行可能経路情報を決定する。
すなわち、電信柱や通行人など、歩行の障害となる物体を回避するために変更された経路情報を決定するのである。
すなわち、電信柱や通行人など、歩行の障害となる物体を回避するために変更された経路情報を決定するのである。
また、進行可能経路情報決定部１８が決定した進行可能経路情報を、サーバ３の進行可能経路情報送信部１８Ａがメガネ装置２へインターネット３０を介して送信する。
一方、メガネ装置２の進行可能経路情報受信部１８Ｂは、サーバ３から進行可能経路情報を受信する。
そして、メガネ装置２の告知部１９が、音声で進行可能経路情報を告知する。具体的には例えば、「経路を作成しました。経路は○○○○です。」という進行可能経路を説明する。
また、物体特定部１４が可動物体である人物すなわち通行人４６を特定しているので、人物が存在することも音声で告知する。
また、物体特定部１４が可動物体である人物すなわち通行人４６を特定しているので、人物が存在することも音声で告知する。
また、方向検出部９が検出した撮像カメラ４の撮像方向が電信柱４５に向いているとき、すなわち歩行者が電信柱４５へ向いて歩行者の正面方向が電信柱４５に向いているときに、電信柱４５と撮像カメラ４との間の、距離測定部１０が測定した距離が所定の値例えば２ｍ以下である場合、電信柱４５は鉛直方向に所定の長さ以上延びる鉛直線分５２を有するので、メガネ装置２の制御部２０が、告知部１９に警告を告知させる制御を行う。
または、この場合、距離測定部１０が測定した距離が所定の値より大きくなる方向へ誘導する内容を告知させる制御を行う。
または、この場合、距離測定部１０が測定した距離が所定の値より大きくなる方向へ誘導する内容を告知させる制御を行う。
また、メガネ装置２の画像切出部２７が、物体検出部５が検出した、右側縁石４２、左側縁石４３、電信柱４５及び通行人４６それぞれの画像を撮像画像から切出す。
そして、メガネ装置２の切出画像送信部２７Ａが、画像切出部２７が切出した画像を、インターネット３０を介してサーバ３へ送信する。
また、サーバ３の切出画像受信部２７Ｂが、画像切出部２７が切出した、右側縁石４２、左側縁石４３、電信柱４５及び通行人４６それぞれの切出画像をメガネ装置２から受信する。
そして、サーバ３の教師情報データベース２８が、受信した右側縁石４２、左側縁石４３、電信柱４５及び通行人４６それぞれの切出画像と、右側縁石４２、左側縁石４３、電信柱４５及び通行人４６を物体特定部１４が特定した特定結果とを関連付けて、教師情報として記録する。
また、サーバ３の物体配置情報作成部２２が、物体地図座標作成部１２が作成した右側縁石４２、左側縁石４３及び電信柱４５の地図座標と、物体特定部１４が右側縁石４２、左側縁石４３及び電信柱４５を特定した特定結果と、地図情報データベース１１が記録した地図情報とに基づいて、特定された右側縁石４２、左側縁石４３及び電信柱４５の地図上における物体配置情報を作成する。
そして、サーバの物体配置情報データベース２３が、物体配置情報を記録する。
そして、サーバの物体配置情報データベース２３が、物体配置情報を記録する。
また、例えば歩行者が、自分の行きたい場所の建物名として「小倉駅の海側」というように、小倉駅の中でも特に場所を限定して、その音声を音声送信部１６Ａによってサーバ３へ送信した場合、先ずは、サーバ３の目的地情報決定部１６が目的地情報「小倉駅」を決定する。
次に、サーバの局所目的地情報決定部２４が局所目的地情報を決定する。
すなわち、サーバ３の音声受信部１６Ｂが受信した「小倉駅の海側」という音声と、目的地情報決定部１６が決定した目的地情報「小倉駅」と、地図情報データベース１１が記録した地図情報のうち目的地情報「小倉駅」に関連する目的地関連地図情報すなわち小倉駅周辺の地図情報とに基づいて、目的地情報「小倉駅」よりも局所的な局所目的地情報「小倉駅の海側」を決定する。
すなわち、サーバ３の音声受信部１６Ｂが受信した「小倉駅の海側」という音声と、目的地情報決定部１６が決定した目的地情報「小倉駅」と、地図情報データベース１１が記録した地図情報のうち目的地情報「小倉駅」に関連する目的地関連地図情報すなわち小倉駅周辺の地図情報とに基づいて、目的地情報「小倉駅」よりも局所的な局所目的地情報「小倉駅の海側」を決定する。
また、経路情報決定部１７は、目的地情報決定部１６が決定した目的地情報「小倉駅」の代わりに局所目的地情報「小倉駅の海側」と、現在位置情報とに基づいて、局所目的地と現在位置との間の経路情報を決定する。
また、進行可能経路情報決定部１８は、経路情報決定部１７が決定した局所目的地と現在位置との間の経路情報と、進行可能領域位置情報とに基づいて、進行可能経路情報を決定する。
また、現在位置情報検出部８が、撮像カメラ４が撮像するごとに歩行者の現在位置情報を検出しているので、撮像画像送信部４Ａは、現在位置情報が検出されたときの撮像画像をサーバ３へ送信できる。
そして、実際に歩行者が進行可能経路を進行すると、進行時に現在位置情報検出部８が現在位置情報を検出して、現在位置情報送信部８Ａが現在位置情報をサーバ３へ送信し、また、撮像画像送信部４Ａが、現在位置情報が検出されたときの撮像画像をサーバ３へ送信する。
サーバ３の現在位置情報受信部８Ｂはメガネ装置２から現在位置情報を受信し、サーバの撮像画像受信部４Ｂはメガネ装置２から現在位置情報が検出されたときの撮像画像を受信する。
従って、サーバ３の進行履歴データベース２５は、進行可能経路情報決定部１８が決定した進行可能経路情報と、歩行者が進行可能経路を進行したときの現在位置情報と、現在位置情報が検出されたときの撮像画像とを関連付けて記録する。
また、歩行者が、例えば「ここはどのあたり？」という質問をすると、メガネ装置２が有する音声送信部１６Ａが、その質問音声をサーバ３へ送信する。
そして、サーバ３の音声受信部１６Ｂが質問音声を受信し、さらにサーバの質問解析部２９が質問音声を解析する。
そして、サーバ３の音声受信部１６Ｂが質問音声を受信し、さらにサーバの質問解析部２９が質問音声を解析する。
また、歩行者の現在位置情報は、メガネ装置２の現在位置情報検出部８が例えば０．５〜１秒ごとに検出し、メガネ装置２の現在位置情報送信部８Ａがサーバ３へ送信するので、サーバ３は地図情報データベース１１が記録した地図情報を参照して、サーバ３の音声回答部１６Ｃが、回答内容例えば「ＸＸ２丁目、○○レストランの近くです。」を音声でメガネ装置２へ送信する。
そして、メガネ装置２の音声受信部１６Ｄが回答内容をサーバから受信する。
また、歩行者が、例えば「小倉駅の南側まであとどのくらい？」という質問をすると、サーバ３の音声回答部１６Ｃは、受信した歩行者の現在位置情報と、決定した経路情報とに基づいて、回答内容例えば「約１５０ｍくらいです。」を音声でメガネ装置２へ送信する。
また、歩行者が、例えば「近くに自動販売機はあるか？」という質問をすると、この場合は検索扱いとなり、サーバ３の検索部２６が、地図情報データベース１１が記録した地図情報と、物体配置情報データベース２３が記録した物体配置情報を検索する。
そして、検索部２６の検索結果例えば「すみません、答えが見つかりません。」を、サーバ３の検索結果送信部２６Ａが音声でメガネ装置２へ、インターネット３０を介して送信する。
また、メガネ装置２の検索結果受信部２６Ｂが検索結果を受信して、告知部１９が検索結果を音声で告知する。
また、メガネ装置２の検索結果受信部２６Ｂが検索結果を受信して、告知部１９が検索結果を音声で告知する。
図４（ａ）は、本発明を適用した歩道進行支援システムにおける撮像画像の第２の例を示す概略図であり、図４（ｂ）は、図４（ａ）に示す撮像画像の拡張現実画像の一例を示す概略図である。
図２（ａ）で示した例と同様に、撮像カメラ４が歩行者の正面の風景を例えば０．５〜１秒ごとに撮像し、フレーム画像６１を得る。
また、図２（ａ）で示した例と同様に、検出された長い線分の傾きの平均角度を算出し、長い線分が垂直になるようにフレーム画像６１の中心を回転中心として回転補正を行う。
図４（ａ）に示す撮像画像６０は、横断歩道６２と、歩道６３と、第１の通行人６４と、第２の通行人６５などが撮像された画像の一例である。
次に、物体検出部５が、撮像画像６０に「ＨＯＧ人物検出処理」を行い、撮像画像６０の中で、可動物体である第１の通行人６４及び第２の通行人６５を検出し、図４（ｂ）に示すように、検出された第１の通行人６４を囲んだ第１の人物候補存在領域矩形７０及び検出された第２の通行人６５を囲んだ第２の人物候補存在領域矩形７１を、拡張現実画像６６において表示する。
そして、物体特定部１４が、検出された第１の通行人６４及び第２の通行人６５それぞれの存在領域矩形の数値情報例えば大きさと、検出物体情報データベース１３が記録した人物の条件例えば大きさの範囲とを照合して大きさが範囲内であり、さらに、ＣＮＮを利用して、検出された第１の通行人６４及び第２の通行人６５が人物であることの特徴量を算出し、この特徴量が規定値以上である場合、人物であると特定する。
また、図示していないが、物体検出部５が、ハフ変換により撮像画像６０において検出された、垂直角度±５度の範囲で鉛直方向に延びる所定の長さ以上の線分である鉛直線分に基づいて、歩道に面した静止物体である建物を検出する。
そして、物体特定部１４が、検出された建物の存在領域矩形の数値情報例えば大きさと、検出物体情報データベース１３が記録した、建物の条件例えば大きさの範囲とを照合して大きさが範囲内であり、さらに、精度を高めるためにＣＮＮを利用して、検出された建物が確かに建物であることの特徴量を算出し、この特徴量が規定値以上である場合、建物であると特定する。
また、線分検出部６が、撮像画像６０の中で、撮像画像６０の下部から撮像画像６０の略中央領域へ向けて傾斜して延びる右側傾斜線分６８と、撮像画像６０の下部から撮像画像６０の略中央領域へ向けて傾斜して延びると共に撮像画像６０の下部から撮像画像６０の略中央領域に近づくにつれて右側傾斜線分６８との間の距離が短くなった左側傾斜線分６９とを検出する。
また、右側傾斜線分６８は、歩道に面した建物に基づいて検出された線分であり、左側傾斜線分６９は、撮像画像６０の中心付近に存在する消失点に対して、右側傾斜線分６８の角度と同じ角度に基づいて検出された線分である。
従って、図４（ｂ）に示すように、拡張現実画像６６の中心付近に消失点６７を表示し、拡張現実画像６６において、歩道に面した建物に沿って右側傾斜線分６８を表示し、消失点６７に対して右側傾斜線分６８の角度と同じ角度の左側傾斜線分６９を表示する。
そして、歩道決定部７が、右側傾斜線分６８と左側傾斜線分６９との間の領域を歩道として決定する。
また、線分検出部６は、さらに、撮像画像６０の中で、右側傾斜線分６８及び左側傾斜線分６９それぞれと交差する、第１の交差線分７２及び第２の交差線分を検出する。
すなわち、第１の交差線分７２及び第２の交差線分は歩道境界設置物に基づいて検出された線分である。
なお、第２の交差線分は図示されていない。
すなわち、第１の交差線分７２及び第２の交差線分は歩道境界設置物に基づいて検出された線分である。
なお、第２の交差線分は図示されていない。
また、距離測定部１０は、撮像画像６０に基づいて第１の交差線分７２と第２の交差線分の間の距離すなわち道幅を測定する。
また、制御部２０は、距離測定部が測定した第１の交差線分７２と第２の交差線分の間の距離が所定の値例えば一台の自動車が通行できる距離である約２．５ｍより大きい場合に、撮像カメラ４の撮像方向が左方向へ向くことである左方向転換へ誘導する内容及び撮像カメラ４の撮像方向が右方向へ向くことである右方向転換へ誘導する内容を告知部１９に告知させる制御を行う。
また、図示していないが、物体検出部５が、撮像画像６０をＨＳＶカラー変換して、色相画像、彩度画像及び明度画像に分離し、色相画像と彩度画像から点字ブロックの黄色に対応する規定の色相範囲及び彩度範囲を取り出す二値化処理を行い、その結果にラべリング処理を行って、微小ブロブ（塊）を除去した後、残った領域を囲んだ点字ブロック候補存在領域矩形を表示する。
そして、物体特定部１４が、検出された点字ブロックの色相及び彩度と、検出物体情報データベース１３が記録した点字ブロックの条件例えば色相の範囲及び彩度の範囲とを照合して色相及び彩度が範囲内である場合、点字ブロックであると特定する。
また、物体特定部１４は、検出物体情報データベース１３が記録した、複数の点字ブロックが互いに連結した構成である点字ブロック連結体の形状パターン例えば、三角錐、Ｔ字、左分岐、右分岐あるいはこれらの複合型と、検出された複数の点字ブロックの点字ブロック連結体の形状パターンとを照合して、点字ブロック連結体の意味を特定する。
そして、位置情報対比部２１が、点字ブロックに対応する、物体地図座標作成部１２が作成した地図座標の緯度経度位置情報と、現在位置情報検出部８が検出した現在位置情報とを対比する。
また、制御部２０は、位置情報対比部２１が対比した結果、点字ブロックの位置情報と現在位置情報が一致しない場合に、告知部１９に点字ブロックの位置への誘導を告知させる制御を行う。
また、図示していないが、物体検出部５が、撮像画像４０または撮像画像６０をＨＳＶカラー変換して、色相画像、彩度画像及び明度画像に分離し、彩度画像から高彩度領域、例えば［１００、２５５］画素を取り出すための二値化処理を行い、その結果にラべリング処理を行って、微小ブロブ（塊）あるいは大きすぎるブロブなどを除去し、残った領域を囲んだ高彩度歩行障害物候補存在領域矩形を表示する。
そして、物体特定部１４が、検出された高彩度歩行障害物例えば街路樹の存在領域矩形の数値情報例えば大きさや彩度と、検出物体情報データベース１３が記録した、高彩度歩行障害物の条件例えば存在領域矩形の大きさの範囲や彩度範囲とを照合した結果、大きさや彩度が範囲内であり、さらに、精度を高めるためにＣＮＮを利用して、検出された街路樹が樹木であることの特徴量を算出し、この特徴量が規定値以上である場合、樹木であると特定する。
図５は、本発明を適用した歩道進行支援システムにおける第３の例の撮像画像の拡張現実画像の一例を示す概略図である。
図２（ａ）で示した例と同様に、撮像カメラ４が歩行者の正面の風景を例えば０．５〜１秒ごとに撮像し、フレーム画像７３を得る。
また、図２（ａ）で示した例と同様に、検出された長い線分の傾きの平均角度を算出し、長い線分が垂直になるようにフレーム画像７３の中心を回転中心として回転補正を行う。
このときの撮像画像は、第１の点字ブロック７５と、第２の点字ブロック７６と、歩道７７と、横断歩道８３などが撮像された画像である。
次に、物体検出部５が、撮像画像をＨＳＶカラー変換して、色相画像、彩度画像及び明度画像に分離し、色相画像と彩度画像から点字ブロックの黄色に対応する規定の色相範囲及び彩度範囲を取り出す二値化処理を行う。
そして、物体検出部５は、その結果にラべリング処理を行って、微小ブロブ（塊）を除去した後、図５に示すように、残った領域すなわち検出された第１の点字ブロック７５を囲んだ第１の点字ブロック候補存在領域矩形８１及び検出された第２の点字ブロック７６を囲んだ第２の点字ブロック候補存在領域矩形８２を、拡張現実画像７４において表示する。
そして、物体特定部１４が、検出された第１の点字ブロック７５及び第２の点字ブロック７６それぞれの色相及び彩度と、検出物体情報データベース１３が記録した点字ブロックの条件例えば色相の範囲及び彩度の範囲とを照合して色相及び彩度が範囲内である場合、点字ブロックであると特定する。
また、物体特定部１４は、検出物体情報データベース１３が記録した点字ブロック連結体の形状パターン例えば、三角錐、Ｔ字、左分岐、右分岐あるいはこれらの複合型と、検出された複数の第１の点字ブロック７５及び第２の点字ブロック７６それぞれの点字ブロック連結体の形状パターンとを照合して、点字ブロック連結体の意味を特定する。
また、図示していないが、物体検出部５が、撮像画像から低彩度領域例えば彩度値範囲［０、５］画素を二値化処理で抽出しラべリング処理をかけ、微小ブロブ（塊）や大きすぎるブロブ（塊）を除去して、残った領域を囲んだ左側歩道境界設置物候補存在領域矩形などを表示する。
また、物体特定部１４が、検出された左側歩道境界設置物の存在領域矩形の数値情報例えば大きさと、検出物体情報データベース１３が記録した、歩道境界設置物の条件例えば大きさの範囲とを照合して大きさが範囲内であり、さらに、精度を高めるためにＣＮＮを利用して、検出された歩道境界設置物が確かに歩道境界設置物であることの特徴量を算出し、この特徴量が規定値以上である場合、歩道境界設置物であると特定する。
また、線分検出部６が、撮像画像の中で、撮像画像の下部から撮像画像の略中央領域へ向けて傾斜して延びる右側傾斜線分７９と、撮像画像の下部から撮像画像の略中央領域へ向けて傾斜して延びると共に撮像画像の下部から撮像画像の略中央領域に近づくにつれて右側傾斜線分６８との間の距離が短くなった左側傾斜線分８０とを検出する。
また、左側傾斜線分８０は、歩道境界設置物に基づいて検出された線分であり、右側傾斜線分７９は、撮像画像の中心近くに存在する消失点に対して、左側傾斜線分８０の角度と同じくらいの角度に基づいて検出された線分である。
従って、図５に示すように、拡張現実画像７４の中心近くに消失点７８を表示し、拡張現実画像７４において、歩道境界設置物に沿って左側傾斜線分８０を表示し、消失点７８に対して左側傾斜線分８０の角度と同じくらいの角度の右側傾斜線分７９を表示する。
そして、歩道決定部７が、右側傾斜線分７９と左側傾斜線分８０との間の領域を歩道として決定する。
また、サーバ３の特定物体送信部１４Ａが、物体特定部１４が特定した点字ブロック連結体に関する情報を、インターネット３０を介してメガネ装置２へ送信する。
また、メガネ装置２の特定物体受信部１４Ｂが、点字ブロック連結体に関する情報をサーバ３から受信する。
また、メガネ装置２の特定物体受信部１４Ｂが、点字ブロック連結体に関する情報をサーバ３から受信する。
そして、制御部２０が、点字ブロック連結体に関する情報すなわち点字ブロック連結体の意味を音声で、告知部１９に告知させる制御を行う。
図５に示す点字ブロック連結体の場合、告知部１９は具体的には例えば「前方３ｍに横断歩道点字ブロックがあります。」を音声で告知する。
図５に示す点字ブロック連結体の場合、告知部１９は具体的には例えば「前方３ｍに横断歩道点字ブロックがあります。」を音声で告知する。
図６は、本発明を適用した歩道進行支援システムにおける第４の例の撮像画像の拡張現実画像の一例を示す概略図である。
図２（ａ）で示した例と同様に、撮像カメラ４が歩行者の正面の風景を例えば０．５〜１秒ごとに撮像し、フレーム画像８４を得る。
また、図２（ａ）で示した例と同様に、検出された長い線分の傾きの平均角度を算出し、長い線分が垂直になるようにフレーム画像８４の中心を回転中心として回転補正を行う。
このときの撮像画像は、歩道８６と、第１の通行人８７と、第２の通行人８９などが撮像された画像である。
次に、物体検出部５が、撮像画像に「ＨＯＧ人物検出処理」を行い、撮像画像の中で、可動物体である第１の通行人８７及び第２の通行人８９を検出し、図６に示すように、検出された第１の通行人８７を囲んだ第１の人物候補存在領域矩形８８及び検出された第２の通行人８９を囲んだ第２の人物候補存在領域矩形９０を、拡張現実画像８５において表示する。
そして、物体特定部１４が、検出された第１の通行人８７及び第２の通行人８９それぞれの存在領域矩形の数値情報例えば大きさと、検出物体情報データベース１３が記録した人物の条件例えば大きさの範囲とを照合して大きさが範囲内であり、さらに、ＣＮＮを利用して、検出された第１の通行人８７及び第２の通行人８９が人物でえあることの特徴量を算出し、この特徴量が規定値以上である場合、人物であると特定する。
また、図示していないが、物体検出部５が、撮像画像から低彩度領域例えば彩度値範囲［０、５］画素を二値化処理で抽出しラべリング処理をかけ、微小ブロブ（塊）や大きすぎるブロブ（塊）を除去して、残った領域を囲んだ左側歩道境界設置物候補存在領域矩形などを表示する。
また、物体特定部１４が、検出された左側歩道境界設置物の存在領域矩形の数値情報例えば大きさと、検出物体情報データベース１３が記録した、歩道境界設置物の条件例えば大きさの範囲とを照合して大きさが範囲内であり、さらに、精度を高めるためにＣＮＮを利用して、検出された歩道境界設置物が確かに歩道境界設置物であることの特徴量を算出し、この特徴量が規定値以上である場合、歩道境界設置物であると特定する。
また、線分検出部６が、撮像画像の中で、撮像画像の下部から撮像画像の略中央領域へ向けて傾斜して延びる右側傾斜線分９２と、撮像画像の下部から撮像画像の略中央領域へ向けて傾斜して延びると共に撮像画像の下部から撮像画像の略中央領域に近づくにつれて右側傾斜線分９２との間の距離が短くなった左側傾斜線分９３とを検出する。
また、左側傾斜線分９３は、歩道境界設置物に基づいて検出された線分であり、右側傾斜線分９２は、撮像画像の中心付近に存在する消失点に対して、左側傾斜線分９３の角度と同じくらいの角度に基づいて検出された線分である。
従って、図６に示すように、拡張現実画像８５の中心付近に消失点９１を表示し、拡張現実画像８５において、歩道境界設置物に沿って左側傾斜線分９３を表示し、消失点９１に対して左側傾斜線分９３の角度と同じくらいの角度の右側傾斜線分９２を表示する。
そして、歩道決定部７が、右側傾斜線分９２と左側傾斜線分９３との間の領域を歩道として決定する。
また、告知部１９は、物体特定部１４が可動物体である人物すなわち第１の通行人８７及び第２の通行人８９を特定しているので、人物が存在することを音声で告知する。
図７は、本発明を適用した歩道進行支援システムで使用されるメガネ装置を用いて段差を検知する様子の一例を示す概略図である。
本発明の歩道進行支援システム１を構成するメガネ装置２の距離測定部１０は、レーザ９６を照射して撮像カメラ４から撮像カメラ４に撮像された静止物体すなわち、メガネ装置２が有する撮像カメラ４から斜め下方に位置する歩行面１００までの距離も測定できる。
また、レーザ９６は、メガネ装置２が作動している間、連続して照射されている。
また、図７に示すように、白杖９７を持った歩行者９５が立っている歩行面１００よりも低くなった段差９８が、歩行者９５の前方に存在する場合、撮像カメラ４から歩行面１００までの距離よりも、撮像カメラ４から段差９８によって低くなった段差面１０１までの距離の方が長い。
従って、制御部２０は、斜め下方へ連続して照射されたレーザ９６の反射に基づいて連続して測定された距離が変化した場合すなわち距離が長くなった場合に、告知部１９に段差９８が存在することを告知させる制御を行う。
また、図８は、本発明を適用した歩道進行支援システムにおいて白杖の代わりに盲導犬ロボットを用いた例を示す概略図である。
この場合、盲導犬ロボット９９は、撮像カメラや、レーザを照射する距離測定部や、進行可能経路情報受信部を有し、受信した進行可能経路情報に従って自動走行できる構成とすることが考えられる。
従って、目の不自由な歩行者は、この盲導犬ロボット９９を図８に示すように掴んで歩行することで、進行可能経路に沿って歩行することができる。
従って、目の不自由な歩行者は、この盲導犬ロボット９９を図８に示すように掴んで歩行することで、進行可能経路に沿って歩行することができる。
また、サーバ３がクラウドサーバである構成とすることもでき、あるいは、サーバ３とは別のクラウドサーバが存在するという構成とすることもできる。
また、サーバ３とは別のクラウドサーバが存在する場合、サーバ３は本発明のシステムを利用する歩行者ごとに設置されている。
そして、複数のサーバ３それぞれの進行履歴データベース２５が記録した情報すなわち、歩行者が実際に進行した進行可能経路情報と、進行したときの現在位置情報と、現在位置情報が検出されたときの撮像画像を、複数のサーバ３それぞれがクラウドサーバへ送信して多くの情報を収集できる。
そして、複数のサーバ３それぞれの進行履歴データベース２５が記録した情報すなわち、歩行者が実際に進行した進行可能経路情報と、進行したときの現在位置情報と、現在位置情報が検出されたときの撮像画像を、複数のサーバ３それぞれがクラウドサーバへ送信して多くの情報を収集できる。
さらに、複数のサーバ３それぞれは、物体特定部１４が特定した物体のうち歩行障害物に関する情報や、歩行者から受信した質問情報（音声）や、地図情報データベース１１が記録した地図情報が更新された場合の地図更新情報を、クラウドサーバへ送信して多くの情報を収集できる。
すなわち、様々な地域の障害者支援団体などの様々な団体やユーザが、本発明の歩道進行支援システムを利用することで、各地域の経路や歩行障害物などの情報をクラウドサーバに収集できるので、様々な地域の様々な団体やユーザが協力して情報を収集できる。
そして、収集した情報を基に詳細な経路や歩行障害物などの情報を整備できる。
そして、収集した情報を基に詳細な経路や歩行障害物などの情報を整備できる。
従って、本発明の歩道進行支援システムを利用する歩行者が、居住地域から旅行や仕事などで別の地域すなわち移動先地域へ行ったときでも、その歩行者に対応するサーバ３がクラウドサーバと通信して、移動先地域における詳細な経路や歩行障害物などの情報を利用でき、このようなクラウド連携機能によって、本発明の歩道進行支援システムの利便性や安全性を向上できる。
図９（ａ）は本発明の歩道進行支援システムが備えるベルト装置の一例を示す概略図であり、図９（ｂ）は歩行者がベルト装置を装着した様子の一例を示す概略図である。
本発明の歩道進行支援システム１は、音声で告知する音声告知部と振動で告知する振動告知部の両方、あるいはいずれか一方を備える。
具体的には例えば、メガネ装置２が音声告知部と振動告知部を有していたり、メガネ装置２とは別に、歩行者９５の胴部などに装着できるベルト装置１０２が振動告知部１０３を有していたりする。
具体的には例えば、メガネ装置２が音声告知部と振動告知部を有していたり、メガネ装置２とは別に、歩行者９５の胴部などに装着できるベルト装置１０２が振動告知部１０３を有していたりする。
また、ベルト装置１０２の振動告知部１０３が振動で告知するときは、例えば、メガネ装置２からベルト装置１０２へ告知内容を送信し、ベルト装置１０２の振動告知部１０３は送信された告知内容に基づいて振動で告知する。
すなわち、ベルト装置１０２が有する振動告知部１０３は、メガネ装置２が有する告知部１９が音声で告知するときに振動で告知する。
従って、図示していないが、ベルト装置１０２は、告知内容を受信可能な受信部を有する。
すなわち、ベルト装置１０２が有する振動告知部１０３は、メガネ装置２が有する告知部１９が音声で告知するときに振動で告知する。
従って、図示していないが、ベルト装置１０２は、告知内容を受信可能な受信部を有する。
また、振動告知部１０３は、具体的には本体１０３Ａと、複数の振動体１０３Ｂを有する。
ここで、本体１０３Ａは、長手方向を有し、かつ、長手方向の一方側と、この一方側とは反対側に位置する他方側とを着脱可能に連結可能である。
また、複数の振動体１０３Ｂは、本体１０３Ａの一方の面に本体１０３Ａの長手方向と同じ方向に並べて取付けられており、かつ、告知する場合に振動可能である。
ここで、本体１０３Ａは、長手方向を有し、かつ、長手方向の一方側と、この一方側とは反対側に位置する他方側とを着脱可能に連結可能である。
また、複数の振動体１０３Ｂは、本体１０３Ａの一方の面に本体１０３Ａの長手方向と同じ方向に並べて取付けられており、かつ、告知する場合に振動可能である。
すなわち、振動告知部１０３の本体１０３Ａは、長手方向の一方側と、この一方側とは反対側の他方側が互いに着脱可能に連結されて図９（ａ）に示されるような環状に成ることが可能であり、歩行者の身体例えば胴部に本体１０３Ａが装着されるために環状と成す。
また、振動告知部１０３の本体１０３Ａが環状と成った場合、振動体１０３Ｂが歩行者に接触するように本体１０３Ａを歩行者に装着する。このとき、歩行者の身体の例えば前側に接触する本体１０３Ａの個所は決まっているものとする。
また、図９（ａ）に示すように、本体１０３Ａが環状に成ったときに振動体１０３Ｂは３６０度全方位に配置された状態となる。
また、図９（ａ）に示すように、本体１０３Ａが環状に成ったときに振動体１０３Ｂは３６０度全方位に配置された状態となる。
また、振動体１０３Ｂの振動態様は、告知内容に応じて様々に変化する。
具体的には例えば、歩行者を左方向転換へ誘導する告知内容であれば、歩行者の胴部の左側に接触する振動体１０３Ｂのみが振動し、歩行者を右方向転換へ誘導する告知内容であれば、歩行者の胴部の右側に接触する振動体１０３Ｂのみが振動する。
また、歩行者に歩行を停止させる告知内容であれば、例えば歩行者の胴部の後側に接触する振動体のみが振動し、歩行者に、通行人や電信柱や段差など歩行の障害となる物が存在することを告知する内容であれば、例えば全ての振動体が同時に振動する。
具体的には例えば、歩行者を左方向転換へ誘導する告知内容であれば、歩行者の胴部の左側に接触する振動体１０３Ｂのみが振動し、歩行者を右方向転換へ誘導する告知内容であれば、歩行者の胴部の右側に接触する振動体１０３Ｂのみが振動する。
また、歩行者に歩行を停止させる告知内容であれば、例えば歩行者の胴部の後側に接触する振動体のみが振動し、歩行者に、通行人や電信柱や段差など歩行の障害となる物が存在することを告知する内容であれば、例えば全ての振動体が同時に振動する。
図９（ｂ）に示すように、白杖９７を持った歩行者９５が立っている歩行面１００より低くなった段差９８が、歩行者９５の前方に存在する場合、制御部２０が、告知部１９に段差９８が存在することを告知させる制御を行い、かつ、メガネ装置２からベルト装置１０２へ告知内容すなわち段差９８が存在することを送信し、ベルト装置１０２の振動告知部１０３は送信された告知内容に基づいて振動で告知する、すなわち全ての振動体１０３Ｂが同時に振動する。
以上のように、本発明の歩道進行支援システムは物体特定部を備えているので、歩道を歩行する歩行弱者の少なくとも前方に実際に存在する物体を特定できる。
また、本発明の歩道進行支援システムは物体地図座標作成部を備えているので、歩道を歩行する歩行弱者の少なくとも前方に実際に存在する物体の、地図座標における位置を把握することができる。
さらに、本発明の歩道進行支援システムは進行可能経路情報決定部を備えているので、地図情報には含まれない実際に歩行する際の歩道における状況が考慮された、歩道の進行可能経路を決定できる。
また、本発明の歩道進行支援システムは物体地図座標作成部を備えているので、歩道を歩行する歩行弱者の少なくとも前方に実際に存在する物体の、地図座標における位置を把握することができる。
さらに、本発明の歩道進行支援システムは進行可能経路情報決定部を備えているので、地図情報には含まれない実際に歩行する際の歩道における状況が考慮された、歩道の進行可能経路を決定できる。
従って、本発明の歩道進行支援システムは、歩行弱者の歩道における進行を支援できる。
また、本発明の歩道進行支援ソフトウェアも、情報処理機器を、物体特定部と、物体地図座標作成部と、進行可能経路情報決定部とを含む手段として機能させるので、歩行弱者の歩道における進行を支援できる。
１ 歩道進行支援システム
２ メガネ装置
３ サーバ
４ 撮像カメラ
４Ａ 撮像画像送信部
４Ｂ 撮像画像受信部
５ 物体検出部
５Ａ 検出物体送信部
５Ｂ 検出物体受信部
６ 線分検出部
７ 歩道決定部
７Ａ 決定歩道送信部
７Ｂ 決定歩道受信部
８ 現在位置情報検出部
８Ａ 現在位置情報送信部
８Ｂ 現在位置情報受信部
９ 方向検出部
９Ａ 撮像方向送信部
９Ｂ 撮像方向受信部
１０ 距離測定部
１０Ａ 測定距離送信部
１０Ｂ 測定距離受信部
１１ 地図情報データベース
１２ 物体地図座標作成部
１３ 検出物体情報データベース
１４ 物体特定部
１４Ａ 特定物体送信部
１４Ｂ 特定物体受信部
１５ 進行可能領域位置情報検出部
１６ 目的地情報決定部
１６Ａ 音声送信部
１６Ｂ 音声受信部
１６Ｃ 音声回答部
１６Ｄ 音声受信部
１７ 経路情報決定部
１８ 進行可能経路情報決定部
１８Ａ 進行可能経路情報送信部
１８Ｂ 進行可能経路情報受信部
１９ 告知部
２０ 制御部
２１ 位置情報対比部
２１Ａ 対比結果送信部
２１Ｂ 対比結果受信部
２２ 物体配置情報作成部
２３ 物体配置情報データベース
２４ 局所目的地情報決定部
２５ 進行履歴データベース
２６ 検索部
２６Ａ 検索結果送信部
２６Ｂ 検索結果受信部
２７ 画像切出部
２７Ａ 切出画像送信部
２７Ｂ 切出画像受信部
２８ 教師情報データベース
２９ 質問解析部
３０ インターネット
４０ 撮像画像
４１ フレーム画像
４２ 右側縁石
４３ 左側縁石
４４ 歩道
４５ 電信柱
４６ 通行人
４７ 拡張現実画像
４８ 消失点
４９ 右側傾斜線分
５０ 左側傾斜線分
５１ 人物候補存在領域矩形
５２ 鉛直線分
５３ 歩道領域
５４ ｙ軸
５５ ｘ正軸
５６ 原点
５７ 動座標系
５８ 地図座標系
６０ 撮像画像
６１ フレーム画像
６２ 横断歩道
６３ 歩道
６４ 第１の通行人
６５ 第２の通行人
６６ 拡張現実画像
６７ 消失点
６８ 右側傾斜線分
６９ 左側傾斜線分
７０ 第１の人物候補存在領域矩形
７１ 第２の人物候補存在領域矩形
７２ 第１の交差線分
７３ フレーム画像
７４ 拡張現実画像
７５ 第１の点字ブロック
７６ 第２の点字ブロック
７７ 歩道
７８ 消失点
７９ 右側傾斜線分
８０ 左側傾斜線分
８１ 第１の点字ブロック候補存在領域矩形
８２ 第２の点字ブロック候補存在領域矩形
８３ 横断歩道
８４ フレーム画像
８５ 拡張現実画像
８６ 歩道
８７ 第１の通行人
８８ 第１の人物候補存在領域矩形
８９ 第２の通行人
９０ 第２の人物候補存在領域矩形
９１ 消失点
９２ 右側傾斜線分
９３ 左側傾斜線分
９５ 歩行者
９６ レーザ
９７ 白杖
９８ 段差
９９ 盲導犬ロボット
１００ 歩行面
１０１ 段差面
１０２ ベルト装置
１０３ 振動告知部
１０３Ａ 本体
１０３Ｂ 振動体
２ メガネ装置
３ サーバ
４ 撮像カメラ
４Ａ 撮像画像送信部
４Ｂ 撮像画像受信部
５ 物体検出部
５Ａ 検出物体送信部
５Ｂ 検出物体受信部
６ 線分検出部
７ 歩道決定部
７Ａ 決定歩道送信部
７Ｂ 決定歩道受信部
８ 現在位置情報検出部
８Ａ 現在位置情報送信部
８Ｂ 現在位置情報受信部
９ 方向検出部
９Ａ 撮像方向送信部
９Ｂ 撮像方向受信部
１０ 距離測定部
１０Ａ 測定距離送信部
１０Ｂ 測定距離受信部
１１ 地図情報データベース
１２ 物体地図座標作成部
１３ 検出物体情報データベース
１４ 物体特定部
１４Ａ 特定物体送信部
１４Ｂ 特定物体受信部
１５ 進行可能領域位置情報検出部
１６ 目的地情報決定部
１６Ａ 音声送信部
１６Ｂ 音声受信部
１６Ｃ 音声回答部
１６Ｄ 音声受信部
１７ 経路情報決定部
１８ 進行可能経路情報決定部
１８Ａ 進行可能経路情報送信部
１８Ｂ 進行可能経路情報受信部
１９ 告知部
２０ 制御部
２１ 位置情報対比部
２１Ａ 対比結果送信部
２１Ｂ 対比結果受信部
２２ 物体配置情報作成部
２３ 物体配置情報データベース
２４ 局所目的地情報決定部
２５ 進行履歴データベース
２６ 検索部
２６Ａ 検索結果送信部
２６Ｂ 検索結果受信部
２７ 画像切出部
２７Ａ 切出画像送信部
２７Ｂ 切出画像受信部
２８ 教師情報データベース
２９ 質問解析部
３０ インターネット
４０ 撮像画像
４１ フレーム画像
４２ 右側縁石
４３ 左側縁石
４４ 歩道
４５ 電信柱
４６ 通行人
４７ 拡張現実画像
４８ 消失点
４９ 右側傾斜線分
５０ 左側傾斜線分
５１ 人物候補存在領域矩形
５２ 鉛直線分
５３ 歩道領域
５４ ｙ軸
５５ ｘ正軸
５６ 原点
５７ 動座標系
５８ 地図座標系
６０ 撮像画像
６１ フレーム画像
６２ 横断歩道
６３ 歩道
６４ 第１の通行人
６５ 第２の通行人
６６ 拡張現実画像
６７ 消失点
６８ 右側傾斜線分
６９ 左側傾斜線分
７０ 第１の人物候補存在領域矩形
７１ 第２の人物候補存在領域矩形
７２ 第１の交差線分
７３ フレーム画像
７４ 拡張現実画像
７５ 第１の点字ブロック
７６ 第２の点字ブロック
７７ 歩道
７８ 消失点
７９ 右側傾斜線分
８０ 左側傾斜線分
８１ 第１の点字ブロック候補存在領域矩形
８２ 第２の点字ブロック候補存在領域矩形
８３ 横断歩道
８４ フレーム画像
８５ 拡張現実画像
８６ 歩道
８７ 第１の通行人
８８ 第１の人物候補存在領域矩形
８９ 第２の通行人
９０ 第２の人物候補存在領域矩形
９１ 消失点
９２ 右側傾斜線分
９３ 左側傾斜線分
９５ 歩行者
９６ レーザ
９７ 白杖
９８ 段差
９９ 盲導犬ロボット
１００ 歩行面
１０１ 段差面
１０２ ベルト装置
１０３ 振動告知部
１０３Ａ 本体
１０３Ｂ 振動体
Claims (14)
- 歩行者の少なくとも前方を撮像可能な撮像部と、
該撮像部が撮像して得られた撮像画像の中で、動く物体である可動物体及び静止した物体である静止物体を検出可能な物体検出部と、
前記撮像画像の中で、同撮像画像の下部から同撮像画像の略中央領域へ向けて延びる第１の線分と、同撮像画像の下部から同撮像画像の略中央領域へ向けて延びると共に同撮像画像の下部から同撮像画像の略中央領域に近づくにつれて同第１の線分との間の距離が短くなった第２の線分とを検出可能な線分検出部と、
前記撮像画像の中で、前記線分検出部が検出した、前記第１の線分と前記第２の線分との間の領域を歩道として決定可能な歩道決定部と、
前記撮像部が装着された歩行者の位置情報である現在位置情報を検出可能な現在位置情報検出部と、
前記撮像部の撮像方向を検出可能な方向検出部と、
前記撮像部から同撮像部に撮像された物体までの距離を前記撮像画像に基づいて測定可能な距離測定部と、
地図に関する情報である地図情報を記録可能な地図情報記録部と、
前記物体検出部が検出した静止物体または可動物体の位置を、前記方向検出部が検出した撮像方向と、前記距離測定部が測定した前記撮像部と同静止物体または同可動物体との間の距離とに基づいて、同撮像部が装着された歩行者の位置を原点とする動座標系の座標値として算出可能であり、かつ、前記現在位置情報検出部が検出した現在位置情報を原点として、算出された同座標値を、前記地図情報記録部が記録した地図情報に含まれる地図座標系の緯度経度に変換して、同静止物体または同可動物体の地図座標を作成可能な物体地図座標作成部と、
可動物体に関する情報である可動物体情報及び静止物体に関する情報である静止物体情報を記録可能な検出物体情報記録部と、
前記物体検出部が検出した可動物体または静止物体と、前記検出物体情報記録部が記録した前記可動物体情報及び前記静止物体情報とを照合して、同可動物体及び同静止物体を特定可能な物体特定部と、
前記歩道決定部が歩道を決定したときの同歩道を挟む、前記第１の線分及び前記第２の線分それぞれに対応する、前記物体地図座標作成部が作成した前記地図座標の緯度経度位置情報と、同第１の線分と同第２の線分との間に位置する静止物体または可動物体に対応する、前記物体地図座標作成部が作成した前記地図座標の緯度経度位置情報とに基づいて、同歩道内の進行可能領域の位置情報を検出可能な進行可能領域位置情報検出部と、
音声と、前記地図情報記録部が記録した前記地図情報とに基づいて、目的地に関する情報である目的地情報を決定可能な目的地情報決定部と、
該目的地情報決定部が決定した前記目的地情報と、前記現在位置情報検出部が検出した前記現在位置情報とに基づいて、目的地と現在位置との間の経路に関する情報である経路情報を決定可能な経路情報決定部と、
該経路情報決定部が決定した前記経路情報と、前記進行可能領域位置情報検出部が検出した前記進行可能領域位置情報とに基づいて、目的地と現在位置との間の経路であって歩行者が進行可能な経路に関する情報である進行可能経路情報を決定可能な進行可能経路情報決定部とを備える
歩道進行支援システム。 - 前記物体特定部が可動物体を特定した場合に可動物体が存在することを告知可能であり、かつ、前記進行可能経路情報決定部が決定した進行可能経路情報を告知可能な告知部を備える
請求項１に記載の歩道進行支援システム。 - 前記方向検出部が検出した前記撮像部の撮像方向が向けられた物体と同撮像部との間の、前記距離測定部が測定した距離が所定の値以下であり、かつ、前記物体検出部が検出した同物体が鉛直方向に所定の長さ以上延びる線分である鉛直線分を有する場合に、前記告知部に警告を告知させる制御もしくは同距離測定部が測定した同物体と同撮像部との間の距離が所定の値より大きくなる方向へ誘導する内容を告知させる制御が可能な制御部を備える
請求項２に記載の歩道進行支援システム。 - 前記線分検出部は、さらに、前記撮像画像の中で、前記第１の線分及び前記第２の線分それぞれと交差する、第１の交差線分及び第２の交差線分を検出可能であり、
前記距離測定部は、さらに前記撮像画像に基づいて線分と線分の間の距離を測定可能であり、
前記制御部は、前記距離測定部が測定した前記第１の交差線分と前記第２の交差線分の間の距離が所定の値より大きい場合に、前記撮像部の撮像方向が左方向へ向くことである左方向転換へ誘導する内容及び同撮像部の撮像方向が右方向へ向くことである右方向転換へ誘導する内容を告知部に告知させる制御が可能である
請求項３に記載の歩道進行支援システム。 - 前記物体特定部が特定した結果、静止物体が点字ブロックであると特定された場合に、点字ブロックに対応する、前記物体地図座標作成部が作成した前記地図座標の緯度経度位置情報と、前記現在位置情報検出部が検出した現在位置情報とを対比可能な位置情報対比部を備え、
前記物体特定部は、同物体特定部が特定した結果、静止物体が点字ブロックであると特定された場合に、さらに前記検出物体情報記録部が記録した前記静止物体情報に基づいて、複数の点字ブロックが互いに連結した構成である点字ブロック連結体の意味を特定可能であり、
前記制御部は、前記位置情報対比部が対比した結果、点字ブロックの位置情報と現在位置情報が一致しない場合に、前記告知部に点字ブロックの位置への誘導を告知させる制御が可能である
請求項３または請求項４に記載の歩道進行支援システム。 - 前記距離測定部はレーザを照射可能であり、かつ、照射されたレーザの反射に基づいて前記撮像部から同撮像部に撮像された物体までの距離をさらに測定可能であり、
前記制御部は、斜め下方へ照射されたレーザの反射に基づいて連続して測定された距離が変化した場合に、前記告知部に段差が存在することを告知させる制御が可能である
請求項３、請求項４または請求項５に記載の歩道進行支援システム。 - 前記物体地図座標作成部が作成した静止物体の前記地図座標と、前記物体特定部が同静止物体を特定した特定結果と、前記地図情報記録部が記録した地図情報とに基づいて、特定された物体の地図上における配置に関する情報である物体配置情報を作成可能な物体配置情報作成部と、
該物体配置情報作成部が作成した物体配置情報を記録可能な物体配置情報記録部とを備える
請求項２、請求項３、請求項４、請求項５または請求項６に記載の歩道進行支援システム。 - 音声と、前記目的地情報決定部が決定した目的地情報と、前記地図情報記録部が記録した地図情報のうち目的地情報に関連する情報である目的地関連地図情報とに基づいて、目的地情報よりも局所的な情報である局所目的地情報を決定可能な局所目的地情報決定部を備え、
前記経路情報決定部は、前記目的地情報決定部が決定した目的地情報の代わりに前記局所目的地情報決定部が決定した前記局所目的地情報と、前記現在位置情報検出部が検出した前記現在位置情報とに基づいて経路情報を決定可能である
請求項１、請求項２、請求項３、請求項４、請求項５、請求項６または請求項７に記載の歩道進行支援システム。 - 前記進行可能経路情報決定部が決定した前記進行可能経路情報と、該進行可能経路情報の進行可能経路を歩行者が進行したときに前記現在位置情報検出部が検出した現在位置情報と、該現在位置情報が検出されたときの撮像画像とを関連付けて記録可能な進行履歴記録部を備える
請求項１、請求項２、請求項３、請求項４、請求項５、請求項６、請求項７または請求項８に記載の歩道進行支援システム。 - 音声に基づいて、前記地図情報記録部が記録した前記地図情報と前記物体配置情報記録部が記録した前記物体配置情報を検索可能な検索部を備え、
前記告知部は、前記検索部の検索結果を告知可能である
請求項７に記載の歩道進行支援システム。 - 前記物体検出部が検出した可動物体及び静止物体それぞれの画像を前記撮像画像から切出可能な画像切出部と、
該画像切出部が切出した、可動物体の切出画像及び静止物体の切出画像と、同可動物体及び同静止物体を前記物体特定部が特定した特定結果とを関連付けて得られた情報である教師情報を記録可能な教師情報記録部とを備える
請求項１、請求項２、請求項３、請求項４、請求項５、請求項６、請求項７、請求項８、請求項９または請求項１０に記載の歩道進行支援システム。 - 前記告知部は、告知内容を音声で告知可能な音声告知部及び、長手方向を有し、かつ、長手方向の一方側と、この一方側とは反対側に位置する他方側とを着脱可能に連結可能な本体と、該本体の一方の面に同本体の長手方向と同じ方向に並べて取付けられており、かつ、告知する場合に告知内容に応じて一部または全部を振動可能な複数の振動体とを有する振動告知部の中の少なくとも１つである
請求項２に記載の歩道進行支援システム。 - 歩道上の歩行者の進行を支援するための歩道進行支援ソフトウェアであって、
情報処理機器を、
地図に関する情報である地図情報を記録可能な地図情報記録部と、
歩行者の少なくとも前方を撮像可能な撮像部が撮像して得られた撮像画像の中で検出された、動く物体である可動物体及び静止した物体である静止物体の位置を、同撮像部の撮像方向と、同撮像画像に基づいて測定された同撮像部と同静止物体または同可動物体との間の距離とに基づいて、同撮像部が装着された歩行者の位置を原点とする動座標系の座標値として算出可能であり、かつ、検出された、同撮像部が装着された歩行者の位置情報である現在位置情報を原点として、算出された同座標値を、前記地図情報記録部が記録した地図情報に含まれる地図座標系の緯度経度に変換して、同静止物体または同可動物体の地図座標を作成可能な物体地図座標作成部と、
可動物体に関する情報である可動物体情報及び静止物体に関する情報である静止物体情報を記録可能な検出物体情報記録部と、
前記撮像画像の中で検出された可動物体または静止物体と、前記検出物体情報記録部が記録した前記可動物体情報及び前記静止物体情報とを照合して、同可動物体及び同静止物体を特定可能な物体特定部と、
前記撮像画像の中で検出された、同撮像画像の下部から同撮像画像の略中央領域へ向けて延びる第１の線分と、同撮像画像の下部から同撮像画像の略中央領域へ向けて延びると共に同撮像画像の下部から同撮像画像の略中央領域に近づくにつれて同第１の線分との間の距離が短くなった第２の線分との間の領域が歩道として決定されたときの同歩道を挟む、同第１の線分及び同第２の線分それぞれに対応する、前記物体地図座標作成部が作成した前記地図座標の緯度経度位置情報と、同第１の線分と同第２の線分との間に位置する静止物体または可動物体に対応する、前記物体地図座標作成部が作成した前記地図座標の緯度経度位置情報とに基づいて、同歩道内の進行可能領域の位置情報を検出可能な進行可能領域位置情報検出部と、
音声と、前記地図情報記録部が記録した前記地図情報とに基づいて、目的地に関する情報である目的地情報を決定可能な目的地情報決定部と、
該目的地情報決定部が決定した前記目的地情報と、検出された前記現在位置情報とに基づいて、目的地と現在位置との間の経路に関する情報である経路情報を決定可能な経路情報決定部と、
該経路情報決定部が決定した前記経路情報と、前記進行可能領域位置情報検出部が検出した前記進行可能領域位置情報とに基づいて、目的地と現在位置との間の経路であって歩行者が進行可能な経路に関する情報である進行可能経路情報を決定可能な進行可能経路情報決定部と、
を含む手段として機能させるための歩道進行支援ソフトウェア。 - 歩道上の歩行者の進行を支援するための歩道進行支援ソフトウェアであって、
情報処理機器を、
歩行者の少なくとも前方を撮像可能な撮像部が撮像して得られた撮像画像の中で、動く物体である可動物体及び静止した物体である静止物体を検出可能な物体検出部と、
前記撮像画像の中で、同撮像画像の下部から同撮像画像の略中央領域へ向けて延びる第１の線分と、同撮像画像の下部から同撮像画像の略中央領域へ向けて延びると共に同撮像画像の下部から同撮像画像の略中央領域に近づくにつれて同第１の線分との間の距離が短くなった第２の線分とを検出可能な線分検出部と、
前記撮像画像の中で、前記線分検出部が検出した、前記第１の線分と前記第２の線分との間の領域を歩道として決定可能な歩道決定部と、
地図に関する情報である地図情報を記録可能な地図情報記録部と、
前記物体検出部が検出した静止物体または可動物体の位置を、前記撮像部の撮像方向と、同撮像画像に基づいて測定された同撮像部と同静止物体または同可動物体との間の距離とに基づいて、同撮像部が装着された歩行者の位置を原点とする動座標系の座標値として算出可能であり、かつ、検出された、同撮像部が装着された歩行者の位置情報である現在位置情報を原点として、算出された同座標値を、前記地図情報記録部が記録した地図情報に含まれる地図座標系の緯度経度に変換して、同静止物体または同可動物体の地図座標を作成可能な物体地図座標作成部と、
可動物体に関する情報である可動物体情報及び静止物体に関する情報である静止物体情報を記録可能な検出物体情報記録部と、
前記物体検出部が検出した可動物体または静止物体と、前記検出物体情報記録部が記録した前記可動物体情報及び前記静止物体情報とを照合して、同可動物体及び同静止物体を特定可能な物体特定部と、
前記歩道決定部が歩道を決定したときの同歩道を挟む、前記第１の線分及び前記第２の線分それぞれに対応する、前記物体地図座標作成部が作成した前記地図座標の緯度経度位置情報と、同第１の線分と同第２の線分との間に位置する静止物体または可動物体に対応する、前記物体地図座標作成部が作成した前記地図座標の緯度経度位置情報とに基づいて、同歩道内の進行可能領域の位置情報を検出可能な進行可能領域位置情報検出部と、
音声と、前記地図情報記録部が記録した前記地図情報とに基づいて、目的地に関する情報である目的地情報を決定可能な目的地情報決定部と、
該目的地情報決定部が決定した前記目的地情報と、検出された前記現在位置情報とに基づいて、目的地と現在位置との間の経路に関する情報である経路情報を決定可能な経路情報決定部と、
該経路情報決定部が決定した前記経路情報と、前記進行可能領域位置情報検出部が検出した前記進行可能領域位置情報とに基づいて、目的地と現在位置との間の経路であって歩行者が進行可能な経路に関する情報である進行可能経路情報を決定可能な進行可能経路情報決定部と、
を含む手段として機能させるための歩道進行支援ソフトウェア。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017168527 | 2017-09-01 | ||
| JP2017168527 | 2017-09-01 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019046464A true JP2019046464A (ja) | 2019-03-22 |
| JP7029170B2 JP7029170B2 (ja) | 2022-03-03 |
Family
ID=65815674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018151756A Active JP7029170B2 (ja) | 2017-09-01 | 2018-08-10 | 歩道進行支援システム及び歩道進行支援ソフトウェア |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7029170B2 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110988944A (zh) * | 2019-11-21 | 2020-04-10 | 西安微城信息科技有限公司 | 一种基于卫星导航的导盲方法及其系统 |
| KR20210015226A (ko) * | 2019-08-01 | 2021-02-10 | 주식회사 다비오 | 객체 인식 기반 실내 측위를 위한 단말장치, 서비스 서버 및 그 방법 |
| US11281225B2 (en) * | 2019-08-08 | 2022-03-22 | Lg Electronics Inc. | Driving method of robot |
| WO2022097765A1 (ko) * | 2020-11-04 | 2022-05-12 | 주식회사 다비오 | 객체 인식 기반 실내 측위를 위한 단말장치, 서비스 서버 및 그 방법 |
| JP2022093481A (ja) * | 2021-04-28 | 2022-06-23 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 車両の駐車違反の識別方法、装置、電子機器、記憶媒体及びコンピュータプログラム |
| WO2022259750A1 (ja) * | 2021-06-08 | 2022-12-15 | 株式会社アドイン研究所 | 森林用の情報処理装置、情報処理システム、及び、情報処理方法 |
| KR20230126115A (ko) * | 2022-02-22 | 2023-08-29 | 국민대학교산학협력단 | 점자블록 검출 기반 시각장애인 경로 안내 장치 및 이의 구동 방법 |
| JP7429049B2 (ja) | 2021-04-23 | 2024-02-07 | 株式会社コンピュータサイエンス研究所 | 歩行者位置特定システム及び歩行者位置特定ソフトウェア |
| WO2024028945A1 (ja) * | 2022-08-01 | 2024-02-08 | 日本電気株式会社 | 道路管理システム、道路管理方法及び非一時的なコンピュータ可読媒体 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08252279A (ja) * | 1995-03-17 | 1996-10-01 | Hitachi Ltd | 対象物を音で提示する経路誘導方法 |
| JP2001202590A (ja) * | 2000-01-21 | 2001-07-27 | Sanyo Electric Co Ltd | 視覚障害者用誘導装置 |
| JP2003148991A (ja) * | 2001-11-14 | 2003-05-21 | Natl Inst For Land & Infrastructure Management Mlit | 歩行者注意喚起システム及びその方法 |
| JP2005275500A (ja) * | 2004-03-23 | 2005-10-06 | Zenrin Co Ltd | 消失点決定方法 |
| JP2008111792A (ja) * | 2006-10-31 | 2008-05-15 | Oki Electric Ind Co Ltd | 案内文生成システム、案内文生成方法及び案内文生成プログラム |
| JP2014137752A (ja) * | 2013-01-17 | 2014-07-28 | Jb Craft:Kk | 視覚障害者用の歩行誘導システム、視覚障害者用の歩行誘導方法、サーバ及び該サーバで実行することが可能なコンピュータプログラム |
| JP2015057700A (ja) * | 2013-09-12 | 2015-03-26 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド | ユーザにナビゲーション支援を提供するための方法及びシステム |
-
2018
- 2018-08-10 JP JP2018151756A patent/JP7029170B2/ja active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08252279A (ja) * | 1995-03-17 | 1996-10-01 | Hitachi Ltd | 対象物を音で提示する経路誘導方法 |
| JP2001202590A (ja) * | 2000-01-21 | 2001-07-27 | Sanyo Electric Co Ltd | 視覚障害者用誘導装置 |
| JP2003148991A (ja) * | 2001-11-14 | 2003-05-21 | Natl Inst For Land & Infrastructure Management Mlit | 歩行者注意喚起システム及びその方法 |
| JP2005275500A (ja) * | 2004-03-23 | 2005-10-06 | Zenrin Co Ltd | 消失点決定方法 |
| JP2008111792A (ja) * | 2006-10-31 | 2008-05-15 | Oki Electric Ind Co Ltd | 案内文生成システム、案内文生成方法及び案内文生成プログラム |
| JP2014137752A (ja) * | 2013-01-17 | 2014-07-28 | Jb Craft:Kk | 視覚障害者用の歩行誘導システム、視覚障害者用の歩行誘導方法、サーバ及び該サーバで実行することが可能なコンピュータプログラム |
| JP2015057700A (ja) * | 2013-09-12 | 2015-03-26 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド | ユーザにナビゲーション支援を提供するための方法及びシステム |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210015226A (ko) * | 2019-08-01 | 2021-02-10 | 주식회사 다비오 | 객체 인식 기반 실내 측위를 위한 단말장치, 서비스 서버 및 그 방법 |
| KR102277503B1 (ko) * | 2019-08-01 | 2021-07-15 | 주식회사 다비오 | 객체 인식 기반 실내 측위를 위한 단말장치, 서비스 서버 및 그 방법 |
| US11281225B2 (en) * | 2019-08-08 | 2022-03-22 | Lg Electronics Inc. | Driving method of robot |
| CN110988944A (zh) * | 2019-11-21 | 2020-04-10 | 西安微城信息科技有限公司 | 一种基于卫星导航的导盲方法及其系统 |
| CN110988944B (zh) * | 2019-11-21 | 2024-02-27 | 桑德科技(重庆)有限公司 | 一种基于卫星导航的导盲方法及其系统 |
| WO2022097765A1 (ko) * | 2020-11-04 | 2022-05-12 | 주식회사 다비오 | 객체 인식 기반 실내 측위를 위한 단말장치, 서비스 서버 및 그 방법 |
| JP7429049B2 (ja) | 2021-04-23 | 2024-02-07 | 株式会社コンピュータサイエンス研究所 | 歩行者位置特定システム及び歩行者位置特定ソフトウェア |
| JP7270808B2 (ja) | 2021-04-28 | 2023-05-10 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 車両の駐車違反の識別方法、装置、電子機器、記憶媒体及びコンピュータプログラム |
| JP2022093481A (ja) * | 2021-04-28 | 2022-06-23 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 車両の駐車違反の識別方法、装置、電子機器、記憶媒体及びコンピュータプログラム |
| WO2022259750A1 (ja) * | 2021-06-08 | 2022-12-15 | 株式会社アドイン研究所 | 森林用の情報処理装置、情報処理システム、及び、情報処理方法 |
| KR20230126115A (ko) * | 2022-02-22 | 2023-08-29 | 국민대학교산학협력단 | 점자블록 검출 기반 시각장애인 경로 안내 장치 및 이의 구동 방법 |
| KR102644647B1 (ko) * | 2022-02-22 | 2024-03-07 | 국민대학교산학협력단 | 점자블록 검출 기반 시각장애인 경로 안내 장치 및 이의 구동 방법 |
| WO2024028945A1 (ja) * | 2022-08-01 | 2024-02-08 | 日本電気株式会社 | 道路管理システム、道路管理方法及び非一時的なコンピュータ可読媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7029170B2 (ja) | 2022-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2019046464A (ja) | 歩道進行支援システム及び歩道進行支援ソフトウェア | |
| JP2020508440A (ja) | パーソナルナビゲーションシステム | |
| CN110857857A (zh) | 用于视觉障碍者的导航辅助 | |
| KR101845754B1 (ko) | 시각장애인용 독립보행 안내장치 | |
| US11378413B1 (en) | Augmented navigational control for autonomous vehicles | |
| KR101744282B1 (ko) | 보행 안전용 사각지대 투영 안내시스템 | |
| CN205094948U (zh) | 智能视觉导盲手杖 | |
| JP2006251596A (ja) | 視覚障害者支援装置 | |
| CN112870033A (zh) | 用于非结构化道路的智能导盲头盔系统及导航方法 | |
| KR102192916B1 (ko) | 이미지 분석에 기반한 장애인용 내비게이션 서비스 제공 시스템 및 방법 | |
| WO2022041869A1 (zh) | 路况提示方法、装置、电子设备、存储介质及程序产品 | |
| Yusro et al. | SEES: Concept and design of a smart environment explorer stick | |
| CN105030491A (zh) | 一种导盲方法及导盲系统 | |
| CN105078717A (zh) | 一种智能导盲方法及设备 | |
| Söveny et al. | Blind guide-A virtual eye for guiding indoor and outdoor movement | |
| Somyat et al. | NavTU: android navigation app for Thai people with visual impairments | |
| Mancini et al. | Point to point navigation for people with mobility impairments | |
| JP6838597B2 (ja) | イメージ分析に基づく障害者用ナビゲーションサービス提供システム及び方法 | |
| Montanha et al. | A context-aware artificial intelligence-based system to support street crossings for pedestrians with visual impairments | |
| Montanha et al. | A technological innovation to safely aid in the spatial orientation of blind people in a complex urban environment | |
| Sövény et al. | Blind guide: A virtual eye for guiding indoor and outdoor movement | |
| KR20230101118A (ko) | 노면 이상 구간 판단 및 교통약자 전용 지도 생성을 통한 길 안내 서비스 제공 시스템 | |
| Park et al. | Implementation of Multi-Object Recognition System for the Blind. | |
| Wang et al. | Active Guide System for The Blind Based on The Internet of Things and Collaborative Perception | |
| KR102633699B1 (ko) | Cctv 및 스마트폰을 연계한 교통 약자 음성 길 안내 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180810 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220121 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220210 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7029170 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |