JP2022094782A - 歩行支援システム - Google Patents

Abstract

【課題】１台の画像取得手段で信号機および横断歩道の最も手前側にある白線を認識することを可能にしながらも、信号機の認識精度を十分に得ることを可能にし、歩行者に対する横断開始通知を適切に行うことができる歩行支援システムを提供する。【解決手段】カメラ２０によって取得された画像中における、信号機を含む画像領域を判別し、この判別された信号機を含む画像領域を抽出すると共に、その抽出した画像領域の拡大処理を行うことによって、信号機の状態が赤信号および青信号の何れであるかを判断すると共に、信号機の状態が赤信号から青信号に切り替わったことを条件として歩行者に向けて横断の開始通知を行う。これにより、１台のカメラ２０からの画像情報であっても、信号機の認識精度を十分に高めることができる。その結果、システムの構成の複雑化やシステムの重量増大を招くことなく横断開始通知を適切に行うことができる。【選択図】図３

Description

本発明は歩行支援システムに係る。特に、本発明は、歩行者に対して横断歩道の横断開始通知を行うシステムの改良に関する。

視覚障碍者等の歩行者が安全に横断歩道を横断できるように、当該歩行者に対して横断歩道の横断開始通知を行うシステム（歩行支援システム）として、特許文献１に開示されているものが知られている。この特許文献１には、視覚を用いずに行動する者（視覚障碍者）が歩く方向を決定する方向決定部と、決定した方向へ視覚障碍者が歩くためのガイド情報を生成するガイド情報生成部とを備え、視覚障碍者が携帯するカメラからの画像と、予め記憶されている参照画像とのマッチングによって視覚障碍者の歩行方向を決定し、音声等によって視覚障碍者に対して歩行方向を案内することが開示されている。

再公表特許ＷＯ２０１８／０２５５３１号公報

ところで、実際に歩行者（視覚障碍者等）が横断歩道に接近する状況において、歩行者が停止すべき位置は横断歩道の手前である。また、歩行者が横断歩道を横断するタイミングは信号機（例えば歩行者用信号機）が青信号となっているタイミングである。このため、歩行者に対して横断開始通知（横断歩道の手前での歩行の停止通知、および、その後の横断開始通知）を適切に行うためには、横断歩道の位置（例えば横断歩道において最も手前側にある白線の位置）、および、信号機の状態（青信号であるか赤信号であるか）をカメラ等の画像取得手段からの情報によって正確に認識しておくことが必須である。

そして、歩行者が横断歩道の手前まで達した状況では、歩行者の足元付近（足元から少し前方の位置）に、横断歩道において最も手前側にある白線が位置している。この白線の位置は、歩行者に比較的近い位置で且つ歩行者から見て下側（斜め下側）の位置であり、歩行者が携帯するカメラ（歩行者の歩行方向の前方を撮影するカメラ）からも比較的近い位置で且つ下側の位置である。一方、歩行者が横断歩道の手前まで達して停止した状況では、認識すべき信号機は横断先の地点に設置された信号機（横断歩道を渡った位置に設置された信号機）である。この信号機の位置は、歩行者から比較的遠い位置であり、歩行者が携帯するカメラからも比較的遠い位置である。

このため、歩行者が携帯する１台のカメラによって横断歩道の白線（最も手前側にある白線）および信号機の両方を撮影しようとすると、広角のカメラが必要になる。しかし、この広角のカメラで撮影した画像にあっては、画像全体に対する信号機の占有領域が小さいので、この画像の情報から信号機の状態を判断することが難しく、信号機の認識精度が十分に得られる保証がない。

歩行者が携帯するカメラを狭角のカメラとし、このカメラによって信号機を撮影するようにすれば、画像全体に対する信号機の占有領域が大きくなって、信号機の認識精度を十分に高めることができる。しかし、この狭角のカメラでは、信号機と横断歩道の白線（最も手前側にある白線）とを共に撮影するといったことができない。このため、信号機を撮影するカメラとは別に白線を撮影するためのカメラが必要になってしまい、システムの構成の複雑化や、システムの重量増大に起因して歩行者の負担が大きくなってしまうといった課題を招くことになる。

本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、１台の画像取得手段で横断歩道の最も手前側にある白線および信号機を認識することを可能にしながらも、信号機の認識精度を十分に得ることを可能にし、歩行者に対する横断開始通知を適切に行うことができる歩行支援システムを提供することにある。

前記の目的を達成するための本発明の解決手段は、歩行者が横断歩道を横断するに当たって、当該歩行者に対し、少なくとも当該横断の開始通知（横断開始通知）を行う歩行支援システムを前提とする。そして、この歩行支援システムは、画像取得手段、判別部、画像処理部、信号機判断部、切り替わり認識部、通知手段を備えている。画像取得手段は、前記歩行者が横断歩道に達した際における、当該横断歩道の白線のうち前記歩行者に最も近い位置にある白線、および、前記歩行者の前方に位置する信号機の両方を含む画像を取得可能である。判別部は、前記画像取得手段によって取得された画像中における、前記横断歩道を含む画像領域と前記信号機を含む画像領域とを判別する。画像処理部は、前記判別部で判別された信号機を含む画像領域を抽出すると共に、その抽出した画像領域の拡大処理を行う。信号機判断部は、前記画像処理部によって拡大処理された前記信号機を含む画像領域の情報から前記信号機の状態が、停止指示状態および横断許可状態の何れであるかを判断する。切り替わり認識部は、前記信号機判断部によって判断された信号機の状態が、前記停止指示状態から前記横断許可状態に切り替わったことを認識する。通知手段は、前記切り替わり認識部において認識された前記信号機の状態が前記停止指示状態から前記横断許可状態に切り替わったことを条件として前記歩行者に向けて横断の開始通知を行う。

この特定事項により、歩行者が横断歩道の手前で停止している状況において、画像取得手段は、横断歩道の白線のうち歩行者に最も近い位置にある白線、および、歩行者の前方に位置する信号機の両方を含む画像を取得する。この画像の情報は判別部に送信され、該判別部は、この画像中における、横断歩道を含む画像領域と信号機を含む画像領域とを判別する。そして、画像処理部は、この判別された信号機を含む画像領域を抽出すると共に、その抽出した画像領域の拡大処理を行う。この抽出および拡大処理によって、画像全体に対する信号機の占有領域が大きくなるので、この画像の情報から信号機の状態を判断することが容易になり、信号機の認識精度が十分に高められる。

そして、信号機判断部は、この抽出および拡大処理された信号機を含む画像領域の情報から信号機の状態が、停止指示状態および横断許可状態の何れであるかを判断する。切り替わり認識部は、信号機の状態が、停止指示状態から横断許可状態に切り替わったことを認識すると、通知手段に向けてその認識信号を送信する。通知手段では、この信号を受けて歩行者に向けて横断の開始通知を行う。つまり、信号機の状態が停止指示状態から横断許可状態に切り替わったことを条件として歩行者に向けて横断の開始通知が行われることになる。このため、歩行者が横断歩道を横断するに当たって、信号機の状態が横断許可状態となっている時間を十分に確保することができる。

そして、本解決手段では、画像取得手段（１台の画像取得手段）によって横断歩道の白線のうち歩行者に最も近い位置にある白線、および、歩行者の前方に位置する信号機の両方を含む画像を取得可能としながらも、画像処理部による、信号機を含む画像領域の抽出および拡大処理によって、信号機の認識精度を十分に高めることができる。このため、システムの構成の複雑化やシステムの重量増大を招くことなく、歩行者に対して横断開始通知を適切に行うことができる。

また、前記判別部で判別された前記横断歩道を含む画像領域における当該横断歩道の白線を認識する白線認識部を備え、前記通知手段は、前記白線認識部で認識された前記白線のうち前記横断歩道において最も手前の白線の位置が歩行者から所定距離を存した位置に達したことを条件として前記歩行者に向けて歩行の停止通知を行う。

これにより、歩行者が横断歩道の手前の所定位置に達したタイミングで歩行の停止通知を行うことができ、横断歩道の手前で歩行者を確実に停止させることができる。

また、前記白線認識部は、前記画像取得手段によって取得された画像中における前記白線の幅寸法が所定寸法を超えている場合に、当該白線を、前記歩行者が横断すべき横断歩道の白線であると認識する構成となっている。

これによれば、道路の交差点等において横断方向が互いに異なる複数の横断歩道が存在している場合であっても、歩行者が横断すべき横断歩道（画像取得手段によって取得された画像中における白線が、歩行者が横断すべき方向に対して交差する方向に延びていることで、当該白線の幅寸法が比較的広く認識されている横断歩道）とその他の横断歩道（画像取得手段によって取得された画像中における白線の幅寸法が比較的狭く認識されている横断歩道）とを明確に判別することができ、歩行者に向けての横断の開始通知を高い精度で正確に行うことが可能になる。

また、歩行状態にある前記歩行者に前記横断歩道の手前で当該歩行の停止通知を行う条件の成立の有無を判定するための第１の状態遷移関数、前記横断歩道の手前で停止状態にある前記歩行者に前記横断歩道の横断の開始通知を行う条件の成立の有無を判定するための第２の状態遷移関数、前記横断歩道の横断状態にある前記歩行者に前記横断歩道からの逸脱の警告を行う条件の成立の有無を判定するための第３の状態遷移関数、前記横断歩道の横断状態にある前記歩行者に前記横断歩道の横断が完了したことの通知を行う条件の成立の有無を判定するための第４の状態遷移関数、を記憶した記憶部を備えており、前記通知手段は、前記各状態遷移関数による前記条件の成立に伴って、その条件の成立に応じた通知を前記歩行者に向けて行う構成となっている。

つまり、第１の状態遷移関数によって、歩行の停止通知を行う条件が成立したと判定された場合には、通知手段は、歩行状態にある歩行者に対して当該歩行の停止通知を行う。また、第２の状態遷移関数によって、横断歩道の横断の開始通知を行う条件が成立したと判定された場合には、通知手段は、横断歩道の手前で停止状態にある歩行者に対して横断歩道の横断の開始通知を行う。また、第３の状態遷移関数によって、横断歩道からの逸脱の警告を行う条件が成立したと判定された場合には、通知手段は、横断歩道の横断状態にある歩行者に対して横断歩道からの逸脱の警告を行う。また、第４の状態遷移関数によって、横断歩道の横断が完了したことの通知を行う条件が成立したと判定された場合には、通知手段は、横断歩道の横断状態にある歩行者に対して横断歩道の横断が完了したことの通知を行う。これらの動作により、歩行者に対して横断歩道を横断するに当たっての各通知を適切に行うことができる。

また、前記通知手段は、視覚障碍者が使用する白杖に内蔵されており、振動または音声によって、前記白杖を使用している前記視覚障碍者に向けて通知を行う構成となっている。

これにより、白杖を持ちながら歩行する視覚障碍者に対して、横断歩道を横断するに当たっての通知を適切に行うことができる。

また、前記画像取得手段、前記判別部、前記画像処理部、前記信号機判断部、前記切り替わり認識部、および、前記通知手段それぞれを、前記白杖に内蔵させた場合には、白杖のみで歩行支援システムを実現することができ、実用性の高い歩行支援システムを提供することができる。

本発明では、画像取得手段によって取得された画像中における、信号機を含む画像領域を判別し、この判別された信号機を含む画像領域を抽出すると共に、その抽出した画像領域の拡大処理を行うことによって、信号機の状態が停止指示状態および横断許可状態の何れであるかを判断すると共に、信号機の状態が停止指示状態から横断許可状態に切り替わったことを条件として歩行者に向けて横断の開始通知を行うようにしている。このため、１台の画像取得手段からの画像情報であっても、信号機の認識精度を十分に高めることができる。その結果、システムの構成の複雑化やシステムの重量増大を招くことなく、歩行者に対して横断開始通知を適切に行うことができる。

実施形態に係る歩行支援システムを内蔵した白杖を示す図である。 白杖のグリップ部の内部を示す概略図である。 歩行支援システムの制御系の概略構成を示すブロック図である。 視覚障碍者が横断歩道に向かう歩行状態にある際に、カメラで撮影された画像の一例を示す図である。 視覚障碍者が横断歩道に達したタイミングにおいてカメラで撮影された画像の一例を示す図である。 視覚障碍者が横断歩道の横断状態にある際に、カメラで撮影された画像の一例を示す図である。 横断歩道の横断状態にある視覚障碍者が横断歩道の右側に逸脱する方向に向かって歩行している際に、カメラで撮影された画像の一例を示す図である。 横断歩道の横断状態にある視覚障碍者が横断歩道の左側に逸脱する方向に向かって歩行している際に、カメラで撮影された画像の一例を示す図である。 信号機を含む画像領域の抽出動作を説明するための図である。 抽出および拡大処理された画像の一例を示す図である。 認識された横断歩道および信号機の画像を示す図である。 認識された横断歩道の白線のBoundary Boxにおける各部の寸法を説明するための図である。 歩行支援システムによる歩行支援動作の手順を示すフローチャート図である。

以下、本発明の実施の形態を図面に基づいて説明する。本実施形態では、本発明に係る歩行支援システムを、視覚障碍者が使用する白杖に内蔵した場合について説明する。尚、本発明における歩行者としては視覚障碍者に限定されるものではない。

－白杖の概略構成－
図１は、本実施形態に係る歩行支援システム１０を内蔵した白杖１を示す図である。この図１に示すように、白杖１は、シャフト部２、グリップ部３、チップ部（石突き）４を備えている。

シャフト部２は、中空の略円形断面を有するロッド状であって、アルミニウム合金やガラス繊維強化樹脂、炭素繊維強化樹脂等で形成されている。

グリップ部３は、シャフト部２の基端部（上端部）にゴム等の弾性体で成るカバー３１が装着されて構成されている。また、本実施形態における白杖１のグリップ部３は、視覚障碍者（歩行者）が把持する際の持ち易さと滑り難さを考慮し、先端側（図１における上側）に向かって僅かに湾曲した形状となっている。

チップ部４は、硬質の合成樹脂などで形成された略有底筒状の部材であって、シャフト部２の先端部に外挿されて接着やねじ止めなどの手段で固定されている。尚、チップ部４は、安全のために、先端側の端面が半球状となっている。

本実施形態に係る白杖１は、折り畳み不能な直杖であるが、シャフト部２の中間の一箇所または複数箇所で折り畳み可能或いは伸縮可能とされたものであってもよい。

－歩行支援システムの構成－
本実施形態の特徴は、前記白杖１に内蔵された歩行支援システム１０にある。以下、この歩行支援システム１０について説明する。

図２は、白杖１のグリップ部３の内部を示す概略図である。この図２に示すように、本実施形態に係る歩行支援システム１０は、白杖１に内蔵されている。また、図３は、歩行支援システム１０の制御系の概略構成を示すブロック図である。

これらの図に示すように、歩行支援システム１０は、カメラ（画像取得手段）２０、近距離無線通信機４０、振動発生機（通知手段）５０、バッテリ６０、充電ソケット７０、制御装置８０等を備えている。

カメラ２０は、グリップ部３の根元部における当該グリップ部３の前面（視覚障碍者の進行方向に向く面）に埋め込まれ、視覚障碍者の進行方向前側を撮影する。このカメラ２０は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で成る。また、カメラ２０の構成や配設位置は前述したものには限定されず、例えば、シャフト部２の前面（視覚障碍者の進行方向に向く面）に埋め込まれたものであってもよい。

このカメラ２０の特徴としては、歩行する視覚障碍者の進行方向の前方の画像であって、当該視覚障碍者が横断歩道に達した際における、当該横断歩道の白線のうち視覚障碍者に最も近い位置にある白線、および、視覚障碍者の前方に位置する信号機（例えば歩行者用信号機）の両方を含む画像を取得可能な広角のカメラとして構成されている。つまり、視覚障碍者が横断歩道の手前まで達した時点で、視覚障碍者の足元付近（足元から少し前方の位置）に存在する横断歩道における最も手前側にある白線と、横断先の地点に設置された信号機との両方を撮影可能な構成となっている。このカメラ２０において必要とされる視野角度は、前述したように視覚障碍者に最も近い位置にある白線（横断歩道の白線）および信号機の両方を含む画像を取得可能なものとして適宜設定される。

近距離無線通信機４０は、前記カメラ２０と制御装置８０との間で近距離無線通信を行うための無線通信装置である。例えば、周知のBluetooth（登録商標）等の通信手段によって、カメラ２０と制御装置８０との間で近距離無線通信を行い、カメラ２０が撮影した画像の情報を制御装置８０に向けて無線送信する構成となっている。

振動発生機５０は、グリップ部３の根元部における前記カメラ２０の上側に配設されている。この振動発生機５０は、内蔵されたモータの作動に伴って振動し、その振動をグリップ部３に伝達することによって、当該グリップ部３を把持している視覚障碍者に向けて種々の通知が行えるようになっている。この振動発生機５０の振動による視覚障碍者に向けての通知の具体例については後述する。

バッテリ６０は、前記カメラ２０、近距離無線通信機４０、振動発生機５０、制御装置８０のための電力を蓄電する二次電池で構成されている。

充電ソケット７０は、バッテリ６０に電力を蓄える際に充電ケーブルが接続される部分である。例えば、視覚障碍者が在宅中に家庭用電源からバッテリ６０を充電する際に充電ケーブルが接続される。

制御装置８０は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサ、制御プログラムを記憶するＲＯＭ（Read-Only Memory）、データを一時的に記憶するＲＡＭ（Random-Access Memory）、および、入出力ポート等を備えている。

そして、この制御装置８０は、その機能部として、情報受信部８１、判別部８２、画像処理部８３、信号機判断部８４、切り替わり認識部８５、白線認識部８６、情報送信部８７を備えている。以下、これら各部の機能の概略について説明する。尚、各部における処理動作の詳細については後述する。

情報受信部８１は、前記カメラ２０が撮影した画像の情報を、当該カメラ２０から近距離無線通信機４０を介して所定時間間隔をもって受信する。

判別部８２は、情報受信部８１が受信した画像の情報（カメラ２０によって撮影された画像の情報）における当該画像中における、横断歩道を含む画像領域と信号機を含む画像領域とを判別する。

画像処理部８３は、前記判別部８２で判別された信号機を含む画像領域を抽出すると共に、その抽出した画像領域の拡大処理を行う。

信号機判断部８４は、前記画像処理部８３によって拡大処理された信号機を含む画像領域の情報から信号機の状態が、赤信号（停止指示状態）および青信号（横断許可状態）の何れであるかを判断する。

切り替わり認識部８５は、前記信号機判断部８４によって判断された信号機の状態が、赤信号から青信号に切り替わったことを認識する。この信号の切り替わりを認識した際、この切り替わり認識部８５は、切り替わり信号を情報送信部８７に送信する。この切り替わり信号は、情報送信部８７から振動発生機５０に送信される。振動発生機５０は、この切り替わり信号を受けたことに連動して、所定のパターンで振動し、視覚障碍者に、信号機が赤信号から青信号に切り替わったことに起因して横断歩道の横断を許可する通知（横断開始通知）を行うことになる。

白線認識部８６は、前記判別部８２で判別された横断歩道を含む画像領域における当該横断歩道の白線を認識する。

－歩行支援動作－
次に、前述の如く構成された歩行支援システム１０による歩行支援動作について説明する。先ず、本実施形態の概要について説明する。

（本実施形態の概要）
ここでは、視覚障碍者の歩行中における時間をｔ∈[０，Ｔ]と表し、当該視覚障碍者の状態を表す変数（状態変数）をｓ∈Ｒ^Tとする。また、時刻ｔのときの状態変数はｓ_t∈[０，１，２]の整数で表現され、それぞれ、歩行状態（ｓ_t＝０）、停止状態（ｓ_t＝１）、横断状態（ｓ_t＝２）を表すものとする。ここでいう歩行状態とは、例えば歩行者が交差点（信号機および横断歩道のある交差点）に向かって歩行している状態が想定される。また、停止状態とは、視覚障碍者が横断歩道の手前に達し、信号待ちによって（赤信号から青信号に切り替わるのを待って）停止している状態（歩行していない状態）が想定される。また、横断状態とは、視覚障碍者が横断歩道を横断している状態が想定される。

本実施形態は、時刻ｔでカメラ２０によって撮影された画像Ｘ_t∈Ｒ^w0×^h0（ｗ₀，ｈ₀はそれぞれ画像の縦と横の画像サイズを表す）が入力された際に、視覚障碍者の歩行を支援することを目的とした出力ｙ∈Ｒ^Tを求めるアルゴリズムを提案するものとなっている。ここで、視覚障碍者の歩行を支援する出力としては、ｙ_t∈[１，２，３，４]の整数で表現され、それぞれ、停止指示（ｙ_t＝１）、歩行指示（ｙ_t＝２）、右逸脱警告（ｙ_t＝３）、左逸脱警告（ｙ_t＝４）を表すものとする。以下の説明では停止指示を停止通知という場合もある。また、歩行指示を歩行通知または横断通知という場合もある。これらの指示（通知）および警告は、振動発生機５０の振動のパターンによって視覚障碍者に対して行われる。視覚障碍者は、予め、指示および警告と、振動発生機５０の振動のパターンとの関係を把握しており、振動発生機５０の振動のパターンをグリップ部３から感じ取ることで指示および警告の種類を把握することになる。

また、後述するように、視覚障碍者の状態を表す変数ｓの遷移を判定する関数（以下、状態遷移関数という）ｆ₀，ｆ₁，ｆ₂と、横断歩道からの逸脱（左右方向への逸脱）を判断する状態遷移関数ｆ₃が存在しており、これら状態遷移関数ｆ₀～ｆ₃が前記ＲＯＭ（本発明でいう記憶部）に記憶されている。これら状態遷移関数ｆ₀～ｆ₃の具体例については後述する。

（出力変数ｙおよび状態遷移関数ｆ_iの概要）
前述した視覚障碍者の歩行を支援する出力ｙ_t∈[１，２，３，４]について説明する。

前述したように出力ｙ_tとしては、視覚障碍者の歩行支援を目的として、停止指示（ｙ_t＝１）、歩行指示（ｙ_t＝２）、右逸脱警告（ｙ_t＝３）、左逸脱警告（ｙ_t＝４）の４種類の出力が存在する。

停止指示（ｙ_t＝１）は、歩行する視覚障碍者が横断歩道の手前まで達した時点で当該視覚障碍者に歩行を停止する旨の通知を行うものである。例えば、カメラ２０で撮影された画像が、図４（視覚障碍者が横断歩道ＣＷに向かう歩行状態にある際に、カメラ２０で撮影された画像の一例を示す図）に示す状態であれば、横断歩道ＣＷまでの距離が比較的長いため、停止指示（ｙ_t＝１）は行わず、視覚障碍者は歩行状態（ｓ_t＝０）が継続され、カメラ２０で撮影された画像が、図５（視覚障碍者が横断歩道ＣＷに達したタイミングにおいてカメラ２０で撮影された画像の一例を示す図）に示す状態となった場合には、視覚障碍者が横断歩道ＣＷの手前に達したタイミングであることから、停止指示（ｙ_t＝１）を出力して、当該視覚障碍者に歩行を停止する旨の通知を行うことになる。この停止指示（ｙ_t＝１）を行う条件が成立しているか否かの判定（状態遷移関数の算出結果に基づく判定）については後述する。

歩行指示（ｙ_t＝２）は、信号機ＴＬが赤信号から青信号に切り替わったことで、視覚障碍者に歩行（横断歩道ＣＷの横断）を指示する旨の通知を行うものである。例えば、横断歩道ＣＷの手前で視覚障碍者が停止状態（ｓ_t＝１）にある状況で、カメラ２０で撮影された画像に基づいて信号機ＴＬが赤信号から青信号に切り替わった場合に、歩行指示（ｙ_t＝２）を出力して、当該視覚障碍者に横断歩道ＣＷの横断を開始する旨の通知を行う。この歩行指示（ｙ_t＝２）を行う条件が成立しているか否かの判定（状態遷移関数の算出結果に基づく判定）についても後述する。

そして、本実施形態では、この歩行指示（ｙ_t＝２）を行うタイミングとして、信号機ＴＬの状態が赤信号から青信号に切り替わったタイミングとしている。つまり、仮に、視覚障碍者が横断歩道ＣＷに達した時点で既に信号機ＴＬが青信号となっていたとしても歩行指示（ｙ_t＝２）は行わず、信号機ＴＬが一旦赤信号となり、その後に青信号に切り替わったタイミングで歩行指示（ｙ_t＝２）を行うようにしている。これによって、視覚障碍者が横断歩道ＣＷを横断するに当たって、信号機ＴＬが青信号となっている時間を十分に確保することができるようにし、視覚障碍者が横断歩道ＣＷを横断している途中で信号機ＴＬが青信号から赤信号に切り替わってしまうといった状況を招き難くしている。

右逸脱警告（ｙ_t＝３）は、横断歩道ＣＷを横断している視覚障碍者が横断歩道ＣＷから右側に逸脱する方向に向かって歩行している際に、当該視覚障碍者に対して横断歩道ＣＷから右側に逸脱する虞があることの警告を行うものである。例えば、カメラ２０で撮影された画像が図６（視覚障碍者が横断歩道ＣＷの横断状態にある際に、カメラ２０で撮影された画像の一例を示す図）に示す状態にあって、視覚障碍者が横断歩道ＣＷの横断状態（ｓ_t＝２）にある状況で、カメラ２０で撮影された画像が、図７（横断歩道ＣＷの横断状態にある視覚障碍者が横断歩道ＣＷの右側に逸脱する方向に向かって歩行している際に、カメラ２０で撮影された画像の一例を示す図）に示す状態となった場合には、視覚障碍者が横断歩道ＣＷから右側に逸脱する方向に向かって歩行していることから、右逸脱警告（ｙ_t＝３）を出力して、当該視覚障碍者に警告を行うことになる。

左逸脱警告（ｙ_t＝４）は、横断歩道ＣＷを横断している視覚障碍者が横断歩道ＣＷから左側に逸脱する方向に向かって歩行している際に、当該視覚障碍者に対して横断歩道ＣＷから左側に逸脱する虞があることの警告を行うものである。例えば、カメラ２０で撮影された画像が図６に示す状態にあって、視覚障碍者が横断歩道ＣＷの横断状態（ｓ_t＝２）にある状況で、カメラ２０で撮影された画像が、図８（横断歩道ＣＷの横断状態にある視覚障碍者が横断歩道ＣＷの左側に逸脱する方向に向かって歩行している際に、カメラ２０で撮影された画像の一例を示す図）に示す状態となった場合には、視覚障碍者が横断歩道ＣＷから左側に逸脱する方向に向かって歩行していることから、左逸脱警告（ｙ_t＝４）を出力して、当該視覚障碍者に警告を行うことになる。

これら右逸脱警告（ｙ_t＝３）および左逸脱警告（ｙ_t＝４）を行う条件が成立しているか否かの判定（状態遷移関数の算出結果に基づく判定）についても後述する。

（信号機を含む画像領域の抽出および拡大処理）
前述したように本実施形態では、歩行指示（ｙ_t＝２）を行うタイミングとして、信号機ＴＬの状態が赤信号から青信号に切り替わったタイミングとしている。また、カメラ２０を広角のものとして、視覚障碍者が横断歩道ＣＷの手前まで達した時点で、視覚障碍者の足元付近に存在する横断歩道ＣＷにおける最も手前側にある白線ＷＬ１（図４および図５を参照）と、横断先の地点に設置された信号機ＴＬとの両方を撮影可能としている。このような広角のカメラ２０で撮影した画像にあっては、画像全体に対する信号機ＴＬの占有領域が小さいので、この画像の情報から信号機ＴＬの状態を判断することが難しく、信号機ＴＬの認識精度が十分に得られる保証がない。

このため、本実施形態では、カメラ２０によって撮影された画像中における、横断歩道ＣＷを含む画像領域を判別し（前記判別部８２による判別動作）、信号機ＴＬを含む画像領域を抽出すると共に、その抽出した画像領域の拡大処理（前記画像処理部８３による処理）を行うようにしている。以下、この処理の概要について説明する。

横断歩道ＣＷの手前で視覚障碍者が停止状態（ｓ_t＝１）にある状況では、カメラ２０で撮影された画像は例えば図５に示すものとして取得されることになる。そして、この取得された画像に対し、前記抽出する（切り抜きを行う）領域としては、図９に示すように、当該画像の左下を原点とし、横軸の長さ（座標点）ｗ₁，ｗ₂、縦軸の長さ（座標点）ｈ₁，ｈ₂よって指定される。つまり、これらを指定することで、図９において信号機ＴＬを含む画像領域である破線で囲まれた領域Ａが抽出されることになる。以下、各長さについて具体的に説明する。

ｗ₁，ｗ₂，ｈ₁，は、それぞれ抽出される領域（トリミングされる画像）Ａの左辺、右辺、底辺の位置を表す座標を特定するものである。これらは、深層学習モデルによって検出された横断歩道のBoundary Box（図９において一点鎖線で囲んだ四角）のうち、最も上側に位置しているBoundary Box（最も遠い位置にある白線ＷＬ７を囲むBoundary Box）の左辺、右辺、上辺の座標を用いて定義される。

そして、前記トリミングされる画像（領域Ａ）の上辺ｈ₂は、カメラ２０で撮影された画像における横断歩道ＣＷの占有率に応じて定義されるものであって、横断歩道ＣＷの占有率が大きいほど上辺ｈ₂の値も大きく設定される。つまり、横断歩道ＣＷの占有率が大きい場合、画像内における信号機ＴＬの高さ位置は上方であることが想定されるため、上辺ｈ₂の値を大きく設定して、トリミングされる画像の上辺ｈ₂を高い位置に設定する。具体的には、この上辺ｈ₂は、ｈ₁に乗ずる係数α∈[１，ｈ₀／ｈ₁]を用いて、ｈ₂＝α・ｈ₁として定義される。これにより、図９において破線で囲まれた領域Ａが抽出されることになり、この領域Ａが拡大処理されることで図１０に示す画像（信号機ＴＬの占有領域が大きくされた画像）が得られることになる。これにより、信号機ＴＬの状態を容易に判断することが可能になり、信号機ＴＬの認識精度を十分に高めることが可能になる。

（歩行支援で用いる特徴量）
次に、視覚障碍者に対する歩行支援で用いる特徴量について説明する。視覚障碍者に対して、横断歩道ＣＷの手前での歩行の停止通知、および、その後の横断開始通知等の各種通知を適切に行うためには、横断歩道ＣＷの位置（横断歩道ＣＷにおいて最も手前側にある白線ＷＬ１の位置）、および、信号機ＴＬの状態（青信号であるか赤信号であるか）をカメラ２０からの情報によって正確に認識しておくことが必須である。つまり、白線ＷＬ１の位置および信号機ＴＬの状態を反映させたモデル式を構築しておき、このモデル式に従って、現在、視覚障碍者が置かれている状況を把握できるようにしておく必要がある。

図１１および図１２は、視覚障碍者に対する歩行支援で用いる特徴量[ｗ₃，ｗ₄，ｗ₅，ｈ₃，ｒ，ｂ]^T∈Ｒ⁶の概要を示している。ｒ，ｂは、それぞれ信号機ＴＬの状態（赤信号および青信号）の検出結果（０：未検出、１：検出）を表している。この信号機ＴＬの状態の検出に際し、前述したように図９において破線で囲まれた領域Ａが抽出されると共に、この領域Ａが拡大処理されることで図１０に示す画像（信号機ＴＬの占有領域が大きくされた画像）による信号機ＴＬの状態の認識が行われることになる。また、ｗ₃，ｗ₄，ｗ₅，ｈ₃は、前記白線認識部８６によって認識された横断歩道ＣＷの白線ＷＬ１～ＷＬ７のうち、最も手前に位置する白線ＷＬ１に対するBoundary Boxを用いて図１２に示すように定義される。つまり、ｗ₃は画像の左端からBoundary Boxの左端（白線ＷＬ１の左端に相当）までの距離であり、ｗ₄はBoundary Boxの幅寸法（白線ＷＬ１の幅寸法に相当）であり、ｗ₅は画像の右端からBoundary Boxの右端（白線ＷＬ１の右端に相当）までの距離であり、ｈ₃は画像の下端からBoundary Boxの下端（白線ＷＬ１の手前側の端縁に相当）までの距離である。

深層学習を用いて横断歩道ＣＷおよび信号機ＴＬを検出する関数をｇとした場合、時刻ｔでカメラ２０によって撮影された画像Ｘ_t∈Ｒ^w0×^h0を用いて予測された横断歩道ＣＷおよび信号機ＴＬのBoundary Boxをｇ（Ｘｔ）と表現すると、視覚障碍者の歩行を支援するために必要な特徴量としては、以下の式（１）として表現できる。

ここで、

は前記特徴量ｊ（ｔ）を抽出する演算子であり、前記ｇ（Ｘｔ）に対する後処理を行うためのものであり、ｐ１は１フレーム当たりのBoundary Boxの最大数である。

（状態遷移関数）
次に、状態遷移関数について説明する。この状態遷移関数は、前述したように、停止指示（ｙ_t＝１）、歩行指示（ｙ_t＝２）、右逸脱警告（ｙ_t＝３）、左逸脱警告（ｙ_t＝４）それぞれの通知を行う条件が成立しているか否かを判定するために用いられるものである。

時刻ｔ＋１での状態量（状態変数）ｓ_t+1は、横断歩道ＣＷの特徴量に対する時刻履歴情報Ｊ＝｛ｊ（０），ｊ（１），…ｊ（ｔ）｝と、現在の状態量（状態変数）ｓ_t、および、時刻ｔ＋１で撮影された画像Ｘ_t+1を用いて以下の式（３）のように表すことができる。

この式（３）における状態遷移関数ｆは、現在時刻の状態量に応じて以下の式（４）のように定義することができる。

つまり、視覚障碍者の歩行の推移としては、歩行（例えば横断歩道ＣＷに向かう歩行）→停止（例えば横断歩道ＣＷの手前での停止）→横断（例えば横断歩道ＣＷの横断）→歩行（例えば横断歩道ＣＷの横断完了後の歩行）を繰り返すことになるが、歩行状態（ｓ_t＝０）にある視覚障碍者に対して停止指示（ｙ_t＝１）を行う条件の成立の有無を判定するための状態遷移関数がｆ₀（Ｊ，Ｘ_t+1）であり、停止状態（ｓ_t＝１）にある視覚障碍者に対して横断（歩行）指示（ｙ_t＝２）を行う条件の成立の有無を判定するための状態遷移関数がｆ₁（Ｊ，Ｘ_t+1）であり、横断状態（ｓ_t＝２）にある視覚障碍者に対して歩行（横断の完了）の通知を行う条件の成立の有無を判定するための状態遷移関数がｆ₂（Ｊ，Ｘ_t+1）である。また、後述する式（１２）で示すように、横断状態（ｓ_t＝２）にある視覚障碍者に対して横断歩道ＣＷからの逸脱の警告を行う条件の成立の有無を判定するための状態遷移関数がｆ₃（Ｊ，Ｘ_t+1）である。

以下、各状態量（状態変数）それぞれに応じた状態遷移関数について具体的に説明する。

（歩行状態で適用される状態遷移関数）
現在時刻の状態量が歩行状態（ｓ_t＝０）である場合に使用される状態遷移関数ｆ₀（ｊ，Ｘ_t+1）は、前記式（１）の特徴量を用いて以下の式（５）～（７）とすることができる。

ここで、ＨはHeaviside関数であり、δはDelta関数である。また、α₁，α₂は判定基準に用いられるパラメータであり、ｔ０は利用する過去の状態を指定するパラメータである。また、Ｉ₂＝｛０，１，０，０，０，０｝^T、Ｉ₄＝｛０，０，０，１，０，０｝^Tである。この式（５）が本発明でいう第１の状態遷移関数（歩行状態にある歩行者に横断歩道の手前で当該歩行の停止通知を行う条件の成立の有無を判定するための第１の状態遷移関数）となっている。

式（５）を用いれば、α₁＞ｈ₃、且つ、ｗ₄＞α₂の条件が過去ｔ０時間では成立しておらず、時刻ｔ＋１で初めて成立した場合にのみ「１」が得られ、それ以外の場合には「０」が得られることになる。つまり、α₁＞ｈ₃が成立したことで、視覚障碍者の足元に、横断歩道ＣＷにおける最も手前に位置する白線ＷＬ１（白線のBoundary Boxの下端）が位置し、ｗ₄＞α₂が成立したことで、その白線ＷＬ１は視覚障碍者の進行方向に直交する方向に延在する（白線のBoundary Boxの幅寸法が所定寸法を超えている）ものであることが判定された場合に「１」が得られるものとなっている。

このようにして式（５）において「１」が得られた場合には、停止指示（ｙ_t＝１）を行う条件が成立したとして、歩行状態にある視覚障碍者に停止指示（例えば横断歩道ＣＷの手前での歩行の停止指示；停止通知）を行うことになる。

また、本実施形態では、横断歩道ＣＷが視覚障碍者の足元にある条件を（α₁＞ｈ₃）だけでなく、検出された横断歩道ＣＷの幅の制約（ｗ₄＞α₂）を加えていることで、視覚障碍者の進行方向にある横断歩道ＣＷ以外の横断歩道（交差点において、視覚障碍者の進行方向に直交する方向の横断歩道等）が、画像Ｘ_t+1に含まれる場合の誤検知を防止している。つまり、道路の交差点等において横断方向が互いに異なる複数の横断歩道が存在している場合であっても、視覚障碍者が横断すべき横断歩道ＣＷ（白線ＷＬ１が、視覚障碍者が横断すべき方向に対して交差する方向に延びていることで、当該白線ＷＬ１の幅寸法が比較的広く認識されている横断歩道ＣＷ）とその他の横断歩道（白線の幅寸法が比較的狭く認識されている横断歩道）とを明確に判別することができ、視覚障碍者に向けての横断の開始通知を高い精度で正確に行うことが可能になっている。

（停止状態で適用される状態遷移関数）
前時刻の状態量が停止状態（ｓ_t＝１）である場合に使用される状態遷移関数ｆ₁（ｊ，Ｘ_t+1）は、以下の式（８）～（１０）とすることができる。

ここでＸ’_t+1は、前述したＸ_t+1から画像のトリミングと拡大処理とを行って得られたものである。つまり、信号機ＴＬの認識精度が十分に高められた画像Ｘ’_t+1となっている。また、Ｉ₅＝｛０，０，０，０，１，０｝^T、Ｉ₆＝｛０，０，０，０，０，１｝^Tである。この式（８）が本発明でいう第２の状態遷移関数（横断歩道の手前で停止状態にある歩行者に横断歩道の横断の開始通知を行う条件の成立の有無を判定するための第２の状態遷移関数）となっている。

式（８）では、過去ｔ０時間に赤信号を検知した後で、時刻ｔ＋１で初めて青信号を検知した場合にのみ「１」が得られ、それ以外の場合には「０」が得られることになる。

このようにして式（８）において「１」が得られた場合には、歩行（横断）指示（ｙ_t＝２）を行う条件が成立したとして、停止状態にある視覚障碍者に横断指示（例えば横断歩道の横断指示；横断通知）を行うことになる。

また、信号機がない交差点の横断歩道では前述のロジックでの状態遷移ができない場合がある。この課題を解決するために、新たなパラメータｔ１＞ｔ０を導入し、時間ｔ１の間、停止状態からの状態遷移がないと判断された場合に、歩行状態に遷移するようにしてもよい。

（横断状態で適用される状態遷移関数）
前時刻の状態量が横断状態（ｓ_t＝２）である場合に使用される状態遷移関数ｆ₂（ｊ，Ｘ_t+1）は、以下の式（１１）とすることができる。

この式（１１）が本発明でいう第４の状態遷移関数（横断歩道の横断状態にある歩行者に横断歩道の横断が完了したことの通知を行う条件の成立の有無を判定するための第４の状態遷移関数）となっている。

式（１１）では、過去ｔ－ｔ０から、現在時刻ｔ＋１の間に一度も信号機および足元の横断歩道ＣＷが検出できなかった場合にのみ「１」が得られ、それ以外の場合には「０」が得られることになる。つまり、横断歩道ＣＷを渡りきったことで信号機ＴＬおよび足元の横断歩道ＣＷが検出できなかった場合にのみ「１」が得られることになる。

このようにして式（１１）において「１」が得られた場合には、横断完了の通知を行う条件が成立したとして、歩行状態にある視覚障碍者に横断完了（横断歩道の横断の完了）の通知を行うことになる。

（横断歩道からの逸脱を判定する状態遷移関数）
視覚障碍者の横断歩道ＣＷの横断中に、横断歩道ＣＷからの逸脱を判定する状態遷移関数ｆ₃（ｊ，Ｘ_t+1）は、以下の式（１２）～（１４）とすることができる。

ここで、α₃は判定基準に用いられるパラメータである。また、Ｉ₁＝｛１，０，０，０，０，０｝^T、Ｉ₃＝｛０，０，１，０，０，０｝^Tである。この式（１２）が本発明でいう第３の状態遷移関数（横断歩道の横断状態にある歩行者に横断歩道からの逸脱の警告を行う条件の成立の有無を判定するための第３の状態遷移関数）となっている。

式（１２）では、検出された横断歩道ＣＷの位置がフレームの中心からのズレ量が許容量以上であれば「１」が得られ、それ以外では「０」が得られることになる。つまり、ｗ₃の値が所定値よりも大きくなった場合（左逸脱の場合）や、ｗ₅の値が所定値よりも大きくなった場合（右逸脱の場合）に「１」が得られることになる。

このようにして式（１２）において「１」が得られた場合には、右逸脱警告（ｙ_t＝３）または左逸脱警告（ｙ_t＝４）を行うことになる。

（歩行支援動作）
次に、歩行支援システム１０による歩行支援動作の流れについて説明する。

図１３は、前述した歩行支援動作の一連の流れを示すフローチャートである。このフローチャートは、視覚障碍者が路上（歩道上）を歩行している状況において、所定時刻ｔから所定時刻ｔ＋１までの間で１回のルーチンが実施されるように所定時間間隔を存して繰り返して実施される。以下の説明では各状態遷移関数における変数（Ｊ，Ｘ_t+1）の記載を省略する。

先ず、ステップＳＴ１において視覚障碍者が歩行状態にある状況で、ステップＳＴ２において、前記白線認識部８６によって認識された、横断歩道ＣＷを含む画像領域における当該横断歩道ＣＷの白線ＷＬ１の位置（より具体的には、最も手前に位置する白線ＷＬ１のBoundary Boxの位置）に基づき、前述した停止指示（ｙ_t＝１）を行う条件の成立の有無を判定するための状態遷移関数ｆ₀（前記式５）において「１」が得られたか否かを判定する。

この状態遷移関数ｆ₀において「０」が得られている場合には、停止指示（ｙ_t＝１）を行う条件が成立していない、つまり、視覚障碍者は未だ横断歩道ＣＷの手前に達していないとしてＮＯ判定され、ステップＳＴ１に戻る。視覚障碍者が横断歩道ＣＷの手前に達するまで、ステップＳＴ２ではＮＯ判定されるため、ステップＳＴ１，ＳＴ２の動作を繰り返すことになる。

視覚障碍者が横断歩道ＣＷの手前に達し、状態遷移関数ｆ₀において「１」が得られた場合には、ステップＳＴ２でＹＥＳ判定され、ステップＳＴ３に移る。このステップＳＴ３では、視覚障碍者に対して停止指示（ｙ_t＝１）を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、停止指示（停止通知）を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は、振動発生機５０の振動のパターンを感じ取ることで停止指示されたことを認識し、歩行を停止することになる。

ステップＳＴ４において視覚障碍者が停止状態にある状況で、ステップＳＴ５において、前述した歩行指示（ｙ_t＝２）を行う条件の成立の有無を判定するための状態遷移関数ｆ₁（前記式８）において「１」が得られたか否かを判定する。この状態遷移関数ｆ₁による判定動作に際しては、前述した図９で示したように、破線で囲まれた領域Ａが抽出され、この領域Ａが拡大処理されることで、図１０に示す画像が得られ、これによって、信号機ＴＬの状態を容易に判断することが可能になる。この動作が、画像処理部（信号機を含む画像領域を抽出すると共に、その抽出した画像領域の拡大処理を行う画像処理部）８３、および、信号機判断部（拡大処理された信号機を含む画像領域の情報から信号機の状態が、停止指示状態および横断許可状態の何れであるかを判断する信号機判断部）８４の動作に相当する。

この状態遷移関数ｆ₁において「０」が得られている場合には、歩行指示（ｙ_t＝２）を行う条件が成立していない、つまり、信号機ＴＬは未だ青信号に切り替わっていないとしてＮＯ判定され、ステップＳＴ４に戻る。信号機ＴＬが青信号に切り替わるまで、ステップＳＴ５ではＮＯ判定されるため、ステップＳＴ４，ＳＴ５の動作を繰り返すことになる。

信号機ＴＬが青信号に切り替わり、状態遷移関数ｆ₁において「１」が得られた場合には、ステップＳＴ５でＹＥＳ判定され、ステップＳＴ６に移る。この動作が、信号機判断部（拡大処理された信号機を含む画像領域の情報から信号機の状態が、停止指示状態および横断許可状態の何れであるかを判断する信号機判断部）８４の動作、および、切り替わり認識部（信号機の状態が、停止指示状態から横断許可状態に切り替わったことを認識する切り替わり認識部）８５の動作に相当する。

ステップＳＴ６では、視覚障碍者に対して歩行指示（ｙ_t＝２）を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、歩行指示（横断開始通知）を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は歩行指示されたことを認識し、横断歩道ＣＷの横断を開始することになる。

ステップＳＴ７において視覚障碍者が横断歩道ＣＷの横断状態にある状況で、ステップＳＴ８において、横断歩道ＣＷからの逸脱の警告を行う条件の成立の有無を判定するための状態遷移関数ｆ₃（前記式１２）において「１」が得られたか否かを判定する。

状態遷移関数ｆ₃において「１」が得られ、ステップＳＴ８でＹＥＳ判定された場合、ステップＳＴ９において、その横断歩道ＣＷからの逸脱の方向が右方向（右逸脱）であるか否かを判定する。そして、横断歩道ＣＷからの逸脱の方向が右方向であり、ステップＳＴ９でＹＥＳ判定された場合にはステップＳＴ１０に移り、視覚障碍者に対して右逸脱警告（ｙ_t＝３）を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、右逸脱警告を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は右逸脱警告されたことを認識し、歩行方向を左方向に向けて変更することになる。

一方、横断歩道ＣＷからの逸脱の方向が左方向であり、ステップＳＴ９でＮＯ判定された場合にはステップＳＴ１１に移り、視覚障碍者に対して左逸脱警告（ｙ_t＝４）を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、左逸脱警告を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は左逸脱警告されたことを認識し、歩行方向を右方向に向けて変更することになる。このようにして逸脱警告を行った後、ステップＳＴ１４に移る。

横断歩道ＣＷからの逸脱がなく、状態遷移関数ｆ₃において「０」が得られている場合には、ステップＳＴ８でＮＯ判定され、ステップＳＴ１２に移る。このステップＳＴ１２では、現在、ステップＳＴ１０またはステップＳＴ１１における逸脱警告の発生中であるか否かを判定する。逸脱警告の発生中でなく、ステップＳＴ１２でＮＯ判定された場合には、ステップＳＴ１４に移る。一方、逸脱警告の発生中であり、ステップＳＴ１２でＹＥＳ判定された場合には、ステップＳＴ１３に移り、逸脱警告を解除してステップＳＴ１４に移る。

ステップＳＴ１４では、横断完了の通知を行う条件の成立の有無を判定するための状態遷移関数ｆ₂（前記式１１）において「１」が得られたか否かを判定する。

この状態遷移関数ｆ₂において「０」が得られている場合には、横断完了の通知を行う条件が成立していない、つまり、視覚障碍者は横断歩道ＣＷの横断中であるとしてＮＯ判定され、ステップＳＴ７に戻る。横断歩道ＣＷの横断が完了するまで、ステップＳＴ１４ではＮＯ判定されるため、ステップＳＴ７～ＳＴ１４の動作を繰り返すことになる。

つまり、視覚障碍者の横断中に横断歩道ＣＷからの逸脱が発生する場合には前述した逸脱警告が行われ、この逸脱が解消された場合には、逸脱警告が解除されるといった動作を、横断歩道ＣＷの横断が完了するまで行われる。

視覚障碍者が横断歩道ＣＷの横断を完了し、状態遷移関数ｆ₂において「１」が得られた場合には、ステップＳＴ１４でＹＥＳ判定され、ステップＳＴ１５に移り、視覚障碍者に対して横断完了の通知を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、横断完了を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は横断完了の通知が行われたことを認識し、通常の歩行状態に戻ることになる。

このようにして、視覚障碍者が横断歩道ＣＷを横断する度に前述した動作が繰り返されることになる。

－実施形態の効果－
以上説明したように、本実施形態では、カメラ２０によって撮影された画像中における、信号機ＴＬを含む画像領域を判別し、この判別された信号機ＴＬを含む画像領域を抽出すると共に、その抽出した画像領域の拡大処理を行うことによって、信号機ＴＬの状態が赤信号（停止指示状態）および青信号（横断許可状態）の何れであるかを判断すると共に、信号機ＴＬの状態が赤信号から青信号に切り替わったことを条件として視覚障碍者に向けて横断の開始通知を行うようにしている。このため、１台のカメラ２０からの画像情報であっても、信号機ＴＬの認識精度を十分に高めることができる。その結果、システムの構成の複雑化やシステムの重量増大を招くことなく、視覚障碍者に対して横断開始通知を適切に行うことができる。

また、本実施形態では、信号機ＴＬの状態が赤信号から青信号に切り替わったことを条件として視覚障碍者に向けて横断の開始通知を行うようにしている。このため、視覚障碍者が横断歩道ＣＷを横断するに当たって、信号機ＴＬの状態が青信号となっている時間を十分に確保することができる。

また、本実施形態では、歩行支援システム１０の構成要素を白杖１に内蔵させることにより、白杖１のみで歩行支援システム１０を実現しているため、実用性の高い歩行支援システム１０を提供することができる。

－他の実施形態－
尚、本発明は、前記実施形態に限定されるものではなく、特許請求の範囲および該範囲と均等の範囲で包含される全ての変形や応用が可能である。

例えば、前記実施形態では、歩行支援システム１０を、視覚障碍者が使用する白杖１に内蔵した場合について説明した。本発明はこれに限らず、歩行者が高齢者である場合の杖や手押し車等であってもよい。

また、前記実施形態では、白杖１に充電ソケット７０を備えさせ、家庭用電源からバッテリ（二次電池）６０を充電するようにしていた。本発明はこれに限らず、白杖１の表面に太陽光発電シートを貼り付けておき、当該太陽光発電シートで発電した電力によってバッテリ６０を充電するようにしてもよい。また、二次電池に代えて一次電池を使用するようになっていてもよい。また、白杖１に振り子式発電機を内蔵し、該振り子式発電機を利用してバッテリ６０を充電するようにしてもよい。

また、前記実施形態では、振動発生機５０の振動パターンによって通知の種類を分けるようにしていた。本発明はこれに限らず、音声によって通知を行うようにしてもよい。

本発明は、歩行する視覚障碍者に対して横断歩道の横断開始通知を行う歩行支援システムに適用可能である。

１ 白杖
１０ 歩行支援システム
２０ カメラ（画像取得手段）
５０ 振動発生機（通知手段）
８０ 制御装置
８２ 判別部
８３ 画像処理部
８４ 信号機判断部
８５ 切り替わり認識部
８６ 白線認識部

Claims (6)

1. 歩行者が横断歩道を横断するに当たって、当該歩行者に対し、少なくとも当該横断の開始通知を行う歩行支援システムであって、
   前記歩行者が横断歩道に達した際における、当該横断歩道の白線のうち前記歩行者に最も近い位置にある白線、および、前記歩行者の前方に位置する信号機の両方を含む画像を取得可能な画像取得手段と、
   前記画像取得手段によって取得された画像中における、前記横断歩道を含む画像領域と前記信号機を含む画像領域とを判別する判別部と、
   前記判別部で判別された信号機を含む画像領域を抽出すると共に、その抽出した画像領域の拡大処理を行う画像処理部と、
   前記画像処理部によって拡大処理された前記信号機を含む画像領域の情報から前記信号機の状態が、停止指示状態および横断許可状態の何れであるかを判断する信号機判断部と、
   前記信号機判断部によって判断された信号機の状態が、前記停止指示状態から前記横断許可状態に切り替わったことを認識する切り替わり認識部と、
   前記切り替わり認識部において認識された前記信号機の状態が前記停止指示状態から前記横断許可状態に切り替わったことを条件として前記歩行者に向けて横断の開始通知を行う通知手段と、
   を備えていることを特徴とする歩行支援システム。
2. 請求項１記載の歩行支援システムにおいて、
   前記判別部で判別された前記横断歩道を含む画像領域における当該横断歩道の白線を認識する白線認識部を備え、
   前記通知手段は、前記白線認識部で認識された前記白線のうち前記横断歩道において最も手前の白線の位置が歩行者から所定距離を存した位置に達したことを条件として前記歩行者に向けて歩行の停止通知を行うことを特徴とする歩行支援システム。
3. 請求項２記載の歩行支援システムにおいて、
   前記白線認識部は、前記画像取得手段によって取得された画像中における前記白線の幅寸法が所定寸法を超えている場合に、当該白線を、前記歩行者が横断すべき横断歩道の白線であると認識する構成となっていることを特徴とする歩行支援システム。
4. 請求項１、２または３記載の歩行支援システムにおいて、
   歩行状態にある前記歩行者に前記横断歩道の手前で当該歩行の停止通知を行う条件の成立の有無を判定するための第１の状態遷移関数、
   前記横断歩道の手前で停止状態にある前記歩行者に前記横断歩道の横断の開始通知を行う条件の成立の有無を判定するための第２の状態遷移関数、
   前記横断歩道の横断状態にある前記歩行者に前記横断歩道からの逸脱の警告を行う条件の成立の有無を判定するための第３の状態遷移関数、
   前記横断歩道の横断状態にある前記歩行者に前記横断歩道の横断が完了したことの通知を行う条件の成立の有無を判定するための第４の状態遷移関数、
   を記憶した記憶部を備えており、
   前記通知手段は、前記各状態遷移関数による前記条件の成立に伴って、その条件の成立に応じた通知を前記歩行者に向けて行う構成となっていることを特徴とする歩行支援システム。
5. 請求項１～４のうち何れか一つに記載の歩行支援システムにおいて、
   前記通知手段は、視覚障碍者が使用する白杖に内蔵されており、振動または音声によって、前記白杖を使用している前記視覚障碍者に向けて通知を行う構成となっていることを特徴とする歩行支援システム。
6. 請求項５記載の歩行支援システムにおいて、
   前記画像取得手段、前記判別部、前記画像処理部、前記信号機判断部、前記切り替わり認識部、および、前記通知手段それぞれは、前記白杖に内蔵されていることを特徴とする歩行支援システム。

Images