JP2022183703A - 歩行支援装置 - Google Patents

Abstract

【課題】歩行者に対して適切な歩行支援を行うことができる歩行支援装置を提供する。【解決手段】路面基準のグローバル座標系、白杖１に内蔵されたＩＭＵ９０を基準とする杖座標系、白杖１に内蔵されたカメラ２０を基準とするカメラ座標系を設定し、グローバル座標系のｚ軸とカメラ座標系のζj軸との関係から、視覚障碍者が白杖１を振ることに起因するカメラ２０の最大傾き角度を求めて、カメラ２０から取得された画像の回転処理を行う。カメラ２０の最大傾き角度と水平方向での白杖１の振り幅との関係から、左右方向での白杖１の振り幅の差異を求めて、視覚障碍者が白杖１を右手および左手の何れで把持しているかを推定する。その推定結果により、横断歩道からの逸脱の判定を行うための判定値を変更し、その変更された判定値を用いて逸脱判定を行う。これにより、視覚障碍者が白杖１を持っている手に応じた適切な歩行支援を行うことが可能になる。【選択図】図１２

Description

本発明は歩行支援装置に係る。特に、本発明は、視覚障碍者等の歩行者に対して適切な歩行支援を行うための対策に関する。

視覚障碍者等の歩行者が安全に歩行（例えば安全に横断歩道を横断）できるように、当該歩行者に対して各種の通知（例えば横断歩道を横断している際の当該横断歩道からの逸脱を回避するために、歩行方向の変更を促す通知等）を行う歩行支援装置として、特許文献１に開示されているものが知られている。この特許文献１には、視覚を用いずに行動する者（視覚障碍者）が歩く方向を決定する方向決定部と、決定した方向へ視覚障碍者が歩くためのガイド情報を生成するガイド情報生成部とを備え、視覚障碍者が携帯するカメラからの画像と、予め記憶されている参照画像とのマッチングによって視覚障碍者の歩行方向を決定し、音声等によって視覚障碍者に対して歩行方向を案内することが開示されている。

ところで、歩行者（視覚障碍者等）が例えば横断歩道を横断している状況において、横断歩道からの逸脱を回避するべく歩行方向の変更を促す通知を適切に行うためには、横断歩道の横断中に当該横断歩道の位置（歩行者に対する横断歩道の相対的な位置）をカメラ等の画像取得手段からの情報によって正確に認識しておくことが必要である。特許文献１に開示されている歩行支援装置では、カメラによって横断歩道などの被写体を撮影し、その結果から得られる画像と、予め記憶されたリファレンス画像とのマッチング処理を行うことにより、横断歩道を認識すると共に、横断方向を渡る際の正しい方向を視覚障碍者にガイドする。また、視覚障碍者が横断歩道を横断している際の基準方向からのずれ量を算出し、算出したずれ量に基づいてガイド情報を生成し、視覚障碍者に通知する。これにより、視覚障碍者が横断歩道から逸脱することを抑制している。

再公表特許ＷＯ２０１８／０２５５３１号公報

しかしながら、カメラ等の画像取得手段によって取得された歩行者の前方の画像としては、画像取得手段の撮影光軸の方向が歩行者の歩行方向に常に一致した状態のものとして得られている保証はない。以下、具体的に説明する。

本発明の発明者らは、一般に視覚障碍者は白杖を持って歩行することに鑑み、白杖に画像取得手段（カメラ）を内蔵させ、当該画像取得手段によって前方の画像を撮影しながら視覚障碍者に対して歩行支援のための通知（横断歩道からの逸脱を回避するべく歩行方向の変更を促す通知等）を行うことを既に提案しているが、視覚障碍者による白杖の把持状態は刻々と変化することが想定される。一例として、一般に視覚障碍者は白杖を左右に振って前方の路面状態を確認しながら歩行する。つまり、白杖を左右に振ることで、当該白杖に内蔵された画像取得手段の撮影光軸が左右に振られることになる。このため、視覚障碍者の歩行方向に対して画像取得手段の撮影光軸の方向が大きく変化することになり、前記通知を適切に行うために必要な横断歩道の正確な位置（視覚障碍者に対する横断歩道の相対的な位置）を、この取得された画像（画像取得手段の撮影光軸が左右に振られながら撮影された画像）から認識することは困難である。

本発明の発明者らは、視覚障碍者に対して適切な歩行支援を行うためには、視覚障碍者による白杖の把持状態を考慮しながら、画像取得手段によって取得される前方の画像に基づく歩行支援のための情報を生成する必要があることについて考察した。

尚、歩行者（視覚障碍者）が安全に歩行できるようにするために正確な認識が要求される対象としては横断歩道に限られるものではなく、歩道上の障害物（例えば駐輪している自転車等）や縁石等も想定される。また、歩行者の歩行方向に対して画像取得手段の撮影光軸の方向が大きく変化する状況としては、白杖を把持した視覚障碍者が歩行する状況に限られるものではなく、高齢者が使用する杖に画像取得手段を内蔵させた場合に当該高齢者が杖を突きながら歩行する（杖の突き位置によっては画像取得手段の撮影光軸が左右に振られることがある）状況等も想定される。また、視覚障碍者による白杖の把持状態が刻々と変化する要因は当該白杖を左右に振りながら歩行することに限定されず、視覚障碍者の姿勢変化等も要因となる。

本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、歩行者に対して適切な歩行支援を行うことができる歩行支援装置を提供することにある。

前記の目的を達成するための本発明の解決手段は、歩行者に把持され、当該歩行者の歩行方向前方の状況に応じて歩行を支援するための通知を前記歩行者に対して行う歩行支援装置を前提とする。そして、この歩行支援装置は、前記把持されている場合における前記歩行者の把持状態を推定する把持状態推定部と、前記把持状態推定部により推定された把持状態の推定結果に基づいて、前記歩行者に対する歩行支援のための情報を生成する歩行支援情報生成部とを備えていることを特徴とする。

この特定事項により、把持状態推定部により推定された把持状態（歩行者による歩行支援装置の把持状態）の推定結果に基づいて、歩行支援情報生成部は、歩行者に対する歩行支援のための情報を生成する。そして、この生成された歩行支援のための情報に従って、歩行者の歩行を支援するための通知を歩行者に対して行う。このように歩行者による歩行支援装置の把持状態に応じた歩行支援のための情報を生成することにより、この把持状態に応じた適切な歩行支援を行うことが可能になる。

また、歩行支援装置が、視覚障碍者が把持する白杖である場合に、前記把持状態推定部は、前記把持状態として前記視覚障碍者が前記白杖を把持している手が右手であるか左手であるかを推定可能となっており、前記歩行支援情報生成部は、前記視覚障碍者が前記白杖を右手で把持している場合と左手で把持している場合とで、歩行支援のための前記通知を行うか否かを判断するための判定値を異なるものとした上で前記視覚障碍者に対する歩行支援のための情報を生成するようになっている。

一般に視覚障碍者は白杖を左右に振って前方の路面状態を確認しながら歩行する。この場合、白杖を右手で把持している場合と左手で把持している場合とでは、白杖の左右方向の振り幅が異なる可能性が高い。例えば、白杖を右手で把持している場合には、左側の振り幅よりも右側の振り幅の方が大きくなる傾向がある。逆に、白杖を左手で把持している場合には、右側の振り幅よりも左側の振り幅の方が大きくなる傾向がある。このため、視覚障碍者が白杖を把持している手に関わらず歩行支援のための通知を行うか否かを判断するための判定値をそのまま使用して前記判断を行ってしまうと適切な歩行支援が行えない可能性がある。このため、本解決手段では、視覚障碍者が白杖を右手で把持している場合と左手で把持している場合とで、前記判定値を異なるものとした（右手で把持している場合には右側の振り幅の方が大きくなることを考慮した判定値とし、左手で把持している場合には左側の振り幅の方が大きくなることを考慮した判定値とした）上で視覚障碍者に対する歩行支援のための情報を生成するようにしている。これにより、視覚障碍者に対する適切な歩行支援を行うことが可能になる。

また、前記視覚障碍者の歩行方向前方の画像を取得可能な画像取得手段、および、３軸加速度と３軸角速度とを取得可能な慣性計測装置が内蔵されており、路面基準のグローバル座標系、前記画像取得手段の位置を原点とする画像取得手段座標系、前記慣性計測装置の位置を原点とする杖座標系がそれぞれ設定されており、前記把持状態推定部は、前記各座標系の情報に基づいて、前記白杖の左右の振り角度が零の位置を推定すると共に、当該位置から前記白杖の左右の振り角度に基づいて、前記視覚障碍者が前記白杖を把持している手を推定する構成となっている。

前述したように視覚障碍者は白杖を左右に振りながら歩行する。このため、慣性計測装置によって３軸加速度および３軸角速度を取得することで、グローバル座標系と杖座標系との関係を求めることができ、画像取得手段および慣性計測装置は白杖に内蔵されており、相互の位置関係が特定できることから、グローバル座標系と画像取得手段座標系との関係も求めることができる。そして、白杖の左右の振り角度は、その振り角度に応じた画像取得手段の傾き（鉛直方向に対する傾き）が生じた場合のグローバル座標系と画像取得手段座標系とが成す角度に相関があるため、この角度に基づいて白杖の左右の振り角度も求めることができる。前述したように白杖を右手で把持している場合には、左側の振り幅よりも右側の振り幅の方が大きくなる傾向があり、逆に、白杖を左手で把持している場合には、右側の振り幅よりも左側の振り幅の方が大きくなる傾向があることから、これら振り幅を比較することにより、視覚障碍者が白杖を把持している手が右手であるか左手であるかを推定することが可能である。

白杖を把持している手を推定する手段として具体的には、前記把持状態推定部が、前記画像取得手段座標系における前記画像取得手段の鉛直方向に対する傾きを求め、この鉛直方向との角度差を水平方向の角度差に変換し、左右の振り角度によって、前記視覚障碍者が前記白杖を把持している手を推定する構成となっている。

このような角度変換によって左右の振り角度を求めて視覚障碍者が白杖を把持している手を推定するようにしていることにより、推定の信頼性を高めることができる。

また、白杖を把持している手を推定するその他の手段として、前記歩行者が横断歩道を横断する場合における左右方向の逸脱の警告を行うようにしたものにあっては、前記視覚障碍者の歩行方向前方の画像を取得可能な画像取得手段を備えさせ、前記把持状態推定部が、前記画像取得手段によって取得された画像における前記横断歩道の画像内占有率に基づいて、前記視覚障碍者が前記白杖を把持している手を推定する構成が挙げられる。

この構成によれば、画像取得手段からの情報のみから視覚障碍者が白杖を把持している手を推定できるため、白杖の構成の簡素化を図ることができる。

また、前記把持状態推定部が、前記画像取得手段座標系における前記画像取得手段の傾き角度によって、前記視覚障碍者が前記白杖を把持している手を推定する構成とすることも可能である。

この構成によれば、画像取得手段座標系の情報のみから視覚障碍者が白杖を把持している手を推定できるため、情報処理系の処理負担の軽減を図ることができる。

また、歩行者が把持している手を推定するその他の手段として、前記歩行者が把持する把持部に作用する圧力分布によって前記歩行者が把持している手を推定する構成や、前記把持部を把持する前記歩行者の手の指紋認証によって前記歩行者が把持している手を推定する構成が挙げられる。

これら構成は白杖を把持している手からの情報を直接取得することで歩行者が把持している手を推定できるものであり、信号処理等の簡素化を図ることができ、情報処理系の処理負担の軽減を図ることができる。

本発明では、歩行支援装置が歩行者に把持されている状態を推定し、この推定された把持状態の推定結果に基づいて、歩行者に対する歩行支援のための情報を生成するようにしている。これにより、歩行者による歩行支援装置の把持状態に応じた適切な歩行支援を行うことが可能になる。

実施形態に係る白杖を示す図である。 白杖のグリップ部の内部を示す概略図である。 歩行支援システムの制御系の概略構成を示すブロック図である。 横断歩道の検出動作を説明するための図である。 視覚障碍者が白杖を振りながら横断歩道を横断している状態を示す平面図である。 図５に示す状態において白杖が左側に振られた際にカメラで撮影された画像の一例を示す図である。 図５に示す状態において白杖が右側に振られた際にカメラで撮影された画像の一例を示す図である。 視覚障碍者が白杖を振りながら横断歩道を横断している状態を示す正面図である。 図８に示す状態において白杖が左側に振られた際にカメラで撮影された画像の一例を示す図である。 図８に示す状態において白杖が右側に振られた際にカメラで撮影された画像の一例を示す図である。 路面基準のグローバル座標系を説明するための視覚障碍者の側面図である。 杖座標系およびカメラ座標系を説明するための白杖の一部を示す側面図である。 杖座標系およびカメラ座標系を説明するための白杖の一部を示す正面図である。 補正前の画像である図６相当図である。 補正後の画像を示す図である。 視覚障碍者が横断歩道に向かう歩行状態にある際における前方画像の一例を示す図である。 視覚障碍者が横断歩道に達した状態における前方画像の一例を示す図である。 視覚障碍者が横断歩道の横断状態にある際における前方画像の一例を示す図である。 横断歩道の横断状態にある視覚障碍者が横断歩道の右側に逸脱する方向に向かって歩行している際の前方画像の一例を示す図である。 横断歩道の横断状態にある視覚障碍者が横断歩道の左側に逸脱する方向に向かって歩行している際の前方画像の一例を示す図である。 認識された横断歩道および信号機の画像を示す図である。 認識された横断歩道の白線のBoundary Boxにおける各部の寸法を説明するための図である。 歩行支援動作の手順を示すフローチャート図である。

以下、本発明の実施の形態を図面に基づいて説明する。本実施形態では、本発明に係る歩行支援装置を、視覚障碍者が使用する白杖として適用した場合について説明する。

－白杖の概略構成－
図１は、歩行支援システム１０を内蔵した白杖（歩行支援装置）１を示す図である。この図１に示すように、白杖１は、シャフト部２、グリップ部（把持部）３、チップ部（石突き）４を備えている。

シャフト部２は、中空の略円形断面を有するロッド状であって、アルミニウム合金やガラス繊維強化樹脂、炭素繊維強化樹脂等で形成されている。

グリップ部３は、シャフト部２の基端部（上端部）に設けられ、ゴム等の弾性体で成るカバー３１が装着されて構成されている。また、本実施形態における白杖１のグリップ部３は、視覚障碍者（歩行者）が把持する際の持ち易さと滑り難さを考慮し、先端側（図１における上側）が僅かに湾曲した形状となっている。

チップ部４は、硬質の合成樹脂などで形成された略有底筒状の部材であって、シャフト部２の先端部に外挿されて接着やねじ止めなどの手段で固定されている。尚、チップ部４は、先端側の端面が半球状となっている。

本実施形態に係る白杖１は、折り畳み不能な直杖であるが、シャフト部２の中間の一箇所または複数箇所で折り畳み可能或いは伸縮可能とされたものであってもよい。

－歩行支援システムの構成－
本実施形態の特徴は、前記白杖１に内蔵された歩行支援システム１０にある。以下、この歩行支援システム１０について説明する。

図２は、白杖１のグリップ部３の内部を示す概略図である。この図２に示すように、歩行支援システム１０は、白杖１のグリップ部３に内蔵されている。また、図３は、歩行支援システム１０の制御系の概略構成を示すブロック図である。

これらの図に示すように、歩行支援システム１０は、複数台（本実施形態にあっては２台）のカメラ（画像取得手段）２０Ａ，２０Ｂ、近距離無線通信機４０、振動発生機（通知手段）５０、バッテリ６０、充電ソケット７０、慣性計測装置（以下、ＩＭＵという）９０、制御装置８０等を備えている。

各カメラ２０Ａ，２０Ｂは、それぞれグリップ部３の根元部における当該グリップ部３の前面（視覚障碍者の進行方向に向く面）に埋め込まれ、視覚障碍者の進行方向前側（歩行方向前方）を撮影する。これらカメラ２０Ａ，２０Ｂは、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で成る。また、カメラ２０Ａ，２０Ｂの構成や配設位置は前述したものには限定されず、例えば、シャフト部２の前面（視覚障碍者の進行方向に向く面）に埋め込まれたものであってもよい。

これらカメラ２０Ａ，２０Ｂの特徴としては、歩行する視覚障碍者の進行方向の前方の画像であって、当該視覚障碍者が横断歩道に達した際における、当該横断歩道の白線のうち視覚障碍者に最も近い位置にある白線、および、視覚障碍者の前方に位置する信号機（例えば歩行者用信号機）の両方を含む画像を取得可能な広角のカメラとして構成されている。つまり、視覚障碍者が横断歩道の手前まで達した時点で、視覚障碍者の足元付近（足元から少し前方の位置）に存在する横断歩道における最も手前側にある白線と、横断先の地点に設置された信号機との両方を撮影可能な構成となっている。これらカメラ２０Ａ，２０Ｂにおいて必要とされる視野角度は、前述したように視覚障碍者に最も近い位置にある白線（横断歩道の白線）および信号機の両方を含む画像を取得（撮影）可能なものとして適宜設定される。

尚、以下では、これら２台のカメラ２０Ａ，２０Ｂを特に区別する必要が無い場合には、１台のカメラを代表して説明し、その符号を２０とすることとする。

近距離無線通信機４０は、前記カメラ２０Ａ，２０ＢおよびＩＭＵ（Inertial Measurement Unit）９０と、制御装置８０との間で近距離無線通信を行うための無線通信装置である。例えば、周知のBluetooth（登録商標）等の通信手段によって、カメラ２０Ａ，２０ＢおよびＩＭＵ９０と制御装置８０との間で近距離無線通信を行い、カメラ２０Ａ，２０Ｂが撮影した画像の情報やＩＭＵ９０が取得した情報（後述する３軸加速度および３軸角速度の各情報）を制御装置８０に向けて無線送信する構成となっている。

振動発生機５０は、グリップ部３の根元部における前記カメラ２０Ａ，２０Ｂの上側に配設されている。この振動発生機５０は、内蔵されたモータの作動に伴って振動し、その振動をグリップ部３に伝達することによって、当該グリップ部３を把持している視覚障碍者に向けて種々の通知が行えるようになっている。この振動発生機５０の振動による視覚障碍者に向けての通知の具体例については後述する。

バッテリ６０は、前記カメラ２０Ａ，２０Ｂ、近距離無線通信機４０、振動発生機５０、制御装置８０、ＩＭＵ９０のための電力を蓄電する二次電池で構成されている。

充電ソケット７０は、バッテリ６０に電力を蓄える際に充電ケーブルが接続される部分である。例えば、視覚障碍者が在宅中に家庭用電源からバッテリ６０を充電する際に充電ケーブルが接続される。

ＩＭＵ９０は、カメラ２０Ｂの下側に配設されている。このＩＭＵ９０は、３軸のジャイロと３方向の加速度計とを備え、これらによって白杖１における当該ＩＭＵ９０の配設位置の３次元の加速度（３軸加速度）と角速度（３軸角速度）とを計測する。尚、このＩＭＵ９０には、信頼性向上のために圧力計やＧＰＳ等のセンサが内蔵される場合もある。

制御装置８０は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサ、制御プログラムを記憶するＲＯＭ（Read-Only Memory）、データを一時的に記憶するＲＡＭ（Random-Access Memory）、および、入出力ポート等を備えている。

そして、この制御装置８０は、前記制御プログラムによって実現される機能部として、情報受信部８１、横断歩道検出部８２、信号機認識部８３、切り替わり認識部８４、把持状態推定部８５、歩行支援情報生成部８６、情報送信部８７を備えている。以下、これら各部の機能の概略について説明する。

（情報受信部）
情報受信部８１は、前記カメラ２０（２０Ａ，２０Ｂ）が撮影した画像の情報を、当該カメラ２０から近距離無線通信機４０を介して所定時間間隔をもって受信する。また、この情報受信部８１は、前記ＩＭＵ９０が計測した３軸加速度および３軸角速度の情報を、当該ＩＭＵ９０から近距離無線通信機４０を介して所定時間間隔をもって受信する。尚、これら画像の情報と、３軸加速度および３軸角速度の情報との受信タイミングは同期していることが好ましい。

（横断歩道検出部）
横断歩道検出部８２は、情報受信部８１が受信した画像の情報（カメラ２０によって撮影された画像の情報）に基づいて（より具体的には受信した画像の情報を、後述する把持状態推定部８５による推定動作に従って補正することにより生成された画像に基づいて）、横断歩道を認識したり、横断歩道における各白線の位置を検出する。

具体的には、図４に示す画像が生成（後述する補正動作によって生成）された場合において、横断歩道ＣＷを構成する複数の白線ＷＬ１～ＷＬ７に対してBoundary Box（図４の一点鎖線を参照）を設定する。例えば周知のマッチング処理によって横断歩道ＣＷの白線ＷＬ１～ＷＬ７を確定し、これら確定された白線ＷＬ１～ＷＬ７に対してBoundary Boxを設定する。また、予めアノテーションされた白線のデータ（ラベルが付けられた白線のデータ；深層学習によって白線を認識するための教師データ）を利用して白線ＷＬ１～ＷＬ７を確定し、これら確定された白線ＷＬ１～ＷＬ７に対してBoundary Boxを設定するようにしてもよい。

そして、横断歩道検出部８２は、これらBoundary Boxのうち最も歩行者寄りのBoundary Boxの下端位置（図４におけるＬＮを参照）を検出する。本実施形態では、各白線ＷＬ１～ＷＬ７に対してBoundary Boxを設定し、画像上において最も下側に位置するBoundary Boxの下端位置ＬＮを検出するようにしているが、Boundary Boxを設定することなく、画像上において確定された複数の白線ＷＬ１～ＷＬ７のうち最も下側に位置する白線ＷＬ１の下端位置を検出するものであってもよい。

尚、前記Boundary Boxは、後述するように、視覚障碍者の停止位置の特定、信号機ＴＬの位置の特定、視覚障碍者が横断歩道ＣＷを横断する際の進行方向の特定、横断歩道ＣＷの横断完了の判断等に利用される。これらの詳細については後述する。

（信号機認識部）
信号機認識部８３は、前述した画像（例えば把持状態推定部８５による推定動作に従って補正することにより生成された画像：図４）の情報から信号機ＴＬの位置の認識および信号機ＴＬの状態の認識（赤信号および青信号の何れであるかの認識）を行う。具体的には、前記画像上における信号機ＴＬの存在領域を推定し、この推定された領域の内部における信号機ＴＬの位置および当該信号機ＴＬの状態それぞれの認識を行う。前記画像上における信号機ＴＬの存在領域を推定するに当たっては、前述の如く認識された白線ＷＬ１～ＷＬ７に設定されたBoundary Boxのうち、最も遠い位置にあるBoundary Boxの画像内座標を特定すると共に、図４に示すように、前記Boundary Box（認識された白線ＷＬ１～ＷＬ７のうち最も遠い位置にある白線ＷＬ７に設定されたBoundary Box）の上辺に接する四角形（幅寸法がｗ_s、高さ寸法がｈ_sの四角形）を規定し、これを信号機ＴＬの領域（信号機ＴＬの存在領域）ＡとしてのＣｒｏｐ範囲を出力する。この際、Ｃｒｏｐ範囲は正方形であってもよいし長方形であってもよい。尚、前記寸法ｗ_s，ｈ_sは任意に設定可能であるが、信号機ＴＬの配設位置が含まれるように経験的にまたは実験的に設定される。また、信号機認識部８３によって行われる信号機の状態の判断（色の検出）は、一般的な物体検出アルゴリズムまたはルールベースアルゴリズムが用いられる。

（切り替わり認識部）
切り替わり認識部８４は、前記信号機認識部８３によって認識された信号機ＴＬの状態が、赤信号から青信号に切り替わったことを認識する。この信号の切り替わりを認識した際、この切り替わり認識部８４は、切り替わり信号を情報送信部８７に送信する。この切り替わり信号は、情報送信部８７から振動発生機５０に送信される。振動発生機５０は、この切り替わり信号を受けたことに連動して、所定のパターンで振動し、視覚障碍者に、信号機ＴＬが赤信号から青信号に切り替わったことに起因して横断歩道の横断を許可する通知（横断開始通知）を行うことになる。

（把持状態推定部）
次に、本実施形態の特徴である把持状態推定部８５について説明する。この把持状態推定部８５は、白杖１が視覚障碍者に把持されている状態を推定する機能部である。本実施形態において、この把持されている状態としては、白杖１が視覚障碍者の左右の何れの手で把持された状態であるかをいう。以下、この把持状態推定部８５における把持状態の推定について説明する。

＜課題の説明＞
前述したように、視覚障碍者は白杖１を左右に振って前方の路面状態を確認しながら歩行する。つまり、白杖１を左右に振ることで、当該白杖１に内蔵されたカメラ２０（２０Ａ，２０Ｂ）の撮影光軸が左右に振られることになる。このため、視覚障碍者の歩行方向に対してカメラ２０の撮影光軸の方向が大きく変化することになり、横断歩道ＣＷの正確な位置（視覚障碍者に対する横断歩道ＣＷの相対的な位置）を、この取得された画像（カメラ２０の撮影光軸が左右に振られながら撮影された画像）から認識することは困難となっている。以下、このような状況について具体的に説明する。

図５は、視覚障碍者Ｈｕが白杖１を振りながら横断歩道ＣＷを横断している状態を示す平面図である。この図５におけるｘ軸は視覚障碍者Ｈｕの歩行方向に沿う軸（視覚障碍者Ｈｕの視線前方の軸：前方向が正）である。また、ｙ軸はｘ軸に直交する左右方向軸（視覚障碍者Ｈｕの左方向が正）であり、ｚ軸はｘ軸およびｙ軸それぞれに直交する鉛直方向軸（上方向が正）である。また、この図５は、視覚障碍者Ｈｕが右手に白杖１を把持して横断歩道ＣＷを横断している状態を示している。また、この図５では、白杖１が視覚障碍者Ｈｕの前側に位置している状態を実線で示し、視覚障碍者Ｈｕが白杖１を左側に振っている状態を一点鎖線で示し、視覚障碍者Ｈｕが白杖１を右側に振っている状態を二点鎖線で示している。

このように視覚障碍者Ｈｕが白杖１を左右に振りながら横断歩道ＣＷを横断している状態にあっては、視覚障碍者Ｈｕが白杖１を左側に振っている状況ではカメラ２０の撮影光軸も左側に振られるため、仮に視覚障碍者Ｈｕが横断歩道ＣＷの幅方向の中央部を歩行していたとしてもカメラ２０によって撮影される画像は横断歩道ＣＷの左側の画像となる（一方のカメラ２０Ｂの撮影画像である図６を参照）。一方、視覚障碍者Ｈｕが白杖１を右側に振っている状況ではカメラ２０の撮影光軸も右側に振られるため、仮に視覚障碍者Ｈｕが横断歩道ＣＷの幅方向の中央部を歩行していたとしてもカメラ２０によって撮影される画像は横断歩道ＣＷの右側の画像となる（一方のカメラ２０Ｂの撮影画像である図７を参照）。そして、ｘ軸に対して視覚障碍者Ｈｕが白杖１を左側に振る際の最大角度（最も大きく振られた状態での角度）をθ_lとし、ｘ軸に対して視覚障碍者Ｈｕが白杖１を右側に振る際の最大角度をθ_rとした場合、視覚障碍者Ｈｕの肩関節および腕の可動範囲の影響から、白杖１を右側に振る際の最大角度θ_rの方が、白杖１を左側に振る際の最大角度θ_lよりも大きくなる傾向がある（θ_l＜θ_r）。図６および図７は、このような状況においてカメラ２０によって撮影された画像を示しており、視覚障碍者Ｈｕが横断歩道ＣＷの幅方向の中央部を歩行していたとしても、視覚障碍者Ｈｕが白杖１を左側に振っている状況でカメラ２０によって撮影された横断歩道ＣＷの幅方向（画像内での横断歩道ＣＷの左側部分の幅方向）の寸法ｗ₁ （図６における幅寸法ｗ₁）に対し、視覚障碍者Ｈｕが白杖１を右側に振っている状況でカメラ２０によって撮影された横断歩道ＣＷの方向（画像内での横断歩道ＣＷの右側部分の幅方向）の寸法ｗ₁（図７における幅寸法ｗ₁）は短くなっている。このため、視覚障碍者Ｈｕが横断歩道ＣＷの幅方向の中央部を歩行していたとしても、画像の幅寸法ｗ0に対する横断歩道ＣＷの幅方向の寸法ｗ1 図５に示すように視覚障碍者Ｈｕが右手に白杖１を把持して横断歩道ＣＷを横断している場合には、視覚障碍者Ｈｕが白杖１を右側に振った場合の方が白杖１を左側に振った場合よりも横断歩道ＣＷの画像内占有率ｒ_wは小さくなっている（図６および図７を参照）。

これに対し、図示しないが、視覚障碍者Ｈｕが左手に白杖１を把持して横断歩道ＣＷを横断している場合には、白杖１を左側に振る際の最大角度θ_lの方が、白杖１を右側に振る際の最大角度θ_rよりも大きくなる傾向があるため（θ_l＞θ_r）、視覚障碍者Ｈｕが横断歩道ＣＷの幅方向の中央部を歩行していたとしても、視覚障碍者Ｈｕが白杖１を左側に振った場合の方が白杖１を右側に振った場合よりも横断歩道ＣＷの画像内占有率ｒ_wは小さくなる。

このように、視覚障碍者Ｈｕが左右の何れの手で白杖１を把持しているかによって、白杖１の左右の振り幅（振り角度）が異なり、その影響によって、横断歩道ＣＷの画像内占有率ｒ_wも変動することになる。

図５～図７を用いた説明では、カメラ２０が傾くことなく（カメラ２０の上下方向が鉛直方向（ｚ軸方向）に一致した状態が維持されて）視覚障碍者Ｈｕが白杖１を左右に振りながら横断歩道ＣＷを横断する場合を想定しているが、実際には、視覚障碍者Ｈｕが白杖１を左右に振った場合、カメラ２０が傾くことになる。つまり、カメラ２０の上下方向が鉛直方向（ｚ軸方向）に対して傾くことになる。具体的には、視覚障碍者Ｈｕが白杖１を左側に振った場合には、カメラ２０の上下方向が鉛直方向に対して右側に傾く（ｘ軸方向の前方を向いた場合の右側に傾く）ことになる。逆に、視覚障碍者Ｈｕが白杖１を右側に振った場合には、カメラ２０の上下方向が鉛直方向に対して左側に傾く（ｘ軸方向の前方を向いた場合の左側に傾く）ことになる。この状況を図８～図１０を用いて説明する。

図８は、視覚障碍者Ｈｕが白杖１を振りながら横断歩道ＣＷを横断している状態を示す正面図である。この図８においてもｘ軸は視覚障碍者Ｈｕの歩行方向に沿う軸（視覚障碍者Ｈｕの視線前方の軸）である。また、ｙ軸はｘ軸に直交する左右方向軸であり、ｚ軸はｘ軸およびｙ軸それぞれに直交する鉛直方向軸である。また、この図８も、視覚障碍者Ｈｕが右手に白杖１を把持して横断歩道ＣＷを横断している状態を示している。また、この図８でも、白杖１が視覚障碍者Ｈｕの前側に位置している状態を実線で示し、視覚障碍者Ｈｕが白杖１を左側（図８における右側）に振っている状態を一点鎖線で示し、視覚障碍者Ｈｕが白杖１を右側（図８における左側）に振っている状態を二点鎖線で示している。

このように視覚障碍者Ｈｕが白杖１を左右に振りながら横断歩道ＣＷを横断している状態にあっては、視覚障碍者Ｈｕが白杖１を左側に振っている状況ではカメラ２０の撮影光軸が左側に振られるだけでなく、カメラ２０の上下方向が鉛直方向に対して右側に傾くことになるため、仮に視覚障碍者Ｈｕが横断歩道ＣＷの幅方向の中央部を歩行していたとしてもカメラ２０によって撮影される画像は横断歩道ＣＷの左側の画像となると共に左側に傾いた画像となる（一方のカメラ２０Ｂの撮影画像である図９を参照）。一方、視覚障碍者Ｈｕが白杖１を右側に振っている状況ではカメラ２０の撮影光軸が右側に振られるだけでなく、カメラ２０の上下方向が鉛直方向に対して左側に傾くことになるため、仮に視覚障碍者Ｈｕが横断歩道ＣＷの幅方向の中央部を歩行していたとしてもカメラ２０によって撮影される画像は横断歩道ＣＷの右側の画像となると共に右側に傾いた画像となる（一方のカメラ２０Ｂの撮影画像である図１０を参照）。そして、ｘ軸に対して視覚障碍者Ｈｕが白杖１を左側に振る際のｙ軸に対するカメラ２０の最大傾き角度をφ_lとし、ｘ軸に対して視覚障碍者Ｈｕが白杖１を右側に振る際のｙ軸に対するカメラ２０の最大傾き角度をφ_rとした場合、前述したように白杖１を右側に振る際の最大角度θ_rの方が、白杖１を左側に振る際の最大角度θ_lよりも大きくなる傾向があることに起因して（図５を参照）、白杖１を右側に振る際の最大傾き角度φ_rの方が、白杖１を左側に振る際の最大傾き角度φ_lよりも大きくなる傾向がある（φ_l＜φ_r）。図９および図１０は、このような状況においてカメラ２０によって撮影された画像を示しており、視覚障碍者Ｈｕが白杖１を左側に振っている状況での最大傾き角度φ_lに対し、視覚障碍者Ｈｕが白杖１を右側に振っている状況での最大傾き角度φ_rの方が大きくなっている。そして、前述した横断歩道ＣＷの画像内占有率ｒ_w（＝ｗ₁／ｗ₀）を算出するための横断歩道ＣＷの幅方向の寸法（画像内における幅方向の寸法）ｗ₁は、この最大傾き角度の影響を受けた長さ寸法（例えば傾いた横断歩道ＣＷの白線の画像に外接するBoundary Boxの幅寸法）として求められるため、この最大傾き角度が大きいほど寸法ｗ₁は小さい値として求められてしまうことになり、画像内で横断歩道ＣＷが傾いていることの影響によって横断歩道ＣＷの幅方向の寸法ｗ₁を正確に求めることができなくなる。

前述の場合、視覚障碍者Ｈｕが右手に白杖１を把持して横断歩道ＣＷを横断していたために、視覚障碍者Ｈｕが白杖１を右側に振った場合の方が、白杖１を左側に振った場合よりも最大傾き角度が大きくなり、その結果、右側に振った場合の方が、横断歩道ＣＷの画像内占有率ｒ_wは、よりいっそう小さくなっているが、視覚障碍者Ｈｕが左手に白杖１を把持して横断歩道ＣＷを横断している場合には、視覚障碍者Ｈｕが白杖１を左側に振った場合の方が、白杖１を右側に振った場合よりも最大傾き角度が大きくなり、その結果、左側に振った場合の方が、横断歩道ＣＷの画像内占有率ｒw このような状況に鑑み、把持状態推定部８５では、以下の手法によって、視覚障碍者Ｈｕが白杖１を把持している手（左右の何れかの手）を推定し、それに応じて画像を補正して、前記横断歩道検出部８２による横断歩道ＣＷの認識が正確に行えるようにしている。

＜各座標系の説明＞
先ず、画像の補正に使用する各座標系について説明する。図１１は、視覚障碍者Ｈｕが右手に白杖１を把持して横断歩道ＣＷを横断している状態において路面基準のグローバル座標系を説明するための視覚障碍者Ｈｕの側面図である。この図１１においてもｘ軸は視覚障碍者Ｈｕの歩行方向に沿う軸（視覚障碍者Ｈｕの視線前方の軸）である。また、ｙ軸はｘ軸に直交する左右方向軸であり、ｚ軸はｘ軸およびｙ軸それぞれに直交する鉛直方向軸である。そして、これら軸を有する座標系を、路面基準の直交右手座標系としてグローバル座標系ｘ_g＝（ｘ，ｙ，ｚ）^Tとする。

また、図１２（杖座標系およびカメラ座標系を説明するための白杖１の一部を示す側面図）および図１３（杖座標系およびカメラ座標系を説明するための白杖１の一部を示す正面図）に示すように、白杖１に備えられたＩＭＵ９０の配設位置を原点として、白杖１の軸方向をｚ₀軸（上方向が正）、このｚ₀軸に直交する前方向をｘ₀軸（前方向が正）、これらｚ₀軸およびｘ₀軸それぞれに直交する左右方向をｙ₀軸（視覚障碍者Ｈｕの左方向が正）とする直交右手座標系を杖座標系ｘ_c＝（ｘ₀，ｙ₀，ｚ₀）^Tとする。尚、説明の簡素化のために、グローバル座標系ｘ_gの原点と杖座標系ｘ_cの原点とは同一位置とする。

更に、白杖１にＮ個（本実施形態の場合にはＮ＝２）のカメラ２０を備えている場合における、カメラｊ（ｊ＝１，…，Ｎ）の撮影光軸方向をξ_j軸（前方向が正）、このξ_j軸に直交する上方をζ_j軸（上方向が正）、これらξ_j軸およびζ_j軸それぞれに直交する左右方向をη_j軸（視覚障碍者Ｈｕの左方向が正）とする直交右手座標系をカメラ座標系（本発明でいう画像取得手段座標系）ｘ_p＝（ξ_j，η_j，ζ_j）^Tとする。

＜画像回転処理の説明＞
ＩＭＵ９０によって計測された３軸加速度および３軸角速度の情報を把持状態推定部８５が受けた場合に、取得された加速度ベクトルをａ＝（ａ_x，ａ_y，ａ_z）^Tとし、取得された角速度ベクトルをω＝（ω_x，ω_y，ω_z）^Tとする。

これら３軸加速度および３軸角速度は各時刻ｔ＝ｔｉ（ｉ＝１，…，ｎ）で取得され、時刻ｔｉにおける取得データはそれぞれａ＝ａ（ｔｉ）およびω＝ω（ｔｉ）と表される。この場合、杖座標系ｘ_cとグローバル座標系ｘ_gとの関係は以下の式（１）で表すことができる。

ここで、Ｒ_cは座標変換マトリクスであり、以下の式（２）である。

一方、杖座標系ｘ_cとカメラ座標系ｘ_p（１個のカメラ２０を対象とした場合のカメラ座標系はｘ_j）の関係としては、カメラ２０の位置が白杖１において不変であることから、白杖１の位置や姿勢に関わらず、以下の式（３）で表すことができる。

ここで、Ａ_jおよびＢ_jはアフィン変換マトリクスであり、カメラ２０およびＩＭＵ９０それぞれの配設位置によって一意的に求められるものである。

そして、式（１）および式（３）により（式（３）に式（１）を代入することにより）、カメラ座標系ｘ_jとグローバル座標系ｘ_gとの関係は以下の式（４）として得ることができる。

この式（４）から、図１４に示すように、グローバル座標系ｘ_gにおけるｚ軸（路面に対する鉛直上向きの軸）とカメラ座標系ｘ_jにおけるζ_j軸（撮影光軸に対して直交する上向きの軸）との成す角φ_jを算出することができる。つまり、白杖１が左右に振られることに起因したカメラ２０の傾きを算出することができる。

このようにしてカメラ２０の傾きである角φ_jが算出されたことにより、この角φ_jだけ画像を回転補正することで（図１４の画像を時計回り方向に角φ_jだけ回転補正することで）、図１５に示すように、カメラ２０の傾きを０とした場合の画像を生成することが可能となる。つまり、横断歩道ＣＷの各白線ＷＬを水平方向に延在するものとした画像として得ることができる。このため、この白線ＷＬの画像に外接するようにBoundary Boxを設定した場合には、カメラ２０の傾きによる悪影響を排除することができ、このBoundary Boxの幅寸法を実際の白線ＷＬの幅寸法に略一致させることが可能になり、前述した横断歩道ＣＷの画像内占有率ｒ_wを適正に求めることができる。つまり、カメラ２０の傾きの影響を受けておらず、左右の振り幅の差の影響のみを受けた画像内占有率ｒ_wとして求めることができる。

図１４および図１５は、白杖１が左側に振られたことで傾いた画像を回転補正（時計回り方向に回転補正）する場合を例に挙げたが、白杖１が右側に振られたことで傾いた画像を回転補正（反時計回り方向に回転補正）する場合も同様の処理が行われる。

尚、画像回転処理としては前述したものには限定されず、横断歩道ＣＷの白線ＷＬが一つでも検出できている場合（例えば周知のマッチング処理等によって白線ＷＬが一つでも検出できている場合）には、その白線ＷＬに対して外接するBoundary Boxを設定し、当該Boundary Box内での白線ＷＬのエッジ抽出の結果を用いて白線ＷＬの傾き（カメラ２０の傾きである角φ_jに相当）が認識できるので、その傾き角度角だけ画像を回転補正することで、カメラ２０の傾きを０とした場合の画像を生成することが可能である。

＜白杖の振り幅推定の説明＞
前述したように、式（４）によりグローバル座標系ｘ_gにおけるｚ軸とカメラ座標系ｘ_jにおけるζ_j軸との成す角φ_jを算出することが可能であるが、カメラ２０の最大傾き角度φ（φ_l，φ_r）と、水平方向での白杖１の振り角度である前記最大角度θ（θ_l，θ_r）とは相関があることを利用すれば、同様にして、カメラ座標系ｘ_jの撮影光軸方向であるξ_j軸とグローバル座標系ｘ_gのｘ軸との成す角θ_jを算出することも可能である。以下、具体的に説明する。

前述したように白杖１を左側に振った場合のカメラ２０の最大傾き角度をφ_lとしｘ軸に対する最大角度をθ_lとすると共に、白杖１を右側に振った場合のカメラ２０の最大傾き角度をφ_rとしｘ軸に対する最大角度をθ_rとした場合、視覚障碍者Ｈｕによる白杖１の持ち方や視覚障碍者Ｈｕの姿勢等によってｘ軸に対する角度（最大角度）θ_jにはバラツキが生じる。これに対し、カメラ２０の最大傾きに起因するｚ軸との成す角φ_jは、前記加速度ベクトルの時刻歴データにより推定することが可能であるため、これら角度φ_lとφ_rとの絶対値比較が可能である（バラツキを生じることなく絶対値比較が可能である）。このため、式（４）から、前記角度φから前記角度θを算出する（角度φを角度θに変換する）以下の推定式（５）を求めることができる。

ここでα_iは角度φを変数とする単調増加関数であり、α_i（－ｘ）＝－１×α_i（ｘ）と仮定できる。

更に、視覚障碍者Ｈｕの歩行時において白杖１を左右に振る際の加速度応答成分を加速度計測データより差し引くことによって、鉛直方向（ｚ軸方向）に直交する移動方向を推定できる。

これにより、視覚障碍者Ｈｕの歩行時におけるθ＝０（白杖１の振り幅が０の場合）の視覚障碍者Ｈｕの視線方向であるｘ軸を加速度データから測定することができる。そして、式（５）から、θ＝０の位置からの白杖１の左右の振り幅の大きさを推定することができ、この左右の振り幅の大きさの差によって、視覚障碍者Ｈｕが白杖１を右手で把持しているのか左手で把持しているのかを推定することが可能になる。つまり、θ＝０の位置からの白杖１の左右の振り幅として、右側の振り幅が左側の振り幅よりも大きい場合には、視覚障碍者Ｈｕは白杖１を右手で把持していると推定することができる。逆に、θ＝０の位置からの白杖１の左右の振り幅として、左側の振り幅が右側の振り幅よりも大きい場合には、視覚障碍者Ｈｕは白杖１を左手で把持していると推定することができる。

（歩行支援情報生成部）
前述した把持状態推定部８５によって推定された把持状態（視覚障碍者Ｈｕによる白杖１の把持状態）に応じ、歩行支援情報生成部８６は、視覚障碍者Ｈｕに対する歩行支援のための情報を生成する。例えば、視覚障碍者Ｈｕが白杖１を右手で把持しているのか左手で把持しているのかの推定結果に応じて、横断歩道ＣＷからの逸脱の判定を行うための値（以下、判定値という）を変更（補正）し、その変更された判定値を用いて逸脱判定を行う。そして、逸脱すると判定した場合には、逸脱判定信号を情報送信部８７に送信する。この逸脱判定信号の生成が、本発明でいう「視覚障碍者に対する歩行支援のための情報の生成」に相当する。この逸脱判定信号は、情報送信部８７から振動発生機５０に送信される。振動発生機５０は、この逸脱判定信号を受けたことに連動して、所定のパターンで振動し、視覚障碍者Ｈｕに、横断歩道ＣＷから逸脱する可能性があることの通知（逸脱警告）を行うことになる。

具体的な一例として、この歩行支援情報生成部８６による判定値の変更動作としては、視覚障碍者Ｈｕが横断歩道ＣＷを横断している状況において、横断歩道ＣＷからの逸脱を回避するべく歩行方向の変更を促す通知を行う場合に適用する際にあっては、視覚障碍者Ｈｕが白杖１を右手で把持している場合には、右側の振り幅が大きくなり、画像の右端と横断歩道ＣＷの右端との間の距離が長く検出されてしまう傾向となるので、視覚障碍者Ｈｕが横断歩道ＣＷの右側に逸脱すると判定するための判定値（画像の右端と横断歩道ＣＷの右端との間の距離が所定値以上になったら右側に逸脱する可能性があるとする逸脱判定を行うための判定値；後述する式（１７）を用いた判定での値；ｗ₅）を、視覚障碍者Ｈｕが白杖１を左手で把持している場合における判定値（同様に、画像の右端と横断歩道ＣＷの右端との間の距離が所定値以上になったら右側に逸脱する可能性があるとする逸脱判定を行うための判定値；ｗ₅）よりも小さく設定（実際に計測されている値よりも小さくなるように補正）する。

同様に、視覚障碍者Ｈｕが白杖１を左手で把持している場合には、左側の振り幅が大きくなり、画像の左端と横断歩道ＣＷの左端との間の距離が長く検出されてしまう傾向となるので、視覚障碍者Ｈｕが横断歩道ＣＷの左側に逸脱すると判定するための判定値（画像の左端と横断歩道ＣＷの左端との間の距離が所定値以上になったら左側に逸脱する可能性があるとする逸脱判定を行うための判定値；後述する式（１７）を用いた判定での値；ｗ₃）を、視覚障碍者Ｈｕが白杖１を右手で把持している場合における判定値（同様に、画像の左端と横断歩道ＣＷの左端との間の距離が所定値以上になったら左側に逸脱する可能性があるとする逸脱判定を行うための判定値；ｗ₃）よりも小さく（実際に計測されている判定値よりも小さくなるように補正）設定する。

このように視覚障碍者Ｈｕが何れの手で白杖１を把持しているかに応じて前記判定値を変更する動作が、本発明でいう「視覚障碍者が白杖を右手で把持している場合と左手で把持している場合とで、歩行支援のための通知を行うか否かを判断するための判定値を異なるものとする」動作に相当する。

また、この歩行支援情報生成部８６は、前述したように視覚障碍者Ｈｕの歩行時におけるθ＝０（白杖１の振り幅が０）の視覚障碍者Ｈｕの視線方向であるｘ軸を加速度データから測定することができると共に、白杖１を右側に振る際の最大角度θ_rおよび白杖１を左側に振る際の最大角度θ_lが測定できるので、視覚障碍者Ｈｕが白杖１を左右に振りながら歩行している際に所定時間間隔で取得された画像を合成することにより、θ＝０の位置を中心（左右方向の中心）とした前方の画像（以下、単に前方画像と呼ぶ）を作成することも可能となっている。

－歩行支援動作－
次に、前述の如く構成された歩行支援システム１０による歩行支援動作について説明する。先ず、歩行支援動作の概要について説明する。

（歩行支援動作の概要）
ここでは、視覚障碍者の歩行中における時間をｔ∈［０，Ｔ］と表し、当該視覚障碍者の状態を表す変数（状態変数）をｓ∈Ｒ^Tとする。また、時刻ｔのときの状態変数はｓ_t∈｛０，１，２｝の整数で表現され、それぞれ、歩行状態（ｓ_t＝０）、停止状態（ｓ_t＝１）、横断状態（ｓ_t＝２）を表すものとする。ここでいう歩行状態とは、例えば視覚障碍者が交差点（信号機ＴＬおよび横断歩道ＣＷのある交差点）に向かって歩行している状態が想定される。また、停止状態とは、視覚障碍者が横断歩道ＣＷの手前に達し、信号待ちによって（赤信号から青信号に切り替わるのを待って）停止している状態（歩行していない状態）が想定される。また、横断状態とは、視覚障碍者が横断歩道ＣＷを横断している状態が想定される。

本実施形態は、時刻ｔでカメラ２０によって撮影された画像Ｘ_t∈Ｒ^w0×^h0（ｗ₀，ｈ₀はそれぞれ画像の縦と横の画像サイズを表す）が入力された際に、視覚障碍者の歩行を支援することを目的とした出力ｙ∈Ｒ^Tを求めるアルゴリズムを提案するものとなっている。ここで、視覚障碍者の歩行を支援する出力としては、ｙ_t∈｛１，２，３，４｝の整数で表現され、それぞれ、停止指示（ｙ_t＝１）、歩行指示（ｙ_t＝２）、右逸脱警告（ｙ_t＝３）、左逸脱警告（ｙ_t＝４）を表すものとする。以下の説明では停止指示を停止通知という場合もある。また、歩行指示を歩行通知または横断通知という場合もある。これらの指示（通知）および警告は、振動発生機５０の振動のパターンによって視覚障碍者に対して行われる。視覚障碍者は、予め、指示（通知）および警告と、振動発生機５０の振動のパターンとの関係を把握しており、振動発生機５０の振動のパターンをグリップ部３から感じ取ることで指示および警告の種類を把握することになる。

また、後述するように、視覚障碍者の状態を表す変数ｓの遷移を判定する関数（以下、状態遷移関数という）ｆ₀，ｆ₁，ｆ₂と、横断歩道ＣＷからの逸脱（左右方向への逸脱）を判断する状態遷移関数ｆ₃が存在しており、これら状態遷移関数ｆ₀～ｆ₃が前記ＲＯＭに記憶されている。これら状態遷移関数ｆ₀～ｆ₃の具体例については後述する。

（出力ｙおよび状態遷移関数ｆ_iの概要）
前述した視覚障碍者の歩行を支援する出力ｙ_t∈｛１，２，３，４｝について説明する。

尚、以下では、２台のカメラ２０Ａ，２０Ｂのうち１台のカメラ２０によって撮影された画像を対象として説明する。また、以下の説明では、発明の理解を容易にするために前記前方画像（θ＝０の位置を左右方向の中心として作成された前方の画像）に基づいて各出力を行う場合を例に挙げて説明する。

前述したように出力ｙ_tとしては、視覚障碍者の歩行支援を目的として、停止指示（ｙ_t＝１）、歩行指示（ｙ_t＝２）、右逸脱警告（ｙ_t＝３）、左逸脱警告（ｙ_t＝４）の４種類の出力が存在する。

停止指示（ｙ_t＝１）は、歩行する視覚障碍者が横断歩道の手前まで達した時点で当該視覚障碍者に歩行を停止する旨の通知を行うものである。例えば、前方画像が、図１６（視覚障碍者が横断歩道ＣＷに向かう歩行状態にある際における前方画像の一例を示す図）に示す状態であれば、横断歩道ＣＷまでの距離が比較的長いため、停止指示（ｙ_t＝１）は行わず、視覚障碍者は歩行状態（ｓ_t＝０）が継続され、前方画像が、図１７（視覚障碍者が横断歩道ＣＷに達した状態における前方画像の一例を示す図）に示す状態となった場合には、視覚障碍者が横断歩道ＣＷの手前に達したタイミングであることから、停止指示（ｙ_t＝１）を出力して、当該視覚障碍者に歩行を停止する旨の通知を行うことになる。この停止指示（ｙ_t＝１）を行う条件が成立しているか否かの判定（状態遷移関数の算出結果に基づく判定）については後述する。

歩行指示（ｙ_t＝２）は、信号機ＴＬが赤信号から青信号に切り替わったことで、視覚障碍者に歩行（横断歩道ＣＷの横断）を指示する旨の通知を行うものである。例えば、横断歩道ＣＷの手前で視覚障碍者が停止状態（ｓ_t＝１）にある状況で、前方画像に基づいて信号機ＴＬが赤信号から青信号に切り替わった場合に、歩行指示（ｙ_t＝２）を出力して、当該視覚障碍者に横断歩道ＣＷの横断を開始する旨の通知を行う。この歩行指示（ｙ_t＝２）を行う条件が成立しているか否かの判定（状態遷移関数の算出結果に基づく判定）についても後述する。

そして、本実施形態では、この歩行指示（ｙ_t＝２）を行うタイミングとして、信号機ＴＬの状態が赤信号から青信号に切り替わったタイミングとしている。つまり、仮に、視覚障碍者が横断歩道ＣＷに達した時点で既に信号機ＴＬが青信号となっていたとしても歩行指示（ｙ_t＝２）は行わず、信号機ＴＬが一旦赤信号となり、その後に青信号に切り替わったタイミングで歩行指示（ｙ_t＝２）を行うようにしている。これによって、視覚障碍者が横断歩道ＣＷを横断するに当たって、信号機ＴＬが青信号となっている時間を十分に確保することができるようにし、視覚障碍者が横断歩道ＣＷを横断している途中で信号機ＴＬが青信号から赤信号に切り替わってしまうといった状況を招き難くしている。

右逸脱警告（ｙ_t＝３）は、横断歩道ＣＷを横断している視覚障碍者が横断歩道ＣＷから右側に逸脱する方向に向かって歩行している際に、当該視覚障碍者に対して横断歩道ＣＷから右側に逸脱する虞があることの警告を行うものである。例えば、前方画像が図１８（視覚障碍者が横断歩道ＣＷの横断状態にある際における前方画像の一例を示す図）に示す状態にあって、視覚障碍者が横断歩道ＣＷの横断状態（ｓ_t＝２）にある状況で、前方画像が、図１９（横断歩道ＣＷの横断状態にある視覚障碍者が横断歩道ＣＷの右側に逸脱する方向に向かって歩行している際の前方画像の一例を示す図）に示す状態となった場合には、視覚障碍者が横断歩道ＣＷから右側に逸脱する方向に向かって歩行していることから、右逸脱警告（ｙ_t＝３）を出力して、当該視覚障碍者に警告を行うことになる。

左逸脱警告（ｙ_t＝４）は、横断歩道ＣＷを横断している視覚障碍者が横断歩道ＣＷから左側に逸脱する方向に向かって歩行している際に、当該視覚障碍者に対して横断歩道ＣＷから左側に逸脱する虞があることの警告を行うものである。例えば、前方画像が図１８に示す状態にあって、視覚障碍者が横断歩道ＣＷの横断状態（ｓ_t＝２）にある状況で、前方画像が、図２０（横断歩道ＣＷの横断状態にある視覚障碍者が横断歩道ＣＷの左側に逸脱する方向に向かって歩行している際の前方画像の一例を示す図）に示す状態となった場合には、視覚障碍者が横断歩道ＣＷから左側に逸脱する方向に向かって歩行していることから、左逸脱警告（ｙ_t＝４）を出力して、当該視覚障碍者に警告を行うことになる。

これら右逸脱警告（ｙ_t＝３）および左逸脱警告（ｙ_t＝４）を行う条件が成立しているか否かの判定（状態遷移関数の算出結果に基づく判定）についても後述する。

（歩行支援で用いる特徴量）
次に、視覚障碍者に対する歩行支援で用いる特徴量について説明する。視覚障碍者に対して、横断歩道ＣＷの手前での歩行の停止通知、および、その後の横断開始通知等の各種通知を適切に行うためには、横断歩道ＣＷの位置（横断歩道ＣＷにおいて最も手前側にある白線ＷＬ１の位置）、および、信号機ＴＬの状態（青信号であるか赤信号であるか）を前方画像に基づいて正確に認識しておくことが必須である。つまり、白線ＷＬ１の位置および信号機ＴＬの状態を反映させたモデル式を構築しておき、このモデル式に従って、現在、視覚障碍者が置かれている状況を把握できるようにしておく必要がある。

図２１および図２２は、視覚障碍者に対する歩行支援で用いる特徴量｛ｗ₃，ｗ₄，ｗ₅，ｈ₃，ｒ，ｂ｝^T∈Ｒ⁶の概要を示している。ｒ，ｂは、それぞれ信号機ＴＬの状態（赤信号および青信号）の検出結果（０：未検出、１：検出）を表している。この信号機ＴＬの状態の検出に際し、前述したように図４において破線で囲まれた領域Ａが抽出されることで信号機ＴＬの状態の認識が行われることになる。また、ｗ₃，ｗ₄，ｗ₅，ｈ₃は、前記横断歩道検出部８２によって認識された横断歩道ＣＷの白線ＷＬ１～ＷＬ７のうち、最も手前に位置する白線ＷＬ１に対するBoundary Boxを用いて図２２に示すように定義される。つまり、ｗ₃は画像の左端からBoundary Boxの左端（白線ＷＬ１の左端に相当）までの距離であり、ｗ₄はBoundary Boxの幅寸法（白線ＷＬ１の幅寸法に相当）であり、ｗ₅は画像の右端からBoundary Boxの右端（白線ＷＬ１の右端に相当）までの距離であり、ｈ₃は画像の下端からBoundary Boxの下端（白線ＷＬ１の手前側の端縁に相当）までの距離である。

深層学習を用いて横断歩道ＣＷおよび信号機ＴＬを検出する関数をｇとした場合、時刻ｔにおける画像（前方画像）Ｘ_t∈Ｒ^w0×^h0を用いて予測された横断歩道ＣＷおよび信号機ＴＬのBoundary Boxをｇ（Ｘｔ）と表現すると、視覚障碍者の歩行を支援するために必要な特徴量としては、以下の式（６）として表現できる。

ここで、

は前記特徴量ｊ（ｔ）を抽出する演算子であり、前記ｇ（Ｘｔ）に対する後処理を行うためのものであり、ｐ１は１フレーム当たりのBoundary Boxの最大数である。

（状態遷移関数）
次に、状態遷移関数について説明する。この状態遷移関数は、前述したように、停止指示（ｙ_t＝１）、歩行指示（ｙ_t＝２）、右逸脱警告（ｙ_t＝３）、左逸脱警告（ｙ_t＝４）それぞれの通知を行う条件が成立しているか否かを判定するために用いられるものである。

時刻ｔ＋１での状態量（状態変数）ｓ_t+1は、横断歩道ＣＷの特徴量に対する時刻履歴情報Ｊ＝｛ｊ（０），ｊ（１），…ｊ（ｔ）｝と、現在の状態量（状態変数）ｓ_t、および、時刻ｔ＋１での前方画像Ｘ_t+1を用いて以下の式（８）のように表すことができる。

この式（８）における状態遷移関数ｆは、現在時刻の状態量に応じて以下の式（９）のように定義することができる。

つまり、視覚障碍者の歩行の推移としては、歩行（例えば横断歩道ＣＷに向かう歩行）→停止（例えば横断歩道ＣＷの手前での停止）→横断（例えば横断歩道ＣＷの横断）→歩行（例えば横断歩道ＣＷの横断完了後の歩行）を繰り返すことになるが、歩行状態（ｓ_t＝０）にある視覚障碍者に対して停止指示（ｙ_t＝１）を行う条件の成立の有無を判定するための状態遷移関数がｆ₀（Ｊ，Ｘ_t+1）であり、停止状態（ｓ_t＝１）にある視覚障碍者に対して横断（歩行）指示（ｙ_t＝２）を行う条件の成立の有無を判定するための状態遷移関数がｆ₁（Ｊ，Ｘ_t+1）であり、横断状態（ｓ_t＝２）にある視覚障碍者に対して歩行（横断の完了）の通知を行う条件の成立の有無を判定するための状態遷移関数がｆ₂（Ｊ，Ｘ_t+1）である。また、横断状態（ｓ_t＝２）にある視覚障碍者に対して横断歩道ＣＷからの逸脱の警告を行う条件の成立の有無を判定するための状態遷移関数がｆ₃（Ｊ，Ｘ_t+1）である。

以下、各状態量（状態変数）それぞれに応じた状態遷移関数について具体的に説明する。

（歩行状態で適用される状態遷移関数）
現在時刻の状態量が歩行状態（ｓ_t＝０）である場合に使用される状態遷移関数ｆ₀（ｊ，Ｘ_t+1）は、前記式（６）の特徴量を用いて以下の式（１０）～（１２）とすることができる。

ここで、ＨはHeaviside関数であり、δはDelta関数である。また、α₁，α₂は判定基準に用いられるパラメータであり、ｔ０は利用する過去の状態を指定するパラメータである。また、Ｉ₂＝｛０，１，０，０，０，０｝^T、Ｉ₄＝｛０，０，０，１，０，０｝^Tである。

この式（１０）を用いれば、α₁＞ｈ₃、且つ、ｗ₄＞α₂の条件が過去ｔ０時間では成立しておらず、時刻ｔ＋１で初めて成立した場合にのみ「１」が得られ、それ以外の場合には「０」が得られることになる。つまり、α₁＞ｈ₃が成立したことで、視覚障碍者の足元に、横断歩道ＣＷにおける最も手前に位置する白線ＷＬ１（白線のBoundary Boxの下端）が位置し、ｗ₄＞α₂が成立したことで、その白線ＷＬ１は視覚障碍者の進行方向に直交する方向に延在する（白線のBoundary Boxの幅寸法が所定寸法を超えている）ものであることが判定された場合に「１」が得られるものとなっている。

このようにして式（１０）において「１」が得られた場合には、停止指示（ｙ_t＝１）を行う条件が成立したとして、歩行状態にある視覚障碍者に停止指示（例えば横断歩道ＣＷの手前での歩行の停止指示；停止通知）を行うことになる。

また、本実施形態では、横断歩道ＣＷが視覚障碍者の足元にある条件を（α₁＞ｈ₃）だけでなく、検出された横断歩道ＣＷの幅の制約（ｗ₄＞α₂）を加えていることで、視覚障碍者の進行方向にある横断歩道ＣＷ以外の横断歩道（交差点において、視覚障碍者の進行方向に直交する方向の横断歩道等）が、画像Ｘ_t+1に含まれる場合の誤検知を防止している。つまり、道路の交差点等において横断方向が互いに異なる複数の横断歩道が存在している場合であっても、視覚障碍者が横断すべき横断歩道ＣＷ（白線ＷＬ１が、視覚障碍者が横断すべき方向に対して交差する方向に延びていることで、当該白線ＷＬ１の幅寸法が比較的広く認識されている横断歩道ＣＷ）とその他の横断歩道（白線の幅寸法が比較的狭く認識されている横断歩道）とを明確に判別することができ、視覚障碍者に向けての横断の開始通知を高い精度で正確に行うことが可能になっている。

（停止状態で適用される状態遷移関数）
前時刻の状態量が停止状態（ｓ_t＝１）である場合に使用される状態遷移関数ｆ₁（ｊ，Ｘ_t+1）は、以下の式（１３）～（１５）とすることができる。

ここでＸ’_t+1は、Ｘ_t+1から画像のトリミングと拡大処理とを行って得られたものである。つまり、信号機ＴＬの認識精度が十分に高められた画像Ｘ’_t+1となっている。また、Ｉ₅＝｛０，０，０，０，１，０｝^T、Ｉ₆＝｛０，０，０，０，０，１｝^Tである。

式（１３）では、過去ｔ０時間に赤信号を検知した後で、時刻ｔ＋１で初めて青信号を検知した場合にのみ「１」が得られ、それ以外の場合には「０」が得られることになる。

このようにして式（１３）において「１」が得られた場合には、歩行（横断）指示（ｙ_t＝２）を行う条件が成立したとして、停止状態にある視覚障碍者に横断指示（例えば横断歩道の横断指示；横断通知）を行うことになる。

また、信号機がない交差点の横断歩道では前述のロジックでの状態遷移ができない場合がある。この課題を解決するために、新たなパラメータｔ１＞ｔ０を導入し、時間ｔ１の間、停止状態からの状態遷移がないと判断された場合に、歩行状態に遷移するようにしてもよい。

（横断状態で適用される状態遷移関数）
前時刻の状態量が横断状態（ｓ_t＝２）である場合に使用される状態遷移関数ｆ₂（ｊ，Ｘ_t+1）は、以下の式（１６）とすることができる。

この式（１６）では、過去ｔ－ｔ０から、現在時刻ｔ＋１の間に一度も信号機ＴＬおよび足元の横断歩道ＣＷが検出できなかった場合にのみ「１」が得られ、それ以外の場合には「０」が得られることになる。つまり、横断歩道ＣＷを渡りきったことで信号機ＴＬおよび足元の横断歩道ＣＷが検出できなかった場合にのみ「１」が得られることになる。

このようにして式（１６）において「１」が得られた場合には、横断完了の通知を行う条件が成立したとして、歩行状態にある視覚障碍者に横断完了（横断歩道の横断の完了）の通知を行うことになる。

（横断歩道からの逸脱を判定する状態遷移関数）
視覚障碍者の横断歩道ＣＷの横断中に、横断歩道ＣＷからの逸脱を判定する状態遷移関数ｆ₃（ｊ，Ｘ_t+1）は、以下の式（１７）～（１９）とすることができる。

ここで、α₃は判定基準に用いられるパラメータである。また、Ｉ₁＝｛１，０，０，０，０，０｝^T、Ｉ₃＝｛０，０，１，０，０，０｝^Tである。

この式（１７）では、検出された横断歩道ＣＷの位置におけるフレームの中心からのズレ量が許容量以上であれば「１」が得られ、それ以外では「０」が得られることになる。つまり、ｗ₃の値が所定値よりも大きくなった場合（左逸脱の場合）や、ｗ₅の値が所定値よりも大きくなった場合（右逸脱の場合）に「１」が得られることになる。

本実施形態の場合には、式（１７）において適用されるｗ₃およびｗ₅の値が、視覚障碍者Ｈｕが左右何れの手で白杖１を把持しているかに応じて異なる値（補正された値）とされる。

つまり、前述したように、視覚障碍者Ｈｕが白杖１を右手で把持している場合には、右側の振り幅が大きくなり、画像の右端と横断歩道ＣＷの右端との間の距離が長く検出されてしまう傾向となるので、式（１７）において適用されるｗ₅の値を所定量だけ小さくする（画像上での値よりも所定量だけ小さくする）ように補正し、この補正されたｗ₅の値が所定値以上になったら（ｗ₅の値がｗ₃の値よりも大きく、且つ画像内での横断歩道ＣＷの右側の領域の比率（ｗ₅／ｗ₀）が所定値以上になったら）右側に逸脱する可能性があるとする逸脱判定を行うようにしている。尚、この際のｗ₅の値に対する補正量は、白杖１を右側に振る際の前記最大角度θ_rまたは白杖１を右側に振る際の前記最大傾き角度をφ_rに応じ、角度が大きいほど補正量を大きく設定することになる。

同様に、視覚障碍者が白杖１を左手で把持している場合には、左側の振り幅が大きくなり、画像の左端と横断歩道ＣＷの左端との間の距離が長く検出されてしまう傾向となるので、式（１７）において適用されるｗ₃の値を所定量だけ小さくする（画像上での値よりも所定量だけ小さくする）ように補正し、この補正されたｗ₃の値が所定値以上になったら（ｗ₃の値がｗ₅の値よりも大きく、且つ画像内での横断歩道ＣＷの左側の領域の比率（ｗ₃／ｗ₀）が所定値以上になったら）左側に逸脱する可能性があるとする逸脱判定を行うようにしている。尚、この際のｗ₃の値に対する補正量は、白杖１を左側に振る際の前記最大角度θ_lまたは白杖１を左側に振る際の前記最大傾き角度をφ_lに応じ、角度が大きいほど補正量を大きく設定することになる。

このようにして式（１７）において「１」が得られた場合には、右逸脱警告（ｙ_t＝３）または左逸脱警告（ｙ_t＝４）を行うことになる。

（歩行支援動作）
次に、歩行支援システム１０による歩行支援動作の流れについて説明する。

図２３は、前述した歩行支援動作の一連の流れを示すフローチャートである。このフローチャートは、視覚障碍者が路上（歩道上）を歩行している状況において、所定時刻ｔから所定時刻ｔ＋１までの間で１回のルーチンが実施されるように所定時間間隔を存して繰り返して実施される。以下の説明では各状態遷移関数における変数（Ｊ，Ｘ_t+1）の記載を省略する。

先ず、ステップＳＴ１において視覚障碍者が歩行状態にある状況で、ステップＳＴ２において、前記横断歩道検出部８２によって認識された、横断歩道ＣＷを含む画像領域における当該横断歩道ＣＷの白線ＷＬ１の位置（より具体的には、最も手前に位置する白線ＷＬ１のBoundary Boxの位置）に基づき、前述した停止指示（ｙ_t＝１）を行う条件の成立の有無を判定するための状態遷移関数ｆ₀（前記式１０）において「１」が得られたか否かを判定する。

この状態遷移関数ｆ₀において「０」が得られている場合には、停止指示（ｙ_t＝１）を行う条件が成立していない、つまり、視覚障碍者は未だ横断歩道ＣＷの手前に達していないとしてＮＯ判定され、ステップＳＴ１に戻る。視覚障碍者が横断歩道ＣＷの手前に達するまで、ステップＳＴ２ではＮＯ判定されるため、ステップＳＴ１，ＳＴ２の動作を繰り返すことになる。

視覚障碍者が横断歩道ＣＷの手前に達し、状態遷移関数ｆ₀において「１」が得られた場合には、ステップＳＴ２でＹＥＳ判定され、ステップＳＴ３に移る。このステップＳＴ３では、視覚障碍者に対して停止指示（ｙ_t＝１）を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、停止指示（停止通知）を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は、振動発生機５０の振動のパターンを感じ取ることで停止指示されたことを認識し、歩行を停止することになる。

ステップＳＴ４において視覚障碍者が停止状態にある状況で、ステップＳＴ５において、前述した歩行指示（ｙ_t＝２）を行う条件の成立の有無を判定するための状態遷移関数ｆ₁（前記式１３）において「１」が得られたか否かを判定する。この状態遷移関数ｆ₁による判定動作に際しては、前述した図４で示したように、破線で囲まれた領域Ａが抽出され、例えばこの領域Ａが拡大処理されることで信号機ＴＬの状態を容易に判断することが可能になる。

この状態遷移関数ｆ₁において「０」が得られている場合には、歩行指示（ｙ_t＝２）を行う条件が成立していない、つまり、信号機ＴＬは未だ青信号に切り替わっていないとしてＮＯ判定され、ステップＳＴ４に戻る。信号機ＴＬが青信号に切り替わるまで、ステップＳＴ５ではＮＯ判定されるため、ステップＳＴ４，ＳＴ５の動作を繰り返すことになる。

信号機ＴＬが青信号に切り替わり、状態遷移関数ｆ₁において「１」が得られた場合には、ステップＳＴ５でＹＥＳ判定され、ステップＳＴ６に移る。この動作が、切り替わり認識部（信号機の状態が、停止指示状態から横断許可状態に切り替わったことを認識する切り替わり認識部）８４の動作に相当する。

ステップＳＴ６では、視覚障碍者に対して歩行（横断）指示（ｙ_t＝２）を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、歩行指示（横断開始通知）を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は歩行指示されたことを認識し、横断歩道ＣＷの横断を開始することになる。

ステップＳＴ７において視覚障碍者が横断歩道ＣＷの横断状態にある状況で、ステップＳＴ８において、横断歩道ＣＷからの逸脱の警告を行う条件の成立の有無を判定するための状態遷移関数ｆ₃（前記式１７）において「１」が得られたか否かを判定する。この状態遷移関数ｆ₃を用いた判定動作にあっては、前述したように、視覚障碍者が左右何れの手で白杖１を把持しているかに応じて、式（１７）におけるｗ₃およびｗ₅の値が補正され、この状態で、状態遷移関数ｆ₃において「１」が得られたか否かを判定することになる。

状態遷移関数ｆ₃において「１」が得られ、ステップＳＴ８でＹＥＳ判定された場合、ステップＳＴ９において、その横断歩道ＣＷからの逸脱の方向が右方向（右逸脱）であるか否かを判定する。そして、横断歩道ＣＷからの逸脱の方向が右方向であり、ステップＳＴ９でＹＥＳ判定された場合にはステップＳＴ１０に移り、視覚障碍者に対して右逸脱警告（ｙ_t＝３）を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、右逸脱警告を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は右逸脱警告されたことを認識し、歩行方向を左方向に向けて変更することになる。

一方、横断歩道ＣＷからの逸脱の方向が左方向であり、ステップＳＴ９でＮＯ判定された場合にはステップＳＴ１１に移り、視覚障碍者に対して左逸脱警告（ｙ_t＝４）を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、左逸脱警告を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は左逸脱警告されたことを認識し、歩行方向を右方向に向けて変更することになる。このようにして逸脱警告を行った後、ステップＳＴ１４に移る。

横断歩道ＣＷからの逸脱がなく、状態遷移関数ｆ₃において「０」が得られている場合には、ステップＳＴ８でＮＯ判定され、ステップＳＴ１２に移る。このステップＳＴ１２では、現在、ステップＳＴ１０またはステップＳＴ１１における逸脱警告の発生中であるか否かを判定する。逸脱警告の発生中でなく、ステップＳＴ１２でＮＯ判定された場合には、ステップＳＴ１４に移る。一方、逸脱警告の発生中であり、ステップＳＴ１２でＹＥＳ判定された場合には、ステップＳＴ１３に移り、逸脱警告を解除してステップＳＴ１４に移る。

ステップＳＴ１４では、横断完了の通知を行う条件の成立の有無を判定するための状態遷移関数ｆ₂（前記式１６）において「１」が得られたか否かを判定する。

この状態遷移関数ｆ₂において「０」が得られている場合には、横断完了の通知を行う条件が成立していない、つまり、視覚障碍者は横断歩道ＣＷの横断中であるとしてＮＯ判定され、ステップＳＴ７に戻る。横断歩道ＣＷの横断が完了するまで、ステップＳＴ１４ではＮＯ判定されるため、ステップＳＴ７～ＳＴ１４の動作を繰り返すことになる。

つまり、視覚障碍者の横断中に横断歩道ＣＷからの逸脱が発生する場合には前述した逸脱警告が行われ、この逸脱が解消された場合には、逸脱警告が解除されるといった動作を、横断歩道ＣＷの横断が完了するまで行われる。

視覚障碍者が横断歩道ＣＷの横断を完了し、状態遷移関数ｆ₂において「１」が得られた場合には、ステップＳＴ１４でＹＥＳ判定され、ステップＳＴ１５に移り、視覚障碍者に対して横断完了の通知を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、横断完了を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は横断完了の通知が行われたことを認識し、通常の歩行状態に戻ることになる。

このようにして、視覚障碍者が横断歩道ＣＷを横断する度に前述した動作が繰り返されることになる。

－実施形態の効果－
以上説明したように、本実施形態では、視覚障碍者Ｈｕが左右何れの手で白杖１を把持しているかを推定し、その推定結果に応じた情報（視覚障碍者Ｈｕに対する歩行支援のための情報）を生成するようにしている。具体的には、横断歩道ＣＷからの逸脱の判定を行うための式（１７）の判定値を、視覚障碍者Ｈｕが左右何れの手で白杖１を把持しているかに応じて補正するようにしている。これにより、視覚障碍者Ｈｕによる白杖１の把持状態に応じた適切な歩行支援を行うことが可能になる。

また、本実施形態では、グローバル座標系、カメラ座標系、杖座標系それぞれの情報に基づいて白杖１の左右の振り角度を推定して視覚障碍者Ｈｕが白杖１を把持している手を推定するようにしている。このため、視覚障碍者Ｈｕの白杖１の持ち方や視覚障碍者Ｈｕの姿勢等のバラツキの影響を受けることなく、視覚障碍者Ｈｕが白杖１を把持している手が右手であるか左手であるかを高い精度で推定することが可能である。

また、本実施形態では、信号機ＴＬの状態が赤信号から青信号に切り替わったことを条件として視覚障碍者Ｈｕに向けて横断の開始通知を行うようにしている。このため、視覚障碍者Ｈｕが横断歩道ＣＷを横断するに当たって、信号機ＴＬの状態が青信号となっている時間を十分に確保することができる。

－把持状態推定部の変形例－
次に、把持状態推定部８５による把持状態の推定（白杖１が視覚障碍者Ｈｕの左右の何れの手で把持された状態であるかの推定）についての複数の変形例を説明する。

＜画像内占有率に基づく推定＞
前述したように視覚障碍者Ｈｕが右手で白杖１を把持している場合と左手で白杖１を把持している場合とでは、横断歩道ＣＷの画像内占有率ｒ_wに差異が生じるので（図６および図７を参照）、白杖１が右側に振られた場合の画像内占有率ｒ_wと左側に振られた場合の画像内占有率ｒ_wとを比較することによって、白杖１が視覚障碍者の左右の何れの手で把持された状態であるかを推定することが可能である。

具体的に、白杖１が右側への最大角度θ_rまで振られた状態での横断歩道ＣＷの画像内占有率ｒ_wが、白杖１が左側への最大角度θ_lまで振られた状態での横断歩道ＣＷの画像内占有率ｒ_wよりも小さい場合には、視覚障碍者Ｈｕが右手で白杖１を把持していると推定される。逆に、白杖１が左側への最大角度θ_lまで振られた状態での横断歩道ＣＷの画像内占有率ｒ_wが、白杖１が右側への最大角度θ_rまで振られた状態での横断歩道ＣＷの画像内占有率ｒ_wよりも小さい場合には、視覚障碍者Ｈｕが左手で白杖１を把持していると推定される。

＜カメラの最大傾き角度に基づく推定＞
また、視覚障碍者Ｈｕが右手で白杖１を把持している場合と左手で白杖１を把持している場合とでは、取得された画像におけるｙ軸に対するカメラ２０の最大傾き角度φに差異が生じるので、白杖１が右側に振られた場合の最大傾き角度φ_rと左側に振られた場合の最大傾き角度φ_lとを比較することによっても、白杖１が視覚障碍者の左右の何れの手で把持された状態であるかを推定することが可能である。

具体的に、白杖１が右側へ振られた際の最大傾き角度φ_rが、白杖１が左側へ振られた際の最大傾き角度φ_lよりも大きい場合には、視覚障碍者Ｈｕが右手で白杖１を把持していると推定される。逆に、白杖１が左側へ振られた際の最大傾き角度φl視覚障碍者Ｈｕが左手で白杖１を把持していると推定される。

＜グリップ部の圧力分布に基づく推定＞
また、視覚障碍者Ｈｕが右手で白杖１を把持している場合と左手で白杖１を把持している場合とでは、グリップ部３の各部における圧力分布に差異が生じるので、グリップ部３の表面（例えば表面全体）に圧力センサ（圧電素子等）を配置させることで、視覚障碍者の左右の何れの手で把持されているのかを推定することが可能である。

具体的に、視覚障碍者Ｈｕが右手で白杖１を把持している場合には、グリップ部３の右側部に掌がグリップ部３の左側部に指先が位置することになり、右側部では広範囲に比較的低い圧力が作用しているのに対し、左側部では部分的に比較的高い圧力が作用している状態となる。この状態が圧力センサによって検知された場合には、視覚障碍者Ｈｕは右手で白杖１を把持していると推定できる。同様にして、グリップ部３の左側部において広範囲に比較的低い圧力が作用しているのに対し、右側部において部分的に比較的高い圧力が作用している状態が圧力センサによって検知された場合には、視覚障碍者Ｈｕは左手で白杖１を把持していると推定できる。

＜指紋認識に基づく推定＞
また、グリップ部３の表面（例えば表面全体）に指紋センサを配置させることで、視覚障碍者Ｈｕの左右の何れの手で把持されているのかを推定することも可能である。具体的に、歩行支援システム１０のＲＡＭに視覚障碍者Ｈｕの両手の指紋情報を記憶させておき、指紋センサによって認識された指紋が視覚障碍者Ｈｕの左右の何れの手のものであるかを判定することによって、白杖１が視覚障碍者の左右の何れの手で把持された状態であるかを推定することが可能である。

－応用例－
次に、前述した技術を利用する応用例について説明する。

＜持ち手変更指示＞
例えば、視覚障碍者Ｈｕが右手で白杖１を把持していることで、カメラ２０Ａ，２０Ｂによる信号機ＴＬの認識（撮影）が困難な状況となっている場合には、視覚障碍者Ｈｕに対し白杖１の持ち手を変える（左手で白杖１を把持する）ように指示することが可能である。

具体的には、横断歩道ＣＷの一部を覆うように車両が停車していることで、カメラ２０Ａ，２０Ｂの視野において車両が信号機ＴＬを覆い隠している状況であって、カメラ２０Ａ，２０Ｂからの情報によって横断歩道ＣＷは検出できているものの信号機ＴＬが検出できていない状況においては、白杖１が視覚障碍者の左右の何れの手で把持された状態であるかを推定し、視覚障碍者Ｈｕに対し白杖１の持ち手を変えるように指示する。つまり、視覚障碍者Ｈｕが右手で白杖１を把持していると推定されている場合には左手で白杖１を把持するように指示し（音声または振動によって指示し）、視覚障碍者Ｈｕが左手で白杖１を把持していると推定されている場合には右手で白杖１を把持するように指示する（同様に、音声または振動によって指示する）ことになる。

この白杖１の持ち手を変える動作を行わせることで、カメラ２０Ａ，２０Ｂの視野において車両が信号機ＴＬを覆い隠している状況が解消されて信号機ＴＬが検出できる可能性を高めることができる。

＜注意喚起への応用＞
また、視覚障碍者Ｈｕに自転車等の移動体が接近する状況において、移動体の乗員への注意喚起のために、白杖１から周辺の路面への光（レーザ光等）の照射を行う（例えば視覚障碍者Ｈｕを囲むように周囲の路面に円形の光を照射する）ようにするものにあっては、この白杖１からの光の一部が視覚障碍者Ｈｕによって遮られて路面へ到達しない可能性があるが、この際、白杖１が視覚障碍者Ｈｕの左右の何れの手で把持された状態であるかを推定し、それに応じて移動体の乗員に対し、音声等による警告を行うようにすることができる。

つまり、視覚障碍者Ｈｕが右手で白杖１を把持していると推定されている場合には、視覚障碍者Ｈｕよりも左側の路面へ光が到達せず、この左側での注意喚起（左側から接近してくる移動体の乗員に対する注意喚起）が不十分となる可能性があるが、この場合、視覚障碍者Ｈｕの左側に向けて音声を発して警告を行う（例えば白杖１の左右両側にスピーカを配置し、左側のスピーカのみから警告を行う）。これにより、左側での注意喚起を十分に行うことができる。同様に、視覚障碍者Ｈｕが左手で白杖１を把持していると推定されている場合には、視覚障碍者Ｈｕの右側に向けて音声を発して警告を行う（例えば白杖１の左右両側にスピーカを配置し、右側のスピーカのみから警告を行う）。これにより、右側での注意喚起を十分に行うことができる。

＜落下判定への応用＞
視覚障碍者Ｈｕが誤って白杖１を手放してしまった場合（以下、白杖１の落下という）、視覚障碍者Ｈｕにあっては、道路上に横たわる白杖１を見つけ出すことが困難であった。

前述した技術では、前記グローバル座標系ｘ_gと、前記ＩＭＵ９０における杖座標系ｘ_cとを用いており、白杖１が落下して道路上に横たわった状態では、グローバル座標系ｘ_gのｚ軸に対して杖座標系ｘ_cのｚ₀軸が略直交することになる。このことを利用し、グローバル座標系ｘｇと杖座標系ｘ_cとを比較することにより、白杖１が落下したことを推定し、音声等によって白杖１の位置を視覚障碍者Ｈｕに知らせるようにすることができる。

具体的には、グローバル座標系ｘ_gのｚ軸と杖座標系ｘ_cのｚ₀軸とを使用した以下の式（２０）が定義される。

この式（２０）にあっては、一定時間ｔ１においてグローバル座標系ｘ_gのｚ軸と杖座標系ｘ_cのｚ₀軸とが直交し、白杖１が移動していない場合に「１」が得られ（Ｄ＝１）、白杖１が落下したと判定される。そして、この場合、白杖１に内蔵されたスピーカ等によって音声により白杖１の位置を視覚障碍者Ｈｕに知らせるようにする。

これにより、視覚障碍者Ｈｕは道路上の白杖１を容易に見つけ出すことが可能になる。

－他の実施形態－
尚、本発明は、前記実施形態および変形例に限定されるものではなく、特許請求の範囲および該範囲と均等の範囲で包含される全ての変形や応用が可能である。

例えば、前記実施形態および変形例では、視覚障碍者Ｈｕが使用する白杖１を例に挙げて説明した。本発明はこれに限らず、歩行者が高齢者である場合の杖等であってもよい。

また、前記実施形態および変形例では、視覚障碍者Ｈｕが安全に歩行できるようにするために正確な認識が要求される対象を横断歩道ＣＷとした場合を例に挙げて説明した。本発明はこれに限らず、歩道上の障害物（例えば駐輪している自転車等）や縁石等を対象としたものであってもよい。

また、前記実施形態および変形例では、白杖１が視覚障碍者Ｈｕの左右の何れの手で把持された状態であるかを推定した結果に応じて式（１７）の判定値（ｗ₃やｗ₅）を補正するようにしているが、本発明はこれに限られるものではない。例えば、前方画像を補正（前方画像の中心位置を左右方向に補正：視覚障碍者Ｈｕが白杖１を右手で把持している場合には前方画像上のｗ₅が長くなる傾向にあるので、該前方画像の中心位置を右側に移動させて前方画像上のｗ₅を所定量だけ短くするように補正し、視覚障碍者Ｈｕが白杖１を左手で把持している場合には前方画像上のｗ₃が長くなる傾向にあるので、該前方画像の中心位置を左側に移動させて前方画像上のｗ₃を所定量だけ短くするように補正）するようにしてもよい。

また、前記実施形態および変形例では、視覚障碍者Ｈｕが横断歩道ＣＷを横断する場合における左右方向の逸脱の警告を行う場合に対して本発明を適用することを例示した。本発明はこれに限らず、その他の歩行支援（前記停止指示や歩行指示等の歩行支援）に対しても適用が可能である。

また、前記実施形態および変形例では、白杖１に充電ソケット７０を備えさせ、家庭用電源からバッテリ（二次電池）６０を充電するようにしていた。本発明はこれに限らず、白杖１の表面に太陽光発電シートを貼り付けておき、当該太陽光発電シートで発電した電力によってバッテリ６０を充電するようにしてもよい。また、二次電池に代えて一次電池を使用するようになっていてもよい。また、白杖１に振り子式発電機を内蔵し、該振り子式発電機を利用してバッテリ６０を充電するようにしてもよい。

また、前記実施形態および変形例では、振動発生機５０の振動パターンによって通知の種類を分けるようにしていた。本発明はこれに限らず、音声によって通知を行うようにしてもよい。

本発明は、歩行する視覚障碍者に対して歩行支援を行う歩行支援装置としての白杖に適用可能である。

１ 白杖（歩行支援装置）
３ グリップ部（把持部）
１０ 歩行支援システム
２０ カメラ（画像取得手段）
８０ 制御装置
８５ 把持状態推定部
８６ 歩行支援情報生成部
９０ ＩＭＵ（慣性計測装置）
Ｈｕ 視覚障碍者（歩行者）
ｘ_g グローバル座標系
ｘ_c 杖座標系
ｘ_p カメラ座標系（画像取得手段座標系）
θ_l 左側の最大角度（左側の最大振り角度）
θ_r 右側の最大角度（右側の最大振り角度）

Claims (8)

1. 歩行者に把持され、当該歩行者の歩行方向前方の状況に応じて歩行を支援するための通知を前記歩行者に対して行う歩行支援装置であって、
   前記把持されている場合における前記歩行者の把持状態を推定する把持状態推定部と、
   前記把持状態推定部により推定された把持状態の推定結果に基づいて、前記歩行者に対する歩行支援のための情報を生成する歩行支援情報生成部と、
   を備えていることを特徴とする歩行支援装置。
2. 請求項１記載の歩行支援装置において、
   当該歩行支援装置は、視覚障碍者が把持する白杖であり、
   前記把持状態推定部は、前記把持状態として前記視覚障碍者が前記白杖を把持している手が右手であるか左手であるかを推定可能となっており、
   前記歩行支援情報生成部は、前記視覚障碍者が前記白杖を右手で把持している場合と左手で把持している場合とで、歩行支援のための前記通知を行うか否かを判断するための判定値を異なるものとした上で前記視覚障碍者に対する歩行支援のための情報を生成することを特徴とする歩行支援装置。
3. 請求項２記載の歩行支援装置において、
   前記視覚障碍者の歩行方向前方の画像を取得可能な画像取得手段、および、３軸加速度と３軸角速度とを取得可能な慣性計測装置が内蔵されており、
   路面基準のグローバル座標系、前記画像取得手段の位置を原点とする画像取得手段座標系、前記慣性計測装置の位置を原点とする杖座標系がそれぞれ設定されており、
   前記把持状態推定部は、前記各座標系の情報に基づいて、前記白杖の左右の振り角度が零の位置を推定すると共に、当該位置から前記白杖の左右の振り角度に基づいて、前記視覚障碍者が前記白杖を把持している手を推定する構成となっていることを特徴とする歩行支援装置。
4. 請求項３記載の歩行支援装置において、
   前記把持状態推定部は、前記画像取得手段座標系における前記画像取得手段の鉛直方向に対する傾きを求め、この鉛直方向との角度差を水平方向の角度差に変換し、左右の振り角度によって、前記視覚障碍者が前記白杖を把持している手を推定する構成となっていることを特徴とする歩行支援装置。
5. 請求項２記載の歩行支援装置において、
   前記歩行支援情報生成部は、歩行支援のための通知として、前記歩行者が横断歩道を横断する場合における左右方向の逸脱の警告を行うようになっており、
   前記視覚障碍者の歩行方向前方の画像を取得可能な画像取得手段を備えており、
   前記把持状態推定部は、前記画像取得手段によって取得された画像における前記横断歩道の画像内占有率に基づいて、前記視覚障碍者が前記白杖を把持している手を推定する構成となっていることを特徴とする歩行支援装置。
6. 請求項３記載の歩行支援装置において、
   前記把持状態推定部は、前記画像取得手段座標系における前記画像取得手段の傾き角度によって、前記視覚障碍者が前記白杖を把持している手を推定する構成となっていることを特徴とする歩行支援装置。
7. 請求項１または２記載の歩行支援装置において、
   前記歩行者が把持する把持部を備えており、
   前記把持状態推定部は、前記把持部に作用する圧力分布によって、前記歩行者が把持している手を推定する構成となっていることを特徴とする歩行支援装置。
8. 請求項１または２記載の歩行支援装置において、
   前記歩行者が把持する把持部を備えており、
   前記把持状態推定部は、前記把持部を把持する前記歩行者の手の指紋認証によって、前記歩行者が把持している手を推定する構成となっていることを特徴とする歩行支援装置。

Images