JP2022172511A - 歩行支援システム - Google Patents

Abstract

【課題】横断歩道上に障害物が存在する場合であっても、歩行者に対する歩行の停止通知を適切に行うことができる歩行支援システムを提供する。
【解決手段】横断歩道上に存在する障害物に起因して、横断歩道において最も手前側にある白線が検出できない場合には、カメラ２０が取得した画像での障害物における歩行者寄りの端縁位置を、横断歩道において最も手前側にある白線として設定する。これにより、振動発生機５０は、歩行者が、障害物における歩行者寄りの端縁位置の手前に達した時点で歩行者の停止を促すパターンでの振動を行うことになり、横断歩道上に障害物が存在する場合であっても、歩行者に対する歩行の停止通知を適切に行うことができる。
【選択図】図３

Description

本発明は歩行支援システムに係る。特に、本発明は、視覚障碍者等の歩行者に対し、横断歩道の手前で歩行の停止通知を行うシステムの改良に関する。

視覚障碍者等の歩行者が安全に横断歩道を横断できるように、当該歩行者に対して各種の通知（例えば横断歩道の手前での停止通知等）を行うシステム（歩行支援システム）として、特許文献１に開示されているものが知られている。この特許文献１には、視覚を用いずに行動する者（視覚障碍者）が歩く方向を決定する方向決定部と、決定した方向へ視覚障碍者が歩くためのガイド情報を生成するガイド情報生成部とを備え、視覚障碍者が携帯するカメラからの画像と、予め記憶されている参照画像とのマッチングによって視覚障碍者の歩行方向を決定し、音声等によって視覚障碍者に対して歩行方向を案内することが開示されている。

ところで、実際に歩行者（視覚障碍者等）が横断歩道に接近する状況において、信号機（例えば歩行者用信号機）が赤信号となっている際に歩行者が停止すべき位置は横断歩道の手前（例えば横断歩道から数ｍ手前）である。このため、歩行者に対して横断歩道の手前で歩行の停止通知を行う場合、横断歩道において最も手前側にある白線（最も歩行者寄りにある白線）の位置をカメラ等の画像取得手段からの情報によって正確に認識しておくことが必要である。特許文献１に開示されている歩行支援システムでは、カメラからの画像に基づき、視覚障碍者が横断歩道に近づいた際、横断歩道手前である旨の音声メッセージを出力するようになっている

再公表特許ＷＯ２０１８／０２５５３１号公報

ところで、横断歩道上に障害物（例えば路上駐車した車両等）が存在する場合であって、当該障害物が、横断歩道において最も手前側にある白線を覆い隠している状況（例えば、横断歩道の存在は認識されているものの、最も手前側にある白線が覆い隠されていることにより、当該白線の位置を正確に認識することができない状況）が発生することがある。このような状況が発生した場合、安全のために、例えば、障害物が認識された時点で歩行者に対して歩行の停止通知を行うようにすることが考えられる。しかし、この場合、必要以上に横断歩道の手前の位置で歩行者を停止させてしまう可能性があり、歩行者と横断歩道との間に別の障害物が入り込むなどして歩行再開時に歩行し難くなってしまうことが懸念される。このため、歩行支援システムの実用化を図る上で改良の余地があった。

本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、横断歩道上に障害物が存在する場合であっても、歩行者に対する歩行の停止通知を適切に行うことができる歩行支援システムを提供することにある。

前記の目的を達成するための本発明の解決手段は、歩行者が横断歩道に接近する状況において、当該歩行者に対して、横断歩道の手前での停止通知が可能な歩行支援システムを前提とする。そして、この歩行支援システムは、画像取得手段、横断歩道検出部、通知手段、端縁位置設定部を備えている。画像取得手段は、前記歩行者の歩行の前方の画像を取得する。横断歩道検出部は、前記画像取得手段が取得した画像に基づいて前記横断歩道の認識が可能であると共に、当該横断歩道における前記歩行者寄りの端縁位置を検出可能である。通知手段は、前記横断歩道検出部によって検出された前記横断歩道における前記歩行者寄りの端縁位置の手前に前記歩行者が達した場合に当該歩行者に対して停止を促す前記停止通知を行う。端縁位置設定部は、前記横断歩道上に存在する障害物に起因して、前記横断歩道検出部による当該横断歩道における前記歩行者寄りの端縁位置が検出できない場合に、前記画像取得手段が取得した画像での前記障害物における前記歩行者寄りの端縁位置を、前記横断歩道における前記歩行者寄りの端縁位置として設定する。

この特定事項により、横断歩道上に障害物が存在せず、画像取得手段が取得した画像に基づいて横断歩道における歩行者寄りの端縁位置が横断歩道検出部によって検出される状況（横断歩道上に障害物が存在していても、画像取得手段が取得した画像から横断歩道における歩行者寄りの端縁位置が検出できている状況を含む）では、横断歩道における歩行者寄りの端縁位置の手前に歩行者が達した時点で、通知手段が歩行者に対して停止を促す通知（停止通知）を行う。これに対し、横断歩道上に障害物が存在しており、この障害物に起因して、画像取得手段が取得した画像から横断歩道における歩行者寄りの端縁位置が検出できない状況では、端縁位置設定部が、前記画像での障害物における歩行者寄りの端縁位置を、横断歩道における歩行者寄りの端縁位置として設定する（障害物における歩行者寄りの端縁位置を、横断歩道における歩行者寄りの端縁位置とみなす処理を行う）。これにより、障害物における歩行者寄りの端縁位置の手前に歩行者が達した時点で、通知手段が歩行者に対して停止通知を行うことになる。このため、横断歩道上に障害物が存在する場合であっても、歩行者に対する停止通知を適切に行うことができる。

また、前記端縁位置設定部は、前記画像取得手段が取得した前記画像の下端位置と当該画像によって認識されている前記横断歩道の当該画像上での下端位置との間の距離である横断歩道乖離距離から、前記画像の下端位置と当該画像によって認識されている前記障害物の当該画像上での下端位置との間の距離である障害物乖離距離を減算した値が、予め設定された値よりも大きい場合に、前記画像での前記障害物における前記歩行者寄りの端縁位置を、前記横断歩道における前記歩行者寄りの端縁位置として設定する。

一般に横断歩道は、横断方向に対して直交する方向に延在する白線が横断方向に亘って所定間隔を存して複数配置されている。そして、横断歩道上に障害物が存在する状況としては、最も歩行者寄りの白線の全てが障害物によって覆い隠されている状況と、最も歩行者寄りの白線の一部が障害物によって覆い隠されている状況とがある。

最も歩行者寄りの白線の全てが障害物によって覆い隠されている状況にあっては、最も歩行者寄りの白線よりも奥側（歩行者から遠い側）に位置する白線については検出できている場合があるため、横断歩道乖離距離（画像の下端位置と当該画像によって認識されている横断歩道の当該画像上での下端位置との間の距離；この場合には画像の下端位置と奥側に位置する白線の下端位置との間の距離）から、障害物乖離距離（画像の下端位置と当該画像によって認識されている障害物の当該画像上での下端位置との間の距離）を減算した値は比較的大きな値として得られることになる。この場合、画像取得手段が取得した画像での障害物における歩行者寄りの端縁位置を、横断歩道における歩行者寄りの端縁位置として設定し、障害物における歩行者寄りの端縁位置（横断歩道における歩行者寄りの端縁位置と見なされた位置）の手前に歩行者が達した時点で、通知手段が歩行者に対して停止通知を行うことになる。

一方、最も歩行者寄りの白線の一部が障害物によって覆い隠されている状況にあっては、この白線の一部が歩行者寄りの端縁位置として横断歩道検出部によって検出することができ、横断歩道乖離距離から障害物乖離距離を減算した値は比較的小さな値（負の値の場合も含む）として得られることになる。この場合、画像取得手段が取得した画像での障害物における歩行者寄りの端縁位置を利用することなく、横断歩道検出部によって検出された、実際の横断歩道における歩行者寄りの端縁位置（最も歩行者寄りの白線の端縁位置）を利用し、この歩行者寄りの端縁位置の手前に歩行者が達した時点で、通知手段が歩行者に対して停止通知を行うことになる。

このように横断歩道乖離距離から障害物乖離距離を減算した値に応じて、停止通知を行うに当たって採用すべき端縁位置（横断歩道における歩行者寄りの端縁位置または障害物における歩行者寄りの端縁位置）を選択することにより、歩行者に対する停止通知を適切に行うことができる。

また、前記横断歩道検出部による前記横断歩道の認識がされない状態が所定時間継続した場合に、システムを停止すると共にその旨の情報を通知手段に向けて送信するシステム停止部を備えている。

横断歩道上に障害物が存在する状況としては、前述した各状況以外に、画像取得手段が取得した画像上において横断歩道の全体が障害物によって覆い隠されている（横断歩道の殆どの白線または全ての白線が障害物によって覆い隠されている）状況もある。このような状況にあっては、画像取得手段が取得した画像から横断歩道の存在を認識することができない（横断歩道の存在の有無を判断することができない）。つまり、横断歩道が存在しないにも拘わらず停止通知（障害物が存在していることに起因して停止通知）を行ってしまう可能性があり、歩行支援システムの作動の信頼性（停止通知の信頼性）を十分に得ることができない状態である。このため、このような状況では、横断歩道の認識がされない状態が所定時間継続することになるので、それを条件として、システムを停止し、誤った停止通知が行われてしまうことを回避すると共に、システムが停止した旨の情報を通知手段に向けて送信し、該通知手段から歩行者に対してシステムが停止したことを知らせる。これにより、横断歩道の全体が障害物によって覆い隠されている状況でのシステムの誤作動を抑制することができると共にシステムが停止したことを歩行者に知らせることができる。

また、前記画像取得手段、前記横断歩道検出部、前記通知手段、および、前記端縁位置設定部それぞれを、視覚障碍者が使用する白杖に内蔵させた場合には、白杖のみで歩行支援システムを実現することができ、実用性の高い歩行支援システムを提供することができる。

また、前記通知手段は、振動または音声によって、前記視覚障碍者に向けて通知を行う構成となっている。

これにより、白杖を持ちながら歩行する視覚障碍者（前記歩行者）に対して停止通知を適切に行うことができる。

本発明では、横断歩道上に存在する障害物に起因して、当該横断歩道における歩行者寄りの端縁位置が検出できない場合には、画像取得手段が取得した画像での障害物における歩行者寄りの端縁位置を、横断歩道における歩行者寄りの端縁位置として設定するようにしている。これにより、障害物における歩行者寄りの端縁位置の手前に歩行者が達した時点で、通知手段が歩行者に対して停止通知を行うことになり、横断歩道上に障害物が存在する場合であっても、歩行者に対する停止通知を適切に行うことができる。

実施形態に係る歩行支援システムを内蔵した白杖を示す図である。 白杖のグリップ部の内部を示す概略図である。 歩行支援システムの制御系の概略構成を示すブロック図である。 カメラで撮影された画像の一例を示す図である。 視覚障碍者が横断歩道に向かう歩行状態にある際に、カメラで撮影された画像の一例を示す図である。 視覚障碍者が横断歩道に達したタイミングにおいてカメラで撮影された画像の一例を示す図である。 視覚障碍者が横断歩道の横断状態にある際に、カメラで撮影された画像の一例を示す図である。 横断歩道の横断状態にある視覚障碍者が横断歩道の右側に逸脱する方向に向かって歩行している際に、カメラで撮影された画像の一例を示す図である。 横断歩道の横断状態にある視覚障碍者が横断歩道の左側に逸脱する方向に向かって歩行している際に、カメラで撮影された画像の一例を示す図である。 認識された横断歩道および信号機の画像を示す図である。 認識された横断歩道の白線のBoundary Boxにおける各部の寸法を説明するための図である。 カメラで撮影された画像内に車両が存在する第１のパターンを示す図である。 カメラで撮影された画像内に車両が存在する第２のパターンを示す図である。 カメラで撮影された画像内に車両が存在する第３のパターンを示す図である。 カメラで撮影された画像内に車両が存在する第４のパターンを示す図である。 第４のパターンにおける横断歩道乖離距離および障害物乖離距離を説明するための図である。 歩行支援システムによる歩行支援動作の手順の一部を示すフローチャート図である。 歩行支援システムによる歩行支援動作の手順の他の一部を示すフローチャート図である。

以下、本発明の実施の形態を図面に基づいて説明する。本実施形態では、本発明に係る歩行支援システムを、視覚障碍者が使用する白杖に内蔵した場合について説明する。尚、本発明における歩行者としては視覚障碍者に限定されるものではない。

－白杖の概略構成－
図１は、本実施形態に係る歩行支援システム１０を内蔵した白杖１を示す図である。この図１に示すように、白杖１は、シャフト部２、グリップ部３、チップ部（石突き）４を備えている。

シャフト部２は、中空の略円形断面を有するロッド状であって、アルミニウム合金やガラス繊維強化樹脂、炭素繊維強化樹脂等で形成されている。

グリップ部３は、シャフト部２の基端部（上端部）にゴム等の弾性体で成るカバー３１が装着されて構成されている。また、本実施形態における白杖１のグリップ部３は、視覚障碍者（歩行者）が把持する際の持ち易さと滑り難さを考慮し、先端側（図１における上側）が僅かに湾曲した形状となっている。

チップ部４は、硬質の合成樹脂などで形成された略有底筒状の部材であって、シャフト部２の先端部に外挿されて接着やねじ止めなどの手段で固定されている。尚、チップ部４は、安全のために、先端側の端面が半球状となっている。

本実施形態に係る白杖１は、折り畳み不能な直杖であるが、シャフト部２の中間の一箇所または複数箇所で折り畳み可能或いは伸縮可能とされたものであってもよい。

－歩行支援システムの構成－
本実施形態の特徴は、前記白杖１に内蔵された歩行支援システム１０にある。以下、この歩行支援システム１０について説明する。

図２は、白杖１のグリップ部３の内部を示す概略図である。この図２に示すように、本実施形態に係る歩行支援システム１０は、白杖１に内蔵されている。また、図３は、歩行支援システム１０の制御系の概略構成を示すブロック図である。

これらの図に示すように、歩行支援システム１０は、カメラ（画像取得手段）２０、近距離無線通信機４０、振動発生機（通知手段）５０、バッテリ６０、充電ソケット７０、制御装置８０等を備えている。

カメラ２０は、グリップ部３の根元部における当該グリップ部３の前面（視覚障碍者の進行方向に向く面）に埋め込まれ、視覚障碍者の進行方向前側を撮影する。このカメラ２０は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で成る。また、カメラ２０の構成や配設位置は前述したものには限定されず、例えば、シャフト部２の前面（視覚障碍者の進行方向に向く面）に埋め込まれたものであってもよい。

このカメラ２０の特徴としては、歩行する視覚障碍者の進行方向の前方の画像であって、当該視覚障碍者が横断歩道に達した際における、当該横断歩道の白線のうち視覚障碍者に最も近い位置にある白線、および、視覚障碍者の前方に位置する信号機（例えば歩行者用信号機）の両方を含む画像を取得可能な広角のカメラとして構成されている。つまり、視覚障碍者が横断歩道の手前まで達した時点で、視覚障碍者の足元付近（足元から少し前方の位置）に存在する横断歩道における最も手前側にある白線と、横断先の地点に設置された信号機との両方を撮影可能な構成となっている。このカメラ２０において必要とされる視野角度は、前述したように視覚障碍者に最も近い位置にある白線（横断歩道の白線）および信号機の両方を含む画像を取得可能なものとして適宜設定される。

近距離無線通信機４０は、前記カメラ２０と制御装置８０との間で近距離無線通信を行うための無線通信装置である。例えば、周知のBluetooth（登録商標）等の通信手段によって、カメラ２０と制御装置８０との間で近距離無線通信を行い、カメラ２０が撮影した画像の情報を制御装置８０に向けて無線送信する構成となっている。

振動発生機５０は、グリップ部３の根元部における前記カメラ２０の上側に配設されている。この振動発生機５０は、内蔵されたモータの作動に伴って振動し、その振動をグリップ部３に伝達することによって、当該グリップ部３を把持している視覚障碍者に向けて種々の通知が行えるようになっている。この振動発生機５０の振動による視覚障碍者に向けての通知の具体例については後述する。

バッテリ６０は、前記カメラ２０、近距離無線通信機４０、振動発生機５０、制御装置８０のための電力を蓄電する二次電池で構成されている。

充電ソケット７０は、バッテリ６０に電力を蓄える際に充電ケーブルが接続される部分である。例えば、視覚障碍者が在宅中に家庭用電源からバッテリ６０を充電する際に充電ケーブルが接続される。

制御装置８０は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサ、制御プログラムを記憶するＲＯＭ（Read-Only Memory）、データを一時的に記憶するＲＡＭ（Random-Access Memory）、および、入出力ポート等を備えている。

そして、この制御装置８０は、前記制御プログラムによって実現される機能部として、情報受信部８１、横断歩道検出部８２、端縁位置設定部８３、信号機判断部８４、切り替わり認識部８５、情報送信部８６、システム停止部８７を備えている。以下、これら各部の機能の概略について説明する。

情報受信部８１は、前記カメラ２０が撮影した画像の情報を、当該カメラ２０から近距離無線通信機４０を介して所定時間間隔をもって受信する。

横断歩道検出部８２は、情報受信部８１が受信した画像の情報（カメラ２０によって撮影された画像の情報）における当該画像中における、横断歩道を認識したり、横断歩道における各白線の位置を検出する。特に、横断歩道における各白線のうち、最も歩行者寄りの端縁位置（手前の位置）を検出する。

具体的には、図４（カメラ２０で撮影された画像の一例を示す図）に示すように、横断歩道ＣＷを構成する複数の白線ＷＬ１～ＷＬ７に対してBoundary Box（図４の一点鎖線を参照）を設定する。例えば周知のマッチング処理によって横断歩道ＣＷの白線ＷＬ１～ＷＬ７を確定し、これら確定された白線ＷＬ１～ＷＬ７に対してBoundary Boxを設定する。また、予めアノテーションされた白線のデータ（ラベルが付けられた白線のデータ）を利用して白線ＷＬ１～ＷＬ７を確定し、これら確定された白線ＷＬ１～ＷＬ７に対してBoundary Boxを設定するようにしてもよい。

そして、横断歩道検出部８２は、これらBoundary Boxのうち最も歩行者寄りのBoundary Boxの下端位置（図４におけるＬＮを参照）を検出する。この下端位置が本発明でいう「横断歩道における歩行者寄りの端縁位置」に相当する。本実施形態では、各白線ＷＬ１～ＷＬ７に対してBoundary Boxを設定し、画像上において最も下側に位置するBoundary Boxの下端位置ＬＮを「横断歩道における歩行者寄りの端縁位置」としているが、Boundary Boxを設定することなく、画像上において確定された複数の白線ＷＬ１～ＷＬ７のうち最も下側に位置する白線ＷＬ１の下端位置を「横断歩道における歩行者寄りの端縁位置」とするものであってもよい。

尚、前記Boundary Boxは、後述するように、視覚障碍者の停止位置の特定、信号機ＴＬの位置の特定、視覚障碍者が横断歩道ＣＷを横断する際の進行方向の特定、横断歩道ＣＷの横断完了の判断等に利用される。これらの詳細については後述する。

端縁位置設定部８３は、本実施形態において特徴とする機能部であって、横断歩道ＣＷ上に路上駐車した車両等の障害物が存在する場合に（図１４および図１５を参照）、振動発生機５０の振動によって視覚障碍者に向けて停止通知を行うに際し、その停止通知を行うための位置（横断歩道ＣＷにおける歩行者寄りの端縁位置とみなす位置）を求めるための処理を行う機能部である。つまり、横断歩道ＣＷ上に存在する障害物Ｖに起因して、横断歩道検出部８２による横断歩道ＣＷにおける歩行者寄りの端縁位置（前記下端位置ＬＮ）が検出できない場合に、カメラ２０によって撮影された画像での障害物Ｖにおける歩行者寄りの端縁位置を、横断歩道ＣＷにおける歩行者寄りの端縁位置として設定するものである。言い換えると、端縁位置設定部８３は、障害物Ｖにおける歩行者寄りの端縁位置を、横断歩道ＣＷにおける歩行者寄りの端縁位置とみなす処理が可能な機能部である。横断歩道ＣＷ上に障害物Ｖが存在する場合において、歩行者寄りの端縁位置を設定する処理の詳細については後述する。

信号機判断部８４は、情報受信部８１が受信した画像の情報から信号機ＴＬの状態が、赤信号（停止指示状態）および青信号（横断許可状態）の何れであるかを判断する。情報受信部８１が受信した画像上における信号機ＴＬの存在領域を推定するに当たっては、前述の如く認識された白線ＷＬ１～ＷＬ７に設定されたBoundary Boxのうち、最も遠い位置にあるBoundary Boxの画像内座標を特定すると共に、図４に示すように、前記Boundary Box（認識された白線ＷＬ１～ＷＬ７のうち最も遠い位置にある白線ＷＬ７に設定されたBoundary Box）の上辺に接する四角形（幅寸法がｗ_ｓ、高さ寸法がｈ_ｓの四角形）を規定し、これを信号機ＴＬの領域（信号機ＴＬの存在領域）ＡとしてのＣｒｏｐ範囲を出力する。この際、Ｃｒｏｐ範囲は正方形であってもよいし長方形であってもよい。尚、この信号機判断部８４によって行われる信号機の状態の判断（色の検出）は、一般的な物体検出アルゴリズムまたはルールベースアルゴリズムが用いられる。

切り替わり認識部８５は、前記信号機判断部８４によって判断された信号機ＴＬの状態が、赤信号から青信号に切り替わったことを認識する。この信号の切り替わりを認識した際、この切り替わり認識部８５は、切り替わり信号を情報送信部８６に送信する。この切り替わり信号は、情報送信部８６から振動発生機５０に送信される。振動発生機５０は、この切り替わり信号を受けたことに連動して、所定のパターンで振動し、視覚障碍者に、信号機ＴＬが赤信号から青信号に切り替わったことに起因して横断歩道の横断を許可する通知（横断開始通知）を行うことになる。

システム停止部８７は、前記横断歩道検出部８２による横断歩道ＣＷの認識がされない状態が所定時間継続した場合に、歩行支援システム１０を停止すると共にその旨の情報を情報送信部８６を介して振動発生機５０に送信する。ここでいう「歩行支援システム１０を停止する」とは、少なくとも振動発生機５０の振動による各種の通知を停止した状態である。この歩行支援システム１０を停止させる際の処理の詳細については後述する。

－歩行支援動作－
次に、前述の如く構成された歩行支援システム１０による歩行支援動作について説明する。先ず、本実施形態の概要について説明する。

（本実施形態の概要）
ここでは、視覚障碍者の歩行中における時間をｔ∈[０，Ｔ]と表し、当該視覚障碍者の状態を表す変数（状態変数）をｓ∈Ｒ^Ｔとする。また、時刻ｔのときの状態変数はｓ_ｔ∈{－１，０，１，２}の整数で表現され、それぞれ、システム停止状態（ｓ_ｔ＝－１）、歩行状態（ｓ_ｔ＝０）、停止状態（ｓ_ｔ＝１）、横断状態（ｓ_ｔ＝２）を表すものとする。ここでいうシステム停止状態とは、システムの停止条件が成立したことにより歩行支援システム１０が停止した状態である。具体的には、前述したように、本実施形態に係る歩行支援システム１０では、横断歩道検出部８２による横断歩道ＣＷの認識がされない状態が所定時間継続（システムの停止条件が成立）した場合に歩行支援システム１０を停止するようになっており、システム停止状態とは、このシステムの停止条件が成立したことで歩行支援システム１０が停止した状態である。歩行状態とは、例えば歩行者が交差点（信号機ＴＬおよび横断歩道ＣＷのある交差点）に向かって歩行している状態が想定される。また、停止状態とは、視覚障碍者が横断歩道ＣＷの手前に達し、信号待ちによって（赤信号から青信号に切り替わるのを待って）停止している状態（歩行していない状態）が想定される。また、横断状態とは、視覚障碍者が横断歩道ＣＷを横断している状態が想定される。

本実施形態は、時刻ｔでカメラ２０によって撮影された画像Ｘ_ｔ∈Ｒ^{ｗ０×ｈ０}（ｗ_０，ｈ_０はそれぞれ画像の縦と横の画像サイズを表す）が入力された際に、視覚障碍者の歩行を支援することを目的とした出力ｙ∈Ｒ^Ｔを求めるアルゴリズムを提案するものとなっている。ここで、視覚障碍者の歩行を支援する出力としては、ｙ_ｔ∈{１，２，３，４，５}の整数で表現され、それぞれ、停止指示（ｙ_ｔ＝１）、歩行指示（ｙ_ｔ＝２）、右逸脱警告（ｙ_ｔ＝３）、左逸脱警告（ｙ_ｔ＝４）、システム停止通知（ｙ_ｔ＝５）を表すものとする。以下の説明では停止指示を停止通知という場合もある。また、歩行指示を歩行通知または横断通知という場合もある。これらの指示（通知）および警告は、振動発生機５０の振動のパターンによって視覚障碍者に対して行われる。視覚障碍者は、予め、指示（通知）および警告と、振動発生機５０の振動のパターンとの関係を把握しており、振動発生機５０の振動のパターンをグリップ部３から感じ取ることで指示および警告の種類を把握することになる。

また、後述するように、視覚障碍者の状態を表す変数ｓの遷移を判定する関数（以下、状態遷移関数という）ｆ_０，ｆ_１，ｆ_２と、横断歩道からの逸脱（左右方向への逸脱）を判断する状態遷移関数ｆ_３が存在しており、これら状態遷移関数ｆ_０～ｆ_３が前記ＲＯＭに記憶されている。これら状態遷移関数ｆ_０～ｆ_３の具体例については後述する。

（出力変数ｙおよび状態遷移関数ｆ_ｉの概要）
前述した視覚障碍者の歩行を支援する出力ｙ_ｔ∈{１，２，３，４，５}について説明する。

前述したように出力ｙ_ｔとしては、視覚障碍者の歩行支援を目的として、停止指示（ｙ_ｔ＝１）、歩行指示（ｙ_ｔ＝２）、右逸脱警告（ｙ_ｔ＝３）、左逸脱警告（ｙ_ｔ＝４）、システム停止通知（ｙ_ｔ＝５）の５種類の出力が存在する。

停止指示（ｙ_ｔ＝１）は、歩行する視覚障碍者が横断歩道の手前まで達した時点で当該視覚障碍者に歩行を停止する旨の通知を行うものである。例えば、カメラ２０で撮影された画像が、図５（視覚障碍者が横断歩道ＣＷに向かう歩行状態にある際に、カメラ２０で撮影された画像の一例を示す図）に示す状態であれば、横断歩道ＣＷまでの距離が比較的長いため、停止指示（ｙ_ｔ＝１）は行わず、視覚障碍者は歩行状態（ｓ_ｔ＝０）が継続され、カメラ２０で撮影された画像が、図６（視覚障碍者が横断歩道ＣＷに達したタイミングにおいてカメラ２０で撮影された画像の一例を示す図）に示す状態となった場合には、視覚障碍者が横断歩道ＣＷの手前に達したタイミングであることから、停止指示（ｙ_ｔ＝１）を出力して、当該視覚障碍者に歩行を停止する旨の通知を行うことになる。この停止指示（ｙ_ｔ＝１）を行う条件が成立しているか否かの判定（状態遷移関数の算出結果に基づく判定）については後述する。

歩行指示（ｙ_ｔ＝２）は、信号機ＴＬが赤信号から青信号に切り替わったことで、視覚障碍者に歩行（横断歩道ＣＷの横断）を指示する旨の通知を行うものである。例えば、横断歩道ＣＷの手前で視覚障碍者が停止状態（ｓ_ｔ＝１）にある状況で、カメラ２０で撮影された画像に基づいて信号機ＴＬが赤信号から青信号に切り替わった場合に、歩行指示（ｙ_ｔ＝２）を出力して、当該視覚障碍者に横断歩道ＣＷの横断を開始する旨の通知を行う。この歩行指示（ｙ_ｔ＝２）を行う条件が成立しているか否かの判定（状態遷移関数の算出結果に基づく判定）についても後述する。

そして、本実施形態では、この歩行指示（ｙ_ｔ＝２）を行うタイミングとして、信号機ＴＬの状態が赤信号から青信号に切り替わったタイミングとしている。つまり、仮に、視覚障碍者が横断歩道ＣＷに達した時点で既に信号機ＴＬが青信号となっていたとしても歩行指示（ｙ_ｔ＝２）は行わず、信号機ＴＬが一旦赤信号となり、その後に青信号に切り替わったタイミングで歩行指示（ｙ_ｔ＝２）を行うようにしている。これによって、視覚障碍者が横断歩道ＣＷを横断するに当たって、信号機ＴＬが青信号となっている時間を十分に確保することができるようにし、視覚障碍者が横断歩道ＣＷを横断している途中で信号機ＴＬが青信号から赤信号に切り替わってしまうといった状況を招き難くしている。

右逸脱警告（ｙ_ｔ＝３）は、横断歩道ＣＷを横断している視覚障碍者が横断歩道ＣＷから右側に逸脱する方向に向かって歩行している際に、当該視覚障碍者に対して横断歩道ＣＷから右側に逸脱する虞があることの警告を行うものである。例えば、カメラ２０で撮影された画像が図７（視覚障碍者が横断歩道ＣＷの横断状態にある際に、カメラ２０で撮影された画像の一例を示す図）に示す状態にあって、視覚障碍者が横断歩道ＣＷの横断状態（ｓ_ｔ＝２）にある状況で、カメラ２０で撮影された画像が、図８（横断歩道ＣＷの横断状態にある視覚障碍者が横断歩道ＣＷの右側に逸脱する方向に向かって歩行している際に、カメラ２０で撮影された画像の一例を示す図）に示す状態となった場合には、視覚障碍者が横断歩道ＣＷから右側に逸脱する方向に向かって歩行していることから、右逸脱警告（ｙ_ｔ＝３）を出力して、当該視覚障碍者に警告を行うことになる。

左逸脱警告（ｙ_ｔ＝４）は、横断歩道ＣＷを横断している視覚障碍者が横断歩道ＣＷから左側に逸脱する方向に向かって歩行している際に、当該視覚障碍者に対して横断歩道ＣＷから左側に逸脱する虞があることの警告を行うものである。例えば、カメラ２０で撮影された画像が図７に示す状態にあって、視覚障碍者が横断歩道ＣＷの横断状態（ｓ_ｔ＝２）にある状況で、カメラ２０で撮影された画像が、図９（横断歩道ＣＷの横断状態にある視覚障碍者が横断歩道ＣＷの左側に逸脱する方向に向かって歩行している際に、カメラ２０で撮影された画像の一例を示す図）に示す状態となった場合には、視覚障碍者が横断歩道ＣＷから左側に逸脱する方向に向かって歩行していることから、左逸脱警告（ｙ_ｔ＝４）を出力して、当該視覚障碍者に警告を行うことになる。

これら右逸脱警告（ｙ_ｔ＝３）および左逸脱警告（ｙ_ｔ＝４）を行う条件が成立しているか否かの判定（状態遷移関数の算出結果に基づく判定）についても後述する。

システム停止通知（ｙ_ｔ＝５）は、システムの停止条件が成立した際に、視覚障碍者に歩行支援システム１０が停止したことの通知を行うものである。具体的には、横断歩道ＣＷ上に障害物Ｖが存在する状況で、カメラ２０が取得した画像上において横断歩道ＣＷの全体が障害物Ｖによって覆い隠されている（横断歩道ＣＷの殆どの白線または全ての白線ＷＬ１～ＷＬ７が障害物Ｖによって覆い隠されている）状況にあっては、カメラ２０が取得した画像から横断歩道ＣＷの存在を認識することができない（横断歩道ＣＷの存在の有無を判断することができない）。つまり、横断歩道ＣＷが存在しないにも拘わらず停止通知（障害物Ｖが存在していることに起因して停止通知）を行ってしまう可能性があり、歩行支援システム１０の作動の信頼性（停止通知の信頼性）を十分に得ることができない。このため、このような状況では、横断歩道ＣＷの認識がされない状態が所定時間継続することになるので、それを条件として、歩行支援システム１０を停止し、誤った停止通知が行われてしまうことを回避すると共に、歩行支援システム１０が停止した旨の情報を振動発生機５０に送信し、該振動発生機５０から歩行者に対して歩行支援システム１０が停止したことを知らせるようにしている。

（歩行支援で用いる特徴量）
次に、視覚障碍者に対する歩行支援で用いる特徴量について説明する。視覚障碍者に対して、横断歩道ＣＷの手前での歩行の停止通知、および、その後の横断開始通知等の各種通知を適切に行うためには、横断歩道ＣＷの位置（横断歩道ＣＷにおいて最も手前側にある白線ＷＬ１の位置）、および、信号機ＴＬの状態（青信号であるか赤信号であるか）をカメラ２０からの情報によって正確に認識しておくことが必須である。つまり、白線ＷＬ１の位置および信号機ＴＬの状態を反映させたモデル式を構築しておき、このモデル式に従って、現在、視覚障碍者が置かれている状況を把握できるようにしておく必要がある。

尚、以下における特徴量および状態遷移関数の説明は、歩行支援システム１０の基本的な動作として、横断歩道ＣＷ上に障害物Ｖが存在しておらず、カメラ２０が取得した画像上において横断歩道ＣＷが認識されている（少なくとも最も手前に位置する白線ＷＬ１が認識されている）状態である場合について説明する。

図１０および図１１は、視覚障碍者に対する歩行支援で用いる特徴量{ｗ_３，ｗ_４，ｗ_５，ｈ_３，ｒ，ｂ}^Ｔ∈Ｒ^６の概要を示している。ｒ，ｂは、それぞれ信号機ＴＬの状態（赤信号および青信号）の検出結果（０：未検出、１：検出）を表している。この信号機ＴＬの状態の検出に際し、前述したように図４において破線で囲まれた領域Ａが抽出されることで信号機ＴＬの状態の認識が行われることになる。また、ｗ_３，ｗ_４，ｗ_５，ｈ_３は、前記横断歩道検出部８２によって認識された横断歩道ＣＷの白線ＷＬ１～ＷＬ７のうち、最も手前に位置する白線ＷＬ１に対するBoundary Boxを用いて図１１に示すように定義される。つまり、ｗ_３は画像の左端からBoundary Boxの左端（白線ＷＬ１の左端に相当）までの距離であり、ｗ_４はBoundary Boxの幅寸法（白線ＷＬ１の幅寸法に相当）であり、ｗ_５は画像の右端からBoundary Boxの右端（白線ＷＬ１の右端に相当）までの距離であり、ｈ_３は画像の下端からBoundary Boxの下端（白線ＷＬ１の手前側の端縁に相当）までの距離である。

深層学習を用いて横断歩道ＣＷおよび信号機ＴＬを検出する関数をｇとした場合、時刻ｔでカメラ２０によって撮影された画像Ｘ_ｔ∈Ｒ^{ｗ０×ｈ０}を用いて予測された横断歩道ＣＷおよび信号機ＴＬのBoundary Boxをｇ（Ｘｔ）と表現すると、視覚障碍者の歩行を支援するために必要な特徴量としては、以下の式（１）として表現できる。

ここで、

は前記特徴量ｊ（ｔ）を抽出する演算子であり、前記ｇ（Ｘｔ）に対する後処理を行うためのものであり、ｐ１は１フレーム当たりのBoundary Boxの最大数である。

（状態遷移関数）
次に、状態遷移関数について説明する。この状態遷移関数は、前述したように、停止指示（ｙ_ｔ＝１）、歩行指示（ｙ_ｔ＝２）、右逸脱警告（ｙ_ｔ＝３）、左逸脱警告（ｙ_ｔ＝４）それぞれの通知を行う条件が成立しているか否かを判定するために用いられるものである。

時刻ｔ＋１での状態量（状態変数）ｓ_ｔ＋１は、横断歩道ＣＷの特徴量に対する時刻履歴情報Ｊ＝｛ｊ（０），ｊ（１），…ｊ（ｔ）｝と、現在の状態量（状態変数）ｓ_ｔ、および、時刻ｔ＋１で撮影された画像Ｘ_ｔ＋１を用いて以下の式（３）のように表すことができる。

この式（３）における状態遷移関数ｆは、現在時刻の状態量に応じて以下の式（４）のように定義することができる。

つまり、視覚障碍者の歩行の推移としては、歩行（例えば横断歩道ＣＷに向かう歩行）→停止（例えば横断歩道ＣＷの手前での停止）→横断（例えば横断歩道ＣＷの横断）→歩行（例えば横断歩道ＣＷの横断完了後の歩行）を繰り返すことになるが、歩行状態（ｓ_ｔ＝０）にある視覚障碍者に対して停止指示（ｙ_ｔ＝１）を行う条件の成立の有無を判定するための状態遷移関数がｆ_０（Ｊ，Ｘ_ｔ＋１）であり、停止状態（ｓ_ｔ＝１）にある視覚障碍者に対して横断（歩行）指示（ｙ_ｔ＝２）を行う条件の成立の有無を判定するための状態遷移関数がｆ_１（Ｊ，Ｘ_ｔ＋１）であり、横断状態（ｓ_ｔ＝２）にある視覚障碍者に対して歩行（横断の完了）の通知を行う条件の成立の有無を判定するための状態遷移関数がｆ_２（Ｊ，Ｘ_ｔ＋１）である。また、横断状態（ｓ_ｔ＝２）にある視覚障碍者に対して横断歩道ＣＷからの逸脱の警告を行う条件の成立の有無を判定するための状態遷移関数がｆ_３（Ｊ，Ｘ_ｔ＋１）である。

以下、各状態量（状態変数）それぞれに応じた状態遷移関数について具体的に説明する。

（歩行状態で適用される状態遷移関数）
現在時刻の状態量が歩行状態（ｓ_ｔ＝０）である場合に使用される状態遷移関数ｆ_０（ｊ，Ｘ_ｔ＋１）は、前記式（１）の特徴量を用いて以下の式（５）～（７）とすることができる。

ここで、ＨはHeaviside関数であり、δはDelta関数である。また、α_１，α_２は判定基準に用いられるパラメータであり、ｔ０は利用する過去の状態を指定するパラメータである。また、Ｉ_２＝｛０，１，０，０，０，０｝^Ｔ、Ｉ_４＝｛０，０，０，１，０，０｝^Ｔである。

この式（５）を用いれば、α_１＞ｈ_３、且つ、ｗ_４＞α_２の条件が過去ｔ０時間では成立しておらず、時刻ｔ＋１で初めて成立した場合にのみ「１」が得られ、それ以外の場合には「０」が得られることになる。つまり、α_１＞ｈ_３が成立したことで、視覚障碍者の足元に、横断歩道ＣＷにおける最も手前に位置する白線ＷＬ１（白線のBoundary Boxの下端）が位置し、ｗ_４＞α_２が成立したことで、その白線ＷＬ１は視覚障碍者の進行方向に直交する方向に延在する（白線のBoundary Boxの幅寸法が所定寸法を超えている）ものであることが判定された場合に「１」が得られるものとなっている。

このようにして式（５）において「１」が得られた場合には、停止指示（ｙ_ｔ＝１）を行う条件が成立したとして、歩行状態にある視覚障碍者に停止指示（例えば横断歩道ＣＷの手前での歩行の停止指示；停止通知）を行うことになる。

また、本実施形態では、横断歩道ＣＷが視覚障碍者の足元にある条件を（α_１＞ｈ_３）だけでなく、検出された横断歩道ＣＷの幅の制約（ｗ_４＞α_２）を加えていることで、視覚障碍者の進行方向にある横断歩道ＣＷ以外の横断歩道（交差点において、視覚障碍者の進行方向に直交する方向の横断歩道等）が、画像Ｘ_ｔ＋１に含まれる場合の誤検知を防止している。つまり、道路の交差点等において横断方向が互いに異なる複数の横断歩道が存在している場合であっても、視覚障碍者が横断すべき横断歩道ＣＷ（白線ＷＬ１が、視覚障碍者が横断すべき方向に対して交差する方向に延びていることで、当該白線ＷＬ１の幅寸法が比較的広く認識されている横断歩道ＣＷ）とその他の横断歩道（白線の幅寸法が比較的狭く認識されている横断歩道）とを明確に判別することができ、視覚障碍者に向けての横断の開始通知を高い精度で正確に行うことが可能になっている。

（停止状態で適用される状態遷移関数）
前時刻の状態量が停止状態（ｓ_ｔ＝１）である場合に使用される状態遷移関数ｆ_１（ｊ，Ｘ_ｔ＋１）は、以下の式（８）～（１０）とすることができる。

ここでＸ’_ｔ＋１は、Ｘ_ｔ＋１から画像のトリミングと拡大処理とを行って得られたものである。つまり、信号機ＴＬの認識精度が十分に高められた画像Ｘ’_ｔ＋１となっている。また、Ｉ_５＝｛０，０，０，０，１，０｝^Ｔ、Ｉ_６＝｛０，０，０，０，０，１｝^Ｔである。

式（８）では、過去ｔ０時間に赤信号を検知した後で、時刻ｔ＋１で初めて青信号を検知した場合にのみ「１」が得られ、それ以外の場合には「０」が得られることになる。

このようにして式（８）において「１」が得られた場合には、歩行（横断）指示（ｙ_ｔ＝２）を行う条件が成立したとして、停止状態にある視覚障碍者に横断指示（例えば横断歩道の横断指示；横断通知）を行うことになる。

また、信号機がない交差点の横断歩道では前述のロジックでの状態遷移ができない場合がある。この課題を解決するために、新たなパラメータｔ１＞ｔ０を導入し、時間ｔ１の間、停止状態からの状態遷移がないと判断された場合に、歩行状態に遷移するようにしてもよい。

（横断状態で適用される状態遷移関数）
前時刻の状態量が横断状態（ｓ_ｔ＝２）である場合に使用される状態遷移関数ｆ_２（ｊ，Ｘ_ｔ＋１）は、以下の式（１１）とすることができる。

この式（１１）では、過去ｔ－ｔ０から、現在時刻ｔ＋１の間に一度も信号機および足元の横断歩道ＣＷが検出できなかった場合にのみ「１」が得られ、それ以外の場合には「０」が得られることになる。つまり、横断歩道ＣＷを渡りきったことで信号機ＴＬおよび足元の横断歩道ＣＷが検出できなかった場合にのみ「１」が得られることになる。

このようにして式（１１）において「１」が得られた場合には、横断完了の通知を行う条件が成立したとして、歩行状態にある視覚障碍者に横断完了（横断歩道の横断の完了）の通知を行うことになる。

（横断歩道からの逸脱を判定する状態遷移関数）
視覚障碍者の横断歩道ＣＷの横断中に、横断歩道ＣＷからの逸脱を判定する状態遷移関数ｆ_３（ｊ，Ｘ_ｔ＋１）は、以下の式（１２）～（１４）とすることができる。

ここで、α_３は判定基準に用いられるパラメータである。また、Ｉ_１＝｛１，０，０，０，０，０｝^Ｔ、Ｉ_３＝｛０，０，１，０，０，０｝^Ｔである。

この式（１２）では、検出された横断歩道ＣＷの位置におけるフレームの中心からのズレ量が許容量以上であれば「１」が得られ、それ以外では「０」が得られることになる。つまり、ｗ_３の値が所定値よりも大きくなった場合（右逸脱の場合）や、ｗ_５の値が所定値よりも大きくなった場合（左逸脱の場合）に「１」が得られることになる。

このようにして式（１２）において「１」が得られた場合には、右逸脱警告（ｙ_ｔ＝３）または左逸脱警告（ｙ_ｔ＝４）を行うことになる。

（障害物が存在する場合の停止通知動作）
横断歩道ＣＷ上に障害物（例えば路上駐車した車両）Ｖが存在する場合であって、当該障害物Ｖが、横断歩道ＣＷにおいて最も手前側にある白線ＷＬ１を覆い隠している状況（例えば、横断歩道ＣＷの存在は認識されているものの、最も手前側にある白線ＷＬ１が覆い隠されていることにより、当該白線ＷＬ１の位置を正確に認識することができない状況）が発生することがある。このような状況が発生した場合、従来では、安全のために、例えば、障害物Ｖが認識された時点で歩行者に対して歩行の停止通知を行うようにすることが考えられる。しかし、この場合、必要以上に横断歩道ＣＷの手前の位置で歩行者を停止させてしまう可能性があり、歩行者と横断歩道ＣＷとの間に別の障害物が入り込むなどして歩行再開時に歩行し難くなってしまうことが懸念される。

本実施形態は、この点に鑑み、横断歩道ＣＷ上に障害物Ｖが存在する場合であっても、歩行者に対する歩行の停止通知を適切に行うことができるようにしている。以下、具体的に説明する。

図１２～図１５は、視覚障碍者が横断歩道ＣＷの手前に達した時点において、車両（障害物）Ｖによって横断歩道ＣＷの一部または大部分が覆い隠されている状態の画像（カメラ２０によって撮影された画像）である。図１２は、最も歩行者寄りの白線（歩行者に最も近い白線）ＷＬ１が車両Ｖによって覆い隠されていない状態である（第１のパターン）。図１３は、最も歩行者寄りの白線ＷＬ１の一部（右半分）が車両Ｖによって覆い隠された状態である（第２のパターン）。図１４は、横断歩道ＣＷの殆どの白線が車両Ｖによって覆い隠された状態である（第３のパターン）。図１５は、最も歩行者寄りの白線ＷＬ１の全体、その奥側の白線ＷＬ２の全体、および、その奥側の白線ＷＬ３，ＷＬ４の一部（右側部分）それぞれが車両Ｖによって覆い隠された状態である（第４のパターン）。図１３～図１５における二点鎖線は画像上で認識された車両Ｖに対して設定されたBoundary Boxである。

第１のパターン（図１２）や第２のパターン（図１３）にあっては、最も歩行者寄りの白線ＷＬ１を認識することができ、当該白線ＷＬ１の最も手前の位置（画像上における下端位置：より具体的には当該白線ＷＬ１のBoundary Boxの下端位置ＬＮ）が検出できる状態となっている。このため、式（５）の状態遷移関数ｆ_０（ｊ，Ｘ_ｔ＋１）によって、歩行状態（ｓ_ｔ＝０）にある視覚障碍者に対して停止指示（ｙ_ｔ＝１）を行う条件の成立の有無を判定することが可能である。つまり、この式（５）において「１」が得られた場合には、停止指示（ｙ_ｔ＝１）を行う条件が成立したとして、歩行状態にある視覚障碍者に停止指示を行うことができる。

一方、第３のパターン（図１４）にあっては、殆どの白線を認識することができないため、式（５）においては継続的に「０」が得られる状態となる。つまり、前方に横断歩道ＣＷが存在しており視覚障碍者が横断歩道ＣＷの手前に達しているにも拘わらず、白線ＷＬ１の最も手前の位置を認識することができないため、式（５）においては継続的に「０」が得られる状態である。

また、第４のパターン（図１５）にあっては、最も歩行者寄りの白線ＷＬ１を認識することができないため、式（７）におけるｈ_３は、最も歩行者寄りの白線ＷＬ１よりも奥側の白線ＷＬ３の下端と画像の下端位置との間の距離として求められることになり（図１６を参照）、このｈ_３が大きな値として算出されることになる。この場合、式（７）で算出される値が所定範囲から逸脱した状態となる。

また、第３のパターン（図１４）や第４のパターン（図１５）の画像が取得されたことで、白線ＷＬ１の最も手前の位置が検出できない状態であっても、その後に車両Ｖが移動して、白線ＷＬ１の最も手前の位置が検出できる状態となった場合には、式（７）で算出されるｈ_３の値が所定範囲内の値となると共に、式（５）によって、歩行状態（ｓ_ｔ＝０）にある視覚障碍者に対して停止指示（ｙ_ｔ＝１）を行う条件の成立の有無を判定することが可能となる。

これに対し、車両Ｖが駐車している場合や低車速で走行している場合にあっては、白線ＷＬ１の最も手前の位置が検出できない状態が継続されるため、従来技術にあっては、式（７）で算出されるｈ_３の値が所定範囲を逸脱した状態や式（５）が「０」となる状態が継続されることになる。

そこで、本実施形態にあっては、前述した端縁位置設定部８３が、カメラ２０によって撮影された画像での車両（障害物）Ｖにおける歩行者寄りの端縁位置を、横断歩道ＣＷにおける歩行者寄りの端縁位置として設定する。つまり、端縁位置設定部８３は、車両Ｖにおける歩行者寄りの端縁位置を、横断歩道ＣＷにおける歩行者寄りの端縁位置とみなす処理を行う。

この場合の具体的な処理としては、横断歩道乖離距離の算出動作、障害物乖離距離の算出動作、および、端縁位置設置動作が順に行われる。

横断歩道乖離距離の算出動作は、前記ｈ_３の値を算出する動作であり、図１６に示すように、カメラ２０が取得した画像の下端位置から当該画像によって認識されている横断歩道ＣＷの当該画像上での下端位置（図１６に示す場合にあっては、白線ＷＬ３に設定されたBoundary Boxの下端位置）までの距離ｈ_３を算出する。

障害物乖離距離の算出動作は、図１６における距離ｈ_ｖの値を算出する動作であり、カメラ２０が取得した画像の下端位置から当該画像によって認識されている車両Ｖの下端位置（より具体的には、車両Ｖに設定されたBoundary Boxの下端位置）までの距離ｈ_ｖを算出する。より具体的には、画像の下端位置から車両Ｖに設定されたBoundary Boxの下端位置までの距離をｈｉとし（ｉは障害物候補である）、以下の式（１５）によって障害物乖離距離ｈ_ｖを算出する。つまり、車両Ｖの下端位置の複数箇所（例えば複数の障害物が存在する場合等）に対し、画像の下端位置からの距離が最も短い下端位置（障害物の下端位置）と画像の下端位置との間の距離を障害物乖離距離ｈ_ｖとして算出する。

尚、本実施形態では、障害物（車両）Ｖに対してBoundary Boxを設定し、このBoundary Boxの下端位置を「障害物における歩行者寄りの端縁位置」としているが、Boundary Boxを設定することなく、画像上において形状が確定された障害物（車両）Ｖにおける最も下側の位置を「障害物における歩行者寄りの端縁位置」とするものであってもよい。

端縁位置設置動作では、前記横断歩道乖離距離ｈ_３および障害物乖離距離ｈ_ｖを使用し、以下の式（１６）によって判断指標ｋを算出する。

この式（１６）によって算出される判断指標ｋは、第４のパターン（図１５および図１６を参照）である場合に、横断歩道乖離距離ｈ_３が障害物乖離距離ｈ_ｖに比べて大幅に大きくなることによって「１」が得られることになる。これに対し、例えば、最も歩行者寄りの白線ＷＬ１の一部が車両Ｖによって覆い隠された状態（第２のパターン）である場合に、横断歩道乖離距離ｈ_３から障害物乖離距離ｈ_ｖを減算した値が小さくなっている（負の値の場合も含む）ことによって判断指標ｋとしては「０」が得られることになる。

従って、式（１６）によって「１」が得られた場合には、カメラ２０が取得した画像での車両Ｖにおける歩行者寄りの端縁位置を、横断歩道ＣＷにおける歩行者寄りの端縁位置として設定する。この場合、式（５）のｈ_３にｈ_ｖが代入され、この式（５）の結果に応じて歩行者に対する停止通知の必要性の有無が判断されることになる。つまり、式（５）において「０」が得られている場合には、停止指示（ｙ_ｔ＝１）を行う条件は成立していないとして、歩行状態にある視覚障碍者への停止指示は行わず、式（５）において「１」が得られた場合には、停止指示（ｙ_ｔ＝１）を行う条件が成立した（視覚障碍者が障害物である車両Ｖの手前に達した）として、歩行状態にある視覚障碍者に停止指示を行うことになる。

また、第３のパターン（図１４）のように、横断歩道ＣＷの殆どの白線ＷＬ１～ＷＬ７が車両Ｖによって覆い隠された状態である場合には、カメラ２０が取得した画像から横断歩道ＣＷの存在を認識することができない（横断歩道ＣＷの存在の有無を判断することができない）。このような状況では、横断歩道ＣＷの認識がされない状態が所定時間継続することになるので、それを条件として歩行支援システム１０を停止する。

具体的には、以下の式（１７）によって、横断歩道ＣＷの認識がされない状態が所定時間継続する状況であるか否かを判断する。

横断歩道ＣＷの認識がされない状態が所定時間継続する状況であった場合には、この式（１７）が正の値となる。この場合、システム停止通知（ｙ_ｔ＝５）を行う条件が成立したとして、歩行支援システム１０を停止すると共に、視覚障碍者に歩行支援システム１０が停止した旨の情報を通知することになる。つまり、振動発生機５０が、この歩行支援システム１０が停止した旨の情報を通知するパターンで振動する。

（歩行支援動作）
次に、歩行支援システム１０による歩行支援動作の流れについて説明する。

図１７および図１８は、前述した歩行支援動作の一連の流れを示すフローチャートである。このフローチャートは、視覚障碍者が路上（歩道上）を歩行している状況において、所定時刻ｔから所定時刻ｔ＋１までの間で１回のルーチンが実施されるように所定時間間隔を存して繰り返して実施される。以下の説明では各状態遷移関数における変数（Ｊ，Ｘ_ｔ＋１）の記載を省略する。

先ず、ステップＳＴ１において視覚障碍者が歩行状態にある状況で、ステップＳＴ２において、カメラ２０が取得した画像から横断歩道ＣＷの存在が検出されたか（横断歩道検出部８２によって検出されたか）否かを判定する。

横断歩道ＣＷの存在が検出されており、ステップＳＴ２でＹＥＳ判定された場合にはステップＳＴ３に移り、式（１６）によって算出される判断指標ｋが「１」である（横断歩道乖離距離ｈ_３が障害物乖離距離ｈ_ｖに比べて大幅に大きくなっている）か否かを判定する。つまり、前述した第４のパターン（図１５および図１６を参照）のように、最も歩行者寄りの白線ＷＬ１の全体、および、その奥側の白線の一部それぞれが車両Ｖによって覆い隠された状態であるか否かを判定する。

判断指標ｋが「０」であり、ステップＳＴ３でＮＯ判定された場合には、ステップＳＴ５に移る一方、判断指標ｋが「１」であり、ステップＳＴ３でＹＥＳ判定された場合には、ステップＳＴ４に移る。ステップＳＴ４では、式（５）のｈ_３にｈ_ｖが代入される。つまり、ステップＳＴ３でＮＯ判定された場合には、最も歩行者寄りの白線ＷＬ１の全体が車両Ｖによって覆い隠された状態ではないとして、最も歩行者寄りの白線ＷＬ１の最も手前の位置（より具体的には当該白線ＷＬ１のBoundary Boxの下端位置ＬＮ）を利用して状態遷移関数ｆ_０（前記式５）を算出する一方、ステップＳＴ３でＹＥＳ判定された場合には、最も歩行者寄りの白線ＷＬ１の全体、および、その奥側の白線の一部それぞれが車両Ｖによって覆い隠された状態であるとして、車両Ｖの最も手前の位置（より具体的には当該車両ＶのBoundary Boxの下端位置）を最も歩行者寄りの白線ＷＬ１の最も手前の位置と見なして状態遷移関数ｆ_０（前記式５）を算出する。

その後、ステップＳＴ５に移り、前述の如く設定された最も歩行者寄りの白線の最も手前の位置に基づき、前述した停止指示（ｙ_ｔ＝１）を行う条件の成立の有無を判定するための状態遷移関数ｆ_０（前記式５）において「１」が得られたか否かを判定する。

この状態遷移関数ｆ_０において「０」が得られている場合には、停止指示（ｙ_ｔ＝１）を行う条件が成立していないとしてＮＯ判定され、ステップＳＴ１に戻る。

一方、状態遷移関数ｆ_０において「１」が得られた場合には、ステップＳＴ５でＹＥＳ判定され、ステップＳＴ６に移る。このステップＳＴ６では、視覚障碍者に対して停止指示（ｙ_ｔ＝１）を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、停止指示（停止通知）を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は、振動発生機５０の振動のパターンを感じ取ることで停止指示されたことを認識し、歩行を停止することになる。

ステップＳＴ７において視覚障碍者が停止状態にある状況で、ステップＳＴ８において、前述した歩行指示（ｙ_ｔ＝２）を行う条件の成立の有無を判定するための状態遷移関数ｆ_１（前記式８）において「１」が得られたか否かを判定する。

この状態遷移関数ｆ_１において「０」が得られている場合には、歩行指示（ｙ_ｔ＝２）を行う条件が成立していない、つまり、信号機ＴＬは未だ青信号に切り替わっていないとしてＮＯ判定され、ステップＳＴ７に戻る。信号機ＴＬが青信号に切り替わるまで、ステップＳＴ８ではＮＯ判定されるため、ステップＳＴ７，ＳＴ８の動作を繰り返すことになる。

信号機ＴＬが青信号に切り替わり、状態遷移関数ｆ_１において「１」が得られた場合には、ステップＳＴ８でＹＥＳ判定され、ステップＳＴ９に移る。この動作が、信号機判断部（信号機を含む画像領域の情報から信号機の状態が、停止指示状態および横断許可状態の何れであるかを判断する信号機判断部）８４の動作、および、切り替わり認識部（信号機の状態が、停止指示状態から横断許可状態に切り替わったことを認識する切り替わり認識部）８５の動作に相当する。

ステップＳＴ９では、視覚障碍者に対して歩行（横断）指示（ｙ_ｔ＝２）を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、歩行指示（横断開始通知）を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は歩行指示されたことを認識し、横断歩道ＣＷの横断を開始することになる。

ステップＳＴ１０（図１８）において視覚障碍者が横断歩道ＣＷの横断状態にある状況で、ステップＳＴ１１において、横断歩道ＣＷからの逸脱の警告を行う条件の成立の有無を判定するための状態遷移関数ｆ_３（前記式１２）において「１」が得られたか否かを判定する。

状態遷移関数ｆ_３において「１」が得られ、ステップＳＴ１１でＹＥＳ判定された場合、ステップＳＴ１２において、その横断歩道ＣＷからの逸脱の方向が右方向（右逸脱）であるか否かを判定する。そして、横断歩道ＣＷからの逸脱の方向が右方向であり、ステップＳＴ１２でＹＥＳ判定された場合にはステップＳＴ１３に移り、視覚障碍者に対して右逸脱警告（ｙ_ｔ＝３）を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、右逸脱警告を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は右逸脱警告されたことを認識し、歩行方向を左方向に向けて変更することになる。

一方、横断歩道ＣＷからの逸脱の方向が左方向であり、ステップＳＴ１２でＮＯ判定された場合にはステップＳＴ１４に移り、視覚障碍者に対して左逸脱警告（ｙ_ｔ＝４）を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、左逸脱警告を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は左逸脱警告されたことを認識し、歩行方向を右方向に向けて変更することになる。このようにして逸脱警告を行った後、ステップＳＴ１７に移る。

横断歩道ＣＷからの逸脱がなく、状態遷移関数ｆ_３において「０」が得られている場合には、ステップＳＴ１１でＮＯ判定され、ステップＳＴ１５に移る。このステップＳＴ１５では、現在、ステップＳＴ１３またはステップＳＴ１４における逸脱警告の発生中であるか否かを判定する。逸脱警告の発生中でなく、ステップＳＴ１５でＮＯ判定された場合には、ステップＳＴ１７に移る。一方、逸脱警告の発生中であり、ステップＳＴ１５でＹＥＳ判定された場合には、ステップＳＴ１６に移り、逸脱警告を解除してステップＳＴ１７に移る。

ステップＳＴ１７では、横断完了の通知を行う条件の成立の有無を判定するための状態遷移関数ｆ_２（前記式１１）において「１」が得られたか否かを判定する。

この状態遷移関数ｆ_２において「０」が得られている場合には、横断完了の通知を行う条件が成立していない、つまり、視覚障碍者は横断歩道ＣＷの横断中であるとしてＮＯ判定され、ステップＳＴ１０に戻る。横断歩道ＣＷの横断が完了するまで、ステップＳＴ１７ではＮＯ判定されるため、ステップＳＴ１０～ＳＴ１７の動作を繰り返すことになる。

つまり、視覚障碍者の横断中に横断歩道ＣＷからの逸脱が発生する場合には前述した逸脱警告が行われ、この逸脱が解消された場合には、逸脱警告が解除されるといった動作を、横断歩道ＣＷの横断が完了するまで行われる。

視覚障碍者が横断歩道ＣＷの横断を完了し、状態遷移関数ｆ_２において「１」が得られた場合には、ステップＳＴ１７でＹＥＳ判定され、ステップＳＴ１８に移り、視覚障碍者に対して横断完了の通知を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、横断完了を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は横断完了の通知が行われたことを認識し、通常の歩行状態に戻ることになる。

このようにして、視覚障碍者が横断歩道ＣＷを横断する度に前述した動作が繰り返されることになる。

一方、ステップＳＴ２の判定において横断歩道ＣＷの存在が検出されておらずＮＯ判定された場合にはステップＳＴ１９に移る。このステップＳＴ１９では、横断歩道ＣＷの存在が検出されない状態が所定時間継続したか否かが判定される。前述した第３のパターン（図１４）のように、横断歩道ＣＷの殆どの白線が車両Ｖによって覆い隠された状態である場合には、カメラ２０が取得した画像から横断歩道ＣＷの存在を認識することができず、横断歩道ＣＷの存在が検出されない状態が所定時間継続することになる。

横断歩道ＣＷの存在が検出されない状態が未だ所定時間継続していない場合にはステップＳＴ１９でＮＯ判定され、ステップＳＴ１に戻る。例えば、車両Ｖの存在によって横断歩道ＣＷの存在が検出されない状態であったとしても、その後、車両Ｖが移動して横断歩道ＣＷの存在が検出される状態となった場合には、ステップＳＴ２でＹＥＳ判定され、前述したステップＳＴ２以降の動作が行われる。一方、横断歩道ＣＷの存在が検出されない状態が所定時間継続しており、ステップＳＴ１９でＹＥＳ判定された場合には、ステップＳＴ２０に移り、歩行支援システム１０を停止すると共に、視覚障碍者に対し歩行支援システム１０が停止したことの通知を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、歩行支援システム１０が停止したことを示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は、振動発生機５０の振動のパターンを感じ取ることで歩行支援システム１０が停止したことを認識する。

このようにして歩行支援システム１０が停止した後、ステップＳＴ２１では、白杖１に備えられている図示しないスタートスイッチがＯＮされたか否かを判定する。スタートスイッチがＯＮされるまでステップＳＴ２１ではＮＯ判定が継続される。スタートスイッチがＯＮされ、ステップＳＴ２１でＹＥＳ判定された場合には、歩行支援システム１０が再起動し、前述したステップＳＴ１からの動作を繰り返すことになる。

－実施形態の効果－
以上説明したように、本実施形態では、横断歩道ＣＷ上に存在する障害物（車両）Ｖに起因して、当該横断歩道ＣＷにおける歩行者寄りの端縁位置が検出できない場合には、カメラ２０が取得した画像での障害物Ｖにおける歩行者寄りの端縁位置を、横断歩道ＣＷにおける歩行者寄りの端縁位置として設定するようにしている。これにより、障害物Ｖにおける歩行者寄りの端縁位置の手前に歩行者が達した時点で、振動発生機５０が歩行者に対して停止通知を行うことになり、横断歩道ＣＷ上に障害物が存在する場合であっても、歩行者に対する停止通知を適切に行うことができる。

特に、横断歩道乖離距離ｈ_３から障害物乖離距離ｈ_ｖを減算した値が、予め設定された値よりも大きい場合に、カメラ２０が取得した画像での障害物Ｖにおける歩行者寄りの端縁位置を、横断歩道ＣＷにおける歩行者寄りの端縁位置として設定するようにしている。このように横断歩道乖離距離ｈ_３から障害物乖離距離ｈ_ｖを減算した値に応じて、停止通知を行うに当たって採用すべき端縁位置（横断歩道ＣＷにおける歩行者寄りの端縁位置または障害物Ｖにおける歩行者寄りの端縁位置）を選択することにより、歩行者に対する停止通知を適切に行うことができる。

また、本実施形態では、横断歩道検出部８２による横断歩道ＣＷの認識がされない状態が所定時間継続した場合に、歩行支援システム１０を停止すると共にその旨の情報を情報送信部８６を介して振動発生機５０に送信するようにしている。これにより、横断歩道ＣＷの全体が障害物Ｖによって覆い隠されている状況での歩行支援システム１０の誤作動を抑制することができると共にシステムが停止したことを歩行者に知らせることができる。

また、本実施形態では、歩行支援システム１０の構成要素を白杖１に内蔵させることにより、白杖１のみで歩行支援システム１０を実現しているため、実用性の高い歩行支援システム１０を提供することができる。

－他の実施形態－
尚、本発明は、前記実施形態に限定されるものではなく、特許請求の範囲および該範囲と均等の範囲で包含される全ての変形や応用が可能である。

例えば、前記実施形態では、歩行支援システム１０を、視覚障碍者が使用する白杖１に内蔵した場合について説明した。本発明はこれに限らず、歩行者が高齢者である場合の杖や手押し車等であってもよい。

また、前記実施形態では、白杖１に充電ソケット７０を備えさせ、家庭用電源からバッテリ（二次電池）６０を充電するようにしていた。本発明はこれに限らず、白杖１の表面に太陽光発電シートを貼り付けておき、当該太陽光発電シートで発電した電力によってバッテリ６０を充電するようにしてもよい。また、二次電池に代えて一次電池を使用するようになっていてもよい。また、白杖１に振り子式発電機を内蔵し、該振り子式発電機を利用してバッテリ６０を充電するようにしてもよい。

また、前記実施形態では、振動発生機５０の振動パターンによって通知の種類を分けるようにしていた。本発明はこれに限らず、音声によって通知を行うようにしてもよい。

本発明は、歩行する視覚障碍者に対して横断歩道の手前での停止通知を行う歩行支援システムに適用可能である。

１ 白杖
１０ 歩行支援システム
２０ カメラ（画像取得手段）
５０ 振動発生機（通知手段）
８０ 制御装置
８２ 横断歩道検出部
８３ 端縁位置設定部
８７ システム停止部
Ｖ 車両（障害物）
ＣＷ 横断歩道
ＬＮ 最も歩行者寄りのBoundary Boxの下端位置（横断歩道における歩行者寄りの端縁位置）
ｈ_３ 横断歩道乖離距離
ｈ_ｖ 障害物乖離距離

Claims (5)

1. 歩行者が横断歩道に接近する状況において、当該歩行者に対して、横断歩道の手前での停止通知が可能な歩行支援システムであって、
   前記歩行者の歩行の前方の画像を取得する画像取得手段と、
   前記画像取得手段が取得した画像に基づいて前記横断歩道の認識が可能であると共に、当該横断歩道における前記歩行者寄りの端縁位置を検出可能な横断歩道検出部と、
   前記横断歩道検出部によって検出された前記横断歩道における前記歩行者寄りの端縁位置の手前に前記歩行者が達した場合に当該歩行者に対して停止を促す前記停止通知を行う通知手段と、
   前記横断歩道上に存在する障害物に起因して、前記横断歩道検出部による当該横断歩道における前記歩行者寄りの端縁位置が検出できない場合に、前記画像取得手段が取得した画像での前記障害物における前記歩行者寄りの端縁位置を、前記横断歩道における前記歩行者寄りの端縁位置として設定する端縁位置設定部と、
   を備えていることを特徴とする歩行支援システム。
2. 請求項１記載の歩行支援システムにおいて、
   前記端縁位置設定部は、前記画像取得手段が取得した前記画像の下端位置と当該画像によって認識されている前記横断歩道の当該画像上での下端位置との間の距離である横断歩道乖離距離から、前記画像の下端位置と当該画像によって認識されている前記障害物の当該画像上での下端位置との間の距離である障害物乖離距離を減算した値が、予め設定された値よりも大きい場合に、前記画像での前記障害物における前記歩行者寄りの端縁位置を、前記横断歩道における前記歩行者寄りの端縁位置として設定することを特徴とする歩行支援システム。
3. 請求項１または２記載の歩行支援システムにおいて、
   前記横断歩道検出部による前記横断歩道の認識がされない状態が所定時間継続した場合に、システムを停止すると共にその旨の情報を通知手段に向けて送信するシステム停止部を備えていることを特徴とする歩行支援システム。
4. 請求項１、２または３記載の歩行支援システムにおいて、
   前記画像取得手段、前記横断歩道検出部、前記通知手段、および、前記端縁位置設定部それぞれは、視覚障碍者が使用する白杖に内蔵されていることを特徴とする歩行支援システム。
5. 請求項４記載の歩行支援システムにおいて、
   前記通知手段は、振動または音声によって、前記視覚障碍者に向けて通知を行う構成となっていることを特徴とする歩行支援システム。

Images