JP2023048408A - 信号機認識システム - Google Patents

Abstract

【課題】信号機が存在するか否かの判別の信頼性を高めることができる信号機認識システムを提供する。【解決手段】予めアノテーションされた、全ての信号灯が消灯した状態にある歩行者用信号機の画像データを含む複数の教師データを用いて、カメラ２０によって取得された前方の画像に対して前方に信号機が存在している状態と前方に信号機が存在していない状態とを判別する。これにより、前方に信号機が存在している状態と前方に信号機が存在していない状態とを高い精度で判別することができ、前方に信号機が存在しているにも拘わらず信号機が存在していないと誤判断してしまうことを抑制できる。【選択図】図３

Description

本発明は信号機認識システムに係る。特に、本発明は、例えば視覚障碍者等の歩行者の前方に信号機が存在するか否かを判別する場合における当該判別の信頼性を高めるための対策に関する。

視覚障碍者等の歩行者の歩行の支援のための通知を行うシステムとして、特許文献１に開示されているものが知られている。この特許文献１には、視覚障碍者が使用する白杖等の歩行補助器具に内蔵されたシステムであって、信号機からの光を光電変換する撮像手段と、撮像手段で光電変換した入力画像に基づき撮像手段で撮像した光の輪郭の特徴点を探索する特徴点検出手段と、特徴点検出手段で探索した特徴点が予め設定した信号機の信号灯の特徴点と一致する場合には、該信号灯に対応して報知を行う報知手段とを備えた構成が開示されている。

特開２０１５－２１３６２０号公報

ところで、この種のシステムにあっては、歩行者（視覚障碍者等）が横断歩道に接近する状況において、その横断歩道には信号機（例えば歩行者用信号機）が設置されているか否かを正確に把握し、信号機が設置されている場合にあっては、当該信号機が赤信号（赤色点灯）となっている状況では歩行者に対して停止を指示する通知を行う必要があり、歩行者が横断歩道の手前で停止している（信号待ち）状態で信号機が青信号（青色点灯）となった場合には、歩行者に対して歩行（横断）を指示する通知を行う必要がある。このため、歩行者に対して各種通知（横断歩道の手前での歩行の停止通知、および、その後の横断開始通知）を適切に行うためには、カメラ等の画像取得手段によって信号機の信号灯からの光が検出されたか否かに応じて信号機の存在の有無を正確に認識しておくことが必須である。

しかしながら、周知の如く歩行者用信号機は青信号から赤信号に切り替わる前に青色信号灯が点滅する。また、信号機の信号灯に蛍光灯やＬＥＤ（Light Emitting Diode）ランプが採用されている場合、信号灯の点灯状態にあっては非常に短い周期（例えば１００回／ｓｅｃ）で点滅している。このため、画像取得手段の撮影タイミング（サンプリングタイミング）によっては、そのサンプリングタイミングと信号灯の消灯タイミング（歩行者用信号機が青信号から赤信号に切り替わる前における青色信号灯の点滅時における消灯タイミングや、ＬＥＤ等が非常に短い周期で点滅している状態での信号灯の消灯タイミング）とが一致することがあり、この場合、信号灯の消灯状態（青色信号灯および赤色信号灯が共に消灯している状態）の画像が連続して取得されてしまう場合がある。このような状況では、画像取得手段が信号灯からの光を受光できず、信号機の存在を認識することができないことから、信号機が存在していない（信号機が設置されていない横断歩道である）と誤判断してしまう可能性があった。このため、歩行者の前方に信号機が存在するか否かの判別の信頼性を高めたいといった要求があった。

尚、このような信号機が存在するか否かの判別の信頼性を高めたいといった要求は、歩行者の前方を対象とする場合に限らず、例えば車両の前方を対象とする場合にも同様に存在している。例えば、自動運転を行う車両において、前方に信号機が存在するか否かの判別の信頼性を高めたいといった要求がある。

本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、前方に信号機が存在するか否かの判別の信頼性を高めることができる信号機認識システムを提供することにある。

前記の目的を達成するための本発明の解決手段は、前方に存在する信号機を認識するための信号機認識システムを前提とする。そして、この信号機認識システムは、前方の画像を取得可能な画像取得手段と、前記画像取得手段によって取得された前方の画像を用いて前記信号機の存在の有無を判別する信号機存在判定部とを備え、前記信号機存在判定部が、予め記憶された、前記信号機の全ての信号灯が消灯した状態のデータを含む複数の信号機状態データを用いて、前方に信号機が存在している状態と前方に信号機が存在していない状態とを判別する構成となっていることを特徴とする。

この特定事項により、仮に画像取得手段の撮影タイミングと信号機の信号灯の消灯タイミング（歩行者用信号機が青信号から赤信号に切り替わる前における青色信号灯の点滅時における消灯タイミングや、ＬＥＤ等が非常に短い周期で点滅している状態での信号灯の消灯タイミング）とが一致したことで信号灯（全ての信号灯）の消灯状態の画像が連続して取得された場合であっても、信号機の全ての信号灯が消灯した状態のデータ（信号機状態データ）が予め記憶されているため、このデータが参照されることによって、取得された画像上において全ての信号灯が消灯状態にある信号機が存在していることを認識でき、前方に信号機が存在している状態と前方に信号機が存在していない状態とを高い精度で判別することができる。つまり、前方に信号機が存在しているにも拘わらず信号機が存在していないと誤判断してしまうことを抑制できる。このため、前方に信号機が存在するか否かの判別の信頼性を高めることができる。

また、予めアノテーションされた、全ての信号灯が消灯した状態にある信号機の画像データを含む複数の教師データを前記信号機状態データとして、前記教師データを用いて、前記画像取得手段によって取得された前方の画像に対して前記信号機の認識動作を行う信号機第１認識部を備え、前記信号機存在判定部は、前記信号機第１認識部による認識動作の結果に基づいて、前記画像取得手段によって取得された前方の画像に対して前記信号機の存在の有無を判別する構成となっている。

これにより、深層学習を利用した信号機の存在の有無の判別を高い精度で行うことが可能になる。

また、全ての信号灯が消灯した状態にある信号機の特徴量のデータを含む複数の特徴量データを前記信号機状態データとして、前記特徴量データを用いて、前記画像取得手段によって取得された前方の画像に対して前記信号機の認識動作を行う信号機第２認識部を備え、前記信号機存在判定部は、前記信号機第２認識部による認識動作の結果に基づいて、前記画像取得手段によって取得された前方の画像に対して前記信号機の存在の有無を判別する構成となっている。

これによっても、信号機の存在の有無の判別を高い精度で行うことが可能になる。

また、予めアノテーションされた、全ての信号灯が消灯した状態にある信号機の画像データを含む複数の教師データを前記信号機状態データとして、前記教師データを用いて、前記画像取得手段によって取得された前方の画像に対して前記信号機の認識動作を行う信号機第１認識部と、全ての信号灯が消灯した状態にある信号機の特徴量のデータを含む複数の特徴量データを前記信号機状態データとして、前記特徴量データを用いて、前記画像取得手段によって取得された前方の画像に対して前記信号機の認識動作を行う信号機第２認識部と、を備え、前記信号機存在判定部は、前記信号機第１認識部による認識動作の結果および前記信号機第２認識部による認識動作の結果それぞれに基づいて、前記画像取得手段によって取得された前方の画像に対して前記信号機の存在の有無を判別する構成となっている。

このように２つの手法を用いて信号機の存在の有無の判別を行うことにより、よりいっそう高い精度で信号機の存在の有無の判別を行うことが可能になる。

また、予めアノテーションされた、全ての信号灯が消灯した状態にある信号機の画像データを含む複数の教師データを前記信号機状態データとして、前記教師データを用いて、前記画像取得手段によって取得された前方の画像に対して前記信号機の認識動作を行う信号機第１認識部と、全ての信号灯が消灯した状態にある信号機の特徴量のデータを含む複数の特徴量データを前記信号機状態データとして、前記特徴量データを用いて、前記画像取得手段によって取得された前方の画像に対して前記信号機の認識動作を行う信号機第２認識部と、前記信号機第１認識部による認識動作および前記信号機第２認識部による認識動作の両方で信号機の存在が認識されなかった場合に、前記画像取得手段によって取得された前方の画像に対し、前方に信号機が存在していないと判定する信号機状態判定部とを、備えている。

これは、前記信号機存在判定部による信号機の存在の有無の判別動作に加えて、信号機状態判定部による信号機の認識動作によっても信号機の存在の有無を判別することができるようにした構成である。これにより、よりいっそう高い精度で信号機の存在の有無の判別を行うことが可能になる。

また、前記信号機状態判定部は、前記信号機第１認識部による認識動作および前記信号機第２認識部による認識動作のうち少なくとも一方の動作において前記信号機が赤色点灯（赤色点灯状態）であることが認識された状態において、前記信号機第１認識部による認識動作および前記信号機第２認識部による認識動作の両方で前記信号機の存在が認識された場合に、前記画像取得手段によって取得された前方の画像に対し、前記信号機が存在し且つ当該信号機が赤色点灯状態であると判定する。

これは、単に信号機の存在の有無を判別するだけでなく、信号機の状態の認識（赤信号および青信号の何れであるかの認識）を行うに際して、信号機が赤色点灯状態（赤信号）であることを認識するための構成である。本解決手段によれば、信号機が赤色点灯状態であることを高い精度で認識することができる。

また、前記信号機状態判定部は、前記信号機第１認識部による認識動作および前記信号機第２認識部による認識動作のうち少なくとも一方の動作において前記信号機が青色点灯（青色点灯状態）であることが認識された状態において、前記信号機第１認識部による認識動作および前記信号機第２認識部による認識動作の両方で前記信号機の存在が認識された場合に、前記画像取得手段によって取得された前方の画像に対し、前記信号機が存在し且つ当該信号機が青色点灯状態であると判定する。

これも、単に信号機の存在の有無を判別するだけでなく、信号機の状態の認識（赤信号および青信号の何れであるかの認識）を行うに際して、信号機が青色点灯状態（青信号）であることを認識するための構成である。本解決手段によれば、信号機が青色点灯状態であることを高い精度で認識することができる。

また、前記信号機第１認識部、前記信号機第２認識部および前記信号機状態判定部を備え、前記信号機状態判定部は、前記画像取得手段によって取得された前方の画像に対し、前記信号機が存在し且つ当該信号機が赤色点灯状態であることの判定、前記信号機が存在し且つ当該信号機が青色点灯状態であることの判定、前方に信号機が存在していないことの判定の何れの判定もされなかった場合には、前方に前記信号機が存在していると判定する。

つまり、信号機が赤色点灯状態であることの判定、信号機が青色点灯状態であることの判定、前方に信号機が存在していないことの判定の何れの判定もされなかった場合には、信号機の状態の認識（赤信号および青信号の何れであるかの認識）は行えないものの、画像内に信号機が存在していることは確定でき、前方に信号機が存在していると判定されることになる。このため、前方に信号機が存在しているにも拘わらず信号機が存在していないと誤判断してしまうことを抑制でき、前方に信号機が存在するか否かの判別の信頼性を高めることができる。

また、前記画像取得手段および前記信号機存在判定部を、視覚障碍者が使用する白杖に内蔵させた場合には、白杖のみで信号機認識システムを実現することができ、実用性の高い信号機認識システムを提供することができる。

また、歩行者の歩行方向前方に位置する前記信号機の状態に応じて、前記歩行者に対し、横断歩道の手前での停止を促す通知または当該横断歩道の横断の開始を促す通知を行う通知手段を備えており、該通知手段は、振動または音声によって、前記視覚障碍者に向けて前記通知を行う構成となっている。

これにより、白杖を持ちながら歩行する視覚障碍者（前記歩行者）に対する通知を適切に行うことができる。

本発明では、予め記憶された、信号機の全ての信号灯が消灯した状態のデータを含む複数の信号機状態データを用いて、前方に信号機が存在している状態と前方に信号機が存在していない状態とを判別するようにしている。これにより、前方に信号機が存在している状態と前方に信号機が存在していない状態とを高い精度で判別することができる。つまり、前方に信号機が存在しているにも拘わらず信号機が存在していないと誤判断してしまうことを抑制できる。その結果、前方に信号機が存在するか否かの判別の信頼性を高めることができる。

実施形態に係る歩行支援システムを内蔵した白杖を示す図である。 白杖のグリップ部の内部を示す概略図である。 本発明に係る信号機認識システムを備えた歩行支援システムの制御系の概略構成を示すブロック図である。 カメラで撮影された画像の一例を示す図である。 視覚障碍者が横断歩道に向かう歩行状態にある際に、カメラで撮影された画像の一例を示す図である。 視覚障碍者が横断歩道に達したタイミングにおいてカメラで撮影された画像の一例を示す図である。 視覚障碍者が横断歩道の横断状態にある際に、カメラで撮影された画像の一例を示す図である。 横断歩道の横断状態にある視覚障碍者が横断歩道の右側に逸脱する方向に向かって歩行している際に、カメラで撮影された画像の一例を示す図である。 横断歩道の横断状態にある視覚障碍者が横断歩道の左側に逸脱する方向に向かって歩行している際に、カメラで撮影された画像の一例を示す図である。 認識された横断歩道および信号機の画像を示す図である。 認識された横断歩道の白線のBoundary Boxにおける各部の寸法を説明するための図である。 信号機の青色信号灯が点灯している状態で取得された画像の一例を示す図である。 信号機の赤色信号灯が点灯している状態で取得された画像の一例を示す図である。 信号機の全ての信号灯が消灯している状態で取得された画像の一例を示す図である。 信号機の全ての信号灯の明度が高い状態で取得された画像の一例を示す図である。 歩行支援システムによる歩行支援動作の手順を示すフローチャート図である。 信号機が設置されていない横断歩道を横断する場合における歩行支援の状態遷移を説明するためのタイミングチャート図である。 信号機が設置された横断歩道を横断する場合における歩行支援の状態遷移の第１の例を説明するためのタイミングチャート図である。 信号機が設置された横断歩道を横断する場合における歩行支援の状態遷移の第２の例を説明するためのタイミングチャート図である。 信号機が設置された横断歩道を横断する場合における歩行支援の状態遷移の第３の例を説明するためのタイミングチャート図である。

以下、本発明の実施の形態を図面に基づいて説明する。本実施形態では、本発明に係る信号機認識システムを、視覚障碍者が使用する白杖に内蔵した歩行支援システムの一部の機能部として構成した場合について説明する。

－白杖の概略構成－
図１は、本実施形態に係る歩行支援システム１０を内蔵した白杖１を示す図である。この図１に示すように、白杖１は、シャフト部２、グリップ部３、チップ部（石突き）４を備えている。

シャフト部２は、中空の略円形断面を有するロッド状であって、アルミニウム合金やガラス繊維強化樹脂、炭素繊維強化樹脂等で形成されている。

グリップ部３は、シャフト部２の基端部（上端部）にゴム等の弾性体で成るカバー３１が装着されて構成されている。また、本実施形態における白杖１のグリップ部３は、視覚障碍者（歩行者）が把持する際の持ち易さと滑り難さを考慮し、先端側（図１における上側）が僅かに湾曲した形状となっている。

チップ部４は、硬質の合成樹脂などで形成された略有底筒状の部材であって、シャフト部２の先端部に外挿されて接着やねじ止めなどの手段で固定されている。尚、チップ部４は、安全のために、先端側の端面が半球状となっている。

本実施形態に係る白杖１は、折り畳み不能な直杖であるが、シャフト部２の中間の一箇所または複数箇所で折り畳み可能或いは伸縮可能とされたものであってもよい。

－歩行支援システムの構成－
以下、本発明に係る信号機認識システム１００（図３を参照）を備えた歩行支援システム１０について説明する。

図２は、白杖１のグリップ部３の内部を示す概略図である。この図２に示すように、本実施形態に係る歩行支援システム１０は、白杖１に内蔵されている。また、図３は、信号機認識システム１００および歩行支援システム１０の制御系の概略構成を示すブロック図である。

これらの図に示すように、歩行支援システム１０は、カメラ（画像取得手段）２０、近距離無線通信機４０、振動発生機（通知手段）５０、バッテリ６０、充電ソケット７０、制御装置８０等を備えている。

カメラ２０は、グリップ部３の根元部における当該グリップ部３の前面（視覚障碍者の進行方向に向く面）に埋め込まれ、視覚障碍者の進行方向前側（歩行方向前方）を撮影する。このカメラ２０は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で成る。また、カメラ２０の構成や配設位置は前述したものには限定されず、例えば、シャフト部２の前面（視覚障碍者の進行方向に向く面）に埋め込まれたものであってもよい。

このカメラ２０の特徴としては、歩行する視覚障碍者の進行方向の前方の画像であって、当該視覚障碍者が横断歩道に達した際における、当該横断歩道の白線のうち視覚障碍者に最も近い位置にある白線、および、視覚障碍者の前方に位置する信号機（前方に信号機が存在する場合における例えば歩行者用信号機）の両方を含む画像を取得可能な広角のカメラとして構成されている。つまり、視覚障碍者が横断歩道の手前まで達した時点で、視覚障碍者の足元付近（足元から少し前方の位置）に存在する横断歩道における最も手前側にある白線と、横断先の地点に設置された信号機との両方を撮影可能な構成となっている。このカメラ２０において必要とされる視野角度は、前述したように視覚障碍者に最も近い位置にある白線（横断歩道の白線）および信号機の両方を含む画像を取得（撮影）可能なものとして適宜設定される。

近距離無線通信機４０は、前記カメラ２０と制御装置８０との間で近距離無線通信を行うための無線通信装置である。例えば、周知のBluetooth（登録商標）等の通信手段によって、カメラ２０と制御装置８０との間で近距離無線通信を行い、カメラ２０が撮影した画像の情報を制御装置８０に向けて無線送信する構成となっている。

振動発生機５０は、グリップ部３の根元部における前記カメラ２０の上側に配設されている。この振動発生機５０は、内蔵されたモータの作動に伴って振動し、その振動をグリップ部３に伝達することによって、当該グリップ部３を把持している視覚障碍者に向けて種々の通知が行えるようになっている。この振動発生機５０の振動による視覚障碍者に向けての通知の具体例については後述する。

バッテリ６０は、前記カメラ２０、近距離無線通信機４０、振動発生機５０、制御装置８０のための電力を蓄電する二次電池で構成されている。

充電ソケット７０は、バッテリ６０に電力を蓄える際に充電ケーブルが接続される部分である。例えば、視覚障碍者が在宅中に家庭用電源からバッテリ６０を充電する際に充電ケーブルが接続される。

制御装置８０は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサ、制御プログラムを記憶するＲＯＭ（Read-Only Memory）、データを一時的に記憶するＲＡＭ（Random-Access Memory）、および、入出力ポート等を備えている。

そして、この制御装置８０は、前記制御プログラムによって実現される機能部として、情報受信部８１、横断歩道検出部８２、信号機認識部８３、切り替わり認識部８４、情報送信部８５を備えている。以下、これら各部の機能の概略について説明する。

情報受信部８１は、前記カメラ２０が撮影した画像の情報を、当該カメラ２０から近距離無線通信機４０を介して所定時間間隔をもって受信する。

横断歩道検出部８２は、情報受信部８１が受信した画像の情報（カメラ２０によって撮影された画像の情報）の当該画像中における、横断歩道を認識したり、横断歩道における各白線の位置を検出する。

具体的には、図４（カメラ２０で撮影された画像の一例を示す図）に示すように、横断歩道ＣＷを構成する複数の白線ＷＬ１～ＷＬ７に対してBoundary Box（図４の一点鎖線を参照）を設定する。例えば周知のマッチング処理によって横断歩道ＣＷの白線ＷＬ１～ＷＬ７を確定し、これら確定された白線ＷＬ１～ＷＬ７に対してBoundary Boxを設定する。また、予めアノテーションされた白線のデータ（ラベルが付けられた白線のデータ；深層学習によって白線を認識するための教師データ）を利用して白線ＷＬ１～ＷＬ７を確定し、これら確定された白線ＷＬ１～ＷＬ７に対してBoundary Boxを設定するようにしてもよい。

そして、横断歩道検出部８２は、これらBoundary Boxのうち最も歩行者寄りのBoundary Boxの下端位置（図４におけるＬＮを参照）を検出する。本実施形態では、各白線ＷＬ１～ＷＬ７に対してBoundary Boxを設定し、画像上において最も下側に位置するBoundary Boxの下端位置ＬＮを検出するようにしているが、Boundary Boxを設定することなく、画像上において確定された複数の白線ＷＬ１～ＷＬ７のうち最も下側に位置する白線ＷＬ１の下端位置を検出するものであってもよい。

尚、前記Boundary Boxは、後述するように、視覚障碍者の停止位置の特定、信号機ＴＬの位置の特定、視覚障碍者が横断歩道ＣＷを横断する際の進行方向の特定、横断歩道ＣＷの横断完了の判断等に利用される。これらの詳細については後述する。

信号機認識部８３は、情報受信部８１が受信した画像の情報から信号機ＴＬの存在の有無の判別、信号機ＴＬが存在する場合における当該信号機ＴＬの状態の認識（赤信号および青信号の何れであるかの認識）を行う。具体的には、情報受信部８１が受信した画像上における信号機ＴＬの存在領域を推定し、この推定された領域の内部における信号機ＴＬの存在の有無および当該信号機ＴＬの状態それぞれの認識を行う。情報受信部８１が受信した画像上における信号機ＴＬの存在領域を推定するに当たっては、前述の如く認識された白線ＷＬ１～ＷＬ７に設定されたBoundary Boxのうち、最も遠い位置にあるBoundary Boxの画像内座標を特定すると共に、図４に示すように、前記Boundary Box（認識された白線ＷＬ１～ＷＬ７のうち最も遠い位置にある白線ＷＬ７に設定されたBoundary Box）の上辺に接する四角形（幅寸法がｗ_s、高さ寸法がｈ_sの四角形）を規定し、これを信号機ＴＬの領域（信号機ＴＬの存在領域）ＡとしてのＣｒｏｐ範囲を出力する。この際、Ｃｒｏｐ範囲は正方形であってもよいし長方形であってもよい。そして、このＣｒｏｐ範囲内における信号機ＴＬの存在の有無および当該信号機ＴＬの状態それぞれの認識を行うことになる。この信号機ＴＬの存在の有無および当該信号機ＴＬの状態それぞれの認識を行う動作の詳細については後述する。

切り替わり認識部８４は、前記信号機認識部８３によって認識された信号機ＴＬの状態が、赤信号から青信号に切り替わったことを認識する。この信号の切り替わりを認識した際、この切り替わり認識部８４は、切り替わり信号を情報送信部８５に送信する。この切り替わり信号は、情報送信部８５から振動発生機５０に送信される。振動発生機５０は、この切り替わり信号を受けたことに連動して、所定のパターンで振動し、視覚障碍者に、信号機ＴＬが赤信号から青信号に切り替わったことに起因して横断歩道の横断を許可する通知（横断開始通知）を行うことになる。

－歩行支援動作－
次に、前述の如く構成された歩行支援システム１０による歩行支援動作について説明する。先ず、本実施形態の概要について説明する。

（本実施形態の概要）
ここでは、視覚障碍者の歩行中における時間をｔ∈［０，Ｔ］と表し、当該視覚障碍者の状態を表す変数（状態変数）をｓ∈Ｒ^Tとする。また、時刻ｔのときの状態変数はｓ_t∈｛０，１，２｝の整数で表現され、それぞれ、歩行状態（ｓ_t＝０）、停止状態（ｓ_t＝１）、横断状態（ｓ_t＝２）を表すものとする。ここでいう歩行状態とは、例えば歩行者が交差点（信号機ＴＬおよび横断歩道ＣＷのある交差点）に向かって歩行している状態が想定される。また、停止状態とは、視覚障碍者が横断歩道ＣＷの手前に達し、信号待ちによって（赤信号から青信号に切り替わるのを待って）停止している状態（歩行していない状態）が想定される。また、横断状態とは、視覚障碍者が横断歩道ＣＷを横断している状態が想定される。

本実施形態は、時刻ｔでカメラ２０によって撮影された画像Ｘ_t∈Ｒ^w0×^h0（ｗ₀，ｈ₀はそれぞれ画像の縦と横の画像サイズを表す）が入力された際に、視覚障碍者の歩行を支援することを目的とした出力（出力変数）ｙ∈Ｒ^Tを求めるアルゴリズムを提案するものとなっている。ここで、視覚障碍者の歩行を支援する出力としては、ｙ_t∈｛１，２，３，４｝の整数で表現され、それぞれ、停止指示（ｙ_t＝１）、歩行指示（ｙ_t＝２）、右逸脱警告（ｙ_t＝３）、左逸脱警告（ｙ_t＝４）を表すものとする。以下の説明では停止指示を停止通知という場合もある。また、歩行指示を歩行通知または横断通知という場合もある。これらの指示（通知）および警告は、振動発生機５０の振動のパターンによって視覚障碍者に対して行われる。視覚障碍者は、予め、指示（通知）および警告と、振動発生機５０の振動のパターンとの関係を把握しており、振動発生機５０の振動のパターンをグリップ部３から感じ取ることで指示および警告の種類を把握することになる。

また、後述するように、視覚障碍者の状態を表す変数ｓの遷移を判定する関数（以下、状態遷移関数という）ｆ₀，ｆ₁，ｆ₂と、横断歩道からの逸脱（左右方向への逸脱）を判断する状態遷移関数ｆ₃が存在しており、これら状態遷移関数ｆ₀～ｆ₃が前記ＲＯＭに記憶されている。これら状態遷移関数ｆ₀～ｆ₃の具体例については後述する。

（出力変数ｙおよび状態遷移関数ｆ_iの概要）
前述した視覚障碍者の歩行を支援する出力ｙ_t∈｛１，２，３，４｝について説明する。

前述したように出力ｙ_tとしては、視覚障碍者の歩行支援を目的として、停止指示（ｙ_t＝１）、歩行指示（ｙ_t＝２）、右逸脱警告（ｙ_t＝３）、左逸脱警告（ｙ_t＝４）の４種類の出力が存在する。

停止指示（ｙ_t＝１）は、歩行する視覚障碍者が横断歩道の手前まで達した時点で当該視覚障碍者に歩行を停止する旨の通知を行うものである。例えば、カメラ２０で撮影された画像が、図５（視覚障碍者が横断歩道ＣＷに向かう歩行状態にある際に、カメラ２０で撮影された画像の一例を示す図）に示す状態であれば、横断歩道ＣＷまでの距離が比較的長いため、停止指示（ｙ_t＝１）は行わず、視覚障碍者は歩行状態（ｓ_t＝０）が継続され、カメラ２０で撮影された画像が、図６（視覚障碍者が横断歩道ＣＷに達したタイミングにおいてカメラ２０で撮影された画像の一例を示す図）に示す状態となった場合には、視覚障碍者が横断歩道ＣＷの手前に達したタイミングであることから、停止指示（ｙ_t＝１）を出力して、当該視覚障碍者に歩行を停止する旨の通知を行うことになる。この停止指示（ｙ_t＝１）を行う条件が成立しているか否かの判定（状態遷移関数の算出結果に基づく判定）については後述する。

歩行指示（ｙ_t＝２）は、信号機ＴＬが赤信号から青信号に切り替わったことで、視覚障碍者に歩行（横断歩道ＣＷの横断）を指示する旨の通知を行うものである。例えば、横断歩道ＣＷの手前で視覚障碍者が停止状態（ｓ_t＝１）にある状況で、カメラ２０で撮影された画像に基づいて信号機ＴＬが赤信号から青信号に切り替わった場合（後述する信号機認識システム１００によって信号機ＴＬの存在および状態の認識が行われることで信号機ＴＬが赤信号から青信号に切り替わったと判断された場合）に、歩行指示（ｙ_t＝２）を出力して、当該視覚障碍者に横断歩道ＣＷの横断を開始する旨の通知を行う。この歩行指示（ｙ_t＝２）を行う条件が成立しているか否かの判定（状態遷移関数の算出結果に基づく判定）についても後述する。

そして、本実施形態では、この歩行指示（ｙ_t＝２）を行うタイミングとして、信号機ＴＬの状態が赤信号から青信号に切り替わったタイミングとしている。つまり、仮に、視覚障碍者が横断歩道ＣＷに達した時点で既に信号機ＴＬが青信号となっていたとしても歩行指示（ｙ_t＝２）は行わず、信号機ＴＬが一旦赤信号となり、その後に青信号に切り替わったタイミングで歩行指示（ｙ_t＝２）を行うようにしている。これによって、視覚障碍者が横断歩道ＣＷを横断するに当たって、信号機ＴＬが青信号となっている時間を十分に確保することができるようにし、視覚障碍者が横断歩道ＣＷを横断している途中で信号機ＴＬが青信号から赤信号に切り替わってしまうといった状況を招き難くしている。

右逸脱警告（ｙ_t＝３）は、横断歩道ＣＷを横断している視覚障碍者が横断歩道ＣＷから右側に逸脱する方向に向かって歩行している際に、当該視覚障碍者に対して横断歩道ＣＷから右側に逸脱する虞があることの警告を行うものである。例えば、カメラ２０で撮影された画像が図７（視覚障碍者が横断歩道ＣＷの横断状態にある際に、カメラ２０で撮影された画像の一例を示す図）に示す状態にあって、視覚障碍者が横断歩道ＣＷの横断状態（ｓ_t＝２）にある状況で、カメラ２０で撮影された画像が、図８（横断歩道ＣＷの横断状態にある視覚障碍者が横断歩道ＣＷの右側に逸脱する方向に向かって歩行している際に、カメラ２０で撮影された画像の一例を示す図）に示す状態となった場合には、視覚障碍者が横断歩道ＣＷから右側に逸脱する方向に向かって歩行していることから、右逸脱警告（ｙ_t＝３）を出力して、当該視覚障碍者に警告を行うことになる。

左逸脱警告（ｙ_t＝４）は、横断歩道ＣＷを横断している視覚障碍者が横断歩道ＣＷから左側に逸脱する方向に向かって歩行している際に、当該視覚障碍者に対して横断歩道ＣＷから左側に逸脱する虞があることの警告を行うものである。例えば、カメラ２０で撮影された画像が図７に示す状態にあって、視覚障碍者が横断歩道ＣＷの横断状態（ｓ_t＝２）にある状況で、カメラ２０で撮影された画像が、図９（横断歩道ＣＷの横断状態にある視覚障碍者が横断歩道ＣＷの左側に逸脱する方向に向かって歩行している際に、カメラ２０で撮影された画像の一例を示す図）に示す状態となった場合には、視覚障碍者が横断歩道ＣＷから左側に逸脱する方向に向かって歩行していることから、左逸脱警告（ｙ_t＝４）を出力して、当該視覚障碍者に警告を行うことになる。

これら右逸脱警告（ｙ_t＝３）および左逸脱警告（ｙ_t＝４）を行う条件が成立しているか否かの判定（状態遷移関数の算出結果に基づく判定）についても後述する。

（歩行支援で用いる特徴量）
次に、視覚障碍者に対する歩行支援で用いる特徴量について説明する。視覚障碍者に対して、横断歩道ＣＷの手前での歩行の停止通知、および、その後の横断開始通知等の各種通知を適切に行うためには、横断歩道ＣＷの位置（横断歩道ＣＷにおいて最も手前側にある白線ＷＬ１の位置）、および、信号機ＴＬの状態（青信号であるか赤信号であるか）をカメラ２０からの情報によって正確に認識しておくことが必須である。つまり、白線ＷＬ１の位置および信号機ＴＬの状態を反映させたモデル式を構築しておき、このモデル式に従って、現在、視覚障碍者が置かれている状況を把握できるようにしておく必要がある。

図１０および図１１は、視覚障碍者に対する歩行支援で用いる特徴量｛ｗ₃，ｗ₄，ｗ₅，ｈ₃，ｒ，ｂ｝^T∈Ｒ⁶の概要を示している。ｒ，ｂは、それぞれ信号機ＴＬの状態（赤信号および青信号）の検出結果（０：未検出、１：検出）を表している。この信号機ＴＬの状態の検出に際し、前述したように図４において破線で囲まれた領域Ａが抽出されることで信号機ＴＬの状態の認識が信号機認識システム１００によって行われることになる。また、ｗ₃，ｗ₄，ｗ₅，ｈ₃は、前記横断歩道検出部８２によって認識された横断歩道ＣＷの白線ＷＬ１～ＷＬ７のうち、最も手前に位置する白線ＷＬ１に対するBoundary Boxを用いて図１１に示すように定義される。つまり、ｗ₃は画像の左端からBoundary Boxの左端（白線ＷＬ１の左端に相当）までの距離であり、ｗ₄はBoundary Boxの幅寸法（白線ＷＬ１の長さ寸法に相当）であり、ｗ₅は画像の右端からBoundary Boxの右端（白線ＷＬ１の右端に相当）までの距離であり、ｈ₃は画像の下端からBoundary Boxの下端（白線ＷＬ１の手前側の端縁に相当）までの距離である。

深層学習を用いて横断歩道ＣＷおよび信号機ＴＬを検出する関数をｇとした場合、時刻ｔでカメラ２０によって撮影された画像Ｘ_t∈Ｒ^w0×^h0を用いて予測された横断歩道ＣＷおよび信号機ＴＬのBoundary Boxをｇ（Ｘｔ）と表現すると、視覚障碍者の歩行を支援するために必要な特徴量としては、以下の式（１）として表現できる。

ここで、

は前記特徴量ｊ（ｔ）を抽出する演算子であり、前記ｇ（Ｘｔ）に対する後処理を行うためのものであり、ｐ１は１フレーム当たりのBoundary Boxの最大数である。

（状態遷移関数）
次に、状態遷移関数について説明する。この状態遷移関数は、前述したように、停止指示（ｙ_t＝１）、歩行指示（ｙ_t＝２）、右逸脱警告（ｙ_t＝３）、左逸脱警告（ｙ_t＝４）それぞれの通知を行う条件が成立しているか否かを判定するために用いられるものである。

時刻ｔ＋１での状態量（状態変数）ｓ_t+1は、横断歩道ＣＷの特徴量に対する時刻履歴情報Ｊ＝｛ｊ（０），ｊ（１），…ｊ（ｔ）｝と、現在の状態量（状態変数）ｓ_t、および、時刻ｔ＋１で撮影された画像Ｘ_t+1を用いて以下の式（３）のように表すことができる。

この式（３）における状態遷移関数ｆは、現在時刻の状態量に応じて以下の式（４）のように定義することができる。

つまり、視覚障碍者の歩行の推移としては、歩行（例えば横断歩道ＣＷに向かう歩行）→停止（例えば横断歩道ＣＷの手前での停止）→横断（例えば横断歩道ＣＷの横断）→歩行（例えば横断歩道ＣＷの横断完了後の歩行）を繰り返すことになるが、歩行状態（ｓ_t＝０）にある視覚障碍者に対して停止指示（ｙ_t＝１）を行う条件の成立の有無を判定するための状態遷移関数がｆ₀（Ｊ，Ｘ_t+1）であり、停止状態（ｓ_t＝１）にある視覚障碍者に対して横断（歩行）指示（ｙ_t＝２）を行う条件の成立の有無を判定するための状態遷移関数がｆ₁（Ｊ，Ｘ_t+1）であり、横断状態（ｓ_t＝２）にある視覚障碍者に対して歩行（横断の完了）の通知を行う条件の成立の有無を判定するための状態遷移関数がｆ₂（Ｊ，Ｘ_t+1）である。また、横断状態（ｓ_t＝２）にある視覚障碍者に対して横断歩道ＣＷからの逸脱の警告を行う条件の成立の有無を判定するための状態遷移関数が後述するｆ₃（Ｊ，Ｘ_t+1）である。

以下、各状態量（状態変数）それぞれに応じた状態遷移関数について具体的に説明する。

（歩行状態で適用される状態遷移関数）
現在時刻の状態量が歩行状態（ｓ_t＝０）である場合に使用される状態遷移関数ｆ₀（ｊ，Ｘ_t+1）は、前記式（１）の特徴量を用いて以下の式（５）～（７）とすることができる。

ここで、ＨはHeaviside関数であり、δはDelta関数である。また、α₁，α₂は判定基準に用いられるパラメータであり、ｔ０は利用する過去の状態を指定するパラメータである。また、Ｉ₂＝｛０，１，０，０，０，０｝^T、Ｉ₄＝｛０，０，０，１，０，０｝^Tである。

この式（５）を用いれば、α₁＞ｈ₃、且つ、ｗ₄＞α₂の条件が過去ｔ０時間では成立しておらず、時刻ｔ＋１で初めて成立した場合にのみ「１」が得られ、それ以外の場合には「０」が得られることになる。つまり、α₁＞ｈ₃が成立したことで、視覚障碍者の足元に、横断歩道ＣＷにおける最も手前に位置する白線ＷＬ１（白線のBoundary Boxの下端）が位置し、ｗ₄＞α₂が成立したことで、その白線ＷＬ１は視覚障碍者の進行方向に直交する方向に延在する（白線のBoundary Boxの幅寸法が所定寸法を超えている）ものであることが判定された場合に「１」が得られるものとなっている。

このようにして式（５）において「１」が得られた場合には、停止指示（ｙ_t＝１）を行う条件が成立したとして、歩行状態にある視覚障碍者に停止指示（例えば横断歩道ＣＷの手前での歩行の停止指示；停止通知）を行うことになる。

また、本実施形態では、横断歩道ＣＷが視覚障碍者の足元にある条件を（α₁＞ｈ₃）だけでなく、検出された横断歩道ＣＷの幅の制約（ｗ₄＞α₂）を加えていることで、視覚障碍者の進行方向にある横断歩道ＣＷ以外の横断歩道（交差点において、視覚障碍者の進行方向に直交する方向の横断歩道等）が、画像Ｘ_t+1に含まれる場合の誤検知を防止している。つまり、道路の交差点等において横断方向が互いに異なる複数の横断歩道が存在している場合であっても、視覚障碍者が横断すべき横断歩道ＣＷ（白線ＷＬ１が、視覚障碍者が横断すべき方向に対して交差する方向に延びていることで、当該白線ＷＬ１の幅寸法が比較的広く認識されている横断歩道ＣＷ）とその他の横断歩道（白線の幅寸法が比較的狭く認識されている横断歩道）とを明確に判別することができ、視覚障碍者に向けての横断の開始通知を高い精度で正確に行うことが可能になっている。

（停止状態で適用される状態遷移関数）
前時刻の状態量が停止状態（ｓ_t＝１）である場合に使用される状態遷移関数ｆ₁（ｊ，Ｘ_t+1）は、以下の式（８）～（１０）とすることができる。

ここでＸ’_t+1は、Ｘ_t+1から画像のトリミングと拡大処理とを行って得られたものである。つまり、信号機ＴＬの認識精度が十分に高められた画像Ｘ’_t+1となっている。また、Ｉ₅＝｛０，０，０，０，１，０｝^T、Ｉ₆＝｛０，０，０，０，０，１｝^Tである。

式（８）では、過去ｔ０時間に赤信号を検知した後で、時刻ｔ＋１で初めて青信号を検知した場合にのみ「１」が得られ、それ以外の場合には「０」が得られることになる。信号機ＴＬの認識動作（信号機認識部８３による信号機ＴＬの認識動作）の詳細については後述する。

このようにして式（８）において「１」が得られた場合には、歩行（横断）指示（ｙ_t＝２）を行う条件が成立したとして、停止状態にある視覚障碍者に横断指示（例えば横断歩道の横断指示；横断通知）を行うことになる。

また、信号機がない交差点の横断歩道では前述のロジックでの状態遷移ができない場合がある。この課題を解決するために、新たなパラメータｔ１＞ｔ０を導入し、時間ｔ１の間、停止状態からの状態遷移がないと判断された場合に、歩行状態に遷移するようにしてもよい。

（横断状態で適用される状態遷移関数）
前時刻の状態量が横断状態（ｓ_t＝２）である場合に使用される状態遷移関数ｆ₂（ｊ，Ｘ_t+1）は、以下の式（１１）とすることができる。

この式（１１）では、過去ｔ－ｔ０から、現在時刻ｔ＋１の間に一度も信号機および足元の横断歩道ＣＷが検出できなかった場合にのみ「１」が得られ、それ以外の場合には「０」が得られることになる。つまり、横断歩道ＣＷを渡りきったことで信号機ＴＬおよび足元の横断歩道ＣＷが検出できなかった場合にのみ「１」が得られることになる。

このようにして式（１１）において「１」が得られた場合には、横断完了の通知を行う条件が成立したとして、歩行状態にある視覚障碍者に横断完了（横断歩道の横断の完了）の通知を行うことになる。

（横断歩道からの逸脱を判定する状態遷移関数）
視覚障碍者の横断歩道ＣＷの横断中に、横断歩道ＣＷからの逸脱を判定する状態遷移関数ｆ₃（ｊ，Ｘ_t+1）は、以下の式（１２）～（１４）とすることができる。

ここで、α₃は判定基準に用いられるパラメータである。また、Ｉ₁＝｛１，０，０，０，０，０｝^T、Ｉ₃＝｛０，０，１，０，０，０｝^Tである。

この式（１２）では、検出された横断歩道ＣＷの位置におけるフレームの中心からのズレ量が許容量以上であれば「１」が得られ、それ以外では「０」が得られることになる。つまり、ｗ₃の値が所定値よりも大きくなった場合（左逸脱の場合）や、ｗ₅の値が所定値よりも大きくなった場合（右逸脱の場合）に「１」が得られることになる。

このようにして式（１２）において「１」が得られた場合には、右逸脱警告（ｙ_t＝３）または左逸脱警告（ｙ_t＝４）を行うことになる。

（信号機の存在判別動作および認識動作）
次に、本実施形態において特徴とする動作である信号機ＴＬの存在判別動作および認識動作について説明する。この信号機ＴＬの存在判別動作および認識動作は、前述したように信号機認識部８３によって行われる。

図３に示すように、信号機認識部８３は、信号機第１認識部８３ａ、信号機第２認識部８３ｂ、信号機存在判定部８３ｃ、信号機状態判定部８３ｄを備えている。これら信号機第１認識部８３ａ、信号機第２認識部８３ｂ、信号機存在判定部８３ｃ、信号機状態判定部８３ｄも、前記制御プログラムによって実現される機能部である。以下、それぞれについて説明する。

信号機第１認識部８３ａは、カメラ２０によって取得（撮影）された画像に対し、予めアノテーションされたデータに基づく学習済みモデルを用いて信号機ＴＬの認識動作を行う機能部である。具体的に、信号機第１認識部８３ａは、深層学習を用いて信号機ＴＬの認識動作を行う。つまり、事前にアノテーションされた信号機ＴＬのデータ（ラベルが付けられた信号機ＴＬのデータ；深層学習によって信号機ＴＬを認識するための教師データ）を利用して、カメラ２０によって取得された画像中に信号機ＴＬが存在するか否かの判断（信号機ＴＬの存在の有無の判別）、および、信号機ＴＬの状態（青信号であるか赤信号であるか）の認識を行う。ここで、予めアノテーションされたデータ（本発明でいう信号機状態データ）としては、信号機ＴＬの赤色点灯部が点灯した状態でのデータ、信号機ＴＬの青色点灯部が点灯した状態でのデータ、信号機ＴＬの各点灯部が共に消灯した状態でのデータが挙げられる。

信号機第２認識部８３ｂは、カメラ２０によって取得された画像に対し、信号機ＴＬの特徴量に基づいて当該信号機ＴＬの認識動作を行う機能部である。本実施形態において使用する信号機ＴＬの特徴量としては、形状特徴量として信号機ＴＬのアスペクト比（縦横比）、および、色特徴量として点灯色の色相、彩度、明度である（これら特徴量において信号機ＴＬの存在が認識される特徴量のデータが本発明でいう信号機状態データである）。以下、これら特徴量を使用した信号機ＴＬの認識動作について説明する。この信号機ＴＬの認識動作は、形状特徴量を使用した認識動作および色特徴量を使用した認識動作が順に行われる。

先ず、形状特徴量を使用した認識動作について説明する。信号機ＴＬにおけるアスペクト比は予め規定されている。このため、カメラ２０によって取得された画像中に、このアスペクト比に略合致する形状の物体（当該物体を表す画像）が存在しておれば、その形状の物体（その形状の物体の画像領域）が信号機ＴＬである可能性が高いとして抽出される。以下、この形状の物体の画像領域を認識対象エリアと呼ぶこととする。具体的には、予め規定されている信号機ＴＬの高さ寸法をｈ、幅寸法をｗとした場合に、アスペクト比ｗ／ｈが所定の範囲内にある物体を信号機ＴＬの可能性が高い物体（認識対象エリアに存在する物体）であるとして抽出する。

このように抽出された認識対象エリアに対し、色特徴量を使用した認識動作を行うことで、信号機ＴＬであるか否かの確定動作を行う。以下、この色特徴量を使用した認識動作について説明する。

色特徴量を使用した認識動作としては、色相スクリーニング動作および彩度・明度認識動作が順に行われる。

色相スクリーニング動作は、前述した形状特徴量を使用した認識動作によって抽出した認識対象エリアの色相が信号機ＴＬにおける何れかの点灯部の点灯色に合致しているか否かを判断する動作である。具体的には、カメラ２０によって取得された画像中の前記認識対象エリアの色情報としてＲＧＢ色空間をＨＳＶ色空間に変換する。この変換は周知のＨＳＶ変換処理が利用される。ここで、Ｈは色相（Hue）、Ｓは彩度（Saturation Chroma）、Ｖは明度（Value Brightness）である。色相スクリーニング動作では、認識対象エリアの色相Ｈが所定の範囲内にあるか否かを判断する。

認識対象エリアの色相Ｈが赤色であった場合には、その色が、信号機ＴＬの赤色の点灯色を対象とした所定の条件を満たすか否かが判断され、認識対象エリアの色相Ｈが青色であった場合には、その色が、信号機ＴＬの青色の点灯色を対象とした所定の条件を満たすか否かが判断されることになる。

認識対象エリアの色相Ｈが所定の条件を満たしている場合には、更に、信号機ＴＬであることの信頼性を高めるために以下の彩度・明度認識動作を行う。歩行者用信号機（信号機）ＴＬにあっては、赤色点灯部が点灯している場合には、その下側に隣接する青色点灯部は消灯し黒色となっている。また、青色点灯部が点灯している場合には、その上側に隣接する赤色点灯部は消灯し黒色となっている。彩度・明度認識動作では、このことを利用して、前記抽出された認識対象エリアが信号機ＴＬであるか否かの確定動作を行う。尚、後述するように、信号機ＴＬの全ての信号灯が消灯した状態の画像が取得された場合には、この色特徴量を使用した認識動作を実施することができないことになる。

信号機存在判定部８３ｃは、カメラ２０によって取得された前方の画像を用いて信号機ＴＬの存在の有無を判別するためのものであり、予め記憶された、信号機ＴＬの全ての信号灯（赤色信号灯および青色信号灯）が消灯した状態のデータを含む複数の信号機状態データを用いて、前方に信号機ＴＬが存在している状態と前方に信号機ＴＬが存在していない状態とを判別する機能を有している。

具体的には、前記信号機第１認識部８３ａによる認識動作の結果に基づいて、カメラ２０によって取得された前方の画像に対して信号機ＴＬの存在の有無を判別するようになっている。

以下、この信号機存在判定部８３ｃにおける、信号機ＴＬの存在の有無を判別するための動作の概要について説明する。

前方に信号機ＴＬが存在している場合に、カメラ２０によって取得される前方の画像としては、図１２～図１４のものが挙げられる。図１２は、信号機ＴＬの青色信号灯が点灯している状態でカメラ２０によって取得された画像の一例を示している。また、図１３は、信号機ＴＬの赤色信号灯が点灯している状態でカメラ２０によって取得された画像の一例を示している。そして、図１４は、信号機ＴＬの全ての信号灯が消灯している状態でカメラ２０によって取得された画像の一例を示す図である。この図１４に示す画像が取得されてしまう理由は以下のとおりである。

前述したように、信号機（歩行者用信号機）ＴＬは青信号から赤信号に切り替わる前に青色信号灯が点滅する。また、信号機ＴＬの信号灯に蛍光灯やＬＥＤランプが採用されている場合、信号灯の点灯状態にあっては非常に短い周期（例えば１００回／ｓｅｃ）で点滅している。このため、カメラ２０の撮影タイミング（サンプリングタイミング）によっては、そのサンプリングタイミングと信号灯の消灯タイミングとが一致することがあり、この場合、図１４に示すように信号灯の消灯状態（青色信号灯および赤色信号灯が共に消灯している状態）の画像が取得されてしまうことになる。このような状況では、カメラ２０が信号灯からの光を受光できず、従来技術にあっては、信号機の存在を認識することができないことから、信号機が存在していない（信号機が設置されていない横断歩道である）と誤判断してしまう可能性があった。

尚、カメラ２０によって取得される前方の画像として図１５に示すものの挙げられる。この図１５は、信号機ＴＬの全ての信号灯の明度が高い状態で取得された画像の一例を示す図である。このような画像が取得される例としては、信号機ＴＬに太陽光等が照射され、消灯している信号灯が明るく見える状態である。

この点に鑑み本実施形態では、信号機ＴＬの全ての信号灯が消灯した状態のデータを含む複数の信号機状態データを記憶させておき、この信号機状態データを用いて、信号機存在判定部８３ｃにおいて前方に信号機ＴＬが存在している状態と前方に信号機ＴＬが存在していない状態とを判別できるようにしている。

以下、信号機存在判定部８３ｃにおける信号機ＴＬの存在の有無を判別するための処理について具体的に説明する。

時刻ｔにおける信号機ＴＬの各信号灯の状態を示す変数（状態変数）Ｓ_S（ｔ）は以下の式（１５）で表すことができる。

ここで、Ｓ_i（ｉ＝ｒ，ｇ，ｏ）は各信号灯の点灯状態を表す状態変数であり、赤色信号灯の点灯時にはＳ_S（ｔ）＝｛１，０，０｝^T、青色信号灯の点灯時にはＳ_S（ｔ）＝｛０，１，０｝^T、両信号灯の消灯時にはＳ_S（ｔ）＝｛０，０，１｝^Tと表される。また、前方に信号機が存在していない場合にはＳ_S（ｔ）＝｛０，０，０｝^Tと表される。また、図１５に示す画像が取得された場合、状態変数はＳ_S（ｔ）＝｛１，１，０｝^Tと表すことができる。

そして、本実施形態では、信号機第１認識部８３ａによる認識動作の結果に基づいた検出結果変数ｊ_S（ｔ）が以下の式（１６）で表される。

この式（１６）において、状態変数として、Ｓ_S（ｔ）＝｛１，０，０｝^T、Ｓ_S（ｔ）＝｛０，１，０｝^T、Ｓ_S（ｔ）＝｛０，０，１｝^T、Ｓ_S（ｔ）＝｛１，１，０｝^Tのうちの何れかにある場合には、検出結果変数ｊ_S（ｔ）が「１」となる。この状態が、前方に信号機ＴＬが存在していると判定される状態である。つまり、信号機ＴＬの点灯の有無を問わず（取得した画像上で信号機ＴＬが消灯している場合を含んで）前方に信号機ＴＬが存在していると判定される状態である。一方、式（１６）において、状態変数としてＳ_S（ｔ）＝｛０，０，０｝^Tにある場合には、検出結果変数ｊ_S（ｔ）が「０」となる。この状態が、前方に信号機ＴＬが存在していないと判定される状態である。

このように、本実施形態では、状態変数として、前方に信号機が存在していない場合に相当するＳ_S（ｔ）＝｛０，０，０｝^Tを使用したことにより、この前方に信号機が存在していない場合の状態変数Ｓ_S（ｔ）＝｛０，０，０｝^Tを、赤色信号灯の点灯時の状態変数Ｓ_S（ｔ）＝｛１，０，０｝^Tおよび青色信号灯の点灯時の状態変数Ｓ_S（ｔ）＝｛０，１，０｝^Tと同等に扱うことを可能にし、これによって両信号灯の消灯時においても信号機ＴＬの存在が判別できるようにしている。

尚、ここでは、信号機第１認識部８３ａによる認識動作の結果に基づいて、前方の画像に対して信号機ＴＬの存在の有無を判別するようにしているが、信号機第２認識部８３ｂによる認識動作の結果に基づいて、前述の場合と同様に（式（１６）を利用して）前方の画像に対して信号機ＴＬの存在の有無を判別するようになっていてもよい。また、信号機第１認識部８３ａによる認識動作の結果および信号機第２認識部８３ｂによる認識動作の結果の両方に基づいて、前方の画像に対して信号機ＴＬの存在の有無を判別するようになっていてもよい。この場合、信号機第１認識部８３ａによる認識動作および信号機第２認識部８３ｂによる認識動作の両方で信号機ＴＬの存在が認識されなかった場合に、カメラ２０によって取得された前方の画像に対し、前方に信号機ＴＬが存在していないと判定し、それ以外の場合には、前方に信号機ＴＬが存在していると判定することになる。

信号機状態判定部８３ｄは、カメラ２０によって取得された前方の画像を用いて信号機ＴＬの状態を認識（信号機ＴＬの存在の有無だけでなく各信号灯の点灯状態も認識）する機能部である。

具体的には、信号機第１認識部８３ａによる認識動作および信号機第２認識部８３ｂによる認識動作に応じて、信号機ＴＬの存在の有無の判別および信号機ＴＬの状態の認識を行う。

前述した深層学習および信号機ＴＬの特徴量によって認識される信号機ＴＬの相補信号色状態変数は以下の式（１７）で表される。

ここでＳ_S ^DL（ｔ）は深層学習により得られた信号色状態変数であり、Ｓ_S ^CV（ｔ）は信号機ＴＬの特徴量により得られた信号色状態変数である。

この式（１７）によって得られた相補信号色状態変数により、前記式（１６）を拡張した以下の式（１８）により、信号機ＴＬの存在の有無の判別および信号機ＴＬの状態の認識を行うことができる。

この式（１８）において、「ｒｅｄ」は、前方に信号機ＴＬが存在しており当該信号機ＴＬが赤色点灯状態であることを示している。つまり、状態変数としてＳ（ｔ）＝｛１，０，０｝^Tが得られた状態（赤信号の認識によって１が得られ）で信号色状態変数によって信号機ＴＬが存在していると判断された（信号機ＴＬの存在判別により１が得られた）場合に「１」が得られて、前方に信号機ＴＬが存在しており当該信号機ＴＬが赤色点灯状態であることが判定されることになる。この判定動作が、本発明でいう「信号機第１認識部による認識動作および信号機第２認識部による認識動作のうち少なくとも一方の動作において信号機が赤色点灯であることが認識された状態において、信号機第１認識部による認識動作および信号機第２認識部による認識動作の両方で信号機の存在が認識された場合に、画像取得手段によって取得された前方の画像に対し、信号機が存在し且つ当該信号機が赤色点灯状態であると判定する」動作に相当する。

また、「ｇｒｅｅｎ」は、前方に信号機ＴＬが存在しており当該信号機ＴＬが青色点灯状態であることを示している。つまり、状態変数としてＳ_S（ｔ）＝｛０，１，０｝^Tが得られた状態（青信号の認識によって１が得られ）で信号色状態変数によって信号機ＴＬが存在していると判断された（信号機ＴＬの存在判別により１が得られた）場合に「１」が得られて、前方に信号機ＴＬが存在しており当該信号機ＴＬが青色点灯状態であることが判定されることになる。この判定動作が、本発明でいう「信号機第１認識部による認識動作および信号機第２認識部による認識動作のうち少なくとも一方の動作において信号機が青色点灯であることが認識された状態において、信号機第１認識部による認識動作および信号機第２認識部による認識動作の両方で信号機の存在が認識された場合に、画像取得手段によって取得された前方の画像に対し、信号機が存在し且つ当該信号機が青色点灯状態であると判定する」動作に相当する。

また、「Ｎ／Ａ」は、前方に信号機ＴＬが存在していないことを示している。つまり、相補信号色状態変数によって信号機ＴＬが存在していないと判断された（信号機ＴＬの存在無しの判別により０が得られた）場合に前方に信号機ＴＬが存在していないことが判定されることになる。この判定動作が、本発明でいう「信号機第１認識部による認識動作および信号機第２認識部による認識動作の両方で信号機の存在が認識されなかった場合に、画像取得手段によって取得された前方の画像に対し、前方に信号機が存在していないと判定する」動作に相当する。

また、「ｏｆｆ」は、点灯色は不明である（画像上において全ての信号灯が消灯している）ものの前方に信号機ＴＬが存在していることを示している。つまり、前述した３種類の判定（ｒｅｄ、ｇｒｅｅｎ、および、Ｎ／Ａの判定）の何れもなされなかった場合に前方に信号機ＴＬが存在していることが判定されることになる。この判定動作が、本発明でいう「信号機が存在し且つ当該信号機が赤色点灯状態であることの判定、信号機が存在し且つ当該信号機が青色点灯状態であることの判定、前方に信号機が存在していないことの判定の何れの判定もされなかった場合には、前方に信号機が存在していると判定する」動作に相当する。

このようにして、式（１８）によって信号機ＴＬの存在の有無の判別および信号機ＴＬの状態の認識を行うことが可能である。

（歩行支援動作）
次に、歩行支援システム１０による歩行支援動作の流れについて説明する。

図１６は、前述した歩行支援動作の一連の流れを示すフローチャートである。このフローチャートは、視覚障碍者が路上（歩道上）を歩行している状況において、所定時刻ｔから所定時刻ｔ＋１までの間で１回のルーチンが実施されるように所定時間間隔を存して繰り返して実施される。以下の説明では各状態遷移関数における変数（Ｊ，Ｘ_t+1）の記載を省略する。

先ず、ステップＳＴ１において視覚障碍者が歩行状態にある状況で、ステップＳＴ２において、前記横断歩道検出部８２によって認識された、横断歩道ＣＷを含む画像領域における当該横断歩道ＣＷの白線ＷＬ１の位置（より具体的には、最も手前に位置する白線ＷＬ１のBoundary Boxの位置）に基づき、前述した停止指示（ｙ_t＝１）を行う条件の成立の有無を判定するための状態遷移関数ｆ₀（前記式５）において「１」が得られたか否かを判定する。

この状態遷移関数ｆ₀において「０」が得られている場合には、停止指示（ｙ_t＝１）を行う条件が成立していない、つまり、視覚障碍者は未だ横断歩道ＣＷの手前に達していないとしてＮＯ判定され、ステップＳＴ１に戻る。視覚障碍者が横断歩道ＣＷの手前に達するまで、ステップＳＴ２ではＮＯ判定されるため、ステップＳＴ１，ＳＴ２の動作を繰り返すことになる。

視覚障碍者が横断歩道ＣＷの手前に達し、状態遷移関数ｆ₀において「１」が得られた場合には、ステップＳＴ２でＹＥＳ判定され、ステップＳＴ３に移る。このステップＳＴ３では、視覚障碍者に対して停止指示（ｙ_t＝１）を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、停止指示（停止通知）を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は、振動発生機５０の振動のパターンを感じ取ることで停止指示されたことを認識し、歩行を停止することになる。

ステップＳＴ４において視覚障碍者が停止状態にある状況で、ステップＳＴ５において、前述した歩行指示（ｙ_t＝２）を行う条件の成立の有無を判定するための状態遷移関数ｆ₁（前記式８）において「１」が得られたか否かを判定する。この状態遷移関数ｆ₁による判定動作に際しては、前述した図４で示したように、破線で囲まれた領域Ａが抽出され、前述した信号機第１認識部８３ａによる信号機ＴＬの認識動作および信号機第２認識部８３ｂによる信号機ＴＬの認識動作が行われる。これにより、前述した信号機存在判定部８３ｃによる信号機ＴＬの存在の有無の判別動作、信号機状態判定部８３ｄによる信号機ＴＬの状態の認識動作が行われる。つまり、取得された画像に対し、予めアノテーションされたデータに基づく学習済みモデルを用いた信号機ＴＬの認識動作、および、取得された画像に対し、信号機ＴＬの特徴量に基づいた信号機ＴＬの認識動作が行われ、前述した式（１８）の結果から、前方における信号機ＴＬの存在の有無および信号機ＴＬが存在する場合における当該信号機ＴＬの状態が認識される。

このようにして信号機ＴＬの存在の有無および信号機ＴＬの状態が認識された後、ステップＳＴ５において、歩行指示（ｙ_t＝２）を行う条件の成立の有無を判定するための状態遷移関数ｆ₁（前記式８）において「１」が得られたか否かを判定することになる。

この状態遷移関数ｆ₁において「０」が得られている場合には、歩行指示（ｙ_t＝２）を行う条件が成立していない、つまり、信号機ＴＬは未だ青信号に切り替わっていないとしてＮＯ判定され、ステップＳＴ４に戻る。信号機ＴＬが青信号に切り替わるまで、ステップＳＴ５ではＮＯ判定されるため、ステップＳＴ４，ＳＴ５の動作を繰り返すことになる。

信号機ＴＬが青信号に切り替わり、状態遷移関数ｆ₁において「１」が得られた場合には、ステップＳＴ５でＹＥＳ判定され、ステップＳＴ６に移る。この動作が、切り替わり認識部（信号機の状態が、停止指示状態から横断許可状態に切り替わったことを認識する切り替わり認識部）８４の動作に相当する。

ステップＳＴ６では、視覚障碍者に対して歩行（横断）指示（ｙ_t＝２）を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、歩行指示（横断開始通知）を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は歩行指示されたことを認識し、横断歩道ＣＷの横断を開始することになる。

ステップＳＴ７において視覚障碍者が横断歩道ＣＷの横断状態にある状況で、ステップＳＴ８において、横断歩道ＣＷからの逸脱の警告を行う条件の成立の有無を判定するための状態遷移関数ｆ₃（前記式１２）において「１」が得られたか否かを判定する。

状態遷移関数ｆ₃において「１」が得られ、ステップＳＴ８でＹＥＳ判定された場合、ステップＳＴ９において、その横断歩道ＣＷからの逸脱の方向が右方向（右逸脱）であるか否かを判定する。そして、横断歩道ＣＷからの逸脱の方向が右方向であり、ステップＳＴ９でＹＥＳ判定された場合にはステップＳＴ１０に移り、視覚障碍者に対して右逸脱警告（ｙ_t＝３）を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、右逸脱警告を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は右逸脱警告されたことを認識し、歩行方向を左方向に向けて変更することになる。

一方、横断歩道ＣＷからの逸脱の方向が左方向であり、ステップＳＴ９でＮＯ判定された場合にはステップＳＴ１１に移り、視覚障碍者に対して左逸脱警告（ｙ_t＝４）を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、左逸脱警告を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は左逸脱警告されたことを認識し、歩行方向を右方向に向けて変更することになる。このようにして逸脱警告を行った後、ステップＳＴ１４に移る。

横断歩道ＣＷからの逸脱がなく、状態遷移関数ｆ₃において「０」が得られている場合には、ステップＳＴ８でＮＯ判定され、ステップＳＴ１２に移る。このステップＳＴ１２では、現在、ステップＳＴ１０またはステップＳＴ１１における逸脱警告の発生中であるか否かを判定する。逸脱警告の発生中でなく、ステップＳＴ１２でＮＯ判定された場合には、ステップＳＴ１４に移る。一方、逸脱警告の発生中であり、ステップＳＴ１２でＹＥＳ判定された場合には、ステップＳＴ１３に移り、逸脱警告を解除してステップＳＴ１４に移る。

ステップＳＴ１４では、横断完了の通知を行う条件の成立の有無を判定するための状態遷移関数ｆ₂（前記式１１）において「１」が得られたか否かを判定する。

この状態遷移関数ｆ₂において「０」が得られている場合には、横断完了の通知を行う条件が成立していない、つまり、視覚障碍者は横断歩道ＣＷの横断中であるとしてＮＯ判定され、ステップＳＴ７に戻る。横断歩道ＣＷの横断が完了するまで、ステップＳＴ１４ではＮＯ判定されるため、ステップＳＴ７～ＳＴ１４の動作を繰り返すことになる。

つまり、視覚障碍者の横断中に横断歩道ＣＷからの逸脱が発生する場合には前述した逸脱警告が行われ、この逸脱が解消された場合には、逸脱警告が解除されるといった動作を、横断歩道ＣＷの横断が完了するまで行われる。

視覚障碍者が横断歩道ＣＷの横断を完了し、状態遷移関数ｆ₂において「１」が得られた場合には、ステップＳＴ１４でＹＥＳ判定され、ステップＳＴ１５に移り、視覚障碍者に対して横断完了の通知を行う。具体的には、視覚障碍者が持っている白杖１の振動発生機５０が、横断完了を示すパターンで振動する。これにより、白杖１のグリップ部３を把持している視覚障碍者は横断完了の通知が行われたことを認識し、通常の歩行状態に戻ることになる。

このようにして、視覚障碍者が横断歩道ＣＷを横断する度に前述した動作が繰り返されることになる。

－歩行支援の状態遷移の例－
次に、前述の如く構成された歩行支援システム１０において歩行支援が行われる際の動作についての複数の例について説明する。

（信号機が設置されていない横断歩道の横断）
先ず、信号機が設置されていない横断歩道を横断する場合について説明する。図１７は、信号機が設置されていない横断歩道を横断する場合における歩行支援の状態遷移を説明するためのタイミングチャートである。

視覚障碍者が横断歩道に向かって歩行し、横断歩道の手前に達したタイミング（タイミングｔ１０）で、振動発生機５０が停止指示（停止通知）を示すパターンで振動し、これに従って視覚障碍者が停止する。

その後、タイミングｔ１１から、信号機認識システム１００による信号機ＴＬの探索が開始され、タイミングｔ１２までの期間中に信号機ＴＬが検出されなかったことで、信号機が設置されていない横断歩道であると判断される。そして、このタイミングｔ１２において、振動発生機５０が歩行指示（横断開始通知）を示すパターン（信号機が設置されていない横断歩道であることを通知する情報を含むパターン）で振動し、これに従って視覚障碍者が横断歩道の横断を開始する。この横断歩道の横断に当たっては、視覚障碍者は、周囲の環境（音等）を頼りにして横断歩道を横断する。

タイミングｔ１３で横断が開始されると、前述した横断歩道からの逸脱（左右方向への逸脱）を判断する動作が開始され、横断歩道から逸脱する可能性が生じた場合には、振動発生機５０が横断歩道ＣＷからの逸脱の警告を示すパターンで振動し、これに従って視覚障碍者は、逸脱を回避する方向へ歩行方向を変更することになる。

そして、横断歩道の横断が完了すると（タイミングｔ１４）、振動発生機５０が横断の完了を示すパターンで振動し、視覚障碍者は横断歩道の横断を完了したことを認識して歩行（歩道の歩行）を継続する（タイミングｔ１５）。

（信号機が設置された横断歩道の横断：第１の例）
次に、信号機ＴＬが設置された横断歩道を横断する場合の第１の例について説明する。図１８は、信号機ＴＬが設置された横断歩道を横断する場合における歩行支援の状態遷移の第１の例を説明するためのタイミングチャートである。この図１８に示すタイミングチャートは、視覚障碍者が、横断歩道に達した時点における信号機ＴＬは赤信号であり、その後、青信号に切り替わったことで横断歩道の横断を開始する場合を示している。

視覚障碍者が横断歩道に向かって歩行し、横断歩道の手前に達したタイミング（タイミングｔ２０）で、振動発生機５０が停止指示（停止通知）を示すパターンで振動し、これに従って視覚障碍者が停止する。この際、信号機ＴＬは赤信号となっており、タイミングｔ２１において、信号機ＴＬが赤信号であることが認識される。

そして、タイミングｔ２２から信号機ＴＬが青信号に切り替わることを待機し、タイミングｔ２３で信号機ＴＬが青信号に切り替わったことが認識されたことで、振動発生機５０が歩行指示（横断開始通知）を示すパターンで振動し、これに従って視覚障碍者が横断歩道の横断を開始する。

タイミングｔ２４で横断が開始されると、前述した横断歩道からの逸脱を判断する動作が開始され、横断歩道から逸脱する可能性が生じた場合には、振動発生機５０が横断歩道ＣＷからの逸脱の警告を示すパターンで振動し、これに従って視覚障碍者は、逸脱を回避する方向へ歩行方向を変更することになる。

そして、横断歩道の横断が完了すると（タイミングｔ２５）、振動発生機５０が横断の完了を示すパターンで振動し、視覚障碍者は横断歩道の横断を完了したことを認識して歩行（歩道の歩行）を継続する（タイミングｔ２６）。

（信号機が設置された横断歩道の横断：第２の例）
次に、信号機ＴＬが設置された横断歩道を横断する場合の第２の例について説明する。図１９は、信号機ＴＬが設置された横断歩道を横断する場合における歩行支援の状態遷移の第２の例を説明するためのタイミングチャートである。この図１９に示すタイミングチャートは、視覚障碍者が、横断歩道に達した時点における信号機ＴＬは青信号であり、その後、一旦赤信号に切り替わった後、青信号に切り替わるのを待って横断歩道の横断を開始する場合を示している。

視覚障碍者が横断歩道に向かって歩行し、横断歩道の手前に達したタイミング（タイミングｔ３０）で、振動発生機５０が停止指示（停止通知）を示すパターンで振動し、これに従って視覚障碍者が停止する。この際、信号機ＴＬは青信号となっており、タイミングｔ３１において、信号機ＴＬが青信号であることが認識される。

そして、タイミングｔ３２から信号機ＴＬが赤信号に切り替わることを待機し、タイミングｔ３３で信号機ＴＬが赤信号に切り替わったことが認識される。

この状態で、タイミングｔ３４から信号機ＴＬが青信号に切り替わることを待機し、タイミングｔ３５で信号機ＴＬが青信号に切り替わったことが認識されたことで、振動発生機５０が歩行指示（横断開始通知）を示すパターンで振動し、これに従って視覚障碍者が横断歩道の横断を開始する。

タイミングｔ３６で横断が開始されると、前述した横断歩道からの逸脱を判断する動作が開始され、横断歩道から逸脱する可能性が生じた場合には、振動発生機５０が横断歩道ＣＷからの逸脱の警告を示すパターンで振動し、これに従って視覚障碍者は、逸脱を回避する方向へ歩行方向を変更することになる。

そして、横断歩道の横断が完了すると（タイミングｔ３７）、振動発生機５０が横断の完了を示すパターンで振動し、視覚障碍者は横断歩道の横断を完了したことを認識して歩行（歩道の歩行）を継続する（タイミングｔ３８）。

（信号機が設置された横断歩道の横断：第３の例）
次に、信号機ＴＬが設置された横断歩道を横断する場合の第３の例について説明する。図２０は、信号機ＴＬが設置された横断歩道を横断する場合における歩行支援の状態遷移の第３の例を説明するためのタイミングチャートである。この図２０に示すタイミングチャートは、視覚障碍者が、横断歩道に達した時点における信号機ＴＬは青信号であり、その後、一旦赤信号に切り替わった後、信号機ＴＬの状態を認識できなくなり、信号機ＴＬの状態を認識できる状態に復帰した後、青信号に切り替わるのを待って横断歩道の横断を開始する場合を示している。

視覚障碍者が横断歩道に向かって歩行し、横断歩道の手前に達したタイミング（タイミングｔ４０）で、振動発生機５０が停止指示（停止通知）を示すパターンで振動し、これに従って視覚障碍者が停止する。この際、信号機ＴＬは青信号となっており、タイミングｔ４１において、信号機ＴＬが青信号であることが認識される。

そして、タイミングｔ４２から信号機ＴＬが赤信号に切り替わることを待機する。

そして、タイミングｔ４３～タイミングｔ４６において、信号機ＴＬの状態を認識できなくなり、タイミングｔ４７で信号機ＴＬの状態を認識できる状態に復帰しタイミングｔ４７で信号機ＴＬが赤信号状態にあることが認識される。

この状態で、このタイミングｔ４７から信号機ＴＬが青信号に切り替わることを待機し、タイミングｔ４８で信号機ＴＬが青信号に切り替わったことが認識されたことで、振動発生機５０が歩行指示（横断開始通知）を示すパターンで振動し、これに従って視覚障碍者が横断歩道の横断を開始する。

タイミングｔ４９で横断が開始されると、前述した横断歩道からの逸脱（左右方向への逸脱）を判断する動作が開始され、横断歩道から逸脱する可能性が生じた場合には、振動発生機５０が横断歩道ＣＷからの逸脱の警告を示すパターンで振動し、これに従って視覚障碍者は、逸脱を回避する方向へ歩行方向を変更することになる。

そして、横断歩道の横断が完了すると（タイミングｔ５０）、振動発生機５０が横断の完了を示すパターンで振動し、視覚障碍者は横断歩道の横断を完了したことを認識して歩行（歩道の歩行）を継続する（タイミングｔ５１）。

－実施形態の効果－
以上説明したように、本実施形態では、カメラ２０によって取得された前方の画像を用いて信号機ＴＬの存在の有無を判別するに当たり、予め記憶された、信号機ＴＬの全ての信号灯が消灯した状態のデータを含む複数の信号機状態データを用いて、信号機存在判定部８３ｃにおいて、前方に信号機ＴＬが存在している状態と前方に信号機ＴＬが存在していない状態とを判別するようにしている。このため、取得された画像上において全ての信号灯が消灯状態にある信号機ＴＬが存在していることを認識でき、前方に信号機ＴＬが存在している状態と前方に信号機ＴＬが存在していない状態とを高い精度で判別することができる。つまり、前方に信号機ＴＬが存在しているにも拘わらず信号機ＴＬが存在していないと誤判断してしまうことを抑制できる。このため、前方に信号機ＴＬが存在するか否かの判別の信頼性を高めることができる。

また、本実施形態では、信号機状態判定部８３ｄによって、前方の画像を用いて信号機ＴＬの状態を認識（信号機ＴＬの存在の有無だけでなく各信号灯の点灯状態も認識）するようにしている。このため、よりいっそう高い精度で信号機ＴＬの存在の有無の判別を行うことが可能になる。特に、カメラ２０によって撮影された画像に対して、信号機第１認識部８３ａによる認識動作（カメラ２０によって撮影された画像に対し、予めアノテーションされたデータに基づく学習済みモデルを用いた信号機ＴＬの認識動作）の結果、および、信号機第２認識部８３ｂによる認識動作（カメラ２０によって撮影された画像に対し、信号機ＴＬの特徴量に基づいた当該信号機ＴＬの認識動作）の結果それぞれに基づいて、画像中に信号機ＴＬが認識されたか否かを判定するようにしているため、信号機ＴＬの認識精度を十分に得ることが可能になり、信号機ＴＬの状態に応じた歩行者（視覚障碍者）への指示を適切に行うことができる。

また、本実施形態では、信号機ＴＬの状態が赤信号から青信号に切り替わったことを条件として視覚障碍者に向けて横断の開始通知を行うようにしている。このため、視覚障碍者が横断歩道ＣＷを横断するに当たって、信号機ＴＬの状態が青信号となっている時間を十分に確保することができる。

また、本実施形態では、歩行支援システム１０および信号機認識システム１００の構成要素を白杖１に内蔵させることにより、白杖１のみで歩行支援システム１０および信号機認識システム１００を実現しているため、実用性の高い歩行支援システム１０および信号機認識システム１００を提供することができる。

－他の実施形態－
尚、本発明は、前記実施形態に限定されるものではなく、特許請求の範囲および該範囲と均等の範囲で包含される全ての変形や応用が可能である。

例えば、前記実施形態では、信号機認識システム１００を、視覚障碍者が使用する白杖１に内蔵した場合について説明した。本発明はこれに限らず、歩行者が高齢者である場合の杖や手押し車等であってもよい。

また、本発明に係る信号機認識システム１００は、歩行者の前方を対象とする（歩行者の前方における信号機ＴＬの存在の有無を判別する）場合に限らず、例えば車両の前方を対象とする（車両の前方における信号機ＴＬの存在の有無を判別する）場合にも適用が可能である。例えば、自動運転を行う車両に搭載され、当該車両の前方における信号機ＴＬの存在の有無を判別するものとして適用することが可能である。

また、前記実施形態では、視覚障碍者が横断歩道ＣＷに達した際に停止指示（ｙ_t＝１）を行い（信号機ＴＬが青信号であっても停止指示を行い）、信号機ＴＬが赤信号から青信号に切り替わったタイミングで歩行指示（ｙ_t＝２）を行うようにしていた。つまり、本発明に係る信号機ＴＬの認識動作は、主に歩行指示（ｙ_t＝２）を行うためのものとして利用されるものとしていた。本発明はこれに限らず、視覚障碍者が横断歩道ＣＷに達した際に信号機ＴＬの認識動作を行い、停止指示（ｙ_t＝１）を行うためのものとしても利用するようにしてもよい。

また、前記実施形態では、白杖１に充電ソケット７０を備えさせ、家庭用電源からバッテリ（二次電池）６０を充電するようにしていた。本発明はこれに限らず、白杖１の表面に太陽光発電シートを貼り付けておき、当該太陽光発電シートで発電した電力によってバッテリ６０を充電するようにしてもよい。また、二次電池に代えて一次電池を使用するようになっていてもよい。また、白杖１に振り子式発電機を内蔵し、該振り子式発電機を利用してバッテリ６０を充電するようにしてもよい。

また、前記実施形態では、振動発生機５０の振動パターンによって通知の種類を分けるようにしていた。本発明はこれに限らず、音声によって通知を行うようにしてもよい。

本発明は、視覚障碍者が把持する白杖に内蔵され、視覚障碍者の前方における信号機の存在の有無を判別する信号機認識システムに適用可能である。

１ 白杖
２０ カメラ（画像取得手段）
５０ 振動発生機（通知手段）
８０ 制御装置
８３ 信号機認識部
８３ａ 信号機第１認識部
８３ｂ 信号機第２認識部
８３ｃ 信号機存在判定部
８３ｄ 信号機状態判定部
１００ 信号機認識システム
ＴＬ 信号機

Claims (10)

1. 前方に存在する信号機を認識するための信号機認識システムであって、
   前方の画像を取得可能な画像取得手段と、
   前記画像取得手段によって取得された前方の画像を用いて前記信号機の存在の有無を判別する信号機存在判定部と、を備え、
   前記信号機存在判定部は、予め記憶された、前記信号機の全ての信号灯が消灯した状態のデータを含む複数の信号機状態データを用いて、前方に信号機が存在している状態と前方に信号機が存在していない状態とを判別する構成となっていることを特徴とする信号機認識システム。
2. 請求項１記載の信号機認識システムにおいて、
   予めアノテーションされた、全ての信号灯が消灯した状態にある信号機の画像データを含む複数の教師データを前記信号機状態データとして、前記教師データを用いて、前記画像取得手段によって取得された前方の画像に対して前記信号機の認識動作を行う信号機第１認識部を備え、
   前記信号機存在判定部は、前記信号機第１認識部による認識動作の結果に基づいて、前記画像取得手段によって取得された前方の画像に対して前記信号機の存在の有無を判別する構成となっていることを特徴とする信号機認識システム。
3. 請求項１記載の信号機認識システムにおいて、
   全ての信号灯が消灯した状態にある信号機の特徴量のデータを含む複数の特徴量データを前記信号機状態データとして、前記特徴量データを用いて、前記画像取得手段によって取得された前方の画像に対して前記信号機の認識動作を行う信号機第２認識部を備え、
   前記信号機存在判定部は、前記信号機第２認識部による認識動作の結果に基づいて、前記画像取得手段によって取得された前方の画像に対して前記信号機の存在の有無を判別する構成となっていることを特徴とする信号機認識システム。
4. 請求項１記載の信号機認識システムにおいて、
   予めアノテーションされた、全ての信号灯が消灯した状態にある信号機の画像データを含む複数の教師データを前記信号機状態データとして、前記教師データを用いて、前記画像取得手段によって取得された前方の画像に対して前記信号機の認識動作を行う信号機第１認識部と、
   全ての信号灯が消灯した状態にある信号機の特徴量のデータを含む複数の特徴量データを前記信号機状態データとして、前記特徴量データを用いて、前記画像取得手段によって取得された前方の画像に対して前記信号機の認識動作を行う信号機第２認識部と、を備え、
   前記信号機存在判定部は、前記信号機第１認識部による認識動作の結果および前記信号機第２認識部による認識動作の結果それぞれに基づいて、前記画像取得手段によって取得された前方の画像に対して前記信号機の存在の有無を判別する構成となっていることを特徴とする信号機認識システム。
5. 請求項１記載の信号機認識システムにおいて、
   予めアノテーションされた、全ての信号灯が消灯した状態にある信号機の画像データを含む複数の教師データを前記信号機状態データとして、前記教師データを用いて、前記画像取得手段によって取得された前方の画像に対して前記信号機の認識動作を行う信号機第１認識部と、
   全ての信号灯が消灯した状態にある信号機の特徴量のデータを含む複数の特徴量データを前記信号機状態データとして、前記特徴量データを用いて、前記画像取得手段によって取得された前方の画像に対して前記信号機の認識動作を行う信号機第２認識部と、
   前記信号機第１認識部による認識動作および前記信号機第２認識部による認識動作の両方で信号機の存在が認識されなかった場合に、前記画像取得手段によって取得された前方の画像に対し、前方に信号機が存在していないと判定する信号機状態判定部とを、備えていることを特徴とする信号機認識システム。
6. 請求項５記載の信号機認識システムにおいて、
   前記信号機状態判定部は、前記信号機第１認識部による認識動作および前記信号機第２認識部による認識動作のうち少なくとも一方の動作において前記信号機が赤色点灯であることが認識された状態において、前記信号機第１認識部による認識動作および前記信号機第２認識部による認識動作の両方で前記信号機の存在が認識された場合に、前記画像取得手段によって取得された前方の画像に対し、前記信号機が存在し且つ当該信号機が赤色点灯状態であると判定することを特徴とする信号機認識システム。
7. 請求項５または６記載の信号機認識システムにおいて、
   前記信号機状態判定部は、前記信号機第１認識部による認識動作および前記信号機第２認識部による認識動作のうち少なくとも一方の動作において前記信号機が青色点灯であることが認識された状態において、前記信号機第１認識部による認識動作および前記信号機第２認識部による認識動作の両方で前記信号機の存在が認識された場合に、前記画像取得手段によって取得された前方の画像に対し、前記信号機が存在し且つ当該信号機が青色点灯状態であると判定することを特徴とする信号機認識システム。
8. 請求項５、６および７記載の信号機認識システムにおける前記信号機第１認識部、前記信号機第２認識部および前記信号機状態判定部を備え、前記信号機状態判定部は、前記画像取得手段によって取得された前方の画像に対し、前記信号機が存在し且つ当該信号機が赤色点灯状態であることの判定、前記信号機が存在し且つ当該信号機が青色点灯状態であることの判定、前方に信号機が存在していないことの判定の何れの判定もされなかった場合には、前方に前記信号機が存在していると判定することを特徴とする信号機認識システム。
9. 請求項１～８のうち何れか一つに記載の信号機認識システムにおいて、
   前記画像取得手段および前記信号機存在判定部は、視覚障碍者が使用する白杖に内蔵されていることを特徴とする信号機認識システム。
10. 請求項９記載の信号機認識システムにおいて、
    歩行者の歩行方向前方に位置する前記信号機の状態に応じて、前記歩行者に対し、横断歩道の手前での停止を促す通知または当該横断歩道の横断の開始を促す通知を行う通知手段を備えており、該通知手段は、振動または音声によって、前記視覚障碍者に向けて前記通知を行う構成となっていることを特徴とする信号機認識システム。

Images