JP2022139069A - 運転支援装置、運転支援方法、およびプログラム - Google Patents

Abstract

【課題】信号機の進行示唆に応じた運転支援をより精度よく行う運転支援装置、運転支援方法、およびプログラムを提供すること。【解決手段】運転支援装置は、車両の周囲の画像に基づいて少なくとも信号機の存在および状態を認識する認識部と、少なくとも信号機の状態に基づいて、車両の乗員に対する運転支援を行う運転支援処理部と、を備える。運転支援処理部は、認識された状態に含まれる信号機の点灯色に応じて運転支援を行うタイミングを制御する。【選択図】図１

Description

本発明は、運転支援装置、運転支援方法、およびプログラムに関する。

画像を認識して得られた信号機の進行示唆に基づいて、車速の制御や、車両の乗員への報知などの運転支援を行う技術がある（例えば、特許文献１参照）。

特開２０１９－３６１００号公報

画像認識により得られた確からしさが高い進行示唆に基づいて運転支援を行うことで、乗員に役立つ支援をより精度よく行うことができる。しかしながら、画像認識による信号機の認識率は点灯色によって異なる。そのため、特定の点灯色で表される進行示唆の確からしさが低い場合があった。

本発明は、このような事情を考慮してなされたものであり、信号機の進行示唆に応じた運転支援をより精度よく行うことができる運転支援装置、運転支援方法、およびプログラムを提供することを目的の一つとする。

この発明に係る運転支援装置、運転支援方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る運転支援装置は、車両の周囲の画像に基づいて少なくとも信号機の存在および状態を認識する認識部と、少なくとも前記信号機の状態に基づいて、車両の乗員に対する運転支援を行う運転支援処理部と、を備え、前記運転支援処理部は、前記状態に含まれる前記信号機の点灯色に応じて前記運転支援を行うタイミングを制御する、運転支援装置である。

（２）：上記（１）の態様において、前記運転支援処理部は、前記点灯色に基づいて前記信号機の情報を出力するように、前記乗員に報知する報知装置に指示する報知制御部を備える、ものである。

（３）：上記（１）の態様において、前記運転支援処理部は、前記点灯色に応じて前記車両の加減速又は操舵を制御する走行制御部を備える、ものである。

（４）：上記（１）の態様において、前記認識部は、前記画像における信号機の領域である信号機認識領域を特定する領域特定部と、前記信号機認識領域における色の情報を少なくとも用いて前記信号機の進行示唆を推定し、前記信号機の状態の少なくとも一部として出力する進行示唆推定部とを有する、ものである。

（５）：上記（１）から上記（４）のいずれかの態様において、前記認識部は、前記画像における信号機の領域である信号機認識領域を特定する領域特定部を有し、前記画像の前記信号機認識領域について黄色の点灯色を検知した場合に前記信号機認識領域を信号機領域候補として保存し、時系列で連続する複数の画像において前記信号機領域候補が所定以上一致する場合に、前記信号機領域候補における信号機の認識の確からしさを増加させる、ものである。

（６）：上記（１）から上記（４）のいずれかの態様において、前記認識部は、前記画像における信号機の領域である信号機認識領域を特定する領域特定部を有し、前記画像の前記信号機認識領域において信号機の点灯色を検知し、前記運転支援処理部は、前記画像の前記信号機認識領域について黄色の点灯色が検知され、かつ、前記画像より前に得られた他の画像における前記信号機認識領域に対応した領域に青色の点灯色の信号機が検知されていた場合に、黄色の点灯色に基づく運転支援を行う、ものである。

（７）：上記（１）から上記（４）のいずれかの態様において、前記運転支援処理部は、前記車両と前記信号機との距離が前記車両の速度に応じた距離以内であり、かつ、前記点灯色が赤色である場合に前記運転支援を行い、前記車両と前記信号機との距離が前記車両の速度に応じた距離以内であり、かつ、前記点灯色が黄色である場合に前記運転支援を行わない、ものである。

（８）：この発明の他の態様に係る運転支援方法は、コンピュータが、車両の周囲の画像に基づいて少なくとも信号機の存在および状態を認識し、少なくとも前記信号機の状態に基づいて、車両の乗員に対する運転支援を行い、前記状態に含まれる前記信号機の点灯色に応じて前記運転支援を行うタイミングを制御する、運転支援方法である。

（９）：この発明の他の態様に係るプログラムは、コンピュータに、車両の周囲の画像に基づいて少なくとも信号機の存在および状態を認識させ、少なくとも前記信号機の状態に基づいて、車両の乗員に対する運転支援を行わせ、前記状態に含まれる前記信号機の点灯色に応じて前記運転支援を行うタイミングを制御させる、プログラムである。

（１）～（９）によれば、画像に基づいて検知された信号機の情報に基づく運転支援を、画像認識により得られた信号機の点灯色が表す進行示唆の確からしさに応じたタイミングで行うことができる。

（２）によれば、信号機の点灯色に応じた信号機の情報の報知を、進行示唆の確からしさに応じたタイミングで行うことができる。

（３）によれば、信号機の点灯色に応じた車両の加減速又は操舵の制御を、進行示唆の確からしさに応じたタイミングで行うことができる。

（４）によれば、信号機の点灯色に基づいて精度よく進行示唆の情報を推定することができる。また、信号機の示唆方向、すなわち、車両が進行可能な方向の情報を精度よく推定できる。

（５）及び（６）によれば、画像認識による確からしさが他の色よりも低い黄色の点灯色の信号機であっても、信号機の認識の確からしさを高めることができる。

（７）によれば、点灯色が黄色と認識された場合、信号機の点灯色が赤色であることを検知した場合には即時に実行される運転支援を実行せずに、黄色のときよりも信号機の認識率が高い赤色の点灯色に変化してから実行することができる。

本発明の一実施形態による車両システムの構成図である。 同実施形態による運転支援装置が検知する信号機の点灯色を示す図である。 同実施形態による運転支援装置が検知する信号機の点灯色を示す図である。 同実施形態による運転支援装置が検知する信号機認識領域を示す図である。 同実施形態による運転支援装置の処理を示すフロー図である。

以下、図面を参照し、本発明の運転支援装置、運転支援方法、およびプログラムの実施形態について説明する。

図１は、実施形態に係る運転支援装置を利用した車両システム１の構成図である。車両システム１が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

車両システム１は、例えば、外界センサ１０と、物体認識装置１６と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、運転操作子８０と、運転支援装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

外界センサ１０は、車両システム１が搭載される車両（以下、自車両Ｍ）の外界の情報を取得する。外界センサ１０は、カメラ１１と、レーダ装置１２と、ＬＩＤＡＲ（Light Detection and Ranging）１４とを備える。カメラ１１は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１１は、自車両Ｍの任意の箇所に取り付けられる。前方を撮像する場合、カメラ１１は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１１は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１１は、ステレオカメラであってもよい。

レーダ装置１２は、自車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ－ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ＬＩＤＡＲ１４は、自車両Ｍの周辺に光（或いは光に近い波長の電磁波）を照射し、散乱光を測定する。ＬＩＤＡＲ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ＬＩＤＡＲ１４は、自車両Ｍの任意の箇所に取り付けられる。

物体認識装置１６は、カメラ１１、レーダ装置１２、およびＬＩＤＡＲ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を運転支援装置１００に出力する。物体認識装置１６は、カメラ１１、レーダ装置１２、およびＬＩＤＡＲ１４の検出結果をそのまま運転支援装置１００に出力してよい。

ＨＭＩ３０は、自車両Ｍの乗員に対して各種情報を報知する報知装置である。また、ＨＭＩ３０は、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。

車両センサ４０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。

運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。

運転支援装置１００は、認識部１２０と、運転支援処理部１４０と、記憶部１６０とを備える。認識部１２０、および運転支援処理部１４０は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め運転支援装置１００のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで運転支援装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。

認識部１２０は、カメラ１１が撮影した自車両Ｍの周辺の画像に対して画像認識を行い、対象物を認識する。認識部１２０は、画像認識により、画像内に撮影されている対象物の種類と、その種類の対象物である確からしさを表すスコアとを得る。画像認識には任意の従来技術を用いることができる。例えば、認識部１２０は、この画像認識を、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して行うことにより実現してもよい。例えば、認識部１２０は、信号機を認識する場合、ディープラーニング等による信号機の認識と、パターンマッチングによる信号機の認識とを並行して実行し、双方の認識のスコアに基づいて総合的なスコアを得る。また、例えば、認識部１２０は、交差点を認識する場合、ディープラーニング等による交差点の認識と、予め与えられた条件（パターンマッチング可能な信号機、道路標示などがある）に基づく認識とを並行して実行し、双方の認識のスコアに基づいて総合的なスコアを得る。なお、認識部１２０は、ＡＩによる画像認識と、予め与えられたモデルによる画像認識との一方を行ってもよい。

また、認識部１２０は、カメラ１１、レーダ装置１２、およびＬＩＤＡＲ１４から物体認識装置１６を介して入力された情報に基づいて、自車両Ｍの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体の位置は、例えば、自車両Ｍの代表点（重心や駆動軸中心など）を原点とした絶対座標上の位置として認識され、運転支援に使用される。運転支援は、乗員への報知と、自車両Ｍの走行制御とを含む。認識された物体が信号機の場合、状態は進行示唆の情報を含む。

また、認識部１２０は、例えば、自車両Ｍが走行している車線（走行車線）を認識する。例えば、認識部１２０は、地図情報から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１１によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。地図情報は、内部又は外部に備えられる図示しない記憶装置に記憶される。なお、認識部１２０は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界（道路境界）を認識することで、走行車線を認識してもよい。また、認識部１２０は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識する。

認識部１２０は、走行車線を認識する際に、走行車線に対する自車両Ｍの位置や姿勢を認識する。認識部１２０は、例えば、自車両Ｍの基準点の車線中央からの乖離、および自車両Ｍの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する自車両Ｍの相対位置および姿勢として認識してもよい。これに代えて、認識部１２０は、走行車線のいずれかの側端部（道路区画線または道路境界）に対する自車両Ｍの基準点の位置などを、走行車線に対する自車両Ｍの相対位置として認識してもよい。

認識部１２０は、領域特定部１２２と、進行示唆推定部１２４とを備える。領域特定部１２２は、画像における信号機が占めると推定される領域を、信号機認識領域として認識する。領域特定部１２２は、パターンマッチングや機械学習の手法によって、信号機の輪郭を有し、かつ、所定の色の発光部が存在するものを信号機領域として認識する。この認識は確定的なものでは無く、確からしさ（尤度）と共に行われるものである。進行示唆推定部１２４は、領域特定部１２２が特定した（確からしさが閾値以上であると判定された）信号機認識領域における色の情報を用いて、信号機の進行示唆を推定する。進行示唆は、信号機の点灯色により表される。また、矢印式信号機の進行示唆は、矢印の色とその矢印の形状に応じた進行方向との組み合わせにより表される場合がある。

運転支援処理部１４０は、認識部１２０が認識した信号機の状態に基づいて、車両の乗員に対する運転支援を行う。また、運転支援処理部１４０は、信号機の状態に含まれる点灯色の情報に応じて、運転支援を行うタイミングを制御する。信号機の点灯色が黄色の場合の認識結果のスコアは、他の点灯色の場合のスコアよりも低い。これは、街灯が信号機と認識されやすいからである。そこで、運転支援処理部１４０は、認識された点灯色が黄色である場合は、進行示唆の確からしさも低いため、信号機の進行示唆に基づく運転支援を抑制する。また、運転支援処理部１４０は、認識された点灯色が黄色である場合、前の画像における認識結果を合わせて、信号機を検知した確からしさを高める。この場合、運転支援処理部１４０は、信号機の点灯色が黄色の場合でも、運転支援を抑制しないようにしてもよい。

運転支援処理部１４０は、報知制御部１４２と、走行制御部１４４とを備える。報知制御部１４２は、ＨＭＩ３０による自車両Ｍの乗員への報知を制御する。報知制御部１４２は、認識部１２０の認識結果に基づく情報を、ＨＭＩ３０の画面に表示させたり、ＨＭＩ１３０のスピーカから音により出力させたりする。一例として、報知制御部１４２は、信号機の進行示唆の認識結果と自車両Ｍの速度とに応じた情報をＨＭＩ３０に出力させる。

走行制御部１４４は、自車両Ｍの走行制御を行う。走行制御とは、例えば、自車両Ｍの速度または操舵の一方又は両方を制御することである。走行制御部１４４は、推奨車線を走行し、更に、自車両Ｍの周辺状況に対応できるように、自車両Ｍが自動的に（運転者の操作に依らずに）将来走行する目標軌道を生成する。自車両Ｍの周辺状況は、認識部１２０の認識結果や車両センサ４０の検出結果に基づいて得られる。自車両Ｍの周辺状況には、進行示唆推定部１２４が推定した信号機の進行示唆の情報が含まれる。推奨車線は、例えば、目的地と地図情報に基づいて決定される。目的地の情報は、例えば、ナビゲーション装置から受信してもよい。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの自車両Ｍの到達すべき地点であり、正しい車線に変更するように決められる。それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。

走行制御部１４４は、目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。すなわち、走行制御部１４４は、目標軌道に付随する速度要素に基づいて、走行駆動力出力装置２００またはブレーキ装置２１０を制御する。さらに、走行制御部１４４は、目標軌道の曲がり具合に応じて、ステアリング装置２２０を制御する。これらの処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、走行制御部１４４は、自車両Ｍの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。

上記のように、走行制御部１４４は、進行示唆推定部１２４が推定した信号機の進行示唆の情報を用いて目標軌道を生成し、生成した目標軌道に基づいてブレーキ装置２１０及びステアリング装置２２０を制御する。また、走行制御部１４４は、認識部１２０の認識結果や車両センサ４０の検出結果に基づいて、ブレーキ装置２１０を制御する。例えば、走行制御部１４４は、３次元の対象物と自車両Ｍとの距離が速度に応じた所定距離以内である場合に、ブレーキ装置２１０を制御する。

記憶部１６０は、現在から所定時間前まで遡った期間における各画像について得られた信号機認識領域及び進行示唆を応付けて記憶する。

走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、走行制御部１４４から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、走行制御部１４４から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、走行制御部１４４から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、運転操作子８０から入力される情報、或いは、走行制御部１４４から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

図２及び図３は、運転支援装置１００が認識する信号機の点灯色を示す図である。図２において、自車両Ｍが走行している道路の前方の交差点には、信号機Ａが設置されている。位置Ｐ１１において、運転支援装置１００の認識部１２０は、自車両Ｍの前方の画像に基づいて、信号機Ａの点灯色が黄色であることを認識する。運転支援処理部１４０の報知制御部１４２は、黄色又は赤色の点灯色と、自車両Ｍの速度とに応じた報知情報Ｆを選択する。報知情報Ｆは、信号機Ａに関する情報である。具体的には、報知情報Ｆは、前方の信号機が赤信号であること、すなわち、次の交差点が進行不許可であることを報知する情報である。これは、信号機が黄色で点灯している時間は短く、黄色の次にすぐに赤色が点灯するため、点灯色が黄色である場合も赤色である場合も、進行不許可の示唆と判断されるためである。また、交差点の手前で停止する際の加速度が所定以上となる速度で自車両Ｍが走行している場合のみ、報知情報Ｆが選択されるようにしてもよい。

一方で、運転支援処理部１４０は、信号機Ａの点灯色が黄色である場合、信号機であるという認識結果の確からしさが十分に高くないと判断する。そこで、運転支援処理部１４０は、報知制御部１４２に、報知情報Ｆの報知を抑制するように指示する。この場合、報知制御部１４２は、例えば選択した情報Ｆの報知を行わない。また、運転支援処理部１４０は、信号機の進行示唆に基づく運転支援を抑制するよう走行制御部１４４に指示する。この場合、走行制御部１４４は、黄色の点灯色に基づき判断された進行不許可の進行示唆に応じた自車両Ｍの制御を抑制する。

認識部１２０は、位置Ｐ１２において信号機Ａと、信号機Ａの点灯色が赤であることを認識する。報知制御部１４２は、報知情報Ｆを再び選択する。運転支援処理部１４０は、信号機Ａの点灯色が赤であるため、信号機であるという認識結果の確からしさが高いと判断する。運転支援処理部１４０は、報知制御部１４２に、信号機の進行示唆に基づく情報の報知の抑制解除を指示する。さらに、運転支援処理部１４０は、信号機の進行示唆に基づく運転支援の抑制解除を走行制御部１４４に指示する。報知制御部１４２は、選択した報知情報Ｆを報知する。なお、報知制御部１４２は、信号機Ａから、又は、信号機Ａが設置されている交差点内外の所定の位置から自車両Ｍの速度に応じた距離だけ離れた領域に入った場合に、報知情報Ｆを報知してもよい。走行制御部１４４は、赤色の点灯色に基づき判断された進行不許可の進行示唆に応じて自車両Ｍの加減速もしくは操舵を制御する。

図３において、自車両Ｍが走行している道路の前方の交差点には、信号機Ａが設置されている。位置Ｐ２１において、運転支援装置１００の認識部１２０は、自車両Ｍの前方の画像に基づいて、信号機Ａの点灯色が青色であることを認識する。ここでは、報知制御部１４２は、青色の点灯色に対応した報知情報はなしと判断する。

位置Ｐ２２において、認識部１２０は、自車両Ｍの前方の画像に基づいて、信号機Ａの点灯色が黄色であることを認識する。報知制御部１４２は、図２の場合と同様に報知情報Ｆを選択する。運転支援処理部１４０は、認識された信号機Ａの点灯色は黄色であるが、信号機Ａが認識された領域では以前に青色の点灯色が認識されているため、信号機Ａの認識の確からしさは高いと判断する。よって、運転支援処理部１４０は、報知制御部１４２にも走行制御部１４４にも抑制を指示しない。報知制御部１４２は、進行示唆推定部１２４が赤色の点灯色を認識する前であっても、信号機Ａから、又は、交差点内外の所定の位置から自車両Ｍの速度に応じた距離だけ離れた領域に入った場合に、報知情報Ｆを報知する。また、運転支援処理部１４０は、黄色の点灯色に基づき判断された進行不許可の進行示唆に応じて自車両Ｍの加減速もしくは操舵を制御する。

認識部１２０は、位置Ｐ２３において信号機Ａと、信号機Ａの点灯色が赤であることを認識する。報知制御部１４２は、位置Ｐ２３を通過した後に、信号機Ａから、又は、交差点内外の所定の位置から自車両Ｍの速度に応じた距離だけ離れた領域に入った場合に、報知情報Ｆを報知する。また、走行制御部１４４は、赤色の点灯色に基づき判断された進行不許可の進行示唆に応じて自車両Ｍの加減速もしくは操舵を制御する。

図４は、運転支援装置１００が検知する信号機認識領域を示す図である。運転支援装置１００の認識部１２０は、カメラ１１が撮影した画像Ｇ１に基づいて信号機の存在を認識する。領域特定部１２２は、信号機が認識された画像Ｇ１内の領域である信号機認識領域Ｒ１、Ｒ２、Ｒ３を特定する。進行示唆推定部１２４は、信号機認識領域Ｒ１、Ｒ２及びＲ３のそれぞれについて、領域内に含まれる色に基づき点灯色が黄色であると推定する。進行示唆推定部１２４は、画像Ｇ１の撮影時刻と、信号機認識領域Ｒ１、Ｒ２、Ｒ３と、それら各信号機認識領域について推定された点灯色とを対応付けて記憶部１６０に記憶する。黄色の点灯色と対応付けられた領域は、信号機である確からしさが低い信号機候補領域であることを表す。なお、進行示唆推定部１２４は、信号機認識領域Ｒ１、Ｒ２、Ｒ３の情報に、信号機候補領域であることを表す情報を付加して記憶部１６０に書き込んでもよい。運転支援処理部１４０は、認識された信号機Ａの点灯色は黄色であるため、信号機であるという認識結果の確からしさが十分に高くないと判断する。そこで、運転支援処理部１４０は、報知制御部１４２及び走行制御部１４４に、点灯色に応じた自車両Ｍの運転支援の抑制を指示する。

認識部１２０は、カメラ１１が画像Ｇ１の後に撮影した画像Ｇ２に基づいて信号機の存在を認識する。領域特定部１２２は、画像Ｇ２内の信号機認識領域Ｒ１’を推定する。進行示唆推定部１２４は、信号機認識領域Ｒ１’に含まれる色に基づき点灯色が黄色であると推定する。運転支援処理部１４０は、画像Ｇ２より一つ前に撮影された画像Ｇ１から得られた信号機認識領域Ｒ１、Ｒ２、Ｒ３の情報を記憶部１６０から読み出す。運転支援処理部１４０は、読みだした信号機認識領域Ｒ１、Ｒ２、Ｒ３のうち、信号機認識領域Ｒ１’と所定以上一致する信号機認識領域Ｒ１を特定する。運転支援処理部１４０は、特定された信号機認識領域Ｒ１の点灯色が黄色であることが記憶部１６０に記憶されているため、信号機認識領域Ｒ１’が信号機である確からしさを高める。具体的には、運転支援処理部１４０は、信号機認識領域Ｒ１’の信号機の画像認識のスコアを所定だけ増加させる。

図５は、運転支援装置１００が実行する運転支援制御処理を示すフロー図である。運転支援装置１００は、自車両Ｍの前方の画像を入力するたびに、図５に示す運転支援制御処理を行う。認識部１２０は、自車両Ｍの前方の画像に基づいて対象物を認識する。認識部１２０は、対象物として信号機を認識したか否かを判定する（ステップＳ１０５）。認識部１２０は、信号機を認識しなかった場合、図５の処理を終了する。

認識部１２０が信号機を認識したと判定した場合、領域特定部１２２は、入力された画像の色の情報を少なくとも判断要素に用いて、認識部１２０が認識した信号機の領域である信号機認識領域を推定する（ステップＳ１１０）。進行示唆推定部１２４は、推定された信号機認識領域に含まれる色の情報に基づいて進行示唆を推定する（ステップＳ１１５）。進行示唆は、点灯色、又は、点灯色と進行方向との組み合わせにより表される。進行示唆推定部１２４は、画像の画像識別情報と、撮影時刻と、信号機認識領域と、進行示唆とを対応付けた認識情報を記憶部１６０に書き込む（ステップＳ１２０）。画像識別情報として撮影時刻を用いてもよい。また、画像識別情報及び撮影時刻の一方又は両方に代えて、撮影された順序の情報を用いてもよい。

運転支援処理部１４０は、ステップＳ１１５において推定された進行示唆の点灯色が黄色であるか否かを判定する（ステップＳ１２５）。運転支援処理部１４０は、点灯色が黄色であると判定した場合、信号機認識領域を信号機候補領域とする（ステップＳ１３０）。運転支援処理部１４０は、ステップＳ１２０において記憶部１６０に書き込んだ認識情報に、信号機認識領域候補である旨のフラグ情報を付加する。

運転支援処理部１４０は、前の画像において信号機候補領域の点灯色が青色であるか否かを判定する（ステップＳ１３５）。具体的には、運転支援処理部１４０は、記憶部１６０を参照し、現在処理対象としている画像よりも１つ前の画像の認識情報に、信号機候補領域と所定割合以上共通している信号機認識領域が設定されており、かつ、その信号機認識領域に対応づけられた進行示唆に点灯色が青色であることが設定されている場合に、ステップＳ１３５においてＹＥＳと判定する。運転支援処理部１４０は、ステップＳ１３５においてＹＥＳと判定した場合、後述するステップＳ１６５の処理を実行する。また、運転支援処理部１４０は、前の画像の認識情報に信号機候補領域と所定割合以上共通した信号機認識領域が設定されていない場合、ステップＳ１３５においてＮＯと判定する。また、運転支援処理部１４０は、前の画像の認識情報に信号機候補領域と所定割合以上共通した信号機認識領域はあるが進行示唆が青色の点灯色が設定されていない場合は、ステップＳ１３５においてＮＯと判定する。

運転支援処理部１４０は、ステップＳ１３５においてＮＯと判定した場合、信号機候補領域が過去の画像においても信号機候補領域であったか否かを判定する（ステップＳ１４０）。具体的には、運転支援処理部１４０は、記憶部１６０から処理対象としている画像よりも所定数前までの画像又は所定時間前までの画像それぞれの認識情報を読み出す。運転支援処理部１４０は、読み出した認識情報のうち、信号機候補領域と所定割合以上共通した信号機認識領域が設定され、かつ、信号機候補領域であることを示すフラグ情報が設定されている認識情報を特定する。運転支援処理部１４０は、読み出した認識情報のうち、特定された認識情報が占める割合が閾値以上である場合、ステップＳ１４０においてＹＥＳと判定し、閾値に満たない場合はステップＳ１４０においてＮＯと判定する。

運転支援処理部１４０は、ステップＳ１４０においてＮＯと判定した場合、報知制御部１４２及び走行制御部１４４に、運転支援抑制指示を出力する（ステップＳ１４５）。運転支援抑制指示は、進行示唆に基づく運転支援を抑制するための指示である。なお、運転支援処理部１４０は、報知制御部１４２及び走行制御部１４４がすでに運転支援抑制を行っている場合は、運転支援抑制指示を送信しなくてもよい。

運転支援処理部１４０は、ステップＳ１４０においてＹＥＳと判定した場合、認識部１２０が検知した信号機の画像認識のスコアを所定の増加数だけ、又は、所定の増加割合だけ増加させる(ステップＳ１５０）。増加数又は増加割合は、一定でもよく、ステップＳ１４０において算出した割合が多いほど多くてもよい。運転支援処理部１４０は、増加後のスコアが閾値以上と判定した場合、後述のステップＳ１６５の処理を行い、増加後のスコアが閾値に満たないと判定した場合は、ステップＳ１４５の処理を行う。

運転支援処理部１４０は、ステップＳ１２５において、進行示唆の点灯色が黄色ではないと判定した場合、点灯色は赤色であるか否かを判定する（ステップＳ１６０）。運転支援処理部１４０は、ステップＳ１６０において進行示唆の点灯色が赤色であると判定した場合、又は、ステップＳ１３５においてＹＥＳと判定した場合、運転支援抑制解除指示を報知制御部１４２及び走行制御部１４４に出力する（ステップＳ１６５）。報知制御部１４２及び走行制御部１４４は、運転支援抑制解除指示を受信すると、進行示唆が示す点灯色の情報に基づく運転支援の抑制を解除する。なお、運転支援処理部１４０は、報知制御部１４２及び走行制御部１４４が運転支援抑制を行っていない場合は、運転支援抑制解除指示を送信しなくてもよい。報知制御部１４２及び走行制御部１４４は、進行示唆に応じた運転支援を行う（ステップＳ１７０）。例えば、報知制御部１４２は、ＨＭＩ３０に前方の交差点が進行不許可である旨を音声で出力させる。あるいは、走行制御部１４４は、自車両Ｍを現在走行している車線で又は車線変更して停止させるようにブレーキ装置２１０やステアリング装置２２０を制御する。

運転支援処理部１４０は、ステップＳ１６０において進行示唆の点灯色が赤色ではないと判定した場合、運転支援抑制解除指示を報知制御部１４２及び走行制御部１４４に出力する（ステップＳ１７５）。なお、運転支援処理部１４０は、報知制御部１４２及び走行制御部１４４が運転支援抑制を行っていない場合は、運転支援抑制解除指示を送信しなくてもよい。また、ステップＳ１７５の実行時には、進行示唆の点灯色は青色である。そのため、報知制御部１４２及び走行制御部１４４は、青色の点灯色の進行示唆に応じた運転支援がある場合には、その運転支援を行ってもよい。運転支援装置１００は、図５の処理を終了する。

以上説明した実施形態によれば、運転支援装置１００は、車両周辺の画像を画像認識して得られた信号機の点灯色の検知結果に応じて、その点灯色に応じた信号機の情報の報知のタイミングや、車体制御を開始するタイミングを変えることができる。よって、認識の確からしさが高い情報によって、乗員への運転支援を行うことが可能となる。点灯色が黄色の場合、画像認識による信号機の検知の精度は、他の点灯色の場合よりも低い。運転支援装置１００は、信号機の点灯色が赤色であることを検知したときに、交差点又は信号機から車両までの距離が自車両の速度に応じた距離よりも短い場合には即時に運転支援を行うが、信号機の点灯色が黄色であることを検知した場合には同様の運転支援のタイミングを、認識の確からしさが高まるまで延長する。また、運転支援装置１００は、画像の色を少なくとも用いることにより、信号機の領域及び進行示唆の情報を精度よく推定することが可能となる。また、画像認識は色や、位置、形状などを複合的に判断して対象物か否かを認識するが、運転支援装置１００は、時系列的に連続する前の画像で点灯色が黄色ではあるものの信号機と推定されていた場合には、信号機の可能性が高いと推定し、認識の確からしさを増加させる。また、点灯色が青色から黄色に変化したことが画像上の同領域で検知された場合には、点灯色が黄色の場合でも信号機の認識の確からしさが高いため、運転支援を行う。

上記の実施形態の車両にかえて、ロボットなどの他の移動体を用いることができる。

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
車両の周囲の画像に基づいて少なくとも信号機の存在および状態を認識させ、
少なくとも前記信号機の状態に基づいて、車両の乗員に対する運転支援を行わせ、
前記状態に含まれる前記信号機の点灯色に応じて前記運転支援を行うタイミングを制御させる、
ように構成されている、運転支援装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…車両システム、１０…外界センサ、１１…カメラ、１２…レーダ装置、１６…物体認識装置、４０…車両センサ、８０…運転操作子、１００…運転支援装置、１２０…認識部、１２２…領域特定部、１２４…進行示唆推定部、１４０…運転支援処理部、１４２…報知制御部、１４４…走行制御部、１６０…記憶部、２００…走行駆動力出力装置、２１０…ブレーキ装置、２２０…ステアリング装置

Claims (9)

1. 車両の周囲の画像に基づいて少なくとも信号機の存在および状態を認識する認識部と、
   少なくとも前記信号機の状態に基づいて、車両の乗員に対する運転支援を行う運転支援処理部と、を備え、
   前記運転支援処理部は、前記状態に含まれる前記信号機の点灯色に応じて前記運転支援を行うタイミングを制御する、
   運転支援装置。
2. 前記運転支援処理部は、前記点灯色に基づいて前記信号機の情報を出力するように、前記乗員に報知する報知装置に指示する報知制御部を備える、
   請求項１に記載の運転支援装置。
3. 前記運転支援処理部は、前記点灯色に応じて前記車両の加減速又は操舵を制御する走行制御部を備える、
   請求項１に記載の運転支援装置。
4. 前記認識部は、
   前記画像における信号機の領域である信号機認識領域を特定する領域特定部と、
   前記信号機認識領域における色の情報を少なくとも用いて前記信号機の進行示唆を推定し、前記信号機の状態の少なくとも一部として出力する進行示唆推定部とを有する、
   請求項１に記載の運転支援装置。
5. 前記認識部は、
   前記画像における信号機の領域である信号機認識領域を特定する領域特定部を有し、
   前記画像の前記信号機認識領域について黄色の点灯色を検知した場合に前記信号機認識領域を信号機領域候補として保存し、時系列で連続する複数の画像において前記信号機領域候補が所定以上一致する場合に、前記信号機領域候補における信号機の認識の確からしさを増加させる、
   請求項１から請求項４のいずれか一項に記載の運転支援装置。
6. 前記認識部は、
   前記画像における信号機の領域である信号機認識領域を特定する領域特定部を有し、
   前記画像の前記信号機認識領域において信号機の点灯色を検知し、
   前記運転支援処理部は、前記画像の前記信号機認識領域について黄色の点灯色が検知され、かつ、前記画像より前に得られた他の画像における前記信号機認識領域に対応した領域に青色の点灯色の信号機が検知されていた場合に、黄色の点灯色に基づく運転支援を行う、
   請求項１から請求項４のいずれか一項に記載の運転支援装置。
7. 前記運転支援処理部は、
   前記車両と前記信号機との距離が前記車両の速度に応じた距離以内であり、かつ、前記点灯色が赤色である場合に前記運転支援を行い、
   前記車両と前記信号機との距離が前記車両の速度に応じた距離以内であり、かつ、前記点灯色が黄色である場合に前記運転支援を行わない、
   請求項１から請求項４のいずれか一項に記載の運転支援装置。
8. コンピュータが、
   車両の周囲の画像に基づいて少なくとも信号機の存在および状態を認識し、
   少なくとも前記信号機の状態に基づいて、車両の乗員に対する運転支援を行い、
   前記状態に含まれる前記信号機の点灯色に応じて前記運転支援を行うタイミングを制御する、
   運転支援方法。
9. コンピュータに、
   車両の周囲の画像に基づいて少なくとも信号機の存在および状態を認識させ、
   少なくとも前記信号機の状態に基づいて、車両の乗員に対する運転支援を行わせ、
   前記状態に含まれる前記信号機の点灯色に応じて前記運転支援を行うタイミングを制御させる、
   プログラム。

Images