JP2023112545A - 運転支援装置、車両、運転支援方法、記憶媒体及びプログラム - Google Patents

Abstract

【課題】複数の信号機が認識された場合に、複数の信号機の点灯色の組み合わせに基づいて、警報の出力を制御することが可能な運転支援技術を提供すること。【解決手段】運転支援装置は、車両の外界を撮像する撮像部により撮像された画像から信号機の点灯色を認識する認識部と、点灯色が赤色であり、かつ、車両の制動操作が無い場合に、車両の運転者に警報を出力する警報出力部と、を有する。警報出力部は、認識部の処理により、画像から複数の信号機が認識された場合に、複数の信号機の点灯色の組み合わせに基づいて、警報の出力を制御する。【選択図】図７

Description

本発明は、運転支援装置、車両、運転支援方法、記憶媒体及びプログラムに関する。

特許文献１には、制御入力の対象となる信号機を特定する車外環境認識装置が開示されている。この車外環境認識装置では、特定した複数の信号機のうち、点灯色が等しい信号機の全てが制御入力の対象とされ、点灯色が異なる信号機は全て制御入力の対象とされない。

特許第５８８３８３３号明細書

しかしながら、複数の信号機の一つとして、例えば、自車が走行する自車道路に対して交差する交差道路側の信号機が含まれる場合には、自車道路側の信号機と、交差道路側の信号機とでは、必ずしも同じ点灯色とならない場合が生じ得る。また、自車道路と交差道路との交差角の影響や周辺環境の道路環境、車高の高い前走車の存在、降雪など気象条件等の要因により、信号機の点灯色を正確に認識できないような点灯色不明の場合も生じ得る。

特許文献１の技術では、自車道路側の信号機の点灯色と交差道路側の信号機の点灯色とが異なる場合や、交差道路側の信号機の点灯色が不明の場合には、全ての信号機は制御入力の対象とならないことになる。

このような場合、特許文献１の技術では、信号機の点灯色が赤色であり、かつ、制動操作が無い状態で、運転者に警報を出力するという運転支援機能が作動しないことになる。上記のような種々の要因の影響の下でも、警報出力性能を高めた運転支援技術の提供が予防安全の観点で必要とされる。

本発明は、上記の課題に鑑み、複数の信号機が認識された場合に、複数の信号機の点灯色の組み合わせに基づいて、警報の出力を制御することが可能な運転支援技術を提供する。

本発明の一態様に係る運転支援装置は、車両の外界を撮像する撮像部により撮像された画像から信号機の点灯色を認識する認識部と、
前記点灯色が赤色であり、かつ、前記車両の制動操作が無い場合に、当該車両の運転者に警報を出力する警報出力部と、を有する運転支援装置であって、
前記警報出力部は、前記認識部の処理により、前記画像から複数の信号機が認識された場合に、前記複数の信号機の点灯色の組み合わせに基づいて、前記警報の出力を制御する。

本発明によれば、複数の信号機が認識された場合に、複数の信号機の点灯色の組み合わせに基づいて、警報の出力を制御することが可能な運転支援技術を提供することができる。

運転支援装置の機能構成を車両に設けた構成例を示すブロック図。 実施形態に係る運転支援装置の処理の流れを説明する図。 信号認識処理の流れを説明する図。 信号機選択処理の流れを説明する図。 車両が走行する道路を模式的に示す図。 第１候補の信号機及び第２候補の信号機を模式的に示す図。 データベースに記憶されたデータの構成例を示す図。 警報出力表示を例示する図。 一次警報出力表示から二次警報出力表示への切り替わりを説明する図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

図１は、本実施形態の運転支援装置２を車両１に設けた構成例を示すブロック図である。図１において、車両１はその概略が平面図と側面図とで示されている。車両１は一例としてセダンタイプの四輪の乗用車である。

図１の運転支援装置２は、車両１の各部を制御する。運転支援装置２は車内ネットワークにより通信可能に接続された複数のＥＣＵ２０～２９を含む。各ＥＣＵ（Electronic Control Unit）は、ＣＰＵに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含む。記憶デバイスにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ＥＣＵはプロセッサ、記憶デバイスおよびインタフェース等を複数備えていてもよい。例えば、ＥＣＵ２０は、プロセッサ２０ａとメモリ２０ｂとを備える。メモリ２０ｂに格納されたプログラムが含む命令をプロセッサ２０ａが実行することによって、ＥＣＵ２０による処理が実行される。これに代えて、ＥＣＵ２０は、ＥＣＵ２０による処理を実行するためのＡＳＩＣ等の専用の集積回路を備えてもよい。他のＥＣＵについても同様である。

以下、各ＥＣＵ２０～２９が担当する機能等について説明する。なお、ＥＣＵの数や、担当する機能については、車両１の適宜設計可能であり、本実施形態よりも細分化したり、あるいは、統合することが可能である。

ＥＣＵ２０は、本実施形態に係る車両１（自車両）の自動運転に関わる車両制御を実行する。自動運転においては、車両１の操舵と、車線変更、加減速を自動制御する。自動運転に関わる具体的な制御に関する処理については後に詳細に説明する。

ＥＣＵ２１は、電動パワーステアリング装置３を制御する。電動パワーステアリング装置３は、ステアリングホイール３１に対する運転者の運転操作（操舵操作）に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置３は操舵操作をアシストしたり、あるいは、前輪を自動操舵するための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両１の運転状態が自動運転の場合、ＥＣＵ２１は、ＥＣＵ２０からの指示に対応して電動パワーステアリング装置３を自動制御し、車両１の進行方向を制御する。

ＥＣＵ２２および２３は、車両の周囲状況を検知する検知ユニット４１～４３の制御および検知結果の情報処理を行う。検知ユニット４１は、撮像により車両１の前方の物体を検知する撮像デバイスである（以下、カメラ４１と表記する場合がある。）。本実施形態の場合、カメラ４１は車両１の前方を撮影可能なように、車両１のルーフ前部でフロントウィンドウの車室内側に取り付けられる。ＥＣＵ２２および２３は、カメラ４１が撮影した画像の解析（画像処理）により、車両１の前方に位置する信号機などの物標の輪郭抽出や、信号機の抽出、抽出した信号機の点灯色（赤色、黄色、緑色）の取得が可能である。

検知ユニット４２（ライダ検知部）は、Light Detection and Ranging（LIDAR：ライダ）であり（以下、ライダ４２と表記する場合がある）、光により車両１の周囲の物標を検知したり、物標との距離を測距する。本実施形態の場合、ライダ４２は５つ設けられており、車両１の前部の各隅部に１つずつ、後部中央に１つ、後部各側方に１つずつ設けられている。

検知ユニット４３（レーダ検知部）は、ミリ波レーダであり（以下、レーダ４３と表記する場合がある）、電波により車両１の周囲の物標を検知したり、物標との距離を測距する。本実施形態の場合、レーダ４３は５つ設けられており、車両１の前部中央に１つ、前部各隅部に１つずつ、後部各隅部に一つずつ設けられている。

ＥＣＵ２２は、一方のカメラ４１と、各ライダ４２の制御および検知結果の情報処理を行う。ＥＣＵ２３は、他方のカメラ４１と、各レーダ４３の制御および検知結果の情報処理を行う。車両１の周囲状況を検知する装置を二組備えたことで、検知結果の信頼性を向上でき、また、カメラ、ライダ、レーダといった種類の異なる検知ユニットを備えたことで、車両の周辺環境の解析を多面的に行うことができる。ライダ４２及びレーダ４３を以下、検知部（４２、４３）ともいう。

本実施形態において、ＥＣＵ２２およびＥＣＵ２３は、認識部として機能して、カメラ４１（撮像部）により撮像された車両１の外界の画像から信号機の表示を認識する。ここで、信号機の表示には、信号機の点灯色（赤色、黄色、緑色）が含まれる。

ＥＣＵ２２およびＥＣＵ２３は、記憶デバイスに構築されたデータベース２００にアクセス可能である。図７は、データベース２００に記憶されたデータの構成例を示す図である。画像から複数の信号機として、例えば、第１候補の信号機及び第２候補の信号機が認識された場合に、ＥＣＵ２２およびＥＣＵ２３は、複数の信号機の点灯色（色情報）の組み合わせに基づいて、運転支援装置２の制御に用いる信号機（以下、対象信号機）を決定することができる。なお、データベース２００はネットワーク上に配置可能であり、ＥＣＵ２２およびＥＣＵ２３は、通信装置２４ｃを介してネットワーク上のデータベース２００から色情報を取得することも可能である。データベース２００を用いた処理については後述する。

ＥＣＵ２４は、ＧＰＳセンサ２４ｂ、通信装置２４ｃの制御および検知結果あるいは通信結果の情報処理を行う。ＧＰＳセンサ２４ｂは、車両１の現在位置を検知する。通信装置２４ｃは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。ＥＣＵ２４は現在地から目的地へのルート探索等を行う。また、ＥＣＵ２５は、車車間通信、路車間通信、またはスマートフォン等の情報処理装置と通信可能な通信装置２５ａを備える。

ＥＣＵ２６は、パワープラント６を制御する。パワープラント６は車両１の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。なお、パワープラント６の構成は、この例に限られず、電動機を動力源とした電気自動車、エンジン及び電動機を兼ね備えたハイブリッド自動車等を含む。このうち、電気自動車は、例えば、二次電池、水素燃料電池、金属燃料電池、アルコール燃料電池等の電池により放電される電力を使用して駆動される。

ＥＣＵ２６は、例えば、アクセルペダル７Ａに設けた操作検知センサ７ａにより検知した運転者の運転操作（アクセル操作あるいは加速操作）に対応してエンジンの出力を制御したり、車速センサ７ｃが検知した車速等の情報に基づいて変速機の変速段を切り替える。車両１の運転状態が自動運転の場合、ＥＣＵ２６は、ＥＣＵ２０からの指示に対応してパワープラント６を自動制御し、車両１の加減速を制御する。

ＥＣＵ２７は、方向指示器８（ウィンカ）を含む灯火器（ヘッドライト、テールライト等）を制御する。図１の例の場合、方向指示器８は車両１の前部、ドアミラーおよび後部に設けられている。

ＥＣＵ２８は、入出力装置９の制御を行う。入出力装置９は運転者を含む乗員に対する情報の出力と、乗員からの情報の入力の受け付けを行う。音声出力装置９１は乗員に対して音声により情報を報知する。表示装置９２は運転者に対して画像の表示により情報を報知する。表示装置９２は例えば運転席および助手席の正面に配置され、ヒューマンマシンインターフェースとして機能するタッチパネル式のインストルメントパネル等を構成する。入力装置９３は運転者が操作可能な位置に配置され、車両１に対する指示を入力するスイッチ群および乗員の音声を入力する音声入力装置を含む。

本実施形態において、ＥＣＵ２８は、車両１の運転者に警報を出力する警報出力部として機能する。ＥＣＵ２８は、表示装置９２を制御して、画面表示により、運転者に警報を出力することが可能である。また、ＥＣＵ２８は、音声出力装置９１および表示装置９２を制御して、画面表示および音声出力により運転者に警報を出力することも可能である。

なお、運転者に対する警報の出力は、画面表示や音声出力の他に、振動や光により情報を組み合わせて情報を報知してもよい。更に、報知すべき警報出力のレベル（例えば緊急度）に応じて、組み合わせを異ならせたり、警報出力の態様を異ならせてもよい。

ＥＣＵ２９は、ブレーキ装置１０やパーキングブレーキ（不図示）を制御する。ブレーキ装置１０は例えばディスクブレーキ装置であり、車両１の各車輪に設けられ、車輪の回転に抵抗を加えることで車両１を減速あるいは停止させる。ＥＣＵ２９は、例えば、ブレーキペダル７Ｂに設けた操作検知センサ７ｂにより検知した運転者の運転操作（ブレーキ操作）に対応してブレーキ装置１０の作動を制御する。車両１の運転状態が自動運転の場合、ＥＣＵ２９は、ＥＣＵ２０からの指示に対応してブレーキ装置１０を自動制御し、車両１の減速および停止を制御する。ブレーキ装置１０やパーキングブレーキは車両１の停止状態を維持するために作動することもできる。また、パワープラント６の変速機がパーキングロック機構を備える場合、これを車両１の停止状態を維持するために作動することもできる。

操作検知センサ７ｂの検知結果に基づいて、ＥＣＵ２９は、ブレーキペダル７Ｂに対する制動操作の有無を判断することができる。警報出力部として機能するＥＣＵ２８は、信号機の点灯色が赤色であり、かつ、車両１の制動操作が無い場合に、車両１の運転者に警報を出力する。ＥＣＵ２８（警報出力部）は、ＥＣＵ２２およびＥＣＵ２３（認識部）の処理により、カメラ４１の画像から複数の信号機が認識された場合に、図７のデータベース２００を参照し、複数の信号機の点灯色の組み合わせに基づいて、警報の出力を制御する。

[処理の概要]
（車両１が走行する道路環境例）
次に、本実施形態の車両１が走行する道路環境例を例示的に説明する。図５は、車両１が走行する道路環境を模式的に示す図である。図５において、車両１は直進または左折が可能な車線５３１を走行中である。車両１が走行している車線（自車線）を以下、自車道路ともいう。車線５３１に隣接する車線５３２は右折車線であり、車線５３３は対向車線である。

図５において、車線５３４、車線５３５は、車線５３１（自車道路）に交差する交差車線である。交差車線を以下、交差道路ともいう。車両５２１は、車線５３４（交差車線）から車線５３１に合流する車両であり、車両５２２は、信号機５０４の赤信号により停車状態の車両である。

車線５３１（自車道路）の前方側には、信号機５０１、５０３が配置されており、車線５３４（交差車線）には信号機５０２、５０６が配置されている。また、車線５３５（交差車線）には信号機５０４が配置され、横断歩道５１５に対して歩行者用の信号機５０５が配置されている。図５において、Ｌ１は車両１の走行方向に沿った縦方向の距離を示し、Ｌ２は車両１の車幅方向に沿った横方向の距離を示す。縦方向の距離を以下、縦距離ともいい、横方向の距離を以下、横距離ともいう。

（処理フロー）
次に、運転支援装置２が実行する処理の流れについて説明する。図２は実施形態に係る運転支援装置２の処理の流れを説明する図である。まず、ステップＳ２１０において、カメラ４１が車両１の外界を撮像する。

そして、ステップＳ２２０において、認識部（ＥＣＵ２２、２３）は、カメラ４１により撮像された画像（撮像画像）に含まれる信号機の表示を認識する。認識部（ＥＣＵ２２、２３）は、撮像画像に対して画像処理を施すことにより、撮像画像に含まれる信号機を抽出し、抽出した信号機の表示（点灯色）を認識する。

（信号認識処理）
図３は、ステップＳ２２０における信号認識処理の具体的な流れを説明する図である。ステップＳ３１０において、認識部（ＥＣＵ２２、２３）は、撮像画像に含まれる信号機を抽出する。本ステップでは、歩行者用の信号を除外するために、路面から所定の高さ（例えば、３ｍ）以上の位置に配置されている信号機を抽出対象とする。例えば、図５において、歩行者用の信号機５０５は抽出対象から除かれる。

また、運転支援装置２の制御について影響度合いの低い信号を予め除外するために、車両１（自車両）の車幅中心に対して所定の横距離Ｌ２の範囲（例えば、横距離Ｌ２＝±６ｍ）以内に配置されている信号機を抽出対象とする。例えば、図５において、信号機５０４、及び信号機５０６は抽出対象から除かれる。本ステップで説明した前処理を行うことにより、例えば、図５において、信号機５０１、５０２及び５０３が抽出される。

ステップＳ３２０において、認識部（ＥＣＵ２２、２３）は、ステップＳ３１０の処理により抽出された信号機５０１、５０２及び５０３から、運転支援装置２の制御に用いる信号機（対象信号機）を選択する。

図４は、ステップＳ３２０における信号機選択処理の流れを説明する図である。認識部（ＥＣＵ２２、２３）は、検知部（４２、４３）で検知された、車両の走行方向に沿った縦方向の距離Ｌ１と、車両の車幅方向に沿った横方向の距離Ｌ２とを用いて、第１候補の信号機と第２候補の信号機とを取得（設定）する。

ステップＳ４１０において、認識部（ＥＣＵ２２、２３）は、撮像画像に含まれる複数の信号機（５０１、５０２及び５０３）から、縦距離Ｌ１が最小の信号機および横距離Ｌ２が最小の信号機を抽出する。

ステップＳ４２０において、認識部（ＥＣＵ２２、２３）は、縦距離Ｌ１及び横距離Ｌ２が最小となる信号機は同一か否かを判定する。縦距離Ｌ１及び横距離Ｌ２が最小となる信号機が同一でない場合（Ｓ４２０－ＮＯ）、認識部（ＥＣＵ２２、２３）は、処理をステップＳ４７０に進める。

そして、ステップＳ４７０において、認識部（ＥＣＵ２２、２３）は、例えば、縦距離Ｌ１が最小の信号機を第１候補の信号機に設定し、横距離Ｌ２が最小の信号機を第２候補の信号機に設定し、処理をステップＳ４６０に進める。なお、第１候補の信号機および第２候補の信号機の設定はこの逆であってもよい。

一方、ステップＳ４２０の判定処理で、縦距離Ｌ１及び横距離Ｌ２が最小となる信号機が同一である場合（Ｓ４２０－ＹＥＳ）、認識部（ＥＣＵ２２、２３）は、処理をステップＳ４３０に進める。

そして、ステップＳ４３０において、認識部（ＥＣＵ２２、２３）は、縦距離Ｌ１が最小の信号機と、横距離Ｌ２が最小の信号機とが同一となる信号機を第１候補の信号機として設定する。例えば、図５において、縦距離Ｌ１及び横距離Ｌ２が最小となる信号機は信号機５０１であり、認識部（ＥＣＵ２２、２３）は、信号機５０１を第１候補の信号機として設定する。

ステップＳ４４０において、認識部（ＥＣＵ２２、２３）は、横方向の距離Ｌ２に基づいて、第１候補の信号機（信号機５０１）の周辺に他の信号機が存在するか否かを判定する。他の信号機が存在しない場合（Ｓ４４０－ＮＯ）、認識部（ＥＣＵ２２、２３）は、処理をステップＳ４８０に進める。

そして、ステップＳ４８０において、認識部（ＥＣＵ２２、２３）は、ステップＳ４３０で設定した、第１候補の信号機を、運転支援装置２の制御に用いる対象信号機として設定し、処理をステップＳ３３０に進める。

図３のステップＳ３３０において、認識部（ＥＣＵ２２、２３）は、対象信号機（第１候補の信号機（信号機５０１））の点灯色（色情報）を確認し、処理を図２のＳ２３０に進める。

一方、図４のステップＳ４４０の判定で、横方向の距離Ｌ２に基づいて、第１候補の信号機（信号機５０１）の周辺に他の信号機が存在する場合（Ｓ４４０－ＹＥＳ）、認識部（ＥＣＵ２２、２３）は、処理をステップＳ４５０に進める。

そして、ステップＳ４５０において、認識部（ＥＣＵ２２、２３）は、横方向の距離Ｌ２に基づいて、第１候補の信号機（信号機５０１）の周辺に存在する他の信号機を第２候補の信号機として設定する。例えば、図５において、第１候補の信号機（信号機５０１）の周辺には、横距離Ｌ２以内の位置に信号機５０２が配置されており、認識部（ＥＣＵ２２、２３）は、信号機５０２を第２候補の信号機として設定する。

なお、横方向の距離Ｌ２の設定によっては、第１候補の信号機の周辺に他の信号機が複数存在する場合も生じ得る。このような場合には、認識部（ＥＣＵ２２、２３）は、他の複数の信号機を１つの信号機に限定するように、横方向の距離Ｌ２の設定を、初期値から漸次短い距離に変更し、最終的に１つに限定された他の信号機を第２候補の信号機として設定すればよい。

図６は、図５の領域５５０の範囲内に位置する第１候補の信号機（信号機５０１）及び第２候補の信号機（信号機５０２）を模式的に示す図である。第２候補の信号機（信号機５０２）は、車線５３４、（交差車線）に配置された信号機である。このため、交差角の影響、周辺環境の道路環境、日照条件、気象条件等の種々の要因により、認識部（ＥＣＵ２２、２３）は、正面に存在する第１候補の信号機（信号機５０１）に比べて、信号機５０２の点灯色を認識しにくい場合も生じ得る。

本実施形態の運転支援装置２における警報出力のロジックでは、以下のステップＳ４６０で説明するように、複数の信号機の点灯色（色情報）の組み合わせに基づいて（図７）、運転支援装置２の制御に用いる対象信号機として設定することにより、種々の要因の影響の下でも、警報が必要とされる状況で、警報を出力できるように警報出力性能を高めている。

ステップＳ４６０において、認識部（ＥＣＵ２２、２３）は、第１候補の信号機および第２候補の信号機の点灯色（色情報）の組み合わせに基づいて（図７）、運転支援装置２の制御に用いる対象信号機を設定する。

図７のデータベース２００において、「第１候補」は対象信号機として第１候補の信号機を用いることを示し、「第２候補」は対象信号機として第２候補の信号機を用いることを示す。「なし」は、対象信号機の設定が無いことを示す。

例えば、第１候補の信号機の点灯色が赤色であり、第２候補の信号機の点灯色が赤色または不明である場合に、認識部（ＥＣＵ２２、２３）は、運転支援装置２の制御に用いる対象信号機として第１候補の信号機を設定する。

また、第１候補の信号機の点灯色が不明であり、第２候補の信号機の点灯色が赤色である場合に、認識部（ＥＣＵ２２、２３）は、運転支援装置２の制御に用いる対象信号機として第２候補の信号機を設定する。認識部（ＥＣＵ２２、２３）は、データベース２００の参照により、点灯色（色情報）の組み合わせに基づいて（図７）、運転支援装置２の制御に用いる対象信号機を設定し、処理をステップＳ３３０に進める。

図３のステップＳ３３０において、認識部（ＥＣＵ２２、２３）は、データベース２００の参照により設定された対象信号機の点灯色（色情報）を確認し、処理を図２のＳ２３０に進める。

図２のステップＳ２３０において、認識部（ＥＣＵ２２、２３）は、対象信号機の点灯色（色情報）は赤色であるか否か判定する。対象信号機の点灯色（色情報）は赤色でない場合（Ｓ２３０－ＮＯ）、認識部（ＥＣＵ２２、２３）は、処理をステップＳ２１０に戻し、同様の処理を繰り返す。

一方、ステップＳ２３０の判定処理において、対象信号機の点灯色（色情報）が赤色である場合（Ｓ２３０－ＹＥＳ）、認識部（ＥＣＵ２２、２３）は、処理をステップＳ２４０に進める。

そして、ステップＳ２４０において、ＥＣＵ２９は、操作検知センサ７ｂの検知結果に基づいて、ブレーキペダル７Ｂに対する制動操作の有無を判断する。制動操作されている場合（Ｓ２４０－ＹＥＳ）、ＥＣＵ２９は処理をステップＳ２１０に戻し、認識部（ＥＣＵ２２、２３）はＳ２１０以降の処理を同様に繰り返す。

一方、ステップＳ２４０の判定処理において、制動操作が無い場合（Ｓ２４０－ＮＯ）、ＥＣＵ２９は処理をステップＳ２５０に進める。

ステップＳ２５０において、警報出力部（ＥＣＵ２８）は、信号機（対象信号機）の点灯色が赤色であり、かつ、車両１の制動操作が無い場合に、車両１の運転者に警報を出力する。

例えば、図４のステップＳ４８０で、第１候補の信号機（例えば、信号機５０１）が対象信号機として設定されている場合、警報出力部（ＥＣＵ２８）は、第１候補の信号機（対象信号機）の点灯色に基づいて、警報の要否を判断し、点灯色が赤色であり、かつ、車両１の制動操作が無い場合に、車両１の運転者に警報を出力する。

また、図４のステップＳ４６０で、色情報に組み合わせに基づいて、対象信号機が設定されている場合、警報出力部（ＥＣＵ２８）は、データベース２００（図７）の参照により設定された対象信号機の点灯色が赤色であり、かつ、車両１の制動操作が無い場合に、車両１の運転者に警報を出力する。

第１候補の信号機及び第２候補の信号機の点灯色（色情報）に組み合わせに基づいて、対象信号機を設定する場合、警報出力部（ＥＣＵ２８）が警報を出力するのは、図７で網掛け表示されている点灯色の組み合わせである。

例えば、第１候補の信号機の点灯色が赤色であり、第２候補の信号機の点灯色が赤色または不明である場合に、認識部（ＥＣＵ２２、２３）は、運転支援装置２の制御に用いる対象信号機として第１候補の信号機を設定する。この場合、警報出力部（ＥＣＵ２８）は、第１候補の信号機の点灯色に基づいて、警報の要否を判断し、点灯色が赤色であり、かつ、車両１の制動操作が無い場合に、車両１の運転者に警報を出力する。

また、第１候補の信号機の点灯色が不明であり、第２候補の信号機の点灯色が赤色である場合に、認識部（ＥＣＵ２２、２３）は、運転支援装置２の制御に用いる対象信号機として第２候補の信号機を設定する。警報出力部（ＥＣＵ２８）は、第２候補の信号機の点灯色に基づいて、警報の要否を判断し、点灯色が赤色であり、かつ、車両１の制動操作が無い場合に、車両１の運転者に警報を出力する。

ここで、点灯色が「不明」の状態とは、カメラ４１により画像を撮像する際の種々の要因により、積極的に赤色と認識されない状態である。また、点灯色が「不明」の状態とは、積極的に黄色、緑色と認識されない状態でもある。すなわち、点灯色が「不明」の状態とは、画像撮像時の種々の要因が低減された場合には、消極的に赤色と認識される可能性もあり得る中間的な状態である。このように、本実施形態の運転支援装置２によれば、第１候補の信号機及び第２候補の信号機のうち、いずれか一方の信号機の点灯色が不明の場合であっても、他方の信号機の点灯色が赤色であれば、対象信号機として設定し、警報を出力することができる。これにより、警報出力性能を高めることができ、予防安全の観点で、より優れた運転支援技術を提供することができる。

また、第１候補の信号機の点灯色が黄色または緑色である場合には、第２候補の信号機の点灯色に関わらず、警報出力部ＥＣＵ２８）は、警報の出力を抑制する。これにより、第１候補の信号機の点灯色が赤色でない場合には、積極的に警報の出力を抑制することにより、運転者への過度な警報出力を制限することができる。以上の処理により運転支援装置２における一連の処理は終了する。

（警報の出力例）
図８は、ステップＳ２５０で出力される警報出力表示を例示する図であり、図８において、ＳＴ８１は一次警報出力表示８１０の表示例を示し、ＳＴ８２は二次警報出力表示８２０の表示例を示す。また、図９は、一次警報出力表示８１０から二次警報出力表示８２０への切り替わりを説明する図である。警報出力部（ＥＣＵ２８）は、表示装置９２における画面表示（図８、図９）の表示制御を行う。

カメラ４１で撮像された画像に基づいた物標認識の信頼性（認識精度）は、自車道路と交差道路との交差角の影響、街路樹の一部が信号機を覆うなどの周辺環境の道路環境、西日等の日照条件の影響、車高の高い前走車の存在、降雨・降雪など気象条件等の種々の要因により、変動し得るパラメータである。

本実施形態の運転支援装置２では、物標認識の信頼性（認識精度）を求めるために、例えば、認識部（ＥＣＵ２２、２３）は、信号機を認識するための基準の画像特徴量（Ｐ１）と、カメラ４１により走行時に撮像された画像から取得（認識）した信号機の画像特徴量（Ｐ２）との比較（Ｐ２／Ｐ１）により、信号機の認識精度を算出することができる。

ここで、画像特徴量には、注目する点灯色（赤色）に関しする画素の輝度、明度、彩度などのパラメータが含まれる。また、画像特徴量には、信号機の点灯部分の面積（画素値）も含まれ得る。例えば、基準となる状態で撮像された状態の信号機の点灯部分の面積（画素値）をＰ１とし、走行時に撮像された画像から取得（認識）した信号機の点灯部分の面積（画素値）をＰ２とし、認識精度を算出してもよい。

そして、警報出力部（ＥＣＵ２８）は、算出した認識精度に応じて、一次警報出力表示８１０の表示態様（図９：８１１、８１２）を変更する。また、所定の信頼性（認識精度）が確保された検出状態（図９：８１２）において、対象信号機の点灯色が赤色であり、かつ、車両１の制動操作が無い場合に、警報出力部（ＥＣＵ２８）は、一次警報出力表示８１０に比べて表示領域を拡大した二次警報出力表示８２０を表示装置９２に表示する。

図９の８１１、８１２に示すように、警報出力部（ＥＣＵ２８）は、物標認識の信頼性（認識精度）の高低により、一次警報出力表示８１０の表示態様を変更して表示を行う。

警報出力部（ＥＣＵ２８）は、認識精度が低い赤信号の検出状態（８１１）から、より高い所定の認識精度が確保された赤信号の検出状態（８１２）に、認識精度が変化するのに応じて、一次警報出力表示８１０の輪郭線や濃淡の度合いを強調（変更）して表示する。ここで、認識精度が低い検出状態とは、認識精度の下限閾値を満たした検出状態であり、認識精度が確保された検出状態とは、認識精度の上限閾値を満たした検出状態を示す。下限閾値、及び上限閾値は任意に設定可能なパラメータであり、例えば、１００％（ＭＡＸ）の認識精度に対して、下限閾値をＸ１％、上限閾値をＸ２（Ｘ１＞）％等と設定することが可能である。

なお、表示態様の変更は、輪郭線の太さの変更に限られず、破線表示など線種を変更してもよい。また、背景色の濃淡の度合いの変更に限られず、表示色を変更してもよい。例えば、信頼度の低い状態では、輪郭線を細線、背景色を薄い赤色で表示し、より信頼度の高い状態では、輪郭線を太線、背景色を濃い赤色で表示して、前方への注意喚起を促すように表示することも可能である。

より高い所定の認識精度が確保された赤信号の検出状態（８１２）において、更に、制動操作が無い場合に、警報出力部（ＥＣＵ２８）は、二次警報出力表示８２０を表示装置９２に表示する。

所定の信頼性（認識精度）の下に認識された赤信号の状態が認識されたことを前提として、警報出力部（ＥＣＵ２８）は、二次警報出力表示８２０を表示する。このため、より高い緊急性を報知するために、網掛けされた二次警報出力表示８２０（ＳＴ８２）の表示領域は一次警報出力表示８１０の表示領域に比べて拡大される。赤信号であることが前提であるために、二次警報出力表示８２０では赤色点灯の信号を示すアイコンは表示されていない。ＳＴ８１において、車間距離制御（ＡＣＣ）が作動状態を示すＡＣＣ表示８３０は点灯状態であるが、ＳＴ８２において、車間距離制御（ＡＣＣ）は非作動状態になり、ＡＣＣ表示８３０は非点灯状態になる。

本実施形態によれば、信号機の認識精度に応じて一次警報出力表示８１０の表示態様（図９：８１１、８１２）を変更することにより、可視化した警報出力の表示に、変動し得る信号機の認識精度を反映することができる。また、一次警報出力表示８１０に比べて表示領域を拡大した二次警報出力表示８２０を表示することにより、所定の信頼性（認識精度）の下に認識された赤信号の状態で、かつ、制動操作がされていない、緊急状態を運転者に報知することができる。これにより、予防安全の観点で、種々の要因の影響の下でも、警報出力性能を高めた運転支援技術を提供することができる。

（実施形態のまとめ）
上記実施形態は、少なくとも以下の運転支援装置、車両、運転支援方法、記憶媒体及びプログラムを開示する。

構成１．運転支援装置（２）は、車両の外界を撮像する撮像部（４１）により撮像された画像から信号機の点灯色を認識する認識部（２２、２３）と、
前記点灯色が赤色であり、かつ、前記車両の制動操作が無い場合に、当該車両の運転者に警報を出力する警報出力部（２８）と、を有する。

前記警報出力部（２８）は、
前記認識部の処理により、前記画像から複数の信号機が認識された場合に、前記複数の信号機の点灯色の組み合わせに基づいて、前記警報の出力を制御する。

構成１の運転支援装置によれば、複数の信号機が認識された場合に、複数の信号機の点灯色の組み合わせに基づいて、警報の出力を制御することが可能になる。

構成２．前記複数の信号機には、少なくとも、前記車両の走行車線の前方に位置する第１候補の信号機と、当該第１候補の信号機の周辺に位置する第２候補の信号機が含まれ、
前記第１候補の信号機の点灯色が赤色であり、前記第２候補の信号機の点灯色が赤色または不明である場合に、
前記警報出力部は、前記第１候補の信号機の点灯色に基づいて、前記警報を出力する。

構成２の運転支援装置によれば、第１候補の信号機の点灯色が赤色である場合には、より積極的に警報を出力することにより、より安全な運転支援を行うことが可能になる。

構成３．前記第１候補の信号機の点灯色が黄色または緑色である場合には、前記第２候補の信号機の点灯色に関わらず、前記警報出力部は、前記警報の出力を抑制する。

構成３の運転支援装置によれば、第１候補の信号機の点灯色が赤色でない場合には、積極的に警報の出力を抑制することにより、運転者への過度な警報出力を制限することが可能になる。

構成４．前記車両の周囲の物標との距離を検知する検知部（４２、４３）を更に備え、
前記認識部は、前記検知部で検知された、前記車両の走行方向に沿った縦方向の距離と、前記車両の車幅方向に沿った横方向の距離とを用いて、前記第１候補の信号機と前記第２候補の信号機とを取得する。

構成４の運転支援装置によれば、車両(自車両)に対する距離情報（縦方向の距離、横方向の距離）を用いることにより、車両（自車両）が走行する進路に合わせた信号機の候補を取得することが可能になる。

構成５．前記認識部は、信号機を認識するための基準の画像特徴量と、前記画像から取得した前記信号機の画像特徴量との比較により、当該信号機の認識精度を算出し、
前記警報出力部は、前記認識精度に応じて、前記警報として出力する一次警報出力表示（図８、図９：８１０）の表示態様（図９：８１１、８１２）を変更する。

構成５の運転支援装置によれば、信号機の認識精度に応じて一次警報出力表示の表示態様を変更することにより、可視化した警報出力の表示に、変動し得る信号機の認識精度を反映することができる。

構成６．前記警報出力部は、所定の認識精度が確保された検出状態において、前記点灯色が赤色であり、かつ、前記車両の制動操作が無い場合に、前記一次警報出力表示（図８：８１０、図９：８１２）に比べて表示領域を拡大した二次警報出力表示（図８：８２０）を表示する。

構成６の運転支援装置によれば、一次警報出力表示（８１０）に比べて表示領域を拡大した二次警報出力表示（８２０）を表示することにより、所定の信頼性（認識精度）の下に認識された赤信号の状態で、かつ、制動操作がされていない、緊急状態を運転者に報知することができる。これにより、予防安全の観点で、種々の要因の影響の下でも、警報出力性能を高めた運転支援技術を提供することができる。

構成７．前記認識部は、
前記縦方向の距離（Ｌ１）が最小の信号機と、前記横方向の距離（Ｌ２）が最小の信号機とが同一となる信号機を前記第１候補の信号機（５０１）として設定し、
前記横方向の距離に基づいて、前記第１候補の信号機の周辺に位置する他の信号機を前記第２候補の信号機（５０２）として設定する。

構成７の運転支援装置によれば、第１候補の信号機の周辺に存在する他の信号機を第２候補の信号機として設定することにより、複数の信号機の点灯色の組み合わせに基づいて、警報の出力を制御することが可能になる。

構成８．車両（１）は、構成１乃至構成７のいずれか１の構成に記載の運転支援装置（２）を有する。

構成８の車両によれば、構成１乃至構成７のいずれか１の構成に記載の運転支援装置を有する車両を提供することが可能になる。

構成９．運転支援装置の運転支援方法は、
前記運転支援装置の認識部が、車両の外界を撮像する撮像部により撮像された画像から信号機の点灯色を認識する認識工程（Ｓ２２０）と、
前記運転支援装置の警報出力部が、前記点灯色が赤色であり、かつ、前記車両の制動操作が無い場合に、当該車両の運転者に警報を出力する警報出力工程（Ｓ２５０）と、を有し、
前記警報出力工程では、
前記認識工程での処理により、前記画像から複数の信号機が認識された場合に、前記複数の信号機の点灯色の組み合わせに基づいて、前記警報の出力を制御する。

構成９の運転支援方法によれば、複数の信号機が認識された場合に、複数の信号機の点灯色の組み合わせに基づいて、警報の出力を制御することが可能になる。

構成１０．プログラムを記憶した記憶媒体は、コンピュータに構成９に記載の運転支援方法の各工程を実行させる。

構成１０によれば、コンピュータに構成１０の運転支援方法の各工程を実行させるプログラムを記憶した記憶媒体を提供できる。

構成１１．プログラムは、コンピュータに構成９に記載の運転支援方法の各工程を実行させる。

構成１１によれば、コンピュータに構成９に記載の運転支援方法の各工程を実行させるプログラムを提供できる。

（その他の実施形態）
本発明は、上述の実施形態の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は運転支援装置に供給し、そのシステム又は運転支援装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出して、運転支援装置の処理を実行することも可能である。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

２２,２３：ＥＣＵ(認識部)、２８：ＥＣＵ(警報出力部)、４１：カメラ、
４２：ライダ、４３：レーダ、(４２、４３)：検知部、
２００：データベース

Claims (11)

1. 車両の外界を撮像する撮像部により撮像された画像から信号機の点灯色を認識する認識部と、
   前記点灯色が赤色であり、かつ、前記車両の制動操作が無い場合に、当該車両の運転者に警報を出力する警報出力部と、を有する運転支援装置であって、
   前記警報出力部は、
   前記認識部の処理により、前記画像から複数の信号機が認識された場合に、前記複数の信号機の点灯色の組み合わせに基づいて、前記警報の出力を制御することを特徴とする運転支援装置。
2. 前記複数の信号機には、少なくとも、前記車両の走行車線の前方に位置する第１候補の信号機と、当該第１候補の信号機の周辺に位置する第２候補の信号機が含まれ、
   前記第１候補の信号機の点灯色が赤色であり、前記第２候補の信号機の点灯色が赤色または不明である場合に、
   前記警報出力部は、前記第１候補の信号機の点灯色に基づいて、前記警報を出力することを特徴とする請求項１に記載の運転支援装置。
3. 前記第１候補の信号機の点灯色が黄色または緑色である場合には、前記第２候補の信号機の点灯色に関わらず、前記警報出力部は、前記警報の出力を抑制することを特徴とする請求項２に記載の運転支援装置。
4. 前記車両の周囲の物標との距離を検知する検知部を更に備え、
   前記認識部は、前記検知部で検知された、前記車両の走行方向に沿った縦方向の距離と、前記車両の車幅方向に沿った横方向の距離とを用いて、前記第１候補の信号機と前記第２候補の信号機とを取得することを特徴とする請求項２または３に記載の運転支援装置。
5. 前記認識部は、信号機を認識するための基準の画像特徴量と、前記画像から取得した前記信号機の画像特徴量との比較により、当該信号機の認識精度を算出し、
   前記警報出力部は、前記認識精度に応じて、前記警報として出力する一次警報出力表示の表示態様を変更することを特徴とする請求項１乃至４のいずれか１項に記載の運転支援装置。
6. 前記警報出力部は、所定の認識精度が確保された検出状態において、前記点灯色が赤色であり、かつ、前記車両の制動操作が無い場合に、前記一次警報出力表示に比べて表示領域を拡大した二次警報出力表示を表示することを特徴とする請求項５に記載の運転支援装置。
7. 前記認識部は、
   前記縦方向の距離が最小の信号機と、前記横方向の距離が最小の信号機とが同一となる信号機を前記第１候補の信号機として設定し、
   前記横方向の距離に基づいて、前記第１候補の信号機の周辺に位置する他の信号機を前記第２候補の信号機として設定することを特徴とする請求項４に記載の運転支援装置。
8. 請求項１乃至７の何れか１項に記載の運転支援装置を備えることを特徴とする車両。
9. 運転支援装置の運転支援方法であって、
   前記運転支援装置の認識部が、車両の外界を撮像する撮像部により撮像された画像から信号機の点灯色を認識する認識工程と、
   前記運転支援装置の警報出力部が、前記点灯色が赤色であり、かつ、前記車両の制動操作が無い場合に、当該車両の運転者に警報を出力する警報出力工程と、を有し、
   前記警報出力工程では、
   前記認識工程での処理により、前記画像から複数の信号機が認識された場合に、前記複数の信号機の点灯色の組み合わせに基づいて、前記警報の出力を制御することを特徴とする運転支援方法。
   運転支援方法。
10. コンピュータに請求項９に記載の運転支援方法の各工程を実行させるプログラムを記憶した記憶媒体。
11. コンピュータに請求項９に記載の運転支援方法の各工程を実行させるプログラム。

Images