JP2023112546A - 運転支援装置、車両、運転支援方法、およびプログラム - Google Patents

Abstract

【課題】自車両の進行可否を示す信号機を適切に特定して車両の安全性を向上させることが可能な技術を提供する。【解決手段】車両の運転を支援する運転支援装置は、前記車両の前方を撮影する撮影手段と、前記撮影手段で得られた画像内の信号機を特定する特定手段と、前記特定手段で特定された前記信号機の設置高さを前記画像から検出する検出手段と、前記検出手段で検出された前記設置高さに基づいて、前記特定手段で特定された前記信号機が、前記車両の進行可否を示す対象信号機か否かを判断する判断手段と、を備える。【選択図】図２

Description

本発明は、運転支援装置、車両、運転支援方法、およびプログラムに関する。

特許文献１には、撮像装置で得られた画像において１または複数の信号機が特定された場合、自車両の進行軌跡を推定するとともに、当該進行軌跡に対する各信号機の横位置（進行横位置）と自車両の前方直線に対する各信号機の横位置（前方横位置）とに基づいて、当該１または複数の信号機の中から制御入力とする信号機を特定する技術が記載されている。

特許第５８８３８３３号公報

特許文献１に記載されたように、各信号機の横位置に基づいて制御入力とする信号機を特定するだけでは、歩行者用信号機やブリンカーライトなど、信号機の横位置の条件を満たしているが自車両とは関係性の小さい信号機を、制御入力とする信号機（即ち、自車両の進行可否を示す信号機）として誤って特定されることがある。

そこで、本発明は、自車両の進行可否を示す信号機を適切に特定することが可能な技術を提供することを目的とする。

上記目的を達成するために、本発明の一側面としての運転支援装置は、車両の運転を支援する運転支援装置であって、前記車両の前方を撮影する撮影手段と、前記撮影手段で得られた画像内の信号機を特定する特定手段と、前記特定手段で特定された前記信号機の設置高さを前記画像から検出する検出手段と、前記検出手段で検出された前記設置高さに基づいて、前記特定手段で特定された前記信号機が、前記車両の進行可否を示す対象信号機か否かを判断する判断手段と、を備えることを特徴とする。

本発明によれば、例えば、自車両の進行可否を示す信号機を適切に特定して車両の安全性を向上させることが可能な技術を提供することができる。

車両およびその制御装置のブロック図 運転支援装置の構成例を示すブロック図 撮影部で得られた前方画像の一例を示す図 運転支援処理を示すフローチャート 対象信号機か否かの判断処理を示すフローチャート 車両用信号機の設置場所、設置高さ、横方向距離、および停止線からの距離に関する地域ごとの違いを示す図 警報が必要か否かの判断処理を示すフローチャート 点灯状況の組合せ情報を示す図

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

本発明に係る一実施形態について説明する。図１は、本実施形態に係る車両Ｖおよびその制御装置１のブロック図である。図１では、車両Ｖの概略が平面図と側面図とで示されている。本実施形態の車両Ｖは、一例として、セダンタイプの四輪の乗用車であり、例えばパラレル方式のハイブリッド車両でありうる。この場合、車両Ｖの駆動輪を回転させる駆動力を出力する走行駆動部であるパワープラント５０は、内燃機関、モータおよび自動変速機を含むことができる。モータは、車両Ｖを加速させる駆動源として利用可能であるとともに、減速時等において発電機としても利用可能である（回生制動）。なお、車両Ｖは、四輪乗用車に限られるものではなく、鞍乗型車両（自動二輪車、自動三輪車）であってもよいし、トラックやバスなどの大型車両であってもよい。

［車両の制御装置の構成］
図１を参照して、車両Ｖの車載装置である制御装置１の構成について説明する。制御装置１は、互いに通信可能な複数のＥＣＵ（Electronic Control Unit）２０～２８で構成された情報処理部２を含みうる。各ＥＣＵは、ＣＰＵ（Central Processing Unit）に代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含む。記憶デバイスには、プロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ＥＣＵは、プロセッサ、記憶デバイスおよびインタフェース等を複数備えていてもよい。なお、ＥＣＵの数や、担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、あるいは、統合したりしてもよい。例えば、ＥＣＵ２０～２８を１つのＥＣＵで構成してもよい。なお、図１では、ＥＣＵ２０～２８の代表的な機能の名称を付している。例えば、ＥＣＵ２０には「運転制御ＥＣＵ」と記載している。

ＥＣＵ２０は、車両Ｖの運転支援を含む車両Ｖの運転制御に関わる制御を実行する。本実施形態の場合、ＥＣＵ２０は、車両Ｖの駆動（パワープラント５０による車両Ｖの加速等）、操舵および制動を制御する。また、ＥＣＵ２０は、手動運転において、例えば、車両Ｖの進行可否を示す対象信号機の点灯状況が赤点灯（赤信号）または黄点灯（黄信号）である場合に当該点灯状況を運転者に知らせる警報、あるいは、車両Ｖのブレーキアシストを実行可能である。当該警報は、後述する情報出力装置４３Ａの表示装置に情報を表示したり、音声や振動で情報を報知したりすることで行われうる。また、当該ブレーキアシストは、ブレーキ装置５１を制御することで行われうる。

ＥＣＵ２１は、車両Ｖの周囲状況を検知する検知ユニット３１Ａ、３１Ｂ、３２Ａ、３２Ｂの検知結果に基づいて、車両Ｖの走行環境を認識する環境認識ユニットである。本実施形態の場合、ＥＣＵ２１は、検知ユニット３１Ａ、３１Ｂ、３２Ａ、３２Ｂの少なくとも１つでの検知結果に基づいて、車両Ｖの周囲における物標（例えば障害物や他車両）の位置を検出することができる。

検知ユニット３１Ａ、３１Ｂ、３２Ａ、３２Ｂは、車両Ｖ（自車両）の周囲における物標を検知可能なセンサである。検知ユニット３１Ａ、３１Ｂは、車両Ｖの前方を撮影するカメラであり（以下、カメラ３１Ａ、カメラ３１Ｂと表記する場合がある。）、車両Ｖのルーフ前部で、フロントウィンドウの車室内側に取付けられる。カメラ３１Ａ、カメラ３１Ｂが撮影した画像の解析により、物標の輪郭抽出や、道路上の車線の区画線（白線等）を抽出可能である。なお、本実施形態では、２つのカメラ３１Ａ～３１Ｂが車両Ｖに設けられているが、１つのカメラのみが設けられる構成であってもよい。

検知ユニット３２Ａは、ライダ（LIDAR：Light Detection and Ranging）であり（以下、ライダ３２Ａと表記する場合がある）、車両Ｖの周囲の物標を検知し、物標までの距離や物標の方向（方位）を検知（計測）する。図１に示す例では、ライダ３２Ａは５つ設けられており、車両Ｖの前部の各隅部に１つずつ、後部中央に１つ、後部各側方に１つずつ設けられている。なお、ライダ３２Ａは、車両Ｖに設けられていなくてもよい。また、検知ユニット３２Ｂは、ミリ波レーダであり（以下、レーダ３２Ｂと表記する場合がある）、電波を用いて車両Ｖの周囲の物標を検知し、物標までの距離や物標の方向（方位）を検知（計測）する。図１に示す例では、レーダ３２Ｂは５つ設けられており、車両Ｖの前部中央に１つ、前部各隅部に１つずつ、後部各隅部に１つずつ設けられている。

ＥＣＵ２２は、電動パワーステアリング装置４１を制御する操舵制御ユニットである。電動パワーステアリング装置４１は、ステアリングホイールＳＴに対する運転者の運転操作（操舵操作）に応じて前輪を操舵する機構を含む。電動パワーステアリング装置４１は、操舵操作のアシストあるいは前輪を自動操舵するための駆動力（操舵アシストトルクと表記することがある）を発揮するモータを含む駆動ユニット４１ａ、操舵角センサ４１ｂ、運転者が負担する操舵トルク（操舵負担トルクと呼び、操舵アシストトルクと区別する。）を検知するトルクセンサ４１ｃ等を含む。

ＥＣＵ２３は、油圧装置４２を制御する制動制御ユニットである。ブレーキペダルＢＰに対する運転者の制動操作はブレーキマスタシリンダＢＭにおいて液圧に変換されて油圧装置４２に伝達される。油圧装置４２は、ブレーキマスタシリンダＢＭから伝達された液圧に基づいて、四輪にそれぞれ設けられたブレーキ装置（例えばディスクブレーキ装置）５１に供給する作動油の液圧を制御可能なアクチュエータであり、ＥＣＵ２３は油圧装置４２が備える電磁弁等の駆動制御を行う。また、制動時にＥＣＵ２３はブレーキランプ４３Ｂを点灯可能である。これにより後続車に対して車両Ｖへの注意力を高めることができる。

ＥＣＵ２３および油圧装置４２は電動サーボブレーキを構成することができる。ＥＣＵ２３は、例えば、４つのブレーキ装置５１による制動力と、パワープラント５０が備えるモータの回生制動による制動力との配分を制御することができる。ＥＣＵ２３は、また、四輪それぞれに設けられた車輪速センサ３８、ヨーレートセンサ（不図示）、ブレーキマスタシリンダＢＭ内の圧力を検知する圧力センサ３５の検知結果に基づき、ＡＢＳ機能、トラクションコントロールおよび車両Ｖの姿勢制御機能を実現することも可能である。

ＥＣＵ２４は、後輪に設けられている電動パーキングブレーキ装置５２を制御する停止維持制御ユニットである。電動パーキングブレーキ装置５２は後輪をロックする機構を備える。ＥＣＵ２４は電動パーキングブレーキ装置５２による後輪のロックおよびロック解除を制御可能である。

ＥＣＵ２５は、車内に情報を報知する情報出力装置４３Ａを制御する車内報知制御ユニットである。情報出力装置４３Ａは例えばヘッドアップディスプレイやインストルメントパネルに設けられる表示装置、或いは、音声出力装置を含む。更に、振動装置を含んでもよい。ＥＣＵ２５は、例えば、車速や外気温等の各種情報や、経路案内等の情報、車両Ｖの状態に関する情報を情報出力装置４３Ａに出力させる。

ＥＣＵ２６は、無線通信を行う通信装置２６ａを備える。通信装置２６ａは、通信機能を有する物標との無線通信により情報交換が可能である。通信機能を有する物標としては、例えば、車両（車車間通信）、信号機や交通監視装置等の固定設備（路車間通信）、スマートフォンなどの携帯端末を携帯する人間（歩行者、自転車）を挙げることができる。また、ＥＣＵ２６は、通信装置２６ａによりインターネット上のサーバ等にアクセスして、道路の情報等の各種情報を取得可能である。

ＥＣＵ２７は、パワープラント５０を制御する駆動制御ユニットである。本実施形態では、パワープラント５０にＥＣＵ２７を１つ割り当てているが、内燃機関、モータおよび自動変速機のそれぞれにＥＣＵを１つずつ割り当ててもよい。ＥＣＵ２７は、例えば、アクセルペダルＡＰに設けられた操作検知センサ３４ａやブレーキペダルＢＰに設けられた操作検知センサ３４ｂにより検知した運転者の運転操作や車速等に対応して、内燃機関やモータの出力を制御したり、自動変速機の変速段を切り替えたりする。なお、自動変速機には車両Ｖの走行状態を検知するセンサとして、自動変速機の出力軸の回転数を検知する回転数センサ３９が設けられている。車両Ｖの車速は、回転数センサ３９の検知結果から演算可能である。

ＥＣＵ２８は、車両Ｖの現在位置や進路を認識する位置認識ユニットである。ＥＣＵ２８は、ジャイロセンサ３３、ＧＰＳ（Global Positioning System）センサ２８ｂ、通信装置２８ｃの制御、および、検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ３３は車両Ｖの回転運動（ヨーレート）を検知する。ジャイロセンサ３３の検知結果等により車両Ｖの進路を判定することができる。ＧＰＳセンサ２８ｂは、車両Ｖの現在位置を検知する。通信装置２８ｃは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。データベース２８ａには、高精度の地図情報を格納することができ、ＥＣＵ２８はこの地図情報等に基づいて、車線上の車両Ｖの位置を特定可能である。また、車両Ｖは、車両Ｖの速度を検知する速度センサ、車両Ｖの加速度を検知する加速度センサ、車両Ｖの横加速度を検知する横加速度センサ（横Ｇセンサ）が設けられてもよい。

［運転支援装置の構成］
図２は、本実施形態の運転支援装置１００の構成例を示すブロック図である。運転支援装置１００は、運転者による車両Ｖの運転を支援するための装置であり、例えば、撮影部１１０と、位置検知部１２０と、警報出力部１３０と、処理部１４０とを備えうる。撮影部１１０、位置検知部１２０、警報出力部１３０および処理部１４０は、システムバスを介して相互に通信可能に接続されている。

撮影部１１０は、例えば図１に示すカメラ３１Ａ～３１Ｂであり、車両Ｖの前方を撮影する。位置検知部１２０は、例えば図１に示すＧＰＳセンサ２８ｂであり、車両Ｖの現在位置および進行方向を検知する。位置検知部１２０は、ＧＰＳセンサ２８ｂに加えて、ジャイロセンサ３３を含んでもよい。また、警報出力部１３０は、例えば図１に示す情報出力装置４３Ａであり、ディスプレイへの表示や音声出力などにより車両の乗員（例えば運転者）に各種情報を報知する。本実施形態の場合、警報出力部１３０は、車両Ｖの進行可否を示す対象信号機の点灯状況が赤点灯（赤信号）または黄点灯（黄信号）である場合に、当該点灯状況を運転者に知らせる警報を出力するために用いられうる。

処理部１４０は、ＣＰＵ（Central Processing Unit）に代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含むコンピュータによって構成され、図１に示す情報処理部２のＥＣＵの一部として機能しうる。記憶デバイスには、車両Ｖの運転支援を行うためプログラム（運転支援プログラム）が記憶されており、処理部１４０は、記憶デバイスに記憶された運転支援プログラムを読み出して実行しうる。本実施形態の処理部１４０には、取得部１４１と、特定部１４２と、検出部１４３と、判断部１４４と、警報制御部１４５とが設けられうる。

取得部１４１は、車両に設けられたセンサ等から各種情報を取得する。本実施形態の場合、取得部１４１は、撮影部１１０で得られた画像、および、位置検知部１２０で得られた車両Ｖの位置情報（現在位置情報）を取得する。特定部１４２は、撮影部１１０で得られた画像に対して画像処理を行うことにより、当該画像内に含まれる信号機を特定する。検出部１４３は、撮影部１１０で得られた画像に対して画像処理を行うことにより、特定部１４２で特定された信号機の設置高さ等を当該画像から検出（算出）する。本実施形態において、信号機の設置高さは、信号機が設置されている路面を基準とした当該信号機の高さ、即ち、信号機が設置されている場所の路面（信号機の支柱の根本）から当該信号機までの高さとして定義されうる。

判断部１４４は、検出部１４３で検出された設置高さに基づいて、特定部１４２で特定された信号機が、車両Ｖの走行道路に対して設けられて車両Ｖの進行可否を示す信号機（以下では、対象信号機と表記することがある）であるか否かを判断する。警報制御部１４５は、特定部１４２で特定された信号機が対象信号機であると判断部１４４で判断された場合に、当該対象信号機の点灯状況に基づいて、車両Ｖの運転者に警報が必要か否かを判断する。そして、警報が必要であると判断した場合に、車両Ｖの運転者に対して警報を出力するように警報出力部１３０を制御する。

ところで、撮影部１１０で得られた画像には、車両Ｖの進行可否を示す信号機（対象信号機）に加えて、車両Ｖの走行道路と交差する交差道路に対して設けられた交差道路用信号機、あるいは、歩行者用信号機やブリンカーライトなどが含まれることがある。図３は、撮影部１１０で得られた画像の一例（前方画像６０）を示している。図３に示される前方画像６０は、車両Ｖが交差点に差し掛かるときに撮影部１１０で得られた画像であり、当該前方画像６０には、対象信号機６１に加えて、交差道路用信号機６２、歩行者用信号機６３、ブリンカーライト６４が含まれている。また、前方画像６０には、車両Ｖが停止すべき停止線６５が含まれている。このような交差道路用信号機６２、歩行者用信号機６３、ブリンカーライト６４などは、対象信号機６１と類似した構造を有するため、対象信号機６１として誤って判断される可能性がある。したがって、交差道路用信号機６２、歩行者用信号機６３、ブリンカーライト６４等に対し、対象信号機６１を適切に区別して認識する必要があり、そのような技術が求められている。特に、歩行者用信号機６３およびブリンカーライト６４に対し、対象信号機６１と適切に区別して認識する技術が求められている。

そこで、本実施形態の運転支援装置１００（処理部１４０）には、前述したように、特定部１４２で特定された信号機の設置高さを検出する検出部１４３と、検出部１４３で検出された設置高さに基づいて、特定部１４２で特定された信号機が対象信号機か否かを判断する判断部１４４とが設けられる。歩行者用信号機６３およびブリンカーライト６４は、車両用の信号機に比べて設置高さが低いため、本実施形態の運転支援装置１００によれば、歩行者用信号機６３およびブリンカーライト６４に対し、対象信号機６１を適切に区別して認識することが可能となる。

［運転支援処理］
以下、本実施形態の運転支援処理について説明する。図４は、本実施形態の運転支援処理を示すフローチャートである。図４のフローチャートで示される運転支援処理は、運転支援装置１００において運転支援プログラムが実行されたときに処理部１４０によって実施される処理である。

ステップＳ１０１において、処理部１４０（取得部１４１）は、撮影部１１０で車両Ｖの前方を撮影することにより得られた画像（前方画像）を撮影部１１０から取得する。次いで、ステップＳ１０２において、処理部１４０（特定部１４２）は、ステップＳ１０１で得られた前方画像に対して画像処理を行うことにより、前方画像内に含まれる信号機を特定する。例えば、特定部１４２は、前方画像内において青色（緑色）、黄色、または赤色に発光している部分を抽出することにより、前方画像内に含まれる全ての信号機を特定することができる。ここで、特定部１４２で行われる画像処理としては、公知の画像処理が用いられてもよい。また、特定部１４２により特定される信号機には、車両用信号機に加えて、歩行者用信号機およびブリンカーライトも含まれる。図３の例では、特定部１４２により、前方画像６０内の車両用信号機６１～６２、歩行者用信号機６３、およびブリンカーライト６４が特定される。

ステップＳ１０３において、処理部１４０は、ステップＳ１０２で前方画像内に信号機が特定されたか否かを判定する。前方画像内に信号機が特定されなかった場合にはステップＳ１０８に進み、前方画像内に信号機が特定された場合にはステップＳ１０４に進む。ステップＳ１０４において、処理部１４０（検出部１４３、判断部１４４）は、ステップＳ１０２で特定された信号機が、車両Ｖ（自車両）の進行可否を示す対象信号機か否かを判断する。本ステップＳ１０４で行われる具体的な処理内容については後述する。次いで、ステップＳ１０５において、処理部１４０は、ステップＳ１０４において対象信号機と判断されたか否かを判定する。対象信号機と判断されなかった場合にはステップＳ１０８に進み、対象信号機と判断された場合にはステップＳ１０６に進む。

ステップＳ１０６において、処理部１４０（判断部１４４、警報制御部１４５）は、対象信号機の点灯状況に基づいて、運転者への警報が必要か否かを判断する。本ステップＳ１０６で行われる具体的な処理内容については後述する。警報が必要ではないと判断した場合にはステップＳ１０８に進み、警報が必要であると判断した場合にはステップＳ１０７に進む。ステップＳ１０７において、処理部（警報制御部１４５）は、警報出力部１３０を制御することにより、運転者に対して警報を出力する。なお、本実施形態では、運転者に対して警報を出力する例を示しているが、警報に加えて、または警報の代わりに、ブレーキアシストを実行してもよい。

ステップＳ１０８において、処理部１４０は、車両Ｖの運転支援を終了するか否かを判断する。例えば、処理部１４０は、運転者により車両Ｖの運転支援がオフされた場合、または、車両Ｖのイグニッションがオフされた場合に、車両Ｖの運転支援を終了すると判断することができる。車両Ｖの運転支援を終了しない場合にはステップＳ１０１に戻る。

［対象信号機か否かの判断処理（Ｓ１０４）］
次に、図４のステップＳ１０４で行われる「対象信号機か否かの判断処理」の具体的な処理内容について、図５を参照しながら説明する。図５は、図４のステップＳ１０４において処理部１４０（検出部１４３、判断部１４４）が行う処理内容を示すフローチャートである。

ステップＳ２０１において、処理部１４０（検出部１４３）は、ステップＳ１０２で特定された信号機の設置高さを前方画像から検出（算出）する。設置高さは、前述したように、信号機が設置されている路面を基準とした当該信号機の高さとして定義され、図３では「ｈ」と表記されている。検出部１４３は、前方画像に対して公知の画像処理を行うことにより、ステップＳ１０２で特定された各信号機の設置高さを検出することができる。

ここで、例えば、車両Ｖが位置する路面と信号機が設置されている路面との間に勾配（坂）があり、信号機が設置されている路面（信号機の支柱の根本）が前方画像に含まれていない場合などがある。この場合、前方画像から信号機の設置高さを精度よく検出（算出）することが困難になりうる。そのため、検出部１４３は、車両Ｖを基準とした信号機の高さを前方画像から算出するとともに、車両Vが位置する路面と信号機が設置されている路面との高低差を示す高低差情報に基づいて、前方画像から算出した車両基準の信号機の高さを補正することによって当該信号機の設置高さを求めてもよい。高低差情報は、例えば、データベース２８ａに格納された地図情報に含まれており、取得部１４１を介して当該データベース２８ａから取得されうる。検出部１４３は、位置検知部１２０（ＧＰＳセンサ２８ｂ）で検知された車両Ｖの現在位置に基づいて、取得部１４１で取得された地図情報から高低差情報を得ることができる。なお、高低差情報は、位置検知部１２０で検知された車両Ｖの現在位置に基づいて、取得部１４１および通信装置２８ｃを介して外部サーバから取得されてもよい。

ステップＳ２０２において、処理部１４０（判断部１４４）は、ステップＳ２０１で検出された設置高さが、車両用信号機（対象信号機）の設置高さに関する所定条件（高さ条件）を満たすか否かを判断する。例えば、判断部１４４は、ステップＳ２０１で検出された設置高さが所定範囲内に収まっているか否かにより、高さ条件を満たすか否かを判断することができる。設置高さが高さ条件を満たさない場合にはステップＳ２１０に進み、ステップＳ１０２で特定された信号機は対象信号機ではないと判断する。一方、設置高さが高さ条件を満たす場合にはステップＳ２０３に進む。このステップＳ２０２により、ステップＳ１０２で特定された信号機が、車両用信号機であるのか、あるいは、歩行者用信号機やブリンカーライトであるのかを適切に区別して認識することができる。

ここで、車両用信号機の設置高さは地域ごと（例えば国ごと）に異なる。図６は、車両用信号機の設置場所、設置高さ、横方向距離、および停止線からの距離に関する地域ごとの違いを示している。図６では地域Ａ～Ｄが例示されており、地域ごとに車両用信号機の設置高さが異なることが分かる。そのため、判断部１４４は、車両Ｖが走行している地域に応じて、高さ条件（即ち、対象信号機と判断するための設置高さの範囲）を変更してもよい。具体的には、判断部１４４は、位置検知部１２０で検知された車両Ｖの現在位置に基づいて、車両Ｖが走行している地域（例えば国）を特定し、特定した地域に応じて高さ条件を変更する。地域ごとの高さ条件を示す情報は、例えば、データベース２８ａや処理部１４０のメモリに記憶されていてもよいし、取得部１４１および通信装置２８ｃを介して外部サーバから取得されてもよい。

ステップＳ２０３において、処理部１４０（検出部１４３）は、ステップＳ１０２で特定された信号機と車両Ｖとの横方向距離を前方画像から検出（算出）する。横方向距離は、信号機の代表位置（例えば中心位置）と車両Ｖの代表位置（例えば中心位置）との横方向の距離として定義され、図３では「Ｌ_１」と表記されている。横方向は、車両Ｖの車幅方向として理解されてもよい。検出部１４３は、前方画像に対して公知の画像処理を行うことにより、ステップＳ１０２で特定された各信号機の横方向距離を検出することができる。

ステップＳ２０４において、処理部１４０（判断部１４４）は、ステップＳ２０３で検出された横方向距離が、対象信号機の横方向距離に関する所定条件（第１距離条件）を満たすか否かを判断する。例えば、判断部１４４は、ステップＳ２０３で検出された横方向距離が所定範囲内に収まっているか否かにより、第１距離条件を満たすか否かを判断することができる。横方向距離が第１距離条件を満たさない場合にはステップＳ２１０に進み、ステップＳ１０２で特定された信号機は対象信号機ではないと判断する。一方、横方向距離が第１距離条件を満たす場合にはステップＳ２０５に進む。このステップＳ２０４により、ステップＳ１０２で特定された信号機が、車両Ｖの進行可否を示す対象信号機であるのか、あるいは、交差道路用信号機であるのかを適切に区別して認識することができる。

ここで、対象信号機の横方向距離は、図６に示されるように、地域ごと（例えば国ごと）に異なる。そのため、判断部１４４は、車両Ｖが走行している地域に応じて、第１距離条件（即ち、対象信号機と判断するための横方向距離の範囲）を変更してもよい。具体的には、高さ条件と同様に、判断部１４４は、位置検知部１２０で検知された車両Ｖの現在位置に基づいて、車両Ｖが走行している地域（例えば国）を特定し、特定した地域に応じて第１距離条件を変更する。地域ごとの第１距離条件を示す情報は、例えば、データベース２８ａや処理部１４０のメモリに記憶されていてもよいし、取得部１４１および通信装置２８ｃを介して外部サーバから取得されてもよい。

ステップＳ２０５において、処理部１４０（検出部１４３）は、ステップＳ１０２で特定された信号機と車両Ｖとの進行方向距離を前方画像から検出（算出）する。進行方向距離は、信号機の代表位置（例えば中心位置）と車両Ｖの代表位置（例えば中心位置）との進行方向の距離として定義され、図３では「Ｌ_２」と表記されている。進行方向は、車両Ｖの前後方向として理解されてもよい。検出部１４３は、前方画像に対して公知の画像処理を行うことにより、ステップＳ１０２で特定された各信号機の進行方向距離を検出することができる。

ステップＳ２０６において、処理部１４０（判断部１４４）は、ステップＳ２０５で検出された進行方向距離が、対象信号機の進行方向距離に関する所定条件（第２距離条件）を満たすか否かを判断する。例えば、判断部１４４は、ステップＳ２０５で検出された進行方向距離が所定範囲内に収まっているか否かにより、第２距離条件を満たすか否かを判断することができる。進行方向距離が第２距離条件を満たさない場合にはステップＳ２１０に進み、ステップＳ１０２で特定された信号機は対象信号機ではないと判断する。一方、進行方向距離が第２距離条件を満たす場合にはステップＳ２０７に進む。このステップＳ２０６により、ステップＳ１０２で特定された信号機が、車両Ｖが位置する交差点に設置された信号機であるのか、あるいは、車両Ｖが位置する交差点より先の交差点に設置された信号機であるのかを適切に区別して認識することができる。

ステップＳ２０７において、処理部１４０（検出部１４３）は、車両Ｖの走行車線に設けられた停止線を前方画像から検出するとともに、ステップＳ１０２で特定された信号機と当該信号機との距離（以下では、停止線基準距離と表記することがある）を検出する。停止線基準距離は、信号機の代表位置（例えば中心位置）と停止線の代表位置（例えば中心位置）との進行方向の距離として定義されうる。図３では、車両Ｖの走行車線に設けられた停止線６５が示されており、停止線基準距離が「Ｌ_３」と表記されている。検出部１４３は、前方画像に対して公知の画像処理を行うことにより、停止線と、ステップＳ１０２で特定された各信号機の停止線基準距離とを検出することができる。

ステップＳ２０８において、処理部１４０（判断部１４４）は、ステップＳ２０７で検出された停止線基準距離が、対象信号機の停止線基準距離に関する所定条件（第３距離条件）を満たすか否かを判断する。例えば、判断部１４４は、ステップＳ２０７で検出された停止線基準距離が所定範囲内に収まっているか否かにより、第３距離条件を満たすか否かを判断することができる。停止線基準距離が第３距離条件を満たさない場合にはステップＳ２１０に進み、ステップＳ１０２で特定された信号機は対象信号機ではないと判断する。一方、停止線基準距離が第３距離条件を満たす場合にはステップＳ２０９に進み、ステップＳ１０２で特定された信号機は対象信号機であると判断する。このステップＳ２０８により、ステップＳ１０２で特定された信号機が、車両Ｖの進行可否を示す対象信号機であるのか、あるいは、交差道路用信号機であるのかを更に適切に区別して認識することができる。

ここで、対象信号機の停止線基準距離は、図６に示されるように、地域ごと（例えば国ごと）に異なる。そのため、判断部１４４は、車両Ｖが走行している地域に応じて、第３距離条件（即ち、対象信号機と判断するための停止線基準距離の範囲）を変更してもよい。具体的には、高さ条件や第１距離条件と同様に、判断部１４４は、位置検知部１２０で検知された車両Ｖの現在位置に基づいて、車両Ｖが走行している地域（例えば国）を特定し、特定した地域に応じて第３距離条件を変更する。地域ごとの第３距離条件を示す情報は、例えば、データベース２８ａや処理部１４０のメモリに記憶されていてもよいし、取得部１４１および通信装置２８ｃを介して外部サーバから取得されてもよい。

上記では、前方画像内の信号機の設置高さ、横方向距離、進行方向距離および停止線基準距離に基づいて、当該信号機が対象信号機であるか否かの判断を行う例を説明した。しかしながら、当該判断は、上記に限られず、信号機の設置高さのみに基づいて行われてもよいし、設置高さに加えて、横方向距離、進行方向距離および停止線基準距離の少なくとも１つに更に基づいて行われてもよい。

［警報が必要か否かの判断処理（Ｓ１０６）］
次に、図４のステップＳ１０６で行われる「警報が必要か否かの判断処理」の具体的な処理内容について、図７を参照しながら説明する。図７は、図４のステップＳ１０６において処理部１４０（判断部１４４，警報制御部１４５）が行う処理内容を示すフローチャートである。

ステップＳ３０１において、処理部１４０（判断部１４４）は、対象信号機が複数あるか否かを判断する。つまり、警報制御部１４５は、ステップＳ１０２で複数の信号機が特定された場合において、当該複数の信号機のうち、ステップＳ１０４で対象信号機として判断された信号機が複数あるか否かを判断する。対象信号機が複数ある場合にはステップＳ３０２に進む。一方、対象信号機が複数ない場合（即ち、ステップＳ１０４で対象信号機として判断された信号機が１つである場合）にはステップＳ３０４に進む。

まず、ステップＳ３０１において対象信号機が複数あると判断された場合について説明する。この場合、ステップＳ３０２～Ｓ３０３、Ｓ３０５が実行される。

ステップＳ３０２において、処理部１４０（判断部１４４）は、ステップＳ１０４で対象信号機として判断された複数の信号機の中から、対象信号機の第１候補および第２候補を設定する。例えば、判断部１４４は、検出部１４３での検出結果に基づいて、ステップＳ１０４で対象信号機として判断された複数の信号機のうち、設置高さが高さ条件を満たし且つ横方向距離が最も短い信号機を、対象信号機の第１候補として設定（判断）する。また、判断部１４４は、検出部１４３での検出結果に基づいて、ステップＳ１０４で対象信号機として判断された複数の信号機のうち、設置高さが高さ条件を満たし且つ進行方向距離が最も短い信号機を、対象信号機の第２候補として設定（判断）する。図３の例では、信号機６１が、設置高さｈが高さ条件を満たし且つ横方向距離Ｌ_１が最も短い信号機であるため、対象信号機の第１候補として設定されうる。また、信号機６２が、設置高さｈが高さ条件を満たし且つ進行方向距離Ｌ_２が最も短い信号機であるため、対象信号機の第２候補として設定されうる。なお、本ステップＳ３０２で使用される「検出部１４３の検出結果」は、ステップＳ１０４で検出（算出）された結果であり、設置高さ、横方向距離および進行方向距離を少なくとも含む。

ステップＳ３０３において、処理部１４０（警報制御部１４５）は、第１候補の信号機（図３の例では信号機６１）と第２候補の信号機（図３の例では信号機６２）との点灯状況の組合せを検出する。例えば、警報制御部１４５は、ステップＳ１０１で取得された前方画像に対して公知の画像処理を行い、前方画像における第１候補の信号機および第２候補の信号機の各々について、点灯状況が青点灯（青信号）、黄点灯（黄信号）または赤点灯（赤信号）なのかを検出する。これにより、第１候補の信号機と第２候補の信号機との点灯状況の組合せを得ることができる。

ステップＳ３０５において、処理部１４０（警報制御部１４５）は、ステップＳ３０３で検出された点灯状況の組合せが停止条件を満たすか否かを判断する。停止条件とは、車両Ｖの前方の交差点において車両Ｖを停止させるべき条件のことである。点灯状況の組合せが停止条件を満たす場合にはステップＳ３０６に進み、停止条件を満たさない場合にはステップＳ３０８に進む。

例えば、警報制御部１４５は、図８に示される組合せ情報に基づいて、ステップＳ３０３で検出された点灯状況の組合せが停止条件を満たすか否かを判断することができる。図８に示される組合せ情報は、第１候補の信号機と第２候補の信号機との点灯状況の組合せに応じて、第１候補の信号機および第２候補の信号機のうちどちらの信号機を対象信号機として適用するか否かを決定するための情報である。一例として、第１候補の信号機が赤点灯で且つ第２候補の信号機の点灯状況が不明である場合（［＊１］の場合）には、第１候補の信号機が対象信号機として適用される。また、第１候補の信号機が赤点灯で且つ第２候補の信号機が赤点灯である場合（［＊２］の場合）にも、第１候補の信号機が対象信号機として適用される。一方、第１候補の信号機の点灯状況が不明で且つ第２候補の信号機が赤点灯である場合（［＊３］の場合）には、第２候補の信号機が対象信号機として適用される。そして、上記の場合（［＊１］～［＊３］の場合）が、停止条件を満たす点灯状況の組合せであり、運転者に対して警報が必要となる可能性が高い状況（警報対象状況）である。即ち、ステップＳ３０３で検出された点灯状況の組合せが［＊１］～［＊３］のいずれかに該当する場合に、停止条件を満たすこととなる。

次に、ステップＳ３０１において対象信号機が複数ない（即ち、対象信号機が１つである）と判断された場合について説明する。この場合、ステップＳ３０４～Ｓ３０５が実行される。

ステップＳ３０４において、処理部１４０（警報制御部１４５）は、ステップＳ１０４で対象信号機として判断された信号機の点灯状況を検出する。例えば、警報制御部１４５は、ステップＳ１０１で取得された前方画像に対して公知の画像処理を行い、前方画像における対象信号機の点灯状況が青点灯（青信号）、黄点灯（黄信号）または赤点灯（赤信号）なのかを検出する。次いで、ステップＳ３０５において、処理部１４０（警報制御部１４５）は、ステップＳ３０４で検出された対象信号機の点灯状況が停止条件を満たすか否かを判断する。例えば、警報制御部１４５は、ステップＳ３０４で検出された対象信号機の点灯状況が赤点灯または黄点灯である場合に、停止条件を満たすと判断する。対象信号機の点灯状況が停止条件を満たす場合にはステップＳ３０６に進み、停止条件を満たさない場合にはステップＳ３０８に進む。

ステップＳ３０６において、処理部１４０（警報制御部１４５）は、取得部１４１を介して速度センサから車両Ｖの速度（車速）を取得し、車速が閾値を超えているか否かを判断する。車速が閾値を超えている場合には、運転者が対象信号機の点灯状況（赤点灯または黄点灯）に気付いていない可能性が高い。そのため、警報制御部１４５は、ステップＳ３０７において、運転者に対する警報が必要であると判断し、その後、図４のステップＳ１０７に進む。一方、車速が閾値を超えていない場合には、運転者が対象信号機の点灯状況に気付いており車両Ｖを停止しようとしている可能性が高い。そのため、警報制御部１４５は、ステップＳ３０８において、運転者に対する警報が不要であると判断し、その後、図４のステップＳ１０８に進む。なお、車速の閾値は、任意に設定することができ、例えば、運転者の停止意図として判断可能な速度（一例として５～２０ｋｍ／ｈ）に設定されうる。

上述したように、本実施形態の運転支援装置１００は、撮影部１１０で得られた前方画像から特定された信号機の設置高さを検出し、当該設置高さに基づいて、当該信号機が、車両Ｖの進行可否を示す対象信号機か否かを判断する。これにより、前方画像に歩行者用信号機およびブリンカーライト等が含まれる場合であっても、これらの歩行者用信号機およびブリンカーライト等に対し、対象信号機を適切に区別して認識（判断）することが可能となる。

＜その他の実施形態＞
上記実施形態で説明された１以上の機能を実現するプログラムは、ネットワークまたは記憶媒体を介してシステム又は装置に供給され、該システム又は装置のコンピュータにおける１以上のプロセッサは、このプログラムを読み出して実行することができる。このような態様によっても本発明は実現可能である。

＜実施形態のまとめ＞
１．上記実施形態の運転支援装置は、
車両（例えばＶ）の運転を支援する運転支援装置（例えば１００）であって、
前記車両の前方を撮影する撮影手段（例えば１１０）と、
前記撮影手段で得られた画像（例えば６０）内の信号機（例えば６１～６４）を特定する特定手段（例えば１４２）と、
前記特定手段で特定された前記信号機の設置高さ（例えばｈ）を前記画像から検出する検出手段（例えば１４３）と、
前記検出手段で検出された前記設置高さに基づいて、前記特定手段で特定された前記信号機が、前記車両の進行可否を示す対象信号機か否かを判断する判断手段（例えば１４４）と、を備える。
この実施形態によれば、撮影手段で得られた画像に歩行者用信号機およびブリンカーライト等が含まれる場合であっても、これらの歩行者用信号機およびブリンカーライト等に対し、車両の進行可否を示す対象信号機を適切に区別して認識（判断）することができる。

２．上記実施形態において、
前記判断手段は、前記検出手段で検出された前記設置高さが所定条件を満たした場合に、前記特定手段で特定された前記信号機が前記対象信号機であると判断する。
この実施形態によれば、撮影手段で得られた画像から対象信号機を適切に認識することができる。

３．上記実施形態において、
前記判断手段は、前記車両が走行している地域に応じて前記所定条件を変更する。
この実施形態によれば、車両用信号機の設置高さが異なる地域ごとに、当該設置高さに関する所定条件を変更することができるため、地域に応じて、撮影手段で得られた画像から対象信号機を適切に認識することができる。

４．上記実施形態において、
前記検出手段は、前記信号機が設置されている路面を基準とした前記信号機の高さを前記設置高さとして検出する。
この実施形態によれば、撮影手段で得られた画像から特定された各信号機の設置高さを同じ基準を用いて検出することができるため、当該画像から対象信号機を適切に認識することができる。

５．上記実施形態において、
前記検出手段は、前記車両を基準とした前記信号機の高さを前記画像から算出するとともに、前記車両が位置する路面と前記信号機が設置されている路面との高低差を示す情報に基づいて、前記画像から算出された前記信号機の高さを補正することにより前記設置高さを検出する。
この実施形態によれば、車両が位置する路面と信号機が設置されている路面との間に勾配（坂）があり、信号機が設置されている路面（信号機の支柱の根本）が画像に含まれていない場合などにおいても、信号機の設置高さを精度よく検出（算出）することができる。

６．上記実施形態において、
前記検出手段は、前記特定手段で特定された前記信号機と前記車両の走行車線に設けられた停止線（例えば６５）との距離（例えばＬ_３）を前記画像から検出し、
前記判断手段は、前記特定手段で特定された前記信号機と前記停止線との距離に更に基づいて、前記特定手段で特定された前記信号機が前記対象信号機か否かを判断する。
この実施形態によれば、画像から特定された信号機が、車両の進行可否を示す対象信号機であるのか、あるいは、交差道路用信号機であるのかを適切に区別して認識することができる。

７．上記実施形態において、
前記検出手段は、前記特定手段で特定された前記信号機と前記車両との横方向距離（例えばＬ_１）を前記画像から検出し、
前記判断手段は、前記検出手段で検出された前記横方向距離に更に基づいて、前記特定手段で特定された前記信号機が前記対象信号機か否かを判断する。
この実施形態によれば、画像から特定された信号機が、車両の進行可否を示す対象信号機であるのか、あるいは、交差道路用信号機であるのかを適切に区別して認識することができる。

８．上記実施形態において、
前記検出手段は、前記特定手段で特定された前記信号機と前記車両との進行方向距離（例えばＬ_２）を前記画像から検出し、
前記判断手段は、前記検出手段で検出された前記進行方向距離に更に基づいて、前記特定手段で特定された前記信号機が前記対象信号機か否かを判断する。
この実施形態によれば、画像から特定された信号機が、車両が位置する交差点に設置された信号機であるのか、あるいは、車両が位置する交差点より先の交差点に設置された信号機であるのかを適切に区別して認識することができる。

９．上記実施形態において、
前記特定手段で特定された前記信号機が前記対象信号機であると前記判断手段で判断された場合、前記対象信号機の点灯状況に応じて運転者に警報を出力する警報制御手段（例えば１３０、１４５）を更に備える。
この実施形態によれば、対象信号機の点灯状態を運転者に適切に通知することができるため、車両の安全性を向上させることができる。

１０．上記実施形態において、
前記警報制御手段は、前記対象信号機の点灯状況が赤点灯または黄点灯であり、且つ、前記車両の速度が閾値を超えている場合に、前記警報を出力すると判断する。
この実施形態によれば、車両の速度が閾値を超えている場合には、運転者が対象信号機の点灯状況（赤点灯または黄点灯）に気付いていない可能性が高いため、当該点灯状態を運転者に適切に通知することができ、車両の安全性を向上させることができる。

１１．上記実施形態において、
前記特定手段で複数の信号機が特定された場合、
前記検出手段は、前記複数の信号機の各々について、前記設置高さ（例えばｈ）、前記車両からの横方向距離（例えばＬ_１）、および、前記車両からの進行方向距離（例えばＬ_２）を前記画像から検出し、
前記判断手段は、前記検出手段での検出結果に基づいて、前記複数の信号機のうち、前記設置高さが所定条件を満たし且つ前記横方向距離が最も短い信号機を前記対象信号機の第１候補として判断するとともに、前記設置高さが前記所定条件を満たし且つ前記進行方向距離が最も短い信号機を前記対象信号機の第２候補として判断し、
前記警報制御手段は、前記第１候補の信号機の点灯状況と前記第２候補の信号機の点灯状況との組合せに応じて前記警報を出力するか否かを判断する。
この実施形態によれば、画像から複数の信号機が特定された場合に、対象信号機に関する候補を複数設定し、当該複数の候補の点灯状況の組合せで警報の出力の有無を判断することにより、車両の進行可否を精度よく判断し、警報を運転者に対して適切に通知することができる。つまり、車両の安全性を向上させることができる。

本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。

１００：運転支援装置、１１０：撮影部、１２０：位置検知部、１３０：警報出力部、１４０：処理部、１４１：取得部、１４２：特定部、１４３：検出部、１４４：判断部、１４５：警報制御部

Claims (14)

1. 車両の運転を支援する運転支援装置であって、
   前記車両の前方を撮影する撮影手段と、
   前記撮影手段で得られた画像内の信号機を特定する特定手段と、
   前記特定手段で特定された前記信号機の設置高さを前記画像から検出する検出手段と、
   前記検出手段で検出された前記設置高さに基づいて、前記特定手段で特定された前記信号機が、前記車両の進行可否を示す対象信号機か否かを判断する判断手段と、
   を備えることを特徴とする運転支援装置。
2. 前記判断手段は、前記検出手段で検出された前記設置高さが所定条件を満たした場合に、前記特定手段で特定された前記信号機が前記対象信号機であると判断する、ことを特徴とする請求項１に記載の運転支援装置。
3. 前記判断手段は、前記車両が走行している地域に応じて前記所定条件を変更する、ことを特徴とする請求項２に記載の運転支援装置。
4. 前記検出手段は、前記信号機が設置されている路面を基準とした前記信号機の高さを前記設置高さとして検出する、ことを特徴とする請求項１乃至３のいずれか１項に記載の運転支援装置。
5. 前記検出手段は、前記車両を基準とした前記信号機の高さを前記画像から算出するとともに、前記車両が位置する路面と前記信号機が設置されている路面との高低差を示す情報に基づいて、前記画像から算出された前記信号機の高さを補正することにより前記設置高さを検出する、ことを特徴とする請求項４に記載の運転支援装置。
6. 前記検出手段は、前記特定手段で特定された前記信号機と前記車両の走行車線に設けられた停止線との距離を前記画像から検出し、
   前記判断手段は、前記特定手段で特定された前記信号機と前記停止線との距離に更に基づいて、前記特定手段で特定された前記信号機が前記対象信号機か否かを判断する、ことを特徴とする請求項１乃至５のいずれか１項に記載の運転支援装置。
7. 前記検出手段は、前記特定手段で特定された前記信号機と前記車両との横方向距離を前記画像から検出し、
   前記判断手段は、前記検出手段で検出された前記横方向距離に更に基づいて、前記特定手段で特定された前記信号機が前記対象信号機か否かを判断する、ことを特徴とする請求項１乃至６のいずれか１項に記載の運転支援装置。
8. 前記検出手段は、前記特定手段で特定された前記信号機と前記車両との進行方向距離を前記画像から検出し、
   前記判断手段は、前記検出手段で検出された前記進行方向距離に更に基づいて、前記特定手段で特定された前記信号機が前記対象信号機か否かを判断する、ことを特徴とする請求項１乃至７のいずれか１項に記載の運転支援装置。
9. 前記特定手段で特定された前記信号機が前記対象信号機であると前記判断手段で判断された場合、前記対象信号機の点灯状況に応じて運転者に警報を出力する警報制御手段を更に備える、ことを特徴とする請求項１乃至８のいずれか１項に記載の運転支援装置。
10. 前記警報制御手段は、前記対象信号機の点灯状況が赤点灯または黄点灯であり、且つ、前記車両の速度が閾値を超えている場合に、前記警報を出力すると判断する、ことを特徴とする請求項９に記載の運転支援装置。
11. 前記特定手段で複数の信号機が特定された場合、
    前記検出手段は、前記複数の信号機の各々について、前記設置高さ、前記車両からの横方向距離、および、前記車両からの進行方向距離を前記画像から検出し、
    前記判断手段は、前記検出手段での検出結果に基づいて、前記複数の信号機のうち、前記設置高さが所定条件を満たし且つ前記横方向距離が最も短い信号機を前記対象信号機の第１候補として判断するとともに、前記設置高さが前記所定条件を満たし且つ前記進行方向距離が最も短い信号機を前記対象信号機の第２候補として判断し、
    前記警報制御手段は、前記第１候補の信号機の点灯状況と前記第２候補の信号機の点灯状況との組合せに応じて前記警報を出力するか否かを判断する、ことを特徴とする請求項９又は１０に記載の運転支援装置。
12. 請求項１乃至１１のいずれか１項に記載の運転支援装置を備えることを特徴とする車両。
13. 車両の運転を支援する運転支援方法であって、
    前記車両の前方を撮影する撮影工程と、
    前記撮影工程で得られた画像内の信号機を特定する特定工程と、
    前記特定工程で特定された前記信号機の設置高さを前記画像から検出する検出工程と、
    前記検出工程で検出された前記設置高さに基づいて、前記特定工程で特定された前記信号機が、前記車両の進行可否を示す対象信号機か否かを判断する判断工程と、
    を含むことを特徴とする運転支援方法。
14. 請求項１３に記載の運転支援方法をコンピュータに実行させるためのプログラム。