JP2017016200A - 画像処理装置、画像表示システム及び画像処理方法 - Google Patents

Abstract

【課題】ドライバが安心して車線変更することができる技術を提供する。
【解決手段】画像処理装置においては、情報取得部が自車両が走行する走行車線に隣接する隣接車線を自車両の後方において走行する後側方車両に関する車両情報を取得する。意志判定部は、後側方車両の車両情報に基づいて、後側方車両のドライバにおける後側方車両の前方への自車両の車線変更を容認する容認意志の有無を判定する。また、画像生成部が後側方車両の位置を示すサイドミラー画像６１を生成するとともに、安全指標生成部が意志判定部の判定結果に応じた安全指標６２を生成する。そして、画像出力部は、サイドミラー画像６１と安全指標６２とを含むサポート画像６をディスプレイに出力して、サイドミラー画像６１と安全指標６２とを併せてディスプレイに表示させる。
【選択図】図５

Description

本発明は、車線変更に係る情報を提供する技術に関する。

自動車などの車両を運転するドライバは、一般に、車線変更を行う場合には、目視あるいはサイドミラーを用いて隣接車線を走行する他車両などの状態を把握し、車線変更が可能か否かを判断する。しかしながら、運転に不慣れなドライバにとっては、このような判断を適切に行うことは難しく、車線変更を苦手とするドライバは多い。

このため、従来より、車線変更が可能か否かの判断を支援する技術が提案されている。例えば、方向指示器の操作と他車両の速度変化との因果関係を判定し、その判定結果を信号表示装置が表示する信号色によってドライバに提示する技術が知られている（特許文献１参照。）。

特開２００５−２５８８２２号公報

しかしながら、上述した技術では、単に信号色によって他車両に関する情報がドライバに提供されるのみである。このため、ドライバは、他車両の実際の位置などを把握することができず、安心して車線変更することはできない。

本発明は、上記課題に鑑みてなされたものであり、ドライバが安心して車線変更することができる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、画像を処理する画像処理装置であって、自車両が走行する走行車線に隣接する隣接車線を前記自車両の後方において走行する後側方車両に関する第１車両情報を取得する第１取得手段と、前記第１車両情報に基づいて、前記後側方車両の運転主体における該後側方車両の前方への前記自車両の車線変更を容認する容認意志の有無を判定する判定手段と、前記後側方車両の位置を示す車両画像を生成する画像生成手段と、前記判定手段の判定結果に応じた安全指標を生成する指標生成手段と、前記車両画像と前記安全指標とを表示装置に出力して、前記車両画像と前記安全指標とを併せて前記表示装置に表示させる出力手段と、を備えている。

また、請求項２の発明は、請求項１に記載の画像処理装置において、前記車両画像は、前記自車両のサイドミラーに映る領域に対応する前記自車両の周辺領域を示す。

また、請求項３の発明は、請求項１に記載の画像処理装置において、前記車両画像は、前記自車両と前記後側方車両との位置関係を図式化して示す。

また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像処理装置において、前記安全指標は、前記車両画像の周縁に沿って配置される。

また、請求項５の発明は、請求項３に記載の画像処理装置において、前記安全指標は、前記車両画像に含まれる前記後側方車両を示す図形の近傍に重畳され、前記容認意志がある場合は前記後側方車両の後方の向きを示し、前記容認意志がない場合は前記後側方車両の前方の向きを示す。

また、請求項６の発明は、請求項１ないし５のいずれかに記載の画像処理装置において、前記自車両の方向指示器の操作状態を取得する状態取得手段、をさらに備え、前記指標生成手段は、前記方向指示器が操作されている場合は、前記方向指示器が操作されていない場合と比較して前記安全指標を強調して生成する。

また、請求項７の発明は、請求項１ないし５のいずれかに記載の画像処理装置において、前記隣接車線の存在を判断する車線判断手段、をさらに備え、前記出力手段は、前記隣接車線が存在しない場合は、前記安全指標を前記表示装置に表示させない。

また、請求項８の発明は、請求項７に記載の画像処理装置において、前記車線判断手段は、前記走行車線の左側及び右側それぞれの前記隣接車線の存在を判断し、前記出力手段は、前記左側及び右側のうち前記隣接車線が存在する側の前記後側方車両に関する前記安全指標を前記表示装置に表示させ、前記隣接車線が存在しない側の前記後側方車両に関する前記安全指標を前記表示装置に表示させない。

また、請求項９の発明は、請求項１ないし８のいずれかに記載の画像処理装置において、前記第１車両情報に基づいて、前記自車両と前記後側方車両との間の車間距離を導出する導出手段、をさらに備え、前記指標生成手段は、前記判定手段が前記容認意志の有無を判定できない場合は、前記車間距離に基づいて前記安全指標を生成する。

また、請求項１０の発明は、請求項１ないし８のいずれかに記載の画像処理装置において、前記隣接車線を前記自車両の前方において走行する前側方車両に関する第２車両情報を取得する第２取得手段と、前記第１及び前記第２車両情報に基づいて、前記前側方車両に対する前記後側方車両の相対速度を導出する導出手段と、をさらに備え、前記指標生成手段は、前記判定手段が前記容認意志があると判定した場合は、前記相対速度に基づいて前記安全指標を生成する。

また、請求項１１の発明は、請求項１ないし８のいずれかに記載の画像処理装置において、前記隣接車線を前記自車両の前方において走行する前側方車両に関する第２車両情報を取得する第２取得手段と、前記第１及び前記第２車両情報に基づいて、前記自車両と前記前側方車両との間の第１車間距離、前記自車両と前記後側方車両との間の第２車間距離、及び、前記自車両に対する前記前側方車両の相対速度、を導出する導出手段と、をさらに備え、前記指標生成手段は、前記判定手段の判定結果、前記第１車間距離、前記第２車間距離、及び、前記相対速度に基づいて前記安全指標を生成する。

また、請求項１２の発明は、画像表示システムであって、請求項１ないし１１のいずれかに記載の画像処理装置と、前記車両画像と前記安全指標とを併せて表示する表示装置と、を備えている。

また、請求項１３の発明は、画像を処理する画像処理方法であって、（ａ）自車両が走行する走行車線に隣接する隣接車線を前記自車両の後方において走行する後側方車両に関する第１車両情報を取得する工程と、（ｂ）前記第１車両情報に基づいて、前記後側方車両の運転主体における該後側方車両の前方への前記自車両の車線変更を容認する容認意志の有無を判定する工程と、（ｃ）前記後側方車両の位置を示す車両画像を生成する工程と、（ｄ）前記工程（ｂ）の判定結果に応じた安全指標を生成する工程と、（ｅ）前記車両画像と前記安全指標とを表示装置に出力して、前記車両画像と前記安全指標とを併せて前記表示装置に表示させる工程と、を備えている。

請求項１ないし１３の発明によれば、車両画像と安全指標とが併せて表示装置に表示されるため、自車両のドライバは後側方車両の位置と後側方車両の運転主体の容認意志とを同時に把握することができ、安心して車線変更することができる。

また、特に請求項２の発明によれば、車両画像は、サイドミラーに映る領域に対応する自車両の周辺領域を示すため、自車両のドライバは後側方車両の位置を見慣れた視点から把握できる。

また、特に請求項３の発明によれば、車両画像は自車両と後側方車両との位置関係を図式化して示すため、自車両のドライバは後側方車両の位置を客観的な視点から把握できる。

また、特に請求項４の発明によれば、安全指標が車両画像の周縁に沿って配置されるため、車両画像に含まれる被写体像が安全指標の影響で見難くなることを防止できる。

また、特に請求項５の発明によれば、後側方車両を示す図形の近傍に重畳された安全指標の向きにより、自車両のドライバは後側方車両の運転主体の容認意志を直感的に把握できる。

また、特に請求項６の発明によれば、方向指示器が操作されている場合は、安全指標が強調されるため、自車両のドライバが安全指標を十分に確認できる。一方で、方向指示器が操作されていない場合は、安全指標が目立たないため、自車両のドライバが安全指標を邪魔に感じることを防止できる。

また、特に請求項７の発明によれば、隣接車線が存在しない場合は安全指標が表示装置に表示されないため、自車両のドライバに不要な情報を与えることを防止できる。

また、特に請求項８の発明によれば、隣接車線が存在する側の後側方車両に関する安全指標のみが表示装置に表示されるため、自車両のドライバに不要な情報を与えることを防止できる。

また、特に請求項９の発明によれば、容認意志の有無を判定できない場合でも、自車両と後側方車両との間の車間距離に基づく安全指標が表示されるため、自車両のドライバは安心して車線変更することができる。

また、特に請求項１０の発明によれば、判定手段が容認意志があると判定した場合でも、前側方車両に対する後側方車両の相対速度に基づいて、前側方車両と後側方車両との間の車間距離を考慮した安全指標が表示されるため、安全指標の信頼性をさらに高くすることができる。

また、特に請求項１１の発明によれば、容認意志の有無とともに、前側方車両及び後側方車両の双方の状態を総合的に考慮した安全指標が表示されるため、安全指標の信頼性を高くすることができる。

図１は、第１の実施の形態の画像表示システムの構成を示す図である。 図２は、４つのカメラがそれぞれ撮影する方向を示す図である。 図３は、自車両の車室内の様子を示す図である。 図４は、自車両、前側方車両及び後側方車両の位置関係を示す図である。 図５は、第１の実施の形態のサポート画像の例を示す図である。 図６は、第１の実施の形態のサポート画像の例を示す図である。 図７は、第１の実施の形態のサポート画像生成処理の流れを示す図である。 図８は、第１の実施の形態の安全指標生成処理の詳細な流れを示す図である。 図９は、第２の実施の形態の画像表示システムの構成を示す図である。 図１０は、第２の実施の形態の表示画像の例を示す図である。 図１１は、第２の実施の形態の表示画像の例を示す図である。 図１２は、第２の実施の形態のサポート画像生成処理の流れを示す図である。 図１３は、第３の実施の形態の画像表示システムの構成を示す図である。 図１４は、第３の実施の形態のサポート画像の例を示す図である。 図１５は、第３の実施の形態のサポート画像の例を示す図である。 図１６は、第３の実施の形態のサポート画像の例を示す図である。 図１７は、第３の実施の形態のサポート画像の例を示す図である。 図１８は、第３の実施の形態の表示画像の例を示す図である。 図１９は、第３の実施の形態のサポート画像生成処理の流れを示す図である。 図２０は、第４の実施の形態のサポート画像の態様の変化を示す図である。 図２１は、第４の実施の形態の安全指標生成処理の詳細な流れを示す図である。 図２２は、第５の実施の形態の画像表示システムの構成を示す図である。 図２３は、自車両が走行する走行車線の例を示す図である。 図２４は、自車両が走行する走行車線の例を示す図である。 図２５は、自車両が走行する走行車線の例を示す図である。 図２６は、自車両が走行する走行車線の例を示す図である。 図２７は、第５の実施の形態のサポート画像生成処理の流れを示す図である。 図２８は、第６の実施の形態の画像表示システムの構成を示すブロック図である。 図２９は、第６の実施の形態の安全指標生成処理の詳細な流れを示す図である。 図３０は、第７の実施の形態の安全指標生成処理の詳細な流れを示す図である。 図３１は、第８の実施の形態の安全指標生成処理の詳細な流れを示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。なお、以下の説明では、「車線変更」という用語は、一の車線から他の車線に移動する行為とともに、高速道路などの合流ポイントにおいて合流車線（加速車線）から本線車線に移動する行為も含むものとする。

＜１．第１の実施の形態＞
＜１−１．構成＞
図１は、第１の実施の形態の画像表示システム１０の構成を示すブロック図である。この画像表示システム１０は、車両（本実施の形態では、自動車）に搭載されるものであり、車線変更が可能か否かの判断を支援するサポート画像を生成して車室内に表示する機能を有している。画像表示システム１０のユーザとなる車両のドライバは、このようなサポート画像を確認することで車線変更を行うか否かの判断を容易に行うことができる。以下、この画像表示システム１０が搭載される車両を「自車両」という。

図に示すように、画像表示システム１０は、複数のカメラ５、画像処理装置２、及び、２つのディスプレイ３１，３２を備えている。複数のカメラ５はそれぞれ、自車両の周辺を撮影して自車両の周辺を示す撮影画像を取得し、取得した撮影画像を画像処理装置２に入力する。画像処理装置２は、撮影画像を用いて各種の画像処理を実行し、ディスプレイ３１，３２に表示するための画像を生成する。また、２つのディスプレイ３１，３２はそれぞれ、画像処理装置２から出力された画像を表示する。

複数のカメラ５はそれぞれ、レンズと撮像素子とを備えており、自車両の周辺を示す撮影画像を電子的に取得する。複数のカメラ５は、フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、自車両９において互いに異なる位置に配置され、自車両９の周辺の異なる方向を撮影する。

図２は、４つのカメラ５がそれぞれ撮影する方向を示す図である。フロントカメラ５Ｆは、自車両９の前端に設けられ、その光軸５Ｆａは自車両９の前後方向に沿って前方に向けられる。リアカメラ５Ｂは、自車両９の後端に設けられ、その光軸５Ｂａは自車両９の前後方向に沿って後方に向けられる。左サイドカメラ５Ｌは、左側の左サイドミラー９０Ｌに設けられ、その光軸５Ｌａは自車両９の左右方向に沿って左方に向けられる。また、右サイドカメラ５Ｒは、右側の右サイドミラー９０Ｒに設けられ、その光軸５Ｒａは自車両９の左右方向に沿って右方に向けられる。

これらのカメラ５のレンズには魚眼レンズなどの広角レンズが採用され、各カメラ５は１８０度以上の画角θを有している。このため、４つのカメラ５を利用することで、自車両９の全周囲を撮影することが可能である。

図１に戻り、２つのディスプレイ３１，３２は、各種の画像を表示する液晶などの表示パネルを備えた表示装置である。これらの２つのディスプレイ３１，３２は、自車両９の車室内に配置される。

図３は、ディスプレイ３１，３２が配置された自車両９の車室内の様子を示す図である。図に示すように、車室内には自車両９のドライバが確認するメーターパネル９７が配置される。このメーターパネル９７の左側に左ディスプレイ３１が配置され、メーターパネル９７の右側に右ディスプレイ３２が配置されている。これにより、ドライバは、運転席に着座した状態で視線を大きく動かすこと無く、２つのディスプレイ３１，３２の画面を視認できる。

左ディスプレイ３１は左サイドミラー９０Ｌに映る領域に対応する自車両９の周辺領域を示す周辺画像を表示し、右ディスプレイ３２は右サイドミラー９０Ｒに映る領域に対応する自車両９の周辺領域を示す周辺画像を表示する。以下、サイドミラー９０Ｌ，９０Ｒに映る領域に対応する自車両９の周辺領域を示す周辺画像を「サイドミラー画像」という。自車両９のドライバは、左右のディスプレイ３１，３２が表示するサイドミラー画像を、左右のサイドミラー９０Ｌ，９０Ｒと同様の感覚で、自車両９の周辺領域の確認に利用できる。

図１に戻り、画像処理装置２は、各種の画像処理が可能な電子装置であり、画像取得部２１と、画像生成部２２と、指標重畳部２３と、画像出力部２４とを備えている。

画像取得部２１は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒでそれぞれ得られた撮影画像を取得する。画像取得部２１は、取得した撮影画像を画像生成部２２に入力する。

画像生成部２２は、入力された撮影画像を処理して自車両９の周辺領域を示す周辺画像を生成する。画像生成部２２は、上述したサイドミラー画像などの周辺画像を生成する。

指標重畳部２３は、画像生成部２２で生成されたサイドミラー画像などの周辺画像に対してドライバに提供する情報を示す指標を重畳する。指標重畳部２３は、例えば、車線変更に係る情報を示す安全指標をサイドミラー画像に対して重畳する。これにより、指標重畳部２３は、サイドミラー画像と安全指標とを含むサポート画像を生成する。

画像出力部２４は、サポート画像をディスプレイ３１，３２に出力する。これにより、ディスプレイ３１，３２において、サポート画像が表示される。

また、画像処理装置２は、制御部２０と、記憶部２５と、情報取得部２６とをさらに備えている。制御部２０は、例えば、マイクロコンピュータであり、画像処理装置２の全体を統括的に制御する。

記憶部２５は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２５は、ファームウェアとしてのプログラムや、制御部２０の制御に用いる各種のデータを記憶する。

情報取得部２６は、自車両９に設けられる他の装置から各種の情報を取得する。情報取得部２６は、他の装置から信号を受信することで情報を取得し、取得した情報を制御部２０に入力する。図に示すように、情報取得部２６は、前方レーダ９１、後方レーダ９２、ナビゲーション装置９３、ＧＰＳ装置９４、車速センサ９５及び方向指示器９６などと車内ネットワークを介して接続され、それぞれの装置から情報を取得する。

２つのレーダ９１，９２はそれぞれ、自車両９の周辺に存在する他車両に関する車両情報を検出する。これらのレーダ９１，９２は、送信波を送信し、他車両で反射した反射波を受信して得られる信号に基づいて他車両の車両情報を検出する。

レーダ９１，９２が検出する他車両の車両情報には、進行方向に沿った自車両９から他車両までの距離である縦距離、左右方向に沿った自車両９から他車両までの距離である横距離、及び、自車両９に対する他車両の相対速度などが含まれる。画像処理装置２の情報取得部２６は、このような他車両の車両情報を２つのレーダ９１，９２からそれぞれ取得する。

図４に示すように、２つのレーダ９１，９２のうち前方レーダ９１は、自車両９の前端に設けられる。このため、前方レーダ９１は、自車両９の前方を走行する他車両の車両情報を検出できる。前方レーダ９１の対象となる他車両には、自車両９が走行する走行車線Ｌａに隣接する隣接車線Ｌｂを自車両９の前方において走行する他車両（以下、「前側方車両」という。）８１が含まれる。

一方、後方レーダ９２は、自車両９の後端に設けられる。このため、後方レーダ９２は、自車両９の後方を走行する他車両の車両情報を検出できる。後方レーダ９２の対象となる他車両には、自車両９が走行する走行車線Ｌａに隣接する隣接車線Ｌｂを自車両９の後方において走行する他車両（以下、「後側方車両」という。）８２が含まれる。

図１に戻り、ナビゲーション装置９３は、目的地までのルート等を示す地図画像を表示する装置である。ナビゲーション装置９３の表示部は、２つのディスプレイ３１，３２とは別に、車室内の左右中央のセンターコンソール９８に設けられる（図３参照。）。画像処理装置２の情報取得部２６は、自車両９の周辺の道路情報をナビゲーション装置９３から取得する。

ＧＰＳ装置９４は、複数の衛星からの信号を受信して自車両９の位置を検出する。画像処理装置２の情報取得部２６は、自車両９の位置をＧＰＳ装置９４から取得する。なお、情報取得部２６は、自車両９の位置をナビゲーション装置９３から取得してもよい。

車速センサ９５は、自車両９の車軸の回転数などに基づいて、自車両９が走行する絶対速度である走行速度を検出する。画像処理装置２の情報取得部２６は、自車両９の走行速度を車速センサ９５から取得する。

方向指示器９６は、ドライバがレバー９６ａ（図３参照。）を操作して入力した方向を自車両９の周辺に示す装置である。画像処理装置２の情報取得部２６は、方向指示器９６の操作状態を方向指示器９６から取得する。すなわち、情報取得部２６は、方向指示器９６の操作の有無（オン／オフ）、及び、方向指示器９６が操作された方向を取得する。

また、制御部２０は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えている。制御部２０の各種の機能は、記憶部２５に記憶されたプログラムに従ってＣＰＵが演算処理を行うことで実現される。図中に示す意志判定部２０ａ、安全指標生成部２０ｂ及び表示制御部２０ｃは、プログラムに従ってＣＰＵが演算処理を行うことで実現される機能の一部である。

意志判定部２０ａは、後側方車両８２の運転主体であるドライバの意志を判定する。意志判定部２０ａは、後側方車両８２の車両情報に基づいて、後側方車両８２のドライバにおける後側方車両８２の前方への自車両９の車線変更を容認する意志の有無を判定する。

安全指標生成部２０ｂは、車線変更を行った場合の安全性の目安となる安全指標を生成する。安全指標生成部２０ｂは、意志判定部２０ａの判定結果に応じた安全指標を生成する。

また、表示制御部２０ｃは、ディスプレイ３１，３２に表示する画像を制御する。表示制御部２０ｃは、画像生成部２２及び指標重畳部２３を制御してディスプレイ３１，３２に表示すべきサポート画像を生成させ、画像出力部２４を制御して適切なディスプレイ３１，３２にサポート画像を表示させる。

＜１−２．サポート画像＞
次に、ディスプレイ３１，３２に表示されるサポート画像についてより詳細に説明する。図５及び図６は、サポート画像６の一例を示す図である。サポート画像６は、自車両９のドライバが車線変更が可能か否かを判断する際にドライバを支援するための画像であり、サイドミラー画像６１と安全指標６２とを含んでいる。

前述のように、サイドミラー画像６１は、ドライバの視点からみてサイドミラー９０Ｌ，９０Ｒに映る領域に対応する自車両９の周辺領域を示す周辺画像である。サイドミラー画像６１には、右サイドミラー９０Ｒに映る領域を示す「右サイドミラー画像」と、左サイドミラー９０Ｒに映る領域を示す「左サイドミラー画像」とがある。右サイドミラー画像６１は右ディスプレイ３２に表示され、左サイドミラー画像６１は左ディスプレイ３１に表示される。図５及び図６の例に示すサイドミラー画像６１は、右サイドミラー画像である。

このようなサイドミラー画像６１は、画像生成部２２によって生成される。画像生成部２２は、右サイドカメラ５Ｒで得られた撮影画像に対して歪み補正を行った後、右サイドミラー９０Ｒに映る領域に対応する一部の領域を切り出すことで右サイドミラー画像６１を生成する。同様に、画像生成部２２は、左サイドカメラ５Ｌで得られた撮影画像に対して歪み補正を行った後、左サイドミラー９０Ｌに映る領域に対応する一部の領域を切り出すことで左サイドミラー画像６１を生成する。

右側の隣接車線に後側方車両８２が存在する場合は、図５及び図６に示すように、この右側の後側方車両８２の車両像８２ａが右サイドミラー画像６１に含まれる。同様に、左側の隣接車線に後側方車両８２が存在する場合は、この左側の後側方車両８２の車両像８２ａが左サイドミラー画像６１に含まれる。

サイドミラー画像６１に含まれる後側方車両８２の車両像８２ａの位置は、自車両９に対する後側方車両８２の相対的な位置を表している。したがって、サイドミラー画像６１は、後側方車両８２の位置を示す車両画像であるともいえる。自車両９のドライバは、サイドミラー画像６１を確認することで、サイドミラー９０Ｌ，９０Ｒと同様の感覚で、見慣れた視点から後側方車両８２の位置を把握することができる。

一方、安全指標６２は、特定の色を表現する矩形の枠状の画像である。図５及び図６に示すように、安全指標６２は、サイドミラー画像６１の周縁に沿って配置される。このように安全指標６２は、サイドミラー画像６１の周縁に沿って配置されるため、サイドミラー画像６１に含まれる車両像８２ａなどの被写体像が安全指標６２の影響で見難くなることを防止できる。サポート画像６は、このような枠状の安全指標６２をサイドミラー画像６１に重畳することで生成される。なお、サイドミラー画像６１の周縁の外側に安全指標６２を配置することでサポート画像６が生成されてもよい。

安全指標６２は、車線変更を行った場合の安全性を色で表しており、「青色」「赤色」及び「黄色」の３色の安全指標６２がある。例えば、図５は「青色」の安全指標６２を示しており、図６は「赤色」の安全指標６２を示している。

このような安全指標６２の色は、後側方車両８２のドライバにおける後側方車両８２の前方への自車両９の車線変更を容認する意志（以下、「容認意志」という。）に応じて変更される。右サイドミラー画像６１に重畳される安全指標６２は右側の後側方車両８２のドライバの容認意志に応じて変更され、左サイドミラー画像６１に重畳される安全指標６２は左側の後側方車両８２のドライバの容認意志に応じて変更される。

後側方車両８２のドライバの容認意志がある場合は、安全指標６２の色は「青色」とされる。一方で、後側方車両８２のドライバの容認意志がない場合は、安全指標６２の色は「赤色」とされる。また、後側方車両８２のドライバの容認意志の有無が判定できない場合は、安全指標６２の色は「黄色」とされる。自車両９のドライバは、このような安全指標６２の色を確認することで、後側方車両８２のドライバの容認意志を把握できる。

サポート画像６は、このようなサイドミラー画像６１と安全指標６２とを含んでいる。このため、このサポート画像６がディスプレイ３１，３２において表示されると、サイドミラー画像６１と安全指標６２とが併せて表示される。したがって、自車両９のドライバは、このようなサポート画像６を確認することで、後側方車両８２の位置と後側方車両８２のドライバの容認意志とを同時に把握でき、車線変更が可能か否かを容易に判断できる。自車両９のドライバは、サイドミラー画像６１に基づいて後側方車両８２の位置が自車両９から十分離れていることを把握でき、かつ、安全指標６２に基づいて後側方車両８２のドライバの容認意志があることを把握できる。その結果、自車両９のドライバは安心して車線変更を行うことができる。

右側の後側方車両８２の位置とそのドライバの容認意志とを表すサポート画像（以下、「右サポート画像」という。）６は、右ディスプレイ３２に表示される。また、左側の後側方車両８２の位置とそのドライバの容認意志とを表すサポート画像（以下、「左サポート画像」という。）６は、左ディスプレイ３１に表示される。自車両９のドライバは、右側の隣接車線に車線変更する場合は右サポート画像６を確認し、左側の隣接車線に車線変更する場合は左サポート画像６を確認する。

＜１−３．サポート画像生成処理＞
次に、画像処理装置２がこのようなサポート画像６を生成するサポート画像生成処理の流れについて説明する。図７は、サポート画像生成処理の流れを示す図である。このサポート画像生成処理は、表示制御部２０ｃの制御により、所定の周期（例えば、１／３０秒周期）で繰り返される。また、サポート画像生成処理は、表示制御部２０ｃの制御により、右サポート画像６及び左サポート画像６のそれぞれに関して個別に実行される。以下では、右サポート画像６を生成するサポート画像生成処理について代表的に説明するが、左右が逆となる以外は左サポート画像６を生成するサポート画像生成処理も同様である。

まず、画像取得部２１が、右サイドカメラ５Ｒから撮影画像を取得する（ステップＳ１１）。この撮影画像には、自車両９の右側の領域に存在する物体の被写体像が含まれている。画像取得部２１は、取得した右サイドカメラ５Ｒの撮影画像を画像生成部２２に入力する。

次に、画像生成部２２が、入力された右サイドカメラ５Ｒの撮影画像を用いて右サイドミラー画像６１を生成する（ステップＳ１２）。画像生成部２２は、撮影画像に対して歪み補正を行い、さらに、右サイドミラー９０Ｒに映る領域に対応する一部の領域を切り出すことで、右サイドミラー画像６１を生成する。

次に、情報取得部２６が、右側の後側方車両８２の車両情報を取得する（ステップＳ１３）。情報取得部２６は、後方レーダ９２からの信号を受信して、右側の後側方車両８２の縦距離、横距離及び相対速度などの車両情報を取得する。さらに、情報取得部２６は、車速センサ９５からの信号を受信して、自車両９の走行速度を取得する。情報取得部２６は、取得した車両情報、及び、自車両９の走行速度を制御部２０に入力する。なお、情報取得部２６が取得した車両情報が、自車両９と同一の走行車線を走行する他車両の車両情報であるか、後側方車両８２の車両情報であるかは横距離に基づいて区別できる。

次に、意志判定部２０ａが、情報取得部２６が取得した右側の後側方車両８２の車両情報に基づいて、右側の後側方車両８２のドライバの容認意志の有無を判定する（ステップＳ１４）。意志判定部２０ａは、右側の後側方車両８２の車両情報に含まれる相対速度と、自車両９の走行速度とに基づいて、後側方車両８２の絶対速度を導出する。さらに、意志判定部２０ａは、周期的にサポート画像生成処理で導出される絶対速度を時間微分し、後側方車両８２の加速度を導出する。

そして、意志判定部２０ａは、導出した加速度を考慮し、後側方車両８２が減速している場合は（加速度＜０）、右側の後側方車両８２のドライバの容認意志があると判定する。一方、意志判定部２０ａは、後側方車両８２が加速している場合は（加速度＞０）、右側の後側方車両８２のドライバの容認意志がないと判定する。また、意志判定部２０ａは、後側方車両８２が走行速度をおよそ維持している場合（加速度≒０）は、右側の後側方車両８２のドライバの容認意志の有無を判定できず、容認意志が不明と判定する。

次に、安全指標生成部２０ｂが、安全指標生成処理を行って、右側の後側方車両８２に係る安全指標６２を生成する（ステップＳ１５）。図８は、安全指標生成処理の詳細な流れを示す図である。安全指標生成処理では、安全指標生成部２０ｂは、意志判定部２０ａの判定結果に応じた安全指標６２を生成する。

具体的には、意志判定部２０ａが容認意志があると判定した場合は（ステップＳ１０１にてＹｅｓ）、安全指標生成部２０ｂは「青色」の安全指標６２を生成する（ステップＳ１０３）。一方、意志判定部２０ａが容認意志がないと判定した場合は（ステップＳ１０２にてＹｅｓ）、安全指標生成部２０ｂは「赤色」の安全指標６２を生成する（ステップＳ１０４）。また、意志判定部２０ａが容認意志の有無を判定できない場合は（ステップＳ１０１及びＳ１０２の双方にてＮｏ）、安全指標生成部２０ｂは「黄色」の安全指標６２を生成する（ステップＳ１０５）。

図７に戻り、次に、指標重畳部２３が、安全指標生成部２０ｂが生成した安全指標６２を、画像生成部２２が生成した右サイドミラー画像６１に重畳する（ステップＳ１６）。これにより、指標重畳部２３が、右サポート画像６を生成する。

次に、画像出力部２４が、生成された右サポート画像６を右ディスプレイ３２に出力する（ステップＳ１７）。右サポート画像６は右サイドミラー画像６１と安全指標６２とを含むため、画像出力部２４は右サイドミラー画像６１と安全指標６２とを併せて右ディスプレイ３２に出力する。これにより、右サポート画像６が、右ディスプレイ３２に表示される。すなわち、右サイドミラー画像６１と、右側の後側方車両８２に係る安全指標６２とが併せて右ディスプレイ３２に表示される。

前述のように、このサポート画像生成処理は、左サポート画像６に関しても並行して実行される。これにより、安全指標生成部２０ｂは、左側の後側方車両８２に係る安全指標６２を生成し、この安全指標６２を含む左サポート画像６が左ディスプレイ３１に表示される。すなわち、左サイドミラー画像６１と、左側の後側方車両８２に係る安全指標６２とが併せて左ディスプレイ３１に表示される。

以上のように、本実施の形態の画像処理装置２においては、情報取得部２６が自車両９が走行する走行車線に隣接する隣接車線を自車両９の後方において走行する後側方車両８２に関する車両情報を取得する。意志判定部２０ａは、後側方車両８２の車両情報に基づいて、後側方車両８２のドライバにおける後側方車両８２の前方への自車両９の車線変更を容認する容認意志の有無を判定する。また、画像生成部２２が後側方車両８２の位置を示すサイドミラー画像６１を生成するとともに、安全指標生成部２０ｂが意志判定部２０ａの判定結果に応じた安全指標６２を生成する。そして、画像出力部２４は、サイドミラー画像６１と安全指標６２とを含むサポート画像６をディスプレイ３１，３２に出力して、サイドミラー画像６１と安全指標６２とを併せてディスプレイ３１，３２に表示させる。

このようにサイドミラー画像６１と安全指標６２とが併せてディスプレイ３１，３２に表示されるため、自車両９のドライバは後側方車両８２の位置と後側方車両８２のドライバの容認意志とを同時に把握することができる。その結果、自車両９のドライバは、安心して車線変更することができる。

また、安全指標６２は、サイドミラー画像６１の周縁に沿って配置される。このため、サイドミラー画像６１に含まれる被写体像が安全指標６２の影響で見難くなることを防止できる。

なお、上記実施の形態では、安全指標６２はサイドミラー画像６１の周囲を囲むように配置されていたが、安全指標はサイドミラー画像６１の周囲の一部のみに配置されるものであってもよい。例えば、安全指標は、サイドミラー画像６１の上下の辺のみに沿って配置されてもよく、サイドミラー画像６１の左右の辺のみに沿って配置されてもよい。

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の画像表示システム１０の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、メーターパネル９７の左右にあるディスプレイ３１，３２にサポート画像６が表示されていた。これに対して、第２の実施の形態では、バックミラーと同様の機能を電子的に提供する電子バックミラーにおいてサポート画像６が表示される。

図９は、第２の実施の形態の画像表示システム１０の構成を示すブロック図である。第２の実施の形態の画像表示システム１０は、左右のディスプレイ３１，３２に代えて電子バックミラー３３を備える点で第１の実施の形態と異なっている。第２の実施の形態の画像表示システム１０のその他の構成は、第１の実施の形態と同様である。

電子バックミラー３３は、横長の液晶などの表示パネルを備えた表示装置である。電子バックミラー３３は、一般的なバックミラーの位置に配置される。電子バックミラー３３は、自車両９の後方の周辺領域を示す周辺画像を表示することで、バックミラーと同様に機能する。

図１０は、通常時において、電子バックミラー３３に表示される表示画像７の一例を示す図である。図１０に示すように、通常時において、電子バックミラー３３は、一般的なバックミラーに映る領域に対応する自車両９の後方の周辺領域を示す周辺画像（以下、「バックミラー画像」という。）７１のみを表示画像７として表示する。

画像生成部２２は、リアカメラ５Ｂで得られた撮影画像に対して歪み補正を行った後、バックミラーに映る領域に対応する一部の領域を切り出すことで、このようなバックミラー画像７１を生成する。自車両９のドライバは、電子バックミラー３３が表示するバックミラー画像７１を、バックミラーと同様の感覚で自車両９の周辺領域の確認に利用できる。

また、自車両９の方向指示器９６が操作された場合は、電子バックミラー３３はサポート画像６を表示する。図１１は、方向指示器９６が操作された場合において、電子バックミラー３３に表示される表示画像７の一例を示す図である。図１１に示すように、方向指示器９６が操作された場合は、電子バックミラー３３は、バックミラー画像７１とサポート画像６とを合成した表示画像７を表示する。

サポート画像６は、第１の実施の形態で説明したサポート画像６と同一であり、サイドミラー画像６１と安全指標６２とを含んでいる。このため、サポート画像６を含む表示画像７が電子バックミラー３３において表示されることで、サイドミラー画像６１と安全指標６２とが併せて表示される。したがって、自車両９のドライバは、サポート画像６を確認することで、後側方車両８２の位置と後側方車両８２のドライバの容認意志とを同時に把握することができる。

方向指示器９６が右方向に操作された場合は、図１１の例のように、右サイドミラー画像６１と右側の後側方車両８２に係る安全指標６２とを含む右サポート画像６が、バックミラー画像７１の右側に配置されて電子バックミラー３３に表示される。一方、方向指示器９６が左方向に操作された場合は、左サイドミラー画像６１と左側の後側方車両８２に係る安全指標６２とを含む左サポート画像６が、バックミラー画像７１の左側に配置されて電子バックミラー３３に表示される。このため、自車両９のドライバは、電子バックミラー３３に表示されたサポート画像６が、左右いずれの後側方車両８２の情報を表しているかを直感的に把握できる。

図１２は、第２の実施の形態のサポート画像生成処理の流れを示す図である。このサポート画像生成処理も、表示制御部２０ｃの制御により、右サポート画像６及び左サポート画像６のそれぞれに関して個別に実行される。以下では、右サポート画像６を生成するサポート画像生成処理について代表的に説明するが、左右が逆となる以外は左サポート画像６を生成するサポート画像生成処理も同様である。また、このサポート画像生成処理と並行して、バックミラー画像７１を生成する処理も所定の周期（例えば、１／３０秒周期）で繰り返されている。

まず、表示制御部２０ｃが、方向指示器９６が右方向に操作されているか否かを判定する（ステップＳ２１）。表示制御部２０ｃは、情報取得部２６が取得する方向指示器９６の操作状態に基づいて、方向指示器９６が右方向に操作されているか否かを判定する。方向指示器９６が操作されていない場合（オフ）、または、方向指示器９６が左方向に操作されている場合は（ステップＳ２１にてＮｏ）、サポート画像生成処理が終了する。

一方、方向指示器９６が右方向に操作されている場合は（ステップＳ２１にてＹｅｓ）、右サポート画像６が生成される（ステップＳ２２〜Ｓ２７）。右サポート画像６を生成するステップＳ２２〜Ｓ２７の処理は、第１の実施の形態におけるステップＳ１１〜Ｓ１６の処理（図７参照。）と同様である。

表示制御部２０ｃは、このようにして生成された右サポート画像６と、並行する他の処理で生成されたバックミラー画像７１とを合成して表示画像７を生成する（ステップＳ２８）。そして、画像出力部２４が、生成された表示画像７を電子バックミラー３３に出力する。これにより、右サポート画像６が電子バックミラー３３においてバックミラー画像７１の右側に表示される。

前述のように、このサポート画像生成処理は、左サポート画像６に関しても並行して実行される。左サポート画像６を生成するサポート画像生成処理では、ステップＳ２１において、表示制御部２０ｃが、方向指示器９６が左方向に操作されているか否かを判定する。したがって、方向指示器９６が右方向に操作されている場合は右サポート画像６が表示され、方向指示器９６が左方向に操作されている場合は左サポート画像６が表示される。

なお、第１の実施の形態のように、左右のディスプレイ３１，３２に左右のサポート画像６をそれぞれ表示させる場合においても、方向指示器９６が右方向に操作されている場合は右サポート画像６のみが表示され、方向指示器９６が左方向に操作されている場合は左サポート画像６のみが表示されるようにしてもよい。

＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態の画像表示システム１０の構成や処理は第２の実施の形態とほぼ同様であるため、以下、第２の実施の形態との相違点を中心に説明する。第２の実施の形態では、サポート画像６は、サイドミラー画像６１を含んでいた。これに対して、第３の実施の形態では、サポート画像は、サイドミラー画像６１ではなく、自車両９と後側方車両８２とを位置関係を図式化した図式化画像を含んでいる。

図１３は、第３の実施の形態の画像表示システム１０の構成を示すブロック図である。第３の実施の形態の画像表示システム１０は、プログラムに従って制御部２０のＣＰＵが演算処理を行うことで実現される機能として、図式化画像生成部２０ｄを備えている。第３の実施の形態の画像表示システム１０のその他の構成は、第２の実施の形態と同様である。

図式化画像生成部２０ｄは、図式化画像を生成する。図式化画像生成部２０ｄは、後側方車両８２の車両情報に基づいて、自車両９に対する後側方車両８２の相対的な位置を導出し、その位置を表す図式化画像を生成する。本実施の形態では、この図式化画像に対して安全指標が重畳されてサポート画像が生成される。

図１４は、第３の実施の形態のサポート画像６０の一例を示す図である。サポート画像６０は、図式化画像６５と安全指標６６とを含んでいる。

図１４に示すように、図式化画像６５は、自車両９と後側方車両８２との相対的な位置関係を俯瞰視点から図式化して示すイラスト調の画像である。図式化画像６５は、後側方車両８２の位置を示す車両画像であるともいえる。自車両９のドライバは、このような図式化画像６５を確認することで、後側方車両８２の位置を客観的な視点から把握できる。

図式化画像６５は、自車両９の位置を表すアイコンである車両図形９ｂと、後側方車両８２の位置を表すアイコンである車両図形８２ｂと、自車両９の周辺の道路の形状を示す道路図形とを含んでいる。このような車両図形９ｂ，８２ｂ及び道路図形に用いる図形データ等は、予め記憶部２５などに記憶されている。

図式化画像生成部２０ｄは、実際の自車両９と後側方車両８２との位置関係を、図式化画像６５に含まれる２つの車両図形９ｂ，８２ｂの位置関係に反映する。例えば、図１４の場合と比較して自車両９と後側方車両８２との間の後方車間距離が長くなった場合は、図式化画像生成部２０ｄは、図１５に示すように、その後方車間距離を反映した図式化画像６５を生成する。この際、図式化画像生成部２０ｄは、一定サイズの図式化画像６５に２つの車両図形９ｂ，８２ｂが含まれるように、車両図形９ｂ，８２ｂ及び道路図形のサイズを調整する。

また、安全指標６６は、向きを示す矢印状の図形である。安全指標６６は、図式化画像６５に含まれる後側方車両８２の車両図形８２ｂの近傍に重畳される。そして、安全指標６６の色及び向きは、後側方車両８２のドライバの容認意志に応じて変更される。このような安全指標６６に用いる図形データ等は、予め記憶部２５などに記憶されている。

後側方車両８２のドライバの容認意志がある場合は、図１４に示すように、安全指標６６の色は「青色」とされ、かつ、安全指標６６は後側方車両８２（車両図形８２ｂ）の後方の向きを示す。一方で、後側方車両８２のドライバの容認意志がない場合は、図１６に示すように、安全指標６６の色は「赤色」とされ、かつ、安全指標６６は後側方車両８２（車両図形８２ｂ）の前方の向きを示す。また、後側方車両８２のドライバの容認意志の有無が判定できない場合は、図１７に示すように、安全指標６６の色は「黄色」とされ、かつ、安全指標６６は後側方車両８２（車両図形８２ｂ）の前方及び後方の双方の向きを示す。

このような安全指標６６が後側方車両８２を示す車両図形８２ｂの近傍に重畳されるため、自車両９のドライバは、安全指標６６が後側方車両８２のドライバの容認意志を表していることを直感的に把握できる。そして、自車両９のドライバは、安全指標６６の色及び向きを確認することで、後側方車両８２のドライバの容認意志を直感的に把握できる。

本実施の形態のサポート画像６０は、このような図式化画像６５と安全指標６６とを含んでいる。このため、このサポート画像６０が電子バックミラー３３において表示されると、図式化画像６５と安全指標６６とが併せて表示される。したがって、自車両９のドライバは、サポート画像６０を確認することで、後側方車両８２の位置と後側方車両８２のドライバの容認意志とを同時に把握することができる。その結果、自車両９のドライバは安心して車線変更を行うことができる。

このようなサポート画像６０には、右側の後側方車両８２の位置とそのドライバの容認意志とを表す右サポート画像６０と、左側の後側方車両８２の位置とそのドライバの容認意志とを表す左サポート画像６０とがある。図１４ないし図１７の例に示すサポート画像６０は、右サポート画像６０である。

右サポート画像６０は、図１８の例のように、バックミラー画像７１の右側に配置されて電子バックミラー３３において表示される。また、左サポート画像６０は、バックミラー画像７１の左側に配置されて電子バックミラー３３において表示される。本実施の形態においても、方向指示器９６が右方向に操作されている場合は右サポート画像６０が表示され、方向指示器９６が左方向に操作されている場合は左サポート画像６０が表示される。

図１９は、第３の実施の形態のサポート画像生成処理の流れを示す図である。このサポート画像生成処理も、表示制御部２０ｃの制御により、右サポート画像６０及び左サポート画像６０のそれぞれに関して個別に実行される。以下では、右サポート画像６０を生成するサポート画像生成処理について代表的に説明するが、左右が逆となる以外は左サポート画像６０を生成するサポート画像生成処理も同様である。

まず、表示制御部２０ｃが、方向指示器９６が右方向に操作されているか否かを判定する（ステップＳ３１）。方向指示器９６が操作されていない場合（オフ）、または、方向指示器９６が左方向に操作されている場合は（ステップＳ３１にてＮｏ）、サポート画像生成処理が終了する。

一方、方向指示器９６が右方向に操作されている場合は（ステップＳ３１にてＹｅｓ）、右サポート画像６０が生成される。まず、情報取得部２６が、右側の後側方車両８２の車両情報を取得するとともに、自車両９の走行速度を取得する（ステップＳ３２）。

次に、図式化画像生成部２０ｄが、図式化画像６５を生成する（ステップＳ３３）。図式化画像生成部２０ｄは、実際の自車両９と後側方車両８２との位置関係を、情報取得部２６が取得した右側の後側方車両８２の車両情報に含まれる縦距離及び横位置などに基づいて導出する。そして、図式化画像生成部２０ｄは、記憶部２５に記憶された図形データを用いて、実際の自車両９と後側方車両８２との位置関係を反映した図式化画像６５を生成する。

次に、意志判定部２０ａが、情報取得部２６が取得した車両情報に基づいて、右側の後側方車両８２のドライバの容認意志の有無を判定する（ステップＳ３４）。この判定手法は、第１の実施の形態と同様である。

次に、安全指標生成部２０ｂが、安全指標生成処理を行って安全指標６６を生成する（ステップＳ３５）。安全指標生成部２０ｂは、意志判定部２０ａの判定結果を参照して、意志判定部２０ａの判定結果に応じた安全指標６６を生成する。後側方車両８２のドライバの容認意志と、安全指標生成部２０ｂが生成する安全指標６６との関係は既述のとおりである。

次に、指標重畳部２３が、安全指標生成部２０ｂが生成した安全指標６６を、図式化画像生成部２０ｄが生成した図式化画像６５に重畳する（ステップＳ３６）。指標重畳部２３は、安全指標６６が後側方車両８２の車両図形８２ｂの近傍に重畳する。これにより、指標重畳部２３が、右サポート画像６０を生成する。

表示制御部２０ｃは、このようにして生成された右サポート画像６０と、並行する他の処理で生成されたバックミラー画像７１とを合成して表示画像７を生成する（ステップＳ３７）。そして、画像出力部２４が、生成された表示画像７を電子バックミラー３３に出力する。これにより、右サポート画像６０が電子バックミラー３３においてバックミラー画像７１の右側に表示される。

以上のように、本実施の形態の画像処理装置２においては、サポート画像６０に含まれる図式化画像６５は、自車両９と後側方車両８２とを位置関係を図式化して示す。このため、自車両９のドライバは、このような図式化画像６５を確認することで、後側方車両８２の位置を客観的な視点から把握できる。

また、サポート画像６０に含まれる安全指標６６は、図式化画像６５に含まれる後側方車両８２を示す車両図形８２ｂの近傍に重畳される。そして、後側方車両８２のドライバの容認意志がある場合は安全指標６６は後側方車両８２の後方の向きを示し、後側方車両８２のドライバの容認意志がない場合は安全指標６６は後側方車両８２の前方の向きを示す。このような安全指標６６の向きにより、自車両９のドライバは後側方車両８２のドライバの容認意志を直感的に把握できる。

なお、サポート画像６０は、矢印状の安全指標６６とともに、第１の実施の形態と同様の枠状の安全指標６２を含んでいてもよい。また、第１の実施の形態のように左右のディスプレイ３１，３２に左右のサポート画像をそれぞれ表示させる場合においても、本実施の形態と同様の図式化画像６５を含むサポート画像６０を表示させてもよい。

＜４．第４の実施の形態＞
次に、第４の実施の形態について説明する。第４の実施の形態の画像表示システム１０の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、サポート画像６に含まれる安全指標６２の態様は方向指示器９６の操作状態とは無関係であった。これに対して、第４の実施の形態では、方向指示器９６の操作状態に応じて、安全指標６２の態様が変更される。

図２０は、第４の実施の形態のサポート画像６の態様の変化を示す図である。本実施の形態においても、サポート画像６は、サイドミラー画像６１と枠状の安全指標６２とを含んでいる。ただし、安全指標６２の太さは、方向指示器９６の操作状態に応じて変更される。

図２０の右側に示すように、方向指示器９６が操作されている場合は、安全指標６２の太さは相対的に太くなっている。一方、図２０の左側に示すように、方向指示器９６が操作されていない場合は、安全指標６２の太さは相対的に細くなっている。したがって、方向指示器９６が操作されている場合は、方向指示器９６が操作されていない場合と比較して、安全指標６２は強調される。

このように方向指示器９６が操作されている場合は、安全指標６２が強調されるため、自車両９のドライバは安全指標６２を十分に確認することができ、安心して車線変更を行うことができる。一方で、方向指示器９６が操作されていない場合は、安全指標６２が目立たないため、自車両９のドライバが安全指標６２を邪魔に感じることを防止できる。

本実施の形態の安全指標生成部２０ｂは、安全指標生成処理（図７のステップＳ１５）においてこのような安全指標６２を生成する。図２１は、第４の実施の形態の安全指標生成処理の詳細な流れを示す図である。以下では、右サポート画像６のための安全指標６２を生成する安全指標生成処理について代表的に説明するが、左右が逆となる以外は左サポート画像６のための安全指標６２を生成する安全指標生成処理も同様である。

まず、第１の実施の形態（図８参照。）と同様に、安全指標生成部２０ｂは、意志判定部２０ａの判定結果を参照して、意志判定部２０ａの判定結果に応じた安全指標６２を生成する（ステップＳ１０１〜Ｓ１０５）。。

次に、安全指標生成部２０ｂは、方向指示器９６が右方向に操作されているか否かを判定する（ステップＳ１０６）。安全指標生成部２０ｂは、情報取得部２６が取得する方向指示器９６の操作状態に基づいて、方向指示器９６が右方向に操作されているか否かを判定する。

方向指示器９６が操作されていない場合（オフ）、または、方向指示器９６が左方向に操作されている場合は（ステップＳ１０６にてＮｏ）、安全指標生成部２０ｂは、安全指標６２の太さを細くする（ステップＳ１０８）。これにより、安全指標生成部２０ｂは、目立たない安全指標６２を生成する。

一方、方向指示器９６が右方向に操作されている場合は（ステップＳ１０６にてＹｅｓ）、安全指標生成部２０ｂは、安全指標６２の太さを太くする（ステップＳ１０７）。これにより、安全指標生成部２０ｂは、安全指標６２を強調して生成する。

このような安全指標生成処理は、左サポート画像６に関しても実行される。したがって、安全指標生成部２０ｂは、方向指示器９６が操作された場合は、その方向指示器９６が操作された方向の後側方車両８２に関する安全指標６２を強調して生成する。すなわち、方向指示器９６が右方向に操作されている場合は、右側の後側方車両８２に関する安全指標６２を強調して生成する。一方で、方向指示器９６が左方向に操作されている場合は、左側の後側方車両８２に関する安全指標６２を強調して生成する。

以上のように、本実施の形態の画像処理装置２においては、安全指標生成部２０ｂは、方向指示器９６が操作されている場合は、方向指示器９６が操作されていない場合と比較して安全指標６２を強調した生成する。したがって、方向指示器９６が操作されている場合は安全指標６２が強調されるため、自車両９のドライバが安全指標６２を十分に確認できる。また、方向指示器９６が操作されていない場合でも安全指標６２は表示されるため、自車両９のドライバは、方向指示器９６の操作前であっても後側方車両８２のドライバの容認意志を把握できる。自車両９のドライバが車線変更の意図がない場合（方向指示器９６が操作されていない場合）でも安全指標６２が目立たないため、自車両９のドライバが安全指標６２を邪魔に感じることを防止できる。

なお、点滅する安全指標６２など他の態様の安全指標６２を生成することにより、安全指標６２を強調してもよい。また、方向指示器９６が操作されていない場合は、安全指標６２が表示されないようにしてもよい。

＜５．第５の実施の形態＞
次に、第５の実施の形態について説明する。第５の実施の形態の画像表示システム１０の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、左右双方の安全指標６２が常に表示されていた。これに対して、第５の実施の形態では、隣接車線の存在に応じて選択的に安全指標６２が表示される。

図２２は、第５の実施の形態の画像表示システム１０の構成を示すブロック図である。第５の実施の形態の画像表示システム１０は、プログラムに従って制御部２０のＣＰＵが演算処理を行うことで実現される機能として、車線判断部２０ｅを備えている。第５の実施の形態の画像表示システム１０のその他の構成は、第１の実施の形態と同様である。

車線判断部２０ｅは、自車両９が走行する走行車線に隣接する隣接車線の存在を判断する。車線判断部２０ｅは、情報取得部２６が取得する情報に基づいて、走行車線の左側及び右側それぞれの隣接車線が存在するか否かを判断する。

本実施の形態のディスプレイ３１，３２においては、この車線判断部２０ｅの判断結果に基づいて安全指標６２が表示される。左右のディスプレイ３１，３２のうち隣接車線が存在する側のディスプレイにおいては、安全指標６２を含むサポート画像６が表示される。一方で、隣接車線が存在しない側のディスプレイにおいては、安全指標６２が表示されずにサイドミラー画像６１のみが表示される。また、左右双方の隣接車線が存在しない場合は、左右双方のディスプレイ３１，３２において、安全指標６２が表示されずにサイドミラー画像６１のみが表示される。

例えば、図２３に示すように、自車両９が片側二車線の道路の左側の走行車線Ｌ１を走行している場合を想定する。この場合は、自車両９が走行する走行車線Ｌ１の右側には隣接車線Ｌ２が存在し、左側には隣接車線が存在しない。このため、右ディスプレイ３２においては、安全指標６２を含むサポート画像６が表示される。一方で、左ディスプレイ３１においては、安全指標６２が表示されずに左サイドミラー画像６１のみが表示される。

また、図２４に示すように、自車両９が片側三車線の道路の中央の走行車線Ｌ４を走行している場合を想定する。この場合は、自車両９が走行する走行車線Ｌ４の左右双方に隣接車線Ｌ３，Ｌ５が存在している。このため、左右のディスプレイ３１，３２の双方において、安全指標６２を含むサポート画像６が表示される。

また、図２５に示すように、自車両９が片側一車線の道路を走行している場合を想定する。この場合は、自車両９が走行する走行車線Ｌ６の左右双方に隣接車線が存在しない。このため、左右のディスプレイ３１，３２の双方において、安全指標６２が表示されずにサイドミラー画像６１のみが表示される。

また、図２６に示すように、自車両９が高速道路などの合流ポイントの左側の合流車線Ｌ７を走行している場合を想定する。この場合は、自車両９が走行する合流車線Ｌ７の右側には隣接車線として本線車線Ｌ８が存在する。このため、右ディスプレイ３２においては、安全指標６２を含むサポート画像６が表示される。一方で、左ディスプレイ３１においては、安全指標６２が表示されず、左サイドミラー画像６１のみが表示される。

図２７は、第５の実施の形態のサポート画像生成処理の流れを示す図である。このサポート画像生成処理も、表示制御部２０ｃの制御により、右サポート画像６及び左サポート画像６のそれぞれに関して個別に実行される。以下では、右サポート画像６を生成するサポート画像生成処理について代表的に説明するが、左右が逆となる以外は左サポート画像６を生成するサポート画像生成処理も同様である。

まず、画像取得部２１が、右サイドカメラ５Ｒから撮影画像を取得する（ステップＳ４１）。次に、画像生成部２２が、右サイドカメラ５Ｒの撮影画像を用いて右サイドミラー画像６１を生成する（ステップＳ４２）。

次に、車線判断部２０ｅは、自車両９が走行する走行車線の右側の隣接車線の存在を判断する（ステップＳ４３）。情報取得部２６がナビゲーション装置９３から取得する道路情報とＧＰＳ装置９４から取得する自車両９の位置とに基づいて、隣接車線が存在するか否かを判断する。なお、車線判断部２０ｅは、フロントカメラ５Ｆまたはリアカメラ５Ｒの撮影画像に対する白線の認識結果に基づいて隣接車線の存在を判断するなど、他の手法で隣接車線の存在を判断してもよい。

右側の隣接車線が存在する場合は（ステップＳ４４にてＹｅｓ）、情報取得部２６が右側の後側方車両８２の車両情報を取得し（ステップＳ４５）、その車両情報に基づいて、意志判定部２０ａが右側の後側方車両８２のドライバの容認意志の有無を判定する（ステップＳ４６）。次に、安全指標生成部２０ｂは、安全指標生成処理を行って、意志判定部２０ａの判定結果に応じた安全指標６２を生成する（ステップＳ４７）。そして、指標重畳部２３が、安全指標生成部２０ｂが生成した安全指標６２を画像生成部２２が生成した右サイドミラー画像６１に重畳して、右サポート画像６を生成する（ステップＳ４８）。

次に、画像出力部２４が、生成された右サポート画像６を右ディスプレイ３２に出力する（ステップＳ４９）。これにより、右側の後側方車両８２に関する安全指標６２を含む右サポート画像６が右ディスプレイ３２に表示される。

一方、右側の隣接車線が存在しない場合は（ステップＳ４４にてＮｏ）、画像出力部２４が、画像生成部２２が生成した右サイドミラー画像６１をそのまま右ディスプレイ３２に出力する（ステップＳ５０）。これにより、安全指標６２が表示されずに右サイドミラー画像６１が右ディスプレイ３２に表示される。

前述のように、このサポート画像生成処理は、左サポート画像６に関しても並行して実行される。左サポート画像６を生成するサポート画像生成処理では、ステップＳ４３において、車線判断部２０ｅは、自車両９が走行する走行車線の左側の隣接車線の存在を判断する。したがって、左側及び右側のうち隣接車線が存在する側の後側方車両８２に関する安全指標６２のみがディスプレイ３１，３２に表示される。これとともに、隣接車線が存在しない側の後側方車両８２に関する安全指標６２はディスプレイ３１，３２に表示されない。

以上のように、本実施の形態の画像処理装置２においては、車線判断部２０ｅは、自車両９が走行する走行車線に隣接する隣接車線の存在を判断する。そして、画像出力部２４は、隣接車線が存在しない場合は、安全指標６２をディスプレイ３１，３２に表示させない。このように隣接車線が存在しない場合は安全指標６２がディスプレイ３１，３２に表示されないため、自車両９のドライバに不要な情報を与えることを防止できる。

また、車線判断部２０ｅは、自車両９が走行する走行車線の左側及び右側それぞれの隣接車線の存在を判断する。そして、画像出力部２４は、左側及び右側のうち隣接車線が存在する側の後側方車両８２に関する安全指標６２をディスプレイ３１，３２に表示させ、隣接車線が存在しない側の後側方車両８２に関する安全指標６２をディスプレイ３１，３２に表示させない。このため、自車両のドライバに不要な情報を与えることをさらに防止できる。

＜６．第６の実施の形態＞
次に、第６の実施の形態について説明する。第６の実施の形態の画像表示システム１０の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、意志判定部２０ａが容認意志の有無を判定できない場合（容認意志が不明の場合）は、安全指標６２の色は一律に「黄色」とされていた。これに対して、第６の実施の形態では、意志判定部２０ａが容認意志の有無を判定できない場合は、他のパラメータを考慮して安全指標６２の色が決定される。

図２８は、第６の実施の形態の画像表示システム１０の構成を示すブロック図である。第６の実施の形態の画像表示システム１０は、プログラムに従って制御部２０のＣＰＵが演算処理を行うことで実現される機能として、パラメータ導出部２０ｆを備えている。第６の実施の形態の画像表示システム１０のその他の構成は、第１の実施の形態と同様である。

パラメータ導出部２０ｆは、安全指標６２の色の決定に用いるパラメータを導出する。本実施の形態においてパラメータ導出部２０ｆは、自車両９と後側方車両８２との間の後方車間距離Ｄ２（図４参照。）を導出する。

本実施の形態の安全指標生成部２０ｂは、安全指標生成処理（図７のステップＳ１５）において、この後方車間距離Ｄ２を考慮して安全指標６２を生成する。図２９は、第６の実施の形態の安全指標生成処理の詳細な流れを示す図である。以下では、右サポート画像６のための安全指標６２を生成する安全指標生成処理について代表的に説明するが、左右が逆となる以外は左サポート画像６のための安全指標６２を生成する安全指標生成処理も同様である。

第１の実施の形態と同様に、意志判定部２０ａが容認意志があると判定した場合は（ステップＳ１０１にてＹｅｓ）、安全指標生成部２０ｂは「青色」の安全指標６２を生成する（ステップＳ１０３）。一方、意志判定部２０ａが容認意志がないと判定した場合は（ステップＳ１０２にてＹｅｓ）、安全指標生成部２０ｂは「赤色」の安全指標６２を生成する（ステップＳ１０４）。

また、意志判定部２０ａが容認意志の有無が判定できない場合は（ステップＳ１０１及びＳ１０２の双方にてＮｏ）、パラメータ導出部２０ｆが後方車間距離Ｄ２を導出する（ステップＳ１１５）。パラメータ導出部２０ｆは、情報取得部２６が取得した右側の後側方車両８２の車両情報に基づいて、後方車間距離Ｄ２を導出する。パラメータ導出部２０ｆは、例えば、後側方車両８２の縦距離に基づいて後方車間距離Ｄ２を導出できる。

次に、安全指標生成部２０ｂは、この後方車間距離Ｄ２に基づいて安全指標６２を生成する（ステップＳ１１６）。具体的には、安全指標生成部２０ｂは、後方車間距離Ｄ２が閾値となる所定距離より大きい場合は「青色」の安全指標６２を生成する。一方、後方車間距離Ｄ２が閾値となる所定距離より小さい場合は「黄色」の安全指標６２を生成する。

後方車間距離Ｄ２が所定距離より大きい場合とは、自車両９に対して十分に離れた状態で後側方車両８２が走行している場合に相当する。このため、車線変更を安全に行うことが可能であるため、安全指標生成部２０ｂは「青色」の安全指標６２を生成する。後方車間距離Ｄ２と比較する閾値となる所定距離は、例えば、後側方車両８２が停止可能な距離（安全車間距離）とすればよい。

以上のように、本実施の形態の画像処理装置２においては、パラメータ導出部２０ｆが後方車間距離Ｄ２を導出し、安全指標生成部２０ｂは、意志判定部２０ａが容認意志の有無を判定できない場合は、後方車間距離Ｄ２に基づいて安全指標６２を生成する。このため、意志判定部２０ａが容認意志の有無を判定できない場合でも、「黄色」の安全指標６２が表示されることが少なくなるため、自車両９のドライバは安心して車線変更することができる。

＜７．第７の実施の形態＞
次に、第７の実施の形態について説明する。第７の実施の形態の画像表示システム１０の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、意志判定部２０ａが容認意志があると判定した場合は、安全指標６２の色は一律に「青色」とされていた。これに対して、第７の実施の形態では、意志判定部２０ａが容認意志があると判定した場合であっても、他のパラメータをさらに考慮して安全指標６２の色が決定される。

第７の実施の形態の画像表示システム１０の構成は、図２８に示すパラメータ導出部２０ｆを備える第６の実施の形態の構成と同様である。本実施の形態においてパラメータ導出部２０ｆは、前側方車両８１に対する後側方車両８２の相対速度（以下、「前後相対速度」という。）Ｖｆｒを導出する。この前後相対速度Ｖｆｒは、前側方車両８１と後側方車両８２との間の前後車間距離Ｄ３（図４参照。）の変化を表す。

本実施の形態の安全指標生成部２０ｂは、安全指標生成処理（図７のステップＳ１５）において、この前後相対速度Ｖｆｒに基づき、前後車間距離Ｄ３の変化を考慮して安全指標６２を生成する。図３０は、第７の実施の形態の安全指標生成処理の詳細な流れを示す図である。以下では、右サポート画像６のための安全指標６２を生成する安全指標生成処理について代表的に説明するが、左右が逆となる以外は左サポート画像６のための安全指標６２を生成する安全指標生成処理も同様である。

第１の実施の形態と同様に、意志判定部２０ａが容認意志がないと判定した場合は（ステップＳ１０２にてＹｅｓ）、安全指標生成部２０ｂは「赤色」の安全指標６２を生成する（ステップＳ１０４）。また、意志判定部２０ａが容認意志の有無を判定できない場合は（ステップＳ１０１及びＳ１０２の双方にてＮｏ）、安全指標生成部２０ｂは「黄色」の安全指標６２を生成する（ステップＳ１０５）。

また、意志判定部２０ａが容認意志があると判定した場合は（ステップＳ１０１にてＹｅｓ）、パラメータ導出部２０ｆが前後相対速度Ｖｆｒを導出する（ステップＳ１１３）。パラメータ導出部２０ｆは、情報取得部２６が取得した右側の前側方車両８１の車両情報、及び、右側の後側方車両８２の車両情報に基づいて、前後相対速度Ｖｆｒを導出する。パラメータ導出部２０ｆは、例えば、自車両９に対する前側方車両８１及び後側方車両８２の双方の相対速度に基づいて前後相対速度Ｖｆｒを導出できる。

次に、安全指標生成部２０ｂは、この前後相対速度Ｖｆｒに基づいて、前後車間距離Ｄ３の変化を考慮した安全指標６２を生成する（ステップＳ１１４）。

具体的には、前後相対速度Ｖｆｒが正の場合は（Ｖｆｒ＞０）、安全指標生成部２０ｂは「赤色」の安全指標６２を生成する。前後相対速度Ｖｆｒが正の場合は、前側方車両８１が後側方車両８２よりも減速しており、前後車間距離Ｄ３が縮小する傾向にある。すなわち、自車両９の移動対象となる空間が縮小する傾向にある。このため、車線変更を安全に行うことが難しいため、安全指標生成部２０ｂは「赤色」の安全指標６２を生成する。

また、前後相対速度Ｖｆｒが負の場合は（Ｖｆｒ＜０）、安全指標生成部２０ｂは「青色」の安全指標６２を生成する。前後相対速度Ｖｆｒが負の場合は、前後車間距離Ｄ３が拡大する傾向にある。すなわち、自車両９の移動対象となる空間が拡大する傾向にある。このため、車線変更を安全に行うことが可能であるため、安全指標生成部２０ｂは「青色」の安全指標６２を生成する。

また、前後相対速度Ｖｆｒがほぼ無い場合は（Ｖｆｒ≒０）、安全指標生成部２０ｂは「黄色」の安全指標６２を生成する。前後相対速度Ｖｆｒがほぼ無い場合は、前側方車両８１と後側方車両８２とが同等に減速しており、前後車間距離Ｄ３が維持される状態にある。一方で、自車両９と前側方車両８１との間の前方車間距離Ｄ１（図４参照。）は縮小する傾向にあることから、車線変更を行うために注意を要する。このため、安全指標生成部２０ｂは「黄色」の安全指標６２を生成する。

以上のように、本実施の形態の画像処理装置２においては、パラメータ導出部２０ｆが前後相対速度Ｖｆｒを導出し、安全指標生成部２０ｂは、意志判定部２０ａが容認意志があると判定した場合は、前後相対速度Ｖｆｒに基づいて安全指標６２を生成する。このため、意志判定部２０ａが容認意志があると判定した場合でも、前側方車両８１と後側方車両８２との間の前後車間距離Ｄ３を考慮した安全指標６２が表示されるため、安全指標６２の信頼性をさらに高くすることができる。

なお、前後相対速度Ｖｆｒが正の場合（Ｖｆｒ＞０）、または、ほぼ無い場合（Ｖｆｒ≒０）であっても、自車両９と前側方車両８１との間の前方車間距離Ｄ１が十分に長い場合は、車線変更を安全に行うことが可能であるため、安全指標生成部２０ｂが「青色」の安全指標６２を生成してもよい。

＜８．第８の実施の形態＞
次に、第８の実施の形態について説明する。第８の実施の形態の画像表示システム１０の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、意志判定部２０ａの判定結果のみに応じて安全指標６２の色が決定されていた。これに対して、第８の実施の形態では、意志判定部２０ａの判定結果とともに、各種のパラメータを考慮して安全指標６２の色が決定される。

第８の実施の形態の画像表示システム１０の構成は、図２８に示すパラメータ導出部２０ｆを備える第６の実施の形態の構成と同様である。本実施の形態においてパラメータ導出部２０ｆは、自車両９と前側方車両８１との間の前方車間距離Ｄ１、自車両９と後側方車両８２との間の後方車間距離Ｄ２、及び、自車両９に対する前側方車両８１の相対速度（以下、「前車相対速度」という。）Ｖｏｆを導出する。さらに、パラメータ導出部２０ｆは、自車両９が停止可能な距離（以下、「自車安全車間距離」という。）Ｄｏｓ、及び、後側方車両８２が停止可能な距離（以下、「後車安全車間距離」という。）Ｄｒｓを導出する。

本実施の形態の安全指標生成部２０ｂは、安全指標生成処理（図７のステップＳ１５）において、意志判定部２０ａの判定結果とともに、これらのパラメータに基づいて安全指標６２を生成する。図３１は、第８の実施の形態の安全指標生成処理の詳細な流れを示す図である。以下では、右サポート画像６のための安全指標６２を生成する安全指標生成処理について代表的に説明するが、左右が逆となる以外は左サポート画像６のための安全指標６２を生成する安全指標生成処理も同様である。

まず、パラメータ導出部２０ｆが、安全指標生成処理において考慮するパラメータを導出する（ステップＳ１２０）。パラメータ導出部２０ｆは、前方車間距離Ｄ１、後方車間距離Ｄ２、前車相対速度Ｖｏｆ、自車安全車間距離Ｄｏｓ、及び、後車安全車間距離Ｄｒｓのパラメータを導出する。

パラメータ導出部２０ｆは、情報取得部２６が取得した右側の前側方車両８１の車両情報、及び、右側の後側方車両８２の車両情報、及び、自車両９の絶対速度に基づいて、これらのパラメータを導出する。パラメータ導出部２０ｆは、前側方車両８１の車両情報に基づいて、前方車間距離Ｄ１及び前車相対速度Ｖｏｆを導出できる。また、パラメータ導出部２０ｆは、後側方車両８２の車両情報に基づいて、後方車間距離Ｄ２及び後車安全車間距離Ｄｒｓを導出できる。さらに、パラメータ導出部２０ｆは、自車両９の絶対速度に基づいて、自車安全車間距離Ｄｏｓを導出できる。

次に、安全指標生成部２０ｂは、意志判定部２０ａの判定結果に応じた生成処理を行って、安全指標６２を生成する。意志判定部２０ａが容認意志があると判定した場合は（ステップＳ１２１にてＹｅｓ）、安全指標生成部２０ｂは第１生成処理を行う（ステップＳ１２３）。意志判定部２０ａが容認意志がないと判定した場合は（ステップＳ１２２にてＹｅｓ）、安全指標生成部２０ｂは第２生成処理を行う（ステップＳ１２４）。また、意志判定部２０ａが容認意志の有無を判定できない場合は（ステップＳ１２１及びＳ１２２の双方にてＮｏ）、安全指標生成部２０ｂは第３生成処理を行う（ステップＳ１２５）。以下、第１ないし第３生成処理のそれぞれについて詳細に説明する。

（８−１．第１生成処理）
まず、意志判定部２０ａが容認意志があると判定した場合の第１生成処理（ステップＳ１２３）について説明する。この場合は、車線変更に際して後側方車両８２の状態は問題ないため、前側方車両８１の状態のみが考慮される。安全指標生成部２０ｂは、まず、前車相対速度Ｖｏｆを考慮する。

（８−１−１．前車相対速度が正）
前車相対速度Ｖｏｆが正の場合は（Ｖｏｆ＞０）、前側方車両８１が自車両９から離れる傾向がある。このため、車線変更を安全に行うことが可能であるため、安全指標生成部２０ｂは「青色」の安全指標６２を生成する。

（８−１−２．前車相対速度が負）
前車相対速度Ｖｏｆが負の場合は（Ｖｏｆ＜０）、前側方車両８１に対して自車両９が近づく傾向がある。

この場合において、前方車間距離Ｄ１が自車安全車間距離Ｄｏｓより大きい場合は（Ｄ１＞Ｄｏｓ）、前側方車両８１に対して十分に離れた状態で自車両９が走行している。このため、車線変更を安全に行うことが可能であるため、安全指標生成部２０ｂは「青色」の安全指標６２を生成する。

一方、前方車間距離Ｄ１が自車安全車間距離Ｄｏｓより小さい場合は（Ｄ１＜Ｄｏｓ）、前側方車両８１に比較的近い位置で自車両９が走行している。このため、車線変更を行うために前側方車両８１に関して注意を要することから、安全指標生成部２０ｂは「黄色」の安全指標６２を生成する。

（８−２．第２生成処理）
次に、意志判定部２０ａが容認意志がないと判定した場合の第２生成処理（ステップＳ１２４）について説明する。この場合は、後側方車両８２が加速しているため、後側方車両８２の状態が十分に考慮されるとともに、前側方車両８１の状態も考慮される。安全指標生成部２０ｂは、まず、後方車間距離Ｄ２を考慮する。この際、安全指標生成部２０ｂは、後車安全車間距離Ｄｒｓにマージンαを加算した結果となる安全余裕距離（Ｄｒｓ＋α）を比較に用いる。

（８−２−１．後方車間距離が長い）
後方車間距離Ｄ２が安全余裕距離より長い場合は（Ｄ２＞Ｄｒｓ＋α）、自車両９に対して十分に離れた状態で後側方車両８２が走行している。したがって、車線変更に際して後側方車両８２の状態は問題ない。

このため、安全指標生成部２０ｂは、上述した第１生成処理と同様に、前側方車両８１の状態を考慮して安全指標６２を生成する。すなわち、前車相対速度Ｖｏｆが正の場合は（Ｖｏｆ＞０）、安全指標生成部２０ｂは「青色」の安全指標６２を生成する。

また、前車相対速度Ｖｏｆが負の場合（Ｖｏｆ＜０）において、前方車間距離Ｄ１が自車安全車間距離Ｄｏｓより大きい場合は（Ｄ１＞Ｄｏｓ）、安全指標生成部２０ｂは「青色」の安全指標６２を生成する。さらに、前車相対速度Ｖｏｆが負の場合（Ｖｏｆ＜０）において、前方車間距離Ｄ１が自車安全車間距離Ｄｏｓより小さい場合は（Ｄ１＜Ｄｏｓ）、安全指標生成部２０ｂは「黄色」の安全指標６２を生成する。

（８−２−２．後方車間距離が短い）
後方車間距離Ｄ２が安全余裕距離より短い場合は（Ｄ２＜Ｄｒｓ＋α）、自車両９に比較的近い位置で後側方車両８２が加速した状態で走行している。このため、車線変更を安全に行うことが難しいため、安全指標生成部２０ｂは「赤色」の安全指標６２を生成する。

（８−３．第３生成処理）
次に、意志判定部２０ａが容認意志の有無を判定できない場合の第３生成処理（ステップＳ１２５）について説明する。この場合は、前側方車両８１及び後側方車両８２の双方の状態が考慮される。安全指標生成部２０ｂは、まず、前車相対速度Ｖｏｆを考慮する。

（８−３−１．前車相対速度が正）
前車相対速度Ｖｏｆが正の場合は（Ｖｏｆ＞０）、前側方車両８１が自車両９から離れる傾向がある。したがって、車線変更に際して前側方車両８１の状態は問題ない。安全指標生成部２０ｂは、次に、後方車間距離Ｄ２を考慮する。

（８−３−１−ａ．後方車間距離が長い）
後方車間距離Ｄ２が後車安全車間距離Ｄｒｓより長い場合は（Ｄ２＞Ｄｒｓ）、自車両９に対して十分に離れた状態で後側方車両８２が走行している。このため、車線変更を安全に行うことが可能であるため、安全指標生成部２０ｂは「青色」の安全指標６２を生成する。

（８−３−１−ｂ．後方車間距離が短い）
後方車間距離Ｄ２が後車安全車間距離Ｄｒｓより短い場合は（Ｄ２＜Ｄｒｓ）、自車両９に比較的近い位置で後側方車両８２が走行している。このため、車線変更を行うために後側方車両８２に関して注意を要することから、安全指標生成部２０ｂは「黄色」の安全指標６２を生成する。

（８−３−２．前車相対速度が負）
前車相対速度Ｖｏｆが負の場合は（Ｖｏｆ＜０）、前側方車両８１に対して自車両９が近づく傾向がある。安全指標生成部２０ｂは、次に、前方車間距離Ｄ１を考慮する。

（８−３−２−ａ．前方車間距離が長い）
前方車間距離Ｄ１が自車安全車間距離Ｄｏｓより長い場合は（Ｄ１＞Ｄｏｓ）、前側方車両８１に対して十分に離れた状態で自車両９が走行している。

この場合に、後方車間距離Ｄ２が後車安全車間距離Ｄｒｓより長い場合は（Ｄ２＞Ｄｒｓ）、自車両９に対して十分に離れた状態で後側方車両８２が走行している。すなわち、前側方車両８１及び後側方車両８２の双方が自車両９に対して十分に離れた状態であることから、車線変更を安全に行うことが可能であるため、安全指標生成部２０ｂは「青色」の安全指標６２を生成する。

一方、後方車間距離Ｄ２が後車安全車間距離Ｄｒｓより短い場合は（Ｄ２＜Ｄｒｓ）、自車両９に比較的近い位置で後側方車両８２が走行している。この場合は、車線変更を行うために後側方車両８２に関して注意を要することから、安全指標生成部２０ｂは「黄色」の安全指標６２を生成する。

（８−３−２−ｂ．前方車間距離が短い）
前方車間距離Ｄ１が自車安全車間距離Ｄｏｓより短い場合は（Ｄ１＜Ｄｏｓ）、前側方車両８１に比較的近い位置で自車両９が走行している。

この場合に、後方車間距離Ｄ２が後車安全車間距離Ｄｒｓより長い場合は（Ｄ２＞Ｄｒｓ）、自車両９に対して十分に離れた状態で後側方車両８２が走行している。このため、車線変更を行うために前側方車両８１に関して注意を要することから、安全指標生成部２０ｂは「黄色」の安全指標６２を生成する。

一方、後方車間距離Ｄ２が後車安全車間距離Ｄｒｓより短い場合は（Ｄ２＜Ｄｒｓ）、自車両９に比較的近い位置で後側方車両８２が走行している。すなわち、前側方車両８１及び後側方車両８２の双方が自車両９に対して近い状態であることから、車線変更を安全に行うことが難しいため、安全指標生成部２０ｂは「赤色」の安全指標６２を生成する。

以上のように、本実施の形態の画像処理装置２においては、パラメータ導出部２０ｆが前方車間距離Ｄ１、後方車間距離Ｄ２、及び、前車相対速度Ｖｏｆを導出する。そして、安全指標生成部２０ｂは、意志判定部２０ａの判定結果とともに、前方車間距離Ｄ１、後方車間距離Ｄ２、及び、前車相対速度Ｖｏｆに基づいて安全指標６２を生成する。このため、容認意志の有無とともに、前側方車両８１及び後側方車両８２の双方の状態を総合的に考慮した安全指標６２が表示されるため、安全指標６２の信頼性をさらに高くすることができる。

＜９．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記実施の形態では、画像処理装置２は、レーダ９１，９２から前側方車両８１及び後側方車両８２の車両情報を取得していたが、他の手法で前側方車両８１及び後側方車両８２の車両情報を取得してもよい。例えば、画像処理装置２は、フロントカメラ５Ｆ及びリアカメラ５Ｒの撮影画像から前側方車両８１及び後側方車両８２の車両像を抽出し、撮影画像における当該車両像の位置、及び、その位置の時間的変化に基づいて車両情報を取得してもよい。

また、上記実施の形態においては、意志判定部２０ａは、後側方車両８２の加速度に基づいて後側方車両８２のドライバの容認意志の有無を判定していたが、他の手法で容認意志の有無を判定してもよい。例えば、後側方車両８２に容認意志を明示する操作部を設けておき、当該操作部を後側方車両８２のドライバが操作した場合に後側方車両８２が送出する信号に基づいて、意志判定部２０ａが容認意志の有無を判定してもよい。

また、上記実施の形態において後側方車両８２の運転主体は人間のドライバであるとして説明したが、自動運転機能を有する電子装置であってもよい。この場合において、意志判定部２０ａは、電子装置が送出する信号に基づいて容認意志の有無を判定すればよい。

また、上記実施の形態において一つのブロックとして説明した機能は必ずしも単一の物理的要素によって実現される必要はなく、分散した物理的要素によって実現されてよい。また、上記実施の形態で複数のブロックとして説明した機能は単一の物理的要素によって実現されてもよい。また、車両内の装置と車両外の装置とに任意の一つの機能に係る処理を分担させ、これら装置間において通信によって情報の交換を行うことで、全体として当該一つの機能が実現されてもよい。

また、上記実施の形態においてプログラムの実行によってソフトウェア的に実現されると説明した機能の全部又は一部は電気的なハードウェア回路により実現されてもよく、ハードウェア回路によって実現されると説明した機能の全部又は一部はソフトウェア的に実現されてもよい。また、上記実施の形態において一つのブロックとして説明した機能が、ソフトウェアとハードウェアとの協働によって実現されてもよい。

２０ａ 意志判定部
２０ｂ 安全指標生成部
２４ 画像出力部
２６ 情報取得部
３１ 左ディスプレイ
３２ 右ディスプレイ
６１ サイドミラー画像
６２ 安全指標
８１ 前側方車両
８２ 後側方車両
９ 自車両

Claims (13)

1. 画像を処理する画像処理装置であって、
   自車両が走行する走行車線に隣接する隣接車線を前記自車両の後方において走行する後側方車両に関する第１車両情報を取得する第１取得手段と、
   前記第１車両情報に基づいて、前記後側方車両の運転主体における該後側方車両の前方への前記自車両の車線変更を容認する容認意志の有無を判定する判定手段と、
   前記後側方車両の位置を示す車両画像を生成する画像生成手段と、
   前記判定手段の判定結果に応じた安全指標を生成する指標生成手段と、
   前記車両画像と前記安全指標とを表示装置に出力して、前記車両画像と前記安全指標とを併せて前記表示装置に表示させる出力手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記車両画像は、前記自車両のサイドミラーに映る領域に対応する前記自車両の周辺領域を示すことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記車両画像は、前記自車両と前記後側方車両との位置関係を図式化して示すことを特徴とする画像処理装置。
4. 請求項１ないし３のいずれかに記載の画像処理装置において、
   前記安全指標は、前記車両画像の周縁に沿って配置されることを特徴とする画像処理装置。
5. 請求項３に記載の画像処理装置において、
   前記安全指標は、
   前記車両画像に含まれる前記後側方車両を示す図形の近傍に重畳され、
   前記容認意志がある場合は前記後側方車両の後方の向きを示し、
   前記容認意志がない場合は前記後側方車両の前方の向きを示すことを特徴とする画像処理装置。
6. 請求項１ないし５のいずれかに記載の画像処理装置において、
   前記自車両の方向指示器の操作状態を取得する状態取得手段、
   をさらに備え、
   前記指標生成手段は、前記方向指示器が操作されている場合は、前記方向指示器が操作されていない場合と比較して前記安全指標を強調して生成することを特徴とする画像処理装置。
7. 請求項１ないし５のいずれかに記載の画像処理装置において、
   前記隣接車線の存在を判断する車線判断手段、
   をさらに備え、
   前記出力手段は、前記隣接車線が存在しない場合は、前記安全指標を前記表示装置に表示させないことを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記車線判断手段は、前記走行車線の左側及び右側それぞれの前記隣接車線の存在を判断し、
   前記出力手段は、
   前記左側及び右側のうち前記隣接車線が存在する側の前記後側方車両に関する前記安全指標を前記表示装置に表示させ、
   前記隣接車線が存在しない側の前記後側方車両に関する前記安全指標を前記表示装置に表示させないことを特徴とする画像処理装置。
9. 請求項１ないし８のいずれかに記載の画像処理装置において、
   前記第１車両情報に基づいて、前記自車両と前記後側方車両との間の車間距離を導出する導出手段、
   をさらに備え、
   前記指標生成手段は、前記判定手段が前記容認意志の有無を判定できない場合は、前記車間距離に基づいて前記安全指標を生成することを特徴とする画像処理装置。
10. 請求項１ないし８のいずれかに記載の画像処理装置において、
    前記隣接車線を前記自車両の前方において走行する前側方車両に関する第２車両情報を取得する第２取得手段と、
    前記第１及び前記第２車両情報に基づいて、前記前側方車両に対する前記後側方車両の相対速度を導出する導出手段と、
    をさらに備え、
    前記指標生成手段は、前記判定手段が前記容認意志があると判定した場合は、前記相対速度に基づいて前記安全指標を生成することを特徴とする画像処理装置。
11. 請求項１ないし８のいずれかに記載の画像処理装置において、
    前記隣接車線を前記自車両の前方において走行する前側方車両に関する第２車両情報を取得する第２取得手段と、
    前記第１及び前記第２車両情報に基づいて、前記自車両と前記前側方車両との間の第１車間距離、前記自車両と前記後側方車両との間の第２車間距離、及び、前記自車両に対する前記前側方車両の相対速度、を導出する導出手段と、
    をさらに備え、
    前記指標生成手段は、前記判定手段の判定結果、前記第１車間距離、前記第２車間距離、及び、前記相対速度に基づいて前記安全指標を生成することを特徴とする画像処理装置。
12. 画像表示システムであって、
    請求項１ないし１１のいずれかに記載の画像処理装置と、
    前記車両画像と前記安全指標とを併せて表示する表示装置と、
    を備えることを特徴とする画像表示システム。
13. 画像を処理する画像処理方法であって、
    （ａ）自車両が走行する走行車線に隣接する隣接車線を前記自車両の後方において走行する後側方車両に関する第１車両情報を取得する工程と、
    （ｂ）前記第１車両情報に基づいて、前記後側方車両の運転主体における該後側方車両の前方への前記自車両の車線変更を容認する容認意志の有無を判定する工程と、
    （ｃ）前記後側方車両の位置を示す車両画像を生成する工程と、
    （ｄ）前記工程（ｂ）の判定結果に応じた安全指標を生成する工程と、
    （ｅ）前記車両画像と前記安全指標とを表示装置に出力して、前記車両画像と前記安全指標とを併せて前記表示装置に表示させる工程と、
    を備えることを特徴とする画像処理方法。

Images