以下、本発明の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。
(第一実施形態)
本発明が適用される電子ミラーシステム100は、図1及び図2に示すように、自車両Aに搭載されている。電子ミラーシステム100は、各後側方カメラ51,52によって撮影される自車両Aの後側方の映像40L,40R(図6及び図8等参照)を、各後側方モニタ61,62に表示させる。電子ミラーシステム100は、図3に示すように、通信バス99に接続されることにより、操作デバイス81、車載センサ83、周辺監視装置91、車載通信装置93、及びナビゲーション装置95等と、互いに情報をやり取りすることができる。電子ミラーシステム100は、各後側方カメラ51,52、各後側方モニタ61,62、及び画像処理装置20等によって構成されている。
操作デバイス81は、例えば運転席と助手席との間に設けられたセンタコンソールに配置されている(図2参照)。操作デバイス81には、例えば電子ミラーシステム100に係る設定値が、運転者等によって入力される。操作デバイス81は、運転者等の入力に基づく入力情報を、通信バス99へ出力可能である。尚、操作デバイス81は、例えばステアリングホイールに設けられた押圧スイッチ、センタクラスタに設けられた押圧スイッチ及びダイヤル等であってもよい。
車載センサ83は、例えば速度センサ、角速度センサ、操舵角センサを少なくとも含む車両に搭載された種々のセンサである。車載センサ83は、通信バス99と接続されている。車載センサ83は、自車両A(図1参照)の走行速度、ヨーレート、操舵角等の自車両Aの走行状態に係る計測情報を、通信バス99へ出力可能である。
周辺監視装置91は、複数の外界センサと周辺監視ECU(Electronic Control Unit)とを少なくとも含む構成である。外界センサは、周辺監視カメラ92、ミリ波レーダ、準ミリ波レーダ、ライダ、及びソナー等を含むことが可能である。周辺監視カメラ92は、前方カメラ、後方カメラ、左右のカメラ等を含むことが可能である。周辺監視装置91は、歩行者、人間以外の動物、自転車、オートバイ、及び他の車両のような移動物体、さらに路上の落下物、交通信号、ガードレール、縁石、道路標識、道路標示、区画線、及び樹木のような静止物体を検出する。周辺監視装置91は、通信バス99と接続されている。周辺監視装置91は、他の車両を含む検出物の相対位置を示す他車位置情報、走行中の車線が走行車線及び追越車線のいずれかという自車線情報等を、監視情報として通信バス99へ出力可能である。
車載通信装置93は、自車両Aと外部との無線通信を可能にするV2X(vehicle to X)のための車載器である。車載通信装置93は、通信バス99及び無線通信のためのアンテナと接続されている。具体的に、車載通信装置93は、自車両A(図1参照)の周囲に位置する他の車両の車載通信装置との間で、無線通信による車車間通信を行うことができる。車載通信装置93は、道路脇に設置された路側機との間で、無線通信による路車間通信を行うことができる。車載通信装置93は、例えばVICS(登録商標)情報として、渋滞情報及び交通規制情報等を受信できる。車載通信装置93は、通信バス99上に出力された自車両Aの情報を、他の車両及び路側機へ送信可能である。車載通信装置93は、他の車両及び路側機から受信した受信情報を、通信バス99へ出力可能である。
ナビゲーション装置95は、GNSS(Global Navigation Satellite System)受信機、ジャイロセンサ等の慣性センサ、地図データを格納するメモリ、及びナビゲーションECUを備えている。ナビゲーション装置95は、GNSS受信機によって受信する複数の人工衛星からの信号と、慣性センサの計測結果とを組み合わせることにより、自車両A(図1参照)の位置を測位する。ナビゲーション装置95は、測位した位置情報に基づき、メモリから自車両Aの周囲の地図データを読み出すことで、自車両Aの走行している道路の形状情報及び制限速度情報を取得する。加えてナビゲーション装置95は、自車両Aの走行している道路が高速道路であるか一般道路であるかといった道路の種別情報を取得する。ナビゲーション装置95は、自車両Aの位置情報、道路形状情報、制限速度情報、及び道路種別情報等を通信バス99へ出力可能である。
後側方カメラ51,52は、入射する光を電気信号に変換する撮像素子と、撮像素子へ光を入射させる光学系と、撮像素子及び光学系を制御する制御ユニットとを少なくとも含む構成である。撮像素子としては、CCD(Charge-Coupled Device)イメージセンサ、及びCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等が使用可能である。後側方カメラ51,52は、画像処理装置20と接続されている。後側方カメラ51,52は、図1に示す自車両Aの車室外において、左右のサイドミラーの近傍に配置されている。後側方カメラ51,52は、自車両Aの左右のドアに固定されていてもよく、又は撮像素子の撮像面の向きを調整可能に各ドアに取り付けられていてもよい。
右後側方カメラ51は、自車両Aの周囲のうちで、進行方向右側の側方及び後方(以下、右後側方)の範囲を、所定のフレームレート(例えば、毎秒30フレーム)で撮影する。左後側方カメラ52は、自車両Aの周囲のうちで、進行方向左側の側方及び後方(以下、左後側方)の範囲を、所定のフレームレートで撮影する。後側方カメラ51,52はそれぞれ、連続して撮影される一連の撮像画像41R,41L(図5及び図7参照)の画像データを、映像信号として画像処理装置20へ逐次出力する。
後側方モニタ61,62は、有機EL(OLED(Organic Light-Emitting Diode))ディスプレイ又は液晶ディスプレイ等の表示デバイスと、表示デバイスの各画素を制御する制御ユニット等とを少なくとも含む構成である。後側方モニタ61,62は、画像処理装置20と接続されている。後側方モニタ61,62は、図2に示す自車両Aの車室内において、ウインドシールド18の両側に位置する各ピラーの根本に配置されている。後側方モニタ61,62は、インスツルメントパネル19に固定されていてもよく、又は、表示面の向きを調整可能にインスツルメントパネル19に取り付けられていてもよい。
右後側方モニタ61は、画像処理装置20から出力される映像信号に基づき、右後側方カメラ51(図1参照)によって撮影された自車両Aの右後側方の映像を表示する。左後側方モニタ62は、画像処理装置20から出力される映像信号に基づき、左後側方カメラ52(図1参照)によって撮影された自車両Aの左後側方の映像を表示する。
画像処理装置20は、図3に示すように、メインプロセッサ21、描画プロセッサ22、書き換え可能な不揮発性のメモリ23、情報の入出力を行う入出力インターフェース24、及びこれらを接続するバスを少なくとも含む制御回路20aを備えている。画像処理装置20は、各後側方カメラ51,52から映像信号を取得し、各後側方モニタ61,62へ出力する。画像処理装置20は、メモリ23に記憶されたプログラムを各プロセッサ21,22によって実行することにより、図4に示す複数の機能ブロック(31〜38)を構築可能である。
次に、電子ミラーシステム100によって各後側方モニタ61,62に表示される左右の後側方映像40R,40Lの詳細を、図5〜図8に基づいて、図3を参照しつつ説明する。
図5に示す右後側方カメラ51による撮像画像41Rは、右後側方カメラ51から画像処理装置20へ出力される加工前の右後側方映像40Rの1フレームである。撮像画像41Rは、図6に示す電子ミラー画像49Rのように画像処理され、右後側方モニタ61に映される右後側方映像40Rの1フレームとして、画像処理装置20から右後側方モニタ61へ出力される。
図7に示す左後側方カメラ52による撮像画像41Lは、左後側方カメラ52から画像処理装置20へ出力される加工前の左後側方映像40Lの1フレームである。撮像画像41Lは、図8に示す電子ミラー画像49Lのように画像処理され、左後側方モニタ62に映される左後側方映像40Lの1フレームとして、画像処理装置20から左後側方モニタ62へ出力される。
以上の図5及び図7に示す加工前の各後側方映像40R,40Lには、煩雑領域42、低情報量領域43、及び関心領域44が設定可能である。
煩雑領域42は、各後側方映像40R,40Lの中で、被撮影物の動きによって煩雑な映像を映し出す領域である。被撮影物は、運転者の関心の対象となるような重要な有体物ではなく、例えばガードレール、防音壁、及び樹木等の道路脇に連続して立ち並ぶ立設物である。これらの立設物を含む側方の風景は、自車両Aの走行により、煩雑領域42中を後方へ向けて高速で流れる。その結果、各後側方映像40R,40Lの各煩雑領域42には、フレーム間において激しい変化が生じる。煩雑領域42の激しい表示の変化は、運転者を誘目し、運転者に煩わしさを感じさせる。
低情報量領域43は、各後側方映像40R,40Lの中で、隣接車線の道路の路面、路側帯、及び空等を映す領域である。低情報量領域43には、煩雑領域42と同様に、並走車、二輪車、自転車、歩行者等、運転者の関心の対象となるような重要な被撮影物が実質的に存在しない。各後側方映像40R,40Lにおいて、各低情報量領域43は、フレーム間での変化が非常に少ない領域となる。尚、自車両Aの進行方向に対し傾斜方向に伸びる白線が複数連続して描かれた路面は、低情報量領域43ではなく、煩雑領域42に該当し得る。
関心領域44は、各後側方映像40R,40Lの中で、運転者の関心の対象となる重要な有体物を映し出す領域である。関心領域44に映る被撮影物には、例えば自車両Aの後方を走行する後続車A1、緊急自動車Q1(図9参照)、及び幅員の狭い山坂道における車道外側線47a(図15参照)等が含まれる。各後側方映像40R,40Lの中には、複数の関心領域44が設定可能である。複数の関心領域44が設定される場合、各関心領域44には、優先度が付与される。
図5〜図8に示すように、関心領域44に含まれる範囲は、切出画像44aとして各撮像画像41R,41Lから切り出される。切出画像44aは、煩雑領域42及び低情報量領域43の論理和となる範囲の大きさに合わせて、縦横のアスペクト比を実質的に維持したまま、拡大される。切出画像44aを拡大した拡大画像45は、煩雑領域42及び低情報量領域43を隠すように、これらの領域に貼り付けられる。その結果、各後側方モニタ61,62へ出力される電子ミラー画像49R,49Lが生成される。
電子ミラー画像49R,49Lには、枠画像44b及び引出線画像45aが描画されている。枠画像44bは、矩形の枠状に表示されており、切出画像44aの切り出される関心領域44の外縁を示している。引出線画像45aは、枠画像44bの角部から拡大画像45の角部へ向けて直線状に延伸している。引出線画像45aは、関心領域44と拡大画像45との繋がりを示している。
以上の各後側方映像40R,40Lでは、関心領域44に映る後続車A1が拡大表示されていた。後側方映像40R,40Lにおいて、後続車A1等の遠方の物体は、非常に小さく映る。故に、運転者は、後続車A1の有無や相対速度の判断が難しく、遠方から高速で追い抜いてくる後続車A1を認識し難い。そのため、後続車A1の拡大表示は、運転者にとって有益な情報提示となり得る。
ここで、各後側方映像40R,40Lにおいて、煩雑領域42及び低情報量領域43に重畳される映像の被撮影物は、後続車A1でなくてもよい。以下、後続車A1以外を拡大表示する後側方映像40R,40Lの他の表示態様を、図9〜図16に基づいて説明する。尚、図9及び図11等の俯瞰図において、ドットにて示す範囲は、各カメラによって撮影可能な範囲を模式的に示している。
図9及び図10に示すように、自車両Aの右後側方に後続車としての緊急自動車Q1(救急車)が存在する場合、右後側方カメラ51による左後側方映像40Lにおいて、緊急自動車Q1を含む範囲が関心領域44とされる。その結果、右後側方映像40Rには、緊急自動車Q1が拡大表示される(図6参照)。一方、左後側方カメラ52による左後側方映像40Rには、緊急自動車Q1は写らない。しかし、右後側方映像40Rには、緊急自動車Q1を報知する報知画像45eが煩雑領域42等に重ねて表示される。報知画像45eには、緊急自動車Q1を報知する緊急車両アイコン45b、運転者に注意を促す警告アイコン45c、及び緊急自動車Q1の位置を示す矢印アイコン45d等が含まれている。左後側方映像40Lは、右後側方映像40Rとは異なる表示により、運転者を惑わせることなく、緊急自動車Q1の位置を報知することが可能となる。
以上の表示の変形例として、緊急自動車Q1は、救急車に限定されず、警察車両及び消防車等であってもよい。また、市街地を走行している場合に左後方から自転車が接近した場合、電子ミラーシステム100は、右後側方映像40R(図6参照)の煩雑領域42等に、自転車の存在を報知する報知画像を重畳表示可能である。さらに、後続車A1等が存在しない場合、電子ミラーシステム100は、車線の逸脱警報及びブラインドスポットウォーニング等の注意喚起を行う警告アイコン含む報知画像を、各煩雑領域42等に重畳表示可能である。
図11に示すように、例えば右方向に湾曲したカーブにおいて自車両Aの後方に後続車A1が存在する場合、この後続車A1は、左後側方カメラ52の撮像範囲から外れることとなる。しかし、前走車A2を追い越そうと自車両Aが左側の車線へ移動する場合、自車両Aの運転者は、自車両Aと同様に左側の車線へ移動する可能性のある後続車A1に注意を払う必要がある。こうした状況下では、後続車A1の警告は、図12に示す左後側方映像40Lによって行われることが望ましい。
そのため、左後側方映像40Lの煩雑領域42等には、周辺監視カメラ92の後方カメラ92b(図11参照)によって撮像される周囲画像46の一部が貼り付けられる。詳記すると、後方カメラ92bは、自車両Aの周囲のうちで後側方とは異なる範囲として、自車両Aの後方の範囲を撮影することができる。故に、後方カメラ92bは、カーブ走行時においても、自車両Aと同一の車線を走行する後続車A1を捉えることが可能である。よって、後方カメラ92bにて撮影される映像の中に関心領域を設定すれば、後続車A1を含む切出画像144aの切り出しが実現される。この切出画像144aは、撮像画像41Lに映る被撮影物の一部(例えば区画線46a)を含むように、周囲画像46から切り出される。以上により、後続車A1を拡大した拡大画像145が、左後側方映像40Lに重畳表示される。
図13及び図14に示すように、例えば渋滞時において自車両Aの後方に複数の後続車A1が存在する場合、左後側方映像40Lは、複数の後続車A1を纏めて、煩雑領域42等に拡大表示することが可能である。左後側方映像40Lに表示される拡大画像145は、複数の後続車A1を含むよう周囲画像46から切り出される切出画像144aを拡大した画像である。こうした切出画像144aを取得するため、関心領域は、後方カメラ92bの周囲画像46において、複数の後続車A1を囲む範囲に設定される。尚、拡大画像145は、後方カメラ92bの周囲画像46から切り出された切出画像144aと、左後側方カメラ52の撮像画像41Lから切り出された切出画像44a(図7参照)とを組み合わせることにより生成されてもよい。
図15及び図16に示すように、例えば幅員の狭い山坂道を自車両Aが走行している場合、左後側方映像40Lは、車道外側線47aを拡大した俯瞰画像47を拡大表示可能である。俯瞰画像47は、周辺監視カメラ92の左側方カメラ92cによって撮像される周囲画像46を、自車両Aの真上から見下ろしたように視点変換した画像の一部である。左側方カメラ92cは、撮像面を下向きにした姿勢にて左ドア等に固定されている。左側方カメラ92cは、左後側方カメラ52よりも自車両Aの左側を広範囲に撮影することができる。視点変換された周囲画像46において、車道外側線47aを含む自車両Aの左前輪近傍が関心領域44とされる。俯瞰画像47は、幅員の狭い車線内における自車両Aの位置の確認を容易にする。尚、周囲画像46の視点変換は、図3に示す周辺監視装置91及び画像処理装置20のいずれによっても実施可能である。
図17に示すように、電子ミラーシステム100は、所定のマスク画像48によって煩雑領域42を覆った右後側方映像40Rを、右後側方モニタ61に表示することができる。尚、左後側方映像40L(図7参照)の煩雑領域42をマスク画像48で覆うことも、当然に可能である。
以上説明した種々の後側方映像40R,40Lを各後側方モニタ61,62に表示させるために、画像処理装置20の制御回路20aに構築される機能ブロック(31〜36)の詳細を、図4に基づき、図3,図5〜図8を参照しつつ、以下説明する。
画像取得部31は、各後側方カメラ51,52によって撮像される後側方の撮像画像41R,41Lを取得する。加えて画像取得部31は、周辺監視装置91の周辺監視カメラ92によって撮像される周囲画像46(図12等参照)を取得可能である。さらに画像取得部31は、路側機に取り付けられたカメラによって撮影された画像、及び他の車両の車載カメラによって撮像された受信画像等を、車載通信装置93を通じて取得することが可能である。
煩雑領域設定部32は、画像取得部31により時系列に沿って取得される一連の撮像画像41R,41Lを画像解析することにより、各後側方映像40R,40Lにおいて煩雑領域42となる範囲を設定する。具体的に、煩雑領域設定部32は、連続する撮像画像41R,41Lにおけるオプティカルフローを演算する。煩雑領域設定部32は、オプティカルフローを元にした時間方向の勾配情報から、被撮影物の動きの速い煩雑領域42を規定する。煩雑領域設定部32は、走行速度等の計測情報、周囲を走行する他の車両に係る監視情報、及び画像解析による物体認識の結果等を統合することにより、運転者の関心対象となる有体物の存在しない領域に、煩雑領域42を設定可能である。
低情報量領域設定部33は、各後側方映像40R,40Lにおいて、低情報量領域43となる範囲を設定する。低情報量領域設定部33は、煩雑領域設定部32と同様に、情報取得部36によって取得された複数の情報を統合することにより、運転者の関心対象となる有体物の存在しない領域に、低情報量領域43を設定可能である。
関心領域設定部34は、各後側方映像40R,40Lにおいて、運転者の関心対象となる有体物の存在する範囲に、関心領域44を設定する。関心領域設定部34は、監視情報に含まれる自車線情報及び他車位置情報、画像解析による後続車A1等の物体認識の結果、並びにナビゲーション装置95による道路形状情報等を用いて、関心領域44を設定することが可能である。さらに関心領域設定部34は、受信情報に含まれる渋滞発生情報及び制限速度情報、計測情報に含まれる走行速度、計測情報に含まれる操舵角及びヨーレートから算出される走行軌跡情報等を、関心領域44の設定に用いることが可能である。例えば関心領域設定部34は、画像解析を用いた物体認識により、緊急自動車Q1(図9参照)、一般車両、自転車等の識別を行うことができる。
関心領域設定部34は、後続車A1を含むように関心領域44を設定する場合、関心領域44とする範囲を調整可能である。具体的に、各撮像画像41R,41Lにおける後続車A1の位置は、道路形状によって変化する。故に、関心領域設定部34は、各撮像画像41R,41Lの画像解析の結果、道路形状情報、及び走行軌跡情報等に基づき、上り坂、下り坂、及び左右のカーブといった道路形状に合わせて、関心領域44の位置を上下左右に動かす調整を行う。関心領域設定部34は、関心領域44を後続車A1に追従させるこができる。
関心領域設定部34は、周辺監視カメラ92による映像等にも、関心領域44を設定することができる。加えて関心領域設定部34は、各後側方映像40R,40L及び周辺監視カメラ92の映像に、複数の関心領域44を設定可能である。関心領域設定部34は、複数の関心領域44を設定した場合、各関心領域44に優先度を付与する。優先度は、緊急自動車Q1(図9参照)の映る関心領域44が最も高く、次に自車両A(図11参照)との相対速度の大きい後続車A1の映る関心領域44、次に通常の後続車A1の映る関心領域44、となるよう設定されている。車道外側線47a(図15参照)の優先度は、後続車A1よりも低い。
画像合成部35は、各撮像画像41R,41L及び周囲画像46(図12参照)から、関心領域44とされた範囲を、切出画像44a,144a(図12参照)として切り出す。画像合成部35は、複数の関心領域44が設定されていた場合には、最も優先度の高い関心領域44の範囲を、切出画像44a,144aとして切り出す。画像合成部35は、煩雑領域42及び低情報量領域43の論理和の面積に合わせて、切出画像44a,144aを拡大し、拡大画像45,145(図12参照)を生成する。画像合成部35は、拡大画像45,145に加えて、枠画像44b及び引出線画像45aを、煩雑領域42及び低情報量領域43に貼り付けることで、電子ミラー画像49R,49L(図6及び図8参照)を生成する。画像合成部35は、拡大画像45,145を貼り付ける領域として、煩雑領域42及び低情報量領域43のうちで、煩雑領域42を優先する。
画像合成部35(図17参照)は、拡大画像45,145に替えて、報知画像45e(図10参照)及び所定のマスク画像48を煩雑領域42及び低情報量領域43に貼り付けることにより、電子ミラー画像49R,49L(図6及び図8参照)を生成可能である。また画像合成部35は、煩雑領域42及び低情報量領域43の合計の面積が所定値を下回る場合には、拡大画像45及び報知画像45e等を貼り付けることなく、撮像画像41R,41Lを電子ミラー画像49R,49Lとする。画像合成部35は、各電子ミラー画像49R,49Lを、各後側方モニタ61,62へ出力する。
情報取得部36は、車載センサ83による計測情報、周辺監視装置91による監視情報、車載通信装置93による受信情報、ナビゲーション装置95による置情報及び道路形状情報等を、通信バス99から取得する。情報取得部36によって取得された情報は、上述したように、各領域設定部32〜34により、各領域42〜44の設定に用いられる。
以上の各機能ブロックによって実現される映像加工処理の詳細を、図18に基づき、図3,図5〜図8を参照しつつ説明する。図18のフローチャートに示される処理は、電子ミラーシステム100の電源がオン状態とされ、画像処理装置20への電力供給が開始されたことに基づいて、制御回路20aによって開始される。制御回路20aは、電子ミラーシステム100の電源がオフ状態とされるまで、図18に示す処理を繰り返す。
S101では、各撮像画像41R,41Lを取得し、S102へ進む。S101では、取得可能な周囲画像46がある場合において、この周囲画像46の取得を行う。S102では、各領域42〜44の設定に要する情報として、計測情報及び監視情報等を通信バス99から取得し、S103へ進む。S103では、S101及びS102にて取得した画像及び情報に基づき、煩雑領域42及び低情報量領域43を設定し、S104へ進む。
S104では、煩雑領域42及び低情報量領域43の論理和の面積が、所定値以上か否かを判定する。S104にて、煩雑領域42及び低情報量領域43を足し合わせた面積が所定値未満であると判定した場合、S105へ進む。S105では、各撮像画像41R,41Lをそれぞれ各電子ミラー画像49R,49Lとし、S111へ進む。
S104にて、煩雑領域42及び低情報量領域43を足し合わせた面積が所定値以上であると判定した場合、S106へ進む。S106では、S101及びS102にて取得した画像及び情報から、関心領域44を設定し、S107へ進む。S106では、優先度を付与された複数の関心領域44を設定可能である。
S107では、煩雑領域42及び低情報量領域43に貼り付ける画像を選定し、S108へ進む。S107では、主にS106にて設定された優先度に基づき、貼り付けの対象とされる画像を、拡大画像45,145、報知画像45e、俯瞰画像47等の中から選定する。S108では、S107にて選定された画像が有るか否かを判定する。S106にて関心領域44が設定されず、且つ、報知画像45e及び俯瞰画像47等も取得されていない場合には、S108にて、選定された画像が無いと判定し、S109へ進む。S109では、煩雑領域42等にマスク画像48を貼り付けることにより、各電子ミラー画像49R,49Lを生成し、S111へ進む。
S108にて、選定された画像が有ると判定した場合、S110に進む。S110では、S107にて選定された拡大画像45,145、報知画像45e、俯瞰画像47等のいずれか一つを煩雑領域42等に貼り付けることにより、各電子ミラー画像49R,49Lを生成し、S111へ進む。S111では、生成された各電子ミラー画像49R,49Lを各後側方モニタ61,62へ出力し、S101へ戻る。
ここまで説明した第一実施形態のような電子ミラーシステム100では、各後側方モニタ61,62が車室内に設置されている。故に、後側方モニタ61,62に映る後側方映像40L,40Rは、光学式のドアミラーに映る反射像よりも、中心視に近い位置にて運転者に視認される。そのため、後側方映像40L,40Rにおける被撮影物の速い動きは、運転者によって煩わしく感じられ易くなる。加えて、所定のフレームレートで撮影された後側方映像40L,40Rでは、所謂ストロボ効果により、例えば連続して立ち並ぶ立設物が、本来の移動方向とは逆方向に移動していかのように表示され得る。こうした不自然な映像は、運転者によって煩わしく感じられ易い。
そこで第一実施形態では、後側方映像40R,40Lの煩雑領域42に、拡大された関心領域44の拡大画像45,145が貼り付けられる。故に、煩雑領域42の映像は、関心領域44の映像によって覆い隠される。加えて、煩雑領域42に貼り付けられた関心領域44の映像は、拡大表示されているため、運転者の関心の対象として重要な後続車A1等を詳細に映し得る。したがって、後側方映像40R,40Lの煩わしさを低減させたうえで、運転者等の視認者にとって認識し易い情報提示が実現される。
加えて第一実施形態によれば、煩雑領域42だけでなく低情報量領域43も、拡大画像45,145の貼り付けが可能な領域とされる。このように貼り付け可能な領域が広く確保されれば、拡大画像45,145は、さらに大きく拡大されて、後側方映像40R,40Lに貼り付けられる。したがって、後側方映像40R,40Lは、運転者にとってさらに認識容易な情報提示を行うことができる。
また第一実施形態によれば、拡大画像45,145等は、煩雑領域42に優先的に貼り付けられる。故に、煩雑領域42は、拡大画像45,145等によって確実に覆い隠され得る。以上によれば、拡大画像45,145等を貼り付ける対象領域に低情報量領域43が加えられたとしても、後側方映像40R,40Lの煩わしさを低減させる効果は、確実に発揮される。
さらに第一実施形態のように、後側方映像40R,40Lを画像解析すれば、現在取得されている一連の撮像画像41R,41Lにおいて、煩わしい表示となっている範囲は、悉く煩雑領域42として設定され得る。こうして設定された煩雑領域42に拡大画像45,145等が貼り付けられることで、後側方映像40R,40Lの煩わしさを低減させる効果は、確実に発揮される。
加えて第一実施形態の関心領域44は、後続車A1を含むように設定可能である。故に、後側方映像40R,40Lは、遠方から自車両Aに接近する後続車A1を、拡大表示によって分かり易く示し得る。以上のように、後側方映像40R,40Lは、後続車A1への注意を運転者に確実に促すことができる。
また第一実施形態によれば、複数の関心領域44に優先度を設定する処理により、運転者にとって有益且つ重要な情報を含む関心領域44が優先的に各後側方映像40R,40Lに貼り付けられる。以上のように、貼り付けられる画像を絞る調停処理により、後側方映像40R,40Lを煩雑な表示にしてしまう事態は、回避され得る。加えて後側方映像40R,40Lは、貼り付けられる画像の数が絞られることで、運転者にとって有益且つ重要と考えられる情報のみを、分かり易く提示できる。
さらに第一実施形態では、関心領域44が設定されない場合でも、煩雑領域42は、マスク画像48によって覆い隠される。故に、後側方映像40R,40Lの煩わしさを低減させる効果は、確実に発揮されるようになる。尚、マスク画像48の貼り付けに替えて、例えば煩雑領域42の映像をぼかす処理が実施可能である。こうした処理によっても、煩雑領域42の映像の煩わしさを低減させる効果は、発揮可能となる。
加えて第一実施形態では、各後側方カメラ51,52以外の周辺監視カメラ92等から取得した周囲画像46にも、関心領域44が設定可能とされている。故に、電子ミラーシステム100は、各後側方カメラ51,52の撮影範囲外にて生じる有益且つ重要な情報も、運転者に分かり易く提示可能となる。
また第一実施形態では、周囲画像46から切出画像144aが切り出される場合、撮像画像41R,41Lに写る区画線46aの一部が、拡大画像145にも含まれている。故に、運転者等の視認者は、拡大画像145の切り出された大まかな位置を把握し得る。以上のように、周囲画像46に関心領域44を設定する場合には、撮像画像41R,41Lに映る被撮影物の少なくとも一部が、切出画像144aにも含まれるようにすることが望ましい。
尚、第一実施形態において、メインプロセッサ21及び描画プロセッサ22が特許請求の範囲に記載の「プロセッサ」に相当し、拡大画像45が特許請求の範囲に記載の「拡大した関心領域の画像」に相当する。また、右後側方カメラ51及び左後側方カメラ52が特許請求の範囲に記載の「撮像装置」に相当し、右後側方モニタ61及び左後側方モニタ62が特許請求の範囲に記載の「表示器」に相当する。さらに、後方カメラ92b及び左側方カメラ92cが特許請求の範囲に記載の「他の撮像装置」に相当する。そして、S101が特許請求の範囲に記載の「画像取得ステップ」に相当し、S103が特許請求の範囲に記載の「煩雑領域設定ステップ」に相当する。さらに、S106が特許請求の範囲に記載の「関心領域設定ステップ」に相当し、S110が特許請求の範囲に記載の「画像合成ステップ」に相当する。
(第二実施形態)
図19〜図22に示す本発明の第二実施形態は、第一実施形態の変形例である。第二実施形態では、第一実施形態とは異なる処理が制御回路20aによって実施される。制御回路20aには、第一実施形態と実質同一の画像取得部31及び情報取得部36に加えて、シーン推定部237、拡大要否判定部238、煩雑領域設定部232、関心領域設定部234、及び画像合成部235が機能ブロックとして構築される。以下、各機能ブロックの詳細を、図19〜図21に基づき、図3を参照しつつ説明する。尚、以下の左後側方映像40Lについての内容は、右後側方映像40R(図3参照)についても、当然に適用可能である。
シーン推定部237は、情報取得部36によって取得される情報に基づき、運転者が自車両Aを走行させている運転シーンを推定する。具体的に、シーン推定部237は、ナビゲーション装置95による道路種別情報及び走行速度の計測情報等に基づき、自車両Aが高速道路(Expressway,Autobahn,Autoroute等を含む)を走行中か否かを判定する。
拡大要否判定部238は、シーン推定部237によって自車両Aが高速道路を走行していると判定された場合に、関心領域44の拡大表示の要否を判定する。拡大要否判定部238は、自車両Aの後方の見通しが良く、且つ、自車両Aよりも高速で追い抜きを行う後続車A1が存在しそうな状況において、拡大表示が必要であるとの要判定を行う。
詳記すると、拡大要否判定部238による拡大表示の要否判定のために、情報取得部36は、車載通信装置93からのVICS情報、ナビゲーション装置95からの制限速度情報、車載センサ83からの走行速度の計測情報等を取得する。拡大要否判定部238は、VICS情報等に基づき、走行中の道路が混雑していない状況であるか否かを推定する。拡大要否判定部238は、自車両Aの走行速度と走行中の道路の最低制限速度とを比較し、走行速度が最低制限速度以上であれば、走行中の道路が渋滞していない状況であると推定する。拡大要否判定部238は、自車両Aの走行速度と走行中の道路の最高制限速度とを比較し、走行速度が最高制限速度未満であれば、自車両Aよりも高速で走行する後続車A1が存在すると推定する。拡大要否判定部238は、走行中の道路が混雑及び渋滞でない状況であり、且つ、高速で走行する後続車A1が存在すると推定した場合に、拡大表示の要判定を行う。
煩雑領域設定部232は、シーン推定部237によって推定される運転シーンと関連付けられた位置に、煩雑領域42を設定する。煩雑領域設定部232は、シーン推定部237によって高速道路を走行中と推定された場合には、後側方映像40Lのうちで予め定められた範囲を、煩雑領域42とする。煩雑領域設定部232は、自車両Aが高速道路を走行している場合、中央分離帯及び防音壁等の重要でない物体の映る範囲を、煩雑領域42とする。具体的には、撮像画像41Lにおいて、自車両Aの幅方向の外側且つ上側の所定の範囲が、煩雑領域42とされる。
関心領域設定部234は、シーン推定部237によって推定される運転シーンと関連付けられた位置に、関心領域44を設定する。関心領域設定部234は、シーン推定部237によって高速道路を走行中と推定された場合に、後側方映像40Lのうちで、後続車A1が含まれ得る範囲を、関心領域44とする。関心領域44は、例えば、縦60ピクセル,横80ピクセルというように、縦横に所定のピクセル数を有する長方形の領域とされる。関心領域44とされる長方形領域のアスペクト比は、煩雑領域42のアスペクト比と実質同一とされる。関心領域設定部234は、例えば長方形領域の左上の隅部を基準位置として、関心領域44とする長方形領域の位置を移動させることが可能である。加えて関心領域設定部234は、関心領域44の大きさを拡縮させることが可能である。
詳記すると、関心領域設定部234は、図21に示すように、自車両Aの後方に特定の距離(以下、拡大後方距離)離れた位置にある車線を拡大するように、関心領域44を設定する。関心領域設定部234は、下記の式1に基づき拡大後方距離を増減することが可能である。
(式1) 拡大後方距離(m)={最高制限速度−走行速度}(m/s)×設定値(s)
上記の式1において、現在走行している道路の最高制限速度と、自車両Aの走行速度との差分は、周囲の後続車A1が自車両Aを追い抜く際の相対速度を推定した値である。また設定値は、運転者等のユーザによって操作デバイス81へ入力される値であって、入力情報として情報取得部36により取得される時間(秒数)の値である。運転者は、後続車A1による追い抜きの何秒前に当該後続車A1を確認したいかの嗜好に応じて、設定値を変更することが可能である。
当初の拡大後方距離は、例えば2秒後に追い抜いてくる後続車A1が主に関心領域44
(44i)に含まれるよう、設定される。そして、自車両Aの走行速度が制限速度から低速側に乖離すると、関心領域設定部234は、自車両Aからさらに離れた後続車A1が含まれるよう、拡大後方距離を延長する。これにより、例えば5秒後に追い抜いてくる後続車A1が含まれるよう、関心領域44(44s)となる範囲は調整される。
関心領域設定部234は、第一実施形態と同様に、道路形状情報及び走行軌跡情報等に基づき、上り坂、下り坂、及び左右のカーブといった道路形状に合わせて、関心領域44の位置を上下左右に動かす調整を行う。これにより、例えばカーブ走行時においても、関心領域設定部234は、例えば5秒後に追い抜いてくる後続車A1を含むように、関心領域44(44c)の位置を調整できる。
画像合成部235は、拡大要否判定部238によって拡大表示の要判定がなされている場合に、撮像画像41Lから、関心領域44とされた範囲を、切出画像44aとして切り出す。画像合成部235は、所定の煩雑領域42の面積に合わせて切出画像44aを拡大する。画像合成部235は、切出画像44aの拡大によって図8に示す拡大画像45を作成し、枠画像44b及び引出線画像45aと共に煩雑領域42に貼り付けることにより、電子ミラー画像49L(図8参照)を生成する。
以上の各機能ブロックによって実現される第二実施形態の映像加工処理の詳細を、図22に基づき、図19を参照しつつ説明する。
S201では、各撮像画像41Lを取得し、S202へ進む。S202では、煩雑領域42及び関心領域44の設定に要する情報として、VICS情報、計測情報、及び制限速度情報等を通信バス99から取得し、S203へ進む。S203では、S202にて取得した情報に基づき、自車両Aが高速道路を走行中か否かを判定する。S203にて、自車両Aが高速道路ではなく、一般道路を走行していると判定した場合には、S204へ進む。S204では、拡大表示を実施しない後側方映像40Lを表示するため、各撮像画像41Lをそれぞれ各電子ミラー画像49L(図8参照)とし、S210へ進む。
S203にて、高速道路を走行中であると判定した場合には、S205へ進む。S205では、拡大表示が必要か否かを判定する。S205では、走行中の道路が混雑や渋滞の状況ではなく、且つ、自車両Aが後続車A1よりも遅い速度で走っている場合に、拡大表示が必要と判定される。S205にて、拡大表示を不要と判定した場合には、S204に進む。一方で、S205にて、拡大表示を必要と判定した場合には、S206へ進む。S206では、予め定められた位置に煩雑領域42を設定し、S207へ進む。S207では、制限速度情報、走行速度の計測情報、及び運転者の設定値に基づく拡大後方距離等から関心領域44とする範囲を算出及び設定し、S208へ進む。
S208では、S207による演算により関心領域44が設定可能であったか否かを判定する。例えば道路形状に起因して後続車A1が撮像画像41Lからフレームアウトしている場合等、S208にて、関心領域44の設定が困難であると判定した場合には、S204へ進む。一方で、S208にて、関心領域44の設定が可能であると判定した場合には、S209へ進む。
S209では、各撮像画像41Lから関心領域44を切り出した切出画像44aを、煩雑領域42の大きさに合わせてアスペクト比を維持しつつ拡大することで、拡大画像45を生成する。そして、生成した拡大画像45を煩雑領域42に貼り付けることにより、各電子ミラー画像49L(図8参照)とし、S210へ進む。S210では、S204又はS209にて生成した各電子ミラー画像49Lを、各後側方モニタ62へ出力する。以上により、後側方モニタ62には、後側方映像40Lが表示される。
ここまで説明した第二実施形態でも、第一実施形態と同様の効果を奏することにより、後側方映像40R,40Lの煩わしさを低減させたうえで、運転者等の視認者にとって認識し易い情報提示が実現される。加えて、第二実施形態のように、高速道路における後方遠方領域の拡大という用途に特化することにより、画像処理装置20の実現性が向上する。
また第二実施形態では、煩わしい表示となる範囲が運転シーンによって特定され得ることに着目したことで、運転シーンと関連付けられた位置に煩雑領域42が設定される。こうした処理によれば、高度な画像処理を実施しなくても、煩雑領域42の高精度な設定が実現される。したがって、後側方の映像の煩わしさを低減させる効果を確保したうえで、画像処理のための負荷を軽減することが可能となる。
さらに第二実施形態では、煩雑領域42だけでなく、関心領域44についても、運転シーンと関連付けられた位置に設定される。これにより、関心領域44を抽出する画像処理を不要としつつ、関心領域44の高精度な設定が実現される。その結果、運転者にとって認識し易い情報提示を実現したうえで、画像処理のための負荷を軽減することが可能となる。
加えて第二実施形態によれば、操作デバイス81への入力によって設定値が変更されると、関心領域設定部234は、関心領域44とする範囲の位置及び大きさを変えることで、拡大表示される後続車A1の位置を調整する。加えて、関心領域設定部234は、推定される後続車A1と自車両Aとの相対速度に合わせて、関心領域44とする範囲を変えることができる。以上のような関心領域44の位置調整によれば、電子ミラーシステム100は、運転者にとって認識し易いタイミングで、後続車A1についての情報提示を行うことができる。
尚、第二実施形態において、S201が特許請求の範囲に記載の「画像取得ステップ」に相当し、S206が特許請求の範囲に記載の「煩雑領域設定ステップ」に相当する。そして、S207が特許請求の範囲に記載の「関心領域設定ステップ」に相当し、S209が特許請求の範囲に記載の「画像合成ステップ」に相当する。
(他の実施形態)
以上、本発明による複数の実施形態について説明したが、本発明は、上記実施形態に限定して解釈されるものではなく、本発明の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
上記実施形態において、電子ミラーシステムは、各後側方カメラの各撮影画像だけでなく、「他の映像」を撮影する周辺監視カメラの周囲画像からも、一部の画像を切り出して、各後側方映像に貼り付けることが可能であった。しかし、電子ミラーシステムは、車載通信装置によって受信した他の車両の車載カメラの映像及び路側機に設定されたカメラの映像に関心領域を設定し、これらの映像を構成する1フレームの画像の一部を、拡大表示することが可能である。
上記実施形態において、各後側方モニタは、ピラーの根本近傍に配置されていた。しかし、後側方モニタの配置は、適宜変更可能である。例えば、ステアリングの左右両側に、後側方モニタを配置することが可能である。さらに、電子ミラーシステムは、従来の光学式のドアミラーと共に自車両に設けることが可能である。
上記実施形態における「運転者」は、全ての運転操作を実行している必要はない。例えば、自動運転時において、車載システムによる運転操作を監視している自車両の乗員も「運転者」に含まれ得る。
上記実施形態において、関心領域に設定には多数の情報が用いられていたが、関心領域の設定に使用可能な情報は、上記実施形態にて例示した情報に限定されない。車両に搭載されたあらゆるセンサの検出情報、及び車外から取得可能なあらゆる受信情報を用いて、関心領域の設定は、実行可能である。
上記実施形態において、煩雑領域の各画素の階調データは、拡大画像の階調データによって上書きされていた。しかし、例えば、煩雑領域の画像に拡大画像をオーバーレイさせることにより、背景側となる煩雑領域の画像が拡大画像を通して僅かに透けて見えていてもよい。また、拡大画像は、切出画像をアップスケーリングした画像であってもよい。
上記第一実施形態では、渋滞時において、複数の後続車が拡大表示されていた。このような渋滞時における関心領域は、例えば検知した全ての車両に対して優先順位を付与したうえで、「優先順位n位までの車両」を全て含むよう設定することが可能である。また、渋滞時においては、複数の後続車A1を映す拡大画像に替えて、例えば「!」のような後続車を注意喚起する警告アイコン(図10参照)が表示されてもよい。
上記第一実施形態では、左右の映像加工処理を合わせて説明していたが、画像処理装置は、左右の後側方映像の加工処理を個別に実行可能である。また、上記第二実施形態において、推定される運転シーンとして高速道路を例に説明したが、推定される運転シーンは、高速道路に限定されない。例えば、運転シーンとして市街地が推定され、自転車及び歩行者等を拡大表示することが可能である。或いは、運転シーンとして山坂道が推定され、車道外側線47a(図15参照)を拡大表示することが可能である。
上記第一実施形態では、枠画像44b及び引出線画像45aが共に表示されていた。しかし、これらの画像は、運転者等のユーザ操作によって表示及び非表示が切り替え可能とされてもよい。
上記実施形態において、画像処理装置20の各プロセッサ21,22によって提供されていた機能は、上述のものとは異なるハードウェア及びソフトウェア、或いはこれらの組み合わせによって提供可能である。例えば、本発明による画像処理方法を適用された映像加工処理の一部又は全部は、車両に搭載されたコンビネーションメータ及びナビゲーション装置等に設けられたプロセッサによっても実行可能である。