JP2018129833A - 画像処理装置 - Google Patents

Abstract

【課題】後側方の映像の煩わしさを低減させたうえで、運転者等にとって認識し易い情報提示を実現できる画像処理技術の提供。【解決手段】画像処理装置２０は、自車両Ａに搭載された後側方カメラ５１，５２によって撮影される後側方映像４０Ｒ，４０Ｌを、自車両Ａの車室内に設けられた後側方モニタ６１，６２に表示させる。画像処理装置２０は、後側方映像４０Ｒ，４０Ｌの中に、被撮影物の動きによって煩雑な映像を映し出す煩雑領域４２と、運転者の関心の対象となる関心領域４４とを設定する。画像処理装置２０は、後側方の撮像画像４１Ｒ，４１Ｌのうちの煩雑領域４２に、拡大した関心領域４４の拡大画像４５を貼り付けて、後側方モニタ６１，６２へ出力する。【選択図】図６

Description

本発明は、車両の後側方の映像を車室内の表示器に表示させる技術に関する。

従来、例えば特許文献１には、一般的な画像処理の技術として、ユーザの注目の対象となる注目領域を画像の中に設定し、この注目領域を拡大表示する画像表示装置が開示されている。この画像表示装置は、注目領域の拡大表示により、ユーザの注目するオブジェクトを際立たせることができる。

特開２０１４−１９２７７７号公報

さて近年、車両に設置されるドアミラーの替わりに、車両の後側方を撮影した映像を車室内に設けた表示器に表示させる電子ミラーシステムが開発されている。本発明の発明者らは、こうした電子ミラーシステムの開発に携わる中で、特許文献１に開示のような拡大表示等の画像処理技術の適用により、運転者にとって認識し易い情報提示を行うことができないか検討を重ねた。

そうした開発の中で、本発明の発明者らは、後側方の映像の中には煩雑な映像を映し出す煩雑領域があることに着目した。詳記すると、例えば欧州の速度無制限道路等において、車両が非常に速い速度で移動している場合等、後側方の映像の中には、後方に高速で流れていく防音壁やガードレールといった道路上の静止物体が映り得る。こうした被撮影物の激しい動きは、表示器を視認する運転者等にとって、煩わしく感じられ易い映像となる。

本発明は、このような問題に鑑みてなされたものであって、その目的は、後側方の映像の煩わしさを低減させたうえで、運転者等にとって認識し易い情報提示を実現できる画像処理に係る技術を提供することである。

上記目的を達成するため、開示された一つの発明は、車両（Ａ）に搭載された撮像装置
（５１，５２）によって撮影される車両の後側方の映像（４０Ｒ，４０Ｌ）を、車両の車室内に設けられた表示器（６１，６２）に表示させる画像処理装置であって、撮像装置によって撮像される後側方の撮像画像（４１Ｒ，４１Ｌ）を取得する画像取得部（３１）と、後側方の映像の中に、被撮影物の動きによって煩雑な映像を映し出す煩雑領域（４２）を設定する煩雑領域設定部（３２，２３２）と、後側方の映像の中に、車両の運転者の関心の対象となる関心領域（４４）を設定する関心領域設定部（３４，２３４）と、撮像画像のうちの煩雑領域に、拡大した関心領域の画像（４５）を貼り付けて、表示器へ出力する画像合成部（３５）と、を備える画像処理装置とする。

また、開示された他の一つの発明は、車両（Ａ）に搭載された撮像装置（５１，５２）によって撮影される車両の後側方の映像（４０Ｒ，４０Ｌ）を、車両の車室内に設けられた表示器（６１，６２）に表示させる画像処理方法であって、少なくとも一つのプロセッサ（２１，２２）により実行されるステップとして、撮像装置によって撮像される後側方の撮像画像（４１Ｒ，４１Ｌ）を取得する画像取得ステップ（Ｓ２０１）と、後側方の映像の中に、被撮影物の動きによって煩雑な映像を映し出す煩雑領域（４２）を設定する煩雑領域設定ステップ（Ｓ２０６）と、後側方の映像の中に、車両の運転者の関心の対象となる関心領域（４４）を設定する関心領域設定ステップ（Ｓ２０７）と、撮像画像のうちの煩雑領域に、拡大した関心領域の画像（４５）を貼り付けて、表示器へ出力する画像合成ステップ（Ｓ２０９）と、が含まれる画像処理方法とする。

これらの発明によれば、後側方の映像のうちで、被撮影物の動きによって煩雑な映像となる煩雑領域には、拡大された関心領域の画像が貼り付けられる。故に、表示器に表示される後側方の映像においては、煩雑領域の映像は、関心領域の映像によって覆い隠され得る。加えて、煩雑領域に貼り付けられた関心領域の映像は、拡大表示されているため、運転者の関心の対象を詳細に映し得る。したがって、後側方の映像の煩わしさを低減させたうえで、視認者にとって認識し易い情報提示が実現される。

尚、上記括弧内の参照番号は、本発明の理解を容易にすべく、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、本発明の範囲を何ら制限するものではない。

自車両における左右の後側方カメラ及び後側方モニタの搭載位置を模式的に示す図である。 自車両における運転席周辺のレイアウトを示す図である。 電子ミラーシステムの全体構成を示すブロック図である。 画像処理装置の制御回路に構築される機能ブロックを示す図である。 右後側方を写した撮像画像の一例を示す図である。 右後側方モニタに表示される電子ミラー画像の一例を示す図である。 左後側方を写した撮像画像の一例を示す図である。 左後側方モニタに表示される電子ミラー画像の一例を示す図である。 図１０に示す電子ミラー画像が表示される走行状況を説明するための俯瞰図である。 図９の走行状況において左後側方モニタに表示される電子ミラー画像の一例を示す図である。 図１２に示す電子ミラー画像が表示される走行状況を説明するための俯瞰図である。 図１１の走行状況において左後側方モニタに表示される電子ミラー画像の一例を示す図である。 図１４に示す電子ミラー画像が表示される走行状況を説明するための俯瞰図である。 図１３の走行状況において左後側方モニタに表示される電子ミラー画像の一例を示す図である。 図１６に示す電子ミラー画像が表示される走行状況を説明するための俯瞰図である。 図１５の走行状況において左後側方モニタに表示される電子ミラー画像の一例を示す図である。 左後側方モニタに表示される電子ミラー画像の一例を示す図である。 画像処理装置の制御回路によって実施される映像加工処理を示すフローチャートである。 第二実施形態における制御回路の機能ブロックを示す図である。 第二実施形態における煩雑領域及び関心領域を示す図である。 図２０の各関心領域に映る範囲を比較して示す俯瞰図である。 第二実施形態による映像加工処理を示すフローチャートである。

以下、本発明の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。

（第一実施形態）
本発明が適用される電子ミラーシステム１００は、図１及び図２に示すように、自車両Ａに搭載されている。電子ミラーシステム１００は、各後側方カメラ５１，５２によって撮影される自車両Ａの後側方の映像４０Ｌ，４０Ｒ（図６及び図８等参照）を、各後側方モニタ６１，６２に表示させる。電子ミラーシステム１００は、図３に示すように、通信バス９９に接続されることにより、操作デバイス８１、車載センサ８３、周辺監視装置９１、車載通信装置９３、及びナビゲーション装置９５等と、互いに情報をやり取りすることができる。電子ミラーシステム１００は、各後側方カメラ５１，５２、各後側方モニタ６１，６２、及び画像処理装置２０等によって構成されている。

操作デバイス８１は、例えば運転席と助手席との間に設けられたセンタコンソールに配置されている（図２参照）。操作デバイス８１には、例えば電子ミラーシステム１００に係る設定値が、運転者等によって入力される。操作デバイス８１は、運転者等の入力に基づく入力情報を、通信バス９９へ出力可能である。尚、操作デバイス８１は、例えばステアリングホイールに設けられた押圧スイッチ、センタクラスタに設けられた押圧スイッチ及びダイヤル等であってもよい。

車載センサ８３は、例えば速度センサ、角速度センサ、操舵角センサを少なくとも含む車両に搭載された種々のセンサである。車載センサ８３は、通信バス９９と接続されている。車載センサ８３は、自車両Ａ（図１参照）の走行速度、ヨーレート、操舵角等の自車両Ａの走行状態に係る計測情報を、通信バス９９へ出力可能である。

周辺監視装置９１は、複数の外界センサと周辺監視ＥＣＵ（Electronic Control Unit）とを少なくとも含む構成である。外界センサは、周辺監視カメラ９２、ミリ波レーダ、準ミリ波レーダ、ライダ、及びソナー等を含むことが可能である。周辺監視カメラ９２は、前方カメラ、後方カメラ、左右のカメラ等を含むことが可能である。周辺監視装置９１は、歩行者、人間以外の動物、自転車、オートバイ、及び他の車両のような移動物体、さらに路上の落下物、交通信号、ガードレール、縁石、道路標識、道路標示、区画線、及び樹木のような静止物体を検出する。周辺監視装置９１は、通信バス９９と接続されている。周辺監視装置９１は、他の車両を含む検出物の相対位置を示す他車位置情報、走行中の車線が走行車線及び追越車線のいずれかという自車線情報等を、監視情報として通信バス９９へ出力可能である。

車載通信装置９３は、自車両Ａと外部との無線通信を可能にするＶ２Ｘ（vehicle to X）のための車載器である。車載通信装置９３は、通信バス９９及び無線通信のためのアンテナと接続されている。具体的に、車載通信装置９３は、自車両Ａ（図１参照）の周囲に位置する他の車両の車載通信装置との間で、無線通信による車車間通信を行うことができる。車載通信装置９３は、道路脇に設置された路側機との間で、無線通信による路車間通信を行うことができる。車載通信装置９３は、例えばＶＩＣＳ（登録商標）情報として、渋滞情報及び交通規制情報等を受信できる。車載通信装置９３は、通信バス９９上に出力された自車両Ａの情報を、他の車両及び路側機へ送信可能である。車載通信装置９３は、他の車両及び路側機から受信した受信情報を、通信バス９９へ出力可能である。

ナビゲーション装置９５は、ＧＮＳＳ（Global Navigation Satellite System）受信機、ジャイロセンサ等の慣性センサ、地図データを格納するメモリ、及びナビゲーションＥＣＵを備えている。ナビゲーション装置９５は、ＧＮＳＳ受信機によって受信する複数の人工衛星からの信号と、慣性センサの計測結果とを組み合わせることにより、自車両Ａ（図１参照）の位置を測位する。ナビゲーション装置９５は、測位した位置情報に基づき、メモリから自車両Ａの周囲の地図データを読み出すことで、自車両Ａの走行している道路の形状情報及び制限速度情報を取得する。加えてナビゲーション装置９５は、自車両Ａの走行している道路が高速道路であるか一般道路であるかといった道路の種別情報を取得する。ナビゲーション装置９５は、自車両Ａの位置情報、道路形状情報、制限速度情報、及び道路種別情報等を通信バス９９へ出力可能である。

後側方カメラ５１，５２は、入射する光を電気信号に変換する撮像素子と、撮像素子へ光を入射させる光学系と、撮像素子及び光学系を制御する制御ユニットとを少なくとも含む構成である。撮像素子としては、ＣＣＤ（Charge-Coupled Device）イメージセンサ、及びＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等が使用可能である。後側方カメラ５１，５２は、画像処理装置２０と接続されている。後側方カメラ５１，５２は、図１に示す自車両Ａの車室外において、左右のサイドミラーの近傍に配置されている。後側方カメラ５１，５２は、自車両Ａの左右のドアに固定されていてもよく、又は撮像素子の撮像面の向きを調整可能に各ドアに取り付けられていてもよい。

右後側方カメラ５１は、自車両Ａの周囲のうちで、進行方向右側の側方及び後方（以下、右後側方）の範囲を、所定のフレームレート（例えば、毎秒３０フレーム）で撮影する。左後側方カメラ５２は、自車両Ａの周囲のうちで、進行方向左側の側方及び後方（以下、左後側方）の範囲を、所定のフレームレートで撮影する。後側方カメラ５１，５２はそれぞれ、連続して撮影される一連の撮像画像４１Ｒ，４１Ｌ（図５及び図７参照）の画像データを、映像信号として画像処理装置２０へ逐次出力する。

後側方モニタ６１，６２は、有機ＥＬ（OLED（Organic Light-Emitting Diode））ディスプレイ又は液晶ディスプレイ等の表示デバイスと、表示デバイスの各画素を制御する制御ユニット等とを少なくとも含む構成である。後側方モニタ６１，６２は、画像処理装置２０と接続されている。後側方モニタ６１，６２は、図２に示す自車両Ａの車室内において、ウインドシールド１８の両側に位置する各ピラーの根本に配置されている。後側方モニタ６１，６２は、インスツルメントパネル１９に固定されていてもよく、又は、表示面の向きを調整可能にインスツルメントパネル１９に取り付けられていてもよい。

右後側方モニタ６１は、画像処理装置２０から出力される映像信号に基づき、右後側方カメラ５１（図１参照）によって撮影された自車両Ａの右後側方の映像を表示する。左後側方モニタ６２は、画像処理装置２０から出力される映像信号に基づき、左後側方カメラ５２（図１参照）によって撮影された自車両Ａの左後側方の映像を表示する。

画像処理装置２０は、図３に示すように、メインプロセッサ２１、描画プロセッサ２２、書き換え可能な不揮発性のメモリ２３、情報の入出力を行う入出力インターフェース２４、及びこれらを接続するバスを少なくとも含む制御回路２０ａを備えている。画像処理装置２０は、各後側方カメラ５１，５２から映像信号を取得し、各後側方モニタ６１，６２へ出力する。画像処理装置２０は、メモリ２３に記憶されたプログラムを各プロセッサ２１，２２によって実行することにより、図４に示す複数の機能ブロック（３１〜３８）を構築可能である。

次に、電子ミラーシステム１００によって各後側方モニタ６１，６２に表示される左右の後側方映像４０Ｒ，４０Ｌの詳細を、図５〜図８に基づいて、図３を参照しつつ説明する。

図５に示す右後側方カメラ５１による撮像画像４１Ｒは、右後側方カメラ５１から画像処理装置２０へ出力される加工前の右後側方映像４０Ｒの１フレームである。撮像画像４１Ｒは、図６に示す電子ミラー画像４９Ｒのように画像処理され、右後側方モニタ６１に映される右後側方映像４０Ｒの１フレームとして、画像処理装置２０から右後側方モニタ６１へ出力される。

図７に示す左後側方カメラ５２による撮像画像４１Ｌは、左後側方カメラ５２から画像処理装置２０へ出力される加工前の左後側方映像４０Ｌの１フレームである。撮像画像４１Ｌは、図８に示す電子ミラー画像４９Ｌのように画像処理され、左後側方モニタ６２に映される左後側方映像４０Ｌの１フレームとして、画像処理装置２０から左後側方モニタ６２へ出力される。

以上の図５及び図７に示す加工前の各後側方映像４０Ｒ，４０Ｌには、煩雑領域４２、低情報量領域４３、及び関心領域４４が設定可能である。

煩雑領域４２は、各後側方映像４０Ｒ，４０Ｌの中で、被撮影物の動きによって煩雑な映像を映し出す領域である。被撮影物は、運転者の関心の対象となるような重要な有体物ではなく、例えばガードレール、防音壁、及び樹木等の道路脇に連続して立ち並ぶ立設物である。これらの立設物を含む側方の風景は、自車両Ａの走行により、煩雑領域４２中を後方へ向けて高速で流れる。その結果、各後側方映像４０Ｒ，４０Ｌの各煩雑領域４２には、フレーム間において激しい変化が生じる。煩雑領域４２の激しい表示の変化は、運転者を誘目し、運転者に煩わしさを感じさせる。

低情報量領域４３は、各後側方映像４０Ｒ，４０Ｌの中で、隣接車線の道路の路面、路側帯、及び空等を映す領域である。低情報量領域４３には、煩雑領域４２と同様に、並走車、二輪車、自転車、歩行者等、運転者の関心の対象となるような重要な被撮影物が実質的に存在しない。各後側方映像４０Ｒ，４０Ｌにおいて、各低情報量領域４３は、フレーム間での変化が非常に少ない領域となる。尚、自車両Ａの進行方向に対し傾斜方向に伸びる白線が複数連続して描かれた路面は、低情報量領域４３ではなく、煩雑領域４２に該当し得る。

関心領域４４は、各後側方映像４０Ｒ，４０Ｌの中で、運転者の関心の対象となる重要な有体物を映し出す領域である。関心領域４４に映る被撮影物には、例えば自車両Ａの後方を走行する後続車Ａ１、緊急自動車Ｑ１（図９参照）、及び幅員の狭い山坂道における車道外側線４７ａ（図１５参照）等が含まれる。各後側方映像４０Ｒ，４０Ｌの中には、複数の関心領域４４が設定可能である。複数の関心領域４４が設定される場合、各関心領域４４には、優先度が付与される。

図５〜図８に示すように、関心領域４４に含まれる範囲は、切出画像４４ａとして各撮像画像４１Ｒ，４１Ｌから切り出される。切出画像４４ａは、煩雑領域４２及び低情報量領域４３の論理和となる範囲の大きさに合わせて、縦横のアスペクト比を実質的に維持したまま、拡大される。切出画像４４ａを拡大した拡大画像４５は、煩雑領域４２及び低情報量領域４３を隠すように、これらの領域に貼り付けられる。その結果、各後側方モニタ６１，６２へ出力される電子ミラー画像４９Ｒ，４９Ｌが生成される。

電子ミラー画像４９Ｒ，４９Ｌには、枠画像４４ｂ及び引出線画像４５ａが描画されている。枠画像４４ｂは、矩形の枠状に表示されており、切出画像４４ａの切り出される関心領域４４の外縁を示している。引出線画像４５ａは、枠画像４４ｂの角部から拡大画像４５の角部へ向けて直線状に延伸している。引出線画像４５ａは、関心領域４４と拡大画像４５との繋がりを示している。

以上の各後側方映像４０Ｒ，４０Ｌでは、関心領域４４に映る後続車Ａ１が拡大表示されていた。後側方映像４０Ｒ，４０Ｌにおいて、後続車Ａ１等の遠方の物体は、非常に小さく映る。故に、運転者は、後続車Ａ１の有無や相対速度の判断が難しく、遠方から高速で追い抜いてくる後続車Ａ１を認識し難い。そのため、後続車Ａ１の拡大表示は、運転者にとって有益な情報提示となり得る。

ここで、各後側方映像４０Ｒ，４０Ｌにおいて、煩雑領域４２及び低情報量領域４３に重畳される映像の被撮影物は、後続車Ａ１でなくてもよい。以下、後続車Ａ１以外を拡大表示する後側方映像４０Ｒ，４０Ｌの他の表示態様を、図９〜図１６に基づいて説明する。尚、図９及び図１１等の俯瞰図において、ドットにて示す範囲は、各カメラによって撮影可能な範囲を模式的に示している。

図９及び図１０に示すように、自車両Ａの右後側方に後続車としての緊急自動車Ｑ１（救急車）が存在する場合、右後側方カメラ５１による左後側方映像４０Ｌにおいて、緊急自動車Ｑ１を含む範囲が関心領域４４とされる。その結果、右後側方映像４０Ｒには、緊急自動車Ｑ１が拡大表示される（図６参照）。一方、左後側方カメラ５２による左後側方映像４０Ｒには、緊急自動車Ｑ１は写らない。しかし、右後側方映像４０Ｒには、緊急自動車Ｑ１を報知する報知画像４５ｅが煩雑領域４２等に重ねて表示される。報知画像４５ｅには、緊急自動車Ｑ１を報知する緊急車両アイコン４５ｂ、運転者に注意を促す警告アイコン４５ｃ、及び緊急自動車Ｑ１の位置を示す矢印アイコン４５ｄ等が含まれている。左後側方映像４０Ｌは、右後側方映像４０Ｒとは異なる表示により、運転者を惑わせることなく、緊急自動車Ｑ１の位置を報知することが可能となる。

以上の表示の変形例として、緊急自動車Ｑ１は、救急車に限定されず、警察車両及び消防車等であってもよい。また、市街地を走行している場合に左後方から自転車が接近した場合、電子ミラーシステム１００は、右後側方映像４０Ｒ（図６参照）の煩雑領域４２等に、自転車の存在を報知する報知画像を重畳表示可能である。さらに、後続車Ａ１等が存在しない場合、電子ミラーシステム１００は、車線の逸脱警報及びブラインドスポットウォーニング等の注意喚起を行う警告アイコン含む報知画像を、各煩雑領域４２等に重畳表示可能である。

図１１に示すように、例えば右方向に湾曲したカーブにおいて自車両Ａの後方に後続車Ａ１が存在する場合、この後続車Ａ１は、左後側方カメラ５２の撮像範囲から外れることとなる。しかし、前走車Ａ２を追い越そうと自車両Ａが左側の車線へ移動する場合、自車両Ａの運転者は、自車両Ａと同様に左側の車線へ移動する可能性のある後続車Ａ１に注意を払う必要がある。こうした状況下では、後続車Ａ１の警告は、図１２に示す左後側方映像４０Ｌによって行われることが望ましい。

そのため、左後側方映像４０Ｌの煩雑領域４２等には、周辺監視カメラ９２の後方カメラ９２ｂ（図１１参照）によって撮像される周囲画像４６の一部が貼り付けられる。詳記すると、後方カメラ９２ｂは、自車両Ａの周囲のうちで後側方とは異なる範囲として、自車両Ａの後方の範囲を撮影することができる。故に、後方カメラ９２ｂは、カーブ走行時においても、自車両Ａと同一の車線を走行する後続車Ａ１を捉えることが可能である。よって、後方カメラ９２ｂにて撮影される映像の中に関心領域を設定すれば、後続車Ａ１を含む切出画像１４４ａの切り出しが実現される。この切出画像１４４ａは、撮像画像４１Ｌに映る被撮影物の一部（例えば区画線４６ａ）を含むように、周囲画像４６から切り出される。以上により、後続車Ａ１を拡大した拡大画像１４５が、左後側方映像４０Ｌに重畳表示される。

図１３及び図１４に示すように、例えば渋滞時において自車両Ａの後方に複数の後続車Ａ１が存在する場合、左後側方映像４０Ｌは、複数の後続車Ａ１を纏めて、煩雑領域４２等に拡大表示することが可能である。左後側方映像４０Ｌに表示される拡大画像１４５は、複数の後続車Ａ１を含むよう周囲画像４６から切り出される切出画像１４４ａを拡大した画像である。こうした切出画像１４４ａを取得するため、関心領域は、後方カメラ９２ｂの周囲画像４６において、複数の後続車Ａ１を囲む範囲に設定される。尚、拡大画像１４５は、後方カメラ９２ｂの周囲画像４６から切り出された切出画像１４４ａと、左後側方カメラ５２の撮像画像４１Ｌから切り出された切出画像４４ａ（図７参照）とを組み合わせることにより生成されてもよい。

図１５及び図１６に示すように、例えば幅員の狭い山坂道を自車両Ａが走行している場合、左後側方映像４０Ｌは、車道外側線４７ａを拡大した俯瞰画像４７を拡大表示可能である。俯瞰画像４７は、周辺監視カメラ９２の左側方カメラ９２ｃによって撮像される周囲画像４６を、自車両Ａの真上から見下ろしたように視点変換した画像の一部である。左側方カメラ９２ｃは、撮像面を下向きにした姿勢にて左ドア等に固定されている。左側方カメラ９２ｃは、左後側方カメラ５２よりも自車両Ａの左側を広範囲に撮影することができる。視点変換された周囲画像４６において、車道外側線４７ａを含む自車両Ａの左前輪近傍が関心領域４４とされる。俯瞰画像４７は、幅員の狭い車線内における自車両Ａの位置の確認を容易にする。尚、周囲画像４６の視点変換は、図３に示す周辺監視装置９１及び画像処理装置２０のいずれによっても実施可能である。

図１７に示すように、電子ミラーシステム１００は、所定のマスク画像４８によって煩雑領域４２を覆った右後側方映像４０Ｒを、右後側方モニタ６１に表示することができる。尚、左後側方映像４０Ｌ（図７参照）の煩雑領域４２をマスク画像４８で覆うことも、当然に可能である。

以上説明した種々の後側方映像４０Ｒ，４０Ｌを各後側方モニタ６１，６２に表示させるために、画像処理装置２０の制御回路２０ａに構築される機能ブロック（３１〜３６）の詳細を、図４に基づき、図３，図５〜図８を参照しつつ、以下説明する。

画像取得部３１は、各後側方カメラ５１，５２によって撮像される後側方の撮像画像４１Ｒ，４１Ｌを取得する。加えて画像取得部３１は、周辺監視装置９１の周辺監視カメラ９２によって撮像される周囲画像４６（図１２等参照）を取得可能である。さらに画像取得部３１は、路側機に取り付けられたカメラによって撮影された画像、及び他の車両の車載カメラによって撮像された受信画像等を、車載通信装置９３を通じて取得することが可能である。

煩雑領域設定部３２は、画像取得部３１により時系列に沿って取得される一連の撮像画像４１Ｒ，４１Ｌを画像解析することにより、各後側方映像４０Ｒ，４０Ｌにおいて煩雑領域４２となる範囲を設定する。具体的に、煩雑領域設定部３２は、連続する撮像画像４１Ｒ，４１Ｌにおけるオプティカルフローを演算する。煩雑領域設定部３２は、オプティカルフローを元にした時間方向の勾配情報から、被撮影物の動きの速い煩雑領域４２を規定する。煩雑領域設定部３２は、走行速度等の計測情報、周囲を走行する他の車両に係る監視情報、及び画像解析による物体認識の結果等を統合することにより、運転者の関心対象となる有体物の存在しない領域に、煩雑領域４２を設定可能である。

低情報量領域設定部３３は、各後側方映像４０Ｒ，４０Ｌにおいて、低情報量領域４３となる範囲を設定する。低情報量領域設定部３３は、煩雑領域設定部３２と同様に、情報取得部３６によって取得された複数の情報を統合することにより、運転者の関心対象となる有体物の存在しない領域に、低情報量領域４３を設定可能である。

関心領域設定部３４は、各後側方映像４０Ｒ，４０Ｌにおいて、運転者の関心対象となる有体物の存在する範囲に、関心領域４４を設定する。関心領域設定部３４は、監視情報に含まれる自車線情報及び他車位置情報、画像解析による後続車Ａ１等の物体認識の結果、並びにナビゲーション装置９５による道路形状情報等を用いて、関心領域４４を設定することが可能である。さらに関心領域設定部３４は、受信情報に含まれる渋滞発生情報及び制限速度情報、計測情報に含まれる走行速度、計測情報に含まれる操舵角及びヨーレートから算出される走行軌跡情報等を、関心領域４４の設定に用いることが可能である。例えば関心領域設定部３４は、画像解析を用いた物体認識により、緊急自動車Ｑ１（図９参照）、一般車両、自転車等の識別を行うことができる。

関心領域設定部３４は、後続車Ａ１を含むように関心領域４４を設定する場合、関心領域４４とする範囲を調整可能である。具体的に、各撮像画像４１Ｒ，４１Ｌにおける後続車Ａ１の位置は、道路形状によって変化する。故に、関心領域設定部３４は、各撮像画像４１Ｒ，４１Ｌの画像解析の結果、道路形状情報、及び走行軌跡情報等に基づき、上り坂、下り坂、及び左右のカーブといった道路形状に合わせて、関心領域４４の位置を上下左右に動かす調整を行う。関心領域設定部３４は、関心領域４４を後続車Ａ１に追従させるこができる。

関心領域設定部３４は、周辺監視カメラ９２による映像等にも、関心領域４４を設定することができる。加えて関心領域設定部３４は、各後側方映像４０Ｒ，４０Ｌ及び周辺監視カメラ９２の映像に、複数の関心領域４４を設定可能である。関心領域設定部３４は、複数の関心領域４４を設定した場合、各関心領域４４に優先度を付与する。優先度は、緊急自動車Ｑ１（図９参照）の映る関心領域４４が最も高く、次に自車両Ａ（図１１参照）との相対速度の大きい後続車Ａ１の映る関心領域４４、次に通常の後続車Ａ１の映る関心領域４４、となるよう設定されている。車道外側線４７ａ（図１５参照）の優先度は、後続車Ａ１よりも低い。

画像合成部３５は、各撮像画像４１Ｒ，４１Ｌ及び周囲画像４６（図１２参照）から、関心領域４４とされた範囲を、切出画像４４ａ，１４４ａ（図１２参照）として切り出す。画像合成部３５は、複数の関心領域４４が設定されていた場合には、最も優先度の高い関心領域４４の範囲を、切出画像４４ａ，１４４ａとして切り出す。画像合成部３５は、煩雑領域４２及び低情報量領域４３の論理和の面積に合わせて、切出画像４４ａ，１４４ａを拡大し、拡大画像４５，１４５（図１２参照）を生成する。画像合成部３５は、拡大画像４５，１４５に加えて、枠画像４４ｂ及び引出線画像４５ａを、煩雑領域４２及び低情報量領域４３に貼り付けることで、電子ミラー画像４９Ｒ，４９Ｌ（図６及び図８参照）を生成する。画像合成部３５は、拡大画像４５，１４５を貼り付ける領域として、煩雑領域４２及び低情報量領域４３のうちで、煩雑領域４２を優先する。

画像合成部３５（図１７参照）は、拡大画像４５，１４５に替えて、報知画像４５ｅ（図１０参照）及び所定のマスク画像４８を煩雑領域４２及び低情報量領域４３に貼り付けることにより、電子ミラー画像４９Ｒ，４９Ｌ（図６及び図８参照）を生成可能である。また画像合成部３５は、煩雑領域４２及び低情報量領域４３の合計の面積が所定値を下回る場合には、拡大画像４５及び報知画像４５ｅ等を貼り付けることなく、撮像画像４１Ｒ，４１Ｌを電子ミラー画像４９Ｒ，４９Ｌとする。画像合成部３５は、各電子ミラー画像４９Ｒ，４９Ｌを、各後側方モニタ６１，６２へ出力する。

情報取得部３６は、車載センサ８３による計測情報、周辺監視装置９１による監視情報、車載通信装置９３による受信情報、ナビゲーション装置９５による置情報及び道路形状情報等を、通信バス９９から取得する。情報取得部３６によって取得された情報は、上述したように、各領域設定部３２〜３４により、各領域４２〜４４の設定に用いられる。

以上の各機能ブロックによって実現される映像加工処理の詳細を、図１８に基づき、図３，図５〜図８を参照しつつ説明する。図１８のフローチャートに示される処理は、電子ミラーシステム１００の電源がオン状態とされ、画像処理装置２０への電力供給が開始されたことに基づいて、制御回路２０ａによって開始される。制御回路２０ａは、電子ミラーシステム１００の電源がオフ状態とされるまで、図１８に示す処理を繰り返す。

Ｓ１０１では、各撮像画像４１Ｒ，４１Ｌを取得し、Ｓ１０２へ進む。Ｓ１０１では、取得可能な周囲画像４６がある場合において、この周囲画像４６の取得を行う。Ｓ１０２では、各領域４２〜４４の設定に要する情報として、計測情報及び監視情報等を通信バス９９から取得し、Ｓ１０３へ進む。Ｓ１０３では、Ｓ１０１及びＳ１０２にて取得した画像及び情報に基づき、煩雑領域４２及び低情報量領域４３を設定し、Ｓ１０４へ進む。

Ｓ１０４では、煩雑領域４２及び低情報量領域４３の論理和の面積が、所定値以上か否かを判定する。Ｓ１０４にて、煩雑領域４２及び低情報量領域４３を足し合わせた面積が所定値未満であると判定した場合、Ｓ１０５へ進む。Ｓ１０５では、各撮像画像４１Ｒ，４１Ｌをそれぞれ各電子ミラー画像４９Ｒ，４９Ｌとし、Ｓ１１１へ進む。

Ｓ１０４にて、煩雑領域４２及び低情報量領域４３を足し合わせた面積が所定値以上であると判定した場合、Ｓ１０６へ進む。Ｓ１０６では、Ｓ１０１及びＳ１０２にて取得した画像及び情報から、関心領域４４を設定し、Ｓ１０７へ進む。Ｓ１０６では、優先度を付与された複数の関心領域４４を設定可能である。

Ｓ１０７では、煩雑領域４２及び低情報量領域４３に貼り付ける画像を選定し、Ｓ１０８へ進む。Ｓ１０７では、主にＳ１０６にて設定された優先度に基づき、貼り付けの対象とされる画像を、拡大画像４５，１４５、報知画像４５ｅ、俯瞰画像４７等の中から選定する。Ｓ１０８では、Ｓ１０７にて選定された画像が有るか否かを判定する。Ｓ１０６にて関心領域４４が設定されず、且つ、報知画像４５ｅ及び俯瞰画像４７等も取得されていない場合には、Ｓ１０８にて、選定された画像が無いと判定し、Ｓ１０９へ進む。Ｓ１０９では、煩雑領域４２等にマスク画像４８を貼り付けることにより、各電子ミラー画像４９Ｒ，４９Ｌを生成し、Ｓ１１１へ進む。

Ｓ１０８にて、選定された画像が有ると判定した場合、Ｓ１１０に進む。Ｓ１１０では、Ｓ１０７にて選定された拡大画像４５，１４５、報知画像４５ｅ、俯瞰画像４７等のいずれか一つを煩雑領域４２等に貼り付けることにより、各電子ミラー画像４９Ｒ，４９Ｌを生成し、Ｓ１１１へ進む。Ｓ１１１では、生成された各電子ミラー画像４９Ｒ，４９Ｌを各後側方モニタ６１，６２へ出力し、Ｓ１０１へ戻る。

ここまで説明した第一実施形態のような電子ミラーシステム１００では、各後側方モニタ６１，６２が車室内に設置されている。故に、後側方モニタ６１，６２に映る後側方映像４０Ｌ，４０Ｒは、光学式のドアミラーに映る反射像よりも、中心視に近い位置にて運転者に視認される。そのため、後側方映像４０Ｌ，４０Ｒにおける被撮影物の速い動きは、運転者によって煩わしく感じられ易くなる。加えて、所定のフレームレートで撮影された後側方映像４０Ｌ，４０Ｒでは、所謂ストロボ効果により、例えば連続して立ち並ぶ立設物が、本来の移動方向とは逆方向に移動していかのように表示され得る。こうした不自然な映像は、運転者によって煩わしく感じられ易い。

そこで第一実施形態では、後側方映像４０Ｒ，４０Ｌの煩雑領域４２に、拡大された関心領域４４の拡大画像４５，１４５が貼り付けられる。故に、煩雑領域４２の映像は、関心領域４４の映像によって覆い隠される。加えて、煩雑領域４２に貼り付けられた関心領域４４の映像は、拡大表示されているため、運転者の関心の対象として重要な後続車Ａ１等を詳細に映し得る。したがって、後側方映像４０Ｒ，４０Ｌの煩わしさを低減させたうえで、運転者等の視認者にとって認識し易い情報提示が実現される。

加えて第一実施形態によれば、煩雑領域４２だけでなく低情報量領域４３も、拡大画像４５，１４５の貼り付けが可能な領域とされる。このように貼り付け可能な領域が広く確保されれば、拡大画像４５，１４５は、さらに大きく拡大されて、後側方映像４０Ｒ，４０Ｌに貼り付けられる。したがって、後側方映像４０Ｒ，４０Ｌは、運転者にとってさらに認識容易な情報提示を行うことができる。

また第一実施形態によれば、拡大画像４５，１４５等は、煩雑領域４２に優先的に貼り付けられる。故に、煩雑領域４２は、拡大画像４５，１４５等によって確実に覆い隠され得る。以上によれば、拡大画像４５，１４５等を貼り付ける対象領域に低情報量領域４３が加えられたとしても、後側方映像４０Ｒ，４０Ｌの煩わしさを低減させる効果は、確実に発揮される。

さらに第一実施形態のように、後側方映像４０Ｒ，４０Ｌを画像解析すれば、現在取得されている一連の撮像画像４１Ｒ，４１Ｌにおいて、煩わしい表示となっている範囲は、悉く煩雑領域４２として設定され得る。こうして設定された煩雑領域４２に拡大画像４５，１４５等が貼り付けられることで、後側方映像４０Ｒ，４０Ｌの煩わしさを低減させる効果は、確実に発揮される。

加えて第一実施形態の関心領域４４は、後続車Ａ１を含むように設定可能である。故に、後側方映像４０Ｒ，４０Ｌは、遠方から自車両Ａに接近する後続車Ａ１を、拡大表示によって分かり易く示し得る。以上のように、後側方映像４０Ｒ，４０Ｌは、後続車Ａ１への注意を運転者に確実に促すことができる。

また第一実施形態によれば、複数の関心領域４４に優先度を設定する処理により、運転者にとって有益且つ重要な情報を含む関心領域４４が優先的に各後側方映像４０Ｒ，４０Ｌに貼り付けられる。以上のように、貼り付けられる画像を絞る調停処理により、後側方映像４０Ｒ，４０Ｌを煩雑な表示にしてしまう事態は、回避され得る。加えて後側方映像４０Ｒ，４０Ｌは、貼り付けられる画像の数が絞られることで、運転者にとって有益且つ重要と考えられる情報のみを、分かり易く提示できる。

さらに第一実施形態では、関心領域４４が設定されない場合でも、煩雑領域４２は、マスク画像４８によって覆い隠される。故に、後側方映像４０Ｒ，４０Ｌの煩わしさを低減させる効果は、確実に発揮されるようになる。尚、マスク画像４８の貼り付けに替えて、例えば煩雑領域４２の映像をぼかす処理が実施可能である。こうした処理によっても、煩雑領域４２の映像の煩わしさを低減させる効果は、発揮可能となる。

加えて第一実施形態では、各後側方カメラ５１，５２以外の周辺監視カメラ９２等から取得した周囲画像４６にも、関心領域４４が設定可能とされている。故に、電子ミラーシステム１００は、各後側方カメラ５１，５２の撮影範囲外にて生じる有益且つ重要な情報も、運転者に分かり易く提示可能となる。

また第一実施形態では、周囲画像４６から切出画像１４４ａが切り出される場合、撮像画像４１Ｒ，４１Ｌに写る区画線４６ａの一部が、拡大画像１４５にも含まれている。故に、運転者等の視認者は、拡大画像１４５の切り出された大まかな位置を把握し得る。以上のように、周囲画像４６に関心領域４４を設定する場合には、撮像画像４１Ｒ，４１Ｌに映る被撮影物の少なくとも一部が、切出画像１４４ａにも含まれるようにすることが望ましい。

尚、第一実施形態において、メインプロセッサ２１及び描画プロセッサ２２が特許請求の範囲に記載の「プロセッサ」に相当し、拡大画像４５が特許請求の範囲に記載の「拡大した関心領域の画像」に相当する。また、右後側方カメラ５１及び左後側方カメラ５２が特許請求の範囲に記載の「撮像装置」に相当し、右後側方モニタ６１及び左後側方モニタ６２が特許請求の範囲に記載の「表示器」に相当する。さらに、後方カメラ９２ｂ及び左側方カメラ９２ｃが特許請求の範囲に記載の「他の撮像装置」に相当する。そして、Ｓ１０１が特許請求の範囲に記載の「画像取得ステップ」に相当し、Ｓ１０３が特許請求の範囲に記載の「煩雑領域設定ステップ」に相当する。さらに、Ｓ１０６が特許請求の範囲に記載の「関心領域設定ステップ」に相当し、Ｓ１１０が特許請求の範囲に記載の「画像合成ステップ」に相当する。

（第二実施形態）
図１９〜図２２に示す本発明の第二実施形態は、第一実施形態の変形例である。第二実施形態では、第一実施形態とは異なる処理が制御回路２０ａによって実施される。制御回路２０ａには、第一実施形態と実質同一の画像取得部３１及び情報取得部３６に加えて、シーン推定部２３７、拡大要否判定部２３８、煩雑領域設定部２３２、関心領域設定部２３４、及び画像合成部２３５が機能ブロックとして構築される。以下、各機能ブロックの詳細を、図１９〜図２１に基づき、図３を参照しつつ説明する。尚、以下の左後側方映像４０Ｌについての内容は、右後側方映像４０Ｒ（図３参照）についても、当然に適用可能である。

シーン推定部２３７は、情報取得部３６によって取得される情報に基づき、運転者が自車両Ａを走行させている運転シーンを推定する。具体的に、シーン推定部２３７は、ナビゲーション装置９５による道路種別情報及び走行速度の計測情報等に基づき、自車両Ａが高速道路（Expressway，Autobahn，Autoroute等を含む）を走行中か否かを判定する。

拡大要否判定部２３８は、シーン推定部２３７によって自車両Ａが高速道路を走行していると判定された場合に、関心領域４４の拡大表示の要否を判定する。拡大要否判定部２３８は、自車両Ａの後方の見通しが良く、且つ、自車両Ａよりも高速で追い抜きを行う後続車Ａ１が存在しそうな状況において、拡大表示が必要であるとの要判定を行う。

詳記すると、拡大要否判定部２３８による拡大表示の要否判定のために、情報取得部３６は、車載通信装置９３からのＶＩＣＳ情報、ナビゲーション装置９５からの制限速度情報、車載センサ８３からの走行速度の計測情報等を取得する。拡大要否判定部２３８は、ＶＩＣＳ情報等に基づき、走行中の道路が混雑していない状況であるか否かを推定する。拡大要否判定部２３８は、自車両Ａの走行速度と走行中の道路の最低制限速度とを比較し、走行速度が最低制限速度以上であれば、走行中の道路が渋滞していない状況であると推定する。拡大要否判定部２３８は、自車両Ａの走行速度と走行中の道路の最高制限速度とを比較し、走行速度が最高制限速度未満であれば、自車両Ａよりも高速で走行する後続車Ａ１が存在すると推定する。拡大要否判定部２３８は、走行中の道路が混雑及び渋滞でない状況であり、且つ、高速で走行する後続車Ａ１が存在すると推定した場合に、拡大表示の要判定を行う。

煩雑領域設定部２３２は、シーン推定部２３７によって推定される運転シーンと関連付けられた位置に、煩雑領域４２を設定する。煩雑領域設定部２３２は、シーン推定部２３７によって高速道路を走行中と推定された場合には、後側方映像４０Ｌのうちで予め定められた範囲を、煩雑領域４２とする。煩雑領域設定部２３２は、自車両Ａが高速道路を走行している場合、中央分離帯及び防音壁等の重要でない物体の映る範囲を、煩雑領域４２とする。具体的には、撮像画像４１Ｌにおいて、自車両Ａの幅方向の外側且つ上側の所定の範囲が、煩雑領域４２とされる。

関心領域設定部２３４は、シーン推定部２３７によって推定される運転シーンと関連付けられた位置に、関心領域４４を設定する。関心領域設定部２３４は、シーン推定部２３７によって高速道路を走行中と推定された場合に、後側方映像４０Ｌのうちで、後続車Ａ１が含まれ得る範囲を、関心領域４４とする。関心領域４４は、例えば、縦６０ピクセル，横８０ピクセルというように、縦横に所定のピクセル数を有する長方形の領域とされる。関心領域４４とされる長方形領域のアスペクト比は、煩雑領域４２のアスペクト比と実質同一とされる。関心領域設定部２３４は、例えば長方形領域の左上の隅部を基準位置として、関心領域４４とする長方形領域の位置を移動させることが可能である。加えて関心領域設定部２３４は、関心領域４４の大きさを拡縮させることが可能である。

詳記すると、関心領域設定部２３４は、図２１に示すように、自車両Ａの後方に特定の距離（以下、拡大後方距離）離れた位置にある車線を拡大するように、関心領域４４を設定する。関心領域設定部２３４は、下記の式１に基づき拡大後方距離を増減することが可能である。
（式１） 拡大後方距離（ｍ）＝｛最高制限速度−走行速度｝（ｍ／ｓ）×設定値（ｓ）
上記の式１において、現在走行している道路の最高制限速度と、自車両Ａの走行速度との差分は、周囲の後続車Ａ１が自車両Ａを追い抜く際の相対速度を推定した値である。また設定値は、運転者等のユーザによって操作デバイス８１へ入力される値であって、入力情報として情報取得部３６により取得される時間（秒数）の値である。運転者は、後続車Ａ１による追い抜きの何秒前に当該後続車Ａ１を確認したいかの嗜好に応じて、設定値を変更することが可能である。

当初の拡大後方距離は、例えば２秒後に追い抜いてくる後続車Ａ１が主に関心領域４４
（４４ｉ）に含まれるよう、設定される。そして、自車両Ａの走行速度が制限速度から低速側に乖離すると、関心領域設定部２３４は、自車両Ａからさらに離れた後続車Ａ１が含まれるよう、拡大後方距離を延長する。これにより、例えば５秒後に追い抜いてくる後続車Ａ１が含まれるよう、関心領域４４（４４ｓ）となる範囲は調整される。

関心領域設定部２３４は、第一実施形態と同様に、道路形状情報及び走行軌跡情報等に基づき、上り坂、下り坂、及び左右のカーブといった道路形状に合わせて、関心領域４４の位置を上下左右に動かす調整を行う。これにより、例えばカーブ走行時においても、関心領域設定部２３４は、例えば５秒後に追い抜いてくる後続車Ａ１を含むように、関心領域４４（４４ｃ）の位置を調整できる。

画像合成部２３５は、拡大要否判定部２３８によって拡大表示の要判定がなされている場合に、撮像画像４１Ｌから、関心領域４４とされた範囲を、切出画像４４ａとして切り出す。画像合成部２３５は、所定の煩雑領域４２の面積に合わせて切出画像４４ａを拡大する。画像合成部２３５は、切出画像４４ａの拡大によって図８に示す拡大画像４５を作成し、枠画像４４ｂ及び引出線画像４５ａと共に煩雑領域４２に貼り付けることにより、電子ミラー画像４９Ｌ（図８参照）を生成する。

以上の各機能ブロックによって実現される第二実施形態の映像加工処理の詳細を、図２２に基づき、図１９を参照しつつ説明する。

Ｓ２０１では、各撮像画像４１Ｌを取得し、Ｓ２０２へ進む。Ｓ２０２では、煩雑領域４２及び関心領域４４の設定に要する情報として、ＶＩＣＳ情報、計測情報、及び制限速度情報等を通信バス９９から取得し、Ｓ２０３へ進む。Ｓ２０３では、Ｓ２０２にて取得した情報に基づき、自車両Ａが高速道路を走行中か否かを判定する。Ｓ２０３にて、自車両Ａが高速道路ではなく、一般道路を走行していると判定した場合には、Ｓ２０４へ進む。Ｓ２０４では、拡大表示を実施しない後側方映像４０Ｌを表示するため、各撮像画像４１Ｌをそれぞれ各電子ミラー画像４９Ｌ（図８参照）とし、Ｓ２１０へ進む。

Ｓ２０３にて、高速道路を走行中であると判定した場合には、Ｓ２０５へ進む。Ｓ２０５では、拡大表示が必要か否かを判定する。Ｓ２０５では、走行中の道路が混雑や渋滞の状況ではなく、且つ、自車両Ａが後続車Ａ１よりも遅い速度で走っている場合に、拡大表示が必要と判定される。Ｓ２０５にて、拡大表示を不要と判定した場合には、Ｓ２０４に進む。一方で、Ｓ２０５にて、拡大表示を必要と判定した場合には、Ｓ２０６へ進む。Ｓ２０６では、予め定められた位置に煩雑領域４２を設定し、Ｓ２０７へ進む。Ｓ２０７では、制限速度情報、走行速度の計測情報、及び運転者の設定値に基づく拡大後方距離等から関心領域４４とする範囲を算出及び設定し、Ｓ２０８へ進む。

Ｓ２０８では、Ｓ２０７による演算により関心領域４４が設定可能であったか否かを判定する。例えば道路形状に起因して後続車Ａ１が撮像画像４１Ｌからフレームアウトしている場合等、Ｓ２０８にて、関心領域４４の設定が困難であると判定した場合には、Ｓ２０４へ進む。一方で、Ｓ２０８にて、関心領域４４の設定が可能であると判定した場合には、Ｓ２０９へ進む。

Ｓ２０９では、各撮像画像４１Ｌから関心領域４４を切り出した切出画像４４ａを、煩雑領域４２の大きさに合わせてアスペクト比を維持しつつ拡大することで、拡大画像４５を生成する。そして、生成した拡大画像４５を煩雑領域４２に貼り付けることにより、各電子ミラー画像４９Ｌ（図８参照）とし、Ｓ２１０へ進む。Ｓ２１０では、Ｓ２０４又はＳ２０９にて生成した各電子ミラー画像４９Ｌを、各後側方モニタ６２へ出力する。以上により、後側方モニタ６２には、後側方映像４０Ｌが表示される。

ここまで説明した第二実施形態でも、第一実施形態と同様の効果を奏することにより、後側方映像４０Ｒ，４０Ｌの煩わしさを低減させたうえで、運転者等の視認者にとって認識し易い情報提示が実現される。加えて、第二実施形態のように、高速道路における後方遠方領域の拡大という用途に特化することにより、画像処理装置２０の実現性が向上する。

また第二実施形態では、煩わしい表示となる範囲が運転シーンによって特定され得ることに着目したことで、運転シーンと関連付けられた位置に煩雑領域４２が設定される。こうした処理によれば、高度な画像処理を実施しなくても、煩雑領域４２の高精度な設定が実現される。したがって、後側方の映像の煩わしさを低減させる効果を確保したうえで、画像処理のための負荷を軽減することが可能となる。

さらに第二実施形態では、煩雑領域４２だけでなく、関心領域４４についても、運転シーンと関連付けられた位置に設定される。これにより、関心領域４４を抽出する画像処理を不要としつつ、関心領域４４の高精度な設定が実現される。その結果、運転者にとって認識し易い情報提示を実現したうえで、画像処理のための負荷を軽減することが可能となる。

加えて第二実施形態によれば、操作デバイス８１への入力によって設定値が変更されると、関心領域設定部２３４は、関心領域４４とする範囲の位置及び大きさを変えることで、拡大表示される後続車Ａ１の位置を調整する。加えて、関心領域設定部２３４は、推定される後続車Ａ１と自車両Ａとの相対速度に合わせて、関心領域４４とする範囲を変えることができる。以上のような関心領域４４の位置調整によれば、電子ミラーシステム１００は、運転者にとって認識し易いタイミングで、後続車Ａ１についての情報提示を行うことができる。

尚、第二実施形態において、Ｓ２０１が特許請求の範囲に記載の「画像取得ステップ」に相当し、Ｓ２０６が特許請求の範囲に記載の「煩雑領域設定ステップ」に相当する。そして、Ｓ２０７が特許請求の範囲に記載の「関心領域設定ステップ」に相当し、Ｓ２０９が特許請求の範囲に記載の「画像合成ステップ」に相当する。

（他の実施形態）
以上、本発明による複数の実施形態について説明したが、本発明は、上記実施形態に限定して解釈されるものではなく、本発明の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

上記実施形態において、電子ミラーシステムは、各後側方カメラの各撮影画像だけでなく、「他の映像」を撮影する周辺監視カメラの周囲画像からも、一部の画像を切り出して、各後側方映像に貼り付けることが可能であった。しかし、電子ミラーシステムは、車載通信装置によって受信した他の車両の車載カメラの映像及び路側機に設定されたカメラの映像に関心領域を設定し、これらの映像を構成する１フレームの画像の一部を、拡大表示することが可能である。

上記実施形態において、各後側方モニタは、ピラーの根本近傍に配置されていた。しかし、後側方モニタの配置は、適宜変更可能である。例えば、ステアリングの左右両側に、後側方モニタを配置することが可能である。さらに、電子ミラーシステムは、従来の光学式のドアミラーと共に自車両に設けることが可能である。

上記実施形態における「運転者」は、全ての運転操作を実行している必要はない。例えば、自動運転時において、車載システムによる運転操作を監視している自車両の乗員も「運転者」に含まれ得る。

上記実施形態において、関心領域に設定には多数の情報が用いられていたが、関心領域の設定に使用可能な情報は、上記実施形態にて例示した情報に限定されない。車両に搭載されたあらゆるセンサの検出情報、及び車外から取得可能なあらゆる受信情報を用いて、関心領域の設定は、実行可能である。

上記実施形態において、煩雑領域の各画素の階調データは、拡大画像の階調データによって上書きされていた。しかし、例えば、煩雑領域の画像に拡大画像をオーバーレイさせることにより、背景側となる煩雑領域の画像が拡大画像を通して僅かに透けて見えていてもよい。また、拡大画像は、切出画像をアップスケーリングした画像であってもよい。

上記第一実施形態では、渋滞時において、複数の後続車が拡大表示されていた。このような渋滞時における関心領域は、例えば検知した全ての車両に対して優先順位を付与したうえで、「優先順位ｎ位までの車両」を全て含むよう設定することが可能である。また、渋滞時においては、複数の後続車Ａ１を映す拡大画像に替えて、例えば「！」のような後続車を注意喚起する警告アイコン（図１０参照）が表示されてもよい。

上記第一実施形態では、左右の映像加工処理を合わせて説明していたが、画像処理装置は、左右の後側方映像の加工処理を個別に実行可能である。また、上記第二実施形態において、推定される運転シーンとして高速道路を例に説明したが、推定される運転シーンは、高速道路に限定されない。例えば、運転シーンとして市街地が推定され、自転車及び歩行者等を拡大表示することが可能である。或いは、運転シーンとして山坂道が推定され、車道外側線４７ａ（図１５参照）を拡大表示することが可能である。

上記第一実施形態では、枠画像４４ｂ及び引出線画像４５ａが共に表示されていた。しかし、これらの画像は、運転者等のユーザ操作によって表示及び非表示が切り替え可能とされてもよい。

上記実施形態において、画像処理装置２０の各プロセッサ２１，２２によって提供されていた機能は、上述のものとは異なるハードウェア及びソフトウェア、或いはこれらの組み合わせによって提供可能である。例えば、本発明による画像処理方法を適用された映像加工処理の一部又は全部は、車両に搭載されたコンビネーションメータ及びナビゲーション装置等に設けられたプロセッサによっても実行可能である。

２０ 画像処理装置、３１ 画像取得部、３２，２３２ 煩雑領域設定部、３３ 低情報量領域設定部、３４，２３４ 関心領域設定部、３５，２３５ 画像合成部、３６ 情報取得部、２３７ シーン推定部、４０Ｒ 右後側方映像（後側方の映像）、４０Ｌ 左後側方映像（後側方の映像）、４１Ｒ，４１Ｌ 撮像画像、４２ 煩雑領域、４３ 低情報量領域、４４ 関心領域、４５ 拡大画像（画像）、４６ 周囲画像、４８ マスク画像、５１ 右後側方カメラ（撮像装置）、５２ 左後側方カメラ（撮像装置）、６１ 右後側方モニタ（表示器）、６２ 左後側方モニタ（表示器）、１４４ａ 切出画像、Ａ 自車両、Ａ１ 後続車

上記目的を達成するため、開示された一つの発明は、車両（Ａ）に搭載された撮像装置（５１，５２）によって撮影される車両の後側方の映像（４０Ｒ，４０Ｌ）を、車両の車室内に設けられた表示器（６１，６２）に表示させる画像処理装置であって、撮像装置によって撮像される後側方画像（４１Ｒ，４１Ｌ）を取得する画像取得部（３１）と、画像取得部によって取得した後側方画像において、被撮影物の動きによって煩雑な映像を映し出す煩雑領域（４２）を少なくとも一部含む領域に対し、加工処理を加え、表示器へ表示する画像を出力する画像描画部と、を備える画像処理装置とする。

この発明によれば、後側方の映像の煩わしさを低減させたうえで、視認者にとって認識し易い画像処理装置が実現される。

Claims (15)

1. 車両（Ａ）に搭載された撮像装置（５１，５２）によって撮影される前記車両の後側方の映像（４０Ｒ，４０Ｌ）を、前記車両の車室内に設けられた表示器（６１，６２）に表示させる画像処理装置であって、
   前記撮像装置によって撮像される後側方の撮像画像（４１Ｒ，４１Ｌ）を取得する画像取得部（３１）と、
   前記後側方の映像の中に、被撮影物の動きによって煩雑な映像を映し出す煩雑領域（４２）を設定する煩雑領域設定部（３２，２３２）と、
   前記後側方の映像の中に、前記車両の運転者の関心の対象となる関心領域（４４）を設定する関心領域設定部（３４，２３４）と、
   前記撮像画像のうちの前記煩雑領域に、拡大した前記関心領域の画像（４５）を貼り付けて、前記表示器へ出力する画像合成部（３５）と、を備えることを特徴とする画像処理装置。
2. 前記画像合成部は、前記煩雑領域に加えて、前記運転者の関心の対象が実質的に存在しない低情報量領域（４３）にも、拡大した前記関心領域の画像を貼り付けることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像合成部は、前記関心領域の画像を貼り付ける領域として、前記煩雑領域及び前記低情報量領域のうちで、前記煩雑領域を優先することを特徴とする請求項２に記載の画像処理装置。
4. 前記煩雑領域設定部（３２）は、前記画像取得部によって取得される一連の前記撮像画像を画像解析することにより、前記後側方の映像における前記煩雑領域を設定することを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記運転者が前記車両を走行させている運転シーンを推定するシーン推定部（２３７）、をさらに備え、
   前記煩雑領域設定部（２３２）は、前記シーン推定部によって推定される前記運転シーンと関連付けられた位置に、前記煩雑領域を設定することを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
6. 前記関心領域設定部（２３４）は、前記シーン推定部によって推定される前記運転シーンと関連付けられた位置に、前記関心領域を設定することを特徴とする請求項５に記載の画像処理装置。
7. 前記関心領域設定部は、前記車両の後方を走行する後続車（Ａ１）が含まれるよう前記関心領域を設定することを特徴とする請求項１〜６のいずれか一項に記載の画像処理装置。
8. 前記関心領域設定部は、前記車両の走行速度が現在走行中の道路の最高制限速度から低速側に乖離するに従い、当該車両から離れた前記後続車が含まれるよう、前記関心領域とする範囲を調整することを特徴とする請求項７に記載の画像処理装置。
9. 前記関心領域に映る前記後続車までの距離を増減させる設定値、の入力情報を取得する情報取得部（３６）、をさらに備え、
   前記関心領域設定部は、前記情報取得部によって取得された前記設定値に応じて、前記関心領域とする範囲を調整することを特徴とする請求項７又は８に記載の画像処理装置。
10. 前記関心領域設定部は、複数の前記関心領域を設定した場合に、各前記関心領域に優先度を付与し、
    前記画像合成部は、複数の前記関心領域のうちで前記優先度の高い関心領域を、前記煩雑領域に貼り付けることを特徴とする請求項１〜９のいずれか一項に記載の画像処理装置。
11. 前記画像合成部は、前記関心領域設定部によって前記関心領域が設定されない場合には、前記煩雑領域を隠すマスク画像（４８）を、当該煩雑領域に貼り付けることを特徴とする請求項１〜１０のいずれか一項に記載の画像処理装置。
12. 前記画像取得部は、前記車両の周囲のうちで後側方とは異なる範囲を撮影する他の撮像装置（９２ｂ，９２ｃ）から、周囲画像（４６）を取得し、
    前記関心領域設定部は、前記他の撮像装置によって撮影される他の映像の中に、前記関心領域を設定することを特徴とする請求項１〜１１のいずれか一項に記載の画像処理装置。
13. 前記関心領域設定部は、前記他の映像の中に前記関心領域を設定する場合に、前記撮像画像に映る被撮影物の一部が前記周囲画像から切り出される切出画像（１４４ａ）に含まれるよう、前記関心領域の範囲を設定することを特徴とする請求項１２に記載の画像処理装置。
14. 請求項１〜１３のいずれか一項に記載の画像処理装置と、
    前記後側方の映像を前記画像処理装置へ出力する前記撮像装置と、
    前記画像処理装置から出力される前記後側方の映像を表示する前記表示器と、を備える電子ミラーシステム。
15. 車両（Ａ）に搭載された撮像装置（５１，５２）によって撮影される前記車両の後側方の映像（４０Ｒ，４０Ｌ）を、前記車両の車室内に設けられた表示器（６１，６２）に表示させる画像処理方法であって、
    少なくとも一つのプロセッサ（２１，２２）により実行されるステップとして、
    前記撮像装置によって撮像される後側方の撮像画像（４１Ｒ，４１Ｌ）を取得する画像取得ステップ（Ｓ１０１，Ｓ２０１）と、
    前記後側方の映像の中に、被撮影物の動きによって煩雑な映像を映し出す煩雑領域（４２）を設定する煩雑領域設定ステップ（Ｓ１０３，Ｓ２０６）と、
    前記後側方の映像の中に、前記車両の運転者の関心の対象となる関心領域（４４）を設定する関心領域設定ステップ（Ｓ１０６，Ｓ２０７）と、
    前記撮像画像のうちの前記煩雑領域に、拡大した前記関心領域の画像（４５）を貼り付けて、前記表示器へ出力する画像合成ステップ（Ｓ１１０，Ｓ２０９）と、が含まれることを特徴とする画像処理方法。

Images