JP2019113720A - 車両周辺表示制御装置 - Google Patents

Abstract

【課題】 車両後方を含む車両周辺の画像を表示する場合に、車両運行上重要な対象についての識別性は確保しつつ、他の重要度の低い対象についての視認性を効果的に低下させることができる車両周辺表示制御装置を提供する。【解決手段】 車両周辺表示制御装置は、視線方向情報取得部５２と、視野範囲判定部１０３と、運転者の視線が、運転者が表示領域を周辺視する視野範囲にあると判定されると、縦方向の画素配置である画素列について、縦方向における平滑化処理を実施する画像平滑化処理部１０８と、平滑化画像を表示領域に表示するための表示制御処理を実施する表示制御処理部１０９と、を有する。表示領域は、例えば電子サイドミラーの役割を果たしてもよい。【選択図】 図３

Description

本発明は、例えば自動車等の車両に搭載される車両用周辺表示制御装置等に関する。

いわゆる電子ミラーといった車両周辺表示装置において、例えば、ディスプレイをダッシュボード上部に設置した場合、運転者は小さな視線移動でディスプレイを視認できる利点がある。

しかし、前方を注視している場合であっても周辺視野内で表示映像が動く様子が見えることにより、運転者はディスプレイへ受動的に注意を引かれ、煩わしさを感じたり注意配分が不適切になったりする場合があり得る点は否定できない。

そこで、運転者がディスプレイを見ていないと推定されるときに表示映像を画像処理するなどして視認性を低下させることにより運転者の注意を引きにくくし、煩わしさを低減することが提案されている（特許文献１、特許文献２）。

特許文献１では、視認性の低下のために、表示器の輝度を低下させており、特許文献２では、表示映像を鮮明ではなくし、あるいは非表示としている。

特開２０１４−２２９９９７号公報 特開平６−２３３３０６号公報

特許文献１では表示器の制御によって視認性を低下させており、特許文献２では画像処理によって視認性を低下させている。

しかしながら、いずれの例でも、表示映像の視認性が一様に低下してしまう。特に、視認性の低下が著しい場合には、車両運行上重要な対象（例えば、衝突リスクがある、追い越し車線にある後続車等の移動体）であっても、見えづらくなったり、あるいは、まったく見えなくなったりすることによって、運転者の注意を引かなくなる、といった不都合が生じる可能性があることは否定できず、この点については、改善の余地がある。

本発明は、車両後方を含む車両周辺の画像を表示する場合に、車両運行上重要な対象についての識別性は確保しつつ、他の重要度の低い対象についての視認性を効果的に低下させることができる車両周辺表示制御装置を提供することを目的とする。

本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。

以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。

第１の態様において、車両周辺表示制御装置は、
車両の後方を含む車両周辺の画像を表示領域に実像又は虚像として表示する際の、前記車両周辺の画像の視認性を制御する車両周辺表示制御装置であって、
運転者の視線方向情報を取得する視線方向情報取得部と、
運転者が前記表示領域を直接に見ることができる視野範囲を第１の範囲とし、前記第１の範囲に隣接し、前記運転者が前記表示領域を周辺視する視野範囲を第２の範囲とする場合に、前記視線方向情報に基づいて、前記運転者の視線が、前記第２の範囲にあるか否かを判定する視野範囲判定部と、
前記車両周辺の画像が複数の画素で構成され、前記複数の画素が、実空間における前記車両の幅方向に対応する横方向の画素配置である画素行と、前記横方向に直交する縦方向の画像配置である画素列と、で構成される場合に、前記運転者の視線が、前記第２の範囲にあると判定されると、前記画素列について、縦方向における平滑化処理を実施する画像平滑化処理部と、
前記縦方向における平滑化処理がなされた後の平滑化画像を、前記表示領域に表示するための表示制御処理を実施する表示制御処理部と、
を有する。

第１の態様では、運転者の視線が、運転者が表示領域を周辺視する視野範囲にあると判定されると、画像平滑化処理部が、縦方向の画素配置である画素列について、縦方向における平滑化処理を実施し、表示制御処理部が、平滑化画像を表示領域に表示するための表示制御処理を実施する。

車両周辺画像（例えば、車両の後方画像）において、画素値の縦方向における変化が平滑化される場合（言い換えれば、縦方向にぼかしがかかる場合）、車両の周囲の移動物体（追い越し車線にある車両等）については、運転者から見た視覚的な動きが、主として横方向の動き（例えば、車両を追い越そうとして、横に広がるように、斜め前方に進行しつつ車両に接近してくるような動き）であることから、縦方向への画素値変化が平滑化されても、横方向への急峻な画素値の変化は残る。したがって、視覚的な動きの目立ちやすさは、平滑化処理の後も残る。

一方、車両の直後にある路面や、後方かつ遠方の後続車や背景となる風景等は、運転者から見た視覚的な動きは、主に縦方向（消失点に向かう）なので、縦方向への画素値の変化が平滑化されると、視覚的な動きは目立たなくなる。

結果として、移動物体の視覚的な動きの抑制には制限がかかり、それ以外の物体の視覚的な動きについては効果的に抑制されることになり、よって、車両運行上重要な、特に移動物体についての視覚的な動きの情報は残しつつ、運転者が感じる煩わしさを低減することができる。言い換えれば、車両後方を含む車両周辺の画像を表示する場合に、車両運行上重要な対象についての識別性は確保しつつ、他の重要度の低い対象についての視認性を効果的に低下させることが可能となる。

第１の態様に従属する第２の態様において、
前記縦方向における平滑化処理は、縦方向における畳み込み処理としてもよい。

第２の態様では、畳み込み（コンボルーション）による画像処理によって、縦方向の画素値変化を平滑化することができる。

第１又は第２の態様に従属する第３の態様において、
前記画像平滑化処理部は、前記縦方向における平滑化処理に加えて、前記車両周辺の画像の、最新の画像と過去の画像とを用いた時間的平滑化処理を実施してもよい。

第３の態様では、縦方向の平滑化処理に加えて、時間的平滑化処理も実施する。例えば、道路の端部にガードレールの支柱が連続的に配置されるような場合、後方を撮像した動画中で、道路端部に配置されている多数の支柱（及び、追い越し車線付近の路面や背景）の像が繰り返し横方向へ流れることによって、好ましくない視覚的動きが生じる場合がある。このとき、支柱や路面等が消失点に向かって流れていく動きが横方向であるため、その視覚的な動きは、縦方向の平滑化処理（縦方向のぼかし処理）では十分には平滑化できないことが想定される。

上述のとおり、移動物体も横方向の視覚的な動きをしており、この点で、上記のガードレールの支柱や路面等とは共通であるが、但し、移動物体は自身が移動していることから、車両（運転者が搭乗している自車両）との相対速度は小さく（言い換えれば、時間的な画像の変化が小さく）、これに対して、支柱や路面等は静止物体であることから相対速度は大きい（言い換えれば、画像の時間的な変化が大きい）という違いがある。

ここで、最新の画像と過去の画像とを用いた時間的平滑化処理を行うと、単位時間あたりの画素値変動が大きな対象ほど平滑化の度合いが強くなることから、相対的な動きが大きい支柱や路面等については、輪郭が、よりぼかされることになり、一方、画像の変化が小さい移動物体については、ぼかしが制限されて、その輪郭が残され、また、背景に対して、その輪郭が際立つという効果も得ることができる。

したがって、縦方向の平滑化処理と、時間的な平滑化処理とを併用することによって、移動物体のような、車両運行上、重要な対象についての識別性（視認性）は確保しつつ、重要性の低い対象（例えば、消失点に向かって、横方向に流れていくガードレールの支柱や路面等の静止物体）については、より効果的にぼかして、運転者が感じる煩わしさを、より低減することができる。

第３の態様に従属する第４の態様では、
前記画像平滑化処理部は、前記車両の走行速度が所定閾値以上である場合に、前記所定閾値未満である場合よりも、前記時間的平滑化処理を、より長時間にわたって実施してもよい。

第４の態様では、車両（運転者が搭乗する自車両）の移動速度に応じて、時間的平滑化処理に差を設ける。例えば、車両が高速で走行している場合は、より平滑化期間の長い時間的平滑化処理を実施する。時間方向に平滑化する期間を長くすると、自車両との相対速度が大きな対象ほど輪郭がぼけやすくなる。自車両が比較的高速で走行している場合は、静止物体との相対速度が比較的大きく、移動物体（後続車等）との相対速度が比較的小さくなるので、このとき時間方向に平滑化する期間を長くすることによって、静止物体がより大きくぼけ、一方、移動物体（後続車等）が際立つこととなり、より好ましい視認性制御が実現される。

第１乃至第４のいずれか１つの態様に従属する第５の態様において、
前記画像平滑化処理部は、前記車両の運転シーンが視認性制御に適さない運転シーンである場合、前記運転者の視線位置が頻繁に変更されて不安定と判断される場合、前記運転者の生体情報に基づいて前記運転者が高い緊張状態にあると判断される場合、悪天候や夜間であることで表示が見えにくい状態であると判断される場合、の少なくとも１つを含む視認性制御の不適要因がある場合においては、前記平滑化処理を実施しない、又は、前記運転者の視線の変化を無視してもよい。

第５の態様では、運転シーンが視認性制御に適さない場合（例えば、右折や左折時）、運転者の視線が不安定と判断される場合、生体情報（例えば、運転者の腕に巻かれた脈拍計から得られる脈拍情報）に基づいて高い緊張状態にあると判断される場合、悪天候や夜間等で表示が見えにくい状態であると判断される場合等を含む、制御不適要因があるときには、平滑化処理によるぼかし処理を実施せず、又は、運転者の視線の変化を無視するといった措置をとる。この場合、現状の視認性が維持される。よって、例えば、不要な視認性制御が実施されることが防止される。

第１乃至第５のいずれか１つの態様に従属する第６の態様において、
前記表示領域は、前記運転者の前方に配置される表示器の実像の表示領域であってもよく、又は、ヘッドアップディスプレイ（ＨＵＤ）装置における虚像の表示領域であってもよい。

第６の態様では、車両周辺画像の表示は、運転者の前方に配置される表示器（液晶ディスプレイ等の各種ディスプレイ、複合的な表示板等を含み、広く解釈するものとする）によって実現されてもよく、また、ヘッドアップディスプレイ（ＨＵＤ）装置を用いて実現されてもよい。これによって、実像及び虚像の少なくとも一方を用いて、車両後方等の撮像画像の表示を適切に行うことができ、したがって、運転者の利便性が格段に向上する。

第１乃至第６のいずれか１つの態様に従属する第７の態様において、
前記表示領域は、前記車両の後方を撮像した画像を表示する電子ミラーとしての表示領域であってもよい。

第７の態様では、車両周辺画像の表示領域は、電子ドアミラー等の電子ミラーとしての機能を有する。言い換えれば、車両周辺表示制御装置は、電子ミラーシステムにおける画像処理機能を有する要部（例えば、画像処理装置）として構成されてもよい。例えば、車両の後方（後側方も含むものとする）の少なくとも１つをカメラ（撮像部）により撮像して得られる画像を、例えば車両の内部の表示領域に、実像又は虚像として表示することで、電子ドアミラーの機能を実現することができる。

当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。

図１（Ａ）は、電子ドアミラーとしての表示領域（ここではディスプレイの表示面）の配置の一例を示す図、図１（Ｂ）は、電子ドアミラーとしての表示領域の他の配置例を示す図である。 図２（Ａ）は、車両における周辺撮像カメラ（後方撮像カメラ）の配置例と後方撮像範囲を示す図、図２（Ｂ）は、視野範囲を、表示領域を基準とした第１視野範囲（直接視野Ａ）、第２視野範囲（周辺視野Ｂ）、第３視野範囲（視野外Ｃ）に区分する場合の一例を示す図である。 図３（Ａ）は、車両周辺画像制御装置に関係する、車両におけるハードウエアの構成例を示す図、図３（Ｂ）は、車両周辺画像制御装置の構成例を示す図である。 図４は、縦方向の平滑化処理(縦方向のぼかし処理)を実施する場合の処理手順の一例を示すフローチャートである。 図５（Ａ）は、後方撮像画像における対象物の動きの例を示す図、図５（Ｂ）〜図５（Ｄ）は、縦方向の平滑化処理（縦方向のぼかし処理）における、カーネル（コンボリューション行列）を用いた演算の一例を示す図である。 図６（Ａ）は、平滑化処理によるぼかしの効果を実証するための後方画像（平滑化処理前）の一例を示す図。図６（Ｂ）は、後方画像における、運転者から見た対象物（ここでは、路面、及び自車両を追い越そうとしている後続車）の視覚的動きを説明するための図である。 図７（Ａ）は、図６（Ａ）の後方画像を再掲した図、図７（Ｂ）は、縦方向の平滑化処理を施した後の平滑化画像の一例を示す図である。 図８（Ａ）は、時間的な平滑化処理（モーションブラー処理）を単独で施した場合の、処理後の平滑化画像の一例を示す図、図８（Ｂ）は、縦方向の平滑化処理に加えて、時間的な平滑化処理（モーションブラー処理）を施した場合の、処理後の平滑化画像の一例を示す図である。 図９は、縦方向の平滑化処理と、時間的な平滑化処理（モーションブラー処理）とを併用する場合における、処理手順の一例を示すフローチャートである。 図１０は、視認性制御の不適要因を考慮した場合の、平滑化処理の手順の一例を示す図である。

以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。

本発明の車両周辺表示制御装置は、好ましくは、車両の側方、側後方、後方の少なくとも１つ（これらに限定されるものではなく、例えば車両の上方や下方を撮像する場合を含んでもよい）をカメラ（撮像部）により撮像して得られる画像を、車両の内部の表示領域に、実像又は虚像として表示することができる、いわゆる電子ミラー（電子サイドミラーあるいは電子ドアミラー）として機能する表示部（あるいは表示領域）の表示制御（特に、画像処理）を行うものである。電子ミラーは、車室内に設置された電子的に画像を表示可能なリアビューミラー又はリアビューモニターと呼ぶことができる。なお、車両は、乗り物の一種であり、広く解釈するものとする。但し、画像は、１つのコンテンツ単位で形成されてもよく、画像は、カメラとは無関係に得られてもよい。

（第１の実施形態）
図１を参照する。図１（Ａ）は、電子ドアミラーとしての表示領域（ここではディスプレイの表示面）の配置の一例を示す図、図１（Ｂ）は、電子ドアミラーとしての表示領域の他の配置例を示す図である。

図１（Ａ）に示されるように、ステアリングホイール（広義には、ハンドル）７の前方、かつダッシュボード１１の上側に、ステアリングホイール７を挟むようにして２個のディスプレイ（例えば、液晶表示器）１５Ｌ、１５Ｒが設けられており、このディスプレイ（表示器：表示パネルや複合表示パネル等も含む広義の概念である）１５Ｌ、１５Ｒによって、電子ドアミラー（あるいは電子サイドミラー）として機能する表示部２が構成される。

また、ダッシュボード１１の、２個のディスプレイ（表示器）１５Ｌ、１５Ｒに挟まれた領域の略中央の位置に、運転者の視線方向の検出に用いることができる撮像部としてのカメラ（運転者撮像カメラ、瞳撮像カメラ等）が配置されている。また、車両周辺画像撮像カメラ（ここでは、左側電子ドアミラー用の後方撮像カメラ３Ｌ、右側電子ドアミラー用の後方撮像カメラ３Ｒ）が設けられている。

表示部（表示領域）の配置には、種々のバリエーションがある。ここで、図１（Ｂ）を参照する。図１（Ｂ）において、符号ＥＳＭ（Ｌ）、ＥＳＭ（Ｒ）は、それぞれ左側及び右側の電子ミラー表示領域を示す。図１（Ｂ）では、２つのディスプレイ１５Ｌ、１５Ｒ（言い換えれば実像の表示領域）と、例えばヘッドアップディスプレイ（ＨＵＤ）装置による虚像の表示領域ＶＣＬ、ＶＣＲと、が記載されているが、これに限定されるものではなく、少なくともいずれか一方を用いることができる。

なお、符号１２５はバックミラー（車両室内の中心線（図示せず）付近に配置されて、車両のリアウィンドウを介して車両の真後ろを主として写すリアビューミラー）を示す。各表示領域の配置を、運転者１が適宜、調整できるようにしてもよい。また、各表示領域を、運転環境に応じて変化させる（例えば、夜間においては、運転者の視野範囲が狭くなることから、２つの表示領域の間隔を昼間よりも狭くする）ことも可能である。

図２を参照する。図２（Ａ）は、車両における周辺撮像カメラ（後方撮像カメラ）の配置例と後方撮像範囲を示す図、図２（Ｂ）は、視野範囲を、表示領域を基準とした第１視野範囲（直接視野Ａ）、第２視野範囲（周辺視野Ｂ）、第３視野範囲（視野外Ｃ）に区分する場合の一例を示す図である。

図２（Ａ）に示されるように、車両（自車両）１０の両側部には、従来のドアミラーに代えて、あるいは、ドアミラー（図示せず）と共に、車両周辺撮像カメラ３（ここでは、左側電子ドアミラー用の後方撮像カメラ３Ｌ、右側電子ドアミラー用の後方撮像カメラ３Ｒ）が取り付けられている。

図２（Ｂ）には、車両１０の運転者１を上方から見た平面視における視野範囲の区分の一例が示されている。

ここで、運転者１の視線の向きを基準とした場合、運転者の周辺視野範囲（周辺視野領域）は、例えば、視線の向きから左右とも１５度以上１００度未満、上方向８度以上５０度未満、下方向１２度以上７０度未満の範囲ということができる。

図２（Ｂ）の例では、上記の周辺視野範囲を考慮しつつ、右側のディスプレイ１５Ｒを基準として、運転者１の視野範囲を区分している。右側のディスプレイ１５Ｒを直接に見ることができる視野範囲を第１の範囲（範囲Ａ）とし、第１の範囲に隣接し、右側のディスプレイ１５Ｒを見ている運転者１が周辺視する視野範囲を第２の範囲（範囲Ｂ）とし、第２の範囲に隣接し、右側のディスプレイ１５Ｒを見ている運転者１には見えない視野範囲を第３の範囲（範囲Ｃ）とする。

言い換えれば、運転者１の視線が、第２の範囲（範囲Ｂ）にあるときは、右側のディスプレイ１５Ｒは、運転者１の周辺視野にある、ということになる。したがって、図２（Ｂ）の例では、運転者１の視線が第２の範囲（範囲Ｂ）にあるときに、平滑化処理による視認性制御が実施される。

次に、図３を参照する。図３（Ａ）は、車両周辺画像制御装置に関係する、車両におけるハードウエアの構成例を示す図、図３（Ｂ）は、車両周辺画像制御装置の構成例を示す図である。

図３（Ａ）において、制御装置６では、記憶部６１、ＣＰＵ６２、メモリ６３、入出力インターフェース６４が、データバス６５を介して接続されている。記憶部５１には、視線検出処理用プログラムＰ１、画像平滑化処理用プログラムＰ２、表示制御処理用プログラムＰ３が格納されている。これらのプログラムがＣＰＵ６２によって実行されることで、図３（Ｂ）に示されるような機能ブロックが構成される。

次に、図３（Ｂ）を参照する。車両周辺表示制御装置（車両周辺表示制御部）１００は、運転者撮像カメラ４からの撮像信号に基づいて、運転者１の視線方向の情報を取得（検出）する視線方向取得部５２と、視線がどの視野範囲にあるかを判定する視野範囲判定部１０３と、視線の移動方向の情報（視線移動方向情報）を取得（検出）する視線移動方向取得部１０４と、運転状況判定部１０６と、画像平滑化処理部１０８（ここでは、表示制御処理部１０９を含むものとする）と、を有する。

運転状況判定部１０６には、一例として、車両周辺撮像カメラ３の撮像信号が入力され、また、車両を統括的に制御すると共に、各種の車両情報等を収集するＥＣＵ（電子制御ユニット）５６からの各種の情報（図４（Ｂ）では、操舵角情報、前照灯のオン／オフ等を示す照明情報を例示している）が入力され、また、生体情報検出部（例えば、運転者１の腕に取り付けられる脈拍計）５８からの生体情報（脈拍情報等）が入力されてもよい。

画像平滑化処理部１０８は、縦方向の平滑化処理（あるいは、さらに時間的平滑化処理）を実施する。表示制御処理部１０９は、例えば、表示器１５０（１５０Ｌ、１５０Ｒ）及びＨＵＤ装置２００の少なくとも一方の表示制御を実行する。なお、ＨＵＤ装置２００における表示制御は、例えば、光源２００の発光輝度の制御により実現される。また、表示制御処理部１０９は、画像平滑化処理部１０８とは別に設けてもよい。

次に、図４を参照する。図４は、縦方向の平滑化処理(縦方向のぼかし処理)を実施する場合の処理手順の一例を示すフローチャートである。図４に示されるように、縦方向の平滑化処理は、視線検出処理Ｓ１と、画像平滑化処理（画像処理）Ｓ２と、表示制御処理Ｓ３とに大別される。視認性制御処理機能がオンされている状態では、これら一連の処理は、車両周辺表示制御装置１００に電源が供給されなくなるまで、繰り返し実行される。

ここで、視線検出処理Ｓ１は、入力された画像に対して画像認識を実施することによって画像内の人物の顔領域を特定し視線の向きを検出する処理である。車両周辺撮像カメラ３から出力される運転者の顔画像の画像信号を入出力インターフェース５４経由でメモリ５３に展開し（ステップＳ１１）、画像認識を実施することにより、運転者の視線の向きを検出する（ステップＳ１２）。

画像処理Ｓ２は、入力された画像に対して各種演算を実施することで性質が異なる画像を出力する処理である。車両周辺撮像カメラ３からの後方画像の画像信号を、メモリ５３に展開し（ステップＳ２１）、平滑化処理によって、車両運行上重要でない対象の視覚的動きを抑制した画像（平滑化画像、言い換えれば、視覚的動き抑制画像）を生成して出力する（ステップＳ２２）。平滑化処理の詳細については後述する。

表示制御処理Ｓ３は、表示部２へ出力する画像信号を選択する処理である。運転者の視線の向きから運転者の周辺視野領域（例えば、視線の向きを基準に左右とも１５度以上１００度未満、上方向８度以上５０度未満、下方向１２度以上７０度未満の範囲）を推定あるいは検出し（ステップＳ３１）、周辺視野領域内にディスプレイ２が存在するか否かを判定し、言い換えれば、視野範囲判定部１０３が、図２（Ｂ）で示した第２の範囲（周辺視野範囲Ｂ）に視線があるか否かを判定し（ステップＳ３２）、Ｙの場合は、平滑化画像（視覚的動き抑制画像）を、入出力インターフェース５４経由して、ディスプレイ（表示器）１５０（１５０Ｒ、１５０Ｌ）及びＨＵＤ装置２００（これらを総称して表示部２と称する）の少なくとも一方へと出力する（ステップＳ３３）。これによって、表示部２が運転者の周辺視野範囲にある場合でも、運転者が感じる煩わしさが低減される。

また、ステップＳ３２でＮの場合は、平滑化処理を施さない後方画像が出力される（ステップＳ３４）。これにより、表示部２を直接的に見ている運転者に、本来の後方画像を提供することができ、また、運転者がディスプレイを視野にまったく捉えていない場合は、同乗者等に本来の後方画像を提供することができる。

次に、図５を参照する。図５（Ａ）は、後方撮像画像における対象物の動きの例を示す図、図５（Ｂ）〜図５（Ｄ）は、縦方向の平滑化処理（縦方向のぼかし処理）における、カーネル（コンボリューション行列）を用いた演算の一例を示す図である。

本実施形態では、画像平滑化処理部１０８が、縦方向の画素値の変化を平滑化する、縦方向の平滑化処理を実施する。言い換えれば、車両周辺の画像（ここでは後方画像）が複数の画素で構成され、複数の画素が、実空間における車両の幅方向に対応する横方向の画素配置である画素行と、横方向に直交する縦方向の画像配置である画素列と、で構成される場合に、運転者の視線が、図２（Ｂ）の第２の範囲（範囲Ｂ）にあると判定されると、画素列について、縦方向における平滑化処理が実施される。

図５（Ａ）には、右側の電子ドアミラーとして機能する表示部２に表示される画像の一例が示されている。符号Ｃ１はセンターラインを示し、符号Ｄ１は道路の側線を示す。また、符号Ｅ１、Ｅ２で示される物体は、後続車両（自車両１０の後方にある他車両）を簡略化して描いたものである。なお、後続車両Ｅ１、Ｅ２の進行方向が、矢印によって描かれている。また、符号ＢＰは、遠近法における消失点を示す。

ここで、後続車両Ｅ１、Ｅ２に着目する。遠方に位置する後続車両Ｅ１は、略正面のみが見えており、その動きの方向は、あまり横には広がっていない。また、後方の路面や遠方の背景は、静止物体であることから、自車両１０の走行に伴って、消失点ＢＰに向かって後ろに流れるような視覚的な動きが生じるが、この視覚的動きも、横方向への広がりは少ない。

これに対して、自車両１０を追い越そうとしている後続車両Ｅ２は、後方より、斜め手前へと、横に大きく広がるようにして接近してきており、横方向への視覚的動きが目立っている。

このような差異があることから、縦方向の平滑化処理を行うと、図５（Ａ）の遠方のイ後続車両Ｅ１、後方の路面や遠方の背景等については、効果的なぼかしを生じさせることができ、一方、自車両１０を追い越そうとしている後続車両Ｅ２については、ぼかしの程度を制限して、識別性（視認性）を確保することができる。

縦方向の平滑化処理を行うと、例えば、遠方に位置する後続車両Ｅ１の正面を示す四角形は、縦ぶれによって輪郭が不鮮明となり、時間経過と共に、その輪郭が不鮮明な状態が継続することから、結果的に、後続車両Ｅ１（移動体）の動きは抑制されて見えにくくなる（この点は、路面等についても同様である）。

一方、追い越し車両Ｅ２については、立体の左側面、上面、正面が見えており、縦方向の平滑化処理を行うと、各面の輪郭は縦ぶれはするが、例えば、各面どうしの関係性は消されることなく残存し、その状態が時間経過と共に継続することから、追い越し車両Ｅ２の動きについての視認性は、それほど低下しない。なお、具体例については後述する。

縦方向の平滑化処理は、例えば、図５（Ｂ）〜図５（Ｄ）に示されるようにして行われる。図５（Ｂ）に示される５行５列の画素値のマトリクスの、中央の太線で強調されている画素（画素値「５０」）が、注目画素（イニシエーション画素）である。この画素値のマトリクスに、図５（Ｃ）のようなカーネル（コンボルーション行列）を乗算する。言い換えれば、図５（Ｂ）の画素値のマトリクスに対して、縦方向の畳み込み積分（コンボルーション）を実施する。

畳み込み積分は、具体的には、図５（Ｂ）と図５（Ｃ）の、対応する位置にある数値どうしを乗算し、それらの和をとる処理であり、よって、図５（Ｄ）に示されるような演算が行われることになり、その結果として、画素値は「４９．８２」となる。言い換えれば、平滑化処理前の注目画素の画素値「５０」は、縦方向の平滑化処理によって「４９．８２」へと変化する。

このように、原画像内の注目画素と、注目画素の上下所定範囲の画素群とを加重平均することを全ての画素に対して行うことで、縦方向ぼかし処理を実施することができる。より具体的には、原画像を画素値の配列で表現したものに対して、図５（Ｃ）に示されるような加重平均フィルタのカーネル（行列）を畳み込み演算することにより実施する。ここで、原画像の範囲外の画素値との演算が発生する場合は、画像端での画素値の連続性が保たれるように対称拡張法を用いて補う等の処理を行う。

このように、畳み込み（コンボルーション）による画像処理によって、縦方向の画素値変化を平滑化することができる。なお、畳み込み演算を効率化するために、例えば、複数のＣＰＵやＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を使った並列処理化を行ってもよい。

次に、図６を参照する。図６（Ａ）は、平滑化処理によるぼかしの効果を実証するための後方画像（平滑化処理前）の一例を示す図。図６（Ｂ）は、後方画像における、運転者から見た対象物（ここでは、路面、及び自車両を追い越そうとしている後続車）の視覚的動きを説明するための図である。なお、図６（Ａ）の画像は、効果実証用の画像であり、実際の電子ドアミラー用の画像とは少し異なる。

図６（Ａ）に示される、縦方向の平滑化処理前の後方画像ＩＭ１には、左側の画像ＩＭ１１、及び右側の画像ＩＭ１２が含まれる。ここで、自車両が走行しているときの、後方画像ＩＭ１における、左側の画像ＩＭ１１と右側の画像ＩＭ１２の各々における、対象の視覚的な動きの方向（見え方の変化の方向）に着目する。

図５（Ａ）でも説明したように、路面や構造物等の静止物体は、消失点ＢＰに向かって収束するような視覚的動きをもつ。図６（Ｂ）において、路面や構造物等の静止物体の視覚的な動きの方向が、矢印（縦方向の視覚的動きＳ１１１〜Ｓ１１３）で示されている。

特に、後方の路面は、車両周辺撮像カメラ３に近い距離で撮像されることから、比較的大きな視覚的動きをもつとともに、撮像範囲の下部を占めることから、像の流れる向きは主に縦方向となる。そのため、例えば、模様のある路面が撮像されると、縦方向の視覚的動きＳ１１１〜Ｓ１１３が発生する。

一方、右側の画像ＩＭ１２における移動物体（自車両１０を追い越そうとている他車両）の見え方は、自車両１０に接近するにつれて撮像範囲の左右端部を占めることから、像の流れる向きは、主に横方向である（図６（Ｂ）の右側の画像ＩＭ１２における矢印（横方向の視覚的動きＳ１２１）参照）。

次に、図７（Ａ）は、図６（Ａ）の後方画像を再掲した図、図７（Ｂ）は、縦方向の平滑化処理を施した後の平滑化画像の一例を示す図である。図６（Ｂ）で示したように、自車両１０を追い越す後続車が撮像されると、横方向の視覚的動きＳ１２１が生じる。

この撮像画像に対して縦方向の平滑化処理（縦方向ぼかし処理）を施すと、図７（Ｂ）に示される平滑化後の画像（縦方向平滑化画像）ＩＭ２において、左側の画像（路面ＩＭ２１の領域）ＩＭ２１では、縦方向の画素値変化が平滑化された像が縦に向かって流れることから、縦方向の視覚的動きＳ１１１〜Ｓ１１３は目立ちにくくなる。

一方、右側の画像（追い越し車両の領域）ＩＭ２２では、横方向の画素値変化が平滑化されていない像が横に向かって流れるので、横方向の視覚的動きＳ１２１は、依然目立ちやすい。

つまり、後方画像ＩＭ１に、縦方向ぼかし処理を実施すると、自車両を追い越そうとしている後続車（移動物体）の画像ＩＭ１２については、その移動物体の視覚的な動きの抑制が制限されて、ある程度の識別性（視認性）が確保され、一方、後方の路面のような、移動物体ではない対象の画像ＩＭ１１については、効果的なぼかしによって、視覚的な動きが抑制される。

このように加工された縦方向ぼかし画像ＩＭ２が運転者の視界に入ったとき、運転者は車両運行上重要でない対象には注意を引かれなくなり、車両運行上重要な対象には本来の後方画像ＩＭ１と同等に注意を引かれることになることから、結果として、運転者の感じる煩わしさを適切に低下させることができる。

（第２の実施形態）
本実施形態では、縦方向の平滑化処理に加えて、時間的な平滑化処理（モーションブラー処理）を実施する。

ここで、モーションブラー処理は、動画像おける画素値変動を時間方向に平滑化するものである。例えば、撮像された後方画像を、過去複数フレームにわたって保持し、保持しているフレーム画像群と最新フレーム画像とがそれぞれ等しい割合で含まれるような透過率で各画像をアルファブレンド合成する。例えば、過去３フレームと最新フレームとの計４フレームを各々２５％の不透明率となるように合成することによって、原画像１フレーム間の画素値の変動量が４フレームにわたって平滑化される。

例えば、道路の端部にガードレールの支柱が連続的に配置されるような場合、後方を撮像した動画中で、道路端部に配置されている多数の支柱（及び、同じく静止物体である、
追い越し車線付近の路面や背景）の像が繰り返し横方向へ流れることによって、好ましくない視覚的動きが生じる場合がある。このとき、支柱や路面等が消失点ＢＰに向かって流れていく動きが横方向であるため、その視覚的な動きは、縦方向の平滑化処理（縦方向のぼかし処理）では十分には平滑化できないことが想定される。

上述のとおり、移動物体も横方向の視覚的な動きをしており、この点で、上記のガードレールの支柱や路面等とは共通であるが、但し、移動物体は自身が移動していることから、車両（運転者が搭乗している自車両）との相対速度は小さく（言い換えれば、時間的な画像の変化が小さく）、これに対して、支柱や路面等は静止物体であることから相対速度は大きい（言い換えれば、画像の時間的な変化が大きい）という違いがある。

ここで、最新の画像と過去の画像とを用いた時間的平滑化処理を行うと、単位時間あたりの画素値変動が大きな対象ほど平滑化の度合いが強くなることから、相対的な動きが大きい支柱や路面等については、輪郭が、よりぼかされることになり、一方、画像の変化が小さい移動物体については、ぼかしが制限されて、その輪郭が残され、また、背景に対して、その輪郭が際立つという効果も得ることができる。

ここで、図８を参照する。図８（Ａ）は、時間的な平滑化処理（モーションブラー処理）を単独で施した場合の、処理後の平滑化画像の一例を示す図、図８（Ｂ）は、縦方向の平滑化処理に加えて、時間的な平滑化処理（モーションブラー処理）を施した場合の、処理後の平滑化画像の一例を示す図である。

図８（Ａ）の単独のモーションブラー処理後画像ＩＭ３と、図６（Ａ）（図７（Ａ））の元の後方画像（原画像）ＩＭ１と比較する。なお、原画像ＩＭ１には、ガードレールの支柱は映っていないことから、ここでは、静止物体である道路の路面に着目する。

単独のモーションブラー処理後画像ＩＭ３では、後続車は輪郭が少々ぼける程度であり、後続車が存在したり接近したりする様子は依然鮮明に見て取れるが、路面は大きくぼけており、模様と舗装面との画素値の差が小さくなることによって目立ちにくくなっているのがわかる。

このような差が生じるのは、上述のとおり、移動物体と静止物体とでは、自車両に対する相対速度が異なるからである。モーションブラー処理を実施すると、単位時間あたりの画素値変動が大きな対象ほど平滑化の度合いが強くかかることから、対象の視覚的な動きが大きくなるほど輪郭がぼけるように視覚的動きが抑制される。

図６（Ａ）（図７（Ａ））の元の後方画像（原画像）ＩＭ１における、対象の視覚的な動きの程度について注目すると、自車両が走行しているとき、後続車などの移動物体との相対速度は比較的小さいので視覚的な動きは小さく、路面など静止物体との相対速度は比較的大きいので視覚的な動きは大きい。

そのため、単独のモーションブラー処理後の画像ＩＭ３において、視覚的な動きが小さな後続車は輪郭が少々ぼける程度であり、後続車が存在したり接近したりする様子は依然鮮明に見て取れるが、その一方で、視覚的な動きが大きな路面は大きくぼけており、模様と舗装面との画素値の差が小さくなることによって目立ちにくくなる。

このように、自車両が走行しているときに後方画像（原画像）ＩＭ１に、モーションブラー処理を実施すると、後続車のような移動物体の視覚的な動きの視認性（識別性）はある程度、確保しつつ、路面のような移動物体ではない対象の視覚的動きを抑制することができる。

したがって、図８（Ｂ）の画像ＩＭ４から明らかなように、縦方向の平滑化処理と、時間的な平滑化処理とを併用することによって、移動物体のような、車両運行上、重要な対象についての識別性（視認性）は確保しつつ、重要性の低い対象（特に、縦方向のぼかし処理のみでは動きの抑制が十分ではない、ガードレール、追い越し車線付近の路面や背景等の静止物体）については、より効果的にぼかして、運転者が感じる煩わしさを、より低減することができる。

図９を参照する。図９は、縦方向の平滑化処理と、時間的な平滑化処理（モーションブラー処理）とを併用する場合における、処理手順の一例を示すフローチャートである。

ここで、図９の処理手順では、画像平滑化処理部１０８は、車両の走行速度が所定閾値（ここでは、８０ｋｍ／ｈとする）以上である場合に、所定閾値未満である場合よりも、時間的平滑化処理（上記のモーションブラー処理）を、より長時間にわたって実施することとしている。言い換えれば、車両（運転者が搭乗する自車両）の移動速度に応じて、時間的平滑化処理に差が設けられる。

例えば、車両が高速で走行している場合は、より平滑化期間の長い時間的平滑化処理を実施する。時間方向に平滑化する期間を長くすると、自車両との相対速度が大きな対象ほど輪郭がぼけやすくなる。自車両が比較的高速で走行している場合は、静止物体との相対速度が比較的大きく、移動物体（後続車等）との相対速度が比較的小さくなるので、このとき時間方向に平滑化する期間を長くすることによって、静止物体がより大きくぼけ、一方、移動物体（後続車等）が際立つこととなり、より好ましい視認性制御が実現される。

図９のステップＳ２２１では、自車両の速度が２０Ｋｍ／ｈ未満であるか否かを判定する。Ｙの場合は、車両は徐行中、停車中、または後退中と推定され、このときは、上記の視認性制御は実施せず、視覚的動きを抑制しない。言い換えれば、徐行中や停車中は、後方画像ＩＭ１の風景（静止物体）の視覚的動きも大きくないため、視覚的動きを抑制しなくても表示映像が煩わしくない。このとき、後方画像ＩＭ１の視覚的動きを抑制しないことによって、運転者とって視覚情報が不必要に損なわれることを防ぐことができる。

また、後退中の後方画像ＩＭ１には自車両の進行方向が映っているので、運転者にとって衝突を避けるための重要な視覚情報である。このとき、後方画像ＩＭ１の視覚的動きを抑制しないことによって、運転者とって必要な視覚情報が損なわれることを防ぐことができる。

ステップＳ２２１においてＮの場合（自車両が２０ｋｍ／ｈ以上で走行している場合）は、後方画像ＩＭ１に対して縦方向ぼかし処理を実施することにより縦方向ぼかし画像ＩＭ２を生成する（ステップＳ２２２）。

これにより、自車両の直後にある路面が映像の消失点に向かって流れるような縦方向の動きが抑制される。但し、上述のとおり、自車両の周囲の車（追い越し車両等）の視覚的な動きは主に横方向であることから、動きの抑制は制限され、運転者は、追い越し車両等の動きを識別することができる。結果として、後方画像における移動物体の視覚的な動きの抑制には制限がかかり、それ以外の物体の視覚的動きは抑制されることから、煩わしさを低減しつつ、車両運行上重要な視覚情報が損なわれない。

次に、ステップＳ２２３において、自車両が８０ｋｍ／ｈ未満で走行しているかが判定される。Ｙの場合は、縦方向ぼかし画像ＩＭ２に対して、例えば、過去３フレームと最新フレームとの計４フレームを用いたモーションブラー処理（時間的平滑化処理）を実施する（ステップＳ２２４）。

例えば、後方画像ＩＭ１の左右端にはガードレールの支柱が撮像されているような場合には、多数の支柱の像が繰り返し横方向へ流れることによって発生する視覚的動きが生じる。像の動きが横方向であるため、その視覚的動きは、縦方向ぼかし処理では平滑化されず、縦方向ぼかし画像ＩＭ２に煩わしさが残る。ここで、モーションブラー処理を引き続いて実施すると、その視覚的動きを抑制することができるため、縦方向ぼかし処理とモーションブラー処理を組み合わせると、より効果的に煩わしさを低減する事ができる。

また、ステップ２２３でＮの場合（自車両が８０ｋｍ／ｈ以上で走行している場合）は、縦方向ぼかし画像ＩＭ２に対して、過去７フレームと最新フレームとの計８フレームを用いた、より平滑化期間の長いモーションブラー処理を実施する（ステップＳ２２５）。

時間方向に平滑化する期間を長くすると、自車両との相対速度が大きな対象ほど輪郭がぼけやすくなる。自車両が比較的高速で走行している場合は、静止物体との相対速度が比較的大きく、後続車との相対速度が比較的小さくなることから、このとき時間方向に平滑化する期間を長くすることによって静止物体が大きくぼけ、後続車が際立つこととなる。

結果として、後方画像における移動物体の視覚的な動きの抑制は制限され、それ以外の物体の視覚的動きは抑制されることになり、車両運行上重要な視覚情報を損なわないようにしつつ、運転者が感じる煩わしさを低減することができる。

このように、本発明の車両周辺表示制御装置の表示制御（視認性制御）によれば、表示部２に、車両周辺撮像カメラ３で撮像された後方画像ＩＭ１、もしくは視覚的動き抑制画像ＩＭ４のいずれか一方を表示させることができる。視覚的動き抑制画像ＩＭ４は、後方画像ＩＭ１の縦方向の画素値変動を平滑化した画像、あるいは、さらに、時間方向の画素値変動も平滑化することによって得られる画像、言い換えれば、移動物体の視覚的な動きの抑制は制限（軽減）されており、一方、それ以外の物体の視覚的動きについては十分に抑制された画像である。

運転者が、表示部２を、中心視野で直視、または表示部２をまったく視界に捉えていない場合は、撮像された車両周辺画像（後方画像等）をそのまま表示し、運転者の視線が表示部２の表示領域を周辺視野で捉えている場合は、平滑化処理後の画像（視覚的動きが抑制された画像）ＩＭ４を表示する。

上記の表示制御を、例えば電子ミラー用の画像（動画）の表示制御に適用した場合、運転者は、わずかに視線を移動させるだけで、車両周辺画像（後方画像等）ＩＭ１を確認（視認）でき、また、運転者は、前方を注視しているときに、視覚的動き抑制画像ＩＭ４を周辺視野で捉えても、車両運行上重要でない対象には注意を引かれにくく、一方で、車両運行上重要な対象（自車両を追い越そうとしている移動体等）については、後方画像ＩＭ１とほぼ同等に注意を引かれることになる。したがって、車両周辺表示制御装置によれば、重要な車両周辺の視覚情報を残しつつ、運転者が感じる煩わしさを適切に低減させることができる。

（第３の実施形態）
図１０を参照する。図１０は、視認性制御の不適要因を考慮した場合の、平滑化処理の手順の一例を示す図である。

図１０では、ステップＳ４０にて、運転シーンの判定を行う。運転シーンの判定は、例えば、周辺撮像画像の解析結果、車両に取り付けられているセンサによって検出される操舵角、ＨＵＤ装置が表示するナビゲーション情報（ナビ情報）、地図情報（例えば、車載のナビゲーション装置が記憶しているものであってもよく、無線通信等によって外部から適宜、取得されるものであってもよい）、照明情報、外光強度情報等に基づいて行うことができる。

ステップＳ４１では、平滑化処理による視認性制御に適した運転シーンであるか否かが判定される。ここでＮの場合は、ステップＳ４０に戻る。

Ｙの場合は、ステップＳ４２において、例えば、視線が不安定、極度の緊張状態、悪天候や夜間であることで表示が見えにくい状態である、といった制御不適要因があるか否かが判定される。Ｎの場合は、ステップＳ４３にて、電子ミラー等の視認性制御（上述の平滑化処理）が実施される。

ステップＳ４２においてＹの場合は、ステップＳ４３にて、電子ミラー等の視認性制御を不実施とする、又は、運転者の視線の変化を無視する、といった措置が採られる。これによって、視認性制御が適さない運転状況においては視認性が固定され、例えば、不要な制御が実施されることが防止される。

以上説明したように、本発明によれば、車両後方を含む車両周辺の画像を表示する場合に、車両運行上重要な対象についての識別性は確保しつつ、他の重要度の低い対象についての視認性を効果的に低下させることができ、よって、電子ミラーシステム等において、より適切な表示制御（視認性制御）を実施することができる。

本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。

１・・・運転者、２・・・実像又は虚像による表示を行う表示部、３・・・車両周辺撮像カメラ、４・・・運転者撮像カメラ（顔撮像カメラ、瞳撮像カメラ等）、６・・・ウインドシールド（フロントガラス）、１０・・・車両（自車両）、１１・・・ダッシュボード、１５（１５Ｌ、１５Ｒ）・・・ディスプレイ（表示器）、５０・・・、５２・・・視線方向取得部、１００・・・車両周辺表示制御装置（電子ミラーシステム等における車両周辺表示制御部）、１０３・・・視野範囲判定部、１０４・・・視線移動方向取得部、１０６・・・運転状況判定部、１０８・・・平滑化処理部（視認性制御部）、１０９・・・表示制御処理部、ＥＳＭ（Ｒ、Ｌ）・・・右あるいは左用の電子ミラー（電子ドアミラー、電子サイドミラー）表示領域。

Claims (7)

1. 車両の後方を含む車両周辺の画像を表示領域に実像又は虚像として表示する際の、前記車両周辺の画像の視認性を制御する車両周辺表示制御装置であって、
   運転者の視線方向情報を取得する視線方向情報取得部と、
   運転者が前記表示領域を直接に見ることができる視野範囲を第１の範囲とし、前記第１の範囲に隣接し、前記運転者が前記表示領域を周辺視する視野範囲を第２の範囲とする場合に、前記視線方向情報に基づいて、前記運転者の視線が、前記第２の範囲にあるか否かを判定する視野範囲判定部と、
   前記車両周辺の画像が複数の画素で構成され、前記複数の画素が、実空間における前記車両の幅方向に対応する横方向の画素配置である画素行と、前記横方向に直交する縦方向の画像配置である画素列と、で構成される場合に、前記運転者の視線が、前記第２の範囲にあると判定されると、前記画素列について、縦方向における平滑化処理を実施する画像平滑化処理部と、
   前記縦方向における平滑化処理がなされた後の平滑化画像を、前記表示領域に表示するための表示制御処理を実施する表示制御処理部と、
   を有することを特徴とする車両周辺表示制御装置。
2. 前記縦方向における平滑化処理は、縦方向における畳み込み処理である、ことを特徴とする請求項１に記載の車両周辺表示制御装置。
3. 前記画像平滑化処理部は、前記縦方向における平滑化処理に加えて、前記車両周辺の画像の、最新の画像と過去の画像とを用いた時間的平滑化処理を実施する、ことを特徴とする請求項１又は２に記載の車両周辺表示制御装置。
4. 前記画像平滑化処理部は、前記車両の走行速度が所定閾値以上である場合に、前記所定閾値未満である場合よりも、前記時間的平滑化処理を、より長時間にわたって実施する、ことを特徴とする請求項３に記載の車両周辺表示制御装置。
5. 前記画像平滑化処理部は、前記車両の運転シーンが視認性制御に適さない運転シーンである場合、前記運転者の視線位置が頻繁に変更されて不安定と判断される場合、前記運転者の生体情報に基づいて前記運転者が高い緊張状態にあると判断される場合、悪天候や夜間であることで表示が見えにくい状態であると判断される場合、の少なくとも１つを含む視認性制御の不適要因がある場合においては、前記平滑化処理を実施しない、又は、前記運転者の視線の変化を無視することを特徴とする請求項１乃至４のいずれか１項に記載の車両周辺表示制御装置。
6. 前記表示領域は、前記運転者の前方に配置される表示器の実像の表示領域である、又は、ヘッドアップディスプレイ（ＨＵＤ）装置における虚像の表示領域である、ことを特徴とする請求項１乃至５のいずれか１項に記載の車両用表示装置。
7. 前記表示領域は、前記車両の後方を撮像した画像を表示する電子ミラーとしての表示領域である、ことを特徴とする請求項１乃至６のいずれか１項に記載の車両周辺表示制御装置。