JP2019125894A - 車載画像処理装置 - Google Patents

Abstract

【課題】物理的なミラーに写り込む画像と比較して、電子ミラーの表示装置に表示される画像に対してドライバーが違和感を有することを少なくすることが可能な車載画像処理装置を提供する。【解決手段】車両の後側方を撮影する撮像装置Ｃから出力される画像信号を画像処理して表示装置Ｍに画像処理後の画像を表示させる車載画像処理装置は、車両の走行状態情報を取得する走行状態情報取得部２０と、走行状態情報に基づいて、表示装置Ｍに表示される画像の少なくとも一部にぼかし処理がされるように、撮像装置Ｃからの画像信号を画像処理する画像処理部２２とを有する。【選択図】図１

Description

本発明は、車両の後側方を撮影する撮像装置から出力される画像信号を画像処理する車載画像処理装置に関するものである。

国際規格（ISO16505: Road vehicles -- Ergonomic and performance aspects of Camera Monitor Systems -- Requirements and test procedures）において、いわゆるサイドミラーの代わりに、電子ミラー、すなわち、図１５に示すような車両の後側方を撮影するカメラ（撮像装置）Ｃと、図１４に示すような車室内に設けられたモニタ（表示装置）Ｍとの組み合わせの使用が解禁され、これに伴い、日本においても２０１６年６月に保安基準が改訂されている。

そして、この電子ミラーにより表示される画像が運転手等にとって認識しやすいものにする技術も既に提案されている（例えば特許文献１参照）。

このような電子ミラーにおいて、モニタに表示される画像を全領域にわたって鮮明なものとしてドライバーの視認性を確保する観点から、カメラの焦点距離は無限遠に設定されることが多かった。

特開２０１６−２２００１１号公報

一般的に、モニタは人間に対して２次元画像を提示するが、物理的なミラーは人間に対して３次元情報を提示することができる。つまり、物理的なミラーは、ミラーに写り込んでいる対象物を実際に人間が目視している場合と同等の像を人間に対して提供することができ、人間は、このミラーに写り込んでいる対象物に対して適宜焦点を合わせることで、その対象物の奥行き（距離）を把握することができる。これにより、物理的なミラーは人間に対して３次元情報を提示することができる。

一方、カメラは所定の焦点距離（上述のように多くは無限遠）が設定された光学素子を有し、この焦点距離により撮像された２次元画像をモニタに表示させる。従って、ある瞬間に画像に写り込んでいる対象物毎に異なる焦点距離をドライバーが設定することはできないため、モニタに表示される画像から３次元情報を取得、把握することは困難である。

従って、ドライバーは、物理的なミラーの画像と対比して、電子ミラーのモニタに表示される画像に違和感を有することがあった。

そこで、本発明は、物理的なミラーに写り込む画像と比較して、電子ミラーの表示装置に表示される画像に対してドライバーが違和感を有することを少なくすることが可能な車載画像処理装置を提供することを目的としている。

前記目的を達成するために、本発明車載画像処理装置は、車両の後側方を撮影する撮像装置から出力される画像信号を画像処理して表示装置に画像処理後の画像を表示させるものであって、車両の走行状態情報を取得する走行状態情報取得部と、走行状態情報に基づいて、表示装置に表示される画像の少なくとも一部にぼかし処理がされるように、撮像装置からの画像信号を画像処理する画像処理部とを有することを特徴とする。

ここで、走行状態情報は、車両の走行速度と、車両が走行中の道路の種別情報とを含むことができる。

また、本発明の車載画像処理装置が画像中の対象物を認識する対象物認識部を有し、画像処理部が、対象物認識部の認識結果に基づいて画像処理を行う構成とすることができる。

さらに、画像処理部が、走行速度に基づいて、ぼかし処理の対象となる対象物と、ぼかし処理におけるぼかし度合いとを変更する構成とすることができる。

そして、画像処理部が、種別情報に基づいて、ぼかし処理を解除する対象となる対象物を変更する構成とすることができる。加えて、対象物認識部が認識した対象物までの距離を推定し、画像処理部が、対象物認識部により推定された距離に基づいて、ぼかし処理を解除する画像の領域を決定する構成とすることができる。

このように構成された本発明の車載画像処理装置では、走行状態情報取得部が取得した走行状態情報に基づいて、表示装置に表示される画像の少なくとも一部にぼかし処理がされるように、画像処理部が撮像装置からの画像信号を画像処理している。

このようにすることで、車両の走行状態に応じて表示装置に表示される画像の少なくとも一部にぼかし処理を行うことができるので、車両の走行状態に応じてドライバーが注視すべき領域のみを明瞭に表示することができる。これにより、物理的なミラーに写り込む画像と比較して、電子ミラーの表示装置に表示される画像に対してドライバーが違和感を有することを少なくすることが可能となる。

ここで、走行状態情報は、車両の走行速度と、車両が走行中の道路の種別情報とを含むので、車両の走行速度及び車両が走行中の道路の種別情報に基づいてドライバーが注視すべき領域を選定することができ、電子ミラーの表示装置に表示される画像に対してドライバーが違和感を有することをより少なくすることが可能となる。

また、画像中の対象物を認識する対象物認識部を有し、画像処理部が、対象物認識部の認識結果に基づいて画像処理を行うので、表示装置に表示される画像に写り込んでいる対象物を考慮してドライバーが注視すべき領域を選定することができ、電子ミラーの表示装置に表示される画像に対してドライバーが違和感を有することをさらに少なくすることが可能となる。

さらに、画像処理部が、走行速度に基づいて、ぼかし処理の対象となる対象物と、ぼかし処理におけるぼかし度合いとを変更するので、一律にぼかし処理を行う場合と比較して、電子ミラーの表示装置に表示される画像に対してドライバーが違和感を有することをより少なくすることが可能となる。

さらに、画像処理部が、種別情報に基づいて、ぼかし処理を解除する対象となる対象物を変更するので、道路状況に応じてドライバーが注視すべき領域をより適切に選定することができ、電子ミラーの表示装置に表示される画像に対してドライバーが違和感を有することをより少なくすることが可能となる。

そして、対象物認識部が認識した対象物までの距離を推定し、画像処理部が、対象物認識部により推定された距離に基づいて、ぼかし処理を解除する画像の領域を決定するので、対象物との距離に応じてドライバーが注視すべき領域をより適切に選定することができ、電子ミラーの表示装置に表示される画像に対してドライバーが違和感を有することをより少なくすることが可能となる。

本発明の実施の形態である車載画像処理装置の概略構成を示すブロック図である。 本実施の形態である車載画像処理装置の概要を説明するための図である。 本実施の形態である車載画像処理装置の概要を説明するための図である。 本実施の形態である車載画像処理装置の概要を説明するための図である。 本実施の形態である車載画像処理装置の概要を説明するための図である。 本発明の実施の形態である車載画像処理装置の全体動作を説明するためのフローチャートである。 本発明の実施の形態である車載画像処理装置のぼかし効果タイプ設定処理の動作を説明するためのフローチャートである。 本発明の実施の形態である車載画像処理装置の走行シーン判定設定処理の動作を説明するためのフローチャートである。 本発明の実施の形態である車載画像処理装置の画像内情報評価処理の動作を説明するためのフローチャートである。 本発明の実施の形態である車載画像処理装置の逆マスク作成処理の動作を説明するためのフローチャートである。 本発明の実施の形態である車載画像処理装置の逆マスク作成処理の動作の概要を説明する図である。 本発明の実施の形態である車載画像処理装置のぼかし処理の動作を説明するためのフローチャートである。 本発明の実施の形態である車載画像処理装置のぼかし処理の動作の概要を説明する図である。 従来の電子ミラーの表示装置を示す図である。 従来の電子ミラーの撮像装置を示す図である。 本発明の実施の形態である車載画像処理装置に用いられる評価テーブルの一例を示す図である。

まず、図２〜図５を参照して、本実施の形態である車載画像処理装置の概要について説明する。

図２は、例えば上述の図１５に示したような電子ミラーの撮像装置Ｃにより撮像され、図１４に示したような電子ミラーの表示装置Ｍに表示される画像の一例を示す図である。既に説明したように、撮像装置Ｃは焦点距離が無限遠に設定されているので、画像に写り込んでいる対象物全てに焦点が合っており、ドライバーは全ての対象物をクリアに確認することができる。しかしながら、図２に示す画像において、ドライバーが注視すべきは順行車Ｃ１と自車との距離や路面Ｓなど、画像中の一部の対象物であり、しかも、運転状況によってドライバーが注視する対象物は刻々と変化する。

さらに言えば、画像中の対象物毎に、ドライバーに対して与える情報量の多少は異なる。つまり、図３に示すように、自車ボディＢや空Ｋは運転状況によらずほとんど変化しないため、ドライバーの運転に影響を及ぼす情報はほとんど含まれない。一方、順行車Ｃ１や路面Ｓについては、自車との距離を含む状況などがドライバーの運転に影響を及ぼす情報となり、その情報量も多い。

従って、画像中の自車ボディＢや空Ｋが写り込んでいる領域については、情報量を削減する、言い換えればぼかし処理を行ってもドライバーの運転に影響を与えることもなく、さらには、これらの領域をぼかし処理することで、ドライバーが注視すべき領域を限定できる。

そこで、図４に示すように、撮像装置Ｃから出力された画像信号に対してまずは全領域に一様のぼかし処理を行い、次いで、図５に示すように、ドライバーが注視すべき領域Ａについて逆マスク処理を行ってぼかしを解除することで、ドライバーが注視すべき領域を限定し、よって、電子ミラーの表示装置Ｍに表示される画像に対してドライバーが違和感を有することを少なくすることが可能となる。

なお、以降説明する本実施の形態である車載画像処理装置では、ドライバーが注視すべき領域についてより詳細かつ精密な設定を行っている。

以下、この発明の実施の形態を図面に基づいて説明する。図１は、本発明の実施の形態である車載画像処理装置の概略構成を示すブロック図である。

本実施の形態である車載画像処理装置１は、車両の後側方を撮影する撮像装置Ｃから出力される画像信号を画像処理して表示装置Ｍに画像処理後の画像を表示させるものである。

ここで、撮像装置Ｃは、例えば図１５に示すようなものであり、例えば車両の側部に設置されてこの車両の後側方を撮影する。この撮像装置Ｃの焦点距離は無限遠に設定されている。また、表示装置Ｍは、例えば図１４に示すようなものであり、車室内のドライバーが視認可能な位置に設けられている。これら撮像装置Ｃ及び表示装置Ｍ自体は周知の構成が適宜採用可能であるため、ここではこれ以上の詳細な説明を省略する。

また、車載画像処理装置１には、例えば車内に設けられた図略のＥＣＵ（Electronic Control Unit）から車両ＣＡＮ（Controller Area Network）を経由して車両の走行速度等の情報が提供され、また、ＧＰＳ装置２が接続されたナビゲーション装置３から車両の現在位置情報及び車両が走行中の道路に関する情報等が提供される。

車載画像処理装置１は、制御部１０と、記憶部１１と、入力インタフェース１２と、出力インタフェース１３とを有する。制御部１０はＣＰＵ等の演算素子を備える。記憶部１１内に格納されている図略の制御用プログラムが車載画像処理装置１の起動時に実行され、この制御用プログラムに基づいて、制御部１０は記憶部１１等を含む車載画像処理装置１全体の制御を行うとともに、走行状態情報取得部２０と、対象物認識部２１と、画像処理部２２としての機能を実行する。これら各機能部の動作については後述する。

記憶部１１はハードディスクドライブ等の大容量記憶媒体、及びＲＯＭ、ＲＡＭ等の半導体記憶媒体を備える。この記憶部１１には上述の制御用プログラムが格納されているとともに、制御部１０の制御動作時に必要とされる各種データが一時的に格納される。また、この記憶部１１には評価テーブル１１ａが格納されている。評価テーブル１１ａの詳細については後述する。

入力インタフェース１２は、車載画像処理装置１に接続された撮像装置Ｃからの画像信号や図略のＥＣＵからの車両の走行速度等の情報を受け入れ、これを制御部１０に出力する。出力インタフェース１３は、制御部１０、特に画像処理部２２から出力された出力信号を受け入れ、これを表示装置Ｍに出力する。

次に、制御部１０に構成される各機能部の説明をする。

走行状態情報取得部２０は、車両の走行状態情報を取得する。ここで、走行状態情報には、車両の走行速度と、車両が走行中の道路の種別情報とが含まれ、走行状態情報取得部２０は、車両の走行速度を図略のＥＣＵから車両ＣＡＮを経由して取得し、道路の種別情報をナビゲーション装置３から取得する。

対象物認識部２１は、撮像装置Ｃから出力される画像信号に基づき、表示装置Ｍに表示される画像中の対象物を認識する。ここで、対象物認識部２１は、認識した対象物までの距離についても推定することが好ましい。

画像処理部２２は、走行状態情報取得部２０が取得した走行状態情報に基づいて、表示装置Ｍに表示される画像の少なくとも一部にぼかし処理がされるように、撮像装置Ｃからの画像信号を画像処理する。

ここで、画像処理部２２は、対象物認識部２１の認識結果に基づいて画像処理を行うことが好ましい。また、画像処理部２２は、走行状態情報取得部２０が取得した走行速度に基づいて、ぼかし処理の対象となる対象物と、ぼかし処理におけるぼかし度合いとを変更することが好ましい。さらに、画像処理部２２は、走行状態情報取得部２０が取得した道路の種別情報に基づいて、ぼかし処理を解除する対象となる対象物を変更することが好ましい。そして、画像処理部２２は、対象物認識部２１により推定された距離に基づいて、ぼかし処理を解除する画像の領域を決定することが好ましい。

これら各機能部の動作についてはさらに詳細に後述する。

次に、本実施の形態である車載画像処理装置１の動作の概要を図６のフローチャートを参照して説明する。

ステップＳ１において、車載画像処理装置１の制御部１０、特に画像処理部２２が、走行状態情報取得部２０が取得した、この車載画像処理装置１が搭載された車両の車速に基づいて、撮像装置Ｃから入力された画像信号に対するぼかし処理のタイプを設定する処理を行う。

次いで、ステップＳ２では、車載画像処理装置１の画像処理部２２が、走行状態情報取得部２０が取得した、この車載画像処理装置１が搭載された車両が現在走行中の道路の種別情報に基づいて、ぼかし処理の対象となる対象物を設定する処理を行う。

さらに、ステップＳ３では、ステップＳ２で設定されたぼかし処理の対象となる対象物に基づいて、車載画像処理装置１の対象物認識部２１が対象物を認識するとともにその対象物までの距離を推定し、ついで、画像処理部２２が、この距離に基づいてぼかし処理を解除する画像の領域を決定する処理を行う。

そして、ステップＳ４では、車載画像処理装置１の画像処理部２２が、撮像装置Ｃから入力された画像信号に対してぼかし処理を行い、処理後の画像信号を表示装置Ｍに出力する処理を行う。

次に、図６のステップＳ１の動作の詳細を図７のフローチャートを参照して説明する。

ステップＳ１０では、走行状態情報取得部２０が取得した車両の車速が０ｋｍ／ｈより大きいか否かが画像処理部２２により判定され、判定が肯定されたらプログラムはステップＳ１１に移行し、判定が否定されたらプログラムはステップＳ１３に移行する。

次に、ステップＳ１１では、走行状態情報取得部２０が取得した車両の車速が２０ｋｍ／ｈより大きいか否かが画像処理部２２により判定され、判定が肯定されたらプログラムはステップＳ１２に移行し、判定が否定されたらプログラムはステップＳ１４に移行する。

次に、ステップＳ１２では、走行状態情報取得部２０が取得した車両の車速が４０ｋｍ／ｈより大きいか否かが画像処理部２２により判定され、判定が肯定されたらプログラムはステップＳ１６に移行し、判定が否定されたらプログラムはステップＳ１５に移行する。

ステップＳ１３では、ステップＳ１０の判定が否定された、すなわち、現在の車両の車速Ｐは０ｋｍ／ｈであると判定されたことから、ドライバーは表示装置Ｍに表示される画像を仔細に認識する余裕があるものと判断し、画像処理部２２はぼかし処理を行わない。

ここで、本実施の形態である車載画像処理装置１、特に画像処理部２２におけるぼかし処理とは、対象となる画素の周辺画素を含めた加算平均値をその対象画素の値とする処理を指す。当然、他のデジタルフィルタによるぼかし処理も好適に適用可能である。

ステップＳ１４では、ステップＳ１１の判定が否定された、すなわち、現在の車両の車速Ｐは０ｋｍ／ｈ＜Ｐ＜２０ｋｍ／ｈであると判定されたことから、車両は低速で走行しているものと判断し、画像処理部２２は自車ボディＢのみぼかし処理を行う（ぼかし効果 タイプ１）。

ここで、撮像装置Ｃの撮像範囲は通常固定であるので、この撮像装置Ｃの車体への取付位置が決まれば、表示装置Ｍの画像上での自車ボディＢの領域も一意に定めることができる。本実施の形態である車載画像処理装置１では、表示装置Ｍの画像上での自車ボディＢの領域が予め設定されているものとする。

ステップＳ１５では、ステップＳ１２の判定が否定された、すなわち、現在の車両の車速Ｐは２０ｋｍ／ｈ＜Ｐ＜４０ｋｍ／ｈであると判定されたことから、車両は中速で走行しているものと判断し、画像処理部２２は自車ボディＢ及び空Ｋについてぼかし処理を行う（ぼかし効果 タイプ２）。

ここで、撮像装置Ｃの車体への取付位置が決まれば、表示装置Ｍの画像上での地平線位置も推定することができる。本実施の形態である車載画像処理装置１では、表示装置Ｍの画像において所定範囲の上部領域が空Ｋとして予め設定されているものとする。

ステップＳ１６では、ステップＳ１２の判定が肯定された、すなわち、現在の車両の車速Ｐは４０ｋｍ／ｈより大きいと判定されたことから、車両は高速で走行しているものと判断し、画像処理部２２は、自車ボディＢ及び空Ｋについてぼかし処理を行うとともに、図６のステップＳ２及びステップＳ３で設定される（詳細は後述する）領域のみドライバーに明瞭に提示するようなぼかし処理を後に行う（ぼかし効果 タイプ３）。

そして、ステップＳ１３〜Ｓ１６の処理が終了すると、プログラムはステップＳ２に移行する。

次に、図６のステップＳ２の動作の詳細を図８のフローチャートを参照して説明する。

ステップＳ２０では、走行状態情報取得部２０がナビゲーション装置３から取得した道路の種別情報に基づいて、車載画像処理装置１が搭載された車両が現在走行中の道路の種別情報を画像処理部２２が判定する。判定は、現在走行中の道路が細街路か、県道か、国道か、自動車専用道路。高速道路かのいずれに該当するかにより行う。

ステップＳ２１では、ステップＳ２０により判定された道路の種別情報が細街路であるか否かが画像処理部２２により判定され、判定が肯定されたらプログラムはステップＳ２５に移行し、判定が否定されたらプログラムはステップＳ２２に移行する。

ステップＳ２２では、ステップＳ２０により判定された道路の種別情報が県道であるか否かが画像処理部２２により判定され、判定が肯定されたらプログラムはステップＳ２６に移行し、判定が否定されたらプログラムはステップＳ２３に移行する。

ステップＳ２３では、ステップＳ２０により判定された道路の種別情報が国道であるか否かが画像処理部２２により判定され、判定が肯定されたらプログラムはステップＳ２７に移行し、判定が否定されたらプログラムはステップＳ２４に移行する。

ステップＳ２４では、ステップＳ２０により判定された道路の種別情報が自動車専用道路・高速道路であるか否かが画像処理部２２により判定され、判定が肯定されたらプログラムはステップＳ２８に移行し、判定が否定されたらプログラムはステップＳ３に移行する。

ステップＳ２５では、ステップＳ２１の判定が肯定された、すなわち、車両が現在走行中の道路の種別情報が細街路であると判定されたことから、画像処理部２２は、表示装置Ｍの画像に写り込んでいる個々の対象物に対する優先度を、一例として歩行者・自転車の優先度を高くする（シーンフラグ：０）設定をする。

後述するシーンフラグ１〜３を含めて、道路の種別情報毎の対象物に対する優先度は、記憶部１１内に評価テーブル１１ａとして格納されている。この評価テーブル１１ａの一例を図１６に示す。優先度は、後述する逆マスク領域のぼかし処理の解除動作（図１２のステップＳ６２参照）において、ぼかし処理の解除をどの程度行うかの設定に用いられる。

ステップＳ２６では、ステップＳ２２の判定が肯定された、すなわち、車両が現在走行中の道路の種別情報が県道であると判定されたことから、画像処理部２２は、表示装置Ｍの画像に写り込んでいる個々の対象物に対する優先度を、一例として歩行者・自転車の優先度を中程度にする（シーンフラグ：１）設定をする。

ステップＳ２７では、ステップＳ２３の判定が肯定された、すなわち、車両が現在走行中の道路の種別情報が国道であると判定されたことから、画像処理部２２は、表示装置Ｍの画像に写り込んでいる個々の対象物に対する優先度を、一例として信号の優先度を高くする（シーンフラグ：２）設定をする。

ステップＳ２８では、ステップＳ２４の判定が肯定された、すなわち、車両が現在走行中の道路の種別情報が自動車専用道路・高速道路であると判定されたことから、画像処理部２２は、表示装置Ｍの画像に写り込んでいる個々の対象物に対する優先度を、一例として車両の優先度を高くする（シーンフラグ：３）設定をする。

ステップＳ２５〜Ｓ２８の設定は、図７においてぼかし効果 タイプ３設定がされた場合に設定される。つまり、車両の車速が４０ｋｍ／ｈよりも速いので、ドライバーに対して注視すべき対象物を道路状況、言い換えれば道路の種別情報に応じて優先度を付けて明瞭に表示させることで、ドライバーによる対象物の視認をより明瞭にかつより確実に行わせることができる。

次に、図６のステップＳ３の動作の詳細を図９のフローチャートを参照して説明する。

ステップＳ３０では、図８に示すフローチャートにおいて優先度がシーンフラグ：０に設定された（つまりステップＳ２５において設定された）か否かが画像処理部２２により判定され、判定が肯定されたらプログラムはステップＳ３４に移行し、判定が否定されたらプログラムはステップＳ３１に移行する。

ステップＳ３１では、図８に示すフローチャートにおいて優先度がシーンフラグ：１に設定された（つまりステップＳ２６において設定された）か否かが画像処理部２２により判定され、判定が肯定されたらプログラムはステップＳ３５に移行し、判定が否定されたらプログラムはステップＳ３２に移行する。

ステップＳ３２では、図８に示すフローチャートにおいて優先度がシーンフラグ：２に設定された（つまりステップＳ２７において設定された）か否かが画像処理部２２により判定され、判定が肯定されたらプログラムはステップＳ３６に移行し、判定が否定されたらプログラムはステップＳ３３に移行する。

ステップＳ３３では、図８に示すフローチャートにおいて優先度がシーンフラグ：３に設定された（つまりステップＳ２８において設定された）か否かが画像処理部２２により判定され、判定が肯定されたらプログラムはステップＳ３７に移行し、判定が否定されたらプログラムはステップＳ４に移行する。

ステップＳ３４〜Ｓ３７においては同一の動作が行われる。すなわち、車載画像処理装置１の対象物認識部２１が、表示装置Ｍの画像に写り込んでいる対象物のうち、図１６に示す優先度が設定されている対象物について、その種類及び画像中の領域を認識する処理を行う。

対象物認識部２１による対象物認識処理自体は既存技術であり、一例として、特開２０１７−１５７１３８号公報に開示された技術等が好適に適用可能である。この公報に開示された技術では、撮像装置Ｃにより撮像された画像から３以上の異なるスケールの特徴ベクトルを抽出し、抽出した特徴ベクトルを異なるスケールの特徴セットに変換する処理を段階的に複数回実行することで、対象物の認識を行っている。認識された対象物は、この対象物が写り込んでいる矩形領域の形式で提示される。

この後、プログラムはそれぞれステップＳ３８〜Ｓ４１に移行する。このステップＳ３８〜Ｓ４１でも同一の動作が行われる。すなわち、車載画像処理装置１の画像処理部２２が、ステップＳ３４〜Ｓ３７において認識された対象物に対して逆マスク処理を行う。

逆マスク処理の詳細について、図１０のフローチャート及び図１１を参照して説明する。図１０のステップＳ５０では、図９のステップＳ３４〜Ｓ３７において認識された対象物と車両との間の距離を算出する。対象物と車両との間の距離を算出する処理自体は既存技術であり、一例として、モーションステレオ技術（特開２０１７−７８９２３号公報参照）等の技術が好適に適用可能である。

次に、ステップＳ５１では、ステップＳ５０において算出された対象物までの距離に基づいて、画像処理部２２が、ステップＳ３４〜Ｓ３７における対象物認識部２１の認識結果として出力される矩形領域に対して、この矩形領域の外方に設定するマージンの幅を設定する。

一例として、図１１に示すように、車両と距離が近い対象物に設定された矩形領域Ｒ１に対してはマージンＭ１の幅を広く、距離が遠い対象物に設定された矩形領域Ｒ２に対してはマージンＭ２の幅を狭く設定する。これは、距離が近い対象物ほどドライバーに対して明瞭かつ確実な視認を確保することが重要だからである。

そして、ステップＳ５２では、画像処理部２２が、ステップＳ３４〜Ｓ３７において認識された対象物の矩形領域に、ステップＳ５１で設定されたマージンを加えた領域の逆マスクを作成する。ここで、逆マスクとは、後述するように、表示装置Ｍの画像全体に対してぼかし処理を行った後、対象物認識部２１により認識された対象物が写り込んだ矩形領域にマージンを加えた領域について、このぼかし処理を解除することを意味する。逆マスク作成処理は、矩形領域にマージンを加えた領域の画像中の位置（縦及び横の座標値）及び領域の大きさ（縦×横の画素数）を設定することにより行えばよい。

次に、図６のステップＳ４の動作の詳細を図１２のフローチャート及び図１３を参照して説明する。なお、図１２のフローチャートでは、これまで説明したフローチャートのステップについても記載している。

図７のステップＳ１０〜Ｓ１６の処理が行われ、ステップＳ１３〜Ｓ１５の処理が終了するとプログラムは終了し、ステップＳ１６の処理が終了するとプログラムは図６のステップＳ２及び図８のフローチャートに示すステップの処理を行う。次いで、プログラムは図６のステップＳ３及び図９のフローチャートに示すステップの処理を行い、さらに、図９のステップＳ３８〜Ｓ４１及び図１２のフローチャートに示すステップの処理を行う。

ステップＳ６０では、図９のステップＳ８〜Ｓ４１及び図１２のフローチャートに示すステップで設定された逆マスク領域が０より大きい（言い換えれば少なくとも１つの逆マスク領域が設定された）か否かが画像処理部２２により判定され、判定が肯定されたらプログラムはステップＳ６１に移行し、判定が否定されたらプログラムは終了する。

ステップＳ６１では、画像処理部２２が表示装置Ｍの画像全体（全域）にぼかし処理を行う。但し、ステップＳ６１で行うぼかし処理は、図７のステップＳ１３〜Ｓ１６で行うぼかし処理より弱め（加算平均を行う周辺画素の数を減らすなど）である。

次いで、ステップＳ６２では、画像処理部２２が、図９のステップＳ３８〜Ｓ４１及び図１２のフローチャートに示すステップで設定された逆マスク領域のぼかし処理を解除する。ぼかし処理を解除する手法は周知技術から適宜採用可能であるが、本実施の形態である車載画像処理装置１では、撮像装置Ｃから出力された画像信号を記憶部１１に一旦格納しておき、逆マスクが設定された領域の画像信号をこの逆マスク設定領域の画像信号に重畳する、言い換えれば元の画像信号に近付けることによりぼかし処理を解除している。

図１２のステップＳ６２における逆マスク領域のぼかし処理の解除動作において、画像処理部２２は、図８のステップＳ２５〜Ｓ２８で設定した優先度に基づいてぼかし処理の解除を行う。一例として、図１６に示すように、車両が国道を走行している（シーンフラグ：２）場合、対象物が信号であれば優先度５が割り当てられており、この場合、画像処理部２２は、信号に対応する逆マスク領域のぼかし処理を全て解除する。言い換えれば、元の画像信号に戻す。一方、対象物が歩行者であれば優先度１が割り当てられており、この場合、画像処理部２２は、ステップＳ６１において行われた弱いぼかし処理を残したままにする。言い換えれば、ぼかし処理の解除動作は行わない。

本実施の形態である車載画像処理装置１では、画像処理部２２が、優先度が高くなるほどぼかし処理の解除を強く行い、結果として、優先度が高い対象物ほど明瞭に表示してドライバーの注視を促している。

図１２のフローチャートに示すステップに基づく画像処理の一例を図１３を参照して説明する。図１３に示す例は、４０ｋｍ／ｈ以上の車速で車両が高速道路を走行している場合の例である。

まず、図１３の画像Ｚ１に示すような画像信号が撮像装置Ｃにより撮像されているものとする。図１３に示す例では図７のステップＳ１６による処理が行われるので、図１３の画像Ｚ２に示すように、自車ボディＢ及び空Ｋについてぼかし処理が行われる。次いで、図１３に示す例では１つ以上の逆マスク領域が設定されたものとし、図１３の画像Ｚ３に示すように、ステップＳ６１において画像全体に弱いぼかし処理が行われる。そして、図１３の画像Ｚ４に示すように、図９のステップＳ８〜Ｓ４１及び図１０のフローチャートに示すステップで設定された逆マスク領域に対して、ステップＳ６２においてぼかし処理が解除される処理が行われる。これにより、画像Ｚ４に示すように、ドライバーが注視すべき対象物である順行車、路面等が明瞭に表示された画像が表示装置Ｍに表示される。

以上のように構成された各実施の形態である車載画像処理装置１では、走行状態情報取得部２０が取得した走行状態情報に基づいて、表示装置Ｍに表示される画像の少なくとも一部にぼかし処理がされるように、画像処理部２２が撮像装置Ｃからの画像信号を画像処理している。

このようにすることで、車両の走行状態に応じて表示装置Ｍに表示される画像の少なくとも一部にぼかし処理を行うことができるので、車両の走行状態に応じてドライバーが注視すべき領域のみを明瞭に表示することができる。これにより、物理的なミラーに写り込む画像と比較して、電子ミラーの表示装置Ｍに表示される画像に対してドライバーが違和感を有することを少なくすることが可能となる。

ここで、走行状態情報は、車両の走行速度と、車両が走行中の道路の種別情報とを含むので、車両の走行速度及び車両が走行中の道路の種別情報に基づいてドライバーが注視すべき領域を選定することができ、電子ミラーの表示装置Ｍに表示される画像に対してドライバーが違和感を有することをより少なくすることが可能となる。

また、画像中の対象物を認識する対象物認識部２１を有し、画像処理部２２が、対象物認識部２１の認識結果に基づいて画像処理を行うので、表示装置Ｍに表示される画像に写り込んでいる対象物を考慮してドライバーが注視すべき領域を選定することができ、電子ミラーの表示装置Ｍに表示される画像に対してドライバーが違和感を有することをさらに少なくすることが可能となる。

さらに、画像処理部２２が、走行速度に基づいて、ぼかし処理の対象となる対象物と、ぼかし処理におけるぼかし度合いとを変更するので、一律にぼかし処理を行う場合と比較して、電子ミラーの表示装置Ｍに表示される画像に対してドライバーが違和感を有することをより少なくすることが可能となる。

さらに、画像処理部２２が、種別情報に基づいて、ぼかし処理を解除する対象となる対象物を変更するので、道路状況に応じてドライバーが注視すべき領域をより適切に選定することができ、電子ミラーの表示装置Ｍに表示される画像に対してドライバーが違和感を有することをより少なくすることが可能となる。

そして、対象物認識部２１が認識した対象物までの距離を推定し、画像処理部２２が、対象物認識部２１により推定された距離に基づいて、ぼかし処理を解除する画像の領域を決定するので、対象物との距離に応じてドライバーが注視すべき領域をより適切に選定することができ、電子ミラーの表示装置Ｍに表示される画像に対してドライバーが違和感を有することをより少なくすることが可能となる。

以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。

Ｃ 撮像装置
Ｍ 表示装置
１ 車載画像処理装置
２ ＧＰＳ装置
３ ナビゲーション装置
１０ 制御部
１１ 記憶部
１１ａ 評価テーブル
２０ 走行状態情報取得部
２１ 対象物認識部
２２ 画像処理部

Claims (6)

1. 車両の後側方を撮影する撮像装置から出力される画像信号を画像処理して表示装置に画像処理後の画像を表示させる車載画像処理装置であって、
   前記車両の走行状態情報を取得する走行状態情報取得部と、
   前記走行状態情報に基づいて、前記表示装置に表示される前記画像の少なくとも一部にぼかし処理がされるように、前記撮像装置からの前記画像信号を画像処理する画像処理部と
   を有することを特徴とする車載画像処理装置。
2. 前記走行状態情報は、前記車両の走行速度と、前記車両が走行中の道路の種別情報とを含むことを特徴とする請求項１に記載の車載画像処理装置。
3. 前記画像中の対象物を認識する対象物認識部を有し、前記画像処理部は、前記対象物認識部の認識結果に基づいて画像処理を行うことを特徴とする請求項１または２に記載の車載画像処理装置。
4. 前記画像処理部は、前記走行速度に基づいて、前記ぼかし処理の対象となる前記対象物と、前記ぼかし処理におけるぼかし度合いとを変更することを特徴とする請求項３に記載の車載画像処理装置。
5. 前記画像処理部は、前記種別情報に基づいて、前記ぼかし処理を解除する対象となる前記対象物を変更することを特徴とする請求項３または４に記載の車載画像処理装置。
6. 前記対象物認識部は、認識した前記対象物までの距離を推定し、前記画像処理部は、前記対象物認識部により推定された前記距離に基づいて、前記ぼかし処理を解除する前記画像の領域を決定することを特徴とする請求項５に記載の車載画像処理装置。