JP2018074191A - 車載映像表示システム、車載映像表示方法、およびプログラム - Google Patents

Abstract

【課題】車両のウィンドウ上に付着したスモークフィルムや異物等の種類に応じて自動的に撮像画像を調整する、改善された車載映像表示システム、車載映像表示方法、およびプログラムを提供する。
【解決手段】本開示の一態様に係る車載映像表示システムは、車両の中に設置され、車両の窓ガラスを通して車両の外を撮像する第１の撮像装置と、車両の外に設置され、車両の外を撮像する第２の撮像装置と、第１の撮像装置が撮像した第１の撮像画像の特徴量を抽出する第１の特徴量抽出部と、第２の撮像装置が撮像した第２の撮像画像の特徴量を抽出する第２の特徴量抽出部と、第１の撮像画像の特徴量と第２の撮像画像の特徴量とを比較する特徴量比較部と、比較の結果に基づいて、第１の撮像画像を加工して表示画像を生成する表示画像生成部と、表示画像を表示する表示部と、を備える。
【選択図】図１

Description

本開示は、車載映像表示システム、車載映像表示方法、およびプログラムに関する。

近年、カメラ技術の進歩、コストダウンにより、車載カメラを利用して運転を支援するための様々なシステムが開発されている。車載カメラを活用する車載映像表示システムの１つとして、従来は光学ミラーが映していた車外の領域の状況を車載カメラが撮像し、表示装置に画像として表示する電子ミラーシステムがある。電子ミラーシステムは、車載カメラと表示装置を備える。

特許第４７３９１２２号公報

車載カメラが車内に取り付けられた場合、車載カメラは車両のウィンドウ越しに車外を撮像する。車両のウィンドウに貼られるスモークフィルムには、様々な可視光透過率を有するものがあり、表示装置が表示する画像の画質に可視光透過率が影響を与えてしまう。例えば、リアウィンドウにスモークフィルムが貼られている場合、リアウィンドウ越しに車両後方を撮像する車載カメラの画像が、本来よりも暗い画像になってしまう問題がある。そのような環境下で最適な画質を再現するためには、表示装置の輝度レベルとＮ／Ｒ強度を調整する等の調整を行う必要があり、これらの手動による調整が必要となる問題がある。

複数のカメラから入力された画像の輝度レベルや色合いを調整するために、画像の輝度や色合いの差が生じる境界部分に対して平滑化処理を行った後に画像を合成する手法が知られている（特許文献１参照）。しかしながら、特許文献１に記載の手法には、車両のウィンドウ上に付着したスモークフィルムや異物等の影響が複数のカメラのうち一部にのみ及ぶ場合に、その影響を取り除くことができない問題がある。

本開示の目的は、車両のウィンドウ上に付着したスモークフィルムや異物等の種類に応じて自動的に撮像画像を調整する、改善された車載映像表示システム、車載映像表示方法、およびプログラムを提供することである。

本開示の一態様に係る車載映像表示システムは、車両の中に設置され、前記車両の窓ガラスを通して前記車両の外を撮像する第１の撮像装置と、前記車両の外に設置され、前記車両の外を撮像する第２の撮像装置と、前記第１の撮像装置が撮像した第１の撮像画像の特徴量を抽出する第１の特徴量抽出部と、前記第２の撮像装置が撮像した第２の撮像画像の特徴量を抽出する第２の特徴量抽出部と、前記第１の撮像画像の特徴量と前記第２の撮像画像の特徴量とを比較する特徴量比較部と、前記比較の結果に基づいて、前記第１の撮像画像を加工して表示画像を生成する表示画像生成部と、前記表示画像を表示する表示部と、を備える、構成を採る。

本開示の一態様に係る車載映像表示方法は、車両の中に設置され、前記車両の窓ガラスを通して前記車両の外を撮像する第１の撮像装置と、前記車両の外に設置され、前記車両の外を撮像する第２の撮像装置と、表示部とを備える車載映像表示システムによって実施される方法であって、前記第１の撮像装置が撮像した第１の撮像画像の特徴量を抽出する第１のステップと、前記第２の撮像装置が撮像した第２の撮像画像の特徴量を抽出する第２のステップと、前記第１の撮像画像の特徴量と前記第２の撮像画像の特徴量とを比較する第３のステップと、前記比較の結果に基づいて、前記第１の撮像画像を加工して、前記表示部に表示される表示画像を生成する第４のステップと、を備える、構成を採る。

本開示の一態様に係るプログラムは、車両の中に設置され、前記車両の窓ガラスを通して前記車両の外を撮像する第１の撮像装置と、前記車両の外に設置され、前記車両の外を撮像する第２の撮像装置と、表示部とを備える車載映像表示システムのコンピュータが実行するプログラムであって、前記コンピュータに、前記第１の撮像装置が撮像した第１の撮像画像の特徴量を抽出する第１のステップと、前記第２の撮像装置が撮像した第２の撮像画像の特徴量を抽出する第２のステップと、前記第１の撮像画像の特徴量と前記第２の撮像画像の特徴量とを比較する第３のステップと、前記比較の結果に基づいて、前記第１の撮像画像を加工して、前記表示部に表示される表示画像を生成する第４のステップと、を実行させる、構成を採る。

本開示によれば、車両のウィンドウ上に付着したスモークフィルムや異物等の種類に応じて自動的に撮像画像を調整する、改善された車載映像表示システム、車載映像表示方法、およびプログラムを提供することができる。

第１の実施の形態に係る車載映像表示システムの構成図である。 本開示に係る車載映像表示システムの設置状態の一例を示す図である。 第１の実施の形態に係る車載映像表示システムの動作の一例を示すフローチャートである。 右サイドカメラの撮像画像の一例である。 リアカメラの撮像画像の一例である。 左サイドカメラの撮像画像の一例である。 第２の実施の形態に係る車載映像表示システムの動作の一例を示すフローチャートである。 第３の実施の形態に係る車載映像表示システムの構成図である。 コンピュータのハードウェア構成の一例を示す図である。

以下、本開示の実施の形態について、図面を参照して詳細に説明する。

（第１の実施の形態）
図１は、第１の実施の形態に係る車載映像表示システム１の構成図である。図２は、本開示に係る車載映像表示システム１の設置状態の一例を示す図である。車載映像表示システム１は、第１の撮像装置２と、第２の撮像装置３と、表示装置４と、を備える。車載映像表示システム１は、光学ミラーに代えて車両に搭載される電子ミラーシステムである。

第１の撮像装置２は、車両の中に設置され、車両のウィンドウ（窓ガラス）上の遮蔽物５を介して車両の外を撮像する。一例において、第１の撮像装置２は、車両の後方視界を撮像するリアカメラである。一例において、遮蔽物５は、車両のウィンドウに貼られたスモークフィルムである。他の例において、遮蔽物５は、ウィンドウに付着した異物（例えば、雨粒、泥、葉）である。

第２の撮像装置３は、車両の外に設置され、車両の外を撮像する。一例において、第２の撮像装置３は、それぞれ車両の左側後方視界および右側後方視界を撮像する左サイドカメラおよび右サイドカメラである。なお、図１および図２は、２つの第２の撮像装置３（第２の撮像装置３−１、第２の撮像装置３−２）を備える車載映像表示システム１を一例として示しているが、第２の撮像装置３の個数は、１以上の任意の数であってよい。

表示装置４は、表示制御部６と、表示部７と、記憶部１６と、を備える。表示装置４は、車両に設置される電子ミラーシステムの表示装置である。

表示制御部６は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備える。ＣＰＵは、例えばＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働して、車載映像表示システム１の各ブロックの動作を集中制御する。表示制御部６は、表示画像生成部８と、第１の特徴量抽出部９と、第２の特徴量抽出部１０と、特徴量比較部１１と、映像出力部１２として機能する。

表示画像生成部８は、画質調整パラメータに基づいて、第１の撮像画像を加工して表示部７に表示される表示画像を生成する。

一例において、表示画像生成部８は、画質調整部１３とパラメータ生成部１４とを備える。画質調整部１３は、第１の撮像装置２から取得した第１の撮像画像の画質を調整する。一例において、画質調整部１３は、設定された画質調整パラメータに基づいて第１の撮像画像の画質を調整する。

一例において、画質調整部１３は、空間方向のフィルタ処理を行うことでノイズを除去するノイズフィルタを備える。また、一例において、画質調整部１３は、ガンマカーブに従って入力画像信号を出力画像信号に変換するコントラスト補正回路を備える。画質調整部１３は、複数（例えば１６種類）のガンマカーブの中から選択された１つのガンマカーブに従って、入力画像信号を出力画像信号に変換する。また、一例において、画質調整部１３は、輪郭部分を強調させる輪郭補正回路を備える。

第１の特徴量抽出部９は、第１の撮像装置２が撮像した第１の撮像画像の特徴量を抽出する。第２の特徴量抽出部１０は、第２の撮像装置３が撮像した第２の撮像画像の特徴量を抽出する。一例において、第１の特徴量抽出部９は、表示画像生成部８が生成した表示画像に基づいて、第１の撮像画像の特徴量を抽出する。他の例において、第１の特徴量抽出部９は、第１の撮像装置２から取得した第１の撮像画像に基づいて、第１の撮像画像の特徴量を抽出する。

一例において、特徴量は、画素の輝度値（輝度信号Ｙ）の平均値である。他の一例において、特徴量は、画素の色差値（色差信号Ｐｂ／Ｐｒ）の平均値である。

図１は、２つの第２の特徴量抽出部１０（第２の特徴量抽出部１０−１、第２の特徴量抽出部１０−２）を備える車載映像表示システム１を一例として示しているが、第２の特徴量抽出部１０の個数は任意である。

特徴量比較部１１は、第１の特徴量抽出部９が抽出した第１の撮像画像の特徴量と、第２の特徴量抽出部１０が抽出した第２の撮像画像の特徴量とを、例えば差分値を取ることにより比較する。

一例において、特徴量の比較に先立ち、特徴量比較部１１は、逆光による撮像画像の白飛びが発生した状態や、トンネル内における撮像画像の黒つぶれが発生した状態や、走行環境の変化に伴い撮像画像が急峻に変化した状態を異常状態として検出する。異常状態が検出された場合、画質調整部１３は第１の撮像装置２から取得した第１の撮像画像の画質を調整しない。これにより、画質調整部１３は、異常状態に基づいた画質の調整を避けることができる。

具体的には、特徴量と基準値との差分値が予め定められた第１の判定値より大きい場合、特徴量比較部１１は、異常状態を検出する。ここで、基準値は、予め定められた値であり、例えば、第１の撮像装置２または第２の撮像装置３が逆光を受ける場合や車両がトンネル内を走行する場合等を除いた、通常の走行環境下における特徴量の時間平均値である。また、第１の判定値は、予め定められた値であり、特徴量と基準値との誤差の許容量を表す。

他の一例において、特徴量比較部１１は、累積平均算出部１５を備える。累積平均算出部１５は、経時的に変化する変化量の、予め定められた期間の累積平均値を算出する。ここで、変化量は、例えば、第１の撮像画像の特徴量、第２の撮像画像の特徴量、および／またはそれらの差分値である。例えば、特徴量比較部１１は、特徴量とその累積平均値との差分値が予め定められた第２の判定値より大きい場合、異常状態を検出する。ここで、第２の判定値は、予め定められた値であり、特徴量とその累積平均値との誤差の許容量を表す。

映像出力部１２は、表示画像生成部８が生成した表示画像および第２の撮像装置３が撮像した第２の撮像画像を、表示部７に出力する。一例において、映像出力部１２は、図１に示されるように、第１の特徴量抽出部９または第２の特徴量抽出部１０と特徴量比較部１１とを介して間接的に取得した表示画像および第２の撮像画像を、表示部７に出力する。他の一例において、映像出力部１２は、表示画像生成部８から直接的に取得した表示画像と、第２の撮像装置３から直接的に取得した第２の撮像画像とを、それぞれ、表示部７に出力する。なお、図１は、３つの映像出力部１２（映像出力部１２−１、映像出力部１２−２、映像出力部１２−３）を備える車載映像表示システム１を一例として示しているが、映像出力部１２の個数は任意である。

パラメータ生成部１４は、特徴量比較部１１における比較の結果に応じて画質調整パラメータを生成する。一例において、パラメータ生成部１４は、車両のウィンドウ上の遮蔽物５の種類を推定し、推定に基づいて画質調整パラメータを生成する。推定の内容および画質調整パラメータの内容については後述する。

記憶部１６は、表示制御部６が使用するパラメータを記憶する。一例において、記憶部１６は、不揮発性メモリである。

一例において、記憶部１６は、遮蔽物５の種類と第１の撮像画像の特徴量および第２の撮像画像の特徴量の比較の結果との関係を規定したテーブルを記憶する。例えば、パラメータ生成部１４は、記憶部１６からテーブルを読み出し、テーブルを参照して特徴量比較部１１における比較の結果から遮蔽物５の種類を推定する。これにより、パラメータ生成部１４は、遮蔽物５の種類を良好に推定することができる。さらに、画質調整部１３は、車両のウィンドウ上の遮蔽物５の種類に応じて、表示画像を良好に調整することができる。

表示部７は、映像出力部１２から出力された表示画像および第２の撮像画像を、乗員（例えば運転手）に対して表示する。一例において、表示部７は、ダッシュボードに配置される液晶ディスプレイである。なお、図１は、３つの表示部７（表示部７−１、表示部７−２、表示部７−３）を備える車載映像表示システム１を一例として示しているが、表示部７の個数は任意である。

図３は、第１の実施の形態に係る車載映像表示システム１の動作の一例を示すフローチャートである。この処理は、例えば自車両のエンジンが起動されることに伴い、車載映像表示システム１のＣＰＵがＲＯＭに格納されているプログラムを読みだして実行することにより実現される。本フローチャートにおいては、遮蔽物５がスモークフィルムである場合を例にとって説明するが、その他の遮蔽物５の場合においても本開示を同様に適用することができる。

ステップＳ１１において、まず、表示制御部６は、初期設定を行う（第１の特徴量抽出部９および第２の特徴量抽出部１０としての処理）。具体的には、第１の撮像装置２および第２の撮像装置３の撮像領域に含まれる空の領域から同一対象が占める領域を対象領域として選択し、対象領域に対応する第１の撮像装置２および第２の撮像装置３の撮像画像内の対象範囲を特定する。空の領域に対応する撮像画像内の範囲においては、一般的に画素の輝度値が高くなる。したがって、対象領域を空の領域から選択すると、撮像画像内の対象範囲から抽出される特徴量の、スモークフィルムの種類に応じた変化もより顕著になるので、スモークフィルムの種類の推定のために都合が良い。

図４Ａは、右サイドカメラの撮像画像の一例１１０である。図４Ｂは、リアカメラの撮像画像の一例１１１である。図４Ｃは、左サイドカメラの撮像画像の一例１１２である。例えば、図４Ａ〜図４Ｃにおいて太枠で囲まれている範囲Ｉ１〜Ｉ３が、撮像画像内の対象範囲である。

一例において、撮像画像内における対象範囲の座標およびサイズを予め決めておく。一例において、範囲Ｉ１〜Ｉ３は、水平方向が６４画素からなり垂直方向が６４ラインからなるサイズ（４０９６画素）を有する。対象範囲においては、輝度値が一様であるのが好ましい。

他の例において、リアカメラと左／右サイドカメラとの間でカメラの画角が異なる場合、範囲Ｉ１〜Ｉ３は異なるサイズであってもよい。例えば、左／右サイドカメラがリアカメラと比較して広角のレンズを備える場合、左／右サイドカメラの撮像画像内の対象範囲に含まれるピクセルの数は、リアカメラの撮像画像内の対象範囲に含まれるピクセルの数より少なくなるからである。

ステップＳ１２において、表示制御部６は、画質調整パラメータを設定する（パラメータ生成部１４としての処理）。例えば、画質調整部１３がノイズフィルタを備える場合、パラメータ生成部１４は、ノイズフィルタのノイズリダクションの強度を設定する画質調整パラメータを生成し、画質調整部１３に設定する。

また、例えば、画質調整部１３がコントラスト補正回路を備える場合、パラメータ生成部１４は、コントラスト補正の特性を指定するガンマカーブを設定する画質調整パラメータを生成し、画質調整部１３に設定する。また、例えば、画質調整部１３が輪郭補正回路を備える場合、パラメータ生成部１４は、輪郭補正に用いるエンハンス量のゲインを設定する画質調整パラメータを生成し、画質調整部１３に設定する。

ステップＳ１３において、表示制御部６は、対象領域における撮像画像の特徴量を抽出する（第１の特徴量抽出部９および第２の特徴量抽出部１０としての処理）。一例において、第１の特徴量抽出部９および第２の特徴量抽出部１０は、範囲Ｉ１〜Ｉ３に含まれる画素の輝度値（輝度信号Ｙ）の平均値を特徴量として抽出する。他の一例において、範囲Ｉ１〜Ｉ３に含まれる画素の色差値（色差信号Ｐｂ／Ｐｒ）の平均値を特徴量として抽出する。

ステップＳ１４において、表示制御部６は、いずれかの特徴量が異常値であるか否かを判定する（特徴量比較部１１としての処理）。

一例において、特徴量比較部１１は、通常の空の領域における輝度値の平均値および／または色差値の平均値を基準値として保持しておく。特徴量比較部１１は、第１の特徴量抽出部９および第２の特徴量抽出部１０から取得した特徴量と基準値との差分値が予め定められた第１の判定値以上である場合、特徴量が異常値であると判定する。

他の一例において、特徴量比較部１１が累積平均算出部１５を備える場合、特徴量比較部１１は、第１の特徴量抽出部９および第２の特徴量抽出部１０から取得した特徴量に対して累積平均算出部１５が算出した累積平均値と特徴量との差分値が予め定められた第２の判定値以上である場合、特徴量が異常値であると判定する。

特徴量が異常値であると判定した場合（Ｓ１４：ＹＥＳ）、表示制御部６は、逆光による白飛びや、トンネル突入時の黒つぶれなど、瞬間的な異常データを除外するために、制御をステップＳ１３に戻す。特徴量が異常値でないと判定した場合（Ｓ１４：ＮＯ）、ステップＳ１５において、表示制御部６は、第１の撮像画像の特徴量と第２の撮像画像の特徴量との差分値を計算する（特徴量比較部１１としての処理）。

一例において、ステップＳ１５において、表示制御部６は、第１の特徴量抽出部９が抽出した特徴量と、２つの第２の特徴量抽出部１０−１，１０−２が抽出した２つの特徴量を平均した特徴量との差分値を計算する。撮像画像の輝度や色の分布は、太陽光の影響をうけるため、撮像画像内の同じ対象領域であっても、カメラの設置場所に応じて変化しうる。そこで、例えば、第２の撮像装置３−１，３−２がそれぞれ左／右サイドカメラである場合、第２の撮像画像内の対象範囲における特徴量を平均することにより、単一カメラの撮像画像から抽出した特徴量を使用する場合と比較して、より高い精度で撮像画像から特徴量を抽出することができる。

ステップＳ１６において、表示制御部６は、差分値が予め定められた値より大きいか否かを判定する（特徴量比較部１１としての処理）。

差分値が予め定められた値よりも大きくない場合（Ｓ１６：ＮＯ）、表示制御部６は、スモークフィルムが車両のウィンドウに貼り付けられていないと判断し、制御をステップＳ１９に移す。

差分値が予め定められた値よりも大きい場合（Ｓ１６：ＹＥＳ）、ステップＳ１７において、表示制御部６は、スモークフィルムの種類を推定する（パラメータ生成部１４としての処理）。一例において、パラメータ生成部１４は、第２の撮像画像の特徴量に対する差分値の比率から可視光透過率を推定し、次の＜表１＞を参照して、可視光透過率に基づいてスモークフィルムの種類の推定を行う。

次いで、ステップＳ１８において、表示制御部６は、推定されたスモークフィルムの種類に応じて画質調整パラメータを変更する（パラメータ生成部１４としての処理）。

例えば、画質調整部１３がノイズフィルタを備える場合、パラメータ生成部１４は、上記の＜表１＞を参照して、ノイズフィルタのノイズリダクションの強度を画質調整部１３に設定する。ノイズリダクション強度を強くすると、画像のノイズが減る一方で、画像のぼかしが強くなる。

また、例えば、画質調整部１３がコントラスト補正回路を備える場合、パラメータ生成部１４は、上記の＜表１＞を参照して、コントラスト補正の特性を指定するガンマカーブの形状を指定し、画質調整部１３に設定する。ガンマカーブの暗部を持ち上げることによって、低輝度の画素をより明るくすることができる。

また、例えば、画質調整部１３が輪郭補正回路を備える場合、パラメータ生成部１４は、上記の＜表１＞を参照して、輪郭補正に用いるエンハンス量のゲインを設定する画質調整部１３に設定する。ゲインを大きくすることによって、輪郭がくっきりさせることができ、ゲインを小さくすることにより、ノイズ成分をより目立たなくすることができる。

一例において、パラメータ生成部１４は、昼間と夜間とにおいて、異なる画質調整パラメータを画質調整部１３に設定してもよい。例えば、夜間においては、パラメータ生成部１４は＜表１＞に代えて次の＜表２＞を参照して、画質調整パラメータを変更してもよい。

＜表２＞は、特徴量の差分値を除いて＜表１＞と同じである。夜間においては、昼間よりもスモークフィルムによる影響がより顕著になることを考慮に入れて、特徴量の差分値の閾値をより大きくするのが好ましい。一例において、記憶部１６が＜表１＞および＜表２＞を記憶し、パラメータ生成部１４が、必要に応じて記憶部１６から＜表１＞または＜表２＞を読み出す。

次いで、ステップＳ１９において、表示制御部６は、画質調整パラメータを微調整する（パラメータ生成部１４としての処理）。例えば、パラメータ生成部１４は、記憶部１６から取得したテーブルに存在しない中間値を線形補間により生成し、表示画像と第２の撮像画像とが同等の明るさの画像になるまで、微調整を繰り返してもよい。

このように、第１の実施の形態に係る車載映像表示システム１は、車両の中に設置され、車両の窓ガラスを通して車両の外を撮像する第１の撮像装置２と、車両の外に設置され、車両の外を撮像する第２の撮像装置３と、第１の撮像装置２が撮像した第１の撮像画像の特徴量を抽出する第１の特徴量抽出部９と、第２の撮像装置３が撮像した第２の撮像画像の特徴量を抽出する第２の特徴量抽出部１０と、第１の撮像画像の特徴量と第２の撮像画像の特徴量とを比較する特徴量比較部１１と、比較の結果に基づいて、第１の撮像画像を加工して表示画像を生成する表示画像生成部８と、前記表示画像を表示する表示部７と、を備える。

第１の実施の形態に係る車載映像表示システム１によれば、車両のウィンドウ上にある第１の撮像装置２を遮蔽する遮蔽物５の種類に応じて、第１の撮像装置２の第１の撮像画像が自動的に調整される。したがって、乗員は、車両のウィンドウのスモークフィルムが貼り替えられた場合や、車両のウィンドウに異物が付着した場合であっても、乗員が車載映像表示システム１を手動で調節することなく、良好な表示画像を視ることができる。

（第２の実施の形態）
図５は、第２の実施の形態に係る車載映像表示システム１の動作の一例を示すフローチャートである。この処理は、第１の実施の形態に係る車載映像表示システム１の各構成要素を用いて実行される。本フローチャートにおいては、遮蔽物５が異物である場合を例にとって説明するが、その他の遮蔽物５の場合においても本開示を同様に適用することができる。

ステップＳ２１において、まず、表示制御部６は、初期設定を行う（第１の特徴量抽出部９および第２の特徴量抽出部１０としての処理）。具体的には、第１の撮像装置２および第２の撮像装置３の撮像領域に含まれる同一対象が占める領域を対象領域として選択し、対象領域に対応する第１の撮像装置２および第２の撮像装置３の撮像画像内の対象範囲を特定する。ここで、対象領域および対象範囲のサイズは、第１の実施の形態に係るステップＳ１１と異なり、サイズが大きいほど好ましい。サイズが大きいほど、より広い領域における異物を推定することができるからである。

次に、ステップＳ２２において、表示制御部６は、画質調整パラメータを設定する（パラメータ生成部１４としての処理）。ステップＳ２２の処理内容は、第１の実施の形態に係るステップＳ１２の処理内容と同様であるので、説明を省略する。

ステップＳ２３において、表示制御部６は、対象領域における第１の撮像画像および第２の撮像画像の特徴量を抽出する（第１の特徴量抽出部９および第２の特徴量抽出部１０としての処理）。一例において、第１の特徴量抽出部９および第２の特徴量抽出部１０は、対象範囲に含まれる画素の輝度値（輝度信号Ｙ）のエッジ特徴量と輝度値ヒストグラムとを特徴量として抽出する。

エッジ特徴量は、例えば、フレーム毎に対象範囲に含まれる画素の特徴量に対して、Ｃａｎｎｙ法、またはＳｏｂｅｌ法の１次微分フィルタ、あるいはＬａｐｌａｃｉａｎ法の２次微フィルタを適用することにより、算出することができる。次に、算出した微分値についてフレーム間で類似する画素を求める。例えば、予め定められた一定期間の画像フレームに対して微分値の論理積を取る。車が動いている状態では、異物の領域のみ輝度や色差の変化がないため、論理積の値は大きくなる。これによりエッジ特徴量によって異物の有無を判断できる。一方、輝度値ヒストグラムは、例えば、対象範囲に含まれる画素の輝度値を１６階級に分類し、それぞれの階級に属する画素の数を計数することにより求めることができる。ステップＳ２３において、上記の微分フィルタ処理と論理積の処理を、任意の回数繰り返す。

ステップＳ２４において、表示制御部６は、特徴量が異常値であるか否かを判定する（特徴量比較部１１としての処理）。

一例において、特徴量比較部１１は、通常の（異物がない状態の）輝度値ヒストグラムを基準輝度値ヒストグラムとして保持しておく。特徴量比較部１１は、第１の特徴量抽出部９および第２の特徴量抽出部１０から取得した輝度値ヒストグラムと基準輝度値ヒストグラムとの乖離が予め定められた量以上である場合、輝度値ヒストグラムが異常値であると判定する。

特徴量が異常値であると判定した場合（Ｓ２４：ＹＥＳ）、逆光による白飛びや、トンネル突入時の黒つぶれなど、瞬間的な異常データを除外するために、ステップＳ２３に戻る。特徴量が異常値でないと判定した場合（Ｓ２４：ＮＯ）、ステップＳ２５において、表示制御部６は、第１の撮像画像のエッジ特徴量と第２の撮像画像のエッジ特徴量との差分値を計算する（特徴量比較部１１としての処理）。

ステップＳ２６において、表示制御部６は、差分値が予め定められた値より大きいか否かを判定する（特徴量比較部１１としての処理）。差分値が予め定められた値よりも大きくない場合（Ｓ２６：ＮＯ）、表示制御部６は、異物の付着がないものと判断し、フローを終了する。

差分値が予め定められた値よりも大きい場合（Ｓ２６：ＹＥＳ）、ステップＳ２７において、表示制御部６は、異物の種類を推定する（パラメータ生成部１４としての処理）。一例において、記憶部１６は、異物の種類とエッジ特徴量の差分値との関係を規定したテーブルを記憶する。例えば、パラメータ生成部１４は、記憶部１６からテーブルを読み出し、特徴量比較部１１が計算したエッジ特徴量の差分値から異物の種類を推定する。

他の一例において、記憶部１６は、異物の種類と輝度値ヒストグラムの比較の結果との関係を規定したテーブルを記憶する。例えば、パラメータ生成部１４は、記憶部１６からテーブルを読み出し、特徴量比較部１１における輝度値ヒストグラムの比較の結果から異物の種類を推定する。

次いで、ステップＳ２８において、表示制御部６は、推定された異物に関する情報を第１の撮像画像に重畳して表示画像を生成する（表示画像生成部８としての処理）。

第２の実施の形態に係る車載映像表示システム１によれば、車両のウィンドウ上にある第１の撮像装置２を遮蔽する遮蔽物５の種類を良好に推定することができる。

（第３の実施の形態）
図６は、第３の実施の形態に係る車載映像表示システム２１の構成図である。車載映像表示システム２１は、第１の撮像装置２２と、第２の撮像装置３と、表示装置２５と、を備える。第２の撮像装置３は、第１の実施の形態および第２の実施の形態において用いられるものと同様であるので、説明を省略する。

第１の撮像装置２２は、車両の中に設置され、遮蔽物５を介して車両の外を撮像する。一例において、第１の撮像装置２２は、車両の後方視界を撮像するリアカメラである。第１の撮像装置２２は、画質制御部２３と、第１の通信部２４とを備える。

画質制御部２３は、第１の撮像装置２２の画質を制御する。例えば、画質制御部２３は、第１の撮像装置２２のゲイン、露光状態、ホワイトバランスを制御する。

第１の通信部２４は、後述のパラメータ生成部２９に第１の撮像装置２２の画質情報を送信する。画質情報は、例えば、第１の撮像装置２２のゲイン、露光状態、ホワイトバランスを示す情報である。

表示装置２５は、表示制御部２６と、表示部７と、記憶部１６と、第２の通信部２８とを備える。表示部７と記憶部１６とは、第１の実施の形態および第２の実施の形態において用いられるものと同様であるので、説明を省略する。

表示制御部２６は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備える。ＣＰＵは、例えばＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働して、車載映像表示システム１の各ブロックの動作を集中制御する。表示制御部２６は、表示画像生成部２７と、第１の特徴量抽出部９と、第２の特徴量抽出部１０と、特徴量比較部１１と、映像出力部１２として機能する。表示画像生成部２７は、画質調整部１３と、パラメータ生成部２９とを備える。第１の特徴量抽出部９と、第２の特徴量抽出部１０と、特徴量比較部１１と、映像出力部１２と、画質調整部１３とは、第１の実施の形態および第２の実施の形態において用いられるものと同様であるので、説明を省略する。

第２の通信部２８は、第１の撮像装置２２の制御パラメータを第１の通信部２４に送信する。制御パラメータは、例えば、第１の撮像装置２２のゲイン、露光状態、ホワイトバランスを制御するのに用いられるパラメータである。第１の通信部２４および第２の通信部２８は、Ｉ^２Ｃシリアルバスを介して通信するのが好ましいが、その他の有線または無線通信手段を介して通信してもよい。

パラメータ生成部２９は、第１の通信部２４を介して取得した画質情報および特徴量比較部１１から取得した比較の結果に基づいて制御パラメータを生成する。次いで、画質制御部２３は、第１の通信部２４を介して取得した制御パラメータに基づいて第１の撮像装置２２の画質を調整する。

このように、第３の実施の形態に係る車載映像表示システム２１は、第１の撮像装置２２が、第１の撮像装置２２の画質を制御する画質制御部２３と、パラメータ生成部２９に第１の撮像装置の画質情報を送信し、パラメータ生成部２９が生成した第１の撮像装置２２の制御パラメータを受信する通信部（第１の通信部２４）と、を備え、パラメータ生成部２９は、画質情報および比較の結果に基づいて制御パラメータを生成し、画質制御部２３は、制御パラメータに基づいて第１の撮像装置２２の画質を調整する。

第３の実施の形態によれば、スモークフィルム等によって暗くなった第１の撮像画像に対して、第１の撮像装置２２のゲイン、露光状態、ホワイトバランスなどを調整することにより、画質調整部１３により第１の撮像画像を明るく調整した場合と比較して、より良好な表示画像が得られる。

また、第３の実施の形態によれば、第１の撮像装置２２のゲインの増加に応じて画質調整部１３によるノイズリダクションの強度を上げる等、画質制御部２３による画質の制御と画質調整部１３による画像の調整とを連動させることができる。特徴量比較部１１によって第１の撮像画像のゲインを推定する構成を採用した場合と比較して、より正確かつ容易に画質制御部２３による画質の制御と画質調整部１３による画像の調整とを連動させることができる。

図７は、コンピュータのハードウェア構成の一例を示す図である。上述した各実施の形態および各変形例における各部の機能は、コンピュータ２１００が実行するプログラムにより実現される。

図７に示すように、コンピュータ２１００は、入力ボタン、タッチパッドなどの入力装置２１０１、ディスプレイ、スピーカなどの出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５を備える。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Solid State Drive）などの記憶装置２１０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を備える。上述した各部は、バス２１０９により接続される。

そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。

そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。

（その他の実施の形態）
第１の実施の形態から第３の実施の形態においては、特徴量は、画素の輝度値（輝度信号Ｙ）または画素の色差値（色差信号Ｐｂ／Ｐｒ）の平均値、輝度値エッジ特徴量、または輝度値ヒストグラムである。これに加えて、またはこれに代えて、第１の特徴量および第２の特徴量として、画素の輝度値（輝度信号Ｙ）または画素の色差値（色差信号Ｐｂ／Ｐｒ）の最大値または最小値を採用してもよい。さらに、これに代えて、特徴量として、画素の輝度値（輝度信号Ｙ）または画素の色差値（色差信号Ｐｂ／Ｐｒ）のヒストグラムに基づいた値（例えば中央値、最頻値）を採用してもよい。

第２の実施の形態または第３の実施の形態においては、ウィンドウに付着した異物の種類の推定が行われる。これに加えて、ウィンドウに付着した異物が水滴である場合、水滴の状態を推定して、例えば雨、霧の中において最適な画質を得られるように、パラメータ生成部１４または２９が画質調整部１３の調整パラメータまたは画質制御部２３の制御パラメータを生成してもよい。

本開示に係る車載映像表示システムは、車両の周囲を映すミラーに代えて車両に搭載され、電子ミラーとして使用されるのに好適である。

１ 車載映像表示システム
２ 第１の撮像装置
３，３−１，３−２ 第２の撮像装置
４ 表示装置
５ 遮蔽物
６ 表示制御部
７，７−１，７−２，７−３ 表示部
８ 表示画像生成部
９ 第１の特徴量抽出部
１０，１０−１，１０−２ 第２の特徴量抽出部
１１ 特徴量比較部
１２，１２−１，１２−２，１２−３ 映像出力部
１３ 画質調整部
１４ パラメータ生成部
１５ 累積平均算出部
１６ 記憶部

Claims (11)

1. 車両の中に設置され、前記車両の窓ガラスを通して前記車両の外を撮像する第１の撮像装置と、
   前記車両の外に設置され、前記車両の外を撮像する第２の撮像装置と、
   前記第１の撮像装置が撮像した第１の撮像画像の特徴量を抽出する第１の特徴量抽出部と、
   前記第２の撮像装置が撮像した第２の撮像画像の特徴量を抽出する第２の特徴量抽出部と、
   前記第１の撮像画像の特徴量と前記第２の撮像画像の特徴量とを比較する特徴量比較部と、
   前記比較の結果に基づいて、前記第１の撮像画像を加工して表示画像を生成する表示画像生成部と、
   前記表示画像を表示する表示部と、
   を備える、車載映像表示システム。
2. 前記表示画像生成部は、
   前記比較の結果に応じて画質調整パラメータを生成するパラメータ生成部と、
   前記画質調整パラメータに基づいて前記第１の撮像画像の画質を調整する画質調整部と、
   を備える、請求項１に記載の車載映像表示システム。
3. 前記パラメータ生成部は、前記窓ガラスに貼られたスモークフィルムの種類または前記窓ガラスに付着した異物の種類の推定に基づいて前記画質調整パラメータを生成する、請求項２に記載の車載映像表示システム。
4. 前記パラメータ生成部は、前記第１の撮像画像の特徴量および前記第２の撮像画像の特徴量の比較の結果と前記スモークフィルムの種類との関係を規定したテーブルを参照して、前記比較の結果から前記スモークフィルムの種類を推定する、請求項３に記載の車載映像表示システム。
5. 前記パラメータ生成部は、前記第１の撮像画像の特徴量および前記第２の撮像画像の特徴量の比較の結果と前記異物の種類との関係を規定したテーブルを参照して、前記比較の結果から前記異物の種類を推定する、請求項３または４に記載の車載映像表示システム。
6. 前記第１の撮像装置は、
   前記第１の撮像装置の画質を制御する画質制御部と、
   前記パラメータ生成部に前記第１の撮像装置の画質情報を送信し、前記パラメータ生成部が生成した前記第１の撮像装置の制御パラメータを受信する通信部と、を備え、
   前記パラメータ生成部は、前記画質情報および前記比較の結果に基づいて前記制御パラメータを生成し、
   前記画質制御部は、前記制御パラメータに基づいて前記第１の撮像装置の画質を調整する、請求項２から５のいずれかに記載の車載映像表示システム。
7. 前記特徴量と予め定められた基準値との差分が予め定められた第１の判定値より大きい場合、前記画質調整部は前記第１の撮像画像の画質を調整しない、
   請求項２から６のいずれかに記載の車載映像表示システム。
8. 前記特徴量比較部は、前記特徴量の予め定められた期間の累積平均値を算出する累積平均算出部を備え、
   前記特徴量と前記累積平均値との差分が予め定められた第２の判定値より大きい場合、前記画質調整部は前記第１の撮像画像の画質を調整しない、
   請求項２から７のいずれかに記載の車載映像表示システム。
9. 前記第１の撮像装置は、リアカメラであり、
   前記第２の撮像装置は、右サイドカメラおよび左サイドカメラの２つのカメラである、
   請求項１から８のいずれかに記載の車載映像表示システム。
10. 車両の中に設置され、前記車両の窓ガラスを通して前記車両の外を撮像する第１の撮像装置と、前記車両の外に設置され、前記車両の外を撮像する第２の撮像装置と、表示部とを備える車載映像表示システムによって実施される方法であって、
    前記第１の撮像装置が撮像した第１の撮像画像の特徴量を抽出する第１のステップと、
    前記第２の撮像装置が撮像した第２の撮像画像の特徴量を抽出する第２のステップと、
    前記第１の撮像画像の特徴量と前記第２の撮像画像の特徴量とを比較する第３のステップと、
    前記比較の結果に基づいて、前記第１の撮像画像を加工して、前記表示部に表示される表示画像を生成する第４のステップと、
    を備える、車載映像表示方法。
11. 車両の中に設置され、前記車両の窓ガラスを通して前記車両の外を撮像する第１の撮像装置と、前記車両の外に設置され、前記車両の外を撮像する第２の撮像装置と、表示部とを備える車載映像表示システムのコンピュータが実行するプログラムであって、前記コンピュータに、
    前記第１の撮像装置が撮像した第１の撮像画像の特徴量を抽出する第１のステップと、
    前記第２の撮像装置が撮像した第２の撮像画像の特徴量を抽出する第２のステップと、
    前記第１の撮像画像の特徴量と前記第２の撮像画像の特徴量とを比較する第３のステップと、
    前記比較の結果に基づいて、前記第１の撮像画像を加工して、前記表示部に表示される表示画像を生成する第４のステップと、
    を実行させる、プログラム。

Images