JP2010109684A - 車両周辺画像表示システム - Google Patents

Abstract

【課題】実カメラ映像を取得する外部環境条件にかかわらず、仮想カメラ画像と半透明車室内画像の区別を明らかとし、運転者から死角となる外部状況を自車両との位置関係にて明確に透過視認できる車両周辺画像表示システムを提供すること。
【解決手段】サイドカメラ１とモニター３と画像処理コントロールユニット２を備えたシースルーサイドビューモニターシステムＡ１において、画像処理コントロールユニット２は、サイドカメラ１からの外部映像を運転者の視点位置から見た仮想カメラ画像に視点変換する画像処理部４３と、外部映像の色を輝度・色相に応じて判定する輝度・色相判定センサー４９ａと、半透明車室内画像RGの輝度・色相を、外部映像に対する視認性を高めるように自動調整する輝度・色相変換ブロック４９ｂと、仮想カメラ画像に半透明車室内画像RGを重畳させる画像合成により、半透明車室内画像RGを透過して仮想カメラ画像を表現する合成画像を生成するスーパーインポーズ回路４６と、を有する。
【選択図】図１

Description

本発明は、車載死角カメラから取得されるカメラ映像に基づき、車室内のモニター画面に対し死角領域を含む車両周辺画像を表示する車両周辺画像表示システムに関する。

現在、実用化されているサイドビューモニターシステムは、サイドミラーの内部にサイドカメラ（CCDカメラ等）を設定し、ナビゲーションシステムと兼用されるフロントディスプレイユニットのモニター画面に、サイドカメラからの実カメラ映像を表示している。つまり、モニター画面に、運転者の死角となる車両の前部側方部分を表示することで、運転者が死角となる部分の状況を認識できるようにしている。

しかしながら、サイドカメラがサイドミラーの内部に配置されているため、カメラ視点と運転者視点の間に大きな視差を有し、障害物やその他物体の形状は、カメラ映像での形状と運転者の席から見える形状とが全く違うものとなる。

これに対し、通常の場合には、運転者自身の慣れにより、カメラ映像を頭の中で再構成し、物体の位置関係を再構築して判断することにより、運転者自身の見ている映像との整合性を取っている。一方、不慣れな運転者の場合や咄嗟の場合には、画面映像と運転者の席から見える映像との整合性が崩れて違和感を生じる。

このような違和感を解消するため、車体外側に設けられた死角カメラにより得られるカメラ映像を、あたかも運転者の視点位置から見た仮想カメラ映像へと画像変換して変換外部画像を生成する。また、運転者の視点位置近くに設けられた運転者視点カメラにより得られるカメラ映像から、死角領域を除いた視認領域画像を生成する。そして、視認領域画像から除かれた死角領域に変換外部画像を合成した合成画像を得る車両周辺画像表示システムが提案されている（例えば、特許文献１参照）。

具体的に述べると、車両外部のトランク部分に取り付けられたバックカメラの映像を画像変換により運転者の視点部分から後方を見た映像に視点変換を行う。ここで、画像を合成する訳であるが、この合成された後方視界の映像の内、窓から見える部分は内部カメラ映像からのライブ映像（生映像）とし、そのカメラでは捕らえられないシートやトランクによって死角となる部分は、画像処理による外部カメラの映像を重ね合わせ映像を得ている。

この場合に、２つの画面を完全に滑らかに連続した画面に変換することは、技術的にも非常に難易度が高いため、画像を切り出す境界線を車両形状の窓枠、その他のものと合わせ、窓枠等のエッジ部分を太枠形状のスーパーインポーズとして重畳することで、分割線を目立たなくする工夫を行っている。
特開２００４−３５０３０３号公報

しかしながら、従来の車両周辺画像表示システムにあっては、下記に列挙するような問題があった。

(1) 主に２つのカメラ映像を切り出し合成することと、同映像の窓枠等のエッジ部分を強調検知し、これを用いてスーパーインポーズを行うことで死角の解消と違和感の解消に努めていたが、そのことにも限界はあり、映像に違和感を生じてしまう。

(2) 例として述べているような、仰角・俯角方向の上下方向に対する広角な死角カメラを用いた場合、室内カメラ（運転者視点カメラ）の視界を十分カバーしており、室内カメラの映像の死角解消への寄与は、トランク上部等の一部の視界のみであり、システム的に無駄な部分が多い。

(3) カメラ映像を合成する際に使用されているエッジ強調によるスーパーインポーズ枠は、画像処理機能の追加を必要とするものであるにも拘らず、運転者へ対して車両の死角部分を見ているとの認識を与えるのに、その効果が不十分である。

そこで、本出願人は、先に、車載死角カメラから入力される実カメラ映像を、運転者の視点位置から見た仮想カメラ画像に視点変換し、この仮想カメラ画像に、半透明化した車室内画像を重畳させる画像合成により、半透明車室内画像を透過して仮想カメラ画像を表現する車両周辺画像表示システムを提案した（特願２００８−３９３９５号、出願日：平成２０年２月２０日）。

しかし、提案した車両周辺画像表示システムの実現過程において、例えば、薄暮れ時には、仮想カメラ画像に半透明車室内画像を重畳させると、仮想カメラ画像と半透明車室内画像の輝度や色相が近似し、外部映像の微妙な色合いの中に、車両の輪郭および車室内の色合いが溶け込んでしまう。また、対向車のライト等が車載死角カメラに映り込んだ時には、高輝度の仮想カメラ画像に半透明車室内画像を重畳させると、半透明車室内画像も全体的に白っぽく透明化してしまう。このように、実カメラ映像を取得する外部環境によっては、仮想カメラ画像と半透明車室内画像の区別が不明確になり、視認性に欠けることがある、という問題が見出された。

本発明は、上記問題に着目してなされたもので、実カメラ映像を取得する外部環境条件にかかわらず、仮想カメラ画像と半透明車室内画像の区別を明らかとし、運転者から死角となる外部状況を自車両との位置関係にて明確に透過視認できる車両周辺画像表示システムを提供することを目的とする。

上記目的を達成するため、本発明では、自車両に取り付けられ、車両周辺を撮像する車載死角カメラと、運転者が視認できる車室内位置に設定したモニターと、前記車載死角カメラから入力される実カメラ映像に基づき、前記モニターへの表示映像を生成するモニター映像生成手段と、を備えた車両周辺画像表示システムにおいて、
前記モニター映像生成手段は、
前記車載死角カメラから入力される実カメラ映像を、運転者の視点位置から見た仮想カメラ画像に視点変換する画像処理部と、
前記車載死角カメラからの外部映像の色を、輝度・色相・彩度・明度の少なくとも１つに応じて判定する外部映像色判定部と、
前記外部映像の色判定結果に基づき、車室内画像を半透明化した半透明車室内画像の輝度・色相・彩度・明度の少なくとも１つを、前記外部映像に対する視認性を高めるように自動調整する車室内画像色自動調整部と、
前記画像処理部からの仮想カメラ画像に、前記車室内画像色自動調整部からの半透明車室内画像を重畳させる画像合成により、半透明車室内画像を透過して仮想カメラ画像を表現する合成画像を生成する画像合成回路と、
を有することを特徴とする。

よって、本発明の車両周辺画像表示システムにあっては、画像合成回路において、画像処理部からの仮想カメラ画像に、明るさ・色合い自動調整部からの半透明車室内画像を重畳させる画像合成により、半透明車室内画像を透過して仮想カメラ画像を表現する合成画像が生成され、この合成画像がモニターに表示される。
すなわち、画像処理部において、車載死角カメラから入力される実カメラ映像が、運転者の視点位置から見た仮想カメラ画像に視点変換されることで、モニターに表示された合成画像を見た運転者は、仮想カメラ画像に含まれる運転者からの死角部分を視差無く直感的に把握できる。
そして、明るさ・色合い判定部において、車載死角カメラから入力される実カメラ映像を外部映像とし、この外部映像の平均的な明るさ・色合いが判定され、明るさ・色合い自動調整部において、外部映像の明るさ・色合い判定部の判定結果に基づき、車室内画像を半透明化した半透明車室内画像の明るさ・色合いが、外部映像に対する視認性を高めるように自動調整される。
したがって、外部映像に対して視認性を高めた半透明車室内画像を透過し、仮想カメラ画像がモニターに表現されることになり、例えば、昼間時、薄暮時、夜間時等の外部環境条件にかかわらず、仮想カメラ画像と半透明車室内画像の区別が明らかとなり、仮想カメラ画像による運転者から死角となる外部状況を、半透明車室内画像による自車両との位置関係にて明確に透過視認できる。
この結果、実カメラ映像を取得する外部環境条件にかかわらず、仮想カメラ画像と半透明車室内画像の区別を明らかとし、運転者から死角となる外部状況を自車両との位置関係にて明確に透過視認できる。

以下、本発明の車両周辺画像表示システムを実現する代表例として、３方向の死角解消カメラに関して、実施例１〜実施例３により各々説明する。

基本的に、全体のシステム構成は、図１に代表されるように、死角解消用のカメラとその映像を処理するデジタル画像処理部及び半透明映像のブレンド処理部から構成されている。単一のカメラ映像を用いる場合は、基本構成は共通である。ただし、カメラの配置・個数に関しては、コストその他を加味して構成を工夫することになる。

また、モニター上の半透明部分の透明度は、当初設定された透過率（透過率初期値）で表示されているが、透過率は固定されておらず、自動的に、あるいは、ユーザー（＝運転者）による操作により、任意に透過率を、透過率＝0％〜100％の範囲で変更可能なシステムを想定している。また、それぞれの場所の透過率は、ユーザーの希望によりカスタマイズ可能なシステムを想定している。

実施例１は、車載死角カメラとして、サイドミラーに内蔵、あるいは、サイドミラー付近に配置される死角解消のためのサイドカメラを用い、運転者の死角となる車両の前部側方部分のサイドカメラ映像を、車室内から透過した映像としてモニターに表示するシースルーサイドビューモニターシステムの例である。

まず、構成を説明する。
図１は、実施例１のシースルーサイドビューモニターシステムＡ１（車両周辺画像表示システムの一例）を示す全体システムブロック図である。

実施例１のシースルーサイドビューモニターシステムＡ１は、図１に示すように、サイドカメラ１（車載死角カメラ）と、画像処理コントロールユニット２（モニター映像生成手段）と、モニター３と、ブレンド比率手動制御インターフェース４（ブレンド比率手動操作手段）と、外部センサー５と、色相手動制御インターフェース６（車室内画像色手動操作手段）と、を備えている。

前記サイドカメラ１は、左サイドミラーに内蔵、あるいは、左サイドミラー付近に配置することで取り付けられ、運転者の死角となる車両の前部側方部分を撮像する。このサイドカメラ１は、撮像素子（CCD,CMOS等）により、車両の前部側方部分の実カメラ映像データを取得する。

前記モニター３は、運転者が視認できる車室内位置（例えば、インストルメントパネル位置等）に設定され、画像処理コントロールユニット２からの表示映像を入力して画像表示する。このモニター３には、液晶ディスプレイや有機ELディスプレイ等による表示画面３ａを有する。ここで、モニター３としては、シースルーサイドビューモニターシステムＡ１に専用のモニターを設定しても良いし、また、死角解消用のカメラシステムに専用のモニターを設定しても良いし、また、ナビゲーションシステム等、他のシステムのモニターを流用しても良い。

前記画像処理コントロールユニット２は、サイドカメラ１から入力される実カメラ映像に加え、ブレンド比率手動制御インターフェース４、外部センサー５、色相手動制御インターフェース６からの入力情報に基づき、前記モニター３への表示映像を生成する。

前記ブレンド比率手動制御インターフェース４は、例えば、モニター３のタッチパネルスイッチによる構成であり、車室内画像に設定された「半透明部分GE」の透過率を、手動操作により任意に調整する。

前記外部センサー５は、画像処理コントロールユニット２に入力情報をもたらすセンサーやスイッチ等をいい、図１に示すように、舵角センサー５１と、速度センサー５２と、イルミON/OFFスイッチ５３と、機能スイッチ５４と、他のセンサ・スイッチ等を備えている。そして、機能スイッチ５４をONにしておくと、外部センサー５により得られる外部環境情報（昼間、夕方、夜間、天気等）や車両情報（舵角、車速等）に基づき、ブレンド回路部４６ａは、車室内画像に設定された「半透明部分GE」の透過率を、モニター３に表示される合成画像の視認性を高めるように自動的に調整する。

前記色相手動制御インターフェース６は、例えば、モニター３のタッチパネルスイッチによる構成であり、スーパーインポーズされる車室内画像の全体色相を、手動操作により任意に調整する。

前記画像処理コントロールユニット２は、図１に示すように、デコーダー４１と、画像メモリ４２と、画像処理部４３と、画像メモリ４４（画像記憶部）と、制御回路（ＣＰＵ）４５と、スーパーインポーズ回路４６（画像合成回路）と、エンコーダ４７と、ブレンド外部制御部４８と、輝度・色相判定センサー４９ａ（外部映像色判定部）と、輝度・色相変換ブロック４９ｂ（車室内画像色自動調整部）と、色相外部制御部４９ｃ（車室内画像色外部制御部）と、を備えている。以下、各構成要素の説明をする。

前記デコーダー４１は、サイドカメラ１から入力される実カメラ映像データを、アナログ／デジタル変換する。

前記画像メモリ４２は、デコーダー４１からのデジタル変換された実カメラ画像データを蓄える。

前記画像処理部４３は、画像メモリ４２から入力される実カメラ画像データを、運転者の視点位置から見た仮想カメラ画像に視点変換する。この画像処理部４３では、「運転者の視点付近に仮想カメラを配置したかのような視点変換処理」が行われると共に、「各種処理（輝度調整・色味補正・エッジ補正等）を含めた画像処理」も併せて行われる。

前記画像メモリ４４は、スーパーインポーズ用のメモリであり、運転者の視点から予め撮影された車室内画像RP（図１０）を車室内画像として記憶しておく。

前記制御回路（ＣＰＵ）４５は、入力情報に応じて画像処理に関する全ての情報処理と制御出力を管理する中央演算処理回路であり、外部映像輝度追従表示制御・輝度急変対応表示制御・色相変換表示制御・警告表示制御等の各種画像処理制御を行う制御プログラムが設定されている。

前記スーパーインポーズ回路４６は、基本的に画像メモリ４４からの車室内画像RPを半透明化することにより半透明車室内画像RG（図１４）とし、前記画像処理部４３からの仮想カメラ画像に前記半透明車室内画像RGを重畳させる画像合成により、半透明車室内画像RGを透過して仮想カメラ画像を表現する合成画像を生成する。
このスーパーインポーズ回路４６には、運転者の視点から予め撮影された車室内画像RPを領域分けし、それぞれの領域にて異なる透過率の設定を行うブレンド回路部４６ａを有する。前記ブレンド回路部４６ａでは、車室内画像RP（図１０）のうち、自車両を道路面に投影した影の領域SEを、車室内画像の透過率が０％の「不透明部分DE」として設定し、自車両の窓ガラスに相当する領域を、車室内画像の透過率が１００％の「透明部分CE」として設定し、影領域と窓ガラス領域以外の領域を、任意の透過率を持つ「半透明部分GE」として設定する（図１４）。

前記エンコーダ４７は、仮想カメラ画像に半透明車室内画像RGを重畳した合成画像信号をスーパーインポーズ回路４６から入力し、合成画像信号のデジタル／アナログ変換を経て、モニター３へ出力する。

前記ブレンド外部制御部４８は、ブレンド比率手動制御インターフェース４から透過率調整信号が入力されたら、車室内画像に設定された「半透明部分GE」の透過率を、０％〜100％の範囲で任意に調整する透過率制御指令を、制御回路４５に対し出力する。

前記輝度・色相判定センサー４９ａは、サイドカメラ１からの外部映像の実カメラ画像データを入力し、実カメラ画像データに基づいて平均的な輝度と色相を判定し、その判定結果を制御回路４５に出力する。
この輝度・色相判定センサー４９ａでは、実カメラ画像を構成する各画素のデータを、デジタルデータ輝度信号Ｙと色差信号CbCr（または、ＲＧＢデータ）として取り込んでいる。そして、取り込んだ元データ（画面）について、図２に示すように、水平走査線方向の一水平ライン毎にデータを累積（蓄積）し、全走査線による複数の累積データを平均化して画像全体の明るさ（輝度）・色相を判定している。この判定手法が最も容易である。しかし、取り込んだ元データ（画面）について、図３に示すように、四隅・中央等に特定のブロック（判定用のエリア１〜５）を設定し、各ブロックでの平均値により画像全体の明るさ（輝度）・色相を判定しても良い。また、取り込んだ元データ（画面）について、図４に示すように、数画素おきに縦方向と横方向の格子状サンプルライン（代表的な垂直ライン、代表的な水平ライン）を設定し、サンプルライン毎にデータを累積（蓄積）し、複数の累積データを平均化して画像全体の明るさ（輝度）・色相を判定しても良い。

前記輝度・色相変換ブロック４９ｂは、制御回路４５からの外部映像の輝度・色相判定結果と、画像メモリ４４からの半透明車室内画像データを入力し、半透明車室内画像の輝度と色相を、外部映像の輝度と色相に対して視認性を高めるように自動調整し、調整後の半透明車室内画像をスーパーインポーズ回路４６に出力する。また、色相外部制御部４９ｃからの色相制御指令と、画像メモリ４４からの半透明車室内画像データを入力し、半透明車室内画像の色相を調整し、調整後の半透明車室内画像をスーパーインポーズ回路４６に出力する。

前記色相外部制御部４９ｃは、色相手動制御インターフェース６から色相調整信号が入力されたら、スーパーインポーズされる車室内画像の全体色相を、好みに応じて任意に調整する色相制御指令を、輝度・色相変換ブロック４９ｂに対し出力する。

図５は、実施例１のシースルーサイドビューモニターシステムＡ１における制御回路４５にて実行される外部映像輝度追従表示制御処理の流れを示すフローチャートである（外部映像輝度追従表示制御モード）。以下、図５の各ステップについて説明する。

ステップＳ51では、機能スイッチ５４がONであるか否かを判断し、Yes（スイッチON）の場合はステップＳ52へ移行し、No（スイッチOFF）の場合はステップＳ51の判断へ戻る。

ステップＳ52では、ステップＳ51での機能スイッチ５４がONであるとの判断に続き、輝度・色相判定センサー４９ａによる判定データとして、輝度判定結果と色相判定結果を入手し、ステップＳ53へ移行する。

ステップＳ53では、ステップＳ52での輝度・色相判定データの入手に続き、判定された輝度検出値が、薄暮れ閾値を示す第１設定値Y1より低いか否かを判断し、Yes（輝度検出値＜Y1）の場合はステップＳ55へ移行し、No（輝度検出値≧Y1）の場合はステップＳ54へ移行する。

ステップＳ54では、ステップＳ53での輝度検出値≧Y1であるとの判断に続き、スーパーインポーズする車室内画像の輝度を通常状態とし、ステップＳ51へ戻る。
ここで、「輝度」とは、光源や二次光源（反射面や透過面）から観測者の方向へ向かって発する「光の強さ」を人間の目の感度（CIE標準分光視感効率V[λ]）で評価した測光量で、特定方向（観測方向）のみに着目したものである。
また、「輝度の通常状態」とは、車室外の明るさが昼間の明るさであるとき、仮想カメラ画像に重畳する半透明車室内画像の区別が明確となる輝度をいう。

ステップＳ55では、ステップＳ53での輝度検出値＜Y1であるとの判断に続き、判定された輝度検出値が、夜間閾値を示す第２設定値Y2（＜Y1）より低いか否かを判断し、Yes（輝度検出値＜Y2）の場合はステップＳ57へ移行し、No（輝度検出値≧Y2）の場合はステップＳ56へ移行する。

ステップＳ56では、ステップＳ55での輝度検出値≧Y2であるとの判断に続き、スーパーインポーズする車室内画像の輝度をシフトアップし、あるいは、明度をアップし、ステップＳ51へ戻る。
ここで、「明度」とは、色の三属性の一つであり、色の明るさのことをいう。なお、色の三属性は、「明度」に、「色相（色合いのこと）」と「彩度（色の鮮やかさの度合い）」を含めたものをいう。

ステップＳ57では、ステップＳ55での輝度検出値＜Y2であるとの判断に続き、スーパーインポーズする車室内画像の輝度を反転し、黒線を白線で表示し、ステップＳ51へ戻る。

図６は、実施例１のシースルーサイドビューモニターシステムＡ１における制御回路４５にて実行される輝度急変対応表示制御処理の流れを示すフローチャートである（輝度急変対応表示制御モード）。以下、図６の各ステップについて説明する。

ステップＳ61では、機能スイッチ５４がONであるか否かを判断し、Yes（スイッチON）の場合はステップＳ62へ移行し、No（スイッチOFF）の場合はステップＳ61の判断へ戻る。

ステップＳ62では、ステップＳ61での機能スイッチ５４がONであるとの判断に続き、輝度・色相判定センサー４９ａによる判定データとして、輝度判定結果と色相判定結果を入手し、ステップＳ63へ移行する。

ステップＳ63では、ステップＳ62での輝度・色相判定データの入手に続き、判定された輝度検出値が、上限側の閾値を示す第３設定値Y3より高いか否かを判断し、Yes（輝度検出値＞Y3）の場合はステップＳ65へ移行し、No（輝度検出値≦Y3）の場合はステップＳ64へ移行する。

ステップＳ64では、ステップＳ63での輝度検出値≦Y3であるとの判断に続き、スーパーインポーズする車室内画像の輝度を通常状態とし、ステップＳ61へ戻る。

ステップＳ65では、ステップＳ63での輝度検出値＞Y3であるとの判断に続き、スーパーインポーズする車室内画像の輝度をシフトダウンし、あるいは、明度をダウンし、ステップＳ61へ戻る。

図７は、実施例１のシースルーサイドビューモニターシステムＡ１における制御回路４５にて実行される色相変換表示制御処理の流れを示すフローチャートである（色相変換表示制御モード）。図８は、実施例１の色相変換表示制御処理で用いられる色相環を示す図である。以下、図７の各ステップについて説明する。

ステップＳ71では、機能スイッチ５４がONであるか否かを判断し、Yes（スイッチON）の場合はステップＳ72へ移行し、No（スイッチOFF）の場合はステップＳ71の判断へ戻る。

ステップＳ72では、ステップＳ71での機能スイッチ５４がONであるとの判断に続き、輝度・色相判定センサー４９ａによる判定データとして、輝度判定結果と色相判定結果を入手し、ステップＳ73へ移行する。

ステップＳ73では、ステップＳ72での輝度・色相判定データの入手に続き、判定された色相検出値を色相の設定値Ｘと比較し、両者の差による色相のずれが第１閾値Z1未満であるか否かを判断し、Yes（色相ずれ＜Z1）の場合はステップＳ75へ移行し、No（色相ずれ≧Z1）の場合はステップＳ74へ移行する。
ここで、色相の設定値Ｘは、画像メモリ４４に記憶設定されている色相変換前の車室内画像の色相を判定することで求められる。

ステップＳ74では、ステップＳ73での色相ずれ≧Z1であるとの判断に続き、スーパーインポーズする車室内画像の色相は現状維持とし、ステップＳ71へ戻る。

ステップＳ75では、ステップＳ73での色相ずれ＜Z1であるとの判断に続き、判定された色相検出値を色相の設定値Ｘと比較し、両者の差による色相のずれが第２閾値Z2（＜Z1）未満であるか否かを判断し、Yes（色相ずれ＜Z2）の場合はステップＳ77へ移行し、No（色相ずれ≧Z2）の場合はステップＳ76へ移行する。

ステップＳ76では、ステップＳ75での色相ずれ≧Z2であるとの判断に続き、スーパーインポーズする車室内画像の輝度をシフトアップし、あるいは、明度をアップし、ステップＳ51へ戻る。

ステップＳ77では、ステップＳ75での色相ずれ＜Z2であるとの判断に続き、スーパーインポーズする車室内画像の色相を変換し、補色系の色相で表示し、ステップＳ71へ戻る。
ここで、補色系の色相への変換とは、図８に示す色相環において、対角上に位置する色が補色関係となるため、例えば、外部映像の色相が「赤」である場合には、「シアン」に変換するのが最も好ましい。但し、「赤」にとって、「シアン」以外に、「青」や「緑」も対角の補色系領域に存在するため、「青」や「緑」に変換しても良い。

図９は、実施例１のシースルーサイドビューモニターシステムＡ１における制御回路４５にて実行される警告表示制御処理の流れを示すフローチャートである（警告表示制御モード）。以下、図９の各ステップについて説明する。

ステップＳ91では、機能スイッチ５４がONであるか否かを判断し、Yes（スイッチON）の場合はステップＳ92へ移行し、No（スイッチOFF）の場合はステップＳ91の判断へ戻る。

ステップＳ92では、ステップＳ91での機能スイッチ５４がONであるとの判断に続き、速度センサー５２により速度データを入手すると共に、画像処理部４３から障害物有無データを入手し、ステップＳ93へ移行する。
ここで、「障害物有無データ」は、画像処理部４３に入力される実カメラ画像データの解析を行い、解析した画像中に障害物を示す画像が存在するか否かを判断することで取得される。

ステップＳ93では、ステップＳ92での速度データおよび障害物有無データの入手に続き、速度検出値が設定値Ｖより小さいか否かを判断し、Yes（速度検出値＜Ｖ）の場合はステップＳ95へ移行し、No（速度検出値≧Ｖ）の場合はステップＳ94へ移行する。
ここで、設定値Ｖは、サイドビューモニターシステムが、本来、車両の幅寄せや始動時の安全確認のために用いられるものであるため、低速走行と通常走行の判断閾値として、低速域車速値に設定される。

ステップＳ94では、ステップＳ93での速度検出値≧Ｖであるとの判断に続き、スーパーインポーズする車室内画像の画面全体の色相を、画面全体で警告を促す赤色系に変化させ、ステップＳ51へ戻る。

ステップＳ95では、ステップＳ93での速度検出値＜Ｖであるとの判断に続き、入手された障害物有無データにより障害物が認識されないか否かを判断し、Yes（障害物の認識無し）の場合はステップＳ97へ移行し、No（障害物の認識有り）の場合はステップＳ96へ移行する。

ステップＳ96では、ステップＳ95での障害物の認識有りとの判断に続き、スーパーインポーズする車室内画像の画面全体の色相を、障害物の接近度に合わせて変化させ（例えば、オレンジ色から徐々に赤色）、ステップＳ91へ戻る。

ステップＳ97では、ステップＳ95での障害物の認識無しとの判断に続き、スーパーインポーズする車室内画像の輝度・色相は現状を維持し、ステップＳ91へ戻る。

次に、作用を説明する。
実施例１〜実施例３を含む本発明の目的は、死角解消に寄与可能な外部カメラを持ち、カメラ映像を、画像処理を用いて表示可能なシステムのうち、運転者がその映像を見ただけで車両を透過した映像であると直感的に認識可能なシステムを安価に構築し、更に、車両の挙動をその映像中で把握可能な車両周辺画像表示システムを提案するものである。

そして、本発明者により提案されている表示システムの主な内容は下記の通りである。
・モニターに表示される映像を見ただけで、直感的に車の進行方向、大きさその他の車両感覚が判る表示法を構築する。
・映像の透過率等を自由に運転者の嗜好にあわせ変化可能なシステムとする。更に運転状況によって、基本的な透過率を自動変更可能な表示システムを構築する。例えば、夕暮れ時などの外部映像の輝度により、透過率を変更し外部映像を見やすくする。
・スーパーインポーズする半透明車室内画像の輝度・色相を、外部映像の輝度・色相に応じて視認性を高める自動制御を行う表示システムを構築する。加えて、個人差が大きい視認性の好みにあわせて輝度・色相を手動操作により変更可能なシステムとする。例えば、薄暮れ時には半透明車室内画像の輝度をアップし、夜間時には半透明車室内画像の輝度を反転し、対向車のライトが入ったときは半透明車室内画像の輝度をダウンし、外部映像と半透明車室内画像の色相が近似するときは半透明車室内画像の色相を変換して色相差を持たせる等、視点変換されたカメラ映像を見やすくする工夫を行う。
・色相を制御可能であることを利用し、モニター表示される画面全体を用いて視覚に訴える警告動作を行うシステムとする。例えば、車速情報や障害物情報と連動し、安全性を損なうような場合には、半透明車室内画像全体の色相を、警告をあらわす赤色系色相等に変換する。

以下、実施例１のシースルーサイドビューモニターシステムＡ１における作用を、「透過映像によるモニター画像表示作用」、「半透明部分の透過率変更作用」、「外部映像輝度追従表示制御作用」、「輝度急変対応表示制御作用」、「色相変換表示制御作用」、「警告表示制御作用」に分けて説明する。

［透過映像によるモニター画像表示作用］
図１０は、運転者の視点位置から左前部側方に向かって予め撮影された車室内静止映像を示す図である。図１１は、実施例１のシースルーサイドビューモニターシステムＡ１が搭載されている車両から路面に対し車体形状を投影している様子をイメージして示した斜視図である。図１２は、実施例１のシースルーサイドビューモニターシステムＡ１が搭載されている車両から路面に対し車体形状を投影した像を運転者視点位置から透過して見た場合の映像（不透明部分）を示す図である。図１３は、実施例１のシースルーサイドビューモニターシステムＡ１において図１０に示す車室内画像RPに対し図１２の「不透明部分DE」を設定した画像を示す図である。図１４は、実施例１のシースルーサイドビューモニターシステムＡ１において図１０に示す車室内画像RPに対し「不透明部分DE」と「透明部分CE」と「半透明部分GE」を設定した半透明車室内画像RGを示す図である。以下、図１０〜図１４に基づいて、透過映像によるモニター画像表示作用を説明する。

サイドカメラ１から入力された実カメラ映像は、デコーダー４１によりアナログ／デジタル変換され、画像メモリ４２に蓄えられる。その後、画像処理部４３において、「各種処理（輝度調整・色味補正・エッジ補正等）を含めた画像処理」と「運転者の視点付近に仮想カメラを配置したかのような視点変換処理」を施され、仮想カメラ画像を取得する。

一方、画像メモリ４４は、運転者の視点から予め撮影された車室内画像RP（図１０）を車室内画像として記憶しておく。

そして、スーパーインポーズ回路４６は、画像メモリ４４からの車室内画像RPを半透明化することにより半透明車室内画像RG（図１４）とし、画像処理部４３からの仮想カメラ画像に半透明車室内画像RGを重畳させる画像合成により、半透明車室内画像RGを透過して仮想カメラ画像を表現する合成画像を生成する。

このスーパーインポーズ回路４６において重畳された合成画像は、エンコーダ４７に送られた後、エンコーダ４７でのデジタル／アナログ変換を経て、モニター３へ出力され、表示画面３ａに表示されることになる。

以下、図１０に示す様な車室内画像RPから、半透明車室内画像RGを生成するにあたっての工夫について説明する。

まず、図１１では、判別し易いように空中高く車両が図示されているが、実際には、この投影面は道路等の路面に垂直投影されており、タイヤの接地面と同じ高さ位置に投影像があることになる。図１２に示す映像は、実際の運転の際に車体形状そのものを示しているため、運転者視点からの映像と重畳した場合、この投影像に触れることが即ち車体との接触を意味する。言い換えると、視点変換映像とこの投影面を重畳表示することで、この映像（サイドビュー画面）を見るだけで、側溝への落輪回避や障害物回避等の際に必要となる車両感覚が一目で判り、直感的把握が可能となるために、安全運転に対し寄与し得る度合いが大きくなる。つまり、図１３に示すように、車体形状を投影した部分は、透過率０％の「不透明部分DE」とし、車室内画像RPをそのまま表示する。

一方、車体投影像と重ならない部分に関しては、サイドカメラ映像とのα（アルファ）ブレンドを用いて、任意の透過率により車室内画像RPを表示する。具体的には、図１４に示すように、窓ガラス部分に関しては、透過率100％による「透明部分CE」とし、残りを「半透明部分GE」とし、これに透過率０％の「不透明部分DE」を加えることで、運転者視点による車室内画像RPを、半透明車室内画像RGとして100％表示することにしている。

実際に実施した半透明車室内画像RGを確認した場合、車室内画像RPがそのまま用いられる床面部分と、透過率が10〜50％程度のドア付近部分とは明確に差が生じており車両形状の区別は容易である。さらに、実際に実施した半透明車室内画像RGに仮想カメラ画像を重ね合わせた場合、視点変換後のサイドカメラ映像（＝仮想カメラ画像）がドアを透過して見ている映像であることを認識することに対しては、車室内画像を用いたスーパーインポーズ手法であることで、非常に判り易くなっている。

上記のように、視点変換画像処理により、サイドミラーへ設置されたサイドカメラ１の実カメラ映像を変換処理し、あたかも運転者視点位置から仮想カメラで撮影したかのような仮想カメラ画像へ変換し、この仮想カメラ画像に、半透明化した車室内画像を重畳して表示することで、より現実感のある透過映像を表現することができる。加えて、半透明化した車室内画像に、実際の車両の大きさ・形状を垂直に道路面に投影した影として表示をすることで、外部の透過映像と実際の車両の位置関係がハッキリと判るように表示することができる。

また、上記の視点変換を行う場合の仮想空間スクリーンである道路上へ車体の大きさ・形状に合わせて投影した影の領域を、運転者視点位置から見た車室内画像RPのうち、透過率０％の「不透明部分DE」として表示し、それ以外は任意の透過率を持つ半透明領域（「透明部分CE」、「半透明部分GE」）として表示する。したがって、モニター画面３ａ上では車体の大きさ・形がハッキリとしたスーパーインポーズ画面として表示され、それ以外の部分はカメラ映像とのブレンド画面となる。その結果、車両の挙動が一目瞭然となり脱輪の可能性等、判断が容易になる。

従来システムは、外部のバックカメラのみならず、室内カメラの配置も必須となっていて、コストアップの割に、殆ど実質的な効果は望めず、冗長なシステムとなっていた。
つまり、死角カメラと運転者視点カメラの２つのカメラを用い、既存システムに対し運転者視点カメラの追加が必要であるため、システムのコストアップとなる。加えて、運転者視点カメラは、運転者の視点位置近くに設けられるもので、運転者視点の位置には設けることができないため、運転者視点カメラから得られるカメラ映像は、実際に運転者の視点から見える像に対して視差が生じる。

これに対し、本提案では、既存システムに対し運転者視点カメラの追加を必要とせず、コストアップとならない。加えて、車室内映像に関しては、仮想カメラ視点である運転者視点から予め撮影された車室内画像RPを用いることで、運転者視点カメラを用いる場合のような実際に運転者の視点から見える像に対する視差の発生が無い。この結果、車体の形状が一目で把握可能なため、進行方向や接近した障害物の回避の際に非常に判り易く、安全運転に寄与可能であるという、必要十分な効果を得ている。

［半透明部分の透過率変更作用］
上記のように、スーパーインポーズ回路４６のブレンド回路部４６ａにおいて、車室内画像RPのうち自車両の形状を道路面へ垂直に投影した領域SEを、車室内画像の透過率が０％の「不透明部分DE」として設定し、自車両の窓ガラスに相当する領域を、車室内画像の透過率が１００％の「透明部分CE」として設定し、影領域と窓ガラス領域以外の領域を、任意の透過率を持つ「半透明部分GE」として設定している（図１４）。

このように、画面全体が一様な半透明画像では無く、100％と100〜0％のブレンド可能な半透明領域と数段の透明度を持つ画像のブレンド設定を用いることで、一様な画面から生じる様々な誤解や認識の誤りを改善することができる。

しかし、「半透明部分GE」に関しては、予め定められた単一の固定された透過率を用いた場合、ユーザーが任意で透過率を変化させることができず、使い勝手が悪くなるし、また、環境変化があっても透過率が一様な画面であることにより、視認性の低下を生じることがある。

これに対し、実施例１では、「半透明部分GE」の透過率を、手動操作により、あるいは、自動的に調整できるようにした。
すなわち、ブレンド比率手動制御インターフェース４に対する手動操作によりブレンド外部制御部４８に対し、透過率調整信号が入力されたら、制御回路４５に対し透過率制御指令が出力され、ブレンド回路部４６ａは、車室内画像に設定された「半透明部分GE」の透過率を、０％〜100％の範囲で任意に調整する。

また、機能スイッチ５４をONにしておくと、外部センサー５により得られる外部環境情報（昼間、夕方、夜間、天気等）や車両情報（舵角、車速等）に基づき、ブレンド回路部４６ａは、車室内画像に設定された「半透明部分GE」の透過率を、モニター３に表示される合成画像の視認性を高めるように自動的に調整する。

したがって、ブレンド比率を手動操作により可変にすることにより、自由に「半透明部分GE」の透過率を設定・更新することが可能なシステムとなっており、非常に使い勝手がよくなっている。また、機能スイッチ５４をONにしておくと、ユーザー操作を要することなく、自動的に「半透明部分GE」の透過率を調整するシステムになっており、モニター３に表示される合成画像の高い視認性を維持することができる。

［外部映像輝度追従表示制御作用］
図１５は、実施例１のシースルーサイドビューモニターシステムＡ１において半透明車室内画像RGを反転表示したときの輝度反転画面を示すイメージ図である。以下、図５に示すフローチャートに基づいて、図１５を参照しながら外部映像輝度追従表示制御モードによる表示制御作用を説明する。

昼間等でサイドカメラ１により取り込まれた外部映像が明るく、輝度検出値が第１設定値Y1以上であるときには、図５のフローチャートにおいて、ステップＳ51→ステップＳ52→ステップＳ53→ステップＳ54へと進む流れが繰り返される。つまり、ステップＳ54では、スーパーインポーズする半透明車室内画像RGの輝度が、外部映像が明るいときに高い識別性を持つ通常の輝度状態とされる。

薄暮れ時や曇り時等でサイドカメラ１により取り込まれた外部映像が薄暗く、輝度検出値が第１設定値Y1より低いが第２設定値Y2以上であるときには、図５のフローチャートにおいて、ステップＳ51→ステップＳ52→ステップＳ53→ステップＳ55→ステップＳ56へと進む流れが繰り返される。つまり、ステップＳ56では、スーパーインポーズする半透明車室内画像RGの輝度あるいは明度がシフトアップされる。
例えば、薄暮れ時等において、スーパーインポーズされる半透明車室内画像RGの輝度（明度）を通常状態のままにすると、モニター３の表示画面３ａの全体輝度が落ち込み、薄暗い仮想カメラ画像の中に半透明車室内画像RGが溶け込んでしまい、視認性を損なうことがある。
これに対し、薄暗い外部映像に対してスーパーインポーズされる半透明車室内画像RGの輝度（明度）を高めることで、重ね合わせられる２つの画像が輝度差（明度差）を持つことになり、視認性の向上に有用である。

夜間時等でサイドカメラ１により取り込まれた外部映像が暗く、輝度検出値が第２設定値Y2より低いときには、図５のフローチャートにおいて、ステップＳ51→ステップＳ52→ステップＳ53→ステップＳ55→ステップＳ57へと進む流れが繰り返される。つまり、ステップＳ57では、図１５に示すように、スーパーインポーズする半透明車室内画像RGの輝度が反転され、黒線が白線にて表示される。
例えば、外部映像が暗い夜間時において、スーパーインポーズされる半透明車室内画像RGの輝度（明度）を通常状態のままにすると、モニター３の表示画面３ａの全体輝度が大幅に落ち込み、暗い仮想カメラ画像の中に半透明車室内画像RGが完全に溶け込んでしまい、視認性を著しく損なう。また、スーパーインポーズされる半透明車室内画像RGの輝度をアップしても、暗い仮想カメラ画像の中に半透明車室内画像RGが溶け込んで、２つの画像の区別がつかない。
これに対し、暗い外部映像に対してスーパーインポーズにより重畳される半透明車室内画像RGを、写真のネガ画像のように輝度データを反転し、暗い黒線部分は白線表示し、明るい白線部分は黒線表示を行うことで、特に、夜間の視認性を向上させた合成画像を構成することができる。つまり、半透明車室内画像RGを反転表示することで、スーパーインポーズによるモニター３の表示画面は、図１５に示すように、白抜きの線画に近い映像となり、暗い外部カメラ映像の中でも車両感覚を直感的に把握可能となる。

なお、映像には個人差が大きく関与するため、その好みにより輝度変更操作を行うことができるようにしたいという要求がある。これに対し、手動による輝度調整に関しては、ブレンド比率手動制御インターフェース４により、透過率を上げることで輝度アップが達成されるし、透過率を下げることで輝度ダウンが達成される。

［輝度急変対応表示制御作用］
以下、図６に示すフローチャートに基づいて、輝度急変対応表示制御モードによる表示制御作用を説明する。

急峻な輝度変化がなく、輝度検出値が第３設定値Y3以下のときには、図６のフローチャートにおいて、ステップＳ61→ステップＳ62→ステップＳ63→ステップＳ64へと進む流れが繰り返される。つまり、ステップＳ64では、スーパーインポーズする半透明車室内画像RGの輝度が通常状態、あるいは、上記外部映像輝度追従表示制御による輝度変化状態とされる。

一方、夜間に対向車のライトがサイドカメラ１に映り込む等により急峻な輝度変化が生じた場合で、輝度検出値が第３設定値Y3より高くなったときには、図６のフローチャートにおいて、ステップＳ61→ステップＳ62→ステップＳ63→ステップＳ65へと進む流れが繰り返される。つまり、ステップＳ65では、スーパーインポーズする半透明車室内画像RGの輝度あるいは明度がシフトダウンされる。

例えば、夜間の幅寄せ時において、対向車のライト等により急峻な輝度変化が生じた場合、モニター３の外部映像は、ある程度の輝度補正がかけられるものの、基本的にはホワイトアウトし、重畳された半透明車室内画像RGが判別不能になる。急峻でない輝度変化に対しては、車載カメラが持つオートアイリスを含めた輝度調整により、ある程度の幻惑防止効果が得られ、スーパーインポーズする画像も判別可能であるが、急峻な輝度変化の場合には、車載カメラが持つ輝度調整機能では追随できない。

これに対し、実施例１では、対向車のライト等がサイドカメラ１に映り込むような急峻な輝度変化により、輝度検出値が第３設定値Y3より高くなると、スーパーインポーズする半透明車室内画像RGの輝度あるいは明度をシフトダウンするようにしている。これにより、モニター３の表示画面３ａに映し出される外部映像（仮想カメラ画像）が白っぽい映像となっても、全体的に黒っぽくした半透明車室内画像RGをスーパーインポーズにより重畳することになるため、外部映像と半透明車室内画像RGの区別が明確になり、急峻な輝度変化があった場合の視認性向上に有用となる。

［色相変換表示制御作用］
以下、図７に示すフローチャートに基づいて、図８を参照しながら色相変換表示制御モードによる表示制御作用を説明する。

外部映像の色合いと半透明車室内画像RGの色合いが異なり、色相検出値を設定値Ｘと比較した場合に色相のずれが第１閾値Z1以上であるときには、図７のフローチャートにおいて、ステップＳ71→ステップＳ72→ステップＳ73→ステップＳ74へと進む流れが繰り返される。つまり、ステップＳ74では、スーパーインポーズする半透明車室内画像RGの色相が現状の色相のまま維持される。

外部映像の色合いが半透明車室内画像RGの色合いに近づき、色相検出値を設定値Ｘと比較した場合に色相のずれが第１閾値Z1未満であるが第２閾値Z2以上であるときには、図７のフローチャートにおいて、ステップＳ71→ステップＳ72→ステップＳ73→ステップＳ75→ステップＳ76へと進む流れが繰り返される。つまり、ステップＳ76では、スーパーインポーズする半透明車室内画像RGの輝度（明度）がアップされる。

外部映像の色合いが半透明車室内画像RGの色合いと近似したものとなり、色相検出値を設定値Ｘと比較した場合に色相のずれが第２閾値Z2未満となったときには、図７のフローチャートにおいて、ステップＳ71→ステップＳ72→ステップＳ73→ステップＳ75→ステップＳ77へと進む流れが繰り返される。つまり、ステップＳ77では、スーパーインポーズする半透明車室内画像RGの色相が、図８に示す色相環で対角方向に位置する補色系の色相に変換されて表示される。

例えば、色相が同じ茶色であっても、色の明るさが異なれば、明るい茶色と暗い茶色というように識別することができる。そして、色相が少し異なれば、色の明るさを異ならせることで識別性はより高まる。したがって、外部映像の色相と半透明車室内画像RGの色相が互いに近い色相レベルであるが異なる場合には、スーパーインポーズする半透明車室内画像RGの輝度（明度）をアップすることで、視認性を改善することができる。

例えば、新緑の季節の屋外ならば、緑系の色が主体となっており、スーパーインポーズする半透明車室内画像RGが、同系色の緑を主体とする場合、視認性が悪くなることになる。この場合、半透明車室内画像RGが「色相環で反対に存在するマゼンタ系の色」であれば区別が明確になる。また、夕焼けの屋外ならば、赤系の色が主体となっており、スーパーインポーズする半透明車室内画像RGが、同系色の赤を主体とする場合、視認性が悪くなることになる。この場合、半透明車室内画像RGが「色相環で反対に存在するシアン系の色」であれば区別が明確になる。
したがって、外部映像の色相と半透明車室内画像RGの色相が互いに同じ色相レベルにある場合には、補色関係にある色系統に色相を変化させることにより、外部映像と半透明車室内画像RGがはっきりと区別されたモニター映像とすることができる。

［警告表示制御作用］
以下、図９に示すフローチャートに基づいて、警告表示制御モードによる表示制御作用を説明する。

通常の走行状態に入ってもサイドビューのモニター表示が維持されていて速度検出値が設定値Ｖ以上になったときには、図９のフローチャートにおいて、ステップＳ91→ステップＳ92→ステップＳ93→ステップＳ94へと進む流れが繰り返される。つまり、ステップＳ94では、スーパーインポーズする半透明車室内画像RGの画面全体の色相が赤色系に変換される。

また、自車両の周辺に障害物が認識されたときには、図９のフローチャートにおいて、ステップＳ91→ステップＳ92→ステップＳ93→ステップＳ95→ステップＳ96へと進む流れが繰り返される。つまり、ステップＳ96では、スーパーインポーズする半透明車室内画像RGの画面全体の色相が、障害物の接近度に合わせて徐々に赤色系を強くするように変換される。

一方、車速条件も障害物条件も成立しないときには、図９のフローチャートにおいて、ステップＳ91→ステップＳ92→ステップＳ93→ステップＳ95→ステップＳ97へと進む流れが繰り返される。つまり、ステップＳ97では、スーパーインポーズする半透明車室内画像RGの輝度・色相が維持される。

サイドビューモニターシステムは、車両の幅寄せ時やエンジン始動時などの安全確認用であり、停車時や極低速走行時に使用頻度が高い。したがって、一定車速以上の速度状態の時に本システムを使用しようとする場合、モニター３を見続けてしまうことから、速度感や空間把握の感覚が実際よりも強調され、違和感を生じる場合が多い。このことは、本来の意味からすると安全性を損なわせることになるため、このような状況を判断し、安全運転のために速度を落とすべきとの警告を行った方が良い。また、画像処理コントロールユニット２において、画像分析により障害物の認識を行う場合には、障害物の認識時に障害物を回避する運転を促すために、障害物の存在を知らせる警告を行った方が良い。

これに対し、スーパーインポーズする半透明車室内画像RGの全体に対して色相制御が可能である点に着目し、速度センサー５２等との連動により警告動作を行うようにした。つまり、車速が出過ぎている状況を判断し、スーパーインポーズする半透明車室内画像RGの全体の色相を赤色系に変化させることで、車速を落とすべきとの警告を運転者に与えて安全性を確保することができる。また、障害物が認識された場合、障害物の接近度に合わせて色相の変化を用いた警告表示を行うことで、自車両に対する衝突・巻き込み・落輪等に対し、早期に対応を促して安全性を確保することができる。

次に、効果を説明する。
実施例１のシースルーサイドビューモニターシステムＡ１にあっては、下記に列挙する効果を得ることができる。

(1) 自車両に取り付けられ、車両周辺を撮像する車載死角カメラ（サイドカメラ１）と、運転者が視認できる車室内位置に設定したモニター３と、前記車載死角カメラ（サイドカメラ１）から入力される実カメラ映像に基づき、前記モニター３への表示映像を生成するモニター映像生成手段（画像処理コントロールユニット２）と、を備えた車両周辺画像表示システム（シースルーサイドビューモニターシステムＡ１）において、前記モニター映像生成手段（画像処理コントロールユニット２）は、前記車載死角カメラ（サイドカメラ１）から入力される実カメラ映像を、運転者の視点位置から見た仮想カメラ画像に視点変換する画像処理部４３と、前記車載死角カメラ（サイドカメラ１）からの外部映像の色を、輝度・色相・彩度・明度の少なくとも１つに応じて判定する外部映像色判定部（輝度・色相判定センサー４９ａ）と、前記外部映像の色判定結果に基づき、車室内画像を半透明化した半透明車室内画像RGの輝度・色相・彩度・明度の少なくとも１つを、前記外部映像に対する視認性を高めるように自動調整する車室内画像色自動調整部（輝度・色相変換ブロック４９ｂ）と、前記画像処理部４３からの仮想カメラ画像に、前記車室内画像色自動調整部（輝度・色相変換ブロック４９ｂ）からの半透明車室内画像RGを重畳させる画像合成により、半透明車室内画像RGを透過して仮想カメラ画像を表現する合成画像を生成する画像合成回路（スーパーインポーズ回路４６）と、を有する。このため、実カメラ映像を取得する外部環境条件にかかわらず、仮想カメラ画像と半透明車室内画像RGの区別を明らかとし、運転者から死角となる外部状況を自車両との位置関係にて明確に透過視認できる。

(2) 前記モニター映像生成手段（画像処理コントロールユニット２）は、運転者の視点から予め撮影された車室内静止映像を、車室内画像として記憶しておく画像記憶部（画像メモリ４４）を有し、前記車室内画像色自動調整部（輝度・色相変換ブロック４９ｂ）は、前記画像記憶部（画像メモリ４４）からの車室内画像を半透明化することにより半透明車室内画像RGを取得する。このため、運転者視点カメラの設定を省略し、車載死角カメラ（サイドカメラ１）のみを用いる安価なシステムとしながら、運転者視点カメラのように実際の運転者視点に対し視差が生じることなく、運転者視点による半透明車室内画像RGを取得することができる。

(3) 前記外部映像色判定部は、前記車載死角カメラ（サイドカメラ１）からの外部映像の平均的な輝度と色相を判定する輝度・色相判定センサー４９ａであり、前記車室内画像色自動調整部は、前記輝度・色相判定センサー４９ａによる外部映像の色判定結果に基づき、半透明車室内画像RGの輝度と色相を、前記外部映像の輝度と色相に対する視認性を高めるように自動調整する輝度・色相変換ブロック４９ｂである。このため、車載死角カメラ（サイドカメラ１）からの外部映像の平均的な輝度と色相に対応し、半透明車室内画像RGの輝度と色相を、視認性を高めるように自動調整することができる。

(4) 前記モニター映像生成手段（画像処理コントロールユニット２）は、前記輝度・色相判定センサー４９ａからの輝度検出値を読み込み、輝度検出値が薄暮れ閾値を示す第１設定値Y1以上のとき、半透明車室内画像RGの輝度と外部映像の輝度の間に輝度差を持たせた表示とし、輝度検出値が第１設定値Y1より低いが夜間閾値を示す第２設定値Y2以上のとき、半透明車室内画像RGの輝度を高めて外部映像の輝度との間に輝度差を持たせた表示とし、輝度検出値が第２設定値Y2よりも低いとき、半透明車室内画像RGの輝度を反転すると共に黒線を白線で反転表示する外部映像輝度追従表示制御モード（図５）を有する。このため、昼間から薄暮れを経過して夜間に至るまでの外部映像の輝度変化に追従し、モニター３に表示される外部映像と半透明車室内画像RGの区別を明確にし、視認性を向上させることができる。

(5) 前記モニター映像生成手段（画像処理コントロールユニット２）は、前記輝度・色相判定センサー４９ａからの輝度検出値を読み込み、輝度検出値が上限側の閾値を示す第３設定値Y3より高くなると、半透明車室内画像RGの輝度を低下させ、全体的に黒っぽく表示する輝度急変対応表示制御モード（図６）を有する。このため、夜間にて対向車のライトが車載死角カメラ（サイドカメラ１）に映り込む等の急峻な輝度変化があるとき、急峻な輝度変化に対応し、モニター３に表示される外部映像と半透明車室内画像RGの区別を明確にし、視認性を向上させることができる。

(6) 前記モニター映像生成手段（画像処理コントロールユニット２）は、前記輝度・色相判定センサー４９ａからの色相検出値を読み込み、色相検出値と設定値Ｘの色相ずれが第１閾値Z1以上のとき、半透明車室内画像RGの色相を維持する表示とし、色相検出値と設定値Ｘの色相ずれが第１閾値Z1未満であるが第２閾値Z2以上のとき、半透明車室内画像RGの色相はそのままで色を明るくする表示とし、色相検出値と設定値Ｘの色相ずれが第２閾値Z2未満のとき、モニター３に表示される外部映像と半透明車室内画像RGの区別を明確にし、視認性を向上させることができる。を外部映像の色相に対し、色相環において補色側領域に存在する補色系色相に変換表示する色相変換表示制御モード（図７）を有する。このため、外部映像の色相が半透明車室内画像RGの色相に近づいたり、外部映像の色相が半透明車室内画像RGの色相と一致したりしても、両者の色相ずれ幅に対応して、モニター３に表示される外部映像と半透明車室内画像RGの区別を明確にし、視認性を向上させることができる。

(7) 車速を検出する車速検出手段（速度センサー５２）を設け、前記前記モニター映像生成手段（画像処理コントロールユニット２）は、前記車速検出手段（速度センサー５２）からの車速検出値を読み込み、車速検出値が設定値Ｖ以上であるとき、半透明車室内画像RGの全体色相を運転者に対し警告を認識させる色相に変換して表示する警告表示制御モード（図９）を有する。このため、車速が出過ぎているとき、スーパーインポーズする半透明車室内画像RGの全体の色相を、例えば、赤色系に変化させることで、車速を落とすべきとの警告を運転者に与えて安全性を確保することができる。

(8) 前記モニター映像生成手段（画像処理コントロールユニット２）は、車室内画像色手動操作手段（色相手動制御インターフェース６）に対する外部からの操作に応じ、前記半透明車室内画像RGの輝度・色相・彩度・明度の少なくとも１つを、任意に調整する車室内画像色外部制御部（色相外部制御部４９ｃ）を有する。このため、個人差が大きなユーザーの好みやモニター３の表示画像の視認性に応じて、手動操作により半透明車室内画像RGの輝度・色相・彩度・明度の少なくとも１つを調整できるというように、使い勝手の良いシステムとすることができる。

(9) 前記画像合成回路（スーパーインポーズ回路４６）は、運転者視点からの車室内画像のうち、自車両を道路面に投影した領域SEを、車室内画像RPの透過率が０％の「不透明部分DE」として設定し、自車両の窓ガラスに相当する領域を、車室内画像RPの透過率が１００％の「透明部分CE」として設定し、「不透明部分DE」と「透明部分CE」以外の領域を、任意の透過率を持つ「半透明部分GE」として設定するブレンド回路部４６ａを有する。このため、モニター３に車体の大きさ・形がハッキリとしたスーパーインポーズ画面として表示され、例えば、一様な半透明画面にした場合に生じる様々な誤解や認識の誤りを改善することができる。その結果、車両の挙動が一目瞭然となり、脱輪等の回避判断が容易となる。

(10) 前記車載死角カメラは、運転者の死角となる車両の前部側方部分を、車室内から透過した映像として車室内のモニター３に表示するシースルーサイドビューモニターシステムＡ１に用いられるサイドカメラ１である。このため、側溝への落輪回避や障害物回避の際に必要となる車両感覚が一目で判り、直感的な空間把握が可能となり、安全運転に対して寄与し得る貢献度を大きくすることができる。

実施例２は、車載死角カメラとして、車両後部位置に配置される死角解消のためのバックカメラを用い、運転者の死角となる車両の後方部分を、車室内から透過した映像としてモニターに表示するシースルーバックビューモニターシステムの例である。

まず、構成を説明する。
図１６は、実施例２のシースルーバックビューモニターシステムＡ２（車両周辺画像表示システムの一例）を示す全体システムブロック図である。

実施例２のシースルーバックビューモニターシステムＡ２は、図１６に示すように、バックカメラ２１（車載死角カメラ）と、画像処理コントロールユニット２（モニター映像生成手段）と、モニター３と、ブレンド比率手動制御インターフェース４と、外部センサー５と、色相手動制御インターフェース６（車室内画像色手動操作手段）と、を備えている。

前記バックカメラ２１は、乗用車の場合はライセンスプレートのトランクリッドの内側付近、また、RV車の様な大型車の場合は後部ウィンドウの上端付近へ配置することで取り付けられ、運転者の死角となる車両の後方部分を撮像する。このバックカメラ２１は、撮像素子（CCD,CMOS等）により、車両の後方部分の実カメラ映像データを取得する。

前記画像処理コントロールユニット２は、図１６に示すように、デコーダー４１と、画像メモリ４２と、画像処理部４３と、画像メモリ４４（画像記憶部）と、制御回路（ＣＰＵ）４５と、スーパーインポーズ回路４６（画像合成回路）と、エンコーダ４７と、ブレンド外部制御部４８と、輝度・色相判定センサー４９ａ（外部映像色判定部）と、輝度・色相変換ブロック４９ｂ（車室内画像色自動調整部）と、色相外部制御部４９ｃ（車室内画像色外部制御部）と、を備えている。なお、各構成は、実施例１の図１と同様であるので、対応する構成に同一符号を付して説明を省略する。

次に、作用を説明する。
図１７は、実施例２のシースルーバックビューモニターシステムＡ２において車両後方の車室内画像RPに対し「不透明部分DE」と「透明部分CE」と「半透明部分GE」を設定した半透明車室内画像RGを示す図である。

実施例２のシースルーバックビューモニターシステムＡ２は、サイドカメラ１を用いた実施例１のシースルーサイドビューモニターシステムＡ１のサイドカメラ１をバックカメラ２１に置き換えた形となっている。前述のサイドカメラ１の場合と同様に、バックカメラ２１からの実カメラ映像をデジタル変換し、運転者視点からの仮想カメラ画像へ視点変換する。この仮想カメラ画像に対し、図１１の車体投影イメージを今度は車両後方に対して行い、車体の投影図の領域を、バックカメラ２１の仮想カメラ映像とスーパーインポーズする車室内映像に対して適応させる。

運転者視点からの車室内映像をスーパーインポーズする際に、図１７に示すように、車両の垂直投影による影SEに相当する斜線部分は、透過率０％の「不透明部分DE」とし、同じく窓ガラス部分は透過率１００％の「透明部分CE」とする。更にその他の領域は、ユーザーの定めることが可能な任意の透過率でアルファブレンドされた半透明の「半透明部分GE」として設定される。

現在のシースルーバックビューモニターシステムでは、バンパー付近を映り込ませる形でカメラを設置し、その映り込んだバンパーや、車両軌跡線を表示することを手がかりに車両感覚を得させている。

これに対し、実施例２の場合は、実施例１にて述べたシースルーサイドビューモニターシステムと同様に、運転者の視点から車室内後方に向けて予め撮影された車室内画像をスーパーインポーズすることで、車両感覚を直感的に得させようとする。したがって、このシースルーバックビューモニターシステムＡ２で表現されている映像が、あたかも後方の車体を透過して見ていることを端的に表現可能としている。なお、他の作用は、実施例１と同様であるので、説明を省略する。

次に、効果を説明する。
実施例２のシースルーバックビューモニターシステムＡ２にあっては、実施例１の(1)〜(9)の効果に加え、下記の効果を得ることができる。

(11) 前記車載死角カメラは、運転者の死角となる車両の後方部分を、車室内から透過した映像として車室内のモニター３に表示するシースルーバックビューモニターシステムＡ２に用いられるバックカメラ２１である。このため、例えば、駐車での後退走行の際に必要となる車両停止ライン，車両停止縁石，壁等と自車両の位置感覚や距離感覚、あるいは、走行時、接近してくる後続車両と自車両の位置感覚や距離感覚といった空間把握を直感的に行うことができ、迅速な駐車や安全運転に対して寄与し得る貢献度を大きくすることができる。

実施例３は、車載死角カメラとして、車両前部位置に配置される死角解消のためのフロントカメラを用い、運転者の死角となる車両の前方部分を、車室内から透過した映像としてモニターに表示するシースルーフロントビューモニターシステムの例である。

まず、構成を説明する。
図１８は、実施例３のシースルーフロントビューモニターシステムＡ３（車両周辺画像表示システムの一例）を示す全体システムブロック図である。

実施例３のシースルーフロントビューモニターシステムＡ３は、図１８に示すように、左フロントカメラ３１Ｌ（車載死角カメラ）と、右フロントカメラ３１Ｒ（車載死角カメラ）と、中央フロントカメラ３１Ｃ（車載死角カメラ）と、画像処理コントロールユニット２（モニター映像生成手段）と、モニター３と、ブレンド比率手動制御インターフェース４と、外部センサー５と、色相手動制御インターフェース６（車室内画像色手動操作手段）と、を備えている。

フロントビューモニターシステムの場合、現状でも多数のカメラが配置されていることが多く、左右及び中央の３カメラにて構成される場合もある。このため、実施例３のシースルーフロントビューモニターシステムＡ３の場合も、左フロントカメラ３１Ｌと右フロントカメラ３１Ｒと中央フロントカメラ３１Ｃの３つのカメラを用いている場合を例として挙げている。

前記外部センサー５は、図１８に示すように、舵角センサー５１と、速度センサー５２と、イルミON/OFFスイッチ５３と、機能スイッチ５４以外に、ターンシグナルスイッチ５５が加えられている。

前記画像処理コントロールユニット２は、図１８に示すように、左デコーダー４１Ｌと、右デコーダー４１Ｒと、中央デコーダー４１Ｃと、左画像メモリ４２Ｌと、右画像メモリ４２Ｒと、中央画像メモリ４２Ｃと、画像処理部４３と、画像メモリ４４（画像記憶部）と、制御回路（ＣＰＵ）４５と、スーパーインポーズ回路４６（画像合成回路）と、エンコーダ４７と、ブレンド外部制御部４８と、輝度・色相判定センサー４９ａ（外部映像色判定部）と、輝度・色相変換ブロック４９ｂ（車室内画像色自動調整部）と、色相外部制御部４９ｃ（車室内画像色外部制御部）と、を備えている。なお、これらの各構成は、実施例１の図１と同様である。

図１９は、実施例３のシースルーフロントビューモニターシステムＡ３における制御回路４５にて実行されるブレンド比率センサー連動制御処理の流れを示すフローチャートである。以下、各ステップについて説明する。ここで、ユーザーが任意設定で左右のブレンド比を変更し、現在の透過率Tr1を、例えば、３０％のような値に設定している場合を想定する。

ステップＳ191では、機能スイッチ５４がONであるか否かを判断し、Yes（スイッチON）の場合はステップＳ192へ移行し、No（スイッチOFF）の場合はステップＳ191での判断を繰り返す。

ステップＳ192では、ステップＳ191での機能スイッチ５４がONであるとの判断に続き、ターンシグナルスイッチ５５からのON信号出力時であるか否かを判断し、Yes（ターンシグナル点滅動作中）の場合はステップＳ193へ移行し、No（ターンシグナル消灯中）の場合はステップＳ191へ戻る。

ステップＳ193では、ステップＳ192でのターンシグナルスイッチ５５からON信号が出力されているとの判断に続き、ターンシグナルスイッチ５５からの信号は右への針路変更信号か否かを判断し、Yes（ターンシグナルは右）の場合はステップＳ194へ移行し、No（ターンシグナルは左）の場合はステップＳ196へ移行する。

ステップＳ194では、ステップＳ193でのターンシグナルは右であるとの判断に続き、現在の透過率Tr1は設定値Tr0より小さいか否かを判断し、Yes（Tr1＜Tr0）の場合はステップＳ195へ移行し、No（Tr1≧Tr0）の場合はステップＳ198へ移行する。
ここで、設定値Tr0は、線路変更方向である右への視界を確保するための透過率しきい値である。

ステップＳ195では、ステップＳ194でのTr1＜Tr0であるとの判断に続き、右側のフロントカメラ映像領域の透過率を、現在の透過率Tr1から透過率Ｔ（例えば、Tr0）へ強制的に変更し、ステップＳ191へ戻る。

ステップＳ196では、ステップＳ193でのターンシグナルは左であるとの判断に続き、現在の透過率Tr1は設定値Tr0より小さいか否かを判断し、Yes（Tr1＜Tr0）の場合はステップＳ197へ移行し、No（Tr1≧Tr0）の場合はステップＳ198へ移行する。
ここで、設定値Tr0は、線路変更方向である左への視界を確保するための透過率しきい値である。

ステップＳ197では、ステップＳ196でのTr1＜Tr0であるとの判断に続き、左側のフロントカメラ映像領域の透過率を、現在の透過率Tr1から透過率Ｔ（例えば、Tr0）へ強制的に変更し、ステップＳ191へ戻る。

ステップＳ198では、ステップＳ194またはステップＳ196でのTr1≧Tr0であるとの判断に続き、現在の透過率Tr1を変更しないでそのまま維持し、ステップＳ191へ戻る。
なお、他の構成は、実施例１と同様である。

次に、作用を説明する。
図２０は、実施例３のシースルーフロントビューモニターシステムＡ３において左・右・中央のフロントカメラ映像の分割領域に「不透明部分DE」を設定した画像を示す図である。図２１は、実施例３のシースルーフロントビューモニターシステムＡ３において車室内画像RPに対し「不透明部分DE」と「透明部分CE」と「半透明部分GE」を設定した半透明車室内画像RGを示す図である。

実施例３では、各フロントカメラ３１Ｌ，３１Ｒ，３１Ｃの映像は、実施例１のサイドカメラ１の場合と同様に、デジタル化され視点変換の画像処理を施された後に、車両形状の垂直投影像を加味された車室内映像であるスーパーインポーズ画面を重畳されて、合成映像を得ることになる。

運転者の視点位置から前方に向かって予め撮影された車室内画像RPに対し、路面に対し垂直に車体形状を投影した領域を、透過率０％の「不透明部分DE」とする。そして、車室内画像RPから「不透明部分DE」を除いた領域に、180度以上の広角画面映像を表示することになる。

この180度以上の広角画面映像を運転者視点からの視点変換画像とした場合は、図２０に示すように、中央領域に中央フロントカメラ３１Ｃからのカメラ映像、左領域に左フロントカメラ３１Ｌからのカメラ映像、右領域に右フロントカメラ３１Ｒからのカメラ映像が合成された画面が構成されることになる。
すなわち、カメラを用いた映像は、視界の確保を目的とする構成のため、左・右・中央のフロントカメラ３１Ｌ，３１Ｒ，３１Ｃのカメラ画像を１画面で表示することが多い。この場合、通常、これらの各々のカメラ映像を合成し、180度以上の広角画面映像を表示することになる。

図２０に示す映像に対し、「不透明部分DE」と「透明部分CE」と「半透明部分GE」に区別された半透明車室内画像RGがスーパーインポーズにより重畳され、結果として、図２１に示すように、車室内を透過して車両前方側の外部を見ているような映像が運転者に提供されることになる。

したがって、実施例３のシースルーフロントビューモニターシステムＡ３の場合も、先に述べたシースルーサイドビューモニターシステムＡ１やシースルーバックビューモニターシステムＡ２の映像と同様に、死角の解消と共に車両感覚と呼ばれる車両の形状・大きさが、一目瞭然であり突発的な危険性回避の際に直感的に把握しやすい映像を提供できることになる。

［ターンシグナル連動による透過率自動調整作用］
ターンシグナルスイッチ５５が反応する場合は、ハンドルを切る動作、即ち徐行・停止後に左右いずれかへ針路変更を行うことである。この場合、中央部の視界より左右からの接近車両の情報が重要となってくる。

これに対し、実施例３では、３つのフロントカメラ３１Ｌ，３１Ｒ，３１Ｃにより映像領域を３分割していることに伴い、徐行や停止後に左右の何れかにハンドルを切ることで針路を変更する時にスイッチ信号が出力されるターンシグナルスイッチ５５に連動し、３分割された映像領域の「半透明部分GE」の透過率を自動的に調整するようにしている。

右のターンシグナルを検知し、かつ、現在の透過率Tr1が設定値Tr0より小さい場合、図１９のフローチャートにおいて、ステップＳ191→ステップＳ192→ステップＳ193→ステップＳ194→ステップＳ195へと進む。そして、ステップＳ195では、画面の中央領域より右領域の視界が重要なので視界確保のために、システムは自動的に透過率を上げるというアルファブレンド動作を行う。

また、左のターンシグナルを検知し、かつ、現在の透過率Tr1が設定値Tr0より小さい場合、図１９のフローチャートにおいて、ステップＳ191→ステップＳ192→ステップＳ193→ステップＳ196→ステップＳ197へと進む。そして、ステップＳ197では、画面の中央領域より左領域の視界が重要なので視界確保のために、システムは自動的に透過率を上げるというアルファブレンド動作を行う。

したがって、右に針路変更を行う場合には、右の視界がより鮮明に確保されることになり、左に針路変更を行う場合には、左の視界がより鮮明に確保されることになる。結果として、針路変更を行うとする側からの接近車両の情報を的確に把握することができる。
ここで、上記動作中、ターンシグナルの左右を判別し、そのどちらかのみを重み付けして透過率を変更するようにしても良い。なお、他の作用は、実施例１と同様であるので、説明を省略する。

次に、効果を説明する。
実施例３のシースルーフロントビューモニターシステムＡ３にあっては、実施例１の(1)〜(9)の効果に加え、下記の効果を得ることができる。

(12) 前記車載死角カメラは、運転者の死角となる車両の前方部分を、車室内のモニター３に表示するシースルーフロントビューモニターシステムＡ３に用いられる左・右・中央の各フロントカメラ３１Ｌ，３１Ｒ，３１Ｃである。このため、例えば、停止や徐行からの直進発進や旋回発進の際に必要となる車両前方の障害物等と自車両の位置感覚や距離感覚、あるいは、接近してくる車両と自車両の位置感覚や距離感覚といった空間把握を直感的に行うことができ、安全運転に対して寄与し得る貢献度を大きくすることができる。

以上、本発明の車両周辺画像表示システムを実施例１〜実施例３に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。

実施例１〜３では、外部映像の輝度と色相の判定結果に応じて、仮想カメラ画像に重畳する半透明車室内画像RGの輝度と色相を変化させる例を示した。しかし、外部映像の輝度と色相以外に彩度や明度を加え、輝度・色相・彩度・明度の少なくとも１つに判定結果に応じて、仮想カメラ画像に重畳する半透明車室内画像RGの輝度・色相・彩度・明度の少なくとも１つを変化させる例であれば本発明に含まれる。

実施例１〜３では、仮想カメラ画像に重畳する半透明車室内画像RGとして、予め用意した車室内画像RPを「不透明部分DE」と「透明部分CE」と「半透明部分GE」の３つの部分に区別する例を示した。しかし、車室内画像RPの全体を「半透明部分GE」とする例としても良い。また、車室内画像RPの全体を「半透明部分GE」とし、「不透明部分DE」を縁取りにより表示する例としても良い。また、「不透明部分DE」に代え、塗りつぶしによる「影部分」とする例としても良い。また、予め用意した車室内画像RPを「不透明部分DE」（または「影部分」）と「半透明部分GE」の２つの部分に区別する例としても良い。さらに、予め用意した車室内画像RPを「不透明部分DE」（または「影部分」）と「グラデーション状に透過率を変化させた透過部分」により連続的に変化する例としても良い。

車両周辺画像表示システムとして、実施例１ではサイドカメラを用いたシースルーサイドビューモニターシステムＡ１の例を示し、実施例２ではバックカメラを用いたシースルーバックビューモニターシステムＡ２の例を示し、実施例３ではフロントカメラを用いたシースルーフロントビューモニターシステムＡ３の例を示した。しかし、車両周辺画像表示システムとしては、モニターを共用し、サイドビューとバックビューとフロントビュー等のうち、何れかを選択できるモニターシステム、あるいは、所定の条件にて自動的に切り換えられるモニターシステムに対しても適用することができる。

実施例１のシースルーサイドビューモニターシステムＡ１（車両周辺画像表示システムの一例）を示す全体システムブロック図である。 実施例１のシースルーサイドビューモニターシステムＡ１における輝度・色相判定センサーでの輝度・色相判定データの取得例１を示す説明図である。 実施例１のシースルーサイドビューモニターシステムＡ１における輝度・色相判定センサーでの輝度・色相判定データの取得例２を示す説明図である。 実施例１のシースルーサイドビューモニターシステムＡ１における輝度・色相判定センサーでの輝度・色相判定データの取得例３を示す説明図である。 実施例１のシースルーサイドビューモニターシステムＡ１における制御回路４５にて実行される外部映像輝度追従表示制御処理の流れを示すフローチャートである。 実施例１のシースルーサイドビューモニターシステムＡ１における制御回路４５にて実行される輝度急変対応表示制御処理の流れを示すフローチャートである。 実施例１のシースルーサイドビューモニターシステムＡ１における制御回路４５にて実行される色相変換表示制御処理の流れを示すフローチャートである。 実施例１の色相変換表示制御処理で用いられる色相環を示す図である。 実施例１のシースルーサイドビューモニターシステムＡ１における制御回路４５にて実行される警告表示制御処理の流れを示すフローチャートである。 運転者の視点位置から左前部側方に向かって予め撮影された車室内静止映像を示す図である。 実施例１のシースルーサイドビューモニターシステムＡ１が搭載されている車両から路面に対し車体形状を投影している様子をイメージして示した斜視図である。 実施例１のシースルーサイドビューモニターシステムＡ１が搭載されている車両から路面に対し車体形状を投影した像を運転者視点位置から透過して見た場合の映像（不透明部分）を示す図である。 実施例１のシースルーサイドビューモニターシステムＡ１において図１０に示す車室内画像RPに対し図１２の「不透明部分DE」を設定した画像を示す図である。 実施例１のシースルーサイドビューモニターシステムＡ１において図１０に示す車室内画像RPに対し「不透明部分DE」と「透明部分CE」と「半透明部分GE」を設定した半透明車室内画像RGを示す図である。 実施例１のシースルーサイドビューモニターシステムＡ１において半透明車室内画像RGを反転表示したときの輝度反転画面を示すイメージ図である。 実施例２のシースルーバックビューモニターシステムＡ２（車両周辺画像表示システムの一例）を示す全体システムブロック図である。 実施例２のシースルーバックビューモニターシステムＡ２において車両後方の車室内画像RPに対し「不透明部分DE」と「透明部分CE」と「半透明部分GE」を設定した半透明車室内画像RGを示す図である。 実施例３のシースルーフロントビューモニターシステムＡ３（車両周辺画像表示システムの一例）を示す全体システムブロック図である。 実施例３のシースルーフロントビューモニターシステムＡ３における制御回路４５にて実行されるブレンド比率センサー連動制御処理の流れを示すフローチャートである。 実施例３のシースルーフロントビューモニターシステムＡ３において左・右・中央のフロントカメラ映像の分割領域に「不透明部分DE」を設定した画像を示す図である。 実施例３のシースルーフロントビューモニターシステムＡ３において車室内画像RPに対し「不透明部分DE」と「透明部分CE」と「半透明部分GE」を設定した半透明車室内画像RGを示す図である。

符号の説明

Ａ１ シースルーサイドビューモニターシステム（車両周辺画像表示システムの一例）
１ サイドカメラ（車載死角カメラ）
Ａ２ シースルーバックビューモニターシステム（車両周辺画像表示システムの一例）
２１ バックカメラ（車載死角カメラ）
Ａ３ シースルーフロントビューモニターシステム（車両周辺画像表示システムの一例）
３１Ｌ 左フロントカメラ（車載死角カメラ）
３１Ｒ 右フロントカメラ（車載死角カメラ）
３１Ｃ 中央フロントカメラ（車載死角カメラ）
２ 画像処理コントロールユニット（モニター映像生成手段）
４１ デコーダー
４１Ｌ 左デコーダー
４１Ｒ 右デコーダー
４１Ｃ 中央デコーダー
４２ 画像メモリ
４２Ｌ 左画像メモリ
４２Ｒ 右画像メモリ
４２Ｃ 中央画像メモリ
４３ 画像処理部
４４ 画像メモリ（画像記憶部）
４５ 制御回路（ＣＰＵ）
４６ スーパーインポーズ回路（画像合成回路）
４７ エンコーダ
４８ ブレンド外部制御部
４９ａ 輝度・色相判定センサー（外部映像色判定部）
４９ｂ 輝度・色相変換ブロック（車室内画像色自動調整部）
４９ｃ 色相外部制御部（車室内画像色外部制御部）
３ モニター
４ ブレンド比率手動制御インターフェース
５ 外部センサー
５１ 舵角センサー
５２ 速度センサー（車速検出手段）
５３ イルミON/OFFスイッチ
５４ 機能スイッチ
５５ ターンシグナルスイッチ
６ 色相手動制御インターフェース（車室内画像色手動操作手段）
RP 車室内画像
SE 自車両の大きさ・形状を垂直に道路面に投影した領域
RG 半透明車室内画像
CE 透明部分
GE 半透明部分
DE 不透明部分

Claims (12)

1. 自車両に取り付けられ、車両周辺を撮像する車載死角カメラと、運転者が視認できる車室内位置に設定したモニターと、前記車載死角カメラから入力される実カメラ映像に基づき、前記モニターへの表示映像を生成するモニター映像生成手段と、を備えた車両周辺画像表示システムにおいて、
   前記モニター映像生成手段は、
   前記車載死角カメラから入力される実カメラ映像を、運転者の視点位置から見た仮想カメラ画像に視点変換する画像処理部と、
   前記車載死角カメラからの外部映像の色を、輝度・色相・彩度・明度の少なくとも１つに応じて判定する外部映像色判定部と、
   前記外部映像の色判定結果に基づき、車室内画像を半透明化した半透明車室内画像の輝度・色相・彩度・明度の少なくとも１つを、前記外部映像に対する視認性を高めるように自動調整する車室内画像色自動調整部と、
   前記画像処理部からの仮想カメラ画像に、前記車室内画像色自動調整部からの半透明車室内画像を重畳させる画像合成により、半透明車室内画像を透過して仮想カメラ画像を表現する合成画像を生成する画像合成回路と、
   を有することを特徴とする車両周辺画像表示システム。
2. 請求項１に記載された車両周辺画像表示システムにおいて、
   前記モニター映像生成手段は、運転者の視点から予め撮影された車室内静止映像を、車室内画像として記憶しておく画像記憶部を有し、
   前記車室内画像色自動調整部は、前記画像記憶部からの車室内画像を半透明化することにより半透明車室内画像を取得することを特徴とする車両周辺画像表示システム。
3. 請求項１または請求項２に記載された車両周辺画像表示システムにおいて、
   前記外部映像色判定部は、前記車載死角カメラからの外部映像の平均的な輝度と色相を判定する輝度・色相判定センサーであり、
   前記車室内画像色自動調整部は、前記輝度・色相判定センサーによる外部映像の色判定結果に基づき、半透明車室内画像の輝度と色相を、前記外部映像の輝度と色相に対する視認性を高めるように自動調整する輝度・色相変換ブロックであることを特徴とする車両周辺画像表示システム。
4. 請求項３に記載された車両周辺画像表示システムにおいて、
   前記モニター映像生成手段は、前記輝度・色相判定センサーからの輝度検出値を読み込み、輝度検出値が薄暮れ閾値を示す第１設定値以上のとき、半透明車室内画像の輝度と外部映像の輝度の間に輝度差を持たせた表示とし、輝度検出値が第１設定値より低いが夜間閾値を示す第２設定値以上のとき、半透明車室内画像の輝度を高めて外部映像の輝度との間に輝度差を持たせた表示とし、輝度検出値が第２設定値よりも低いとき、半透明車室内画像の輝度を反転すると共に黒線を白線で反転表示する外部映像輝度追従表示制御モードを有することを特徴とする車両周辺画像表示システム。
5. 請求項３に記載された車両周辺画像表示システムにおいて、
   前記モニター映像生成手段は、前記輝度・色相判定センサーからの輝度検出値を読み込み、輝度検出値が上限側の閾値を示す第３設定値より高くなると、半透明車室内画像の輝度を低下させ、全体的に黒っぽく表示する輝度急変対応表示制御モードを有することを特徴とする車両周辺画像表示システム。
6. 請求項２から請求項５までの何れか１項に記載された車両周辺画像表示システムにおいて、
   前記モニター映像生成手段は、前記輝度・色相判定センサーからの色相検出値を読み込み、色相検出値と設定値の色相ずれが第１閾値以上のとき、半透明車室内画像の色相を維持する表示とし、色相検出値と設定値の色相ずれが第１閾値未満であるが第２閾値以上のとき、半透明車室内画像の色相はそのままで色を明るくする表示とし、色相検出値と設定値の色相ずれが第２閾値未満のとき、半透明車室内画像の色相を外部映像の色相に対し、色相環において補色側領域に存在する補色系色相に変換表示する色相変換表示制御モードを有することを特徴とする車両周辺画像表示システム。
7. 請求項１から請求項６までの何れか１項に記載された車両周辺画像表示システムにおいて、
   車速を検出する車速検出手段を設け、
   前記モニター映像生成手段は、前記車速検出手段からの車速検出値を読み込み、車速検出値が設定値以上であるとき、半透明車室内画像の全体色相を運転者に対し警告を認識させる色相に変換して表示する警告表示制御モードを有することを特徴とする車両周辺画像表示システム。
8. 請求項１から請求項７までの何れか１項に記載された車両周辺画像表示システムにおいて、
   前記モニター映像生成手段は、車室内画像色手動操作手段に対する外部からの操作に応じ、前記半透明車室内画像の輝度・色相・彩度・明度の少なくとも１つを、任意に調整する車室内画像色外部制御部を有することを特徴とする車両周辺画像表示システム。
9. 請求項１から請求項８までの何れか１項に記載された車両周辺画像表示システムにおいて、
   前記画像合成回路は、前記仮想カメラ画像に重畳する前記半透明車室内画像のうち、自車両を道路面に投影した領域を透過率が０％の不透明部分とし、自車両の窓ガラスに相当する領域を透過率が１００％の透明部分とし、前記不透明部分と前記透明部分以外の領域を、任意の透過率を持つ半透明部分として設定するブレンド回路部を有することを特徴とする車両周辺画像表示システム。
10. 請求項１から請求項９までの何れか１項に記載された車両周辺画像表示システムにおいて、
    前記車載死角カメラは、運転者の死角となる車両の前部側方部分を、車室内から透過した映像として車室内のモニターに表示するシースルーサイドビューモニターシステムに用いられるサイドカメラであることを特徴とする車両周辺画像表示システム。
11. 請求項１から請求項９までの何れか１項に記載された車両周辺画像表示システムにおいて、
    前記車載死角カメラは、運転者の死角となる車両の後方部分を、車室内から透過した映像として車室内のモニターに表示するシースルーバックビューモニターシステムに用いられるバックカメラであることを特徴とする車両周辺画像表示システム。
12. 請求項１から請求項９までの何れか１項に記載された車両周辺画像表示システムにおいて、
    前記車載死角カメラは、運転者の死角となる車両の前方部分を、車室内から透過した映像として車室内のモニターに表示するシースルーフロントビューモニターシステムに用いられる単独あるいは複数のフロントカメラであることを特徴とする車両周辺画像表示システム。

Images