JP2013074493A - 映像処理装置 - Google Patents

Abstract

【課題】フレア現象が発生しない状況下での画質を低下させることなく、カメラ映像に色付き光源が写ることにより生じるフレア部分への色付きを抑制する。
【解決手段】カメラ映像に画像認識処理を施してフレアを発生させる要因となる特定光源を検出し、特定光源との距離を計測し、特定光源の検出結果および特定光源との距離に基づいてカメラ映像に特定光源によるフレアが発生する状況か否かを判定し（Ｓ１０８）、カメラ映像に特定光源によるフレアが発生する状況であると判定された場合、特定光源によるフレアによる影響を低減するようにカメラ映像に対する画質を調整した映像信号を出力する（Ｓ１１４、Ｓ１２２、Ｓ１２６）。
【選択図】図３

Description

本発明は、車両周辺を撮影したカメラ映像を取り込み、当該カメラ映像に映像処理を施した映像信号を出力する映像処理装置に関するものである。

従来、カラー撮像装置として、カラー撮像素子に入射する光束中に、特定波長の光量を低減する光学部材を挿入して、カラー映像の高い色再現性が得られるようにしたものがある（例えば、特許文献１参照）。

また、映像表示手段の周囲の外部背景照明の明度を測定し、この外部背景照明の明度と予め設定された三刺激値とを、映像表示手段の反射率と比較し、この比較結果に基づいて、映像の明度及び彩度を補償するための制御信号を生成し、この制御信号に従って映像表示手段の明度および彩度を補償するようにして、背景照明の変化に従う人間の明順応感度を考慮した映像表示を行うものもある（例えば、特許文献２参照）。

特開２００３−１０２０２９号公報 特開２００７−９７１９１号公報

ところで、車両に搭載される車載カメラにおいては、撮影エリアが固定されており、先行車両の赤色のテールランプや橙色の街路灯等の色付き光源が大きく写ることがある。車両周辺が暗い状態で、車載カメラのカメラ映像に色付き光源が大きく写り、かつ、色つき光源の色がカメラの基本機能であるオートホワイトバランスの引き込み範囲外である場合に、光源の周囲に色付き領域が広がるフレア現象が生じる。このようなフレア部分の色付きが発生すると、カメラ映像全体が光源色となり、映像が劣化したように見えてしまう。

そこで、上記特許文献１に記載された技術を応用し、カラー撮像素子に入射する光束中に、先行車両の赤色のテールランプや橙色の街路灯等の色付き光源の光の波長を低減する光学部材を挿入することで、フレア部分の色付きを抑制することが可能であるが、この場合、常時、色付き光源の光の波長が低減されることになるため、フレア現象が発生しないような状況で、色付き光源の光の波長が低減され、画質が劣化してしまうという問題がある。

また、上記特許文献２に記載された装置は、映像表示手段の周囲の外部背景照明の明度を測定し、この外部背景照明の明度を用いて映像の明度及び彩度を補償するものであり、車載カメラのカメラ映像に色付き光源が写ることにより生じるフレア部分の色付きを抑制するものではない。

本発明は上記問題に鑑みたもので、フレア現象が発生しない状況下での画質を低下させることなく、カメラ映像に色付き光源が写ることにより生じるフレア部分の色つきを抑制することを目的とする。

上記目的を達成するため、請求項１に記載の発明は、車両周辺を撮影したカメラ映像を取り込み、当該カメラ映像に映像処理を施した映像信号を出力する映像処理装置であって、カメラ映像に画像認識処理を施して特定光源を検出する特定光源検出手段と、特定光源検出手段により特定光源が検出された場合、当該特定光源までの距離を含む車両情報を取得する車両情報取得手段と、車両情報を用いてカメラ映像に特定光源によるフレアが発生する状況か否かを判定する状況判定手段と、状況判定手段によりカメラ映像に特定光源によるフレアが発生する状況であると判定された場合、特定光源によるフレアの影響を低減するようにカメラ映像に対する画質を調整する画質調整手段と、画質調整手段により画質を調整された映像信号を出力する映像信号出力手段と、を備えたことを特徴としている。

このような構成によれば、特定光源が検出された場合、当該特定光源までの距離を含む車両情報を取得し、車両情報を用いてカメラ映像に特定光源によるフレアが発生する状況か否かを判定し、カメラ映像に特定光源によるフレアが発生する状況であると判定された場合、特定光源によるフレアの影響を低減するようにカメラ映像に対する画質を調整し、画質を調整した映像信号が出力されるので、フレア現象が発生しない状況下での画質を低下させることなく、カメラ映像に色付き光源が写ることにより生じるフレア部分の色付きを抑制することができる。

なお、請求項２に記載の発明のように、車両周辺の明るさが基準値未満か否かを判定する明るさ判定手段を備え、車両情報取得手段は、明るさ判定手段により車両周辺の明るさが基準値未満であると判定され、かつ、特定光源検出手段により特定光源が検出された場合、特定光源との距離を含む車両情報を取得するようにすることもできる。

また、請求項３に記載の発明のように、画質調整手段は、特定光源によるフレアによる影響を低減するようにカメラ映像に対する画質調整の調整量を特定し、映像信号出力手段は、画質調整量特定手段により特定された調整量でカメラ映像を画質調整した映像信号を出力するようにすることもできる。

また、請求項４に記載の発明は、特定光源検出手段により特定光源が検出された場合、当該特定光源の種類を特定する特定光源種類特定手段を備え、画質調整量特定手段は、特定光源の種類に応じて画質調整の調整量を変化させることを特徴としている。

このように、特定光源が検出された場合、当該特定光源の種類を特定し、特定光源の種類に応じて画質調整の調整量を変化させることにより、特定光源の種類に応じて画質調整の調整量を適切な値に設定することが可能である。

また、請求項５に記載の発明は、特定光源との距離を計測する距離計測手段を備え、調整量特定手段は、特定光源との距離が短くなるほど画質調整の調整量を大きくすることを特徴としている。

特定光源との距離が短くなると特定光源によるフレアの影響が大きくなるが、上記した構成では、特定光源との距離が短くなるほど画質調整の調整量が大きくなるので、フレアによる影響を適切に除去することが可能である。

また、請求項６に記載の発明は、状況判定手段は、更に、車両情報に基づいてカメラ映像に特定光源によるフレアが発生するか否かを予測し、画質調整量特定手段は、状況判定手段によりカメラ映像に特定光源によるフレアが発生すると予測された場合、特定光源によるフレアによる影響を低減するようにカメラ映像に対する画質調整の調整量を特定することを特徴としている。

このような構成によれば、状況判定手段は、更に、車両情報に基づいてカメラ映像に特定光源によるフレアが発生するか否かを予測し、画質調整量特定手段は、状況判定手段によりカメラ映像に特定光源によるフレアが発生すると予測された場合、特定光源によるフレアによる影響を低減するようにカメラ映像に対する画質調整の調整量を特定するので、特定光源によるフレアによる影響を事前に防ぐことが可能である。

なお、画質調整の調整量は、請求項７に記載の発明のように、カメラ映像に対する彩度の低減量とすることができ、請求項８に記載の発明のように、カメラ映像における三原色信号の混合比の調整量とすることもできる。

また、請求項９に記載の発明では、特定光源検出手段は、黄色から赤色系の光を発光する光源の特徴点を抽出した標準パターンを格納したデータベースを有しており、このデータベースを用いて特定光源のパターン認識を行い、特定光源を検出することを特徴としている。

このような構成によれば、黄色から赤色系の光を発光する光源の特徴点を抽出した標準パターンを格納したデータベースを有しており、このデータベースを用いて特定光源のパターン認識を行い、特定光源が検出されるので、精度よく赤色系の光を発光する光源を特定光源として検出することができる。

色フレアの原因となる光源は、カメラ映像に含まれる一定周波数以下である点に着目し、請求項１０に記載の発明のように、特定光源検出手段は、カメラ映像に含まれる一定周波数以下の黄色から赤色成分の被写体で、かつ、当該被写体の色の濃さが予め定められた閾値以上であることを判定した場合、被写体を特定光源として検出することもできる。

本発明の第１実施形態に係る映像処理装置の構成を示す図である。 フレアについて説明するための図である。 第１実施形態に係る映像処理装置のフローチャートである。 第２実施形態に係る映像処理装置のフローチャートである。

（第１実施形態）
本発明の第１実施形態に係る映像処理装置の構成を図１に示す。本映像処理装置２０は、車載カメラ１０より車両周辺を撮影したカメラ映像を取り込み、このカメラ映像に映像処理を施した映像信号を車載映像表示装置３０へ出力するものである。本映像処理装置２０には、接続ケーブル１を介して車載カメラ１０が接続されるとともに、接続ケーブル２を介して車載映像表示装置３０が接続されている。

車載カメラ１０は、光学系部材１１、イメージセンサ１２および画像処理回路１３を備えている。

イメージセンサ１２は、光学レンズ等の光学系部材１１を介して対象物から入射される光を受光面に結像させ、この受光面に結像した光による明暗を電荷の量に光電変換し、この電荷の量を電気信号に変換する。なお、本実施形態では、イメージセンサ１２としてＣＭＯＳイメージセンサが用いられている。

画像処理回路１３は、イメージセンサ１２より出力される電気信号に対して各種画像処理を行い、予め定められたフォーマットに従った映像信号を出力する。

映像処理装置２０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、Ｉ／Ｏ等を備えており、ＣＰＵは、ＲＯＭに記憶されたプログラムに従って各種処理を行う。

映像処理装置２０は、車載カメラ１０より車両周辺を撮影したカメラ映像を取り込み、このカメラ映像に映像処理を施した映像信号を車載映像表示装置３０へ出力する。

照度センサ２０ａは、車両周辺の照度を検出し、車両周辺の照度に応じた照度信号を出力する。

レーザレーダ２０ｂは、車両前方に位置する物体との距離を計測し、車両前方に位置する物体との距離を表す情報を映像処理装置２０へ出力する。本実施形態におけるレーザレーダ２０ｂは、レーザの照射方向を二次元的に走査させることで、車両前方の各方面の物体との距離を計測し、各方面の物体との距離と計測方向を表す情報（Ｘ−Ｙ座標）を関連付けした測距情報を出力するようになっている。

映像処理装置２０は、レーザレーダ２０ｂより出力される測距情報を用いて、車載カメラ１０のカメラ映像に含まれる各部との距離を特定することが可能となっている。例えば、搭載車両と先行車両のテールランプとの距離、搭載車両と街路灯との距離を別々に特定することも可能となっている。

車載映像表示装置３０は、液晶等のディスプレイを有し、車載カメラ１０より映像処理装置２０を介して入力される映像信号に応じた映像をディスプレイに表示させる。

ところで、カメラ映像に色付き光源が大きく写ると、光源の周囲に色付き領域が広がるフレア現象が生じる。図２に、カメラ映像に、上記特定光源として先行車両のテールランプ（ブレーキランプ）とナトリウム灯が含まれており、先行車両のテールランプによるフレアＦ１と、ナトリウム灯によるフレアＦ２が発生している様子を示す。実際には、先行車両のテールランプおよびフレアＦ１は赤色、ナトリウム灯およびフレアＦ２は橙色となっている。なお、この図に示すようなフレアは、車両周辺の照度が低い場合に発生し、太陽光などの別光源が支配的な環境では発生しない。

本映像処理装置２０は、カメラ映像に画像認識処理を施して色つきのフレアを発生させる要因となる特定光源を検出し、この特定光源によるフレアが発生する状況であると判定すると、特定光源によるフレアによる影響を低減するようにカメラ映像に対する画質調整の調整量を特定し、この調整量でカメラ映像を画質調整した映像信号を出力する処理を行う。

なお、赤色、橙色等の赤色系の光を発光する光源が、特に色つきのフレアを発生させる要因となり易いため、本実施形態では、赤色系の光を発光する光源を特定光源として検出する。具体的には、映像処理装置２０は、先行車両のテールランプ、街路灯としてのナトリウム灯等、色つきのフレアを発生させる要因となる特定光源の特徴点を抽出した標準パターンを格納したデータベースを有しており、このデータベースを用いてフレアを発生させる要因となる特定光源のパターン認識を行い、フレアを発生させる要因となる特定光源を検出する。なお、映像処理装置２０は、形状だけでなく、輝度レベルおよび色を考慮したパターン認識を行う。

また、カメラ映像における特定光源の周囲に広がる色付き領域（フレア）の影響を低減（除去）するように、カメラ映像に対する画質調整の調整量を特定し、特定した調整量でカメラ映像を画質調整した映像信号を車載映像表示装置３０へ出力する。

本実施形態では、カメラ映像における特定光源の周囲に広がる色付き領域（フレア）の影響を低減するように、カメラ映像に対する彩度を調整する処理を行う。

ここで、彩度は、色の属性の１つで、色の鮮やかさの尺度を表すものである。輝度信号Ｙと２つの色信号ＣｂＣｒを使って表されるＹＣｂＣｒ色空間における２つの色信号ＣｂＣｒを抑圧することで、彩度を低下させることができる。彩度を下げると映像は無彩色に近づき、彩度を上げると映像は極彩色に近づくようになる。

彩度を下げることでカメラ映像におけるフレアの色つきを低減、除去することが可能となるが、必要以上に彩度を低下させると車載映像表示装置３０の画面全体がモノクロ映像となり、カラー映像と認識している乗員に違和感を与えてしまう。したがって、乗員に違和感を与えることのないように、カメラ映像におけるフレアの色つきが低減され、かつ、車載映像表示装置３０に表示される映像の明るさと乗員により視認される車両周辺の明るさが同程度となるように彩度の低減量を特定するのが好ましい。

図３に、映像処理装置２０のフローチャートを示す。乗員の操作に応じて車両のイグニッションスイッチがオン状態になると、車載カメラ１０、映像処理装置２０、車載映像表示装置３０、照度センサ２０ｂ、レーザレータ２０ｂは、それぞれ動作状態となり、映像処理装置２０は図３に示す処理を周期的に実施する。

まず、車両周辺の照度が基準値未満か否かを判定する（Ｓ１００）。車両周辺の照度は、照度センサ２０より入力される照度信号に基づいて特定することができる。

次に、カメラ映像に画像認識処理を施して色つきのフレアを発生させる要因となる特定光源が検出されたか否かを判定する（Ｓ１０２）。

ここで、 フレアを発生させる要因となる特定光源が検出されない場合、Ｓ１０２の判定はＮＯとなり、Ｓ１００へ戻る。また、色つきのフレアを発生させる要因となる特定光源が検出された場合、Ｓ１０２の判定はＹＥＳとなり、次に、特定光源の種類を特定する（Ｓ１０４）。具体的には、前述したデータベースを用いて色つきのフレアを発生させる要因となる特定光源のパターン認識を行い、色つきのフレアを発生させる要因となる特定光源を特定する。このようなパターン認識により、先行車両のテールランプ（ブレーキランプ）、街路灯等が特定光源として特定される。

次に、搭載車両から車両情報を取得する（Ｓ１０６）。車両情報には、特定光源との距離Ｌを特定するための情報、先行車両の車速を表す情報、先行車両との車間距離を表す情報、先行車両との相対速度を表す情報が含まれる。本実施形態では、レーザレーダ２０ｂより入力される車両と特定光源との距離Ｌを表す情報に基づいて車両と先行車両のテールランプとの距離Ｌを特定する。また、特定光源としてナトリウム灯が特定された場合には、ナトリウム灯との距離を特定する。

次に、車両情報を用いてカメラ映像に特定光源によるフレアが発生する状況であるか否かを判定する（Ｓ１０８）。本実施形態では、車両と特定光源との距離Ｌが基準値未満で、かつ、カメラ映像に含まれる特定光源の大きさの比率が規定値（例えば、全画素の２０％）以上の場合、カメラ映像に特定光源によるフレアが発生する状況であると判定する。

ここで、車両と特定光源との距離Ｌが基準値以上の場合、あるいは、カメラ映像に含まれる特定光源の大きさの比率が規定値（例えば、全画素の２０％）未満の場合、Ｓ１０８の判定はＮＯとなり、Ｓ１００へ戻る。

しかし、車両と特定光源との距離Ｌが基準値未満で、かつ、カメラ映像に含まれる特定光源の大きさの比率が規定値（例えば、全画素の２０％）以上の場合、Ｓ１０８の判定はＹＥＳとなり、Ｓ１１０へ進む。

次のＳ１１０とＳ１１８では、搭載車両と特定光源との距離Ｌの判定を行う。Ｓ１１０では、搭載車両と特定光源との距離Ｌが基準値Ｌ２よりも大きいか否かを判定する。また、Ｓ１１８では、搭載車両と特定光源との距離Ｌが、基準値Ｌ２以下で、かつ、基準値Ｌ２より短い基準値Ｌ１より長いか否かを判定する。

ここで、先行車両との距離が長く、特定光源との距離Ｌが基準値Ｌ２よりも長い場合、Ｓ１１０の判定はＹＥＳとなり、次に、彩度低減量Ｙ１を特定する（Ｓ１１２）。具体的には、乗員に違和感を与えることのないように、カメラ映像における色つきのフレアが低減され、かつ、車載映像表示装置３０に表示される映像の明るさと乗員により視認される車両周辺の明るさが同程度となるような彩度低減量Ｙ１を特定する。なお、先行車両との距離が長い場合、先行車両との距離が短い場合と比較して、特定光源によるフレアによる影響は小さいため、彩度低減量Ｙ１は比較的小さな値となる。また、特定光源との距離Ｌだけでなく、特定光源の種類によっても彩度低減量を異ならせるようにしている。なお、彩度低減量は、実験等により得られた各種データに基づいて決定された最適値が用いられる。

次に、Ｓ１１２にて特定された彩度低減量Ｙ１を用いて画質調整を行う（Ｓ１１４）。すなわち、Ｓ１１２にて特定された彩度低減量Ｙ１でカメラ影像の彩度を低下させた映像信号を車載映像表示装置へ出力する。

これにより、車載映像表示装置に表示される映像は、乗員に違和感を与えない程度の彩度を維持しつつ、特定光源によるフレアによる影響が低減されたものとなる。

次に、特定光源が非検出となったか否かを判定する（Ｓ１１６）。特定光源が非検出となっていない場合、Ｓ１１６の判定はＮＯとなり、Ｓ１０６へ戻る。

そして、先行車両との距離Ｌが基準値Ｘ２以下となり、搭載車両と特定光源との距離Ｌが、基準値Ｌ２以下で、かつ、基準値Ｌ２より短い基準値Ｌ１より長くなると、Ｓ１１８の判定はＹＥＳとなり、次に、彩度低減量Ｙ２を特定する（Ｓ１２０）。この彩度低減量Ｙ２は、彩度低減量Ｙ１よりも低減量が大きくなっている。すなわち、先行車両との距離Ｌが短くなり、特定光源によるフレアの影響が比較的大きくなることから、彩度低減量Ｙ１よりも低減量の大きな彩度低減量Ｙ２を特定する。

次に、Ｓ１２０にて特定された彩度低減量Ｙ２を用いて画質調整を行う（Ｓ１２２）。すなわち、Ｓ１２０にて特定された彩度低減量Ｙ２でカメラ影像の彩度を低下させた映像信号を車載映像表示装置へ出力する。

これにより、車載映像表示装置に表示される映像は、乗員に違和感を与えない程度の彩度を維持しつつ、特定光源によるフレアによる影響が低減されたものとなる。

また、先行車両との距離Ｌが基準値Ｘ１以下となると、Ｓ１１８の判定はＮＯとなり、次に、彩度低減量Ｙ３を特定する（Ｓ１２４）。この彩度低減量Ｙ３は、彩度低減量Ｙ２よりも更に低減量が大きくなっている。すなわち、先行車両との距離Ｌが短くなり、特定光源によるフレアの影響が比較的大きくなることから、彩度低減量Ｙ２よりも低減量の大きな彩度低減量Ｙ３を特定する。

次に、Ｓ１２４にて特定された彩度低減量Ｙ３を用いて画質調整を行う（Ｓ１２６）。すなわち、Ｓ１２４にて特定された彩度低減量Ｙ３でカメラ影像の彩度を低下させた映像信号を車載映像表示装置へ出力する。

これにより、車載映像表示装置に表示される映像は、乗員に違和感を与えない程度の明るさを維持しつつ、特定光源によるフレアによる影響が低減されたものとなる。

また、特定光源が検出されなくなると、Ｓ１１６の判定はＹＥＳとなり、Ｓ１００へ戻る。

先行車両との距離Ｌが短くなるにつれて、特定光源のフレアによる影響が大きくなるが、上記したように、先行車両との距離Ｌが短くなるにつれて彩度低減量（画質調整の調整量）が大きくなので、車載映像表示装置に表示される映像は、乗員に違和感を与えない程度の彩度を維持しつつ、特定光源によるフレアによる影響が低減されたものとなる。

また、例えば、Ｓ１０６において、特定光源の種類としてナトリウム灯が特定された場合には、Ｓ１１２、Ｓ１２０、Ｓ１２４にて、ナトリウム灯によるフレアの影響を低減（除去）しつつ、乗員に違和感を与えない程度の彩度低減量を特定する。

このように、特定光源の種類に応じて彩度低減量を異ならせることにより、特定光源によるフレアの影響を低減（除去）しつつ、乗員に違和感を与えないようにすることが可能である。

上記した構成によれば、特定光源が検出された場合、当該特定光源までの距離を含む車両情報を取得し、車両情報を用いてカメラ映像に特定光源によるフレアが発生する状況か否かを判定し、カメラ映像に特定光源によるフレアが発生する状況であると判定された場合、特定光源によるフレアの影響を低減するようにカメラ映像に対する画質を調整し、画質を調整した映像信号が出力されるので、色つきのフレア現象が発生しない状況下での画質を低下させることなく、カメラ映像に色付き光源が写ることにより生じるフレア部分の色付きを抑制することができる。

また、上記したように、車両周辺の明るさが基準値未満か否かを判定し、車両周辺の明るさが基準値未満であると判定され、かつ、特定光源が検出された場合、特定光源との距離を含む車両情報を取得し、車両情報を用いてカメラ映像に特定光源によるフレアが発生する状況か否かを判定し、カメラ映像に特定光源によるフレアが発生する状況であると判定された場合、特定光源によるフレアの影響を除去するようにカメラ映像に対する画質を調整し、画質を調整した映像信号を出力するようにすることもできる。

また、上記したように、特定光源によるフレアによる影響を低減するようにカメラ映像に対する画質調整の調整量を特定し、映像信号出力手段は、画質調整量特定手段により特定された調整量でカメラ映像を画質調整した映像信号を出力するようにすることもできる。

また、特定光源が検出された場合、当該特定光源の種類を特定し、特定光源の種類に応じて画質調整の調整量を変化させるので、特定光源の種類に応じて画質調整の調整量を適切な値に設定することが可能である。

また、特定光源との距離が短くなると特定光源によるフレアの影響が大きくなるが、上記した構成では、特定光源との距離が短くなるほど画質調整の調整量が大きくなるので、フレアによる影響を適切に除去することが可能である。

また、赤色系の光を発光する光源の特徴点を抽出した標準パターンを格納したデータベースを有しており、このデータベースを用いて特定光源のパターン認識を行い、特定光源が検出されるので、精度よく赤色系の光を発光する光源を特定光源として検出することができる。

（第２実施形態）
上記第１実施形態では、図３に示したフローチャートのＳ１１２、Ｓ１１４、Ｓ１２０、Ｓ１２２、Ｓ１２４、Ｓ１２６にて、特定光源によるフレアによる影響を除去するように彩度低減量Ｙ１〜Ｙ３を特定し、特定した彩度低減量Ｙ１〜Ｙ３でカメラ影像の画質調整を行うようになっているが、本実施形態では、特定光源によるフレアによる影響を除去するようにカメラ映像におけるＲＧＢカラーバランスの調整量（三原色信号の混合比の調整量）を特定し、このＲＧＢカラーバランスでカメラ影像の画質調整を行う。

ここで、ＲＧＢカラーバランスは、色の三原色である、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の混合比である。色付き照明が赤色の場合は、赤色（Ｒ）を抑圧することで、色つきのフレアによる影響を低減することができ、色付き照明が橙色の場合は、赤色（Ｒ）と緑（Ｇ）を抑圧することで、色つきのフレアによる影響を低減することができる。具体的には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の特定成分に係数Ｋ（Ｋ≦１）を掛けることにより特定成分を抑圧することができる。

ＲＧＢカラーバランスの調整を行う際にも、乗員に違和感を与えることのないように、カメラ映像における色つきのフレアが低減され、かつ、車載映像表示装置３０に表示される映像の明るさと乗員により視認される車両周辺の明るさが同程度となるようにＲＧＢカラーバランスの調整量を特定するのが好ましい。

図４に、本発明の第２実施形態に係る映像処理装置２０のフローチャートを示す。このフローチャートは、図３に示したフローチャートと比較して、Ｓ２１２、Ｓ２１４、Ｓ２２０、Ｓ２２２、Ｓ２２４、Ｓ２２６が異なる。

すなわち、Ｓ２１２では、乗員に違和感を与えることのないように、カメラ映像におけるフレアが除去され、かつ、車載映像表示装置３０に表示される映像の明るさと乗員により視認される車両周辺の明るさが同程度となるようなＲＧＢカラーバランスの調整量（Ｙ１’）を特定し、Ｓ２１４では、Ｓ２１２にて特定したＲＧＢカラーバランスの調整量（Ｙ１’）でカメラ影像のＲＧＢカラーバランスの特定の特定成分を抑圧した映像信号を車載映像表示装置へ出力する。

また、Ｓ２２０では、乗員に違和感を与えることのないように、カメラ映像における色つきのフレアが低減され、かつ、車載映像表示装置３０に表示される映像の明るさと乗員により視認される車両周辺の明るさが同程度となるようなＲＧＢカラーバランスの調整量（Ｙ２’）を特定し、Ｓ２２２では、Ｓ２２０にて特定したＲＧＢカラーバランスの調整量（Ｙ２’）でカメラ影像のＲＧＢカラーバランスの特定の特定成分を抑圧した映像信号を車載映像表示装置へ出力する。なお、ＲＧＢカラーバランスの調整量（Ｙ２’）は、ＲＧＢカラーバランスの調整量（Ｙ１’）よりも大きくなる。

また、Ｓ２２４では、乗員に違和感を与えることのないように、カメラ映像における色つきのフレアが低減され、かつ、車載映像表示装置３０に表示される映像の明るさと乗員により視認される車両周辺の明るさが同程度となるようなＲＧＢカラーバランスの調整量（Ｙ３’）を特定し、Ｓ２２６では、Ｓ２２４にて特定したＲＧＢカラーバランスの調整量（Ｙ３’）でカメラ影像のＲＧＢカラーバランスの特定の特定成分を抑圧した映像信号を車載映像表示装置へ出力する。なお、ＲＧＢカラーバランスの調整量（Ｙ３’）は、ＲＧＢカラーバランスの調整量（Ｙ２’）よりも大きくなる。

上記したように、カメラ映像に特定光源によるフレアが発生する状況であると判定された場合、特定光源によるフレアによる影響を低減するようにカメラ映像に対するＲＧＢカラーバランスの調整量を特定し、この特定した調整量でカメラ映像を画質調整した映像信号が出力されるので、フレア現象が発生しない状況下での画質を低下させることなく、カメラ映像に色付き光源が写ることにより生じるフレア部分の色付きを抑制することができる。

また、特定光源との距離が短くなると特定光源によるフレアの影響が大きくなるが、上記した構成では、特定光源との距離が短くなるほど画質調整の調整量が大きくなるので、フレアによる影響を適切に低減することが可能である。

（その他の実施形態）
上記第１、第２実施形態では、映像処理装置２０に車載カメラ１０と車載映像表示装置３０を接続する構成を示したが、車載カメラ１０と映像処理装置２０を一体としてもよく、また、映像処理装置２０と車載映像表示装置３０を一体として構成してもよい。

また、上記第１、第２実施形態では、車載カメラ１０内に画像処理回路１３を備えたが、映像処理装置２０内に画像処理回路１３を備えるように構成してもよい。

また、上記第１、第２実施形態では、レーザレーダ２０ｂを用いて車両前方の物体との距離を測定したが、レーザレーダ２０ｂに限定されるものではなく、例えば、ミリ波レーダーやソナー等を用いて車両前方の物体との距離を測定してもよい。

また、上記第１、第２実施形態では、照度センサを用いて車両周辺の明るさを検出する構成を示したが、照度センサ以外のセンサを用いて車両周辺の明るさを検出するように構成してもよい。また、ヘッドライトスイッチあるいは車幅灯のオン／オフ状態や、カメラの基本機能である露出制御における露出量を判定するための数値等を用いて車両周辺の明るさを検出するようにしてもよい。

また、上記第１、第２実施形態では、車両周辺の明るさが基準値未満であると判定され、かつ、特定光源が検出された場合、特定光源との距離を含む車両情報を取得するように構成したが、例えば、車両周辺の明るさが基準値未満であるか否かの判定を省略し、特定光源が検出された場合、特定光源との距離を含む車両情報を取得するように構成してもよい。

また、上記実施形態では、Ｓ１０８にて、特定光源との距離車両と特定光源との距離Ｌが基準値未満で、かつ、カメラ映像に含まれる特定光源の大きさの比率が規定値（例えば、全画素の２０％）以上の場合、カメラ映像に特定光源によるフレアが発生する状況であるか否かを判定したが、このような例に限定されるものではなく、例えば、車両情報に含まれる先行車両の車速を表す情報、先行車両との車間距離を表す情報、先行車両との相対速度を表す情報の少なくとも１つを用いてカメラ映像に特定光源によるフレアが発生する状況であるか否かを判定するように構成してもよい。

また、上記実施形態では、Ｓ１０８にて、車両情報を用いてカメラ映像に特定光源によるフレアが発生する状況か否かを判定し、カメラ映像に特定光源によるフレアが発生する状況であると判定された場合、Ｓ１１２、Ｓ１２０、Ｓ１２４、Ｓ２１２、Ｓ２２０、Ｓ２２４にて、特定光源によるフレアによる影響を除去するようにカメラ映像に対する画質調整の調整量を特定する構成を示したが、Ｓ１０８にて、更に、車両情報を用いてカメラ映像に特定光源によるフレアが発生するか否かを予測し、カメラ映像に特定光源によるフレアが発生すると予測された場合、Ｓ１１２、Ｓ１２０、Ｓ１２４、Ｓ２１２、Ｓ２２０、Ｓ２２４にて、特定光源によるフレアによる影響を除去するようにカメラ映像に対する画質調整の調整量を特定するように構成してもよい。なお、カメラ映像に特定光源によるフレアが発生すると予測されるか否かの判定は、例えば、カメラ映像に特定光源によるフレアが発生する状況であるか否かの判定における車両周辺の明るさおよび特定光源との距離の判定閾値を長くすることで実現することができる。また、Ｓ１０８にて、車両情報を用いてカメラ映像に特定光源によるフレアが発生する状況か否かを判定することなく、車両情報を用いてカメラ映像に特定光源によるフレアが発生するか否かを予測するようにしてもよい。

また、上記実施形態では、テールランプ（ブレーキランプ）が特定光源として検出された場合について説明したが、例えば、テールランプが点灯している状態と、運転者のブレーキ操作に応じて、より明度の高いブレーキランプが点灯した状態を区別して認識し、テールランプの点灯状態の画質調整の調整量と、ブレーキランプの点灯状態の画質調整の調整量を異ならせるようにしてもよい。この場合、明度の高いブレーキランプの点灯状態の画質調整の調整量を、テールランプの点灯状態の画質調整の調整量よりも大きくすればよい。

また、上記実施形態では、テールランプ（ブレーキランプ）が特定光源として検出された場合について説明したが、例えば、特定光源としてウィンカーを認識し、ウィンカーのフレアによる影響を低減するように画質調整を行うようにしてもよい。なお、ウィンカーのように点滅が繰り返される場合には、ウィンカーが点灯している状態と消灯している状態とで、画質調整の調整量を異ならせると、ウィンカーの点滅周期で画質調整量（彩度またはＲＧＢカラーバランス）が変化してしまい、かえって使用者に違和感を与えてしまうことになるため、ウィンカーが点灯した状態でフレアによる影響が低減されるような画質調整量で画質調整を行うのが好ましい。

また、上記実施形態では、ＣＭＯＳイメージセンサを用いてイメージセンサ１２を構成したが、例えば、ＣＣＤイメージセンサ を用いてイメージセンサ１２を構成してもよい。

また、上記実施形態では、赤色系の光を発光する光源を特定光源として検出したが、例えば、黄色から赤色系の光を発光する光源を特定光源として検出するようにしてもよい。

また、上記第１、第２実施形態では、赤色系の光を発光する光源の特徴点を抽出した標準パターンを格納したデータベースを有しており、このデータベースを用いて特定光源のパターン認識を行い、特定光源を検出したが、例えば、色フレアの原因となる光源は、カメラ映像に含まれる一定周波数以下である点に着目し、カメラ映像に含まれる一定周波数以下の黄色から赤色成分の被写体で、かつ、当該被写体の色の濃さが予め定められた閾値以上であることを判定した場合、この被写体を特定光源として検出するようにしてもよい。

また、上記第１実施形態では、特定光源との距離Ｌおよび特定光源の種類によって彩度低減量を異ならせるようにしたが、第２実施形態においても、特定光源との距離Ｌおよび特定光源の種類によってＲＧＢカラーバランスの調整量を異ならせるようにしてもよい。また、特定光源との距離Ｌおよび特定光源の種類だけでなく、車両周辺の明るさの度合い、特定光源の発光色等に応じて色つきのフレアによる影響を低減するための画質調整の調整量（彩度低減量、ＲＧＢカラーバランス調整量）を異ならせるようにしてもよい。

また、自車両の車速に応じて色つきのフレアによる影響を低減するための画質調整（彩度、ＲＧＢカラーバランス）の調整量を変更するように構成してもよい。例えば、自車両の車速が基準値（例えば、時速１０キロメートル）以下の場合には、自車両の車速が基準値よりも速い場合よりも画質調整（彩度、ＲＧＢカラーバランス）の調整量を小さくするようにしてもよい。

また、先行車両から車速情報を取得するようにして、先行車両の車速に応じてフレアによる影響を除去するための画質調整（彩度、ＲＧＢカラーバランス）の調整量を変更するように構成してもよい。

なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、Ｓ１００が明るさ判定手段に相当し、Ｓ１０２が特定光源検出手段に相当し、Ｓ１０６が車両情報取得手段に相当し、Ｓ１０８が状況判定手段に相当し、Ｓ１１２、Ｓ１２０、Ｓ１２４、Ｓ２１２、Ｓ２２０、Ｓ２２４が画質調整手段に相当し、Ｓ１１４、Ｓ１２２、Ｓ１２６、Ｓ２１４、Ｓ２２２、Ｓ２２６が映像信号出力手段に相当し、Ｓ１０４が特定光源種類特定手段に相当する。

１０ 車載カメラ
１１ 光学系部材
１２ イメージセンサ
２０ 映像処理装置
２０ａ 照度センサ
２０ｂ レーザレーダ
３０ 車載映像表示装置

Claims (10)

1. 車両周辺を撮影したカメラ映像を取り込み、当該カメラ映像に映像処理を施した映像信号を出力する映像処理装置であって、
   前記カメラ映像に画像認識処理を施して特定光源を検出する特定光源検出手段と、
   前記特定光源検出手段により特定光源が検出された場合、当該特定光源までの距離を含む車両情報を取得する車両情報取得手段と、
   前記車両情報を用いて前記カメラ映像に前記特定光源によるフレアが発生する状況か否かを判定する状況判定手段と、
   前記状況判定手段により前記カメラ映像に前記特定光源によるフレアが発生する状況であると判定された場合、前記特定光源によるフレアの影響を低減するように前記カメラ映像に対する画質を調整する画質調整手段と、
   前記画質調整手段により画質を調整された映像信号を出力する映像信号出力手段と、を備えたことを特徴とする映像処理装置。
2. 前記車両周辺の明るさが基準値未満か否かを判定する明るさ判定手段を備え、
   前記車両情報取得手段は、前記明るさ判定手段により前記車両周辺の明るさが基準値未満であると判定され、かつ、前記特定光源検出手段により特定光源が検出された場合、前記特定光源との距離を含む車両情報を取得することを特徴とする請求項１に記載の映像処理装置。
3. 前記画質調整手段は、前記特定光源によるフレアによる影響を低減するように前記カメラ映像に対する画質調整の調整量を特定し、
   前記映像信号出力手段は、前記画質調整量特定手段により特定された調整量で前記カメラ映像を画質調整した映像信号を出力することを特徴とする請求項１または２に記載の映像処理装置。
4. 前記特定光源検出手段により前記特定光源が検出された場合、当該特定光源の種類を特定する特定光源種類特定手段を備え、
   前記画質調整量特定手段は、前記特定光源の種類に応じて前記画質調整の調整量を変化させることを特徴とする請求項１ないし３のいずれか１つに記載の映像処理装置。
5. 前記調整量特定手段は、前記特定光源との距離が短くなるほど前記画質調整の調整量を大きくすることを特徴とする請求項１ないし４のいずれか１つに記載の映像処理装置。
6. 前記状況判定手段は、更に、前記車両情報に基づいて前記カメラ映像に前記特定光源によるフレアが発生するか否かを予測し、
   前記画質調整量特定手段は、前記状況判定手段により前記カメラ映像に前記特定光源によるフレアが発生すると予測された場合、前記特定光源によるフレアによる影響を低減するように前記カメラ映像に対する画質調整の調整量を特定することを特徴とする請求項１ないし５のいずれか１つに記載の映像処理装置。
7. 前記画質調整の調整量は、前記カメラ映像に対する彩度の低減量であることを特徴とする請求項１ないし６のいずれか１つに記載の映像処理装置。
8. 前記画質調整の調整量は、前記カメラ映像における三原色信号の混合比の調整量であることを特徴とする請求項１ないし６のいずれか１つに記載の映像処理装置。
9. 前記特定光源検出手段は、黄色から赤色系の光を発光する光源の特徴点を抽出した標準パターンを格納したデータベースを有しており、このデータベースを用いて前記特定光源のパターン認識を行い、前記特定光源を検出することを特徴とする請求項１ないし８のいずれか１つに記載の映像処理装置。
10. 前記特定光源検出手段は、前記カメラ映像に含まれる一定周波数以下の黄色から赤色成分の被写体で、かつ、当該被写体の色の濃さが予め定められた閾値以上であることを判定した場合、前記被写体を前記特定光源として検出することを特徴とする請求項１ないし８のいずれか１つに記載の映像処理装置。

Images