JP2009065360A - 画像処理装置、車載用画像処理装置、車載用画像表示装置及び車両制御装置 - Google Patents

Abstract

【課題】路面反射による画像の見にくさを改善した画像処理装置及びそれを用いた車載用装置を提供する。
【解決手段】少なくとも道路画像を含む移動体の周辺画像を前方カメラ１０及び後方カメラ１２で取得し、取得した画像から画像処理部３０において、路面反射による虚像の発生を検出する。また、画像処理部３０において、路面反射による虚像（グレア）が発生したか否かを判定するとともに、発生したグレアの尤度を算出する。そして、グレアが発生したと判定した場合、算出した尤度に基づいて、画像中の路面反射による虚像を抑制した補正画像を生成する。後方カメラ１２で取得し、生成した画像を表示装置４０に表示する。さらに、前方カメラ１０の画像により得た尤度に基づいて、車両のヘッドライト７０の光量や照射角度の制御を行うとともに、尤度に基づいて路面のμ値を推定し、推定したμ値に基づいてＡＢＳ８０の制御を行う。
【選択図】図１

Description

本発明は、路面反射による画像の見にくさを改善した画像処理装置及びそれを用いた車載用装置に関する。

従来、車載カメラを用いた後側方モニタや車両検出センサがある。このような装置では、安全性を向上させるために、オプティカルフローなどで検出した相対速度を持つ物を強調表示し、運転者がより理解しやすい画像を作り出している。（例えば、特許文献１参照）。

ところが、夜間の雨天時などでは、対向車のヘッドランプや先行車のテールランプ、街灯などが濡れた路面で反射して多くのグレアが発生し、グレアと光源がカメラで取得した画像中に存在するようになるため、実際の車両と路面反射によるその車両の虚像とが判別しにくくなる。

この問題を解決するために、カメラで取得した雨天時の画像から路面反射による車両の虚像を検出する方法がある（例えば、特許文献２参照）
特開平９−４８２８２号公報 特開２００３−２５２１４７号公報

ところが、上記路面反射による車両の虚像を検出する方法は、複数のカメラを用いるステレオカメラによって距離情報を取得し、取得した距離情報に基づいて虚像と実像とを判別することにより虚像を検出している。したがって、複数のカメラが必要であるという問題があった。

本発明は、こうした問題に鑑みなされたもので、路面反射による画像の見にくさを改善した画像処理装置及びそれを用いた車両制御装置を提供することを目的とする。

かかる問題を解決するためになされた請求項１に記載の画像処理装置（５：この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための最良の形態」欄において用いた符号を付すが、この符号によって請求の範囲を限定することを意味するものではない。）は、撮像手段（１０，１２）、虚像検出手段（３０）及び路面反射抑制手段（３０）を備えている。撮像手段（１０，１２）は、少なくとも道路画像を含む移動体の周辺画像を取得するものであり、虚像検出手段（３０）は、撮像手段（１０，１２）で取得した画像から路面反射による虚像の発生を検出するものである。

また、路面反射抑制手段（３０）は、虚像検出手段（３０）で路面反射による虚像が発生したか否かを判定し、虚像が発生した場合、虚像検出手段（３０）の検出結果に基づいて、撮像手段（１０，１２）で取得した画像中の路面反射による虚像を抑制した補正画像を生成する。

このような画像処理装置によれば、撮像手段（１０，１２）で取得した、少なくとも道路画像を含む移動体の周辺画像から路面反射による虚像が検出された場合、その検出結果に応じて画像中の路面反射による虚像を抑制した補正画像を生成する。

つまり、路面反射による虚像が検出された場合、虚像が抑制された画像を得ることができる。得られた画像中では虚像が抑制されているので、路面反射による画像のみにくさがなくなる。つまり、路面反射による画像の見にくさを改善することができる。

ここで、路面反射による虚像の発生を検出する方法としては、請求項２に記載のように、虚像検出手段（３０）は、撮像手段（１０，１２）により取得した画像中の高輝度領域を抽出し、抽出した領域の形状、位置、輝度値、大きさ、移動速度、形状安定度又は路面反射の虚像に対応する実像である光源の有無、のうち少なくとも２つ以上の特徴を組み合わせて、路面反射の虚像の発生を検出するとよい。

ここで、「路面反射の虚像に対応する実像である光源」について簡単に説明する。ある光源が路面反射して、路面上に虚像が発生した場合には、撮像手段（１０，１２）で得られる画面に、虚像とその虚像を発生させた光源の実像とが必ず対になって写ることになる。つまり、路面反射による虚像を発生させた光源を「路面反射の虚像に対応する実像である光源」と称している。

請求項２に記載の画像処理装置によれば、虚像や実像の特徴に応じて路面反射の虚像の発生を検出することができるので、虚像の発生を的確に検出することができる。
例えば、路面反射で発生する虚像は、縦長に延びて見えやすく、また、車走行区分線内などの路面と推定される領域にしか存在しない。一方、光源は、街灯ならば空の領域に存在しやすく、車両のヘッドライトやテールライトならば、低い位置に強い輝度で存在する。

さらに、前述のように虚像は必ず対となる光源（実像）を有する。したがって、これらの情報を２つ以上組み合わせることで、画像中の光点を虚像や光源（実像）に分類することができる。つまり、虚像の発生を的確に検出することができる。

ところで、路面反射による虚像の検出を行う際、虚像の検出のみでなく検出の信頼度が得られると、その信頼度に基づいて画像の補正をすることができる。そこで、請求項３に記載のように、虚像検出手段（３０）は、抽出した高輝度領域ごとに路面反射の虚像検出の信頼度を算出し、路面反射抑制手段（３０）は、虚像検出手段（３０）で算出された虚像検出の信頼度に応じて補正を行うようにするとよい。

このようにすると、例えば、虚像の検出信頼度が高い場合には、輝度を大きく落として補正を行い、虚像の検出信頼度が低い信頼度の場合には輝度をあまり落とさずに補正を行う。これにより、虚像の検出判定が微妙な場合には補正量が微妙に行われるので、判定が安定しない場合の補正による違和感、ちらつき感を軽減できる。

また、虚像検出手段（３０）において、路面反射の虚像に対応する実像である光源の有無を検出するには、請求項４に記載のように、虚像検出手段（３０）は、路面反射の虚像に対応する実像である光源を、前記路面反射の虚像及び路面反射の虚像に対応する実像である光源の形状、位置、輝度値又は大きさのうち少なくとも１つを用いて検出するようにするとよい。

前述のように、光源の実像と路面反射による虚像とは、常に一対をなす。したがって、例えば、実像と虚像の位置が、路面に対して垂直にそろっていること、両者の横幅が同じ程度であること、虚像の輝度が実像に比べて小さいことなどによって、実像である光源を検出するのである。

ここで、「両者の幅が同じ程度である」とは、実像である光源に比べ、路面反射による虚像は、像に、いわゆる「ぼけ」が生じるため、両者の幅が完全に同じとはならない。したがって、その「ぼけ」を考慮し、両者の幅が同じ程度となるという意味である。

ところで、路面に虚像が発生するのは路面が降雨状態である場合で多い。したがって、路面が降雨状態であるときだけ路面反射抑制手段（３０）における処理を行うようにすると処理負荷が軽減される。

そこで、請求項５に記載のように、路面が降雨状態であることを推定するための降雨状態推定手段（２０）を備え、虚像検出手段（３０）は、降雨状態推定手段（２０）により路面が降雨状態であると推定されたときに虚像が発生したか否かの判定及び補正画像の生成を実行するようにすると、路面が降雨状態であるときだけ面反射抑制手段における処理を行うようにすると処理負荷が軽減される。

なお、降雨状態推定手段（２０）としては、雨粒を検出したときに路面が降雨状態であると指定する雨センサ、路面の反射率を反射率計で計測し、反射率が所定の値以上となったときに路面が降雨状態であると推定する方法、路面付近の湿潤度を湿潤計で計測し、湿潤度が所定の値以上となったときに路面が降雨状態であると推定する方法、天気情報などのインフラ情報から路面が降雨状態であることを推定する方法、路面の画像から画像処理により、反射虚像を抽出する方法などである。

また、画像処理装置が車両に搭載される場合には、ワイパースイッチの作動によって路面が降雨状態であることを推定してもよい。
ところで、グレアの影響を抑制する方法の１つとして、撮像手段（１０，１２）の露出を制御する方法がある。つまり、通常、路面反射による輝度の大きなグレアが画面上で大きく広がると、撮像手段（１０，１２）の露出が過小となり、画像処理に適した画像が得られなくなる。そこで、請求項６に記載のように、撮像手段（１０，１２）は、取得する画像の露出を外部からの指令により制御可能に構成され、路面反射抑制手段（３０）は、撮像手段（１０，１２）の露出を制御可能に構成され、撮像手段（１０，１２）で取得した画像内の輝度が所定の値以上の部分を用いずに撮像手段（１０，１２）の露出制御を行って取得した画像に基づいて、路面反射による虚像検出を行うようにするとよい。

このようにすると、輝度の大きなグレアが存在しても、その部分の輝度に影響されずに撮像手段（１０，１２）で画像が取得されるので、撮像手段（１０，１２）の露出が過小になることがなくなる。したがって、適切な露出の画像を取得することができる。

また、適正な露出の画像を得る他の方法としては、請求項７に記載のように、路面反射抑制手段（３０）は、撮像手段（１０，１２）で取得した画像中の所定の値よりも高い輝度値を持つ箇所を所定の値より低い輝度値に補正するようにしてもよい。

このようにすると、画像中に所定の値よりも大きな輝度の部分があっても、その部分の輝度が所定の値よりも小さくなる。つまり、画像中に所定の値よりも大きな輝度の部分がなくなるので、適切な露出の画像を得ることができる。

また、効率よく適切な露出の画像を得るためには、請求項８に記載のように、路面反射抑制手段（３０）は、撮像手段（１０，１２）で取得した画像中から路面反射による虚像が発生している箇所を抽出する路面反射虚像抽出手段（３０）を備え、路面反射虚像抽出手段（３０）により抽出された路面反射による虚像が発生している箇所の画像を、路面反射による虚像が発生していない路面の画像の情報で補正するようにしてもよい。

ここで、「路面反射による虚像が発生していない路面の画像」とは、「路面反射虚像抽出手段（３０）により抽出された路面反射による虚像が発生している箇所の画像」以外の画像を意味する。

また、「路面反射による虚像が発生していない路面の画像の情報で補正する」とは、例えば、虚像（グレア）周辺の路面の輝度値や画像パターンで虚像（グレア）内部を置き換えたり、虚像（グレア）を抽出する際の２値化閾値を用いて、虚像（グレア）内部を塗りつぶしたりする処理をいう。

このようにすると、路面反射による虚像が発生しているときのみ、その虚像が発生している箇所の画像を虚像が発生していない路面の画像に置き換えるので、適切な露出の画像を効率良く得ることができる。

さらに、請求項９に記載のように、路面以外の物体である非路面物を検出する非路面物検出手段（９０）と、非路面物検出手段（９０）で検出された非路面物でなく、路面反射虚像抽出手段（３０）で抽出した路面反射による虚像でもない箇所を路面として抽出する路面抽出手段（３０）と、を備え、路面反射抑制手段（３０）は、路面抽出手段（３０）で抽出した路面の画像情報に基づき、路面反射による虚像が発生している箇所を補正するようにするとよい。

このようにすると、例えば、レーダなどの非路面物検出手段（９０）により路面以外の構造物や車両あるいは歩行者などの非路面物を検出し、検出された非路面物でなく、かつ、虚像でもない箇所を路面として抽出し、抽出した路面の画像情報に基づき、虚像が発生している箇所を補正する。

つまり、非路面物を非路面物検出手段（９０）により検出することができ、路面の抽出が的確に行われるので、抽出された路面の画像情報に基づいて行われる、虚像が発生している箇所の補正が的確に行われる。

また、請求項１０に記載のように、路面抽出手段（３０）を、路面の色、輝度又は模様を抽出可能に構成し、路面反射抑制手段（３０）は、路面抽出手段（３０）で抽出した路面の色、輝度又は模様のうち少なくとも１つに基づいて、虚像が発生している箇所を補正するようにするとよい。例えば、路面の色を平均化し、平均化した色で路面全体を置き換える補正を行うのである。

このようにすると、路面の状態に応じて、路面の色、輝度又は模様を組み合わせて路面を補正することができるので、より適切な露出の画像を得ることができる。
ところで、撮像手段（１０，１２）で画像を得る際に、例えば、車両のヘッドランプのように、撮像対象に照明が照射されている場合がある、そのような場合、その照明の照射特性に応じて補正するとよい。

そこで、請求項１１に記載のように、路面反射抑制手段（３０）は、補正する際に、予め設定された、照明の照射特性に沿った輝度分布を用いて補正すると、予め設定された、照明の照射特性に応じた輝度分布を用いて、撮像手段（１０，１２）で得られた虚像が発生している箇所を補正することができるので、より適切な補正をすることができる。

例えば、車両のヘッドライトで路面を照射する場合には、照射範囲や距離に応じた輝度分布などの照射特性が予め分かっているので、その特性に応じて、例えば、遠方は暗く（輝度が低い）、近傍は明るく（輝度が高い）するなどの補正を行えば、適切な補正をした画像を得ることができるのである。

請求項１２に記載の発明は、請求項１〜請求項１１の何れかに記載の画像処理装置を車載したことを特徴とする車載用画像処理装置である。
請求項１〜請求項１１の何れかに記載の画像処理装置を車載すると、請求項１〜請求項１１の何れかに記載の画像処理装置の特徴を有する車載用画像処理装置とすることができる。

ところで、光源の路面反射により画像中に輝度の高い虚像が発生するので画像処理装置において路面反射による虚像の発生を抑制し、画像を見やすくする必要がある。そこで、路面反射による虚像が発生しにくくなるようにすれば画像が見やすくなり、また、画像処理の処理負荷も小さくなる。

ところで、以上に説明した画像処理装置で得られる画面を車載用画像表示装置（５）として用いると表示される画像が運転者にとって見やすいものとなるので都合がよい。そこで、請求項１３に記載のように、画像を表示するための表示手段（４０）を備え、請求項１２に記載の車載用画像処理装置で得られた画像を前記表示手段（４０）に表示する車載用画像表示装置（５）とするとよい。

このようにすると、路面反射によって虚像が発生しても、表示手段（４０）には、その虚像が抑制された画像が表示されるので、運転者に見やすい画像が表示されることになり、延いては、運転者は車両を安全に運転できるようになる。

また、車載用画像表示装置（５）が、請求項１４に記載のように、表示手段（４０）が後方視認用鏡部分に取り付けられ、撮像手段（１０，１２）が、少なくとも道路画像を含む車両の後方画像を取得するように構成されているとよい。

ここで、「後方視認用鏡」とは、いわゆるドアミラー、サイドミラー及びルームミラーなどのような車両後方を視認するための鏡を意味している。また、「後方視認用鏡部分に取り付けられ」とは、後方視認用鏡の代わりに取り付ける場合、後方視認用鏡の一部に取り付けられる場合、あるいは、後方視認用鏡の鏡としての機能と表示手段（４０）の表示機能とを切り替えることができるように取り付けることを意味している。

このような、車載用画像表示装置（５）によれば、撮像手段（１０，１２）で取得した車両後方の画像を後方視認用鏡に表示することができる。したがって、車両後方に路面反射による虚像が発生した場合でも、後方視認用鏡にはその虚像が抑制された画像が表示されるため、運転者は後方確認がしやすくなるので、運転時の安全性を向上させることができる。

ところで、請求項１５に記載のように、請求項１２に記載の車載用画像処理装置と、車載用画像処理装置の虚像検出手段（３０）における路面反射による虚像発生の検出結果に基づいて路面が湿潤状態であるか否かを検出する路面湿潤検出手段（３０）と、車両のヘッドライトの配光制御を行う配光制御手段（５０）と、路面湿潤検出手段（３０）によって検出された路面の湿潤状態に基づいて、配光制御手段（５０）を介してヘッドライトの配光を制御する車両制御装置（１）とするとよい。

このような車両制御装置（１）によれば、路面反射による虚像が発生したかを、例えば、画像処理で検出すればよいので、車両制御装置（１）を簡易な構成とすることができる。また、路面反射による虚像が発生しやすく、また、発生した虚像の輝度も高い状態である湿潤状態、例えば、雨天時においては、ヘッドライトの配光を雨天用の状態に制御することができる。

つまり、路面湿潤検出手段（３０）で路面が湿潤であるか否かを判定することにより、路面が湿潤状態であれば雨天であり、そうでなければ晴天であると判定する。そして、雨天であれば、例えば対向車の運転者に対して、自車のヘッドライトの路面反射グレアがまぶしくならないよう、至近路面方向への光量を落とすなどの配光制御を行うのである。

このように、ヘッドライトの配光を制御することによって、虚像の発生を抑制したり、虚像が発生した場合でも、虚像の輝度を下げたりすることができる。したがって、その画像を見ることにより、例えば、対向車など自車以外の運転者が安全に運転をすることができるようになる。

また、請求項１６に記載のように、車両の運動制御を行う運動制御手段（６０）を備え、路面湿潤検出手段（３０）によって検出された路面の湿潤状態に基づいて、運動制御手段（６０）を介して車両の運動を制御するようにするとよい。

このようにすると、路面の湿潤状態によって、運転制御を行うこともできる。例えば、路面の湿潤状態に基づいて、路面が湿潤であれば路面のμ値が低いと推定し、路面が湿潤でなければ路面のμ値が高いと推定し、推定したμ値に基づいて、例えばＡＢＳ制御やスタビリティ制御を行うことができる。

ところで、路面の湿潤状態を検出するには種々の方法が考えられるが、請求項１７に記載のように、路面湿潤検出手段（３０）は、路面反射による虚像が発生している場合に路面が湿潤であり、路面反射による虚像が発生していない場合には、前記路面が乾燥していると判定するようにすると、容易に路面の湿潤状態を検出することができる。

ところで、路面反射による虚像が発生している場合であっても、必ずしも路面が湿潤状態でない可能性がある。例えば、路面が乾燥している状態においても対向車のヘッドライトなどの光量が大きく、かつ、光軸が下向きである場合には路面上に虚像が発生する可能性がある。

そこで、請求項１８に記載のように、路面湿潤検出手段（３０）は、虚像検出手段（３０）により得られた光源の実像の輝度と路面反射による虚像の輝度との輝度比をとり、光源に対して路面反射が所定の輝度比以上の明るさを有する場合に路面が湿潤状態であると判定するとよい。

このようにすると、路面が湿潤状態であることをより的確に検出することができる。つまり、路面が湿潤状態である場合と乾燥状態である場合とでは、光源の実像の輝度と路面反射による虚像の輝度との輝度比が異なる（乾燥状態の路面の反射率が低いので輝度比の方が高い）。

したがって、光源の実像の輝度と路面反射による虚像の輝度との輝度比をとり、光源に対して路面反射が所定の輝度比以上の明るさを有する場合に路面が湿潤状態であると判定すると、湿潤状態の輝度比と乾燥状態との輝度比の差違によって、路面が湿潤状態であるか否かをより的確に判定することができるのである。

ところで、撮像装置で取得される画像には光源として、街灯、先行車両のヘッドライトやテールライトなどが存在する。このうちヘッドランプは光軸が下向きであるため、街灯やテールライトに比べ実像と虚像の輝度比が高くなる。また、ヘッドライトは街灯に比べ路面に対し低い位置にある。

そこで、請求項１９に記載のように、光源の位置及び輝度強度によって、光源が前方車両のヘッドライトか否かを判定する光源種別判定手段（３０）を備え、路面湿潤検出手段（３０）は、光源種別判定手段（３０）により光源がヘッドライトと判定された場合は、光源の実像の輝度と路面反射による虚像の輝度との輝度比がヘッドライトとヘッドライト以外の光源を識別するために定められた所定の値より高くなければ湿潤であると判定しないようにするとよい。

このようにすると、光源の位置により街灯であるか車両のライトであるか否かが判定でき、光源の輝度強度によってヘッドライトかテールライトか判定できる。つまり、画像中の光源が前方車両のヘッドライトであるか否かが判定できる。

そして、ヘッドライトであると判定された場合には、前述のように、テールライトに比べてヘッドライトの実像と虚像の輝度比は高いので、光源の実像の輝度と路面反射による虚像の輝度との輝度比がヘッドライトとヘッドライト以外の光源を識別するために定められた所定の値より高くなければ湿潤であると判定しないようにすると、路面が湿潤であるか否かをより的確に判定することができる。

ところで、たとえ光源が路面反射による虚像を発生させたとしても、それによる湿潤かどうかの判定への重みはどの光源でも一律ではなく、光源の位置や輝度強度によって異なるようにできる。

そこで、請求項２０に記載のように路面湿潤検出手段（３０）は、路面が湿潤状態であるか否かを判定する際に、判定基準に光源種別判定手段（３０）でヘッドライトであるか否かを判定した光源の位置及び輝度強度による重みをつけるようにするとよい。

このようにすると、例えば、路面が湿潤状態ならば、対向車のヘッドライトや自車走行路の真上に存在する街灯などによって、虚像が発生するであろうから、重みを大きくし、逆に、街灯が自社走行路の真上に存在しなければ（例えば路側帯などに存在する場合）には、重みを小さくする。

つまり、光源の位置や輝度強度によって、湿潤状態であるか否かの判定基準に重みを付けると、車両の運動制御にとって必要な路面の湿潤状態の判定がより的確に行われる。
ところで、たとえ路面が湿潤状態であっても虚像を持たない光源が検出されることは多いが、路面が乾燥状態で虚像が検出されることはほとんどない、そこで、請求項２１に記載のように、路面湿潤検出手段（３０）は、路面反射による虚像を発生させた光源が存在する場合の判定基準の重みが、路面反射による虚像を発生させない光源が存在する場合の判定基準の重みより大きくするとよい。

このようにすると、路面が湿潤状態である場合の判定基準の重みが大きく、乾燥状態である場合の判定基準の重みが小さくなるので、路面が湿潤状態であるか乾燥状態であるかを簡単かつ的確に判定することができる。

ところで、撮像手段（１０，１２）で取得した画像には、前方車両のランプや街灯など複数の光源が含まれることが多い。したがって、請求項２２に記載のように、路面湿潤検出手段（３０）は、判定に用いられる光源が複数ある場合、複数の光源ごとに湿潤判定を行い、複数の光源のすべてに対する判定結果に基づいて、路面が湿潤状態であるか否かを判定するようにするとよい。

このようにすると、例えば、複数の光源のすべてについての湿潤状態であると判定された場合にのみ路面が湿潤状態であると判定したり、複数の光源のうち半数以上が湿潤状態と判定された場合に路面が湿潤状態であるなどと判定したりし、複数の光源を統合して路面が湿潤状態であるか否かを判定することができる。

また、複数の光源がある場合、請求項２３に記載のように、路面湿潤検出手段（３０）は、複数の光源ごとの湿潤判定結果が尤度で出力されると都合がよい。
つまり、例えば、光源が２つあり片方が虚像を持ちもう片方が虚像を持たない場合、前者による湿潤尤度が８０％（すなわち乾燥の尤度が２０％） 、後者が４８％（乾燥が５２％）とそれぞれ湿潤尤度が出力されると、単純な尤度（確率）の掛け合わせで両光源を統合した湿潤状態の判定結果は、湿潤確率７８．７％と理論に則り算出できる。

このように光源ごとの判定とその統合により、光源が多い場合は判定に使える情報も多いため判定を迅速に行うことができるようになる。また尤度を用いることで、統合処理がシンプルで理論に則ったものとできる。

以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
［第１実施形態］
図１は、車両制御装置１の概略の構成を示すブロック図である。車両制御装置１は図１に示すように、車載用画像表示装置５、配光制御部５０及び運転制御部６０を備えており、図示しない車両に搭載されている。

車載用画像表示装置５は、前方カメラ１０、後方カメラ１２、ワイパースイッチ２０、画像処理部３０、表示装置４０を備えている。
前方カメラ１０は、少なくとも道路画像を含む車両の周辺画像を取得するものであり、車両の前方画像を取得できるように車両に取り付けられている。また、後方カメラ１２は、
ワイパースイッチ２０は、路面が降雨状態であることを推定するためのものであり、運転者により操作されるようにハンドル近傍に取り付けられている。

画像処理部３０は、以下の（ア）〜（ツ）の処理を実行する。
（ア）ワイパースイッチ２０により路面が降雨状態であると推定されたときに虚像が発生したか否かの判定及び補正画像の生成を実行する。

（イ）前方カメラ１０及び後方カメラ１２で取得した画像から路面反射による虚像の発生を検出する。
（ウ）路面反射による虚像が発生したか否かを判定し、虚像が発生した場合、虚像検出手段（３０）の検出結果に基づいて、前方カメラ１０及び後方カメラ１２で取得した画像中の路面反射による虚像を抑制した補正画像を生成する。

（エ）前方カメラ１０及び後方カメラ１２により取得した画像中の高輝度領域を抽出し、抽出した領域の形状、位置、輝度値、大きさ、移動速度、形状安定度又は路面反射の虚像に対応する実像である光源の有無、のうち少なくとも２つ以上の特徴を組み合わせて、路面反射の虚像の発生を検出する
（オ）抽出した高輝度領域ごとに路面反射の虚像検出の信頼度を算出し、算出された虚像検出の信頼度に応じて補正を行う。

（カ）路面反射の虚像に対応する実像である光源を、路面反射の虚像及び路面反射の虚像に対応する実像である光源の形状、位置、輝度値又は大きさのうち少なくとも１つを用いて検出する。

（キ）前方カメラ１０及び後方カメラ１２で取得した画像中の所定の値よりも大きな輝度値を持つ箇所を所定の値より低い輝度値に補正する。
（ク）路面反射による虚像の発生を検出したか否かに基づいて、路面が湿潤状態であるか否かを検出する。

（ケ）検出された路面の湿潤状態に基づいて、運動制御部６０を介して前記車両の運動を制御する。
（コ）路面反射による虚像が発生している場合に路面が湿潤であり、路面反射による虚像が発生していない場合には、路面が乾燥していると判定する。

（サ）光源の実像の輝度と路面反射による虚像の輝度との輝度比が所定の値よりも低い場合に路面が湿潤状態であると判定する。
（シ）光源の位置及び輝度強度によって、光源が前方車両のヘッドライトか否かを判定する。

（ス）光源がヘッドライトと判定された場合は、光源の実像の輝度と路面反射による虚像の輝度との輝度比がヘッドライトとヘッドライト以外の光源を識別するために定められた所定の値より高くなければ湿潤であると判定しない。

（セ）路面が湿潤状態であるか否かを判定する際に判定基準に、ヘッドライトであるか否かを判定した光源の位置及び輝度強度による重みをつける。
（ソ）路面反射による虚像を発生させる光源が存在する場合の判定基準の重みが、路面反射による虚像を発生させない光源が存在する場合の判定基準の重みより大きくする。

（タ）判定に用いられる光源が複数ある場合、複数の光源ごとに湿潤判定が行われ、すべての光源の判定結果に基づいて、路面が湿潤状態であるか否かを判定する。
（チ）複数の光源ごとの湿潤判定結果が尤度で出力する。

（ツ）検出された路面の湿潤状態に基づいて、配光制御部５０を介してヘッドライト７０の配光を制御する。
表示装置４０は、ＬＣＤを備え、車両のバックミラー部分にミラーの代わりに取り付けられている。また、配光制御部５０は、車両のヘッドライト７０の配光制御を行うものであり、ヘッドライト７０の光量や照射角度を制御する。

運動制御部６０は、車両の運動制御を行うものであり、本実施形態では、ＡＢＳ８０を制御して、μ値が小さな路面において車両を短距離で停止させるＡＢＳ制御装置である。
（画像処理の内容）
次に図２に基づき、画像処理部３０において実行される画像処理の内容について説明する。図２は、画像処理の流れを示すフローチャートである。

画像処理では、図２に示すように、Ｓ１００においてワイパースイッチ２０の状態が取得され、続くＳ１０５では、Ｓ１００において取得したワイパースイッチ２０の状態がオンであるか否かが判定される。

そして、ワイパースイッチ２０がオンの場合（Ｓ１０５：Ｙｅｓ）、処理がＳ１１０へ移行され、ワイパースイッチ２０がオフの場合（Ｓ１０５：Ｎｏ）、処理がＳ１００へ戻され、ワイパースイッチ２０の状態の確認が繰り返される。

Ｓ１１０では、前方カメラ１０及び後方カメラ１２から画像が取得され、続くＳ１１５において、公知の処理方法で二値化処理が実行される。
Ｓ１２０では、セグメント処理が実行され、画面中で、位置、大きさ、面積又は輝度が所定の値を有する部分がセグメントとして抽出される。また、抽出したすべてのセグメントにナンバーリングが行われる。

続くＳ１２５では、セグメントの特徴量検出処理が実行され、セグメントの形状、大きさ、位置及び輝度が検出される。この特徴量検出処理の詳細は後述する。
続くＳ１３０では、Ｓ１２５において検出されたセグメントの特徴量からセグメントの分類処理が行われる。この分類処理では、図５に示す特徴量から、そのセグメントがグレアであるか路面上のペイントであるか、あるいは車両のテールライトであるかヘッドライトであるか等に分類される。

Ｓ１３５では、特徴量の検出と分類とがすべてのセグメントに対して行われたか否かが判定される。具体的には、Ｓ１２０においてナンバーリングされたすべてのセグメントについて、Ｓ１２５の特徴量検出処理及びＳ１３０の各種分類処理が実行されたか否かが判定される。

そして、全セグメントについて特徴量検出処理及び各種分類処理が終了している場合（Ｓ１３５：Ｙｅｓ）、処理がＳ１４０へ移行され、処理が終了していない場合（Ｓ１３５：Ｎｏ）、処理がＳ１２５へ移行され、全セグメントに対して特徴量検出処理及び各種分類処理が終了するまで処理が繰り返される。

Ｓ１４０では、統合分類処理が行われ、画面中のグレアが抽出される。つまり、Ｓ１３０の各種分離処理において得られた各セグメントの分類から光源とグレアの候補が選択される。そして、その候補中の光源とグレアの位置、大きさ及び輝度が比較され、光源とその光源によって発生していると思われるグレアのペアが検出される。

ペアの検出では、例えば、光源とグレアの位置が画像の垂直方向に並んでいたり、大きさの差違や、輝度の差が所定の範囲内であったりすることでペアであるか否かが判定される。そして、光源とグレアとのペアができたものは、光源とその光源により発生したグレアであると判定され、ペアができないものは、単独の光源と判定される。

また、この判定が行われる際、光源とグレアのペアの垂直方向のずれの度合い、大きさの差違の度合い及び輝度の差の度合いに基づいて、グレアであることの信頼度が算出される。

例えば、光源とグレアの垂直方向のずれがない場合、ずれの信頼度は１００％、グレアは、通常光源に比べ非常に縦長であるので、グレアの横幅の大きさが同じ場合には、大きさの信頼度は１００％、グレアの輝度が光源の輝度の８０％である場合、輝度の信頼度は８０％であり、総合的な信頼度は、１００％×１００％×８０％で８０％であるとされる。

続くＳ１４５では、Ｓ１４０において光源とそのグレアのペアが得られたものについて、グレアの部分を補正したノングレア画像が作成され、作成された画像のうち後方画像の分が表示装置４０に表示される。グレア部分の補正は、画面全体の輝度にＳ１４０において算出された信頼度を積算して算出された輝度でグレア部分の輝度を置き換えることで実行される。

このようにして得られたノングレア画像の例を図３に示す。図３（ａ）が前方カメラ１０で取得された画像であり、図３（ｂ）が対向車及びそのヘッドライトのグレアの部分の拡大画像であり、図３（ｃ）が図３（ｂ）の画像のグレア部分を補正した画像である。

続くＳ１５０において、湿潤判定処理が行われ、続くＳ１５５では、Ｓ１５０における湿潤判定処理の結果に基づいて、路面は湿潤状態であるか否かが判定される。そして、路面が湿潤状態である場合（Ｓ１５５：Ｙｅｓ）、処理がＳ１６０へ移行され、湿潤状態でない場合（Ｓ１５５：Ｎｏ）、処理がＳ１００へ戻され、画像処理が繰り返される。なお、湿潤判定処理については後述する。

続くＳ１６０では、Ｓ１５０における湿潤判定処理で得られた尤度に応じて、ヘッドライトの光量及び照射角度が制御される。つまり、尤度が高い場合は、光量を通常の光量よりも大きく減じ、照射角度を通常より下げ、尤度が低い場合には、光量を通常より少し減じ、照射角度を通常と同じ角度にするのである。

続くＳ１６５では、Ｓ１５０における湿潤判定で得られた尤度に基づいて、車両の運動制御が制御される。つまり、尤度が高い場合には路面のμ値が低いと推定され、尤度が低ければ、μ値が高いと推定されて、推定されたμ値に基づいてＡＢＳ８０が制御される。

そして、車両の運動制御がなされた後、処理がＳ１００へ移行され、画像処理が繰り返される。
（特徴量検出処理）
次に、図４及び図５に基づき特徴量検出処理について説明する。図４は、特徴量検出処理の流れを示すフローチャートであり、図５は、検出する特徴量と検出内容を示す図である。

特徴量検出処理は、図３に示すように、Ｓ２００において、セグメントの形状判定が行われる。つまり、図５に示すように、セグメントの縦横比率などによって光源であるかグレアであるかが判定される。

続くＳ２０５では、セグメントの大きさによりセグメントの除去が行われる。つめり、所定のピクセルより大きいセグメントや所定のピクセル小さいセグメントが除去される。
続く２１０では、セグメントの位置が判定される。つまり、図５に示すように、セグメントがＦＯＥ上にあるか否かによってグレアであるかヘッドであるかなどが判定される。

続くＳ２１５では、マッチングが判定される。つまり、図５に示すように、セグメントの横位置、幅、あるいは輝度強度によってセグメントが光源であるかグレアであるかが判定される。

続くＳ２２０では、動画像判定が行われる。つまり、図５に示すように、セグメントが停止／移動、セグメントの移動速度、セグメントの形状安定度によってセグメントが路面ペイント、ポール、光源あるいはグレアであるかが判定される。そして、Ｓ２２０が実行された後、処理がメインルーチンに戻される。

（湿潤判定処理）
次に、図６に基づき湿潤判定処理について説明する。図６は、湿潤判定処理の流れを示すフローチャートである。

湿潤判定処理では、Ｓ３００において、Ｓ１３０（図２参照）で得られた光源に対し、虚像があるか否かが判定される。そして、虚像がある場合（Ｓ３００：Ｙｅｓ）、処理がＳ３０５へ移行され、虚像がない場合（Ｓ３００：Ｎｏ）、処理がＳ３２５へ移行され、他の光源について湿潤判定処理が繰り返される。

続くＳ３０５では、Ｓ１３０（図２参照）の分類結果に基づいて、光源がヘッドライトであるか否かが判定される。そして、光源がヘッドライトである場合（Ｓ３０５：Ｙｅｓ）、処理がＳ３１０へ移行され、ヘッドライトでない場合（Ｓ３０５：Ｎｏ）、処理がＳ３２５へ移行され、他の光源について湿潤判定処理が繰り返される。

続くＳ３１０では、虚像と実像（ヘッドライト）の輝度比がヘッドライトとヘッドライト以外の光源を識別するために定められた所定の値以下であるか否かが判定される。そして、輝度比が所定の値以下である場合（Ｓ３１０：Ｙｅｓ）、処理がＳ３１５へ移行され、輝度比が所定の値より大きい場合（Ｓ３１０：Ｎｏ）、処理がＳ３２５へ移行され、他の光源について湿潤判定が繰り返される。

続くＳ３１５では、尤度が算出される。つまり、光源ごとに、光源であることの確からしさが算出される。
続くＳ３２０では、すべての光源について判定が行われたか否かが判定され、すべての光源について判定が終わっている場合（Ｓ３２０：Ｙｅｓ）、処理がメインルーチンに戻され、判定が終わっていない場合（Ｓ３２０：Ｎｏ）、処理がＳ３２５へ移行され、すべての光源について判定が終わるまで、他の光源について湿潤判定処置が繰り返される。

（車両制御装置１の特徴）
以上のような車両制御装置１では、前方カメラ１０及び後方カメラ１２で取得した、少なくとも道路画像を含む移動体の周辺画像から路面反射による虚像（グレア）が検出された場合、その検出結果に基づいて画像中のグレアを抑制した補正画像が生成される。

つまり、路面反射による虚像が検出された場合、虚像が抑制された画像を得ることができる。画像中で虚像が抑制されているので、路面反射による画像のみにくさがなくなる。つまり、路面反射による画像の見にくさを改善することができる。

また、カメラ画像中の高輝度領域を抽出し、抽出した領域の形状、位置、輝度値、大きさ、移動速度、形状安定度又は路面反射の虚像に対応する実像である光源の有無、のうち少なくとも２つ以上の特徴を組み合わせて、路面反射の虚像の発生を検出している。

したがって、グレアや実像の特徴に応じて路面反射の虚像の発生を検出することができるので、虚像の発生を的確に検出することができる。
さらに、虚像は必ず対となる光源（実像）を有する。したがって、これらの情報を２つ以上組み合わせることで、画像中の光点を虚像や光源（実像）に分類させることができる。つまり、虚像の発生を的確に検出することができる。

また、抽出した高輝度領域ごとに路面反射の虚像検出の信頼度を算出し、算出された虚像検出の信頼度に応じて補正を行っているので、グレアの検出判定が微妙な場合には補正量が微妙に行われるので、判定が安定しない場合の補正による違和感、ちらつき感を軽減できる。

また、光源の実像とグレアとは、常に一対をなす。したがって、グレアに対応する実像である光源を、グレアと光源の形状、位置、輝度値又は大きさのうち少なくとも１つを用いて検出しているので、実像である光源を的確に検出できる。

また、ワイパースイッチ２０により路面が降雨状態であると推定されたときに虚像が発生したか否かの判定及び補正画像の生成を実行するようにしている。つまり、路面が降雨状態であるときだけ補正処理を行うようにしているので、処理負荷が軽減される。

また、カメラ画像中の所定の値よりも高い輝度値を持つ箇所を所定の値より低い輝度値に補正しているので、画像中に所定の値よりも大きな輝度の部分があっても、その部分の輝度が所定の値よりも小さくなる。つまり、画像中に所定の値よりも大きな輝度の部分がなくなるので、適切な露出の画像を得ることができる。

また、グレアの発生を検出したか否かに基づいて、路面が湿潤状態であるか否かを検出し、検出された路面の湿潤状態に基づいて、ヘッドライトの配光を制御している。この際、グレアが発生したか否かを、画像処理で検出しているので、車両制御装置１を簡易な構成とすることができる。

また、グレアが発生しやすく、また、発生したグレアの輝度も高い湿潤状態である雨天時においては、ヘッドライトの配光を雨天用の状態に制御している。つまり、路面が湿潤状態であれば雨天であり、そうでなければ晴天であると判定する。そして、雨天であれば、例えば対向車の運転者に対して、自車のヘッドライトの路面反射グレアがまぶしくならないよう、至近路面方向への光量を落としたりしている。

このように、ヘッドライトの配光を制御することによって、虚像の発生を抑制したり、虚像が発生した場合でも、虚像の輝度を下げたりすることができる。したがって、対向車の運転者など、自車以外の運転者が安全に運転をすることができるようになる。

また、路面の湿潤状態に基づいて、運動制御部６０を介して車両の運動を制御するようにしているので、路面の湿潤状態によって、路面が湿潤であれば路面のμ値が低いと推定し、路面が湿潤でなければ路面のμ値が高いと推定し、推定したμ値に基づいて、例えばＡＢＳ制御やスタビリティ制御を行うことができる。

また、グレアが発生している場合に路面が湿潤であり、グレアが発生していない場合には、路面が乾燥していると判定しているので、容易に路面の湿潤状態を検出することができる。

また、光源の実像の輝度とグレアの輝度との輝度比が所定の値よりも低い場合に路面が湿潤状態であると判定しているので、路面が湿潤状態であることをより的確に検出することができる。

つまり、路面が湿潤状態である場合と乾燥状態である場合とでは、光源の実像の輝度と路面反射による虚像の輝度との輝度比が異なる（乾燥状態の路面の反射率が低いので輝度比の方が高い）。したがって、光源の実像の輝度と路面反射による虚像の輝度との輝度比を予め路面が湿潤状態になった場合の輝度比としておけば、湿潤状態の輝度比と乾燥状態との輝度比の差違によって、路面が湿潤状態であるか否かをより的確に判定することができるのである。

また、光源の位置及び輝度強度によって、光源が前方車両のヘッドライトか否かを判定し、光源がヘッドライトと判定された場合は、光源の実像の輝度とグレアの輝度との輝度比が所定の値より高くなければ湿潤であると判定しないようにしている。したがって、光源の位置により街灯であるか車両のライトであるか否かが判定でき、光源の輝度強度によってヘッドライトかテールライトか判定できる。つまり、画像中の光源が前方車両のヘッドライトであるか否かが判定できる。

そして、ヘッドライトであると判定された場合には、前述のように、テールライトに比べてヘッドライトの実像と虚像の輝度比は高いので、光源の実像の輝度と路面反射による虚像の輝度との輝度比がヘッドライトとヘッドライト以外の光源を識別するために定められた所定の値より高くなければ湿潤であると判定されないようになっているので、路面が湿潤であるか否かをより的確に判定することができる。

また、路面が湿潤状態であるときに、光源の位置や輝度強度によって、湿潤状態であるか否かの判定基準に重みを付けているので、車両の運動制御にとって必要な路面の湿潤状態の判定がより的確になる。

また、グレアを発生させた光源が存在する場合の判定基準の重みが、グレアを発生させない光源が存在する場合の判定基準の重みより大きくしていので、路面が湿潤状態であるか乾燥状態であるかを簡単かつ的確に判定することができる。

また、路面が湿潤状態であるか否かの判定に用いられる光源が複数ある場合、複数の光源ごとに湿潤判定を行っているので、すべての光源の判定結果に基づいて、路面が湿潤状態であるか否かが判定されるようになっている。したがって、複数の光源を統合して路面が湿潤状態であるか否かを判定することができる。

また、複数の光源がある場合、複数の光源ごとの湿潤判定結果が尤度で出力されるので、光源ごとの判定とその統合により、光源が多い場合は判定に使える情報も多いため判定を迅速に行うことができるようになる。また尤度を用いることで、統合処理がシンプルで理論に則ったものとできる。

また、路面反射によって虚像が発生しても、バックミラーの代わりに取り付けられた表示装置４０には、その虚像が抑制された車両後方の画像が表示されるので、運転者は後方確認がしやすくなる。したがって、運転時の安全性を向上させることができる。
［第２実施形態］
第１実施形態では、画面全体の輝度にＳ１４０において算出された信頼度を積算して算出された輝度でグレア部分の輝度を置き換えることによって、ノングレア画像を作成していたが、第２実施形態の車両制御装置では、前方カメラ１０及び後方カメラ１２の露出を制御して、適切な露出のカメラ画像を得るようにしてもよい。

なお、第２実施形態の車両制御装置の構成は、前方カメラ１０及び後方カメラ１２を除いて第１実施形態の車両制御装置１と同じであるので、同じ部分の説明は省略し、異なる部分のみを説明する。

第２実施形態における前方カメラ１０及び後方カメラ１２は、外部からの指令によって露出が制御できるように構成されている。
そして、画像処理部３０において実行される画像処理（図２参照）において、第１実施形態では、カメラ画像を取得し（図２のＳ１００）、取得した画像に二値化処理（図２のＳ１１５）を行っていたが、Ｓ１１０とＳ１２０の間に以下の（ａ）、（ｂ）に示す処理を付加する。

（ａ）Ｓ１１２として、Ｓ１１０において取得したカメラ画像のうち所定の輝度値以上の部分を削除し、所定の輝度値以上の部分を削除した画像から前方カメラ１０及び後方カメラ１２の露出を算出する。

（ｂ）Ｓ１１４として、Ｓ１１２において算出した露出で前方カメラ１０及び後方カメラ１２の露出を制御し、改めてカメラ画像を取得する。
以上のような第２実施形態の車両制御装置では、適切な露出の画像を取得することができる。つまり、通常、路面反射による輝度の大きなグレアが画面上で大きく広がると、前方カメラ１０及び後方カメラ１２の露出が過小となり、画像処理に適した画像が得られなくなる。

ところが、第２実施形態の処理によれば、輝度の大きなグレアが存在しても、その部分の輝度に影響されずに前方カメラ１０及び後方カメラ１２で画像が取得されるので、前方カメラ１０及び後方カメラ１２の露出が過小になることがなくなる。したがって、適切な露出の画像を取得することができる。

［第３実施形態］
次に、ミリ波レーダ９０を備えた車両制御装置２について図７に基づいて説明する。図７は、車両制御装置２の概略の構成を示すブロック図である。車両制御装置２は図７に示すように、第１実施形態の車両制御装置１にミリ波レーダ９０を備えている。

なお、ミリ波レーダ９０を備えている以外は、第１実施形態の車両制御装置１と同じ構成であるので、ミリ波レーダ９０以外の構成品の説明は省略する。
ミリ波レーダ９０は、路面以外の物体である非路面物を検出するためのものであり、図示しないアンテナ、発振器、増幅器及び変復調器などから構成され、ミリ波を送信し、非路面物からの反射波を受信して、非路面物の距離と方位（つまり、非路面物の位置）を検出する。

そして、画像処理部３０において実行される、画像処理（図２参照）に以下の（ｃ）〜（ｅ）に示す処理を付加する。
（ｃ）Ｓ１１２において、ミリ波レーダ９０から非路面物の位置を取得する。

（ｄ）Ｓ１４２において、Ｓ１１２において取得した非路面物の位置から画像中の非路面物を特定し、Ｓ１４０において分類したセグメントから虚像を抽出して、両者から非路面物でもなく、かつ、虚像でもない箇所を路面として抽出する。

（ｅ）Ｓ１４５において、Ｓ１４２において抽出した路面の情報で虚像が発生している箇所を置き換えて画面の補正を行い、ノングレア画像を作成する。
以上のように、第３実施形態の車両制御装置２では、ミリ波レーダ９０により路面以外の構造物や車両あるいは歩行者などの非路面物を検出し、検出された非路面物でなく、かつ、虚像でもない箇所を路面として抽出し、抽出した路面の画像情報に基づき、虚像が発生している箇所を補正している。したがって、路面の抽出が的確に行われるので、抽出された路面の画像情報に基づいて行われる、虚像が発生している箇所の補正が的確に行われる。

［その他の実施形態］
（１）上記実施形態では、Ｓ１４５におけるノングレア画像作成において、Ｓ１４０において光源とそのグレアのペアが得られたものについて、グレアの部分の輝度を画面全体の輝度にＳ１４０において算出された信頼度を積算して算出された輝度で置き換える代わりに、グレア部分を、Ｓ１４０において得られる虚像が発生していない路面の情報によって置き換えることによって補正してもよい。

このようにすると、上記実施形態の処理に比べ処理負荷が軽いため、さらに効率よく適切な露出の画像を得ることができる。
（２）また、Ｓ１２５における特徴量検出処理において、カメラ画像から路面の色、輝度又は模様を抽出し、Ｓ１４５では、Ｓ１２５において抽出した路面の色、輝度又は模様のうち少なくとも１つに基づいて、虚像が発生している箇所を補正するようにする。補正の際には、路面の色を平均化し、平均化した色で路面全体を置き換える補正を行ってもよい。

このようにすると、路面の状態に応じて、路面の色、輝度又は模様を組み合わせて路面を補正することができるので、より適切な露出の画像を得ることができる。
（３）また、Ｓ１４５においてノングレア画像を作成する際、予め設定された、照明の照射特性に沿った輝度分布を用いて補正してもよい。このようにすると、予め設定された、照明の照射特性に応じた輝度分布を用いて、カメラ画像において虚像が発生している箇所を補正することができるので、より適切な補正をすることができる。

例えば、車両のヘッドライトで路面を照射する場合には、照射範囲や距離に応じた輝度分布などの照射特性が予め分かっているので、その特性に応じて、例えば、遠方は暗く（輝度が低い）、近傍は明るく（輝度が高い）するなどの補正を行えば、適切な補正をした画像を得ることができるのである。

（４）上記実施形態では、表示装置４０をバックミラーの代わりに取り付け、後方カメラ１２で取得した車両後方画像を補正した後、表示装置４０に表示させていたが、表示装置４０をカーナビゲーション装置の表示装置と共有するようにし、前方カメラ１０で取得した車両前方画像を補正した後、その画像を表示装置４０に表示させるようにしてもよい。

このようにすると、雨天など前方がみにくい場合であっても、運転者は表示装置４０に表示される補正後の車両前方画像を見ながら運転することができるので、安全に運転することができる。

車両制御装置１の概略の構成を示すブロック図である。 画像処理の流れを示すフローチャートである。 ノングレア画像の例を示す図である。 特徴量検出処理の流れを示すフローチャートである。 検出する特徴量と検出内容を示す図である。 湿潤判定処理の流れを示すフローチャートである。 車両制御装置２の概略の構成を示すブロック図である。

符号の説明

１，２…車両制御装置、５…車載用画像表示装置、１０…前方カメラ、１２…後方カメラ、２０…ワイパースイッチ、３０…画像処理部、４０…表示装置、５０…配光制御部、６０…運動制御部、７０…ヘッドライト、９０…ミリ波レーダ。

Claims (23)

1. 少なくとも道路画像を含む移動体の周辺画像を取得する撮像手段と、
   前記撮像手段で取得した画像から路面反射による虚像の発生を検出する虚像検出手段と、
   前記虚像検出手段で前記路面反射による虚像が発生したか否かを判定し、前記虚像が発生した場合、前記虚像検出手段の検出結果に基づいて、前記撮像手段で取得した画像中の路面反射による虚像を抑制した補正画像を生成する路面反射抑制手段と、
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記虚像検出手段は、
   前記撮像手段により取得した画像中の高輝度領域を抽出し、抽出した領域の形状、位置、輝度値、大きさ、移動速度、形状安定度又は前記路面反射の虚像に対応する実像である光源の有無、のうち少なくとも２つ以上の特徴を組み合わせて、前記路面反射の虚像の発生を検出することを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記虚像検出手段は、
   前記抽出した高輝度領域ごとに路面反射の虚像検出の信頼度を算出し、
   前記路面反射抑制手段は、
   前記虚像検出手段で算出された前記虚像検出の信頼度に応じて補正を行うことを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記虚像検出手段は、
   前記路面反射の虚像に対応する実像である光源を、前記路面反射の虚像及び前記路面反射の虚像に対応する実像である光源の形状、位置、輝度値又は大きさのうち少なくとも１つを用いて検出することを特徴とする画像処理装置。
5. 請求項１〜請求項４の何れかに記載の画像処理装置において、
   前記路面が降雨状態であることを推定するための降雨状態推定手段を備え、
   前記虚像検出手段は、
   前記降雨状態推定手段により前記路面が降雨状態であると推定されたときに前記虚像が発生したか否かの判定及び補正画像の生成を実行することを特徴とする画像処理装置。
6. 請求項１〜請求項５の何れかに記載の画像処理装置において、
   前記撮像手段は、取得する画像の露出を外部からの指令により制御可能に構成され、
   前記路面反射抑制手段は、
   前記撮像手段の露出を制御可能に構成され、
   前記撮像手段で取得した画像内の輝度が所定の値以上の部分を用いずに前記撮像手段の露出制御を行って取得した画像に基づいて、前記路面反射による虚像検出を行うことを特徴とする画像処理装置。
7. 請求項１〜請求項５の何れかに記載の画像処理装置において、
   前記路面反射抑制手段は、
   前記撮像手段で取得した画像中の所定の値よりも大きな輝度値を持つ箇所を所定の値より低い輝度値に補正することを特徴とする画像処理装置。
8. 請求項１〜請求項５の何れかに記載の画像処理装置において、
   前記路面反射抑制手段は、
   前記撮像手段で取得した画像中から路面反射による虚像が発生している箇所を抽出する路面反射虚像抽出手段を備え、
   前記路面反射虚像抽出手段により抽出された路面反射による虚像が発生している箇所の画像を、路面反射による虚像が発生していない路面の画像の情報で補正することを特徴とする画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記路面以外の物体である非路面物を検出する非路面物検出手段と、
   前記非路面物検出手段で検出された前記非路面物でなく、前記路面反射虚像抽出手段で抽出した路面反射による虚像でもない箇所を路面として抽出する路面抽出手段と、
   を備え、
   前記路面反射抑制手段は、
   前記路面抽出手段で抽出した前記路面の画像情報に基づき、前記路面反射による虚像が発生している箇所を補正することを特徴とする画像処理装置。
10. 請求項９に記載の画像処理装置において、
    前記路面抽出手段は、前記路面の色、輝度又は模様を抽出可能に構成され、
    前記路面反射抑制手段は、
    前記路面抽出手段で抽出した路面の色、輝度又は模様のうち少なくとも１つに基づいて、虚像が発生している箇所を補正することを特徴とする画像処理装置
11. 請求項１〜請求項１０の何れかに記載の画像処理装置において、
    前記路面反射抑制手段は、
    前記補正の際に、予め設定された、照明の照射特性に応じた輝度分布を用いて補正することを特徴とする画像処理装置。
12. 請求項１〜請求項１１の何れかに記載の画像処理装置を車載したことを特徴とする車載用画像処理装置。
13. 画像を表示するための表示手段を備え、
    請求項１２に記載の車載用画像処理装置で得られた画像を前記表示手段に表示することを特徴とする車載用画像表示装置。
14. 請求項１３に記載の車載用画像表示装置において、
    前記表示手段は、後方視認用鏡部分に取り付けられ、
    前記撮像手段は、少なくとも道路画像を含む車両の後方画像を取得するように構成されていることを特徴とする車載用画像表示装置。
15. 請求項１２に記載の車載用画像処理装置と、
    前記車載用画像処理装置の前記虚像検出手段における路面反射による虚像発生の検出結果に基づいて、路面が湿潤状態であるか否かを検出する路面湿潤検出手段と、
    車両のヘッドライトの配光制御を行う配光制御手段と、
    前記路面湿潤検出手段によって検出された路面の湿潤状態に基づいて、前記配光制御手段を介して前記ヘッドライトの配光を制御することを特徴とする車両制御装置。
16. 請求項１５に記載の車両制御装置において、
    前記車両の運動制御を行う運動制御手段を備え、
    前記路面湿潤検出手段によって検出された路面の湿潤状態に基づいて、前記運動制御手段を介して前記車両の運動を制御することを特徴とする車両制御装置。
17. 請求項１５又は請求項１６に記載の車両制御装置において、
    前記路面湿潤検出手段は、
    前記路面反射による虚像が発生している場合に前記路面が湿潤であり、前記路面反射による虚像が発生していない場合には、前記路面が乾燥していると判定することを特徴とする車両制御装置。
18. 請求項１７に記載の車両制御装置において、
    前記路面湿潤検出手段は、
    前記虚像検出手段により得られた前記光源の実像の輝度と路面反射による虚像の輝度との輝度比をとり、光源に対して路面反射が所定の輝度比以上の明るさを有する場合に前記路面が湿潤状態であると判定することを特徴とする車両制御装置。
19. 請求項１７に記載の車両制御装置において、
    前記光源の位置及び輝度強度によって、前記光源が前方車両のヘッドライトか否かを判定する光源種別判定手段を備え、
    前記路面湿潤検出手段は、
    前記光源種別判定手段により前記光源がヘッドライトと判定された場合は、
    前記光源の実像の輝度と路面反射による虚像の輝度との輝度比がヘッドライトとヘッドライト以外の光源を識別するために定められた所定の値より高くなければ湿潤であると判定しないことを特徴とする車両制御装置。
20. 請求項１９に記載の車両制御装置において、
    前記路面湿潤検出手段は、
    前記路面が湿潤状態であるか否かを判定する際に、判定基準に前記光源種別判定手段でヘッドライトであるか否かを判定した光源の位置及び輝度強度による重みをつけることを特徴とする車両制御装置。
21. 請求項２０に記載の車両制御装置において、
    前記路面湿潤検出手段は、
    前記路面反射による虚像を発生させる光源が存在する場合の判定基準の重みが、前記路面反射による虚像を発生させない光源が存在する場合の判定基準の重みより大きいことを特徴とする車両制御装置。
22. 請求項１９〜請求項２１の何れかに記載の車両制御装置において、
    前記路面湿潤検出手段は、
    前記判定に用いられる光源が複数ある場合、前記複数の光源ごとに湿潤判定を行い、前記複数の光源のすべてに対する判定結果に基づいて、前記路面が湿潤状態であるか否かを判定することを特徴とする車両制御装置。
23. 請求項２２に記載の車両制御装置において、
    前記路面湿潤検出手段は、
    前記複数の光源ごとの湿潤判定結果が尤度で出力されることを特徴とする車両制御装置。