JP2009171122A - 光源色温度推定方法、ホワイトバランス調整装置、及び画像認識装置 - Google Patents

Abstract

【課題】 車両に搭載された撮像手段にて撮像された撮像画像に基づき、車外における支配的な光源（主光源）の色温度を高精度に推定する。
【解決手段】 特殊タイプの広角レンズを用いたカメラにて、車室内のダッシュボード８上に設置された無彩色板状形状のターゲット９及び車外上空を含む、広範囲の車両前方風景を撮像する。そして、その撮像画像からターゲット９の撮像領域を切り出してその色温度（ターゲット色温度）を推定する。更に、撮像画像中の上空光源検知領域３１からこの領域内に存在する光源を検出し、検出した光源毎に色温度（光源色温度）を推定する。そして、推定した光源色温度のいずれかが所定の色温度判定範囲（ターゲット色温度を含む所定の範囲）内にあれば、その色温度に対応した光源を主光源としてその色温度を最終的な色温度推定結果とする。
【選択図】図４

Description

本発明は、撮像画像に基づいて車外の光源の色温度を推定する方法、その方法を用いて撮像画像のホワイトバランスを調整するホワイトバランス調整装置、及びそのホワイトバランス調整装置を備えた画像認識装置に関する。

従来より、カメラで撮像した画像に対してそのホワイトバランスを調整する方法が種々知られている。例えば特許文献１に記載の方法では、Ｃｒ／Ｙ−Ｃｂ／Ｙ座標上を８×６のブロックに分けるとともに、当該座標上に高色温度領域、中色温度領域、低色温度領域を設け、撮影画像に含まれる評価対象データが７０％以上含まれる温度領域を識別する。そして、識別された温度領域に属する評価対象データに基づいて、撮影画像のオートホワイトバランス調整を行う。

また、特許文献２に記載の方法では、自車から撮像対象物を照らす光源（ヘッドライト、方向指示ランプ、フォグランプ等）の種類毎に補正データが用意しておく。そして、いずれかの光源が点灯されたとき、その光源に対応した補正データを用いて、撮像画像のホワイトバランス調整を行う。
特開２００４−１９３７１２号公報 特開２００５−１５９９１８号公報

しかしながら、特許文献１，２に記載された方法はいずれも、人間が撮像対象物を直接目視した場合に認識される表示色が正確に再現されるようにホワイトバランス調整を行うのみであり、得られた撮像画像に基づいて画像認識を行うことまでは考慮されていない。

即ち、例えば車両に搭載されたカメラにて自車前方を撮像し、その撮像画像の中から特定の認識対象物（例えば道路標識）を画像認識によって認識する場合、上述した従来の方法にてホワイトバランス調整を行っても、認識対象物を認識できないおそれがある。

その一例として、夕日などの太陽光の影響により認識対象物の色が周囲の他の建造物等とほぼ同一の色で表示された撮像画像が得られる場合がある。即ち、例えば赤い道路標識を含む撮像対象全体が夕日の影響を受けて全体的に黄色味がかった色となっている場合、上述した従来のホワイトバランス調整方法では、道路標識の赤色がうまく再現されず、道路標識が黄色い物体として認識されてしまうおそれがある。

このような問題が生じるのは、従来の方法では撮像対象を照射している光源（複数ある場合は支配的な光源）の色温度を精度良く推定することが困難であることに起因している。光源の色温度の推定精度が低ければ、その推定結果を用いたホワイトバランス調整の精度もおのずと低いものとなり、更にそのホワイトバランス調整後の画像に基づく画像認識の認識精度も低くなる。

本発明は上記課題に鑑みなされたものであり、車両に搭載された撮像手段にて撮像された撮像画像に基づき、車外における支配的な光源の色温度を高精度に推定することを目的とする。

上記課題を解決するためになされた請求項１記載の発明は、車両に搭載された撮像手段により撮像された撮像画像に基づいて車外の光源の色温度を推定する方法であって、車両における所定の位置に無彩色部材を設け、撮像手段により、無彩色部材及び上空を含むように車両の周辺の画像を撮像する。そして、撮像した撮像画像中の無彩色部材の画像領域についてその画像領域の色温度を推定する。また、撮像した撮像画像中の上空の画像領域に基づいて、その画像領域に存在する一又は複数の光源の色温度を推定する。そして、各推定結果に基づき、上空の画像領域に存在する光源の色温度のうち、無彩色部材の画像領域の色温度を含む所定の色温度判定範囲内にあるものを、最終的な色温度の推定結果とする。

上記のように、請求項１記載の方法では、車外光源の色温度を推定するにあたり、撮像画像中の無彩色部材についてその色温度の推定を行う。このとき仮に、無彩色部材に対して色温度の異なる複数種類の光が照射されていたとすると、無彩色部材から撮像手段へ入光する反射光はその複数種類の光が混合したものとなる。そのため、撮像画像中の無彩色部材の画像領域に基づいて色温度を推定するだけでは、真に推定すべき光源の色温度を正確に推定することはできない。なお、ここでいう真に推定すべき光源とは、光源が一つのみの場合はその一つの光源であり、光源が複数存在する場合はそのうち支配的な光源（換言すれば、その光源の色温度を用いればホワイトバランス調整を高精度に行うことができる光源）であり、以下これらを「主光源」と称す。

そこで本発明では、撮像画像中の上空の画像領域に存在する光源についてその色温度を推定する。そして、その推定した色温度（一又は複数）が、無彩色部材の推定色温度を含む所定の色温度判定範囲内にあれば、その色温度を、主光源の色温度の最終的な推定結果とする。つまり、無彩色部材の推定色温度をそのまま最終的な推定結果とするのではなく、上空の画像領域から光源を検出して、そのうち色温度が上記色温度判定範囲内にある光源（無彩色部材の推定色温度と一致するか或いはその近傍の光源）を、主光源としてその色温度を最終的な推定結果とするのである。

従って、請求項１記載の発明によれば、上空の画像を直接撮像することによりその上空の画像領域中に存在する光源の色温度を推定し、そのうち色温度判定範囲内にあるものを最終的な色温度推定結果としているため、車外における支配的な光源（主光源）の色温度を高精度に推定することができる。

次に、請求項２記載の発明は、撮像画像に対してそのホワイトバランスを調整するホワイトバランス調整装置であり、車両における所定の位置に設けられた無彩色部材と、該車両に搭載され、画角内に無彩色部材及び上空が含まれるように車両周辺の画像を撮像する撮像手段と、撮像手段により撮像された撮像画像における無彩色部材の画像領域について該画像領域の色温度を推定する第１の色温度推定手段と、撮像手段により撮像された撮像画像における上空の画像領域中に存在する一又は複数の光源を検出する光源検出手段と、光源検出手段により検出された光源の色温度を推定する第２の色温度推定手段と、この第２の色温度推定手段により推定された光源の色温度のうち、第１の色温度推定手段により推定された無彩色部材の色温度を含む所定の色温度判定範囲内にあるものを、最終的な色温度の推定結果と判定する色温度判定手段と、この色温度判定手段により判定された色温度に基づいて、撮像手段により撮像された撮像画像のホワイトバランスを調整する調整手段とを備えたことを特徴とする。

即ち、請求項２記載のホワイトバランス調整装置は、撮像手段により撮像された撮像画像に対し、請求項１記載の光源色温度推定方法を用いて主光源の色温度を推定する。そして、その推定した主光源の色温度（色温度判定手段により判定された色温度）に基づいて、撮像画像のホワイトバランス調整を行う。

色温度判定手段により得られた主光源の色温度は、請求項１記載の光源色温度推定方法を用いて推定されたものであり、その推定精度は高い。そのため、この高精度の推定色温度に基づいてホワイトバランス調整を行う請求項２記載のホワイトバランス調整装置によれば、撮像画像に対してホワイトバランス調整を高精度に行うことができる。

ここで、撮像手段は、例えば請求項３記載のように、外部から入射された光を電気信号に変換する撮像素子と、撮像対象からの光を撮像素子に結像させる広角レンズとを備えたものとして構成することができる。

このように構成された請求項３記載のホワイトバランス調整装置によれば、撮像手段を構成するレンズとして広角レンズを用いているため、通常のレンズに比べて画角がより広くなり、垂直方向においてより低いところからより高いところまで広い範囲を撮像することができる。そのため、上空の画像領域をより高い範囲まで確実に確保できると共に、車室内における無彩色部材の設置場所の自由度も広がる。

撮像手段および無彩色部材は、例えば請求項４記載のように設置するとよい。即ち、請求項４記載のホワイトバランス調整装置は、撮像手段が、車室内において該車室内から車両前方を撮像できるよう設けられ、無彩色部材が、車室内において外部からの光が車両のフロントガラスを介して照射される部位に設けられている。このように構成された請求項４記載のホワイトバランス調整装置によれば、車両前方の風景を示す撮像画像に対してホワイトバランス調整を高精度で行うことができる。そのため、その高精度にホワイトバランス調整された車両前方の撮像画像を用いた各種の画像処理を良好に行うことが可能となる。

次に、請求項５記載の画像認識装置は、請求項２〜４いずれかに記載のホワイトバランス調整装置と、調整手段によりホワイトバランスの調整が行われた撮像画像に対し、該撮像画像中に予め設定した認識対象物が存在しているか否かを判定する対象物判定手段とを備えたことを特徴とする。

即ち、撮像手段により撮像された撮像画像に対し、請求項２〜４いずれかに記載のホワイトバランス調整装置がホワイトバランス調整を高精度に行う。そして、そのホワイトバランス調整後の撮像画像に対し、対象物判定手段が、認識対象物の存在を判定する。

従って、請求項５記載の画像認識装置によれば、高精度のホワイトバランス調整が行われた撮像画像に対して画像認識（認識対象物が存在しているか否かの判定）が行われるため、画像認識の精度も高まる。

以下に、本発明の好適な実施形態を図面に基づいて説明する。
図１は、本実施形態の画像認識システムの概略構成を示す説明図である。図１に示す如く、本実施形態の画像認識システム１は、車両に搭載され、走行中の車両の前方風景を撮像してその撮像画像中から特定の認識対象物（例えば道路標識）を認識するものである。この画像認識システム１は、主として、カメラ３、画像処理ＥＣＵ４、ディスプレイ５、インジケータ６、ターゲット９を備えている。

カメラ３は、車両前方の撮像対象からの光が入射される広角レンズ１１と、広角レンズ１１を介して入射された撮像対象からの光を受光して電気信号に変換する撮像素子１３と、撮像素子１３による変換後の電気信号を後段の画像処理ＥＣＵ４が扱えるデジタルデータに変換する撮像回路部１４と、撮像素子１３における光の入射面側に設けられたカラーフィルタ１２とを備えている。このカメラ３は、図２に示すように、車室内前方におけるフロントガラス７の上部（図示しないルームミラー近傍）に固定設置され、車両前方の風景を撮像する。

また、図１，図２に示すように、車室内におけるダッシュボード８の上には、無彩色の横長板状部材であるターゲット９が配置されている。このターゲット９は、例えば純白色であってもいいし、グレーであってもよい。また、グレーの場合は、例えば１８％グレー（いわゆる標準グレー）としてもいいし或いはそれ以外の階調のグレーにしてもよい。つまり、無彩色であって、後述する色温度の推定を高精度に行うことができる限り、その具体的な階調（明度）等は適宜決めればよい。またその形状も、横長の板状形状に限らない。

カメラ３を構成する広角レンズ１１は、通常のレンズよりも広い画角の画像を撮像するためのものであり、本実施形態では特に、画角全体における所定の中心領域については画像の歪み（歪曲収差）がほとんど生じず、周辺領域についてのみ画像に歪みが生じるような特殊タイプのものを用いている。

即ち、例えば図３（ｂ）に示すように、広角レンズに分類されるレンズの一つである魚眼レンズ１０１は、画角は広くとれるものの、この魚眼レンズ１０１を介して撮像素子１３に結像した画像は全体に渡って歪みを有したものとなり、その分解能も画角全体に渡ってほぼ同じである。これに対し、図３（ａ）に示すように、特殊タイプの広角レンズとして構成された本実施形態の広角レンズ１１は、画角そのものは魚眼レンズ１０１と同等レベルを有しつつ、中心領域については歪みがほとんど生じない。また、魚眼レンズ１０１を用いた場合（図３（ｂ））における、撮像素子１３に結像する中心領域の受光領域２７に比べて、本実施形態（図３（ａ））における中心領域の受光領域２６の方が広い。つまり、中心領域について高い分解能を得ることができる。

そのため、車両前方における、前方上空撮像領域４１、前方中心撮像領域４２、及び前方下方撮像領域４３の各々を広くとることができる。より具体的には、前方中心撮像領域４２については歪みがなく且つ高い分解能で広い範囲の撮像画像が得られ、前方上空撮像領域４１については、歪みは生じるものの上空のより高い範囲までの撮像画像が得られ、前方下方撮像領域４３については、歪みが生じるものの車室内のターゲット９を含むより低い範囲までの撮像画像が得られる。

カラーフィルタ１２は、２次元格子状に形成されたフィルタであり、広角レンズ１１から入射された光を構成する赤・緑・青の三原色のうち、各格子（ピクセル）において予め定められた色の光のみを透過させ、それ以外の色の光を遮断するフィルタである。前述の各格子は、隣接する格子が異なる色の光を透過させるよう構成される。すなわち、赤色の光を透過させ、青色および緑色の光を遮断する格子に隣接する格子は、青色または緑色の光を透過させ、赤色と他の一方の色の光を遮断するものである。

撮像素子１３は、フォトダイオードを集積した集積回路であり、各フォトダイオードがカラーフィルタ１２の各格子と対応し、前述の各格子を透過した赤色・緑色・青色のうちのいずれかの光の強度を検出する。

撮像回路部１４は、Ａ／Ｄ変換回路等を備え、撮像素子１３による変換後の電気信号を後段の画像処理ＥＣＵ４が扱えるデジタルデータに変換する。この撮像回路部１４は、画像処理ＥＣＵ４内の駆動制御部１９からの制御信号に従って動作する。

なお、本実施形態ではカラーフィルタ１２と撮像素子１３とを組み合わることによってカラーの撮像画像を得るようにしたが、撮像素子１３を構成する各素子として、入射する光に含まれる赤色・緑色・青色の各々の強度を検出可能な素子を用いることとしても良い。また、カメラ３は、ＣＣＤカメラとして構成してもよいし、ＣＭＯＳカメラとして構成してもよく、その具体的な構成は特に限定されない。

画像処理ＥＣＵ４は、カメラ３により撮像された撮像画像から特定の認識対象物を認識するためのものであり、カメラ３により撮像された撮像画像を示す画像データが入力される入出力インターフェースとしての画像入力部１５と、カメラ３の撮像回路部１４へ駆動信号を出力してその駆動を制御する駆動制御部１９と、画像処理ＥＣＵ１５の動作全体を統括し、画像入力部１５を介して入力された画像データに対する各種の画像処理や駆動制御部１９の制御等を行う演算処理部１６とを備えている。

演算処理部１６は、カメラ３から画像入力部１５を介して入力された撮像画像（画像データ）に対してホワイトバランス調整を行うホワイトバランス調整部１７と、そのホワイトバランス調整後の撮像画像に対して画像認識処理（上述した認識対象物の認識）を行う画像認識処理部１８とを備えている。なお、この演算処理部１６は、ハードウェア的には、ＣＰＵやメモリ等からなるマイコン（図示略）を有し、このマイコンにて各種演算処理を行うものである。

そして、画像認識処理部１８により画像認識が行われ、認識対象物が認識されると、その認識対象物がディスプレイ５に拡大表示されるとともに、ＬＥＤからなるインジケータ６を点灯或いは点滅させること等によって、認識対象物が認識されたことをユーザに報知する。

なお、ディスプレイ５は、図２に示すように、車室内のダッシュボード８の中央部に設けられている。また、インジケータ６は、運転席前方（ステアリング２１の前方）のインストルメントパネル２２内における所定の位置において運転者に視認可能に配置されている。

また、本実施形態では、画像認識結果をディスプレイ５およびインジケータ６によってユーザに報知する構成を示しているが、画像認識結果を車両内における種々のアクチュエータの駆動にも利用するために、他のＥＣＵにも通知するような構成であっても良い。他のＥＣＵの一例としては、例えば、アダプティブクルーズコントロール（ＡＣＣ）やプリクラッシュセーフティシステム（ＰＣＳ）用の車間制御ＥＣＵが挙げられる。

次に、カメラ３にて撮像された撮像画像に対して画像処理ＥＣＵ４内の演算処理部１６が行う処理のうち、ホワイトバランス調整について詳述する。演算処理部１６は、カメラ３を制御して所定のタイミング（例えば３０フレーム／秒に相当するタイミング）で車両前方の風景を撮像すると共に、各フレームの撮像画像毎に、ホワイトバランスの調整を行う。以下、図４及び図５を用いて具体的に説明する。

図５は、演算処理部１６が上述した所定のタイミングで繰り返し実行するホワイトバランス調整処理を示すフローチャートである。演算処理部１６は、このホワイトバランス調整処理が開始されると、まずＳ１１０にて、カメラ３による画像の撮像を行う。詳しくは、駆動制御部１９を介してカメラ３を制御することで撮像を行う。これにより、図４に例示するような撮像画像が得られる。

本実施形態のカメラ３は、広角レンズ１１として上述したように特殊タイプのものを備えているため、図４に示すように、前方上空の高い領域からダッシュボード８上のターゲット９を含む広い範囲を撮影することができる。なお、図４において２５は車両のボンネットである。

そして、Ｓ１２０にて、撮像された撮像画像の中からターゲット９の画像領域を切り出し、続くＳ１３０にて、その切り出したターゲット９の画像領域に基づき、ターゲット９からの反射光の色温度を推定する。

このとき、車外に光源が一つだけ（例えば太陽光だけ）であって且つ車両周囲に彩度の強いものがなく、ターゲット９からの反射光の色温度が光源の色温度とほぼ同じ（或いは全く同じ）である場合や、車外に光源が複数あるもののそのうち主光源以外の光源の影響が弱く、ターゲット９からの反射光の色温度が主光源の色温度とほぼ同じならば、ターゲット９の画像領域からその色温度を推定することで、その推定した色温度をそのまま車外における主光源の色温度とすることができる。

しかし、ターゲット９に照射される光源の種類や数は周囲環境に応じて様々に変化するため、周囲環境によっては、ターゲット９からの反射光の色温度と主光源の色温度との差が無視できなくなる（ホワイトバランス調整の精度に影響が生じる）可能性もある。例えば、快晴の昼間に赤い荷台のトラックと並走している場合、ターゲット９には、主光源としての太陽光が直接照射されるのに加え、太陽光がトラックの赤い荷台に反射することにより生じる赤色の反射光（赤色光）も照射されることになる。そうなると、カメラ３にて撮影されたターゲット９の画像領域からそのターゲット９の色温度（ターゲット９からの反射光の色温度）を推定すると、太陽光及び赤い荷台からの赤色光とが混合された光の色温度が推定されることになり、主光源である太陽光の色温度が正確に推定されなくなる。

そこで本実施形態では、Ｓ１３０により推定したターゲット９からの反射光の色温度をそのまま車外における主光源の色温度とせず、更にＳ１４０にて、撮像画像中から上空光源検知領域３１（図４参照）を切り出し、続くＳ１５０にて、その切り出した上空光源検知領域３１から光源を検出する。なお、図４はカメラ３による撮像画像の一例であり、撮像画像における所定の上部領域が上空光源検知領域３１として設定されている。

撮像画像中から光源を検出する方法は従来から種々提案されているため、ここでは詳細説明は省略する。一例として、輝度が所定のしきい値よりも大きいエリアを抽出してそのエリアが光源の存在位置として検出する方法がある。また、光源としては、例えば太陽光、トンネル内での照明、夜間の街灯、さらには上述した赤い荷台の例のような、周囲の色彩物からの光などが想定される。

また、上空光源検知領域３１をどのように設定するかは任意に決めることができる。即ち、周囲の建造物や街灯などの高さ、撮像画像中における車両前方の消失点などを考慮し、周囲の環境等によらず常に上空の画像を撮像することができるように設定すればよい。具体的には、撮像画像中の消失点を基準としてその位置から垂直方向に所定の角度（例えば４５°）以上の範囲を上空光源検知領域３１として設定することができる。もちろんこれはあくまでも一例であり、上空の画像を撮像できる限りその具体的設定範囲は限定されない。

Ｓ１５０による上空光源検知領域３１内の光源検出処理後は、Ｓ１６０に進み、上空光源検知領域３１内に光源が検出されたか否かを判断する。ここで、光源が検出されている場合は、Ｓ１７０に移行して、検出されている光源の各々につき、その色温度を推定する。Ｓ１５０にて検出された光源が一つだけならばその一つの光源の色温度が推定され、複数の光源が検出された場合はその複数の光源毎に色温度が推定される。

そして、Ｓ１８０にて、主光源の色温度を推定する。この推定は次のように行う。即ち、Ｓ１７０にて推定した各光源毎の色温度（光源色温度）と、Ｓ１３０にて推定したターゲット９からの反射光の色温度（ターゲット色温度）とを比較し、ターゲット色温度を含む所定の色温度判定範囲内にいずれかの光源色温度が含まれているか否かを判断する。そして、含まれていれば、その含まれている光源色温度に対応した光源を主光源として、その色温度を、主光源の最終的な色温度推定結果とする。所定の色温度判定範囲は、少なくともターゲット色温度を含み、その範囲内にある色温度を用いれば所望の精度のホワイトバランス調整を行うことができるような範囲を適宜設定すればよい。

そして、Ｓ１９０にて、Ｓ１１０で撮像した撮像画像に対し、Ｓ１８０で推定した主光源の色温度に基づいて、ホワイトバランスの調整を行う。
一方、Ｓ１５０の上空光源検出処理において上空光源検知領域３１内で光源が検出されなかった場合は、Ｓ１６０からＳ２００へ移行し、その時点における最新の主光源の色温度推定値に基づいて、ホワイトバランスの調整を行う。

なお、光源が検出されないケースとしては、例えば、上空全体が曇り空であったり、上空に光源（例えば太陽）はあるもののその光源の位置は撮像画像の範囲外にあって撮像画像内の上空光源検知領域３１には単に青空のみが写っている場合なども考えられる。

そのため、光源が検出されなかった場合におけるＳ２００の処理として、上述した処理以外に、例えば、Ｓ１３０にて推定したターゲット９の色温度をそのまま主光源の色温度として、ホワイトバランスの調整を行うようにしてもよい。ターゲット９の色温度は、周囲の色彩物等の影響を受けて主光源の色温度から若干は外れる可能性があるものの、大きく外れる可能性は低いからである。

また、光源の色温度がわかっている場合にその色温度に基づいてホワイトバランス調整を行う方法は従来より周知であり、種々の方法が提案され或いは実施されている。そのため、Ｓ１９０及びＳ２００におけるホワイトバランス調整も、各々、色温度推定値に基づいて従来周知の方法を適宜用いて行うことができる。

このようにして撮像画像に対するホワイトバランス調整が行われた後は、画像認識処理部１８がそのホワイトバランス調整後の撮像画像に基づいて画像認識処理を行う。即ち、撮像画像中から道路標識等の認識対象物を認識し、認識された場合は、その認識対象物をディスプレイ５に表示するとともにインジケータ６によるユーザへの報知を行う。

なお、図５のホワイトバランス調整処理において、Ｓ１２０〜Ｓ２００の処理は、演算処理部１６内のホワイトバランス調整部１７にて実行されるものである。
以上説明したように、本実施形態の画像認識システム１では、特殊タイプの広角レンズ１１を用いたカメラ３にて、車室内のターゲット９及び車外上空を含む広範囲の車両前方風景を撮像する。そして、その撮像画像（図４参照）からターゲット９の撮像領域を切り出してその色温度（ターゲット９からの反射光の色温度；ターゲット色温度）を推定する。更に、撮像画像中の上空光源検知領域３１から光源を検出し、検出した光源毎に色温度（光源色温度）を推定する。そして、推定した光源色温度のいずれかが所定の色温度判定範囲（ターゲット色温度を含む所定の範囲）内にあれば、その色温度に対応した光源を主光源としてその色温度を最終的な色温度推定結果とし、撮像画像のホワイトバランス調整に用いる。

従って、本実施形態の画像認識システム１によれば、車外における主光源（支配的な光源）を高精度に推定することができる。そして、その高精度に推定された色温度に基づいて撮像画像のホワイトバランスを調整するため、ホワイトバランス調整も高精度に行うことができる。そのため、周囲環境によらず、撮像画像中の各種撮像対象物の色を忠実に再現することができ、ホワイトバランス調整後の撮像画像に基づく画像認識（特定の認識対象物の認識）を高精度に行うことが可能となる。

また、本実施形態では、上述したようにカメラ３において特殊タイプの広角レンズ１１を用いているため、上空の画像領域をより高い範囲まで確実に確保できると共に、車室内におけるターゲット９の設置場所の自由度も広がる。

また、カメラ３が車室内前方のフロントガラス７上部において車両前方の風景を撮像するように設けられており、ターゲット９が、車室内において外部からの光がフロントガラス７を介して照射される部位（本例ではダッシュボード８上）においてカメラ３の画角内に入るように設けられている。そのため、車両前方の風景を示す撮像画像に対するホワイトバランス調整を高精度且つ確実に行うことができる。

ここで、本実施形態の構成要素と本発明の構成要素の対応関係を明らかにする。本実施形態において、カメラ３は本発明の撮像手段に相当し、ターゲット９は本発明の無彩色部材に相当し、画像認識処理部１８は本発明の対象物判定手段に相当する。また、図５のホワイトバランス調整処理において、Ｓ１３０の処理は本発明の第１の色温度推定手段が実行する処理に相当し、Ｓ１５０の処理は本発明の光源検出手段が実行する処理に相当し、Ｓ１７０の処理は本発明の第２の色温度推定手段が実行する処理に相当し、Ｓ１８０の処理は本発明の色温度判定手段が実行する処理に相当し、Ｓ１９０及びＳ２００の処理はいずれも本発明の調整手段が実行する処理に相当する。

以上、本発明の実施の形態について説明したが、本発明の実施の形態は、上記実施形態に何ら限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採り得ることはいうまでもない。

例えば、ターゲット９の設置場所について、上記実施形態のように車室内におけるダッシュボード８の上部に限らず、例えば車室外のボンネット２５（図４参照）の上に設けてもよく、結果としてカメラ３にて撮像可能な範囲内（カメラ３の画角内）にターゲット９が含まれる限り、その設置場所は適宜決めることができる。主光源からの反射光をより多く（確実に）カメラ３に取り込めるという点だけを考慮すれば、車室内よりもむしろ車外のボンネット２５上に設ける方がよいともいえる。一方、主光源からの反射光を適切にカメラ３に取り込め、外部環境の影響（雨雪や汚れの影響等）を受けにくく、しかもデザイン面への影響も抑制できて、常に良好な色温度推定精度を得られるという点では、上記実施形態のように車室内に設けるのが好ましい。

また例えば、上記実施形態では、カメラ３におけるレンズとして特殊タイプの広角レンズ１１を用いたが、必ずしもこのような特殊タイプの広角レンズ１１を用いる必要はなく、上空及び車室内のターゲット９が画角内に入る限り、種々のレンズを用いることができる。但し、撮像画像に対して画像認識処理を行うことを考慮すれば、中心領域については可能な限り広く撮像でき且つ歪みが生ないような広角レンズを用いるのが好ましい。

実施形態の画像認識システムの概略構成を示す説明図である。 実施形態の画像認識システムを構成する各種構成要素の、車室内前方における配置状態を示す説明図である。 実施形態の広角レンズと魚眼レンズとの相違を説明するための説明図である。 実施形態のカメラにより撮像された撮像画像の一例を示す説明図である。 実施形態のホワイトバランス調整処理を示すフローチャートである。

符号の説明

１…画像認識システム、３…カメラ、４…画像処理ＥＣＵ、５…ディスプレイ、６…インジケータ、７…フロントガラス、８…ダッシュボード、９…ターゲット、１１…広角レンズ、１２…カラーフィルタ、１３…撮像素子、１４…撮像回路部、１５…画像入力部、１６…演算処理部、１７…ホワイトバランス調整部、１８…画像認識処理部、１９…駆動制御部、２１…ステアリング、２５…ボンネット、２６，２７…受光領域、３１…上空光源検知領域、４１…前方上空撮像領域、４２…前方中心撮像領域、４３…前方下方撮像領域、１０１…魚眼レンズ

Claims (5)

1. 車両に搭載された撮像手段により撮像された撮像画像に基づいて車外の光源の色温度を推定する方法であって、
   前記車両における所定の位置に無彩色部材を設け、
   前記撮像手段により、前記無彩色部材及び上空を含むように前記車両の周辺の画像を撮像し、
   該撮像した撮像画像中の前記無彩色部材の画像領域について該画像領域の色温度を推定し、
   該撮像した撮像画像中の前記上空の画像領域に基づいて、該画像領域に存在する一又は複数の光源の色温度を推定し、
   前記各推定結果に基づき、前記上空の画像領域に存在する光源の色温度のうち、前記無彩色部材の画像領域の色温度を含む所定の色温度判定範囲内にあるものを、最終的な色温度の推定結果とする
   ことを特徴とする光源色温度推定方法。
2. 車両における所定の位置に設けられた無彩色部材と、
   該車両に搭載され、画角内に前記無彩色部材及び上空が含まれるように該車両周辺の画像を撮像する撮像手段と、
   前記撮像手段により撮像された撮像画像における前記無彩色部材の画像領域について該画像領域の色温度を推定する第１の色温度推定手段と、
   前記撮像手段により撮像された撮像画像における前記上空の画像領域中に存在する一又は複数の光源を検出する光源検出手段と、
   前記光源検出手段により検出された光源の色温度を推定する第２の色温度推定手段と、
   前記第２の色温度推定手段により推定された前記光源の色温度のうち、前記第１の色温度推定手段により推定された前記無彩色部材の色温度を含む所定の色温度判定範囲内にあるものを、最終的な色温度の推定結果と判定する色温度判定手段と、
   前記色温度判定手段により判定された色温度に基づいて、前記撮像手段により撮像された撮像画像のホワイトバランスを調整する調整手段と、
   を備えたことを特徴とするホワイトバランス調整装置。
3. 請求項２記載のホワイトバランス調整装置であって、
   前記撮像手段は、
   外部から入射された光を電気信号に変換する撮像素子と、
   撮像対象からの光を前記撮像素子に結像させる広角レンズと、
   を備えていることを特徴とするホワイトバランス調整装置。
4. 請求項２又は３記載のホワイトバランス調整装置であって、
   前記撮像手段は、車室内において該車室内から車両前方を撮像できるよう設けられ、
   前記無彩色部材は、車室内において外部からの光が車両のフロントガラスを介して照射される部位に設けられている
   ことを特徴とするホワイトバランス調整装置。
5. 請求項２〜４いずれかに記載のホワイトバランス調整装置と、
   前記調整手段によりホワイトバランスの調整が行われた前記撮像画像に対し、該撮像画像中に予め設定した認識対象物が存在しているか否かを判定する対象物判定手段と、
   を備えたことを特徴とする画像認識装置。