JP2022182346A - 信号処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】黒潰れを発生させることなく、適切にホワイトバランス調整を行う。
【解決手段】信号処理装置は、同じ被写体を撮像して得られた互いに偏光方向の異なる複数の偏光画像のうちの第１の偏光画像に基づいて、偏光画像における正反射領域を検出する検出部と、正反射領域の検出結果に基づいて、複数の偏光画像のうち、第１の偏光画像よりも正反射成分が少ない第２の偏光画像の正反射領域からホワイトバランス調整のための白基準を取得する白基準取得部とを備える。本技術は信号処理装置に適用することができる。
【選択図】図１

Description

本技術は、信号処理装置および方法、並びにプログラムに関し、特に、黒潰れを発生させることなく、適切にホワイトバランス調整を行うことができるようにした信号処理装置および方法、並びにプログラムに関する。

従来、画像を撮像する際に行われるホワイトバランス調整（WB（White Balance）調整）に関する技術として、様々な技術が提案されている。

例えば、正反射領域、すなわち鏡面反射領域とみなした領域の画素の画素値をWB調整に用いる白基準とすることで、画像の色被りを適切に補正することができるようにした技術が提案されている（例えば、特許文献１参照）。

特開２０１６－２４４８２号公報

しかしながら、上述した技術では、黒潰れを発生させることなく、適切にWB調整を行うことは困難であった。

例えば特許文献１に記載の技術では、被写体の光沢強度が高い場合、鏡面反射領域では画素値の飽和が発生し、白基準として用いることのできる有効な画素、つまり画素値が飽和していない画素が少なくなってしまう。

また、撮像時に画素値の飽和が生じないような露光条件を設定することも可能である。しかし、そのような場合、非鏡面反射領域で黒潰れが発生し、撮像により得られた画像を検査等の所望用途の画像として使用できなくなったり、ノイズが無視できなくなったりする可能性が高くなってしまう。

本技術は、このような状況に鑑みてなされたものであり、黒潰れを発生させることなく、適切にWB調整を行うことができるようにするものである。

本技術の一側面の信号処理装置は、同じ被写体を撮像して得られた互いに偏光方向の異なる複数の偏光画像のうちの第１の偏光画像に基づいて、前記偏光画像における正反射領域を検出する検出部と、前記正反射領域の検出結果に基づいて、前記複数の前記偏光画像のうち、前記第１の偏光画像よりも正反射成分が少ない第２の偏光画像の前記正反射領域からホワイトバランス調整のための白基準を取得する白基準取得部とを備える。

本技術の一側面の信号処理方法またはプログラムは、同じ被写体を撮像して得られた互いに偏光方向の異なる複数の偏光画像のうちの第１の偏光画像に基づいて、前記偏光画像における正反射領域を検出し、前記正反射領域の検出結果に基づいて、前記複数の前記偏光画像のうち、前記第１の偏光画像よりも正反射成分が少ない第２の偏光画像の前記正反射領域からホワイトバランス調整のための白基準を取得するステップを含む。

本技術の一側面においては、同じ被写体を撮像して得られた互いに偏光方向の異なる複数の偏光画像のうちの第１の偏光画像に基づいて、前記偏光画像における正反射領域が検出され、前記正反射領域の検出結果に基づいて、前記複数の前記偏光画像のうち、前記第１の偏光画像よりも正反射成分が少ない第２の偏光画像の前記正反射領域からホワイトバランス調整のための白基準が取得される。

信号処理装置の構成例を示す図である。 偏光画像の撮像について説明する図である。 正反射成分と拡散反射成分の偏光特性について説明する図である。 偏光画像について説明する図である。 WB調整処理を説明するフローチャート図である。 偏光画像について説明する図である。 マスク画像の生成について説明する図である。 白基準の取得について説明する図である。 本技術の適用例について説明する図である。 本技術の他の適用例について説明する図である。 コンピュータの構成例を示す図である。 信号処理装置の使用例について説明する図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈信号処理装置の構成例〉
本技術は、偏光方向の異なる複数の偏光画像を取得し、正反射領域（鏡面反射領域）の検出と、正反射領域からの白基準の取得とに、それぞれ異なる偏光画像を用いることで、黒潰れを発生させることなく、適切にWB調整を行うことができるようにするものである。

例えば、正反射成分をより多く含む偏光画像を用いれば、より高精度に正反射領域を検出することができる。

また、正反射領域の検出に用いた偏光画像よりも、正反射成分が少なく含まれている偏光画像を用いて白基準を取得すれば、白基準の取得に有効な画素を容易に十分な数だけ確保し、適切にWB調整を行うことができる。すなわち、WB調整に用いられる光源色に相当する偏光成分を有する画素の画素値が飽和してしまうことを抑制することができる。

しかも、この場合、正反射領域の検出に用いる偏光画像において画素値の飽和が生じないような露光条件を設定する必要がないため、黒潰れやノイズの発生を抑制することができる。

図１は、本技術を適用した信号処理装置の一実施の形態の構成例を示す図である。

信号処理装置１１は、カメラ機能を有する装置などからなり、例えば色の判別等の検査などの用途で用いられる。

信号処理装置１１は、画像取得部２１、正反射領域抽出部２２、ゲイン計算部２３、およびWB調整部２４を有している。

画像取得部２１は、例えば偏光センサなどと呼ばれるイメージセンサなどからなり、互いに偏光方向の異なる複数の偏光画像を撮像（取得）し、得られた偏光画像を正反射領域抽出部２２およびWB調整部２４に供給する。

なお、画像取得部２１は、必ずしも信号処理装置１１に設けられている必要はなく、信号処理装置１１が外部に設けられた画像取得部２１から複数の偏光画像を取得してもよい。

正反射領域抽出部２２は、画像取得部２１から供給された少なくとも２以上の偏光画像に基づいて、WB調整（WB補正）のための白基準（白基準信号値）の取得対象となる正反射領域を抽出し、その抽出結果をゲイン計算部２３に供給する。正反射領域抽出部２２は、検出部３１および抽出部３２を有している。

検出部３１は、画像取得部２１から供給された複数の偏光画像のうちの少なくとも１つの偏光画像に基づいて、偏光画像における正反射領域（鏡面反射領域）を検出し、その検出結果を抽出部３２に供給する。

ここで、正反射領域とは、偏光画像の被写体において正反射（鏡面反射）した光の成分、つまり正反射成分（鏡面反射成分）を含む領域である。換言すれば、正反射領域とは、偏光画像における正反射が生じている被写体部分の領域である。この正反射成分は、光源の色の成分（光源色成分）であるということができる。

抽出部３２は、検出部３１から供給された検出結果と、画像取得部２１から供給された複数の偏光画像のうちの少なくとも１つの偏光画像とに基づいて、偏光画像から正反射領域を抽出し、その抽出結果をゲイン計算部２３に供給する。

ゲイン計算部２３は、偏光画像における抽出部３２により抽出された正反射領域から白基準を取得する白基準取得部として機能する。

すなわち、ゲイン計算部２３は、抽出部３２から供給された抽出結果に基づいて白基準を取得するとともに、白基準に基づいてWB調整のためのWBゲイン（ホワイトバランスゲイン）を計算し、WB調整部２４に供給する。例えばゲイン計算部２３では、抽出された正反射領域内の画素の画素値の平均値が白基準として取得される。

WB調整部２４は、ゲイン計算部２３から供給されたWBゲインに基づいて、画像取得部２１から供給された偏光画像に対するWB調整を行い、WB調整後の偏光画像を後段に出力する。

〈偏光画像について〉
次に、画像取得部２１で得られる偏光画像について説明する。

画像取得部２１としてのイメージセンサには、例えば図２に示すように互いに異なる偏光方向の光（偏光成分）を受光する複数の偏光画素、換言すれば透過軸の方向（偏光方向）が互いに異なる複数の偏光画素が設けられている。

例えば図２中、左側の部分では、１つの四角形が１つの偏光画素を表しており、各偏光画素は、自身が有する透過軸の方向に応じた偏光方向の光（偏光成分）を受光して光電変換する。

また、偏光画素（四角形）内に描かれたハッチ（斜線）の方向は、その偏光画素が受光する光の偏光方向、すなわち偏光角を表しており、特に図中、左右方向が偏光角「0度」の方向となっている。

したがって、例えば偏光画素G11は、偏光角が0度である偏光成分を受光する画素、すなわち偏光角0度の偏光画素であり、偏光画素G12は偏光角が45度である偏光成分を受光する画素である。また、例えば偏光画素G13は偏光角が90度である偏光成分を受光する画素であり、偏光画素G14は偏光角が135度である偏光成分を受光する画素である。

偏光画素G12および偏光画素G14は、偏光画素G11に対して偏光方向が45度だけずれている画素であり、偏光画素G13は、偏光画素G11に対して偏光方向が90度だけずれている画素である。

画像取得部２１では、偏光角0度の各偏光画素が入射した光を受光して光電変換することにより、１つの偏光画像P11が得られる。換言すれば、偏光角0度の複数の偏光画素によって、偏光画像P11が撮像される。

同様に、画像取得部２１では、偏光角45度の複数の偏光画素により偏光画像P12が撮像され、偏光角90度の複数の偏光画素により偏光画像P13が撮像され、偏光角135度の複数の偏光画素により偏光画像P14が撮像される。

このように画像取得部２１では、同じ被写体を同時に、または略同時に撮像することで、互いに異なる偏光成分を有する複数の偏光画像P11乃至偏光画像P14が得られる。

これらの偏光画像P11乃至偏光画像P14は、基本的には同じ位置関係で同じ被写体が写っている画像であるが、同じ画素位置でも偏光画像によって画素の画素値、つまり写っている被写体の明るさが異なることがある。

例えば、この例では、光源からの光の偏光角（偏光方向）が0度であるため、偏光画像P11は、最も多くの正反射成分を含み、正反射領域（鏡面反射領域）が大きい（広い）画像となっている。ここでは、偏光画像内における白い領域が正反射領域となっている。

これに対して、偏光画像P11とは偏光角度が90度異なる偏光画像P13は、正反射成分が殆ど含まれていない、つまり正反射領域が殆どない画像となっている。また、偏光画像P12や偏光画像P14は、偏光画像P13よりも正反射成分が多く含まれ、かつ偏光画像P11よりは含まれている正反射成分が少ない画像となっている。

さらに、より詳細には、画像取得部２１に設けられた各偏光画素には、R（赤）、G（緑）、またはB（青）の何れかの色成分のみを透過するカラーフィルタが設けられている。

図２では、偏光画素内に記された文字「R」、「G」、「B」は、偏光画素に設けられたカラーフィルタの色（透過させる色成分）を示している。したがって、例えば文字「R」が記された偏光画素G11は、より詳細には偏光角が0度であるR成分の光のみを受光する。

特に、この例では、互いに隣接する0度、45度、90度、および135度の各偏光方向の偏光画素には、同じ色のカラーフィルタが設けられており、偏光画像P11乃至偏光画像P14として同じ位置関係で被写体が写っているカラー画像が得られる。

なお、以下では、図２に示したように偏光方向が0度、45度、90度、および135度の方向である偏光画素が画像取得部２１に設けられている例について説明する。しかし、これに限らず、画像取得部２１には、互いに偏光方向が異なる少なくとも２以上の偏光画素が設けられていればよく、それらの偏光方向はどのような方向であってもよい。

ここで、図３および図４を参照して、各偏光方向の偏光画素と偏光画像の特性についてさらに説明する。なお、図４において図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

まず、図３を参照して２つの反射光（二色性反射モデル）と偏光方向の関係について説明する。すなわち、正反射成分と拡散反射成分の偏光特性について説明する。

例えば図３に示すように、偏光角0度の光（0度方向の光）を出力する偏光光源があるとし、矢印Q11に示すように、偏光光源から出力された光が被写体に照射されるとする。

この場合、偏光光源から出力された光の一部は所定の被写体の表面で正反射（鏡面反射）し、矢印Q12に示すように正反射成分（鏡面反射成分）として画像取得部２１の受光面へと入射する。

この正反射成分は、偏光光源が出力する光の成分（光源色成分）となる。つまり、正反射では、偏光光源の光の偏光方向（光源偏光方向）である0度方向（偏光角0度）がそのまま保持される。

また、偏光光源から出力された光の残りの一部は、被写体の内部等で拡散反射し、矢印Q13に示すように拡散反射成分として画像取得部２１の受光面へと入射する。

被写体の内部等では、拡散反射、すなわち内部散乱や二次反射によって、偏光光源からの光の偏光方向は様々な方向に変化する。そのため、矢印Q13に示す拡散反射成分は、様々な偏光方向の成分を含む無偏光（無偏光成分）となる。

図３に示した偏光光源からの光により被写体が照射される状態で、画像取得部２１において撮像を行うと、例えば図２に示した偏光画像P11乃至偏光画像P14が得られる。

ここで、偏光光源から出力される光の偏光方向を光源方向と称し、画像取得部２１の偏光画素が受光する偏光方向を受光方向と称することとすると、光源方向、受光方向、および偏光画像の関係は、図４に示すようになる。

すなわち、図４中、左側に示すように偏光画像P11は、受光方向が光源方向と同じ方向の偏光画素により撮像された画像であり、偏光画像P11、より詳細には偏光画像P11の画像信号には、光源方向の偏光成分が含まれている。

特に、偏光画像P11には、被写体から入射した正反射成分（鏡面反射成分）と拡散反射成分の一部とが含まれている。なお、以下、受光方向が光源方向と同じ方向の偏光画素により撮像された偏光画像、つまり受光方向と光源方向とのずれがない（0度である）偏光画像を0度偏光画像とも称することとする。

また、図４中、中央に示すように、偏光画像P12は、受光方向が光源方向と45度だけずれた方向の偏光画素により撮像された画像であり、偏光画像P12には、45度方向（偏光角45度）の偏光成分が含まれている。

特に、偏光画像P12には、被写体から入射した正反射成分の一部と拡散反射成分の一部とが含まれている。なお、以下、受光方向が光源方向と45度だけずれた方向の偏光画素により撮像された偏光画像、つまり受光方向と光源方向とのずれが45度である偏光画像を45度偏光画像とも称することとする。

さらに、図４中、右側に示すように、偏光画像P13は、受光方向が光源方向と90度だけずれた方向の偏光画素により撮像された画像であり、偏光画像P13には、90度方向（偏光角90度）の偏光成分が含まれている。

特に、偏光画像P13には、被写体から入射した拡散反射成分の一部が含まれており、正反射成分は殆ど含まれていない。なお、以下、受光方向が光源方向と90度だけずれた方向の偏光画素により撮像された偏光画像、つまり受光方向と光源方向とのずれが90度である偏光画像を90度偏光画像とも称することとする。

以上のことから、0度偏光画像は、偏光画像のうちの最も多くの正反射成分が含まれる画像であり、90度偏光画像は、偏光画像のうちの正反射成分が最も少ない画像である。また、45度偏光画像は、0度偏光画像よりは含まれている正反射成分が少ないが、90度偏光画像よりは多くの正反射成分が含まれている偏光画像である。

一般に、光源方向と受光方向の差を角度θとしたときに、cos²θのカーブに沿って、角度θ＝0度からずれるほど（離れるほど）、偏光画像に含まれる正反射成分が減衰していくことがマリュスの法則として知られている。

したがって、この例では、偏光画像P11乃至偏光画像P14のうち、受光方向が光源方向と同じ方向である偏光画像P11に、最も多くの正反射成分が含まれている。換言すれば、偏光画像P11が0度偏光画像となる。

なお、ここでは光源方向（光源偏光方向）が0度方向であるため、偏光画像P11が0度偏光画像となるが、例えば光源方向が45度方向であれば、偏光画像P12に最も多くの正反射成分が含まれることになる。すなわち、偏光画像P12が0度偏光画像となる。

また、偏光画像P11乃至偏光画像P14には拡散反射成分も含まれているが、被写体から入射する拡散反射成分は無偏光であるため、それらの偏光画像に含まれている拡散反射成分は、偏光画素の偏光方向によらず略一定となっている。

信号処理装置１１では、以上のような偏光方向が互いに異なる複数の偏光画像が用いられて白基準が取得される。

特に、信号処理装置１１では、偏光画像における正反射領域の検出と、偏光画像からの正反射領域の抽出、換言すれば偏光画像からの白基準の取得とで、互いに異なる偏光画像が用いられる。具体的には、正反射領域の検出には少なくとも0度偏光画像が用いられ、白基準の取得には少なくとも45度偏光画像が用いられる。

例えば、90度偏光画像と、他の偏光画像との差分を求めることで、正反射領域、つまり光源色成分の領域を抽出することが可能である。

このとき、例えば0度偏光画像を用いれば、つまり0度偏光画像と90度偏光画像との差分画像を用いれば、容易に正反射領域を検出することができる。これは、0度偏光画像には、正反射成分（光源色成分）が減衰せずに含まれているためである。例えば偏光画像では、照明等の光源が映り込んだ領域などが正反射領域として検出される。

但し、0度偏光画像では、正反射成分の減衰がないため、正反射領域では画素の画素値の飽和が発生しやすくなってしまう。

また、例えば45度偏光画像を用いれば、つまり45度偏光画像と90度偏光画像との差分画像を用いれば、正反射領域を検出することが可能である。しかし、45度偏光画像では正反射成分（光源色成分）が減衰されているため、0度偏光画像を用いた場合ほど高精度には正反射領域を検出することができないことがある。

一方、45度偏光画像には、減衰された正反射成分が含まれているため、45度偏光画像上の正反射領域では画素の画素値の飽和は発生しにくくなっており、0度偏光画像よりも白基準の取得に適している。

そこで、本技術では、正反射領域の検出には0度偏光画像を用い、白基準の取得には45度偏光画像を用いるようにした。これにより、高精度に正反射領域を検出するとともに、白基準の取得に有効な画素（有効画素）を容易に十分な数だけ確保し、黒潰れやノイズを発生させることなく、適切にWB調整を行うことができる。

〈WB調整処理の説明〉
次に、信号処理装置１１の動作について説明する。すなわち、以下、図５のフローチャートを参照して、信号処理装置１１により行われるWB調整処理について説明する。

ステップＳ１１において画像取得部２１は、入射した光を受光して光電変換することで、互いに偏光方向の異なる複数の偏光画像を撮像（取得）し、得られた偏光画像を検出部３１、抽出部３２、およびWB調整部２４に供給する。

画像取得部２１での撮像の処理により、例えば図２に示した偏光画像P11乃至偏光画像P14が得られる。

このとき、例えば図６における右側に示すように、偏光光源から画像取得部２１へと入射する光の成分には、被写体での正反射による正反射成分（鏡面反射成分）と、被写体での拡散反射による拡散反射成分とが含まれている。

したがって、偏光画像P11が0度偏光画像である場合、図６中、左側に示すように、偏光画像P11には正反射成分と拡散反射成分が含まれることになる。

ここで、偏光画像P11が0度偏光画像である場合とは、上述したように偏光画像P11の偏光方向、つまり偏光画素G11が受光する光の偏光方向（偏光画素G11の偏光方向）と、偏光光源から出力される光の偏光方向とが等しい場合である。

また、偏光画像P11が0度偏光画像となるときには、図６中、左側に示すように偏光画像P12は45度偏光画像となり、偏光画像P13は90度偏光画像となる。

そのため、1.0未満の所定の係数をk（k<1.0）とすると、偏光画像P12には、偏光画像P11に含まれる正反射成分のk倍の正反射成分と、拡散反射成分とが含まれ、偏光画像P13には、基本的には正反射成分は含まれず、拡散反射成分のみが含まれている。

なお、偏光光源の偏光方向と各偏光画像の偏光方向の対応関係が既知であれば、正反射領域抽出部２２において、どの偏光画像が0度偏光画像であるかを特定可能である。

また、ユーザ等の入力操作によって偏光光源の偏光方向が入力されるようにし、正反射領域抽出部２２がユーザの入力に基づいて0度偏光画像を特定するようにしてもよいし、ユーザが直接、0度偏光画像を指定する入力操作を行うようにしてもよい。

その他、ユーザ等の入力操作がなく、偏光光源の偏光方向と各偏光画像の偏光方向の対応関係が既知でない場合には、正反射領域抽出部２２が複数の偏光画像に基づいて、0度偏光画像の特定を行うようにしてもよい。

そのような場合、例えば正反射領域抽出部２２は、偏光画像に基づいて、偏光画像ごとにコントラストを算出し、最もコントラストが高い偏光画像を0度偏光画像とし、最もコントラストの低い偏光画像を90度偏光画像とする。これは、0度偏光画像には最も多くの正反射成分が含まれているため、コントラストが最も高くなるからである。

同様に、例えば正反射領域抽出部２２は、偏光画像ごとに、画素値が所定の閾値以上となる画素の数（画素数）を求め、求められた画素数が最も多い偏光画像を0度偏光画像とし、画素数が最も少ない偏光画像を90度偏光画像としてもよい。

図５のフローチャートの説明に戻り、ステップＳ１２において検出部３１は、画像取得部２１から供給された複数の偏光画像のうちの少なくとも0度偏光画像に基づいて、偏光画像における正反射領域を検出し、その検出結果を抽出部３２に供給する。

例えば図６に示した偏光画像P11と偏光画像P13が得られたとする。そのような場合、検出部３１は、例えば図７に示すように、同じ位置関係の画素ごとに0度偏光画像である偏光画像P11と、90度偏光画像である偏光画像P13との差分を求め、その差分を２値化することでマスク画像P21を求める。

すなわち、例えば検出部３１は、偏光画像P11と偏光画像P13との差分を求めることで差分画像を生成する。ことのき、差分画像では、正反射成分が多く含まれている領域の画素の画素値は大きくなり、正反射成分が少ない領域の画素の画素値は小さくなる。

そこで、検出部３１は、差分画像における画素値が所定の閾値以上である画素については、その画素と同じ位置関係のマスク画像P21の画素の画素値を「１」とし、差分画像における画素値が所定の閾値未満である画素については、その画素と同じ位置関係のマスク画像P21の画素の画素値を「０」とすることで、マスク画像P21を生成する。すなわち、検出部３１は、閾値により差分画像を２値化することでマスク画像P21を生成する。

このようにして得られるマスク画像P21では、画素値が「１」である画素からなる領域が正反射領域となっている。検出部３１は、正反射領域の検出結果として、マスク画像P21を抽出部３２に供給する。

なお、偏光光源の偏光方向と各偏光画像の偏光方向の対応関係が既知でない場合、上述のように0度偏光画像を特定してからステップＳ１２の処理を行うようにしてもよいが、複数の異なる組み合わせで差分画像を生成してもよい。

そのような場合、検出部３１は、任意の２つの偏光画像の組み合わせごとに、その２つの偏光画像の差分である差分画像を生成し、それらの差分画像のうちの最もコントラストの高い差分画像を２値化することでマスク画像を生成する。

また、例えば被写体の鏡面性が高い場合、0度偏光画像においては正反射領域と、非正反射領域（正反射領域以外の領域）とで顕著な明度さが生じる。

そこで、そのような場合には、90度偏光画像を用いずに、0度偏光画像のみに基づいて正反射領域を検出してもよい。具体的には、例えば検出部３１は、大津閾値等に基づいて0度偏光画像から正反射領域を検出し、その検出結果を示すマスク画像等を抽出部３２に供給する。

その他、例えば各偏光画像において正反射領域がない、または小さい場合、すなわち0度偏光画像と90度偏光画像との間で、正反射領域での画素値の差分が小さい場合には、信号処理装置１１がユーザに対してエラー表示等を行うようにしてもよい。

そのような場合、例えば信号処理装置１１は、表示部を制御し、ユーザに対して正反射領域の指定や白基準の他の算出方法の指定などといったマニュアル指定を促す表示を行い、ユーザの指定に応じて、その後の処理を行う。例えば白基準の他の算出方法の例としては、偏光画像全体を対象として、偏光画像全体から白基準を取得し、WBゲインを計算する方法などが考えられる。

図５のフローチャートの説明に戻り、ステップＳ１２の処理が行われると、その後、ステップＳ１３の処理が行われる。

ステップＳ１３において抽出部３２は、検出部３１から供給された検出結果と、画像取得部２１から供給された複数の偏光画像のうちの少なくとも１つの偏光画像とに基づいて、偏光画像から光源色の領域、すなわち正反射領域を抽出し、その抽出結果をゲイン計算部２３に供給する。

例えば、正反射領域の検出結果として図７に示したマスク画像P21が得られたとする。そのような場合、抽出部３２は、例えば図８に示すように、45度偏光画像と90度偏光画像との差分を求めることで、差分画像P31を生成する。

そして、抽出部３２は、マスク画像P21と差分画像P31とを畳み込むことで、白基準の取得のための正反射領域画像P32を生成し、得られた正反射領域画像P32を正反射領域の抽出結果としてゲイン計算部２３に供給する。

例えば正反射領域画像P32の任意の画素を注目画素とすると、その注目画素の画素値は、注目画素と同じ位置関係にあるマスク画像P21の画素の画素値を、注目画素と同じ位置関係にある差分画像P31の画素の画素値に乗算することで得られた値とされる。

このようにして得られる正反射領域画像P32は、正反射領域以外の領域、すなわち非正反射領域の画素の画素値が「０」であり、正反射領域の画素の画素値が０より大きい値となる画像、つまり正反射領域のみからなる画像である。したがって、正反射領域画像P32は、正反射領域の検出結果であるマスク画像P21に基づく、45度偏光画像からの正反射領域の抽出結果であるということができる。

抽出部３２では、正反射領域の検出に用いたものよりも、より正反射成分の少ない45度偏光画像が用いられて正反射領域の抽出（正反射領域画像の生成）が行われる。そのため、白基準の取得対象となる、つまりWBゲインの算出に用いる光源色に相当する画素において画素値が飽和してしまうことを抑制し、十分な数の有効画素を確保することができる。

なお、45度偏光画像において、正反射領域（鏡面反射領域）と非正反射領域とのコントラストが高い場合、正反射領域における拡散反射成分の寄与率はごく小さいとみなすことができる。そのような場合には、抽出部３２は、90度偏光画像を用いずに、45度偏光画像のみに基づいて正反射領域を検出してもよい。すなわち、マスク画像P21と45度偏光画像である偏光画像P12とが畳み込まれて正反射領域画像P32が生成されてもよい。

例えば、検出部３１において0度偏光画像のみが用いられて正反射領域が検出され、抽出部３２において45度偏光画像のみが用いられて正反射領域画像が生成される場合には、画像取得部２１では、少なくとも0度偏光画像と45度偏光画像が取得できればよい。

また、偏光光源、すなわち正反射領域における彩度が高い場合には、光沢色付きや正反射領域の誤検出が生じてしまうこともあるため、そのような場合には正反射領域の抽出結果をそのまま白基準の取得に用いないようにしてもよい。

具体的には、例えばゲイン計算部２３において、正反射領域のうちの彩度の高くない領域のみを対象として白基準を取得するようにしてもよいし、偏光画像全体から白基準を取得するなど、他の方法によりWBゲインを計算してもよい。

図５のフローチャートの説明に戻り、ステップＳ１４においてゲイン計算部２３は、抽出部３２から供給された正反射領域の抽出結果、すなわち正反射領域画像に基づいて白基準を取得する。

具体的には、ゲイン計算部２３は、R、G、およびBの色成分ごとに、正反射領域画像における画素値が０より大きい画素の画素値の平均値（以下、画素平均値とも称する）を白基準として求める。

したがって、例えばR成分の白基準は、正反射領域画像における画素値が０ではないR成分の画素を特定し、特定した全画素の画素値の積分値（総和）を、その特定した画素の数（画素数）で除算することで得られる。したがって、R成分の白基準は、正反射領域におけるR成分の画素の画素値の平均値であるといえる。

なお、白基準の取得には、正反射領域画像における画素値が０より大きい画素を用いると説明したが、画素値が０より大きく、かつ飽和（白飛び）が生じていない画素を有効画素とし、有効画素のみを用いて白基準を求めるようにしてもよい。ここで、飽和が生じてる画素、つまり画素値が飽和している画素とは、例えば画素値としてとり得る最大値を画素値として有している画素などとされる。

また、45度偏光画像において白基準の算出に利用可能な有効な画素（有効画素）が少ない場合には、例えば他の白基準の取得方法への切り替えや、ユーザに対する警告表示、画像取得部２１を制御する制御部等へのフィードバックを行うようにしてもよい。

ここで、他の白基準の取得方法とは、例えば45度偏光画像全体を対象として白基準を取得する方法、つまり45度偏光画像の全画素を用いて色成分ごとに画素平均値を求め、白基準とする方法などが考えられる。

また、ユーザに対する警告表示として、例えばユーザに対して、白飛びや黒潰れ等が生じないような適切な露光時間となるように露光設定（露出設定）の手動での変更を促す表示などを行うようにしてもよい。

さらに、例えば画像取得部２１を制御する制御部が、45度偏光画像における有効画素が少ない旨のフィードバックをゲイン計算部２３から受けた場合には、制御部は、そのフィードバックに応じて次フレームのAE（Auto Exposure）設定（自動露出設定）を行う。

すなわち、例えば制御部は、撮像レンズの絞りを絞ったり、偏光画像の露光時間を短くしたりするなど、より多くの有効画素が得られるように次のフレームの自動露出設定を調整する。そして制御部は、調整後の自動露出設定に応じて、画像取得部２１等による次のフレームの偏光画像の撮像を制御する。

なお、90度偏光画像において黒潰れが多く発生している場合においても、有効画素が少ない場合と同様にして、ユーザに対する警告表示や、制御部等への自動露出設定のためのフィードバックを行うようにしてもよい。

ステップＳ１５においてゲイン計算部２３は、ステップＳ１４で取得した白基準に基づいてWBゲインを計算し、WB調整部２４に供給する。

例えばWBゲインは、各色成分の白基準とG成分の白基準との比の逆数を計算することで、R、G、およびBの色成分ごとに計算される。

具体的には、ゲイン計算部２３はG成分の白基準（G成分の画素平均値）をR成分の白基準で除算することにより、R成分のWBゲインを求め、G成分の白基準をB成分の白基準で除算することにより、B成分のWBゲインを求める。また、G成分のWBゲインは「１」とされる。

ステップＳ１６においてWB調整部２４は、ゲイン計算部２３から供給されたWBゲインに基づいて、画像取得部２１から供給された偏光画像に対するWB調整を行い、WB調整後の偏光画像を後段に出力する。

例えばWB調整部２４は、WB調整対象となる偏光画像に対してWBゲインを乗算することで、WB調整（WB補正）を行う。このとき、偏光画像におけるR成分の画素の画素値にはR成分のWBゲインが乗算され、B成分の画素の画素値にはB成分のWBゲインが乗算され、G成分の画素の画素値にはG成分のWBゲインが乗算される。

なお、WB調整対象となる偏光画像は、例えば45度偏光画像など、画像取得部２１で撮像された１または複数の各偏光画像であってもよいし、複数の偏光画像を合成することで得られた１つの画像であってもよい。

WB調整が行われると、WB調整部２４は、WB調整後の偏光画像を後段に出力し、WB調整処理は終了する。

以上のようにして信号処理装置１１は、0度偏光画像を用いて正反射領域の検出を行い、その検出結果と、0度偏光画像よりも含まれている正反射成分がより少ない45度偏光画像を用いて正反射領域を抽出し、白基準を取得する。

このようにすることで、高精度に正反射領域を検出するとともに、白基準の取得に有効な画素（有効画素）を容易に十分な数だけ確保し、黒潰れやノイズを発生させることなく、適切にWB調整を行うことができる。

〈本技術の適用例〉
なお、以上において説明した本技術は、例えば色等に関する検査を行う、カメラ機能を有する信号処理装置などに適用することができる。

図９は、カメラ機能を有する信号処理装置に本技術を適用した場合における、信号処理装置の具体的な構成例を示す図である。なお、図９において図１における場合とは対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図９に示す信号処理装置６１は、センサIF（Interface）７１、欠陥補正部７２、NR（Noise Reduction）部７３、シェーディング補正部７４、デジタルゲイン処理部７５、OPD（Optical Detector）取得部７６、正反射領域抽出部２２、ゲイン計算部２３、WB調整部２４、デモザイク部７７、ガンマ補正部７８、および色処理部７９を有している。

センサIF７１は、画像取得部２１に接続されるインターフェースであり、画像取得部２１から複数の異なる偏光方向の偏光画像を取得して欠陥補正部７２に供給する。

欠陥補正部７２は、センサIF７１から供給された偏光画像に対して欠陥補正を行い、欠陥補正後の偏光画像をNR部７３に供給する。NR部７３は、欠陥補正部７２から供給された偏光画像に対してノイズ除去処理を行い、その結果得られた偏光画像をシェーディング補正部７４に供給する。

シェーディング補正部７４は、NR部７３から供給された偏光画像に対してシェーディング補正を行い、その結果得られた偏光画像をデジタルゲイン処理部７５に供給する。

デジタルゲイン処理部７５は、シェーディング補正部７４から供給された偏光画像に対してゲイン補正を行い、ゲイン補正後の偏光画像をOPD取得部７６およびWB調整部２４に供給する。デジタルゲイン処理部７５でのゲイン補正により、例えば図２に示した偏光画像P11乃至偏光画像P14に相当する画像が得られる。

OPD取得部７６は、デジタルゲイン処理部７５から供給された偏光画像に対してOPDの取得、すなわち偏光画像よりも解像度の低い画像（以下、OPD画像とも称する）の生成を行い、得られたOPD画像を正反射領域抽出部２２に供給する。

例えばOPD取得時には、OPD取得部７６は偏光画像を16×12のブロック（検波枠）に分割するとともに、ブロック内の同じ色成分の画素の画素値の積算値（積分値）を求め、得られた積算値をそのブロックに対応するOPD画像の画素の画素値とする。

したがって、OPD画像は、16画素×12画素（16×12解像度）のR、G、およびBの各色成分の画素値を有する、偏光画像よりも解像度の低い画像となる。

OPD取得部７６では、例えば図２に示した偏光画像P11乃至偏光画像P14のそれぞれに対応するOPD画像のそれぞれが得られ、それらのOPD画像が正反射領域抽出部２２の検出部３１および抽出部３２へと供給される。

正反射領域抽出部２２には、例えば偏光光源の偏光方向と各偏光画像の偏光方向の対応関係を示す入力情報が外部から供給される。

正反射領域抽出部２２は、OPD取得部７６から供給されたOPD画像と、外部から供給された入力情報とに基づいて、図５のステップＳ１２およびステップＳ１３と同様の処理を行い、その結果得られた正反射領域画像をゲイン計算部２３に供給する。

この正反射領域画像は、例えば45度偏光画像に対応するOPD画像と、90度偏光画像に対応するOPD画像との差分を求めることで得られる差分画像にマスク画像を畳み込むことで得られた、16画素×12画素（16×12解像度）のR、G、およびBの各色成分の画素値を有する１つの画像である。

ゲイン計算部２３は、正反射領域抽出部２２から供給された正反射領域画像に基づいて、図５のステップＳ１４およびステップＳ１５と同様の処理を行うことでWBゲインを算出し、WB調整部２４に供給する。

WB調整部２４は、ゲイン計算部２３から供給されたWBゲインに基づいて、デジタルゲイン処理部７５から供給された１以上の各偏光画像に対してWB調整を行い、WB調整後の偏光画像をデモザイク部７７に供給する。WB調整部２４では、図５のステップＳ１６と同様の処理が行われる。

デモザイク部７７は、WB調整部２４から供給された１または複数の各偏光画像に対してデモザイク処理を行い、その結果得られた各画素がR、G、およびBの各色成分の値を画素値として有する偏光画像をガンマ補正部７８に供給する。

ガンマ補正部７８は、デモザイク部７７から供給された偏光画像に対してガンマ補正を行い、ガンマ補正後の偏光画像を色処理部７９に供給する。

色処理部７９は、ガンマ補正部７８から供給された偏光画像に対して、例えば彩度の調整等の目標とする色味を有する画像を生成するための色処理を施し、その結果得られた偏光画像を後段に出力する。

以上のような構成の信号処理装置６１では、OPD画像に基づいて正反射領域画像が生成される。すなわち、偏光画像における正反射領域と非正反射領域（拡散反射領域）とが分離される前に、それらの領域がOPD画像生成時のブロック（検波枠）で混合される。

そのため、正反射領域の検出精度は多少低下してしまうが、解像度の低いOPD画像を対象として正反射領域の検出や抽出の処理が行われるため、それらの処理の処理負荷を大幅に低減させることができる。

〈本技術の他の適用例〉
これに対して、信号処理装置６１において、偏光画像そのものを対象として正反射領域の検出や抽出を行うようにすれば、正反射領域の検出および抽出の精度を向上させることができる。そのような場合、信号処理装置６１は、例えば図１０に示すように構成される。なお、図１０において図９における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１０に示す信号処理装置６１も図９における場合と同様に、センサIF７１乃至色処理部７９を有している。

図１０に示す信号処理装置６１の構成は、OPD取得部７６の前段に正反射領域抽出部２２が設けられている点で、図９に示した信号処理装置６１と異なり、その他の点では図９の信号処理装置６１と同じ構成となっている。

したがって、図１０に示す例では、デジタルゲイン処理部７５から出力された偏光画像は、正反射領域抽出部２２およびWB調整部２４に供給される。

そのため、正反射領域抽出部２２は、デジタルゲイン処理部７５から供給された偏光画像と、外部から供給された入力情報とに基づいて、図５のステップＳ１２およびステップＳ１３と同様の処理を行い、得られた正反射領域画像をOPD取得部７６に供給する。

OPD取得部７６は、正反射領域抽出部２２から供給された正反射領域画像に基づいてOPD画像を生成し、ゲイン計算部２３へと供給する。

この場合においても図９における例と同様に、正反射領域画像が16×12のブロック（検波枠）に分割されるとともに、ブロック内の同じ色成分の画素の画素値の積算値が求められ、得られた積算値がそのブロックに対応するOPD画像の画素の画素値とされる。

したがって、OPD取得部７６からゲイン計算部２３に供給されるOPD画像は、16×12という低い解像度の正反射領域画像である。

ゲイン計算部２３は、OPD取得部７６から供給されたOPD画像に基づいて、図５のステップＳ１４およびステップＳ１５と同様の処理を行うことでWBゲインを算出し、WB調整部２４に供給する。

以上のような構成の信号処理装置６１では、正反射領域の検出および抽出は、もとの偏光画像、つまり高い解像度の画像に基づいて行われ、その結果得られた正反射領域画像がより低い解像度のOPD画像へと変換される。そして、そのOPD画像から白基準が取得されてWBゲインが算出される。

したがって、図１０の例では、図９の例と比較すると、高い解像度のままで正反射領域の検出および抽出が行われるため、全体の処理負荷は増加するが、正反射領域の検出および抽出の精度を向上させることができる。

〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、上述の信号処理装置１１は、例えば、図１２に示すように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。

・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮像する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮像する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮像して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮像するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置

〈移動体への応用例〉
このように、本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１３に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１３の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図１４は、撮像部１２０３１の設置位置の例を示す図である。

図１４では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１４には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１や車外情報検出ユニット１２０３０などに適用され得る。具体的には、例えば図１に示した信号処理装置１１を撮像部１２０３１および車外情報検出ユニット１２０３０として用いることができ、黒潰れを発生させることなく、適切にWB調整を行うことができる。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、本技術は、以下の構成とすることも可能である。

（１）
同じ被写体を撮像して得られた互いに偏光方向の異なる複数の偏光画像のうちの第１の偏光画像に基づいて、前記偏光画像における正反射領域を検出する検出部と、
前記正反射領域の検出結果に基づいて、前記複数の前記偏光画像のうち、前記第１の偏光画像よりも正反射成分が少ない第２の偏光画像の前記正反射領域からホワイトバランス調整のための白基準を取得する白基準取得部と
を備える信号処理装置。
（２）
前記正反射領域の検出結果に基づいて、前記第２の偏光画像から前記正反射領域を抽出する抽出部をさらに備え、
前記白基準取得部は、前記抽出部により抽出された前記正反射領域内の画素の画素値の平均値を前記白基準として算出する
（１）に記載の信号処理装置。
（３）
前記抽出部は、前記第２の偏光画像と、前記複数の前記偏光画像のうち、前記第２の偏光画像よりも前記正反射成分が少ない第３の偏光画像との差分を求めることで第１の差分画像を生成し、前記正反射領域の検出結果に基づいて、前記第１の差分画像から前記正反射領域を抽出する
（２）に記載の信号処理装置。
（４）
前記検出部は、前記第１の偏光画像と、前記複数の前記偏光画像のうち、前記第２の偏光画像よりも前記正反射成分が少ない第３の偏光画像との差分を求めることで第２の差分画像を生成し、前記第２の差分画像に基づいて前記正反射領域を検出する
（１）乃至（３）の何れか一項に記載の信号処理装置。
（５）
前記検出部は、前記第２の差分画像を２値化することで前記正反射領域を検出する
（４）に記載の信号処理装置。
（６）
前記検出部は、前記複数の前記偏光画像のうちの２つの前記偏光画像の組み合わせごとに得られる、前記２つの前記偏光画像の差分である第２の差分画像のうち、最もコントラストが高い前記第２の差分画像に基づいて前記正反射領域を検出する
（１）乃至（３）の何れか一項に記載の信号処理装置。
（７）
前記白基準取得部は、前記白基準に基づいてホワイトバランスゲインを算出し、
前記ホワイトバランスゲインに基づいて、前記偏光画像のホワイトバランス調整を行うホワイトバランス調整部をさらに備える
（１）乃至（６）の何れか一項に記載の信号処理装置。
（８）
互いに偏光方向の異なる複数の偏光画素を有し、前記複数の前記偏光画像を撮像する画像取得部をさらに備える
（１）乃至（７）の何れか一項に記載の信号処理装置。
（９）
前記第１の偏光画像は、前記複数の前記偏光画像のうち、最も多く前記正反射成分を含む前記偏光画像である
（１）乃至（８）の何れか一項に記載の信号処理装置。
（１０）
前記第１の偏光画像は、前記複数の前記偏光画像のうち、最もコントラストが高い前記偏光画像である
（１）乃至（８）の何れか一項に記載の信号処理装置。
（１１）
前記第１の偏光画像は、前記複数の前記偏光画像のうち、画素値が所定の閾値以上である画素の数が最も多い前記偏光画像である
（１）乃至（８）の何れか一項に記載の信号処理装置。
（１２）
信号処理装置が、
同じ被写体を撮像して得られた互いに偏光方向の異なる複数の偏光画像のうちの第１の偏光画像に基づいて、前記偏光画像における正反射領域を検出し、
前記正反射領域の検出結果に基づいて、前記複数の前記偏光画像のうち、前記第１の偏光画像よりも正反射成分が少ない第２の偏光画像の前記正反射領域からホワイトバランス調整のための白基準を取得する
信号処理方法。
（１３）
同じ被写体を撮像して得られた互いに偏光方向の異なる複数の偏光画像のうちの第１の偏光画像に基づいて、前記偏光画像における正反射領域を検出し、
前記正反射領域の検出結果に基づいて、前記複数の前記偏光画像のうち、前記第１の偏光画像よりも正反射成分が少ない第２の偏光画像の前記正反射領域からホワイトバランス調整のための白基準を取得する
ステップを含む処理をコンピュータに実行させるプログラム。

１１ 信号処理装置， ２１ 画像取得部， ２２ 正反射領域抽出部， ２３ ゲイン計算部， ２４ WB調整部， ３１ 検出部， ３２ 抽出部

Claims (13)

1. 同じ被写体を撮像して得られた互いに偏光方向の異なる複数の偏光画像のうちの第１の偏光画像に基づいて、前記偏光画像における正反射領域を検出する検出部と、
   前記正反射領域の検出結果に基づいて、前記複数の前記偏光画像のうち、前記第１の偏光画像よりも正反射成分が少ない第２の偏光画像の前記正反射領域からホワイトバランス調整のための白基準を取得する白基準取得部と
   を備える信号処理装置。
2. 前記正反射領域の検出結果に基づいて、前記第２の偏光画像から前記正反射領域を抽出する抽出部をさらに備え、
   前記白基準取得部は、前記抽出部により抽出された前記正反射領域内の画素の画素値の平均値を前記白基準として算出する
   請求項１に記載の信号処理装置。
3. 前記抽出部は、前記第２の偏光画像と、前記複数の前記偏光画像のうち、前記第２の偏光画像よりも前記正反射成分が少ない第３の偏光画像との差分を求めることで第１の差分画像を生成し、前記正反射領域の検出結果に基づいて、前記第１の差分画像から前記正反射領域を抽出する
   請求項２に記載の信号処理装置。
4. 前記検出部は、前記第１の偏光画像と、前記複数の前記偏光画像のうち、前記第２の偏光画像よりも前記正反射成分が少ない第３の偏光画像との差分を求めることで第２の差分画像を生成し、前記第２の差分画像に基づいて前記正反射領域を検出する
   請求項１に記載の信号処理装置。
5. 前記検出部は、前記第２の差分画像を２値化することで前記正反射領域を検出する
   請求項４に記載の信号処理装置。
6. 前記検出部は、前記複数の前記偏光画像のうちの２つの前記偏光画像の組み合わせごとに得られる、前記２つの前記偏光画像の差分である第２の差分画像のうち、最もコントラストが高い前記第２の差分画像に基づいて前記正反射領域を検出する
   請求項１に記載の信号処理装置。
7. 前記白基準取得部は、前記白基準に基づいてホワイトバランスゲインを算出し、
   前記ホワイトバランスゲインに基づいて、前記偏光画像のホワイトバランス調整を行うホワイトバランス調整部をさらに備える
   請求項１に記載の信号処理装置。
8. 互いに偏光方向の異なる複数の偏光画素を有し、前記複数の前記偏光画像を撮像する画像取得部をさらに備える
   請求項１に記載の信号処理装置。
9. 前記第１の偏光画像は、前記複数の前記偏光画像のうち、最も多く前記正反射成分を含む前記偏光画像である
   請求項１に記載の信号処理装置。
10. 前記第１の偏光画像は、前記複数の前記偏光画像のうち、最もコントラストが高い前記偏光画像である
    請求項１に記載の信号処理装置。
11. 前記第１の偏光画像は、前記複数の前記偏光画像のうち、画素値が所定の閾値以上である画素の数が最も多い前記偏光画像である
    請求項１に記載の信号処理装置。
12. 信号処理装置が、
    同じ被写体を撮像して得られた互いに偏光方向の異なる複数の偏光画像のうちの第１の偏光画像に基づいて、前記偏光画像における正反射領域を検出し、
    前記正反射領域の検出結果に基づいて、前記複数の前記偏光画像のうち、前記第１の偏光画像よりも正反射成分が少ない第２の偏光画像の前記正反射領域からホワイトバランス調整のための白基準を取得する
    信号処理方法。
13. 同じ被写体を撮像して得られた互いに偏光方向の異なる複数の偏光画像のうちの第１の偏光画像に基づいて、前記偏光画像における正反射領域を検出し、
    前記正反射領域の検出結果に基づいて、前記複数の前記偏光画像のうち、前記第１の偏光画像よりも正反射成分が少ない第２の偏光画像の前記正反射領域からホワイトバランス調整のための白基準を取得する
    ステップを含む処理をコンピュータに実行させるプログラム。

Images