JP2010220197A - 画像におけるシャドーの検知装置および検知方法 - Google Patents

Abstract

【課題】画像におけるシャドーを検知する装置と方法。
【解決手段】マルチチャンネル画像から算出した特性値により補正後のマルチチャンネル画像に対してシャドー検知を行う必要があるかどうかを判断するシーン分類モジュールと、シーン分類モジュールによりシャドー検知を行う必要があると判断された補正後のマルチチャンネル画像における各画素の類別を判断しシャドー類別標記マトリックスを生成するシャドー検知モジュールと、撮像モジュールにより生成されたマルチチャンネル画像を各領域内の画素が相似な色値を有する複数の領域に分割し同一領域に属する画素が同じ領域標記値を有する領域標記マトリックスを生成する領域分割モジュールと、シャドー検知モジュールにより出力されたシャドー類別標記マトリックスと領域分割モジュールにより出力された領域標記マトリックスを結合し更新後のシャドー類別標記マトリックスを出力する後処理モジュールとを含む。
【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に関し、特に、入力された画像におけるシャドーを自動検知するとともに、該画像をシャドー領域と非シャドー領域に分ける装置および方法に関する。

カラー画像解析において、特にカメラのホワイトバランスと露出補償処理では、シャドー分割／検知が重要な役割を占めている。従来のホワイトバランス処理では、入力された画像全体に対してカラー調整を行うが、このような処理によって、シャドー中のオブジェクトの色が往々に青色に偏る。しかし、人物を対象とした撮影では、青色に偏った顔が受け入れられにくい。そこで、シャドー領域を予めに検知できれば、前記の青色に偏る問題は、シャドー領域と非シャドー領域に対して異なるホワイトバランスパラメータを設けることによって解決できる。

特許文献１には、シャドーの検知方法が記載されている。この方法では、シャドーを含む一つまたは複数の画像を、予めに用意したシャドーを含まない参照画像と比較し、各画素対の間の比を計算することによってシャドーを検知する。その比が事前に定義した区間内に位置する画素はシャドーであると判断される。しかし、カメラを使用する場合は、ユーザーにより、撮像しようとするすべてのシーンに対して、対応するシャドーなしの参照画像を提供することが期待できない。

特許文献２には、HSV（Hue、Saturation、Value：色相、彩度、明度）色空間中でシャドーを検知する方法が記載されている。この方法では、以下のように仮定する。即ち、H/S（色相と彩度の比）のヒストグラムにおいては、値が１である位置の近傍にあるヒストグラムの谷がシャドーと非シャドーとの境界線に対応し、その左側の部分がシャドーに、右側の部分が非シャドーにそれぞれ対応する。同様に、S/V（彩度と明度の比）のヒストグラムにおいては、値が１である位置の近傍にあるヒストグラムのピークがシャドーと非シャドーとの境界線に対応し、その左側の部分が非シャドーに、右側の部分がシャドーにそれぞれ対応する。しかし、このような仮説は、複雑なシーンにおいては成り立たない。

実際には、画像の画素値がその対応位置の照度と反射率の積である。ｘとｙをそれぞれ画素が画像における横座標と縦座標とし、画像における各画素の画素値をI（x,y）とし、シャドー画像において対応する画素位置の照度と反射率をそれぞれS（x,y）とR（x,y）とすれば、下記の数式１の関係が得られる。

数式１によれば、入力された画像Iのみによっては、シャドー画像にある照度Sの解析解が得られない。よって、理論的には、シャドーの検知を行うことはできない。しかし、実際には、肉眼では画像中のシャドー領域が区別でき、これは、シャドー領域をある程度識別できる特性が存在していることを意味する。

前述したことを鑑みて、本発明の目的は、画像におけるシャドーを検知することができる検知装置及び検知方法を提供することにある。

なお、本発明はカメラのホワイトバランス処理に応用できるが、リアルタイムの処理が必要である。そのため、画像中の色特性だけを用いてシャドー領域と非シャドー領域を区別する。この方法は、顕著なシャドーが存在する場合において有効的であることが証明された。即ち、画像が晴れの場合に撮られた場合、シャドー領域と非シャドー領域との間のコントラストが高い。一方、画像が曇りの場合に撮られると、光の照射が強くないため、画像には顕著なシャドーが存在しない。この場合は、ホワイトバランス処理の観点から言えば、画像を二つの部分に分け、それぞれの部分に対してホワイトバランス処理を行う必要がない。

本発明は、上記の二つの場合、即ち、曇り（または雨）の日に撮った画像の場合と晴れの日に撮った画像の場合に係るものであるが、実際には、より多くのシーン、例えば室内と室外に分類されたシーンを考慮することも可能である。また、室内シーンと室外シーンを区別することができる従来技術は既に存在するので、本発明は、室内シーンと室外シーンを区別することができる従来技術と組合せることにより、まず、画像に対して室内シーンか室外シーンかの判断を行い、それから、室外シーンの画像に対してシャドー検知処理を行うこともできる。なお、以下、室外シーンの画像のみについて説明を行う。

本発明は、デジタルカメラに用いる新しいシャドー検知方法を開示する。上記で記載したように、理論上では、シャドー検知が悪条件問題であるので、解析解が得られない。しかし、統計的な角度から見ると、特性によってはシャドーをある程度識別可能である。例えば、一般的にはシャドーは暗い。よって、本発明では、機械学習による方法を利用してシャドー検知の問題を解決する。

まず、シャドーと非シャドーの二種類のサンプルの分布を解析することによって、シャドー画素と非シャドー画素を区別可能な色特性集合を見つける。この色特性集合には、輝度、彩度、及び、RGB空間中での青色の分量と赤色の分量の比などが含まれる。次に、予めに収集したサンプル集合に基づいて分類器を作成する。ここで、分類器の入力としては、前記色特性集合にある値で構成した固有ベクトルであってもよい。分類器からは、属性値（シャドーと非シャドー）が出力される。画像にシャドー領域と日照領域（通常、晴れの日にシャドーが生じる）が含まれる場合は、画像全体のコントラストが高いので、前述した機械学習に基づいた方法によってよい効果が得られる。しかし、画像のコントラストが低い（例えば、曇りの日に撮った画像にはシャドーがない）場合は、前述した方法を使用すると正しくない分類結果を多く生成することがある。

そのため、シャドーと非シャドーを分類する前にシーンの識別ステップを加えて、晴れの日以外に撮った画像にフィルタをかける。一般的には、これらの画像にはシャドーが含まれていないので、シャドー領域と非シャドー領域のふたつの部分に分けてそれぞれに対してホワイトバランス処理を行う必要がない。また、多くの場合、シーンの識別分類に関する技術では、例えば、方向ヒストグラム又は局所二値パターン（Local Binary Pattern）のような複雑なテクスチャ特徴量を使用する。これらの特徴量は複雑すぎるため、カメラのハードウェア環境下での計算に適さない。

本発明の実施例によれば、カメラの撮影パラメータ（例えば、感光度、開口数及び露出時間）により画像の輝度を補正し、それから、補正された輝度及び色特性により分類器を作成することにより、入力される画像が晴れの日のものかどうかを予測することができる。また、画像分割に基づいて後処理操作を設けることにより、シャドーの分割結果を改良することもできる。ここで、各分割領域に対して唯一の類別属性を設定する。

デジタルカメラのハードウェアの処理能力及びその後のホワイトバランス処理のニーズを考慮し、入力される画像を同じ大きさのブロックに分け、シャドー検知と画像分割とを共にブロック単位で処理する。本発明の実施例では、デジタルカメラに、一定の大きさの画像ブロックの平均輝度と色値を測定するためのハードウェアが組み込まれている。

前述した目的を達成するために、本発明の一側面によれば、画像におけるシャドーを検知する装置が提供される。

前記装置は、輝度チャンネル、赤チャンネル、緑チャンネル及び青チャンネルを含むマルチチャンネル画像を生成する撮像モジュールと、前記撮像モジュールに設けられた撮影パラメータの影響を避けるよう前記マルチチャンネル画像における輝度チャンネルの値を補正し、補正後のマルチチャンネル画像を出力する輝度補正モジュールと、補正後のマルチチャンネル画像に基づいて算出した全体特性により、補正後のマルチチャンネル画像に対してシャドー検知を行う必要があるかどうかを判断するシーン分類モジュールと、前記シーン分類モジュールによりシャドー検知を行う必要があると判断される補正後のマルチチャンネル画像の各画素の類別を識別し、シャドー類別標記マトリックスを生成するシャドー検知モジュールと、前記撮像モジュールにより生成されたマルチチャンネル画像を、各領域内の画素が相似な色値を有する複数の領域に分割し、同一領域に属する画素が同じ領域標記値を有する領域標記マトリックスを生成する領域分割モジュールと、前記シャドー検知モジュールにより出力されたシャドー類別標記マトリックスと前記領域分割モジュールにより出力された領域標記マトリックスとを結合し、更新後のシャドー類別標記マトリックスを出力する後処理モジュールと、を含む。

また、本発明の他の側面によれば、画像におけるシャドーを検知する方法が提供される。

前記方法は、輝度チャンネル、赤チャンネル、緑チャンネル及び青チャンネルを含むマルチチャンネル画像を生成する撮像ステップと、前記撮像ステップに設けられた撮影パラメータの影響を避けるよう前記マルチチャンネル画像における輝度チャンネルの値を補正し、補正後のマルチチャンネル画像を出力する輝度補正ステップと、補正後のマルチチャンネル画像に基づいて算出した全体特性により、補正後のマルチチャンネル画像に対してシャドー検知を行う必要があるかどうかを判断するシーン分類ステップと、前記シーン分類ステップによりシャドー検知を行う必要があると判断される補正後のマルチチャンネル画像の各画素の類別を識別し、シャドー類別標記マトリックスを生成するシャドー検知ステップと、前記撮像ステップにより生成されたマルチチャンネル画像を、各領域内の画素が相似な色値を有する複数の領域に分割し、同一領域に属する画素が同じ領域標記値を有する領域標記マトリックスを生成する領域分割ステップと、前記シャドー検知ステップにより出力されたシャドー類別標記マトリックスと前記領域分割ステップにより出力された領域標記マトリックスとを結合し、更新後のシャドー類別標記マトリックスを出力する後処理ステップと、を含む。

本発明は、画像におけるシャドーを検知することができる検知装置及び検知方法を提供する。

本発明の実施例に基づくシャドー検知装置のブロック図である。 16×16画素ブロックに均等分割した画像である。 図２に示した画像に対応する低解像度画像の輝度及び色値(L、R、G、B)を示す図である。 輝度補正なしの場合における晴れの日と曇りの日の二種類のサンプルの平均値及び標準偏差を示す図である。 輝度補正ありの場合における晴れの日と曇りの日の二種類のサンプルの平均値及び標準偏差を示す図である。 シーン分類処理のフローチャートである。 晴れの日の画像に関するstd_BR特性のヒストグラムの例を示す図である。 曇りの日の画像に関するstd_BR特性のヒストグラムの例を示す図である。 シャドー画素と非シャドー画素の三つの色特性に関する例を示す図である。 シャドー検知処理のフローチャートである。 領域分割処理のフローチャートである。 後処理モジュールの処理フローチャートである。 シャドー検知モジュールにより出力されたシャドー類別標記マトリックスを示す図である。 領域分割モジュールにより出力された領域標記マトリックスを示す図である。 後処理モジュールにより出力された更新後のシャドー類別標記マトリックスを示す図である。

以下、図面を参照して本発明の好適な実施例について詳細に説明する。

図１に示すように、本発明に係る実施例におけるシャドー検知ユニットは、撮像モジュール１０と、輝度補正モジュール１１と、シーン分類モジュール１２と、シャドー検知モジュール１３と、領域分割モジュール１４と、後処理モジュール１５と、シーン分類器データ１６と、シャドー分類器データ１７とを含む。撮像モジュール１０は、カメラによりシーンを撮影する時に画像信号を生成する。輝度補正モジュール１１は、露出時間、感光度（ISO）及び開口数（F値）などの撮影パラメータを用いて、撮像モジュール１０で生成した画像信号を補正し、画像輝度に対してより精確な測定値を得る。シーン分類モジュール１２は、シーン分類器データ１６を画像データに適用して、生成された画像信号に対してシャドー検知処理を行う必要があるかどうかを判断し、言い換えれば、該モジュールは、シャドーを明らかに含まない画像（曇りの日又は雨の日に撮った画像）をフィルタリングする。シャドー検知モジュール１３は、シャドーを含む可能性のある画像に対して、シャドー分類器データ１７を使用することにより画像中の画素をシャドー画素と非シャドー画素の二種類の画素に分ける。領域分割モジュール１４は、撮像モジュールで生成した画像信号を複数の領域に分割する。分割された各領域にある画素は、近い色値を有する。後処理モジュール１５は、領域分割モジュール１４による結果とシャドー検知モジュール１３による結果を結合することにより、近い色値を持ち且つ近隣する画素に同じシャドー又は非シャドーの類別属性を持たせる。

撮像モジュール１０は、シャドー検知用の画像信号を生成する。該画像は、フルサイズの写真（通常、数百万画素を含む）であってもよい。しかし、ホワイトバランスを応用するときは、リアルタイム処理の要求を満たすために、シャドー検知をより粗い解像度で実現する。実際には、本発明の実施例において、使用する画像信号の解像度が16×16画素であってもよく、そのうち一つの画素は、７百万画素のフルサイズ画像における204×153画素に相当するブロックに対応する。図２は、フルサイズの画像を示す。図３は、図２に対応する、輝度チャンネル、赤チャンネル、緑チャンネル及び青チャンネルの４つのチャンネルを含むシャドー検知用の16×16画素の画像を示す。該低解像度画像の信号は、カメラのハードウェアからリアルタイムに直接取得されてもよく、各対応する画像ブロックの平均値を計算することにより最後に結像されたフルサイズの画像から計算により取得されてもよい。後者の場合は、輝度チャンネルの値Lは、赤チャンネルの値Rと、緑チャンネル値のGと、青チャンネル値のBとにより、例えば、下記の数式２を用いて得ることができる。

また、赤チャンネルの値R、緑チャンネルの値G又は青チャンネルの値BをLに直接付与することにより得ることもできる。即ち、L=R、L=G又はL=Bとしてもよい。

カメラの撮影パラメータは、撮像モジュール１０により生成された画像信号の輝度に影響を与える。撮影理論によれば、輝度値は、露出時間（e）、ISO値（iso）および開口数（F値）に影響を受ける。輝度補正モジュール１１は、下記の数式３により、入力された画像信号の輝度値を補正する。

ここで、LとL_cは、それぞれ、補正前と補正後の輝度値であり、e、iso及びFは、それぞれ、カメラが撮像時に使用した露出時間、ISO値及び開口数（F値）であり、e_ref、iso_ref及びF_refは、対応する三つの参照値である。本発明の一実施例では、e_ref=1/200、iso_ref=200およびF_ref=4のように設定されても良い。

また、係数ｋを数式３に加えても、本発明の実施に影響はない。例えば、

また、輝度補正モジュール１１は、e、iso及びFのうち一つ又は二つだけにより補正することもできる。例えば、

輝度補正の効果は、補正あり又は補正なしの場合におけるサンプルの輝度の分布の変化を分析することにより分かる。例えば、晴れの日に撮った画像と曇り／雨の日に撮った画像との二つの画像を使用し、各画像中の画素の輝度平均値と標準偏差を計算する。経験によると、晴れの場合と比べ、曇りの場合の画像は一般的に輝度が暗く、かつコントラストが小さい（即ち、標準偏差が小さい）。図４は、補正なしの場合における前記二つの画像の輝度平均値と標準偏差の分布を示し、ここで、「○」が曇り／雨の画像サンプルを表し、「＊」が晴れの画像サンプルを表す。この分布図には、二種類のサンプルが予測のように良好的に区分されていない。これは、カメラが自動的にe、iso、F値を調整して画像全体の輝度に一定の補償を与えることで、両者間の境界をぼやけさせたからである。図５は、輝度が補正された後に、よく区分された二種類のサンプルの輝度の分布を示す。

シーン分類モジュール１２は、シャドー検知処理を行う必要がある画像を選別する。シーン分類モジュール１２は、補正後のマルチチャンネル画像を入力するための第一入力モジュールと、補正後のマルチチャンネル画像の輝度チャンネルの値の平均値と標準偏差を計算し、それぞれを第１特性と第２特性とする第１特性計算モジュールと、補正後のマルチチャンネル画像に基づいて、青チャンネルの値（B分量）と赤チャンネルの値（R分量）の比を計算し、BRマトリックスを得るBRマトリックス計算モジュールと、BRマトリックスの標準偏差を計算し、それを第３特性とする第２特性計算モジュールと、第１特性、第２特性及び第３特性を事前にトレーニングされたシーン分類器に入力し、信頼度を得る信頼度計算モジュールと、を含むように構成される。前記信頼度が予め設定された閾値を超える場合は、入力された補正後のマルチチャンネル画像をシャドー検知モジュールに出力し、シャドー検知処理を行う。前記信頼度が予め設定された閾値を超えない場合は、シャドー検知処理を行わない。

図６は、シーン分類モジュール１２による処理のフローチャートを示す。ステップS120では、それぞれが同じく16×16画素の画像マトリックスであるLc、R、G及びBの４つのチャンネルの値を含むマルチチャンネル画像を入力する。ここで、Lcは、輝度補正モジュール１１により補正されたものである。ステップS121では、Lcマトリックスの輝度値の平均値m_Lと標準偏差std_Lを計算し、それぞれをシーン分類用の第１特性と第２特性とする。ステップS122では、BマトリックスとRマトリックスに基づいて計算によりもう一つのマトリックスBRを得る。ここで、BRにある要素BR(i,j)の値が、対応するB分量とR分量の比と定義され、例えば、下記の数式４のようである。ここで、iとjは、それぞれ、マトリックス中の要素の行、列番号である。

ステップS123では、BRマトリックスの標準偏差std_BRを計算し、それを第３分類特性とする。上記三つの特性は、実験により選ばれる最適なものである。図５は、特性m_Lとstd_Lは、晴れと曇りの二種類のサンプルに対する区分能力を有することを示している。図７Aと図７Bは、それぞれ、二種類のサンプルのstd_BR特性の分布のヒストグラムを示す。ここで、図７Aは、晴れの日の画像のヒストグラムであり、図７Bは、曇りの日の画像のヒストグラムである。図７Aと図７Bによれば、晴れの日の画像の多くではstd_BRが大きく、曇りの日の画像の多くではstd_BRが小さい。従って、この三つの特性は共に晴れと曇りの画像を区分できる能力を持つことを表している。そこで、これらの特性を結合して、単独の特性のみを使う場合と比べてより良い結果を得ることが期待される。

そこで、経験によりいくつかの固定の閾値を設定することによって、三次元の特性空間における前述の二種類のサンプルの境界面を確定することができる。或いは、より精確的な方法としては、事前に、それぞれ一種類の画像だけを含む二つのサンプル集合を取得し、機械学習の方法により、この二つのサンプル集合から分類境界面を得ることである。

本発明の一実施例では、サポートベクターマシン(SVM)方法を使用して前述の分類境界面を得る。トレーニング段階では、二つのサンプル集合を取得し、そのうち、正例（Positive Example）サンプル集合は、晴れの日の画像しか含まず、負例（Negative Example）のサンプル集合は、曇りの日の画像しか含まない。各サンプル画像（番号がi）に対して、ひとつの固有ベクトルv_iを計算する。v_i={m_L(i),std_L(i),std_BR(i)}である。ここで、m_L(i)とstd_L(i)は、それぞれ、i番目のサンプルの輝度の平均値と標準偏差であり、std_BR(i)は、i番目のサンプルのBRマトリックスの標準偏差である。本発明の他の実施例では、特性m_Lとstd_Lだけにより晴れと曇りの画像を分類することもできる。この場合、v_i={m_L(i),std_L(i)}になる。

n個の正例のサンプルとm個の負例のサンプルがあり、k=n+mとすると、一つのベクトル集合V={v_i},i=1・・・ｋと一つの標記集合Y={y_i},i=1・・・kが得られる。ここで、y_iは、固有ベクトルv_iに対応するサンプルの類別標記であり、下記の数式５により定義される。

サポートベクターマシン(SVM)方法では、核関数（カーネル関数）Kの選定が要求される。本発明の実施例では、下記の数式６に示すようなガウス関数を核関数とする。

ここで、パラメータσは、予め確定された定数であり、例えば、σ＝１である。

また、核関数としては、他の関数を選択することもできる。例えば、下記のような線形関数を選択してもよい。

ここで、<ｘ１,ｘ２>は、ベクトルｘ１とｘ２との内積であり、εは、予め確定された定数であり、例えば、ε＝1とする。

トレーニング段階では、サポートベクターマシン(SVM)アルゴリズムによりベクトル集合Vからnv個ベクトルを含むサブ集合W={w_i},i=1・・・nvを選択し、これをサポートベクター集合と称し、且つ、各w_iにウエート（weight）a_iをかける。すると、分類器関数fun1が下記の数式７により示される。

ここで、y_iは、ベクトルw_iが対応する類別標記であり、bは、トレーニングアルゴリズムにより得られた定数である。

サポートベクターマシン(SVM) アルゴリズムは、機械学習分野の周知の方法であり、例えば、非特許文献１に公開されている方法を採用することができる。

トレーニングにより得られた分類器関数及びパラメータは、シーン分類器データ１６に記憶される。

ステップS124では、シーン分類器１６に記憶された、数式７に示すような分類器関数fun1に基づいて、下記の数式８によりベクトルvの信頼度Cf(v)を計算することができる。

ここで、Cfは、区間[0，1]の間の値である。入力された固有ベクトルvは、下記の数式９によりCfと事前に確定された閾値T_cとを比較することにより、vの類別標記y_vが得られる。

T_c=0.5の場合、分類器は、同じ確率で晴れの日の画像と曇りの日の画像の予測を生成する（即ち、どっちかに偏ることが無い）。T_cが0.5より大きい場合、分類器は、晴れの日の画像に偏る予測を生成する。T_cが0.5より小さい場合、分類器は、曇りの日の画像に偏る予測を生成する。

入力された画像信号に対しては、信頼度Cfが閾値T_cより小さい場合、該画像がシャドー検知処理を行う必要の無い曇りの日の画像であると認定され、そして、ステップS125にて処理プロセスを終了する。信頼度Cfが閾値T_cより大きい場合は、晴れの日の画像であると認定され、そして、ステップS126にて画像信号をシャドー検知モジュール１３に送る。

シャドー検知モジュール１３は、各画素の色特性に基づいて、入力された画像の各画素をシャドースポットと非シャドースポットに分類する。通常、画像におけるシャドー領域は、以下の特性を有する。即ち、シャドーの輝度（補正後の輝度）は低いので、Lcの値が小さく、また、シャドーの色が通常青色に偏るので、青色の分量の割合が高い。

また、カメラの特性撮像特性によると、一般的には、画像中、遠方の背景の彩度が低く、近辺のシーンの彩度が高い。よって、近辺のシーンのシャドーのみを考慮する場合（通常のホワイトバランス処理の場合）は、彩度も分類特性の一つとすることができる。

本発明の一実施例では、補正後の輝度（Lc）、彩度（S）、及び、青色の分量と赤色の分量の比（B／R）の三つの色特性を考慮する。入力された画像信号は、それぞれ、補正後の輝度、赤色成分、緑色成分及び青色成分に対応するLc、R、G及びBの４つのチャンネルの値を有し、各チャンネルは、16×16画素の画像マトリックスである。画像における各位置(i,j)に対して、iとjは、それぞれ、画像における画素の横縦位置を表し、上記三種類の色特性を計算することにより、固有ベクトルP(i,j)が得られる。

ここで、L_c(i,j)は、位置(i,j)における補正後の輝度の値であり、R(i,j)、G(i,j)、B(i,j)は、それぞれ、該位置(i,j)におけるR、G、Bの値である。BR(i,j)は、下記の数式１１により、S(i,j)は、下記の数式１２により計算される。

また、彩度S(i,j)の計算は、数式１２と異なる式を用いることもできる。例えば、

ここで、maxとminは、それぞれ、R(i,j)、G(i,j)及びB(i,j)の値のうち最大値と最小値である。

他の実施例では、補正後の輝度（L_c）と彩度（S）の二つの色特性のみを考慮することもできる。この場合、P(i,j)=[L_c(i,j),S(i,j)]である。

図８は、シャドー画素と非シャドー画素の前記三種類の特性値の分布を示す。ここで、「＊」はシャドー画素を、「○」は非シャドー画素を示す。

シャドー検知モジュール１３は、補正後のマルチチャンネル画像を入力する第二入力モジュールと、補正後のマルチチャンネルの各画素に対して一つの固有ベクトルを計算する第三特性計算モジュールと、前記第三特性計算モジュールの計算により得られた固有ベクトルと予めにトレーニングにより得られたシャドー分類器に基づいてマルチチャンネル画像の各画素のシャドー又は非シャドーの類別を計算し、シャドー類別標記マトリックスを生成するシャドー類別標記マトリックス計算モジュールと、を含む。前記シャドー類別標記マトリックスにおいては、シャドーと認定された画素に第一標記値が付与され、非シャドーと認定された画素に第二標記値が付与される。

図９は、シャドー検知モジュール１３の処理フローチャートを示す。まず、ステップS130では、入力された画像信号を得る。次に、ステップS131では、入力された画像における各画素(i,j)に対して、数式１０〜数式１２により、固有ベクトルP(i,j)を計算する。ステップS132では、シャドー分類器１７に記憶されたシャドー分類器関数により、各画素(i,j)の属性（シャドー又は非シャドー）を予測する。処理された各画素(i,j)に対して、類別標記Z(i,j)を提供し、ここで、値１はシャドーを、値０は非シャドーを表す。ステップS133では、該類別標記マトリックスZを出力する。

非特許文献１を参照する。シーン分類器に使用されるサポートベクターマシンを作る方法を採用することにより、シャドー分類器データ１７を類似的に作成することができる。ここで、第二分類器関数fun2を用いる。

ここで、mvは、シャドー分類器のトレーニングプロセスにおいて得られた分類器のサポートベクターの数であり、f_iは、サポートベクターであり、y_siは、サポートベクターf_iに対応する類別標記であり（1がシャドーを、0が非シャドーを意味する）、a_siとb_sは、トレーニングプロセスにおいて得られたパラメータである。K_sは、シャドー分類器に用いられる核関数である。本発明の一実施例では、K_sを下記の数式１４のようなガウス関数と定義する。

ここで、σ_sは、予めに決定された定数であり、例えば、σ_s=1とする。

核関数は、他の関数を選択してもよい。例えば、線形関数を選択することができる。

ここで、<x1,x2>は、ベクトルx1とx2の内積であり、εは、予め確定された定義であり、例えば、ε＝1とする。

ステップS132では、シャドー分類器データ１７に記憶された、数式１３のような分類器関数fun2に基づいて、下記の数式１５により画素(i,j)の類別標記Z(i,j)を計算する。

ここで、P(i,j)は、画素(i,j)に対応する固有ベクトルである。類別標記Z(i,j)が１である場合は、画素(i,j)がシャドーであることを表し、類別標記Z(i,j)が０である場合は、画素(i,j)が非シャドーであることを表す。

しかし、シャドー検知モジュール１３の出力には誤って分類する場合もある。例えば、天空領域の色が青色に偏りかつ輝度が低いときは、シャドーと間違えられる場合もある。空間位置においては、隣接しかつ近い色を持つ画素が同じくシャドーあるいは同じく非シャドーであることが一般的である。これに基づいて、領域分割モジュール１４は画像を複数の領域に分け、ここで、各領域における画素は、相似的な色値を有する。また、後処理モジュール１５は、シャドー検知モジュール１３の出力と領域分割モジュール１４の結果を結合することによりシャドー検知の結果を改善する。

後処理モジュール１５は、シャドー検知モジュール１３が生成したシャドー類別標記マトリックスを入力するための第三入力モジュールと、領域分割モジュール１４が生成した領域標記マトリックスを入力するための第四入力モジュールと、領域標記マトリックスの各領域に対して、シャドー類別標記マトリックスの対応領域の、第一標記値を有する要素数N₀と第二標記値を有する要素数N₁とを計算し、N₀とN₁の値に基づいてシャドー類別標記マトリックスの前記対応領域における要素をすべて第一標記値あるいは第二標記値に更新するシャドー類別標記更新モジュールと、を含むように構成される。

図１０は、領域分割モジュール１４の処理フローチャートを示す。まず、入力された画像のサイズと同じ領域標記マトリックスMを設け、ここで、領域標記マトリックスMの各要素は、入力された画像中の画素に対応する。領域標記マトリックスM中の要素は、すべて０に初期化される。また、変数Cは、現在分配される領域標記を記録するために用いられる。Cは、０に初期化される。

分割段階においては、Mにおける各要素(x,y)を順に考慮していく。M(x,y)が０である場合は、現在の標記CにM(x,y)を付与するとともに、(x,y)を種子ポイントとしてその隣接領域へ領域成長させる。ここで、隣接する二つの画素(x₀,y₀)と(x_i,y_i)との併合条件は、下記数式１６に示される。

ここで、dは、予め設定された閾値である。

(x,y)からスタートした領域成長が完成した後に、(x,y)に近い且つ類似的な輝度値を有する画素がひとつの領域に併合され、該領域におけるすべての画素が同じ標記を有する。領域標記値がM中のすべての要素に付与された後に、画像は、C_T個の領域に併合される。ここで、C_Tは、図１０における処理フローの完了後の変数Cの最終値である。

図１１は後処理プロセスを示す。ステップS151では、シャドー検知モジュール１３により出力されたシャドー類別標記マトリックスZを入力する。ここで、１がシャドー画素を、０が非シャドー画素を表す。ステップS152では、領域分割モジュール１４により出力された領域標記マトリックスMを入力する。Mには、C_T個の異なる領域が含まれる。ステップS153では、MにC_iと標記される領域R_i（ｉは、１とC_Tの間の索引値である）に対して、Zの対応する位置上に値が１である要素の数（N₁と記す）及び値が０である要素の数（N₀と記す）を計算する。N₀>N₁の場合は、Zにおける領域R_iと対応する位置上の値をすべて０に設定し、そうでない場合は、１に設定する。ステップS154では、最終的なシャドー検知の結果として、更新後のシャドー類別標記マトリックスZを出力する。

図１２A乃至図１２Cは、後処理の一例を示す。図１２Aは、シャドー検知モジュール１３により出力されたシャドー類別標記マトリックスZを示す。図１２Bは、領域分割モジュール１４により出力された領域標記マトリックスMを示す。ここで、グレー領域が第一領域C₁に属し、白領域が第二領域C₂に属する。図１２Cは、更新後のシャドー類別標記マトリックスを示す。上記で説明した後処理により、C₁におけるすべての要素は０に、C₂におけるすべての要素は１に設定される。

本発明の実施例によれば、処理された画像は、16×16画素であるが、当業者にとっては、画像成像モジュール１０のハードウェアおよび実際のニーズ（例えば、時間など）に応じて、異なる画素数を選択するのが容易である。

以上のように説明した一連の操作は、ハードウェア、ソフトウェア、或いは、ハードウェアとソフトウェアの組み合わせにより実行できる。ソフトウェアにより該一連の操作を実行させる場合、そのプログラムを、専用ハードウェアに内蔵するメモリにインストールすれば、コンピューターにより実行させられる。または、プログラムを、各種の処理を実行できる応用コンピューターにインストールすることによって、該プログラムを実行させることもできる。

例えば、コンピュータープログラムを予めに記録媒体であるハードディスクまたはROMに保存してもよいし、FD、CD−ROM、MO、DVD、ディスク、半導体メモリのような移動可能な記録媒体に一時的あるいは永久的に保存してもよい。また、これらの移動可能な記録媒体をパッケージ・ソフトウェアとして提供することもできる。

以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の範囲に属する。

米国出願特許公開 Ｎｏ．２００７／０１１０３０９ Ａ１ 米国特許 Ｎｏ．７，３０５，１２７ Ｂ２

V. Vapnik, The nature of statistical learning theory, Spring-Verlag, New York, 1995

Claims (28)

1. 輝度チャンネル、赤チャンネル、緑チャンネル及び青チャンネルを含むマルチチャンネル画像を生成する撮像モジュールと、
   前記撮像モジュールで用いられた撮影パラメータに基づいて、前記マルチチャンネル画像における輝度チャンネルの値を補正し、補正後の前記マルチチャンネル画像を出力する輝度補正モジュールと、
   補正後の前記マルチチャンネル画像に基づいて算出した特性値により、補正後の前記マルチチャンネル画像に対してシャドー検知を行うか否かを判断するシーン分類モジュールと、
   前記シーン分類モジュールによりシャドー検知を行うと判断された補正後の前記マルチチャンネル画像における各画素のシャドーか非シャドーかの類別を判断し、該判断した類別に基づきシャドー類別標記マトリックスを生成するシャドー検知モジュールと、
   前記撮像モジュールにより生成された前記マルチチャンネル画像を、各領域内の画素が相似な色値を有する複数の領域に分割し、同一領域に属する画素が同じ領域標記値を有する領域標記マトリックスを生成する領域分割モジュールと、
   前記シャドー検知モジュールにより出力された前記シャドー類別標記マトリックスと、前記領域分割モジュールにより出力された前記領域標記マトリックスとを用いて、前記シャドー類別標記マトリックスを更新し、更新後の前記シャドー類別標記マトリックスを出力する後処理モジュールと、
   を含む、
   ことを特徴とする、画像におけるシャドーを検知する装置。
2. 前記撮像モジュールにより生成された前記マルチチャンネル画像の輝度チャンネルの値は、前記赤チャンネルの値、前記緑チャンネルの値及び前記青チャンネルの値に加重平均を行うことにより得られる、
   ことを特徴とする、請求項１に記載の装置。
3. 前記輝度補正モジュールにより補正された前記マルチチャンネル画像は、元の前記マルチチャンネル画像の輝度チャンネルの値に所定の係数を掛けることにより得られる、
   ことを特徴とする、請求項１に記載の装置。
4. 前記所定の係数は、前記撮像モジュールが前記マルチチャンネル画像を撮影した時に使用した露出時間、開口数及び感光度により確定される、
   ことを特徴とする、請求項３に記載の装置。
5. 前記シーン分類モジュールは、補正後の前記マルチチャンネル画像より得られた前記特性値に基づいて、補正後の前記マルチチャンネル画像を晴れの日の画像と曇りの日の画像とに分類する、
   ことを特徴とする、請求項１に記載の装置。
6. 前記シーン分類モジュールにおいて、前記特性値は、補正後の前記輝度チャンネルの値の平均値と標準偏差値、及び、前記青チャンネルの値と前記赤チャンネルの値との比の標準偏差値を含む、
   ことを特徴とする、請求項１に記載の装置。
7. 前記シーン分類モジュールは、
   補正後の前記マルチチャンネル画像を入力する第一入力モジュールと、
   補正後の前記マルチチャンネル画像の輝度チャンネルの値の平均値と標準偏差を計算し、当該平均値と当該標準偏差をそれぞれ第一特性と第二特性とする第一特性計算モジュールと、
   補正後の前記マルチチャンネル画像に基づいて、対応する画素における青チャンネルの値と赤チャンネルの値との比を計算し、BRマトリックスを得るBRマトリックス計算モジュールと、
   前記BRマトリックスの標準偏差を計算し、当該標準偏差を第三特性とする第二特性計算モジュールと、
   前記第一特性、前記第二特性及び前記第三特性を予めにトレーニングされたシーン分類器に入力して信頼度を求める信頼度計算モジュールであって、該信頼度が所定の閾値より大きい場合、入力された補正後の前記マルチチャンネル画像を前記シャドー検知モジュールに送ってシャドー検知処理を行わせ、該信頼度が所定の閾値より小さい場合、シャドー検知処理を行わせない信頼度計算モジュールと、
   を含む、
   ことを特徴とする、請求項１に記載の装置。
8. 前記シーン分類器は、事前に用意された、晴れの日か曇りの日に関する属性が既知である複数の画像からなる画像集に対して分類器トレーニング方法によりトレーニングを行うことによって得られる、
   ことを特徴とする、請求項７に記載の装置。
9. 前記シャドー検知モジュールは、
   補正後の前記マルチチャンネル画像を入力する第二入力モジュールと、
   補正後の前記マルチチャンネル画像の各画素の固有ベクトルを計算する第三特性計算モジュールと、
   前記第三特性計算モジュールにより計算された前記固有ベクトルと、事前トレーニングにより得られたシャドー分類器とによって、前記マルチチャンネル画像の各画素におけるシャドーか非シャドーに関する類別を計算し、シャドー類別標記マトリックスを生成するシャドー類別標記マトリックス計算モジュールであって、前記シャドー類別標記マトリックスにおいて、シャドーと認定される画素に第一標記値を、非シャドーと認定される画素に第二標記値を付与するシャドー類別標記マトリックス計算モジュールと、
   を含む、
   ことを特徴とする、請求項１に記載の装置。
10. 前記固有ベクトルは、補正後の前記輝度チャンネルの値と、算出された前記青チャンネルの値と前記赤チャンネルの値との比と、算出された彩度の値と、を含む、
    ことを特徴とする、請求項９に記載の装置。
11. 前記シャドー分類器は、事前に用意された、晴れの日か曇りの日に関する各画素の属性が既知である複数の画像からなる画像集に対して分類器トレーニング方法によりトレーニングを行うことによって得られる、
    ことを特徴とする、請求項９に記載の装置。
12. 前記領域分割モジュールは、前記マルチチャンネル画像の前記輝度チャンネルの値に基づいて前記マルチチャンネル画像を複数の領域に分割する、
    ことを特徴とする、請求項１に記載の装置。
13. 前記領域分割モジュールは、前記領域標記マトリックスにおいて同じ領域標記値を有する画素を同一の画像領域に構成する、
    ことを特徴とする、請求項１に記載の装置。
14. 前記後処理モジュールは、
    前記シャドー検知モジュールにより生成された前記シャドー類別標記マトリックスを入力する第三入力モジュールと、
    前記領域分割モジュールにより生成された前記領域標記マトリックスを入力する第四入力モジュールと、
    前記領域標記マトリックスにおける各領域に対して、前記シャドー類別標記マトリックスの対応領域において第一標記値を有する要素の数Ｎ₀と第二標記値を有する要素の数Ｎ₁を計算し、該Ｎ₀の値とＮ₁の値に基づいて前記シャドー類別標記マトリックスの前記対応領域における要素を全て前記第一標記値又は前記第二標記値に更新するシャドー類別標記更新モジュールと、
    を含む、
    ことを特徴とする、請求項１に記載の装置。
15. 撮像モジュールにより、輝度チャンネル、赤チャンネル、緑チャンネル及び青チャンネルを含むマルチチャンネル画像を生成する撮像ステップと、
    輝度補正モジュールにより、前記撮像モジュールに設けられた撮影パラメータの影響を避けるために、前記マルチチャンネル画像における輝度チャンネルの値を補正し、補正後の前記マルチチャンネル画像を出力する輝度補正ステップと、
    シーン分類モジュールにより、補正後の前記マルチチャンネル画像に基づいて算出した全体特性に基づいて、補正後の前記マルチチャンネル画像に対してシャドー検知を行う必要があるかどうかを判断するシーン分類ステップと、
    シャドー検知モジュールにより、前記シーン分類ステップでシャドー検知を行う必要があると判断された補正後の前記マルチチャンネル画像における各画素の類別を判断し、シャドー類別標記マトリックスを生成するシャドー検知ステップと、
    領域分割モジュールにより、前記撮像ステップで生成された前記マルチチャンネル画像を、各領域内の画素が相似な色値を有する複数の領域に分割し、同一領域に属する画素が同じ領域標記値を有する領域標記マトリックスを生成する領域分割ステップと、
    後処理モジュールにより、前記シャドー検知ステップで出力された前記シャドー類別標記マトリックスと、前記領域分割ステップで出力された前記領域標記マトリックスと、を結合し、更新後の前記シャドー類別標記マトリックスを出力する後処理ステップと、
    を含む、
    ことを特徴とする、画像におけるシャドーを検知する方法。
16. 前記撮像ステップで生成された前記マルチチャンネル画像の輝度チャンネルの値は、前記赤チャンネルの値、前記緑チャンネルの値及び前記青チャンネルの値に加重平均を行うことにより得られる、
    ことを特徴とする、請求項１５に記載の方法。
17. 前記輝度補正ステップで補正された前記マルチチャンネル画像は、元の前記マルチチャンネル画像の輝度チャンネルの値に所定の係数を掛けることにより得られる、
    ことを特徴とする、請求項１５に記載の方法。
18. 前記所定の係数は、前記撮像ステップで前記マルチチャンネル画像を撮影した時に使用した露出時間、開口数及び感光度により確定される、
    ことを特徴とする、請求項１７に記載の方法。
19. 前記シーン分類ステップでは、補正後の前記マルチチャンネル画像より得られた前記全体特性に基づいて、補正後の前記マルチチャンネル画像を晴れの日の画像と曇りの日の画像とに分類する、
    ことを特徴とする、請求項１５に記載の方法。
20. 前記シーン分類ステップでは、前記全体特性は、補正後の前記輝度チャンネルの値の平均値と標準偏差値、及び、前記青チャンネルの値と前記赤チャンネルの値との比の標準偏差値を含む、
    ことを特徴とする、請求項１５に記載の方法。
21. 前記シーン分類ステップは、
    第一入力モジュールにより、補正後の前記マルチチャンネル画像を入力する第一入力ステップと、
    第一特性計算モジュールにより、補正後の前記マルチチャンネル画像の輝度チャンネルの値の平均値と標準偏差を計算し、当該平均値と当該標準偏差をそれぞれ第一特性と第二特性とする第一特性計算ステップと、
    BRマトリックス計算モジュールにより、補正後の前記マルチチャンネル画像に基づいて、対応する画素における青チャンネルの値と赤チャンネルの値との比を計算し、BRマトリックスを得るBRマトリックス計算ステップと、
    第二特性計算モジュールにより、前記BRマトリックスの標準偏差を計算し、当該標準偏差を第三特性とする第二特性計算ステップと、
    信頼度計算モジュールにより、前記第一特性、前記第二特性及び前記第三特性を予めにトレーニングされたシーン分類器に入力して信頼度を求める信頼度計算ステップであって、該信頼度が所定の閾値より大きい場合、入力された補正後の前記マルチチャンネル画像を前記シャドー検知モジュールに送ってシャドー検知処理を行わせ、さもなければ、シャドー検知処理を行わせない信頼度計算ステップと、
    を含む、
    ことを特徴とする、請求項１５に記載の方法。
22. 前記シーン分類器は、事前に用意された、晴れの日か曇りの日に関する属性が既知である複数の画像からなる画像集に対して分類器トレーニング方法によりトレーニングを行うことによって得られる、
    ことを特徴とする、請求項２１に記載の方法。
23. 前記シャドー検知ステップは、
    第二入力モジュールにより、補正後の前記マルチチャンネル画像を入力する第二入力ステップと、
    第三特性計算モジュールにより、補正後の前記マルチチャンネル画像の各画素の固有ベクトルを計算する第三特性計算ステップと、
    シャドー類別標記マトリックス計算モジュールにより、前記第三特性計算ステップで計算された前記固有ベクトルと、事前トレーニングにより得られたシャドー分類器とによって、前記マルチチャンネル画像の各画素におけるシャドーか非シャドーに関する類別を計算し、シャドー類別標記マトリックスを生成するシャドー類別標記マトリックス計算ステップであって、前記シャドー類別標記マトリックスにおいて、シャドーと認定される画素に第一標記値を、非シャドーと認定される画素に第二標記値を付与するシャドー類別標記マトリックス計算ステップと、
    を含む、
    ことを特徴とする、請求項１５に記載の方法。
24. 前記固有ベクトルは、補正後の前記輝度チャンネルの値と、算出された前記青チャンネルの値と前記赤チャンネルの値との比と、算出された彩度の値と、を含む、
    ことを特徴とする、請求項２３に記載の方法。
25. 前記シャドー分類器は、事前に用意された、晴れの日か曇りの日に関する各画素の属性が既知である複数の画像からなる画像集に対して分類器トレーニング方法によりトレーニングを行うことによって得られる、
    ことを特徴とする、請求項２３に記載の方法。
26. 前記領域分割ステップでは、前記マルチチャンネル画像の前記輝度チャンネルの値に基づいて前記マルチチャンネル画像を複数の領域に分割する、
    ことを特徴とする、請求項１５に記載の装置。
27. 前記領域分割ステップは、前記領域標記マトリックスにおいて同じ領域標記値を有する画素を同一の画像領域に構成する、
    ことを特徴とする、請求項１５に記載の方法。
28. 前記後処理ステップは、
    第三入力モジュールにより、前記シャドー検知ステップで生成された前記シャドー類別標記マトリックスを入力する第三入力ステップと、
    第四入力モジュールにより、前記領域分割ステップで生成された前記領域標記マトリックスを入力する第四入力ステップと、
    シャドー類別標記更新モジュールにより、前記領域標記マトリックスにおける各領域に対して、前記シャドー類別標記マトリックスの対応領域において第一標記値を有する要素の数Ｎ₀と第二標記値を有する要素の数Ｎ₁を計算し、該Ｎ₀の値とＮ₁の値に基づいて前記シャドー類別標記マトリックスの前記対応領域における要素を全て前記第一標記値又は前記第二標記値に更新するシャドー類別標記更新ステップと、
    を含む、
    ことを特徴とする、請求項１５に記載の方法。