JP2011003180A - 画像収集装置に用いる天空検出装置及び方法 - Google Patents

Abstract

【課題】画像収集装置に用いられる天空検出装置と方法を提供する。
【解決手段】天空検出装置は、カラー画像の情報を収集する画像収集ユニットと、収集された画像から画素毎に色特徴を抽出する色特徴抽出ユニットと、収集された画像の画素からレンズまでの距離を画素毎に測定する距離測定ユニットと、前記色特徴に基づき、収集された画像の画素を画素毎に天空画素または非天空画素に分類する第1分類ユニットと、距離測定ユニットによる結果と第1分類ユニットによる結果とに基づき、収集された前記画像の画素を改めて画素毎に天空画素または非天空画素に分類する第２分類ユニットと、を備える天空検出装置である。
【選択図】図１

Description

本発明は画像処理とパターン認識に関し、詳しく、画像収集装置における天空検出装置及び方法に関する。

従来、カメラや撮像装置等の画像収集装置において天空を検出する技術が開発されている。例えば、特許文献１において画像に天空を検出する方法が開示されている。その方法として、まず色に基づいて天空画素の分類を行い、そして、可能な天空画素から連通領域を抽出して、テクスチャが閾値を越える領域を取り除いた領域の飽和度減衰勾配を計算し、最後に、減衰勾配が所定の閾値に合致する領域を最終の天空領域とする。

また、非特許文献１において物理モデルに基づく天空検出方法が開示されている。その方法は色に基づく分類と、領域抽出と、物理モデルに基づく天空署名検証との３つのステップを備える。

上記のような天空検出方法の計算は複雑で、天空検出をリアルタイムに行うことができない。また、これらの方法は画像における画素情報のみに基づくものであり、画像収集装置中の有用な情報を十分に利用していない。

本発明の目的は、画像収集装置において、画像の画素情報と、画像収集装置上の距離図と、画像の方向情報等を十分に利用してリアルタイムに天空検出を行う算法を提供することにある。

本発明により、画像収集装置において天空検出を行う天空検出装置であって、カラー画像の情報を収集する画像収集ユニットと、収集された前記画像から画素毎に色特徴を抽出する色特徴抽出ユニットと、収集された前記画像画素からレンズまでの距離を画素毎に測定する距離測定ユニットと、前記色特徴に基づき、収集された前記画像の画素を画素毎に天空画素または非天空画素に分類する第1分類ユニットと、前記距離測定ユニットによる結果と前記第1分類ユニットによる結果とに基づき、収集された前記画像の画素を改めて画素毎に天空画素または非天空画素に分類する第２分類ユニットと、を備える天空検出装置を提供する。

また、本発明により、前記画像収集ユニットが画像信号を収集するためのLチャンネル、Rチャンネル、Gチャンネル及びBチャンネルを有する天空検出装置を提供する。

また、本発明により、前記色特徴抽出ユニットが前記画像から画素毎に前記Rチャンネル、Gチャンネル、Bチャンネルの色データを抽出して前記色特徴とする天空検出装置を提供する。

また、本発明により、前記距離測定ユニットが異なる焦点距離で画像を撮影するよう制御するを行う撮像制御ユニットと、前記画像の各画素の異なる焦点距離での複数のコントラストを計算し、算出された複数のコントラストの中に最大となる値が対応する焦点距離を得て、該焦点距離を該画素とレンズとの間の距離とする計算ユニットと、を具備する天空検出装置を提供する。

また、本発明により、所定数の注釈済みの天空画素及び非天空画素に対してトレーニングを行うことで、第1分類ユニット用の分類器が得られる天空検出装置を提供する。

また、本発明により、前記画像における全ての画素に対して、前記第1分類ユニットより天空画素に分類され、且つ前記距離測定ユニットにより測定された距離の値が無限大となる画素は、天空画素に分類され、前記第1分類ユニットより非天空画素に分類され、または、前記距離測定ユニットにより測定された距離の値が有限の距離を表すものとなる画素は、非天空画素に分類される天空検出装置を提供する。

また、本発明により、収集された前記画像の方向情報を測定する方向測定ユニットと、前記方向測定ユニットによる結果と前記第2分類ユニットによる結果とに基づき、収集された画像の画素を画素毎に天空画素または非天空画素に分類する第３分類ユニットと、を更に備える天空検出装置を提供する。

また、本発明により、前記画像の方向情報に上向きの情報と、下向きの情報と、左向きの情報と、右向きの情報とを有する天空検出装置を提供する。

また、本発明により、前記第３分類ユニットが、前記第2分類ユニットによる分類結果を基に領域生長を行い、天空領域の候補領域を生成する領域生長ユニットと、前記方向情報に基づいて、前記天空領域の候補領域において画像方向に頂点部の画素を含む場合に、前記天空領域の候補領域における全ての画素を天空画素とし、そうでなければ、前記天空領域の候補領域において画像方向に頂点部の画素を含まない場合に、前記天空領域の候補領域における全ての画素を非天空画素にとする判断を行う合併ユニットと、を備える天空検出装置を提供する。

更に、本発明により、画像収集装置において天空検出を行う天空検出方法であって、カラー画像の情報を収集する画像収集ステップと、収集された前記画像から画素毎に色特徴を抽出する色特徴抽出ステップと、収集された前記画像の画素からレンズまでの距離を画素毎に測定する距離測定ステップと、前記色特徴に基づき、収集された前記画像の画素を画素毎に天空画素または非天空画素に分類する第1分類ステップと、前記距離測定ユニットによる結果と前記第1分類ユニットによる結果とに基づき、収集された前記画像の画素を改めて画素毎に天空画素または非天空画素に分類する第２分類ステップと、を備える天空検出方法を提供する。

また、本発明により、収集された前記画像の方向情報を測定する方向測定ステップと、前記方向測定ユニットによる結果と前記第2分類ユニットによる結果とに基づき、収集された画像の画素を画素毎に天空画素または非天空画素に分類する第３分類ステップと、を更に備える天空検出方法を提供する。

また、本発明により、前記第2分類ユニットによる分類結果を基に領域生長を行い、天空領域の候補領域を生成する領域生長ステップと、前記方向情報に基づいて、前記天空領域の候補領域において画像方向に頂点部の画素を含む場合に、前記天空領域の候補領域における全ての画素を天空画素とし、そうでなければ、前記天空領域の候補領域において画像方向に頂点部の画素を含まない場合に、前記天空領域の候補領域における全ての画素を非天空画素にとする判断を行う合併ステップと、を具備する天空検出方法を提供する。

本発明は、画像収集装置において、画像の画素情報と、画像収集装置上の距離図と、画像の方向情報等を十分に利用してリアルタイムに天空検出を行う算法を提供することができる。

本発明に係る一つの実施例による天空検出装置のブロック図である。 原始画像およびその原始画像に対応する解像度の低い画像の4つのチャンネルのデータを示す図である。 本発明に係る一つの実施例における距離測定ユニットの構成を示すブロック図である。 画素とレンズの間の距離を計算するメカニズムを示す図である。 撮像された画像及びその画像に対応する距離を示す図である。 本発明に係る一つの実施例による第２分類ユニットの操作を説明するための図である。 本発明に係る一つの実施例による天空検出方法を示すフローチャートである。 本発明に係る第2実施例による天空検出装置を示すブロック図である。 異なる方向の4つの画像を示す図である。 本発明の一つの実施例における第三分類ユニットの構成を示すブロック図である。 領域生長を実行する過程を示す実行手順例の図である。 領域生長の結果を示す図である。 本発明に係るその他の実施例の天空検出方法を示すフローチャートである。 本発明に係るその他の実施例において第三分類ユニットの操作手順を示すフローチャートである。

以下、図面を用いて本発明の実施の形態を詳細に説明する。なお、実施例おいて、同じ符号は、同じ機能を実行する同じ素子またはユニットを表す。

また、本発明より提供される天空検出装置及び方法が適用される画像収集装置として、カメラや撮像装置等がある。

図１は本発明に係る実施例１による天空検出装置のブロック図である。

図１に示すように、本発明に係る実施例１の天空検出装置1は、画像収集ユニット10と、色特徴抽出ユニット11と、距離測定ユニット12と、第一分類ユニット13と、第二分類ユニット14とより構成される。

図１に示す天空検出装置１において、色特徴抽出ユニット11と距離測定ユニット12はそれぞれ画像収集ユニット10に接続され、画像収集ユニット10からデータを入力する。第一分類ユニット13は色特徴抽出ユニット11に接続されると共に、色特徴を提供可能な天空分類器データベース15に接続され、色特徴抽出ユニット11及び天空分類器データベース15からデータを入力する。本実施例において、第一分類ユニット13に対して色特徴に基づく天空分類器データを提供する天空分類器データベース15は天空検出装置１の外部に設置される。第二分類ユニット14は距離測定ユニット12および第一分類ユニット13に接続し距離測定ユニット12および第一部類ユニット13からデータを入力する。

画像収集ユニット10はカラー画像情報を収集する。色特徴抽出ユニット11は収集された画像に対して画素毎に色特徴を抽出する。距離測定ユニット12は収集された画像に対して画素毎に画素からレンズまでの距離を測定する。第一分類ユニット13は該色特徴に基づいて、収集された画像の画素を天空画素または非天空画素のどちらかに分類する。第二分類ユニット14は該目標焦点距離と第一分類ユニットによる結果に基づいて、収集した画像に対して画素毎に天空画素または非天空画素を分類する。

画像収集ユニット10は、後続の各処理ユニットに用いられる画像データを収集し、例えば、レンズ、シャッターおよび結像用のCCD等を含んでも良い。本実施例において、画像収集ユニット10は天空検出に必要な画像信号を収集するチャンネルとして、L（明度）チャンネル、R（赤）チャンネル、G（緑）チャンネル、およびB（青）チャンネルを備える。天空検出の時は、画像収集装置のリアルタイムな処理にとって、解像度の低い画像の方がより有利である。本実施例において、解像度16×16の画像データを用いても良く、そのうち、各々の画素は、700万画素となる最終のフル画像における大きさ204×153の画像ブロックに相当する。

図2は原始画像および解像度の低い画像に対応する4つのチャンネルのデータを示す。図2（a）は最終のフル画像であり、図２（b）、図２（c）、図２（d）、図２（e）に示すのは、それぞれ、図２（a）が対応する１６×１６の画像信号である。画像において画素毎に、画素のチャンネル特徴値を表すチャンネルデータであるLチャンネルデータ、Rチャンネルデータ、Gチャンネルデータ及びBチャンネルデータを備える。解像度の低い16×16画像信号は画像収集装置のハードウェアよりリアルタイムに取ることができる。

色特徴抽出ユニット11は収集された画像に対して画素毎に色特徴を抽出する。本実施例において、上記した画素の色特徴として三次元色特徴ベクトルであるRチャンネル値、Gチャンネル値及びBチャンネル値を用いる。色特徴抽出ユニット11は画像に対して画素毎にRチャンネル、Gチャンネル及びBチャンネルの色データを抽出して色特徴とする。天空の色が通常に青色であるため、R、G及びB値をそのまま用いてもこれらの値が天空または非天空の区別がつく。

距離測定ユニット１２はCCD上に形成された画像に対して、画素毎に画素から画像収集装置のレンズまでの距離を測定する。距離の測定に関する具体的な方法について後述する。

第一分類ユニット13は、色特徴抽出ユニット11により抽出された色特徴と天空分類器データベース15により提供される天空分類器データ（天空分類器データの形成方法について後述する）に基づいて、収集された画像の画素を、天空を表す画素（以下は天空画素と称する）と天空でないことを表す画素（以下は非天空画素と称する）の二種類のどちらかに分類する。

第二分類ユニット14は、第一分類ユニット13による処理結果および距離測定ユニット12による測定結果を入力し、画素を更に天空画素と非天空画素のどちらかに分類する。

このように、第一分類ユニット13は色特徴の天空分類器データに基づいて収集された画像の画素を天空画素または非天空画素に分類する。本発明において、線形カーネル関数のサポートベクトルマシン（support vector machine, SVM）を用いて天空分類器を構築する。

本発明を適用した一つの実施例による天空検出装置を備える画像収集装置に対して、製品の出荷前に、画像収集装置毎に天空分類器についての特定のトレーニングを行い、天空分類器データを計算して取得し、更に取得した天空分類器データを予め第一分類ユニット13内にインストールする必要がある。

第一分類ユニット13に使用される上記した分類器は、一定量の注釈済みの天空画素および非天空画素に対してトレーニングを行うことによって得たものである。即ち、天空分類器のトレーニング段階において、サンプル画像に対して手動で注釈される天空画素および非天空画素を夫々正または負のサンプルとする。そして、画素毎に特徴ベクトルfiを抽出する。例えば、n個の正サンプルとｍ個の負サンプルを注釈した後に、k=n+mとし、特徴ベクトル集F={f_i},i=1…k、及び符号集Y={y_i},i=1…kが得られる。ここで、yiはfiが対応する類別符号であり、
と定義される。

トレーニングを行う前に適切なカーネル関数を選択する必要がある。本実施例において次のような計算の複雑性が低い線形カーネル関数を選択する。

トレーニング過程において、トレーニングのアルゴリズムにより、特徴ベクトル集Fから特徴ベクトル集V={v_i}，i=1…nvを選出する。また、該アルゴリズムによりそれぞれの特徴ベクトルviに対応する加重a_iを算出する。

そして、予測過程において、以下の分類関数を用いる。

ここで、y_iはv_iが対応するサンプル符号であり、bはトレーニングのアルゴリズムにより算出された定数である。

線形カーネル関数を用いる場合に、分類関数を次のように書き直される。

ここで、予測前に予めｗを計算しておけば、予測にかかる時間が短縮できる。

このように、特定の画像収集装置に対応する天空分類器データとしてｗとbを得ることができる。そして、これらの天空分類データｗとbは、前記画像収集装置が天空検出を行う際に提供されるよう、画像収集装置における第一分類ユニット13、または、該第一分類ユニット13と電気的に接続し且つ該第一分類ユニット13によりデータをアクセス可能な特定のメモリ（図示せず）に予め記憶しておく。

入力される特徴ベクトルv(撮影時に画像収集装置において得られる特徴ベクトル、例えば、前記した色特徴等)が対応する類別符号は以下の方法で予測されることができる。

第一分類ユニット13は、類別符号y_ｖ=1が付される画素を天空画素に分類し、y_i=0が付される画素を非天空画素に分類する。

上記に限らず、例えば、ｋ近傍（ｋ−NN）や、Adaboost等の本発明に係る他の実施例で用いた別の算法も天空分類器のトレーニングに使える。これらのトレーニング算法は従来技術であるため、ここでは、その説明を省略する。

以下、距離測定ユニット12の構成及び操作を説明する。

図３は本発明に係る実施例における距離測定ユニット12の構成を示すブロック図である。

距離測定ユニット12は画像における画素から画像収集装置のレンズまでの距離を測定する。図3に示すように、距離測定ユニット12は画像撮影制御ユニット121および計算ユニット122を備える。本発明に係る実施例において、画像収集装置による撮影を行う前のフォーカス段階で、画像撮影制御ユニット121は画像収集ユニット10に対して、異なる焦点距離で複数の画像を撮影して計算ユニット122に出力するように制御を行う。計算ユニット122は画素毎に異なる焦点距離でのコントラストを計算して、得られた複数のコントラストの中から最大となる値に対応される焦点距離を取得し、この焦点距離から上記画素とレンズとの間の距離を得る。このように、本発明の実施例１によって、上記画素とレンズとの間の距離は、複数のコントラストの中の最大値が対応する焦点距離を用いることができる。

図４は本発明に係る実施例において画素とレンズとの間の距離を計算するメカニズムを示す図である。

図4に示すように、画像撮影制御ユニット121の制御の下で、異なる焦点距離で複数の画像（図4の左側に示す）を撮影した。これらの画像はそれぞれに所定数の画素を有し、例えば、画素A、B等を有する。また、異なる焦点距離で撮影した画素のコントラストの焦点距離の変化に伴う変化が図4の右側の座標図に示され、曲線a’は画素Aのコントラストと焦点距離との関係を示し、曲線b’は画素Bのコントラストと焦点距離との関係を示す。曲線a’における最も高いコントラストが対応する横軸の値aは画素Aとレンズ間の距離であり、曲線ｂ’における最も高いコントラストが対応する横軸の値ｂは画素Bとレンズ間の距離である。

画像において、画素のコントラストは、該画素の画素値と該画素の隣接する画素との画素値差の絶対値の和である。画素I(x,y)について、隣接する4つの隣接領域画素はそれぞれI(x-1,y)、I(x+1,y)、I(x,y-1)及びI(x,y+1)とし、よって、その画素のコントラストは、
となる。

画像における画素が対応する被写体は画像収集装置のレンズから遥かに遠い距離がある場合に、該画素のコントラスト曲線に最大値が現われない。この時に、該画素からレンズまでの距離は無限大と設定する。

上記の方法により、距離測定ユニット12は撮像された画像における全ての画素からレンズまでの距離を取得して距離図を形成する。

図５は撮像された画像及びその画像に対応する距離図を示す図である。

図５(a)と(b)において、図５(a)は画像の例を示しており、図５(b)は上述した方法を用いて距離測定ユニットにより算出した図５(a)の画像に対応する距離図を示す。INFは無限大を意味する。

また、上記距離及び距離図の算出方法は本発明の適用範囲を限定するものではない。当業者は公知技術から任意の方法によって画素とレンズの距離を計算することができる。

図６は本発明に係る一つの実施例による第２分類ユニットの操作を説明するための図である。

図６に示すように、第２分類ユニット14は第1分類ユニット13による分類結果及び距離測定ユニット12より形成された前記画像の距離図のデータを入力し、画素毎に次の判断を行う。即ち、第1分類ユニット13において天空画素と分類され、且つ距離測定ユニットによりレンズまでの距離が無限大とされる画素は天空画素と分類する。また、第1分類ユニット13において非天空画素と分類され、または、天空画素と分類されるものの距離測定ユニットによるレンズまでの距離が無限大ではない（一定の値を有する）画素は非天空画素と分類する。そして、第２分類ユニットにより出力される新しい天空検出結果に基づいて、画像収集装置における例えば、画像形成ユニット(図示しない)等は撮像された画像の最終画像を形成する。

図７は本発明に係る一つの実施例による天空検出方法を示すフローチャートである。

図７に示すように、先ず、ステップS701で、カラー画像情報を収集する。次いで、ステップS702で、収集された画像に対して画素毎に色特徴を抽出する。そして、ステップS703で、収集された画像に対して画素毎に、画素からレンズまでの距離を測定する。そして、ステップS704で、前記色特徴に基づいて、画素毎に(第1分類ユニットより)天空画素または非天空画素の分類を行う。そして、ステップS705で、前記測定された画素とレンズ間の距離及び前記第1分類ユニットの分類結果に基づいて、更に画素毎に天空画素または非天空画素の分類を行う。

なお、上記ステップの実行順序は本発明の構成を限定するものではない。本発明に係る他の実施例から分かるように、本発明はそれ以外の任意の順序、または単独、或いは同時に上記のステップを実行することができる。

また、本発明の一つの実施例として、上記ステップS701は図1に示す画像収集ユニット10により実行され、ステップS702は図1の色特徴抽出ユニット11により実行され、ステップS703は図1の距離測定ユニット12により実行され、ステップS704は図1の第1分類ユニット13により実行される、最後に、ステップS705は図1の第2分類ユニット14により実行される。

図8は本発明に係る第２実施例による画像収集装置中の天空検出装置を示すブロック図である。

図８に示すように、本発明に係る第２実施例の画像収集装置における天空検出装置800は、方向測定ユニット801と第三分類ユニット802を加えたことに、本発明の第1実施例の天空検出装置1と異なる。また、第２実施例の天空検出装置800におけるその他の部分、例えば、画像収集ユニット10、色特徴抽出ユニット11、距離測定ユニット12、第1分類ユニット13、及び第１２分類ユニット14に関し、構成や操作または機能については第1実施例の天空検出装置1のと同じであるため、その説明を略す。

本発明の実施例２において、方向測定ユニット801は画像収集ユニット10に接続する。また、第三分類ユニット802は方向測定ユニット801と第２分類ユニット14に接続し、方向測定ユニット801と第２分類ユニット14の夫々からデータを入力して天空検出装置800の外部に出力する。ここで、第２分類ユニット14はデータを天空検出装置１または天空検出装置800の外部に直接に出力せずに、第三分類ユニット802に出力する。

本発明の一つの実施例により、方向測定ユニット801は収集された画像の方向情報を測定する。第三分類ユニット802は、方向測定ユニット802及び第２分類ユニット14による結果に基づいて、収集された画像の画素毎に天空画素または非天空画素の分類を改めて行う。

方向測定ユニット801は、上向き、下向き、左向き及び右向きの4つの方向の画像情報を測定することができる。即ち、画像において上向き、下向き、左向き、右向きの4つの方向情報を有する。しかし、本発明はこれらに限らず、方向測定ユニット801は上記以外の任意方向の画像情報を測定できる。

図９は異なる方向の4つの画像を示す図である。

図9に示すように、「上向き」方向の画像において画像における天空は画像の上方側にあり、「左向き」方向の画像において画像における天空は画像の左方側にあり、「右向き」方向の画像において画像における天空は画像の右方側にあり、「下向き」方向の画像において画像における天空は画像の下方側にある。

図１０は本発明の一つの実施例における第三分類ユニットの構成を示すブロック図である。

図１０に示すように、第三分類ユニット802は互いに連結する領域生長ユニット8021と併合ユニット8022とを備える。領域生長ユニット8021は第2分類ユニット14により出力される分類結果に基づいて領域生長を行い、天空領域の候補領域を生成する。また、併合ユニット8022は方向情報の判断を行い、天空領域の候補領域において画像方向に上部の画素を含む場合に、該天空領域の候補領域における全ての画素を天空画素とし、そうでなければ、天空領域の候補領域における全ての画素を非天空領域とする。

具体的には、領域生長ユニット8021は第２分類ユニット14による分類結果を入力し、この分類結果を基に領域生長を行い、隣接する色の似る画素を連結して天空領域の候補領域を形成する。併合ユニット8022は領域生長ユニット8021より出力された天空領域の候補領域及び方向測定ユニット801の測定結果を入力して以下の判断を行う。即ち、天空領域の候補領域において画像方向に上部の画素を含む場合に、該天空領域の候補領域における全ての画素を天空画素とし、そうでなければ、天空領域の候補領域における全ての画素を非天空領域とする。そこで、「左向き」方向に上部の画素は画像における最も左側の画素であり、「上向き」方向に上部の画素は画像における最も上方側の画素であり、「右向き」方向に上部の画素は画像における最も右側の画素であり、「下向き」方向に上部の画素は画像における最も下方側の画素である。

また、第三分類ユニット802は更なる処理を行うために新たな天空検出結果を天空検出装置800の外部に出力する。例えば、第三分類ユニット802は新たな天空検出結果を画像収集装置例えば画像形成ユニット（図示せず）等に出力し、この出力された新しい天空検出結果に基づいて、画像形成ユニットは撮像された画像の最終画像を形成する。

図１１は領域生長を実行する過程を示す実行手順例の図である。

図１１に示すように、step1〜step8（ステップ1〜ステップ8）において、先ず、画像信号に対応する領域記号マトリックスＭ、例えば、16×16のマトリックスを形成する。該マトリックスＭを構成する全て要素は対応する画像の各画素に夫々対応する。初期化によりマトリックスＭの各々の要素の値を０にする。そして、画像信号に対応するマトリックスＢを形成し、第２分類ユニット14による分類結果に基づいて初期化することによって該マトリックスＭの要素を０または１にする。また、初期化により、一つの符号カウント変数Ｃを０にする。生長段階において、マトリックスＭにおける各要素(x,y)を順次処理する。Ｍ(x,y)が０の場合に、Ｍ(x,y)の値をカレント符号Ｃとして、要素(x,y)を種子要素とする。該種子要素は隣接の画素へ生長し、隣接する２つの画素(x₀,y₀)と画素(x₀,y₀)が以下の条件
ｂ(x₀,y₀)＝ｂ(x_i,y_i)
を満たす時に、この２つの画素を連結させる。

そこで、種子要素(x,y)からスタートして生長が完了する時に、種子要素(x,y)の隣接画素において、第２分類ユニットによる分類結果が同じである画素同士は連結され、同じ数値が領域符号Ｍ(x,y)に付与される。そして、マトリックスＭにおいて全ての要素に領域符号が付与される時に、現画像領域はＣ_ｎ個領域に分割される（Ｃ_ｎは符号カウント変数Ｃの最終値である）。

図１２は領域生長結果を示す図である。

図１２(a)、(b)に示すように、第２分類ユニット14による出力結果マトリックスＢは図12(a)のようになる場合に、領域生長を経て出力される領域記号マトリックスＭは図12(b)に示すようになる。ここで、Ｃ_ｎ=2であり、灰色領域は一つ目の領域Ｃ₀はであり、白色領域は2つ目の領域Ｃ₁である。

図１３は本発明に係る天空検出方法のその他の例を示すフローチャートである。

図１３に示すように、ステップS1301で、カラー画像情報を収集する。次いで、ステップS1302で、収集された画像に対して画素毎に色特徴を抽出する。そして、ステップS1303で、収集された画像に対して画素毎に画素からレンズまでの距離を測定する。そして、ステップS1304で、前記色特徴に基づいて、画素毎に天空画素または非天空画素の分類を行う。そして、ステップS1305で、前記測定された画素とレンズとの間の距離及び前記第1分類ユニットの分類結果に基づいて、画素毎に改めて天空画素または非天空画素の分類を行う。更に、ステップ1306で収集された画像の方向情報を測定する。最後に、ステップS1307で、ステップS1305から出力された分類結果及びステップS1306で測定された方向情報に基づいて、収集された画像に対して画素毎に天空画素と非天空画素の分類を更に行う。

なお、上記ステップの実行順序は本発明の構成を限定するものではない。本発明に係る他の実施例から分かるように、本発明はそれ以外の任意の順序、または単独、或いは同時に上記のステップを実行することができる。

また、本発明における1つの実施例として、上記ステップS1301は図8に示す画像収集ユニット10により実行され、ステップS1302は図8の色特徴抽出ユニット11により実行され、ステップS1303は図8の距離測定ユニット12により実行され、ステップS1304は図8の第1分類ユニット13により実行され、ステップS1305は図8の第2分類ユニット14により実行され、ステップS1306は図8の方向測定ユニット801により実行され、最後にステップS1307は図8の第三分類ユニット802により実行される。

図１４はステップ1307の更なる処理を示すフローチャートである。

図１４に示すように、ステップS1401で、ステップS1305により出力された分類結果を基に領域生長を行い、天空領域の候補領域を生成する。次いで、ステップS1402で、ステップS1306により出力された画像の方向情報に基づいて、天空領域の候補領域に画像上方側の画素を含むかの判断を行う。ステップS1402の判断結果は「Yes」の場合に、ステップS1403に進み、「No」の場合には、ステップS140４に進む。そして、ステップS1403で、天空領域の候補領域の中の全て画素を天空画素に分類し、ステップS1404で、天空領域の候補領域の中の全て画素を非天空画素に分類する。

なお、上記ステップの実行順序は本発明の構成を限定するものではない。本発明に係わる他の実施例から分かるように、本発明はそれ以外の任意の順序、または単独、或いは同時に上記のステップを実行することができる。

また、本発明における一つの実施例として、上記ステップS1401は図10に示す領域生長ユニット8201により実行され、ステップS1402は図10の併合ユニット8202により実行される。

なお、本発明の実施例はハードウェアやソフトウェア、フォームウェア、またはこれらの組合せの方式で実現される。しかし、これらの方式は本発明の構成範囲を限定するものではない。また、本発明の実施例における各機能ユニットまたは素子間の連結関係も本発明の構成を限定せず、これらのうち一つまたは複数は、別の機能ユニットまたは素子を含む、または、接続することができる。

または、本発明は画像収集装置の天空検出や自動ワイトバランス調整等の分野に適用されることができる。

以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の範囲に属する。

米国特許第6,504,951号

A physical model-based approach tu detecting sky in photographic images, Jiebo Luo, and Stephen P., IEEE Trans on Image Processing, 2000

Claims (12)

1. 画像収集装置において天空検出を行う天空検出装置であって、
   カラー画像の情報を収集する画像収集ユニットと、
   収集された前記画像から画素毎に色特徴を抽出する色特徴抽出ユニットと、
   収集された前記画像の画素からレンズまでの距離を画素毎に測定する距離測定ユニットと、
   前記色特徴に基づき、収集された前記画像の画素を画素毎に天空画素または非天空画素に分類する第1分類ユニットと、
   前記距離と前記第1分類ユニットによる結果とに基づき、収集された前記画像の画素を改めて画素毎に天空画素または非天空画素に分類する第２分類ユニットと、
   を備える天空検出装置。
2. 前記画像収集ユニットは、画像信号を収集するためのLチャンネル、Rチャンネル、Gチャンネル及びBチャンネルを有する、
   請求項１に記載される天空検出装置。
3. 前記色特徴抽出ユニットは、前記画像から画素毎に前記Rチャンネル、Gチャンネル及びBチャンネルの色データを抽出して前記色特徴とする、
   請求項１に記載される天空検出装置。
4. 前記距離測定ユニットは、
   異なる焦点距離で画像を撮影するよう制御を行う撮像制御ユニットと、
   前記画像の各画素の異なる焦点距離での複数のコントラストを計算し、算出された複数のコントラストの中に最大となる値が対応する焦点距離を得て、該焦点距離を該画素とレンズの距離とする計算ユニットと、
   を具備する、
   請求項１に記載される天空検出装置。
5. 所定数の注釈済みの天空画素及び非天空画素に対してトレーニングを行うことで、第1分類ユニット用の分類器が得られる、
   請求項１に記載される天空検出装置。
6. 前記画像における全ての画素に対して、
   前記第1分類ユニットにより天空画素に分類され、且つ前記距離測定ユニットより測定された距離の値が無限大となる画素は、改めて天空画素に分類され、
   前記第1分類ユニットにより非天空画素に分類され、または、前記距離測定ユニットより測定された距離の値が有限の距離を表すものとなる画素は、改めて非天空画素に分類される、
   請求項１に記載される天空検出装置。
7. 収集された前記画像の方向情報を測定する方向測定ユニットと、
   前記方向測定ユニットによる結果と前記第2分類ユニットによる結果とに基づき、収集された前記画像の画素を画素毎に天空画素または非天空画素に分類する第３分類ユニットと、
   を更に備える、
   請求項１に記載される天空検出装置。
8. 前記画像の方向情報は、上向きの情報と、下向きの情報と、左向きの情報と、右向きの情報とを有する、
   請求項7に記載される天空検出装置。
9. 前記第３分類ユニットは、
   前記第2分類ユニットによる分類結果を基に領域生長を行い、天空領域の候補領域を生成する領域生長ユニットと、
   前記方向情報に基づいて、前記天空領域の候補領域において画像方向に頂点部の画素を含む場合に、前記天空領域の候補領域における全ての画素を天空画素とし、そうでなければ、前記天空領域の候補領域において画像方向に頂点部の画素を含まない場合に、前記天空領域の候補領域における全ての画素を非天空画素とする判断を行う合併ユニットと、
   を備える、
   請求項7に記載される天空検出装置。
10. 画像収集装置において天空検出を行う天空検出方法であって、
    カラー画像の情報を収集する画像収集ステップと、
    収集された前記画像から画素毎に色特徴を抽出する色特徴抽出ステップと、
    収集された前記画像の画素からレンズまでの距離を画素毎に測定する距離測定ステップと、
    前記色特徴に基づき、収集された前記画像の画素を画素毎に天空画素または非天空画素に分類する第1分類ステップと、
    前記距離と前記第1分類ユニットによる結果とに基づき、収集された前記画像の画素を改めて画素毎に天空画素または非天空画素に分類する第２分類ステップと、
    を備える天空検出方法。
11. 収集された前記画像の方向情報を測定する方向測定ステップと、
    前記方向測定ユニットによる結果と前記第2分類ユニットによる結果とに基づき、収集された画像の画素を画素毎に天空画素または非天空画素に分類する第３分類ステップと、
    を更に備える、
    請求項１0に記載される天空検出方法。
12. 前記第2分類ユニットによる分類結果を基に領域生長を行い、天空領域の候補領域を生成する領域生長ステップと、
    前記方向情報に基づいて、前記天空領域の候補領域において画像方向に頂点部の画素を含む場合に、前記天空領域の候補領域における全ての画素を天空画素とし、そうでなければ、前記天空領域の候補領域において画像方向に頂点部の画素を含まない場合に、前記天空領域の候補領域における全ての画素を非天空画素とする判断を行う合併ステップと、
    を具備する、
    請求項11に記載される天空検出方法。