JP2001202525A - 青い空を含む画像の向きを決定する方法 - Google Patents

Abstract

(57)【要約】 【課題】 高い信頼性で空を検出しなくても、画像の向
きを決定することができる方法を提供することを目的と
する。 【解決手段】 画像の向きを決定するための方法、画像
認識システム、コンピュータプログラム等である。本発
明は、画像中の潜在的な空画素を色によって分類し、潜
在的な空画素の空間的に連続する領域を識別し、所定の
テクスチャ閾値を越えるテクスチャを有する領域を除去
することによって実際の空領域を識別し、実際の空領域
の飽和度低下勾配を計算し、実際の空領域の夫々の中の
画素の水平飽和度低下勾配の平均値及び垂直飽和度低下
勾配の平均値に基づいて画像を肖像又は風景のいずれか
として分類し、平均水平飽和度低下勾配及び平均垂直飽
和度低下勾配の極性に基づいて画像の向きを決定し、水
平飽和度低下勾配及び垂直飽和度低下勾配を空について
の所定の飽和度低下勾配と比較することによって実際の
空領域が真の空領域であるかどうかを確認する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル画像処
理及びディジタル画像理解の分野に関連し、更に特定的
には、空を含む写真及び他の同様の画像中の向きを決定
するシステムに関連する。

【０００２】

【従来の技術】ディジタル画像は、ネガフィルム上に捕
捉された画像を走査すること、又はディジタルカメラか
ら直接ダウンロードすることといった多くの手段を通じ
て捕捉されうる。撮影者は、カメラを可能な方向のいず
れか（直立、倒立、右向き、左向き）で保持して撮影し
うる。それに加え、フィルムは左から右へ、又は右から
左へロードされ、画像の向きが予測できない。これまで
は操作者が行う必要があった面倒な画像の向きを揃える
動作を回避するため、画像の向きを感知する自動的な方
法を有することが有利である。これは、商用システムに
おける大量画像処理の効率を高めるためにも重要であ
る。

【０００３】空は、重要な被写体のうちの１つであり、
写真画像中にしばしば見られる。空を検出することによ
り、様々な画像の理解、強調、操作タスクが容易とな
る。空は、シーン分類（例えば、屋外シーンと屋内シー
ン、ピクニックシーンと会議シーン、都市と風景等）の
ための屋外画像の強い指標である。例えば、M.Szummera
nd R.W.Picard, "Indoor-Outdoor Image Classificatio
n", in Proc. IEEE Intl. Workshop on Content-based
Access of Image and Video Database, 1998及びA. Vai
laya, A. Jain, and H.J. Zhang, "On Image Classific
ation: City vs. Landscape," in Proc. IEEE Intl. Wo
rkshop on Content-based Access of Image and Video
Database, 1998（共にここに参照として組み入れられ
る）を参照のこと。

【０００４】空の最も顕著な特徴はその色であり、空が
晴れているときはその色は通常は薄い青である。このよ
うな特徴は画像中の空を検出するために使用されてき
た。例えば、F.S. Jamzadehによる「Method and Appara
tus for Using Film ScanningInformation to Determin
e the Type and Category of an Image」なる名称の米
国特許第５，８８９，５７８号（ここに参照として組み
入れられる）は、更なる記述を与えることなく空を検出
するために色のキュー（「薄い青」）を使用することに
ついて記載している。

【０００５】Saber et al. (E. Saber, A.N. Tekalp,
R. Eschbach, and K. Knox), "Automatic Image Annota
tion Using Adaptive Color Classification", CVGIP:
Graphical Models and Image Processing, vol. 58, p
p. 115-125, 1996（ここに参照として組み入れられる）
では、空を検出するために色分類が使用される。空の画
素は、２次元ガウス確率密度関数（ＰＤＦ）に従うと想
定される。従って、空の画素を決定するために、所与の
画像についての適応的に決定される閾値と共に、マハラ
ノビス距離と同様の計量が用いられる。最後に、画像の
分類及び注釈（例えば「屋外」、「人々」）を決定する
ために、上述の色分類にのみ基づいて画像から抽出され
る空、草、肌の有無に関する情報が使用される。Saber
は、既知であると想定される画像の向きの決定について
は扱っていないことに注意すべきである。

【０００６】Robert M. Goodwinによる「Whole Order O
rientation Method and Apparatus」なる名称の米国特
許第５，６４２，４４３号（ここに参照として組み入れ
られる）は、画像中の空に関連付けられる画素を示すた
めに色及びテクスチャ（が無いこと）を用いる。特に、
Goodwinによれば、色度により領域をセクタへ分割する
方法が用いられている。方向が揃えられていない画像の
２つの長辺に沿ったサンプリングゾーンの画素が調べら
れる。空の色の非対称的な分布が見つかると、画像の向
きが推定される。写真の注文全体の向きは、その注文の
個々の画像についての推定値に基づいて決定される。Go
odwinによる注文全体の向きの方法が成功するには、十
分に大きな特徴の群（少なくとも８０％の成功率を有す
るものが殆ど各画像ごとに見つかる）か、又はより小さ
い特徴（９０％以上の成功率であり、この特徴が全ての
画像の約４０％に見つけられる）の群が必要である。従
って、Goodwinでは、非常に強固な空検出方法は必要と
されていない。

【０００７】画像の向きを認識するために、空及びその
向きに関する知識は、屋外画像についての画像の向きを
示しうる。一般的に信じられているのとは逆に、空領域
は必ず画像の上部にあるとは限らない。多くの場合、空
領域は、画像の上側の境界以外の部分にも接する。

【０００８】

【発明が解決しようとする課題】従来の技術の主な欠点
は、向きを決定するために対象（例えば空）の位置を使
用することである。これらの画像中で空を識別する従来
のシステムは、空が必ず画像の上部に現れるわけではな
く、画像の情報の境界よりも多く接しうるという欠点が
ある。更に、従来の技術の欠点は、同じように色づけさ
れた又はテクスチャを有する被写体、例えば、青い壁、
水域（海、湖等）、青いシャツ等を区別できないことで
ある。更に、空の有無を高い信頼性で検出するのに失敗
すること、特に偽の肯定的な検出、及び空の位置が画像
の向きを示すという不適切な想定は、向き揃え処理を失
敗させうる。

【０００９】

【課題を解決するための手段】本発明は、色相分類、テ
クスチャ解析、及び物理学的空トレース解析に基づく強
固な空検出システムを提供する。本発明は、明るい空の
色の画素を選択するために色相情報を使用し、潜在的な
空の領域を見つけるために連結成分解析を用いる。本発
明は、テクスチャ内容が低い空領域を確認するために勾
配（グラディエント）を用い、同様の空の色の信念であ
るが同様でない空の色を有する隣接する領域を分割する
ために平滑な広がりとして画成されるオープンスペース
をセグメント化する。本発明はまた、天頂−水平線方向
を決定するために勾配を用い、実際に有効な空領域（単
に「空の色の」領域ではない）から得られる決定された
向きを確認するために物理学的空トレースシグナチャを
使用する。

【００１０】更に特定的には、本発明は、画像の向きを
決定するための方法、画像認識システム、コンピュータ
プログラム等の形式を取ることができる。本発明は、画
像中の潜在的な空画素を色によって分類し、潜在的な空
画素の空間的に連続する領域を識別し、所定のテクスチ
ャ閾値を越えるテクスチャを有する領域を除去すること
によって実際の空領域を識別し、実際の空領域の飽和度
低下（desaturation）勾配を計算し、実際の空領域の夫
々の中の画素の水平飽和度低下勾配の平均値及び垂直飽
和度低下勾配の平均値に基づいて画像を肖像又は風景の
いずれかとして分類し、平均水平飽和度低下勾配及び平
均垂直飽和度低下勾配の極性に基づいて画像の向きを決
定し、水平飽和度低下勾配及び垂直飽和度低下勾配を空
についての所定の飽和度低下勾配と比較することによっ
て実際の空領域が真の空領域であるかどうかを確認す
る。

【００１１】本発明はまた、空間的に連続する領域のう
ち、実質的に類似しない平均水平勾配及び平均垂直勾配
を有し、空についての所定の色分布と一致する色分布を
有し、画像の境界に接するもののみを、実際の空領域と
して維持する。

【００１２】画像を肖像又は風景として分類すること
は、平均水平飽和度低下勾配の絶対値が平均垂直飽和度
低下勾配の絶対値よりも大きい場合に画像を肖像として
分類し、平均水平飽和度低下勾配の絶対値が平均垂直飽
和度低下勾配の絶対値よりも小さい場合に画像を風景と
して分類することを含む。飽和度低下勾配は、画像の
赤、緑、青のトレース成分についての飽和度低下勾配を
含む。

【００１３】空についての所定の飽和度低下勾配は、水
平線から天頂にかけて、赤及び緑の光トレース成分の減
少と、実質的に一定の青の光トレース成分とを含む。

【００１４】画像中の潜在的な空画素を色によって分類
することは、空の色の画素の信念マップを作成し、空の
色の適応閾値を計算し、潜在的な空画素が閾値を越える
かどうか決定することを含む。適応閾値の計算は、信念
マップから得られる信念ヒストグラム中の第１の谷を識
別することを含む。信念マップ及び信念ヒストグラム
は、画像に固有のものである。

【００１５】

【発明の実施の形態】上述のように、これまでは操作者
によって行われねばならなかった、厄介な画像の向き揃
えを回避するために画像の向きを感知する自動的な方法
を有することが有利である。また、商用システムにおけ
る大量画像処理に関しても効率性について重要である。
更に、強固な空検出処理は、色及びテクスチャを越えて
なされる必要がある。特に、可能であれば真の空の領域
を他の同様の色及びテクスチャを有する被写体と区別す
るために、空の物理的モデルが所望とされる。以下説明
される本発明は、可能であれば真の空の領域を他の同様
の色及びテクスチャを有する被写体と区別する強固な空
検出処理を提供する。

【００１６】本願では、空検出は、空の閉塞されていな
い部分に対応する画像中の全ての画素を識別することを
含む。更に、空の検出により、個々のセグメント化され
た領域に、空を含む確率が割り当てられる。確率を用い
た表現を使用するか、これをクリスプな決定に変換する
かは、画像理解システムの続く従来の処理にゆだねられ
る。本発明の幾つかの重要な特徴は、色相分類、テクス
チャ解析、及び物理的空トレース解析に基づく強固な空
検出処理、明るい空の色の画素を選択するために色相情
報を使用すること、潜在的な空領域を見つけるために連
結成分解析を用いること、空領域のテクスチャ内容が低
いこと（即ちオープンスペースであること）を確かめる
ために勾配を使用すること、同様の空の色の信念を有し
同様でない空の色を有する隣接する領域を分割するため
にオープンスペースのセグメント化を使用すること、天
頂−水平線方向を決定するために勾配を使用すること、
候補領域が空モデルに当てはまるかどうかを決定するた
めに物理的空トレースシグナチャを使用することを含
む。

【００１７】本発明の主要な事項は、ディジタル画像理
解技術、即ちディジタル画像を理解しそれにより人間に
よって理解可能な対象、属性又は条件に対して有用な意
味を割り当てるよう処理し、次に得られた結果をディジ
タル画像の更なる処理に用いることに関する。

【００１８】図１は、空検出システム（例えばディジタ
ル画像理解技術）全体を示すブロック図である。まず、
ディジタル画像（１０）がディジタル式に処理される
（２０）。画像変更段階（４０）において、処理段階
（２０）から得られる結果（３０）と、元のディジタル
画像（１０）とを用いて、変更画像（５０）が生成され
る。

【００１９】ここで図２を参照するに、本発明を更に特
定的に示すブロック図が示されている。図２中、入力画
像はディジタル形式で受信される（ステップ２０２）。
次に、以下詳述するように分類処理において色分類器を
用いて、画素は空の色の画素と空の色でない画素に分類
される（ステップ２０４）。以下説明する連結成分解析
を用いて、空の色の画素の空間的に連続する領域が抽出
される（ステップ２０６）。かなりの寸法の連結成分が
存在しない場合は、画像の向きは本発明によっては決定
できない（ステップ２０７）。これに対して、画像中の
連結成分のうちの少なくとも１つが所与の閾値を越える
寸法を有する場合、処理は以下のように続く。

【００２０】上述の連結成分寸法閾値は、手動で又は自
動に決定されうる。最小連結成分寸法閾値は、画像領域
全体の幾らかの割合として設定されうる。例えば、連結
成分寸法閾値は、画像領域全体の１％、１５％、２５
％、５０％、７５％に設定されえ、１つの望ましい実施
例では、画像領域全体の１０％に設定される。或いは、
閾値は履歴に基づいて自動的に決定されうる。例えば、
履歴データベースは、画像の特定のタイプについての最
適最小連結成分寸法を示す向きについて維持されうる。
また、画像のバッチのうちの幾つか又は全ては、バッチ
中の全ての画像を実際に向きを変える前に最適閾値寸法
を決定するために異なる連結成分寸法限界を用いて前処
理される（例えば小さいテストランが実行されうる）。

【００２１】以下説明するように、連結成分（又は「領
域」）の各内部画素に対して勾配演算子が与えられ、水
平及び垂直勾配値が計算される（２０８）。連結成分の
境界の近傍の画素（例えば連結成分の周りの外側から２
つの画素）は、空と他の被写体との間、例えば水平線に
おける大きさのかなりの遷移を示すため、勾配の計算か
ら排除されることが望ましい。

【００２２】平均の水平勾配値Ｇｘ及び垂直勾配値Ｇｙ
は、（以下説明するように）候補領域の全ての内部画素
を用いて計算される。本発明より多数の試験が使用さ
れ、様々な候補領域が失格とされる（ステップ２０
９）。更に特定的には、いずれかの勾配値が所定の上限
閾値Ｔ_highを越えるとき、即ち領域のテクスチャが多い
場合、領域は空領域であるとは考慮されないことを意味
する。｜Ｇｘ｜と｜Ｇｙ｜が略同一であり、平坦な領域
を示す場合も、領域は空領域であるとは考慮されない。
更に、候補領域中の全ての画素の色（色相）分布が空領
域の予想される特徴に当てはまらない場合も、領域は空
領域であるとは考慮されない。色の分布に関して、空の
色の分布の３次元形状が、以下に示される飽和度低下効
果の結果として、傾斜した楕円体に似ているべきであ
る。また、候補領域がどの画像境界とも接していなけれ
ば、空である可能性は低い。画像が許容できる候補空領
域を含まない場合、本発明は向きを決定することができ
ず、処理は未決定の向きを生成する（ステップ２１
８）。

【００２３】少なくとも１つの候補領域が低テクスチャ
試験に合格すれば、候補空領域の夫々について風景／肖
像の向き（２１０）と、水平線の向き（２１２）が決定
される。特に、望ましくは、赤のチャネルでは飽和度低
下効果が最もよく観察可能であり測定可能であるため、
赤のチャネル中の勾配が調べられる。水平勾配Ｇｘ及び
垂直勾配Ｇｙは、風景であると想定されるがシーンの向
きとは関連しない画像の入来する向きを示すものとす
る。特に、｜Ｇｘ｜＞｜Ｇｙ｜であれば、風景画像であ
る可能性が高いことを示している。そうでなければ、画
像は肖像画像である可能性が高い。更に、風景画像で
は、Ｇｘ＜０であれば直立画像である可能性が高いこと
が示されており、そうでなければ倒立画像である可能性
が高い。肖像画像では、Ｇｙ＜０であれば、左向き画像
である可能性が高いことが示され、そうでなければ右向
き画像である可能性が高い。

【００２４】この情報を用いて、本発明は正しい画像の
向きを正確に決定すること（２１４）が可能である。本
発明では、画像の勾配は以下の、Sobelカーネルを用い
て計算される。

【００２５】

【数１】 更に、Θで示される畳込み演算を用いて、２つの勾配画
像、即ち、 ｇ_x＝Ｓ_xΘＩ及びｇ_y＝Ｓ_yΘＩ が得られる。候補領域の平均勾配は、

【００２６】

【数２】 によって得られ、式中、ｐは候補領域の内部画素であ
り、Ｎ_Pは内部画素の全体数である。上述のように、画
像の向きを決定するために、水平方向及び垂直方向の平
均勾配値Ｇｘ及びＧｙが使用される。

【００２７】従来の向き揃え処理は、単純に「空が画像
の上部にある」（上述のGoodwin）という想定に基づく
ものである。これに対して、本発明は、シーンの向きを
決定するために、空の内部特徴、即ち空は上部では青
く、水平線に向かって飽和度低下となることを用いる。

【００２８】画像の向きは、ステップ２１６のサブプロ
セスに示されるように、画像中の空の位置を確認するこ
とによって更に確認されうる。より特定的には、上述に
おいて決定されたように、トレースは、水平線−天頂方
向に沿った候補空領域に亘って抽出される（ステップ２
２０）。各トレースについて、各トレースが空領域から
生じた可能性があるかどうかを決定するために、複数の
空トレースシグナチャ（以下詳述）が測定される（ステ
ップ２２２）。候補領域が空である可能性又は信念は、
抽出された全てのトレースから投票することによって決
定される（ステップ２２４）。候補領域の全体としての
信念が所定の閾値を越える場合（ステップ２２６）、候
補領域は空領域であると宣言され（ステップ２３０）、
向きが確認される。

【００２９】確認処理（ステップ２１６）は、画像の向
き揃えのためのより強固な決定のために所望である。こ
の確認処理（２１６）により、向き情報の源の信頼性が
高いため、決定された空の向き、従って画像の向きの信
頼の度合いが高くなる。画像の向きを決定するために空
の色の領域の位置を使用する従来の方法は、信頼性が低
い。空の色のテクスチャの低い領域における飽和度低下
効果を用いる本発明による方法は、遙かに信頼性が高
い。実際、向きを識別するためのより信頼性の高い方法
は、確認された空領域において飽和度低下効果（例えば
以下説明する水平線から天頂までの飽和度低下勾配）を
用いることである。

【００３０】全ての候補領域は同様に解析される。検出
された空領域が空の向きに一致しない場合、画像全体の
向きはより大きいより高い信念の空領域の結果によって
決められる。相反する空の向きを有する領域は無視され
る。

【００３１】人間の視覚系には、空は青、草は緑、土は
灰色／赤／茶、水は青／緑に見えることが殆ど公理のよ
うなものである。しかしながら、ディジタル画像に実際
に記録されるものは幾らか異なる。これは、朝焼け及び
夕焼けに関連する暖色を含む空の領域についていえるだ
けでなく、示される色の記録物よりも更に青みがかって
見える空の領域についてもいえる。この問題は、画像補
足中又はイメージングチェーンの他の段階において導入
される誤りにより、画像全体の色バランスが崩れうるこ
とによって、更に混乱される。

【００３２】カラー画像中の空の青のみかけは、物理学
的な結果だけでなく、人間の生理的及び心理的な面の結
果によるものであり、青く見える空画像における赤及び
緑成分は、青成分よりも（僅かなパーセント割合で）強
くなりうる。更に、例えば太陽自体、照らされた雲、
雪、氷、又は人工的な対象が青い空よりも明るくされう
るとしても、晴れた雲のない空は通常は画像中の最も明
るい被写体である。太陽は、オレンジ−黄の波長におい
て最も明るく照射する。空気の粒子の波長選択的散乱
は、散乱は波長の４乗に反比例することを示すレイリー
の法則に従って、太陽光線の青光成分をより長い波長よ
りも強く分散させる（例えば、ここに参照として組み入
れられるC.F.Bohren and D.R.Huffman, Absorption and
Scatteringof Light by Small Particles, New York,
John Wiley and Sons, 1983を参照のこと）。空の色
は、実際に、殆ど紫（人間の目によってあまり感知され
ない）によって構成され、幾らかの青、少しの緑、非常
に僅かな黄及び赤を含み、これらの成分を全て合計する
と、空の青となる（例えば、ここに参照として組み入れ
られるM. Minnaert, The Nature of Light and Color i
n the Open Air, New York: 1954を参照のこと）。

【００３３】しかしながら、空の青のみかけは均一では
ない。空はしばしば水平線に向かって飽和度が低下して
現れる。太陽をはずして頭上に晴れた空を直接見た場
合、散乱された青い光が優位であり、空は濃い青に見え
る。見る方向を遠い水平線に向かって移動させると、様
々な選択的な因子が等化され、空は殆ど白へ飽和度が低
下される。

【００３４】空での光の分布に関する多くの興味深い効
果、例えば暈、蜃気楼、虹がある。これらの効果では、
光の強度は天頂から水平線にかけて増加し、同時に色は
濃い青から白へ変化する。この効果は、主に人間の目と
水平線の間の空気層の厚さが厚いことによって生ずる。
空気の小さな粒子が選択的に青の光を散乱させるが、散
乱された光線は散乱する粒子から人間の目への長い路に
おいて最も弱くされる。非常に厚い空気層により、散乱
効果と減衰効果は相互に打ち消し合う。

【００３５】所与の点から距離ｓにある小さい粒子が、
分数ｓｄｓ（ｓは色依存散乱係数、ｄｓは粒子の寸法と
する）を散乱させると想定する。光の量は、所与の点に
到達する前に、ｅ^-sxの比率で弱められる。無限に厚い
空気層（妥当な近似）から受けられる光は、全ての粒子
ｄｓからの寄与の合計、即ち、

【００３６】

【数３】 からなり、これは１に等しい。明らかに、受けた光の量
はｓとは独立であり、従って光の色とは独立である。

【００３７】従って、水平線に近い空は、太陽によって
照らされた白いスクリーンと同じ明度及び色を示す。更
に、地面に近い空気層は、より多くの浮遊する大きい塵
粒子を含み、（空気層が無限の厚さであると考えられな
くても）全ての色を等しい強さで散乱させ、光の色をよ
り白くする。

【００３８】観察者が太陽を背にしており、太陽が観察
者の後方から横向きに照っているとき、太陽の位置（水
平線よりも高いところにある）と、観察者の制限された
視野のため、光の同心的な分布は水平線に略平行とな
る。観察者が太陽の方向を向いてみているとき（観察者
は建物の影の中の影の縁の近傍に立つべきである）、空
の明度は太陽の近くでは急速に増加し、目を眩ませるほ
どとなり、その色は更に白くなる。写真画像では、太陽
が水平線上にあるか光の強度が非常に弱い朝焼け又は夕
焼けの場合を除き、直接太陽光の写真を撮影することは
あまりない。

【００３９】青い空は色の均一なグラデーションの最も
良い例として考えられ、一方、図３Ａ及び３Ｂに示され
るように、夕焼けは一定の明度及び色の同心の分布の同
様の形状でよりドラマチックな色のグラデーションを示
す。更に特定的には、図４Ａ及び３Ｂは、太陽が西の水
平線に沈むときに東の水平線に見られる異なる色を示す
図である（即ち、昼光対薄明）。薄明の空を検出するこ
とは本発明の目的ではないが、この薄明の空の固有のシ
グナチャはより一般的な空検出処理において使用されう
る。実際に、本発明によって使用される特性のうちの１
つがターンオフされると、以下に説明するように、方法
は、図３Ｂ中の薄明の空を検出することに成功する。

【００４０】また、しばしば空の色と区別することが可
能でない水の色を決定する因子について見ることも重要
である。人間の目が水から受ける光の一部は表面によっ
て反射され、表面が平滑であるときに鏡のように作用
し、水の色は、空の色により青やグレーとなる。遠くの
海（又は任意の大きい開いた水域）の色は、２０°乃至
３０°の高さの空の色と略同じである。これは、人間が
遠くのウェーブレットのスロープを見ているときに、光
の一部のみが反射されるためである（例えば上記のMinn
aertを参照のこと）。

【００４１】深い水は、反射のほかに、「それ自体の
色」即ち散乱されて下から戻る光の色を有する。深い水
及び同じように深い水の深さは、水の底から実質的に全
く光が戻らないほど深いと考えられうる。「それ自体の
色」は、水中での散乱及び吸収の組み合わされた効果に
寄与する。深い、殆ど純粋な水の色は、光が水を通過
し、散乱されて戻った後、スペクトルのオレンジ及び赤
の部分での水による吸収により、青である。

【００４２】空検出のため、青い（通常は深い）水域
を、空と一緒に現れるか現れないかに関わらず、空とは
区別することが重要である。考慮される要因は、水によ
る光のオレンジ及び赤の成分の吸収である。かかる深い
水域の波及び波動は、様々な勾配の小さい面を形成す
る。一般的に、見る方向により垂直な面又はより近い面
を見るときに色は暗くなる。しかしながら、変化するの
は、主に色相ではなく明度である。

【００４３】ここで色分類について説明すると、上述し
たように（例えば図２のブロック２０１）、本発明はま
ず、簡単化及び明瞭性のため、特に昼間に見られる晴れ
た明るい青い空について色分類器を学習させる。朝焼け
及び夕焼けに関連する暖色を含む空領域は、多くの屋外
シーンにおいて背景をなす青い空又はグレーの空とは一
緒にされない。本発明では、色に基づく検出によって全
ての候補青い空画素を識別し、これらは晴れた空と一貫
性のある空間的なシグナチャについての領域としてのス
クリーンである。

【００４４】次に、色分類器の学習を完了するために、
ニューラルネットワーク学習が用いられる。最初の学習
セットは、理想の青い空の特徴、グレーの空の画像、及
び空ではない（主に屋内の）画像を有する画像を含む。
全ての青い空の画素は肯定的な例として含まれ、否定的
な例は全ての画素から青い空でも水でもない画素をサン
プリングすることによって含まれる。

【００４５】フィードフォワードニューラルネットワー
クは、３又は２のニューロンを含む２つの隠れ層と単一
の出力ニューロンとによって構成される（例えば、Howa
rd Demuth and Mark Beale, Matlab Neural Network To
olbox, The Math Works, Inc., 1998を参照のこと）。
隠れ層のニューロンは、タンジェント−シグモイド伝達
関数を有し、出力ニューロンの伝達関数はログ−シグモ
イドである。ネットワークは、画素値を理想の青い空又
は空でないものとして分類するために、Levernberg-Mar
quardtバックプロパゲーションを用いて学習された（例
えばHoward Demuth and Mark Bealeを参照のこと）。タ
ーゲット応答は、理想の青い空ではａ＝１であり、空で
ないときはａ＝０である。

【００４６】このように学習された色分類器は、処理さ
れた各画素について０乃至１の信念値を有し、１は画素
が青い空である可能性が高いことを示し、０は画素が青
い空である可能性があまり高くないことを示す。（ｒ，
ｇ，ｂ）入力空間中の点に対する本発明の応答を視覚化
するため、本発明により処理される例の画像から得られ
る（ｒ，ｇ，ｂ）トリプレットの規則的な間隔のグリッ
ドが図４Ａに示され、各色平面は図４Ｂ乃至４Ｄに別々
に示されている。

【００４７】図４Ａ中、０．１よりも大きい青い空の信
念を生成する点は、「．」で示されている。この分布の
３つの平面への投影もまた示されている（「ｏ」によっ
て示される。）。分布はルミナンスの方向に非常に細長
く延びており、低いルミナンスに向かってわずかに発散
し始めることに注意すべきである。特定に入力画像につ
いて、各画素は別々に分類され、信念マップは、各画素
の明度をその信念値に比例するよう設定することによっ
て形成される。このような信念マップの例は、図１２Ｅ
−Ｆ及び図１３Ｅ−Ｆに示される。

【００４８】図５は、本発明による色分類器の画素レベ
ルの受信器動作特徴（ＲＯＣ）を示す図である。この曲
線は、色分類器における処理の後に様々なレベルにおけ
る厳しい閾値が続いた場合の真の肯定的なパフォーマン
スと偽の肯定的なパフォーマンスを示す。

【００４９】従来、大局閾値は動的でなく、図５に示さ
れるグラフの曲線上の左上の隅に最も近い位置を探すこ
とにより見つけられる。例えば、０．０１２５の閾値を
用いることにより青い空画素の９０．４％の正しい検出
が与えられるが、１３％の青い空でない画素も検出す
る。これらの検出された青い空でない画素のうち、水が
かなりの部分を占める。これに対して、本発明は、所定
の「厳しい」閾値を使用するのではなく、各領域を一組
の空シグナチャに対して検証する前に領域抽出方法を実
行する。この処理について、以下、図７を参照して詳述
する。

【００５０】更に特定的には、本発明の領域抽出処理
（例えば上述のブロック２０２）は、信念ヒストグラム
中で低い信念から高い信念へ動くときに存在する第１の
谷点を見つけることによって空色信念マップについての
適当な閾値を自動的に決定し、次に図７に示されるよう
な連結成分解析を実行する。更に、本発明によれば、連
結された成分は空セグメントの領域レベルの表現を生成
するために細分化され、これにより画素レベルでは不可
能であった空シグナチャ検証が容易となる。

【００５１】図６中、（図２の）領域抽出処理（ステッ
プ２０２）についての詳細が与えられている。各画素値
が空の色を有する画素の信念に比例する信念マップ７１
について、図７を参照して以下説明するように、大局閾
値７２が適応的に決定される。この閾値を用いて２値マ
ップ７３が形成され、「１」画素は候補空画素と考えら
れ、「０」画素は空でない画素と考えられる。空間的に
連続する「１」画素の領域である連結成分は、空の色の
空間的に分離されたゼロでない領域を生成するために固
有にラベル付けされる（ステップ７４）。空でない画素
は、廉潔性とは無関係に「０」とラベル付けされる。
（本願では「ラベルなし」と称される。）空の色の各連
結結成分は、空の色の連結成分を生成するため（ステッ
プ７６）、以下詳細に示す２つの演算を用いて細分化さ
れる（ステップ７５）。オープンスペースマップ７７
（やはり以下に説明する）は、図２中ブロック２０２に
よって出力される候補空領域を生成するために組み合わ
される。

【００５２】図７は、本発明による方法を、大局閾値を
動的に決定する本発明の方法を示す。まず、空の色の信
念マップから信念値のヒストグラムが得られる。次にヒ
ストグラムは、雑音（図７中の曲線を生成する）。第１
の顕著な谷（例えば図７中の「第１の谷」）は、平滑化
されたヒストグラムの中に含まれる。明らかな空領域が
あり、その他は全て明らかに空ではない単純な画像で
は、ヒストグラムは２つのピークとその間の１つの谷の
みを有する。複雑な画像には、空と、水と、他の青い領
域がある。従って、本発明は各画像について異なるヒス
トグラムを用い、本発明によって処理される個々の画像
に対して動的な閾値が形成されることを可能とする。

【００５３】上述のSaberでは、平滑化されたヒストグ
ラム中の最後の谷は、画像中の真の空領域が常に最も高
い確率を有するという仮定に基づいて、最尤推定（ＭＬ
Ｅ）スキームでユニバーサル閾値を調整するために使用
される。しかしながら、幾つかの場合、青色の空でない
領域が、色に関して高い空信念を有しうる。従って、本
発明は、更なる解析のために全ての空の色の領域を保持
し、空検出処理のより高い段階において空の色を有する
空でない領域を排除する。従って、第１の谷がある位置
の信念値が大局閾値として選択される。上述のように、
この閾値は空の異なる影及び画像補足条件を適応させる
ために個々の画像について決定される。

【００５４】上述のブロック７５において説明される２
つの細分化動作のうちの１つは、領域分割である。領域
分割は、異なる対象に属するが空の色を有するというこ
とに関しては同様の信念値を有する空間的に連結された
青っぽい（潜在的な空）領域を分割するために用いられ
る。例えば、かかる領域は、青い空を背景とする青い布
でありうる。かかる領域は、（空の典型的な色であると
いう）同様の信念を有し、従って信念マップ中で分離す
ることができない。

【００５５】しかしながら、かかる領域は青の色の異な
る影を有し、従って適応ｋ平均処理（ここに参照として
組み入れられるJ.Luo, R.T.Gray, H.-C.Le "Towards a
Physics-Based Segmentation of Photographic Color I
mages," in Proc. IEEE Int.Comf. Image Process., 19
97を参照のこと）。本発明は、この処理を使用し、領域
が色セグメント化領域の多数の領域についての集合でな
ければ、空の色の領域を２つ以上の領域（固有の新しい
ラベル）へ分割する。

【００５６】本発明の他の実施例では、汎用色分割処理
の代わりに、オープンスペース検出処理（ステップ７
７）（ここに参照として組み入れられる、J. Warnick,
R.Mehrotra and R.Senn, のU.S Patent 5,901,245号、"
Method and system for detection and characterizati
on of open space in digital images"）が使用されう
る。オープンスペースは、画像中の平滑的且つ連続的な
領域であると定義される。画像中に所望のキャプション
又は図形的な要素を配置するために有用である。

【００５７】上述の自動的なオープンスペースの処理
は、動作の２つの別々の段階に基づく（上述のWarnic
k）。まず、正しい色空間変換が実行された後、勾配に
基づくアクティビティマップが計算され、多領域ヒスト
グラム解析により正しい閾値が決定される。第２の段階
では、ボイドを埋めるために２値アクティビティマップ
に対して連結成分解析が実行され、小さい領域が排除さ
れる。上述のWarnickで実施されるオープンスペースの
処理は、効果的且つ効率的である。その速度は、色セグ
メント化方法に必要とされる速度の数分の１である。オ
ープンスペースの検出は、候補領域の平滑さについての
追加的な確認を与える。従って、本発明のこの望ましい
実施例では、本発明はオープンスペースの検出処理を用
いる。このように、オープンスペースの検出は、（１）
非常にテクスチャ化された領域を排除するため、（２）
空を水域といった他の青ではない領域から分離するため
に組み入れられる。

【００５８】図６のステップ７５で実行される第２の細
分化動作は、領域成長を含む。本発明の領域制御処理
は、孔を埋め、境界を拡張するために使用される。これ
は特に、「周縁」画素が、大局閾値に僅かに達しない
が、最初の大局閾値を合格した近傍の画素の信念値に十
分に近い空色信念値を有しうる場合に有用である。

【００５９】本発明によれば、「成長閾値」は、「ラベ
ル付けされていない」画素とその近傍の「ラベル付けさ
れた」画素の信念値の差が、領域成長のための第２の閾
値よりも小さい場合に、かかる周縁画素を連結画素に対
して再びラベル付けするために使用される。更に特定的
には、閾値よりも上の信念値の画素とオープンスペース
マップ中の連結成分との交差を取ることによりシード領
域が形成される。閾値よりも下の信念値の画素では、領
域成長は、信念値の連続性及び色値の連続性によって案
内される。小さい独立した空領域は無視される。

【００６０】図２のブロック２０７について説明された
空シグナチャ尺度では、水平線−天頂方向に沿った領域
から１次元トレースが抽出される。本発明は、各抽出さ
れた領域における垂直勾配及び水平勾配の両方の分布に
基づいて空の向きを決定する。

【００６１】更に特定的には、本発明は、物理学に基づ
く空のモデルにより、空の向きを決定するために赤の信
号を用いる。上述のように、空の物理学に基づくモデル
では、散乱する光の量は光の波長及び散乱角度に依存す
る。一般的に、水平線に向かう飽和度低下効果は、青の
光に対する赤の光及び緑の光の増加によって生ずる。更
に、本発明は、青の光が水平線−天頂方向に略不変のま
まであると決定した。緑の信号の変化は、青の信号ほど
顕著でない。従って、赤の信号は、最も信頼性の高い飽
和低下効果のしるしが与えられる。従って、不均一な勾
配分布は、赤の信号において最もよく観察できる。

【００６２】飽和度低下効果により、空は水平線−天頂
方向に低い勾配を有するが、垂直方向では本質的に一定
である。太陽の位置が水平線よりもかなり上であれば、
散乱する光の同心分布は、異なる色領域の水平のストリ
ップによって近似されうる（例えば図３のbarring lens
falloff効果）。従って、図８Ａ（水平線に平行）及び
図８Ｂ（水平線に垂直）に示されるように、勾配の分布
は水平方向と垂直方向に異なる特徴を有し、平均１＜＜
平均２である。

【００６３】領域抽出２０２及び向き決定２０５の後、
空シグナチャ検証処理は、上述のように、水平線−天頂
方向に沿った領域内の１次元トレースを抽出し（ステッ
プ２０６）、一組の規則によりトレースが空から得られ
るトレースに似ているか否かを決定し（ステップ２０
７）、最後に物理学に基づく空トレースモデルに当ては
まるトレースの割合によって領域の空信念を計算する。

【００６４】空から得られる多数の１次元トレースと画
像中の幾つかの他の一般的な空の色の被写体の解析に基
づき、本発明はこれらのトレースを定量化するモデルを
含む。特に、水平線−天頂方向に沿って抽出されるトレ
ースは、図１０Ａに示される空のトレースのシグナチャ
を示す。トレースの青の信号は空全体に亘って一定であ
る傾向がある。緑の信号及び青の信号は、水平線から遠
ざかって徐々に減少し、赤の信号は緑の信号よりも早く
減少する。更に特定的には、全ての３つの信号は低次の
多項式（例えば２次多項式）によって近似されうる。３
つの信号中のマクロ変形は相関されない。比較として、
幾つかの他の青の色の被写体はかかるシグナチャを示さ
ない。これに対して、図１０Ｂは、フラッシュ発光され
た画像中の青い壁の一般的なトレースを示す図であり、
３つの信号は平行に平滑に変化している。

【００６５】同様に、図１１Ｂは、水域を通る一般的な
トレースを示す図であり、３つの信号は局所的な変形に
おいて強く相関している。これらの２つの場合の両方
は、変化が主にルミナンスの変化であることを示す。更
に、図１１Ａに示されるように、（白い）雲が晴れた青
い空と共に存在する混合された空では、赤の信号及び緑
の信号は雲の中では高くジャンプし、青の信号は同じま
まに維持され中立の雲領域を形成する。一般的に、雲の
中で、赤の信号は緑の信号よりも多くジャンプする。

【００６６】図９は、入力トレースの処理を示すフロー
チャートである。更に特定的には、ブロック１００で
は、抽出されたトレースは、図１０Ａ−１１Ｂに示され
るトレースモデルに対して解析される。まず、赤、緑、
青の３つの信号について夫々、２項多項式当てはめが計
算される（ステップ１０１）。２次多項式は、 ｙ＝ｆ（ｘ）＝ｃ１＋ｃ２＊ｘ＋ｃ３＊ｘ² として示され、式中、ｘは１次元トレースのインデック
スを示し、ｙは対応する信号のコード値である。

【００６７】次に、元のトレース又は当てはめされたト
レースのいずれかに基づいて複数の特徴（「シグナチ
ャ」）が計算される。特徴は、青の空トレース（１０
４）、又は青の空トレースではない（混合された空トレ
ース（１０５）、水のトレース（１０６）、又は「わか
らない」（１０７））として特徴付けられうる。以下示
される例では、各抽出されたトレースについて１０の尺
度（「シグナチャ」）が計算される。しかしながら、当
業者は、本願を読むことにより任意の数のかかるシグナ
チャを準備しうる。

【００６８】第１のシグナチャは、当てはめ２次多項式
のオフセットに関するものである。オフセットは、赤の
チャネル、緑のチャネル、青のチャネルの平均値に関連
する。このシグナチャ特性は、平均青成分が平均赤成分
及び平均緑成分よりも上であることを必要とする。トレ
ースが抽出される特定の方法により、この特徴は実際
に、青成分がトレースの殆どの青側で最も強いという要
件へ翻訳される。かかる論理ステートメントのためのＣ
言語的な疑似コードは、以下の通りである。

【００６９】

【数４】 上述のクリスプな規則を用いる代わりに、条件を破った
場合に幾らかのHUGEPENALTYを課すカットオフポイント
を有する連続的な値の台形ファジースコアリング関数を
用いることが有利でありうる。

【００７０】第２の典型的なシグナチャは、当てはめ２
次多項式の傾斜に関するものである。一般的に、トレー
スが抽出される特定の方法により、ＲＧＢ信号の傾斜は
負である。この特徴は、青の信号が（減少するのであれ
ば）赤の信号及び緑の信号よりもゆっくりと減少するこ
とを必要とする。一方、この特徴により単調増加（正の
傾斜）もまた可能である。かかる論理ステートメントに
ついてのＣ言語的疑似コードは以下の通りである。

【００７１】 if (cb[2] > cg[2] && cb[2] > cr[2]) sig2 = 1; if (!sig2 && sig2bg && sig2br) sig2 = 1; これは、クリスプな規則として実施される。ただし、si
g2の厳しい条件を、sig2が満たされない場合に、より緩
く定義される２つの条件sig2bg及びsig2brへゆるめられ
る。

【００７２】第３のシグナチャは、当てはめられた信号
間の類似性又は平行性に関するものである。かかる論理
ステートメントについての疑似コードは、以下の通りで
ある。

【００７３】 if ((rgdist < brdist && bgdist < brdist) || (rgdist < bgdist && rgdist < brdist)) sig3 = 1; ここで、rgdistは、２つの当てはめられた赤の信号と緑
の信号の間の差（「距離」）を示すために使用される。
これは以下のようにして決められる。まず、２つの信号
のうちの１つが、移動された信号が移動されていない信
号の開始点と同じ値を有するように適当に移動される。
当てはめられた赤の信号と緑の信号を、

【００７４】

【数５】 とすると、

【００７５】

【数６】 であり、ただし、

【００７６】

【数７】 とされる。

【００７７】次に、当てはめられた赤の信号と緑の信号
の差又は距離は、 rgdist = |r(L/2)-g(L/2)| （９） となり、式中、Ｌはトレースの全長である。換言すれ
ば、この特徴は２つの当てはめられた信号の間の差を、
両方の信号が同じ開始値を有するよう一方の信号が移動
されたときの２つの中点における距離によって測定す
る。他の２つの項bgdist及びbrdistは同様に決められ
る。ここで１つの可能性は、かかる符号情報が絶対差と
共に使用されるよう絶対値を使用しないことである。

【００７８】第４のシグナチャは、赤−緑の類似性に関
するものである。赤の信号及び緑の信号は、かなり似て
いるべきである。かかる論理ステートメントについての
疑似コードは、以下の通りである。

【００７９】if (rgdist < MAXRGDIST) sig4 = 1; where #define MAXRGDIST 15 第５のシグナチャは、低い非線形性に関するものであ
る。全ての３つの信号は低い線形性を有するべきであ
る。かかる論理ステートメントについての疑似コードは
以下の通りである。

【００８０】 上述のクリスプな規則を用いる代わりに、条件を破った
場合に幾らかのHUGEPENALTYを課すカットオフポイント
を有する連続的な値のシグモイドファジースコアリング
関数を用いることが有利でありうる。

【００８１】第６のシグナチャは、大きい変更のための
赤−緑−青相関に関するものである。かかる論理ステー
トメントについての疑似コードは以下の通りである。

【００８２】 if (largesignal && corr_rg > 0.5 && corr_br < 0.3 && corr_bg < 0.3) sig6 = 1; //red-grn-blue correlation for large modulation else if (!largesignal && corr_rg > 0.2 && corr_br < 0.4 && corr_bg < 0.4) sig6 = 1; //red-grn-blue correlation for small modulation else if (largesignal == -1) sig6 = 1; //red-grn-blue correlation for micro modulation if (largesignal ! = -1 && corr_rg > 0.9 && corr_rg >5*corr_br && cor r_rg > 5*corr_bg) sig6 = -1; //significantly higher red-grn-blue correlation 式中、corr_xyは、信号ｘと信号ｙの相関係数を示す。
やはり、上述のクリスプな規則を用いる代わりに、この
条件（ｓ＞０．９５）が破られた場合に幾らかのHUGEPE
NALTYを課すカットオフポイントを有する連続的な値の
シグモイドファジースコアリング関数を用いることが有
利でありうる。

【００８３】第７のシグナチャは、赤−緑−青の類似性
又は近平行性に関するものである。かかる論理ステート
メントについての疑似コードは次の通りである。

【００８４】 if (rgdist < MINDIST && bgdist < MINDIST && brdist < MINDIST) sig7 = 0; where #define MINDIST 1.5 やはり、上述のクリスプな規則を用いる代わりに、この
条件（ｓ＞０．９５）が破られた場合に幾らかのHUGEPE
NALTYを課すカットオフポイントを有する連続的な値の
シグモイドファジースコアリング関数を用いることが有
利でありうる。

【００８５】第８のシグナチャは、負の赤／緑傾斜に関
するものである。かかる論理ステートメントについての
疑似コードは以下の通りである。

【００８６】 if (cr[2] > 0 AND cg[2] > 0) sig8 = 0; これは、クリスプな規則として実施される。

【００８７】第９のシグナチャは、当てはめの良さに関
するものである。かかる論理ステートメントについての
疑似コードは以下の通りである。

【００８８】 if (rchisq > MAXCHISQ_R && gchisq > MAXCHISQ_G && bchisq > MAXCHISQ_B) sig9 = 0; where #define MAXCHISQ_R 50 #define MAXCHISQ_G 25 #define MAXCHISQ_B 100 であり、式中、CHISQはχ二乗当てはめ誤差を示す。

【００８９】やはり、上述のクリスプな規則を用いる代
わりに、この条件（ｓ＜０．１）が破られた場合に幾ら
かのHUGEPENALTYを課すカットオフポイントを有する連
続的な値のシグモイドファジースコアリング関数を用い
ることが有利でありうる。

【００９０】第１０のシグナチャは、赤の信号及び緑の
信号の減少に関するものである。かかる論理ステートメ
ントについての疑似コードは以下の通りである。

【００９１】sigA = rdec*gdec; であり、rdecは、赤の信号が（単調に）減少するかどう
かを示す。特に、rdecは、全長の１／４の点における第
１のサンプルx1と３／４の点における第２のサンプルx2
の２つのサンプルを取ることにより当てはめられた赤の
信号を用いて決定される。かかる論理ステートメントの
疑似コードは以下の通りである。

【００９２】 他の項gdecは、緑の信号について同様に決定される。こ
れはクリスプな規則として実施される。rdec =1且つgde
c=1の場合にのみsigA=1であることに注意すべきであ
る。

【００９３】これらの１０のシグナチャは、現在の規則
に基づく処理に、クリスプな決定として統合される。所
与のトレースは、全ての条件が満たされたとき、即ち if (sig1 && sig2 && sig3 && sig4 && sig5 && sig6 ! = 0 && sig7 && sig8 && sig9 && sigA) skysignature =1; 又は、ファジー論理に基づくアルゴリズムでは、 if (sig1 > EFFECTIVEZERO && sig2 > EFFECTIVEZERO && sig3 > EFFECTIVEZE RO && sig4 > EFFECTIVEZERO && sig5 > EFFECTIVEZERO && fabs(sig6) > EFFECTIVEZERO) && sig8 > EFFECTIVEZERO && sig9 > EFFECTIVEZ ERO && sigA > EFFECTIVEZERO) skysignature = (sig1+sig2+…+sig9+sigA)/10 where #define EFFECTIVEZERO 0.1 の場合にのみ、空のトレースであると宣言される。

【００９４】殆どが（例えば９５％が）空の色の画素で
ある全ての候補トレースを検査するとき、領域の空の信
念は、物理学に基づく空トレースモデルを満たすトレー
スの割合として計算される。空の信念が閾値（本例では
一般的な目的では経験的に０．２５）よりも下であれ
ば、空でないと宣言される。

【００９５】図１２Ａ乃至図１３Ｈは、様々な画像に対
する本発明の作用を示す図である。更に特定的には、図
１２Ａ−１２Ｂ及び１３Ａ−１３Ｂは、元の画像が処理
されることについて示す。図１２Ｃ−１２Ｄ及び図１３
Ｃ−１３Ｄは、上述のように図２中のブロック２０１に
示される本発明の色分類処理の結果を示す図打得る。図
１２Ｅ−１２Ｆ及び図１３Ｅ−１３ＤＦは本発明によっ
て生成されるオープンスペースマップ（図６中のブロッ
ク７７）の結果を示す図である。図１２Ｇ−１２Ｈ及び
図１３Ｇ−１３Ｈは、本発明による、空領域を白の部分
として、空でない部分を黒の部分として示す図である。
図１２Ｃ−１２Ｄ及び図１３Ｃ−１３Ｄの明度は、空の
色の信念に比例するが、図１２Ｅ−１２Ｆ及び図１３Ｅ
−１３Ｆの明度は分離されたラベルの領域を示すだけで
ある。

【００９６】本発明は、フィルム及びディジタルカメラ
といったソースによって生成されるＲＧＢ画像に対して
非常によく作用する。検出される空領域は、知覚的な境
界に対して非常によい整合を示す。図１２Ａ乃至１２Ｈ
に示される幾つかの例は、本発明の作用を示す。図１２
中、空と海は正しく分離され、真の空領域が検出され
る。図１２Ｂの画像は、空の向きの正しい検出に基づい
て本発明による方法によって正しく検出されている。空
領域の正しい検出に基づき、図１２Ｂ中の画像は左向き
の肖像画像であると決定される。図１３Ａ中の平滑な青
い対象及び図１３Ｂのテクスチャ化されたテーブルクロ
スは、本発明により夫々正しく排除されている。これら
の２つの画像中に真の空領域がないことにより、画像の
向きは未決定のままとされる。（１）青い領域は空であ
る、及び、（２）空は常に上部にある（例えば上述の
（例えば上述のGoodwin）という仮定の下、画像は図１
３Ａでは左向き、図１３Ｂでは倒立として間違って決定
されうる。

【００９７】本発明による空シグナチャ検証処理の有効
性が与えられていれば、色分類段階をゆるめて、夕焼け
又は朝焼けのときの影といった空の青でない影を含むよ
うにすることが可能である。曇った空に対して、夕焼け
又は朝焼けのときの雲のない空は、日中の同じ部分と同
様の散乱効果を示す。主な差は、昇っている又は沈んで
いる太陽からの暖色の色合いである。

【００９８】候補領域の２次元平面当てはめは、空の検
証を行なうための他の方法である。孔のある領域につい
ては、孔の位置の重み係数をゼロに設定して空の色の画
素のみが平面当てはめに寄与するようにすることができ
る。偽の行程の検出の潜在的な増加を制限するため、孔
を明るい中立の対象（雲）だけによるものとすることが
必要でありうる。

【００９９】従って、本発明は、色分類、領域抽出、及
び物理的空シグナチャ検証に基づく空検出のためのシス
テムを含む。本発明は、フィルム及びディジタルカメラ
を含むソースからの８ビット画像に対して予めバランス
調整し、正しいダイナミックレンジ調整を行ったものに
対して非常に良く作用する。検出された空領域は、近く
された空境界に対する非常によい空間的整合を示す。

【０１００】上述のように、本発明は、空中の小さい粒
子による光の散乱に基づく空の物理的モデルを使用す
る。（色又はテクスチャモデルではなく）物理的モデル
を使用することにより、本発明は水、壁、玩具、服等の
同じような色の他の被写体によってだまされる可能性が
低い。更に、本発明による領域抽出プロセスは、空の色
の信念マップのための適当な閾値を自動的に決定する。
物理的モデルを色フィルタ及びテクスチャフィルタと共
に用いることにより、本発明により従来のシステムより
も優った結果が得られる。

【０１０１】

【発明の効果】本発明の１つの利点は、画像の向きを決
定するために空気中の小さい粒子による光の散乱に基づ
く空の物理的モデルを使用することにある。（テクスチ
ャモデルではなく）物理的モデルを用いることにより、
本発明は水、壁、玩具、服等の同じような色の他の被写
体によってだまされる可能性が低い。更に、本発明によ
る領域抽出プロセスは、空の色の信念マップのための適
当な閾値を自動的に決定する。物理的モデルを色フィル
タ及びテクスチャフィルタと共に用いることにより、本
発明により従来のシステムよりも優った結果が得られ
る。

【図面の簡単な説明】

【図１】本発明の１つの実施例を示す概略構成図であ
る。

【図２】本発明の１つの実施例を示す概略構成図であ
る。

【図３Ａ】晴れた空での昼光の色を示す概略図である。

【図３Ｂ】晴れた空での薄明の色を示す概略図である。

【図４Ａ】色空間中の青い空のクラスタを３次元グラフ
として示す図である。

【図４Ｂ】クラスタを生成する１つの色平面を示す図で
ある。

【図４Ｃ】クラスタを生成する他の色平面を示す図であ
る。

【図４Ｄ】クラスタを生成する他の色平面を示す図であ
る。

【図５】空の色の分類の受信器動作特徴（ＲＯＣ）を示
すグラフ表現である。

【図６】本発明の領域抽出部を示す概略構成図である。

【図７】本発明による空の色の信念のための閾値決定を
示すグラフ表現である。

【図８Ａ】空領域中の勾配の大きさの典型的な分布を示
すグラフ表現である。

【図８Ｂ】空領域中の勾配の大きさの典型的な分布を示
すグラフ表現である。

【図９】本発明によって実行されるトレース分析を示す
概略構成図である。

【図１０Ａ】晴れた空の典型的なトレースを示す図であ
る。

【図１０Ｂ】青い壁の典型的なトレースを示す図であ
る。

【図１１Ａ】空と雲が混ざった典型的なトレースを示す
図である。

【図１１Ｂ】水の典型的なトレースを示す図である。

【図１２Ａ】本発明によって処理される画像の１つの段
階を示す図である。

【図１２Ｂ】本発明によって処理される画像の他の段階
を示す図である。

【図１２Ｃ】本発明によって処理される画像の他の段階
を示す図である。

【図１２Ｄ】本発明によって処理される画像の他の段階
を示す図である。

【図１２Ｅ】本発明によって処理される画像の他の段階
を示す図である。

【図１２Ｆ】本発明によって処理される画像の他の段階
を示す図である。

【図１２Ｇ】本発明によって処理される画像の他の段階
を示す図である。

【図１２Ｈ】本発明によって処理される画像の他の段階
を示す図である。

【図１３Ａ】本発明によって処理される画像の１つの段
階を示す図である。

【図１３Ｂ】本発明によって処理される画像の他の段階
を示す図である。

【図１３Ｃ】本発明によって処理される画像の他の段階
を示す図である。

【図１３Ｄ】本発明によって処理される画像の他の段階
を示す図である。

【図１３Ｅ】本発明によって処理される画像の他の段階
を示す図である。

【図１３Ｆ】本発明によって処理される画像の他の段階
を示す図である。

【図１３Ｇ】本発明によって処理される画像の他の段階
を示す図である。

【図１３Ｈ】本発明によって処理される画像の他の段階
を示す図である。

【符号の説明】

１０ ディジタル画像 ２０ 画像処理段階 ３０ 結果 ４０ 画像変更段階 ５０ 変更された画像

Claims (3)

【特許請求の範囲】
1. 【請求項１】 色によって画像中の空の画素を分類する
   段階と、 上記空の画素の飽和度低下勾配を計算する段階と、 上記空の画素の水平飽和度低下勾配の平均値及び垂直飽
   和度低下勾配の平均値に基づいて上記画像を肖像又は風
   景のいずれかとして分類する段階と、 上記平均水平飽和度低下勾配及び上記平均垂直飽和度低
   下勾配の極性に基づいて上記画像の向きを決定する段階
   とを含む、 画像の向きを決定する方法。
2. 【請求項２】 上記空の画素の空間的に連続する領域を
   識別する段階と、 上記空間的に連続する領域のうち、所定のテクスチャ閾
   値を越えるテクスチャを有する領域を除去することによ
   って実際の空領域を識別する段階とを更に含む、請求項
   １記載の方法。
3. 【請求項３】 上記水平飽和度低下勾配及び上記垂直飽
   和度低下勾配を空についての所定の飽和度低下勾配と比
   較することによって上記実際の空領域が真の空領域であ
   るかどうかを確認する段階を更に含む、請求項２記載の
   方法。