JP2007517315A - デジタルカラー画像における空の検出 - Google Patents

Abstract

色値画素を有するデジタルカラー画像における空を検出する方法は、デジタルカラー画像から初期空領域を表す画素を特定し、特定された空画素に基づいてモデルを作成し、モデルは画素位置を入力とし、色を出力とする数学関数であって、モデルを用いてデジタルカラー画像における初期空領域に含まれていない画素を空と追加して分類する。

Description

本発明はデジタル画像処理に関し、特に画像において空を検出することに関する。

空は、画像においてよく見られる最も重要な素材のひとつである。デジタルカラー画像において、元の景色における空領域と対応する場合、画素や領域は空を表示する。基本的に、地球の大気を示す画像であるときは、画素や領域は空を表す。空を検出することにより、様々な画像の理解、向上、操作の作業を容易にすることができる。空は、景色のジャンル（例えば、屋外風景か屋内風景か、ピクニック風景か会議風景か、都市か景観か、等）として、屋外のイメージを示す強い指標となる（例えば、M. Szummer他、"Indoor-Outdoor Image Classification, "in Proc. IEEE Intl. Workshop on Content-based Access of Image and Video Database, 1998、及びA. Vailaya他、"On Image Classification: City vs.Landscape,"in Proc. IEEE Intl. Workshop on Content-based Access of Image and Video Database, 1998参照）。空に関する情報があれば、例えば「広い空が写っている屋外画像」や「夕焼けの画像」のようなクエリ(queries)を作成することができる（例えば、J. R. Smith他、"Decoding Image Semantics Using Composite RegionTemplates,"in Proc. IEEE Intl. Workshop on Content-based Access of Image and Video Database, 1998参照）。したがって、空を検出することにより、より効率的に内容に基づく画像検索を行うことができる。

画像の方位を見分ける方法として、空とその方位に関する知識があれば、屋外の画像の画像方位を特定することができる。一般的なイメージとは異なり、空領域は常に画像上部にあるとは限らない。さらに、画像の主題を検出する際には、空領域は背景の一部のようであることから、通常除外される。

空の最も顕著な特徴は色であり、空が澄んでいるときは通常淡青色である。このような特徴は画像における空を検出するために利用されてきた。例えば、米国特許第５，８８９，５７８号（特許文献１）では、色の手がかり（「淡青色」） を利用して、それ以上の記述なしに空を検出する技術について述べている。

同一出願人による米国特許第５，６４２，４４３号（特許文献２）においては、色とテクスチャ（の欠如）から、画像における空と関連した画素を特定する。特に、米国特許第５，６４２，４４３号（特許文献２）では、色度領域を複数のセクタに分割している。そして、非定方位の画像の二つの長辺に沿ったサンプル域のある画素を調べる。空色の非対称分布が認められた場合、画像の方位を推定する。写真の全配列の方位は、その配列における個々の画像の推定値に基づいて決定される。米国特許第５，６４２，４４３号（特許文献２）に記載の方法が功を奏するためには、十分に大きな特徴群（ほぼ全ての画像において少なくとも８０％の成功率となる）、又は比較的小さな特徴群（９０％を超える成功率となり、その特徴が全画像の約４０％において認められる）が必要である。したがって、特許文献２は、空を検出するためにロバスト法は必要でないことを開示している。

一方、Saber他、"Automatic Image Annotation Using Adaptive Color Classification", CVGIP: Graphical Models and Image Processing, vol.58, pp.115-126, 1996に記載の技術においては、色を分類することで空を検出していた。空の画素は、２Ｄガウス確率密度関数に従っていると仮定される。したがって、マハラノビス距離に類似した距離関数と、所定の画像に対して決定された適切な閾値とを用いて、空画素を決定している。そして、上記の色分類のみに基づいて画像から抽出した、空や緑、肌が存在するか否かについての情報を用いて、画像の分類及び注釈（例えば、「屋外」「人々」等）を決定する。

全体的な類似のみに基づいて自然の画像を照合することは困難である。したがって、Smith他, supraにおいては、内容に基づく画像検索との関連で、合成領域テンプレート（ＣＲＴ）を用いて画像のセマンティクスを解読する方法を開発した。この方法においては、色彩領域セグメンテーションによって画像を区分化した後、一般的な５×５グリッドに対して垂直走査及び水平走査を行い、基本的には、領域間に空間的関係を有する５×５マトリクスであるＣＲＴを生成する。既知の画像方向であるとして、画像上方に延在する青い部分は晴天を表すと仮定し、空と雲に相当する領域は、緑と木に相当する領域の上方に位置すると仮定する。これらの仮定は常に有効とは限らないが、上記文献においては、ＣＲＴを用いて行ったクエリ、色ヒストグラムやテクスチャは、「夕焼け」や「自然」などのカテゴリに対してははるかに効果的であることが示されている。

同一出願人による米国特許第６，５０４，９５１号（Luo他）（特許文献３）においては、青空は水平線の近辺においては彩度が低いように見え、空領域にわたって徐々に変化することが示されている。空領域である可能性のある領域の勾配信号を調べることにより、空を特定している。条件を満たす勾配信号を示す領域が、空と分類される。上述の方法は、特に青空と類似した色を有する他の被写体を除外する上では優れた成果があるが、このアルゴリズムでは、狭い領域では適切な勾配信号を示すのに十分な大きさがないため、狭い空領域（木の枝の間に見える小さな空領域等）を検出できないという問題があった。

米国特許第５，８８９，５７８号明細書 米国特許第５，６４２，４４３号明細書 米国特許第６，５０４，９５１号明細書

本発明の目的は、デジタル画像において、空を検出するための改良された方法を提供することである。

上記の目的を達成するために、本発明は、色値画素を有するデジタルカラー画像における空を検出する方法であって、（ａ）デジタルカラー画像から初期空領域を表す画素を特定し、（ｂ）特定された空画素に基づいてモデルを作成し、モデルは画素位置を入力とし、色を出力とする数学関数であって、（ｃ）モデルを用いてデジタルカラー画像における初期空領域に含まれていない画素を空と追加分類する、方法を提供する。

本発明によれば、従来技術に比べて、より多くの領域及び画素について、空を表しているものを正確に特定することができる。

以下、本発明の好適な実施の形態について、ソフトウェアプログラムを例にとって説明する。このようなソフトウェアと同等のものをハードウェアでも構成することができることは、当業者にとって自明である。画像操作アルゴリズム及びシステムは公知であるが、以下では、特に、本発明に関する方法の一部を構成する、又はより直接的に協働するアルゴリズム及びシステムについて説明する。ここに含まれる画像信号を生成または別の方法で処理するためのアルゴリズム及びシステムの他の形態や、ハードウェア及び／又はソフトウェアは、以下では特に図示または説明されていないものであっても、システム、アルゴリズム、コンポーネント、エレメントから選択することができる。以下に記載する説明において、全てのソフトウェア実行は従来からなされているものであり、ごく一般的な技術の範囲である。

本発明は、コンピュータハードウェアにより実現することができる。図１に示すように、以下の説明におけるデジタル撮像システムは、撮像素子１０、デジタル画像処理部２０、画像出力装置３０、全体制御コンピュータ４０を有する。このシステムは、コンピュータコンソールやペーパープリンタ等の表示装置５０を有することができる。さらに、操作のためのキーボードやマウスポインタ等の入力制御装置６０を有することができる。本発明は、デジタル画像を生成する複数の撮像素子１０に適用可能である。例えば、図１はデジタル現像システムを示していてもよく、この場合、撮像素子１０は、景色をカラーのネガフィルムまたは反転フィルム上に取り込む従来の写真用フィルムカメラ、また現像したフィルム上の画像をスキャンして、デジタル画像を生成するフィルムスキャナである。デジタル画像処理部２０は、デジタル画像を処理して、所望の出力装置又は媒体上に所望の画像を生成するものである。本発明は、例えばデジタル写真プリンタやソフトコピーディスプレイなど、様々な出力装置３０とともに使用することができる。デジタル画像処理部２０は、デジタル画像を処理するために使用され、全体の明るさや、色合い、画像構成等を調整し、画像出力装置３０から所望の画像が出力されるようにする。本発明は上記の画像処理機能に限らないことは当業者にとって明らかである。

図１に示す全体制御コンピュータ４０は、本発明を、例えば、磁気ディスク（フロッピーディスクなど）や磁気テープ等の磁気記憶媒体、光ディスク、光テープ、機械可読バーコード等の光記憶媒体、ＲＡＭやＲＯＭ等の固体電子記憶装置などのコンピュータ読み取り可能な媒体に記憶されたプログラムを含むコンピュータプログラムとして記憶することができる。本発明における関連コンピュータプログラムのインプリメンテーションは、オフラインメモリ装置７０として示されたコンピュータプログラムを記憶するために設けられた他の物理機器や物理媒体に記憶することもできる。本発明についての説明の前に、理解を容易にするため、本発明はパーソナルコンピュータ等の周知のコンピュータシステムにおいて使用することが望ましいことに留意されたい。

また、本発明はソフトウェア及び／又はハードウェアの組み合わせによって実現することができ、物理的な接続及び／又は同一の物理領域内に位置する装置に限らない。図１に示す装置の一つまたはそれ以上は、離れた場所に位置し、無線で接続されていても良い。

デジタル画像は、一またはそれ以上のデジタル画像チャネルを有している。各デジタル画像チャネルは、画素の二次元配列である。各画素値は、画素の物理的領域に対応する撮像素子に受光された光の量に関連する。カラー画像の場合、デジタル画像は通例、赤、緑、青のデジタル画像チャネルからなる。動画の場合は、一連のデジタル画像であるとすることができる。当業者にとって自明であるように、本発明は上述の用途のいずれかに用いられるデジタル画像チャネルに適用できるが、これに限らない。デジタル画像チャネルは列方向及び行方向に配置された画素値の二次元配列として説明されているが、本発明は非直線配列に適用しても同様の効果が得られることは勿論である。さらに、これも当業者には自明なこととして、下記においては、デジタル画像処理工程は、元の画素値を処理後の画素値に置き換える工程として記述されているが、元の画素値を保持しながら処理後の画素値を有する新たなデジタル画像を生成する工程としても、機能上は同等である。

図１に示すデジタル画像処理部２０は、本発明の方法を実行するようプログラムされており、その詳細が図２に示されている。デジタル原画像１０２は、様々な色彩表現として撮像素子１０（図１）から受け取ることができる。ただし、本発明の最も代表的な例においては、デジタル原画像を、赤、緑、青のデジタル画像チャネルを有するカラーデジタル画像として受け取る。デジタル原画像の画素値は、情景の強度の対数に関連し、各カラーチャネルの各画素値は、１２ビットの値０〜４０９５として表されることが好ましい。さらに、１８８のコード値毎に、情景の強度の倍加（すなわち、絞り）を表すことが好ましい。例えば、１６８８値を有する第１の画素は、１５００値を有する第２の画素の２倍の情景強度を表す。本発明は、例えば８ビットＲＧＢのような他のコードを用いても正常に機能するが、方程式の定数や関数の形を変更することが必要な場合もある。

デジタル画像１０２は初期空検出部１１０に入力され、初期空判断マップ１１２を出力する。初期空判断マップ１１２は、その領域や画素が青空を表すという非ゼロ判断を有していると判定された、デジタル画像１０２の領域又は画素である。領域は、デジタル画像における空間的に接続された画素の集合であって、通常は共通の特性（例えば、同様の画素値）を持つ。好ましくは、初期空判断マップ１１２は、デジタル画像１０２と同数の列及び行の画素を有する画像である。初期空判断マップ１１２の画素数は、画素が青空を表しているという判断または確率を示す。例えば、画素数２５５は、画素が青空を示すという１００％の判断を表し、画素数１２８は５０％の判断を表し、画素数０は画素が青空ではないという確信的な判断を表す。初期空検出部１１０は米国特許第６，５０４，９５１号（Luo他）（特許文献３）に記載されている方法を用いて、初期空判断マップを作成することが好ましい。簡潔に要約すると、この初期空判断マップの作成方法においては、空である可能性のある画素中の連結成分を抽出し、抽出された連結成分のうち、所定のテクスチャ閾値を超えるテクスチャを有する連結成分を除外する。さらに、連結成分の脱飽和傾度を計算し、連結成分の脱飽和傾度と所定の空の脱飽和傾度とを比較することで、画像における正確な空領域を特定する。この米国特許第６，５０４，９５１号（特許文献３）記載の方法は、偽陽性検出率が低いという利点があり、これは、次の工程において同様の色を有する他の被写体が含まれるのを防ぐ上で重要である。

初期空判断マップ１１２は、画像として表される必要はない。例えば、初期空判断マップ１１２は、デジタル画像１０２における位置に対応する画素や領域と、それに関連する判断値との表であってもよい。

初期空判断マップ１１２は、モデル１１６を初期空判断マップ１１２における非ゼロ判断を有する少なくとも一の領域の画素色に適合させるモデル適合部１１４へと送られる。モデル１１６は、この領域の画素の色値に適合されることが好ましい。好ましいモデル１１６は、以下のような二次元二次多項式である。

配列表記では

一般的に、晴れ渡った空は画像全体に渡って色の変化が緩く、二次元二次多項式でうまく表すことができる。

モデル１１６の従属変数（入力）は画素位置ｘ及びｙである。モデル係数は, ｒ_０〜ｒ_５，ｇ_０〜ｇ_５，ｂ_０〜ｂ_５である。モデル１１６の出力は、位置（ｘ，ｙ）における画素の推定画素の色値［Ｒ’（ｘ，ｙ），Ｇ’（ｘ，ｙ），Ｂ’（ｘ，ｙ）］である。係数は、実際の画素値と推定画素色値との平均二乗誤差が最小となるように決定されることが好ましい。このような最小二乗多項式適合法は、公知の技術である。より好ましい方法としては、さらに、初期空判断マップ１１２における非ゼロ判断を有する少なくとも一の領域から選択されたＮ個の画素から、バンデルモンド行列を作成する。初期マップが複数の非ゼロ判断領域を有する場合には、最大又は最も確信的な判断を有する領域が、モデル１１６を構成する領域として選択される。二次多項式としては、バンデルモンド行列は６列Ｎ行を有し、各行は、選択された画素の中の一つの位置座標に対応する。

さらに、各色については、配列Ａが対応する位置におけるデジタル画像の実際の画素値から次のように決められている。

ここで、Ｃ（ｘ，ｙ）は位置（ｘ，ｙ）におけるデジタル画像１０２の特定のチャネルの値を表す。チャネルＣの係数の最小二乗解は、次のように示される。

各色チャネルのモデル誤差は、配列Ａと配列Ｖ［ｃ_０ ｃ_１ ｃ_２ ｃ_３ ｃ_４ ｃ_５］^Ｔ (特定チャネルの画素色の概算)との平均二乗偏差の平方根を計算することによっても決定することができる。モデル誤差は、モデルの既知の非ゼロ判断領域に対する適合度に関する。

要約すると、モデル１１６は画素位置を入力とし、色（モデル期待値）の推定値を出力とする。モデル１１６（方程式及び係数）は、デジタル画像１０２から抽出された画素又は領域候補１２２とともにモデル適用部１１８に入力される。そして、セグメンテーションによって、空領域候補１２２を生成する。セグメンテーションは、色彩クラスタ化アルゴリズム（例えば、既知のＫ平均クラスタ化アルゴリズム）等の既知の技術により行われる。空領域候補１２２は、米国特許第６，５０４，９５１号（特許文献３）に記載されているような連結成分分析を受け、ニューラルネットワークを用いて、これらの空領域候補が典型的な青空の色となるように生成することが望ましい。モデル適用部１１８は、モデル１１６を用いて、初期空判断マップ１１２においては空と分類されていなかった画素を空と追加分類する。モデル適用部１１８は、空を表していると判断されるデジタル画像１０２の画素又は領域を示す改良空判断マップ１２０を出力する。モデル適用部１１８は、全ての画素又は領域（初期空判断マップ１１２において元々非ゼロ判断値に対応している画素又は領域を除く）に対する検討が完了するまで、デジタル画像の様々な画素又は領域１２２に繰り返し適用される。

図３は、モデル適用部１１８のより詳細な図を示す。モデル適用部１１８は、デジタル画像１０２の中から空領域候補又は画素１２２を検討し、空領域候補又は画素１２２の色値がモデル１１６でうまく表されているか、また付加基準を満たしているかを決定する。モデル評価部１３０は、空領域候補又は画素１２２の全ての画素位置についてモデル１１６を評価し、空領域候補又は画素１２２の色値のモデル期待値１３２を生成する。モデル判定部１３４は、デジタル画像１０２の空領域候補又は画素１２２の色値がモデル期待値１３２と十分に類似しているか否かを決定し、分類部１３６はモデル判定部１３４と付加基準分析部１３８との結果を検討し、空領域候補又は画素１２２を「空」と「空でない」のどちらに分類するかを決定する。

モデル判定部１３４は、空領域候補又は画素１２２の実際の色値とモデル期待値１３２の色値とを検討する。モデル期待値の対応する色値が実際の画素の色値に近い場合は、画素はモデルを満たしているとみなされる。モデル色期待値と各色チャネルの実際の画素色値との違いが、同じ色チャネルモデル誤差のＴ_０倍より少ない場合に、モデル色期待値が実際の色に近いとみなされることが好ましく、Ｔ_０は４であることが好ましい。

付加基準分析部１３８によって検討される付加基準は、モデルの色推定値の色相である。本発明の方法においては、青空を主な検出対象としている（ただし、変更を加えることで、朝焼けや夕焼けの空等の他の穏やかに変化する空信号を検出するために用いることもできる）。画素が付加基準を満たすためには、モデルの色推定値は青もしくはほぼ青でなければならない（すなわち、Ｒ’（ｘ，ｙ）／Ｂ’（ｘ，ｙ）がＴ_１よりも小さくなければならず、Ｔ_１は好ましくは０．９である）。当業者にとっては自明であるように、付加基準は、画素又は領域候補１２２もしくはモデル１１６自体の色や構成に関連した他の特徴を含んでいても良い。例えば、空は穏やかに変化するため、画素又は領域候補１２２が領域である場合は、付加基準はこの領域の画素の色値の標準偏差の上限を定めても良い。さらに、考え得る付加基準としては、空領域候補１２２の大きさ（画素数等）を含んでも良い。例えば、上述の必要条件に加えて、付加基準を満たすためには、領域が少なくともＴ_２個画素を有し、Ｔ_２は好ましくは２０であることを必要としても良い。さらには、付加基準を満たすために、少なくともＴ_３×１００％の空領域候補の画素がモデル判定部１３４の判断を満たし、Ｔ_３は好ましくは０．８０であることを必要としても良い。

最後に、分類部１３６は、モデル判定部１３４と付加基準分析部１３８との結果を検討し、空領域候補又は画素１２２を「空」と「空でない」とのどちらに分類するかを決定する。画素又は領域候補１２２が画素の場合は、付加基準分析部１３８が付加基準が満たされていることを示し、モデル判定部１３４もモデル１１６が適合していることを示しているときは、分類部１３６は画素を「空」と分類する。

画素又は領域候補１２２が画素の領域の場合は、分類部１３６はモデル判定部１３４の複数の結果を検討しなければならず、その後領域を「空」又は「空でない」と分類する。好ましくは、付加基準分析部１３８が全ての付加基準が満たされていることを示しているときに、分類部１３６は領域を「空」と分類する。

分類部１３６は、改良空判断マップ１２０を出力する。改良空判断マップ１２０は、空を表す非ゼロ判断を有する画素及び領域に関する初期空判断マップ１１２と同一であることが好ましい。改良空判断マップ１２０はまた、図２のモデル適合部１１４によってモデル１１６を生成するために当初用いられていた初期空判断マップ１１２の非ゼロ判断領域の判断値と同等の（もしくはその関数の）非ゼロ判断値を有する「空」であると、分類部１３６において判定された画素及び領域を示す。「空でない」と分類された領域又は画素は、改良空判断マップ１２０においては判断値０で示される。

あるいは、モデル判定部１３４は、画素又は領域候補が空である可能性を示す確率Ｐを出力する。確率は、上述のモデル色推定値と実際の各画素の色値との偏差に基づいて決定される。偏差が大きくなるほど、確率は減少する。例えば、領域の全画素について偏差が０である場合、この領域は空であるとして、モデル判定部１３４は確率Ｐ＝１００％を出力する。ＲＭＳ（Root Mean Square）平均画素偏差がモデル誤差の３倍である場合、モデル判定部１３４は、確率Ｐ＝６０％を出力する。その後、分類部１３６は、モデル判定部１３４からの確率Ｐと、付加基準分析部１３８からの情報とに基づいて、画素又は領域を、「空」もしくは「空でない」と分類する。例えば、分類部１３６は、確率Ｐが５０％よりも大きい場合（付加基準は満たされているとする）に、領域を「空」と分類する。本実施例においては、画素又は領域が空を表している確率は、各画素のモデル色推定値と実際の色値との差に基づいて指定される。指定された確率は、画素又は領域が空であるか判断するために用いられる。

図４に、デジタル画像処理部２０の他の構成を示す。上述したように、初期空検出部１１０は初期空判断マップ１１２を出力する。初期空判断マップ１１２と空領域候補１２２とは、モデル適合部１１４に入力される。この例においては、モデル適合部１１４は２つのモデル１１６を構築する。第１のモデル１１６_１は、図２を参照して説明した初期空判断マップ１１２における非ゼロ判断領域と関連したモデルである。第２のモデル１１６_２は、二次元二次多項式を初期空判断マップにおける非ゼロ判断領域の画素と空領域候補１２２の画素とに適合させる同様の方法を用いて生成される。これらのモデル１１６は、モデル分析部１４０に入力される。モデル分析部１４０は、第１及び第２のモデルに基づいて、空領域候補１２２を「空」と「空でない」のどちらに分類するかを決定する。空領域候補は、下記の条件を満たしている場合に、「空」として分類される。
１．初期空判断マップ１１２における非ゼロ判断領域に属する画素のモデル誤差が、第２のモデルにおいて、第１のモデルに対し、Ｔ_４％（好ましくは、Ｔ_４＝５０）以下である。
２．第２のモデルの空領域候補のモデル誤差が、第１のモデルの初期空判断マップ１１２における非ゼロ判断領域に属する画素のモデル適合誤差のＴ_５％（好ましくは、Ｔ_５＝５０）以下である。
３．空領域候補の平均色［Ｒａ Ｇａ Ｂａ］がＲａ／Ｂａ＜Ｔ_５（好ましくは、Ｔ_５＝０．９）となる。

モデル分析部１４０は改良空判断マップ１２０を出力する。改良空判断マップ１２０は、空を表す非ゼロ判断を有する画素及び領域に関する初期空判断マップ１１２と同一であることが好ましい。改良空判断マップ１２０はまた、図２のモデル適合部１１４によってモデル１１６を生成するために当初用いられていた初期空判断マップ１１２の非ゼロ判断領域の判断値と同等の（もしくはその関数の）非ゼロ判断値を有する「空」であると分類部１３６において判定された画素及び領域を示す。「空でない」と分類された領域又は画素は、改良空判断マップ１２０においては判断値０で示される。

図５Ａ〜Ｃに、本発明の効果を示す。図５Ａは、空を含む原画像を表す図である。この画像においては、木々によって、空が空間的に２つの空領域、すなわち小さい領域１６２と大きな領域１６０とに分かれている。図５Ｂは初期空判断マップ１１２における表示を示す。暗色領域１６４は、初期に空領域を特定する非ゼロ判断を有する領域である。しかしながら、図５Ａにおける空領域１６２は、青空として典型的な勾配信号を示すのに十分な大きさがないため、正しく空と特定されていない。図５Ｃは、改良空判断マップ１２０における表示を示す。改良空判断マップ１２０においては、暗色領域１６６及び１６４が、図５Ａに示す原画像二つの空領域１６０及び１６２を正しく特定している。

本発明に係る方法は、デジタルカメラ、デジタルプリンタ、パーソナルコンピュータ等において実行することができる。

本発明を実行するのに適したコンピュータシステムを示すブロック図である。 本発明に係る図１のデジタル画像処理部を示すブロック図である。 図２のモデル適用部を示すブロック図である。 図２のデジタル画像処理部の他の実施形態を示す図である。 本発明の効果を説明するための画像例を示す図である。 本発明の効果を説明するための画像例を示す図である。 本発明の効果を説明するための画像例を示す図である。

Claims (13)

1. 色値画素を有するデジタルカラー画像における空を検出する方法であって、
   （ａ）前記デジタルカラー画像から初期空領域を表す画素を特定し、
   （ｂ）前記特定された空画素に基づいてモデルを作成し、前記モデルは画素位置を入力とし、色を出力とする数学関数であって、
   （ｃ）前記モデルを用いて、前記デジタルカラー画像における前記初期空領域に含まれていない画素を空として追加分類する、方法。
2. 請求項１記載の方法において、前記モデルは前記デジタルカラー画像における画素位置に関する二次元多項式である、方法。
3. 請求項２記載の方法において、前記多項式は二次多項式である、方法。
4. 請求項１記載の方法において、初期空領域を特定する工程は、さらに、
   （ｉ）空である可能性のある画素の連結成分を抽出し、
   （ｉｉ）前記連結成分のうち、所定のテクスチャ閾値を超える閾値を有する連結成分を除外し、
   （ｉｉｉ）前記連結成分の脱飽和傾度を算出し、前記連結成分の前記脱飽和傾度と所定の空の脱飽和傾度とを比較して、前記デジタルカラー画像における正確な空領域を特定する、方法。
5. 請求項１記載の方法において、前記モデルを用いて画素を空として追加分類する工程は、さらに、
   （ｉ）前記画素位置について、画素の色と前記モデルの推定の色との差を決定し、
   （ｉｉ）前記差を用いて、前記画素が空領域であるか決定する、方法。
6. 請求項１記載の方法において、前記モデルを用いて画素を空として追加分類する工程は、さらに、
   （ｉ）前記画素位置について、画素の色と前記モデルの推定の色との差を決定し、
   （ｉｉ）前記差を用いて、前記画素が空を表す確率を指定し、
   （ｉｉｉ）前記指定された確率を用いて、前記画素が空領域であるか決定する、方法。
7. 請求項５記載の方法において、モデルを適合させる際に、
   （ｉｖ）残差を算出し、
   （ｖ）前記差と前記残差との比を算出し、前記比を用いて前記画素が空を表す確率を指定することで、前記差を用いて前記確率を指定する、方法。
8. 請求項５記載の方法において、前記画素が空である確率を算出する工程は、さらに、
   前記領域における前記画素の「青さ」に関する色特性を算出し、
   前記色特性を用いて、前記画素が空であるか否かを決定する、方法。
9. 色値画素を有するデジタルカラー画像における空を検出する方法であって、
   （ａ）前記デジタルカラー画像から初期空領域を表す画素を特定し、
   （ｂ）前記特定された空画素に基づいてモデルを作成し、前記モデルは画素位置を入力とし、色を出力とする数学関数であって、
   （ｃ）前記モデルを用いて、前記デジタルカラー画像における前記初期空領域に含まれていない空領域候補を分類する、方法。
10. 請求項９記載の方法において、前記モデルは前記デジタルカラー画像における画素位置に関する二次元多項式である、方法。
11. 請求項１０記載の方法において、前記多項式は二次多項式である、方法。
12. 請求項９記載の方法において、さらに、
    適合度に関するモデル誤差を算出し、
    工程（ｃ）において、前記モデルと前記モデル誤差とを用いて、前記デジタルカラー画像における前記初期空領域に含まれていない空領域候補を分類する、方法。
13. 請求項９記載の方法において、工程（ｃ）はさらに、
    前記空領域候補の大きさを決定し、
    前記決定した大きさと前記モデルとを用いて、前記デジタルカラー画像における前記空領域候補を分類する、方法。

Images