JP2001195591A - 画像中の空を検出する方法 - Google Patents
画像中の空を検出する方法Info
- Publication number
- JP2001195591A JP2001195591A JP2000361907A JP2000361907A JP2001195591A JP 2001195591 A JP2001195591 A JP 2001195591A JP 2000361907 A JP2000361907 A JP 2000361907A JP 2000361907 A JP2000361907 A JP 2000361907A JP 2001195591 A JP2001195591 A JP 2001195591A
- Authority
- JP
- Japan
- Prior art keywords
- sky
- image
- color
- blue
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
頼性で空を検出する方法を提供することを目的とする。 【解決手段】 画像中の空領域を検出するための方法、
画像認識システム、コンピュータプログラム等は、画像
中の潜在的な空画素を色によって分類し、潜在的な空画
素の連結成分を抽出し、連結成分のうち所定のテクスチ
ャ閾値を越えるテクスチャを有するものを除去し、連結
星群の飽和度低下勾配を計算し、画像中の真の空領域を
識別するために連結成分の飽和度低下勾配を空について
の所定の飽和度低下勾配と比較することを含む。
Description
像処理及びディジタル画像理解の分野に関連し、更に特
定的には、写真及び他の同様な画像中のどの領域が空で
あるかを検出するシステムに関連し、更に特定的には色
分類、領域抽出及び物理学的空シグナチャ(特徴)検証
に基づく空検出システムに関する。
り、写真画像中にしばしば見られる。空を検出すること
により、様々な画像の理解、強調、操作タスクが容易と
なる。空は、シーン分類(例えば、屋外シーンと屋内シ
ーン、ピクニックシーンと会議シーン、都市と風景等)
のための屋外画像の強い指標である。例えば、M.Szumme
rand R.W.Picard, "Indoor-Outdoor Image Classificat
ion", in Proc. IEEE Intl. Workshop on Content-base
d Access of Image and Video Database, 1998及びA. V
ailaya, A. Jain, and H.J. Zhang, "On Image Classif
ication: City vs. Landscape," in Proc. IEEE Intl.
Workshop on Content-based Access of Image and Vide
o Database, 1998(共にここに参照として組み入れられ
る)を参照のこと。空に関する情報については、「かな
りの空を含む屋外画像」又は「夕焼けの画像」等(例え
ば、ここに参照として組み入れられるJ.R.Smith and C.
-S.Li, "Decoding Image Semantics Using Composite R
egion Templates," in Proc. IEEE Intl. Workshop on
Content-based Access of Image and Video Database,
1998)といったクエリーを作成することが可能である。
このように、空検出により、更に有効な内容に基づく画
像検索が可能となる。
向きに関する知識は、屋外画像についての画像の向きを
示しうる(一般的に信じられているのとは逆に、空領域
は必ず画像の上部にあるとは限らない)。更に、画像中
の主要な被写体を検出するとき、空領域は背景である可
能性が高いため通常は排除される。
晴れているときはその色は通常は薄い青である。このよ
うな特徴は画像中の空を検出するために使用されてき
た。例えば、F.S. Jamzadehによる「Method and Appara
tus for Using Film ScanningInformation to Determin
e the Type and Category of an Image」なる名称の米
国特許第5,889,578号(ここに参照として組み
入れられる)は、更なる記述を与えることなく空を検出
するために色のキュー(「薄い青」)を使用することに
ついて記載している。
rientation Method and Apparatus」なる名称の米国特
許第5,642,443号(ここに参照として組み入れ
られる)は、画像中の空に関連付けられる画素を示すた
めに色及びテクスチャ(が無いこと)を用いる。特に、
Goodwinによれば、色度により領域をセクタへ分割する
方法が用いられている。方向が揃えられていない画像の
2つの長辺に沿ったサンプリングゾーンの画素が調べら
れる。空の色の非対称的な分布が見つかると、画像の向
きが推定される。写真の注文全体の向きは、その注文の
個々の画像についての推定値に基づいて決定される。Go
odwinによる注文全体の向きの方法が成功するには、十
分に大きな特徴の群(少なくとも80%の成功率を有す
るものが殆ど各画像ごとに見つかる)か、又はより小さ
い特徴(90%以上の成功率であり、この特徴が全ての
画像の約40%に見つけられる)の群が必要である。従
って、Goodwinでは、非常に強固な空検出方法は必要と
されていない。
R. Eschbach, and K. Knox), "Automatic Image Annota
tion Using Adaptive Color Classification", CVGIP:
Graphical Models and Image Processing, vol. 58, p
p. 115-125, 1996(ここに参照として組み入れられる)
では、空を検出するために色分類が使用される。空の画
素は、2次元ガウス確率密度関数(PDF)に従うと想
定される。従って、空の画素を決定するために、所与の
画像についての適応的に決定される閾値と共に、マハラ
ノビス距離と同様の計量が用いられる。最後に、画像の
分類及び注釈(例えば「屋外」、「人々」)を決定する
ために、上述の色分類にのみ基づいて画像から抽出され
る空、草、肌の有無に関する情報が使用される。
整合させることは、その程度までしか物を撮像すること
ができない。従って、上述のSmithは、内容に基づく画
像検索の文脈で複合領域テンプレート(CRT)を用い
て画像セマンチックを復号化する方法を開発した。Smit
hの方法では、画像が色領域セグメント化を用いて分割
された後、典型的な5×5のグリッドに対して垂直及び
水平走査が行われ、本質的には領域間の空間的関係を示
す5×5マトリックスであるCRTが形成される。既知
の画像の向きを仮定すると、画像の上部の青の拡大した
パッチは晴れた空を表わす可能性が高く、空及び雲に対
応する領域は草木に対応する領域の情報の上にある可能
性が高い。これらの仮定は常に有効であるわけではない
が、上述のSmithでは、CRT、色ヒストグラム、及び
テクスチャを用いて実行されたクエリーは、「夕焼け」
及び「自然」といったカテゴリでははるかに有効である
ことが示されている。
は、同じように色づけされた又はテクスチャを有する被
写体、例えば、青い壁、水域(海、湖等)、青いシャツ
等を区別できないことである。更に、これらの技術の幾
つかは、画像の向きに関する知識に依存する必要があ
る。空の有無を高い信頼性で検出できないこと、特に偽
の肯定的な検出は、それ以降の適用に失敗をもたらす可
能性がある。
チャ解析、及び物理学的空トレース解析に基づく強固な
空検出システムを提供する。本発明は、明るい空の色の
画素を選択するために色相情報を使用し、潜在的な空の
領域を見つけるために連結成分解析を用いる。本発明
は、テクスチャ内容が低い空領域を確認するために勾配
(グラディエント)を用い、同様の空の色の信念である
が同様でない空の色を有する隣接する領域を分割するた
めに平滑な広がりとして画成されるオープンスペースを
セグメント化する。本発明はまた、天頂−水平線方向を
決定するために勾配を用い、候補領域が空モデルに当て
はまるかどうかを決定するために物理学的空トレースシ
グナチャを用いる。
を検出するための方法、画像認識システム、コンピュー
タプログラム等の形式を取ることができ、画像中の潜在
的な空画素を色によって分類すること、潜在的な空画素
の連結成分を抽出すること、所定のテクスチャ閾値以上
のテクスチャを有する連結成分のうちの1つを除去する
こと、連結成分の飽和度低下(desaturation)勾配を比
較すること、及び画像中の真の空領域を識別するため
に、連結成分の飽和度低下勾配と空についての所定の飽
和度低下勾配とを比較することを含む。
レース成分についての飽和度低下勾配を含み、空につい
ての所定の飽和度低下勾配は、水平線から天頂まで、赤
及び緑の光トレース成分の減少と、略一定の青の光トレ
ース成分とを含む。
素の信念マップを形成し、空の色の適応閾値を計算し、
閾値を越える画素を分類することは、信念マップから得
られる信念ヒストグラム中の第1の谷を識別することを
含む。信念マップ及び信念ヒストグラムは、画像に固有
である。
の勾配を識別し、画像の幅方向に垂直な第2の勾配を識
別し、第1の勾配と第2の勾配とを比較することによっ
て、画像中のシーンの水平方向を決定する。シーンの水
平方向は、第1の勾配と第2の勾配のうちの小さい方に
よって識別される。
は、添付の図面を参照して本発明の望ましい実施例の詳
細な説明を読むことにより明らかとなろう。
びテクスチャを越えてなされる必要がある。特に、可能
であれば真の空の領域を他の同様の色及びテクスチャを
有する被写体と区別するために、空の物理的モデルが所
望とされる。以下説明される本発明は、可能であれば真
の空の領域を他の同様の色及びテクスチャを有する被写
体と区別する強固な空検出処理を提供する。
い部分に対応する画像中の全ての画素を識別することを
含む。更に、空の検出により、個々のセグメント化され
た領域に、空を含む確率が割り当てられる。確率を用い
た表現を使用するか、これをクリスプな決定に変換する
かは、画像理解システムの続く従来の処理にゆだねられ
る。本発明の幾つかの重要な特徴は、色相分類、テクス
チャ解析、及び物理的空トレース解析に基づく強固な空
検出処理、明るい空の色の画素を選択するために色相情
報を使用すること、潜在的な空領域を見つけるために連
結成分解析を用いること、空領域のテクスチャ内容が低
いこと(即ちオープンスペースであること)を確かめる
ために勾配を使用すること、同様の空の色の信念を有し
同様でない空の色を有する隣接する領域を分割するため
にオープンスペースのセグメント化を使用すること、天
頂−水平線方向を決定するために勾配を使用すること、
候補領域が空モデルに当てはまるかどうかを決定するた
めに物理的空トレースシグナチャを使用することを含
む。
解技術、即ちディジタル画像を理解しそれにより人間に
よって理解可能な対象、属性又は条件に対して有用な意
味を割り当てるよう処理し、次に得られた結果をディジ
タル画像の更なる処理に用いることに関する。
ル画像理解技術)全体を示すブロック図である。まず、
ディジタル画像(10)がディジタル式に処理される
(20)。画像変更段階(40)において、処理段階
(20)から得られる結果(30)と、元のディジタル
画像(10)とを用いて、変更画像(50)が生成され
る。
細に示す図である。本発明の方法は、3つの主な段階を
含む。最初の主な段階(例えばブロック201)では、
以下説明される正及び負の例を用いてブートストラップ
式に学習されるマルチレイヤバックプロパゲーションニ
ューラルネットワークによって色分類が実行される。色
分類段階の出力は、2値決定マップよりも望ましい連続
的な「信念」値のマップである。
ブロック202)は、信念ヒストグラム中を低い信念か
ら高い信念へ移動するときに通る第1の谷を見つけるこ
とによって空の色の信念マップのための適当な閾値を自
動的に決定し、連結成分解析を実行する。更に、(1)
高くテクスチャ化された領域を判定するため、及び
(2)空を、他の青色の領域、例えば水域から区別する
ために、オープンスペースの検出(例えばブロック20
4)が組み込まれる。閾値信念よりも上の値を有する画
素と、オープンスペースのマップ中で連結成分との交点
を取ることにより、シード領域が形成される。閾値信念
よりも下の値の画素では、信念値の連続性及び色値の連
続性により、シード領域からの成長が生ずる。
ャ検証処理(例えばブロック205乃至209)は、各
抽出された領域についての垂直/水平勾配を調べるこ
と、推定された水平線−天頂方向に沿った領域中の1次
元トレースを抽出すること、トレースが空のトレースに
似ているかどうか(以下に説明する一組の規則により)
決定すること、最後に、物理学的空トレースモデルに当
てはまるトレースの割合に基づいて領域の空信念を計算
することによって、空の向きを推定する。1つの実施例
では、本発明は、画像の幅方向に平行な第1の勾配及び
画像の幅方向に垂直な第2の勾配を識別することにより
画像中のシーンの水平方向を識別し、第1の勾配と第2
の勾配のうち小さい方がシーンの方向を示すとされる。
ジタル形式(200)で受信される。次に画素は、以下
に説明される本発明の色分類処理を用いて、空の色の画
素と空でない色の画素に分類される(201)。やはり
以下に説明する連結成分解析を用いて、空の色の画素の
空間的に連続する領域が抽出される(202)。連結成
分(又は「領域」)の各内部画素に対して勾配演算子が
与えられ、水平及び垂直勾配値が計算される(20
3)。連結成分の境界の近傍の画素は、空と他の被写体
との間、例えば水平線における大きさのかなりの遷移を
示すため、1つの実施例では排除されることが望まし
い。
は、領域の全ての内部画素を用いて計算される。多数の
試験により、過剰なテクスチャに基づいて候補領域が失
格とされる。このように、いずれかの勾配値が所定の上
限閾値Thighを越えるとき、即ち領域のテクスチャが多
い場合、領域は空領域であるとは考慮されないことを示
す。|Gx|と|Gy|が略同一である場合も、領域は
空領域であるとは考慮されない。更に、候補領域中の全
ての画素の色(色相)分布が空領域の予想される特徴に
当てはまらない場合も、領域は空領域であるとは考慮さ
れない。
部分的には飽和度低下効果の結果として、略ルミナンス
方向に沿った長軸を有する傾斜した楕円体に似ているべ
きであることを認める。
すれば、天頂−水平線方向の考えられる方向が決定され
る(205)。不合格であれば、方法はステップ(20
2)に戻って、空の色を有する次の潜在的な画素領域を
解析する。特に、赤のチャネルの勾配が検査される。|
Gx|>|Gy|であれば、風景画像である可能性が高
いことを示している。そうでなければ、画像は肖像画像
である可能性が高い。更に、風景画像では、Gx<0で
あれば直立画像である可能性が高いことが示されてお
り、そうでなければ倒立画像である可能性が高い。肖像
画像では、Gy<0であれば、左向き画像である可能性
が高いことが示され、そうでなければ右向き画像である
可能性が高い。
域に亘ってトレースが抽出される(ステップ206)。
各トレースが空領域から得られたものであるかどうかを
判定するため、各トレースについて複数の空−トレース
シグナチャが測定される(ステップ207)。候補領域
が空である可能性又は信念は、抽出された全ての空トレ
ースから投票することによって決定される(ステップ2
08)。候補領域の全体としての信念が所定の閾値を越
える場合(ステップ209)、候補領域は空領域である
と宣言される(ステップ210)。処理は、同じように
して全ての候補領域を解析するために繰り返される(例
えば、処理はステップ202へ戻る)。検出された空領
域が空の向きと一致しない場合、画像の全体の向きはよ
り大きくより高い信念空領域からの結果によって決定さ
れる。相反する空領域を有する領域は、拒絶される。
灰色/赤/茶、水は青/緑に見えることが殆ど公理のよ
うなものである。しかしながら、ディジタル画像に実際
に記録されるものは幾らか異なる。これは、朝焼け及び
夕焼けに関連する暖色を含む空の領域についていえるだ
けでなく、示される色の記録物よりも更に青みがかって
見える空の領域についてもいえる。この問題は、画像補
足中又はイメージングチェーンの他の段階において導入
される誤りにより、画像全体の色バランスが崩れうるこ
とによって、更に混乱される。
的な結果だけでなく、人間の生理的及び心理的な面の結
果によるものであり、青く見える空画像における赤及び
緑成分は、青成分よりも(僅かなパーセント割合で)強
くなりうる。更に、例えば太陽自体、照らされた雲、
雪、氷、又は人工的な対象が青い空よりも明るくされう
るとしても、晴れた雲のない空は通常は画像中の最も明
るい被写体である。太陽は、オレンジ−黄の波長におい
て最も明るく照射する。空気の粒子の波長選択的散乱
は、散乱は波長の4乗に反比例することを示すレイリー
の法則に従って、太陽光線の青光成分をより長い波長よ
りも強く分散させる(例えば、ここに参照として組み入
れられるC.F.Bohren and D.R.Huffman, Absorption and
Scatteringof Light by Small Particles, New York,
John Wiley and Sons, 1983を参照のこと)。空の色
は、実際に、殆ど紫(人間の目によってあまり感知され
ない)によって構成され、幾らかの青、少しの緑、非常
に僅かな黄及び赤を含み、これらの成分を全て合計する
と、空の青となる(例えば、ここに参照として組み入れ
られるM. Minnaert, The Nature of Light and Color i
n the Open Air, New York: 1954を参照のこと)。
ない。空はしばしば水平線に向かって飽和度が低下して
現れる。太陽をはずして頭上に晴れた空を直接見た場
合、散乱された青い光が優位であり、空は濃い青に見え
る。見る方向を遠い水平線に向かって移動させると、様
々な選択的な因子が等化され、空は殆ど白へ飽和度が低
下される。
果、例えば暈、蜃気楼、虹がある。これらの効果では、
光の強度は天頂から水平線にかけて増加し、同時に色は
濃い青から白へ変化する。この効果は、主に人間の目と
水平線の間の空気層の厚さが厚いことによって生ずる。
空気の小さな粒子が選択的に青の光を散乱させるが、散
乱された光線は散乱する粒子から人間の目への長い路に
おいて最も弱くされる。非常に厚い空気層により、散乱
効果と減衰効果は相互に打ち消し合う。
分数sds(sは色依存散乱係数、dsは粒子の寸法と
する)を散乱させると想定する。光の量は、所与の点に
到達する前に、e-sxの比率で弱められる。無限に厚い
空気層(妥当な近似)から受けられる光は、全ての粒子
dsからの寄与の合計、即ち、
はsとは独立であり、従って光の色とは独立である。
照らされた白いスクリーンと同じ明度及び色を示す。更
に、地面に近い空気層は、より多くの浮遊する大きい塵
粒子を含み、(空気層が無限の厚さであると考えられな
くても)全ての色を等しい強さで散乱させ、光の色をよ
り白くする。
者の後方から横向きに照っているとき、太陽の位置(水
平線よりも高いところにある)と、観察者の制限された
視野のため、光の同心的な分布は水平線に略平行とな
る。観察者が太陽の方向を向いてみているとき(観察者
は建物の影の中の影の縁の近傍に立つべきである)、空
の明度は太陽の近くでは急速に増加し、目を眩ませるほ
どとなり、その色は更に白くなる。写真画像では、太陽
が水平線上にあるか光の強度が非常に弱い朝焼け又は夕
焼けの場合を除き、直接太陽光の写真を撮影することは
あまりない。
良い例として考えられ、一方、図3A及び3Bに示され
るように、夕焼けは一定の明度及び色の同心の分布の同
様の形状でよりドラマチックな色のグラデーションを示
す。更に特定的には、図4A及び3Bは、太陽が西の水
平線に沈むときに東の水平線に見られる異なる色を示す
図である(即ち、昼光対薄明)。薄明の空を検出するこ
とは本発明の目的ではないが、この薄明の空の固有のシ
グナチャはより一般的な空検出処理において使用されう
る。実際に、本発明によって使用される特性のうちの1
つがターンオフされると、以下に説明するように、方法
は、図3B中の薄明の空を検出することに成功する。
能でない水の色を決定する因子について見ることも重要
である。人間の目が水から受ける光の一部は表面によっ
て反射され、表面が平滑であるときに鏡のように作用
し、水の色は、空の色により青やグレーとなる。遠くの
海(又は任意の大きい開いた水域)の色は、20°乃至
30°の高さの空の色と略同じである。これは、人間が
遠くのウェーブレットのスロープを見ているときに、光
の一部のみが反射されるためである(例えば上記のMinn
aertを参照のこと)。
色」即ち散乱されて下から戻る光の色を有する。深い水
及び同じように深い水の深さは、水の底から実質的に全
く光が戻らないほど深いと考えられうる。「それ自体の
色」は、水中での散乱及び吸収の組み合わされた効果に
寄与する。深い、殆ど純粋な水の色は、光が水を通過
し、散乱されて戻った後、スペクトルのオレンジ及び赤
の部分での水による吸収により、青である。
を、空と一緒に現れるか現れないかに関わらず、空とは
区別することが重要である。考慮される要因は、水によ
る光のオレンジ及び赤の成分の吸収である。かかる深い
水域の波及び波動は、様々な勾配の小さい面を形成す
る。一般的に、見る方向により垂直な面又はより近い面
を見るときに色は暗くなる。しかしながら、変化するの
は、主に色相ではなく明度である。
たように(例えば図2のブロック201)、本発明はま
ず、簡単化及び明瞭性のため、特に昼間に見られる晴れ
た明るい青い空について色分類器を学習させる。朝焼け
及び夕焼けに関連する暖色を含む空領域は、多くの屋外
シーンにおいて背景をなす青い空又はグレーの空とは一
緒にされない。本発明では、色に基づく検出によって全
ての候補青い空画素を識別し、これらは晴れた空と一貫
性のある空間的なシグナチャについての領域としてのス
クリーンである。
ニューラルネットワーク学習が用いられる。最初の学習
セットは、理想の青い空の特徴、グレーの空の画像、及
び空ではない(主に屋内の)画像を有する画像を含む。
全ての青い空の画素は肯定的な例として含まれ、否定的
な例は全ての画素から青い空でも水でもない画素をサン
プリングすることによって含まれる。
クは、3又は2のニューロンを含む2つの隠れ層と単一
の出力ニューロンとによって構成される(例えば、Howa
rd Demuth and Mark Beale, Matlab Neural Network To
olbox, The Math Works, Inc., 1998を参照のこと)。
隠れ層のニューロンは、タンジェント−シグモイド伝達
関数を有し、出力ニューロンの伝達関数はログ−シグモ
イドである。ネットワークは、画素値を理想の青い空又
は空でないものとして分類するために、Levernberg-Mar
quardtバックプロパゲーションを用いて学習された(例
えばHoward Demuth and Mark Bealeを参照のこと)。タ
ーゲット応答は、理想の青い空ではa=1であり、空で
ないときはa=0である。
れた各画素について0乃至1の信念値を有し、1は画素
が青い空である可能性が高いことを示し、0は画素が青
い空である可能性があまり高くないことを示す。(r,
g,b)入力空間中の点に対する本発明の応答を視覚化
するため、本発明により処理される例の画像から得られ
る(r,g,b)トリプレットの規則的な間隔のグリッ
ドが図4Aに示され、各色平面は図4B乃至4Dに別々
に示されている。
念を生成する点は、「.」で示されている。この分布の
3つの平面への投影もまた示されている(「o」によっ
て示される。)。分布はルミナンスの方向に非常に細長
く延びており、低いルミナンスに向かってわずかに発散
し始めることに注意すべきである。特定に入力画像につ
いて、各画素は別々に分類され、信念マップは、各画素
の明度をその信念値に比例するよう設定することによっ
て形成される。このような信念マップの例は、図12E
−F及び図13E−Fに示される。
ルの受信器動作特徴(ROC)を示す図である。この曲
線は、色分類器における処理の後に様々なレベルにおけ
る厳しい閾値が続いた場合の真の肯定的なパフォーマン
スと偽の肯定的なパフォーマンスを示す。
れるグラフの曲線上の左上の隅に最も近い位置を探すこ
とにより見つけられる。例えば、0.0125の閾値を
用いることにより青い空画素の90.4%の正しい検出
が与えられるが、13%の青い空でない画素も検出す
る。これらの検出された青い空でない画素のうち、水が
かなりの部分を占める。これに対して、本発明は、所定
の「厳しい」閾値を使用するのではなく、各領域を一組
の空シグナチャに対して検証する前に領域抽出方法を実
行する。この処理について、以下、図7を参照して詳述
する。
(例えば上述のブロック202)は、信念ヒストグラム
中で低い信念から高い信念へ動くときに存在する第1の
谷点を見つけることによって空色信念マップについての
適当な閾値を自動的に決定し、次に図7に示されるよう
な連結成分解析を実行する。更に、本発明によれば、連
結された成分は空セグメントの領域レベルの表現を生成
するために細分化され、これにより画素レベルでは不可
能であった空シグナチャ検証が容易となる。
プ202)についての詳細が与えられている。各画素値
が空の色を有する画素の信念に比例する信念マップ71
について、図7を参照して以下説明するように、大局閾
値72が適応的に決定される。この閾値を用いて2値マ
ップ73が形成され、「1」画素は候補空画素と考えら
れ、「0」画素は空でない画素と考えられる。空間的に
連続する「1」画素の領域である連結成分は、空の色の
空間的に分離されたゼロでない領域を生成するために固
有にラベル付けされる(ステップ74)。空でない画素
は、廉潔性とは無関係に「0」とラベル付けされる。
(本願では「ラベルなし」と称される。)空の色の各連
結結成分は、空の色の連結成分を生成するため(ステッ
プ76)、以下詳細に示す2つの演算を用いて細分化さ
れる(ステップ75)。オープンスペースマップ77
(やはり以下に説明する)は、図2中ブロック202に
よって出力される候補空領域を生成するために組み合わ
される。
動的に決定する本発明の方法を示す。まず、空の色の信
念マップから信念値のヒストグラムが得られる。次にヒ
ストグラムは、雑音(図7中の曲線を生成する)。第1
の顕著な谷(例えば図7中の「第1の谷」)は、平滑化
されたヒストグラムの中に含まれる。明らかな空領域が
あり、その他は全て明らかに空ではない単純な画像で
は、ヒストグラムは2つのピークとその間の1つの谷の
みを有する。複雑な画像には、空と、水と、他の青い領
域がある。従って、本発明は各画像について異なるヒス
トグラムを用い、本発明によって処理される個々の画像
に対して動的な閾値が形成されることを可能とする。
ラム中の最後の谷は、画像中の真の空領域が常に最も高
い確率を有するという仮定に基づいて、最尤推定(ML
E)スキームでユニバーサル閾値を調整するために使用
される。しかしながら、幾つかの場合、青色の空でない
領域が、色に関して高い空信念を有しうる。従って、本
発明は、更なる解析のために全ての空の色の領域を保持
し、空検出処理のより高い段階において空の色を有する
空でない領域を排除する。従って、第1の谷がある位置
の信念値が大局閾値として選択される。上述のように、
この閾値は空の異なる影及び画像補足条件を適応させる
ために個々の画像について決定される。
つの細分化動作のうちの1つは、領域分割である。領域
分割は、異なる対象に属するが空の色を有するというこ
とに関しては同様の信念値を有する空間的に連結された
青っぽい(潜在的な空)領域を分割するために用いられ
る。例えば、かかる領域は、青い空を背景とする青い布
でありうる。かかる領域は、(空の典型的な色であると
いう)同様の信念を有し、従って信念マップ中で分離す
ることができない。
る影を有し、従って適応k平均処理(ここに参照として
組み入れられるJ.Luo, R.T.Gray, H.-C.Le "Towards a
Physics-Based Segmentation of Photographic Color I
mages," in Proc. IEEE Int.Comf. Image Process., 19
97を参照のこと)。本発明は、この処理を使用し、領域
が色セグメント化領域の多数の領域についての集合でな
ければ、空の色の領域を2つ以上の領域(固有の新しい
ラベル)へ分割する。
の代わりに、オープンスペース検出処理(ステップ7
7)(ここに参照として組み入れられる、J. Warnick,
R.Mehrotra and R.Senn, のU.S Patent 5,901,245号、"
Method and system for detection and characterizati
on of open space in digital images")が使用されう
る。オープンスペースは、画像中の平滑的且つ連続的な
領域であると定義される。画像中に所望のキャプション
又は図形的な要素を配置するために有用である。
は、動作の2つの別々の段階に基づく(上述のWarnic
k)。まず、正しい色空間変換が実行された後、勾配に
基づくアクティビティマップが計算され、多領域ヒスト
グラム解析により正しい閾値が決定される。第2の段階
では、ボイドを埋めるために2値アクティビティマップ
に対して連結成分解析が実行され、小さい領域が排除さ
れる。上述のWarnickで実施されるオープンスペースの
処理は、効果的且つ効率的である。その速度は、色セグ
メント化方法に必要とされる速度の数分の1である。オ
ープンスペースの検出は、候補領域の平滑さについての
追加的な確認を与える。従って、本発明のこの望ましい
実施例では、本発明はオープンスペースの検出処理を用
いる。このように、オープンスペースの検出は、(1)
非常にテクスチャ化された領域を排除するため、(2)
空を水域といった他の青ではない領域から分離するため
に組み入れられる。
分化動作は、領域成長を含む。本発明の領域制御処理
は、孔を埋め、境界を拡張するために使用される。これ
は特に、「周縁」画素が、大局閾値に僅かに達しない
が、最初の大局閾値を合格した近傍の画素の信念値に十
分に近い空色信念値を有しうる場合に有用である。
ル付けされていない」画素とその近傍の「ラベル付けさ
れた」画素の信念値の差が、領域成長のための第2の閾
値よりも小さい場合に、かかる周縁画素を連結画素に対
して再びラベル付けするために使用される。更に特定的
には、閾値よりも上の信念値の画素とオープンスペース
マップ中の連結成分との交差を取ることによりシード領
域が形成される。閾値よりも下の信念値の画素では、領
域成長は、信念値の連続性及び色値の連続性によって案
内される。小さい独立した空領域は無視される。
空シグナチャ尺度では、水平線−天頂方向に沿った領域
から1次元トレースが抽出される。本発明は、各抽出さ
れた領域における垂直勾配及び水平勾配の両方の分布に
基づいて空の向きを決定する。
く空のモデルにより、空の向きを決定するために赤の信
号を用いる。上述のように、空の物理学に基づくモデル
では、散乱する光の量は光の波長及び散乱角度に依存す
る。一般的に、水平線に向かう飽和度低下効果は、青の
光に対する赤の光及び緑の光の増加によって生ずる。更
に、本発明は、青の光が水平線−天頂方向に略不変のま
まであると決定した。緑の信号の変化は、青の信号ほど
顕著でない。従って、赤の信号は、最も信頼性の高い飽
和低下効果のしるしが与えられる。従って、不均一な勾
配分布は、赤の信号において最もよく観察できる。
方向に低い勾配を有するが、垂直方向では本質的に一定
である。太陽の位置が水平線よりもかなり上であれば、
散乱する光の同心分布は、異なる色領域の水平のストリ
ップによって近似されうる(例えば図3のbarring lens
falloff効果)。従って、図8A(水平線に平行)及び
図8B(水平線に垂直)に示されるように、勾配の分布
は水平方向と垂直方向に異なる特徴を有し、平均1<<
平均2である。
空シグナチャ検証処理は、上述のように、水平線−天頂
方向に沿った領域内の1次元トレースを抽出し(ステッ
プ206)、一組の規則によりトレースが空から得られ
るトレースに似ているか否かを決定し(ステップ20
7)、最後に物理学に基づく空トレースモデルに当ては
まるトレースの割合によって領域の空信念を計算する。
像中の幾つかの他の一般的な空の色の被写体の解析に基
づき、本発明はこれらのトレースを定量化するモデルを
含む。特に、水平線−天頂方向に沿って抽出されるトレ
ースは、図10Aに示される空のトレースのシグナチャ
を示す。トレースの青の信号は空全体に亘って一定であ
る傾向がある。緑の信号及び青の信号は、水平線から遠
ざかって徐々に減少し、赤の信号は緑の信号よりも早く
減少する。更に特定的には、全ての3つの信号は低次の
多項式(例えば2次多項式)によって近似されうる。3
つの信号中のマクロ変形は相関されない。比較として、
幾つかの他の青の色の被写体はかかるシグナチャを示さ
ない。これに対して、図10Bは、フラッシュ発光され
た画像中の青い壁の一般的なトレースを示す図であり、
3つの信号は平行に平滑に変化している。
トレースを示す図であり、3つの信号は局所的な変形に
おいて強く相関している。これらの2つの場合の両方
は、変化が主にルミナンスの変化であることを示す。更
に、図11Aに示されるように、(白い)雲が晴れた青
い空と共に存在する混合された空では、赤の信号及び緑
の信号は雲の中では高くジャンプし、青の信号は同じま
まに維持され中立の雲領域を形成する。一般的に、雲の
中で、赤の信号は緑の信号よりも多くジャンプする。
チャートである。更に特定的には、ブロック100で
は、抽出されたトレースは、図10A−11Bに示され
るトレースモデルに対して解析される。まず、赤、緑、
青の3つの信号について夫々、2項多項式当てはめが計
算される(ステップ101)。2次多項式は、 y=f(x)=c1+c2*x+c3*x2 として示され、式中、xは1次元トレースのインデック
スを示し、yは対応する信号のコード値である。
レースのいずれかに基づいて複数の特徴(「シグナチ
ャ」)が計算される。特徴は、青の空トレース(10
4)、又は青の空トレースではない(混合された空トレ
ース(105)、水のトレース(106)、又は「わか
らない」(107))として特徴付けられうる。以下示
される例では、各抽出されたトレースについて10の尺
度(「シグナチャ」)が計算される。しかしながら、当
業者は、本願を読むことにより任意の数のかかるシグナ
チャを準備しうる。
のオフセットに関するものである。オフセットは、赤の
チャネル、緑のチャネル、青のチャネルの平均値に関連
する。このシグナチャ特性は、平均青成分が平均赤成分
及び平均緑成分よりも上であることを必要とする。トレ
ースが抽出される特定の方法により、この特徴は実際
に、青成分がトレースの殆どの青側で最も強いという要
件へ翻訳される。かかる論理ステートメントのためのC
言語的な疑似コードは、以下の通りである。
場合に幾らかのHUGEPENALTYを課すカットオフポイント
を有する連続的な値の台形ファジースコアリング関数を
用いることが有利でありうる。
次多項式の傾斜に関するものである。一般的に、トレー
スが抽出される特定の方法により、RGB信号の傾斜は
負である。この特徴は、青の信号が(減少するのであれ
ば)赤の信号及び緑の信号よりもゆっくりと減少するこ
とを必要とする。一方、この特徴により単調増加(正の
傾斜)もまた可能である。かかる論理ステートメントに
ついてのC言語的疑似コードは以下の通りである。
g2の厳しい条件を、sig2が満たされない場合に、より緩
く定義される2つの条件sig2bg及びsig2brへゆるめられ
る。
間の類似性又は平行性に関するものである。かかる論理
ステートメントについての疑似コードは、以下の通りで
ある。
t) || (rgdist < bgdist && rgdist< brdist)) sig3 = 1; ここで、rgdistは、2つの当てはめられた赤の信号と緑
の信号の間の差(「距離」)を示すために使用される。
これは以下のようにして決められる。まず、2つの信号
のうちの1つが、移動された信号が移動されていない信
号の開始点と同じ値を有するように適当に移動される。
当てはめられた赤の信号と緑の信号を、
の差又は距離は、 rgdist = |r(L/2)-g(L/2)| (9) となり、式中、Lはトレースの全長である。換言すれ
ば、この特徴は2つの当てはめられた信号の間の差を、
両方の信号が同じ開始値を有するよう一方の信号が移動
されたときの2つの中点における距離によって測定す
る。他の2つの項bgdist及びbrdistは同様に決められ
る。ここで1つの可能性は、かかる符号情報が絶対差と
共に使用されるよう絶対値を使用しないことである。
するものである。赤の信号及び緑の信号は、かなり似て
いるべきである。かかる論理ステートメントについての
疑似コードは、以下の通りである。
る。全ての3つの信号は低い線形性を有するべきであ
る。かかる論理ステートメントについての疑似コードは
以下の通りである。
場合に幾らかのHUGEPENALTYを課すカットオフポイント
を有する連続的な値のシグモイドファジースコアリング
関数を用いることが有利でありうる。
赤−緑−青相関に関するものである。かかる論理ステー
トメントについての疑似コードは以下の通りである。
rr_br < 0.3 && corr_bg < 0.3)sig6 = 1; //red-grn-b
lue correlation for large modulation else if (!largesignal && corr_rg > 0.2 && corr_br
< 0.4 && corr_bg <0.4) sig6 = 1; //red-grn-blue correlation for small mod
ulation else if (largesignal == -1) sig6 = 1; //red-grn-blue correlation for micro mod
ulation if (largesignal ! = -1 && corr_rg > 0.9 && corr_rg
>5*corr_br && corr_rg > 5*corr_bg) sig6 = -1; //significantly higher red-grn-blue cor
relation 式中、corr-xyは、信号xと信号yの相関係数を示す。
やはり、上述のクリスプな規則を用いる代わりに、この
条件(s>0.95)が破られた場合に幾らかのHUGEPE
NALTYを課すカットオフポイントを有する連続的な値の
シグモイドファジースコアリング関数を用いることが有
利でありうる。
又は近平行性に関するものである。かかる論理ステート
メントについての疑似コードは次の通りである。
ST && brdist < MINDIST) sig7 = 0; where #define MINDIST 1.5 やはり、上述のクリスプな規則を用いる代わりに、この
条件(s>0.95)が破られた場合に幾らかのHUGEPE
NALTYを課すカットオフポイントを有する連続的な値の
シグモイドファジースコアリング関数を用いることが有
利でありうる。
するものである。かかる論理ステートメントについての
疑似コードは以下の通りである。
するものである。かかる論理ステートメントについての
疑似コードは以下の通りである。
XCHISQ_G && bchisq > MAXCHISQ_B)sig9 = 0; where #define MAXCHISQ_R 50 #define MAXCHISQ_G 25 #define MAXCHISQ_B 100 であり、式中、CHISQはχ二乗当てはめ誤差を示す。
わりに、この条件(s<0.1)が破られた場合に幾ら
かのHUGEPENALTYを課すカットオフポイントを有する連
続的な値のシグモイドファジースコアリング関数を用い
ることが有利でありうる。
信号の減少に関するものである。かかる論理ステートメ
ントについての疑似コードは以下の通りである。
かを示す。特に、rdecは、全長の1/4の点における第
1のサンプルx1と3/4の点における第2のサンプルx2
の2つのサンプルを取ることにより当てはめられた赤の
信号を用いて決定される。かかる論理ステートメントの
疑似コードは以下の通りである。
れはクリスプな規則として実施される。rdec =1且つgde
c=1の場合にのみsigA=1であることに注意すべきであ
る。
に基づく処理に、クリスプな決定として統合される。所
与のトレースは、全ての条件が満たされたとき、即ち if (sig1 && sig2 && sig3 && sig4 && sig5 && sig6 !
= 0 && sig7 && sig8&& sig9 && sigA) skysignature =1; 又は、ファジー論理に基づくアルゴリズムでは、 if (sig1 > EFFECTIVEZERO && sig2 > EFFECTIVEZERO &
& sig3 > EFFECTIVEZERO && sig4 > EFFECTIVEZERO &&
sig5 > EFFECTIVEZERO && fabs(sig6) > EFFECTIVEZERO && sig8 > EFFECTIVEZERO
&& sig9 > EFFECTIVEZERO && sigA > EFFECTIVEZERO) skysignature = (sig1+sig2+…+sig9+sigA)/10 where #define EFFECTIVEZERO 0.1 の場合にのみ、空のトレースであると宣言される。
ある全ての候補トレースを検査するとき、領域の空の信
念は、物理学に基づく空トレースモデルを満たすトレー
スの割合として計算される。空の信念が閾値(本例では
一般的な目的では経験的に0.25)よりも下であれ
ば、空でないと宣言される。
する本発明の作用を示す図である。更に特定的には、図
12A−12B及び13A−13Bは、元の画像が処理
されることについて示す。図12C−12D及び図13
C−13Dは、上述のように図2中のブロック201に
示される本発明の色分類処理の結果を示す図打得る。図
12E−12F及び図13E−13DFは本発明によっ
て生成されるオープンスペースマップ(図6中のブロッ
ク77)の結果を示す図である。図12G−12H及び
図13G−13Hは、本発明による、空領域を白の部分
として、空でない部分を黒の部分として示す図である。
図12C−12D及び図13C−13Dの明度は、空の
色の信念に比例するが、図12E−12F及び図13E
−13Fの明度は分離されたラベルの領域を示すだけで
ある。
といったソースによって生成されるRGB画像に対して
非常によく作用する。検出される空領域は、知覚的な境
界に対して非常によい整合を示す。図12A乃至12H
に示される幾つかの例は、本発明の作用を示す。図12
中、空と海は正しく分離され、真の空領域が検出され
る。図12Bの画像は、空の向きの正しい検出に基づい
て本発明による方法によって正しく検出されている。図
13A中の平滑な青い対象及び図13Bのテクスチャ化
されたテーブルクロスは、本発明により夫々正しく排除
されている。
性が与えられていれば、色分類段階をゆるめて、夕焼け
又は朝焼けのときの影といった空の青でない影を含むよ
うにすることが可能である。曇った空に対して、夕焼け
又は朝焼けのときの雲のない空は、日中の同じ部分と同
様の散乱効果を示す。主な差は、昇っている又は沈んで
いる太陽からの暖色の色合いである。
証を行なうための他の方法である。孔のある領域につい
ては、孔の位置の重み係数をゼロに設定して空の色の画
素のみが平面当てはめに寄与するようにすることができ
る。偽の行程の検出の潜在的な増加を制限するため、孔
を明るい中立の対象(雲)だけによるものとすることが
必要でありうる。
び物理的空シグナチャ検証に基づく空検出のためのシス
テムを含む。本発明は、フィルム及びディジタルカメラ
を含むソースからの8ビット画像に対して予めバランス
調整し、正しいダイナミックレンジ調整を行ったものに
対して非常に良く作用する。検出された空領域は、近く
された空境界に対する非常によい空間的整合を示す。
子による光の散乱に基づく空の物理的モデルを使用す
る。(色又はテクスチャモデルではなく)物理的モデル
を使用することにより、本発明は水、壁、玩具、服等の
同じような色の他の被写体によってだまされる可能性が
低い。更に、本発明による領域抽出プロセスは、空の色
の信念マップのための適当な閾値を自動的に決定する。
物理的モデルを色フィルタ及びテクスチャフィルタと共
に用いることにより、本発明により従来のシステムより
も優った結果が得られる。
粒子による光の散乱に基づく空の物理的モデルを使用す
ることにある。(テクスチャモデルではなく)物理的モ
デルを用いることにより、本発明は水、壁、玩具、服等
の同じような色の他の被写体によってだまされる可能性
が低い。更に、本発明による領域抽出プロセスは、空の
色の信念マップのための適当な閾値を自動的に決定す
る。物理的モデルを色フィルタ及びテクスチャフィルタ
と共に用いることにより、本発明により従来のシステム
よりも優った結果が得られる。
正しいダイナミックレンジ調整をした後、フィルム及び
ディジタルカメラを含むソースからの8ビット画像に対
して非常によく作用する。本発明によって検出される空
領域は、知覚される空の境界に対して非常に良い空間的
な整列を示す。
る。
る。
として示す図である。
ある。
る。
る。
すグラフ表現である。
示すグラフ表現である。
すグラフ表現である。
すグラフ表現である。
概略構成図である。
る。
る。
図である。
階を示す図である。
を示す図である。
を示す図である。
を示す図である。
を示す図である。
を示す図である。
を示す図である。
を示す図である。
階を示す図である。
を示す図である。
を示す図である。
を示す図である。
を示す図である。
を示す図である。
を示す図である。
を示す図である。
Claims (3)
- 【請求項1】 画像中の空領域を検出する方法であっ
て、 上記画像中の飽和度低下勾配を計算する段階と、 上記画像中の真の画像領域を識別するために、上記領域
の飽和度低下勾配と空についての所定の飽和度低下勾配
とを比較する段階とを含む方法。 - 【請求項2】 上記画像中の潜在的な空領域を色によっ
て分類する段階を更に含む、請求項1記載の方法。 - 【請求項3】 上記分類段階は、 画素識別器を用いて上記画像中の画素の信念マップを形
成し、 空の色の適応閾値を計算する段階と、 上記画素と上記閾値を超過する画素を上記潜在的な空の
画素によって分類する段階とを含む、請求項2記載の方
法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US450190 | 1995-05-25 | ||
US09/450,190 US6504951B1 (en) | 1999-11-29 | 1999-11-29 | Method for detecting sky in images |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001195591A true JP2001195591A (ja) | 2001-07-19 |
JP4477222B2 JP4477222B2 (ja) | 2010-06-09 |
Family
ID=23787139
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000361907A Expired - Fee Related JP4477222B2 (ja) | 1999-11-29 | 2000-11-28 | 画像中の空を検出する方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6504951B1 (ja) |
EP (1) | EP1107179B1 (ja) |
JP (1) | JP4477222B2 (ja) |
DE (1) | DE60008486T2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007208673A (ja) * | 2006-02-02 | 2007-08-16 | Fuji Xerox Co Ltd | 色調整方法および色調整装置 |
JP2011003180A (ja) * | 2009-06-19 | 2011-01-06 | Ricoh Co Ltd | 画像収集装置に用いる天空検出装置及び方法 |
JP2016085593A (ja) * | 2014-10-24 | 2016-05-19 | 富士通株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Families Citing this family (112)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020001096A1 (en) * | 2000-04-28 | 2002-01-03 | Kenro Hama | Image processor for detecting specified pattern |
US7212668B1 (en) * | 2000-08-18 | 2007-05-01 | Eastman Kodak Company | Digital image processing system and method for emphasizing a main subject of an image |
FR2827060B1 (fr) | 2001-07-05 | 2003-09-19 | Eastman Kodak Co | Procede d'identification du ciel dans une image et image obtenue grace a ce procede |
US7062085B2 (en) * | 2001-09-13 | 2006-06-13 | Eastman Kodak Company | Method for detecting subject matter regions in images |
US7092573B2 (en) * | 2001-12-10 | 2006-08-15 | Eastman Kodak Company | Method and system for selectively applying enhancement to an image |
US7956889B2 (en) | 2003-06-04 | 2011-06-07 | Model Software Corporation | Video surveillance system |
US8896725B2 (en) * | 2007-06-21 | 2014-11-25 | Fotonation Limited | Image capture device with contemporaneous reference image capture mechanism |
US7620218B2 (en) * | 2006-08-11 | 2009-11-17 | Fotonation Ireland Limited | Real-time face tracking with reference images |
US7565030B2 (en) * | 2003-06-26 | 2009-07-21 | Fotonation Vision Limited | Detecting orientation of digital images using face detection information |
US8363951B2 (en) | 2007-03-05 | 2013-01-29 | DigitalOptics Corporation Europe Limited | Face recognition training method and apparatus |
US8330831B2 (en) * | 2003-08-05 | 2012-12-11 | DigitalOptics Corporation Europe Limited | Method of gathering visual meta data using a reference image |
US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
US7269292B2 (en) * | 2003-06-26 | 2007-09-11 | Fotonation Vision Limited | Digital image adjustable compression and resolution using face detection information |
US7680342B2 (en) | 2004-08-16 | 2010-03-16 | Fotonation Vision Limited | Indoor/outdoor classification in digital images |
US9692964B2 (en) | 2003-06-26 | 2017-06-27 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
US8498452B2 (en) * | 2003-06-26 | 2013-07-30 | DigitalOptics Corporation Europe Limited | Digital image processing using face detection information |
US7616233B2 (en) * | 2003-06-26 | 2009-11-10 | Fotonation Vision Limited | Perfecting of digital image capture parameters within acquisition devices using face detection |
US7587068B1 (en) | 2004-01-22 | 2009-09-08 | Fotonation Vision Limited | Classification database for consumer digital images |
US8494286B2 (en) | 2008-02-05 | 2013-07-23 | DigitalOptics Corporation Europe Limited | Face detection in mid-shot digital images |
US7317815B2 (en) * | 2003-06-26 | 2008-01-08 | Fotonation Vision Limited | Digital image processing composition using face detection information |
US7315630B2 (en) | 2003-06-26 | 2008-01-01 | Fotonation Vision Limited | Perfecting of digital image rendering parameters within rendering devices using face detection |
US8948468B2 (en) | 2003-06-26 | 2015-02-03 | Fotonation Limited | Modification of viewing parameters for digital images using face detection information |
US7471846B2 (en) | 2003-06-26 | 2008-12-30 | Fotonation Vision Limited | Perfecting the effect of flash within an image acquisition devices using face detection |
US8989453B2 (en) * | 2003-06-26 | 2015-03-24 | Fotonation Limited | Digital image processing using face detection information |
US8155397B2 (en) * | 2007-09-26 | 2012-04-10 | DigitalOptics Corporation Europe Limited | Face tracking in a camera processor |
US7792335B2 (en) | 2006-02-24 | 2010-09-07 | Fotonation Vision Limited | Method and apparatus for selective disqualification of digital images |
US8682097B2 (en) * | 2006-02-14 | 2014-03-25 | DigitalOptics Corporation Europe Limited | Digital image enhancement with reference images |
US9129381B2 (en) * | 2003-06-26 | 2015-09-08 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
US8553949B2 (en) | 2004-01-22 | 2013-10-08 | DigitalOptics Corporation Europe Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
US7362368B2 (en) * | 2003-06-26 | 2008-04-22 | Fotonation Vision Limited | Perfecting the optics within a digital image acquisition device using face detection |
US8593542B2 (en) * | 2005-12-27 | 2013-11-26 | DigitalOptics Corporation Europe Limited | Foreground/background separation using reference images |
US7440593B1 (en) | 2003-06-26 | 2008-10-21 | Fotonation Vision Limited | Method of improving orientation and color balance of digital images using face detection information |
US7792970B2 (en) * | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
US7844076B2 (en) * | 2003-06-26 | 2010-11-30 | Fotonation Vision Limited | Digital image processing using face detection and skin tone information |
ITMI20031449A1 (it) * | 2003-07-15 | 2005-01-16 | St Microelectronics Srl | Metodo per classificare una immagine digitale |
US7295700B2 (en) * | 2003-10-24 | 2007-11-13 | Adobe Systems Incorporated | Object extraction based on color and visual texture |
US7336819B2 (en) * | 2003-12-29 | 2008-02-26 | Eastman Kodak Company | Detection of sky in digital color images |
US7551755B1 (en) | 2004-01-22 | 2009-06-23 | Fotonation Vision Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
US7555148B1 (en) | 2004-01-22 | 2009-06-30 | Fotonation Vision Limited | Classification system for consumer digital images using workflow, face detection, normalization, and face recognition |
US7558408B1 (en) | 2004-01-22 | 2009-07-07 | Fotonation Vision Limited | Classification system for consumer digital images using workflow and user interface modules, and face detection and recognition |
US7564994B1 (en) | 2004-01-22 | 2009-07-21 | Fotonation Vision Limited | Classification system for consumer digital images using automatic workflow and face detection and recognition |
US8320641B2 (en) * | 2004-10-28 | 2012-11-27 | DigitalOptics Corporation Europe Limited | Method and apparatus for red-eye detection using preview or other reference images |
US7315631B1 (en) | 2006-08-11 | 2008-01-01 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
US7715597B2 (en) | 2004-12-29 | 2010-05-11 | Fotonation Ireland Limited | Method and component for image recognition |
US8503800B2 (en) * | 2007-03-05 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Illumination detection using classifier chains |
CN101185084B (zh) * | 2005-05-31 | 2010-06-16 | 皇家飞利浦电子股份有限公司 | 用于夜间探测道路的方法和系统 |
US7804983B2 (en) | 2006-02-24 | 2010-09-28 | Fotonation Vision Limited | Digital image acquisition control and correction method and apparatus |
US7965875B2 (en) * | 2006-06-12 | 2011-06-21 | Tessera Technologies Ireland Limited | Advances in extending the AAM techniques from grayscale to color images |
US7515740B2 (en) * | 2006-08-02 | 2009-04-07 | Fotonation Vision Limited | Face recognition with combined PCA-based datasets |
US7403643B2 (en) * | 2006-08-11 | 2008-07-22 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
US7916897B2 (en) * | 2006-08-11 | 2011-03-29 | Tessera Technologies Ireland Limited | Face tracking for controlling imaging parameters |
US20080089591A1 (en) * | 2006-10-11 | 2008-04-17 | Hui Zhou | Method And Apparatus For Automatic Image Categorization |
FR2910143B1 (fr) * | 2006-12-19 | 2009-04-03 | Eastman Kodak Co | Procede pour predire automatiquement des mots dans un texte associe a un message multimedia |
US8055067B2 (en) * | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
EP2115662B1 (en) * | 2007-02-28 | 2010-06-23 | Fotonation Vision Limited | Separating directional lighting variability in statistical face modelling based on texture space decomposition |
KR101247147B1 (ko) | 2007-03-05 | 2013-03-29 | 디지털옵틱스 코포레이션 유럽 리미티드 | 디지털 영상 획득 장치에서의 얼굴 탐색 및 검출 |
EP2123008A4 (en) | 2007-03-05 | 2011-03-16 | Tessera Tech Ireland Ltd | FACIAL CATEGORIZATION AND NOTE SYSTEM FOR A MOBILE PHONE CONTACT LIST |
US7916971B2 (en) * | 2007-05-24 | 2011-03-29 | Tessera Technologies Ireland Limited | Image processing method and apparatus |
US7822275B2 (en) * | 2007-06-04 | 2010-10-26 | Objectvideo, Inc. | Method for detecting water regions in video |
US8934717B2 (en) * | 2007-06-05 | 2015-01-13 | Intellectual Ventures Fund 83 Llc | Automatic story creation using semantic classifiers for digital assets and associated metadata |
US8750578B2 (en) | 2008-01-29 | 2014-06-10 | DigitalOptics Corporation Europe Limited | Detecting facial expressions in digital images |
US7855737B2 (en) * | 2008-03-26 | 2010-12-21 | Fotonation Ireland Limited | Method of making a digital camera image of a scene including the camera user |
CN103475837B (zh) | 2008-05-19 | 2017-06-23 | 日立麦克赛尔株式会社 | 记录再现装置及方法 |
JP5547730B2 (ja) | 2008-07-30 | 2014-07-16 | デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド | 顔検知を用いた顔及び肌の自動美化 |
US8913831B2 (en) * | 2008-07-31 | 2014-12-16 | Hewlett-Packard Development Company, L.P. | Perceptual segmentation of images |
US8463053B1 (en) | 2008-08-08 | 2013-06-11 | The Research Foundation Of State University Of New York | Enhanced max margin learning on multimodal data mining in a multimedia database |
US8611677B2 (en) | 2008-11-19 | 2013-12-17 | Intellectual Ventures Fund 83 Llc | Method for event-based semantic classification |
WO2010063463A2 (en) * | 2008-12-05 | 2010-06-10 | Fotonation Ireland Limited | Face recognition using face tracker classifier data |
US8351724B2 (en) * | 2009-05-08 | 2013-01-08 | Sharp Laboratories Of America, Inc. | Blue sky color detection technique |
US20100295782A1 (en) | 2009-05-21 | 2010-11-25 | Yehuda Binder | System and method for control based on face ore hand gesture detection |
US20100322513A1 (en) * | 2009-06-19 | 2010-12-23 | Sharp Laboratories Of America, Inc. | Skin and sky color detection and enhancement system |
JPWO2011001587A1 (ja) * | 2009-07-01 | 2012-12-10 | 日本電気株式会社 | コンテンツ分類装置、コンテンツ分類方法及びコンテンツ分類プログラム |
US20110016150A1 (en) * | 2009-07-20 | 2011-01-20 | Engstroem Jimmy | System and method for tagging multiple digital images |
US8503767B2 (en) * | 2009-09-16 | 2013-08-06 | Microsoft Corporation | Textual attribute-based image categorization and search |
US8379917B2 (en) * | 2009-10-02 | 2013-02-19 | DigitalOptics Corporation Europe Limited | Face recognition performance using additional image features |
US9009163B2 (en) * | 2009-12-08 | 2015-04-14 | Intellectual Ventures Fund 83 Llc | Lazy evaluation of semantic indexing |
US20110216157A1 (en) * | 2010-03-05 | 2011-09-08 | Tessera Technologies Ireland Limited | Object Detection and Rendering for Wide Field of View (WFOV) Image Acquisition Systems |
US20120050570A1 (en) | 2010-08-26 | 2012-03-01 | Jasinski David W | Audio processing based on scene type |
WO2012037528A2 (en) * | 2010-09-16 | 2012-03-22 | California Institute Of Technology | Systems and methods for automated water detection using visible sensors |
US8774528B2 (en) | 2010-09-24 | 2014-07-08 | Kodak Alaris Inc. | Method of selecting important digital images |
US8612441B2 (en) | 2011-02-04 | 2013-12-17 | Kodak Alaris Inc. | Identifying particular images from a collection |
US8836777B2 (en) | 2011-02-25 | 2014-09-16 | DigitalOptics Corporation Europe Limited | Automatic detection of vertical gaze using an embedded imaging device |
US8896703B2 (en) | 2011-03-31 | 2014-11-25 | Fotonation Limited | Superresolution enhancment of peripheral regions in nonlinear lens geometries |
US8860816B2 (en) | 2011-03-31 | 2014-10-14 | Fotonation Limited | Scene enhancements in off-center peripheral regions for nonlinear lens geometries |
US9454280B2 (en) | 2011-08-29 | 2016-09-27 | Intellectual Ventures Fund 83 Llc | Display device providing feedback based on image classification |
US8625904B2 (en) | 2011-08-30 | 2014-01-07 | Intellectual Ventures Fund 83 Llc | Detecting recurring themes in consumer image collections |
CN103049735B (zh) * | 2011-10-14 | 2016-02-03 | 株式会社理光 | 检测图像中特定物体的方法和检测图像中特定物体的设备 |
US8923567B2 (en) * | 2011-12-19 | 2014-12-30 | General Electric Company | Apparatus and method for predicting solar irradiance variation |
US20130201316A1 (en) | 2012-01-09 | 2013-08-08 | May Patents Ltd. | System and method for server based control |
US8873833B2 (en) | 2012-02-17 | 2014-10-28 | Sony Corporation | System and method for effectively performing a scene representation procedure |
US8750566B2 (en) | 2012-02-23 | 2014-06-10 | General Electric Company | Apparatus and method for spatially relating views of sky images acquired at spaced apart locations |
JP5703255B2 (ja) * | 2012-04-27 | 2015-04-15 | 株式会社東芝 | 画像処理装置、画像処理方法およびプログラム |
ES2646915T3 (es) * | 2012-11-12 | 2017-12-18 | Bae Systems Plc | Detección de características de las nubes |
US9552374B2 (en) | 2013-08-19 | 2017-01-24 | Kodak Alaris, Inc. | Imaging workflow using facial and non-facial features |
US9589349B2 (en) * | 2013-09-25 | 2017-03-07 | Heartflow, Inc. | Systems and methods for controlling user repeatability and reproducibility of automated image annotation correction |
US10319035B2 (en) | 2013-10-11 | 2019-06-11 | Ccc Information Services | Image capturing and automatic labeling system |
RU2630744C2 (ru) * | 2014-04-10 | 2017-09-12 | Самсунг Электроникс Ко., Лтд. | Способ обнаружения периодических текстур |
EP3134850B1 (en) | 2014-04-22 | 2023-06-14 | Snap-Aid Patents Ltd. | Method for controlling a camera based on processing an image captured by other camera |
US11170037B2 (en) | 2014-06-11 | 2021-11-09 | Kodak Alaris Inc. | Method for creating view-based representations from multimedia collections |
JP6642970B2 (ja) * | 2015-03-05 | 2020-02-12 | キヤノン株式会社 | 注目領域検出装置、注目領域検出方法及びプログラム |
US10019657B2 (en) * | 2015-05-28 | 2018-07-10 | Adobe Systems Incorporated | Joint depth estimation and semantic segmentation from a single image |
WO2016207875A1 (en) | 2015-06-22 | 2016-12-29 | Photomyne Ltd. | System and method for detecting objects in an image |
US10346996B2 (en) | 2015-08-21 | 2019-07-09 | Adobe Inc. | Image depth inference from semantic labels |
US9792522B2 (en) * | 2015-12-01 | 2017-10-17 | Bloomsky, Inc. | Weather information extraction using sequential images |
CN106326901B (zh) * | 2016-08-30 | 2019-06-14 | 南京鑫和汇通电子科技有限公司 | 基于边缘点自相似性的水渍图像识别方法及teds系统 |
CN110249387B (zh) | 2017-02-06 | 2021-06-08 | 柯达阿拉里斯股份有限公司 | 用于创建伴随视觉影像的音频轨的方法 |
CN106954022B (zh) * | 2017-03-08 | 2019-10-25 | Oppo广东移动通信有限公司 | 图像处理方法、装置及终端 |
US10742899B1 (en) | 2017-08-30 | 2020-08-11 | Snap Inc. | Systems, devices, and methods for image enhancement |
CN109214334B (zh) * | 2018-09-03 | 2020-12-29 | 百度在线网络技术(北京)有限公司 | 车道线处理方法和装置 |
US10902260B2 (en) | 2018-11-29 | 2021-01-26 | International Business Machines Corporation | Estimating a height of a cloud depicted in an image |
CN110796834B (zh) * | 2019-11-01 | 2021-10-08 | 广州小鹏汽车科技有限公司 | 车辆淹水的报警方法及系统、车辆和可读存储介质 |
CN115100439B (zh) * | 2022-07-15 | 2022-11-04 | 广东瑞恩科技有限公司 | 一种用于水产养殖的水体异常检测方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5889578A (en) | 1993-10-26 | 1999-03-30 | Eastman Kodak Company | Method and apparatus for using film scanning information to determine the type and category of an image |
JPH0896129A (ja) | 1994-09-21 | 1996-04-12 | Omron Corp | モデル画像登録方法 |
US5642443A (en) * | 1994-10-12 | 1997-06-24 | Eastman Kodak Company | Whole order orientation method and apparatus |
US5822453A (en) * | 1996-12-10 | 1998-10-13 | Eastman Kodak Company | Method for estimating and adjusting digital image contrast |
US5901245A (en) | 1997-01-23 | 1999-05-04 | Eastman Kodak Company | Method and system for detection and characterization of open space in digital images |
US6097470A (en) * | 1998-05-28 | 2000-08-01 | Eastman Kodak Company | Digital photofinishing system including scene balance, contrast normalization, and image sharpening digital image processing |
US6408103B1 (en) * | 1998-12-31 | 2002-06-18 | Eastman Kodak Company | Method for preserving spatial detail and color content when adjusting the tone scale of a digital color image |
US6282317B1 (en) * | 1998-12-31 | 2001-08-28 | Eastman Kodak Company | Method for automatic determination of main subjects in photographic images |
-
1999
- 1999-11-29 US US09/450,190 patent/US6504951B1/en not_active Expired - Fee Related
-
2000
- 2000-11-17 DE DE60008486T patent/DE60008486T2/de not_active Expired - Lifetime
- 2000-11-17 EP EP00204040A patent/EP1107179B1/en not_active Expired - Lifetime
- 2000-11-28 JP JP2000361907A patent/JP4477222B2/ja not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007208673A (ja) * | 2006-02-02 | 2007-08-16 | Fuji Xerox Co Ltd | 色調整方法および色調整装置 |
JP4622874B2 (ja) * | 2006-02-02 | 2011-02-02 | 富士ゼロックス株式会社 | 色調整方法および色調整装置 |
JP2011003180A (ja) * | 2009-06-19 | 2011-01-06 | Ricoh Co Ltd | 画像収集装置に用いる天空検出装置及び方法 |
JP2016085593A (ja) * | 2014-10-24 | 2016-05-19 | 富士通株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP1107179A2 (en) | 2001-06-13 |
DE60008486D1 (de) | 2004-04-01 |
EP1107179A3 (en) | 2002-07-31 |
DE60008486T2 (de) | 2004-12-16 |
EP1107179B1 (en) | 2004-02-25 |
US6504951B1 (en) | 2003-01-07 |
JP4477222B2 (ja) | 2010-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4477222B2 (ja) | 画像中の空を検出する方法 | |
JP4477221B2 (ja) | 青い空を含む画像の向きを決定する方法 | |
JP4234378B2 (ja) | 画像中で素材の領域を検出する方法 | |
CN110956094B (zh) | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 | |
Al-Najdawi et al. | A survey of cast shadow detection algorithms | |
Yao et al. | Multi-layer background subtraction based on color and texture | |
Luo et al. | A physical model-based approach to detecting sky in photographic images | |
Nadimi et al. | Physical models for moving shadow and object detection in video | |
US7336819B2 (en) | Detection of sky in digital color images | |
Gevers et al. | Classifying color edges in video into shadow-geometry, highlight, or material transitions | |
CN101630363B (zh) | 复杂背景下彩色图像人脸的快速检测方法 | |
US7218759B1 (en) | Face detection in digital images | |
Murali et al. | A survey on shadow detection techniques in a single image | |
Lu et al. | Color constancy using 3D scene geometry | |
Moghimi et al. | Shadow detection based on combinations of HSV color space and orthogonal transformation in surveillance videos | |
McFeely et al. | Shadow identification for digital imagery using colour and texture cues | |
Sasi et al. | Shadow detection and removal from real images: state of art | |
Boroujeni et al. | Robust moving shadow detection with hierarchical mixture of MLP experts | |
Luo et al. | A physics-motivated approach to detecting sky in photographs | |
KR101648562B1 (ko) | 이동 물체 탐지 장치 | |
Das et al. | A novel shadow detection method using fuzzy rule based model | |
Singhal et al. | Hybrid approach to classifying sky regions in natural images | |
Recky et al. | Semantic Segmentation of Street-Side Images | |
Zhang et al. | Near-infrared shadow detection based on HDR image | |
Subhashini et al. | Implementation of Satellite Road Image Denoising using Iterative Domain Guided Image Filtering with Gray World Optimization. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100302 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100311 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4477222 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140319 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |