JP2010509666A - 画像の照明検出 - Google Patents

Abstract

好ましくは２または３個のｍ光源を有する画像は、異なる領域に順次連結し、例えばフィルタリングした画像とフィルタリングしていない画像などの異なる対画像を獲得することで、各領域を１個のｍ光源だけで照射し、ピクセルまたは領域レベルで事前計算したｍマッピングを対画像に適用し、最適なものを選択する。画像における情報提供をそれに従って調整できる。

Description

コンピュータビジョン、画像処理及び撮像の多くは、一般的に、情景を照らす単一の優勢照明があるという前提に基づいている。しかし、照明が複数あることもしばしばである。一般的な例としては、陰影を伴う屋外の情景、典型的にスカイライトと人工照明が照らす屋内のオフィス環境、店舗や展示場などで使用されるスポットライトなどが挙げられる。これらの混合照明条件に応じて、（単一照明を前提とする）多くの画像処理アルゴリズムが役立たなくなる。失敗の例としては、影との境界を通過した対象物の追跡ができなくなったり、対象物ではなく影を追跡したり、映像再生（例えば写真の焼付け）で誤ったカラーバランスを選んだり、場面で取得した情報を誤って表示したりなどが挙げられる。濃い陰影を含む画像を再生する場合、特に深刻な問題が生じる。単一照明を前提として処理すると、画像処理実施者は、より明るいエリアの詳細を圧縮することで画像を明るくする（陰影を見透かす）か、反対に、明るいエリアを損なわない代償として陰影の詳細を引き出せないかのどちらかを選択することになる。我々の視覚体系は、全く異なる知覚画像に到達するように空間的に適応する方法で陰影領域とハイライト領域を処理するため、多くの写真は、実際、我々が記憶する場面の粗悪な模写といえる。

画像の照明変化を識別する文献に多くの業績が見られる。従来技術による手法の大部分は、空間的に隣接するピクセル（または）領域を比較することで機能する。ルビンス及びリチャーズ（文献１）は、陰影境界を横切るＲＧＢが明確な関係を有していると述べている。この関係が保たれない場合、境界（ｅｄｇｅ）は陰影境界ではない。フリーマン他（文献２）は、反射率と照明境界の統計を研究し、画像における境界を分類することにある程度成功している。フィンレイソン他（文献３）は、照明境界が無い場合、カラー画像からどのように単一のグレースケール画像を形成できるかを開示している。さらに、フレデンバック及びフィンレイソン（文献４）は、コヒーレント陰影領域を識別するためにいかに局所的陰影を融合できるかを考察している。境界を横切って結合した陰影境界を再融合させることで、陰影なしの色が得られる。こうした手法では、陰影境界が鍵を握る。この方法はうまく機能するが、完璧には程遠く、照明検出の課題とは対照的に、陰影検出に併せて調整を行う。さらに、境界ベースでない、領域ベースの方法は陰影を示唆するよりたくさんの痕跡をもたらす。

そこで、本発明は、画像照明を分割するための方法を提供することを目的とする。

本発明の第１態様によれば、複数のｍ光源を有する画像を、それぞれの領域がｍ光源の一つだけで照射される様々な領域に分割することで画像処理する方法が提供され、その画像処理方法は、異なるセットのスペクトル成分を備える対画像を取得する工程と、ピクセルまたは領域レベルで前記の対画像に、事前計算したｍマッピングのセットを適用する工程を包含する。

画像は、様々にフィルタリングされた対画像であって差し支えなく、例えば、フィルタリングした画像とフィルタリングしていない画像の対画像ペアであってもよい。

本発明は、画像の色（例えばＲＧＢ）と、色フィルタを通して取得した画像の色との関係が、照明に依存するとの認識に基づいている。本発明の方法は、画像とフィルタ処理した画像とのペア（対）に存在する明確な関係の数を決定し、各ピクセルまたは領域に関係を割り当てることで、画像のどの部分が光の様々な色に対応するかを識別する。この方法は、Ｎスペクトル感度のカメラで一次画像を捕捉し、その画像とＭセンサ測定を有する二次画像との関係を分析することを前提にすれば、ＲＧＢカメラと、Ｒ，Ｇ又はＢのフィルタ処理を受けた対応物に対して、また、ＲＧＢカメラと、１個又は複数のセンサ応答の第２セット（例えばＣ，Ｍ及び／又はＹ）に対して、さらには、一次多重スペクトル画像（２個またはそれ以上のセンサ）と、二次多重スペクトル画像（１個またはそれ以上のセンサ）を撮影する如何なるカメラに対しても、有効である。
例えば、ｎセンサカメラの場合、第１のｍ測定が、残りのｎ−ｍセンサと関連付けることができれば、この関係を（ｎ−ｍ）×ｍマトリクスになる。ここで、ｎ＝6で、ｍ＝３とすれば、３×３マトリクスの関係が得られる。

関係は、画像データに基づいて計算することができ、または、トレーニングステージでの事前計算することができる。ロバスト統計的最適化手法、または単純な調査方法を使ってこうした関係をピクセルまたは領域（及び特定の光源として識別された領域または光源）に割り当てることができる。調査方法は２つのステージを含む。初めに、より多くの予想される全ての関係Ｎから１組のｍ関係を選択し、次に、選択したｍ−セットの妥当性を、一次画像ペアと二次画像ペアについて計算する。総合的に最適なｍセットが、どのピクセル又は領域をどの光で照射するかを決定する。

任意の関係の妥当性は、対応する一次応答ベクトルに鑑みて、如何に正確に特定の二次画像応答を予測するかで判断する。関係が線形変換の場合、ｍセットのｍ関係の１つが一次画像からの応答をマッピングし、二次画像出力に最も近い新しい出力セットを生成するものを最適とみなす。数学的な見地から（他のｍ−１と比べて）候補となりそうなものが、概して、最適である。

一次と二次画像を組み合わせたものが、ピクセル当りｐ測定値を有すると仮定して、多数の方法で尤度を計算できる。これらの方法は第１ｑ−ｐ応答の関係を試験する（線形関数または非線形関数と任意距離測度を使用して）。同様に、ｑベクトルの位置を直接使用可能で、これは、任意の面への近似の計算あるいは確率的手法またはその他の測定の計算を含む。ｑベクトルが任意の光と整合性があるかどうかを判断するのに必要な情報は、事前計算しても構わないし、画像自身の統計に基づいて計算しても構わない。

関係の適切性は、ピクセル又は領域で計算される。

ピクセルセットへの適用に最適な関係を評価するのに統計分析を使用できる。１組のピクセルセットを表すのに最良の関係は、尤も頻繁に適当と認められた関係であっても構わない。

別法として、画像全域にわたって１組の関係の妥当性(適切性)が計算される。実際の二次応答と、関係で予測したものとの差は、画像全域にわたって合計される。これによって、ｍ−セットの特定の関係の良し悪しに関するスコアが得られる。画像データをもっともよく説明するｍ−セットの関係は、検索によって見付けられる。

陰影のあるシーンの画像は、２つの発光体を有する（直射日光とスカイライト及びスカイライトのみ、すなわち、陰影付き領域）。本発明によれば、陰影領域と非陰影領域は、全ての対関係の妥当性を順番に試験することで見つけられる。

真上からの照明と窓からの光を、すなわち、直射と影付きが混在する室内シーンでは、３つの光が予想される。本発明によれば、全ての３つの関係の妥当性が順番に試験され、領域が３つの光の何れか１つに分類される。

本発明の第２態様によれば、複数のｍ光源を有する画像を、それぞれがｍ光源の１個のみで照射される様々な領域に分割することで画像処理を行う方法が提供され、その方法は、様々なセットのスペクトル成分を持つ対画像ペアを取得する工程と、画像間での最適マッピングを見付け出す工程と、見付け出されたマッピングの下で最適に変換したピクセルの大多数を第１ラベルに割り当て、その他を第２ラベルに割り当てる工程を包含する。

画像は、様々にフィルタ処理されてよく、フィルタリング処理されていない画像と処理された画像であって差し支えない。

本発明の第４態様は、第１、第２及び第３の態様の工程を採用し、画像情報の正確性を向上させ、画像情報のレンダリングを調整する方法を提供する。

本発明の第５態様は、画像中の照明を検出する手段と、画像処理を調整するために第１、第２、第３又は第４の態様での工程を実施する手段とを包含する画像処理システムを提供する。

本発明は、画像の照明識別方法に関する。特に、異なる光ｍが存在する入力領域において、画像を異なる領域に分割し、各領域を複数の光ｍのうちの何れか１つだけで照射する方法を開示する。本発明の方法は、文献５，６，７が開示する発色カメラ（chromogenic camera）で始まる。発色カメラで一つの現場の２枚の写真を撮る。その１枚は、従来型のＲＧＢ画像であり、もう１枚は、同じカメラだが、光学系の前にカラーフィルタを置いて撮影した画像である。発色アイデア（chromogenic idea）は、例えば、一般論として、３個より多くのセンサを備えたカメラが発色性カメラとして認識されるなど、他のカメラ構造にも広がる（文献５，８参照）。過去の研究は２つの結果を示す。１つは、ＲＧＢとフィルタ付きＲＧＢとの関係が照明で決まり、異なる光は異なる関係をもたらすという点である。２つ目は、（事前計算した）関係だけを利用すると、情景に存在する明色の評価が可能という点である。さらに、色素生産手法（chromogenic approach）が、他の方法より照明の色を正確に評価することが分かった（文献７）。発色性手法が単一の背景光照明の評価で、平均的にうまく機能する一方、複数の光検出には直接適用できない。実際、ごく一部の入力ピクセルを使った場合、照明評価の発色アルゴリズムの性能は低下する。従って、別の光が入力ピクセルの多くを照射すると、発色性照明評価の精度は低下する。

この研究では、我々は、いろいろなＮ照明で、ＲＧＢをフィルタ処理された対応物に尤もらしくマッピングするであろうＮ関係のセットＲを、特定のカメラについて事前計算することだけを想定した。もし、実際に、新しく提供された画像にｍ光源が存在するのであれば、本発明によって、我々のデータを最も正確に予測するｍ関係のセットを、発見することができる。ここで、各ピクセルまたは領域は、これらをフィルタ付き対応物に最もよくマッピングする関係（ｍの一つ）と関連付けされる。このカメラ用に確立されたＮ事前計算関係を使って、これらのｍ関係を見つける。ひとたび発見したら、同一照明が同じ関係と関連付けしたピクセルまたは領域を照射すると仮定する。もちろん、ｍ関係のサブセットだけを使うことが判明した場合は、当初の仮説より少数の光があるとの結論に至る。実際、ｍ光源より光源の数が少ない場合、アルゴリズムがその事実を報告してこそ、正当に機能するアルゴリズムは任意のシーンでｍ光源があるとの仮説を立てられるので、これは重要なポイントである。

図面を参照しながら、本発明の実施例を例示の形で説明する。

本発明の好ましい実施例による方法を図示したものである。 原画像を示す。 本発明の方法によって取得した推定イルミネーション画像を示す。 本発明による画像の初期分割を示す。 図２ｂ及び図３ａが示す情報を使った領域ベースの発色体検出法の結果を示す

本発明による方法を図１に示す。事前計算したマッピング（１，１／３，１／２のスカラー乗法因子で表示）をフィルタ無しのピクセル値{３，４}に適用し、最良のフィルタ対応物{１，２}と合致させる。ここで、この例示の目的に沿って、単数で表示できる２つの領域を備える極めて単純な画像を用いる（この画像は、おそらく、飛行中の飛行機の影が地表に落ちたものである）。一番上の画像Ｉは、影を表す"３"に分類された領域を有する。この図表示では、本発明の方法が実際に使用する色を使ったアルゴリズムの説明はしない。その代わり、説明を分かりやすくするために、各ピクセルが一つのスカラー値になるように単純化した。図１で、ラベル'１'，'２'，'３'，'４'は、各領域の分類で、かつ、ピクセル値である。例えば、画像Ｉの陰影領域において、画像ピクセルのスカラー値は数字の３である。２つの領域における対応フィルタ画像は、領域'１'と'２'を備え、Ｉ^Ｆで表示する。

代替マッピングＢ、すなわち、スカラー乗数セット{＊１／３，＊１／２}と、代替マッピングＣ、すなわち、スカラー乗数セット{＊１，＊１／２}を上記の通り実行する。ここで、どちらのマップ（ｍａｐ）が総合的に最適かを判断するための方法を決定する。Ａと標識されたラインを辿ると、このマップセットの性能評価に伴う計算が分かる。画像Ｉの入力ピクセル３に対して、マッピングセットＡから＊１または＊１／３のどちらかのマップを適用できる。各マップを順番に適用して、図１の左端の２個の葉節点に到達する：実際のピクセル応答を差し引くことで、実際に観察したフィルタ画像I^Fから予想フィルタ応答（すなわち、マップをピクセル値に適用）の計算誤差を算出する。この実施例での計算は、３＊１−１及び３＊１／３−１（領域'1'にマッピングされた領域'３'のピクセル誤差について、同等誤差は、それぞれ２及び０）となる。０は２より小さいので、このピクセルとの関連付けにマッピング＊１／３を選択する。木節点の左から２番目のペアに移り、第２ピクセル'４'について、同様の作業を行う。ここでも、＊１／３が実際のフィルタ出力をより正確に（完璧ではないが）予測することが分かる。関係セットAのみに基づいて、ピクセル'３'と'４'が両方とも同一の関係＊１／３を使って対応するフィルタ対応物に最適にマッピングできるとの結論に達する。そこで、このステージでは、両方のピクセルを同一光源の下で取得したと結論付ける。関係セットAが我々のデータを総合的に最適に模倣する場合、２つの光源が存在したという我々の仮説は誤りということになる（関係は１つだけで、従って、光源は１つだけ存在することが分かった）。

ツリーの残りの解析を進めるうちに、真ん中の関係枝（relation branch）（関係セットＢ）のときに、予測応答と実際の応答との絶対差の総計が最小であることを見出した（この単純化した実施例では、実際の絶対差はゼロである）。さらに、ピクセル'３'と'４'が、それぞれ、＊１／３と＊１／２という２つの異なる関係にマッピングされることを見出す。そのため、この場合、各ピクセルが異なる照明で取得されるとの結論に至る。この実施例は単純であるば、これが、本質的に、本発明の重要段階を成す。

もちろん、実際の画像処理では、画像はｋピクセルまたは領域を有する。対応フィルタ対象物同様、各ピクセルは典型的にＲＧＢトリプレットによって描写される。カメラの応答がフィルタ対応物にどのようにマッピングされるかを予測する関係は、スカラー関数でなく、多次元関数である。例えば、関係は、３×３間トリック変換、あるいは、より複雑な非線形マップであって構わない。さらに、図１に示すものより多数のマップ（我々の実験では、Ｎ＝５０から１００を使用）があるため、考慮すべきマップの数はもっと多く存在する。しかし、本質的な計算は同じである。画像の全てのピクセル又は領域について、ＲＧＢをフィルタ対応物に最適にマッピングするマップ（ｍ＝２を検討する場合、２マップのセットに属する）を見つける。次に、画像全体の予測誤差を計算する。この工程を全ての予想マップセットについて反復する。画像ＲＧＢからフィルタ対応物を最適に予測するマップセットを使って、異なる光源が照射する領域に、画像を直接、分割できる。本発明によれば、同じマップに割り当てられたピクセルまたは領域は同一の光源が照射すると想定される。

フィルタ無し応答からフィルタ付き応答への事前計算マッピングが利用できない場合、２つの画等の最良マッピングを探し、見つけたマッピングで最適に変換できる大多数のピクセルを１つのラベルに割り当て、その他のピクセル全てを第２ラベルに割り当てることで、発色アイデアを得ることができる。例えば、少なくとも画像の半分（プラス１ピクセル）がそのマッピングと関連しているとの前提で、'ロバスト'統計的処理により、一方の画像から他方の画像への最良マッピングを見つける。正しく関連付けられていないピクセルは'外れ値'で、第２ラベルに属する。事実、ロバストマッピングは、階層的に進めることが可能で、第２ラベル領域で最良マッピングを発見し、個々のピクセルについて適当なラベルが無くなるまで、どんどん下降していく。その後に、領域標識を活用する（以下を参照）。

我々の手法は緻密である：異なる光で照射される領域の発見だけに発色理論を利用し、照明の色の推定には使用しない。これは奇妙に聞こえるかもしれない。結局のところ、各ピクセルまたは領域は、単一の関係と関連していて、各関係は、特定の光源においてＲＧＢをフィルタ対応物に転写させるマップとして定義される（学習ステージで）。ひとたび、どの領域が同一光源で照射されているかを識別したら、これらの領域について、光源の色も知ることになると結論付ける（誤りかもしれない）。発色発光体（chromogenic illuminant）推定では、シーンに色の多様性があるほど、性能が上がるため、我々は照明の色を知らない。しばしば、陰影で見つけたピクセルの総数は、画像の大きさと比べて、相対的にほんの一部であったりする。このような場合、フィルタ対応物へＲＧＢをマッピングする最良の関係は、間違った照明のものかもしれない。照明の色の推定を目的とする場合、これは問題を引き起こす。しかし、ここでは、照明の識別手段としてのみ関係を利用することを目指している。

発色理論について述べる。光、反射率、センサを、それぞれ、Ｅ(λ)，Ｓ(λ)，Ｑｋ(λ)として（ここで、ＫはＲ，Ｇ，Ｂを示す）表す。均等拡散面において、画像形成は、以下の式で表すことができる。

ここで、積分は可視スペクトルωにわたって評価される。３つ揃いのセンサ応答ｑ_ｋを単一ベクトルに結合させることが有益であり、ここではｑとして表す（下線は、ベクトル量を示す）。

ここで、光と表面についての線形モデルを導入する：

式（２）で使用する照明および反射率の線形モデル基準セットは、一般的に、主成分分析（文献９）または固有ベクトル解析（文献１０）を使って決定する。この場合、モデル次元Ｄ_ＥとＤ_Ｓは３（昼の光）、反射率については６から８であることが分かる。各ピクセルについて３つの測定結果だけがあると仮定して、これらの大規模なモデルでは色彩恒常が解決できるか疑わしい。しかし、式（３）を見ると、像形成は、実際に、反射率重量ベクトルを乗算する（光依存的）照明マトリクスで予測する。Ｅ(λ)またはＳ(λ)についての知識は持たなくても、式（１）の直線性が保たれていることは分かる。２つの光の合計は、それぞれの光マトリクスの合計を意味する。像形成の見地から見た光と表面の次元性は、Ｎ×１重量ベクトルモデルと相互作用する３×Ｎ光マトリクスのＭセットがいかにうまくＲＧＢを観察したか次第であることが分かる。この推論で、マリモントとワンデル（Marimont and Wandell）（文献１１）は、Ｄ_Ｅ＝３（３個の光マトリクス）で、Ｄ_Ｓ＝３（反射率自由度３）のときのみ、像形成の優良なモデリングが可能であることを立証した。

モデルの数が小さいため、これは励みになる。しかし、光と反射率を分断できるほどには小さくはない。その理由を明らかにするために、３ｓ測定結果と３ｓ＋３の未知要素をもたらす単一の照明と反射率を有すると仮定した。表面明度と光源輝度の間にスカラー不確定性が存在する（互いに増加するため）との観察を経て、未知数３ｓ＋２年、これは、既知数の数よりさらに小さい：すなわち、３ｓ＜３ｓ＋２である。

しかし、ここで、２つの光源下のｓ表面を観察すると仮定する。２つまたは３つ以上の表面について、６ｓ測定結果を有し、未知数より既知数が多い（すなわち、５＝６−１＝２つの光源を３で乗算し、明度不確定性を差し引く）。実際、多数の著者が、この場合の色彩恒常問題を代数的に解決できるアルゴリズムを教示している（文献１２，１３，１４）。これらの手法が暗示するのは、３×３線形マップによってＲＧＢが照明を交差してマッピングされるという思考である：

フィンレイソン（文献１４）の考察に基づき、我々は、任意の照明下で常に同一のＲＧＢを生成できるため（シグマ重量を思慮深く選択することで）、３×３線形変換が独特であれば、２つの照明の色彩恒常性の課題は解決すると期待した。実際、単純化近似モデルにおいて大部分のセンサ、光、表面は独自性を示し、そのため、２つの照明の恒常性の問題が解決可能なことを示した。しかし、この手法による不具合の一つは、２つの照明下で見られる同一表面画像が必要な点で、これは、一般的に、非現実的な要求である。
発色理論上、２つの異なる照明下でシーンを取得するより、カメラの前にフィルタを置き、第２照明をシミュレートして、付加的画像を生成する。新しいフィルタ応答は以下のとおり表せる。

フィルタ付き照明を以下のように定義する。

従って、式（６）は、以下のようになる：

式中、上付き文字Ｆは、カラーフィルタ上の従属物を示す。式・計数の見地から、我々は、ここで未知数を解くための既知数を十分に備える。全てのシーンについて、１枚は、フィルタ付き、もう１枚はフィルタ無しで、２枚ずつ写真を撮る。文献７が開示するように、ここで重要なのは、光と表面の自由度３が自然を正確に描写できると仮定し、マッピングＲＧＢのフィルタ対応物への変換が照明カラーを独特に定義することである。この結果が照明推定の発色理論へと導く。

アルゴリズムは２つのステージで機能する。前処理段階では、各Ｎ照明について各々１つずつ、ＲＧＢをフィルタ対応物へマッピングする関係を事前計算する。例えば、Ｎ３×３マトリクス変換のセットを見つける。実行段階では、１枚をフィルタ無しで、もう１枚をフィルタ付きで、都合、一対の発色画像（a chromagenic pair of images）を撮影する。この新しい実験ペアの照明は不明である。そこで、事前計算した関係をそれぞれ適用し、ＲＧＢをフィルタ対応物に最適にマッピングする関係を使ってインデックスを作成し、背景にある光源色を推定する（文献７）。

照明推定の発色法は以下の通りである。
前処理：Ｎ照明Ｅ^ｉ(λ)と表面Ｓ^ｊ(λ)のデータベースについて、

を計算するとき、Ｑ_ｉ及びＱ^Ｆ _ｉはｉ番目の照明下のＳ表面におけるフィルタ無し及びフィルタ付きセンサ応答のマトリクスを示し、上付き文字＋は、擬似逆を示す（文献１５）。これは最良の最小二乗変換を生成するが、この方法は、最小二乗（例えばロバスト法も使用できる）にも、線形（すなわち、マトリクス）変換にも限定されない。

実行：新しい実験画像で、Ｐ表面と仮定すると、３×Ｐ測定画像ＲＧＢマトリクスＱ及びＱ^Ｆを有する。ここで、シーン照明Ｅ_ｅｓｔ(λ)の最適推定を見つけるタスクは、合計が最小の二乗誤差を生成するＮ照明セットのインデックスｉを発見することで解決する：

このとき、

である。

最も簡単な手法では、変換マトリクスを回帰で定義する（例えば、ムーア・ペンローズ逆数は最小二乗回帰を使用）。従って、３×３マトリクスとして実行される照明関係は、ＲＧＢをフィルタ対応物に完璧に変換しない。このささやかな不確定性は、以下に記載するように本発明による方法に２つの重要な影響をもたらす。第１に、最良変換を正確に推定するために、多数の試験表面セットが必要になる（全ての表面に関係を適用するため）。第２に、少数の表面セットで明色を推定しようとすると、照明を誤って推定する可能性が生じる。紅斑セットの最適変換は、多数のカラーセット（例えば、赤、緑、白など）の最適変換とは異なるかもしれない。

従って、少数の表面セットしかない画像の発色アルゴリズムを実行するときは、上述したアルゴリズムによって関係を見つけるが、この関係は、実際、間違った光源カラーを指し示すかもしれない。

本発明による方法の好ましい実施例を以下に記載する。発色画像ペア、すなわち、対応するフィルタ対応物を伴うＲＧＢと仮定して、どのピクセルまたは領域が同一光源で照射されるかを判断することができる。以下に、画像にｍ光源が存在できると仮定して、我々の手法を正式に定義する。実際には、大部分の画像においてｍ＜＝２が適当なため、本発明のアルゴリズムを特定のケースで実行する場合、ｍ＝２と設定する。以下に詳細を説明する。

Ｉ_ｋが単一ピクセルの場合、‖.‖は、例えば、ベクトル成分の絶対値の合計または二乗した絶対値の合計の平方根などの単純なスカラー関数である。Ｉ_ｋが領域の場合、例えば平均偏差のように‖.‖をよりロバストな約数（robust measure）にする範囲がある。

本発明の方法の最終ステップでは、異なる光源に属する異なる領域として識別することを目指す。最適化（１１）を解いた後、マッピングＲの全体的最適ｍ要素セット及びピクセルラベルｉ_ｋで、ｋ∈１,２,...,ｍの最適セットに到達する。これは、以下に示すように、関係インデックスｉｋによってｍ光源の領域を、直接、ラベルと関連付ける。ｉ_ｋ＝１を同一光源下で撮像したと考える場合、全ピクセル又はピクセル領域は、'１'でインデックスされる。同様に、ｉ_ｋ＝２を別の光源下で撮像したと考える場合、全ピクセル又はピクセル領域は'２'でインデックスされ、ｉ_ｋ＝ｍまで同様である。

本発明の手法を若干、より一般的にするために、ピクセルの適合度テスト操作を行うが、１つの領域ごとに照明ラベルを割り当てる。ｋでインデックスされたｎ領域の割り当てを計算すると仮定すると、画像中、ｋ＝１，２，...，ｎとなる。このようなタスクには多数のアルゴリズムが存在する。こうしたアルゴリズムを分割手法と称する。Ｉ_ｋｊはｋ番目の領域におけるｊ番目のピクセルを示す。初めに、最小化することで関係ラベルｉ_ｋｊを割り当てる：
領域主導最適化論：

ｉ_ｋｊ＝∈（１,２,...,ｍ）

内在するピクセルとの適合に基づいて領域全体へラベルと割り当てる。
ｉ_ｋ＝最適ラベル（{ｉ_ｋｊ：ｉ_ｋｊ∈Ｉ_ｋ}） 式（１３）

ここで、関数最適ラベル()は、ｋ領域のピクセルＩ_ｋｊに割り当てられるｍラベルまでの全ラベルからどのラベルを領域ｋに割り当てるかを選ぶ必要がある。関数最適ラベル()の明らかな候補がモード関数である。例えば、Ｉ_ｋが１００個のピクセルを有し、これら１００個のうち、９０個が関係ラベルｉを備える場合、モードもｉで、その領域の全体ラベルもｉとなる。別の候補は、その領域ｋにおいて、フィルタ無しからフィルタピクセルへのマッピングでの全体誤差を最小化するラベルとなる。

このセクションの締めとして、照明検出で使用可能な基礎アルゴリズムのその他の変更例を述べる。第１に、３個のＲＧＢセンサと３個のフィルタ対応物を想定して基礎理論を提示してきたが、本発明の実施例は、６個の任意センサ応答関数の場合にも適用できる（必ずしもフィルタ補正と区別する必要はない）。この場合、関係ｆ()は、初めの３個のセンサ応答を次の３個に最適にマッピングする。さらに、多次元応答データに到達する手段が他にもある。例えば、本発明の方法は、標準ＲＧＢ画像と、シーンを明るくするのにフラッシュを使って撮影した第２画像を想定して陰影を検出できる。一般的に、本発明の方法は、以下の式で得られる任意の撮影条件に適用できる：

式中、Ｑ_ｋ(λ)は、フィルタ透過率で乗算したセンサ応答関数またはセンサであっても構わない。

を設定することで、シーンに付加されたフラッシュ光源の影響を正確に模倣し、これも本発明に含まれる。

本発明では、センサの数は重要ではない。実際、ｑセンサカメラを想定すると、異なる照明や表面について記録したセンサ応答のPが関数ｆ()によって残りのq−ｐ応答に関連付けられる場合、本発明の方法を適用できる。上述した実施例では、q＝６及びｐ＝３であるが、ｑとｐは、ｐ＜ｑ：ｑ＝７及びｐ＝２またはｑ＝３及びｐ＝１を満たせば、任意の２つの数字とすることができる。最後の例については、従来型のRGBカメラでは、上記の方法で青色応答を赤色及び緑色応答に関連付けることができるという事実に注目されたい。関係がそれほど強くない（例えば、式（９）のフィットが重大な誤差を有する）場合でも、本発明の方法は、ある程度の照明検出を提供する。

これまで、

この考えをさらに発展させて、

を得、これは、I_kの存在が期待されるｑ−ｐ次元面と直交するｐ次元面に応答ｑベクトルを投影する。より一般的には、約数P(I_k)を計算しても構わない。このときPは、考慮中の照明の応答ベクトルの可能性が高い場合、小さい数を返す関数である。このとき、Pは、例えば、何らかの確率的手法であっても構わない。

例えば、３×３線形写像がＲＧＢをフィルタ対応物に捕らえ、２個の照明だけがシーンに存在する場合、ロバスト統計を使って、画像データを最適に説明する変換ペアを見つけることができる（どの光源が存在するかによって、ペアの一方を各ピクセルに適用する）。画像の少なくとも５０％をマッピングする最良の３×３マトリクスとフィルタ対応物に対応する１個のピクセルを見つける。残りのピクセルは外れ値として扱い、個別適合も可能である。正常値（inliers）と外れ値は、違う光源が画像のどの部分を照射するかを決定する。我々の実験は、この場合、良好な照明検出を示唆する。さらに、原理上、通常のやり方で、距離測度の全ての異なる組み合わせと上述したフィッティング関数を画像データ上に学習させることができる。

要約すると、本発明の方法によれば、カメラで測定した応答ｑベクトルの位置が照明の影響を強く受け、反射率の影響が弱ければ、その光源下で発生する応答確率を測定するのにｑ空間の位置を使用できる。初めのｑ−ｐ応答と最後のｐ応答の関係の試験（線形関数または非線形関数と任意の距離測度を使用）を含む多くの手法でこの確率を計算できる。同様に、ｑベクトルの位置を直接使用でき、これは、近似の任意の面への計算、あるいは、確率計算またはその他の測定を含む。任意の光源についてｑベクトルが一致しているかどうかを測定するのに必要な情報は事前計算が可能で、画像自身の統計に基づいて計算しても構わない。

実際の画像を使って、２つの照明が照射する画像領域の発見方法を説明する。ほぼ間違いなく、ｍ＝２が、最も興味深く、かつ、一般的な事例である。多くのシーンが単一又は２つの光源で照射される。屋外環境は、しばしば単一光源であるが、２個の光源がある場合、すなわち、太陽＋天空（陰影無し）および天空のみ（陰影有り）もしばしばである。同様に、夜間の室内においては、単一の白熱電球で部屋を照らすことがある。しかし、日中は、多くのオフィス環境で、デスクの上方からの人工光と窓から差し込む自然光との組み合わせである。実際、ｍが３個以上の普通の状況を思いつくのは困難である。

各ピクセルに単一変換を適用できるため、この工程の出力を二値画像として観測できる。データと最適にフィットするマトリクス変換を'０'（第1変換）と'１'（第２変換）で表す。シーンに存在する照明の推定を図２（ｂ）に示す。陰影領域と非引例領域の間に一致が見られるため、本発明のアルゴリズムが有効なのは明らかであるが、完璧からは程遠い。正解に見えるが、高度のノイズの悪影響を受けている。

ここで、式（１２）、続いて式（１３）の最適化で得た領域ベースラベル割り当てを適用する。平均シフトアルゴリズム（文献１８）または任意の類似のエッジ保存分割アルゴリズムを使って、画像の初期分割を計算する。図３（ａ）は、標準平均シフトアルゴリズムで達成した分割を示す。画像に多数の領域があることに注目されたい。すなわち、我々の目下の対象に対向する画像を過剰分割し（oversegmented）、非陰影領域から陰影領域を除去した。異なる光源が照射する領域を融合しないように入力画像を分割する上で、これは重要である（分割度は平均シフトアルゴリズムで使用するパラメータを使って制御可能で、これはその他のエッジ保存分割アルゴリズムにも適用できる）。

図３（ｂ）に領域ベース照明検出法の結果を示す。図２（ｂ）で得た出力で始める。図３（a）の平均シフト分割を使って得た領域を併用して、式（１３）で標識した出力の割り当てを行う。この変形では、各領域について'０'と'１'の割合を計算し、大多数の数を領域全体に割り当てる。図３（ｂ）に示す結果から、シーンに存在する光源をうまく分割したことが明らかである。

図３は陰影エリアのクリーンな測定を示す。重要なのは、この単純な照明検出法が信頼性の高い良好な結果をもたらしたことである。

本書では、画像の照明分割法を開示してきた。この方法は、非フィルタ型からフィルタ型への画像ペアの前処理変換の使用を含み、ここでは発色フィルタ（chromagneic filter）を使用する。ｍ又はより少数の照明ラベルを備える分割を決定し、ｍマッピングセットをピクセルまたは領域レベルで画像ペアに適用し、最適なラベル割り当てを生成する。代替的に、事前計算マッピングを利用できない場合、回帰または類似の方法を階層的な手法で画像ペアに適用することで、ｍ又はより少数のラベル割り当てを決定できる。一般的に、領域ベース法は、よりクリーンな照明分割をもたらす。

本明細書で、フィルタ画像またはフィルタ無し画像に言及する場合、異なるろ過特性を備える画像を含む。異なるフィルタリングを備える２個のフィルタ画像の代わりに、１個のフィルタ画像を用いても構わない。あるいは、例えば、異なるメーカーのカメラなど、単純に２個の異なるカメラを使っても構わない。実施例では、従来型のデジタルカメラと黄色フィルタつきのカメラを使った。

参考文献一覧

Claims (20)

1. 複数のｍ光源を有する画像を、それぞれの領域がｍ光源の一つだけで照射される様々な領域に分割することで画像処理する方法であって、異なるセットのスペクトル成分を有する対画像を取得する工程と、ピクセルまたは領域レベルで前記の対画像に、事前計算したｍマッピングのセットを適用する工程を包含する前記の画像処理方法。
2. 対応する一次応答ベクトルを前提に、特定の二次画像応答が如何にうまく予測できるかに基づいてｍ−セットを選択する請求項１に記載の方法。
3. 線形変換を使って画像がマッピングされ、二次画像出力(outprints)に最も近い新しい出力セットを生成するｍ−セットが選択される請求項１に記載の方法。
4. ｍ−セットの選択に統計分析が使用される請求項１に記載の方法。
5. 画像全域にわたって各ｍ−セットが計算され、実際の二次応答とm−セットで予測したものとの差が画像全域にわたって合計され、良し悪しが評価され、最適なｍ−セットが検索で見出される請求項１に記載の方法。
6. 第１画像がＲＧＢカメラで形成され、第２画像がフィルタ処理されたＲＧＢ対応物に対応する請求項１から５の何れかに記載の方法。
7. 第１画像がＲＧＢカメラで形成され、第２画像が１つ又は複数の様々なセンサ応答のセットに対応する請求項１から５の何れかに記載の方法。
8. センサ応答のセットがＣＭＹである請求項7に記載の方法。
9. 第１画像が、少なくとも２個のセンサを備えるカメラで撮影した一次マルチスペクトル画像であり、第２画像が、前記カメラの少なくとももう１個のセンサで撮影した二次マルチスペクトル画像である請求項１から５の何れかに記載の方法。
10. 第１及び第２画像の対応ピクセルまたは領域を順番に撮影し、第１画像を第２画像に最適にマッピングする関係からｍ関係セットを決定する請求項１に記載の方法。
11. 画像間のホストマッピングを見出し、見つけたホストマッピングで最適に変換されたピクセルの大多数を第１ラベルに割り当て、その他を第２ラベルに割り当てる工程をさらに包含する請求項１に記載の方法。
12. 
13. 複数のｍ光源を有する画像を、それぞれの領域がｍ光源の一つだけで照射される様々な領域に分割することで画像処理する方法であって、異なるセットのスペクトル成分で対画像を取得する工程と、画像間の最適マッピングを見付け出す工程と、見付け出したマッピングの下で最適に変換したピクセルの大多数を第１ラベルに割り当て、その他を第２ラベルに割り当てる工程を包含する前記の画像処理方法。
14. 
15. 画像が異なるフィルタリングの対画像である前記請求項の何れかに記載の方法。
16. 画像が対のフィルタ処理画像と対のフィルタ非処理画像とである請求項１５に記載の方法。
17. ｎ＝２である前記請求項の何れかに記載の方法。
18. ｎ＝３である請求項１から１６の何れかに記載の方法。
19. 前記請求項の何れかに記載の方法の工程を採用して画像の情報精度を高め、画像情報のレンダリングを調整する方法。
20. 画像の照明検出手段と、画像処理調整のために前記請求項の何れかに記載の工程を実行する手段と、を備える画像処理システム。

Images