JP2009544228A - 偏光を使用した、重複キャストシャドウ成分の分離およびコントラスト強調、ならびに陰影内の標的検出 - Google Patents

Abstract

【解決手段】 陰影は、すべての自然の景色（シーン）の不可分な側面である。光源または反射が複数存在する場合には、同じ位置で異なる陰影がいくつか重なり合って複雑なパターンを生じることがある。陰影領域を適切に識別および分割できれば、その陰影はシーンに関する良好な情報源となりうる。しかし、陰影領域の識別および分割は難しいタスクであり、陰影が不適切に識別されると、物体認識や追跡などのマシンビジョン（機械視覚）タスクが妨げられることが多い。本開示では、光の偏光に基づいた陰影分離およびコントラスト強調方法を提供する。偏光に感度のあるカメラによりシーンの偏光情報が捕捉され、当該シーンが処理されて、異なる光源からの陰影が効果的に分離される。
【選択図】 図４

Description

本願は画像処理に関し、より具体的には、画像内で重なり合ったキャストシャドウ成分を分離してコントラストを強調し、偏光イメージング（偏光画像解析）を行って偏光画像により得られた画像強度と、偏光度と、偏光の配向角との解を求めることにより影に隠れた物体を検出および識別する技術に関する。

陰影は、光源による表面または物体の照明が、オクルージョン（遮蔽）により一部ブロック（遮光）された場合に形成される。全方向性と仮定される環境光を除き、光源は、特定の１方向からのみ表面を照らす。光源方向による分類のほか、陰影は、さらに「セルフ」シャドウ（"ｓｅｌｆ" ｓｈａｄｏｗ）および「キャスト」シャドウ（"ｃａｓｔ" ｓｈａｄｏｗ）に分類される。「セルフ」シャドウとは、物体（被照物）の向きの加減で光源からの光が直接当たらない被照物上の領域をいい、「キャスト」シャドウとは、他の物体によるオクルージョン（遮蔽）のため光源の光が当たらない領域をいう。陰影ができる領域は、通常、照らされた領域より暗く見え、その色特性（色相や彩度など）も直接照らされた領域とは異なって見える。このような強度および色の違いによりパターンおよび境界／エッジ（縁部）が生じ、人間である観察者またはマシンビジョン（機械視覚）アルゴリズムが、シーン（光景）を分割し、それらを使って物体を識別しようと試みると混乱が生じることが多い。そのため、画像またはビデオシーケンスの陰影を識別、分割、および除去する技術がこれまで多数開発されてきた。しかしながら、これまで公開されてきた方法のいずれも、陰影を分割する際の情報として光の態様を２つ（強度および／またはスペクトル（「色」）分布）しか使っていない。ただし一部のケースでは、これらが利用可能な時間的情報および幾何学的情報と組み合わされる。光の第３の基本特性、すなわち偏光は、これまで陰影分割（陰影セグメンテーション）の目的では使用されていないように見受けられる。さらに、既存の陰影分割アルゴリズムの大半では、シーンの領域が陰影または非陰影の一方として分類されるという比較的単純な陰影モデルを想定している。実際、以下で説明するように、シーン内の特定の領域が、１つの光源から影になっていると同時に（１つまたは複数の）別の光源からは照らされているとすることができる。そのような場合は、シーン分割におけるこういった複雑な問題を「構文解析（ｐａｒｓｉｎｇ）」する上で、偏光情報が役立つ。

偏光は、光固有の特性である。優勢な自然光源である太陽からの光は偏光していないが、大気中の小さい粒子からの散乱光と、物体表面からの反射光または散乱光の大半とは、一部偏光している。肉眼でも大半のマシンビジョンカメラでも偏光は認識できないが、一部の動物種は、偏光情報を検出し、これをナビゲーションや物体認識など様々な目的に利用することができる。生物学的な偏光視覚に発想を得た本願発明者らは、これまで、偏光に感度のあるカメラと、散乱性媒体内の標的を検出し潜在指紋を検出し監視を強化するための処理方法とを開発してきた（Ｍ．Ｐ．Ｒｏｗｅ、Ｅ．Ｎ．Ｊｒ．Ｐｕｇｈ、およびＮ．Ｅｎｇｈｅｔａ「偏光差画像処理：散乱性媒体を経由して観測を行うための生物学的に発想を得た技術（Ｐｏｌａｒｉｚａｔｉｏｎ−ｄｉｆｆｅｒｅｎｃｅ ｉｍａｇｉｎｇ：ａ ｂｉｏｌｏｇｉｃａｌｌｙ ｉｎｓｐｉｒｅｄ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｏｂｓｅｒｖａｔｉｏｎ ｔｈｒｏｕｇｈ ｓｃａｔｔｅｒｉｎｇ ｍｅｄｉａ）」（Ｏｐｔ．Ｌｅｔｔ．２０、６０８−６１０（１９９５））、Ｊ．Ｓ．Ｔｙｏ、Ｍ．Ｐ．Ｒｏｗｅ、Ｅ．Ｎ．Ｊｒ．Ｐｕｇｈ、およびＮ．Ｅｎｇｈｅｔａ、「偏光差画像処理による光学的に散乱性の媒体における標的検出（Ｔａｒｇｅｔ ｄｅｔｅｃｔｉｏｎ ｉｎ ｏｐｔｉｃａｌｌｙ ｓｃａｔｔｅｒ ｍｅｄｉａ ｂｙ ｐｏｌａｒｉｚａｔｉｏｎ−ｄｉｆｆｅｒｅｎｃｅ ｉｍａｇｉｎｇ）」（Ａｐｐｌ．Ｏｐｔ．３５、１８５５−１８７０（１９９６））、Ｓ．−Ｓ．Ｌｉｎ、Ｋ．Ｍ．Ｙｅｍｅｌｙａｎｏｖ、Ｅ．Ｎ．Ｊｒ．Ｐｕｇｈ、およびＮ．Ｅｎｇｈｅｔａ「偏光強調による視覚的監視技術（Ｐｏｌａｒｉｚａｔｉｏｎ Ｅｎｈａｎｃｅｄ Ｖｉｓｕａｌ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｔｅｃｈｎｉｑｕｅｓ）」（Ｐｒｏｃ．ｏｆ ＩＥＥＥ Ｉｎｔ．Ｃｏｎｆ．ｏｎ Ｎｅｔｗｏｒｋｉｎｇ，Ｓｅｎｓｉｎｇ ａｎｄ Ｃｏｎｔｒｏｌ（ＩＥＥＥ Ｓｙｓｔ．Ｍａｎ．Ｃｙｂｅｒｎ．Ｓｏｃｉｅｔｙ、Ｔａｉｐｅｉ、Ｔａｉｗａｎ、２００４）を参照）。また本願発明者らは、人間である観察者に対し偏光情報を効果的に表示する方法もこれまで開発してきた（Ｊ．Ｓ．Ｔｙｏ、Ｅ．Ｎ．Ｊｒ．Ｐｕｇｈ、およびＮ．Ｅｎｇｈｅｔａ「散乱性媒体中の物体の偏光差画像処理に使用する比色表現（Ｃｏｌｏｒｉｍｅｔｒｉｃ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｏｒ ｕｓｅ ｗｉｔｈ ｐｏｌａｒｉｚａｔｉｏｎ−ｄｉｆｆｅｒｅｎｃｅ ｉｍａｇｉｎｇ ｏｆ ｏｂｊｅｃｔｓ ｉｎ ｓｃａｔｔｅｒｉｎｇ ｍｅｄｉａ）」（Ｊ．Ｏｐｔ．Ｓｏｃ．Ａｍ．Ａ １５、３６７−３７４（１９９８））、Ｋ．Ｍ．Ｙｅｍｅｌｙａｎｏｖ、Ｍ．Ａ．Ｌｏ、Ｅ．Ｎ．Ｊｒ．Ｐｕｇｈ、およびＮ．Ｅｎｇｈｅｔａ「コヒーレントに運動するドットによる偏光情報の表示（Ｄｉｓｐｌａｙ ｏｆ ｐｏｌａｒｉｚａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｂｙ ｃｏｈｅｒｅｎｔｌｙ ｍｏｖｉｎｇ ｄｏｔｓ）」（Ｏｐｔ．Ｅｘｐｒｅｓｓ １１、１５７７−１５８４（２００３））を参照）。偏光は暗色の表面で増加することが報告されており、（Ｗ．Ｇ．Ｅｇａｎ「暗色標的による再帰反射の増加（Ｄａｒｋ−ｔａｒｇｅｔ ｒｅｔｒｏｒｅｆｌｅｃｔｉｏｎ ｉｎｃｒｅａｓｅ）」、（Ｐｒｏｃ．ＳＰＩＥ、Ｐｏｌａｒｉｚａｔｉｏｎ：Ｍｅａｓｕｒｅｍｅｎｔ，Ａｎａｌｙｓｉｓ，ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ π（ＳＰＩＥ１９９９）、３７５４、ｐｐ．２１８−２２５））、偏光を使って陰影の細部を強調できることも報告されている（Ｍ．Ｊ．Ｄｕｇｇｉｎ「シーン要素の区別における偏光撮像（Ｉｍａｇｉｎｇ ｐｏｌａｒｉｍｅｔｒｙ ｉｎ ｓｃｅｎｅ ｅｌｅｍｅｎｔ ｄｉｓｃｒｉｍｉｎａｔｉｏｎ）」、（Ｐｒｏｃ．ＳＰＩＥ、Ｐｏｌａｒｉｚａｔｉｏｎ： Ｍｅａｓｕｒｅｍｅｎｔ， Ａｎａｌｙｓｉｓ， ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ ＩＩ（ＳＰＩＥ１９９９）、３７５４、ｐｐ．１０８−１１７））。偏光は、光の入射角が増すとともに強まることが報告されている（Ｄ．Ｈ．Ｇｏｌｄｓｔｅｉｎ、Ｄ．Ｂ．Ｃｈｅｎａｕｌｔ、およびＪ．Ｌ．Ｐｅｚｚａｎｉｔｉ「Ｓｐｅｃｔｒａｌｏｎの偏光による特徴付け（Ｐｏｌａｒｉｍｅｔｒｉｃ ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｏｆ Ｓｐｅｃｔｒａｌｏｎ）」（Ｐｒｏｃ．ＳＰＩＥ、Ｐｏｌａｒｉｚａｔｉｏｎ：Ｍｅａｓｕｒｅｍｅｎｔ，Ａｎａｌｙｓｉｓ，ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ ＩＩ（ＳＰＩＥ１９９９）、３７５４、ｐｐ．１２６−１３６）。

しかし、強度および色の情報だけで生成された画像内で、重なり合った複雑なキャストシャドウを区別することは、依然としてほぼ不可能である。このような重複しあう複雑なキャストシャドウを、シーンの偏光パラメータから生成した画像内で容易に相互分割できるようにする技術が望まれている。本発明は、当該技術分野におけるこの必要性に応えるものである。

本発明は、撮像されたシーンの陰影内のコントラストを改善する方法を提供することにより当該技術分野の上記のニーズに応えるもので、前記方法は、通常のＣＣＤカメラまたは偏光に感度のある他の任意のカメラに取り付けられた偏光分析器の少なくとも３つの異なる配向角φから前記シーンの画像を取得する工程と、特定の画像位置または画素で測定された強度Ｉを、前記配向角φの関数として計算する工程と、得られた前記画像の各画素についてＩ_Ｕ、Ｉ_Ａ、およびθを収集してＩ_Ｕ画像、Ｉ_Ａ画像、およびθ画像を提供する工程であって、Ｉ_Ｕは各画素における全強度の５０％であり（（Ｉ_ｍａｘ＋Ｉ_ｍｉｎ）／２）、Ｉ_Ａは、前記分析器の前記配向角φの関数で表した、各画素からの偏光の最大測定強度と最小測定強度の差の５０％であり（（Ｉ_ｍａｘ−Ｉ_ｍｉｎ）／２）、θは偏光楕円の主軸の配向角である、工程と、前記Ｉ_Ｕ画像、前記Ｉ_Ａ画像、および前記θ画像を出力する工程とを有する。Ｉ_Ｕが非ゼロの場合はｐ画像も収集および表示され、ここで、ｐ≡Ｉ_Ａ／Ｉ_Ｕにより当該画素での直線偏光度が定義される。

例示的な実施形態において、特定の画像位置または画素で前記測定された強度Ｉは、偏光に感度のある１若しくはそれ以上のカメラの前記配向角φの関数として、次式に従って計算される。

ここで、ｐ≡Ｉ_Ａ／Ｉ_Ｕである。前記角度φおよびθの基準軸は、任意に選択できる。また、Ｉ_Ｕ画像、Ｉ_Ａ画像、ｐ画像、およびθ画像のうち少なくとも１つにコントラスト強調を提供することも可能である。例えば、前記コントラスト強調は、線形ストレッチ（線形伸張）アルゴリズムにより提供できる。

前記３つの異なる角度がそれぞれφ＝０度、４５度、および９０度である場合、前記処理は単純化される。そのような場合、Ｉ_Ｕ、Ｉ_Ａ、ｐ、およびθは、次式に従って前記画像の各画素について収集できる。

ここで、指数０、４５、および９０は、各特定の画像が取得された際の前記カメラ前部の偏光子の配向を、適切な基準角に対し、度の単位で示したものである。

本発明には、撮像されたシーンの陰影内のコントラストを改善するシステムも含まれる。本発明によれば、そのようなシステムには、偏光に感度のある少なくとも１つのカメラであって、少なくとも３つの異なる配向角φから前記シーンの画像を取得する、カメラと、特定の画像位置または画素で測定された強度Ｉを、前記配向角φの関数として計算し、得られた前記画像の各画素についてＩ_Ｕ、Ｉ_Ａ、およびθを収集してＩ_Ｕ画像、Ｉ_Ａ画像、およびθ画像を提供するようプログラムされたプロセッサと、前記Ｉ_Ｕ画像、前記Ｉ_Ａ画像、および前記θ画像を表示する出力装置が含まれる。例示的な実施形態において、偏光感度は、偏光分析器により得られる。本発明の方法の画像処理は、コンピュータソフトウェアにより提供され、このコンピュータソフトウェアは、前記計算を実行するよう、また本発明の技術に従って提供される画像強調アルゴリズムを実施するよう前記プロセッサをプログラムする。

図１（ａ）は、一般的な巨視的反射モデルを例示した図である。

図１（ｂ）は、誘電体表面からの鏡面反射により生じる光の偏光を例示した図である。
図２は、本発明に係るカメラ構成の第１の例示的な実施形態を例示した図である。 図３は、本発明に係るカメラ構成の第２の例示的な実施形態を例示した図である。 図４は、本発明に係る単純化した画像処理アルゴリズムを例示した図である。 図５（左側）は、光と影を伴った屋外シーンに対する従来の「強度のみ」の画像を例示した図で、図５（右側）は、同じシーンについて「偏光度」画像を例示した図である。 図６は、図５の双方の画像に対し、線形コントラスト強調（線形強度範囲ストレッチ）を行ったのち、０．５のガンマ補正を施したものを例示した図である。 図７は、太陽光源およびガラス張りの壁の光源の、偏光解析で明らかになる陰影に対する性質についてさらに立証するよう、図５および６の建築物のガラス張りの壁およびフレームの画像（図７左側）と、明るい直射日光が遮られたときの歩道の画像（図７右側）とを例示した図である。 図８（ａ）は、実験設定の概要を例示した図で、光学テーブル上の金属ピラー（柱状構造体）がカメラの反対側から強力な白熱ランプで照らされており、一方、それより著しく弱い蛍光灯が、この画像の右側から光を当てている。

図８（ｂ）は、図８（ａ）の機器により生成された強度のみの画像を示した図である。

図８（ｃ）は、図８（ａ）の機器により生成された偏光度の画像を示した図である。
図９は、領域拡張解析による分割結果を示した解析例（左側）であり、２１若しくはそれ以上の領域が分割された場合、側部の陰影領域が当該画像で明確に分離された（右側）ことを例示した図である。 図１０〜１６は、本発明の機器を使って得られた付加的な画像を例示したものであり、左側が「強度のみ」画像（従来の画像に相当）を示しており、右側は、本発明の技術を使って得られた各画素について何らかの形態の偏光情報（直線偏光度など）を示したものである。 図１０〜１６は、本発明の機器を使って得られた付加的な画像を例示したものであり、左側が「強度のみ」画像（従来の画像に相当）を示しており、右側は、本発明の技術を使って得られた各画素について何らかの形態の偏光情報（直線偏光度など）を示したものである。 図１０〜１６は、本発明の機器を使って得られた付加的な画像を例示したものであり、左側が「強度のみ」画像（従来の画像に相当）を示しており、右側は、本発明の技術を使って得られた各画素について何らかの形態の偏光情報（直線偏光度など）を示したものである。 図１０〜１６は、本発明の機器を使って得られた付加的な画像を例示したものであり、左側が「強度のみ」画像（従来の画像に相当）を示しており、右側は、本発明の技術を使って得られた各画素について何らかの形態の偏光情報（直線偏光度など）を示したものである。 図１０〜１６は、本発明の機器を使って得られた付加的な画像を例示したものであり、左側が「強度のみ」画像（従来の画像に相当）を示しており、右側は、本発明の技術を使って得られた各画素について何らかの形態の偏光情報（直線偏光度など）を示したものである。 図１０〜１６は、本発明の機器を使って得られた付加的な画像を例示したものであり、左側が「強度のみ」画像（従来の画像に相当）を示しており、右側は、本発明の技術を使って得られた各画素について何らかの形態の偏光情報（直線偏光度など）を示したものである。 図１０〜１６は、本発明の機器を使って得られた付加的な画像を例示したものであり、左側が「強度のみ」画像（従来の画像に相当）を示しており、右側は、本発明の技術を使って得られた各画素について何らかの形態の偏光情報（直線偏光度など）を示したものである。

以下、図１〜１６を参照して本発明を詳しく説明する。当業者であれば、これらの図に関する本明細書の説明が例示目的のみのものであり、決して本発明の範囲を限定するよう意図されたものではないことが理解できるであろう。本発明の範囲に関する疑問は、すべて添付した請求項を参照することにより解決されうる。

光と表面との相互作用について一般に受け入れられた巨視的説明によれば、反射光は、鏡面反射成分と拡散反射成分とに細分化できる。図１（ａ）は一般的な巨視的反射モデルを例示したものであり、図１（ｂ）は、誘電体表面からの鏡面反射により生じる光の偏光を例示したものである。拡散反射成分および鏡面反射成分によりそれぞれ搬送されるエネルギーの比は、入射角および表面の物質特性に依存する。拡散反射された成分は、微視的に複数のランダムな反射を経ることが多いため、傾向として統計的に無偏光である。これと対照的に、鏡面反射された成分は、通常、少なくとも一部偏光され、その偏光方向（電場振動の優勢な軸）は、図１（ｂ）に示したように表面の局所的な接平面と平行になる。これらの物理現象は、フレネル解析およびフレネルの式を適切に応用して定式化できる。

表面による散乱に加え、自然状態での別の重要な偏光源である地球大気による光散乱がある。大気粒子による太陽光の偏光は、粒子を電気双極子として記述するレイリー散乱の理論で説明できる。振動する双極子は振動方向に電磁波を放射しないため、偏光に敏感な観察者は、空のドーム（スカイドーム）が太陽の位置に応じ偏光パターンを呈するのを見ることができる。ｖｏｎ Ｆｒｉｓｃｈの先駆的研究により、昆虫の多くは、この偏光を利用してナビゲーションできることがわかっている。このような偏光は、陰影の分割に影響を及ぼす。以降に示すとおり、陰影内の領域は、直射日光（直接当たる太陽光）により落とされた影であるが、周囲からの偏光した天空光により照らされて独特の偏光を示すことになり、一方、日光により落とされた陰影内の領域と、天空光により落とされた陰影内の領域との双方は、まったく偏光を示さない。

大半の撮像装置は、振動周期（ｆｓ）より長い時間にわたり光エネルギーを積分（集積）するため、位相情報は記録されない。位相情報が失われた状態では、直線偏光分析器をカメラ前部に配置した場合、特定の画像位置または画素（ピクセル）で測定される強度Ｉは、偏光分析器の配向角φの関数として次式で表される。

ここで、θは偏光楕円の主軸の配向角、Ｉ_Ｕは各画素における全強度の５０％、Ｉ_Ａは、前記分析器の配向角φの関数で表した、各画素からの偏光の最大測定強度と最小測定強度の差の５０％であり（（Ｉ_ｍａｘ−Ｉ_ｍｉｎ）／２）、ｐ≡Ｉ_Ａ／Ｉ_Ｕは画素における直線偏光度を定義する。前記２つの角度φおよびθの基準軸は任意に選択してよく、光の偏光状態に関する完全な情報は、異なる３つの角度、例えばφ＝０度、４５度、および９０度に配向された偏光子で画像を捕捉することにより得られる（例えば、Ｓ．−Ｓ．Ｌｉｎ、Ｋ．Ｍ．Ｙｅｍｅｌｙａｎｏｖ、Ｅ．Ｎ．Ｊｒ．Ｐｕｇｈ、およびＮ．Ｅｎｇｈｅｔａ「偏光強調による視覚的監視技術（Ｐｏｌａｒｉｚａｔｉｏｎ Ｅｎｈａｎｃｅｄ Ｖｉｓｕａｌ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｔｅｃｈｎｉｑｕｅｓ）」（Ｐｒｏｃ．ｏｆ ＩＥＥＥ Ｉｎｔ．Ｃｏｎｆ．ｏｎ Ｎｅｔｗｏｒｋｉｎｇ，Ｓｅｎｓｉｎｇ ａｎｄ Ｃｏｎｔｒｏｌ（ＩＥＥＥ Ｓｙｓｔ．Ｍａｎ．Ｃｙｂｅｒｎ．Ｓｏｃｉｅｔｙ、Ｔａｉｐｅｉ、Ｔａｉｗａｎ、２００４）、およびＫ．Ｍ．Ｙｅｍｅｌｙａｎｏｖ、Ｓ．−Ｓ．Ｌｉｎ、Ｗ．Ｑ．Ｌｕｉｓ、Ｅ．Ｎ．Ｊｒ．Ｐｕｇｈ、およびＮ．Ｅｎｇｈｅｔａ「生体に発想を得て、選択的に視覚的キューを使った偏光情報の表示（Ｂｉｏ−ｉｎｓｐｉｒｅｄ ｄｉｓｐｌａｙ ｏｆ ｐｏｌａｒｉｚａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｕｓｉｎｇ ｓｅｌｅｃｔｅｄ ｖｉｓｕａｌ ｃｕｅｓ）」（Ｐｒｏｃ．ＳＰＩＥ、Ｊ．Ａ．ＳｈａｗおよびＪ．Ｓ．Ｔｙｏ編（ＳＰＩＥ２００３）、５１５８、ｐｐ．７１−８４．）を参照）。これら３つの画像から、次式を使って画像の各画素についてＩ_υ、Ｉ_Ａ、およびθが得られる。

ここで、指数０、４５、および９０は、各特定の画像が取得された際の偏光子の配向を度の単位で示したものである。θおよびθ＋πの方向は位相に盲目な（位相に感度のない）センサーには区別できないため、意味のあるθ範囲はπに制限され、θは０〜π範囲になる。

例示的な機器
以下に示す例では、強度積分カメラの前部に取り付けた単一の直線偏光子を手動でまたは機械的に回転させることにより、３つの角度（０、４５、および９０）についてサンプリングしている。この例示的実施形態で使用したカメラは、較正済みのＯｌｙｍｐｕｓ Ｅ−１０デジタルカメラで、４メガピクセルＣＣＤセンサーおよび１０ビットピクセル深度を備えたものである（ＲＡＷモードで使用）。このようなカメラシステムを使用したのは、３つの異なる偏光角度で、同時にまたは素早い連写でほぼ同時に偏光画像を捕捉できるからである。このようなカメラシステムは、通常、以下の方法のいずれか１つで実現できる。

第１の実施形態では、図２に示すように３つのカメラを使う。これらのカメラ１０、１２、および１４は、同一のものであるか、較正して実質的に同一のものとすることが好ましい（これは、同じ照明条件で同じシーンを撮像するため使用する場合、各カメラで得られた画像内の各画素が同じであることを意味する）。この３つのカメラ１０、１２、および１４は、同じシーン２０を見るよう配設し、偏光子３０、３２、３４は、前記３つのカメラ１０、１２、１４が、それぞれ１つの特定角度で偏光された光のエネルギーだけを記録するよう、これらカメラの光経路上にそれぞれ配置する。一般に、３つの角度、０度、４５度、および９０度が選択されるが、これは上記の式で示した定式化および計算を容易にするためである。前記３つのカメラ、１０、１２、１４は機械的または電子的な同期装置４０を使ってトリガーし、同時にまたは素早い連写でほぼ同時に（前記３つのカメラが同じ照明下で同じシーンを記録するよう十分高速に、すなわち、シーンおよび照明条件の変化率より高速に）前記同じシーン２０を撮像する。遠景シーンについては、特定の視距離に対し、前記３つのカメラを単に平行に配置し、またはボアサイト調整すれば（視線検査で照準を合わせれば）よい。接写シーンの場合は、偏光ビームスプリッタおよび無偏光ビームスプリッタ（図示せず）を使って、前記３つのカメラ同じ視線上に位置合わせすることができる。以下説明するように、各前記カメラの出力は、ディスプレイ６０への出力を行うプロセッサ５０で動作する画像処理アルゴリズムを使って処理される。

第２の実施形態では、図３に例示するように、ただ１つのカメラ７０を使用する。このような場合、直線偏光子８０は、前記カメラ７０の光経路上に配置する。順次３つの偏光角度で画像を記録できるよう、直線偏光子８０の角度を変更する／回転させるため、回転子機構９０が設けられる。直線偏光子８０を使って直線偏光の角度を変更するには、いくつか方法がある。例えば、回転させることのできる単一の偏光子フィルターを使用でき、または異なる角度に設置された３つの偏光子フィルターを定位置に置き換えることのできるフィルターホイールを使用してもよい。液晶技術を使用しても、異なる電圧を適用することにより液晶フィルターの偏光を変更できる。

本発明の方法では、同じ照明条件の下、３つの異なる偏光角度で同じシーンの画像を捕捉することだけが必要であり、この要件を満たす上でいかなる特定の実施態様にも限定されるものではない。そのような３つの画像により、前記３つの同時変数Ｉ_Ｕ、Ｉ_Ａ、ｐ、およびθについて上記の式（２）の解を得ることができる。

画像処理
本発明に係る単純化した画像処理アルゴリズムを図４に示す。例示したとおり、３つの異なる角度でシーンの画像１００、１０２、１０４が取得されると、これらの画像は、画像プロセッサ５０により次のように処理される。特定の画像位置または画素で測定される強度Ｉは、偏光分析器の配向角φの関数として式（１）で表され、この式で、θは偏光楕円の主軸の配向角、Ｉ_Ｕは各画素における全強度の５０％、Ｉ_Ａは、前記分析器の配向角φの関数で表した、各画素からの偏光の最大測定強度と最小測定強度の差の５０％であり（（Ｉ_ｍａｘ−Ｉ_ｍｉｎ）／２）、ｐ≡Ｉ_Ａ／Ｉ_Ｕは画素における直線偏光度を定義する。前記２つの角度φおよびθの基準軸は任意に選択してよく、自然光（通常、多色で一部偏光されている）の偏光状態に関する情報は、上記のように３つの異なる角度、例えばφ＝０度、４５度、および９０度に配向された偏光子で画像を捕捉することにより得られる。これら３つの画像から、上記の式（２）を使って画像の各画素についてＩ_υ、Ｉ_Ａ、ｐ、およびθがわかり、図４に示すようにＩ_υ画像１０６、Ｉ_Ａ画像１０８、およびθ画像１１０が得られる。Ｉ_Ｕが非ゼロの場合、ｐ≡Ｉ_Ａ／Ｉ_Ｕにより３４でのｐ画像１１２も算出できる。この場合、指数０、４５、および９０は、各特定の画像が取得された際の偏光子の配向を度の単位で示したものである。θおよびθ＋πの方向は位相に盲目な（位相に感度のない）センサーには区別できないため、意味のあるθ範囲はπに制限され、θは０〜π範囲になる。

このため、画像プロセッサ５０による段階的処理には、以下の工程段階が含まれる。
工程１：前記カメラがデジタル式でない場合、前記３つの画像をデジタル化する。
工程２：適切なコンピュータプログラムを使って、前記３つの画像をコンピュータメモリにロードする。
工程３：３つの異なる偏光角度から得られた画像の各対応画素ごとに、上記の式（２）を使ってＩ_Ｕ、Ｉ_Ａ、θの値を計算する。
工程４：３つの画像Ｉ_Ｕ、Ｉ_Ａ、ｐ、θを出力する。これらは元の３つの画像と同じ数の画素を有するが、対応する画素がＩ_Ｕ、Ｉ_Ａ、ｐ、θになっている画像である。次に、前記偏光情報が表示または格納され、さらにデータを解釈するためのより高レベルの処理および解析用の別のアルゴリズムおよび／またはプロセッサに対する入力として使われる。例えば、画像は分割でき、また標的を検出または認識するため解析できる。そのような用途では、画像データを単独で使用しても、あるいは画像データを処理用センサーデータアレイの一部として使用することもできる。

陰影の検出／強調はＩ_Ａ画像、θ画像、またはｐ画像に見られる。陰影の検出／強調をより良好に表示するため、単純な線形ストレッチ（線形伸張）法または他の一般的なコントラスト強調が必要になる場合もある。ただし、通常のカメラで得られた画像に適用される他の一般的なコントラスト強調方法のうち、偏光設定を使わずに陰影の細部を示すものはない。

画像例
第１の例は、壁がすべてガラス張りの建築物の正面にある歩道の屋外シーンである（図５〜図７、壁がガラス張りの前記建築物は、図７で認識できる）。図５〜７の画像間の関係をより容易に理解するため、図７（左側）以外のすべての画像に見えている下水排水口の覆い（カバー）に長円形を重ね、この覆いが全画像にわたりまったく同じ物体であると気づくようにしている。太陽は、これら画像の右側からシーンを照らしていた。木から落とされた陰影は、前記歩道に沿って見られ、画像の上部で最も明確である。陰影を取り扱う既存のアルゴリズムの大半は、単に暗色領域を陰影として分割し、陰影に起因する輝度のコントラストを低減または排除している。しかし、これらの画像で例示するように、シーンには、強度分布の解析では検出できない、より複雑で重なり合った陰影パターンが隠れている。

図５（左側）は、光と影を伴った屋外シーンに対する従来の「強度のみ」の画像を例示しており、一方、図５（右側）は、同じシーンについて「偏光度」画像を例示している。この画像は、式（２）を使って計算され画像の各画素について抽出された数量ｐ＝Ｉ_Ａ／Ｉ_Ｕをプロットしている。陰影内に隠れた陰影パターンは、高いコントラストで明らかに認識できる。

図５のシーンで、左側後部のガラス張りの建築物は、ガラスパネルから太陽光を反射しているが、各ガラスパネル周囲の細いフレームからは反射していない。反射光は一部偏光しており、その反射パターンがシーンに落とした影は、直射日光で落とされた陰影パターンと重複しあっている。前記ガラスから反射された光は、直射日光より弱いため、この反射光が生じるパターンは、左側の「強度のみ」の画像では本質的に見ることができない。ただし、偏光に感度のあるカメラを使って「偏光度」画像を抽出すると、重複しあう陰影の隠れたパターンが明らかになった（図５右側）。直射日光にも前記ガラスからの反射光にも照らされていない領域は、暗く偏光していないため、どちらの画像でも暗色に見える。この画像の左側に見えるのは、前記ガラス張りの建築物のガラスフレームが落としたパターンである。直射日光に照らされていない―したがって、強度のみの画像では陰影として見える―が、前記ガラス張りの建築物からの一部偏光した反射光に照らされた領域は、強い偏光を呈している。偏光度画像では、偏光信号を全強度に対し正規化しているため（式（２））、これらの領域は、偏光度画像において明るいパターンとして示されている（図５右側）。

図５の右側に示されたこのパターンが偏光解析について一意であることと、前記強度のみの画像では陰影領域でコントラストが低いため隠れているのではないこととを示すため、線形のコントラスト強調（線形強度範囲ストレッチ）を行い、次いで図５の双方の画像に０．５のガンマ補正を施した。その結果は図６に示すとおりで、暗色領域の細部が示されている。左の画像は強度画像で、右の画像は偏光度画像である。前記偏光画像で明らかになったパターンが、コントラスト強調後でさえ前記強度画像に存在しないことは明白である。図６から、陰影パターンが偏光度画像だけに現れることは明らかである。

太陽光源およびガラス張りの壁の光源の、偏光解析で明らかになる陰影に対する性質についてさらに文書化するため、前記建築物のガラス張りの壁およびフレームの画像を提供し（図７左側）、明るい直射日光が遮られたときの前記歩道の画像も提供する（図７右側）。なお、図７の画像は、図５および図６での画像とほぼ同じ位置および全般的視線方向で前記カメラにより得られたものである。唯一の違いは、図７では、高いガラス張りの建築物を視野に入れるため、前記カメラがズームアウトして、より上向きになっている点である。図７に示した画像は、すべて通常強度の画像で、偏光情報は含まれていない。左の画像は、前記ガラス張りの建築物を示したもので、大きなガラスの矩形およびフレームが示されている。右の画像は、図５および６と同じ歩道を別の日に撮像したもので、このときには付近で行われていた建設作業の足場で直射日光が遮られていた。前記ガラス張りの壁およびフレームが前記歩道に落とした陰影パターンが見られる。右の画像内の黄色い長円は、図５および６に見られると同じ下水排水口の覆いを示している。

以上を総合し、本発明者らは、偏光度画像で明らかになったパターンは、実際、前記ガラス光源からの偏光した反射光により生じた陰影に起因するものであると結論した。

また、本発明者らは、屋外で得られた結果をさらに確認するため、制御された室内実験も行った。その設定では、１５０Ｗの白熱光源でカメラと反対方向からシーンを照らし、１５Ｗの蛍光灯で画像の右側に相当する方向から同じシーンを照らした。この実験設定の概要を図８（ａ）に示す。図に示すように、光学テーブル上の金属ピラー（柱状構造体）がカメラの反対側から強力な白熱ランプで照らされており、一方、それより著しく弱い蛍光灯が、この画像の右側から光を当てている。蛍光灯に照らされている側で観測される反射の偏光が弱いのは、この反射光がすべて拡散・散乱されたものであるためであるが、これは、前記カメラ視線と正反対の方向から照射される前記白熱光が大部分フレネル反射であることと対照的である。図８（ｂ）は強度のみの画像を示しており、図８（ｃ）は偏光度画像を示している。前記強度のみの画像では、優勢な（白熱）光源により落とされたノブの陰影だけが見える。しかし、前記偏光度画像では、付加的な情報が高いコントラストで明確に分離されて見られる。具体的には、はるかに弱い蛍光灯が右側から落とした「陰影」が、金属柱状構造体の左の明るい領域として明らかになっている。この領域が当該偏光度画像で明るく見えるのは、視野の幾何学的構成によるものである。すなわち、テーブルからの強い反射光は高度に偏光されている一方、側部光源から前記カメラへ反射する光は弱く偏光されているだけであるため、より弱い光源が陰影を落としている場所では、弱い無偏光光源の混在による偏光度の低下が少なく、より高い偏光度が検出されたことになる。また、どちらの光源にも照らされていない領域は、前記強度のみの画像では非常に暗く、最も偏光していないため前記偏光度画像では最も暗い領域として見える。同様に、強い光源および弱い光源の双方が照らす領域に対応した画像領域の偏光は、この画像の右側にある前記弱い光源から前記カメラへ反射されてくる無偏光の光により弱められている。前記偏光度画像の演算を行う分割アルゴリズムは、前記弱い光源が落とす独特の「陰影」を容易に抽出することができる。

解析例（図９左側）には、領域拡張解析による分割結果を示している（２×２領域に分割した画像全体から開始して、各反復ごとに隣接する同様な領域とマージさせていき、図８（ｃ）が２１の領域になった）。２１若しくはそれ以上の領域が分割された場合は、側部の陰影領域が当該画像で明確に分離された（図９右側）。このパターンは、右側の光源により落とされた前記金属柱状構造体のより大きな陰影の単なる一部であり、このより大きな陰影は、前記小さなノブと、前記カメラと反対側の光源により落とされた前記小さなノブの陰影との双方により一部覆われていることに注意すべきである。

図１０〜１６は、上記の実験機器を使って得られた付加的な画像を例示したものである。図１０〜１６の各画像では、左側が「強度のみ」画像（従来の画像に相当）を示しており、右側は、本明細書で説明した技術を使って得られた各画素について何らかの形態の偏光情報（直線偏光度など）を示している。これらの画像は、本発明の技術がキャストシャドウ内の物体のコントラストを分離および改善する能力を例示している。

結論
画像内の陰影の処理には、シーン分割に関する多くの難題が存在し、強度のみの情報に基づいて陰影を解析するすべての既存の方法には限界がある。多くの方法は、航空写真撮影や交通監視など特定の用途向けに設計されているため、照明条件が単純化され、または事前にわかっている。既存の方法を使った用途の多くは、照明およびカメラに特定の幾何学的構成を要求し、および／またはカメラの画素感度について非常に精確な較正を必要とする。陰影の解析および分割に偏光を使う方法はロバスト（堅牢）であると見られ、陰影に隠れた標的の分割および検出を容易にでき、シーンおよびそれを照らす光源の新たな特徴を明らかにできる新しく有益な情報を確実に提供する。偏光に基づいて陰影を分割し標的を検出する本発明の方法には、独自の限界がある。例えば、本発明の方法は特定のシーンの幾何学的構成に厳密に縛られることはないが、当該方法は、シーンのどこからの信号も偏光していない（稀だが考えられるシナリオである）場合は機能しない。それにもかかわらず、鏡面反射が存在すれば式（２）で抽出される信号が最も強くなるため、光源が撮像システムの反対側にありそのシステムへと向けられている場合は、分割に偏光度画像を使うと最良の結果が期待できる。本発明の方法の有益な特徴は、広範囲な「強度」を有する複数の光源の存在を容易に明らかにできることである。画像に含まれる情報から複数の光源の照明方向を推定する方法はすでに開発されているため、これらの方法と偏光解析を組み合わせることにより、照明源の方向を決定する有益な新しいツールがもたらされると予測できる。また陰影の検出、分離、およびコントラスト強調における偏光情報の使用は、強度、色、および幾何学的構成など、よく知られた他のキューと組み合せて、より正確な陰影分割と標的の検出および区分とを実現し、明確に区別できる陰影成分出所のより詳細な情報を提供することにより、さらに強化される。上記の実験では偏光度情報だけに基づき陰影分割を行ったが、局所的な偏光楕円の配向（式（１）では０）から得られ画像分割にも使用できる（色を使う場合とほぼ同じ態様で）付加的なキューを使っても、本発明の方法をさらに強化できることが予測される（Ｊ．Ｓ．Ｔｙｏ、Ｅ．Ｎ．Ｊｒ．Ｐｕｇｈ、およびＮ．Ｅｎｇｈｅｔａ「散乱性媒体中の物体の偏光差画像処理に使用する比色表現（Ｃｏｌｏｒｉｍｅｔｒｉｃ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｏｒ ｕｓｅ ｗｉｔｈ ｐｏｌａｒｉｚａｔｉｏｎ−ｄｉｆｆｅｒｅｎｃｅ ｉｍａｇｉｎｇ ｏｆ ｏｂｊｅｃｔｓ ｉｎ ｓｃａｔｔｅｒｉｎｇ ｍｅｄｉａ）」（Ｊ．Ｏｐｔ．Ｓｏｃ．Ａｍ．Ａ １５、３６７−３７４（１９９８））、Ｋ．Ｍ．Ｙｅｍｅｌｙａｎｏｖ、Ｍ．Ａ．Ｌｏ、Ｅ．Ｎ．Ｊｒ．Ｐｕｇｈ、およびＮ．Ｅｎｇｈｅｔａ「コヒーレントに運動するドットによる偏光情報の表示（Ｄｉｓｐｌａｙ ｏｆ ｐｏｌａｒｉｚａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｂｙ ｃｏｈｅｒｅｎｔｌｙ ｍｏｖｉｎｇ ｄｏｔｓ）」（Ｏｐｔ．Ｅｘｐｒｅｓｓ １１、１５７７−１５８４（２００３））を参照）。さらに、光の他の物理属性に対する偏光の独立性から期待され、また上記の実験で実証されたように、偏光で抽出された陰影に関する情報は一意で、一般に他のキューだけからは抽出できない。

このように、本発明の方法は、偏光に感度のある撮像システムで捕捉される画像内の局所的な偏光度に基づいた新規性のある陰影分割方法を提供する。光の偏光は、シーンについて明確かつ有益な情報を搬送し、その情報は、少額のコストで抽出できることがわかった。従来、偏光は、グレア除去や標的検出など他の多くの視覚的タスクで使用されてきたが、本発明者らの知る限り、シーンに含まれる複雑な陰影の分割に役立てる目的で使用されたことはなかった。偏光情報を使うと、複数光源の複雑度と、それらが生み出す重なり合った陰影とに関する情報を、システムで抽出することができる。そのような陰影は、強度のみの画像では検出することでさえ非常に難しく、偏光解析での陰影抽出は、シーンを照らす光源の方向および性質を識別する新しい手段をもたらす。

当業者であれば、本発明には、本発明の範囲内で他に多くの変更（修正）形態が可能であることも理解されるであろう。このため、本発明の範囲は、上記の好適な実施形態にではなく、添付の請求項にのみ限定されるよう意図されている。

Claims (21)

1. 撮像されたシーンの陰影内のコントラストを改善する方法であって、
   少なくとも３つの異なる配向角φから前記シーンの画像を取得する工程と、
   特定の画像位置または画素で測定された強度Ｉを、前記配向角φの関数として計算する工程と、
   得られた前記画像の各画素についてＩ_Ｕ、Ｉ_Ａ、およびθを収集してＩ_Ｕ画像、Ｉ_Ａ画像、およびθ画像を提供する工程であって、Ｉ_Ｕは各画素における全強度の５０％であり、Ｉ_Ａは、前記配向角φの関数で表した、各画素からの偏光の最大測定強度と最小測定強度の差の５０％であり（（Ｉ_ｍａｘ−Ｉ_ｍｉｎ）／２）、θは偏光楕円の主軸の配向角である、前記提供する工程と、
   前記Ｉ_Ｕ画像、前記Ｉ_Ａ画像、および前記θ画像を、格納、付加的な処理、または表示用に出力する工程と
   を有する方法。
2. 請求項１記載の方法において、この方法は、さらに、
   ｐ画像を収集および出力する工程を有し、ｐはｐ≡Ｉ_Ａ／Ｉ_Ｕと定義される直線偏光度である。
3. 請求項１記載の方法において、特定の画像位置または画素で前記測定された強度Ｉは、偏光フィルターの前記配向角φの関数として、次式に従って計算され、
   

   

   ここで、ｐ≡Ｉ_Ａ／Ｉ_Ｕは、前記画素における直線偏光度を定義するものである。
4. 請求項３記載の方法において、前記角度φおよびθの基準軸は、任意に選択されるものである。
5. 請求項２記載の方法において、この方法は、さらに、
   前記Ｉ_Ｕ画像、Ｉ_Ａ画像、ｐ画像、およびθ画像のうち少なくとも１つにコントラスト強調を提供する工程を有するものである。
6. 請求項５記載の方法において、前記コントラスト強調は、線形ストレッチ（線形伸張）を有するものである。
7. 請求項１記載の方法において、前記３つの異なる角度はφ＝０度、４５度、および９０度である。
8. 請求項７記載の方法において、前記Ｉ_Ｕ、Ｉ_Ａ、ｐ、およびθは、次式に従って前記画像の各画素について収集され、
   

   

   ここで、指数０、４５、および９０は、各特定の画像が取得された際の偏光子の配向を度の単位で示したものである。
9. 請求項１記載の方法において、この方法は、さらに、
   前記Ｉ_Ｕ画像、前記Ｉ_Ａ画像、および前記θ画像を処理して前記画像内の標的を識別または認識する工程を有するものである。
10. 撮像されたシーンの陰影内のコントラストを改善するシステムであって、
    偏光に感度のある少なくとも１つのカメラであって、このカメラの偏光フィルターの少なくとも３つの異なる配向角φから前記シーンの画像を取得するものである、前記カメラと、
    特定の画像位置または画素で測定された強度Ｉを、前記配向角φの関数として計算し、得られた前記画像の各画素についてＩ_Ｕ、Ｉ_Ａ、およびθを収集してＩ_Ｕ画像、Ｉ_Ａ画像、およびθ画像を提供するようにプログラムされたプロセッサであって、Ｉ_Ｕは各画素における全強度の５０％であり、Ｉ_Ａは、前記配向角φの関数で表した、各画素からの偏光の最大測定強度と最小測定強度の差の５０％であり（（Ｉ_ｍａｘ−Ｉ_ｍｉｎ）／２）、θは偏光楕円の主軸の配向角である、前記プロセッサと
    を有するシステム。
11. 請求項１０記載のシステムにおいて、このシステムは、さらに、
    前記Ｉ_Ｕ画像、Ｉ_Ａ画像、およびθ画像を表示する出力装置を有するものである。
12. 請求項１０記載のシステムにおいて、前記プロセッサは、さらにｐ画像を収集および出力して表示し、ｐはｐ≡Ｉ_Ａ／Ｉ_Ｕである。
13. 請求項１０記載のシステムにおいて、前記プロセッサは、特定の画像位置または画素で前記測定された強度Ｉを、前記偏光フィルターの前記配向角φの関数として、次式に従って計算し、
    

    

    ここで、ｐ≡Ｉ_Ａ／Ｉ_Ｕは、前記画素における直線偏光度を定義するものである。
14. 請求項１３記載のシステムにおいて、前記角度φおよびθの基準軸は、任意に選択されるものである。
15. 請求項１２記載のシステムにおいて、前記プロセッサは、さらに、Ｉ_Ｕ画像、Ｉ_Ａ画像、ｐ画像、およびθ画像のうち少なくとも１つにコントラスト強調を提供するようプログラムされているものである。
16. 請求項１５記載のシステムにおいて、前記コントラスト強調は、線形ストレッチ（線形伸張）アルゴリズムにより提供されるものである。
17. 請求項１０記載のシステムにおいて、前記３つの異なる角度はφ＝０度、４５度、および９０度である。
18. 請求項１７記載のシステムにおいて、前記プロセッサは、次式に従って前記画像の各画素に関する前記Ｉ_Ｕ、Ｉ_Ａ、ｐ、およびθを収集し、
    

    

    ここで、指数０、４５、および９０は、各特定の画像が取得された際の前記偏光フィルターの配向を度の単位で示したものである。
19. 請求項１０記載のシステムにおいて、前記偏光に感度のある少なくとも１つのカメラは単一のカメラを有し、前記偏光フィルターは前記シーンの各画像を取得する前に前記単一のカメラの前部で回転される少なくとも３つの異なる偏光フィルター要素を有するものである。
20. 請求項１０記載のシステムにおいて、前記偏光に感度のある少なくとも１つのカメラは、前記シーンの画像を取得するように同期される３つのカメラを有し、各前記カメラに１つずつ備えられた３つの偏光フィルターは、異なる配向角φを有するものである。
21. 請求項１０記載のシステムにおいて、前記プロセッサは、さらに、前記Ｉ_Ｕ画像、前記Ｉ_Ａ画像、および前記θ画像を処理して前記画像内の標的を識別または認識するものである。

Images