JP2008529170A - 照明および反射境界の区別 - Google Patents

Abstract

本発明は、画像内の明度境界を識別および解析して少なくとも２個、より好適には３個以上のスペクトル帯域に分解して照明境界を反射境界から区別する画像処理方法および装置を提供する。例えば、本発明の一実施形態において、当該画像の少なくとも２個の波長帯域が境界に跨って明度の顕著な共通シフトを示す場合、当該画像内の明度境界を照明境界として識別することができる。

Description

本発明は、画像内の照明境界を物体の境界から区別する方法および装置に関する。

一般に、シーンの画像は２次元の明度マップであり、その各々の点が、当該点に写像されたシーンの部分に関連付けられた照明の強さと表面反射率の積である明度値を表わす。この積を照明および表面反射率の成分に分解する、換言すれば照明の変動を表面反射率または表面色の変動から区別することは、各種のアプリケーションに有用である。一様でない照明の影響を画像から除去することができるならば、表面反射の変化の原因を真の物体の変化に帰することができる。

例えば、エドウィン・ランド（Edwin Land）は、人間の色覚が、表面から発している赤、緑、および青色波長の比率ではなく、３個の波長帯域における視認された表面の反射特性の推定値に基づいていることを示した。より具体的には、ランドは肉眼が空間計算を実行して、各々が自身の３色感覚系の１個に対応する３個の表面反射率推定値を生成し、同氏が明るさの指標と呼んだこれら３個の推定値が人間の色覚を規定することを提案した。シーンの照明が一様でない場合があるため、これらの相対反射率推定値を決定するには、照明の変動の影響を除くことが一般に必要である。

シーンの画像における照明の変動を識別（影を認識）する多くの技術が公知である。これらの技術のいくつかは、影境界が勾配により特徴付けられるという仮定に基づいている。例えば、ランド−マッキャン・アルゴリズム等、多くのアルゴリズムが空間閾値方式を用いており、その場合段階的な明度遷移、すなわち所定の閾値未満の明度勾配が照明の変動によるものとみなされる一方、閾値を超える勾配を示すものは物体の境界として識別される。

しかし、そのような従来のアルゴリズムには多くの短所がある。第一に、全ての照明境界が勾配である訳ではない。例えば、単一のスポットライトで照らされた白い立方体の画像は、照明における段階的な（鮮明な）変動により特徴付けられる立方体の辺に沿った境界を有する。空間閾値技術は、そのような照明境界を物体の境界と誤って分類する。閾値に定義には別の問題を提示する。例えば、遠距離で結像された境界は鮮明に見えるが、より近い距離で結像された場合、段階的な勾配を示す場合がある。更に、いくつかの物体の境界は実際に、段階的勾配、例えば、ある色を別の色に混合することにより特徴付けられる境界を示す場合がある。

従って、画像内の照明境界を物体（反射）の境界から区別する改良された方法が必要とされている。また、画像内に鮮明な照明境界が存在する場合でも物体と照明境界を正確に区別するような方法が必要とされている。

照明境界を物体（反射）境界から識別すべく入射および周辺光を区別する方法および装置を開示する。一般に、入射光が影を形成する光である一方、周辺光は影に覆い被さる光である。すなわち、直接には照らされない対象を周辺光により人が視認することができる。より具体的には、入射および周辺照明は、たとえ周辺照明が白色面からの入射照明の反射による場合であっても、常に異なるスペクトルを示すことが見出されている。従って、入射および周辺照明により照らされたシーンの画像は、当該画像の２個以上のスペクトル成分（例：波長帯域幅）の間の相互作用（相関）に関係するスペクトルキューを含んでいて、これを用いて照明境界を物体の（反射）境界から識別することができる。特に、少なくとも２個、好適には３個の波長帯域においてスペクトル・シフトがほぼ同一であることは、入射照明と周辺照明と間の相互作用の標識であり得るため、これを用いて画像の照明境界を識別することができる。

例えば、本発明は一態様において、画像、例えば自然に照らされたシーンの画像内の明度境界を識別し、次いで、少なくとも２個、好適には３個以上のスペクトル帯域における明度のシフトを比較することにより、照明境界を反射境界から区別すべく解析する画像処理の方法および装置を提供する。全てのスペクトル帯域にわたる明度シフトが一致を示す、例えば各帯域で測定された明度の値が他の帯域で測定された値に応じて増減する場合、明度境界を照明境界として識別することができる。

例えば、画像の少なくとも２個の波長帯域が、境界に跨ってほぼ共通の明度シフトを示す場合、境界を照明境界として識別することができる。そのようなほぼ共通のシフトは、例えば、１個の波長における明度の変化と、少なくとも他の１個の波長帯域における対応する明度の変化との差違が、数パーセント未満、例えば約２０パーセント未満、好適には約１０パーセント未満、より好適には約５パーセント未満であることにより特徴付けることができる。

同様に、全てのスペクトル帯域にわたり明度シフトが一致を示さない、例えば１個以上の帯域で測定された明度値が、他の帯域で測定された値に応じて増減しない場合、明度境界を反射境界として識別することができる。

更に、画像の少なくとも２個の波長帯域が、境界の一方からもう一方へ向かって明度の減少を示し、その際に１個の帯域の減少の程度が他の帯域のそれとは大幅に異なる場合、明度境界を並存する明度および反射境界として識別することができる。

明度境界を照明境界または反射境界して識別する際に、一致の程度が絶対値である必要はない。すなわち、各々の帯域で測定された明度値は、正確に同じ値で増減する必要はない。一致は、例えば、各帯域における明度の変化が別々のベクトルにより表わされるベクトル解析により定義することができ、ベクトルクラスタの「緊密さ」が一致の程度を決定する。

照明境界を反射境界から区別する本発明の方法で用いる画像の２個以上の波長帯域は、電磁スペクトルの任意の適当な部分に存在していてよい。例えば、これらの波長帯域は、電磁スペクトルの可視、赤外、または紫外部分にあってよい。更に、波長帯域は部分的に重なっていても、あるいは分離されていてもよい。

他の態様において、本発明は画像内の反射境界を、最初に当該画像の１個以上の明度境界を識別することにより、照明境界から区別する方法を提供する。明度境界は任意の適当な方法を用いて決定することができる。例えば、当分野で公知の各種エッジ検出技術をこの目的に利用することができる。

各々の明度境界について、境界のいずれかの側で２個以上の波長帯域における明度値が決定される。その後、他の波長帯域における対応する変化に相対的な波長帯域の各々について境界を跨る明度値の変化の比較に基づいて、当該境界が反射または照明境界として分類される。例えば、２個以上の波長帯域が、境界の一方の側からもう一方へ向かって明度の減少を示す場合、当該境界を照明境界として識別することができる。あるいは、境界の一方の側からもう一方へ向かって波長帯域の少なくとも１個で明度の減少を示し、また少なくとも別の波長帯域で明度の増加を示す場合、当該境界を反射境界として識別することができる。

更に別の態様において、本発明は画像内の１個以上の明度境界を、当該境界の一方の側の画像の少なくとも２個の波長帯域に関連付けられた明度値に関係するスペクトル特性と、境界のもう一方の側にある対応スペクトル特性との比較に基づいて識別し、且つ各々の明度境界を反射または照明境界として識別することにより、反射境界を照明境界から区別する方法を提供する。スペクトル特性は、波長帯域に関連付けられた明度値の差により特徴付けることができる。例えば、明度境界は、境界の双方の側にあるスペクトル特性が共に正または共に負である場合に照明境界として分類することができる。あるいは、明度境界は、当該境界の双方の側のスペクトル特性が異なる符号を示す場合に反射境界として分類することができる。

別の態様において、画像内の明度境界を照明または反射境界として識別する本発明の教示による方法では、画像との少なくとも１個の明度境界は識別され、境界のいずれかの側の少なくとも２個の波長帯域における明度値が決定される。次いで明度境界が、波長帯域における境界を跨る明度値の変化の相関に基づいて、反射または照明境界として識別することができる。例えば、波長帯域の少なくとも１個において明度が、明るい側すなわち明度がより高い側から境界の反対側へ向かって減少を示し、他が増加を示す場合、境界を反射境界として識別することができる。あるいは、境界の明るい側から反対側へ向かって波長帯域が明度の減少を示す場合、境界を照明境界として識別することができる。

本発明は他の態様において、シーンの画像内の照明境界を反射境界から区別する方法を提供し、これは画像内の複数の明度境界を識別するステップを含み、各々の境界は明度の高い側を明度の低い側から分離する。画像の２個以上の選択された波長帯域の各々、および明度境界の各々について、境界の各々の側での画像明度が決定される。更に、各々の波長帯域および各々の明度境界について、境界を跨る明度差が計算される。その後、各々の明度境界について、３成分ベクトルが生成され、その各成分は、波長帯域の一つに対応する境界の明るい側での明度値に相対的な、境界を跨る明度差の絶対値の比率として形成される。これに続いてベクトルの正規化が行なわれる。当該境界に対応する正規化ベクトルがクラスタを形成し、１個以上のベクトルが他の境界に対応する場合、明度境界は照明境界として識別される。

関連する態様において、３成分ベクトル

の各々は以下の通りである。

ここに、Ｌ、Ｍ、Ｓは前記３個の波長帯域、Ｄ_Ｌ、Ｄ_Ｍ、Ｄ_Ｓは３個の波長帯域の各々について境界の明度の低い側の明度値を各々示し、Ｂ’_Ｌ、Ｂ’_Ｍ、Ｂ’_Ｓは各々次式で定義される。
Ｂ’_Ｌ＝Ｂ_Ｌ−Ｄ_Ｌ;Ｂ’_Ｍ＝Ｂ_Ｍ−Ｄ_Ｍ;Ｂ’ _Ｓ＝Ｂ_Ｓ−Ｄ_Ｓ
ここに、Ｂ_Ｌ、Ｂ_Ｍ、Ｂ_Ｓは各々の波長帯域における境界の明度の高い部分の明度値である。更に、正規化されたベクトル

は次式で定義される。

ここに、

は

のノルムを表わす。

他の態様において、本発明はシーンの多スペクトル画像を取得可能な画像キャプチャ装置を含む画像処理システム、および画像内のエッジを検出し、そのような境界を跨る明度値の変化を解析して照明境界を反射境界から区別すべくプログラムされたプロセッサを提供する。

画像キャプチャ装置は、多スペクトル画像、すなわちシーンの少なくとも２個の異なる波長帯域内の画像を取得可能にする任意の適当な画像処理装置でもあってよい。例えば、画像キャプチャ装置は、少なくとも２個、より好適には、３個以上の波長帯域内の画像を取得すべく選択的に起動可能な適当なフィルタに接続されたＣＣＤマトリクスであってよい。

他の態様において、上述の画像処理システムは例えば、ロボット視覚アプリケーションに用いて影および対象をより容易に識別することができる。本発明はまた、画像処理アプリケーションに有用であり、明度境界を最初に決定して、照明または真の対象の境界のいずれかに分類することに影の効果の識別および除去することができる。画像内のそのような境界の決定はまた、画像キャプチャ装置により利用されて、例えば画像検知器のダイナミックレンジを修正することにより影を補償することができる。

より一般的には、本発明は、各波長帯域における影無しマトリクスの計算によりシーンの画像内の対象の色をより正確に計算および／または表示できるようにする。（用語「レティネクス」は、本明細書において各々の波長帯域を記述するために用いる。）本質的に、照明の変化にかかわらず、同一反射率の各領域には同一のカラー指標が割り当てられる。一実施形態において、明度値を簡単に影領域に拡張することができる。あるいは、影値を明るい領域に拡張することができる。いくつかのアプリケーションにおいて、これら二つの技術の折衷することにより、より正確な色補償を実現することができる。

本発明の別の態様において、錐体反応の幅は、無影マトリクスの計算における指標を安定化させる。例えば、可視光（例：約４００〜約７００ナノメートル）は、大多数の画像を計算する際に主な関心事であり、そのようなアプリケーションにおいて３個のスペクトル帯域を用いることが通常は望ましい。一実施形態において、各帯域は、好適には少なくとも約５０ナノメートル、より好適には少なくとも約１００または１５０ナノメートルの可視スペクトルの部分に対応している。少なくとも２個のスペクトル帯域間に重なりがあることも望ましい。

別の態様において、本発明を用いてコンピュータ・グラフィックスの表現力を向上させることができる。例えば、本発明は、入射および周辺照明をより現実的に定めることにより、動画化されたシーンや対象をより現実的に描写できるようにする。

以下に簡単に説明する添付図面と合わせて以下の詳細説明を参照することにより本発明の更なる理解を得ることができる。

本発明は、例えば自然光で照らされたシーン等、シーンの画像内の明度値を、照明および表面反射に対応する別々の成分に区別する方法と装置を提供する。以下により詳しく述べるように、本発明は、画像内の明度境界の両側において、少なくとも２個、好適には３個の異なる波長帯域に関連付けられたスペクトル特性を比較することにより、そのような区別を実現する。

一般に、シーンの画像は、当該シーンの様々な部分から受理した明度値の２次元マップを表わしている。例えば、シーンのデジタル画像は、ピクセルの２次元マトリクスを提供し、各々のピクセルは当該ピクセル上に結像されたシーンの部分に対応する照明光度と、当該部分の表面反射の積である明度値を有している。シーンが一様に照らされている場合、当該シーンの画像内の明度値は表面反射に正比例し、照明光度が比例定数を与える。しかし、自然なシーンの照明は、例えば照明の角度の結果、通常は一様でない。そのような照明の非一様性の結果として、照明が直接的な領域と、本明細書で周辺照明の領域とも称する照明が間接的な領域が生じる場合がある。従って、そのような場合、シーンの画像内の観察される明度値は、表面反射値に単純比例せず、照明光度と表面反射値の積により表わされる。

影、すなわち間接的な照明の領域は、照明環境の重要な側面を示すことが見出されている。すなわち、入射光の照明スペクトルが周辺照明光のそれと等しいことは、あるにせよ、稀である。以下により詳細に議論するように、この特徴は、反射を推定する第１のステップである照明光束の決定における多スペクトルキューとして利用することができる。より具体的には、２個の照明スペクトル、すなわち、影を形成する入射光と影に覆い被さる周辺光の相互作用を用いて、シーン内の各種彩色面に対する共通のスペクトル・シフトとして影の遷移を検出できることが見出されている。例えば、影が青色の対象だけでなく緑色の対象と交わる場合、両方の対象の明るい側と暗い側の測定によりスペクトルのシフト、すなわち入射照明光と周辺照明光の差違は同一であるが、絶対波長は異なることがわかる。異なる波長で構成されたそのような共通スペクトル・シフトは、表面反射の変化ではなく照明光束の変動により生じた可能性が極めて高い。

本発明の方法を実施できる画像は一般に、例えば少なくとも２個、より好適には３個の波長帯域で得られた多スペクトル画像である。画像は、例えば、写真乳剤フィルム上に形成されたカラー画像であってよい。あるいは、画像は、例えばＣＣＤ素子のマトリクスまたはビデオ・カメラにより取得されたデジタル形式であってもよい。例えば、ＣＣＤ素子のマトリクスを３個のフィルタと共に用いて、３個の波長帯域におけるシーンの多スペクトル画像、すなわち３個の帯域の各々における明度のマップを符号化している画像を取得することができる。好適な実施形態において、関心対象であるシーンの画像は、異なる中心波長を有する少なくとも２個の波長帯域において取得される。より好適には、いくつかのアプリケーションにおいて３個の波長帯域を用いることができる。以下、これら３個の帯域を短、中、および長波長帯域と称して、各々の中心波長の増大を示す。例えば、これら３個の波長帯域は、肉眼の網膜の３個の錐体レセプタのスペクトル感度に対応することができる。波長帯域の選択は、電磁スペクトルの可視部分に限定されない。例えば、波長帯域は、赤外、紫外その他スペクトルの任意の適当な部分に存在することができる。分光放射計を用いるいくつかの実施形態において、波長帯域は事後に定めることができる。波長帯域は分離されていても、あるいは部分的に重なっていてもよい。本発明の多くの実施形態において３個の波長帯域を用いているが、本発明の方法は２個の波長帯域で、あるいは３個より多い波長帯域で利用することができる。

図１のフロー図１０を参照するに、シーンの画像内の照明境界を反射境界から区別する本発明の一例証的な方法では、初期ステップ１２において、画像の１個以上の明度境界が識別される。明度境界は、画像の異なる明度値を示す少なくとも２個の領域を分離する。すなわち、本明細書で明るい側とも称する境界の一方の側の領域において、本明細書で暗い側とも称する境界のもう一方の側の領域における対応する明度よりも高い明度を示す。任意の公知の技術を用いて、画像内のそのような明度境界を識別することができる。例えば、当分野で公知の各種エッジ検出技術をこの目的に利用することができる。

続くステップ１４において、明度値は、各々の識別された明度境界または遷移の両側、すなわち、３個の波長帯域の各々の「明るい」側および「暗い」側において決定される。明度値は、任意の適当な技術で決定することができる。例えば、適当なフィルタに接続されていてフィルタの特徴に相当する波長帯域内の画像を記録するＣＣＤ素子の出力を用いて、当該波長帯域における明度の強さを決定することができる。本発明の各種の実施形態の以下の議論において、長、中、および短波長帯域の「明るい」側に対応する明度値を各々Ｂ_Ｌ、Ｂ_Ｍ、およびＢ_Ｓで表わし、境界の「暗い」側に対応する明度値をＤ_Ｌ、Ｄ_Ｍ、およびＤ_Ｓで表わす。ここに下付き添え字Ｌ、Ｍ、Ｓは各々長、中、および短波長帯域を表わす。

ステップ１６ａにおいて、境界の明るい側の３個の波長帯域全てにおいて明度値が暗い側の明度値より大きい各々の明度境界は、照明（影）境界として識別される。換言すれば、そのような明度境界は、境界を跨る表面反射特性の変化ではなく照明光束の変動に起因する。明度境界を照明（影境界）として識別するこの基準はまた、次式のように数学的に表わすことができる。
Ｂ_Ｌ＞Ｄ_Ｌ；且つＢ_Ｍ＞Ｄ_Ｍ；且つＢ_Ｓ＞Ｄ_Ｓ
ここに、パラメータＢ_Ｌ、Ｄ_Ｌ、Ｂ_Ｍ、Ｄ_Ｍ、Ｂ_ＳおよびＤ_Ｓは上で定義されている。

更に、ステップ１６ｂにおいて、これらに関係（すなわち暗い側の少なくとも１個の波長帯域における明度値が明るい側の明度地を超える明度境界）を満たさない明度境界は、反射（または物体）境界として分類される。換言すれば、そのような境界は、照明光束の変化ではなく表面反射の変動に起因する。そのような反射の変化は、例えば色の変化および／または境界の両側における物体の種類の変化の結果として生じる可能性がある。

照明および反射境界を跨る３個の波長帯域における明度値の変化の模式的な例として、図２Ａ、２Ｂ、および２Ｃに各々単一照明光源により生じた影の境界、典型的な現実世界の影境界、および表面反射の変動の結果として生じた反射境界（例：境界の両側における異なる物体）、「物体境界」を示す。一般に、明度境界は鮮明であり、すなわち明るい側から暗い側へ明度が段階的に変化する領域により特徴付けることができる。これらの説明図において、各々の明度境界は、明度値が段階的な勾配を示す遷移領域を経て、「明るい側」を「暗い側」から分離する。

図２Ａに示す３個の波長帯域（長、中、および短波長帯域におけるＬ、Ｍ、Ｓとして設計）の明度値は、境界に跨って同程度の減少を示す。一方、図２Ｂに示す中波長帯域の明度値は、明るい側と暗い側との間での減少が他の２個の波長帯域が示す減少より極めて小さい。これらの違いに関わらず、各々の波長帯域において「暗い側」の明度値は、「明るい側」の明度値に相対的に減少するため、両方の図は照明（影）境界を表わす。反対に、図２Ｃは、中波長帯域の明度値が「明るい側」から「暗い側」へ増加する一方、他の２個の帯域における明度値が「明るい側」から「暗い側」へ減少することを示す反射境界を示す。本発明の方法の例証的な実装について以下に述べる。しかし、本発明の方法が異なる方式で実装可能である点を理解されたい。

各波長帯域におけるいくつかの好適な実施形態において、各明度境界の「明るい」側と「暗い」側と間の明度値の差が計算される。所与の明度境界について、長波長帯域におけるそのような差は次式で表わされる。
Ｂ_Ｌ’＝Ｂ_Ｌ−Ｄ_Ｌ
ここに、Ｂ_ＬおよびＤ_Ｌは各々境界の「明るい」側と「暗い」側での明度値を表し、Ｂ_Ｌ’はこれらの値の差を表わす。

他の波長帯域における対応する差もまた、同様の仕方で表わすことができる。照明（影）境界の場合、「明るい」側は直接および周辺照明光束の両方により照らされるのに対し、「暗い」側は周辺照明光束だけで照らされる。例えば、長波長帯域におけるそのような境界について、境界の両側での明度値、すなわちＢ_ＬおよびＤ_Ｌは次式で表わすことができる。
Ｂ_Ｌ＝（Ｉ^ａ _Ｌ／Ｉ^ｄ _Ｌ）Ｒ_Ｌ、且つＤ_Ｌ＝（Ｉ^ａ _Ｌ）Ｒ_Ｌ
ここに、Ｉ^ａ _ＬおよびＩ^ｄ _Ｌは各々、周辺および直接照明光束を表わし、Ｒ_Ｌは照明境界の両側で等しい表面反射を表わす。

従って、このような場合、境界（Ｂ_Ｌ’）を跨る明度値の差は、次式で特徴付けられる。
Ｂ_Ｌ’＝（Ｉ^ｄ _Ｌ）Ｒ_Ｌ

これは次いで、境界の「暗い」側での明度に相対的な、境界を跨る明度の差の比率に関する以下の式を与える。
Ｂ_Ｌ’／Ｄ_Ｌ＝Ｉ^ｄ _Ｌ／Ｉ^ａ _Ｌ

換言すれば、照明（影）境界の場合、この比率は、表面反射値によらない周辺照明光束に相対的な直接照明光束の比率を提供する。

多くの好適な実施形態において、各々の識別された明度境界について、且つ各々の波長帯域における、境界を跨る明度値の差に相対的な境界の「暗い」側での明度値の比率が計算される。当該３個の波長帯域の場合、これらの比率を以下の３成分ベクトル

として表わすことができる。

ここにＬ、Ｍ、およびＳは各々前記３波長帯域であり、Ｄ_Ｌ、Ｄ_Ｍ、およびＤ_Ｓは当該３個の波長帯域の各々の境界の明度の低い側の明度値を表わし、Ｂ’_Ｌ、Ｂ’_Ｍ、およびＢ’_Ｓは各々次式で定義される。
Ｂ’_Ｌ＝Ｂ_Ｌ−Ｄ_Ｌ;Ｂ’_Ｍ＝Ｂ_Ｍ−Ｄ_Ｍ;Ｂ’_Ｓ＝Ｂ_Ｓ−Ｄ_Ｓ
ここにＢ_Ｌ、Ｂ_Ｍ、およびＢ_Ｓは各々、各波長帯域の境界の明度の高い側の明度値である。続いて、明度境界の一つに対応する各ベクトル

は正規化、すなわち自身の長さで除算されて、次式で定義される正規化されたベクトル

を生成する。

ここに、

は

のノルムを表わす。

上述の正規化されたベクトル

のうち照明（影）境界に対応するものは、各座標がベクトル成分の一つに対応する３次元座標空間内の１個の点の周辺に集まる傾向がある。対照的に、反射境界に対応するベクトルは、そのような座標空間内で分散する傾向がある。例えば図３に、例証的な画像内の明度境界に対応する複数の正規化されたベクトルの終点（球面上の赤い点で示す）がプロットされた３次元座標空間を模式的に示す。これらのベクトルの組が球体の北極に最も近い領域にクラスタを形成しているのに対し、残りの組はクラスタを構成し得ていない。

本発明の方法は、照明境界に対応するベクトルのこのクラスタ形成特性を利用してそれらを反射境界に対応しているものから区別する。例えば、クラスタを形成するベクトルを照明境界に対応するものとして識別し、分散するものを反射境界に対応するものとして識別することができる。このように図示する例証的な実施形態において、全ての明度境界に関連付けられたベクトルは３次元座標系にプロットされ、当該プロット図を調べて１個以上の他のものと共にクラスタを形成するベクトルを識別する。

上で述べたように照明境界を反射境界から区別する本発明の方法の有効性を示すべく、出願人は異なる照明条件（日光および天空光のシミュレーションを含む）の下で一連の実験を行なった。これらの実験により、ランド−マッキャン・アルゴリズムその他の従来型の誘導法等の他の方法では誤って全ての境界を物体の境界と識別し、それゆえに失敗するような状況においても本発明の方法が首尾よく物体（反射）境界を照明境界から区別できることを示した。

例えば、そのような一例において、図４に模式的に示すキュービクル装置２２を設計および利用して、ランド−マッキャン・アルゴリズムおよび空間閾値に基づく他の方式が失敗する恐れのある鮮明な照明境界が本発明の方法の適用により正しく識別されることを示す。基本的に３次元モンドリアンであるキュービクル２２は、物体（すなわち反射）および階段状の照明境界だけで構成されており、従って「勾配無し」である。２４個の要素／対象（ダイヤモンド形の要素で示す）が黒いビロードのカーテン２６の前に吊り下げられていて、それらの表面に彩色された「マンセル」紙が貼られて所望の色が付けられている。モンドリアン２２は更に、入射光２８およびこの光源の不要な波長成分を除去して要素２４を照らすフィルタをかけられた光を提供するフィルタ３０を含んでいる。視認用ポート３２により要素およびそれらの画像形成の観察が行なえる。例えば、このポートを通して分光放射計を向けてシーンの測定を行なうことができる。他の光源、すなわち視認用ポートを通しては見ることができない装置内部で視認用ポートを囲むリング光源もある。リング光源および光のスペクトル成分を制御する付属フィルタによりシーンの無影周辺照明が提供される。

２４個の対象は二つのカテゴリに分類され、その一つが２種類の対象を含んでいる。図４Ａに示すように、本明細書で「ダイヤモンド」と称する一つのカテゴリの対象は、垂直方向から４５度傾けられた同一平面に共に置かれた２個の三角形で構成されている。図４Ｂに示すように、その形状から本明細書で「翼」と称する第２のカテゴリの対象は、頂光２８に面する（すなわちダイヤモンドと同様に垂直方向から４５度傾いた）上側三角形、および垂直方向から４５度で下向きに曲がった下側三角形を含んでいる。上側三角形は入射光および周辺光を反射する。下側三角形は入射（上側）光に関して影に入っているものの、依然として視認用ポートを囲むリング光源から来る周辺光を反射している。翼は従って、照明境界、すなわち上側三角形への入射光＋周辺光と、下側三角形への周辺光だけとの間の境界を含んでいる。

ダイヤモンドは１種類であるが、翼は２種類ある。ダイヤモンドは２色で構成され、１色が底面に、もう１色が上面に対応している。一方、いくつかの翼では上面と底面が同じ色をしているが、他のものは異なる色を有している。

図５Ａ〜５Ｃに、視認用ポート３２を介してダイヤモンドおよび翼への異なる照明で撮影された３枚の写真を示す。図５Ａはダイヤモンドおよび２種類の翼が入射光だけで照らされた場合に撮影され、図５Ｂはこれらの対象が周辺光だけで照らされた場合に撮影されたものである。更に、図５Ｃは照明に入射光と周辺光の両方が用いられた場合に撮影されたものである。入射光は日光に似せるべくフィルタをかけられており、従って黄色がかっている。周辺光は青みがかった天空光に似せるべくフィルタをかけられている。

上述の３種類の要素は、図５Ａ〜５Ｃに見ることができる。すなわち、上側と下側が同じ色の翼「Ａ」、上側と下側の色が異なる（底面の色が上面の影付けられたバージョンに見えるように選ばれている）翼「Ｂ」、および上側と下側の色が異なるダイヤモンド「Ｃ」である。

図５Ｂでは翼「Ａ」の上側と下側三角形は共に周辺光で照らされているため、同一に見られる。しかし、５Ａ図では、入射光（この場合唯一の照明光源）は翼の最上部しか照らさないため、上側と下側が異なって見える。この違いは、照明が入射光および周辺光の両方により提供される図５Ｃにおいて緩和される。翼「Ｂ」の場合、図５Ａと図５Ｂの比較から明らかなように、明るい上側と暗い下側の境界は共に照明境界であると同時に物体（反射）境界である。一方、ダイヤモンド「Ｃ」は、単純な物体（反射）境界を有する対象を表わす。

測定は、各ダイヤモンドおよび翼の上側および下側の方へ、視認用ポート３２を介して分光放射計（プリチャード１９８０）を向けて、可視スペクトル（３７０〜７２５ｎｍ）の２ナノメートル毎に放射輝度を測定することにより行なわれた。長、中、および短錐体について既知の吸収曲線にわたり放射輝度を積分する標準的な方法を用いて人間の錐体反応をモデル化した。本発明の方法をこれらの長、中、および短測定に適用した結果、照明境界が反射境界から正確に区別された。

しかし、従来の方法、特に空間勾配に基づくものは、単色翼、２色翼、およびダイヤモンドの間を区別することができなかった。換言すれば、そのような方法は、これらの境界に勾配が現れない（すなわち鮮明な境界である）ため、上述の装置で物体境界を照明境界から区別することができない。

対照的に、入射および周辺照明光の異なるスペクトルの相互作用に一般的に基づく本発明の方法は、照明境界を反射境界から正しく区別する。特に、本発明の方法は、異なる組の波長を含む同じシフトが、異なる反射等の他の要因ではなく、もっぱら入射および周辺照明同士の相互作用により生じるため、照明境界が異なる背景色に対して同一のスペクトル・シフトを有するものと認識する。

このように、本発明の方法は、純粋な照明境界を反射（物体）境界から、あるいは並存する物体および照明境界から区別することができる。照明境界の物体を境界からそのように高い信頼性で区別できることは、民間および軍用画像解析、コンピュータ視覚、コンピュータ・グラフィックス、デジタル写真、および画像圧縮等、多くの画像処理アプリケーションに有用である。

例えば、日中の異なる時間帯、または異なる季節を通じて得られた衛星画像には、取得された画像内のノイズの元を表わし、対象の実際の動きの識別を困難にする、結像されたシーン全体にわたる影の変化が含まれている可能性がある。本発明の方法をそのような画像に適用して照明の変動を軽減、また好適には除去することができ、従ってより簡単に解析できる反射画像を生成することができる。特に、影を除去することで一定した表面反射が現れる。これにより、地の部分における物体の真の変化を表わす非並存的な画像間の差違を識別することができる。このように、大量の画像を処理して、絶えず変化する照明条件に起因する差違を除去することにより、顕著な物体的差違について画像の自動スクリーニングが可能になる。

別の例として、影を対象境界から区別すべく本発明の方法をコンピュータ視覚システムに組み込むことにより、照明とは無関係に対象の認識が可能になる。従来のコンピュータ視覚システムは、人間の視覚の安定した反射に基づく世界とは種類の異なる不鮮明な明度または照射光界で動作する。従って、従来のコンピュータ視覚システムは、シーン照明が一定および／または注意深く制御された生産ライン環境その他のアプリケーションに極めて限定される。対照的に、本発明の方法は、明度値を照明および反射成分に分解することができるため、照明条件とは無関係に形状と「地」の部分を高い信頼性を以って分離できると共に、紛らわしい影による影響を受けることなく物体をその形状に基づいて認識し、また照明とは無関係に物体をその色に基づいて認識することができる。

更に、本発明の方法をコンピュータ・グラフィック・アプリケーションで用いて、知覚的に重要なシーン特徴を優先させることにより、光と表面の相互作用の現実的なモデルを開発することができる。

上述のように、写真は、本発明の方法の重要なアプリケーションを見出せる別の分野である。写真における長年の課題は、撮影されたシーンから得られる明度値に付随するダイナミックレンジ（例えば、１０，０００：１）に対する写真プリントのダイナミックレンジ（例えば１５０：１）の差違である。結果的に、写真家は、例えば補償的照明を利用することにより、現実世界のダイナミックレンジを写真プリントの大幅に小さいダイナミックレンジに圧縮する問題に直面する。本発明の方法は、画像から照明変動を除去することによりこの問題を解決することができるため、より管理可能なダイナミックレンジを示す反射画像が生成される。例えば、本発明の方法は、画像明度値を別々の照明および表面反射成分に分解することができ、これにより影を、無影ならば完全に露出した反射画像へ任意に再導入（修正の有無によらず）して、写真の「露出」問題を軽減することができる。

同様に、本発明の方法は、デジタルビデオ撮影に用途を見出すことができる。例えば、本発明の方法を用いて、デジタルビデオをより効率的に圧縮することができる。例えば、照明変動を反射変動とは別個に圧縮することができる。

本発明の方法の他の応用は当業者には明らかである。実際、本発明の方法は任意の画像処理装置、例えばレンズを有する任意のデジタル装置に役立ち得る。

例えば、図６Ａに、本発明の一実施形態による、シーンの少なくとも一部の画像を画像キャプチャ装置３８へ投影するレンズ３６を有する画像処理装置３４を示す。画像キャプチャ装置３８は、ビデオ・カメラ、電荷結合ディスプレイ（ＣＣＤ）装置、あるいはシーンを結像させることに適した他の任意の装置であってよい。例えば、図６Ｂに示すように、いくつかの実施形態において、当該画像キャプチャ装置は、シーンの多スペクトル画像、例えば２個以上の波長帯域内の画像を取得すべく２個以上のフィルタ４２に選択的に接続可能なＣＣＤマトリクス４０を含んでいる。

画像処理装置３４は、画像キャプチャ装置３８により取得された画像を通信リンク４６を介して受信する画像処理モジュール４４を更に含んでいる。画像は、記憶装置４８、例えばＲＡＭまたはＤＲＡＭメモリモジュールに保存することができる。本発明の方法を実装すべくプログラムされたプロセッサ５０は、保存された画像を処理し、当該画像内の明度境界を示すデータを生成すると共に、境界を照明境界と反射境界に分類することができる。より具体的には、この例証的な実施形態において、プロセッサ５０は画像データを処理して、もし存在するならば、当該画像の１個以上の明度境界を識別するモジュール５０ａを含んでいる。更に、別のモジュール５０ｂが、モジュール５０ａが提供する画像データおよび境界情報を用いて、本発明の方法を利用することにより、明度境界を照明境界または反射境界として識別する。必要ならば、境界に関する情報をハードディスク等の永続的な記憶モジュール５２に保存することができる。ここでは２個の別々の処理モジュールを示したが、当業者であれば、プロセッサ５０が、明度境界を検出してこれらを照明境界および反射境界に分類させる両方の命令を含む単一のプログラムを実行することにより本発明の方法を実装することができる点を理解されよう。あるいは、本明細書に示すようなモジュール型の処理アーキテクチャを使用することができる。本発明の方法を実装するプログラムは、Ｃ、Ｊａｖａ（登録商標）、またはＦｏｒｔｒａｎ等、任意の適当なプログラミング言語で記述することができる。あるいは、本発明の画像処置方法を実装する命令をハードウェアで提供することができる。

画像処理装置３４は、各種のアプリケーションで用いることができる。例えば、対象の実際の輪郭をそれらの影と混同することなく対象の境界を認識するロボット・システムに組み込むことができる。そのような対象認識能力を有するロボットは、慎重に制御された一様な照明により特徴付けられる環境だけでなく、照明が非一様であり得る「現実世界」環境でも機能できる。例えば、そのような画像処理システムを備えた自動掃除ロボットは、対象の実際の境界をそれらの影と混同することなく対象の周辺を巡回できる。別のアプリケーションでは、当該画像処理システムを自動車で用いて、運転者が障害物を避けるかまたはその周辺を巡航するのを支援したり、衝突を防止することができる。

当該画像処理装置のこの能力、すなわち対象の実際の境界をそれらの影から正しく識別する能力は、影を生じている立方体４２の画像を示す図７を参照すれば更によく理解されよう。画像処理システム３４は、影の境界４４を識別することができるため、ロボット・システムが立方体の実際の境界を正しく認識できるようにする。図７の凡例「ａ」、「ｂ」および「ｃ」は無視してよい。

別のアプリケーションでは、画像処理装置３４をカメラ、例えば衛星画像処理カメラまたは監視カメラに組み込んで、照明境界と物体境界を識別することができる。この情報を用いて影の影響を除去して反射画像、すなわち明度の変動が表面反射値に比例する画像を生成することができる。あるいは、影の影響を反射画像に再導入して原画像を取得することができる。

当業者であれば、本発明の主旨を逸脱することなく、上述の実施形態に各種の変更を加えることができる点を理解されよう。

シーンの画像内の照明境界を反射境界から区別する本発明の方法の一実施形態における各種のステップを示すフロー図である。 単一の照明光により生成された例証的な影境界を跨る３個の波長帯域における明度の変動を模式的に示すグラフである。 例証的な「実世界」の影境界を跨る３個の波長帯域における明度の変動を模式的に示すグラフである。 例証的な反射（物体）境界を跨る３個の波長帯域における明度の変動を模式的に示すグラフである。 本発明の方法の一実施形態に従い、クラスタを形成しているベクトルが照明境界に対応する各々３次元空間において生成された３成分ベクトルの終点を模式的に示す。 照明境界、特に鮮明な照明境界を反射境界から区別する本発明の方法の有効性をテストするキュービクル装置を模式的に示す。 図４の装置で使用する「ダイヤモンド」状の視認物体を示す。 図４の装置で使用する「翼」状の物体を示す。 入射光だけで照らされた図４のキュービクルにおいて吊り下げられた物体の写真である。 周辺光だけで照らされた図４のキュービクルにおいて吊り下げられた物体の写真である。 入射および周辺光により照らされた図４のキュービクルにおいて吊り下げられた物体の写真である。 本発明の一実施形態による画像処理システムを模式的に示す。 スペクトルフィルタへの選択的な接続が可能であって、図６ａの画像処理システムの画像キャプチャ装置として利用可能なＣＣＤマトリクスを模式的に示す。 本発明の方法を適用して影境界を識別することが可能な、影を形成する立方体の画像を示す。

Claims (27)

1. 画像内の照明境界を反射境界から区別する方法であって、
   前記画像内の明度境界を識別するステップと、
   前記画像の少なくとも２個の波長帯域が、前記境界に跨って明度の顕著な共通シフトを示す場合、前記境界を照明境界として識別するステップとを含む方法。
2. 前記画像の少なくとも２個の波長帯域が各々、前記境界の一方の側から他方の側に向かって明度の増加および減少を示す場合、前記明度境界を反射境界として識別するステップを更に含む、請求項１に記載の方法。
3. 前記画像の少なくとも２個の波長帯域が、１個の帯域の減少の程度が他の帯域と顕著に異なるように前記境界の一方の側から他方の側に向かって明度の減少を示す場合、前記明度境界を並存する明度および反射境界として識別するステップを更に含む、請求項１に記載の方法。
4. 前記顕著な共通シフトにおいて、１個の波長帯域における明度の減少と、少なくとも他の波長帯域における明度の対応する減少との差が数パーセント未満である、請求項１に記載の方法。
5. 画像内の反射境界を照明境界から区別する方法であって、
   前記画像内の１個以上の明度境界を識別するステップと、
   前記境界の各々について、前記境界のいずれかの側の２個以上の波長帯域における明度値を決定するステップと、
   前記波長帯域の各々の境界を越えた前記明度値の変化と、他の波長帯域における対応する変化との比較に基づいて、境界を反射または照明境界として識別するステップとを含む方法。
6. 前記２個以上の波長帯域が、前記境界の一方の側から他方の側に向かって明度の減少を示す場合、境界を照明境界として識別するステップを更に含む、請求項５に記載の方法。
7. 前記波長帯域の少なくとも１個が、前記境界の一方の側から他方の側に向かって明度の減少を示し、他の波長帯域の少なくとも１個が、前記境界の前記一方の側から他方の側に向かって明度の増加を示す場合、境界を反射境界として識別するステップを更に含む、請求項５に記載の方法。
8. 明度境界を識別するステップが前記画像にエッジ検出技術を適用する、請求項５に記載の方法。
9. 前記画像が、自然に照らされたシーンの画像である、請求項５に記載の方法。
10. 前記波長帯域が各々、長、中、および短波長帯域を含む、請求項５に記載の方法。
11. 前記波長帯域の少なくとも２個が部分的に重なっている、請求項５に記載の方法。
12. シーンの画像内の反射境界を照明境界から区別する方法であって、
    前記画像内の１個以上の明度境界を識別するステップと、
    前記境界の一方の側での画像の、少なくとも２個の波長帯域に関連付けられた明度値に関係するスペクトル特性と、前記境界のもう一方の側での対応するスペクトル特性との比較に基づいて、各々の明度境界を反射または照明境界として識別するステップとを含む方法。
13. 前記スペクトル特性が、前記少なくとも２個の波長帯域に関連付けられた明度値の差により特徴付けられる、請求項１２に記載の方法。
14. 前記境界の両側の前記スペクトル特性が共に正または共に負である場合、明度境界を照明境界として識別するステップを更に含む、請求項１３に記載の方法。
15. 前記境界の両側の前記スペクトル特性が異なる符号を示す場合、明度境界を反射境界として識別するステップを更に含む、請求項１３に記載の方法。
16. 画像内の明度境界を照明境界または反射境界のいずれかとして識別する方法であって、
    前記画像内の明度境界を識別するステップと、
    前記境界の両側での少なくとも２個の波長帯域における明度値を決定するステップと、
    前記波長帯域での境界を跨る明度値の変化の相関に基づいて、明度境界を反射または照明境界として識別するステップとを含む方法。
17. 前記境界の明るい側からもう一方の側へ向かって、前記波長帯域の少なくとも１個が明度値の減少を示し、他の波長帯域が増加を示す場合、明度境界を反射境界として識別するステップを更に含む、請求項１６に記載の方法。
18. 前記境界の明るい側からもう一方の側へ向かって、前記波長帯域が明度値の減少を示す場合、明度境界を照明境界として識別するステップを更に含む、請求項１７に記載の方法。
19. シーンの画像内の照明境界を反射境界から区別する方法であって、
    前記画像内の複数の明度境界を、各々の明度境界が明度の高い側を明度の低い側から分離するように識別するステップと、
    前記画像の選択された３個の波長帯域の各々および各々の明度境界について、前記境界の各々の側における画像明度を決定するステップと、
    前記波長帯域の各々および明度境界の各々について、前記境界を跨る明度差を決定するステップと、
    前記明度境界の各々について、各々の成分が前記波長帯域の１個に対応する境界の明るい側での明度に対する、前記境界を跨る明度差の絶対値の比率として形成されている３成分ベクトルを生成するステップと、
    前記ベクトルを正規化するステップと、
    前記境界に対応する正規化されたベクトルがクラスタを形成し、１個以上のベクトルが他の境界に対応する場合、境界を照明境界として識別するステップとを含む方法。
20. 前記３成分ベクトル
    

    

    の各々が、以下の通りであり、
    

    

    ここに、Ｌ、Ｍ、Ｓは前記３個の波長帯域、Ｄ_Ｌ、Ｄ_Ｍ、Ｄ_Ｓは３個の波長帯域の各々について境界の明度の低い側の明度値を各々示し、Ｂ’_Ｌ、Ｂ’_Ｍ、Ｂ’_Ｓは各々以下のように定義され、
    Ｂ’_Ｌ＝Ｂ_Ｌ−Ｄ_Ｌ;Ｂ’_Ｍ＝Ｂ_Ｍ−Ｄ_Ｍ;Ｂ’ _Ｓ＝Ｂ_Ｓ−Ｄ_Ｓ
    ここに、Ｂ_Ｌ、Ｂ_Ｍ、Ｂ_Ｓは各々の波長帯域における前記境界の明度の高い部分の明度値である、請求項１９に記載の方法。
21. 前記ベクトル
    

    

    を正規化して、以下のように定義された正規化ベクトル
    

    

    を取得するステップを更に含み、
    

    

    ここに、
    

    

    は
    

    

    のノルムを表わす、請求項２０に記載の方法。
22. 前記波長帯域が各々、長、中、および短波長帯域を含む、請求項２０に記載の方法。
23. シーンの多スペクトル画像を生成する画像キャプチャ装置と、
    画像を処理してその中の１個以上の明度境界を識別し、前記明度境界を照明および反射境界に区別する画像処理モジュールとを含む画像処理システム。
24. 前記画像処理モジュールが、前記画像キャプチャ装置から受け取った画像データを保存する記憶装置を含む、請求項２３に記載の画像処理システム。
25. 前記画像処理モジュールが、前記画像データを処理して前記明度境界を識別し、それらを照明および反射境界に分類すべくプログラムされたプロセッサを含む、請求項２４に記載の画像処理システム。
26. 前記プロセッサが、前記画像を処理してその中の明度境界を決定するモジュールを含む、請求項２５に記載の画像処理システム。
27. 前記プロセッサが、前記明度境界および前記画像データに関する情報を用いて前記境界を照明および反射境界に分類する別のモジュールを更に含む、請求項２６に記載の画像処理システム。

Images