JP2009058533A - 法線情報生成装置および法線情報生成方法 - Google Patents

Abstract

【課題】陰影領域について高精度に法線情報を生成することができる法線情報生成装置等を提供する。
【解決方法】被写体の表面における法線情報を生成する法線情報生成装置１００であって、被写体からの光の輝度に関する情報である輝度情報及び被写体からの光の偏光に関する情報である偏光情報を含む被写体画像に関する情報を取得する画像情報取得部１１０と、画像情報取得部１１０で取得された輝度情報及び偏光情報に基づいて、光の当たり方によって被写体の表面に生じる陰領域、及び、被写体によって光が遮断されたことによって他の物体上に生じる影領域を、被写体画像から抽出する陰影領域抽出部１２０と、陰影領域抽出部１２０で抽出された陰領域について、画像情報取得部１１０で取得された偏光情報を用いて、対応する被写体の表面での法線を特定する法線情報を生成する法線情報生成部１０４とを備える。
【選択図】図１

Description

本発明は、被写体の表面における法線情報を生成する装置に関し、特に、偏光画像から法線情報を生成する装置に関する。

将来のカメラ付き携帯電話やデジタルカメラ、デジタルムービーカメラなどはＨＤＴＶ並みに高精細化すると言われており、付加価値を求めて小型化も進行中である。しかし、光学系や撮像素子が小型化すると、感度やレンズ回折限界などの基本的な画像撮像の限界の問題が発生し、将来的には高精細化も限界に到達すると考えられる。その場合、不足する取得された被写体の画像情報に加えてコンピュータグラフィックスで画像生成に利用される各種物理特性に関係する情報量の付与を行なうことで画質を向上することが有効になる。そのためには、従来の２次元画像処理の枠を超え、被写体の３次元形状情報や、被写体を照明する光源など、画像生成過程における物理情報を取得しなくてはならない。形状情報の入力には、レーザ光やＬＥＤ光源を投光するアクティブセンサや、２眼ステレオなどの距離計測システムが必要で、大掛かりなシステムになる上に、たとえばカメラと被写体との距離がせいぜい数ｍ程度までしかとれない、対象被写体が固形物で明るい拡散物体に限られるなどの制約がある。これでは運動会などの遠距離の屋外シーン撮影や髪の毛や衣服が重要な人物撮影には利用できない。

屋外シーンや一般被写体に使える技術として、完全にパッシブ（受動的）な被写体形状センシング方式として偏光を利用する技術がある。例えば、特許文献１では、被写体照明には特別な仮定をせず（ランダム偏光：非偏光照明）、カメラのレンズ前に装着した偏光板を回転させながら鏡面反射成分を観測する方法で被写体の局所的な法線情報を生成する方法が開示されている。被写体の表面法線は２つの自由度を有するが、これらは光の入射と反射の光線を包含する入射面と、入射面内での入射角という２つの角度を求めることにより決定している。鏡面反射の入射面の情報は、偏光板を回転させて変化する輝度の最小値となる角度から求めている。

また、非特許文献１では、被写体照明には特別な仮定をせず（ランダム偏光：非偏光照明）、カメラのレンズ前に装着した偏光板を回転させながら拡散反射成分を観測する方法で、被写体の法線情報のうち、光の入射と反射の光線を包含する出射面の角度１自由度を求めている。拡散反射の出射面の情報は、偏光板を回転させて変化する輝度の最大値となる角度から求めている。この手法によれば、カメラや光源の位置を変化させてステレオ処理することで、被写体法線を表現する２自由度を求めることも可能であると考えられる。
米国特許第５０２８１３８号明細書 Ｏｎｄｆｅｊ Ｄｒｂｏｈｌａｖ ａｎｄ Ｓａｒａ Ｒａｄｉｍ、"Ｕｓｉｎｇ ｐｏｌａｒｉｚａｔｉｏｎ ｔｏ ｄｅｔｅｒｍｉｎｅ ｉｎｔｒｉｎｓｉｃ ｓｕｒｆａｃｅ ｐｒｏｐｅｒｔｉｅｓ"、Ｐｒｏｃ． ＳＰＩＥ Ｖｏｌ．３８２６、ｐｐ．２５３−２６３、１９９９

しかしながら、上記特許文献１の技術では、鏡面反射のみを対象にしており、陰影領域については法線情報を生成できないという問題がある。また、非特許文献１の技術では、拡散反射のみを対象にしており、影や鏡面反射のような反射特性の異なる領域では正確に法線情報を求めることができないという問題がある。

つまり、上記従来の技術では、いずれも、偏光を用いて法線情報を生成するものの、陰影領域については、もはや法線情報を生成することはできないという問題がある。陰影領域について法線情報を生成しない場合には、法線情報の推定精度は向上するが、法線情報を推定できる領域が限られてしまう。あるいは、上記従来の技術によって陰影領域について法線情報を生成した場合には、その精度は極端に悪くなってしまう。

そこで、本発明では、陰影領域について高精度に法線情報を生成することができる法線情報生成装置等を提供することを目的とする。

上記目的を達成するために、本発明に係る法線情報生成装置は、被写体の表面における法線情報を生成する法線情報生成装置であって、前記被写体からの光の輝度に関する情報である輝度情報及び前記被写体からの光の偏光に関する情報である偏光情報を含む被写体画像に関する情報を取得する画像情報取得部と、前記画像情報取得部で取得された輝度情報及び偏光情報に基づいて、光の当たり方によって被写体の表面に生じる陰領域、及び、被写体によって光が遮断されたことによって他の物体上に生じる影領域を、前記被写体画像から抽出する陰影領域抽出部と、前記陰影領域抽出部で抽出された陰領域について、前記画像情報取得部で取得された偏光情報を用いて、対応する前記被写体の表面での法線を特定する法線情報を生成する法線情報生成部とを備えることを特徴とする。これにより、陰領域について、偏光情報を用いて、対応する前記被写体の表面での法線情報が生成される。

つまり、本発明では、陰（ａｔｔａｃｈｅｄ ｓｈａｄｏｗ）領域と影（ｃａｓｔ ｓｈａｄｏｗ）領域の偏光特性の違いに着目して法線情報を生成している。このとき、偏光特性の違いから陰影（ｓｈａｄｏｗ）領域を陰領域と影領域に分割し、陰領域に関しては、鏡面反射を仮定することで、陰領域における正確な法線情報を生成する。

また、偏光情報に誤差が多く、法線情報を生成しても精度が極端に悪くなる影領域に関しては、法線情報の生成処理を行なわないことで、結果として、できるかぎり広い領域で高精度な法線情報を生成する。

ここで、「陰影」とは、立体に光が当たったときに生じる「かげ（ｓｈａｄｏｗ）」であり、「陰（ａｔｔａｃｈｅｄ ｓｈａｄｏｗ）」と「影（ｃａｓｔ ｓｈａｄｏｗ）」とを含む。「陰」とは、光の当たり方によって立体自身に生じる「かげ」であり、「影」とは、立体により光が遮断されたことにより他の平面や他の立体の上にできる「かげ」である。

なお、本発明は、法線情報生成装置として実現できるだけでなく、法線情報生成方法として実現したり、その方法に含まれるステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムが記録されたＤＶＤ等のコンピュータ読み取り可能な記録媒体として実現することもできる。

本発明によれば、被写体の偏光情報を利用することで、陰領域及び影領域の抽出が行われ、陰領域について法線情報が生成される。よって、陰影領域について高精度に法線情報が生成される。

よって、本発明により、被写体の３次元形状情報が生成され、画像の高精細化が可能となり、特に、光学系や撮像素子の小型化によって画像の解像度が問題となるカメラ付き携帯電話、デジタルカメラ、デジタルムービーカメラなどの携帯型撮像装置が普及してきた今日における実用的意義は極めて高い。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（第１の実施の形態）
まず、本発明の第１の実施の形態における法線情報生成装置の概要について説明する。

図１は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００は、被写体の表面における法線情報を生成する装置であり、画像情報取得部１１０、陰影領域抽出部１２０および法線情報生成部１０４を備える。

画像情報取得部１１０は、被写体からの光の輝度に関する情報である輝度情報及び被写体からの光の偏光に関する情報である偏光情報を含む被写体画像に関する情報を取得する処理部であり、偏光画像撮像部１０１及び偏光情報生成部１０２を有する。なお、この画像情報取得部１１０は、被写体画像を構成する単位画像ごとに、輝度情報及び偏光情報を取得する。

画像情報取得部１１０における偏光画像撮像部１０１は、偏光主軸角度が異なる複数の偏光子を透過してくる光を受光することで、被写体の偏光画像を取得する処理部である。

画像情報取得部１１０における偏光情報生成部１０２は、偏光画像撮像部１０１によって取得された偏光画像から、当該偏光画像を構成する画像領域のそれぞれについて、複数の偏光子の偏光主軸角度と複数の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する処理部である。

陰影領域抽出部１２０は、画像情報取得部１１０で取得された輝度情報及び偏光情報に基づいて、単位画像の単位で、光の当たり方によって被写体の表面に生じる「かげ」の領域である陰領域、及び、被写体によって光が遮断されたことによって他の物体上に生じる「かげ」の領域である影領域を、被写体画像から抽出する処理部であり、本実施の形態では、領域抽出の一例である領域分割をする領域分割部１０３を有する。

陰影領域抽出部１２０における領域分割部１０３は、偏光画像の輝度情報と偏光情報生成部１０２で生成された偏光情報とにおける類似性（共通性）を利用して、偏光画像を、光学的に共通する画像領域の集まりからなる複数の領域に分割する処理部である。このとき、領域分割部１０３は、画像領域の輝度と予め定められたしきい値とを比較し、輝度がしきい値よりも小さい場合に、当該画像領域を、陰影領域（陰領域及び影領域）を含む低輝度領域（本実施の形態では、陰影領域）として、領域分割をする。

なお、この領域分割部１０３は、画像（ここでは、偏光画像）に対して領域分割をするが、本発明における陰影領域抽出部の動作としては、領域分割に限られず、領域抽出（つまり、画像の一部の領域を特定する処理）でよい。つまり、本明細書では、発明の理解を容易にするために、領域抽出の一例として、画像の全領域を、陰領域及び影領域を含む複数の種類の領域のいずれかに分割する領域分割について説明するが、本発明に係る法線情報生成装置としては、このような領域分割に限られず、画像の一部の領域を特定する領域抽出でよい。よって、本明細書における「領域分割（領域の分割）」は、「領域抽出（領域の抽出）」と読み替えてもよい。また、本明細書における「領域検出（領域の検出）」は、「領域抽出（領域の抽出）」と同義である。

法線情報生成部１０４は、領域分割部１０３で分割された領域ごとに、偏光情報生成部１０２で生成された偏光情報を用いて、対応する被写体の表面での法線を特定する法線情報を生成する処理部である。

図２は、本実施の形態における法線情報生成装置１００が搭載されたカメラ２００のハードウェア構成例を示している。図３は、図２に示されたパターン偏光子２０１と撮像素子２０２との関係を示した模式図である。このカメラ２００は、法線情報を生成する機能を備える撮像装置であり、パターン偏光子２０１、撮像素子２０２、メモリ２０３、ＣＰＵ２０４および発光装置２０７を備える。

パターン偏光子２０１は、図３に示されるように、偏光主軸角度Ψｉ＝０°、４５°、９０°、１３５°の４種類の偏光子を１組として２次元状に配置された偏光子の集まりである。

撮像素子２０２は、図３に示されるように、パターン偏光子２０１を構成する個々の偏光子を透過した光を受光する２次元状に配置された画素（受光素子）の集まりであり、撮像素子２０２の撮像面に平行に設置されることが望ましい。なお、パターン偏光子２０１における４個（４種類）の偏光子と、撮像素子２０２における対応する４個の画素（受光素子）とから、撮像単位２０６が構成される。この撮像単位２０６によって得られる画像は、偏光情報生成部１０２、領域分割部１０３および法線情報生成部１０４における各処理の単位（「単位画像」）である。つまり、法線情報生成装置１００は、撮像単位２０６によって得られる単位画像（以下、「画素」ともいう。）ごとに、偏光情報の生成、領域分割および法線情報の生成を行なう。

メモリ２０３は、ＣＰＵ２０４の作業領域としてのＲＡＭおよびプログラム等が格納されたＲＯＭを含む。

ＣＰＵ２０４は、メモリ２０３に格納されたプログラムを実行し、メモリ２０３にアクセスしたり、撮像素子２０２および発光装置２０７を制御するプロセッサである。

発光装置２０７は、被写体に投光するフラッシュである。

なお、図１に示された偏光画像撮像部１０１は、図２に示されたパターン偏光子２０１および撮像素子２０２によって実現される。図１に示された偏光情報生成部１０２、領域分割部１０３および法線情報生成部１０４は、図２に示されたＣＰＵ２０４がメモリ２０３に格納されたプログラムを実行することによって実現される。また、メモリ２０３は、偏光画像撮像部１０１で取得された偏光画像、偏光情報生成部１０２で生成された偏光情報、法線情報生成部１０４で生成された法線情報、および、一時的に発生する各種パラメータ等を格納する作業領域としても使用される。

図４は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。まず、偏光画像撮像部１０１は、パターン偏光子２０１を通して被写体を撮像素子で受光することで、偏光情報を含んだ画像である偏光画像を撮像する（Ｓ１０１）。偏光情報生成部１０２は、偏光画像撮像部１０１が撮像した偏光画像の輝度変化を利用して、偏光情報を生成する（Ｓ１０２）。領域分割部１０３は、偏光情報生成部１０２が生成した偏光情報や偏光画像撮像部１０１が取得した輝度情報を利用し、画像を拡散反射領域、鏡面反射領域および低輝度領域（本実施の形態では、陰領域および影領域）に領域分割する（Ｓ１０３）。法線情報生成部１０４は、領域分割部１０３が行なった領域分割の結果に基づき、偏光情報生成部１０２が生成した偏光情報から法線情報を生成する（Ｓ１０４）。このとき、影領域に関しては偏光情報に誤差が多いため、法線情報を生成しない。

次に、本実施の形態における法線情報生成装置１００の各構成要素の詳細な機能を説明する。

まず、偏光画像撮像部１０１の詳細な機能について説明する。偏光画像撮像部１０１は、被写体からの光をパターン偏光子２０１を通して撮像素子２０２で受光することで、偏光情報を含んだ偏光画像を取得する。図５は、図３に示された撮像単位２０６を入射光方向から眺めた模式図である。本図において、各偏光子（各画素）内の直線は、各画素上に設置された微小偏光板の偏光主軸方向を示している。すなわち、この撮像単位２０６は、偏光軸の回転角（Ψｉ＝０°、４５°、９０°、１３５°）の４種類の偏光方向を有する画素を持つ。パターン偏光子は、ＴＭ波が透過、ＴＥ波が反射（透過せず）という偏光特性を示す。

このような特性は、例えば、『川島、佐藤、川上、長嶋、太田、青木、“パターン化偏光子を用いた偏光イメージングデバイスと利用技術の開発”、電子情報通信学会２００６年総合全国大会、Ｎｏ．Ｄ−１１−５２、Ｐ５２、２００６』：非特許文献２に記載されたフォトニック結晶を用いて作成することができる。フォトニック結晶の場合、表面に形成された溝に平行な振動面を持つ光がＴＥ波、垂直な振動面を持つ光がＴＭ波となる。

この偏光情報の撮影に際しては、輝度のダイナミックレンジとビット数は、なるべく大きいこと（例えば１６ビット）が望ましい。

次に、偏光情報生成部１０２の詳細な機能について説明する。偏光情報生成部１０２は、偏光画像撮像部１０１が取得した偏光画像を利用して、偏光情報を生成する処理部である。

偏光子を透過した輝度は、偏光子の偏光主軸角によって変化することが知られている。図６は、異なる偏光主軸角度Ψｉ＝０°、４５°、９０°、１３５°の４種類の偏光子を透過した輝度４０１〜４０４が１本の正弦関数カーブを形成する様子を示す。つまり、この正弦関数カーブは、図５の点５０１における偏光特性を示している。なお、偏光主軸角度の０°と１８０°（π）は同一である。また、この正弦関数カーブを求める際、撮影ガンマ＝１となるカメラを用いるか、リニアリティ補正により撮影ガンマ＝１となるように補正することが望ましい。この４点は、１本の正弦関数カーブ上にちょうど乗るように描かれているが、実際には、多数の観測点から１８０度周期の正弦関数が最適値として１本決定されるのが好ましい。

この偏光情報生成部１０２は、偏光情報として、このカーブの振幅と位相情報を生成する。具体的には、パターン偏光子２０１の主軸角ψに対する反射光輝度Ｉを以下のように近似する。

ここで、図６に示されるように、式１におけるＡ、Ｂ、Ｃは定数であり、それぞれ、偏光子による輝度の変動カーブの振幅、位相、平均値を表現している。ところで、式１は、以下のように展開できる。

ただし、

つまり、４画素のサンプル（ψｉ、Ｉｉ）において、以下の式５を最小にするＡ、Ｂ、Ｃを求めれば正弦関数（式１）の近似ができる。ただし、Ｉｉは、偏光板回転角ψｉ時の観測輝度を示している。また、Ｎはサンプル数であり、ここでは、４である。

以上の処理により、正弦関数近似のＡ、Ｂ、Ｃの３パラメータが確定する。

こうして求めたパラメータを利用して、偏光情報生成部１０２は、偏光情報として、以下のいずれかまたは複数を生成する。

・偏光度ρ

・偏光位相φ（０°≦φ≦１８０°）

・偏光推定誤差Ｅ

ここで、偏光度とは、光がどれだけ偏光しているかを表す指標であり、偏光位相とは、偏光主軸角度に依存して変化する輝度が最大となる角度であり、偏光推定誤差とは、４画素のサンプルについて観測された輝度と近似によって得られた上述の正弦関数から定まる輝度との差の合計である。

図７は、球体であるプラスチック製ボールの被写体を撮影した場合の偏光度ρ、偏光位相φおよび偏光推定誤差Ｅを画像として表示した図である。この図において、図７（ａ）は被写体であるプラスチック製ボールの画像、図７（ｂ）は図７（ａ）の被写体に対する偏光度ρ、図７（ｃ）は図７（ａ）の被写体に対する偏光位相φ（０°が黒、１８０°が白）、図７（ｄ）は図７（ａ）の被写体に対する偏光推定誤差Ｅを示している。また、図８は、図７の各図を模式的に示した図（濃淡を明瞭化した図）である。いずれも輝度の白いほうが値が大きいことを意味しており、ボールの遮蔽エッジ付近で偏光度が大きいこと
、被写体の影に覆われていない領域では偏光位相が１８０°周期で球体の周囲を反時計回りに単調増加していることがわかる。この偏光位相は、回転させて変化する輝度の最大値となる角度であり、被写体が拡散反射であった場合の出射面の情報である。

次に、領域分割部１０３の詳細な機能について説明する。領域分割部１０３は、偏光情報生成部１０２が生成した偏光情報と偏光画像撮像部１０１が取得した輝度情報を利用し、画像を拡散反射領域、鏡面反射領域、陰領域および影領域に領域分割する。

ここで、拡散反射と鏡面反射について説明する。被写体表面の反射特性は、「てかり」である鏡面反射成分と、マットな反射成分である拡散反射成分との和として表現されることが知られている。拡散反射成分は、被写体を照射する光源がいずれの方向に存在しても観測されるが、鏡面反射成分は、被写体の法線方向と視線方向に対し、ほぼ正反射方向に光源が存在する場合にのみ観測される方向依存性の強い成分である。これは、偏光特性に関しても成り立つ。

被写体が「てかり」である鏡面反射を生じる物体である場合、すべての方向から光が照射された場合、被写体は正反射成分である鏡面反射による影響を強く受けることが知られている（例えば、透明物体に関しては、斉藤めぐみ、佐藤洋一、池内克史、柏木寛、“ハイライトの偏光解析にもとづく透明物体の表面形状測定”、電子情報通信学会論文誌 Ｄ−ＩＩ、Ｖｏｌ． Ｊ８２−Ｄ−ＩＩ、Ｎｏ．９、ｐｐ．１３８３−１３９０、１９９９：非特許文献３）。

図９および図１０は、それぞれ、被写体の屈折率ｎ＝１．１、１．３、１．５、２．０の場合における鏡面反射成分および拡散反射成分の偏光度を示したグラフである（例えば、「Ｌ．Ｂ．Ｗｏｌｆｆ ａｎｄ Ｔ．Ｅ．Ｂｏｕｌｔ、“Ｃｏｎｓｔｒａｉｎｉｎｇ ｏｂｊｅｃｔ ｆｅａｔｕｒｅｓ ｕｓｉｎｇ ａ ｐｏｌａｒｉｚａｔｉｏｎ ｒｅｆｌｅｃｔａｎｃｅ ｍｏｄｅｌ”、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌ．１３、Ｎｏ．７、ｐｐ．６３５−６５７、１９９１」：非特許文献４参照）。ここで、図９の横軸は入射角、縦軸は偏光度を示している。また、図１０の横軸は出射角、縦軸は偏光度を示している。これらの図より、すべての方向から光が入射された場合、拡散反射成分に比べ、鏡面反射成分の偏光度が高くなることがわかる。このことから、偏光特性としても、鏡面反射成分が支配的になると推測される。このことは、出射角が９０°に近い、遮蔽エッジなどを除外した場合に成り立つ。

また、偏光位相φから、被写体の法線情報のうち、光の入射と反射の光線を包含する出射面（入射角）の角度１自由度を求める方法が知られている。しかし、被写体において鏡面反射が支配的か拡散反射が支配的かによって、法線情報の求め方が全く異なることも知られている（例えば、非特許文献１参照）。拡散反射成分が支配的な場合、拡散反射の出射面の情報は、偏光板を回転させて変化する輝度の最大値となる角度として求めることができる。一方、鏡面反射成分が支配的な場合、拡散反射の入射面の情報は、偏光板を回転させて変化する輝度の最小値となる角度として求めることができる。ここで、偏光輝度の変動カーブが１８０°周期の正弦関数となることに着目すると、拡散反射が支配的か鏡面反射が支配的かを考慮せずに法線情報を生成した場合、推定された法線の１自由度は９０°の誤差を持ってしまうことがわかる。そのため、拡散反射と鏡面反射とを分類することは、偏光情報からの法線情報を生成する処理において重要である。

次に、陰領域と影領域について説明する。図１１は、陰領域と影領域（陰影領域の分類）を説明するための模式図である。ここでは、ある面１００２に置かれた球状物体である被写体１００１が、光源１００３に照らされている様子が示されている。この図において、領域１００４と領域１００５は、どちらも、陰影領域を示している。領域１００４は、被写体１００１の法線が光源１００３を向いていないために生じる「陰領域」であり、領域１００５は、面１００２において、遮蔽物である被写体１００１によって光が遮蔽されることによって生じる「影領域」である。

次に、陰領域と影領域の偏光特性の違いについて説明する。まず、地上で撮影されるほとんどの撮影シーンで成り立つ以下の条件１が満たされた撮影シーンにおいて撮影が行なわれると想定する。

条件１：「被写体が存在する撮影シーンには、近傍に広い面を有する物体が存在し、ある広い面から被写体に関して反対方向には光源が存在する」
これは、例えば以下のような撮影シーンでは成り立つ。
１．屋内シーンにおいて、被写体であるボールが机の上に置かれている。また、このボールは天井に設置された蛍光灯で照らされている。
２．屋内シーンにおいて、被写体である人物が、床面に置かれた椅子に座っている。また、この人物は、窓から差し込んでくる太陽光で照らされている。
３．屋外シーンにおいて、被写体である自動車が、道路上を走行している。この被写体は、太陽光で照らされている。

また、壁や建物も広い面を有するため、地上で撮影されるほとんどの撮影シーンでは、この条件が成り立つ。

この条件１が成り立つ場合に、まず陰領域について説明する。図１１に示されるように、陰領域は、被写体の法線が光源と反対方向を向いているために生じる陰影（かげ）領域である。ここで、条件１より、光源と反対方向には広い面が存在していることと、陰影領域には実際には多数の回り込み光（多重反射光）が存在していることを考慮すると、陰領域には、さまざまな方向から多重反射光が入射していると考えられる。つまり、カメラ２００と陰領域が生じている画素の法線に対して、正反射となる多重反射光が存在すると考えられる。図１２は、この様子を示した模式図である。この図において、カメラ１００６は、本実施の形態における法線情報生成装置１００が搭載されたカメラ、面１００７は上記広い面を示している。

ところで、前述のように、鏡面反射成分の偏光度は拡散反射成分に比べて高い。そのため、鏡面反射成分の反射特性を示す陰領域は、相対的に偏光度が高くなる。

次に、影領域について説明する。図１１に示されるように、影領域は、何らかの遮蔽物によって光が遮蔽されることによって生じる陰影（かげ）領域である。ここで、条件１を考慮すると、影領域は、広い面と近い法線方向を持った面に生じやすくなる。そのため、多重反射光は、陰領域に比べ、限られた方向からしか入射しない。このことから、正反射方向に光源が存在する可能性は低いと考えられる。図１３は、この様子を示した模式図である。

さらに、図１０に示されるように、拡散反射成分の偏光度は相対的に低い。このことから、影領域の偏光成分は比較的小さくなることがわかる。陰影領域では、輝度そのものが小さくなるため、小さな偏光成分を推定することは非常に困難である。そのため、影領域の偏光推定誤差は非常に大きくなる。

以上のことをまとめると、陰影領域の偏光特性は、以下のように分類される。
（１）陰領域
・偏光度が高く、偏光推定誤差が小さい。
・多くの場合、鏡面反射特性を示す。
（２）影領域
・偏光度が低く、偏光推定誤差が大きい。
・多くの場合、拡散反射特性を示す。

この分類基準を利用することで、陰影領域を陰領域と影領域とに分類することができる。たとえば、偏光情報が鏡面反射の偏光特性（偏光度が高い、あるいは、偏光推定誤差が小さい）を示す低輝度領域を陰領域と分類することができる。このような性質を利用して領域分割をする領域分割部１０３について、以下で詳細に説明する。

図１４は、図１に示された法線情報生成装置１００における領域分割部１０３の詳細な構成を示す機能ブロック図である。この領域分割部１０３は、偏光情報生成部１０２が生成した偏光情報と偏光画像撮像部１０１が取得した輝度情報を利用し、画像を拡散反射領域、鏡面反射領域、陰領域および影領域に領域分割する処理部であり、陰影領域検出部３０１、ＤＢ３０２、偏光度比較部３０３、偏光推定誤差比較部３０４、領域判断部３０５および蓄積部３０６を備える。

陰影領域検出部３０１は、偏光画像撮像部１０１が取得した画像における画素が陰影領域であるかどうかを推定する処理部である。

ＤＢ３０２は、偏光度比較部３０３により参照される閾値ＴＨ＿ＰＤＳおよび偏光推定誤差比較部３０４により参照される閾値Ｔｈ＿Ｅｒｒを予め格納しているメモリ等である。

偏光度比較部３０３は、ＤＢ３０２から閾値ＴＨ＿ＰＤＳを読み出し、陰影領域検出部３０１で陰影領域でないと推定された画素について、対象となる画素の偏光度と閾値ＴＨ＿ＰＤＳとを比較する処理部である。

偏光推定誤差比較部３０４は、ＤＢ３０２から閾値Ｔｈ＿Ｅｒｒを読み出し、陰影領域検出部３０１で陰影領域であると推定された画素について、対象となる画素の偏光推定誤差Ｅと閾値Ｔｈ＿Ｅｒｒとを比較する処理部である。

領域判断部３０５は、偏光度比較部３０３および偏光推定誤差比較部３０４での比較結果に応じて、対象の画素が拡散反射領域、鏡面反射領域、影領域および陰領域のいずれであるかを判断し、その結果を蓄積部３０６へ蓄積する。

蓄積部３０６は、領域判断部３０５による領域分割の結果を格納するメモリ等である。

図１５は、この領域分割部１０３による処理の流れを示すフローチャートである。まず、陰影領域検出部３０１は、偏光画像撮像部１０１が取得した画像における画素が低輝度領域（本実施の形態では、陰影領域）であるかどうかを推定する（Ｓ２０１）。これは、例えば、陰影領域は輝度値が低いことを利用し、輝度値や偏光子による輝度の変動カーブの振幅が閾値以下の画素を陰影領域と推定すればよい。このように陰影領域を推定するための閾値は実験的に決定すればよく、例えば、１６ビットモノクロ画像の輝度値に対しては、２５６を設定すればよい。このような閾値はＤＢ３０２に保持しておけばよい。図１６（ａ）は、図７（ａ）の画像（その模式図である図８（ａ））に対して、陰影検出処理を実施した結果である。図の黒色領域が影として検出された結果を示している。

画素が陰影領域ではなかった場合（Ｓ２０１でＮｏ）、偏光度比較部３０３は、その画素において拡散反射成分が支配的であるか、鏡面反射成分が支配的であるかを判断する（Ｓ２０２）。図１７は、この偏光度比較部３０３による拡散反射鏡面反射分類処理（Ｓ２０２）の詳細な流れを示すフローチャートである。ここでは、偏光度比較部３０３は、前述の「鏡面反射は偏光度が高い」ことを利用して、画素が拡散反射と鏡面反射のどちらが支配的かを判断する。まず、偏光度比較部３０３は、画素の偏光度が閾値ＴＨ＿ＰＤＳより小さいか、大きいかを調べる（Ｓ２１１）。画素の偏光度が閾値ＴＨ＿ＰＤＳより小さかった場合（Ｓ２１１でＹｅｓ）、領域判断部３０５は、その画素では拡散反射が支配的である（その画素は拡散反射領域である）と判断する（Ｓ２１２）。一方、偏光度が閾値ＴＨ＿ＰＤＳより大きかった場合（Ｓ２１１Ｎｏ）、領域判断部３０５は、その画素では鏡面反射が支配的である（その画素は鏡面反射領域である）と判断する（Ｓ２１３）。領域判断部３０５は、領域分割の結果を蓄積部３０６に蓄積する。

なお、閾値Ｔｈ＿ＰＤＳは、被写体の屈折率や被写体の法線方向、光源方向、視線方向などから設定するようにしても構わない。図９および図１０に示されるように、被写体の鏡面反射成分偏光度や拡散反射成分偏光度は屈折率と入射角、出射角が求まれば一意に決定できる。そのため、図９および図１０で求まる鏡面反射成分偏光度や拡散反射成分偏光度をＴｈ＿ＰＤＳとして利用すればよい。また、被写体の屈折率や被写体の法線方向、光源方向、視線方向などの情報が得られない場合、拡散反射成分偏光度がとりうる最大値をもとに、閾値Ｔｈ＿ＰＤＳとして決定しても構わない。例えば、屈折率２．０以上の被写体は存在しないと仮定すると、図１０より、拡散反射成分偏光度の最大値は０．６程度と考えられるので、閾値Ｔｈ＿ＰＤＳとして、０．７程度を設定すればよい。このような閾値はＤＢ３０２に保持しておけばよい。

拡散反射鏡面反射分類処理（Ｓ２０２）が終了後、領域判断部３０５は、すべての画素の光学的分類が完了したかどうかをチェックする（Ｓ２０３）。もし、まだ分類を行なっていない画素が存在する場合（Ｓ２０３でＮｏ）、陰影領域検出部３０１は、別の画素が陰影領域かどうかを検出する（Ｓ２０１）。また、すべての画素の光学的分類が完了した場合（Ｓ２０３でＹｅｓ）、領域分割部１０３は、処理を終了する。

一方、画素が陰影領域であった場合（Ｓ２０１でＹｅｓ）、偏光推定誤差比較部３０４は、上記式８で定義される偏光推定誤差Ｅの大きさを評価する（Ｓ２０４）。すなわち、偏光推定誤差比較部３０４は、偏光推定誤差Ｅの大きさと閾値Ｔｈ＿Ｅｒｒとを比較する。その結果、偏光推定誤差Ｅの大きさが閾値Ｔｈ＿Ｅｒｒより大きかった場合（Ｓ２０４でＹｅｓ）、領域判断部３０５は、その画素が影領域であると判断し（Ｓ２０５）、一方、偏光推定誤差Ｅの大きさが閾値Ｔｈ＿Ｅｒｒより小さかった場合（Ｓ２０４でＮｏ）、領域判断部３０５は、その画素が陰領域であると判断する（Ｓ２０６）。領域判断部３０５は、領域分割の結果を蓄積部３０６へ蓄積する。

このときの閾値Ｔｈ＿Ｅｒｒは撮影画像の輝度値や式２の振幅成分Ａ、バイアス成分Ｃを基準に決定すればよい。例えば、振幅成分Ａを基準に閾値Ｔｈ＿Ｅｒｒを決定する場合、以下のように決定すればよい。

この式は、偏光推定誤差Ｅが振幅成分Ａに対してどの程度、異なっているかを示している。ここで、Ｔｈ＿Ｅは適当な正の定数であり、実験的に決定すればよく、例えば、０．３を設定すればよい。また、Ｎは前述のサンプル数である。このような閾値はＤＢ３０２に保持しておけばよい。

図１６（ｂ）および図１６（ｃ）は、それぞれ、このようにして求めた影領域および陰領域を示している。この図において、黒色領域が選択された領域である。こうして求めた影領域と陰領域に対し、画像処理で広く使われている領域の収縮膨張処理を行なうことにより、影領域と陰領域とを分離できる。

図１８は、領域分割部１０３による領域分割例を示す図である。ここでは、偏光画像を構成する各画素について、画素位置、振幅Ａ、偏光度ρ、偏光位相φ、偏光推定誤差Ｅの具体値と、領域分割結果が示されている。ここでの、領域分割における判断基準は、図１９に示される通りである。つまり、拡散反射領域または鏡面反射領域か陰影領域かは、振幅Ａが２５６以上であるか否かによって判断され（図１５のＳ２０１）、拡散反射領域か鏡面反射領域かは、偏光度ρが０．７より小さいか否かによって判断され（図１７のＳ２１１）、影領域であるか陰領域であるかは、偏光推定誤差Ｅが上記式９で示される閾値Ｔｈ＿Ｅｒｒより大きいか否かによって判断される（図１５のＳ２０４）。このような判断基準で判断された結果、図１８に示されるように、画素（１４１、１１７）は、拡散反射領域に属すると判断され、画素（１５１、１３８）は、鏡面反射領域に属すると判断され、画素（１１１、１４４）は、陰領域に属すると判断され、画素（９８、１５１）は、影領域に属すると判断され、画素（１６５、１４４）は、拡散反射領域に属すると判断される。

次に、法線情報生成部１０４の詳細な機能を説明する。図２０は、図１に示された法線情報生成装置１００における法線情報生成部１０４の詳細な構成を示す機能ブロック図である。この法線情報生成部１０４は、領域分割部１０３が行なった領域分割結果に基づき、偏光情報から法線情報を生成する処理部であり、蓄積部３０６、領域参照部３０７、拡散反射仮定法線情報生成部３０８および鏡面反射仮定法線情報生成部３０９を備える。なお、この図において、図１４と共通の構成要素には図１４と同一の符号を付しており、その詳細な説明は省略する。

領域参照部３０７は、蓄積部３０６に蓄積された領域分割の結果を参照することで、対象となる画素においては、拡散反射成分が支配的か（拡散反射領域であるか）、あるいは、鏡面反射成分が支配的か（鏡面反射領域であるか）、または、その画素が陰領域であるか否かを判断する処理部である。

拡散反射仮定法線情報生成部３０８は、拡散反射領域の画素に対して、拡散反射仮定で法線情報を生成する処理部である。具体的には、上述した近似によって得られた正弦関数において輝度が最大となる偏光主軸角度を、当該画素に対応する被写体の出射面の法線情報として生成する。

鏡面反射仮定法線情報生成部３０９は、鏡面反射領域および陰領域の画素に対して、鏡面反射仮定で法線情報を生成する処理部である。具体的には、上述した近似によって得られた正弦関数において輝度が最小となる偏光主軸角度を、当該画素に対応する被写体の入射面の法線情報として生成する。

図２１は、この法線情報生成部１０４による処理の流れを示すフローチャートである。まず、領域参照部３０７は、領域分割部１０３が検出した光学的領域分割の結果を基に、画素において拡散反射成分が支配的かどうかを判断する（Ｓ３０１）。この処理は、領域判断部３０５の結果が蓄積されている蓄積部３０６から領域分割結果を読み出せばよい。もし、拡散反射成分が支配的であると判断された場合（Ｓ３０１でＹｅｓ）、拡散反射仮定法線情報生成部３０８は、その画素について拡散反射仮定で法線情報を生成する（Ｓ３０２）。具体的には、出射面における法線の１自由度を、偏光板を回転させて変化する輝度の最大値となる角度として求める。つまり、上述した近似によって得られた正弦関数において輝度が最大となる偏光主軸角度を、当該画素に対応する被写体の出射面の法線情報として生成する。

また、画素が拡散反射成分が支配的ではない場合（Ｓ３０１でＮｏ）、領域参照部３０７は、鏡面反射成分が支配的（画素が鏡面反射領域である）、または、画素が陰領域であるか否かを判断する（Ｓ３０３）。その結果、鏡面反射成分が支配的、または、画素が陰領域であると判断された場合には（Ｓ３０３でＹｅｓ）、鏡面反射仮定法線情報生成部３０９は、その画素について鏡面反射仮定で法線情報を生成する（Ｓ３０４）。具体的には、入射面における法線の１自由度を、偏光板を回転させて変化する輝度の最小値となる角度として求める。つまり、上述した近似によって得られた正弦関数において輝度が最小となる偏光主軸角度を、当該画素に対応する被写体の入射面の法線情報として生成する。

一方、画素が影領域であると判断された場合、つまり、拡散反射成分も鏡面反射成分も支配的ではなく、陰領域でもない場合（Ｓ３０３でＮｏ）、この法線情報生成部１０４は、画素の偏光情報は誤差が支配的であり、正確な法線情報は生成できないと判断し、法線情報生成処理を行なわない（Ｓ３０５）。

なお、図１５に示される処理では、画素において拡散反射成分が支配的であるか鏡面反射成分が支配的であるかを判断するために偏光度が利用されたが（Ｓ２０２）、輝度値を利用するようにしても構わない。図２２は、輝度値を利用して拡散反射か鏡面反射かを判断する変形例に係る領域分割部１０３ａの詳細な構成を示す機能ブロック図である。この領域分割部１０３ａは、陰影領域検出部３０１、ＤＢ３０２、偏光推定誤差比較部３０４、領域判断部３０５、蓄積部３０６および輝度比較部３１０を備える。なお、図２２において、図１４と共通の構成要素には図１４と同一の符号を付しており、その詳細な説明は省略する。

輝度比較部３１０は、ＤＢ３０２から閾値ＴＨ＿ＩＤＳを読み出し、対象の画素の輝度値と閾値ＴＨ＿ＩＤＳとを比較する処理部である。

図２３は、この領域分割部１０３ａによる処理の流れを示すフローチャートである。なお、図２３において、図１７と共通のステップには図１７と同一の符号を付しており、その詳細な説明を省略する。輝度比較部３１０は、画素の輝度値が閾値ＴＨ＿ＩＤＳより小さいか、大きいかを調べる（Ｓ２１４）。画素の輝度値が閾値ＴＨ＿ＩＤＳより小さかった場合（Ｓ２１４でＹｅｓ）、領域判断部３０５は、その画素は拡散反射が支配的であると判断する（Ｓ２１２）。一方、輝度値が閾値ＴＨ＿ＩＤＳより大きかった場合（Ｓ２１４でＮｏ）、領域判断部３０５は、その画素は鏡面反射が支配的であると判断する（Ｓ２１３）。このようにして、輝度値を利用して、その画素において拡散反射成分が支配的であるか鏡面反射成分が支配的であるかが判断される。

また、図１５に示される処理では、偏光推定誤差を利用して、画素が陰領域か影領域かが判断されたが（Ｓ２０４）、偏光推定誤差ではなく、偏光度を利用するようにしても構わない。図２４は、偏光度を利用して陰領域か影領域かを判断する変形例に係る領域分割部１０３ｂの詳細な構成を示す機能ブロック図である。この領域分割部１０３ｂは、陰影領域検出部３０１、ＤＢ３０２、偏光推定誤差比較部３０４、領域判断部３０５および蓄積部３０６を備える。なお、図２４において、図１４と共通の構成要素には図１４と同一の符号を付しており、その詳細な説明を省略する。

図２５は、この領域分割部１０３ｂによる処理の流れを示すフローチャートである。なお、図２５において、図１５と共通のステップには図１５と同一の符号を付しており、その詳細な説明を省略する。

陰影領域検出部３０１によって画素が陰影領域であると判断された場合（Ｓ２０１でＹｅｓ）、偏光度比較部３０３は、その画素が陰領域か影領域かを判断するために、式６で定義される偏光度ρと閾値Ｔｈ＿Ｐとを比較する（Ｓ２０７）。その結果、偏光度ρが閾値Ｔｈ＿Ｐより小さかった場合（Ｓ２０７でＹｅｓ）、領域判断部３０５は、その画素は影領域であると判断し（Ｓ２０５）、一方、偏光度ρが閾値Ｔｈ＿Ｐより大きかった場合（Ｓ２０７でＮｏ）、領域判断部３０５は、その画素は陰領域であると判断する（Ｓ２０６）。このようにして、偏光度と利用して、画素が陰領域か影領域かが判断される。

なお、閾値Ｔｈ＿Ｐは、被写体の屈折率や被写体の法線方向、光源方向、視線方向などから設定するようにしても構わない。図９および図１０に示されるように、被写体の鏡面反射成分偏光度や拡散反射成分偏光度は屈折率と入射角、出射角が求まれば一意に決定できる。そのため、図９および図１０で求まる鏡面反射成分偏光度や拡散反射成分偏光度をＴｈ＿Ｐとして利用すればよい。また、被写体の屈折率や被写体の法線方向、光源方向、視線方向などの情報が得られない場合、拡散反射成分偏光度がとりうる最大値をもとに閾値Ｔｈ＿Ｐとして決定しても構わない。例えば、屈折率２．０以上の被写体は存在しないと仮定すると、図１０より拡散反射成分偏光度の最大値は０．６程度と考えられるので、閾値Ｔｈ＿Ｐとして、０．７程度を設定すればよい。

また、図１５に示される処理において、その画素が陰領域か影領域かを判断するに際して（Ｓ２０４）、偏光推定誤差および偏光度のいずれかを利用するのではなく、両方を利用するようにしても構わない。図２６は、偏光推定誤差および偏光度の両方を利用して画素が陰領域か影領域かを判断する変形例に係る領域分割部１０３ｃの詳細な構成を示す機能ブロック図である。この領域分割部１０３ｃは、陰影領域検出部３０１、ＤＢ３０２、偏光度比較部３０３、偏光推定誤差比較部３０４、領域判断部３０５および蓄積部３０６を備える。なお、図２６において、図１４と共通の構成要素には図１４と同一の符号を付しており、その詳細な説明を省略する。この領域分割部１０３ｃは、図１４に示された領域分割部１０３と同一の構成要素を備えるが、領域判断部３０５での領域分割における判断基準が領域分割部１０３と異なる。

図２７は、この領域分割部１０３ｃによる処理の流れを示すフローチャートである。なお、図２７において、図１５と共通のステップには図１５と同一の符号を付しており、その詳細な説明を省略する。陰影領域検出部３０１によって対象となる画素が陰影領域と判断された場合（Ｓ２０１でＹｅｓ）、その画素が陰領域か影領域かを判断するために、偏光推定誤差比較部３０４および偏光度比較部３０３は、それぞれ、式８で定義される偏光推定誤差Ｅと式６で定義される偏光度ρとを評価する。つまり、偏光推定誤差比較部３０４は、偏光推定誤差Ｅと閾値Ｔｈ＿Ｅｒｒとを比較し、偏光度比較部３０３は、偏光度ρと閾値Ｔｈ＿Ｐとを比較する。

その結果、偏光推定誤差Ｅが閾値Ｔｈ＿Ｅｒｒより大きい、または、偏光度ρの大きさが閾値Ｔｈ＿Ｐより小さい場合（Ｓ２０８でＹｅｓ）、領域判断部３０５は、その画素は影領域であると判断し（Ｓ２０５）、一方、偏光推定誤差Ｅの大きさが閾値Ｔｈ＿Ｅｒｒより小さく、かつ、偏光度ρの大きさが閾値Ｔｈ＿Ｐより大きい場合（Ｓ２０８でＮｏ）、領域判断部３０５は、その画素は陰領域であると判断する（Ｓ２０６）。このようにして、画素が陰領域か影領域かを判断するのに、偏光推定誤差および偏光度の両方が利用される。

なお、偏光推定誤差Ｅの閾値Ｔｈ＿Ｅｒｒは、図１５の処理のように偏光推定誤差のみで判断する場合に比べて大きな値を、偏光度ρの閾値Ｔｈ＿Ｐは、図２５の処理のように、偏光度のみで判断する場合に比べて小さな値をとるようにしても構わない。また、領域判断部３０５による判断（Ｓ２０８）では、偏光推定誤差Ｅの大きさが閾値Ｔｈ＿Ｅｒｒより大きく、かつ、偏光度ρの大きさが閾値Ｔｈ＿Ｐより小さかった場合にのみ、その画素が影領域であると判断するようにしても構わない。

また、図１５の処理では、画素が陰領域か影領域かを判断するために偏光推定誤差が利用されたが（Ｓ２０４）、陰領域の偏光特性が鏡面反射特性となることを利用しても構わない。これは、例えば、式７で定義される偏光位相φを利用すればよい。前述のように、偏光位相φは、被写体の法線の１成分を示しているが、偏光位相φと被写体の法線の１成分の関係は、被写体が鏡面反射成分が支配的か、拡散反射成分が支配的かによって位相が９０度異なる。例えば、図７（ｃ）（その模式図である図８（ｃ））において、陰領域の偏光位相が、その近傍の偏光位相情報と大きく異なっていることがわかる。これは、陰領域が鏡面反射成分の偏光特性を示しているのに対し、その近傍領域は拡散反射成分の偏光特性を示しているためである。そこで、被写体の偏光位相の連続性を評価することにより、鏡面反射成分の偏光特性を示す画素を検出し、陰領域を検出する。

また、図１４等に示される陰影領域検出部３０１は、カメラ２００に搭載された発光装置２０７（フラッシュなど）を利用するようにしても構わない。これは、暗幕のように、十分に小さい反射率をもつ被写体が存在する場合、前述の輝度値による判断のみでは陰影領域と暗幕の区別がつかないためである。このようなフラッシュを利用する本実施の形態の変形例に係る法線情報生成装置について図を用いて詳述する。

図２８は、このような変形例に係る法線情報生成装置１００ａの構成を示す機能ブロック図である。この法線情報生成装置１００ａは、図１に示された法線情報生成装置１００に発光部１０５が付加された構成を備える。なお、図２８において、図１と共通の構成要素には図１と同一の符号を付しており、その詳細な説明を省略する。

発光部１０５は、法線情報生成装置１００ａによる撮像動作に連動して被写体に投光するフラッシュである。このとき、この発光部１０５はフラッシュの点灯制御を行なう。偏光画像撮像部１０１は、発光部１０５と連動し、フラッシュを発光させた状態と発光させない状態の２枚の画像を撮影する。このとき、被写体とカメラ２００の位置関係は変化がないように撮影を行なう。このような撮影は、例えば、カメラ２００の連写機能などを利用して撮影すればよい。

図２９は、この変形例に係る法線情報生成装置１００ａによる陰影検出処理の流れを示すフローチャートである。つまり、図１５における陰影領域検出処理（Ｓ２０１）の別の手法を示すフローチャートである。まず、陰影領域検出部３０１は、フラッシュを発光させない状態での画素の輝度値を調べる（Ｓ４０１）。もし、画素の輝度値が閾値よりも高い場合（Ｓ４０１でＮｏ）、陰影領域検出部３０１は、画素は低輝度領域（ここでは、陰影領域）ではないと判断し（Ｓ４０２）、処理を終了する。

一方、もし、画素の輝度値が閾値以下である場合（Ｓ４０１でＹｅｓ）、画素が陰影領域である可能性が高いため、陰影領域検出部３０１は、フラッシュを発光させた状態で撮影したフラッシュ撮影画像と、フラッシュを発光させずに撮影した通常撮影画像の差分画像を作成する（Ｓ４０３）。フラッシュの点灯位置が撮像素子位置に十分近く、ほぼ等しいとすると、点灯したフラッシュによって生じる影は撮影画像には存在しない。これは、視線方向と光源方向が等しいためである。そのため、フラッシュを発光させない状態では陰影であった領域は、フラッシュを発光させることにより、直接光が存在する。そのため、陰影領域の輝度値は大きく増える。

一方、画素が陰影領域ではなく、反射率の小さな暗幕であった場合、フラッシュを発光させても反射率が小さいために、ほとんど輝度値は変化しない。すなわち、もし、フラッシュによる差分画像の輝度値が閾値以上だった場合（Ｓ４０４でＹｅｓ）、陰影領域検出部３０１は、その画素は陰影領域と判断し（Ｓ４０５）、処理を終了する。一方、フラッシュによる差分画像の輝度値が閾値より小さかった場合（Ｓ４０４でＮｏ）、陰影領域検出部３０１は、その画素は陰影領域ではなく、低反射率領域（あるいは、低反射率画素）であると判断し（Ｓ４０６）、処理を終了する。

このように、たとえ暗幕のような小さな反射率を持った被写体が存在したとしても、正確に陰影領域を検出し、陰影領域を陰領域と影領域とに分類することができ、陰領域に関しては、鏡面反射を仮定することで、正確な法線情報が生成される。また、偏光情報に誤差が多く、法線情報生成を行なっても精度が極端に悪くなる影領域に関しては、法線情報生成処理を行なわないことで、できるかぎり広い領域で高精度な法線情報生成を行なうことができる。

以上のように、本実施の形態における法線情報生成装置によれば、陰影領域を陰領域と影領域とに分類し、陰領域に関しては、鏡面反射を仮定することで、正確な法線情報が生成される。また、偏光情報に誤差が多く、法線情報生成を行なっても精度が極端に悪くなる影領域に関しては、法線情報生成処理を行なわないことで、できるかぎり広い領域で高精度な法線情報生成を行なうことができる。

なお、本実施の形態では、パターン偏光子２０１にフォトニック結晶が用いられたが、フィルム型の偏光素子、あるいはワイヤーグリッド型やその他の原理による偏光素子であってもよい。また、パターン偏光子を利用せずに、カメラ２００のレンズ前に装着した偏光板を回転させながら撮影することで、時系列的に偏光主軸の異なる輝度を取得するようにしても構わない。この方法は、例えば、特開平１１−２１１４３３号公報：特許文献２に開示されている。

（第２の実施の形態）
次に、本発明の第２の実施の形態における法線情報生成装置について説明する。

図３０は、本実施の形態における法線情報生成装置１００ｂの構成を示す機能ブロック図である。この法線情報生成装置１００ｂは、被写体の表面における法線情報を生成する装置であり、低輝度領域を「陰領域または低反射率領域」と影領域とに分類する点に特徴を有し、第１の実施の形態における法線情報生成装置１００が備える領域分割部１０３１および法線情報生成部１０４１に代えて、少しだけ機能が異なる領域分割部１０３１および法線情報生成部１０４１を備える。なお、第１の実施の形態における法線情報生成装置１００と同一の構成要素には同一の符号を付し、その説明を省略する。

領域分割部１０３１は、偏光画像の輝度情報と偏光情報生成部１０２で生成された偏光情報とにおける類似性（共通性）を利用して、偏光画像を、光学的に共通する画像領域の集まりからなる複数の領域に分割する処理部である。このとき、領域分割部１０３１は、画像領域の輝度と予め定められたしきい値とを比較し、輝度がしきい値よりも小さい場合に、当該画像領域を、陰影領域を含む低輝度領域（本実施の形態では、「陰領域または低反射率領域」と影領域とを含む領域）として、領域分割をする。本実施の形態では、領域分割部１０３１は、低輝度領域を「陰領域または低反射率領域」と影領域とに分類することで、画像を拡散反射領域、鏡面反射領域、「陰領域または低反射率領域」および影領域に領域分割する。

法線情報生成部１０４１は、領域分割部１０３１で分割された領域ごとに、偏光情報から法線情報を生成する処理部である。この法線情報生成部１０４１は、第１の実施の形態と異なり、陰領域を「陰領域または低反射率領域」として法線情報を生成する。

図３１は、本実施の形態における法線情報生成装置１００ｂによる処理の流れを示すフローチャートである。なお、図３１において、第１の実施の形態における図４と共通のステップには図４と同一の符号を付しており、その詳細な説明を省略する。

領域分割部１０３１は、偏光情報生成部１０２が生成した偏光情報や偏光画像撮像部１０１が取得した輝度情報を利用し、画像を拡散反射領域、鏡面反射領域および低輝度領域（本実施の形態では、「陰領域または低反射率領域」および影領域）に分類する（Ｓ１０３１）。

法線情報生成部１０４１は、後述するように、領域分割部１０３１が行なった領域分割結果に基づき、偏光情報から法線情報を生成する（Ｓ１０４）。このとき、影領域に関しては偏光情報に誤差が多いため、法線情報生成処理を行なわない。

まず、反射率の小さな被写体の偏光特性の違いについて説明する。表面が滑らかな反射率の小さな被写体では、内部反射がほぼ０になるため、拡散反射成分が非常に小さくなる。一方、正反射の条件では、光を反射して鏡面反射が大きくなる。つまり、低反射率領域では、拡散反射成分は小さく、相対的に鏡面反射成分が支配的になると考えられる。これは、反射率の小さな物体は、以下のように陰領域と同様の偏光特性を有することを示している。
（１）「陰領域または低反射率領域」
・偏光度が高く、偏光推定誤差が小さい。
・多くの場合、鏡面反射特性を示す。
（２）影領域
・偏光度が低く、偏光推定誤差が大きい。
・多くの場合、拡散反射特性を示す。

この分類基準を利用することで、低輝度領域を「陰領域または低反射率領域」と影領域とに分類する。以下、図を用いてこの処理を詳述する。

図３２は、図３０に示された法線情報生成装置１００ｂにおける領域分割部１０３１の詳細な構成を示す機能ブロック図である。この領域分割部１０３１は、ＤＢ３０２、偏光度比較部３０３、偏光推定誤差比較部３０４、領域判断部３０５、蓄積部３０６および低輝度画素検出部３１１を備える。なお、図３２において、第１の実施の形態における図１４と共通の構成要素には図１４と同一の符号を付しており、その詳細な説明を省略する。

低輝度画素検出部３１１は、偏光画像撮像部１０１が取得した画像のある画素が低輝度領域（「陰領域または低反射率領域」および影領域を含む領域）であるかどうかを推定する処理部である。

図３３は、この領域分割部１０３１による処理の流れを示すフローチャートである。まず、低輝度画素検出部３１１は、偏光画像撮像部１０１が取得した画像のある画素の輝度値を評価する（Ｓ５０１）。これは、前述のステップＳ２０１と同様に、輝度値が閾値以下かそうでないかを評価する。このような低輝度領域を推定するための閾値は実験的に決定すればよく、例えば、１６ビットモノクロ画像に対しては、２５６を設定すればよい。このような閾値はＤＢ３０２に保持しておけばよい。輝度値が閾値より大きかった場合（Ｓ５０１でＮｏ）、領域分割部１０３１は、その画素において拡散反射成分が支配的であるか、鏡面反射成分が支配的であるかを、前述のステップＳ２０２と同様の方法（偏光度比較部３０３による比較）で判断する（Ｓ５０２）。拡散反射鏡面反射分類処理（Ｓ５０２）が終了後、領域判断部３０５は、すべての画素の光学的分類が完了したかどうかをチェックする（Ｓ５０３）。もし、まだ分類を行なっていない画素が存在する場合（Ｓ５０３でＮｏ）、低輝度画素検出部３１１は、別の画素の輝度値を評価する（Ｓ５０１）。また、すべての画素の光学的分類が完了した場合（Ｓ５０３でＹｅｓ）、領域分割部１０３１は、処理を終了する。

一方、画素の輝度値が閾値以下であった場合（Ｓ５０１でＹｅｓ）、その画素が「陰領域または低反射率領域」か影領域かが判断される（Ｓ５０４）。これは、前述のように、偏光推定誤差比較部３０４が、式８で定義される偏光推定誤差Ｅの大きさを評価する（偏光推定誤差Ｅと閾値Ｔｈ＿Ｅｒｒとを比較する）ことにより、実現される。その結果、偏光推定誤差Ｅの大きさが閾値Ｔｈ＿Ｅｒｒより大きかった場合（Ｓ５０４でＹｅｓ）、領域判断部３０５は、画素が影領域であると判断し（Ｓ５０５）、一方、偏光推定誤差Ｅの大きさが閾値Ｔｈ＿Ｅｒｒより小さかった場合（Ｓ５０４でＮｏ）、領域判断部３０５は、画素が「陰領域または低反射率領域」であると判断する（Ｓ５０６）。このときの閾値Ｔｈ＿Ｅｒｒは前述の方法で決定すればよい。領域分割を行なった結果は、蓄積部３０６へ蓄積される。

法線情報生成部１０４１は、領域分割部１０３１が行なった領域分割結果に基づき、偏光情報から法線情報を生成する。この法線情報生成部１０４１は、構成要素としては、第１の実施の形態における法線情報生成部１０４と同様の構成、つまり、図２０に示されるように、蓄積部３０６、領域参照部３０７、拡散反射仮定法線情報生成部３０８および鏡面反射仮定法線情報生成部３０９を備える。ただし、この法線情報生成部１０４１は、第１の実施の形態と異なり、陰領域を「陰領域または低反射率領域」として法線情報を生成する。

図３４は、この法線情報生成部１０４１による処理の流れを示すフローチャートである。なお、図３４において、図２１と共通のステップには図２１と同一の符号を付しており、その詳細な説明を省略する。

法線情報生成部１０４１の領域参照部３０７は、領域分割部１０３１が検出した光学的領域分割の結果を基に、画素において拡散反射成分が支配的かどうかを判断する（Ｓ３０１）。この処理は、領域判断部３０５の結果が蓄積されている蓄積部３０６から領域分割結果を読み出せばよい。もし、拡散反射成分が支配的であると判断された場合（Ｓ３０１でＹｅｓ）、拡散反射仮定法線情報生成部３０８は、その画素の法線情報を拡散反射仮定で生成する（Ｓ３０２）。具体的には、出射面における法線の１自由度を、偏光板を回転させて変化する輝度の最大値となる角度として求める。また、画素は拡散反射成分が支配的ではなく（Ｓ３０１でＮｏ）、鏡面反射成分が支配的、または「陰領域または低反射率領域」であった場合（Ｓ３０６でＹｅｓ）、鏡面反射仮定法線情報生成部３０９は、その画素の法線情報を鏡面反射仮定で生成する（Ｓ３０４）。具体的には、入射面における法線の１自由度を、偏光板を回転させて変化する輝度の最小値となる角度として求める。一方、画素が影領域であった場合、（Ｓ３０３でＮｏ）、画素の偏光情報は誤差が支配的であり、正確な法線情報は生成できないと判断し、法線情報生成部１０４１は、法線情報生成処理を行なわない（Ｓ３０５）。

以上のように、本実施の形態における法線情報生成装置によれば、低輝度領域を「陰領域または低反射率領域」と影領域とに分類し、「陰領域または低反射率領域」に関しては、鏡面反射を仮定することで、正確な法線情報が生成される。また、偏光情報に誤差が多く、法線情報生成を行なっても精度が極端に悪くなる影領域に関しては、法線情報生成処理を行なわないことで、できるかぎり広い領域で高精度な法線情報生成を行なうことができる。

なお、ステップＳ５０４において、その画素が「陰領域または低反射率領域」か影領域かを判断するために、偏光推定誤差ではなく、第１の実施の形態と同様に、偏光度、偏光推定誤差と偏光度の両方、偏光位相を利用するようにしても構わない。

（第３の実施の形態）
次に、本発明の第３の実施の形態における法線情報生成装置について説明する。

図３５は、本実施の形態における法線情報生成装置１００ｃの構成を示す機能ブロック図である。この法線情報生成装置１００ｃは、被写体の表面における法線情報を生成する装置であり、正確に法線情報を生成できる場合にだけ法線情報を生成する点に特徴を有し、図１に示される法線情報生成装置１００の構成に加えて、撮像条件判定部１０６を備える。なお、図３５において、図１と共通の構成要素には図１と同一の符号を付しており、その詳細な説明を省略する。

撮像条件判定部１０６は、偏光画像撮像部１０１による撮像の対象となる撮像シーンが、法線情報生成部１０４が正確な法線情報を生成できる撮像条件として予め定められた撮像条件を満たしているか否かを判定する処理部である。

図３６は、この撮像条件判定部１０６の詳細な構成を示す機能ブロック図である。この撮像条件判定部１０６は、ＤＢ３０２、光軸方向検出部３１２および光軸方向比較部３１３を備える。

光軸方向検出部３１２は、法線情報生成装置１００ｃの光軸方向を検出する角度センサ等である。

光軸方向比較部３１３は、法線情報生成装置１００ｃが水平面（地平面）よりも上方を向いているかどうかを判断する処理部である。

ここで、本実施の形態においても、第１の実施の形態で説明したように、撮影シーンは、条件１が満たされていることを必要とする。

条件１：「被写体が存在する撮影シーンには、近傍に広い面を有する物体が存在し、ある広い面から被写体に関して反対方向には光源が存在する」
ただし、法線情報生成装置１００ｃが置かれている状況においては、上記条件１が満たされているとは限らない。そこで、本実施の形態では、撮像条件判定部１０６は、上記条件１が満たされているかどうかを判定する。ここで、光源は上方にあることが多いことに着目すると、条件１は、以下の条件２では満たされない。

条件２：「撮像者が上方を撮影する」
この条件２は、例えば、以下のような撮影シーンでは成り立つ。
１．屋外シーンにおいて、空や月、星などを撮影する。
２．屋内シーンにおいて、蛍光灯が光っている天井方向を撮影する。

上記撮影シーン１の場合、例えば三日月を撮影することを考える。三日月の陰影領域は陰領域であると考えられる。しかし、この陰影領域は、地球照と呼ばれる地球からの多重反射である照り返しにより輝度を持つ。そのため、陰領域ではあるが、多重反射光の入射方向は地球のみの非常に限られた範囲になり、正反射成分である鏡面反射成分はほとんど存在しないと考えられる。そのため、法線情報生成装置１００ｃは正確に機能しない。そこで、撮像条件判定部１０６は、法線情報生成装置１００ｃが正確に機能する（正確に法線情報を生成できる）かどうかを判断し、機能すると考えられる場合には、陰領域、影領域分割処理を行ない、機能しないと考えられる場合には、陰影領域の分割処理を中止し、陰影領域からの法線情報生成処理を中止する。

図３７は、本実施の形態における法線情報生成装置１００ｃが搭載されたカメラ２００ａのハードウェア構成例を示している。このカメラ２００ａは、法線情報を生成する機能を備える撮像装置であり、パターン偏光子２０１、撮像素子２０２、メモリ２０３、ＣＰＵ２０４、角度センサ２０５、表示部２０８およびスピーカ２０９を備える。なお、図３７において、図２と共通の構成要素には図２と同一の符号を付しており、その詳細な説明を省略する。

角度センサ２０５は、カメラ２００ａの光軸方向を検出し、その情報を出力する。

表示部２０８は、撮像条件判定部１０６によって撮像シーンが上記条件１を満たさないと判断された場合に、その旨のメッセージを表示するディスプレイである。

スピーカ２０９は、撮像条件判定部１０６によって撮像シーンが上記条件１を満たさないと判断された場合に、その旨のメッセージを音声で出力する。

なお、図３６に示された光軸方向検出部３１２は、図３７に示された角度センサ２０５によって実現される。図３６に示された光軸方向比較部３１３は、図３７に示されたＣＰＵ２０４がメモリ２０３に格納されたプログラムを実行することによって実現される。

図３８は、本実施の形態における法線情報生成装置１００ｃによる処理の流れを示すフローチャートである。なお、図３８において、図４と共通のステップには図４と同一の符号を付しており、その詳細な説明を省略する。

本実施の形態では、光軸方向検出部３１２（角度センサ２０５）は、法線情報生成装置１００ｃ（カメラ２００ａ）の光軸方向を示す光軸方向情報を取得する（Ｓ１０６）。こうして求めた光軸方向情報を利用して、撮影シーンが、法線情報の生成が実現可能な環境であるかどうかが判断される（Ｓ１０７）。これは、光軸方向比較部３１３が、法線情報生成装置１００ｃ（カメラ２００ａ）の光軸方向が上方を向いているかどうかを判断することによって行われる。光軸方向比較部３１３は、例えば、光軸が水平方向から４５度以上上方を向いている場合には、光軸方向が上方を向いていると判断する。この閾値４５度は、実験的に決定すればよく、このような閾値は、ＤＢ３０２に保持しておけばよい。ここで、光軸方向が上方を向いていると判断された場合、撮像条件判定部１０６は撮像シーンが条件１を満たさないと判断し（Ｓ１０７でＮｏ）、領域分割部１０３は、偏光情報生成部１０２が生成した偏光情報や偏光画像撮像部１０１が取得した輝度情報を利用し、画像を拡散反射領域、鏡面反射領域、陰影領域に分類する（Ｓ１０８）。このケースでは、条件１が満たされていないため、陰影領域を陰領域と影領域とに分類することは行なわれない。続いて、法線情報生成部１０４は、領域分割部１０３が行なった領域分割結果に基づき、偏光情報から法線情報を生成する（Ｓ１０９）。図３９は、この処理（Ｓ１０９）の詳細な流れを示すフローチャートである。なお、図３９において、図２１と共通のステップには図２１と同一の符号を付しており、その詳細な説明を省略する。

法線情報生成部１０４は、領域分割部１０３が検出した光学的領域分割の結果を基に、画素において拡散反射成分が支配的かどうかを判断する（Ｓ３０１）。もし、拡散反射成分が支配的であると判断された場合（Ｓ３０１でＹｅｓ）、法線情報生成部１０４は、その画素の法線情報を拡散反射仮定で生成する（Ｓ３０２）。具体的には、出射面における法線の１自由度を、偏光板を回転させて変化する輝度の最大値となる角度として求める。また、画素は拡散反射成分が支配的ではなく（Ｓ３０１でＮｏ）、鏡面反射成分が支配的であった場合（Ｓ３０７でＹｅｓ）、法線情報生成部１０４は、その画素の法線情報を鏡面反射仮定で法線情報を生成する（Ｓ３０４）。具体的には、入射面における法線の１自由度を、偏光板を回転させて変化する輝度の最小値となる角度として求める。一方、画素が陰影領域であった場合、つまり、拡散反射成分も鏡面反射成分も支配的ではない場合（Ｓ３０７でＮｏ）、法線情報生成部１０４は、画素の偏光情報は誤差が支配的であり、正確な法線情報は生成できないと判断し、法線情報生成処理を行なわない（Ｓ３０５）。

一方、光軸方向が上方を向いていないと判断された場合（Ｓ１０７でＹｅｓ）、撮像条件判定部１０６は、撮像シーンが条件１を満たすと判断し、領域分割部１０３が光学的領域分割処理を行ない（Ｓ１０３）、続いて、法線情報生成部１０４が法線情報を生成する（Ｓ１０４）。

なお、撮像条件判定部１０６によって撮像シーンが条件１を満たさないと判断された場合、表示部２０８が「陰影領域の法線情報生成処理が実現できません」などとディスプレイに表示したり、スピーカ２０９が音声信号を発生させることで同様のメッセージを撮像者に伝えるのが望ましい。

もっとも、撮像条件判定部１０６によって撮像シーンが条件１を満たさないと判断された場合、光学的領域分割処理や法線情報生成処理を行なわないのではなく、陰影領域に関しては拡散反射仮定で法線情報を生成し、表示部２０８が「法線情報生成処理が不安定です」などとディスプレイに表示したり、スピーカ２０９が音声信号で発生させることで同様のメッセージを撮像者に伝えるようにしても構わない。

また、撮像条件判定部１０６によって撮像シーンが条件１を満たさないと判断された場合、法線情報生成部１０４は、陰影領域に関しては、近傍の法線情報を利用して、補間処理などで、法線情報を合成しても構わない。補間処理については、従来の手法を利用すればよい。

また、撮像条件判定部１０６は、光軸方向検出部３１２を利用するものに限るわけではなく、例えば、法線情報生成装置１００ｃが置かれている環境を認識する機能を有する処理部を利用するようにしても構わない。これは、例えば、ソナーなどを利用することで実現する。このような環境認識機能を有する本実施の形態の変形例に係る法線情報生成装置について説明する。

図４０は、そのような変形例に係る法線情報生成装置が搭載されたカメラ２００ｂのハードウェア構成例を示している。このカメラ２００ｂは、図３７に示された本実施の形態におけるカメラ２００ａの構成のうち、角度センサ２０５をソナー２１０に置き換えた構成を備える。なお、図４０において、図３７と共通の構成要素には図３７と同一の符号を付しており、その詳細な説明を省略する。

図４１は、この変形例に係る法線情報装置が備える撮像条件判定部１０６ａの詳細な構成を示す機能ブロック図である。なお、この変形例に係る法線情報生成装置は、図３５に示された本実施の形態における法線情報生成装置１００ｃの構成のうち、撮像条件判定部１０６を撮像条件判定部１０６ａに置き換えた構成を備える。この撮像条件判定部１０６ａは、音波を発生し、音波の反射波を受信することで、周囲の対象物までの距離を測定するソナーを有し、ソナーによって当該法線情報生成装置の近傍に物体があるか否かを判断し、物体がないと判断した場合に、撮像シーンが撮像条件を満たしていないと判定する点に特徴を有し、ＤＢ３０２、撮像環境検出部３１５および撮像環境認識部３１６を備える。なお、図４１において、図３６と共通の構成要素には図３６と同一の符号を付しており、その詳細な説明を省略する。

撮像環境検出部３１５は、周囲の対象物までの距離を測定し、その距離情報を撮像環境情報として生成する処理部であり、図４０に示されたソナー２１０に相当する。

撮像環境認識部３１６は、撮像環境検出部３１５からの撮像環境情報を利用して、撮影シーンが光学的領域分割が実現可能な環境であるかどうかを判断する処理部である。

図４２は、この変形例に係る法線情報生成装置による処理の流れを示すフローチャートである。なお、図４２において、図３８と共通のステップには図３８と同一の符号を付しており、その詳細な説明を省略する。

本変形例に係る法線情報生成装置では、撮像環境検出部３１５は、撮像環境情報をソナー２１０で取得する（Ｓ１１１）。このソナー２１０は、アクティブソナーであり、超音波や音波を発生させ、その反射波を受信することで、周囲の対象物までの距離を測定する装置である。そのため、ソナー２１０を利用することで、カメラ２００ｂの周囲に物体があるかないか、また、物体がある場合、その物体までの距離情報を撮像環境情報として取得できる。なお、ソナー２１０は、魚群探知機などに広く使用されており、公知であるため、詳細な説明は省略する。

こうして求めた撮像環境情報を利用して、撮影シーンが、光学的領域分割が実現可能な環境であるかどうかが判断される（Ｓ１０７）。これは、撮像環境認識部３１６が、カメラ２００ｂの近傍に物体があるかどうかを判断することによって行われる。具体的には、撮像環境検出部３１５は、カメラ２００ｂの周囲（全方位）の物体までの距離情報を取得し、その距離が一定値ＴＨ＿Ｓより短い立体角の大きさを評価すればよい。このような立体角の大きさが閾値ＴＨ＿ＳＲより小さい場合、撮像条件判定部１０６は撮像シーンが条件１を満たさないと判断し（Ｓ１０７でＮｏ）、領域分割部１０３は、偏光情報生成部１０２が生成した偏光情報や偏光画像撮像部１０１が取得した輝度情報を利用し、画像を拡散反射領域、鏡面反射領域、陰影領域に分類する（Ｓ１０８）。条件１が満たされていないため、陰影領域を陰領域と影領域とに分類することは行なわない。さらに法線情報生成部１０４は、領域分割部１０３が行なった領域分割結果に基づき、偏光情報から法線情報を生成する（Ｓ１０９）。一方、このような立体角の大きさが閾値ＴＨ＿ＳＲより大きい場合、撮像条件判定部１０６は撮像シーンが条件１を満たすと判断し（Ｓ１０８でＹｅｓ）、領域分割部１０３によって光学的領域分割処理を行ない、さらに法線情報生成部１０４によって法線情報を生成する。

なお、このような閾値ＴＨ＿Ｓ、ＴＨ＿ＳＲは実験的に決定すればよく、また、ＤＢ３０２に保持しておけばよい。

以上のように、本実施の形態における法線情報生成装置によれば、陰影領域を陰領域と影領域とに分類し、陰領域に関しては、鏡面反射を仮定することで、正確な法線情報が生成される。また、偏光情報に誤差が多く、法線情報生成を行なっても精度が極端に悪くなる影領域に関しては、法線情報生成処理を行なわないことで、できるかぎり広い領域で高精度な法線情報生成を行なうことができる。さらに、もし、陰影領域の分類が困難な場合には、精度の悪い結果を求めるのではなく、処理ができないことを撮像者に知らせることで、信頼度の高い法線情報生成処理を行なうことができる。

（第４の実施の形態）
次に、本発明の第４の実施の形態における法線情報生成装置について説明する。

図４３は、本実施の形態における法線情報生成装置１００ｄの構成を示す機能ブロック図である。この法線情報生成装置１００ｄは、被写体の表面における法線情報を生成する装置であり、信頼性の低い法線情報を生成しない点に特徴を有し、図１に示される法線情報生成装置１００の構成に加えて、信頼性判定部１０７を備える。なお、図４３において、図１と共通の構成要素には図１と同一の符号を付しており、その詳細な説明を省略する。また、本実施の形態における法線情報生成装置１００ｄが搭載されたカメラは、図２に示される第１の実施の形態におけるカメラ２００と同じハードウェア構成を有している。

信頼性判定部１０７は、領域分割部１０３による光学的領域分割結果を利用して、光学的領域分割結果の信頼性を評価し、信頼性がない場合には光学的領域分割結果および法線情報を廃棄する。その結果、信頼性がない領域の法線情報が破棄される。

図４４は、本実施の形態における法線情報生成装置１００ｄによる処理の流れを示すフローチャートである。なお、図４４において、図４および図３８と共通のステップには図４および図３８と同一の符号を付しており、その詳細な説明を省略する。信頼性判定部１０７は、領域分割部１０３の光学的領域分割結果を利用して、上述した条件１が満たされているかどうか、つまり、光学的領域分割結果の信頼性を評価する（Ｓ１０７）。信頼性がない場合には（Ｓ１０７でＮｏ）、信頼性判定部１０７は、光学的領域分割結果および法線情報生成部１０４が生成した法線情報を廃棄する（Ｓ１１０）。

ここで、条件１が満たされているかどうかを判断するためには、陰影領域内に正反射多重反射光の影響により鏡面反射成分が支配的となる陰領域が存在するかどうかを判断すればよい。そのために、ここでは、撮像された偏光画像の偏光度と輝度値を利用して信頼性を評価する方法を説明する。これは、陰影領域において、鏡面反射偏光特性を示す画素が存在しない場合、つまり、撮像された画像上に陰領域が存在しない場合、条件１を満たしていないと判断すればよい。

図４５は、信頼性判定部１０７の詳細な構成を示す機能ブロック図である。信頼性判定部１０７は、ＤＢ３０２、蓄積部３０６および陰領域存在判断部３１４を備える。

蓄積部３０６は、領域分割部１０３によって行なわれた領域分割結果を蓄積している。

陰領域存在判断部３１４は、蓄積部３０６に蓄積された領域分割結果を参照し、十分な（予め定められたしきい値以上の）大きさの陰領域が分割されているかどうかを判断する処理部である。

図４４に示される信頼性判定部１０７による処理（Ｓ１０７、Ｓ１１０）の詳細は以下の通りである。

陰領域存在判断部３１４は、蓄積部３０６に蓄積された領域分割結果を参照し、十分な大きさの陰領域が分割されているかどうかを判断する（Ｓ１０７）。その結果、撮像画像中に十分な大きさ、例えば、ＶＧＡ画像において１００画素以上の陰領域が存在しなかった場合（Ｓ１０７でＮｏ）、信頼性判定部１０７は、撮像シーンが条件１を満たさないと判断し、陰影領域に関する光学的領域分割結果および法線情報を廃棄する（Ｓ１１０）。このとき、表示部２０８が「陰影領域の法線情報生成処理が実現できません」などとディスプレイに表示したり、スピーカ２０９が音声信号を発生させることで撮像者に伝えることが望ましい。一方、もし、撮像画像中に陰領域が存在した場合（Ｓ１０７でＹｅｓ）、信頼性判定部１０７は、撮像シーンが条件１を満たすと判断し、生成した法線情報を出力する。ここで、陰領域の大きさの閾値は実験的に決定すればよく、このような閾値はＤＢ３０２に保持しておけばよい。

以上のように、本発明の法線情報生成装置によれば、陰影領域を陰領域と影領域とに分類し、陰領域に関しては、鏡面反射を仮定することで、正確な法線情報が生成される。また、偏光情報に誤差が多く、法線情報生成を行なっても精度が極端に悪くなる影領域に関しては、法線情報生成処理を行なわないことで、できるかぎり広い領域で高精度な法線情報生成を行なうことができる。さらに、もし、陰影領域の分類が困難な場合には、精度の悪い結果を求めるのではなく、処理ができないことを撮像者に知らせることで、信頼度の高い法線情報生成処理を行なうことができる。

以上、本発明に係る法線情報生成装置について、第１〜第４の実施の形態およびその変形例を用いて説明したが、本発明は、これらの実施の形態および変形例に限定されるものではない。

各実施の形態および変形例における任意の構成要素を組み合わせて実現される別の形態や、各実施の形態および変形例に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。また、図４６に示されるように、本発明に係る法線情報生成装置を内蔵するデジタルスチルカメラやデジタルムービーカメラ等の応用製品も本発明に含まれる。

また、信頼性判定部１０７によって撮像シーンが条件１を満たさないと判断された場合、法線情報生成処理を行なわないのではなく、処理は行なうが、表示部２０８が「法線情報生成処理が不安定です」などとディスプレイに表示したり、スピーカ２０９が音声信号を発生させることで撮像者に伝えるようにしても構わない。

また、信頼性判定部１０７によって撮像シーンが条件１を満たさないと判断された場合、陰影領域だけではなく、すべての法線情報を廃棄するようにしても構わない。

また、図１４等に示される陰影領域検出部３０１は、影領域を検出するために、まず輝度値を用いて陰影領域を判断したが（図１５のＳ２０１等）、本発明は、このような手順に限定されず、偏光情報生成部１０２によって生成された偏光情報だけで影領域を検出してもよい。このような処理は、油絵など、影領域は存在するが、陰領域が存在しないことが分かっている被写体に対して有効である。これは、黒い絵の具のように、十分に小さい反射率をもつ被写体が存在する場合、前述の輝度値による判断のみでは陰影領域と黒い絵の具の区別がつかないためである。このような、本実施の形態の変形例に係る法線情報生成装置について図を用いて詳述する。

このような変形例に係る法線情報生成装置の構成を示す機能ブロック図は図１と同様であるため、ブロック構成の説明は省略する。

図４７は、このような変形例に係る法線情報生成装置による陰影検出処理の流れを示すフローチャートである。つまり、図１５に示された陰影領域検出処理（Ｓ２０１、Ｓ２０２、Ｓ２０４〜Ｓ２０６）の別の手法を示すフローチャートである。図４７に示されるように、偏光度比較部３０３は、画素の偏光度が閾値ＴＨ＿ＰＳより小さいか、大きいかを調べる（Ｓ４０７）。画素の偏光度が閾値ＴＨ＿ＰＤＳより大きかった場合（Ｓ４０７でＮｏ）、陰影領域検出部３０１は、その画素は影領域ではないと判断し（Ｓ４０２）、その画素において拡散反射が支配的であるか鏡面反射が支配的であるかを判定し（Ｓ２０２）、処理を終了する。一方、偏光度が閾値ＴＨ＿ＰＳより小さかった場合（Ｓ４０７でＹｅｓ）、陰影領域検出部３０１は、その画素が影領域であると判断し（Ｓ４０５）、処理を終了する。

図４８は、油絵の被写体を撮影した場合の偏光度ρを画像として表示した図である。この図において、図４８（ａ）は被写体である油絵の画像を示し、図４８（ｂ）は、図４８（ａ）に示された画像に対応する偏光度ρ（つまり、偏光情報生成部１０２によって生成された偏光情報）を示している。また、図４９は、このような変形例に係る法線情報生成装置によって、図４８（ａ）に示される画像に対して、図４８（ｂ）に示される偏光度ρを用いて抽出された影領域を示している。この図における黒色領域が、抽出された影領域である。なお、こうして抽出された影領域を最終的な影領域として出力してもよいし、あるいは、このように抽出された影領域に対して、画像処理で広く使われている領域の収縮膨張処理を行なうことにより、新たに再定義した領域を最終的な影領域として出力してもよい。

このような変形例に係る法線情報生成装置による画像処理のメリットは次の通りである。図４８及び図４９において、領域Ａは影領域を、領域Ｂは黒い絵の具の領域を示している。図４８（ａ）に示される画像では、これら領域Ａと領域Ｂの輝度情報がほぼ等しいことから分かるように、領域Ａと領域Ｂとの分離が困難である。しかしながら、図４８（ｂ）の偏光度情報を利用することで、図４９に示されるように、領域Ａは影領域であり、領域Ｂは影領域ではないと、正しく領域抽出ができている。

本発明に係る法線情報生成装置は、被写体の表面における法線情報を生成する法線情報生成装置として、例えば、被写体の３次元形状情報を生成する装置や、その情報を利用して画像を高精細化する装置として、具体的には、デジタルスチルカメラ、デジタルムービーカメラ、監視カメラなどに有用である。

図１は、本発明の第１の本実施の形態における法線情報生成装置の構成を示す機能ブロック図である。 図２は、本発明の第１、第２および第４の本実施の形態における法線情報生成装置が搭載されたカメラの構成図である。 図３は、図２に示されたカメラが備えるパターン偏光子と撮像素子との関係を示す模式図である。 図４は、本発明の第１の本実施の形態における法線情報生成装置による処理の流れを示すフローチャートである。 図５は、図２に示されたカメラが備えるパターン偏光子の配列状態を説明するための模式図である。 図６は、正弦関数輝度変化と観測輝度点を説明するための模式図である。 図７（ａ）は、球体であるプラスチック製ボールの被写体を示す図、（ｂ）〜（ｄ）は、それぞれ、その被写体を撮影した場合の偏光度ρ、偏光位相φ、偏光推定誤差Ｅを画像として表示した図である。 図８（ａ）〜図８（ｄ）は、それぞれ、図７（ａ）〜図７（ｄ）の濃淡を明瞭化した模式図である。 図９は、被写体の屈折率ｎ＝１．１、１．３、１．５、２．０の場合における鏡面反射成分の入射角に対する偏光度を示すグラフである。 図１０は、被写体の屈折率ｎ＝１．１、１．３、１．５、２．０の場合における拡散反射成分の出射角に対する偏光度を示すグラフである。 図１１は、陰領域と影領域による陰影領域の分類を説明するための模式図である。 図１２は、陰領域における多重反射光の入射を説明するための模式図である。 図１３は、影領域における多重反射光の入射を説明するための模式図である。 図１４は、本発明の第１の本実施の形態における領域分割部の詳細な構成を示す機能ブロック図である。 図１５は、本発明の第１の本実施の形態における領域分割部による処理の流れを示すフローチャートである。 図１６（ａ）図１６（ｂ）図１６（ｃ）は、本発明の第１の本実施の形態における領域分割部による光学的領域分割結果を示す図である。 図１７は、本発明の第１の本実施の形態における拡散反射鏡面反射分類処理の流れを示すフローチャートである。 図１８は、本発明の第１の本実施の形態における領域分割部による領域分割の具体例を示す図である。 図１９は、領域分割部による領域分割時の判断基準の具体例を示す図である。 図２０は、本発明の第１の本実施の形態における法線情報生成部の詳細な構成を示す機能ブロック図である。 図２１は、本発明の第１の本実施の形態における法線情報生成部による処理の流れを示すフローチャートである。 図２２は、本発明の第１の本実施の形態の変形例に係る領域分割部の構成を示す機能ブロック図である。 図２３は、図２２に示された領域分割部による拡散反射鏡面反射分類処理の流れを示すフローチャートである。 図２４は、本発明の第１の本実施の形態の変形例に係る領域分割部の構成を示す機能ブロック図である。 図２５は、図２４に示された領域分割部による処理の流れを示すフローチャートである。 図２６は、本発明の第１の本実施の形態の変形例に係る領域分割部の構成を示す機能ブロック図である。 図２７は、図２６に示された領域分割部による処理の流れを示すフローチャートである。 図２８は、フラッシュを利用した第１の本実施の形態の変形例における法線情報生成装置の構成を示す機能ブロック図である。 図２９は、図２８に示される法線情報生成装置による陰影検出処理の流れを示すフローチャートである。 図３０は、本発明の第２の本実施の形態における法線情報生成装置の構成を示す機能ブロック図である。 図３１は、本発明の第２の本実施の形態における法線情報生成装置による処理の流れを示すフローチャートである。 図３２は、本発明の第２の本実施の形態における領域分割部の詳細な構成を示す機能ブロック図である。 図３３は、本発明の第２の本実施の形態における領域分割部による処理の流れを示すフローチャートである。 図３４は、本発明の第２の本実施の形態における法線情報生成部による処理の流れを示すフローチャートである。 図３５は、本発明の第３の本実施の形態における法線情報生成装置の構成を示す機能ブロック図である。 図３６は、本発明の第３の本実施の形態における撮像条件判定部の詳細な構成を示す機能ブロック図である。 図３７は、本発明の第３の本実施の形態における法線情報生成装置が搭載されたカメラの構成例である。 図３８は、本発明の第３の本実施の形態における法線情報生成装置による処理の流れを示すフローチャートである。 図３９は、本発明の第３の本実施の形態における法線情報生成部による処理の流れを示すフローチャートである。 図４０は、ソナーを利用した本発明の第３の本実施の形態の変形例における法線情報生成装置が搭載されたカメラの構成例である。 図４１は、本発明の第３の本実施の形態における撮像条件判定部の詳細な構成を示す機能ブロック図である。 図４２は、図４０に示された法線情報生成装置による処理の流れを示すフローチャートである。 図４３は、本発明の第４の本実施の形態における法線情報生成装置の構成を示す機能ブロック図である。 図４４は、本発明の第４の本実施の形態における法線情報生成装置による処理の流れを示すフローチャートである。 図４５は、本発明の第４の本実施の形態における撮像条件判定部の詳細な構成を示す機能ブロック図である。 図４６（ａ）図４６（ｂ）は、発明に係る法線情報生成装置を内蔵する応用製品の例を示す図である。 図４７は、本発明の変形例に係る法線情報生成装置による陰影検出処理の流れを示すフローチャートである。 図４８（ａ）は、被写体である油絵の画像、図４８（ｂ）は、図４８（ａ）に示された画像に対応する偏光度ρ（偏光情報）を示す図である。 図４９は、同法線情報生成装置によって抽出された影領域を示す図である。

符号の説明

１００、１００ａ、１００ｂ、１００ｃ、１００ｄ 法線情報生成装置
１０１ 偏光画像撮像部
１０２ 偏光情報生成部
１０３、１０３ａ、１０３ｂ、１０３ｃ、１０３１ 領域分割部
１０４、１０４１ 法線情報生成部
１０５ 発光部
１０６、１０６ａ 撮像条件判定部
１０７ 信頼性判定部
１１０ 画像情報取得部
１２０ 陰影領域抽出部
２００、２００ａ、２００ｂ カメラ
２０１ パターン偏光子
２０２ 撮像素子
２０３ メモリ
２０４ ＣＰＵ
２０５ 角度センサ
２０６ 撮像単位
２０７ 発光装置
２０８ 表示部
２０９ スピーカ
２１０ ソナー
３０１ 陰影領域検出部
３０２ ＤＢ（データベース）
３０３ 偏光度比較部
３０４ 偏光推定誤差比較部
３０５ 領域判断部
３０６ 蓄積部
３０７ 領域参照部
３０８ 拡散反射仮定法線情報生成部
３０９ 鏡面反射仮定法線情報生成部
３１０ 輝度比較部
３１１ 低輝度画素検出部
３１２ 光軸方向検出部
３１３ 光軸方向比較部
３１４ 陰領域存在判断部
３１５ 撮像環境検出部
３１６ 撮像環境認識部

Claims (7)

1. 被写体の表面における法線情報を生成する法線情報生成装置であって、
   前記被写体からの光の輝度に関する情報である輝度情報及び前記被写体からの光の偏光に関する情報である偏光情報を含む被写体画像に関する情報を取得する画像情報取得部と、
   前記画像情報取得部で取得された輝度情報及び偏光情報に基づいて、光の当たり方によって被写体の表面に生じる陰領域、及び、被写体によって光が遮断されたことによって他の物体上に生じる影領域を、前記被写体画像から抽出する陰影領域抽出部と、
   前記陰影領域抽出部で抽出された陰領域について、前記画像情報取得部で取得された偏光情報を用いて、対応する前記被写体の表面での法線を特定する法線情報を生成する法線情報生成部とを備え、
   前記画像情報取得部は、
   偏光主軸角度が異なる複数の偏光子を透過してくる光を受光することで、前記輝度情報をもつ被写体の偏光画像を取得する偏光画像撮像部と、
   取得された前記偏光画像から、当該偏光画像を構成する単位画像のそれぞれについて、前記複数の偏光子の偏光主軸角度と前記複数の偏光子を透過した光の輝度との対応関係を用いて、前記偏光情報を生成する偏光情報生成部とを有し、
   前記陰影領域抽出部は、前記単位画像ごとに、前記偏光画像の偏光情報に基づいて、当該単位画像の偏光度と予め定められたしきい値とを比較し、前記偏光度が前記しきい値よりも小さい場合に、当該単位画像が、影領域に属すると判断する
   ことを特徴とする法線情報生成装置。
2. 前記偏光画像撮像部は、前記偏光画像を取得するための複数の撮像単位から構成され、
   前記複数の撮像単位のそれぞれは、
   異なる偏光主軸角度をもつ複数の偏光子と、
   前記複数の偏光子のそれぞれを通過した光を受光する複数の画素を有し、
   前記偏光情報生成部は、前記撮像単位で得られた画像を前記単位画像として偏光情報を生成する
   ことを特徴とする請求項１記載の法線情報生成装置。
3. 前記法線情報生成部は、前記陰領域については、前記対応関係において輝度が最小となる前記偏光主軸角度を、当該領域に対応する前記被写体の入射面の法線情報として生成する
   ことを特徴とする請求項１記載の法線情報生成装置。
4. 前記法線情報生成部は、陰領域及び影領域のうち、陰領域だけについて前記法線情報を生成する
   ことを特徴とする請求項１記載の法線情報生成装置。
5. 前記法線情報生成装置はさらに、前記陰影領域抽出部による領域抽出の結果を評価する
   ことで、領域抽出の信頼性があるか否かを判定し、信頼性がないと判定した場合に、前記陰影領域抽出部による領域抽出の結果および前記法線情報生成部により生成された法線情報を破棄する信頼性判定部を備える
   ことを特徴とする請求項１記載の法線情報生成装置。
6. 被写体の表面における法線情報を生成する法線情報生成方法であって、
   前記被写体からの光の輝度に関する情報である輝度情報及び前記被写体からの光の偏光に関する情報である偏光情報を含む被写体画像に関する情報を取得する画像情報取得ステップと、
   前記画像情報取得ステップで取得された輝度情報及び偏光情報に基づいて、光の当たり方によって被写体の表面に生じる陰領域、及び、被写体によって光が遮断されたことによって他の物体上に生じる影領域を、前記被写体画像から抽出する陰影領域抽出ステップと、
   前記陰影領域抽出ステップで抽出された陰領域について、前記画像情報取得ステップで取得された偏光情報を用いて、対応する前記被写体の表面での法線を特定する法線情報を生成する法線情報生成ステップとを含み、
   前記画像情報取得ステップは、
   偏光主軸角度が異なる複数の偏光子を透過してくる光を受光することで、前記輝度情報をもつ被写体の偏光画像を取得する偏光画像撮像ステップと、
   取得された前記偏光画像から、当該偏光画像を構成する単位画像のそれぞれについて、前記複数の偏光子の偏光主軸角度と前記複数の偏光子を透過した光の輝度との対応関係を用いて、前記偏光情報を生成する偏光情報生成ステップとを含み、
   前記陰影領域抽出ステップでは、前記単位画像ごとに、前記偏光画像の偏光情報に基づいて、当該単位画像の偏光度と予め定められたしきい値とを比較し、前記偏光度が前記しきい値よりも小さい場合に、当該単位画像が、影領域に属すると判断する
   ことを特徴とする法線情報生成方法。
7. 被写体の表面における法線情報を生成する法線情報生成装置のためのプログラムであって、
   請求項６記載の法線情報生成方法に含まれるステップをコンピュータに実行させる
   ことを特徴とするプログラム。

Images