JP2015114307A - 画像処理装置と画像処理方法および撮像装置 - Google Patents

Abstract

【課題】高精度のデプスマップを生成しつつ、画素数の減らない画像を取得できるようにする。
【解決手段】 デプスマップ生成部１５は、偏光方向が異なる画素を含む画素構成の第１の撮像部によって生成された第１の画像と、前記第１の撮像部と画素構成が異なる第２の撮像部によって生成された第２の画像とを用いたマッチング処理によって、デプスマップを生成する。法線マップ生成部１７は、第１または第２の画像の少なくとも何れかの偏光画像の偏光状態に基づいて法線マップを生成する。マップ統合部１９は、生成されたデプスマップと法線マップの統合処理を行い、生成されたデプスマップ以上の精度のデプスマップを生成しつつ、画素数の減らない画像を取得する。
【選択図】 図１

Description

この技術は、画像処理装置と画像処理方法および撮像装置に関し、高精度のデプスマップを生成しつつ、画素数の減らない画像を取得できるようにする。

近年、３Ｄプリンタの低価格化等に伴い、３次元形状を手軽に取得する手段が求められている。

被写体の３次元形状を取得する手段としては、アクティブ方式とパッシブ方式が存在する。アクティブ方式は、例えば光を被写体に照射して、被写体からの反射光に基づき３次元形状を取得する方式であり、消費電力や部品コスト等から手軽な方式ではない。このアクティブ方式に対してパッシブ方式は、被写体に光を照射することなく３次元形状を取得する方式であり、アクティブ方式に比べて手軽な方式である。パッシブ方式では、例えばステレオカメラを用いて画像間の対応を求めることでデプスマップを生成する手法や、複数の方向の偏光画像を取得して法線マップを生成する手法が用いられている。

パッシブ方式において、ステレオカメラを用いる手法では被写体の平坦部のデプスが取得できないという問題が知られている。また、複数の方向の偏光画像を用いる手法では、被写体の相対的な表面形状は取得できるが絶対的な距離を取得できないことが知られている。さらに、複数の方向の偏光画像を用いる手法では、被写体の法線の方位角に１８０度の不定性があることが知られている。そこで、特許文献１では、ステレオカメラの個々のカメラに搭載されているイメージセンサの各画素に偏光方向の異なる偏光フィルタを配置することで、ステレオカメラによるデプスマップの取得と偏光イメージングによる法線マップの取得を同時に行う。さらに、特許文献１では、デプスマップを参照することで法線マップの持つ１８０度の不定性の解決および絶対的な距離の取得が可能とされている。

国際公開第２００９／１４７８１４号

ところで、特許文献１は、４つの画素を画像単位として、この４つの画素に偏光方向が異なる偏光子をそれぞれ設ける構成を用いている。したがって、このような構成では、特定の偏光方向の偏光画像の画素数は元々のイメージセンサの画素数の（１／４）となってしまい、高精度のデプスマップを生成することができない。また，画素数が減ることで通常の画像としての品質も低下する。

そこで、この技術では、高精度のデプスマップを生成しつつ、画素数の減らない画像を取得できる画像処理装置と画像処理方法および撮像装置を提供することを目的とする。

この技術の第１の側面は、偏光方向が異なる画素を含む画素構成の第１の撮像部によって生成された第１の画像と、前記第１の撮像部と画素構成が異なる第２の撮像部によって生成された第２の画像とを用いたマッチング処理によって、デプスマップを生成するデプスマップ生成部と、前記デプスマップ生成部により生成された第１の画像または第２の画像の少なくとも何れかの偏光画像の偏光状態に基づいて法線マップを生成する法線マップ生成部と、前記デプスマップ生成部で生成されたデプスマップと前記法線マップ生成部で生成された法線マップの統合処理を行うマップ統合部とを有する画像処理装置にある。

この技術では、偏光方向が異なる画素を含む画素構成の第１の撮像部によって生成された第１の画像と、第１の撮像部と画素構成が異なる第２の撮像部によって生成された第２の画像とを用いてマッチング処理によってデプスマップが生成される。例えば第１の画像は、偏光方向が３方向以上の画素を含む第１の撮像部によって生成された画像であり、第２の画像は、偏光特性を持たない画素で構成された第２の撮像部によって生成された画像である場合、第１の画像から無偏光画像が生成されて、この無偏光画像と第２の画像のそれぞれのエッジ抽出画像を用いてマッチング処理が行われる。

第１の画像は、偏光特性を有した画素からなる第１の画素群と、第１の画素群と異なる偏光方向の画素または偏光特性を持たない画素からなる第２の画素群とで構成された画素構成の第１の撮像部で生成された画像であり、第２の画像は、第１の画素群と対応する位置で偏光方向が第１の画像とは異なる偏光方向の画素からなる第３の画素群と、第２の画素群と対応する位置で第２の画素群と等しい偏光方向の画素または偏光特性を持たない画素からなる第４の画素群とで構成された画素構成の第２の撮像部で生成された画像である場合、第１の画像における第２の画素群の画像と、第２の画像における第４画素群の画像とを用いることにより、偏光方向が等しい画像間または偏光特性を持たない画像間でマッチング処理が行われる。

また、第１または第２の画像の少なくとも何れかの偏光方向が３方向以上の偏光画像の偏光状態に基づいて法線マップが生成される。例えば、第１の画像は、偏光方向が３方向以上の画素を含む第１の撮像部によって生成された画像である場合、第１の画像に基づき法線マップが生成される。

第１の画像は、偏光特性を有した画素からなる第１の画素群と、第１の画素群と異なる偏光方向の画素または偏光特性を持たない画素からなる第２の画素群とで構成された画素構成の第１の撮像部で生成された画像であり、第２の画像は、第１の画素群と対応する位置で偏光方向が第１の画像とは異なる画素からなる第３の画素群と、第２の画素群と対応する位置で第２の画素群と等しい構成の画素からなる第４の画素群とで構成された画素構成の第２の撮像部で生成された画像である場合、第１の画像と第２の画像の視差量に基づき、第１の画像における第１の画素群の画像と、第２の画像における第３画素群の画像の位相を一致させて、偏光方向が複数方向の偏光画像が生成されて、この偏光画像の偏光状態に基づいて法線マップが生成される。

また、第２の画素群と第４の画素群が偏光特性を持たない画像である場合、第１の画素群の画像を用いた補間処理によって第２の画素群の画像を生成し、第３の画素群の画像を用いた補間処理によって第４の画素群の画像を生成して、補間後の画像を用いて偏光画像が生成される。

さらに、生成されたデプスマップと法線マップの統合処理が行われて、デプスマップで示されたデプス値と法線マップに基づいて判別した形状から、デプスマップで示されていないデプス値が算出されて、生成されたデプスマップ以上の精度のデプスマップが生成される。

また、第１の画像を生成する第１の撮像部と第２の画像を生成する第２の撮像部は、画像処理装置に設けられてもよく、また、第１の撮像部と第２の撮像部の何れか一方を外部装置に設けて、外部装置に設けられた撮像部で生成された画像を通信によって画像処理装置が取得するようにしてもよい。

この技術の第２の側面は、デプスマップ生成部で、偏光方向が異なる画素を含む画素構成の第１の撮像部によって生成された第１の画像と、前記第１の撮像部と画素構成が異なる第２の撮像部によって生成された第２の画像とを用いたマッチング処理を行いデプスマップを生成する工程と、法線マップ生成部で、前記生成された第１または第２の画像の少なくとも何れかの偏光画像の偏光状態に基づいて法線マップを生成する工程と、マップ統合部で、前記デプスマップと前記法線マップの統合処理を行う工程とを含む画像処理方法にある。

この技術の第３の側面は、偏光方向が異なる画素を含む画素構成の第１の撮像部と、前記第１の撮像部と画素構成が異なる第２の撮像部と、前記第１の撮像部により生成された第１の画像と前記第２の撮像部より生成された第２の画像とを用いて、画像処理を行う画像処理部とを備える撮像装置にある。

この技術の第４の側面は、偏光方向が異なる画素を含む画素構成の第１の撮像部と、前記第１の撮像部により生成された第１の画像を送信する送信部とを備える画像処理装置から、前記第１の画像を受信する受信部と、前記第１の撮像部と画素構成が異なる第２の撮像部と、前記受信部により受信成された第１の画像と前記第２の撮像部より生成された第２の画像とを用いて、画像処理を行う画像処理部とを備える画像処理装置にある。

この技術によれば、偏光方向が異なる画素を含む画素構成の第１の撮像部によって生成された第１の画像と、前記第１の撮像部と画素構成が異なる第２の撮像部によって生成された第２の画像とを用いたマッチング処理によって、デプスマップが生成される。また、第１または第２の画像の少なくとも何れかの偏光画像の偏光状態に基づいて法線マップが生成される。さらに、生成されたデプスマップと法線マップの統合処理が行われる。したがって、高精度のデプスマップを生成しつつ、画素数の減らない画像を取得できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

画像処理装置の機能構成を示すブロック図である。 第１の実施の形態の構成を例示した図である。 撮像部を構成するイメージセンサの画素構成を例示した図である。 被写体までの距離の算出を説明するための図である。 偏光画像の生成動作を説明するための図である。 輝度と偏光角の関係を例示した図である。 偏光度と天頂角と関係を例示した図である。 第１の実施の形態の処理動作を示すフローチャートである。 デプスマップ生成部の処理動作を示すフローチャートである。 マップの統合処理を説明するための図である。 第１の変形例における撮像部を構成するイメージセンサの画素構成を例示した図である。 第１の変形例におけるデプスマップ生成部の処理動作を示すフローチャートである。 第２の変形例の構成を例示した図である。 法線マップ生成処理部の動作を説明するための図である。 第２の変形例の処理動作を示すフローチャートである。 第２の実施の形態の構成を例示した図である。 撮像部を構成するイメージセンサの画素構成を例示した図である。 撮像部から供給された画像と補間処理後の画像を示した図である。 位相調整処理を説明するための図である。 第２の実施の形態の処理動作を示すフローチャートである。 デプスマップの生成処理を示すフローチャートである。 多偏光画像の生成処理を示すフローチャートである。 第１の変形例における撮像部を構成するイメージセンサの画素構成を例示した図である。 第２の変形例における撮像部を構成するイメージセンサの画素構成を例示した図である。 第３の実施の形態の外観を例示した図である。 第３の実施の形態の構成を例示した図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理装置について
２．第１の実施の形態
２−１．第１の実施の形態の構成と動作
２−２．第１の実施の形態の第１の変形例
２−３．第１の実施の形態の第２の変形例
３．第２の実施の形態
３−１．第２の実施の形態の構成と動作
３−２．第２の実施の形態の第１の変形例
３−３．第２の実施の形態の第２の変形例
４．第３の実施の形態

＜１．画像処理装置について＞
図１は、本技術の画像処理装置の機能構成を示すブロック図である。画像処理装置１０は、デプスマップ生成部１５と法線マップ生成部１７およびマップ統合部１９を有している。

デプスマップ生成部１５は、多視点画像からデプスマップを生成する。多視点画像は、偏光特性の異なる画素を含む画素構成の第１の撮像部によって生成された第１の画像に基づく無偏光画像と、第１の撮像部と画素構成が異なる第２の撮像部によって生成された第２の画像に基づく無偏光画像を用いる。また、デプスマップ生成部１５は、第１の画像に基づく偏光画像と、この偏光画像と偏光方向が等しい第２の画像に基づく偏光画像を用いてもよい。デプスマップ生成部１５は、例えば右視点の無偏光画像と左視点の無偏光画像、または、偏光方向が等しい右視点の偏光画像と左視点の偏光画像を用いてマッチング処理を行い、画素毎にデプス値を格納したデプスマップを生成する。デプスマップ生成部１５は、生成したデプスマップをマップ統合部１９へ出力する。

法線マップ生成部１７は、複数方向の偏光画像から法線マップを生成する。複数方向の偏光画像は、後述するように偏光方向が３方向以上である偏光画像である。法線マップ生成部１７は、偏光特性の異なる画素を含む画素構成の第１の撮像部によって生成された偏光方向が３方向以上である画素で構成された第１の画像を用いる。また、法線マップ生成部１７は、偏光特性の異なる画素を含む画素構成の第１の撮像部によって生成された偏光方向が複数の画素を含む第１の画像と、第１の撮像部と画素構成が異なる第２の撮像部によって生成された偏光方向が第１の画像とは異なる複数の画素を含む第２の画像を用いる。法線マップ生成部１７は、偏光方向が３方向以上である偏光画像を用いて、画素毎に法線情報を格納した法線マップを生成する。なお、法線マップの法線情報は、法線情報を積分することで被写体の表面形状を取得できる情報であり、被写体の表面形状は相対値であって被写体までの距離に関する情報を含んでいない。法線マップ生成部１７は、生成した法線マップをマップ統合部１９へ出力する。また、法線マップ生成部１７は、デプスマップ生成部１５で生成されたデプスマップを用いることで、後述するように１８０度の不定性が解決されている法線マップを生成してもよい。

マップ統合部１９は、デプスマップ生成部１５で生成されたデプスマップと法線マップ生成部１７で生成された法線マップの統合処理を行い、デプスマップ生成部１５で生成されたデプスマップ以上の精度を有したデプスマップを生成する。マップ統合部１９は、例えばデプスマップにおいてデプス値が取得できていない場合、法線マップを利用してデプス未取得領域に対応する被写体の表面形状を判別する。マップ統合部１９は、判別した表面形状と取得済みのデプス値に基づきデプス未取得領域のデプス値を推定することで、デプスマップ生成部１５で生成されたデプスマップ以上の精度を有したデプスマップを生成する。

＜２．第１の実施の形態＞
次に画像処理装置の第１の実施の形態について説明する。第１の実施の形態では、第１の撮像部が偏光特性の異なる画素を含む画素構成であり、第１の撮像部と画素構成が異なる第２の撮像部が偏光特性を有していない画素で構成されている場合について説明する。

＜２−１．第１の実施の形態の構成と動作＞
図２は、第１の実施の形態の構成を例示している。画像処理装置２０は、撮像部２１，２２、デプスマップ生成部２５、法線マップ生成部２７、マップ統合部２９を有している。撮像部２１，２２は、ステレオカメラに相当しており、画像処理装置２０と別個に設けられてもよい。

撮像部２１は、偏光特性の異なる画素を含む画素構成である第１の撮像部に相当する。また、撮像部２２は、偏光特性を有していない画素で構成されている第２の撮像部に相当する。

図３は、撮像部を構成するイメージセンサの画素構成を例示している。なお、図３はイメージセンサの一部を示している。また、図３の（Ａ）は撮像部２１を構成するイメージセンサ２１０の画素構成、図３の（Ｂ）は撮像部２２を構成するイメージセンサ２２０の画素構成を示している。

撮像部２１のイメージセンサ２１０は、各画素に偏光フィルタが配置された構成とされている。例えば、図３の（Ａ）に示すように、イメージセンサ２１０の偏光フィルタは、偏光方向（偏光方向を矢印で示す）が４方向とされており、撮像部２１では、４方向の偏光画像が得られる。撮像部２１は、生成した偏光画像をデプスマップ生成部２５と法線マップ生成部２７へ出力する。

撮像部２２のイメージセンサ２２０は、偏光フィルタが配置されていない単一色（例えば白色）の画素で構成されている。例えば、図３の（Ｂ）に示すように、イメージセンサ２２０は、偏光フィルタが配置されておらず、撮像部２２では無偏光画像が得られる。撮像部２２は、生成した無偏光画像をデプスマップ生成部２５へ出力する。

デプスマップ生成部２５は、前処理部２５１、デプスマップ生成処理部２５５を有している。

前処理部２５１は、撮像部２１から供給された偏光画像と撮像部２２から供給された無偏光画像のそれぞれからマッチング処理に用いるマッチング画像を生成する。上述のように、撮像部２１から供給された画像は、偏光フィルタを透過した偏光画像であるため、偏光フィルタが配置されていないイメージセンサを用いて撮像部２２で生成された無偏光画像に比べて輝度が低下している。したがって、前処理部２５１は、輝度レベルの違いに対応したマッチング処理を行うことができるように、マッチング画像を生成する。前処理部２５１は、撮像部２１から供給された偏光画像に対してフィルタ処理を行い無偏光画像を生成する。前処理部２５１は、例えば２画素×２画素の平均化フィルタ処理を行い、４方向の偏光方向の画素値の平均値を算出することで無偏光画像の画素値を生成できる。

次に、前処理部２５１は、撮像部２１から供給された偏光画像のフィルタ処理を行うことにより得られた無偏光画像と、撮像部２２から供給された無偏光画像に対して、エッジ抽出処理を行いそれぞれのエッジ抽出画像を生成する。前処理部２５１は、生成したそれぞれのエッジ抽出画像をマッチング画像としてデプスマップ生成処理部２５５へ出力する。このように、前処理部２５１は、エッジ抽出画像をマッチング画像として用いることから、輝度レベルの違いによる影響を受けることなくマッチング処理をデプスマップ生成処理部２５５で行うことができるようになる。

デプスマップ生成処理部２５５は、マッチング画像を用いてマッチング処理を行いデプスマップを生成する。マッチング手法は、領域ベースマッチングや特徴ベースマッチングテンプレートマッチングなど何れの手法を用いてもよい。デプスマップ生成処理部２５５は、マッチング処理を実行して、対応画素位置のずれ量に基づき各画素位置における被写体までの距離（以下「デプス値」という）を算出する。図４は、被写体までの距離の算出を説明するための図である。なお、図４は、撮像部２１と撮像部２２を同じ姿勢で左右に配置した場合を例示している。ここで、左側の撮像部を基準撮像部として右側の撮像部を参照撮像部とする。また、撮像部の基準位置の間隔（ベース長）を「ＬＢ」、撮像部の焦点距離を「ｆ」とする。この場合、基準撮像部における被写体の位置Ｘ_Ｌに対して、参照撮像部における被写体の位置Ｘ_Ｒが「Ｌｄ」だけずれると、被写体までの距離「Ｚｐ」は、式（１）に基づいて算出できる。

デプスマップ生成処理部２５５は、算出した距離（デプス値）を撮像画像の画素に対応付けてデプスマップを生成する。デプスマップ生成処理部２５５は、生成したデプスマップをマップ統合部２９へ出力する。

法線マップ生成部２７は、法線マップ生成処理部２７５を有している。法線マップ生成処理部２７５は、撮像部２１から供給された複数の偏光方向の偏光画像に基づき法線マップを生成する。図５は、偏光画像の生成動作を説明するための図である。図５に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、偏光板ＰＬを介して被写体ＯＢを撮像部ＣＭで撮像する。この場合、撮像部ＣＭで生成される偏光画像は、偏光板ＰＬの回転に応じて被写体ＯＢの輝度が変化することが知られている。ここで、偏光板ＰＬを回転させたときの最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板ＰＬの平面方向としたとき、偏光板ＰＬを回転させたときのｘ軸に対するｘｙ平面上の角度を偏光角υとする。偏光板ＰＬは、１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、拡散反射のモデルの場合、最大輝度Ｉmaxが観測されたときの偏光角υを方位角φとする。このような定義を行うと、偏光板ＰＬを回転させたときに観測される輝度Ｉは式（２）のように表すことができる。なお、図６は、輝度と偏光角の関係を例示している。

式（２）では、偏光角υが偏光画像の生成時に明らかであり、最大輝度Ｉmaxと最小輝度Ｉminおよび方位角φが変数となる。したがって、法線マップ生成処理部２７５は、変数が３つであることから、偏光方向が３方向以上の偏光画像の輝度を用いて式（２）に示す関数へのフィッティングを行い、輝度と偏光角の関係を示す関数に基づき最大輝度となる方位角φを判別する。

また、物体表面法線を極座標系で表現して、法線情報を方位角φと天頂角θとする。なお、天頂角θはｚ軸から法線に向かう角度、方位角φは、上述のようにｘ軸に対するｙ軸方向の角度とする。ここで、偏光板ＰＬを回転して得られた最小輝度Ｉminと最大輝度Ｉmaxを用いても式（３）の演算を行うことで偏光度ρを算出できる。

偏光度と天頂角と関係は、フレネルの式から例えば図７に示す特性を有することが知られており、図７に示す特性から偏光度ρに基づいて天頂角θを判別できる。なお、図７に示す特性は例示であって、被写体の屈折率に依存して特性は変化する。

したがって、法線マップ生成処理部２７５は、偏光方向が３方向以上の偏光画像に基づき、偏光方向と偏光画像の輝度から輝度と偏光角の関係を求めて、最大輝度となる方位角φを判別する。また、法線マップ生成処理部２７５は、輝度と偏光角の関係から得た最大輝度と最小輝度を用いて偏光度ρを算出して、偏光度と天頂角の関係を示す特性曲線に基づき、算出した偏光度ρに対応する天頂角θを判別する。このように、法線マップ生成処理部２７５は、偏光方向が３方向以上の偏光画像に基づき、被写体の法線情報（方位角φと天頂角θ）を画素位置毎に求めて法線マップを生成する。法線マップ生成処理部２７５は、生成した法線マップをマップ統合部２９へ出力する。

マップ統合部２９は、デプスマップと法線マップの統合処理を行う。マップ統合部２９は、法線マップで示された被写体表面形状とデプスマップで示されたデプス値に基づき、デプス値が得られている画素を起点として被写体表面形状を辿ることにより、デプス値が得られていない画素に対応するデプス値を推定する。また、マップ統合部２９は、推定したデプス値をデプスマップ生成部２５から供給されたデプスマップに含めることで、デプスマップ生成部２５から供給されたデプスマップ以上の精度を有するデプスマップを生成する。

図８は、第１の実施の形態の処理動作を示すフローチャートである。ステップＳＴ１で撮像部２１は、第１の画像を生成する。撮像部２１は、複数の偏光方向の偏光画像を第１の画像として生成する。また、ステップＳＴ２で撮像部２２は、第２の画像の生成を行う。撮像部２２は、無偏光画像を第２の画像として生成する。

ステップＳＴ３でデプスマップ生成部２５は、デプスマップを生成する。図９は、デプスマップ生成部の処理動作を示すフローチャートである。

ステップＳＴ１１でデプスマップ生成部２５は、無偏光画像を生成する。デプスマップ生成部２５の前処理部２５１は、第１の画像すなわち複数の偏光方向の偏光画像に対して平均化フィルタ処理等を行い、無偏光画像を生成する。

ステップＳＴ１３でデプスマップ生成部２５は、エッジ抽出処理を行う。デプスマップ生成部２５の前処理部２５１は、第２の画像である撮像部２２で生成された無偏光画像と、ステップＳＴ１１で生成した無偏光画像に対してエッジ抽出処理を行い、マッチング画像を生成する。デプスマップ生成部２５は、このようにエッジ抽出処理を行うことで、第１の画像と第２の画像の輝度レベルの違いによる影響のないマッチング画像を生成できる。

ステップＳＴ１４でデプスマップ生成部２５は、マッチング処理を行う。デプスマップ生成部２５のデプスマップ生成処理部２５５は、第１の画像から生成したマッチング画像と第２の画像から生成したマッチング画像を用いて、マッチング処理を行う。さらに、デプスマップ生成部２５は、マッチング処理結果に基づき、画素毎にデプス値を示すデプスマップを生成する。

図８のステップＳＴ４で法線マップ生成部２７は、法線マップを生成する。法線マップ生成部２７は第１の画像を用いて、画素毎に方位角φと天頂角θを判別して法線マップを生成する。

ステップＳＴ５でマップ統合部２９は、マップの統合処理を行う。マップ統合部２９は、デプスマップで示されたデプス値と法線マップで示された被写体表面形状に基づき、デプス値が得られている画素を起点として被写体表面形状を辿ることにより、デプス値が得られていない画素に対応するデプス値を推定する。また、マップ統合部２９は、推定したデプス値をデプスマップに含める。

図１０は、マップの統合処理を説明するための図である。なお、説明を簡単とするため、例えば１ラインについての統合処理について説明する。図１０の（Ａ）に示すように、撮像部２１，２２によって被写体ＯＢの撮像を行い、デプスマップ生成部２５で図１０の（Ｂ）に示すデプスマップ、法線マップ生成部２７で図１０の（Ｃ）に示す法線マップが得られたとする。また、デプスマップでは、例えば左端の画素に対するデプス値が「２（メートル）」であり、「×」で示す他の画素ではデプス値が格納されていないとする。マップ統合部２９は、法線マップに基づき、被写体ＯＢの表面形状を推定する。ここで、左端から２番目の画素は、この画素の法線方向に基づき、左端の画素に対応する被写体面から撮像部２１，２２の方向に近づく傾斜面に相当していることが判別できる。したがって、マップ統合部２９は、左端の画素を起点として被写体ＯＢの表面形状を辿ることにより左端から２番目の画素のデプス値を推定して、例えば「１．５（メートル）」とする。また、マップ統合部２９は、推定したデプス値をデプスマップに格納する。左端から３番目の画素は、この画素の法線方向に基づき撮像部２１，２２と対向する面に相当していることが判別できる。したがって、マップ統合部２９は、左端の画素を起点として被写体ＯＢの表面形状を辿ることにより左端から３番目の画素のデプス値を推定して、例えば「１（メートル）」とする。また、マップ統合部２９は、推定したデプス値をデプスマップに格納する。左端から４番目の画素は、左端から３番目の画素に対応する被写体面から撮像部２１，２２と離れる方向の傾斜面に相当していることが判別できる。したがって、マップ統合部２９は、左端の画素を起点として被写体ＯＢの表面形状を辿ることにより左端から４番目の画素のデプス値を推定して、例えば「１．５（メートル）」とする。また、マップ統合部２９は、推定したデプス値をデプスマップに格納する。同様に左端から５番目の画素のデプス値を推定して、例えば「２（メートル）」としてデプスマップに格納する。

このように、マップ統合部２９は、デプスマップと法線マップの統合処理を行い、デプスマップの持つデプス値を起点として法線マップに基づき表面形状を辿ることで、デプス値を推定する。したがって、マップ統合部２９は、デプスマップ生成部２５で生成された図１０の（Ｂ）に示すデプスマップで一部のデプス値が欠損していても、欠損しているデプス値を補うことが可能となる。したがって、図１０の（Ｂ）に示すデプスマップ以上の精度である図１０の（Ｄ）に示すデプスマップを生成できる。

以上のように、第１の実施の形態によれば、マッチング処理ではデプス値の取得が困難な被写体領域についても、複数の偏光方向の偏光画像に基づいて生成された法線マップを用いてデプス値の推定が可能となる。したがって、デプスマップ生成部２５で生成されたデプスマップ以上の精度を有した高精度のデプスマップ、すなわち被写体領域の画素毎にデプス値が格納されたデプスマップを生成できる。また、４つの画素を画像単位とした処理を行うことなく高精度のデプスマップを生成できることから、高精度のデプスマップを生成しつつ、画素数の減らない画像を取得できる。

＜２−２．第１の実施の形態の第１の変形例＞
上述の実施の形態では、撮像部２２において単一色の画素で構成されたイメージセンサを用いる構成を例示したが、複数色の画素で構成されたイメージセンサを用いる構成としてもよい。次に、第１の実施の形態の第１変形例として、赤色と青色と緑色の画素がベイヤー配列とされているイメージセンサを撮像部２２で用いる場合について説明する。なお、画像処理装置の構成は、図２と同様な構成とする。

図１１は、第１の変形例における撮像部を構成するイメージセンサの画素構成を例示している。なお、図１１はイメージセンサの一部を示している。また、図１１の（Ａ）は撮像部２１を構成するイメージセンサ２１０の画素構成、図１１の（Ｂ）は撮像部２２を構成するイメージセンサ２２１の画素構成を示している。なお、「Ｒ」は赤色画素、「Ｇ」は緑色画素、「Ｂ」は青色画素であることを示している。

撮像部２１のイメージセンサ２１０は、各画素に偏光フィルタが配置された構成とされている。例えば、図３の（Ａ）に示すように、イメージセンサ２１０の偏光フィルタは、偏光方向（偏光方向を矢印で示す）が４方向とされており、撮像部２１では、４方向の偏光画像が得られる。撮像部２１は、生成した偏光画像をデプスマップ生成部２５と法線マップ生成部２７へ出力する。

撮像部２２のイメージセンサ２２１は、例えば、図１１の（Ｂ）に示すように、偏光フィルタが配置されておらず、三原色の画素（Ｒ，Ｇ，Ｂ）がベイヤー配列とされた構成とされており、撮像部２２では無偏光画像が得られる。撮像部２２は、生成した無偏光画像をデプスマップ生成部２５へ出力する。

デプスマップ生成部２５は、前処理部２５１、デプスマップ生成処理部２５５を有している。

前処理部２５１は、撮像部２１から供給された偏光画像と撮像部２２から供給された無偏光画像のそれぞれからマッチング処理に用いるマッチング画像を生成する。上述のように、撮像部２１から供給された画像は、偏光フィルタを透過した偏光画像であるため、偏光フィルタが配置されていないイメージセンサを用いて撮像部２２で生成された無偏光画像に比べて輝度が低下している。したがって、前処理部２５１は、輝度レベルの違いに対応したマッチング処理を行うことができるように、マッチング画像を生成する。前処理部２５１は、撮像部２１から供給された偏光画像に対してフィルタ処理を行い無偏光画像を生成する。前処理部２５１は、例えば２画素×２画素の平均化フィルタ処理を行い、４方向の偏光方向の画素値の平均値を算出することで無偏光画像の画素値を生成できる。

次に、前処理部２５１は、撮像部２２で用いられているイメージセンサ２２１が三原色の画素をベイヤー配列とした構成であることから、デモザイク処理を行い輝度画像を生成する。前処理部２５１は、撮像部２１から供給された偏光画像のフィルタ処理後の無偏光画像と、撮像部２２から供給された無偏光画像に対してデモザイク処理を行うことにより得た輝度画像に対してエッジ抽出処理を行い、それぞれのエッジ抽出画像を生成する。前処理部２５１は、生成したそれぞれのエッジ抽出画像をマッチング画像としてデプスマップ生成処理部２５５へ出力する。このように、前処理部２５１は、エッジ抽出画像をマッチング画像として用いることから、輝度レベルの違いによる影響を受けることなくマッチング処理をデプスマップ生成処理部２５５で行うことができるようになる。

デプスマップ生成処理部２５５は、上述のようにマッチング画像を用いてマッチング処理を行いデプスマップを生成する。また、法線マップ生成部２７は、上述のように撮像部２１から供給された複数の偏光方向の偏光画像に基づき法線マップを生成する。

マップ統合部２９は、デプスマップと法線マップの統合処理を行う。マップ統合部２９は、法線マップで示された被写体表面形状とデプスマップで示されたデプス値に基づき、デプス値が得られている画素を起点として被写体表面形状を辿ることにより、デプス値が得られていない画素に対応するデプス値を推定する。また、マップ統合部２９は、推定したデプス値をデプスマップ生成部２５から供給されたデプスマップに含めることで、デプスマップ生成部２５から供給されたデプスマップ以上の精度を有するデプスマップを生成する。

図１２は、第１の変形例におけるデプスマップ生成部の処理動作を示すフローチャートである。ステップＳＴ２１でデプスマップ生成部２５は、無偏光画像を生成する。デプスマップ生成部２５の前処理部２５１は、第１の画像すなわち複数の偏光方向の偏光画像に対して平均化フィルタ処理等を行い、無偏光画像を生成する。

ステップＳＴ２２でデプスマップ生成部２５は、輝度画像を生成する。デプスマップ生成部２５の前処理部２５１は、第２の画像である撮像部２２で生成された無偏光の三原色画像に対してデモザイク処理を行い輝度画像を生成する。

ステップＳＴ２３でデプスマップ生成部２５は、エッジ抽出処理を行う。デプスマップ生成部２５の前処理部２５１は、ステップＳＴ２１で生成した無偏光画像とステップＳＴ２２で生成した輝度画像に対してエッジ抽出処理を行い、マッチング画像を生成する。デプスマップ生成部２５は、このようにエッジ抽出処理を行うことで、第１の画像と第２の画像の輝度差の影響のないマッチング画像を生成できる。

ステップＳＴ２４でデプスマップ生成部２５は、マッチング処理を行う。デプスマップ生成部２５のデプスマップ生成処理部２５５は、第１の画像から生成したマッチング画像と第２の画像から生成したマッチング画像を用いて、マッチング処理を行う。さらに、デプスマップ生成部２５は、マッチング処理結果に基づき、デプス値を示すデプスマップを生成する。

このような処理を行えば、撮像部２２において、三原色の画素（Ｒ，Ｇ，Ｂ）をベイヤー配列とした構成のイメージセンサを用いる場合でも、高精度のデプスマップを生成することができる。

＜２−３．第１の実施の形態の第２の変形例＞
上述の実施の形態における法線マップ生成部２７は、複数の偏光方向の偏光画像を用いて法線マップを生成している。上述のように、偏光板ＰＬは１８０度回転させると元の偏光状態に戻り、輝度変化は１８０度の周期を有しており、いわゆる１８０度の不定性を有することが知られている。そこで、第２の変形例では、デプスマップを用いて１８０度の不定性を除去する場合について説明する。

図１３は、第２の変形例の構成を例示している。画像処理装置２０は、撮像部２１，２２、デプスマップ生成部２５、法線マップ生成部２７、マップ統合部２９を有している。撮像部２１，２２は、ステレオカメラに相当しており、画像処理装置２０と別個に設けられてもよい。

撮像部２１は、偏光特性の異なる画素を含む画素構成である第１の撮像部に相当する。また、撮像部２２は、偏光特性を有していない画素で構成されている第２の撮像部に相当する。撮像部２１は、例えば図３の（Ａ）または図１１の（Ａ）に示す構成のイメージセンサを用いる。撮像部２２は、例えば図３の（Ｂ）または図１１の（Ｂ）に示す構成のイメージセンサを用いる。

デプスマップ生成部２５は、前処理部２５１、デプスマップ生成処理部２５５を有している。前処理部２５１は、撮像部２１から供給された偏光画像と撮像部２２から供給された無偏光画像のそれぞれから上述のようにマッチング処理に用いるマッチング画像を生成する。デプスマップ生成処理部２５５は、マッチング画像を用いてマッチング処理を行いデプスマップを生成する。デプスマップ生成処理部２５５は、生成したデプスマップを法線マップ生成部２７とマップ統合部２９へ出力する。

法線マップ生成部２７は、法線マップ生成処理部２７６を有している。法線マップ生成処理部２７６は、法線マップ生成処理部２７５と同様な処理を行い、撮像部２１から供給された複数の偏光方向の偏光画像に基づき法線マップを生成する。また、法線マップ生成処理部２７６は、デプスマップに基づき被写体の勾配方向を判別して法線マップの生成を行い、１８０度の不定性を除去する。

図１４は、法線マップ生成処理部の動作を説明するための図である。図１４の（Ａ）に示す被写体ＯＢを撮像部２１で撮像して法線マップを生成する場合、偏光方向の回転に応じた輝度変化は１８０度の周期を有している。したがって、例えば図１４の（Ｂ）に示すように被写体ＯＢの上半分の領域ＧＡでは法線方向（矢印で示す）が正しい方向となり、下半分の領域ＧＢでは法線方向が逆方向となるおそれがある。ここで、デプスマップに基づき被写体ＯＢの勾配方向の判別を法線マップ生成処理部２７６で行うと、法線マップ生成処理部２７６は、被写体ＯＢが撮像部２１の方向に突出した形状であることを判別できる。また、法線マップ生成処理部２７６は、被写体ＯＢが撮像部２１の方向に突出した形状であることから、図１４の（Ｂ）に示す下半分の領域ＧＢの法線方向は逆方向であることを判別できる。したがって、法線マップ生成処理部２７６は、下半分の領域ＧＢの法線方向を逆方向とすることで、図１４の（Ｃ）に示すように、１８０度の不定性を除去した正しい法線マップを生成できる。

マップ統合部２９は、デプスマップと法線マップの統合処理を行う。マップ統合部２９は、法線マップで示された被写体表面形状とデプスマップで示されたデプス値に基づき、デプス値が得られている画素を起点として被写体表面形状を辿ることにより、デプス値が得られていない画素に対応するデプス値を推定する。また、マップ統合部２９は、推定したデプス値をデプスマップ生成部２５から供給されたデプスマップに含めることで、デプスマップ生成部２５から供給されたデプスマップ以上の精度を有するデプスマップを生成する。

図１５は、第２の変形例の処理動作を示すフローチャートである。ステップＳＴ３１で撮像部２１は、第１の画像を生成する。撮像部２１は、複数の偏光方向の偏光画像を第１の画像として生成する。また、ステップＳＴ３２で撮像部２２は、第２の画像を生成する。撮像部２２は、無偏光画像を第２の画像として生成する。

ステップＳＴ３３でデプスマップ生成部２５は、デプスマップを生成する。デプスマップ生成部２５は、無偏光画像の生成および無偏光画像に基づきマッチング画像の生成を行う。また、デプスマップ生成部２５は、マッチング画像を用いてマッチング処理を行い、マッチング処理結果に基づき、デプス値を示すデプスマップを生成する。

ステップＳＴ３４で法線マップ生成部２７は、法線マップを生成する。法線マップ生成部２７は第１の画像とデプスマップに基づき、１８０度の不定性を除去した法線マップを生成する。

ステップＳＴ３５でマップ統合部２９は、マップの統合処理を行う。マップ統合部２９は、デプスマップで示されたデプス値と法線マップで示された被写体表面形状に基づき、デプス値が得られている画素を起点として被写体表面形状を辿ることにより、デプス値が得られていない画素に対応するデプス値を推定する。また、マップ統合部２９は、推定したデプス値をデプスマップに含める。

このように、第２の変形例によれば、１８０度の不定性を除去して、正しい法線マップを生成することが可能となり、高精度のデプスマップを正しく生成できる。なお、第２の変形例では、法線マップ生成処理部２７６で正しい法線マップを生成してマップ統合部２９へ出力したが、マップ統合部２９で１８０度の不定性の除去を行うようにしてもよい。例えばマップ統合部２９は、デプスマップに基づき被写体の勾配方向を判別して、判別結果に基づき上述の法線マップ生成処理部２７５で生成された法線マップの法線方向を正しい方向に修正してからマップの統合処理を行うようにしてもよい。

＜３．第２の実施の形態について＞
次に画像処理装置の第２の実施の形態について説明する。第２の実施の形態において、第１の画像は、偏光特性を有した画素からなる第１の画素群と、第１の画素群と異なる偏光方向の画素または偏光特性を持たない画素からなる第２の画素群とで構成された画素構成の第１の撮像部で生成された画像とする。第２の画像は、第１の画素群と対応する位置で偏光方向が第１の画像と異なる画素からなる第３の画素群と、第２の画素群と対応する位置で第２の画素群と等しい構成の画素からなる第４の画素群とで構成された画素構成の第２の撮像部で生成された画像とする。また、第２の実施の形態では、第１の画像における第２の画素群の画像と、第２の画像における第４画素群の画像とを用いることにより、偏光方向が等しい画像間または偏光特性を持たない画像間でマッチング処理を行いデプスマップを生成する。さらに、第２の画素群と第４の画素群が偏光特性を持たない画像である場合、第１の画素群と第３の画素群の偏光方向は合わせて３方向以上の偏光画像として、法線マップを生成する。

＜３−１．第２の実施の形態の構成と動作＞
図１６は、第２の実施の形態の構成を例示している。画像処理装置３０は、撮像部３１，３２、デプスマップ生成部３５、法線マップ生成部３７、マップ統合部３９を有している。撮像部３１，３２は、ステレオカメラに相当しており、画像処理装置３０と別個に設けられてもよい。

撮像部３１は、偏光特性を有した画素からなる第１の画素群と、第１の画素群と異なる偏光方向の画素または偏光特性を持たない画素からなる第２の画素群とで構成された画素構成である第１の撮像部に相当する。また、撮像部３２は、第１の画素群と対応する位置で偏光方向が第１の画像とは異なる画素からなる第３の画素群と、第２の画素群と対応する位置で第２の画素群と等しい構成の画素からなる第４の画素群とで構成された画素構成である第２の撮像部に相当する。

図１７は、撮像部を構成するイメージセンサの画素構成を例示している。なお、図１７はイメージセンサの一部を示している。また、図１７の（Ａ）は撮像部３１を構成するイメージセンサ３１０の画素構成、図１７の（Ｂ）は撮像部３２を構成するイメージセンサ３２０の画素構成を示している。

撮像部３１のイメージセンサ３１０は、無偏光の画素と複数の偏光方向の偏光フィルタを設けた画素が混在した構成とされている。例えば、図１７の（Ａ）に示すように、イメージセンサ３１０には、１ラインおきに無偏光の画素ラインが設けられている。また、偏光フィルタを設けたラインでは、異なる２種類の偏光方向（偏光方向を矢印で示す）の画素が交互に設けられている。したがって、撮像部３１では、第１の画素群である２方向の偏光方向の画素と第２の画素群である無偏光の画素からなる画像が得られる。撮像部３１は、生成した画像をデプスマップ生成部３５と法線マップ生成部３７へ出力する。

撮像部３２のイメージセンサ３２０は、無偏光の画素と複数の偏光方向の偏光フィルタを設けた画素が混在した構成とされている。例えば、図１７の（Ｂ）に示すように、イメージセンサ３２０には、イメージセンサ３１０と同様に無偏光の画素ラインが設けられている。また、偏光フィルタを設けたラインでは、撮像部３１のイメージセンサ３１０とは異なる２種類の偏光方向（偏光方向を矢印で示す）の画素が交互に設けられている。したがって、撮像部３２では、撮像部３１と異なる２方向の偏光方向である第３の画素群の画素と第４の画素群である無偏光の画素からなる画像が得られる。撮像部３２は、生成した画像をデプスマップ生成部３５と法線マップ生成部３７へ出力する。すなわち、図１７の場合、偏光方向が４方向の偏光画像が法線マップ生成部３７へ出力されることになる。

デプスマップ生成部３５は、前処理部３５１、デプスマップ生成処理部３５５を有している。

前処理部３５１は、撮像部３１，３２から供給された画像から無偏光部分の画像を抽出して、マッチング処理に用いるマッチング画像としてデプスマップ生成処理部３５５へ出力する。

デプスマップ生成処理部３５５は、マッチング画像を用いてマッチング処理を行いデプスマップを生成する。デプスマップ生成処理部３５５は、上述のデプスマップ生成処理部２５５と同様にマッチング処理を実行して、対応画素位置のずれ量に基づき各画素位置における被写体までの距離（デプス値）を算出する。また、デプスマップ生成処理部３５５は、無偏光部分の画素について算出したデプス値を用いてデプス補間処理を行い、偏光フィルタが設けられている画素のデプス値を算出する。デプスマップ生成処理部３５５は、デプス値を撮像画像の画素に対応付けてデプスマップを生成する。デプスマップ生成処理部３５５は、算出したデプス値を撮像画像の画素に対応付けてデプスマップを生成する。デプスマップ生成処理部３５５は、生成したデプスマップを法線マップ生成部３７とマップ統合部３９へ出力する。

法線マップ生成部３７は、画像位相調整部３７１と法線マップ生成処理部３７５を有している。

画像位相調整部３７１は、デプスマップ生成部３５から出力されたデプスマップをディスパリティマップに変換する。画像位相調整部３７１は、デプスマップで示された画素毎のデプス値に基づき視差量を判別してディスパリティマップを生成する。なお、デプスマップ生成部３５ではマッチング処理によって画素位置にずれ量を画素毎に算出していることから、画像位相調整部３７１は、デプスマップ生成部３５から画素毎のずれ量を取得してディスパリティマップを生成してもよい。

また、画像位相調整部３７１は、撮像部３１と撮像部３２から供給された画像のそれぞれに対して、偏光画像が得られていない無偏光画像のラインの画像補間処理を行い、偏光方向が異なる複数の方向の画素からなる偏光画像をそれぞれ生成する。図１８は、撮像部から供給された画像と補間処理後の画像を示している。なお、図１８の（Ａ）は、撮像部３１から供給された画像の偏光方向を示しており、図１８の（Ｂ）は補間処理後の画像の偏光方向を示している。画像位相調整部３７１は、上側や下側に隣接する偏光画像の画素を用いて補間を行い、例えば上側に隣接する画素の画素値と下側に隣接する画素の画素値の平均値を無偏光画像の画素位置の画素値として、偏光方向が２方向の画素からなる偏光画像を生成する。画像位相調整部３７１は、撮像部３２から供給された画像に対しても同様に画像補間処理を行い、撮像部３１から供給された画像とは偏光方向が異なる２方向の画素からなる偏光画像を生成する。

さらに、画像位相調整部３７１は、ディスパリティマップに基づき、撮像部３１からの画像に対する補間処理後の偏光画像と撮像部３２からの画像に対する補間処理後の偏光画像の位相を一致させる。図１９は位相調整処理を説明するための図である。図１９の（Ａ）は撮像部３１から供給された画像の補間処理後における偏光画像の一部を示している。図１９の（Ｂ）は撮像部３２から供給された画像の補間処理後における偏光画像の一部を示している。図１９の（Ｃ）はディスパリティマップの一部を例示している。なお、ディスパリティマップのディスパリティ値（視差量）は、デプスマップのデプス値と一対一に対応しており、上述のように２つの撮像部の基準位置の間隔「ＬＢ」と撮像部の焦点距離「ｆ」から容易に双方向で変換可能である。視差量は、被写体の同じ部分に対応する撮像部３１から供給された画像上の画素と撮像部３２から供給された画像上の画素の関係を示している。撮像部３２から供給された画像上における例えば画素Ｐg2（図示せず）に対応する撮像部３１から供給された画像上の画素Ｐg1（図示せず）は、ディスパリティマップの視差量を参照することで判別できる。ここで、視差量の値が「２（画素）」であるとすると、画素Ｐg2よりも２画素右側に位置する画素Ｐg1が被写体の同じ部分に対応する。したがって、画像位相調整部３７１は、ディスパリティマップを参照して、撮像部３２から供給された補間処理後の画像の位相を調整して、撮像部３１から供給された補間処理後の画像と画像の位相が一致している図１９の（Ｄ）に示す位相一致画像を生成する。ここで、ディスパリティマップが図１９の（Ｃ）に示す値である場合、上半分が「１（画素）」であり下半分が「２（画素）」である。したがって、画像位相調整部３７１は、撮像部３２から供給された補間処理後の画像の上半分を「１（画素）」だけ右にずらす処理と、下半分を「２（画素）」だけ右にずらす処理を行い、位相を一致させた画像を生成する。

画像位相調整部３７１は、以上のような処理を行い偏光方向が異なる２方向の偏光画像と、この画像と位相が一致しており偏光方向が異なる２方向の偏光画像を生成して法線マップ生成処理部３７５へ出力する。すなわち、画像位相調整部３７１は、被写体の視差の影響が除かれた多偏光画像を法線マップ生成処理部３７５へ出力する。

法線マップ生成処理部３７５は、画像位相調整部３７１から供給された複数の偏光方向の偏光画像に基づき法線マップを生成して、マップ統合部３９へ出力する。

マップ統合部３９は、デプスマップと法線マップの統合処理を行う。マップ統合部３９は、法線マップで示された被写体表面形状とデプスマップで示されたデプス値に基づき、デプス値が得られている画素を起点として被写体表面形状を辿ることにより、デプス値が得られていない画素に対応するデプス値を推定する。また、マップ統合部３９は、推定したデプス値をデプスマップ生成部３５から供給されたデプスマップに含めることで、デプスマップ生成部３５から供給されたデプスマップ以上の精度を有するデプスマップを生成する。

図２０は、第２の実施の形態の処理動作を示すフローチャートである。ステップＳＴ４１で撮像部３１は、第１の画像を生成する。撮像部３１は、偏光特性を有した画素からなる第１の画素群と、第１の画素群と異なる偏光方向の画素または偏光特性を持たない画素からなる第２の画素群からなる第１の画像を生成する。また、ステップＳＴ４２で撮像部３２は、第１の画素群と対応する位置で偏光方向が第１の画像と異なる画素からなる第３の画素群と、第２の画素群と対応する位置で第２の画素群と等しい構成の画素からなる第４の画素群からなる第２の画像を生成する。

ステップＳＴ４３でデプスマップ生成部３５はデプスマップを生成する。図２１はデプスマップの生成処理を示すフローチャートである。ステップＳＴ５１でデプスマップ生成部３５は、第２と第４の画素群を用いてデプスマップを生成する。デプスマップ生成部３５は、第２と第４の画素群の画像を用いてマッチング処理を行い、画素毎に被写体までの距離（デプス値）を算出してデプスマップを生成する。

ステップＳＴ５２でデプスマップ生成部３５は、デプス補間処理を行う。デプスマップ生成部３５は、第２（第４）の画素群の画素について算出したデプス値を用いた補間処理によって、第１（第３）の画素群の画素についてのデプス値を算出する。このように、デプスマップ生成部３５は、デプス補間処理を行うことで第１（第３）の画素群および第２（第４）の画素群の画素毎にデプス値を示すデプスマップを生成する。

図２０のステップＳＴ４４で法線マップ生成部３７は多偏光画像を生成する。図２２は多偏光画像の生成処理を示すフローチャートである。ステップＳＴ６１で法線マップ生成部３７はディスパリティマップを生成する。法線マップ生成部３７は、図２０のステップＳＴ４３で生成したデプスマップをディスパリティマップに変換する。なお、法線マップ生成部３７は、ディスパリティマップ生成時に行われたマッチング処理によって得られた画素位置毎のずれ量を用いてもよい。

ステップＳＴ６２で法線マップ生成部３７は画像補間処理を行う。法線マップ生成部３７は、撮像部３１から供給された第１の画像と撮像部３２から供給された第２の画像のそれぞれに対して、偏光画像が得られていない無偏光画像の画素位置に対して画像補間処理を行い偏光画像を生成する。

ステップＳＴ６３で法線マップ生成部３７は画像位相調整を行う。法線マップ生成部３７は、ディスパリティマップに基づき画像の移動を行い、第１の画像に対する補間処理後の偏光画像と第２の画像に対する補間処理後の偏光画像における画像の位相を一致させて、視差の影響を除いた多偏光画像を生成する。

図２０のステップＳＴ４５で法線マップ生成部３７は法線マップを生成する。法線マップ生成部３７は、ステップＳＴ４４で生成された多偏光画像に基づき法線マップを生成する。

ステップＳＴ４６でマップ統合部３９は、マップの統合処理を行う。マップ統合部３９は、デプスマップで示されたデプス値と法線マップで示された被写体表面形状に基づき、デプス値が得られている画素を起点として被写体表面形状を辿ることにより、デプス値が得られていない画素に対応するデプス値を推定する。また、マップ統合部３９は、推定したデプス値をデプスマップに含める。

以上のように、第２の実施の形態によれば、例えば第１の撮像部と第２の撮像部のそれぞれで偏光画像を生成する場合でも、デプスマップ生成部３５でデプスマップを生成することが可能となる。また、法線マップ生成部３７では、画像の位相合わせを行い視差の影響を除いた多偏光画像に基づき法線マップを生成することが可能となる。したがって、生成されたデプスマップと法線マップと統合することで、デプスマップ生成部３５で生成されたデプスマップ以上の精度を有した高精度のデプスマップ、すなわち被写体領域の画素毎にデプス値が格納されたデプスマップを生成できる。また、高精度のデプスマップを生成しつつ、画素数の減らない画像を取得できる

さらに、撮像部３１のイメージセンサおよび撮像部３２のイメージセンサの画素には、最大で偏光方向が２方向の平均化フィルタのみが行われるため、平均化フィルタの影響を抑えて高精度のデプスマップを生成できる。

＜３−２．第２の実施の形態の第１の変形例＞
上述の実施の形態では、撮像部３１，３２において単一色の画素で構成されたイメージセンサを用いる構成を例示したが、複数色の画素で構成されたイメージセンサを用いる構成としてもよい。次に、第２の実施の形態の第２変形例として、赤色と青色と緑色の画素がベイヤー配列とされているイメージセンサを撮像部３１，３２で用いる場合について説明する。なお、画像処理装置の構成は、図１６と同様な構成する。

図２３は、第１の変形例における撮像部を構成するイメージセンサの画素構成を例示している。なお、図２３はイメージセンサの一部を示している。また、図２３の（Ａ）は撮像部３１を構成するイメージセンサ３１１の画素構成、図２３の（Ｂ）は撮像部３２を構成するイメージセンサ３２１の画素構成を示している。なお、「Ｒ」は赤色画素、「Ｇ」は緑色画素、「Ｂ」は青色画素であることを示している。

撮像部３１のイメージセンサ３１１は、赤色と青色と緑色の画素がベイヤー配列とされており、所定色の画素例えば緑画素に偏光フィルタが配置された構成とされている。図２３の（Ａ）に示すように、イメージセンサ３１１の偏光フィルタは、異なる２種類の偏光方向（偏光方向を矢印で示す）とされている。撮像部３１は、第１の画素群である２方向の偏光方向の画素（緑色）および第２の画素群の無偏光の画素（赤色と青色）の画像からなる第１の画像を生成して、デプスマップ生成部３５と法線マップ生成部３７へ出力する。

撮像部３２のイメージセンサ３２１は、赤色と青色と緑色の画素がベイヤー配列とされており、緑画素に偏光フィルタが配置された構成とされている。例えば、図２３の（Ｂ）に示すように、イメージセンサ３２１の偏光フィルタは、イメージセンサ３１１と異なる２種類の偏光方向（偏光方向を矢印で示す）とされている。撮像部３２は、撮像部３１と異なる２方向の偏光方向の第３の画素群である画素（緑色）および第４の画素群の無偏光の画素（赤色と青色）の画像からなる第２の画像を生成して、デプスマップ生成部３５と法線マップ生成部３７へ出力する。

デプスマップ生成部３５は、前処理部３５１、デプスマップ生成処理部３５５を有している。前処理部３５１は、撮像部３１と撮像部３２から供給された画像の無偏光画像を用いてマッチング処理に用いるマッチング画像を生成する。例えば赤色画素または青色画素のみを用いて画像補間処理を行い、赤色または青色のマッチング画像を生成する。デプスマップ生成処理部３５５は、マッチング画像を用いてマッチング処理を行いデプスマップを生成する。

法線マップ生成部３７は、画像位相調整部３７１と法線マップ生成処理部３７５を有している。

画像位相調整部３７１は、デプスマップ生成部３５から出力されたデプスマップをディスパリティマップに変換する。画像位相調整部３７１は、デプスマップで示された画素毎のデプス値に基づき視差量を判別してディスパリティマップを生成する。なお、デプスマップ生成部３５ではマッチング処理によって画素毎にずれ量を算出していることから、画像位相調整部３７１は、デプスマップ生成部３５から画素毎のずれ量を取得してディスパリティマップを生成してもよい。

画像位相調整部３７１は、撮像部３１と撮像部３２から供給された画像のそれぞれに対して、偏光画像を用いて無偏光画像の画像補間処理を行い、偏光方向が異なる複数の方向の画素からなる偏光画像をそれぞれ生成する。さらに画像位相調整部３７１は、ディスパリティマップに基づき、撮像部３１からの画像に対する補間処理後の偏光画像と撮像部３１からの画像に対する補間処理後の偏光画像の位相を一致させて、被写体の視差の影響が除かれた多偏光画像を生成する。画像位相調整部３７１は、生成した多偏光画像を法線マップ生成処理部３７５へ出力する。

法線マップ生成処理部３７５は、画像位相調整部３７１から供給された複数の偏光方向の偏光画像に基づき法線マップを生成して、マップ統合部３９へ出力する。

マップ統合部３９は、デプスマップと法線マップの統合処理を行う。マップ統合部３９は、法線マップで示された被写体表面形状とデプスマップで示されたデプス値に基づき、デプス値が得られている画素を起点として被写体表面形状を辿ることにより、デプス値が得られていない画素に対応するデプス値を推定する。また、マップ統合部３９は、推定したデプス値をデプスマップ生成部３５から供給されたデプスマップに含めることで、デプスマップ生成部３５から供給されたデプスマップ以上の精度を有するデプスマップを生成する。

このように、第１の変形例によれば、複数色の画素で構成されたイメージセンサを用いる場合でも、デプスマップ生成部３５でデプスマップを生成することが可能となる。また、法線マップ生成部３７では、画像の位相合わせを行い視差の影響を除いた多偏光画像に基づき法線マップを生成することが可能となる。したがって、生成されたデプスマップと法線マップと統合することで、デプスマップ生成部３５で生成されたデプスマップ以上の精度を有したデプスマップを生成できる。

＜３−３．第２の実施の形態の第２の変形例＞
次に、第２の実施の形態の第２の変形例として、撮像部３１から供給された第１の画像の第１の画素群と撮像部３２から供給された第２の画像の第３の画素群との偏光方向が異なり、第１の画像の第２の画素群と第２の画像の第４の画素群の偏光方向が、第１および第２の画素群とは異なる偏光方向で互いに等しい場合について説明する。なお、画像処理装置の構成は、図１６と同様な構成する。

図２４は、第２の変形例における撮像部を構成するイメージセンサの画素構成を例示している。なお、図２４はイメージセンサの一部を示している。また、図２４の（Ａ）は撮像部３１を構成するイメージセンサ３１２の画素構成、図２４の（Ｂ）は撮像部３２を構成するイメージセンサ３２２の画素構成を示している。

撮像部３１のイメージセンサ３１２は、各画素に偏光フィルタが配置された構成とされている。例えば、図２４の（Ａ）に示すように、イメージセンサ３１２の偏光フィルタは、異なる２種類の偏光方向（偏光方向を矢印で示す）とされている。また、同じラインの画素は偏光方向が等しく構成されている。撮像部３１は、１つの偏光方向の第１の画素群のラインと他の偏光方向の第２の画素群のラインからなる第１の画像を生成して、デプスマップ生成部３５と法線マップ生成部３７へ出力する。

撮像部３２のイメージセンサ３２２は、各画素に偏光フィルタが配置された構成とされている。例えば、図２４の（Ｂ）に示すように、イメージセンサ３２２の偏光フィルタは、イメージセンサ３１２と等しい偏光方向（偏光方向を矢印で示す）と異なる偏光方向とされている。また、同じラインの画素は偏光方向が等しく構成されている。撮像部３２は、撮像部３１と異なる偏光方向の第３の画素群のラインと撮像部３１の第２の画素群と等しい偏光方向の第４の画素群のラインからなる第２の画像を生成して、デプスマップ生成部３５と法線マップ生成部３７へ出力する。したがって、図２４の場合には、偏光方向が３方向の偏光画像が法線マップ生成部３７へ供給される。なお、図２４では、イメージセンサ３１２，３２２において、等しい偏光方向が右上方向である場合を例示している。

デプスマップ生成部３５は、前処理部３５１、デプスマップ生成処理部３５５を有している。前処理部３５１は、撮像部３１と撮像部３２から供給された画像を用いてマッチング処理に用いるマッチング画像を生成する。前処理部３５１は、撮像部３１と撮像部３２で偏光方向が等しい画素の画像のみを用いて画像補間処理を行いマッチング画像を生成する。デプスマップ生成処理部３５５は、マッチング画像を用いてマッチング処理を行いデプスマップを生成する。

法線マップ生成部３７は、画像位相調整部３７１と法線マップ生成処理部３７５を有している。

画像位相調整部３７１は、撮像部３１と撮像部３２の位置の違いによって視差を生じることから、視差の影響が除かれた偏光画像を生成する。画像位相調整部３７１は、デプスマップ生成部３５から出力されたデプスマップをディスパリティマップに変換する。画像位相調整部３７１は、デプスマップで示された画素毎のデプス値に基づき視差量を判別してディスパリティマップを生成する。なお、デプスマップ生成部３５ではマッチング処理によって画素毎にずれ量を算出していることから、画像位相調整部３７１は、デプスマップ生成部３５から画素毎のずれ量を取得してディスパリティマップを生成してもよい。

また、画像位相調整部３７１は、ディスパリティマップに基づき、撮像部３１からの偏光画像と撮像部３２からの偏光画像の位相を一致させて、被写体の視差の影響が除かれた多偏光画像を法線マップ生成処理部３７５へ出力する。

法線マップ生成処理部３７５は、画像位相調整部３７１から供給された複数の偏光方向の偏光画像に基づき法線マップを生成して、マップ統合部３９へ出力する。

マップ統合部３９は、デプスマップと法線マップの統合処理を行う。マップ統合部３９は、法線マップで示された被写体表面形状とデプスマップで示されたデプス値に基づき、デプス値が得られている画素を起点として被写体表面形状を辿ることにより、デプス値が得られていない画素に対応するデプス値を推定する。また、マップ統合部３９は、推定したデプス値をデプスマップ生成部３５から供給されたデプスマップに含めることで、デプスマップ生成部３５から供給されたデプスマップ以上の精度を有するデプスマップを生成する。

このように、第２の変形例によれば、撮像部３１から供給された画像が複数の偏光方向の画像であり、撮像部３２から供給された画像が撮像部３１と等しい偏光方向と異なる偏光方向の画像である場合でも、デプスマップを生成することが可能となる。また、法線マップ生成部３７では、画像の位相合わせを行い視差の影響を除いた多偏光画像に基づき法線マップを生成することが可能となる。したがって、生成されたデプスマップと法線マップと統合することで、デプスマップ生成部３５で生成されたデプスマップ以上の精度を有したデプスマップを生成できる。

さらに、第２の実施の形態においても第１の実施の形態と同様に、デプスマップを用いて１８０度の不定性を除去して法線マップの生成してもよい。１８０度の不定性を除去することで、第２の実施の形態においても、精度よくデプスマップを生成できるようになる。

＜４．第３の実施の形態＞
上述の第１および第２の実施の形態では、画像処理装置に複数の撮像部が設けられている構成について例示したが、撮像部は分離可能な構成であってもよい。

図２５は、第３の実施の形態の外観を例示している。なお、図２５では、画像処理装置として例えばスマートフォンを用いている。

画像処理装置４０は、略長方形のケース状に形成され外筐４０１の内部に、図示せずも信号処理部、通信部、制御部等を有している。また、外筐４０１の一方の面（表面）に表示パネル４０２が設けられている。表示パネル４０２はタッチパネルを用いて構成されており表示パネル４０２の所定の各位置を操作することにより各種機能が実行される。外筐４０１の他方の面（裏面）に撮像部４２が設けられている。

撮像装置５０は、円筒状に形成された外筒部５０１の内部に、図示せずも撮像光学系、撮像部、信号処理部、通信部、制御部等を有している。外筒部５０１の前端部には円環状のコントロールリング５０２が設けられている。撮像装置５０は、コントロールリング５０２の回転に応じてフォーカス位置やズーム位置を変更する。また、外筒部５０１の側面にはズームボタン５０３とシャッターボタン５０４が設けられている。

撮像装置５０には、画像処理装置４０と撮像装置５０を一体的に取り付けるための取付機構部６０が設けられている。取付機構部６０には、取付部材６１が設けられており、矢印ＦＡ方向に移動可能に構成されている。ユーザは、取付部材６１を矢印ＦＡ方向に移動させて画像処理装置４０の外筐４０１に係止させて、撮像装置５０を画像処理装置４０の例えば裏面側に一体的に固定する。このように撮像装置５０を画像処理装置４０に一体的に固定することで、撮像部４２と撮像装置５０でステレオ画像を生成することが可能となる。また、ユーザは、画像処理装置４０の外筐４０１に係止されている取付部材６１を、係止方向に対して逆方向に移動させて、画像処理装置４０と撮像装置５０を分離する。

図２６は、第３の実施の形態の構成を例示している。画像処理装置４０は、撮像部４２と通信部４３、デプスマップ生成部４５、法線マップ生成部４７、マップ統合部４９を有している。また、撮像装置５０は、撮像部５１と通信部５３を有している。

画像処理装置４０の撮像部４２は、例えば第１の実施の形態の撮像部２２や第２の実施の形態の撮像部３２に相当する。撮像部４２が撮像部２２に相当する場合、撮像部４２は生成した画像をデプスマップ生成部４５へ出力する。また、撮像部４２が撮像部３２に相当する場合、撮像部４２は生成した画像をデプスマップ生成部４５と法線マップ生成部４７へ出力する。

撮像装置５０の撮像部５１は、例えば第１の実施の形態の撮像部２１や第２の実施の形態の撮像部３１に相当する。撮像部５１は生成した画像を通信部５３へ出力する。通信部５３は、ＮＦＣ(Near Field Communication)通信やＷｉ−Ｆｉ通信等の無線通信を行うことができるように構成されている。通信部５３は、撮像部５１で生成された画像を画像処理装置４０へ送信する。

画像処理装置４０の通信部４３は、撮像装置５０の通信部５３と同様に構成されている。通信部４３は、撮像装置５０の通信部５３から送信された無線信号を受信して、撮像装置５０から送信された画像をデプスマップ生成部４５と法線マップ生成部４７へ出力する。

デプスマップ生成部４５は、第１の実施の形態のデプスマップ生成部２５や第２の実施の形態のデプスマップ生成部３５と同様な処理を行い、デプスマップを生成してマップ統合部４９へ出力する。

法線マップ生成部４７は、第１の実施の形態の法線マップ生成部２７や第２の実施の形態の法線マップ生成部３７と同様な処理を行い、法線マップを生成してマップ統合部４９へ出力する。

マップ統合部４９は、第１の実施の形態のマップ統合部２９や第２の実施の形態のマップ統合部３９と同様な処理を行い、デプスマップと法線マップに基づき、デプスマップ生成部４５で生成されたデプスマップ以上の精度を有するデプスマップを生成して出力する。

このような第３の実施の形態によれば、撮像部が分離可能な構成でも、高精度のデプスマップを生成しつつ、画素数の減らない画像を取得できる。したがって、例えばスマートフォン等の情報処理装置に偏光方向が３方向以上の偏光画像を生成する撮像装置を取り付けて、高精度のデプスマップを生成可能とすることで、既存の情報処理装置の機能を拡張できる。

また、上述の実施の形態の一部構成を用いて撮像装置を構成してもよい。例えば、撮像装置は、偏光特性の異なる画素を含む画素構成の第１の撮像部と、第１の撮像部と画素構成が異なる第２の撮像部、および第１の撮像部によって生成された第１の画像と第２の撮像部によって生成された第２の画像を用いて画像処理を行う画像処理部を備える構成とする。また、撮像装置は、例えば第１の撮像部の画素構成を、偏光特性を有した画素からなる第１の画素群と、第１の画素群と異なる偏光方向の画素または偏光特性を持たない画素からなる第２の画素群とで構成された画素構成とする。また、第２の撮像部の画素構成は、第１の画素群と対応する位置で偏光方向が第１の画像とは異なる画素からなる第３の画素群と、第２の画素群と対応する位置で第２の画素群と等しい構成の画素からなる第４の画素群とで構成された画素構成とする。このように撮像装置を構成すれば、高精度のデプスマップを生成しつつ画素数の減らない画像を取得するために用いる処理対象の画像を容易に生成できる。なお、撮像装置の画像処理部で上述のようにデプスマップや法線マップの生成およびデプスマップと法線マップの統合処理を行うようにすれば、撮像装置から高精度のデプスマップおよび画素数の減らない画像を出力することが可能となる。また、この撮像装置と同様に画像処理装置を構成してもよい。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 偏光方向が異なる画素を含む画素構成の第１の撮像部によって生成された第１の画像と、前記第１の撮像部と画素構成が異なる第２の撮像部によって生成された第２の画像とを用いたマッチング処理によって、デプスマップを生成するデプスマップ生成部と、
前記デプスマップ生成部により生成された第１の画像または第２の画像の少なくとも何れかの偏光画像の偏光状態に基づいて法線マップを生成する法線マップ生成部と、
前記デプスマップ生成部で生成されたデプスマップと前記法線マップ生成部で生成された法線マップの統合処理を行うマップ統合部とを有する画像処理装置。
（２） 前記法線マップ生成部は、前記偏光方向が３方向以上の偏光画像の輝度に基づいて前記法線マップを生成する（１）に記載の画像処理装置。
（３） 前記マップ統合部は、前記デプスマップで示されたデプス値と前記法線マップに基づいて判別した形状から、前記デプスマップで示されていないデプス値を推定する（１）または（２）の何れかに記載の画像処理装置。
（４） 前記第１の画像は、前記偏光方向が３方向以上の画素を含む前記第１の撮像部によって生成された画像であり、
前記第２の画像は、偏光特性を持たない画素で構成された前記第２の撮像部によって生成された画像であり、
前記法線マップ生成部は、前記第１の画像に基づき法線マップを生成する（１）乃至（３）の何れかに記載の画像処理装置。
（５） 前記デプスマップ生成部は、第１の画像から無偏光画像を生成して、前記無偏光画像と前記第２の画像を用いて前記マッチング処理を行う（４）に記載の画像処理装置。
（６） 前記デプスマップ生成部は、前記無偏光画像と前記第２の画像のそれぞれに対してエッジ抽出を行い、前記無偏光画像のエッジ抽出画像と前記第２の画像のエッジ抽出画像を用いて前記マッチング処理を行う（５）に記載の画像処理装置。
（７） 前記第２の画像は、全画素に同色のカラーフィルタが設けられた前記第２の撮像部、または前記カラーフィルタが設けられていない前記第２の撮像部によって生成された画像であり、
前記デプスマップ生成部は、第２の画像から生成した無偏光画像を用いて前記マッチング処理を行う（４）乃至（６）の何れかに記載の画像処理装置。
（８） 前記第１の画像は、偏光特性を有した画素からなる第１の画素群と、前記第１の画素群と異なる偏光方向の画素または偏光特性を持たない画素からなる第２の画素群とで構成された画素構成の前記第１の撮像部で生成された画像であり、
前記第２の画像は、前記第１の画素群と対応する位置で偏光方向が前記第１の画像とは異なる偏光方向の画素からなる第３の画素群と、前記第２の画素群と対応する位置で前記第２の画素群と等しい偏光方向の画素または偏光特性を持たない画素からなる第４の画素群とで構成された画素構成の前記第２の撮像部で生成された画像である（３）に記載の画像処理装置。
（９） 前記デプスマップ生成部は、前記第１の画像における前記第２の画素群の画像と、前記第２の画像における前記第４画素群の画像とを用いることにより、偏光方向が等しい画像間または偏光特性を持たない画像間で前記マッチング処理を行う（８）に記載の画像処理装置。
（１０） 前記第１の画像と前記第２の画像の視差量に基づき、前記第１の画像における前記第１の画素群の画像と、前記第２の画像における前記第３画素群の画像の位相を一致させて、偏光方向が複数方向の偏光画像を生成する画像位相調整部をさらに有し、
前記法線マップ生成部は、前記画像位相調整部で生成された偏光画像の偏光状態に基づいて法線マップを生成する（８）または（９）の何れかに記載の画像処理装置。
（１１） 前記第２の画素群と前記第４の画素群が偏光特性を持たない画像である場合、前記第１の画素群と前記第３の画素群の偏光方向は合わせて３方向以上の画像とする（８）乃至（１０）の何れかに記載の画像処理装置。
（１２） 前記画像位相調整部は、前記第２の画素群と前記第４の画素群が偏光特性を持たない画像である場合、前記第１の画素群の画像を用いた補間処理によって前記第２の画素群の画像を生成し、前記第３の画素群の画像を用いた補間処理によって前記第４の画素群の画像を生成して、補間後の画像を用いて前記偏光画像を生成する（８）乃至（１１）の何れかに記載の画像処理装置。
（１３） 前記第１と第３の画素群は所定色の画素であり、前記第２と第４の画素群は、他の色の画素である（８）乃至（１２）の何れかに記載の画像処理装置。
（１４） 前記法線マップ生成部は、前記デプスマップ生成部で生成されたデプスマップを用いて前記法線マップの生成を行う（３）乃至（１３）の何れかに記載の画像処理装置。
（１５） 前記第１の画像を生成する第１の撮像部と前記第２の画像を生成する第２の撮像部をさらに有する（１）乃至（１４）の何れかに記載の画像処理装置。
（１６） 前記第１の撮像部と前記第２の撮像部の何れか一方が設けられた外部装置と通信を行い、前記外部装置に設けられた撮像部で生成された画像を取得する通信部と、
前記外部装置に設けられた撮像部とは異なる他方の撮像部をさらに有する（１）乃至（１５）の何れかに記載の画像処理装置。

この技術の画像処理装置と画像処理方法および撮像装置では、偏光方向が異なる画素を含む画素構成の第１の撮像部によって生成された第１の画像と、前記第１の撮像部と画素構成が異なる第２の撮像部によって生成された第２の画像とを用いたマッチング処理によって、デプスマップが生成される。また、第１または第２の画像の少なくとも何れかの偏光画像の偏光状態に基づいて法線マップが生成される。さらに、生成されたデプスマップと法線マップの統合処理が行われる。このため、高精度のデプスマップを生成しつつ、画素数の減らない画像を取得できるようになる。したがって、被写体の３次元形状を取得する機器等に適している。

１０，２０，３０，４０・・・画像処理装置、１５，２５，３５，４５・・・デプスマップ生成部、１７，２７，３７，４７・・・法線マップ生成部、１９，２９，３９，４９・・・マップ統合部、２１，２２，３１，３２，４２，５１・・・撮像部、４３，５３・・・通信部、５０・・・撮像装置、５３・・・通信部、６０・・・取付機構部、６１・・・取付部材、２１０，２２０，２２１，３１０，３１１，３１２，３２０，３２１，３２２・・・イメージセンサ、２５１，３５１・・・前処理部、２５５，３５５・・・デプスマップ生成処理部、２７５，２７６，３７５・・・法線マップ生成処理部、３７１・・・画像位相調整部、３７５・・・法線マップ生成処理部、４０１・・・外筐、４０２・・・表示パネル、５０１・・・外筒部、５０２・・・コントロールリング、５０３・・・ズームボタン、５０４・・・シャッターボタン

Claims (20)

1. 偏光方向が異なる画素を含む画素構成の第１の撮像部によって生成された第１の画像と、前記第１の撮像部と画素構成が異なる第２の撮像部によって生成された第２の画像とを用いたマッチング処理によって、デプスマップを生成するデプスマップ生成部と、
   前記デプスマップ生成部により生成された第１の画像または第２の画像の少なくとも何れかの偏光画像の偏光状態に基づいて法線マップを生成する法線マップ生成部と、
   前記デプスマップ生成部で生成されたデプスマップと前記法線マップ生成部で生成された法線マップの統合処理を行うマップ統合部と
   を有する画像処理装置。
2. 前記法線マップ生成部は、前記偏光方向が３方向以上の偏光画像の輝度に基づいて前記法線マップを生成する
   請求項１記載の画像処理装置。
3. 前記マップ統合部は、前記デプスマップで示されたデプス値と前記法線マップに基づいて判別した形状から、前記デプスマップで示されていないデプス値を推定する
   請求項２記載の画像処理装置。
4. 前記第１の画像は、前記偏光方向が３方向以上の画素を含む前記第１の撮像部によって生成された画像であり、
   前記第２の画像は、偏光特性を持たない画素で構成された前記第２の撮像部によって生成された画像であり、
   前記法線マップ生成部は、前記第１の画像に基づき法線マップを生成する
   請求項３記載の画像処理装置。
5. 前記デプスマップ生成部は、第１の画像から無偏光画像を生成して、前記無偏光画像と前記第２の画像を用いて前記マッチング処理を行う
   請求項４に記載の画像処理装置。
6. 前記デプスマップ生成部は、前記無偏光画像と前記第２の画像のそれぞれに対してエッジ抽出を行い、前記無偏光画像のエッジ抽出画像と前記第２の画像のエッジ抽出画像を用いて前記マッチング処理を行う
   請求項５に記載の画像処理装置。
7. 前記第２の画像は、全画素に同色のカラーフィルタが設けられた前記第２の撮像部、または前記カラーフィルタが設けられていない前記第２の撮像部によって生成された画像であり、
   前記デプスマップ生成部は、第２の画像から生成した無偏光画像を用いて前記マッチング処理を行う
   請求項４に記載の画像処理装置。
8. 前記第１の画像は、偏光特性を有した画素からなる第１の画素群と、前記第１の画素群と異なる偏光方向の画素または偏光特性を持たない画素からなる第２の画素群とで構成された画素構成の前記第１の撮像部で生成された画像であり、
   前記第２の画像は、前記第１の画素群と対応する位置で偏光方向が前記第１の画像とは異なる画素からなる第３の画素群と、前記第２の画素群と対応する位置で前記第２の画素群と等しい構成の画素からなる第４の画素群とで構成された画素構成の前記第２の撮像部で生成された画像である
   請求項３記載の画像処理装置。
9. 前記デプスマップ生成部は、前記第１の画像における前記第２の画素群の画像と、前記第２の画像における前記第４画素群の画像とを用いることにより、偏光方向が等しい画像間または偏光特性を持たない画像間で前記マッチング処理を行う
   請求項８に記載の画像処理装置。
10. 前記第１の画像と前記第２の画像の視差量に基づき、前記第１の画像における前記第１の画素群の画像と、前記第２の画像における前記第３画素群の画像の位相を一致させて、偏光方向が複数方向の偏光画像を生成する画像位相調整部をさらに有し、
    前記法線マップ生成部は、前記画像位相調整部で生成された偏光画像の偏光状態に基づいて法線マップを生成する
    請求項８に記載の画像処理装置。
11. 前記第２の画素群と前記第４の画素群が偏光特性を持たない画像である場合、前記第１の画素群と前記第３の画素群の偏光方向は合わせて３方向以上の画像とする
    請求項８記載の画像処理装置。
12. 前記画像位相調整部は、前記第２の画素群と前記第４の画素群が偏光特性を持たない画像である場合、前記第１の画素群の画像を用いた補間処理によって前記第２の画素群の画像を生成し、前記第３の画素群の画像を用いた補間処理によって前記第４の画素群の画像を生成して、補間後の画像を用いて前記偏光画像を生成する
    請求項８に記載の画像処理装置。
13. 前記第１と第３の画素群は所定色の画素であり、前記第２と第４の画素群は、他の色の画素である
    請求項８記載の画像処理装置。
14. 前記法線マップ生成部は、前記デプスマップ生成部で生成されたデプスマップを用いて前記法線マップの生成を行う
    請求項３に記載の画像処理装置。
15. 前記第１の画像を生成する第１の撮像部と前記第２の画像を生成する第２の撮像部をさらに有する
    請求項１記載の画像処理装置。
16. 前記第１の撮像部と前記第２の撮像部の何れか一方が設けられた外部装置と通信を行い、前記外部装置に設けられた撮像部で生成された画像を取得する通信部と、
    前記外部装置に設けられた撮像部とは異なる他方の撮像部をさらに有する
    請求項１記載の画像処理装置。
17. デプスマップ生成部で、偏光方向が異なる画素を含む画素構成の第１の撮像部によって生成された第１の画像と、前記第１の撮像部と画素構成が異なる第２の撮像部によって生成された第２の画像とを用いたマッチング処理を行いデプスマップを生成する工程と、
    法線マップ生成部で、前記生成された第１または第２の画像の少なくとも何れかの偏光画像の偏光状態に基づいて法線マップを生成する工程と、
    マップ統合部で、前記デプスマップと前記法線マップの統合処理を行う工程と
    を含む画像処理方法。
18. 偏光方向が異なる画素を含む画素構成の第１の撮像部と、
    前記第１の撮像部と画素構成が異なる第２の撮像部と、
    前記第１の撮像部により生成された第１の画像と前記第２の撮像部より生成された第２の画像とを用いて、画像処理を行う画像処理部と
    を備える撮像装置。
19. 前記第１の撮像部は、偏光特性を有した画素からなる第１の画素群と、前記第１の画素群と異なる偏光方向の画素または偏光特性を持たない画素からなる第２の画素群とで構成された画素構成であり、
    前記第２の撮像部は、前記第１の画素群と対応する位置で偏光方向が前記第１の画像とは異なる画素からなる第３の画素群と、前記第２の画素群と対応する位置で前記第２の画素群と等しい構成の画素からなる第４の画素群とで構成された画素構成である
    請求項１８に記載の撮像装置。
20. 偏光方向が異なる画素を含む画素構成の第１の撮像部と、前記第１の撮像部により生成された第１の画像を送信する送信部とを備える画像処理装置から、前記第１の画像を受信する受信部と、
    前記第１の撮像部と画素構成が異なる第２の撮像部と、
    前記受信部により受信成された第１の画像と前記第２の撮像部より生成された第２の画像とを用いて、画像処理を行う画像処理部と
    を備える画像処理装置。

Images