JP2023112222A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】高精度の距離画像を生成することが可能な画像処理装置を提供する。【解決手段】画像処理装置（１０）は、被写体からの複数の異なる偏光状態の光により取得された該被写体までの距離情報を用いて複数の第１の距離画像を生成する第１の生成部（２２ａ）と、複数の第１の距離画像を用いて第２の距離画像を生成する第２の生成部（２３）とを有し、第２の生成部（２３）は、複数の第１の距離画像における被写体の同一位置に相当する画素領域の距離値を互いに比較した結果に基づいて、第２の距離画像を生成する。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。

従来、被写体までの距離情報を示す距離画像と、特定の偏光方向の光に対応する偏光画像とを同時に取得することで、距離画像の精度を向上させる方法が知られている。特許文献１には、複数の異なる偏光方向の光により取得された偏光画像を解析し、被写体表面の鏡面反射光を特定することで、距離画像から鏡面反射の影響を差し引く画像処理装置が開示されている。特許文献２には、ステレオ法により複数の異なる偏光方向の光により取得された偏光画像から複数の距離画像を取得し、複数の距離画像で被写体の同一位置を示す画素のうち、最も信頼度が高いと判定される距離値を採用する画像処理装置が開示されている。

特開２０１３－０４４５９７号公報 国際公開第２０１６／０８８４８３号

特許文献１に開示されている画像処理装置では、距離画像の算出の原理起因の誤差（例えば、周期パターン部分における誤差）を低減することはできない。特許文献２に開示されている画像処理装置では、距離画像の算出の際に最も信頼度が高いと判定される距離値を採用するため、誤差が生じる可能性がある。

そこで本発明は、高精度の距離画像を生成することが可能な画像処理装置を提供することを目的とする。

本発明の一側面としての画像処理装置は、 被写体からの複数の異なる偏光状態の光により取得された該被写体までの距離情報を用いて複数の第１の距離画像を生成する第１の生成部と、前記複数の第１の距離画像を用いて第２の距離画像を生成する第２の生成部とを有し、前記第２の生成部は、前記複数の第１の距離画像における前記被写体の同一位置に相当する画素領域の距離値を互いに比較した結果に基づいて、前記第２の距離画像を生成する。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、高精度の距離画像を生成することが可能な画像処理装置を提供することができる。

第１の実施形態における画像処理装置のブロック図である。 第１の実施形態における撮像部の説明図である。 第１の実施形態における視点位置の配置と偏光フィルタの偏光方向の説明図である。 第１の実施形態における画像処理方法を示すフローチャートである。 第１の実施形態における距離画像生成部の動作を示すフローチャートである。 第１の実施形態における距離抽出部の動作を示すフローチャートである。 第１の実施形態における距離抽出部の動作を示すフローチャートである。 第２の実施形態における画像処理装置のブロック図である。 第２の実施形態における画像処理方法を示すフローチャートである。 第２の実施形態における距離画像生成部の動作を示すフローチャートである。 第３の実施形態における画像処理装置のブロック図である。 第３の実施形態における画像処理方法を示すフローチャートである。 第３の実施形態における偏光画像の被写体表面の輝度と偏光方向との関係を示す図である。 第３の実施形態および第４の実施形態における法線方位および法線点頂角の説明図である。 第４の実施形態における画像処理装置のブロック図である。 第４の実施形態における画像処理方法を示すフローチャートである。 第４の実施形態における法線情報推定部の動作を示すフローチャートである。 第５の実施形態における画像処理装置のブロック図である。 第５の実施形態における画像処理方法を示すフローチャートである。 第５の実施形態における質感・視点制御部の動作を示すフローチャートである。 第５の実施形態における被写体表面の輝度と偏光方向角との関係を示す図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

＜第１の実施形態＞
［１－１．構成］
まず、図１を参照して、本発明の第１の実施形態における画像処理装置の構成を説明する。図１は、本実施形態における画像処理装置（撮像装置）１０のブロック図である。画像処理装置１０は、被写体からの複数の異なる偏光方向（偏光状態）の光を用いて取得された偏光画像を取得する撮像部２１を有する。また画像処理装置１０は、偏光画像から距離画像（デプスマップ）を生成する距離画像生成部（第１の生成部）２２ａ、および信頼度の低い距離値を削除する距離抽出部（第２の生成部）２３を有する。なお本実施形態において、画像処理装置１０は撮像部２１を有するが、これに限定されるものではなく、本実施形態は、撮像部２１を有しない画像処理装置にも適用可能である。この点は、他の実施形態でも同様である。

撮像部２１は、透過偏光方向を任意の角度に設定した偏光フィルタを介して複数の視点位置で被写体を撮像することにより、複数の異なる偏光方向の各々について複数の視点位置における偏光画像を生成する。偏光フィルタとしては、例えば直線偏光板が用いられるが、これに限定されるものではない。撮像部２１は、複数の異なる偏光方向について複数の視点位置で取得した偏光画像の画像データを距離画像生成部２２ａに出力する。

次に、図２（ａ）～（ｅ）を参照して、撮像部２１の構成を説明する。図２（ａ）～（ｅ）は、撮像部２１の説明図である。図２（ａ）に示されるように、イメージセンサ（撮像素子）２１０の前に設置された結像光学系２１１の前に、取得する偏光方向が可変の偏光フィルタ２１２を配置してもよい。結像光学系２１１は、例えば、複数のレンズ２１１－１、２１１－２、および絞り２１１－３を有する。また、図２（ｂ）に示されるように、イメージセンサ２１０の前にレンズアレイを設置し、レンズアレイを構成する各レンズ２２１の前に偏光フィルタ２２２を設けた構成としてもよい。そして、図２（ｃ）に示されるように、レンズ２２１毎に偏光フィルタ２２２の偏光方向を異なる方向となるよう配置する。なお図２（ｃ）は、図２（ｂ）の偏光フィルタ２２２とレンズ２２１を被写体側から見た図である。また、図２（ｄ）に示されるように、結像光学系２１１とイメージセンサ２３０からなる構成で、図２（ｅ）に示されるようにイメージセンサ２３０の画素毎に複数の異なる偏光方向の偏光フィルタ２３１を配置してもよい。なお図２（ｅ）は、図２（ｄ）のイメージセンサ２３０を被写体側から見た図である。

また、撮像部２１では、複数の異なる偏光方向の偏光画像が取得されるよう偏光フィルタの透過偏光方向を設定する。直線偏光フィルタは、偏光方向が１８０度回転すると直線偏光フィルタを透過する光成分が等しくなる。したがって、偏光方向は０度～１８０度の範囲で複数設定する。後述するように、画像処理装置は、異なる偏光方向で取得された偏光画像で被写体の輝度が変化することにより、偏光方向毎に算出される距離画像が変化することを利用して、信頼度の低い距離値を削除した距離画像を生成する。したがって、偏光画像における被写体の輝度変化が大きくなるよう、偏光方向は例えば等しい角度差を有するように設定することが好ましい。例えば複数の異なる偏光方向が３つであれば、０度、６０度、１２０度と設定し、４つであれば、０度、４５度、９０度、１３５度と設定するとよい。

次に、撮像における視点位置の配置と偏光フィルタの偏光方向を説明する。図３（ａ）、（ｂ）は、視点位置の配置と偏光フィルタの偏光方向の説明図である。図３（ａ）に示されるように、撮像部２１が複数の異なる視点位置３１１～３１６の各々で複数の異なる偏光方向３２１～３２３の各々の偏光画像を取得してもよい。また、図３（ｂ）に示されるように、撮像部２１が複数の異なる視点位置３１７、３１８の各々で、例えば偏光フィルタの偏光方向３２１～３２３を逐次変化させて複数回撮像することにより、偏光方向３２１～３２３の偏光画像を取得してもよい。

また、図２（ｂ）～（ｅ）に示されるような撮像部２１の構成を用いて１回の撮像により、偏光方向３２１～３２３の偏光画像を取得してもよい。複数の異なる視点位置において被写体を撮像するために、複数の撮像部２１を配置してもよく、また、１つの撮像部２１を移動させてもよく、また、被写体を移動させたり回転させたりしてもよい。なお、視点位置が離れて視差が大きくなると、一様な照明下にて同一の偏光方向で被写体を撮像したとしても、偏光画像における被写体の輝度が変化する。この場合、後述するような偏光方向毎に生成した距離画像同士の比較による距離画像の精度向上効果が低下する場合がある。したがって、視点位置の配置においては、取得される偏光画像での被写体輝度に対する視差の影響が小さい方が望ましい。

距離画像生成部２２ａは、撮像部２１が複数の異なる偏光方向の各々について複数の視点位置で取得した偏光画像から、偏光方向毎に被写体の距離情報を示す距離画像を生成する。距離画像生成部２２ａは、撮像部２１が複数偏光方向の各々で複数視点位置において取得した偏光画像について、偏光方向が同一の組毎にステレオマッチング処理を行う。また、距離画像生成部２２ａは、ステレオマッチング処理結果と、視点位置に関して予め取得されている校正情報に基づき、例えば画素毎に距離を算出して各画素が距離値を示す距離画像を生成する。校正情報は、例えば被写体を撮像した複数の視点位置間の関係を示す位置情報を有する。位置情報には、撮像時の撮像部２１の姿勢に関する情報も含めてよい。また、校正情報に撮像部２１の撮像で生じる光学的な歪みに関する情報等を含めることで、生成された偏光画像で生じた光学的歪みを除去できるようにしてもよい。距離画像生成部２２ａは、異なる偏光方向毎に生成した距離画像を距離抽出部２３に出力する。

距離抽出部２３は、距離画像生成部２２ａが複数の異なる偏光方向の各々で生成した距離画像を比較することにより、信頼度の低い距離値を削除した距離画像（抽出距離画像）を生成する。距離抽出部２３は、複数の異なる偏光方向の距離画像間で被写体の同一位置を示す画素同士の距離値を比較する。この際、比較に用いる一群の距離画像に異なる視点位置を基準として算出された距離画像が含まれる場合がある。その場合、予め取得された校正情報が示す視点位置の関係に基づき、比較に用いるすべての距離画像が同一の視点位置を基準とするよう、画素毎に位置合わせと距離値の変換計算を行ってから、画素同士の距離値を比較する。つづいて、距離抽出部２３は、比較した距離値の差に応じてその画素の距離値を距離画像から削除するかを判定する。このように距離抽出部２３は、信頼度の低い距離値を削除することで、距離画像生成部が生成した距離画像よりも精度の向上した抽出距離画像を生成する。

［１－２．動作］
次に、図４を参照して、本実施形態における画像処理装置１０の動作（画像処理方法）を説明する。図４は、本実施形態における画像処理方法を示すフローチャートである。本実施形態において、撮像部２１は、結像光学系の前に偏光フィルタが設けられており、３つの異なる偏光方向の各々について２つの視点位置において被写体を撮像する場合を例示している。ステップは大別して、偏光画像を取得するステップ、距離画像を生成するステップ、および抽出距離画像を生成するステップに分かれる。

まず、ステップＳ１～Ｓ６において、撮像部２１は、複数の異なる偏光方向毎に複数の視点位置の偏光画像を取得する。例えば、ステップＳ１、Ｓ４において、撮像部２１は、第１偏光方向の第１視点位置における第１偏光画像と、第４視点位置における第４偏光画像とをそれぞれ取得する。また、ステップＳ２、Ｓ５において、撮像部２１は、第２偏光方向の第２視点位置における第２偏光画像と、第５視点位置における第５偏光画像とをそれぞれ取得する。また、ステップＳ３、Ｓ６において、撮像部２１は、第３偏光方向の第３視点位置における第３偏光画像と、第６視点位置における第６偏光画像とを取得する。なお、第１視点位置～第３視点位置のすべて、または、いずれか２視点が同一視点でもよい。また、第４視点位置～第６視点位置のすべて、または、いずれか２視点が同一視点でもよい。このように画像処理装置１０は、偏光方向毎に複数の視点位置の偏光画像を取得する。

続いてステップＳ１１～Ｓ１３において、距離画像生成部２２ａは、複数の異なる偏光方向毎に距離画像を生成する。すなわち、ステップＳ１１において、距離画像生成部２２ａは、第１偏光画像と第４偏光画像とを用いて、偏光方向が第１偏光方向の第１距離画像を生成する。またステップＳ１２において、距離画像生成部２２ａは、第２偏光画像と第５偏光画像とを用いて、第２偏光方向である第２距離画像を生成する。またステップＳ１３において、距離画像生成部２２ａは、第３偏光画像と第６偏光画像とを用いて、第３偏光方向である第３距離画像を生成する。

ここで、図５を参照して、距離画像生成部２２ａの動作（距離画像の生成処理）を説明する。図５は、距離画像生成部２２ａの動作を示すフローチャートである。まずステップＳ１０１において、距離画像生成部２２ａは、異なる視点位置において取得された同一偏光方向の２つの偏光画像を取得する。例えば距離画像生成部２２ａは第１偏光方向について第１視点位置と第４視点位置において取得された第１偏光画像と第４偏光画像を取得してステップＳ１０２に進む。

続いてステップＳ１０２において、距離画像生成部２２ａは、ステレオマッチング処理を行う。例えば、距離画像生成部２２ａは、第１偏光画像と第４偏光画像のステレオマッチング処理を行う。ステレオマッチング処理において、距離画像生成部２２ａは、２つの偏光画像の一方を基準画像、他方を参照画像とする。例えば、第１偏光画像を基準画像、第４偏光画像を参照画像とする。距離画像生成部２２ａは基準画像（第１偏光画像）における注目画素と、注目画素が示す被写体位置に対応する参照画像（第４偏光画像）の画素との画素位置の差、すなわちシフト量を検出する。ステレオマッチング処理としては、例えば、基準画像の注目画素を含むように設定したテンプレート画像に対して、参照画像から最も類似した画像領域を検出するテンプレートマッチング法を用いる。基準画像上のテンプレート画像と参照画像上の探索画像領域の相関計算には、例えば輝度に基づくＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）やＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いる。また、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）、ＺＮＣＣ（Ｚｅｒｏ－ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）等を用いてもよい。また、ステレオマッチング処理は、テンプレートマッチング法に限定されるものではなく、例えば確率伝搬法やグラフカット法等を用いてもよい。このように距離画像生成部２２ａは、ステレオマッチング処理を行うことで画素毎にシフト量を算出する。

続いてステップＳ１０３において、距離画像生成部２２ａは、距離を算出する。距離画像生成部２２ａは、ステレオマッチング処理によって算出した各画素のシフト量と、予め取得されている視点位置等に関する校正情報に基づき、注目画素の被写体までの距離を算出する。距離は、以下のように算出される。ここでは、撮像部が２つの異なる視点位置において光軸が略平行となる状態で被写体を撮像した場合を例とし、２つの視点位置間の距離をＢ、撮像部の結像光学系の焦点距離をｆとする。また、ステレオマッチング処理の結果、注目画素でのシフト量がイメージセンサ上の距離としてＰと算出されたとする。このとき、注目画素における被写体までの距離Ｄは、式（１）に基づいて算出される。

Ｄ＝Ｂ・ｆ／Ｐ …（１）
続いてステップＳ１０４において、距離画像生成部２２ａは、算出した距離値をシフト量算出に用いた偏光画像の画素に対応付けて距離画像を生成する。

続いて、図４のステップＳ２０において、距離抽出部２３は、距離抽出処理を行う、すなわち、偏光方向毎に生成された複数の距離画像の比較に基づき、信頼度の低い距離値を削除して抽出距離画像を生成する。例えば、ステップＳ２０にて距離抽出部２３は、第１距離画像～第３距離画像の比較に基づき、信頼度の低い距離値を示す画素から距離値を削除し、第１距離画像～第３距離画像よりも精度の向上した抽出距離画像を生成する。

次に、図６を参照して、距離抽出部２３の動作（距離抽出処理）を説明する。図６は、距離抽出部２３の動作を示すフローチャートである。まずステップＳ２０１において、距離抽出部２３は、複数の異なる偏光方向の各々で生成された距離画像を取得する。例えば、距離抽出部２３は、偏光方向が第１偏光方向～第３偏光方向である第１距離画像～第３距離画像をそれぞれ取得する。

続いてステップＳ２０２において、距離抽出部２３は、取得された一群の距離画像の距離値が同一の視点位置を基準として算出されたものか確認し、次の処理を決定する。異なる視点位置を基準として算出された距離画像は、距離の基準点、すなわち、距離値が０となる点が異なる場合、距離の定義が異なるため単純に距離値を比較しても有意な情報は得られない。さらに、被写体の同一位置を示す画素の位置が距離画像毎に異なるため、画素の位置合わせも必要となる。そのため、ステップＳ２０２で距離抽出部２３は、距離画像生成時の視点位置情報に基づき、一群の距離画像に異なる視点位置を基準とした距離画像が含まれる場合、距離の変換処理と位置合わせのためにステップＳ２０３に進む。一方、全ての距離画像が同一視点位置を基準としている場合、ステップＳ２０４に進む。

ステップＳ２０３において、距離抽出部２３は、距離画像の位置合わせと距離の変換処理を行う。ステップＳ２０３では、距離画像生成時の基準画像と参照画像の視点位置の情報や、予め取得された校正情報が示す視点位置の関係等の情報に基づき、全ての距離画像が同一の視点位置を基準とするよう距離の変換計算と画素の位置合わせを行う。このように、距離抽出部２３は、同一視点位置を基準とすることで距離値の有意な比較が可能になった一群の距離画像を生成する。

続いてステップＳ２０４～Ｓ２０７において、距離抽出部２３は、偏光方向毎に生成された距離画像の画素同士を比較し、信頼度の低い距離値を含む画素の距離値を削除する距離抽出処理を行う。

まずステップＳ２０４において、距離抽出部２３は、距離画像間の被写体の同一位置を示す画素同士の距離値の差を算出する。なお、距離値の差は絶対値で考える。例えば、第１距離画像の画素（ｉ１、ｊ１）と第２距離画像の画素（ｉ２、ｊ２）と第３距離画像の画素（ｉ３、ｊ３）が被写体の同一位置を示しているとする。ここで、（ｉ、ｊ）は距離画像上の画素位置を表す。また、第１距離画像の画素（ｉ１、ｊ１）での距離値をＤ１（ｉ１、ｊ１）、第２距離画像の画素（ｉ２、ｊ２）での距離値をＤ２（ｉ２、ｊ２）、第３距離画像の画素（ｉ３、ｊ３）での距離値をＤ３（ｉ３、ｊ３）とする。距離抽出部２３は、Ｄ１（ｉ１、ｊ１）とＤ２（ｉ２、ｊ２）の差の絶対値ΔＤ１２と、Ｄ２（ｉ２、ｊ２）とＤ３（ｉ３、ｊ３）の差の絶対値ΔＤ２３と、Ｄ３（ｉ３、ｊ３）とＤ１（ｉ１、ｊ３）の差の絶対値ΔＤ３１を算出する。なお本実施形態において、対応する一画素ごとに比較することに限定されるものではなく、複数の画素を含む画素領域ごとに比較してもよい。

続いてステップＳ２０５において、距離抽出部２３は、距離画像間の対応する画素間で算出した距離値の差がいずれも所定の閾値（距離差閾値）よりも小さい場合、ステップＳ２０６に進む。一方、そうでない場合、ステップＳ２０７に進む。例えば、ΔＤ１２、ΔＤ２３、ΔＤ３１がいずれも距離差閾値よりも小さい場合、ステップＳ２０６に進む。一方、ΔＤ１２、ΔＤ２３、ΔＤ３１のうちいずれか１つでも距離差閾値以上である場合、ステップＳ２０７に進む。

ステップＳ２０６において、距離抽出部２３は、距離画像間の対応する画素が示す各距離値は信頼度が高いとみなし、それらの距離値を平均して算出される平均距離値を対応する画素に格納する。例えば、Ｄ１（ｉ１、ｊ１）とＤ２（ｉ２、ｊ２）とＤ３（ｉ３、ｊ３）は誤差が少なく信頼度が高いと考えられるため、Ｄ１（ｉ１、ｊ１）とＤ２（ｉ２、ｊ２）とＤ３（ｉ３、ｊ３）の平均値Ｄａｖを算出する。距離抽出部２３は、Ｄａｖを第１距離画像の画素（ｉ１、ｊ１）と第２距離画像の画素（ｉ２、ｊ２）と第３距離画像の画素（ｉ３、ｊ３）に格納して、ステップＳ２０８に進む。平均距離値の算出については、上記の方法に限定されず、例えば中央値を用いても良い。

ステップＳ２０７において、距離抽出部２３は、距離画像間の対応する画素が示す各距離値は信頼度が低いとみなし、これらの画素から距離値を削除する。例えば、第１距離画像の画素（ｉ１、ｊ１）と第２距離画像の画素（ｉ２、ｊ２）と第３距離画像の画素（ｉ３、ｊ３）の各々からＤ１（ｉ１、ｊ１）とＤ２（ｉ２、ｊ２）とＤ３（ｉ３、ｊ３）を削除する。

続いてステップＳ２０８において、距離抽出部２３は、ステップＳ２０４～Ｓ２０７の処理が距離画像の全体で行われ、信頼度の低い距離値を示す画素から距離値が削除されることによって精度の向上した抽出距離画像を生成する。またステップＳ２０８において、距離抽出部２３は、抽出距離画像の生成後に、欠損部分の距離値を周辺画素の距離値を用いて補っても良い。抽出距離画像では、被写体表面の模様やテクスチャが存在しない部分において、例えばテンプレートマッチング法でシフト量を検出できないために、欠損する。また、上述の距離値抽出処理により信頼度の低い距離値を示す画素も欠損する。したがって、ステップＳ２０８で、例えば最近傍補間法、双一次補間法や双三次補間法を用いて欠損部分の画素の距離値を周辺の距離値から算出してよい。ただし、欠損部分が大きくなると、これらの補間法の効果が得られないため、第３の実施形態で後述する偏光情報を利用して距離画像を補完する方法を用いるのが望ましい。

なお、ステップＳ２０５において、距離抽出部２３は、距離画像間の対応する画素同士で算出した距離値の差のうちで距離差閾値よりも小さいものの個数を距離信頼度Ｃｄと定義してもよい。また、対応する画素の距離値の平均と標準偏差を算出し、平均から標準偏差の定数倍の範囲に収まる距離値の個数をＣｄとしてもよい。そして、所望の距離信頼度以上であればステップＳ２０６に進み、所望の距離信頼度未満であればステップＳ２０７に進むように決定してよい。

なお、ステップＳ２０５で距離信頼度Ｃｄを用いる場合、ステップＳ２０６で距離抽出部２３は、対応する画素に格納する平均距離値として距離差閾値よりも小さい距離値の差を与える距離値のみの平均値を用いてよい。例えば所望の距離信頼度が１で、ΔＤ１２とΔＤ２３とΔＤ３１のうちΔＤ１２のみ距離差閾値よりも小さいとした場合、Ｃｄが１であるのでステップＳ２０６に進む。この場合、ステップＳ２０６で距離抽出部２３は、距離差閾値より小さいΔＤ１２を与えるＤ１（ｉ１、ｊ１）とＤ２（ｉ２、ｊ２）の平均値Ｄａｖ’を算出する。そして、Ｄａｖ’を第１距離画像の画素（ｉ１、ｊ１）と第２距離画像の画素（ｉ２、ｊ２）と第３距離画像の画素（ｉ３、ｊ３）に格納して、ステップＳ２０８に進む。

また、図４のステップＳ２０において、距離抽出部２３は、抽出距離画像を生成するのに、偏光方向毎に生成された距離画像の各々から算出される法線画像も用いてよい。この場合、例えばステップＳ２０で距離抽出部２３は、第１距離画像～第３距離画像の比較に加え、第１距離画像～第３距離画像の各々から算出される法線画像間の比較にも基づき、第１距離画像～第３距離画像よりも精度の向上した抽出距離画像を生成する。

次に、図７を参照して、距離抽出部２３の距離抽出処理において、法線画像も用いる場合の動作を説明する。図７は、距離抽出部２３の動作を示すフローチャートである。なお、ステップＳ２０１～Ｓ２０４は図６と同様であるため、それらの説明を省略する。

ステップＳ２０９において、距離抽出部２３は、同一視点位置を基準とすることで、距離値の有意な比較が可能である距離画像の各々で法線画像を算出する。例えば、距離画像の注目画素に対応する被写体位置における被写体表面の法線を算出するには、注目画素と横方向に隣接する画素との距離値の差分、ならびに、注目画素と縦方向に隣接する画素との距離値の差分を用いる。算出された法線のベクトルを距離画像と対応付けて各画素に格納することにより法線画像を生成する。

続いてステップＳ２１０において、距離抽出部２３は、法線画像間の被写体の同一位置を示す画素同士で２つの法線がなす角度（以降、法線角度と記載する）を算出する。なお、法線角度は０度～９０度の範囲で考える。例えば、第１距離画像から算出された第１法線画像の画素（ｉ１、ｊ１）と第２距離画像から算出された第２法線画像の画素（ｉ２、ｊ２）と第３距離画像から算出された第３法線画像の画素（ｉ３、ｊ３）が被写体の同一位置を示しているとする。ここで、（ｉ、ｊ）は法線画像上の画素位置を表し、ステップＳ２０４における距離画像上の画素位置（ｉ、ｊ）と共通しているとする。また、第１法線画像の画素（ｉ１、ｊ１）での法線をＮ１（ｉ１、ｊ１）、第２法線画像の画素（ｉ２、ｊ２）での距離値をＮ２（ｉ２、ｊ２）、第３法線画像の画素（ｉ３、ｊ３）での法線をＮ３（ｉ３、ｊ３）とする。距離抽出部２３は、Ｎ１（ｉ１、ｊ１）とＮ２（ｉ２、ｊ２）の法線角度ＡＮ１２と、Ｎ２（ｉ２、ｊ２）とＮ３（ｉ３、ｊ３）の法線角度ＡＮ２３と、Ｎ３（ｉ３、ｊ３）とＮ１（ｉ１、ｊ３）の法線角度ＡＮ３１を算出する。

続いてステップＳ２１１において、距離抽出部２３は、距離画像間、ならびに法線画像間の対応する画素同士で算出した距離値の差がいずれも所定の閾値（距離差閾値）よりも小さく、かつ法線角度がいずれも所定の角度（法線角度閾値）よりも小さいか確認する。この条件を満たす場合、次の処理としてステップＳ２０６に進む。一方、この条件を満たさない場合、ステップＳ２０７に進む。例えば、ステップ２０４におけるΔＤ１２、ΔＤ２３、ΔＤ３１がいずれも距離差閾値よりも小さく、かつ、ＡＮ１２、ＡＮ２３、ＡＮ３１がいずれも法線角度閾値よりも小さい場合、ステップＳ２０６に進む。一方、それ以外の場合、ステップＳ２０７に進む。なお、図７のステップＳ２０６、Ｓ２０７は、図６と同様であるため、それらの説明を省略する。

ステップＳ２１１において、距離抽出部２３は、距離信頼度Ｃｄに加えて、法線画像間の対応する画素同士で算出した法線角度のうち法線角度閾値よりも小さいものの個数を法線信頼度Ｃｎと定義してもよい。なお、Ｃｄと同様に、対応する画素の法線角度の平均と標準偏差を算出し、平均から標準偏差の定数倍の範囲に収まる法線角度の個数をＣｎとしてもよい。そして、所望の距離信頼度以上、かつ、所望の法線信頼度以上の場合、ステップＳ２０６に進む。一方、それ以外の場合、ステップＳ２０７に進むように決定してよい。

なお、ステップＳ２１１でＣｄとＣｎを用いる場合、ステップＳ２０６で対応する画素に格納する平均距離値として、距離差閾値よりも小さい距離値の差を与え、かつ、法線角度閾値よりも小さい法線角度を与える画素位置の距離値のみの平均値を用いてもよい。例えば、所望の距離信頼度が１、かつ、所望の法線信頼度が１のとき、ΔＤ１２のみ距離差閾値よりも小さく、かつ、ＡＮ１２のみ法線角度閾値より小さいとした場合、Ｃｄが１、かつ、Ｃｎが１であるのでステップＳ２０６に進む。この場合、ステップＳ２０６において、ΔＤ１２を与える画素位置が（ｉ１、ｊ１）と（ｉ２、ｊ２）、また、ＡＮ１２を与える画素位置が（ｉ１、ｊ１）と（ｉ２、ｊ２）あることから、Ｄ１（ｉ１、ｊ１）とＤ２（ｉ２、ｊ２）の平均値Ｄａｖ’を算出する。そして、Ｄａｖ’を第１距離画像の画素（ｉ１、ｊ１）と第２距離画像の画素（ｉ２、ｊ２）と第３距離画像の画素（ｉ３、ｊ３）に格納して、ステップＳ２０８に進む。また、同様の距離信頼度と法線信頼度の条件で、例えばΔＤ１２のみ距離差閾値よりも小さく、かつ、ＡＮ２３のみ法線角度閾値より小さいとした場合を想定する。このときは、ステップＳ２０６で、ΔＤ１２を与える画素位置が（ｉ１、ｊ１）と（ｉ２、ｊ２）、また、ＡＮ２３を与える画素位置が（ｉ２、ｊ２）と（ｉ３、ｊ３）あることから、Ｄ２（ｉ２、ｊ２）をＤａｖ’とすればよい。

ステップＳ２０８において、距離抽出部２３は、ステップＳ２０４～Ｓ２１１の処理が距離画像の全体で行われ、信頼度の低い距離値を示す画素の距離値が削除されることによって精度の向上した抽出距離画像を生成する。さらに、上述したように、必要があれば欠損部分の距離値を周辺画素から補ってもよい。

本実施形態によれば、被写体の距離画像に対する鏡面反射による映り込みや照明等の外乱の影響を抑制することができる。ステレオマッチング処理に基づく距離算出では、被写体表面の鏡面反射による映り込みや照明等に起因して、算出される距離の精度が低下する。また、被写体表面の鏡面反射光は偏光しているため、複数の異なる偏光方向で被写体を撮像すると、取得される偏光画像において鏡面反射部分の輝度が変化する。そのため、複数の異なる偏光方向毎にステレオマッチング処理に基づいて距離画像を生成すると、偏光方向に応じて鏡面反射部分の距離値が変化する。したがって、複数の異なる偏光方向の距離画像間で距離値を比較することにより、偏光方向の変化に対して距離値の変化の大きい鏡面反射部分が信頼度の低い部分と判定され、該当する画素から距離値が削除される。このようにして、鏡面反射による映り込みや照明等の外乱の影響を抑制した被写体の距離画像を生成できる。

また本実施形態は、ステレオマッチング処理に基づく距離算出の原理に起因する精度低下に対しても効果を発揮する。例えば、テンプレートマッチング法によるシフト量の検出では、略等しい模様が周期的に繰り返されるような周期パターン部分や模様が明瞭としない弱パターン部分において、シフト量の検出が不安定になる。例えば周期パターン部分では、テンプレート画像と類似する画像領域が参照画像の探索範囲に複数存在するため、誤った画像領域で最も類似度が高くなると検出することがある。また、弱パターン部分では、相関計算で算出される相関値が探索範囲において差が小さいため、ノイズや外乱の影響により誤った画像領域を検出することがある。複数の異なる偏光方向の偏光画像において、周期パターン・弱パターン部分内の輝度分布は、被写体表面の向きや反射特性に従って偏光方向毎に変化する。したがって、周期パターン・弱パターン部分で算出される距離値が偏光方向に応じて変化する。以上から、偏光方向の異なる複数の距離画像を比較することで、周期パターン・弱パターン部分は信頼度の低い領域と判定され、該当する画素から距離値が削除される。このようにして、距離算出の原理に起因する精度低下を抑制した被写体の距離画像を生成することができる。

また本実施形態は、複数の距離画像間の対応する画素で、候補となる距離値のうち最も信頼度の高いと判定されるものを採用する方法でなく、候補となる距離値のすべてを１つの組として信頼度を判定し、その組を削除する方法である。そのため、誤って算出された距離値が抽出距離画像に残留する可能性を低減しやすい。

また、本実施形態によれば、距離算出に用いる偏光画像に対して、前処理として鏡面反射光の除去またはエッジ検出等の画像処理を施すことなく、被写体の距離画像における外乱起因や距離算出原理起因の精度低下を抑制することができる。

＜第２の実施形態＞
次に、本発明における第２の実施形態について説明する。第２の実施形態では、距離画像の生成に複数視点位置で取得された偏光画像を用いるのではなく、１視点位置で取得された偏光画像を用いる。

［２－１．構成］
まず、図８を参照して、本実施形態における画像処理装置の構成を説明する。図８は、画像処理装置（撮像装置）１０ａのブロック図である。画像処理装置１０ａは、撮像部２１、偏光画像から距離画像を生成する距離画像生成部（第１の生成部）２２ｂ、および距離抽出部（第２の生成部）２３を有する。

撮像部２１は、偏光フィルタを介して１つの視点位置で被写体を撮像することにより、被写体に対して同一の視点位置における複数の異なる偏光方向の偏光画像を取得する。撮像部２１は、取得した偏光画像の画像データを距離画像生成部２２ｂに出力する。撮像部２１の構成は、第１の実施形態と同様である。ただし、イメージセンサの各画素は１つのフォトダイオードから構成されていてもよいし、実質的に結像光学系の瞳を分割して非合焦状態を像面位相差として検出するために複数の（例えば横並びに２つの）フォトダイオードから構成されていてもよい。以降、非合焦状態すなわちデフォーカス状態のことを「ぼけ」と表記する。

撮像部２１では、複数の異なる偏光方向の偏光画像が取得されるように、偏光フィルタの偏光方向を設定する。第１の実施形態と同様に、偏光方向は０度～１８０度の範囲で複数設定し、偏光画像における被写体の輝度変化が大きくなるよう、偏光方向は例えば等しい角度差を有するように設定することが好ましい。

距離画像生成部２２ｂは、撮像部２１が１つの視点位置において複数の異なる偏光方向の各々で取得した偏光画像から、偏光方向毎に被写体の距離情報を示す距離画像を生成する。距離画像生成部２２ｂは、撮像部２１が取得した偏光方向が異なる偏光画像の各々について、画素毎にぼけの状態を取得する。また、距離画像生成部２２ｂは、ぼけの状態の結果と予め取得されているぼけ関数に基づき、例えば画素毎に距離を算出して距離画像を生成する。ここで、「ぼけ関数」は、例えばあるレンズ繰り出し量と絞り値における、焦点位置からの変位とぼけの状態の関係についての情報である。距離画像生成部２２ｂは、異なる偏光方向毎に生成した距離画像を距離抽出部２３に出力する。

距離抽出部２３は、距離画像生成部２２ｂが複数の異なる偏光方向の各々で生成した距離画像を用いて、第１の実施形態と同様に抽出距離画像を生成する。距離抽出部２３は距離画像生成部２２ｂが生成した距離画像よりも精度の向上した抽出距離画像を生成する。

［２－２．動作］
次に、図９を参照して、画像処理装置１０ｂの動作（画像処理方法）を説明する。図９は、本実施形態における画像処理方法を示すフローチャートである。撮像部２１は結像光学系に偏光フィルタが設けられて、１つの視点位置において３つの異なる偏光方向で被写体を撮像する場合を例示している。ステップは大別して、偏光画像を取得するステップ、距離画像を生成するステップ、および抽出距離画像を生成するステップに分かれる。

まず、ステップＳ１～Ｓ３において、撮像部２１は、偏光画像を取得する。例えば、撮像部２１は、ステップＳ１にて第１視点位置で第１偏光方向の第１偏光画像、ステップＳ２にて第１視点位置で第２偏光方向の第２偏光画像、ステップＳ３にて第１視点位置で第３偏光方向の第３偏光画像をそれぞれ取得する。このように、画像処理装置１０は、３つ以上の異なる偏光方向の偏光画像を取得する。

続いてステップＳ４１～Ｓ４３において、距離画像生成部２２ｂは、複数の異なる偏光方向毎に距離画像を生成する。例えば、距離画像生成部２２ｂは、ステップＳ４１にて第１偏光方向の第１偏光画像から第１距離画像を、ステップＳ４２にて第２偏光方向の第２偏光画像から第２距離画像を、ステップＳ４３にて第３偏光方向の第３偏光画像から第３距離画像をそれぞれ生成する。

ここで、図１０を参照して、距離画像生成部２２ｂの動作（距離画像の生成）を説明する。図１０は、距離画像生成部２２ｂの動作を示すフローチャートである。まず、ステップＳ４０１において、距離画像生成部２２ｂは、ある偏光方向の偏光画像を１つ取得する。例えば、距離画像生成部２２ｂは第１偏光方向の第１偏光画像を取得する。

続いてステップＳ４０２において、距離画像生成部２２ｂは、ぼけ情報を取得する。例えば、距離画像生成部２２ｂは、第１偏光画像におけるぼけ情報を取得する。距離画像生成部２２ｂは、第１偏光画像の注目画素におけるぼけの大きさ、形状や像面位相差等を、注目画素ならびに周辺画素の輝度の情報等から取得する。

続いてステップＳ４０３において、距離画像生成部２２ｂは、距離を算出する。距離画像生成部２２ｂは、取得したぼけの大きさ、形状や像面位相差等と、予め取得されているぼけ関数に基づき、注目画素の被写体までの距離を算出する。ここで、ぼけ関数は、例えばレンズの繰り出し量と絞り値毎に、焦点位置からの奥行方向の変位とぼけの大きさ・形状・像面位相差等の関係をテーブル、または、関数として有している。例えばレンズの繰り出し量によって焦点位置までの距離が算出され、ぼけからその焦点位置からの変位が算出されるので、両者を加算することで注目画素の被写体までの距離が算出される。続いてステップＳ４０４において、距離画像生成部２２ｂは、画素毎に算出された距離値を格納して距離画像を生成する。

続いて、図９のステップＳ２０において、距離抽出部２３は、第１の実施形態と同様に、抽出距離画像を生成する。例えば、ステップＳ２０において距離抽出部２３は、第１距離画像～第３距離画像から、これらよりも精度の向上した抽出距離画像を生成する。

このように本実施形態によれば、複数視点位置ではなく１視点位置において複数の異なる偏光方向の偏光画像が取得された場合でも、第１に実施形態と同様、距離抽出処理を行うことができる。すなわち、ステレオマッチング処理に基づく距離算出方法と同様、ぼけ情報に基づく方法に対しても、鏡面反射による映り込みや照明起因、ならびに、周期パターン・弱パターン部分での距離算出原理起因の精度低下を抑制することができる。

また、本実施形態において、１視点位置での撮像では視差は大きくても結像光学系の瞳径程度である。そのため、同一偏光方向の偏光画像であっても視差によって被写体の輝度分布が変化することによる、距離抽出処理の効果の低減を抑制することができる。
また、本実施形態では、１視点位置において被写体を撮像するため、複数視点位置での撮像における被写体表面の映り込みや照明等の視点位置毎の変化が生じない。したがって、これらに起因する距離画像の算出精度の低下を抑制することができる。

＜第３の実施形態＞
次に、本発明における第３の実施形態について説明する。本実施形態は、偏光画像を解析して取得される偏光方位を用いて、抽出距離画像を補完する処理も含む。

［３－１．構成］
まず、本実施形態における画像処理装置の構成を説明する。図１１は、画像処理装置（撮像装置）１０ｂのブロック図である。画像処理装置１０ｂは、撮像部２１、距離画像生成部（第１の生成部）２２、距離抽出部（第２の生成部）２３、偏光情報取得部２４ａ、法線情報推定部２５ａ、および距離補間部２６ａを有する。距離画像生成部２２は、第１の実施形態における距離画像生成部２２ａ、または第２の実施形態における距離画像生成部２２ｂに相当する。偏光情報取得部２４ａは、偏光方位画像を生成する。法線情報推定部２５ａは、法線方位画像を生成する。距離補間部２６ａは、抽出距離画像を補完する。

撮像部２１は、偏光フィルタを介して１つ、または、複数の視点位置で被写体を撮像することにより、３つ以上の異なる偏光方向の各々について１つ、または、複数の視点位置における偏光画像を取得する。取得した偏光画像の画像データを距離画像生成部２２と偏光情報取得部２４ａに出力する。距離画像生成部２２は、３つ以上の異なる偏光方向について１つ、または、複数の視点位置で取得した偏光画像から、偏光方向毎に被写体の距離情報を示す距離画像を生成する。距離画像生成部２２は、偏光方向毎に生成した距離画像を距離抽出部２３に出力する。距離抽出部２３は、距離画像生成部２２が３つ以上の異なる偏光方向の各々で生成した距離画像から抽出距離画像を生成する。距離抽出部２３は、生成された抽出距離画像を距離補完部（第３の生成部）２６ａに出力する。

偏光情報取得部２４ａは、３つ以上の異なる偏光方向の偏光画像を解析して、被写体の偏光情報を取得する。３つ以上の異なる偏光方向の偏光画像から取得される輝度と偏光方向のデータを用いて、モデル式に基づき偏光方位を算出する。偏光情報取得部２４ａは、各画素に算出された偏光方位を格納した偏光方位画像を生成し、法線情報推定部２５ａに出力する。

法線情報推定部２５ａは、偏光情報取得部２４ａが生成した偏光方位画像を用いて、法線方位を推定する。法線情報推定部２５ａは、被写体表面の反射特性に基づいて、偏光方位から被写体表面の法線方位を推定し、法線方位画像を生成する。法線情報推定部２５ａは、生成した法線方位画像を距離補完部２６ａに出力する。

距離補完部２６ａは、法線情報推定部２５ａが生成した法線方位画像を用いて抽出距離画像の欠損部分の補完処理を行う。距離補完部２６ａは、法線方位画像で示された法線方位と、距離抽出部２３から出力された抽出距離画像で示された距離値とに基づき、距離値が存在する画素を起点として等高線に沿って被写体表面形状を辿る。すなわち、距離補完部２６ａは、信頼度の高い距離値が存在する画素を起点として等高線に沿って距離値を伝搬させ、距離値が存在しない画素の距離値を補完する。このように、距離補完部２６ａは、距離抽出部２３が生成する抽出距離画像の欠損部分が補完された距離画像（補完距離画像、第３の距離画像）を生成する。

［３－２．動作］
次に、図１２を参照して、本実施形態における画像処理装置１０ｂの動作（画像処理方法）を説明する。図１２は、本実施形態における画像処理方法を示すフローチャートである。撮像部２１は、結像光学系に偏光フィルタが設けられて、２つの視点位置の各々で３つの異なる偏光方向で被写体を撮像する。ステップは大別して、偏光画像を取得するステップ、距離画像を生成するステップ、抽出距離画像を生成するステップ、偏光方位画像を生成するステップ、および法線方位画像を生成するステップ、抽出距離画像を補完するステップに分かれる。

まず、ステップＳ１～Ｓ６において、撮像部２１は、偏光画像を取得する。例えば、ステップＳ１～Ｓ３において、撮像部２１は、第１視点位置で偏光方向が第１偏光方向～第３偏光方向である第１偏画像～第３偏光画像をそれぞれ取得する。また、ステップＳ４～Ｓ６において、撮像部２１は、第２視点位置で偏光方向が第１偏光方向～第３偏光方向である第１偏画像～第３偏光画像をそれぞれ取得する。このように、画像処理装置１０は、複数の異なる視点位置の各々で３つ以上の異なる偏光方向の偏光画像を取得する。

続いてステップＳ１１～Ｓ１３において、距離画像生成部２２は、偏光方向毎に距離画像を生成する。例えば、距離画像生成部２２は、第１偏光画像と第４偏光画像から第１偏光方向である第１距離画像、第２偏光画像と第５偏光画像から第２偏光方向である第２１距離画像、および、第３偏光画像と第６偏光画像から第３偏光方向である第３距離画像を生成する。このように距離画像生成部２２は、偏光方向毎に距離画像を生成する。続くステップＳ２０は、第１の実施形態または第２の実施形態と同様の処理である。例えば、距離抽出部２３は、第１距離画像～第３距離画像から、これらよりも精度の向上した抽出距離画像を生成する。

また、ステップＳ５０において、偏光情報取得部２４ａは、同一の視点位置における３つ以上の異なる偏光方向の偏光画像を用いて偏光方位を算出し、偏光方位画像を生成する。例えば、偏光情報取得部２４ａは、第１視点位置における第１偏光方向～第３偏光方向の第１偏光画像～第３偏光画像から第１視点位置の偏光方位画像を生成する。偏光情報取得部２４ａは、同一視点位置において３つ以上の異なる偏光方向で取得された偏光画像が存在する場合、それらを用いて偏光方位を算出する。複数の視点位置が該当する場合、そのうちの１つを選択して用いてよい。また、同一視点位置で取得された３つ以上の異なる偏光方向の偏光画像が存在しない場合、例えば特許文献２に開示されている方法、すなわち、距離画像を用いて偏光画像同士の位置合わせを行ってから偏光方位を算出する。

図１３は、偏光画像における被写体表面の輝度と偏光方向の関係を示す図である。図１３において、縦軸は輝度Ｉ、横軸は偏光方向角Φをそれぞれ示す。例えば、無偏光で一様な照明下に置かれている被写体を、偏光方向を変えながら偏光フィルタを介して撮像した場合における、被写体表面のある一点における輝度を例示している。偏光フィルタの偏光方向を、偏光フィルタを含む平面のある基準とする方向に対する角度（０度～１８０度の範囲）で表し、偏光方向角φとする。輝度Ｉは、偏光方向角φに応じて変化するが、このときの最高輝度をＩｍａｘ、最低輝度をＩｍｉｎとする。なお、偏光フィルタは、偏光方向が１８０度回転すると元の偏光状態に戻るため、輝度は１８０度の周期を有する。また、最高輝度Ｉｍａｘが観測されたときの偏光方向角φを偏光方位αとする。これらのように定義すると、偏光フィルタの偏光方向角φに対して、取得される輝度Ｉは、以下の式（２）のモデル式で表すことができる。

したがって、偏光方向角φは、偏光画像取得時に既知であるとして、３つ以上の異なる偏光方向角φで輝度Iを取得すれば、式（２）からＩｍａｘ、Ｉｍｉｎ、偏光方位αを算出できる。なお、これらＩｍａｘ、Ｉｍｉｎ、偏光方位αの算出は解析的に行ってもよいし、最適化手法、例えばＬＭ法や最急降下法等を用いてもよい。このように偏光情報取得部２４ａは、画素毎に上述のモデル式を用いた処理を行うことにより偏光方位αを算出して、偏光方位画像を生成する。

図１２のステップＳ６０において、法線情報推定部２５ａは、偏光情報取得部２４ａが出力した偏光方位画像を用いて法線方位を推定する。ここで、図１４（ａ）、（ｂ）を参照して、法線方位について説明する。図１４（ａ）は、法線方位の説明図である。図１４（ａ）において、法線方位ψは、被写体６０１の表面の法線Ｎを偏光フィルタを含むｘｙ平面６０２に射影したベクトルＮ’とｘ軸正方向とがなす角（０度～１８０度の範囲で表す）である。なお、ｘ軸正方向を上述の偏光方向角が基準とする方向と考えてよい。例えば無偏光で一様な照明下において、被写体表面からの反射光に関して、鏡面反射成分が支配的な場合は法線方位ψが偏光方位αに対して直角であり、拡散反射成分が支配的な場合は法線方位ψが偏光方位αに等しくなることが知られている。このように、法線情報推定部２５ａは、被写体表面で鏡面反射と拡散反射のどちらが支配的かに応じて、画素毎に偏光方位αから法線方位ψを推定し、法線方位画像を生成する。

図１２のステップＳ７０において、距離補完部２６ａは、法線情報推定部２５ａが出力した法線方位画像を用いて距離抽出部が出力した距離画像の補完処理を行う。なお、距離画像が基準とする視点位置と法線方位画像が生成された視点位置が異なる場合は、両者が同一視点位置となるように、例えば予め取得されている校正情報が示す視点位置の関係等を用いて距離画像を変換してから補完処理を行う。

ここで、法線方位を用いた距離画像の補完処理について説明する。被写体表面のある点に関して、法線方位画像おいて法線方位に直角となる方向は、距離画像において等高線の方向を表すことが知られている。したがって、法線方位に直角となる方向を辿ることによって、被写体表面形状を等高線に沿って辿ることができる。このように、距離補完部２６ａは距離画像において距離値が存在する画素を起点として、その距離値を等高線に沿って伝搬させることにより、距離値が欠損した画素の距離値を推定して補完する。以上のように、ステップＳ７０において、距離補完部２６ａは、距離抽出部２３が生成した抽出距離画像を補完した補完距離画像を生成する。

このように本実施形態によれば、偏光方位を利用することにより、抽出距離画像の欠損部分を補完することができる。抽出距離画像では、第１の実施形態または第２の実施形態の効果と同様に、鏡面反射による映り込みや照明起因、ならびに、周期パターン・弱パターン部分での距離算出原理起因の精度低下が抑制される。一方、距離算出の精度低下の原因となる外乱やパターンが偏光方位の算出に与える影響は小さい。さらに、例えばテンプレートマッチング法を用いた距離算出において欠損部分を生じやすい模様やテクスチャが存在しない被写体部分において、精度良く偏光方位が取得できる。したがって、偏光方位を利用して取得される等高線に沿って距離値を伝搬することにより、外乱による精度の低下を抑制しながら、例えば最近傍補間法、双一次補間法や双三次補間法の利用が難しい大きな欠損部分でも補完することができる。もしも、距離抽出処理を施さない距離画像に対して距離補完処理を施すと、精度が低下したままの距離値が欠損部分に伝搬するため、結果として補完距離画像の精度低下を招く。以上のように、距離抽出処理と偏光情報の利用の相性の良さを活かすことで、精度の向上した被写体の距離画像を生成できる。

＜第４の実施形態＞
次に、第４の実施形態について説明する。本実施形態では、偏光画像を解析して偏光方位だけでなく偏光度も取得し、被写体表面の法線を算出することで抽出距離画像を補完する処理を含む。

［４－１．構成］
まず、図１５を参照して、本実施形態における画像処理装置の構成を説明する。図１５は、画像処理装置（撮像装置）１０ｃのブロック図である。画像処理装置１０ｃは、第３の実施形態と同様に、撮像部２１、距離画像生成部（第１の生成部）２２、および距離抽出部（第２の生成部）２３を有する。また画像処理装置１０は、偏光方位画像と偏光度画像を生成する偏光情報取得部２４ｂ、法線画像を生成する法線情報推定部２５ｂ、および、抽出距離画像を補完する距離補完部（第３の生成部）２６ｂを有する。なお、撮像部２１、距離画像生成部２２、および距離抽出部２３は、第３の実施形態と同様であるため、それらの説明を省略する。

偏光情報取得部２４ｂは、偏光画像を用いて被写体の偏光情報を取得する。３つ以上の異なる偏光方向の偏光画像について、輝度と偏光方向の情報からモデル式を用いて偏光方位ならびに偏光度を算出する。偏光情報取得部２４ｂは、各画素に算出した偏光方位を格納した偏光方位画像、ならびに、偏光度を格納した偏光度画像を法線情報推定部２５ｂに出力する。

法線情報推定部２５ｂは、偏光情報取得部２４ｂが生成した偏光方位画像と偏光度画像から法線画像を生成する。法線情報推定部２５ｂは、被写体表面の反射特性に基づいて、画素毎に偏光方位から被写体表面の法線方位を算出し、また、偏光度から法線天頂角を算出して、法線画像を生成する。法線情報推定部２５ｂは、法線画像を距離補完部２６ｂに出力する。

距離補完部２６ｂは、法線情報推定部２５ｂが生成した法線画像を用いて抽出距離画像の補完処理を行う。距離補完部２６ｂは、法線画像で示された法線と、距離抽出部２３から出力された抽出距離画像で示された距離値とに基づき、抽出距離画像の欠損部分を補完することや、高精度化を行う。

［４－２．動作］
次に、図１６を参照して、画像処理装置１０ｃの動作（画像処理方法）について説明する。図１６は、本実施形態における画像処理方法を示すフローチャートである。撮像部２１は、結像光学系に偏光フィルタが設けられて、２つの視点位置の各々で３つの異なる偏光方向で被写体を撮像する。ステップは大別して、偏光画像を取得するステップ、距離画像を生成するステップ、抽出距離画像を生成するステップ、偏光方位画像と偏光度画像を生成するステップ、法線画像を生成するステップ、抽出距離画像を補完するステップに分かれる。図１６において、ステップＳ１～Ｓ６での撮像部２１の動作、ステップＳ１１～Ｓ１３での距離画像生成部２２の動作、ステップＳ２０での距離抽出部２３の動作、およびステップＳ５０での偏光情報取得部２４ｂの動作はそれぞれ、第３の実施形態と同様である。

ステップＳ５１において、偏光情報取得部２４ｂは、ステップＳ５０にて偏光方位と同時に算出される偏光情報（モデル式における最高輝度と最低輝度）を取得し、偏光の程度を表す偏光度を算出して偏光度画像を生成する。例えば、ステップＳ５１において、偏光情報取得部２４ｂは、第１視点位置における第１偏光画像～第３偏光画像を用いて第１視点位置の偏光度画像を生成する。

ここで、偏光度の算出方法について説明する。偏光度ρは、式（２）において偏光方位αを算出する際に算出される最高輝度Ｉｍａｘ、最低輝度Ｉｍｉｎを用いて、以下の式（３）により算出される。

このように偏光情報取得部２４ｂは、各画素で算出した偏光度ρを算出して偏光度画像を生成する。続いてステップＳ６１において、法線情報推定部２５ｂは、法線算出処理を行う、すなわち、偏光情報取得部２４ｂが出力した偏光方位画像と偏光度画像を用いて被写体表面の法線を算出する。

図１７は、法線情報推定部２５ｂの動作（法線算出処理）を示すフローチャートである。まずステップＳ６１１において、法線情報推定部２５ｂは、偏光方位画像を取得する。続いてステップＳ６１２において、第３の実施形態と同様に、法線情報推定部２５ｂは、偏光方位画像を用いて、被写体表面の反射特性、すなわち、鏡面反射と拡散反射のどちらが支配的かに応じて、画素毎に偏光方位から法線方位して、ステップＳ６１５に進む。

また、ステップＳ６１３において、法線情報推定部２５ｂは、偏光度画像を取得する。続いてステップＳ６１４において、法線情報推定部２５ｂは、偏光度画像から被写体表面の法線天頂角を算出する。図１４（ｂ）は、法線天頂角の説明図である。図１４（ｂ）において、法線天頂角θは、偏光フィルタを含むｘｙ平面６０２に対して垂直（ｚ軸に平行）な直線６０３の被写体６０１からｘｙ平面６０２に向かう向きに対する法線Ｎの角である。偏光度ρと法線天頂角θの関係は、被写体の屈折率ｎも用いて、被写体表面の反射特性に応じてモデル化できる。例えば鏡面反射モデルにおいて以下の式（４）、拡散反射モデルにおいて以下の式（５）のようにそれぞれ表される。

したがって、例えば、式（４）と式（５）の各々、または、式（４）と式（５）とを組み合わせた式を用いることにより、画素毎に偏光度ρに基づいて法線天頂角θが推定される。このように、ステップＳ６１４において、法線情報推定部２５ｂは、画素毎に法線天頂角θを算出してステップＳ６１５に進む。ステップＳ６１５において、法線情報推定部２５ｂは、画素毎に算出した法線方位と法線天頂角を用いて法線を算出し、法線画像を生成する。

続いて、図１６のステップＳ７１において、距離補完部２６ｂは、法線情報推定部２５ｂが生成した法線画像を用いて、距離抽出部２３が生成した抽出距離画像の補完処理を行う。ステップＳ７１において、距離補完部２６ｂは、例えば、第３の実施形態と同様に、法線方位を用いて等高線に沿って抽出距離画像の欠損部分の補完を行った後、さらに、法線天頂角を用いて等高線に直交する方向に距離値を補完し、必要に応じて修正してもよい。また、距離補完部２６ｂは、法線画像の各画素の法線を用い、ベクトル積分に基づいて算出される相対的な被写体形状と、抽出距離画像の距離値とを統合することによって距離画像の欠損部分を補完してもよい。また、距離補完部２６ｂは、法線画像の各画素の法線と、距離画像から算出される各画素の法線との一致が良くなるように抽出距離画像の欠損部分の距離値を最適化してもよい。以上のように、ステップＳ７１において、距離補完部２６ｂは、距離抽出部２３が生成した抽出距離画像を補完した補完距離画像（第３の距離画像）を生成する。

このように本実施形態によれば、偏光方位と偏光度を利用することによって抽出距離画像の欠損部分を補完することができる。偏光方位と偏光度は、例えばテンプレートマッチング法を用いた距離算出において欠損部分を生じやすい模様やテクスチャが存在しない被写体部分でも取得できる。したがって、例えば最近傍補間法、双一次補間法や双三次補間法の利用が難しい大きな欠損部分でも、偏光方位と偏光度から算出される法線を利用して補完することができる。
また、本実施形態によれば、法線の情報のうち、法線方位に加えて法線点頂角も抽出距離画像の補完に利用できる。したがって、第３の実施形態と比較して、例えば、より細かい凹凸まで復元された精度の向上した被写体の距離画像を生成することができる。

＜第５の実施形態＞
次に、第５の実施形態について説明する。本実施形態は、距離画像の距離情報と偏光画像を解析して取得した偏光情報を用いて、被写体画像における表面質感と視点位置の両方を制御する処理も含む。

［５－１．構成］
まず、図１８を参照して、本実施形態における画像処理装置の構成を説明する。図１８は、画像処理装置（撮像装置）１０ｄのブロック図である。画像処理装置１０ｄは、第３の実施形態と同様に、撮像部２１、距離画像生成部（第１の生成部）２２、および距離抽出部（第２の生成部）２３を有する。また画像処理装置１０ｄは、偏光情報取得部２４、法線情報推定部２５、および距離補完部（第３の生成部）２６を有する。偏光情報取得部２４は、第３の実施形態の偏光情報取得部２４ａまたは第４の実施形態の偏光情報取得部２４ｂに相当する。法線情報推定部２５は、第３の実施形態の法線情報推定部２５ａまたは第４の実施形態の法線情報推定部２５ｂに相当する。距離補間部２６は、第３の実施形態の距離補完部２６ａまたは第４の実施形態の距離補間部２６ｂに相当する。また画像処理装置１０ｄは、被写体に対する視点位置と表面質感の両方を制御する質感・視点制御部２７を有する。

撮像部２１、距離画像生成部２２、および距離抽出部２３は、第３の実施形態または第４の実施形態と同様である。ただし、距離抽出部２３は、抽出距離画像を距離補完部２６または質感・視点制御部２７のいずれかに出力する。偏光情報取得部２４、法線情報推定部２５、および距離補完部２６は、第３の実施形態または第４の実施形態と同様の処理を行う。ただし、偏光情報取得部２４は、式（２）で表されるモデル式の最高輝度と最低輝度を偏光情報として、質感・視点制御部２７に出力する。質感・視点制御部２７は、偏光情報取得部２４が出力した偏光情報と距離抽出部２３で生成された抽出距離画像または距離補完部２６により補完された画像を用いて、質感・視点制御処理を行う。これにより、被写体に対する視点位置と被写体の表面質感の両方が変更された被写体画像を生成することができる。

［５－２．動作］
次に、図１９を参照して、画像処理装置１０ｄの動作（画像処理方法）について説明する。図１９は、本実施形態における画像処理方法を示すフローチャートである。撮像部２１は、結像光学系に偏光フィルタが設けられて、２つの視点位置の各々で３つの異なる偏光方向で被写体を撮像する。ステップは大別して、偏光画像を取得するステップ、距離画像を生成するステップ、抽出距離画像を生成するステップ、偏光情報を算出するステップ、および表面質感と視点位置を変更した被写体画像を生成するステップを含む。また、法線情報を算出するステップと補完距離画像（第３の距離画像）を生成するステップを含んでもよい。ステップＳ１～Ｓ６での撮像部２１の動作、ステップＳ１１～Ｓ１３での距離画像生成部２２の処理、および、ステップＳ２０での距離抽出部２３の処理は、第３の実施形態と同様である。

ステップＳ５２において、偏光情報取得部２４は、第３の実施形態と同様に偏光方位画像を生成するか、または第４の実施形態と同様に偏光方位画像と偏光度画像の両方を生成して、ステップＳ６２に進む。また、偏光情報取得部２４は、式（２）で表されるモデル式を用いて算出される最高輝度Ｉｍａｘ、最低輝度Ｉｍｉｎを画素毎に取得して、ステップＳ９０に進む。

ステップＳ６２において、法線情報推定部２５は、第３の実施形態と同様に偏光方位画像を用いて法線方位画像を生成するか、または第４の実施形態と同様に偏光度画像と法線方位画像の両方を用いて法線画像を生成して、ステップＳ７２に進む。

ステップＳ８０において、距離補完処理を必要とする場合にはステップＳ７２に進み、距離補完処理を必要としない場合にはステップＳ９０に進む。

ステップＳ７２において、距離補完部２６は、第３の実施形態と同様に法線方位画像、または、第４の実施形態と同様に法線画像を用いて、距離抽出部２３が生成した抽出距離画像を補完して補完距離画像を生成する。続いてステップＳ９０において、質感・視点制御部２７は、偏光情報と距離情報とを用いて質感・視点制御処理を行い、表面質感と視点位置の両方が変更された被写体画像を生成する。

図２０は、質感・視点制御部２７の動作を示すフローチャートである。まずステップＳ９０１において、質感・視点制御部は２７は、偏光情報として偏光情報取得部２４が算出した画素毎の最低輝度Ｉｍｉｎ、最高輝度Ｉｍａｘを取得する。続いてステップＳ９０２において、質感・視点制御部は２７、最低輝度Ｉｍｉｎと最高輝度Ｉｍａｘを用いて反射成分の調整を行うことにより、表面質感が変更された被写体画像を生成する。

図２１は、式（２）で表されるモデル式に基づく被写体表面の輝度Ｉと偏光方向角φとの関係を示す図である。図２１において、縦軸は輝度Ｉ、横軸は偏光方向角φをそれぞれ示す。ここで、輝度０から最低輝度Ｉｍｉｎまでの輝度範囲は偏光方向にかかわらず輝度が変化しない無偏光成分に相当しており、略ランバート反射成分と想定することができる。また、最低輝度Ｉｍｉｎから最高輝度Ｉｍａｘまでの輝度範囲は偏光方向によって輝度が変化する偏光成分に相当しており、略鏡面反射成分と想定することができる。したがって、略ランバート反射成分に対する略鏡面反射成分の比率を小さくすることで、例えばマットな表面質感やテクスチャが目立ちにくい表面質感の被写体画像を生成できる。また、略ランバート反射成分に対する略鏡面反射成分の比率を大きくすることで、例えば光沢感の強い表面質感やテクスチャが強調された表面質感の被写体画像を生成できる。このようにステップＳ９０２において、質感・視点制御部２７は、表面質感が変更された被写体画像を生成して、ステップＳ９０５に進む。

またステップＳ９０３において、質感・視点制御部２７は、距離抽出部２３または距離補完部２６が生成した距離画像を取得する。続いてステップＳ９０４において、質感・視点制御部２７は、距離画像を用いて被写体の三次元形状を取得し、被写体形状を三次元的に回転させる等して被写体に対する視点位置を変更する。質感・視点制御部２７は、視点位置を変更するための情報（以降、視点位置偏光情報と記載する）として、例えば被写体画像における視点位置の変更前後での同一位置を示す画素同士の対応関係を算出して、ステップＳ９０５に進む。

ステップＳ９０５において、質感・視点制御部２７は、表面質感が変更された被写体画像と視点位置変更情報とを用いて、表面質感と視点位置が変更された被写体画像を生成する。表面質感が変更された被写体画像の視点位置は、ステップＳ９０４における変更前の視点位置であるため、視点位置変更情報と統合することにより、表面質感だけでなく三次元的に視点位置も変更された被写体画像が生成される。

このように本実施形態によれば、被写体の撮像後、取得した被写体画像を用いて視点位置の変更と被写体の表面質感の調整が可能になる。特に、第２の実施形態のような１視点位置で取得した偏光画像を距離取得に用いる場合、１視点位置でしか被写体を撮像していないにもかかわらず、撮像後に被写体に対する視点位置を変更することができる。なお、視点位置の変更は、必ずしも距離画像において被写体の細かい形状まで復元されていなくても可能で、細かい凹凸やテクスチャは視点位置変更した被写体画像の表面質感を調整して表現することができる。したがって、視差が小さくなるために距離取得の空間分解能の点で不利になりがちな例えば１視点位置での偏光画像を距離取得に用いる場合に、本実施形態は特に有効である。

以上のように、各実施形態において、画像処理装置１０、１０ａ、１０ｂ、１０ｃ、１０ｄは、第１の生成部（距離画像生成部２２、２２ａ、２２ｂ）および第２の生成部（距離抽出部２３）を有する。第１の生成部は、被写体からの複数の異なる偏光状態の光により取得された被写体までの距離情報を用いて複数の第１の距離画像（距離画像、デプスマップ）を生成する。第２の生成部は、複数の第１の距離画像を用いて第２の距離画像（抽出距離画像）を生成する。また第２の生成部は、複数の第１の距離画像における被写体の同一位置に相当する画素領域（距離画像の一部の画素領域）の距離値（デプス）を互いに比較した結果に基づいて、第２の距離画像を生成する。

好ましくは、第２の生成部は、複数の第１の距離画像から信頼度が低いと判断した情報を削除することで第２の距離画像を生成する。また好ましくは、第２の生成部は、距離値の差が所定の閾値（距離差閾値）よりも小さい場合には距離値を平均し、距離値の差が所定の閾値よりも大きい場合には距離値を削除して、第２の距離画像を生成する。また好ましくは、画素領域は、一画素である。また好ましくは、第２の生成部は、更に、複数の第１の距離画像における画素領域の法線情報を比較した結果に基づいて、第２の距離画像を生成する。

好ましくは、第１の生成部は、複数の異なる偏光方向の各々で、被写体に対して複数の異なる視点位置において取得された偏光画像を用いて、複数の第１の距離画像を生成する。または、好ましくは、第１の生成部は、被写体に対して複数の異なる視点位置の各々において、複数の異なる偏光方向で取得された偏光画像を用いて、複数の第１の距離画像を生成する。または、好ましくは、第１の生成部は、被写体に対して同一の視点位置において、複数の異なる偏光方向で取得された偏光画像を用いて、複数の第１の距離画像を生成する。

好ましくは、画像処理装置は、複数の異なる偏光方向で取得された偏光画像を解析して、被写体の偏光情報を算出する偏光情報取得部２４、２４ａ、２４ｂを有する。また好ましくは、画像処理装置は、偏光情報を用いて、被写体の法線方位を示す法線方位画像または被写体の法線を示す法線画像を生成する法線情報推定部２５、２５ａ、２５ｂを有する。また好ましくは、画像処理装置は、法線方位画像または法線画像を用いて第２の距離画像を補完（補正）することにより第３の距離画像（補完距離画像）を生成する第３の生成部（距離補完部２６、２６ａ、２６ｂ）を有する。また好ましくは、画像処理装置は、第２の距離画像または第３の距離画像、および偏光情報を用いて、被写体の表面質感および被写体に対する視点位置が変更された被写体画像を生成する質感・視点制御部２７を有する。

上述の画像処理装置は、撮像装置や撮像機能を有した電子機器等であってもよい。さらに、明細書中において説明した一連の処理は、ハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータに、上述の処理を行うプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ、ＲＯＭに予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ、ＭＯディスク、ＤＶＤ、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に記録しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮやインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

各実施形態によれば、距離画像中で、被写体表面の鏡面反射による映り込みや照明などの外乱や、距離算出原理に起因して誤って算出される距離値を削除し、精度の向上した被写体の距離画像を生成することができる。このため各実施形態によれば、高精度の距離画像を生成することが可能な画像処理装置、画像処理方法、およびプログラムを提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０ 画像処理装置
２２、２２ａ、２２ｂ 距離画像生成部（第１の生成部）
２３ 距離抽出部（第２の生成部）

Claims (18)

1. 被写体からの複数の異なる偏光状態の光により取得された該被写体までの距離情報を用いて複数の第１の距離画像を生成する第１の生成部と、
   前記複数の第１の距離画像を用いて第２の距離画像を生成する第２の生成部とを有し、
   前記第２の生成部は、前記複数の第１の距離画像における前記被写体の同一位置に相当する画素領域の距離値を互いに比較した結果に基づいて、前記第２の距離画像を生成することを特徴とする画像処理装置。
2. 前記第２の生成部は、前記複数の第１の距離画像から信頼度が低いと判断した情報を削除することで前記第２の距離画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の生成部は、前記距離値の差が所定の閾値よりも小さい場合には前記距離値を平均し、前記距離値の前記差が前記所定の閾値よりも大きい場合には前記距離値を削除することで前記第２の距離画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画素領域は、一画素であることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記第２の生成部は、前記複数の第１の距離画像における前記画素領域の法線情報を比較した結果に基づいて、前記第２の距離画像を生成することを特徴とする請求項1乃至４のいずれか一項に記載の画像処理装置。
6. 前記第１の生成部は、前記複数の異なる偏光状態の光の各々で、前記被写体に対して複数の異なる視点位置において取得された偏光画像を用いて、前記複数の第１の距離画像を生成することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記第１の生成部は、前記被写体に対して複数の異なる視点位置の各々において、前記複数の異なる偏光状態の光により取得された偏光画像を用いて、前記複数の第１の距離画像を生成することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
8. 前記第１の生成部は、前記被写体に対して同一の視点位置において、前記複数の異なる偏光状態の光により取得された偏光画像を用いて、前記複数の第１の距離画像を生成することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
9. 前記複数の異なる偏光状態の光により取得された偏光画像を解析して、前記被写体の偏光情報を算出する偏光情報取得部を更に有することを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 前記偏光情報を用いて前記被写体の法線方位を示す法線方位画像を生成する法線情報推定部を更に有することを特徴とする請求項９に記載の画像処理装置。
11. 前記偏光情報を用いて前記被写体の法線を示す法線画像を生成する法線情報推定部を更に有することを特徴とする請求項９に記載の画像処理装置。
12. 前記法線方位画像を用いて前記第２の距離画像を補完することにより第３の距離画像を生成する第３の生成部を更に有することを特徴とする請求項１０に記載の画像処理装置。
13. 前記法線画像を用いて前記第２の距離画像を補完することにより第３の距離画像を生成する第３の生成部を更に有することを特徴とする請求項１１に記載の画像処理装置。
14. 前記偏光情報および前記第２の距離画像を用いて、前記被写体の表面質感および前記被写体に対する視点位置が変更された被写体画像を生成する質感・視点制御部を更に有することを特徴とする請求項９乃至１３のいずれか一項に記載の画像処理装置。
15. 前記偏光情報および前記第３の距離画像を用いて、前記被写体の表面質感および前記被写体に対する視点位置が変更された被写体画像を生成する質感・視点制御部を更に有することを特徴とする請求項１２または１３に記載の画像処理装置。
16. 前記複数の異なる偏光状態の光により偏光画像を取得する撮像部を更に有することを特徴とする請求項１乃至１５のいずれか一項に記載の画像処理装置。
17. 被写体からの複数の異なる偏光状態の光により取得された該被写体までの距離情報を用いて複数の第１の距離画像を生成する第１の生成ステップと、
    前記複数の第１の距離画像を用いて第２の距離画像を生成する第２の生成ステップとを有し、
    前記第２の生成ステップにおいて、前記複数の第１の距離画像における前記被写体の同一位置に相当する画素領域の距離値を互いに比較した結果に基づいて、前記第２の距離画像を生成することを特徴とする画像処理方法。
18. 請求項１７に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。