JP2023112222A - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2023112222A JP2023112222A JP2022013840A JP2022013840A JP2023112222A JP 2023112222 A JP2023112222 A JP 2023112222A JP 2022013840 A JP2022013840 A JP 2022013840A JP 2022013840 A JP2022013840 A JP 2022013840A JP 2023112222 A JP2023112222 A JP 2023112222A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image
- polarization
- subject
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 20
- 230000010287 polarization Effects 0.000 claims abstract description 330
- 238000003384 imaging method Methods 0.000 claims description 72
- 238000000034 method Methods 0.000 description 60
- 238000000605 extraction Methods 0.000 description 50
- 230000008569 process Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 21
- 230000003287 optical effect Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 11
- 230000000295 complement effect Effects 0.000 description 9
- 230000000737 periodic effect Effects 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 5
- 101100028093 Drosophila melanogaster Or22b gene Proteins 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Landscapes
- Measurement Of Optical Distance (AREA)
Abstract
【課題】高精度の距離画像を生成することが可能な画像処理装置を提供する。【解決手段】画像処理装置(10)は、被写体からの複数の異なる偏光状態の光により取得された該被写体までの距離情報を用いて複数の第1の距離画像を生成する第1の生成部(22a)と、複数の第1の距離画像を用いて第2の距離画像を生成する第2の生成部(23)とを有し、第2の生成部(23)は、複数の第1の距離画像における被写体の同一位置に相当する画素領域の距離値を互いに比較した結果に基づいて、第2の距離画像を生成する。【選択図】図1
Description
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
従来、被写体までの距離情報を示す距離画像と、特定の偏光方向の光に対応する偏光画像とを同時に取得することで、距離画像の精度を向上させる方法が知られている。特許文献1には、複数の異なる偏光方向の光により取得された偏光画像を解析し、被写体表面の鏡面反射光を特定することで、距離画像から鏡面反射の影響を差し引く画像処理装置が開示されている。特許文献2には、ステレオ法により複数の異なる偏光方向の光により取得された偏光画像から複数の距離画像を取得し、複数の距離画像で被写体の同一位置を示す画素のうち、最も信頼度が高いと判定される距離値を採用する画像処理装置が開示されている。
特許文献1に開示されている画像処理装置では、距離画像の算出の原理起因の誤差(例えば、周期パターン部分における誤差)を低減することはできない。特許文献2に開示されている画像処理装置では、距離画像の算出の際に最も信頼度が高いと判定される距離値を採用するため、誤差が生じる可能性がある。
そこで本発明は、高精度の距離画像を生成することが可能な画像処理装置を提供することを目的とする。
本発明の一側面としての画像処理装置は、 被写体からの複数の異なる偏光状態の光により取得された該被写体までの距離情報を用いて複数の第1の距離画像を生成する第1の生成部と、前記複数の第1の距離画像を用いて第2の距離画像を生成する第2の生成部とを有し、前記第2の生成部は、前記複数の第1の距離画像における前記被写体の同一位置に相当する画素領域の距離値を互いに比較した結果に基づいて、前記第2の距離画像を生成する。
本発明の他の目的及び特徴は、以下の実施形態において説明される。
本発明によれば、高精度の距離画像を生成することが可能な画像処理装置を提供することができる。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
<第1の実施形態>
[1-1.構成]
まず、図1を参照して、本発明の第1の実施形態における画像処理装置の構成を説明する。図1は、本実施形態における画像処理装置(撮像装置)10のブロック図である。画像処理装置10は、被写体からの複数の異なる偏光方向(偏光状態)の光を用いて取得された偏光画像を取得する撮像部21を有する。また画像処理装置10は、偏光画像から距離画像(デプスマップ)を生成する距離画像生成部(第1の生成部)22a、および信頼度の低い距離値を削除する距離抽出部(第2の生成部)23を有する。なお本実施形態において、画像処理装置10は撮像部21を有するが、これに限定されるものではなく、本実施形態は、撮像部21を有しない画像処理装置にも適用可能である。この点は、他の実施形態でも同様である。
[1-1.構成]
まず、図1を参照して、本発明の第1の実施形態における画像処理装置の構成を説明する。図1は、本実施形態における画像処理装置(撮像装置)10のブロック図である。画像処理装置10は、被写体からの複数の異なる偏光方向(偏光状態)の光を用いて取得された偏光画像を取得する撮像部21を有する。また画像処理装置10は、偏光画像から距離画像(デプスマップ)を生成する距離画像生成部(第1の生成部)22a、および信頼度の低い距離値を削除する距離抽出部(第2の生成部)23を有する。なお本実施形態において、画像処理装置10は撮像部21を有するが、これに限定されるものではなく、本実施形態は、撮像部21を有しない画像処理装置にも適用可能である。この点は、他の実施形態でも同様である。
撮像部21は、透過偏光方向を任意の角度に設定した偏光フィルタを介して複数の視点位置で被写体を撮像することにより、複数の異なる偏光方向の各々について複数の視点位置における偏光画像を生成する。偏光フィルタとしては、例えば直線偏光板が用いられるが、これに限定されるものではない。撮像部21は、複数の異なる偏光方向について複数の視点位置で取得した偏光画像の画像データを距離画像生成部22aに出力する。
次に、図2(a)~(e)を参照して、撮像部21の構成を説明する。図2(a)~(e)は、撮像部21の説明図である。図2(a)に示されるように、イメージセンサ(撮像素子)210の前に設置された結像光学系211の前に、取得する偏光方向が可変の偏光フィルタ212を配置してもよい。結像光学系211は、例えば、複数のレンズ211-1、211-2、および絞り211-3を有する。また、図2(b)に示されるように、イメージセンサ210の前にレンズアレイを設置し、レンズアレイを構成する各レンズ221の前に偏光フィルタ222を設けた構成としてもよい。そして、図2(c)に示されるように、レンズ221毎に偏光フィルタ222の偏光方向を異なる方向となるよう配置する。なお図2(c)は、図2(b)の偏光フィルタ222とレンズ221を被写体側から見た図である。また、図2(d)に示されるように、結像光学系211とイメージセンサ230からなる構成で、図2(e)に示されるようにイメージセンサ230の画素毎に複数の異なる偏光方向の偏光フィルタ231を配置してもよい。なお図2(e)は、図2(d)のイメージセンサ230を被写体側から見た図である。
また、撮像部21では、複数の異なる偏光方向の偏光画像が取得されるよう偏光フィルタの透過偏光方向を設定する。直線偏光フィルタは、偏光方向が180度回転すると直線偏光フィルタを透過する光成分が等しくなる。したがって、偏光方向は0度~180度の範囲で複数設定する。後述するように、画像処理装置は、異なる偏光方向で取得された偏光画像で被写体の輝度が変化することにより、偏光方向毎に算出される距離画像が変化することを利用して、信頼度の低い距離値を削除した距離画像を生成する。したがって、偏光画像における被写体の輝度変化が大きくなるよう、偏光方向は例えば等しい角度差を有するように設定することが好ましい。例えば複数の異なる偏光方向が3つであれば、0度、60度、120度と設定し、4つであれば、0度、45度、90度、135度と設定するとよい。
次に、撮像における視点位置の配置と偏光フィルタの偏光方向を説明する。図3(a)、(b)は、視点位置の配置と偏光フィルタの偏光方向の説明図である。図3(a)に示されるように、撮像部21が複数の異なる視点位置311~316の各々で複数の異なる偏光方向321~323の各々の偏光画像を取得してもよい。また、図3(b)に示されるように、撮像部21が複数の異なる視点位置317、318の各々で、例えば偏光フィルタの偏光方向321~323を逐次変化させて複数回撮像することにより、偏光方向321~323の偏光画像を取得してもよい。
また、図2(b)~(e)に示されるような撮像部21の構成を用いて1回の撮像により、偏光方向321~323の偏光画像を取得してもよい。複数の異なる視点位置において被写体を撮像するために、複数の撮像部21を配置してもよく、また、1つの撮像部21を移動させてもよく、また、被写体を移動させたり回転させたりしてもよい。なお、視点位置が離れて視差が大きくなると、一様な照明下にて同一の偏光方向で被写体を撮像したとしても、偏光画像における被写体の輝度が変化する。この場合、後述するような偏光方向毎に生成した距離画像同士の比較による距離画像の精度向上効果が低下する場合がある。したがって、視点位置の配置においては、取得される偏光画像での被写体輝度に対する視差の影響が小さい方が望ましい。
距離画像生成部22aは、撮像部21が複数の異なる偏光方向の各々について複数の視点位置で取得した偏光画像から、偏光方向毎に被写体の距離情報を示す距離画像を生成する。距離画像生成部22aは、撮像部21が複数偏光方向の各々で複数視点位置において取得した偏光画像について、偏光方向が同一の組毎にステレオマッチング処理を行う。また、距離画像生成部22aは、ステレオマッチング処理結果と、視点位置に関して予め取得されている校正情報に基づき、例えば画素毎に距離を算出して各画素が距離値を示す距離画像を生成する。校正情報は、例えば被写体を撮像した複数の視点位置間の関係を示す位置情報を有する。位置情報には、撮像時の撮像部21の姿勢に関する情報も含めてよい。また、校正情報に撮像部21の撮像で生じる光学的な歪みに関する情報等を含めることで、生成された偏光画像で生じた光学的歪みを除去できるようにしてもよい。距離画像生成部22aは、異なる偏光方向毎に生成した距離画像を距離抽出部23に出力する。
距離抽出部23は、距離画像生成部22aが複数の異なる偏光方向の各々で生成した距離画像を比較することにより、信頼度の低い距離値を削除した距離画像(抽出距離画像)を生成する。距離抽出部23は、複数の異なる偏光方向の距離画像間で被写体の同一位置を示す画素同士の距離値を比較する。この際、比較に用いる一群の距離画像に異なる視点位置を基準として算出された距離画像が含まれる場合がある。その場合、予め取得された校正情報が示す視点位置の関係に基づき、比較に用いるすべての距離画像が同一の視点位置を基準とするよう、画素毎に位置合わせと距離値の変換計算を行ってから、画素同士の距離値を比較する。つづいて、距離抽出部23は、比較した距離値の差に応じてその画素の距離値を距離画像から削除するかを判定する。このように距離抽出部23は、信頼度の低い距離値を削除することで、距離画像生成部が生成した距離画像よりも精度の向上した抽出距離画像を生成する。
[1-2.動作]
次に、図4を参照して、本実施形態における画像処理装置10の動作(画像処理方法)を説明する。図4は、本実施形態における画像処理方法を示すフローチャートである。本実施形態において、撮像部21は、結像光学系の前に偏光フィルタが設けられており、3つの異なる偏光方向の各々について2つの視点位置において被写体を撮像する場合を例示している。ステップは大別して、偏光画像を取得するステップ、距離画像を生成するステップ、および抽出距離画像を生成するステップに分かれる。
次に、図4を参照して、本実施形態における画像処理装置10の動作(画像処理方法)を説明する。図4は、本実施形態における画像処理方法を示すフローチャートである。本実施形態において、撮像部21は、結像光学系の前に偏光フィルタが設けられており、3つの異なる偏光方向の各々について2つの視点位置において被写体を撮像する場合を例示している。ステップは大別して、偏光画像を取得するステップ、距離画像を生成するステップ、および抽出距離画像を生成するステップに分かれる。
まず、ステップS1~S6において、撮像部21は、複数の異なる偏光方向毎に複数の視点位置の偏光画像を取得する。例えば、ステップS1、S4において、撮像部21は、第1偏光方向の第1視点位置における第1偏光画像と、第4視点位置における第4偏光画像とをそれぞれ取得する。また、ステップS2、S5において、撮像部21は、第2偏光方向の第2視点位置における第2偏光画像と、第5視点位置における第5偏光画像とをそれぞれ取得する。また、ステップS3、S6において、撮像部21は、第3偏光方向の第3視点位置における第3偏光画像と、第6視点位置における第6偏光画像とを取得する。なお、第1視点位置~第3視点位置のすべて、または、いずれか2視点が同一視点でもよい。また、第4視点位置~第6視点位置のすべて、または、いずれか2視点が同一視点でもよい。このように画像処理装置10は、偏光方向毎に複数の視点位置の偏光画像を取得する。
続いてステップS11~S13において、距離画像生成部22aは、複数の異なる偏光方向毎に距離画像を生成する。すなわち、ステップS11において、距離画像生成部22aは、第1偏光画像と第4偏光画像とを用いて、偏光方向が第1偏光方向の第1距離画像を生成する。またステップS12において、距離画像生成部22aは、第2偏光画像と第5偏光画像とを用いて、第2偏光方向である第2距離画像を生成する。またステップS13において、距離画像生成部22aは、第3偏光画像と第6偏光画像とを用いて、第3偏光方向である第3距離画像を生成する。
ここで、図5を参照して、距離画像生成部22aの動作(距離画像の生成処理)を説明する。図5は、距離画像生成部22aの動作を示すフローチャートである。まずステップS101において、距離画像生成部22aは、異なる視点位置において取得された同一偏光方向の2つの偏光画像を取得する。例えば距離画像生成部22aは第1偏光方向について第1視点位置と第4視点位置において取得された第1偏光画像と第4偏光画像を取得してステップS102に進む。
続いてステップS102において、距離画像生成部22aは、ステレオマッチング処理を行う。例えば、距離画像生成部22aは、第1偏光画像と第4偏光画像のステレオマッチング処理を行う。ステレオマッチング処理において、距離画像生成部22aは、2つの偏光画像の一方を基準画像、他方を参照画像とする。例えば、第1偏光画像を基準画像、第4偏光画像を参照画像とする。距離画像生成部22aは基準画像(第1偏光画像)における注目画素と、注目画素が示す被写体位置に対応する参照画像(第4偏光画像)の画素との画素位置の差、すなわちシフト量を検出する。ステレオマッチング処理としては、例えば、基準画像の注目画素を含むように設定したテンプレート画像に対して、参照画像から最も類似した画像領域を検出するテンプレートマッチング法を用いる。基準画像上のテンプレート画像と参照画像上の探索画像領域の相関計算には、例えば輝度に基づくSSD(Sum of Squared Difference)やSAD(Sum of Absolute Difference)を用いる。また、NCC(Normalized Cross-Correlation)、ZNCC(Zero-mean Normalized Cross-Correlation)等を用いてもよい。また、ステレオマッチング処理は、テンプレートマッチング法に限定されるものではなく、例えば確率伝搬法やグラフカット法等を用いてもよい。このように距離画像生成部22aは、ステレオマッチング処理を行うことで画素毎にシフト量を算出する。
続いてステップS103において、距離画像生成部22aは、距離を算出する。距離画像生成部22aは、ステレオマッチング処理によって算出した各画素のシフト量と、予め取得されている視点位置等に関する校正情報に基づき、注目画素の被写体までの距離を算出する。距離は、以下のように算出される。ここでは、撮像部が2つの異なる視点位置において光軸が略平行となる状態で被写体を撮像した場合を例とし、2つの視点位置間の距離をB、撮像部の結像光学系の焦点距離をfとする。また、ステレオマッチング処理の結果、注目画素でのシフト量がイメージセンサ上の距離としてPと算出されたとする。このとき、注目画素における被写体までの距離Dは、式(1)に基づいて算出される。
D=B・f/P …(1)
続いてステップS104において、距離画像生成部22aは、算出した距離値をシフト量算出に用いた偏光画像の画素に対応付けて距離画像を生成する。
続いてステップS104において、距離画像生成部22aは、算出した距離値をシフト量算出に用いた偏光画像の画素に対応付けて距離画像を生成する。
続いて、図4のステップS20において、距離抽出部23は、距離抽出処理を行う、すなわち、偏光方向毎に生成された複数の距離画像の比較に基づき、信頼度の低い距離値を削除して抽出距離画像を生成する。例えば、ステップS20にて距離抽出部23は、第1距離画像~第3距離画像の比較に基づき、信頼度の低い距離値を示す画素から距離値を削除し、第1距離画像~第3距離画像よりも精度の向上した抽出距離画像を生成する。
次に、図6を参照して、距離抽出部23の動作(距離抽出処理)を説明する。図6は、距離抽出部23の動作を示すフローチャートである。まずステップS201において、距離抽出部23は、複数の異なる偏光方向の各々で生成された距離画像を取得する。例えば、距離抽出部23は、偏光方向が第1偏光方向~第3偏光方向である第1距離画像~第3距離画像をそれぞれ取得する。
続いてステップS202において、距離抽出部23は、取得された一群の距離画像の距離値が同一の視点位置を基準として算出されたものか確認し、次の処理を決定する。異なる視点位置を基準として算出された距離画像は、距離の基準点、すなわち、距離値が0となる点が異なる場合、距離の定義が異なるため単純に距離値を比較しても有意な情報は得られない。さらに、被写体の同一位置を示す画素の位置が距離画像毎に異なるため、画素の位置合わせも必要となる。そのため、ステップS202で距離抽出部23は、距離画像生成時の視点位置情報に基づき、一群の距離画像に異なる視点位置を基準とした距離画像が含まれる場合、距離の変換処理と位置合わせのためにステップS203に進む。一方、全ての距離画像が同一視点位置を基準としている場合、ステップS204に進む。
ステップS203において、距離抽出部23は、距離画像の位置合わせと距離の変換処理を行う。ステップS203では、距離画像生成時の基準画像と参照画像の視点位置の情報や、予め取得された校正情報が示す視点位置の関係等の情報に基づき、全ての距離画像が同一の視点位置を基準とするよう距離の変換計算と画素の位置合わせを行う。このように、距離抽出部23は、同一視点位置を基準とすることで距離値の有意な比較が可能になった一群の距離画像を生成する。
続いてステップS204~S207において、距離抽出部23は、偏光方向毎に生成された距離画像の画素同士を比較し、信頼度の低い距離値を含む画素の距離値を削除する距離抽出処理を行う。
まずステップS204において、距離抽出部23は、距離画像間の被写体の同一位置を示す画素同士の距離値の差を算出する。なお、距離値の差は絶対値で考える。例えば、第1距離画像の画素(i1、j1)と第2距離画像の画素(i2、j2)と第3距離画像の画素(i3、j3)が被写体の同一位置を示しているとする。ここで、(i、j)は距離画像上の画素位置を表す。また、第1距離画像の画素(i1、j1)での距離値をD1(i1、j1)、第2距離画像の画素(i2、j2)での距離値をD2(i2、j2)、第3距離画像の画素(i3、j3)での距離値をD3(i3、j3)とする。距離抽出部23は、D1(i1、j1)とD2(i2、j2)の差の絶対値ΔD12と、D2(i2、j2)とD3(i3、j3)の差の絶対値ΔD23と、D3(i3、j3)とD1(i1、j3)の差の絶対値ΔD31を算出する。なお本実施形態において、対応する一画素ごとに比較することに限定されるものではなく、複数の画素を含む画素領域ごとに比較してもよい。
続いてステップS205において、距離抽出部23は、距離画像間の対応する画素間で算出した距離値の差がいずれも所定の閾値(距離差閾値)よりも小さい場合、ステップS206に進む。一方、そうでない場合、ステップS207に進む。例えば、ΔD12、ΔD23、ΔD31がいずれも距離差閾値よりも小さい場合、ステップS206に進む。一方、ΔD12、ΔD23、ΔD31のうちいずれか1つでも距離差閾値以上である場合、ステップS207に進む。
ステップS206において、距離抽出部23は、距離画像間の対応する画素が示す各距離値は信頼度が高いとみなし、それらの距離値を平均して算出される平均距離値を対応する画素に格納する。例えば、D1(i1、j1)とD2(i2、j2)とD3(i3、j3)は誤差が少なく信頼度が高いと考えられるため、D1(i1、j1)とD2(i2、j2)とD3(i3、j3)の平均値Davを算出する。距離抽出部23は、Davを第1距離画像の画素(i1、j1)と第2距離画像の画素(i2、j2)と第3距離画像の画素(i3、j3)に格納して、ステップS208に進む。平均距離値の算出については、上記の方法に限定されず、例えば中央値を用いても良い。
ステップS207において、距離抽出部23は、距離画像間の対応する画素が示す各距離値は信頼度が低いとみなし、これらの画素から距離値を削除する。例えば、第1距離画像の画素(i1、j1)と第2距離画像の画素(i2、j2)と第3距離画像の画素(i3、j3)の各々からD1(i1、j1)とD2(i2、j2)とD3(i3、j3)を削除する。
続いてステップS208において、距離抽出部23は、ステップS204~S207の処理が距離画像の全体で行われ、信頼度の低い距離値を示す画素から距離値が削除されることによって精度の向上した抽出距離画像を生成する。またステップS208において、距離抽出部23は、抽出距離画像の生成後に、欠損部分の距離値を周辺画素の距離値を用いて補っても良い。抽出距離画像では、被写体表面の模様やテクスチャが存在しない部分において、例えばテンプレートマッチング法でシフト量を検出できないために、欠損する。また、上述の距離値抽出処理により信頼度の低い距離値を示す画素も欠損する。したがって、ステップS208で、例えば最近傍補間法、双一次補間法や双三次補間法を用いて欠損部分の画素の距離値を周辺の距離値から算出してよい。ただし、欠損部分が大きくなると、これらの補間法の効果が得られないため、第3の実施形態で後述する偏光情報を利用して距離画像を補完する方法を用いるのが望ましい。
なお、ステップS205において、距離抽出部23は、距離画像間の対応する画素同士で算出した距離値の差のうちで距離差閾値よりも小さいものの個数を距離信頼度Cdと定義してもよい。また、対応する画素の距離値の平均と標準偏差を算出し、平均から標準偏差の定数倍の範囲に収まる距離値の個数をCdとしてもよい。そして、所望の距離信頼度以上であればステップS206に進み、所望の距離信頼度未満であればステップS207に進むように決定してよい。
なお、ステップS205で距離信頼度Cdを用いる場合、ステップS206で距離抽出部23は、対応する画素に格納する平均距離値として距離差閾値よりも小さい距離値の差を与える距離値のみの平均値を用いてよい。例えば所望の距離信頼度が1で、ΔD12とΔD23とΔD31のうちΔD12のみ距離差閾値よりも小さいとした場合、Cdが1であるのでステップS206に進む。この場合、ステップS206で距離抽出部23は、距離差閾値より小さいΔD12を与えるD1(i1、j1)とD2(i2、j2)の平均値Dav’を算出する。そして、Dav’を第1距離画像の画素(i1、j1)と第2距離画像の画素(i2、j2)と第3距離画像の画素(i3、j3)に格納して、ステップS208に進む。
また、図4のステップS20において、距離抽出部23は、抽出距離画像を生成するのに、偏光方向毎に生成された距離画像の各々から算出される法線画像も用いてよい。この場合、例えばステップS20で距離抽出部23は、第1距離画像~第3距離画像の比較に加え、第1距離画像~第3距離画像の各々から算出される法線画像間の比較にも基づき、第1距離画像~第3距離画像よりも精度の向上した抽出距離画像を生成する。
次に、図7を参照して、距離抽出部23の距離抽出処理において、法線画像も用いる場合の動作を説明する。図7は、距離抽出部23の動作を示すフローチャートである。なお、ステップS201~S204は図6と同様であるため、それらの説明を省略する。
ステップS209において、距離抽出部23は、同一視点位置を基準とすることで、距離値の有意な比較が可能である距離画像の各々で法線画像を算出する。例えば、距離画像の注目画素に対応する被写体位置における被写体表面の法線を算出するには、注目画素と横方向に隣接する画素との距離値の差分、ならびに、注目画素と縦方向に隣接する画素との距離値の差分を用いる。算出された法線のベクトルを距離画像と対応付けて各画素に格納することにより法線画像を生成する。
続いてステップS210において、距離抽出部23は、法線画像間の被写体の同一位置を示す画素同士で2つの法線がなす角度(以降、法線角度と記載する)を算出する。なお、法線角度は0度~90度の範囲で考える。例えば、第1距離画像から算出された第1法線画像の画素(i1、j1)と第2距離画像から算出された第2法線画像の画素(i2、j2)と第3距離画像から算出された第3法線画像の画素(i3、j3)が被写体の同一位置を示しているとする。ここで、(i、j)は法線画像上の画素位置を表し、ステップS204における距離画像上の画素位置(i、j)と共通しているとする。また、第1法線画像の画素(i1、j1)での法線をN1(i1、j1)、第2法線画像の画素(i2、j2)での距離値をN2(i2、j2)、第3法線画像の画素(i3、j3)での法線をN3(i3、j3)とする。距離抽出部23は、N1(i1、j1)とN2(i2、j2)の法線角度AN12と、N2(i2、j2)とN3(i3、j3)の法線角度AN23と、N3(i3、j3)とN1(i1、j3)の法線角度AN31を算出する。
続いてステップS211において、距離抽出部23は、距離画像間、ならびに法線画像間の対応する画素同士で算出した距離値の差がいずれも所定の閾値(距離差閾値)よりも小さく、かつ法線角度がいずれも所定の角度(法線角度閾値)よりも小さいか確認する。この条件を満たす場合、次の処理としてステップS206に進む。一方、この条件を満たさない場合、ステップS207に進む。例えば、ステップ204におけるΔD12、ΔD23、ΔD31がいずれも距離差閾値よりも小さく、かつ、AN12、AN23、AN31がいずれも法線角度閾値よりも小さい場合、ステップS206に進む。一方、それ以外の場合、ステップS207に進む。なお、図7のステップS206、S207は、図6と同様であるため、それらの説明を省略する。
ステップS211において、距離抽出部23は、距離信頼度Cdに加えて、法線画像間の対応する画素同士で算出した法線角度のうち法線角度閾値よりも小さいものの個数を法線信頼度Cnと定義してもよい。なお、Cdと同様に、対応する画素の法線角度の平均と標準偏差を算出し、平均から標準偏差の定数倍の範囲に収まる法線角度の個数をCnとしてもよい。そして、所望の距離信頼度以上、かつ、所望の法線信頼度以上の場合、ステップS206に進む。一方、それ以外の場合、ステップS207に進むように決定してよい。
なお、ステップS211でCdとCnを用いる場合、ステップS206で対応する画素に格納する平均距離値として、距離差閾値よりも小さい距離値の差を与え、かつ、法線角度閾値よりも小さい法線角度を与える画素位置の距離値のみの平均値を用いてもよい。例えば、所望の距離信頼度が1、かつ、所望の法線信頼度が1のとき、ΔD12のみ距離差閾値よりも小さく、かつ、AN12のみ法線角度閾値より小さいとした場合、Cdが1、かつ、Cnが1であるのでステップS206に進む。この場合、ステップS206において、ΔD12を与える画素位置が(i1、j1)と(i2、j2)、また、AN12を与える画素位置が(i1、j1)と(i2、j2)あることから、D1(i1、j1)とD2(i2、j2)の平均値Dav’を算出する。そして、Dav’を第1距離画像の画素(i1、j1)と第2距離画像の画素(i2、j2)と第3距離画像の画素(i3、j3)に格納して、ステップS208に進む。また、同様の距離信頼度と法線信頼度の条件で、例えばΔD12のみ距離差閾値よりも小さく、かつ、AN23のみ法線角度閾値より小さいとした場合を想定する。このときは、ステップS206で、ΔD12を与える画素位置が(i1、j1)と(i2、j2)、また、AN23を与える画素位置が(i2、j2)と(i3、j3)あることから、D2(i2、j2)をDav’とすればよい。
ステップS208において、距離抽出部23は、ステップS204~S211の処理が距離画像の全体で行われ、信頼度の低い距離値を示す画素の距離値が削除されることによって精度の向上した抽出距離画像を生成する。さらに、上述したように、必要があれば欠損部分の距離値を周辺画素から補ってもよい。
本実施形態によれば、被写体の距離画像に対する鏡面反射による映り込みや照明等の外乱の影響を抑制することができる。ステレオマッチング処理に基づく距離算出では、被写体表面の鏡面反射による映り込みや照明等に起因して、算出される距離の精度が低下する。また、被写体表面の鏡面反射光は偏光しているため、複数の異なる偏光方向で被写体を撮像すると、取得される偏光画像において鏡面反射部分の輝度が変化する。そのため、複数の異なる偏光方向毎にステレオマッチング処理に基づいて距離画像を生成すると、偏光方向に応じて鏡面反射部分の距離値が変化する。したがって、複数の異なる偏光方向の距離画像間で距離値を比較することにより、偏光方向の変化に対して距離値の変化の大きい鏡面反射部分が信頼度の低い部分と判定され、該当する画素から距離値が削除される。このようにして、鏡面反射による映り込みや照明等の外乱の影響を抑制した被写体の距離画像を生成できる。
また本実施形態は、ステレオマッチング処理に基づく距離算出の原理に起因する精度低下に対しても効果を発揮する。例えば、テンプレートマッチング法によるシフト量の検出では、略等しい模様が周期的に繰り返されるような周期パターン部分や模様が明瞭としない弱パターン部分において、シフト量の検出が不安定になる。例えば周期パターン部分では、テンプレート画像と類似する画像領域が参照画像の探索範囲に複数存在するため、誤った画像領域で最も類似度が高くなると検出することがある。また、弱パターン部分では、相関計算で算出される相関値が探索範囲において差が小さいため、ノイズや外乱の影響により誤った画像領域を検出することがある。複数の異なる偏光方向の偏光画像において、周期パターン・弱パターン部分内の輝度分布は、被写体表面の向きや反射特性に従って偏光方向毎に変化する。したがって、周期パターン・弱パターン部分で算出される距離値が偏光方向に応じて変化する。以上から、偏光方向の異なる複数の距離画像を比較することで、周期パターン・弱パターン部分は信頼度の低い領域と判定され、該当する画素から距離値が削除される。このようにして、距離算出の原理に起因する精度低下を抑制した被写体の距離画像を生成することができる。
また本実施形態は、複数の距離画像間の対応する画素で、候補となる距離値のうち最も信頼度の高いと判定されるものを採用する方法でなく、候補となる距離値のすべてを1つの組として信頼度を判定し、その組を削除する方法である。そのため、誤って算出された距離値が抽出距離画像に残留する可能性を低減しやすい。
また、本実施形態によれば、距離算出に用いる偏光画像に対して、前処理として鏡面反射光の除去またはエッジ検出等の画像処理を施すことなく、被写体の距離画像における外乱起因や距離算出原理起因の精度低下を抑制することができる。
<第2の実施形態>
次に、本発明における第2の実施形態について説明する。第2の実施形態では、距離画像の生成に複数視点位置で取得された偏光画像を用いるのではなく、1視点位置で取得された偏光画像を用いる。
次に、本発明における第2の実施形態について説明する。第2の実施形態では、距離画像の生成に複数視点位置で取得された偏光画像を用いるのではなく、1視点位置で取得された偏光画像を用いる。
[2-1.構成]
まず、図8を参照して、本実施形態における画像処理装置の構成を説明する。図8は、画像処理装置(撮像装置)10aのブロック図である。画像処理装置10aは、撮像部21、偏光画像から距離画像を生成する距離画像生成部(第1の生成部)22b、および距離抽出部(第2の生成部)23を有する。
まず、図8を参照して、本実施形態における画像処理装置の構成を説明する。図8は、画像処理装置(撮像装置)10aのブロック図である。画像処理装置10aは、撮像部21、偏光画像から距離画像を生成する距離画像生成部(第1の生成部)22b、および距離抽出部(第2の生成部)23を有する。
撮像部21は、偏光フィルタを介して1つの視点位置で被写体を撮像することにより、被写体に対して同一の視点位置における複数の異なる偏光方向の偏光画像を取得する。撮像部21は、取得した偏光画像の画像データを距離画像生成部22bに出力する。撮像部21の構成は、第1の実施形態と同様である。ただし、イメージセンサの各画素は1つのフォトダイオードから構成されていてもよいし、実質的に結像光学系の瞳を分割して非合焦状態を像面位相差として検出するために複数の(例えば横並びに2つの)フォトダイオードから構成されていてもよい。以降、非合焦状態すなわちデフォーカス状態のことを「ぼけ」と表記する。
撮像部21では、複数の異なる偏光方向の偏光画像が取得されるように、偏光フィルタの偏光方向を設定する。第1の実施形態と同様に、偏光方向は0度~180度の範囲で複数設定し、偏光画像における被写体の輝度変化が大きくなるよう、偏光方向は例えば等しい角度差を有するように設定することが好ましい。
距離画像生成部22bは、撮像部21が1つの視点位置において複数の異なる偏光方向の各々で取得した偏光画像から、偏光方向毎に被写体の距離情報を示す距離画像を生成する。距離画像生成部22bは、撮像部21が取得した偏光方向が異なる偏光画像の各々について、画素毎にぼけの状態を取得する。また、距離画像生成部22bは、ぼけの状態の結果と予め取得されているぼけ関数に基づき、例えば画素毎に距離を算出して距離画像を生成する。ここで、「ぼけ関数」は、例えばあるレンズ繰り出し量と絞り値における、焦点位置からの変位とぼけの状態の関係についての情報である。距離画像生成部22bは、異なる偏光方向毎に生成した距離画像を距離抽出部23に出力する。
距離抽出部23は、距離画像生成部22bが複数の異なる偏光方向の各々で生成した距離画像を用いて、第1の実施形態と同様に抽出距離画像を生成する。距離抽出部23は距離画像生成部22bが生成した距離画像よりも精度の向上した抽出距離画像を生成する。
[2-2.動作]
次に、図9を参照して、画像処理装置10bの動作(画像処理方法)を説明する。図9は、本実施形態における画像処理方法を示すフローチャートである。撮像部21は結像光学系に偏光フィルタが設けられて、1つの視点位置において3つの異なる偏光方向で被写体を撮像する場合を例示している。ステップは大別して、偏光画像を取得するステップ、距離画像を生成するステップ、および抽出距離画像を生成するステップに分かれる。
次に、図9を参照して、画像処理装置10bの動作(画像処理方法)を説明する。図9は、本実施形態における画像処理方法を示すフローチャートである。撮像部21は結像光学系に偏光フィルタが設けられて、1つの視点位置において3つの異なる偏光方向で被写体を撮像する場合を例示している。ステップは大別して、偏光画像を取得するステップ、距離画像を生成するステップ、および抽出距離画像を生成するステップに分かれる。
まず、ステップS1~S3において、撮像部21は、偏光画像を取得する。例えば、撮像部21は、ステップS1にて第1視点位置で第1偏光方向の第1偏光画像、ステップS2にて第1視点位置で第2偏光方向の第2偏光画像、ステップS3にて第1視点位置で第3偏光方向の第3偏光画像をそれぞれ取得する。このように、画像処理装置10は、3つ以上の異なる偏光方向の偏光画像を取得する。
続いてステップS41~S43において、距離画像生成部22bは、複数の異なる偏光方向毎に距離画像を生成する。例えば、距離画像生成部22bは、ステップS41にて第1偏光方向の第1偏光画像から第1距離画像を、ステップS42にて第2偏光方向の第2偏光画像から第2距離画像を、ステップS43にて第3偏光方向の第3偏光画像から第3距離画像をそれぞれ生成する。
ここで、図10を参照して、距離画像生成部22bの動作(距離画像の生成)を説明する。図10は、距離画像生成部22bの動作を示すフローチャートである。まず、ステップS401において、距離画像生成部22bは、ある偏光方向の偏光画像を1つ取得する。例えば、距離画像生成部22bは第1偏光方向の第1偏光画像を取得する。
続いてステップS402において、距離画像生成部22bは、ぼけ情報を取得する。例えば、距離画像生成部22bは、第1偏光画像におけるぼけ情報を取得する。距離画像生成部22bは、第1偏光画像の注目画素におけるぼけの大きさ、形状や像面位相差等を、注目画素ならびに周辺画素の輝度の情報等から取得する。
続いてステップS403において、距離画像生成部22bは、距離を算出する。距離画像生成部22bは、取得したぼけの大きさ、形状や像面位相差等と、予め取得されているぼけ関数に基づき、注目画素の被写体までの距離を算出する。ここで、ぼけ関数は、例えばレンズの繰り出し量と絞り値毎に、焦点位置からの奥行方向の変位とぼけの大きさ・形状・像面位相差等の関係をテーブル、または、関数として有している。例えばレンズの繰り出し量によって焦点位置までの距離が算出され、ぼけからその焦点位置からの変位が算出されるので、両者を加算することで注目画素の被写体までの距離が算出される。続いてステップS404において、距離画像生成部22bは、画素毎に算出された距離値を格納して距離画像を生成する。
続いて、図9のステップS20において、距離抽出部23は、第1の実施形態と同様に、抽出距離画像を生成する。例えば、ステップS20において距離抽出部23は、第1距離画像~第3距離画像から、これらよりも精度の向上した抽出距離画像を生成する。
このように本実施形態によれば、複数視点位置ではなく1視点位置において複数の異なる偏光方向の偏光画像が取得された場合でも、第1に実施形態と同様、距離抽出処理を行うことができる。すなわち、ステレオマッチング処理に基づく距離算出方法と同様、ぼけ情報に基づく方法に対しても、鏡面反射による映り込みや照明起因、ならびに、周期パターン・弱パターン部分での距離算出原理起因の精度低下を抑制することができる。
また、本実施形態において、1視点位置での撮像では視差は大きくても結像光学系の瞳径程度である。そのため、同一偏光方向の偏光画像であっても視差によって被写体の輝度分布が変化することによる、距離抽出処理の効果の低減を抑制することができる。
また、本実施形態では、1視点位置において被写体を撮像するため、複数視点位置での撮像における被写体表面の映り込みや照明等の視点位置毎の変化が生じない。したがって、これらに起因する距離画像の算出精度の低下を抑制することができる。
また、本実施形態では、1視点位置において被写体を撮像するため、複数視点位置での撮像における被写体表面の映り込みや照明等の視点位置毎の変化が生じない。したがって、これらに起因する距離画像の算出精度の低下を抑制することができる。
<第3の実施形態>
次に、本発明における第3の実施形態について説明する。本実施形態は、偏光画像を解析して取得される偏光方位を用いて、抽出距離画像を補完する処理も含む。
次に、本発明における第3の実施形態について説明する。本実施形態は、偏光画像を解析して取得される偏光方位を用いて、抽出距離画像を補完する処理も含む。
[3-1.構成]
まず、本実施形態における画像処理装置の構成を説明する。図11は、画像処理装置(撮像装置)10bのブロック図である。画像処理装置10bは、撮像部21、距離画像生成部(第1の生成部)22、距離抽出部(第2の生成部)23、偏光情報取得部24a、法線情報推定部25a、および距離補間部26aを有する。距離画像生成部22は、第1の実施形態における距離画像生成部22a、または第2の実施形態における距離画像生成部22bに相当する。偏光情報取得部24aは、偏光方位画像を生成する。法線情報推定部25aは、法線方位画像を生成する。距離補間部26aは、抽出距離画像を補完する。
まず、本実施形態における画像処理装置の構成を説明する。図11は、画像処理装置(撮像装置)10bのブロック図である。画像処理装置10bは、撮像部21、距離画像生成部(第1の生成部)22、距離抽出部(第2の生成部)23、偏光情報取得部24a、法線情報推定部25a、および距離補間部26aを有する。距離画像生成部22は、第1の実施形態における距離画像生成部22a、または第2の実施形態における距離画像生成部22bに相当する。偏光情報取得部24aは、偏光方位画像を生成する。法線情報推定部25aは、法線方位画像を生成する。距離補間部26aは、抽出距離画像を補完する。
撮像部21は、偏光フィルタを介して1つ、または、複数の視点位置で被写体を撮像することにより、3つ以上の異なる偏光方向の各々について1つ、または、複数の視点位置における偏光画像を取得する。取得した偏光画像の画像データを距離画像生成部22と偏光情報取得部24aに出力する。距離画像生成部22は、3つ以上の異なる偏光方向について1つ、または、複数の視点位置で取得した偏光画像から、偏光方向毎に被写体の距離情報を示す距離画像を生成する。距離画像生成部22は、偏光方向毎に生成した距離画像を距離抽出部23に出力する。距離抽出部23は、距離画像生成部22が3つ以上の異なる偏光方向の各々で生成した距離画像から抽出距離画像を生成する。距離抽出部23は、生成された抽出距離画像を距離補完部(第3の生成部)26aに出力する。
偏光情報取得部24aは、3つ以上の異なる偏光方向の偏光画像を解析して、被写体の偏光情報を取得する。3つ以上の異なる偏光方向の偏光画像から取得される輝度と偏光方向のデータを用いて、モデル式に基づき偏光方位を算出する。偏光情報取得部24aは、各画素に算出された偏光方位を格納した偏光方位画像を生成し、法線情報推定部25aに出力する。
法線情報推定部25aは、偏光情報取得部24aが生成した偏光方位画像を用いて、法線方位を推定する。法線情報推定部25aは、被写体表面の反射特性に基づいて、偏光方位から被写体表面の法線方位を推定し、法線方位画像を生成する。法線情報推定部25aは、生成した法線方位画像を距離補完部26aに出力する。
距離補完部26aは、法線情報推定部25aが生成した法線方位画像を用いて抽出距離画像の欠損部分の補完処理を行う。距離補完部26aは、法線方位画像で示された法線方位と、距離抽出部23から出力された抽出距離画像で示された距離値とに基づき、距離値が存在する画素を起点として等高線に沿って被写体表面形状を辿る。すなわち、距離補完部26aは、信頼度の高い距離値が存在する画素を起点として等高線に沿って距離値を伝搬させ、距離値が存在しない画素の距離値を補完する。このように、距離補完部26aは、距離抽出部23が生成する抽出距離画像の欠損部分が補完された距離画像(補完距離画像、第3の距離画像)を生成する。
[3-2.動作]
次に、図12を参照して、本実施形態における画像処理装置10bの動作(画像処理方法)を説明する。図12は、本実施形態における画像処理方法を示すフローチャートである。撮像部21は、結像光学系に偏光フィルタが設けられて、2つの視点位置の各々で3つの異なる偏光方向で被写体を撮像する。ステップは大別して、偏光画像を取得するステップ、距離画像を生成するステップ、抽出距離画像を生成するステップ、偏光方位画像を生成するステップ、および法線方位画像を生成するステップ、抽出距離画像を補完するステップに分かれる。
次に、図12を参照して、本実施形態における画像処理装置10bの動作(画像処理方法)を説明する。図12は、本実施形態における画像処理方法を示すフローチャートである。撮像部21は、結像光学系に偏光フィルタが設けられて、2つの視点位置の各々で3つの異なる偏光方向で被写体を撮像する。ステップは大別して、偏光画像を取得するステップ、距離画像を生成するステップ、抽出距離画像を生成するステップ、偏光方位画像を生成するステップ、および法線方位画像を生成するステップ、抽出距離画像を補完するステップに分かれる。
まず、ステップS1~S6において、撮像部21は、偏光画像を取得する。例えば、ステップS1~S3において、撮像部21は、第1視点位置で偏光方向が第1偏光方向~第3偏光方向である第1偏画像~第3偏光画像をそれぞれ取得する。また、ステップS4~S6において、撮像部21は、第2視点位置で偏光方向が第1偏光方向~第3偏光方向である第1偏画像~第3偏光画像をそれぞれ取得する。このように、画像処理装置10は、複数の異なる視点位置の各々で3つ以上の異なる偏光方向の偏光画像を取得する。
続いてステップS11~S13において、距離画像生成部22は、偏光方向毎に距離画像を生成する。例えば、距離画像生成部22は、第1偏光画像と第4偏光画像から第1偏光方向である第1距離画像、第2偏光画像と第5偏光画像から第2偏光方向である第21距離画像、および、第3偏光画像と第6偏光画像から第3偏光方向である第3距離画像を生成する。このように距離画像生成部22は、偏光方向毎に距離画像を生成する。続くステップS20は、第1の実施形態または第2の実施形態と同様の処理である。例えば、距離抽出部23は、第1距離画像~第3距離画像から、これらよりも精度の向上した抽出距離画像を生成する。
また、ステップS50において、偏光情報取得部24aは、同一の視点位置における3つ以上の異なる偏光方向の偏光画像を用いて偏光方位を算出し、偏光方位画像を生成する。例えば、偏光情報取得部24aは、第1視点位置における第1偏光方向~第3偏光方向の第1偏光画像~第3偏光画像から第1視点位置の偏光方位画像を生成する。偏光情報取得部24aは、同一視点位置において3つ以上の異なる偏光方向で取得された偏光画像が存在する場合、それらを用いて偏光方位を算出する。複数の視点位置が該当する場合、そのうちの1つを選択して用いてよい。また、同一視点位置で取得された3つ以上の異なる偏光方向の偏光画像が存在しない場合、例えば特許文献2に開示されている方法、すなわち、距離画像を用いて偏光画像同士の位置合わせを行ってから偏光方位を算出する。
図13は、偏光画像における被写体表面の輝度と偏光方向の関係を示す図である。図13において、縦軸は輝度I、横軸は偏光方向角Φをそれぞれ示す。例えば、無偏光で一様な照明下に置かれている被写体を、偏光方向を変えながら偏光フィルタを介して撮像した場合における、被写体表面のある一点における輝度を例示している。偏光フィルタの偏光方向を、偏光フィルタを含む平面のある基準とする方向に対する角度(0度~180度の範囲)で表し、偏光方向角φとする。輝度Iは、偏光方向角φに応じて変化するが、このときの最高輝度をImax、最低輝度をIminとする。なお、偏光フィルタは、偏光方向が180度回転すると元の偏光状態に戻るため、輝度は180度の周期を有する。また、最高輝度Imaxが観測されたときの偏光方向角φを偏光方位αとする。これらのように定義すると、偏光フィルタの偏光方向角φに対して、取得される輝度Iは、以下の式(2)のモデル式で表すことができる。
したがって、偏光方向角φは、偏光画像取得時に既知であるとして、3つ以上の異なる偏光方向角φで輝度Iを取得すれば、式(2)からImax、Imin、偏光方位αを算出できる。なお、これらImax、Imin、偏光方位αの算出は解析的に行ってもよいし、最適化手法、例えばLM法や最急降下法等を用いてもよい。このように偏光情報取得部24aは、画素毎に上述のモデル式を用いた処理を行うことにより偏光方位αを算出して、偏光方位画像を生成する。
図12のステップS60において、法線情報推定部25aは、偏光情報取得部24aが出力した偏光方位画像を用いて法線方位を推定する。ここで、図14(a)、(b)を参照して、法線方位について説明する。図14(a)は、法線方位の説明図である。図14(a)において、法線方位ψは、被写体601の表面の法線Nを偏光フィルタを含むxy平面602に射影したベクトルN’とx軸正方向とがなす角(0度~180度の範囲で表す)である。なお、x軸正方向を上述の偏光方向角が基準とする方向と考えてよい。例えば無偏光で一様な照明下において、被写体表面からの反射光に関して、鏡面反射成分が支配的な場合は法線方位ψが偏光方位αに対して直角であり、拡散反射成分が支配的な場合は法線方位ψが偏光方位αに等しくなることが知られている。このように、法線情報推定部25aは、被写体表面で鏡面反射と拡散反射のどちらが支配的かに応じて、画素毎に偏光方位αから法線方位ψを推定し、法線方位画像を生成する。
図12のステップS70において、距離補完部26aは、法線情報推定部25aが出力した法線方位画像を用いて距離抽出部が出力した距離画像の補完処理を行う。なお、距離画像が基準とする視点位置と法線方位画像が生成された視点位置が異なる場合は、両者が同一視点位置となるように、例えば予め取得されている校正情報が示す視点位置の関係等を用いて距離画像を変換してから補完処理を行う。
ここで、法線方位を用いた距離画像の補完処理について説明する。被写体表面のある点に関して、法線方位画像おいて法線方位に直角となる方向は、距離画像において等高線の方向を表すことが知られている。したがって、法線方位に直角となる方向を辿ることによって、被写体表面形状を等高線に沿って辿ることができる。このように、距離補完部26aは距離画像において距離値が存在する画素を起点として、その距離値を等高線に沿って伝搬させることにより、距離値が欠損した画素の距離値を推定して補完する。以上のように、ステップS70において、距離補完部26aは、距離抽出部23が生成した抽出距離画像を補完した補完距離画像を生成する。
このように本実施形態によれば、偏光方位を利用することにより、抽出距離画像の欠損部分を補完することができる。抽出距離画像では、第1の実施形態または第2の実施形態の効果と同様に、鏡面反射による映り込みや照明起因、ならびに、周期パターン・弱パターン部分での距離算出原理起因の精度低下が抑制される。一方、距離算出の精度低下の原因となる外乱やパターンが偏光方位の算出に与える影響は小さい。さらに、例えばテンプレートマッチング法を用いた距離算出において欠損部分を生じやすい模様やテクスチャが存在しない被写体部分において、精度良く偏光方位が取得できる。したがって、偏光方位を利用して取得される等高線に沿って距離値を伝搬することにより、外乱による精度の低下を抑制しながら、例えば最近傍補間法、双一次補間法や双三次補間法の利用が難しい大きな欠損部分でも補完することができる。もしも、距離抽出処理を施さない距離画像に対して距離補完処理を施すと、精度が低下したままの距離値が欠損部分に伝搬するため、結果として補完距離画像の精度低下を招く。以上のように、距離抽出処理と偏光情報の利用の相性の良さを活かすことで、精度の向上した被写体の距離画像を生成できる。
<第4の実施形態>
次に、第4の実施形態について説明する。本実施形態では、偏光画像を解析して偏光方位だけでなく偏光度も取得し、被写体表面の法線を算出することで抽出距離画像を補完する処理を含む。
次に、第4の実施形態について説明する。本実施形態では、偏光画像を解析して偏光方位だけでなく偏光度も取得し、被写体表面の法線を算出することで抽出距離画像を補完する処理を含む。
[4-1.構成]
まず、図15を参照して、本実施形態における画像処理装置の構成を説明する。図15は、画像処理装置(撮像装置)10cのブロック図である。画像処理装置10cは、第3の実施形態と同様に、撮像部21、距離画像生成部(第1の生成部)22、および距離抽出部(第2の生成部)23を有する。また画像処理装置10は、偏光方位画像と偏光度画像を生成する偏光情報取得部24b、法線画像を生成する法線情報推定部25b、および、抽出距離画像を補完する距離補完部(第3の生成部)26bを有する。なお、撮像部21、距離画像生成部22、および距離抽出部23は、第3の実施形態と同様であるため、それらの説明を省略する。
まず、図15を参照して、本実施形態における画像処理装置の構成を説明する。図15は、画像処理装置(撮像装置)10cのブロック図である。画像処理装置10cは、第3の実施形態と同様に、撮像部21、距離画像生成部(第1の生成部)22、および距離抽出部(第2の生成部)23を有する。また画像処理装置10は、偏光方位画像と偏光度画像を生成する偏光情報取得部24b、法線画像を生成する法線情報推定部25b、および、抽出距離画像を補完する距離補完部(第3の生成部)26bを有する。なお、撮像部21、距離画像生成部22、および距離抽出部23は、第3の実施形態と同様であるため、それらの説明を省略する。
偏光情報取得部24bは、偏光画像を用いて被写体の偏光情報を取得する。3つ以上の異なる偏光方向の偏光画像について、輝度と偏光方向の情報からモデル式を用いて偏光方位ならびに偏光度を算出する。偏光情報取得部24bは、各画素に算出した偏光方位を格納した偏光方位画像、ならびに、偏光度を格納した偏光度画像を法線情報推定部25bに出力する。
法線情報推定部25bは、偏光情報取得部24bが生成した偏光方位画像と偏光度画像から法線画像を生成する。法線情報推定部25bは、被写体表面の反射特性に基づいて、画素毎に偏光方位から被写体表面の法線方位を算出し、また、偏光度から法線天頂角を算出して、法線画像を生成する。法線情報推定部25bは、法線画像を距離補完部26bに出力する。
距離補完部26bは、法線情報推定部25bが生成した法線画像を用いて抽出距離画像の補完処理を行う。距離補完部26bは、法線画像で示された法線と、距離抽出部23から出力された抽出距離画像で示された距離値とに基づき、抽出距離画像の欠損部分を補完することや、高精度化を行う。
[4-2.動作]
次に、図16を参照して、画像処理装置10cの動作(画像処理方法)について説明する。図16は、本実施形態における画像処理方法を示すフローチャートである。撮像部21は、結像光学系に偏光フィルタが設けられて、2つの視点位置の各々で3つの異なる偏光方向で被写体を撮像する。ステップは大別して、偏光画像を取得するステップ、距離画像を生成するステップ、抽出距離画像を生成するステップ、偏光方位画像と偏光度画像を生成するステップ、法線画像を生成するステップ、抽出距離画像を補完するステップに分かれる。図16において、ステップS1~S6での撮像部21の動作、ステップS11~S13での距離画像生成部22の動作、ステップS20での距離抽出部23の動作、およびステップS50での偏光情報取得部24bの動作はそれぞれ、第3の実施形態と同様である。
次に、図16を参照して、画像処理装置10cの動作(画像処理方法)について説明する。図16は、本実施形態における画像処理方法を示すフローチャートである。撮像部21は、結像光学系に偏光フィルタが設けられて、2つの視点位置の各々で3つの異なる偏光方向で被写体を撮像する。ステップは大別して、偏光画像を取得するステップ、距離画像を生成するステップ、抽出距離画像を生成するステップ、偏光方位画像と偏光度画像を生成するステップ、法線画像を生成するステップ、抽出距離画像を補完するステップに分かれる。図16において、ステップS1~S6での撮像部21の動作、ステップS11~S13での距離画像生成部22の動作、ステップS20での距離抽出部23の動作、およびステップS50での偏光情報取得部24bの動作はそれぞれ、第3の実施形態と同様である。
ステップS51において、偏光情報取得部24bは、ステップS50にて偏光方位と同時に算出される偏光情報(モデル式における最高輝度と最低輝度)を取得し、偏光の程度を表す偏光度を算出して偏光度画像を生成する。例えば、ステップS51において、偏光情報取得部24bは、第1視点位置における第1偏光画像~第3偏光画像を用いて第1視点位置の偏光度画像を生成する。
ここで、偏光度の算出方法について説明する。偏光度ρは、式(2)において偏光方位αを算出する際に算出される最高輝度Imax、最低輝度Iminを用いて、以下の式(3)により算出される。
このように偏光情報取得部24bは、各画素で算出した偏光度ρを算出して偏光度画像を生成する。続いてステップS61において、法線情報推定部25bは、法線算出処理を行う、すなわち、偏光情報取得部24bが出力した偏光方位画像と偏光度画像を用いて被写体表面の法線を算出する。
図17は、法線情報推定部25bの動作(法線算出処理)を示すフローチャートである。まずステップS611において、法線情報推定部25bは、偏光方位画像を取得する。続いてステップS612において、第3の実施形態と同様に、法線情報推定部25bは、偏光方位画像を用いて、被写体表面の反射特性、すなわち、鏡面反射と拡散反射のどちらが支配的かに応じて、画素毎に偏光方位から法線方位して、ステップS615に進む。
また、ステップS613において、法線情報推定部25bは、偏光度画像を取得する。続いてステップS614において、法線情報推定部25bは、偏光度画像から被写体表面の法線天頂角を算出する。図14(b)は、法線天頂角の説明図である。図14(b)において、法線天頂角θは、偏光フィルタを含むxy平面602に対して垂直(z軸に平行)な直線603の被写体601からxy平面602に向かう向きに対する法線Nの角である。偏光度ρと法線天頂角θの関係は、被写体の屈折率nも用いて、被写体表面の反射特性に応じてモデル化できる。例えば鏡面反射モデルにおいて以下の式(4)、拡散反射モデルにおいて以下の式(5)のようにそれぞれ表される。
したがって、例えば、式(4)と式(5)の各々、または、式(4)と式(5)とを組み合わせた式を用いることにより、画素毎に偏光度ρに基づいて法線天頂角θが推定される。このように、ステップS614において、法線情報推定部25bは、画素毎に法線天頂角θを算出してステップS615に進む。ステップS615において、法線情報推定部25bは、画素毎に算出した法線方位と法線天頂角を用いて法線を算出し、法線画像を生成する。
続いて、図16のステップS71において、距離補完部26bは、法線情報推定部25bが生成した法線画像を用いて、距離抽出部23が生成した抽出距離画像の補完処理を行う。ステップS71において、距離補完部26bは、例えば、第3の実施形態と同様に、法線方位を用いて等高線に沿って抽出距離画像の欠損部分の補完を行った後、さらに、法線天頂角を用いて等高線に直交する方向に距離値を補完し、必要に応じて修正してもよい。また、距離補完部26bは、法線画像の各画素の法線を用い、ベクトル積分に基づいて算出される相対的な被写体形状と、抽出距離画像の距離値とを統合することによって距離画像の欠損部分を補完してもよい。また、距離補完部26bは、法線画像の各画素の法線と、距離画像から算出される各画素の法線との一致が良くなるように抽出距離画像の欠損部分の距離値を最適化してもよい。以上のように、ステップS71において、距離補完部26bは、距離抽出部23が生成した抽出距離画像を補完した補完距離画像(第3の距離画像)を生成する。
このように本実施形態によれば、偏光方位と偏光度を利用することによって抽出距離画像の欠損部分を補完することができる。偏光方位と偏光度は、例えばテンプレートマッチング法を用いた距離算出において欠損部分を生じやすい模様やテクスチャが存在しない被写体部分でも取得できる。したがって、例えば最近傍補間法、双一次補間法や双三次補間法の利用が難しい大きな欠損部分でも、偏光方位と偏光度から算出される法線を利用して補完することができる。
また、本実施形態によれば、法線の情報のうち、法線方位に加えて法線点頂角も抽出距離画像の補完に利用できる。したがって、第3の実施形態と比較して、例えば、より細かい凹凸まで復元された精度の向上した被写体の距離画像を生成することができる。
また、本実施形態によれば、法線の情報のうち、法線方位に加えて法線点頂角も抽出距離画像の補完に利用できる。したがって、第3の実施形態と比較して、例えば、より細かい凹凸まで復元された精度の向上した被写体の距離画像を生成することができる。
<第5の実施形態>
次に、第5の実施形態について説明する。本実施形態は、距離画像の距離情報と偏光画像を解析して取得した偏光情報を用いて、被写体画像における表面質感と視点位置の両方を制御する処理も含む。
次に、第5の実施形態について説明する。本実施形態は、距離画像の距離情報と偏光画像を解析して取得した偏光情報を用いて、被写体画像における表面質感と視点位置の両方を制御する処理も含む。
[5-1.構成]
まず、図18を参照して、本実施形態における画像処理装置の構成を説明する。図18は、画像処理装置(撮像装置)10dのブロック図である。画像処理装置10dは、第3の実施形態と同様に、撮像部21、距離画像生成部(第1の生成部)22、および距離抽出部(第2の生成部)23を有する。また画像処理装置10dは、偏光情報取得部24、法線情報推定部25、および距離補完部(第3の生成部)26を有する。偏光情報取得部24は、第3の実施形態の偏光情報取得部24aまたは第4の実施形態の偏光情報取得部24bに相当する。法線情報推定部25は、第3の実施形態の法線情報推定部25aまたは第4の実施形態の法線情報推定部25bに相当する。距離補間部26は、第3の実施形態の距離補完部26aまたは第4の実施形態の距離補間部26bに相当する。また画像処理装置10dは、被写体に対する視点位置と表面質感の両方を制御する質感・視点制御部27を有する。
まず、図18を参照して、本実施形態における画像処理装置の構成を説明する。図18は、画像処理装置(撮像装置)10dのブロック図である。画像処理装置10dは、第3の実施形態と同様に、撮像部21、距離画像生成部(第1の生成部)22、および距離抽出部(第2の生成部)23を有する。また画像処理装置10dは、偏光情報取得部24、法線情報推定部25、および距離補完部(第3の生成部)26を有する。偏光情報取得部24は、第3の実施形態の偏光情報取得部24aまたは第4の実施形態の偏光情報取得部24bに相当する。法線情報推定部25は、第3の実施形態の法線情報推定部25aまたは第4の実施形態の法線情報推定部25bに相当する。距離補間部26は、第3の実施形態の距離補完部26aまたは第4の実施形態の距離補間部26bに相当する。また画像処理装置10dは、被写体に対する視点位置と表面質感の両方を制御する質感・視点制御部27を有する。
撮像部21、距離画像生成部22、および距離抽出部23は、第3の実施形態または第4の実施形態と同様である。ただし、距離抽出部23は、抽出距離画像を距離補完部26または質感・視点制御部27のいずれかに出力する。偏光情報取得部24、法線情報推定部25、および距離補完部26は、第3の実施形態または第4の実施形態と同様の処理を行う。ただし、偏光情報取得部24は、式(2)で表されるモデル式の最高輝度と最低輝度を偏光情報として、質感・視点制御部27に出力する。質感・視点制御部27は、偏光情報取得部24が出力した偏光情報と距離抽出部23で生成された抽出距離画像または距離補完部26により補完された画像を用いて、質感・視点制御処理を行う。これにより、被写体に対する視点位置と被写体の表面質感の両方が変更された被写体画像を生成することができる。
[5-2.動作]
次に、図19を参照して、画像処理装置10dの動作(画像処理方法)について説明する。図19は、本実施形態における画像処理方法を示すフローチャートである。撮像部21は、結像光学系に偏光フィルタが設けられて、2つの視点位置の各々で3つの異なる偏光方向で被写体を撮像する。ステップは大別して、偏光画像を取得するステップ、距離画像を生成するステップ、抽出距離画像を生成するステップ、偏光情報を算出するステップ、および表面質感と視点位置を変更した被写体画像を生成するステップを含む。また、法線情報を算出するステップと補完距離画像(第3の距離画像)を生成するステップを含んでもよい。ステップS1~S6での撮像部21の動作、ステップS11~S13での距離画像生成部22の処理、および、ステップS20での距離抽出部23の処理は、第3の実施形態と同様である。
次に、図19を参照して、画像処理装置10dの動作(画像処理方法)について説明する。図19は、本実施形態における画像処理方法を示すフローチャートである。撮像部21は、結像光学系に偏光フィルタが設けられて、2つの視点位置の各々で3つの異なる偏光方向で被写体を撮像する。ステップは大別して、偏光画像を取得するステップ、距離画像を生成するステップ、抽出距離画像を生成するステップ、偏光情報を算出するステップ、および表面質感と視点位置を変更した被写体画像を生成するステップを含む。また、法線情報を算出するステップと補完距離画像(第3の距離画像)を生成するステップを含んでもよい。ステップS1~S6での撮像部21の動作、ステップS11~S13での距離画像生成部22の処理、および、ステップS20での距離抽出部23の処理は、第3の実施形態と同様である。
ステップS52において、偏光情報取得部24は、第3の実施形態と同様に偏光方位画像を生成するか、または第4の実施形態と同様に偏光方位画像と偏光度画像の両方を生成して、ステップS62に進む。また、偏光情報取得部24は、式(2)で表されるモデル式を用いて算出される最高輝度Imax、最低輝度Iminを画素毎に取得して、ステップS90に進む。
ステップS62において、法線情報推定部25は、第3の実施形態と同様に偏光方位画像を用いて法線方位画像を生成するか、または第4の実施形態と同様に偏光度画像と法線方位画像の両方を用いて法線画像を生成して、ステップS72に進む。
ステップS80において、距離補完処理を必要とする場合にはステップS72に進み、距離補完処理を必要としない場合にはステップS90に進む。
ステップS72において、距離補完部26は、第3の実施形態と同様に法線方位画像、または、第4の実施形態と同様に法線画像を用いて、距離抽出部23が生成した抽出距離画像を補完して補完距離画像を生成する。続いてステップS90において、質感・視点制御部27は、偏光情報と距離情報とを用いて質感・視点制御処理を行い、表面質感と視点位置の両方が変更された被写体画像を生成する。
図20は、質感・視点制御部27の動作を示すフローチャートである。まずステップS901において、質感・視点制御部は27は、偏光情報として偏光情報取得部24が算出した画素毎の最低輝度Imin、最高輝度Imaxを取得する。続いてステップS902において、質感・視点制御部は27、最低輝度Iminと最高輝度Imaxを用いて反射成分の調整を行うことにより、表面質感が変更された被写体画像を生成する。
図21は、式(2)で表されるモデル式に基づく被写体表面の輝度Iと偏光方向角φとの関係を示す図である。図21において、縦軸は輝度I、横軸は偏光方向角φをそれぞれ示す。ここで、輝度0から最低輝度Iminまでの輝度範囲は偏光方向にかかわらず輝度が変化しない無偏光成分に相当しており、略ランバート反射成分と想定することができる。また、最低輝度Iminから最高輝度Imaxまでの輝度範囲は偏光方向によって輝度が変化する偏光成分に相当しており、略鏡面反射成分と想定することができる。したがって、略ランバート反射成分に対する略鏡面反射成分の比率を小さくすることで、例えばマットな表面質感やテクスチャが目立ちにくい表面質感の被写体画像を生成できる。また、略ランバート反射成分に対する略鏡面反射成分の比率を大きくすることで、例えば光沢感の強い表面質感やテクスチャが強調された表面質感の被写体画像を生成できる。このようにステップS902において、質感・視点制御部27は、表面質感が変更された被写体画像を生成して、ステップS905に進む。
またステップS903において、質感・視点制御部27は、距離抽出部23または距離補完部26が生成した距離画像を取得する。続いてステップS904において、質感・視点制御部27は、距離画像を用いて被写体の三次元形状を取得し、被写体形状を三次元的に回転させる等して被写体に対する視点位置を変更する。質感・視点制御部27は、視点位置を変更するための情報(以降、視点位置偏光情報と記載する)として、例えば被写体画像における視点位置の変更前後での同一位置を示す画素同士の対応関係を算出して、ステップS905に進む。
ステップS905において、質感・視点制御部27は、表面質感が変更された被写体画像と視点位置変更情報とを用いて、表面質感と視点位置が変更された被写体画像を生成する。表面質感が変更された被写体画像の視点位置は、ステップS904における変更前の視点位置であるため、視点位置変更情報と統合することにより、表面質感だけでなく三次元的に視点位置も変更された被写体画像が生成される。
このように本実施形態によれば、被写体の撮像後、取得した被写体画像を用いて視点位置の変更と被写体の表面質感の調整が可能になる。特に、第2の実施形態のような1視点位置で取得した偏光画像を距離取得に用いる場合、1視点位置でしか被写体を撮像していないにもかかわらず、撮像後に被写体に対する視点位置を変更することができる。なお、視点位置の変更は、必ずしも距離画像において被写体の細かい形状まで復元されていなくても可能で、細かい凹凸やテクスチャは視点位置変更した被写体画像の表面質感を調整して表現することができる。したがって、視差が小さくなるために距離取得の空間分解能の点で不利になりがちな例えば1視点位置での偏光画像を距離取得に用いる場合に、本実施形態は特に有効である。
以上のように、各実施形態において、画像処理装置10、10a、10b、10c、10dは、第1の生成部(距離画像生成部22、22a、22b)および第2の生成部(距離抽出部23)を有する。第1の生成部は、被写体からの複数の異なる偏光状態の光により取得された被写体までの距離情報を用いて複数の第1の距離画像(距離画像、デプスマップ)を生成する。第2の生成部は、複数の第1の距離画像を用いて第2の距離画像(抽出距離画像)を生成する。また第2の生成部は、複数の第1の距離画像における被写体の同一位置に相当する画素領域(距離画像の一部の画素領域)の距離値(デプス)を互いに比較した結果に基づいて、第2の距離画像を生成する。
好ましくは、第2の生成部は、複数の第1の距離画像から信頼度が低いと判断した情報を削除することで第2の距離画像を生成する。また好ましくは、第2の生成部は、距離値の差が所定の閾値(距離差閾値)よりも小さい場合には距離値を平均し、距離値の差が所定の閾値よりも大きい場合には距離値を削除して、第2の距離画像を生成する。また好ましくは、画素領域は、一画素である。また好ましくは、第2の生成部は、更に、複数の第1の距離画像における画素領域の法線情報を比較した結果に基づいて、第2の距離画像を生成する。
好ましくは、第1の生成部は、複数の異なる偏光方向の各々で、被写体に対して複数の異なる視点位置において取得された偏光画像を用いて、複数の第1の距離画像を生成する。または、好ましくは、第1の生成部は、被写体に対して複数の異なる視点位置の各々において、複数の異なる偏光方向で取得された偏光画像を用いて、複数の第1の距離画像を生成する。または、好ましくは、第1の生成部は、被写体に対して同一の視点位置において、複数の異なる偏光方向で取得された偏光画像を用いて、複数の第1の距離画像を生成する。
好ましくは、画像処理装置は、複数の異なる偏光方向で取得された偏光画像を解析して、被写体の偏光情報を算出する偏光情報取得部24、24a、24bを有する。また好ましくは、画像処理装置は、偏光情報を用いて、被写体の法線方位を示す法線方位画像または被写体の法線を示す法線画像を生成する法線情報推定部25、25a、25bを有する。また好ましくは、画像処理装置は、法線方位画像または法線画像を用いて第2の距離画像を補完(補正)することにより第3の距離画像(補完距離画像)を生成する第3の生成部(距離補完部26、26a、26b)を有する。また好ましくは、画像処理装置は、第2の距離画像または第3の距離画像、および偏光情報を用いて、被写体の表面質感および被写体に対する視点位置が変更された被写体画像を生成する質感・視点制御部27を有する。
上述の画像処理装置は、撮像装置や撮像機能を有した電子機器等であってもよい。さらに、明細書中において説明した一連の処理は、ハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータに、上述の処理を行うプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやSSD、ROMに予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD-ROM、MOディスク、DVD、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に記録しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからLANやインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
各実施形態によれば、距離画像中で、被写体表面の鏡面反射による映り込みや照明などの外乱や、距離算出原理に起因して誤って算出される距離値を削除し、精度の向上した被写体の距離画像を生成することができる。このため各実施形態によれば、高精度の距離画像を生成することが可能な画像処理装置、画像処理方法、およびプログラムを提供することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
10 画像処理装置
22、22a、22b 距離画像生成部(第1の生成部)
23 距離抽出部(第2の生成部)
22、22a、22b 距離画像生成部(第1の生成部)
23 距離抽出部(第2の生成部)
Claims (18)
- 被写体からの複数の異なる偏光状態の光により取得された該被写体までの距離情報を用いて複数の第1の距離画像を生成する第1の生成部と、
前記複数の第1の距離画像を用いて第2の距離画像を生成する第2の生成部とを有し、
前記第2の生成部は、前記複数の第1の距離画像における前記被写体の同一位置に相当する画素領域の距離値を互いに比較した結果に基づいて、前記第2の距離画像を生成することを特徴とする画像処理装置。 - 前記第2の生成部は、前記複数の第1の距離画像から信頼度が低いと判断した情報を削除することで前記第2の距離画像を生成することを特徴とする請求項1に記載の画像処理装置。
- 前記第2の生成部は、前記距離値の差が所定の閾値よりも小さい場合には前記距離値を平均し、前記距離値の前記差が前記所定の閾値よりも大きい場合には前記距離値を削除することで前記第2の距離画像を生成することを特徴とする請求項1または2に記載の画像処理装置。
- 前記画素領域は、一画素であることを特徴とする請求項1乃至3のいずれか一項に記載の画像処理装置。
- 前記第2の生成部は、前記複数の第1の距離画像における前記画素領域の法線情報を比較した結果に基づいて、前記第2の距離画像を生成することを特徴とする請求項1乃至4のいずれか一項に記載の画像処理装置。
- 前記第1の生成部は、前記複数の異なる偏光状態の光の各々で、前記被写体に対して複数の異なる視点位置において取得された偏光画像を用いて、前記複数の第1の距離画像を生成することを特徴とする請求項1乃至5のいずれか一項に記載の画像処理装置。
- 前記第1の生成部は、前記被写体に対して複数の異なる視点位置の各々において、前記複数の異なる偏光状態の光により取得された偏光画像を用いて、前記複数の第1の距離画像を生成することを特徴とする請求項1乃至5のいずれか一項に記載の画像処理装置。
- 前記第1の生成部は、前記被写体に対して同一の視点位置において、前記複数の異なる偏光状態の光により取得された偏光画像を用いて、前記複数の第1の距離画像を生成することを特徴とする請求項1乃至5のいずれか一項に記載の画像処理装置。
- 前記複数の異なる偏光状態の光により取得された偏光画像を解析して、前記被写体の偏光情報を算出する偏光情報取得部を更に有することを特徴とする請求項1乃至8のいずれか一項に記載の画像処理装置。
- 前記偏光情報を用いて前記被写体の法線方位を示す法線方位画像を生成する法線情報推定部を更に有することを特徴とする請求項9に記載の画像処理装置。
- 前記偏光情報を用いて前記被写体の法線を示す法線画像を生成する法線情報推定部を更に有することを特徴とする請求項9に記載の画像処理装置。
- 前記法線方位画像を用いて前記第2の距離画像を補完することにより第3の距離画像を生成する第3の生成部を更に有することを特徴とする請求項10に記載の画像処理装置。
- 前記法線画像を用いて前記第2の距離画像を補完することにより第3の距離画像を生成する第3の生成部を更に有することを特徴とする請求項11に記載の画像処理装置。
- 前記偏光情報および前記第2の距離画像を用いて、前記被写体の表面質感および前記被写体に対する視点位置が変更された被写体画像を生成する質感・視点制御部を更に有することを特徴とする請求項9乃至13のいずれか一項に記載の画像処理装置。
- 前記偏光情報および前記第3の距離画像を用いて、前記被写体の表面質感および前記被写体に対する視点位置が変更された被写体画像を生成する質感・視点制御部を更に有することを特徴とする請求項12または13に記載の画像処理装置。
- 前記複数の異なる偏光状態の光により偏光画像を取得する撮像部を更に有することを特徴とする請求項1乃至15のいずれか一項に記載の画像処理装置。
- 被写体からの複数の異なる偏光状態の光により取得された該被写体までの距離情報を用いて複数の第1の距離画像を生成する第1の生成ステップと、
前記複数の第1の距離画像を用いて第2の距離画像を生成する第2の生成ステップとを有し、
前記第2の生成ステップにおいて、前記複数の第1の距離画像における前記被写体の同一位置に相当する画素領域の距離値を互いに比較した結果に基づいて、前記第2の距離画像を生成することを特徴とする画像処理方法。 - 請求項17に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022013840A JP2023112222A (ja) | 2022-02-01 | 2022-02-01 | 画像処理装置、画像処理方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022013840A JP2023112222A (ja) | 2022-02-01 | 2022-02-01 | 画像処理装置、画像処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023112222A true JP2023112222A (ja) | 2023-08-14 |
Family
ID=87562294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022013840A Pending JP2023112222A (ja) | 2022-02-01 | 2022-02-01 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023112222A (ja) |
-
2022
- 2022-02-01 JP JP2022013840A patent/JP2023112222A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6271609B2 (ja) | 立体カメラのためのオートフォーカス | |
US8447099B2 (en) | Forming 3D models using two images | |
US9338437B2 (en) | Apparatus and method for reconstructing high density three-dimensional image | |
WO2022052582A1 (zh) | 一种图像配准方法、装置及电子设备和存储介质 | |
KR102170029B1 (ko) | 3차원 형상 계측 장치, 3차원 형상 계측 방법 및 프로그램 | |
JP2008123141A (ja) | 対応点探索方法および3次元位置計測方法 | |
US20210144357A1 (en) | Method and apparatus with depth image generation | |
JP6332951B2 (ja) | 画像処理装置および画像処理方法、およびプログラム | |
GB2565354A (en) | Method and corresponding device for generating a point cloud representing a 3D object | |
JP2024507089A (ja) | 画像のコレスポンデンス分析装置およびその分析方法 | |
JP2016024052A (ja) | 3次元計測システム、3次元計測方法及びプログラム | |
JPWO2012060093A1 (ja) | ステレオ画像処理装置及びステレオ画像処理方法 | |
KR20100051359A (ko) | 영상 데이터 생성 방법 및 장치 | |
JP6395429B2 (ja) | 画像処理装置、その制御方法及び記憶媒体 | |
TWI528783B (zh) | 產生深度影像之方法及其系統及電腦程式產品 | |
JP6494402B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
JP5973767B2 (ja) | 対応点探索装置、そのプログラム及びカメラパラメータ推定装置 | |
KR101836238B1 (ko) | 다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법 | |
US20120038785A1 (en) | Method for producing high resolution image | |
JP6991700B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP5769248B2 (ja) | ステレオマッチング処理装置、ステレオマッチング処理方法、及び、プログラム | |
CN109859313B (zh) | 3d点云数据获取方法、装置、3d数据生成方法及系统 | |
JP2023112222A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2015005200A (ja) | 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体 | |
JP5887974B2 (ja) | 類似画像領域探索装置、類似画像領域探索方法、及び類似画像領域探索プログラム |