JP2018033059A - 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置 - Google Patents

Abstract

【課題】同一の撮像装置で取得したパースペクティブが互いに異なる複数の画像を用いて、被写体の奥行き情報を取得する画像処理方法、および撮像装置を提供する。【解決手段】第１の状態の撮像光学系で撮像された第１の画像と、該撮像光学系を構成する少なくとも１つ以上の光学素子の該撮像光学系の光軸上の位置が、第１の状態とは異なる第２の状態の該撮像光学系で撮像された第２の画像を取得する画像取得ステップと、第１の状態および第２の状態における撮像光学系の光学情報を取得する光学情報取得ステップと、第１の画像および第２の画像における同一被写体の位置の対応関係を取得する対応関係取得ステップと、対応関係および複数の光学情報に基づき被写体の奥行き情報を算出する奥行き情報算出ステップとを有し、第１の状態および第２の状態の撮像光学系夫々の入射瞳と被写体の間の距離は互いに異なる。【選択図】図５

Description

本発明は、単一の撮像光学系を用いて取得した画像を用いて被写体の奥行き情報を取得する画像処理方法に関する。

従来、公知の技術として複数の撮像光学系を備え、該複数の撮像光学系が取得した複数の画像の視差に基づき被写体の奥行き情報を取得するステレオカメラが知られている。

特許文献１では、撮像光学系の射出瞳のうち夫々異なる領域を通過した複数の光束を、撮像素子における互いに異なる画素に分離して撮像することで複数の視差画像を生成し、それらの視差を用いて被写体の奥行き情報を取得する構成が開示されている。特許文献２では、撮像光学系のパラメータを変更してぼけの異なる複数の画像を取得し、該複数の画像に含まれるぼけの量から被写体の奥行き情報を推定するＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）法が開示されている。

特許第４０２７１１３号公報 特開２０１５−３６６３２号公報

しかしながら、前記ステレオカメラは複数の撮像光学系が必要である。また特許文献１の撮像装置では、撮像光学系と撮像素子との間にマイクロレンズアレイが必要であり、１つのマイクロレンズに対応する画素は２つ以上に分割されている必要がある。このように、従来の被写体の奥行き情報を取得することが可能な撮像装置は、画像を取得するための撮像機能を実現する構成要素に加えて、被写体の奥行き情報を取得するための複雑な構成要素が必要であった。

また、特許文献２に開示されているＤＦＤ法は、被写体のぼけの量から被写体の奥行き情報を算出するため、被写体構造の影響を受けやすく、また処理負荷が大きくなりやすい。

本発明は、同一の撮像装置で取得したパースペクティブが互いに異なる複数の画像を用いて、被写体の奥行き情報を取得することが可能な画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置を提供することを目的とする。

上記目的を達成するために、本発明は、単一の撮像光学系で取得した複数の画像を用いて被写体の奥行き情報を算出する画像処理方法であって、第１の状態の撮像光学系で撮像された第１の画像と、該撮像光学系を構成する少なくとも１つ以上の光学素子の該撮像光学系の光軸上の位置が、第１の状態とは異なる第２の状態の該撮像光学系で撮像された第２の画像を取得する画像取得ステップと、前記第１の状態および第２の状態における前記撮像光学系の光学情報を取得する光学情報取得ステップと、前記第１の画像および第２の画像における同一被写体の位置の対応関係を取得する対応関係取得ステップと、前記対応関係および前記複数の光学情報に基づき被写体の奥行き情報を算出する奥行き情報算出ステップとを有し、前記第１の状態および前記第２の状態の前記撮像光学系夫々の入射瞳と被写体の間の距離は互いに異なることを特徴とする。

本発明によれば、同一の撮像装置で取得したパースペクティブが互いに異なる複数の画像を用いて、被写体の奥行き情報を取得することが可能な画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置を提供することができる。

本発明における被写体の奥行き情報取得の原理を説明する図。 ２つの画像夫々における対応する被写体領域の抽出方法について説明する図。 特定距離に位置する被写体を含む画素領域の算出方法について説明する図。 実施例１の撮像装置１の構成を示すブロック図。 実施例１の画像処理方法のフロー図。 対応被写体領域の抽出処理の処理負荷の低減について説明する図。 実施例２の撮像装置２が備える撮像系２０の側面図。 実施例３の撮像装置３が備える撮像系３０の側面図。 実施例３の画像処理方法のフロー図。

以下に、本発明の実施例を、添付の図面に基づいて詳細に説明する。はじめに、本発明の画像処理方法の被写体の奥行き情報取得の原理について、図１を用いて説明する。図１（ａ）は第１の状態にある撮像光学系を示しており、図１（ｂ）は第２の状態にある該撮像光学系を示している。該撮像光学系は複数の光学素子（例えば、レンズ）から構成されるが、図１は説明のため撮像光学系を簡略化し主点、入射瞳および射出瞳が同一平面にあるとし、該平面のみを示している。

前記第２の状態は、撮像光学系を構成する複数の光学素子のうち、撮像光学系の絞りまたは絞りよりも被写体側に位置する１つ以上の不図示の光学素子が、該撮像光学系の光軸上の第１の状態とは異なる位置に移動した状態である。そのため、第１の状態および第２の状態の撮像光学系では夫々、絞りよりも被写体側に位置する光学素子により結像される絞りの像である入射瞳の光軸上の位置が異なっている。

図１（ａ）が示す第１の状態では、撮像光学系の入射瞳ＥＰは（０，０）に位置しており、図１（ｂ）が示す第２の状態では、撮像光学系の入射瞳ＥＰは（０，ΔＥＰ）に位置している。前記第１の状態および第２の状態の撮像光学系は、被写体から撮像光学系の入射瞳面までの距離が互いに異なるために、夫々の状態の撮像光学系で取得した画像のパースペクティブが互いに異なっている。ここで、パースペクティブとは、被写体距離に対する被写体倍率の変化率を指す。ＡおよびＢは夫々の状態の撮像光学系が形成する、（ｚ，ｘ）に位置する被写体Ｏの、像面ＩＰ上での光学像の位置である。また、第１の状態の撮像光学系の焦点距離はｆ１、第２の状態の撮像光学系の焦点距離はｆ２である。これらを用いて、被写体Ｏまでの距離ｘは式（１）により与えられる。

このように、同一の撮像光学系の、パースペクティブが異なる２つの状態で夫々取得した２枚の画像から、被写体の奥行き情報を算出することができる。パースペクティブを変化させるには、撮像光学系を構成する複数の光学素子のうち、絞りまたは絞りよりも被写体側に位置する１つ以上の光学素子を光軸上で移動させれば良い。つまり、一般的なズーム駆動、または絞りより被写体側にフォーカスレンズが存在する場合にはフォーカス駆動で容易にパースペクティブを変化させることが出来る。そのため、ここまで説明した原理を用いることで、ズーム機能やフォーカス機能を持つ一般的なデジタルカメラを用いて被写体の奥行き情報を取得することが可能となる。

なおここでは、簡単のためＺ−Ｘ平面上にある被写体Ｏの奥行き情報ｘを算出する場合について説明したが、同様の原理を用いて任意の平面上の被写体の奥行き情報を算出することが可能である。

以上の方法を用いて被写体の奥行き情報を取得するには、パースペクティブが異なる２つの画像上の同一の被写体を抽出し、夫々の画像における座標位置ＡおよびＢを算出する必要がある。

対応する被写体領域の抽出方法について図２を用いて説明する。ここで、画像座標（ｙ，ｚ）を使用する。画像座標（ｙ，ｚ）は、図２における夫々の画素群の左上を原点（１，１）として定義し、水平方向をｚ軸、垂直方向をｙ軸とする。パースペクティブの異なる２つの画像のうち１枚をＩＭＧ１、他方をＩＭＧ２とする。また、ＩＭＧ１の画像座標（ｙ，ｚ）の画素値をＦ１（ｙ，ｚ）とし、ＩＭＧ２の画素値をＦ２（ｙ，ｚ）として説明する。

視差画像ＩＭＧ１における任意の座標（ｙ，ｚ）の画素に対応する視差画像ＩＭＧ２の画素は、座標（ｙ，ｚ）における視差画像ＩＭＧ１の画素値Ｆ１（ｙ，ｚ）と最も類似したＩＭＧ２の画素値を持つ画素を探すことで求めることが出来る。ただし、一般的に任意の画素と最も類似した画素を探すことは難しいため、画像座標（ｙ，ｚ）の近傍の画素も用い、ブロックマッチングと呼ばれる手法で類似画素を探索する。以下、注目画素とその近傍８画素を用いるブロックマッチングについて説明する。ＩＭＧ１の任意の座標（ｙ，ｚ）の画素およびその近傍８画素と、座標（ｙ，ｚ）からｙ方向にｎ、ｚ方向にｍだけずれたＩＭＧ２の画素およびその近傍８画素との類似度Ｅを式（２）で定義する。

この式（２）において逐次ｎおよびｍの値を変えて上記類似度Ｅの値を計算し、最も小さな類似度Ｅを与える（ｙ＋ｎ，ｚ＋ｍ）が、ＩＭＧ１の座標（ｙ，ｚ）に対する、ＩＭＧ２の対応点である。図２に示す２つの画像夫々の黒塗り画素が同一被写体を示す画素であるとすると、ＩＭＧ１における黒塗り画素の座標（４，６）に対する、ＩＭＧ２の対応点の座標は（２，８）であり、ｎ＝−２、ｍ＝２のときに最も小さな類似度Ｅを与える。

このようにして得られた、２つの画像夫々における同一被写体の座標位置を用いて、前述の原理を用いて被写体の奥行き情報の算出を行う。

次に、ある距離に位置する被写体を含む画素領域を簡易な処理で求める方法について説明する。

以下、図１で説明した２つの状態の撮像光学系を用いて取得した２つの画像を例にとって説明する。図３のＩＭＧ１は第１の状態の撮像光学系で取得した第１の画像であり、ＩＭＧ２は第２の状態の撮像光学系で取得した第２の画像である。ここで、ＩＭＧ１およびＩＭＧ２夫々のパースペクティブは互いに異なっている。図３のＤｍａｐは、第１の状態の撮像光学系の画角内の被写体の配置を説明する図であり、黒塗りで示されている画素領域内の被写体は距離ｘに位置し、白塗りで示されている画素領域内の被写体は距離ｘとは異なる距離に位置する。

距離ｘに位置する被写体の、ＩＭＧ１およびＩＭＧ２夫々における座標位置ＡおよびＢの比ｒは、式（１）を変形した式（３）により記述できる。

この式より、ＩＭＧ１をｒ倍拡大処理することで、距離ｘに位置する被写体の座標位置がＩＭＧ２と同一である画像ＩＭＧ１ｔを生成することができる。ここで、画像の拡大処理の際には公知の画素補間処理を用いる。これは例えばバイリニア補間である。

図３のＤｉｆｆはＩＭＧ２およびＩＭＧ１ｔの差分を示す画像であり、Ｄｉｆｆの各画素の画素値は、同一の画像座標における、ＩＭＧ２およびＩＭＧ１ｔ夫々の画素の画素値の差分値である。Ｄｉｆｆのうち黒塗りで示す画像領域は画素値が小さく、斜線部で示す画像領域は画素値が大きい。これは、同一の被写体が同一の画像座標に位置している画素領域においては前記差分値が小さくなるためである。つまり、黒塗り領域に存在する被写体は距離ｘに位置し、斜線部で示す領域に存在する被写体は距離ｘとは異なる距離に位置する。

また、ＤｉｆｆはＩＭＧ２およびＩＭＧ１ｔの、差分ではなく例えば比であっても良く、２つの画像の同一の画像座標に位置する夫々の画素の画素値を比較する手段であれば良い。画素値の比を用いる場合には、Ｄｉｆｆの各画素の画素値は、同一の画像座標における、ＩＭＧ２およびＩＭＧ１ｔ夫々の画素の画素値の比である。このとき、同一の被写体が同一の画像座標に位置している画素領域においては前記比が１となり、その他の領域においては前記比が１以外の値になる。

以上説明した方法により、簡易な処理で画像内の距離ｘに存在する被写体を含む画素領域を抽出することが可能である。

［実施例１］
本実施例では、光学ズーム機能を有する撮像装置が行う、パースペクティブの異なる２枚の画像を用いて被写体の奥行き情報を算出する画像処理方法について説明する。

まず、本実施例の撮像装置の構成について説明する。図４は、本実施形態の撮像装置１のブロック図である。撮像系１０は撮像光学系１００および撮像素子１０２から構成され、撮像光学系１００は絞り１０１ａおよびフォーカスレンズ１０１ｂから構成される。更に、撮像光学系１００は加えて１つ以上のレンズを有する。

撮像光学系１００は不図示の被写体からの光を、ＣＭＯＳセンサやＣＣＤセンサ等の光電変換素子により構成される撮像素子１０２上に結像させる。撮像素子１０２での光電変換により生成されたアナログ電気信号はＡ／Ｄ変換器１０３でデジタル信号に変換されて画像処理部１０４に入力される。画像処理部１０４は、Ａ／Ｄ変換器１０３からの画像データに対して所定の画素補間処理や色変換処理等を行う。なお、画像処理部１０４は撮像装置１に搭載された画像処理装置に相当する。

また、画像処理部１０４は複数のパースペクティブの異なる入力画像から、被写体の奥行き情報を算出する。その際、記憶部１０９はシステムコントローラ１０７の指示に応じて被写体の奥行き情報の算出に必要な情報を画像処理部１０４に送信する。

撮像素子１０２の駆動、画像処理部１０４での処理および撮像光学系１００の動作の制御はシステムコントローラ１０７が行う。撮像光学系１００における絞り１０１ａおよびフォーカスレンズ１０１ｂの機械的な駆動は、システムコントローラ１０７からの制御指示に応じて撮像光学系制御部１０６が行う。絞り１０１ａは、設定された絞り値（Ｆナンバー）に応じてその開口径が制御される。また、撮像光学系制御部１０６は、撮影時の撮影条件をシステムコントローラ１０７に送信する。

システムコントローラ１０７は、撮影画像または奥行き情報を半導体メモリや光ディスク等の画像記憶媒体１０８に保存する。このとき、画像ファイルのファイルヘッダに撮影時の撮影条件を格納する。また、撮影画像または奥行き情報を画像表示部１０５に表示してもよい。

フォーカスレンズ１０１ｂは被写体距離に応じてピント調整を行うために不図示のＡＦシステムやマニュアルフォーカス機構によってその位置が制御される。なお、撮像光学系１００は、図４では撮像装置１の一部として構成されているが、一眼レフカメラのように交換式の撮像光学系であってもよい。

次に、本実施例の撮像装置が実行する、被写体の奥行き情報を算出する画像処理方法の具体的な手順について、図５の処理フロー図を用いて説明する。

ステップＳ１０１では、まずシステムコントローラ１０７は撮像系１０を制御して第１の焦点距離ｆ１に設定し、画像ＩＭＧ１の撮像を行う。その後、撮像系１０を制御して第２の焦点距離ｆ２に設定し、画像ＩＭＧ２の撮像を行う。ｆ１とｆ２は互いに異なっていれば任意の値であって良く、ここでは例としてｆ１＜ｆ２とする。ＩＭＧ１およびＩＭＧ２は、夫々撮影時の状態の撮像光学系の入射瞳と被写体の距離が互いに異なっているため、互いにパースペクティブが異なる。また、システムコントローラ１０７はｆ１およびｆ２を撮影条件データとして画像処理部１０４に送信する。

ステップＳ１０２では、画像処理部１０４はＩＭＧ２およびＩＭＧ１上の互いに対応する被写体の夫々の画像上での座標位置の算出を行う。対応する被写体の抽出には、前述のブロックマッチングを用いる。このとき、ＩＭＧ１とＩＭＧ２で異なっているのは、撮影時の焦点距離とパースペクティブであり、画像上では被写体倍率が互いに異なる。そのため、対応する被写体は夫々の画像の同じ方位角方向に存在するので、該方位角方向の直線上の画素についてのみ対応被写体抽出処理を適用することが好ましい。例えば、図６はＩＭＧ１およびＩＭＧ２を示しており、ＩＭＧ２上の被写体ＯＢＪの、ＩＭＧ１上の座標位置を探索する際には、ＩＭＧ１の直線Ｌ上の画素にのみ対応被写体抽出処理を適用する。これにより、処理付加を低減することが可能になる。

また、対応被写体抽出処理を行う際に、ＩＭＧ１およびＩＭＧ２の被写体倍率が著しく異なる場合には、対応被写体抽出の精度が低下するため、予め被写体倍率を同程度に補正してもよい。具体的には、ＩＭＧ１に対し、ｆ２／ｆ１倍の拡大処理を行い、ＩＭＧ２と同じ画像サイズになるようにトリミング処理を行っても良い。拡大処理を行う際には、公知の画素補間処理を用いる。この場合には、後のステップで式（１）に従い被写体の奥行き情報を算出する際に、ｆ１の値をｆ２で置き換える。

画像処理部１０４は、ＩＭＧ２の各画素に対応するＩＭＧ１の画素を抽出し、夫々の画像上での座標位置の比ｒ（＝Ａ／Ｂ）を取得する。この処理をＩＭＧ２の全ての画像座標の画素について適用し、ＩＭＧ２の画素毎にｒを夫々別個に保存する。

ステップＳ１０３では、記憶部１０９から、撮像光学系１００が焦点距離ｆ１の状態にあるときの、撮像素子１０２と入射瞳の間の距離ＥＰ１および、撮像光学系１００が焦点距離ｆ２にあるときの、撮像素子１０２と入射瞳の間の距離ＥＰ２を読み出す。

ステップＳ１０４では、ｆ１、ｆ２、ΔＥＰ（＝｜ＥＰ１−ＥＰ２｜）およびＩＭＧ２の画素毎のｒを用いて、式（１）に従い画素毎に被写体の奥行き情報を算出し、距離マップＩＭＧＤを生成する。ＩＭＧＤは、ＩＭＧ２の画角と同じ画角の、被写体の奥行き情報マップである。

ステップＳ１０５では、システムコントローラ１０７は、ＩＭＧ１、ＩＭＧ２およびＩＭＧＤのうち少なくとも１つを画像記憶媒体１０８に保存する。また、ＩＭＧ１、ＩＭＧ２およびＩＭＧＤのうち少なくとも１つを画像表示部１０５に表示しても良い。

以上説明した画像処理方法によれば、パースペクティブの異なる２つの画像から被写体の奥行き情報を算出することで、ズーム機能を持つ一般的なデジタルカメラを使用して被写体の奥行き情報を取得することができる。

［実施例２］
本実施例では、撮像光学系および撮像素子が、該撮像光学系の光軸方向に一体で稼動する機能を有する撮像装置が行う、パースペクティブの異なる２枚の画像を用いて被写体までの奥行き情報を算出する画像処理方法について説明する。

まず、本実施例の撮像装置の構成について説明する。本実施例の撮像装置２の構成は、撮像系１０の代わりに撮像系２０を持つ他は実施例１の撮像装置１と同様であり、同様である構成要素については説明を省略する。

図７は、本実施例の撮像装置２が有する撮像系２０の側面図である。撮像系２０は撮像光学系２００、撮像素子２０２、保持部２１０およびレール２２０により構成される。撮像光学系２００および撮像素子２０２は、実施例１の撮像光学系１００および撮像素子１０２と夫々同様であるため説明を省略する。撮像光学系２００および撮像素子２０２は保持部２１０によって保持されており、互いの相対位置は固定されている。保持部２１０はレール２２０に沿って、不図示の動力部により駆動される。前記動力部は例えばアクチュエーターやモーターである。

レール２２０の方向、つまり保持部２１０の稼動方向は撮像光学系２００の光軸と平行である。撮像装置２は撮像光学系２００および撮像素子２０２を撮像光学系の光軸方向に一体で稼動させることで、入射瞳と被写体の間の距離が異なる状態で撮像を行うことが出来る。つまり、パースペクティブの異なる複数の画像を取得することが可能である。

ここで、撮像系２０は撮像光学系２００および撮像素子２０２を、撮像光学系２００の光軸に沿って一体で稼動させる機能を持っていればよく、稼動方法は特に限定されない。

本実施例の撮像装置２が実行する、被写体の奥行き情報を算出する画像処理方法の具体的な手順については一部を除いて実施例１と同様であり、差異部についてのみ説明する。ステップＳ１０１では、まずシステムコントローラ１０７は撮像系２０を制御して保持部２１０をレール２２０上の第１の位置に移動させ、画像ＩＭＧ１の撮像を行う。その後、撮像系２０を制御して保持部２１０をレール２２０上の第２の位置に移動させ、画像ＩＭＧ２の撮像を行う。

ステップＳ１０３では、画像処理部１０４は前記第１の位置および前記第２の位置の間の距離をΔＥＰとして取得する。

以上説明した画像処理方法によれば、撮像光学系および撮像素子が該撮像光学系の光軸に沿って一体で稼動する機構を有する撮像系を用いて取得した、パースペクティブの異なる２つの画像から被写体の奥行き情報を算出することができる。

［実施例３］
本実施例では、単焦点撮像光学系を有する撮像装置が行う、パースペクティブの異なる２枚の画像を用いて、指定した距離に位置する被写体を含む画素領域を取得する画像処理方法について説明する。

まず、本実施例の撮像装置の構成について説明する。本実施例の撮像装置３の構成は、撮像系１０の代わりに撮像系３０を持つ他は実施例１の撮像装置１と同様であり、同様である構成要素については説明を省略する。

図８は撮像装置３が有する撮像系３０の側面図である。撮像系３０は撮像光学系３００および撮像素子３０２から構成され、撮像光学系３００は絞り３０１ａおよびフォーカスレンズ３０１ｂから構成される。更に、撮像光学系３００は加えて１つ以上のレンズを有する。

撮像光学系３００のフォーカスレンズ３０１ｂは絞り３０１ａよりも被写体側に位置するため、撮像光学系制御部１０６がフォーカスレンズ３０１ｂを駆動した際には、撮像光学系３００の入射瞳と撮像素子３０２の間の距離が変化する。つまり、異なる被写体距離にフォーカシングした状態で夫々撮像を行うことで、パースペクティブの異なる複数の画像を取得することが可能である。

次に、本実施例の撮像装置が実行する、被写体の奥行き情報を算出する画像処理方法の具体的な手順について、図９の処理フロー図を用いて説明する。

ステップＳ３０１では、まずシステムコントローラ１０７は撮像系３０を制御して第１の合焦状態に設定し、画像ＩＭＧ１の撮像を行う。その後、撮像系３０を制御して第２の合焦状態に設定し、画像ＩＭＧ２の撮像を行う。また、システムコントローラ１０７は第１および第２の合焦状態夫々における撮像光学系３００の焦点距離ｆ１およびｆ２を撮影条件データとして画像処理部１０４に送信する。ここで、前記第１の合焦状態および第２の合焦状態にある撮像光学系は、互いに異なる距離に位置する被写体に合焦している。

ステップＳ３０２では、画像処理部１０４は、記憶部１０９から、第１および第２の合焦状態夫々における撮像光学系３００の入射瞳と撮像素子３０２の間の距離ＥＰ１およびＥＰ２を夫々取得する。また、算出設定距離ｘを取得する。これは任意の値で良く、例えばユーザーの入力に応じて不図示の入力部によって送信されても良いし、第１および第２の合焦状態における合焦被写体距離のうちどちらか１つでもよい。

ステップＳ３０３では、算出設定距離ｘ、ｆ１、ｆ２およびΔＥＰ（＝｜ＥＰ１−ＤＰ２｜）を用いて式（３）に従い、距離ｘに位置する被写体の、ＩＭＧ１およびＩＭＧ２夫々における座標位置ＡおよびＢの比ｒを算出する。また、ＩＭＧ１をｒ倍拡大処理し、ＩＭＧ１ｔを生成する。ここで、算出設定距離ｘ、ｆ１、ｆ２およびΔＥＰの値によってはｒが１よりも小さくなる場合があり、その場合には実際に行う処理は縮小処理となるが、これも含め拡大処理と表現する。例えば、画像を１／２に縮小する処理は、０．５倍の拡大処理と表現する。

ステップＳ３０４では、ＩＭＧ２とＩＭＧ１ｔの差分画像Ｄｉｆｆを算出する。その後、Ｄｉｆｆの各画素を参照し、Ｄｉｆｆの画素値が閾値ＴＨ以下である画像座標の画素は画素値がｘ、Ｄｉｆｆの画素値が閾値ＴＨより大きい画像座標の画素は画素値が０である画像ＩＭＧＤを生成する。ここで理想的には、距離ｘに位置する被写体を含む画素領域においては、Ｄｉｆｆの各画素の画素値は０であり、その他の距離に位置する被写体を含む画素領域においてはＤｉｆｆの各画素の画素値は０より大きい。この理想的な場合には閾値ＴＨは０で良いが、実際にはノイズ等外乱の影響により、距離ｘに位置する被写体を含む画素領域においてもＤｉｆｆの画素値は０とならない。

そのため、例として閾値ＴＨは撮像した画像の最大階調値を１０で割って小数点以下を切り捨てた値に設定する。例えばＩＭＧ１およびＩＭＧ２の階調が８ｂｉｔであるときにはＴＨ＝２５である。

算出されたＩＭＧＤは、距離ｘに位置する被写体を表す被写体の奥行き情報マップであり、距離ｘに位置する被写体を含む画素領域においては画素値がｘ、その他の距離に位置する被写体を含む画素領域においては画素値が０である。

ステップＳ３０５では、システムコントローラ１０７は、ＩＭＧ１、ＩＭＧ２、ＩＭＧ１ｔ、ＤｉｆｆおよびＩＭＧＤのうち少なくとも１つを画像記憶媒体１０８に保存する。また、ＩＭＧ１、ＩＭＧ２、ＩＭＧ１ｔ、ＤｉｆｆおよびＩＭＧＤのうち少なくとも１つを画像表示部１０５に表示しても良い。

以上の説明において、距離ｘに位置する被写体を含む画素領域を算出したが、更に複数の距離に夫々位置する被写体を含む画素領域を算出しても良い。具体的には、ｘとは異なる算出設定距離を用いてステップＳ３０３およびステップＳ３０４を繰り返し行い、算出された複数のＩＭＧＤを統合して最終出力画像としても良い。この場合、ＩＭＧＤは複数の距離に夫々位置する被写体を含む画素領域を表す複数の被写体の奥行き情報マップである。

以上説明した画像処理方法によれば、パースペクティブの異なる２つの画像を用いて、拡大および差分処理等の簡易な処理で、特定の距離に位置する被写体を表す被写体の奥行き情報マップを算出することが出来る。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１…撮像装置
１０…撮像系
１００…撮像光学系
１０１ａ…絞り
１０１ｂ…フォーカスレンズ
１０２…撮像素子
１０３…Ａ／Ｄ変換器
１０４…画像処理部
１０５…画像表示部
１０６…撮像光学系制御部
１０７…システムコントローラ
１０８…画像記憶媒体
１０９…記憶部

Claims (8)

1. 単一の撮像光学系で取得した複数の画像を用いて被写体の奥行き情報を算出する画像処理方法であって、
   第１の状態の撮像光学系で撮像された第１の画像と、該撮像光学系を構成する少なくとも１つ以上の光学素子の該撮像光学系の光軸上の位置が、第１の状態とは異なる第２の状態の該撮像光学系で撮像された第２の画像を取得する画像取得ステップと、
   前記第１の状態および第２の状態における前記撮像光学系の光学情報を取得する光学情報取得ステップと、
   前記第１の画像および第２の画像における同一被写体の位置の対応関係を取得する対応関係取得ステップと、
   前記同一被写体の位置の対応関係および前記光学情報に基づき被写体の奥行き情報を算出する奥行き情報算出ステップと
   を有し、前記第１の状態および前記第２の状態の前記撮像光学系夫々の入射瞳と被写体の間の距離は互いに異なることを特徴とする画像処理方法。
2. 前記第１の画像及び前記第２の画像夫々のパースペクティブは互いに異なることを特徴とする請求項１に記載の画像処理方法。
3. 前記光学情報は、前記第１の状態および前記第２の状態の前記撮像光学系夫々の入射瞳の位置情報であることを特徴とする請求項１または２に記載の画像処理方法。
4. 前記対応関係取得ステップは、前記第１の画像上の被写体の、前記第２の画像における画像上の座標位置を取得することで、
   前記第１の画像および第２の画像における同一被写体の位置の対応関係を取得することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
5. 前記対応関係取得ステップは、前記第１の画像を拡大処理した画像と、前記第２の画像夫々の同一の画素領域の画素値を比較することで、前記第１の画像および第２の画像における同一被写体の位置の対応関係を取得することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
6. 前記拡大処理は、前記撮像光学系の光学情報に基づく倍率で前記第１の画像を拡大することを特徴とする請求項５に記載の画像処理方法。
7. 前記被写体の奥行き情報は、複数の状態の前記撮像光学系夫々の画角のうち、最も狭い画角内の距離マップであることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理方法。
8. 算出設定距離を取得する算出設定距離取得ステップを有し、
   前記被写体の奥行き情報は、複数の状態の前記撮像光学系夫々の画角のうち、最も狭い画角内の、前記算出設定距離に位置する被写体を含む画角領域に対応する画素領域であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理方法。