JP2015226193A - 撮像装置、撮像装置の制御方法、および、撮像装置の制御プログラム - Google Patents

Abstract

【課題】より高画質な画像を得ることが可能な新規な構造を有する撮像装置、撮像装置の制御方法、撮像装置の制御プログラムを提供する。【解決手段】互いに異なる視点から被写体をそれぞれ撮像するための撮像部を備える撮像装置１００が提供される。撮像部は、所定数のレンズからなるレンズ群２６＿１と、レンズ群２６＿１のレンズ数よりも多いレンズからなるレンズ群２６＿２とを含む。レンズ群２６＿１には、第１のバンド幅の光を透過するフィルタが関連付けられる。レンズ群２６＿２には、第１のバンド幅よりも狭い第２のバンド幅の光を透過するフィルタが関連付けられる。撮像装置１００は、レンズ群２６＿１を透過した光から得られた第１の画像群と、レンズ群２６＿２を透過した光から得られた第２の画像群との全部または一部を用いて、被写体を表現する出力画像を出力する。【選択図】図１

Description

本発明は、撮像装置、撮像装置の制御方法、および、撮像装置の制御プログラムに関し、特に、互いに異なる視点から被写体を撮像する複数の撮像部を有する撮像装置、撮像装置の制御方法、および、撮像装置の制御プログラムに関する。

近年、画像の画質を向上するための撮像装置が開発されている。たとえば、特許文献１は、複数の撮像素子を備えるイメージセンサを開示している。当該イメージセンサには、赤色の波長帯域の光を受光する撮像素子と、緑色の波長帯域の光を受光する撮像素子と、青色の波長帯域の光を受光する撮像素子とがそれぞれ独立に設けられる。

特表２００７−５２０１０８号公報

各撮像素子に対する露光時間が同じである場合には、引用文献１が開示するイメージセンサは、撮像素子の受光感度の違いに合わせて、撮像素子ごとに画質が異なった画像を生成できる。しかしながら、各撮像素子の受光感度に合わせたカスタムセンサのためコストが高くなる。このため、特許文献１が開示するイメージセンサとは異なる構造を有する撮像装置で低コストに画像の高画質化を実現することが望まれている。

この開示は上述のような問題点を解決するためになされたものであって、その目的は、より高画質な画像を得ることが可能な新規な構造を有する撮像装置を提供することである。

一実施の形態に従うと、互いに異なる視点から被写体をそれぞれ撮像するための撮像部を備える撮像装置が提供される。撮像部は、所定数のレンズからなる第１のレンズ群と、第１のレンズ群のレンズ数よりも多いレンズからなる第２のレンズ群とを含む。第１のレンズ群には、第１のバンド幅の光を透過するフィルタが関連付けられる。第２のレンズ群には、第１のバンド幅よりも狭い第２のバンド幅の光を透過するフィルタが関連付けられる。撮像装置は、第１のレンズ群を透過した光から得られた第１の画像群と、第２のレンズ群を透過した光から得られた第２の画像群との全部または一部を用いて、被写体を表現する出力画像を出力するための出力部を備える。

好ましくは、出力部は、出力画像の各画素の画素値を、第２の画像群に属する複数の画像のそれぞれの対応する画素値から合成する。

好ましくは、撮像装置は、第２の画像群に属する１枚の画像内の各画素の対応点を、第２の画像群に属する他の画像から探索するための探索部を備える。出力部は、探索部の対応点の探索結果を用いて出力画像を出力する。

好ましくは、出力部は、第２の画像群に属する画像の対応点間の画素値を加算することにより出力画像を出力する。

好ましくは、撮像装置は、第２の画像群に属する画像の各々について、探索部の探索処理に用いられる探索画像を生成するための生成部をさらに備える。探索画像の各画素の画素値は、第２の画像群の対応する画像内の所定領域の画像情報から算出される。

好ましくは、探索画像の各画素の画素値は、第２の画像群の対応する画像内の所定領域の画素値を加算して算出される。

好ましくは、生成部は、第２の画像群の対応する画像を縮小することにより探索画像を生成する。

好ましくは、第１のレンズ群および第２のレンズ群には、関連付けられるフィルタの光透過特性の半値幅が長いほど、多くのレンズが設けられる。

他の実施の形態に従うと、撮像装置を制御するための制御方法が提供される。撮像装置は、互いに異なる視点から被写体をそれぞれ撮像するための撮像部を備える。撮像部は、所定数のレンズからなる第１のレンズ群と、第１のレンズ群のレンズ数よりも多いレンズからなる第２のレンズ群とを含む。第１のレンズ群には、第１のバンド幅の光を透過するフィルタが関連付けられる。第２のレンズ群には、第１のバンド幅よりも狭い第２のバンド幅の光を透過するフィルタが関連付けられる。制御方法は、第１のレンズ群を透過した光から得られた第１の画像群と、第２のレンズ群を透過した光から得られた第２の画像群との全部または一部を用いて、被写体を表現する出力画像を出力するステップを含む。

さらに他の実施の形態に従うと、撮像装置を制御するための制御プログラムが提供される。撮像装置は、互いに異なる視点から被写体をそれぞれ撮像するための撮像部を備える。撮像部は、所定数のレンズからなる第１のレンズ群と、第１のレンズ群のレンズ数よりも多いレンズからなる第２のレンズ群とを含む。第１のレンズ群には、第１のバンド幅の光を透過するフィルタが関連付けられる。第２のレンズ群には、第１のバンド幅よりも狭い第２のバンド幅の光を透過するフィルタが関連付けられる。制御プログラムは、撮像装置に、第１のレンズ群を透過した光から得られた第１の画像群と、第２のレンズ群を透過した光から得られた第２の画像群との全部または一部を用いて、被写体を表現する出力画像を出力するステップを実行させる。

本発明によれば、より安価で高画質な画像を得ることが可能な新規な構造を有する撮像装置、撮像装置の制御方法、撮像装置の制御プログラムを提供できる。

本発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本発明に関する次の詳細な説明から明らかとなるであろう。

第１の実施の形態に従う撮像装置の主要な構成を概略的に表わした図である。 変形例に従う撮像装置の構成の概略を表した図である。 第１の実施の形態に従う撮像装置の機能構成の一例を示すブロック図である。 探索画像の生成過程を概略的に表した概念図である。 探索画像の他の生成過程を概略的に表した概念図である。 第１の実施の形態に従う撮像装置から被写体の各領域までの距離を算出する処理を説明するための概念図である。 探索部による対応点探索処理を概略的に表した概念図である。 探索部による対応点探索処理の結果を表した図である。 探索部による対応点を決定する方法を概略的に表した概念図である。 変形例に従う対応点探索処理を概略的に表した概念図である。 変形例に従う対応点探索処理の結果を表した図である。 出力部による出力画像の生成処理を概略的に表した概念図である。 レンズに設けられるフィルタが透過する光の波長と透過率との関係を示した図である。 各レンズ群のレンズ数の決定方法を概略的に示した図である。 各レンズ群のレンズ数の決定方法を概略的に示した図である。 第１の実施の形態に従う撮像装置が実行する処理の一部を表わすフローチャートである。 第１の実施の形態に従う撮像装置の主要なハードウェア構成を示すブロック図である。 図１７に示す撮像装置を具現化したデジタルカメラの構成を示すブロック図である。 第１の実施の形態に従う制御プログラムをダウンロードした電子機器の構成を示すブロック図である。 第２の実施の形態に従う撮像装置の主要な構成を概略的に表わした図である。 第２の実施の形態に従う撮像装置に含まれる探索部による対応点探索処理を概略的に表した概念図である。

以下、図面を参照しつつ、本発明に従う各実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。なお、以下で説明される各実施の形態、および／または、各変形例は、選択的に組み合わされてもよい。

＜第１の実施の形態＞
［概要］
まず、本実施の形態に従う撮像装置１００の理解を容易にするために、撮像装置１００を適用することが可能な技術分野の一例について説明する。撮像装置１００は、たとえば、医療の分野において適用され得る。医療などの分野では、蛍光剤を腫瘍が含まれる患部に注射し、腫瘍を含む患部に特定の波長の光に反応する腫瘍などの細胞の位置を視覚的に確認したいという要望がある。これを実現するためには、特定の狭いバンド幅の光を分光する必要がある。しかしながら、特定の狭いバンド幅の光のみが分光されると、検出したい細胞のみが画像に写り、撮影者は、この細胞が被写体のどこに位置するのかを把握することができない。

これを解決するためには、特定の狭いバンド幅（以下、「ナローバンド」とも称する。）の光を透過するレンズと、被写体を撮像するための広いバンド幅（以下、「ワイドバンド」とも称する。）の光を透過するレンズとが必要となる。しかしながら、このようにレンズごとに透過する光のバンド幅が異なると、撮像素子への露光時間が同じである場合には、画質が異なった画像が生成される。すなわち、ナローバンドの光を撮像して得られた画像（以下、「Ｎ画像（ナロー画像）」とも称する。）は、ワイドバンドの光を撮像して得られた画像（以下、「Ｗ画像（ワイド画像）」とも称する。）に対して、暗く低画質なものとなる。特に、Ｎ画像の最大画素値とＷ画像の最大画素値とが大きく異なる場合には（たとえば、２倍以上）、撮像装置は、ノイズの影響により、ゲイン調整だけでは画素値を調整することができない。

本実施の形態に従う撮像装置１００は、受光感度が異なる複数の撮像素子を有する場合であって、それぞれの撮像素子の露光時間が一定である場合であっても、高画質な画像を得ることができる。より具体的には、撮像装置１００は、ナローバンドの光を透過するレンズの数が、ワイドバンドの光を透過するレンズの数よりも多くなるように構成される。このように、ナローバンドの光を透過する、より多くのレンズが設けられことにより、撮像装置１００は、受光する光の強度を補うことができる。これにより、撮像装置１００は、Ｎ画像とＷ画像との画質の差を小さくすることができる。この結果、ユーザは、Ｎ画像とＷ画像とを比較できるので、特定の波長領域に反応する物体が被写体のいずれの場所に位置するのかを容易に確認することが可能になる。

以下では、図１を参照して、第１の実施の形態に従う撮像装置１００の構成について説明する。図１は、撮像装置１００の主要な構成を概略的に表わした図である。

撮像装置１００は、撮像部２０を含む。一例として、撮像部２０は、アレイカメラである。撮像部２０は、所定数のレンズからなるレンズ群２６＿１と、レンズ群２６＿１のレンズ数よりも多いレンズ数からなるレンズ群２６＿２と、撮像素子２８とを有する。レンズ群２６＿１は、レンズ２６＿１Ａを含む。レンズ群２６＿２は、レンズ２６＿２Ａと、レンズ２６＿２Ｂとを含む。

レンズ２６＿１Ａには、所定のバンド幅の光を透過するフィルタ（以下、「ワイドバンドフィルタ」とも称する。）が関連付けられる。一例として、当該フィルタは、緑色の波長帯域の光（以下、「光（Ｇ）」とも称する。）を透過する波長透過特性を有する。

レンズ２６＿２Ａおよびレンズ２６＿２Ｂには、レンズ２６＿１Ａと比較して透過する光のバンド幅がより狭いフィルタ（以下、「ナローバンドフィルタ」とも称する。）が関連付けられる。これにより、撮影者が所望するバンド幅の光を撮像することができ、特定の狭い領域の光に反応する物体を撮影することができる。バンド幅とは、たとえば、光の透過率が所定の割合よりも高くなる波長幅をいう。典型的には、光のバンド幅は、レンズに関連付けられるフィルタの光透過特性の半値幅である。

撮像素子２８は、レンズ群２６＿１およびレンズ群２６＿２を透過した光を受けて画像を生成する。これにより、撮像装置１００は、レンズ２６＿１を透過した光を撮像したＷ画像と、レンズ２６＿２Ａを透過した光を撮像したＮ画像と、レンズ２６＿２Ｂを透過した光を撮像したＮ画像との３つの画像を生成することができる。

撮像装置１００は、これら３つの画像の全部または一部を用いて、被写体を表現する画像（すなわち、出力画像）を生成する。これらの３つの画像は、異なる視点から撮像されて得られたものであるため、画像間において、位置ずれが生じる。このため、撮像装置１００は、以下で説明する対応点探索処理を実行して、画像間の対応点を検出し、位置ずれを補正する。

これにより、撮像装置１００は、レンズ２６＿２ＡからのＮ画像と、レンズ２６＿２ＢからのＮ画像との２枚の画像を、対応点ごとに合成して出力画像を生成する。この結果、撮像装置１００は、疑似的に受光感度を向上させたＮ画像を得ることができる。すなわち、撮像装置１００は、Ｎ画像とＷ画像との最大画素値の比が少なくとも２倍より小さくなるように疑似的に受光感度を向上させたＮ画像を生成することができる。撮像装置１００が、最大画素値の比を２倍以下にすることにより、残りの差は、ゲイン調整により調整できる。

なお、撮像装置１００は、Ｗ画像と、疑似的に受光感度を向上させたＮ画像との２枚の画像を別々に出力してもよいし、これらの画像をさらに合成して１枚の画像として出力してもよい。

また、レンズ群２６＿１およびレンズ群２６＿２に関連付けられるフィルムは、レンズ上に設けられてもよいし、レンズと一体に構成されてもよい。また、当該フィルタは、撮像素子２８上に設けられてもよいし、撮像素子２８と一体に構成されてもよい。

さらに、図１の例においては、複数の撮像素子が示されているが、撮像素子は、１つであってもよい。この場合、撮像素子は、各レンズを透過した光を、当該レンズの対応する領域で受けるように構成される。

（撮像装置１００の変形例）
図２を参照して、撮像装置１００の他の変形例について説明する。図２は、変形例に従う撮像装置１００の構成の概略を表した図である。

撮像装置１００に設けられるレンズの数は、３つに限定されるわけではなく、３つ以上であればよい。この場合、レンズ群２６＿１は、１つ以上のレンズで構成される。レンズ群２６＿２は、少なくとも１つ以上の残りのレンズで構成される。なお、図２に示される、レンズ群２６＿１およびレンズ群２６＿２の左上の数字「１〜１６」は、レンズの場所を示すためのインデックスである。レンズ群２６＿１は、ワイドバンドフィルタが設けられている５個のレンズＧ（すなわち、レンズ１、３、６、９、１１）で構成される。レンズ群２６＿２は、ナローバンドフィルタが設けられた１１個のレンズＮ（すなわち、レンズ２、４、５、７、８、１０、１２〜１６）で構成される。

より具体的には、レンズＧ（すなわち、レンズ１、３、６、９、１１）には、緑色透過フィルタが設けられる。撮像装置１００は、レンズＧを透過した光を撮像することで、緑色の波長帯域の情報を含む単色の画像を得ることができる。

レンズＮ（すなわち、レンズ２、４、５、７、８、１０、１２〜１６）には、撮影者が分光したいバンド幅の光を透過するフィルタ（すなわち、ナローバンドフィルタ）が設けられる。撮像装置１００は、レンズＮを透過した光を撮像することで、撮影者が所望する波長帯域の情報を含む単色の画像を得ることができる。

本変形例に従う撮像装置１００は、受光感度が低い１１枚のＮ画像を合成することで、疑似的に受光感度を上げた、明るい画像を生成することができる。これにより、撮像装置１００は、Ｗ画像と同等の画質を有するＮ画像を得ることができる。

なお、レンズが透過する光は、上記のような光（Ｇ）に限定されない。たとえば、撮像装置１００は、光（フィルタなし、：白）、光（Ｒ：赤）、光（Ｂ：青）、光（Ｃ：シアン）、光（Ｍ：マゼンダ）、光（Ｙ：イエロー）などの他の波長を有する光を透過するように構成されてもよい。

［機能構成］
図３を参照して、第１の実施の形態に従う撮像装置１００の機能構成について説明する。図３は、撮像装置１００の機能構成の一例を示すブロック図である。撮像装置１００は、後述する画像処理部２００を含む。画像処理部２００は、生成部２１０と、探索部２２０と、出力部２３０とを含む。

生成部２１０は、ナローバンドフィルタが設けられたレンズ群２６＿２から得られた画像から後述の対応点探索処理に用いられる画像（以下、「探索画像」とも称する。）を生成する。生成部２１０による探索画像の生成方法の詳細については後述する。生成部２１０は、生成した探索画像を探索部２２０に出力する。

探索部２２０は、ナローフィルタが設けられたレンズ群２６＿２からの画像群に属する１枚の画像内の各画素についての対応点を、当該画像群に属する他の画像から探索する。すなわち、探索部２２０は、Ｎ画像間の各画素について対応点を特定する。探索部２２０による対応点探索処理の詳細については後述する。探索部２２０は、得られた画像間の探索結果を出力部２３０に出力する。

出力部２３０は、ワイドバンドフィルタが設けられたレンズ群２６＿１を透過した光を撮像して得られた画像群と、ナローバンドフィルタが設けられたレンズ群２６＿２を透過した光から得られた画像群との全部または一部を用いて、被写体を表現する出力画像を生成する。典型的には、出力部２３０は、画像間の対応点探索結果を用いて複数のＮ画像を合成する。これにより、出力部２３０は、異なる視点から撮像して得られたＮ画像の位置ずれを補正する。合成方法の一例として、出力部２３０は、Ｎ画像の対応点間の輝度を足し合わせる。この結果、出力部２３０は、輝度を補った出力画像を生成することができる。出力部２３０は、合成後のＮ画像を出力画像として出力する。

［探索画像の生成方法（生成部２１０の詳細）］
以下、生成部２１０による探索画像の生成方法について説明する。上述したように、Ｎ画の各々の輝度が低いため、探索部２２０は、各Ｎ画像を直接用いて対応点探索処理を行なった場合には、誤った点を対応点として検出してしまう可能性がある。このため、生成部２１０は、疑似的に受光感度を向上させたような探索画像をＮ画像の各々から生成し、対応点探索処理の精度を改善する。

より具体的には、生成部２１０は、Ｎ画像内における各注目点の周辺の注目領域の画像情報（たとえば、輝度情報）を用いて、探索画像の各画素を構成する。すなわち、探索画像の各画素の画素値は、Ｎ画像内の対応する注目領域の画像情報から算出される。一例として、探索画像の各画素の画素値は、Ｎ画像内の対応する注目領域の画素値を加算して算出される。このように、画素値が加算されることで、探索画像は、Ｎ画像に比べて輝度が改善される。以下では、探索画像の生成方法の２つの具体例について述べる。

（探索画像の生成方法の具体例１）
図４を参照して、生成部２１０による探索画像の生成処理の具体例について説明する。図４は、探索画像の生成過程を概略的に表した概念図である。

図４には、生成部２１０がＮ画像３５から探索画像３７を生成する様子が示されている。典型的には、探索画像３７の各画素の画素値は、Ｎ画像３５内の注目領域の画素値を加算して算出される。一例として、生成部２１０は、Ｎ画像３５の注目領域３５Ａ（たとえば、３×３画素の領域）内の画素値を加算して、探索画像３７の画素３７Ａを構成する。生成部２１０は、このような処理を、Ｎ画像３５の各注目領域に対して順次行なう。このとき、生成部２１０は、各注目領域が重ならないように、注目領域のサイズごとにステップしながら、探索画像３７の各画素を構成する。

より具体的には、生成部２１０は、まず、Ｎ画像３５の左上から注目領域を設定する。図４の例においては、注目領域３５Ａが設定される。生成部２１０は、注目領域３５Ａ内の各画素値を加算することで、探索画像３７の画素３７Ａを構成する。次に、生成部２１０は、注目領域をそのサイズ分ずらす。これにより、図５の例においては、注目領域３５Ｂが設定される。生成部２１０は、注目領域３５Ｂ内の各画素値を加算することで、探索画像３７の画素３７Ｂを構成する。生成部２１０は、このような処理をＮ画像の各注目領域に対して順次行なう。

この結果、得られる探索画像３７は、Ｎ画像３５を縮小した画像となる。図４の例では、生成部２１０は、３×３画素の注目領域ごとに、探索画像３７の１画素を生成するので、Ｎ画像３５を９分の１に縮小した探索画像３７が生成される。このように、生成部２１０は、Ｎ画像３５を縮小した探索画像３７を生成することにより、Ｎ画像３５よりも輝度を改善した探索画像３７を得ることができる。すなわち、生成部２１０は、疑似的に受光感度を改善した探索画像３７を生成することができる。探索画像３７が、後述の対応点探索処理において用いられることで、対応点探索処理の精度が向上する。

なお、画素値の大きさは、通常、０〜２５５の間で表される。生成部２１０が注目領域の画素値を足し合わせた結果、探索画像の画素値が２５５を超える画素が多い場合には、画素値が２５５以内になるように調整される。たとえば、生成部２１０は、探索画像の画素値を２分の１倍にして、画素値が２５５以内になるように調整する。

また、上記では、注目領域のサイズが３×３画素である例について説明を行なったが、注目領域のサイズは任意である。たとえば、注目領域のサイズは、２×２画素であってもよいし、４×４画素以上であってもよい。さらに、注目領域の形状は、正方形である必要はなく、長方形であってもよい。また、注目領域のサイズは、探索画像の最大画素値が所定値（たとえば、１２７）を超えるように設定されてもよい。

（探索画像の生成方法の具体例２）
生成部２１０による探索画像の生成方法は、上記に限定されない。以下では、図５を参照して、探索画像の他の生成方法について説明する。図５は、探索画像の他の生成過程を概略的に表した概念図である。生成部２１０は、Ｎ画像と同じサイズの探索画像３９を生成するために、Ｎ画像の注目領域を１画素ずつずらしながら、探索画像の各画素を生成する。

より具体的には、生成部２１０は、まず、Ｎ画像３５の左上から注目領域を設定する。図５の例においては、注目領域３５Ｃが設定される。生成部２１０は、注目領域３５Ｃ内の各画素値を加算することで、探索画像３９の画素３９Ａを構成する。次に、生成部２１０は、注目領域を１画素ずらす。図５の例においては、注目領域３５Ｄが設定される。生成部２１０は、注目領域３５Ｄ内の各画素値を加算することで、探索画像３９の画素３９Ｂを構成する。生成部２１０は、このような処理をＮ画像の各注目領域に対して行なう。

これにより、生成部２１０は、Ｎ画像から疑似的に受光感度を改善した探索画像を生成することが可能になる。この結果、後述の対応点探索処理の精度が向上する。また、生成部２１０は、Ｎ画像と同じサイズの探索画像を生成することで、設計者は、縮小サイズを考慮せずに対応点探索処理を実装できるので、実装が容易になる。

なお、上述と同様に、生成部２１０は、探索画像の各画素値が２５５以内になるように、探索画像の画素値を調整する。また、上述と同様に、注目領域のサイズは、３×３画素に限定されず、任意である。

［対応点探索処理（探索部２２０）］
（技術原理）
まず、探索部２２０による対応点探索処理の理解を深めるために、図６を参照して、探索部２２０が利用する技術原理について説明する。図６は、撮像装置１００から被写体の各領域までの距離（以下、「被写体距離」とも称する。）を算出する処理を説明するための概念図である。探索部２２０は、カメラ間の視差情報を用いて、被写体距離を算出することができる。

図６には、撮像部２０Ａと、撮像部２０Ｂとが示されている。撮像部２０Ａおよび撮像部２０Ｂの視野には、被写体３１が含まれる。説明を簡単にするために、被写体から焦点までの光軸方向の距離をＺ（すなわち、被写体距離）と定義する。撮像部２０Ａおよび撮像部２０Ｂの焦点距離をｆと定義する。撮像部２０Ａと撮像部２０Ｂとの間の距離（すなわち、基線長）をＢと定義する。画像１画素当たりの長さ（すなわち、画素ピッチ（ここでは、ｍｍ））をμと定義する。撮像部２０Ａから得られた画像上の被写体３１の位置と、撮像部２０Ｂから得られた画像上の被写体３１の位置との間の画素差を（すなわち、視差）ｄと定義する。このとき、三角形の相似の関係から、以下の式（１）が成り立つ。

ここで、被写体距離Ｚ、焦点距離ｆ、基線長Ｂ、および画素ピッチμは、撮像部の特性を示すパラメータであるため既知である。このため、被写体距離Ｚおよび視差ｄのいずれか一方が分かれば、式（１）から他方を算出することができる。すなわち、被写体距離Ｚおよび視差ｄは、互いに対応する。

各撮像部は、異なる視点から被写体を撮像するため、得られた画像間において、位置ずれが生じる。探索部２２０は、各画素の被写体距離Ｚを求めることにより、画像間のズレ量（すなわち、視差ｄ）を求める。撮像装置１００は、画像間の対応点を検出することにより、各画像を合成することが可能になる。

（対応点探索処理の詳細）
図７〜図９を参照して、画像間の対応点の探索方法について説明する。図７は、探索部２２０による対応点探索処理を概略的に表した概念図である。図８は、探索部２２０による対応点探索処理の結果を表した図である。図９は、探索部２２０による対応点を決定する方法を概略的に表した概念図である。

撮像装置１００は、互いに異なる視点から被写体を撮像するため、得られた画像間においてズレ（すなわち、視差ｄ）が生じる。視差ｄは、上記式（１）からも分かるように、被写体距離Ｚによって変わる。このため、探索部２２０は、得られた画像の画素ごとに対応点の探索を行ない、画素ごとに視差を検出する。検出された視差は、Ｎ画像の合成時や、Ｗ画像の合成時に用いられる。

探索部２２０は、対応点探索処理に用いる画像として、同じ色特性を有する画像を用いる必要がある。なぜならば、探索部２２０は、色情報が異なる画像間では類似する領域を検出できないからである。

一例として、探索部２２０は、図７に示されるように、レンズＮ（すなわち、レンズ２、４、５、７、８、１０、１２〜１６）から得られた同じ色特性を有する１１枚のＮ画像の間で対応点探索を行なう。図７には、代表として、１１枚のＮ画像のうちの４枚のＮ画像（すなわち、画像４Ａ、画像７Ａ、画像１２Ａ、画像１５Ａ）が示される。

以下では、探索部２２０が、画像７Ａを基準画像にして、画像４Ａ内において対応点を探索する例について説明する。好ましくは、基準画像は、複数のレンズにおいて、より中心に設けられたレンズから得られたものを用いる。これにより、探索部２２０は、基準のレンズに対して様々な相対的方向に設けられたレンズから得られた画像を用いて対応点探索を行なうことができ、対応点の探索精度を向上させることができる。

対応点の探索範囲は、レンズの相対的な位置関係から限定され得る。すなわち、探索点は、所謂、エピポールライン上に存在するので、対応点の探索範囲は、エピポールライン上に限定される。好ましくは、対応点の探索範囲は、被写体が無限遠にある場合の画素５０に対応する画素４Ｓから、被写体が所定距離（＝Ｚｍ）にある場合の画素５０に対応する画素４Ｅまでの間（すなわち、エピポールライン４Ｂ上）にさらに限定される。これにより、探索部２２０は、対応点探索にかかる時間を短縮することができる。

探索部２２０は、画素５０から所定範囲の画像情報（たとえば、画素値などの輝度情報）をテンプレートとして、当該テンプレートに類似する画像情報を有する画素を画像４Ａ内のエピポールライン４Ｂ上で探索する。一例として、探索部２２０は、画素５０を中心とした９×９画素程度のサイズを有する領域５０Ａをテンプレートする。対応点の探索方法は、たとえば、画間の類似度を算出するＳＡＤ（Sum of Absolute Difference）によって行なう。ＳＡＤ値は、以下の式（２）により算出される。ＳＡＤ値は、式（２）から、類似度が高いほど小さくなる。

ここで、上記式（１）を変形すると下記の式（３）となる。

式（３）により、被写体距離Ｚの逆数（＝１／Ｚ）は、視差ｄ（対応点探索時の画素ずらし量）に比例する。すなわち、視差ｄは、被写体距離Ｚに対応した値である。このため、画素５０から視差ｄの位置にある画像４Ａ内の各画素のＳＡＤ値は、図８のグラフ６２に示されるように、横軸を被写体距離の逆数（＝１／Ｚ）で正規化することができる。これに着目して、探索部２２０は、画素５０の対応点を画像４Ａ内のエピポールライン４Ｂ上で探索して、被写体距離の逆数（＝１／Ｚ）の位置におけるＳＡＤ値を算出する。

同様に、探索部２２０は、画素５０の対応点を画像１２Ａ内のエピポールライン１２Ｂ上で探索する。図８のグラフ６４には、画素５０に対するエピポールライン１２Ｂ上の各点の探索結果が示される。同様に、探索部２２０は、画素５０に対する対応点を他のＮ画像内のエピポールライン上で探索する。

各エピポールライン上の各探索結果（すなわち、ＳＡＤ値）は、被写体距離の逆数で正規化されているため、足し合わせられ得る。このように、探索部２２０は、より多くの探索結果を足し合わせた結果を用いることにより、より正確に被写体距離を特定することができる。

探索部２２０は、各探索結果が足し合わされた結果であるグラフ６６においてＳＡＤ値が最小となる被写体距離Ｚから画素５０における対応点を決定する。ここで、被写体距離ＺとＳＡＤ値とで示される探索結果は、離散的な数字であるため、探索部２２０は、ＳＡＤ値が最小となる被写体距離Ｚを、近似式を用いて、より正確に検出する。

図９には、グラフ６６においてＳＡＤ値が最小となる付近の探索結果を拡大したグラフ６６Ａが示される。このとき、結果６６Ｂ〜６６ＤのＳＡＤ値は、算出済みであるが、結果６６Ｂ〜６６Ｄの間のＳＡＤ値は、未知である。探索部２２０は、結果６６Ｂ〜６６ＤのＳＡＤ値から、ＳＡＤ値が最小となる被写体距離Ｚｃを推定する。一例として、探索部２２０は、ＳＡＤ値が最小となる付近の３点のＳＡＤ値（すなわち、結果６６Ｂ〜６６Ｄ）を用いて、ＳＡＤ値を二次曲線で近似し、被写体距離Ｚｃを決定する。

探索部２２０は、上記式（１）を用いて、画像５０における被写体距離Ｚｃから、各Ｎ画像についての視差ｄを算出する。これにより、探索部２２０は、画素５０と各対応点とのずれ量を検出することができる。

探索部２２０は、画素５０に対して行った対応点探索処理を、画像７Ａ内の他の画素についても行なう。これにより、探索部２２０は、画像７Ａ内の全ての画素について対応点を探索することができる。

なお、図７および図８においては、Ｎ画像を用いて対応点探索を行なう例について説明を行なったが、対応点探索に用いられる画像は、Ｎ画像に限定されない。対応点探索に用いられる画像は、同じ色特性を有するものであればよい。たとえば、探索部２２０は、対応点探索において、Ｇ画像を用いてもよい。

また、被写体が遠方に存在する場合や、被写体が一定の位置に存在する場合など、視差が常に一定になるような場合には、探索部２２０による対応点探索処理は、必ずしも実行されなくともよい。

さらに、探索部２２０は、図７および図８においては、対応点の探索方法として、ＳＡＤを用いたが、代わりに、ＮＣＣ（Normalized Cross Correlation）を用いてもよい。画像間の類似度を示すＮＣＣ値は、以下の式（４）を用いて算出される。

（対応点探索処理の変形例）
図１０および図１１を参照して、探索部２２０による対応点探索処理の変形例について説明する。図１０は、変形例に従う対応点探索処理を概略的に表した概念図である。図１１は、変形例に従う対応点探索処理の結果を表した図である。

上記の図７〜図９の例においては、探索部２２０がＮ画像のみを用いて対応点探索処理を行なう例について説明を行なったが、本変形例に従う探索部２２０は、Ｗ画像をさらに用いて対応点探索処理を行う。すなわち、探索部２２０は、Ｗ画像間での対応点探索結果と、上記で説明したＮ画像間での対応点探索結果との両方を考慮して、対応点の探索を行なう。探索部２２０は、対応点探索処理に用いる画像の種類を増やすことにより、対応点探索処理の精度をさらに向上することができる。

以下では、画像７Ａを基準画像にして、レンズ１から得られた画像１Ａ、およびレンズ３から得られた画像３Ａの間で対応点探索処理について説明する。ここで、画像７Ａは、Ｎ画像である。画像１Ａおよび画像３Ａは、緑色の波長領域の光を撮像して得られた画像（以下、「Ｇ画像」とも称する。）である。Ｎ画像である画像７Ａと、Ｇ画像である画像１Ａ（あるいは、画像３Ａ）とは、同じ色情報を有さないため、探索部２２０は、直接的に、これらの画像を用いて対応点探索を行なうことができない。このため、探索部２２０は、画像７Ａの各画素の対応点を、同じ色情報を有する画像１Ａと画像３Ａとを用いて間接的に探索する。

一例として、画像７Ａ内の画素５０の対応点を探索する方法について説明する。式（１）にも示されるように、被写体距離Ｚと視差ｄ（ズレ量）とは対応するため、探索部２２０は、画素５０における被写体距離を検出することができれば、画素５０の対応点も検出できる。

このため、探索部２２０は、画素５０における被写体距離Ｚを逐次ずらして、その被写体距離Ｚから算出された画像１Ａ内の位置と画像３Ａ内の位置との画像情報を比較する。探索部２２０は、これらの画像情報が類似する場合の被写体距離を、画素５０の被写体距離として決定することができる。

より具体的には、まず、探索部２２０は、画素５０における被写体距離Ｚを無限遠と仮定した場合の画素５０に対応する画素を画像１Ａ内において特定する。図１０では、画素１Ｓが特定される。同様に、探索部２２０は、画素５０における被写体距離Ｚを無限遠と仮定した場合の画素５０に対応する画素を画像３Ａ内において特定する。図１０では、画素３Ｓが特定される。探索部２２０は、画素１Ｓと画素３Ｓとの周辺領域におけるＳＡＤ値を算出する。

その後、探索部２２０は、被写体距離Ｚをずらして、被写体距離Ｚから特定される画像１Ａと画像３Ａとの対応画素のＳＡＤ値を順次算出する。画像１Ａの画素１Ｅと、画像３Ａの画素３Ｅとは、画素５０における被写体距離がＺｍであると仮定した場合に特定された画素である。最終的に、探索部２２０は、画素１Ｅと画素３Ｅとの周辺領域におけるＳＡＤ値を算出する。

このように、探索部２２０は、被写体距離Ｚを無限遠から所定距離Ｚｍに順次ずらして上記の処理を繰り返す。画像１Ａと画像３Ａとの間における探索結果が、図１１のグラフ６７として示される。

探索部２２０は、Ｗ画像の組み合わせの分だけ上記の処理を行なう。図１０に示される例においては、５枚のＧ画像が得られるため、探索部２２０は、これらのＧ画像の組み合わせである１０ペア分（＝_５Ｃ_２）の探索結果を得ることができる。これらの探索結果は、被写体距離の逆数（＝１／Ｚ）で正規化されているため、Ｇ画像間の探索結果と、Ｎ画像間の探索結果とは、全て足し合わせることができる。

探索部２２０は、各探索結果が足し合わされた結果であるグラフ６６においてＳＡＤ値が最小となる被写体距離を画素５０における被写体距離として決定する。被写体距離Ｚの決定方法については図９に示される方法と同じであるので説明を繰り返さない。探索部２２０は、画素５０における被写体距離Ｚを検出することで、式（１）から視差ｄ（ズレ量）についても算出することができる。これにより、探索部２２０は、画素５０の対応点を各Ｎ画像および各Ｇ画像について特定することができる。

［画像の生成方法（出力部２３０の詳細）］
図１２を参照して、Ｎ画像を合成して出力画像を生成する方法について説明する。図１２は、出力部２３０による出力画像の生成処理を概略的に表した概念図である。

画像の各画素の対応点は、探索部２２０により特定されるため、出力部２３０は、各レンズから得られた画像を任意に合成することができる。出力部２３０は、出力画像の各画素の画素値を、複数のＮ画像のそれぞれの対応する画素値から合成する。このように、出力部２３０は、複数のＮ画像を合成することで、Ｎ画像とＷ画像との輝度差を小さくする。図１２には、レンズ７から得られた画像７Ａ（Ｎ画像）と、レンズ２から得られた画像２Ａ（Ｎ画像）とを合成する例が示される。

出力部２３０は、Ｎ画像の合成方法として、Ｎ画像の対応点間の画素値を加算する。これにより、出力部２３０は、疑似的に受光感度を上げたような出力画像を得ることができる。なお、出力部２３０は、画素値が２５５を超えないように、出力画像の画素値を調整する。また、対応点間のズレ量が、小数である場合には、出力部２３０は、対応点の周囲の画素値をバイリニア補間で補って合成してもよい。

さらに、上記では、出力部２３０がＮ画像を合成する例について説明したが、出力部２３０は、出力画像として、Ｎ画像を合成した画像と、Ｗ画像（たとえば、Ｇ画像）を合成した画像との２枚の画像を出力してもよい。これにより、撮影者は、明るさが類似する２枚の画像を比較することができる。

また、出力部２３０は、出力画像として、Ｎ画像およびＷ画像の全てを合成した１枚の出力画像を出力してもよい。これにより、撮影者は、所望する波長領域に反応する物体が、被写体のいずれの場所に位置するのかを容易に確認することが可能になる。

［レンズ数の決定方法］
ワイドバンドフィルタが設けられるレンズの数と、ナローバンドフィルタが設けられるレンズの数との比が考慮されると、撮像装置１００は、Ｎ画像とＷ画像との画質の差を、より小さくすることができる。これを実現するために、各レンズ群のレンズ数は、Ｎ画像とＷ画像との画素値の差が小さくなるように決定される。言い方を変えると、各レンズ群のレンズ数は、各レンズ群を透過する光量の差が小さくなるように決定される。

各レンズ群のレンズ数の決定方法は、様々な方法が考えられる。以下では、各レンズ群のレンズ数の決定方法の具体例について順に説明を行なう。

（レンズの決定方法の具体例１）
図１３を参照して、各レンズ群のレンズ数の決定方法の具体例について説明する。図１３は、レンズに設けられるフィルタが透過する光の波長と透過率との関係を示した図である。

画像の画質は、一因として、レンズに設けられるフィルタが透過する光のバンド幅と、光の透過率とによって決まる。すなわち、透過する光のバンド幅が広いほど、出力される画像の輝度が高くなる。また、光の透過率が高いほど、出力される画像の輝度が高くなる。このため、各レンズ群に設けられるレンズ数は、レンズに設けられるフィルタの光透過特性によって決定される。

より具体的には、図１３（Ａ）に示されるように、撮像装置１００は、光の波長で透過率を積分した値（以下、「積分値」とも称する。）を、各レンズについて算出する。図１３（Ａ）には、ワイドバンドフィルタが設けられたレンズに対する積分値４１と、ナローバンドフィルタが設けられたレンズに対する積分値４３とが示される。ワイドバンドフィルタが設けられるレンズ群２６＿１のレンズ数と、ナローバンドフィルタが設けられるレンズ群２６＿２のレンズ数との比は、積分値４１と積分値４３との逆比で決定される。これにより、レンズ群２６＿１の各レンズの積分値の合計値と、レンズ群２６＿２の各レンズの積分値の合計値とが同じになる。

このように、各レンズ群のレンズが、レンズに設けられるフィルタが透過する光のバンド幅と、光の透過率とに基づいて決定されることにより、Ｗ画像とＮ画像との画質の差がさらに小さくなる。

（レンズの決定方法の具体例２）
なお、各レンズ群のレンズ数の決定方法は上記に限定されない。レンズ群２６＿１およびレンズ群２６＿２には、関連付けられるフィルタの光透過特性の半値幅が長いほど、多くのレンズが設けられてもよい。より具体的には、図１３（Ｂ）に示されるように、ワイドバンドフィルタが設けられるレンズ群２６＿１のレンズ数と、ナローバンドフィルタが設けられるレンズ群２６＿２のレンズ数との比は、半値幅４７と半値幅４９との逆比で決定される。これにより、レンズ群２６＿１の各レンズの半値幅の合計値と、レンズ群２６＿２の各レンズの半値幅の合計値とが同じになる。この結果、撮像装置１００は、Ｗ画像とＮ画像との画質の差を小さくすることができる。

（レンズの決定方法の具体例３）
図１４を参照して、各レンズ群のレンズ数のさらに他の決定方法について説明する。図１４は、具体例３に従う各レンズ群のレンズ数の決定方法を概略的に示した図である。

図１４に示されるように、各レンズ群のレンズ数は、撮像装置１００の撮像素子（たとえば、モノクロセンサ）の感度を考慮した上で決定されてもよい。この場合、撮像装置１００は、フィルタの光透過特性５１に、撮像素子の光透過特性５３を掛け合わせて、撮像装置１００の光透過特性５５を算出する。撮像装置１００は、各レンズ群のレンズ数を、光透過特性５５を基にして、上記の具体例１のように積分値を用いて決定したり、上記の具体例２のような半値幅を用いて決定したりする。このように、撮像素子の感度が考慮されることで、撮像装置１００は、Ｗ画像とＮ画像との画質の差をさらに小さくすることができる。

（レンズの決定方法の具体例４）
図１５を参照して、各レンズ群のレンズ数のさらに他の決定方法について説明する。図１５は、具体例４に従う各レンズ群のレンズ数の決定方法を概略的に示した図である。

図１５に示されるように、光源の特性が既知である場合には、各レンズ群のレンズ数は、光源の特性を考慮した上で決定されてもよい。この場合、撮像装置１００は、フィルタの光透過特性５１と、撮像素子の光透過特性５３と、光源の光透過特性５７とを掛け合わせて、撮像装置１００の光透過特性５９を算出する。撮像装置１００は、各レンズ群のレンズ数を、光透過特性５９を基にして、上記の具体例１のように積分値を用いて決定したり、上記の具体例２のような半値幅を用いて決定したりする。このように、光源の特性が考慮されることで、撮像装置１００は、Ｗ画像とＮ画像との画質の差をさらに小さくすることができる。

［フローチャート］
図１６を参照して、撮像装置１００の処理手順について説明する。図１６は、撮像装置１００が実行する処理の一部を表わすフローチャートである。図１６の処理は、後述するＣＰＵ１０２がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、後述の画像処理回路１０６、回路素子、その他のハードウェアによって実行されてもよい。

ステップＳ５１０において、ＣＰＵ１０２は、レンズ１〜１６（図２参照）のそれぞれを得られた光を撮像することで１６枚の画像を取得する。なお、ＣＰＵ１０２は、レンズ１〜１６の全てから画像を得る必要はなく、レンズ１〜１６の一部のレンズから画像を得てもよい。

ステップＳ５２０において、ＣＰＵ１０２は、生成部２１０として、Ｎ画像の各々について、対応点探索処理に用いられる探索画像を生成する。ＣＰＵ１０２は、探索画像の各画素の画素値を、Ｎ画像の所定領域内の画像情報から算出する。典型的には、ＣＰＵ１０２は、探索画像の各画素の画素値を、Ｎ画像の所定領域の画素値を加算して算出する。

ステップＳ５３０において、ＣＰＵ１０２は、探索部２２０として、ナローバンドフィルタが設けられたレンズ群２６＿２から得られたＮ画像間の対応点を探索する。なお、ＣＰＵ１０２は、上述したように、Ｎ画像の他にＧ画像をさらに用いて探索対応点探索処理を行なってもよい。

ステップＳ５４０において、ＣＰＵ１０２は、出力部２３０として、Ｎ画像とＷ画像との全部または一部を用いて、被写体を表現する出力画像を出力する。典型的には、ＣＰＵ１０２は、探索部２２０による対応点の探索結果を用いて、Ｎ画像の対応点間の画素値を加算することにより出力画像を出力する。

［ハードウェア構成］
図１７を参照して、本実施の形態に従う撮像装置１００のハードウェア構成の一例について説明する。図１７は、撮像装置１００の主要なハードウェア構成を示すブロック図である。

撮像装置１００は、撮像部２０と、画像出力部４５と、画像処理部２００とを含む。図１７に示す撮像装置１００においては、撮像部２０が被写体を撮像することで画像を取得し、取得した画像に対して前述の画像処理を行なうことで、出力画像（たとえば、Ｎ画像の合成画像やＧ画像の合成画像）を生成する。画像出力部４５は、出力画像を表示デバイスなどへ出力する。

撮像部２０は、被写体を撮像して画像を生成する。撮像部２０は、カメラ２２、カメラ２２に接続されたＡ／Ｄ（Analog to Digital）変換部２９とを含む。

カメラ２２は、被写体を撮像するための光学系であって、アレイカメラである。カメラ２２は、所定の波長帯域の光を透過するフィルタ２４と、格子状に配置された視点の異なるＮ個のレンズ２６と、レンズ２６により形成された光学像を電気信号に変換する撮像素子（イメージセンサ）２８とを含む。

Ａ／Ｄ変換部２９は、撮像素子２８から出力される被写体を示す電気信号（アナログ電気信号）をデジタル信号に変換して出力する。撮像部２０はさらに、カメラ各部分を制御するための制御処理回路などを含み得る。

画像処理部２００は、撮像部２０によって取得された画像に対して、前述の画像処理を実施することで出力画像を生成する。画像出力部４５は、画像処理部２００によって生成される出力画像を表示デバイスなどへ出力する。

［撮像装置１００の実装例１］
図１７に示す撮像装置１００は、汎用的には、以下に説明するデジタルカメラ、ビデオカメラなどとして具現化される。そこで、以下では、本実施の形態に従う撮像装置１００をデジタルカメラとして具現化した例について説明する。

図１８は、図１７に示す撮像装置１００を具現化したデジタルカメラ１００Ａの構成を示すブロック図である。図１８において、図１７に示す撮像装置１００を構成するそれぞれのブロックに対応するコンポーネントには、図１７と同一の参照符号を付している。

図１８を参照して、デジタルカメラ１００Ａは、ＣＰＵ（Central Processing Unit）１０２と、デジタル処理回路１０４と、画像表示部１０８と、カードインターフェイス（Ｉ／Ｆ）１１０と、記憶部１１２と、カメラ１１４とを含む。

ＣＰＵ１０２は、予め格納されたプログラムなどを実行することで、デジタルカメラ１００Ａの全体を制御する。デジタル処理回路１０４は、本実施の形態に従う画像処理を含む各種のデジタル処理を実行する。デジタル処理回路１０４は、典型的には、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＬＳＩ（Large Scale Integration）、ＦＰＧＡ（Field-Programmable Gate Array）などによって構成される。このデジタル処理回路１０４は、図１７に示す画像処理部２００が提供する機能を実現するための画像処理回路１０６を含む。

画像表示部１０８は、カメラ１１４により提供される入力画像、デジタル処理回路１０４（画像処理回路１０６）によって生成される出力画像、デジタルカメラ１００Ａに従う各種設定情報、および、制御用ＧＵＩ（Graphical User Interface）画面などを表示する。

カードＩ／Ｆ１１０は、画像処理回路１０６によって生成された画像データを記憶部１１２へ書き込み、あるいは、記憶部１１２から画像データなどを読み出すためのインターフェイスである。記憶部１１２は、画像処理回路１０６によって生成された画像データや各種情報（デジタルカメラ１００Ａの制御パラメータなどの設定値）を格納する記憶デバイスである。記憶部１１２は、フラッシュメモリ、光学ディスク、磁気ディスクなどからなり、データを不揮発的に記憶する。

図１８に示すデジタルカメラ１００Ａは、本実施の形態に従う撮像装置１００の全体を単体の装置として実装したものである。すなわち、ユーザは、デジタルカメラ１００Ａを用いて被写体を撮像することで、画像表示部１０８において高画質な画像を視認することができる。

なお、上記では、撮像装置１００をデジタルカメラ１００Ａとして具現化する例について説明を行なったが、撮像装置１００は、図１７に示される構成と同様の構成でビデオカメラとして具現化されてもよい。

［撮像装置１００の実装例２］
図１９を参照して、本実施の形態に従う撮像装置１００を実現するための制御プログラム１５４を電子機器１００Ｂにダウンロードした例について説明する。図１９は、制御プログラム１５４をダウンロードした電子機器１００Ｂの構成を示すブロック図である。制御プログラム１５４は、たとえば、ＰＣ、携帯電話、スマートフォンなどにダウンロードされ得る。以下では、制御プログラム１５４をＰＣ１５２にダウンロードした例について説明する。

図１９に示す電子機器１００Ｂでは、任意の撮像部２０によって取得された入力画像が外部から入力される構成となっている。このような構成であっても、本発明の実施の形態に従う撮像装置１００に含まれ得る。なお、図１９においても、図１７に示す撮像装置１００を構成するそれぞれのブロックに対応するコンポーネントには、図１７と同一の参照符号を付している。

図１９を参照して、電子機器１００Ｂは、ＰＣ１５２と、モニタ１５６と、マウス１５８と、キーボード１６０と、外部記憶装置１６２とを含む。

ＰＣ１５２は、典型的には、汎用的なアーキテクチャーに従う汎用コンピューターであり、基本的な構成要素として、ＣＰＵ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを含む。ＰＣ１５２は、画像処理部２００が提供する機能を実現するための制御プログラム１５４をダウンロード可能に構成される。制御プログラム１５４は、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などの記憶媒体に格納されて流通し、あるいは、ネットワークを介してサーバー装置からダウンロードされる。制御プログラム１５４は、ＰＣ１５２のハードディスクなどの記憶領域内に格納される。

制御プログラム１５４は、ＰＣ１５２で実行されるオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち必要なモジュールを、所定のタイミングおよび順序で呼出して処理を実現するように構成されてもよい。この場合、制御プログラム１５４自体には、ＯＳが提供するモジュールは含まれず、ＯＳと協働して画像処理が実現される。また、制御プログラム１５４は、単体のプログラムではなく、何らかのプログラムの一部に組込まれて提供されてもよい。このような場合にも、制御プログラム１５４自体には、当該何らかのプログラムにおいて共通に利用されるようなモジュールは含まれず、当該何らかのプログラムと協働して画像処理が実現される。このような一部のモジュールを含まない制御プログラム１５４であっても、本実施の形態に従う撮像装置１００の趣旨を逸脱するものではない。

もちろん、制御プログラム１５４によって提供される機能の一部または全部を専用のハードウェアによって実現してもよい。

モニタ１５６は、オペレーティングシステム（ＯＳ）が提供するＧＵＩ画面、制御プログラム１５４によって生成される画像などを表示する。

マウス１５８およびキーボード１６０は、それぞれユーザ操作を受付け、その受付けたユーザ操作の内容をＰＣ１５２へ出力する。

外部記憶装置１６２は、何らかの方法で取得された入力画像を格納しており、この入力画像をＰＣ１５２へ出力する。外部記憶装置１６２としては、フラッシュメモリ、光学ディスク、磁気ディスクなどのデータを不揮発的に記憶するデバイスが用いられる。

［利点］
以上のようにして、本実施の形態に従う撮像装置１００は、ナローバンドフィルタが設けられるレンズが、ワイドバンドフィルタが設けられるレンズよりも多く設けられることで、Ｎ画像とＷ画像との画質の差を小さくすることができる。また、撮像装置１００は、Ｎ画像の対応点間の画素値を合成して出力画像を生成することで、Ｎ画像の感度不足を補うことができる。さらに、撮像装置１００は、敢えて、ワイドバンドフィルタに減光フィルタなどを設けてＷ画像の画質を劣化させて、Ｗ画像の画質をＮ画像の画質に合わせる必要がない。このため、撮像装置１００は、高画質な出力画像を得ることができる。

＜第２の実施の形態＞
［概要］
本実施の形態に従う撮像装置１００にＤは、１つのナローバンドフィルタだけでなく、透過する波長帯域が異なる複数のナローバンドフィルタが設けられる。これにより、撮像装置１００Ｄは、互いに異なる特定の狭い波長領域の光に反応する複数の物体を撮影することを実現する。さらに、本実施の形態に従う撮像装置１００Ｄには、緑色の波長帯域の光を透過するフィルタだけでなく、青色の波長帯域の光を透過するフィルタと、赤色の波長帯域の光を透過するフィルタとがさらに設けられる。これにより、撮影者は、検出したい物体が被写体のいずれの場所に位置するのかをカラー画像上で確認することが可能になる。ハードウェア構成などのその他の点については第１の実施の形態に従う撮像装置１００と同じであるので説明を繰り返さない。

以下では、図２０を参照して、第２の実施の形態に従う撮像装置１００Ｄの構成について説明する。図２０は、撮像装置１００Ｄの主要な構成を概略的に表わした図である。

撮像装置１００Ｄは、撮像部２０を含む。一例として、撮像部２０は、アレイカメラである。撮像部２０は、所定数のレンズからなるレンズ群２６＿１と、レンズ群２６＿１のレンズ数よりも多いレンズ数からなるレンズ群２６＿２とを有する。

レンズ群２６＿１は、ワイドバンドフィルタが設けられている４個のレンズ（すなわち、レンズ３、６、８、１４）で構成される。より具体的には、レンズＧ（すなわち、レンズ６、８）には、緑色透過フィルタが設けられる。撮像装置１００Ｄは、レンズＧを透過した光を撮像することで、緑色の波長帯域の情報を含む単色の画像（以下、「Ｇ画像」とも称する。）を得ることができる。

レンズＲ（すなわち、レンズ３）には、赤色透過フィルタが設けられる。撮像装置１００Ｄは、レンズＲを透過した光を撮像することで、赤色の波長帯域の情報を含む単色の画像（以下、「Ｒ画像」とも称する。）を得ることができる。

レンズＢ（すなわち、レンズ１４）には、青色透過フィルタが設けられる。撮像装置１００Ｄは、レンズＢを透過した光を撮像することで、青色の波長帯域の情報を含む単色の画像（以下、「Ｂ」とも称する。）を得ることができる。

レンズ群２６＿２は、ナローバンドフィルタが設けられた１２個のレンズ（すなわち、レンズ１、２、４、５、７、９〜１３、１５、１６）で構成される。本実施の形態に従う撮像部２０には、透過する光の波長が互いに異なる複数のナローバンドフィルタが設けられる。より具体的には、レンズＮ１（すなわち、レンズ１、７、９、１１、１３、１６）には、波長が６５０ｎｍ付近の光を透過するフィルタが設けられる。レンズＮ２（すなわち、レンズ２、４、５、１０、１２、１５）には、波長が７００ｎｍ付近の光を透過するフィルタが設けられる。

［対応点探索処理（探索部２２０の詳細）］
図２１を参照して、第２の実施の形態に従う撮像装置１００Ｄの対応点探索処理について説明する。図２１は、撮像装置１００Ｄに含まれる探索部２２０による対応点探索処理を概略的に表した概念図である。

本実施の形態に従う対応点探索処理は、対応点を探索する対象となる画像のペアが上記とは異なる。対応点探索処理の具体的な方法など、その他の点については、図７〜図１２と同様であるため説明を繰り返さない。

撮像装置１００Ｄは、対応点探索処理に用いる画像のペアの数を、より多くするために、同じ色情報を有する画像のペアを可能な限り多く作る。撮像装置１００Ｄは、より多くの種類の画像を用いて対応点探索処理を行うことで、対応点探索処理の精度を向上することができる。

図２１には、レンズ７から得られた画像を基準画像として、基準画像と他の画像との対応点探索を行なう例について示される。探索部２２０は、基準画像と、レンズＮ１から得られた画像とのペアで対応点探索処理を行なう。この場合、これらの画像のペア数は、全部で５ペアとなる。これにより、探索部２２０は、全部で５個の探索結果を得ることができる。

さらに、探索部２２０は、レンズＮ２から得られた画像の組み合わせの分だけ対応点探索処理を行なう。この場合、これらの画像のペア数は、全部で１５ペアとなる。これにより、探索部２２０は、全部で１５個の探索結果を得ることができる。

さらに、探索部２２０は、ワイドバンドフィルタが設けられた、同じ色情報を有する画像間で対応点の探索処理を行なう。図２１に示される例においては、探索部２２０は、レンズＧから得られた画像間の対応点探索処理を行なう。この場合、これらの画像のペア数は全部で１ペアとなる。これにより、探索部２２０は、全部で１個の探索結果を得ることができる。

探索部２２０は、図１１に示されるように、得られた２１個（＝５＋１５＋１）の探索結果の全てを足し合わせることにより、基準画像の各画素についての被写体距離をより正確に算出することができる。この結果、探索部２２０は、基準画像の各画素に対する対応点を、より正確に特定することができる。したがって、撮像装置１００Ｄは、画像の合成精度が向上し、より高画質な画像を得ることが可能になる。

［利点］
以上のようにして、本実施の形態に従う撮像装置１００Ｄは、異なる波長帯域を透過する複数のナローバンドフィルタが設けられることにより、特定の狭い領域の光に反応する複数の物体を撮影することができる。また、撮像装置１００Ｄは、Ｒ画像とＧ画像とＢ画像とを合成することによりカラー画像を生成することができる。被写体がカラー画像で表現されるので、撮影者は、検出したい物体が被写体のいずれの場所に位置するのかをさらに容易に確認することが可能になる。

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。

１〜１６，２６，２６＿１Ａ，２６＿１Ｂ，２６＿２Ａ，２６＿２Ｂ レンズ、１Ａ〜１６Ａ 画像、１Ｂ〜１６Ｂ エピポールライン、２０，２０Ａ，２０Ｂ 撮像部、２２，１１４ カメラ、２４ フィルタ、２６＿１，２６＿２ レンズ群、２８ 撮像素子、２９ 変換部、３１ 被写体、３５Ａ〜３５Ｄ 注目領域、３７，３９ 探索画像、４１，４３ 積分値、４５ 画像出力部、４７，４９ 半値幅、５０Ａ 領域、５１，５３，５５，５７，５９ 光透過特性、６２，６４，６６，６６Ａ，６７ グラフ、６６Ｂ，６６Ｄ 結果、１００，１００Ｄ 撮像装置、１００Ａ デジタルカメラ、１００Ｂ 電子機器、１０４ デジタル処理回路、１０６ 画像処理回路、１０８ 画像表示部、１１２ 記憶部、１５４ 制御プログラム、１５６ モニタ、１５８ マウス、１６０ キーボード、１６２ 外部記憶装置、２００ 画像処理部、２１０ 生成部、２２０ 探索部、２３０ 出力部。

Claims (10)

1. 互いに異なる視点から被写体をそれぞれ撮像するための撮像部を備え、
   前記撮像部は、所定数のレンズからなる第１のレンズ群と、前記第１のレンズ群のレンズ数よりも多いレンズからなる第２のレンズ群とを含み、
   前記第１のレンズ群には、第１のバンド幅の光を透過するフィルタが関連付けられており、
   前記第２のレンズ群には、前記第１のバンド幅よりも狭い第２のバンド幅の光を透過するフィルタが関連付けられており、
   前記第１のレンズ群を透過した光から得られた第１の画像群と、前記第２のレンズ群を透過した光から得られた第２の画像群との全部または一部を用いて、前記被写体を表現する出力画像を出力するための出力部を備える、撮像装置。
   撮像装置。
2. 前記出力部は、前記出力画像の各画素の画素値を、前記第２の画像群に属する複数の画像のそれぞれの対応する画素値から合成する、請求項１に記載の撮像装置。
3. 前記撮像装置は、前記第２の画像群に属する１枚の画像内の各画素の対応点を、前記第２の画像群に属する他の画像から探索するための探索部を備え、
   前記出力部は、前記探索部の対応点の探索結果を用いて前記出力画像を出力する、請求項２に記載の撮像装置。
4. 前記出力部は、前記第２の画像群に属する画像の対応点間の画素値を加算することにより前記出力画像を出力する、請求項２に記載の撮像装置。
5. 前記撮像装置は、前記第２の画像群に属する画像の各々について、前記探索部の探索処理に用いられる探索画像を生成するための生成部をさらに備え、
   前記探索画像の各画素の画素値は、前記第２の画像群の対応する画像内の所定領域の画像情報から算出される、請求項３に記載の撮像装置。
6. 前記探索画像の各画素の画素値は、前記第２の画像群の対応する画像内の所定領域の画素値を加算して算出される、請求項５に記載の撮像装置。
7. 前記生成部は、前記第２の画像群の対応する画像を縮小することにより前記探索画像を生成する、請求項５または６に記載の撮像装置。
8. 前記第１のレンズ群および前記第２のレンズ群には、関連付けられるフィルタの光透過特性の半値幅が長いほど、多くのレンズが設けられる、請求項１〜７のいずれか１項に記載の撮像装置。
9. 撮像装置を制御するための制御方法であって、
   前記撮像装置は、互いに異なる視点から被写体をそれぞれ撮像するための撮像部を備え、
   前記撮像部は、所定数のレンズからなる第１のレンズ群と、前記第１のレンズ群のレンズ数よりも多いレンズからなる第２のレンズ群とを含み、
   前記第１のレンズ群には、第１のバンド幅の光を透過するフィルタが関連付けられており、
   前記第２のレンズ群には、前記第１のバンド幅よりも狭い第２のバンド幅の光を透過するフィルタが関連付けられており、
   前記制御方法は、
   前記第１のレンズ群を透過した光から得られた第１の画像群と、前記第２のレンズ群を透過した光から得られた第２の画像群との全部または一部を用いて、前記被写体を表現する出力画像を出力するステップを含む、制御方法。
10. 撮像装置を制御するための制御プログラムであって、
    前記撮像装置は、互いに異なる視点から被写体をそれぞれ撮像するための撮像部を備え、
    前記撮像部は、所定数のレンズからなる第１のレンズ群と、前記第１のレンズ群のレンズ数よりも多いレンズからなる第２のレンズ群とを含み、
    前記第１のレンズ群には、第１のバンド幅の光を透過するフィルタが関連付けられており、
    前記第２のレンズ群には、前記第１のバンド幅よりも狭い第２のバンド幅の光を透過するフィルタが関連付けられており、
    前記制御プログラムは、撮像装置に、
    前記第１のレンズ群を透過した光から得られた第１の画像群と、前記第２のレンズ群を透過した光から得られた第２の画像群との全部または一部を用いて、前記被写体を表現する出力画像を出力するステップを実行させる、制御プログラム。