JP2014057181A - 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム - Google Patents

Abstract

【課題】視差画像を合成して得られた画像のノイズを効果的に低減する画像処理装置を提供する。
【解決手段】入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能な画像処理装置であって、入力画像の撮影条件情報を記憶する記憶部と、撮影条件情報を用いて入力画像から出力画像を生成する画像処理部とを有し、画像処理部は、結像光学系と複数の画素を有する撮像素子とを介して、複数の視点から被写体空間の情報を取得した画像である入力画像を取得し、被写体空間の同一領域の情報を取得した入力画像の画素群の平均画素値を算出して画素群のそれぞれの画素値を平均画素値で置換し、平均画素値で置換された画素群の画素が互いにずれるように合成して出力画像を生成する。
【選択図】図１４

Description

本発明は、入力画像の再構成を行うことによりピント位置の異なる複数の出力画像を生成可能な画像処理装置に関する。

近年、撮像素子で取得されたデータに対して演算を行い、それに応じたデジタル画像処理を行うことで様々な画像の出力を行う撮像装置が提案されている。非特許文献１、２には、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」を用いて、被写体空間の光の２次元強度分布と光線の角度情報、すなわち視差情報を同時に取得する撮像装置が開示されている。光の２次元強度分布と光線の角度情報は、合わせてライトフィールドと呼ばれ、ライトフィールドを取得することで被写体空間の３次元的な情報を得ることができる。取得したライトフィールドを用いて画像の再構成処理を行うことにより、リフォーカスと呼ばれる画像のピント位置の変更、撮影視点の変更、被写界深度の調整などが可能となる。

一方、表示デバイスの進歩に伴い、撮像装置の更なる高画質化も要求されている。高画質化のためには、画像のノイズを低減することが重要である。特許文献１には、複数の撮像光学系を介して取得した画像を合成することにより、ノイズを低減する方法が開示されている。

特開平６−８６３３２号公報

Ｒｅｎ Ｎｇ，ｅｔ ａｌ．，"Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ"，２００５ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＴＳＲ Ｔｏｄｏｒ Ｇｅｏｒｇｉｅｖ，ｅｔ ａｌ．，"Ｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎ ｗｉｔｈ Ｐｌｅｎｏｐｔｉｃ ２．０ Ｃａｍｅｒａ"，２００９ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ

しかしながら、特許文献１に開示されているノイズ低減方法では、同一の被写体を撮像している画素を単純に合成している。このとき、ノイズがポワソン分布に従うとすると、Ｎ個の画素が合成されることで、平均化によりノイズはＮ^−１／２倍まで低減される。しかし、表示デバイスの進歩によって、画像には更なる高画質化が望まれており、特許文献1に開示されているノイズ低減方法では不十分である。

そこで本発明は、視差画像を合成して得られた画像のノイズを効果的に低減させる画像処理装置、撮像装置、画像処理方法、および、画像処理プログラムを提供する。

本発明の一側面としての画像処理装置は、入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能な画像処理装置であって、前記入力画像の撮影条件情報を記憶する記憶部と、前記撮影条件情報を用いて前記入力画像から前記出力画像を生成する画像処理部とを有し、前記画像処理部は、結像光学系と複数の画素を有する撮像素子とを介して、複数の視点から被写体空間の情報を取得した画像である前記入力画像を取得し、前記被写体空間の同一領域の情報を取得した前記入力画像の画素群の平均画素値を算出し、該画素群のそれぞれの画素値を該平均画素値で置換し、前記平均画素値で置換された画素群の画素が互いにずれるように合成して前記出力画像を生成する。

本発明の他の側面としての撮像装置は、入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能な撮像装置であって、結像光学系と、複数の画素を備えた撮像素子と、被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるレンズアレイと、前記撮像素子で取得された前記入力画像から前記出力画像を生成する画像処理部とを有し、前記画像処理部は、前記結像光学系、前記撮像素子、および、前記レンズアレイを介して、複数の視点から被写体空間の情報を取得した画像である前記入力画像を取得し、前記被写体空間の同一領域の情報を取得した前記入力画像の画素群の平均画素値を算出し、該画素群のそれぞれの画素値を該平均画素値で置換し、前記平均画素値で置換された画素群の画素が互いにずれるように合成して前記出力画像を生成する。

本発明の他の側面としての撮像装置は、入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能な撮像装置であって、正の屈折力を有する複数の光学系を備えた結像光学系と、複数の画素を備えた少なくとも１つの撮像素子と、前記撮像素子で取得された前記入力画像から前記出力画像を生成する画像処理部とを有し、前記結像光学系の瞳を、前記複数の光学系の瞳を合成した瞳であるとしたとき、前記複数の光学系は、被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるように配列されており、前記画像処理部は、前記結像光学系および前記撮像素子を介して、複数の視点から被写体空間の情報を取得した画像である前記入力画像を取得し、前記被写体空間の同一領域の情報を取得した前記入力画像の画素群の平均画素値を算出し、該画素群のそれぞれの画素値を該平均画素値で置換し、前記平均画素値で置換された画素群の画素が互いにずれるように合成して前記出力画像を生成する。

本発明の他の側面としての画像処理方法は、入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能な画像処理方法であって、結像光学系と複数の画素を有する撮像素子とを介して複数の視点から被写体空間の情報を取得した画像である前記入力画像を取得するステップと、前記被写体空間の同一領域の情報を取得した前記入力画像の画素群の平均画素値を算出し、該画素群のそれぞれの画素値を該平均画素値で置換するステップと、前記平均画素値で置換された画素群の画素が互いにずれるように合成して前記出力画像を生成するステップとを有する。

本発明の他の側面としての画像処理プログラムは、入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能な画像処理プログラムであって、結像光学系と複数の画素を有する撮像素子とを介して複数の視点から被写体空間の情報を取得した画像である前記入力画像を取得するステップと、前記被写体空間の同一領域の情報を取得した前記入力画像の画素群の平均画素値を算出し、該画素群のそれぞれの画素値を該平均画素値で置換するステップと、前記平均画素値で置換された画素群の画素が互いにずれるように合成して前記出力画像を生成するステップとを情報処理装置に実行させるように構成されている。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、視差画像を合成して得られた画像のノイズを効果的に低減する画像処理方法を提供することができる。

実施例１における撮像光学系の概略構成図である。 実施例２における撮像光学系の概略構成図である。 実施例２における撮像光学系の概略構成図である。 実施例３における撮像光学系の概略構成図である。 実施例１における撮像装置のブロック図である。 実施例１における撮像光学系の断面図である。 実施例１におけるリフォーカス画像生成に関する説明図である。 実施例１におけるリフォーカス範囲の説明図である。 実施例１における撮像光学系と物体距離との関係図である。 実施例１における撮像素子とレンズアレイとの関係図である。 実施例１における撮影シーンの一例を示す図である。 実施例１における視差画像の一例を示す図である。 実施例１におけるリフォーカス画像の一例を示す図である。 実施例１における画像処理方法のフローチャートである。 実施例２における画像処理システムのブロック図である。 実施例２における撮像光学系の断面図である。 実施例２におけるリフォーカス画像生成に関する説明図である。 実施例２におけるリフォーカス範囲の説明図である。 実施例３における撮像装置のブロック図である。 実施例３における撮像光学系の概略構成図である。 実施例３における光学系の断面図である。 実施例３におけるリフォーカス画像生成に関する説明図である。 実施例３におけるリフォーカス範囲の説明図である。 実施例２、３における画像処理方法のフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

本実施例の画像処理方法は、入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能である。この入力画像は、被写体空間を異なる視点から撮影し、ライトフィールドを取得した画像（視差画像）であり、以下のような撮像装置で取得される。すなわち撮像装置は、正の屈折力を有する光学系を複数配列するか、結像光学系の像側にレンズアレイを配置することで、ライトフィールドを取得可能に構成されている。

図１乃至図４は、このような撮像装置を構成する撮像光学系の例である。撮像光学系とは、結像光学系および撮像素子を備えて構成されており、レンズアレイが設けられている場合にはレンズアレイを含めて撮像光学系を構成する。また、他のライトフィールドの取得方法として、被写体空間の光の２次元強度分布を取得する撮像装置を用いて、撮像装置の位置を変化させながら複数回撮影を行う方法が考えられる。この場合、ライトフィールド（視差画像）は、互いに異なる時間における被写体空間を撮像して取得される。このため、被写体空間に移動物体が存在する場合、正しい情報（視差情報）を得ることができない。したがって、撮像光学系は、図１乃至図４に示されるように、視差画像（複数の視差画像）を同時に取得可能な構成であることが望ましい。

図１乃至図４中に示される被写体面２０１の上には、人物や物体が必ずしも存在していなくてよい。これは、再構成処理によって、被写体面２０１よりも奥または手前に存在する人物や物体に対して、撮影後でもピントを合わせることができるためである。また、以下の各実施例の説明は、簡単のために１次元系を用いて行うが、２次元系に関しても同様の議論が成り立つ。

まず、図５を参照して、本発明の実施例１における撮像装置の構成について説明する。図５は、本実施例における撮像装置のブロック図である。本実施例の画像処理方法は、撮像装置の画像処理部１０５により実行される。

撮像素子１０３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの２次元撮像素子であり、複数の画素を備える。結像光学系１０１（主レンズ群）及びレンズアレイ１０２を介して撮像素子１０３に入射した光線のエネルギーは電気信号（アナログ信号）となり、Ａ／Ｄコンバータ１０４でデジタル信号へ変換される。このデジタル信号は、画像処理部１０５にて所定の処理が行われ、半導体メモリなどの画像記録媒体１１０に所定のフォーマットで保存される。この際、同時に状態検知部１０８から得られた撮像装置の撮像条件情報も保存される。撮影条件情報とは、撮影距離や絞り、ズームレンズにおける焦点距離などである。状態検知部１０８は、システムコントローラ１１１から撮影条件情報を直接得てもよいし、撮像光学系に関する情報に関しては光学系制御部１０７から得ることもできる。

画像記録媒体１１０に保存された画像を表示部１０６に表示する際には、画像処理部１０５で撮影条件情報に基づいた再構成処理が施される。その結果、表示部１０６には所望の視点、ピント位置や被写界深度に再構成された画像が表示される。また高速化のため、所望の画像設定（視点、ピント、被写界深度など）を予め記憶部１０９に保存し、画像記録媒体１１０を介さずに再構成画像を表示部１０６に直接表示させてもよい。さらに、画像記録媒体１１０に記録する画像は、再構成後の画像でもよい。以上の一連の制御は、システムコントローラ１１１により行われ、撮像光学系の機械的な駆動はシステムコントローラ１１１の指示によって光学系制御部１０７で行われる。

次に、図１および図６を参照して、本実施例における撮像光学系の構成について説明する。図１は、撮像光学系の概略構成図である。図６は、撮像光学系の断面図である。撮像光学系は、結像光学系１０１、レンズアレイ１０２、および、撮像素子１０３を備えて構成される。本実施例において、レンズアレイ１０２は、複数のレンズ（小レンズ）を用いて構成され、小レンズは固体レンズで構成されている。ただし本実施例はこれに限定されるものではなく、液体レンズ、液晶レンズ、または、回折光学素子などを用いてレンズアレイ１０２を構成してもよい。レンズアレイ１０２を構成する小レンズは、両側の面が凸形状を有している。ただし本実施例はこれに限定されるものではなく、一方側の面が平面で他方側の面が凸形状を有していてもよい。

レンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面に配置されている。またレンズアレイ１０２は、結像光学系１０１の射出瞳と撮像素子１０３とが略共役関係となるように構成されている。被写体面２０１上の同一位置からの光線は、結像光学系１０１及びレンズアレイ１０２を通過した後、この光線の被写体面２０１上での位置と角度に応じて、撮像素子１０３の互いに異なる画素へ入射し、ライトフィールドが取得される。ここでレンズアレイ１０２は、被写体面２０１上の異なる位置を通過した光線が、同一の画素へ入射するのを防ぐように機能する。その結果、撮像素子１０３において、被写体面２０１上の同一の領域を複数の視点から撮影した画素群が並んだ画像が取得される。図１に示される構成では、被写体面２０１上の同一の位置を３つの画素（２次元では９画素）が撮像している。このため本実施例の撮像光学系は、光の２次元強度分布のみを取得する撮像光学系に対して、２次元的な空間解像度が１／９に低下する。これは、被写体面２０１上の同一の位置を撮像する画素の数が変化しても、定性的に同じである。

また、レンズアレイ１０２を構成する小レンズの像側（撮像素子１０３側）の面は、凸形状を有することが望ましい。これにより、レンズアレイ１０２の非点収差を低減し、撮像素子１０３上で得られる画像が鮮鋭になる。逆に、像側の面が凸形状でない場合、非点収差が大きくなり、各小レンズにより形成される画像の周辺部がぼけてしまう。この画像のぼけた部分を再構成処理に用いると、鮮鋭な再構成画像が得られない。また、小レンズの物体側（結像光学系１０１側）の面は、平面または凸形状を有することがより望ましい。これにより、小レンズの曲率が緩まって収差が低減され、画像の鮮鋭さを更に向上させることができる。

続いて、本実施例におけるリフォーカス処理について説明する。リフォーカス処理に関しては、「Ｆｏｕｒｉｅｒ Ｓｌｉｃｅ Ｐｈｏｔｏｇｒａｐｈｙ」（Ｒｅｎ Ｎｇ著、２００５ ＡＣＭ Ｔｒａｎｓ． Ｇｒａｐｈ．２４，７３５−７４４参照）にて詳述されているため、ここでは簡単に説明する。図７を参照して、リフォーカス画像を生成する方法の一例について説明する。図７（ａ）、（ｂ）は、図１に示される撮像光学系において、レンズアレイ１０２と撮像素子１０３の部分を詳細に示した図である。図７（ａ）、（ｂ）中の一点鎖線は、各画素の中心と、この画素に対応した小レンズの像側主点を通過する光線の経路を延長したものである。仮想結像面２０３は、リフォーカスによりピントを合わせようとする物体側の面に対する結像光学系１０１の像側共役面である。ただし本実施例において、像側共役面がレンズアレイ１０２の物体側主平面よりも像側に位置した場合、像側共役面をレンズアレイ１０２の主平面間隔だけ像側へ移動した面が仮想結像面２０３となる。撮像素子１０３で得られた画素値を、一点鎖線に沿って仮想結像面２０３へ平行移動させて合成することで、所望のピント位置でのリフォーカス画像を生成することができる。

例えば、図１中の被写体面２０１にピントの合った画像を生成するには、図７（ｂ）に示されるように、被写体面２０１と結像光学系１０１を介して共役な面、すなわちレンズアレイ１０２の主平面（像側主平面）に仮想結像面２０３を設定すればよい。図７（ａ）、（ｂ）において、リフォーカス画像生成の際の平行移動した画素は、破線で表され、分りやすくするために重ねずにずらして描画している。図７（ａ）、（ｂ）に示されるように、任意のリフォーカス画像を生成する際、画素に入射した光束が通過した結像光学系１０１の瞳領域が同じである場合、それらの画素は平行移動量が同じであることが分かる。したがって、リフォーカス画像生成時の画素の操作は、画素に入射する光束が通過した結像光学系１０１の瞳領域に応じて決定される。

次に、リフォーカスが可能な範囲に関して説明する。結像光学系１０１の開口径は有限であるため、撮像素子１０３で得られるライトフィールドの角度成分、すなわち視差情報も有限である。したがって、リフォーカスが可能な範囲は、有限の範囲に限定される。ここで、光の２次元強度分布をライトフィールドの空間成分と呼ぶ。このとき、リフォーカス範囲は、空間成分のサンプリングピッチΔｙおよび角度成分のサンプリングピッチΔｕにより決定され、その係数α_±は以下の式（１）のように与えられる。

式（１）を用いて表される像側のリフォーカス範囲α_＋ｓ_２〜α₋ｓ_２と、結像光学系１０１に対して共役な範囲が、物体側のリフォーカス範囲となる。ここでｓ_２は、結像光学系１０１の像側主平面と被写体面２０１に対する結像光学系１０１の像側共役面との間隔である。

図８は、リフォーカス範囲の説明図である。図８に示される構成例では、レンズアレイ１０２の１次元的な周期が３画素となっているため、空間成分のサンプリングピッチΔｙは、撮像素子１０３の画素ピッチの３倍となる。角度成分のサンプリングピッチΔｕは、結像光学系１０１の射出瞳が３分割（２次元では９分割）されているため、射出瞳径の１／３となる。式（１）で表されるリフォーカス範囲を超えると、取得したライトフィールドでは情報が不足し、正しいリフォーカス画像を生成することができない。式（１）は、撮像素子１０３の画素ピッチΔが結像光学系１０１の射出瞳距離Ｐに対して十分小さいことから、次の式（２）のように近似できる。

ここで、結像光学系１０１の射出瞳距離Ｐとは、結像光学系１０１の射出瞳面と被写体面２０１に対する結像光学系１０１の像側共役面との間の距離である。また、Ｎは結像光学系１０１の瞳の１次元分割数、Ｆは結像光学系１０１のＦ値、Δ_ＬＡはレンズアレイ１０２のピッチである。図７の一点鎖線に沿って、ある小レンズに対応した画素群を平行移動させると、式（２）の最大リフォーカス量を超えたところで、各画素の間隔がΔｙより大きくなり、情報が欠落した領域が生じる。この場合、正しいリフォーカス画像を生成することができない。

次に、本実施例におけるノイズ低減処理（画像処理方法）に関して説明する。まず、従来の再構成方法によるノイズ低減効果について述べる。理解を容易にするため、図１の構成で結像光学系１０１の１次元瞳分割数を２とし、図９に示される構成の場合について考える。図９は、本実施例における撮像光学系と物体距離との関係図である。ただし、以下の議論はこれに限定されるものではない。

図１０は、図９の撮像素子１０３とレンズアレイ１０２（のピッチ）との関係図である。図１０において、実線で示される四角形は、撮像素子１０３の画素を表す。また、最も接近した２つの円（隣接する２つの円）の中心の間隔は、レンズアレイ１０２のピッチを表す。ここで、破線で示される円は、１つの小レンズを通過した光線が入射する領域を表す。この領域は、図１０において円形状で示されているが、結像光学系１０１の瞳形状に応じて変化する。図９の構成では、瞳分割数が２次元的には４であるため、図１０に示されるように１つの小レンズに対応する画素数は４となる。このとき、それぞれの円の中心に対して同一位置にある画素のみを抽出すると、同一のある視点から撮像した画像が得られる。また図１０において、破線で描かれた円の外側の領域は、光線が入射しない領域であり、不感帯と呼ばれる。

ここで、図９の構成において、図１１に示されるような被写体空間を撮影した場合を考える。図１１は、本実施例における撮影シーンの一例を示す図である。図１１に示される被写体空間では、被写体面２０１上に被写体Ａが位置し、その背後に離れて被写体Ｂ、さらに離れて被写体Ｃがそれぞれ位置している。図１１中の一点鎖線は、撮像装置１０の水平方向の画角を表す。

図１２は、本実施例における視差画像の一例を示す図であり、撮像素子１０３で取得された画像から各視点に対応した画素を抽出した画像を示している。図１２（ａ）〜（ｄ）は、４分割された結像光学系１０１の瞳のそれぞれの領域から被写体空間を見た画像である。ここで、各視点の画像は１８×１２画素で構成されているが、画素数はこれに限定されるものではない。図９からも分かるように、被写体面２０１上の物点は、視点に依存せずレンズアレイ１０２の同一位置に結像するため、視差は発生しない。このため、被写体Ａは図１２（ａ）〜（ｄ）の同一位置に撮像される。一方、異なる物体距離に存在する被写体Ｂには視差が発生する。このため、図１２（ａ）〜（ｄ）に示されるように、被写体Ｂは、各々ずれた位置に撮像される。

図１３は、本実施例におけるリフォーカス画像の一例を示す図である。図１２（ａ）〜（ｄ）の画像を被写体Ａが完全に重なるように合成すると、図１３（ａ）に示されるように、被写体面２０１にピントの合ったリフォーカス画像が生成される。このとき、被写体面２０１以外に位置する被写体は、ずれて合成されるため、図１３（ａ）の被写体Ｂのようにボケる。このボケの大きさは、結像光学系１０１のＦ値に対応する。図１３（ａ）に示されるリフォーカス画像の生成方法は、図７（ｂ）に対応している。

図１３（ａ）に示される被写体Ａは、４枚の画像が合成されたものである。このため、画像のノイズ成分がポワソン分布に従うと仮定すると、ノイズは平均化により１／２程度に低減される。また、被写体Ｂはボケる、すなわち解像度が低下するためにノイズが低減される。解像度が低下するということは、画像の画素のピッチよりも大きなピッチでサンプリングすることに相当する。例えば、画素ピッチΔの画像をピッチ２Δでサンプリングすると、解像度は低下するが、ノイズは１／２に低減する。被写体Ｂなどのリフォーカスによってボケる領域は、これに対応するノイズ低減が行われている。これにより、図１３（ａ）の合成画像は、図１２（ａ）〜（ｄ）に示される画像よりもノイズが低減される。このノイズ低減効果は、被写体面２０１以外にリフォーカスした画像でも同様に得られる。例えば、被写体Ｂが重なるように図１２（ａ）〜（ｄ）を合成すると、図１３（ｂ）に示されるような画像が得られる。この際、被写体Ｂのノイズは平均化によって１／２程度に低減し、被写体Ａはボケる（解像度が低下する）ためにノイズが低減する。

次に、本実施例におけるノイズ低減処理について説明する。ここで、被写体空間に存在する物体の表面は均等拡散面であると仮定する。図１２（ａ）〜（ｄ）の破線で囲われた領域の画素は、各々、被写体空間の同一領域を撮像している。被写体Ａのエッジ部分は、視差を有する背景の影響を受けている可能性があるため除外している。ただし、その影響が小さい場合には、エッジ部分を含めた領域としてもよい。

ここで被写体は均等拡散面であるから、それぞれの画素の信号値はノイズ成分を除くと同一の値を有する。例えば、図１２（ａ）〜（ｄ）において斜線の入った４画素は、被写体空間の同一領域を撮像しているため、ノイズを除けば同一の信号値を有する。このため、これら４画素の平均画素値を求め、平均画素値で元の斜線部の画素値を置換する。これを破線で覆われた全ての画素に対して行うことで、図１２（ａ）〜（ｄ）の破線で覆われた領域のノイズ成分が１／２程度に低減される。

ここで平均画素値は、各画素値を同じ重みで平均した値でもよいし、異なる重みで算出した値でもよい。後者の場合、まず均等な重みで平均画素値を算出し、元の画素値の中で平均画素値に近い画素の重みを大きくする方法などが考えられる。次に、破線部のノイズが低減した図１２（ａ）〜（ｄ）の画像を合成して、出力画像を生成する。この際、破線部が完全に重なるように視差画像を合成する、すなわち被写体面２０１にリフォーカスすると、結果的に従来の再構成と同じになり、それ以上のノイズ低減効果は得られない。しかし、被写体面２０１以外にリフォーカスした画像を生成すると、平均画素値に置換してノイズの低減された画素が、更に異なる画素値を有する画素と合成されるため、更にノイズが低減される。これにより、例えば図１３（ｂ）に示されるような被写体Ｂにリフォーカスした画像において、ボケた被写体Ａ付近のノイズは、従来の再構成方法を用いる場合よりも低減される。従来のリフォーカス処理において、リフォーカスでピントの合う領域は、ノイズ成分のみ異なる複数の画素が平均化されることでノイズが低減される。次に、リフォーカスによってボケる領域は、この領域の解像度がそれぞれの視差画像に比べて低下するために、ノイズが低減される。しかし、本実施例のノイズ低減方法は、リフォーカスでボケる領域に対して、従来のリフォーカス処理に加えて平均画素値による置換を行っている。すなわち、この領域に対して、解像度の低下に加え、ノイズのみ異なる画素の平均化も行っているため、更なるノイズ低減効果が得られる。

ここまでの説明は、簡単のため、平均画素値に置換する画素を、被写体面２０１を撮像している画素に限定して行った。ただし、被写体空間の同一領域を撮像している画素であれば、被写体空間の異なる距離を撮像している画素でも構わない。図９は、画素１０３１〜１０３４を、レンズアレイ１０２および結像光学系１０１を介して被写体空間へ投影した図である。図９から、物体距離２０４ａでは画素１０３１および画素１０３４が同一領域を撮像していることが分かる。同様に、物体距離２０４ｂでは、画素１０３２および画素１０３３が同一領域を撮像している。

このような物体距離に存在する被写体が撮像されている場合、その被写体を撮像している画素はノイズを除いて同じ信号値である。このため、平均画素値を算出して置換することで、前述と同様のノイズ低減効果が得られる。このとき、同一の平均画素値に置換した画素が完全に重なるように合成されると、前述のとおり、更なるノイズ低減効果が得られない。このため、視差画像の合成は、同一の平均画素値で置換された画素が一致しないように行うことにより、常に、従来方法に比べてノイズ低減効果を向上させることができる。

更に望ましくは、合成される画素の互いのずれ量が画素ピッチの非整数倍になるようにする。これは、視差画像を互いにサブピクセルの単位でずらして合成することに相当する。これにより、ノイズ低減効果に加えて、画素ずらし超解像による高解像度化を図ることができる。

図１の構成の場合、被写体面２０１では常に同一領域を撮像している画素が存在している。一方、図２〜図４の構成では、同一領域を撮像している画素は必ずしも存在しない。ただし、図２〜図４の構成でも同様に、画素を被写体空間へ投影することで、同一領域を撮像している画素とその物体距離を求めることができる。

また、平均画素値で置換する画素は、必ずしも完全に同一領域を撮像している必要はない。被写空間の光強度分布は、被写体のエッジ部を除けば連続的に分布している。すなわち、画素の撮像している領域が、エッジ部を除いて略一致していれば、それらの画素値はノイズを除いて略同一であるとみなすことができる。例えば、被写体空間へ投影した２つの画素が、投影画素の面積の半分以上重なり合っていれば、略同一の領域を撮像した画素と考えてよい。このため、２つの画素が被写体のエッジ部を撮像していない場合、平均画素値を算出して画素値を置換してもよい。

次に、図１４を参照して、入力画像から出力画像を生成する画像処理方法について説明する。図１４は、入力画像から出力画像を生成する画像処理方法のフローチャートである。図１４において、ステップＳ１０２、Ｓ１０３が置換工程に相当し、ステップＳ１０６が合成工程に相当する。なお、図１４中の各ステップは、システムコントローラ１１１の指令に基づいて画像処理部１０５により行われる。

まずステップＳ１０１において、画像処理部１０５は、図６に示される撮像光学系を介して得られた（撮影された）入力画像を取得する。入力画像に含まれるライトフィールドの保存方法は、撮像光学系の構成に応じて変化するが、本実施例では被写体面２０１上の同一の領域を複数の視点から撮影した画素群が並んだ画像となっている。また入力画像は、画像記録媒体１１０に保存された同様の撮像光学系で撮影された画像であってもよい。

続いてステップＳ１０２において、画像処理部１０５は、入力画像から被写体空間の同一領域を撮像している画素を抽出する。このような画素抽出は、例えば、以下の方法を用いて行われる。入力画像に記録された撮像装置の構成から、図９に示されるように画素を被写体空間へ投影した際、異なる画素が重なり合う物体距離とその重なり合う画素を算出することができる。また、入力画像の視差情報から被写体空間の距離を算出することができる。このため、これらを合わせることで、入力画像のうち抽出すべき画素を求めることができる。この他に、まず各視点の画像を生成し、ブロックマッチング法などを用いて各画像の対応点を求め、対応する画素の画素値の差が所定の閾値以下であれば、同一領域を撮像しているものとして、その画素を抽出する方法などがある。

次に、ステップＳ１０３において、画像処理部１０５は、抽出画素の平均画素値を算出し、各抽出画素の画素値を平均画素値で置換する。続いてステップＳ１０４において、画像処理部１０５は、出力画像の条件を指定する。ここで、出力画像の条件とは、出力画像のピント位置、ボケの大きさ、視点、明るさ、画像サイズなどであるが、これらに限定されるものではない。また、複数の条件のうち、ユーザは所定の条件のみを指定し、残りの条件は規定値を予め設定しておき、その規定値を用いてもよい。

次にステップＳ１０５において、画像処理部１０５は、指定された条件で出力画像を生成した際に、同一の平均画素値で置換された画素（画素群）が互いに一致した状態で合成されないか否か、すなわち置換画素が互いにずれるように合成されるか否かを判定する。置換画素が一致しない場合、すなわち置換画素がずれて合成される場合、平均画素値の置換によるノイズ低減効果が得られるため、ステップＳ１０６へ進む。一方、置換画素が一致する場合、ステップＳ１０７へ進む。この判定方法としては、例えば、撮像光学系の構成に関する情報から、同一の平均画素値に置換された画素が合成時に一致する条件を算出し、指定された条件と比較する方法などがある。また、事前に一致するための条件を算出しておき、ステップＳ１０４でその条件が指定できないようにしてもよい。この場合、ステップＳ１０５、Ｓ１０７は不要である。

ステップＳ１０５にて置換画素が一致しない場合、ステップＳ１０６において、画像処理部１０５は、視差画像（入力画像）を合成して、出力画像を生成する。視差画像の合成の際には、前述のとおり、結像光学系１０１の同一の瞳領域を通過した光束が入射する撮像素子１０３の画素に対応する、入力画像の画素に対して、同一の操作（平行移動など）を行う。この際、被写体空間の距離情報を用いて、各視差画像の画素を異なる重みで合成してもよい。各画素に対して適切な重みを設定することにより、エイリアシングが低減され、高画質な出力画像を得ることができる。

ステップＳ１０５にて置換画素が一致する場合、ステップＳ１０７において、画像処理部１０５は、平均画素値の置換によるノイズ低減効果を得るために、出力画像の条件を変更する。このとき、ステップＳ１０４で指定された出力画像の条件から大きく変更すると、出力画像が指定条件から大きく乖離してしまう。このため、ステップＳ１０４で指定されたピント位置を第１ピント位置とし、生成する出力画像のピント位置を第２ピント位置とする場合、第１ピント位置と第２ピント位置との差が結像光学系１０１の焦点深度の範囲内であることが望ましい。すなわち、画像処理部１０５は、第１ピント位置が指定された際、第１ピント位置との差が結像光学系１０１の焦点深度の範囲内である第２ピント位置にピントの合った出力画像を生成することが望ましい。これにより、出力画像はユーザの指定した出力画像の条件に近くなる。

結像光学系１０１の焦点深度は、許容錯乱円の直径をε、結像光学系１０１のＦ値をＦとした場合、近似的に±Ｆεと表される。ここで、直径εは撮像装置に必要とされる性能に応じて決定される値である。直径εの決定方法として、焦点深度内における点像の広がりとピント位置での点像の広がりとの差が、ユーザに感知できない範囲に設定する方法などがある。例えば、撮像素子１０３の画素ピッチの５倍程度などで与えられる。また、第１ピント位置において、同一の平均画素値で置換された画素が合成時に一致しない場合には、第１ピント位置と第２ピント位置とは互いに等しくなくてもよい。

また、必要に応じて、他のノイズ低減処理を併用してもよい。例えば、隣接画素の画素値の変化量が微小である場合、その微小量をノイズとして除去するコアリング処理、または、バイラテラルフィルタ、メディアンフィルタなどを用いることができる。これらのノイズ低減処理は、各視点の画像に対して行うことができ、または、合成後の出力画像に対して行ってもよい。

このように、画像処理部１０５は、結像光学系１０１と複数の画素を有する撮像素子１０３とを介して、複数の視点から被写体空間の情報を取得した画像である入力画像を取得する（ステップＳ１０１）。また画像処理部１０５は、被写体空間の同一領域の情報を取得した入力画像（撮像素子１０３）の画素群の平均画素値を算出し、画素群のそれぞれの画素値を平均画素値で置換する（ステップＳ１０２、Ｓ１０３）。そして画像処理部１０５は、平均画素値で置換された画素群の画素が互いにずれるように合成して出力画像を生成する（ステップＳ１０６）。

本実施例によれば、視差画像を合成して得られた画像のノイズを効果的に低減する画像処理装置、撮像装置、画像処理方法、および、画像処理プログラムを提供することができる。

次に、本発明の実施例２について説明する。本実施例は、上述の画像処理方法を行う画像処理装置（画像処理システム）について説明する。図１５は、本実施例における画像処理システムのブロック図である。図１５に示されるように、画像処理システムは撮像装置３０１を備えている。撮像装置３０１は、図２の構成を備えた撮像光学系を有する。図２のレンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面２０２と撮像素子１０３とが共役となるように配置されている。

画像処理装置３０２は、前述の画像再構成を行うコンピュータ機器（情報処理装置）である。画像処理装置３０２は、撮像装置３０１で取得された入力画像の撮影条件情報（撮像光学系の構成に関する情報、入力画像の距離情報など）を記憶する記憶部３０７を備える。記憶部３０７に記憶された撮影条件情報は、出力画像の生成（置換工程、合成工程）に用いられる。画像処理装置３０２は、入力画像に対してノイズ低減処理および所定の再構成処理を行い、その処理結果（出力画像）を出力機器３０５、表示機器３０４、記録媒体３０３のいずれか又は複数に出力する。このように、画像処理装置３０２は、撮影条件情報を用いて入力画像から出力画像を生成する画像処理部である。

記録媒体３０３は、例えば、半導体メモリ、ハードディスク、ネットワーク上のサーバーなどである。表示機器３０４は、例えば液晶ディスプレイやプロジェクタなどである。出力機器３０５は、例えばプリンタである。画像処理装置３０２には表示機器３０４が接続され、再構成された画像が表示機器３０４へ入力される。ユーザは、表示機器３０４を介して再構成された画像を確認しながら作業を行うことができる。画像処理ソフトウェア３０６（画像処理プログラム）は、前述のノイズ低減処理および再構成処理（画像処理方法）を行うとともに、必要に応じて現像処理やその他の画像処理を行う。

ただし、本実施例はこれに限定されるものではない。例えば、本実施例の機能を有する画像処理ソフトウェア３０６（画像処理プログラム）がネットワークまたはＣＤ−ＲＯＭなどの各種の記憶媒体３０８を介して画像処理装置３０２などに提供（インストール）されるものであってもよい。このとき画像処理装置３０２は、インストールされた画像処理プログラムを読み出して、本実施例の画像処理を、画像処理装置３０２内のＣＰＵやＭＰＵなどのコンピュータ（情報処理装置）に実行させる。

図１６は、本実施例における撮像光学系の断面図である。図１６において、結像光学系１０１はズームレンズである。レンズアレイ１０２を構成する小レンズは、物体側の面が平面で像側の面が凸形状であり、結像光学系１０１が形成した像を虚物体として見ることで撮像素子１０３に像を結像する。結像光学系１０１は、物体側から順に、正の屈折力を有する第１レンズ群Ｌ１、正の屈折力を有する第２レンズ群Ｌ２、負の屈折力を有する第３レンズ群Ｌ３、正の屈折力を有する第４レンズ群Ｌ４、及び、正の屈折力を有する第５レンズ群Ｌ５で構成されている。変倍の際には、第１レンズ群Ｌ１および第５レンズ群Ｌ５が固定され、第２レンズ群Ｌ２、第３レンズ群Ｌ３、および、第４レンズ群Ｌ４が光軸上を移動する。

レンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面に配置されている。また、レンズアレイ１０２は、結像光学系１０１の射出瞳と撮像素子１０３とが互いに概ね共役関係となるように構成されている。ここで、概ね共役関係とは、厳密な共役関係だけでなく実質的に共役関係と評価される関係（略共役関係）を含む意味である。被写体面２０１からの光線は、結像光学系１０１およびレンズアレイ１０２を介することで、光線の被写体面２０１上における位置と角度に応じて、撮像素子１０３の互いに異なる複数の画素へ入射する。このような構成により、ライトフィールドが取得される。図２および図３の構成では、撮像素子１０３により、撮影視点と撮影範囲の異なる複数の小画像が並んだ画像を取得することができる。

図３の撮像光学系の構成は、レンズアレイ１０２が像側共役面２０２より像側へ配置されていることを除けば、図２に示される撮像光学系の構成と同様である。図２の構成との違いは、レンズアレイ１０２が結像光学系１０１の形成した像を実物体として見て、撮像素子１０３へ再結像させることである。しかし、図２と図３に示される撮像光学系の構成は、いずれも、結像光学系１０１の結んだ像をレンズアレイ１０２が物体として見て、その像を撮像素子１０３へ結像しているため、本質的には同じである。したがって、以下の議論は図３の構成に関しても同様に成り立つ。

次に、図１７（ａ）、（ｂ）を参照して、本実施例におけるリフォーカス画像の生成方法について説明する。図１７（ａ）、（ｂ）は、図２に示される撮像光学系の構成において、レンズアレイ１０２と撮像素子１０３の部分の詳細図である。本実施例において、レンズアレイ１０２は、物体側の面が平面で、像側の面が凸形状の小レンズによって構成されている。ただし実施例１と同様に、レンズアレイ１０２の形状はこれに限定されるものではない。

図１７（ａ）、（ｂ）中の一点鎖線は、各小レンズの画角を示す。撮像素子１０３で得られた画素値を、画素に対応する小レンズを介して仮想結像面２０３へ投影して合成することで、仮想結像面２０３にピントの合ったリフォーカス画像を生成することができる。例えば、図２中の被写体面２０１にピントの合った画像を生成するには、像側共役面２０２に仮想結像面２０３を設定すればよい。図１７（ａ）、（ｂ）において、リフォーカス画像生成の際に投影した画素は、破線で表され、分りやすくするために重ねずにずらして描画している。リフォーカス画像の生成は、前述した画素を投影する生成方法と、同様の画素の重なりとなるように、各画素を平行移動させて合成する方法でもよい。このとき、画素に入射した光束が通過したレンズアレイ１０２の領域が等しい場合、それらの画素の平行移動量は同じになる。以上のとおり、本実施例におけるリフォーカス画像生成時の画素の操作は、画素に入射する光束が通過したレンズアレイ１０２の領域に応じて決定される。

続いて、リフォーカス可能な範囲について説明する。本実施例における撮像光学系のリフォーカス範囲も、実施例１と同様に式（１）で表される。その関係は、図１８に示されるとおりである。図１８は、本実施例におけるリフォーカス範囲の説明図である。本実施例の撮像光学系において、Δｙ＝Δ｜σ_１／σ_２｜が成立する。これは、結像光学系１０１が形成した像を、レンズアレイ１０２が虚物体として見ることで、撮像素子１０３へ｜σ_２／σ_１｜倍で縮小結像するためである。ここで、σ_１は像側共役面２０２とレンズアレイ１０２の物体側主平面との間の距離（間隔）、σ_２はレンズアレイ１０２の像側主平面と撮像素子１０３との間の距離（間隔）である。σ_１は、像側共役面２０２がレンズアレイ１０２の物体側主平面より物体側にある場合に正の値をとり、像側にある場合に負の値をとる。また、Δｕ＝Ｐ／（ＮＦ）であるため、Δ≪Ｐより、式（１）は以下の式（３）のように書き換えられる。

ここで、Δは撮像素子１０３の画素ピッチである。実施例１と同様に式（３）の範囲を超えた場合、正しいリフォーカス画像が生成できなくなる。

次に、図２４を参照して、本実施例における入力画像から出力画像を生成する画像処理方法について説明する。図２４は、本実施例における入力画像から出力画像を生成する画像処理方法のフローチャートである。図２４に関し、図１４と同様の箇所についての説明は省略する。図２４中の各ステップは、画像処理装置３０２により行われる。

まず、ステップＳ２０１において、画像処理装置３０２は、撮像装置３０１（撮像素子１０３）から、撮影視点と撮影範囲の異なる複数の小画像が並んだ画像を入力画像として取得する。続いてステップＳ２０２において、画像処理装置３０２は、入力画像から被写体空間の同一領域を撮像している画素を抽出する。その抽出方法としては、実施例１で説明した方法のほか、撮像装置３０１に記録された同一領域を撮像している画素の情報を読み込む方法を用いてもよい。また、撮像装置３０１に被写体空間の距離情報が記録されている場合、この距離情報を読み込んで用いてもよい。続くステップＳ２０３、Ｓ２０４は、図１４中のステップＳ１０３、Ｓ１０４とそれぞれ同様である。

次に、ステップＳ２０５において、画像処理装置３０２は、指定された条件で出力画像を生成した場合に、合成画素のずれ量（画素ずれ）が画素ピッチの非整数倍であるか否かについて判定する。ここで、出力画像の生成方法は、入力画像に記録されている撮像装置３０１の構成に基づいて決定される。撮像装置３０１が図１に示される撮像光学系を有する場合、実施例１で説明したリフォーカス画像の生成方法などが用いられる。本実施例において、撮像装置３０１は図２に示される撮像光学系を有する。このため、図１７に示されるリフォーカス画像の生成方法などが用いられる。

ここで、図１７（ａ）に示されるように、画素ずれ量が投影画素のピッチの非整数倍である場合、ステップＳ２０６へ進む。一方、図１７（ｂ）に示されるように、画素ずれ量が投影画素のピッチの整数倍である場合、ステップＳ２０７へ進む。この判定方法としては、実施例１で説明した方法に加えて、撮像装置３０１に記録された合成画素が重なる条件を読み取って判定する方法を用いてもよい。

ステップＳ２０５にて画素ずれが画素ピッチの非整数倍である場合、ステップＳ２０６において、画像処理装置３０２は視差画像を合成して出力画像を生成する。視差画像の合成の際には、前述のとおり、レンズアレイ１０２の同一領域を通過した光束が入射した撮像素子１０３の画素に対応する、入力画像の画素に対して、同一の操作を行う。

このように、画像処理装置３０２は、結像光学系１０１と複数の画素を有する撮像素子１０３とを介して、複数の視点から被写体空間の情報を取得した画像である入力画像を取得する（ステップＳ２０１）。また画像処理装置３０２は、被写体空間の同一領域の情報を取得した入力画像（撮像素子１０３）の画素群の平均画素値を算出し、画素群のそれぞれの画素値を平均画素値で置換する（ステップＳ２０２、Ｓ２０３）。そして画像処理装置３０２は、平均画素値で置換された画素群の画素のずれ量が画素の非整数倍となるように合成して出力画像を生成する（ステップＳ２０６）。

本実施例によれば、視差画像を合成して得られた画像のノイズを効果的に低減するとともに、画素ずらし超解像による高解像度化が可能な画像処理装置、撮像装置、画像処理方法、および、画像処理プログラムを提供することができる。

次に、本発明の実施例３について説明する。図１９は、本実施例における撮像装置のブロック図である。図１９は、本実施例における撮像光学系の概略構成図であり、物体側から結像光学系１０１を見た図である。図１９において、不図示の被写体空間からの光線は、結像光学系１０１に入射する。結像光学系１０１は、図１９のように正の屈折力を有する複数の光学系１０１ａ〜１０１ｇを備えて構成されている。結像光学系１０１は、光学系１０１ｂの光軸を回転軸とした場合、六回対称性を有した構成をしている。しかし、結像光学系１０１の構成はこれに限定されるものではなく、光学系の個数や配列は適宜変更可能である。光学系１０１ａ〜１０１ｇの像側には、それぞれ撮像素子１０３ａ〜１０３ｇが配列されている。ただし、本実施例では複数の撮像素子１０３ａ〜１０３ｇを備えることは必須でなく、光学系１０１ａ〜１０１ｇにより形成される像を受光できる場合には単数の撮像素子を備えたものであってもよい。このため、本実施例の撮像装置は、少なくとも１つの撮像素子を有していればよい。

図４は、本実施例の撮像光学系を光学系１０１ａ〜１０１ｃの光軸を含む断面で見た概略図である。光学系１０１ａ〜１０１ｃで屈折された光線は、それぞれに対応した撮像素子１０３ａ〜１０３ｃで受光される。撮像素子１０３ａ〜１０３ｃで取得された複数の画像は、被写体空間を異なる視点から観察した視差画像となっている。これらの複数の画像を合わせることで、被写体空間における光の２次元強度分布と角度情報、すなわちライトフィールドを得ることができる。本実施例では、このような複数の視差画像が入力画像となる。

図２１は、本実施例における光学系の断面図であり、光学系１０１ａと撮像素子１０３ａの断面を示している。他の光学系１０１ｂ〜１０１ｇ及び撮像素子１０３ｂ〜１０３ｇの断面も同様であるため、それらの説明は省略する。ただし、各光学系の構成はそれぞれ異なっていてもよい。図２１に示される光学系１０１ａは、単焦点レンズである。図４のように、被写体面２０１からの光線は、光線の被写体面２０１上での位置と角度に応じて、結像光学系１０１を構成する異なる光学系へ入射し、撮像素子の異なる画素で受光され、ライトフィールドを取得することができる。

次に、本実施例におけるリフォーカス画像の生成方法について説明する。図２２は、リフォーカス画像生成に関する説明図であり、図４の構成の詳細図である。図２２中の合成物体側主平面は、光学系１０１ａ〜１０１ｇのそれぞれの物体側主点を通る面であると定義する。同様に、合成像側主平面は、光学系１０１ａ〜１０１ｇのそれぞれの像側主点を通る面である。本実施例の構成では、結像光学系１０１の物体側主平面、及び像側主平面は、それぞれ合成物体側主平面と合成像側主平面で表されるとする。図２２の一点鎖線は、各光学系の画角を表す。

像側のピント位置を仮想結像面２０３に合わせる場合、撮像素子１０３ａ〜１０３ｇで得られた画素値を、各撮像素子１０３ａ〜１０３ｇに対応する光学系１０１ａ〜１０１ｇを介して物体側リフォーカス面２０４へ投影して合成すればよい。物体側リフォーカス面２０４は、仮想結像面２０３と光学系１０１ａ〜１０１ｇを介して共役な面である。仮想結像面２０３を移動することで、任意の位置にピントの合ったリフォーカス画像を生成することができる。

例えば、図４の被写体面２０１にピントの合った画像を生成するには、撮像素子１０３ａ〜１０３ｇ上に仮想結像面２０３を設定すればよい。このとき、被写体面２０１と物体側リフォーカス面２０４は一致する。図２２において、リフォーカス画像生成の際に投影した画素は、破線で表され、分りやすくするために重ねずにずらして示している。リフォーカス画像の生成は、前述した画素を投影する生成方法と、同様の画素の重なりとなるように、各画素を平行移動させて合成する方法でもよい。このとき、画素に入射した光束が通過した光学系が同じである場合、それらの画素の平行移動量は同じになる。以上のとおり、本実施例におけるリフォーカス画像生成時の画素の操作は、画素に入射する光束が通過した光学系に応じて決定される。

続いて、リフォーカス可能な範囲に関して説明する。本実施例における撮像光学系のリフォーカス範囲も、実施例１と同様に式（１）で表され、その関係は図２３に示されるとおりである。図２３は、本実施例におけるリフォーカス範囲の説明図である。

本実施例の撮像光学系において、Δｙ＝Δ、Δｕ＝Ｐ_ｓｙｎ／（ＮＦ_ｓｙｎ）であり、Δ≪Ｐ_ｓｙｎから、式（１）は以下の式（４）のように近似できる。

ここで、Ｆ_ｓｙｎとＰ_ｓｙｎは各光学系１０１ａ〜１０１ｇの瞳を合成した結像光学系１０１の合成瞳から算出されるＦ値と射出瞳距離である。各光学系１０１ａ〜１０１ｇの瞳を合成する方法は、合成開口法などが挙げられる。図２０の破線および図２３の合成射出瞳面は、各光学系１０１ａ〜１０１ｇによって形成される合成瞳の概念を示す。本実施例の構成において、結像光学系１０１の瞳は複数の光学系１０１ａ〜１０１ｇを合成した合成瞳になる。これにより、被写体面２０１上における同一の位置からの光線は、角度に応じて結像光学系１０１の異なる瞳領域を通過する。ここで、Ｎは合成瞳の１次元方向の分割数である。なお、実施例１と同様に式（４）の範囲を超えた場合、正しいリフォーカス画像が生成できなくなる。また、本実施例において、結像光学系１０１の焦点深度は、複数の光学系１０１ａ〜１０１ｇの瞳を合成した合成瞳に基づいて算出される。

本実施例における入力画像から出力画像を生成する画像処理方法は、図２４に示されるフローチャートに従って、画像処理部１０５により行われる。なお本実施例において、実施例２と同様の箇所についての説明は省略する。

まず、ステップＳ２０１において、画像処理部１０５は、撮像素子１０３ａ〜１０３ｇにより得られた複数の視差画像を入力画像として取得する。ただし、単数の撮像素子で複数の視差情報を取得している場合、入力画像は一つの撮像素子で取得された画像である。続くステップＳ２０２〜Ｓ２０４は実施例２と同様である。

次に、ステップＳ２０５において、画像処理部１０５は、指定された条件で出力画像を生成した場合に、合成画素のずれ量（画素ずれ）が画素ピッチの非整数倍であるか否かについて判定する。図２２（ａ）に示されるように、画素ずれが投影画素のピッチの非整数倍である場合、ステップＳ２０６へ進む。一方、図２２（ｂ）に示されるように、画素ずれが投影画素のピッチの整数倍である場合、ステップＳ２０７へ進む。

ステップＳ２０５にて画素ずれが画素ピッチの非整数倍である場合、ステップＳ２０６において、画像処理部１０５は視差画像を合成して出力画像を生成する。視差画像の合成の際には、同一の光学系を通過した光束が入射した撮像素子１０３の画素に対応する、入力画像の画素に対して、同一の操作を行う。

本実施例によれば、視差画像を合成して得られた画像のノイズを効果的に低減するとともに、画素ずらし超解像による高解像度化が可能な画像処理装置、撮像装置、画像処理方法および、画像処理プログラムを提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１ 結像光学系
１０３ 撮像素子
１０５ 画像処理部
３０２ 画像処理装置
３０７ 記憶部

Claims (10)

1. 入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能な画像処理装置であって、
   前記入力画像の撮影条件情報を記憶する記憶部と、
   前記撮影条件情報を用いて前記入力画像から前記出力画像を生成する画像処理部と、を有し、
   前記画像処理部は、
   結像光学系と複数の画素を有する撮像素子とを介して、複数の視点から被写体空間の情報を取得した画像である前記入力画像を取得し、
   前記被写体空間の同一領域の情報を取得した前記入力画像の画素群の平均画素値を算出し、該画素群のそれぞれの画素値を該平均画素値で置換し、
   前記平均画素値で置換された画素群の画素が互いにずれるように合成して前記出力画像を生成する、ことを特徴とする画像処理装置。
2. 前記画像処理部は、前記平均画素値で置換された前記画素群の画素のずれ量が該画素の非整数倍となるように合成して前記出力画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理部は、第１ピント位置が指定された際、該第１ピント位置との差が前記結像光学系の焦点深度の範囲内である第２ピント位置にピントの合った前記出力画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記記憶部は、前記撮影条件情報として前記入力画像の距離情報を記憶し、
   前記画像処理部は、前記距離情報を用いて、前記画素群のそれぞれの画素値を前記平均画素値で置換し、該平均画素値で置換された画素群の画素が互いにずれるように合成して前記出力画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能な撮像装置であって、
   結像光学系と、
   複数の画素を備えた撮像素子と、
   被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるレンズアレイと、
   前記撮像素子で取得された前記入力画像から前記出力画像を生成する画像処理部と、を有し、
   前記画像処理部は、
   前記結像光学系、前記撮像素子、および、前記レンズアレイを介して、複数の視点から被写体空間の情報を取得した画像である前記入力画像を取得し、
   前記被写体空間の同一領域の情報を取得した前記入力画像の画素群の平均画素値を算出し、該画素群のそれぞれの画素値を該平均画素値で置換し、
   前記平均画素値で置換された画素群の画素が互いにずれるように合成して前記出力画像を生成する、ことを特徴とする撮像装置。
6. 前記レンズアレイは、前記結像光学系の前記被写体面に対する像側共役面に配置されていることを特徴とする請求項５に記載の撮像装置。
7. 前記レンズアレイは、前記結像光学系の前記被写体面に対する像側共役面と前記撮像素子とが共役となるように配置されていることを特徴とする請求項５に記載の撮像装置。
8. 入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能な撮像装置であって、
   正の屈折力を有する複数の光学系を備えた結像光学系と、
   複数の画素を備えた少なくとも１つの撮像素子と、
   前記撮像素子で取得された前記入力画像から前記出力画像を生成する画像処理部と、を有し、
   前記結像光学系の瞳を、前記複数の光学系の瞳を合成した瞳であるとしたとき、前記複数の光学系は、被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるように配列されており、
   前記画像処理部は、
   前記結像光学系および前記撮像素子を介して、複数の視点から被写体空間の情報を取得した画像である前記入力画像を取得し、
   前記被写体空間の同一領域の情報を取得した前記入力画像の画素群の平均画素値を算出し、該画素群のそれぞれの画素値を該平均画素値で置換し、
   前記平均画素値で置換された画素群の画素が互いにずれるように合成して前記出力画像を生成する、ことを特徴とする撮像装置。
9. 入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能な画像処理方法であって、
   結像光学系と複数の画素を有する撮像素子とを介して複数の視点から被写体空間の情報を取得した画像である前記入力画像を取得するステップと、
   前記被写体空間の同一領域の情報を取得した前記入力画像の画素群の平均画素値を算出し、該画素群のそれぞれの画素値を該平均画素値で置換するステップと、
   前記平均画素値で置換された画素群の画素が互いにずれるように合成して前記出力画像を生成するステップと、を有することを特徴とする画像処理方法。
10. 入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能な画像処理プログラムであって、
    結像光学系と複数の画素を有する撮像素子とを介して複数の視点から被写体空間の情報を取得した画像である前記入力画像を取得するステップと、
    前記被写体空間の同一領域の情報を取得した前記入力画像の画素群の平均画素値を算出し、該画素群のそれぞれの画素値を該平均画素値で置換するステップと、
    前記平均画素値で置換された画素群の画素が互いにずれるように合成して前記出力画像を生成するステップと、
    を情報処理装置に実行させるように構成されていることを特徴とする画像処理プログラム。