JP2015177482A - 撮像装置 - Google Patents

Abstract

【課題】画像処理の効率を図りつつ、クロストークが発生する条件下での撮像でも高画質の画像を取得可能であり、更に薄形を実現できる撮像装置を提供する。
【解決手段】画像処理部ＰＲは、いずれか１つの行及び、いずれか１つの列の物体像に対応する画像信号の比較に基づいて、Ｎ行Ｍ列のすべての物体像のうち、いずれの物体像にクロストークによるゴーストが発生しているか否かを判断する。
【選択図】図７

Description

本発明は、小型で薄型であり、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型イメージセンサ或いはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサ等の固体撮像素子に、複数のレンズから成るアレイレンズを用いて物体像を形成する撮像装置に関する。

近年、スマートフォンなどの携帯端末においては、デザイン性向上のため，それに搭載される撮像装置の小型化が推進され、それに伴い撮像装置に搭載される光学系の低背化の要求はますます高まっている。一方で、例え携帯端末であっても撮像した画像が低画質であることは許されないことから、高画質を実現するために光学系の高性能化も要求されている。

これらの要求に対し、光軸を異ならせて配置した複数の撮像光学系（個眼光学系）で構成されるアレイレンズを用いて、複数の物体像を固体撮像素子の撮像面上に形成し、各物体像に対応する画像信号を画像処理することで、１つの画像を再構成するいわゆる超解像技術を用いた小型で薄型な撮像装置が開発されるに至った。このような撮像装置に用いる複眼撮像光学系では、複数の画像を再構成することで低画素な画像から高画素な画像を作り出すことが出来るため、個眼光学系各々が対応するイメージエリアの画素数を少なくすることができ、少ないアレイレンズ枚数で光学系を構成することができる。その結果として、既存の光学系よりも大幅な低背化を実現しながらも高解像な撮像装置を提供することが可能となる。

ところで、アレイレンズを用いて複数の光学像を形成する場合、特有のゴーストが発生するという課題がある。かかる課題を、図１及び図２を用いて説明する。図１（ａ）は、複数の個眼レンズＬ１を備えた第１アレイレンズＡＬ１と、複数の個眼レンズＬ２を備えた第２アレイレンズＡＬ２とを積層してなる複眼撮像光学系を示す断面図であり、ゴーストを生じさせる光路の一例を示している。図１（ｂ）は、図１（ａ）の複眼撮像光学系の個々の個眼光学系の撮像領域を示す図である。ここでは、光軸が共通する個眼レンズＬ１、Ｌ２を４つ並べた例で示す。

本来的には、撮影画角内からの被写体光は、個眼レンズＬ１に入射し、それに対応する個眼レンズＬ２に入射して、固体撮像素子の撮像面の撮像領域Ａ１、Ａ５、Ａ９、Ａ１３に物体像を結像させることとなる。しかるに、例えば撮像領域Ａ１３に物体像を形成するための撮影画角内の光束や、撮影画角より大きな入射角で個眼レンズＬ１に入射した光束ＬＢの一部が、撮像領域Ａ１３に向かうことなく第１アレイレンズＡＬ１の像側面又はフランジ部の像側面で、その一部が内部反射し、図１（ａ）に示すように、その反射光が更に隣の個眼レンズＬ１の物体側面又はフランジ部の物体面で内部反射することがある。かかる場合、この反射光は、更に個眼レンズＬ２を通過して隣の撮像領域Ａ９へ入射し、図１（ｂ）に示すゴーストＧＴとなる場合がある。幾何学的対称性により、同様なゴーストＧＴが、この例では撮像領域Ａ１、Ａ５においても発生する。

図２（ａ）は、複数の個眼レンズＬ１を備えた第１アレイレンズＡＬ１と、複数の個眼レンズＬ２を備えた第２アレイレンズＡＬ２とを積層してなる複眼撮像光学系の一例にかかる断面図であり、ゴーストを生じさせる光路の別例を示している。図２（ｂ）は、図２（ａ）の複眼撮像光学系の個々の個眼光学系の撮像領域を示す図である。

この例では、図２（ａ）に示すように、撮像領域Ａ９、Ａ１３にそれぞれ対応する個眼レンズＬ１に入射した光束ＬＢの一部が、第１アレイレンズＡＬ１の内部で複数回反射を繰り返し、１つおいて更に隣の個眼レンズＬ１から出射し、更に個眼レンズＬ２を通過して撮像領域Ａ１、Ａ５へと入射し、図２（ｂ）に示すゴーストＧＴとなる。

このように、ある個眼レンズに入射した光束が内部反射により、その個眼レンズにより物体像が結像される撮像領域とは異なる撮像領域に入射する現象をクロストークという。クロストークは、１枚以上のアレイレンズを有する複眼撮像光学系に固有の現象である。かかるクロストークは、幾何学的対称性により、アレイレンズ上に個眼レンズが行・列で並んでいたときは、行・列ごとに発生する規則性を有している。

これに対し、特許文献１には、レンズペアにより構成される２つの隣接した光学系のうち、一方から他方に進入するゴースト光を遮光する遮光部材を設けることでクロストークによるゴーストに対し対策を行う技術が開示されている。

特開平０７−１５４６６３号公報 特開２００１−２２１９７５号公報

しかしながら、特許文献１の技術では、レンズペアの間に遮光部材を配置するために、レンズペア間の光軸方向スペースが増大し、薄型の撮像装置を構成できないという問題がある。又、遮光部材を設けることで部品点数や組み付け工程が増大し、コスト増を招くという問題もある。更には、図１、２の複眼撮像光学系でアレイレンズＡＬ１、ＡＬ２間に遮光部材を設けたとしても、アレイレンズの内部反射によるクロストークを防ぐことはできない。

特許文献２には、レンズアレイのレンズの継ぎ目にＶ字溝を形成して、不要光を屈折制御し、クロストークを抑制する技術が開示されている。しかしながら、レンズの継ぎ目にＶ字溝を形成することで偏肉比が変化するため、このようなレンズアレイを金型により成形する際に成形困難性が増大し、個眼レンズの精度が悪化するという問題がある。更には、レンズ間を接続する連結部分がある限り、当該連結部分に起因するクロストークを防ぐことはできない。

本発明は、かかる従来技術の問題点に鑑みてなされたものであり、画像処理の効率を図りつつ、クロストークが発生する条件下での撮像でも高画質の再構成した画像を取得可能であり、更に薄形を実現できる撮像装置を提供することを目的とする。

請求項１に記載の撮像装置は、
複数のレンズがＮ行Ｍ列（Ｎ、Ｍは２以上の整数）に一体的に形成されたアレイレンズを有し、前記複数のレンズに対応してＮ行Ｍ列の複数の物体像を形成する複眼撮像光学系と、
前記複数の物体像に対応する画像信号を出力する固体撮像素子と、
前記固体撮像素子から出力される前記複数の物体像に対応する画像信号に基づいて再構成画像を形成する画像処理部と、を有する撮像装置において、
前記画像処理部は、いずれか１つの行及び、いずれか１つの列の物体像に対応する画像信号の比較に基づいて、前記Ｎ行Ｍ列のすべての物体像のうち、いずれの物体像にクロストークによるゴーストが発生しているか否かを判断することを特徴とする。

上述したように、複数のレンズにより形成される複数の物体像から再構成画像を生成する撮像装置においては、アレイレンズ内部で反射した光束が隣接するレンズ等に入射するクロストークによりゴーストが発生する場合がある。これは、従来の単一の撮像レンズで単一の物体像を形成する撮像装置では発生しないものである。本発明は、このクロストークによるゴーストが規則性を有して発現するという規則性に着目し、形成される複数の物体像のうち特定の位置にある物体像にかかる画像信号を比較することで、すべての物体像のうち、クロストークによるゴーストの発生している物体像を特定できることに想到し、なされたものである。

クロストーク発生の規則性によれば、図１(ａ)の例では最下方の撮像領域Ａ１３、図２(ａ)の例では最下方及びその隣の撮像領域Ａ９、Ａ１３には、クロストークによるゴーストが生じない。これを２次元配置に展開すると、Ｎ行Ｍ列の個眼レンズが形成されたアレイレンズを有する複眼光学系により、Ｎ行Ｍ列の物体像が形成されるとき、少なくとも１つの物体像にはクロストークによるゴーストが発生しないといえる。

そこで、本発明はこの規則性を利用して、画像処理部が、いずれか１つの行及び、いずれか１つの列の物体像に対応する画像信号の比較に基づいて、Ｎ行Ｍ列のすべての物体像のうち、いずれの物体像にクロストークによるゴーストが発生しているか否かを判断するのである。ゴーストが発生していない物体像が分かれば、これを基準にして、ゴーストが発生した物体像を特定でき、それにより、ゴーストが発生した物体像の画像信号を画像の再構成に用いないなどの処理を行うことで、高画質な再構成画像を得ることができる。本発明によれば、すべての物体像を逐一比較して確認する必要がなく、処理が簡素化できて処理時間が短縮され、加えてクロストークによるゴーストの発生した領域の画像信号を再構成に使用しないことで再構成画像の画質向上が図れる。

請求項２に記載の撮像装置は、請求項１に記載の発明において、前記物体像の位置を（行、列）で表したとき、（１、１）、（１、Ｍ）、（Ｎ、１）、（Ｎ、Ｍ）のいずれか１つの物体像を含む行及び列の物体像に対応する画像信号同士の比較に基づき、前記Ｎ行Ｍ列のすべての物体像のうち、いずれの物体像にゴーストが発生しているか否かを判断することを特徴とする。

本発明によれば、Ｎ行Ｍ列に並んだ物体像のうち、クロストークによるゴーストが発生しない可能性のある物体像は、行・列における最も端にある物体像であることを利用して、画像処理部がいずれの物体像にゴーストが発生しているか否かを判断することにより、判断の確実性を、より向上させることができる。

請求項３に記載の撮像装置は、請求項１又は２に記載の発明において、前記画像信号の比較により、ゴーストが発生していると判断した物体像があった場合、以降の比較は、ゴースト発生領域のみを比較することを特徴とする。

クロストークの別の規則性によれば、複数の物体像においてクロストークによるゴーストが発生した場合、アレイレンズの幾何学的対称性より、そのゴーストは物体像の同じ領域に発生することとなる。そこで、画像信号の比較により、ゴーストが発生していると判断した物体像があった場合、以降の比較は、ゴースト発生領域のみを比較することで、画像処理部の処理負担が軽減されるので好ましい。但し、以降の比較でも画像信号全体を比較しても良い。

請求項４に記載の撮像装置は、請求項１〜３のいずれかに記載の発明において、前記ゴーストが発生していないと判断された物体像に対応する画像信号の全てと、前記ゴーストが発生していると判断された物体像のゴースト発生領域を除く画像信号とを選択して前記再構成画像を形成することを特徴とする。

ゴーストが発生した物体像であっても、ゴーストが発生した領域以外の領域の画像信号は、本来の物体像に対応している。よって、画像処理部が、ゴーストが発生していないと判断された物体像に対応する画像信号の全てと、ゴーストが発生していると判断された物体像のゴースト発生領域を除く画像信号とを選択して再構成画像を形成することで、高画質な再構成画像を得ることができる。

請求項５に記載の撮像装置は、請求項１〜４のいずれかに記載の発明において、前記比較は、前記物体像に対応する画像信号の視差の補正後に行われることを特徴とする。

複眼撮像光学系で複数の物体像を撮像領域に結像させたとき、その物体像は、被写体距離に応じて視差を持つから、複数の撮像領域上で物体像が異なる位置に結像することとなる。この視差を放置すると、１つの物体像の画像信号と他の物体像の画像信号とを比較したときに、ゴーストが発生しないときでも画素毎に差異を生じる恐れがある。そこで、画像処理部が、前記比較を、前記物体像に対応する画像信号の視差の補正後に行うようにすることで、精度の良いゴースト判定を行うことができる。

請求項６に記載の撮像装置は、請求項１〜５のいずれかに記載の発明において、前記複数の物体像の各々は、異なる波長帯域のうちの何れか１つの波長帯域に対応した画像を形成するよう構成され、前記比較は透過率差を補正した後に行うことを特徴とする。

図３は、９つの個眼光学系ＩＬを用いた複眼撮像光学系の一例を示す概略図である。個眼光学系ＩＬと撮像素子の撮像面Ｉとの間に、カラーフィルタＣＦが挿入されている。カラーフィルタＣＦは、本例では、緑色フィルタＣＦｇと、赤色フィルタＣＦｒと、青色フィルタＣＦｂとを有している。

個眼光学系ＩＬを通過した被写体光のうち、緑色のフィルタＣＦｇに入射した被写体光は、緑色以外の波長の被写体光がカットされて撮像面Ｉの撮像領域Ｉｇに結像される。又、個眼光学系ＩＬを通過した被写体光のうち、赤色のフィルタＣＦｒに入射した被写体光は、赤色以外の波長の被写体光がカットされて撮像面Ｉの撮像領域Ｉｒに結像される。更に、個眼光学系ＩＬを通過した被写体光のうち青色のフィルタＣＦｂに入射した被写体光は、青色以外の波長の被写体光がカットされて撮像面Ｉの撮像領域Ｉｂに結像される。これにより、複数の物体像の各々は、異なる波長帯域のうちの何れか１つの波長帯域に対応した画像を形成するよう構成され、その後、画像の再構成を行うことで高画質な画像を形成できる。このようにすることで、各色に対応して個眼光学系の最適設計化ができ、個々の個眼光学系の性能向上が図れ、個眼像の画質の向上を図ることができる。

ここで、緑色フィルタＣＦｇと、赤色フィルタＣＦｒと、青色フィルタＣＦｂの光透過率が異なるので、同じ物体像を結像された場合でも、撮像領域Ｉｇ，Ｉｒ、Ｉｂの受光量が異なることとなり、画像信号同士の直接的な比較が困難になる。そこで本発明では、画像処理部が、通過したフィルタの透過率に応じて画像信号を調整し、透過率差を補正した画像信号同士を比較するようにしたので、精度の良いゴースト判定を行うことができる。尚、図３では、３色のカラーフィルタを用いた場合で説明したが、各個眼光学系を、それぞれ（赤、黄、緑、青）の４色に振り分けるものであってもよい。

本発明によれば、画像処理の効率を図りつつ、クロストークが発生する条件下での撮像でも高画質の再構成画像を取得可能であり、更に薄形を実現できる撮像装置を提供することができる。

(ａ)は、アレイレンズＡＬ１、ＡＬ２とを積層してなる複眼撮像光学系を示す断面図である。（ｂ）は、（ａ）の複眼撮像光学系の個々の個眼光学系の撮像領域を示す図である。 (ａ)は、アレイレンズＡＬ１、ＡＬ２とを積層してなる複眼撮像光学系を示す断面図である。（ｂ）は、（ａ）の複眼撮像光学系の個々の個眼光学系の撮像領域を示す図である。 個眼レンズと、カラーフィルタを用いた複眼撮像光学系の概略図である。 本実施の形態にかかる撮像装置を模式的に示す図である。 複眼撮像光学系の断面図である。 固体撮像素子ＳＲの撮像面Ｉにおける９つの撮像領域Ａ１〜Ａ９を模式的に示す図である。 ゴースト判定のフローチャートである。

以下、本発明に係る複眼撮像光学系とそれを用いた撮像装置等を説明する。複眼撮像光学系は、複数のレンズ系（個眼光学系）がアレイ状に配置された光学系であり、各レンズ系が同じ視野の撮像を行う超解像タイプと、各レンズ系が異なる視野の撮像を行う視野分割タイプと、に通常分けられる。本発明に係る複眼撮像光学系は、ほぼ同じ方向を向き、微小に視差を有する複数のレンズ系によって得られる複数の像から、個々の像よりも高い解像度を持つ１枚の合成画像（再構成画像）を出力する超解像処理に用いられる超解像タイプを用いて説明する。

図４に本実施の形態にかかる撮像装置を模式的に示す。図４に示すように、撮像装置ＤＵは、撮像ユニットＬＵ，Ａ／Ｄ変換部ＡＤ、画像処理部ＰＲ、画像出力部ＯＴ等を有している。そして、撮像ユニットＬＵは、１つの撮像素子ＳＲと、その撮像素子ＳＲに対して、互いに微小な視差を有する複数の像を結像する複眼撮像光学系ＬＨと、を有している。撮像素子ＳＲとしては、例えば複数の画素を有するＣＣＤ型イメージセンサ、ＣＭＯＳ型イメージセンサ等の固体撮像素子が用いられる。撮像素子ＳＲの光電変換部である受光面Ｉ上には、被写体の光学像が形成されるように複眼撮像光学系ＬＨが設けられているので、複眼撮像光学系ＬＨによって形成された物体像は、図６を参照して、ここでは９つの撮像領域Ａ１〜Ａ９に結像され、それぞれ画像信号に変換される。

画像処理部ＰＲは、視差補正部ＰＲ１、ゴースト判定部ＰＲ２、超解像処理部ＰＲ３を有しており、撮像素子ＳＲから出力された画像信号を再構成(超解像)処理して、１枚の画像に対応した画像信号を作成する。得られた画像信号は、画像出力部ＯＴを介して外部へと出力される。

図５は、複眼撮像光学系ＬＨの拡大断面図である。複眼撮像光学系ＬＨは、物体側より順に、開口絞りＳ、第１アレイレンズＡＬ１、第２アレイレンズＡＬ２からなり、鏡枠ＨＬＤにより保持されている。第１アレイレンズＡＬ１は、物体側に第１物体側面Ｓ１を形成し、像側に第１像側面Ｓ２を形成した個眼レンズＬ１を、３行３列に並べて形成している。

又、第２アレイレンズＡＬ２は、物体側に第２物体側面Ｓ３を形成し、像側に第２像側面Ｓ４を形成した個眼レンズＬ２を、３行３列に並べて形成している。光軸を合わせて積層された第１個眼レンズＬ１と第２個眼レンズＬ２とで、個眼光学系を構成する。

個眼レンズの数は、撮像素子ＳＲの撮像面Ｉ上に形成される物体像（個眼像という）の数と等しくさせてなる。つまり、光軸方向に積層された個眼レンズＬ１、Ｌ２を通過した光線が、それぞれ撮像面Ｉ上で１つの像を形成する。尚、Ｓは、第１物体側面の周囲に形成された開口絞りであり、Ｆはカラーフィルタ及び／又はＩＲカットフィルタ、ＣＧは、固体撮像素子のシールガラス等を想定した平行平板である。Ｉは、基板ＳＴ上に実装された固体撮像素子ＳＲの撮像面である。

第１アレイレンズＡＬ１と第２アレイレンズＡＬ２のうち少なくとも一方を、一体成形しても良い。又、第１アレイレンズＡＬ１と第２アレイレンズＡＬ２の他に、第３アレイレンズを積層して設けても良い。更に、１つのアレイレンズ内における個眼レンズが、２つ以上の異なる波長分布に対して各々設計され異なる光学特性を有するようにしても良い。又、１つのアレイレンズ内における個眼レンズが、異なる複数の波長分布に応じた透過率を持った複数のカラーフィルタと組み合わされるようにしても良い（図３参照）。いずれも各個眼レンズの焦点距離は互いにほぼ等しいと好ましい。

次に、画像処理部ＰＲで行う画像処理について説明する。図６は、固体撮像素子ＳＲの撮像面Ｉにおける９つの撮像領域Ａ１〜Ａ９を模式的に示す図である。横並びを行とし、縦並びを列とする。物体像の位置を（行、列）で表現すると、撮像領域Ａ１は（１，１）であり、撮像領域Ａ９は（３，３）である。図７は、ゴースト判定のフローチャートであり、第１行における画像信号同士の比較を実行している。尚、後述する処理（１）〜（５）は、上記の第１行における撮像領域の画像信号同士の比較の結果に応じた、その後の処理及び、すべての撮像領域（ここでは、撮像領域Ａ１〜Ａ９）におけるゴースト発生の有無の判断結果を説明している。

撮像ユニットＬＵの９つの個眼光学系によって，固体撮像素子ＳＲの９つの撮像領域Ａ１〜Ａ９に結像された物体像は、それぞれ対応したアナログ信号に変換され、Ａ／Ｄ変換部ＡＤを介してデジタル信号(画像信号)に変換され、画像処理部ＰＲに入力される。

画像処理部ＰＲは、図７のフローチャートのステップＳ１０１で、視差の補正を行うべく、画像信号に処理を施す。視差補正に関しては、特願２０１３−２４９６０７号に記載されているため、ここでは詳細に説明しないが、具体的には視差補正部ＰＲ１が、光軸が異なる個眼光学系を用いて物体像を結像する際に生じる視差に起因した物体像の位置ずれを推定し、撮像領域Ａ１〜Ａ９上で個々の物体像が合致するように物体像をシフトする処理である。尚、図３に示すようなカラーフィルタを用いる場合、フィルタの透過率により画素値が変化するので、同じ物体像が結像された場合、フィルタの色にかかわらず同じ画素値を出力するように，フィルタ毎に補正値を視差補正部ＰＲ１に予め記憶しておき視差と同時に補正することもできる。

ここで、クロストークの規則性によれば、第１行及び第１列の撮像領域全てに同時にクロストークによるゴーストが発生することはなく、クロストークによるゴーストが発生した場合でも、第１行及び第１列の端部になる撮像領域Ａ１、Ａ３、Ａ７の少なくともいずれか１つにはゴーストが発生しない。又、クロストークによるゴーストが発生するときは、複数の撮像領域の同じ位置に同様のゴーストが発生する。この規則性を利用してゴースト判定を行う。

図７のステップＳ１０２で、ゴースト判定部ＰＲ２が、まず撮像領域Ａ１に結像された物体像の画像信号と、撮像領域Ａ２に結像された物体像の画像信号同士を比較する。この比較の際、対応する個々の画素信号同士を比較してもよいが、たとえば５画素×５画素などの領域の画素値の平均を算出した上で両者を比較してもよい。

次いで、ステップＳ１０３で、ステップＳ１０２での比較結果を参照し、撮像領域Ａ１から出力された画像信号と、撮像領域Ａ２から出力された画像信号との比較において、閾値を超える差を有する部位があるか否かを判断する。

ステップＳ１０３で、画像信号の差が閾値を超える部位があると判断されたとき（ステップＳ１０３；Ｙｅｓ）は、ステップＳ１０４で、ゴースト判定部ＰＲ２が、いずれの画像信号が大きいかを判別し、撮像領域Ａ２から出力された画像信号の方が大きいと判断したとき（ステップＳ１０４；Ｙｅｓ）は、ステップＳ１０６で、撮像領域Ａ１に結像された物体像にはゴーストが発生しておらず、撮像領域Ａ２、Ａ３に結像された物体像にゴーストが発生していると推認し、以下の処理（１）を行う。但し、ステップＳ１０６に至る前に、念のため撮像領域Ａ３に結像された物体像にゴーストが発生しているか否かを確認しても良い。この場合、撮像領域Ａ２においてゴーストが発生している領域ＧＡ２（比較により、画素値が閾値を超える差を有している領域）が既知であるので、ゴースト発生領域としての撮像領域Ａ２の領域ＧＡ２と、それに対応した位置にある撮像領域Ａ３の領域ＧＡ３の画像信号同士を比較して、その差が閾値以下であれば同様にゴーストが発生していると判断できる。

［処理（１）］
このケースでは、３つの並んだ撮像領域のそれぞれにゴーストが発生しているものでなく、撮像領域Ａ２、にゴーストが発生していることから、このゴーストはクロストークによるものであると判断できる。この場合、ゴースト判定部ＰＲ２は、アレイレンズの幾何学的対称性より、撮像領域Ａ１に対応する個眼レンズに入射した光束が、クロストークにより撮像領域Ａ２に入射し、撮像領域Ａ２に対応する個眼レンズに入射した光束が、クロストークにより撮像領域Ａ３に入射してゴーストを発生させたものであり、かつ他の行も同様と判断する。従って、撮像領域Ａ１と同じ第１列目の撮像領域Ａ４、Ａ７に結像された物体像にはゴーストが発生しておらず、撮像領域Ａ２と同じ第２列目の撮像領域Ａ５、Ａ８に結像された物体像及び撮像領域Ａ３と同じ第３列目の撮像領域Ａ６、Ａ９に結像された物体像にはゴーストが発生していると推認する。すなわち、全ての撮像領域の画像について比較判断することなく、全ての撮像領域についてクロストークによるゴーストの発生の有無が類推できる。これにより処理負担が低減される（以下同じ）。

但し、念のため、第１列目の撮像領域Ａ４、Ａ７に結像された物体像にゴーストが発生していないことを確認しても良い。この場合、ゴースト判定部ＰＲ２が、撮像領域Ａ１に結像された物体像と、撮像領域Ａ４、Ａ７に結像された物体像の対応する画像信号をそれぞれ比較して、閾値を超えているか否かを判断し、画像信号の差が閾値以下であれば、撮像領域Ａ４、Ａ７に結像された物体像にはゴーストが発生していないと分かる。

以上の比較により、全ての撮像領域において、クロストークによるゴースト発生の有無を判別できたので、ゴースト判定部ＰＲ２は、ゴーストが発生していない撮像領域にかかる画像信号全てと、ゴーストが発生している撮像領域にかかる画像信号のうちゴースト発生領域以外の画像信号を選択抽出し、超解像処理部ＰＲ３へと出力する。

一方、図７のフローチャートのステップＳ１０４で、ゴースト判定部ＰＲ２が、撮像領域Ａ１から出力された画像信号の方が大きいと判断したとき（ステップＳ１０４；Ｎｏ）は、ステップＳ１０７で、撮像領域Ａ２、Ａ３に結像された物体像にゴーストが発生せず、撮像領域Ａ１に結像された物体像にゴーストが発生していると判断し、以下の処理（２）を行う。

［処理（２）］
このケースでは、３つの並んだ撮像領域のそれぞれにゴーストが発生しているものでなく、撮像領域Ａ１にゴーストが発生していることから、このゴーストはクロストークによるものであると判断できる。この場合、ゴースト判定部ＰＲ２は、アレイレンズの幾何学的対称性より、撮像領域Ａ３に対応する個眼レンズに入射した光束が、クロストークにより撮像領域Ａ１に入射してゴーストを発生させたものであり、かつ他の行も同様と判断する。従って、第１列目の撮像領域Ａ４、Ａ７に結像された物体像にも同じゴーストが発生しており、撮像領域Ａ２と同じ第２列目の撮像領域Ａ５、Ａ８に結像された物体像及び撮像領域Ａ３と同じ第３列目の撮像領域Ａ６、Ａ９に結像された物体像にはゴーストが発生していないと推認する。

但し、念のため、撮像領域Ａ４及びＡ７に結像された物体像にも同じゴーストが発生していることを確認しても良い。この場合、ゴースト判定部ＰＲ２が、撮像領域Ａ１においてゴーストが発生している領域が既知であるので、撮像領域Ａ１のゴースト発生領域に対応する撮像領域Ａ４の画像信号及び撮像領域Ａ１のゴースト発生領域に対応する撮像領域Ａ７の画像信号を比較して、その差が閾値以下であれば同様にゴーストが発生していると判断できる。

以上の比較により、全ての撮像領域において、クロストークによるゴースト発生の有無を判別できたので、ゴースト判定部ＰＲ２は、ゴーストが発生していない撮像領域にかかる画像信号全てと、ゴーストが発生している撮像領域にかかる画像信号のうちゴースト発生領域以外の画像信号を選択抽出し、超解像処理部ＰＲ３へと出力する。

更に、図７のフローチャートのステップＳ１０３で、ゴースト判定部ＰＲ２が、撮像領域Ａ１、Ａ２に結像された物体像の画像信号の差が閾値以下であると判断したとき（ステップＳ１０４；Ｎｏ）は、撮像領域Ａ１、Ａ２に結像された物体像の双方にゴーストが発生した場合、或いは双方にゴーストが発生していない場合のいずれかである。そこで、続くステップＳ１０８で、ゴースト判定部ＰＲ２が、撮像領域Ａ１に結像された物体像の画像信号と、撮像領域Ａ３に結像された物体像の画像信号同士を比較する。

次いで、ステップＳ１０９で、ゴースト判定部ＰＲ２が、ステップＳ１０８での比較結果を参照し、撮像領域Ａ１から出力された画像信号と、撮像領域Ａ３から出力された画像信号との比較において、閾値を超える差を有する部位があるか否かを判断する。

ステップＳ１０９で、画像信号の差が閾値を超える部位があると判断されたとき（ステップＳ１０９；Ｙｅｓ）は、ステップＳ１１０で、ゴースト判定部ＰＲ２が、いずれの画像信号が大きいかを判別し、撮像領域Ａ３から出力された画像信号の方が大きいと判断したとき（ステップＳ１１０；Ｙｅｓ）は、ステップＳ１１１で、撮像領域Ａ１、Ａ２に結像された物体像にゴーストが発生しておらず、撮像領域Ａ３に結像された物体像にゴーストが発生していると判断し、以下の処理（３）を行う。

［処理（３）］
このケースでは、３つの並んだ撮像領域のそれぞれにゴーストが発生しているものでなく、撮像領域Ａ３にゴーストが発生していることから、このゴーストはクロストークによるものであると判断できる。この場合、ゴースト判定部ＰＲ２は、アレイレンズの幾何学的対称性より、撮像領域Ａ１に対応する個眼レンズに入射した光束が、クロストークにより撮像領域Ａ３に入射してゴーストを発生させたものであり、かつ他の行も同様と判断する。従って、第３列目の撮像領域Ａ６、Ａ９に結像された物体像にも同じゴーストが発生しており、撮像領域Ａ１と同じ第１列目の撮像領域Ａ４、Ａ７に結像された物体像及び撮像領域Ａ２と同じ第２列目の撮像領域Ａ５、Ａ８に結像された物体像にはゴーストが発生していないと推認する。

但し、念のため、撮像領域Ａ４及びＡ７に結像された物体像にゴーストが発生していないことを確認しても良い。この場合、ゴースト判定部ＰＲ２が、撮像領域Ａ１に結像された物体像と、撮像領域Ａ４及びＡ７に結像された物体像の対応する画像信号を比較すればよい。

以上の比較により、全ての撮像領域において、クロストークによるゴースト発生の有無を判別できたので、ゴースト判定部ＰＲ２は、ゴーストが発生していない撮像領域にかかる画像信号全てと、ゴーストが発生している撮像領域にかかる画像信号のうちゴースト発生領域以外の画像信号を選択抽出し、超解像処理部ＰＲ３へと出力する。

一方、図７のフローチャートのステップＳ１１０で、ゴースト判定部ＰＲ２が、撮像領域Ａ２から出力された画像信号の方が大きいと判断したとき（ステップＳ１１０；Ｎｏ）は、ステップＳ１１２で、撮像領域Ａ３に結像された物体像にゴーストが発生せず、撮像領域Ａ１、Ａ２に結像された物体像にゴーストが発生していると判断し、以下の処理（４）を行う。

［処理（４）］
このケースでは、３つの並んだ撮像領域のそれぞれにゴーストが発生しているものでなく、撮像領域Ａ１、Ａ２にゴーストが発生していることから、このゴーストはクロストークによるものであると判断できる。この場合、ゴースト判定部ＰＲ２は、アレイレンズの幾何学的対称性より、撮像領域Ａ３に対応する個眼レンズに入射した光束が、クロストークにより撮像領域Ａ２に入射し、撮像領域Ａ２に対応する個眼レンズに入射した光束が、クロストークにより撮像領域Ａ１に入射してゴーストを発生させたものであり、かつ他の行も同様と判断する。従って撮像領域Ａ３と同じ第３列目の撮像領域Ａ６、Ａ９に結像された物体像にはゴーストが発生しておらず、撮像領域Ａ１と同じ第１列目の撮像領域Ａ４、Ａ７に結像された物体像及び撮像領域Ａ２と同じ第２列目の撮像領域Ａ５、Ａ８に結像された物体像にはゴーストが発生していると推認する。

但し、念のため、第１列目の撮像領域Ａ４、Ａ７に結像された物体像にゴーストが発生していることを確認しても良い。この場合、ゴースト判定部ＰＲ２が、撮像領域Ａ１においてゴーストが発生している領域が既知であるので、撮像領域Ａ１のゴースト発生領域に対応する撮像領域Ａ４の画像信号及び撮像領域Ａ１のゴースト発生領域に対応する撮像領域Ａ７の画像信号を比較すればよい。

以上の比較により、全ての撮像領域において、クロストークによるゴースト発生の有無を判別できたので、ゴースト判定部ＰＲ２は、ゴーストが発生していない撮像領域にかかる画像信号全てと、ゴーストが発生している撮像領域にかかる画像信号のうちゴースト発生領域以外の画像信号を選択抽出し、超解像処理部ＰＲ３へと出力する。

更に、図７のフローチャートのステップＳ１０９で、ゴースト判定部ＰＲ２が、撮像領域Ａ１、Ａ３に結像された物体像の画像信号の差が閾値以下であると判断したとき（ステップＳ１０９；Ｎｏ）は、撮像領域Ａ１〜Ａ３(第１行)に結像された物体像の各々にゴーストが発生している場合、或いは撮像領域Ａ１〜Ａ３の各々にゴーストが発生していない場合のいずれかである。この場合、これだけでは全ての撮像領域Ａ１〜Ａ９において、いずれの撮像領域にクロストークによるゴーストが発生しているかを推認できない。かかる場合、以下の処理（５）を行う。

［処理（５）］
このケースの場合、まず、ゴースト判定部ＰＲ２は、撮像領域Ａ１に結像された物体像と、撮像領域Ａ７に結像された物体像の対応する画像信号を比較して、閾値を超えた差を有する部位があるか否かを判断する。ここで、閾値を超えた差を有する部位がない場合、ゴースト判定部ＰＲは、アレイレンズの幾何学的対称性より、撮像領域Ａ１〜Ａ９に結像された物体像の各々について、クロストークによるゴーストは発生していないと推認する。

（Ａ１の画像信号＜Ａ７の画像信号の場合）
一方、撮像領域Ａ１に結像された物体像と、撮像領域Ａ７に結像された物体像の対応する画像信号を比較して、撮像領域Ａ７に結像された物体像の画像信号の方に、閾値を超えて大きい部位があったときは、撮像領域Ａ７の物体像にクロストークによるゴーストが発生していると判断する。この場合、アレイレンズの幾何学的対称性より、第３行目の撮像領域Ａ８、Ａ９に結像された物体像にもゴーストが発生していると推認する。

更にゴースト判定部ＰＲ２は、撮像領域Ａ７における、閾値を超える差を有する部位の画像信号と、撮像領域Ａ４の対応する画像信号を比較し、閾値を超える差を有するときは、撮像領域Ａ４の物体像にゴーストが発生していないことが分かるから、撮像領域Ａ４〜Ａ６(第２行)に結像された物体像の各々にクロストークによるゴーストが発生していないと判断する。しかし、両者の差が閾値以下であったときは、撮像領域Ａ４〜Ａ６(第２行)に結像された物体像の各々にクロストークによるゴーストが発生したと判断する。

すなわち、撮像領域Ａ１の画像信号及び撮像領域Ａ４の画像信号に対し、撮像領域Ａ７の画像信号に閾値を超えて大きい部位があったときは、第３行目の撮像領域Ａ７〜Ａ９にのみ結像された物体像にクロストークによるゴーストが発生していると推認する。一方、撮像領域Ａ１の画像信号に対し、撮像領域Ａ４及び撮像領域Ａ７の画像信号に閾値を超えて大きい部位があったときは、第２、３行目の撮像領域Ａ４〜Ａ９に結像された物体像の各々にクロストークによるゴーストが発生していると推認する。

（Ａ１の画像信号＞Ａ７の画像信号の場合）
これに対し、撮像領域Ａ１に結像された物体像と、撮像領域Ａ７に結像された物体像の対応する画像信号を比較して、撮像領域Ａ１に結像された物体像の画像信号の方に閾値を超えて大きい部位があったときは、撮像領域Ａ１の物体像にクロストークによるゴーストが発生していると判断する。この場合、アレイレンズの幾何学的対称性より、撮像領域Ａ１〜Ａ３の物体像に同じゴーストが発生していると推認する。

更に、ゴースト判定部ＰＲ２は、撮像領域Ａ１における、閾値を超える差を有する部位の画像信号と、撮像領域Ａ４の対応する画像信号を比較し、閾値を超える差を有さないときは、撮像領域Ａ４の物体像にゴーストが発生していることが分かるから、撮像領域Ａ４〜Ａ６(第２行)に結像された物体像の各々にクロストークによるゴーストが発生していると判断する。しかし、両者の差が閾値を超える差を有するときは、撮像領域Ａ４〜Ａ６(第２行)に結像された物体像の各々にクロストークによるゴーストが発生していないと判断する。

すなわち、撮像領域Ａ４の画像信号及び撮像領域Ａ７の画像信号に対し、撮像領域Ａ１画像信号に閾値を超えて大きい部位があったときは、第１行目の撮像領域Ａ１〜Ａ３にのみ結像された物体像にクロストークによるゴーストが発生していると推認する。一方、撮像領域Ａ７の画像信号に対し、撮像領域Ａ１及び撮像領域Ａ４の画像信号に閾値を超えて大きい部位があったときは、第１、２行目の撮像領域Ａ１〜Ａ６に結像された物体像にクロストークによるゴーストが発生していると推認する。

以上の比較により、全ての撮像領域において、クロストークによるゴースト発生の有無を判別できたので、ゴースト判定部ＰＲ２は、ゴーストが発生していない撮像領域にかかる画像信号全てと、ゴーストが発生している撮像領域にかかる画像信号のうちゴースト発生領域以外の画像信号を選択抽出し、超解像処理部ＰＲ３へと出力する。

以上述べたゴースト判定部ＰＲ２のゴースト判定によれば、1つの行の物体像の各々と１つの列の物体像の各々を比較することで、全部の物体像の各々にクロストークによるゴーストの有無を類推することができる。

超解像処理部ＰＲ５は、ゴースト判定部ＰＲ２から出力された画像信号に基づいて、超解像処理を行う。複数の低画素画像から１枚の高画素画像を再構成する超解像処理については、例えば特願２０１３−２４９６０８号に記載されているので、以下に詳細を記載しない。

以上の実施の形態では、第１行(Ａ１〜Ａ３)の撮像領域での比較の後、その結果を参照して、第１列（Ａ１、Ａ４、Ａ７）の撮像領域の比較を行ってゴースト判定を行っているが、第３行(Ａ７〜Ａ９)と第３列（Ａ３、Ａ６、Ａ９）を用いてゴースト判定を行ってもよい。又、アレイレンズのレンズ配置は、３行３列に拘らず４行４列以上であっても良いし、行と列のレンズ数及び撮像領域数が異なっていても良い。

また、同様の論理判断で、第１列(Ａ１、Ａ４、Ａ７)の撮像領域での比較の後、その結果を参照して第１行（Ａ１〜Ａ３）の撮像領域の比較を行ってゴースト判定を行ってもよい。この場合、上記実施の形態において、行を列、列を行、Ａ２とＡ４を入れ替え、Ａ３とＡ７を入れ替えて読めばよい。

Ａ１〜Ａ９ 撮像領域
ＡＤ Ａ／Ｄ変換部
ＡＬ１ 第１アレイレンズ
ＡＬ２ 第２アレイレンズ
ＣＦ カラーフィルタ
ＣＦｂ 青色フィルタ
ＣＦｇ 緑色フィルタ
ＣＦｒ 赤色フィルタ
ＨＬＤ 鏡枠
Ｉ 撮像面
ＩＬ 個眼光学系
Ｌ１，Ｌ２ 個眼レンズ
ＬＨ 複眼撮像光学系
ＬＵ 撮像ユニット
ＯＴ 画像出力部
ＰＲ 画像処理部
ＰＲ１ 視差補正部
ＰＲ２ ゴースト判定部
ＰＲ３ 超解像処理部
ＳＲ 固体撮像素子
ＳＴ 基板

Claims (6)

1. 複数のレンズがＮ行Ｍ列（Ｎ、Ｍは２以上の整数）に一体的に形成されたアレイレンズを有し、前記複数のレンズに対応してＮ行Ｍ列の複数の物体像を形成する複眼撮像光学系と、
   前記複数の物体像に対応する画像信号を出力する固体撮像素子と、
   前記固体撮像素子から出力される前記複数の物体像に対応する画像信号に基づいて再構成画像を形成する画像処理部と、を有する撮像装置において、
   前記画像処理部は、いずれか１つの行及び、いずれか１つの列の物体像に対応する画像信号の比較に基づいて、前記Ｎ行Ｍ列のすべての物体像のうち、いずれの物体像にクロストークによるゴーストが発生しているか否かを判断することを特徴とする撮像装置。
2. 前記物体像の位置を（行、列）で表したとき、（１、１）、（１、Ｍ）、（Ｎ、１）、（Ｎ、Ｍ）のいずれか１つの物体像を含む行及び列の物体像に対応する画像信号同士の比較に基づき、前記Ｎ行Ｍ列のすべての物体像のうち、いずれの物体像にゴーストが発生しているか否かを判断することを特徴とする請求項１に記載の撮像装置。
3. 前記画像信号の比較により、ゴーストが発生していると判断した物体像があった場合、以降の比較は、ゴースト発生領域のみを比較することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記ゴーストが発生していないと判断された物体像に対応する画像信号の全てと、前記ゴーストが発生していると判断された物体像のゴースト発生領域を除く画像信号とを選択して前記再構成画像を形成することを特徴とする請求項１〜３のいずれか一項に記載の撮像装置。
5. 前記比較は、前記物体像に対応する画像信号の視差の補正後に行われることを特徴とする請求項1〜４のいずれか一項に記載の撮像装置。
6. 前記複数の物体像の各々は、異なる波長帯域のうちの何れか１つの波長帯域に対応した画像を形成するよう構成され、前記比較は透過率差を補正した後に行うことを特徴とする請求項１〜５のいずれか一項に記載の撮像装置。