JP2006304036A - カメラモジュール - Google Patents

Abstract

【課題】実装を飛躍的に容易にしながらも、従来の多板カメラと同等の性能と小型化を実現した多板式のカメラモジュールを提供する。
【解決手段】被写体からの光を集光する第１の光学系と、前記第１の光学系を透過した光を複数の色成分の光に分離する分光光学系と、前記分光光学系を通過した光を受光する複数の撮像素子と、前記複数の撮像素子により検出された複数の画像情報を合成することにより被写体像を生成する演算回路とを有する。また、少なくとも１つの撮像素子により検出された画像情報の位置座標を水平、垂直方向にそれぞれ所定の移動量だけ移動させる画像処理部を有する。さらに、前記画像処理部は、前記複数の撮像素子のうち少なくとも２つの撮像素子の画像情報を比較演算することにより前記移動量を決定する。
【選択図】図１

Description

本発明は、デジタルカメラ、デジタルビデオカメラ等に使用するカメラモジュールに関する。

３板方式を代表とする撮像素子を複数個有するカメラにおいて、それぞれの撮像素子を位置決めするのは重要である。固定撮像素子（以下、ＣＣＤと記す）の位置合わせ装置では、駆動回路から通常の水平駆動信号（例えば、水平画素７６８×垂直画素４６０のＣＣＤでは、１４．３２ＭＨｚの周波数を有する）と通常の垂直駆動信号（１水平走査時間に相当する１／１５．７３４ｋＨｚ周期を有する）を出力してＣＣＤの有効画素全部を読み出し、この信号を基に、各ＣＣＤの位置を検出し、その検出した結果にもとづいてアクチュエータ部にアクチュエータ駆動信号を送信していた。アクチュエータ部は、そのアクチュエータ駆動信号によってアクチュエータを駆動してＣＣＤを移動させて、ＣＣＤの位置合わせを行っていた。

従って、撮像素子の実装には、それぞれの光軸に超高精度で位置決め調整が必要となり、大きな工数を必要とするものであった。例えば従来技術としては、特許文献１（特開２０００−１２５３１４）に記載されているように、実装、調整装置を工夫すること等が行われてきた。
特開２０００−１２５３１４号公報

しかしながら、このような従来構成では、撮像素子の実装に数ミクロンの実装精度が必要となり、低コスト化、歩留まり向上などの大きな妨げとなってきた。

また、近年、撮像素子の狭ピッチ化が進んでいながらも、上記実装精度の問題により、実装可能な撮像素子の画素ピッチが決まってしまい、狭ピッチ化により小型化された撮像素子を使いこなすことができなかった。さらに、小型化された撮像素子を使用できないため、光学系を小さくすることができず、カメラモジュール全体の小型化も困難であった。

本発明は上記課題を解決するために成されたものであり、撮像素子の実装を飛躍的に容易にしながらも、従来の多板カメラと同等の性能と小型化を実現することを可能としたカメラモジュールを提供することを目的とする。

上記課題を解決するために、本発明に係るカメラモジュールは、被写体からの光を集光する第１の光学系と、前記第１の光学系を透過した光を複数の色成分の光に分離する分光光学系と、前記分光光学系を通過した光を受光する複数の撮像素子と、前記複数の撮像素子により検出された複数の画像情報を合成することにより被写体像を生成する演算回路と、を有する。また、少なくとも１つの撮像素子により検出された画像情報の位置座標を水平、垂直方向にそれぞれ所定の移動量だけ移動させる画像処理部を有することが好ましい。また、前記画像処理部は、前記複数の撮像素子のうち少なくとも２つの撮像素子の画像情報を比較演算することにより前記移動量を決定することが好ましい。

これにより、複数の撮像素子の実装において、各撮像素子の相対位置を高精度で合わせる必要がなく、組立コストを著しく低減することができる。

また、前記分光光学系は、青色から緑色よりなる波長帯域の第１の光と、緑色から赤色よりなる波長帯域の第２の光とに分離し、前記第１の光を受光する青色から緑色よりなる波長帯域に感度を有する第１の撮像素子と、前記第２の光を受光する緑色から赤色よりなる波長帯域に感度を有する第２の撮像素子とを有することが好ましい。

これにより、撮像素子毎に対応する波長帯域が狭帯域となり、より収差の小さい高画質な映像を得ることが可能となる。

また、実質的に無限遠に設置された略白色の略点光源からの光を入射し、前記複数の撮像素子上でそれぞれ焦点を合わせ、それぞれの前記撮像素子上での位置座標を検出し、前記位置座標を前記画像処理部内の記憶装置に記憶させることが好ましい。

これにより、撮影毎に撮像素子の相対位置座標を検出するのではなく、製造時において、相対位置座標を検出し記憶装置に書き込むことにより、撮影時の画像処理時間を大幅に削減し、瞬時に画像を確認することができる。よって、動画対応のカメラなどには最適な処理である。

本発明によれば、実装を飛躍的に容易にしながらも、従来の多板カメラと同等の性能と小型化を実現することが可能となる。

（第１の実施の形態）
本発明の第１の実施の形態について、図面を参照しながら説明する。

図１は、本発明の第１の実施の形態のカメラモジュールの構成図である。図１において、１は第１のレンズ系、２は分光プリズム素子、４ａ、４ｂは撮像素子、５は第１の光軸、６ａ、６ｂは第２の光軸、８は鏡筒、９ａ、９ｂは信号線、１０は画像処理部である。

図２は、図１における撮像素子４ａ、４ｂの３×３画素分を拡大した図である。１０１は赤色光の波長帯域のみの光を透過させる特性を有するカラーフィルタ（以下、Ｒフィルタと記す）、１０２は緑色光の波長帯域のみの光を透過させる特性を有するカラーフィルタ（以下、Ｇフィルタと記す）、１０３は青色光の波長帯域のみの光を透過させる特性を有するカラーフィルタ（以下、Ｂフィルタと記す）である。図２に示すように、撮像素子４ａ上には、Ｒフィルタ１０１とＧフィルタ１０２が1画素おきに交互に形成されている。一方、撮像素子４ｂ上には、Ｇフィルタ１０２とＢフィルタ１０３が1画素おきに交互に形成されている。

本実施の形態では、第１のレンズ系１で被写体からの光を集光し、次の分光プリズム素子２に入射させる。分光プリズム素子２は、集光された光を、赤色光から緑色光の波長帯域の光と緑色光から青色光の波長帯域の光に分離し、前者は第２の光軸６ａの方向に、後者は第２の光軸６ｂの方向に射出する。射出されたそれぞれの光は、光軸６ａ、６ｂとそれぞれ垂直に配置された撮像素子４ａ、４ｂの撮像面上に結像する。撮像素子４ａ、４ｂで得られた画像情報は、信号線９ａ、９ｂを介して画像処理部１０に運ばれ、画像処理部１０内の演算回路において、撮像素子４ａ、４ｂからの画像情報に基づいて１つの被写体像を合成する。

次に、図３、図４を用いて、撮像素子４ａ、４ｂにより得られる画像情報について、互いの相対位置座標を決定し、位置座標をシフトした後、合成するための基本アルゴリズムについて説明する。

図３は、画像処理アルゴリズムの基本的な流れを示す図である。図４は、撮像素子４ａ、４ｂ上の検出ブロックを示す図である。

まず、Ｓ１０１において、撮像素子４ａの中央部に第１の検出ブロック１０４を設定する。第１の検出ブロック１０４は、８×８画素から６４×６４画素程度のサイズが適当である。なお、光学系の倍率を大きくした場合には、検出ブロックの画素サイズを大きくすることが好ましい。これにより効率的に相対位置座標の決定を行うことが可能となる。撮像素子４ｂ上にも、撮像素子４ａとほぼ同じ位置に、同じサイズの第２の検出ブロック１０５を設定する。このとき、検出ブロック１０４内のＧフィルタを形成した画素と、検出ブロック１０５内のＧフィルタを形成した画素とが、各検出ブロック内において同じ位置にくるように各検出ブロック１０４、１０５を設定する。

次に、Ｓ１０３において、対応画素を決定するためのシフト量評価値計算を行う。シフト量評価値計算の一例について以下に説明する。図４において、Ｓ１０１で撮像素子４ｂ上に設定した第２の検出ブロック１０５を、ｘ軸方向にｋ画素だけ移動し、ｙ軸方向にｊ画素だけ移動した時、第２の検出ブロックは１０６の位置に移動する。そして、第１の検出ブロック１０４と第２の検出ブロック１０６とについて、各検出ブロック内における対応する画素の出力値の差を計算し、検出ブロック内の全ての画素について合計したものを第２の検出ブロック１０６の位置におけるシフト量評価値とした。なお、本実施の形態では、撮像素子４ａ、４ｂにおける緑色光を検出する画素、即ち、図２におけるＧフィルタ１０２に対応する画素の出力についてのみ計算した。また、シフト前後の各検出ブロック内において、緑色光を検出する画素の位置が対応するように、シフト量（ｋ、ｊ）において、ｋ、ｊは共に偶数とした。第１の検出ブロック１０４内の画素（ａ、ｂ）における緑色光の検出値をＧ１（ａ、ｂ）とし、第２の検出ブロック１０６内の画素（ａ、ｂ）における緑色光の検出値をＧ２（ａ、ｂ）すると、シフト量評価値Ｒ（ｋ、ｊ）は（数１）により求められる。

このシフト量評価値Ｒ（ｋ、ｊ）は、シフト量（ｋ、ｊ）だけ移動した第２の検出ブロック１０６が、第１の検出ブロック１０４とどれだけ相関があるかを示し、値が小さいほど２つの検出ブロックが類似していることを示している。

図５に、シフト量の評価値と第２の検出ブロックのシフト量との関係を示す。図５は、横軸にｘ方向の移動画素数(ｋ)、縦軸にシフト量評価値（Ｒ）をプロットしたものである。シフト量評価値はｋの値に連動して変化し、類似度が高くなると値が著しく小さくなる。図５ではｋ＝ｋ_１の時に最小値をとっている。なお、図５では、ｊの値をｊ＝ｊ_１に固定し、ｋの値のみを変化させた場合について示したが、同様の変化が、ｊの値を変化させた場合についても発生する。従って、シフト量評価値計算Ｓ１０３では、シフト量の評価値計算Ｓ１０３が、所定の範囲の取りうる全てのｋの値及びｊの値について行われるように反復処理を行う。

なお、このｘ方向の移動画素数の絶対値と、ｙ方向の移動画素数の絶対値とを、撮像素子の実装精度と同程度に設定することにより、処理時間を削減しながら優れた画像を合成することができる。具体的には、機械的に撮像素子を位置決めできる実装精度をｑとし、撮像素子の画素ピッチをｐとすると、（数２）の関係を有することが好ましい。ここで、ｎは（数３）を満たす最もを満たす最も小さな整数が適当である。

次に、Ｓ１０４において、Ｓ１０３で求めた各シフト量評価値から最小値を抽出する。ここでは、上記アルゴリズムで得られたシフト量の評価値計算の結果を比較し、その最小値を求める。そして、Ｓ１０５において、最小値を得た時のシフト量（ｋ、ｊ）の抽出を行う。ｋ＝ｋ_１、ｊ＝ｊ_１のとき最小値が得られたと仮定すると、撮像素子４ａ上の第１の検出ブロックに結像した像は、撮像素子４ｂ上の、ｘ方向にｋ_１画素、ｙ方向にｊ_１画素移動した時の第２の検知ブロックに結像した像と一致していると判断し、シフト量（ｋ_１、ｊ_１）を抽出する。

最後に、Ｓ１０６において、撮像素子４ｂより抽出される緑色信号、青色信号の画素の位置座標情報（ｘ、ｙ）に対して、ｘをｘ−ｋ_１、ｙをｙ−ｊ_１とする平行移動変換を行い、撮像素子４ａと画像の原点を合わせる。そして、原点合わせされた２つの画像、即ち、撮像素子４ａによる緑色出力と赤色出力、及び、撮像素子４ｂによる緑色出力と青色出力とを合成し１枚の画像を形成する。以上により、画像処理のアルゴリズムが終了する。

なお、本実施の形態では、シフト量評価値計算を製造時または初期化時に一度だけ行い、それにより得られたシフト量の情報を画像処理部内部のメモリー部に記憶させ、撮影毎にその情報を参照し、所定のシフト量を移動させて画像を合成することができる。また、撮影毎に、被写体像に対してシフト量評価値計算によりシフト量を決定し、得られたシフト量だけ画像を移動させ合成することも可能である。

前者の場合には、製造工場内で所定の被写体を撮影しシフト量の抽出が行われるため、ユーザーには演算時間を意識させず、高速で画像を取り込める利点がある。一方、後者の場合には、温度変化等の環境変化により撮像素子の相対位置が僅かに変化した場合でも、常に優れた画像を得ることができるという利点がある。

前者の場合における、シフト量評価計算のために用いる装置の一例を、図１を用いて説明する。図１において、カメラモジュールの被写体側に、第１の光軸５に平行な白色光を発する光源を準備する。この光源は実質的に無限遠に設置された略白色の略点光源でも良い。この光源から射出された平行光線は第１のレンズ素子１で集光され、分光プリズム素子２内で波長帯域別に分光される。具体的には、撮像素子４ａ側には、緑色光より長波長側の光が誘導され、撮像素子４ｂ側には、緑色光より短波長側の光が誘導され、それぞれの撮像素子上に結像する。撮像面がそれぞれの光学系の焦点位置にある時、非常に小さな点として結像する。従って、この像から図３に示した画像処理のアルゴリズムによりシフト量を決定することにより、高精度にシフト量を決定することができる。

なお、本実施の形態では、撮像素子の緑色画素だけを用いてシフト量を決定する場合について説明したが、例えば、製造工場内でシフト量決定を行う場合には、赤色光、緑色光、青色光ともに、撮像素子の各光検出素子（例えば、フォトダイオード、以下、ＰＤと記す）の出力が同値となる被写体を準備することは容易である。従って、赤色光、緑色光、青色光の全ての画素を用いて、前述したシフト量評価値計算を行うことにより、より高精度にシフト量を決定することが可能となり、より高画質の画像を得ることができる。この場合には、シフト量（ｋ、ｊ）のｋ、ｊは、偶数に限らずすべての整数について計算する。

次に、図６、図７を用いて、分光光学系である分光プリズム素子の構成の例を説明する。なお、ここでは、２つの波長帯域に分光する分光プリズム素子の構成の一例を説明する。

図６は分光プリズム素子付近の構成であり、図７は分光プリズム素子の拡大概要図である。図１と同じ構成要素については同じ符号を用い説明を省略する。図６、図７において、２ａは分光プリズム素子、１１は入射口、１２光学多層膜、１３ａ、１３ｂはガラス基板である。第１のレンズ素子１（不図示）を通過した光線は、入射口１１を通過し分光プリズム素子２ａに入射する。分光プリズム素子２ａでは、光学多層膜１２の作用により、ある波長帯域の光はプリズム素子２ａを通過して光軸６ａの方向に進み撮像素子４ａに入射し結像する。一方、別の波長帯域の光は反射して光軸６ｂ方向に進み、撮像素子４ｂに入射し結像する。

本実施形態における分光プリズム素子の構成は、図７に示すようにガラス基板１３ａと１３ｂの間に多数層の光学多層薄膜１２を形成してなっている。また、ガラス基板１３ａと１３ｂは、撮像素子４ａ方向に射出される光線と撮像素子４ｂ方向に射出される光線に光路差が生じないような構成となっている。

図８は、本実施の形態で用いた酸化タンタルと酸化シリコンよりなる光学多層膜、Ｇ／Ｈ_０(Ｌ₁Ｈ_１)^９(Ｌ_２Ｈ_２)^７(Ｌ_３Ｈ_３)^７Ｌ_３Ｈ_４／Ａの透過特性を示すグラフである。ここで、Ｇはガラス、Ａは空気、Ｈ_nはＴｉＯ₂、L_nはＳｉＯ₂を表し、それぞれの屈折率は、ｎ(Ｇ)＝１．５２、ｎ(Ａ)＝１．０、ｎ(Ｈ_n)＝２．３、ｎ(L_n)＝１．４６である。図８において、横軸には波長を、縦軸には透過率をプロットしている。図８によると、波長５７０ｎｍ付近１４で透過率が５０％となっている。波長５７０ｎｍは緑色光にあたり、この光学多層膜は、緑色光より長波長側の光を透過し、また、緑色光より短波長側の光を反射する構成であることがわかる。従って、このような光学多層膜を図７の光学多層膜に用いることにより、緑色光より長波長側の光は分光プリズム素子を通過して光軸６ａ方向に進み、撮像素子４ａに入射し結像する。一方で、緑色光より短波長側の光は分光プリズム素子上の光学多層膜１２で反射して撮像素子４ｂに入射し結像する。

なお、撮像素子４ａと４ｂに入射する光線の光学的な距離を異ならせて構成することにより、より高画質の画像を得ることができる。具体的な実施の形態を図９に示す。図９において、光軸方向の厚みが１３ａと１３ｂで異ならせて構成している。撮像素子４ａ近傍の波線ａの位置が、撮像素子４ｂと等距離になる位置である。即ち、撮像素子４ａは、撮像素子４ｂに比べて光学長を長く設定している。第１のレンズ素子（不図示）により、曲げられた光線は、僅かであるが分散の影響で、波長により集光度合いが変わる。そこで、光学長を僅かに変更して、撮像面に上に像を結像させる構成を実現している。この構成により撮像素子４ａ、４ｂ上に、それぞれ波長帯域の異なる画像が収差による乱れなく像を結像することができる。ここでは、光学プリズム素子のガラス基板の厚みの差異により光学長を異ならせたが、光学プリズム素子と撮像素子とを離して設置し、両素子間の距離を異ならせて設置することによっても同等の効果を得ることができる。

また、別の実施の形態として、図１０に示すように、撮像素子４ａ、４ｂと分光プリズム素子２ａの間に、第２のレンズ素子３ａ、３ｂを挿入し、この第２のレンズ素子３ａ、３ｂによって、波長の異なることに依存する第１のレンズ素子の収差を補正し、かつ、光線を集光させることにより、同等の効果を得ることができる。なお、第２のレンズ素子３ａ、３ｂは光学プリズム素子２ａや撮像素子４ａ、４ｂと別体で構成しても良いが、光学プリズム素子２ａや撮像素子４ａ、４ｂの一部にレンズ効果を持たせても良い。

また、本実施の形態における光学多層膜は、入射角度依存性を有する。これについて、図１１を用いて説明する。通常、光は偏光を有し、種々の偏光が混ざった状態で存在する。最も極端な例としては、図１１に示すように、入射光に紙面に垂直な方向の偏光１５のみの場合と、紙面に平行な方向の偏光１６のみの場合である。偏光１５のみの場合は、図１１に示すように、光線の方向に対して傾いた光学多層膜１２に入射しても、透過特性は変化せずに図１２におけるＡ特性を示す。一方、偏光１６のみの場合は、図１１に示すように、光線の方向に対して傾いた光学多層膜１２に入射すると、その偏光面の影響により図１２におけるＢ特性のように低周波数側にシフトした特性となる。本発明では、このシフト量を小さくすることが必要であり、光学多層膜の傾斜をできるだけ小さくなるように分光プリズム素子を構成することが望ましい。

次に、偏光を考慮した光学プリズム素子の構成の一例を示す。図１３に分光プリズム素子付近の構成を示す。図１と同じ構成要素については同じ符号を用い説明を省略する。図１３において、２ａは分光プリズム素子、１１は入射口、１２光学多層膜、１３ａ、１３ｂはガラス基板である。また、図１４に分光プリズム素子２ａの拡大概要図を示す。分光プリズム素子２ａの構成は、図１４に示すように、ガラス基板１３ａ上に多数層の光学多層膜１２を形成してなっている。ガラス基板１３ａは光線入射側と射出側は平行な構成とし、ガラス基板の厚みの差による光路差によって画質が劣化しないような構成となっている。

第１のレンズ素子１（不図示）を通過した光線は、入射口１１を通過し分光プリズム素子２ａに入射する。分光プリズム素子２ａにて、表面に形成された光学多層膜の作用により、ある波長帯域の光線はプリズム素子２ａを通過して光軸６ａ方向に進み、撮像素子４ａに入射し結像する。一方、別の波長帯域の光線は反射して光軸６ｂ方向に進み、撮像素子４ａに入射する光線と光路差がないようにするためのガラス基板１３ｂを介して、撮像素子４ｂに入射し結像する。但し、撮像素子４ｂをできるだけ分光プリズム素子に近接して配置したい場合は、ガラス基板１３ｂを削除する構成とすることにより、屈折率差分だけ撮像素子を近接させて配置することも可能である。

なお、本実施の形態では、以下に示す３つの初期化処理を行った。

第１の初期化処理は、撮像素子における各ＰＤ（フォトダイオード）の感度ばらつきによる色むらに対処するものであり、撮像素子上の色むらを補正する関数（例えば、ＰＤ感度分布の逆特性）を抽出する処理である。具体的には、画角より大きな均一平面光源を準備し、光量を変化させながら各ＰＤの出力を検出する。光量に対しＰＤの出力が非線形性を示す点を考慮すると、光量を３段階以上変化させ、それぞれのＰＤ出力を検出し、内挿近似することにより各ＰＤの感度カーブを検出することが好ましい。但し、１光量時のみのＰＤ出力を検出し、線形近似する事によっても、効果を得ることはできる。

第２の初期化処理は、それぞれの撮像素子における像の倍率を補正する処理である。具体的には、被写体として既知のサイズの物体を準備し、それを撮像素子上に結像させ像のサイズを抽出する。それぞれの撮像素子の像と被写体とのサイズ比の比を倍率補正定数として抽出し、撮影時に像の大きさを所定の比率で拡大または縮小し、撮像素子間の倍率差による画素情報ズレを補正する。なお、簡易的には、各撮像素子の光学的な設計焦点距離の比を倍率補正定数としても、効果を得ることができる。さらに、各光学系の焦点距離を計測し、その比を倍率補正定数としても、同等の効果を得ることができる。

第３の初期化処理は、撮像素子の取り付け時の回転ズレを補正する処理である。まず、水平な線等の被写体を撮像し、それぞれの撮像素子の像を比較することにより、それぞれの撮像素子の回転ズレ角を検出する。補正方法は、撮像素子毎に、撮像素子の画素座標を撮像素子上の光軸点を中心とする極座標に変換し、回転ズレ角を回転座標変換の行列式に代入し、補正し、再度、極座標を直交座標に変化し、画像としてプロットする。再度、直交座標系に変換した際に、画素座標が小数となる場合はあるが、その場合は、周辺の複数の画素データの内挿補間処理から、整数座標の画素データを作成する処理を利用すれば十分である。

なお、遠方と近距離の被写体に対して、像の焦点を合わせるためには、Ｆナンバーを大きくする、撮像素子の画素ピッチを大きくするなどの方策が考えられる。ところが、前者は、撮像素子に導かれる光量が著しく低下し、十分な明るさの像が得られないという課題がある。また、後者は、像の解像度が十分に得られず境界線がガタガタした画像を得るという課題がある。これらの課題を解決するためには、焦点制御機能を付加する必要があり、本実施の形態では、次の３つの構成の焦点制御を選択できる。

第１の構成は、図１５記載の構成のように第１のレンズ素子１を光軸５方向に移動させる構成である。移動には、焦点制御用アクチュエータ（不図示）を用いる。前記焦点制御アクチュエータとしては電磁ボイスコイル型アクチュエータ、圧電アクチュエータなどがあるが、アクチュエータが如何なる構成を有していても、対象物（この場合は第１のレンズ素子１）を直線的に移動させることが実現できれば良い。第１のレンズ素子１を最も分光プリズム素子２側に移動させた場合には、遠距離被写体が撮像素子４ａ、４ｂ上で合焦点となり、遠距離被写体を高画質な像として撮像することができる。さらに、近距離の被写体に対しては、第１のレンズ素子１を分光プリズム素子２から離し１ａの位置に移動させると、近距離被写体が、撮像素子上で合焦点となり、近距離の被写体に対して高画質の映像を得ることができる。

第２の構成は、撮像素子４ａ、４ｂを光軸６ａ、６ｂ方向に移動させる構成である。第１の構成と同様に、焦点制御アクチュエータとしては電磁ボイスコイル型アクチュエータ、圧電アクチュエータなどがあるが、撮像素子４ａ、４ｂを直線的に移動させることが可能であれば如何なる方式のアクチュエータを利用しても問題はないが、本構成では、２つの部材を別々に制御しながら移動させる必要がある。撮像素子４ａ、４ｂを最も分光プリズム素子２側に移動させた場合には、遠距離被写体が撮像素子４ａ、４ｂ上で合焦点となり、遠距離被写体を高画質な像として撮像することができる。さらに、近距離の被写体に対しては、撮像素子４ａ、４ｂを分光プリズム素子２から離して設置すると、近距離被写体が、撮像素子上で合焦点となり、近距離の被写体に対して高画質の映像を得ることができる。

第３の構成は、分光プリズム素子２と撮像素子４ａ、４ｂの間に第２のレンズ素子を形成した構成において、前記焦点制御の方法に加えて、第２のレンズ素子３ａ、３ｂを光軸６ａ、６ｂ方向に移動させる構成である。第１の構成、第２の構成と同様に、焦点制御アクチュエータとしては電磁ボイスコイル型アクチュエータ、圧電アクチュエータなどがあるが、第２のレンズ素子３ａ、３ｂを直線的に移動させることが可能であれば如何なる方式のアクチュエータを利用しても問題はないが、本構成では、２つの部材を別々に制御しながら移動させる必要がある。第２のレンズ素子３ａ、３ｂを撮像素子側に移動させた場合には、遠距離被写体が撮像素子４ａ、４ｂ上で合焦点となり、遠距離被写体を高画質な像として撮像することができる。さらに、近距離の被写体に対しては、第２のレンズ素子３ａ、３ｂを分光プリズム素子２に近い位置まで動かすと、近距離被写体が、撮像素子上で合焦点となり、近距離の被写体に対して高画質の映像を得ることができる。

（第２の実施の形態）
以下、本発明の第２の実施の形態について、図面を参照しながら説明する。第１の実施の形態とは画像処理アルゴリズムが異なる。以下、異なる部分について説明する。

図１６は、本実施形態の画像処理アルゴリズムの基本的な流れを示す図である。なお、第１の実施形態の図３と同じ構成要素については、同じ符号を用い説明を省略する。図１６において、第１の実施の形態の画像処理アルゴリズムと異なるのは、Ｓ１０７の評価値の最小値多値抽出のステップを設けたことと、Ｓ１０５のシフト量決定の仕方である。

本実施の形態では、撮像素子４ａと撮像素子４ｂの画像を合成する際に、緑色を検出する画素が重ならないように合成することにより、画像の解像度を支配する緑色の情報を無駄なく利用し高解像度化を実現する。そのため、評価値の最小値抽出Ｓ１０４の後、第２シフト量評価値計算Ｓ１０９、評価値の最小値多値抽出Ｓ１０７、及びシフト量決定Ｓ１０５において、緑色を検出する画素が互いに重ならず、かつ、最もシフト量評価値が小さくなるようなシフト量を抽出し決定する。

具体的な第２シフト量評価値計算Ｓ１０９からシフト量決定Ｓ１０５までの一連の処理を以下に説明する。

まず、評価値の最小値抽出Ｓ１０４までのステップで、第１の実施の形態と同じようにシフト量評価値が最小となるシフト量を（ｋ_１、ｊ_１）を求める。

次に、第２シフト量評価値計算Ｓ１０９において、シフト量が（ｋ_１−１、ｊ_１−１）、（ｋ_１−１，ｊ_１＋１）、（ｋ_１＋１、ｊ_１−１）、（ｋ_１＋１、ｊ_１＋１）の場合のシフト量評価値をそれぞれ求める。

次に、評価値の最小値多値抽出Ｓ１０７において、Ｓ１０９で求められた４つのシフト量評価値の大小関係を比較し、最も小さいシフト量評価値と、２番目に小さいシフト量評価値となる２つのシフト量を抽出する。ここでは、シフト量（ｋ_１−１、ｊ_１−1)と（ｋ_１＋１、ｊ_１−１）とが抽出されたと仮定する。なお、３番目に小さいシフト量評価値となるシフト量も合わせて抽出する。

次に、シフト量決定Ｓ１０５において、Ｓ１０９で求められたシフト量（ｋ_１−１、ｊ_１−１)と（ｋ_１＋１、ｊ_１−１）の平均値を求め、これをシフト量（ｋ_２、ｊ_２）とする。この場合は、シフト量（ｋ_１、ｊ_１−１）となる。

最後に、画像シフト処理Ｓ１０６において、撮像素子４ｂより得られる緑色信号、青色信号の各画素位置座標情報（ｘ、ｙ）に対して、（ｘ−ｋ_２、ｙ−ｋ_２）と平行移動変換を行い、撮像素子４ａと画像の原点を合わせる。原点合わせされた２つの画像（撮像素子４ａ出力の緑色出力と赤色出力、撮像素子４ｂ出力の緑色出力と青色出力）を合成し、１枚の画像を形成する。

なお、Ｓ１０５において求めたシフト量が、Ｓ１０４で求めたシフト量と等しくなった場合には、Ｓ１０５において、Ｓ１００で求められた最も小さいシフト量評価値となるシフト量と、３番目に小さいシフト量評価値となるシフト量の平均値を求め、これをシフト量（ｋ_２、ｊ_２）とする。

第１の実施の形態では、各撮像素子の緑色の光線に感度を有する画素の出力を同一画素に合わせる処理を行ったが、本実施の形態では、撮像素子４ｂの緑色の光線に感度を有する画素の出力を撮像素子４ａのそれとｘ方向またはｙ方向に１画素ずらして合成することにより、合成画像の全画素において緑色の画像情報を確保でき、緑色の解像度を大きく向上することが可能となる。人間の目は、緑色帯域の感度が著しく高いため、緑色の解像度が画像の解像度の判断する重要なポイントなり、緑色の解像度が高い画像は高解像の画像と判断される。従って、本実施の形態の構成により、第１の実施の形態の効果に加え、さらに高解像度の画像を得られるという顕著な効果が得られる。

（第３の実施の形態）
以下、本発明の第３の実施の形態について、図面を参照しながら説明する。第１の実施の形態とは画像処理アルゴリズムが異なる。以下、異なる部分について説明する。

図１７は、本実施形態の画像処理アルゴリズムの基本的な流れを示す図である。なお、第１の実施形態の図３と同じ構成要素については、同じ符号を用い説明を省略する。図１７において、第１の実施の形態の画像処理アルゴリズムと異なるのは、Ｓ１０８の画素補間のステップを設けたことと、Ｓ１０３のシフト量評価値計算におけるシフト量として取る値である。

まず、撮像素子４ａ上の赤色検出画素の信号を使い、緑色検出画素の信号を補間する。補間方法の一例として、実験的に得られた緑色検出信号（以下、Ｇ）：赤色検出信号（以下、Ｒ）＝ローパスフィルタ通過後の緑色検出信号（以下、ＧＬＰＦ）：ローパスフィルタ通過後の赤色検出信号（以下、ＲＬＰＦ）の関係に注目し、Ｇ＝Ｒ×ＧＬＰＦ／ＲＬＰＦとする方法を利用した。同様に、撮像素子４ｂについては、青色検出信号を使って、緑色検出画素信号を補間した。補間方法は、撮像素子４ａと同様で、Ｇ＝Ｂ×ＧＬＰＦ／ＢＬＰＦとする方法を利用した。ここで、Ｂは青色検出信号、ＢＬＰＦはローパスフィルタ通過後の青色検出信号である。なお、補間方法としては、他の方法を用いることも可能である。

次に、ブロック抽出Ｓ１０１において、撮像素子４ａ、４ｂ上に、第１の検出ブロック１０４及び第２の検出ブロック１０５を設定する。このステップは第１の実施の形態と基本的に同じであるが、第１の実施の形態のように、検出ブロック１０４内のＧフィルタを形成した画素と、検出ブロック１０５内のＧフィルタを形成した画素とが、各検出ブロック内において同じ位置にくるように各検出ブロック１０４、１０５を設定する必要はない。

次に、Ｓ１０３において、シフト量の評価値の計算を行う。この時、シフト量の評価値計算は、撮像素子４ａ、４ｂの緑色検出画素の出力と、Ｓ１０８の画素補間により求めた緑色信号とを基に計算する。即ち、シフト量（ｋ、ｊ）として、ｋ、ｊの値としては所定の範囲の全ての整数について計算する。

Ｓ１０４以降のステップについては、第１の実施の形態と同じである。

第１の実施の形態では、各撮像素子の緑色の光線に感度を有する画素の出力を同一画素に合わせる処理を行ったが、本実施の形態では、撮像素子４ａ、撮像素子４ｂの赤色検出画素、青色検出画素から緑色の信号を作り出し、撮像素子からの輝度信号（ここでは、緑色信号）の解像度を、実施の形態１、２に比べて高密度にする事により、撮像素子４ａと撮像素子４ｂの画像合わせ精度を向上しより高精度での画像合わせを実現し、高画質の画像を得ることを可能とした。

さらに、Ｓ１０８において補間した緑色信号の画素データを利用して、１／１０画素、１／１００画素単位で画素間を補間することにより、より高精度の画像合わせが可能となり、より高画質の映像を得ることも可能である。

（第４の実施の形態）
図１８は、本発明の第４の実施の形態のカメラモジュールの説明図である。図１と同じ構成要素については同じ符号を用い説明を省略する。２１は回折格子を形成した回折素子である。回折素子２１に第１のレンズ素子１の集光性能の一部、または全てを担わせることにより、第１のレンズ素子の曲率半径を大きくし厚みを薄くすることができる。これにより、モジュール全体長（第１の光軸５方向の全長）をさらに短くすることができる。

また、分光プリズム素子の前段の光学系にて大きな集光度が得られるため、分光プリズム素子２から撮像素子４ａ、４ｂまでの後段の光学系での集光度を小さくすることができる。その結果、第２のレンズ素子３ａ、３ｂの曲率半径を大きくしたり、厚みを薄くすることが可能となり、モジュール幅（第２の光軸６ｂ方向の全長）も小さくすることができる。

さらに、回折素子２１に第１のレンズ素子１の集光性能を全て担わせることにより、第１のレンズ素子１を省略することができ、モジュール全体長（第１の光軸方向の全長）をさらに短くすることができる。

また、第１のレンズ素子１で発生する色収差を回折素子２１で補正することができ、後段に色収差補正能力を有する光学素子を配置する必要なしに、高画質な画像を得ることができる。

また、回折素子２１を被写体（不図示）と第１のレンズ素子１の間に配置する構成にすることも可能である。このように構成することにより、回折素子２１には、光学系により集光された光が入射するのではなく被写体から発せられた光線が入射する。被写体から発せられた光線は、回折素子２１の回折格子面の法線に対して比較的小さな角度で入射する。一般に、回折格子の回折効率は入射角依存性を有し、入射角が大きくなるにつれて回折効率が悪化するため、上記構成により、回折効率を高くすることができる。

図１９は、本実施の形態のカメラモジュールの別構成の説明図である。図１８では第１のレンズ素子１と分光プリズム素子２の間に回折素子２１を挿入しているのに対し、図１９では第２のレンズ系３ａ、３ｂと各撮像素子４ａ、４ｂとの間に回折素子２２ａ、２２ｂを挿入している。本構成においても、上記構成と同様の効果を有する。

なお、図１９の構成において、回折素子２２ａ、２２ｂに第２のレンズ素子３ａ、３ｂの集光性能の一部、または全てを担わせることにより、第２のレンズ素子の曲率半径を大きくし、厚みも薄くすることができる。その結果、モジュール全体長（第１の光軸５方向の全長）をさらに短くしながら、モジュール幅（第２の光軸６ａ、６ｂ方向の全長）も小さくすることができる。

また、本構成では、分光後の光線に対して回折素子２２a、２２ｂによる集光を行っているため、回折素子に入射する光線の波長帯域は非常に狭い帯域となっている。例えば、撮像素子４ａに入射する光線は、波長帯域が赤色から緑色帯域の光線である。一般に、回折格子は、対象波長帯域を特定して設計され、それ以外の波長が入射すると著しく回折効率が低くなる。したがって、狭い波長帯域の光線のみが回折素子に入射する本構成は、回折素子を用いる上で効果的な構成である。

さらに、回折素子２１を分光プリズム素子２と、第２のレンズ素子３ａ、３ｂ間に配置する構成とすることも可能である。本構成においても、上記構成と同等の効果が得られる。

（第５の実施の形態）
図２０から図２３は、本発明の第５の実施の形態のカメラモジュールの説明図である。図２０において、２３は一方の面に回折格子を形成した第１の回折格子レンズ素子である。

本実施の形態のように、別途、回折素子を挿入する代わりに、レンズ素子や分光プリズム素子の表面に回折格子を形成することにより、集光性能を向上させることも可能である。本構成により、第４の実施の形態との同様の効果が得られるとともに、回折素子の挿入が不要となることによりモジュール全体長（第１の光軸５方向の全長）やモジュール幅（第２の光軸６ａ、６ｂ方向の全長）を削減することが可能となる。

なお、図２０には第１のレンズ素子の片面に回折格子を形成した構成を示したが、図２１の様に両面に回折格子を形成した場合も、同様の効果が得られることは言うまでもなく、回折格子面がさらに１面追加された事により、画像の品質をさらに向上させることが可能となる。

また、図２２、２３の様に、第２のレンズ素子３ａ、３ｂの代わりに、第２の回折格子レンズ素子２５ａ、２５ｂ、あるいは２６ａ、２６ｂを配置しても良い。

また、回折格子をレンズの片面に形成した構成では、レンズを組み付ける際に回折格子とは反対側の面を保持することにより、繊細な回折格子面を傷つけることなく組立を行うことができる。

また、図２０の構成は、ユーザーが第１の回折格子レンズ素子２３の表面に付着したゴミ等を拭き取る際にも、回折格子を破損する危険性がない。なお、図２１の構成においても、回折格子レンズ素子２４の回折格子面に保護膜を形成することにより、上記課題を克服することが可能である。図２４は、第１の回折格子レンズ素子２４の表面に保護膜を形成した構成を示す説明図である。保護膜２７の材質としては、例えば、アルミナ、アクリルなどが考えられる。保護膜２７は、回折格子の保護を第１の目的として形成されているため、回折格子の高さより厚ければ十分な厚みである。また、フッ化マグネシウムなど低屈折率材料を保護膜とすることにより、反射防止効果を得ることができる。

また、図２５に示す回折格子部の拡大概略図を用いて本構成の別の効果を説明する。図２５において、２４は屈折率がｎ１の回折格子レンズ素子であり、２７は屈折率がｎ２の保護膜である。また、ｄは特定波長λに対して最適な回折格子の高さ（最も効率の良い）である。これらの定数には、ｄ＝λ／（ｎ２−ｎ１）の関係が成立する。ここでは、保護膜２７の材質として、波長に関係なくλ／（ｎ２−ｎ１）の値がほぼ一定となる材料を選択する。これにより、すべての波長について、最適な回折格子の高さが一定値となり、保護膜の効果において、すべての波長について、回折格子は最高効率を実現し、回折格子の最も大きな欠点を補正することができる。なお、すべての波長に対してλ／（ｎ２−ｎ１）が一定となる材料の選択が困難な場合は、保護膜２７における効率補正効果を、波長帯域を限定して実施するのが好ましい。本構成では、入射する光線の波長帯域が狭帯域であるため、第２の回折格子レンズ素子２６ａ、２６ｂに保護膜による回折効率補正効果を持たせる最もこの好ましい構成である。

本発明のカメラモジュールは、デジタルカメラ、デジタルビデオカメラ等に使用するカメラモジュールとして有用である。

本発明の第１の実施の形態のカメラモジュールの説明図 本発明の第１の実施の形態のカメラモジュールの撮像素子の撮像面の一部の拡大図 本発明の第１の実施の形態のカメラモジュールの画像処理アルゴリズムの基本的な流れを示す図 本発明の第１の実施の形態のカメラモジュールの撮像素子上の検出ブロックの位置を示す図 本発明の第１の実施の形態のカメラモジュールのシフト量の評価値と第２の検出ブロックの移動量の関係の概略図 本発明の第１の実施の形態のカメラモジュールの分光プリズム素子付近の構成を示す図 本発明の第１の実施の形態のカメラモジュールの分光プリズム素子の拡大概要図 本発明の第１の実施の形態のカメラモジュールの分光プリズム素子の光学多層膜の特性を示す図 本発明の第１の実施の形態のカメラモジュールの分光プリズム素子付近の構成を示す図 本発明の第１の実施の形態の別の実施例のカメラモジュールの分光プリズム素子付近の構成を示す図 本発明の第１の実施の形態のカメラモジュールの分光プリズム素子に入射する光線の偏光状態を示す図 本発明の第１の実施の形態のカメラモジュールの分光プリズム素子の光学多層膜の特性を示す図 本発明の第１の実施の形態のカメラモジュールの偏光を考慮した分光プリズム素子構成の一例を示す図 本発明の第１の実施の形態のカメラモジュールの偏光を考慮した分光プリズム素子構成の一例の拡大概要図 本発明の第１の実施の形態のカメラモジュールの焦点制御を説明する図 本発明の第２の実施の形態のカメラモジュールの画像処理アルゴリズムの基本的な流れを示す図 本発明の第３の実施の形態のカメラモジュールの画像処理アルゴリズムの基本的な流れを示す図 本発明の第４の実施の形態のカメラモジュールの説明図 本発明の第４の実施の形態の別構成のカメラモジュールの説明図 本発明の第５の実施の形態のカメラモジュールの説明図 本発明の第５の実施の形態の別構成のカメラモジュールの説明図 本発明の第５の実施の形態の別構成のカメラモジュールの説明図 本発明の第５の実施の形態の別構成のカメラモジュールの説明図 本発明の第５の実施の形態のカメラモジュールの第１の回折格子レンズ素子の表面に保護膜を形成した構成を示す説明図 本発明の第５の実施の形態のカメラモジュールの第１の回折格子レンズ素子の回折格子部の拡大概略図

符号の説明

１ 第１のレンズ素子
２ 分光プリズム素子
３ａ，３ｂ 第２のレンズ素子
４ａ，４ｂ 撮像素子
５ 第１の光軸
６ａ，６ｂ 第２の光軸
８ 鏡筒
９ａ，９ｂ 信号線
１０ 画像処理部
１２ 光学多層膜
１３ ガラス基板
１５ 紙面に垂直な方向の偏光
１６ 紙面に平行な方向の偏光
２１，２２ａ，２２ｂ 回折格子素子
２３，２４ 第１の回折格子レンズ素子
２５ａ，２５ｂ，２６ａ，２６ｂ 第２の回折格子レンズ素子
２７ 保護膜
１０１ 赤色帯域のみの光線を透過させる特性を有するカラーフィルタ
１０２ 緑色帯域のみの光線を透過させる特性を有するカラーフィルタ
１０３ 青色帯域のみの光線を透過させる特性を有するカラーフィルタ
１０４ 第１の検出ブロック
１０５ 第２の検出ブロック
１０６ 水平方向にｋ画素、垂直方向にｊ画素移動した後の第２の検出ブロック

Claims (20)

1. 被写体からの光を集光する第１の光学系と、
   前記第１の光学系を透過した光を複数の色成分の光に分離する分光光学系と、
   前記分光光学系を通過した光を受光する複数の撮像素子と、
   前記複数の撮像素子により検出された複数の画像情報を合成することにより被写体像を生成する演算回路と、
   を有するカメラモジュール。
2. 少なくとも１つの撮像素子により検出された画像情報の位置座標を水平、垂直方向にそれぞれ所定の移動量だけ移動させる画像処理部を有する請求項１記載のカメラモジュール。
3. 前記画像処理部は、前記複数の撮像素子のうち少なくとも２つの撮像素子の画像情報を比較演算することにより前記移動量を決定する請求項２記載のカメラモジュール。
4. 前記分光光学系は、青色から緑色よりなる波長帯域の第１の光と、緑色から赤色よりなる波長帯域の第２の光とに分離し、
   前記第１の光を受光する青色から緑色よりなる波長帯域に感度を有する第１の撮像素子と、
   前記第２の光を受光する緑色から赤色よりなる波長帯域に感度を有する第２の撮像素子と、を有する請求項３記載のカメラモジュール。
5. 前記第１の撮像素子は、青色近傍の光のみを透過させるフィルタと、緑色近傍の光のみを透過させるフィルタとを、１画素おきにフォトダイオードの前面に有し、
   前記第２の撮像素子は、緑色近傍の光のみを透過させるフィルタと、赤色近傍の光のみを透過させるフィルタとを、１画素おきにフォトダイオードの前面に有する、請求項４記載のカメラモジュール。
6. 実質的に無限遠に設置された略白色の略点光源からの光を入射し、前記複数の撮像素子上でそれぞれ焦点を合わせ、それぞれの前記撮像素子上での位置座標を検出し、前記位置座標を前記画像処理部内の記憶装置に記憶させる請求項３記載のカメラモジュール。
7. 前記分光光学系と前記撮像素子との間に第２の光学系を有する請求項３記載のカメラモジュール。
8. 前記第１の光学系に直結した駆動装置によって、前記第１の光学系を光軸方向に移動させ焦点合わせを行う請求項３記載のカメラモジュール。
9. 前記第２の光学系に直結した駆動装置によって、前記第２の光学系を光軸方向に移動させ焦点合わせを行う請求項７記載のカメラモジュール。
10. 前記撮像素子に直結した駆動装置によって、前記撮像素子を光軸方向に移動させ焦点合わせを行う請求項３記載のカメラモジュール。
11. 前記画像処理部は、前記撮像素子から得られる画像情報を既定の増幅率で増幅する請求項３記載のカメラモジュール。
12. 均一な輝度の面状の白色光源からの光を入射し、前記２つの撮像素子上でそれぞれ焦点を合わせ、それぞれの前記撮像素子の感度分布を検出し、前記感度分布の逆特性を前記画像処理部内の記憶装置に記憶させ、前記逆特性を前記撮像素子から得られる画像情報の増幅率とし増幅する請求項１１記載のカメラモジュール。
13. 前記画像処理部は、少なくとも一方の撮像素子の位置座標を所定の倍率で補正する請求項３記載のカメラモジュール。
14. 所定の被写体からの光を入射し、前記２つの撮像素子上でそれぞれ結像させ、それぞれの撮像素子上の像の大きさを検出し、前記大きさの比を前記画像処理部内の記憶装置に記憶させる請求項１３記載のカメラモジュール。
15. ２つの光路における焦点距離比を前記画像処理部内の記憶装置に記憶させる請求項１３記載のカメラモジュール。
16. 前記第１の光学系の少なくとも一つの表面に回折素子を形成している請求項３記載のカメラモジュール。
17. 前記第２の光学系の少なくとも一つの表面に回折素子を形成している請求項７記載のカメラモジュール。
18. 被写体と前記第１の光学系との間に回折格子を形成した光学素子を有する請求項３記載のカメラモジュール。
19. 前記第１の光学系と前記分光光学系との間に回折格子を形成した光学素子を有する請求項３記載のカメラモジュール。
20. 前記回折格子の表面に保護膜を形成した請求項１６から１９のいずれかに記載のカメラモジュール。

Images