JP5173536B2 - 撮像装置及び光軸制御方法 - Google Patents

Description

本発明は、撮像装置及び光軸制御方法に関する。

近年、高画質なデジタルスチルカメラやデジタルビデオカメラ（以下、デジタルカメラという）が急速に普及してきている。また、並行してデジタルカメラの小型化、薄型化の開発も進められており、携帯電話等に小型で高画質なデジタルカメラが搭載され始めた。デジタルカメラに代表される撮像装置は、撮像素子とレンズ光学系から基本的に構成されている。撮像素子としては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等の電子デバイスが使用される。これら撮像素子は、撮像面に結像した光量分布を光電変換し撮影画像として記録するものである。レンズ光学系としては、収差を除去するために、数枚の非球面レンズから構成されているものが多い。更にズーム機能を持たせる場合は、複数のレンズと撮像素子の間隔を変える駆動機構（アクチュエータ）が必要となる。

一方、撮像装置の高画質化、高機能化の要求に応じて、撮像素子は多画素化、高精細化し、結像光学系は低収差、高精度化が進んでいる。それに伴い、撮像装置が大きくなり、小型化、薄型化が困難になってしまうという課題がある。このような課題に対して、レンズ光学系に複眼構造を採用する技術や、複数の撮像素子とレンズ光学系から構成される撮像装置が提案されている。

例えば、平面状に配置した固体レンズアレイと液晶レンズアレイと撮像素子から構成された撮像レンズ装置が提案されている（例えば、特許文献１参照）。この撮像レンズ装置は、図２４に示すように、レンズアレイ２００１と、同数の可変焦点型の液晶レンズアレイ２００２とを有するレンズ系と、このレンズ系を通して結像する光学像を撮像する撮像素子２００３と、撮像素子２００３により得られた複数の画像を画像処理して全体の画像を再構成する演算装置２００４と、演算装置２００４からフォーカス情報を検出して液晶レンズアレイ２００２を駆動する液晶駆動装置２００５から構成されている。この構成により焦点距離を短くした小型薄型の撮像レンズ装置が実現可能としている。

また、撮像レンズ、カラーフィルタ、検出器アレイから構成される４つのサブカメラを組み合わせて、サブピクセル解像度を有する薄型カラーカメラも提案されている。（例えば、特許文献２参照）。この薄型カラーカメラは、図２５に示すように４つのレンズ２２ａ〜２２ｄと、カラーフィルタ２５と、検出器アレイ２４から構成される。カラーフィルタ２５は、赤色光（Ｒ）を透過するフィルタ２５ａ、緑色光（Ｇ）を透過するフィルタ２５ｂと２５ｃ、青色光（Ｂ）を透過するフィルタ２５ｄから構成され、検出器アレイ２４は赤色、緑色、青色の画像を撮影する。この構成で、人間の視覚系で高い感度をもつ緑色の２つの画像から高解像度の合成画像を形成し、赤色と青色と組み合わせてフルカラー画像を得ることができるとしている。
特開２００６−２５１６１３号公報 特表２００７−５２０１６６号公報

ところで、多眼撮像装置でフルカラー画像を生成する場合には、色ずれの問題を解決する必要がある。特許文献２（図２５）において開示されている薄型カラーカメラは、４つのサブカメラで構成され、カラーフィルタ２５がベイヤ配列となっているため色ずれの問題は少ないが、更に多くのサブカメラを備えて高解像度化した場合、各色サブカメラの撮影位置が離れてしまうため、赤、緑、青の画像間にずれ（視差）が生じてしまう。たとえ製品組み立て時に厳密に調整されたとしても、経時変化等により光学レンズ系と撮像素子との相対位置が変わるため、このずれは発生してしまう。更に、撮影対象までの距離（撮影距離）によって、赤、緑、青の画像間のずれ量が変化するため、一義的な調整で対応することは困難であるという問題がある。高解像度の細かい模様まで撮影できる多眼カラー撮像装置においては、フルカラー合成した時の色ずれの問題を解決する必要性が高い。

本発明は、このような事情に鑑みてなされたもので、解像度を高めるため多数の撮像装置を備えた場合でも、色ずれなく高精彩なフルカラー画像を生成することができる撮像装置及び光軸制御方法を提供することを目的とする。

本発明は、緑色成分の画像を撮像する第１の撮像素子と、前記第１の撮像素子上に像を結像させる第１の光学系とからなる複数の緑色撮像部と、赤色成分の画像を撮像する第２の撮像素子と、前記第２の撮像素子上に像を結像させる第２の光学系とからなる赤色撮像部と、青色成分の画像を撮像する第３の撮像素子と、前記第３の撮像素子上に像を結像させる第３の光学系とからなる青色撮像部と、前記複数の緑色撮像部において撮像された複数の画像を合成して得られる緑色画像の解像度が所定の解像度になるように、前記緑色撮像部に入射する光の光軸を調整して前記複数の画像を合成することにより高解像度の緑色画像を得る高画質合成処理部と、前記高画質合成処理部により得られた前記高解像度の緑色画像と前記赤色撮像部によって撮像された赤色画像の相関値及び前記高解像度の緑色画像と前記青色撮像部によって撮像された青色画像の相関値のそれぞれが共に所定の相関値になるように、前記赤色撮像部及び前記青色撮像部のそれぞれに入射する光の光軸を調整して前記緑色画像、前記赤色画像及び前記青色画像を合成することによりカラー画像を得る色合成処理部とを備えることを特徴とする。

本発明は、前記第１、第２及び第３の光学系は、屈折率分布を変化させることが可能な非固体レンズを備え、前記非固体レンズの屈折率分布を変化させることにより、前記撮像素子に入射する光の光軸の調整を行うことを特徴とする。

本発明は、前記非固体レンズは、液晶レンズであることを特徴とする。

本発明は、前記高画質合成処理部は、前記複数の緑色撮像部において撮像された複数の画像を合成して得られる緑色画像の空間周波数分析を行い、高空間周波数帯域成分のパワーが予め決められた高解像度判定閾値以上であるか否かを判定し、この判定結果に基づいて光軸の調整を行うことを特徴とする。

本発明は、前記赤色撮像部及び前記青色撮像部は、前記複数の緑色撮像部に挟まれるように配置したことを特徴とする。

本発明は、前記複数の緑色撮像部、前記赤色撮像部及び前記青色撮像部を一列に配列したことを特徴とする。

本発明は、緑色成分の画像を撮像する第１の撮像素子と、前記第１の撮像素子上に像を結像させる第１の光学系とからなる複数の緑色撮像部と、赤色成分の画像を撮像する第２の撮像素子と、前記第２の撮像素子上に像を結像させる第２の光学系とからなる赤色撮像部と、青色成分の画像を撮像する第３の撮像素子と、前記第３の撮像素子上に像を結像させる第３の光学系とからなる青色撮像部と、前記複数の緑色撮像部において撮像された複数の画像を合成して得られる緑色画像の解像度が所定の解像度になるように、前記緑色撮像部に入射する光の光軸を調整して前記複数の画像を合成することにより高解像度の緑色画像を得る高画質合成処理部と、前記赤色撮像部と前記青色撮像部の間に配置された前記緑色撮像部によって得られた緑色画像と前記赤色撮像部によって撮像された赤色画像の相関値及び前記緑色画像と前記青色撮像部によって撮像された青色画像の相関値のそれぞれが共に所定の相関値になるように、前記赤色撮像部及び前記青色撮像部のそれぞれに入射する光の光軸を調整して前記緑色画像、前記赤色画像及び前記青色画像を合成することによりカラー画像を得る色合成処理部とを備えることを特徴とする。

本発明は、緑色成分の画像を撮像する第１の撮像素子と、前記第１の撮像素子上に像を結像させる第１の光学系とからなる複数の緑色撮像部と、赤色成分の画像及び青色成分の画像を撮像する第２の撮像素子と、前記第２の撮像素子上に像を結像させる第２の光学系とからなる赤色及び青色撮像部と、前記複数の緑色撮像部において撮像された複数の画像を合成して得られる緑色画像の解像度が所定の解像度になるように、前記緑色撮像部に入射する光の光軸を調整して前記複数の画像を合成することにより高解像度の緑色画像を得る高画質合成処理部と、前記高画質合成処理部により得られた前記高解像度の緑色画像と前記赤色及び青色撮像部によって撮像された赤色画像の相関値及び青色画像の相関値のそれぞれが共に所定の相関値になるように、前記赤色及び青色撮像部に入射する光の光軸を調整して前記緑色画像、前記赤色画像及び前記青色画像を合成することによりカラー画像を得る色合成処理部とを備えることを特徴とする。

本発明は、緑色成分の画像を撮像する第１の撮像素子と、前記第１の撮像素子上に像を結像させる第１の光学系とからなる複数の緑色撮像部と、赤色成分の画像を撮像する第２の撮像素子と、前記第２の撮像素子上に像を結像させる第２の光学系とからなる赤色撮像部と、青色成分の画像を撮像する第３の撮像素子と、前記第３の撮像素子上に像を結像させる第３の光学系とからなる青色撮像部とを備える撮像装置における光軸制御方法であって、前記複数の緑色撮像部において撮像された複数の画像を合成して得られる緑色画像の解像度が所定の解像度になるように、前記緑色撮像部に入射する光の光軸を調整して前記複数の画像を合成することにより高解像度の緑色画像を得る高画質合成処理ステップと、前記高画質合成処理ステップにより得られた前記高解像度の緑色画像と前記赤色撮像部によって撮像された赤色画像の相関値及び前記高解像度の緑色画像と前記青色撮像部によって撮像された青色画像の相関値のそれぞれが共に所定の相関値になるように、前記赤色撮像部及び前記青色撮像部のそれぞれに入射する光の光軸を調整して前記緑色画像、前記赤色画像及び前記青色画像を合成することによりカラー画像を得る色合成処理ステップとを有することを特徴とする。

本発明は、緑色成分の画像を撮像する第１の撮像素子と、前記第１の撮像素子上に像を結像させる第１の光学系とからなる複数の緑色撮像部と、赤色成分の画像を撮像する第２の撮像素子と、前記第２の撮像素子上に像を結像させる第２の光学系とからなる赤色撮像部と、青色成分の画像を撮像する第３の撮像素子と、前記第３の撮像素子上に像を結像させる第３の光学系とからなる青色撮像部とを備える撮像装置における光軸制御方法であって、前記複数の緑色撮像部において撮像された複数の画像を合成して得られる緑色画像の解像度が所定の解像度になるように、前記緑色撮像部に入射する光の光軸を調整して前記複数の画像を合成することにより高解像度の緑色画像を得る高画質合成処理ステップと、前記赤色撮像部と前記青色撮像部の間に配置された前記緑色撮像部によって得られた緑色画像と前記赤色撮像部によって撮像された赤色画像の相関値及び前記緑色画像と前記青色撮像部によって撮像された青色画像の相関値のそれぞれが共に所定の相関値になるように、前記赤色撮像部及び前記青色撮像部のそれぞれに入射する光の光軸を調整して前記高解像度の緑色画像、前記赤色画像及び前記青色画像を合成することによりカラー画像を得る色合成処理部とを有することを特徴とする。

本発明は、緑色成分の画像を撮像する第１の撮像素子と、前記第１の撮像素子上に像を結像させる第１の光学系とからなる複数の緑色撮像部と、赤色成分の画像及び青色成分の画像を撮像する第２の撮像素子と、前記第２の撮像素子上に像を結像させる第２の光学系とからなる赤色及び青色撮像部とを備える撮像装置における光軸制御方法であって、前記複数の緑色撮像部において撮像された複数の画像を合成して得られる緑色画像の解像度が所定の解像度になるように、前記緑色撮像部に入射する光の光軸を調整して前記複数の画像を合成することにより高解像度の緑色画像を得る高画質合成処理ステップと、前記高画質合成処理ステップにより得られた前記高解像度の緑色画像と前記赤色及び青色撮像部によって撮像された赤色画像の相関値及び青色画像の相関値のそれぞれが共に所定の相関値になるように、前記赤色及び青色撮像部に入射する光の光軸を調整して前記緑色画像、前記赤色画像及び前記青色画像を合成することによりカラー画像を得る色合成処理ステップとを有することを特徴とする。

本発明によれば、色ずれがなく高精彩なフルカラー画像を生成することが可能になるという効果が得られる。

＜第１の実施形態＞
以下、本発明の第１の実施形態による撮像装置を図面を参照して説明する。図１は同実施形態における撮像装置の外観を示す図である。図１に示すように、本発明による撮像装置の撮像部は、緑色の光を透過するカラーフィルタを備えた４系統の緑色撮像部１０Ｇ１、１０Ｇ２、１０Ｇ３、１０Ｇ４と、赤の光を透過するカラーフィルタを備えた１系統の赤色撮像部１０Ｒと、青色の光を透過するカラーフィルタを備えた１系統の青色撮像部１０Ｂの６系統の撮像部が基板１０に固定されている。

図２は、図１に示す撮像装置の詳細な構成を示すブロック図である。各撮像部１０Ｇ１、１０Ｇ２、１０Ｇ３、１０Ｇ４、１０Ｒ、１０Ｂのそれぞれは、撮像レンズ１１と撮像素子１２を備えている。撮像レンズ１１は撮像対象からの光を撮像素子１２上に結像し、結像された画像は撮像素子１２で光電変換され、電気信号である映像信号として出力される。撮像素子１２は、ＣＭＯＳロジックＬＳＩ製造プロセスを応用することで大量生産が可能であり、低消費電力の長所があるＣＭＯＳ撮像素子を使用する。特に限定はしないが、本実施形態のＣＭＯＳ撮像素子の仕様は、画素サイズは５．６μｍ×５．６μｍ、画素ピッチは６μｍ×６μｍ、実効画素数は６４０（水平）×４８０（垂直）である。６系統の撮像部１０Ｇ１、１０Ｇ２、１０Ｇ３、１０Ｇ４、１０Ｒ、１０Ｂにおいて撮像された画像の映像信号は映像処理部１３Ｇ１、１３Ｇ２、１３Ｇ３、１３Ｇ４、１３Ｒ、１３Ｂのそれぞれに入力する。６系統の映像処理部１３Ｇ１、１３Ｇ２、１３Ｇ３、１３Ｇ４、１３Ｒ、１３Ｂのそれぞれは、入力する画像に対して補正処理を施して出力する。

２系統の解像度変換部１４Ｒ、１４Ｂのそれぞれは、入力する画像の映像信号に基づいて、解像度の変換を行う。高解像度合成処理部１５は、４系統の緑色の画像の映像信号を入力して、この４系統の映像信号を合成して高解像度の画像の映像信号を出力する。色合成処理部１７は、２系統の解像度変換部１４Ｒ、１４Ｂが出力する赤色、青色の映像信号と、高解像度合成処理部１５が出力する緑色の映像信号とを入力して、これらの映像信号を合成して、高解像度のカラー映像信号を出力する。光軸制御部１６０は、４系統の緑色の画像の映像信号を合成した結果の映像信号を解析し、この解析結果に基づいて高解像度の映像信号が得られるように、３系統の撮像部１０Ｇ２、１０Ｇ３、１０Ｇ４の入射光軸を調整する制御を行う。光軸制御部１６１は、３系統（赤色、青色、緑色）の画像の映像信号を合成した結果の映像信号を解析し、この解析結果に基づいて高解像度の映像信号が得られるように、２系統の撮像部１０Ｒ、１０Ｂの入射光軸を調整する制御を行う。

次に、図３を参照して、図２に示す撮像装置の動作を説明する。図３は、図２に示す撮像装置の動作を示すフローチャートである。まず、６系統の撮像部１０Ｇ１、１０Ｇ２、１０Ｇ３、１０Ｇ４、１０Ｒ、１０Ｂのそれぞれは、撮像対象を撮像して、得られた映像信号（ＶＧＡ６４０×４８０画素）を出力する（ステップＳ１）。この６系統の映像信号は、６系統の映像処理部１３Ｇ１、１３Ｇ２、１３Ｇ３、１３Ｇ４、１３Ｒ、１３Ｂに入力する。６系統の映像処理部１３Ｇ１、１３Ｇ２、１３Ｇ３、１３Ｇ４、１３Ｒ、１３Ｂのそれぞれは、入力した映像信号に対して、映像補正処理すなわち歪補正処理を施して出力する（ステップＳ２）。

次に、２系統の解像度変換部１４Ｒ、１４Ｂのそれぞれは、入力した歪補正済みの映像信号（ＶＧＡ６４０×４８０画素）の解像度を変換するための処理を施す（ステップＳ３）。この処理によって、２系統の映像信号は、ＱＶＧＡ１２８０×９６０画素の映像信号に変換される。一方、高解像度合成処理部１５は、入力した４系統の歪補正済みの映像信号（ＶＧＡ６４０×４８０画素）を合成して高解像度化するための処理を施す（ステップＳ４）。この合成処理によって、４系統の映像信号は、ＱＶＧＡ１２８０×９６０画素の映像信号に合成されて出力される。このとき、高解像度合成処理部１５は、４系統の緑色の画像の映像信号を合成した結果の映像信号を解析し、この解析結果に基づいて高解像度の映像信号が得られるように、３系統の撮像部１０Ｇ２、１０Ｇ３、１０Ｇ４の入射光軸を調整する制御を行うように光軸制御部１６０に対して制御信号を出力する。

次に、色合成処理部１７は、３系統（赤色、青色、緑色）の映像信号（ＱＶＧＡ１２８０×９６０画素）を入力し、この３系統の映像信号を合成してＲＧＢカラーの映像信号（ＱＶＧＡ１２８０×９６０画素）を出力する（ステップＳ５）。このとき、色合成処理部１７は、３系統（赤色、青色、緑色）の画像の映像信号を合成した結果の映像信号を解析し、この解析結果に基づいて高解像度の映像信号が得られるように、２系統の撮像部１０Ｒ、１０Ｂの入射光軸を調整する制御を行うように光軸制御部１６１に対して制御信号を出力する。そして、色合成処理部１７は、所望のＲＧＢカラー映像信号が得られたか否かを判定し、得られるまで処理を繰り返し（ステップＳ６）、所望のＲＧＢカラー映像信号が得られた時点で処理が終了する。

次に、図４を参照して、図２に示す映像処理部１３Ｒの詳細な構成を説明する。図２に示す６系統の映像処理部１３Ｇ１、１３Ｇ２、１３Ｇ３、１３Ｇ４、１３Ｒ、１３Ｂは、同様の構成を備えているため、ここでは、映像処理部１３Ｒの詳細な構成を説明し、５つの映像処理部１３Ｇ１、１３Ｇ２、１３Ｇ３、１３Ｇ４、１３Ｂの詳細な構成の説明を省略する。映像処理部１３Ｒは、映像信号を入力する映像入力処理部３０１、入力された映像信号に対して歪み補正処理を施す歪み補正処理部３０２、歪み補正を行うための較正パラメータが予め記憶された較正パラメータ記憶部３０３から構成する。撮像部１０Ｒから出力する映像信号は映像入力処理部３０１に入力され、例えばニー処理、ガンマ処理、ホワイトバランス処理などが施される。

続いて、歪み補正処理部３０２は、較正パラメータ記憶部３０３に格納された較正パラメータに基づいて、映像入力処理部３０１が出力する映像信号に対して画像歪みの補正処理を施す。較正パラメータ記憶部３０３に記憶される較正パラメータは、ピンホールカメラモデルの内部パラメータと呼ばれる、画像中心位置情報と、画素サイズと光学レンズの焦点距離との積からなるスケール係数と、画像の座標軸の歪み情報から構成される。この較正パラメータに従い幾何学的補正処理を行うことによって、例えば撮像レンズの歪曲収差などの歪みを補正する。なお、較正パラメータは工場出荷時に測定して、予め較正パラメータ記憶部３０３に格納してもよいし、パターン形状が既知の市松模様チェッカーパターンを姿勢やアングルを変えながら数回撮像し、その撮像画像から算出してもよい。この６系統の映像処理部１３Ｇ１、１３Ｇ２、１３Ｇ３、１３Ｇ４、１３Ｒ、１３Ｂにより各撮像部１０Ｇ１、１０Ｇ２、１０Ｇ３、１０Ｇ４、１０Ｒ、１０Ｂのそれぞれに固有の映像歪みが補正されることになる。

次に、図５を参照して、図２に示す解像度変換部１４Ｒの詳細な動作を説明する。図２に示す解像度変換部１４Ｒ、１４Ｂは、同様の処理動作であるため、ここでは、解像度変換部１４Ｒの動作を説明し、解像度変換部１４Ｂの動作の説明は省略する。解像度変換部１４Ｒは入力された赤色映像信号を、ＶＧＡ画像の解像度からＱｕａｄ−ＶＧＡ画像の解像度に変換する。ＶＧＡ画像（６４０×４８０画素）からＱｕａｄ−ＶＧＡ画像（１２８０×９６０画素）へ変換する処理は、公知の処理方法を用いることができる。例えば、図５の（Ａ）に示すように単純に元の１画素を４画素複製するニアレストネイバー法（Nearest Neighbor）や、図５（Ｂ）のように周囲の４つの画素から線形補間で周辺の画素を生成するバイリニア（bi-linear）法や、図示しない周囲の１６個の画素から３次関数を用いて補間するバイキュービック（bi-cubic）法（図示せず）などを用いることが可能である。この解像度変換部１４Ｒにより、歪み補正が施された赤色映像信号は、ＶＧＡ画像の解像度からＱｕａｄ−ＶＧＡ画像の解像度に変換されることになる。同様に、解像度変換部１４Ｂにより、歪み補正が施された青色映像信号は、ＶＧＡ画像の解像度からＱｕａｄ−ＶＧＡ画像の解像度に変換されることになる。

次に、図６、図７を参照して、図２に示す高解像度合成処理部１５の処理動作を説明する。高解像度合成処理部１５は撮像部１０Ｇ１、１０Ｇ２、１０Ｇ３、１０Ｇ４によって撮像された４系統の映像信号を１つの高解像度画像に合成処理を行う。この合成方法について、図６、図７に示す模式図を用いて説明する。図６において、横軸は空間の広がり（大きさ）、縦軸は光の強度を示している。説明の簡略化のため、ここでは２つの撮像部１０Ｇ１、１０Ｇ２によって撮像した２つの画像による高解像度合成処理を説明する。図６中の矢印４０ｂと４０ｃはそれぞれ撮像部１０Ｇ１と撮像部１０Ｇ２の画素であり、相対位置関係がオフセット量４０ｄだけずれているとする。撮像素子１２は画素単位で光強度を積分するため、（ａ）で示す被写体の輪郭を撮像素子１０Ｇ１で撮像すると図６（ｂ）、撮像素子１０Ｇ２で撮像すると図６（ｃ）に示す光強度分布の映像信号が得られる。この２つの映像を合成することで図６（ｄ）に示す実際の輪郭に近い高解像度の画像を再現することができる。

図６においては２つの画像による高解像度合成処理を説明したが、図２に示す４つの撮像部１０Ｇ１、１０Ｇ２、１０Ｇ３、１０Ｇ４によって得られたＶＧＡ（６４０×４８０画素）画像を用いて高解像度合成処理を行う動作を図７を参照して説明する。高解像度合成処理部１５は、ＶＧＡ（６４０×４８０画素）の４倍の画素数であるＱｕａｄ−ＶＧＡの画素（１２８０×９６０画素）にするために、隣接する４つの画素に対して異なる撮像部で撮像された画素を割り当てて合成する。このように、ＶＧＡ（６４０×４８０画素）の画像を得ることができる撮像素子を４つ用いることで高解像度の画像を得ることができる。例えば、撮像部１０Ｇ１で撮像した画像の画素Ｇ１５、撮像部１０Ｇ２、１０Ｇ３、１０Ｇ４でそれぞれ撮像した対応する画素Ｇ２５、Ｇ３５、Ｇ４５という４つの画素を、高解像度合成処理後の隣接する周囲の画像とする。

この高解像度合成処理の効果は、図６に示すオフセット量４０ｄに大きく依存する。図６の模式図に示すように、オフセット量４０ｄは、１／２画素サイズに設定することが理想的である。しかしながら、撮像距離の変化、組み立て精度、経年劣化によるがたつきなどで、常に１／２画素サイズのオフセット量を維持することは困難である。このため、本発明では、合成した高解像度映像の解像度を所定の閾値と比較し、その結果に応じて各撮像部の光軸をシフトすることで、理想的なオフセットを維持するようにしている。

次に、図８を参照して、高解像度合成処理部１５が行う光軸シフト制御について説明する。図８は、図２に示す高解像度合成処理部１５の詳細な構成を示すブロック図である。映像合成処理部１５は、撮像部１０Ｇ１、１０Ｇ２、１０Ｇ３、１０Ｇ４において撮像された４つの映像信号を１つの高精細画像に合成して（図７の処理動作）、色合成処理部１７に出力する合成処理部５１と、合成処理部５１から出力する合成画像が良好な解像度となるように撮像部１０Ｇ２、１０Ｇ３、１０Ｇ４の光軸をシフト制御するための制御信号を光軸制御部１６０へ出力する解像度判定制御部５２とから構成される。

次に、図９を参照して、図８に示す解像度判定制御部５２の詳細な構成を説明する。図９に示すように、解像度判定制御部５２は３つの撮像部１０Ｇ２、１０Ｇ３、１０Ｇ４用に３つの解像度比較制御部９１２、９１３、９１４を備えている。それぞれの解像度比較制御部９１２、９１３、９１４のそれぞれは入力される２つの画像から解像度を判定するための画像を生成する解像度判定画像生成部９２と、生成された解像度判定画像をＦＦＴ（Fast Fourier Transform：高速フーリエ変換）処理で空間周波数成分に変換するＦＦＴ部９３と、変換された空間周波数成分から高空間周波数帯域のパワー（電力値）を検出するＨＰＦ部９４（High Pass Filter：高域通過濾過器）と、検出された高空間周波数帯域成分のパワーを閾値と比較して最良の解像度となるように光軸シフト方向を制御する高周波数成分比較部９５とから構成される。

３つの解像度判定画像生成部９２で生成される画像を図１０（ａ）、（ｂ）、（ｃ）に示す。解像度判定画像は、基本画像となる撮像部１０Ｇ１で撮像した画像と、各撮像部１０Ｇ２、１０Ｇ３、１０Ｇ４のそれぞれで撮像した画像を、図７の高解像度合成処理での合成方法を用いた配置で組合せ生成する。そして、生成されたそれぞれの解像度判定画像の高空間周波数帯域成分のパワーをＦＦＴ部９３とＨＰＦ部９４で検出し、この検出結果から撮像部１０Ｇ２、１０Ｇ３、１０Ｇ４のそれぞれの光軸をシフト制御するための制御信号を光軸制御部１６０へ出力することによって、各撮像部の撮像画像が理想的なオフセットを維持するように制御する。

ここで、図１１を参照して、高周波数成分比較部９５が行う光軸シフト制御の処理動作を説明する。高周波数成分比較部９５内部には、図１１（Ａ）に示すシフト方向を示すシフトフラグを持っている。すなわち、現時点の位置から上方向にシフトする場合にはシフトフラグを０、下方向へシフトする場合にはシフトフラグを３とし、左方向へシフトする場合にはシフトフラグを１、右方向へシフトする場合にはシフトフラグを２とする。

まず、高周波数成分比較部９５は、シフトフラグを０にして初期化する（ステップＳ１１００）。続いて画像が入力あるいは更新された時に図１０に示す解像度判定画像を生成し、高空間周波数帯域成分のパワーを検出する（ステップＳ１１０１）。そして、高空間周波数帯域成分のパワーが所定の閾値以上である、即ち高い解像度であるか否かを判定し（ステップＳ１１０３）、高い解像度である場合は光軸シフトを行なわず、シフトフラグを初期化して（ステップＳ１１１０）、処理を繰り返す。

一方、高空間周波数帯域成分のパワーが閾値より小さく、低い解像度である場合は、シフトフラグの方向に光軸を所定量シフトして（ステップＳ１１０４〜Ｓ１１０７、ステップＳ１１１１〜Ｓ１１１４）、シフトフラグに＋１する、すなわち１を加算する（ステップＳ１１０９）。シフト０〜３の光軸シフトいずれかで高空間周波帯域成分のパワーが閾値以上になった場合はその光軸シフトの状態でシフトフラグを初期化してループを繰り返すが、０〜３の光軸シフトでも閾値以下になる場合は、０〜３の光軸シフトで最も解像度が高い方向に所定量のシフトを行い（ステップＳ１１０８）、次いでシフトフラグを初期化して（ステップＳ１１１５）、制御終了と判定される（ステップＳ１１０２）まで処理を繰り返す。以上の処理により、合成画像が閾値以上の解像度になるか、最も高い解像になるように光軸シフトの制御を行なうための制御信号が光軸制御部１６０へ出力される。なお、閾値判定（ステップＳ１１０３）は、固定の閾値を使用してもよいが、例えば、過去の判定結果と連動するなど、閾値を適応的に変更するようにしてもよい。

次に、図１２を参照して、図２に示す色合成処理部１７の詳細な構成と処理動作を説明する。色合成処理部１７は、２系統の解像度変換部１４Ｒ、１４ＢによってＱｕａｄ−ＶＧＡの解像度に拡大された赤色映像信号及び青色映像信号と、高解像度合成処理部１５によりＱｕａｄ−ＶＧＡに高解像度合成処理された緑色映像信号とを合成してフルカラーのＱｕａｄ−ＶＧＡ画像を出力する。色合成処理部１７は、入力された２つの画像の相関値を算出して、２つの画像が高い相関値となるように制御を行なう２つの相関検出制御部７１Ｒ、７１Ｂを備えている。同一の被写体を同時刻に撮像しているため、入力される赤色映像信号と青色映像信号と緑色映像信号は高い相関関係を有している。この相関関係をモニタすることにより赤、緑、青の画像の相対的なずれを補正する。ここでは高解像度処理合成された緑色画像の映像信号を基準として、赤色画像と青画像の位置を補正する。

画像の相関値算出方法の具体例を説明する。緑色画像の関数をＧ（ｘ，ｙ）、赤色画像の関数をＲ（ｘ，ｙ）として、これらの関数に対してフーリエ変換を行い関数Ｇ（ξ，η）、関数Ｒ（ξ，η）を得る。この関数から、緑色画像と赤色画像の相関値Ｃｏｒは以下の式に表される。

この相関値Ｃｏｒは０〜１．０の値を取り、１．０に近いほど相関関係が強く、０に近ければ相関関係は弱い。相関値Ｃｏｒを所定の値である例えば０．９以上になるよう制御することによって、赤色画像と緑色画像の相対的な位置ずれを補正する。

ここで、図１３を参照して、相関検出制御部７１Ｒが行う赤色画像と緑色画像の相対的な位置ずれを補正する制御処理動作を説明する。相関検出制御部７１Ｒ内部には、図１３（Ａ）に示すシフト方向を示すシフトフラグを持っている。すなわち、現時点の位置から上方向にシフトする場合にはシフトフラグを０、下方向へシフトする場合にはシフトフラグを３とし、左方向へシフトする場合にはシフトフラグを１、右方向へシフトする場合にはシフトフラグを２とする。

まず、相関検出制御部７１Ｒは、シフトフラグを初期化する（ステップＳ１３００）。続いて画像が入力あるいは更新された時に相関値Ｃｏｒを算出する（ステップＳ１３０１）。相関値Ｃｏｒが所定の閾値以上の高い相関をもっているか否かを判定し（ステップＳ１３０３）、相関値Ｃｏｒが所定の閾値以上の高い相関をもっている場合は光軸シフトを行なわず、シフトフラグを初期化してループを繰り返す（ステップＳ１３１０）。

一方、閾値以下の低い相関である場合は、シフトフラグの方向に光軸を所定量シフトして（ステップＳ１１０３〜Ｓ１１０７、ステップＳ１３１１〜Ｓ１３１４）、シフトフラグに＋１して（ステップＳ１３０９）、処理を繰り返す。シフト０〜３の光軸シフトいずれかで閾値以上になった場合はその光軸シフトの状態でシフトフラグを初期化してループを繰り返すが、０〜３の光軸シフトでも閾値以下になる場合は、０〜３の光軸シフトで最も解像度が高い方向に所定量シフトして（ステップＳ１３０８）、シフトフラグを初期化する（ステップＳ１３１５）。以上の処理より、赤色画像、緑色画像、青色画像の相関値が閾値以上になる、即ちずれ量が最小になる光軸シフト制御を行なうための制御信号が光軸制御部１６１へ出力される。なお、図１２に示す相関検出制御部７１Ｂの動作についても図１３に示す動作と同様である。

このように、ずれが補正された赤色画像、緑色画像、青色画像は色補正変換部７２へ出力され、色補正変換部７２よって、１枚のフルカラー画像に変換されて出力される。フルカラー画像への変換方法は公知の手法を用いることができる。例えば入力される赤色画像、緑色画像、青色画像の各８ビットデータを３つのレイヤーに組合せてディスプレイに表示可能なＲＧＢ２４ビット（３×８ビット）のカラーデータに変換すればよい。この色補正変換処理で演色性を向上させるために、例えば３×３の色変換行列やＬＵＴ（Look Up Table）を用いた色補正処理を施すようにしてもよい。

図９、図１２に示すように、３つの高周波数成分比較部９５と２つの相関検出部７１Ｒ、７１Ｂからの出力は５つの撮像部１０Ｇ２、１０Ｇ３、１０Ｇ４、１０Ｒ、１０Ｂ毎に用意された光軸駆動部１６Ｇ２、１６Ｇ３、１６Ｇ４、１６Ｒ、１６Ｂのそれぞれに出力され、各撮像部１０Ｇ２、１０Ｇ３、１０Ｇ４、１０Ｒ、１０Ｂの撮像レンズ１１を構成する液晶レンズの光軸のシフト量を制御する。ここで、図１４と図１５を参照して、この光軸シフト動作を、具体例を用いて説明する。図１４に示すように撮像レンズ１１は、液晶レンズ９００と光学レンズ９０２から構成され、液晶レンズ９００には光軸駆動部（撮像部１０Ｇ２用であれば光軸駆動部１６Ｇ２に相当する）を構成する４つの電圧制御部９０３ａ、９０３ｂ、９０３ｃ、９０３ｄにより４系統の電圧が印加され、光軸シフトが制御される。液晶レンズ９００は、図１５の断面図が示すように上側（撮像物体の側）から、ガラス層１０００、第１の透明電極層１００３、絶縁層１００７、第２の電極層１００４、絶縁層１００７、液晶層１００６、第３の透明電極層１００５、ガラス層１０００で構成されている。第２の電極１００４は円形の孔１００４Ｅを有し、電圧制御部９０３ａ、９０３ｂ、９０３ｃ、９０３ｄのそれぞれから個別に電圧を印加できる４つの電極１００４ａ、１００４ｂ、１００４ｃ、１００４ｄを備えている。

第１の透明電極１００３と第３の透明電極１００５との間に所定の交流電圧１０１０、第２の電極１００４と第３の透明電極１００５との間に所定の交流電圧１０１１を印加することにより、第２の電極１００４の円形の孔１００４Ｅの中心を軸として対象な電界勾配が形成される。この電界勾配が液晶層１００６の液晶分子を配向させ、液晶層１００６の屈折率分布を孔１００４Ｅの中心から周辺に向かい変化させることで、液晶層１００６がレンズとして機能する。第２の電極１００４の電極１００４ａ、１００４ｂ、１００４ｃ、１００４ｄの電圧が同一の場合は、液晶層１００６は中心軸対象の球面レンズを形成するが、異なる電圧を印加制御すれば、屈折率分布が変わり、光軸がずれたレンズを形成することになる。この結果、撮像レンズ１１に入射する光軸をシフトさせることができる。

例えば、光軸駆動部１６Ｇ２が行なう光軸制御の一例を記すと、電極１００３と電極１００５の間に２０Ｖｒｍｓの交流電圧を印加し、電極１００４ａ、１００４ｂ、１００４ｃ、１００４ｄに同じ７０Ｖｒｍｓの交流電圧を印加した孔１００４Ｅの中心を軸とした凸レンズの状態から、電極１００４ｂと１００４ｄの印加電圧を７１Ｖｒｍｓに変更することにより、光軸を孔１００４Ｅの中心か１／２画素サイズである３μｍシフトさせることができる。

なお、前述した説明においては、光軸シフトする手段として液晶レンズを用いる例を説明したが、液晶レンズ以外の手段を用いるようにしてもよい。例えば、光学レンズ９０２の全体或いは１部分をアクチュエータで移動させる、撮像素子１２をアクチュエータで移動させる、屈折板や可変頂角プリズムを備えてアクチュエータで制御する方法で実現可能である。

以上説明したように、解像度を高めるために６系統の撮像部１０Ｇ１、１０Ｇ２、１０Ｇ３、１０Ｇ４、１０Ｒ、１０Ｂを備え、高解像度合成処理部１５と色合成処理部１７によって各撮像部の撮像画像を適切な位置関係になるように光軸シフト制御する多眼カラー撮像装置を実現することが可能となる。

なお、図２に示した６系統の撮像部１０Ｇ１、１０Ｇ２、１０Ｇ３、１０Ｇ４、１０Ｒ、１０Ｂは図１の配置に限定されるものではなく、様々な変形が可能であり、いくつかの例を図１６に示す。図１６の（Ａ）は赤色撮像部１０Ｒと青色撮像部１０Ｂを装置中心部に配置したものである。図１６（Ａ）示す配置により、緑色撮像部１０Ｇ１、１０Ｇ２、１０Ｇ３、１０Ｇ４と、赤色撮像部１０Ｒと青色撮像部１０Ｂとの位置関係が近くなるため、色ずれが少なくなり、色合成処理部１７の処理負荷が軽減することができる。また、図１６（Ｂ）は赤色撮像部１０Ｒと青色撮像部１０Ｂを斜めに配置したものである。この配置においてベイヤ配置を構成する緑色撮像部１０Ｇ１、１０Ｇ２と赤色撮像部１０Ｒと青色撮像部１０Ｂを基準として光軸シフト制御することにより色ずれの削減効果を高くできる。また、図１６（Ｃ）のように、図１６（Ｂ）の両端緑色撮像部１０Ｇ３、１０Ｇ４を省略して、４つの撮像部１０Ｇ１、１０Ｇ２、１０Ｒ、１０Ｂによって撮像装置を構成するようにしてもよい。

＜第２の実施形態＞
次に、本発明の第２の実施形態による撮像装置を図面を参照して説明する。図１７は同実施形態における撮像装置の外観を示す図である。図１７に示す通り、第２の実施形態における撮像装置は、第１の実施形態と異なり、３つの緑色撮像部１０Ｇ１、１０Ｇ２、１０Ｇ３と赤色撮像部１０Ｒと青色撮像部１０Ｂを一列に配置したため、細長の形状デザインが可能になる。第２の実施形態における撮像装置の構成を図１８を参照して説明する。図１８に示す撮像装置が図２に示す撮像装置と異なる点は、緑色撮像部が３つになった点と、解像度変換部１４Ｒ、１４Ｂと高解像度合成処理部１５の前段で色ずれの補正する相関検出制御を行なう点である。図１７に示すように、緑色撮像部１０Ｇ１は３つの緑色撮像部の中心であり、かつ、赤、緑、青の撮像部の中心に配置しているため、解像度変換部１４と高解像度合成処理部１５を行なう前に色ずれ補正しても問題ない。また、低い解像度で相関値を算出するため、第１の実施形態に比べて処理量を軽減できる。

図１８を参照して、第２の実施形態における撮像装置の構成を説明する。各撮像部１０Ｇ１、１０Ｇ２、１０Ｇ３、１０Ｒ、１０Ｂのそれぞれは、撮像レンズ１１と撮像素子１２を備えており、撮像レンズ１１は撮像対象からの光を撮像素子１２上に結像し、結像された画像は撮像素子１２で光電変換され、映像信号として出力される。撮像素子１２は、低消費電力のＣＭＯＳ撮像素子を使用する。特に限定はしないが、本実施形態のＣＭＯＳ撮像素子の仕様は、画素サイズは５．６μｍ×５．６μｍ、画素ピッチは６μｍ×６μｍ、実効画素数は６４０（水平）×４８０（垂直）である。５系統の撮像部１０Ｇ１、１０Ｇ２、１０Ｇ３、１０Ｒ、１０Ｂにおいて撮像された画像の映像信号は映像処理部１３Ｇ１、１３Ｇ２、１３Ｇ３、１３Ｒ、１３Ｂのそれぞれに入力する。５系統の映像処理部１３Ｇ１、１３Ｇ２、１３Ｇ３、１３Ｒ、１３Ｂのそれぞれは、入力する画像に対して補正処理を施して出力する。

２系統の解像度変換部１４Ｒ、１４Ｂのそれぞれは、入力する画像の映像信号に基づいて、解像度の変換を行う。高解像度合成処理部１５は、３系統の緑色の画像の映像信号を入力して、この３系統の映像信号を合成して高解像度の画像の映像信号を出力する。色合成処理部１７は、２系統の解像度変換部１４Ｒ、１４Ｂが出力する赤色、青色の映像信号と、高解像度合成処理部１５が出力する緑色の映像信号とを入力して、これらの映像信号を合成して、高解像度のカラー映像信号を出力する。光軸制御部１６２は、２系統の緑色の画像の映像信号を合成した結果の映像信号を解析し、この解析結果に基づいて高解像度の映像信号が得られるように、２系統の撮像部１０Ｇ２、１０Ｇ３の入射光軸を調整する制御を行う。

相関検出制御部７１は、映像処理部１３Ｒ、映像処理部１３Ｂ及び映像処理部１３Ｇ１が出力する赤色映像信号、青色映像信号と、緑色映像信号とを入力し、入力された３つの画像の相関値を算出して、３つの画像が高い相関値となるように制御を行なう。同一の被写体を同時刻に撮像しているため、入力される赤色映像信号と青色映像信号と緑色映像信号は高い相関関係を有している。この相関関係をモニタすることにより赤、緑、青の画像の相対的なずれを補正する。ここでは緑色画像の映像信号を基準として、赤色画像と青画像の位置を補正する。光軸制御部１６３は、３系統（赤色、青色、緑色）の画像の映像信号を合成した結果の映像信号を解析し、この解析結果に基づいて高解像度の映像信号が得られるように、２系統の撮像部１０Ｒ、１０Ｂの入射光軸を調整する制御を行う。

次に、図１９を参照して、図１８に示す撮像装置の動作を説明する。図１９は、図１８に示す撮像装置の動作を示すフローチャートである。まず、５系統の撮像部１０Ｇ１、１０Ｇ２、１０Ｇ３、１０Ｒ、１０Ｂのそれぞれは、撮像対象を撮像して、得られた映像信号（ＶＧＡ６４０×４８０画素）を出力する（ステップＳ１１）。この５系統の映像信号は、５系統の映像処理部１３Ｇ１、１３Ｇ２、１３Ｇ３、１３Ｒ、１３Ｂに入力する。５系統の映像処理部１３Ｇ１、１３Ｇ２、１３Ｇ３、１３Ｒ、１３Ｂのそれぞれは、入力した映像信号に対して、映像処理すなわち歪補正処理を施して出力する（ステップＳ１２）。

次に、相関検出制御部７１は、映像処理部１３Ｒ、映像処理部１３Ｂ及び映像処理部１３Ｇ１が出力する赤色映像信号、青色映像信号と、緑色映像信号とを入力し、入力された３つの画像の相関値を算出して、３つの画像が高い相関値となるように制御を行なうように光軸制御部１６３に対して制御信号を出力する（ステップＳ１３）。これにより、２系統の撮像部１０Ｒ、１０Ｂの入射光軸を調整する制御が行われる。

次に、２系統の解像度変換部１４Ｒ、１４Ｂのそれぞれは、入力した歪補正済みの映像信号（ＶＧＡ６４０×４８０画素）の解像度を変換するための処理を施す（ステップＳ１４）。この処理によって、２系統の映像信号は、ＱＶＧＡ１２８０×９６０画素の映像信号に変換される。一方、高解像度合成処理部１５は、入力した３系統の歪補正済みの映像信号（ＶＧＡ６４０×４８０画素）を合成して高解像度化するための処理を施す（ステップＳ１５）。この合成処理は、第１の実施形態で用いたものと同一のものである。この合成処理によって、３系統の映像信号は、ＱＶＧＡ１２８０×９６０画素の映像信号に合成されて出力される。このとき、高解像度合成処理部１５は、３系統の緑色の画像の映像信号を合成した結果の映像信号を解析し、この解析結果に基づいて高解像度の映像信号が得られるように、２系統の撮像部１０Ｇ２、１０Ｇ３の入射光軸を調整する制御を行うように光軸制御部１６２に対して制御信号を出力する。

次に、色合成処理部１７は、３系統（赤色、青色、緑色）の映像信号（ＱＶＧＡ１２８０×９６０画素）を入力し、この３系統の映像信号を合成してＲＧＢカラーの映像信号（ＱＶＧＡ１２８０×９６０画素）を出力する（ステップＳ１６）。そして、相関検出制御部７１は、所望の相関値の信号が得られたか否かを判定し、得られるまで処理を繰り返し（ステップＳ１７）、所望の相関値が得られた時点で処理が終了する。

次に、図２０を参照して、第２の実施形態における光軸シフト動作を、具体例を用いて説明する。第２の実施形態における光軸シフト動作が第１の実施形態と異なる点は、液晶レンズ９０１が２つの電極を備え、電圧制御部９０３ａ、９０３ｂにより２系統の電圧が印加される点である。図２０に示すように撮像レンズ１１は、液晶レンズ９０１と光学レンズ９０２から構成され、液晶レンズ９０１には光軸駆動部１６Ｇ２を構成する２つの電圧制御部９０３ａ、９０３ｂにより２系統の電圧が印加され、光軸シフトが制御される。液晶レンズ９０１は、図１５の断面図に示す構造と同一の構造を有する。ただし、円形の孔１００４Ｅを有する第２の電極１００４は、上下に２分割され、電圧制御部９０３ａ、９０３ｂのそれぞれから個別に電圧を印加できる２つの電極を備えている。図１７に示すように５系統の撮像部を一列に配列する構成により垂直方向のずれが少なくなり、水平方向のみの光軸制御を行うのみで光軸シフトによる光軸調整が可能となる。

＜第３の実施形態＞
次に、本発明の第３の実施形態による撮像装置を図面を参照して説明する。図２１は同実施形態における撮像装置の外観を示す図である。図２１（Ａ）、（Ｂ）に示す通り、第３の実施形態における撮像装置は、第１、第２の実施形態と異なり、赤色撮像部１０Ｒと青色撮像部１０Ｂをひとつにまとめた赤青撮像部１０Ｂ／Ｒを備えている。赤青撮像部１０Ｂ／Ｒは撮像素子の表面に画素サイズとおなじ大きさの赤と青のカラーフィルタが市松パターンで配置されたものであり、赤色画像と青色画像の両方を撮像できる。この赤青撮像部１０Ｂ／Ｒを用いることによって、サイズが小さくなるとともに、色合成処理部１７の光軸シフト制御が１系統になるため処理量も軽減される。

第３の実施形態における撮像装置の構成を図２２を参照して説明する。各撮像部１０Ｇ１、１０Ｇ２、１０Ｇ３、１０Ｇ４、１０Ｂ／Ｒのそれぞれは、撮像レンズ１１と撮像素子１２を備えており、撮像レンズ１１は撮像対象からの光を撮像素子１２上に結像し、結像された画像は撮像素子１２で光電変換され、映像信号として出力される。撮像素子１２は、低消費電力のＣＭＯＳ撮像素子を使用する。特に限定はしないが、本実施形態のＣＭＯＳ撮像素子の仕様は、画素サイズは５．６μｍ×５．６μｍ、画素ピッチは６μｍ×６μｍ、実効画素数は６４０（水平）×４８０（垂直）である。５系統の撮像部１０Ｇ１、１０Ｇ２、１０Ｇ３、１０Ｇ４、１０Ｂ／Ｒにおいて撮像された画像の映像信号は映像処理部１３Ｇ１、１３Ｇ２、１３Ｇ３、１３Ｇ４、１３Ｂ／Ｒのそれぞれに入力する。５系統の映像処理部１３Ｇ１、１３Ｇ２、１３Ｇ３、１３Ｇ４、１３Ｂ／Ｒのそれぞれは、入力する画像に対して補正処理を施して出力する。

解像度変換部１４Ｂ／Ｒは、入力する画像の映像信号に基づいて、解像度の変換を行う。高解像度合成処理部１５は、４系統の緑色の画像の映像信号を入力して、この４系統の映像信号を合成して高解像度の画像の映像信号を出力する。色合成処理部１７は、解像度変換部１４Ｂ／Ｒが出力する赤色、青色の映像信号と、高解像度合成処理部１５が出力する緑色の映像信号とを入力して、これらの映像信号を合成して、高解像度のカラー映像信号を出力する。光軸制御部１６０は、４系統の緑色の画像の映像信号を合成した結果の映像信号を解析し、この解析結果に基づいて高解像度の映像信号が得られるように、３系統の撮像部１０Ｇ２、１０Ｇ３、１０Ｇ４の入射光軸を調整する制御を行う。光軸制御部１６４は、３系統（赤色、青色、緑色）の画像の映像信号を合成した結果の映像信号を解析し、この解析結果に基づいて高解像度の映像信号が得られるように、撮像部１０Ｂ／Ｒの入射光軸を調整する制御を行う。

次に、図２３を参照して、図２２に示す撮像装置の動作を説明する。図２３は、図２２に示す撮像装置の動作を示すフローチャートである。まず、５系統の撮像部１０Ｇ１、１０Ｇ２、１０Ｇ３、１０Ｇ４、１０Ｂ／Ｒのそれぞれは、撮像対象を撮像して、得られた映像信号（ＶＧＡ６４０×４８０画素）を出力する（ステップＳ２１）。この５系統の映像信号は、５系統の映像処理部１３Ｇ１、１３Ｇ２、１３Ｇ３、１３Ｇ４、１３Ｂ／Ｒに入力する。５系統の映像処理部１３Ｇ１、１３Ｇ２、１３Ｇ３、１３Ｇ４、１３Ｂ／Ｒのそれぞれは、入力した映像信号に対して、歪補正処理を施して出力する（ステップＳ２２）。

次に、解像度変換部１４Ｂ／Ｒは、入力した歪補正済みの映像信号（ＶＧＡ６４０×４８０画素）の解像度を変換するための処理を施す（ステップＳ２３）。この処理によって、赤色と青色の映像信号は、ＱＶＧＡ１２８０×９６０画素の映像信号に変換される。一方、高解像度合成処理部１５は、入力した４系統の歪補正済みの映像信号（ＶＧＡ６４０×４８０画素）を合成して高解像度化するための処理を施す（ステップＳ２４）。この合成処理によって、４系統の映像信号は、ＱＶＧＡ１２８０×９６０画素の映像信号に合成されて出力される。このとき、高解像度合成処理部１５は、４系統の緑色の画像の映像信号を合成した結果の映像信号を解析し、この解析結果に基づいて高解像度の映像信号が得られるように、３系統の撮像部１０Ｇ２、１０Ｇ３、１０Ｇ４の入射光軸を調整する制御を行うように光軸制御部１６０に対して制御信号を出力する。

次に、色合成処理部１７は、３系統（赤色、青色、緑色）の映像信号（ＱＶＧＡ１２８０×９６０画素）を入力し、この３系統の映像信号を合成してＲＧＢカラーの映像信号（ＱＶＧＡ１２８０×９６０画素）を出力する（ステップＳ２５）。このとき、色合成処理部１７は、３系統（赤色、青色、緑色）の画像の映像信号を合成した結果の映像信号を解析し、この解析結果に基づいて高解像度の映像信号が得られるように、撮像部１０Ｂ／Ｒの入射光軸を調整する制御を行うように光軸制御部１６４に対して制御信号を出力する。そして、色合成処理部１７は、所望のＲＧＢカラー映像信号が得られたか否かを判定し、得られるまで処理を繰り返し（ステップＳ２６）、所望のＲＧＢカラー映像信号が得られた時点で処理が終了する。

以上説明したように、複数の緑色撮像部において撮像された複数の画像を合成して得られる緑色画像の解像度が所定の解像度になるように、光軸を調整して高解像度の緑色画像を取得し、この高解像度の緑色画像と赤色撮像部によって撮像された赤色画像の相関値及び緑色画像と青色撮像部によって撮像された青色画像の相関値のそれぞれが共に所定の相関値になるように、光軸を調整して緑色画像、赤色画像及び青色画像を合成するようにしたため、色ずれがなく高精彩なフルカラー画像を生成することが可能になる。

本発明の第１の実施形態における撮像装置の外観を示す斜視図である。 図１に示す撮像装置の構成を示すブロック図である。 図２に示す撮像装置の動作を示すフローチャートである。 図２に示す映像処理部１３Ｒの構成を示すブロック図である。 図２に示す解像度変換部１４Ｒの処理動作を示す説明図である。 図２に示す高解像度合成処理部１５の処理動作を示す説明図である。 図２に示す高解像度合成処理部１５の処理動作を示す説明図である。 図２に示す高解像度合成処理部１５の構成を示すブロック図である。 図８に示す解像度判定制御部５２の構成を示すブロック図である。 図９に示す解像度判定画像生成部９２の処理動作を示す説明図である。 図９に示す高周波成分比較部９５の動作を示すフローチャートである。 図２に示す色合成処理部１７の構成を示すブロック図である。 図１２に示す相関検出制御部７１Ｒ、７１Ｂの動作を示すフローチャートである。 図２に示す撮像部１０Ｇ２の構成を示すブロック図である。 図１４に示す液晶レンズ９００の構成を示す説明図である。 図２に示す撮像部の配置例を示す斜視図である。 本発明の第２の実施形態における撮像装置の外観を示す斜視図である。 図１７に示す撮像装置の構成を示すブロック図である。 図１８に示す撮像装置の動作を示すフローチャートである。 図１８に示す撮像部１０Ｇ２の構成を示すブロック図である。 本発明の第３の実施形態における撮像装置の外観を示す斜視図である。 図２１に示す撮像装置の構成を示すブロック図である。 図２２に示す撮像装置の動作を示すフローチャートである。 従来の撮像装置の構成を示すブロック図である。 他の従来の撮像装置の構成を示すブロック図である。

符号の説明

１０Ｇ１、１０Ｇ２、１０Ｇ３、１０Ｇ４・・・緑色撮像部、１０Ｒ・・・赤色撮像部、１０Ｂ・・・青色撮像部、１１・・・撮像レンズ、１２・・・撮像素子、１３Ｒ、１３Ｂ、１３Ｇ１、１３Ｇ２、１３Ｇ３、１３Ｇ４・・・映像処理部、１４Ｒ、１４Ｂ・・・解像度変換部、１５・・・高解像度合成処理部、１６０、１６１・・・光軸制御部、１７色合成処理部

Claims (11)

1. 緑色成分の画像を撮像する第１の撮像素子と、前記第１の撮像素子上に像を結像させる第１の光学系とからなる複数の緑色撮像部と、
   赤色成分の画像を撮像する第２の撮像素子と、前記第２の撮像素子上に像を結像させる第２の光学系とからなる赤色撮像部と、
   青色成分の画像を撮像する第３の撮像素子と、前記第３の撮像素子上に像を結像させる第３の光学系とからなる青色撮像部と、
   前記複数の緑色撮像部において撮像された複数の画像を合成して得られる緑色画像の解像度が所定の解像度になるように、前記緑色撮像部に入射する光の光軸を調整して前記複数の画像を合成することにより高解像度の緑色画像を得る高画質合成処理部と、
   前記高画質合成処理部により得られた前記高解像度の緑色画像と、前記赤色撮像部によって撮像された赤色画像との相関値が所定値なるように前記赤色撮像部に入射する光の光軸を調整し、前記高解像度の緑色画像と、前記青色撮像部によって撮像された青色画像との相関値が所定値なるように前記青色撮像部に入射する光の光軸を調整し、前記高解像度の緑色画像と、前記光軸調整後の赤色画像と、前記光軸調整後の青色画像とを合成することによりカラー画像を得る色合成処理部と
   を備えることを特徴とする撮像装置。
2. 前記第１、第２及び第３の光学系は、屈折率分布を変化させることが可能な非固体レンズを備え、前記非固体レンズの屈折率分布を変化させることにより、前記撮像素子に入射する光の光軸の調整を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記非固体レンズは、液晶レンズであることを特徴とする請求項２に記載の撮像装置。
4. 前記高画質合成処理部は、前記複数の緑色撮像部において撮像された複数の画像を合成して得られる緑色画像の空間周波数分析を行い、高空間周波数帯域成分のパワーが予め決められた高解像度判定閾値以上であるか否かを判定し、この判定結果に基づいて光軸の調整を行うことを特徴とする請求項１に記載の撮像装置。
5. 前記赤色撮像部及び前記青色撮像部は、前記複数の緑色撮像部に挟まれるように配置したことを特徴とする請求項１に記載の撮像装置。
6. 前記複数の緑色撮像部、前記赤色撮像部及び前記青色撮像部を一列に配列したことを特徴とする請求項１に記載の撮像装置。
7. 緑色成分の画像を撮像する第１の撮像素子と、前記第１の撮像素子上に像を結像させる第１の光学系とからなる複数の緑色撮像部と、
   赤色成分の画像を撮像する第２の撮像素子と、前記第２の撮像素子上に像を結像させる第２の光学系とからなる赤色撮像部と、
   青色成分の画像を撮像する第３の撮像素子と、前記第３の撮像素子上に像を結像させる第３の光学系とからなる青色撮像部と、
   前記複数の緑色撮像部において撮像された複数の画像を合成して得られる緑色画像の解像度が所定の解像度になるように、前記緑色撮像部に入射する光の光軸を調整して前記複数の画像を合成することにより高解像度の緑色画像を得る高画質合成処理部と、
   前記赤色撮像部と前記青色撮像部の間に配置された前記緑色撮像部によって得られた緑色画像と前記赤色撮像部によって撮像された赤色画像の相関値が所定値なるように前記赤色撮像部に入射する光の光軸を調整し、前記赤色撮像部と前記青色撮像部の間に配置された前記緑色撮像部によって得られた緑色画像と前記青色撮像部によって撮像された青色画像の相関値が所定値なるように前記青色撮像部に入射する光の光軸を調整し、前記高解像度の緑色画像と、前記光軸調整後の赤色画像と、前記光軸調整後の青色画像とを合成することによりカラー画像を得る色合成処理部と
   を備えることを特徴とする撮像装置。
8. 緑色成分の画像を撮像する第１の撮像素子と、前記第１の撮像素子上に像を結像させる第１の光学系とからなる複数の緑色撮像部と、
   赤色成分の画像及び青色成分の画像を撮像する第２の撮像素子と、前記第２の撮像素子上に像を結像させる第２の光学系とからなる赤色及び青色撮像部と、
   前記複数の緑色撮像部において撮像された複数の画像を合成して得られる緑色画像の解像度が所定の解像度になるように、前記緑色撮像部に入射する光の光軸を調整して前記複数の画像を合成することにより高解像度の緑色画像を得る高画質合成処理部と、
   前記高画質合成処理部により得られた前記高解像度の緑色画像と前記赤色及び青色撮像部によって撮像された赤色画像の相関値及び青色画像の相関値のそれぞれが共に所定の相関値になるように、前記赤色及び青色撮像部に入射する光の光軸を調整し、前記高解像度の緑色画像と、前記光軸調整後の前記赤色画像及び前記青色画像とを合成することによりカラー画像を得る色合成処理部と
   を備えることを特徴とする撮像装置。
9. 緑色成分の画像を撮像する第１の撮像素子と、前記第１の撮像素子上に像を結像させる第１の光学系とからなる複数の緑色撮像部と、
   赤色成分の画像を撮像する第２の撮像素子と、前記第２の撮像素子上に像を結像させる第２の光学系とからなる赤色撮像部と、
   青色成分の画像を撮像する第３の撮像素子と、前記第３の撮像素子上に像を結像させる第３の光学系とからなる青色撮像部と
   を備える撮像装置における光軸制御方法であって、
   前記複数の緑色撮像部において撮像された複数の画像を合成して得られる緑色画像の解像度が所定の解像度になるように、前記緑色撮像部に入射する光の光軸を調整して前記複数の画像を合成することにより高解像度の緑色画像を得る高画質合成処理ステップと、
   前記高画質合成処理ステップにより得られた前記高解像度の緑色画像と、前記赤色撮像部によって撮像された赤色画像との相関値が所定値なるように前記赤色撮像部に入射する光の光軸を調整し、前記高解像度の緑色画像と、前記青色撮像部によって撮像された青色画像との相関値が所定値なるように前記青色撮像部に入射する光の光軸を調整し、前記高解像度の緑色画像と、前記光軸調整後の赤色画像と、前記光軸調整後の青色画像とを合成することによりカラー画像を得る色合成処理ステップと
   を有することを特徴とする光軸制御方法。
10. 緑色成分の画像を撮像する第１の撮像素子と、前記第１の撮像素子上に像を結像させる第１の光学系とからなる複数の緑色撮像部と、
    赤色成分の画像を撮像する第２の撮像素子と、前記第２の撮像素子上に像を結像させる第２の光学系とからなる赤色撮像部と、
    青色成分の画像を撮像する第３の撮像素子と、前記第３の撮像素子上に像を結像させる第３の光学系とからなる青色撮像部と
    を備える撮像装置における光軸制御方法であって、
    前記複数の緑色撮像部において撮像された複数の画像を合成して得られる緑色画像の解像度が所定の解像度になるように、前記緑色撮像部に入射する光の光軸を調整して前記複数の画像を合成することにより高解像度の緑色画像を得る高画質合成処理ステップと、
    前記赤色撮像部と前記青色撮像部の間に配置された前記緑色撮像部によって得られた緑色画像と前記赤色撮像部によって撮像された赤色画像の相関値が所定値なるように前記赤色撮像部に入射する光の光軸を調整し、前記赤色撮像部と前記青色撮像部の間に配置された前記緑色撮像部によって得られた緑色画像と前記青色撮像部によって撮像された青色画像の相関値が所定値なるように前記青色撮像部に入射する光の光軸を調整し、前記高解像度の緑色画像と、前記光軸調整後の赤色画像と、前記光軸調整後の青色画像とを合成することによりカラー画像を得る色合成処理ステップと
    を有することを特徴とする光軸制御方法。
11. 緑色成分の画像を撮像する第１の撮像素子と、前記第１の撮像素子上に像を結像させる第１の光学系とからなる複数の緑色撮像部と、
    赤色成分の画像及び青色成分の画像を撮像する第２の撮像素子と、前記第２の撮像素子上に像を結像させる第２の光学系とからなる赤色及び青色撮像部と
    を備える撮像装置における光軸制御方法であって、
    前記複数の緑色撮像部において撮像された複数の画像を合成して得られる緑色画像の解像度が所定の解像度になるように、前記緑色撮像部に入射する光の光軸を調整して前記複数の画像を合成することにより高解像度の緑色画像を得る高画質合成処理ステップと、
    前記高画質合成処理ステップにより得られた前記高解像度の緑色画像と前記赤色及び青色撮像部によって撮像された赤色画像の相関値及び青色画像の相関値のそれぞれが共に所定の相関値になるように、前記赤色及び青色撮像部に入射する光の光軸を調整し、前記高解像度の緑色画像と、前記光軸調整後の前記赤色画像及び前記青色画像とを合成することによりカラー画像を得る色合成処理ステップと
    を有することを特徴とする光軸制御方法。

Images