JP2010239290A

JP2010239290A - 撮像装置

Info

Publication number: JP2010239290A
Application number: JP2009083276A
Authority: JP
Inventors: Shunichi Sato; 俊一佐藤
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2009-03-30
Filing date: 2009-03-30
Publication date: 2010-10-21
Anticipated expiration: 2029-03-30
Also published as: CN102365859A; JP4529010B1; US20120026297A1; WO2010116683A1

Abstract

【課題】ステレオ画像の視差にかかわらず、すなわち撮影距離にかかわらず、高画質な、高精細な２次元画像を生成することができる撮像装置を提供する。
【解決手段】複数の撮像素子と、撮像素子のそれぞれに像を結像させる複数の固体レンズと、撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部と、複数の撮像素子のそれぞれが出力する光電変換信号を入力して、映像信号に変換して出力する複数の映像処理部と、複数の映像信号に基づいてステレオマッチング処理を行うことにより、画素毎のシフト量を求め、撮像素子の画素ピッチを越えるシフト量は画素ピッチで正規化した合成パラメータを生成するステレオ画像処理部と、複数の映像処理部のそれぞれから出力する映像信号と合成パラメータとを入力し、該複数の映像信号を合成パラメータに基づいて合成することにより高精細映像を生成する映像合成処理部とを備える。
【選択図】図１０

Description

本発明は、撮像装置に関する。

近年、高画質なデジタルスチルカメラやデジタルビデオカメラ（以下、デジタルカメラという）が急速に普及してきている。また、並行してデジタルカメラの小型化、薄型化の開発も進められており、携帯電話端末等に小型で高画質なデジタルカメラが搭載されてきている。デジタルカメラに代表される撮像装置は、撮像素子、結像光学系（レンズ光学系）、イメージプロセッサ、バッファメモリ、フラッシュメモリ（カード型メモリ）、画像モニタ及びこれらを制御する電子回路やメカニカル機構等から構成されている。撮像素子には、通常、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等の固体電子デバイスが使用されている。撮像素子上に結像された光量分布は光電変換されて、得られた電気信号はイメージプロセッサとバッファメモリによって信号処理される。イメージプロセッサとしてはＤＳＰ（Digital Signal Processor）等が、またバッファメモリとしてはＤＲＡＭ（Dynamic Random Access Memory）等が使用される。撮像された画像はカード型フラッシュメモリ等に記録蓄積され、記録蓄積された画像はモニタに表示することができる。

撮像素子に像を結像させる光学系は、通常、収差を除去するために、数枚の非球面レンズから構成されている。また、光学的なズーム機能を持たせる場合は、組合せレンズの焦点距離や、レンズと撮像素子の間隔を変える駆動機構（アクチュエータ）が必要となる。撮像装置の高画質化、高機能化の要求に応じて、撮像素子は多画素化、高精細化し、結像光学系はより低収差、高精度化され、かつズーム機能、オートフォーカス機能、手振れ補正機能等の高機能化が進んでいる。それに伴い、撮像装置が大きくなり、小型化、薄型化が困難になるという問題がある。

このような問題を解決するために、結像光学系に複眼構造を採用したり、液晶レンズや液体レンズ等の非固体レンズを組み合わせることにより、撮像装置を小型化、薄型化することが提案されている。例えば、平面状に配置した固体レンズアレイと液晶レンズアレイと１つの撮像素子から構成された撮像レンズ装置が提案されている（例えば、特許文献１）。図３６に示すように、固定焦点距離のレンズアレイ２００１と、同数の可変焦点型の液晶レンズアレイ２００２とを有するレンズ系と、このレンズ系を通して結像する光学像を撮像する単一の撮像素子２００３から構成されている。この構成によって、レンズアレイ２００１の数と同数の画像を単一の撮像素子２００３上に分割して結像させる。この撮像素子２００３より得られた複数の画像を演算装置２００４により画像処理を行い、全体の画像を再構成する。また、この演算装置２００４からフォーカス情報を検出し、液晶駆動装置２００５を介して液晶レンズアレイ２００２の各液晶レンズを駆動して、オートフォーカスを行う。このように、特許文献１の撮像レンズ装置においては、液晶レンズと固体レンズを組み合わせることにより、オートフォーカス機能やズーム機能を有し、かつ小型化を実現することができる。

また、１つの非固体レンズ（液体レンズ、液晶レンズ）と固体レンズアレイと１つの撮像素子から構成された撮像装置もある（例えば、特許文献２）。図３７に示すように、液晶レンズ２１３１と、複眼光学系２１２０と、画像合成器２１１５と、駆動電圧演算部２１４２から構成されている。特許文献１と同様、単一の撮像素子２１０５上に、レンズアレイの数と同数の画像を結像させて、画像処理で画像を再構成する。このように、特許文献２の撮像装置においては、１つの非固体レンズ（液体レンズ、液晶レンズ）と固体レンズアレイを組み合わせることにより、小型、薄型で焦点調整機能を実現することができる。

また、撮像素子である検出器アレイと撮像レンズアレイから構成されたサブピクセル解像度を有する薄型カメラにおいて、２つのサブカメラ上の画像の相対的な位置ずれを変化させて、合成画像の解像度を増大させる方法が知られている（例えば、特許文献３）。この方法では、片方のサブカメラに絞りを設けて、この絞りによって半画素分の光を遮断することで、被写体距離によって解像度が改善できなくなる課題を解決している。また、特許文献３は、外部から電圧を与えることで焦点距離を制御することが可能な液体レンズを組み合わせて、焦点距離を変更することで画像の結像位置と画素の位相も同時に変更することで、合成画像の解像度を増大させている。このように、特許文献３の薄型カメラでは、撮像レンズアレイと、遮光手段を持つ撮像素子を組み合わせることにとより、合成画像の高精細化を実現している。また、撮像レンズアレイと撮像素子に液体レンズを組み合わせることで、合成画像の高精細化を実現することができる。

また、複数の撮像手段の画像情報でそのステレオ画像の視差が小さい特定領域に関して、超解像補間処理して空間モデルに画像をマッピングする画像生成方法及びその装置が知られている（例えば、特許文献４）。この装置では、複数の撮像手段で撮像した画像から視点変換画像を生成する過程で行う空間モデル生成において、遠方の空間モデルに貼り付ける画像データの精細度が欠けるという問題を解決することができる。

特開２００６−２５１６１３号公報特開２００６−２１７１３１号公報特表２００７−５２０１６６号公報特表２００６−１１９８４３号公報

しかしながら、特許文献１〜３の撮像レンズ装置では、光学系と撮像素子の相対位置の調整の精度が画質に影響するため、組み立て時に正確に調整する必要があるという問題がある。また、相対位置の調整を機械的精度だけで調整を行う場合は、高精度な非固体レンズ等が必要となり、コストが高くなるという問題がある。また、装置の組立て時に正確に調整されたとしても、経時変化等により光学系と撮像素子との相対位置が変わり、画質劣化が生じることもある。再度位置調整をすれば画質が良くなるが、組立て時と同様の調整を行わなければならないという問題がある。さらに、光学系や撮像素子を数多く備えている装置においては調整するべき箇所が数多くなるため、多大な作業時間を要するという問題もある。

また、特許文献４の画像生成方法及びその装置では、視点変換画像を生成するために、正確な空間モデルを生成する必要があるが、空間モデルという立体的な情報をステレオ画像で精度よく取得することは難しいという問題がある。特に、ステレオ画像の視差が小さい遠方の画像においては、画像の輝度変化やノイズの影響等を受け、空間モデルという立体的な情報をステレオ画像で精度よく取得することは難しい。従ってステレオ画像の視差の小さい特定領域で超解像処理した画像を生成できたとしても、空間モデルに精度良くマッピングすること困難である。

本発明は、このような事情に鑑みてなされたもので、高画質な撮像装置を実現するために、光学系と撮像素子の相対位置の調整を人手作業を必要とすることなく、容易に行うことができる撮像装置を提供することを目的とする。また、本発明は、ステレオ画像の視差にかかわらず、すなわち撮影距離にかかわらず、高画質な、高精細な２次元画像を生成することができる撮像装置を提供することを目的とする。

本発明は、複数の撮像素子と、前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、前記撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部と、前記複数の撮像素子のそれぞれが出力する光電変換信号を入力して、映像信号に変換して出力する複数の映像処理部と、複数の映像信号に基づいてステレオマッチング処理を行うことにより、画素毎のシフト量を求め、前記撮像素子の画素ピッチを越えるシフト量は前記画素ピッチで正規化した合成パラメータを生成するステレオ画像処理部と、前記複数の映像処理部のそれぞれから出力する前記映像信号と前記合成パラメータとを入力し、該複数の映像信号を前記合成パラメータに基づいて合成することにより高精細映像を生成する映像合成処理部とを備えることを特徴とする。

本発明は、前記ステレオ画像処理部で生成した前記合成パラメータに基づき、前記ステレオマッチング処理に用いる視差画像の雑音を低減するステレオ画像雑音低減処理部をさらに備えることを特徴とする。

本発明は、前記映像合成処理部は、前記ステレオ画像処理部で生成した前記視差画像に基づいて所定領域のみ高精細化することを特徴とする。

本発明によれば、複数の撮像素子と、撮像素子のそれぞれに像を結像させる複数の固体レンズと、撮像素子にそれぞれに入射する光の光軸を制御する複数の光軸制御部とを備えたため、光学系と撮像素子の相対位置の調整を人手作業を必要とすることなく、容易に行うことができ、高画質な撮像装置を実現することができるという効果が得られる。特に、入射する光の光軸を撮像素子面上の任意の位置に設定するように制御することが可能となるため、光学系と撮像素子間の位置調整を簡単に行うことができる高画質な撮像装置を実現することができる。また、撮像対象と複数の光軸制御部との相対位置に基づいて光軸の方向を制御するようにしたため、撮像素子面の任意の位置に光軸の設定を行うことが可能となり、焦点調整範囲が広い撮像装置を実現することができる。

複数の撮像素子と、前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、前記撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部と、前記複数の撮像素子のそれぞれが出力する光電変換信号を入力して、映像信号に変換して出力する複数の映像処理部と、複数の映像信号に基づいてステレオマッチング処理を行うことにより、画素毎のシフト量を求め、前記撮像素子の画素ピッチを越えるシフト量は前記画素ピッチで正規化した合成パラメータを生成するステレオ画像処理部と、前記複数の映像処理部のそれぞれから出力する前記映像信号と前記合成パラメータとを入力し、該複数の映像信号を前記合成パラメータに基づいて合成することにより高精細映像を生成する映像合成処理部とを備えたため、ステレオ画像の視差にかかわらず、すなわち撮影距離にかかわらず、高画質な、高精細な２次元画像を生成することができる。

また、本発明によれば、前記ステレオ画像処理部で生成した前記合成パラメータに基づき、前記ステレオマッチング処理に用いる視差画像の雑音を低減するステレオ画像雑音低減処理部をさらに備えたため、ステレオマッチング処理における雑音を除去することができる。

また、本発明によれば、前記映像合成処理部は、前記ステレオ画像処理部で生成した前記視差画像に基づいて所定領域のみ高精細化するため、高精細化処理の高速化が可能となる。

本発明の第１の実施の形態による撮像装置の構成を示すブロック図である。図１に示した第１の実施の形態による撮像装置の単位撮像部の詳細な構成図である。液晶レンズの構成図である。第１の実施の形態による撮像装置に使用した液晶レンズの機能を説明する模式図である。第１の実施の形態による撮像装置の液晶レンズを説明する模式図である。図１に示した第１の実施の形態による撮像装置の撮像素子を説明する模式図である。撮像素子の詳細な模式図である。図１に示す撮像装置１の全体構成を示すブロック図である。第１の実施の形態による撮像装置の映像処理部の詳細なブロック図である。第１の実施の形態による撮像装置の映像処理の映像合成処理部の詳細なブロック図である。第１の実施の形態による撮像装置の映像処理の制御部の詳細なブロック図である。制御部の動作の一例を説明するフローチャートである。図１２に示すサブ画素映像合成高精細化処理の動作を示す説明図である。高精細判定の一例を説明するフローチャートである。制御電圧変更処理の一例を説明するフローチャートである。カメラキャリブレーションの一例を説明するフローチャートである。単位撮像部のカメラキャリブレーションを説明する模式図である。複数の単位撮像部のカメラキャリブレーションを説明する模式図である。複数の単位撮像部のカメラキャリブレーションを説明する別の模式図である。撮像装置１の撮像の様子を示す模式図である。高精細なサブ画素について説明する模式図である。高精細なサブ画素について説明する別の模式図である。撮像対象（被写体）と結像の関係を示す説明図である。撮像装置１の動作を説明する模式図である。取り付け誤差により撮像素子がずれて取り付けられた場合の模式図である。光軸シフト制御の動作を示す模式図である。撮像距離と光軸シフトの関係を示す説明図である。撮像距離と光軸シフトの関係を示す説明図である。奥行きと光軸シフトによるイメージシフトの効果を示す説明図である。画素毎の並進パラメータを生成する一例を説明するフローチャートである。平行ステレオ構成の場合のエピポーラ線の一例を示す説明図である。平行ステレオ構成の場合の領域ベースマッチングの一例を示す説明図である。視差画像の一例を示す説明図である。別の実施の形態による撮像装置の映像処理の映像合成処理部の詳細なブロック図である。雑音除去の一例を説明するフローチャートである。従来の撮像装置の構成を示すブロック図である。他の従来の撮像装置の構成を示すブロック図である。

以下に、本発明の実施形態について、図面を参照して詳細に説明する。図１は、本発明の第１の実施形態に係る、撮像装置の全体構成を示す機能ブロック図である。図１に示す撮像装置１は、６系統の単位撮像部２〜７を備えている。単位撮像部２は撮像レンズ８と撮像素子１４から構成されている。同様に、単位撮像部３は撮像レンズ９と撮像素子１５、単位撮像部４は撮像レンズ１０と撮像素子１６、単位撮像部５は撮像レンズ１１と撮像素子１７、単位撮像部６は撮像レンズ１２と撮像素子１８、及び単位撮像部７は撮像レンズ１３と撮像素子１９から構成されている。各撮像レンズ８〜１３は撮影対象からの光を対応する各撮像素子１４〜１９上にそれぞれ結像する。図１に示す符号２０〜２５は、各撮像素子１４〜１９に入射する光の光軸を示している。

以下、単位撮像部３を例にとり、信号の流れを説明する。撮像レンズ９によって結像した像を撮像素子１５で光電変換し、光信号を電気信号に変換する。撮像素子１５で変換された電気信号は、映像処理部２７によって予め設定されたパラメータにより映像信号に変換する。映像処理部２７は、変換した映像信号を映像合成処理部３８へ出力する。映像合成処理部３８は、他の単位撮像部２、４〜７から出力される電気信号を対応する各映像処理部２６、２８〜３１により変換処理された映像信号を入力する。映像合成処理部３８では、各単位撮像部２〜７において撮像された６つの映像信号を同期を取りながら１本の映像信号に合成し、高精細映像として出力する。ここで、映像合成処理部３８では、後述するステレオ画像処理の結果に基づいて高精細映像を合成している。また映像合成処理部３８は、合成した高解像度映像が予め設定した判定値より劣化していた場合、その判定結果に基づいて、制御信号を生成して、６つの制御部３２〜３７へ出力する。各制御部３２〜３７は、入力した制御信号に基づいて、対応する各撮像レンズ８〜１３の光軸制御を行う。そして、映像合成処理部３８は、再度高精細映像の判定を行う。この判定結果が良ければ高精細映像を出力し、悪ければ再度、撮像レンズを制御するという動作を繰り返す。

次に、図２を参照して、図１に示す単位撮像部３の撮像レンズ９及びこの撮像レンズ９を制御する制御部３３の詳細な構成を説明する。単位撮像部３は、液晶レンズ（非固体レンズ）３０１及び光学レンズ（固体レンズ）３０２から構成されている。また、制御部３３は、液晶レンズ３０１に印加する電圧を制御する４つの電圧制御部３３ａ、３３ｂ、３３ｃ、３３ｄから構成されている。電圧制御部３３ａ、３３ｂ、３３ｃ、３３ｄは、映像合成処理部３８が生成した制御信号に基づいて、液晶レンズ３０１に印加する電圧を決定し、液晶レンズ３０１を制御する。図１に示す他の単位撮像部２、４〜７の撮像レンズ及び制御部も同様な構成であるため、ここでは詳細な説明を省略する。

次に、図３を参照して、図２に示す液晶レンズ３０１の構成を説明する。本実施形態における液晶レンズ３０１は、透明な第１の電極３０３、第２の電極３０４、透明な第３の電極３０５、第２の電極３０４と第３の電極３０５との間に配置された液晶層３０６、第１の電極３０３と第２の電極３０４との間に配置された第１の絶縁層３０７、第２の電極３０４と第３の電極３０５の間に配置された第２の絶縁層３０８、第１の電極３０３の外側に配置された第３の絶縁層３１１、第３の電極３０５の外側に配置された第４の絶縁層３１２によって構成されている。ここで、第２の電極３０４は、円形の孔を有しており、図３の正面図に示すように縦、横に分割された４つの電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄによって構成されており、それぞれの電極に独立して電圧を印加することができる。また、液晶層３０６は第３の電極３０５に対向するように液晶分子を一方向に配向させており、液晶層３０６を挟む電極３０３、３０４、３０５の間に電圧を印加することで液晶分子の配向制御を行う。また、絶縁層３０８は大口径化のため例えば数百μｍ程度の厚さの透明な硝子等を用いている。

一例として液晶レンズ３０１の寸法を以下に示す。第２の電極３０４の円形の孔のサイズは約φ２ｍｍであり、第１の電極３０３との間隔は７０μｍであり、第２の絶縁層３０８の厚みは７００μｍである。液晶層３０６の厚さは６０μｍとしている。本実施の形態では第１の電極３０３と第２の電極３０４は異なった層となっているが、同一の面上に形成しても構わない。その場合、第１の電極３０３の形状は第２の電極３０４の円形の孔よりも小さなサイズの円形として第２の電極３０４の孔位置に配置し、第２の電極３０４の分割部分に電極取り出し部を設けた構成とする。このとき、第１の電極３０３と第２の電極を構成する電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄはそれぞれ独立に電圧制御が行える。このような構成をすることで全体の厚みを減少させることができる。

次に、図３に示す液晶レンズ３０１の動作を説明する。図３に示す液晶レンズ３０１において、透明な第３の電極３０５とアルミニウム薄膜等で構成された第２の電極３０４との間に電圧を印加すると同時に、第１の電極３０３と第２の電極３０４の間にも電圧を印加することにより、円形の孔を有する第２の電極３０４の中心軸３０９に軸対象な電界勾配を形成することができる。このように形成された円形電極のエッジ周りの軸対象な電界勾配により、液晶層３０６の液晶分子が電界勾配の方向に配向する。その結果、液晶層３０６の配向分布の変化により、異常光の屈折率分布が円形の電極の中心から周辺まで変化するため、レンズとして機能させることができる。第１の電極３０３、第２の電極３０４への電圧の掛け方によってこの液晶層３０６の屈折率分布を自由に変化させることができ、凸レンズや凹レンズなど自由に光学的な特性の制御を行うことが可能である。

本実施形態では、第１の電極３０３と第２の電極３０４の間に２０Ｖｒｍｓの実効電圧を印加し、また、第２の電極３０４と第３の電極３０５の間に７０Ｖｒｍｓの実効電圧を印加して、第１の電極３０３と第３の電極３０５の間には９０Ｖｒｍｓの実効電圧が印加されるようにして凸レンズとして機能させている。ここで、液晶駆動電圧（各電極間に印加する電圧）は正弦波、またはデューティ比５０％の矩形波の交流波形である。印加する電圧値は実効電圧（ｒｍｓ：root mean square value）で表す。例えば１００Ｖｒｍｓの交流正弦波は、±１４４Ｖの尖頭値を有する電圧波形となる。また、交流電圧の周波数は例えば１ｋＨｚが用いられる。更に第２の電極３０４を構成する電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄと第３の電極３０５との間にそれぞれ異なった電圧を印加することにより、同一電圧を印加したときには軸対称であった屈折率分布が、円形の孔を有する第２の電極中心軸３０９に対して、軸のずれた非対称な分布となり、入射光が直進する方向から偏向するという効果が得られる。この場合、分割された第２の電極３０４と第３の電極３０５の間に印加する電圧を適宜変えることにより、入射光の偏向の方向を変化させることができる。例えば、電極３０４ａと電極３０５間と、電極３０４ｃと電極３０５間にそれぞれ７０Ｖｒｍｓを、電極３０４ｂと電極３０５間と、電極３０４ｄと電極３０５間にそれぞれ７１Ｖｒｍｓを印加することで、符号３０９で示す光軸位置が符号３１０で示す位置にシフトする。そのシフト量は例えば３μｍである。

図４は、液晶レンズ３０１の光軸シフト機能を説明する模式図である。前述した通り第２の電極を構成する電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄと第３の電極３０５との間に印加する電圧を、電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄ毎に制御することによって、撮像素子の中心軸と液晶レンズの屈折率分布の中心軸をずらすことが可能となる。これは撮像素子面に対してレンズがそのｘｙ面内でずれたことに相当するため、撮像素子に入力する光線を、そのｕ、ｖ面内で偏向することができる。

図５に図２に示す単位撮像部３の詳細構成を示す。単位撮像部３の中の光学レンズ３０２は２つの光学レンズ３０２ａ、３０２ｂによって構成され、液晶レンズ３０１は光学レンズ３０２ａ、３０２ｂの間に配置している。光学レンズ３０２ａ、３０２ｂはそれぞれ１枚もしくは複数枚のレンズより構成されている。物体面から入射した光線は液晶レンズ３０１の物体面側に配置する光学レンズ３０２ａによって集光され、スポットを小さくした状態で液晶レンズ３０１に入射される。このとき、液晶レンズ３０１への光線の入射角度は光軸に対して平行に近い状態となっている。液晶レンズ３０１から出射された光線は液晶レンズ３０１の撮像素子１５側に配置する光学レンズ３０２ｂによって撮像素子１５面上に結像される。このような構成とすることで液晶レンズ３０１の径を小さくすることが可能であり、液晶レンズ３０１へ印加する電圧の低減やレンズ効果の増大、第２の絶縁層３０８の厚さを薄くすることによるレンズ厚の低減が可能である。

図１に示す撮像装置１では、１つの撮像素子に対して１つの撮像レンズを配置した構成としているが、液晶レンズ３０１において同一基板上に複数個の第２の電極３０４を構成し、複数の液晶レンズを一体化した構成でも構わない。すなわち液晶レンズ３０１は第２の電極３０４の孔の部分がレンズに相当するため、１枚の基板上に複数個の第２の電極３０４のパターンを配置することで、それぞれの第２の電極３０４の孔の部分がレンズ効果を有する。そのため、複数個の撮像素子の配置に合わせて同一基板上に複数の第２の電極３０４を配置することで単一の液晶レンズユニットで全ての撮像素子に対応することが可能である。

なお、前述した説明においては液晶層の層数が１層であったが、１層の厚みを薄くして複数の層で構成することで同程度の集光性を保ったまま応答性を改善することも可能である。これは液晶層の厚みが増すほど応答速度が劣化する特徴によるものである。また、液晶層を複数の層で構成した場合、それぞれの液晶層間での偏光の向きを変えることで、液晶レンズへ入射した光線に対して全ての偏光方向でレンズ効果を得ることができる。さらに、電極分割数も１例として４分割のタイプを例示したが、移動したい方向に応じて電極の分割数を変更することも可能である。

次に、図６及び図７を参照して、図１に示す撮像素子１５の構成を説明する。本実施形態による撮像装置の撮像素子は、一例として、ＣＭＯＳ撮像素子を使用することができる。図６において、撮像素子１５は、２次元配列の画素５０１から構成されている。本実施形態のＣＭＯＳ撮像素子の画素サイズは５．６μｍ×５．６μｍ、画素ピッチは６μｍ×６μｍ、実効画素数は６４０（水平）×４８０（垂直）である。ここで画素とは、撮像素子が行う撮像動作の最小単位である。通常、１つの光電変換素子（例えばフォトダイオード）に１つの画素が対応している。５．６μｍ各の画素サイズのなかに、ある面積（空間的広がり）を持つ受光部があり、画素はその受光部に入射した光を平均化、積分して光の強度とし、電気信号に変換する。平均化する時間は電子式や機械式のシャッター等で制御されて、その動作周波数は一般的に撮像装置が出力するビデオ信号のフレーム周波数と一致し、例えば６０Ｈｚである。

図７に撮像素子１５の詳細な構成を示す。ＣＭＯＳ撮像素子１５の画素５０１は、増幅器５１６によって、フォトダイオード５１５で光電変換された信号電荷を増幅する。各画素の信号は、垂直走査回路５１１及び水平走査回路５１２により、垂直水平アドレス方式で選択し、電圧または電流として取り出される。ＣＤＳ（Correlated Double Sampling）５１８は相関２重サンプリングを行う回路であり、アンプ５１６等で発生するランダム雑音のうち１／ｆ雑音を抑圧することができる。画素５０１以外の画素についても同様の構成、機能となっている。またＣＭＯＳロジックＬＳＩ製造プロセスの応用で大量生産が可能なため、高電圧アナログ回路を持つＣＣＤイメージセンサと比較して安価であり、素子が小さいことから消費電力も少なく、原理的にスミアやブルーミングが発生しないという長所もある。本実施形態ではモノクロのＣＭＯＳ撮像素子１５を使用したが、各画素には個別にＲ，Ｇ，Ｂのカラーフィルタを取り付けたカラー対応のＣＭＯＳ撮像素子も使用できる。Ｒ，Ｇ，Ｇ，Ｂの繰り返しを市松模様状に配置するベイヤー構造を用いて、１つの撮像素子でカラー化を簡易に達成できる。

次に、図８を参照して、撮像装置１の全体の構成について説明する。図８において、図１に示す同一の部分には同一の符号を付し、その説明を省略する。図８において、Ｐ００１は撮像装置１の処理動作を統括して制御するＣＰＵ（Central Processing Unit）であり、マイクロコントローラ（マイコン）と呼ばれる場合もある。Ｐ００２は不揮発性メモリで構成するＲＯＭ（Read Only Memory）であり、ＣＰＵ・Ｐ００１のプログラムや各処理部に必要な設定値を記憶する。Ｐ００３はＲＡＭ（Random Access Memory）であり、ＣＰＵの一時的なデータを記憶する。Ｐ００４はＶｉｄｅｏＲＡＭであり、主に演算途中の映像信号、画像信号を記憶するためのもので、ＳＤＲＡＭ（Synchronous Dynamic RAM）などで構成される。

図８はＣＰＵ・Ｐ００１のプログラム格納用としてＲＡＭ・Ｐ００３を、画像格納用としてＶｉｄｅｏＲＡＭ・Ｐ００４を持つ構成であるが、例えば２つのＲＡＭブロックをＶｉｄｅｏＲＡＭ・Ｐ００４に統一する構成でもよい。Ｐ００５はシステムバスであり、ＣＰＵ・Ｐ００１、ＲＯＭ・Ｐ００２、ＲＡＭ・Ｐ００３、ＶｉｄｅｏＲＡＭ・Ｐ００４、映像処理部２７、映像合成処理部３８、制御部３３が接続されている。またシステムバスＰ００５は、後述する映像処理部２７、映像合成処理部３８、制御部３３の各ブロックの内部ブロックにも接続される。ＣＰＵ・Ｐ００１がホストとしてシステムバスＰ００５を制御しており、映像処理、画像処理及び光軸制御に必要な設定データが双方向に流れる。また、例えば映像合成処理部３８の演算途中の画像をＶｉｄｅｏＲＡＭ・Ｐ００４に格納する際にこのシステムバスＰ００５を使用する。高速転送速度が必要な画像信号用のバスと、低速のデータバスを異なるバスラインとしてもよい。システムバスＰ００５には、図示しないＵＳＢやフラッシュメモリカードのような外部とのインターフェースや、ビューファインダとしての液晶表示器の表示駆動コントローラが接続される。

次に、図９、図１０を参照して、映像処理部２７と映像合成処理部３８の処理動作を説明する。図９は、映像処理部２７の構成を示すブロック図である。図９において、６０１は映像入力処理部、６０２は補正処理部、６０３は較正パラメータ記憶部である。映像入力処理部６０１は、単位撮像部３から取り込んだ映像信号を入力し、例えばニー処理やガンマ処理などの信号処理を施し、さらにホワイトバランス制御も実施する。映像入力処理部６０１の出力は補正処理部６０２に渡されて、後述するキャリブレーション手順によって得られた較正パラメータに基づく歪みの補正処理が施される。例えば撮像素子１５の取り付け誤差に起因する歪みが較正される。較正パラメータ記憶部６０３はＲＡＭ（Random Access Memory）であり、キャリブレーション値（較正値）を記憶している。補正処理部６０２からの出力である補正済みの映像信号は、映像合成処理部３８に出力される。較正パラメータ記憶部６０３に記憶されているデータは、例えば撮像装置の電源投入時にＣＰＵ・Ｐ００１によって更新される。または、較正パラメータ記憶部６０３をＲＯＭ（Read Only Memory）として、工場出荷時のキャリブレーション手順にて格納データを確定してＲＯＭに記憶するようにしてもよい。

映像入力処理部６０１、補正処理部６０２及び較正パラメータ記憶部６０３は、それぞれシステムバスＰ００５に接続されている。例えば映像入力処理部６０１の前述のガンマ処理の特性はＲＯＭ・Ｐ００２に格納されている。映像入力処理部６０１は、ＣＰＵ・Ｐ００１のプログラムによって、ＲＯＭ・Ｐ００２に格納されているデータをシステムバスＰ００５を介して受け取る。また、補正処理部６０２は、演算途中の画像データをシステムバスＰ００５を介してＶｉｄｅｏＲＡＭ・Ｐ００４に書き出し、またはＶｉｄｅｏＲＡＭ・Ｐ００４から読み出す。本実施形態ではモノクロのＣＭＯＳの撮像素子１５を使用しているが、カラーのＣＭＯＳ撮像素子を使用する場合、例えば撮像素子がベイヤ構造である場合は、映像処理部６０１でベイヤ補間処理を実施することになる。

図１０は、映像合成処理部３８の構成を示すブロック図である。合成処理部７０１は、複数の単位撮像部２〜７の撮像結果を合成処理する。合成処理により、後述するように画像の解像度を改善することができる。合成パラメータ記憶部７０２は、例えば後述するキャリブレーションによって導出される単位撮像部間の３次元座標から求まる画像シフト量のデータを格納している。判定部７０３では、映像合成結果に基づいて制御部への信号を生成する。ステレオ画像処理部７０４は、複数の単位撮像部２〜７の各撮像画像から画素毎のシフト量（画素毎のシフトパラメータ）を求める。また撮像条件（距離）により撮像素子の画素ピッチで正規化したデータを求める。

合成処理部７０１は、このシフト量を基に画像をシフトさせて合成する。判定部７０３は合成処理の結果を例えばフーリエ変換することで、映像信号の高帯域成分のパワーを検出する。ここで、例えば４つの単位撮像部の合成処理を行う場合を仮定する。撮像素子はワイドＶＧＡ（８５４画素×４８０画素）であると仮定する。また、映像合成処理部３８の出力であるビデオ出力がハイビジョン信号（１９２０画素×１０８０画素）であると仮定する。この場合、判定部７０３で判断する周波数帯域は、およそ２０ＭＨｚから３０ＭＨｚである。ワイドＶＧＡの映像信号が再現可能な映像周波数の帯域上限はおよそ１０ＭＨｚ〜１５ＭＨｚである。このワイドＶＧＡの信号を用いて、合成処理部７０１で合成処理することにより、２０ＭＨｚ〜３０ＭＨｚの成分を復元する。ここで、撮像素子はワイドＶＧＡであるが、主に撮像レンズ８〜１３からなる撮像光学系は、ハイビジョン信号の帯域を劣化させない特性を持つことが条件となる。

この合成後のビデオ信号の周波数帯域（前述の例では２０ＭＨｚ〜３０ＭＨｚの成分）のパワーが最大となるように、制御部３２〜制御部３７を制御する。周波数軸での判断のために、判定部７０３ではフーリエ変換処理を行い、その結果の、特定の周波数以上（例えば２０ＭＨｚ）のエネルギーの大きさを判断する。撮像素子の帯域を越える映像信号帯域の復元の効果は、撮像素子上に結像した像を画素の大きさで決まる範囲で標本化する際の、その位相によって変化する。この位相を最適な状態とするために、制御部３２〜３７を用いて、撮像レンズ８〜１３を制御する。具体的には、制御部３３は撮像レンズ９にある液晶レンズ３０１を制御する。液晶レンズ３０１の分割された電極３０４ａ、電極３０４ｂ、電極３０４ｃ、電極３０４ｄに印加する電圧のバランスを制御することで、図４に示した通り、撮像素子面上の画像が移動する。制御結果の理想的な状態は、各々の単位撮像部の撮像結果の標本化位相が、互いに画素サイズの１／２だけ、水平、垂直、斜め方向にシフトした状態である。そのような理想的な状態になった場合、フーリエ変換の結果の高帯域成分のエネルギーは最大となる。つまり、液晶レンズの制御と、その結果の合成処理の判定を行うフィードバックループにより、フーリエ変換の結果のエネルギーを最大となるよう制御する。

この制御方法は、映像処理部２７からの映像信号を基準として、制御部３３以外の制御部３２、３４〜３７を介して撮像レンズ２、撮像レンズ４〜７を制御する。この場合、撮像レンズ２は、制御部３２によって光軸位相が制御される。その他の撮像レンズ４〜７についても同様に光軸位相が制御される。各撮像素子の画素より小さいサイズでの位相の制御がなされることで、撮像素子で平均化される位相のオフセットが最適化される。つまり、撮像素子上に結像した像を画素で標本化する際の、その標本化の位相を、光軸位相の制御により高精細化を行うために理想的な状態に制御する。その結果高精細、高画質な映像信号を合成することが可能となる。判定部７０３は、合成処理結果を判定し、高精細、高画質な映像信号が合成できていれば、その制御値を維持し、高精細、高画質な映像信号をビデオ出力する。一方、高精細、高画質な映像信号が合成できていなければ、再度撮像レンズの制御を行う。

ここでは、撮像素子１の画素と撮像対象の結像の位相が、画素のサイズ以下となるために、サブ画素と名前をつけて定義するが、画素を分割するサブ画素の構造が撮像素子上に実在するものではない。また、映像合成処理部３８の出力は、例えばビデオ信号であり、図示しないディスプレイに対して出力されたり、または図示しない画像記録部に渡されて、磁気テープやＩＣカードに記録される。合成処理部７０１、合成パラメータ記憶部７０２、判定部７０３、ステレオ画像処理部７０４は、それぞれシステムバスＰ００５に接続されている。合成パラメータ記憶部７０２はＲＡＭで構成されている。例えば、撮像装置の電源投入時にＣＰＵ・Ｐ００１によってシステムバスＰ００５を介して更新される。また、合成処理部７０１は、演算途中の画像データを、システムバスＰ００５を介してＶｉｄｅｏＲＡＭ・Ｐ００４に書き出し、またはＶｉｄｅｏＲＡＭ・Ｐ００４から読み出す。

ステレオ画像処理部７０４は、画素毎のシフト量（画素毎のシフトパラメータ）及び撮像素子の画素ピッチで正規化したデータを求める。これは撮影した映像の１画面の中で複数の画像シフト量（画素毎のシフト量）で映像を合成する場合、具体的には撮影距離が近い被写体から遠い被写体まで焦点のあった映像を撮影したい場合に有効となる。すなわち、被写界深度が深い映像を撮影できる。逆に画素毎のシフト量でなく、１画面で１つの画像シフト量を適用する場合は被写界深度が浅い映像を撮影できる。

次に、図１１を参照して、制御部３３の構成を説明する。図１１において、８０１は電圧制御部、８０２は液晶レンズパラメータ記憶部である。電圧制御部８０１は、映像合成処理部３８の判定部７０３からの制御信号に従い、撮像レンズ９が備えている液晶レンズ３０１の各電極の電圧を制御する。制御される電圧は、液晶レンズパラメータ記憶部８０２から読み出すパラメータ値を基準に決定する。このような処理により、液晶レンズ３０１の電界分布が理想的に制御されて、図４に示すように光軸が制御されて、結果取り込み位相が補正された状態で撮像素子１５において光電変換される。このような制御によって、画素の位相が理想的に制御されて、その結果ビデオ出力信号の解像度が改善される。制御部３３の制御結果が理想的な状態であれば、判定部７０３の処理であるフーリエ変換の結果のエネルギー検出が最大となる。そのような状態となるように、制御部３３は、撮像レンズ９、映像処理部２７、映像合成処理部３８によるフィードバックループを構成して、高域周波数のエネルギーが大きく得られるように、液晶レンズを制御する。電圧制御部８０１、液晶レンズパラメータ記憶部８０２は、それぞれシステムバスＰ００５に接続されている。液晶レンズパラメータ記憶部８０２は例えばＲＡＭで構成されており、撮像装置１の電源投入時にＣＰＵ・Ｐ００１によってシステムバスＰ００５を介して更新される。

なお、図９〜図１１に示す較正パラメータ記憶部６０３、合成パラメータ記憶部７０２及び液晶レンズパラメータ記憶部８０２は、同一のＲＡＭ、もしくはＲＯＭを用いて、記憶するアドレスで使い分ける構成にしてもよい。また、ＲＯＭ・Ｐ００２やＲＡＭ・Ｐ００３の一部のアドレスを使用する構成でもよい。

次に、撮像装置１の制御動作を説明する。図１２は、撮像装置１の動作を示すフローチャートである。ここでは、映像合成処理において映像の空間周波数情報を使用する一例を示す。まず、ＣＰＵ・Ｐ００１が制御処理の開始を指示すると、補正処理部６０２は、較正パラメータ記憶部６０３から較正パラメータを読み込む（ステップＳ９０１）。補正処理部６０２は、読み取った較正パラメータを基に、単位撮像部２〜７毎の補正を行う（ステップＳ９０２）。この補正は、後述の単位撮像部２〜７毎の歪みを除去するものである。次に、合成処理部７０１は、合成パラメータ記憶部７０２から合成パラメータを読み込む（ステップＳ９０３）。また、ステレオ画像処理部７０４で画素毎のシフト量（画素毎のシフトパラメータ）、及び撮像素子の画素ピッチで正規化したデータを求める（ステップＳ９１１）。そして、合成処理部７０１は読み込んだ合成パラメータ、及び画素毎のシフト量（画素毎のシフトパラメータ）、撮像素子の画素ピッチで正規化したデータを基にサブ画素映像合成高精細化処理を実行する（ステップＳ９０４）。後述するように、サブ画素単位での位相が異なる情報をもとに高精細画像を構築する。

次に、判定部７０３は高精細判定を実行し（ステップＳ９０５）、高精細か否かを判定する（ステップＳ９０６）。判定部７０３は、内部に判定用の閾値を保持しており、高精細の度合いを判定して、この判定結果の情報を制御部３２〜３７のそれぞれに渡す。各制御部３２〜３７は、高精細が達成されている場合は制御電圧を変更せずに、液晶レンズパラメータは同一値を保持する（ステップＳ９０７）。一方、高精細ではないと判定された場合、制御部３２〜３７は、液晶レンズ３０１の制御電圧を変更する（ステップＳ９０８）。ＣＰＵ・Ｐ００１は、制御終了条件を管理しており、例えば装置のパワーオフの条件が成立したか否かを判定し（ステップＳ９０９）、制御終了条件が満たされていなければ、ステップＳ９０３へ戻り、処理を繰り返す。一方、制御終了条件を満たしていれば処理を終了する。なお、制御終了条件は、装置のパワーオン時に予め高精細判定回数を１０回というように定めておき、指定回数分、ステップＳ９０３〜Ｓ９０９の処理を繰り返すようにしてもよい。

次に、図１３を参照して、図１２に示すサブ画素映像合成高精細化処理（ステップＳ９０４）の動作を説明する。画像サイズ、倍率、回転量及びシフト量は合成パラメータであり、合成パラメータ読み込み処理（ステップＳ９０３）において合成パラメータ記憶部７０２から読み出されるパラメータである。ここでは、４つの単位撮像部から１つの高精細画像を得る場合を仮定する。個々の単位撮像部にて撮像した４つの画像から、回転量とシフト量のパラメータを使用して１つの座標系に重ねる。そして、４つの画像と距離による重み係数によってフィルタ演算を行う。例えばフィルタはキュービック（３次近似）を使用する。距離ｄにある画素から取得する重みｗは次式となる。
ｗ＝１−２×ｄ２＋ｄ３（０≦ｄ＜１）
＝４−８×ｄ＋５×ｄ２−ｄ３（１≦ｄ＜２）
＝０（２≦ｄ）

次に、図１４を参照して、図１２に示す判定部７０３が行う高精細判定処理（ステップＳ９０５）の詳細動作を説明する。まず、判定部７０３は、定義範囲の信号を抽出する（ステップＳ１００１）。例えばフレーム単位の１画面を定義範囲とした場合は別途図示しないフレームメモリブロックを持ち、あらかじめ１画面分の信号を記憶する。例えばＶＧＡ解像度であれば、１画面分は６４０×４８０画素からなる２次元の情報である。この２次元情報に対して、判定部７０３は、フーリエ変換を実行して、時間軸の情報を周波数軸の情報に変換する（ステップＳ１００２）。次に、ＨＰＦ（High pass filter：高域通過濾過器）によって、高域信号を抽出する（ステップＳ１００３）。例えば、撮像素子９が、アスペクト比が４：３、６０ｆｐｓ（Frame Per Second）（プログレッシブ）のＶＧＡ信号（６４０画素×４８０画素）であり、映像合成処理部の出力であるビデオ出力信号がＱｕａｄ−ＶＧＡである場合を仮定する。ＶＧＡ信号の限界解像度が約８ＭＨｚであり、合成処理にて１０ＭＨｚ〜１６ＭＨｚの信号を再生する場合を仮定する。この場合、ＨＰＦは例えば１０ＭＨｚ以上の成分を通過させる特性を持つ。判定部７０３は、この１０ＭＨｚ以上の信号を閾値と比較して判定を行う（ステップＳ１００４）。閾値は、例えばフーリエ変換した結果のＤＣ（直流）成分を１とした場合の１０ＭＨｚ以上のエネルギーの閾値を０．５と設定して、その閾値との比較とする。

前述した説明においては、ある解像度の撮像結果の１フレーム分の画像を基準にフーリエ変換する場合を説明したが、定義範囲をライン単位（水平同期繰り返しの単位、ハイビジョン信号であれば、有効画素数１９２０画素単位）で定義すれば、フレームメモリブロックが不要となり、回路規模を小さくすることが可能となる。この場合、例えばハイビジョン信号であれば、例えばライン数の１０８０回、フーリエ変換を繰り返し実行して、ライン単位の１０８０回分の閾値比較判定を総合して、一画面の高精細度合いを判断してもよい。また、画面単位の閾値比較判定結果を数フレーム分使用して判断してもよい。このように、複数の判定結果をもとに総合判定することで、突発的なノイズの影響などを除去可能となる。また、閾値判定は、固定の閾値を使用してもよいが、閾値を適応的に変更してもよい。判断している画像の特徴を別途抽出して、その結果をもとに閾値を切り替えてもよい。例えば、ヒストグラム検出で画像の特徴を抽出してもよい。また、過去の判定結果と連動して現在の閾値を変更してもよい。

次に、図１５を参照して、図１２に示すは制御部３２〜３７が実行する制御電圧変更処理（ステップＳ９０８）の詳細動作を説明する。ここでは、制御部３３の処理動作を例として説明するが、制御部３２、３４〜３７の処理動作も同様である。まず、電圧制御部８０１は、液晶レンズパラメータ記憶部８０２から現在の液晶レンズのパラメータ値を読み出す（ステップＳ１１０１）。そして、電圧制御部８０１は、液晶レンズのパラメータ値を更新する（ステップＳ１１０２）。液晶レンズパラメータには過去の履歴を持たせておき、例えば現在４つの電圧制御部３３ａ、３３ｂ、３３ｃ、３３ｄに対して、電圧制御部３３ａの電圧を過去の履歴で４０Ｖ、４５Ｖ、５０Ｖと５Ｖ置きに上昇させている最中である場合、履歴と今回の高精細ではないという判断から、さらに電圧を上げるべきと判断し、電圧制御部３３ｂ、電圧制御部３３ｃ、電圧制御部３３ｄの電圧値を保持しながら、電圧制御部３３ａの電圧を５５Ｖに更新する。このように、順次４つの液晶レンズの電極３０４ａ、３０４ｂ、３０４ｃ、３０４ｄに与える電圧値を更新する。また、更新した値は、履歴として液晶レンズパラメータの値を更新する。

以上の処理動作により、複数の単位撮像部２〜７の撮像画像をサブ画素単位で合成して、その高精細の程度を判定して、高精細性能を維持するように制御電圧を変更することで、高画質な撮像装置を実現することが可能となる。分割された電極３０４ａ、電極３０４ｂ、電極３０４ｃ、電極３０４ｄに異なる電圧を印加することで、撮像レンズ８〜１３によって撮像素子上に結像した像を撮像素子の画素で標本化する際の、標本化位相を変化させる。その制御の理想的な状態は、各々の単位撮像部の撮像結果の標本化位相が、互いに画素サイズの１／２だけ、水平、垂直、斜め方向にシフトした状態である。理想的な状態であるかどうかの判断は、判定部７０３で判断する。

次に、図１６を参照して、カメラキャリブレーションの処理動作を説明する。この処理動作は、例えば撮像装置１の工場生産時に行う処理であり、撮像装置の電源投入時に複数の操作ボタンを同時に押すなどの特定の操作を行うことでこのカメラキャリブレーションを実行する。このカメラキャリブレーション処理は、ＣＰＵ・Ｐ００１によって実行される。まず、撮像装置１を調整する作業者が、パターンピッチが既知のチェッカーパターンや市松模様のテストチャートを用意して、姿勢やアングルを変えながらチェッカーパターンの３０種類の姿勢で撮像して画像を取得する（ステップＳ１２０１）。続いて、ＣＰＵ・Ｐ００１はこの撮像画像を、単位撮像部２〜７毎に解析して、単位撮像部２〜７毎の外部パラメータ値、内部パラメータ値を導出する（ステップＳ１２０２）。例えばピンホールカメラモデルと呼ばれるような一般的なカメラのモデルであれば、外部パラメータ値はカメラの姿勢の３次元での回転情報と並進情報の６つが外部パラメータとなる。また同様に内部パラメータは５つである。このようなパラメータを導出することが、較正（キャリブレーション）である。一般的なカメラモデルでは、外部パラメータは、世界座標に対してカメラの姿勢を示すヨー、ピッチ、ロールの３軸ベクトルと、平行移動成分を示す並進ベクトルの３軸成分の、合計６つである。また、内部パラメータは、カメラの光軸が撮像素子と交わる画像中心（ｕ０，ｖ０）、撮像素子上で仮定した座標の角度とアスペクト比、焦点距離の５つである。

次に、ＣＰＵ・Ｐ００１は、得られたパラメータを較正パラメータ記憶部６０３に記憶する（ステップＳ１２０３）。前述の通り、本パラメータを単位撮像部２〜７の補正処理（図１２に示すステップＳ９０２）で使用することで、単位撮像部２〜７の個別のカメラ歪みが補正されることになる。すなわち、本来直線であったチェッカーパターンがカメラの歪みで曲線となって撮像される場合があるので、これを直線に戻すためのパラメータをこのカメラキャリブレーション処理によって導出して、単位撮像部２〜７の補正を行う。

次に、ＣＰＵ・Ｐ００１は、単位撮像部２〜７間のパラメータを単位撮像部２〜７間の外部パラメータを導出して（ステップＳ１２０４）、合成パラメータ記憶部７０２、液晶レンズパラメータ記憶部８０２に記憶されているパラメータを更新する（ステップＳ１２０５、Ｓ１２０６）。この値は、サブ画素映像合成高精細化処理Ｓ９０４、及び制御電圧変更Ｓ９０８で使用される。

なお、ここでは撮像装置内のＣＰＵまたはマイコンにカメラキャリブレーションの機能を持たせた場合を示したが、例えば別途パソコンを用意して、このパソコン上で同様の処理を実行させて、得られたパラメータのみを撮像装置にダウンロードするような構成でもよい。

次に図１７を参照して、単位撮像部２〜７のカメラキャリブレーションの原理について説明する。ここでは、カメラによる投影の様子について図１７に示すようなピンホールカメラモデルを用いて考える。ピンホールカメラモデルにおいて、画像平面に至る光は全てレンズの中心の１点であるピンホールを通過し、画像平面と交差した位置で像を結ぶ。光軸と画像平面との交点を原点とし、カメラの素子の配置軸に合わせてｘ軸とｙ軸をとる座標系を画像座標系と呼び、カメラのレンズ中心を原点、光軸をＺ軸とし、ｘ軸とｙ軸に平行にＸ軸とＹ軸をとる座標系をカメラ座標系と呼ぶ。ここで、空間を表す座標系であるワールド座標系（Ｘw，Ｙw，Ｚw）での３次元座標Ｍ＝［Ｘ，Ｙ，Ｚ］Ｔと、その投影である画像座標系（ｘ，ｙ）上の点ｍ＝［ｕ，ｖ］Ｔとの間には、（１）式のように関連付けられる。

ここで、Ａは内部パラメータ行列といい、次の（２）式のような行列である。

α，βは画素の大きさと焦点距離との積からなるスケール係数、（ｕ０，ｖ０）は画像中心、γは画像の座標軸の歪みを表すパラメータである。また、［Ｒｔ］は外部パラメータ行列といい、３×３の回転行列Ｒと平行移動ベクトルｔを並べた４×３行列である。

Ｚｈａｎｇのキャリブレーション手法では、既知のパターンが貼り付けられた平板を動かしながら画像を（３回以上）撮影するだけで、内部パラメータ、外部パラメータ、レンズ歪みパラメータを求めることができる。この手法では、キャリブレーション平面をワールド座標系のＺw＝０の平面としてキャリブレーションする。（１）式で示したキャリブレーション平面上の点Ｍと、その平面を撮影した画像上の対応する点ｍとの関係は、次の（３）式のように書き変えることができる。

平面上の点と画像上の点との関係は３×３のホモグラフィ行列Ｈで、（４）式のように記述できる。

キャリブレーション平面の画像が１つ与えられると、ホモグラフィ行列Ｈが１つ得られる。このホモグラフィＨ＝［ｈ１ｈ２ｈ３］が得られると、（４）式より次の（５）式が得られる。

Ｒが回転行列なのでｒ１とｒ２は直交であることから、次に示す内部パラメータに関する２つの拘束式である（６）、（７）式が得られる。

Ａ−ＴＡ−１は（８）式のように、３×３の対象行列で６つの未知数を含んでおり、１つのＨにつき２つの式を立てることができるので、Ｈが３つ以上得られれば内部パラメータＡを決定することができる。ここで、Ａ−ＴＡ−１は対象性を持っていることから

とするＢの要素を並べたベクトルを

と定義する。ホモグラフィＨのｉ番目の列ベクトルをｈｉ＝［ｈｉ１ｈｉ２ｈｉ３］Ｔ，（ｉ＝１，２，３）とすると、ｈｉＴＢｈｊは

と表せる。

これにより、（６）式と（７）式は次式のようになる。

もし、ｎ枚の画像が得られていれば、ｎ個の上記の式を積み重ねることで、

を得る。ここで、Ｖは２ｎ×６の行列である。これより、ｂはＶＴＶの最小固有値に対応する固有ベクトルとして求められる。この場合、ｎ≧３であれば直接ｂに関する解を得ることができるが、ｎ＝２の場合は内部パラメータ中のγ＝０とすることで、式［０１００００］ｂ＝０を（１３）式に加えることで解を得る。また、ｎ＝１であれば２つの内部パラメータしか求めることができないため、例えばαとβのみを未知とし、残りの内部パラメータを既知とすることで解を得る。ｂを求めることでＢが求まれば、Ｂ＝μＡ−ＴＡからカメラの内部パラメータは（１４）式で計算される。

また、これより内部パラメータＡが求まれば、外部パラメータに関しても（５）式より、

として求めることができ、ここまでで得られたパラメータを初期値とする非線形最小二乗法によってパラメータを最適化することで、最適な外部パラメータを得ることができる。

以上のように、全ての内部パラメータが未知の場合においては、異なる視点から内部パラメータを固定した状態で撮影した３枚以上の画像を用いることでカメラキャリブレーションを行うことができる。この時、一般的には画像枚数が多いほどパラメータ推定精度は高くなる。また、キャリブレーションに用いる画像間における回転が小さい場合に誤差が大きくなる。

次に、図１８、図１９を参照して、カメラキャリブレーションで求められるカメラ（撮像装置）の位置・姿勢を表すカメラパラメータから、各画像で同じ領域が写っている領域を、サブ画素の精度で対応づける方法について説明する。図１８は、基本となる撮像素子１５（これを基本カメラと称する）とそれと隣り合う隣接の撮像素子１６（これを隣接カメラと称する）にて対象物体面上の点Ｍを前述の液晶レンズを介して各撮像素子上の点ｍ１またはｍ２へ投影（撮影）する場合を示している。また、図１９は図１８を、図１７に示すピンホールカメラモデルを用いて図示したものである。ワールド座標系上の点Ｍと画像座標系上の点ｍの関係は、カメラの移動性等から、中心射影行列Ｐを用いて表すと（１）式より、

と表せる。

算出されたＰを用いることで、三次元空間中の点と二次元画像平面上の点との対応関係が記述できる。図１９に示す構成において、基本カメラの中心射影行列をＰ１とし、隣接カメラの中心射影行列をＰ２とする。画像平面１上の点ｍ１から、その点と対応する画像平面２上の点ｍ２を求めるために、以下の方法を用いる。
（１）（１６）式よりｍ１から三次元空間中の点Ｍを求める。中心射影行列Ｐは、３×４の行列であるため、Ｐの疑似逆行列を用いて求める。

（２）算出された三次元位置より、隣接カメラの中心射影行列Ｐ２を用いて、隣接画像の対応点ｍ２を求める。

カメラパラメータＰはアナログの値を持っているので、算出された基本画像と隣接画像の対応点ｍ２は、サブ画素単位で求まる。カメラパラメータを用いる対応点マッチングには、既にカメラパラメータが求まっているため、行列計算だけで対応点を瞬時に算出できる利点がある。

次に、レンズの歪みとカメラキャリブレーションについて説明する。ここまではレンズを１つの点と見なすピンホールモデルで説明したが、実際にはレンズには有限の大きさがあるため、ピンホールモデルでは説明できない場合がある。このような場合の歪みの補正について、以下に説明する。凸レンズを使用する場合、入射光が屈折することによる歪みが発生する。このような放射方向の歪みに対する補正係数をｋ１、ｋ２、ｋ５と置く。また、レンズと撮像素子が平行に配置されない場合は、接線方向の歪みを生じる。この法線方向の歪みに対する補正係数をｋ３、ｋ４と置く。これらの歪みを歪曲収差と呼ぶ。ここで、歪み補正式は下記となる。

ここで、（ｘｕ，ｙｕ）は歪曲収差のない理想的なレンズの撮像結果の画像座標であり、（ｘｄ、ｙｄ）は歪曲収差のあるレンズの画像座標である。この座標の座標系は、双方とも前述の画像座標系ｘ軸、ｙ軸である。また、ｒは画像中心から（ｘｕ，ｙｕ）までの距離である。画像中心は、前述の内部パラメータｕ０，ｖ０で定まる。以上のモデルを仮定して、係数ｋ１〜ｋ５や内部パラメータをキャリブレーションによって導出すれば、歪の有無による結像座標の差が求まり、実物レンズに起因する歪みを補正することが可能となる。

図２０は、撮像装置１の撮像の様子を示す模式図である。撮像素子１５と撮像レンズ９からなる単位撮像部３は、撮像範囲ａを撮像する。撮像素子１６と撮像レンズ１０からなる単位撮像部４は、撮像範囲ｂを撮像する。２つの単位撮像部３、４にて略同一の撮像範囲を撮像する。例えば撮像素子１５、１６の配置間隔を１２ｍｍ、単位撮像部３、４の焦点距離が５ｍｍ、撮像範囲までの距離が６００ｍｍ、単位撮像部３、４の光軸が各々平行である場合、撮像範囲ａ，ｂの異なる範囲のエリアはおよそ３％程度である。このように、同一部を撮像して合成処理部３８で高精細化処理を行う。

次に、図２１、図２２を参照して、撮像装置１の高精細化について説明する。図２１の横軸は、空間の広がりを示す。この空間の広がりとは、現実の空間である場合と、撮像素子上の仮想空間広がりと、双方を示すものである。これらは、外部パラメータ、内部パラメータを用いれば相互に変換、換算が可能であるので同義である。また、撮像素子から順次読み出された映像信号をみなした場合は、図２１の横軸は時間軸となるが、この場合もディスプレイに表示された場合は観察者の目において空間の広がりと認識されるため、映像信号の時間軸である場合も空間の広がりと同義である。図２１の縦軸は振幅、強度である。物体反射光の強度を撮像素子の画素で光電変換して電圧レベルとして出力することから、振幅とみなしてよい。

図２１（ａ）は、現実空間での物体の輪郭である。この輪郭、すなわち物体の反射光の強度を撮像素子の画素の広がりで積分するため、単位撮像部２〜７にて図２１（ｂ）のように取り込まれる。積分は、一例として、ＬＰＦ（Low Pass Filter：低域通過フィルタ）を用いて行う。図２１（ｂ）中の矢印が、撮像素子の画素の広がりである。図２１（ｃ）は異なる単位撮像部２〜７で撮像した結果であり、図２１（ｃ）中の矢印の画素の広がりで光を積分する。図２１（ｂ）、（ｃ）にあるように、撮像素子の解像度（画素のサイズ）で定まる広がり以下の反射光の輪郭（プロファイル）は、撮像素子では再現できない。

しかし、本発明の特徴とするところは、図２１（ｂ）、（ｃ）において双方の位相関係にオフセットを持つことである。このようなオフセットを持って光を取り込み、合成処理部で最適に合成することで、図２１（ｄ）に示す輪郭を再現することが可能となる。図２１（ａ）〜（ｄ）から明らかなように、図２１（ａ）の輪郭をもっとも再現できているのは図２１（ｄ）であり、図２１（ｄ）中の矢印の幅に相当する撮像素子の画素のサイズの性能と等価である。本実施形態は液晶レンズに代表される非固体レンズと、撮像素子からなる単位撮像部を複数使用して、上述の平均化（ＬＰＦを用いた積分）による解像限界を超えるビデオ出力を得ることが可能となる。

図２２は、２つの単位撮像部の相対的な位相関係を示す模式図である。後段の画像処理で高精細化を行う場合、撮像素子によるサンプリング位相の相対関係は等間隔であることが望ましい。ここで、サンプリングとは、標本化と同義であり、離散的な位置におけるアナログ信号を取り出す処理を指す。図２２は２つの単位撮像部を使用する場合を仮定しているので、その位相関係は（ａ）のように、０．５画素サイズの位相関係が理想である。しかし、撮像距離や、装置の組み立ての関係で、図２２（ｂ）や（ｃ）のようになる場合がある。この場合、平均化されたあとの映像信号のみを用いて画像処理演算を行っても、すでに図２２（ｂ）、（ｃ）のような位相関係で平均化されてしまった信号は復元不可能である。そこで図２２（ｂ）、（ｃ）の位相関係を、（ｄ）に示すものに制御することが必須となる。本発明では、この制御を図４に示した液晶レンズによる光軸シフトで実現する。以上の処理により、常に理想的な位相関係が保たれるので、観察者に最適な画像を提供可能となる。

ここで、図２２においては１次元の位相関係について説明した。例えば４つの単位撮像部を用いて、各々水平、垂直、斜め４５度の各方向の１次元シフトをすることで、図２２に示した動作で２次元空間の位相制御が可能となる。また、例えば２つの単位撮像部を用いて、基準のものに対して片側の単位撮像部を２次元（水平、垂直、水平＋垂直）に位相制御することで、２次元の位相制御を実現してもよい。

例えば、４つの単位撮像部を用いて概略同一の撮像対象（被写体）を撮像して、４つの画像を得る場合を仮定する。ある画像を基準として、個々の画像をフーリエ変換して周波数軸で特徴点を判断して、基準画像に対する回転量とシフト量を算出して、その回転量、シフト量を用いて内挿フィルタリング処理することで高精細画像を得ることが可能となる。例えば撮像素子の画素数がＶＧＡ（６４０×４８０画素）であれば、４つのＶＧＡの単位撮像部によってＱｕａｄ−ＶＧＡ（１２８０×９６０画素）の高精細画像が得られる。前述の内挿フィルタリング処理は、例えばキュービック（３次近似）法を用いる。内挿点までの距離による重み付けの処理である。撮像素子の解像度限界はＶＧＡであるが、撮像レンズはＱｕａｄ−ＶＧＡの帯域を通過させる能力を持ち、ＶＧＡ以上のＱｕａｄ−ＶＧＡの帯域成分は折り返し歪み（エイリアシング）としてＶＧＡ解像度で撮像される。この折り返し歪みを使用して、映像合成処理でＱｕａｄ−ＶＧＡの高帯域成分を復元する。

図２３は、撮像対象（被写体）と結像の関係を示す図である。この図においては、レンズひずみを無視したピンホールモデルがベースになっている。レンズひずみが小さい撮像装置はこのモデルで説明可能であり、幾何光学のみで説明可能である。図２３（ａ）において、Ｐ１は撮像対象であり、撮像距離Ｈ離れている。ピンホールＯ、Ｏ’が２つの単位撮像部の撮像レンズに相当して、撮像素子Ｍ、Ｎの２つの単位撮像部で１つの像を撮像している模式図である。図２３（ｂ）は、撮像素子の画素にＰ１の像が結像する様子である。このように、画素と結像した像の位相が定まる。この位相は、互いの撮像素子の位置関係（基線長Ｂ）、焦点距離ｆ、撮像距離Ｈで決まる。

すなわち、撮像素子の取り付け精度によって設計値と異なる場合があり、また撮像距離によっても関係は変化する。この場合、ある組み合わせによっては図２３（ｃ）のように、互いの位相が一致してしまう場合が発生する。図２３（ｂ）の光強度分布イメージは、ある広がりに対する光の強度を模式的に示したものである。このような光の入力に対して、撮像素子では、画素の広がりの範囲で平均化する。図２３（ｂ）にあるように、２つの単位撮像部で異なる位相で取り込んだ場合は、同一の光強度分布が異なる位相で平均化されるため、後段の合成処理で高帯域成分（例えば撮像素子がＶＧＡ解像度であれば、ＶＧＡ解像度以上の高帯域）が再現できる。２つの単位撮像部であるので、０．５画素の位相ずれが理想である。

しかし、図２３（ｃ）のように位相が一致してしまうと、互いの撮像素子で取り込む情報が同じものとなり、高解像化は不可能となる。そこで、図２３（Ｃ）にあるように、光軸シフトで位相を最適な状態に制御することで、高解像化を達成する。最適な状態とは、図１４での処理で実現する。位相関係は、使用する単位撮像部の位相が等間隔が望ましい。本発明は光軸シフト機能を持つため、そのような最適な状態を外部からの電圧制御で達成可能となる。

図２４は、撮像装置１の動作を説明する模式図である。２つの単位撮像部からなる撮像装置で撮像している様子を図示したものである。各々の撮像素子は、説明の便宜上、画素単位に拡大して記載している。撮像素子の平面をｕ，ｖの２次元で定義していて、図２４はｕ軸の断面に相当する。撮像対象Ｐ０、Ｐ１は同一撮像距離Ｈにある。Ｐ０の像が、各々ｕ０、ｕ’０に結像する。ｕ０，ｕ’０は各々の光軸を基準とした撮像素子上の距離であり、図２４ではＰ０は撮像素子Ｍの光軸上にあるので、ｕ０＝０である。また、Ｐ１の各々の像の、光軸からの距離がｕ１，ｕ’１である。ここで、Ｐ０，Ｐ１が撮像素子Ｍ，Ｎ上に結像する位置の、撮像素子Ｍ，Ｎの画素に対する相対的な位相がイメージシフトの性能を左右する。この関係は、撮像距離Ｈ、焦点距離ｆ、撮像素子の光軸の間の距離である基線長Ｂによって定まる。

図２４では、互いの結像する位置、すなわちｕ０とｕ’０は画素のサイズの半分だけシフトしている。ｕ０（＝０）は撮像素子Ｍの画素の中心に位置している。対してｕ’０は撮像素子Ｎの画素の周辺に結像している。すなわち、画素サイズの半画素分ずれた関係となっている。ｕ１とｕ’１も同様に半画素のサイズだけシフトしている。図２４（ｂ）は、各々撮像した画像の同一画像同士を演算することで、１つの画像を復元・生成する動作の模式図である。Ｐｕがｕ方向の画素サイズを、Ｐｖがｖ方向の画素サイズを示す。図２４（ｂ）では、互いに画素の半分だけシフトしている関係となり、イメージシフトを実施して高精細画像を生成するための理想的な状態である。

図２５は、図２４に対して、例えば取り付け誤差により撮像素子Ｎが設計よりも画素サイズの半分だけずれて取り付けられた場合の模式図である。この場合、ｕ１とｕ’１の互いの関係は、各々の撮像素子の画素に対して同一の位相となる。図２５（ａ）では、双方とも、画素に対して左側に寄った位置に結像している。ｕ０（＝０）とｕ’０の関係も同様である。よって図２５（ｂ）のように、互いの位相は略一致する。

図２６は、図２５に対して、本発明の光軸シフトを動作させた場合の模式図である。図２６（ａ）中の光軸シフトという右方向の移動がその動作のイメージである。このように、光軸シフト手段を用いてピンホールＯ’をずらすことで、撮像対象が結像する位置が撮像素子の画素に対して制御可能となる。図２６（ｂ）のように理想的な位相関係が達成可能となる。

次に、図２７参照して、撮像距離と光軸シフトの関係について説明する。図２７は、撮像距離Ｈ０でＰ０を撮像している状態から、距離Ｈ１にある物体Ｐ１に被写体を切り替えた場合を説明する模式図である。図２７において、Ｐ０，Ｐ１はそれぞれ撮像素子Ｍ上の光軸上であると仮定しているので、ｕ０＝０であり、またｕ１＝０である。Ｐ０、Ｐ１が撮像素子Ｎに結像する際の、撮像素子Ｂの画素とＰ０，Ｐ１の像の関係に注目する。Ｐ０は、撮像素子Ｍの画素の中心に結像している。対して撮像素子Ｎでは、画素の周囲に結像している。よってＰ０を撮像していたときは最適な位相関係であったといえる。図２７（ｂ）は、被写体がＰ１の場合の互いの撮像素子の位相関係を示す模式図である。図２７（ｂ）にあるように被写体をＰ１に変更したあとは、互いの位相が略一致してしまう。

そこで、図２８（ａ）にあるように、被写体Ｐ１撮像時に光軸シフト手段で光軸を動かすことで、図２８（ｂ）に示すように理想的な位相関係に制御することが可能となり、よってイメージシフトによる高精細化が達成できる。ここで、撮像距離の情報を得る方法は、距離を測定する測距手段を別途持てばよい。または、本発明の撮像装置で距離を測定してもよい。複数のカメラ（単位撮像部）を用いて距離を測定する例が、測量などでは一般的である。その測距性能は、カメラ間の距離である基線長とカメラの焦点距離に比例して、測距物体までの距離に反比例する。

本発明の撮像装置を例えば８眼構成、すなわち８個の単位撮像部からなる構成とする。測定距離、すなわち被写体までの距離が５００ｍｍの場合は、８眼カメラのうち互いの光軸間距離（基線長）の短い４つのカメラで撮像、イメージシフト処理に割り当て、残りの互いに基線長の長い４つのカメラで被写体までの距離を測定する。また、被写体までの距離が２０００ｍｍと遠い場合は、８眼を使用してイメージシフトの高解像処理を行い、測距は例えば撮像した画像の解像度を解析することでボケ量を判定して、距離を推定するような処理で行うような構成にしてもよい。前述の５００ｍｍの場合にも、例えばＴＯＦ（Time of Flight）のような他の測距手段を併用することで、測距の精度を向上させてもよい。

次に、図２９を参照して、奥行きと光軸シフトによるイメージシフトの効果について説明する。図２９（ａ）は、奥行きΔｒを考えたＰ１，Ｐ２を撮像している模式である。各々の光軸からの距離の差（ｕ１−ｕ２）は（２２）式となる。
（ｕ１−ｕ２）＝Δｒ×ｕ１／Ｈ・・・（２２）

ここで、ｕ１−ｕ２は、基線長Ｂ、撮像距離Ｈ、焦点距離ｆによって定まる値である。ここでは、これらの条件Ｂ，Ｈ，ｆを固定して定数とみなす。また、光軸シフト手段により、理想的な光軸関係としていると仮定する。Δｒと画素の位置（撮像素子に結像する像の、光軸からの距離）との関係は、（２３）式となる。
Δｒ＝（ｕ１−ｕ２）×Ｈ／ｕ１・・・（２３）

すなわち、Δｒはｕ１に対して反比例の関係となる。また、図２９（ｂ）は、一例として画素サイズ６μｍ、撮像距離６００ｍｍ、焦点距離５ｍｍの場合を仮定して、奥行きによる影響が１画素の範囲内に収まる条件を導出したものである。奥行きによる影響が１画素の範囲内に収まる条件下では、イメージシフトの効果が十分であるので、例えば画角を狭めるなど、アプリケーションによって使い分ければ、奥行きによるイメージシフト性能劣化を回避することが可能となる。

図２９に示すように、Δｒが小さい（被写界深度が浅い）場合は、１つの画面で同一の画像シフト量を適用して高精細化処理を行えばよい。Δｒが大きい（被写界深度が深い）場合について、図２７及び図３０を参照して説明する。図３０は、図１０に示すステレオ画像処理部７０４の処理動作を示すフローチャートである。図２７において、ある基線長を持つ複数の撮像素子の画素によるサンプリングの位相のずれは撮像距離によって変化するため、いずれの撮像距離においても高精細化するためには、撮像距離に応じて画像シフト量を変える必要がある。例えば被写体に大きな奥行きがある場合、ある距離で最適な位相差にしても、その位相差では他の距離では最適でない。すなわち画素毎にシフト量を変える必要がある。ここで、撮像距離と撮像素子上に結像する点の移動量は（２４）式で表わされる。
ｕ０−ｕ１＝ｆ×Ｂ×（（１／Ｈ０）−（１／Ｈ１））・・・（２４）

ステレオ画像処理部７０４（図１０参照）は、これら画素毎のシフト量（画素毎のシフトパラメータ）、及び撮像素子の画素ピッチで正規化したデータを求める。ステレオ画像処理部７０４は、予め求めたカメラパラメータをもとに補正された２枚の撮像画像を用いてステレオマッチングを行う（ステップＳ３００１）。ステレオマッチングにより、画像の中の対応する特徴点を求め、そこから画素毎のシフト量（画素毎のシフトパラメータ）を計算する（ステップＳ３００２）。次に、ステレオ画像処理部７０４は、画素毎のシフト量（画素毎のシフトパラメータ）と撮像素子の画素ピッチとを比較する（ステップＳ３００３）。この比較の結果、画素毎のシフト量が撮像素子の画素ピッチより小さい場合、画素毎のシフト量を合成パラメータとして使用する（ステップＳ３００４）。一方、画素毎のシフト量が撮像素子の画素ピッチより大きい場合、撮像素子の画素ピッチで正規化したデータを求め、そのデータを合成パラメータとして使用する（ステップＳ３００５）。ここで求めた合成パラメータに基づき映像合成を行うことにより、撮像距離によらず高精細化画像を得ることができる。

ここで、ステレオマッチングについて説明する。ステレオマッチングとは、一つの画像を基準として、その画像中の位置（ｕ，ｖ）の画素に対して、同じ空間点の投影点を他の画像中から探索する処理のことである。カメラ投影モデルに必要なカメラパラメータは予めカメラキャリブレーションにより求められているため、対応点の探索は直線（エピポーラ線）上に限定することができる。特に本実施形態のように各単位撮像部の光軸が平行に設定されている場合、図３１に示すように、エピポーラ線は同じ水平線上の直線となる。このように基準画像に対するもう１つの画像上の対応点はエピポーラ線上に限定されるため、ステレオマッチングでは、その線上だけを探索すればよい。これは、マッチングの誤差の低減や処理を高速化するために重要である。

具体的な探索方法としては、領域ベースマッチング（area-based matching）や特徴ベースマッチング（feature-based matching）等がある。領域ベースマッチングは、図３２に示すように、テンプレートを用いて対応点を求めるものである。一方、特徴ベースマッチングは各画像のエッジやコーナー等の特徴点を抽出し、その特徴点どうしの対応を求めるものである。

より正確な対応点を求めるための方法としてマルチベースラインステレオという方法がある。これは、１組のカメラによるステレオマッチングだけでなく、より多くのカメラによる複数のステレオ画像対を利用する方法である。基準となるカメラに対し、いろいろな長さ、方向の基線（ベースライン）のステレオカメラのペアを利用してステレオ画像を得る。複数の画像ペアにおける視差は、例えば平行ステレオの場合、各視差をそれぞれ基線長で割ることにより、奥行き方向の距離に対応した値となる。そこで、各ステレオ画像ペアから得られるステレオマッチングの情報、具体的には、それぞれの視差／基線長に対する対応の確からしさを表すＳＳＤ（Sum of Squared Differences）等の評価関数を足し合わせ、そこから最も確からしい対応位置を決定する。すなわち各視差／基線長に対するＳＳＤの和であるＳＳＳＤ（Sum of SSD）の変化を調べれば、より明確な最小値が現れるため、ステレオマッチングの対応誤差を低減することができ、かつ推定精度を向上させることができる。また、マルチベースラインステレオでは、あるカメラでは見えている部分が別のカメラでは物体の陰に隠れて見えないというオクルージョン（occulusion）の問題も軽減することができる。

図３３に視差画像の一例を示す。（ａ）が原画像（基準画像）で、（ｂ）が（ａ）の画像の各画素に対する視差を求めた結果の視差画像である。視差画像は、画像の輝度が高いほど視差が大きく、すなわち撮像物がカメラに近い位置にあり、反対に輝度が低いほど視差が小さい、すなわち撮像物がカメラから遠い位置にあることを示す。

次に、図３４を参照して、ステレオ画像処理における雑音除去について説明する。図３４は、ステレオ画像処理における雑音除去を行う場合の映像合成処理部３８の構成を示すブロック図である。図３４示す映像合成処理部３８が、図１０に示す映像合成処理部３８と異なる点は、ステレオ画像雑音低減処理部７０５を設けた点である。図３５に示すステレオ画像処理における雑音除去の処理動作のフローチャートを参照して、図３４に示す映像合成処理部３８の動作を説明する。図３５において、ステップＳ３００１〜Ｓ３００５の処理動作は、図３０に示すステレオ画像処理部７０４が行うステップＳ３００１〜Ｓ３００５と同一である。ステレオ画像雑音低減処理部７０５は、ステップＳ３１０５で求められた画素毎の合成パラメータのシフト量が、隣接する周囲の合成パラメータのシフト量と大きく違う値である場合には、隣接する画素のシフト量の最頻値に置き換えることにより雑音除去を行う（ステップＳ３１０６）。

次に再び図３３を参照して、処理量の低減動作について説明する。ステレオ画像処理部７０４で求めた合成パラメータを用いて、通常は画像全体を高精細化するが、例えば、図３３の顔の部分（視差画像の輝度が高い部分）のみ高精細化し、背景の山の部分（視差画像の輝度が低い部分）は高精細化しないことで、処理量を低減することが可能となる。この処理は、前述したように、視差画像から顔がある画像の部分（距離が近く、視差画像の輝度が高い部分）を抽出し、その画像部分の画像データとステレオ画像処理部で求めた合成パラメータを用いて同様に高精細化することができる。これにより消費電力を低減できるため、バッテリー等で動作する携帯機器においては有効である。

以上、説明したように、液晶レンズの光軸シフト制御により、個別の撮像装置で得られる映像信号を高精細な映像に合成することが可能となる。また、従来、撮像素子上でのクロストークにより画質劣化が生じ、高画質化が難しかったが、本発明の撮像装置によれば、撮像素子に入射する光の光軸を制御することによりクロストークが無くすことができ、高画質を得ることができる撮像装置を実現することができる。また、従来の撮像装置では、画像処理によって、撮像素子上の結像したイメージを取り込むため、撮像素子の解像度を必要とする撮像解像度より大きくする必要があるが、本発明の撮像装置では、液晶レンズの光軸方向のみでなく、撮像素子に入射する光の光軸を任意の位置に設定する制御を行うことができるため、撮像素子のサイズを小さくすることができる、軽薄短小が要求される携帯端末等にも搭載することが可能となる。また、撮影距離にかかわらず、高画質な、高精細な２次元画像を生成することができる。さらに、ステレオマッチングによる雑音を除去することや、高精細化処理の高速化が可能となる。

１撮像装置
２〜７単位撮像部
８〜１３撮像レンズ
１４〜１９撮像素子
２０〜２５光軸
２６〜３１映像処理部
３２〜３７制御部
３８映像合成処理部

Claims

複数の撮像素子と、
前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、
前記撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部と、
前記複数の撮像素子のそれぞれが出力する光電変換信号を入力して、映像信号に変換して出力する複数の映像処理部と、
複数の映像信号に基づいてステレオマッチング処理を行うことにより、画素毎のシフト量を求め、前記撮像素子の画素ピッチを越えるシフト量は前記画素ピッチで正規化した合成パラメータを生成するステレオ画像処理部と、
前記複数の映像処理部のそれぞれから出力する前記映像信号と前記合成パラメータとを入力し、該複数の映像信号を前記合成パラメータに基づいて合成することにより高精細映像を生成する映像合成処理部と
を備えることを特徴とする撮像装置。
前記ステレオ画像処理部で生成した前記合成パラメータに基づき、前記ステレオマッチング処理に用いる視差画像の雑音を低減するステレオ画像雑音低減処理部を
さらに備えることを特徴とする請求項１に記載の撮像装置。
前記映像合成処理部は、前記ステレオ画像処理部で生成した前記視差画像に基づいて所定領域のみ高精細化することを特徴とする請求項１または２に記載の撮像装置。