JP2008022570A - 撮像装置 - Google Patents

Abstract

【課題】複数の撮像素子を配置して、高解像度および高精細な単一焦点の撮像装置を低コストで実現できるようにする。
【解決手段】撮像装置３１は、CCD６２−１乃至６２−３等の複数の撮像素子をアレイ状に並べた焦点一致の撮像装置である。即ち、撮像装置３１は、焦点一致の像を作る第１の結像系４１、第１の結像系の結像面またはその近傍に配置されるフィールドレンズ４３、および、自分自身に結像した映像を撮像する撮像素子CCD６２−K（この例では、Kは１乃至３のうちの何れかの値）と、結像面に結像した映像のうちの所定の一部をCCD６２-Kに再結像させるズームレンズ６１−Kとを含む複数の第２の結像系がアレイ状に配置されて形成される第２の結像系群から構成される光学系を有する。本発明は、複数の撮像素子を有するデジタルスチルカメラやデジタルビデオカメラに適用可能である。
【選択図】図２

Description

本発明は、撮像装置に関し、特に、複数の撮像素子が配置されて構成される撮像装置であって、高解像度および高精細な単一焦点の撮像装置を低コストで実現できるようになった、撮像装置に関する。

近年、様々な高解像度画像の撮像手法が提案されている。これらの撮像手法は、CCD（Charge-Coupled Device）等の撮像素子そのものを高解像度にする手法と、複数の撮像素子を用いて高解像度撮影を行う手法とに大別できる。

従来、後者の手法、即ち、複数の撮像素子を用いて高解像度撮影を行う撮像手法としては、例えば特許文献１や非特許文献１に開示された手法が知られている。

特許文献１に開示された手法は、CCDの開口を利用していわゆる画素ずらしで撮影を行う、といった手法である。即ち、その手法は至ってシンプルであり、プリズムで光線を4方向に分配し、その分配された光線を受光するCCDを半画素ずつずらすという手法である。

また、非特許文献１に開示された手法は、財団法人機械システム振興協会の主催するメガビジョンの方式に対応する手法であって、プリズムで画像を3分割して、3台のHDカムで映像を撮影する手法である。
特開2001-45508号公報 「財団法人機械システム振興協会の主催するメガビジョンの説明」、[online]、財団法人機械産業記念事業財団ホームページ、［2005年1月17日検索］、インターネット,<URL :http://www.tepia.or.jp/14th/hds.html>

しかしながら、特許文献１に開示された手法は、次の第１の問題点乃至第４の問題点を有している。

第１の問題点とは、4枚のCCDを用いる際には高解像度を得るという効果を奏することができるが、16枚、64枚とCCDを増やしていったとしても、CCDの開口率を越えれば、それに見合った解像度が得られない、即ち、それに見合った効果を奏することができない、という問題点である。

第２の問題点とは、特許文献１に開示された撮像装置の構成要素であるプリズムは非常に高価である、という問題点である。

第３の問題点とは、4枚のCCDを採用するときには1つのプリズムだけを採用すればよいが、16枚のCCDを採用するときには5つのプリズムを、64枚のCCDを採用するときには21のプリズムを、それぞれ採用しなければならない、即ち、CCDの採用枚数を増やす程非常に多くのプリズムが必要になる、という問題点である。

第４の問題点とは、撮像する画像の画素密度を部分的に変えることができない、という問題点である。

また、特許文献１の手法を参照して、例えば図１に示される手法、即ち、半画素でなくCCD１−１乃至１−４の撮像面のそのものをずらす手法も容易に思想できる。

しかしながら、この図１に示される手法でも、上述した第３の問題点と第４の問題点とをそのまま有するとともに、さらに、次の第５の問題点も有している。

第５の問題点とは、4 枚のCCD１−１乃至１−４を用いると4倍の大きさのプリズム２が必要になるが、このようなプリズム２は非常に高価である、という問題点である。

以上の問題点をまとめると、特許文献１に開示された手法、或いは、図１に示される手法のようなプリズムを用いる手法では、結局、CCDの数を増やすと巨大で高精度なプリズムが多数必要になる。このため、巨大なプリズムを作成する工程は難しく、単価が非常に高くなりコストがはね上がる、という問題点が存在することになる。また、CCD面には同じ画角の光りが到達するので、CCDの素子の密度を変更する以外では撮像する画像の画素密度を部分的に変えることはできない、という問題点も存在することになる。

そこで、（株）Hasselbladのデジタルバック528Cや、（株）ニコンの電子顕微鏡デジタルカメラDXM1200 のように、プリズムの代わりに撮像素子のCCDを時間方向に半画素シフトして撮影を行う手法も存在する。

しかしながら、この手法でも、上述した第１の問題点と第４の問題点とをそのまま有するとともに、さらに、次の第６の問題点も有している。

第６の問題点とは、CCDに到達する光の明るさ（光線）は十分だが、時間方向に画素をずらすので、撮像に時間がかかり動画撮像が難しい、という問題点である。

また、非特許文献１に開示された手法は、上述した第２の問題点乃至第４の問題点をそのまま有するとともに、さらに、次の第８の問題点と第９の問題点とを有している。

第８の問題点とは、カメラ本体の大きさにより、配置するカメラ（撮像素子）の数を増やすことが難しい、という問題点である。

第９の問題点とは、ブレンディング(のりしろ)部分がないために、境界で画像が歪み、それを改善する他の手法が必要になる、という問題点である。

以上の各種問題点をまとめると、従来の手法は何れも、複数の撮像素子を配置して、高解像度および高精細な単一焦点の撮像装置を低コストで実現することは非常に困難である、という問題点を有している。

本発明は、このような状況に鑑みてなされたものであり、複数の撮像素子が配置されて構成される撮像装置であって、高解像度および高精細な単一焦点の撮像装置を低コストで実現できるようにするものである。

本発明の一側面の撮像装置は、複数の撮像素子をアレイ状に並べた焦点一致の撮像装置であって、焦点一致の像を作る第１の結像系と、 前記第１の結像系による映像を結像する結像面と、前記結像面に結像した映像の所定の一部分が再結像された結果得られる映像を撮像する前記撮像素子を１つ含む第２の結像系が複数存在し、複数の前記第２の結像系がアレイ状に配置されて形成される第２の結像系群とから構成される光学系を備え、前記第１の結像系と前記第２の結像系群とを繋ぐ前記結像面の前方にフィールドレンズが配置されている。

前記第２の結像系群を構成する複数の前記第２の結像系のそれぞれは、それらに含まれる前記撮像素子により撮像された第１の画像の一部と、他の第２の結像系に含まれる前記撮像素子により撮像された第２の画像の一部とを、前記第１の画像と前記第２の画像とを繋ぎあわせるためのブレンディング領域として保持できるように、それぞれ配置されている。

前記第２の結像系群を構成する複数の前記第２の結像系のそれぞれは、さらに、前記結像面に結像した映像のうちの所定の一部を前記撮像素子に再結像させるレンズを含むように構成され、前記結像面と前記レンズとの間の距離がFとされ、前記結像面から出射される光線のうちの、前記ブレンディング領域に対応する光線の幅がφとされ、前記撮像素子と、それに隣接する前記撮像素子との間の距離がDとされた場合、２×F×tan（φ/２） ＞ Dで表される式を満たすように、それぞれ配置されている。

前記第２の結像系群を構成する複数の前記第２の結像系のそれぞれは、さらに、前記結像面に結像した映像のうちの所定の一部を前記撮像素子に再結像させるレンズを含むように構成され、前記第２の結像系群を構成する複数の前記第２の結像系のそれぞれについて他とは独立して、前記撮像素子の位置と、前記レンズのズームのそれぞれとを個別に変化させる機構をさらに備える。

前記機構は、ズームを可変させるために複数の前記レンズのそれぞれを他とは独立して駆動する第１のアクチュエータと、配置位置を可変させるために複数の前記撮像素子のそれぞれを他とは独立して駆動する第２のアクチュエータとを含む。

前記撮像装置は、前記機構を利用することで、前記第２の結像系群を構成する複数の前記第２の結像系のうちの１以上のそれぞれに含まれる１以上の前記撮像素子のそれぞれに、他の撮像素子と比較して高解像度な撮影を行わせ、その撮影が行われる場合に高解像度の撮影の範囲を決定するための演算を行う演算部をさらに備える。

前記高解像度の撮影の範囲を指定する操作をユーザが行うインタフェース部をさらに備え、前記演算部は、前記インタフェース部による前記ユーザの操作内容に基づいて、前記高解像度の撮影の範囲を演算する。

本発明の一側面の撮像装置においては、焦点一致の像を作る第１の結像系と、 前記第１の結像系による映像を結像する結像面と、前記結像面に結像した映像の所定の一部分が再結像された結果得られる映像を撮像する前記撮像素子を１つ含む第２の結像系が複数存在し、複数の前記第２の結像系がアレイ状に配置されて形成される第２の結像系群とから構成される光学系が備えられており、前記第１の結像系と前記第２の結像系群とを繋ぐ前記結像面の前方にフィールドレンズが配置されている。

以上のごとく、本発明によれば、複数の撮像素子を配置した撮像装置を実現できる。特に、高解像度および高精細な単一焦点の撮像装置を低コストで実現できる。

はじめに、本発明が適用される手法について説明する。

本発明が適用される手法とは、主に、次の第１の手法乃至第３の手法を言う。

第１の手法とは、２回結像させる手法、換言すると、第１の結像系（第１の光学系とも称する）と第２の結像系（第２の光学系とも称する）とを形成させる手法である。この第１の手法により、単一焦点、かつ撮像素子（例えばCCD等）間の物理的な干渉なくブレンディング領域（後述する図６のブレンディング領域１０３等）を保持した撮影が可能になる。ただし、ブレンディング領域を保持するためには、撮像素子の配置に注意を要する。このことは、図５を参照して後述する。

第２の手法とは、第１の手法により形成される第２の結像系の撮像素子の個数、位置、およびズームのうちの少なくともひとつを変化させる、という手法である。この第２の手法により、部分的に高解像度の撮影が可能になる。さらに、この第２の手法（および第１の手法）を適用した撮像装置の構成要素としてプリズムは不要になるので、撮像素子（CCD等）の数を増やしてもコストを抑えることが可能になる。

第３の手法とは、位相補正若しくは検出処理、輝度補正若しくは検出処理、並びに、それらの処理に必要な位相補正情報若しくは輝度補正情報を自動で求める処理を実現するための手法である。自動とは、撮像装置を使用するユーザ等の操作（トリガ信号の入力操作を除く）を介在することなく、撮像装置自身の判断で処理を実行することをいう。なお、第３の手法により実現される各種処理については、図１０以降のフローチャートを参照して参照する。

第１の手法乃至第３の手法を適用した撮像系を、従来のプリズムを用いた単一結像の撮像系で実現することは実質上不可能である。このため、本発明人は、第１の手法乃至第３の手法を適用した撮像系を有する撮像装置を発明した。かかる撮像装置は、例えば図２に示されるように構成される。即ち、図２は、本発明が適用される撮像装置の一実施の形態の構成を示している。

図２の例では、撮像装置３１は、第１の結像系（第１の光学系）４１、第２の結像系（第２の光学系）群４２、フィールドレンズ４３、信号処理部４４、および、高解像度撮像範囲指定用インタフェース４５を含むように構成されている。

はじめに、第１の結像系４１、第２の結像系群４２、および、フィールドレンズ４３からなる光学系について説明する。

上述したように、特許文献１等の従来の光学装置（撮像装置）は、一回のみ結像を行い、その像をプリズムで分割している。このように、従来、プリズムで同じ光線を分割する手法が主に適用されていた。これにより、上述した各種問題点が生じてしまうことになる。

また、このような問題点を解消する手法として、例えば図３に示される手法、即ち、例えばCCD８３−１乃至８３−３等複数のCCDをアレイ状に配置して、物体８１の像をレンズ８２を介してアレイ状に配置された複数のCCDに結像させる、といった手法が考えられる。しかしながら、CCD８３−１乃至８３−３等の物理的大きさを考えると、各CCDの枠同士が干渉して、画像が撮像できないCCD間の部分８４−１や部分８４−２が生じる、という新たな問題点が発生してしまう。

さらにまた、非特許文献１に開示された従来の光学系は、第１の結像系と第２の結像系自体は存在するが、第２の結像系に分割する際にプリズムで分割するため、境界部分を撮影することができず、大きく歪みをもってしまう、という問題点も発生してしまう。

そこで、本発明人は、これらの様々な問題点を併せて解消すべく、図２に示されるような再結像（２回結像）を用いた光学系、即ち、第１の結像系４１と、第２の結像系群４２とを有し、それらの間をフィールドレンズ４３で結ぶ構造の光学系を発明した。

第１の結像系は、例えば対物レンズ５１を有し、CCDの画角等に関する光学特性を決める光学系であって、フィールドレンズ４３またはその近傍に物体面３２の像を１回結像させる。換言すると、フィールドレンズ４３は、第１の結像系の焦点距離またはその手前近傍に配置される。第２の結像系群４２は、１つのズームレンズ６１−Kと１つのCCD６２−Kとを有する第２の結像系がN個（Nは、２以上の整数値）集まって構成される。なお、ｋは、１乃至Nの整数値である。ただし、図２の例では、１乃至３のうちの何れかの値がｋになる。また、ここで言う１つのズームレンズ６１−Kとは、ズームレンズ６１−Kが１つのレンズだけで構成されることを意味するのではなく、１以上のレンズから構成されるズームレンズ６２−１乃至６２−Nが第２の光学系群４２内に存在するが、１つの第２の結像系に着目した場合、１つの第２の結像系には、ズームレンズ６２−１乃至６２−Nのうちの所定の１つが設けられるという意味である。

このような第２の結像系群４２においては、他とは干渉なしにCCD６２−Kを配置することが可能になり、フィールドレンズ４３またはその近傍に結像された物体面３２の像をCCD６２−Kの面に再結像させることが可能になる。

なお、図２の例では、フィールドレンズ４３が採用されているが、その代わりに、図示せぬディフューザーを採用してもよい。ただし、ディフューザーは、出力光線の幅（ビーム角）を広げる機能を有しており、この機能のため、像の解像度が落ちることに注意を要する。

また、第２の光学系における撮像素子は、図２の例ではCCD６２−Kが採用されているが、当然ながら図２の例に限定されず、任意の撮像素子でよい。

さらにまた、図２の例では、フィールドレンズ４３より小さい第２の光学系が採用されているが、図２の例に限定されず、例えば、図４に示されるように、CCD６２−K（図４には、CCD６２−１のみが図示されている）の位置を偏心させることで、フィールドレンズ４３より大きな第２の光学系を採用（配置）することも可能である。

このような第２の光学系群４２を採用することで、自由度の高い撮影を行うことが可能になる。即ち、CCD６２−１乃至６２−Nの個数Nの増加が容易になるので、自由度の高い撮影を行うことが可能になる。また、CCD６２−Kを有する第２の光学系の位置とズームを、他の第２の光学系とは独立して容易に可変できるので、例えば部分的な高解像度撮影を行うことが容易にできるようになり、その結果、自由度の高い撮影を行うことが可能になる。

詳細には、上述したように、従来のプリズムで分割する手法では、CCDの数を多くしようとすると、プリズムの数が非常に多くなる、という問題が発生してしまう。具体的には。4分割のプリズムを採用する場合において、4枚のCCDを採用するときには1個のプリズムだけを採用すればよいが、16枚のCCDを採用するときには5個のプリズムを採用する必要が生じ、さらに、64枚のCCDを採用するときには21個ものプリズムを採用する必要が生じる、という問題が発生してしまう。また、上述した図１に示される手法で採用されているCCD１−１乃至１−４等の配置を考えると、プリズム２の結像面自体も大きくなり、このようなプリズム２を加工するのは難しく非常に高価になる、という問題も発生してしまう。

これに対して、本実施の形態の第２の光学系群４２では、ズームレンズ６１−K等のレンズの大きさが許す範囲内であれば、CCD６２−Kを多数配置することが可能である。たとえレンズが大きくなったとしても、大きなプリズムを加工する場合と比較すると、安価でレンズを製造できるので、それに伴い、本実施の形態の第２の光学系群４２を含む光学系全体も安価で実現できる。

また、CCD６２−Kを追加する場合にも、焦点距離が変わらないように追加して並べれば新規に光路設計が不要である。

ただし、ブレンディング領域（後述する図６のブレンディング領域１０３等）を保持するためには、２つのCCD６２−KとCCD６２−K+1とを図５に示されるように配置させる必要がある。即ち、図５は、ブレンディング領域を保持するための、２つのCCD６２−KとCCD６２−K+1の配置方法を説明する図である。

図５の例では、フィールドレンズ４３の右方近傍の面９１が撮像面（結像面）とされ、そのうちの領域９２がブレンディング領域とされている。また、Fは、撮像面９１と、ズームレンズ６１−Kまたは６１−K+1との間の距離とされ、Dは、２つのCCD６２−KとCCD６２−K+1との間隔とされ、φは、結像面から出射される光線のうちの、ブレンディング領域９２に対応する光線の幅（ビーム角）を示している。

この場合、ブレンディング領域９２を保持するためには、図５に示されるように、ブレンディング領域９２に対応する光線が、２つのCCD６２−KとCCD６２−K+1との何れにも入射される必要がある。これを満たすためには、次の式（１）のような条件が必要になる。

２×F×tan（φ/２） ＞ D ・・・（１）

換言すると、式（１）を満たす間隔Dで、２つのCCD６２−KとCCD６２−K+1とを配置することで、ブレンディング領域９２に対応する光線が、２つのCCD６２−KとCCD６２−K+1との何れにも入射され、その結果、ブレンディング領域９２が保持されるのである。

以上説明したように、第２の光学系群４２を採用することで、CCD６２−１乃至６２−Nの個数Nの増加が容易になるので、即ち、ブレンディング領域を保持するために、上述した式（１）を満たす間隔Dで２つのCCD６２−KとCCD６２−K+1とを配置するという条件を満たせば、自由な配置が容易に可能になるので、その結果、自由度の高い撮影を行うことも容易に可能になる。

また、本実施の形態の第２の光学系は、１つのCCD６２−Kを水平方向と垂直方向とのうちの少なくとも一方向にシフトする機構（以下、シフト機構と称する）と、ズームの機構（以下、ズーム機構と称する）とを有している。１つのCCD６２−Kのシフト機構は、後述する位置制御アクチュエータ７８により他とは独立して駆動される。また、１つのCCD６２−Kのズーム機構は、ズームアクチュエータ７７により他とは独立して駆動される。

これにより、CCD６２−１乃至６２−Nの配置の密度とそれぞれの撮像範囲を容易に変化させることができ、例えば図６に示されるような人１０２のうちの顔（図中黒い丸の部分）のみを高解像度にするといった、部分的な高解像度の撮影が可能になる。即ち、図６の左側の図は、均一撮影により、人１０２が撮影される様子を示している。均一撮影とは、CCD６２−１乃至６２−Nがアレイ状に間隔Dだけ離間して均等に配置され、かつ、CCD６２−１乃至６２−Nのズーム率が一律であるという条件のもとで行われる撮影を言う。これに対して、図６の右側の図は、人１０２の顔（丸い部分）が高解像度に撮影される様子、即ち、図２の物体３２が人１０２である場合に物体３２の一部分（顔）のみが高解像度に撮影される様子を示している。なお、図６の両図において、１つの四角は、カメラ（CCD６２−K）の画角１０１を示している。従って、１つのCCD６２−Kの画角１０１と、その隣の１つのCCD６２−K＋１の画角１０１とが重なり合った領域１０３が、ブレンディング領域となる。

また、図７は、図６の撮影が行なわれるときの、第２の結像系群４２の動作を説明する図である。即ち、図７の左側の図は、図６の左側の図の均一撮影が行なわれるときの第２の結像系群４２の動作を説明する図である。これに対して、図７の右側の図は、図６の右側の図の撮影、即ち、人１０２の顔の部分のみが高解像度に撮影されるときの第２の結像系群４２の動作を説明する図である。

図７の例では、垂直方向に連続して並ぶ４つの第２の光学系、即ち、CCD６２−１を有する第２の光学系（以下、１番目の第２の光学系と称する）、CCD６２−２を有する第２の光学系（以下、２番目の第２の光学系と称する）、CCD６２−３を有する第２の光学系（以下、３番目の第２の光学系と称する）、および、CCD６２−４を有する第４の光学系（以下、４番目の第２の光学系と称する）のみが図示されている。また、図７の例では、両図ともに、図６の人１０２の像１１１がフィールドレンズ４３の同一位置に結像されている。さらにまた、像１１１のうちの領域１１２と、像１１１のうちの領域１１３とのそれぞれが、ブレンディング領域の１つとなる。

図７の両図を比較するに、図６の右側の図の撮影が行なわれるとき、即ち、人１０２の顔の部分のみが高解像度に撮影されるとき、１番目の第２の光学系は、そのズーム機構により「WIDE（広角）」のズームが行なわれ、そのシフト機構により、図中下側方向の位置へのシフトshift1が行なわれる。また、２番目の第２の光学系は、そのズーム機構により「WIDE」のズームが行なわれ、そのシフト機構により、図中下側方向の位置へのシフトshift２が行なわれる。３番目の第２の光学系は、そのズーム機構により「TELE（望遠）」のズームが行なわれ、そのシフト機構により、図中下側方向の位置へのシフトshift３が行なわれる。４番目の第２の光学系は、そのズーム機構により「WIDE」のズームが行なわれ、そのシフト機構により、図中上側方向の位置へのシフトshift４が行なわれる。

このように、本実施の形態においては、第２の光学系群４２を構成する各第２の光学系４２のそれぞれについての、位置のシフト操作と、「WIDE」若しくは「TELE」のズームの操作とのみを行うことで、CCD６２−Kを有する第２の光学系の位置とズームと他とは独立して容易に可変させることができる。その結果、部分的に高解像度な撮影を行うことが容易に可能になり、自由度の高い撮影を行うことが可能になる。

なお、部分的に高解像度な撮像が行われる場合、画角が一定であるとすると、上述した図７に示されるように、一部の第２の光学系が「TELE」のズームになると、他の第２の光学系が「WIDE」のズームになるので、ズームが「TELE」である第２の光学系により撮影された部分は高解像度となるが、その周辺部分、即ち、ズームが「WIDE」である他の第２の光学系により撮影された部分の周辺解像度が若干劣化する。

ただし、一般的に、ユーザ（撮影者）にとっては、撮影範囲（フィールドレンズ４３またはその近傍に結像される範囲）の全てが重要なわけではなく、そのうちの一部分が本当に見たいところであることが多い。この場合、その本当に見たいところが高解像度であれば足り、他は低解像度でも構わないと要望するユーザが多い。

この要望に応えるためには、撮影範囲の中から、ユーザが本当に見たいところ、即ち、高解像度で撮影する範囲（以下、高解像度撮像範囲と称する）を選択する必要がある。高解像度撮像範囲を選択する手法は、特に限定されず、例えば、次の第１の選択手法や第２の選択手法を採用することが可能である。

第１の選択手法とは、ユーザが、図２の高解像度撮像範囲指定用インタフェース４５を通じて画像内の所望の領域を指定し、高解像度撮像範囲演算回路７６が、その指定された領域を高解像度撮像範囲として選択する、といった手法である。

第２の選択手法とは、高解像度撮像範囲演算回路７６が、画像内の周波数を計算して、周波数が高い領域を重点的に高解像度にする（高解像度撮像範囲として選択する）、といった手法である。

なお、このようにしてCCD６２−１乃至CCD６２−Nのうちの、１以上のCCDにより撮像された高解像度撮像範囲の画像と、他のCCDにより低解像度で撮影された範囲の画像とを組み合わせて１枚の画像（フレーム）を構成する場合には、高解像度撮像範囲にあわせて他の範囲の画像を拡大等して、高解像度撮像範囲の画像とその他の範囲の画像とをブレンディング領域にて張り合わす処理が必要になる。このような処理を、以下、ブレンディング処理と称する。ブレンディング処理の詳細については、図１８等を参照して後述する。

以上、図２の例の撮像装置３１のうちの、第１の結像系４１（第１の光学系４１）、第２の結像系群４２（第２の光学系群４２）、およびフィールドレンズ４３からなる光学系について説明した。また、その説明の中で、高解像度撮像範囲指定用インタフェース４５についても、上述した第１の選択手法で利用されるインタフェースであると説明した。

そこで、以下、図２の例の撮像装置３１のうちの、残りの信号処理部４４について説明する。

図２の例では、信号処理部４４は、メモリ７１−１乃至位置制御アクチュエータ７８を含むように構成されている。

なお、高解像度撮像範囲演算回路７６乃至位置制御アクチュエータ７８については、上述したので、ここではその説明は省略する。

メモリ７１−１乃至７１−３のそれぞれは、CCD６２−１乃至６２−３のそれぞれから出力された画像信号を記憶する。即ち、図２の例では、３つのCCD６２−１乃至６２−３のみが図示されているため、３つのメモリ７１−１乃至７１−３のみが図示されている。従って、実際には、N個のCCD６２−１乃至６２−Nのそれぞに対して、N個のメモリ７１−１乃至７１−Nのそれぞれが設けられる。

ところで、本実施の形態では、図２の例の撮像装置３１における第１の結像系４１と第２の結像系群４２との歪みのパラメータは違うとされている。そこで、これらの歪みを補正するために、図２の例の撮像装置３１には、位相検出/補正回路７２乃至輝度補正情報メモリ７５が設けられている。

そこで、以下、位相検出/補正回路７２乃至輝度補正情報メモリ７５がこれらの歪みを簡単に補正するための手法の一例として、テストパターンを用いた位相と輝度の自動補正手法の一例について説明する。即ち、いくつかのパラメータでテストパターン（テストパターンについては後述する）を予め撮影し、位相補正情報や輝度補正情報を自動抽出する抽出手法と、被写体の撮影時にそれらの位相補正情報や輝度補正情報を利用して、リアルタイムに被写体の画像の位相や輝度の補正を行う補正手法とのそれぞれについて説明する。

はじめに、輝度検出/補正回路７４についての輝度補正情報の抽出手法と、輝度の補正手法（輝度補正情報の使用法）とについて説明する。

輝度検出/補正回路７４は、撮影時に、輝度補正情報メモリ７５に蓄えられた輝度補正情報、具体的には例えば図８に示される輝度補正情報に基づいて、リアルタイムでマッピングすることができる。

この場合、輝度補正情報が予め生成（抽出）され、輝度補正情報メモリ７５に予め蓄えられている必要がある。そこで、本実施の形態では、輝度検出/補正回路７４が、輝度補正情報を予め抽出して、輝度補正情報メモリ７５に予め記憶するようにしている。以下、このような輝度検出/補正回路７４により輝度補正情報が予め抽出される手法、即ち、輝度補正情報の抽出手法について説明する。

輝度補正情報の抽出手法とは、次のような一連の処理を実現するための手法である。

即ち、輝度検出/補正回路７４は、まず、壁一面白色の映像を撮影して、その映像の輝度値の曲面を補正パラメータとして抽出する。

詳細には、壁一面白色の画像（フレーム）は、その画像の何れの部分も輝度値が同一となるところ、実際には、図２のフィールドレンズ４３等の影響で、その画像のうちの、中央部分の輝度値が最も高く（最も明るく）、周辺部分にいくに従って輝度値が低くなっていく（暗くなっていく）傾向にある。従って、その画像の輝度の分布は、曲面S(x,y)の関数で表すことが可能である。この曲面S(x,y)の一般式は、例えば次の式（２）に示される通りになる。

S(x, y)＝b1 ・ (x − b2)＾2 ＋ b3 ・ (y − b4)＾2 ＋ b5 ・ x ・ y ＋ b6
・・・(２)

式（２）において、b1 乃至b6は、各パラメータ（係数）を示している。xとyとは、CCD６２−１乃至６２−Nがアレイ状に配置されている平面上において、水平方向を例えばX方向として垂直方向をY方向とした場合におけるXY座標系の座標（以下、このようなXY座標系を絶対座標系と適宜称し、その座標を絶対座標と適宜称する）を表している。

従って、１つのCCD６２−Kの位置が、絶対座標系では（u,v）と表されるとすると、この輝度補正の係数b1 乃至b6は、１つのCCD６２−Kの位置（１つの第２の光学系の位置（u,v）およびズーム率r によって一意に求まることになる。

そこで、輝度検出/補正回路７４は、例えば図９のフローチャートに従って、輝度補正の係数b1 乃至b6を演算する。即ち、図９は、輝度検出/補正回路７４が実行する輝度補正の係数の演算の処理（以下、輝度補正係数計算処理と称する）の一例を示している。

ステップＳ１において、輝度検出/補正回路７４を含む撮像装置３１は、壁一面白色の画像、即ち、一面白色のテストパターンの映像を撮影する。その際、所定の１つのCCD６２−Kの位置（u,v）やズーム率rは適当に設定される。

ステップＳ２において、輝度検出/補正回路７４は、ステップＳ１の撮影処理で利用されたCCD６２−Kの位置（u,v）およびズーム率r、並びに、CCD６２−Kの出力画像（壁一面白色の画像のうちの一部分の領域画像）の輝度値を用いて、上述した式（２）の輝度補正の各係数（各パラメータ）b1 乃至b6を例えば最小自乗法で演算する。

そして、ステップＳ３において、輝度検出/補正回路７４は、輝度補正情報メモリ７５に、各係数（各パラメータ）b1 乃至b6を係数群LUT として、現在のCCD６２−Kの位置（u,v）およびズーム率rの情報とともに格納する。

これにより、輝度補正係数演算処理は終了し、その結果、位置u,v,ズーム率r に対する曲率のデータが得られることになる。

以上の輝度補正係数計算処理が、位置u,v,ズーム率rの幾つかのパターン毎に実行されると、上述した図８に示されるような輝度補正情報が得られ、輝度補正情報メモリ７５に格納される。

次に、輝度の補正手法（輝度補正情報の使用法）について説明する。

図１０は、輝度の補正手法に対応する処理（以下、輝度補正処理と称する）の一例を説明するフローチャートである。そこで、以下、図１０を参照して、輝度補正処理について説明する。

ステップＳ１１において、輝度検出/補正回路７４は、所定の１つのCCD６２−Kに着目し、現在の位置とズーム率が近い輝度補正の係数b1 乃至b6（係数群LUT）を、輝度補正情報メモリ７５から１以上読み出す。現在の位置とズーム率が近い輝度補正の係数b1 乃至b6とは、例えば、CCD６２−Kの現在の位置(u,v)が（0.5,1）とされ、ズーム率が1.05とされた場合には、図８の輝度補正情報のうちの一番上の行や次の行の係数b1 乃至b6のことを指す。即ち、いまの場合、CCD６２−Kの位置(u,v)が（0,0）とされてズーム率が1.1とされた場合に図９の輝度補正係数計算処理により演算された係数b1 乃至b6や、CCD６２−Kの位置(u,v)が（1,2）とされてズーム率が1.2とされた場合に図９の輝度補正係数計算処理により演算された係数b1 乃至b6が、現在の位置とズーム率が近い輝度補正の係数b1 乃至b6（係数群LUT）として、ステップＳ１１の処理で輝度補正情報メモリ７５から読み出される。

ステップＳ１２において、輝度検出/補正回路７４は、位置とズーム率が近い輝度補正の係数b1 乃至b6（係数群LUT）から、位置とズーム率の曲面S(x,y)を比例計算で求める。即ち、輝度検出/補正回路７４は、位置とズーム率が近い輝度補正の係数b1 乃至b6の幾つかの組、即ち、位置とズーム率が近い係数群LUTの幾つかの組を線形補間することで、仮想の係数b1 乃至b6を求め、その仮想の係数b1 乃至b6を上述した式（２）に代入することで輝度補正曲面S(x,y)を求める。

そして、ステップＳ１３において、輝度検出/補正回路７４は、ステップＳ１２の処理で求めた仮想の輝度補正曲面S(x,y)の最小値MIN{S(x,y)}を計算する。

ステップＳ１４において、輝度検出/補正回路７４を含む撮像装置３１は、被写体の映像を撮影する。これにより、１フレームを構成する各画素、即ち、各CCD６２−１乃至６２−Ｎの各出力画像を構成する各画素のそれぞれの入力輝度値（画素値）IN(x,y)が輝度検出/補正回路７４に入力され、処理はステップＳ１５に進む。

なお、以下、１つの画素の入力輝度値（画素値）IN(x,y)を、入力画素IN(x,y)と称する。これに伴い、輝度検出/補正回路７４から出力されるその画素の輝度値（画素値）OUT(x,y)を、出力画素OUT(x,y)と称する。

また、以下、処理の対象として注目すべきフレーム、即ち、ここではステップＳ１４の処理で撮影されたフレームを、注目フレームと称する。

ステップＳ１５において、輝度検出/補正回路７４は、注目フレームを構成する各入力画素IN(x,y)のうちの所定の１つを注目入力画素IN(x,y)に設定し、注目入力画素IN(x,y)に応じて、注目出力画素OUT(x,y)の計算を行う。即ち、輝度検出/補正回路７４は、次の式（３）の右辺を演算することで、注目入力画素IN(x,y)を補正し、その補正結果である注目出力画素OUT(x,y)を求める。

OUT(x,y)＝IN(x, y) ・ MINS(x, y)／S(x, y) ・・・（３）

ステップＳ１６において、輝度検出/補正回路７４は、注目フレームを構成する全画素についての処理を終了したか否かを判定する。

ステップＳ１６において、注目フレームを構成する全画素についての処理がまだ終了されていないと判定されると、処理はステップＳ１５に戻され、それ以降の処理が繰り返される。

即ち、ステップＳ１５とＳ１６とのループ処理が繰り返し実行されることで、注目フレームを構成する全画素の出力画素OUT(x,y)が求められる。その結果、これらの各出力画素OUT(x,y)からなる注目フレームが、映像信号のうちの少なくとも一部として、輝度検出/補正回路７４から出力されることになる。

そして、ステップＳ１６において、注目フレームを構成する全画素についての処理が終了されと判定されて、処理はステップＳ１７に進む。

ステップＳ１７において、輝度検出/補正回路７４は、全フレームの撮影が終了したか否か（ユーザからの撮影終了の指示がなされたか否か）を判定する。

ステップＳ１７において、全フレームの撮影がまだ終了していない（ユーザからの撮影終了の指示がなされていない）と判定されると、処理はステップＳ１４に戻され、それ以降の処理が繰り返される。

即ち、次のステップＳ１４の処理で撮影された次のフレームが注目フレームとなり、ステップＳ１５とＳ１６とのループ処理が繰り返し実行されて、注目フレーム（次のフレーム）を構成する全画素の出力画素OUT(x,y)が求められる。その結果、これらの各出力画素OUT(x,y)からなる注目フレーム（次のフレーム）が、映像信号のうちの少なくとも一部として、輝度検出/補正回路７４から出力されることになる。

その後、ステップＳ１７において、全フレームの撮影が終了した（ユーザからの撮影終了の指示がなされた）と判定されると、輝度補正処理は終了となる。

以上、輝度検出/補正回路７４についての輝度補正情報の抽出手法と、輝度の補正手法（その使用法）とについて説明した。

次に、位相検出/補正回路７２についての位相補正情報の抽出手法と、位相の補正手法（位相補正情報の使用法）とについて説明する。

位相検出/補正回路７２は、撮影時に、位相補正情報メモリ７３に蓄えられた位相補正情報に基づいて、リアルタイムでマッピングすることができる。

この場合、位相補正情報が予め生成（抽出）され、位相補正情報メモリ７３に予め蓄えられている必要がある。そこで、本実施の形態では、位相検出/補正回路７２が、位相補正情報を予め抽出して、位相補正情報メモリ７３に予め記憶することができる。以下、このような位相検出/補正回路７２により位相補正情報が予め抽出される手法、即ち、位相補正情報の抽出手法について説明する。

位相補正情報の抽出手法とは、次のような一連の処理を実現するための手法である。

即ち、位相検出/補正回路７２は、まず、とあるテストパターンを撮影して、その撮影後の画像のうちの１つの画角の画像（所定の１つのCCD６２−Kにより撮影された部分の画像）から、その画角（CCD６２−K）の絶対座標を補正パラメータとして抽出する。テストパターンとは、例えば、複数のブロックからなる画像であって、複数のブロックのそれぞれが、隣接する他のブロックとは独立した所定の一色で塗りつぶされた画像のことを言う。なお、多くの場合、隣接するブロックはそれぞれ異なる色で塗りつぶされているが、場合によっては、同一色で塗りつぶされていることもある。

このテストパターンは、撮影されたときに、所定の画角（所定の１つのCCD６２−K）の座標とズーム率とが一意に分かるテストパターンであることが要求される。そして、テストパターンは、１つのカメラ(CCD６２−K)の画角の中に全ブロックが収まらないので、左右や上下を参照する（見る）ことで、そのブロックを撮影したCCD６２−Kの位置が分かることが望ましい。

そこで、以下、図１１乃至図１３を参照して、このようなテストパターン（画像データ）を生成する手法の一例について説明する。

テストパターンの目的は、上述したように、撮像されたそのテストパターンのうちの１つの画角の画像（所定の１つのCCD６２−Kにより撮影された部分の画像）から、その画角（CCD６２−K）の絶対座標を補正パラメータとして抽出することである。従って、このテストパターンは、撮影されたときに、所定の画角（所定の１つのCCD６２−K）の座標とズーム率とが一意に分かるテストパターンであることが要求される。

そこで、本実施の形態では、撮像装置３１または他の装置（以下、単に装置と称する）は、テストパターンを構成する各ブロックのうちの所定の１つのブロック（以下、注目ブロックと称する）の符号Vと、その上下もしくは左右のブロックの符号Vとの差分から、注目ブロックの絶対位置が分かるような符号化方式に従って、各ブロックを符号化する。なお、この符号化方式の具体例については、図１２を参照して後述する。

この場合、１つの符号Vと１つの色とを予め対応付けておけば、例えば、所定の表示装置が、各ブロックの符号Vのそれぞれに対応付けられた色で、各ブロックを表示することで、テストパターンを表示する（作成する）ことができる。

具体的には例えば、テストパターンを構成する各ブロックに表示され得る色として、図１１に示されるような７つの（R,G,B）のパターン色と、「CODE」に記述された７つの値（０乃至６）のそれぞれを予め対応付けておく。即ち、この「CODE」が、各ブロックの符号Vとなり得る値である。例えば、テストパターンを構成する各ブロックのうちの注目ブロックが符号Vが０である場合には、その注目ブロックは、（R,G,B）=(0,0,1)のパターン色、即ち、青で表示されることになる。

なお、色のパターン数は、図１１の例では７パターンとされているが、図１１の例に限定されず、任意のパターン数でよい。即ち、例えば、RGB の階調を用いて、さらに複数のパターン色を定義してもよい。ただし、RGB の階調を用いると上述した輝度の歪みに起因する誤差が大きくなるので、あまりに複数のパターン色を定義すると、テストパターンが図２の撮像装置により撮像された場合、撮像後のテストパターンにおいては、注目ブロックや隣接するブロックの色の判別ができなくなってしまうという問題点が発生してしまう。そこで、この問題点を発生させないために、色のパターン数は、RGB のそれぞれの有無（1 or 0）の組み合わせだけで出来る８パターン程度、即ち、図１１の例程度が好適である。ただし、図１１の例では、(R,G,B)=(0,0,0)のパターン色、即ち、黒は除外され、その結果、７パターンとされている。(R,G,B)=(0,0,0)のときには、それは画角外を示すのか、或いは(0,0,0)を示すのかが装置側で判断できないからである。

このように、図１１に示される７パターン色が使用されるとき、即ち、符号Vとして０乃至６の７値のうちの何れかの値のみが使用されるとき、装置は、例えば図１２に示されるような符号化方式を利用することで、各ブロックを符号化することができる。即ち、図１２は、注目ブロックの符号Vと、その上下もしくは左右のブロックの符号Vとの差分から、注目ブロックの絶対位置が分かるような符号化方式の一例を説明する図である。

図１２の前提事項として、テストパターンの上下左右方向うちの右方向がX方向とされ下方向がY方向とされたXY平面上において、そのテストパターンの左上端の座標が（0,0）とされ、X方向においては、そのテストパターンを構成する各ブロックの左右方向の１辺の長さが１とされ、かつ、Y方向においては、そのテストパターンを構成する各ブロックの上下方向の１辺の長さが１とされるXY座標系（以下、テストパターン座標系と称する）が定義されているとする。この場合、このテストパターン座標系において、（U,V）は、そのテストパターンを構成する各ブロックのうちの、左からU番目であって上からV番目のブロックの左上端の座標を示すことになる。なお、以下、テストパターン座標系において、所定のブロックの左上端の座標を、単に、所定のブロックの座標と称する。

この前提事項のもとに考えると、図１２において、値Xは、このテストパターン座標系における注目ブロックのX座標またはY座標を示している。また、差分符号Y1は、注目ブロックの符号Vと、その上下左右に隣接するブロックのうちの所定の１つの符号Vとの差分の値を示している。また、差分符号Y1の算出の際、差分の値が負値となった場合、その負値に対して+7が加算された値が、差分符号Y1となり、また、左右方向においては、右側のブロックの符号Vから左側のブロックの符号Vが減算されるとする。また、上下方向においては、下側のブロックの符号Vから上側のブロックの符号Vが減算されるとする。

即ち、例えば、注目ブロックの座標が（3,1）である場合、注目ブロックのX座標は３となる。従って、図１２において、値X=3の項目に着目すると、その右方の差分符号Y1は３であり、その上方の差分符号Y1は２であることがわかる。このことは、注目ブロックの符号Vとその左隣のブロックの符号Vとの第１の差分（第１の差分符号Y1）と、その右隣のブロックの符号Vと注目ブロックの符号Vとの第２の差分（第２の差分符号Y1）との組が、２と３の組であることを表している。換言すると、X座標が３である注目ブロックは、第１の差分符号Y1と第２の差分符号Y1との組が２と３の組となるように符号化されなければならない、というルールが図１２に規定されている。

同様に、注目ブロックの座標が（3,1）である場合、注目ブロックのY座標は１となる。従って、図１２において、値X=１の項目に着目すると、その下方の差分符号Y1は１であり、その上方の差分符号Y1は０であることがわかる。このことは、注目ブロックの符号Vとその上隣のブロックの符号Vとの第３の差分（第３の差分符号Y1）と、その下隣のブロックの符号Vと注目ブロックの符号Vとの第４の差分（第４の差分符号Y1）との組が、０と１の組であることを表している。換言すると、Y座標が１である注目ブロックは、第３の差分符号Y1と第４の差分符号Y1との組が０と１の組となるように符号化されなければならない、というルールが図１２に規定されている。

即ち、座標が（3,1）である注目ブロックは、第１の差分符号Y1と第２の差分符号Y1との組が２と３の組となり、かつ、第３の差分符号Y1と第４の差分符号Y1との組が０と１の組となるように符号化されなければならない、というルールが図１２に規定されている。

図１２において、差分と和との項目は、差分符号Y1の２つの組み合わせが重複しないように（複数生成されないように）、図１２の規則を生成するために設けられた項目であって、実際の符号化または復号の処理の際には関与しない項目である。即ち、１つ前に決定された差分符合Y1（図１２中１つ上の差分符号Y1）に基づいて次の差分符号Y1を決定するために、差分と和との項目が設けられているのである。

具体的には、差分の項目には、２つの差分符号Y1同士の差（差分）となり得る値が記述されている。即ち、いまの場合、符号Vが０乃至６の範囲の値を取るので、２つの差分符号Y1同士の差（差分）は、１乃至６の範囲の値を取る。なお、２つの差分符号Y1の差分が０とは両者が同一の値であることを意味するので、０は当然ながら除外される。また、２つの差分符号Y1の１乃至６のうちの所定の１値について、２つの差分符号Y1の組は７通り存在する。そこで、図１２の差分の項目には、上から順に、７つの「１」が記述され、次に７つの「２」が記述され、その後、同様に「３」乃至「６」のそれぞれが７つずつ記述されているのである。

和の項目には、ひとつ上の和の値と、その左方の差分の値との和が記述される。具体的には例えば、最初（図１２中左上）の差分符号Y1は０とされている。この場合、その左方の和（最初の和）には０が記述される。従って、その最初の和の記述値０と、その左方の差分の記述値１との和である１が、次の（２番目の）和の記述値となる。この和の記述値１が、その右方の符号Y1の値として決定されることになる。即ち、和の記述値を７進法で表現した場合の最下位の桁の値（例えば、和の記述値が７の場合には０であり、９の場合には２である）が、その右方の差分符号Y1となるのである。

このような差分符号Y1の決定規則、即ち、差分と和の項目を使って差分符号Y1を決定するという上述した規則に従うと、結局、値Xは、図１２に示されるように、０乃至４３までの範囲の値を取ることができる。このことは、この差分符号Y1を使用することで、0乃至43 までの値Xを符号化することができることを意味している。換言すると、テストパターン座標系においては、X座標とY座標とともに、０乃至４３までの値を取ることができる、即ち、上下方向に４４ブロック分、かつ、左右方向に４４ブロック分の大きさ（以下、このような大きさを44 ×44と記述する） のテストパターンを作成することができることを意味している。

そこで、装置は、この図１２に示される差分符号Y1 を用いた符号化方式に従った符号化処理を行うことで、44 ×44のテストパターンの画像データ、即ち、44 ×44個の各ブロックの符号Vからなる画像データを作成することができる。

具体的には例えば、図１３に示されるようなテストパターンの画像データが作成される。即ち、図１３は、テストパターンの画像データの一例を示している。図１３において、１つの四角は１つのブロックを表している。１つのブロック内には、その上方に、テストパターン座標系における座標（U，V）がU-Vとして記述され、その下方に、その符号Vが記述されている。

例えば、座標が（3,1）である（図中3-1と記述されている）ブロックが注目ブロックとされた場合、この符号Vは３であることがわかる。即ち、その左隣の（図中2-1と記述されている）ブロックの符号Vは１とされていることから、注目ブロックの符号Vとその左隣のブロックの符号Vとの差分、即ち、第１の差分符号Y1は、２（＝3-1）であることがわかる。また、その右隣の（図中4-1と記述されている）ブロックの符号Vは６とされていることから、その右隣のブロックの符号Vと注目ブロックの符号Vとの差分、即ち、第２の差分符号Y1は、３（=6-3）であることがわかる。同様に、その上隣の（図中3-0と記述されている）ブロックの符号Vは３とされていることから、注目ブロックの符号Vとその上隣のブロックの符号Vとの差分、即ち、第３の差分符号Y1は、0（=3-3）であることがわかる。また、下隣の（図中3-2と記述されている）ブロックの符号Vは４とされていることから、その下隣のブロックの符号Vと注目ブロックの符号Vとの差分、即ち、第４の差分符号Y1は、1（=4-3）であることがわかる。このように、座標が（3,1）である注目ブロックは、第１の差分符号Y1と第２の差分符号Y1との組が２と３の組となり、かつ、第３の差分符号Y1と第４の差分符号Y1との組が０と１の組となるように符号化されなければならない、という図１２のルール（符号化方式）に従って符号化され、その結果、符合Vとして３が得られていることがわかる。

なお、座標が(3,3)のブロックが注目ブロックとされた場合、その右隣の（図中4-3と記述されている）ブロックの符号Vと注目ブロックの符号Vとの差分自体は、-4（=2-6）といった負値になる。このように、差分が負値となった場合には、上述したように、＋7が加算された値、即ち、3(=-4+7)が第２の差分符号Y1となる。

そして、装置は、各ブロックのそれぞれを、その符合Vに対応付けられたパターン色（図１１参照）で塗りつぶすことで、テストパターンを作成する。具体的には例えば、図１３の例では、座標(0,0)のブロックは、符合V=0に対応付けられた(R,G,B)=(0,0,1)のパターン色、即ち、青で塗りつぶされ、座標(2,0)のブロックは、符合V=1に対応付けられた(R,G,B)=(0,1,0)のパターン色、即ち、緑で塗りつぶされ、といった処理が44×44個のブロック毎に繰り返し実行され、その結果、44×44のテストパターンが作成されるのである。なお、ここで言う塗りつぶすとは、実際に、対応するパターン色を紙媒体等に印刷することも含むし、対応するパターン色を表示装置に表示させることも含む。即ち、テストパターンは、紙媒体等に印刷された結果得られる画像であってもよいし、表示装置に表示された画像であってもよい。

なお、上述した例では、RGB を01 の２値に２値化しているが、符号化の方式は上述した例に限定されない。例えば、階調方向に3 値化や4 値化することで、さらに細かいテストパターンを作ることもできる。

本実施の形態では、以上説明したようなテストパターン、即ち、図１２の差分符号Y1を利用する符号化方式により各ブロックが符号化され、その結果得られる符合Vに対応付けられたパターン色で塗りつぶされた各ブロックから構成されるテストパターンにより位相補正情報が抽出（計算）される。このような位相補正情報が抽出（計算）される抽出手法に対応する処理（以下、位相補正情報計算処理と称する）の例が図１４のフローチャートとして示されている。そこで、以下、図１４のフローチャートを参照して、位相補正情報計算処理について説明する。

ステップＳ３１において、図２の位相検出/補正回路７２を含む撮像装置３１は、テストパターンの映像を撮影する。

なお、以下、上述した図１３の画像データに対応するテストパターンが、ステップＳ３１の処理で撮影されたとする。その際、１つのCCD６２-Kは、このテストパターンのうちの、中央に１つのブロック全体を含み、かつ、その上下左右に隣接するブロックの少なくとも一部を含むような画像を撮影するとする。具体的には例えば、図１５に示される画像データが、CCD６２−Kにより撮影されたとする。即ち、図１５は、テストパターンのうちの、１つのCCD６２−Kにより撮影された部分画像の画像データを示している。なお、実際には、CCD６２−Kからは、各画素それぞれについてのR,G,Bそれぞれの輝度レベル（R,G,B）からなる画像データが出力されることになる。ただし、図面ではカラーによる図示ができないので、図１５においては、対応する符合V（図１１参照）が各ブロックのそれぞれに付されている。

ステップＳ３２において、位相検出/補正回路７２は、テストパターンのうちの、１つのCCD６２−Kにより撮影された画像（以下、カメラ画像と称する）から、そのCCD６２−Kの絶対座標（以下、カメラ画角の絶対座標と称する）を計算する。以下、このようなステップＳ３２の処理を、カメラ画角の絶対座標の計算処理と称する。

このような、ステップＳ３２のカメラ画角の絶対座標の計算処理の詳細例が図１６のフローチャートとして示されている。そこで、以下、図１６のフローチャートを参照して、カメラ画角の絶対座標の計算処理の詳細例について説明する。

ステップＳ５１において、位相検出/補正回路７２は、カメラ画像（画像データ）を取得する。ここでは、上述したように、図１５のカメラ画像（画像データ）が取得されることになる。

ただし、実際には、上述したように、CCD６２−Kからは、各画素それぞれについてのR,G,Bそれぞれの輝度レベル（R,G,B）からなる画像データが出力されることになる。そこで、位相検出/補正回路７２は、このような画像データから、図１１の表を参照して、図１５に示されるような各ブロックの符号Vを求める処理を実行する。具体的には例えば、位相検出/補正回路７２は、カメラ画像を構成する各画素のうちの所定の１つを注目画素として順次設定していき、注目画素について次のような処理を実行する。即ち、位相検出/補正回路７２は、図１１の表の７パターン色のうちの、注目画素についてのR,G,Bそれぞれの輝度レベル（R,G,B）で表される色に最も近い１つを、注目画素の色であるとみなし、その注目画素の色に対応する[CODE]を符号Vとして決定する。このような画素毎の処理の結果として、図１５に示されるカメラ画像（画像データ）、即ち、符号Vを画素値とする各画素からなるカメラ画像（画像データ）が得られる。

ステップＳ５２において、位相検出/補正回路７２は、例えばカメラ画像の中心ブロックを注目ブロックとして、その注目ブロックの符号Vと、上下左右それぞれのブロックの符号Vとの差分値をそれぞれ取得する。即ち、ステップＳ５２の処理で、上述した第１の差分符号Y1乃至第４の差分符号Y1が演算される。

具体的には例えば、いまの場合、ステップＳ５１の処理で図１５のカメラ画像が取得されているので、注目ブロックの符号Vは２とされている。従って、その左隣のブロックの符号Vは６とされていることから、注目ブロックの符号Vとその左隣のブロックの符号Vとの差分、即ち、第１の差分符号Y1として3(=2-6+7)が演算される。また、その右隣のブロックの符号Vは６とされていることから、その右隣のブロックの符号Vと注目ブロックの符号Vとの差分、即ち、第２の差分符号Y1として、4（=6-2）が演算される。同様に、その上隣のブロックの符号Vは0とされていることから、注目ブロックの符号Vとその上隣のブロックの符号Vとの差分、即ち、第３の差分符号Y1として、2（=2-0）が演算される。また、下隣のブロックの符号Vは5とされていることから、その下隣のブロックの符号Vと注目ブロックの符号Vとの差分、即ち、第４の差分符号Y1として、3（=5-2）が演算される。

ステップＳ５３において、位相検出/補正回路７２は、ステップＳ５２の処理で取得された差分値に基づいて、テストパターン座標系における、注目ブロックとその上下左右に隣接するブロックとのそれぞれの交点の絶標を計算する。

いまの場合、ステップＳ５２の処理で、第１の差分符号Y1として3が取得され、かつ、第２の差分符号Y1として4が取得されている。従って、上述した図１２の規則によると、第１の差分符号Y1と第２の差分符号Y1との組が3と4との組である場合には、その値X、即ち、中心ブロックのX座標は4となる。同様に、ステップＳ５３の処理で、第３の差分符号Y1として2が取得され、かつ、第４の差分符号Y1として3が取得されている。従って、図１２の規則によると、第１の差分符号Y1と第２の差分符号Y1との組が2と3との組である場合には、その値X、即ち、中心ブロックのY座標は3となる。即ち、注目ブロックの座標は(4,3)になる。注目ブロックの座標とは、上述したように、注目ブロックの左上端の座標であり、図１５の例では交点P0の座標である。

このようにして、交点P0の座標として(4,3)が計算され、その交点P0の座標に基づいて、交点P1の座標として(4,4)が、交点P2の座標として(5,4)が、交点P3の座標として(5,3)が、それぞれ計算される。

ステップＳ５４において、位相検出/補正回路７２は、ステップＳ５３の処理で演算されたテストパターン座標系における注目ブロックの交点の座標等に基づいて、カメラ画角の絶対座標を計算する。

いまの場合、ステップＳ５３の処理で、注目ブロックの交点P0,P1,P2,P3のそれぞれの、テストパターン座標系における座標が計算されているので、位相検出/補正回路７２は、例えば、それらの座標を、絶対座標にそれぞれ変換する。そして、位相検出/補正回路７２は、注目ブロックの交点P0,P1,P2,P3のそれぞれの絶対座標に基づいて、点Q0，点Q1，点Q2，点Q3のそれぞれの絶対座標を、カメラ画角の絶対座標として計算する。

これにより、図１６のカメラ画角の絶対座標の計算処理は終了し、処理は図１４のステップＳ３３に進む。

ステップＳ３３において、位相検出/補正回路７２は、撮影対象の歪みの計算を行う。

そして、ステップＳ３４において、CCD６２−Kの位置u,v，ズーム率r に対する画角の情報（ステップＳ３２の処理の結果得られたカメラ画角の絶対座標等）や歪みの情報（ステップＳ３３の計算結果等）を位相補正情報として、位相補正情報メモリ７３に保存する。

これにより、位相補正情報計算処理は終了となる。

以上の位相補正情報計算処理が、位置u,v,ズーム率rの幾つかのパターン毎に実行されると、パターン毎の位相補正情報が得られ、位相補正情報メモリ７３に格納される。

次に、位相の補正手法（位相補正情報の使用法）について説明する。

図１７は、位相の補正手法に対応する処理（以下、位相補正処理と称する）の一例を説明するフローチャートである。そこで、以下、図１７を参照して、位相補正処理について説明する。

ステップＳ７１において、位相検出/補正回路７２は、CCD６２−１乃至６２−Nのそれぞれについて、現在の位置とズーム率が近い位相補正情報（位相補正の画角の情報と歪みの情報）を、位相補正情報メモリ７３から読み出す。

ステップＳ７２において、位相検出/補正回路７２は、CCD６２−１乃至６２−Nのそれぞれについて、現在の位置とズーム率が近い位相補正情報（位相補正の画角の情報と歪みの情報）から、現在の位置とズーム率との位相補正情報（位相補正の画角の情報と歪みの情報）を計算する。

ステップＳ７３において、位相検出/補正回路７２は、ステップＳ７２の処理で計算された画角情報と歪み情報とを統合して、絶対座標中のブレンディング部分を求める。

ステップＳ７４において、位相検出/補正回路７２を含む撮像装置３１は、被写体の映像を撮影する。ステップＳ７４の処理で撮影されたフレームが注目フレームに設定されると、処理はステップＳ７５に進む。

ステップＳ７５において、位相検出/補正回路７２は、注目フレームを構成する各入力画素のうちの所定の１つを注目入力画素に設定し、注目入力画素について、画角に応じて位相補正を行い、ブレンディング処理を施す。ブレンディング処理の一例については、図１８を参照して後述する。

ステップＳ７６において、位相検出/補正回路７２は、注目フレームを構成する全画素についての処理を終了したか否かを判定する。

ステップＳ７６において、注目フレームを構成する全画素についての処理がまだ終了されていないと判定されると、処理はステップＳ７５に戻され、それ以降の処理が繰り返される。

即ち、ステップＳ７５とＳ７６とのループ処理が繰り返し実行されることで、注目フレームを構成する全画素について、画角歪みに応じた位相補正が行われ、ブレンディング処理が施される。その結果、画角歪みに応じた位相補正が行われ、ブレンディング処理が施された注目フレームが、輝度検出/補正回路７４に提供される。

そして、ステップＳ７６において、注目フレームを構成する全画素についての処理が終了されと判定されて、処理はステップＳ７７に進む。

ステップＳ７７において、位相検出/補正回路７２は、全フレームの撮影が終了したか否か（ユーザからの撮影終了の指示がなされたか否か）を判定する。

ステップＳ７７において、全フレームの撮影がまだ終了していない（ユーザからの撮影終了の指示がなされていない）と判定されると、処理はステップＳ７４に戻され、それ以降の処理が繰り返される。

即ち、次のステップＳ７４の処理で撮影された次のフレームが注目フレームとなり、ステップＳ７５とＳ７６とのループ処理が繰り返し実行されて、注目フレーム（次のフレーム）を構成する全画素について、画角歪みに応じた位相補正が行われ、ブレンディング処理が施される。その結果、画角歪みに応じた位相補正が行われ、ブレンディング処理が施された注目フレーム（次のフレーム）が、輝度検出/補正回路７４に提供される。

その後、ステップＳ７７において、全フレームの撮影が終了した（ユーザからの撮影終了の指示がなされた）と判定されると、位相補正処理は終了となる。

以上説明したように、位相検出/補正回路７２は、位相補正情報メモリ７５に保存してある画角の情報、歪みの情報、および、その他パラメータを用いて、位相補正情報計算処理を行う。そして、位相検出/補正回路７２は、その位相補正情報計算処理の結果得られる画角情報と歪み情報とを統合して、絶対座標中のブレンディング部分を計算し、位相補正を行い、また、ブレンディング処理を施す。

ここで、ステップＳ７５の処理で実行されるブレンディング処理の一例の概略について、図１８を参照して説明する。

図１８において、画像１５１は、１つのCCD６２-Kにより撮影された画像であって、その画像１５１に含まれる黒丸（例えば上述した図６の人間１０２の顔の部分）が上述した本当に見たいところであるとして、上述した部分的に高解像度な撮影が行われた結果得られる画像である。即ち、画像１５１は、ズームが「TELE」として撮像された画像である。

これに対して、画像１５２−２は、CCD６２-Kの右隣（デジタルカメラ３の正面から見て）のCCD62-K+1により撮影された画像であって、ズームが「WIDE」として撮像された画像である。

また、図１７のステップＳ７３の処理で、領域１５３−ａと領域１５３−ｂとがブレンディング領域であることが既に求められており、画像１５１と画像１５２−１に対する位相補正（ステップＳ７５の処理の一部）は既になされているとする。

この場合、位相検出/補正回路７２は、ブレンディング領域１５３−ａとブレンディング領域１５３−ｂとが同一解像度（同一サイズ）となるように、画像１５２−１（画像データ）に対して拡大処理を施す。これにより、図１８に示されるような画像１５２−２（画像データ）が得られることになる。拡大処理の手法については、特に限定されない。例えば、左右方向にＡ倍して上下方向にＢ倍する場合（Ａ，Ｂはそれぞれ独立した１以上の正数値）、元の１つの画素に対応させて、Ａ×Ｂ個の画素からなるブロックを生成する手法を採用することができる。この場合、そのブロックを構成するＡ×Ｂ個の各画素の画素値の決定手法も特に限定されない。例えば、Ａ×Ｂ個の各画素の画素値の全てを元の１つの画素の画素値のままとする手法を採用してもよいし、近隣のブロック（元の１つの画素の近隣の画素）との相関等に基づいて、Ａ×Ｂ個の各画素の画素値のそれぞれを個別に決定する手法を採用してもよい。

次に、位相検出/補正回路７２は、は画像１５１（画像データ）と画像１５２−２（画像データ）とを合成することで、合成画像１５３を生成する。

なお、ブレンディング部分１５３−ａとブレンディング部分１５３−ｂとの合成手法は特に限定されない。例えば、単に、ブレンディング部分１５３−ａを構成する各画素の画素値をそのまま、合成画像の対応する各画素の画素値として採用する手法を採用することもできる。また、ブレンディング部分１５３−ａを構成する各画素の画素値と、ブレンディング部分１５３−ｂを構成する各画素の画素値とを利用して、所定の演算（例えば、平均を取る等）を行い、それらの演算結果を、合成画像の対応する各画素の画素値のそれぞれとして決定する手法を採用することもできる。

さらに、これらの何れの手法を採用した場合にも、合成画像１５３において、ブレンディング部分１５３−ａに対応する部分と、それ以外の部分との境目（エッジ部分）は不自然な画像（人間の目にとって違和感のある画像）となってしまうことが多い。そこで、位相検出/補正回路７２は、このエッジ部分に対して、所定の画像処理を施してもよい。この画像処理も特に限定されず、例えば、このエッジ部分近辺の輝度値（画素値）を減衰させる処理を採用することができる。この場合、その減衰の方法も特に限定されず、例えば、ブレンディング部分１５３−ａに対応する部分からそれ以外の部分に向かう方向に、リニアに減衰させてもよいし、エッジ部分を頂点とするサインカーブに沿うように減衰させてもよい。

ところで、このようなブレンディング処理は、上述した図１７の例では、位相検出/補正回路７２の処理、即ち、画像の撮影側であるデジタルカメラ３の処理とされたが、上述した例に限定されず、画像の再生側（図示せぬ表示装置等）の処理とされてもよい。

ブレンディング処理が再生側（図示せぬ表示装置等）により実行される場合、位相検出/補正回路７２は、図１７の位相補正処理の代わりに、図１９に示されるような位相検出処理を実行してもよい。

図１９の位相検出処理のうちのステップＳ９１乃至Ｓ９３までの処理は、図１７のステップＳ７１乃至Ｓ７３までの処理と基本的に同様である。そこで、以下、ステップＳ９４以降の処理について説明する。

ステップＳ９４において、位相検出/補正回路７２を含む撮像装置３１は、被写体の映像を撮影する。

ステップＳ９５において、位相検出/補正回路７２は、ステップＳ９２の処理で計算された位相情報、ステップＳ９３の処理で求められたブレンディング部分、および、CCD６２−１乃至６２−N毎の画像データを含む映像信号をフレーム単位で生成して、出力する。

即ち、注目フレームについての位相情報、ブレンディング部分、および、CCD６２−１乃至６２−N毎の画像データが１つにまとめられて、注目フレームについての映像信号として、図２の輝度検出/補正回路７４に供給されることになる。

この場合、輝度検出/補正回路７４は、例えば、上述した図１０の輝度補正処理のうちのステップＳ１１乃至Ｓ１３までの処理を実行し、位相検出/補正回路７２から供給された注目フレームについての映像信号に対して、曲面の最小値MIN{S(x,y)}を付加して、外部に出力する。即ち、この場合、信号処理部４４の出力信号は、注目フレームについての位相情報、ブレンディング部分、CCD６２−１乃至６２−N毎の画像データ、および、曲面の最小値MIN{S(x,y)}が１つにまとめられた映像信号となる。

このような映像信号を取得した再生側の装置は、図１０のステップＳ１５と図１７のステップＳ７５とに相当する処理を実行することで、注目フレームに対応する画像データを生成（構築）し、その画像データに対応する画像、即ち、注目フレームを表示することが可能になる。

次に、ステップＳ９６において、位相検出/補正回路７２は、全フレームの撮影が終了したか否か（ユーザからの撮影終了の指示がなされたか否か）を判定する。

ステップＳ９６において、全フレームの撮影がまだ終了していない（ユーザからの撮影終了の指示がなされていない）と判定されると、処理はステップＳ９４に戻され、それ以降の処理が繰り返される。

即ち、次のステップＳ９４の処理で撮影された次のフレームが注目フレームとなり、注目フレーム（次のフレーム）についての位相情報、ブレンディング部分、および、CCD６２−１乃至６２−N毎の画像データが１つにまとめられて、注目フレーム（次のフレーム）についての映像信号として、図２の輝度検出/補正回路７４に供給されることになる。
される。

その後、ステップＳ９６において、全フレームの撮影が終了した（ユーザからの撮影終了の指示がなされた）と判定されると、位相検出処理は終了となる。

以上、図２の例の撮像装置３１について説明した。

以上の内容をまとめると、撮像装置３１は、少なくとも次の第１の特徴乃至第１３の特徴を有することになる。

第１の特徴とは、撮像装置３１は、CCD６２−K等の撮像素子をアレイ状に並べた焦点一致の高解像度及び高精細画像撮像装置である、という特徴である。

第２の特徴とは、撮像装置３１は、焦点一致の像を作る第１の結像系４１と、その第１の結像系４１の結像面と、その結像面に結像した映像を撮像する複数の撮像素子がアレイ状に配置された第２の結像系群４２とからなる光学系を有する撮像装置であるという特徴である。

第３の特徴とは、第１の結像系４１と第２の結像系群４２とを繋ぐ結像面またはその近傍に、フィールドレンズ４３を配置することができる、という特徴である。

第４の特徴とは、第１の結像系４１と第２の結像系群４２とを繋ぐ結像面またはその近傍に、フィールドレンズ４３の代わりに、図示せぬディフューザー等を配置することができる、という特徴である。

第５の特徴とは、第２の結像系群４２を構成する複数の第２の結像系のそれぞれは、それに含まれるCCD６２−Kにより撮像された第１の画像の一部と、他の第２の結像系に含まれる他のCCDにより撮像された第２の画像の一部とを、第１の画像と第２の画像とを繋ぎあわせるためのブレンディング領域として保持できるように、それぞれ配置されている、という特徴である。

第６の特徴とは、撮像装置３１の光学系は、第１の特徴の効果として生じる特徴であって、レンズのみで構成できる（プリズムを用いないでよい）、という特徴である。この第６の特徴により、CCD 等の撮像素子の数を増やしても、高解像度及び高精細な画像を撮像できる撮像装置を、安価で実現可能になる。

第７の特徴とは、第２の結像系群４２における複数の撮像素子の位置とズームとのそれぞれとを個別に変化させる機構を有している、という特徴である。この第７の特徴により、部分的に高解像度な撮影が可能になる。

第８の特徴とは、これらの機構には、ズームアクチュエータと位置制御アクチュエータとが含まれている、という特徴である。

第９の特徴とは、撮像装置３１は、さらに、部分的に高解像度な撮影が行われる際に、その高解像度の撮影の範囲を演算する回路、即ち、高解像度撮像範囲演算回路７６や、ユーザが高解像度の撮影の範囲を指定するインタフェース、即ち、高解像撮像の範囲の演算回路７６を有している、という特徴である。

第１０の特徴とは、撮像装置３１は、さらに、CCD６２−K 等の複数の撮像素子に結像した映像の位相を補正する位相検出/補正回路７２と、その補正に利用される位相補正情報を保持する位相補正情報メモリ７３とを有している、という特徴である。

第１１の特徴とは、位相検出/補正回路７２には、位相補正情報を求める（抽出する）ための手法として、上述した抽出手法が適用されており、その結果、例えば図１１の位相補正情報計算処理が実行できる、という特徴である。また、その際、上述したテストパターンが利用できるという、という特徴も第１１の特徴に含まれる。

第１２の特徴とは、撮像装置３１は、さらに、CCD６２−K 等の複数の撮像素子に結像した映像の輝度を補正する輝度検出/補正回路７４と、その補正に利用される輝度補正情報を保持する輝度補正情報メモリ７５とを有している、という特徴である。

第１３の特徴とは、輝度検出/補正回路７２には、輝度補正情報を求める（抽出する）ための手法として、上述した抽出手法が適用されており、その結果、例えば図９の輝度補正情報計算処理が実行できる、という特徴である。また、その際、上述したテストパターンが利用できるという、という特徴も第１３の特徴に含まれる。

以上の第１の特徴乃至第１３の特徴をまとめると、撮像装置３１とは、第１の結像系４１と第２の結像系群４２とを用いることで、ブレンディング領域をもつことが可能となった高解像度及び高精細の単一焦点撮像装置であるといえる。この撮像装置３１は、安価に撮像素子をスケーラブルに配置でき、且つ部分的に高解像度の撮影が可能になる。また、この撮像装置３１は、撮像系位である第２の結像系群４２の各第２の結像系のそれぞれについて、位相補正や輝度などの歪み補正もそれぞれ個別に自動で行うことができる。

換言すると、撮像装置３１は、次の第１の効果乃至第３の効果を少なくとも奏することが可能になる。第１の効果とは、ブレンディング部分を保持してシームレスに繋ぐことができる高解像度且つ高精細な映像を撮影できる、という効果である。第２の効果とは、低コストで撮像素子を大量に配置でき、かつ部分的に高解像度な撮影ができる、という効果である。第３の効果とは、自動で輝度補正と位相補正の情報を求めることができる、という効果である。

ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。

この場合、図２の撮像装置３１の信号処理部４４のうちの少なくとも一部は、例えば、図２０に示されるコンピュータで構成することができる。

図２０において、CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２に記録されているプログラム、または記憶部２０８からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU２０１、ROM２０２、およびRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インタフェース２０５も接続されている。

入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイなどよりなる出力部２０７、ハードディスクなどより構成される記憶部２０８、および、モデム、ターミナルアダプタなどより構成される通信部２０９が接続されている。通信部２０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

入出力インタフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体２１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２０８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

このようなプログラムを含む記録媒体は、図２０に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブル記録媒体（パッケージメディア）２１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０２や、記憶部２０８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。

さらにまた、上述した各種画像処理の単位は、上述した例ではフレームとされたが、フィールドとしてもよい。即ち、このようなフレームやフィールドといった画像の単位を、アクセスユニットと称すると、上述した画像処理の単位は、アクセスユニットとすることができる。

従来の光学系を説明する図である。 本発明が適用される撮像装置の構成例を示す図である。 従来の手法に基づいて思想された光学系を説明する図である。 本発明が適用される撮像装置のうちの、図２とは異なる第２の光学系の構成例を示す図である。 図２の第２の光学系の配置位置の例を説明する図である。 被写体の一部が高解像度に撮影される様子の例を示す図である。 図６の例の撮影時における図２の第２の光学系群の動作例を説明する図である。 輝度補正情報の例を示す図である。 輝度補正係数計算処理の例を説明するフローチャートである。 輝度補正処理の例を説明するフローチャートである。 (R，G，B)の７つの色パターンと、それらに対応付けられたCODEの例を説明する図である。 一次差分符号の例を説明する図である。 位相補正のテストパターンの例を示す図である。 位相補正情報計算処理の例を説明するフローチャートである。 図１４のステップＳ３１の処理で撮像されたテストパターンの画像うちの、図２の１つのCCDにより撮像されたカメラ画像の例を示す図である。 図１４のステップＳ３２のカメラ画角の絶対座標の計算処理の例を説明するフローチャートである。 位相補正処理の例を説明するフローチャートである。 図１７のステップＳ７５の一部の処理であるブレンディング処理の一例の概略を説明する図である。 位相検出処理の例を説明するフローチャートである。 図２の撮像装置の信号処理部の他の構成例を示すブロック図である。

符号の説明

３１ 撮像装置， ４１ 第１の結像系， ４２ 第２の結像系， ４３ フィールドレンズ， ４４ 信号処理部， ４５ 高解像度撮影の範囲指定用インタフェース， ５１ 対物レンズ， ６１−１乃至６１−３ ズームレンズ， ６２−１乃至６２−３ CCD， ７１−１乃至７１−３ メモリ， ７２ 位相補正回路， ７３ 位相補正情報メモリ， ７４ 輝度検出/補正回路， ７５ 輝度補正情報メモリ， ７６ 高解像度の範囲演算回路， ７７ ズームアクチュエータ， ７８ 位置制御アクチュエータ， ２０１ CPU， ２０２ ROM， ２０３ RAM， ２０８ 記憶部， ２１１ リムーバブル記録媒体

Claims (7)

1. 複数の撮像素子をアレイ状に並べた焦点一致の撮像装置であって、
   焦点一致の像を作る第１の結像系と、
   前記第１の結像系による映像を結像する結像面と、
   前記結像面に結像した映像の所定の一部分が再結像された結果得られる映像を撮像する前記撮像素子を１つ含む第２の結像系が複数存在し、複数の前記第２の結像系がアレイ状に配置されて形成される第２の結像系群と
   から構成される光学系を備え、
   前記第１の結像系と前記第２の結像系群とを繋ぐ前記結像面の前方にフィールドレンズが配置されている
   ことを特徴とする撮像装置。
2. 前記第２の結像系群を構成する複数の前記第２の結像系のそれぞれは、それらに含まれる前記撮像素子により撮像された第１の画像の一部と、他の第２の結像系に含まれる前記撮像素子により撮像された第２の画像の一部とを、前記第１の画像と前記第２の画像とを繋ぎあわせるためのブレンディング領域として保持できるように、それぞれ配置されている
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第２の結像系群を構成する複数の前記第２の結像系のそれぞれは、
   さらに、前記結像面に結像した映像のうちの所定の一部を前記撮像素子に再結像させるレンズを含むように構成され、
   前記結像面と前記レンズとの間の距離がFとされ、前記結像面から出射される光線のうちの、前記ブレンディング領域に対応する光線の幅がφとされ、前記撮像素子と、それに隣接する前記撮像素子との間の距離がDとされた場合、
   ２×F×tan（φ/２） ＞ D
   で表される式を満たすように、それぞれ配置されている
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記第２の結像系群を構成する複数の前記第２の結像系のそれぞれは、
   さらに、前記結像面に結像した映像のうちの所定の一部を前記撮像素子に再結像させるレンズを含むように構成され、
   前記第２の結像系群を構成する複数の前記第２の結像系のそれぞれについて他とは独立して、前記撮像素子の位置と、前記レンズのズームのそれぞれとを個別に変化させる機構を
   さらに備えることを特徴とする請求項１に記載の撮像装置。
5. 前記機構は、ズームを可変させるために複数の前記レンズのそれぞれを他とは独立して駆動する第１のアクチュエータと、配置位置を可変させるために複数の前記撮像素子のそれぞれを他とは独立して駆動する第２のアクチュエータとを含む
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記撮像装置は、
   前記機構を利用することで、前記第２の結像系群を構成する複数の前記第２の結像系のうちの１以上のそれぞれに含まれる１以上の前記撮像素子のそれぞれに、他の撮像素子と比較して高解像度な撮影を行わせ、
   その撮影が行われる場合に高解像度の撮影の範囲を決定するための演算を行う演算部
   をさらに備えることを特徴とする請求項４に記載の撮像装置。
7. 前記高解像度の撮影の範囲を指定する操作をユーザが行うインタフェース部をさらに備え、
   前記演算部は、前記インタフェース部による前記ユーザの操作内容に基づいて、前記高解像度の撮影の範囲を演算する
   ことを特徴とする請求項６に記載の撮像装置。

Images