JP4297111B2 - 撮像装置、画像処理方法及びそのプログラム - Google Patents

Description

本発明は、視点（焦点）が略一致する複数の撮像手段で撮像した画像を１枚の画像に繋ぎ合わせる撮像装置、画像処理方法、及びその画像処理をコンピュータに実行させるコンピュータ・プログラムに関する。

従来、複数の撮像光学系（撮像手段）をその撮像領域の一部が重なるようにオーバーラップさせて配置し、パノラマ動画像もしくは広角画像）を撮影する装置は存在するが、各々の撮像光学系における視差が大きいため、オーバーラップ（重複）領域を精密に合わせることはできていなかった。

例えば、特許文献１に記載の複眼撮像装置は、ズーム、フォーカスの変化に対し、複数の撮像系から出力されるオーバーラップ領域の画像からレジストレーション（位置合わせ）のずれ量を検出し、撮像系間の輻輳角を変えることによって画像ずれの問題を回避している。
特許第２９７４５００号明細書

ところが、特許文献１に記載された方法では、距離の異なる物体がオーバーラップ領域に含まれる場合には、全ての撮影対象に対して正確なレジストレーションずれを補正することはできない。

一方で、視差の少ない、あるいは存在しない複数の撮像光学系を用いた撮像装置においては、オーバーラップ領域を精密に合わせることが可能となる。

しかし、フォーカス値が変化した場合には焦点距離が変わるために、撮像光学系間のオーバーラップ領域にずれが生じ、境界処理をすると画質が劣化してしまうという問題があった。

本発明は斯かる点に鑑みてなされたものであり、各撮像系のフォーカス値にかかわらず、隣接する撮像系で撮像された画像間のオーバーラップ領域を正確に一致させることを目的とする。

上記課題を解決するため、本発明の撮像装置は、各撮像手段より得られる画像を接合して広角画像を得る用途に利用され、焦点距離が可変なレンズと、撮像素子とをそれぞれ備え、視点が略一致し、かつ隣り合う撮像手段の撮像領域の一部が重なるように配置された複数の撮像手段から成る撮像装置であって、各撮像手段は、撮像素子で撮像された画像を表す座標系と所定座標系との対応関係が焦点距離毎に記述されたマッピングテーブルと、撮像素子にて画像が撮像されたときの焦点距離に応じて前記マッピングテーブルを選択する制御部と、この制御部により選択されたマッピングテーブルに記述されている対応関係に基づいて画像を所定座標系上にマッピングするマッピング部とを有することを特徴とする。

上記構成によれば、焦点距離の変化に応じてマッピングテーブルを動的に切り替えることによって、マッピング後の隣接する撮像系の画像データとの重複領域（オーバーラップ領域）が、焦点距離によらず正確な領域にマッピングされる。

本発明の画像処理方法は、焦点距離が可変なレンズと、撮像素子とをそれぞれ備え、視点が略一致し、かつ隣り合う撮像手段の撮像領域の一部が重なるように配置された複数の撮像手段で撮像された画像を接合して広角画像を得る画像処理方法であって、撮像素子で撮像された画像を表す座標系と所定座標系との対応関係が焦点距離毎に記述されたマッピングテーブルから、撮像時の焦点距離に対応するマッピングテーブルを選択し、この選択されたマッピングテーブルに記述されている対応関係に基づいて撮像した画像を所定座標系上にマッピングし、この選択されたマッピングテーブルに基づいて所定座標系上にマッピングされる画像と、隣の撮像手段の所定座標系で表される画像との重複領域を焦点距離にかかわらず一定の領域にマッピングすることを特徴とする。

上記構成によれば、焦点距離の変化に応じてマッピングテーブルを動的に切り替えることによって、マッピング後の隣接する撮像系の画像データとの重複領域（オーバーラップ領域）が、焦点距離によらず正確な領域にマッピングされ、隣接する撮像系間における画像データのオーバーラップ領域を精密に一致させることができる。

本発明によれば、各撮像系のフォーカス値（焦点距離）にかかわらず、隣接する撮像系で撮像された画像間のオーバーラップ領域を正確に一致させることができる。

以下、本発明の一実施の形態例について、図１〜図７を参照しながら説明する。以下に述べる例は、撮像装置を、監視カメラ等の用途に使用されるビデオカメラに適用したものである。

図１は、本発明の一実施の形態に係る撮像装置（２撮像系）の構成例を示している。第１及び第２撮像系（撮像手段）を備え、各撮像系の視点（焦点）が略一致し、かつ隣り合う第１及び第２撮像系の撮像領域の一部が重なるように配置された２つの撮像系から成る撮像装置である。このような装置は「視点一致光学系カメラ」などと呼ばれ、視点一致光学系を持つため、複数のカメラから入力される画像は視差を持たず、適切な投影中心を設定し、単一の画像平面（もしくは非平面画像）に対して入力画像を投影することでつなぎ目のない画像を合成することが可能である。画像の合成は、例えば特開２００４−１８４８６２号公報など、種々の方法が提案されている。

第１撮像系は、レンズ１，４、絞り２、撮像素子として機能するＣＣＤ（Charge Coupled Devices）からなる撮像光学系と、ＣＣＤ画像処理部７、バックワードマッピング部８、書き換え可能なメモリ９（記憶部）、オーバーラップ領域評価部１０、オーバーラップ領域処理部１１、制御部１２、マッピングテーブル１３、出力部１４から構成されている。メモリ９は、不揮発性でも揮発性でもいずれでもよい。

絞り制御部３は、絞り２の絞り量を調節する駆動手段であり、制御部１２から入力される制御信号に従って絞り量を調節する。

また、フォーカス制御部５は、レンズ４を光軸方向に移動させてフォーカス値（焦点距離）を調節する駆動手段であり、制御部１２から入力される制御信号に従ってフォーカス値を調節する。

レンズ１，４から取り込まれた像は絞り２、フォーカス値が調整されてＣＣＤ６に結像される。ＣＣＤ画像処理部７は、ＣＣＤ６の出力に対して、Ａ／Ｄ（アナログ／デジタル）変換、ＲＧＢ変換等、各種処理を行う。また制御部１２からの制御信号に従って、ＣＣＤ６で撮像された画像について色ずれ補正等の画質調整等も行う。なお、この例では、撮像素子としてＣＣＤを使用したが、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等、他の撮像素子でもよい。

バックワードマッピング部（マッピング部）８は、第１及び第２撮像系で得られる画像のオーバーラップ部分を精密に合致させるために必要な処理を行う部分である。ＣＣＤ画像処理部７で画像処理された各々の撮像系の画像データは、各撮像系のレンズ歪み、光学系の機械的な位置関係のずれ及び３次元空間をＣＣＤ６という平面に結像させている等の要素を含んでいるので、そのままでは綺麗な境界処理が実行できない。そこで、バックワードマッピング部８が、ＣＣＤ画像処理部７の後段でこれらの要素を補正するためバックワードマッピング処理（以下、「マッピング」と称する。）を行うことにより、２つの撮像系で得られた画像を正確に一致させる。

マッピングテーブル１３は、ＣＣＤ６（撮像素子）で撮像された画像を表す座標系と所定座標系との対応関係（「マッピング情報」ともいう。）がフォーカス値（焦点距離）毎に記述されている。例えば、ＣＣＤ６で撮像された画像を３次元座標系で表される非平面画像にマッピング（展開）する、又はその非平面画像をさらに二次元平面画像にマッピングする対応関係が焦点距離毎に記述されている。非平面画像にマッピングするか、二次元平面画像にマッピングするかは、利用者が適宜選択できるようにするとよい。

上記マッピング情報は、撮像装置を製造時にマッピングテーブル専用のメモリに記憶したり、あるいはメモリ９などに記録しておき撮像装置の電源を投入（オン）したときにメモリ９から読み込むようにしてもよい。

マッピングに使用するマッピングテーブル１３は、フォーカス値によって適正に切り替える必要があるため、フォーカスを制御する制御部１２により撮像時のフォーカス値に対応するマッピングテーブルが選択される。バックワードマッピング部８は、選択されたマッピングテーブルのマッピング情報を使用してマッピングを行う。これにより出力される画像データのオーバーラップ部分は、その後段のメモリ９の特定領域にマッピングされる。

オーバーラップ領域評価部１０（重複領域評価部）は、メモリ９に格納された画像データのうち、隣接する撮像系とのオーバーラップ部分について画質を評価し、その評価結果を制御部１２へ送る。

制御部１２は、ＣＰＵ（Central Processing Unit）等からなる演算制御装置であり、図示しないＲＡＭ（Random Access Memory）をワークエリアとして、ＲＯＭ（Read Only Memory）に記録された撮像装置全体の制御や画像処理等を行うためのコンピュータ・プログラムに従い、種々の演算及び制御を行う。制御部１２は、隣接する第２撮像系のオーバーラップ領域評価部１１０における評価結果を受け取ることにより、第２撮像系との正確な色ずれ量を把握することが可能となり、そのずれ量が最小となるように、絞り２の絞り量を調節する絞り制御部３及び／又はＣＣＤ画像処理部７を制御し画質を調整することによって、色ずれを抑えることができる。

また、制御部１２は、撮像時のフォーカス値の情報をレンズ４から入手して保持している。あるいは、フォーカスを手動制御した際に図示しない操作部からユーザの操作情報を入手し、その情報を保持することでフォーカス値の情報を得るようにしてもよい。

オーバーラップ領域処理部１１（重複領域処理部）は、オーバーラップ領域の画サイズデータ（ピクセルデータ）を隣接する第２撮像系のオーバーラップ処理部１１１に送るとともに、第２撮像系のオーバーラップ領域処理部１１１からオーバーラップ領域の画サイズデータを取得する。そして、隣接する第２撮像系からオーバーラップ領域の画サイズデータを受けたオーバーラップ領域処理部１１は、オーバーラップ領域処理として、例えばアルファプレンディングやテクスチャプレンディングなどのブレンド処理を行う。

そして、ブレンド処理された画像データを、出力部１４を介して外部に出力することにより、この出力を受けた側では各撮像装置の出力映像を並べるだけで所望の画角の映像、パノラマ映像を高品位に得ることができる。出力部１４からの画像データが入力される機器としては、例えばＬＣＤ（Liquid Crystal Display）などの表示装置、又はＨＤＤ（Hard Disk Drive）などの記録再生装置などが挙げられる。

第２撮像系は、レンズ０１０１，１０４、絞り１０２、撮像素子として機能するＣＣＤ（Charge Coupled Devices）１０６からなる撮像光学系と、ＣＣＤ画像処理部１０７、バックワードマッピング部１０８、書き換え可能な不揮発性のメモリ１０９、オーバーラップ領域評価部１１０、オーバーラップ領域処理部１１１、制御部１１２、マッピングテーブル１１３、出力部１１４から構成され、第１撮像系と同様の構成であるからその詳細な説明は省略する。

次に、マッピングテーブル１３の作成方法について説明する。マッピングテーブルの作成方法、すなわち撮像素子（ＣＣＤ６）で撮像された画像を表す座標系と最終的な表示形式である所定座標系との対応関係を求める方法は周知技術であるから、ここでは簡単な説明に留める。なお、マッピングテーブル１１３についても同様の作成方法であるので、マッピングテーブル１３についてのみ説明する。

前述したようにマッピングテーブル１３は、レンズ歪み補正、光学系の機械的な配置に伴う相対位置ずれの補正、及び平面画像を３次元空間にマッピングする射影変換の合成関数となる。このうち、レンズ歪み補正については、Ｔｓａｉカメラモデル（Tsai's camera model）などを用いて補正することができる。

図２に、レンズ歪み補正の例を示す。図中、補正前画像２１及び補正後画像２２における点Ｏは画像中心を示し、（Ｘｃ，Ｙｃ)は点Ｏの画像中での座標を表す。ここで画像中心とは一つの撮像系の光軸と画像平面である補正前画像２１並びに補正後画像２２との交点である。この時、撮影された補正前画像２１中の一点Ｐｄ（Ｘｄ，Ｙｄ）に対し、歪み補正を行った結果、補正後画像２２中のＰｉ（Ｘｉ，Ｙｉ）に座標が変換されるとすると、歪み補正の補正式は次の関係式で表現される。

また、ｋ１、ｋ２は任意のゼロでない数である。

一方、撮像系の相対位置補正、射影変換はピンホールカメラのモデルを使用して一般的に次式のように表される。

このように、撮像座標系（カメラ座標系）（ｘ，ｙ，ｚ）上の画像の位置は、世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）に回転行列ＲとＴＶ行列を積算して算出される。なお、ＴＶ行列とは世界座標系から撮像座標系（カメラ座標系）への射影変換を示すものである。

Ｃｘ，Ｃｙはそれぞれ光軸中心（画像中心）からｘ方向、ｙ方向へのずれ量、Ｒｏｌｌ（回転角）、Ｐｉｔｃｈ（仰角）、Ｙａｗ（振れ角）は撮像系（カメラ）の姿勢であるので、これらは撮像系（カメラ）のキャリブレーションを行うことで求めることができる。

したがって、前述の歪み補正した画像２２から位置補正、射影変換を行うには、例えば円筒変換であれば、図３に示すように射影変換後の円筒面２４上の画像２３における極座標を求めて、数２に代入すればよい。その際、数２中のｆは焦点距離となるので、これを変化させてテーブルを作成すれば、フォーカス値に応じたバックワードマッピングテーブルを作成することができる。

図４を参照して、複数の撮像系から得られた各画像のマッピング対象範囲について説明する。図４は、第１及び第２撮像系における円筒変換後の２つの出力画像を示したものである。第１及び第２撮像系で撮像された画像に対して歪み補正を行った後の画像はそれぞれ画像２５，２７である。そして、歪み補正後の画像２５，２７をそれぞれ円筒面２４上に射影変換すると、画像２６，２８となる。これら画像２６，２８は、それぞれ画像（Ａ），（Ｂ）のマッピングデータである。

図４に示すように、例えば接合位置２９で区切られる隣り合う画像（Ａ），（Ｂ）を外部へ出力しようとする場合には、画像（Ａ）については画像（Ｂ）と重複するオーバーラップ領域３１まで、画像（Ｂ）については画像（Ａ）と重複するオーバーラップ領域３０までのマッピングテーブルを用意し、それぞれバックワードマッピングを行う。画像（Ａ），（Ｂ）はそれぞれ、各撮像系から外部へ出力される基準表示サイズの画像である。この基準表示サイズの画像は、広角画像を構成する際の単位画像となるものであり、基準表示サイズの画像が組み合わされてパノラマ画像などの広角画像が生成される。

すなわち、隣接する各撮像系の撮像素子は、それぞれ基準表示サイズの画像（Ａ），（Ｂ）に加えて、隣の撮像系で撮像される基準表示サイズの画像（Ｂ），（Ａ）と重複する領域３１，３０を撮像する。そして、重複する領域３１，３０の画サイズは、焦点距離に応じた適正なマッピングによって焦点距離にかかわらず一定となる。

なお、本例のような監視カメラの用途に用いられる撮像装置の場合、ズームを一定に固定することが多いが、勿論、ズーム値毎で焦点距離に応じたマッピングテーブルを用意しておき、当該ズーム値において焦点距離に応じたマッピングテーブルを選択することにより、同様に適正なマッピングを行うことができるので、ズーム値が変更されても隣接する撮像系の画像間のオーバーラップ領域を一致させることができる。

具体的に、第１撮像系及び第２撮像系で撮像される画像のマッピングについて説明する。

まず、各撮像系の電源をオンにすることにより、ＣＣＤ６で撮像された画像を表す座標系と所定座標系との対応関係が焦点距離毎に記述されたマッピングテーブル１３が図示しない記憶部に読み込まれる。

第１撮像系では、制御部１２が撮像時のフォーカス値（焦点距離）に応じて、マッピングテーブル１３から撮像時の焦点距離に対応するマッピングテーブルを選択する。そして、バックワードマッピング部８が、選択されたマッピングテーブルに記述されている対応関係に基づいてＣＣＤ６で撮像した画像を所定座標系上、例えば円筒面２４などの非平面画像にマッピングする。マッピングされた画像は、メモリ９に格納される。

第２撮像系においても同様の処理を行い、ＣＣＤ１０６で撮像した画像を撮像時の焦点距離に応じたマッピングテーブルを用いて所定座標系上にマッピングし、該マッピングされた画像はメモリ１０９に格納される。

上記第１撮像系のメモリ９に格納された画像、及び第２撮像系のメモリ１０９に格納された画像は、図４に示したように、円筒変換後の円筒面２４上の画像（マッピングデータ）２６，２８になる。これらの画像２６，２８のオーバーラップ領域３０，３１は、焦点距離にかかわらず精密に合致する。

図５は、図４に示した円筒面２４上の画像２６，２８を平面に展開したものである。第１撮像系のバックワードマッピング部８によりマッピングされる画像（Ａ）のマッピングデータ２６は、基準表示サイズの画像（Ａ）に加え、隣接する第２撮像系の基準表示サイズの画像（Ｂ）とのオーバーラップ（重複）領域３１を含む領域である。また、第２撮像系のバックワードマッピング部１０８によりマッピングされる画像（Ｂ）のマッピングデータ２８は、基準表示サイズの画像（Ｂ）に加え、隣接する第１撮像系の基準表示サイズの画像（Ａ）とのオーバーラップ（重複）領域３０を含む領域である。

隣り合う第１及び第２撮像系において、第１撮像系で撮像された画像が、第２撮像系で撮像された基準表示サイズの画像（Ｂ）との接合位置２９を越えて重複する領域３１と、前記第２撮像系で撮像された画像が、前記第１撮像系で撮像された基準表示サイズの画像（Ａ）との接合位置２９を越えて重複する領域３０の双方の表示サイズが同一である。

オーバーラップ領域３０，３１は極めて精度よく一致した画像となるため、当該撮像系の基準表示サイズの画像と隣接する撮像系で撮像された画像とのオーバーラップ部分に関する評価結果を用いて絞り２（１０２）及びＣＣＤ画像処理部７（１０７）を制御することにより、撮像系間の色ずれを最小限に抑えることができる。

具体的には、第１撮像系は、該第１撮像系の基準表示サイズの画像（Ａ）と隣の第２撮像系で撮像された画像２８とのオーバーラップ部分３０について画質の評価を行うオーバーラップ領域評価部１０（重複領域評価部）を有する（図１参照）。同様に、第２撮像系は、第２撮像系の基準表示サイズの画像（Ｂ）と隣の第１撮像系で撮像された画像２６とのオーバーラップ部分３１について画質の評価を行うオーバーラップ領域評価部１１０（重複領域評価部）を有する。

図１に示すように、第１撮像系のオーバーラップ領域評価部１０の評価結果（データ）が、第１撮像系及び第２撮像系の制御部１２，１１２にそれぞれ入力され、また第２撮像系のオーバーラップ領域評価部１１０の評価結果（データ）が、第２撮像系及び第１撮像系の制御部１１２，１２にそれぞれ入力される。そして、第１及び第２撮像系の制御部１２，１１２において、各撮像系から入力された評価結果に基づいて、それぞれオーバーラップ領域の画像データの色ずれ量が最小となるように画質調整が行われる。

上記形態では、隣接する撮像系において互いにオーバーラップ領域の画像データの評価結果を入力していたが、いずれか一方を基準として固定してもよい。例えば、第１撮像系でえられる画像の画質を固定し、第２撮像系で得られる画像の画質を第１撮像系に合わせて調整するようにしてもよい。

また、各撮像系は、当該撮像系の基準表示サイズの画像と隣接する撮像系で撮像された画像とのオーバーラップ部分について所定の処理を行うオーバーラップ領域処理部（重複領域処理部）を備えている。

具体的には、第１撮像系は、該第１撮像系の基準表示サイズの画像（Ａ）と隣の第２撮像系で撮像された画像２８とのオーバーラップ部分３０について、ブレンド処理を行うオーバーラップ領域処理部１１（重複領域評価部）を有する。同様に、第２撮像系は、第２撮像系の基準表示サイズの画像（Ｂ）と隣の第１撮像系で撮像された画像２６とのオーバーラップ部分３１について、ブレンド処理を行うオーバーラップ領域処理部１１１（重複領域評価部）を有する。第１及び第２撮像系のオーバーラップ領域処理部１１，１１１は、互いのオーバーラップ領域におけるＲＧＢのピクセルデータを交換する（図１参照）。このピクセルデータのやり取りにより、隣接する第１及び第２撮像系におけるオーバーラップ領域の画サイズ、画質を分析し、適切なオーバーラップ領域処理を行うことができる。

第１撮像系のオーバーラップ領域処理部１１は、隣接する第２撮像系から取得したピクセルデータに基づき、図５に示したオーバーラップ領域３０の画像データに対しそれぞれ所定のブレンド処理を行う。ブレンド処理されたオーバーラップ領域３０の画像データは、出力部１４に送出される。

オーバーラップ領域３０のみの画像データ、あるいはオーバーラップ領域３０を含む基準表示サイズの画像（Ａ）を、オーバーラップ領域処理部１１を通して、出力部１４へ送出する。オーバーラップ領域処理部１１に対してオーバーラップ領域３０のみの画像データが入力された場合、出力部１４は、ブレンド処理されたオーバーラップ領域３０の残り部分をメモリ９から入手し、その残り部分をオーバーラップ領域３０に加えて基準表示サイズの画像（Ａ）とする。そして、出力部１４から基準表示サイズの画像（Ａ）を外部機器等へ出力する。

第２撮像系も同様に、オーバーラップ領域処理部１１１は、隣接する第１撮像系から取得したピクセルデータに基づいて、図５に示したオーバーラップ領域３１の画像データに対してそれぞれ所定のブレンド処理を行う。ブレンド処理されたオーバーラップ領域３１の画像データは、出力部１４に送出される。そして、ブレンド処理されたオーバーラップ領域３１を含む基準表示サイズの画像（Ｂ）が、出力部１１４から外部機器等へ出力される。

画像（Ａ）と画像（Ｂ）のオーバーラップ領域３０をオーバーラップ処理し、画像（Ｂ）と画像（Ａ）のオーバーラップ領域３１をオーバーラップ処理してそれぞれ出力すれば、受け手側では画像（Ａ）と（Ｂ）を並べるだけで広角画像を得ることができる。

一方、オーバーラップ領域処理を行わず、オーバーラップ部分を含む画像、すなわち画像（Ａ）のマッピングデータと画像（Ｂ）のマッピングデータを外部へ送り、受け側でオーバーラップ処理して広角画像を得ることもできる。このように、受け側でオーバーラップ領域処理を行うことにより、前段すなわち撮像装置の処理を軽くすることが可能となる。この場合も、オーバーラップ領域が特定の領域にマッピングされるので、受け側ではオーバーラップ領域の画像データに関する一切の情報を必要としないので、制御及び処理を簡略化することができる。換言すれば、後段での画像合成処理の際のオーバーラップ量を決めておけば、後段へは画像データ以外の情報は送る必要がなくなる。

撮像装置側でオーバーラップ領域処理を行わない場合、外部へ出力する都度、画像データに加えてずれ量（オーバーラップ量）を決めてよい。あるいは、外部へ出力する画像データの画サイズに応じてずれ量を可変してもよい。もしくは、単に画像データの画サイズに関係なくずれ量を一定としてもよい。

次に、本発明の他の実施形態について図６及び図７を参照して説明する。図６及び図７において、図１及び図５に対応する部分には同一符号を付し、詳細な説明は省略する。

図６は、３つの撮像系を含む撮像装置である。図６に示した例は、図１に示した２つの撮像系に第３撮像系を加え、３つの撮像系を持つ構成としたものである。第３撮像系は、レンズ２０１，２０４、絞り２０２、撮像素子として機能するＣＣＤ２０６からなる撮像光学系と、ＣＣＤ画像処理部２０７、バックワードマッピング部２０８、書き換え可能な不揮発性のメモリ２０９、オーバーラップ領域評価部２１０、オーバーラップ領域処理部２１１、制御部２１２、マッピングテーブル２１３、出力部２１４から構成され、第１撮像系及び第２撮像系と同様の構成であるからその詳細な説明は省略する。

本例では、第１及び第２撮像系の間での各種データの相互通信（図１参照）に加え、第２及び第３撮像系の間で各種データの相互通信を行うように構成されている。すなわち、図６に示すように、第２撮像系のオーバーラップ領域評価部１１０の評価結果（データ）が、第２撮像系及び第３撮像系の制御部１１２，２１２にそれぞれ入力され、また第３撮像系のオーバーラップ領域評価部２１０の評価結果（データ）が、第３撮像系及び第２撮像系の制御部２１２，１１２にそれぞれ入力される。そして、第２及び第３撮像系の制御部１１２，２１２において、各撮像系から入力された評価結果に基づいて、それぞれオーバーラップ領域の画像データの色ずれ量が最小となるように画質調整が行われる。

また、第２及び第３撮像系のオーバーラップ領域処理部１１１，２１１は、互いのオーバーラップ領域におけるＲＧＢのピクセルデータを交換する。このピクセルデータのやり取りにより、隣接する第２及び第３撮像系におけるオーバーラップ領域の画サイズ、画質を分析し、適切なオーバーラップ領域処理を行うことができる。

図７は、円筒面上の３つの出力画像を平面に展開したものであり、図５に示したものに第３撮像系で得られる画像（Ｃ）を加えている。第３撮像系から得られる画像（Ｃ）のマッピングデータ３６は、画像（Ａ），（Ｂ）のマッピングデータ２６，２８の場合と同様に、第３撮像系のＣＣＤ２０６で撮像した画像を撮像時の焦点距離に応じたマッピングテーブルを用いて所定座標系上にマッピングして得られる。

第２撮像系のバックワードマッピング部１０８によりマッピングされる画像（Ｂ）のマッピングデータ２８は、基準表示サイズの画像（Ｂ）に加え、隣接する第３撮像系の基準表示サイズの画像（Ｃ）とのオーバーラップ（重複）領域３５を含む領域である。また、第３撮像系のバックワードマッピング部２０８によりマッピングされる画像（Ｃ）のマッピングデータ３６は、基準表示サイズの画像（Ｃ）に加え、隣接する第２撮像系の基準表示サイズの画像（Ｂ）とのオーバーラップ（重複）領域３４を含む領域である。

第１及び第２撮像系の場合と同様に、第２及び第３撮像系においても、第２撮像系で撮像された画像が、第３撮像系で撮像された基準表示サイズの画像（Ｃ）との接合位置３３を越えて重複する領域３５と、前記第３撮像系で撮像された画像が、前記第２撮像系で撮像された基準表示サイズの画像（Ｂ）との接合位置３３を越えて重複する領域３４の双方の表示サイズが同一である。

また、第１及び第２撮像系の場合と同様に、オーバーラップ領域３４，３５は極めて精度よく一致した画像となるため、当該撮像系の基準表示サイズの画像と隣接する撮像系で撮像された画像とのオーバーラップ部分に関する評価結果を用いて絞り１０２（２０２）及びＣＣＤ画像処理部１０７（２０７）を制御して、第２撮像系及び第３撮像系間の色ずれを最小限に抑えることができる。

さらに、第１及び第２撮像系の場合と同様に、第２及び第３撮像系のオーバーラップ領域処理部１１１，２１１は、互いのオーバーラップ領域におけるＲＧＢのピクセルデータを交換（図６参照）できるので、このピクセルデータを相互にやり取りすることにより、隣接する第２及び第３撮像系におけるオーバーラップ領域の画サイズ、画質を分析し、ブレンド処理等適切なオーバーラップ領域処理を行うことができる。

このように、第１〜第３の３つの撮像系から得られる３つの画像データも精度よく一致させることができる。勿論、３以上の撮像系を持つ撮像装置の場合でも同様に、オーバーラップ領域が一定で精度のよい画像の張り合わせができる。

以上説明したように、マルチカメラ又は全方位カメラなど、複数の撮像系の出力画像を接合して広角映像を取得する撮像装置で、特に各撮像系の画像の一部がオーバーラップするように配置された撮像装置において、各々のＣＣＤ出力の後段に、切り替えあるいは書き換え可能なオーバーラップ領域を含んだバックワードマッピングテーブルを有し、フォーカス（焦点距離）に応じてマッピングテーブルを変化させることによって、これを後段へ出力する際にフォーカスの設定が如何なる場合でも隣接する撮像系間のオーバーラップ領域を精密に合致させることができる。つまり、フォーカスの変化に応じてバックワードマッピングテーブルを動的に切り替えることによって、バックワードマッピング後の画像データのオーバーラップ領域が、フォーカスによらず正確な領域にマッピングされる。

また、上記構成の結果得られた画像はオーバーラップ部分が厳密に特定の領域にマッピングされることとなり、その領域のデータを隣接画像間で評価し、評価結果からＣＣＤ画像処理部及び絞りを制御することにより、ＣＣＤ画像処理部出力段での色ずれを高精度に補正することができる。

また、上記バックワードマッピングテーブルを利用してマッピングを行うバックワードマッピング部の後段に、隣接する撮像系のオーバーラップデータを用いて、ブレンンディング等の境界処理を行うブロック（オーバーラップ領域処理部）を設け、各撮像系に設けられたオーバーラップ領域処理部で境界処理された画像データを外部に出力することによって、受け取り側では画像を単純に並べるだけで、所望の画角の映像を得ることができる。

したがって、マルチカメラ及び全方位カメラなど、複数の撮像系の出力画像を接合して広角映像を取得する撮像装置において、フォーカス設定に影響を受けず、撮像系間の境界領域でボケが生じない高品質な画像を得ることが可能になる。

また、バックワードマッピングテーブルのデータを入れ替えることにより、鏡面反転画像、上下反転画像等も容易に得ることができる。これらの特性は撮像装置を構成する撮像系の配置に影響を受けることはなく、撮像系が横一列に配置された場合でも、縦横に配置させた場合でも有効である。そしてマッピング処理された画像は各々の撮像系単位で出力されるため、撮像系の台数にも制限を受けることはない。所望の画角を得るために必要なだけ撮像系を並べて撮像装置を構成することが可能となる。

なお、本発明は、例えば特許第２９７４５００号明細書に記載されているような視点一致光学系カメラに適用したが、撮影対象物が十分に遠い場合には隣接する撮像系の視点が近似的に一致しているとみなせるので、カメラ（撮像系）を複数並列に並べた撮像装置に対しても、本発明を適用することができる。

また、本発明は、上述した実施の形態の例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合のプログラムコードを供給するための記録媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の例の機能が実現される場合も含まれる。

さらに、本発明は上述した実施の形態の例に限られるものではなく、本発明の要旨を逸脱することなくその他種々の構成を取り得ることは勿論である。

本発明の一実施の形態に係る撮像装置（２撮像系）の構成例を示す図である。 レンズ歪み補正の説明に供する図である。 円筒変換の説明に供する図である。 本発明の一実施の形態に係る円筒変換後の隣接する２つの画像を示す図である。 本発明の一実施の形態に係る２つの出力画像を平面に展開した状態を示す図である。 本発明の他の実施の形態に係る撮像装置（３撮像系）を示す図である。 本発明の他の実施の形態に係る３つの出力画像を平面に展開した状態を示す図である。

符号の説明

１，４，１０１，１０４，２０１，２０４…レンズ、２，１０２，２０２…絞り、３，１０３，２０３…絞り制御部、５，１０５，２０５…フォーカス制御部、６，１０６，２０６…ＣＣＤ（撮像素子）、７，１０７，２０７…ＣＣＤ画像処理部、８，１０８，２０８…バックワードマッピング部（マッピング部）、９，１０９，２０９…メモリ、１０，１１０，２１０…オーバーラップ領域評価部（重複領域評価部）、１１，１１１，２１１…オーバーラップ領域処理部（重複領域処理部）、１２，１１２，２１２…制御部、１３，１１３，２１３…マッピングテーブル、１４，１０４，２０４…出力部、２１…補正前画像、２２，２５，２７…補正後画像、２３，２６，２８…（円筒変換後）画像、２４…円筒面、３４…画像（基準表示サイズ画像）、２９，３５…接合位置、３０，３１，３６，３７…オーバーラップ領域、３２，３３，３８…マッピングデータ

Claims (10)

1. 各撮像手段より得られる画像を接合して広角画像を得る用途に利用され、焦点距離が可変なレンズと、撮像素子とをそれぞれ備え、視点が略一致し、かつ隣り合う撮像手段の撮像領域の一部が重なるように配置された複数の撮像手段から成る撮像装置であって、
   各撮像手段は、
   前記撮像素子で撮像された画像を表す座標系と所定座標系との対応関係が焦点距離毎に記述されたマッピングテーブルと、
   前記撮像素子にて画像が撮像されたときの焦点距離に応じて前記マッピングテーブルを選択する制御部と、
   前記制御部により選択されたマッピングテーブルに記述されている対応関係に基づいて前記画像を所定座標系上にマッピングするマッピング部と
   を有することを特徴とする撮像装置。
2. 前記マッピングテーブルは、前記撮像素子で撮像された画像を３次元座標系で表される非平面画像にマッピングする、又は前記非平面画像をさらに二次元平面画像にマッピングする対応関係が前記焦点距離毎に記述されている
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子により、広角画像を構成する際の単位画像となる基準表示サイズの画像に加えて、隣の撮像手段で撮像される基準表示サイズの画像と重複する領域の画像が撮像され、前記重複する領域の画像の表示サイズが前記焦点距離にかかわらず一定である
   ことを特徴とする請求項１に記載の撮像装置。
4. 隣り合う第１及び第２撮像手段において、
   前記第１撮像手段で撮像された画像が、前記第２撮像手段で撮像された基準表示サイズの画像との接合部を越えて重複する第１重複領域と、
   前記第２撮像手段で撮像された画像が、前記第１撮像手段で撮像された基準表示サイズの画像との接合部を越えて重複する第２重複領域の表示サイズが同一である
   ことを特徴とする請求項１に記載の撮像装置。
5. 各撮像手段は、当該撮像手段の基準表示サイズの画像と前記隣の撮像手段で撮像された画像との重複部分に関する評価結果を、隣の撮像手段から取得し、前記評価結果に基づいて前記隣の撮像手段の画像との色ずれ量を補正する
   ことを特徴とする請求項３に記載の撮像装置。
6. 各撮像手段は、
   絞りと、
   当該撮像手段の基準表示サイズの画像と前記隣の撮像手段で撮像された画像との重複部分に関する評価を行う重複領域評価部とを有し、
   各撮像手段の前記制御部は、前記隣の撮像手段の前記重複領域評価部から入力される評価結果に基づいて前記色ずれ量が最小となるように、当該撮像手段の絞り値の調整、及び／又は前記撮像素子で撮像される画像の画質調整を行う
   ことを特徴とする請求項５に記載の撮像装置。
7. 各撮像手段は、当該撮像手段の基準表示サイズの画像と前記隣の撮像手段で撮像された画像との重複部分についてのピクセルデータを交換し、該ピクセルデータに基づいて当該画像の重複部分のブレンド処理を行う
   ことを特徴とする請求項３に記載の撮像装置。
8. 各撮像手段は、
   当該撮像手段の基準表示サイズの画像と前記隣の撮像手段で撮像された画像との重複部分についてブレンド処理を行う重複領域処理部を備え、
   前記重複領域処理部は前記隣の撮像手段から前記ピクセルデータを取得して前記重複部分のブレンド処理を行い、該ブレンド処理された重複部分を含む基準表示サイズの画像を外部に出力する
   ことを特徴とする請求項７に記載の撮像装置。
9. 焦点距離が可変なレンズと、撮像素子とをそれぞれ備え、視点が略一致し、かつ隣り合う撮像手段の撮像領域の一部が重なるように配置された複数の撮像手段で撮像された画像を接合して広角画像を得る画像処理方法であって、
   前記撮像素子で撮像された画像を表す座標系と所定座標系との対応関係が焦点距離毎に記述されたマッピングテーブルから、撮像時の焦点距離に対応するマッピングテーブルを選択し、
   前記選択されたマッピングテーブルに記述されている対応関係に基づいて前記撮像した画像を所定座標系上にマッピングし、
   前記選択されたマッピングテーブルに基づいて所定座標系上にマッピングされる画像と、隣の撮像手段の所定座標系で表される画像との重複領域を前記焦点距離にかかわらず一定の領域にマッピングする
   ことを特徴とする画像処理方法。
10. 焦点距離が可変なレンズと、撮像素子とをそれぞれ備え、視点が略一致し、かつ隣り合う撮像手段の撮像領域の一部が重なるように配置された複数の撮像手段で撮像された画像を接合して広角画像を得る画像処理を行うためのコンピュータ・プログラムであって、
    前記撮像素子で撮像された画像を表す座標系と所定座標系との対応関係が焦点距離毎に記述されたマッピングテーブルから、撮像時の焦点距離に対応するマッピングテーブルを選択する機能と、
    前記選択されたマッピングテーブルに記述されている対応関係に基づいて前記撮像した画像を所定座標系上にマッピングする機能と、
    前記選択されたマッピングテーブルに基づいて所定座標系上にマッピングされる画像と、隣の撮像手段の所定座標系で表される画像との重複領域を焦点距離にかかわらず一定の領域にマッピングする機能とを
    コンピュータに実現させるコンピュータ・プログラム。

Images