JP2010130628A

JP2010130628A - 撮像装置、映像合成装置および映像合成方法

Info

Publication number: JP2010130628A
Application number: JP2008306340A
Authority: JP
Inventors: Tomoya Shimura; 智哉紫村
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2008-12-01
Filing date: 2008-12-01
Publication date: 2010-06-10

Abstract

【課題】動いている被写体を撮影する場合でも、容易に高フレームレートで高精細な動画を撮影（生成）できること
【解決手段】被写体の撮影範囲を分割した一部領域を撮影する部分カメラであって、各々の撮影範囲が、互いに一部重複する複数の部分カメラと、部分カメラと撮影映像のサンプリングが同一であり、撮影範囲に前記部分カメラの撮影映像の一部を含む基準カメラと、各カメラの撮影映像の歪みを、当該カメラのカメラパラメータを用いて補正し、補正済み映像を生成する歪み補正部と、部分カメラ各々の補正済み映像について、基準カメラの補正済み映像と一致する領域を検出し、該一致する領域に基づき、基準カメラの補正済み映像に対する部分カメラ各々の補正済み映像の相対位置を算出する相対位置検出部と、相対位置に基づき、部分カメラの補正済み映像を互いに接合する映像接合部とを備える。
【選択図】図１

Description

本発明は、撮像装置、映像合成装置および映像合成方法、特に、複数のカメラによる撮影映像を合成し、一つの高精細な映像を生成する撮像装置、映像合成装置および映像合成方法に関する。

近年、高画質なデジタルスチルカメラやデジタルビデオカメラ（以下、両者を含めてデジタルカメラという）が急速に普及してきている。また、並行してデジタルカメラの小型化、薄型化の開発も進められており、携帯電話等に小型で高画質なデジタルカメラが搭載され始めた。
デジタルカメラに代表される撮像装置は、撮像素子とレンズ光学系から構成されている。撮像素子としては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーやＣＣＤ（Charge Coupled Device）センサー等の電子デバイスが使用される。これら撮像素子は、レンズ光学系により撮像面に結像した光量分布を光電変換し撮影画像として記録するものである。レンズ光学系としては、収差を除去するために、数枚の非球面レンズから構成されているものが多い。更にズーム機能を持つ場合は、複数のレンズと撮像素子の間隔を変える駆動機構（アクチュエータ）を備えている。

撮像装置の高画質化、高機能化の要求に応じて、撮像素子は多画素化、高精細化し、結像光学系は低収差、高精度化が進んでいる。それに伴い、撮像装置が大きくなり、小型化、薄型化が困難になってしまうという課題がある。この課題に対して、レンズ光学系に複眼構造を採用する技術や、複数の撮像素子とレンズ光学系から構成される撮像装置が提案されている。

例えば、平面状に配置した固体レンズアレイと液晶レンズアレイと撮像素子から構成された撮像レンズ装置が提案されている（例えば、特許文献１参照）。この撮像レンズ装置は、図１８に示すように、レンズアレイ２００１と、同数の可変焦点型の液晶レンズアレイ２００２とを有するレンズ系と、このレンズ系を通して結像する光学像を撮像する撮像素子２００３と、撮像素子２００３により得られた複数の画像を画像処理して全体の画像を再構成する演算装置２００４と、演算装置２００４からフォーカス情報を検出して液晶レンズアレイ２００２を駆動する液晶駆動装置２００５から構成されている。この構成により焦点距離を短くした小型薄型の撮像レンズ装置が実現可能としている。
また、高精細な画像を生成する方法の一つとして、パノラマ撮影装置などの映像合成装置を用いて、複数のカメラ映像を繋ぎ合わせて一つの連続した映像を生成することが知られている。

しかし、複数のカメラ映像を繋ぎ合わせるにはカメラ間の位置の差による視差が発生し、この視差による映像間のずれ（歪）を補正する必要がある。
映像間のずれを補正する方法の一つとして、複数のカメラ映像全体を含む映像を撮影するため、広視野カメラを設置して、広視野カメラの映像と複数のカメラ（以下、部分カメラという）の映像の間でマッチングをとる手法が提案されている（例えば、特許文献２参照）。
特開２００６−２５１６１３号公報特開２００４−１３５２０９号公報

しかしながら、特許文献１で示されたようなレンズアレイを用いた撮像レンズ装置では、高解像度の画像を生成するために、特別なレンズユニットを用いる必要があるので高価な上に、煩雑な操作が必要になるという課題がある。例えば、光学系と撮像素子の相対位置の調整の精度が画質に影響するため、組み立て時に正確に調整する必要がある。この相対位置の調整を機械的精度だけで調整を行う場合は、高精度な非固体レンズ等が必要となり、コストが高くなる。また、装置の組立て時に正確に調整されたとしても、経時変化等により光学系と撮像素子との相対位置が変わり、画質劣化が生じてしまうので、組立て時と同様に、再度位置調整を行わなければならない。さらに、光学系や撮像素子を数多く備えている装置においては調整するべき箇所が数多くなるため、位置調整に多大な作業時間を要する。

また、特許文献２で示されたような映像合成装置では、広視野カメラの撮影映像と各部分カメラの撮影映像とのマッチングを取る際、それぞれのカメラが撮影した映像の分解能が異なるため、マッチングの精度の低下やマッチング処理速度が低下するという課題がある。そのため、リアルタイムの動画撮影において高いフレームレートで撮影できないという課題がある。

本発明は、このような事情に鑑みてなされたもので、その目的は、動いている被写体を撮影する場合でも、容易に高フレームレートで高精細な動画を撮影（生成）できる撮像装置、映像合成装置および映像合成方法を提供することにある。

この発明は上述した課題を解決するためになされたもので、本発明の撮像装置は、被写体の撮影範囲を分割した一部領域を撮影する部分カメラであって、各々の撮影範囲が、互いに一部重複する複数の部分カメラと、前記部分カメラと撮影映像のサンプリングが同一であり、撮影範囲に前記部分カメラの撮影映像の一部を含む基準カメラと、カメラキャリブレーションによる各前記カメラのカメラパラメータを記憶するカメラパラメータ保持部と、各前記カメラの撮影映像の歪みを、当該カメラの前記カメラパラメータを用いて補正し、補正済み映像を生成する歪み補正部と、前記部分カメラ各々の補正済み映像について、前記基準カメラの補正済み映像と一致する領域を検出し、該一致する領域に基づき、前記基準カメラの補正済み映像に対する前記部分カメラ各々の補正済み映像の相対位置を算出する相対位置検出部と、前記相対位置に基づき、前記部分カメラの補正済み映像を互いに接合する映像接合部とを備えることを特徴とする。

また、本発明の撮像装置は、上述の撮像装置であって、前記基準カメラを１つのみ備え、前記基準カメラの撮影範囲は、全ての前記部分カメラの撮影映像の一部領域を含むことを特徴とする。

また、本発明の撮像装置は、上述の撮像装置であって、前記基準カメラの撮影範囲は、全ての前記部分カメラの撮影範囲の中心に位置することを特徴とする。

また、本発明の撮像装置は、上述の撮像装置であって、前記基準カメラを少なくとも２つ備え、前記相対位置検出部は、前記部分カメラのうち、予め決められた１つまたはそれ以上の第１の前記部分カメラの補正済み映像について、第１の前記基準カメラの補正済み映像と一致する領域を検出し、該一致する領域に基づき、前記第１の基準カメラの補正済み映像に対する前記第１の部分カメラ各々の補正済み映像の相対位置を算出する第１相対位置算出部と、前記第１相対位置算出部が算出した相対位置に基づき接合された前記第１の部分カメラの補正済み映像と、前記第１の部分カメラを含まない部分カメラの補正済み映像とについて、第２の前記基準カメラの補正済み映像と一致する領域を検出し、該一致する領域に基づき、前記接合された第１の部分カメラの補正済み映像と、前記第１の部分カメラを含まない部分カメラの補正済み映像との前記第２の基準カメラの補正済み映像に対する相対位置を算出する第２相対位置算出部とを備えることを特徴とする。

また、本発明の映像合成装置は、被写体の撮影範囲を一部に分割して撮影する部分カメラであって、各々の撮影範囲が、互いに重複する部分である接合範囲を含む複数の部分カメラと、前記部分カメラと撮影映像のサンプリングが同一であり、撮影範囲に前記部分カメラの撮影映像の各接合範囲を含む１つまたはそれ以上の基準カメラと、接続される映像合成装置であって、カメラキャリブレーションによる各前記カメラのカメラパラメータを記憶するカメラパラメータ保持部と、各前記カメラの撮影映像の歪みを、当該カメラの前記カメラパラメータによって補正し、補正済み映像を生成する歪み補正部と、前記部分カメラ各々の補正済み映像について、前記基準カメラの補正済み映像と一致する領域を検出し、該一致する領域に基づき、前記基準カメラの補正済み映像に対する前記部分カメラ各々の補正済み映像の相対位置を算出する相対位置検出部と、前記相対位置に基づき、前記部分カメラの補正済み映像を互いに接合する映像接合部とを備えることを特徴とする。

また、本発明の映像合成方法は、被写体の撮影範囲を一部に分割して撮影する部分カメラであって、各々の撮影範囲が、互いに重複する部分である接合範囲を含む複数の部分カメラと、前記部分カメラと撮影映像のサンプリングが同一であり、撮影範囲に前記部分カメラの撮影映像の各接合範囲を含む１つまたはそれ以上の基準カメラと、接続され、カメラキャリブレーションによる各前記カメラのカメラパラメータを記憶するカメラパラメータ保持部を備える映像合成装置における映像合成方法であって、前記映像合成装置が、各前記カメラの撮影映像の歪みを、当該カメラの前記カメラパラメータによって補正し、補正済み映像を生成する第１の過程と、前記映像合成装置が、前記部分カメラ各々の補正済み映像について、前記基準カメラの補正済み映像と一致する領域を検出し、該一致する領域に基づき、前記基準カメラの補正済み映像に対する前記部分カメラ各々の補正済み映像の相対位置を算出する第２の過程と、前記映像合成装置が、前記相対位置に基づき、前記部分カメラの補正済み映像を互いに接合する第３の過程とを有することを特徴とする。

この発明によれば、動いている被写体を撮影する場合でも、容易に高フレームレートで高精細な動画を撮影（生成）できる。

〔第１の実施形態〕
以下、図面を参照して、本発明の第１の実施形態について説明する。
〔撮像装置の説明〕
本実施形態の撮像装置は、部分カメラ及び接合部撮影基準カメラで撮影した撮影映像の歪みの補正処理と、各接合部撮影基準カメラの撮影映像から、各部分カメラの撮影映像の適切な位置での張り合わせによる合成処理を行うことで、単一カメラでの撮影映像より高精細な画像を生成する多眼カメラである。
図１は、本実施形態における撮像装置１０の構成を示す概略ブロック図である。本実施形態の撮像装置１０は、複数の部分カメラ１０１ａ〜１０１ｍ、接合部撮影基準カメラ１０２、映像合成部２０（映像合成装置とも称する）を備える。映像合成部２０は、カメラキャリブレーション部１０３、カメラパラメータ保持部１０４、撮影映像歪補正部１０５、映像接合位置検出部１０６、映像接合位置保持部１０７、映像接合部１０８を備える。

部分カメラ１０１ａ〜１０１ｍの各々は、被写体の撮影範囲を分割した一部領域を撮影する部分カメラであって、各々の撮影範囲が、互いに重複する部分である接合範囲を含むカメラである。接合部撮影基準カメラ１０２は、部分カメラ１０１ａ〜１０１ｍと撮影映像のサンプリングが同一であり、撮影範囲に部分カメラ１０１ａ〜１０１ｍの撮影映像の一部を含む。ここで、撮影映像のサンプリングが同一とは、被写体の同一領域が同じ画素数で撮影されることを指し、例えば、画素の画角が一致している場合がある。カメラキャリブレーション部１０３は、各部分カメラ１０１ａ〜１０１ｍ及び接合部撮影基準カメラ１０２の撮影映像から、カメラキャリブレーションにより各カメラ固有の画像の歪を表すパラメータ（以下、カメラパラメータ）を算出する（カメラキャリブレーションについては後述する）。カメラパラメータ保持部１０４は、カメラキャリブレーション部１０３が算出した各カメラのカメラパラメータを記憶するフラッシュロムなどの記憶手段である。カメラキャリブレーション部１０３によるカメラパラメータの算出処理は、被写体を撮影する前に行い、カメラパラメータ保持部１０４に、カメラパラメータを事前に記憶しておく。

撮影映像歪補正部１０５は、各部分カメラ１０１ａ〜１０１ｍ及び接合部撮影基準カメラ１０２の撮影映像の歪みを、カメラパラメータ保持部１０４が記憶する各カメラのカメラパラメータを用いて補正し、補正済み映像を生成する。映像接合位置検出部１０６（相対位置検出部）は、部分カメラ１０１ａ〜１０１ｍ各々の補正済み映像について、接合部撮影基準カメラ１０２の補正済み映像と一致する領域を検出し、該一致する領域に基づき、接合部撮影基準カメラ１０２の補正済み映像に対する部分カメラ１０１ａ〜１０１ｍ各々の補正済み映像の相対位置を算出し、該相対位置を部分カメラ１０１ａ〜１０１ｍの補正済み映像を互いに接合するための接合位置情報とする。ここで、相対位置とは接合部撮影基準カメラ１０２の補正済み映像の中心から対象とする補正済み映像の中心までの相対座標である。

映像接合位置保持部１０７は、検出した各部分カメラ１０１ａ〜１０１ｍの補正済み映像の接合位置情報を記憶するメモリである。映像接合部１０８は、映像接合位置保持部１０７が記憶する各部分カメラ１０１ａ〜１０１ｍの補正済み映像の接合位置情報に基づき、撮影映像歪補正部１０５が生成した各部分カメラ１０１ａ〜１０１ｍの補正済み映像の歪を補正した映像をその接合位置情報が表す位置に配置して、接合する合成処理を行い、高精細な映像を生成する。

〔カメラキャリブレーションの説明〕
図２は、本実施形態によるカメラキャリブレーション部１０３によるカメラキャリブレーション処理を説明するフローチャートである。この処理は、例えば工場生産時に行う処理であり、撮像装置１０の電源投入時に複数の操作ボタンを同時に押すなどの特定の操作を行うことでこのカメラキャリブレーションを実行する。

まず、カメラキャリブレーション部１０３は、部分カメラ１０１ａ〜１０１ｍおよび接合部撮影基準カメラ１０２のうち、カメラキャリブレーションの対象とするカメラを用いて、パターンピッチが既知のチェッカーパターンや市松模様のテストチャートを、姿勢やアングルを変えながら３種類以上の姿勢で撮影した映像を取得する（ステップＳ１６０１）。続いて、カメラキャリブレーション部１０３は、これらの映像をカメラ毎に解析して、カメラパラメータである外部パラメータ、内部パラメータおよびレンズ歪み補正のパラメータをカメラ毎に算出する（ステップＳ１６０２）。ここでは、カメラキャリブレーションの例として、ピンホールカメラモデルによる例を挙げると、外部パラメータ値はカメラの姿勢の３次元での回転情報と並進情報の６つが外部パラメータとなる。また同様に内部パラメータは５つである。このようなカメラパラメータを算出することがカメラキャリブレーションである。

ピンホールカメラモデルを含む一般的なカメラモデルでは、外部パラメータは世界座標系に対してカメラの姿勢角を示すヨー、ピッチ、ロールの３軸ベクトルと、平行移動成分を示す並進ベクトルの３軸成分の、合計６つである。また、内部パラメータは、カメラの光軸が撮像素子と交わる画像中心座標（ｕ０，ｖ０）、撮像素子上で仮定した座標の角度とアスペクト比、焦点距離の５つである。これらの算出方法については、後述する。

次に、カメラキャリブレーション部１０３は、算出した外部パラメータ、内部パラメータおよびレンズ歪み補正のパラメータをカメラパラメータ保持部１０４に記憶する（ステップＳ１６０３）。前述の通り、本パラメータを各カメラの撮影映像の補正処理（後述する図７のステップＳ１００２）で使用することで、各カメラ個別のカメラ歪みが補正されることになる。すなわち、本来直線であったチェッカーパターンがカメラの歪みで曲線となって撮像される場合があるので、これを直線に戻すためのパラメータをこのカメラキャリブレーション処理によって導出して、各カメラ撮影映像の補正を行う。

次に、カメラキャリブレーション部１０３は、各カメラの外部パラメータを特定のカメラを基準としたカメラ間の向きや姿勢を表す外部パラメータにそれぞれ変換する（ステップＳ１６０４）。具体的には、各部分カメラ１０１ａ〜１０１ｍの外部パラメータをそれぞれＥａ、Ｅｂ、Ｅｍ、接合部撮影基準カメラ１０２の外部パラメータをＥｗとし、カメラ間の外部パラメータを求めるための基準となる特定のカメラを接合部撮影基準カメラ１０２とすると、部分カメラ１０１ａのカメラ間の外部パラメータＥａ´は、ＥｗＥａ^−１となる。同様に、Ｅｂ´は、ＥｗＥｂ^−１、Ｅｍ´は、ＥｗＥｍ^−１、Ｅｗ´は、ＥｗＥｗ^−１（単位行列）となる。（詳細は、後述する図４および図５の各撮影映像で同じ領域が写っている領域を、サブ画素の精度で対応づける方法で説明する。）以上のように変換したカメラ間の外部パラメータによってカメラパラメータ保持部１０４に記憶されているパラメータを更新する（ステップＳ１６０５）。実際には、各カメラ撮影映像の補正処理（後述する図７のステップＳ１００２）でこの更新した値を使用する。

なお、ここでは撮像装置１０内のＣＰＵまたはマイコン（マイクロコンピュータ）が、撮像装置１０内のメモリに格納されているプログラムを実行することにより、カメラキャリブレーションの処理を行う場合を示したが、例えば別途パソコン（パーソナルコンピュータ）を用意して、このパソコン上で同様のプログラムを実行させて、カメラキャリブレーションの処理を行い、得られたカメラパラメータを撮像装置１０にダウンロードし、カメラパラメータ保持部１０４に記憶するような構成でもよい。

図３は、カメラキャリブレーション部１０３による各カメラのカメラキャリブレーションの原理について説明する図である。ここでは、カメラによる投影の様子について図３に示すようなピンホールカメラモデルを用いて考える。ピンホールカメラモデルにおいて、画像平面ＰＬ１に至る光は全てレンズの中心の１点であるピンホールＰ１を通過し、画像平面ＰＬ１と交差した位置で像を結ぶ。光軸と画像平面ＰＬ１との交点を原点（ｕ０，ｖ０）とし、カメラの撮像素子の配置軸に合わせてｘ軸とｙ軸をとる座標系を画像座標系と呼ぶ。カメラのレンズ中心（ピンホールＰ１）を原点、光軸をＺ軸とし、ｘ軸とｙ軸に平行にＸ軸とＹ軸をとる座標系をカメラ座標系と呼ぶ。ここで、空間を表す座標系であるワールド座標系（Ｘw，Ｙw，Ｚw）での点Ｍ＝［Ｘ，Ｙ，Ｚ］Ｔと、その画像平面ＰＬ１への投影である画像座標系（ｘ，ｙ）上の点ｍ＝［ｕ，ｖ］Ｔとの間は、（１）式のように関連付けられる。

ここで、行列Ａは内部パラメータ行列といい、次の（２）式のような行列である。

α，βは画素の大きさと焦点距離との積からなるスケール係数、（ｕ０，ｖ０）は画像中心、γは画像の座標軸の歪みを表すパラメータである。また、［Ｒｔ］は外部パラメータ行列といい、３×３の回転行列Ｒと平行移動ベクトルｔを並べた４×３行列である。すなわち、内部パラメータ行列Ａは、内部パラメータを要素とする行列であり、外部パラメータ行列［Ｒｔ］は外部パラメータを要素とする行列である。

Ｚｈａｎｇのキャリブレーション手法では、既知のパターンが貼り付けられた平板を動かしながら画像を（３回以上）撮影するだけで、内部パラメータ、外部パラメータ、レンズ歪みパラメータを求めることができる。この手法では、キャリブレーション平面ＰＬ２をワールド座標系のＺw＝０の平面としてキャリブレーションする。（１）式で示したキャリブレーション平面上の点Ｍと、その平面を撮影した画像上の対応する点ｍとの関係は、次の（３）式のように書き変えることができる。

キャリブレーション平面ＰＬ２上の点と画像平面ＰＬ１上の点との関係は３×３のホモグラフィ行列Ｈで、（４）式のように記述できる。

キャリブレーション平面の画像が１つ与えられると、ホモグラフィ行列Ｈが１つ得られる。このホモグラフィ行列Ｈ＝［ｈ１ｈ２ｈ３］が得られると、（４）式より次の（５）式が得られる。

行列Ｒが回転行列なのでｒ１とｒ２は直交であることから、次に示す内部パラメータに関する２つの拘束式である（６）、（７）式が得られる。

Ａ−Ｔ：(ＡＴ)−１（Ａの転置行列の逆行列）

行列Ｂ＝Ａ−ＴＡ−１は（８）式のように、３×３の対象行列で６つの未知数を含んでおり、１つのホモグラフィ行列Ｈにつき２つの式を立てることができる。従って、ホモグラフィ行列Ｈが３つ以上得られれば、行列Ｂを、すなわち内部パラメータ行列Ａを決定することができる。

ここで、Ａ−ＴＡ−１は対象性を持っていることから、行列Ｂの要素を並べたベクトルｂを、式（９）により定義する。

ホモグラフィ行列Ｈのｉ番目の列ベクトルをｈｉ＝［ｈｉ１ｈｉ２ｈｉ３］Ｔ，（ｉ＝１，２，３）とすると、ｈｉＴＢｈｊは、式（１０）で表される。ただし、ｖｉｊは、式（１１）である。

これにより、（６）式と（７）式は、次の式（１２）のようになる。

もし、ｎ枚の画像が得られていれば、ｎ個の上記の式を積み重ねることで、式（１３）が得られる。

ここで、Ｖは２ｎ×６の行列である。これより、ベクトルｂはＶＴＶの最小固有値に対応する固有ベクトルとして求められる。この場合、ｎ≧３であれば直接ｂに関する解を得ることができるが、ｎ＝２の場合は内部パラメータ中のγ＝０とすることで、式［０１００００］ｂ＝０を（１３）式に加えることで解を得る。また、ｎ＝１であれば２つの内部パラメータしか求めることができないため、例えばαとβのみを未知とし、残りの内部パラメータを既知とすることで解を得る。ベクトルｂを求めることで行列Ｂを求めた後、カメラキャリブレーション部１０３は、Ｂ＝μＡ−ＴＡからカメラの内部パラメータを（１４）式で算出する。

また、（１４）式より内部パラメータ行列Ａが求まれば、外部パラメータに関しても、カメラキャリブレーション部１０３は、（１５）式を用いて算出することができ、ここまでで得られたパラメータを初期値とする非線形最小二乗法によってパラメータを最適化することで、最適な外部パラメータを得ることができる。

以上のように、全ての内部パラメータが未知の場合においては、カメラキャリブレーション部１０３は、異なる視点から内部パラメータを固定した状態で撮影した３種類以上の画像を用いることでカメラキャリブレーションを行うことができる。この時、一般的には画像枚数が多いほどパラメータ推定精度は高くなる。また、キャリブレーションに用いる画像間における回転が小さい場合に誤差が大きくなる。

次に、カメラキャリブレーション部１０３が行う、前記各カメラの外部パラメータを特定のカメラを基準としたカメラ間の向きや姿勢を表す外部パラメータへの変換方法について図４および図５を用いて説明する。
図４、図５は、カメラキャリブレーションで求めたカメラの位置・姿勢を表すカメラパラメータから、各撮影映像で同じ領域が写っている領域を、サブ画素の精度で対応づける方法について説明する図である。図４は、基本となる撮像素子Ｄ１（これを基本カメラと称する）とそれと隣り合う隣接の撮像素子Ｄ２（これを隣接カメラと称する）にて対象物体面上の点Ｍをレンズを介して各撮像素子上の点ｍ１またはｍ２へ投影（撮影）する場合を示している。また、図５は図４を、図３に示すピンホールカメラモデルを用いて図示したものである。ワールド座標系上の点Ｍと画像座標系上の点ｍ１、ｍ２の関係は、カメラの移動性等から、中心射影行列Ｐを用いて表すと（１）式より、（１６）式で表せる。

カメラキャリブレーションにより算出された行列Ｐを用いることで、三次元空間中の点と二次元画像平面上の点との対応関係が記述できる。図５に示す構成において、基本カメラの中心射影行列をＰ１とし、隣接カメラの中心射影行列をＰ２とする。基本カメラの画像平面ＤＬ１上の点ｍ１から、その点と対応する隣接カメラの画像平面ＤＬ２上の点ｍ２を求めるために、以下の方法を用いる。

（１）（１６）式よりｍ１から三次元空間中の点Ｍを求める。ここで、中心射影行列Ｐは、３×４の行列であるため、Ｐの疑似逆行列を用いて、（１７）式にて算出する。

（２）算出された三次元位置Ｍより、隣接カメラの中心射影行列Ｐ２を用いて、隣接カメラの画像平面ＤＬ２上の対応点ｍ２を求める。

カメラパラメータＰの各要素はアナログの値を持っているので、算出された基本画像と隣接画像の対応点ｍ２は、サブ画素単位で求まる。カメラパラメータを用いる対応点マッチングには、既にカメラパラメータが求まっているため、行列計算だけで対応点を瞬時に算出できる利点がある。

〔レンズ歪補正の説明〕
次に、カメラキャリブレーション部１０３が、内部パラメータを用いて、各カメラによる撮影映像のレンズ歪み補正のパラメータを算出する方法を説明する。ここまではレンズを１つの点と見なすピンホールモデルで説明したが、実際にはレンズには有限の大きさがあるため、ピンホールモデルでは説明できない場合がある。このような場合の歪みの補正について、以下に説明する。凸レンズを使用する場合、入射光が屈折することによる歪みが発生する。このような放射方向の歪みに対する補正係数をｋ１、ｋ２、ｋ５と置く。また、レンズと撮像素子が平行に配置されない場合は、接線方向（レンズ中心に接する平面の向き）の歪みが生じる。この接線方向の歪みに対する補正係数をｋ３、ｋ４と置く。これらの歪みを歪曲収差と呼ぶ。ここで、歪み補正式は下記の（１９）式、（２０）式、（２１）式となる。

ここで、（ｘｕ，ｙｕ）は歪曲収差のない理想的なレンズの撮像結果の画像座標であり、（ｘｄ、ｙｄ）は歪曲収差のあるレンズによる撮影映像、すなわち部分カメラ１０１ａ〜１０１ｍまたは接合部撮影基準カメラ１０２による撮影映像の画像座標である。この座標の座標系は、双方とも前述の画像座標系ｘ軸、ｙ軸である。また、ｒは画像中心から（ｘｕ，ｙｕ）までの距離である。画像中心は、前述の内部パラメータｕ０，ｖ０で定まる。以上のモデルを仮定して、すなわちカメラキャリブレーション部１０３は、接合部撮影基準カメラ１０２および部分カメラ１０１ａ〜１０１ｍの各々について、該当するカメラがチェッカーパターンを様々な姿勢で撮影した複数の撮影映像を用いて（１９）〜（２１）式を解き、係数ｋ１〜ｋ５を算出する。これにより、歪の有無による結像座標の差が求まり、実物レンズに起因する歪みを補正することが可能となる。

〔映像接合位置検出の説明〕
図６は、本実施形態における映像接合位置検出部１０６による映像接合位置の検出処理を説明するフローチャートである。映像接合位置検出部１０６は、接合部撮影基準カメラ１０２の補正済み映像（後述する図７のステップＳ１００２で補正した映像）に含まれる部分カメラ１０１ａ〜１０１ｍの補正済み映像（後述する図７のステップＳ１００２で補正した映像）と一致する領域の検出を行う（ステップＳ２１０１）。一致する領域の検出は、接合部撮影基準カメラ１０２の補正済み映像全体から、例えば画像の上部から横方向に順番にスキャンし、部分カメラ１０１ａ〜１０１ｍの補正済み映像についても映像全体から、同様にスキャンを行って、双方が一致する領域を検出する。なお、ここでは、部分カメラ１０１ａ〜１０１ｍおよび接合部撮影基準カメラ１０２の補正済み映像の全体をスキャンするとして説明したが、各カメラの配置が固定されている場合は、一致する可能性がある領域は、各カメラの補正済み映像中の限定された領域となるので、その限定された領域のみをスキャンするように、予め設定しておいてもよい。

接合部撮影基準カメラ１０２の補正済み映像および部分カメラ１０１ａ〜１０１ｍの補正済み映像をスキャンする方向は、双方が同じ方向であれば、どのような向きでスキャンしてもよい。さらに、接合部撮影基準カメラ１０２の補正済み映像のスキャンでは、必ず映像全体からスキャンする必要はなく、例えば、接合部撮影基準カメラ１０２の補正済み映像に、既に検出済みの部分カメラ１０１ａ〜１０１ｍの補正済み映像と一致している領域がある場合は、その領域をスキャンしなくてもよい。

上述のスキャンによる、接合部撮影基準カメラ１０２の補正済み映像と部分カメラ１０１ａ〜１０１ｎの補正済み映像上の一致する領域の検出方法には、例えば、公知のパターンマッチング手法を利用し、２つの画像の相関値（例えば、画素の輝度値や色成分の差の絶対値の領域内の合計など）が一番近いことを表す領域、または予め設定された基準値より小さい（近い）領域を検出する。例えば、接合部撮影基準カメラ１０２と部分カメラ１０１ａとについて、一致する領域の検出する場合、接合部撮影基準カメラ１０２を、予め決めた大きさの領域に分割したうちの一つと、部分カメラ１０１ａの補正済み映像から切出した同じ大きさの領域との相関値を算出する。これを、接合部撮影基準カメラ１０２を分割した全ての領域各々について、部分カメラ１０１ａから切出し可能な全てのパターンについて行い、予め設定された基準値より小さい組み合わせを、一致する領域として検出する。

さらに具体的な例を説明すると、予め決めた大きさの領域を縦１６画素、横１６画素の矩形の領域とし、接合部撮影基準カメラ１０２の補正済み映像の左上端の縦１６画素、横１６画素の矩形の領域に対して、部分カメラ１０１ａの全ての画素について、例えば、左上端から右方向に順に選択し、上端の全ての画素を選択したときは、上端から２番目の画素を左端から右方向に順に選択して、選択した画素を中心とする縦１６画素、横１６画素の矩形の領域との相関値を算出し、一致する領域の検出処理を行う。

映像接合位置検出部１０６は、一致する領域を検出した接合部撮影基準カメラ１０２の補正済み映像と、部分カメラ１０１ａ〜１０１ｍの各々の補正済み映像の画像のｘ方向およびｙ方向のずれ量（相対位置）を算出し、これを各部分カメラ１０１ａ〜１０１ｍの撮影映像の接合位置情報とする（ステップＳ２１０２）。映像接合位置検出部１０６は、接合部撮影基準カメラ１０２の補正済み映像中の一致する領域の座標値から部分カメラ１０１ａの補正済み映像中の一致する領域の座標値を引き、その結果を接合位置情報とするので、例えば、接合部撮影基準カメラ１０２の補正済み映像の中心の領域と、部分カメラ１０１ａの補正済み映像の左下端の領域とを一致する領域として検出したときは、中心から左下端を引いた結果である右上端に相当する座標値を接合位置情報とする。映像接合位置検出部１０６は、算出した各映像の接合位置情報を映像接合位置保持部１０７に記憶させる（ステップＳ２１０３）。以上の方法により、接合部撮影基準カメラ１０２の補正済み映像と、それに対する部分カメラ撮影映像１０１ａ〜１０１ｍの接合位置情報をそれぞれ求める。

また、動いている被写体の動画を撮影する場合は、映像接合位置検出部１０６は、撮影フレーム毎（または、撮影する毎）に接合位置情報の検出を行い、映像接合位置保持部１０７に記憶させる。映像接合部１０８は、フレーム毎（または、撮影する毎）に更新された接合位置情報を用いて、部分カメラ１０１ａ〜１０１ｍの歪みを補正した補正済み映像をそれぞれ接合する。

なお、静止している被写体を撮影する場合は、映像接合位置検出部１０６は、最初に一度接合位置情報を算出して、映像接合位置保持部１０７に記憶させれば、それ以降、映像接合位置保持部１０７が記憶する接合位置情報を更新しなくてもよい。ただし、被写体が動くか、または撮影領域を変更する場合は、映像接合位置検出部１０６が、接合位置情報を再度算出する必要がある。

〔映像接合処理の説明〕
図７は、撮影映像歪補正部１０５による歪補正処理と映像接合部１０８による映像接合処理を説明するフローチャートである。撮影映像歪補正部１０５は、事前に求めてカメラパラメータ保持部１０４に記憶しておいた各部分カメラ１０１ａ〜１０１ｍおよび接合部撮影基準カメラ１０２のカメラパラメータを、カメラパラメータ保持部１０４から読み込む（ステップＳ１００１）。

次に、撮影映像歪補正部１０５が、各部分カメラ１０１ａ〜１０１ｍおよび接合部撮影基準カメラ１０２の撮影映像の歪みをステップＳ１００１で読み込んだカメラパラメータを用いて前述した処理により補正する（ステップＳ１００２）。具体的には、撮影映像歪補正部１０５は、はじめに、カメラ毎にレンズ歪みの補正を行う。次に、接合部撮影基準カメラ１０２のカメラの向きに合わせ、各部分カメラ１０１ａ〜１０１ｍの向きを補正する。各カメラの向きが前述の図２ステップＳ１６０４にて各部分カメラ１０１ａ〜１０１ｍの向きから接合部撮影基準カメラ１０２の向きへの回転を表す外部パラメータ（カメラ間の外部パラメータ）として求まっているため、向きの補正は、各部分カメラの撮影映像をカメラ間の外部パラメータを用いて射影変換することにより行う。これにより、接合部撮影基準カメラ１０２の向きに合わせて各部分カメラの撮影映像を補正することができる。

そして、映像接合部１０８は、ステップＳ１００２にて補正した撮影映像である補正済み映像に基づいて映像接合位置検出部１０６が算出した各部分カメラ１０１ａ〜１０１ｍの撮影映像の接合位置情報を、接合位置情報保持部１０７から読み込む（ステップＳ１００３）。読み込んだ接合位置情報と、ステップＳ１００２にて歪みの補正を行った各部分カメラ１０１ａ〜１０１ｍの補正済み映像から、隣り合う部分カメラ１０１ａ〜１０１ｍの撮影映像の張り合わせ（合成）を行う（ステップＳ１００４）。

例えば、部分カメラ１０１ａの接合位置情報が表す相対座標（Ｘ軸は右向き、Ｙ軸は上向き）が、「１００、１００」であり、部分カメラ１０１ｂの接合位置情報が表す相対座標が「−１０２、１００」、部分カメラ１０１ｃの接合位置情報が表す相対座標が「１０１、−９９」、部分カメラ１０１ｄの接合位置情報が表す相対座標が「−１０２、−１０１」のときは、各部分カメラの補正済み映像を、その中心が、対応する相対座標に来るように配置した状態で接合して、高精細の映像を生成する。

ステップＳ１００４を具体的に説明すると、ステップＳ１００３で読み込んだ各部分カメラ１０１ａ〜１０１ｍの接合位置情報は、各部分カメラ１０１ａ〜１０１ｍの補正済み映像が、基準にした接合部撮影基準カメラ１０２の補正済み映像からｘ方向およびｙ方向にどれだけシフトしているかを示している。したがって、映像接合部１０８は、各部分カメラ１０１ａ〜１０１ｍの補正済み映像を接合位置情報の分だけシフトさせた後に、互いに接合する。

この際、映像接合部１０８は、各隣り合う部分カメラ１０１ａ〜１０１ｍの補正済み映像同士の接合部（重なった部分）に関しては、それぞれの部分カメラ１０１ａ〜１０１ｍの補正済み映像の画素の平均値を接合した映像の画素値とする。また、接合部は、それぞれ同じ映像であるため、どちらか片方の部分カメラ１０１ａ〜１０１ｍの補正済み映像を接合した映像の画素値としてもよい。さらに、接合部が接合部撮影基準カメラ１０２の補正済み映像の中にある場合は、接合部撮影基準カメラ１０２の補正済み映像の接合部に対応する領域を合成映像の画素値としてもよい。

本実施形態では部分カメラ１０１ａ〜１０１ｍおよび接合部撮影基準カメラ１０２に、撮影映像のサンプリングが同じカメラを用いるので、各カメラが撮影した映像について各画素のサンプリングが一致、すなわち被写体の同一領域が同じ画素数で撮影されており、映像接合位置検出部１０６や映像接合部１０８による各部分カメラ１０１ａ〜１０１ｍと接合部撮影基準カメラ１０２各々の補正済み映像の一致する領域の検出や映像接合において、画像のスケーリング処理を行う必要がなく、良好な処理速度や処理精度が得られるという効果がある。

また、被写体がほぼ静止しているときは、前述のように映像接合位置検出部１０６にて、各部分カメラ１０１ａ〜１０１ｍの補正済み映像の接合位置情報を事前に算出しておき、映像接合部１０８が各フレームの映像を接合する際にこれを用いるため、動いている被写体の動画を撮影する場合と比べ映像の接合処理を精度よく、高速に行うことが可能である。また、撮影する領域を部分カメラ１０１ａ〜１０１ｍで分割し、部分カメラ１０１ａ〜１０１ｍの補正済み映像を合成することにより、１つのカメラで撮影領域を撮影する場合と比べ、高精細に撮影できる。

また、接合部撮影基準カメラ１０２にて、各部分カメラ１０１ａ〜１０１ｍの撮影映像の一部を必ず撮影するため、各部分カメラ１０１ａ〜１０１ｍの撮影映像を接合するための一致する領域の検出の処理速度や処理精度が向上するとともに、各部分カメラ１０１ａ〜１０１ｍの中で互いに隣り合うカメラとの撮影範囲の重複部分を小さくできるという効果がある。

さらに、事前に各カメラの向きや位置といったカメラ固有のパラメータを、カメラキャリブレーションにより求めて、カメラパラメータ保持部１０４が保持するため、装置の組み立て時の個体差や経時変化によりカメラパラメータに誤差が生じた場合でも簡単に再調整ができるため、カメラの生産性の向上や安定的に高精細映像を生成できるという効果がある。さらに、部分カメラと接合部撮影基準カメラは、既に世の中に流通しているカメラを複数個組み合わせるだけでよく、特別なレンズユニットを用いずとも高精細な画像を生成できるという効果がある。

なお、本実施形態では部分カメラ１０１ａ〜１０１ｍおよび接合部撮影基準カメラ１０２には、各撮影映像のサンプリング（撮影映像の分解能）が一致していればよく、各部分カメラ１０１ａ〜１０１ｍの撮像素子（イメージャ）の画素数や、画素ピッチは異なっていてもよいし、全て同じ構成のカメラとしてもよい。

また、本実施形態において、撮像装置１０は、部分カメラ１０１ａ〜１０１ｍと接合部撮影基準カメラ１０２と映像合成部２０とを備える一体型の装置として説明したが、映像合成部２０は、部分カメラ１０１ａ〜１０１ｍおよび接合部撮影基準カメラ１０２とは異なる独立した筺体の装置であり、部分カメラ１０１ａ〜１０１ｍおよび接合部撮影基準カメラ１０２とは、通信線などで接続されており、該通信線を介して各カメラの撮影映像を取得するようにしてもよい。

図８は、本実施形態における撮像装置１０の外観例を示す図である。この例では、部分カメラを縦横に２台ずつ、すなわち部分カメラ１０１ａ〜１０１ｄの合計４台配置されている。そして、接合部撮影基準カメラ１０２が４台の部分カメラ１０１ａ〜１０１ｄの中央に１台配置され、合計５台のカメラの光軸が平行になるように配置されている。そして、これら部分カメラ１０１ａ〜１０１ｄと接合部撮影基準カメラ１０２の計５台のカメラは、全て同じ構成のカメラである。

各カメラの撮影領域は以下となる。図９は、左上の部分カメラ１０１ａの撮影領域を示す図である。左上の部分カメラ１０１ａは、図９に示すように、撮影領域を上下左右に４分割したうちの右上部分の領域Ａ１を撮影する。そして、この領域Ａ１は、隣り合うカメラの撮影映像の撮影領域が重なり合うように、均等に分割した領域より大きい範囲となっている。

同様に、図１０は、右上の部分カメラ１０１ｂの撮影領域を示す図である。右上の部分カメラ１０１ｂは、撮影領域を上下左右に４分割したうちの左上部分の領域Ａ２を撮影する。図１１は、左下の部分カメラ１０１ｃの撮影領域を示す図である。左下の部分カメラ１０１ｃは、撮影領域を上下左右に４分割したうちの右下部分の領域Ａ３を撮影する。図１２は、右下の部分カメラ１０１ｄの撮影領域を示す図である。右下の部分カメラ１０１ｄは、撮影領域を上下左右に４分割したうちの左下部分の領域Ａ４を撮影する。そして、これらの領域Ａ２〜Ａ４は、隣り合うカメラの撮影映像の撮影領域が重なり合うように、均等に分割した領域より大きい範囲となっている。図１３は、接合部撮影基準カメラ１０２の撮影領域を示す図である。接合部撮影基準カメラ１０２は、全ての部分カメラ１０１ａ〜１０１ｄの撮影映像の一部の領域が含まれるように、撮像装置１０の撮影範囲の中央部分を撮影領域としている。

このように、接合部撮影基準カメラ１０２の撮影領域を撮像装置１０の撮影範囲全体の中央（中心）とすることにより、全ての部分カメラ１０１ａ〜１０１ｄの撮影領域の一部を含むことが可能であり、また各部分カメラ１０１ａ〜１０１ｄと同じサンプリング（分解能）で撮影することができる。このため、各部分カメラ１０１ａ〜１０１ｄと接合部撮影基準カメラ１０２との撮影映像の一致領域の検索が高速に、高精度に行うことができる。そのため、動画を撮影する場合に、フレームレートを向上させることができるという効果がある。

さらに、動いている対象物を撮影する場合は、視差の影響が撮影フレーム毎に発生するため、映像接合位置の検出をフレーム毎に行うことによって映像を接合する。本発明では、接合部撮影基準カメラ１０２と部分カメラ１０１ａ〜１０１ｄとが同じ構成、すなわち同じサンプリング（分解能）であるので、撮影映像のスケール変換などの処理が不要であり、各部分カメラ１０１ａ〜１０１ｄと接合部撮影基準カメラ１０２との撮影映像の一致領域の検索が高速に、高精度に行うことができるため、動いている対象物を動画で撮影することが可能となるという効果がある。

〔第２の実施形態〕
以下、図面を参照して、本発明の第２の実施形態について説明する。図１４は、本実施形態における撮像装置１１の構成を示す概略ブロック図である。同図において、図１の各部に対応する部分には同一の符号（１０１ａ〜１０１ｍ、１０３〜１０５）を付け、その説明を省略する。本実施形態の撮像装置１１は、複数の部分カメラ１０１ａ〜１０１ｍ、複数の接合部撮影基準カメラ１０２ａ〜１０２ｎ、映像合成部２１を備える。映像合成部２１（映像合成装置とも称する）は、カメラキャリブレーション部１０３、カメラパラメータ保持部１０４、撮影映像歪補正部１０５、映像接合位置検出部２０６、映像接合位置保持部１０７、映像接合部１０８を備える。接合部撮影基準カメラ１０２ａ〜１０２ｎは、図１における接合部撮影基準カメラ１０２と同じ構成のカメラである。すなわち、部分カメラ１０１ａ〜１０１ｍと、接合部撮影基準カメラ１０２ａ〜１０２ｎとは、撮影映像のサンプリングが同じである。

映像接合位置検出部２０６（相対位置検出部）は、部分カメラ１０１ａ〜１０１ｍのうち、予め決められた１つまたはそれ以上の部分カメラである部分カメラ１０１ａ〜１０１ｆ（第１の部分カメラ）の補正済み映像について、接合部撮影基準カメラ１０２ａ（第１の基準カメラ）の補正済み映像と一致する領域を検出し、該一致する領域に基づき、接合部撮影基準カメラ１０２ａの補正済み映像に対する部分カメラ１０１ａ〜１０１ｆ各々の補正済み映像の相対位置を算出する。さらに、映像接合位置検出部２０６は、先に算出した相対位置に基づき映像接合部１０８により接合された部分カメラ１０１ａ〜１０１ｆの補正済み映像と、部分カメラ１０１ａ〜１０１ｆを含まない部分カメラの補正済み映像とについて、接合部撮影基準カメラ１０２ｂ（第２の基準カメラ）の補正済み映像と一致する領域を検出し、該一致する領域に基づき、接合された部分カメラ１０１ａ〜１０１ｆの補正済み映像と、部分カメラ１０１ａ〜１０１ｆを含まない部分カメラの補正済み映像との接合部撮影基準カメラ１０２ｂの補正済み映像に対する相対位置を算出する。なお、映像接合位置検出部２０６の詳細については後述する。

図１５は、本実施形態における撮像装置１１の外観例を示す図である。この例では、９つの部分カメラ１０１ａ〜１０１ｉと２つの接合部撮影基準カメラ１０２ａ、１０２ｂを備える１１眼の複数カメラである。図１５に示すように、複数カメラ（１１眼）には、部分カメラ１０１ａ〜１０１ｉが縦横に３台ずつ、合計９台配置されている。さらに、接合部撮影基準カメラ１０２ａ、１０２ｂは、部分カメラ各列間のそれぞれ中央位置の、上下方向の中央位置にそれぞれ１台ずつ計２台配置され、合計１１台のカメラが配置されている。

図１６は、本実施形態における撮像装置１１の撮影範囲を示す図である。太線枠で囲んだ領域Ａ３０は、本実施形態の撮像装置１１で撮影する全体の撮影範囲である。４つの線ａは、この全体の撮影範囲Ａ３０を、横方向および縦方向に３等分する線、すなわち全体の撮影範囲Ａ３０を９分割する境界線である。各部分カメラ１０１ａ〜１０１ｉの撮影範囲は、図１６の領域Ａ３１〜Ａ３９にそれぞれ対応し、接合部撮影基準カメラ１０２ａ、１０２ｂの撮影範囲は、図１６の領域Ａ４０、Ａ４１にそれぞれ対応している。なお、各部分カメラ１０１ａ〜１０１ｉの撮影領域である領域Ａ３１〜３９が、互いに重複することは図１６において省略している。

すなわち、左列上段の部分カメラ１０１ａは右列上段の領域Ａ３７を撮影範囲とし、左列中段の部分カメラ１０１ｂは右列中段の領域Ａ３８を撮影範囲とし、左列下段の部分カメラ１０１ｃは右列下段の領域Ａ３９を撮影範囲とする。また、中列上段の部分カメラ１０１ｄは中列上段の領域３４を撮影範囲とし、中列中段の部分カメラ１０１ｅは中列中段の領域Ａ３５を撮影範囲とし、中列下段の部分カメラ１０１ｆは中列下段の領域Ａ３６を撮影範囲とする。また、右列上段の部分カメラ１０１ｇは左列上段の領域Ａ３１を撮影範囲とし、右列中段の部分カメラ１０１ｈは左列中段の領域Ａ３２を撮影範囲とし、右列下段の部分カメラ１０１ｉは左列下段の領域Ａ３３を撮影範囲とする。そして左列中段の部分カメラ１０１ｂと中列中段の部分カメラ１０１ｅとの間に、接合部撮影部分カメラ１０２ａが配置され、その撮影範囲は領域Ａ３４〜Ａ３９の各々と一部の領域が重複している領域Ａ４１である。また、中列中段の部分カメラ１０１ｅと右列中段の部分カメラ１０１ｈとの間に、接合部撮影部分カメラ１０２ｂが配置され、その撮影範囲は領域Ａ３１〜Ａ３６の各々と一部の領域が重複している領域Ａ４０である。

次に、本実施形態における撮像装置１１の動作について説明する。最初に、カメラキャリブレーション部１０３が、部分カメラ１０１ａ〜１０１ｉおよび接合部撮影基準カメラ１０２ａ、１０２ｂの各々についてカメラキャリブレーション処理を行い、事前に１１台のカメラの各カメラパラメータを算出する。算出したカメラパラメータは、カメラパラメータ保持部１０４に記憶される。これらの処理は、例えば工場生産時など、被写体を撮像する前に予め行っておく。

図１７は、本実施形態における撮像装置１１の撮像時の動作を説明するフローチャートである。まず、各部分カメラ１０１ａ〜１０１ｉおよび各接合範囲基準カメラ１０２ａ、１０２ｂは、被写体をそれぞれ撮像する（Ｓ１７０１）。前述のように、各部分カメラ１０１ａ〜１０１ｉが実際に撮影する範囲は、隣り合うカメラの撮影映像の撮影領域が重なり合うように、撮像装置１１の撮影範囲を分割した領域より少し大きい範囲である。

接合部撮影基準カメラ１０２ｂの撮影範囲Ａ４０は、部分カメラ１０１ｄ〜１０１ｉの撮影範囲Ａ３１〜Ａ３６の各接合範囲の一部が必ず含まれるように、撮影範囲Ａ３１〜Ａ３６の中央位置を中心としている。また、接合部撮影基準カメラ１０２ａの撮影範囲Ａ４１は、部分カメラ１０１ａ〜１０１ｆの撮影範囲Ａ３４〜Ａ３９の各接合範囲の一部が必ず含まれるように、撮影範囲Ａ３４〜Ａ３９の中央位置を中心としている。

次に、部分カメラ１０１ａ〜１０１ｉおよび接合部撮影基準カメラ１０２ａ、１０２ｂの撮影映像を、撮影映像歪補正部１０５が、カメラパラメータ保持部１０４が保持する各カメラのカメラパラメータを用いて補正する撮影映像歪補正処理を行う（Ｓ１７０２）。次に映像接合位置検出部２０６が、部分カメラ１０１ａ〜１０１ｉのうち、予め決められた１つまたはそれ以上の部分カメラである部分カメラ１０１ａ〜１０１ｆの補正済み映像について、接合部撮影基準カメラ１０２ａの補正済み映像と一致する領域を検出し、該一致する領域に基づき、接合部撮影基準カメラ１０２ａの補正済み映像に対する部分カメラ１０１ａ〜１０１ｆ各々の補正済み映像の相対位置を算出し、接合位置情報として映像接合位置保持部１０７に記憶させる（Ｓ１７０３）。

次に、映像接合部１０８が、映像接合位置保持部１０７が記憶している接合位置情報、すなわち部分カメラ１０１ａ〜１０１ｆ各々の補正済み映像の相対位置を読み出し、該相対位置に従い、部分カメラ１０１ａ〜１０１ｆの補正済み映像を接合して、１つの高精細な映像を生成する接合処理を行う（Ｓ１７０４）。
次に、映像接合位置検出部２０６は、ステップＳ１７０４にて接合された部分カメラ１０１ａ〜１０１ｆの補正済み映像と、部分カメラ１０１ａ〜１０１ｆを含まない部分カメラ、すなわち部分カメラ１０１ｇ〜１０１ｉの補正済み映像とについて、接合部撮影基準カメラ１０２ｂの補正済み映像と一致する領域を検出し、該一致する領域に基づき、接合された部分カメラ１０１ａ〜１０１ｆの補正済み映像と、部分カメラ１０１ｇ〜１０１ｉの補正済み映像との接合部撮影基準カメラ１０２ｂの補正済み映像に対する相対位置を算出し、接合位置情報として映像接合位置保持部１０７に記憶させる（Ｓ１７０５）。

次に、映像接合部１０８が、ステップＳ１７０５で映像接合位置保持部１０７に記憶させた接合位置情報、すなわち接合された部分カメラ１０１ａ〜１０１ｆの補正済み映像と、部分カメラ１０１ｇ〜１０１ｉの補正済み映像の相対位置を読み出し、該相対位置に従い、接合された部分カメラ１０１ａ〜１０１ｆの補正済み映像と部分カメラ１０１ｇ〜１０１ｉの補正済み映像とを接合して、１つの高精細な映像を生成する接合処理を行う（Ｓ１７０６）。次に、映像接合部１０８は、撮像を終了するか否かを判定し、終了するときは、当該処理を終了し（Ｓ１７０６−Ｙｅｓ）、撮像を続けるときは、ステップＳ１７０１に戻って、処理を繰り返す。

このように、本実施形態においても部分カメラ１０１ａ〜１０１ｉおよび接合部撮影基準カメラ１０２ａ、１０２ｂに、撮影映像のサンプリングが同じカメラを用いるので、各カメラが撮影した映像について各画素のサンプリングが一致しており、映像接合位置検出部２０６や映像接合部１０８による各部分カメラ１０１ａ〜１０１ｍの補正済み映像あるいは接合された補正済み映像と、接合部撮影基準カメラ１０２ａ、１０２ｂの補正済み映像との一致する領域の検出や映像接合において、画像のスケーリング処理を行う必要がなく、良好な処理速度や処理精度が得られる。さらに、動画を撮影する場合には、フレームレートを向上させることができる。
さらに、複数の接合部撮影基準カメラを備えるので、接合部撮影基準カメラとして部分カメラと同様の構成のカメラを用いたとしても、第１の実施形態に比べて、部分カメラの数を多くし、より高精細な映像を撮影することができる。

なお、本実施形態において、接合部撮影基準カメラを２台備えるとして説明したが、これに限らず、２台を超える台数であってもよい。
また、本実施形態では接合部撮影基準カメラ１０２ａ、１０２ｂはすべて部分カメラ１０１ａ〜１０１ｉと同じカメラを用いたが、撮影した映像の各画素のサンプリング（撮影映像の分解能）が一致していればよく、各接合部撮影基準カメラの撮像素子（イメージャ）の画素数や、画素ピッチは異なっていてもよい。

また、図１における映像合成部２０、および図１４における映像合成部２１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより管理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の第１の実施形態における撮像装置１０の構成を示す概略ブロック図である。同実施形態におけるカメラキャリブレーション部１０３によるカメラキャリブレーション処理を説明するフローチャートである。同実施形態におけるカメラキャリブレーション部１０３による各カメラのカメラキャリブレーションの原理について説明する図である。同実施形態における各撮影映像で同じ領域が写っている領域を、サブ画素の精度で対応づける方法について説明する図である。同実施形態における各撮影映像で同じ領域が写っている領域を、サブ画素の精度で対応づける方法について説明する別の図である。同実施形態における映像接合位置検出部１０６による映像接合位置の検出処理を説明するフローチャートである。同撮影映像歪補正部１０５による歪補正処理と映像接合部１０８による映像接合処理を説明するフローチャートである。同実施形態における撮像装置１０の外観例を示す図である。同実施形態における左上の部分カメラ１０１ａの撮影領域を示す図である。同実施形態における右上の部分カメラ１０１ｂの撮影領域を示す図である。同実施形態における左下の部分カメラ１０１ｃの撮影領域を示す図である。同実施形態における右下の部分カメラ１０１ｄの撮影領域を示す図である。同実施形態における接合部撮影基準カメラ１０２の撮影領域を示す図である。この発明の第２の実施形態における撮像装置１１の構成を示す概略ブロック図である。同実施形態における撮像装置１１の外観例を示す図である。同実施形態における撮像装置１１の撮影範囲を示す図である。同実施形態における撮像装置１１の撮像時の動作を説明するフローチャートである。従来の撮像レンズ装置の構成を示す図である。

符号の説明

１０、１１…撮像装置
２０、２１…映像合成部
１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ、１０１ｅ、１０１ｆ、１０１ｇ、１０１ｈ、１０１ｉ、１０１ｍ…部分カメラ
１０２、１０２ａ、１０２ｂ、１０２ｎ…接合部撮影基準カメラ
１０３…カメラキャリブレーション部
１０４…カメラパラメータ保持部
１０５…撮影映像歪補正部
１０６、２０６…映像接合位置検出部
１０７…映像接合位置保持部
１０８…映像接合部

Claims

被写体の撮影範囲を分割した一部領域を撮影する部分カメラであって、各々の撮影範囲が、互いに一部重複する複数の部分カメラと、
前記部分カメラと撮影映像のサンプリングが同一であり、撮影範囲に前記部分カメラの撮影映像の一部を含む基準カメラと、
カメラキャリブレーションによる各前記カメラのカメラパラメータを記憶するカメラパラメータ保持部と、
各前記カメラの撮影映像の歪みを、当該カメラの前記カメラパラメータを用いて補正し、補正済み映像を生成する歪み補正部と、
前記部分カメラ各々の補正済み映像について、前記基準カメラの補正済み映像と一致する領域を検出し、該一致する領域に基づき、前記基準カメラの補正済み映像に対する前記部分カメラ各々の補正済み映像の相対位置を算出する相対位置検出部と、
前記相対位置に基づき、前記部分カメラの補正済み映像を互いに接合する映像接合部と
を備えることを特徴とする撮像装置。
前記基準カメラを１つのみ備え、
前記基準カメラの撮影範囲は、全ての前記部分カメラの撮影映像の一部領域を含むことを特徴とする請求項１に記載の撮像装置。
前記基準カメラの撮影範囲は、全ての前記部分カメラの撮影範囲の中心に位置することを特徴とする請求項２に記載の撮像装置。
前記基準カメラを少なくとも２つ備え、
前記相対位置検出部は、
前記部分カメラのうち、予め決められた１つまたはそれ以上の第１の前記部分カメラの補正済み映像について、第１の前記基準カメラの補正済み映像と一致する領域を検出し、該一致する領域に基づき、前記第１の基準カメラの補正済み映像に対する前記第１の部分カメラ各々の補正済み映像の相対位置を算出する第１相対位置算出部と、
前記第１相対位置算出部が算出した相対位置に基づき接合された前記第１の部分カメラの補正済み映像と、前記第１の部分カメラを含まない部分カメラの補正済み映像とについて、第２の前記基準カメラの補正済み映像と一致する領域を検出し、該一致する領域に基づき、前記接合された第１の部分カメラの補正済み映像と、前記第１の部分カメラを含まない部分カメラの補正済み映像との前記第２の基準カメラの補正済み映像に対する相対位置を算出する第２相対位置算出部と
を備えることを特徴とする請求項１に記載の撮像装置。
被写体の撮影範囲を一部に分割して撮影する部分カメラであって、各々の撮影範囲が、互いに重複する部分である接合範囲を含む複数の部分カメラと、
前記部分カメラと撮影映像のサンプリングが同一であり、撮影範囲に前記部分カメラの撮影映像の各接合範囲を含む１つまたはそれ以上の基準カメラと、
接続される映像合成装置であって、
カメラキャリブレーションによる各前記カメラのカメラパラメータを記憶するカメラパラメータ保持部と、
各前記カメラの撮影映像の歪みを、当該カメラの前記カメラパラメータによって補正し、補正済み映像を生成する歪み補正部と、
前記部分カメラ各々の補正済み映像について、前記基準カメラの補正済み映像と一致する領域を検出し、該一致する領域に基づき、前記基準カメラの補正済み映像に対する前記部分カメラ各々の補正済み映像の相対位置を算出する相対位置検出部と、
前記相対位置に基づき、前記部分カメラの補正済み映像を互いに接合する映像接合部と
を備えることを特徴とする映像合成装置。
被写体の撮影範囲を一部に分割して撮影する部分カメラであって、各々の撮影範囲が、互いに重複する部分である接合範囲を含む複数の部分カメラと、
前記部分カメラと撮影映像のサンプリングが同一であり、撮影範囲に前記部分カメラの撮影映像の各接合範囲を含む１つまたはそれ以上の基準カメラと、
接続され、
カメラキャリブレーションによる各前記カメラのカメラパラメータを記憶するカメラパラメータ保持部
を備える映像合成装置における映像合成方法であって、
前記映像合成装置が、各前記カメラの撮影映像の歪みを、当該カメラの前記カメラパラメータによって補正し、補正済み映像を生成する第１の過程と、
前記映像合成装置が、前記部分カメラ各々の補正済み映像について、前記基準カメラの補正済み映像と一致する領域を検出し、該一致する領域に基づき、前記基準カメラの補正済み映像に対する前記部分カメラ各々の補正済み映像の相対位置を算出する第２の過程と、
前記映像合成装置が、前記相対位置に基づき、前記部分カメラの補正済み映像を互いに接合する第３の過程と
を有することを特徴とする映像合成方法。