JP2019204138A - 画像処理装置、撮像装置、カメラシステム、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】複数の射影方式で撮像可能な撮像手段から取得した複数の入力画像を最適な方法で合成可能な画像処理装置、撮像装置、カメラシステム、画像処理方法および画像処理プログラムを提供すること。【解決手段】画像処理装置は、複数の射影方式で撮像可能な撮像手段から取得された第１の入力画像および第２の入力画像を合成することで出力画像を生成する画像生成部を有する画像処理装置であって、画像生成部は、撮像手段の射影方式に関する情報に基づいて、第１および第２の入力画像を合成する方法を選択することを特徴とする。【選択図】図１

Description

本発明は、画像処理装置、撮像装置、カメラシステム、画像処理方法および画像処理プログラムに関する。

従来、バーチャルリアリティ等で臨場感のある映像体験を提供するために、全方位の被写体像を取得可能な装置が提案されている。近年、高解像度化等の理由から、複数のカメラを配置して複数の画像を取得し、複数の画像を繋ぎ合わせることで１つの画像を生成する方法が提案されている。特許文献１には、テンプレートマッチング処理を使用して、２つのカメラから得られる画像の繋ぎ合わせを行う方法が開示されている。

また、特許文献２には、画面領域の高解像度域と低解像度域を任意に変更するために、射影方式を変化させることの可能な結像光学系が開示されている。

特開２０１５−１７７５１０公報 特開２００８−１９７５４１公報

特許文献２に開示された結像光学系を複数用いることで、用途ごとに射影方式を変化させた上で、広角な画像を生成することができる。しかしながら、特許文献１に開示された方法を用いて複数の画像を繋ぎ合わせる場合、常に演算処理が必要となるため、時間がかかってしまう。また、元々テンプレートマッチングとして持ち合わせていない情報に関しては、高精度に処理を行うことができない。また、特許文献２では、画像の繋ぎ合わせに関しては言及していない。

本発明は、複数の射影方式で撮像可能な撮像手段から取得した複数の入力画像を最適な方法で合成可能な画像処理装置、撮像装置、カメラシステム、画像処理方法および画像処理プログラムを提供することを目的とする。

本発明の一側面としての画像処理装置は、複数の射影方式で撮像可能な撮像手段から取得された第１の入力画像および第２の入力画像を合成することで出力画像を生成する画像生成部を有する画像処理装置であって、画像生成部は、撮像手段の射影方式に関する情報に基づいて、第１および第２の入力画像を合成する方法を選択することを特徴とする。

本発明の他の側面としての画像処理方法は、複数の射影方式で撮像可能な撮像手段から取得された第１の入力画像および第２の入力画像を取得するステップと、撮像手段の射影方式に関する情報に基づいて、第１および第２の入力画像を合成する方法を選択するステップと、選択した方法を用いて第１および第２の入力画像を合成することで出力画像を生成するステップと、を有することを特徴とする。

本発明の他の側面としての画像処理プログラムは、コンピュータに、複数の射影方式で撮像可能な撮像手段から取得された第１の入力画像および第２の入力画像を取得するステップと、撮像手段の射影方式に関する情報に基づいて、第１および第２の入力画像を合成する方法を選択するステップと、選択した方法を用いて第１および第２の入力画像を合成することで出力画像を生成するステップと、を実行させることを特徴とする。

本発明によれば、複数の射影方式で撮像可能な撮像手段から取得した複数の入力画像を最適な方法で合成可能な画像処理装置、撮像装置、カメラシステム、画像処理方法および画像処理プログラムを提供することができる。

実施例１のカメラシステムの構成を示すブロック図である。 実施例１のカメラシステムの構成を説明する図である。 実施例１の複数の入力画像の合成方法を説明する図である。 実施例１のカメラシステムの別の構成を説明する図である。 実施例１の画像処理を示すフローチャートである。 実施例２のカメラシステムの構成を示すブロック図である。 実施例２の複数の入力画像の合成方法を説明する図である。 実施例２の画像処理を示すフローチャートである。 実施例３である撮像装置の構成を示すブロック図である。 実施例３の複数の入力画像の合成方法を説明する図である。 実施例３の処理を示すフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は、本実施例のカメラシステム１０１の構成を示すブラック図である。カメラシステム１０１は、１つの装置として構成されていてもよいが、本実施例では、後述するように複数のカメラ（撮像装置）および画像処理装置から構成されている。

カメラシステム１０１は、第１射影変換光学系（第１光学系）１０２および第２射影変換光学系（第２光学系）１０３を有する。ここで、射影変換光学系とは、レンズ間隔を変えたり、追加のレンズをアタッチメントとして挿入したりすることで、射影方式を変化させられる光学系である。すなわち、射影変換光学系は、複数の射影方式の間で射影方式を変換可能な光学系である。第１射影変換光学系１０２および第２射影変換光学系１０３は、例えば、中心射影（ｙ＝ｆ×ｔａｎθ）から等立体角射影（ｙ＝２×ｆ×ｓｉｎ（θ／２））に変換可能である。このような光学系を使用することで、画像の位置ごとに像倍率（像高／物高）を相対的に変更することができる。そのため、画像の任意の位置（所望の像高）を高解像にすることができる。光学系による射影方式の変換と画像処理による射影方式の変換を組み合わせてもよいが、光学系のみで射影方式を変換できることが望ましい。射影方式に応じて画像の所望の像高の解像度を向上させられるためである。

なお、本実施例のカメラシステム１０１では、２つの射影変換光学系が設けられているが、射影変換光学系の数は３つ以上であってもよい。ただし、カメラシステム１０１において、射影変換光学系を２つだけとすることで、装置が簡易化され、画像処理も軽くなる。

第１撮像素子１０４および第２撮像素子１０５は、ＣＭＯＳセンサやＣＣＤセンサ等の光電変換素子により構成され、複数の画素（撮像画素）を含む。第１射影変換光学系１０２は、第１撮像素子１０４の撮像面に光学像（被写体像）を結像する。第１撮像素子１０４は、被写体像を電気的に変換することで第１の入力画像を生成し、第１Ａ／Ｄコンバータ１０６に出力する。第１射影変換光学系１０２および第１撮像素子１０４により複数の射影方式で撮像可能な第１撮像手段１２０が構成される。第１Ａ／Ｄコンバータ１０６は、第１撮像素子１０４から出力されたアナログ電気信号をデジタル信号に変換する。第２射影変換光学系１０３は、第２撮像素子１０５の撮像面に光学像（被写体像）を結像する。第２撮像素子１０５は、被写体像を電気的に変換することで第２の入力画像を生成する。第２射影変換光学系１０３および第２撮像素子１０５により複数の射影方式で撮像可能な第２撮像手段１２１が構成される。第２Ａ／Ｄコンバータ１０７は、第２撮像素子１０５から出力されたアナログ電気信号をデジタル信号に変換する。

光学系制御部１０８は、第１射影変換光学系１０２や第２射影変換光学系１０３の焦点距離や絞り値を変更したり、焦点調整をしたり、射影方式の変換のための制御を行ったりする。

記憶部１１０は、撮像手段の射影方式に関する情報等の各種情報を画像処理部１１１に送る。なお、画像処理部１１１は、各種情報を、記憶部１１０からではなく、外部から取得してもよい。

画像処理部１１１は、画像生成部１１２および特徴点抽出部１１３を有し、第１Ａ／Ｄコンバータ１０６および第２Ａ／Ｄコンバータ１０７からデジタル信号を取得し、複数の入力画像（本実施例では、第１の入力画像および第２の入力画像）を合成する。ここで、複数の入力画像を合成するとは、複数の入力画像の重なる領域を繋ぎ合わせ、１つの出力画像を生成することをいう。ここで、複数の入力画像の「重なる領域」とは、複数の入力画像のそれぞれに共通する被写体領域が写っている領域（本実施例においては第１撮像手段１２０の画角と第２撮像手段１２１の画角が重なっている領域）である。また、画像処理部１１１は、必要に応じて、輝度値の調整やホワイトバランスの調整等の合成処理以外の処理を行ってもよい。

画像生成部１１２は、高精度に複数の入力画像を合成する第１の方法と、高速に複数の入力画像を合成する第２の方法を含む複数の画像処理方法（画像合成方法）のうちから１つの方法を選択し、選択した方法に基づいて出力画像を生成する。一般的に高精度な処理と高速な処理は競合関係にあるため、状況に応じて適切な方法を選択する必要がある。本実施例では、画像生成部１１２は、撮像手段の射影方式に関する情報に基づいて、適切な画像処理方法を選択する。画像生成部１１２は、第１の方法を選択した場合、画像情報または光学情報に基づいて複数の入力画像を合成することで、出力画像を生成する。画像生成部１１２は、第２の方法を選択した場合、単に複数の入力画像のそれぞれを所定の画角で切り抜いて合成することで、出力画像を生成する。第２の方法は、第１の方法に比べて高速であれば、本実施例の処理とは異なる処理で行われてもよい。本実施例では、画像生成部１１２は、２つの方法（第１の方法、第２の方法）のうち１つの方法を選択して複数の入力画像を合成するが、本発明はこれに限定されない。画像処理部１１１は、必要な処理精度や処理速度に応じて本実施例とは異なる方法を選択可能とするように構成されてもよい。

特徴点抽出部１１３は、複数の入力画像の重なる領域に位置する被写体ごとの特徴を画像上の特徴点として抽出する。例えば、複数の入力画像の重なる領域に位置する被写体が人であれば、目と鼻と口の位置が画像上の特徴点として抽出される。

システムコントローラー１０９は、適宜、カメラシステム１０１内の各部に指示を出し、カメラシステム１０１全体を制御している。

画像記録媒体１１４は、例えば、半導体メモリ等の記録媒体であり、画像処理部１１１で生成された出力画像を記録する。

表示部１１５は、画像記録媒体１１４に記録された出力画像を液晶ディスプレイ等で表示する。また、出力画像は、テレビやパソコンのモニタ等の表示機器２０１に表示されてもよいし、例えば、プリンタ等の出力機器２０２から出力されてもよい。出力画像は、画像記録媒体１１４を介して取得されるだけでなく、画像処理部１１１から直接取得されてもよい。

本実施例では、カメラシステム１０１は、図２に示されるように、複数のカメラを有するように構成されている。図２は、カメラシステム１０１の構成を説明する図である。カメラシステム１０１は、図２（ａ）に示される撮影画角を有するカメラＸと、図２（ｂ）に示される撮影画角を有するカメラＹと、を有する。カメラＸおよびカメラＹはそれぞれ、第１撮像手段１２０および第２撮像手段１２１を有し、複数の射影方式で撮像可能である。カメラシステム１０１の他の構成は、１つのカメラだけに設けられてもよいし、各カメラ内に設けられてもよい。画像処理部が各カメラ内に設けられている場合、１つのカメラに含まれる画像処理部が合成処理を実行するようにすればよい。本実施例では、画像処理部１１１は、カメラＸおよびカメラＹから、直接またはインターネットを介して、入力画像を取得し、入力画像を合成する不図示の画像処理装置として構成されている。なお、射影光学系は、カメラから着脱可能に構成されていてもよい。

本実施例では、カメラＸとカメラＹは、図２（ｃ）に示されるように配置されている。以下の説明では、カメラＸとカメラＹの周辺に、ほぼ同じサイズの被写体Ａと被写体Ｂが配置されているものとする。図２（ｄ）は、画面中心より周辺の像倍率が高くなる射影方式１でカメラＸにより撮影された画像であり、画面周辺の被写体Ｂのサイズが画面中心の被写体Ａのサイズに比べて大きくなっている。図２（ｅ）は、画面中心より周辺の像倍率が低くなる射影方式２でカメラＸにより撮影された画像であり、画面中心の被写体Ａのサイズが画面周辺の被写体Ｂのサイズに比べて大きくなっている。画面内の像倍率の高い領域では、結像する際の画素数が増加する。そのため、射影方式１では、画面周辺が高解像度域となる。一方、射影方式２では、画面中心が高解像度域となる。すなわち、射影方式を選択する、ということは、高解像度域と低解像度域を領域（像高）に応じて選択する、ということに他ならない。

本実施例では、前述したように、カメラＸとカメラＹを使用して、パノラマ画像や全方位画像等の広視野画像を取得することを想定している。その際、カメラＸで取得された第１の入力画像とカメラＹで取得された第２の入力画像を繋ぎ合わせる必要がある。言い換えると、第１の入力画像と第２の入力画像が重なる領域については合成処理（繋ぎ合わせ処理）を行う必要がある。以下、このような領域を繋ぎ合わせ領域とも称する。合成処理の方法は複数あるが、本実施例では、前述したように、高精度に複数の入力画像を合成する第１の方法、または高速に複数の入力画像を合成する第２の方法が使用される。本実施例では、画像生成部１１２は、繋ぎ合わせ領域に高解像度域が存在する場合、高精度に合成処理を行うために第１の方法を用いて第１および第２の入力画像を合成する。また、画像生成部１１２は、繋ぎ合わせ領域に高解像度域が存在しない場合、高速に合成処理を行うために第２の方法を用いて第１および第２の入力画像を合成する。すなわち、本実施例では、射影方式に応じて合成処理の方法を選択することで、最適な方法で複数の入力画像を合成することが可能となる。

図３は、本実施例の複数の入力画像の合成方法を説明する図である。図３（ａ）は、第１の入力画像と第２の入力画像を示している。図３（ａ）において、斜線で示される領域が各入力画像の繋ぎ合わせ領域を示している。図３（ｂ）は、第１の方法を用いて生成された出力画像を示している。本実施例では、画像生成部１１２により第１の方法が選択された場合、まず、特徴点抽出部１１３が各入力画像の繋ぎ合わせ領域における特徴点（例えば、目や口）を抽出する。次に、画像生成部１１２は、特徴点が一致するように第１および第２の入力画像の位置合わせを行った後、第１および第２の入力画像を合成することで出力画像を生成する。このような処理を行うことで、第１の方法では、高精度に繋ぎ合わせられた出力画像を生成することが可能である。

図３（ｃ）は、第２の方法を用いて生成された出力画像を示している。第２の方法では、合成処理の高速性を重視するため、各入力画像の繋ぎ合わせ領域における特徴点を抽出した高度な位置合わせを行わず、第１および第２の入力画像を単に所定の画角で切り抜いて合成する。一般的に光学系の入射瞳位置はずれていることから、第２の方法を用いた場合、図３（ｃ）に示されるように、第１および第２の入力画像はずれた状態で繋ぎ合わせられる。

なお、本実施例では、各カメラは、複数の射影方式を選択可能に構成されているが、本発明はこれに限定されない。例えば、１つのカメラは、１つの射影方式のみが設定可能に構成されていてもよい。この場合、本発明の効果を得るために、図４に示されるように、それぞれが１つの射影方式のみが設定可能である複数のカメラを配置すればよい。図４は、本実施例のカメラシステム１０１の別の構成を説明する図である。カメラＸＡとカメラＸＢは、射影変換光学系の画面中心が天頂側となるように配置されている。カメラＸＡとカメラＸＢはそれぞれ、射影方式１および射影方式２が設定可能である。また、カメラＹＡとカメラＹＢは、射影変換光学系の画面中心が地面側となるように配置されている。カメラＸＡとカメラＸＢはそれぞれ、射影方式１および射影方式２が設定可能である。このような構成では、選択された射影方式に応じて、カメラを選択すればよい。

本実施例では、図２（ａ）および図２（ｂ）に示されるように、各射影変換光学系の画角は１８０度以上である。そのため、カメラシステム１０１のみでパノラマ画像や全方位画像等の広視野画像を取得できるため、例えば、バーチャルリアリティ用の画像を容易に作り出すことが可能であり、取り逃しの防止に繋がる。

また、本実施例では、図２（ｃ）に示されるように、カメラＸとカメラＹは、各射影変換光学系の光軸が略平行となり、背面対向するように配置されている。なお、「平行」とは、厳密に平行である場合だけでなく、実質的に平行（略平行）である場合も含まれる。カメラＸとカメラＹを図７（ｃ）のように配置することで、全方位を一括で撮影することができるようになり、さらに臨場感のあるバーチャルリアリティ用の画像を生成可能であり、取り逃しの防止に繋がる。

また、本実施例では、カメラＸとカメラＹは、一方の射影変換光学系の画面中心が天頂側、他方の射影変換光学系の画面中心が地面側になるように配置されている。なお、「天頂側」とは、厳密に天頂側である場合だけでなく、実質的に天頂側（略天頂側）である場合も含まれる。また、「地面側」とは、厳密に地面側である場合だけでなく、実質的に地面側（略地面側）である場合も含まれる。本実施例では、カメラＸは、第１射影変換光学系１０２の画面中心が天頂側になるように配置され、カメラＹは、第２射影変換光学系１０３の画面中心が地面側になるように配置される。収差補正上の観点では、射影変換光学系は回転対称系であることが好ましい。回転対称系を想定した場合、例えば水平方向３６０度を高解像度域として捉えるには、略天頂側と略地面側が画面中心となるよう配置されなければならない。

また、本実施例では、第１射影変換光学系１０２と第２射影変換光学系１０３は以下の条件式（１）を満足する。

０．８＜（Δｃ１／Δｃ０）／（Δｄ１／Δｄ０）＜１．２ （１）
ここで、Δｃ０は第１射影変換光学系１０２の画面中心の像倍率、Δｃ１は繋ぎ合わせ領域における第１射影変換光学系１０２の像倍率の平均値である。また、Δｄ０は第２射影変換光学系１０３の画面中心の像倍率、Δｄ１は繋ぎ合わせ領域における第２射影変換光学系１０３の像倍率の平均値である。

条件式（１）を満足することで、各入力画像の繋ぎ合わせ領域の解像度を略同等にすることが可能となる。例えば、繋ぎ合わせ領域を高解像度にした場合、繋ぎ合わせ領域全域を高解像度化することができる。

また、第１射影変換光学系１０２および第２射影変換光学系１０３は、以下の条件式（２）を満足することが望ましい。

０．８５＜（Δｃ１／Δｃ０）／（Δｄ１／Δｄ０）＜１．１５ （２）
また、第１射影変換光学系１０２および第２射影変換光学系１０３は、以下の条件式（３）を満足することがさらに望ましい。

０．９＜（Δｃ１／Δｃ０）／（Δｄ１／Δｄ０）＜１．１ （３）
以下、図５を参照して、画像処理部１１１により実行される本実施例の画像処理について説明する。図５は、本実施例の画像処理を示すフローチャートである。本実施例の画像処理は、ソフトウェアおよびハードウェア上で動作する画像処理プログラムにしたがって実行される。画像処理プログラムは、例えば、カメラシステム１０１内の不図示のメモリに格納されていてもよいし、コンピュータが読み取り可能な記録媒体に記録されていてもよい。また、本実施例では画像処理部１１１が本実施例の画像処理を実行するが、パーソナルコンピュータ（ＰＣ）や専用の装置が画像処理装置として本実施例の画像処理を実行してもよい。また、本実施例の画像処理プログラムに対応する回路を設け、回路を動作させることで本実施例の画像処理を実行してもよい。

静止画や動画等の撮像が開始されると、本実施例の画像処理が開始される。画像処理を実行する前に、各撮像手段の射影方式が決定される。これは使用者自身が行ってもよいし、特定の被写体の像倍率が常に大きくなるようにそれを追従する形で射影が変換されてもよい。

ステップＳ１０１では、画像処理部１１１は、第１Ａ／Ｄコンバータ１０６および第２Ａ／Ｄコンバータ１０７を介して、第１撮像素子１０４および第２撮像素子１０５から複数の入力画像（第１および第２の入力画像）を取得する。

ステップＳ１０２では、画像処理部１１１は、記憶部１１０から撮影時の射影方式に関する情報を取得し、取得した射影方式の判定（場合分け）を行う。具体的には、画像処理部１１１は、複数の射影変換光学系のそれぞれについて、各射影変換光学系の中心の像倍率（射影変換光学系の光軸上での像倍率）と、他の射影変換光学系と画角が重なっている領域における各射影変換光学系の像倍率の平均値を比較する。そして、少なくとも１つの射影変換光学系において他の射影変換光学系と画角が重なっている領域における像倍率の平均値が射影変換光学系の中心における像倍率より大きい場合、ステップＳ１０３に進む。そうでない場合、すなわち、複数の射影変換光学系の全てにおいて、他の射影変換光学系と画角が重なっている領域における像倍率の平均値が射影変換光学系の中心の像倍率より小さい場合、ステップＳ１０５に進む。本実施例では、画像処理部１１１は、第１射影変換光学系１０２および第２射影変換光学系１０３の少なくとも一方において、他方の光学系と画角が重なっている領域における像倍率の平均値が、中心の像倍率よりも大きくなっているか否かを判定する。

ステップＳ１０３では、特徴点抽出部１１３は、複数の入力画像の各繋ぎ合わせ領域における特徴点を抽出する。

ステップＳ１０４では、画像生成部１１２は、複数の入力画像の各繋ぎ合わせ領域における特徴点が一致するように繋ぎ合わせ領域の位置合わせを行った後、複数の入力画像を合成する。

ステップＳ１０５では、画像生成部１１２は、所定の画角で複数の入力画像を合成する。

ステップＳ１０６では、画像処理部１１１は、複数の入力画像を合成することで生成された出力画像を画像記録媒体１１４に出力する。出力画像は、表示部１１５に表示される。

以上説明したように、本実施例では、複数の射影方式で撮像可能な撮像手段から取得した複数の入力画像を最適な方法で合成可能である。

本実施例では、実施例１のカメラシステム１０１と異なる構成についてのみ説明し、同一の構成についての説明は省略する。図６は、本実施例のカメラシステム１０１の構成を示すブロック図である。

本実施例では、光学系制御部１０８は、射影方式連動部１０８ａを有する。射影方式連動部１０８ａは、射影方式が略同等になるように、第１撮像手段１２０および第２撮像手段１２１を制御する。このように制御することで、各撮像手段の射影方式を独立して選択する場合に比べて、使用者の操作を簡便にすることが可能である。また、射影方式に関する情報が全て同一になるため、画像処理が容易になる。

また、本実施例では、カメラシステム１０１は、被写体距離に関する情報（被写体距離情報）を取得可能な距離情報取得部１１６を有する。距離情報取得部１１６は、例えば、異なる撮像手段からの視差画像に基づいて被写体距離情報を取得してもよいし、内部に設けられたレーザー距離計を用いて被写体距離情報を取得してもよい。本実施例では、後述するように、画像生成部１１２は、第１の方法を選択した場合、被写体距離情報に基づいて複数の入力画像を合成することで出力画像を生成する。

図７は、本実施例の複数の入力画像の合成方法を説明する図である。図７では、カメラＸとカメラＹで、被写体Ａと被写体Ｂを撮影した場合を示している。被写体Ａは、被写体距離Ｌａとなる位置に位置している。被写体Ｂは、被写体距離Ｌｂとなる位置に位置している。被写体Ａと被写体Ｂは、繋ぎ合わせ領域における異なる位置に位置する。被写体距離Ｌａの画角で第１および第２の入力画像を合成した場合、図７（ｂ）に示されるように、被写体Ａは高精度に繋ぎ合わせられるが、図７（ｃ）に示されるように、被写体Ｂの繋ぎ合わせの精度が悪化する。また、被写体距離Ｌｂの画角で第１および第２の入力画像を合成した場合、図７（ｅ）に示されるように、被写体Ｂは高精度に繋ぎ合わせられるが、図７（ｄ）に示されるように、被写体Ａの繋ぎ合わせの精度が悪化する。そこで、本実施例では、画像生成部１１２は、第１の方法を選択した場合、繋ぎ合わせ領域における被写体距離ごとの画像領域が一致するように複数の入力画像の合成を実行する。

以下、図８を参照して、本実施例の画像処理について説明する。図８は、本実施例の画像処理を示すフローチャートである。静止画や動画等の撮像が開始されると、本実施例の画像処理が開始される。画像処理を実行する前に、各撮像手段の射影方式が決定される。前述したように、本実施例では、射影方式連動部１０８ａにより、第１撮像手段１２０および第２撮像手段１２１の射影方式は同一である。

ステップＳ２０１、ステップＳ２０２およびステップＳ２０５およびステップＳ２０７の処理はそれぞれ、図５のステップＳ１０１、ステップＳ１０２、ステップＳ１０５およびステップＳ１０６の処理と同様であるため、説明を省略する。

ステップＳ２０３では、画像生成部１１２は、距離情報取得部１１６から取得した被写体距離情報に基づいて、繋ぎ合わせ領域における被写体距離ごとの画像領域を抽出する。

ステップＳ２０４では、画像生成部１１２は、複数の入力画像の各繋ぎ合わせ領域における被写体距離ごとの画像領域が一致するように繋ぎ合わせ領域の位置合わせを行った後、複数の入力画像を合成する。

ステップＳ２０６では、画像生成部１１２は、ステップＳ２０５で繋ぎ合わせた画像に対して滑らかに表示するため、グラディエーションを付加する。例えば、グラディエーションの付加方法は、ガウシアンを繋ぎ合わせのエッジ付近に重畳する方法であってもよいし、その他の方法であってもよい。

以上説明したように、本実施例では、複数の射影方式で撮像可能な撮像手段から取得した複数の入力画像を最適な方法で合成可能である。

本実施例では、実施例１のカメラシステム１０１と異なる構成についてのみ説明し、同一の構成についての説明は省略する。図９は、本実施例のカメラシステム１０１の構成を示すブロック図である。

本実施例のカメラシステム１０１は、第３射影変換光学系１１７、第３撮像素子１１８および第３Ａ／Ｄコンバータ１１９を有する。第３撮像素子１１８は、ＣＭＯＳセンサやＣＣＤセンサ等の光電変換素子により構成され、複数の画素（撮像画素）を含む。第３射影変換光学系１１７は、第３撮像素子１１８の撮像面に光学像（被写体像）を結像する。第３撮像素子１１８は、被写体像を電気的に変換することで第３の入力画像を生成し、第３Ａ／Ｄコンバータ１１９に出力する。第３射影変換光学系１１７および第３撮像素子１１８により複数の射影方式で撮像可能な第３撮像手段１２２が構成される。第３Ａ／Ｄコンバータ１１９は、第３撮像素子１１８から出力されたアナログ電気信号をデジタル信号に変換する。本実施例のカメラシステム１０１は、３つの撮像手段を有するため、より高解像度な広画角画像を取得することができる。

本実施例では、画像処理部１１１は、記憶部１１０から各射影変換光学系の入射瞳位置情報を取得する。本実施例では、後述するように、画像生成部１１２は、第１の方法を選択した場合、入射瞳位置情報に基づいて複数の入力画像を合成することで出力画像を生成する。

図１０は、本実施例の複数の入力画像の合成方法を説明する図である。図１０では、カメラＸとカメラＹで、被写体Ａを撮影した場合を示している。図１０（ａ）の下図は、第２の方法を用いて生成された出力画像を示している。画像生成部１１２は、第２の方法を選択した場合、図１０（ａ）の上図に示されるように、入射瞳間の中心Ｏを入射瞳と仮定して繋ぎ合わせを行う。しかしながら、この場合、図１０（ａ）の下図に示されるように、繋ぎ合わせの精度が悪化する。画像生成部１１２は、第１の方法を選択した場合、入射瞳位置情報に基づいて、特定の距離の被写体の画角を仮定して繋ぎ合わせを行う。そのため、特定の距離の被写体に対しては、図１０（ｂ）の下図のように高精度に繋ぎ合わせを行うことができる。

以下、図１１を参照して、本実施例の画像処理について説明する。図１１は、本実施例の画像処理を示すフローチャートである。静止画や動画等の撮像が開始されると、画像処理部１１１による画像処理が開始される。画像処理を実行する前に、各撮像手段の射影方式が決定される。

ステップＳ３０１、ステップＳ３０５およびステップＳ３０６の処理はそれぞれ、図５のステップＳ１０１、ステップＳ１０５およびステップＳ１０６の処理と同様であるため、説明を省略する。

ステップＳ３０２では、画像処理部１１１は、記憶部１１０から撮影時の射影方式に関する情報を取得し、取得した射影方式の判定（場合分け）を行う。具体的には、画像処理部１１１は、繋ぎ合わせ領域における像倍率を、全ての入力画像間で平均する。すなわち、複数の射影変換光学系の間で画角が重なっている領域における各光学系の像倍率を平均した値を取得する。また、画像処理部１１１は、入力画像の中心の像倍率を、全ての入力画像間で平均する。すなわち、複数の射影変換光学系の間で画角が重なっている光学系のそれぞれにおける中心の像倍率（光軸上の像倍率）を平均した値を取得する。そして、画像処理部１１１は、繋ぎ合わせ領域における像倍率を全ての入力画像間で平均した値と、入力画像の中心の像倍率を全ての入力画像間で平均した値とを比較する。繋ぎ合わせ領域における像倍率を全ての入力画像間で平均した値が、入力画像の中心の像倍率を全ての入力画像間で平均した値よりも大きい場合、ステップＳ３０３に進む。そうでない場合、すなわち繋ぎ合わせ領域における像倍率を全ての入力画像間で平均した値が、入力画像の中心の像倍率を全ての入力画像間で平均した値よりも小さい場合、ステップＳ３０５に進む。このように入力画像間で所定の領域の像倍率を平均して判定を行うことで、仮に複数の射影変換光学系の間で射影方式が異なっていたとしても、適切に最適な画像処理方法を選択することが可能となる。なお、本実施例では３つの射影変換光学系を用いる場合について説明しているが、ステップＳ３０２による射影方式の判定は、２つの射影変換光学系を用いる場合（例えば実施例１や２）にも適用可能である。

ステップＳ３０３では、画像生成部１１２は、記憶部１１０から入射瞳位置情報を取得する。

ステップＳ３０４では、画像生成部１１２は、入射瞳位置情報に基づいて、繋ぎ合わせ領域の位置合わせを行った後、複数の入力画像を合成する。

以上説明したように、本実施例では、複数の射影方式で撮像可能な撮像手段から取得した複数の入力画像を最適な方法で合成可能である。
［その他の実施例]
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１２０、１２１、１２２ 撮像手段
１１１ 画像処理部（画像処理装置）
１１２ 画像生成部

Claims (16)

1. 複数の射影方式で撮像可能な撮像手段から取得された第１の入力画像および第２の入力画像を合成することで出力画像を生成する画像生成部を有する画像処理装置であって、
   前記画像生成部は、前記撮像手段の射影方式に関する情報に基づいて、前記第１および前記第２の入力画像を合成する方法を選択することを特徴とする画像処理装置。
2. 前記画像生成部は、前記撮像手段の射影方式に関する情報に基づいて、画像上の特徴点または前記撮像手段の光学情報を用いて前記第１および第２の入力画像を合成する第１の方法、または所定の画角で前記第１および第２の入力画像を合成する第２の方法を選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像生成部は、前記第１の方法を選択した場合、前記第１および第２の入力画像において画角が重なっている領域における特徴点に基づいて、前記第１および第２の入力画像を合成することを特徴とする請求項２に記載の画像処理装置。
4. 前記画像生成部は、前記第１の方法を選択した場合、前記第１および第２の入力画像において画角が重なっている領域における被写体距離に関する情報に基づいて、前記第１および第２の入力画像を合成することを特徴とする請求項２に記載の画像処理装置。
5. 前記撮像手段は、被写体像を結像する、第１光学系および第２光学系を備え、
   前記第１の入力画像は前記第１光学系を用いて撮像された画像であり、前記第２の入力画像は前記第２光学系を用いて撮像された画像であり、
   前記画像生成部は、前記第１の方法を選択した場合、前記第１および第２の光学系のそれぞれの入射瞳位置に関する情報に基づいて、前記第１および第２の入力画像を合成することを特徴とする請求項２に記載の画像処理装置。
6. 前記撮像手段は、被写体像を結像する、第１光学系および第２光学系を備え、
   前記第１の入力画像は前記第１光学系を用いて撮像された画像であり、前記第２の入力画像は前記第２光学系を用いて撮像された画像であり、
   前記画像生成部は、前記第１光学系と前記第２光学系の少なくとも一方の光学系において、該一方の光学系の画角と他方の光学系の画角が重なっている領域における前記一方の光学系の像倍率の平均値が、前記一方の光学系の中心の像倍率よりも大きい場合、前記第１の処理を選択し、そうでない場合、前記第２の方法を選択することを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
7. 前記撮像手段は、被写体像を結像する、複数の光学系を備え、
   前記第１の入力画像と前記第２の入力画像はそれぞれ異なる光学系を用いて撮像された画像であり、
   前記画像生成部は、前記複数の光学系の間で画角が重なっている領域における各光学系の像倍率を平均した値が、各光学系の中心における像倍率を平均した値よりも大きい場合、前記第１の方法を選択し、そうでない場合、前記第２の方法を選択することを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
8. 被写体像を撮像して電気信号に変換する撮像素子と、
   請求項１から７のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
9. それぞれが被写体像を結像する複数の光学系と、
   請求項８に記載の撮像装置と、を有することを特徴とするカメラシステム。
10. 前記複数の光学系のそれぞれの画角は、１８０度以上であることを特徴とする請求項９に記載のカメラシステム。
11. 複数の光学系は、第１の光学系および第２の光学系で構成されていることを特徴とする請求項９または１０に記載のカメラシステム。
12. 前記第１および第２の光学系は、それぞれの光軸が平行となり、背面対向するように配置されていることを特徴とする請求項１１にカメラシステム。
13. 前記第１および第２の光学系はそれぞれ、一方の光学系の画面中心が天頂側、他方の光学系の画面中心が地面側になるように配置されていることを特徴とする請求項１２に記載のカメラシステム。
14. 前記第１の光学系の画面中心の像倍率をΔｃ０、前記第１および第２の入力画像の重なり領域における前記第１の光学系の像倍率の平均値をΔｃ１、前記第２の光学系の画面中心の像倍率をΔｄ０、前記第１および第２の入力画像の重なり領域における前記第２の光学系の像倍率の平均値をΔｄ１とするとき、
    ０．８＜（Δｃ１／Δｃ０）／（Δｄ１／Δｄ０）＜１．２
    なる条件式を満足することを特徴とする請求項１１から１３のいずれか１項に記載のカメラシステム。
15. 複数の射影方式で撮像可能な撮像手段から取得された第１の入力画像および第２の入力画像を取得するステップと、
    前記撮像手段の射影方式に関する情報に基づいて、前記第１および前記第２の入力画像を合成する方法を選択するステップと、
    選択した方法を用いて前記第１および第２の入力画像を合成することで出力画像を生成するステップと、を有することを特徴とする画像処理方法。
16. コンピュータに、
    複数の射影方式で撮像可能な撮像手段から取得された第１の入力画像および第２の入力画像を取得するステップと、
    前記撮像手段の射影方式に関する情報に基づいて、前記第１および前記第２の入力画像を合成する方法を選択するステップと、
    選択した方法を用いて前記第１および第２の入力画像を合成することで出力画像を生成するステップと、を実行させることを特徴とする画像処理プログラム。