JP2006173919A - 撮像装置および画像処理プログラム - Google Patents

Abstract

【課題】 演算能力、メモリ容量等を抑えつつも、視差の目立たない画像を合成することができる画像処理プログラムおよび撮像装置を提供する。
【解決手段】 撮像装置は、視差を有する複数の撮像光学系１０１、１０２、１０３を介して複数の撮像画像を撮像する撮像部と、複数の撮像画像間の視差を補正する量を直接的または間接的に表す補正情報を入力する補正情報入力部１１１と、補正情報に基づいて、補正量を生成する補正量生成部１１３と、補正量生成部で生成された補正量に基づいて複数の撮像画像を合成する合成部１１０とを備える。
【選択図】 図１

Description

本発明は、複数の撮像光学系を用いて得られた複数の画像を処理する撮像装置および画像処理プログラムに関するものである。

近年、撮像光学機器、特にデジタルスチルカメラ（以下ＤＳＣ（ｄｉｇｉｔａｌ ｓｔｉｌｌ ｃａｍｅｒａ））やデジタルビデオカメラ（以下ＤＶＣ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｃａｍｅｒａ））における撮像画像品質の向上が図られている。

撮像画像の品質を向上させる方法として、複数の撮像光学系（複眼撮像系）を用いて得られた複数の画像を合成することにより１つの高精細な画像を得る方法が開示されている（例えば、非特許文献１参照）。この方法においては、複数のカメラで撮像した画像情報を統合、再生することで、単独のカメラのみを用いた場合より、高精細な画像を得ることができる。

図１４は、複数の撮像光学系を用いた撮像装置の構成を表す概略図である。

図１４に示す撮像装置は、複数の撮像光学系１、２、３およびそれらに対応する複数のイメージセンサ４、５、６、複数の信号処理部７、８、９ならびに画像合成処理部１０を備える。被写体の像は、撮像光学系１、２、３を介して、各イメージセンサ４、５、６に結像される。各イメージセンサ４、５、６の撮像受光特性は互いに異なっている。イメージセンサ４は赤（Ｒ）波長領域を撮像し、イメージセンサ５は緑（Ｇ）波長領域を撮像し、イメージセンサ６は青（Ｂ）波長領域を撮像する。各イメージセンサ４、５、６の撮像信号は、それぞれＲ信号処理部７、Ｇ信号処理部８、及びＢ信号処理部９により画像処理された後、画像合成処理部１０により合成されてカラー画像として出力される。

図１４に示す撮像装置においては、複数の撮像光学系１、２、３の撮影光軸は互いに異なっている。すなわち、撮像光学系１、２、３の撮影光軸は、被写体位置ｂで、互いにθの角度（輻射角）で交わっている。被写体位置ｂでの輻射角をθに固定した場合、被写体位置ａ、ｃでは最適な輻射角がθと異なるため、複数の撮像光学系１、２、３による撮影画像にズレが生じてしまう。

この点について図１５を用いて説明する。図１５（ａ）、（ｂ）、（ｃ）は、複数の撮像光学系１、２、３による撮影画像を合成した合成画像を示す図である。図１５（ａ）、（ｂ）、（ｃ）に示す合成画像は、黒の背景に丸い白い被写体を撮影した場合の画像である。図１５（ａ）は、被写体位置ａ、図１５（ｂ）は被写体位置ｂ、図１５（ｃ）は被写体位置ｃに被写体が存在する場合の画像を示している。

被写体位置ａの場合、図１５（ａ）に示すように、輻射角が適切でないためにＧ画像に対してＲ画像とＢ画像はそれぞれ左右にずれた画像となり、合成後の画像はそのずれた分色ズレとして出力されてしまう。ずれたことにより、Ｂ画像が欠落した部分はＧ画像とＲ画像によりイエロー（Ｙｅ）になり、Ｒ画像が欠落した部分はＧ画像とＢ画像によりシアン（Ｃｙ）となり、Ｂ画像とＲ画像が欠落した部分はＧとなる。この時複数の光学系の光軸が一次元に配置しているためにその配置方向の一次元のズレであるが、二次元に配置した場合は二次元のズレになり、その場合Ｇ画像が欠落した部分にＲ画像とＢ画像からなるマジェンダ（Ｍｇ）が生じることとなる。

被写体位置ｂの場合、図１５（ｂ）に示すように、輻射角が適切に設定されているために色ズレのない高精細な画像を出力される。

被写体位置ｃの場合は、図１５（ｃ）に示すように、前述被写体位置ａに対しＲとＢ画像がそれぞれ左右逆方向にずれた合成画像となる。

このような視差によるズレ補正の方法として、第１の撮像光学系から得られる画像中の像の点に対応する、第２の撮像光学系から得られる画像中の仮想の像点を検出する補間処理を行い、それぞれの画像を合成する方法が提案されている（例えば、特許文献１参照）。

さらに、輻輳のある複数の撮像光学系から得られた画像を合成変換することにより、輻輳によって生じる歪みが補正された合成画像を得る方法も開示されている（例えば、特許文献２参照）。

また、画像中にカメラからの距離が異なる複数の被写体が写っている場合のように、被写体によりズレ量が異なる場合の画像合成方法についても提案されている（例えば、特許文献３参照）。この提案にかかる装置は、複数の撮像手段により撮像された撮影画像の複数領域からパララックス量（視差量）を検出する検出手段を備え、このパララックス量が所定範囲の領域を優先してパララックスの補正量を求め、補正量に基づいて、複数の撮影画像から画像を合成するものである。

上記従来の装置によれば、被写体によりズレ量が異なる場合の被写体に合わせたズレ量を演算して視差の目立たない画像を合成することができる。
特開平０６-１９５４４７号公報 特許第２８８３２６４号 特開２００２-３３０３３２号公報 相澤清晴、斎藤隆弘、小松隆、「超高精細画像取得のための基礎検討」、画像電子学会予稿９０−０３−０４、画像電子学会、１９９０年１０月２６日、第１１８回研究会講演予稿集９０−０３、ｐ．２３−２８

しかしながら、上記従来の方法においては、複数の画像を比較することにより、視差によるズレ量を検出しているため、視差補正のズレ量を検出する演算装置に多大な計算能力とメモリ容量が必要となる。そのため、モバイル用途などの限られたスペース、コスト、演算能力、電源能力では視差補正機能の実現が困難であり、機器への搭載の大きな妨げとなっていた。

本発明は上記従来の問題点に鑑み、スペース、コスト、演算能力、メモリ容量、電源能力を抑えつつも、視差を有する複数の撮像光学系を介して撮像された複数の撮像画像から、視差の目立たない画像を合成することができる画像処理プログラムおよび撮像装置を提供することを目的とする。

本発明にかかる撮像装置は、視差を有する複数の撮像光学系を介して複数の撮像画像を得る撮像部と、前記複数の撮像画像間の視差を補正する量を直接的または間接的に表す補正情報の入力を使用者から受け付ける補正情報入力部と、前記補正情報入力部で入力された前記補正情報に基づいて前記複数の撮像画像を合成する合成部とを備える。

本発明にかかる画像処理プログラムは、視差を有する複数の撮像光学系を介して得られた複数の撮像画像を合成する処理をコンピュータに実行させる画像処理プログラムであって、前記視差を補正する量を直接的または間接的に表す補正情報の入力を使用者から受け付ける補正情報入力処理と、前記補正情報入力処理で入力された補正情報に基づいて、前記複数の撮像画像を合成する合成処理とをコンピュータに実行させる。

本発明によれば、スペース、コスト、演算能力、メモリ容量、電源能力を抑えつつも、視差を有する複数の撮像光学系を介して撮像された複数の撮像画像から、視差の目立たない画像を合成することができる。

本発明にかかる撮像装置は、視差を有する複数の撮像光学系を介して複数の撮像画像を得る撮像部と、前記複数の撮像画像間の視差を補正する量を直接的または間接的に表す補正情報の入力を使用者から受け付ける補正情報入力部と、前記補正情報入力部で入力された前記補正情報に基づいて前記複数の撮像画像を合成する合成部とを備える。

前記補正情報入力部で、視差を補正する量を直接的または間接的に表す補正情報が入力されるので、補正情報を基に、視差を補正する量が一意的得られる。すなわち、視差によるズレ量を計算する処理を行わずに補正量が得られる。そのため、合成部では、少ない計算量で求められた補正量に基づいて複数の撮像画像が合成される。その結果、スペース、コスト、演算能力、メモリ容量、電源能力を抑えつつも、視差の目立たない画像を合成することができる。

本発明にかかる撮像装置において、前記補正情報は、前記複数の撮像画像間の前記視差によるズレを修正するために、前記複数の撮像画像のうち、少なくとも１つの画像の全体または一部を移動させる際の移動量を含み、前記合成部は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成することが好ましい。

このように、補正情報として、前記複数の撮像画像のうち、少なくとも１つの画像の全体または一部を移動させる際の移動量が入力されることで、複数の撮像画像間のズレ量を計算することなく画像を補正する量が得られる。そのため、合成部は、少ない計算量で得られた移動量に基づいて、画像を移動させるので、複数の撮像画像間の視差によるズレが修正された合成画像を少ない計算量で得ることができる。

本発明にかかる撮像装置において、前記補正情報は、撮影時における前記撮像光学系と被写体との距離を表す被写体距離情報を含み、前記被写体距離情報に基づいて、前記複数の撮像画像間の視差を修正するように、前記複数の撮像画像のうち、少なくとも１つの画像の全体または一部を移動させる際の移動量を生成する補正量生成部をさらに備え、前記合成部は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成することが好ましい。

このように、補正情報として、撮影時における前記撮像光学系と被写体との距離を表す被写体距離情報が入力されるので、補正量生成部は、被写体距離情報を得ることにより、複数の撮像画像間の視差量すなわちズレ量を得ることができる。そのため、補正量生成部は、視差量を基に、複数の撮像画像間の視差を修正するように画像を移動させる移動量を少ない計算量で求めることができる。合成部は、移動量に基づいて画像を移動させる補正を伴って複数の撮像画像を合成するので、少ない計算量で求められた補正量に基づいて合成を行うことができる。

本発明にかかる撮像装置において、前記補正情報入力部は、補正情報として少なくとも撮影モードを入力するものであって、前記撮影モードは、少なくとも前記光学撮像系と被写体との距離によって定められているモードであり、前記補正情報入力部で入力された撮影モードに基づいて、前記複数の撮像画像間の前記視差によるズレを修正するために、前記複数の撮像画像のうち、少なくとも１つの画像の全体または一部を移動させる際の移動量を生成する補正量生成部をさらに備え、前記合成部は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成することが好ましい。

前記補正情報受付部は、補正情報として、少なくとも光学撮像系と被写体との距離によって定められる撮影モードの入力を受け付けるので、入力データが単純なものになる。その結果、撮像装置の使用者にとって、補正情報の入力が容易となる。

また、入力される撮影モードは、少なくとも光学撮像系と被写体との距離によって定められているモードであるので、補正量生成部は、入力された撮影モードを得ることにより、撮像光学系と被写体との距離を表す情報を得ることになる。そのため、補正量生成部は、撮影モードを基に、複数の撮像画像間の視差を修正するように画像を移動させる移動量を少ない計算量で求めることができる。

本発明にかかる撮像装置において、前記撮影モードは、接写を行うモード、近景撮影を行うモードおよび遠景撮影を行うモードのうち、少なくとも１つを含むことが好ましい。

本発明にかかる撮像装置において、前記移動量が、前記補正情報入力部で入力可能である撮影モードと対応づけられて記録されている補正量テーブルをさらに備え、前記補正量生成部は、前記補正情報入力部で入力された撮影モードに基づいて、前記補正テーブルを参照し、前記撮影モードに対応した移動量を得ることが好ましい。

前記補正量テーブルには、移動量が、前記補正情報入力部で入力可能である撮影モードと対応づけられて記録されているので、前記補正量生成部は、前記補正量テーブルを参照して、入力された撮影モードに対応する移動量を、少ない処理で得ることができる。そのため、補正量生成部は、撮影モードを基に、複数の撮像画像間の視差を修正するように画像を移動させる移動量を少ない計算量で求めることができる。

本発明にかかる撮像装置において、前記補正情報は、前記撮像画像内の領域であって、補正をするべき領域を示す情報を含むことが好ましい。

前記複数の撮像画像において、例えば、画像中にカメラからの距離が異なる複数の被写体が写っている場合のように、画像内で視差量が異なる領域が存在する場合がある。この場合に、視差量が他と異なる領域を検出するには多大な計算量とメモリ容量が必要となる。本発明にかかる画像処理プログラムにおいては、補正をするべき領域を示す情報を補正情報として入力されるので、この視差量が他と異なる領域を検出する計算を行う必要がない。そのため、少ない計算量で、撮像画像内の視差量に応じた補正量が得られる。

本発明にかかる撮像装置において、前記合成部で合成された画像を表示する表示部をさらに備えることが好ましい。

前記表示部によって合成された画像が表示されるので、補正情報を入力する者は、合成部によって合成された画像を見ながら、適切な補正情報を入力することができる。

本発明にかかる画像処理プログラムは、視差を有する複数の撮像光学系を介して得られた複数の撮像画像を合成する処理をコンピュータに実行させる画像処理プログラムであって、前記複数の撮像画像間の視差を補正する量を直接的または間接的に表す補正情報の入力を使用者から受け付ける補正情報入力処理と、前記補正情報入力処理で入力された補正情報に基づいて、前記複数の撮像画像を合成する合成処理とをコンピュータに実行させるをコンピュータに実行させる。

本発明にかかる画像処理プログラムにおいて、前記補正情報は、前記複数の撮像画像間の前記視差によるズレを修正するために、前記複数の撮像画像のうち、少なくとも１つの画像の全体または一部を移動させる際の移動量を含み、前記合成処理は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成することが好ましい。

本発明にかかる画像処理プログラムにおいて、前記補正情報は、撮影時における前記撮像光学系と被写体との距離を表す被写体距離情報を含み、前記被写体距離情報に基づいて、前記複数の撮像画像間の視差を修正するように、前記複数の撮像画像のうち、少なくとも１つの画像の全体または一部を移動させる際の移動量を生成する補正量生成処理をさらにコンピュータに実行させ、前記合成処理は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成することが好ましい。

本発明にかかる画像処理プログラムにおいて、前記補正情報入力処理は、補正情報として少なくとも撮影モードを入力する処理であって、前記撮影モードは、少なくとも前記光学撮像系と被写体との距離によって定められているモードであり、前記補正情報入力処理で入力された撮影モードに基づいて、前記複数の撮像画像間の前記視差によるズレを修正するために、前記複数の撮像画像のうち、少なくとも１つの画像の全体または一部を移動させる際の移動量を生成する補正量生成処理をさらにコンピュータに実行させ、前記合成処理は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成することが好ましい。

本発明にかかる画像処理プログラムにおいて、前記撮影モードは、接写を行うモード、近景撮影を行うモードおよび遠景撮影を行うモードのうち、少なくとも１つを含むことが好ましい。

本発明にかかる画像処理プログラムにおいて、前記補正量生成処理は、前記補正情報入力部で入力された撮影モードに基づいて、前記移動量が、前記補正情報入力処理で入力可能である撮影モードと対応づけられて記録されている補正量テーブルを参照し、前記撮影モードに対応した移動量を得ることが好ましい。

本発明にかかる画像処理プログラムにおいて、前記補正情報は、前記撮像画像内の領域であって、補正をするべき領域を示す情報を含むことが好ましい。

以下、本発明の実施の形態を図面を参照しながら説明する。

本発明にかかる画像処理プログラムは、前記合成処理で合成された画像を表示する表示処理をさらにコンピュータに実行させ、前記表示処理と同時に前記補正情報入力処理による入力の受付を行う処理をコンピュータに実行させることが好ましい。
（実施の形態１）
図１は、実施の形態１にかかる複眼撮像装置の構成を表す機能ブロック図である。

図１に示す複眼撮像装置１００は、複数の撮像光学系１０１、１０２、１０３と、それらに対応する複数のイメージセンサ１０４、１０５、１０６と、複数の信号処理部１０７、１０８、１０９とを備える。さらに、複眼撮像装置１００は、画像合成処理部１１０、補正情報入力部１１１、表示部１１２、補正量生成部１１３を備える。

複数の撮像光学系１０１、１０２、１０３の撮影光軸は互いに異なっている。すなわち、撮像光学系１０２の撮影光軸に対して、撮像光学１０１、１０３の撮影光軸は、傾斜した状態に配置される。

被写体の像は、撮像光学系１０１、１０２、１０３を介して、各イメージセンサ１０４、１０５、１０６に結像される。それぞれのイメージセンサ１０４、１０５、１０６には同一被写体が結像される。

なお、撮像光学系１０１、１０２、１０３の光軸は互いに平行としてもよい。例えば、無限遠の光源を基準として撮像光学系１０１、１０２、１０３を設定した場合は、これらの光軸は互いに平行になる。

各イメージセンサ１０４、１０５、１０６の撮像受光特性は互いに異なっている。イメージセンサ１０４は赤（Ｒ）波長領域を撮像し、イメージセンサ１０５は緑（Ｇ）波長領域を撮像し、イメージセンサ１０６は青（Ｂ）波長領域を撮像する。各イメージセンサ１０４、１０５、１０６に波長依存性を持たせても良いし、フィルタなどを挿入することにより波長選択性を実現しても良い。

各イメージセンサ１０４、１０５、１０６の撮像信号は、それぞれＲ信号処理部１０７、Ｇ信号処理部１０８、及びＢ信号処理部１０９により画像処理された後、画像合成処理部１１０に送られる。

補正情報入力部１１１は、例えば、複眼撮像装置１００の使用者から、各イメージセンサ１０４、１０５、１０６で撮像された画像間の視差を補正する量を直接的または間接的に表す補正情報の入力を受け付ける。

補正量生成部１１３は、入力された補正情報から、各イメージセンサ１０４、１０５、１０６で撮像された画像間の視差を補正する補正量を求める。補正量生成部１１３は、補正量を画像合成処理部１１０に送る。

画像合成処理部１１０は、Ｒ、Ｇ、Ｂ信号処理部１０７、１０８、１０９から送られてきた画像を、補正量生成部１１３から送られてきた補正量に基づいて補正した上で合成する。合成された画像は、カラー画像としてＯＵＴ端子へ出力される。ＯＵＴ端子は、例えば、フラッシュメモリ等の記録装置（図示せず）に接続されている。また、画像処理回路１１０は、合成した画像を表示部１１２にも出力する。

画像合成処理部１１０の機能は、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＣＰＵまたはＭＰＵ等が、所定のプログラムを実行することで実現することができる。そのため、撮像装置１００は、ＤＳＰ等の演算装置と、プログラムや画像データ等を記録する記録装置を少なくとも備える必要がある。

ここで、各イメージセンサ１０４、１０５、１０６により撮影された画像間で生じる視差について説明する。

図２は、イメージセンサ１０５で撮影される画像の一例を示す図である。図２に示すように、通常、画像には、撮影ターゲットとしての被写体１２１の他に多くの物体１２２、１２３が写り込む。図３は、それぞれの被写体１２１、１２２、１２３の位置関係すなわち、被写体と撮像光学系１０２との距離（以下、被写体距離と称する）を示す図である。被写体１２２（葉）は極近距離物体、被写体１２１（アヒル）は近距離物体、被写体１２３（背景）は遠距離物体である。

被写体距離が約１ｍ以下の場合を極近距離、被写体距離が約１ｍ〜３ｍの場合を近距離、被写体距離が約３ｍ以上の場合を遠距離とする。

図４は、イメージセンサ１０４で撮影される画像の一例を、図５は、イメージセンサ１０６で撮影される画像の一例を示す図である。図４および図５に示す画像は、図２に示す画像の撮影と同時に撮影されたものである。図４および図５においては、視差量が分かりやすいように、波線で図２に示す画像を表示している。

図４に示す画像では、撮像光学系１０１と撮像光学系１０２との間の視差により、ほぼ全ての映像が、図２の画像に比べて図面上の右方向へ移動していることが分かる。そのズレ量は、被写体距離が小さくなる程に大きくなる。近距離物体と遠距離物体のズレ量は、極近距離物体に比べて小さい。

同様に、図５に示す画像では、撮像光学系１０３と撮像光学系１０１との間の視差により、ほぼ全ての映像が、図２の画像に比べて図面上の左方向へ移動していることが分かる。そのズレ量は、図４に示す画像と同様に、被写体距離が小さくなる程に大きくなる。近距離物体と遠距離物体のズレ量は、極近距離物体に比べて小さい。

複眼撮像装置１００において、撮像光学系１０１、１０２の間隔と撮像光学系１０２、１０３の間隔は等しくなるように配置されている。また、イメージセンサ１０４、１０５の間隔とイメージセンサ１０５、１０６の間隔は等しくなるように配置されている。そのため、図４に示す画像と図２に示す画像とのズレは、図５に示す画像と図２に示す画像とのズレと、方向が異なるだけで、ズレ量は同じである。

次に、撮像光学系と被写体との間の距離とズレ量の関係を説明する。図６は、複数の撮影光学系が配置された場合の構成を示す図である。

図６に示す構成においては、２つの撮影レンズ２０１、２０２と、２つのイメージセンサ２０４、２０５が配置されている。撮影レンズ２０１、２０２の光軸は、無限遠の光源を基準として設定されるので、互いに平行となる。また、撮影レンズ２０１、２０２の光軸は、イメージセンサ２０４、２０５の中心を通る。

ここで、撮影レンズ２０２から被写体までの距離を被写体距離ｄ、撮像レンズ２０２とイメージセンサ２０５の間の距離を焦点距離ｆ、撮影レンズ２０１と撮影レンズ２０２との距離を複眼間距離ｓとする。

図６に示すように、被写体距離ｄの位置において、撮影レンズ２０１への光路と、撮影レンズ２０２への光路は輻射角θを持つ。被写体距離ｄの位置にある被写体の像は、イメージセンサ２０４ではズレ量ｅだけずれた画像となる。

撮影レンズ２０１、２０２の中心、被写体位置で構成する３角形と、撮影レンズ２０１の中心、イメージセンサ２０４の中心、イメージセンサ２０４上の被写体像のズレ位置で構成する３角形は、相似であるので、被写体距離ｄとズレ量ｅの関係は下記式（１）で表される。
ｅ＝ｓ・ｆ／ｄ ・・・（１）
このズレ量が視差量である。すなわち、視差量は、光学系の設計値（複眼間距離ｓ、焦点距離ｆ）と被写体距離ｄにより決定される被写体のズレ量である。

このズレ量をグラフにすると図７の曲線に示すような特性となる。図７に示すグラフにおいて、横軸は被写体距離、縦軸はズレ量である。グラフからも分かるように、極近距離で急激にズレ量が増加しており、遠距離になるに従ってズレ量は減少している。グラフに示すような被写体距離ｄとズレ量ｅの関係により、例えば、図４および図５に示す画像のズレ量は、撮像装置と被写体との位置関係から一義的に決定できる。

従来は、エッジ抽出、パターンマッチング等の処理を行って複数の画像間のズレ量を求めて視差補正量を計算していた。そのため、視差補正量を検出する演算装置は多大な計算能力とメモリ容量を必要とした。しかし、人が画像を見た場合、画像中に写っている被写体が極近距離のものか、近距離のものかあるいは遠距離のものかは、一瞬で容易に判別できる。また、複数の画像を重ね合わせた場合のズレの部分、ズレの方向、ズレの量も、人は簡単に認識できる。

そこで、本実施の形態における複眼撮像装置１００には、補正情報入力部１１１および補正量生成部１１３が設けられている。事前に決められた撮影光学系１０１、１０２、１０３より得られる複数の画像の視差を補正する量を直接的または間接的に表す補正情報を、補正情報入力部１１１が受け付ける。補正量生成部１１３は、補正情報に基づいて補正量を生成し、画像合成処理部１１０へ入力する。

入力する補正情報は、例えば、撮影光学系１０１、１０２、１０３より得られる複数の画像間のズレ量を表す距離や画素数等であって、複眼撮像装置１００を使っている使用者が直接入力するものである。Ｒ，Ｇ，Ｂ各信号処理部１０７，１０８，１０９から出力された画像を基に、各画像間の視差が算出されるのではなく、使用者が入力した任意の補正情報を基に視差が算出されるのである。つまり、補正情報入力部１１１は、使用者が補正量を直接的または間接的に表す情報を入力するためのインターフェースを提供することによって、複眼撮像装置１００において補正量を算出する処理を軽減している。

次に、本実施の形態における複眼撮像装置１００の動作について図１および図８を参照しながら説明する。図８は、複眼撮像装置１００の撮影時の動作を示すフローチャートである。

まず、ステップＳ２０１では、複眼撮像装置１００は、撮像するかどうかを判断し、撮影動作をしないときは「ＮＯ」に進みスタートへ戻る。

撮影動作をするときは、ステップＳ２０３にて、複眼撮像装置１００が光学系のフォーカス調整を行う。

次に、ステップＳ２０５で複眼撮像装置１００は画像の露出調整を行う。

ステップＳ２０６へ進んで複眼のイメージセンサ１０４、１０５、１０６それぞれで被写体を撮像する。イメージセンサ１０４は赤（Ｒ）波長領域を撮像し、イメージセンサ１０５は緑（Ｇ）波長領域を撮像し、イメージセンサ１０６は青（Ｂ）波長領域を撮像する。

ステップＳ２０７で、各イメージセンサ１０４、１０５、１０６の撮像信号は、それぞれＲ信号処理部１０７、Ｇ信号処理部１０８、及びＢ信号処理部１０９により画像処理された後、画像合成処理部１１０により合成される。

ステップＳ２０９では、画像合成処理部１１０で合成された画像が、カラー画像として表示部１１２に出力される。１回目に表示される合成画像は、視差補正を行っていない画像である。

ステップＳ２１０で、画像合成処理部１１０は、使用者に対して、表示部１１０に表示した画像でよいかどうかの入力を促す。使用者は、表示部１１２に表示された画像を見て、視差補正が必要かどうかを判断する。判断の結果、表示した画像でよい旨の入力を画像合成処理部１１０が受けた場合は、その表示した画像をＯＵＴ端子へ出力し、処理を終了する。表示した画像に不満がある旨の入力を画像合成処理部１１０が受けた場合は、補正情報入力（ステップＳ２０８）の処理を行う。

ステップＳ２０８では、補正情報入力部１１１が、補正情報の入力を受け付ける。補正情報は、使用者が入力する情報であって、視差を補正する量を直接的または間接的に表す情報である。補正情報として、例えば、複数の画像間のズレを修正するための画像の移動量が入力される。画像の移動量は、複数の画像間のズレ量すなわち視差量と同じである場合が多い。

画像の移動量は、例えば、移動させる距離（長さ）や画素数によって入力される。入力方法としては、例えば、数値による入力、ボタンによる入力、ダイアルまたはジョグダイアルによる入力、マウス等のポインティングデバイスによる入力、タッチパネルを利用した入力等が挙げられる。なお、画像の移動量に加えて、移動する方向（または移動する向き）を補正情報として入力できるようにしてもよい。

ステップＳ２１１では、補正量生成部１１３が、入力された移動量から、画像合成処理部１１３が扱うことができるデータとしての補正量を生成する。移動量が画素数で入力された場合は、補正量生成部１１３は、入力された移動量をそのまま、補正量として採用し、画像合成処理部１１０へ送る。移動量が、移動距離（長さ）で入力された場合は、補正量生成部１１３により画素数に変換される。また、ポインティングデバイス、ボタン、ダイアル、ジョグダイアル等で補正量が入力された場合にも、ポインティングデバイスの移動量、ボタンの押された回数、ダイアルやジョグダイアルの回転等に応じて補正量を生成することができる。

移動量を入力する場合について、図４および図５に示す画像を用いて説明する。図４に示す画像のズレと図５に示す画像のズレは、方向が異なるだけで、ズレ量は同じなので、このズレ量を修正するために画像を移動させる量が入力されるとよい。画像合成処理部１１０は、図４に示す画像を、入力された移動量だけ、図面上左方向へ移動させる補正を行う。また、画像合成処理部１１０は、図５に示す画像を、入力された移動量だけ、図面上左方向へ移動させる補正を行う。

なお、入力される移動量は、必ずしも、移動量＝ズレ量（視差量）である必要はない。視差量は、被写体と撮像装置との距離によって変化するので、複数の被写体が写っている画像の場合は、それぞれの被写体の視差量は互いに異なる場合が多い。使用者は、画像全体のバランスを考慮して、最も視差によるズレが目立たないように移動量を調節することができる。

ここで、図７に示すグラフから、被写体距離が近距離の場合と遠距離の場合では、ズレ量に大きな差がないことが分かる。そこで、図５および図４に示す画像のように、被写体に遠距離物体１２３と近距離物体１２１が含まれている場合は、近距離物体１２１のズレ量を移動量として入力することにより、遠景および近距離、さらに極近距離近傍までほぼ視差が補正された合成画像を得ることができる。

また、図４および図５に示す画像に含まれる極近距離物体１２２のように、視差によるズレ量が、他の部分より極端に大きな場合には、そのエリアだけ異なる移動量を入力できることが好ましい。すなわち、撮像画像内の領域であって、補正をするべき領域を示す情報と、その領域毎の移動量を補正情報として、入力できるようにしてもよい。

例えば、図９に示すように、撮影した画像を表示する表示装置１２４を見ながら、タッチパネルおよび入力デバイス１２５等で画面１２４上の領域を指定し、領域毎の移動量を入力することができるインターフェースを補正情報入力部１１１に設けることができる。補正情報として領域指定および領域ごとの移動量の入力を受け付けることで、より高精細な画像づくりが可能となる。なお、領域指定の方法は、タッチパネルを用いる方法に限られず、画面上に表示されるカーソルを、ボタン、ダイアル、マウス等を動かすことで領域指定をすることができる。

また、使用者が入力デバイス１２５を用いて行う領域指定を、コンピュータによるエッジ抽出処理で行ってもよい。これにより、入力デバイス１２５で領域指定する手間と入力デバイス１２５が不要になる。

また、一般的な使用者が撮影した画像は、画面の中心部にターゲットとなる被写体が位置し、周辺部は被写体と距離が異なる物体が配されることが多い。従って、画像領域を中心部と周辺部に予め設定しておき、画像の中心部および画像の周辺部それぞれについて移動量の入力を受け付ける態様としてもよい。

補正情報入力部１１１が提供するユーザインターフェースの一例として、例えば、タッチパネル等の入力デバイスで、ベクトル的に補正したいエリアをドラッグ・リリースすることによって移動量を入力できるものを提供することができる。この場合、移動量に加えて移動する方向も入力することができる。

また、番号キー、ボタン、ダイアルのようなメカ的なスイッチ等によって移動量を入力する態様であってもよい。例えば、番号キーで移動量を数値入力する方法、ジョブダイアルを回すと回した分に応じて画像が移動する方法、ボタンを押すたびに、画像が一定量づつ移動する方法等を入力方法として採用できる。これらの場合も移動量だけではなく、移動する方向も入力できるようにしてもよい。

さらに、使用者が撮像装置またはその一部分を振ることによって、移動量を入力できるようにすることができる。例えば、使用者が、画像を見ながら補正したい方向に撮像装置を振ると、この動作を撮像装置内部に設置された加速度センサが検出する。加速度センサが検出した方向と大きさに応じて、画像の移動方向と移動量を、補正量生成部１１３が生成する態様とすることができる。

移動量は、移動距離または画素数で入力されてもよい。補正情報入力部１１１は、移動量を移動距離で入力するモードと移動量を画素数で入力するモードとを、使用者が選択できる選択メニューを提供することが好ましい。その際、使用頻度が高いと予想される画素数入力をデフォルト設定とするのが好ましい。

画像合成処理部１１０は、上記ステップＳ２０８で入力された補正情報を基に補正した画像を再度合成し（ステップＳ２０７）、表示する（Ｓ２０９）。Ｓ２１０で使用者が望む画像が得られたとの判断が入力されるまで、Ｓ２０８、Ｓ２１１、Ｓ２０７、Ｓ２０９の処理が繰り返される。この繰り返し処理において、使用者は、撮像装置に表示される画像を確認しながら、適切な移動量を入力することができる。

このように、補正情報入力部１１１によって、入力された補正情報を基に視差補正された画像を都度表示し、画像の満足度を使用者に判断させ、不満足との判断においては、再度、補正情報を補正情報入力部１１１より入力させる処理系にすることが好ましい。

なお、撮影時の処理の順番は、図８に示すフローチャートの順番に限られるものではない。本実施の形態では、撮影処理（Ｓ２０１）の後に、移動量の入力処理（Ｓ２０８）を行う場合を説明したが。撮影処理（Ｓ２０１）の前に、イメージセンサ１０４、１０５、１０６で撮像される画像を合成したものを表示部１１２がモニタ表示し、使用者はモニタ表示を見ながら、ピントを合わせる感覚で、移動量等を入力し、視差を補正する態様とすることもできる。

また、本実施の形態では、移動量を入力する場合を説明したが、移動量を直接入力するのでなく、おおよその被写体距離を入力する事によっても同等の効果が得られる。被写体距離と視差量は１対１の関係にあるからである。この場合、補正量生成部１１３が、補正情報入力部１１１で入力された被写体距離から補正量を生成する。

ここで、入力された被写体距離から、補正量を求める場合の計算方法の例について説明する。

図６に示す撮像装置において、複眼間距離ｓと焦点距離ｆは、撮像装置の設計時に決定される定数である。したがって、上記式（１）において、センサ上でのズレ量（視差量）ｅは、被写体距離ｄのみの関数となる。このことを利用して、被写体距離ｄから視差量ｅを求めることができる。補正量＝視差量の場合は、この視差量ｅを補正量とすることができる。また、視差量ｅを画素ピッチで割ることにより、画素ピッチの単位の視差量を得ることができる。

また、使用者が、画像内に補正するべき領域を指定して、指定した領域毎に被写体距離を入力する態様としてもよい。また、例えば、画像の中心部と周辺部に領域を予め設定しておき、それぞれの領域について被写体距離の入力を受け付けることもできる。

本実施の形態においてはＲ用、Ｇ用およびＢ用の撮像光学系１０１、１０２、１０３が一直線上に配される場合について説明したが、図１０に示すように、Ｇ用撮像光学系１３１、Ｒ用撮像光学系１３２、Ｂ用撮像光学系１３３、Ｇ用撮像光学系１３４が、一平面上に並べて配置された構造の撮像装置においても、本実施の形態を適用することができる。

また、本実施の形態では、撮像光学系１０１、１０２、１０３がＲ用、Ｇ用、Ｂ用と区別されている場合について説明したが、通常存在する全波長域対応した撮像光学系が複数個存在する複眼撮像装置においても、本実施の形態を適用することができる。

また、本実施の形態では、複眼撮像装置１００が、１つの装置で構成される場合について説明したが、装置の構成はこれに限られない。例えば、撮像光学系１０１、１０２、１０３、イメージセンサ１０４、１０５、１０６および信号処理部１０７、１０８、１０９を１つの撮像装置で構成することができる。その場合、画像合成処理部１１０、補正情報入力部１１１、表示部１１２の機能を、例えば、ＰＣ（パーソナルコンピュータ）等の演算装置および記憶装置を有する機器で構成し、撮像装置と接続することができる。

（実施の形態２）
実施の形態２にかかる複眼撮像装置は、実施の形態１にかかる複眼撮像装置１００と次の点で異なる。

実施の形態１では、補正情報入力部１１１が入力する補正情報として、移動量または被写体と撮像装置との距離を表す情報が入力されていたが、実施の形態２では、補正情報として、撮影モードが入力される。

図１１は、本実施の形態における複眼撮像装置の構成を表す機能ブロック図である。図１１に示す複眼撮像装置２００において、図１に示す複眼撮像装置１００と同様の部分には、同じ番号を付し、その説明を省略する。

複眼撮像装置２００は、補正量テーブル１１４を備える点で図１に示す複眼撮像装置１００と異なっている。補正量生成部１１３は、補正情報入力部１１１で入力された撮影モードに基づいて、補正量テーブル１１４を参照することにより、補正量を生成する。補正量テーブルには、補正情報入力部１１１で入力されうる撮影モードに対応した補正量が予め記録されている。

以下、複眼撮像装置２００の撮影時の動作について説明する。

図１２は、複眼撮像装置２００の撮影時の動作を示すフローチャートである。

まず、ステップＳ３０１で、複眼撮像装置２００は、撮像するかどうかを判断し、撮影動作をしないときは「ＮＯ」に進みスタートへ戻る。

撮影動作をする場合は、ステップＳ３０２で補正情報入力部１１１は、補正情報として撮影モードの入力を受け付ける。なお、ステップＳ３０１とステップＳ３０２を一つのステップにしても問題はない。

撮影モードは、被写体距離と連動している。すなわち、撮影モードは、少なくとも被写体距離によって設定されるモードである。例えば、補正情報入力部１１１は、接写を行うモード、近景撮影を行うモードまたは遠景撮影を行うモードのいずれかを使用者が選択できるようなインターフェースを提供する。

また、撮像モードには、１つの画面中に、被写体距離の異なる複数の被写体を撮影するモードを含めることができる。例えば、上記３つの撮影モードに加え、接写＋近景撮影モード、接写＋遠景撮影モード、近景＋遠景撮影モードのいずれかを使用者が選択できるようにすることができる。

撮影モードの設定例として、例えば、接写を行うモードとしてマクロ撮影モード、近景撮影を行うモードとしてポートレート撮影モード、遠景撮影を行うモードとして風景撮影モードをそれぞれ使用者が選択できるように設定することができる。また、例えば、近景＋遠景撮影モードとして、画面中心部の被写体より近距離の被写体が画面周辺部に写り込んでいる状態を示すモード等を使用者が選択可能な撮影モードに含めることもできる。

これにより、使用者は、ターゲットとする被写体の位置に合ったモードを選択して入力することができる。例えば、花等の接写を行う場合にはマクロ撮影モードを選択、人物を撮影する場合にはポートレート撮影モードを選択、風景を撮影する場合には風景撮影モードを選択することができる。

なお、撮影モードの設定例は、上記した例に限られない。例えば、被写体の位置に加えて、被写体の性質や撮影状況等も考慮したモードを選択可能にすることができる。上記した撮影モード例の他に、近景撮影を行うモードまたは近景＋遠景撮影モードの例として、記念撮影モード、遠景撮影を行うモードの例として、夜景撮影モード、花火撮影モード、等が挙げられる。

撮影モードの入力は、例えば、使用者が、表示部１１２で表示されるメニュー画面上で撮影モードを指定することで入力される。また、使用者が、ダイアルを回して、ダイアルに記されている撮影モードと選択位置を示すマークを合わせることにより、所望の撮影モードを選択入力できるようにしてもよい。さらに、使用者が、モード切替ボタンを押す毎にモードが切り替わるようする方法や使用者がそれぞれのモードに割り当てられたボタンを押すことによりモードを選択する方法等を入力方法として用いることができる。

ステップＳ３０３では、複眼撮像装置２００が、ステップＳ３０２により入力された撮影モードを元に、光学系のフォーカス調整を行う。

ステップＳ３０５で、複眼撮像装置２００は、ステップＳ３０２で入力された撮影モードに従い画像の露出調整を行う。

ステップＳ３０６へ進んで複眼のイメージセンサ１０４、１０５、１０６それぞれで被写体を撮像する。イメージセンサ１０４は赤（Ｒ）波長領域を撮像し、イメージセンサ１０５は緑（Ｇ）波長領域を撮像し、イメージセンサ１０６は青（Ｂ）波長領域を撮像する。各イメージセンサ１０４、１０５、１０６の撮像信号は、それぞれＲ信号処理部１０７、Ｇ信号処理部１０８、及びＢ信号処理部１０９により画像処理された後、画像合成処理部１１０に送られる。

一方で、ステップＳ３０４において、補正量生成部１１３は、撮影モード別の補正量が予め記憶された補正量テーブル１１４を参照し、入力された撮影モードに基づいて、補正量を決定する。

ステップＳ３０７で、画像合成処理部１１０は、ステップＳ３０４で決定された補正量を用いて、Ｒ、Ｇ、Ｂ信号の画像合成を行い、視差を補正した画像ＯＵＴを得る。

使用者は改めて画像の移動量等を入力することなく、視差補正された画像を得ることができる。

ここで、ステップＳ３０４で参照される補正量テーブル１１４のデータ、すなわち撮影モード別の補正量を決定する方法の詳細な例を説明する。

補正量テーブル１１４には、予め各撮影モードに対応した補正量が記録されている必要がある。例えば、撮影モードとして、マクロ撮影モード、ポートレート撮影モード、遠景撮影モードが選択可能である場合に、マクロ撮影モードでの被写体距離は１５ｃｍ、ポートレート撮影モードでは１．５ｍ、遠景撮影モードでは３ｍと事前に規定し、それぞれの被写体距離に応じた補正量が、各撮影モードと関連付けられて、テーブルに記憶される。

各撮影モードに対応した補正量を決定する方法の例を説明する。

図１３は、撮像光学系が焦点距離ｆ：４ｍｍ、複眼間距離ｓ：２ｍｍ、イメージセンサ画素ピッチ：３μｍの場合、被写体距離ｄとズレ量ｅの関係を示すグラフである。図１３に示すような被写体距離ｄとズレ量ｅの関係を示すカーブの形状は、複眼撮像装置２００の設計値（焦点距離ｆ、複眼間距離ｓ等）によって決定される。図１３（ａ）は被写体距離が極近距離から遠距離までの場合のズレ量を、図１３（ｂ）は極近距離から近距離までの被写体距離のズレ量を示す。

遠景撮影モードの場合、撮影した画像に含まれる被写体は、１．５ｍ〜無限遠方の距離のものであると仮定できる。ここで、無限遠方とは、視差が無視できる程度に十分な距離である。すなわち、無限遠方にある被写体の視差量（ズレ量）は０と考えられる。被写体距離が１．５ｍの被写体のズレ量は、図１３（ｂ）より、５．３μｍである。これは２画素ピッチ程度のズレ量である。

画像の中に、被写体距離が１．５ｍの被写体と、３ｍの被写体と、無限遠方の被写体が含まれているモデルを考えた場合、補正量を５．３μｍとして画像を移動させると、１．５ｍの被写体は、ズレ量が修正されて０になり、３ｍの被写体は、逆方向に２．６μｍ（−２．６μｍ）のズレ量となり、無限遠方の被写体には逆方向に５．３μｍ（―５．３μｍ）のズレ量が発生することになる。したがって、画像全体での平均ズレ量の絶対値は、｜０−２．６−５．３｜／３≒２．６３μｍとなる。

このように、画像全体での平均ズレ量の絶対値を計算して、この値が基準値以下になるように、補正量を調整することが好ましい。例えば、画像全体での平均ズレ量の絶対値が１画素ピッチ以下になるように補正すれば、画像全体として、視差の目立たない合成画像を得ることができる。被写体距離が１．５ｍ〜無限遠方の被写体を含む画像の場合、補正量を２．７μｍと設定する事により、画像全体の平均ズレ量は２．７μｍ以下（１画素以下）とすることができる。その結果、画像全体で優れた画質を実現することができる
なお、上記説明においては、遠景撮影の際に、画像の中に、被写体距離が１．５ｍ、３ｍ、無限遠方の被写体が含まれているモデルで、画像全体の平均ズレ量を求める例を挙げたが、モデルはこれに限られず、一般的な撮影態様に合わせて適宜設定することができる。

近距離撮影モードの場合、撮影した画像に含まれる被写体は、被写体距離が１ｍ〜３ｍのものであると仮定できる。図１３（ｂ）より被写体距離が１ｍではズレ量は８μｍ、３ｍでは２．７μｍである。被写体距離が１ｍの被写体と被写体距離が３ｍの被写体のズレ量差は５．３μｍとなり、２画素ピッチ程度である。そこで、例えば、補正量を５．３μｍと設定する事により、１ｍの被写体のズレ量は、８μｍ−５．３μｍ＝２．７μｍとなり、３ｍの被写体のズレ量は、２．７μｍ−５．３μｍ＝−２．６μｍとなる。したがって、画像全体の平均ズレ量は２．７μｍ以下（１画素以下）となる。このように、１ｍ〜３ｍの被写体距離にある被写体に対して平均ズレ量の絶対値が１画素以下になるように補正量を設定することで、画像全体として視差が目立たない、優れた画質の合成画像が得られる。

極近距離撮影では、その撮影の特徴より、異なる撮影距離のものが撮影画像写り込む場合は稀である。そこで、極近距離撮影モードの場合は、対応被写体距離に幅をもたせず、通常よく使われる被写体距離のズレ量をそのまま補正量とすることが好ましい。この場合は、被写体距離が１５ｃｍで補正量が５３．３μｍが適切と考えられる。

実施の形態１および実施の形態２にかかる撮像装置によれば、以下の従来技術の課題を克服することができる。

従来技術では、この補正量を各画像より抽出していた。これにより、視差補正量を検出する演算装置は多大な計算能力とメモリ容量を必要とし、モバイル用途などの限られたスペース、コスト、演算能力、電源能力では実現が困難であり、機器への搭載の大きな妨げとなっていた。

実施の形態１および実施の形態２にかかる撮像装置においては、従来大規模な演算に頼っていた処理を、補正情報入力部１１１が、使用者の判断による適切な補正情報を得ることで軽減することができる。したがって、必要スペース、コスト、必要演算能力、必要電源能力等を大きく改善することができ、例えば、モバイル機器等にも搭載可能な複眼撮像装置を提供することができる。

なお、本発明は、上述した実施形態の撮像装置に限定されず、複数の機器から構成されるシステムに適用しても良い。前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を備える複数の機器からなるシステムあるいは装置を構築してもよい。この場合、そのシステムあるいは装置が有する演算装置（例えば、ＣＰＵ、ＭＰＵまたはＤＳＰ）が、記憶媒体に格納されたプログラムコードを読み出し実行することになる。

そのため、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体として、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭを用いることができる。

また、必ずしも、コンピュータが読み出したプログラムコードのみを実行することにより、前述した実施形態の機能が実現される必要はない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能を実現してもよい。

さらに、プログラムコードを実行する演算装置は、１つだけである必要はない。例えば、コンピュータのＣＰＵによって記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、拡張ボードや拡張ユニットに備わるＣＰＵなどが拡張処理を行うことにより、実際の処理の一部または全部を行い、前述した実施形態の機能を実現することができる。

以上説明したように、本実施の形態によれば、視差を有する複数の撮像光学系を介して撮像された撮像画像において、スペース、コスト、演算能力、メモリ容量、電源能力を考慮しながら、像ズレや色ズレの原因となる複眼の視差を含む画像から、視差の目立たない画像を合成することができる画像処理装置等を提供することができる。

本発明にかかる画像処理プログラムおよび撮像装置は、スペース、コスト、演算能力、メモリ容量、電源能力を抑えつつ、複数の撮像光学系を用いて得られた複数の画像を処理することができる画像処理プログラムおよび撮像装置として利用可能である。

実施の形態１にかかる複眼撮像装置の構成を表す機能ブロック図である。 イメージセンサ１０５で撮影される画像の一例を示す図である。 図２に示す画像における被写体と撮像光学系１０２との距離を示す図である。 イメージセンサ１０４で撮影される画像の一例を示す図である。 イメージセンサ１０６で撮影される画像の一例を示す図である。 複数の撮影光学系が配置された場合の構成を示す図である。 被写体距離とズレ量の関係を示すグラフである。 複眼撮像装置１００の撮影時の動作を示すフローチャートである。 補正する領域を入力する形態の例を示す図である。 本発明の別の実施形態を示す図である。 実施の形態２にかかる複眼撮像装置の構成を表す機能ブロック図である。 実施の形態２における撮像装置の撮影時の動作を示すフローチャートである。 本発明の実施形態の被写体距離とズレ量の関係を示すグラフである。 従来の複眼撮像装置の構成ブロック図である。 従来例による色ズレを説明する図である。

符号の説明

１ 撮影光学系
２ 撮影光学系
３ 撮影光学系
４ イメージセンサ
５ イメージセンサ
６ イメージセンサ
７ Ｒ信号処理部
８ Ｇ信号処理部
９ Ｂ信号処理部
１０ 画像合成処理
１０１ 撮影光学系
１０２ 撮影光学系
１０３ 撮影光学系
１０４ イメージセンサ
１０５ イメージセンサ
１０６ イメージセンサ
１０７ Ｒ信号処理部
１０８ Ｇ信号処理部
１０９ Ｂ信号処理部
１１０ 画像合成処理
１１１ 補正情報入力部
１１２ 表示部
１１３ 補正量生成部
１１４ 補正量テーブル
１２１ 近距離物体
１２２ 極近距離物体
１２３ 遠距離物体
２０１ 撮影レンズ
２０２ 撮影レンズ
２０４ イメージセンサ
２０５ イメージセンサ

Claims (16)

1. 視差を有する複数の撮像光学系を介して複数の撮像画像を得る撮像部と、
   前記複数の撮像画像間の視差を補正する量を直接的または間接的に表す補正情報の入力を使用者から受け付ける補正情報入力部と、
   前記補正情報入力部で入力された前記補正情報に基づいて前記複数の撮像画像を合成する合成部とを備える撮像装置。
2. 前記補正情報は、前記複数の撮像画像間の前記視差によるズレを修正するために、前記複数の撮像画像のうち、少なくとも１つの画像の全体または一部を移動させる際の移動量を含み、
   前記合成部は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成する請求項１に記載の撮像装置。
3. 前記補正情報は、撮影時における前記撮像光学系と被写体との距離を表す被写体距離情報を含み、
   前記被写体距離情報に基づいて、前記複数の撮像画像間の視差を修正するように、前記複数の撮像画像のうち、少なくとも１つの画像の全体または一部を移動させる際の移動量を生成する補正量生成部をさらに備え、
   前記合成部は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成する請求項１に記載の撮像装置。
4. 前記補正情報入力部は、補正情報として少なくとも撮影モードを入力するものであって、
   前記撮影モードは、少なくとも前記光学撮像系と被写体との距離によって定められているモードであり、
   前記補正情報入力部で入力された撮影モードに基づいて、前記複数の撮像画像間の前記視差によるズレを修正するために、前記複数の撮像画像のうち、少なくとも１つの画像の全体または一部を移動させる際の移動量を生成する補正量生成部をさらに備え、
   前記合成部は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成する請求項１に記載の撮像装置。
5. 前記撮影モードは、接写を行うモード、近景撮影を行うモードおよび遠景撮影を行うモードのうち、少なくとも１つを含む請求項４に記載の撮像装置。
6. 前記移動量が、前記補正情報入力部で入力可能である撮影モードと対応づけられて記録されている補正量テーブルをさらに備え、
   前記補正量生成部は、前記補正情報入力部で入力された撮影モードに基づいて、前記補正テーブルを参照し、前記撮影モードに対応した移動量を得る請求項４に記載の撮像装置。
7. 前記補正情報は、前記撮像画像内の領域であって、補正をするべき領域を示す情報を含む請求項１に記載の撮像装置。
8. 前記合成部で合成された画像を表示する表示部をさらに備える請求項１に記載の撮像装置。
9. 視差を有する複数の撮像光学系を介して得られた複数の撮像画像を合成する処理をコンピュータに実行させる画像処理プログラムであって、
   前記複数の撮像画像間の視差を補正する量を直接的または間接的に表す補正情報の入力を使用者から受け付ける補正情報入力処理と、
   前記補正情報入力処理で入力された補正情報に基づいて、前記複数の撮像画像を合成する合成処理とをコンピュータに実行させる画像処理プログラム。
10. 前記補正情報は、前記複数の撮像画像間の前記視差によるズレを修正するために、前記複数の撮像画像のうち、少なくとも１つの画像の全体または一部を移動させる際の移動量を含み、
    前記合成処理は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成する請求項９に記載の画像処理プログラム。
11. 前記補正情報は、撮影時における前記撮像光学系と被写体との距離を表す被写体距離情報を含み、
    前記被写体距離情報に基づいて、前記複数の撮像画像間の視差を修正するように、前記複数の撮像画像のうち、少なくとも１つの画像の全体または一部を移動させる際の移動量を生成する補正量生成処理をさらにコンピュータに実行させ、
    前記合成処理は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成する請求項９に記載の画像処理プログラム。
12. 前記補正情報入力処理は、補正情報として少なくとも撮影モードを入力する処理であって、
    前記撮影モードは、少なくとも前記光学撮像系と被写体との距離によって定められているモードであり、
    前記補正情報入力処理で入力された撮影モードに基づいて、前記複数の撮像画像間の前記視差によるズレを修正するために、前記複数の撮像画像のうち、少なくとも１つの画像の全体または一部を移動させる際の移動量を生成する補正量生成処理をさらにコンピュータに実行させ、
    前記合成処理は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成する請求項９に記載の画像処理プログラム。
13. 前記撮影モードは、接写を行うモード、近景撮影を行うモードおよび遠景撮影を行うモードのうち、少なくとも１つを含む請求項１２に記載の画像処理プログラム。
14. 前記補正量生成処理は、前記補正情報入力部で入力された撮影モードに基づいて、前記移動量が、前記補正情報入力処理で入力可能である撮影モードと対応づけられて記録されている補正量テーブルを参照し、前記撮影モードに対応した移動量を得る請求項１２に記載の画像処理プログラム。
15. 前記補正情報は、前記撮像画像内の領域であって、補正をするべき領域を示す情報を含む請求項９に記載の画像処理プログラム。
16. 前記合成処理で合成された画像を表示する表示処理をさらにコンピュータに実行させ、
    前記表示処理と同時に前記補正情報入力処理による入力の受付を行う処理をコンピュータに実行させる請求項９に記載の画像処理プログラム。
    
    

Images