JP2006173919A - 撮像装置および画像処理プログラム - Google Patents
撮像装置および画像処理プログラム Download PDFInfo
- Publication number
- JP2006173919A JP2006173919A JP2004361837A JP2004361837A JP2006173919A JP 2006173919 A JP2006173919 A JP 2006173919A JP 2004361837 A JP2004361837 A JP 2004361837A JP 2004361837 A JP2004361837 A JP 2004361837A JP 2006173919 A JP2006173919 A JP 2006173919A
- Authority
- JP
- Japan
- Prior art keywords
- image
- correction
- amount
- correction information
- captured images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】 演算能力、メモリ容量等を抑えつつも、視差の目立たない画像を合成することができる画像処理プログラムおよび撮像装置を提供する。
【解決手段】 撮像装置は、視差を有する複数の撮像光学系101、102、103を介して複数の撮像画像を撮像する撮像部と、複数の撮像画像間の視差を補正する量を直接的または間接的に表す補正情報を入力する補正情報入力部111と、補正情報に基づいて、補正量を生成する補正量生成部113と、補正量生成部で生成された補正量に基づいて複数の撮像画像を合成する合成部110とを備える。
【選択図】 図1
【解決手段】 撮像装置は、視差を有する複数の撮像光学系101、102、103を介して複数の撮像画像を撮像する撮像部と、複数の撮像画像間の視差を補正する量を直接的または間接的に表す補正情報を入力する補正情報入力部111と、補正情報に基づいて、補正量を生成する補正量生成部113と、補正量生成部で生成された補正量に基づいて複数の撮像画像を合成する合成部110とを備える。
【選択図】 図1
Description
本発明は、複数の撮像光学系を用いて得られた複数の画像を処理する撮像装置および画像処理プログラムに関するものである。
近年、撮像光学機器、特にデジタルスチルカメラ(以下DSC(digital still camera))やデジタルビデオカメラ(以下DVC(digital video camera))における撮像画像品質の向上が図られている。
撮像画像の品質を向上させる方法として、複数の撮像光学系(複眼撮像系)を用いて得られた複数の画像を合成することにより1つの高精細な画像を得る方法が開示されている(例えば、非特許文献1参照)。この方法においては、複数のカメラで撮像した画像情報を統合、再生することで、単独のカメラのみを用いた場合より、高精細な画像を得ることができる。
図14は、複数の撮像光学系を用いた撮像装置の構成を表す概略図である。
図14に示す撮像装置は、複数の撮像光学系1、2、3およびそれらに対応する複数のイメージセンサ4、5、6、複数の信号処理部7、8、9ならびに画像合成処理部10を備える。被写体の像は、撮像光学系1、2、3を介して、各イメージセンサ4、5、6に結像される。各イメージセンサ4、5、6の撮像受光特性は互いに異なっている。イメージセンサ4は赤(R)波長領域を撮像し、イメージセンサ5は緑(G)波長領域を撮像し、イメージセンサ6は青(B)波長領域を撮像する。各イメージセンサ4、5、6の撮像信号は、それぞれR信号処理部7、G信号処理部8、及びB信号処理部9により画像処理された後、画像合成処理部10により合成されてカラー画像として出力される。
図14に示す撮像装置においては、複数の撮像光学系1、2、3の撮影光軸は互いに異なっている。すなわち、撮像光学系1、2、3の撮影光軸は、被写体位置bで、互いにθの角度(輻射角)で交わっている。被写体位置bでの輻射角をθに固定した場合、被写体位置a、cでは最適な輻射角がθと異なるため、複数の撮像光学系1、2、3による撮影画像にズレが生じてしまう。
この点について図15を用いて説明する。図15(a)、(b)、(c)は、複数の撮像光学系1、2、3による撮影画像を合成した合成画像を示す図である。図15(a)、(b)、(c)に示す合成画像は、黒の背景に丸い白い被写体を撮影した場合の画像である。図15(a)は、被写体位置a、図15(b)は被写体位置b、図15(c)は被写体位置cに被写体が存在する場合の画像を示している。
被写体位置aの場合、図15(a)に示すように、輻射角が適切でないためにG画像に対してR画像とB画像はそれぞれ左右にずれた画像となり、合成後の画像はそのずれた分色ズレとして出力されてしまう。ずれたことにより、B画像が欠落した部分はG画像とR画像によりイエロー(Ye)になり、R画像が欠落した部分はG画像とB画像によりシアン(Cy)となり、B画像とR画像が欠落した部分はGとなる。この時複数の光学系の光軸が一次元に配置しているためにその配置方向の一次元のズレであるが、二次元に配置した場合は二次元のズレになり、その場合G画像が欠落した部分にR画像とB画像からなるマジェンダ(Mg)が生じることとなる。
被写体位置bの場合、図15(b)に示すように、輻射角が適切に設定されているために色ズレのない高精細な画像を出力される。
被写体位置cの場合は、図15(c)に示すように、前述被写体位置aに対しRとB画像がそれぞれ左右逆方向にずれた合成画像となる。
このような視差によるズレ補正の方法として、第1の撮像光学系から得られる画像中の像の点に対応する、第2の撮像光学系から得られる画像中の仮想の像点を検出する補間処理を行い、それぞれの画像を合成する方法が提案されている(例えば、特許文献1参照)。
さらに、輻輳のある複数の撮像光学系から得られた画像を合成変換することにより、輻輳によって生じる歪みが補正された合成画像を得る方法も開示されている(例えば、特許文献2参照)。
また、画像中にカメラからの距離が異なる複数の被写体が写っている場合のように、被写体によりズレ量が異なる場合の画像合成方法についても提案されている(例えば、特許文献3参照)。この提案にかかる装置は、複数の撮像手段により撮像された撮影画像の複数領域からパララックス量(視差量)を検出する検出手段を備え、このパララックス量が所定範囲の領域を優先してパララックスの補正量を求め、補正量に基づいて、複数の撮影画像から画像を合成するものである。
上記従来の装置によれば、被写体によりズレ量が異なる場合の被写体に合わせたズレ量を演算して視差の目立たない画像を合成することができる。
特開平06-195447号公報
特許第2883264号
特開2002-330332号公報
相澤清晴、斎藤隆弘、小松隆、「超高精細画像取得のための基礎検討」、画像電子学会予稿90−03−04、画像電子学会、1990年10月26日、第118回研究会講演予稿集90−03、p.23−28
しかしながら、上記従来の方法においては、複数の画像を比較することにより、視差によるズレ量を検出しているため、視差補正のズレ量を検出する演算装置に多大な計算能力とメモリ容量が必要となる。そのため、モバイル用途などの限られたスペース、コスト、演算能力、電源能力では視差補正機能の実現が困難であり、機器への搭載の大きな妨げとなっていた。
本発明は上記従来の問題点に鑑み、スペース、コスト、演算能力、メモリ容量、電源能力を抑えつつも、視差を有する複数の撮像光学系を介して撮像された複数の撮像画像から、視差の目立たない画像を合成することができる画像処理プログラムおよび撮像装置を提供することを目的とする。
本発明にかかる撮像装置は、視差を有する複数の撮像光学系を介して複数の撮像画像を得る撮像部と、前記複数の撮像画像間の視差を補正する量を直接的または間接的に表す補正情報の入力を使用者から受け付ける補正情報入力部と、前記補正情報入力部で入力された前記補正情報に基づいて前記複数の撮像画像を合成する合成部とを備える。
本発明にかかる画像処理プログラムは、視差を有する複数の撮像光学系を介して得られた複数の撮像画像を合成する処理をコンピュータに実行させる画像処理プログラムであって、前記視差を補正する量を直接的または間接的に表す補正情報の入力を使用者から受け付ける補正情報入力処理と、前記補正情報入力処理で入力された補正情報に基づいて、前記複数の撮像画像を合成する合成処理とをコンピュータに実行させる。
本発明によれば、スペース、コスト、演算能力、メモリ容量、電源能力を抑えつつも、視差を有する複数の撮像光学系を介して撮像された複数の撮像画像から、視差の目立たない画像を合成することができる。
本発明にかかる撮像装置は、視差を有する複数の撮像光学系を介して複数の撮像画像を得る撮像部と、前記複数の撮像画像間の視差を補正する量を直接的または間接的に表す補正情報の入力を使用者から受け付ける補正情報入力部と、前記補正情報入力部で入力された前記補正情報に基づいて前記複数の撮像画像を合成する合成部とを備える。
前記補正情報入力部で、視差を補正する量を直接的または間接的に表す補正情報が入力されるので、補正情報を基に、視差を補正する量が一意的得られる。すなわち、視差によるズレ量を計算する処理を行わずに補正量が得られる。そのため、合成部では、少ない計算量で求められた補正量に基づいて複数の撮像画像が合成される。その結果、スペース、コスト、演算能力、メモリ容量、電源能力を抑えつつも、視差の目立たない画像を合成することができる。
本発明にかかる撮像装置において、前記補正情報は、前記複数の撮像画像間の前記視差によるズレを修正するために、前記複数の撮像画像のうち、少なくとも1つの画像の全体または一部を移動させる際の移動量を含み、前記合成部は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成することが好ましい。
このように、補正情報として、前記複数の撮像画像のうち、少なくとも1つの画像の全体または一部を移動させる際の移動量が入力されることで、複数の撮像画像間のズレ量を計算することなく画像を補正する量が得られる。そのため、合成部は、少ない計算量で得られた移動量に基づいて、画像を移動させるので、複数の撮像画像間の視差によるズレが修正された合成画像を少ない計算量で得ることができる。
本発明にかかる撮像装置において、前記補正情報は、撮影時における前記撮像光学系と被写体との距離を表す被写体距離情報を含み、前記被写体距離情報に基づいて、前記複数の撮像画像間の視差を修正するように、前記複数の撮像画像のうち、少なくとも1つの画像の全体または一部を移動させる際の移動量を生成する補正量生成部をさらに備え、前記合成部は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成することが好ましい。
このように、補正情報として、撮影時における前記撮像光学系と被写体との距離を表す被写体距離情報が入力されるので、補正量生成部は、被写体距離情報を得ることにより、複数の撮像画像間の視差量すなわちズレ量を得ることができる。そのため、補正量生成部は、視差量を基に、複数の撮像画像間の視差を修正するように画像を移動させる移動量を少ない計算量で求めることができる。合成部は、移動量に基づいて画像を移動させる補正を伴って複数の撮像画像を合成するので、少ない計算量で求められた補正量に基づいて合成を行うことができる。
本発明にかかる撮像装置において、前記補正情報入力部は、補正情報として少なくとも撮影モードを入力するものであって、前記撮影モードは、少なくとも前記光学撮像系と被写体との距離によって定められているモードであり、前記補正情報入力部で入力された撮影モードに基づいて、前記複数の撮像画像間の前記視差によるズレを修正するために、前記複数の撮像画像のうち、少なくとも1つの画像の全体または一部を移動させる際の移動量を生成する補正量生成部をさらに備え、前記合成部は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成することが好ましい。
前記補正情報受付部は、補正情報として、少なくとも光学撮像系と被写体との距離によって定められる撮影モードの入力を受け付けるので、入力データが単純なものになる。その結果、撮像装置の使用者にとって、補正情報の入力が容易となる。
また、入力される撮影モードは、少なくとも光学撮像系と被写体との距離によって定められているモードであるので、補正量生成部は、入力された撮影モードを得ることにより、撮像光学系と被写体との距離を表す情報を得ることになる。そのため、補正量生成部は、撮影モードを基に、複数の撮像画像間の視差を修正するように画像を移動させる移動量を少ない計算量で求めることができる。
本発明にかかる撮像装置において、前記撮影モードは、接写を行うモード、近景撮影を行うモードおよび遠景撮影を行うモードのうち、少なくとも1つを含むことが好ましい。
本発明にかかる撮像装置において、前記移動量が、前記補正情報入力部で入力可能である撮影モードと対応づけられて記録されている補正量テーブルをさらに備え、前記補正量生成部は、前記補正情報入力部で入力された撮影モードに基づいて、前記補正テーブルを参照し、前記撮影モードに対応した移動量を得ることが好ましい。
前記補正量テーブルには、移動量が、前記補正情報入力部で入力可能である撮影モードと対応づけられて記録されているので、前記補正量生成部は、前記補正量テーブルを参照して、入力された撮影モードに対応する移動量を、少ない処理で得ることができる。そのため、補正量生成部は、撮影モードを基に、複数の撮像画像間の視差を修正するように画像を移動させる移動量を少ない計算量で求めることができる。
本発明にかかる撮像装置において、前記補正情報は、前記撮像画像内の領域であって、補正をするべき領域を示す情報を含むことが好ましい。
前記複数の撮像画像において、例えば、画像中にカメラからの距離が異なる複数の被写体が写っている場合のように、画像内で視差量が異なる領域が存在する場合がある。この場合に、視差量が他と異なる領域を検出するには多大な計算量とメモリ容量が必要となる。本発明にかかる画像処理プログラムにおいては、補正をするべき領域を示す情報を補正情報として入力されるので、この視差量が他と異なる領域を検出する計算を行う必要がない。そのため、少ない計算量で、撮像画像内の視差量に応じた補正量が得られる。
本発明にかかる撮像装置において、前記合成部で合成された画像を表示する表示部をさらに備えることが好ましい。
前記表示部によって合成された画像が表示されるので、補正情報を入力する者は、合成部によって合成された画像を見ながら、適切な補正情報を入力することができる。
本発明にかかる画像処理プログラムは、視差を有する複数の撮像光学系を介して得られた複数の撮像画像を合成する処理をコンピュータに実行させる画像処理プログラムであって、前記複数の撮像画像間の視差を補正する量を直接的または間接的に表す補正情報の入力を使用者から受け付ける補正情報入力処理と、前記補正情報入力処理で入力された補正情報に基づいて、前記複数の撮像画像を合成する合成処理とをコンピュータに実行させるをコンピュータに実行させる。
本発明にかかる画像処理プログラムにおいて、前記補正情報は、前記複数の撮像画像間の前記視差によるズレを修正するために、前記複数の撮像画像のうち、少なくとも1つの画像の全体または一部を移動させる際の移動量を含み、前記合成処理は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成することが好ましい。
本発明にかかる画像処理プログラムにおいて、前記補正情報は、撮影時における前記撮像光学系と被写体との距離を表す被写体距離情報を含み、前記被写体距離情報に基づいて、前記複数の撮像画像間の視差を修正するように、前記複数の撮像画像のうち、少なくとも1つの画像の全体または一部を移動させる際の移動量を生成する補正量生成処理をさらにコンピュータに実行させ、前記合成処理は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成することが好ましい。
本発明にかかる画像処理プログラムにおいて、前記補正情報入力処理は、補正情報として少なくとも撮影モードを入力する処理であって、前記撮影モードは、少なくとも前記光学撮像系と被写体との距離によって定められているモードであり、前記補正情報入力処理で入力された撮影モードに基づいて、前記複数の撮像画像間の前記視差によるズレを修正するために、前記複数の撮像画像のうち、少なくとも1つの画像の全体または一部を移動させる際の移動量を生成する補正量生成処理をさらにコンピュータに実行させ、前記合成処理は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成することが好ましい。
本発明にかかる画像処理プログラムにおいて、前記撮影モードは、接写を行うモード、近景撮影を行うモードおよび遠景撮影を行うモードのうち、少なくとも1つを含むことが好ましい。
本発明にかかる画像処理プログラムにおいて、前記補正量生成処理は、前記補正情報入力部で入力された撮影モードに基づいて、前記移動量が、前記補正情報入力処理で入力可能である撮影モードと対応づけられて記録されている補正量テーブルを参照し、前記撮影モードに対応した移動量を得ることが好ましい。
本発明にかかる画像処理プログラムにおいて、前記補正情報は、前記撮像画像内の領域であって、補正をするべき領域を示す情報を含むことが好ましい。
以下、本発明の実施の形態を図面を参照しながら説明する。
本発明にかかる画像処理プログラムは、前記合成処理で合成された画像を表示する表示処理をさらにコンピュータに実行させ、前記表示処理と同時に前記補正情報入力処理による入力の受付を行う処理をコンピュータに実行させることが好ましい。
(実施の形態1)
図1は、実施の形態1にかかる複眼撮像装置の構成を表す機能ブロック図である。
(実施の形態1)
図1は、実施の形態1にかかる複眼撮像装置の構成を表す機能ブロック図である。
図1に示す複眼撮像装置100は、複数の撮像光学系101、102、103と、それらに対応する複数のイメージセンサ104、105、106と、複数の信号処理部107、108、109とを備える。さらに、複眼撮像装置100は、画像合成処理部110、補正情報入力部111、表示部112、補正量生成部113を備える。
複数の撮像光学系101、102、103の撮影光軸は互いに異なっている。すなわち、撮像光学系102の撮影光軸に対して、撮像光学101、103の撮影光軸は、傾斜した状態に配置される。
被写体の像は、撮像光学系101、102、103を介して、各イメージセンサ104、105、106に結像される。それぞれのイメージセンサ104、105、106には同一被写体が結像される。
なお、撮像光学系101、102、103の光軸は互いに平行としてもよい。例えば、無限遠の光源を基準として撮像光学系101、102、103を設定した場合は、これらの光軸は互いに平行になる。
各イメージセンサ104、105、106の撮像受光特性は互いに異なっている。イメージセンサ104は赤(R)波長領域を撮像し、イメージセンサ105は緑(G)波長領域を撮像し、イメージセンサ106は青(B)波長領域を撮像する。各イメージセンサ104、105、106に波長依存性を持たせても良いし、フィルタなどを挿入することにより波長選択性を実現しても良い。
各イメージセンサ104、105、106の撮像信号は、それぞれR信号処理部107、G信号処理部108、及びB信号処理部109により画像処理された後、画像合成処理部110に送られる。
補正情報入力部111は、例えば、複眼撮像装置100の使用者から、各イメージセンサ104、105、106で撮像された画像間の視差を補正する量を直接的または間接的に表す補正情報の入力を受け付ける。
補正量生成部113は、入力された補正情報から、各イメージセンサ104、105、106で撮像された画像間の視差を補正する補正量を求める。補正量生成部113は、補正量を画像合成処理部110に送る。
画像合成処理部110は、R、G、B信号処理部107、108、109から送られてきた画像を、補正量生成部113から送られてきた補正量に基づいて補正した上で合成する。合成された画像は、カラー画像としてOUT端子へ出力される。OUT端子は、例えば、フラッシュメモリ等の記録装置(図示せず)に接続されている。また、画像処理回路110は、合成した画像を表示部112にも出力する。
画像合成処理部110の機能は、例えば、DSP(Digital Signal Processor)、CPUまたはMPU等が、所定のプログラムを実行することで実現することができる。そのため、撮像装置100は、DSP等の演算装置と、プログラムや画像データ等を記録する記録装置を少なくとも備える必要がある。
ここで、各イメージセンサ104、105、106により撮影された画像間で生じる視差について説明する。
図2は、イメージセンサ105で撮影される画像の一例を示す図である。図2に示すように、通常、画像には、撮影ターゲットとしての被写体121の他に多くの物体122、123が写り込む。図3は、それぞれの被写体121、122、123の位置関係すなわち、被写体と撮像光学系102との距離(以下、被写体距離と称する)を示す図である。被写体122(葉)は極近距離物体、被写体121(アヒル)は近距離物体、被写体123(背景)は遠距離物体である。
被写体距離が約1m以下の場合を極近距離、被写体距離が約1m〜3mの場合を近距離、被写体距離が約3m以上の場合を遠距離とする。
図4は、イメージセンサ104で撮影される画像の一例を、図5は、イメージセンサ106で撮影される画像の一例を示す図である。図4および図5に示す画像は、図2に示す画像の撮影と同時に撮影されたものである。図4および図5においては、視差量が分かりやすいように、波線で図2に示す画像を表示している。
図4に示す画像では、撮像光学系101と撮像光学系102との間の視差により、ほぼ全ての映像が、図2の画像に比べて図面上の右方向へ移動していることが分かる。そのズレ量は、被写体距離が小さくなる程に大きくなる。近距離物体と遠距離物体のズレ量は、極近距離物体に比べて小さい。
同様に、図5に示す画像では、撮像光学系103と撮像光学系101との間の視差により、ほぼ全ての映像が、図2の画像に比べて図面上の左方向へ移動していることが分かる。そのズレ量は、図4に示す画像と同様に、被写体距離が小さくなる程に大きくなる。近距離物体と遠距離物体のズレ量は、極近距離物体に比べて小さい。
複眼撮像装置100において、撮像光学系101、102の間隔と撮像光学系102、103の間隔は等しくなるように配置されている。また、イメージセンサ104、105の間隔とイメージセンサ105、106の間隔は等しくなるように配置されている。そのため、図4に示す画像と図2に示す画像とのズレは、図5に示す画像と図2に示す画像とのズレと、方向が異なるだけで、ズレ量は同じである。
次に、撮像光学系と被写体との間の距離とズレ量の関係を説明する。図6は、複数の撮影光学系が配置された場合の構成を示す図である。
図6に示す構成においては、2つの撮影レンズ201、202と、2つのイメージセンサ204、205が配置されている。撮影レンズ201、202の光軸は、無限遠の光源を基準として設定されるので、互いに平行となる。また、撮影レンズ201、202の光軸は、イメージセンサ204、205の中心を通る。
ここで、撮影レンズ202から被写体までの距離を被写体距離d、撮像レンズ202とイメージセンサ205の間の距離を焦点距離f、撮影レンズ201と撮影レンズ202との距離を複眼間距離sとする。
図6に示すように、被写体距離dの位置において、撮影レンズ201への光路と、撮影レンズ202への光路は輻射角θを持つ。被写体距離dの位置にある被写体の像は、イメージセンサ204ではズレ量eだけずれた画像となる。
撮影レンズ201、202の中心、被写体位置で構成する3角形と、撮影レンズ201の中心、イメージセンサ204の中心、イメージセンサ204上の被写体像のズレ位置で構成する3角形は、相似であるので、被写体距離dとズレ量eの関係は下記式(1)で表される。
e=s・f/d ・・・(1)
このズレ量が視差量である。すなわち、視差量は、光学系の設計値(複眼間距離s、焦点距離f)と被写体距離dにより決定される被写体のズレ量である。
e=s・f/d ・・・(1)
このズレ量が視差量である。すなわち、視差量は、光学系の設計値(複眼間距離s、焦点距離f)と被写体距離dにより決定される被写体のズレ量である。
このズレ量をグラフにすると図7の曲線に示すような特性となる。図7に示すグラフにおいて、横軸は被写体距離、縦軸はズレ量である。グラフからも分かるように、極近距離で急激にズレ量が増加しており、遠距離になるに従ってズレ量は減少している。グラフに示すような被写体距離dとズレ量eの関係により、例えば、図4および図5に示す画像のズレ量は、撮像装置と被写体との位置関係から一義的に決定できる。
従来は、エッジ抽出、パターンマッチング等の処理を行って複数の画像間のズレ量を求めて視差補正量を計算していた。そのため、視差補正量を検出する演算装置は多大な計算能力とメモリ容量を必要とした。しかし、人が画像を見た場合、画像中に写っている被写体が極近距離のものか、近距離のものかあるいは遠距離のものかは、一瞬で容易に判別できる。また、複数の画像を重ね合わせた場合のズレの部分、ズレの方向、ズレの量も、人は簡単に認識できる。
そこで、本実施の形態における複眼撮像装置100には、補正情報入力部111および補正量生成部113が設けられている。事前に決められた撮影光学系101、102、103より得られる複数の画像の視差を補正する量を直接的または間接的に表す補正情報を、補正情報入力部111が受け付ける。補正量生成部113は、補正情報に基づいて補正量を生成し、画像合成処理部110へ入力する。
入力する補正情報は、例えば、撮影光学系101、102、103より得られる複数の画像間のズレ量を表す距離や画素数等であって、複眼撮像装置100を使っている使用者が直接入力するものである。R,G,B各信号処理部107,108,109から出力された画像を基に、各画像間の視差が算出されるのではなく、使用者が入力した任意の補正情報を基に視差が算出されるのである。つまり、補正情報入力部111は、使用者が補正量を直接的または間接的に表す情報を入力するためのインターフェースを提供することによって、複眼撮像装置100において補正量を算出する処理を軽減している。
次に、本実施の形態における複眼撮像装置100の動作について図1および図8を参照しながら説明する。図8は、複眼撮像装置100の撮影時の動作を示すフローチャートである。
まず、ステップS201では、複眼撮像装置100は、撮像するかどうかを判断し、撮影動作をしないときは「NO」に進みスタートへ戻る。
撮影動作をするときは、ステップS203にて、複眼撮像装置100が光学系のフォーカス調整を行う。
次に、ステップS205で複眼撮像装置100は画像の露出調整を行う。
ステップS206へ進んで複眼のイメージセンサ104、105、106それぞれで被写体を撮像する。イメージセンサ104は赤(R)波長領域を撮像し、イメージセンサ105は緑(G)波長領域を撮像し、イメージセンサ106は青(B)波長領域を撮像する。
ステップS207で、各イメージセンサ104、105、106の撮像信号は、それぞれR信号処理部107、G信号処理部108、及びB信号処理部109により画像処理された後、画像合成処理部110により合成される。
ステップS209では、画像合成処理部110で合成された画像が、カラー画像として表示部112に出力される。1回目に表示される合成画像は、視差補正を行っていない画像である。
ステップS210で、画像合成処理部110は、使用者に対して、表示部110に表示した画像でよいかどうかの入力を促す。使用者は、表示部112に表示された画像を見て、視差補正が必要かどうかを判断する。判断の結果、表示した画像でよい旨の入力を画像合成処理部110が受けた場合は、その表示した画像をOUT端子へ出力し、処理を終了する。表示した画像に不満がある旨の入力を画像合成処理部110が受けた場合は、補正情報入力(ステップS208)の処理を行う。
ステップS208では、補正情報入力部111が、補正情報の入力を受け付ける。補正情報は、使用者が入力する情報であって、視差を補正する量を直接的または間接的に表す情報である。補正情報として、例えば、複数の画像間のズレを修正するための画像の移動量が入力される。画像の移動量は、複数の画像間のズレ量すなわち視差量と同じである場合が多い。
画像の移動量は、例えば、移動させる距離(長さ)や画素数によって入力される。入力方法としては、例えば、数値による入力、ボタンによる入力、ダイアルまたはジョグダイアルによる入力、マウス等のポインティングデバイスによる入力、タッチパネルを利用した入力等が挙げられる。なお、画像の移動量に加えて、移動する方向(または移動する向き)を補正情報として入力できるようにしてもよい。
ステップS211では、補正量生成部113が、入力された移動量から、画像合成処理部113が扱うことができるデータとしての補正量を生成する。移動量が画素数で入力された場合は、補正量生成部113は、入力された移動量をそのまま、補正量として採用し、画像合成処理部110へ送る。移動量が、移動距離(長さ)で入力された場合は、補正量生成部113により画素数に変換される。また、ポインティングデバイス、ボタン、ダイアル、ジョグダイアル等で補正量が入力された場合にも、ポインティングデバイスの移動量、ボタンの押された回数、ダイアルやジョグダイアルの回転等に応じて補正量を生成することができる。
移動量を入力する場合について、図4および図5に示す画像を用いて説明する。図4に示す画像のズレと図5に示す画像のズレは、方向が異なるだけで、ズレ量は同じなので、このズレ量を修正するために画像を移動させる量が入力されるとよい。画像合成処理部110は、図4に示す画像を、入力された移動量だけ、図面上左方向へ移動させる補正を行う。また、画像合成処理部110は、図5に示す画像を、入力された移動量だけ、図面上左方向へ移動させる補正を行う。
なお、入力される移動量は、必ずしも、移動量=ズレ量(視差量)である必要はない。視差量は、被写体と撮像装置との距離によって変化するので、複数の被写体が写っている画像の場合は、それぞれの被写体の視差量は互いに異なる場合が多い。使用者は、画像全体のバランスを考慮して、最も視差によるズレが目立たないように移動量を調節することができる。
ここで、図7に示すグラフから、被写体距離が近距離の場合と遠距離の場合では、ズレ量に大きな差がないことが分かる。そこで、図5および図4に示す画像のように、被写体に遠距離物体123と近距離物体121が含まれている場合は、近距離物体121のズレ量を移動量として入力することにより、遠景および近距離、さらに極近距離近傍までほぼ視差が補正された合成画像を得ることができる。
また、図4および図5に示す画像に含まれる極近距離物体122のように、視差によるズレ量が、他の部分より極端に大きな場合には、そのエリアだけ異なる移動量を入力できることが好ましい。すなわち、撮像画像内の領域であって、補正をするべき領域を示す情報と、その領域毎の移動量を補正情報として、入力できるようにしてもよい。
例えば、図9に示すように、撮影した画像を表示する表示装置124を見ながら、タッチパネルおよび入力デバイス125等で画面124上の領域を指定し、領域毎の移動量を入力することができるインターフェースを補正情報入力部111に設けることができる。補正情報として領域指定および領域ごとの移動量の入力を受け付けることで、より高精細な画像づくりが可能となる。なお、領域指定の方法は、タッチパネルを用いる方法に限られず、画面上に表示されるカーソルを、ボタン、ダイアル、マウス等を動かすことで領域指定をすることができる。
また、使用者が入力デバイス125を用いて行う領域指定を、コンピュータによるエッジ抽出処理で行ってもよい。これにより、入力デバイス125で領域指定する手間と入力デバイス125が不要になる。
また、一般的な使用者が撮影した画像は、画面の中心部にターゲットとなる被写体が位置し、周辺部は被写体と距離が異なる物体が配されることが多い。従って、画像領域を中心部と周辺部に予め設定しておき、画像の中心部および画像の周辺部それぞれについて移動量の入力を受け付ける態様としてもよい。
補正情報入力部111が提供するユーザインターフェースの一例として、例えば、タッチパネル等の入力デバイスで、ベクトル的に補正したいエリアをドラッグ・リリースすることによって移動量を入力できるものを提供することができる。この場合、移動量に加えて移動する方向も入力することができる。
また、番号キー、ボタン、ダイアルのようなメカ的なスイッチ等によって移動量を入力する態様であってもよい。例えば、番号キーで移動量を数値入力する方法、ジョブダイアルを回すと回した分に応じて画像が移動する方法、ボタンを押すたびに、画像が一定量づつ移動する方法等を入力方法として採用できる。これらの場合も移動量だけではなく、移動する方向も入力できるようにしてもよい。
さらに、使用者が撮像装置またはその一部分を振ることによって、移動量を入力できるようにすることができる。例えば、使用者が、画像を見ながら補正したい方向に撮像装置を振ると、この動作を撮像装置内部に設置された加速度センサが検出する。加速度センサが検出した方向と大きさに応じて、画像の移動方向と移動量を、補正量生成部113が生成する態様とすることができる。
移動量は、移動距離または画素数で入力されてもよい。補正情報入力部111は、移動量を移動距離で入力するモードと移動量を画素数で入力するモードとを、使用者が選択できる選択メニューを提供することが好ましい。その際、使用頻度が高いと予想される画素数入力をデフォルト設定とするのが好ましい。
画像合成処理部110は、上記ステップS208で入力された補正情報を基に補正した画像を再度合成し(ステップS207)、表示する(S209)。S210で使用者が望む画像が得られたとの判断が入力されるまで、S208、S211、S207、S209の処理が繰り返される。この繰り返し処理において、使用者は、撮像装置に表示される画像を確認しながら、適切な移動量を入力することができる。
このように、補正情報入力部111によって、入力された補正情報を基に視差補正された画像を都度表示し、画像の満足度を使用者に判断させ、不満足との判断においては、再度、補正情報を補正情報入力部111より入力させる処理系にすることが好ましい。
なお、撮影時の処理の順番は、図8に示すフローチャートの順番に限られるものではない。本実施の形態では、撮影処理(S201)の後に、移動量の入力処理(S208)を行う場合を説明したが。撮影処理(S201)の前に、イメージセンサ104、105、106で撮像される画像を合成したものを表示部112がモニタ表示し、使用者はモニタ表示を見ながら、ピントを合わせる感覚で、移動量等を入力し、視差を補正する態様とすることもできる。
また、本実施の形態では、移動量を入力する場合を説明したが、移動量を直接入力するのでなく、おおよその被写体距離を入力する事によっても同等の効果が得られる。被写体距離と視差量は1対1の関係にあるからである。この場合、補正量生成部113が、補正情報入力部111で入力された被写体距離から補正量を生成する。
ここで、入力された被写体距離から、補正量を求める場合の計算方法の例について説明する。
図6に示す撮像装置において、複眼間距離sと焦点距離fは、撮像装置の設計時に決定される定数である。したがって、上記式(1)において、センサ上でのズレ量(視差量)eは、被写体距離dのみの関数となる。このことを利用して、被写体距離dから視差量eを求めることができる。補正量=視差量の場合は、この視差量eを補正量とすることができる。また、視差量eを画素ピッチで割ることにより、画素ピッチの単位の視差量を得ることができる。
また、使用者が、画像内に補正するべき領域を指定して、指定した領域毎に被写体距離を入力する態様としてもよい。また、例えば、画像の中心部と周辺部に領域を予め設定しておき、それぞれの領域について被写体距離の入力を受け付けることもできる。
本実施の形態においてはR用、G用およびB用の撮像光学系101、102、103が一直線上に配される場合について説明したが、図10に示すように、G用撮像光学系131、R用撮像光学系132、B用撮像光学系133、G用撮像光学系134が、一平面上に並べて配置された構造の撮像装置においても、本実施の形態を適用することができる。
また、本実施の形態では、撮像光学系101、102、103がR用、G用、B用と区別されている場合について説明したが、通常存在する全波長域対応した撮像光学系が複数個存在する複眼撮像装置においても、本実施の形態を適用することができる。
また、本実施の形態では、複眼撮像装置100が、1つの装置で構成される場合について説明したが、装置の構成はこれに限られない。例えば、撮像光学系101、102、103、イメージセンサ104、105、106および信号処理部107、108、109を1つの撮像装置で構成することができる。その場合、画像合成処理部110、補正情報入力部111、表示部112の機能を、例えば、PC(パーソナルコンピュータ)等の演算装置および記憶装置を有する機器で構成し、撮像装置と接続することができる。
(実施の形態2)
実施の形態2にかかる複眼撮像装置は、実施の形態1にかかる複眼撮像装置100と次の点で異なる。
実施の形態2にかかる複眼撮像装置は、実施の形態1にかかる複眼撮像装置100と次の点で異なる。
実施の形態1では、補正情報入力部111が入力する補正情報として、移動量または被写体と撮像装置との距離を表す情報が入力されていたが、実施の形態2では、補正情報として、撮影モードが入力される。
図11は、本実施の形態における複眼撮像装置の構成を表す機能ブロック図である。図11に示す複眼撮像装置200において、図1に示す複眼撮像装置100と同様の部分には、同じ番号を付し、その説明を省略する。
複眼撮像装置200は、補正量テーブル114を備える点で図1に示す複眼撮像装置100と異なっている。補正量生成部113は、補正情報入力部111で入力された撮影モードに基づいて、補正量テーブル114を参照することにより、補正量を生成する。補正量テーブルには、補正情報入力部111で入力されうる撮影モードに対応した補正量が予め記録されている。
以下、複眼撮像装置200の撮影時の動作について説明する。
図12は、複眼撮像装置200の撮影時の動作を示すフローチャートである。
まず、ステップS301で、複眼撮像装置200は、撮像するかどうかを判断し、撮影動作をしないときは「NO」に進みスタートへ戻る。
撮影動作をする場合は、ステップS302で補正情報入力部111は、補正情報として撮影モードの入力を受け付ける。なお、ステップS301とステップS302を一つのステップにしても問題はない。
撮影モードは、被写体距離と連動している。すなわち、撮影モードは、少なくとも被写体距離によって設定されるモードである。例えば、補正情報入力部111は、接写を行うモード、近景撮影を行うモードまたは遠景撮影を行うモードのいずれかを使用者が選択できるようなインターフェースを提供する。
また、撮像モードには、1つの画面中に、被写体距離の異なる複数の被写体を撮影するモードを含めることができる。例えば、上記3つの撮影モードに加え、接写+近景撮影モード、接写+遠景撮影モード、近景+遠景撮影モードのいずれかを使用者が選択できるようにすることができる。
撮影モードの設定例として、例えば、接写を行うモードとしてマクロ撮影モード、近景撮影を行うモードとしてポートレート撮影モード、遠景撮影を行うモードとして風景撮影モードをそれぞれ使用者が選択できるように設定することができる。また、例えば、近景+遠景撮影モードとして、画面中心部の被写体より近距離の被写体が画面周辺部に写り込んでいる状態を示すモード等を使用者が選択可能な撮影モードに含めることもできる。
これにより、使用者は、ターゲットとする被写体の位置に合ったモードを選択して入力することができる。例えば、花等の接写を行う場合にはマクロ撮影モードを選択、人物を撮影する場合にはポートレート撮影モードを選択、風景を撮影する場合には風景撮影モードを選択することができる。
なお、撮影モードの設定例は、上記した例に限られない。例えば、被写体の位置に加えて、被写体の性質や撮影状況等も考慮したモードを選択可能にすることができる。上記した撮影モード例の他に、近景撮影を行うモードまたは近景+遠景撮影モードの例として、記念撮影モード、遠景撮影を行うモードの例として、夜景撮影モード、花火撮影モード、等が挙げられる。
撮影モードの入力は、例えば、使用者が、表示部112で表示されるメニュー画面上で撮影モードを指定することで入力される。また、使用者が、ダイアルを回して、ダイアルに記されている撮影モードと選択位置を示すマークを合わせることにより、所望の撮影モードを選択入力できるようにしてもよい。さらに、使用者が、モード切替ボタンを押す毎にモードが切り替わるようする方法や使用者がそれぞれのモードに割り当てられたボタンを押すことによりモードを選択する方法等を入力方法として用いることができる。
ステップS303では、複眼撮像装置200が、ステップS302により入力された撮影モードを元に、光学系のフォーカス調整を行う。
ステップS305で、複眼撮像装置200は、ステップS302で入力された撮影モードに従い画像の露出調整を行う。
ステップS306へ進んで複眼のイメージセンサ104、105、106それぞれで被写体を撮像する。イメージセンサ104は赤(R)波長領域を撮像し、イメージセンサ105は緑(G)波長領域を撮像し、イメージセンサ106は青(B)波長領域を撮像する。各イメージセンサ104、105、106の撮像信号は、それぞれR信号処理部107、G信号処理部108、及びB信号処理部109により画像処理された後、画像合成処理部110に送られる。
一方で、ステップS304において、補正量生成部113は、撮影モード別の補正量が予め記憶された補正量テーブル114を参照し、入力された撮影モードに基づいて、補正量を決定する。
ステップS307で、画像合成処理部110は、ステップS304で決定された補正量を用いて、R、G、B信号の画像合成を行い、視差を補正した画像OUTを得る。
使用者は改めて画像の移動量等を入力することなく、視差補正された画像を得ることができる。
ここで、ステップS304で参照される補正量テーブル114のデータ、すなわち撮影モード別の補正量を決定する方法の詳細な例を説明する。
補正量テーブル114には、予め各撮影モードに対応した補正量が記録されている必要がある。例えば、撮影モードとして、マクロ撮影モード、ポートレート撮影モード、遠景撮影モードが選択可能である場合に、マクロ撮影モードでの被写体距離は15cm、ポートレート撮影モードでは1.5m、遠景撮影モードでは3mと事前に規定し、それぞれの被写体距離に応じた補正量が、各撮影モードと関連付けられて、テーブルに記憶される。
各撮影モードに対応した補正量を決定する方法の例を説明する。
図13は、撮像光学系が焦点距離f:4mm、複眼間距離s:2mm、イメージセンサ画素ピッチ:3μmの場合、被写体距離dとズレ量eの関係を示すグラフである。図13に示すような被写体距離dとズレ量eの関係を示すカーブの形状は、複眼撮像装置200の設計値(焦点距離f、複眼間距離s等)によって決定される。図13(a)は被写体距離が極近距離から遠距離までの場合のズレ量を、図13(b)は極近距離から近距離までの被写体距離のズレ量を示す。
遠景撮影モードの場合、撮影した画像に含まれる被写体は、1.5m〜無限遠方の距離のものであると仮定できる。ここで、無限遠方とは、視差が無視できる程度に十分な距離である。すなわち、無限遠方にある被写体の視差量(ズレ量)は0と考えられる。被写体距離が1.5mの被写体のズレ量は、図13(b)より、5.3μmである。これは2画素ピッチ程度のズレ量である。
画像の中に、被写体距離が1.5mの被写体と、3mの被写体と、無限遠方の被写体が含まれているモデルを考えた場合、補正量を5.3μmとして画像を移動させると、1.5mの被写体は、ズレ量が修正されて0になり、3mの被写体は、逆方向に2.6μm(−2.6μm)のズレ量となり、無限遠方の被写体には逆方向に5.3μm(―5.3μm)のズレ量が発生することになる。したがって、画像全体での平均ズレ量の絶対値は、|0−2.6−5.3|/3≒2.63μmとなる。
このように、画像全体での平均ズレ量の絶対値を計算して、この値が基準値以下になるように、補正量を調整することが好ましい。例えば、画像全体での平均ズレ量の絶対値が1画素ピッチ以下になるように補正すれば、画像全体として、視差の目立たない合成画像を得ることができる。被写体距離が1.5m〜無限遠方の被写体を含む画像の場合、補正量を2.7μmと設定する事により、画像全体の平均ズレ量は2.7μm以下(1画素以下)とすることができる。その結果、画像全体で優れた画質を実現することができる
なお、上記説明においては、遠景撮影の際に、画像の中に、被写体距離が1.5m、3m、無限遠方の被写体が含まれているモデルで、画像全体の平均ズレ量を求める例を挙げたが、モデルはこれに限られず、一般的な撮影態様に合わせて適宜設定することができる。
なお、上記説明においては、遠景撮影の際に、画像の中に、被写体距離が1.5m、3m、無限遠方の被写体が含まれているモデルで、画像全体の平均ズレ量を求める例を挙げたが、モデルはこれに限られず、一般的な撮影態様に合わせて適宜設定することができる。
近距離撮影モードの場合、撮影した画像に含まれる被写体は、被写体距離が1m〜3mのものであると仮定できる。図13(b)より被写体距離が1mではズレ量は8μm、3mでは2.7μmである。被写体距離が1mの被写体と被写体距離が3mの被写体のズレ量差は5.3μmとなり、2画素ピッチ程度である。そこで、例えば、補正量を5.3μmと設定する事により、1mの被写体のズレ量は、8μm−5.3μm=2.7μmとなり、3mの被写体のズレ量は、2.7μm−5.3μm=−2.6μmとなる。したがって、画像全体の平均ズレ量は2.7μm以下(1画素以下)となる。このように、1m〜3mの被写体距離にある被写体に対して平均ズレ量の絶対値が1画素以下になるように補正量を設定することで、画像全体として視差が目立たない、優れた画質の合成画像が得られる。
極近距離撮影では、その撮影の特徴より、異なる撮影距離のものが撮影画像写り込む場合は稀である。そこで、極近距離撮影モードの場合は、対応被写体距離に幅をもたせず、通常よく使われる被写体距離のズレ量をそのまま補正量とすることが好ましい。この場合は、被写体距離が15cmで補正量が53.3μmが適切と考えられる。
実施の形態1および実施の形態2にかかる撮像装置によれば、以下の従来技術の課題を克服することができる。
従来技術では、この補正量を各画像より抽出していた。これにより、視差補正量を検出する演算装置は多大な計算能力とメモリ容量を必要とし、モバイル用途などの限られたスペース、コスト、演算能力、電源能力では実現が困難であり、機器への搭載の大きな妨げとなっていた。
実施の形態1および実施の形態2にかかる撮像装置においては、従来大規模な演算に頼っていた処理を、補正情報入力部111が、使用者の判断による適切な補正情報を得ることで軽減することができる。したがって、必要スペース、コスト、必要演算能力、必要電源能力等を大きく改善することができ、例えば、モバイル機器等にも搭載可能な複眼撮像装置を提供することができる。
なお、本発明は、上述した実施形態の撮像装置に限定されず、複数の機器から構成されるシステムに適用しても良い。前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を備える複数の機器からなるシステムあるいは装置を構築してもよい。この場合、そのシステムあるいは装置が有する演算装置(例えば、CPU、MPUまたはDSP)が、記憶媒体に格納されたプログラムコードを読み出し実行することになる。
そのため、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体として、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMを用いることができる。
また、必ずしも、コンピュータが読み出したプログラムコードのみを実行することにより、前述した実施形態の機能が実現される必要はない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能を実現してもよい。
さらに、プログラムコードを実行する演算装置は、1つだけである必要はない。例えば、コンピュータのCPUによって記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、拡張ボードや拡張ユニットに備わるCPUなどが拡張処理を行うことにより、実際の処理の一部または全部を行い、前述した実施形態の機能を実現することができる。
以上説明したように、本実施の形態によれば、視差を有する複数の撮像光学系を介して撮像された撮像画像において、スペース、コスト、演算能力、メモリ容量、電源能力を考慮しながら、像ズレや色ズレの原因となる複眼の視差を含む画像から、視差の目立たない画像を合成することができる画像処理装置等を提供することができる。
本発明にかかる画像処理プログラムおよび撮像装置は、スペース、コスト、演算能力、メモリ容量、電源能力を抑えつつ、複数の撮像光学系を用いて得られた複数の画像を処理することができる画像処理プログラムおよび撮像装置として利用可能である。
1 撮影光学系
2 撮影光学系
3 撮影光学系
4 イメージセンサ
5 イメージセンサ
6 イメージセンサ
7 R信号処理部
8 G信号処理部
9 B信号処理部
10 画像合成処理
101 撮影光学系
102 撮影光学系
103 撮影光学系
104 イメージセンサ
105 イメージセンサ
106 イメージセンサ
107 R信号処理部
108 G信号処理部
109 B信号処理部
110 画像合成処理
111 補正情報入力部
112 表示部
113 補正量生成部
114 補正量テーブル
121 近距離物体
122 極近距離物体
123 遠距離物体
201 撮影レンズ
202 撮影レンズ
204 イメージセンサ
205 イメージセンサ
2 撮影光学系
3 撮影光学系
4 イメージセンサ
5 イメージセンサ
6 イメージセンサ
7 R信号処理部
8 G信号処理部
9 B信号処理部
10 画像合成処理
101 撮影光学系
102 撮影光学系
103 撮影光学系
104 イメージセンサ
105 イメージセンサ
106 イメージセンサ
107 R信号処理部
108 G信号処理部
109 B信号処理部
110 画像合成処理
111 補正情報入力部
112 表示部
113 補正量生成部
114 補正量テーブル
121 近距離物体
122 極近距離物体
123 遠距離物体
201 撮影レンズ
202 撮影レンズ
204 イメージセンサ
205 イメージセンサ
Claims (16)
- 視差を有する複数の撮像光学系を介して複数の撮像画像を得る撮像部と、
前記複数の撮像画像間の視差を補正する量を直接的または間接的に表す補正情報の入力を使用者から受け付ける補正情報入力部と、
前記補正情報入力部で入力された前記補正情報に基づいて前記複数の撮像画像を合成する合成部とを備える撮像装置。 - 前記補正情報は、前記複数の撮像画像間の前記視差によるズレを修正するために、前記複数の撮像画像のうち、少なくとも1つの画像の全体または一部を移動させる際の移動量を含み、
前記合成部は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成する請求項1に記載の撮像装置。 - 前記補正情報は、撮影時における前記撮像光学系と被写体との距離を表す被写体距離情報を含み、
前記被写体距離情報に基づいて、前記複数の撮像画像間の視差を修正するように、前記複数の撮像画像のうち、少なくとも1つの画像の全体または一部を移動させる際の移動量を生成する補正量生成部をさらに備え、
前記合成部は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成する請求項1に記載の撮像装置。 - 前記補正情報入力部は、補正情報として少なくとも撮影モードを入力するものであって、
前記撮影モードは、少なくとも前記光学撮像系と被写体との距離によって定められているモードであり、
前記補正情報入力部で入力された撮影モードに基づいて、前記複数の撮像画像間の前記視差によるズレを修正するために、前記複数の撮像画像のうち、少なくとも1つの画像の全体または一部を移動させる際の移動量を生成する補正量生成部をさらに備え、
前記合成部は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成する請求項1に記載の撮像装置。 - 前記撮影モードは、接写を行うモード、近景撮影を行うモードおよび遠景撮影を行うモードのうち、少なくとも1つを含む請求項4に記載の撮像装置。
- 前記移動量が、前記補正情報入力部で入力可能である撮影モードと対応づけられて記録されている補正量テーブルをさらに備え、
前記補正量生成部は、前記補正情報入力部で入力された撮影モードに基づいて、前記補正テーブルを参照し、前記撮影モードに対応した移動量を得る請求項4に記載の撮像装置。 - 前記補正情報は、前記撮像画像内の領域であって、補正をするべき領域を示す情報を含む請求項1に記載の撮像装置。
- 前記合成部で合成された画像を表示する表示部をさらに備える請求項1に記載の撮像装置。
- 視差を有する複数の撮像光学系を介して得られた複数の撮像画像を合成する処理をコンピュータに実行させる画像処理プログラムであって、
前記複数の撮像画像間の視差を補正する量を直接的または間接的に表す補正情報の入力を使用者から受け付ける補正情報入力処理と、
前記補正情報入力処理で入力された補正情報に基づいて、前記複数の撮像画像を合成する合成処理とをコンピュータに実行させる画像処理プログラム。 - 前記補正情報は、前記複数の撮像画像間の前記視差によるズレを修正するために、前記複数の撮像画像のうち、少なくとも1つの画像の全体または一部を移動させる際の移動量を含み、
前記合成処理は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成する請求項9に記載の画像処理プログラム。 - 前記補正情報は、撮影時における前記撮像光学系と被写体との距離を表す被写体距離情報を含み、
前記被写体距離情報に基づいて、前記複数の撮像画像間の視差を修正するように、前記複数の撮像画像のうち、少なくとも1つの画像の全体または一部を移動させる際の移動量を生成する補正量生成処理をさらにコンピュータに実行させ、
前記合成処理は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成する請求項9に記載の画像処理プログラム。 - 前記補正情報入力処理は、補正情報として少なくとも撮影モードを入力する処理であって、
前記撮影モードは、少なくとも前記光学撮像系と被写体との距離によって定められているモードであり、
前記補正情報入力処理で入力された撮影モードに基づいて、前記複数の撮像画像間の前記視差によるズレを修正するために、前記複数の撮像画像のうち、少なくとも1つの画像の全体または一部を移動させる際の移動量を生成する補正量生成処理をさらにコンピュータに実行させ、
前記合成処理は、前記移動量に基づいて画像を移動させる補正を伴って、前記複数の撮像画像を合成する請求項9に記載の画像処理プログラム。 - 前記撮影モードは、接写を行うモード、近景撮影を行うモードおよび遠景撮影を行うモードのうち、少なくとも1つを含む請求項12に記載の画像処理プログラム。
- 前記補正量生成処理は、前記補正情報入力部で入力された撮影モードに基づいて、前記移動量が、前記補正情報入力処理で入力可能である撮影モードと対応づけられて記録されている補正量テーブルを参照し、前記撮影モードに対応した移動量を得る請求項12に記載の画像処理プログラム。
- 前記補正情報は、前記撮像画像内の領域であって、補正をするべき領域を示す情報を含む請求項9に記載の画像処理プログラム。
- 前記合成処理で合成された画像を表示する表示処理をさらにコンピュータに実行させ、
前記表示処理と同時に前記補正情報入力処理による入力の受付を行う処理をコンピュータに実行させる請求項9に記載の画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004361837A JP2006173919A (ja) | 2004-12-14 | 2004-12-14 | 撮像装置および画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004361837A JP2006173919A (ja) | 2004-12-14 | 2004-12-14 | 撮像装置および画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006173919A true JP2006173919A (ja) | 2006-06-29 |
Family
ID=36674213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004361837A Withdrawn JP2006173919A (ja) | 2004-12-14 | 2004-12-14 | 撮像装置および画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006173919A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011024423A1 (ja) * | 2009-08-28 | 2011-03-03 | パナソニック株式会社 | 立体映像表示制御装置及び立体映像撮像装置 |
JP2015011049A (ja) * | 2013-06-26 | 2015-01-19 | 富士通セミコンダクター株式会社 | 撮像装置、選択方法、および選択プログラム |
WO2018179622A1 (ja) * | 2017-03-30 | 2018-10-04 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、撮像モジュールおよび撮像装置の制御方法 |
-
2004
- 2004-12-14 JP JP2004361837A patent/JP2006173919A/ja not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011024423A1 (ja) * | 2009-08-28 | 2011-03-03 | パナソニック株式会社 | 立体映像表示制御装置及び立体映像撮像装置 |
JP2015011049A (ja) * | 2013-06-26 | 2015-01-19 | 富士通セミコンダクター株式会社 | 撮像装置、選択方法、および選択プログラム |
WO2018179622A1 (ja) * | 2017-03-30 | 2018-10-04 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、撮像モジュールおよび撮像装置の制御方法 |
US10848660B2 (en) | 2017-03-30 | 2020-11-24 | Sony Semiconductor Solutions Corporation | Imaging apparatus, imaging module, and control method of imaging apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103595979B (zh) | 图像处理设备、图像拍摄设备及图像处理方法 | |
JP5390707B2 (ja) | 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム | |
EP2154648B1 (en) | Image processing device, image processing method, and image processing program | |
US9253405B2 (en) | Image photographing device and control method thereof | |
JP5230013B2 (ja) | 撮像装置 | |
JP5846172B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像システム | |
JP6833801B2 (ja) | 撮像装置、撮像方法、プログラムおよび記録媒体 | |
JP6700935B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP6222205B2 (ja) | 画像処理装置 | |
JP4877154B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および、プログラム | |
JP7158841B2 (ja) | 撮像装置、撮像方法、プログラム、記録媒体および画像処理装置 | |
JP2011234121A (ja) | 撮影装置、パノラマ撮影方法 | |
JP2020113219A (ja) | 撮像装置、画像合成方法、及び画像合成プログラム | |
JP5796611B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像システム | |
JP2019053758A (ja) | 画像処理装置 | |
JP6590894B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP6079838B2 (ja) | 画像処理装置、プログラム、画像処理方法および撮像システム | |
JP2006173919A (ja) | 撮像装置および画像処理プログラム | |
JP6320165B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP2013175805A (ja) | 表示装置および撮像装置 | |
JP6439845B2 (ja) | 画像処理装置 | |
JP6545229B2 (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム | |
JP2021097351A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 | |
JP2016134886A (ja) | 撮像装置およびその制御方法 | |
JP6828069B2 (ja) | 撮像装置、撮像方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080304 |