JP2019068377A - 画像処理装置、撮像装置、画像処理方法、および、プログラム - Google Patents

Abstract

【課題】撮像画像から、より自然に不要成分を低減することが可能な画像処理装置を提供する。【解決手段】画像処理装置（１３０）は、複数の視点の画像に関する不要成分を取得する取得手段（１３０ｂ、１３０ｄ）と、複数の視点の画像の合成画像を第一の周波数成分と第一の周波数成分よりも低い第二の周波数成分とに分離する分離手段（１３０ｆ）と、第二の周波数成分から不要成分を低減して第三の周波数成分を取得する低減手段（１３０ｅ）と、第一の周波数成分と第三の周波数成分とを合成して出力画像を生成する合成手段（１３０ｇ）とを有する。【選択図】図１

Description

本発明は、撮像画像の画質を向上させることが可能な画像処理方法に関する。

カメラなどの撮像装置により撮像を行うと、撮像光学系に入射した光の一部がレンズの界面やレンズを保持する部材により反射し、撮像面に不要光として到達する場合がある。撮像面に到達した不要光は、ゴーストやフレアなどの不要成分として撮像画像中に現れる。特許文献１には、複数の視点の画像を比較してゴースト成分を検出する方法が開示されている。また特許文献１には、検出したゴースト成分を撮像画像から除去する方法が開示されている。

特開２０１１−２０５５３１号公報

しかしながら、特許文献１に開示された方法では、複数の視点の画像の差分を求めることによりゴースト成分を検出するため、各画像にノイズ成分が多く含まれる場合、その検出結果にもノイズ成分が含まれてしまう。ノイズ成分を含むゴースト成分を撮像画像から差し引くと、ゴースト成分が検出された領域と検出されていない領域とでＳ／Ｎに差が生じるため、自然な結果が得られない。

そこで本発明は、撮像画像から、より自然に不要成分を低減することが可能な画像処理装置、撮像装置、画像処理方法、および、プログラムを提供することを目的とする。

本発明の一側面としての画像処理装置は、複数の視点の画像に関する不要成分を取得する取得手段と、前記複数の視点の画像の合成画像を第一の周波数成分と該第一の周波数成分よりも低い第二の周波数成分とに分離する分離手段と、前記第二の周波数成分から前記不要成分を低減して第三の周波数成分を取得する低減手段と、前記第一の周波数成分と前記第三の周波数成分とを合成して出力画像を生成する合成手段とを有する。

本発明の他の側面としての撮像装置は、撮像光学系を介して複数の視点の画像を取得する撮像素子と、前記画像処理装置とを有する。

本発明の他の側面としての画像処理方法は、複数の視点の画像に関する不要成分を検出するステップと、前記複数の視点の画像の合成画像を第一の周波数成分と該第一の周波数成分よりも低い第二の周波数成分とに分離するステップと、前記第二の周波数成分から前記不要成分を低減して第三の周波数成分を取得するステップと、前記第一の周波数成分と前記第三の周波数成分とを合成して出力画像を生成するステップとを有する。

本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、撮像画像から、より自然に不要成分を低減することが可能な画像処理装置、撮像装置、画像処理方法、および、プログラムを提供することができる。

各実施例における撮像装置のブロック図、および、実施例１における画像処理部のブロック図である。 各実施例の撮像系における撮像素子と撮像光学系の瞳との関係図である。 各実施例の撮像系における撮像光学系の構成および不要光の説明図である。 各実施例における画像処理方法の手順の説明図である。 各実施例における出力画像の一例である。 実施例１における画像処理方法のフローチャートである。 実施例２における画像処理部のブロック図である。 実施例２における画像処理方法のフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、図１（ａ）を参照して、本実施例における撮像装置の構成について説明する。図１（ａ）は、撮像装置１００のブロック図である。撮像装置１００は、複数の視点の画像を取得して記録することが可能なデジタルカメラである。

図１（ａ）において、２３０は光学系（撮像レンズ、撮像光学系）、２４０は撮像光学系２４０の絞りである。１１０は、光学系２３０を介して形成された光学像（被写体像）を光電変換してアナログ信号を出力する撮像素子である。本実施形態において、撮像素子１１０は、光学系２３０を介して複数の視点の画像を取得することができる。１２０は、撮像素子１１０から出力されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。１３０は画像処理部（画像処理装置）であり、Ａ／Ｄ変換器１２０から出力されたデータ、または、ＲＡＭ１９０に記録されているデータに対して、所定のデモザイク処理や色変換処理などの画像処理を行う。１４０は、画像処理部１３０から出力された画像データに対して各種の信号処理を行う。Ａ／Ｄ変換器１２０から出力されたデータは、画像処理回路１３０およびカメラ信号処理部１４０を介して、または、直接カメラ信号処理部１４０を介して、ＲＡＭ１９０に書き込まれる。１７０は、撮像装置１００のシステム全体を制御するＣＰＵ（制御部）である。１８０は、ＣＰＵ１７０が実行するプログラムや各種パラメータを記憶している。

２２０はＴＦＴ−ＬＣＤ（液晶ディスプレイ）等の画像表示部であり、ＲＡＭ１９０に書き込まれた表示用の画像データを表示する。撮像画像（撮像した画像データ）を画像表示部２２０に逐次表示することにより、ライブビュー機能を実現することが可能である。ＲＡＭ１９０は、撮像した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影の場合にも、高速かつ大量の画像書き込みをＲＡＭ１９０に対して行うことが可能となる。またＲＡＭ１９０は、カメラ信号処理部１４０の作業領域として利用することが可能である。

２１０はシャッタボタン等の操作部材である。シャッタボタンは、ユーザによる半押しでＯＮになるＳＷ１、全押しでＯＮになるＳＷ２を含む。ＳＷ１がＯＮになると、撮像系制御部２００を介して、光学系２３０の機械絞り駆動処理、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等が開始する。また、ＳＷ２がＯＮになると、撮像処理が開始する。撮像処理は、撮像素子１１０から読み出された信号の現像処理、ＲＡＭ１９０から読み出された画像データの圧縮処理、記録媒体インタフェース１５０を介してコンパクトフラッシュ（登録商標）カード等の記録媒体１６０に画像データを書き込む記録処理等の一連の処理を含む。

次に、図１（ｂ）を参照して、本発明の実施例１における画像処理部１３０の構成について説明する。図１（ｂ）は、本実施例における画像処理部１３０のブロック図である。画像処理部１３０は、入力部１３０ａ、不要成分検出部１３０ｂ、入力画像合成部１３０ｃ、不要成分合成部１３０ｄ、不要成分低減部１３０ｅ、周波数成分分離部１３０ｆ、出力画像合成部１３０ｇ、および、出力部１３０ｈを有する。入力部１３０ａは、複数の視点の画像を入力する入力手段である。

不要成分検出部１３０ｂは、複数の視点の画像のそれぞれに含まれる不要成分情報を検出する検出手段である。不要成分合成部１３０ｄは、不要成分情報を合算して不要成分を算出する算出手段である。不要成分検出部１３０ｂおよび不要成分合成部１３０ｄは、複数の視点の画像に関する不要成分を取得する取得手段を構成する。画像合成部１３０ｃは、複数の視点の画像を合成して合成画像を生成する生成手段である。周波数成分分離部１３０ｆは、複数の視点の画像の合成画像を第一の周波数成分と第一の周波数成分よりも低い第二の周波数成分とに分離する分離手段である。不要成分低減部１３０ｅは、第二の周波数成分から不要成分を低減して第三の周波数成分を取得する低減手段である。出力画像合成部１３０ｇは、第一の周波数成分と第三の周波数成分とを合成して出力画像を生成する合成手段である。

次に、図２を参照して、撮像装置１００の撮像系における撮像素子１１０の受光部と光学系２３０の瞳との関係を説明する。図２（ａ）は、撮像素子１１０の受光部と光学系２３０の瞳との関係を示す図である。撮像素子１１０には、複数のマイクロレンズ２０１が配列されており、各マイクロレンズ２０１は、カラーフィルタ２０２を備えた各光電変換素子（画素２０６、２０７）に光束を導く。本実施例では、撮像素子１１０の各画素はベイヤー配列で配列されているが、これに限定されるものではない。光学系２３０の射出瞳２０３（瞳）は、複数の瞳領域２０４、２０５に分けられる。

撮像素子１１０には、画素２０６と画素２０７の対（画素対）が複数配列されている。対の画素２０６と画素２０７は、共通の（すなわち、画素対ごとに１つずつ設けられた）マイクロレンズ２０１を介して、射出瞳２０３と共役な関係を有する。以降、撮像素子１１０に配列された複数の画素２０６、２０７をそれぞれまとめて画素群２０６、２０７という場合がある。

図２（ｂ）は、本実施例における撮像系の模式図であり、図２（ａ）に示されるマイクロレンズ２０１の代わりに、射出瞳２０３の位置に薄肉レンズが設けられていると仮定した場合の撮像系を示している。画素２０６は、射出瞳２０３のうち領域２０５を通過した光束を受光する。画素２０７は、射出瞳２０３のうち領域２０４を通過した光束を受光する。物点２０８には、必ずしも物体が存在している必要はない。物点２０８を通った光束は、その光束が通過する瞳（射出瞳２０３）内での位置（本実施例では領域２０４または領域２０５）に応じて、画素２０６または画素２０７のいずれかの画素に入射する。瞳内の互いに異なる領域を光束が通過することは、物点２０８からの入射光が角度（視差）によって分離されることに相当する。すなわち、各マイクロレンズ２０１に対して設けられた画素２０６、２０７のうち、画素２０６からの出力信号を用いて生成された画像と、画素２０７からの出力信号を用いて生成された画像とが、視点が異なる複数（ここでは一対）の視点画像となる。以下の説明において、瞳内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを、瞳分割という場合がある。また、図２（ａ）および図２（ｂ）に示される射出瞳２０３の位置ずれなどにより、前述の共役関係が完全でなくなる場合や、領域２０４、２０５が部分的に互いに重複（オーバーラップ）する場合も考えられる。この場合も、得られた複数の画像を視点画像として扱う。

次に、図３を参照して、光学系２３０の構成および光学系２３０で発生する不要光について説明する。図３は、光学系２３０の構成および不要光の説明図である。図３（ａ）は、光学系２３０の具体的な構成例を示している。図３（ａ）において、３０２は絞り、３０１は撮像面である。撮像面３０１の位置には、図１に示される撮像素子１１０が配置される。図３（ｂ）は、光学系２３０に高輝度物体の例としての太陽ＳＵＮから強い光が入射し、光学系２３０を構成するレンズの界面で反射した光が不要光（ゴーストやフレア）として撮像面３０１に到達する様子を示している。

図３（ｃ）は、絞り３０２のうち、図２に示される画素２０６、２０７に入射する光束が通過する領域２０５、２０４（瞳領域または瞳分割領域）を示している。なお、絞り３０２は、光学系２３０の射出瞳２０３に相当するものとして考えることができるが、実際には絞り３０２と射出瞳２０３は互いに異なることが多い。高輝度物体（太陽ＳＵＮ）からの光束は、絞り３０２のほぼ全域を通過するが、画素２０６、２０７に入射する光束が通過する領域は、領域２０４、２０５（瞳領域）に分割される。

続いて、図４および図５を参照して、撮像装置１００により生成される撮像画像において、不要光が光電変換されることで現れる画像成分である不要成分を決定する方法について説明する。

図４は、本実施例における画像処理方法の手順を示す図である。図５は、本実施例における画像処理方法による出力画像の一例である。図５（ａ）は、瞳分割による撮像により生成された複数の視点画像を合成した撮像画像を示している。この撮像画像には、ビルなどの建物とその周辺に存在する樹木とが被写体として写っている。図５（ａ）の撮像画像中に黒い四角部分として示されるＧＳＴは、不要光（ゴースト）の画像成分である不要成分（ゴースト成分）である。なお、図５（ａ）では不要成分ＧＳＴを黒く塗りつぶして示しているが、実際には、被写体がある程度透けている。また、不要成分は撮像被写体に不要光がかぶった状態であるため、撮像被写体よりも高輝度化する部分である。

図４（ａ）および図４（ｃ）は、それぞれ、領域２０５、２０４（瞳領域）を通過した光束を画素群２０６、２０７にて光電変換した結果として得られた一対の視点画像を示している。一対の視点画像には、近距離被写体の場合、画像成分に視差に対応する差（被写体視差成分）が存在する。しかしながら、図４に示されるような風景撮像による遠距離被写体の場合、被写体視差成分は微少量である。また、一対の視点画像にも黒い四角として模式的に示される不要成分ｇｓｔが含まれているが、その位置は視点画像間で互いに異なる。ここでは、不要成分ｇｓｔが互いにオーバーラップすることなく分離された状態の例を示しているが、オーバーラップしていて輝度差がある状態でもよい。すなわち、黒い四角の不要成分ｇｓｔの位置や輝度が互いに異なった状態であればよい。

図４（ｂ）は、一対の視点画像に対して、図４（ａ）を基準画像として図４（ｃ）の画像を差し引いた状態の画像（相対差分画像）を示す。図４（ｂ）の画像（相対差分画像）には、一対の視点画像が有する差分（相対差分情報）として、被写体の視差成分および前述の不要成分が含まれている。しかしながら、図１に示されるような風景撮像による遠距離被写体の場合、被写体視差成分は微少量であるため、その影響はほぼ無視することができる。また、前記の差分計算により図４（ｃ）に含まれる不要成分は負の値として算出されるが、後述の不要成分低減処理の簡易化のため、図４（ｂ）では負の値を切り捨てている。そのため、図４（ｂ）の画像（相対差分画像）は、図４（ａ）に含まれる不要成分のみを示していることとなる。

同様に、図４（ｄ）は、一対の視点画像に対して、図４（Ｅ）を基準画像として図４（ａ）の画像を差し引いた状態の画像を示す。また、図４（ｂ）の画像と同様に、前記の差分計算により図４（ａ）に含まれる不要成分が負の値として算出されるが、後述の不要成分低減処理の簡易化のため、図４（ｄ）の画像では負の値を切り捨てている。そのため、図４（ｄ）の画像（相対差分画像）は、図４（ｅ）に含まれる不要成分のみを示していることとなる。このように本実施例の画像処理方法では、相対差分画像における不要成分のみを残存させる（換言すると、不要成分を分離または抽出する）処理を行うことで、不要成分を決定することができる。

ここで出力画像として、図５（ａ）に示されるような、瞳分割による撮像で生成された複数の視点画像を合算（合成）した撮像画像を出力することを考える。このとき、前述のように視点画像ごとに不要成分が抽出されているため、１つの方法として、各視点画像からそれぞれ抽出された不要成分を差し引いて不要成分を低減することが考えられる。しかしながら、画像として視点画像を合算した１枚の画像を出力するのに対して、不要成分の低減処理を視点画像の枚数分だけ実行する必要があり、低減処理工程が複雑になる。

そこで本実施例では、出力画像の視点画像の合成処理に合わせて、同様の処理で各視点画像の不要成分の合成処理を行う。本実施例では、最終出力画像として各視点画像を合算（合成）した画像を出力するため、各視点画像の不要成分を合算（合成）する。図４（ｅ）は、合算（合成）された不要成分を示す。出力画像を各視点画像の合算値（合成値）として出力する場合、出力画像に含まれる不要成分は、各視点画像に含まれる不要成分の合算値（合成値）と一致する。

次に、図６を参照して、本実施例における画像処理方法について説明する。図６は、画像処理方法のフローチャートである。図６の各ステップは、主にＣＰＵ１７０の指令に基づいて画像処理部１３０の各部により実行される。

まずステップＳ６０１において、ＣＰＵ１７０は、光学系２３０と撮像素子１１０とＡ／Ｄコンバータ１２０とから構成される撮像部（撮像系）を制御して被写体の撮像を行う。そして画像処理部１３０の入力部１３０ａは、入力画像（撮像画像）を取得する。または入力部１３０ａは、予め撮像されてＲＡＭ１９０に記録された画像データを画像処理部１３０内の一時記憶領域に読み出すことにより、入力画像を取得する。本実施例では、入力画像として、撮像素子１１０内で光学系２３０の互いに異なる瞳領域を通過した光束に対応する複数の視点の画像（視点画像）を予め合成した合成画像と、合成される前の一部の瞳領域に対応する視点画像とを入力画像として取得する。ただし本実施例において、入力画像はこれに限定されるものではなく、複数の視点画像のそれぞれを入力画像として取得してもよい。

続いてステップＳ６０２において、ＣＰＵ１７０は、画像処理部１３０を制御し、合成画像と視点画像とに基づいて一対の視点画像を生成する。具体的には、画像処理部１３０は、合成画像と視点画像との差分をとることにより、複数の視点画像を算出することができる。ここで、画像処理部１３０は、視点画像の生成の際に、前述のような各種画像処理の一部を実施してもよい。なお、ステップＳ６０１にて複数の視点画像を入力画像として取得している場合、本ステップでは各種画像処理の一部を行うのみでもよい。

続いてステップＳ６０３において、不要成分検出部１３０ｂは、一対の視点画像の差分情報（相対差分情報）を求める。すなわち不要成分検出部１３０ｂは、図４（ａ）の画像を基準画像とした相対差分画像（図４（ｂ）の画像）、および、図４（ｃ）の画像を基準画像とした相対差分画像（図４（ｄ）の画像）を生成する。撮像面に到達した不要光が光学系２３０の瞳（射出瞳）のうち互いに異なる瞳領域を通過する場合、図４（ａ）および図４（ｃ）に示されるように、視点画像ごとに不要成分の発生位置が互いに異なる。このため、単純な相対差分画像では、不要成分の差分値は正および負の値をとる。例えば本実施例では、相対差分画像（図４（ｂ）の画像）を生成する際の基準画像である図４（ａ）の画像から、図４（ｃ）の画像を差し引いた場合、図４（ａ）の画像に含まれる不要成分は正の値となる。一方、図４（ｃ）の画像に含まれる不要成分は負の値となる。

ここで本実施例において、不要成分検出部１３０ｂは、後述の不要成分低減処理の簡易化のため、前記負の値を切り捨てて０値とする処理を実施する。このため、図４（ｂ）の画像に関しては、図４（ａ）に含まれる不要成分のみが正の値として検出される。不要成分検出部１３０ｂは、相対差分画像（図４（ｄ）の画像）についても同様の処理を実施する。これにより、図４（ｄ）の画像に関しては、図４（ｃ）の画像に含まれる不要成分のみが正の値として検出される。

また、不要成分検出部１３０ｂは、近距離被写体を含む画像において相対差分情報を求める際に被写体視差成分を除去するため、一対の視点画像の位置合わせを行う処理を実施してもよい。具体的には、不要成分検出部１３０ｂは、一対の視点画像のうち一方の画像に対して他方の画像の位置を相対的にシフトしながら画像間の相関が最大となるシフト位置を決定することにより、画像の位置合わせを行うことができる。また不要成分検出部１３０ｂは、視点画像間の差分の２乗和が最小化するシフト位置を決定することで画像の位置合わせを行ってもよい。また不要成分検出部１３０ｂは、視点画像中の合焦領域を位置合わせのためのシフト位置の決定の対象としてもよい。

また不要成分検出部１３０ｂは、予めそれぞれの視点画像においてエッジ検出を行い、検出されたエッジを示す画像を用いて位置合わせのためのシフト位置を決定してもよい。この方法によれば、合焦領域についてはコントラストの高いエッジが検出され、背景などの非合焦領域についてはコントラストが低く、エッジとして検出されにくい。このため、必然的に合焦領域が重視されたシフト位置の決定が行われる。また、不要成分検出部１３０ｂは、相対差分画像を生成する際に、ノイズなどの影響を除去するために閾値処理などのステップを加えても構わない。

続いてステップＳ６０４において、不要成分検出部１３０ｂは、ステップＳ６０３にて生成された相対差分画像中に残存した成分を不要成分情報として決定する。続いてステップＳ６０５において、不要成分合成部１３０ｄは、ステップＳ６０４にて決定された各視点画像の不要成分情報を合算処理する（不要成分の合成値を算出する）。具体的には、不要成分合成部１３０ｄは、図４（ｂ）の相対差分画像と図４（ｄ）の相対差分画像とを足し合わせる処理を実行する（相対差分画像の合成値を算出する）。この結果、図４（ｅ）に示されるように、合算処理（合成）された不要成分が生成される。このように本実施例において、取得手段（不要成分検出部１３０ｂおよび不要成分合成部１３０ｄ）は、複数の視点の画像の差分情報に基づいて、複数の視点の画像に関する不要成分を取得する。

続いてステップＳ６０６において、周波数成分分離部１３０ｆは、ステップＳ６０１にて入力した入力画像（撮像画像）の信号を、高周波数成分（第１周波数成分）の信号と低周波数成分（第１周波数成分よりも低い第２周波数成分）の信号とに分離する。または、ステップＳ６０１にて複数の視点画像が入力されている場合（撮像画像が入力されていない場合）、視点画像合成部１３０ｃは、複数の視点画像を合成して撮像画像（合成画像）を生成する。そして周波数成分分離部１３０ｆは、撮像画像（合成画像）を高周波数成分の信号と低周波数成分の信号とに分離する。高周波数成分の信号と低周波数成分の信号との分離（帯域分離）は、ローパスフィルタ（ＬＰＦ）やハイパスフィルタ（ＨＰＦ）等のフィルタを用いて行われる。

続いてステップＳ６０７において、不要成分低減部１３０ｅは、ステップＳ６０５にて生成された不要成分を、ステップＳ６０６にて生成された低周波数成分の信号から差し引く。これにより、不要成分低減部１３０ｅは、低周波数成分の信号から不要成分を低減（好ましくは除去）して第三の周波数成分の信号を取得することができる。続いてステップＳ６０８において、出力画像合成部１３０ｆは、ステップＳ６０６で生成された撮像画像の高周波数成分の信号と、ステップＳ６０７で生成された、不要成分を低減した撮像画像の低周波数成分の信号とを足し合わせて合成した出力画像を生成する。すなわち出力画像合成部１３０ｆは、第一の周波数成分と第三周波数成分とを合成して出力画像を生成する。そして出力部１３０ｈは、生成された出力画像を出力する。

本実施例によれば、撮像画像の低周波数成分から不要成分を差し引くことにより、不要成分が存在する領域と存在しない領域とでＳ／Ｎ比に不自然な差が生じないように不要成分を低減することができる。

次に、本発明の実施例２について説明する。実施例１が複数の視点画像から検出された不要成分を、複数の視点画像を合成して得られた撮像画像の低周波数成分から低減するのに対して、本実施例は、複数の視点画像のぞれぞれの低周波数成分から検出された不要成分を、撮像画像の低周波数成分から低減する。本実施例の撮像装置は、画像処理部１３０に代えて画像処理部１３００を有する点で、実施例１の撮像装置１００と異なる。本実施例における撮像装置のその他の基本構成は、図１（ａ）を参照して説明した実施例１の撮像装置１００と同様であるため、その説明を省略する。

図７は、本実施例における画像処理部１３００のブロック図である。本実施例における画像処理部１３００は、入力部１３０ａ、不要成分検出部１３０ｂ、入力画像合成部１３０ｃ、不要成分合成部１３０ｄ、不要成分低減部１３０ｅ、周波数成分分離部１３０ｆ、出力画像合成部１３０ｇ、出力部１３０ｈを有する。

次に、図８を参照して、本実施例における画像処理方法について説明する。図８は、画像処理方法のフローチャートである。図８の各ステップは、主にＣＰＵ１７０の指令に基づいて画像処理部１３０の各部により実行される。

まずステップＳ８０１において、ＣＰＵ１７０の指令に基づいて、画像処理部１３００の入力部１３０ａは、入力画像（撮像画像）を取得する。続いてステップＳ８０２において、ＣＰＵ１７０は、画像処理部１３００を制御し、合成画像と視点画像とから一対の視点画像を生成する。ステップＳ８０１、Ｓ８０２は、実施例１のステップＳ６０１、Ｓ６０２とそれぞれ同様であるため、その詳細な説明を省略する。

続いてステップＳ８０３において、周波数成分分離部１３０ｆは、ローパスフィルタを用いて、ステップＳ８０２にて生成された一対の視点画像（複数の視点の画像）のそれぞれから低周波数成分の信号を分離する。ここで、分離される低周波数成分の信号は、複数の視点の画像からそれぞれ分離された、第四の周波数成分よりも低い第五の周波数成分の信号である。続いてステップＳ８０４において、不要成分検出部１３０ｂは、ステップＳ６０３にて生成された一対の視点画像の低周波数成分の信号の差分情報（相対差分情報）、すなわち複数の第五の周波数成分の差分情報を求める。また、不要成分検出部１３０ｂは、一対の視点画像の低周波数成分の信号について相対差分画像を生成する際に、ノイズなどの影響を除去するために閾値処理などのステップを加えてもよい。

続いてステップＳ８０５において、不要成分検出部１３０ｂは、ステップＳ６０４にて生成された一対の視点画像それぞれの低周波数成分の信号に基づいて生成された相対差分画像中に残存した成分を、不要成分として決定する。続いてステップＳ８０６において、不要成分合成部１３０ｄは、ステップＳ８０５にて決定された各視点画像の不要成分（不要成分情報）を合算処理する（不要成分の合成値を算出する）。このように本実施例において、取得手段（不要成分検出部１３０ｂおよび不要成分合成部１３０ｄ）は、複数の第五の低周波数成分の差分情報に基づいて、複数の視点の画像に関する不要成分を取得する。

続いてステップＳ８０７において、画像処理部１３００の周波数成分分離部１３０ｆは、ステップＳ８０１にて入力した入力画像（撮像画像）の信号を、高周波数成分（第一の周波数成分）の信号と低周波数成分（第二の周波数成分）の信号とに分離する。または、ステップＳ８０１にて複数の視点画像が入力されている場合（撮像画像が入力されていない場合）、視点画像合成部１３０ｃは、複数の視点画像を合成して撮像画像（合成画像）を生成する。そして周波数成分分離部１３０ｆは、撮像画像（合成画像）を高周波数成分（第一の周波数成分）の信号と低周波数成分（第二の周波数成分）の信号とに分離する。

続いてステップＳ８０８において、画像処理部１３００の不要成分低減部１３０ｅは、ステップＳ８０６にて生成された不要成分を、ステップＳ８０７にて生成された低周波数成分（第二の周波数成分）の信号から差し引く。これにより、不要成分低減部１３０ｅは、低周波数成分の信号から不要成分を低減（好ましくは除去）して第三の周波数成分の信号を取得することができる。

続いてステップＳ８０９において、出力画像合成部１３０ｆは、ステップＳ８０７で生成された撮像画像の高周波数成分の信号と、ステップＳ８０８で生成された、不要成分を低減した撮像画像の低周波数成分の信号とを足し合わせて合成した出力画像を生成する。すなわち出力画像合成部１３０ｆは、第一の周波数成分と第三周波数成分とを合成して出力画像を生成する。そして出力部１３０ｈは、生成された出力画像を出力する。

本実施例によれば、撮像画像の低周波数成分から不要成分を差し引くことにより、不要成分が存在する領域と存在しない領域とでＳ／Ｎ比に不自然な差が生じないように不要成分を低減することができる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、撮像画像から、より自然に不要成分を低減することが可能な画像処理装置、撮像装置、画像処理方法、および、プログラムを提供することができる。

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明はこれら特定の実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施例の一部を適宜組み合わせてもよい。

１３０ 画像処理部（画像処理装置）
１３０ｂ 不要成分検出部（取得手段）
１３０ｄ 不要成分合成部（取得手段）
１３０ｅ 不要成分低減部（低減手段）
１３０ｆ 周波数成分分離部（分離手段）
１３０ｇ 出力画像合成部（合成手段）

Claims (10)

1. 複数の視点の画像に関する不要成分を取得する取得手段と、
   前記複数の視点の画像の合成画像を第一の周波数成分と該第一の周波数成分よりも低い第二の周波数成分とに分離する分離手段と、
   前記第二の周波数成分から前記不要成分を低減して第三の周波数成分を取得する低減手段と、
   前記第一の周波数成分と前記第三の周波数成分とを合成して出力画像を生成する合成手段と、を有することを特徴とする画像処理装置。
2. 前記取得手段は、前記複数の視点の画像の差分情報に基づいて、該複数の視点の画像に関する前記不要成分を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記分離手段は、前記複数の視点の画像から、複数の第四の周波数成分よりも低い複数の第五の周波数成分をそれぞれ分離し、
   前記取得手段は、前記複数の第五の低周波数成分の差分情報に基づいて、前記複数の視点の画像に関する前記不要成分を取得することを特徴とする請求項１に記載の画像処理装置。
4. 前記複数の視点の画像を入力する入力手段と、
   前記複数の視点の画像を合成して前記合成画像を生成する生成手段と、を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記取得手段は、
   前記複数の視点の画像のそれぞれに含まれる不要成分情報を検出する検出手段と、
   前記不要成分情報を合算して前記不要成分を算出する算出手段と、を有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記低減手段は、前記第二の周波数成分から前記不要成分を差し引くことにより前記第三の周波数成分を取得することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記合成手段は、前記第一の周波数成分と前記第三の周波数成分とを足し合わせることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 撮像光学系を介して複数の視点の画像を取得する撮像素子と、
   前記複数の視点の画像に関する不要成分を検出する検出手段と、
   前記複数の視点の画像の合成画像を第一の周波数成分と該第一の周波数成分よりも低い第二の周波数成分とに分離する分離手段と、
   前記第二の周波数成分から前記不要成分を低減して第三の周波数成分を取得する低減手段と、
   前記第一の周波数成分と前記第三の周波数成分とを合成して出力画像を生成する合成手段と、を有することを特徴とする撮像装置。
9. 複数の視点の画像に関する不要成分を検出するステップと、
   前記複数の視点の画像の合成画像を第一の周波数成分と該第一の周波数成分よりも低い第二の周波数成分とに分離するステップと、
   前記第二の周波数成分から前記不要成分を低減して第三の周波数成分を取得するステップと、
   前記第一の周波数成分と前記第三の周波数成分とを合成して出力画像を生成するステップと、を有することを特徴とする画像処理方法。
10. 複数の視点の画像に関する不要成分を検出するステップと、
    前記複数の視点の画像の合成画像を第一の周波数成分と該第一の周波数成分よりも低い第二の周波数成分とに分離するステップと、
    前記第二の周波数成分から前記不要成分を低減して第三の周波数成分を取得するステップと、
    前記第一の周波数成分と前記第三の周波数成分とを合成して出力画像を生成するステップと、をコンピュータに実行させることを特徴とするプログラム。