JP2012034284A - 画像処理装置及びその制御方法 - Google Patents

Abstract

【課題】簡易な構成で、被写体ぶれが小さく且つ被写界深度が深い映像を得ることのできる技術を提供する。
【解決手段】本発明の画像処理装置は、第１の動画像と、前記第１の動画像と同じ被写体を前記第１の動画像よりも深い被写界深度で撮影することで得られた第２の動画像とを入力する入力手段と、前記第１の動画像と前記第２の動画像の対応するフレーム同士を比較し、前記第１の動画像における鮮鋭度が前記第２の動画像における鮮鋭度よりも高い領域を当該フレームの焦点領域として検出する検出手段と、前記第１の動画像の各フレームに対して焦点領域の高周波成分を強調する処理を施すとともに、前記第２の動画像の各フレームに対して焦点領域以外の領域の高周波成分を強調する処理を施し、前記第１の動画像のフレームと前記第２の動画像のフレームとを交互に出力する画像処理手段と、を有する。
【選択図】図２

Description

本発明は、画像処理装置及びその制御方法に関する。

従来、焦点位置を変更しながら連続して撮影を行うフォーカスブラケット撮影で得られた複数の画像を、画像の変形（動き）を補正し、鮮鋭度の高い画像の画素の重みを大きくして合成することで、被写体ぶれのある画像から全焦点画像を得る手法がある。全焦点画像は全ての被写体に焦点の合っている画像である。そのような技術は、例えば、特許文献１に開示されている。
また、露出アンダーで連続してブラケット撮影して得られた複数の画像を合成し適正露出の画像を生成することで、被写体ぶれ（動きぶれ）が小さく複数の被写体に焦点の合った被写界深度の深い画像を得る手法がある。そのような技術は、例えば、特許文献２，３に開示されている。

特開２００８−２７１２４０号公報 特開２００８−１１８３８９号公報 特開２００９−０４９４７２号公報

上述した従来の技術で被写体ぶれが小さく被写界深度が深い映像を得るためには、被写体の動きを補正して複数の画像を合成する必要がある。しかしながら、被写体の動きを正確に補正することは容易ではないため、特に動画像においてリアルタイムに動きを補正して破綻のない合成画像を生成することは困難であった。

そこで、本発明は、簡易な構成で、被写体ぶれが小さく且つ被写界深度が深い映像を得ることのできる技術を提供することを目的とする。

本発明の画像処理装置は、第１の動画像と、前記第１の動画像と同じ被写体を前記第１の動画像よりも深い被写界深度で撮影することで得られた第２の動画像とを入力する入力手段と、前記第１の動画像と前記第２の動画像の対応するフレーム同士を比較し、前記第１の動画像における鮮鋭度が前記第２の動画像における鮮鋭度よりも高い領域を当該フレームの焦点領域として検出する検出手段と、前記第１の動画像の各フレームに対して焦点領域の高周波成分を強調する処理を施すとともに、前記第２の動画像の各フレームに対して焦点領域以外の領域の高周波成分を強調する処理を施し、前記第１の動画像のフレームと前記第２の動画像のフレームとを交互に出力する画像処理手段と、を有する。

本発明の画像処理装置の制御方法は、第１の動画像と、前記第１の動画像と同じ被写体を前記第１の動画像よりも深い被写界深度で撮影することで得られた第２の動画像とを入力するステップと、前記第１の動画像と前記第２の動画像の対応するフレーム同士を比較し、前記第１の動画像における鮮鋭度が前記第２の動画像における鮮鋭度よりも高い領域を当該フレームの焦点領域として検出するステップと、前記第１の動画像の各フレームに対して焦点領域の高周波成分を強調する処理を施すとともに、前記第２の動画像の各フレームに対して焦点領域以外の領域の高周波成分を強調する処理を施し、前記第１の動画像
のフレームと前記第２の動画像のフレームとを交互に出力するステップと、を有する。

本発明によれば、簡易な構成で、被写体ぶれが小さく且つ被写界深度が深い映像を得ることができる。

ブラケット動画像の一例を示す図。 実施例１に係る画像処理装置の機能構成の一例を示す図。 実施例１，２に係る焦点領域検出部の機能構成の一例を示す図。 実施例１，２に係るフィルタ部の機能構成の一例を示す図。 実施例１，２に係る画像処理装置の処理の流れの一例を示す図。 実施例２に係る画像処理装置の機能構成の一例を示す図。

＜実施例１＞
以下、本発明の実施例１に係る画像処理装置及びその制御方法について図面を参照して説明する。
まず、本実施例に係る画像処理装置により処理されるブラケット動画像について説明する。ブラケット動画像は、第１の動画像と、第１の動画像と同じ被写体を第１の動画像よりも深い被写界深度で撮影することで得られた第２の動画像とを含む動画像である。ブラケット動画像は、例えば、絞りとシャッタースピードを変化させてブラケット撮影することにより得られる。具体的には、ブラケット動画像は、図１に示すように、絞りとシャッタースピードが異なる２つの撮影条件で交互に連続撮影して得られる。

２つの撮影条件の一方は、絞りを開きシャッタースピードが速く設定された撮影条件であり、この撮影条件で撮影を行うことにより、被写界深度の浅い画像が得られる。本実施例では、ブラケット動画像において、このような撮影条件で撮影されたフレーム群を第１の動画像と呼ぶ。
他方は、絞りを閉じシャッタースピードが遅く設定された撮影条件であり、この撮影条件で撮影を行うことにより、被写界深度の深い画像が得られる。本実施例では、ブラケット動画像において、このような撮影条件で撮影されたフレーム群を第２の動画像と呼ぶ。
なお、これら２つの撮影条件間で、露光量は同じであり、ピントも同じ位置（同じ被写体）に合わせてあるものとする。

また、図１は、注目する被写体（注目被写体）である人物にピントを合わせて撮影された動画像であり、人物から奥行き方向に離れた位置に背景がある動画像の例を示している。
第１の動画像のフレームでは、被写界深度が浅く背景の位置で焦点が合わないため、背景はぼやけてしまうが、シャッタースピードが速いため、人物が動いても人物の鮮鋭度の低下は小さい（注目被写体のぶれ（被写体ぶれ、動きぶれ）が小さい）。
一方、第２の動画像のフレームでは、シャッタースピードが遅いため、人物が動くことで該人物がぼやけてしまうが（被写体ぶれが大きい）、被写界深度が深いため、背景のぼやけは小さく鮮鋭度が高い。

本実施例では、各フレームの鮮鋭度の高い領域の画像情報（画像データ）を利用することで、被写体ぶれが小さく且つ被写界深度が深い映像を得る。

図２は、本実施例に係る画像処理装置の機能構成を示すブロック図である。図２に示すように、本実施例に係る画像処理装置は、焦点領域検出部１０１、高周波成分低減部１０
２、高周波成分強調部１０３、画像生成部１０４などを有する。本実施例に係る画像処理装置には、不図示の入力部（入力手段）によって、ブラケット動画像（第１の動画像と第２の動画像）が入力される。本実施例に係る画像処理装置は、ブラケット動画像を表示装置に出力した際に、視覚的効果により、被写体ぶれが小さく且つ被写界深度が深い映像が得られるように、各フレームの周波数特性を補正する。

焦点領域検出部１０１は、第１の動画像と第２の動画像の対応するフレーム同士を比較し、第１の動画像における鮮鋭度が第２の動画像における鮮鋭度よりも高い領域を当該フレームの焦点領域として検出する（検出手段）。本実施例では、時間的に連続する２つのフレームを比較して焦点領域を検出する。そして、その検出結果を焦点領域選択信号として出力する。

図３は、焦点領域検出部１０１の機能構成を示すブロック図である。図３に示すように、焦点領域検出部１０１は、高周波成分抽出部２０１、絶対値演算部２０２、フレーム差分演算部２０３、判定部２０４、フィルタ部２０５などを有する。

高周波成分抽出部２０１は、入力されたフレーム毎に、そのフレームの画像信号からハイパスフィルタを用いて画像の高周波成分を抽出する。
絶対値演算部２０２は、高周波成分抽出部２０１で抽出された高周波成分の絶対値を算出する。
フレーム差分演算部２０３は、第１の動画像のフレームから抽出した高周波成分の絶対値から該フレームと時間的に連続する第２の動画像のフレームから抽出した高周波成分の絶対値を減算する。
判定部２０４は、フレーム差分演算部２０３の演算結果（高周波成分の差分）が所定の閾値よりも大きいか否かを判定する。そして、高周波成分の差分が所定の閾値よりも大きい領域を焦点領域として検出する。
フィルタ部２０５は、焦点領域の検出結果を、フィルタリング処理により時間的に安定化して焦点領域選択信号として出力する。

図４は、フィルタ部２０５の機能構成を示すブロック図である。図４に示すように、フィルタ部２０５は、ノイズ除去部３０１、領域拡張部３０２、レベル拡張部３０３、時間フィルタ部３０４などを有する。

ノイズ除去部３０１は、焦点領域とされた画素のうち、孤立している画素を、焦点領域から除外する。ノイズ除去部３０１は、例えば、メディアンフィルタで構成することができる。
領域拡張部３０２は、焦点領域の範囲を広げる。領域拡張部３０２は、例えば、最大値フィルタで構成することができる。本実施例では、焦点領域か否かの検出結果（判定信号）を、焦点領域を１、それ以外の領域を０で表す２値の信号とする。そのため、本実施例では、領域拡張部３０２により、判定信号が１の領域が広げられる。
レベル拡張部３０３は、焦点領域か否かの判定信号のレベルを拡張する。例えば、０または１の判定信号を、１６倍して０または１６の信号に変換した後、ローパスフィルタでフィルタリング処理する。それにより、判定信号は、焦点領域内で１６、焦点領域以外の領域内で０、それらの領域の境界で０から１６の連続的な中間値を持つ信号となる。なお、拡張された判定信号のレベル数は１６に限らない。レベル拡張部３０３は、２段階の判定信号を４，８，３２段階などの信号に拡張してもよい。
時間フィルタ部３０４は、レベルが拡張された判定信号を時間的に安定化させる。即ち、判定信号を、フレーム間で急激に変化しないように補正する。具体的には、処理（検出）対象のフレームの時間的に１つ前のフレームに対する判定信号（レベルが拡張された判定信号）を用いて、レベルが拡張された判定信号にフィルタリング処理を施す。そして、
時間的に安定化された判定信号を焦点領域選択信号として出力する。

そして、本実施例では、高周波成分低減部１０２、高周波成分強調部１０３、及び、画像生成部１０４により、第１の動画像と第２の動画像の各フレームに対して画像処理が施される。即ち、本実施例では、高周波成分低減部１０２、高周波成分強調部１０３、及び、画像生成部１０４によって本発明の画像処理手段が実現される。
具体的には、第１の動画像の各フレームに対して焦点領域の高周波成分を強調する処理が施されるとともに、第２の動画像の各フレームに対して焦点領域以外の領域の高周波成分を強調する処理が施される。また、第１の動画像の各フレームに対して焦点領域以外の領域の高周波成分を低減する処理が施されるとともに、第２の動画像の各フレームに対して焦点領域の高周波成分を低減する処理が施される。更に、本実施例では、焦点領域と焦点領域以外の領域との境界部分において高周波成分の強調度合いが徐々に変化される。そして、画像処理後の第１の動画像のフレームと第２の動画像のフレームとが交互に出力される。即ち、画像処理が施されたブラケット動画像が出力される。

高周波成分低減部１０２は、入力されたブラケット動画像（第１の動画像及び第２の動画像）の各フレームの各画素に対して高周波成分を低減する処理を施す（高周波成分低減手段）。本実施例では、ブラケット動画像のフレーム毎に、ローパスフィルタを用いて、そのフレームの画像信号から高周波成分が低減（抑制）された高周波成分低減画像を生成する。
高周波成分強調部１０３は、入力されたブラケット動画像（第１の動画像及び第２の動画像）の各フレームの各画素に対して高周波成分を強調する処理を施す（高周波成分強調手段）。本実施例では、ブラケット動画像のフレーム毎に、ハイパスフィルタを用いて、そのフレームの画像信号から高周波成分が強調された高周波成分強調画像を生成する。
なお、出力映像に歪が発生することを抑えるため、高周波成分低減画像と高周波成分強調画像を加算し平均（１／２）した画像の画素値が、入力された画像と同じになるように高周波成分低減画像と高周波成分強調画像を生成することが好ましい。例えば、高周波成分強調画像の画素値は、入力された画像信号の画素値を２倍し、該画素値から高周波成分低減部１０２で得られた高周波成分低減画像の画素値を減算することにより算出してもよい。

画像生成部１０４には、焦点領域選択信号、高周波成分低減画像、高周波成分強調画像が入力される。本実施例では、画像生成部１０４は、高周波成分低減部１０２から出力された画素値（高周波成分低減画像の画素値）と、高周波成分強調部１０３から出力された画素値（高周波成分強調画像の画素値）とをそれぞれ重み付けして合成し、出力する（合成手段）。それにより、焦点領域から焦点領域以外の領域にかけて画素値を滑らかに変化させることができる。

例えば、焦点領域選択信号ｎが０から１６の値であり、第１の動画像のフレームが処理対象である場合には、高周波成分強調画像の画素値にｎ／１６を、高周波成分低減画像の画素値に（１６−ｎ）／１６を重み付けすればよい。一方、第２の動画像のフレームが処理対象である場合には、高周波成分強調画像の画素値に（１６−ｎ）／１６を、高周波成分低減画像の画素値にｎ／１６を重み付けすればよい。

次に、図５のフローチャートを参照して、本実施例に係る画像処理装置の処理の流れについて説明する。
まず、ステップＳ１において、焦点領域検出部１０１が、入力されたフレームに対し焦点領域の検出を行い、焦点領域選択信号を出力する。
次に、ステップＳ２において、高周波成分低減部１０２が、入力されたフレームから高周波成分低減画像を生成し出力する。
そして、ステップＳ３において、高周波成分強調部１０３が、入力されたフレームから高周波成分強調画像を生成し出力する。

次に、ステップＳ４において、画像生成部１０４が、処理対象のフレームが第１の動画像のフレームか否かを判断する。処理対象のフレームが第１の動画像のフレームである場合には、ステップＳ５へ進み、処理対象のフレームが第１の動画像のフレームで無い場合（即ち、処理対象のフレームが第２の動画像のフレームである場合）には、ステップＳ６へ進む。

ステップＳ５では、画像生成部１０４が、高周波成分強調画像の画素値にｎ／１６を、高周波成分低減画像に（１６−ｎ）／１６を重み付けし、それらの画素値を加算して出力する。
ステップＳ６では、画像生成部１０４が、高周波成分強調画像の画素値に（１６−ｎ）／１６を、高周波成分低減画像にｎ／１６を重み付けし、それらの画素値を加算して出力する。

以上述べたように、本実施例によれば、フレーム内で高周波成分の強調と低減が制御される。具体的には、第１の動画像と第２の動画像のぼやけの小さい領域の高周波成分が強調される。そして、そのような画像処理が施された第１の動画像のフレームと第２の動画像のフレームとが交互に出力される。より具体的には、第１の動画像の各フレームに対して焦点領域（注目被写体の領域）の高周波成分が強調される。そして、そのような画像処理が施された第１の動画像のフレームが１フレームおきに出力される。それにより、視覚的効果として、注目被写体のぶれが小さい映像が得られる。また、第２の動画像の各フレームに対して焦点領域以外の領域の高周波成分が強調される。そして、そのような画像処理が施された第２の動画像のフレームが１フレームおきに出力される。それにより、視覚的効果として、背景などの焦点領域以外の領域のぼやけが小さい映像が得られる。その結果、被写体ぶれが小さく且つ被写界深度が深い映像を得ることができる。
また、本実施例では、フレーム間の動きを補正して合成する必要が無いため、動き補正のための大規模な演算も必要なく、合成による画像の破綻（画質の劣化）も生じない。そのため、本実施例によれば、簡易な構成で上記効果を得ることができる。

なお、本実施例では、ぼやけの小さい領域の高周波成分を強調し、ぼやけの大きい領域の高周波成分を低減する構成としたが、ぼやけの小さい領域の高周波成分を強調するだけでもよい。そのような構成でも、本実施例に準じた効果を得ることができる。例えば、第１の動画像のフレームの焦点領域以外の領域や、第２の動画像のフレームの焦点領域に対しては、入力された画素値をそのまま割り当ててもよい（即ち、画像処理を施さなくてもよい）。また、それらの領域に対しては、輝度を調整する（例えば、一律に暗くする）などの画像処理を施してもよい。

なお、本実施例では、焦点領域と焦点領域以外の領域との境界部分において高周波成分の強調度合いを徐々に変化させるものとしたが、そのような構成で無くてもよい。具体的には、画像生成部１０４は、第１の動画像のフレームの焦点領域、および、第２の動画像のフレームの焦点領域以外の領域に対して、高周波成分強調部１０３から出力される画素値（高周波成分強調画像の画素値）を選択して出力してもよい。また、画像生成部１０４は、第１の動画像のフレームの焦点領域以外の領域、および、第２の動画像のフレームの焦点領域に対して、高周波成分低減部１０２から出力される画素値（高周波成分低減画像の画素値）を選択して出力してもよい。即ち、画像生成部１０４を本発明の選択手段として機能させてもよい。そのような構成でも、本実施例に準じた効果を得ることができる。なお、そのような構成の場合には、画像処理領域選択信号（判定信号）のレベルは０，１の２段階であればよい。すなわち、判定信号のレベルの拡張は行わなくてもよい。

なお、本実施例では、ブラケット動画像が２つの撮影条件のフレームからなる動画像であるものとしたが、ブラケット動画像は３つ以上の撮影条件のフレームを含んでいてもよい。その場合には、例えば、３つ以上の撮影条件のうち、１つの撮影条件のフレーム群を第１の動画像とし、１つの撮影条件（第１の動画像の撮影条件よりも被写界深度の深い撮影条件）のフレーム群を第２の動画像とすればよい。
なお、本実施例では、第１の動画像と第２の動画像を含むブラケット動画像が入力されるものとしたが、第１の動画像と第２の動画像は別個に入力されてもよい。

＜実施例２＞
以下、本発明の実施例２に係る画像処理装置及びその制御方法について図面を参照して説明する。本実施例では、第１の動画像と第２の動画像とで高周波成分の強調度合いを異ならせる構成について示す。なお、本実施例に係る画像処理装置の処理の流れは実施例１と同様のため、その説明は省略する。
図６は、本実施例に係る画像処理装置の機能構成を示すブロック図である。図６に示すように、本実施例に係る画像処理装置は、焦点領域検出部１０１、第１高周波成分低減部１０５、第１高周波成分強調部１０６、第２高周波成分低減部１０７、第２高周波成分強調部１０８、画像生成部１０４などを有する。焦点領域検出部１０１、画像生成部１０４の機能は実施例１と同じである。本実施例では、第１高周波成分低減部１０５、第１高周波成分強調部１０６、第２高周波成分低減部１０７、第２高周波成分強調部１０８、及び、画像生成部１０４によって本発明の画像処理手段が実現される。

第１高周波成分低減部１０５、第２高周波成分低減部１０７の基本的な機能は実施例１の高周波成分低減部１０２と同じであるが、第１高周波成分低減部１０５と第２高周波成分低減部１０７では、高周波成分の低減量（低減度合い）が異なる。即ち、第１高周波成分低減部１０５と第２高周波成分低減部１０７では、使用するローパスフィルタの通過帯域が異なる。

第１高周波成分強調部１０６、第２高周波成分強調部１０８の基本的な機能は実施例１の高周波成分強調部１０３と同じであるが、第１高周波成分強調部１０６と第２高周波成分強調部１０８では、高周波成分の強調量（強調度合い）が異なる。即ち、第１高周波成分強調部１０６と第２高周波成分強調部１０８では、使用するハイパスフィルタの通過帯域が異なる。

なお、出力映像の歪を抑制するために、第１高周波成分低減部１０５と第１高周波成分強調部１０６のフィルタ特性、及び、第２高周波成分低減部１０７と第２高周波成分強調部１０８のフィルタ特性は以下のような特性であることが望ましい。即ち、第１高周波成分低減部１０５と第１高周波成分強調部１０６から出力される画像を加算し平均した画像の画素値が入力された画像の画素値と同じとなることが望ましい。また、第２高周波成分低減部１０７と第２高周波成分強調部１０８から出力される画像を加算し平均した画像の画素値が入力された画像の画素値と同じとなることが望ましい。

ところで、本発明の画像処理装置の方式においては、高周波成分を多く含む領域（ぼやけの小さい領域）の高周波成分を強調することで、視覚的にぼやけの小さい映像を得ることができる。したがって、高周波成分の強調度合いが強ければ鮮明な映像（ぼやけの小さい映像）が得られ、弱ければぼやけた映像（ぼやけの大きい映像）が得られる。すなわち、高周波成分低減部のフィルタの通過帯域を狭く、高周波成分強調部のフィルタの通過帯域を広くすると鮮明な映像が得られ、高周波成分低減部のフィルタの通過帯域を広く、高周波成分強調部のフィルタの通過帯域を狭くするとぼやけた映像が得られる。

上述したように、本実施例では、第１の動画像と第２の動画像とで高周波成分の強調度合いを異ならせる。例えば、焦点領域とそれ以外の領域とで使用する高周波成分強調部と高周波成分低減部を異ならせることにより、第１の動画像と第２の動画像とで高周波成分の強調度合いを異ならせる。具体的には、焦点領域に対しては、第１高周波成分低減部１０５と第１高周波成分強調部１０６を用い、焦点領域以外の領域に対しては、第２高周波成分低減部１０７と第２高周波成分強調部１０８を用いて画像処理後の画素値が決定される。それにより、第１の動画像と第２の動画像とで高周波成分の強調度合いが異ならされ、焦点領域とそれ以外の領域のぼやけ量（ぼやけの度合い）が異ならされる。

以上述べたように、本実施例によれば、第１の動画像と第２の動画像とで高周波成分の強調度合いを異ならせることにより、焦点領域とそれ以外の領域のぼやけ量を異ならせることができる。
また、注目被写体の高周波成分を強調すればする程、注目被写体はより鮮明となるが、注目被写体の動きの連続性は低くなる（動きの滑らかさは低減する）。本実施例では、第１の動画像と第２の動画像とで高周波成分の強調度合いを異ならせることにより、領域毎に動きの滑らかさを異ならせることができる。例えば、焦点領域（即ち、注目被写体）を適度にぼかすことにより、注目被写体の動きに適度な残像感を持たせ、該動きを滑らかに表現することができる。
なお、本実施例では、焦点領域とそれ以外の領域とで使用する高周波成分強調部と高周波成分低減部を異ならせる構成としたが、高周波成分強調部のみを異ならせてもよい。そのような構成であっても、本実施例に準じた効果を得ることができる。

１０１ 焦点領域検出部
１０２ 高周波成分低減部
１０３ 高周波成分強調部
１０４ 画像生成部

Claims (7)

1. 第１の動画像と、前記第１の動画像と同じ被写体を前記第１の動画像よりも深い被写界深度で撮影することで得られた第２の動画像とを入力する入力手段と、
   前記第１の動画像と前記第２の動画像の対応するフレーム同士を比較し、前記第１の動画像における鮮鋭度が前記第２の動画像における鮮鋭度よりも高い領域を当該フレームの焦点領域として検出する検出手段と、
   前記第１の動画像の各フレームに対して焦点領域の高周波成分を強調する処理を施すとともに、前記第２の動画像の各フレームに対して焦点領域以外の領域の高周波成分を強調する処理を施し、前記第１の動画像のフレームと前記第２の動画像のフレームとを交互に出力する画像処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記画像処理手段は、前記第１の動画像の各フレームに対して焦点領域以外の領域の高周波成分を低減する処理を施すとともに、前記第２の動画像の各フレームに対して焦点領域の高周波成分を低減する処理を施す
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理手段は、
   前記第１の動画像及び第２の動画像の各フレームの各画素に対して高周波成分を強調する処理を施す高周波成分強調手段と、
   前記第１の動画像及び第２の動画像の各フレームの各画素に対して高周波成分を低減する処理を施す高周波成分低減手段と、
   前記第１の動画像のフレームの焦点領域、および、前記第２の動画像のフレームの焦点領域以外の領域に対して、前記高周波成分強調手段から出力される画素値を選択して出力し、前記第１の動画像のフレームの焦点領域以外の領域、および、前記第２の動画像のフレームの焦点領域に対して、前記高周波成分低減手段から出力される画素値を選択して出力する選択手段と、
   を有する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記画像処理手段は、焦点領域と焦点領域以外の領域との境界部分において高周波成分の強調度合いを徐々に変化させる
   ことを特徴とする請求項１または２に記載の画像処理装置。
5. 前記画像処理手段は、
   前記第１の動画像及び第２の動画像の各フレームの各画素に対して高周波成分を強調する処理を施す高周波成分強調手段と、
   前記第１の動画像及び第２の動画像の各フレームの各画素に対して高周波成分を低減する処理を施す高周波成分低減手段と、
   前記高周波成分強調手段から出力される画素値と、前記高周波成分低減手段から出力される画素値とをそれぞれ重み付けして合成し、出力する合成手段と、
   を有する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記画像処理手段は、前記第１の動画像と前記第２の動画像とで高周波成分の強調度合いを異ならせる
   ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 第１の動画像と、前記第１の動画像と同じ被写体を前記第１の動画像よりも深い被写界
   深度で撮影することで得られた第２の動画像とを入力するステップと、
   前記第１の動画像と前記第２の動画像の対応するフレーム同士を比較し、前記第１の動画像における鮮鋭度が前記第２の動画像における鮮鋭度よりも高い領域を当該フレームの焦点領域として検出するステップと、
   前記第１の動画像の各フレームに対して焦点領域の高周波成分を強調する処理を施すとともに、前記第２の動画像の各フレームに対して焦点領域以外の領域の高周波成分を強調する処理を施し、前記第１の動画像のフレームと前記第２の動画像のフレームとを交互に出力するステップと、
   を有することを特徴とする画像処理装置の制御方法。

Images