JP2015207860A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】異なる合焦距離で撮影した複数枚の画像から十分に被写界深度を拡大させた画像を生成する。
【解決手段】複数の画像のうち１の画像を基準画像とし、他の画像を参照画像として設定する画像設定手段１２，１３と、基準画像と参照画像との動きを補償した補償参照画像を生成する補償画像生成手段１４と、基準画像及び補償参照画像が合焦している度合いを示す基準合焦度及び参照合焦度を算出する合焦度算出手段１５，１６と、基準合焦度及び参照合焦度から基準画像と補償参照画像との合成比率を決定し、合成比率に従って基準画像と補償参照画像との合成画像を生成する画像合成手段１７，１８とを備え、合成画像の生成を逐次的に繰り返し行い、ｎ回目の合成処理においてｎ−１回目の合成処理による合成画像又は複数の画像のうちｎ回目の合成処理時に未だ合成処理が行われていない１の画像である未合成画像を基準画像として設定する画像処理装置１０を提供する。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに係り、特に、複数枚の画像を合成することにより被写界深度を拡大した画像を生成する画像処理装置、画像処理方法及び画像処理プログラムに関するものである。

従来、カメラ等の画像処理装置により取得した複数枚の画像に対して位置合わせを行ったうえで合成することにより被写界深度を拡大した画像を生成する技術が知られている。
例えば、特許文献１には、光学系から、合焦する被写体までの距離（以下、「合焦距離」という）を異ならせて撮影した複数枚の画像から１枚の基準画像を選択し、基準画像から抽出した特徴点と、基準画像以外の画像における特徴点と対応する画素とが重なるように画像を変形し、これら複数枚の画像間で合焦度が高い画素の重みを大きくするように加重平均することにより被写界深度を拡大した画像を生成する技術が開示されている。

特開２００８−２７１２４０号公報

複数の画像が異なる合焦距離で撮影した画像である場合には、画像間において対応する領域同士のいずれかでボケ量が多くなる場合がある。ボケ量が多い領域については動きベクトルの信頼性が低くなり、位置合わせが失敗する可能性が高くなる。位置合わせが失敗している領域で複数の画像を合成することにより多重像等のアーティファクトが発生してしまう。

本発明は、上述した事情に鑑みてなされたものであって、異なる合焦距離で撮影した複数枚の画像から十分に被写界深度を拡大させた画像を生成することを目的とする。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、異なる合焦距離で取得された複数の画像を入力する入力手段と、該入力手段に入力された１の画像を基準画像として設定する基準画像設定手段と、複数の前記画像のうち前記基準画像とは異なる画像を参照画像として設定する参照画像設定手段と、前記基準画像と前記参照画像との動きベクトルを算出し、該動きベクトルに基づいて動きを補償した補償参照画像を生成する補償画像生成手段と、前記基準画像が合焦している度合いを示す基準合焦度を算出する基準合焦度算出手段と、前記補償参照画像が合焦している度合いを示す参照合焦度を算出する参照合焦度算出手段と、前記基準合焦度と前記参照合焦度とに基づいて、前記基準画像と前記補償参照画像との合成比率を決定する合成比率決定手段と、前記合成比率に従って前記基準画像と前記補償参照画像とを合成処理して合成画像を生成する画像合成手段と、を備え、該画像合成手段が、前記合成画像の生成を逐次的に繰り返し行い、前記基準画像設定手段が、前記画像合成手段によるｎ回目（ｎは２以上の整数）の合成処理において、（ｉ）ｎ−１回目の合成処理において生成された前記合成画像、又は（ｉｉ）前記複数の画像のうち前記ｎ回目の合成処理の時点で前記合成処理に未だ用いられていない１の画像である未合成画像のうちいずれか一方を前記基準画像として設定すると共に、前記参照画像設定手段が他方を前記参照画像として設定し、前記合成手段が、前記ｎ回目の合成処理において、前記ｎ−１回目の合成処理において生成された前記合成画像と前記未合成画像とを合成し、前記ｎ回目の合成処理において合成される前記未合成画像が、複数の前記画像のうち、前記ｎ−１回目の合成処理において合成された前記未合成画像と最も合焦距離が近い画像である画像処理装置を提供する。

本態様によれば、基準画像設定手段が、入力手段に入力された異なる合焦距離の複数の画像の何れか１の画像を基準画像とし、参照画像設定手段が基準画像とは異なる画像を参照画像とし、補償画像生成手段が、参照画像の動きを補償した補償参照画像を生成し、基準合焦度算出手段及び参照合焦度算出手段が基準画像及び補償参照画像が合焦している度合いを示す基準合焦度及び参照合焦度を夫々算出する。そして、合成比率決定手段が基準合焦度及び参照合焦度に基づいて基準画像と補償参照画像との合成比率を決定し、画像合成手段が合成比率に従って基準画像と補償参照画像とを合成して合成画像を生成する。

従って、生成された合成画像は、合成対象であった基準画像に比して合焦した領域が拡大した、つまり深度が拡大した画像となる。この場合において、画像合成手段が合成処理を繰り返し行い、基準画像設定手段がｎ回目の合成処理においては、ｎ−１回目の合成処理で生成された合成画像とその時点での未合成画像とを順次合成処理を行って合成画像を生成する。ここで、ｎ回目の合成処理において合成される未合成画像は、ｎ−１回目の合成処理において合成された未合成画像と最も合焦距離が近い画像とする。

合成対象の複数の画像の中で、ｎ回目の合成処理において合成される未合成画像と、ｎ−１回目の合成処理において合成された未合成画像との合焦距離が最も近い場合、ｎ回目の合成処理において合成される未合成画像のボケ量が少ない領域と、ｎ−１回目の合成処理において合成された未合成画像のボケ量が少ない領域との重複領域が最も広くなる。
そして、ｎ−１回目の合成処理において合成された未合成画像のボケ量が少ない領域の画素値は、ｎ−１回目の合成処理で生成された合成画像に大きく寄与する。このため、ｎ回目の合成処理において合成される未合成画像におけるボケ量が少ない領域に対応する、ｎ−１回目の合成処理で生成された合成画像におけるボケ量が少ない領域の面積が広くなり、位置合わせが失敗せずに合成が行われ、多重像等のアーティファクトが発生しない領域を広くすることができる。

なお、動きを補償した補償画像として、参照画像について補償画像を生成することもできる他、例えば、基準画像に対する参照画像の動きベクトルの半分の大きさの動きベクトルで定義される座標に基準画像と参照画像とを夫々位置合わせした、動きの軌跡の中間点に近いと想定される補償基準画像と補償参照画像とを生成してもよい。

上記した態様においては、前記合成手段によるｎ回目の合成処理において、基準合焦度算出手段又は参照合焦度算出手段が、ｎ−１回目の合成処理に際して算出した前記基準合焦度及び前記参照合焦度のうち最大値を、ｎ−１回目の合成処理で生成された合成画像の合焦度として算出することとしてもよい。

このようにすることで、ｎ−１回目の合成処理における合焦度の最大値を適用することで、次の合成処理において、画像中の既に合成した領域に対する無用な合成処理を抑制することができる。

本発明の他の態様は、異なる合焦距離で取得された複数の画像を入力する入力ステップと、前記入力ステップにおいて入力された１の画像を基準画像として設定する基準画像設定ステップと、複数の前記画像のうち前記基準画像とは異なる画像を参照画像として設定する参照画像設定ステップと、前記基準画像と前記参照画像との動きベクトルを算出し、該動きベクトルに基づいて動きを補償した補償参照画像を生成する補償画像生成ステップと、前記基準画像が合焦している度合いを示す基準合焦度を算出する基準合焦度算出ステップと、前記補償参照画像が合焦している度合いを示す参照合焦度を算出する参照合焦度算出ステップと、前記基準合焦度と前記参照合焦度とに基づいて、前記基準画像と前記補償参照画像との合成比率を決定する合成比率決定ステップと、前記合成比率に従って前記基準画像と前記補償参照画像とを合成処理して合成画像を生成する画像合成ステップと、を備え、該画像合成ステップにおいて、前記合成画像の生成を逐次的に繰り返し行い、前記基準画像設定ステップにおいて、前記画像合成ステップにおけるｎ回目（ｎは２以上の整数）の合成処理において、（ｉ）ｎ−１回目の合成処理において生成された前記合成画像、又は（ｉｉ）前記複数の画像のうち前記ｎ回目の合成処理の時点で前記合成処理に未だ用いられていない１の画像である未合成画像のうち、いずれか一方を前記基準画像として設定すると共に、前記参照画像設定ステップにおいて他方を前記参照画像として設定し、前記合成ステップが、前記ｎ回目の合成処理において、前記ｎ−１回目の合成処理において生成された前記合成画像と前記未合成画像とを合成し、前記ｎ回目の合成処理において合成される前記未合成画像が、前記複数の画像のうち、前記ｎ−１回目の合成処理において合成された前記未合成画像と最も合焦距離が近い画像である画像処理方法を提供する。

また、本発明の他の態様は、異なる合焦距離で取得された複数の画像を入力する入力ステップと、前記入力ステップにおいて入力された１の画像を基準画像として設定する基準画像設定ステップと、複数の前記画像のうち前記基準画像とは異なる画像を参照画像として設定する参照画像設定ステップと、前記基準画像と前記参照画像との動きベクトルを算出し、該動きベクトルに基づいて動きを補償した補償参照画像を生成する補償画像生成ステップと、前記基準画像が合焦している度合いを示す基準合焦度を算出する基準合焦度算出ステップと、前記補償参照画像が合焦している度合いを示す参照合焦度を算出する参照合焦度算出ステップと、前記基準合焦度と前記参照合焦度とに基づいて、前記基準画像と前記補償参照画像との合成比率を決定する合成比率決定ステップと、前記合成比率に従って前記基準画像と前記補償参照画像とを合成処理して合成画像を生成する画像合成ステップと、を備え、該画像合成ステップにおいて、前記合成画像の生成を逐次的に繰り返し行い、前記基準画像設定ステップにおいて、前記画像合成ステップにおけるｎ回目（ｎは２以上の整数）の合成処理において、（ｉ）ｎ−１回目の合成処理において生成された前記合成画像、又は（ｉｉ）前記複数の画像のうち前記ｎ回目の合成処理の時点で前記合成処理に未だ用いられていない１の画像である未合成画像のうち、いずれか一方を前記基準画像として設定すると共に、前記参照画像設定ステップにおいて他方を前記参照画像として設定し、前記合成ステップが、前記ｎ回目の合成処理において、前記ｎ−１回目の合成処理において生成された前記合成画像と前記未合成画像とを合成し、前記ｎ回目の合成処理において合成される前記未合成画像が、前記複数の画像のうち、前記ｎ−１回目の合成処理において合成された前記未合成画像と最も合焦距離が近い画像である画像処理をコンピュータに実行させる画像処理プログラムを提供する。

本発明によれば、異なる合焦距離で撮影した複数枚の画像から十分に被写界深度を拡大させた画像を生成することができるという効果を奏する。

本発明の第１の実施形態に係る画像処理装置の概略構成を示すブロック図である。 合成妥当性重みを算出するための関数を示すグラフである。 合焦度として高周波成分を算出する際に適用するラプラシアンフィルタの例である。 合成率を算出する際の関数を示すグラフである。 本発明の第１の実施形態に係る画像処理装置の作用を示すフローチャートである。 本発明の第２の実施形態に係る画像処理装置の概略構成を示すブロック図である。 合成妥当性重みを算出するための関数の他の例を示すグラフである。

（第１の実施形態）
以下に、本発明の第１の実施形態に係る画像処理装置について図面を参照して説明する。
図１に示すように、画像処理装置１０は、入力部１１、基準画像設定部１２、参照画像設定部１３、補償画像生成部１４、基準合焦度算出部１５、参照合焦度算出部１６、合成比率決定部１７、及び画像合成部１８を備えている。

入力部１１は、光学系から合焦する被写体までの距離（以下、「合焦距離」という）を異ならせて、すなわち、異なる合焦距離で撮像された複数（Ｎ枚）の画像を入力する。画像処理装置１０が図示しない撮像ユニットに接続されている場合には、撮像ユニットが、異なる合焦距離で同一被写体を時系列的に撮像し、撮像順に時系列的に複数の画像を入力部１１に入力する構成とすることができる。なお、撮像ユニットは、光学系を作動させて、レンズから撮像素子までの距離を変化させながら撮像を行うことにより、合焦距離を異ならせた複数の画像を取得することができる。また、既に撮像された複数の画像を一時に入力部１１に入力する構成とすることができる。

基準画像設定部１２は、入力部１１に入力された１の画像を、画像間の動き補償の基準となる画像である基準画像として設定する。基準画像を何れの画像とするかは、適宜設定することができる。例えば、複数の画像のうち、最も合焦距離が短いと判断される画像を基準画像とすることができる他、複数の画像がオートフォーカス機能（ＡＦ）を有する撮像ユニットにより撮像されている場合には、ＡＦにより調整され主要な被写体に最も合焦している画像を基準画像とすることができる。また、複数の画像を合焦距離順に配列した時に中間となる合焦距離を有する画像を基準画像としたり、時間的に最も早く撮像された画像を基準画像としたりすることもできる。

また、基準画像設定部１２は、後述する画像合成部により合成画像が生成され、合成画像が入力された場合にはこの合成画像を基準画像として改めて設定する、すなわち基準画像を更新する。
なお、以下の説明において、基準画像のうち、入力部１１に入力された複数の画像から設定された基準画像のみを示す場合に当該基準画像を「初期基準画像」と称する。

参照画像設定部１３は、複数の画像のうち基準画像設定部１２により設定された初期基準画像とは異なる画像を参照画像として設定する。参照画像としては、複数の画像のうち未だ参照画像として設定されていない画像から、初期基準画像と最も合焦距離が近い画像を順次選択することが好ましい。例えば、入力部１１に入力された画像がＮ枚であり、画像合成部１８によりＮ−１回の合成が行われる場合、画像合成部１８によるｎ回目（１≦ｎ＜Ｎ）の合成処理において、初期基準画像とｎ番目に合焦距離が近い画像を参照画像として選択することができる。

補償画像生成部１４は、基準画像と参照画像との動きベクトルを算出し、動きベクトルに基づいて動きを補償した補償参照画像を生成する。
補償画像生成部１４による動きベクトルの算出は、例えば、基準画像を一定の大きさの複数領域に分割し、分割した各領域でブロックマッチングを行うことにより行うことができる。

ブロックマッチングでは、格子状に等間隔で選んだ点を代表点として、基準画像と参照画像とで重ね合わせ位置をずらしながら代表点周辺での画像間で画素値の差の絶対値の総和（ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ））を算出し、ＳＡＤが最小となる位置を探索して代表点で代表点動きベクトルを算出する。代表点で算出した代表点動きベクトルを全画素に線形補間することで画素ごとの動きベクトルを得る。
なお、ブロックマッチングに代えて、勾配法などにより動きベクトルを算出することもできる。

代表点の選出方法としては、コーナー検出法により基準画像から抽出したコーナーを代表点としてもよく、コーナー以外の特徴点を代表点としてもよい。ブロックマッチングでは、ＳＡＤの代りに画像間の画素値の差の２乗和（ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ））を算出してもよい。
代表点で算出した動きベクトルを全画素に補間する方法としては、線形補間処理に代えて、近傍の代表点での動きベクトルを距離等に応じた重みで平均して補間してもよい。

また、補償画像生成部１４は、算出した動きベクトルに基づいて、参照画像と基準画像が重なるよう位置合わせを行い、補償参照画像を作成する。

また、例えば、基準画像に対する参照画像の動きベクトルの半分の大きさの動きベクトルで定義される座標に基準画像と参照画像とを夫々位置合わせした、動きの軌跡の中間点に近いと想定される補償基準画像と補償参照画像とを生成してもよい。本実施形態においては、基準画像に対する参照画像の動きベクトルを算出し、参照画像が基準画像に重なるように参照画像を変形した補償参照画像を生成することとして説明する。
参照画像の変形、つまり補償参照画像の生成は、参照画像の各画素での画素値を、動きベクトルの分だけずれた位置の画素での画素値で置き換えることにより行う。

ところで、ブロックマッチングにより動きベクトルを算出する場合、画像が平坦である（画素値の変動がなだらかである）場合は動きベクトルの信頼性が低くなる。そこで、補償画像生成部１４は、ブロックマッチングで代表点とした座標周辺で補償参照画像の画素値の分散σを動きベクトルの信頼性を示す指標として算出し、分散σに基づいて当該画素が合成に適している程度を示す合成妥当性重みＷｖａｌｉｄを算出する。

図２（Ａ）に示すように、分散σがしきい値σｔｈ以下である画素では、代表点の動きベクトルの信頼性が低く、当該画素については画像合成に用いるのがふさわしくないとして、代表点の座標での合成妥当性重みＷｖａｌｉｄを０とする。代表点の座標以外の画素では、代表点の座標で算出された合成妥当性重みＷｖａｌｉｄを線形補間することにより合成妥当性重みを算出する。
これにより、動き補償が失敗している領域について基準画像と参照画像の合成が行われることにより多重像等のアーティファクトが発生することを抑制することができる。

さらに、ｎ回目の合成処理において合成される未合成画像を、ｎ−１回目の合成処理において合成された未合成画像と最も合焦距離が近い画像とする場合に、合成妥当性重みＷｖａｌｉｄを用いた合成を用いることによって、ｎ回目の合成処理において合成される未合成画像のボケが少ない領域と、ｎ−１回目の合成により生成された合成画像のボケが少ない領域との重複領域以外の領域において合成が行われることを抑制することができる。これにより、多重像等のアーティファクトの発生をより確実に抑制することができる。

なお、補償参照画像の画素値の分散σを算出することにより動きベクトルの信頼性を評価したが、基準画像の画素値の分散σを算出してもよく、補償参照画像の画素値の分散と基準画像の画素値の分散の小さい方の値を算出することとしてもよい。
図２（Ａ）では、σがしきい値σｔｈ以下の画素でＷｖａｌｉｄを０としたが、例えば、図２（Ｂ）に示すように、σｔｈ０とσｔｈ１との二つの閾値を設け、Ｗｖａｌｉｄがσｔｈ０とσｔｈ１との間で分散σの一次関数としてもよく、図２（Ｃ）に示すように、Ｗｖａｌｉｄが分散σに関して単調増加するようにしてもよい。

上記した例においては、周辺の画像が平坦である代表点で算出した代表点動きベクトルの信頼性が低いとして合成妥当性重みを算出したが、ブロックマッチングを用いる場合、代表点周辺に直線や周期的なパターンがある場合にも代表点動きベクトルの信頼性は小さくなる。また、撮像ユニットとしてのカメラの動きが大きい場合や被写体が大きく動いた場合なども代表点動きベクトルの信頼性は小さくなる。そこで、直線パターンや周期的パターンを検出されたときに合成妥当性重みを小さくしたり、代表点動きベクトルの大きさが大きいときに合成妥当性重みを小さくしたりしてもよい。
また、代表点動きベクトルが、全ての代表点で互いに大きく異なる場合など、画像全体で動きベクトルの信頼性が低いときは、合成妥当性重みＷｖａｌｉｄを全画素一様に０として、参照画像の合成を行わないこととしてもよい。

基準合焦度算出部１５は、基準画像の各画素においてその高周波成分を算出し、算出した高周波成分の絶対値を基準画像が合焦している度合いを示す基準合焦度ｆｂａｓｅとして算出する。

参照合焦度算出部１６は、補償画像生成部１４により動きが補償された補償参照画像の各画素においてその高周波成分を算出し、算出した高周波成分の絶対値を補償参照画像が合焦している度合いを示す参照合焦度ｆｒｅｆとして算出する。
参照画像合焦度は、必ずしも補償参照画像からその高周波成分の絶対値を算出する必要はなく、動き補償前の参照画像の高周波成分の絶対値に対して動き補償を行うことにより同等の参照画像合焦度を得ることができる。

高周波成分は、画像に対して、例えば図３に示すラプラシアンフィルタを適用することで算出することができる。また、ラプラシアンフィルタに代えてバンドバスフィルタを適用することもでき、この場合には、実際にはボケた画素であり本来は合焦度が低くなるにもかかわらず、ノイズの影響により高周波成分が高いという算出結果が得られてしまうことを防ぐことができる。
なお、基準合焦度及び参照合焦度として、高周波成分に相当する指標値を適用すればよく、各画素での周辺画素値の分散値や各画素での勾配の大きさを用いることもできる。

合成比率決定部１７は、基準合焦度と参照合焦度とに基づいて、基準画像と補償参照画像との合成比率を決定する。つまり、合成比率決定部１７は、例えば、下記の数１に従って、参照合焦度ｆｒｅｆが基準合焦度ｆｂａｓｅより大きければ大きいほど補償参照画像の合成率を高くするように、補償参照画像の合成率Ｗｆｏｃｕｓを算出する。

上記数１では（ｆｒｅｆ−ｆｂａｓｅ）に対するシグモイド関数により補償参照画像の合成率を算出したが、図４に示すように、（ｆｒｅｆ−ｆｂａｓｅ）が−ｔｈ０とｔｈ０との間である場合において、ｗｆｏｃｕｓが（ｆｒｅｆ−ｆｂａｓｅ）の一次関数として変化するような関数や折れ線テーブルから算出してもよい。
また、数１では、参照合焦度ｆｒｅｆと基準合焦度ｆｂａｓｅとの差に応じて補償参照画像の合成率Ｗｆｏｃｕｓを算出したが、参照合焦度ｆｒｅｆと基準合焦度ｆｂａｓｅとの比に応じて合成率Ｗｆｏｃｕｓを算出してもよい。

合成比率決定部１７は、補償画像生成部１４において合成妥当性重みＷｖａｌｉｄが算出されている場合には、これを勘案して、先に算出した合成率Ｗｆｏｃｕｓを修正する。
つまり、合成比率決定部１７は、合成妥当性重みＷｖａｌｉｄが大きいほど、また補償参照画像の合成率Ｗｆｏｃｕｓが大きいほど補償参照画像の最終的な合成率Ｗｒｅｆが大きくなるように数２に従って合成率Ｗｆｏｃｕｓを修正する。

そして、数２によって得られた補償参照画像の最終的な合成率である参照合成率Ｗｒｅｆから、基準画像の合成率である基準合成率Ｗｂａｓｅを数３に従って算出する。

上述のように参照合成率Ｗｒｅｆを合成妥当性重みＷｖａｌｉｄと合成率Ｗｆｏｃｕｓとの積として算出したが、Ｗｖａｌｉｄが大きくなるほどＷｒｅｆが大きくなり、Ｗｆｏｃｕｓが大きくなるほどＷｒｅｆが大きくなるその他の関数により算出してもよい。

このように、合成比率算出部１７は、基準画像と補償参照画像との最終的な合成率である基準合成率Ｗｂａｓｅと参照合成率Ｗｒｅｆを夫々算出する。
なお、補償画像生成部１４において必ずしも合成妥当性重みを算出する必要はなく、合成妥当性重みを算出しない場合には、Ｗｆｏｃｕｓをそのまま参照合成率とし、基準合成率を１−Ｗｆｏｃｕｓとする。

画像合成部１８は、合成比率算出部１７において算出された合成比率、すなわち基準合成率及び参照合成率に従って、基準画像と補償参照画像とを合成して合成画像を生成する。すなわち、基準画像の画素値Ｂと補償参照画像の画素値Ｒを基準合成率Ｗｂａｓｅと参照画像合成率Ｗｒｅｆによる加重平均を行うことにより合成画像Ｂ’を取得する（数４）。

このようにして画像合成部１８により生成された合成画像Ｂ’は、基準画像設定部１２に出力される。基準画像設定部１２では、ｎ回目（２回目以降）の合成処理において、ｎ−１回目の合成処理において生成された合成画像を基準画像として改めて設定する。画像合成部１８では、改めて設定された基準画像を適用して上記した合成画像の生成（以下、「合成処理」という）を逐次的に繰り返し行う。

つまり、画像合成部１８は、Ｎ枚の画像から初期基準画像以外の画像を参照画像として設定し、参照画像を順次更新される基準画像に合成する処理を逐次繰り返し、Ｎ−１回目の合成処理において生成された合成画像を最終的な画像として出力する。なお、本実施形態ではｎ−１回目の合成処理において生成された合成画像を基準画像として改めて設定する構成としたが、ｎ−１回目の合成処理において生成された合成画像を動き補償の参照画像とし、ｎ回目の合成処理の時点で未合成の画像を動き補償の基準画像としてもよい。

以下、このように構成された画像処理装置の作用、すなわち上記画像処理装置による画像処理方法について、図５のフローチャートを参照しつつ説明する。
ステップＳ１０１において、入力部１１に合焦距離の異なるＮ枚の画像が順次又は一時に入力され、ステップＳ１０２において、基準画像設定部１２が、入力部１１に入力された複数の画像のうち１の画像を初期基準画像として設定し、次のステップＳ１０３において参照画像設定部１３が複数の画像のうち初期基準画像とは異なる画像を参照画像として設定する。設定された基準画像及び参照画像は、補償画像生成部１４に出力される。

次のステップＳ１０４では、補償画像生成部１４により、基準画像と参照画像との動きベクトルを算出し、動きベクトルに基づいて動きを補償した補償参照画像を生成する。基準画像及び生成された補償参照画像は合成比率決定部１７及び画像合成部１８に出力される。また、補償画像生成部１４により動きベクトルから合成妥当性重みが算出されている場合には、合成妥当性重みが合成比率決定部１７に出力される。

ステップＳ１０５では、合成比率決定部１７により、基準画像と補償参照画像との合成比率、つまり基準画像の合成率である基準合成率と補償参照画像の合成率である参照合成率とを算出し、算出した各合成率を画像合成部１８に出力する。
ステップＳ１０６では、合成比率決定部１７から出力された合成率に従って、基準画像と補償参照画像とを合成した合成画像を生成し、ステップＳ１０７において、直前のステップＳ１０６における合成処理がＮ−１回目の処理であるか否かを判定する。

ステップＳ１０７において、合成処理がＮ−１回目の処理でないと判断した場合には、画像合成部１８が合成画像を基準画像設定部１２に出力すると共にステップＳ１０２に戻り、基準画像設定部１２が当該合成画像を基準画像として更新し、上記処理を繰り返す。一方、ステップＳ１０７において、合成処理がＮ−１回目の処理であると判断した場合には、直前のステップＳ１０６において生成された合成画像を最終的な合成画像として出力する（Ｓ１０８）。

このように本実施形態によれば、画像合成部１８が、基準画像設定部１２により改めて設定された基準画像を適用して合成処理を逐次的に繰り返し行う。基準画像設定手段がｎ回目の合成処理においては、ｎ−１回目の合成処理で生成された合成画像と未合成画像とを順次合成処理を行って合成画像を生成する。ここで、ｎ回目の合成処理において合成される未合成画像は、ｎ−１回目の合成処理において合成された未合成画像と最も合焦距離が近い画像とする。

合成対象の複数の画像の中で、ｎ回目の合成処理において合成される未合成画像と、ｎ−１回目の合成処理において合成された未合成画像との合焦距離が最も近い場合、ｎ回目の合成処理において合成される未合成画像のボケ量が少ない領域と、ｎ−１回目の合成処理において合成された未合成画像のボケ量が少ない領域との重複領域が最も広くなる。そして、ｎ−１回目の合成処理において合成された未合成画像のボケ量が少ない領域の画素値は、ｎ−１回目の合成処理で生成された合成画像に大きく寄与する。

このため、ｎ回目の合成処理において合成される未合成画像におけるボケ量が少ない領域に対応する、ｎ−１回目の合成処理で生成された合成画像におけるボケ量が少ない領域の面積が広くなる。このため位置合わせが失敗せずに合成が行われ、多重像等のアーティファクトが発生しない領域を広くすることができる。

さらに、ｎ回目の合成処理において合成される未合成画像を、ｎ−１回目の合成処理において合成された未合成画像と最も合焦距離が近い画像とする場合に、合成妥当性重みＷｖａｌｉｄを用いた合成を行うことによって、ｎ回目の合成処理において合成される未合成画像のボケが少ない領域と、ｎ−１回目の合成により生成された合成画像のボケが少ない領域との重複領域以外の領域において合成が行われることを抑制することができる。これにより、多重像等のアーティファクトの発生をより確実に抑制することができる。

（第２の実施形態）
次に、本発明の第２の実施形態に係る画像処理装置２０について図６を参照して説明する。本実施形態において、上述した第１の実施形態に係る画像処理装置１０と同様の構成については同符号を付し、その説明を省略する。本実施形態に係る画像処理装置２０は、第１の実施形態に係る画像処理装置１０の基準合焦度算出部１５が、最大値算出部２１を備えている点において相違する。そして、最大値算出部２１を備えたことにより、基準合焦度算出部１５及び参照合焦度算出部１６におけるデータの流れが上述の画像処理装置１０と異なる。

最大値算出部２１は、参照合焦度算出部から参照合焦度を取得し、基準合焦度と参照合焦度の大きい方の値を最大値として算出する。基準合焦度算出部１５では、ｎ回目（２≦ｎ＜Ｎ）の合成処理において、ｎ−１回目の合成処理において最大値算出部２１により算出された最大値を基準合焦度として算出する。

より具体的には、基準合焦度算出部１５は、１回目の合成処理において基準合焦度ｆｂａｓｅ１を算出し、２回目以降の合成処理においては、合成処理がｎ回目（２≦ｎ＜Ｎ）のとき、ｎ−１回目の合成処理における最大値算出部による最大値ｆｍａｘ＿ｎ−１を基準合焦度ｆｂａｓｅ＿ｎとして設定する。

また、ｎ回目（２≦ｎ＜Ｎ）の合成処理である場合、以下の数５に従ってｎ−１回目の合成処理における最大値ｆｍａｘ＿ｎ−１と基準画像の高周波成分の絶対値ｈｂａｓｅ＿ｎの大きい方の値を基準合焦度ｆｂａｓｅ＿ｎとして設定してもよい。

なお、ＭＡＸ（ｈｂａｓｅ＿ｎ，ｆｍａｘ＿ｎ−１）はｈｂａｓｅ＿ｎ又はｆｍａｘ＿ｎ−１のうちの大きい方の値を示す。

一方、参照合焦度算出部１６は、ｎ回目（１≦ｎ＜Ｎ）の合成処理において、第１の実施形態に係る画像処理装置１０と同様にして参照合焦度ｆｒｅｆ＿ｎを算出する。
最大値算出部２１は、ｎ回目（１≦ｎ＜Ｎ）の合成処理において、基準合焦度ｆｂａｓｅ＿ｎと参照画像合焦度ｆｒｅｆ＿ｎの大きい方の値をｆｍａｘ＿ｎとして設定する（数６）。

合成比率決定部１７では、第１の実施形態に係る画像処理装置１０と同様にして補償参照画像の合成率Ｗｆｏｃｕｓを算出する。なお、ｆｍａｘ＿ｎは、初期基準画像とｎ回目までのすべての合成処理における参照画像との高周波成分の絶対値の最大値を示している。このため、ｎ＋１回目の合成処理において合成比率決定部１７では、初期基準画像とｎ回目までの合成処理に用いられたすべて参照画像との高周波成分の絶対値の最大値を、（ｎ＋１）回目の合成処理において補償参照画像の高周波成分の絶対値と比較して補償参照画像の合成率Ｗｆｏｃｕｓを算出することになる。

このように本実施形態によれば、初期基準が合焦している又はｎ回目までの合成処理において合焦している参照画像があった領域では、ｎ＋１回目以降の合成処理において参照画像の合成が抑制される。つまり、合焦している基準画像にボケている参照画像を合成することを防止することができるので、合成を繰り返すことによって却って合成画像がボケてしまうことを抑制することができる。

また、上述した各実施形態に係る画像処理装置は、デジタルカメラ等の画像処理装置の内部に備えられる構成とすることができる。また、上記画像処理を行う画像処理プログラムが汎用又は専用のコンピュータにより展開され実行される構成とすることもできる、すなわち汎用又は専用のコンピュータにより上記画像処理装置を実現することができる。

なお、上記画像処理を行う画像処理プログラムは、予めコンピュータに記憶しておくことができるのは勿論、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等のコンピュータ読み取り可能な記憶媒体に記憶しておくこともできる。

（変形例）
上述した各実施形態においては、合成妥当性重みを動きベクトルの信頼性に基づいて算出していたが、これに限られることはなく、基準画像と補償参照画像の画素値差が大きいとき合成妥当性重みＷｖａｌｉｄが小さくなるように以下のように算出することもできる。

例えば、画素ごとに基準画像と補償参照画像の画素値差Δを算出し、図７（Ａ）のようにΔがしきい値以上のとき各画素での合成妥当性重みＷｖａｌｉｄを０としたり、図７（Ｂ），（Ｃ）のように画素値差Δが大きくなるに従って各画素の合成妥当性重みＷｖａｌｉｄが小さくなる関数やテーブルなどによりＷｖａｌｉｄを算出してもよい。
このようにすることで、局所的に被写体が動いた場合など、等間隔で選択した代表点で動きベクトルを算出したときに検出できないような局所的な動きがあったとき、合成画像に多重像が発生することを防ぐことができる。

さらに、画素ごとに合成妥当性重みＷｖａｌｉｄを算出することに代えて、例えば数７に示す全画素での基準画像の画素値と補償参照画像の画素値の差の絶対値を画像上の全画素で足した値がしきい値以上のとき、全画素で合成妥当性重みＷｖａｌｉｄを０としてもよい。

また、上述した各実施形態においては、参照画像設定部において夫々１枚の参照画像を設定し、１枚の参照画像と基準画像とを合成する処理を逐次繰り返す構成について説明したが、参照画像設定部１３が複数の参照画像を設定することもできる。すなわち、複数の参照画像を設定して同時に合成処理を行い、複数枚から合成画像を生成する処理を逐次繰り返すことで、処理速度を向上させながら、被写界深度を拡大した画像を取得することができる。

さらに、基準画像と補償参照画像の各画素を算出された合成率で合成画像を生成しているが、ウェーブレット変換を行うことやラプラシアンピラミッドを作成することにより基準画像と動き補償参照画像を多重解像度に分解して、各解像度で加重平均することにより合成画像を生成することも可能である。
この場合、参照画像を多重解像度に分解してから動き補償を行っても、補償参照画像を多重解像度分解することと同等の効果を得ることができる。

以上述べたように、合成処理を逐次繰り返し行い、ｎ回目の合成処理において合成される未合成画像を、ｎ−１回目の合成処理において合成された未合成画像と最も合焦距離が近い画像とし、ｎ−１回目の合成により生成された合成画像との間で動き補償することで、１回目の合成の際に設定した基準画像（初期基準画像）を２回目以降の合成の際に引き続き動き補償に用い続ける場合に比して、基準画像と補償参照画像との重複する合焦領域が広い画像を広くすることができ、合成画像に多重像等のアーティファクトが発生することを防ぎつつ被写界深度を拡大することができる。
また、合成処理を繰り返す際に、前回までに合成した画像に合焦している画像があった領域については合成を抑制することで、合成処理を繰り返す度に合焦領域がボケていくことを防ぎ、より合焦した画像を生成することができる。

１０ 画像処理装置
１１ 入力部
１２ 基準画像設定部
１３ 参照画像設定部
１４ 補償画像生成部
１５ 基準合焦度算出部
１６ 参照合焦度算出部
１７ 合成比率決定部
１８ 画像合成部
２０ 画像処理装置
２１ 最大値算出部

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、異なる合焦距離で取得された複数の画像を入力する入力手段と、該入力手段に入力された１の画像を基準画像として設定する基準画像設定手段と、複数の前記画像のうち前記基準画像とは異なる画像を参照画像として設定する参照画像設定手段と、前記基準画像と前記参照画像との動きベクトルを算出し、該動きベクトルに基づいて動きを補償した補償参照画像を生成する補償画像生成手段と、前記基準画像が合焦している度合いを示す基準合焦度を算出する基準合焦度算出手段と、前記補償参照画像が合焦している度合いを示す参照合焦度を算出する参照合焦度算出手段と、前記基準合焦度と前記参照合焦度とに基づいて、前記基準画像と前記補償参照画像との合成比率を決定する合成比率決定手段と、前記合成比率に従って前記基準画像と前記補償参照画像とを合成処理して合成画像を生成する画像合成手段と、を備え、該画像合成手段が、前記合成画像の生成を逐次的に繰り返し行い、前記基準画像設定手段が、前記画像合成手段によるｎ回目（ｎは２以上の整数）の合成処理において、（ｉ）ｎ−１回目の合成処理において生成された前記合成画像、又は（ｉｉ）前記複数の画像のうち前記ｎ回目の合成処理の時点で前記合成処理に未だ用いられていない１の画像である未合成画像のうちいずれか一方を前記基準画像として設定すると共に、前記参照画像設定手段が他方を前記参照画像として設定し、前記画像合成手段が、前記ｎ回目の合成処理において、前記ｎ−１回目の合成処理において生成された前記合成画像と前記未合成画像とを合成し、前記ｎ回目の合成処理において合成される前記未合成画像が、複数の前記画像のうち、前記ｎ−１回目の合成処理において合成された前記未合成画像と最も合焦距離が近い画像であり、前記画像合成手段によるｎ回目の合成処理において、前記基準合焦度算出手段が、ｎ−１回目の合成処理に際して算出した前記基準合焦度及び前記参照合焦度のうち最大値を、前記ｎ−１回目の合成処理において生成された合成画像の合焦度として算出する画像処理装置を提供する。

本発明の他の態様は、異なる合焦距離で取得された複数の画像を入力する入力ステップと、前記入力ステップにおいて入力された１の画像を基準画像として設定する基準画像設定ステップと、複数の前記画像のうち前記基準画像とは異なる画像を参照画像として設定する参照画像設定ステップと、前記基準画像と前記参照画像との動きベクトルを算出し、該動きベクトルに基づいて動きを補償した補償参照画像を生成する補償画像生成ステップと、前記基準画像が合焦している度合いを示す基準合焦度を算出する基準合焦度算出ステップと、前記補償参照画像が合焦している度合いを示す参照合焦度を算出する参照合焦度算出ステップと、前記基準合焦度と前記参照合焦度とに基づいて、前記基準画像と前記補償参照画像との合成比率を決定する合成比率決定ステップと、前記合成比率に従って前記基準画像と前記補償参照画像とを合成処理して合成画像を生成する画像合成ステップと、を備え、該画像合成ステップにおいて、前記合成画像の生成を逐次的に繰り返し行い、前記基準画像設定ステップにおいて、前記画像合成ステップにおけるｎ回目（ｎは２以上の整数）の合成処理において、（ｉ）ｎ−１回目の合成処理において生成された前記合成画像、又は（ｉｉ）前記複数の画像のうち前記ｎ回目の合成処理の時点で前記合成処理に未だ用いられていない１の画像である未合成画像のうち、いずれか一方を前記基準画像として設定すると共に、前記参照画像設定ステップにおいて他方を前記参照画像として設定し、前記画像合成ステップが、前記ｎ回目の合成処理において、前記ｎ−１回目の合成処理において生成された前記合成画像と前記未合成画像とを合成し、前記ｎ回目の合成処理において合成される前記未合成画像が、前記複数の画像のうち、前記ｎ−１回目の合成処理において合成された前記未合成画像と最も合焦距離が近い画像であり、前記画像合成ステップにおけるｎ回目の合成処理において、ｎ−１回目の合成処理に際して算出した前記基準合焦度及び前記参照合焦度のうち最大値を、前記ｎ−１回目の合成処理において生成された合成画像の合焦度として算出する画像処理方法を提供する。

また、本発明の他の態様は、異なる合焦距離で取得された複数の画像を入力する入力ステップと、前記入力ステップにおいて入力された１の画像を基準画像として設定する基準画像設定ステップと、複数の前記画像のうち前記基準画像とは異なる画像を参照画像として設定する参照画像設定ステップと、前記基準画像と前記参照画像との動きベクトルを算出し、該動きベクトルに基づいて動きを補償した補償参照画像を生成する補償画像生成ステップと、前記基準画像が合焦している度合いを示す基準合焦度を算出する基準合焦度算出ステップと、前記補償参照画像が合焦している度合いを示す参照合焦度を算出する参照合焦度算出ステップと、前記基準合焦度と前記参照合焦度とに基づいて、前記基準画像と前記補償参照画像との合成比率を決定する合成比率決定ステップと、前記合成比率に従って前記基準画像と前記補償参照画像とを合成処理して合成画像を生成する画像合成ステップと、を備え、該画像合成ステップにおいて、前記合成画像の生成を逐次的に繰り返し行い、前記基準画像設定ステップにおいて、前記画像合成ステップにおけるｎ回目（ｎは２以上の整数）の合成処理において、（ｉ）ｎ−１回目の合成処理において生成された前記合成画像、又は（ｉｉ）前記複数の画像のうち前記ｎ回目の合成処理の時点で前記合成処理に未だ用いられていない１の画像である未合成画像のうち、いずれか一方を前記基準画像として設定すると共に、前記参照画像設定ステップにおいて他方を前記参照画像として設定し、前記画像合成ステップが、前記ｎ回目の合成処理において、前記ｎ−１回目の合成処理において生成された前記合成画像と前記未合成画像とを合成し、前記ｎ回目の合成処理において合成される前記未合成画像が、前記複数の画像のうち、前記ｎ−１回目の合成処理において合成された前記未合成画像と最も合焦距離が近い画像であり、前記画像合成ステップにおけるｎ回目の合成処理において、ｎ−１回目の合成処理に際して算出した前記基準合焦度及び前記参照合焦度のうち最大値を、前記ｎ−１回目の合成処理において生成された合成画像の合焦度として算出する画像処理をコンピュータに実行させる画像処理プログラムを提供する。

Claims (6)

1. 異なる合焦距離で取得された複数の画像を入力する入力手段と、
   該入力手段に入力された１の画像を基準画像として設定する基準画像設定手段と、
   複数の前記画像のうち前記基準画像とは異なる画像を参照画像として設定する参照画像設定手段と、
   前記基準画像と前記参照画像との動きベクトルを算出し、該動きベクトルに基づいて動きを補償した補償参照画像を生成する補償画像生成手段と、
   前記基準画像が合焦している度合いを示す基準合焦度を算出する基準合焦度算出手段と、
   前記補償参照画像が合焦している度合いを示す参照合焦度を算出する参照合焦度算出手段と、
   前記基準合焦度と前記参照合焦度とに基づいて、前記基準画像と前記補償参照画像との合成比率を決定する合成比率決定手段と、
   前記合成比率に従って前記基準画像と前記補償参照画像とを合成処理して合成画像を生成する画像合成手段と、を備え、
   該画像合成手段が、前記合成画像の生成を逐次的に繰り返し行い、
   前記基準画像設定手段が、前記画像合成手段によるｎ回目（ｎは２以上の整数）の合成処理において、（ｉ）ｎ−１回目の合成処理において生成された前記合成画像、又は（ｉｉ）前記複数の画像のうち前記ｎ回目の合成処理の時点で前記合成処理に未だ用いられていない１の画像である未合成画像のうち、いずれか一方を前記基準画像として設定すると共に、前記参照画像設定手段が他方を前記参照画像として設定し、
   前記合成手段が、前記ｎ回目の合成処理において、前記ｎ−１回目の合成処理において生成された前記合成画像と前記未合成画像とを合成し、
   前記ｎ回目の合成処理において合成される前記未合成画像が、複数の前記画像のうち、前記ｎ−１回目の合成処理において合成された前記未合成画像と最も合焦距離が近い画像である画像処理装置。
2. 前記補償画像生成手段が、前記基準画像に対して前記参照画像の動きを補償した画像を前記補償参照画像とする請求項１記載の画像処理装置。
3. 前記補償参照画像の合成妥当性重みを算出する合成妥当性重み算出手段を有し、
   前記合成比率決定手段が、前記基準合焦度と前記参照合焦度と前記合成妥当性重みに基づいて、前記基準画像と前記補償参照画像との合成比率を決定する請求項１又は請求項２記載の画像処理装置。
4. 前記合成手段によるｎ回目の合成処理において、
   前記基準合焦度算出手段が、ｎ−１回目の合成処理に際して算出した前記基準合焦度及び前記参照合焦度のうち最大値を、前記ｎ−１回目の合成処理において生成された合成画像の合焦度として算出する請求項１乃至請求項３の何れか１項記載の画像処理装置。
5. 異なる合焦距離で取得された複数の画像を入力する入力ステップと、
   前記入力ステップにおいて入力された１の画像を基準画像として設定する基準画像設定ステップと、
   複数の前記画像のうち前記基準画像とは異なる画像を参照画像として設定する参照画像設定ステップと、
   前記基準画像と前記参照画像との動きベクトルを算出し、該動きベクトルに基づいて動きを補償した補償参照画像を生成する補償画像生成ステップと、
   前記基準画像が合焦している度合いを示す基準合焦度を算出する基準合焦度算出ステップと、
   前記補償参照画像が合焦している度合いを示す参照合焦度を算出する参照合焦度算出ステップと、
   前記基準合焦度と前記参照合焦度とに基づいて、前記基準画像と前記補償参照画像との合成比率を決定する合成比率決定ステップと、
   前記合成比率に従って前記基準画像と前記補償参照画像とを合成処理して合成画像を生成する画像合成ステップと、を備え、
   該画像合成ステップにおいて、前記合成画像の生成を逐次的に繰り返し行い、
   前記基準画像設定ステップにおいて、前記画像合成ステップにおけるｎ回目（ｎは２以上の整数）の合成処理において、（ｉ）ｎ−１回目の合成処理において生成された前記合成画像、又は（ｉｉ）前記複数の画像のうち前記ｎ回目の合成処理の時点で前記合成処理に未だ用いられていない１の画像である未合成画像のうち、いずれか一方を前記基準画像として設定すると共に、前記参照画像設定ステップにおいて他方を前記参照画像として設定し、
   前記合成ステップが、前記ｎ回目の合成処理において、前記ｎ−１回目の合成処理において生成された前記合成画像と前記未合成画像とを合成し、
   前記ｎ回目の合成処理において合成される前記未合成画像が、複数の前記画像のうち、前記ｎ−１回目の合成処理において合成された前記未合成画像と最も合焦距離が近い画像である画像処理方法。
6. 異なる合焦距離で取得された複数の画像を入力する入力ステップと、
   前記入力ステップにおいて入力された１の画像を基準画像として設定する基準画像設定ステップと、
   複数の前記画像のうち前記基準画像とは異なる画像を参照画像として設定する参照画像設定ステップと、
   前記基準画像と前記参照画像との動きベクトルを算出し、該動きベクトルに基づいて動きを補償した補償参照画像を生成する補償画像生成ステップと、
   前記基準画像が合焦している度合いを示す基準合焦度を算出する基準合焦度算出ステップと、
   前記補償参照画像が合焦している度合いを示す参照合焦度を算出する参照合焦度算出ステップと、
   前記基準合焦度と前記参照合焦度とに基づいて、前記基準画像と前記補償参照画像との合成比率を決定する合成比率決定ステップと、
   前記合成比率に従って前記基準画像と前記補償参照画像とを合成処理して合成画像を生成する画像合成ステップと、を備え、
   該画像合成ステップにおいて、前記合成画像の生成を逐次的に繰り返し行い、
   前記基準画像設定ステップにおいて、前記画像合成ステップにおけるｎ回目（ｎは２以上の整数）の合成処理において、（ｉ）ｎ−１回目の合成処理において生成された前記合成画像、又は（ｉｉ）前記複数の画像のうち、前記ｎ回目の合成処理の時点で前記合成処理に未だ用いられていない１の画像である未合成画像のうち、いずれか一方を前記基準画像として設定すると共に、前記参照画像設定ステップにおいて他方を前記参照画像として設定し、
   前記合成ステップが、前記ｎ回目の合成処理において、前記ｎ−１回目の合成処理において生成された前記合成画像と前記未合成画像とを合成し、
   前記ｎ回目の合成処理において合成される前記未合成画像が、複数の前記画像のうち、前記ｎ−１回目の合成処理において合成された前記未合成画像と最も合焦距離が近い画像である画像処理をコンピュータに実行させる画像処理プログラム。

Images