JP2010091856A - プログラム、カメラおよび画像の合焦度算出方法 - Google Patents

Abstract

【課題】 ノイズの影響を受けにくく、パラメータ調整が不要な処理で撮像画像の合焦度を精度よく求めるための手段を提供する。
【解決手段】 プログラムは、撮像画像を取得する画像読込処理と、エッジ情報算出処理と、輪郭情報算出処理と、合焦度算出処理とをコンピュータに実行させる。エッジ情報算出処理では、コンピュータが、撮像画像からエッジ成分を抽出して、撮像画像の各位置でのエッジ評価値を求める。輪郭情報算出処理では、コンピュータが、撮像画像から輪郭成分を抽出して、撮像画像の各位置での輪郭評価値を求める。合焦度算出処理では、コンピュータが、撮像画像での位置がそれぞれ対応するエッジ評価値と輪郭評価値とを用いて、撮像画像の各位置での合焦度を求める。
【選択図】 図１

Description

本発明は、画像の合焦度を求めるプログラム、カメラおよび方法に関する。

従来から、電子カメラなどで取得したデジタルの撮像画像に関し、画像の注目領域に含まれるエッジ量や高周波成分を用いて撮像画像の合焦度を評価する手法が公知である（一例として、特許文献１参照）。
特開２００３−２７４２５８号公報

しかし、上記の従来技術の手法で撮像画像の合焦度を求める場合には、画像に含まれるノイズが多くなるとエッジ量の誤検出が生じやすくなり、特に高い撮像感度で撮像された画像については合焦度の評価精度が大きく低下しうる。そのため、上記の従来技術でノイズの影響を抑制するためには、例えば、撮像感度を考慮してノイズ対策用のパラメータの設定を行うか、あるいは撮像感度に応じたノイズ除去処理を行うなどの煩雑な処理が要求される点で改善の余地があった。

そこで、本発明の目的は、ノイズの影響を受けにくく、パラメータ調整が不要な処理で撮像画像の合焦度を精度よく求めるための手段を提供することにある。

一の態様に係るプログラムは、撮像画像を取得する画像読込処理と、エッジ情報算出処理と、輪郭情報算出処理と、合焦度算出処理とをコンピュータに実行させる。エッジ情報算出処理では、コンピュータが、撮像画像からエッジ成分を抽出して、撮像画像の各位置でのエッジ評価値を求める。輪郭情報算出処理では、コンピュータが、撮像画像から輪郭成分を抽出して、撮像画像の各位置での輪郭評価値を求める。合焦度算出処理では、コンピュータが、撮像画像での位置がそれぞれ対応するエッジ評価値と輪郭評価値とを用いて、撮像画像の各位置での合焦度を求める。

上記の一の態様において、エッジ評価値および輪郭評価値は、それぞれ正規化された値であってもよい。また、上記の一の態様の合焦度算出処理では、コンピュータが、エッジ評価値と輪郭評価値との和または積から合焦度を求めてもよい。

上記の一の態様のプログラムは、局所領域設定処理と、ベクトル演算処理とをさらに含んでいてもよい。局所領域設定処理では、コンピュータが、撮像画像に含まれる画素のうちから注目画素を順次指定するとともに、各々の注目画素の位置を基準として撮像画像内に所定サイズの局所領域を設定する。ベクトル演算処理では、コンピュータが、局所領域に含まれる複数の画素から求めた画素値の勾配情報を用いて、注目画素の位置での画像構造を示す画像構造ベクトルと注目画素の位置での画像の勾配を示す画像勾配ベクトルとをそれぞれ求める。そして、エッジ情報算出処理では、コンピュータが、複数の注目画素でそれぞれ求まる画像構造ベクトルの情報を用いて、撮像画像の各位置でのエッジ評価値を求めてもよい。また、輪郭情報算出処理では、コンピュータが、複数の注目画素でそれぞれ求まる画像勾配ベクトルの情報を用いて、撮像画像の各位置での輪郭評価値を求めてもよい。

上記の一の態様のプログラムは、焦点位置情報取得処理と、合焦評価処理とをさらに含んでいてもよい。焦点位置情報取得処理では、コンピュータが、撮像画像を撮像したときの焦点検出エリアの位置情報を取得する。合焦評価処理では、コンピュータが、合焦度の高さに応じて決定された撮像画像での合焦被写体の位置と焦点検出エリアの位置との距離に基づいて、撮像画像の合焦状態を評価する。

上記の一の態様のプログラムは、判定領域設定処理と、画像選択処理とをさらに含んでいてもよい。判定領域設定処理では、コンピュータが、画像読込処理で複数枚の撮像画像を取得したときに、各々の撮像画像において合焦度を求める判定領域をそれぞれ設定する。画像選択処理では、コンピュータが、各々の撮像画像における判定領域での合焦度をそれぞれ比較して、該比較結果に基づいて撮像画像の選択を行う。

また、上記の一の態様のプログラムは、コンピュータが、撮像画像を撮像したときの焦点検出エリアの位置情報を取得する焦点位置情報取得処理をさらに含んでいてもよい。そして、上記の判定領域設定処理では、コンピュータが、焦点検出エリアの位置に基づいて判定領域を設定してもよい。

また、上記の一の態様のプログラムは、画像読込処理で複数枚の撮像画像を取得したときに、コンピュータが、各々の撮像画像において追尾対象の被写体を検出する被写体追尾処理をさらに含んでいてもよい。そして、判定領域設定処理では、コンピュータが、追尾対象の被写体の位置に基づいて判定領域を設定してもよい。

ここで、上記の一の態様のプログラムを実行するコンピュータを備えたカメラおよび画像処理装置や、上記の一の態様のプログラムを画像の合焦度算出方法として表現したものや、上記の一の態様のプログラムを記憶したプログラム記憶媒体も本発明の具体的態様として有効である。

本発明では、エッジ評価値と輪郭評価値とを用いて撮像画像の合焦度を精度よく求めることができる。

＜一の実施形態の説明＞
図１は、一の実施形態に係る画像処理装置の構成例を示すブロック図である。一の実施形態の画像処理装置は、画像処理プログラムがインストールされたパーソナルコンピュータである。この画像処理装置を構成するコンピュータ１１は、画像処理プログラムの実行によって、入力された撮像画像に対する合焦度の評価を行うことができる。

コンピュータ１１は、データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６、バス１７を有している。データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６は、バス１７を介して相互に接続されている。さらに、コンピュータ１１には、入出力Ｉ／Ｆ１６を介して、入力デバイス１８（キーボード、ポインティングデバイスなど）とモニタ１９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ１６は、入力デバイス１８からの各種入力を受け付けるとともに、モニタ１９に対して表示用のデータを出力する。

データ読込部１２は、撮像画像のデータや、画像処理プログラムを外部から読み込むときに用いられる。例えば、データ読込部１２は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）で構成される。

記憶装置１３は、上記の画像処理プログラムと、プログラムの実行に必要となる各種のデータとを記憶する。また、記憶装置１３には、データ読込部１２から取得した撮像画像のデータを記録することもできる。なお、一の実施形態での記憶装置１３は、ハードディスクや、不揮発性の半導体メモリなどで構成される。

ＣＰＵ１４は、コンピュータ１１の各部動作を統括的に制御するプロセッサである。また、ＣＰＵ１４は、画像処理プログラムの実行によって、エッジ情報算出処理と、輪郭情報算出処理と、合焦度算出処理とを実行する（上記の各演算処理の内容については後述する）。また、メモリ１５は、画像処理プログラムの演算結果などを一時的に記憶する。このメモリ１５は、例えば揮発性のＳＤＲＡＭなどで構成される。

（合焦度評価処理の動作例１）
次に、図２の流れ図を参照しつつ、一の実施形態の画像処理プログラムによる合焦度評価処理の一例として、１枚の撮像画像の合焦状態の良否を判定するときの動作例を説明する。なお、図２の流れ図の処理は、ユーザーによるプログラム実行指示に応じて開始される。

ステップＳ１０１：ＣＰＵ１４は、評価対象となる撮像画像のデータを、データ読込部１２を介して外部から取得する。Ｓ１０１で取得された撮像画像のデータは、ＣＰＵ１４の制御によって、記憶装置１３またはメモリ１５に記録される。なお、ＣＰＵ１４は、撮像画像のデータが予め記憶装置１３に記憶されている場合にはＳ１０１の処理を省略してもよい。

ステップＳ１０２：ＣＰＵ１４は、撮像画像に含まれる複数の画素のうちから、画像構造ベクトルを求める注目画素Ｘの位置を指定する。

ここで、一例として、Ｓ１０２でのＣＰＵ１４は、撮像画像の全ての画素を注目画素Ｘとして順次指定するものとして説明を行うが、撮像画像内の所定画素からなる小領域において以下の処理を行ってもよい。なお、Ｓ１０２でのＣＰＵ１４は、注目画素Ｘの位置を変更するときには、画像の左上隅を起点として１行ずつ左から右に注目画素Ｘを順番に指定してゆくものとする。

ステップＳ１０３：ＣＰＵ１４は、注目画素Ｘの位置を基準として、撮像画像内に所定の局所領域を設定する（図３参照）。この局所領域のサイズと形は任意に設定できるが、一例として、Ｓ１０３でのＣＰＵ１４は、撮像画像内において注目画素を中心とした矩形の範囲（例えば９×９画素の範囲）を局所領域として設定する。

ステップＳ１０４：ＣＰＵ１４は、局所領域に含まれる各画素の画素値の勾配情報を用いて、注目画素Ｘの位置での画像構造ベクトルおよび画像勾配ベクトルを、主成分分析の手法によりそれぞれ求める。

通常の撮像画像では、画像の構造に起因して、局所領域では構造方向の画素値同士に強い相関が生じることが知られている。そして、上記の局所領域において、相関の強い方向（画像の構造が類似する方向）における画素値の差分は小さな値を示し、相関の強い方向に対して垂直方向（エッジの接線に垂直な方向）の画素値の差分は大きな値を示す。なお、撮像画像内のノイズは画像の構造やエッジの方向とは無関係に存在するため、画像のノイズに起因するエッジ量は指向性のないものとなる。

よって、撮像画像の局所領域において画像の構造方向およびその強度を示す画像構造ベクトルは、撮像画像のエッジ成分と相関を有している。また、撮像画像の局所領域において画像の構造方向に垂直な方向（画像の勾配方向）およびその強度を示す画像勾配ベクトルは、撮像画像の輪郭成分と相関を有している。

このため、画像処理プログラムは、上記性質を利用して、画像構造ベクトルの情報に基づき撮像画像からエッジを抽出するとともに、画像勾配ベクトルの情報に基づき撮像画像から輪郭を抽出する。

また、Ｓ１０４でのＣＰＵ１４は、画素値の勾配を求めるときに、撮像画像の輝度に着目して演算を行う。入力される撮像画像データがＹＣｂＣｒ形式のものであれば、ＣＰＵ１４はＹ成分の画素値の勾配を求めればよいが、撮像画像データがＲＧＢ形式の場合には、ＣＰＵ１４はＲＧＢのいずれかの画素値の勾配を求めてもよく、あるいはＲＧＢからＹＣｂＣｒへ色空間変換後にＹ成分の画素値の勾配を求めればよい。

次に、Ｓ１０４でのＣＰＵ１４は、以下の要領で画像構造ベクトルおよび画像勾配ベクトルを求める演算処理を行う。上記の局所領域（Ｓ１０２）内の各画素ｘ_iについて、画素値の勾配を

の固有値問題を解くことで求めることができる。但し、上記の式（２）中の「Ｃ」は、局所領域内の各画素ｘ_iにおける画素値ｆ（ｘ）を用いて下式（３）により定義される行列を示している。

なお、上記の式（３）の「Σ」は、いずれも局所領域に含まれる全画素の和を示している。

また、上記の行列Ｃは２行２列の行列であるので、上記の式（２）は２つの固有値と、２つの異なる単位固有ベクトルとをもつことが分かる。

ステップＳ１０５：ＣＰＵ１４は、現在の注目画素Ｘが最後の位置（画像の右下隅の画素）のものであるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１０６に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ１４はＳ１０２に戻って上記動作を繰り返す。なお、Ｓ１０５でのＮＯ側のループにより、撮像画像の各位置で求められた画像構造ベクトルの情報および画像勾配ベクトルの情報がそれぞれメモリ１５に記憶されることとなる。

ステップＳ１０６：ＣＰＵ１４は、画像構造ベクトルの情報（Ｓ１０４）を用いて、撮像画像の各位置でのエッジ評価値（Ｅ₁）をそれぞれ求める。一例として、ＣＰＵ１４は、以下の（イ）または（ロ）のいずれかの手法（あるいは両者の組み合わせ）によって、エッジ評価値Ｅ₁を求めればよい。

（イ）ＣＰＵ１４は、各注目画素の位置における画像構造ベクトルの強度を示す固有値λ_s（Ｓ１０４で求まったもの）から、撮像画像の各位置でのエッジ評価値Ｅ₁を求める。

ここで、上記の固有値λ_sは画像の構造の指向強度を２乗した量となっているので、固有値λ_sの２重根をエッジ評価値Ｅ₁とすることが好ましい。また、固有値λ_sは局所領域内の画素数に比例する値であるため、局所領域内の画素数で平均化することが好ましい。そのため、ＣＰＵ１４は、以下の式（４）により各々の注目画素Ｘごとにエッジ評価値Ｅ₁を演算する。

なお、式（４）の「Ｎ」は、局所領域内の画素数を示している。また、上記の画像構造ベクトルの強度が大きくなるほど画像のエッジの強度はより高くなることを示す。

（ロ）ＣＰＵ１４は、隣接する注目画素間における画像構造ベクトルの方向の相関に基づいて、撮像画像の各位置でのエッジ評価値Ｅ₁を求める。

画像内で合焦状態にある被写体については、画像における構造の相関が高くなることから、注目画素とその周囲の画素との画像構造ベクトルはそれぞれ同じ方向に向きやすくなる。一方、画像内でピントが合っていない被写体については、画像がボケて構造の指向性が失われてしまい、合焦状態と比べると画像構造ベクトルの向きは不均一なものとなる。そのため、隣接する注目画素間での画像構造ベクトルの方向の相関をみれば、画像の各位置でのエッジの強度を評価できることが分かる。

ステップＳ１０７：ＣＰＵ１４は、画像勾配ベクトルの情報（Ｓ１０４）を用いて、撮像画像の各位置での輪郭評価値（Ｅ₂）をそれぞれ求める。例えば、ＣＰＵ１４は、上記のＳ１０６の（イ）の場合と同様の手法により、画像勾配ベクトルの固有値λ_lを用いて輪郭評価値Ｅ₂を求めてもよい。あるいは、ＣＰＵ１４は、上記のＳ１０６の（ロ）の場合と同様の手法により、画像構造ベクトルの方向の相関に基づいて輪郭評価値Ｅ₂を求めてもよい。

なお、一の実施形態では、エッジ評価値Ｅ₁および輪郭評価値Ｅ₂が、各々の注目画素ごとに１組ずつ求められることとなる。

ステップＳ１０８：ＣＰＵ１４は、エッジ評価値Ｅ₁（Ｓ１０６）および輪郭評価値Ｅ₂（Ｓ１０７）を用いて、撮像画像の各位置での合焦度を示す合焦度マップを以下の手順で生成する。

第１に、ＣＰＵ１４は、撮像画像の各位置のエッジ評価値Ｅ₁を正規化するとともに、正規化後のエッジ評価値Ｅ₁を撮像画像の各位置にそれぞれ対応付けしたエッジ評価値マップを生成する。ここで、ＣＰＵ１４は、例えばＳ１０６で求めた全てのエッジ評価値の最大値または平均値を用いて各々のエッジ評価値Ｅ₁を正規化する。また、ＣＰＵ１４は、正規化後の各値が０値から１値までの範囲に収まるように変換を行うものとする。

第２に、ＣＰＵ１４は、撮像画像の各位置の輪郭評価値Ｅ₂を正規化するとともに、正規化後のエッジ評価値Ｅ₂を撮像画像の各位置にそれぞれ対応付けした輪郭評価値マップを生成する。ここで、ＣＰＵ１４は、例えばＳ１０７で求めた全ての輪郭評価値の最大値または平均値を用いて各々の輪郭評価値Ｅ₂を正規化する。また、ＣＰＵ１４は、正規化後の各値が０値から１値までの範囲に収まるように変換を行うものとする。

第３に、ＣＰＵ１４は、エッジ評価値マップの各エッジ評価値Ｅ₁と輪郭評価値マップの各輪郭評価値Ｅ₂とを、それぞれ対応する位置ごとに和または積をとる。そして、ＣＰＵ１４は、撮像画像の各位置でそれぞれ求まる上記の和または積の値をそれぞれ合焦度として、上記の合焦度マップを生成する。

ここで、ＣＰＵ１４は、合焦度を求めるときにエッジ評価値Ｅ₁と輪郭評価値Ｅ₂との一方に重み付けをして非線形和をとってもよい。また、ＣＰＵ１４は、合焦度を求めるときにエッジ評価値Ｅ₁と輪郭評価値Ｅ₂の少なくとも一方の値を、非線形の関数で階調変換して補正してもよい。

なお、一の実施形態では、それぞれ対応する位置のエッジ評価値Ｅ₁と輪郭評価値Ｅ₂とを１対１の重みで加算した線形和で合焦度を求めるものとする。

上記の合焦度マップでの合焦度は、エッジ評価値Ｅ₁および輪郭評価値Ｅ₂がいずれも高い場合に高い値を示すこととなる。すなわち、エッジ評価値Ｅ₁および輪郭評価値Ｅ₂の少なくとも一方が低い場合には、合焦度マップでの合焦度は相対的に低い値を示す。

一方、撮像画像でショットノイズが生じている箇所では、エッジ評価値は高くなるが輪郭評価値は低い値を示す。また、撮像画像でボケている被写体の輪郭を含む箇所では、輪郭評価値は高くなるがエッジ評価値は低い値を示す。そのため、上記の合焦度マップでは、ショットノイズの箇所やボケた被写体の輪郭の箇所では合焦度の値が小さくなり、ショットノイズやボケた被写体の輪郭が合焦判定に与える影響を抑制できる。

一例として、図４に評価対象の撮像画像の例を示す。図５は、図４に対応するエッジ評価値マップでのエッジ評価値Ｅ₁の強度分布画像の例を示している。図６は、図４に対応する輪郭評価値マップでの輪郭評価値Ｅ₂の強度分布画像の例を示している。図７は、図４に対応する合焦度マップでの合焦度の強度分布画像の例を示している。簡単のため、図５から図７の画像では、評価値が高いほど太い線で被写体を表現する。また、図４および図５では、画像にショットノイズが現れている領域を斜線のハッチングで示す。

図５に示すエッジ評価値マップでの強度分布によると、焦点検出エリア近傍での評価値が高い値を示している。しかし、図４では、例えば、画像の平坦な部分で高撮像感度のときのショットノイズの影響も見受けられる。また、図６に示す輪郭評価値マップでの強度分布によると、画像の焦点検出エリアの近傍の輪郭だけでなく、非合焦の被写体の輪郭も抽出していることが分かる。

そして、図７に示す合焦度マップの強度分布では、合焦している被写体の輪郭の箇所の合焦度は高い値を示す。一方で、平坦な部分でのショットノイズに起因するエッジの合焦度や、ボケた被写体の輪郭に対応する部分の合焦度はいずれも低い値となる。

ステップＳ１０９：ＣＰＵ１４は、撮影時の焦点検出エリアの位置情報を取得するとともに、焦点検出エリアの位置と合焦状態にある被写体の輪郭位置との直線距離を求める（図８参照）。

ここで、Ｓ１０９でのＣＰＵ１４は、撮影時の焦点検出エリアの位置情報を、撮像画像データの付帯情報（例えばＥｘｉｆ規格によるヘッダ情報）から取得する。また、Ｓ１０９でのＣＰＵ１４は、合焦度マップで最も高い合焦度を示す撮像画像の位置を、合焦状態にある被写体の輪郭位置として抽出するものとする。

また、上記の直線距離がほぼ０とみなせる場合、評価対象の撮像画像は主要被写体にピントがあった状態と判断できる。一方、上記の直線距離が許容範囲よりも大きければ、評価対象の撮像画像は主要被写体にピントの合っていない状態と判断できる。そのため、Ｓ１０９で求めた直線距離の大きさを指標として、ＣＰＵ１４は撮像画像の合焦状態を評価し、合焦状態の良好な画像を自動的に選別できる。勿論、ＣＰＵ１４は、Ｓ１０９で求めた直線距離の大きさの情報をユーザーに提示するのみに留めてもよい。

ステップＳ１１０：ＣＰＵ１４は、評価対象の撮像画像に対する合焦度の評価結果をモニタ１９に表示する。例えば、ＣＰＵ１４は、合焦度マップでの合焦度の強度分布画像（図７参照）や、Ｓ１０９での直線距離の大きさの情報などをモニタ１９に表示する。なお、上記のように、ＣＰＵ１４は、Ｓ１０９での直線距離に基づいて撮像画像の合焦状態を評価し、その評価結果をモニタ１９に表示してもよい。さらに、ＣＰＵ１４は、エッジ評価値Ｅ₁の強度分布画像（図５参照）や、輪郭評価値Ｅ₂の強度分布画像（図６参照）などをモニタ１９に表示してもよい。

上記のＳ１１０の処理により、ユーザーは、モニタ１９の表示から撮像画像の合焦状態を容易に確認できる。以上で、図２の流れ図の説明を終了する。

（合焦度評価処理の動作例２）
次に、図９の流れ図を参照しつつ、一の実施形態の画像処理プログラムによる撮像画像の合焦度評価処理の別例として、複数枚の撮像画像を対象として各画像間で合焦状態を比較するときの動作例を説明する。なお、図９の流れ図の処理も、ユーザーによるプログラム実行指示に応じて開始される。

ステップＳ２０１：ＣＰＵ１４は、評価対象となる複数枚の撮像画像のデータを、データ読込部１２を介して外部から取得する。ここでは一例としてＳ２０１でＣＰＵ１４が、同一の被写体を連写撮影した撮像画像群を評価対象とする場合を考える。なお、Ｓ２０１の処理の内容は、図２のＳ１０１にほぼ対応するので重複説明は省略する。

ステップＳ２０２：ＣＰＵ１４は、上記の複数枚の撮像画像のうちで、合焦評価値の演算を行う画像を指定する。ここで、Ｓ２０２でのＣＰＵ１４は、Ｓ２０１で取得した複数枚の撮像画像のすべてを演算対象として順次指定してゆくものとする。

ステップＳ２０３：ＣＰＵ１４は、Ｓ２０２で指定した撮像画像の画素のうちから、画像構造ベクトルを求める注目画素Ｘの位置を指定する。

ここでは一例としてＳ２０３でＣＰＵ１４が、撮像画像を撮像したときの焦点検出エリアの位置を基準として、撮像画像の一部分に判定領域を設定する場合を考える。そして、この判定領域内の画素から注目画素Ｘを順次指定するものとする。

上記の判定領域を設定するために、Ｓ２０３でのＣＰＵ１４は、撮影時の焦点検出エリアの位置情報を撮像画像データの付帯情報（例えばＥｘｉｆ規格によるヘッダ情報）から取得するものとする。なお、図９の処理の例では、ＣＰＵ１４は、画像内で焦点検出エリアに対応する矩形の小領域を判定領域とする（図１０参照）。また、各々の撮像画像間で判定領域の位置はいずれも共通するものとする。

ステップＳ２０４：ＣＰＵ１４は、判定領域内の注目画素Ｘの位置を基準として、撮像画像内に所定の局所領域を設定する。なお、Ｓ２０４の処理の内容は、図２のＳ１０３に対応するので重複説明は省略する。

ステップＳ２０５：ＣＰＵ１４は、局所領域に含まれる各画素の画素値の勾配情報を用いて、注目画素Ｘの位置での画像構造ベクトルおよび画像勾配ベクトルを、主成分分析の手法によりそれぞれ求める。なお、Ｓ２０５の処理の内容は、図２のＳ１０４に対応するので重複説明は省略する。

ステップＳ２０６：ＣＰＵ１４は、現在の注目画素Ｘが上記判定領域内の最後の位置であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２０７に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ１４はＳ２０３に戻って上記動作を繰り返す。なお、Ｓ２０６でのＮＯ側のループにより、上記の判定領域内の各画素位置で求められた画像構造ベクトルの情報および画像勾配ベクトルの情報がそれぞれメモリ１５に記憶されることとなる。

ステップＳ２０７：ＣＰＵ１４は、判定領域内の画像構造ベクトルの情報を用いて、撮像画像の判定領域の各画素位置におけるエッジ評価値（Ｅ₁）をそれぞれ求める。このＳ２０７の内容は、図２のＳ１０６に対応するので重複説明は省略する。なお、図９の処理では輝度の異なる画像間での比較を行うため、Ｓ２０７でのＣＰＵ１４は、注目画素間での固有単位ベクトルの内積からエッジ評価値を求めるものとする。

ステップＳ２０８：ＣＰＵ１４は、判定領域内の画像勾配ベクトルの情報を用いて、撮像画像の判定領域の各画素位置における輪郭評価値（Ｅ₂）をそれぞれ求める。このＳ２０８の内容は、図２のＳ１０７に対応するので重複説明は省略する。なお、図９の処理では輝度の異なる画像間での比較を行うため、Ｓ２０８でのＣＰＵ１４は、注目画素間での固有単位ベクトルの内積から輪郭評価値を求めるものとする。

ステップＳ２０９：ＣＰＵ１４は、エッジ評価値Ｅ₁および輪郭評価値Ｅ₂を用いて、上記の判定領域の各位置での合焦度を示す合焦度マップを生成する。なお、Ｓ２０９の内容は、図２のＳ１０８に対応するので重複説明は省略する。

ステップＳ２１０：ＣＰＵ１４は、全ての撮像画像が処理されたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２１１に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ１４はＳ２０２に戻って、未処理の他の撮像画像を演算対象として上記動作を繰り返す。

ステップＳ２１１：ＣＰＵ１４は、各々の撮像画像の判定領域における合焦度の大きさを比較して、全ての撮像画像のうちから合焦度が最も高い画像を選択する。例えば、ＣＰＵ１４は、評価対象の撮像画像群のうちで合焦度マップの合焦度が最大値をとる画像を選択する。

ステップＳ２１２：ＣＰＵ１４は、Ｓ２１１での画像の選択結果をモニタ１９に表示する。例えば、ＣＰＵ１４は、Ｓ２１１で選択された撮像画像の再生画面やファイル名の情報などをモニタ１９に表示する（この場合の表示画面の図示は省略する）。これにより、ユーザーは、複数枚の撮像画像のうちから、焦点検出エリアに対応する被写体に最もピントが合った良好な画像を容易にピックアップできる。以上で、図９の流れ図の説明を終了する。

以下、一の実施形態での作用効果を述べる。一の実施形態でのＣＰＵ１４は、エッジ評価値と輪郭評価値との和または積から求めた合焦度によって、撮像画像の合焦状態を評価する。これにより、合焦度の評価において、画像の平坦な部分に生じるノイズの影響を抑制できる。そのため、一の実施形態では、画像のエッジ量や画像の高周波成分から合焦度を直接求める手法よりも、画像の合焦度をより高い精度で求めることが可能となる。

また、一の実施形態では、１つの注目画素につき、エッジ成分に関する画像構造ベクトルと輪郭成分に関する画像勾配ベクトルとを１度の演算で同時に取得するので、合焦度を求めるときの演算処理の効率を一層高めることができる。

また、一の実施形態では、撮像画像の撮像感度に応じてパラメータを調整する必要もなく、コンピュータ１１によって撮像画像の合焦度を評価するときのユーザーの利便性が大きく向上する。

＜他の実施形態の説明＞
図１１は、他の実施形態の電子カメラの構成例を示すブロック図である。電子カメラ２１は、フォーカシングレンズ２２と、レンズ駆動部２３と、撮像素子２４と、制御部２５と、ＲＯＭ２６と、バッファメモリ２７と、モニタ２８と、記録Ｉ／Ｆ２９と、レリーズ釦３０とを有している。ここで、レンズ駆動部２３、撮像素子２４、ＲＯＭ２６、バッファメモリ２７、モニタ２８、記録Ｉ／Ｆ２９およびレリーズ釦３０は、それぞれ制御部２５に接続されている。

フォーカシングレンズ２２は、焦点調節を行うためのレンズである。このフォーカシングレンズ２２のレンズ位置は、レンズ駆動部２３によって光軸方向に調整される。

撮像素子２４は、フォーカシングレンズ２２を含む撮像光学系によって結像される被写体像を撮像して撮像画像の画像信号を生成する。なお、撮像素子２４から出力された画像信号は、Ａ／Ｄ変換回路（不図示）を介して制御部２５に入力される。

ここで、電子カメラ２１の撮影モードにおいて、撮像素子２４はレリーズ釦３０の全押し操作に応答して記録用の静止画像（本画像）を撮像する。また、撮影モードでの撮像素子２４は、撮影待機時にも所定間隔毎に観測用の画像（スルー画像）を連続的に撮像する。ここで、時系列に取得されたスルー画像のデータは、モニタ２８での動画像表示や制御部２５による各種の演算処理に使用される。

制御部２５は、電子カメラ２１の動作を統括的に制御するプロセッサである。また、制御部２５は、ＲＯＭ２６に格納されたプログラムの実行により、画像処理部３１、合焦度評価部３２として機能する。

画像処理部３１は、撮像画像のデータに対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整、色変換処理など）を施す。また、画像処理部３１は、テンプレートマッチングにより、時系列に入力されるスルー画像から追尾対象となる被写体の位置を継続的に検出できる。なお、追尾対象の被写体としては、人間、動物、乗物などのあらゆる物体を対象とすることができる。

合焦度評価部３２は、上記の一の実施形態と同様の手法により、エッジ情報算出処理と、輪郭情報算出処理と、合焦度算出処理とをそれぞれ実行する。

ＲＯＭ２６には、制御部２５によって実行されるプログラムが記憶されている。なお、このプログラムによる撮影モードでの動作例については後述する。また、バッファメモリ２７は、画像処理部３１による画像処理の前工程や後工程で画像のデータを一時的に記憶する。このバッファメモリ２７は揮発性の記憶媒体であるＳＤＲＡＭにより構成される。また、モニタ２８は、制御部２５の指示に応じて各種画像を表示する。

記録Ｉ／Ｆ２９には、不揮発性の記憶媒体３３を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ２９は、コネクタに接続された記憶媒体３３に対してデータの書き込み／読み込みを実行する。上記の記憶媒体３３は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図８では記憶媒体３３の一例としてメモリカードを図示する。

レリーズ釦３０は、半押し操作による撮影前のオートフォーカス（ＡＦ）動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザーから受け付ける。

（電子カメラの撮影モードでの動作例）
次に、図１２の流れ図を参照しつつ、他の実施形態の電子カメラ２１の撮影モードでの動作例を説明する。なお、図１２の流れ図の処理は、レリーズ釦３０の半押し操作に応じて開始される。

ステップＳ３０１：制御部２５は、撮像素子２４を駆動させてスルー画像を撮像する。そして、撮像素子２４から出力されたスルー画像のデータは、制御部２５に入力される。

ステップＳ３０２：合焦度評価部３２は、スルー画像（Ｓ３０１）において焦点検出エリアに対応する判定領域から、画像構造ベクトルを求める注目画素Ｘの位置を指定する。

ステップＳ３０３：合焦度評価部３２は、注目画素Ｘの位置を基準として、スルー画像内に所定の局所領域を設定する。なお、Ｓ３０３の処理の内容は、図２のＳ１０３に対応するので重複説明は省略する。

ステップＳ３０４：合焦度評価部３２は、局所領域に含まれる各画素の画素値の勾配情報を用いて、注目画素Ｘの位置での画像構造ベクトルおよび画像勾配ベクトルを、主成分分析の手法によりそれぞれ求める。なお、Ｓ３０４の処理の内容は、図２のＳ１０４に対応するので重複説明は省略する。

ステップＳ３０５：合焦度評価部３２は、現在の注目画素Ｘが上記判定領域内の最後の位置であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ３０６に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、合焦度評価部３２はＳ３０２に戻って上記動作を繰り返す。

ステップＳ３０６：合焦度評価部３２は、画像構造ベクトルの情報を用いて、スルー画像の判定領域の各画素位置におけるエッジ評価値（Ｅ₁）をそれぞれ求める。このＳ３０６の内容は、図２のＳ１０６に対応するので重複説明は省略する。

ステップＳ３０７：合焦度評価部３２は、画像勾配ベクトルの情報を用いて、スルー画像の判定領域の各画素位置における輪郭評価値（Ｅ₂）をそれぞれ求める。このＳ３０７の内容は、図２のＳ１０７に対応するので重複説明は省略する。

ステップＳ３０８：合焦度評価部３２は、エッジ評価値Ｅ₁および輪郭評価値Ｅ₂を用いて、上記の判定領域の各位置での合焦度を示す合焦度マップを生成する。なお、Ｓ３０８の内容は、図２のＳ１０８に対応するので重複説明は省略する。

ステップＳ３０９：合焦度評価部３２は、フォーカシングレンズ２２のレンズ位置が合焦状態にあるか否かを判定する。具体的には、合焦度評価部３２は、フォーカシングレンズ２２のレンズ位置がそれぞれ前後するスルー画像との間で合焦度マップが示す合焦度の大小を比較する。そして、合焦度評価部３２は、現在のレンズ位置での合焦度がピークであれば合焦状態と判定する。

上記要件を満たす場合（ＹＥＳ側）にはＳ３１１に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ３１０に移行する。なお、合焦度の初回演算時には、Ｓ３０９での合焦度評価部３２はＮＯ側の判定を行ってＳ３１０に処理を移行する。

ステップＳ３１０：制御部２５は、レンズ駆動部２３を介してフォーカシングレンズ２２のレンズ位置を山登り動作で所定方向に移動させるとともに、Ｓ３０１に戻って上記動作を繰り返す。なお、制御部２５は、レンズ位置の移動後に焦点評価値が大きくなる場合には、フォーカシングレンズ２２を同一方向に移動させる。一方、制御部２５は、レンズ位置の移動後に焦点評価値が小さくなる場合には、フォーカシングレンズ２２を逆方向に移動させる。

ステップＳ３１１：制御部２５は、レリーズ釦３０が全押しされたか否かを判定する。レリーズ釦３０が全押しされた場合（ＹＥＳ側）にはＳ３１２に移行する。一方、レリーズ釦３０が全押しされていない場合（ＮＯ側）には、制御部２５はレリーズ釦３０の全押しを待機する。

ステップＳ３１２：制御部２５は、撮像素子２４を駆動させて本画像の撮像処理を実行する。本画像のデータは、画像処理部３１で所定の処理が施された後に、記録Ｉ／Ｆ２９を介して記憶媒体３３に記録される。以上で、図１２の流れ図の説明を終了する。

他の実施形態の電子カメラ２１は、スルー画像を用いてＡＦ制御を行うときに、一の実施形態と同様に、エッジ評価値と輪郭評価値との和または積によって画像の合焦度を評価する。よって、他の実施形態の電子カメラ２１では、ノイズによる誤検出が少なく精度のよいＡＦを実現できる。

（他の実施形態における撮影モードの変形例）
他の実施形態の電子カメラ２１の撮影モードでは、画像処理部３１は、スルー画像から追尾対象の被写体を継続的に検出する被写体追尾処理を実行することができる。例えば、画像処理部３１は、レリーズ釦３０の半押しに応答して、焦点検出エリアに対応する被写体のテンプレートをスルー画像から生成する。画像処理部３１は、新たなスルー画像が取得されるたびにテンプレートマッチングを実行して、追尾対象の被写体を検出する。

そして、上記の被写体追尾処理が実行されているときには、Ｓ３０２での合焦度評価部３２は、各々のスルー画像において追尾対象の被写体の位置を中心として判定領域を設定してもよい。この場合には、被写体追尾のときのＡＦ制御の精度を向上させることが可能となる。

＜実施形態の補足事項＞
（１）本発明のプログラムを実行する装置は、上記実施形態のコンピュータ１１や電子カメラ２１の例に限定されることなく、画像の表示出力機能を有する電子機器全般（カメラ付携帯電話や画像のビューアなど）に広く適用できる。

（２）上記の各実施形態では、合焦度を求める各種の演算処理をプログラムでソフトウェア的に実現する例を説明したが、これらの処理をＡＳＩＣを用いてハードウエア的に実現しても勿論かまわない。

（３）上記の各実施形態における撮像画像のエッジ評価値および輪郭評価値を求める手法はあくまで一例にすぎない。例えば、ＣＰＵ１４は、他の公知のエッジ抽出手法でエッジ評価値を求めてもよく、また、他の公知の輪郭抽出手法で輪郭評価値を求めてもよい。

（４）上記の他の実施形態では、電子カメラ２１がＡＦを行うときに合焦度を求める例を説明した。しかし、他の実施形態の電子カメラ２１も、一の実施形態の場合と同様に、撮影後の後処理工程において本画像を評価対象として合焦度の評価を行うことは勿論可能である。

（５）上記の図２の処理において、ＣＰＵ１４はＳ１０９の処理を省略し、Ｓ１１０において合焦度の強度分布を示す結果表示（図７の画像の表示）のみを行うようにしてもよい。

（６）上記の図６の処理において、ＣＰＵ１４は、図２の処理の場合と同様に、撮像画像全体を対象として合焦度マップを生成するようにしてもよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

一の実施形態に係る画像処理装置の構成例を示すブロック図 一の実施形態での撮像画像の合焦度評価処理の一例を示す流れ図 局所領域と画像構造ベクトルおよび画像勾配ベクトルとの説明図 評価対象の撮像画像の例を示す図 エッジ評価値マップでのエッジ評価値Ｅ₁の強度分布の例を示す図 輪郭評価値マップでの輪郭評価値Ｅ₂の強度分布の例を示す図 合焦度マップでの合焦度の強度分布の例を示す図 図２のＳ１０９での処理を説明する模式図 一の実施形態での撮像画像の合焦度評価処理の別例を示す流れ図 判定領域の設定例を示す図 他の実施形態の電子カメラの構成例を示すブロック図 他の実施形態の電子カメラ２１の撮影モードでの動作例を示す流れ図

符号の説明

１１…コンピュータ、１２…データ読込部、１３…記憶装置、１４…ＣＰＵ、１５…メモリ、１６…入出力Ｉ／Ｆ、１７…バス、１８…入力デバイス、１９…モニタ、２１…電子カメラ、２２…フォーカシングレンズ、２３…レンズ駆動部、２４…撮像素子、２５…制御部、２６…ＲＯＭ、２７…バッファメモリ、２８…モニタ、２９…記録Ｉ／Ｆ、３０…レリーズ釦、３１…画像処理部、３２…合焦度評価部、３３…記憶媒体

Claims (10)

1. 撮像画像を取得する画像読込処理と、
   前記撮像画像からエッジ成分を抽出して、前記撮像画像の各位置でのエッジ評価値を求めるエッジ情報算出処理と、
   前記撮像画像から輪郭成分を抽出して、前記撮像画像の各位置での輪郭評価値を求める輪郭情報算出処理と、
   前記撮像画像での位置がそれぞれ対応する前記エッジ評価値と前記輪郭評価値とを用いて、前記撮像画像の各位置での合焦度を求める合焦度算出処理と、
   をコンピュータに実行させることを特徴とするプログラム。
2. 請求項１に記載のプログラムにおいて、
   前記エッジ評価値および前記輪郭評価値は、それぞれ正規化された値であることを特徴とするプログラム。
3. 請求項１または請求項２に記載のプログラムにおいて、
   前記合焦度算出処理では、前記エッジ評価値と前記輪郭評価値との和または積から前記合焦度を求めることを特徴とするプログラム。
4. 請求項１から請求項３のいずれか１項に記載のプログラムにおいて、
   前記撮像画像に含まれる画素のうちから注目画素を順次指定するとともに、各々の前記注目画素の位置を基準として前記撮像画像内に所定サイズの局所領域を設定する局所領域設定処理と、
   前記局所領域に含まれる複数の画素から求めた画素値の勾配情報を用いて、前記注目画素の位置での画像構造を示す画像構造ベクトルと前記注目画素の位置での画像の勾配を示す画像勾配ベクトルとをそれぞれ求めるベクトル演算処理と、をさらに含み、
   前記エッジ情報算出処理では、複数の前記注目画素でそれぞれ求まる前記画像構造ベクトルの情報を用いて、前記撮像画像の各位置でのエッジ評価値を求め、
   前記輪郭情報算出処理では、複数の前記注目画素でそれぞれ求まる前記画像勾配ベクトルの情報を用いて、前記撮像画像の各位置での前記輪郭評価値を求めることを特徴とするプログラム。
5. 請求項１から請求項４のいずれか１項に記載のプログラムにおいて、
   前記撮像画像を撮像したときの焦点検出エリアの位置情報を取得する焦点位置情報取得処理と、
   前記合焦度の高さに応じて決定された前記撮像画像での合焦被写体の位置と前記焦点検出エリアの位置との距離に基づいて、前記撮像画像の合焦状態を評価する合焦評価処理と、をさらに含むことを特徴とするプログラム。
6. 請求項１から請求項４のいずれか１項に記載のプログラムにおいて、
   前記画像読込処理で複数枚の前記撮像画像を取得したときに、各々の前記撮像画像において前記合焦度を求める判定領域をそれぞれ設定する判定領域設定処理と、
   各々の前記撮像画像における前記判定領域での前記合焦度をそれぞれ比較して、該比較結果に基づいて前記撮像画像の選択を行う画像選択処理と、
   をさらに含むことを特徴とするプログラム。
7. 請求項６に記載のプログラムにおいて、
   前記撮像画像を撮像したときの焦点検出エリアの位置情報を取得する焦点位置情報取得処理をさらに含み、
   前記判定領域設定処理では、前記焦点検出エリアの位置に基づいて前記判定領域を設定することを特徴とするプログラム。
8. 請求項６に記載のプログラムにおいて、
   前記画像読込処理で複数枚の前記撮像画像を取得したときに、各々の前記撮像画像において追尾対象の被写体を検出する被写体追尾処理をさらに含み、
   前記判定領域設定処理では、前記追尾対象の被写体の位置に基づいて前記判定領域を設定することを特徴とするプログラム。
9. 請求項１から請求項８のいずれか１項に記載のプログラムを実行するコンピュータを備えることを特徴とするカメラ。
10. 撮像画像を取得する画像読込工程と、
    前記撮像画像からエッジ成分を抽出して、前記撮像画像の各位置でのエッジ評価値を求めるエッジ情報算出工程と、
    前記撮像画像から輪郭成分を抽出して、前記撮像画像の各位置での輪郭評価値を求める輪郭情報算出工程と、
    前記撮像画像での位置がそれぞれ対応する前記エッジ評価値と前記輪郭評価値とを用いて、前記撮像画像の各位置での合焦度を求める合焦度算出工程と、
    を含むことを特徴とする画像の合焦度算出方法。