JP2015026926A - 画像判定装置、画像判定プログラムおよびカメラ - Google Patents

Abstract

【課題】画像のピント状態（合焦、前ピン、後ピン）を判定すること。
【解決手段】画像判定装置１００は、撮影画像から被写体を検出する被写体検出手段１０３ａと、撮影画像のピント位置を推定するピント位置推定手段１０３ｂと、被写体検出手段１０３ａにより検出された被写体の位置および大きさとピント位置推定手段１０３ｂにより推定されたピント位置との関係に基づいて、撮影画像のピント状態を判定するピント状態判定手段１０３ｃと、を備える。
【選択図】図１

Description

本発明は、画像判定装置、画像判定プログラムおよびカメラに関する。

次のような画像判定装置が知られている（特許文献１参照）。この画像判定装置は、ＪＰＥＧ（Joint Photographic Experts Group）画像のＤＣＴ（Discrete Cosine Transform）周波数成分から、画像がボケているかどうか判定する。一般に、ボケた画像は、低周波数成分が多く、高周波数成分が少ない傾向にある。逆に、シャープな画像は、低周波数成分が少なく、高周波数成分が多い傾向にある。そのため、この傾向に基づいてＤＣＴ周波数成分を解析することにより、画像がボケているかどうかを自動判定することができる。

特許第４５１３７６４号公報

上記従来技術は、画像がボケているかどうかを判定することはできるが、画像のピント状態が前ピンか後ピンかを判定することはできなかった。

（１）請求項１に記載の画像判定装置は、撮影画像から被写体を検出する被写体検出手段と、撮影画像のピント位置を推定するピント位置推定手段と、被写体検出手段により検出された被写体の位置および大きさとピント位置推定手段により推定されたピント位置との関係に基づいて、撮影画像のピント状態を判定するピント状態判定手段と、を備えることを特徴とする。
（２）請求項８に記載の画像判定プログラムは、撮影画像における被写体の位置および大きさを検出する被写体検出処理と、撮影画像のピント位置を推定するピント位置推定処理と、被写体検出処理により検出された被写体の位置および大きさとピント位置推定処理により推定されたピント位置との関係に基づいて、撮影画像のピント状態を判定するピント状態判定処理と、をコンピュータに実行させることを特徴とする。
（３）請求項９に記載のカメラは、請求項１〜７のいずれか一項に記載の画像判定装置を備えることを特徴とする。

本発明によれば、画像のピント状態（合焦、前ピン、後ピン）を判定することができる。

本発明の一実施の形態に係る画像判定装置の構成を示すブロック図である。 第１の実施形態における入力画像の一例を模式的に示す図である。 第１の実施形態における二値画像の一例を模式的に示す図である。 第１の実施形態における二値エッジ画像の一例を模式的に示す図である。 第１の実施形態におけるエッジの画素数のグラフを示す図である。 第１の実施形態における第１の特徴量を説明する図である。 第１の実施形態における第２の特徴量を説明する図である。 第１の実施形態におけるピント状態判定閾値を説明する図である。 第１の実施形態におけるピント状態判定処理の流れを説明するフローチャートである。 第１の実施形態における被写体検出処理の流れを説明するフローチャートである。 第２の実施形態におけるピント状態判定処理の流れを説明するフローチャートである。 図１１のフローチャートに続くフローチャートである。 第２の実施形態における入力画像の一例を模式的に示す図である。 第２の実施形態における二値エッジ画像の一例を模式的に示す図である。 第２の実施形態における第１の特徴量を説明する図である。 第２の実施形態における第２の特徴量を説明する図である。 第２の実施形態におけるピント状態判定閾値を説明する図である。 第４の実施形態におけるピント状態判定処理の流れを説明するフローチャートである。 図１８のフローチャートに続くフローチャートである。 第４の実施形態におけるピント状態判定閾値を説明する図である。 プログラムの提供の様子を説明する図である。 カメラの構成を示すブロック図である。

−第１の実施の形態−
図面を参照して本発明の第１の実施形態について説明する。図１は、本実施形態における画像判定装置１００の構成を示すブロック図である。画像判定装置１００は、たとえば、パーソナルコンピュータである。画像判定装置１００は、操作部材１０１と、接続ＩＦ（インターフェース）１０２と、制御部１０３と、ＨＤＤ（ハードディスクドライブ）１０４と、モニタ１０５とを備えている。

操作部材１０１は、使用者によって操作される種々の装置、例えばキーボードやマウスを含む。接続ＩＦ１０２は、画像判定装置１００と外部機器とを接続するためのインターフェースである。接続ＩＦ１０２としては、たとえば、画像判定装置１００とデジタルカメラとを有線接続するためのＵＳＢインターフェースや、無線接続するための無線ＬＡＮモジュールなどが用いられる。

制御部１０３は、被写体検出部１０３ａと、ピント位置推定部１０３ｂと、ピント状態判定部１０３ｃと、を有する。制御部１０３は、ＣＰＵ、メモリ、およびその周辺回路から構成され、メモリに格納された制御プログラムを実行することにより、これらの各部の機能を実現している。各部の機能の内容については、後で詳しく説明する。

ＨＤＤ１０４は、接続ＩＦ１０２を介して取り込まれた画像ファイルや、制御部１０３で実行される処理で用いるデータ等を記録するための記録装置である。モニタ１０５は、例えば液晶モニタであって、制御部１０３から出力される種々の表示用データが表示される。

画像判定装置１００は、撮影画像のピント状態（前ピン、後ピン、合焦）を判定するピント状態判定処理を実行する。ピント状態判定処理は、たとえば、カメラのＡＦ（Auto Focus）性能を評価する際に利用される。カメラのＡＦ性能を評価する場合、たとえば、評価対象のカメラを用いて、移動する被写体を連続的に複数枚撮影する。そして、この複数枚の撮影画像のそれぞれにおいてピント状態を判定し、カメラのＡＦ性能の評価に用いる。ここで撮影画像が大量にある場合、１枚１枚の撮影画像に対して目視でピント状態を判定すると、作業時間が膨大となったり判定基準に揺らぎが出たりしてしまう。そこで、本実施形態では、撮影画像のピント状態を自動で判定することで、ピント状態の判定にかかる時間を低減し且つその判定基準を一定に保つことができるようにする。

以下、本実施形態におけるピント状態判定処理について説明する。ここでは、一例として、位置が固定されたカメラで走行中の電車を連続的に撮影した撮影画像のピント状態を判定する場合を説明する。上記カメラにより撮影された撮影画像は、接続ＩＦ１０２を介して画像判定装置１００に入力される。制御部１０３の被写体検出部１０３ａは、入力画像から被写体を検出する被写体検出処理を行う。図２は、入力画像の一例を模式的に示す図である。ここでは一例として、被写体が緑色の塗装が施された電車１であるとする。ここでは、電車１の前面に塗装されている緑色の長方形を、被写体領域２として検出する。

具体的に、被写体検出部１０３ａは、入力画像に対して緑色が検出できる閾値を用いて二値化処理を行い、二値画像を作成する。図３は、二値画像の一例を模式的に示す図である。二値画像では、たとえば入力画像における緑色の領域が黒画素（ハッチングで示す）で示され、それ以外の領域が白画素で示されている。被写体検出部１０３ａは、二値画像に対してラベリング処理を行い、電車の前面に塗装されている緑色の長方形である可能性が高い長方形を、被写体領域２として検出する。

また、制御部１０３のピント位置推定部１０３ｂは、入力画像のピント位置（入力画像内におけるピントが合っている位置）を推定する。なお、画像の座標は、画像の左上を原点とし、画像の左右方向（長辺方向）をｘ軸方向とし、画像の上下方向（短辺方向）をｙ軸方向とするｘｙ座標で表されるものとする。本実施形態では、被写体の奥行方向が画像のｙ軸方向に対応するため、入力画像のピント位置をｙ座標値として求める。

具体的に、ピント位置推定部１０３ｂは、入力画像からエッジを検出するエッジ検出処理を行い、たとえばエッジの画素を黒画素で示し、それ以外の画素を白画素で示した二値エッジ画像を生成する。図４は、この二値エッジ画像を模式的に示す画像である。ピント位置の周辺部分では画像がシャープとなるため、多くのエッジが検出されると考えられる。本実施形態では、このことを利用して入力画像のピント位置を推定する。そのため、入力画像中には、遮蔽物がなく、また地面に構造（たとえば図２では線路など）があることが望ましい。

ピント位置推定部１０３ｂは、二値エッジ画像におけるエッジの画素数をｙ座標ごとにカウントし、図５に示すようにｙ座標ごとのエッジの画素数を示すグラフを作成する。図５に示すグラフでは、横軸がｙ座標値を示し、縦軸がエッジの画素数を示す。ピント位置推定部１０３ｂは、図５に示すグラフの半値幅を求めて半値幅の中心のｙ座標値を算出し、算出したｙ座標値を入力画像のピント位置として推定する。

そして、制御部１０３のピント状態判定部１０３ｃは、このようにして求められた被写体領域とピント位置とに基づいて、入力画像のピント状態を判定する。具体的に、ピント状態判定部１０３ｃは、図６に示すように、入力画像の長辺の長さ１１を被写体領域２の長辺の長さ１２で除算した値を、第１の特徴量として算出する。第１の特徴量は、カメラと被写体との距離（撮影距離）を表す値である。第１の特徴量は、被写体領域２の長辺の長さ１２が短くなるほど、すなわち撮影距離が遠いほど、大きくなる。

また、ピント状態判定部１０３ｃは、図７に示すように、被写体領域２の中心位置からピント位置までの距離１３を被写体領域２の長辺の長さ１２で除算した値を、第２の特徴量として算出する。第２の特徴量は、ピント位置と被写体の位置とのずれ量を表す値である。図７（ａ）は前ピン状態（被写体の位置よりもピント位置がカメラ側にある状態）の例を示す。図７（ｂ）は合焦状態（被写体の位置にピント位置が一致している状態）の例を示す。図７（ｃ）は後ピン状態（被写体の位置よりもピント位置が奥側にある状態）の例を示す。図７（ａ）〜（ｃ）に示す例では、カメラと被写体との距離（撮影距離）は同じ（すなわち被写体領域２の長辺の長さ１２は同一）であり、ピント位置が異なっている。図７（ａ）と図７（ｂ）とを比較してみると、前ピン状態では、合焦状態よりも被写体領域２の中心からピント位置までの距離１３が長くなるため、第２の特徴量が大きくなる。一方、図７（ｂ）と図７（ｃ）とを比較してみると、後ピン状態では、合焦状態よりも被写体領域２の中心からピント位置までの距離１３が短くなるため、第２の特徴量が小さくなる。

図８は、第１の特徴量と第２の特徴量との関係に基づいて、ピント状態が合焦状態か、前ピン状態か、後ピン状態かを判定するための閾値（以下、ピント状態判定閾値と表記する）を示すグラフである。このグラフでは、横軸が第１の特徴量を示し、縦軸が第２の特徴量を示す。ピント状態判定閾値は、前ピン状態か合焦状態かを判定するための前ピン閾値３１と、後ピン状態か合焦状態かを判定するための後ピン閾値３２とからなる。上述したように第１の特徴量は、カメラから被写体が遠いほど大きくなる。カメラから被写体が遠いほど被写界深度が深くなるため、図８に示すように、合焦状態と判定される範囲は、第１の特徴量が大きいほど広くなっている。

ピント状態判定閾値については、たとえば、予め同じ被写体（ここでは電車１）をレンズの絞り値および焦点距離を固定して複数枚撮影し、これらの撮影画像に対して目視でピント状態を判定して、ピント状態と第１の特徴量および第２の特徴量との関係を調べて、ピント状態判定閾値を決定しておく。そして、ピント状態判定閾値をＨＤＤ１０４に記憶させておく。

なお、本実施形態では、ピント状態判定閾値を決定する際に用いた撮影画像（以下、学習画像と表記する）と、ピント状態判定処理により判定される入力画像とで、撮影時におけるレンズの絞り値および焦点距離が同一であることを前提として、ピント状態を判定する。学習画像と入力画像とで、レンズの絞り値および焦点距離が異なっていると被写界深度が異なるため、合焦状態と判定される範囲が異なってしまうからである。また、焦点距離が異なっていると、学習画像とピント画像とで、撮影距離が同じである場合でも、撮影画面に写る（撮影画角に対する）被写体の大きさが異なり、第１の特徴量が異なってしまうからである。

ピント状態判定部１０３ｃは、上記算出した第１の特徴量および第２の特徴量とＨＤＤ１０４に記憶されているピント状態判定閾値を比較して、入力画像のピント状態を判定する。具体的には、上記算出した第２の特徴量が、上記算出した第１の特徴量に対応する前ピン閾値３１以下であり且つ後ピン閾値３２以上である場合には合焦状態であると判定し、前ピン閾値３１よりも大きい場合は前ピン状態であると判定し、後ピン閾値３２よりも小さい場合は後ピン状態であると判定する。

次に、図９に示すフローチャートを用いて、上述したピント状態判定処理の流れを説明する。制御部１０３は、たとえば使用者によってピント状態判定処理の実行が指示されると、図９の処理を行うプログラムを起動して、図９の処理を開始する。

ステップＳ１０１において、制御部１０３は、ピント状態を判定する入力画像を読み込んで、ステップＳ１０２に進む。

ステップＳ１０２において、制御部１０３は、ステップＳ１０１で読み込んだ入力画像がピント状態判定処理によってピント状態の判定が可能か否かを判定する。

上述したようにピント位置を推定するためには、入力画像中において、遮蔽物がなく、且つ地面に構造があることが求められる。また、入力画像からある程度のエッジが検出されることが求められる。このことをふまえ、制御部１０３は、たとえば、入力画像に対して直線検出処理を行い、検出された直線が途切れている場合は、遮蔽物があると判断して、ピント状態の判定が不可能であると判定してもよい。また、たとえば、制御部１０３は、入力画像から所定以上の長さの直線が検出されない場合は、地面に構造がないと判断して、ピント状態の判定が不可能であると判定するようにしてもよい。また、たとえば、制御部１０３は、入力画像に対してエッジ検出処理を行い、検出されたエッジが所定数よりも少ない場合は、ピント状態の判定が不可能であると判定するようにしてもよい。

また本実施形態では、上述したように、学習画像と入力画像とで撮影時のレンズの絞り値および焦点距離が同一であることを前提としてピント状態を判定する。そのため、制御部１０３は、入力画像のＥｘｉｆ情報を参照して、入力画像の撮影時のレンズの絞り値および焦点距離が学習画像と同一であるか否かを判定し、同一ではない場合は、ピント状態の判定が不可能であると判定するようにしてもよい。

制御部１０３は、ピント状態の判定が不可能である場合には、ステップＳ１０２を否定判定してピント状態判定処理を終了し、ピント状態の判定が可能である場合には、ステップＳ１０２を肯定判定して、ステップＳ１０３へ進む。

ステップＳ１０３において、制御部１０３の被写体検出部１０３ａは、入力画像から被写体領域を検出する被写体検出処理を行う。図１０に示すフローチャートを用いて、この被写体検出処理の流れを説明する。図１０のステップＳ１０３−１において、被写体検出部１０３ａは、被写体検出処理において無駄な処理やノイズを防ぐための制限値であるSmallLimitを設定して、ステップＳ１０３−２に進む。なお、本実施形態では、たとえば、入力画像の画素数の０．０７％の値をSmallLimitとして設定する。

ステップＳ１０３−２において、被写体検出部１０３ａは、被写体の代表色を抽出した二値画像を作成する。上述したように、本実施形態では、緑色の塗装が施された電車を被写体とするため、被写体の代表色を緑色とし、緑色を抽出した二値画像を作成する。

ここで、入力画像はＲＧＢ色空間で表されているとする。被写体検出部１０３ａは、入力画像（ＲＧＢ）から、次式（１）および（２）、または次式（３）および（４）を用いて、色差画像（Ｃｂ，Ｃｒ）を作成する。
Cb = - 0.1687・R - 0.3313・G + 0.5000・B + 128 …(1)
Cr = 0.5000・R - 0.4187・G - 0.0813・B + 128 … (2)
Cb = - 0.25・R - 0.50・G + 0.75・B + 128 …(3)
Cr = 0.75・R - 0.50・G - 0.25・B + 128 … (4)

そして被写体検出部１０３ａは、作成した色差画像から、次式（５）により、図３に示したような二値画像（BinaryImage）を作成する。すなわち、入力画像における緑色の領域を黒画素で示し、それ以外の領域を白画素で示す二値画像を作成する。なお、次式（５）において、xsizeは画像の長辺、ysizeは画像の短辺であり、(x,y)は画像の左上を原点とした座標値である。
for (y=0; y<ysize; y++) {
for (x=0; x<xsize; x++) {
if (Cb(x,y)>92 && Cb(x,y)<122 && Cr(x,y)>96 && Cr(x,y)<130) {
BinaryImage(x,y) = 1;
}
else {
BinaryImage(x,y) = 0;
}
}
} … (5)

このようにして二値画像を作成すると、被写体検出部１０３ａは、次のステップＳ１０３−３に進む。

ステップＳ１０３−３において、被写体検出部１０３ａは、ステップＳ１０３−２で作成した二値画像に対して、４方向または８方向のラベリング処理を行ってラベリング画像を作成し、ステップＳ１０３−４に進む。

ステップＳ１０３−４において、被写体検出部１０３ａは、ステップＳ１０３−３で作成したラベリング画像から白画素の塊をマスクとして検出し、検出したマスクの面積を算出して、ステップＳ１０３−５へ進む。

ステップＳ１０３−５において、被写体検出部１０３ａは、ステップＳ１０３−４で算出したマスクの面積に基づいて、主要被写体である可能性が低いマスクを除外するための足切りを行う。具体的には、ステップＳ１０３−１で設定した制限値SmallLimitより画素数の多いマスクのみを残し、その他のマスクを以降の処理対象から除外する。これにより、主要被写体である可能性が低いマスクを以降の処理対象から除外して、処理の高速化を図ることができる。

ステップＳ１０３−６において、被写体検出部１０３ａは、処理対象のマスクが１つ以上あるか否かを判定する。ステップＳ１０３−５の処理の結果、処理対象のマスクが１つ以上残った場合には、被写体検出部１０３ａは、ステップＳ１０３−６を肯定判定して、ステップＳ１０３−７に進む。一方、ステップＳ１０３−５の処理の結果、処理対象のマスクの数が０となった場合は、被写体領域を検出できず、ピント状態の判定を行うことが不可能となる。そのため、この場合には、被写体検出部１０３ａは、ステップＳ１０３−６を否定判定して、ピント状態判定処理を終了する。

ステップＳ１０３−７において、被写体検出部１０３ａは、残された各マスクの慣性モーメントＩＭ２２を、それぞれ次式（６）により算出し、ステップＳ１０３−８に進む。なお、式（６）において、（ｘ，ｙ）はマスクの各画素の座標であり、（ｘ_ｇ，ｙ_ｇ）は対称画像の中心座標である。
IM22 = ΣΣ{(x−x_g)²＋ (y−y_g)²} … (6)

ステップＳ１０３−８において、被写体検出部１０３ａは、ステップＳ１０３−４で算出したマスクの面積とステップＳ１０３−７で算出したマスクの慣性モーメントＩＭ２２に基づいて、次式（７）により各マスクの評価値を算出し、ステップＳ１０３−９に進む。なお、式（７）においては、βの値は１より大きな値が好ましく、たとえば１．５とする。
評価値 = (マスク面積)^β／IM22 …(7)

ステップＳ１０３−９において、被写体検出部１０３ａは、ステップＳ１０３−８で算出した評価値が最大であるマスクを、主要被写体を示す可能性が高いマスクとして特定し、ステップＳ１０３−１０に進む。

ステップＳ１０３−１０において、被写体検出部１０３ａは、ステップＳ１０３−９で特定したマスクを包絡する外接矩形を作成し、この外接矩形を被写体領域として設定する。被写体検出部１０３ａは、被写体領域（外接矩形）の頂点（四隅）の座標と中心座標を不図示のメモリに記録して、図１０の被写体検出処理を終了し、図９のステップＳ１０４に進む。

ステップＳ１０４において、制御部１０３のピント位置推定部１０３ｂは、入力画像（ＲＧＢ）から、次式（８）または（９）を用いて、輝度画像（Ｙ）を作成する。
Y = 0.2990R + 0.5870G + 0.1140B … (8)
Y = 0.25R + 0.50G + 0.25B … (9)

ピント位置推定部１０３ｂは、作成した輝度画像（Ｙ）に対して、たとえば３×３のGaussianフィルタを適用して平滑化輝度画像(SmoothY)を作成し、次式（１０）を用いてエッジ画像(EdgeImage)を作成して、ステップＳ１０５に進む。
EdgeImage = Y - SmoothY … (10)

ステップＳ１０５において、ピント位置推定部１０３ｂは、ステップＳ１０４で作成したエッジ画像(EdgeImage)の画素値の平均(EdgeAve)と標準偏差(Edgeσ)を算出し、次式（１１）により、図４に示したような二値エッジ画像(BinaryEdgeImage)を作成する。すなわち、エッジの画素を黒画素で示し、それ以外の領域を白画素で示す二値エッジ画像を作成する。なお、次式（１１）において、xsizeは画像の長辺、ysizeは画像の短辺であり、(x,y)は画像の左上を原点とした座標値である。また、次式（１１）において、γの値は１より大きな値が好ましく、たとえば３とする。
for (y=0; y<ysize; y++) {
for (x=0; x<xsize; x++) {
if (EdgeAve - Edgeσ×γ < EdgeImage(x, y) && EdgeImage(x, y) < EdgeAve + Edgeσ×γ) {
BinaryEdgeImage(x,y) = 0;
}
else {
BinaryEdgeImage(x,y) = 1;
}
}
} … (11)

ステップＳ１０６において、ピント位置推定部１０３ｂは、ステップＳ１０５で作成した二値エッジ画像のエッジ画素数をｙ座標ごとにカウントし、図５に示したようなｙ座標ごとのエッジの画素数を示すグラフを作成する。そして、制御部１０３は、上述したようにこのグラフの半値幅を求め、半値幅の中心のｙ座標を算出し、これを入力画像のピント位置として推定して、ステップＳ１０７に進む。

ステップＳ１０７において、制御部１０３のピント状態判定部１０３ｃは、ステップＳ１０３でメモリに記録した被写体領域の頂点（４隅）の座標に基づいて被写体領域の長辺の長さを算出する。そして、ピント状態判定部１０３ｃは、入力画像の長辺の長さを被写体領域の長辺の長さで除算した値を、第１の特徴量として算出して、ステップＳ１０８に進む。

ステップＳ１０８において、ピント状態判定部１０３ｃは、ステップＳ１０３でメモリに記録した被写体領域の中心座標からステップＳ１０６で推定したピント位置までの距離を算出する。そして、ピント状態判定部１０３ｃは、被写体領域の中心からピント位置までの距離を被写体領域の長辺の長さで除算した値を、第２の特徴量として算出して、ステップＳ１０９に進む。

ステップＳ１０９において、ピント状態判定部１０３ｃは、ステップＳ１０７で算出した第１の特徴量とステップＳ１０８で算出した第２の特徴量との関係に基づいて、図８に示したピント状態判定閾値により、入力画像のピント状態が合焦、前ピン、後ピンのいずれかを判定し、ピント状態判定処理を終了する。

以上説明した実施の形態によれば、次の作用効果が得られる。
画像判定装置１００において、被写体検出部１０３ａは、撮影画像における被写体の位置および大きさを検出する。ピント位置推定部１０３ｂは、撮影画像からエッジを検出するエッジ検出処理を行い、エッジ検出処理の結果に基づいて撮影画像のピント位置を推定する。ＨＤＤ１０４には、撮影画像のピント状態が合焦状態か、前ピン状態か、後ピン状態かを判定するためのピント状態判定閾値が記憶されている。ピント状態判定部１０３ｃは、撮影画像の大きさ（入力画像の長辺の長さ１１）と被写体の大きさ（被写体領域２の長辺の長さ１２）との関係を表す第１の特徴量を算出する。ピント状態判定部１０３ｃは、被写体の位置（被写体領域２の中心）からピント位置までの距離１３と被写体の大きさ（被写体領域２の長辺の長さ１２）との関係を表す第２の特徴量を算出する。ピント状態判定部１０３ｃは、第１の特徴量および第２の特徴量とピント状態判定閾値とを比較して、撮影画像のピント状態を判定する。このような構成により、画像判定装置１００は、撮影画像のピント状態（合焦、前ピン、後ピン）を判定することができる。また、画像判定装置１００は、画像の鮮鋭度を判定の指標としないため、撮影時のカメラ機種、ＩＳＯ感度、光線条件等が異なる画像であっても、それらの違いによる影響を受けずにピント状態を判定することができる。

−第２の実施の形態−
次に、本発明の第２の実施形態について説明する。なお、第２の実施形態に係る画像判定装置１００の構成は、第１の実施形態に係る画像判定装置１００と同様の構成（図１）であるため、同一の符号を付し、説明を省略する。

図１１および図１２は、第２の実施形態におけるピント状態判定処理の流れを説明するフローチャートである。なお、第２の実施形態では、図１３に示すように、被写体が人物２０である入力画像のピント状態を判定する場合を例に挙げて説明する。図１３に示す入力画像は、たとえば陸上競技の様子を撮影した撮影画像であり、地面に陸上競技用の白線が写っている。

図１１のステップＳ２０１〜Ｓ２０２において、制御部１０３は、第１の実施形態のステップＳ１０１〜Ｓ１０２と同様の処理を行う。すなわち、制御部１０３は、入力画像を読み込んでピント状態判定可能であるか否かを判定し、判定可能である場合はステップＳ２０３に進み、判定可能でない場合はピント状態判定処理を終了する。

ステップＳ２０３において、被写体検出部１０３ａは、入力画像から人物の全身を検出する人物検出処理を行って、ステップＳ２０４に進む。人物検出処理には、たとえば、特徴量にＨＯＧ(Histograms of Oriented Gradients)、学習アルゴリズムにReal AdaBoostを用いて構築した検出器を使用する。

ステップＳ２０４において、被写体検出部１０３ａは、ステップＳ２０３において人物を検出できたか否かを判定する。被写体検出部１０３ａは、人物を検出できた場合はステップＳ２０４を肯定判定してステップＳ２０５に進み、検出できなかった場合はピント状態の判定ができないので、ステップＳ２０４を否定判定してピント状態判定処理を終了する。

ステップＳ２０５において、被写体検出部１０３ａは、ステップＳ２０３において検出された人物が複数であるか否かを判定する。被写体検出部１０３ａは、検出人数が複数である場合はステップＳ２０５を肯定判定してステップＳ２０６に進み、検出人数が一人である場合はその人物を主要被写体として選択し、ステップＳ２０５を否定判定してステップＳ２０７に進む。

ステップＳ２０６において、被写体検出部１０３ａは、ステップＳ２０３において検出された複数の人物の中から主要被写体である可能性が高い人物を１人選択して、ステップＳ２０７に進む。たとえば、被写体検出部１０３ａは、検出された複数の人物のうち入力画像の中心に最も近い人物を、主要被写体として選択する。

ステップＳ２０７において、ピント位置推定部１０３ｂは、第１の実施の形態のステップＳ１０４と同様の処理を行って、ステップＳ２０８に進む。すなわち、ピント位置推定部１０３ｂは、入力画像からエッジ画像を作成する。

ステップＳ２０８において、ピント位置推定部１０３ｂは、第１の実施の形態のステップＳ１０５と同様の処理を行って、ステップＳ２０９（図１２）に進む。すなわち、ピント位置推定部１０３ｂは、ステップＳ２０７で作成したエッジ画像を二値化して、二値エッジ画像を作成する。図１４に、第２の実施形態における二値エッジ画像の一例を模式的に示す。

ステップＳ２０９において、ピント位置推定部１０３ｂは、第１の実施の形態のステップＳ１０６と同様の処理を行って、ステップＳ２１０に進む。すなわち、ピント位置推定部１０３ｂは、ステップ２０８で作成した二値エッジ画像において、ｙ座標ごとのエッジ画素数のグラフを作成し、このグラフから入力画像のピント位置を推定する。

ステップＳ２１０において、ピント状態判定部１０３ｃは、図１５に示すように、ステップＳ２０３の人物検出処理により検出され、主要被写体として選択された人物２０を包絡する外接矩形２１を作成し、被写体領域として設定する。ピント状態判定部１０３ｃは、入力画像の長辺の長さ２２を被写体領域（外接矩形２１）の長辺の長さ２３で除算した値を、第１の特徴量として算出して、ステップＳ２１１に進む。

ステップＳ２１１において、ピント状態判定部１０３ｃは、図１６に示すように、被写体領域（外接矩形２１）の中心からステップＳ２０９で推定したピント位置までの距離２４を被写体領域（外接矩形２１）の長辺の長さ２３で除算した値を、第２の特徴量として算出して、ステップＳ２１２に進む。

ステップＳ２１２において、ピント状態判定部１０３ｃは、入力画像のＥｘｉｆ情報を参照して、入力画像の撮影時のレンズの絞り値および焦点距離が学習画像（ピント状態判定閾値を決定する際に用いた撮影画像）と同一であるか否かを判定する。同一である場合はピント状態判定閾値および第１の特徴量を調整する必要がないので、ピント状態判定部１０３ｃは、ステップＳ２１２を肯定判定してステップＳ２１４へ進む。一方、同一ではない場合はピント状態判定閾値および第１の特徴量を調整する必要があるので、ピント状態判定部１０３ｃは、ステップＳ２１２を否定判定してステップＳ２１３へ進む。

ステップＳ２１３において、ピント状態判定部１０３ｃは、ピント状態判定閾値および第１の特徴量の調整を行って、ステップＳ２１４に進む。図１７は、第２の実施の形態におけるピント状態判定閾値のグラフの一例を示す図である。図１７では、調整前のピント状態判定閾値を点線で示し、調整後のピント状態判定閾値を実線で示す。たとえば、学習画像よりも入力画像において、撮影時のレンズ絞り値が大きいまたは焦点距離が短いことにより被写界深度が深くなる場合、ピント状態判定部１０３ｃは、図１７（ａ）に示すように、学習画像によって作成したピント状態判定閾値よりも合焦状態と判定する範囲を広げるようにピント状態判定閾値を調整する（すなわち前ピン閾値３１を大きくし且つ後ピン閾値３２を小さくする）。一方、学習画像よりも入力画像において、撮影時のレンズの絞り値が小さいまたは焦点距離が長いことにより被写界深度が浅くなる場合、ピント状態判定部１０３ｃは、図１７（ｂ）に示すように、学習画像によって作成したピント状態判定閾値よりも合焦状態と判定する範囲を広げるようにピント状態判定閾値を調整する（すなわち前ピン閾値３１を小さくし且つ後ピン閾値３２を大きくする）。なお、調整量については、たとえば、学習画像と入力画像との被写界深度の差が大きくなるほど大きくするようにしてもよいし、所定の値を予め決めておいてもよい。

また、学習画像と入力画像とで撮影時のレンズの焦点距離が異なる場合には、撮影画角が異なるため、同じ撮影距離であっても第１の特徴量が異なる。そこで、この場合、ピント状態判定部１０３ｃは、同じ撮影距離の場合は第１の特徴量が同じになるように、ステップＳ２１０で算出した第１の特徴量に係数αを乗算する。係数αの値は、学習画像よりも入力画像において撮影時のレンズの焦点距離が長い（撮影画角が狭い）場合、１より大きい値が好ましく、反対に、焦点距離が短い（撮影画角が広い）場合、１より小さい値が好ましい。また、係数αは、たとえば、焦点距離が長いほど大きく焦点距離が短いほど小さくしてもよいし、所定の値を予め決めておいてもよい。

ステップＳ２１３において、ピント状態判定部１０３ｃは、上述した第１の実施形態のステップＳ１０９と同様の処理を行い、ピント状態判定処理を終了する。すなわち、ピント状態判定部１０３ｃは、第１の特徴量と第２の特徴量との関係に基づいて、ピント状態判定閾値により、入力画像のピント状態が合焦、前ピン、後ピンのいずれかを判定する。

以上説明した実施の形態によれば、次の作用効果が得られる。
画像判定装置１００において、ピント状態判定部１０３ｃは、入力画像の撮影時におけるレンズの絞り値および焦点距離に応じてＨＤＤ１０４に記憶されているピント状態判定閾値を調整して、ピント状態の判定に用いるようにした。また、ピント状態判定部１０３ｃは、入力画像の撮影時におけるレンズの焦点距離に応じて第１の特徴量を調整して、ピント状態の判定に用いるようにした。これにより、画像判定装置１００は、ピント状態判定閾値を決定するための学習画像と入力画像とで撮影時におけるレンズの絞り値や焦点距離が異なる場合であっても、ピント状態判定閾値を用いて入力画像のピント状態（合焦、前ピン、後ピン）を判定することができる。

−第３の実施の形態−
次に、本発明の第３の実施形態について説明する。なお、第３の実施形態に係る画像判定装置１００の構成は、第１の実施形態に係る画像判定装置１００と同様の構成（図１）であるため、同一の符号を付し、説明を省略する。また、第３の実施形態におけるピント状態判定処理については、第２の実施形態におけるピント状態判定処理（図１１および図１２）と共通部分の説明を省略し、異なる部分のみ説明する。

第３の実施形態では、被写体がペットである撮影画像のピント状態を判定する。第３の実施形態のピント状態判定処理において、被写体検出部１０３ａは、上述した人物検出処理（ステップＳ２０３）の代わりに、ペット検出処理を行う。ペット検出処理には、たとえば、特徴量にhaar-like特徴、学習アルゴリズムにAdaBoostを用いて構築した検出器を使用する。また、入力画像が、ペット検出機能が搭載されたデジタルカメラで撮影された画像である場合には、ペット検出結果のメタデータを読み出してもよい。

被写体検出部１０３ａは、ペット検出処理によってペットが検出されなかった場合にはピント状態判定処理を終了する。また、被写体検出部１０３ａは、ペット検出処理で複数のペットが検出された場合には、上述したステップＳ２０６のように、複数のペットの中から主要被写体を一匹選択する。選択方法としては、たとえば、検出されたサイズが１番大きいペットを主要被写体として選択する。

−第４の実施の形態−
次に、本発明の第４の実施形態について説明する。なお、第４の実施形態に係る画像判定装置１００の構成は、第１の実施形態に係る画像判定装置１００と同様の構成（図１）であるため、同一の符号を付し、説明を省略する。第４の実施の形態では、複数枚の撮影画像についてそれぞれピント状態を判定し、判定結果に対応するレーティング情報を撮影画像に付加するようになっている。以下、図１８および図１９に示すフローチャートを用いて、第４の実施形態におけるピント状態判定処理の流れを説明する。

図１８のステップＳ４０１において、制御部１０３は、複数枚の画像を含む画像フォルダの読み込みを行って、ステップＳ４０２に進む。

ステップＳ４０２において、制御部１０３は、ステップＳ４０１で読み込んだ画像フォルダの中から、ピント状態を判定する対象とする対象画像１枚の読み込みを行って、ステップＳ４０３に進む。

ステップＳ４０３において、制御部１０３は、ステップＳ４０２で読み込んだ対象画像について、第１の実施形態のステップＳ１０２と同様の処理を行う。すなわち、制御部１０３は、対象画像がピント状態判定可能であるか否かを判定する。制御部１０３は、判定可能である場合はステップＳ４０４に進み、判定可能でない場合はステップＳ４１３に進む。

ステップＳ４０４において、被写体検出部１０３ａは、対象画像から主要被写体を検出する主要被写体検出処理を行って、ステップＳ４０５へ進む。なお、主要被写体検出処理としては、たとえば、第１の実施の形態における被写体検出処理（図９のステップＳ１０３−１〜Ｓ１０３−１０）、第２の実施の形態における人物検出処理（図１１のステップＳ２０３〜Ｓ２０６）、第３の実施の形態におけるペット検出処理などを行う。

ステップＳ４０５において、被写体検出部１０３ａは、ステップＳ４０４の主要被写体検出処理において主要被写体を検出できたか否かを判定する。被写体検出部１０３ａは、主要被写体を検出できた場合にはステップＳ４０５を肯定判定してステップＳ４０６に進み、検出できなかった場合にはステップＳ４０５を否定判定してステップＳ４１３に進む。

ステップＳ４０６において、ピント位置推定部１０３ｂは、第１の実施の形態のステップＳ１０４と同様の処理を行って、ステップＳ４０７に進む。すなわち、ピント位置推定部１０３ｂは、対象画像からエッジ画像を作成する。

ステップＳ４０７において、ピント位置推定部１０３ｂは、第１の実施の形態のステップＳ１０５と同様の処理を行って、ステップＳ４０８に進む。すなわち、ピント位置推定部１０３ｂは、ステップＳ４０６で作成したエッジ画像を二値化して、二値エッジ画像を作成する。

ステップＳ４０８において、ピント位置推定部１０３ｂは、第１の実施の形態のステップＳ１０６と同様の処理を行って、ステップＳ４０９（図１９）に進む。すなわち、ピント位置推定部１０３ｂは、ステップ４０７で作成した二値エッジ画像において、ｙ座標ごとのエッジ画素数のグラフを作成し、このグラフから対象画像のピント位置を推定する。

ステップＳ４０９において、ピント状態判定部１０３ｃは、ステップＳ４０４の主要被写体検出処理により検出された主要被写体を包絡する外接矩形を作成し、被写体領域として設定する。ピント状態判定部１０３ｃは、入力画像の長辺の長さを被写体領域（外接矩形）の長辺の長さで除算した値を、第１の特徴量として算出して、ステップＳ４１０に進む。

ステップＳ４１０において、ピント状態判定部１０３ｃは、被写体領域（外接矩形）の中心からステップＳ４０８で推定したピント位置までの距離を被写体領域（外接矩形）の長辺の長さで除算した値を、第２の特徴量として算出して、ステップＳ４１１に進む。

ステップＳ４１１において、ピント状態判定部１０３ｃは、ステップＳ４０９で算出した第１の特徴量とステップＳ４１０で算出した第２の特徴量との関係に基づいて、図２０に示すピント状態判定閾値により対象画像のピント状態を判定し、ステップＳ４１２に進む。なお、第４の実施形態では、図２０に示すように、対象画像のピント状態が、「合焦」、「やや前ピン」、「やや後ピン」、「前ピン」、「後ピン」のいずれかを判定する。「やや前ピン」の状態とは、ピント位置が「前ピン」状態よりも合焦位置に近い状態である。「やや後ピン」の状態とは、ピント位置が「後ピン」状態よりも合焦位置に近い状態である。

第４の実施の形態におけるピント状態判定閾値は、「前ピン」か「やや前ピン」かを判定するための前ピン閾値４１と、「やや前ピン」か「合焦」かを判定するためのやや前ピン閾値４２と、「やや後ピン」か「合焦」かを判定するためのやや後ピン閾値４３と、「後ピン」か「やや後ピン」かを判定するための後ピン閾値４４とからなる。ピント状態判定部１０３ｃは、上記算出した第２の特徴量が、上記算出した第１の特徴量に対応するやや前ピン閾値４２以下であり且つやや後ピン閾値４３以上である場合には「合焦」であると判定する。また、制御部１０３は、上記算出した第２の特徴量が、上記算出した第１の特徴量に対応するやや前ピン閾値４２よりも大きく且つ前ピン閾値４１以下である場合には「やや前ピン」であると判定し、前ピン閾値４１よりも大きい場合には「前ピン」であると判定する。また、制御部１０３は、上記算出した第２の特徴量が、上記算出した第１の特徴量に対応するやや後ピン閾値４３以下であり且つ後ピン閾値４４よりも大きい場合には「やや後ピン」であると判定し、後ピン閾値４４以下である場合には「後ピン」であると判定する。

ステップＳ４１２において、ピント状態判定部１０３ｃは、ステップ４１１で判定したピント状態に対応するレーティング情報を対象画像に付加してＨＤＤ１０４に記憶し、ステップＳ４１３に進む。本実施形態では、たとえば、図２０に示すように、「前ピン」にレーティング「１」が対応し、「やや前ピン」にレーティング「２」が対応し、「合焦」にレーティング「３」が対応し、「やや後ピン」にレーティング「４」が対応し、「後ピン」にレーティング「５」が対応する。したがって、たとえば、ステップＳ４１１で「前ピン」と判定された対象画像には、レーティング情報「１」が付加される。

ステップＳ４１３において、制御部１０３は、ステップＳ４０１で読み込んだ画像フォルダ内の全ての画像に対して、ピント状態の判定が完了したか否かを判定する。制御部１０３は、全ての画像に対してピント状態の判定が完了した場合には、ステップＳ４１３を肯定判定して、ピント状態判定処理を終了する。一方、制御部１０３は、ステップＳ４０１で読み込んだ画像フォルダ内の画像のうち、まだ、ピント状態を判定していない画像がある場合は、ステップＳ４１３を否定判定してステップＳ４０２（図１８）に戻り、ピント状態を判定していない画像を読み込んで、上述した処理を行う。

（変形例１）
上述したピント状態判定処理において、ピント状態判定閾値を決定するために用いた学習画像の被写体と入力画像の被写体とは、同一であることが望ましいが、異なっていてもよい。異なっている場合には、学習画像の被写体と入力画像の被写体とで、被写体の大きさが近い方が好ましい。また、被写体の大きさごとに複数のピント状態判定閾値を準備しておくようにしてもよい。たとえば、第２の実施の形態のように、被写体が人物である場合には大人と子供とで身長差があるため、大人用のピント状態判定閾値と子供用のピント状態判定閾値とをそれぞれ準備して、ＨＤＤ１０４に記憶させておくようにしてもよい。この場合、制御部１０３は、被写体検出処理の際に、年齢判別処理も行って被写体が大人か子供かを判別し、判別結果に応じてピント状態判定閾値を使い分ける。

（変形例２）
上述した実施の形態では、エッジ検出の結果を用いて画像のピント位置を推定する例について説明したが、ピント位置の推定方法はこれに限らなくてもよい。たとえば、撮像面位相差検出方式の焦点検出処理を行うカメラで撮影した撮影画像である場合には、その検出結果に基づいて撮影画像内でのピント位置を推定するようにしてもよい。

（変形例３）
上述した各実施の形態は、適宜組み合わせてもよい。たとえば、第４の実施形態において、第２の実施の形態のように、対象画像の撮影時における絞り値や焦点距離に応じて、ピント状態判定閾値を調整するようにしてもよい。

（変形例４）
上述したピント状態判定処理に関するプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図２１はその様子を示す図である。パーソナルコンピュータ２００は、ＣＤ−ＲＯＭ２０４を介してプログラムの提供を受ける。また、パーソナルコンピュータ２００は通信回線２０１との接続機能を有する。コンピュータ２０２は上記プログラムを提供するサーバーコンピュータであり、ハードディスク２０３などの記録媒体にプログラムを格納する。通信回線２０１は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ２０２はハードディスク２０３を使用してプログラムを読み出し、通信回線２０１を介してプログラムをパーソナルコンピュータ２００に送信する。すなわち、プログラムをデータ信号として搬送波を介して、通信回線２０１を介して送信する。このように、プログラムは、記録媒体やデータ信号（搬送波）などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。

（変形例５）
上述した実施の形態では、画像判定装置１００がパーソナルコンピュータである例について説明したが、これに限らなくてよい。たとえば、カメラが上述した画像判定装置を備えるようにしてもよい。図２２は、カメラ３００の構成を示すブロック図である。カメラ３００は、操作部材１０１と、制御部１０３と、モニタ１０５と、撮像光学系３１１と、撮像素子３１２と、を備える。カメラ３００には、メモリカード３１３が着脱可能である。カメラ３００の制御部１０３は、上述した実施の形態と同様に、被写体検出部１０３ａ、ピント位置推定部１０３ｂ、およびピント状態判定部１０３ｃを有し、撮像素子３１２により得られた撮像画像に対して、上記ピント状態判定処理を行う。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１００…画像判定装置、１０１…操作部材、１０２…接続ＩＦ、１０３…制御部、１０３ａ…被写体検出部、１０３ｂ…ピント位置推定部、１０３ｃ…ピント状態判定部、１０４…ＨＤＤ、１０５…モニタ

Claims (9)

1. 撮影画像から被写体を検出する被写体検出手段と、
   前記撮影画像のピント位置を推定するピント位置推定手段と、
   前記被写体検出手段により検出された被写体の位置および大きさと前記ピント位置推定手段により推定されたピント位置との関係に基づいて、前記撮影画像のピント状態を判定するピント状態判定手段と、
   を備えることを特徴とする画像判定装置。
2. 請求項１に記載の画像判定装置において、
   前記ピント状態判定手段は、前記撮影画像の大きさと前記被写体の大きさとの関係を表す第１の特徴量を算出し、前記被写体の位置から前記ピント位置までの距離と前記被写体の大きさとの関係を表す第２の特徴量を算出し、前記第１の特徴量と前記第２の特徴量との関係に基づいて、前記撮影画像のピント状態を判定することを特徴とする画像判定装置。
3. 請求項２に記載の画像判定装置において、
   前記撮影画像のピント状態が合焦状態か、前ピン状態か、後ピン状態かを判定するための判定閾値が記憶されている記憶手段をさらに備え、
   前記ピント状態判定手段は、前記第１の特徴量および前記第２の特徴量と前記判定閾値とを比較して、前記撮影画像のピント状態を判定することを特徴とする画像判定装置。
4. 請求項３に記載の画像判定装置において、
   前記ピント状態判定手段は、前記撮影画像の撮影時におけるレンズの絞り値および焦点距離に応じて前記記憶手段に記憶されている判定閾値を調整して、前記ピント状態の判定に用いることを特徴とする画像判定装置。
5. 請求項２〜４のいずれか一項に記載の画像判定装置において、
   前記ピント状態判定手段は、前記撮影画像の撮影時におけるレンズの焦点距離に応じて前記第１の特徴量を調整して、前記ピント状態の判定に用いることを特徴とする画像判定装置。
6. 請求項１〜５のいずれか一項に記載の画像判定装置において、
   前記ピント位置推定手段は、前記撮影画像からエッジを検出するエッジ検出処理を行い、前記エッジ検出処理の結果に基づいて前記撮影画像のピント位置を推定することを特徴とする画像判定装置。
7. 請求項１〜６のいずれか一項に記載の画像判定装置において、
   前記ピント状態判定手段は、前記判定したピント状態に対応する情報を前記撮影画像に付加することを特徴とする画像判定装置。
8. 撮影画像における被写体の位置および大きさを検出する被写体検出処理と、
   前記撮影画像のピント位置を推定するピント位置推定処理と、
   前記被写体検出処理により検出された被写体の位置および大きさと前記ピント位置推定処理により推定されたピント位置との関係に基づいて、前記撮影画像のピント状態を判定するピント状態判定処理と、
   をコンピュータに実行させることを特徴とする画像判定プログラム。
9. 請求項１〜７のいずれか一項に記載の画像判定装置を備えることを特徴とするカメラ。

Images