JP2020170555A - 画像評価装置、カメラおよびプログラム - Google Patents

Abstract

【課題】画像のぼけ状態を適切に評価すること。【解決手段】画像評価装置１００は、画像の所定領域において物体の境界を表すエッジ画素のデータを検出するエッジ検出部１０４ａと、エッジ検出部１０４ａにより検出されたエッジ画素のデータに基づいて画像のぼけ状態を判定する判定部１０４ａと、を備える。【選択図】図１

Description

本発明は、画像評価装置、カメラおよびプログラムに関する。

次のような画像評価装置が知られている（特許文献１参照）。この画像評価装置は、JPEG(Joint Photographic Experts Group)画像のDCT(Discrete Cosine Transform)周波数成分から画像がぼけているか否かを判定する。一般に、ぼけている画像は低周波数成分が多く、高周波数成分が少ない傾向にある。逆に、ぼけていないシャープな画像は低周波数成分が少なく、高周波数成分が多い傾向にある。そのため、この傾向に基づいてDCT周波数成分を解析することにより、画像のぼけ状態が評価される。

日本国特許第４５１３７６４号公報

しかしながら、従来の技術では、主要被写体でない背景にピントが合っているような画像に対しては、ぼけの評価が困難であった。

本発明の第１の態様による画像評価装置は、評価対象の画像の画像データを取得する画像取得部と、前記画像の一部であって、撮影制御または被写体に関する所定領域を示す情報を取得する領域取得部と、前記画像データの前記所定領域に対応するデータから物体の境界を示すエッジ画素を検出するエッジ検出部と、検出されたエッジ画素のエッジ強度を算出する算出部と、前記エッジ強度に基づいて前記画像のぼけ状態を判定する判定部と、を備える。
本発明の第２の態様によるカメラは、第１の態様による画像評価装置を備える。
本発明の第３の態様によるプログラムは、評価対象の画像の画像データを取得する画像取得処理と、前記画像の一部であって、撮影制御または被写体に関する所定領域を示す情報を取得する領域取得処理と、前記画像データの前記所定領域に対応するデータから物体の境界を示すエッジ画素を検出するエッジ検出処理と、検出されたエッジ画素のエッジ強度を算出する算出処理と、前記エッジ強度に基づいて前記画像のぼけ状態を判定する判定処理と、をコンピュータに実行させる。

本発明によれば、画像のぼけ状態を適切に評価できる。

本発明の一実施の形態による画像評価装置を搭載したカメラを例示するブロック図である。 演算部が実行する画像評価プログラムの処理の流れを説明するフローチャートである。 評価対象の画像を例示する図である。 エッジ画素に対応するデータを例示する図である。 図５(a)は分割領域を例示する図である。図５(b)はエッジ強度平均値およびエッジ画素のデータ数を例示する図である。 コンピュータ装置を説明する図である。

以下、図面を参照して本発明を実施するための形態について説明する。
＜カメラの説明＞
図１は、本発明の一実施の形態による画像評価装置を搭載したカメラを例示するブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、表示モニタ１０６と、を備えている。操作部材１０１は、ユーザーによって操作される種々の入力部材、たとえば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタンなどを含む。

レンズ１０２は、撮像素子１０３の撮像面に被写体像を結像させる。レンズ１０２は複数の光学レンズから構成されるが、図１では単レンズとして図示している。撮像素子１０３は、たとえばＣＭＯＳイメージセンサによって構成される。撮像素子１０３は、レンズ１０２により結像された被写体像を撮像し、画像信号を制御装置１０４へ出力する。

制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、たとえばＪＰＥＧ形式の画像データ（以下、本画像データと呼ぶ）を生成する。また、制御装置１０４は、本画像データに基づいて、表示用画像データ、たとえばサムネイル画像データを生成する。制御装置１０４は、本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成する。

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットである。制御装置１０４は、メモリカードスロット１０５に挿入されているメモリカードへ上記画像ファイルを書き込んで記録する。また、制御装置１０４は、メモリカードスロット１０５に挿入されているメモリカード内に記録されている画像ファイルを読み込む。

表示モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）である。当該表示モニタ１０６は、メモリカードに記憶されている画像ファイルに基づく再生画像や、カメラ１００を設定するための設定メニュー画面などを表示する。また、制御装置１０４は、ユーザーによってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３により時系列で取得された画像信号に基づく表示用画像データを表示モニタ１０６に逐次表示させる。これにより、表示モニタ１０６に、いわゆるスルー画が表示される。

制御装置１０４は、演算部１０４ａ、メモリ、およびその他の周辺回路により構成され、カメラ１００の動作を制御する。演算部１０４ａはＣＰＵを含む。制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは揮発性のメモリであって、演算部１０４ａがプログラム実行時にプログラムを展開するためのワークメモリとして使用される。また、ＳＤＲＡＭは、データを一時的に記憶するためのバッファメモリとしても使用される。

一方、フラッシュメモリは不揮発性のメモリであって、演算部１０４ａが実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

＜画像の評価（像ぼけの判定）＞
制御装置１０４の演算部１０４ａは、メモリカードスロット１０５内のメモリカードに記録されている撮影済み画像について、像がぼけているか否かを判定する。個々の画像のぼけ状態を自動的に評価するので、例えばカメラ１００のＡＦ（自動焦点調節）機能の試験時において撮影された画像や、報道現場において撮影された画像など、多数の画像を対象にピントが合っていない画像（ぼけ画像）とピントが合っている画像とを区別したい場合に好適である。

演算部１０４ａは、例えばユーザーによる操作によって指定されたメモリカードのフォルダ内に記録されている画像のぼけ状態を順番に評価する。図２は、演算部１０４ａが実行する画像評価プログラムの処理の流れを説明するフローチャートである。図２に示す処理は、処理開始を指示する操作信号が操作部材１０１から入力されると起動するプログラムとして、演算部１０４ａによって実行される。

＜フローチャートの説明＞
図２のステップＳ００１において、演算部１０４ａは、評価対象の画像フォルダを読み込んでステップＳ００２へ進む。ステップＳ００２において、演算部１０４ａは、評価対象の画像ファイルを読み込んでステップＳ００３へ進む。

ステップＳ００３において、演算部１０４ａは、図３に示すように、評価対象の画像１について、所定エリア（例えばＡＦエリア）１０を示す情報を読み込んでステップＳ００４へ進む。本実施形態では、画像１のうちＡＦエリア１０において画像のぼけ状態を評価する。ＡＦエリア１０は、撮影時の自動焦点調節において焦点調節状態を検出したエリアである。画像１におけるＡＦエリア１０の位置を示す情報は、画像ファイル内にExif(登録商標)情報として記録されている。

ステップＳ００４において、演算部１０４ａは、評価対象の画像１の本画像データのうちＡＦエリア１０に対応するデータから、図４に示すように、エッジ画素（画像のエッジを構成する画素）２０に対応するデータを検出してステップＳ００５へ進む。演算部１０４ａは、エッジ画素２０に対応するデータを検出するために、ＡＦエリア１０内の画像データに対していわゆるCanny Edge Detectorを適用する。フィルタ処理により、エッジ画素（画像における物体（被写体）の境界を示す連続する曲線を構成する画素）２０のデータが検出される。上記Canny Edge Detectorの他に、Sobel filter またはPrewitt filterを用いてもよい。

ステップＳ００５において、演算部１０４ａは、図５(a)に示すように、ＡＦエリア１０を所定数に分割（例えば水平３×垂直３＝９分割）し、分割領域ごとに、エッジ画素の強度平均値（以下、エッジ強度平均という）を算出する。ステップＳ００４でCanny Edge Detector を使用した場合、エッジ画素データの検出結果は二値で与えられる。そのため、エッジ強度平均を算出するには、別途エッジ強度画像を作成する必要がある。そこで、演算部１０４ａは以下の手順でエッジ強度画像を作成する。なお、分割数は９より多くても少なくてもよい。

１．輝度画像Ｙ変換
演算部１０４ａは、評価対象の画像１がＲＧＢ表色系で表されている場合、次式（１）を用いて輝度成分からなる輝度画像Ｙへ変換する。
Ｙ＝0.2990Ｒ＋0.5870Ｇ＋0.1140Ｂ …（１）
なお、次式（２）を用いて輝度画像Ｙへ変換してもよい。
Ｙ＝0.25Ｒ＋0.50Ｇ＋0.25Ｂ …（２）

２．エッジ強度画像Ｅの算出
演算部１０４ａは、輝度画像Ｙに、例えばウィンドウサイズ：５×５、σ_x：１．２５、σ_y：１．２５のGaussian フィルタを適用し、平滑化輝度画像(SmoothＹ)を作成する。そして、次式（３）によりエッジ強度画像Ｅ(Edge Intensity Image)を得る。
Ｅ(Edge Intensity Image)＝｜Ｙ−smoothＹ｜ …（３）
ただし、Ｙは輝度画像であり、smoothＹは平滑化輝度画像である。エッジ強度画像Ｅは、ある周波数より高い周波数成分における輝度分布を表す。

演算部１０４ａは、以上のように作成したエッジ強度画像Ｅについて、ステップＳ００４で検出したエッジ画素に対応する位置のデータを読み出し、読み出したエッジ強度画像Ｅのデータの平均値を算出することによってエッジ強度平均値を計算する。なお、輝度画像Ｙの代わりに入力画像のＧ面（Ｇ色成分による画像）を用いてエッジ強度画像を作成するようにしても良い。

ステップＳ００６において、演算部１０４ａは、ＡＦエリア１０を分割した領域のうち、ステップＳ００４で検出されたエッジ画素に対応するデータ数が判定閾値α（例えば１００）に満たない領域を判定対象から除外してステップＳ００７へ進む。除外する理由は、エッジ画素のデータ数が判定閾値αに満たない領域は背景の可能性が高く、また、エッジ強度平均の値がノイズの影響を受けやすいためである。図５(b)の例では、かっこ内に表示したエッジ画素のデータ数が１００に満たない２つの領域（左端の３領域のうち１番上の領域３１と２段目の領域３２）を除外する。

ステップＳ００７において、演算部１０４ａは、ＡＦエリア１０を分割した領域のうち、ステップＳ００５で算出したエッジ強度平均の値が最大となる領域のエッジ強度平均を特徴量としてステップＳ００８へ進む。図５(b)の例では、中央１番下の領域３０でエッジ強度平均の値が最大となる。

ステップＳ００８において、演算部１０４ａは、上記特徴量が判定閾値β（例えば８０）に満たない場合、その分割領域において画像にぼけが含まれることから、評価対象の画像１をぼけ画像と判定してステップＳ００９へ進む。ステップＳ００９において、演算部１０４ａは、”ぼけ画像と判定した画像”は低い評価、”ぼけ画像と判定しなかった画像”は高い評価、となるようにレーティング情報を画像に付加してステップＳ０１０へ進む。演算部１０４ａは、特徴量の大小に基づいて画像間に序列を与える。

ステップＳ０１０において、演算部１０４ａは、ステップＳ００１で読み込んだ画像フォルダ内の全ての画像１に対してぼけ判定を終了したか否かを判定する。演算部１０４ａは、全ての画像１に対して判定処理を終了した場合にステップＳ０１０を肯定判定して図２による処理を終了する。演算部１０４ａは、全ての画像１に対して判定処理を終了していない場合には、ステップＳ０１０を否定判定してステップＳ００２へ戻る。ステップＳ００２へ戻る場合は、画像フォルダ内の他の画像１を対象に上述した処理を繰り返す。

上述した実施の形態によれば、次の作用効果が得られる。
（１）カメラ１００は、画像１のＡＦエリア１０において物体の境界を表すエッジ画素のデータを検出する演算部１０４ａと、演算部１０４ａにより検出されたエッジ画素のデータに基づいて画像１のぼけ状態を判定する演算部１０４ａと、を備えるので、画像１のぼけ状態を適切に評価できる。例えば、主要被写体でない背景にピントが合っている場合にも適切に判定し得る。

（２）演算部１０４ａは、画像１のＡＦエリア１０を９分割した分割領域ごとに検出を行い、演算部１０４ａは、分割領域ごとに検出されたエッジ画素のデータに基づいて画像のぼけ状態を判定するので、ＡＦエリア１０の中で一部を占める主要被写体について、主要被写体領域と背景領域とを分離して、画像のぼけ状態を適切に判定し得る。

（３）演算部１０４ａは、分割領域ごとに、画像１の輝度分布を表すエッジ強度画像Ｅを算出し、エッジ強度画像Ｅのうちエッジ画素に対応するデータの平均値をエッジ画素のデータとして算出し、この平均値に基づいて画像のぼけ状態を判定するので、画像のぼけ状態を適切に評価できる。

（４）演算部１０４ａは、分割領域のうち、エッジ強度画像Ｅの中でエッジ画素に対応するデータ数が判定閾値α以下となる分割領域３１、３２を、ぼけ状態の判定対象から除くようにしたので、背景の可能性が高いデータが除外され、画像１のぼけ状態を適切に評価できる。

（５）演算部１０４ａは、分割領域のうち、平均値の最大値が判定閾値β以下となる分割領域に像ぼけありと判定するので、画像１のぼけ状態を適切に評価できる。

（６）演算部１０４ａは、平均値の大小に応じてぼけ状態に関して画像１の優劣を表すレーティング情報を画像１に付する（序列をつける）ようにした。これにより、一度画像のぼけ状態を判定すると、以降はレーティング情報を参照することによって画像１のぼけ状態を知ることが可能になる。

（７）画像１のうち、当該画像１の撮影時において焦点調節状態の検出に用いられたＡＦエリア１０においてエッジ画素のデータを検出するようにしたので、主要被写体が存在する可能性の高い領域を用いて、画像１のぼけ状態を適切に評価できる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
上述した実施形態では、画像１のうちＡＦエリア１０において画像１のぼけ状態を評価する例を説明した。ＡＦエリア１０においてぼけ評価を行う代わりに、被写体マスク領域において画像のぼけ評価を行うようにしてもよい。
（１−１）主要被写体抽出手法で被写体マスクを取得し、この被写体マスク領域でエッジ画素を検出する。そして、被写体マスク領域のエッジ画素のエッジ強度代表値（例えば平均値）でぼけ判定を行う。被写体マスク領域においてぼけ判定を行う場合は、被写体マスク領域に対する分割は行わない。この理由は、被写体マスク領域は被写体そのものの領域であり、背景を含まないからである。このため、ＡＦエリア１０の場合と異なり、ぼけ判定対象から除外すべき背景領域が存在しないので、領域分割の必要性が乏しい。

（１−２）上記主要被写体抽出手法で取得した被写体マスク領域で、エッジ画素の代わりに被写体マスクの輪郭画素を検出してもよい。そして、被写体マスク領域の被写体マスク輪郭画素のエッジ強度代表値でボケ判定を行う。（１−２）の場合も、上記（１−１）と同様に被写体マスク領域に対する分割を行わない。

（１−３）上記（１−１）で取得した被写体マスク領域のエッジ画素のエッジ強度代表値と、上記（１−２）で取得した被写体マスク領域の被写体マスク輪郭画素のエッジ強度代表値と、に基づいて論理積を算出し、この論理積を特徴量にしてぼけ判定を行ってもよい。なお、被写体マスク領域に対する分割は行わない。

（変形例２）
画像１から検出した顔領域において画像のぼけ状態を評価するようにしてもよい。演算部１０４ａは、公知の顔検出処理によって顔領域を検出し、この顔領域でエッジ画素を検出する。そして、顔領域のエッジ画素のエッジ強度代表値（例えば平均値）でぼけ判定を行う。変形例２の場合、顔領域に対する分割を行わない。

（変形例３）
以上の説明では、分割領域ごとにエッジ画素の平均値を算出する例を説明した。分割領域を代表するエッジ画素の平均値を算出する代わりに、分割領域ごとのエッジ画素の中央値を算出したり、あるいは分割領域ごとのエッジ画素の最頻値を算出したりして、これら中央値あるいは最頻値を分割領域におけるエッジ画素の代表値として採用してもよい。

（変形例４）
例えば、上述した画像評価プログラムを図６に示すコンピュータ装置に実行させることにより、像ぼけの状態を評価する画像評価装置を提供する。プログラムをコンピュータ装置２００に取込む場合には、コンピュータ装置２００のデータストレージ装置にプログラムをローディングした上で当該プログラムを実行させることにより、像ぼけの状態を評価する画像評価装置として使用する。

プログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体２０４をコンピュータ装置２００にセットして行ってもよいし、ネットワークなどの通信回線２０１を経由する方法でコンピュータ装置２００へローディングしてもよい。ネットワーク２０１を経由する場合は、ネットワーク２０１に接続されたサーバコンピュータ２０２のハードディスク装置２０３などにプログラムを格納しておく。このように、プログラムは記録媒体２０４や通信回線２０１を介する提供などの種々の形態のコンピュータプログラム製品として供給される。

なお、コンピュータ装置２００は、タブレットパソコンであってもよい。また、コンピュータ装置２００の代わりにフォトビューワを用いても構わない。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１０…ＡＦエリア
３０〜３２…分割領域
１００…カメラ
１０１…操作部材
１０３…撮像素子
１０４…制御装置
１０４ａ…演算部
Ｅ…エッジ強度画像
Ｙ…輝度画像

Claims (8)

1. 評価対象の画像の画像データを取得する画像取得部と、
   前記画像の一部であって、撮影制御または被写体に関する所定領域を示す情報を取得する領域取得部と、
   前記画像データの前記所定領域に対応するデータから物体の境界を示すエッジ画素を検出するエッジ検出部と、
   検出されたエッジ画素のエッジ強度を算出する算出部と、
   前記エッジ強度に基づいて前記画像のぼけ状態を判定する判定部と、
   を備える画像評価装置。
2. 請求項１に記載の画像評価装置において、
   前記所定領域を複数の領域に分割する分割部を備え、
   前記エッジ検出部は、前記分割部によって分割された分割領域ごとにエッジ画素を検出し、
   前記算出部は、前記分割領域ごとに前記エッジ強度の代表値を算出し、
   画像判定部は、前記分割領域ごとの前記代表値に基づいて前記画像のぼけ状態を判定する、
   画像評価装置。
3. 請求項１または２に記載の画像評価装置において、
   前記所定領域は、前記画像の撮影時において焦点調節状態の検出に用いられた領域である、
   画像評価装置。
4. 請求項１または２に記載の画像評価装置において、
   前記所定領域は、前記画像の主要被写体領域である、
   画像評価装置。
5. 請求項１または２に記載の画像評価装置において、
   前記所定領域は、前記画像の顔領域である、
   画像評価装置。
6. 請求項１から５のいずれか一項に記載の画像評価装置において、
   前記判定部は、前記エッジ強度に基づいて前記画像にレーティング情報を付加する、
   画像評価装置。
7. 請求項１から６のいずれか一項に記載の画像評価装置を備えるカメラ。
8. 評価対象の画像の画像データを取得する画像取得処理と、
   前記画像の一部であって、撮影制御または被写体に関する所定領域を示す情報を取得する領域取得処理と、
   前記画像データの前記所定領域に対応するデータから物体の境界を示すエッジ画素を検出するエッジ検出処理と、
   検出されたエッジ画素のエッジ強度を算出する算出処理と、
   前記エッジ強度に基づいて前記画像のぼけ状態を判定する判定処理と、
   をコンピュータに実行させるプログラム。

Images