JP2019096364A

JP2019096364A - Image evaluation device

Info

Publication number: JP2019096364A
Application number: JP2019050209A
Authority: JP
Inventors: 浩史金藤; Hiroshi Kinto
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2019-03-18
Filing date: 2019-03-18
Publication date: 2019-06-20

Abstract

To appropriately evaluate a blur state of an image.SOLUTION: An image evaluation device 100 includes an edge detection unit 104a for detecting data of edge pixels representing a boundary of an object in a predetermined area of an image, and a judgment unit 104a for judging a blur state of the image based on the data of the edge pixels detected by the edge detection unit 104a.SELECTED DRAWING: Figure 1

Description

本発明は、画像評価装置に関する。 The present invention relates to an image evaluation apparatus.

次のような画像評価装置が知られている（特許文献１参照）。この画像評価装置は、JPEG(Joint Photographic Experts Group)画像のDCT(Discrete Cosine Transform)周波数成分から画像がぼけているか否かを判定する。一般に、ぼけている画像は低周波数成分が多く、高周波数成分が少ない傾向にある。逆に、ぼけていないシャープな画像は低周波数成分が少なく、高周波数成分が多い傾向にある。そのため、この傾向に基づいてDCT 周波数成分を解析することにより、画像のぼけ状態が評価される。 The following image evaluation apparatus is known (see Patent Document 1). The image evaluation device determines whether or not the image is blurred from discrete cosine transform (DCT) frequency components of a JPEG (Joint Photographic Experts Group) image. In general, blurred images tend to have many low frequency components and few high frequency components. On the contrary, sharp images that are not blurred tend to have less low frequency components and more high frequency components. Therefore, the blur state of the image is evaluated by analyzing the DCT frequency components based on this tendency.

日本国特許第４５１３７６４号公報Japanese Patent No. 4513764

しかしながら、従来の技術では、主要被写体でない背景にピントが合っているような画像に対しては、ぼけの評価が困難であった。 However, in the conventional technique, it is difficult to evaluate blur for an image in which the background that is not the main subject is in focus.

本発明による画像評価装置は、画像の所定領域において物体の境界を表すエッジ画素のデータを検出するエッジ検出部と、エッジ検出部により検出されたエッジ画素のデータに基づいて画像のぼけ状態を判定する判定部と、を備えることを特徴とする。 The image evaluation apparatus according to the present invention determines the blurred state of the image based on the edge detection unit that detects data of edge pixels representing the boundary of the object in a predetermined area of the image, and the data of the edge pixels detected by the edge detection unit. And a determination unit.

本発明によれば、画像のぼけ状態を適切に評価できる。 According to the present invention, it is possible to appropriately evaluate the blurred state of the image.

本発明の一実施の形態による画像評価装置を搭載したカメラを例示するブロック図である。It is a block diagram which illustrates a camera carrying an image evaluation system by a 1 embodiment of the present invention. 演算部が実行する画像評価プログラムの処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of processing of the picture evaluation program which an operation part performs. 評価対象の画像を例示する図である。It is a figure which illustrates the picture of evaluation object. エッジ画素に対応するデータを例示する図である。It is a figure which illustrates the data corresponding to an edge pixel. 図５(a)は分割領域を例示する図である。図５(b)はエッジ強度平均値およびエッジ画素のデータ数を例示する図である。FIG. 5A is a diagram illustrating divided areas. FIG. 5B illustrates the edge intensity average value and the number of edge pixel data. コンピュータ装置を説明する図である。It is a figure explaining a computer apparatus.

以下、図面を参照して本発明を実施するための形態について説明する。
＜カメラの説明＞
図１は、本発明の一実施の形態による画像評価装置を搭載したカメラを例示するブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、表示モニタ１０６と、を備えている。操作部材１０１は、ユーザーによって操作される種々の入力部材、たとえば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタンなどを含む。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<Description of camera>
FIG. 1 is a block diagram illustrating a camera equipped with an image evaluation apparatus according to an embodiment of the present invention. The camera 100 includes an operation member 101, a lens 102, an imaging device 103, a control device 104, a memory card slot 105, and a display monitor 106. The operation member 101 includes various input members operated by the user, such as a power button, a release button, a zoom button, an arrow key, and an enter button.

レンズ１０２は、撮像素子１０３の撮像面に被写体像を結像させる。レンズ１０２は複数の光学レンズから構成されるが、図１では単レンズとして図示している。撮像素子１０３は、たとえばＣＭＯＳイメージセンサによって構成される。撮像素子１０３は、レンズ１０２により結像された被写体像を撮像し、画像信号を制御装置１０４へ出力する。 The lens 102 forms a subject image on the imaging surface of the imaging element 103. The lens 102 is composed of a plurality of optical lenses, but is illustrated as a single lens in FIG. The imaging element 103 is configured of, for example, a CMOS image sensor. The imaging element 103 captures an object image formed by the lens 102, and outputs an image signal to the control device 104.

制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、たとえばＪＰＥＧ形式の画像データ（以下、本画像データと呼ぶ）を生成する。また、制御装置１０４は、本画像データに基づいて、表示用画像データ、たとえばサムネイル画像データを生成する。制御装置１０４は、本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成する。 The control device 104 generates image data of a predetermined image format, for example, JPEG format (hereinafter, referred to as main image data) based on the image signal input from the imaging element 103. Further, the control device 104 generates display image data, for example, thumbnail image data, based on the main image data. The control device 104 generates an image file including the main image data and the thumbnail image data and further having header information added thereto.

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットである。制御装置１０４は、メモリカードスロット１０５に挿入されているメモリカードへ上記画像ファイルを書き込んで記録する。また、制御装置１０４は、メモリカードスロット１０５に挿入されているメモリカード内に記録されている画像ファイルを読み込む。 The memory card slot 105 is a slot for inserting a memory card as a storage medium. The control device 104 writes and records the image file on the memory card inserted in the memory card slot 105. Also, the control device 104 reads an image file recorded in the memory card inserted in the memory card slot 105.

表示モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）である。当該表示モニタ１０６は、メモリカードに記憶されている画像ファイルに基づく再生画像や、カメラ１００を設定するための設定メニュー画面などを表示する。また、制御装置１０４は、ユーザーによってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３により時系列で取得された画像信号に基づく表示用画像データを表示モニタ１０６に逐次表示させる。これにより、表示モニタ１０６に、いわゆるスルー画が表示される。 The display monitor 106 is a liquid crystal monitor (rear monitor) mounted on the back of the camera 100. The display monitor 106 displays a reproduced image based on the image file stored in the memory card, a setting menu screen for setting the camera 100, and the like. Further, when the mode of the camera 100 is set to the photographing mode by the user, the control device 104 causes the display monitor 106 to sequentially display display image data based on the image signals acquired in time series by the imaging device 103. As a result, a so-called live view is displayed on the display monitor 106.

制御装置１０４は、演算部１０４ａ、メモリ、およびその他の周辺回路により構成され、カメラ１００の動作を制御する。演算部１０４ａはＣＰＵを含む。制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは揮発性のメモリであって、演算部１０４ａがプログラム実行時にプログラムを展開するためのワークメモリとして使用される。また、ＳＤＲＡＭは、データを一時的に記憶するためのバッファメモリとしても使用される。 The control device 104 includes an arithmetic unit 104 a, a memory, and other peripheral circuits, and controls the operation of the camera 100. Arithmetic unit 104a includes a CPU. The memory constituting the control device 104 includes an SDRAM and a flash memory. The SDRAM is a volatile memory, and is used as a work memory for the operation unit 104a to develop a program when the program is executed. The SDRAM is also used as a buffer memory for temporarily storing data.

一方、フラッシュメモリは不揮発性のメモリであって、演算部１０４ａが実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。 On the other hand, the flash memory is a non-volatile memory, in which data of a program executed by the operation unit 104a, various parameters read at the time of program execution, and the like are recorded.

＜画像の評価（像ぼけの判定）＞
制御装置１０４の演算部１０４ａは、メモリカードスロット１０５内のメモリカードに記録されている撮影済み画像について、像がぼけているか否かを判定する。個々の画像のぼけ状態を自動的に評価するので、例えばカメラ１００のＡＦ（自動焦点調節）機能の試験時において撮影された画像や、報道現場において撮影された画像など、多数の画像を対象にピントが合っていない画像（ぼけ画像）とピントが合っている画像とを区別したい場合に好適である。 <Evaluation of image (judgment of image blur)>
The computing unit 104 a of the control device 104 determines whether or not the image of the photographed image recorded on the memory card in the memory card slot 105 is blurred. Because the blur state of each image is automatically evaluated, for example, a large number of images such as an image captured at the time of testing of the AF (automatic focus adjustment) function of the camera 100, an image captured at a news report site, etc. This is suitable when it is desired to distinguish between an out-of-focus image (blurred image) and an in-focus image.

演算部１０４ａは、例えばユーザーによる操作によって指定されたメモリカードのフォルダ内に記録されている画像のぼけ状態を順番に評価する。図２は、演算部１０４ａが実行する画像評価プログラムの処理の流れを説明するフローチャートである。図２に示す処理は、処理開始を指示する操作信号が操作部材１０１から入力されると起動するプログラムとして、演算部１０４ａによって実行される。 For example, the operation unit 104a sequentially evaluates the blurred state of the image recorded in the folder of the memory card designated by the user's operation. FIG. 2 is a flow chart for explaining the flow of processing of the image evaluation program executed by the calculation unit 104a. The processing illustrated in FIG. 2 is executed by the operation unit 104a as a program that is activated when an operation signal instructing the start of processing is input from the operation member 101.

＜フローチャートの説明＞
図２のステップＳ００１において、演算部１０４ａは、評価対象の画像フォルダを読み込んでステップＳ００２へ進む。ステップＳ００２において、演算部１０４ａは、評価対象の画像ファイルを読み込んでステップＳ００３へ進む。 <Description of flowchart>
In step S001 in FIG. 2, the computing unit 104a reads an image folder to be evaluated, and proceeds to step S002. In step S002, the operation unit 104a reads the image file to be evaluated, and the process proceeds to step S003.

ステップＳ００３において、演算部１０４ａは、図３に示すように、評価対象の画像１について、所定エリア（例えばＡＦエリア）１０を示す情報を読み込んでステップＳ００４へ進む。本実施形態では、画像１のうちＡＦエリア１０において画像のぼけ状態を評価する。ＡＦエリア１０は、撮影時の自動焦点調節において焦点調節状態を検出したエリアである。画像１におけるＡＦエリア１０の位置を示す情報は、画像ファイル内にExif(登録商標)情報として記録されている。 In step S003, as shown in FIG. 3, the calculation unit 104a reads information indicating a predetermined area (for example, an AF area) 10 for the image 1 to be evaluated, and proceeds to step S004. In the present embodiment, the blur state of the image in the AF area 10 of the image 1 is evaluated. The AF area 10 is an area in which a focusing state is detected in automatic focusing at the time of shooting. Information indicating the position of the AF area 10 in the image 1 is recorded as Exif (registered trademark) information in the image file.

ステップＳ００４において、演算部１０４ａは、評価対象の画像１の本画像データのうちＡＦエリア１０に対応するデータから、図４に示すように、エッジ画素（画像のエッジを構成する画素）２０に対応するデータを検出してステップＳ００５へ進む。演算部１０４ａは、エッジ画素２０に対応するデータを検出するために、ＡＦエリア１０内の画像データに対していわゆるCanny Edge Detectorを適用する。フィルタ処理により、エッジ画素（画像における物体（被写体）の境界を示す連続する曲線を構成する画素）２０のデータが検出される。上記Canny Edge Detectorの他に、Sobel filter またはPrewitt filterを用いてもよい。 In step S 004, the operation unit 104 a corresponds to edge pixels (pixels forming the edge of the image) 20 as shown in FIG. 4 from data corresponding to the AF area 10 in the main image data of the image 1 to be evaluated. The data to be detected is detected, and the process proceeds to step S005. The calculation unit 104 a applies a so-called Canny Edge Detector to the image data in the AF area 10 in order to detect data corresponding to the edge pixel 20. Data of edge pixels (pixels forming a continuous curve indicating the boundary of an object (object) in an image) 20 is detected by the filtering process. In addition to the Canny Edge Detector, a Sobel filter or a Prewitt filter may be used.

ステップＳ００５において、演算部１０４ａは、図５(a)に示すように、ＡＦエリア１０を所定数に分割（例えば水平３×垂直３＝９分割）し、分割領域ごとに、エッジ画素の強度平均値（以下、エッジ強度平均という）を算出する。ステップＳ００４でCanny Edge Detector を使用した場合、エッジ画素データの検出結果は二値で与えられる。そのため、エッジ強度平均を算出するには、別途エッジ強度画像を作成する必要がある。そこで、演算部１０４ａは以下の手順でエッジ強度画像を作成する。なお、分割数は９より多くても少なくてもよい。 In step S005, as shown in FIG. 5A, the computing unit 104a divides the AF area 10 into a predetermined number (for example, 3 horizontal × 3 vertical 9 = 9 divisions), and the intensity average of edge pixels is divided for each divided area. A value (hereinafter, referred to as an edge intensity average) is calculated. When the Canny Edge Detector is used in step S 004, the detection result of the edge pixel data is given by two values. Therefore, in order to calculate the edge strength average, it is necessary to create an edge strength image separately. Therefore, the calculation unit 104a creates an edge strength image in the following procedure. The number of divisions may be more or less than nine.

１．輝度画像Ｙ変換
演算部１０４ａは、評価対象の画像１がＲＧＢ表色系で表されている場合、次式（１）を用いて輝度成分からなる輝度画像Ｙへ変換する。
Ｙ＝0.2990Ｒ＋0.5870Ｇ＋0.1140Ｂ …（１）
なお、次式（２）を用いて輝度画像Ｙへ変換してもよい。
Ｙ＝0.25Ｒ＋0.50Ｇ＋0.25Ｂ …（２） 1. When the image 1 to be evaluated is represented by the RGB color system, the luminance image Y conversion operation unit 104a converts the image 1 into a luminance image Y including luminance components using the following expression (1).
Y = 0.2990 R + 0.5 870 G + 0.1 140 B (1)
The luminance image Y may be converted using the following expression (2).
Y = 0.25R + 0.50G + 0.25B (2)

２．エッジ強度画像Ｅの算出
演算部１０４ａは、輝度画像Ｙに、例えばウィンドウサイズ：５×５、σ_x：１．２５、σ_y：１．２５のGaussian フィルタを適用し、平滑化輝度画像(SmoothＹ)を作成する。そして、次式（３）によりエッジ強度画像Ｅ(Edge Intensity Image)を得る。
Ｅ(Edge Intensity Image)＝｜Ｙ−smoothＹ｜ …（３）
ただし、Ｙは輝度画像であり、smoothＹは平滑化輝度画像である。エッジ強度画像Ｅは、ある周波数より高い周波数成分における輝度分布を表す。 2. Calculation of Edge Strength Image E The calculator 104 a applies, for example, a Gaussian filter of window size: 5 × 5, σ _x : 1.25, σ _y : 1.25 to the luminance image Y to obtain a smoothed luminance image (Smooth Y). Create). Then, an edge intensity image E (Edge Intensity Image) is obtained by the following equation (3).
E (Edge Intensity Image) = | Y-smooth Y | (3)
However, Y is a luminance image and smooth Y is a smoothed luminance image. The edge intensity image E represents the luminance distribution at frequency components higher than a certain frequency.

演算部１０４ａは、以上のように作成したエッジ強度画像Ｅについて、ステップＳ００４で検出したエッジ画素に対応する位置のデータを読み出し、読み出したエッジ強度画像Ｅのデータの平均値を算出することによってエッジ強度平均値を計算する。なお、輝度画像Ｙの代わりに入力画像のＧ面（Ｇ色成分による画像）を用いてエッジ強度画像を作成するようにしても良い。 The calculation unit 104a reads the data of the position corresponding to the edge pixel detected in step S004 for the edge strength image E created as described above, and calculates the average value of the read data of the edge strength image E Calculate the intensity average value. Note that the edge strength image may be created using the G plane (image by the G color component) of the input image instead of the luminance image Y.

ステップＳ００６において、演算部１０４ａは、ＡＦエリア１０を分割した領域のうち、ステップＳ００４で検出されたエッジ画素に対応するデータ数が判定閾値α（例えば１００）に満たない領域を判定対象から除外してステップＳ００７へ進む。除外する理由は、エッジ画素のデータ数が判定閾値αに満たない領域は背景の可能性が高く、また、エッジ強度平均の値がノイズの影響を受けやすいためである。図５(b)の例では、かっこ内に表示したエッジ画素のデータ数が１００に満たない２つの領域（左端の３領域のうち１番上の領域３１と２段目の領域３２）を除外する。 In step S006, the operation unit 104a excludes, from among the determination targets, a region in which the number of data corresponding to the edge pixel detected in step S004 does not satisfy the determination threshold α (for example, 100) among the regions obtained by dividing the AF area 10. Then, the process proceeds to step S007. The reason for exclusion is that the region where the number of edge pixel data is less than the determination threshold α is likely to be the background, and the value of the edge intensity average is susceptible to noise. In the example of FIG. 5B, two regions (the first region 31 and the second region 32 out of the three regions at the left end) of the two regions where the number of edge pixel data displayed in parentheses is less than 100 are excluded. Do.

ステップＳ００７において、演算部１０４ａは、ＡＦエリア１０を分割した領域のうち、ステップＳ００５で算出したエッジ強度平均の値が最大となる領域のエッジ強度平均を特徴量としてステップＳ００８へ進む。図５(b)の例では、中央１番下の領域３０でエッジ強度平均の値が最大となる。 In step S007, the operation unit 104a proceeds to step S008 with the edge intensity average of the region where the value of the edge intensity average calculated in step S005 is the largest among the regions obtained by dividing the AF area 10 as a feature amount. In the example of FIG. 5 (b), the value of the edge intensity average is maximum in the area 30 below the center bottom.

ステップＳ００８において、演算部１０４ａは、上記特徴量が判定閾値β（例えば８０）に満たない場合、その分割領域において画像にぼけが含まれることから、評価対象の画像１をぼけ画像と判定してステップＳ００９へ進む。ステップＳ００９において、演算部１０４ａは、”ぼけ画像と判定した画像”は低い評価、”ぼけ画像と判定しなかった画像”は高い評価、となるようにレーティング情報を画像に付加してステップＳ０１０へ進む。演算部１０４ａは、特徴量の大小に基づいて画像間に序列を与える。 In step S 008, when the feature amount does not satisfy the determination threshold β (for example, 80), the calculation unit 104 a determines that the evaluation target image 1 is a blurred image because the image includes blur in the divided region. The process proceeds to step S009. In step S 009, the operation unit 104 a adds rating information to the image such that “image determined to be a blurred image” has a low evaluation, and “image not determined to be a blurred image” is a high evaluation, and the process proceeds to step S 010. move on. The operation unit 104a gives an order between the images based on the magnitude of the feature amount.

ステップＳ０１０において、演算部１０４ａは、ステップＳ００１で読み込んだ画像フォルダ内の全ての画像１に対してぼけ判定を終了したか否かを判定する。演算部１０４ａは、全ての画像１に対して判定処理を終了した場合にステップＳ０１０を肯定判定して図２による処理を終了する。演算部１０４ａは、全ての画像１に対して判定処理を終了していない場合には、ステップＳ０１０を否定判定してステップＳ００２へ戻る。ステップＳ００２へ戻る場合は、画像フォルダ内の他の画像１を対象に上述した処理を繰り返す。 In step S010, the computing unit 104a determines whether or not the blur determination has been completed for all the images 1 in the image folder read in step S001. The arithmetic operation unit 104a makes an affirmative determination in step S010 when the determination process is completed for all the images 1, and ends the process in FIG. In the case where the determination processing has not been completed for all the images 1, the operation unit 104 a makes a negative determination in step S <b> 010 and returns to step S 002. When returning to step S002, the above-described processing is repeated for another image 1 in the image folder.

上述した実施の形態によれば、次の作用効果が得られる。
（１）カメラ１００は、画像１のＡＦエリア１０において物体の境界を表すエッジ画素のデータを検出する演算部１０４ａと、演算部１０４ａにより検出されたエッジ画素のデータに基づいて画像１のぼけ状態を判定する演算部１０４ａと、を備えるので、画像１のぼけ状態を適切に評価できる。例えば、主要被写体でない背景にピントが合っている場合にも適切に判定し得る。 According to the embodiment described above, the following effects can be obtained.
(1) The camera 100 detects the edge pixel data representing the boundary of the object in the AF area 10 of the image 1, and the blurred state of the image 1 based on the edge pixel data detected by the operation unit 104a. And the blur state of the image 1 can be appropriately evaluated. For example, the determination can also be made appropriately even when the background that is not the main subject is in focus.

（２）演算部１０４ａは、画像１のＡＦエリア１０を９分割した分割領域ごとに検出を行い、演算部１０４ａは、分割領域ごとに検出されたエッジ画素のデータに基づいて画像のぼけ状態を判定するので、ＡＦエリア１０の中で一部を占める主要被写体について、主要被写体領域と背景領域とを分離して、画像のぼけ状態を適切に判定し得る。 (2) The operation unit 104a detects each divided area obtained by dividing the AF area 10 of the image 1 into nine areas, and the operation unit 104a detects the blurred state of the image based on the data of edge pixels detected for each divided area. Since the determination is made, with regard to the main subject that occupies a part of the AF area 10, the main subject area and the background area can be separated to appropriately determine the blur state of the image.

（３）演算部１０４ａは、分割領域ごとに、画像１の輝度分布を表すエッジ強度画像Ｅを算出し、エッジ強度画像Ｅのうちエッジ画素に対応するデータの平均値をエッジ画素のデータとして算出し、この平均値に基づいて画像のぼけ状態を判定するので、画像のぼけ状態を適切に評価できる。 (3) The calculation unit 104a calculates an edge intensity image E representing the luminance distribution of the image 1 for each divided area, and calculates an average value of data corresponding to edge pixels in the edge intensity image E as data of edge pixels Since the blur state of the image is determined based on this average value, the blur state of the image can be appropriately evaluated.

（４）演算部１０４ａは、分割領域のうち、エッジ強度画像Ｅの中でエッジ画素に対応するデータ数が判定閾値α以下となる分割領域３１、３２を、ぼけ状態の判定対象から除くようにしたので、背景の可能性が高いデータが除外され、画像１のぼけ状態を適切に評価できる。 (4) The operation unit 104a excludes the divided areas 31 and 32 in which the number of data corresponding to edge pixels in the edge intensity image E is equal to or smaller than the determination threshold α in the divided areas from the determination target of the blur state. Therefore, the data with high possibility of the background is excluded, and the blur state of the image 1 can be appropriately evaluated.

（５）演算部１０４ａは、分割領域のうち、平均値の最大値が判定閾値β以下となる分割領域に像ぼけありと判定するので、画像１のぼけ状態を適切に評価できる。 (5) The computing unit 104a determines that there is image blurring in the divided area where the maximum value of the average value is equal to or less than the determination threshold β among the divided areas, so that the blurred state of the image 1 can be appropriately evaluated.

（６）演算部１０４ａは、平均値の大小に応じてぼけ状態に関して画像１の優劣を表すレーティング情報を画像１に付する（序列をつける）ようにした。これにより、一度画像のぼけ状態を判定すると、以降はレーティング情報を参照することによって画像１のぼけ状態を知ることが可能になる。 (6) The calculating unit 104a adds (orders) rating information representing the superiority or inferiority of the image 1 with respect to the blurred state according to the magnitude of the average value. Thus, once the blurred state of the image is determined, it becomes possible to know the blurred state of the image 1 by referring to the rating information thereafter.

（７）画像１のうち、当該画像１の撮影時において焦点調節状態の検出に用いられたＡＦエリア１０においてエッジ画素のデータを検出するようにしたので、主要被写体が存在する可能性の高い領域を用いて、画像１のぼけ状態を適切に評価できる。 (7) Since the data of edge pixels is detected in the AF area 10 used to detect the focus adjustment state at the time of shooting the image 1 in the image 1, the area where the main subject is highly likely to exist The blur state of the image 1 can be appropriately evaluated using

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。 The following modifications are also within the scope of the present invention, and one or more of the modifications can be combined with the above-described embodiment.

（変形例１）
上述した実施形態では、画像１のうちＡＦエリア１０において画像１のぼけ状態を評価する例を説明した。ＡＦエリア１０においてぼけ評価を行う代わりに、被写体マスク領域において画像のぼけ評価を行うようにしてもよい。
（１−１）主要被写体抽出手法で被写体マスクを取得し、この被写体マスク領域でエッジ画素を検出する。そして、被写体マスク領域のエッジ画素のエッジ強度代表値（例えば平均値）でぼけ判定を行う。被写体マスク領域においてぼけ判定を行う場合は、被写体マスク領域に対する分割は行わない。この理由は、被写体マスク領域は被写体そのものの領域であり、背景を含まないからである。このため、ＡＦエリア１０の場合と異なり、ぼけ判定対象から除外すべき背景領域が存在しないので、領域分割の必要性が乏しい。 (Modification 1)
In the embodiment described above, an example in which the blur state of the image 1 is evaluated in the AF area 10 of the image 1 has been described. Instead of performing the blur evaluation in the AF area 10, the blur evaluation of the image may be performed in the subject mask area.
(1-1) A subject mask is acquired by the main subject extraction method, and edge pixels are detected in the subject mask area. Then, blur determination is performed based on the edge intensity representative value (for example, the average value) of the edge pixels of the subject mask area. When blur determination is performed in the subject mask area, division into the subject mask area is not performed. The reason is that the subject mask area is an area of the subject itself and does not include the background. For this reason, unlike the case of the AF area 10, there is no background area to be excluded from the blur determination target, so the necessity of area division is scarce.

（１−２）上記主要被写体抽出手法で取得した被写体マスク領域で、エッジ画素の代わりに被写体マスクの輪郭画素を検出してもよい。そして、被写体マスク領域の被写体マスク輪郭画素のエッジ強度代表値でボケ判定を行う。（１−２）の場合も、上記（１−１）と同様に被写体マスク領域に対する分割を行わない。 (1-2) Contour pixels of the subject mask may be detected instead of edge pixels in the subject mask area acquired by the above-described main subject extraction method. Then, blur determination is performed using the edge intensity representative value of the subject mask contour pixel in the subject mask area. Also in the case of (1-2), the division to the subject mask area is not performed as in the above (1-1).

（１−３）上記（１−１）で取得した被写体マスク領域のエッジ画素のエッジ強度代表値と、上記（１−２）で取得した被写体マスク領域の被写体マスク輪郭画素のエッジ強度代表値と、に基づいて論理積を算出し、この論理積を特徴量にしてぼけ判定を行ってもよい。なお、被写体マスク領域に対する分割は行わない。 (1-3) Edge strength representative values of edge pixels of the subject mask area obtained in (1-1) above and edge strength representative values of subject mask contour pixels in the subject mask area obtained in (1-2) above The logical product may be calculated on the basis of ,, and the logical product may be used as a feature quantity to perform blur determination. Note that division into the subject mask area is not performed.

（変形例２）
画像１から検出した顔領域において画像のぼけ状態を評価するようにしてもよい。演算部１０４ａは、公知の顔検出処理によって顔領域を検出し、この顔領域でエッジ画素を検出する。そして、顔領域のエッジ画素のエッジ強度代表値（例えば平均値）でぼけ判定を行う。変形例２の場合、顔領域に対する分割を行わない。 (Modification 2)
The blurred state of the image may be evaluated in the face area detected from the image 1. The arithmetic unit 104a detects a face area by known face detection processing, and detects edge pixels in this face area. Then, blur determination is performed using edge intensity representative values (for example, average values) of edge pixels in the face area. In the case of the second modification, the face area is not divided.

（変形例３）
以上の説明では、分割領域ごとにエッジ画素の平均値を算出する例を説明した。分割領域を代表するエッジ画素の平均値を算出する代わりに、分割領域ごとのエッジ画素の中央値を算出したり、あるいは分割領域ごとのエッジ画素の最頻値を算出したりして、これら中央値あるいは最頻値を分割領域におけるエッジ画素の代表値として採用してもよい。 (Modification 3)
In the above description, an example in which the average value of edge pixels is calculated for each divided area has been described. Instead of calculating the average value of edge pixels representing divided areas, the central value of edge pixels in each divided area may be calculated, or the mode value of edge pixels in each divided area may be calculated. The value or mode may be adopted as a representative value of edge pixels in the divided area.

（変形例４）
例えば、上述した画像評価プログラムを図６に示すコンピュータ装置に実行させることにより、像ぼけの状態を評価する画像評価装置を提供する。プログラムをコンピュータ装置２００に取込む場合には、コンピュータ装置２００のデータストレージ装置にプログラムをローディングした上で当該プログラムを実行させることにより、像ぼけの状態を評価する画像評価装置として使用する。 (Modification 4)
For example, by causing the computer device shown in FIG. 6 to execute the image evaluation program described above, an image evaluation device for evaluating the state of image blur is provided. When the program is loaded into the computer 200, the program is loaded into the data storage device of the computer 200 and then executed to be used as an image evaluation device for evaluating the state of image blur.

プログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体２０４をコンピュータ装置２００にセットして行ってもよいし、ネットワークなどの通信回線２０１を経由する方法でコンピュータ装置２００へローディングしてもよい。ネットワーク２０１を経由する場合は、ネットワーク２０１に接続されたサーバコンピュータ２０２のハードディスク装置２０３などにプログラムを格納しておく。このように、プログラムは記録媒体２０４や通信回線２０１を介する提供などの種々の形態のコンピュータプログラム製品として供給される。 The loading of the program may be performed by setting the recording medium 204 such as a CD-ROM storing the program in the computer device 200 or loading the computer device 200 by a method via the communication line 201 such as a network. Good. In the case of passing through the network 201, the program is stored in the hard disk drive 203 or the like of the server computer 202 connected to the network 201. Thus, the program is supplied as computer program products of various forms such as provision via the recording medium 204 and the communication line 201.

なお、コンピュータ装置２００は、タブレットパソコンであってもよい。また、コンピュータ装置２００の代わりにフォトビューワを用いても構わない。 The computer device 200 may be a tablet personal computer. Also, a photo viewer may be used instead of the computer device 200.

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。 Although various embodiments and modifications have been described above, the present invention is not limited to these contents. Other embodiments considered within the scope of the technical idea of the present invention are also included within the scope of the present invention.

１０…ＡＦエリア
３０〜３２…分割領域
１００…カメラ
１０１…操作部材
１０３…撮像素子
１０４…制御装置
１０４ａ…演算部
Ｅ…エッジ強度画像
Ｙ…輝度画像 DESCRIPTION OF SYMBOLS 10 AF area 30-32 Division area | region 100 ... Camera 101 ... Operation member 103 ... Imaging device 104 ... Control apparatus 104a ... Calculation part E ... Edge intensity image Y ... Luminance image

Claims

An edge detection unit that detects data of edge pixels representing the boundary of an object in a predetermined area of an image;
A determination unit that determines a blur state of the image based on data of the edge pixel detected by the edge detection unit;
An image evaluation apparatus comprising: