JP2009151396A - Image evaluation device - Google Patents

Image evaluation device Download PDF

Info

Publication number
JP2009151396A
JP2009151396A JP2007326620A JP2007326620A JP2009151396A JP 2009151396 A JP2009151396 A JP 2009151396A JP 2007326620 A JP2007326620 A JP 2007326620A JP 2007326620 A JP2007326620 A JP 2007326620A JP 2009151396 A JP2009151396 A JP 2009151396A
Authority
JP
Japan
Prior art keywords
image
exposure
evaluation
determination
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007326620A
Other languages
Japanese (ja)
Inventor
Ryota Kawachi
亮太 河内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Systems Inc
Original Assignee
Nikon Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Systems Inc filed Critical Nikon Systems Inc
Priority to JP2007326620A priority Critical patent/JP2009151396A/en
Publication of JP2009151396A publication Critical patent/JP2009151396A/en
Pending legal-status Critical Current

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image evaluation device for performing exposure decision without noticing circumstances where an image has been photographed, and for satisfactorily detecting an exposure defective image corresponding to various exposure defective circumstances. <P>SOLUTION: This image evaluation system 12 is configured of an image information storage part 13 for storing an evaluation object image and the attribute information of the evaluation object image by associating those images; and an image evaluation part 14 for selecting an evaluation object image 100 from the image information storage part 13, and for performing exposure decision to the evaluation object image 100. This image evaluation part 14 extracts at least two or more regions from the evaluation object image 100, and generates an edge image for every region, and selects the region whose edge components to be calculated from the edge region are the highest as a decision region, and performs exposure decision based on the edge components of the decision region. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、画像評価装置に関する。   The present invention relates to an image evaluation apparatus.

デジタルカメラ等を中心とする画像等の撮像装置に、測光センサを搭載した上で、この測光センサで測定されたセンサ情報を基に露出状態を判定し、撮影対象画像の照度情報をセンシングし、撮影画像が適正な露出を得られるよう撮影パラメータを調整し、画像を撮像する撮像装置が各種提案されている。また、これらの測光センサを用いた露出判定手法の他に、既に撮影された画像に対して後処理にて、Exif情報などの画像情報を読み込み、この画像情報のみを用いて露出判定を行う手法も提案されている(例えば、特許文献1〜3参照)。
特開2000−134467号公報 特開2006−135587号公報 特開2002−247361号公報
After mounting a photometric sensor on an imaging device such as an image centered on a digital camera etc., the exposure state is determined based on the sensor information measured by the photometric sensor, and the illuminance information of the image to be captured is sensed. Various imaging devices have been proposed in which imaging parameters are adjusted so that a captured image can obtain an appropriate exposure and an image is captured. In addition to the exposure determination method using these photometric sensors, image information such as Exif information is read in post-processing on an already captured image, and exposure determination is performed using only this image information. Has also been proposed (see, for example, Patent Documents 1 to 3).
JP 2000-134467 A JP 2006-135587 A JP 2002-247361 A

しかしながら、このような従来方法のうち、測光センサのセンサ情報を基にした露出判定手法は、撮影後の画像に対する後処理において露出判定をすることを考えた際、すべての画像に対し、有益なセンサ情報(測光情報)が記録されているとは限らず、その適応範囲は測光センサを搭載したカメラ内で露出判定処理を行うケースに限定されている。一方、画像情報のみを用いた露出判定手法のうち、特許文献1に記載された手法は、単純に画像の輝度ヒストグラムの形状により露出の良、不良を判定するものであり、発明者が追実験を行った結果、誤判定が多いという課題があった。   However, among such conventional methods, the exposure determination method based on the sensor information of the photometric sensor is useful for all images when considering exposure determination in post-processing for images after shooting. Sensor information (photometric information) is not always recorded, and its adaptive range is limited to cases where exposure determination processing is performed within a camera equipped with a photometric sensor. On the other hand, among the exposure determination methods using only image information, the method described in Patent Document 1 simply determines whether the exposure is good or bad based on the shape of the luminance histogram of the image. As a result, there was a problem that many misjudgments were made.

このような誤判定を少なくするために、特許文献2に記載された手法では、露出判定者(以下、ユーザと呼ぶ)に露出不良検出を行う領域(以下、露出判定領域と呼ぶ)を手動で選択させる方式を取った上で、この露出判定領域における露出輝度ヒストグラムの形状を基に、露出判定を行っている。しかし、この手法では、ユーザによる露出判定領域の指定という手間を取らせるため、大量の画像に対してこれらの処理を行うには非効率的であるという課題があった。また、特許文献3に記載された手法では、撮影された画像が逆光若しくは夜間撮影であるかを判定した上で画像の露出判定を行っている。このように逆光若しくは夜間での状況下において機能する手法であるため、晴天、曇天、夕景等における撮影では、露出が全体的にアンダー又はオーバーとなってしまった場合、カメラに搭載された露出判定システムが誤判定を生じることがあり、露出判定システムが有効に機能しないという課題があった。   In order to reduce such misjudgments, in the technique described in Patent Document 2, an area for exposure failure detection (hereinafter referred to as an exposure determination area) is manually set for an exposure determiner (hereinafter referred to as a user). After taking the selection method, exposure determination is performed based on the shape of the exposure luminance histogram in the exposure determination area. However, with this method, there is a problem that it is inefficient to perform these processes on a large number of images because it takes time and effort for the user to specify the exposure determination area. In the technique described in Patent Document 3, the exposure of an image is determined after determining whether the captured image is backlit or nighttime. Since this is a method that works under backlighting or nighttime conditions, when shooting in clear sky, cloudy weather, sunset scenes, etc., when the overall exposure is under or over, the exposure determination installed in the camera There is a problem that the system may make a false determination, and the exposure determination system does not function effectively.

本発明はこのような課題に鑑みてなされたものであり、画像情報のみを利用して露出の良、不良を判定する場合、画像が撮影された状況を意識することなく露出判定を行うことができ、多様な露出不良状況に対応した露出不良画像の検出を良好に行うことが可能な画像評価装置を提供することを目的とする。   The present invention has been made in view of such problems, and when determining whether exposure is good or bad by using only image information, it is possible to perform exposure determination without being aware of the situation in which the image was captured. An object of the present invention is to provide an image evaluation apparatus that can detect a poorly exposed image corresponding to various poorly exposed situations.

前記課題を解決するために、本発明に係る画像評価装置は、評価対象画像及び当該評価対象画像の属性情報を対応付けて記憶する画像情報記憶部と、この画像情報記憶部から評価対象画像を選択し、当該評価対象画像に対して露出良又は露出不良の露出判定を行う画像評価部とを有して構成される。そして、画像評価部は、評価対象画像を複数の領域に分割し、当該分割された複数の領域の中から少なくとも2以上の領域を抽出した後、各領域毎にエッジ画像を生成し、当該エッジ画像から算出されるエッジ成分の最も高い領域を判定領域に選定し、当該判定領域のエッジ成分を基に露出判定を行うよう構成される。   In order to solve the above problems, an image evaluation apparatus according to the present invention includes an image information storage unit that stores an evaluation target image and attribute information of the evaluation target image in association with each other, and an evaluation target image from the image information storage unit. And an image evaluation unit that selects and determines whether the evaluation target image is good or poorly exposed. The image evaluation unit divides the evaluation target image into a plurality of regions, extracts at least two or more regions from the divided regions, generates an edge image for each region, and generates the edge A region having the highest edge component calculated from the image is selected as a determination region, and exposure determination is performed based on the edge component of the determination region.

このような本発明に係る画像評価装置において、画像評価部は、分割された複数の領域のうち、評価対象画像の中央付近を含む領域を、少なくとも2以上抽出するように構成されることが好ましい。   In such an image evaluation apparatus according to the present invention, it is preferable that the image evaluation unit is configured to extract at least two or more regions including the vicinity of the center of the evaluation target image among the plurality of divided regions. .

また、本発明に係る画像評価装置において、画像評価部は、評価対象画像に対して顔検出処理を行い、分割された複数の領域のうち、当該顔検出処理により顔が検出された領域を含む領域を、少なくとも2以上抽出するよう構成されることが好ましい。   In the image evaluation device according to the present invention, the image evaluation unit performs face detection processing on the evaluation target image, and includes a region where the face is detected by the face detection processing among the plurality of divided regions. It is preferable that at least two or more regions are extracted.

更に、本発明に係る画像評価装置において、画像評価部は、評価対象画像から選定した判定領域のエッジ成分の値が、閾値以上である場合は、当該評価対象画像を露出良画像と判定し、閾値未満である場合は、当該評価対象画像を露出不良画像と判定するよう構成されることが好ましい。   Furthermore, in the image evaluation apparatus according to the present invention, the image evaluation unit determines that the evaluation target image is a good exposure image when the value of the edge component of the determination region selected from the evaluation target image is equal to or greater than a threshold value. When it is less than the threshold value, the evaluation target image is preferably determined to be a poorly exposed image.

また、この場合、画像評価部は、評価対象画像が露出不良画像と判定された場合に、判定領域を更に小領域に分割し、小領域毎に求められたエッジ画像から算出されるエッジ成分を基に、小領域毎に露出判定を行い、露出不良領域と判定された小領域の数が閾値を超える場合は、当該評価対象画像を露出不良画像と判定し、露出不良領域と判定された小領域の数が閾値以下の場合は、当該評価対象画像を露出良画像と判定するよう構成されることが好ましい。   In this case, the image evaluation unit further divides the determination area into small areas when the evaluation target image is determined to be a poorly exposed image, and calculates an edge component calculated from the edge image obtained for each small area. On the basis of the exposure determination for each small area, if the number of small areas determined as the poorly exposed area exceeds the threshold, the evaluation target image is determined as the poorly exposed image, and the small area determined as the poorly exposed area is determined. When the number of regions is equal to or less than the threshold value, it is preferable that the evaluation target image is determined to be a good exposure image.

更に、この場合、画像評価部は、小領域毎の露出判定を行う際に、、当該小領域の各画素(m,n)において、赤成分の強度をR(m,n)とし、緑成分の強度をG(m,n)とし、青成分の強度をB(m,n)とし、各画素において最も大きい成分の値Vmax(m,n)、最も小さい成分の値Vmin(m,n)及びその差分S(m,n)を次式
但し、m,nは当該小領域における画素のx,y座標値を表す
で定義し、当該Vmax(m,n)、Vmin(m,n)、及びS(m,n)に基づいて露出判定を行うように構成されることが好ましい。
Furthermore, in this case, when the exposure evaluation for each small region is performed, the image evaluation unit sets the intensity of the red component to R (m, n) in each pixel (m, n) of the small region, and the green component. Is G (m, n), the intensity of the blue component is B (m, n), the largest component value V max (m, n) and the smallest component value V min (m, n) in each pixel. n) and its difference S (m, n)
However, m and n are defined by representing the x and y coordinate values of the pixels in the small region, and are based on the V max (m, n), V min (m, n), and S (m, n). It is preferable to be configured to perform exposure determination.

また、画像評価部は、この小領域毎の露出判定を行う際に、更に、当該小領域の各画素(m,n)において、赤成分を中心とした彩度S_red(m,n)、緑成分を中心とした彩度S_green(m,n)、青成分を中心とした彩度をS_blue(m,n)を次式
但し、m,nは当該小領域における画素ののx,y座標値を表す
で定義し、前記Vmax(m,n)、Vmin(m,n)、及びS(m,n)、並びに、当該S_red、S_green、及びS_blueに基づいて露出判定を行うように構成されることが好ましい。
Further, when the image evaluation unit performs the exposure determination for each small region, the saturation S_red (m, n) centered on the red component and green in each pixel (m, n) of the small region. Saturation S_green (m, n) centered on the component and S_blue (m, n) saturation on the blue component
Here, m and n are defined by representing the x and y coordinate values of the pixels in the small region, and V max (m, n), V min (m, n), and S (m, n), and The exposure determination is preferably performed based on the S_red, S_green, and S_blue.

また、この場合、この小領域が、判定領域を、複数個に略等分して得られたものであることが好ましい。   In this case, the small region is preferably obtained by dividing the determination region into a plurality of substantially equal parts.

更に、この場合、画像評価部は、各小領域に対して顔検出処理を行い、当該顔検出処理により顔が検出された小領域に対する露出判定の結果に基づいて、露出良領域の総数又は露出不良領域の総数を加算する際に、顔が検出された小領域に対して設定された重み係数を乗算した数を加算するよう構成されることが好ましい。   Furthermore, in this case, the image evaluation unit performs face detection processing for each small region, and based on the result of exposure determination for the small region where the face is detected by the face detection processing, the total number of exposure good regions or exposure When adding the total number of defective areas, it is preferable to add a number obtained by multiplying a set weighting factor for a small area where a face is detected.

また、本発明の画像評価装置は、画像評価部による露出判定の結果を、評価対象画像の属性情報に露出判定値として設定し、画像情報記憶部に記憶する判定結果設定部を有することが好ましい。   The image evaluation apparatus of the present invention preferably includes a determination result setting unit that sets the result of exposure determination by the image evaluation unit as an exposure determination value in the attribute information of the evaluation target image and stores it in the image information storage unit. .

本発明に係る画像評価装置を以上のように構成すると、画像情報のみを利用して露出の良不良を判定する場合、画像が撮影された状況を意識することなく露出判定を行うことができ、多様な露出不良状況に対応した露出不良画像の検出を良好に行うことが可能となる。   When the image evaluation apparatus according to the present invention is configured as described above, when determining whether exposure is good or bad by using only image information, it is possible to perform exposure determination without being aware of the situation in which the image is captured, It is possible to satisfactorily detect a poorly exposed image corresponding to various poorly exposed situations.

以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図1及び図2を用いて本実施例に係る画像評価装置(画像評価システム12)の構成について説明する。なお、本実施例においては、この画像評価システム12を、撮像部11を有するデジタルカメラ10に適用した場合について説明する。図1に示すように、このデジタルカメラ10は、表示再生装置であるディスプレイ20とビデオ出力線30を介して接続されている。そして、撮像部11で撮影されたデジタル画像100が、ディスプレイ20の画面G1に表示される。また、この画面G1には、本実施例に係る画像評価システム12で得られたデジタル画像100の露出判定結果を表示するよう構成してもよい。   Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. First, the configuration of the image evaluation apparatus (image evaluation system 12) according to the present embodiment will be described with reference to FIGS. In the present embodiment, a case where the image evaluation system 12 is applied to a digital camera 10 having an imaging unit 11 will be described. As shown in FIG. 1, the digital camera 10 is connected to a display 20 that is a display / playback device via a video output line 30. And the digital image 100 image | photographed with the imaging part 11 is displayed on the screen G1 of the display 20. FIG. Moreover, you may comprise on this screen G1 so that the exposure determination result of the digital image 100 obtained with the image evaluation system 12 concerning a present Example may be displayed.

図2に示すように、デジタルカメラ10は、撮像部11と、この撮像部11で撮像されたデジタル画像の露出判定を行う画像評価システム12と、デジタル画像をディスプレイ20に出力するビデオ出力部16とから構成される。また、画像評価システム12は、撮像部11で撮影されたデジタル画像(評価対象画像100)及びその属性情報が対応付けられて記憶される画像情報記憶部13と、この画像情報記憶部13から評価対象画像100を選択し、当該評価対象画像100に対して画像情報を基に露出判定を行う画像評価部14と、この判定の結果を画像情報記憶部13に記憶する判定結果設定部15とから構成される。なお、このデジタルカメラ10において、撮像部11は光学系と撮像素子とを有して構成され、光学系により撮像素子の撮像面に結像された像を検出してデジタル画像とし、このデジタル画像と撮影日時等の属性情報を、画像情報記憶部13に保存記録するように構成されている。   As illustrated in FIG. 2, the digital camera 10 includes an imaging unit 11, an image evaluation system 12 that performs exposure determination of a digital image captured by the imaging unit 11, and a video output unit 16 that outputs the digital image to a display 20. It consists of. The image evaluation system 12 also includes an image information storage unit 13 in which a digital image (evaluation target image 100) captured by the imaging unit 11 and its attribute information are stored in association with each other, and an evaluation from the image information storage unit 13. From the image evaluation unit 14 that selects the target image 100 and performs exposure determination on the evaluation target image 100 based on the image information, and the determination result setting unit 15 that stores the determination result in the image information storage unit 13 Composed. In the digital camera 10, the image pickup unit 11 includes an optical system and an image pickup device, and detects an image formed on the image pickup surface of the image pickup device by the optical system to obtain a digital image. And attribute information such as the shooting date and time are stored and recorded in the image information storage unit 13.

画像記憶部13に記憶されるデジタル画像は、図3に示すデータ構造50を有しており、ヘッダ領域51、属性情報領域52及び画像情報領域53から構成されている。ここで、画像情報領域53は、撮像部11で撮影されたデジタル画像そのものが記憶される部分である。一方、属性情報領域52は、デジタル画像の属性情報が記憶される部分であり、本実施例において画像評価システム12による露出判定結果も記憶される。属性情報領域52は、この露出判定の結果が記憶される露出判定値領域52a、撮影日時が記憶される撮影日時領域52b、AFエリア情報が記憶されるAFエリア情報領域52cなどから構成される。このようなデータ構造としては、JEIDAで規格されたExif(Exchangeable image file format)等が知られている。なお、以降の説明では露出判定結果を文字列(露出良:「good」、露出不良:「bad」)で表現し、露出判定値領域52aに記憶する場合を例にして説明するが、本発明がこの実施例に限定されることはなく、例えば、判定結果の文字列を、数値に変換して露出判定値領域52aに記憶するように構成しても良い。   The digital image stored in the image storage unit 13 has a data structure 50 shown in FIG. 3 and includes a header area 51, an attribute information area 52, and an image information area 53. Here, the image information area 53 is a portion in which the digital image itself captured by the imaging unit 11 is stored. On the other hand, the attribute information area 52 is a portion in which attribute information of a digital image is stored, and in this embodiment, an exposure determination result by the image evaluation system 12 is also stored. The attribute information area 52 includes an exposure determination value area 52a in which the result of exposure determination is stored, a shooting date / time area 52b in which shooting date / time is stored, an AF area information area 52c in which AF area information is stored. As such a data structure, Exif (Exchangeable image file format) standardized by JEIDA is known. In the following description, the exposure determination result is expressed as a character string (exposure good: “good”, exposure failure: “bad”) and stored in the exposure determination value area 52a as an example. However, the present invention is not limited to this embodiment. For example, the character string of the determination result may be converted into a numerical value and stored in the exposure determination value area 52a.

(画像の露出判定及び判定結果の設定)
それでは、図1に示すデジタルカメラの使用例の説明図、図2に示すブロック図、図3に示すデータ構造の説明図、図4、図5に示すフローチャート、並びに図6、図7に示す説明図を用いて、画像評価部14による画像の露出判定処理及び判定結果の設定処理について説明する。これらの処理は、例えば、撮像部11により撮影が行われ、画像情報記憶部13にデジタル画像が登録されたタイミングで起動され、この登録されたデジタル画像に対して処理が実行される。なお、以降の説明では、撮像部11により登録されたこのデジタル画像を「評価対象画像100」と呼ぶ。
(Image exposure judgment and judgment result setting)
Then, an explanatory diagram of an example of use of the digital camera shown in FIG. 1, a block diagram shown in FIG. 2, an explanatory diagram of a data structure shown in FIG. 3, a flowchart shown in FIGS. 4 and 5, and an explanation shown in FIGS. An image exposure determination process and a determination result setting process performed by the image evaluation unit 14 will be described with reference to the drawings. These processes are started, for example, at the timing when the imaging unit 11 captures an image and the digital image is registered in the image information storage unit 13, and the process is executed on the registered digital image. In the following description, this digital image registered by the imaging unit 11 is referred to as “evaluation target image 100”.

露出判定処理が起動されると、図4のフローチャートに示すように、画像評価部14により、まず、画像情報記憶部13から評価対象画像100が読み出される(ステップS10)。そして、読み出された評価対象画像100に対して、露出判定処理が行われる(ステップS20)。次に、判定結果設定部15により、この画像評価部14による露出判定の結果が(本実施例では、後述のように、変数「exposure」に対して、露出良の場合は「good」が、露出不良の場合は「bad」が設定される)、図3に示す画像情報記憶部13の露出判定値領域52aに記憶される(ステップS30)。この露出判定処理及び判定結果の設定処理(ステップS20及びS30)は、撮影された画像が画像情報記憶部13に登録された時点で起動された場合には、その登録された画像に対して行われることにより処理が終了し、何らかの操作により画像情報記憶部13に登録されている画像に対して起動された場合には、評価がされていない全ての評価対象画像100について行うことにより、処理が終了する。   When the exposure determination process is activated, as shown in the flowchart of FIG. 4, the image evaluation unit 14 first reads the evaluation target image 100 from the image information storage unit 13 (step S10). Then, an exposure determination process is performed on the read evaluation target image 100 (step S20). Next, the result of exposure determination by the image evaluation unit 14 is determined by the determination result setting unit 15 (in this embodiment, “good” when exposure is good with respect to the variable “exposure” as described later, In the case of poor exposure, “bad” is set), and is stored in the exposure determination value area 52a of the image information storage unit 13 shown in FIG. 3 (step S30). The exposure determination processing and determination result setting processing (steps S20 and S30) are performed on the registered image when activated when the captured image is registered in the image information storage unit 13. In the case where the process is terminated and activated for an image registered in the image information storage unit 13 by some operation, the process is performed by performing the process on all evaluation target images 100 that have not been evaluated. finish.

(露出判定処理)
次に、露出判定処理(ステップS20)について、図5のフローチャートを用いて詳しく説明する。この処理では、評価対象画像のエッジ成分に基づいて露出判定を行う。まず、画像評価部14において、上述のステップS10で読み出された評価対象画像100(以下、評価対象画像Iと呼ぶ)から、エッジ画像集合Iedgeを作成する(ステップS101)。それには、図6(a)に示されるように、与えられた評価対象画像Iに対し、下記式(1)で定義するsobel filter(ソーベルフィルター)Sh、SVを適用し、図6(b)に示されるエッジ画像集合Iedgeを求めることにより行う。
(Exposure judgment processing)
Next, the exposure determination process (step S20) will be described in detail with reference to the flowchart of FIG. In this process, exposure determination is performed based on the edge component of the evaluation target image. First, the image evaluation unit 14 creates an edge image set I edge from the evaluation target image 100 (hereinafter referred to as the evaluation target image I) read in step S10 (step S101). For this purpose, as shown in FIG. 6A, the sobel filters Sh and SV defined by the following equation (1) are applied to the given evaluation target image I, and FIG. The edge image set Iedge shown in FIG.

ただし、上記式(1)中、*は、コンボリュージョン演算を表し、m,nは、各画素のx,y座標値を表す。   In the above formula (1), * represents convolution calculation, and m and n represent x and y coordinate values of each pixel.

次に、露出の判定対象となる判定領域Iedgeの抽出を行う(ステップS102)。それには、上記でエッジ画像集合Iedgeを求めた後、図6(b)に示されるように、このエッジ画像集合Iedgeを縦横3等分、計9個の小領域集合{Isub_n|n=1,2,...9}に分割する。その後、評価対象画像Iの中央付近領域を含む領域として{Isub_2,Isub_5,Isub_8}、{Isub_4,Isub_5,Isub_6}の2つの領域を抽出し、それぞれのエッジ画像を、Icand_1,Icand_2と定義する(すなわち、領域毎のエッジ画像の生成を行う)。このIcand_1,Icand_2において、エッジ成分(すなわち、図6(b)中の黒色でない画素)の数を各々合計し、Icand_1,Icand_2のうち、画素の合計値が多いほうを、当該エッジ画像集合Iedgeにおける判定領域Icandとする(図6(c)の模式図)。このIcandを抽出するための処理を、数式で表したものを下記式(2)に示す。なお、図6(b)は、エッジ画像を明確にするために、実際の処理で用いる画像とは異なり、白黒を反転して表示している。 Next, a determination area I edge that is an exposure determination target is extracted (step S102). For this purpose, after obtaining the edge image set I edge as described above, as shown in FIG. 6B, the edge image set I edge is divided into three equal parts in length and breadth, and a total of nine small area sets {I sub — n | n = 1, 2,. . . 9}. Thereafter, two regions {I sub_2 , I sub — 5 , I sub — 8 } and {I sub — 4 , I sub — 5 , I sub — 6 } are extracted as regions including the region near the center of the evaluation target image I, and the respective edge images are extracted as Icand_1. , Icand_2 (that is, an edge image is generated for each region). In Icand_1 and Icand_2, the number of edge components (that is, non-black pixels in FIG. 6B) is summed, and the larger of the total values of pixels in Icand_1 and Icand_2 is the edge image set Iedge. The determination region is I cand (schematic diagram in FIG. 6C). The processing for extracting this I cand is expressed by the following formula (2). Note that, in FIG. 6B, in order to clarify the edge image, black and white are reversed and displayed, unlike an image used in actual processing.

ただし、上記式(2)中、添え字n及びkは、各領域を指定するインデックスを表し、sum()は、与えられた2値画像の白色画素の総和を求める関数であり、max()は、Icand_kのうち最大値を返す関数であり、argは、max(Icand_k)のうち、最大値となる画像領域のインデックスを返す関数である。また、Region(I,Icand_n)は、評価対象画像IからIcand_nに対応する領域を切り出す関数である。   However, in the above formula (2), the subscripts n and k represent indexes for specifying each region, sum () is a function for calculating the sum of white pixels of a given binary image, and max () Is a function that returns the maximum value of Icand_k, and arg is a function that returns the index of the image area that is the maximum value of max (Icand_k). Region (I, Icand_n) is a function for cutting out an area corresponding to Icand_n from the evaluation target image I.

次に、この切り出された画像領域Icandの白色画素の総和sum(Icand)と、予め定められた閾値Tcandとの比較を行う(ステップS103)。ここで、sum(Icand)<Tcand(エッジ成分が閾値未満)であれば、以下に示す露出不良判定処理(ステップS104〜S112)に移行する。これに対して、sum(Icand)≧Tcand(エッジ成分が閾値以上)であれば、ステップS112に進み、価対象画像Iは露出良と判定し、パラメータ「exposure」に「good」を設定して露出判定処理を終了する。   Next, a comparison is made between the sum sum (Icand) of the white pixels of the clipped image area Icand and a predetermined threshold value Tcand (step S103). If sum (Icand) <Tcand (the edge component is less than the threshold value), the process proceeds to the exposure failure determination process (steps S104 to S112) described below. On the other hand, if sum (Icand) ≧ Tcand (the edge component is equal to or greater than the threshold value), the process proceeds to step S112, where the valence target image I is determined to be good exposure, and “good” is set in the parameter “exposure”. The exposure determination process ends.

なお、本実施例では、評価対象画像Iのエッジ画像集合Iedgeを生成した後、Iedgeから2つの領域{Isub_2,Isub_5,Isub_8}、{Isub_4,Isub_5,Isub_6}を抽出し、それぞれのエッジ画像Icand_1、Icand_2を得ている。これに対して、他の異なる実施例として、評価対象画像Iから2つの領域{Isub_2,Isub_5,Isub_8}、{Isub_4,Isub_5,Isub_6}を抽出した後、それぞれの領域についてのみエッジ画像Icand_1、Icand_2を生成するものであってもよい。   In this embodiment, after generating the edge image set Iedge of the evaluation target image I, two regions {Isub_2, Isub_5, Isub_8} and {Isub_4, Isub_5, Isub_6} are extracted from Iedge, and the respective edge images Icand_1 are extracted. , Icand_2 has been obtained. On the other hand, as another different embodiment, after extracting two regions {Isub_2, Isub_5, Isub_8}, {Isub_4, Isub_5, Isub_6} from the evaluation target image I, edge images Icand_1 and Icand_2 only for the respective regions. May be generated.

(露出不良判定処理)
以下、露出不良判定処理(ステップS104〜S112)について説明する。この処理では、判定領域Icandの彩度及び明度に基づいて、より詳細に露出判定を行う。ここでは、上記Icandとして、Icand_1={Isub_2,Isub_5,Isub_8}が選択された場合を例にとって説明を行う。まず、Icandを構成する各小領域{Isub_k,|k=2,5,8}について、各画素(m,n)に対し、下記式(3)に定義する{Vmax_k(m,n)}、{Vmin_k(m,n)}、{Sk(m,n)}、並びに、下記式(4)に定義する{S_redk(m,n)}、{S_greenk(m,n)}、{S_bluek(m,n)}を求める(ステップS104)。
(Exposure defect judgment processing)
Hereinafter, the exposure failure determination process (steps S104 to S112) will be described. In this process, exposure determination is performed in more detail based on the saturation and lightness of the determination area I cand . Here, the case where Icand_1 = {Isub_2, Isub_5, Isub_8} is selected as the Icand will be described as an example. First, for each small region {Isub_k, | k = 2, 5, 8} constituting Icand, {Vmax_k (m, n)} defined in the following equation (3) for each pixel (m, n), {Vmin_k (m, n)}, {S k (m, n)}, and {S_red k (m, n)}, {S_greenk (m, n)}, {S_bluek} defined in the following equation (4) (M, n)} is obtained (step S104).

ただし、上記式(3)中、m,nは小領域における画素のx,y座標値を表し、kは小領域のインデックス(k=2,5,8)を表す。R_k(m,n)は、Icand_kの各画素(m,n)における赤成分の強度を表し、G_k(m,n)は緑成分の強度を表し、B_k(m,n)は青成分の強度を表す。各画素において最も大きい成分の値{Vmax_k(m,n)}、最も小さい成分の値{Vmin_k(m,n)}及びその差分{Sk(m,n)}を求める。 In the above equation (3), m and n represent the x and y coordinate values of the pixels in the small area, and k represents the small area index (k = 2, 5, 8). R _k (m, n) represents the intensity of the red component of each pixel of Icand_k (m, n), G _k (m, n) represents the intensity of the green component, B _k (m, n) is blue Represents the strength of the component. The largest component value {V max — k (m, n)}, the smallest component value {V min — k (m, n)} and the difference {S k (m, n)} are obtained for each pixel.

但し、上記式(4)中、m,nは小領域における画素のx,y座標値を表し、kは小領域のインデックス(k=2,5,8)を表す。また、widthk及びheightkは、各小領域の幅と高さをそれぞれ表す。S_redk(m,n)は赤成分を中心とした彩度、S_reenk(m,n)は緑成分を中心とした彩度、S_bluek(m,n)は青成分を中心とした彩度を表す。このように、RGB各色に対応する彩度を定義し、これらの彩度を露出判定に用いることにより、より精細な露出判定を行うことができる。_ In the above equation (4), m and n represent the x and y coordinate values of the pixels in the small area, and k represents the small area index (k = 2, 5, 8). Further, Widthk and height k represent the width and height of each small area respectively. S_red k (m, n) is the saturation centered on the red component, S_reen k (m, n) is the saturation centered on the green component, and S_blue k (m, n) is the saturation centered on the blue component. Represents. In this way, by defining the saturation corresponding to each RGB color and using these saturations for exposure determination, it is possible to perform finer exposure determination. _

その後、上記ステップS104で求めたSk(m,n)、Vmax_k(m,n)、Vmin_k(m,n)、S_redk(m,n)、S_greenk(m,n)及びS_bluek(m,n)を用いて、露出不良判定値expvund_k及びexpvov_kを求める(ステップS105)。それには、まず、予め設定された閾値Ts_und、Ts_ov、Tmax、Tmin、Tred、Tgreen及びTblueを用いて用いて、各小領域ごとに、下記式(5)で定義される判定式を満たす画素の個数Cund_k及びCov_kを求める。次に、これらの個数を基に下記式(5)に定義するexpvund_k及びexpvov_kを求める。 Thereafter, S k obtained in step S104 (m, n), V max_k (m, n), V min_k (m, n), S_red k (m, n), S_green k (m, n) and S_blue k Using (m, n), the exposure failure determination values expv und_k and expv ov_k are obtained (step S105). To do this, first, preset threshold Ts_und, Ts_ov, with using Tmax, Tmin, Tred, the T green and T blue, for each small region satisfies the determination expression defined by the following formula (5) The number of pixels C und_k and C ov_k is obtained. Next, expv und_k and expv ov_k defined in the following formula (5) are obtained based on these numbers.

ただし、上記式(5)中、m,nは小領域における画素のx,y座標値を表し、kは、各小領域を指定するインデックス(k=2,5,8)を表し、count()は、関数内の判定式を満たす画素の個数を数え上げることを意味する関数を表す。また、widthk及びheightkは、各小領域Isub_kの幅と高さをそれぞれ表す。 In the above equation (5), m and n represent the x and y coordinate values of the pixels in the small area, k represents an index (k = 2, 5, 8) for designating each small area, and count ( ) Represents a function that means counting up the number of pixels that satisfy the determination formula in the function. Also, widthk and height k represent the width and height of each small region Isub_k , respectively.

上記ステップS105でexpvund_k及びexpvov_kを求めた後、予め設定された閾値Tund及びTovを用いて、評価対象画像Iについて露出良、露出不良を判定する処理を行う(以下で説明するステップS106〜S112)。まず、ステップS106では、ある小領域Isub_kに対するexpvund_k及びexpvov_kが、下記式(6)で定義される判定式を満たすか否か判定する。判定式を満たす場合、すなわち、露出アンダー及び露出オーバーの小領域のいずれかが少なくとも1つ以上存在する場合は、当該小領域Isub_kを「露出不良領域」と判定し(ステップS107)。判定式を満たさない場合、すなわち、露出アンダー及び露出オーバーの小領域のいずれも存在しない場合は、当該小領域Isub_kを「露出良領域」と判定する(ステップS108)。 After expv und_k and expv ov_k are obtained in step S105, processing for determining good exposure and poor exposure for the evaluation target image I is performed using preset threshold values T und and T ov (steps described below) S106 to S112). First, in step S106, expv und_k and expv ov_k for a small area Isub_k it it is determined whether or not satisfy the determination expression defined by the following formula (6). When the determination formula is satisfied, that is, when at least one of the underexposed and overexposed small regions is present, the small region Isub_k is determined as the “exposure poor region” (step S107). When the determination formula is not satisfied, that is, when neither the under-exposed nor the over-exposed small region exists, the small region Isub_k is determined as a “good exposure region” (step S108).

全ての小領域Isub_kに対して露出良、不良の判定を行ったか判定し(ステップS109)、判定すべき小領域がまだ存在する場合は、上記のステップS106〜ステップS108の処理を繰り返す。 It is determined whether all the small areas I sub_k have been determined to be good or defective in exposure (step S109). If there is still a small area to be determined, the processes in steps S106 to S108 are repeated.

全ての小領域Isub_kに対して、上記露出判定を行った場合は、次に、上記ステップS107で「露出不良領域」と判定されたIsub_kの集合が、判定領域Icandに対して、どの程度の領域を占めるか判定する(ステップS110)。それには、当該判定領域Icandにおいて、ある一定の範囲を超える領域で露出不良と判定された場合(閾値超)、評価対象画像Iを「露出不良画像」と判定し、パラメータ「exposure」に「bad」を設定する(ステップS111)。なお、この実施例では、評価対象画像Iが「露出不良画像」であると判定される条件は、Icandにおいて、過半数を超える小領域が「露出不良領域」と判定されていることである。そのため、{Isub_k}(k=2,5,8)のうち、2以上の小領域において「露出不良領域」と判定された場合、当該評価対象画像Iを「露出不良画像」とする。 When the above exposure determination is performed for all the small regions I sub_k , the set of I sub_k determined as the “exposure poor region” in the above step S107 corresponds to which of the determination regions I cand It is determined whether it occupies a certain area (step S110). For this, in the determination area I cand , when it is determined that exposure is poor in an area exceeding a certain range (exceeding a threshold), the evaluation target image I is determined as “exposure image” and “exposure” is set to “ "bad" is set (step S111). In this embodiment, the condition for determining that the evaluation target image I is an “exposure poor image” is that, in I cand , a small area exceeding a majority is determined as an “exposure poor area”. Therefore, if it is determined that “exposed poor region” in two or more small regions among {I sub — k} (k = 2, 5, 8), the evaluation target image I is set as “unexposed image”.

上記以外の場合、すなわち、露出不良と判定された小領域が一定の範囲以下(この実施例では「露出不良領域」と判定された小領域が1以下)である場合(閾値以下)、評価対象画像Iを「露出良画像」と判定し、パラメータexposureに「good」を設定する(ステップS112)。   In cases other than the above, that is, when the small area determined to be poorly exposed is below a certain range (in this embodiment, the small area determined to be “exposed poor area” is 1 or less) (below the threshold value) The image I is determined to be “good exposure image”, and “good” is set to the parameter exposure (step S112).

このように、評価対象画像の露出判定を行う際に、エッジ成分や彩度、明度などを用い、これらを定義する各条件式の閾値を適切に設定することにより、露出アンダー、露出オーバーなど、多様な露出状況に対応した露出判定が行え、露出不良の画像を良好に検出することができる。また、従来技術では、測光データなどの撮影時の情報を使用する必要があったが、本実施例では、画像が撮影された状況を意識することなく、画像情報記憶部13に記憶された画像情報のみを用いて露出判定を行うことができる。   In this way, when performing exposure determination of the evaluation target image, by using the edge component, saturation, brightness, etc., by appropriately setting the threshold value of each conditional expression that defines these, underexposure, overexposure, etc. Exposure determination corresponding to various exposure situations can be performed, and an image with poor exposure can be detected well. In the prior art, it is necessary to use information at the time of photographing such as photometric data. In this embodiment, the image stored in the image information storage unit 13 is not conscious of the situation where the image is photographed. Exposure determination can be performed using only information.

上記の実施例では、評価対象画像Iの中央付近領域を含む高さ方向及び幅方向の2つの領域Icand_1、Icand_2を抽出し、これらの中から判定領域Icandを選択しているが、他の異なる実施例として、例えば、高さ方向、幅方向及び斜め方向など中央付近領域を含む3つ以上の領域を抽出し、これらの中から判定領域Icandを選択してもよい。また、評価対象画像Iに対して、従来公知の顔検出機能を用いた処理を行い、このような顔検出処理により顔が検出された領域を中心として、2つ以上の領域を抽出し、これらの中から判定領域Icandを選択してもよい。顔検出機能を用いた手法を下記に詳述する。また、上記の実施例では、エッジ画像集合を縦横を3分割して全体として9分割した場合について説明したが、本発明がこの実施例に限定されることはなく、それ以上の分割数でも良いし、それ以下の分割数でも良い。 In the above embodiment, the two regions Icand_1 and Icand_2 in the height direction and the width direction including the region near the center of the evaluation target image I are extracted, and the determination region I cand is selected from these. As a different embodiment, for example, three or more regions including the central region such as the height direction, the width direction, and the diagonal direction may be extracted, and the determination region I cand may be selected from these. Further, a process using a conventionally known face detection function is performed on the evaluation target image I, and two or more areas are extracted around the area where the face is detected by such face detection process. The determination area I cand may be selected from the list . A method using the face detection function will be described in detail below. Further, in the above embodiment, the case where the edge image set is divided into 9 parts as a whole by dividing the edge image set into 3 parts has been described. However, the present invention is not limited to this example, and the number of divisions may be larger. However, the number of divisions may be less than that.

[顔検出処理を用いた判定領域の選択手順]
ここで、上記の顔検出機能を用いた実施例において、ステップS102の判定領域Icandの抽出手順について、図7を用いて説明する。ここでいう顔検出機能とは、評価対象画像中から人間の顔を検出する機能のことであり、その出力情報として、画像中に存在する顔の個数、画像中の顔の位置、顔のサイズを出力するものが既にデジタルカメラ分野やセキュリティ分野等で実用化されている。本実施例においても、同様の出力情報が得られる顔検出機能を用いることを前提とする。
[Judgment area selection procedure using face detection processing]
Here, in the embodiment using the face detection function, the procedure for extracting the determination area I cand in step S102 will be described with reference to FIG. The face detection function here is a function for detecting a human face from the evaluation target image, and the output information includes the number of faces present in the image, the position of the face in the image, and the size of the face. Has already been put to practical use in the fields of digital cameras and security. Also in this embodiment, it is assumed that a face detection function capable of obtaining similar output information is used.

まず、露出判定のための判定領域Icandを選択する前提として、前処理として上記のような顔検出機能により、顔の個数及び個々の顔の位置、サイズが情報として得られているものとする。次に、先に述べた実施例と同様に、評価対象画像Iを小領域Isub_kに分割した後、各小領域中で顔が占める割合が大きいものから順に3つの小領域を選択し、Icand={Isub_k}とする。図7の説明図においてはIcand={Isub_5,Isub_6,Isub_9}が選択される。その後、抽出したIcandの各小領域に対し、ステップS101で作成されたエッジ画像集合Iedgeに基づいて、Icandのエッジ成分を求める。このエッジ成分を基に、ステップS103以降の処理に従って、前述した実施例で用いた手法と同様に露出判定を行い、評価対象画像Iの露出判定を行う。なお、顔検出の結果のみから、3つの小領域が抽出できなかった場合(すなわち、顔の存在する小領域が1つ又は2つしか無かった場合)、顔の占める割合が最も大きい小領域に隣接する小領域において、前述のエッジ成分を求め、エッジ成分の多い小領域を選択し、当該判定領域Icandに含めるものとする。 First, as a premise for selecting the determination area I cand for exposure determination, it is assumed that the number of faces and the position and size of each face are obtained as information by the face detection function as described above as preprocessing. . Next, as in the above-described embodiment, after the evaluation target image I is divided into small areas I sub_k , three small areas are selected in descending order of the proportion of the face in each small area. Let cand = { Isub_k }. In the explanatory diagram of FIG. 7, I cand = {Isub_5, Isub_6, Isub_9} is selected. Thereafter, an edge component of I cand is obtained for each extracted small area of I cand based on the edge image set Iedge created in step S101. Based on the edge component, exposure determination is performed in the same manner as the method used in the above-described embodiment, and exposure evaluation of the evaluation target image I is performed in accordance with the processing from step S103. If only three small areas cannot be extracted from the result of face detection only (that is, if there are only one or two small areas in which a face exists), the area occupied by the face is the largest. In the adjacent small area, the above-described edge component is obtained, and a small area having a large number of edge components is selected and included in the determination area I cand .

[顔検出処理を用いた小領域の露出判定]
更に異なる実施例として、露出不良判定処理(ステップS104〜S112)において、上記で選択された判定領域Icandの各小領域Isub_kに対して、前述のような顔検出機能を用いて顔検出処理を行い、当該顔検出処理により顔が検出された小領域に対して、露出判定を重点的に行うよう重み付けを行ってもよい。そして、この重み付けに応じて、画像評価部14において、評価対象画像Iの露出判定を行うよう構成する。例えば、顔が検出された小領域に対して重み係数を設定しておき(例えば、重み係数=2)、ステップS107において、露出不良領域と判定された小領域の数に、この重み係数を乗算する。すると、露出不良領域と判定された数が1のみであっても、乗算結果が2となるため、ステップS110において、「2以上」と判定されることとなり、当該評価対象画像Iが「露出不良画像」と判定される。また、顔以外の要素について、重み付けを行ってもよい。これらの重み付けは、システム中に各要素に対する重み係数を記憶しておき、この重み係数に応じて、画像評価部14が露出判定を行うよう構成することができる。また、図示はしないが、重み係数設定部を設け、ユーザが重み係数の値を任意に設定、修正できるようにして、露出判定に対してユーザの好みを反映できるようにしてもよい。
[Small area exposure using face detection processing]
As still another embodiment, in the exposure failure determination process (steps S104 to S112 ), the face detection process using the face detection function as described above is performed on each small area I sub_k of the determination area I cand selected above. And weighting may be performed so that exposure determination is focused on a small region in which a face is detected by the face detection process. And according to this weighting, the image evaluation part 14 is comprised so that the exposure determination of the evaluation object image I may be performed. For example, a weighting factor is set for a small region in which a face is detected (for example, weighting factor = 2), and the number of small regions determined to be poorly exposed in step S107 is multiplied by this weighting factor. To do. Then, even if the number of areas determined to be poorly exposed is only 1, the multiplication result is 2, so that it is determined to be “2 or more” in step S110. It is determined as “image”. Moreover, you may weight about elements other than a face. These weightings can be configured such that a weighting factor for each element is stored in the system, and the image evaluation unit 14 performs exposure determination according to the weighting factor. Although not shown, a weighting factor setting unit may be provided so that the user can arbitrarily set and correct the value of the weighting factor so that the user's preference can be reflected in the exposure determination.

デジタルカメラ10に、以上のような画像評価システム12を設けると、画像情報記憶部13に記憶されたデジタル画像に対して、露出アンダー、露出オーバーなど、多様な露出不良状況に対応した露出不良画像の検出を良好に行うことができる。そのため、デジタル画像の整理などを行う場合に、露出良の画像と露出不良の画像との分類作業や、削除、印刷、表示、保存などの整理作業を、効率的に行うことができる。   When the image evaluation system 12 as described above is provided in the digital camera 10, a poorly exposed image corresponding to a variety of poorly exposed situations such as underexposure and overexposure with respect to the digital image stored in the image information storage unit 13. Can be detected satisfactorily. Therefore, when organizing digital images and the like, it is possible to efficiently perform sorting operations such as images with good exposure and images with poor exposure and organizing operations such as deletion, printing, display, and storage.

なお、以上の実施例においては、画像評価システム12をデジタルカメラ10に設けた場合について説明したが、本発明がこの実施例に限定されることはなく、例えば、この画像評価システム12を備える専用の画像表示装置として構成する場合や、ネットワークに接続されたサーバにこの画像評価システム12を実装し、ネットワークに接続された端末(デジタルカメラ、携帯電話、PDA又はパーソナルコンピュータ)からこのサーバにデジタル画像を転送して露出判定を行うように構成しても同様の効果を得ることができる。   In the above embodiment, the case where the image evaluation system 12 is provided in the digital camera 10 has been described. However, the present invention is not limited to this embodiment. The image evaluation system 12 is mounted on a server connected to a network when configured as an image display device, and a digital image is transmitted from a terminal (digital camera, mobile phone, PDA or personal computer) connected to the network to the server. The same effect can be obtained even if the exposure determination is performed by transferring.

本発明に係る画像評価システムが設けられたデジタルカメラの使用方法を説明する説明図である。It is explanatory drawing explaining the usage method of the digital camera provided with the image evaluation system which concerns on this invention. 上記デジタルカメラの構成を示すブロック図である。It is a block diagram which shows the structure of the said digital camera. デジタル画像のデータ構造を説明するための説明図である。It is explanatory drawing for demonstrating the data structure of a digital image. 画像の露出判定及び判定結果の設定の処理を示すフローチャートである。It is a flowchart which shows the process of the exposure determination of an image, and the setting of a determination result. 露出判定処理を示すフローチャートである。It is a flowchart which shows an exposure determination process. 評価対象画像Iから判定領域Icandを抽出する手順を説明するための説明図である。It is explanatory drawing for demonstrating the procedure which extracts the determination area | region I cand from the evaluation object image I. FIG. 顔検出処理を用いて評価対象画像Iから判定領域Icandを抽出する手順を説明するための説明図である。It is explanatory drawing for demonstrating the procedure which extracts the determination area | region I cand from the evaluation object image I using a face detection process.

符号の説明Explanation of symbols

10 デジタルカメラ 11 撮像部 12 画像評価システム(画像評価装置)
13 画像情報記憶部 14 画像評価部 15 判定結果設定部
52 属性情報(属性情報領域) 52a 露出判定領域
100 評価対象画像
DESCRIPTION OF SYMBOLS 10 Digital camera 11 Imaging part 12 Image evaluation system (image evaluation apparatus)
13 Image information storage unit 14 Image evaluation unit 15 Determination result setting unit 52 Attribute information (attribute information region) 52a Exposure determination region 100 Evaluation target image

Claims (10)

評価対象画像及び当該評価対象画像の属性情報を対応付けて記憶する画像情報記憶部と、
前記画像情報記憶部から前記評価対象画像を選択し、当該評価対象画像に対して露出良又は露出不良の露出判定を行う画像評価部とを有し、
前記画像評価部は、前記評価対象画像を複数の領域に分割し、当該分割された複数の領域の中から少なくとも2以上の領域を抽出した後、各領域毎にエッジ画像を生成し、当該エッジ画像から算出されるエッジ成分の最も高い前記領域を判定領域に選定し、当該判定領域のエッジ成分を基に前記露出判定を行うよう構成された画像評価装置。
An image information storage unit that stores an evaluation target image and attribute information of the evaluation target image in association with each other;
An image evaluation unit that selects the evaluation target image from the image information storage unit and performs exposure determination of good exposure or poor exposure on the evaluation target image;
The image evaluation unit divides the evaluation target image into a plurality of regions, extracts at least two or more regions from the divided regions, generates an edge image for each region, and generates the edge An image evaluation apparatus configured to select the region having the highest edge component calculated from an image as a determination region and perform the exposure determination based on the edge component of the determination region.
前記画像評価部は、前記分割された複数の領域のうち、前記評価対象画像の中央付近を含む領域を、少なくとも2以上抽出するよう構成された請求項1に記載の画像評価装置。   The image evaluation device according to claim 1, wherein the image evaluation unit is configured to extract at least two or more regions including a vicinity of a center of the evaluation target image from the plurality of divided regions. 前記画像評価部は、前記評価対象画像に対して顔検出処理を行い、前記分割された複数の領域のうち、当該顔検出処理により顔が検出された領域を含む領域を、少なくとも2以上抽出するよう構成された請求項1に記載の画像評価装置。   The image evaluation unit performs face detection processing on the evaluation target image, and extracts at least two or more regions including a region where a face is detected by the face detection processing from the plurality of divided regions. The image evaluation apparatus according to claim 1 configured as described above. 前記画像評価部は、前記評価対象画像から選定した前記判定領域のエッジ成分の値が、閾値以上である場合は、当該評価対象画像を露出良画像と判定し、閾値未満である場合は、当該評価対象画像を露出不良画像と判定するよう構成された請求項1〜3いずれか一項に記載の画像評価装置。   The image evaluation unit determines that the evaluation target image is a good exposure image when the value of the edge component of the determination region selected from the evaluation target image is equal to or greater than a threshold value. The image evaluation apparatus according to claim 1, wherein the image to be evaluated is determined to be a poorly exposed image. 前記画像評価部は、
前記評価対象画像が露出不良画像と判定された場合に、前記判定領域を更に小領域に分割し、前記小領域毎に求められたエッジ画像から算出されるエッジ成分を基に、前記小領域毎に露出判定を行い、露出不良領域と判定された小領域の数が閾値を超える場合は、当該評価対象画像を露出不良画像と判定し、露出不良領域と判定された小領域の数が閾値以下の場合は、当該評価対象画像を露出良画像と判定するよう構成された請求項4に記載の画像評価装置。
The image evaluation unit
When the evaluation target image is determined to be a poorly exposed image, the determination area is further divided into small areas, and each small area is calculated based on an edge component calculated from the edge image obtained for each small area. If the number of small areas determined to be poorly exposed areas exceeds a threshold value, the evaluation target image is determined to be a poorly exposed image, and the number of small areas determined to be poorly exposed areas is equal to or less than the threshold value. In this case, the image evaluation device according to claim 4, wherein the image to be evaluated is determined to be a good exposure image.
前記画像評価部は、
前記小領域毎の露出判定を行う際に、当該小領域の各画素(m,n)において、赤成分の強度をR(m,n)とし、緑成分の強度をG(m,n)とし、青成分の強度をB(m,n)とし、各画素において最も大きい成分の値Vmax(m,n)、最も小さい成分の値Vmin(m,n)及びその差分S(m,n)を次式
但し、m,nは当該小領域における画素のx,y座標値を表す
で定義し、当該Vmax(m,n)、Vmin(m,n)、及びS(m,n)に基づいて露出判定を行うように構成された請求項5に記載の画像評価装置。
The image evaluation unit
When performing exposure determination for each small area, the intensity of the red component is R (m, n) and the intensity of the green component is G (m, n) in each pixel (m, n) of the small area. , The intensity of the blue component is B (m, n), the largest component value V max (m, n), the smallest component value V min (m, n) and the difference S (m, n) in each pixel. )
However, m and n are defined by representing the x and y coordinate values of the pixels in the small region, and are based on the V max (m, n), V min (m, n), and S (m, n). The image evaluation apparatus according to claim 5, wherein the image evaluation apparatus is configured to perform exposure determination.
前記画像評価部は、
前記小領域毎の露出判定を行う際に、更に、当該小領域の各画素(m,n)において、赤成分を中心とした彩度S_red(m,n)、緑成分を中心とした彩度S_green(m,n)、青成分を中心とした彩度をS_blue(m,n)を次式
但し、m,nは当該小領域における画素のx,y座標値を表す
で定義し、前記Vmax(m,n)、Vmin(m,n)、及びS(m,n)、並びに、当該S_red、S_green、及びS_blueに基づいて露出判定を行うように構成された請求項6に記載の画像評価装置。
The image evaluation unit
When performing exposure determination for each of the small regions, the saturation S_red (m, n) centered on the red component and the saturation centered on the green component in each pixel (m, n) of the small region. S_green (m, n), S_blue (m, n) is the saturation of the blue component.
However, m and n are defined by representing the x and y coordinate values of the pixels in the small region, and V max (m, n), V min (m, n), and S (m, n), and The image evaluation apparatus according to claim 6, configured to perform exposure determination based on the S_red, S_green, and S_blue.
前記小領域が、前記判定領域を、複数個に略等分して得られたものである請求項5〜7いずれかに記載の画像評価装置。   The image evaluation apparatus according to claim 5, wherein the small area is obtained by dividing the determination area into a plurality of substantially equal parts. 前記画像評価部は、
前記各小領域に対して顔検出処理を行い、当該顔検出処理により顔が検出された小領域に対する露出判定の結果に基づいて、露出良領域の総数又は露出不良領域の総数を加算する際に、顔が検出された前記小領域に対して設定された重み係数を乗算した数を加算するよう構成された請求項5〜8いずれか一項に記載の画像評価装置。
The image evaluation unit
When performing face detection processing on each of the small areas and adding the total number of good exposure areas or the total number of poor exposure areas based on the result of exposure determination for the small areas in which the face is detected by the face detection processing The image evaluation device according to claim 5, wherein the image evaluation device is configured to add a number obtained by multiplying a set weighting coefficient for the small region in which a face is detected.
前記画像評価部による露出判定の結果を、前記評価対象画像の前記属性情報に露出判定値として設定し、画像情報記憶部に記憶する判定結果設定部を有する請求項1〜9いずれか一項に記載の画像評価装置。   The determination result setting part which sets the result of the exposure determination by the said image evaluation part as an exposure determination value to the said attribute information of the said evaluation object image, and memorize | stores it in an image information storage part. The image evaluation apparatus described.
JP2007326620A 2007-12-19 2007-12-19 Image evaluation device Pending JP2009151396A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007326620A JP2009151396A (en) 2007-12-19 2007-12-19 Image evaluation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007326620A JP2009151396A (en) 2007-12-19 2007-12-19 Image evaluation device

Publications (1)

Publication Number Publication Date
JP2009151396A true JP2009151396A (en) 2009-07-09

Family

ID=40920516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007326620A Pending JP2009151396A (en) 2007-12-19 2007-12-19 Image evaluation device

Country Status (1)

Country Link
JP (1) JP2009151396A (en)

Similar Documents

Publication Publication Date Title
AU2016200002B2 (en) High dynamic range transition
US9898807B2 (en) Image processing device, imaging device, image processing method, and program
US10021313B1 (en) Image adjustment techniques for multiple-frame images
US7995116B2 (en) Varying camera self-determination based on subject motion
US6898329B1 (en) Image binarization apparatus, image binarization method, image pickup apparatus, image pickup method, and a computer product
US7903168B2 (en) Camera and method with additional evaluation image capture based on scene brightness changes
CN101867724B (en) Imaging device and imaging method
US20070237514A1 (en) Varying camera self-determination based on subject motion
US8760561B2 (en) Image capture for spectral profiling of objects in a scene
KR20090111136A (en) Method and Apparatus of Selecting Best Image
CN111095913B (en) Image processing apparatus, image processing method, image capturing apparatus, image capturing method, and storage medium
JP2004192129A (en) Method and device for extracting facial area
CN104243804A (en) Imaging apparatus, image processing apparatus, and control method therefor
JP2007184888A (en) Imaging apparatus, image processor, image processing method, and image processing program
JP2006333205A (en) Imaging apparatus, image processing method and image processing program
JP2007259411A (en) Exposure determination apparatus and method of determining same
KR101613617B1 (en) Apparatus and method for digital picturing image
JP5097018B2 (en) Image processing apparatus, imaging apparatus, control method for image processing apparatus, control method for imaging apparatus, program, and recording medium
JP2007228221A (en) Imaging apparatus, image processing apparatus, image processing method and image processing program
JP2009063674A (en) Imaging apparatus and flash control method
JP2007243542A (en) Imaging apparatus, image processing apparatus, image processing method, and image processing program
JP2009151396A (en) Image evaluation device
WO2006109703A1 (en) Imaging system and video signal processing program
JP2007184887A (en) Image pickup device, image processor, image processing method and image processing program
JP2006197460A (en) Image processing method, image processor, image processing program and image pickup device