JP2008124890A - Exposure discrimination apparatus and its method - Google Patents
Exposure discrimination apparatus and its method Download PDFInfo
- Publication number
- JP2008124890A JP2008124890A JP2006307942A JP2006307942A JP2008124890A JP 2008124890 A JP2008124890 A JP 2008124890A JP 2006307942 A JP2006307942 A JP 2006307942A JP 2006307942 A JP2006307942 A JP 2006307942A JP 2008124890 A JP2008124890 A JP 2008124890A
- Authority
- JP
- Japan
- Prior art keywords
- exposure
- image
- thumbnail image
- value
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
Abstract
Description
本発明は、画像データによって表される画像の露出が適正であるか否かを判別する技術に関し、詳しくは、当該画像の概要を表すサムネイル画像での露出判別を経て画像の露出判別を行う技術に関するものである。 The present invention relates to a technique for determining whether or not the exposure of an image represented by image data is appropriate, and more specifically, a technique for determining the exposure of an image through exposure determination with a thumbnail image representing an outline of the image. It is about.
デジタルカメラなどによって撮影された画像(写真画像)をプリンタや複合機などを用いて印刷する場合、撮影された全ての画像を印刷したのでは無駄が多い。すなわち、撮影された画像の中には、露出が不足した画像や露出過多が含まれており、それらの画像については、印刷してもあまり意味がない。 When printing an image (photograph image) taken by a digital camera or the like using a printer or a multifunction machine, it is wasteful to print all the taken images. That is, the captured images include underexposed images and overexposed images, and it is meaningless to print these images.
図11は露出が適正である画像と露出が不足した画像の例をそれぞれ示す説明図である。図11において、(a)は夜空に上がった花火を撮影した画像であり、背景は暗いが、画像全体に明るい部分が点在しており、露出が適正な画像であり、印刷しても意味のある画像と言える。これに対し、(b)は画像の一部分だけ明るいが、それ以外の部分は暗いため、露出が不足した画像であり、印刷してもあまり意味ない画像と言える。 FIG. 11 is an explanatory diagram showing an example of an image with proper exposure and an image with insufficient exposure. In FIG. 11, (a) is an image of fireworks that have risen in the night sky. The background is dark, but the entire image is dotted with bright portions, and the exposure is appropriate, meaning that printing is also effective. It can be said that there is an image. On the other hand, in (b), only a part of the image is bright, but the other part is dark, so the image is underexposed, and it can be said that the image does not make much sense even if it is printed.
このように、一般に、花火や夜景などを撮影した画像は、露出が適正な画像であるのに対し、一部分だけ明るいが、それ以外の部分は暗い画像は、露出が不足した画像である。 As described above, in general, an image obtained by shooting fireworks, a night view, and the like is an image with appropriate exposure, whereas a part of the image is bright, but the other part is a dark image with insufficient exposure.
従って、撮影された多数の画像の中から、露出が適正な画像を判別することができれば、例えば、ユーザが本来印刷を希望するような画像のみを、自動的に印刷させることも可能となる。 Therefore, if an image with an appropriate exposure can be determined from a large number of captured images, for example, only an image that the user originally desires to print can be automatically printed.
ところで、画像の露出が超過しているか不足しているかを判別する方法としては、例えば、下記の特許文献に記載のものが知られている。 By the way, as a method for determining whether the exposure of an image is excessive or insufficient, for example, a method described in the following patent document is known.
具体的には、例えば、判別対象となる画像について、各画素の輝度値の平均値を求めて、その値に基づいて、画像の露出が超過しているか不足しているかを判別するようにしている。 Specifically, for example, with respect to an image to be determined, an average value of luminance values of each pixel is obtained, and based on the value, it is determined whether the exposure of the image is excessive or insufficient. Yes.
しかしながら、このように、判別対象となる画像について、各画素の輝度値の平均値(以下、輝度平均値という場合がある)を求め、その値に基づいて、画像の露出が適正であるか否かを判別しようとした場合、画像によっては、誤判別してしまうという問題があった。 However, as described above, an average value of luminance values of each pixel (hereinafter, sometimes referred to as a luminance average value) is obtained for an image to be discriminated, and whether or not the exposure of the image is appropriate based on the value. When trying to discriminate, there is a problem that some images are misjudged.
図12は図11における各画像について、輝度値のヒストグラムと輝度平均値とを示した説明図である。図12において、(a)は、図11(a)の露出が適正な画像についての輝度値のヒストグラムであり、(b)は、図11(b)の露出が不足した画像についての輝度値のヒストグラムである。また、(a),(b)において、Avは、それぞれ、その画像における各画素の輝度値の平均値(輝度平均値)を示している。 FIG. 12 is an explanatory diagram showing a histogram of luminance values and an average luminance value for each image in FIG. In FIG. 12, (a) is a histogram of luminance values for an image with appropriate exposure in FIG. 11 (a), and (b) is a luminance value for an image with insufficient exposure in FIG. 11 (b). It is a histogram. In (a) and (b), Av indicates the average value (luminance average value) of the luminance values of the pixels in the image.
図12に示すように、図11(a)に示す露出が適正な画像と、図11(b)に示す露出が不足した画像と、で各画素の輝度平均値Avを比較すると、ほぼ同じであり、従って、この輝度平均値Avのみを用いるだけでは、図11(a)に示す画像が、露出が適正な画像であり、図11(b)に示す画像が、露出が不足した画像であると、判別することは困難であることが理解できる。 As shown in FIG. 12, when the average exposure value Av of each pixel is compared between the image with the appropriate exposure shown in FIG. 11A and the image with the insufficient exposure shown in FIG. Therefore, only by using this luminance average value Av, the image shown in FIG. 11A is an image with appropriate exposure, and the image shown in FIG. 11B is an image with insufficient exposure. It can be understood that it is difficult to discriminate.
本発明の目的は、上記した従来技術の問題点を解決し、画像の露出が適正であるか否かを適切に判別することができる技術を提供することにある。 An object of the present invention is to solve the above-described problems of the prior art and provide a technique capable of appropriately determining whether or not an image is properly exposed.
上記した目的の少なくとも一部を達成するために、本発明の露出判別装置は、画像データによって表される画像の露出が適正であるか否かを判別するための露出判別装置であって、
前記画像に対応して当該画像の概要を表すサムネイル画像において、前記露出の影響を受ける特徴量の算出対象となる領域としての特徴量算出領域を設定する特徴量算出領域設定部と、
前記設定された特徴量算出領域を複数のブロックに分割し、該分割したブロックにおける前記サムネイル画像を表すサムネイル画像データから、前記分割したブロックに属する各画素の明るさを示す明るさ指標値の対比基準値である明るさ対比基準指標値を前記分割したブロックごとに導き出し、前記分割したブロックごとの前記明るさ対比基準指標値の平均値を前記特徴量の一つである第1の評価値とする第1の評価値導出部と、
前記第1の評価値に基づいて、前記サムネイル画像の露出が適正であるか否かを判別し、前記サムネイル画像の露出が適正であると判別した場合に、前記画像の露出も適正であると判別する露出判別部とを備え、
前記特徴量算出領域設定部は、
前記サムネイル画像における前記特徴量算出領域を設定するに当たり、画像取得時において露出の影響を受けて得られた前記画像データが占める露出関与領域を前記サムネイル画像から抽出して前記特徴量算出領域を設定することを要旨とする。
In order to achieve at least a part of the above object, an exposure determination apparatus of the present invention is an exposure determination apparatus for determining whether or not the exposure of an image represented by image data is appropriate,
A feature amount calculation region setting unit that sets a feature amount calculation region as a region for calculation of the feature amount affected by the exposure in a thumbnail image that represents an outline of the image corresponding to the image;
Dividing the set feature amount calculation region into a plurality of blocks, and comparing the brightness index value indicating the brightness of each pixel belonging to the divided block from the thumbnail image data representing the thumbnail image in the divided block A brightness contrast reference index value that is a reference value is derived for each of the divided blocks, and an average value of the brightness contrast reference index values for each of the divided blocks is a first evaluation value that is one of the feature values. A first evaluation value derivation unit,
Based on the first evaluation value, it is determined whether or not the exposure of the thumbnail image is appropriate. When it is determined that the exposure of the thumbnail image is appropriate, the exposure of the image is also appropriate. An exposure discriminating unit for discriminating,
The feature amount calculation area setting unit includes:
In setting the feature amount calculation region in the thumbnail image, the feature amount calculation region is set by extracting from the thumbnail image an exposure-related region occupied by the image data obtained by the influence of exposure at the time of image acquisition. The gist is to do.
このように、本発明の露出判別装置では、画像の露出の適正判別に際し、当該画像に対応して画像概要を表すサムネイル画像を用いる。サムネイル画像は、その元となる画像(以下、この画像を説明の便宜上、適宜、本画像と称する)に比較して画像サイズが小さいので、サムネイル画像を表すサムネイル画像データのデータ数は、本画像を表すデータに比較して少なくなる。このため、後述する処理に処するデータ数の低減により、処理の高速化、延いては処理時間の短縮化を図ることができる。 As described above, in the exposure determination apparatus according to the present invention, when determining appropriateness of exposure of an image, a thumbnail image representing an image outline corresponding to the image is used. Since the thumbnail image has a smaller image size than the original image (hereinafter, this image will be referred to as the main image for convenience of explanation), the number of thumbnail image data representing the thumbnail image is the main image. Compared to data representing For this reason, the processing speed can be increased and the processing time can be shortened by reducing the number of data to be processed later.
この場合、露出適正の判定対象となる本画像が日本電子工業振興協会(JEIDA)制定のデジタルカメラ用画像のファイルフォーマット規格(DCF規格)に準拠したJpegファイル(DCF基本ファイル)として提供されていれば、通常、そのDCF基本ファイル内にサムネイル画像(DCF基本サムネイル)が存在する。従って、この場合には、このサムネイル画像を後述する処理に処すればよい。DCFファイルに準拠したサムネイル画像は、そのアスペクト比が4:3とされ、この場合のサムネイル画像は、通常、160×120画素の大きさであり、本画像に比較して、画像サイズが非常に小さい。よって、処理負荷の低減による処理時間の大幅な短縮化が可能となる。なお、DCF規格に準拠していないExifファイルでは、サムネイル画像の有無をタグ情報から調べ、サムネイル画像が存在する場合は、そのサムネイルを用いて処理時間の短縮化が可能となる。 In this case, the main image that is subject to exposure appropriateness must be provided as a Jpeg file (DCF basic file) that conforms to the file format standard (DCF standard) for digital camera images established by the Japan Electronics Manufacturers Association (JEIDA). For example, a thumbnail image (DCF basic thumbnail) usually exists in the DCF basic file. Therefore, in this case, the thumbnail image may be subjected to processing described later. A thumbnail image conforming to the DCF file has an aspect ratio of 4: 3. In this case, the thumbnail image is usually 160 × 120 pixels in size, and the image size is much larger than that of the main image. small. Therefore, the processing time can be greatly shortened by reducing the processing load. In the case of an Exif file that does not conform to the DCF standard, the presence or absence of a thumbnail image is checked from the tag information. If a thumbnail image exists, the processing time can be shortened using the thumbnail image.
その一方、Exifファイル内にサムネイル画像が存在しない場合や、露出適正の判定対象となる本画像がサムネイル画像を有しないファイル(例えば、JPEG(Joint Photographic Experts Group)ファイル)では、本画像から、間引き処理などによりサムネイル画像を生成し、その生成したサムネイル画像を用いればよい。この場合のサムネイル画像の画像サイズやサムネイル画像データの構成は、間引き処理する処理内容によって定まるので、採用する間引き処理の処理プロセスから、サムネイル画像の画像サイズやサムネイル画像データの構成を把握して後述の処理に処すればよい。 On the other hand, if there is no thumbnail image in the Exif file, or if the main image to be determined for proper exposure is a file that does not have a thumbnail image (for example, a JPEG (Joint Photographic Experts Group) file), thinning is performed from the main image. A thumbnail image may be generated by processing or the like, and the generated thumbnail image may be used. In this case, the image size of the thumbnail image and the configuration of the thumbnail image data are determined by the processing contents to be thinned out. Therefore, the image size of the thumbnail image and the configuration of the thumbnail image data are ascertained from the processing process of the thinning processing employed. Can be processed.
サムネイル画像を用いた上記の本発明の露出判別装置では、まず、本画像に対応して当該画像の概要を表すサムネイル画像において、前記露出の影響を受ける特徴量の算出対象となる領域としての特徴量算出領域を設定する。この特徴量算出領域は、当該領域に含まれるサムネイル画像データを用いた露出適正判別の対象領域であることから、サムネイル画像におけるこの特徴量算出領域を設定するに当たっては、画像取得時において露出の影響を受けて得られた前記画像データが占める露出関与領域を前記サムネイル画像から抽出して前記特徴量算出領域を設定する。 In the exposure determination device of the present invention using a thumbnail image, first, a feature as a region for calculating a feature amount affected by the exposure in a thumbnail image representing an outline of the image corresponding to the main image. Set the amount calculation area. Since this feature amount calculation area is a target area for determining appropriateness of exposure using thumbnail image data included in the area, when setting this feature amount calculation area in a thumbnail image, the influence of exposure at the time of image acquisition is determined. An exposure-related area occupied by the image data obtained by receiving the image data is extracted from the thumbnail image, and the feature amount calculation area is set.
ここに、上記した露出関与領域は、画像取得時において露出の影響を受けて得られた前記画像データが占める領域であることから、本画像にあっては一律にその全領域であるものの、本画像から得られたサムネイル画像では、一律とはならず、本画像のアスペクト比に関連する。よって、画像のアスペクト比に応じて露出関与領域を定めて、特徴量算出領域を設定することもできる。具体的には、本画像のアスペクト比が4:3であれば、当該本画像に基づくサムネイル画像にあってはDCF規格に倣ってアスペクト比は4:3のままとなることから、本画像での上記の露出関与領域(即ち、本画像全領域)はサムネイル画像においてもそのまま推移するので、サムネイル画像の全領域を露出関与領域として当該領域を特徴量算出領域とする。 Here, the exposure-related area is an area occupied by the image data obtained by the influence of exposure at the time of image acquisition. The thumbnail image obtained from the image is not uniform and relates to the aspect ratio of the main image. Therefore, it is also possible to set the feature amount calculation area by determining the exposure involved area according to the aspect ratio of the image. Specifically, if the aspect ratio of the main image is 4: 3, the thumbnail image based on the main image will remain at 4: 3 according to the DCF standard. Since the above-described exposure-related area (that is, the entire area of the main image) changes as it is in the thumbnail image, the entire area of the thumbnail image is set as the exposure-related area, and the area is set as a feature amount calculation area.
その一方、本画像のアスペクト比が4:3以外のアスペクト比であれば、そのアスペクト比の本画像からサムネイル画像を生成する処理に際して、DCF規格に倣った4:3のアスペクト比のサムネイル画像に変換されるものの、この変換過程において露出と無関係なデータ(例えば、画像の上下にサイズ合わせのために付加した黒色バーを表すデータ)が通常付加される。こうした露出と無関係なデータ(サムネイル画像データ)が占めるデータ領域は、本画像はもとよりこの本画像に対応したサムネイル画像において露出の影響を受けていないものである。よって、このような露出と無関係なデータ領域をサムネイル画像から除外することを通して、上記した露出関与領域をサムネイル画像から抽出して特徴量算出領域を設定する。こうすれば、サムネイル画像において露出の影響を受けていない領域に含まれるデータ(サムネイル画像データ)を後述の処理から除外できるので、露出適正判別のための後述の処理の信頼性の向上、延いては露出判別精度の向上を図ることができる。 On the other hand, if the aspect ratio of the main image is an aspect ratio other than 4: 3, the thumbnail image having the aspect ratio of 4: 3 conforming to the DCF standard is generated in the process of generating the thumbnail image from the main image having the aspect ratio. Although converted, data unrelated to exposure (for example, data representing black bars added for size adjustment above and below the image) is usually added in this conversion process. The data area occupied by data unrelated to exposure (thumbnail image data) is not affected by the exposure in the thumbnail image corresponding to the main image as well as the main image. Therefore, by excluding the data area irrelevant to the exposure from the thumbnail image, the exposure-related area is extracted from the thumbnail image and the feature amount calculation area is set. In this way, data (thumbnail image data) included in an area that is not affected by the exposure in the thumbnail image can be excluded from the processing described later, so that the reliability of the processing described later for determining the appropriateness of exposure can be improved. Can improve the accuracy of exposure determination.
そして、露出関与領域の抽出を経た特徴量算出領域の設定に際しては、上記したようなアスペクト比に応じた設定のほか、サムネイル画像を走査して、前記サムネイル画像データの推移状況に応じて前記露出関与領域を定めるようにすることもできる。つまり、上記したサイズ合わせのための画像上下の黒色バーが占める領域ではサムネイル画像データがデータ走査の列においてほぼ完全に一律であるが、本来の画像が反映した領域では、通常、データ走査の列においてデータ値(例えば、輝度等)が変化するので、こうした走査状況の相違から、露出と無関係なデータが占める領域を除外して露出関与領域を抽出し、特徴量算出領域を設定することができる。 When setting the feature amount calculation region after extracting the exposure-related region, in addition to the setting according to the aspect ratio as described above, the thumbnail image is scanned and the exposure is performed according to the transition state of the thumbnail image data. It is also possible to define the area of involvement. That is, in the area occupied by the black bars above and below the image for size adjustment described above, the thumbnail image data is almost completely uniform in the data scanning column, but in the area reflecting the original image, the data scanning column is usually used. Since the data value (e.g., luminance) changes at, the exposure-related area can be extracted by excluding the area occupied by the data irrelevant to the exposure, and the feature amount calculation area can be set. .
本発明の露出判別装置は、こうして設定したサムネイル画像における特徴量算出領域を複数のブロックに分割し、該分割したブロックにおける前記サムネイル画像を表すサムネイル画像データから、前記分割したブロックに属する各画素の明るさを示す明るさ指標値の対比基準値である明るさ対比基準指標値を前記分割したブロックごとに導き出し、前記分割したブロックごとの前記明るさ対比基準指標値の平均値を前記特徴量の一つである第1の評価値とする。この場合、各画素の明るさを示す明るさ指標値としては、露出の影響を受けて定まる輝度値や明度を用いることができ、対比基準指標値には、明るさ指標値を輝度値とした場合の最大輝度値の他、それに準ずる値、例えば、大きい方からn番目の値、あるいは、大きい側からヒストグラム累積m%の値などを採用できる。明度についても同様である。 The exposure discriminating apparatus of the present invention divides the feature amount calculation region in the thumbnail image set in this way into a plurality of blocks, and from the thumbnail image data representing the thumbnail image in the divided block, each pixel belonging to the divided block. A brightness contrast reference index value, which is a contrast reference value of a brightness index value indicating brightness, is derived for each of the divided blocks, and an average value of the brightness contrast reference index values for each of the divided blocks is calculated based on the feature amount. The first evaluation value is one. In this case, as the brightness index value indicating the brightness of each pixel, a brightness value or brightness determined by the influence of exposure can be used, and the brightness index value is set as the brightness value as the comparison reference index value. In addition to the maximum luminance value in the case, a value corresponding to the maximum luminance value, for example, the n-th value from the larger side, or the value of the histogram cumulative m% from the larger side can be adopted. The same applies to the brightness.
そして、本発明の露出判別装置は、露出の影響を受ける特徴量の一つである上記の第1の評価値(明るさ対比基準指標値の平均値)に基づいて、前記サムネイル画像の露出が適正であるか否かを判別し、前記サムネイル画像の露出が適正であると判別した場合に、前記画像の露出も適正であると判別するようにしている。 Then, the exposure determination device of the present invention determines whether the thumbnail image is exposed based on the first evaluation value (average value of the brightness contrast reference index value), which is one of the feature quantities affected by exposure. It is determined whether or not the thumbnail image is appropriate, and when it is determined that the exposure of the thumbnail image is appropriate, the exposure of the image is also determined to be appropriate.
従って、花火や夜景などを撮影した画像、すなわち、背景は暗いが、画像全体に明るい部分が点在しているような画像(本画像)に対応するサムネイル画像については、特徴量算出領域の各ブロックとも、それぞれ、明るさ対比基準指標値として、或る程度の値を得ることができるため、それら明るさ対比基準指標値の平均値である第1の評価値を、露出判別の指標として用いることにより、露出が適正な画像であると判別することができる。反対に、一部分だけ明るいが、それ以外の部分は暗いような画像については、一部のブロックしか、明るさ対比基準指標値として、大きな値を得ることができないため、それら明るさ対比基準指標値の平均値としての第1の評価値を露出判別の指標として用いることにより、露出が不足した画像であると判別することができる。 Therefore, for thumbnail images corresponding to images obtained by shooting fireworks or night views, that is, images (main images) in which the background is dark but bright portions are scattered throughout the image, each of the feature amount calculation areas Since each block can obtain a certain value as the brightness comparison reference index value, the first evaluation value, which is the average value of the brightness comparison reference index values, is used as an exposure determination index. Thus, it can be determined that the exposure is an appropriate image. On the other hand, for an image in which only a part is bright but other parts are dark, only a part of the blocks can obtain a large value as the brightness contrast reference index value. By using the first evaluation value as the average value of the above as an index for determining exposure, it can be determined that the image is insufficiently exposed.
よって、本発明の露出判別装置によれば、本画像に対応するサムネイル画像での特徴量算出領域の各ブロック毎の明るさ対比基準指標値の平均値である第1の評価値を、露出判別の指標としているため、サムネイル画像はもとより、これに対応する本画像の露出が適正であるか否かを適切に判別することができる。しかも、既述したようにサムネイル画像を用いることから、露出の適正判別を短時間の内に行うことができる利点がある。また、第1の評価値を明るさ対比基準指標値の平均値としたので、計算処理を複雑化することなく、画像の露出が適正であるか否かをより適切に判別することができる。 Therefore, according to the exposure determination apparatus of the present invention, the first evaluation value, which is the average value of the brightness comparison reference index values for each block in the feature amount calculation region in the thumbnail image corresponding to the main image, is determined as the exposure determination. Therefore, it is possible to appropriately determine whether the exposure of the main image corresponding to the thumbnail image is appropriate as well as the thumbnail image. In addition, since the thumbnail image is used as described above, there is an advantage that it is possible to determine the appropriateness of exposure within a short time. In addition, since the first evaluation value is the average value of the brightness contrast reference index values, it is possible to more appropriately determine whether or not the exposure of the image is appropriate without complicating the calculation process.
上記した本発明の露出判別装置は、種々の態様を採ることができ、例えば、前記露出判別部は、前記第1の評価値が第1の閾値を超えた場合に、前記サムネイル画像の露出が適正であるとして、前記画像についても露出が適正であると判別することが好ましい。こうすれば、第1の評価値と第1の閾値との大小対比という簡便な手法で、画像の露出が適正であるか否か判別することができる。 The above-described exposure determination apparatus of the present invention can take various forms. For example, the exposure determination unit determines whether the thumbnail image is exposed when the first evaluation value exceeds a first threshold. It is preferable to determine that the exposure is appropriate for the image as appropriate. In this way, it is possible to determine whether or not the exposure of the image is appropriate by a simple method of comparing the first evaluation value and the first threshold value.
また、前記設定された特徴量算出領域に属する前記サムネイル画像データに基づいて、前記特徴量算出領域の前記明るさ指標値の平均値を前記特徴量の一つである第2の評価値として導き出す第2の評価値導出部をさらに備え、
前記露出判別部は、前記第1及び第2の評価値を変数とする閾値関数式に基づいて、前記サムネイル画像の露出が適正であるか否かを判別し、前記サムネイル画像の露出が適正であると判別した場合に、前記画像の露出も適正であると判別するようにしてもよい。
Further, based on the thumbnail image data belonging to the set feature quantity calculation area, an average value of the brightness index values in the feature quantity calculation area is derived as a second evaluation value that is one of the feature quantities. A second evaluation value deriving unit;
The exposure determination unit determines whether or not the thumbnail image is properly exposed based on a threshold function equation having the first and second evaluation values as variables, and the thumbnail image is appropriately exposed. If it is determined that there is an image, it may be determined that the exposure of the image is also appropriate.
こうすれば、特徴量算出領域を分割した各ブロックに属するサムネイル画像データから導き出された第1の評価値と共に、特徴量算出領域全体としての特徴量である第2の評価値を露出判別の指標として用いるので、画像の露出が適正であるか否かをより適切に判別することができる。 In this way, together with the first evaluation value derived from the thumbnail image data belonging to each block obtained by dividing the feature amount calculation region, the second evaluation value that is the feature amount of the entire feature amount calculation region is used as an index for determining exposure. Therefore, it is possible to more appropriately determine whether or not the exposure of the image is appropriate.
このように第1、第2の評価値を用いるに当たり、前記第1の評価値である前記明るさ対比基準指標値の平均値を、前記分割されたブロックに属する各画素の輝度値から前記分割されたブロックごとに導き出した最大輝度値の平均値AvRmaxとし、前記第2の評価値である前記明るさ指標値の平均値を、前記設定された特徴量算出領域に属する各画素の輝度値から導き出した輝度値の平均値Avとし、定数をa,b(但し、a,bは正の数)とした場合に、前記閾値関数式は、
AvRmax>−a・Av+b
であり、
前記閾値関数式を満たした場合に、前記サムネイル画像の露出が適正であるとして、前記画像についても露出が適正であると判別するようにしてもよい。
In this way, when using the first and second evaluation values, the average value of the brightness comparison reference index value, which is the first evaluation value, is divided from the luminance value of each pixel belonging to the divided block. The average value AvRmax of the maximum luminance values derived for each of the blocks, and the average value of the brightness index value as the second evaluation value is determined from the luminance values of the pixels belonging to the set feature amount calculation area. When the average value Av of the derived luminance values is set to a and b (where a and b are positive numbers), the threshold function equation is
AvRmax> −a · Av + b
And
When the threshold function formula is satisfied, it may be determined that the exposure of the thumbnail image is appropriate, assuming that the exposure of the thumbnail image is appropriate.
このように構成することにより、画像の露出が適正であるか否かをより高精度に判別することができる。 With this configuration, it can be determined with higher accuracy whether or not the exposure of the image is appropriate.
上記したように最大輝度値の平均値AvRmaxや輝度値の平均値Avを用いるに当たり、前記画像がJPEG(Joint Photographic Experts Group)にて圧縮されたJPEG画像である場合に、各画素の輝度値の平均値Avは、前記JPEG画像の8×8画素ブロック毎に得られる離散コサイン変換(DCT:discrete cosine transform)のDC成分の平均値として求めるようにしてもよい。 As described above, when using the average value AvRmax of the maximum luminance value or the average value Av of the luminance value, when the image is a JPEG image compressed by JPEG (Joint Photographic Experts Group), the luminance value of each pixel is The average value Av may be obtained as an average value of DC components of a discrete cosine transform (DCT) obtained for each 8 × 8 pixel block of the JPEG image.
このように構成することにより、画像全体について、各画素の輝度値の平均を求める場合に比較して、処理時間を大幅に短縮することができる。また、最大輝度値は、求めやすい値であるため、処理時間のより一層の短縮化が期待できる。 With this configuration, the processing time can be significantly shortened as compared with the case of obtaining the average of the luminance values of the pixels for the entire image. Further, since the maximum luminance value is an easily obtainable value, further reduction in processing time can be expected.
なお、本発明は、上記した露出判別装置などの装置発明の態様に限ることなく、露出判別方法などの方法発明としての態様で実現することも可能である。さらには、それら方法や装置を構築するためのコンピュータプログラムとしての態様や、そのようなコンピュータプログラムを記録した記録媒体としての態様や、上記コンピュータプログラムを含み搬送波内に具現化されたデータ信号など、種々の態様で実現することも可能である。 The present invention is not limited to a device invention such as the above-described exposure discriminating apparatus, but can also be realized as a method invention such as an exposure discriminating method. Further, aspects as a computer program for constructing those methods and apparatuses, aspects as a recording medium recording such a computer program, data signals embodied in a carrier wave including the computer program, etc. It can also be realized in various ways.
以下、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
A.第1の実施例:
A−1.実施例の構成:
A−2.実施例の動作:
A−3.実施例の効果:
B.第2の実施例:
B−1.実施例の構成:
B−2.実施例の動作:
B−3.実施例の効果:
C.変形例:
Hereinafter, embodiments of the present invention will be described in the following order based on examples.
A. First embodiment:
A-1. Example configuration:
A-2. Example operation:
A-3. Effects of the embodiment:
B. Second embodiment:
B-1. Example configuration:
B-2. Example operation:
B-3. Effects of the embodiment:
C. Variation:
A.第1の実施例:
A−1.実施例の構成:
図1は本発明の第1の実施例としての露出判別装置を備える複合機を示すブロック図である。図1に示す複合機10は、露出判別装置として機能すると共に、後述する各種構成要素に対する制御等を行う制御回路100と、写真などから画像を読み取って画像データに変換するためのスキャナ部140と、挿入されたメモリカード150aに画像データなどを読み書きするためのメモリカードスロット150と、デジタルカメラ(図示せず)などとUSBケーブル(図示せず)を介して接続し、画像データなどを読み書きするためのUSBインタフェース部160と、画像や各種メッセージを表示するための液晶ディスプレイ170と、ユーザからの各種指示を受けるための操作部180と、画像データに基づいて用紙などに画像を印刷するためのプリンタ部190と、を主として備えている。
A. First embodiment:
A-1. Example configuration:
FIG. 1 is a block diagram showing a multi-function machine equipped with an exposure discriminating apparatus as a first embodiment of the present invention. A
このうち、制御回路100は、コンピュータプログラムに従って各種処理や制御を行うCPU110と、CPU110による処理や制御中に得られるデータなどを一時的に格納するためのRAM120と、CPU110で用いられる上記コンピュータプログラムなどを格納するためのROM130と、を備えている。また、CPU110は、上記コンピュータプログラムを実行することにより、サムネイル画像取得部111や、特徴量算出領域設定部112や、最大輝度平均値算出部113や、露出判別部114や、画像補正部116や、印刷制御部118として機能する。このうち、特に、特徴量算出領域設定部112と最大輝度平均値算出部113と露出判別部114などによって、露出判別装置が構成される。
Among these, the control circuit 100 includes a
なお、図1において、特徴量算出領域設定部112は、本願発明における特徴量算出領域設定部に相当し、最大輝度平均値算出部113は、本願発明における第1の評価値導出部に相当し、露出判別部114は、本願発明における露出判別部に相当する。
In FIG. 1, a feature amount calculation
A−2.実施例の動作:
次に、本実施例の複合機10の動作について、ユーザが、図1に示す複合機10に対し、メモリカード150aに記録された全ての画像データを対象として、「おまかせ印刷」実行の指示をした場合を例として、説明する。
A-2. Example operation:
Next, regarding the operation of the
ここで、「おまかせ印刷」とは、複合機10が、多数の画像の中から、自動的に、印刷に適した画像をいくつか選んで印刷を行う処理のことである。このような「おまかせ印刷」の一環として、印刷に適した画像を選択する際に、本実施例の露出判別装置による画像判別処理が行われる。 Here, “automatic printing” is a process in which the multi-function peripheral 10 automatically selects and prints several images suitable for printing from among a large number of images. As part of such “automatic printing”, when an image suitable for printing is selected, an image discrimination process is performed by the exposure discrimination apparatus of the present embodiment.
図2は第1の実施例における露出判別処理ルーチンの処理手順を示すフローチャートである。 FIG. 2 is a flowchart showing a processing procedure of an exposure determination processing routine in the first embodiment.
ユーザが、操作部180を介して、メモリカード150aに記録された全ての画像データを対象として、「おまかせ印刷」実行の指示を行うと、CPU110は、それら画像データについて、順次、図2に示す露出判別処理ルーチンを実行する。
When the user gives an instruction to execute “automatic printing” to all image data recorded on the
図2に示す露出判別処理ルーチンが開始されると、まず、CPU110によって機能するサムネイル画像取得部111が、メモリカードスロット150を介してメモリカード150aにアクセスし、メモリカード150aに記録された複数の画像データの中から、1つの画像データを読み出して取得し、RAM120に書き込む(ステップS102)。この画像データは、後述するサムネイル画像に対しての本画像についてのデータである。次に、CPU110によって機能する特徴量算出領域設定部112がサムネイル画像取得部111と協働して、特徴量算出領域の設定処理(ステップS103)を行う。この特徴量算出領域の設定処理は、図示するように複数の処理からなり、取得した画像データの解析(例えば、ファイル情報解析、タグ情報解析等)により本画像に対するサムネイル画像の有無を判定する(ステップS131)。
When the exposure determination processing routine shown in FIG. 2 is started, first, the thumbnail
このステップS131でサムネイル画像がないと否定判定すれば、続くステップS132にて、データの間引きを含む所定のサムネイル画像作成処理に則って、ステップS102で取得済みの画像データからサムネイル画像およびそのサムネイル画像データを作成する。この場合、サムネイル画像作成処理の処理手順は、予めROM130に記憶されているので、当該処理手順によりサムネイル画像を作成することとなる。
If it is determined in step S131 that there is no thumbnail image, in the subsequent step S132, a thumbnail image and its thumbnail image are obtained from the image data acquired in step S102 in accordance with a predetermined thumbnail image creation process including data thinning. Create data. In this case, since the processing procedure of the thumbnail image creation process is stored in the
ステップS131での肯定判定(サムネイル画像あり)とステップS132でのサムネイル画像作成に続いては、本画像のアスペクト比が4:3となっているか否かを判定する(ステップS133)。このステップS133においても、上記したようなファイル情報解析、或いはメーカーノート情報解析により判定を下すことができる。そして、本画像のアスペクト比が4:3であると肯定判定すると、このアスペクト比であれば本画像はもとより当該本画像に対応したサムネイル画像についてもその画像全域が画像取得時の本来の画像を表す画像データであることから、サムネイル画像の全域を後述の処理の対象となる特徴量算出領域に設定する(ステップS134)。この場合の特徴量算出領域であるサムネイル画像の全域は、画像取得時において露出の影響を受けて得られる画像データが占める領域であることから、本願発明に云う露出関与領域に相当する。 Following the affirmative determination (with thumbnail image) in step S131 and the thumbnail image creation in step S132, it is determined whether or not the aspect ratio of the main image is 4: 3 (step S133). Also in step S133, the determination can be made by the file information analysis or the manufacturer note information analysis as described above. If it is determined that the aspect ratio of the main image is 4: 3, if the aspect ratio is this aspect ratio, not only the main image but also the thumbnail image corresponding to the main image, the entire image is the original image at the time of image acquisition. Since the image data represents the entire thumbnail image, the entire thumbnail image is set as a feature amount calculation region to be processed later (step S134). In this case, the whole area of the thumbnail image, which is a feature amount calculation area, is an area occupied by image data obtained by the influence of exposure at the time of image acquisition, and thus corresponds to an exposure-related area according to the present invention.
その一方、本画像のアスペクト比が4:3以外であると否定判定すれば、次のようにする。本画像の画像データがDCFファイルであるか否かに拘わらず、本画像のアスペクト比が4:3以外のアスペクト比であれば、そのサムネイル画像については4:3のアスペクト比に適合するようサイズ調整されることから、画像上下に黒色バーとしての画像に相当する画像データ(サムネイル画像データ)が含まれている。また、ステップS132において作成したサムネイル画像にあっても、本画像のアスペクト比が4:3以外のアスペクト比であれば、サムネイル画像作成処理の過程において、4:3のアスペクト比に適合するようサイズ調整されることから、画像上下に黒色バーとしての画像に相当する画像データ(サムネイル画像データ)が付加される。換言すれば、サイズ合わせのために画像上下に黒色バー画像が付加される。図3はアスペクト比とサムネイル画像との関係を示す説明図である。この図3に示すように、ステップS133にて本画像のアスペクト比が4:3以外であると否定判定した場合は、画像取得時の本来の画像を表す画像データに該当する有効画像データ領域を後述の処理の対象となる特徴量算出領域に設定する(ステップS135)。つまり、図3に示す画像上下の黒色バーに該当する画像データ(サムネイル画像データ)は、画像取得時の本来の画像を表す画像データに該当する有効画像データではないことから、画像上下の黒色バーに該当する画像データ(サムネイル画像データ)が含まれる画像領域をサムネイル画像から除外して有効画像データ領域を抽出し、特徴量算出領域に設定するのである。この場合の特徴量算出領域である有効画像データ領域は、画像取得時において露出の影響を受けて得られる画像データが占める領域であることから、本願発明に云う露出関与領域に相当する。 On the other hand, if a negative determination is made that the aspect ratio of the main image is other than 4: 3, the following is performed. Regardless of whether the image data of the main image is a DCF file, if the main image has an aspect ratio other than 4: 3, the thumbnail image is sized to fit the aspect ratio of 4: 3. Since adjustment is performed, image data (thumbnail image data) corresponding to an image as a black bar is included above and below the image. Further, even in the thumbnail image created in step S132, if the aspect ratio of the main image is an aspect ratio other than 4: 3, the size is adjusted so as to conform to the aspect ratio of 4: 3 during the thumbnail image creation process. Since the adjustment is made, image data (thumbnail image data) corresponding to an image as a black bar is added above and below the image. In other words, black bar images are added above and below the image for size adjustment. FIG. 3 is an explanatory diagram showing the relationship between the aspect ratio and the thumbnail image. As shown in FIG. 3, if it is determined in step S133 that the aspect ratio of the main image is other than 4: 3, an effective image data area corresponding to the image data representing the original image at the time of image acquisition is determined. It is set in a feature amount calculation area to be processed later (step S135). That is, the image data (thumbnail image data) corresponding to the black bars above and below the image shown in FIG. 3 is not valid image data corresponding to the image data representing the original image at the time of image acquisition. The effective image data area is extracted by excluding the image area including the image data corresponding to (thumbnail image data) from the thumbnail image, and is set as the feature amount calculation area. The effective image data area, which is a feature amount calculation area in this case, is an area occupied by image data obtained by the influence of exposure at the time of image acquisition, and thus corresponds to an exposure-related area according to the present invention.
ところで、ステップS135での有効画像データ領域の決定に際しては、種々の手法を取ることができる。例えば、ファイル情報解析或いはメーカーノート情報解析により本画像が備えていたアスペクト比(例えば、3:2とか16:9等のアスペクト比)が判れば、上記した4:3のアスペクト比との対比を経て、サムネイル画像の上下に付加された黒色バーが占める領域は判明する。よって、こうして求めた画像上下の黒色バーの占有領域を、サムネイル画像から除外することで有効画像データ領域を決定できる。この他、提供された本画像に対応して予め存在するサムネイル画像やステップS132にて作成したサムネイル画像を画像上端から下端に亘って横方向に走査する手法を取ることもできる。この手法では、サイズ合わせのための画像上下の黒色バーの占有領域と、当該占有領域以外の有効画像データ領域とでのデータの性質の相違を次のようにして利用するのである。つまり、サイズ合わせのための画像上下の黒色バーの占有領域では、サムネイル画像データがデータ走査の列においてほぼ完全に一律であるが、有効画像データ領域では、画像取得時の画像本来の状況がサムネイル画像データに反映しているので、通常、データ走査の列においてデータ値(例えば、輝度等)が変化する。よって、黒色バーの占有領域の走査と有効画像データ領域の走査とでは、その走査状況に相違が生じるので、こうした走査状況の相違から画像上下の黒色バーの占有領域を求め、当該占有領域をサムネイル画像から除外して有効画像データ領域を抽出し、特徴量算出領域に設定する。 By the way, in determining the effective image data area in step S135, various methods can be taken. For example, if the aspect ratio (for example, the aspect ratio such as 3: 2 or 16: 9) included in the main image is found by file information analysis or manufacturer note information analysis, the contrast with the aspect ratio of 4: 3 described above can be obtained. After that, the area occupied by the black bars added above and below the thumbnail image is found. Therefore, the effective image data area can be determined by excluding the occupied areas of the black bars above and below the image thus obtained from the thumbnail images. In addition, it is possible to take a method of scanning a thumbnail image that exists in advance corresponding to the provided main image or a thumbnail image created in step S132 in the horizontal direction from the upper end to the lower end of the image. In this method, the difference in data properties between the occupied area of the black bars above and below the image for size adjustment and the effective image data area other than the occupied area is used as follows. In other words, in the area occupied by the black bars above and below the image for size adjustment, the thumbnail image data is almost completely uniform in the data scanning column, but in the effective image data area, the original state of the image at the time of image acquisition is the thumbnail. Since it is reflected in the image data, the data value (for example, brightness, etc.) usually changes in the data scanning column. Therefore, there is a difference in the scanning situation between the scanning of the black bar occupied area and the scan of the effective image data area. Therefore, the black bar occupied area above and below the image is obtained from the difference in the scanning situation, and the occupied area is defined as the thumbnail. An effective image data area is extracted from the image and set as a feature amount calculation area.
こうして特徴量算出領域が設定されると、CPU110によって機能する最大輝度平均値算出部113は、その設定済み特徴量算出領域をM×N(M,Nは1以上の整数)個のブロックに分割する(ステップS104)。具体的には、設定済み特徴量算出領域に属するサムネイル画像データから、ブロックのサイズや、各ブロックの位置などを算出する。次に、最大輝度平均値算出部113は、そのサムネイル画像データに基づいて、各ブロック毎に、そのブロックに属する各画素の輝度値の中から最大輝度値Bmaxを、それぞれ求める(ステップS106)。
When the feature amount calculation area is set in this way, the maximum luminance average
図4はブロック毎に最大輝度値Bmaxを求めた様子を模式的に示す説明図である。図4に示す例では、M=5,N=5として、合計25個のブロックについて、それぞれ、最大値度値Bmax(m,n)を求めている(但し、m=1,...,5、n=1,...,5)。 FIG. 4 is an explanatory diagram schematically showing how the maximum luminance value Bmax is obtained for each block. In the example shown in FIG. 4, assuming that M = 5 and N = 5, the maximum value degree value Bmax (m, n) is obtained for a total of 25 blocks (where m = 1,... 5, n = 1,..., 5).
続いて、最大輝度平均値算出部113は、それら求めた各ブロック毎の最大輝度値Bmaxの平均を求めることにより、最大輝度平均値AvBmaxを算出する(ステップS108)。
Subsequently, the maximum luminance average
例えば、図4に示す例の場合、最大輝度平均値AvBmaxは、式(1)に示すごとくになる。
次に、CPU110によって機能する露出判別部114は、算出された最大輝度平均値AvBmaxが、予め定められた閾値Th2を超えているか否かを判定し(ステップS110)、超えている場合には、設定済み特徴量算出領域に相当するサムネイル画像を、露出が適正な画像であると判別して、当該サムネイル画像に対応する本画像を印刷対象画像として選択する(ステップS112)。そして、CPU110によって機能する画像補正部116は、その印刷対象画像として選択された本画像の画像データに対し、コントラスト,明度,カラーバランス,ノイズ除去などの種々の画質補正を含む画像補正処理を行い(ステップS114)、露出判別処理ルーチンを終了する。反対に、算出された最大輝度平均値AvBmaxが閾値Th2を超えていなければ、露出判別部114は、設定済み特徴量算出領域に相当するサムネイル画像を、露出が不足した画像であると判別して、当該サムネイル画像に対応する本画像を印刷対象画像として選択せず(ステップS116)、露出判別処理ルーチンを終了する。
Next, the
こうして、CPU110が、メモリカード150aに記録された全ての本画像の画像データに対して、順次、図2に示す露出判別処理ルーチンを実行することにより、それら画像データの示す各画像を、露出の適正/不足に応じて、印刷対象となる画像と印刷対象とはならない画像とに分別し、印刷対象画像に対しては所望の画像補正を施す。
In this way, the
そして、CPU110によって機能する印刷制御部118は、プリンタ部190を制御して、露出適正と判別済みで画像補正の実行済みの印刷対象画像を、順次、印刷させる。
Then, the
以上のようにして、メモリカード150aに記録された多数の画像の中から、自動的に、印刷に適した露出の適正な画像を選択して、印刷させることができる。なお、ステップS116にて設定済み特徴量算出領域に相当するサムネイル画像が露出不足だとして印刷対象画像から除外した本画像については、当該本画像をメモリカード150aから削除するようにすることもできる。また、ステップS112〜114を経て印刷対象とした本画像については、ステップS114での補正結果を反映させた画像データとしてメモリカード150aに更新記憶するようにすることもできる。
As described above, it is possible to automatically select and print an appropriate image having an exposure suitable for printing from among a large number of images recorded on the
A−3.実施例の効果:
図5は図11における各画像について、輝度値のヒストグラムと最大輝度平均値とを示した説明図である。図5において、図12と同様に、(a)は、図11(a)の露出が適正な画像についての輝度値のヒストグラムであり、(b)は、図11(b)の露出が不足した画像についての輝度値のヒストグラムである。また、(a),(b)において、AvBmaxは、それぞれ、その画像における最大輝度平均値を示している。なお、サムネイル画像は本画像の画像データの間引きを含んで作成されたものであることから、サムネイル画像における画素の輝度値分布と本画像における画素の輝度値分布とは、そのデータ数に違いがあるに過ぎずないため、図5では、本画像の輝度値分布図である図11との対比の上で本画像における画像データの分布を示すこととした。
A-3. Effects of the embodiment:
FIG. 5 is an explanatory diagram showing a histogram of luminance values and a maximum average luminance value for each image in FIG. In FIG. 5, as in FIG. 12, (a) is a histogram of luminance values for the image with the appropriate exposure in FIG. 11 (a), and (b) is insufficient in the exposure of FIG. 11 (b). It is a histogram of the luminance value about an image. In (a) and (b), AvBmax indicates the maximum average brightness value in the image. Since the thumbnail image is created by decimation of the image data of the main image, there is a difference in the number of data between the luminance value distribution of the pixels in the thumbnail image and the luminance value distribution of the pixels in the main image. Since there is only one, FIG. 5 shows the distribution of image data in the main image in comparison with FIG. 11 which is a luminance value distribution diagram of the main image.
図5に示すように、図11(a)に示す露出が適正な画像では、その最大輝度平均値AvBmaxが閾値Th2を超えているのに対し、図11(b)に示す露出が不足した画像では、その最大輝度平均値AvBmaxが閾値Th2を大幅に下回っており、従って、このように、画像における各ブロック毎の最大輝度値の平均値である最大輝度平均値AvBmaxを露出判別の指標とすることにより、図11(a)に示す画像が、露出が適正な画像であり、図11(b)に示す画像が、露出が不足した画像であると、適切に判別することが可能となる。 As shown in FIG. 5, in the image with the appropriate exposure shown in FIG. 11A, the maximum brightness average value AvBmax exceeds the threshold Th2, whereas the image shown in FIG. In this case, the maximum average brightness value AvBmax is significantly lower than the threshold value Th2, and thus the maximum average brightness value AvBmax, which is the average of the maximum brightness values for each block in the image, is used as an index for determining exposure. Accordingly, it is possible to appropriately determine that the image illustrated in FIG. 11A is an image with appropriate exposure and the image illustrated in FIG. 11B is an image with insufficient exposure.
図6は、多数の画像について、輝度平均値と最大輝度平均値とをパラメータとした各画像の分布を、輝度平均値についての閾値と共に示したグラフであり、図7は、同じ分布を、最大輝度平均値についての閾値と共に示したグラフである。この図6と図7についても、本画像における輝度値分布を示しているが、本実施例での露出適正の判別対象となるサムネイル画像、詳しくは上記のように設定した特徴量算出領域に含まれるサムネイル画像データでの輝度値分布も、図示する図6や図7の分布となると言える。よって、特に明示しない限り、以下の説明では、本画像における輝度値分布にて説明する。 FIG. 6 is a graph showing the distribution of each image using a luminance average value and a maximum luminance average value as parameters for a large number of images, together with a threshold value for the luminance average value. FIG. It is the graph shown with the threshold value about a luminance average value. FIG. 6 and FIG. 7 also show the luminance value distribution in the main image, but are included in the thumbnail image that is the target for determining the appropriateness of exposure in this embodiment, specifically, in the feature amount calculation area set as described above. It can be said that the luminance value distribution in the thumbnail image data is also the distribution shown in FIGS. Therefore, unless otherwise specified, in the following description, the luminance value distribution in the main image will be described.
図6や図7において、横軸は輝度平均値Avであり、縦軸は最大輝度平均値AvBmaxであり、いずれも0〜255の値を取り得る。また、最大輝度平均値AvBmaxと輝度平均値Avとは、AvBmax≧Avの関係にあるため、各画像は、グラフ上において、AvBmax=Avの直線よりも上側に位置することになる。このとき、○印は露出の適正な画像を示し、×印は露出の不足した画像を示している。さらに、中央及び右上に位置する画像のグループは、それぞれ、通常の画像であり、左下に位置する画像のグループは、それぞれ、図11(b)に示した画像に代表される、一部分だけ明るく、それ以外の部分は暗い画像であり、それらのグループの間に位置する画像のグループは、図11(a)に示した画像に代表される、花火や夜景などを撮影した画像である。 6 and 7, the horizontal axis represents the average luminance value Av, and the vertical axis represents the maximum average luminance value AvBmax, which can take a value of 0 to 255. Further, since the maximum luminance average value AvBmax and the luminance average value Av are in a relationship of AvBmax ≧ Av, each image is positioned above the straight line of AvBmax = Av on the graph. At this time, a circle indicates an image with proper exposure, and a cross indicates an image with insufficient exposure. Furthermore, the group of images located at the center and the upper right are respectively normal images, and the group of images located at the lower left are respectively brighter by a part, represented by the image shown in FIG. The other part is a dark image, and the group of images located between these groups is an image of fireworks, a night view, etc. represented by the image shown in FIG.
従来では、前述したとおり、画像における輝度平均値Avを露出判別の指標としていたため、例えば、図6に示すように、輝度平均値Avに対する閾値Th1を「64」とすると、通常の画像については、露出が適正な画像であると判別することができ、一部だけ明るい画像については、露出が不足した画像であると判別することができるが、花火や夜景などの画像については、露出が適正な画像であると判別されるべきであるにも関わらず、露出が不足した画像であると、誤って判別してしまい、問題があった。 Conventionally, as described above, the average luminance value Av in the image is used as an index for determining exposure. For example, as illustrated in FIG. 6, when the threshold Th1 for the average luminance value Av is “64”, , It can be determined that the exposure is appropriate, and for images that are only partially bright, it can be determined that the exposure is insufficient, but for images such as fireworks and night views, the exposure is appropriate. In spite of the fact that the image should be determined to be a correct image, it was erroneously determined that the image was insufficiently exposed, and there was a problem.
これに対し、本実施例では、上記のとおり、画像(詳しくは、設定済みの特徴量算出領域のサムネイル画像)における最大輝度平均値AvBmaxを露出判別の指標としているため、例えば、図7に示すように、最大輝度平均値AvBmaxに対する閾値Th2を「64」とすると、通常の画像は、もちろんのこと、花火や夜景などの画像についても、その大部分の画像を、露出が適正な画像であると判別することができる。また、一部だけ明るい画像については、その全ての画像を、露出が不足した画像であると判別することができる。 In contrast, in the present embodiment, as described above, the maximum luminance average value AvBmax in the image (specifically, the thumbnail image of the set feature amount calculation area) is used as an index for exposure determination. As described above, when the threshold Th2 for the maximum average brightness value AvBmax is “64”, not only normal images but also most images of fireworks, night scenes, and the like are images whose exposure is appropriate. Can be determined. Further, with respect to an image that is only partially bright, it is possible to determine that all the images are images that are underexposed.
以上のように、本実施例によれば、画像(詳しくは、設定済みの特徴量算出領域のサムネイル画像)における最大輝度平均値AvBmaxを判別指標とすることにより、画像の露出が適正であるか否かを適切に判別することができる。そして、露出適正の判別に際して、ブロックごとの最大輝度値からの平均値(最大輝度平均値AvBmax)算出と、この最大輝度平均値AvBmaxを閾値Th2との大小対比という簡便な演算を行えばよいことから、計算処理を複雑化することなく、画像の露出適否を判別できる。 As described above, according to the present embodiment, whether the exposure of an image is appropriate by using the maximum luminance average value AvBmax in an image (specifically, a thumbnail image of a set feature amount calculation area) as a discrimination index. It is possible to appropriately determine whether or not. When determining the appropriateness of exposure, a simple calculation of calculating an average value (maximum luminance average value AvBmax) from the maximum luminance value for each block and comparing the maximum luminance average value AvBmax with the threshold Th2 may be performed. Therefore, it is possible to determine whether the image is suitable for exposure without complicating the calculation process.
しかも、本実施例では、露出の適否判別の対象となる画像を、本画像に対応するサムネイル画像としたので、上記したステップS104〜108の露出適否判別のための処理に処すデータ数を少なくできる。よって、処理の高速化、延いては処理時間の短縮化、並びに、露出適正な本画像の迅速な印刷を図ることができる。 In addition, in the present embodiment, since the image to be subjected to exposure suitability determination is a thumbnail image corresponding to the main image, the number of data to be subjected to the processing for exposure suitability determination in steps S104 to S108 described above can be reduced. . Therefore, it is possible to increase the processing speed, to shorten the processing time, and to quickly print the main image with proper exposure.
また、本実施例では、露出の適否判別の対象となるサムネイル画像において、露出の影響を受けているデータからなる画像の特徴量算出領域を設定するに当たり、本画像のアスペクト比が4:3であれば、そのサムネイル画像の全域を特徴量算出領域とし(ステップS134)、4:3以外のアスペクト比であれば、サイズ調整のために画像上下に付加される黒色バーの占有領域をサムネイル画像から除外して有効画像データ領域を抽出し、特徴量算出領域に設定することとした(ステップS135)。よって、露出適正判別のための特徴量算出領域を画像取得時の露出の影響を受けた画像データ(サムネイル画像データ)からなる画像領域とできるので、露出判別精度を向上できる。 Further, in this embodiment, in setting the feature amount calculation area of the image composed of the data affected by the exposure in the thumbnail image that is the subject of the exposure appropriateness determination, the aspect ratio of the main image is 4: 3. If there is an aspect ratio other than 4: 3, the entire area of the thumbnail image is set as a feature amount calculation area (step S134). The effective image data area is extracted by exclusion and set as the feature amount calculation area (step S135). Therefore, the feature amount calculation area for determining the appropriateness of exposure can be an image area composed of image data (thumbnail image data) affected by the exposure at the time of image acquisition, so that the accuracy of exposure determination can be improved.
B.第2の実施例:
B−1.実施例の構成:
図8は本発明の第2の実施例としての露出判別装置を備える複合機を示すブロック図である。図8に示す複合機20が図1に示した複合機10と構成上異なる点は、CPU110が、コンピュータプログラムを実行することにより、最大輝度平均値算出部113、露出判別部114、画像補正部116、及び印刷制御部118として機能する他、さらに、輝度平均値算出部119としても機能する点である。それ以外の構成については、図1に示した複合機10と同じであるので、それらについての説明は省略する。なお、図8において、輝度平均値算出部119は、本願発明における第2の評価値導出部に相当する。
B. Second embodiment:
B-1. Example configuration:
FIG. 8 is a block diagram showing a multi-function machine equipped with an exposure discriminating apparatus as a second embodiment of the present invention. The MFP 20 shown in FIG. 8 is structurally different from the
B−2.実施例の動作:
それでは、本実施例の動作について、第1の実施例の場合と同様に、ユーザが、図8に示す複合機20に対し、メモリカード150aに記録された全ての画像データを対象として、「おまかせ印刷」実行の指示をした場合を例として、説明する。
B-2. Example operation:
As for the operation of this embodiment, as in the case of the first embodiment, the user selects all the image data recorded on the
本実施例の動作が、第1の実施例の動作と異なる点は、露出適否の判別指標として輝度平均値Avと最大輝度平均値AvBmaxとを用い、この両平均値を変数とする閾値関数式に基づいて露出判別を行う点である。 The operation of this embodiment is different from the operation of the first embodiment in that the average brightness value Av and the maximum brightness average value AvBmax are used as indicators for determining appropriateness of exposure, and a threshold function equation using both average values as variables. It is a point which performs exposure discrimination based on this.
図9は第2の実施例における露出判別処理ルーチンの処理手順を示すフローチャートである。 FIG. 9 is a flowchart showing a processing procedure of an exposure determination processing routine in the second embodiment.
ユーザが、操作部180を介して、メモリカード150aに記録された全ての画像データを対象として、「おまかせ印刷」実行の指示を行うと、CPU110は、それら画像データについて、順次、図9に示す露出判別処理ルーチンを実行する。
When the user instructs execution of “automatic printing” for all image data recorded in the
図9に示す露出判別処理ルーチンが開始されると、まず、CPU110によって機能するサムネイル画像取得部111が、図2に示したステップS102と同様、メモリカードスロット150を介してメモリカード150aにアクセスし、メモリカード150aに記録された複数の画像データの中から、1つの画像データを読み出して取得し、RAM120に書き込む(ステップS302)。次に、CPU110によって機能する特徴量算出領域設定部112がサムネイル画像取得部111と協働して、既述した一連の特徴量算出領域設定処理(ステップS103/ステップS131〜135)を行う。
When the exposure determination processing routine shown in FIG. 9 is started, first, the thumbnail
次に、設定済み特徴量算出領域に属するサムネイル画像データに基づいて、そのサムネイル画像を構成する各画素の輝度値の平均を求めることにより、設定済み特徴量算出領域に相当するサムネイル画像の輝度平均値Avを算出する(ステップS304)。 Next, based on the thumbnail image data belonging to the set feature amount calculation area, the average brightness value of each pixel constituting the thumbnail image is obtained, thereby obtaining the average brightness of the thumbnail images corresponding to the set feature amount calculation area. The value Av is calculated (step S304).
この輝度平均値Avの算出に際しては、本画像がJPEG(Joint Photographic Experts Group)にて圧縮されたJPEG画像である場合には、JPEG画像のデータ構造などに着目して、次のような処理を行うようにすることにした。つまり、画像データ種別をステップS302のデータ取得の際に判別し、JPEG画像であれば、次のような処理を行う。JPEG画像でなければ、設定済み特徴量算出領域に相当するサムネイル画像のサムネイル画像データから種々の手法にて輝度平均値Avを算出する。 In calculating the luminance average value Av, if the main image is a JPEG image compressed by JPEG (Joint Photographic Experts Group), the following processing is performed by paying attention to the data structure of the JPEG image. Decided to do. That is, the image data type is determined at the time of data acquisition in step S302, and if it is a JPEG image, the following processing is performed. If the image is not a JPEG image, the luminance average value Av is calculated by various methods from the thumbnail image data of the thumbnail image corresponding to the set feature amount calculation area.
1.JPEG画像は、8×8画素のブロックが一つの処理サイズとなっているので、露出判別処理において、ブロック毎の最大輝度値を求める際に、この8×8画素のブロックを単位として、その最大輝度値を求める。このようにすることにより、画像をM×Nのブロックに分割する処理を省略することができると共に、JPEG画像を8×8画素のブロック単位でデコードする際に、ブロック毎の最大輝度値を併せて求めることができ、効率的な処理が可能となる。 1. Since a JPEG image has an 8 × 8 pixel block in one processing size, when the maximum luminance value for each block is obtained in the exposure determination process, the maximum size of the 8 × 8 pixel block is used as a unit. Find the luminance value. In this way, the process of dividing the image into M × N blocks can be omitted, and the maximum luminance value for each block can be combined when decoding the JPEG image in units of 8 × 8 pixels. Efficient processing is possible.
2.JPEG画像では、8×8画素のブロックが離散コサイン変換(DCT:discrete cosine transform)されて、8×8個の周波数成分として表されている。そこで、ステップS304にて画像の輝度平均値Avを算出する際に、8×8画素のブロック毎に、そのブロックにおけるDCTのDC成分を取得し、それらDC成分の平均値を求めて、その画像の輝度平均値Avとしてもよい。各ブロックにおけるDCTのDC成分の平均値は画像全体の輝度平均値と意味合いとして同じであるので、DC成分の平均値を画像の輝度平均値Avとしても、露出判別の精度を損なうことはないからである。例えば、輝度値は0〜256のスケールであり、DC成分は−1024〜1023のスケールである。このような方法を採ることにより、画像全体について、各画素の輝度値の平均を求める場合に比較して、処理時間を大幅に短縮することができる。 2. In a JPEG image, an 8 × 8 pixel block is subjected to discrete cosine transform (DCT) and expressed as 8 × 8 frequency components. Therefore, when calculating the luminance average value Av of the image in step S304, the DC component of the DCT in that block is acquired for each block of 8 × 8 pixels, the average value of those DC components is obtained, and the image The average luminance value Av may be used. Since the average value of the DC component of the DCT in each block is the same as the average luminance value of the entire image, even if the average value of the DC component is the average luminance value Av of the image, the accuracy of exposure determination is not impaired. It is. For example, the luminance value is a scale of 0 to 256, and the DC component is a scale of -1024 to 1023. By adopting such a method, the processing time can be significantly shortened compared to the case of obtaining the average of the luminance values of the pixels for the entire image.
次に、最大輝度平均値算出部113が、図2に示したステップS104〜S108と同様の処理を行う。すなわち、最大輝度平均値算出部113は、設定済み特徴量算出領域をM×N個のブロックに分割し(ステップS306)、次に、その設定済み特徴量算出領域に属するサムネイル画像データに基づいて、各ブロック毎に、そのブロックにおける最大輝度値Bmaxをそれぞれ求め(ステップS308)、さらに、それら求めた最大輝度値Bmaxから、最大輝度平均値AvBmaxを算出する(ステップS310)。
Next, the maximum luminance average
この場合、画像データがJPEGデータであれば、各ブロック毎の最大輝度値Bmaxを求める際に、8×8画素のブロック毎に、そのブロックにおけるDCTのDC成分と第3係数くらいまでのAC成分とを用いて、そのブロックの最大輝度値を求めるようにしてもよい。通常、各ブロックにおけるDCTのAC成分のうち、高周波成分の値は極めて小さいため、それらの値を無視しても、露出判別の精度を損なうことはないからである。このような方法を採ることにより、そのブロックに属する各画素の輝度値の中から最大輝度値を求める場合に比較して、処理時間を大幅に短縮することができる。 In this case, if the image data is JPEG data, when obtaining the maximum luminance value Bmax for each block, the DC component of the DCT in the block and the AC component up to the third coefficient are obtained for each block of 8 × 8 pixels. And the maximum luminance value of the block may be obtained. This is because the value of the high frequency component of the AC components of the DCT in each block is usually very small, and even if these values are ignored, the accuracy of exposure determination is not impaired. By adopting such a method, the processing time can be significantly reduced as compared with the case where the maximum luminance value is obtained from the luminance values of the pixels belonging to the block.
続いて、露出判別部114は、算出された輝度平均値Av及び最大輝度平均値AvBmaxが、式(2)として示す閾値関数式を満たすか否かを判定する(ステップS312)。
AvBmax>−a・Av+b (2)
但し、式(2)において、a,bはそれぞれ正の定数である。
Subsequently, the
AvBmax> −a · Av + b (2)
However, in Formula (2), a and b are positive constants, respectively.
閾値関数式を満たす場合には、露出判別部114は、設定済み特徴量算出領域に相当するサムネイル画像を、露出が適正な画像であると判別して、当該サムネイル画像に対応する本画像を印刷対象画像として選択する(ステップS314)。そして、画像補正部116は、その印刷対象画像として選択された画像に対し、種々の画質補正を含む画像補正処理を行い(ステップS316)、露出判別処理ルーチンを終了する。
When the threshold function equation is satisfied, the
反対に、閾値関数式を満たさない場合は、露出判別部114は、設定済み特徴量算出領域に相当するサムネイル画像を、露出が不足した画像であると判別して、当該サムネイル画像に対応する本画像を印刷対象画像として選択せず(ステップS318)、露出判別処理ルーチンを終了する。
On the other hand, when the threshold function equation is not satisfied, the
こうして、CPU110が、メモリカード150aに記録された全ての画像データに対して、順次、図9に示す露出判別処理ルーチンを実行することにより、それら画像データの示す各画像を、露出の適正/不足に応じて、印刷対象となる画像と印刷対象とはならない画像とに分別し、印刷対象画像に対しては所望の画像補正を施す。そして、印刷制御部118は、プリンタ部190を制御して、画像補正の施された印刷対象画像を、順次、印刷させる。
In this way, the
以上のようにして、メモリカード150aに記録された多数の画像の中から、自動的に、印刷に適した露出の適正な画像を選択して、印刷させることができる。
As described above, it is possible to automatically select and print an appropriate image having an exposure suitable for printing from among a large number of images recorded on the
B−3.実施例の効果:
図10は、多数の画像について、輝度平均値と最大輝度平均値とをパラメータとした各画像の分布を、閾値関数式と共に示したグラフである。なお、横軸及び縦軸、値の取り得る範囲、各画像の分布状態、○印及び×印、各画像のグループ等についての説明は、図6や図7と同じであるので、説明は省略する。また、この図10についても、図6や図7と同様、本画像における輝度値分布を示しているが、本実施例での露出適正の判別対象となるサムネイル画像、詳しくは上記のように設定した特徴量算出領域に含まれるサムネイル画像データでの輝度値分布も、図示する図10の分布となることから、特に明示しない限り、以下の説明では、本画像における輝度値分布にて説明する。
B-3. Effects of the embodiment:
FIG. 10 is a graph showing the distribution of each image using the average brightness value and the maximum average brightness parameter as parameters for a large number of images, together with a threshold function expression. The description of the horizontal and vertical axes, the range of values, the distribution state of each image, the circle and cross marks, the group of each image, and the like are the same as in FIG. 6 and FIG. To do. Further, FIG. 10 also shows the luminance value distribution in the main image as in FIGS. 6 and 7, but the thumbnail image that is a target for determining the appropriateness of exposure in this embodiment, specifically, as described above. Since the luminance value distribution in the thumbnail image data included in the feature amount calculation area is also the distribution shown in FIG. 10, unless otherwise specified, the following description will be made with the luminance value distribution in the main image.
本実施例では、上述したとおり、式(2)として示す閾値関数式を露出判別の指標としているため、例えば、図10に示すように、定数aを「1」とし、定数bを「80」とすると、直線AvBmax=−Av+80の直線より、右上に位置する画像は、全て、露出が適正な画像であると判別され、左下に位置する画像は、全て、露出が不足した画像であると判別されることになる。その結果、通常の画像は、もちろんのこと、花火や夜景などの画像についても、その全ての画像を、露出が適正な画像であると判別することができる。また、一部だけ明るい画像についても、ほぼ全ての画像を、露出が不足した画像であると判別することができる。 In the present embodiment, as described above, the threshold function equation represented by equation (2) is used as an index for determining exposure. For example, as shown in FIG. 10, the constant a is “1” and the constant b is “80”. Then, from the straight line AvBmax = −Av + 80, all the images located in the upper right are determined to be images with appropriate exposure, and all the images located in the lower left are determined to be images with insufficient exposure. Will be. As a result, not only normal images, but also images such as fireworks and night scenes, all the images can be determined to be images with appropriate exposure. Further, even for a partially bright image, it is possible to determine that almost all images are images that are underexposed.
以上のように、本実施例によれば、輝度平均値Av及び最大輝度平均値AvBmaxを変数とする閾値関数式を判別指標とすることにより、より高精度に、画像の露出が適正であるか否かを判別することができる。 As described above, according to the present embodiment, whether the exposure of the image is appropriate with higher accuracy by using the threshold function equation having the luminance average value Av and the maximum luminance average value AvBmax as variables. It can be determined whether or not.
C.変形例:
なお、本発明は上記した実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様にて実施することが可能である。
C. Variation:
The present invention is not limited to the above-described examples and embodiments, and can be implemented in various modes without departing from the scope of the invention.
C−1.変形例1:
上記した第2の実施例では、露出判別を行うために、画像の輝度平均値Avを用いるようにしていたが、本発明は、これに限定されるものではなく、画像の他の特徴量を用いるようにしてもよい。例えば、以下のような特徴量を、輝度平均値Avの代わりに用いるようにしてもよい。
C-1. Modification 1:
In the second embodiment described above, the brightness average value Av of the image is used to perform the exposure determination. However, the present invention is not limited to this, and other feature values of the image are used. You may make it use. For example, the following feature amounts may be used instead of the luminance average value Av.
1.黒つぶれ画素の画素数比:画像全体の画素数に対する輝度値が0の画素数の比
2.暗い画素の画素数比:画像全体の画素数に対する輝度値が0〜iの画素数の比(但し、iは1以上の整数)
3.累積ヒストグラム:暗い側または明るい側からのヒストグラム累積a%の輝度値
4.明るい画素の画素数比:画像全体の画素数に対する輝度値がi〜255の画素数の比(但し、iは1以上の整数)
5.標準偏差:輝度値の標準偏差(JPEG画像の場合は、8×8画素のブロックにおけるDCTのDC成分の標準偏差)
1. 1. Pixel ratio of blackout pixels: ratio of the number of pixels having a luminance value of 0 to the number of pixels of the entire image Pixel number ratio of dark pixels: Ratio of the number of pixels having a luminance value of 0 to i to the number of pixels of the entire image (where i is an integer of 1 or more)
3. 3. Cumulative histogram: luminance value of histogram cumulative a% from dark side or bright side Pixel number ratio of bright pixels: Ratio of the number of pixels having a luminance value of i to 255 with respect to the number of pixels of the entire image (where i is an integer of 1 or more)
5. Standard deviation: Standard deviation of luminance value (in the case of JPEG image, standard deviation of DC component of DCT in 8 × 8 pixel block)
C−2.変形例2:
上記した実施例では、メモリカード150aに記録された画像データを、露出判別の対象としていたが、USBインタフェース部160にデジタルカメラなどを接続して、そのデジタルカメラに記録された画像データを対象としてもよいし、スキャナ部140で読み取った画像データを対象としてもよい。
C-2. Modification 2:
In the embodiment described above, the image data recorded on the
C−3.変形例3:
上記した第2の実施例においては、輝度平均値Av及び最大輝度平均値AvBmaxを算出し、式(2)に示す閾値関数式を用いて露出判別を行うようにしたが、閾値関数式に代えて、ルックアップテーブルを用いて、露出判別を行うようにしてもよい。
C-3. Modification 3:
In the second embodiment described above, the average brightness value Av and the maximum average brightness value AvBmax are calculated and exposure determination is performed using the threshold function formula shown in formula (2). Thus, exposure determination may be performed using a lookup table.
すなわち、輝度平均値Av及び最大輝度平均値AvBmaxを入力とし、判別結果を出力とするようなルックアップテーブルを予め用意し、算出された輝度平均値Av及び最大輝度平均値AvBmaxを、そのルックアップテーブルに入力することにより、その値の組み合わせに対応した判別結果を、そのルックアップテーブルから得るようにするのである。 That is, a look-up table is prepared in advance, in which the luminance average value Av and the maximum luminance average value AvBmax are input, and the determination result is output, and the calculated luminance average value Av and maximum luminance average value AvBmax are looked up. By inputting into the table, a discrimination result corresponding to the combination of the values is obtained from the lookup table.
C−4.変形例4:
上記した実施例では、本発明を「おまかせ印刷」実行時に適用した場合を例として説明したが、例えば、「アシスト印刷」実行時に本発明を適用するようにしてもよい。すなわち、「おまかせ印刷」では、露出判別により、露出が不足した画像であると判別された画像については、印刷対象とせず、印刷が実行されないのに対し、「アシスト印刷」では、例えば、印刷するに先立って、露出判別により、露出が適正な画像であると判別された画像のみを、印刷候補として、液晶ディスプレイ170上に表示して、ユーザの許可を仰ぐようにする。或いは、露出判別の結果を表示して、どの画像が印刷に適しているかを表示するようにしてもよい。
C-4. Modification 4:
In the above-described embodiment, the case where the present invention is applied at the time of performing “automatic printing” has been described as an example. However, for example, the present invention may be applied at the time of performing “assist printing”. That is, in “automatic printing”, an image that is determined to be an image with insufficient exposure as a result of exposure determination is not subjected to printing and printing is not executed, whereas in “assist printing”, for example, printing is performed. Prior to this, only the image whose exposure is determined to be an appropriate image by the exposure determination is displayed as a print candidate on the
C−5.変形例5:
上記した実施例では、画像の露出判別として、露出が適正な画像であるか、露出が不足した画像であるかを判別するようにしているが、露出が適正な画像であるか、露出が超過した画像であるかを判別するようにしてもよい。例えば、各画素の輝度値自体を反転させた上で(すなわち、輝度値0は輝度値255に、輝度値255は輝度値0に置き換える)、同様の露出判別処理を行うことにより、容易に実現することができる。
C-5. Modification 5:
In the above-described embodiment, as the image exposure determination, it is determined whether the exposure is an appropriate image or an underexposure image. However, the exposure is an appropriate image or the exposure is excessive. It is also possible to determine whether the image is a processed image. For example, it is easily realized by performing the same exposure determination process after inverting the luminance value of each pixel itself (that is, replacing
C−6.変形例6:
上記した実施例においては、露出判別処理において、各ブロック毎の最大輝度値Bmaxを用いるようにしていたが、本発明はこれに限定されるものではない。すなわち、最大の輝度値ではなく、それに準ずる値を用いるようにしてもよい。例えば、そのブロックに属する各画素の輝度値のうち、n番目に大きい値を用いるようにしてもよい。または、大きい側からヒストグラム累積m%の値を用いるようにしてもよい。また、輝度値に変えて明度を用いるようにすることもできる。
C-6. Modification 6:
In the above-described embodiment, the maximum brightness value Bmax for each block is used in the exposure determination process, but the present invention is not limited to this. That is, instead of the maximum luminance value, a value according to it may be used. For example, the nth largest value among the luminance values of the pixels belonging to the block may be used. Alternatively, the histogram cumulative m% value may be used from the larger side. Further, the brightness can be used instead of the luminance value.
C−7.変形例7:
上記した実施例においては、画素の輝度値の取り得る範囲を0〜255としたが、本発明はこれに限定されるものではなく、これよりも広い範囲であってもよいし、狭い範囲であってもよい。
C-7. Modification 7:
In the above-described embodiments, the range that the luminance value of the pixel can take is 0 to 255, but the present invention is not limited to this, and may be a wider range or a narrow range. There may be.
C−8.変形例8:
上記した実施例では、本発明の露出判別装置を複合機に適用した場合について説明したが、プリンタ、デジタルカメラ、画像ビューワ、スキャナ、プロジェクタなど、各種デバイスに適用するようにしてもよいし、或いは、コンピュータに適用するようにしてもよい。
C-8. Modification 8:
In the above-described embodiments, the case where the exposure determination apparatus of the present invention is applied to a multifunction peripheral has been described. However, the exposure determination apparatus may be applied to various devices such as a printer, a digital camera, an image viewer, a scanner, and a projector. You may make it apply to a computer.
10...複合機
20...複合機
100...制御回路
110...CPU
111...サムネイル画像取得部
112...特徴量算出領域設定部
113...最大輝度平均値算出部
114...露出判別部
116...画像補正部
118...印刷制御部
119...輝度平均値算出部
120...RAM
130...ROM
140...スキャナ部
150...メモリカードスロット
150a...メモリカード
160...USBインタフェース部
170...液晶ディスプレイ
180...操作部
190...プリンタ部
10 ... MFP 20 ... MFP 100 ...
DESCRIPTION OF
130 ... ROM
DESCRIPTION OF
Claims (12)
前記画像に対応して当該画像の概要を表すサムネイル画像において、前記露出の影響を受ける特徴量の算出対象となる領域としての特徴量算出領域を設定する特徴量算出領域設定部と、
前記設定された特徴量算出領域を複数のブロックに分割し、該分割したブロックにおける前記サムネイル画像を表すサムネイル画像データから、前記分割したブロックに属する各画素の明るさを示す明るさ指標値の対比基準値である明るさ対比基準指標値を前記分割したブロックごとに導き出し、前記分割したブロックごとの前記明るさ対比基準指標値の平均値を前記特徴量の一つである第1の評価値とする第1の評価値導出部と、
前記第1の評価値に基づいて、前記サムネイル画像の露出が適正であるか否かを判別し、前記サムネイル画像の露出が適正であると判別した場合に、前記画像の露出も適正であると判別する露出判別部とを備え、
前記特徴量算出領域設定部は、
前記サムネイル画像における前記特徴量算出領域を設定するに当たり、画像取得時において露出の影響を受けて得られた前記画像データが占める露出関与領域を前記サムネイル画像から抽出して前記特徴量算出領域を設定する
露出判別装置。 An exposure determination device for determining whether or not exposure of an image represented by image data is appropriate,
A feature amount calculation region setting unit that sets a feature amount calculation region as a region for calculation of the feature amount affected by the exposure in a thumbnail image that represents an outline of the image corresponding to the image;
Dividing the set feature amount calculation region into a plurality of blocks, and comparing the brightness index value indicating the brightness of each pixel belonging to the divided block from the thumbnail image data representing the thumbnail image in the divided block A brightness contrast reference index value that is a reference value is derived for each of the divided blocks, and an average value of the brightness contrast reference index values for each of the divided blocks is a first evaluation value that is one of the feature values. A first evaluation value derivation unit,
Based on the first evaluation value, it is determined whether or not the exposure of the thumbnail image is appropriate. When it is determined that the exposure of the thumbnail image is appropriate, the exposure of the image is also appropriate. An exposure discriminating unit for discriminating,
The feature amount calculation area setting unit includes:
In setting the feature amount calculation area in the thumbnail image, the feature amount calculation area is set by extracting from the thumbnail image the exposure-related area occupied by the image data obtained by the influence of exposure at the time of image acquisition. Yes Exposure discrimination device.
前記特徴量算出領域設定部は、
前記画像データによって表される前記画像のアスペクト比に応じて前記露出関与領域を定めて、前記特徴量算出領域を設定する
露出判別装置。 The exposure determination device according to claim 1,
The feature amount calculation area setting unit includes:
An exposure determination apparatus that sets the feature amount calculation area by determining the exposure involved area according to an aspect ratio of the image represented by the image data.
前記特徴量算出領域設定部は、
前記サムネイル画像を走査し、前記サムネイル画像データの推移状況に応じて前記露出関与領域を定めて、前記特徴量算出領域を設定する
露出判別装置。 The exposure determination device according to claim 1,
The feature amount calculation area setting unit includes:
An exposure determination device that scans the thumbnail image, determines the exposure-related region according to a transition state of the thumbnail image data, and sets the feature amount calculation region.
前記露出判別部は、前記第1の評価値が第1の閾値を超えた場合に、前記サムネイル画像の露出が適正であるとして、前記画像についても露出が適正であると判別する
露出判別装置。 An exposure determination apparatus according to any one of claims 1 to 3,
The exposure determination unit determines that the exposure of the thumbnail image is appropriate when the first evaluation value exceeds a first threshold value, and that the exposure of the image is also appropriate.
前記設定された特徴量算出領域に属する前記サムネイル画像データに基づいて、前記特徴量算出領域の前記明るさ指標値の平均値を前記特徴量の一つである第2の評価値として導き出す第2の評価値導出部を備え、
前記露出判別部は、
前記第1及び第2の評価値を変数とする閾値関数式に基づいて、前記サムネイル画像の露出が適正であるか否かを判別し、前記サムネイル画像の露出が適正であると判別した場合に、前記画像の露出も適正であると判別する
露出判別装置。 An exposure determination apparatus according to any one of claims 1 to 3,
A second value for deriving an average value of the brightness index values of the feature quantity calculation area as a second evaluation value as one of the feature quantities based on the thumbnail image data belonging to the set feature quantity calculation area. Evaluation value deriving unit
The exposure determination unit
When it is determined whether or not the thumbnail image is properly exposed based on a threshold function equation having the first and second evaluation values as variables, and when it is determined that the thumbnail image is appropriately exposed An exposure discrimination device that discriminates that the exposure of the image is also appropriate.
前記第1の評価値である前記明るさ対比基準指標値の平均値を、前記分割されたブロックに属する各画素の輝度値から前記分割されたブロックごとに導き出した最大輝度値の平均値AvRmaxとし、前記第2の評価値である前記明るさ指標値の平均値を、前記設定された特徴量算出領域に属する各画素の輝度値から導き出した輝度値の平均値Avとし、定数をa,b(但し、a,bは正の数)とした場合に、前記閾値関数式は、
AvRmax>−a・Av+b
であり、
前記閾値関数式を満たした場合に、前記サムネイル画像の露出が適正であるとして、前記画像についても露出が適正であると判別する
露出判別装置。 The exposure determination device according to claim 5,
The average value AvRmax of the maximum luminance value derived for each of the divided blocks from the luminance value of each pixel belonging to the divided block is the average value of the brightness contrast reference index value that is the first evaluation value. The average value of the brightness index values as the second evaluation value is the average value Av of the luminance values derived from the luminance values of the pixels belonging to the set feature amount calculation area, and the constants are a and b. (Where a and b are positive numbers), the threshold function equation is
AvRmax> −a · Av + b
And
An exposure discriminating apparatus that discriminates that the exposure of the thumbnail image is appropriate when the threshold function equation is satisfied, and that the exposure of the thumbnail image is appropriate.
前記画像がJPEG(Joint Photographic Experts Group)にて圧縮されたJPEG画像である場合に、各画素の輝度値の平均値Avは、前記JPEG画像の8×8画素ブロック毎に得られる離散コサイン変換(DCT:discrete cosine transform)のDC成分の平均値として求める
露出判別装置。 The exposure determination device according to claim 6,
When the image is a JPEG image compressed by JPEG (Joint Photographic Experts Group), the average value Av of the luminance value of each pixel is a discrete cosine transform obtained for each 8 × 8 pixel block of the JPEG image ( An exposure discriminating apparatus that calculates the average value of DC components of DCT (discrete cosine transform).
(a)前記画像に対応して当該画像の概要を表すサムネイル画像において、前記露出の影響を受ける特徴量の算出対象となる領域としての特徴量算出領域を設定する工程と、
(b)前記設定された特徴量算出領域を複数のブロックに分割し、該分割したブロックにおける前記サムネイル画像を表すサムネイル画像データから、前記分割したブロックに属する各画素の明るさを示す明るさ指標値の対比基準値である明るさ対比基準指標値を前記分割したブロックごとに導き出し、前記分割したブロックごとの前記明るさ対比基準指標値の平均値を前記特徴量の一つである第1の評価値とする工程と
(c)前記第1の評価値に基づいて、前記サムネイル画像の露出が適正であるか否かを判別し、前記サムネイル画像の露出が適正であると判別した場合に、前記画像の露出も適正であると判別する工程とを備え、
前記特徴量算出領域を設定する工程(a)では、
前記サムネイル画像における前記特徴量算出領域を設定するに当たり、画像取得時において露出の影響を受けて得られた前記画像データが占める露出関与領域を前記サムネイル画像から抽出して前記特徴量算出領域を設定する
露出判別方法。 An exposure determination method for determining whether or not exposure of an image represented by image data is appropriate,
(A) a step of setting a feature amount calculation region as a region for calculating a feature amount affected by exposure in a thumbnail image representing an outline of the image corresponding to the image;
(B) A brightness index indicating the brightness of each pixel belonging to the divided block from the thumbnail image data representing the thumbnail image in the divided block, by dividing the set feature amount calculation region into a plurality of blocks. A brightness contrast reference index value that is a contrast reference value of values is derived for each of the divided blocks, and an average value of the brightness contrast reference index values for each of the divided blocks is one of the feature quantities. (C) based on the first evaluation value, it is determined whether or not the exposure of the thumbnail image is appropriate, and when it is determined that the exposure of the thumbnail image is appropriate, A step of determining that the exposure of the image is also appropriate,
In the step (a) of setting the feature amount calculation area,
In setting the feature amount calculation region in the thumbnail image, the feature amount calculation region is set by extracting from the thumbnail image an exposure-related region occupied by the image data obtained by the influence of exposure at the time of image acquisition. Yes Exposure discrimination method.
前記明るさ対比基準指標値の平均値を前記特徴量の一つである第1の評価値とする工程(a)では、
前記第1の評価値に加え、前記設定された特徴量算出領域に属する前記サムネイル画像データに基づいて、前記特徴量算出領域の前記明るさ指標値の平均値を前記特徴量の一つである第2の評価値として導き出し、
前記露出の適正を判定する工程(C)では、
前記第1及び第2の評価値を変数とする閾値関数式に基づいて、前記サムネイル画像の露出が適正であるか否かを判別し、前記サムネイル画像の露出が適正であると判別した場合に、前記画像の露出も適正であると判別する
露出判別方法。 The exposure determination method according to claim 8,
In the step (a) in which the average value of the brightness contrast reference index value is set as a first evaluation value that is one of the feature amounts,
Based on the thumbnail image data belonging to the set feature quantity calculation area in addition to the first evaluation value, an average value of the brightness index values in the feature quantity calculation area is one of the feature quantities. Derived as the second evaluation value,
In the step (C) of determining the appropriateness of the exposure,
When it is determined whether or not the thumbnail image is properly exposed based on a threshold function equation having the first and second evaluation values as variables, and when it is determined that the thumbnail image is appropriately exposed An exposure determination method for determining that the exposure of the image is also appropriate.
(a)前記画像に対応して当該画像の概要を表すサムネイル画像において、前記露出の影響を受ける特徴量の算出対象となる領域としての特徴量算出領域を設定する手順と、
(b)前記設定された特徴量算出領域を複数のブロックに分割し、該分割したブロックにおける前記サムネイル画像を表すサムネイル画像データから、前記分割したブロックに属する各画素の明るさを示す明るさ指標値の対比基準値である明るさ対比基準指標値を前記分割したブロックごとに導き出し、前記分割したブロックごとの前記明るさ対比基準指標値の平均値を前記特徴量の一つである第1の評価値とする手順と
(c)前記第1の評価値に基づいて、前記サムネイル画像の露出が適正であるか否かを判別し、前記サムネイル画像の露出が適正であると判別した場合に、前記画像の露出も適正であると判別する手順とをコンピュータに実行させると共に、
前記特徴量算出領域を設定する手順(a)では、
前記サムネイル画像における前記特徴量算出領域を設定するに当たり、画像取得時において露出の影響を受けて得られた前記画像データが占める露出関与領域を前記サムネイル画像から抽出して前記特徴量算出領域を設定する手順をコンピュータに実行させるためのコンピュータプログラム。 A computer program for determining whether exposure of an image represented by image data is appropriate,
(A) a procedure for setting a feature quantity calculation region as a target area for calculating a feature quantity affected by exposure in a thumbnail image representing an outline of the image corresponding to the image;
(B) A brightness index indicating the brightness of each pixel belonging to the divided block from the thumbnail image data representing the thumbnail image in the divided block, by dividing the set feature amount calculation region into a plurality of blocks. A brightness contrast reference index value that is a contrast reference value of values is derived for each of the divided blocks, and an average value of the brightness contrast reference index values for each of the divided blocks is one of the feature quantities. (C) Based on the first evaluation value, it is determined whether or not the exposure of the thumbnail image is appropriate, and when it is determined that the exposure of the thumbnail image is appropriate, And causing the computer to execute a procedure for determining that the exposure of the image is also appropriate,
In the procedure (a) for setting the feature amount calculation area,
In setting the feature amount calculation region in the thumbnail image, the feature amount calculation region is set by extracting from the thumbnail image an exposure-related region occupied by the image data obtained by the influence of exposure at the time of image acquisition. A computer program for causing a computer to execute the procedure to be executed.
前記明るさ対比基準指標値の平均値を前記特徴量の一つである第1の評価値とする手順(a)では、
前記第1の評価値に加え、前記設定された特徴量算出領域に属する前記サムネイル画像データに基づいて、前記特徴量算出領域の前記明るさ指標値の平均値を前記特徴量の一つである第2の評価値として導き出す手順をコンピュータに実行させると共に、
前記露出の適正を判定する手順(C)では、
前記第1及び第2の評価値を変数とする閾値関数式に基づいて、前記サムネイル画像の露出が適正であるか否かを判別し、前記サムネイル画像の露出が適正であると判別した場合に、前記画像の露出も適正であると判別する手順をコンピュータに実行させるためのコンピュータプログラム。 A computer program according to claim 10,
In the procedure (a) in which the average value of the brightness contrast reference index value is the first evaluation value that is one of the feature amounts,
Based on the thumbnail image data belonging to the set feature quantity calculation area in addition to the first evaluation value, an average value of the brightness index values in the feature quantity calculation area is one of the feature quantities. Causing the computer to execute a procedure derived as the second evaluation value;
In the procedure (C) for determining the appropriateness of exposure,
When it is determined whether or not the thumbnail image is properly exposed based on a threshold function equation having the first and second evaluation values as variables, and when it is determined that the thumbnail image is appropriately exposed A computer program for causing a computer to execute a procedure for determining that the exposure of the image is also appropriate.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006307942A JP2008124890A (en) | 2006-11-14 | 2006-11-14 | Exposure discrimination apparatus and its method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006307942A JP2008124890A (en) | 2006-11-14 | 2006-11-14 | Exposure discrimination apparatus and its method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008124890A true JP2008124890A (en) | 2008-05-29 |
Family
ID=39509170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006307942A Withdrawn JP2008124890A (en) | 2006-11-14 | 2006-11-14 | Exposure discrimination apparatus and its method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008124890A (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0968764A (en) * | 1995-06-23 | 1997-03-11 | Fuji Photo Film Co Ltd | Method for image processing |
JP2000228747A (en) * | 1998-12-03 | 2000-08-15 | Olympus Optical Co Ltd | Picture processor |
JP2002027314A (en) * | 2000-07-04 | 2002-01-25 | Canon Inc | Image pickup device, controller of image pickup device and method for pickup image |
JP2004112756A (en) * | 2001-01-17 | 2004-04-08 | Seiko Epson Corp | Output image adjustment of image file |
JP2004157818A (en) * | 2002-11-07 | 2004-06-03 | Panasonic Communications Co Ltd | Image processor and image processing method |
JP2004260835A (en) * | 1999-09-27 | 2004-09-16 | Seiko Epson Corp | Image processor, image processing method, and medium recording image processing control program |
JP2004282416A (en) * | 2003-03-17 | 2004-10-07 | Oki Data Corp | Method and apparatus for processing image |
-
2006
- 2006-11-14 JP JP2006307942A patent/JP2008124890A/en not_active Withdrawn
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0968764A (en) * | 1995-06-23 | 1997-03-11 | Fuji Photo Film Co Ltd | Method for image processing |
JP2000228747A (en) * | 1998-12-03 | 2000-08-15 | Olympus Optical Co Ltd | Picture processor |
JP2004260835A (en) * | 1999-09-27 | 2004-09-16 | Seiko Epson Corp | Image processor, image processing method, and medium recording image processing control program |
JP2002027314A (en) * | 2000-07-04 | 2002-01-25 | Canon Inc | Image pickup device, controller of image pickup device and method for pickup image |
JP2004112756A (en) * | 2001-01-17 | 2004-04-08 | Seiko Epson Corp | Output image adjustment of image file |
JP2004157818A (en) * | 2002-11-07 | 2004-06-03 | Panasonic Communications Co Ltd | Image processor and image processing method |
JP2004282416A (en) * | 2003-03-17 | 2004-10-07 | Oki Data Corp | Method and apparatus for processing image |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4281311B2 (en) | Image processing using subject information | |
JP4834725B2 (en) | Method and apparatus for incorporating iris color in red-eye correction | |
US11069068B2 (en) | Image processing apparatus that performs multi-crop processing, method of generating image in units of documents by multi-crop processing and storage medium | |
JP4572345B2 (en) | Printing apparatus, image data file processing apparatus, method for selecting image data file, method for assisting selection of image data file, and computer program | |
US7796305B2 (en) | Image processing apparatus, image processing method, and program | |
JP2010263423A (en) | Method and device for processing image | |
JP4672587B2 (en) | Image output method, apparatus and program | |
US7768674B2 (en) | Exposure determining device and exposure determining method | |
JP4007368B2 (en) | Output image adjustment of image data | |
JP4859938B2 (en) | Image processing using subject information | |
US8311333B2 (en) | Area determination method, image compression method, image compression apparatus, and recording medium | |
US8285043B2 (en) | Image processing apparatus and image processing method | |
US8693049B2 (en) | Image processing apparatus for selecting a feature area, image processing method and storage medium therefor | |
JP2009065224A (en) | Image data analyzing device, image data analisis method, and program | |
US8630503B2 (en) | Image processing apparatus, image processing method, and computer program | |
JP4665802B2 (en) | Lightness correction processing apparatus and lightness correction determination method | |
JP2008124890A (en) | Exposure discrimination apparatus and its method | |
JP4941444B2 (en) | Program used for exposure discrimination and image processing apparatus | |
JP2009246897A (en) | Image processor | |
JP2006048223A (en) | Image processor, image processing method and computer program | |
JP4235592B2 (en) | Image processing method and image processing apparatus | |
JP4838228B2 (en) | Output device for outputting image, output method, and program | |
JP2004104662A (en) | Image forming device | |
JP2008206179A (en) | Output image adjustment of image data | |
JP2009163492A (en) | Image processing apparatus, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Effective date: 20090226 Free format text: JAPANESE INTERMEDIATE CODE: A621 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100921 |
|
A761 | Written withdrawal of application |
Effective date: 20101025 Free format text: JAPANESE INTERMEDIATE CODE: A761 |