JP2008083892A

JP2008083892A - Image evaluation device and method, and program

Info

Publication number: JP2008083892A
Application number: JP2006261860A
Authority: JP
Inventors: Shunichiro Nonaka; 俊一郎野中; Yosuke Shirahata; 陽介白畑
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-09-27
Filing date: 2006-09-27
Publication date: 2008-04-10

Abstract

<P>PROBLEM TO BE SOLVED: To efficiently calculate an evaluation value in a short processing time, when evaluating an image. <P>SOLUTION: A CPU 12 determines whether a feature amount of an image to be processed is stored tentatively in a cache 30 or not, when the image to be evaluated is specified. When the feature amount of the image is stored in the cache 30, an individual evaluation value calculating part 32 calculates a plurality of kinds of individual evaluation values, using the feature amount stored in the cache 30, and an overall evaluation value calculating part 34 calculates an overall evaluation value, based on the plurality of individual evaluation values. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、画像を評価する画像評価装置および方法並びに画像評価方法をコンピュータに実行させるためのプログラムに関するものである。 The present invention relates to an image evaluation apparatus and method for evaluating an image, and a program for causing a computer to execute the image evaluation method.

近年、デジタルカメラの普及と画像を記録しておくための記録媒体の容量が飛躍的に大きくなったことにより、ユーザは多くの画像を１つの記録媒体内に保持することが可能になってきている。その一方で、プリント注文等の処理をすべき画像を膨大な画像の中から選ぶという手間が生じており、効率的に画像を選択するために、最終的にユーザがプリントする画像として判断する前にある程度の条件で画像を絞り込む機能や、ユーザの嗜好に合わせてプリントに適した画像を選択する機能が求められている。 In recent years, the spread of digital cameras and the increase in the capacity of recording media for recording images have made it possible for users to hold many images in a single recording medium. Yes. On the other hand, there is a trouble of selecting an image to be processed, such as a print order, from a vast number of images, and in order to select an image efficiently, the user finally determines that the image is to be printed. In addition, there is a demand for a function for narrowing an image under a certain condition and a function for selecting an image suitable for printing according to the user's preference.

例えば、特許文献１には、複数の画像に対して、ピント、露光量、ブレ量、被写体の大きさおよびコントラスト等を用いて評価を行い、画像の順位を表示する手法が提案されている。また、特許文献２には、画像の明るさ、カメラに設けられた加速度センサの出力値、ＡＦ評価のいずれかの評価値を基準として、プリントに適した画像を自動的に選択する手法が開示されている。これらの手法によれば、画像の評価結果に基づいて、評価値が上位の画像をプリントに適した画像として選択することができるため、ユーザの負担を軽減することができる。
特開２０００−１３７７９１号公報特開２００２−１０１７９号公報 For example, Patent Document 1 proposes a method of evaluating a plurality of images using focus, exposure amount, blur amount, subject size, contrast, and the like, and displaying the order of the images. Patent Document 2 discloses a method for automatically selecting an image suitable for printing on the basis of any evaluation value of image brightness, output value of an acceleration sensor provided in the camera, and AF evaluation. Has been. According to these methods, an image with a higher evaluation value can be selected as an image suitable for printing based on the evaluation result of the image, so that the burden on the user can be reduced.
JP 2000-137771 A JP 2002-10179 A

しかしながら、画像の評価を行う場合、評価の対象となる画像をメディア等から読み出す処理、ピント、露光量、ブレ量、被写体の大きさおよびコントラスト等の画像の評価値を算出する処理、および算出した評価値を用いての総合的な評価値の算出処理を、評価の対象となるすべての画像に対して行う必要がある。ここで、上記特許文献１，２における画像の評価は、まず画像の明るさやブレ量等の特徴量を算出し、算出した特徴量を用いて画像の評価値を算出することにより行われるが、特徴量の算出は処理に長時間を要するため、複数の画像についての評価値を算出する場合、上記特許文献１，２に記載の手法においては、効率よく評価値を算出することができない。 However, when evaluating an image, a process of reading an image to be evaluated from a medium, a process of calculating an evaluation value of the image such as a focus, an exposure amount, a blur amount, a subject size and a contrast, and a calculation Comprehensive evaluation value calculation processing using evaluation values must be performed for all images to be evaluated. Here, the evaluation of the image in Patent Documents 1 and 2 is performed by first calculating a feature amount such as brightness and blur amount of the image, and calculating an evaluation value of the image using the calculated feature amount. Since calculation of feature amounts takes a long time for processing, when calculating evaluation values for a plurality of images, the methods described in Patent Documents 1 and 2 cannot efficiently calculate evaluation values.

本発明は上記事情に鑑みなされたものであり、画像の評価を行う際に、処理時間を短縮して評価値の算出を効率よく行うことを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to efficiently calculate an evaluation value by reducing processing time when evaluating an image.

本発明による画像評価装置は、処理対象の画像が記憶された記憶手段から読み出した、該処理対象の画像に含まれる複数種類の特徴量をそれぞれ算出する特徴量算出手段と、
該複数種類の特徴量を一時的に記憶するキャッシュ機能を有する一時記憶手段と、
該複数種類の特徴量に対応する複数種類の個別評価値をそれぞれ算出する個別評価値算出手段と、
前記個別評価値算出手段が算出した前記複数種類の個別評価値に基づいて、前記処理対象の画像の総合的な評価値である総合評価値を算出する総合評価値算出手段とを備え、
前記個別評価値算出手段が、前記処理対象の画像の特徴量が前記一時記憶手段に記憶されている場合、該一時記憶手段に記憶された特徴量を読み出して前記個別評価値を算出する手段であることを特徴とするものである。 An image evaluation apparatus according to the present invention includes a feature amount calculation unit that calculates a plurality of types of feature amounts included in an image to be processed, each of which is read from a storage unit in which the image to be processed is stored;
Temporary storage means having a cache function for temporarily storing the plurality of types of feature values;
Individual evaluation value calculating means for calculating a plurality of types of individual evaluation values corresponding to the plurality of types of feature amounts;
Comprehensive evaluation value calculation means for calculating a comprehensive evaluation value, which is a comprehensive evaluation value of the image to be processed, based on the plurality of types of individual evaluation values calculated by the individual evaluation value calculation means,
In the case where the feature value of the image to be processed is stored in the temporary storage unit, the individual evaluation value calculation unit reads out the feature amount stored in the temporary storage unit and calculates the individual evaluation value. It is characterized by being.

「記憶手段」とは、容量は非常に大きいが読み出し速度が比較的低速な記憶手段であり、具体的には磁気的に情報を記憶する磁気記憶媒体であるハードディスクが挙げられる。 The “storage unit” is a storage unit that has a very large capacity but a relatively low reading speed, and specifically includes a hard disk that is a magnetic storage medium that stores information magnetically.

「一時記憶手段」とは、容量は小さいが、ハードディスク等のデータの読み出し速度が低速な記憶手段に記憶されているデータの一部を、一時的に記憶する高速読み出し可能な記憶手段である。このような一時記憶手段にデータを一時的に記憶しておけば、データの読み出し要求があったときに、ハードディスクからデータを読み出す必要がないため、読み出し速度が飛躍的に向上する。 The “temporary storage unit” is a storage unit capable of high-speed reading that temporarily stores a part of data stored in a storage unit having a small capacity but a low data reading speed such as a hard disk. If data is temporarily stored in such a temporary storage means, it is not necessary to read data from the hard disk when a data read request is made, so that the read speed is dramatically improved.

本発明による画像評価方法は、処理対象の画像が記憶された記憶手段から読み出した、該処理対象の画像に含まれる複数種類の特徴量をそれぞれ算出し、
該複数種類の特徴量に対応する複数種類の個別評価値をそれぞれ算出し、
該複数種類の個別評価値に基づいて、前記処理対象の画像の総合的な評価値である総合評価値を算出するに際し、
前記処理対象の画像の特徴量が前記複数種類の特徴量を一時的に記憶するキャッシュ機能を有する一時記憶手段に記憶されている場合、該一時記憶手段に記憶された特徴量を読み出して前記個別評価値を算出することを特徴とするものである。 The image evaluation method according to the present invention calculates a plurality of types of feature amounts included in the processing target image read from the storage unit in which the processing target image is stored,
A plurality of types of individual evaluation values corresponding to the plurality of types of feature quantities are calculated,
When calculating a comprehensive evaluation value, which is a comprehensive evaluation value of the image to be processed, based on the plurality of types of individual evaluation values,
When the feature amount of the image to be processed is stored in a temporary storage unit having a cache function for temporarily storing the plurality of types of feature amounts, the feature amount stored in the temporary storage unit is read and the individual amount is stored. An evaluation value is calculated.

なお、本発明による画像評価方法をコンピュータに実行させるためのプログラムとして提供してもよい。 The image evaluation method according to the present invention may be provided as a program for causing a computer to execute the image evaluation method.

本発明によれば、処理対象の画像が記憶された記憶手段から読み出された処理対象の画像から複数種類の特徴量がそれぞれ算出され、算出された特徴量が一時記憶手段に記憶される。そして、複数種類の特徴量に対応する複数種類の個別評価値がそれぞれ算出され、算出された複数種類の個別評価値に基づいて、処理対象の画像の総合評価値が算出される。この際に、処理対象の画像の特徴量が一時記憶手段に記憶されている場合には、一時記憶手段に記憶された特徴量が読み出されて個別評価値の算出が行われる。このため、処理対象に指定された画像の特徴量が一時記憶手段に記憶されている場合には、特徴量を算出する必要がなくなり、これにより、評価値算出のための処理時間を短縮して効率よく評価値を算出することができる。 According to the present invention, a plurality of types of feature amounts are calculated from the processing target image read from the storage unit storing the processing target image, and the calculated feature amounts are stored in the temporary storage unit. Then, a plurality of types of individual evaluation values corresponding to the plurality of types of feature amounts are respectively calculated, and a comprehensive evaluation value of the image to be processed is calculated based on the calculated types of individual evaluation values. At this time, if the feature amount of the image to be processed is stored in the temporary storage unit, the feature amount stored in the temporary storage unit is read and the individual evaluation value is calculated. For this reason, when the feature amount of the image designated as the processing target is stored in the temporary storage means, it is not necessary to calculate the feature amount, thereby reducing the processing time for calculating the evaluation value. An evaluation value can be calculated efficiently.

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像評価装置の構成を示す概略ブロック図である。図１に示すように、本実施形態による画像評価装置１は、画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、ＣＰＵ１２を動作させるプログラム、画像を閲覧するためのビューアソフトおよび各種定数が記録されているＲＯＭおよびＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、各種表示を行う液晶モニタ等からなる表示部１６と、表示部１６を制御する表示制御部１８と、種々の指示および入力を装置１に対して行うためのキーボード、マウスおよびタッチパネル等からなる入力部２０と、入力部２０を制御する入力制御部２２とを備える。なお、システムメモリ１４は、ＲＡＭの一部の領域において、評価値算出の処理対象となる画像等を一時的に記憶するためのキャッシュ３０を構成する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a schematic block diagram showing the configuration of an image evaluation apparatus according to an embodiment of the present invention. As shown in FIG. 1, the image evaluation apparatus 1 according to the present embodiment performs various controls such as recording control and display control of image data, and controls each part of the apparatus 1 and operates the CPU 12. From a program, a viewer software for viewing images, a ROM in which various constants are recorded, and a system memory 14 including a RAM that is a work area when the CPU 12 executes processing, a liquid crystal monitor that performs various displays, and the like The display unit 16, the display control unit 18 that controls the display unit 16, the input unit 20 that includes a keyboard, a mouse, and a touch panel for performing various instructions and inputs to the device 1, and the input unit 20 is controlled. And an input control unit 22. Note that the system memory 14 constitutes a cache 30 for temporarily storing an image or the like to be processed for evaluation value calculation in a partial area of the RAM.

また、画像評価装置１は、画像を表す画像データを記録したメモリカード等のメディアから画像データを読み出したり画像データをメディアに記録したりするための画像読込部２４と、画像読込部２４を制御する画像読込制御部２６と、画像データを含む各種情報を保存するハードディスク２８とを備える。 The image evaluation apparatus 1 controls the image reading unit 24 for reading image data from a medium such as a memory card in which image data representing an image is recorded and for recording image data on the medium, and the image reading unit 24. An image reading control unit 26 that stores the image data, and a hard disk 28 that stores various types of information including image data.

なお、画像読込部２４が読み込んだ画像は、ハードディスク２８に保存される。そして、後述する評価値を算出する処理を行う際に、ハードディスク２８から処理対象の画像が読み出され、評価値算出の処理が施される。この際、必要に応じて読み出した画像をキャッシュ３０に一時的に記憶してもよい。 The image read by the image reading unit 24 is stored in the hard disk 28. Then, when processing for calculating an evaluation value, which will be described later, is performed, an image to be processed is read from the hard disk 28, and processing for calculating an evaluation value is performed. At this time, the read image may be temporarily stored in the cache 30 as necessary.

ここで、キャッシュ３０にはその容量に応じた数の画像が一時的に記憶される。例えば、画像のファイルサイズが１ＭＢ、キャッシュ３０の容量が３ＭＢである場合には、３つの画像がキャッシュ３０に一時的に記憶される。そして、新たな画像が読み出された場合には、その新たな画像が最も古い画像に代えてキャッシュ３０に記憶される。 Here, the number of images corresponding to the capacity is temporarily stored in the cache 30. For example, when the image file size is 1 MB and the capacity of the cache 30 is 3 MB, three images are temporarily stored in the cache 30. When a new image is read out, the new image is stored in the cache 30 instead of the oldest image.

また、画像評価装置１は、作業者が入力部２０を用いて指定した画像および評価項目についての処理対象の画像の評価値（個別評価値とする）を算出するための個別評価値算出部３２と、個別評価値算出部３２が算出した個別評価値に基づいて、処理対象の画像の総合評価値を算出する総合評価値算出部３４とを備える。 The image evaluation apparatus 1 also calculates an individual evaluation value calculation unit 32 for calculating an evaluation value (an individual evaluation value) of an image to be processed for an image and evaluation items specified by the operator using the input unit 20. And an overall evaluation value calculation unit 34 that calculates an overall evaluation value of the image to be processed based on the individual evaluation value calculated by the individual evaluation value calculation unit 32.

個別評価値算出部３２は、画像読込部２４が読み込んだ複数の画像をイベント毎の複数のグループに分類し、画像がいずれのグループに分類されたかを表す情報を特徴量の１つとして算出するイベント分類部４０と、イベント分類部４０が分類した複数のグループの重要度であるイベント重要度をそのグループに分類された画像の個別評価値の１つとして算出するイベント重要度算出部４２と、画像読込部２４が読み込んだ複数の画像同士の類似度を特徴量の１つとして算出する類似判定部４４と、類似判定部４４が算出した類似度に基づいて複数の画像を類似画像からなる複数のグループに分類し、画像がいずれのグループに分類されたかを表す情報を特徴量の１つとして算出する類似分類部４６と、類似分類部４６が分類した複数のグループの重要度である類似重要度をそのグループに分類された画像の個別評価値の１つとして算出する類似重要度算出部４８とを備える。 The individual evaluation value calculation unit 32 classifies the plurality of images read by the image reading unit 24 into a plurality of groups for each event, and calculates information indicating to which group the image is classified as one of the feature amounts. An event classification unit 40, an event importance level calculation unit 42 that calculates an event importance level, which is an importance level of a plurality of groups classified by the event classification unit 40, as one of the individual evaluation values of the images classified into the group; A similarity determination unit 44 that calculates the similarity between a plurality of images read by the image reading unit 24 as one of the feature amounts, and a plurality of images that are similar images based on the similarity calculated by the similarity determination unit 44. A similar classification unit 46 that calculates information indicating to which group the image is classified as one of the feature quantities, and a plurality of groups classified by the similar classification unit 46 And a similarity importance calculation section 48 for calculating a similarity degree of importance is the importance of the flop as one of individual evaluation values of the classified images in the group.

イベント分類部４０は、一連のひとかたまりの意図で撮影された画像の組であるイベント毎の複数のグループに複数の画像を分類する。具体的には、複数の画像を撮影日時順にソートし、撮影時間差が所定値以上となる２つの画像の間をイベントの区切り位置とする手法を用いて、複数の画像をイベント毎の複数のグループに分類する。なお、複数の画像をイベント毎の複数のグループに分類する手法はこの手法に限定されるものではなく、１つの撮影場所を１つのイベントと見なし、画像に付与された撮影場所の情報を用いて撮影場所毎の複数のグループに分類する等、種々の手法を用いることができる。 The event classification unit 40 classifies a plurality of images into a plurality of groups for each event, which is a set of images taken with a series of intentions. Specifically, a plurality of images are sorted into a plurality of groups for each event by using a technique in which a plurality of images are sorted in order of shooting date and time, and an interval between two images whose shooting time difference is equal to or larger than a predetermined value is used. Classify into: Note that the method of classifying a plurality of images into a plurality of groups for each event is not limited to this method, and one shooting location is regarded as one event, and information on the shooting location given to the image is used. Various methods such as classification into a plurality of groups for each photographing location can be used.

イベント重要度算出部４２は、例えば特開２００６−１７１９４２号公報に記載されたように、グループに含まれる画像数、および各グループに関連するグループの数等の情報に基づいてグループの重要度を算出する手法を用いて、イベント重要度を個別評価値の１つとして算出する。 For example, as described in Japanese Patent Application Laid-Open No. 2006-171942, the event importance calculation unit 42 determines the importance of a group based on information such as the number of images included in the group and the number of groups related to each group. The event importance is calculated as one of the individual evaluation values using a calculation method.

類似重要度算出部４８は、例えば、類似する画像からなる各グループ内においてさらに類似する画像からなる類似画像グループを生成し、各グループにおける類似画像グループの数および／または類似画像グループに含まれる画像の数に応じて、各グループの重要度を設定する手法を用いて類似重要度を個別評価値の１つとして算出する。 The similarity importance degree calculation unit 48 generates, for example, a similar image group made up of similar images within each group made up of similar images, and the number of similar image groups in each group and / or images included in the similar image groups. The similarity importance is calculated as one of the individual evaluation values by using a method of setting the importance of each group according to the number of.

また、個別評価値算出部３２は、処理の対象となる画像から顔を検出し、検出した顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、および顔の検出スコアの少なくとも１つの情報を特徴量として算出する顔検出部５０と、顔検出部５０が算出した特徴量に基づく評価値を個別評価値の１つとして算出する顔評価部５２とを備える。 Further, the individual evaluation value calculation unit 32 detects a face from the image to be processed, and detects the detected face size, position on the face image, face orientation, face rotation angle, and face detection score. A face detection unit 50 that calculates at least one piece of information as a feature amount, and a face evaluation unit 52 that calculates an evaluation value based on the feature amount calculated by the face detection unit 50 as one of individual evaluation values.

また、個別評価値算出部３２は、処理対象の画像の明るさ（例えば画像の全画素の画素値の平均値）を特徴量の１つとして算出する明るさ判定部５４と、明るさ判定部５４が算出した画像の明るさに基づいて処理対象の画像の明るさに基づく評価値を個別評価値の１つとして算出する明るさ評価部５６とを備える。 The individual evaluation value calculation unit 32 includes a brightness determination unit 54 that calculates the brightness of the image to be processed (for example, an average value of pixel values of all pixels of the image) as one of the feature amounts, and a brightness determination unit. And a brightness evaluation unit 56 that calculates an evaluation value based on the brightness of the image to be processed as one of the individual evaluation values based on the brightness of the image calculated by 54.

さらに、個別評価値算出部３２は、処理対象の画像のボケおよびブレの程度を表す情報を特徴量の１つとして算出するボケブレ判定部５８と、ボケブレ判定部５８が算出した特徴量に基づく評価値を個別評価値の１つとして算出するボケブレ評価部６０とを備える。なお、ボケおよびブレの情報については、高周波成分が少ないほど画像のボケおよびブレが多いことから、画像に含まれる高周波成分を検出し、高周波成分量に反比例する値をボケおよびブレの程度を表す特徴量として算出する手法を用いることができる。 Furthermore, the individual evaluation value calculation unit 32 calculates a blur and blur determination unit 58 that calculates information indicating the degree of blur and blur of the processing target image as one of the feature amounts, and an evaluation based on the feature amount calculated by the blur blur determination unit 58. And a blur blur evaluation unit 60 that calculates a value as one of the individual evaluation values. As for blur and blur information, the smaller the high-frequency component, the more blur and blur of the image. Therefore, the high-frequency component included in the image is detected, and the value inversely proportional to the amount of high-frequency component represents the degree of blur and blur. A method of calculating as a feature amount can be used.

なお、個別評価値算出部３２は、上述したイベント分類部４０、イベント重要度算出部４２、類似判定部４４、類似分類部４６、類似重要度算出部４８、顔検出部５０、顔評価部５２、明るさ判定部５４、明るさ評価部５６、ボケブレ判定部５８およびボケブレ評価部６０以外の、画像に含まれる他の特徴量を算出し、算出した他の特徴量に基づいて個別評価値を算出する手段を備えるようにしてもよい。例えば、顔の表情を特徴量の１つとして検出し、顔の表情に基づく評価値を個別評価値の１つとして算出する手段を備えるようにしてもよい。 The individual evaluation value calculation unit 32 includes the event classification unit 40, event importance calculation unit 42, similarity determination unit 44, similarity classification unit 46, similarity importance calculation unit 48, face detection unit 50, and face evaluation unit 52 described above. Other than the brightness determination unit 54, the brightness evaluation unit 56, the blur blur determination unit 58, and the blur blur evaluation unit 60, other feature amounts included in the image are calculated, and an individual evaluation value is calculated based on the calculated other feature amounts. You may make it provide the means to calculate. For example, there may be provided means for detecting a facial expression as one of the feature quantities and calculating an evaluation value based on the facial expression as one of the individual evaluation values.

また、個別評価値算出部３２は、イベント分類部４０、イベント重要度算出部４２、類似判定部４４、類似分類部４６、類似重要度算出部４８、顔検出部５０、顔評価部５２、明るさ判定部５４、明るさ評価部５６、ボケブレ判定部５８およびボケブレ評価部６０のすべてを備える必要はなく、例えば、顔検出部５０、顔評価部５２、明るさ判定部５４、および明るさ評価部５６というようにその一部のみを備えるものであってもよい。 The individual evaluation value calculation unit 32 includes an event classification unit 40, an event importance calculation unit 42, a similarity determination unit 44, a similarity classification unit 46, a similarity importance calculation unit 48, a face detection unit 50, a face evaluation unit 52, brightness It is not necessary to include all of the height determination unit 54, the brightness evaluation unit 56, the blur blur determination unit 58, and the blur blur evaluation unit 60. For example, the face detection unit 50, the face evaluation unit 52, the brightness determination unit 54, and the brightness evaluation Only a part of the unit 56 may be provided.

また、個別評価値算出部３２は、上述したイベント分類部４０、イベント重要度算出部４２、類似判定部４４、類似分類部４６、類似重要度算出部４８、顔検出部５０、顔評価部５２、明るさ判定部５４、明るさ評価部５６、ボケブレ判定部５８およびボケブレ評価部６０を備えているため、処理対象の画像についてのイベント重要度、類似画像重要度、顔評価値、明るさ評価値およびボケブレ評価値を処理対象の画像の個別評価値として算出することができるが、作業者が入力部２０から指定した評価項目についての個別評価値のみを算出するようにしてもよい。例えば、作業者が入力部２０からイベント重要度、顔評価値および明るさ評価値に基づいて画像の評価を行う旨を評価項目として指示した場合には、個別評価値算出部３２は、イベント重要度、顔評価値および明るさ評価値のみを算出する。 The individual evaluation value calculation unit 32 includes the event classification unit 40, the event importance calculation unit 42, the similarity determination unit 44, the similarity classification unit 46, the similarity importance calculation unit 48, the face detection unit 50, and the face evaluation unit 52 described above. , A brightness determination unit 54, a brightness evaluation unit 56, a blurring determination unit 58, and a blurring evaluation unit 60, so that the event importance level, the similar image importance level, the face evaluation value, and the brightness evaluation for the image to be processed Although the value and the blur evaluation value can be calculated as the individual evaluation value of the processing target image, only the individual evaluation value for the evaluation item designated by the operator from the input unit 20 may be calculated. For example, when the worker instructs the evaluation unit to evaluate the image based on the event importance level, the face evaluation value, and the brightness evaluation value from the input unit 20, the individual evaluation value calculation unit 32 sets the event importance Only the degree, the face evaluation value, and the brightness evaluation value are calculated.

また、個別評価値算出部３２は、上述したイベント分類部４０、類似判定部４４、類似分類部４６、顔検出部５０、明るさ判定部５４およびボケブレ判定部５８が算出した特徴量をキャッシュ３０に一時的に記憶して、イベント重要度算出部４２、類似重要度算出部４８、顔評価部５２、明るさ評価部５６およびボケブレ評価部６０により個別評価値を算出する。この場合、処理対象の画像のファイル名と、算出した特徴量とが対応づけられてキャッシュ３０に記憶される。 The individual evaluation value calculation unit 32 caches the feature amounts calculated by the event classification unit 40, the similarity determination unit 44, the similarity classification unit 46, the face detection unit 50, the brightness determination unit 54, and the blurring determination unit 58 described above. Are temporarily stored, and an individual evaluation value is calculated by the event importance calculation unit 42, the similarity importance calculation unit 48, the face evaluation unit 52, the brightness evaluation unit 56, and the blurring evaluation unit 60. In this case, the file name of the image to be processed and the calculated feature amount are associated with each other and stored in the cache 30.

なお、キャッシュ３０は上述したように容量が限られているため、すべての画像についての特徴量をすべて記憶することはできず、新たな特徴量が算出された場合には、その新たな特徴量が最も古い特徴量に代えてキャッシュ３０に記憶される。 Note that since the capacity of the cache 30 is limited as described above, it is not possible to store all the feature values for all images, and when a new feature value is calculated, the new feature value is not stored. Is stored in the cache 30 instead of the oldest feature amount.

また、イベント重要度算出部４２、類似重要度算出部４８、顔評価部５２、明るさ評価部５６およびボケブレ評価部６０においては、評価する画像の用途（例えば、アルバム用の画像を選択したい、プレゼント用の画像を選択したい等）、評価する画像の利用者の年齢層（祖父母の基準で画像を選択したい、子供の基準で画像を選択したい）および評価する画像の利用者の好み等に応じた個別評価値を算出するようにしてもよい。この場合、画像の用途、利用者の年齢層および利用者の好み等（以下、評価目的とする）に応じて、特徴量を重み付けする評価パラメータを入力部２０から入力するまたはあらかじめ用意しておくことにより、評価目的に応じて特徴量を重み付けして個別評価値を算出できる。 Further, in the event importance level calculation unit 42, the similarity importance level calculation unit 48, the face evaluation unit 52, the brightness evaluation unit 56, and the blurring evaluation unit 60, it is desired to select an image to be evaluated (for example, to select an image for an album) Depending on the age group of the user of the image to be evaluated (I want to select an image on the basis of grandparents, I want to select an image on the basis of a child) and the user's preference of the image to be evaluated Individual evaluation values may be calculated. In this case, an evaluation parameter for weighting the feature amount is input from the input unit 20 or prepared in advance according to the use of the image, the user's age group, the user's preference, and the like (hereinafter referred to as an evaluation purpose). Thus, the individual evaluation value can be calculated by weighting the feature amount according to the evaluation purpose.

例えば、顔評価部５２においては、顔検出部５０が検出した顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、および顔の検出スコアの少なくとも１つの情報に基づく評価値を個別評価値として算出しているが、評価目的に応じて、これらの情報のいずれを重要視するかが異なるものである。したがって、評価目的に応じて、特徴量を重み付けする評価パラメータを用いてこれらの情報を重み付けて評価値を算出することにより、評価目的に応じた評価値を算出することができる。このため、本実施形態においては、１つの画像に対して評価目的に応じて、複数回の評価が行われる場合があり、同一の画像であっても評価目的に応じて個別評価値、ひいては総合評価値が異なるものとなる場合があるものである。 For example, in the face evaluation unit 52, an evaluation value based on at least one information of the face size detected by the face detection unit 50, the position on the face image, the face orientation, the face rotation angle, and the face detection score. Is calculated as an individual evaluation value, depending on the purpose of evaluation, which of these pieces of information is important. Therefore, an evaluation value corresponding to the evaluation purpose can be calculated by calculating an evaluation value by weighting these pieces of information using an evaluation parameter that weights the feature amount according to the evaluation purpose. For this reason, in this embodiment, multiple evaluations may be performed on one image depending on the evaluation purpose. Even for the same image, the individual evaluation value, and thus the overall evaluation, depending on the evaluation purpose. The evaluation value may be different.

総合評価値算出部３４は、個別評価値算出部３２が算出した個別評価値を重み付け加算することにより総合評価値を算出する。なお、個別評価値の重み係数は、個別評価値を算出する場合と同様に、評価目的に応じて設定すればよい。 The comprehensive evaluation value calculation unit 34 calculates a comprehensive evaluation value by weighting and adding the individual evaluation values calculated by the individual evaluation value calculation unit 32. In addition, what is necessary is just to set the weighting coefficient of an individual evaluation value according to the evaluation objective similarly to the case where an individual evaluation value is calculated.

次いで、本実施形態において行われる処理について説明する。図２は本実施形態において行われる処理を示すフローチャートである。なお、本実施形態においては、画像読込部２４が読み込んだ画像は、ハードディスク２８に保存されているものとする。作業者が入力部２０から評価を行う複数の画像、評価項目および評価目的を指定することによりＣＰＵ１２が処理を開始し、まずＣＰＵ１２は、処理対象を最初の画像（例えば画像をファイル名順にソートした場合のファイル名が先頭の画像）に設定し（ステップＳＴ１）、処理対象の画像がキャッシュ３０に記憶されているか否かを判定する（ステップＳＴ２）。 Next, processing performed in the present embodiment will be described. FIG. 2 is a flowchart showing processing performed in the present embodiment. In the present embodiment, it is assumed that the image read by the image reading unit 24 is stored in the hard disk 28. The CPU 12 starts processing by designating a plurality of images to be evaluated, an evaluation item, and an evaluation purpose from the input unit 20, and the CPU 12 first sorts the processing target into the first image (for example, the images are sorted in order of file names). The file name is set to the first image) (step ST1), and it is determined whether or not the image to be processed is stored in the cache 30 (step ST2).

なお、画像の指定は、画像のファイル名を入力したり、画像の一覧を表示部１６に表示し、そこから画像を選択することにより行えばよい。また、評価項目および評価目的の指定は、その種類を入力部２０から直接入力することにより行ってもよく、評価項目および評価目的に対応するあらかじめ定められた記号を入力することにより行ってもよく、表示部１６に表示した評価項目および評価目的の一覧から選択することにより行ってもよい。 The designation of an image may be performed by inputting an image file name or displaying a list of images on the display unit 16 and selecting an image therefrom. Also, the designation of the evaluation item and the evaluation purpose may be performed by directly inputting the type from the input unit 20, or may be performed by inputting a predetermined symbol corresponding to the evaluation item and the evaluation purpose. Alternatively, the selection may be made by selecting from a list of evaluation items and evaluation purposes displayed on the display unit 16.

また、処理対象の画像がキャッシュ３０に記憶されているか否かの判定は、処理対象の画像のファイル名に対応するファイル名の画像がキャッシュ３０の記憶されているか否かを判定することにより行えばよい。そして本実施形態においては、前回の処理において評価値を算出した画像がキャッシュ３０に残っており、残っている画像のファイル名が処理対象の画像のファイル名と一致したときに、ステップＳＴ２が肯定される。 Whether or not the processing target image is stored in the cache 30 is determined by determining whether or not an image having a file name corresponding to the file name of the processing target image is stored in the cache 30. Just do it. In this embodiment, when the image whose evaluation value has been calculated in the previous process remains in the cache 30 and the file name of the remaining image matches the file name of the image to be processed, step ST2 is positive. Is done.

ステップＳＴ２が否定された場合には、個別評価値算出部３２がハードディスク２８から処理対象の画像を読み出してキャッシュ３０に記憶し（ステップＳＴ３）、ステップＳＴ４に進む。 If step ST2 is negative, the individual evaluation value calculation unit 32 reads the image to be processed from the hard disk 28, stores it in the cache 30 (step ST3), and proceeds to step ST4.

ステップＳＴ２が肯定された場合およびステップＳＴ３に続いて、個別評価値算出部３２が、キャッシュ３０に記憶されている処理対象の画像について過去に個別評価値算出部３２が算出した特徴量がキャッシュ３０に記憶されているか否かを判定する（ステップＳＴ４）。 When step ST2 is affirmed and subsequent to step ST3, the feature value calculated by the individual evaluation value calculation unit 32 in the past by the individual evaluation value calculation unit 32 for the processing target image stored in the cache 30 is the cache 30. (Step ST4).

なお、処理対象の画像の特徴量がキャッシュ３０に記憶されているか否かの判定は、処理対象の画像のファイル名に対応するファイル名と対応づけられた特徴量がキャッシュ３０に記憶されているか否かを判定することにより行えばよい。そして本実施形態においては、過去に処理を行った画像の特徴量がキャッシュ３０に残っており、残っている特徴量が対応づけられているファイル名が処理対象の画像のファイル名と一致したときに、ステップＳＴ４が肯定される。 Whether or not the feature amount of the processing target image is stored in the cache 30 is determined based on whether or not the feature amount associated with the file name corresponding to the file name of the processing target image is stored in the cache 30. It may be performed by determining whether or not. In the present embodiment, the feature amount of the image processed in the past remains in the cache 30, and the file name associated with the remaining feature amount matches the file name of the image to be processed. In addition, step ST4 is affirmed.

ステップＳＴ４が否定されると、個別評価値算出部３２は、処理対象の画像について、指定された評価項目の個別評価値に対応する特徴量を算出してキャッシュ３０に記憶し（ステップＳＴ５）、算出した特徴量に基づいて個別評価値を算出する（ステップＳＴ６）。 If step ST4 is negative, the individual evaluation value calculation unit 32 calculates a feature amount corresponding to the individual evaluation value of the designated evaluation item for the image to be processed and stores it in the cache 30 (step ST5). An individual evaluation value is calculated based on the calculated feature amount (step ST6).

例えば指定された評価項目に対応する個別評価値が顔の評価値および画像の明るさの評価値である場合には、顔検出部５０が顔の特徴を、明るさ判定部５４が画像の明るさを特徴量として算出し、顔評価部５２および明るさ評価部５６が、顔の評価値および明るさの評価値をそれぞれ個別評価値として算出する。 For example, when the individual evaluation values corresponding to the designated evaluation item are the evaluation value of the face and the evaluation value of the brightness of the image, the face detection unit 50 determines the facial features, and the brightness determination unit 54 determines the brightness of the image. The face evaluation unit 52 and the brightness evaluation unit 56 calculate the face evaluation value and the brightness evaluation value as individual evaluation values, respectively.

一方、ステップＳＴ４が肯定されると、ステップＳＴ６に進み、個別評価値算出部３２はキャッシュ３０に記憶されている特徴量に基づいて個別評価値を算出する。そして、総合評価値算出部３４が個別評価値を重み付け加算することにより総合評価値を算出し（ステップＳＴ７）、作業者が指定したすべての画像についての処理が終了したか否かを判定する（ステップＳＴ８）。ステップＳＴ８が否定されると処理対象の画像を次の画像に設定し（ステップＳＴ９）、ステップＳＴ２に戻り、ステップＳＴ２以降の処理を繰り返す。ステップＳＴ８が肯定されると、作業者が指定したすべての画像の一覧を、算出した総合評価値とともに評価結果として表示部１６に表示し（ステップＳＴ１０）、処理を終了する。 On the other hand, if step ST4 is affirmed, the process proceeds to step ST6, where the individual evaluation value calculation unit 32 calculates an individual evaluation value based on the feature amount stored in the cache 30. Then, the comprehensive evaluation value calculation unit 34 calculates the comprehensive evaluation value by weighting and adding the individual evaluation values (step ST7), and determines whether or not the processing for all the images designated by the operator is finished ( Step ST8). If step ST8 is negative, the image to be processed is set as the next image (step ST9), the process returns to step ST2, and the processes after step ST2 are repeated. If step ST8 is affirmed, a list of all images designated by the operator is displayed on the display unit 16 as an evaluation result together with the calculated comprehensive evaluation value (step ST10), and the process is terminated.

作業者は表示部１６に表示された画像の一覧および総合評価値に基づいて、評価の高い画像を選択して、選択した画像をプリントしたり、メディアに記録したりすることができる。 An operator can select an image with high evaluation based on the list of images displayed on the display unit 16 and the comprehensive evaluation value, and can print the selected image or record it on a medium.

なお、評価値が大きい画像は、撮影がうまく行われた画像であるため、表示部１６への画像の一覧の表示時に、総合評価値が大きい所定数の画像をプリント等にお勧めの画像として拡大して表示するようにしてもよい。これにより、作業者はプリント等にお勧めの画像を容易に選択することが可能となる。 An image with a large evaluation value is an image that has been successfully photographed. Therefore, when a list of images is displayed on the display unit 16, a predetermined number of images with a large overall evaluation value are recommended images for printing or the like. You may make it expand and display. Thereby, the operator can easily select an image recommended for printing or the like.

このように、本実施形態においては、処理対象の画像の特徴量がキャッシュ３０に記憶されている場合には、キャッシュ３０に記憶されている特徴量を用いて個別評価値を算出するようにしたため、処理対象の画像の特徴量がキャッシュ３０に記憶されている場合には、特徴量を算出する必要がなくなり、これにより、評価値算出のための処理時間を短縮して効率よく評価値を算出することができる。 As described above, in the present embodiment, when the feature amount of the image to be processed is stored in the cache 30, the individual evaluation value is calculated using the feature amount stored in the cache 30. When the feature amount of the image to be processed is stored in the cache 30, it is not necessary to calculate the feature amount, thereby reducing the processing time for calculating the evaluation value and calculating the evaluation value efficiently. can do.

とくに、１つの画像について評価項目を種々変更して画像の評価を行う場合、キャッシュ３０に記憶された特徴量を使用することにより、評価項目が変更される都度、特徴量を算出する必要がなくなるため、異なる評価項目に応じた画像の評価を効率よく行うことができる。 In particular, when an image is evaluated by changing various evaluation items for one image, it is not necessary to calculate the feature amount each time the evaluation item is changed by using the feature amount stored in the cache 30. Therefore, it is possible to efficiently evaluate images according to different evaluation items.

なお、上記実施形態において、評価項目として類似重要度が指定された場合には、顔の評価値や明るさの評価値とは並列に、すべての画像についての類似判定部４４、類似分類部４６および類似重要度算出部４８における処理が行われ、類似重要度が個別評価値として算出される。そして、総合評価値算出部３４が、類似重要度に基づく個別評価値および他の個別評価値を重み付け加算して総合評価値を算出する。 In the above embodiment, when the similarity importance is specified as the evaluation item, the similarity determination unit 44 and the similarity classification unit 46 for all the images are arranged in parallel with the face evaluation value and the brightness evaluation value. And the process in the similar importance calculation part 48 is performed, and a similar importance is calculated as an individual evaluation value. Then, the comprehensive evaluation value calculation unit 34 calculates the comprehensive evaluation value by weighted addition of the individual evaluation value based on the similarity importance and other individual evaluation values.

また、上記実施形態においてはシステムメモリ１４の一部の領域をキャッシュ３０としているが、ＣＰＵ１２がキャッシュ３０を備えていてもよく、ハードディスク２８がキャッシュ３０を備えていてもよい。 In the above embodiment, a partial area of the system memory 14 is the cache 30. However, the CPU 12 may include the cache 30, and the hard disk 28 may include the cache 30.

以上、本発明の実施形態に係る装置１について説明したが、コンピュータを、上記の個別評価値算出部３２および総合評価値算出部３４に対応する手段として機能させ、図２に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。 As described above, the apparatus 1 according to the embodiment of the present invention has been described. However, the computer functions as a unit corresponding to the individual evaluation value calculation unit 32 and the comprehensive evaluation value calculation unit 34, and performs the process illustrated in FIG. The program to be executed is also one embodiment of the present invention. A computer-readable recording medium in which such a program is recorded is also one embodiment of the present invention.

本発明の実施形態による画像評価装置の構成を示す概略ブロック図1 is a schematic block diagram showing the configuration of an image evaluation apparatus according to an embodiment of the present invention. 本実施形態において行われる処理を示すフローチャートA flowchart showing processing performed in the present embodiment

Explanation of symbols

１画像評価装置
１２ＣＰＵ
１４システムメモリ
１６表示部
１８表示制御部
２０入力部
２２入力制御部
２４画像読込部
２６画像読込制御部
２８ハードディスク
３０キャッシュ
３２個別評価値算出部
３４総合評価値算出部 1 Image evaluation device 12 CPU
DESCRIPTION OF SYMBOLS 14 System memory 16 Display part 18 Display control part 20 Input part 22 Input control part 24 Image reading part 26 Image reading control part 28 Hard disk 30 Cache 32 Individual evaluation value calculation part 34 Comprehensive evaluation value calculation part

Claims

Feature amount calculating means for calculating each of a plurality of types of feature amounts included in the processing target image read out from the storage means in which the processing target image is stored;
Temporary storage means having a cache function for temporarily storing the plurality of types of feature values;
Individual evaluation value calculating means for calculating a plurality of types of individual evaluation values corresponding to the plurality of types of feature amounts;
Comprehensive evaluation value calculation means for calculating a comprehensive evaluation value, which is a comprehensive evaluation value of the image to be processed, based on the plurality of types of individual evaluation values calculated by the individual evaluation value calculation means,
In the case where the feature value of the image to be processed is stored in the temporary storage unit, the individual evaluation value calculation unit reads out the feature amount stored in the temporary storage unit and calculates the individual evaluation value. An image evaluation apparatus characterized by being.

Each of a plurality of types of feature amounts included in the processing target image read from the storage unit storing the processing target image is calculated,
A plurality of types of individual evaluation values corresponding to the plurality of types of feature quantities are calculated,
When calculating a comprehensive evaluation value, which is a comprehensive evaluation value of the image to be processed, based on the plurality of types of individual evaluation values,
When the feature amount of the image to be processed is stored in a temporary storage unit having a cache function for temporarily storing the plurality of types of feature amounts, the feature amount stored in the temporary storage unit is read and the individual amount is stored. An image evaluation method characterized by calculating an evaluation value.

A procedure for calculating each of a plurality of types of feature amounts included in the processing target image read from the storage unit storing the processing target image;
A procedure for calculating a plurality of types of individual evaluation values corresponding to the plurality of types of feature amounts;
A procedure for calculating a comprehensive evaluation value that is a comprehensive evaluation value of the processing target image based on the plurality of types of individual evaluation values;
When the feature amount of the image to be processed is stored in a temporary storage unit having a cache function for temporarily storing the plurality of types of feature amounts, the feature amount stored in the temporary storage unit is read and the individual amount is stored. A program for causing a computer to execute an image evaluation method characterized by comprising: a procedure for calculating an evaluation value.