JP2009122792A - Image evaluation apparatus and camera having this image evaluation apparatus - Google Patents
Image evaluation apparatus and camera having this image evaluation apparatus Download PDFInfo
- Publication number
- JP2009122792A JP2009122792A JP2007293856A JP2007293856A JP2009122792A JP 2009122792 A JP2009122792 A JP 2009122792A JP 2007293856 A JP2007293856 A JP 2007293856A JP 2007293856 A JP2007293856 A JP 2007293856A JP 2009122792 A JP2009122792 A JP 2009122792A
- Authority
- JP
- Japan
- Prior art keywords
- image
- evaluation
- value
- priority value
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 240
- 238000003860 storage Methods 0.000 claims abstract description 44
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 24
- 238000012937 correction Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 46
- 238000001514 detection method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 238000012854 evaluation process Methods 0.000 description 8
- 241000032989 Ipomoea lacunosa Species 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Abstract
Description
本発明は、画像評価装置及びこの画像評価装置を有するカメラに関する。 The present invention relates to an image evaluation apparatus and a camera having the image evaluation apparatus.
デジタルカメラ等で撮影されたデジタル画像をビデオ出力し、それをテレビモニタ等の表示再生装置で表示するという使い方がされており、それらは一般的に「スライドショー」と呼ばれる形態で実現されている。メモリカード等に記録保存されているデジタル画像からスライドショーを生成する際に、これらのデジタル画像に設定された優先値（そのデジタル画像に対するユーザのお気に入り度合いを表す値）に応じて画像の表示順序を決定するように構成された画像再生装置及びプログラムが知られている（例えば、特許文献１参照）。また、スライドショーで表示されるデジタル画像の優先値に基づき、当該表示対象画像の表示時間を変化させるように構成された画像再生装置及びプログラムも知られている（例えば、特許文献２参照）。更に、画像解析により被写体の顔を検出し、顔が大きく表示されている画像や顔の表示数が多い画像に対し、優先値を高く設定する画像出力装置及び画像出力方法も提案されている（例えば、特許文献３参照）。
しかしながら、このような特許文献１〜２に記載されている従来方法では、スライドショーを表示する際には、主要被写体の写っている画像をユーザが手動で一枚一枚ピックアップし、優先値（お気に入り）を登録することが前提であり、非常に手間がかかるという課題があった。これに対して、特許文献３に記載の従来方法では、ユーザが手動で優先値を入力する手間は省くことができるものの、単に画像から検出された顔の大きさや数によって優先値を決定してしまうため、ユーザにとって優先値が低い画像に対しても、高い優先値が付与される可能性がある。その結果、優先値がユーザの意図と異なってしまう可能性があり、ユーザの満足度が得られないという課題があった。 However, in the conventional methods described in Patent Documents 1 and 2, when a slide show is displayed, the user manually picks up the images of the main subjects one by one, and the priority value (favorite ) To be registered, and there was a problem that it would be very time-consuming. On the other hand, in the conventional method described in Patent Document 3, although the user can save time and effort to manually input the priority value, the priority value is simply determined based on the size and number of faces detected from the image. Therefore, a high priority value may be given even to an image having a low priority value for the user. As a result, the priority value may be different from the user's intention, and there is a problem that the user's satisfaction cannot be obtained.
本発明はこのような課題に鑑みてなされたものであり、評価対象画像及びその属性情報に基づいて評価対象画像を評価し、当該評価の結果に基づいて、表示の優先値を設定することにより、撮影に失敗した画像や類似写真等、ユーザが画像表示を好まないであろう画像の優先値を低くして、ユーザの優先値入力の負荷を低減しつつ、ユーザの意図に合致した優先値を設定することが可能な画像評価装置及びこの画像評価装置を有するカメラを提供することを目的とする。 The present invention has been made in view of such problems, and evaluates an evaluation target image based on the evaluation target image and its attribute information, and sets a display priority value based on the result of the evaluation. Priority values that match the user's intentions while reducing the priority value input of the user by lowering the priority value of images that the user would not like to display images, such as images that failed to be captured or similar photos An object of the present invention is to provide an image evaluation apparatus capable of setting the image and a camera having the image evaluation apparatus.
前記課題を解決するために、本発明に係る画像評価装置（例えば、実施形態における画像評価システム１２）は、評価対象画像及び当該評価画像の属性情報を対応付けて記憶する画像情報記憶部と、画像情報記憶部から評価対象画像を選択し、当該評価対象画像に対して少なくとも１以上の評価方法を用いて評価値を算出する画像評価部と、評価値を評価対象画像の属性情報に優先値として設定する優先値設定部とから構成される。 In order to solve the above problem, an image evaluation apparatus according to the present invention (for example, the image evaluation system 12 in the embodiment) includes an image information storage unit that stores an evaluation target image and attribute information of the evaluation image in association with each other, An image evaluation unit that selects an evaluation target image from the image information storage unit and calculates an evaluation value for the evaluation target image using at least one evaluation method, and a priority value for the evaluation value as attribute information of the evaluation target image And a priority value setting unit to be set as
このような本発明に係る画像評価装置において、画像評価部は、各々の評価方法により算出される評価値に、当該評価方法毎に設定された重み係数を乗算して得た値の総和を当該評価対象画像の評価値とするように構成されることが好ましい。 In such an image evaluation apparatus according to the present invention, the image evaluation unit calculates the sum of values obtained by multiplying the evaluation value calculated by each evaluation method by the weighting factor set for each evaluation method. It is preferable that the evaluation value of the evaluation target image is set.
また、本発明に係る画像評価装置において、画像評価部は、各々の評価方法により算出される評価値に、当該評価方法毎に設定された重み係数を乗算した積のうち、最も大きい値を当該評価対象画像の評価値とするように構成されることが好ましい。 In the image evaluation apparatus according to the present invention, the image evaluation unit calculates the highest value among the products obtained by multiplying the evaluation value calculated by each evaluation method by the weighting factor set for each evaluation method. It is preferable that the evaluation value of the evaluation target image is set.
さらに、本発明に係る画像評価装置は、評価対象画像毎に、画像情報記憶部の属性情報に優先値を設定する設定部と、優先値設定部により設定された優先値と設定部で設定された優先値との差を算出し、当該差から重み係数を修正する係数修正部とを有するよう構成されることが好ましい。 Furthermore, the image evaluation apparatus according to the present invention is set for each evaluation target image by a setting unit that sets a priority value in the attribute information of the image information storage unit, and a priority value and setting unit set by the priority value setting unit. It is preferable to have a coefficient correction unit that calculates a difference from the priority value and corrects the weight coefficient from the difference.
また、この場合、画像評価部は、評価対象画像を小領域に分割し、小領域毎にエッジ画像を求め、当該エッジ画像から算出されるエッジ成分の最も高い小領域を処理対象領域に選定し、当該処理対象領域の各画素において、赤成分の強度をＲ（ｉ，ｊ）とし、緑成分の強度をＧ（ｉ，ｊ）とし、青成分の強度をＢ（ｉ，ｊ）とし、各画素において最も大きい成分の値Ｖmax（ｉ，ｊ）、最も小さい成分の値Ｖmin（ｉ，ｊ）及びその差分Ｓ（ｉ，ｊ）を次式
で定義し、当該Ｖmax（ｉ，ｊ）、Ｖmin（ｉ，ｊ）及びＳ（ｉ，ｊ）に基づいて露出不良判定処理を行って評価値を算出するように構成されることが好ましい。
In this case, the image evaluation unit divides the evaluation target image into small regions, obtains an edge image for each small region, and selects the small region having the highest edge component calculated from the edge image as the processing target region. In each pixel of the processing target area, the intensity of the red component is R (i, j), the intensity of the green component is G (i, j), the intensity of the blue component is B (i, j), The value V max (i, j) of the largest component, the value V min (i, j) of the smallest component and the difference S (i, j) in the pixel are
また、画像評価部は、画像記憶部に記憶されている評価対象画像から、当該評価対象画像間の類似度を算出し、当該類似度に基づいて類似する画像を類似画像群に分類し、当該分類毎に撮影時刻が一番遅い評価対象画像を中心に、残りの評価対象画像の評価値を類似度に反比例して算出するように構成されることが好ましい。 Further, the image evaluation unit calculates the similarity between the evaluation target images from the evaluation target images stored in the image storage unit, classifies similar images into similar image groups based on the similarity, It is preferable that the evaluation values of the remaining evaluation target images are calculated in inverse proportion to the degree of similarity, centering on the evaluation target image having the latest shooting time for each classification.
また、本発明の画像評価装置は、画像情報記憶部から評価対象画像及び属性情報の優先値を取り出し、当該優先値に基づいてスライドショーを生成し、再生するスライドショー生成部を有することが好ましい。 The image evaluation apparatus according to the present invention preferably includes a slide show generation unit that extracts priority values of the evaluation target image and attribute information from the image information storage unit, generates a slide show based on the priority values, and reproduces the slide show.
また、本発明に係るカメラは、上述の画像評価装置のいずれかと、光学系及び当該光学系で結像された像を検出する撮像素子を備え、当該撮像素子で検出された画像を評価対象画像として記憶部に記憶させる撮像部とを有し、撮像部により画像情報記憶部に評価対象画像が記憶されたときに、前記優先値設定部により前記評価対象画像に対する前記優先値が設定されるように構成される。 In addition, a camera according to the present invention includes any one of the above-described image evaluation apparatuses, an optical system and an image sensor that detects an image formed by the optical system, and an image detected by the image sensor is an evaluation target image. The priority value setting unit sets the priority value for the evaluation target image when the evaluation target image is stored in the image information storage unit by the imaging unit. Configured.
本発明に係る画像評価装置及びこの画像評価装置を有するカメラを以上のように構成すると、画像を登録しておくだけで、各評価対象画像に対して自動的に優先値（ユーザのその画像に対する「お気に入り」の度合いを示すポイント）が設定可能となり、ユーザによる優先値の入力の負担を低減し、かつユーザの意図に合致した優先値を設定することが可能となる。 When the image evaluation apparatus according to the present invention and the camera having the image evaluation apparatus are configured as described above, a priority value (for a user's image) is automatically set for each evaluation target image simply by registering the image. The point indicating the degree of “favorite” can be set, the burden of inputting the priority value by the user can be reduced, and the priority value matching the user's intention can be set.
以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１〜図３を用いて本実施例に係る画像評価装置（画像評価システム１２）の構成について説明する。なお、本実施例においては、この画像評価システム１２を、撮像部１１を有するデジタルカメラ１０に適用した場合について説明する。図１に示すように、このデジタルカメラ１０は、表示再生装置であるディスプレイ２０とビデオ出力線３０を介して接続されている。このデジタルカメラ１０は、記録されているデジタル画像を、予め決められたレイアウトや順序により、若しくは、ランダムにディスプレイ２０に出力して表示するスライドショー機能が設けられている。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. First, the configuration of the image evaluation apparatus (image evaluation system 12) according to the present embodiment will be described with reference to FIGS. In the present embodiment, a case where the image evaluation system 12 is applied to a digital camera 10 having an imaging unit 11 will be described. As shown in FIG. 1, the digital camera 10 is connected to a display 20 that is a display / playback device via a video output line 30. The digital camera 10 is provided with a slide show function for displaying recorded digital images on the display 20 in a predetermined layout or order or randomly.
図２に示すように、デジタルカメラ１０は、撮像部１１と、この撮像部１１で撮像されたデジタル画像を評価し、評価の結果に基づいて優先値を設定する画像評価システム１２と、後述するスライドショー生成部１８で生成されたスライドショーをディスプレイ２０に出力するビデオ出力部１９とから構成される。また、画像評価システム１２は、撮像部１１で撮影されたデジタル画像（後述する評価対象画像１００）及びその属性情報が対応付けられて記憶される画像情報記憶部１３と、この画像情報記憶部１３から評価対象画像１００を選択し、当該評価対象画像１００に対して少なくとも１以上の評価方法を用いて評価値を算出する画像評価部１４と、この画像評価部１４で算出された評価値を評価対象画像１００の優先値として設定する優先値設定部１５と、ユーザの入力にしたがって画像情報記憶部１３の属性情報に、評価対象画像１００の優先値を設定する設定部１６と、優先値設定部１５により設定された優先値と設定部１６で設定された優先値との差を算出し、当該差から重み係数を修正する係数修正部１７と、画像情報記憶部１３に記憶されているデジタル画像を用いて、優先値に基づいてスライドショーを生成するスライドショー生成部１８とから構成される。なお、このデジタルカメラ１０において、撮像部１１は光学系と撮像素子とを有して構成され、光学系により撮像素子の撮像面に結像された像を検出してデジタル画像とし、このデジタル画像と撮影日時等の属性情報を、画像情報記憶部１３に保存記録するように構成されている。 As shown in FIG. 2, the digital camera 10 evaluates a digital image captured by the imaging unit 11, the image evaluation unit 12 that sets a priority value based on the evaluation result, and will be described later. The video output unit 19 outputs a slide show generated by the slide show generation unit 18 to the display 20. The image evaluation system 12 includes an image information storage unit 13 in which a digital image (an evaluation target image 100 described later) taken by the imaging unit 11 and attribute information thereof are stored in association with each other, and the image information storage unit 13. The evaluation target image 100 is selected from the evaluation target image 100, the evaluation value is calculated for the evaluation target image 100 using at least one evaluation method, and the evaluation value calculated by the image evaluation unit 14 is evaluated. A priority value setting unit 15 that is set as a priority value of the target image 100, a setting unit 16 that sets the priority value of the evaluation target image 100 in the attribute information of the image information storage unit 13 according to a user input, and a priority value setting unit The difference between the priority value set by 15 and the priority value set by the setting unit 16 is calculated, and the coefficient correction unit 17 that corrects the weighting coefficient based on the difference is recorded in the image information storage unit 13. Using a digital image being composed of a slide show generation unit 18 for generating the slide show based on the priority value. In the digital camera 10, the image pickup unit 11 includes an optical system and an image pickup device, and detects an image formed on the image pickup surface of the image pickup device by the optical system to obtain a digital image. And attribute information such as the shooting date and time are stored and recorded in the image information storage unit 13.
画像記憶部１３に記憶されるデジタル画像は、ユーザの指定やデジタルカメラの機能により、人物、風景等の種別毎や撮影日時毎に分類され所定のフォルダに記憶されている。また、デジタル画像は、図３に示すデータ構造５０を有しており、ヘッダ領域５１、属性情報領域５２及び画像情報領域５３から構成されている。ここで、属性情報領域５２は、デジタル画像の属性情報が記憶される部分であり、優先値が記憶される優先値領域５２ａ、撮影日時が記憶される撮影日時領域５２ｂ及びＡＦエリア情報が記憶されるＡＦエリア情報領域５２ｃなどから構成される。また、画像情報領域５３は、撮像部１１で撮影されたデジタル画像そのものが記憶される部分である。なお、以降の説明では優先値を数値（ポイント）で表現した場合を例にして説明する。また、このようなデータ構造としては、日本電子工業振興協会（ＪＥＩＤＡ）で規格されたＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）等が知られている。 The digital images stored in the image storage unit 13 are classified according to the type of person, landscape, etc., or for each shooting date and time, and stored in a predetermined folder according to the user's designation and the function of the digital camera. Further, the digital image has a data structure 50 shown in FIG. 3 and is composed of a header area 51, an attribute information area 52, and an image information area 53. Here, the attribute information area 52 is a portion in which attribute information of the digital image is stored, a priority value area 52a in which priority values are stored, a shooting date and time area 52b in which shooting dates and times are stored, and AF area information are stored. AF area information area 52c and the like. The image information area 53 is a part in which the digital image itself captured by the imaging unit 11 is stored. In the following description, a case where the priority value is expressed by a numerical value (point) will be described as an example. As such a data structure, Exif (Exchangeable image file format) standardized by the Japan Electronics Industry Promotion Association (JEIDA) is known.
（画像の評価及び優先値の設定）
それでは、図１及び図４に示すデジタルカメラの使用例の説明図、並びに図５〜図７に示すフローチャート、図９〜図１２に示す模式図を用いて、画像評価部１４による画像の評価処理及び優先値設定部１５による優先値の設定処理について説明する。これらの処理は、例えば、撮像部１１により撮影が行われ、画像情報記憶部１３にデジタル画像が登録されたタイミングで起動され、この登録されたデジタル画像に対して処理が実行される。または、図示はしないが、ディスプレイ２０等に表示された適宜の設定画面に優先値設定ボタンを設け、このボタンをクリックすることで画像の評価処理及び優先値の設定処理が実行されるように構成してもよい。なお、以降の説明では、撮像部１１により登録されたこのデジタル画像を「評価対象画像１００」と呼ぶ。
(Image evaluation and priority setting)
Then, an image evaluation process by the image evaluation unit 14 using the explanatory diagram of the usage example of the digital camera shown in FIGS. 1 and 4, the flowcharts shown in FIGS. 5 to 7, and the schematic diagrams shown in FIGS. 9 to 12. The priority value setting process by the priority value setting unit 15 will be described. These processes are started, for example, at the timing when the imaging unit 11 captures an image and the digital image is registered in the image information storage unit 13, and the process is executed on the registered digital image. Alternatively, although not shown, a priority value setting button is provided on an appropriate setting screen displayed on the display 20 or the like, and by clicking this button, an image evaluation process and a priority value setting process are executed. May be. In the following description, this digital image registered by the imaging unit 11 is referred to as “evaluation target image 100”.
上記のシステムの起動が行われると、図５に示されるように、画像評価部１４が、まず、画像情報記憶部１３から評価対象画像１００をすべて読み出す（ステップＳ１０）。そして、読み出されたすべての評価対象画像１００に対して、画像評価処理（ステップＳ２０）を行い、この評価の結果に基づいて、優先値設定部１５による優先値設定処理（ステップＳ３０）を行う。この処理により、画像の評価及び優先値の設定の処理が終了する。 When the above system is activated, as shown in FIG. 5, the image evaluation unit 14 first reads all the evaluation target images 100 from the image information storage unit 13 (step S10). Then, the image evaluation process (step S20) is performed on all the read evaluation target images 100, and the priority value setting process (step S30) by the priority value setting unit 15 is performed based on the evaluation result. . With this processing, the image evaluation and priority value setting processing ends.
なお、本実施例では、後述するように、複数の類似画像を抽出し、その類似度に基づいて画像を評価する評価方法を用いているので、すべての評価対象画像１００を読み込んだ後に（ステップＳ１０）、画像評価処理（ステップＳ２０）及び優先値設定処理（ステップＳ３０）を行っているが、類似度に基づく評価方法を用いない場合などでは、評価対象画像１００を１枚ずつ読み込み、当該評価対象画像１００毎に、画像評価処理（ステップＳ２０）及び優先値設定処理（ステップＳ３０）を行うよう構成してもよい。 In this embodiment, as will be described later, since an evaluation method for extracting a plurality of similar images and evaluating the images based on the similarity is used, after all the evaluation target images 100 have been read (step S10), the image evaluation process (step S20) and the priority value setting process (step S30) are performed. However, when the evaluation method based on the similarity is not used, the evaluation target images 100 are read one by one and the evaluation is performed. For each target image 100, an image evaluation process (step S20) and a priority value setting process (step S30) may be performed.
次に、画像評価処理（ステップＳ２０）を詳しく説明する。まず、画像評価部１４において、上述のステップＳ１０で読み出された評価対象画像１００に対して、後述の少なくとも１以上の評価方法を用いて、画像の評価を行う。この評価方法としては、特に制限はなく、種々の評価手法を用いることができるが、本実施例では、手ぶれの検出による評価方法、被写体ぶれの検出による評価方法、類似画像の抽出による評価方法、及び、露出不良判定による評価方法を用いている。なお、本実施例では、これらの評価方法をすべて用いて評価対象画像１００を評価しているが、これらの中から選択した１つの評価方法のみを用いて評価してもよいし、複数の評価方法を選択して評価してもよい。以下、各評価方法で行われる処理手順について詳細に説明する。 Next, the image evaluation process (step S20) will be described in detail. First, the image evaluation unit 14 performs image evaluation on the evaluation target image 100 read in step S10 described above using at least one evaluation method described later. This evaluation method is not particularly limited and various evaluation methods can be used.In this embodiment, an evaluation method based on detection of camera shake, an evaluation method based on detection of subject shake, an evaluation method based on extraction of similar images, And the evaluation method by exposure defect determination is used. In this embodiment, the evaluation target image 100 is evaluated using all of these evaluation methods. However, evaluation may be performed using only one evaluation method selected from these evaluation methods, or a plurality of evaluation methods may be used. A method may be selected and evaluated. Hereinafter, the processing procedure performed by each evaluation method will be described in detail.
〔手ぶれの検出による評価方法〕
まず、評価方法の一つである、手ぶれの検出による評価方法での処理手順について図９の模式図を用いて説明する。「手ぶれ」とは、露光時に撮影者の手が動いてしまい、画像全体がぶれてしまった状態を示す。このような手ぶれを生じたデジタル画像は、下記式（１）によりモデル化される。
[Evaluation method by detecting camera shake]
First, a processing procedure in an evaluation method based on detection of camera shake, which is one of evaluation methods, will be described with reference to the schematic diagram of FIG. “Camera shake” indicates a state where the photographer's hand moves during exposure and the entire image is shaken. A digital image in which such camera shake has occurred is modeled by the following equation (1).
ただし、上記式（１）中、Ｂ（ｘ，ｙ）は手ぶれを生じた画像（以下、劣化画像と呼ぶ）を表す関数、ｆ（ｘ，ｙ）は理想画像を表す関数、＊はコンボリュージョンを意味し、ｋ（ｘ，ｙ）は手ぶれの軌跡に相当するぶれ関数：ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を意味する。このような手ぶれを検出するアプローチの一つとして、劣化画像ＢからＢａｙｅｓ推定の枠組みを用いて、ＰＳＦ（ｋ（ｘ，ｙ））を推定する手法が、例えば「Ｆｅｒｇｕｓ ｅｔ ａｌ． ＳＩＧＧＲＡＰＨ ２００６」等で提案されている。これらＰＳＦを推定する手法を用いることにより、図９（ａ）で示される劣化画像の手ぶれの形状を、図９（ｂ）で示されるような２次元の濃淡画像として得ることができる。本実施例では、このようなＰＳＦを推定する手法を用いて得られたＰＳＦに基づいて、下記式（２）により、ミスショットの強度として以下に定義する「ぶれ幅σ」を用いて、手ぶれを検出する。 However, in the above formula (1), B (x, y) is a function representing an image that causes camera shake (hereinafter referred to as a degraded image), f (x, y) is a function representing an ideal image, and * is a convolution. John means k (x, y) means a blur function corresponding to the hand movement trajectory: PSF (Point Spread Function). As one of approaches for detecting such camera shake, a method for estimating PSF (k (x, y)) from a degraded image B using a Bayes estimation framework is, for example, “Fergus et al. SIGGRAPH 2006”. Proposed in By using these methods for estimating the PSF, it is possible to obtain the shape of camera shake of the deteriorated image shown in FIG. 9A as a two-dimensional gray image as shown in FIG. 9B. In the present embodiment, based on the PSF obtained by using such a method for estimating the PSF, by using the “blur width σ” defined below as the miss shot intensity, Is detected.
但し、上記式（２）中、μはＰＳＦの重心座標を表す。この「ぶれ幅σ」により、手ぶれの強弱を、数値で明確に判定することができる。なお、手ぶれの検出による画像の評価値Ｖblurは、このσに基づいて、下記式（３）を用いて算出される。 However, in said formula (2), (micro | micron | mu) represents the gravity center coordinate of PSF. Based on this “shake width σ”, the strength of hand shake can be clearly determined numerically. The evaluation value V blur of the image due to the detection of camera shake is calculated using the following equation (3) based on this σ.
ただし、上記式（３）中、ａblurは、マイナスの値をとるパラメータであり、［］は括弧内の演算結果に対しその値を超えない最大の整数値を返すことを意味するガウス記号である。例えば、括弧内の演算結果が、−６．７の場合は、評価値Ｖblurとして−７が返される。 However, in the above equation (3), a blur is a parameter that takes a negative value, and [] is a Gaussian sign that means that the maximum integer value not exceeding that value is returned for the operation result in parentheses. is there. For example, when the calculation result in parentheses is −6.7, −7 is returned as the evaluation value V blur .
〔被写体ぶれの検出による評価方法〕
次に、被写体ぶれの検出による評価方法での処理手順について説明する。「被写体ぶれ」とは露光時に主要被写体が動いてしまい、最終的に出来上がった画像において、主要被写体がぶれてしまっているものである。前述の「手ぶれ」は画像全体がぶれてしまっている状態なのに対し、「被写体ぶれ」は画像の一部、特に主要被写体のみがぶれてしまっている点が異なる。被写体ぶれは、主要被写体が画像中に存在する領域がわかれば、前述の式（１）で表される手ぶれの検出の際と同じ数理モデルにより表現することができる。また、「ぶれ幅σ」の検出も、前述の式（２）で表される手ぶれと同じ手法を用いて行うことができる。したがって、被写体ぶれの検出には、まず、この被写体ぶれの検出を行う主要被写体領域を特定する必要がある。本実施例では、撮影時の情報として合焦に使用されたＡＦエリア情報（オートフォーカスエリア情報）を用いることで主要被写体領域の特定を実現している。このＡＦエリア情報を、画像撮影時に、撮影時の情報として画像情報記憶部１３の属性情報（ＡＦエリア情報領域５２ｃ）に記憶しておく。そして、被写体ぶれ検出時には、画像情報記憶部１３から読み出されたＡＦエリア情報をもとに、評価対象画像１００の該当する領域のみを切り出して、前述の手ぶれ検出と同様の手法を用いて、被写体ぶれを検出し、ミスショットの強度を示す「ぶれ幅σ」を定義する。そして、このぶれ幅に基づいて、手ぶれ検出時の手法と同様に、前述の式（３）と同様の計算方法を用いて、評価値Ｖsblurを算出する。
[Evaluation method by detecting subject shake]
Next, a processing procedure in the evaluation method based on subject blur detection will be described. “Subject blur” means that the main subject moves during exposure and the main subject is blurred in the final image. The above-mentioned “camera shake” is a state in which the entire image is blurred, whereas “subject blur” differs in that only a part of the image, particularly the main subject, is blurred. Subject blur can be expressed by the same mathematical model as that used in the detection of camera shake represented by the above-described equation (1) if the region where the main subject is present in the image is known. Also, the “blurring width σ” can be detected by using the same method as the hand movement represented by the above-described equation (2). Therefore, in order to detect subject blur, it is first necessary to specify a main subject region in which subject blur detection is to be performed. In this embodiment, the main subject area is specified by using AF area information (autofocus area information) used for focusing as information at the time of shooting. This AF area information is stored in the attribute information (AF area information area 52c) of the image information storage unit 13 as information at the time of image shooting. Then, at the time of subject shake detection, based on the AF area information read from the image information storage unit 13, only the corresponding area of the evaluation target image 100 is cut out, and using the same method as the above-described camera shake detection, A subject blur is detected, and a “blur width σ” indicating the intensity of a miss shot is defined. Then, based on this blur width, the evaluation value V sblur is calculated using the same calculation method as the above-described equation (3), similarly to the method at the time of camera shake detection.
〔類似画像の抽出による評価方法〕
次に、類似画像の抽出による評価方法での処理手順を説明する。ここで言う「類似画像」とは、スライドショーの対象となるデジタル画像群のうち、同一シーンを連続撮影している画像等、互いに似通っている画像のグループを意味する。このような類似画像の検出は、ＩＳＯ／ＩＥＣ １５９３８−３（ｍｐｅｇ７ ｖｉｓｕａｌ ｄｉｓｃｒｉｐｔｉｏｎ）で定義されている各種画像統計量を特徴量として各画像を特徴付け、各特徴量を成分とする特徴ベクトルを画像毎に定義し、この特徴ベクトルの定義された線形空間を特徴空間として定義した上で、各画像に対応する特徴ベクトルの「距離」に応じてグルーピングすることにより行うことができる。
[Evaluation method by extracting similar images]
Next, a processing procedure in the evaluation method by extracting similar images will be described. The term “similar image” as used herein refers to a group of images that are similar to each other, such as images in which the same scene is continuously photographed, among digital image groups to be subjected to a slide show. Such a similar image is detected by characterizing each image using various image statistics defined in ISO / IEC 15938-3 (mpeg7 visual description) as a feature amount, and using a feature vector having each feature amount as a component. This is defined for each image, and a linear space in which the feature vectors are defined is defined as a feature space, and then grouped according to the “distance” of the feature vectors corresponding to each image.
より具体的には、特徴量として画像のテクスチャと関連したエッジヒストグラムと呼ばれる画像統計量や、色分布に関する統計量であるカラーヒストグラムやカラーレイアウトを用い、特徴空間上でのユークリッド距離に応じて類似度を判定した上で、階層的クラスタリングをはじめとする各種クラスタリング手法により、画像をグルーピングすることができる。本実施例においては、クラスタリング手法として、階層的クラスタリングを行ったとして説明を行う。なお、この手法に関する詳細は、例えば、「Ｒｉｃｈａｒｄ Ｏ．Ｄｕｄａ ｅｔ ａｌ．， “Ｐａｔｔｅｒｎ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ”， Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ（邦題：パターン識別、監訳：尾上守夫、出版社：新技術コミュニケーションズ）」等の画像処理の教科書に記載されている。階層的クラスタリングによりグルーピングを行うと、その類似度（距離Ｄ）に応じて、何れの画像と何れの画像とが同じグループに属するかを表す系統図が生成される。この系統図の例として、８枚の画像（０００１．ｊｐｇ〜０００８．ｊｐｇ）について系統図を生成したものを図１０に示す。図１０では、各画像におけるＮ次元の特徴ベクトルをもとに各画像間のユークリッド距離を求め、この距離に基づく類似度(距離Ｄ)に応じて、系統図を生成している。図１０中のミスショット強度は、画像間の距離Ｄに基づいたものであり、距離Ｄが短いほど、画像間又はグループ間の類似度が高く、距離Ｄが長いほど画像間又はグループ間の類似度が低い。この系統図を予め決められた閾値ＴDで切断する事により、図１１に示すような３つの類似画像のグループを生成することができる。このように類似画像のグルーピングを行った後、各グループにおいて撮影日時が一番遅いもの（最新の画像）を基準画像として選択し、同一グループ（同一類似画像群）の類似画像に対し、下記式（４）を用いて評価値Ｖsimを算出する。 More specifically, image statistics called edge histograms related to the texture of the image as feature quantities, and color histograms and color layouts, which are statistics relating to color distribution, are used depending on the Euclidean distance in the feature space. After determining the degree, images can be grouped by various clustering methods including hierarchical clustering. In this embodiment, a description will be given assuming that hierarchical clustering is performed as a clustering method. Details regarding this method are, for example, “Richard O. Duda et al.,“ Pattern Classification Second Edition ”, John Wiley & Sons (Japanese title: Pattern Identification, Supervision: Morio Onoe, Publisher: New Technology Communications), etc. It is described in the textbook of image processing. When grouping is performed by hierarchical clustering, a system diagram representing which image and which image belong to the same group is generated according to the similarity (distance D). As an example of this system diagram, FIG. 10 shows a system diagram generated for eight images (0001.jpg to 0008.jpg). In FIG. 10, the Euclidean distance between the images is obtained based on the N-dimensional feature vector in each image, and a system diagram is generated according to the similarity (distance D) based on this distance. The miss shot intensity in FIG. 10 is based on the distance D between images. The shorter the distance D, the higher the similarity between images or groups, and the longer the distance D, the similarity between images or groups. The degree is low. By cutting this system diagram at a predetermined threshold value T D , groups of three similar images as shown in FIG. 11 can be generated. After grouping similar images in this way, the latest imaged date (latest image) in each group is selected as a reference image, and the following formula is used for similar images in the same group (same similar image group): The evaluation value Vsim is calculated using (4).
但し、上記式（４）中、Ｄは、類似度を表し、ａsimは、マイナスの値をとるパラメータであり、ｂsimは、正負を問わないパラメータである。［］は、括弧内の演算結果に対しその値を超えない最大の整数値を返すことを意味するガウス記号を示す。なお、本実施例では、上述のように、画像を類似画像群に分類し、当該分類毎に撮影時刻が一番遅い評価対象画像を中心に、上記式（４）に基づいて、残りの評価対象画像の評価値Ｖsimを、類似度Ｄに比例して算出しているが、この式（４）を用いずに、最新の画像の評価値のみにプラスの値を設定し、最新以外の画像の評価値にその類似度に応じてマイナス値を設定するよう構成してもよい。 However, in said formula (4), D represents similarity, a sim is a parameter which takes a negative value, and b sim is a parameter regardless of positive or negative. [] Indicates a Gaussian sign meaning that the maximum integer value not exceeding the value is returned for the operation result in parentheses. In the present embodiment, as described above, the images are classified into similar image groups, and the remaining evaluations are performed based on the above formula (4) with the evaluation target image having the latest photographing time for each classification as the center. The evaluation value V sim of the target image is calculated in proportion to the similarity D, but without using this formula (4), a positive value is set only for the evaluation value of the latest image, You may comprise so that a minus value may be set to the evaluation value of an image according to the similarity.
〔露出不良判定による評価方法〕
次に、露出不良判定による評価方法での処理手順について、図６のフローチャート及び図１２に示す模式図を用いて説明する。まず、図６に示すように、評価対象画像から処理対象領域の抽出を行う（ステップＳ７０１）。それには、図１２（ａ）に示される、与えられた評価対象画像Ｉに対し、下記式（５）で定義するｓｏｂｅｌ ｆｉｌｔｅｒ（ソーベルフィルター）Ｓｈ、ＳＶを適用し、その後に相対強度（以下単に強度と呼ぶ）Ｔbを閾値として２値化処理を実行し、図１２（ｂ）に示されるエッジ画像集合Ｉedgeを求める。
[Evaluation method by poor exposure judgment]
Next, the processing procedure in the evaluation method based on the exposure failure determination will be described with reference to the flowchart in FIG. 6 and the schematic diagram in FIG. First, as shown in FIG. 6, a processing target area is extracted from the evaluation target image (step S701). For that purpose, sobel filters (Sobel filters) Sh and SV defined by the following equation (5) are applied to the given evaluation target image I shown in FIG. A binarization process is executed with T b as a threshold value (referred to simply as intensity) to obtain an edge image set I edge shown in FIG.
ただし、上記式（５）中、＊は、コンボリュージョンを表し、ｔｈｒｅｓｈｏｌｄ（）は、閾値Ｔbでの２値化処理を表す。また、ｉ，ｊは、各画像のｘ，ｙ座標値を表す。 However, in the above formula (5), * represents a convolution, threshold The () represents a binarization process by the threshold T b. I and j represent the x and y coordinate values of each image.
エッジ画像集合Ｉedgeを求めた後、図１２（ｂ）に示されるように、このエッジ画像集合Ｉedgeを縦横３等分、計９個の小領域集合｛Ｉsub_n｜ｎ＝１，２，．．．９｝に分割し、各領域において強度１の画素の個数をカウントする。その結果、最もカウント数が多い領域を求め、この領域に該当する部分を、評価対象画像Ｉから切り出し、図１２（ｃ）の模式図に示されるＩsubを得る。このＩsubを求める処理を、数式で表したものを下記式（６）に示す。 After obtaining the edge image set I edge, 12 as shown in (b), 3 equal portions aspect the edge image collection I edge, a total of nine small regions set {I sub_n | n = 1,2, . . . 9}, and the number of pixels having intensity 1 in each region is counted. As a result, a region having the largest count number is obtained, and a portion corresponding to this region is cut out from the evaluation target image I to obtain I sub shown in the schematic diagram of FIG. The process for obtaining I sub is expressed by the following formula (6).
ただし、上記式（６）中、ｎ及びｋは、小領域を示すインデックスで、１〜９の整数を表し、ｓｕｍ（）は、与えられた２値画像の白色画素の総和を求める関数であり、ｍａｘ（）は、ｓｕｍ（Ｉsub_k）のうち最大値を返す関数であり、ａｒｇは、ｍａｘ（ｓｕｍ（Ｉsub_k））のうち、最大値となる画像領域のインデックスを返す関数である。その結果得られるインデックスｎに対応するＩsub_nを、Ｉsubとする However, in said Formula (6), n and k are the indexes which show a small area, represent the integer of 1-9, and sum () is a function which calculates | requires the sum total of the white pixel of the given binary image. , Max () is a function that returns the maximum value of sum (I sub — k ), and arg is a function that returns the index of the image area that is the maximum value of max (sum (I sub — k )). The I Sub_n corresponding to the index n obtained as the result thereof as a I sub
次に、露出不足候補の画素数のカウンタｎ、当該画素の座標カウンタｉ及びｊ（ｉ，ｊは、各々ｘ，ｙ座標値を表す）に初期値０を設定する。（ステップＳ７０２）。その後、Ｉｓｕｂの各画素に対し、後述の式（７）に定義するＳ、Ｖmax、Ｖminを計算し、予め設定された閾値Ｔs、Ｔmax、Ｔminを用いて、後述の式（８）で表される判定式を満たす画素の個数ｎ及び露出不良判定値ｅｘｐｖを求める（ステップＳ７０３〜Ｓ７１０）。この露出不良判定値ｅｘｐｖをもとに、露出が良好か不足かを判定して、露出不良判定に基づく評価値Ｖexpを設定する。以下、図６のフローチャートを用いて各処理の詳細を説明する。 Next, the initial value 0 is set to the counter n for the number of pixels of underexposure candidates and the coordinate counters i and j (i and j respectively indicate x and y coordinate values) of the pixel. (Step S702). Thereafter, S, V max , and V min defined in Expression (7) to be described later are calculated for each pixel of I sub , and the expressions to be described later are used using preset threshold values T s , T max , and T min. The number n of pixels satisfying the determination formula represented by (8) and the exposure failure determination value expv are obtained (steps S703 to S710). Based on this poor exposure determination value expv, it is determined whether the exposure is good or insufficient, and an evaluation value V exp based on the poor exposure determination is set. Details of each process will be described below with reference to the flowchart of FIG.
まず、Ｉsubの各画素の縦幅（ｈｅｉｇｈｔ）まで処理を行ったか判定するが、これは、画素のｙ座標を示すｊが、ｊ＜ｈｅｉｇｈｔを満たすか否かで判定する（ステップＳ７０３）。縦幅ｈｅｉｇｈｔまで達していなければ（即ち、ｊ＜ｈｅｉｇｈｔを満たす）、下記のステップＳ７０４〜Ｓ７０７を行う。 First, it is determined whether the processing has been performed up to the vertical width (height) of each pixel of I sub , which is determined by whether j indicating the y coordinate of the pixel satisfies j <height (step S703). If the vertical height is not reached (that is, j <height is satisfied), the following steps S704 to S707 are performed.
ステップＳ７０４では、Ｊｐｅｇデコード後のＹＣＣ画像を、ＲＧＢ画像に変換し、このＲＧＢ画像から下記式（７）により、Ｉsubの各画素（ｉ，ｊ）において、赤成分の強度をＲ（ｉ，ｊ）とし、緑成分の強度をＧ（ｉ，ｊ）とし、青成分の強度をＢ（ｉ，ｊ）とし、各画素において最も大きい成分の値Ｖmax（ｉ，ｊ）、最も小さい成分の値Ｖmin（ｉ，ｊ）及びその差分Ｓ（ｉ，ｊ）を求める。 In step S704, the YCC image after Jpeg decoding is converted into an RGB image, and the intensity of the red component is set to R (i, j) in each pixel (i, j) of I sub from the RGB image by the following equation (7). j), the intensity of the green component is G (i, j), the intensity of the blue component is B (i, j), the largest component value V max (i, j) in each pixel, and the smallest component A value V min (i, j) and its difference S (i, j) are obtained.
ただし、上記式（７）中、ｉ及びｊは正の整数であり、画素のｘ及びｙ座標値を表す。ｍａｘ（）は、与えられた要素の最大値を返す関数を表し、ｍｉｎ（）は、与えられた要素の最小値を返す関数を表す。 However, in said Formula (7), i and j are positive integers and represent the x and y coordinate values of the pixel. max () represents a function that returns the maximum value of the given element, and min () represents a function that returns the minimum value of the given element.
次に、ステップＳ７０５では、上記式（７）で算出された数値が、下記式（８）で表される条件を満たすか判定する。 Next, in step S705, it is determined whether the numerical value calculated by the equation (7) satisfies the condition expressed by the following equation (8).
ただし、上記式（８）中、Ｔs、Ｔmin、及びＴmaxは、閾値を表す。 However, in the above formula (8), T s, T min, and T max represent the threshold.
ここで、上記式（８）を満たすときに、当該画素を露出不足と判定し、露出不足候補の画素数のカウンタｎをカウントアップする（ステップＳ７０６）。次に、画素のｘ座標値ｉをカウントアップし（ステップＳ７０７）、このｉが画素の横幅（ｗｉｄｔｈ）に達したかを判定する（ステップＳ７０８）。 Here, when the above equation (8) is satisfied, it is determined that the pixel is underexposed, and the counter n for the number of pixels of underexposed candidates is counted up (step S706). Next, the x-coordinate value i of the pixel is counted up (step S707), and it is determined whether this i has reached the horizontal width (width) of the pixel (step S708).
ステップＳ７０８で、ｉ＜ｗｉｄｔｈを満たすと判定された場合、即ち、横幅ｗｉｄｔｈに達していないと判定された場合は、上記のステップＳ７０４〜Ｓ７０７を繰り返し、ｙ座標ｊに対するすべてのｘ方向の画素について処理を行う。 If it is determined in step S708 that i <width is satisfied, that is, if it is determined that the width width has not been reached, the above steps S704 to S707 are repeated, and all pixels in the x direction with respect to the y coordinate j are repeated. Process.
一方、ステップＳ７０８で、ｉ＜ｗｉｄｔｈを満たさないと判定された場合、即ち、横幅の最後まで処理が終わったと判定された場合は、次のｙ座標におけるｘ方向の画素について処理を行うため、ｉをゼロクリアし、ｊをカウントアップした後(ステップＳ７０９)、ステップＳ７０３〜Ｓ７０８の処理を繰り返す。 On the other hand, if it is determined in step S708 that i <width is not satisfied, that is, if it is determined that the process has been completed up to the end of the horizontal width, the process is performed on the pixel in the x direction at the next y coordinate. Is cleared to zero and j is counted up (step S709), and then the processing of steps S703 to S708 is repeated.
なお、ステップＳ７０３で、ｊ＜ｈｅｉｇｈｔを満たさないと判定された場合、即ち、すべての画素についての処理が終わったら、次に、露出不足の画素数ｎを用いて、下記式（９）により露出不足判定値ｅｘｐｖを求める（ステップＳ７１０）。 If it is determined in step S703 that j <height is not satisfied, that is, when the processing for all the pixels is completed, the exposure is performed by the following equation (9) using the number n of underexposed pixels. The lack determination value expv is obtained (step S710).
但し、上記式（９）中、ｗｉｄｔｈ，ｈｅｉｇｈｔは小領域Ｉsubの横幅及び縦幅を表し、＊は、コンボリュージョンを表す。 However, in the above formula (9), width and height represent the horizontal and vertical widths of the small region I sub , and * represents convolution.
上記で求めたｅｘｐｖに対し、ステップＳ７１１では、予め設定した閾値Ｔexpvを用いて閾値判定を行い、評価対象画像１００に対して露出（ｅｘｐｏｓｕｒｅ）の不足判定を行う。ｅｘｐｖが閾値Ｔexpvより大きい場合は、露出不足（ｂａｄ）と判定し（ステップＳ７１２）、ｅｘｐｖが閾値Ｔexpv以下である場合は、露出良好（ｇｏｏｄ）と判定する（ステップＳ７１３）。 In step S 711, the threshold value is determined using the preset threshold value T expv for the expv obtained above, and the lack of exposure is determined for the evaluation target image 100. When expv is larger than the threshold value T expv, it is determined that the exposure is insufficient (bad) (step S 712), and when expv is equal to or less than the threshold value T expv, it is determined that the exposure is good (good) (step S 713).
上記の通り、露出不足判定を行った後、露出不足（ｂａｄ）と判定された評価対象画像１００について、露出不足判定値ｅｘｐｖに基づき、下記式（１０）を用いて、露出不足に基づく評価値Ｖexpを決定する。露出良好（ｇｏｏｄ）と判定された評価対象画像１００については、評価値Ｖexpに０（初期値）を設定する。 As described above, the evaluation value based on the underexposure is calculated using the following formula (10) based on the underexposure determination value expv for the evaluation target image 100 determined to be underexposed (bad) after performing the underexposure determination. Determine V exp . For the evaluation target image 100 determined to have good exposure (good), the evaluation value V exp is set to 0 (initial value).
ただし、上記式（１０）中、ａexpは、負の値をとる実数である。 In the above equation (10), a exp is a real number that takes a negative value.
次に、優先値設定部１５による優先値設定処理（ステップＳ３０）について説明する。ここでは、前述した評価処理（ステップＳ２０）において、手ぶれの検出、被写体ぶれの検出、類似画像の抽出、露出不良判定による評価方法を用いて求めた各評価値に基づいて、優先値設定部１５が、当該評価対象画像１００を総合的に評価し、優先値として決定する。まず、評価対象画像１００に対して、前述の手ぶれ検出による評価方法、被写体ぶれ検出による評価方法、類似画像の抽出による評価方法、及び、露出不良判定による評価方法で求めた評価値は、それぞれＶblur、Ｖsblur、Ｖsim、Ｖexpと定義される。当該評価対象に対する総合評価値Ｖtotalは、下記式（１１）を用いて算出する。 Next, priority value setting processing (step S30) by the priority value setting unit 15 will be described. Here, in the above-described evaluation process (step S20), the priority value setting unit 15 is based on each evaluation value obtained using an evaluation method based on detection of camera shake, detection of subject shake, extraction of similar images, and exposure failure determination. However, the evaluation target image 100 is comprehensively evaluated and determined as a priority value. First, with respect to the evaluation target image 100, the evaluation values obtained by the above-described evaluation method based on camera shake detection, the evaluation method based on subject shake detection, the evaluation method based on extraction of similar images, and the evaluation method based on exposure failure determination are respectively V It is defined as blur , V sblur , V sim , V exp . The comprehensive evaluation value V total for the evaluation object is calculated using the following formula (11).
但し、上記式（１１）中、ｗblur，ｗsblur，ｗsim，ｗexpは、各判定値に対する重み係数を表し（以下、｛ｗfalse｝と呼ぶ）、正の実数値を表す。この重み係数は、ユーザが任意に設定し、システムまたは適宜の記憶部に記憶するものであってもよいし、システムや記憶部に予め初期値として設定されているものであってもよい。重み係数の詳細については、後述する。 In the above equation (11), w blur , w sblur , w sim , and w exp represent weighting factors for the respective determination values (hereinafter referred to as {w false }), and represent positive real values. The weighting factor may be arbitrarily set by the user and stored in the system or an appropriate storage unit, or may be set in advance as an initial value in the system or the storage unit. Details of the weighting factor will be described later.
上記式（１１）によれば、｛ｗfalse｝が正の実数値で、各評価値Ｖblur等（以下｛Ｖfalse｝と呼ぶ）が負の値であることから、Ｖtotalは負の値となる。このＶtotalが、当該評価対象画像の１００優先値となり、画像情報記憶部１３の当該評価対象画像１００に対応する属性情報領域の優先値領域５２ａに記憶される。 According to the above equation (11), {w false } is a positive real value, and each evaluation value V blur (hereinafter referred to as {V false }) is a negative value, so V total is a negative value. It becomes. This V total becomes the 100 priority value of the evaluation target image, and is stored in the priority value area 52a of the attribute information area corresponding to the evaluation target image 100 of the image information storage unit 13.
また、優先値設定部１５では、上記のようにして設定された優先値を、評価対象画像１００毎に、ディスプレイ２０に表示できるよう構成してもよい。この場合、図４に示すように、ディスプレイ２０の設定画面Ｇ１において、優先値の初期値として、上述の処理により算出されたＶtotalに相当する記号（本実施例では、プラスは白星☆、マイナスは黒星★）が画面上に表示される。ここで、式（１１）における重み係数｛ｗfalse｝は、１を含む同じ値が設定されているものとして、Ｖtotalを｛Ｖfalse｝の単純平均の定数倍として求めてもよい。または、｛ｗfalse｝は、事前にシステムに設定した０を含む任意の固定値としても良い。さらに、図示はしないが、重み係数設定画面などにより、ユーザが重み係数｛ｗfalse｝の値を任意に変更できるようにし、失敗画像に対するユーザの好みを反映できるようにしてもよい。例えば、あるユーザとって、手ぶれに対しての評価は低いが、被写体ぶれに対しての評価が比較的緩い場合には、ｗblurの値を大きく（例えば１０等）、ｗsblurの値を小さく（例えば０）設定できるように構成してもよい。または、下記式（１２）に基づき、最も影響の大きい優先値の効果のみを、総合的評価値として反映させて画面上に表示してもよい。 The priority value setting unit 15 may be configured to display the priority value set as described above on the display 20 for each evaluation target image 100. In this case, as shown in FIG. 4, on the setting screen G1 of the display 20, as an initial value of the priority value, a symbol corresponding to V total calculated by the above-described processing (in this embodiment, plus is white star ☆, minus Appears on the screen. Here, assuming that the same value including 1 is set for the weighting factor {w false } in Expression (11), V total may be obtained as a constant multiple of a simple average of {V false }. Alternatively, {w false } may be an arbitrary fixed value including 0 set in the system in advance. Further, although not shown, the user may arbitrarily change the value of the weighting factor {w false } on a weighting factor setting screen or the like so that the user's preference for the failed image can be reflected. For example, for a certain user, when the evaluation for camera shake is low but the evaluation for subject shake is relatively loose, the value of w blur is increased (for example, 10), and the value of w sblur is decreased. You may comprise so that it can set (for example, 0). Or based on the following formula (12), only the effect of the priority value having the greatest influence may be reflected on the screen as a comprehensive evaluation value.
このようにすべての評価対象画像１００について、Ｖtotalを算出して優先値を決定し、画像情報記憶部１３に記憶する処理を行うことにより、優先値設定処理（ステップ３０）が終了する。 As described above, the priority value setting process (step 30) is completed by calculating the V total for all the evaluation target images 100, determining the priority values, and storing them in the image information storage unit 13.
（重み係数の更新）
ここまでの説明において、重み係数ｗblur等はシステムに予め設定された固定値またはユーザにより初期値として手動入力された値を用いることを前提としていたが、他の異なる実施例として、重み係数を、係数修正部１７により、ユーザの好みに応じて半自動的に更新し、画像評価におけるユーザの手間を削減するよう構成してもよい。この重み係数の更新とは、すなわち、優先値設定部１５により設定された評価対象画像１００の優先値を、ユーザが自分の好みに応じて変更可能にシステムを構成し、そのユーザの好みを重み係数に反映するものである。その手法を、図７のフローチャートを用いて以下に説明する。なお、以下の説明において、Ｖtotalの算出方法が、前述したように最も影響の大きい優先値の効果のみを、総合的評価値として反映させる方法、すなわち、前記式（１２）を用いるものではないことを前提とする。
(Update weighting factor)
In the description so far, the weighting factor w blur and the like has been based on the assumption that a fixed value preset in the system or a value manually input as an initial value by the user is used. The coefficient correction unit 17 may be configured to update semi-automatically according to the user's preference so as to reduce the user's effort in image evaluation. The updating of the weighting factor means that the system is configured such that the priority value of the evaluation target image 100 set by the priority value setting unit 15 can be changed according to the user's preference, and the user's preference is weighted. It is reflected in the coefficient. The method will be described below with reference to the flowchart of FIG. In the following description, the calculation method of V total does not use the method of reflecting only the effect of the priority value having the greatest influence as the overall evaluation value, as described above, that is, the equation (12) is not used. Assuming that.
まず、図７のステップＳ８０１では、｛ｎfalse｝を求める。それには、手ぶれ、被写体ぶれ、露出不良判定に基づく評価方法において、それぞれ手ぶれ、被写体ぶれ、露出不良と判定された評価対象画像の枚数ｎblur、ｎsblur、ｎexpを求める。また、類似画像の検出の結果、複数画像によるグループにグルーピングされた画像の枚数、言い換えるならば評価対象とした複数の画像の枚数から、単一画像からなるグループ（ｓｉｎｇｌｅｔｏｎ）の個数を差し引いた画像枚数ｎsimを求める。以下、この｛ｎblur，ｎsblur，ｎexp，ｎsim｝を｛ｎfalse｝と呼ぶ。 First, in step S801 in FIG. 7, {n false } is obtained. For this purpose , the numbers n blur , n sblur , and n exp of the evaluation target images determined to be camera shake, subject shake, and poor exposure are obtained in the evaluation method based on hand shake, subject shake, and poor exposure determination, respectively. In addition, as a result of detection of similar images, an image obtained by subtracting the number of single images from the number of images grouped into a group of multiple images, in other words, the number of images to be evaluated. The number n sim is obtained. Hereinafter, {n blur , n sblur , n exp , n sim } is referred to as {n false }.
次に、図４に示したインターフェースにより、設定画面Ｇ１上に表示している画像に対応して優先値設定部１５が設定した優先値１０１を、当該画面上に表示し、優先値の変更をユーザに促す（ステップＳ８０２）。図４に示されるように、設定画面Ｇ１には、評価対象画像１００と、この画像１００に設定されている優先値１０１に基づく記号と、この優先値１０１を修正するための優先値設定ボタン（ポイントアップボタン１０２、ポイントダウンボタン１０３）とが表示されている。この優先値設定ボタンをマウスやキーボードを操作することにより、優先値１０１を増減することができる。なお、優先値１０１は、白星又は黒星の記号で表示され、白星がプラスの優先値を意味し、黒星がマイナスの優先値を意味する。図４のように、手ぶれを生じ、マイナスの評価値が設定された評価対象画像１００に対しては、黒星が表示される。このユーザの変更した優先値１０１は、設定部１６により画像情報記憶部１３の属性情報領域５２（優先値領域５２ａ）に新たな優先値として記憶される。 Next, the priority value 101 set by the priority value setting unit 15 corresponding to the image displayed on the setting screen G1 is displayed on the screen by the interface shown in FIG. 4, and the priority value is changed. The user is prompted (step S802). As shown in FIG. 4, the setting screen G <b> 1 includes an evaluation object image 100, a symbol based on the priority value 101 set in the image 100, and a priority value setting button ( A point up button 102 and a point down button 103) are displayed. The priority value 101 can be increased or decreased by operating this priority value setting button with a mouse or a keyboard. The priority value 101 is displayed with a white star or a black star symbol, and the white star means a positive priority value, and the black star means a negative priority value. As shown in FIG. 4, a black star is displayed for the evaluation target image 100 in which camera shake occurs and a negative evaluation value is set. The priority value 101 changed by the user is stored as a new priority value by the setting unit 16 in the attribute information area 52 (priority value area 52a) of the image information storage unit 13.
また、係数修正部１７は、上記操作により、ユーザが評価値を変更した画像が、Ｖtotalに基づいて予めマイナスの評価が付与されていた画像であった場合、ユーザの変更した優先値Ｖと優先値設定部１５で設定した優先値Ｖtotalとの差分、Ｖ−Ｖtotalを計算し、Ｖchangeと定義する（ステップＳ８０３）。なお、前述のＶtotalの算出において、｛Ｖfalse｝のうち、０でない項に対応する重み係数｛ｗsig｝を抽出する。例えば、Ｖsblur（被写体ぶれの評価値） ＝ Ｖexp（露出不足の評価値） ＝ ０の場合、｛ｗsig｝ ＝ ｛ｗblur，ｗsim｝となる（すなわち、手ぶれと類似画像についての重み係数が抽出される）。 In addition, when the image whose user has changed the evaluation value by the above operation is an image to which a negative evaluation has been previously assigned based on V total , the coefficient correction unit 17 determines the priority value V changed by the user. A difference from the priority value V total set by the priority value setting unit 15, V−V total, is calculated and defined as V change (step S <b> 803). In the above-described calculation of V total , the weighting coefficient {w sig } corresponding to a non-zero term is extracted from {V false }. For example, when V sblur (evaluation value of subject blur) = V exp (evaluation value of underexposure) = 0, {w sig } = {w blur , w sim } (that is, the weight for camera shake and similar images) Coefficients are extracted).
また、｛ｎfalse｝において、｛ｗsig｝に対応するものを｛ｎsig｝と定義する。上記の上述した例においては、｛ｎsig｝ ＝ ｛ｎblur，ｎsim｝となる（ステップＳ８０４）。次に、｛ｗsig｝を、下記式（１３）を用いて更新する（ステップＳ８０５）。 Further, in the {n false}, defined as those corresponding to the {w sig} {n sig} . In the above-described example, {n sig } = {n blur , n sim } is satisfied (step S804). Next, {w sig } is updated using the following formula (13) (step S805).
ここで、集合｛・｝に対する演算は、和差においては各要素の和差演算を意味し、例えば｛ｘ１，ｘ２｝＋｛ｙ１，ｙ２｝ ＝ ｛ｘ１＋ｙ１，ｘ２＋ｙ２｝を意味し、スカラーを集合｛・｝で割る演算は集合を返す演算で、例えばｘ／｛ｙ１，ｙ２｝ ＝ ｛ｘ／ｙ１，ｘ／ｙ２｝を意味する。 Here, the operation on the set {·} means a sum / difference operation of each element in the sum / difference, for example, {x1, x2} + {y1, y2} = {x1 + y1, x2 + y2}, and sets a scalar The operation divided by {•} is an operation that returns a set, and means, for example, x / {y1, y2} = {x / y1, x / y2}.
すべての評価対象画像１００について、ユーザによる評価値の変更を促し、ユーザによる優先値の変更処理が終了したか判定し（ステップＳ８０６）、すべての処理が終了するまで、上記ステップＳ８０２〜Ｓ８０５の処理を繰り返す。 For all the evaluation target images 100, the user is prompted to change the evaluation value, it is determined whether or not the priority value changing process by the user has been completed (step S806), and the processes of steps S802 to S805 are performed until all the processes are completed. repeat.
以上の処理により、｛ｗfalse｝の更新を行い、次回以降に画像評価システム１２が実行され、画像の評価処理（ステップＳ２０）、優先値設定処理（ステップＳ３０）が行われた際には、この更新した｛ｗfalse｝を利用して優先値の設定が行われる。 With the above processing, {w false } is updated, and the image evaluation system 12 is executed after the next time, and when the image evaluation processing (step S20) and the priority value setting processing (step S30) are performed, The priority value is set using the updated {w false }.
このように、本実施例では、優先値設定部１５により設定された優先値をユーザが変更可能とし、この変更に基づいて、重み係数を更新し、次回の画像評価に用いている。これに対して、他の異なる実施例として、ユーザが予め評価対象画像１００に対して優先値を手動入力可能とし、この入力値を設定部１６が画像情報記憶部１３の属性情報領域５２に優先値として設定し、その後の処理で、この設定部１６により設定された優先値と、優先値設定部１５により設定された優先値との差に基づいて、前述の手法と同じ手法を用いて、当該評価対象画像に対する優先値の設定と、重み係数の修正を行うよう構成してもよい。 As described above, in this embodiment, the priority value set by the priority value setting unit 15 can be changed by the user, and the weighting coefficient is updated based on this change and used for the next image evaluation. On the other hand, as another different embodiment, the user can manually input a priority value to the evaluation target image 100 in advance, and the setting unit 16 gives priority to the attribute information area 52 of the image information storage unit 13. Based on the difference between the priority value set by the setting unit 16 and the priority value set by the priority value setting unit 15 in the subsequent processing, using the same method as described above, You may comprise so that the priority value with respect to the said evaluation object image may be set and the weighting coefficient may be corrected.
具体的には、画像記憶部１３に記憶されたデジタル画像（評価対象画像１００）を一枚ずつ読み出してディスプレイ２０等に表示する。この場合、設定画面上のお気に入りポイント１０１には、白星も黒星も表示されない。そして、撮影不良などがなく、ユーザが表示を希望する場合は、ユーザがアップボタン１０２を押下することにより、図１に示すように、お気に入りポイント１０１には白星が表示される。一方、図４のように、手ぶれを生じた評価対象画像１００に対しては、ユーザがダウンボタン１０３を押下することにより、お気に入りポイント１０１には黒星が表示される。この優先値が増減された結果は、設定部１６により画像情報記憶部１３の対応する評価対象画像の属性情報領域５２に記憶される。その後、画像の評価処理及び優先値の設定処理が起動されることにより、優先値設定部１５が画像情報記憶部１３からユーザが設定した優先値を読み出し、この優先値と、各評価方法により算出された評価値との差に基づいて、評価対象画像に対する優先値を再設定し、画像情報記憶部１３の優先値を更新するとともに、この優先値の差に基づいて、前述のような手法で重み係数を変更する。 Specifically, the digital images (evaluation target images 100) stored in the image storage unit 13 are read one by one and displayed on the display 20 or the like. In this case, neither a white star nor a black star is displayed at the favorite point 101 on the setting screen. If there is no imaging failure and the user desires to display, a white star is displayed at the favorite point 101 as shown in FIG. On the other hand, as shown in FIG. 4, a black star is displayed at the favorite point 101 when the user presses the down button 103 with respect to the evaluation target image 100 in which camera shake occurs. The result of increasing or decreasing the priority value is stored in the attribute information area 52 of the corresponding evaluation target image in the image information storage unit 13 by the setting unit 16. Thereafter, when the image evaluation process and the priority value setting process are started, the priority value setting unit 15 reads the priority value set by the user from the image information storage unit 13, and calculates the priority value and each evaluation method. Based on the difference from the evaluated value, the priority value for the image to be evaluated is reset, the priority value in the image information storage unit 13 is updated, and based on the difference in the priority value, the method described above is used. Change the weighting factor.
（スライドショーの実行）
それでは、以上のようにして設定された優先値に基づいて、デジタルカメラ１０において、上述の評価が行われたデジタル画像によるスライドショーを生成及び表示するためのスライドショー生成部１８の処理について、図８に示すフローチャートを用いて説明する。ユーザの操作によりスライドショー生成部１８を実行すると、まず、画像記憶部１３に記憶されているデジタル画像のうち、スライドショー実行の対象となるデジタル画像が記憶されたフォルダを選択する（ステップＳ９０１）。そして、スライドショーのテンプレート（デジタル画像とともに表示される背景や装飾又は音楽等の演出若しくはデザイン）を選択する（ステップＳ９０２）。このとき、テンプレートの選択は、利用者に対して登録されているテンプレートをディスプレイ２０等に表示して選択させても良いし、このスライドショー生成部１８で自動的に選択するように構成しても良い。
(Run slideshow)
FIG. 8 shows the processing of the slide show generation unit 18 for generating and displaying a slide show of the digital images evaluated as described above in the digital camera 10 based on the priority values set as described above. This will be described with reference to the flowchart shown. When the slide show generating unit 18 is executed by the user's operation, first, the digital image stored in the image storage unit 13 is selected from the folder in which the digital image to be subjected to the slide show is stored (step S901). Then, a slide show template (background or decoration displayed together with the digital image or effect or design such as music) is selected (step S902). At this time, the template may be selected by displaying a template registered for the user on the display 20 or the like, or configured to be automatically selected by the slide show generation unit 18. good.
次に、画像情報記憶部１３の当該フォルダから、デジタル画像データ５０を１件読み出す（ステップＳ９０３）。そして、この読み出されたデジタル画像の属性情報領域５２に設定されている優先値と、所定の閾値（本実施例では、０とする）とを比較し（ステップＳ９０４）、優先値が閾値以上のデジタル画像を、表示画像候補として抽出する（ステップＳ９０５）。一方、ステップＳ９０４で、優先値が閾値より小さいと判断した場合は、そのデジタル画像は表示候補とせず、読み飛ばす。なお、ここで閾値として、本実施例では０を設定しているが、他の異なる実施例として、０以外の数値を設定してもよいし、画像情報記憶部１３に記憶されているデジタル画像に設定されている優先値の平均値を閾値としてもよい。そして、優先値が設定されているデジタル画像をすべて画像記憶部１３から読み出したか否かを判断し（ステップＳ９０６）、表示対象フォルダに記憶されているすべてのデジタル画像に対して、上述のステップＳ９０３〜Ｓ９０６を繰り返す。以上のようにして、優先値が閾値以上のデジタル画像が画像情報記憶部１３から抽出されると、ステップＳ９０２で選択されたスライドショーのテンプレートとともにスライドショーが生成され(ステップＳ９０８)、ビデオ出力部１９を介してスライドショーがディスプレイ２０に出力される（ステップＳ９０９）。 Next, one piece of digital image data 50 is read from the folder of the image information storage unit 13 (step S903). Then, the priority value set in the read attribute information area 52 of the digital image is compared with a predetermined threshold value (in this embodiment, 0) (step S904), and the priority value is equal to or greater than the threshold value. Are extracted as display image candidates (step S905). On the other hand, if it is determined in step S904 that the priority value is smaller than the threshold value, the digital image is skipped without being a display candidate. Here, as the threshold value, 0 is set in the present embodiment, but as another different embodiment, a numerical value other than 0 may be set, or a digital image stored in the image information storage unit 13 may be set. The average value of the priority values set in the above may be used as the threshold value. Then, it is determined whether or not all digital images for which priority values are set have been read from the image storage unit 13 (step S906), and for all the digital images stored in the display target folder, the above-described step S903 is performed. Repeat S906. As described above, when a digital image having a priority value equal to or greater than the threshold value is extracted from the image information storage unit 13, a slide show is generated together with the slide show template selected in step S902 (step S908). Then, the slide show is output to the display 20 (step S909).
なお、スライドショー生成部１８は、画像情報記憶部１３に記憶されているデジタル画像のうち、閾値以上の優先値が設定されているデジタル画像のファイル名と、その優先値をリストにしたスライドショーリストを生成し、そのリストに基づいてデジタル画像を画像情報記憶部１３から読み出してスライドショーを出力するように構成することも可能である。 The slide show generation unit 18 displays a slide show list in which the file names of digital images having priority values equal to or higher than the threshold value among the digital images stored in the image information storage unit 13 are listed. It is also possible to generate and display a digital image from the image information storage unit 13 based on the list and output a slide show.
デジタルカメラ１０に、以上のような画像評価システム１２を設けると、画像情報記憶部１３に記憶されたデジタル画像（評価対象画像１００）に対する優先値の設定を自動的に行うことができる。また、優先値をユーザの好みに応じて変更することもできる。そのため、同一シーンを連続撮影して冗長的に記憶されたデジタル画像、露出不足のデジタル画像、手ぶれや被写体ぶれを生じたデジタル画像等、ユーザが表示を好まないようなデジタル画像を排除して、ユーザの意図に合致したスライドショーの生成及び表示を容易に行うことができる。 When the image evaluation system 12 as described above is provided in the digital camera 10, priority values can be automatically set for the digital image (evaluation target image 100) stored in the image information storage unit 13. In addition, the priority value can be changed according to the user's preference. Therefore, digital images that are redundantly stored by taking the same scene continuously, digital images that are underexposed, digital images that cause camera shake or subject shake, etc. It is possible to easily generate and display a slide show that matches the user's intention.
なお、以上の実施例においては、画像評価システム１２をデジタルカメラ１０に設けた場合について説明したが、本発明がこの実施例に限定されることはなく、例えば、この画像評価システム１２を備える専用の画像表示装置として構成する場合や、ネットワークに接続されたサーバにこの画像評価システム１２を実装し、ネットワークに接続された端末（デジタルカメラ、携帯電話、ＰＤＡ又はパーソナルコンピュータ）からこのサーバにデジタル画像を転送して評価するように構成しても同様の効果を得ることができる。 In the above embodiment, the case where the image evaluation system 12 is provided in the digital camera 10 has been described. However, the present invention is not limited to this embodiment. The image evaluation system 12 is mounted on a server connected to a network when configured as an image display device, and a digital image is transmitted from a terminal (digital camera, mobile phone, PDA or personal computer) connected to the network to the server. The same effect can be obtained even if it is configured to transfer and evaluate.
１０ デジタルカメラ １１ 撮像部 １２ 画像評価システム（画像評価装置）
１３ 画像情報記憶部 １４ 画像評価部 １５ 優先値設定部
１６ 設定部 １７ 係数修正部 １８スライドショー生成部
５２ 属性情報（属性情報領域）
５２ａ 優先値領域 ５２ｂ 撮影日時領域 ５２ｃ ＡＦエリア情報領域
１００ 評価対象画像
DESCRIPTION OF SYMBOLS 10 Digital camera 11 Imaging part 12 Image evaluation system (image evaluation apparatus)
DESCRIPTION OF SYMBOLS 13 Image information storage part 14 Image evaluation part 15 Priority value setting part 16 Setting part 17 Coefficient correction part 18 Slide show production | generation part 52 Attribute information (attribute information area)
52a Priority value area 52b Shooting date / time area 52c AF area information area 100 Evaluation target image
Claims (8)
前記画像情報記憶部から前記評価対象画像を選択し、当該評価対象画像に対して少なくとも１以上の評価方法を用いて評価値を算出する画像評価部と、
前記評価値を前記評価対象画像の前記属性情報に優先値として設定する優先値設定部とから構成される画像評価装置。 An image information storage unit that stores an evaluation target image and attribute information of the evaluation image in association with each other;
An image evaluation unit that selects the evaluation target image from the image information storage unit and calculates an evaluation value using at least one evaluation method for the evaluation target image;
An image evaluation apparatus comprising: a priority value setting unit that sets the evaluation value as a priority value in the attribute information of the evaluation target image.
前記優先値設定部により設定された前記優先値と前記設定部で設定された前記優先値との差を算出し、当該差から前記重み係数を修正する係数修正部とを有する請求項１〜３いずれか一項に記載の画像評価装置。 A setting unit that sets the priority value in the attribute information of the image information storage unit for each of the evaluation target images;
4. A coefficient correction unit that calculates a difference between the priority value set by the priority value setting unit and the priority value set by the setting unit, and corrects the weighting coefficient based on the difference. The image evaluation apparatus as described in any one of Claims.
前記評価対象画像を小領域に分割し、前記小領域毎にエッジ画像を求め、当該エッジ画像から算出されるエッジ成分の最も高い前記小領域を処理対象領域に選定し、当該処理対象領域の各画素において、赤成分の強度をＲ（ｉ，ｊ）とし、緑成分の強度をＧ（ｉ，ｊ）とし、青成分の強度をＢ（ｉ，ｊ）とし、各画素において最も大きい成分の値Ｖmax（ｉ，ｊ）、最も小さい成分の値Ｖmin（ｉ，ｊ）及びその差分Ｓ（ｉ，ｊ）を次式
で定義し、当該Ｖmax（ｉ，ｊ）、Ｖmin（ｉ，ｊ）及びＳ（ｉ，ｊ）に基づいて露出不良判定処理を行って前記評価値を算出するように構成された請求項１〜４いずれか一項に記載の画像評価装置。 The image evaluation unit
The evaluation target image is divided into small regions, an edge image is obtained for each small region, the small region having the highest edge component calculated from the edge image is selected as a processing target region, and each of the processing target regions In the pixel, the intensity of the red component is R (i, j), the intensity of the green component is G (i, j), the intensity of the blue component is B (i, j), and the value of the largest component in each pixel V max (i, j), the smallest component value V min (i, j) and the difference S (i, j)
前記画像記憶部に記憶されている前記評価対象画像から、当該評価対象画像間の類似度を算出し、当該類似度に基づいて類似する画像を類似画像群に分類し、当該分類毎に撮影時刻が一番遅い前記評価対象画像を中心に、残りの前記評価対象画像の前記評価値を前記類似度に反比例して算出するように構成された請求項１〜４いずれか一項に記載の画像評価装置。 The image evaluation unit
The similarity between the evaluation target images is calculated from the evaluation target images stored in the image storage unit, and similar images are classified into a similar image group based on the similarity, and the shooting time for each classification 5. The image according to claim 1, wherein the evaluation value of the remaining evaluation target image is calculated in inverse proportion to the similarity, with the evaluation target image being the latest as the center. Evaluation device.
光学系及び当該光学系で結像された像を検出する撮像素子を備え、当該撮像素子で検出された画像を評価対象画像として記憶部に記憶させる撮像部とを有し、
前記撮像部により前記画像情報記憶部に前記評価対象画像が記憶されたときに、前記優先値設定部により当該評価対象画像に対する前記優先値が設定されるように構成されるカメラ。 An image evaluation apparatus according to any one of claims 1 to 7,
An image pickup unit that includes an optical system and an image pickup device that detects an image formed by the optical system, and that stores an image detected by the image pickup device as an evaluation target image in a storage unit;
A camera configured to set the priority value for the evaluation target image by the priority value setting unit when the evaluation target image is stored in the image information storage unit by the imaging unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007293856A JP4966167B2 (en) | 2007-11-13 | 2007-11-13 | Image evaluation apparatus and camera having the image evaluation apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007293856A JP4966167B2 (en) | 2007-11-13 | 2007-11-13 | Image evaluation apparatus and camera having the image evaluation apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009122792A true JP2009122792A (en) | 2009-06-04 |
| JP4966167B2 JP4966167B2 (en) | 2012-07-04 |
Family
ID=40814905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007293856A Active JP4966167B2 (en) | 2007-11-13 | 2007-11-13 | Image evaluation apparatus and camera having the image evaluation apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4966167B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10650242B2 (en) | 2016-12-09 | 2020-05-12 | Canon Kabushiki Kaisha | Information processing apparatus, method, and storage medium storing a program that obtain a feature amount from a frame in accordance with a specified priority order |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000137791A (en) * | 1998-10-30 | 2000-05-16 | Minolta Co Ltd | Image evaluating device |
| JP2006254107A (en) * | 2005-03-10 | 2006-09-21 | Olympus Imaging Corp | Image evaluation device, image evaluation program, recording medium with image evaluation program recorded thereon, and image evaluation method |
| JP2006311340A (en) * | 2005-04-28 | 2006-11-09 | Olympus Imaging Corp | Image display device and digital camera |
-
2007
- 2007-11-13 JP JP2007293856A patent/JP4966167B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000137791A (en) * | 1998-10-30 | 2000-05-16 | Minolta Co Ltd | Image evaluating device |
| JP2006254107A (en) * | 2005-03-10 | 2006-09-21 | Olympus Imaging Corp | Image evaluation device, image evaluation program, recording medium with image evaluation program recorded thereon, and image evaluation method |
| JP2006311340A (en) * | 2005-04-28 | 2006-11-09 | Olympus Imaging Corp | Image display device and digital camera |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10650242B2 (en) | 2016-12-09 | 2020-05-12 | Canon Kabushiki Kaisha | Information processing apparatus, method, and storage medium storing a program that obtain a feature amount from a frame in accordance with a specified priority order |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4966167B2 (en) | 2012-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2017261537B2 (en) | Automated selection of keeper images from a burst photo captured set | |
| JP4772839B2 (en) | Image identification method and imaging apparatus | |
| JP4840426B2 (en) | Electronic device, blurred image selection method and program | |
| US8064710B2 (en) | Image processing apparatus, method of controlling thereof, and program | |
| KR101060488B1 (en) | Optimal Image Selection Method and Device | |
| US8290281B2 (en) | Selective presentation of images | |
| US7599568B2 (en) | Image processing method, apparatus, and program | |
| JP5456159B2 (en) | Method and apparatus for separating the top of the foreground from the background | |
| US8254630B2 (en) | Subject extracting method and device by eliminating a background region using binary masks | |
| JP5034661B2 (en) | Image management apparatus, image display apparatus, imaging apparatus, processing method in these, and program causing computer to execute the method | |
| JP5834879B2 (en) | Image printing apparatus, method, program, image processing apparatus, method, and program | |
| US8437542B2 (en) | Image processing apparatus, method, and program | |
| US8213741B2 (en) | Method to generate thumbnails for digital images | |
| US7760249B2 (en) | Image recording and playing system and image recording and playing method | |
| JP2018107593A (en) | Image processing apparatus, image processing method, and program | |
| JP2012105205A (en) | Key frame extractor, key frame extraction program, key frame extraction method, imaging apparatus, and server device | |
| JP2004005384A (en) | Image processing method, image processing device, program, recording medium, automatic trimming device and picture-taking arrangement | |
| WO2015196681A1 (en) | Picture processing method and electronic device | |
| EP2765555B1 (en) | Image evaluation device, image selection device, image evaluation method, recording medium, and program | |
| US20190104222A1 (en) | Information processing apparatus, control method, and storage medium | |
| JP4966167B2 (en) | Image evaluation apparatus and camera having the image evaluation apparatus | |
| JP2004023656A (en) | Image processing device, image processing method, and program | |
| JP2007080136A (en) | Specification of object represented within image | |
| CN108132935B (en) | Image classification method and image display method | |
| JP2010173323A (en) | Printer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20101025 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120316 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120330 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4966167 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150406 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |