JP2007174015A

JP2007174015A - Image management program and image management apparatus

Info

Publication number: JP2007174015A
Application number: JP2005365816A
Authority: JP
Inventors: Yukako Matsumoto; 由佳子松本
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2005-12-20
Filing date: 2005-12-20
Publication date: 2007-07-05

Abstract

PROBLEM TO BE SOLVED: To provide an image management program and an image management apparatus for grouping images, depending on the similarity and reducing variations in the image quality of images contained in groups by groups. SOLUTION: A similarity discrimination section 104a discriminates the similarity of a plurality of images, and a grouping section 104b groups a plurality of the images, on the basis of a result of the discrimination of the similarity. An image correction section 104c corrects each image, to reduce the variations in the image quality of the images included in the same group, on the basis of a result of the grouping and an image output section 104d outputs the corrected images as a data file. COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、撮像された画像をグループ分けして管理するための画像管理プログラム、および画像管理プログラムを実行するための画像管理装置に関する。 The present invention relates to an image management program for grouping and managing captured images, and an image management apparatus for executing the image management program.

次のような画像処理装置が特許文献１によって知られている。この画像処理装置では、カメラによって撮像された複数コマの画像データの類似性を判定し、類似性があると判定された各コマの画像データの再生画像の品質が揃うように画像処理を施して、プリントする。 The following image processing apparatus is known from Patent Document 1. In this image processing apparatus, the similarity of the image data of a plurality of frames taken by the camera is determined, and image processing is performed so that the quality of the reproduced image of the image data of each frame determined to be similar is uniform. , Print.

特開平１１−３５２６０１号公報JP 11-352601 A

しかしながら、従来の画像処理装置では、画像処理を施した結果の画像をプリンタに出力してプリントするため、一旦プリントした複数コマの画像を再度プリントする際には、その都度、類似性判定処理、および画像処理を行わなければならいという問題が生じていた。 However, in the conventional image processing apparatus, an image obtained as a result of image processing is output to a printer and printed. Therefore, when a plurality of images once printed are printed again, a similarity determination process, In addition, there has been a problem that image processing has to be performed.

本発明は、複数の画像の類似性を判定し、類似性の判定結果に基づいて複数の画像をグルーピングし、グルーピング結果に基づいて同じグループに含まれる複数の画像の画質のばらつきを低減するように各画像を補正し、補正した画像をデータファイルとして出力する。
各画像を補正するに当たっては、画像の明るさのばらつきを低減するように画像を補正することが好ましく、このために各画像の各色成分に同一の補正係数を掛け算することにより画像の明るさのばらつきを低減してもよく、画像に階調補正処理を施すことにより画像の画質のばらつきを低減にしてもよい。
また、画像に彩度補正処理を施すことにより画像の彩度のばらつきを補正してもよい。
複数の画像をグルーピングするに当たっては、各画像の撮影日時に基づいてグルーピングしてもよく、複数の画像を各画像が撮影された地点の位置情報に基づいてグルーピングしてもよい。または、各画像の傾向を判断して、その判断結果に基づいて複数の画像をグルーピングしてもよい。このとき、各画像の傾向を画像における色の分布特性に基づいて判断することが好ましい。
複数の画像のグルーピング結果に基づいて、複数の画像の表示順序を決定するようにしてもよい。 The present invention determines similarity of a plurality of images, groups a plurality of images based on the similarity determination result, and reduces variations in image quality of the plurality of images included in the same group based on the grouping result. Each image is corrected and the corrected image is output as a data file.
In correcting each image, it is preferable to correct the image so as to reduce the variation in the brightness of the image. For this purpose, the brightness of the image is reduced by multiplying each color component of each image by the same correction coefficient. The variation may be reduced, and the image quality variation may be reduced by applying gradation correction processing to the image.
Further, variation in saturation of the image may be corrected by performing saturation correction processing on the image.
When grouping a plurality of images, the images may be grouped based on the shooting date and time of each image, or the plurality of images may be grouped based on position information of a point where each image is shot. Alternatively, the tendency of each image may be determined, and a plurality of images may be grouped based on the determination result. At this time, it is preferable to determine the tendency of each image based on the color distribution characteristics in the image.
The display order of the plurality of images may be determined based on the grouping result of the plurality of images.

本発明によれば、補正した画像をデータファイルとして出力するようにしたため、各画像に対して一度処理を施すだけで、その結果をデータファイルとして保持することができる。このため、画像を繰り返し出力する場合に、その都度、画像に対して類似性判定処理や補正処理を施す必要がなく、処理の負荷を低減することができる。 According to the present invention, since the corrected image is output as a data file, the result can be held as a data file by performing processing once for each image. For this reason, when an image is repeatedly output, it is not necessary to perform similarity determination processing and correction processing on the image each time, and the processing load can be reduced.

図1は、本実施の形態における画像管理装置の一実施の形態の構成を示すブロック図である。画像管理装置１００は、例えばパーソナルコンピュータ（パソコン）であり、入力装置１０１と、外部インターフェース１０２と、ＨＤＤ１０３と、制御装置１０４と、モニタ１０５と、プリンタ１０６とを備えている。 FIG. 1 is a block diagram illustrating a configuration of an image management apparatus according to an embodiment of the present invention. The image management apparatus 100 is a personal computer (personal computer), for example, and includes an input device 101, an external interface 102, an HDD 103, a control device 104, a monitor 105, and a printer 106.

入力装置１０１は、キーボードやマウスなど、使用者によって操作される種々の入力部材を含んでいる。 The input device 101 includes various input members operated by a user such as a keyboard and a mouse.

外部インターフェース１０２は、例えばＵＳＢインターフェースや無線ＬＡＮモジュールなど、外部機器と有線通信または無線通信を行うためのインターフェースである。本実施の形態におけるパソコンは、この外部インターフェース１０２を介して外部機器、例えばカメラ（デジタルカメラ）から画像（画像データファイル）を取り込む。または、外部インターフェース１０２として、メモリカードなどの記憶媒体を挿入するためのメモリカードスロットを設け、メモリカード経由で画像データファイルを取り込むようにしてもよい。 The external interface 102 is an interface for performing wired communication or wireless communication with an external device such as a USB interface or a wireless LAN module. The personal computer in the present embodiment captures an image (image data file) from an external device such as a camera (digital camera) via the external interface 102. Alternatively, a memory card slot for inserting a storage medium such as a memory card may be provided as the external interface 102, and an image data file may be captured via the memory card.

なお、外部インターフェース１０２を介して取り込まれる画像データファイルは、例えばＥｘｉｆ形式の画像データファイルのように、データファイル内に画像データ部と付加情報部とを含んでいる。画像データ部には、デジタルカメラで撮像された画像データが格納されている。また、付加情報部には、画像の撮像日時情報や、画像の撮像地点の位置情報（撮像地点情報）、たとえば緯度経度情報が含まれている。なお、撮像地点情報については、画像を撮像したデジタルカメラが撮像地点情報を検出するためのＧＰＳセンサを備えている場合のみ付加情報部に記憶されることになる。 Note that the image data file captured via the external interface 102 includes an image data portion and an additional information portion in the data file, for example, an Exif format image data file. The image data section stores image data captured by a digital camera. In addition, the additional information section includes image capturing date / time information, position information of the image capturing point (image capturing point information), for example, latitude / longitude information. Note that the imaging point information is stored in the additional information section only when the digital camera that captured the image includes a GPS sensor for detecting the imaging point information.

外部インターフェース１０２を介して取り込んだ画像データファイルは、ＨＤＤ１０３に出力されて、所定のフォルダ内に記憶される。またＨＤＤ１０３には、後述するように画像データファイルをグルーピングして、各グループごとに画像データファイルの画質のばらつきを低減する画像処理を施し、その結果を出力するための画像管理プログラムが記憶されている。 The image data file captured via the external interface 102 is output to the HDD 103 and stored in a predetermined folder. Further, the HDD 103 stores an image management program for grouping image data files, performing image processing for reducing variations in image quality of the image data file for each group, and outputting the results as described later. Yes.

制御装置１０４は、ＣＰＵ、メモリ、およびその他周辺回路で構成され、類似性判定部１０４ａと、グルーピング部１０４ｂと、画像補正部１０４ｃと、画像出力部１０４ｄとを機能的に備えている。なお、制御装置１０４が備える１０４ａ〜１０４ｄの機能は、ハードウェアにより実現してもよく、ソフトウェアにより実現してもよい。本実施の形態では、制御装置１０４は、ＨＤＤ１０３に記憶された画像管理プログラムを制御装置１０４が備えるメモリ内に読み込んで実行することによって、１０４ａ〜１０４ｄの各機能をソフトウェア的に実現する例について説明する。 The control device 104 includes a CPU, a memory, and other peripheral circuits, and functionally includes a similarity determination unit 104a, a grouping unit 104b, an image correction unit 104c, and an image output unit 104d. Note that the functions of 104a to 104d included in the control device 104 may be realized by hardware or software. In the present embodiment, an example will be described in which the control device 104 implements each function of 104a to 104d in software by reading an image management program stored in the HDD 103 into a memory included in the control device 104 and executing the program. To do.

類似性判定部１０４ａは、画像データファイルに含まれる付加情報部から取得可能な撮影日時情報と撮影地点情報、および画像データ部に格納されている画像データに基づいて判定される画像の撮像シーンに基づいて、ＨＤＤ１０３に記憶されている複数の画像データファイルの類似性を判定する。具体的には以下のような類似性判定処理を行う。 The similarity determination unit 104a generates a shooting scene of an image determined based on the shooting date / time information and shooting point information that can be acquired from the additional information unit included in the image data file, and the image data stored in the image data unit. Based on this, the similarity of a plurality of image data files stored in the HDD 103 is determined. Specifically, the following similarity determination process is performed.

類似性判定部１０４ａは、使用者によって入力装置１０１が操作され、画像処理の開始が指示された場合には、まず、ＨＤＤ１０３に記憶されている全画像データファイルを処理対象データファイルとして制御装置１０４が備えるメモリに読み込む。なお、本実施の形態ではＨＤＤ１０３に記憶されている全画像データファイルを処理対象データファイルとする例について説明するが、ＨＤＤ１０３に記憶されている画像データファイルの内、使用者によって選択された画像データファイルのみを処理対象データファイルとしてもよい。また、複数の画像データファイルがＨＤＤ１０３内にフォルダ分けされて記憶されている場合には、使用者によって選択されたフォルダ内の全画像データファイルを処理対象データファイルとしてもよい。 When the input device 101 is operated by the user and the start of image processing is instructed by the user, the similarity determination unit 104a first sets all image data files stored in the HDD 103 as processing target data files as the control device 104. Read into the memory provided by. In the present embodiment, an example in which all image data files stored in the HDD 103 are processed data files will be described. However, image data selected by the user from among the image data files stored in the HDD 103 is described. Only the file may be a processing target data file. When a plurality of image data files are stored in the HDD 103 as folders, all the image data files in the folder selected by the user may be set as processing target data files.

類似性判定部１０４ａは、読み込んだ処理対象データファイルを、各画像データファイルの付加情報部に記憶されている撮影日時情報に基づいて撮影日時順に並べ替える。すなわち、処理対象データファイルとして読み込んだ全ての画像データファイルが、メモリ内で撮影日時が古いものから順番に並ぶように並べ替えを行う。次に、類似性判定部１０４ａは、並べ替えを行った結果、先頭の画像データファイルから順番に隣り合う前後の画像同士の撮影日時の差分を算出する。この処理を並べ替えを行った全ての処理対象データファイルを対象として行うことによって、時系列に並んだ全画像データファイルにおける各画像の撮影時間間隔を算出することができる。 The similarity determination unit 104a sorts the read processing target data files in order of shooting date / time based on the shooting date / time information stored in the additional information portion of each image data file. That is, all the image data files read as processing target data files are rearranged in order from the oldest shooting date / time in the memory. Next, as a result of the rearrangement, the similarity determination unit 104a calculates the difference between the shooting dates and times of the images before and after adjacent in order from the top image data file. By performing this processing for all the processing target data files that have been rearranged, the photographing time interval of each image in all the image data files arranged in time series can be calculated.

類似性判定部１０４ａはさらに、算出した各画像の撮影日時の差分と、あらかじめ設定された閾値とを比較する。閾値としては、並べ替えの結果、撮影日時が連続する２枚の画像が同一の被写体を同一または類似する撮影条件で連続して撮像したものであるか否かを判断するための値、例えば１０分が設定される。 The similarity determination unit 104a further compares the difference between the calculated shooting dates and times of each image with a preset threshold value. As the threshold value, a value for determining whether or not two images having consecutive shooting dates and times as a result of rearrangement are the same subject captured continuously under the same or similar shooting conditions, for example, 10 Minutes are set.

したがって、撮影日時の差分が閾値未満であれば、その２枚の画像は同一被写体を同一または類似する撮影条件で連続して撮影したものであると推定できることから、類似性判定部１０４ａは、その２枚の画像の類似性は高いと判定する。例えば、１台のデジタルカメラで連続して同一被写体を撮影した場合や、異なる複数台のデジタルカメラで一定時間内に同一の被写体を撮影した場合がこれに該当する。 Therefore, if the difference between the shooting dates and times is less than the threshold value, it can be estimated that the two images are obtained by continuously shooting the same subject under the same or similar shooting conditions. It is determined that the similarity between the two images is high. For example, this case corresponds to a case where the same subject is continuously photographed by one digital camera or a case where the same subject is photographed within a predetermined time by a plurality of different digital cameras.

一方、撮影日時の差分が閾値以上であれば、その２枚の画像は異なる被写体を撮影したものであるか、あるいは同一被写体を異なる撮影条件で撮影したものであると推定できることから、類似性判定部１０４ａは、その２枚の画像の類似性は低いと判定する。例えば、１台のデジタルカメラで所定時間以上間隔を空けて同一または異なる被写体を撮影した場合や、異なる複数台のデジタルカメラで所定時間以上間隔を空けて同一または異なる被写体を撮影した場合がこれに該当する。 On the other hand, if the difference between the shooting dates and times is greater than or equal to the threshold, it can be estimated that the two images are taken from different subjects, or the same subject is taken under different shooting conditions. The unit 104a determines that the similarity between the two images is low. For example, when one or more digital cameras shoot the same or different subjects with a predetermined time interval or different digital cameras shoot the same or different subjects with a predetermined time or more intervals Applicable.

グルーピング部１０４ｂは、類似性判定部１０４ａによる画像の撮像日時に基づく類似性の判定結果に基づいて、類似性の高い画像データファイルが同一グループとなるように、画像データファイルのグルーピングを行う。このために、類似性判定部１０４ａで画像の撮影日時の差分と閾値とを比較した結果に基づいて、撮影日時の差分が閾値以上となる画像データファイルの組を抽出し、各組の画像データファイル同士の間にグループの境界を設定して、処理対象データファイルをグルーピングする。 The grouping unit 104b performs grouping of the image data files so that the image data files with high similarity are in the same group based on the similarity determination result based on the image capturing date and time by the similarity determination unit 104a. For this purpose, a set of image data files in which the difference in the shooting date / time is equal to or greater than the threshold is extracted based on the result of comparing the difference in the shooting date / time of the image with the threshold value in the similarity determination unit 104a. A group boundary is set between files, and the data files to be processed are grouped.

これによって、ほぼ同じ時刻に撮影された画像は、類似している可能性が高いことを加味して、これら類似している可能性が高い画像が同一グループに含まれるようなグルーピングを行うことができる。なお、本実施の形態では、この画像の撮像日時に基づくグルーピングを第１のグルーピングと呼び、この第１のグルーピングによって得られるグループを第１のグループと呼ぶ。 In this way, considering that images taken at approximately the same time are likely to be similar, grouping may be performed such that images that are likely to be similar are included in the same group. it can. In the present embodiment, the grouping based on the image capturing date and time is referred to as a first grouping, and the group obtained by the first grouping is referred to as a first group.

次に、類似性判定部１０４ａは、処理対象データファイルの付加情報部に含まれる撮影地点情報を取得する。このとき、上述したようにデジタルカメラがＧＰＳセンサを搭載していない場合には、そのデジタルカメラから取り込んだ画像データファイルの付加情報部には撮影地点情報は含まれていない。よって、類似性判定部１０４ａは、付加情報部に撮影地点情報を含んでいない処理対象データファイルはここでの処理対象から除外し、付加情報部に撮影地点情報を含んでいる処理対象データファイルのみを対象として撮影地点情報を取得する。 Next, the similarity determination unit 104a acquires shooting point information included in the additional information part of the processing target data file. At this time, if the digital camera does not have a GPS sensor as described above, the additional information portion of the image data file captured from the digital camera does not include shooting point information. Therefore, the similarity determination unit 104a excludes the processing target data file that does not include the shooting point information in the additional information unit from the processing target here, and only the processing target data file that includes the shooting point information in the additional information unit. Capture point information is acquired for.

そして、類似性判定部１０４ａは、撮影地点情報を取得した処理対象データファイルの中から、上述した第１のグルーピング結果に基づいて、各グループ内で時系列の並び順が連続する処理対象データファイルを抽出する。そして、各グループ内で撮影地点が連続する画像間の撮影地点の差分、例えば緯度経度情報の差分を算出し、この撮像地点の差分と、あらかじめ設定された閾値とを比較する。閾値としては、撮影地点で並べ替えを行った結果、それぞれの画像が同一または近接する撮影地点で撮影されたものであるか否かを判断するための値、例えば１００ｍが設定される。 Then, the similarity determination unit 104a selects a processing target data file in which the chronological order in each group is continuous based on the above-described first grouping result from the processing target data files from which the shooting point information has been acquired. To extract. And the difference of the imaging | photography point between the images where an imaging | photography spot continues in each group, for example, the difference of the latitude longitude information, is calculated, and the difference of this imaging point is compared with the preset threshold value. As the threshold value, a value for determining whether or not each image is taken at the same or close shooting point as a result of rearranging at the shooting point, for example, 100 m is set.

したがって、撮影地点の差分が閾値未満であれば、その２枚の画像は一定の距離以内で撮影されたものであると推定できる。この場合、その２枚の画像は、一定時間以内に、一定距離以内の撮影地点で撮影された画像であると判定することができ、類似性判定部１０４ａは、その２枚の画像の類似性は高いと判定する。 Therefore, if the difference between the shooting points is less than the threshold value, it can be estimated that the two images are shot within a certain distance. In this case, it can be determined that the two images are images taken at a shooting point within a certain distance within a certain time, and the similarity determination unit 104a determines the similarity between the two images. Is determined to be high.

一方、撮影地点の差分が閾値以上であれば、その２枚の画像は異なる地点で撮影されたものであると推定できる。この場合、その２枚の画像は、一定時間以内に撮影されたものであるが、それぞれ異なった撮影地点で撮影された画像であると判定することができ、類似性判定部１０４ａは、その２枚の画像の類似性は低いと判定する。 On the other hand, if the difference between the shooting points is greater than or equal to the threshold value, it can be estimated that the two images are shot at different points. In this case, the two images are taken within a certain period of time, but can be determined to be images taken at different shooting points, and the similarity determination unit 104a can It is determined that the similarity between the images is low.

グルーピング部１０４ｂは、上述した画像の撮影日時に基づく第１のグルーピング結果に対して、さらに類似性判定部１０４ａによる画像の撮影地点に基づく類似性の判定結果を加味した第２のグルーピングを行う。すなわち、画像の撮影日時に基づく類似性が高い各グループの画像データファイルを、さらに撮影地点に基づく類似性が高い画像データファイルが同一グループとなるように、各グループ内の画像データファイルをさらにグルーピングする。 The grouping unit 104b performs second grouping on the first grouping result based on the image shooting date and time described above, and further adding the similarity determination result based on the image shooting point by the similarity determination unit 104a. In other words, the image data files of each group having a high similarity based on the shooting date and time of the image are further grouped so that the image data files having a high similarity based on the shooting point are in the same group. To do.

このために、グルーピング部１０４ｂは、画像の撮影日時に基づいてグルーピングした各第１のグループ内の画像データファイルの中から、類似性判定部１０４ａで算出した撮影地点の差分が閾値以上となる画像データファイルの組を抽出し、各組の画像データファイル同士の間にグループの境界を設定するように、処理対象データファイルをグルーピングする。 For this reason, the grouping unit 104b has an image in which the difference between the shooting points calculated by the similarity determination unit 104a is greater than or equal to the threshold value from the image data files in each first group that are grouped based on the shooting date and time of the images. A set of data files is extracted, and the processing target data files are grouped so that a group boundary is set between the image data files of each set.

これによって、ほぼ同じ時刻に撮影された画像であったとしても、複数の撮影者が離れた地点で画像を撮影した場合には、それぞれの画像の類似性は低くなることから、第１のグループを撮影地点を加味してさらにグルーピングすることによって、ほぼ同じ時刻に、ほぼ同じ場所で撮影された画像を類似している可能性が高い画像として同一グループに含んだ、第２のグループに分類することができる。 As a result, even if the images were taken at approximately the same time, the similarity between the images would be low when a plurality of photographers took images at distant points. Are further grouped by taking the shooting point into consideration, so that images taken at substantially the same place at approximately the same time are classified into a second group that is included in the same group as images that are likely to be similar. be able to.

類似性判定部１０４ａは、さらに、上述した第２のグルーピングの結果、各第２のグループに含まれる画像データファイルの画像の傾向に基づいた類似性を判定する。なお、本実施の形態では、画像の傾向として絵柄に基づいて撮像シーンの類似性を判定するものとし、絵柄は後述するように色の分布特性に基づいて判断するものとする。例えば、ほぼ同じ時刻に、ほぼ同じ場所で撮影された画像であってとしても、撮影者が撮影方向を変えて撮影した複数の画像はそれぞれ類似性が低いものとなる。したがって、類似性判定部１０４ａは、上述した第２のグルーピングにより画像の撮影日時、および撮影地点に基づいてグルーピングした結果を、さらに精度高くグルーピングするために、次のように処理する。 The similarity determination unit 104a further determines similarity based on the image tendency of the image data file included in each second group as a result of the second grouping described above. In the present embodiment, the similarity of the captured scene is determined based on the pattern as the image tendency, and the pattern is determined based on the color distribution characteristics as described later. For example, even if the images are taken at almost the same place at substantially the same time, the plurality of images taken by the photographer changing the shooting direction have low similarity. Therefore, the similarity determination unit 104a performs the following processing in order to group the results of grouping based on the shooting date and time of the image and the shooting point by the second grouping described above with higher accuracy.

まず、類似性判定部１０４ａは、上述した第２のグルーピングを行ってグループ分けされたそれぞれのグループ内において、各画像のＲ、Ｇ、Ｂの各色成分のヒストグラムを算出する。そして、各グループ内の画像間で同一の色成分同士のヒストグラムを比較する。すなわち、グループ内の全画像のＲ成分のヒストグラム、Ｇ成分のヒストグラム、Ｂ成分のヒストグラムをそれぞれ比較し、その類似性を判定することによって、各画像の色の分布特性に基づいた撮影シーンの類似性を判定する。 First, the similarity determination unit 104a calculates a histogram of each color component of R, G, and B of each image in each group that is grouped by performing the second grouping described above. Then, the histograms of the same color components are compared between the images in each group. That is, by comparing the R component histogram, the G component histogram, and the B component histogram of all the images in the group and determining the similarity thereof, the similarity of the shooting scene based on the color distribution characteristics of each image is determined. Determine sex.

なお、各グループ内の画像間で同一の色成分同士のヒストグラムを比較する方法としては、種々の方法が考えられるが、本実施の形態では、以下のように比較するものとする。すなわち、類似性判定部１０４ａは、ヒストグラムの最大値Ａ、および最大値から所定範囲、例えば５％の範囲σを算出し、Ａ、およびσが所定の範囲内にある画像同士を類似性が高い画像であると判定する。 Various methods can be considered as a method for comparing histograms of the same color component between images in each group. In the present embodiment, comparison is made as follows. That is, the similarity determination unit 104a calculates a predetermined range, for example, a range σ of 5% from the maximum value A and the maximum value of the histogram, and images having A and σ within the predetermined range have high similarity. Judged to be an image.

そして、グルーピング部１０４ｂは、撮影シーンの類似性が高い画像同士を同一グループにまとめる第３のグルーピングを行い、上述した第２のグループをさらに撮影シーンの類似性が高い画像ごとに分類した第３のグループを得る。これによって、ほぼ同じ時刻に、ほぼ同じ場所で撮影され、さらに同一シーンを撮像した画像を同一のグループとする第３のグループに分類することができる。 Then, the grouping unit 104b performs third grouping in which images with high similarity in shooting scenes are grouped into the same group, and the second group described above is further classified for each image with high similarity in shooting scenes. Get a group of. As a result, it is possible to classify images taken at substantially the same place at substantially the same time and further capturing images of the same scene into a third group.

グルーピング部１０４ｂは、さらに、上述した第２のグループに含まれる画像の並び順を、撮影日時順とするか、あるいは撮影シーン順とするかを決定し、画像の並べ替えを行う。いずれの順序とするかは、あらかじめ使用者によって入力装置１０１を介して設定されており、グルーピング部１０４ｂは、使用者によって設定された並び順とするように画像データファイルを並べ替える。 Further, the grouping unit 104b determines whether the arrangement order of the images included in the above-described second group is the shooting date / time order or the shooting scene order, and rearranges the images. Which order is set is set in advance by the user via the input device 101, and the grouping unit 104b rearranges the image data files so that the order is set by the user.

使用者によって撮影日時順とするように設定されていた場合には、グルーピング部１０４ｂは、上述した第２のグループにおける画像の並び順をそのまま使用する。すなわち、この時点では並べ替え処理を行わず、既に撮影日時に基づいて並べ替えが完了している第２のグループにおける画像の順番をそのまま使用する。 If it is set by the user to be in the order of shooting date / time, the grouping unit 104b uses the image arrangement order in the second group described above as it is. That is, the rearrangement process is not performed at this time, and the order of images in the second group that has already been rearranged based on the shooting date and time is used as it is.

これに対して、使用者によって撮影シーン順とするように設定されていた場合には、グルーピング部１０４ｂは、上述した第２のグループ内で、画像が上述した第３グループ単位に並ぶように画像の並べ替えを行う。すなわち、第２のグループ内の画像の並び順を、撮影シーンの類似性が高い画像が連続して並ぶように並び替える。 On the other hand, when it is set by the user to be in the order of the shooting scenes, the grouping unit 104b displays the images so that the images are arranged in the above-described third group unit in the above-described second group. Sort. That is, the arrangement order of the images in the second group is rearranged so that images with high similarity of the shooting scenes are continuously arranged.

図２は、それぞれの並べ替え結果における画像の並び順の具体例を示す図である。図２に示す例においては、処理対象画像として画像２ａ〜画像２ｆの６枚の画像があり、各画像は撮影日時および撮影地点に基づいて第２のグルーピングが行われた結果、同一のグループに含まれているものとする。なお、画像２ａ〜画像２ｆは、複数のカメラＩ〜ＩＩＩで同日に撮影されたものであり、各画像の撮影時刻、および撮像シーンの判定結果は次の（Ａ）〜（Ｆ）に示す通りである。 FIG. 2 is a diagram illustrating a specific example of the arrangement order of images in each rearrangement result. In the example shown in FIG. 2, there are six images 2 a to 2 f as the processing target images, and each image is grouped into the same group as a result of the second grouping based on the shooting date and the shooting location. It shall be included. The images 2a to 2f were taken on the same day with a plurality of cameras I to III, and the shooting time of each image and the determination result of the shooting scene are as shown in the following (A) to (F). It is.

（Ａ）画像２ａ
画像２ａは、カメラＩで撮像された画像であり、その撮影時刻は１０：００、撮影シーンの判定結果はＡである。
（Ｂ）画像２ｂ
画像２ｂは、カメラＩＩで撮像された画像であり、その撮影時刻は１０：００、撮影シーンの判定結果はＢである。
（Ｃ）画像２ｃ
画像２ｃは、カメラＩで撮像された画像であり、その撮影時刻は１０：０２、撮影シーンの判定結果はＣである。
（Ｄ）画像２ｄ
画像２ｄは、カメラＩで撮像された画像であり、その撮影時刻は１０：０４、撮影シーンの判定結果はＢである。
（Ｅ）画像２ｅ
画像２ｅは、カメラＩＩで撮像された画像であり、その撮影時刻は１０：０５、撮影シーンの判定結果はＡである。
（Ｆ）画像２ｆ
画像２ｆは、カメラＩＩＩで撮像された画像であり、その撮影時刻は１０：０５、撮影シーンの判定結果はＣである。 (A) Image 2a
The image 2a is an image captured by the camera I, the shooting time is 10:00, and the determination result of the shooting scene is A.
(B) Image 2b
The image 2b is an image captured by the camera II, the shooting time is 10:00, and the determination result of the shooting scene is B.
(C) Image 2c
The image 2c is an image captured by the camera I, the shooting time is 10:02, and the determination result of the shooting scene is C.
(D) Image 2d
The image 2d is an image captured by the camera I, the shooting time is 10:04, and the determination result of the shooting scene is B.
(E) Image 2e
The image 2e is an image captured by the camera II, the shooting time is 10:05, and the determination result of the shooting scene is A.
(F) Image 2f
The image 2 f is an image captured by the camera III, the shooting time is 10:05, and the determination result of the shooting scene is C.

図２（ａ）は、これらの画像２ａ〜画像２ｆを撮影日時順に並べた場合の具体例を示している。この図２（ａ）に示すように、画像２ａ〜画像２ｆの各画像は、撮影シーンに関係なく撮影日時（撮影時刻）の昇順に並んでいる。これに対して、図２（ｂ）は、画像２ａ〜画像２ｆを撮影シーン順に並べ替えた場合の具体例を示している。この図２（ｂ）に示すように、画像２ａ〜画像２ｆの各画像は、撮影シーンＡ〜Ｃごとに並べ替えられ、各撮影シーン内では撮影時刻順に並んでいる。 FIG. 2A shows a specific example in which these images 2a to 2f are arranged in order of photographing date and time. As shown in FIG. 2A, the images 2a to 2f are arranged in ascending order of shooting date and time (shooting time) regardless of the shooting scene. On the other hand, FIG. 2B shows a specific example when the images 2a to 2f are rearranged in the order of the shooting scenes. As shown in FIG. 2B, the images 2a to 2f are rearranged for each of the shooting scenes A to C, and are arranged in order of the shooting time in each shooting scene.

画像補正部１０４ｃは、グルーピング部１０４ｂによって第３のグルーピングが行われた結果に基づいて、同一のグループに含まれる画像の画質のばらつきを低減するように各画像に対して画像処理を施す。本実施の形態では、画像の画質のばらつきとして画像の明るさを低減するように各第３のグループ内の画像に対してレベル補正を行い、さらにレベル補正処理を行った画像に対して、各画像のコントラストの特性を近づけるために階調補正処理を行う例について説明する。 Based on the result of the third grouping performed by the grouping unit 104b, the image correction unit 104c performs image processing on each image so as to reduce variations in image quality of images included in the same group. In the present embodiment, level correction is performed on the images in each third group so as to reduce the brightness of the images as variations in the image quality of the images, and each of the images subjected to the level correction processing is subjected to level correction. An example in which gradation correction processing is performed in order to make the contrast characteristics of an image closer will be described.

画像補正部１０４ｃは、まず、各第３のグループ内の画像に対して次のようにレベル補正を行う。画像補正部１０４ｃは、各第３のグループにおいて、画質を揃えるための基準となる基準画像を選択する。本実施の形態では、第３のグループの画像は上述したように撮影日時で並べ替えられているため、その先頭の画像、すなわち各グループ内で最も撮影日時が早い画像を基準画像として選択する。 First, the image correction unit 104c performs level correction on images in each third group as follows. The image correction unit 104c selects a reference image serving as a reference for aligning image quality in each third group. In the present embodiment, since the images of the third group are rearranged by the shooting date and time as described above, the top image, that is, the image with the earliest shooting date and time in each group is selected as the reference image.

画像補正部１０４ｃは、選択した基準画像について、Ｇ成分（Ｇ色）のヒストグラムを算出する。さらに、各第３のグループに含まれる基準画像以外の補正対象画像について、Ｇ成分のヒストグラムを算出する。これによって、例えば、図３（ａ）に示すような基準画像についてのＧ成分のヒストグラムと、図３（ｂ）に示すような補正対象画像についてのＧ成分のヒストグラムを得ることができる。 The image correction unit 104c calculates a histogram of the G component (G color) for the selected reference image. Further, a G component histogram is calculated for correction target images other than the reference image included in each third group. Thereby, for example, a histogram of the G component for the reference image as shown in FIG. 3A and a histogram of the G component for the correction target image as shown in FIG. 3B can be obtained.

画像補正部１０４ｃは、算出した基準画像についてのＧ成分のヒストグラムに基づいて、基準画像のＧ成分の最頻度値αを算出し、補正対象画像についてのＧ成分のヒストグラムに基づいて、補正対象画像のＧ成分の最頻度値βを算出する。そして、算出したαおよびβに基づいて、次式（１）により、補正対象画像の各画素のＲ、Ｇ、Ｂ各色成分の値に掛けるゲインを算出する。
ゲイン＝α／β ・・・（１） The image correction unit 104c calculates the most frequent value α of the G component of the reference image based on the calculated histogram of the G component for the reference image, and corrects the correction target image based on the histogram of the G component for the correction target image. The most frequent value β of the G component is calculated. Based on the calculated α and β, the gain to be applied to the values of the R, G, and B color components of each pixel of the correction target image is calculated by the following equation (1).
Gain = α / β (1)

画像補正部１０４ｃは、式（１）で算出したゲインを、補正対象画像の各画素のＲ、Ｇ、Ｂ各色成分の値に掛けて、補正対象画像に対してレベル補正処理を施す。これによって、各第３のグループに含まれる補正対象画像の明るさを基準画像の明るさに近づけるようにレベル補正を行うことができ、各第３のグループに含まれる画像の明るさのばらつきを低減することができる。 The image correcting unit 104c performs level correction processing on the correction target image by multiplying the gain calculated by Expression (1) by the values of the R, G, and B color components of each pixel of the correction target image. As a result, level correction can be performed so that the brightness of the correction target image included in each third group approaches the brightness of the reference image, and variations in the brightness of images included in each third group can be reduced. Can be reduced.

画像補正部１０４ｃは、このようにレベル補正処理を施した後の補正対象画像に対して、さらに以下に説明するような階調補正処理を行って、補正対象画像のコントラストを基準画像に近づける、または一致させる。具体的には、次のように処理する。 The image correction unit 104c further performs gradation correction processing as described below on the correction target image that has been subjected to the level correction processing in this manner, thereby bringing the contrast of the correction target image closer to the reference image. Or match. Specifically, the process is as follows.

まず、画像補正部１０４ｃは、レベル補正処理を施した後の補正対象画像について、Ｇ成分のヒストグラムを算出する。このレベル補正処理を施した後の補正対象画像についてのＧ成分のヒストグラムは、基準画像を基準としてレベル補正を施してあるため、その最頻度値は基準画像についてのＧ成分のヒストグラムの最頻度値と一致している。すなわち、図４に示すように、基準画像についてのＧ成分のヒストグラムＨ１の最頻度値と、レベル補正処理後の補正対象画像についてのＧ成分のヒストグラムＨ２の最頻度値とは一致している。 First, the image correction unit 104c calculates a histogram of the G component for the correction target image after the level correction process. Since the G component histogram of the correction target image after the level correction processing is subjected to level correction with reference to the reference image, the most frequent value is the most frequent value of the G component histogram of the reference image. Is consistent with In other words, as shown in FIG. 4, the most frequent value of the G component histogram H1 for the reference image and the most frequent value of the G component histogram H2 for the correction target image after the level correction process are the same.

この図４に示す例において、Ｈ１は、レベル０の画素数およびレベル２５５の画素数ともに少ない。このため、基準画像はコントラストの低い画像、すなわち軟調の画像であるといえる。これに対して、Ｈ２は、レベル０の画素数およびレベル２５５の画素数ともに基準画像より多い。このため、この補正対象画像は、基準画像と比較してコントラストの高い画像、すなわち硬調の画像であるといえる。 In the example shown in FIG. 4, H1 has a small number of pixels of level 0 and a number of pixels of level 255. For this reason, it can be said that the reference image is a low contrast image, that is, a soft image. On the other hand, the number of pixels at level 0 and the number of pixels at level 255 are larger than the reference image for H2. Therefore, it can be said that the correction target image is an image having a higher contrast than the reference image, that is, a high contrast image.

補正対象画像と比較して基準画像が軟調であることから、この図４に示す例では補正対象画像を軟調にするように階調補正処理を施せば、補正対象画像のコントラストを基準画像のコントラストに近づけることができる。このため、画像補正部１０４ｃは、画像を軟調にするための階調補正カーブ、例えば図５に示す特性３の階調補正カーブを使用して、補正対象画像に対して階調補正処理を施す。すなわち階調変換することによって、補正対象画像のコントラストを基準画像のコントラストに近づけることができる。 Since the reference image is softer than the correction target image, in the example shown in FIG. 4, if gradation correction processing is performed to make the correction target image soft, the contrast of the correction target image is set to the contrast of the reference image. Can be approached. For this reason, the image correction unit 104c performs a tone correction process on the correction target image using a tone correction curve for making the image soft, for example, a tone correction curve of characteristic 3 shown in FIG. . That is, by performing tone conversion, the contrast of the correction target image can be made closer to the contrast of the reference image.

なお、この図５は、横軸を入力値、縦軸を出力値としたときの階調補正カーブの具体例を示す図である。本実施の形態では、この図５に示すように、階調補正処理に使用する階調補正カーブとして、画像を硬調にするための特性１の階調補正カーブ、階調補正を行わないための特性２の階調補正カーブ、および上述したように画像を軟調にするための特性３の階調補正カーブがあらかじめ設定されているものとする。 FIG. 5 is a diagram showing a specific example of the gradation correction curve when the horizontal axis is an input value and the vertical axis is an output value. In the present embodiment, as shown in FIG. 5, as the gradation correction curve used for the gradation correction processing, the gradation correction curve having the characteristic 1 for making the image in high contrast, the gradation correction is not performed. It is assumed that the gradation correction curve of characteristic 2 and the gradation correction curve of characteristic 3 for softening the image as described above are set in advance.

そして、各特性の階調補正カーブをデータ化した階調補正テーブルが定義されて、制御装置１０４が有するメモリに記憶されている。画像補正部１０４ｃは、補正対象画像のＲ、Ｇ、Ｂ各色成分の各画素のデータを、この階調補正テーブルに入力し、入力値に対応する出力値を得ることによって、補正対象画像を階調変換する。 A gradation correction table in which gradation correction curves for each characteristic are converted into data is defined and stored in a memory included in the control device 104. The image correction unit 104c inputs the data of each pixel of the R, G, and B color components of the correction target image into this gradation correction table, and obtains an output value corresponding to the input value, thereby converting the correction target image into a gradation. Tone conversion.

なお、画像補正部１０４ｃは、具体的には、次式（２）〜（５）により、基準画像と補正対象画像のコントラストを比較して、図５に示すいずれの特性の階調補正カーブを使用するかを決定する。なお、次式（２）において、Ｍａｘ１は基準画像の最大輝度値（Ｇ色）を表し、Ｍｉｎ１は基準画像の最小輝度値（Ｇ色）を表す。また、Ｍａｘ２は補正対象画像の最大輝度値（Ｇ色）を表し、Ｍｉｎ２は補正対象画像の最小輝度値（Ｇ色）を表す。 Specifically, the image correction unit 104c compares the contrast between the reference image and the correction target image by the following equations (2) to (5), and determines the gradation correction curve having any characteristic shown in FIG. Decide whether to use it. In the following equation (2), Max1 represents the maximum luminance value (G color) of the reference image, and Min1 represents the minimum luminance value (G color) of the reference image. Max2 represents the maximum luminance value (G color) of the correction target image, and Min2 represents the minimum luminance value (G color) of the correction target image.

Ｘ＝（Ｍａｘ２−Ｍｉｎ２）−（Ｍａｘ１−Ｍｉｎ１）・・・（２）
Ｘ＜−３０ｔｈｅｎ特性１を使用（硬調にする）・・・（３）
−３０≦Ｘ＜３０ｔｈｅｎ特性２を使用（階調変換しない）・・・（４）
Ｘ≧３０ｔｈｅｎ特性３を使用（軟調にする）・・・（５） X = (Max2-Min2)-(Max1-Min1) (2)
X <−30 then Use characteristic 1 (set to high contrast) (3)
-30 ≦ X <30 then Use characteristic 2 (no gradation conversion) (4)
X ≧ 30 then Use characteristic 3 (soften) (5)

画像補正部１０４ｃは、このようにして決定した特性に対応する階調変換カーブを使用して、補正対象画像に対して階調補正処理を施す。これによって、各第３のグループに含まれる画像に対してレベル補正を行って画像の明るさのばらつきを低減した後に、さらに各画像間でのコントラストを一致させることができる。 The image correction unit 104c performs gradation correction processing on the correction target image using the gradation conversion curve corresponding to the characteristic determined as described above. Thus, after performing level correction on the images included in each third group to reduce variations in image brightness, the contrast between the images can be further matched.

以上の処理により、各第３のグループごとに、グループ内の画像の画質のばらつき、すなわち画像の明るさとコントラストのばらつきを低減することができる。例えば、上述した画像２ａ〜画像２ｆにおいては、撮影シーンがＡである画像２ａと画像２ｅとの間の明るさとコントラストのばらつきが低減され、撮影シーンがＢである画像２ｂと画像２ｄとの間の明るさとコントラストのばらつきが低減され、撮影シーンがＣである画像２ｃと画像２ｆとの間の明るさとコントラストのばらつきが低減される。 With the above processing, it is possible to reduce the variation in the image quality of the images in the group, that is, the variation in the brightness and contrast of the images, for each third group. For example, in the above-described images 2a to 2f, variation in brightness and contrast between the image 2a and the image 2e whose shooting scene is A is reduced, and between the image 2b and the image 2d whose shooting scene is B. Variation in brightness and contrast between the images 2c and 2f in which the shooting scene is C is reduced.

画像出力部１０４ｄは、画像補正部１０４ｃにより補正された画像データ部を画像データファイルに組み込むことにより、補正済みの画像データファイルを生成する。そして画像出力部１０４ｄは、上述したようにグルーピング部１０４ｂで設定した並び順で補正済みの画像データファイルをＨＤＤ１０３へ出力する。 The image output unit 104d generates a corrected image data file by incorporating the image data portion corrected by the image correction unit 104c into the image data file. Then, the image output unit 104d outputs to the HDD 103 the image data file corrected in the arrangement order set by the grouping unit 104b as described above.

すなわち、画像の並び順として撮影日時順が設定されている場合には、画像出力部１０４ｄは、補正済みの各画像データファイルの付加情報部に対して、第２のグループ単位の撮影日時順となるような順番情報を追加してから画像データファイルをＨＤＤ１０３へ出力する。例えば、画像出力部１０４ｄは、上述した図２（ａ）に示した順番となるように画像２ａ〜２ｆの画像データファイルの付加情報部に順番情報を追加する。 That is, when the shooting date / time order is set as the image arrangement order, the image output unit 104d sets the second group unit shooting date / time order to the additional information portion of each corrected image data file. After adding such order information, the image data file is output to the HDD 103. For example, the image output unit 104d adds the order information to the additional information part of the image data files of the images 2a to 2f so that the order shown in FIG.

これに対して、画像の並び順として撮影シーン順が設定されている場合には、画像出力部１０４ｄは、補正済みの各画像データファイルの付加情報部に対して、第２のグループ単位の撮影シーン順となるような順番情報を追加してから画像データファイルをＨＤＤ１０３へ出力する。例えば、画像出力部１０４ｄは、上述した図２（ｂ）に示した順番となるように画像２ａ〜２ｆの画像データファイルの付加情報部に順番情報を追加する。 On the other hand, when the shooting scene order is set as the image arrangement order, the image output unit 104d takes the second group unit shooting with respect to the additional information portion of each corrected image data file. The image data file is output to the HDD 103 after adding the order information so as to be the scene order. For example, the image output unit 104d adds the order information to the additional information part of the image data files of the images 2a to 2f so that the order shown in FIG.

また、画像出力部１０４ｄは、画像データファイルをＨＤＤ１０３に出力するのではなく、その他の記憶媒体、例えばＣＤ−Ｒ、ＤＶＤ−Ｒへ出力するようにしてもよい。さらに画像出力部１０４ｄは、ＨＤＤ１０３に画像データファイルを出力した後、その補正後の画像をモニタ１０５またはプリンタ１０６へ上述した順番情報の順番で出力する。なお、モニタ１０５またはプリンタ１０６のいずれに画像を出力するかは使用者によってあらかじめ設定されているものとする。 The image output unit 104d may output the image data file to another storage medium, such as a CD-R or a DVD-R, instead of outputting the image data file to the HDD 103. Further, the image output unit 104d outputs the image data file to the HDD 103, and then outputs the corrected image to the monitor 105 or the printer 106 in the order of the order information described above. It is assumed that whether the image is output to the monitor 105 or the printer 106 is set in advance by the user.

図６は、本実施の形態における画像管理プログラムの処理を示すフローチャートである。図６に示す処理は、使用者によって入力装置１０１が操作され、画像処理の開始が指示されると、制御装置１０４によって画像管理プログラムが起動されることにより実行される。 FIG. 6 is a flowchart showing processing of the image management program in the present embodiment. The processing shown in FIG. 6 is executed by starting the image management program by the control device 104 when the user operates the input device 101 and gives an instruction to start image processing.

ステップＳ１０において、類似性判定部１０４ａは、ＨＤＤ１０３に記憶されている画像データファイルを処理対象データファイルとして制御装置１０４が備えるメモリに読み込む。その後、ステップＳ２０へ進み、類似性判定部１０４ａは、読み込んだ処理対象データファイルを、各画像データファイルの付加情報部に記憶されている撮影日時情報に基づいて撮影日時順に並べ替えて、ステップＳ３０へ進む。 In step S 10, the similarity determination unit 104 a reads an image data file stored in the HDD 103 into a memory included in the control device 104 as a processing target data file. Thereafter, the process proceeds to step S20, where the similarity determination unit 104a sorts the read processing target data files in order of shooting date / time based on the shooting date / time information stored in the additional information portion of each image data file, and step S30. Proceed to

ステップＳ３０では、類似性判定部１０４ａは、各画像の撮影日時の差分を算出し、算出した各画像の撮影日時の差分とあらかじめ設定された閾値とを比較して、撮影日時に基づく画像の類似性を判定する。その後、ステップＳ４０へ進み、グルーピング部１０４ｂは、上述した第１のグルーピングを行う。すなわち、撮影日時の差分が閾値以上となる画像データファイルの組を抽出し、各組の画像データファイル同士の間にグループの境界を設定して、処理対象データファイルをグルーピングする。その後、ステップＳ５０へ進む。 In step S 30, the similarity determination unit 104 a calculates the difference in shooting date / time of each image, compares the calculated difference in shooting date / time of each image with a preset threshold, and compares the images based on the shooting date / time. Determine gender. Then, it progresses to step S40 and the grouping part 104b performs the 1st grouping mentioned above. That is, a set of image data files in which the difference in photographing date / time is equal to or greater than a threshold is extracted, a group boundary is set between the image data files of each set, and the processing target data files are grouped. Thereafter, the process proceeds to step S50.

ステップＳ５０では、類似性判定部１０４ａは、付加情報部に撮影地点情報を含んでいる処理対象データファイルを抽出して、ステップＳ６０へ進む。ステップＳ６０では、各グループ内で撮影地点が連続する画像間の撮影地点の差分を算出し、この撮像地点の差分とあらかじめ設定されている閾値とを比較して、撮影地点に基づく画像の類似性を判定する。 In step S50, the similarity determination unit 104a extracts a processing target data file that includes shooting point information in the additional information unit, and proceeds to step S60. In step S60, the difference between the shooting points between images in which shooting points are consecutive in each group is calculated, the difference between the shooting points is compared with a preset threshold value, and the similarity of images based on the shooting points is calculated. Determine.

その後、ステップＳ７０へ進み、グルーピング部１０４ｂは、上述した第２のグルーピングを行う。すなわち、画像の撮影日時に基づいてグルーピングした各第１のグループ内の画像データファイルに対して、撮影地点の差分が閾値以上となる画像データファイルの組を抽出し、各組の画像データファイル同士の間にグループの境界を設定するように、処理対象データファイルをグルーピングする。その後、ステップＳ８０へ進む。 Thereafter, the process proceeds to step S70, and the grouping unit 104b performs the second grouping described above. That is, for the image data files in each first group that are grouped based on the shooting date and time of the images, a set of image data files whose shooting point difference is equal to or greater than a threshold value is extracted, and each set of image data files The processing target data files are grouped so that a group boundary is set between the two. Thereafter, the process proceeds to step S80.

ステップＳ８０では、類似性判定部１０４ａは、さらに、上述したように、第２のグルーピングの結果、各第２のグループに含まれる画像データファイルに対して画像の傾向、すなわち画像の撮影シーンに基づく類似性を判定する。その後、ステップＳ９０へ進み、グルーピング部１０４ｂは、撮影シーンの類似性が高い画像同士をまとめる第３のグルーピングを行って、ステップＳ１００へ進む。 In step S80, as described above, the similarity determination unit 104a is further based on the tendency of the image with respect to the image data file included in each second group, that is, the image shooting scene, as a result of the second grouping. Determine similarity. After that, the process proceeds to step S90, where the grouping unit 104b performs third grouping that groups together images with high similarity in the shooting scene, and then proceeds to step S100.

ステップＳ１００では、あらかじめ使用者によって設定された画像の並び順が撮影日時順か、あるいは撮影シーン順かを判断する。画像の並び順が撮影日時順に設定されている場合には、後述するステップＳ１２０へ進む。これに対して、画像の並び順が撮影シーン順に設定されている場合には、ステップＳ１１０へ進み、グルーピング部１０４ｂは、上述した第２のグループ内で、画像が上述した第３グループ単位に並ぶように画像の並べ替えを行って、ステップＳ１２０へ進む。 In step S100, it is determined whether the order of images set in advance by the user is the order of shooting date / time or the order of shooting scenes. If the image order is set in order of shooting date and time, the process proceeds to step S120 described later. On the other hand, when the image arrangement order is set to the shooting scene order, the process proceeds to step S110, and the grouping unit 104b arranges the images in the third group unit described above in the second group described above. The images are rearranged as described above, and the process proceeds to step S120.

ステップＳ１２０では、画像補正部１０４ｃは、上述したように、グルーピング部１０４ｂによって第３のグルーピングが行われた結果に基づいて、同一のグループに含まれる画像の画質のばらつきを低減するように各画像に対して画像処理を施す。その後、ステップＳ１３０へ進み、画像出力部１０４ｄは、グルーピング部１０４ｂで設定した並び順に従って補正済みの各画像データファイルの付加情報部に順番情報を追加する。そして画像出力部１０４ｄは、画像データファイルをＨＤＤ１０３に出力して記憶した後、モニタ１０５またはプリンタ１０６へ出力する。その後、処理を終了する。 In step S120, the image correction unit 104c, as described above, determines each image so as to reduce variations in image quality of images included in the same group based on the result of the third grouping performed by the grouping unit 104b. Image processing is performed on the. Thereafter, the process proceeds to step S130, and the image output unit 104d adds the order information to the additional information part of each image data file that has been corrected according to the arrangement order set by the grouping unit 104b. The image output unit 104d outputs the image data file to the HDD 103 and stores it, and then outputs it to the monitor 105 or the printer 106. Thereafter, the process ends.

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）画像の類似性を判定して、その類似性の判定結果に基づいて画像をグルーピングするようにした。そして、同じグループ内に含まれる画像の画質のばらつきを低減するように、各画像を補正するようにした。これによって、類似する画像間での画質のばらつきを低減して、同一グループ内に含まれる画像の画質に統一性をもたせることができる。 According to the present embodiment described above, the following operational effects can be obtained.
(1) Image similarity is determined, and images are grouped based on the similarity determination result. Then, each image is corrected so as to reduce the variation in the image quality of the images included in the same group. As a result, it is possible to reduce variations in image quality between similar images and to provide uniformity in the image quality of images included in the same group.

（２）画像をグルーピングするに当たっては、画像データファイルを撮影日時順に並び替えた後、この撮影日時の差分が所定の閾値未満である連続する画像は、類似性が高いものと判定するようにした。これによって、撮影日時の差分が閾値未満であれば、その２枚の画像は同一被写体を同一または類似する撮影条件で連続して撮影したものである可能性が高いことを加味して、精度高く画像の類似性を判定することができる。 (2) When grouping the images, after rearranging the image data files in order of shooting date and time, it is determined that consecutive images whose shooting date and time differences are less than a predetermined threshold have high similarity. . As a result, if the difference between the shooting dates and times is less than the threshold, the two images are highly accurate considering that there is a high possibility that the same subject was shot continuously under the same or similar shooting conditions. Image similarity can be determined.

（３）画像を撮影日時に基づいて第１のグルーピングを行った後、さらに画像を撮影した地点の位置情報、すなわち撮影地点情報に基づいて、第２のグルーピングを行うようにした。これによって、ほぼ同じ時刻に撮影された画像であったとしても、複数の撮影者が離れた地点で画像を撮影した場合には、それぞれの画像の類似性は低くなることから、第１のグループを撮影地点を加味してさらにグルーピングすることによって、ほぼ同じ時刻に、ほぼ同じ場所で撮影された画像を類似している可能性が高い画像として同一グループに含んだ、第２のグループに分類することができる。 (3) After the first grouping of the images based on the shooting date and time, the second grouping is further performed based on the position information of the spot where the image was shot, that is, the shooting spot information. As a result, even if the images were taken at approximately the same time, the similarity between the images would be low when a plurality of photographers took images at distant points. Are further grouped by taking the shooting point into consideration, so that images taken at substantially the same place at approximately the same time are classified into a second group that is included in the same group as images that are likely to be similar. be able to.

（４）第２のグルーピングの結果、各第２のグループに含まれる画像データファイルに対して、さらに画像の絵柄に基づいて撮影シーンの類似性を判定して、第３のグルーピングを行うようにした。これによって、ほぼ同じ時刻に、ほぼ同じ場所で撮影された画像であってとしても、撮影者が撮影方向を変えて撮影した複数の画像はそれぞれ類似性が低いものとなるが、さらに撮影シーンを加味してグルーピングすることによって、類似性の高い画像データファイルを精度高くグルーピングすることができる。 (4) As a result of the second grouping, the third grouping is performed on the image data files included in each second group by further determining the similarity of the shooting scenes based on the image pattern. did. As a result, even if the images were taken at almost the same place at almost the same time, the plurality of images taken by the photographer changing the shooting direction have low similarity. By grouping in consideration, image data files having high similarity can be grouped with high accuracy.

（５）グルーピングを実行して、グループ内に含まれる画像の画質のばらつきを低減するように各画像を補正した後、補正後の画像データファイルをＨＤＤ１０３へ出力して記憶するようにした。これによって、補正後の画像を繰り返し使用することができ、その都度、画像に対して類似性判定処理や補正処理を施す必要がないため、処理の負荷を低減することができる。 (5) After grouping is performed and each image is corrected so as to reduce the variation in image quality of the images included in the group, the corrected image data file is output to the HDD 103 and stored. As a result, the corrected image can be used repeatedly, and it is not necessary to perform similarity determination processing or correction processing on the image each time, so that the processing load can be reduced.

（６）グルーピングを実行して、グループ内に含まれる画像の画質のばらつきを低減するように各画像を補正した後、補正後の画像をモニタ１０５またはプリンタ１０６を介して出力するようにした。これによって、類似性の高い画像の画質のばらつきを低減して出力することができるため、使用者は違和感なく画像を閲覧することができる。 (6) After grouping is performed and each image is corrected so as to reduce variations in image quality of the images included in the group, the corrected image is output via the monitor 105 or the printer 106. Accordingly, since it is possible to output the image with high similarity by reducing variations in image quality, the user can view the image without feeling uncomfortable.

（７）画像データファイルの並び順として撮影日時順と撮影シーン順とを選択可能にし、選択された画像の並び順で使用者に対して画像を出力するようにした。これによって、使用者は好みの出力順で画像を閲覧でき、使用者の利便性を向上することができる。 (7) As the arrangement order of the image data files, it is possible to select the shooting date order and the shooting scene order, and the images are output to the user in the selected image arrangement order. As a result, the user can view the images in the desired output order, and the convenience for the user can be improved.

―変形例―
なお、上述した実施の形態の画像管理装置は、以下のように変形することもできる。
（１）上述した実施の形態では、画像補正部１０４ｃは、各第３のグループ内の画像の画質のばらつきとして画像の明るさとコントラストのばらつきを低減するように画像を補正する例について説明した。しかしこれに限定されず、画像の色合いや彩度のばらつきを低減するように画像を補正してもよい。 -Modification-
The image management apparatus according to the above-described embodiment can be modified as follows.
(1) In the above-described embodiment, the example in which the image correction unit 104c corrects an image so as to reduce variations in image brightness and contrast as variations in image quality of images in each third group has been described. However, the present invention is not limited to this, and the image may be corrected so as to reduce variations in the hue and saturation of the image.

例えば、画像補正部１０４ｃは、彩度のばらつきを低減するために次のような彩度補正処理を実行する。なお、ここでは各画像データファイルはＪｐｅｇ形式のデータファイル（Ｊｐｅｇファイル）に圧縮されており、各画像データファイル中の画像データ部には、ＹＣｂＣｒ表色系で示される画像データが含まれている場合について説明する。 For example, the image correction unit 104c executes the following saturation correction process in order to reduce variation in saturation. Here, each image data file is compressed into a Jpeg format data file (Jpeg file), and the image data portion in each image data file includes image data represented by the YCbCr color system. The case will be described.

この場合、画像補正部１０４ｃは、まず上述した実施の形態と同様に各第３のグループ内から基準画像を選択する。そして、選択した基準画像のＪｐｅｇファイル中の全画素について、輝度色差信号、すなわち（Ｙ、Ｃｂ、Ｃｒ）を抽出する。そして、基準画像のＪｐｅｇファイル中の全画素について、（Ｃｂ^２＋Ｃｒ^２）^１／２を演算する。一般に、（Ｃｂ^２＋Ｃｒ^２）^１／２の値が大きいほど、彩度が高い色であると考えられることから、ここでは仮に（Ｃｂ^２＋Ｃｒ^２）^１／２を彩度を示す値として代用する。 In this case, the image correction unit 104c first selects a reference image from each third group as in the above-described embodiment. Then, a luminance color difference signal, that is, (Y, Cb, Cr) is extracted for all pixels in the Jpeg file of the selected reference image. Then, (Cb ² + Cr ² ) ^1/2 is calculated for all pixels in the Jpeg file of the reference image. In general, as the value of (Cb ² + Cr ² ) ^1/2 is larger, it is considered that the color is higher in saturation, so here (Cb ² + Cr ² ) ^1/2 is temporarily used as a value indicating saturation. To do.

そして、画像補正部１０４ｃは、基準画像の（Ｃｂ^２＋Ｃｒ^２）^１／２についてのヒストグラムを基準画像の彩度に関するヒストグラムとして作成する。また、画像補正部１０４ｃは、同様に補正対象画像についても（Ｃｂ^２＋Ｃｒ^２）^１／２を演算して、補正対象画像の彩度に関するヒストグラムを作成する。これによって、例えば図７に示すような基準画像の彩度に関するヒストグラム、および補正対象画像の彩度に関するヒストグラムが作成される。 Then, the image correction unit 104c creates a histogram for (Cb ² + Cr ² ) ^1/2 of the reference image as a histogram related to the saturation of the reference image. Similarly, the image correction unit 104c calculates (Cb ² + Cr ² ) ^1/2 for the correction target image and creates a histogram related to the saturation of the correction target image. Thereby, for example, a histogram related to the saturation of the reference image and a histogram related to the saturation of the correction target image as shown in FIG. 7 are created.

画像補正部１０４ｃは、算出した基準画像についての彩度に関するヒストグラムに基づいて、基準画像の（Ｃｂ^２＋Ｃｒ^２）^１／２の最頻度値Ｓ１を算出し、補正対象画像についての彩度に関するヒストグラムに基づいて、補正対象画像の（Ｃｂ^２＋Ｃｒ^２）^１／２の最頻度値Ｓ２を算出する。そして、算出したＳ１およびＳ２に基づいて、次式（６）により、補正対象画像の各画素のＣｒ、Ｃｂの値に掛けるゲインを算出する。
ゲイン＝Ｓ１／Ｓ２・・・（６） The image correcting unit 104c calculates the most frequent value S1 of (Cb ² + Cr ² ) ^1/2 of the reference image based on the calculated histogram related to the saturation for the reference image, and the histogram related to the saturation for the correction target image. Based on the above, the most frequent value S2 of (Cb ² + Cr ² ) ^1/2 of the correction target image is calculated. Based on the calculated S1 and S2, the gain to be applied to the Cr and Cb values of each pixel of the correction target image is calculated by the following equation (6).
Gain = S1 / S2 (6)

画像補正部１０４ｃは、式（６）で算出したゲインを、補正対象画像の各画素のＣｒ、Ｃｂの値に掛ける。すなわち、Ｊｐｅｇファイルの各画素の（Ｙ、Ｃｂ、Ｃｒ）を（Ｙ、Ｃｂ×Ｓ１／Ｓ２、Ｃｒ×Ｓ１／Ｓ２）に変換する。そして、この変換後の値でＪｐｅｇデータを更新する。これによって、上述した各第３のグループに含まれる補正対象画像の彩度を基準画像の彩度に近づけるように補正を行うことができ、各第３のグループに含まれる画像の彩度のばらつきを低減することができる。 The image correction unit 104c multiplies the gain calculated by Expression (6) by the Cr and Cb values of each pixel of the correction target image. That is, (Y, Cb, Cr) of each pixel of the Jpeg file is converted into (Y, Cb × S1 / S2, Cr × S1 / S2). Then, the Jpeg data is updated with the converted value. As a result, it is possible to perform correction so that the saturation of the correction target image included in each third group described above approaches the saturation of the reference image, and variations in the saturation of the images included in each third group. Can be reduced.

（２）上述した実施の形態では、画像補正部１０４ｃは、グループ内の画像の画質のばらつきを低減するための基準画像として、第３のグループの先頭の画像、すなわち各グループ内で最も撮影日時が早い画像を選択する例について説明した。しかしこれに限定されず、処理対象画像が複数のカメラで撮像されたものである場合には、その中の任意の１台のカメラで撮像された画像を基準画像として選択してもよい。また、複数の画像データファイルがＨＤＤ１０３内にフォルダ分けされて記憶されている場合には、任意のフォルダ内に記憶されている画像を基準画像として選択してもよい。あるいはその他の方法により基準画像を設定してもよい。 (2) In the above-described embodiment, the image correction unit 104c uses the first image in the third group, that is, the shooting date / time most in each group, as a reference image for reducing variations in image quality of the images in the group. An example of selecting an image with a fast is described. However, the present invention is not limited to this. When the processing target image is captured by a plurality of cameras, an image captured by any one of the cameras may be selected as the reference image. In addition, when a plurality of image data files are stored in folders in the HDD 103, an image stored in an arbitrary folder may be selected as a reference image. Alternatively, the reference image may be set by other methods.

（３）上述した実施の形態では、画像管理装置１００を例えばパソコンに適用する例について説明したが、これに限定されず、画像管理プログラムを実行することができる他の情報機器に適用することもできる。 (3) In the above-described embodiment, the example in which the image management apparatus 100 is applied to, for example, a personal computer has been described. However, the present invention is not limited to this, and may be applied to other information devices that can execute the image management program. it can.

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。 Note that the present invention is not limited to the configurations in the above-described embodiments as long as the characteristic functions of the present invention are not impaired.

画像管理装置の一実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of one Embodiment of an image management apparatus. 画像の並び順の具体例を示す図である。It is a figure which shows the specific example of the arrangement order of an image. レベル補正処理を行う際に作成されるＧ成分のヒストグラムの具体例を示す図である。It is a figure which shows the specific example of the histogram of G component produced when performing a level correction process. レベル補正処理を行った後のＧ成分のヒストグラムの具体例を示す図である。It is a figure which shows the specific example of the histogram of G component after performing a level correction process. 階調補正カーブの具体例を示す図である。It is a figure which shows the specific example of a gradation correction curve. 画像管理プログラムの処理を示すフローチャート図である。It is a flowchart figure which shows the process of an image management program. 彩度に関するヒストグラムの具体例を示す図である。It is a figure which shows the specific example of the histogram regarding saturation.

Explanation of symbols

１００画像管理装置、１０１入力装置、１０２外部インターフェース、１０３ＨＤＤ、１０４制御装置、１０４ａ類似性判定部、１０４ｂグルーピング部、１０４ｃ画像補正部、１０４ｄ画像出力部、１０５モニタ、１０６プリンタ DESCRIPTION OF SYMBOLS 100 Image management apparatus, 101 Input device, 102 External interface, 103 HDD, 104 Control apparatus, 104a Similarity determination part, 104b Grouping part, 104c Image correction part, 104d Image output part, 105 Monitor, 106 Printer

Claims

On the computer,
A similarity determination procedure for determining the similarity of a plurality of images;
A grouping procedure for grouping the plurality of images based on a determination result by the similarity determination procedure;
A correction procedure for correcting each image so as to reduce variations in image quality of a plurality of images included in the same group based on the grouping result of the grouping procedure;
An image management program for executing a file output procedure for outputting an image corrected by the correction procedure as a data file.

The image management program according to claim 1,
The image management program, wherein the correction means corrects an image so as to reduce variations in brightness of the image.

The image management program according to claim 2,
An image management program characterized in that the correction procedure reduces variation in brightness of an image by multiplying each color component of the image by the same correction coefficient.

The image management program according to claim 1,
An image management program characterized in that the correction procedure reduces gradation in image quality by performing gradation correction processing on an image.

The image management program according to claim 1,
An image management program characterized in that the correction means reduces saturation variation of an image by performing saturation correction processing on the image.

The image management program according to claim 1,
The grouping procedure groups the plurality of images based on the shooting date and time of each image.

The image management program according to claim 1,
The image management program according to claim 1, wherein the grouping procedure groups the plurality of images based on position information of a point where each image is taken.

The image management program according to claim 1,
A trend determination procedure for determining the trend of each image;
The grouping procedure groups the plurality of images based on a determination result by the tendency determination procedure.

The image management program according to claim 8, wherein
The image management program characterized in that the tendency determination procedure determines the tendency of the image based on a color distribution characteristic in the image.

The image management program according to claim 1,
An image management program further comprising: a display order determination procedure for determining a display order of the plurality of images based on a grouping result obtained by the grouping procedure.

An image management apparatus comprising execution means for executing the image management program according to claim 1.