JP2009251705A - Image evaluation device - Google Patents

Image evaluation device Download PDF

Info

Publication number
JP2009251705A
JP2009251705A JP2008095646A JP2008095646A JP2009251705A JP 2009251705 A JP2009251705 A JP 2009251705A JP 2008095646 A JP2008095646 A JP 2008095646A JP 2008095646 A JP2008095646 A JP 2008095646A JP 2009251705 A JP2009251705 A JP 2009251705A
Authority
JP
Japan
Prior art keywords
max
image
color
ycbcr
color system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008095646A
Other languages
Japanese (ja)
Inventor
Ryota Kawachi
亮太 河内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Systems Inc
Original Assignee
Nikon Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Systems Inc filed Critical Nikon Systems Inc
Priority to JP2008095646A priority Critical patent/JP2009251705A/en
Publication of JP2009251705A publication Critical patent/JP2009251705A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image evaluation device clustering similar images without increasing calculation cost. <P>SOLUTION: This image evaluation device 100 comprises: a storage part 103 storing an image and attribute information of the image in association with each other; a feature value calculation part 104 reading the image from the storage part 103, calculating a feature value based on a color space of the image, and storing the feature value in the storage part 103 in association with the image; and a clustering execution part 105 classifying the image based on the feature value stored in the storage part 103, executing clustering processing for generating a plurality of clusters each comprising the similar images, and storing the cluster in the storage part 103 in association with the image. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、画像評価装置に関する。   The present invention relates to an image evaluation apparatus.

従来、与えられた画像集合の各画像から、当該画像の特徴を表現する統計量(以下、「特徴量」と呼ぶ)を計算し、その特徴量を基に画像集合を一定の基準に基づいてグルーピングする技術が存在し、その中でも特徴量を基にクラスタリングと呼ばれる技術を用いて、画像集合を類似画像グループに自動的にグルーピングする技術は多数提案されている(例えば、特許文献1参照)。その中でも、特徴量としてHSV色空間で画像を表現し、カラーヒストグラムを作成した後、このカラーヒストグラムに対してHaar変換を施すことにより得られるスケーラブルカラー(Scalable Color)と呼ばれる特徴量は、カラー画像に対する類似画像検索に対して良好な特性を持つことが知られており、当該技術領域において、良く利用されている。   Conventionally, from each image of a given image set, a statistic representing the feature of the image (hereinafter referred to as “feature”) is calculated, and the image set is based on the feature based on a certain standard. There are techniques for grouping, and among them, a number of techniques for automatically grouping image sets into similar image groups using a technique called clustering based on feature values have been proposed (for example, see Patent Document 1). Among them, a feature amount called a scalable color obtained by expressing an image in the HSV color space as a feature amount, creating a color histogram, and performing Haar transform on the color histogram is a color image. It is known that it has good characteristics for similar image search for, and is often used in this technical field.

また、HSV色空間は色表現において人間の色彩感覚と近い表色系として知られている。このことに起因してスケーラブルカラーが単純な統計量にも関わらず、人間の感覚に上手く適応した類似画像検索性能を出すと考えられている。一方、同様の理由で主にカラー印刷に関する技術領域において、HSV色空間での色表現を基に印刷色の決定(及び色補正)を行う手法も多数提案されている。その中でも、主に色空間変換の高速化及び精度向上を目的として、色空間変換のためのルックアップテーブル(以下、「LUT」と呼ぶ)を用意し、処理を行うものが提案されている(例えば、特許文献1及び2参照)。
特開2000−069306号公報 特開2006−203896号公報
The HSV color space is known as a color system that is close to the human color sense in color expression. Due to this, it is considered that the similar color search performance that adapts well to human senses can be achieved despite the simple statistics of scalable colors. On the other hand, for the same reason, many techniques for determining a print color (and color correction) based on color representation in the HSV color space have been proposed mainly in a technical area related to color printing. Among them, there has been proposed a lookup table (hereinafter referred to as “LUT”) for color space conversion and processing, mainly for the purpose of speeding up and improving the accuracy of color space conversion ( For example, see Patent Documents 1 and 2).
JP 2000-069306 A JP 2006-203896 A

しかしながら、上述した、スケーラブルカラー等で利用するHSV色空間への変換は、単純な計算ではあるが、最近のデジタルスチルカメラによって撮影された数百万画素規模の画像に適応しようとすると、仮にLUTを利用した変換を行ったとしても一定の計算コストがかかってしまい、実装するプラットフォームに対する負荷が高いものとなってしまうという課題があった。   However, the conversion to the HSV color space used in the scalable color or the like described above is a simple calculation. However, if an attempt is made to adapt to an image with a scale of several million pixels taken by a recent digital still camera, the LUT is temporarily assumed. Even if conversion is performed, there is a problem that a certain calculation cost is required and the load on the platform to be mounted becomes high.

本発明はこのような課題に鑑みてなされたものであり、計算コストの増大を招かずに類似画像のクラスタリングが可能な画像評価装置を提供することを目的とする。   The present invention has been made in view of such a problem, and an object thereof is to provide an image evaluation apparatus capable of clustering similar images without causing an increase in calculation cost.

前記課題を解決するために、本発明に係る画像評価装置は、画像及びこの画像の属性情報が関連付けられて記憶された記憶部と、この記憶部から画像を読み出し、当該画像に基づいて、色空間の特徴量を計算し、この画像に当該特徴量を関連付けて記憶部に記憶する特徴量計算部と、記憶部に記憶された特徴量に基づいて画像を分類し、類似する画像から構成される複数のクラスタを生成するクラスタリング処理を実行し、画像に当該クラスタを関連付けて記憶部に記憶するクラスタリング実行部と、を有して構成される。   In order to solve the above problems, an image evaluation apparatus according to the present invention reads an image from the storage unit in which the image and attribute information of the image are stored in association with each other, and based on the image, A feature amount calculation unit that calculates a feature amount of a space, associates the feature amount with the image and stores the feature amount in a storage unit, and classifies the images based on the feature amount stored in the storage unit, and includes similar images. And a clustering execution unit that executes a clustering process for generating a plurality of clusters and stores the clusters in the storage unit in association with the cluster.

このような画像評価装置において、特徴量計算部は、画像が表現されている第1の表色系を離散化した色空間に基づいてカラーヒストグラムを生成し、当該カラーヒストグラムを第2の表色系に色空間変換した後、頻度値の非線形量子化及びHaar変換を行い、この計算結果を特徴量とすることが好ましい。   In such an image evaluation apparatus, the feature amount calculation unit generates a color histogram based on a color space obtained by discretizing the first color system in which the image is expressed, and the color histogram is used as the second color specification. After color space conversion into the system, it is preferable to perform nonlinear quantization of frequency values and Haar conversion, and to use this calculation result as a feature amount.

このとき、第1の表色系が、YCbCr表色系であることが好ましい。ここで、第1の表色系を離散化した色空間が、人の色に対する感応度に応じて離散化間隔が細分化されていることが好ましい。また、第2の表色系が、HSV表色系、HMMD表色系、又はRGB表色系のいずれかであることが好ましい。   At this time, it is preferable that the first color system is a YCbCr color system. Here, in the color space obtained by discretizing the first color system, it is preferable that the discretization interval is subdivided according to the sensitivity to human color. Moreover, it is preferable that the second color system is any one of the HSV color system, the HMMD color system, and the RGB color system.

また、このような画像評価装置は、第1の表色系を離散化した色空間に基づいて生成したカラーヒストグラムを第2の表色系に色空間変換する際に、記憶部に予め設定されたルックアップテーブルを用いて行うように構成されることが好ましい。   Such an image evaluation apparatus is preset in the storage unit when the color histogram generated based on the color space obtained by discretizing the first color system is converted to the second color system. Preferably, it is configured to use a lookup table.

ここで、画像の第1の表色系がYCbCr表色系であり、第2の表色系がHSV表色系である場合に、特徴量計算部は、YCbCr表色系を離散化したYCbCr色空間を、Y軸、Cb軸、Cr軸の各軸に対して8分割して分割数512のYCbCrヒストグラムを作成し、YCbCrヒストグラムをHSV表色系のヒストグラムに色空間変換するように構成され、ルックアップテーブルは、k番目におけるYCbCrヒストグラムのYCbCrの値をYk,Cbk,Crkとし、k番目のYCbCrヒストグラムに対応するHSV色空間上の座標値をHk,Sk,Vkとし、k番目のYCbCrヒストグラムにおける赤成分、緑成分、青成分の強度をRk,Gk,Bkとし、これらの色成分うち最も大きい成分をMAXkとし、最も小さい成分をMINkとし、それぞれ引数のうち最小の値を返す関数をmin(・)とし、それぞれ引数のうち最大の値を返す関数をmax(・)とし、%を剰余演算としたときに、次式
Rk = Yk +1.40200×(Crk−128)
Gk = Yk−0.34414×(Cbk−128)−0.71414×(Crk−128)
Bk = Yk+1.77200×(Cbk−128)
MAXk = max(Rk,Gk,Bk)
MINk = min(Rk,Gk,Bk)
Hk = (60×(Gk−Bk)/(MAXk−MINk))%360,if MAXk = Rk
= (60×(Bk−Rk)/(MAXk−MINk)+120)%360,if MAXk = Gk
= (60×(Rk−Gk)/(MAXk−MINk)+240)%360,if MAXk = Bk
Sk = (MAXk−MINk)/MAXk
Vk = MAXk
により算出されることが好ましい。
Here, when the first color system of the image is the YCbCr color system and the second color system is the HSV color system, the feature amount calculation unit YCbCr obtained by discretizing the YCbCr color system. The color space is divided into 8 for each of the Y axis, Cb axis, and Cr axis to create a YCbCr histogram with a division number of 512, and the YCbCr histogram is color space converted to a histogram of the HSV color system. , look-up table, the value of YCbCr in YCbCr histograms in k-th Y k, Cb k, and Cr k, k-th coordinate values on the HSV color space corresponding to the YCbCr histograms H k, S k, V k and, red component, green component in the k-th YCbCr histograms, and the intensity of the blue component R k, G k, and B k, the largest component among these color components and MAX k, the smallest formed It was a MIN k, respectively a function that returns the smallest value among the arguments and min (·), respectively a function that returns the maximum value of the argument as the max (·),% to when the modulo operation, the following equation
R k = Y k + 1.40200 × (Cr k −128)
G k = Y k −0.34414 × (Cb k −128) −0.71414 × (Cr k −128)
B k = Y k + 1.77200 × (Cb k −128)
MAX k = max (R k , G k , B k )
MIN k = min (R k , G k , B k )
H k = (60 × (G k −B k ) / (MAX k −MIN k ))% 360, if MAX k = R k
= (60 × (B k −R k ) / (MAX k −MIN k ) +120)% 360, if MAX k = G k
= (60 × (R k −G k ) / (MAX k −MIN k ) +240)% 360, if MAX k = B k
S k = (MAX k −MIN k ) / MAX k
V k = MAX k
Preferably, it is calculated by

あるいは、画像の第1の表色系がYCbCr表色系であり、第2の表色系がHMMD表色系である場合に、特徴量計算部は、YCbCr表色系を離散化したYCbCr色空間を、Y軸、Cb軸、Cr軸の各軸に対して8分割して分割数512のYCbCrヒストグラムを作成し、YCbCrヒストグラムをHMMD表色系のヒストグラムに色空間変換するように構成され、ルックアップテーブルは、k番目におけるYCbCrヒストグラムのYCbCrの値をYk,Cbk,Crkとし、k番目のYCbCrヒストグラムに対応するHMMD色空間上の座標値をHk,Diffkとし、k番目のYCbCrヒストグラムにおける赤成分、緑成分、青成分の強度をRk,Gk,Bkとし、これらの色成分うち最も大きい成分をMAXkとし、最も小さい成分をMINkとし、それぞれ引数のうち最小の値を返す関数をmin(・)とし、それぞれ引数のうち最大の値を返す関数をmax(・)とし、%を剰余演算としたときに、次式
Rk = Yk +1.40200×(Crk−128)
Gk = Yk−0.34414×(Cbk−128)−0.71414×(Crk−128)
Bk = Yk+1.77200×(Cbk−128)
MAXk = max(Rk,Gk,Bk)
MINk = min(Rk,Gk,Bk)
Hk = (60×(Gk−Bk)/(MAXk−MINk))%360,if MAXk = Rk
= (60×(Bk−Rk)/(MAXk−MINk)+120)%360,if MAXk = Gk
= (60×(Rk−Gk)/(MAXk−MINk)+240)%360,if MAXk = Bk
Diffk = (MAXk−MINk)
により算出されることが好ましい。
Alternatively, when the first color system of the image is the YCbCr color system and the second color system is the HMMD color system, the feature amount calculation unit obtains a YCbCr color obtained by discretizing the YCbCr color system. The space is divided into 8 with respect to each of the Y axis, Cb axis, and Cr axis to create a YCbCr histogram having a division number of 512, and the YCbCr histogram is configured to be color space converted into a histogram of the HMMD color system. lookup table, the value of YCbCr in YCbCr histograms in k-th and Y k, Cb k, Cr k, the coordinates of the HMMD color space corresponding to the k-th YCbCr histograms H k, and Diff k, k-th red component in the YCbCr histograms, and green component, the intensity of the blue component R k, G k, and B k, the largest component among these color components and MAX k, most The Sai components and MIN k, when each function that returns the smallest value among the arguments and min (·), respectively a function that returns the maximum value of the argument as the max (·), the% and remainder operation, Next formula
R k = Y k + 1.40200 × (Cr k −128)
G k = Y k −0.34414 × (Cb k −128) −0.71414 × (Cr k −128)
B k = Y k + 1.77200 × (Cb k −128)
MAX k = max (R k , G k , B k )
MIN k = min (R k , G k , B k )
H k = (60 × (G k −B k ) / (MAX k −MIN k ))% 360, if MAX k = R k
= (60 × (B k −R k ) / (MAX k −MIN k ) +120)% 360, if MAX k = G k
= (60 × (R k −G k ) / (MAX k −MIN k ) +240)% 360, if MAX k = B k
Diff k = (MAX k −MIN k )
Preferably, it is calculated by

なお、このような画像評価装置は、記憶部からクラスタ毎に画像を読み出して表示する画像表示部を有することが好ましい。   In addition, it is preferable that such an image evaluation apparatus has an image display part which reads and displays an image for every cluster from a memory | storage part.

本発明に係る画像評価装置を以上のように構成すると、計算コストの増大を招かずに類似画像のクラスタリングが可能となり、類似画像のグルーピングを、高精度かつ高速に行うことが可能となる。   If the image evaluation apparatus according to the present invention is configured as described above, similar images can be clustered without increasing the calculation cost, and similar images can be grouped with high accuracy and high speed.

以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図1を用いて本実施形態に係る画像評価装置100の構成について説明する。図1に示すように、この画像評価装置100は、装置全体を制御する制御部101と、画像及びこの画像の属性情報が関連付けられて記憶されたデータベース103(記憶部)と、制御部101の指示により画像評価処理を行うCPU102と、このCPU102上でデータベース103の画像に対する色空間の特徴量を計算する特徴量計算部104と、算出された特徴量に基づいて、画像を分類し、類似画像から構成される複数のクラスタを生成する(クラスタリング処理を実行する)クラスタリング実行部105と、クラスタリング処理の結果や途中計算などを一時的に保存する作業領域(Work RAM)106と、制御部101にクラスタリング開始指示を与えるクラスタリング開始スイッチ(S/W)107と、クラスタリング結果に基づいて画像を表示する画像表示部108とから構成される。   Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. First, the configuration of the image evaluation apparatus 100 according to the present embodiment will be described with reference to FIG. As shown in FIG. 1, the image evaluation apparatus 100 includes a control unit 101 that controls the entire apparatus, a database 103 (storage unit) that stores the image and attribute information of the image in association with each other, The CPU 102 that performs image evaluation processing according to an instruction, the feature amount calculation unit 104 that calculates the feature amount of the color space for the image of the database 103 on the CPU 102, classifies the images based on the calculated feature amounts, and similar images A clustering execution unit 105 for generating a plurality of clusters (executing clustering processing), a work area (work RAM) 106 for temporarily storing the results of clustering processing and intermediate calculations, and the control unit 101 Clustering start switch (S / W) 107 for giving a clustering start instruction, and clustering And an image display unit 108. for displaying an image based on the result.

データベース103は、図2に示すように、画像データの格納先や所属するクラスタ番号などが記憶される画像情報格納領域103aと、画像データそのものが記憶される画像データ格納領域103fとを有する。画像情報格納領域103aは、図2(a)のようなデータ構造を有しており、画像データのファイル名が記憶されるファイル名カラム103bと、この画像及び属性情報からなる画像データの格納先のアドレスが記憶される画像データ格納アドレスカラム103cと、後述する特徴量算出の結果である画像の特徴量が記憶される特徴量カラム103dと、後述するクラスタリングの結果が記憶されるクラスタ番号カラム103eとを有している。一方、画像データ格納領域103fは、図2(b)に示すようなデータ構造を有しており、画像そのものが記憶される画像カラム103gと、ヘッダ領域、撮影時刻情報などの属性情報が記憶される属性情報カラム103hとを有し、1つの画像データに対する情報が1レコードとして管理される。ここで、画像データ格納領域103fに格納されている画像データの格納場所(アドレス)は、画像情報格納領域103aの画像データ格納アドレスカラム103cに記憶されており、ファイル名カラム103bに記憶されている画像データのファイル名から抽出しようとする画像データを特定し、この画像データのアドレスを画像データ格納アドレスカラム103cから抽出して、画像データ格納領域103fのアドレスから該当する画像データそのものを取得することができる。なお、この画像カラム103gと属性情報カラム103hとを一つのファイルとして構成するようにしてもよい。このようなデータ構造としては、日本電子工業振興協会(JEIDA)で規格されたExif(Exchangeable image file format)等が知られている。   As shown in FIG. 2, the database 103 has an image information storage area 103a for storing the storage destination of the image data, the cluster number to which the image data belongs, and an image data storage area 103f for storing the image data itself. The image information storage area 103a has a data structure as shown in FIG. 2A, a file name column 103b in which the file name of the image data is stored, and a storage location of the image data including the image and attribute information. The image data storage address column 103c for storing the address of the image, the feature amount column 103d for storing the feature amount of the image as the result of the feature amount calculation described later, and the cluster number column 103e for storing the clustering result described later. And have. On the other hand, the image data storage area 103f has a data structure as shown in FIG. 2B, and stores an image column 103g in which the image itself is stored, and attribute information such as a header area and shooting time information. Attribute information column 103h, and information for one image data is managed as one record. Here, the storage location (address) of the image data stored in the image data storage area 103f is stored in the image data storage address column 103c of the image information storage area 103a, and is stored in the file name column 103b. The image data to be extracted is specified from the file name of the image data, the address of the image data is extracted from the image data storage address column 103c, and the corresponding image data itself is obtained from the address of the image data storage area 103f. Can do. The image column 103g and the attribute information column 103h may be configured as one file. As such a data structure, Exif (Exchangeable image file format) standardized by the Japan Electronics Industry Promotion Association (JEIDA) is known.

(画像評価処理)
画像評価装置100による画像評価処理について、図3のフローチャートを合わせて用いて説明する。ユーザが、クラスタリング開始スイッチ107を押下すると、クラスタリング開始指示が制御部101に対して発信される(ステップS100)。このクラスタリング開始指示を受信すると、制御部101はCPU102に対し、クラスタリング開始命令を発行する(ステップS200)。CPU102は、このクラスタリング開始命令を受信すると、データベース103のファイル名カラム103bに記憶されたファイル名(例えば、0001.jpgなど)と対応づけて、画像データ格納領域103fの画像データを1枚ずつ読み出し、当該画像データを特徴量計算部104に渡して、特徴量計算実行の指示を与える(ステップS300)。特徴量計算部104は、渡された画像データを基に、当該画像の特徴量を計算し、計算結果である特徴量をCPU102に返す(ステップS400)。なお、特徴量計算処理の詳細は、後述する。CPU102は、計算結果である当該特徴量を、当該画像データと関連づけてデータベース103の特徴量カラム103dに記憶し保存する(ステップS500)。これらの画像データ読み込み処理(ステップS300)、特徴量計算処理(ステップS400)及びデータベース103への特徴量の記憶処理(ステップS500)は、データベース103内に保存された画像全てに対して実行されるまで繰り返される。
(Image evaluation processing)
The image evaluation process performed by the image evaluation apparatus 100 will be described with reference to the flowchart of FIG. When the user presses the clustering start switch 107, a clustering start instruction is transmitted to the control unit 101 (step S100). When receiving the clustering start instruction, the control unit 101 issues a clustering start command to the CPU 102 (step S200). When the CPU 102 receives this clustering start command, the CPU 102 reads out the image data in the image data storage area 103f one by one in association with the file name (for example, 0001.jpg) stored in the file name column 103b of the database 103. Then, the image data is transferred to the feature amount calculation unit 104 and an instruction to execute feature amount calculation is given (step S300). The feature amount calculation unit 104 calculates the feature amount of the image based on the passed image data, and returns the feature amount as the calculation result to the CPU 102 (step S400). Details of the feature amount calculation processing will be described later. The CPU 102 stores the feature quantity as a calculation result in the feature quantity column 103d of the database 103 in association with the image data and stores it (step S500). These image data reading processing (step S300), feature amount calculation processing (step S400), and feature amount storage processing in the database 103 (step S500) are executed for all the images stored in the database 103. Repeat until.

以上、データベース103に保存されている画像全てに対し、画像データを読み込んで特徴量計算及びデータベース103への保存が終了した段階で、画像評価装置100は引き続き、画像クラスタリング処理を行う。画像クラスタリング処理においてCPU102はデータベース103に格納された、各画像と関連づけられた特徴量全てを読み出し、これら全画像分の特徴量(以下特徴量セットと呼ぶ)をクラスタリング実行部105に渡し、クラスタリング実行命令をクラスタリング実行部105に発行する(ステップS600)。クラスタリング実行部105は、与えられた特徴量セットを基に、画像を分類して複数のクラスタを生成するクラスタリングを実行し、図9に示すように、各特徴量と関連づけられた画像が何れのクラスタに属するかを表す計算結果(以下、クラスタリング結果と呼ぶ)をCPU102に返す(以上、ステップS700)。なお、以上で述べたような画像データ、特徴量セット、クラスタリング結果などの各種データは、作業領域106に一時的に記憶され、これらを各部が使用することにより、各部間でのデータの受け渡しが行われる。   As described above, for all the images stored in the database 103, the image evaluation apparatus 100 continues the image clustering process after the image data has been read and the feature amount calculation and the storage in the database 103 have been completed. In the image clustering process, the CPU 102 reads all feature quantities associated with each image stored in the database 103, passes the feature quantities for all the images (hereinafter referred to as feature quantity set) to the clustering execution unit 105, and executes clustering execution. An instruction is issued to the clustering execution unit 105 (step S600). The clustering execution unit 105 executes clustering for classifying images and generating a plurality of clusters based on the given feature quantity set, and as shown in FIG. 9, which image is associated with each feature quantity. A calculation result indicating whether it belongs to a cluster (hereinafter referred to as a clustering result) is returned to the CPU 102 (step S700). Note that various data such as the image data, the feature amount set, and the clustering result as described above are temporarily stored in the work area 106, and each part uses the data to exchange data between the parts. Done.

次に、CPU102は、クラスタリング実行部105から受け取ったクリスタリング結果を基に、インデクシング処理を行う。すなわち、生成された全クラスタにクラスタ番号を昇順に付与し、データベース103の各画像に対して、画像毎に属するクラスタ番号を対応付けてデータベース103のクラスタ番号カラム103eに記憶する(ステップS800)。例えば、本実施形態では、図9に示すように、画像が4つのクラスタ(類似画像グループ)にクラスタリングされ、各クラスタに各々1〜4のクラスタ番号が付与され、図2に示すように、各画像のクラスタ番号カラム103eに、所属するクラスタ番号が記憶される。   Next, the CPU 102 performs an indexing process based on the crystallizing result received from the clustering execution unit 105. That is, cluster numbers are assigned to all the generated clusters in ascending order, and a cluster number belonging to each image is associated with each image in the database 103 and stored in the cluster number column 103e of the database 103 (step S800). For example, in this embodiment, as shown in FIG. 9, the images are clustered into four clusters (similar image groups), and each cluster is given a cluster number of 1 to 4, and as shown in FIG. The cluster number to which the image belongs is stored in the image cluster number column 103e.

CPU102は以上の画像クラスタリング処理(ステップS700)及びインデクシング処理(ステップS800)が終了した後、その旨を制御部101に通知する(ステップS900)。制御部101は、CPU102からクラスタリング処理等終了の通知を受け取った段階でデータベース103にアクセスし、画像データ及び所属するクラスタ番号とを全て読み込み、画像表示部108に対してクラスタリング結果を表示するよう命令及び各画像データを発行する(ステップS1000)。   After the image clustering process (step S700) and the indexing process (step S800) are completed, the CPU 102 notifies the control unit 101 to that effect (step S900). The control unit 101 accesses the database 103 when it receives a notification of the end of clustering processing, etc. from the CPU 102, reads all the image data and the cluster number to which it belongs, and instructs the image display unit 108 to display the clustering result. Each image data is issued (step S1000).

画像表示部108は、制御部101からクラスタリング結果表示の命令及び画像データを受け取ると、予め決められた表示形式(画面レイアウト)に従ってクラスタリング結果であるところの各画像集合を、順次表示する(ステップS1100)。図10に、画像表示部108への画像の表示例を示す。このようにクラスタ(類似グループ)毎にまとまって、画像が表示される。ここで、画像の表示方法は、選択されたレイアウトに定義されている形式(大きさや位置)に従う。以上が、画像評価装置100による画像評価処理の動作である。   Upon receiving the clustering result display command and the image data from the control unit 101, the image display unit 108 sequentially displays each image set that is the clustering result according to a predetermined display format (screen layout) (step S1100). ). FIG. 10 shows an example of displaying an image on the image display unit 108. Thus, an image is displayed for each cluster (similar group). Here, the image display method follows the format (size and position) defined in the selected layout. The above is the operation of the image evaluation process by the image evaluation apparatus 100.

(特徴量計算処理)
次に、特徴量計算部104が、画像1枚に対して行う特徴量計算処理(ステップS400)の手順に関して、図4のフローチャートを基に説明する。以下、本実施形態では、特徴量計算部104に入力される画像データは、第1の表色系としてYCbCr(以下、単に「YCC」と呼ぶ)表色系にて表現されているものとする(また、以降の説明において、この画像データを単に「YCCデータ」と呼ぶ)。特徴量計算部104に入力されたYCCデータは、図6(a)に示すように、区分されたYCC色空間上にプロットされ、各ブロック毎にプロットされた個数をカウントする事により3次元のYCCヒストグラムが生成される(ステップS410)。
(Feature calculation processing)
Next, the procedure of the feature amount calculation process (step S400) performed by the feature amount calculation unit 104 for one image will be described based on the flowchart of FIG. Hereinafter, in the present embodiment, it is assumed that the image data input to the feature amount calculation unit 104 is expressed in the YCbCr (hereinafter simply referred to as “YCC”) color system as the first color system. (In the following description, this image data is simply referred to as “YCC data”). As shown in FIG. 6A, the YCC data input to the feature amount calculation unit 104 is plotted on a segmented YCC color space, and the number plotted for each block is counted to obtain a three-dimensional data. A YCC histogram is generated (step S410).

図6(a)に、Y成分を8プレーンに分割した場合のYCC色空間の例を示す。この図の下から3番目のプレーンのCbCr平面を表したものを図6(b)に示す。また、Cr成分を8プレーンに分割した場合のYCC色空間において、所定のプレーンのYCb平面を表したものを図6(c)に示す。この図6(b)は、CbCr平面を縦横8×8ブロックの領域に分割したものであり(RGBからYCbCrへの変換を行い、該当する領域は色づけ及び分割線を表示しているが、該当しない領域は白色かつ分割線は非表示としている。)、中央付近と周辺付近とでは、色の分布密度が異なる。つまり、中央付近は色分布が密となり、周辺付近は疎となる。この色分布特性から、本発明者は、領域分布を中央付近は細かく、周辺付近は粗くすることにより、各平面を分割した際のブロック数を少なくできることを知見した。すなわち、例えば、図6(b)において、CbCr平面を等分割した場合、16×16=256個のブロック数になるが、図6(b)に示した分割線のように、周辺付近のブロックをまとめる(すなわち、粗くする)ことにより、8×8=64個のブロック数に減少させることができる(情報量の圧縮)。この結果、後述する計算回数が減少し、演算の高速化が可能となる。更に、周辺付近の色分布は疎になっていることから、この周辺付近のブロックをまとめても、ブロック単位での色情報に大差はなく、そのため計算誤差も少なくなり精度の良い演算が可能となる。   FIG. 6A shows an example of the YCC color space when the Y component is divided into 8 planes. FIG. 6B shows the CbCr plane of the third plane from the bottom of this figure. FIG. 6C shows the YCb plane of a predetermined plane in the YCC color space when the Cr component is divided into 8 planes. In FIG. 6B, the CbCr plane is divided into vertical and horizontal 8 × 8 block areas (converted from RGB to YCbCr, and the corresponding areas display coloring and dividing lines. The areas not to be displayed are white and the dividing lines are not displayed.) The color distribution density is different between the vicinity of the center and the vicinity of the periphery. That is, the color distribution is dense near the center and sparse near the periphery. From this color distribution characteristic, the present inventors have found that the number of blocks when dividing each plane can be reduced by making the area distribution fine near the center and rough around the periphery. That is, for example, when the CbCr plane is equally divided in FIG. 6B, the number of blocks is 16 × 16 = 256. However, as in the dividing line shown in FIG. Can be reduced to 8 × 8 = 64 blocks (compression of information amount). As a result, the number of calculations to be described later is reduced, and the operation speed can be increased. Furthermore, since the color distribution near the periphery is sparse, even if the blocks near the periphery are combined, there is no large difference in color information in units of blocks, so calculation errors are reduced and high-precision calculations are possible. Become.

図6(a)に示すように、YCC色空間は、上述のようにYCC各軸とも8分割されているため、YCC色空間を分割した際の分割数(以降の説明では、この分割数を「bin」と呼ぶ)は、bin数=83=512binであり、すなわち、作成されるYCCヒストグラムは512binのヒストグラムとなる。YCCヒストグラム作成後、特徴量計算部104は、512分割されたYCC色空間から、YCCヒストグラムとHSVヒストグラムとの対応づけがデータベース101に予め記憶されたLUTを参照し、図7に示すような256分割されたHSV色空間に色空間変換を行う(ステップS420)。図7(a)は、HSV色空間を表し、図7(b)は、16分割されたH平面を表し、図7(c)は、SV平面の一部を表す。なお、図7では、H平面及びSV平面は等間隔に分割されているが、必ずしも等間隔に分割されていなくても良い。YCCからHSVへの変換LUTは、YCCヒストグラムの各binの代表値、すなわち各binの中心点座標に対し、下記式(1)を適用する事により、作成することができる。 As shown in FIG. 6A, since the YCC color space is divided into eight parts for each YCC axis as described above, the number of divisions when the YCC color space is divided (in the following description, this division number is referred to as “division number”). (Referred to as “bin”) is the number of bins = 8 3 = 512 bins, that is, the generated YCC histogram is a 512-bin histogram. After creating the YCC histogram, the feature quantity calculation unit 104 refers to the LUT in which the correspondence between the YCC histogram and the HSV histogram is stored in advance in the database 101 from the 512-divided YCC color space, as shown in FIG. Color space conversion is performed on the divided HSV color space (step S420). 7A shows the HSV color space, FIG. 7B shows the H plane divided into 16 parts, and FIG. 7C shows a part of the SV plane. In FIG. 7, the H plane and the SV plane are divided at equal intervals, but are not necessarily divided at equal intervals. The conversion LUT from YCC to HSV can be created by applying the following equation (1) to the representative value of each bin of the YCC histogram, that is, the center point coordinates of each bin.

Rk = Yk +1.40200×(Crk−128)
Gk = Yk−0.34414×(Cbk−128)−0.71414×(Crk−128)
Bk = Yk+1.77200×(Cbk−128)
MAXk = max(Rk,Gk,Bk)
MINk = min(Rk,Gk,Bk)
Hk = (60×(Gk−Bk)/(MAXk−MINk))%360,if MAXk = Rk
= (60×(Bk−Rk)/(MAXk−MINk)+120)%360,if MAXk = Gk
= (60×(Rk−Gk)/(MAXk−MINk)+240)%360,if MAXk = Bk
Sk = (MAXk−MINk)/MAXk
Vk = MAXk (1)
R k = Y k + 1.40200 × (Cr k −128)
G k = Y k −0.34414 × (Cb k −128) −0.71414 × (Cr k −128)
B k = Y k + 1.77200 × (Cb k −128)
MAX k = max (R k , G k , B k )
MIN k = min (R k , G k , B k )
H k = (60 × (G k −B k ) / (MAX k −MIN k ))% 360, if MAX k = R k
= (60 × (B k −R k ) / (MAX k −MIN k ) +120)% 360, if MAX k = G k
= (60 × (R k −G k ) / (MAX k −MIN k ) +240)% 360, if MAX k = B k
S k = (MAX k −MIN k ) / MAX k
V k = MAX k (1)

上記式(1)中、添字のkは、YCCヒストグラムにおけるbinのインデックスを表し、Yk,Cbk,Crkは、YCCヒストグラムのbin=kにおけるYCCの値を意味し、Hk,Sk,Vkは、YCCヒストグラムのbin=kに対応するHSV色空間上の座標値を表し、この値がHSVヒストグラムにおける各binの代表値となる。Rk,Gk,Bkは、bin=kにおける赤成分、緑成分、青成分の強度を表し、MAXkは、これらの色成分うち最も大きい成分を表し、MINkは、これらの色成分のうち最も小さい成分を表す。また、min(・),max(・)は、それぞれ引数のうち最小、最大の値を返す関数を意味し、%は、剰余演算を意味する。 The formula (1), the k subscript, represents the index of the bin in the YCC histogram, Y k, Cb k, Cr k denotes the value of the YCC in bin = k of YCC histogram, H k, S k , V k represent coordinate values in the HSV color space corresponding to bin = k of the YCC histogram, and this value is a representative value of each bin in the HSV histogram. R k , G k , and B k represent the intensities of the red, green, and blue components at bin = k, MAX k represents the largest of these color components, and MIN k represents these color components. Represents the smallest component. Also, min (•) and max (•) mean functions that return the minimum and maximum values of the arguments, respectively, and% means a remainder operation.

このような演算により、所定のYCCヒストグラムに対応するHSVヒストグラムへの変換LUTが作成される。このLUTを用いてYCCヒストグラムをHSVヒストグラムに変換する際に、YCCヒストグラムにおいて異なるbinに属していた頻度値がHSV色空間上で同一の座標に変換された場合、HSVヒストグラムの該当するbinの頻度値は変換元のYCCヒストグラムにおける頻度値の合計値となる。すなわち、座標(Yk,Cbk,Crk)の頻度値がnkであり、(Ym,Cbm,Crm)の頻度値がnmであり、かつ(Yk,Cbk,Crk)と(Ym,Cbm,Crm)がHSV色空間上で同一の座標(Hk,Sk,Vk)に変換される場合、(Hk,Sk,Vk)の頻度値は(nk+nm)となる。なお、(Yk,Cbk,Crk)と(Hk,Sk,Vk)が1対1対応であった場合は、(Hk,Sk,Vk)の頻度値はそのままnkとなる。 By such calculation, a conversion LUT into an HSV histogram corresponding to a predetermined YCC histogram is created. When converting a YCC histogram to an HSV histogram using this LUT, if frequency values belonging to different bins in the YCC histogram are converted to the same coordinates in the HSV color space, the frequency of the corresponding bin in the HSV histogram The value is the total value of the frequency values in the conversion source YCC histogram. That is, a coordinate (Y k, Cb k, Cr k) frequency value n k of, (Y m, Cb m, Cr m) is the frequency value of n m of and (Y k, Cb k, Cr k ) and (Y m , Cb m , Cr m ) are converted to the same coordinates (H k , S k , V k ) in the HSV color space, the frequency of (H k , S k , V k ) The value is (n k + n m ). Incidentally, (Y k, Cb k, Cr k) and (H k, S k, V k) If there was a one-to-one correspondence, (H k, S k, V k) frequency value of the intact n k .

以上が特徴量計算部104が行うヒストグラムの変換処理である。特徴量計算部104は前述の通りHSVヒストグラムを作成した後、通常のスケーラブルカラーにおける演算と同様に頻度値の非線形量子化及びHaar変換を行い、その計算結果を最終的に得られた特徴量としてCPU102に返値として通知する(ステップS430)。   The above is the histogram conversion processing performed by the feature amount calculation unit 104. After creating the HSV histogram as described above, the feature amount calculation unit 104 performs non-linear quantization and Haar transform of the frequency value in the same manner as the normal scalable color calculation, and the calculation result is finally obtained as the feature amount. The CPU 102 is notified as a return value (step S430).

なお、本実施態様においては、YCC色空間からHSV色空間に色変換を行う例を挙げたが、変換先の色空間はHSV色空間に限らず、HMMD(Hue,Max,Min,Diff)色空間(これらは、MPEG−7として定義されている。)であっても良い。その際、上記式(1)は、下記式(2)の通り変更される。   In this embodiment, an example in which color conversion is performed from the YCC color space to the HSV color space has been described. However, the conversion destination color space is not limited to the HSV color space, and HMMD (Hue, Max, Min, Diff) colors are used. It may be a space (these are defined as MPEG-7). At that time, the above formula (1) is changed as the following formula (2).

Rk = Yk +1.40200×(Crk−128)
Gk = Yk−0.34414×(Cbk−128)−0.71414×(Crk−128)
Bk = Yk+1.77200×(Cbk−128)
MAXk = max(Rk,Gk,Bk)
MINk = min(Rk,Gk,Bk)
Hk = (60×(Gk−Bk)/(MAXk−MINk))%360,if MAXk = Rk
= (60×(Bk−Rk)/(MAXk−MINk)+120)%360,if MAXk = Gk
= (60×(Rk−Gk)/(MAXk−MINk)+240)%360,if MAXk = Bk
Diffk = (MAXk−MINk) (2)
R k = Y k + 1.40200 × (Cr k −128)
G k = Y k −0.34414 × (Cb k −128) −0.71414 × (Cr k −128)
B k = Y k + 1.77200 × (Cb k −128)
MAX k = max (R k , G k , B k )
MIN k = min (R k , G k , B k )
H k = (60 × (G k −B k ) / (MAX k −MIN k ))% 360, if MAX k = R k
= (60 × (B k −R k ) / (MAX k −MIN k ) +120)% 360, if MAX k = G k
= (60 × (R k −G k ) / (MAX k −MIN k ) +240)% 360, if MAX k = B k
Diff k = (MAX k −MIN k ) (2)

HMMD表色系は、上記式(2)における(Hk,MAXk,MINk,Diffk)を色空間の座標値とする色空間である。また、本実施形態では、変換元の表色系がYCC表色系であることを前提に説明を行ったが、本発明はこれに限定されるものではなく、例えば変換元がRGB表色系やその他の表色系であっても適応可能なものである。 The HMMD color system is a color space having (H k , MAX k , MIN k , Diff k ) in the above equation (2) as coordinate values of the color space. In this embodiment, the description has been made on the assumption that the color system of the conversion source is the YCC color system, but the present invention is not limited to this, and for example, the conversion source is the RGB color system. Even other color systems can be applied.

(クラスタリング処理)
次に、クラスタリング実行部105が、特徴量セットを基に行うクラスタリング処理(ステップS700)の手順に関して、図5のフローチャートを基に説明する。クラスタリング実行部105は、CPU102から特徴量セットを取得し(ステップS710)、これらに対して、凝集的クラスタリングの一種である階層的クラスタリングを実行する(ステップS720)。この階層的クラスタリングに関しては、従来公知の手法を用いることができる。例えば、各画像の色空間の特徴量(n次元)により、画像間の距離をn次元空間で求めて、その距離に基づいて階層的クラスタリングを行う。階層的クラスタリングを行った結果、特徴量に対応して、全ての画像に対して、図8に示すような系統図が作成される。この系統図を所定の閾値Tdで切断する事により、図9に示すようなクラスタリング結果が得られる(ステップS740)。クラスタリング実行部105は、画像クラスタリング処理が終了した旨と得られたクラスタリング結果をCPU102に通知する(ステップS750)。
(Clustering process)
Next, the procedure of clustering processing (step S700) performed by the clustering execution unit 105 based on the feature value set will be described with reference to the flowchart of FIG. The clustering execution unit 105 acquires feature quantity sets from the CPU 102 (step S710), and executes hierarchical clustering, which is a kind of agglomerative clustering, for these (step S720). For this hierarchical clustering, a conventionally known method can be used. For example, the distance between images is obtained in an n-dimensional space based on the feature amount (n-dimensional) of the color space of each image, and hierarchical clustering is performed based on the distance. As a result of the hierarchical clustering, a system diagram as shown in FIG. 8 is created for all images corresponding to the feature amount. By cutting this system diagram at a predetermined threshold value Td , a clustering result as shown in FIG. 9 is obtained (step S740). The clustering execution unit 105 notifies the CPU 102 of the completion of the image clustering process and the obtained clustering result (step S750).

以上のように、従来は画像をHSV色空間などに変換する場合、数百万画素全てについて計算していたため、計算コストが膨大で実装するプラットフォームに対する負荷が高いものとなっていたが、本実施形態の画像評価装置によれば、計算コストの増大を招かずに画像の色空間変換を行って、その色空間特徴量を計算し、この特徴量に基づいて類似画像のクラスタリングを高精度かつ高速に行うことができる。その結果、類似画像をグループ毎に表示することが可能となる。   As described above, conventionally, when converting an image into an HSV color space or the like, all millions of pixels were calculated, so the calculation cost was enormous and the load on the implementation platform was high. According to the image evaluation apparatus of the embodiment, the color space conversion of the image is performed without increasing the calculation cost, the color space feature amount is calculated, and clustering of similar images is performed with high accuracy and high speed based on the feature amount. Can be done. As a result, similar images can be displayed for each group.

本実施形態の画像評価装置の構成を表すブロック図である。It is a block diagram showing the structure of the image evaluation apparatus of this embodiment. データベースのデータ構造を示す説明図である。It is explanatory drawing which shows the data structure of a database. 本実施形態の画像評価装置で行われる画像評価処理手順を表すフローチャートである。It is a flowchart showing the image evaluation process sequence performed with the image evaluation apparatus of this embodiment. 特徴量計算部における特徴量計算処理手順を表すフローチャートである。It is a flowchart showing the feature-value calculation process procedure in a feature-value calculation part. クラスタリング実行部におけるクラスタリング処理手順を表すフローチャートである。It is a flowchart showing the clustering process sequence in a clustering execution part. (a)はYCC色空間を表す模式図で、(b)はCbCr平面を表す模式図で、(c)はYCr平面を表す模式図である。(A) is a schematic diagram showing a YCC color space, (b) is a schematic diagram showing a CbCr plane, and (c) is a schematic diagram showing a YCr plane. (a)はHSV色空間を表す模式図で、(b)はH平面を表す模式図で、(c)はSV平面を表す模式図である。(A) is a schematic diagram showing HSV color space, (b) is a schematic diagram showing H plane, (c) is a schematic diagram showing SV plane. 階層的クラスタリングの結果得られる系統図をTdで切断した結果を表す模式図である。It is a schematic diagram showing the result of having cut | disconnected the systematic diagram obtained as a result of hierarchical clustering by Td . 最終的に得られたクラスタリング結果の例を表す模式図である。It is a schematic diagram showing the example of the clustering result finally obtained. 画像表示用の画面レイアウトに従って画像表示部に表示される画面の例を示す模式図である。It is a schematic diagram which shows the example of the screen displayed on an image display part according to the screen layout for an image display.

符号の説明Explanation of symbols

100 画像評価装置 101 制御部 103 データベース(記憶部)
104 特徴量計算部 105 クラスタリング実行部 108 画像表示部
DESCRIPTION OF SYMBOLS 100 Image evaluation apparatus 101 Control part 103 Database (memory | storage part)
104 feature amount calculation unit 105 clustering execution unit 108 image display unit

Claims (9)

画像及びこの画像の属性情報が関連付けられて記憶された記憶部と、
前記記憶部から前記画像を読み出し、当該画像に基づいて、色空間の特徴量を計算し、前記画像に当該特徴量を関連付けて前記記憶部に記憶する特徴量計算部と、
前記記憶部に記憶された前記特徴量に基づいて画像を分類し、類似する画像から構成される複数のクラスタを生成するクラスタリング処理を実行し、前記画像に当該クラスタを関連付けて前記記憶部に記憶するクラスタリング実行部と、
を有する画像評価装置。
A storage unit in which an image and attribute information of the image are associated and stored;
A feature amount calculation unit that reads the image from the storage unit, calculates a feature amount of a color space based on the image, and associates the feature amount with the image and stores the feature amount in the storage unit;
The image is classified based on the feature amount stored in the storage unit, a clustering process is performed to generate a plurality of clusters composed of similar images, and the cluster is associated with the image and stored in the storage unit A clustering execution unit,
An image evaluation apparatus.
前記特徴量計算部は、
前記画像が表現されている第1の表色系を離散化した色空間に基づいてカラーヒストグラムを生成し、当該カラーヒストグラムを第2の表色系に色空間変換した後、頻度値の非線形量子化及びHaar変換を行い、この計算結果を特徴量とする請求項1に記載の画像評価装置。
The feature amount calculation unit includes:
A color histogram is generated based on a color space obtained by discretizing the first color system in which the image is expressed, and the color histogram is converted into a second color system. The image evaluation apparatus according to claim 1, wherein conversion and Haar conversion are performed and the calculation result is used as a feature amount.
前記第1の表色系が、YCbCr表色系である請求項2に記載の画像評価装置。   The image evaluation apparatus according to claim 2, wherein the first color system is a YCbCr color system. 前記第1の表色系を離散化した色空間が、人の色に対する感応度に応じて離散化間隔が細分化されている請求項2または3に記載の画像評価装置。   The image evaluation apparatus according to claim 2 or 3, wherein a discretization interval is subdivided in a color space obtained by discretizing the first color system in accordance with sensitivity to human colors. 前記第2の表色系が、HSV表色系、HMMD表色系、又はRGB表色系のいずれかである請求項2〜4いずれか一項に記載の画像評価装置。   The image evaluation apparatus according to any one of claims 2 to 4, wherein the second color system is one of an HSV color system, an HMMD color system, and an RGB color system. 前記第1の表色系を離散化した色空間に基づいて生成した前記カラーヒストグラムを前記第2の表色系に色空間変換する際に、前記記憶部に予め設定されたルックアップテーブルを用いて行うように構成された請求項2〜5いずれか一項に記載の画像評価装置。   When the color histogram generated based on the color space obtained by discretizing the first color system is color space converted to the second color system, a lookup table preset in the storage unit is used. The image evaluation apparatus according to any one of claims 2 to 5, wherein the image evaluation apparatus is configured to be performed. 前記画像の第1の表色系がYCbCr表色系であり、第2の表色系がHSV表色系である場合に、
前記特徴量計算部は、YCbCr表色系を離散化したYCbCr色空間を、Y軸、Cb軸、Cr軸の各軸に対して8分割して分割数512のYCbCrヒストグラムを作成し、YCbCrヒストグラムをHSV表色系のヒストグラムに色空間変換するように構成され、
前記ルックアップテーブルは、k番目におけるYCbCrヒストグラムのYCbCrの値をYk,Cbk,Crkとし、k番目のYCbCrヒストグラムに対応するHSV色空間上の座標値をHk,Sk,Vkとし、k番目のYCbCrヒストグラムにおける赤成分、緑成分、青成分の強度をRk,Gk,Bkとし、これらの色成分のうち最も大きい成分をMAXkとし、最も小さい成分をMINkとし、それぞれ引数のうち最小の値を返す関数をmin(・)とし、それぞれ引数のうち最大の値を返す関数をmax(・)とし、%を剰余演算としたときに、次式
Rk = Yk +1.40200×(Crk−128)
Gk = Yk−0.34414×(Cbk−128)−0.71414×(Crk−128)
Bk = Yk+1.77200×(Cbk−128)
MAXk = max(Rk,Gk,Bk)
MINk = min(Rk,Gk,Bk)
Hk = (60×(Gk−Bk)/(MAXk−MINk))%360,if MAXk = Rk
= (60×(Bk−Rk)/(MAXk−MINk)+120)%360,if MAXk = Gk
= (60×(Rk−Gk)/(MAXk−MINk)+240)%360,if MAXk = Bk
Sk = (MAXk−MINk)/MAXk
Vk = MAXk
により算出される請求項6に記載の画像評価装置。
When the first color system of the image is a YCbCr color system and the second color system is an HSV color system,
The feature amount calculation unit divides the YCbCr color space obtained by discretizing the YCbCr color system into eight parts for each of the Y-axis, Cb-axis, and Cr-axis to create a YCbCr histogram having a division number of 512. Is converted to a color space histogram of the HSV color system,
The look-up table, the value of YCbCr in YCbCr histograms in k-th Y k, Cb k, and Cr k, k-th coordinate values H k on HSV color space corresponding to the YCbCr histograms, S k, V k In the k-th YCbCr histogram, the red, green, and blue component intensities are R k , G k , B k , the largest component among these color components is MAX k, and the smallest component is MIN k. When the function that returns the minimum value among the arguments is min (·), the function that returns the maximum value among the arguments is max (·), and% is the remainder operation,
R k = Y k + 1.40200 × (Cr k −128)
G k = Y k −0.34414 × (Cb k −128) −0.71414 × (Cr k −128)
B k = Y k + 1.77200 × (Cb k −128)
MAX k = max (R k , G k , B k )
MIN k = min (R k , G k , B k )
H k = (60 × (G k −B k ) / (MAX k −MIN k ))% 360, if MAX k = R k
= (60 × (B k −R k ) / (MAX k −MIN k ) +120)% 360, if MAX k = G k
= (60 × (R k −G k ) / (MAX k −MIN k ) +240)% 360, if MAX k = B k
S k = (MAX k −MIN k ) / MAX k
V k = MAX k
The image evaluation apparatus according to claim 6, which is calculated by:
前記画像の第1の表色系がYCbCr表色系であり、第2の表色系がHMMD表色系である場合に、
前記特徴量計算部は、YCbCr表色系を離散化したYCbCr色空間を、Y軸、Cb軸、Cr軸の各軸に対して8分割して分割数512のYCbCrヒストグラムを作成し、YCbCrヒストグラムをHMMD表色系のヒストグラムに色空間変換するように構成され、
前記ルックアップテーブルは、k番目におけるYCbCrヒストグラムのYCbCrの値をYk,Cbk,Crkとし、k番目のYCbCrヒストグラムに対応するHMMD色空間上の座標値をHk,Diffkとし、k番目のYCbCrヒストグラムにおける赤成分、緑成分、青成分の強度をRk,Gk,Bkとし、これらの色成分うち最も大きい成分をMAXkとし、最も小さい成分をMINkとし、それぞれ引数のうち最小の値を返す関数をmin(・)とし、それぞれ引数のうち最大の値を返す関数をmax(・)とし、%を剰余演算としたときに、次式
Rk = Yk +1.40200×(Crk−128)
Gk = Yk−0.34414×(Cbk−128)−0.71414×(Crk−128)
Bk = Yk+1.77200×(Cbk−128)
MAXk = max(Rk,Gk,Bk)
MINk = min(Rk,Gk,Bk)
Hk = (60×(Gk−Bk)/(MAXk−MINk))%360,if MAXk = Rk
= (60×(Bk−Rk)/(MAXk−MINk)+120)%360,if MAXk = Gk
= (60×(Rk−Gk)/(MAXk−MINk)+240)%360,if MAXk = Bk
Diffk = (MAXk−MINk)
により算出される請求項6に記載の画像評価装置。
When the first color system of the image is a YCbCr color system and the second color system is an HMMD color system,
The feature amount calculation unit divides the YCbCr color space obtained by discretizing the YCbCr color system into eight parts for each of the Y-axis, Cb-axis, and Cr-axis to create a YCbCr histogram having a division number of 512. Is converted to a color space histogram of the HMMD color system,
The look-up table, the value of YCbCr in YCbCr histograms in k-th and Y k, Cb k, Cr k, the coordinates of the HMMD color space corresponding to the k-th YCbCr histograms H k, and Diff k, k The intensity of the red component, green component, and blue component in the second YCbCr histogram is R k , G k , B k , the largest component among these color components is MAX k , the smallest component is MIN k , When the function that returns the minimum value is min (•), the function that returns the maximum value of each argument is max (•), and% is the remainder operation,
R k = Y k + 1.40200 × (Cr k −128)
G k = Y k −0.34414 × (Cb k −128) −0.71414 × (Cr k −128)
B k = Y k + 1.77200 × (Cb k −128)
MAX k = max (R k , G k , B k )
MIN k = min (R k , G k , B k )
H k = (60 × (G k −B k ) / (MAX k −MIN k ))% 360, if MAX k = R k
= (60 × (B k −R k ) / (MAX k −MIN k ) +120)% 360, if MAX k = G k
= (60 × (R k −G k ) / (MAX k −MIN k ) +240)% 360, if MAX k = B k
Diff k = (MAX k −MIN k )
The image evaluation apparatus according to claim 6, which is calculated by:
前記記憶部から前記クラスタ毎に前記画像を読み出して表示する画像表示部を有する請求項1〜8いずれか一項に記載の画像評価装置。   The image evaluation apparatus according to claim 1, further comprising an image display unit that reads and displays the image for each cluster from the storage unit.
JP2008095646A 2008-04-02 2008-04-02 Image evaluation device Pending JP2009251705A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008095646A JP2009251705A (en) 2008-04-02 2008-04-02 Image evaluation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008095646A JP2009251705A (en) 2008-04-02 2008-04-02 Image evaluation device

Publications (1)

Publication Number Publication Date
JP2009251705A true JP2009251705A (en) 2009-10-29

Family

ID=41312394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008095646A Pending JP2009251705A (en) 2008-04-02 2008-04-02 Image evaluation device

Country Status (1)

Country Link
JP (1) JP2009251705A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020095408A (en) * 2018-12-11 2020-06-18 日本電信電話株式会社 List generating device, subject discriminating device, list generating method, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000011138A (en) * 1998-04-29 2000-01-14 Lg Electron Inc Color coordinate space structure and color quantizing method using color coordinate and color spreading
JP2001209800A (en) * 1999-11-19 2001-08-03 Lg Electronics Inc Method for quantizing image histogram bin value
JP2001256244A (en) * 2000-03-14 2001-09-21 Fuji Xerox Co Ltd Device and method for sorting image data
JP2001291102A (en) * 2000-02-18 2001-10-19 Lg Electronics Inc System and method for retrieving multimedia data on basis of contents
JP2004004372A (en) * 2002-05-31 2004-01-08 Nec Corp Contrast control system for content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000011138A (en) * 1998-04-29 2000-01-14 Lg Electron Inc Color coordinate space structure and color quantizing method using color coordinate and color spreading
JP2001209800A (en) * 1999-11-19 2001-08-03 Lg Electronics Inc Method for quantizing image histogram bin value
JP2001291102A (en) * 2000-02-18 2001-10-19 Lg Electronics Inc System and method for retrieving multimedia data on basis of contents
JP2001256244A (en) * 2000-03-14 2001-09-21 Fuji Xerox Co Ltd Device and method for sorting image data
JP2004004372A (en) * 2002-05-31 2004-01-08 Nec Corp Contrast control system for content

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CSNG200401346020; 近藤雅恵 外3名: '動画像の波形特徴に基づく映像分類手法' 電子情報通信学会技術研究報告 第102巻 第631号, 20030127, 第127〜132頁, 社団法人電子情報通信学会 *
JPN6012029328; Jose M. Martinez: 'MPEG-7 Overview (version 10)' ISO/IEC JTC1/SC29/WG11 N6828,[online],October 2004 , 200410 *
JPN6012029330; 近藤雅恵 外3名: '動画像の波形特徴に基づく映像分類手法' 電子情報通信学会技術研究報告 第102巻 第631号, 20030127, 第127〜132頁, 社団法人電子情報通信学会 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020095408A (en) * 2018-12-11 2020-06-18 日本電信電話株式会社 List generating device, subject discriminating device, list generating method, and program
WO2020121866A1 (en) * 2018-12-11 2020-06-18 日本電信電話株式会社 List generation device, photographic subject identification device, list generation method, and program
JP7183753B2 (en) 2018-12-11 2022-12-06 日本電信電話株式会社 LIST GENERATION DEVICE, SUBJECT IDENTIFICATION DEVICE, LIST GENERATION METHOD, AND PROGRAM
US11809525B2 (en) 2018-12-11 2023-11-07 Nippon Telegraph And Telephone Corporation List generation device, photographic subject identification device, list generation method, and program

Similar Documents

Publication Publication Date Title
US8711419B2 (en) Preserving user applied markings made to a hardcopy original document
US7856144B2 (en) Image retrieving apparatus, image retrieving method, program, and storage medium
JP2776295B2 (en) Image index generation method and image index generation device
US8488181B2 (en) Preserving user applied markings made to a hardcopy original document
US7894098B1 (en) Color separation of pattern color spaces and form XObjects
US20080074685A1 (en) Image processing apparatus, image processing method, and computer readable recording medium stored with image processing program
US7724393B2 (en) Judging whether trapping process is required or not
JPH11275377A (en) Method and device for converting color data
JP2015011585A (en) Image processing apparatus, image forming apparatus, image forming system, image processing method, and program
US6731789B1 (en) Image processing apparatus and method, and storage medium
US20080244384A1 (en) Image retrieval apparatus, method for retrieving image, and control program for image retrieval apparatus
JP6387026B2 (en) Book searching apparatus, method and program
KR100312331B1 (en) System and method for searching image based on contents
US7558422B2 (en) Document processing apparatus
KR20090037704A (en) Meta data generation method for intutive image search
CN106233278A (en) Segment for image creates view data
JP2009251705A (en) Image evaluation device
JP2001056867A (en) Image data processor, medium where image data set is recorded, medium where image data processing program is recorded, and image data processing method
JP2006135664A (en) Picture processor and program
JP2010050832A (en) Device and method for processing image, program, and recording medium
JP3199009B2 (en) Image storage / management apparatus and image index generation method
WO2015052093A1 (en) A raster image processing method
JP5070116B2 (en) Table data generation apparatus and table data generation method
CN116452702B (en) Information chart rapid design method, device, computer equipment and storage medium
JP2011186835A (en) Image processing apparatus and image processing program

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20110401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120607

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130122