JP2009251705A - Image evaluation device - Google Patents
Image evaluation device Download PDFInfo
- Publication number
- JP2009251705A JP2009251705A JP2008095646A JP2008095646A JP2009251705A JP 2009251705 A JP2009251705 A JP 2009251705A JP 2008095646 A JP2008095646 A JP 2008095646A JP 2008095646 A JP2008095646 A JP 2008095646A JP 2009251705 A JP2009251705 A JP 2009251705A
- Authority
- JP
- Japan
- Prior art keywords
- max
- image
- color
- ycbcr
- color system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、画像評価装置に関する。 The present invention relates to an image evaluation apparatus.
従来、与えられた画像集合の各画像から、当該画像の特徴を表現する統計量(以下、「特徴量」と呼ぶ)を計算し、その特徴量を基に画像集合を一定の基準に基づいてグルーピングする技術が存在し、その中でも特徴量を基にクラスタリングと呼ばれる技術を用いて、画像集合を類似画像グループに自動的にグルーピングする技術は多数提案されている(例えば、特許文献1参照)。その中でも、特徴量としてHSV色空間で画像を表現し、カラーヒストグラムを作成した後、このカラーヒストグラムに対してHaar変換を施すことにより得られるスケーラブルカラー(Scalable Color)と呼ばれる特徴量は、カラー画像に対する類似画像検索に対して良好な特性を持つことが知られており、当該技術領域において、良く利用されている。 Conventionally, from each image of a given image set, a statistic representing the feature of the image (hereinafter referred to as “feature”) is calculated, and the image set is based on the feature based on a certain standard. There are techniques for grouping, and among them, a number of techniques for automatically grouping image sets into similar image groups using a technique called clustering based on feature values have been proposed (for example, see Patent Document 1). Among them, a feature amount called a scalable color obtained by expressing an image in the HSV color space as a feature amount, creating a color histogram, and performing Haar transform on the color histogram is a color image. It is known that it has good characteristics for similar image search for, and is often used in this technical field.
また、HSV色空間は色表現において人間の色彩感覚と近い表色系として知られている。このことに起因してスケーラブルカラーが単純な統計量にも関わらず、人間の感覚に上手く適応した類似画像検索性能を出すと考えられている。一方、同様の理由で主にカラー印刷に関する技術領域において、HSV色空間での色表現を基に印刷色の決定(及び色補正)を行う手法も多数提案されている。その中でも、主に色空間変換の高速化及び精度向上を目的として、色空間変換のためのルックアップテーブル(以下、「LUT」と呼ぶ)を用意し、処理を行うものが提案されている(例えば、特許文献1及び2参照)。
しかしながら、上述した、スケーラブルカラー等で利用するHSV色空間への変換は、単純な計算ではあるが、最近のデジタルスチルカメラによって撮影された数百万画素規模の画像に適応しようとすると、仮にLUTを利用した変換を行ったとしても一定の計算コストがかかってしまい、実装するプラットフォームに対する負荷が高いものとなってしまうという課題があった。 However, the conversion to the HSV color space used in the scalable color or the like described above is a simple calculation. However, if an attempt is made to adapt to an image with a scale of several million pixels taken by a recent digital still camera, the LUT is temporarily assumed. Even if conversion is performed, there is a problem that a certain calculation cost is required and the load on the platform to be mounted becomes high.
本発明はこのような課題に鑑みてなされたものであり、計算コストの増大を招かずに類似画像のクラスタリングが可能な画像評価装置を提供することを目的とする。 The present invention has been made in view of such a problem, and an object thereof is to provide an image evaluation apparatus capable of clustering similar images without causing an increase in calculation cost.
前記課題を解決するために、本発明に係る画像評価装置は、画像及びこの画像の属性情報が関連付けられて記憶された記憶部と、この記憶部から画像を読み出し、当該画像に基づいて、色空間の特徴量を計算し、この画像に当該特徴量を関連付けて記憶部に記憶する特徴量計算部と、記憶部に記憶された特徴量に基づいて画像を分類し、類似する画像から構成される複数のクラスタを生成するクラスタリング処理を実行し、画像に当該クラスタを関連付けて記憶部に記憶するクラスタリング実行部と、を有して構成される。 In order to solve the above problems, an image evaluation apparatus according to the present invention reads an image from the storage unit in which the image and attribute information of the image are stored in association with each other, and based on the image, A feature amount calculation unit that calculates a feature amount of a space, associates the feature amount with the image and stores the feature amount in a storage unit, and classifies the images based on the feature amount stored in the storage unit, and includes similar images. And a clustering execution unit that executes a clustering process for generating a plurality of clusters and stores the clusters in the storage unit in association with the cluster.
このような画像評価装置において、特徴量計算部は、画像が表現されている第1の表色系を離散化した色空間に基づいてカラーヒストグラムを生成し、当該カラーヒストグラムを第2の表色系に色空間変換した後、頻度値の非線形量子化及びHaar変換を行い、この計算結果を特徴量とすることが好ましい。 In such an image evaluation apparatus, the feature amount calculation unit generates a color histogram based on a color space obtained by discretizing the first color system in which the image is expressed, and the color histogram is used as the second color specification. After color space conversion into the system, it is preferable to perform nonlinear quantization of frequency values and Haar conversion, and to use this calculation result as a feature amount.
このとき、第1の表色系が、YCbCr表色系であることが好ましい。ここで、第1の表色系を離散化した色空間が、人の色に対する感応度に応じて離散化間隔が細分化されていることが好ましい。また、第2の表色系が、HSV表色系、HMMD表色系、又はRGB表色系のいずれかであることが好ましい。 At this time, it is preferable that the first color system is a YCbCr color system. Here, in the color space obtained by discretizing the first color system, it is preferable that the discretization interval is subdivided according to the sensitivity to human color. Moreover, it is preferable that the second color system is any one of the HSV color system, the HMMD color system, and the RGB color system.
また、このような画像評価装置は、第1の表色系を離散化した色空間に基づいて生成したカラーヒストグラムを第2の表色系に色空間変換する際に、記憶部に予め設定されたルックアップテーブルを用いて行うように構成されることが好ましい。 Such an image evaluation apparatus is preset in the storage unit when the color histogram generated based on the color space obtained by discretizing the first color system is converted to the second color system. Preferably, it is configured to use a lookup table.
ここで、画像の第1の表色系がYCbCr表色系であり、第2の表色系がHSV表色系である場合に、特徴量計算部は、YCbCr表色系を離散化したYCbCr色空間を、Y軸、Cb軸、Cr軸の各軸に対して8分割して分割数512のYCbCrヒストグラムを作成し、YCbCrヒストグラムをHSV表色系のヒストグラムに色空間変換するように構成され、ルックアップテーブルは、k番目におけるYCbCrヒストグラムのYCbCrの値をYk,Cbk,Crkとし、k番目のYCbCrヒストグラムに対応するHSV色空間上の座標値をHk,Sk,Vkとし、k番目のYCbCrヒストグラムにおける赤成分、緑成分、青成分の強度をRk,Gk,Bkとし、これらの色成分うち最も大きい成分をMAXkとし、最も小さい成分をMINkとし、それぞれ引数のうち最小の値を返す関数をmin(・)とし、それぞれ引数のうち最大の値を返す関数をmax(・)とし、%を剰余演算としたときに、次式
Rk = Yk +1.40200×(Crk−128)
Gk = Yk−0.34414×(Cbk−128)−0.71414×(Crk−128)
Bk = Yk+1.77200×(Cbk−128)
MAXk = max(Rk,Gk,Bk)
MINk = min(Rk,Gk,Bk)
Hk = (60×(Gk−Bk)/(MAXk−MINk))%360,if MAXk = Rk
= (60×(Bk−Rk)/(MAXk−MINk)+120)%360,if MAXk = Gk
= (60×(Rk−Gk)/(MAXk−MINk)+240)%360,if MAXk = Bk
Sk = (MAXk−MINk)/MAXk
Vk = MAXk
により算出されることが好ましい。
Here, when the first color system of the image is the YCbCr color system and the second color system is the HSV color system, the feature amount calculation unit YCbCr obtained by discretizing the YCbCr color system. The color space is divided into 8 for each of the Y axis, Cb axis, and Cr axis to create a YCbCr histogram with a division number of 512, and the YCbCr histogram is color space converted to a histogram of the HSV color system. , look-up table, the value of YCbCr in YCbCr histograms in k-th Y k, Cb k, and Cr k, k-th coordinate values on the HSV color space corresponding to the YCbCr histograms H k, S k, V k and, red component, green component in the k-th YCbCr histograms, and the intensity of the blue component R k, G k, and B k, the largest component among these color components and MAX k, the smallest formed It was a MIN k, respectively a function that returns the smallest value among the arguments and min (·), respectively a function that returns the maximum value of the argument as the max (·),% to when the modulo operation, the following equation
R k = Y k + 1.40200 × (Cr k −128)
G k = Y k −0.34414 × (Cb k −128) −0.71414 × (Cr k −128)
B k = Y k + 1.77200 × (Cb k −128)
MAX k = max (R k , G k , B k )
MIN k = min (R k , G k , B k )
H k = (60 × (G k −B k ) / (MAX k −MIN k ))% 360, if MAX k = R k
= (60 × (B k −R k ) / (MAX k −MIN k ) +120)% 360, if MAX k = G k
= (60 × (R k −G k ) / (MAX k −MIN k ) +240)% 360, if MAX k = B k
S k = (MAX k −MIN k ) / MAX k
V k = MAX k
Preferably, it is calculated by
あるいは、画像の第1の表色系がYCbCr表色系であり、第2の表色系がHMMD表色系である場合に、特徴量計算部は、YCbCr表色系を離散化したYCbCr色空間を、Y軸、Cb軸、Cr軸の各軸に対して8分割して分割数512のYCbCrヒストグラムを作成し、YCbCrヒストグラムをHMMD表色系のヒストグラムに色空間変換するように構成され、ルックアップテーブルは、k番目におけるYCbCrヒストグラムのYCbCrの値をYk,Cbk,Crkとし、k番目のYCbCrヒストグラムに対応するHMMD色空間上の座標値をHk,Diffkとし、k番目のYCbCrヒストグラムにおける赤成分、緑成分、青成分の強度をRk,Gk,Bkとし、これらの色成分うち最も大きい成分をMAXkとし、最も小さい成分をMINkとし、それぞれ引数のうち最小の値を返す関数をmin(・)とし、それぞれ引数のうち最大の値を返す関数をmax(・)とし、%を剰余演算としたときに、次式
Rk = Yk +1.40200×(Crk−128)
Gk = Yk−0.34414×(Cbk−128)−0.71414×(Crk−128)
Bk = Yk+1.77200×(Cbk−128)
MAXk = max(Rk,Gk,Bk)
MINk = min(Rk,Gk,Bk)
Hk = (60×(Gk−Bk)/(MAXk−MINk))%360,if MAXk = Rk
= (60×(Bk−Rk)/(MAXk−MINk)+120)%360,if MAXk = Gk
= (60×(Rk−Gk)/(MAXk−MINk)+240)%360,if MAXk = Bk
Diffk = (MAXk−MINk)
により算出されることが好ましい。
Alternatively, when the first color system of the image is the YCbCr color system and the second color system is the HMMD color system, the feature amount calculation unit obtains a YCbCr color obtained by discretizing the YCbCr color system. The space is divided into 8 with respect to each of the Y axis, Cb axis, and Cr axis to create a YCbCr histogram having a division number of 512, and the YCbCr histogram is configured to be color space converted into a histogram of the HMMD color system. lookup table, the value of YCbCr in YCbCr histograms in k-th and Y k, Cb k, Cr k, the coordinates of the HMMD color space corresponding to the k-th YCbCr histograms H k, and Diff k, k-th red component in the YCbCr histograms, and green component, the intensity of the blue component R k, G k, and B k, the largest component among these color components and MAX k, most The Sai components and MIN k, when each function that returns the smallest value among the arguments and min (·), respectively a function that returns the maximum value of the argument as the max (·), the% and remainder operation, Next formula
R k = Y k + 1.40200 × (Cr k −128)
G k = Y k −0.34414 × (Cb k −128) −0.71414 × (Cr k −128)
B k = Y k + 1.77200 × (Cb k −128)
MAX k = max (R k , G k , B k )
MIN k = min (R k , G k , B k )
H k = (60 × (G k −B k ) / (MAX k −MIN k ))% 360, if MAX k = R k
= (60 × (B k −R k ) / (MAX k −MIN k ) +120)% 360, if MAX k = G k
= (60 × (R k −G k ) / (MAX k −MIN k ) +240)% 360, if MAX k = B k
Diff k = (MAX k −MIN k )
Preferably, it is calculated by
なお、このような画像評価装置は、記憶部からクラスタ毎に画像を読み出して表示する画像表示部を有することが好ましい。 In addition, it is preferable that such an image evaluation apparatus has an image display part which reads and displays an image for every cluster from a memory | storage part.
本発明に係る画像評価装置を以上のように構成すると、計算コストの増大を招かずに類似画像のクラスタリングが可能となり、類似画像のグルーピングを、高精度かつ高速に行うことが可能となる。 If the image evaluation apparatus according to the present invention is configured as described above, similar images can be clustered without increasing the calculation cost, and similar images can be grouped with high accuracy and high speed.
以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図1を用いて本実施形態に係る画像評価装置100の構成について説明する。図1に示すように、この画像評価装置100は、装置全体を制御する制御部101と、画像及びこの画像の属性情報が関連付けられて記憶されたデータベース103(記憶部)と、制御部101の指示により画像評価処理を行うCPU102と、このCPU102上でデータベース103の画像に対する色空間の特徴量を計算する特徴量計算部104と、算出された特徴量に基づいて、画像を分類し、類似画像から構成される複数のクラスタを生成する(クラスタリング処理を実行する)クラスタリング実行部105と、クラスタリング処理の結果や途中計算などを一時的に保存する作業領域(Work RAM)106と、制御部101にクラスタリング開始指示を与えるクラスタリング開始スイッチ(S/W)107と、クラスタリング結果に基づいて画像を表示する画像表示部108とから構成される。
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. First, the configuration of the image evaluation apparatus 100 according to the present embodiment will be described with reference to FIG. As shown in FIG. 1, the image evaluation apparatus 100 includes a
データベース103は、図2に示すように、画像データの格納先や所属するクラスタ番号などが記憶される画像情報格納領域103aと、画像データそのものが記憶される画像データ格納領域103fとを有する。画像情報格納領域103aは、図2(a)のようなデータ構造を有しており、画像データのファイル名が記憶されるファイル名カラム103bと、この画像及び属性情報からなる画像データの格納先のアドレスが記憶される画像データ格納アドレスカラム103cと、後述する特徴量算出の結果である画像の特徴量が記憶される特徴量カラム103dと、後述するクラスタリングの結果が記憶されるクラスタ番号カラム103eとを有している。一方、画像データ格納領域103fは、図2(b)に示すようなデータ構造を有しており、画像そのものが記憶される画像カラム103gと、ヘッダ領域、撮影時刻情報などの属性情報が記憶される属性情報カラム103hとを有し、1つの画像データに対する情報が1レコードとして管理される。ここで、画像データ格納領域103fに格納されている画像データの格納場所(アドレス)は、画像情報格納領域103aの画像データ格納アドレスカラム103cに記憶されており、ファイル名カラム103bに記憶されている画像データのファイル名から抽出しようとする画像データを特定し、この画像データのアドレスを画像データ格納アドレスカラム103cから抽出して、画像データ格納領域103fのアドレスから該当する画像データそのものを取得することができる。なお、この画像カラム103gと属性情報カラム103hとを一つのファイルとして構成するようにしてもよい。このようなデータ構造としては、日本電子工業振興協会(JEIDA)で規格されたExif(Exchangeable image file format)等が知られている。
As shown in FIG. 2, the
(画像評価処理)
画像評価装置100による画像評価処理について、図3のフローチャートを合わせて用いて説明する。ユーザが、クラスタリング開始スイッチ107を押下すると、クラスタリング開始指示が制御部101に対して発信される(ステップS100)。このクラスタリング開始指示を受信すると、制御部101はCPU102に対し、クラスタリング開始命令を発行する(ステップS200)。CPU102は、このクラスタリング開始命令を受信すると、データベース103のファイル名カラム103bに記憶されたファイル名(例えば、0001.jpgなど)と対応づけて、画像データ格納領域103fの画像データを1枚ずつ読み出し、当該画像データを特徴量計算部104に渡して、特徴量計算実行の指示を与える(ステップS300)。特徴量計算部104は、渡された画像データを基に、当該画像の特徴量を計算し、計算結果である特徴量をCPU102に返す(ステップS400)。なお、特徴量計算処理の詳細は、後述する。CPU102は、計算結果である当該特徴量を、当該画像データと関連づけてデータベース103の特徴量カラム103dに記憶し保存する(ステップS500)。これらの画像データ読み込み処理(ステップS300)、特徴量計算処理(ステップS400)及びデータベース103への特徴量の記憶処理(ステップS500)は、データベース103内に保存された画像全てに対して実行されるまで繰り返される。
(Image evaluation processing)
The image evaluation process performed by the image evaluation apparatus 100 will be described with reference to the flowchart of FIG. When the user presses the clustering start switch 107, a clustering start instruction is transmitted to the control unit 101 (step S100). When receiving the clustering start instruction, the
以上、データベース103に保存されている画像全てに対し、画像データを読み込んで特徴量計算及びデータベース103への保存が終了した段階で、画像評価装置100は引き続き、画像クラスタリング処理を行う。画像クラスタリング処理においてCPU102はデータベース103に格納された、各画像と関連づけられた特徴量全てを読み出し、これら全画像分の特徴量(以下特徴量セットと呼ぶ)をクラスタリング実行部105に渡し、クラスタリング実行命令をクラスタリング実行部105に発行する(ステップS600)。クラスタリング実行部105は、与えられた特徴量セットを基に、画像を分類して複数のクラスタを生成するクラスタリングを実行し、図9に示すように、各特徴量と関連づけられた画像が何れのクラスタに属するかを表す計算結果(以下、クラスタリング結果と呼ぶ)をCPU102に返す(以上、ステップS700)。なお、以上で述べたような画像データ、特徴量セット、クラスタリング結果などの各種データは、作業領域106に一時的に記憶され、これらを各部が使用することにより、各部間でのデータの受け渡しが行われる。
As described above, for all the images stored in the
次に、CPU102は、クラスタリング実行部105から受け取ったクリスタリング結果を基に、インデクシング処理を行う。すなわち、生成された全クラスタにクラスタ番号を昇順に付与し、データベース103の各画像に対して、画像毎に属するクラスタ番号を対応付けてデータベース103のクラスタ番号カラム103eに記憶する(ステップS800)。例えば、本実施形態では、図9に示すように、画像が4つのクラスタ(類似画像グループ)にクラスタリングされ、各クラスタに各々1〜4のクラスタ番号が付与され、図2に示すように、各画像のクラスタ番号カラム103eに、所属するクラスタ番号が記憶される。
Next, the CPU 102 performs an indexing process based on the crystallizing result received from the
CPU102は以上の画像クラスタリング処理(ステップS700)及びインデクシング処理(ステップS800)が終了した後、その旨を制御部101に通知する(ステップS900)。制御部101は、CPU102からクラスタリング処理等終了の通知を受け取った段階でデータベース103にアクセスし、画像データ及び所属するクラスタ番号とを全て読み込み、画像表示部108に対してクラスタリング結果を表示するよう命令及び各画像データを発行する(ステップS1000)。
After the image clustering process (step S700) and the indexing process (step S800) are completed, the CPU 102 notifies the
画像表示部108は、制御部101からクラスタリング結果表示の命令及び画像データを受け取ると、予め決められた表示形式(画面レイアウト)に従ってクラスタリング結果であるところの各画像集合を、順次表示する(ステップS1100)。図10に、画像表示部108への画像の表示例を示す。このようにクラスタ(類似グループ)毎にまとまって、画像が表示される。ここで、画像の表示方法は、選択されたレイアウトに定義されている形式(大きさや位置)に従う。以上が、画像評価装置100による画像評価処理の動作である。
Upon receiving the clustering result display command and the image data from the
(特徴量計算処理)
次に、特徴量計算部104が、画像1枚に対して行う特徴量計算処理(ステップS400)の手順に関して、図4のフローチャートを基に説明する。以下、本実施形態では、特徴量計算部104に入力される画像データは、第1の表色系としてYCbCr(以下、単に「YCC」と呼ぶ)表色系にて表現されているものとする(また、以降の説明において、この画像データを単に「YCCデータ」と呼ぶ)。特徴量計算部104に入力されたYCCデータは、図6(a)に示すように、区分されたYCC色空間上にプロットされ、各ブロック毎にプロットされた個数をカウントする事により3次元のYCCヒストグラムが生成される(ステップS410)。
(Feature calculation processing)
Next, the procedure of the feature amount calculation process (step S400) performed by the feature
図6(a)に、Y成分を8プレーンに分割した場合のYCC色空間の例を示す。この図の下から3番目のプレーンのCbCr平面を表したものを図6(b)に示す。また、Cr成分を8プレーンに分割した場合のYCC色空間において、所定のプレーンのYCb平面を表したものを図6(c)に示す。この図6(b)は、CbCr平面を縦横8×8ブロックの領域に分割したものであり(RGBからYCbCrへの変換を行い、該当する領域は色づけ及び分割線を表示しているが、該当しない領域は白色かつ分割線は非表示としている。)、中央付近と周辺付近とでは、色の分布密度が異なる。つまり、中央付近は色分布が密となり、周辺付近は疎となる。この色分布特性から、本発明者は、領域分布を中央付近は細かく、周辺付近は粗くすることにより、各平面を分割した際のブロック数を少なくできることを知見した。すなわち、例えば、図6(b)において、CbCr平面を等分割した場合、16×16=256個のブロック数になるが、図6(b)に示した分割線のように、周辺付近のブロックをまとめる(すなわち、粗くする)ことにより、8×8=64個のブロック数に減少させることができる(情報量の圧縮)。この結果、後述する計算回数が減少し、演算の高速化が可能となる。更に、周辺付近の色分布は疎になっていることから、この周辺付近のブロックをまとめても、ブロック単位での色情報に大差はなく、そのため計算誤差も少なくなり精度の良い演算が可能となる。 FIG. 6A shows an example of the YCC color space when the Y component is divided into 8 planes. FIG. 6B shows the CbCr plane of the third plane from the bottom of this figure. FIG. 6C shows the YCb plane of a predetermined plane in the YCC color space when the Cr component is divided into 8 planes. In FIG. 6B, the CbCr plane is divided into vertical and horizontal 8 × 8 block areas (converted from RGB to YCbCr, and the corresponding areas display coloring and dividing lines. The areas not to be displayed are white and the dividing lines are not displayed.) The color distribution density is different between the vicinity of the center and the vicinity of the periphery. That is, the color distribution is dense near the center and sparse near the periphery. From this color distribution characteristic, the present inventors have found that the number of blocks when dividing each plane can be reduced by making the area distribution fine near the center and rough around the periphery. That is, for example, when the CbCr plane is equally divided in FIG. 6B, the number of blocks is 16 × 16 = 256. However, as in the dividing line shown in FIG. Can be reduced to 8 × 8 = 64 blocks (compression of information amount). As a result, the number of calculations to be described later is reduced, and the operation speed can be increased. Furthermore, since the color distribution near the periphery is sparse, even if the blocks near the periphery are combined, there is no large difference in color information in units of blocks, so calculation errors are reduced and high-precision calculations are possible. Become.
図6(a)に示すように、YCC色空間は、上述のようにYCC各軸とも8分割されているため、YCC色空間を分割した際の分割数(以降の説明では、この分割数を「bin」と呼ぶ)は、bin数=83=512binであり、すなわち、作成されるYCCヒストグラムは512binのヒストグラムとなる。YCCヒストグラム作成後、特徴量計算部104は、512分割されたYCC色空間から、YCCヒストグラムとHSVヒストグラムとの対応づけがデータベース101に予め記憶されたLUTを参照し、図7に示すような256分割されたHSV色空間に色空間変換を行う(ステップS420)。図7(a)は、HSV色空間を表し、図7(b)は、16分割されたH平面を表し、図7(c)は、SV平面の一部を表す。なお、図7では、H平面及びSV平面は等間隔に分割されているが、必ずしも等間隔に分割されていなくても良い。YCCからHSVへの変換LUTは、YCCヒストグラムの各binの代表値、すなわち各binの中心点座標に対し、下記式(1)を適用する事により、作成することができる。
As shown in FIG. 6A, since the YCC color space is divided into eight parts for each YCC axis as described above, the number of divisions when the YCC color space is divided (in the following description, this division number is referred to as “division number”). (Referred to as “bin”) is the number of bins = 8 3 = 512 bins, that is, the generated YCC histogram is a 512-bin histogram. After creating the YCC histogram, the feature
Rk = Yk +1.40200×(Crk−128)
Gk = Yk−0.34414×(Cbk−128)−0.71414×(Crk−128)
Bk = Yk+1.77200×(Cbk−128)
MAXk = max(Rk,Gk,Bk)
MINk = min(Rk,Gk,Bk)
Hk = (60×(Gk−Bk)/(MAXk−MINk))%360,if MAXk = Rk
= (60×(Bk−Rk)/(MAXk−MINk)+120)%360,if MAXk = Gk
= (60×(Rk−Gk)/(MAXk−MINk)+240)%360,if MAXk = Bk
Sk = (MAXk−MINk)/MAXk
Vk = MAXk (1)
R k = Y k + 1.40200 × (Cr k −128)
G k = Y k −0.34414 × (Cb k −128) −0.71414 × (Cr k −128)
B k = Y k + 1.77200 × (Cb k −128)
MAX k = max (R k , G k , B k )
MIN k = min (R k , G k , B k )
H k = (60 × (G k −B k ) / (MAX k −MIN k ))% 360, if MAX k = R k
= (60 × (B k −R k ) / (MAX k −MIN k ) +120)% 360, if MAX k = G k
= (60 × (R k −G k ) / (MAX k −MIN k ) +240)% 360, if MAX k = B k
S k = (MAX k −MIN k ) / MAX k
V k = MAX k (1)
上記式(1)中、添字のkは、YCCヒストグラムにおけるbinのインデックスを表し、Yk,Cbk,Crkは、YCCヒストグラムのbin=kにおけるYCCの値を意味し、Hk,Sk,Vkは、YCCヒストグラムのbin=kに対応するHSV色空間上の座標値を表し、この値がHSVヒストグラムにおける各binの代表値となる。Rk,Gk,Bkは、bin=kにおける赤成分、緑成分、青成分の強度を表し、MAXkは、これらの色成分うち最も大きい成分を表し、MINkは、これらの色成分のうち最も小さい成分を表す。また、min(・),max(・)は、それぞれ引数のうち最小、最大の値を返す関数を意味し、%は、剰余演算を意味する。 The formula (1), the k subscript, represents the index of the bin in the YCC histogram, Y k, Cb k, Cr k denotes the value of the YCC in bin = k of YCC histogram, H k, S k , V k represent coordinate values in the HSV color space corresponding to bin = k of the YCC histogram, and this value is a representative value of each bin in the HSV histogram. R k , G k , and B k represent the intensities of the red, green, and blue components at bin = k, MAX k represents the largest of these color components, and MIN k represents these color components. Represents the smallest component. Also, min (•) and max (•) mean functions that return the minimum and maximum values of the arguments, respectively, and% means a remainder operation.
このような演算により、所定のYCCヒストグラムに対応するHSVヒストグラムへの変換LUTが作成される。このLUTを用いてYCCヒストグラムをHSVヒストグラムに変換する際に、YCCヒストグラムにおいて異なるbinに属していた頻度値がHSV色空間上で同一の座標に変換された場合、HSVヒストグラムの該当するbinの頻度値は変換元のYCCヒストグラムにおける頻度値の合計値となる。すなわち、座標(Yk,Cbk,Crk)の頻度値がnkであり、(Ym,Cbm,Crm)の頻度値がnmであり、かつ(Yk,Cbk,Crk)と(Ym,Cbm,Crm)がHSV色空間上で同一の座標(Hk,Sk,Vk)に変換される場合、(Hk,Sk,Vk)の頻度値は(nk+nm)となる。なお、(Yk,Cbk,Crk)と(Hk,Sk,Vk)が1対1対応であった場合は、(Hk,Sk,Vk)の頻度値はそのままnkとなる。 By such calculation, a conversion LUT into an HSV histogram corresponding to a predetermined YCC histogram is created. When converting a YCC histogram to an HSV histogram using this LUT, if frequency values belonging to different bins in the YCC histogram are converted to the same coordinates in the HSV color space, the frequency of the corresponding bin in the HSV histogram The value is the total value of the frequency values in the conversion source YCC histogram. That is, a coordinate (Y k, Cb k, Cr k) frequency value n k of, (Y m, Cb m, Cr m) is the frequency value of n m of and (Y k, Cb k, Cr k ) and (Y m , Cb m , Cr m ) are converted to the same coordinates (H k , S k , V k ) in the HSV color space, the frequency of (H k , S k , V k ) The value is (n k + n m ). Incidentally, (Y k, Cb k, Cr k) and (H k, S k, V k) If there was a one-to-one correspondence, (H k, S k, V k) frequency value of the intact n k .
以上が特徴量計算部104が行うヒストグラムの変換処理である。特徴量計算部104は前述の通りHSVヒストグラムを作成した後、通常のスケーラブルカラーにおける演算と同様に頻度値の非線形量子化及びHaar変換を行い、その計算結果を最終的に得られた特徴量としてCPU102に返値として通知する(ステップS430)。
The above is the histogram conversion processing performed by the feature
なお、本実施態様においては、YCC色空間からHSV色空間に色変換を行う例を挙げたが、変換先の色空間はHSV色空間に限らず、HMMD(Hue,Max,Min,Diff)色空間(これらは、MPEG−7として定義されている。)であっても良い。その際、上記式(1)は、下記式(2)の通り変更される。 In this embodiment, an example in which color conversion is performed from the YCC color space to the HSV color space has been described. However, the conversion destination color space is not limited to the HSV color space, and HMMD (Hue, Max, Min, Diff) colors are used. It may be a space (these are defined as MPEG-7). At that time, the above formula (1) is changed as the following formula (2).
Rk = Yk +1.40200×(Crk−128)
Gk = Yk−0.34414×(Cbk−128)−0.71414×(Crk−128)
Bk = Yk+1.77200×(Cbk−128)
MAXk = max(Rk,Gk,Bk)
MINk = min(Rk,Gk,Bk)
Hk = (60×(Gk−Bk)/(MAXk−MINk))%360,if MAXk = Rk
= (60×(Bk−Rk)/(MAXk−MINk)+120)%360,if MAXk = Gk
= (60×(Rk−Gk)/(MAXk−MINk)+240)%360,if MAXk = Bk
Diffk = (MAXk−MINk) (2)
R k = Y k + 1.40200 × (Cr k −128)
G k = Y k −0.34414 × (Cb k −128) −0.71414 × (Cr k −128)
B k = Y k + 1.77200 × (Cb k −128)
MAX k = max (R k , G k , B k )
MIN k = min (R k , G k , B k )
H k = (60 × (G k −B k ) / (MAX k −MIN k ))% 360, if MAX k = R k
= (60 × (B k −R k ) / (MAX k −MIN k ) +120)% 360, if MAX k = G k
= (60 × (R k −G k ) / (MAX k −MIN k ) +240)% 360, if MAX k = B k
Diff k = (MAX k −MIN k ) (2)
HMMD表色系は、上記式(2)における(Hk,MAXk,MINk,Diffk)を色空間の座標値とする色空間である。また、本実施形態では、変換元の表色系がYCC表色系であることを前提に説明を行ったが、本発明はこれに限定されるものではなく、例えば変換元がRGB表色系やその他の表色系であっても適応可能なものである。 The HMMD color system is a color space having (H k , MAX k , MIN k , Diff k ) in the above equation (2) as coordinate values of the color space. In this embodiment, the description has been made on the assumption that the color system of the conversion source is the YCC color system, but the present invention is not limited to this, and for example, the conversion source is the RGB color system. Even other color systems can be applied.
(クラスタリング処理)
次に、クラスタリング実行部105が、特徴量セットを基に行うクラスタリング処理(ステップS700)の手順に関して、図5のフローチャートを基に説明する。クラスタリング実行部105は、CPU102から特徴量セットを取得し(ステップS710)、これらに対して、凝集的クラスタリングの一種である階層的クラスタリングを実行する(ステップS720)。この階層的クラスタリングに関しては、従来公知の手法を用いることができる。例えば、各画像の色空間の特徴量(n次元)により、画像間の距離をn次元空間で求めて、その距離に基づいて階層的クラスタリングを行う。階層的クラスタリングを行った結果、特徴量に対応して、全ての画像に対して、図8に示すような系統図が作成される。この系統図を所定の閾値Tdで切断する事により、図9に示すようなクラスタリング結果が得られる(ステップS740)。クラスタリング実行部105は、画像クラスタリング処理が終了した旨と得られたクラスタリング結果をCPU102に通知する(ステップS750)。
(Clustering process)
Next, the procedure of clustering processing (step S700) performed by the
以上のように、従来は画像をHSV色空間などに変換する場合、数百万画素全てについて計算していたため、計算コストが膨大で実装するプラットフォームに対する負荷が高いものとなっていたが、本実施形態の画像評価装置によれば、計算コストの増大を招かずに画像の色空間変換を行って、その色空間特徴量を計算し、この特徴量に基づいて類似画像のクラスタリングを高精度かつ高速に行うことができる。その結果、類似画像をグループ毎に表示することが可能となる。 As described above, conventionally, when converting an image into an HSV color space or the like, all millions of pixels were calculated, so the calculation cost was enormous and the load on the implementation platform was high. According to the image evaluation apparatus of the embodiment, the color space conversion of the image is performed without increasing the calculation cost, the color space feature amount is calculated, and clustering of similar images is performed with high accuracy and high speed based on the feature amount. Can be done. As a result, similar images can be displayed for each group.
100 画像評価装置 101 制御部 103 データベース(記憶部)
104 特徴量計算部 105 クラスタリング実行部 108 画像表示部
DESCRIPTION OF SYMBOLS 100
104 feature
Claims (9)
前記記憶部から前記画像を読み出し、当該画像に基づいて、色空間の特徴量を計算し、前記画像に当該特徴量を関連付けて前記記憶部に記憶する特徴量計算部と、
前記記憶部に記憶された前記特徴量に基づいて画像を分類し、類似する画像から構成される複数のクラスタを生成するクラスタリング処理を実行し、前記画像に当該クラスタを関連付けて前記記憶部に記憶するクラスタリング実行部と、
を有する画像評価装置。 A storage unit in which an image and attribute information of the image are associated and stored;
A feature amount calculation unit that reads the image from the storage unit, calculates a feature amount of a color space based on the image, and associates the feature amount with the image and stores the feature amount in the storage unit;
The image is classified based on the feature amount stored in the storage unit, a clustering process is performed to generate a plurality of clusters composed of similar images, and the cluster is associated with the image and stored in the storage unit A clustering execution unit,
An image evaluation apparatus.
前記画像が表現されている第1の表色系を離散化した色空間に基づいてカラーヒストグラムを生成し、当該カラーヒストグラムを第2の表色系に色空間変換した後、頻度値の非線形量子化及びHaar変換を行い、この計算結果を特徴量とする請求項1に記載の画像評価装置。 The feature amount calculation unit includes:
A color histogram is generated based on a color space obtained by discretizing the first color system in which the image is expressed, and the color histogram is converted into a second color system. The image evaluation apparatus according to claim 1, wherein conversion and Haar conversion are performed and the calculation result is used as a feature amount.
前記特徴量計算部は、YCbCr表色系を離散化したYCbCr色空間を、Y軸、Cb軸、Cr軸の各軸に対して8分割して分割数512のYCbCrヒストグラムを作成し、YCbCrヒストグラムをHSV表色系のヒストグラムに色空間変換するように構成され、
前記ルックアップテーブルは、k番目におけるYCbCrヒストグラムのYCbCrの値をYk,Cbk,Crkとし、k番目のYCbCrヒストグラムに対応するHSV色空間上の座標値をHk,Sk,Vkとし、k番目のYCbCrヒストグラムにおける赤成分、緑成分、青成分の強度をRk,Gk,Bkとし、これらの色成分のうち最も大きい成分をMAXkとし、最も小さい成分をMINkとし、それぞれ引数のうち最小の値を返す関数をmin(・)とし、それぞれ引数のうち最大の値を返す関数をmax(・)とし、%を剰余演算としたときに、次式
Rk = Yk +1.40200×(Crk−128)
Gk = Yk−0.34414×(Cbk−128)−0.71414×(Crk−128)
Bk = Yk+1.77200×(Cbk−128)
MAXk = max(Rk,Gk,Bk)
MINk = min(Rk,Gk,Bk)
Hk = (60×(Gk−Bk)/(MAXk−MINk))%360,if MAXk = Rk
= (60×(Bk−Rk)/(MAXk−MINk)+120)%360,if MAXk = Gk
= (60×(Rk−Gk)/(MAXk−MINk)+240)%360,if MAXk = Bk
Sk = (MAXk−MINk)/MAXk
Vk = MAXk
により算出される請求項6に記載の画像評価装置。 When the first color system of the image is a YCbCr color system and the second color system is an HSV color system,
The feature amount calculation unit divides the YCbCr color space obtained by discretizing the YCbCr color system into eight parts for each of the Y-axis, Cb-axis, and Cr-axis to create a YCbCr histogram having a division number of 512. Is converted to a color space histogram of the HSV color system,
The look-up table, the value of YCbCr in YCbCr histograms in k-th Y k, Cb k, and Cr k, k-th coordinate values H k on HSV color space corresponding to the YCbCr histograms, S k, V k In the k-th YCbCr histogram, the red, green, and blue component intensities are R k , G k , B k , the largest component among these color components is MAX k, and the smallest component is MIN k. When the function that returns the minimum value among the arguments is min (·), the function that returns the maximum value among the arguments is max (·), and% is the remainder operation,
R k = Y k + 1.40200 × (Cr k −128)
G k = Y k −0.34414 × (Cb k −128) −0.71414 × (Cr k −128)
B k = Y k + 1.77200 × (Cb k −128)
MAX k = max (R k , G k , B k )
MIN k = min (R k , G k , B k )
H k = (60 × (G k −B k ) / (MAX k −MIN k ))% 360, if MAX k = R k
= (60 × (B k −R k ) / (MAX k −MIN k ) +120)% 360, if MAX k = G k
= (60 × (R k −G k ) / (MAX k −MIN k ) +240)% 360, if MAX k = B k
S k = (MAX k −MIN k ) / MAX k
V k = MAX k
The image evaluation apparatus according to claim 6, which is calculated by:
前記特徴量計算部は、YCbCr表色系を離散化したYCbCr色空間を、Y軸、Cb軸、Cr軸の各軸に対して8分割して分割数512のYCbCrヒストグラムを作成し、YCbCrヒストグラムをHMMD表色系のヒストグラムに色空間変換するように構成され、
前記ルックアップテーブルは、k番目におけるYCbCrヒストグラムのYCbCrの値をYk,Cbk,Crkとし、k番目のYCbCrヒストグラムに対応するHMMD色空間上の座標値をHk,Diffkとし、k番目のYCbCrヒストグラムにおける赤成分、緑成分、青成分の強度をRk,Gk,Bkとし、これらの色成分うち最も大きい成分をMAXkとし、最も小さい成分をMINkとし、それぞれ引数のうち最小の値を返す関数をmin(・)とし、それぞれ引数のうち最大の値を返す関数をmax(・)とし、%を剰余演算としたときに、次式
Rk = Yk +1.40200×(Crk−128)
Gk = Yk−0.34414×(Cbk−128)−0.71414×(Crk−128)
Bk = Yk+1.77200×(Cbk−128)
MAXk = max(Rk,Gk,Bk)
MINk = min(Rk,Gk,Bk)
Hk = (60×(Gk−Bk)/(MAXk−MINk))%360,if MAXk = Rk
= (60×(Bk−Rk)/(MAXk−MINk)+120)%360,if MAXk = Gk
= (60×(Rk−Gk)/(MAXk−MINk)+240)%360,if MAXk = Bk
Diffk = (MAXk−MINk)
により算出される請求項6に記載の画像評価装置。 When the first color system of the image is a YCbCr color system and the second color system is an HMMD color system,
The feature amount calculation unit divides the YCbCr color space obtained by discretizing the YCbCr color system into eight parts for each of the Y-axis, Cb-axis, and Cr-axis to create a YCbCr histogram having a division number of 512. Is converted to a color space histogram of the HMMD color system,
The look-up table, the value of YCbCr in YCbCr histograms in k-th and Y k, Cb k, Cr k, the coordinates of the HMMD color space corresponding to the k-th YCbCr histograms H k, and Diff k, k The intensity of the red component, green component, and blue component in the second YCbCr histogram is R k , G k , B k , the largest component among these color components is MAX k , the smallest component is MIN k , When the function that returns the minimum value is min (•), the function that returns the maximum value of each argument is max (•), and% is the remainder operation,
R k = Y k + 1.40200 × (Cr k −128)
G k = Y k −0.34414 × (Cb k −128) −0.71414 × (Cr k −128)
B k = Y k + 1.77200 × (Cb k −128)
MAX k = max (R k , G k , B k )
MIN k = min (R k , G k , B k )
H k = (60 × (G k −B k ) / (MAX k −MIN k ))% 360, if MAX k = R k
= (60 × (B k −R k ) / (MAX k −MIN k ) +120)% 360, if MAX k = G k
= (60 × (R k −G k ) / (MAX k −MIN k ) +240)% 360, if MAX k = B k
Diff k = (MAX k −MIN k )
The image evaluation apparatus according to claim 6, which is calculated by:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008095646A JP2009251705A (en) | 2008-04-02 | 2008-04-02 | Image evaluation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008095646A JP2009251705A (en) | 2008-04-02 | 2008-04-02 | Image evaluation device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009251705A true JP2009251705A (en) | 2009-10-29 |
Family
ID=41312394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008095646A Pending JP2009251705A (en) | 2008-04-02 | 2008-04-02 | Image evaluation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009251705A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020095408A (en) * | 2018-12-11 | 2020-06-18 | 日本電信電話株式会社 | List generating device, subject discriminating device, list generating method, and program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000011138A (en) * | 1998-04-29 | 2000-01-14 | Lg Electron Inc | Color coordinate space structure and color quantizing method using color coordinate and color spreading |
JP2001209800A (en) * | 1999-11-19 | 2001-08-03 | Lg Electronics Inc | Method for quantizing image histogram bin value |
JP2001256244A (en) * | 2000-03-14 | 2001-09-21 | Fuji Xerox Co Ltd | Device and method for sorting image data |
JP2001291102A (en) * | 2000-02-18 | 2001-10-19 | Lg Electronics Inc | System and method for retrieving multimedia data on basis of contents |
JP2004004372A (en) * | 2002-05-31 | 2004-01-08 | Nec Corp | Contrast control system for content |
-
2008
- 2008-04-02 JP JP2008095646A patent/JP2009251705A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000011138A (en) * | 1998-04-29 | 2000-01-14 | Lg Electron Inc | Color coordinate space structure and color quantizing method using color coordinate and color spreading |
JP2001209800A (en) * | 1999-11-19 | 2001-08-03 | Lg Electronics Inc | Method for quantizing image histogram bin value |
JP2001291102A (en) * | 2000-02-18 | 2001-10-19 | Lg Electronics Inc | System and method for retrieving multimedia data on basis of contents |
JP2001256244A (en) * | 2000-03-14 | 2001-09-21 | Fuji Xerox Co Ltd | Device and method for sorting image data |
JP2004004372A (en) * | 2002-05-31 | 2004-01-08 | Nec Corp | Contrast control system for content |
Non-Patent Citations (3)
Title |
---|
CSNG200401346020; 近藤雅恵 外3名: '動画像の波形特徴に基づく映像分類手法' 電子情報通信学会技術研究報告 第102巻 第631号, 20030127, 第127〜132頁, 社団法人電子情報通信学会 * |
JPN6012029328; Jose M. Martinez: 'MPEG-7 Overview (version 10)' ISO/IEC JTC1/SC29/WG11 N6828,[online],October 2004 , 200410 * |
JPN6012029330; 近藤雅恵 外3名: '動画像の波形特徴に基づく映像分類手法' 電子情報通信学会技術研究報告 第102巻 第631号, 20030127, 第127〜132頁, 社団法人電子情報通信学会 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020095408A (en) * | 2018-12-11 | 2020-06-18 | 日本電信電話株式会社 | List generating device, subject discriminating device, list generating method, and program |
WO2020121866A1 (en) * | 2018-12-11 | 2020-06-18 | 日本電信電話株式会社 | List generation device, photographic subject identification device, list generation method, and program |
JP7183753B2 (en) | 2018-12-11 | 2022-12-06 | 日本電信電話株式会社 | LIST GENERATION DEVICE, SUBJECT IDENTIFICATION DEVICE, LIST GENERATION METHOD, AND PROGRAM |
US11809525B2 (en) | 2018-12-11 | 2023-11-07 | Nippon Telegraph And Telephone Corporation | List generation device, photographic subject identification device, list generation method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8711419B2 (en) | Preserving user applied markings made to a hardcopy original document | |
US7856144B2 (en) | Image retrieving apparatus, image retrieving method, program, and storage medium | |
JP2776295B2 (en) | Image index generation method and image index generation device | |
US8488181B2 (en) | Preserving user applied markings made to a hardcopy original document | |
US7894098B1 (en) | Color separation of pattern color spaces and form XObjects | |
US20080074685A1 (en) | Image processing apparatus, image processing method, and computer readable recording medium stored with image processing program | |
US7724393B2 (en) | Judging whether trapping process is required or not | |
JPH11275377A (en) | Method and device for converting color data | |
JP2015011585A (en) | Image processing apparatus, image forming apparatus, image forming system, image processing method, and program | |
US6731789B1 (en) | Image processing apparatus and method, and storage medium | |
US20080244384A1 (en) | Image retrieval apparatus, method for retrieving image, and control program for image retrieval apparatus | |
JP6387026B2 (en) | Book searching apparatus, method and program | |
KR100312331B1 (en) | System and method for searching image based on contents | |
US7558422B2 (en) | Document processing apparatus | |
KR20090037704A (en) | Meta data generation method for intutive image search | |
CN106233278A (en) | Segment for image creates view data | |
JP2009251705A (en) | Image evaluation device | |
JP2001056867A (en) | Image data processor, medium where image data set is recorded, medium where image data processing program is recorded, and image data processing method | |
JP2006135664A (en) | Picture processor and program | |
JP2010050832A (en) | Device and method for processing image, program, and recording medium | |
JP3199009B2 (en) | Image storage / management apparatus and image index generation method | |
WO2015052093A1 (en) | A raster image processing method | |
JP5070116B2 (en) | Table data generation apparatus and table data generation method | |
CN116452702B (en) | Information chart rapid design method, device, computer equipment and storage medium | |
JP2011186835A (en) | Image processing apparatus and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20110401 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120607 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130122 |